실감 심화편 미디어서버 디스가이즈 활용(1)
GCC 사관학교
안녕하세요 오늘 디스가이즈의 활용의
첫 번째 시간 강의를 진행하게 된 박지용입니다
이번 강의에서는 XR 2D, 2.5D와 같은
다양한 기술적 개념과 워크플로우를 이해하고
실제 적용방법을 학습 하는 것을 목표로 합니다
이를 위해 다음과 같은 4가지 주제를
중심으로 진행하려고 합니다
우선 XR과 함께 2D, 2.5D라는 워크플로우가
각각 무엇을 의미하며
어떤 제작환경에서 활용되는지 알아보겠습니다
각 기술의 장점과 한계를 비교하며
어떤 상황에서 가장 적합한 소유선인지
이해할 수 있도록 하겠습니다
다음으로는 콘텐츠를 디스플레이나 표면에
정확하게 투영하는 매핑에 대해 알아볼텐데
2D, 3D 그리고 다양한 형태의
매핑 방식에 대해서 알아보겠습니다
세 번째로는 XR을 구현하기 위해
필요한 구성 요소들을 탐구하고
미디어 서버, LED 스크린, 트래킹 시스템, 렌더링 엔진 등
XR 환경을 구축하는 데 필요한 핵심 기술을
이해하게 될 것입니다
마지막으로 실제 XR 환경을
세팅하는 과정을 학습합니다
다양한 환경에서 다양한 디스플레이와
트래킹 시스템을 연결하고 동기화하며
안정적인 촬영과 렌더링을 위한
실질적인 설정 방법을 알아봅니다
이 4가지 주제를 통해 XR과 관련된
최신 기술을 이해하고 이를 활용하여
창의적이고 효율적인 콘텐츠 제작방법을
배우는 시간을 갖겠습니다
XR, 2D, 2.5D 및 Mapping의 이해
먼저 XR에 대해 알아보겠습니다
디스가이즈에서 XR이란
AR, MR, VR의 요소들을 결합하여
완전한 몰입형 경험을 제공하는
라이브 프로덕션의 총칭입니다
XR을 활용하면 관객들에게
몰입감 있는 가상 환경을 제공하며
제품의 기능과 디자인을 보다 실감나게
전달할 수 있습니다
단순한 프레젠테이션을 넘어 관객들이
제품의 매력을 직접 체감할 수 있는
경험을 제공할 수 있습니다
간단하게 살펴봤고 이번에는
2D 워크플로우에 대해 알아보겠습니다
2D 워크플로우는 스틸 이미지나
동영상을 캡쳐하고 이를 편집하여
LED 스크린의 배경으로 사용하는 방식입니다
이 방식은 깊이감과 시차 효과는 부족하지만
특정 환경에서 매우 효과적으로 사용될 수 있습니다
우선 2D 워크플로우는 플레이트로 구성됩니다
플레이트는 현장에서 촬영된 사진이나 비디오를
기반으로 만들어지며
여러가지 툴에서 편집됩니다
이렇게 완성된 플레이트는
버추얼 프로덕션에서 배경으로 제공됩니다
특히 이 방식은 카메라가 고정된 장면이나
제한된 이동 범위가 요구되는 상황에서
매우 유용하게 활용됩니다
2D 워크플로우에 대한 주요 장점은
먼저 유연성과 확장성이 뛰어납니다
2D 워크플로우는 다수의 카메라 설정을 사용하여
고해상도 이미지를 생성할 수 있기 때문에
다양한 촬영환경에서 쉽게 적용할 수 있습니다
또한 배경의 질감과 디테일을 유지하면서도
특정 장면의 요구에 맞게 스케일링 할 수 있습니다
이는 단순히 시각적 요소를 넘어서
촬영 환경에서 높은 활용도를 제공합니다
하지만 2D 워크플로우에는 몇 가지 한계와
주의사항이 있습니다
가장 큰 한계는 깊이감이 제한적이고
패럴랙스 이펙트가 없다는 점입니다
즉 카메라가 움직일 때 배경이 자연스럽게
따라오지 않는다는 의미입니다
이는 카메라 움직임이 큰 장면에서는
한계가 될 수 있습니다
또한 촬영 현장에서 반복적인 변경이 불가능하기 때문에
유연성이 요구되는 환경에서는 적합하지 않을 수 있습니다
그렇다면 2D 플레이트를 사용할 때
무엇을 주의해야 할까요?
가장 중요한 점은 원본 플레이트의 품질입니다
LED 볼륨에서 재촬영될 때 좋은 결과물을 얻기 위해서는
원본 카메라의 데이터와
백그라운드 플레이트에서 최대한 높은 해상도
다이나믹 레인지 선명도를 유지하는 것이 중요합니다
VP에서는 이미지가 원본 크기의 수천 배로 확대되어
LED 화면에 표시되기 때문에 해상도 부족이나 노이즈는
현실감을 저해할 수 있습니다
따라서 최소 8K 해상도 이상의 카메라를 사용하고
가능한 최고의 비트레이트와 로그
또는 로우 형식으로 촬영하는 것이 권장됩니다
결론적으로 2D 플레이트는 VP 환경에서 비용 효율적이고
사실적인 배경을 구현할 수 있는 강력한 도구입니다
하지만 명확한 단점을 인지한 상태에서
이 방식의 장점을 극대화하여 사용하는 것이 중요합니다
오히려 카메라가 고정되거나
제한적인 움직임이 요구되는 환경에서는
2D 플레이트가 3D 워크플로우보다
효율적이고 간편한 선택이 될 수 있습니다
첫 번째로 소개할 저희 사례는
영화 파묘에서 진행되었던 2D 플레이트입니다
이 장면은 호텔의 창문 배경으로 활용되었는데요
실제로 도시 야경을 촬영해 와서
스튜디오 내 호텔 세트 밖에서
LED 설치해놓고 촬영한 사례입니다
2D 플레이트는 이처럼 어느정도 고정된 카메라 위치에서
매우 효과적으로 사용될 수 있으며
배경과 캐릭터 간의
자연스러운 조화를 이끌어낼 수 있습니다
파묘의 장소처럼 고급 호텔의 경우
실제 로케이션 촬영이 어렵고
로케이션 촬영을 한다 해도
창문 밖에서 촬영할 수 없는 고층이기 때문에
이처럼 로케이션 특수 상황에서는
아주 적합한 솔루션입니다
카메라 앵글에 맞춰 정확한 배경이미지를 제공하기 때문에
관객은 마치 실제로 창밖을 보고 있는 듯한
몰입감을 느낄 수 있습니다
다음으로는 저희가 작업했던 작품은
넷플릭스의 D.P. 시즌2입니다
여기에서 2D 기차 드라이빙 씬 작업을 진행했었는데
해당 장면에서 배우들이 기차 세트에서 연기를 하고
기차 밖에서 보이는 배경은
2D 플레이트로 구현이 되었습니다
시리즈를 보시면 아시겠지만 기차씬이 굉장히 격하고
동선도 복잡하며 인물도 많이 나오는 장면이기 때문에
2D 드라이빙을 진행하는 것이
탁월한 선택임을 알 수 있습니다
보다 안전한 환경에서 배우의 액션을
자유롭게 촬영할 수 있고
시간의 구애 없이 다양한 반복 촬영이 가능하였습니다
이 기차 씬은 사전에 철저한 테스트를 통해서
계획된 것인데요
디스가이즈로 사전에 구현된 세트와
LED를 통해서 테크비즈를 진행하였습니다
여기서 테크비즈란 이와 같은
복잡한 촬영을 계획하는 과정으로
가상의 요소와 실제 오브젝트 및 장비들을 결합하여
사전에 기술적인 시뮬레이션을 하는 것이라
생각하시면 됩니다
테크비즈는 실제 촬영에 들어가기 전
카메라 움직임이라든지 카메라 배치,
렌즈 선택 등 필요한 중요한 선택 과정입니다
실제 테크비즈를 진행한 팀과 진행하지 않은 팀과의 차이는
현장에서 엄청나게 벌어지게 됩니다
테크비즈는 현장에서 작업시간을 최소화 시켜주며
비용 및 여러가지 변수에도 대비할 수 있는 작업인 만큼
필수적으로 해야 되는 과정입니다
지금까지 우리는 2D 워크플로우와
그 활용사에 대해서 알아봤습니다
2D는 고정된 배경과 간단한 시각적 요소를
효율적으로 구현하는 데
강력한 도구임을 확인할 수 있습니다
하지만 복잡한 장면, 카메라 움직임
그리고 더 높은 몰입감을 요구하는 경우에는
2D만으로 한계가 존재하는 것도 알 수 있었습니다
이러한 한계를 해결하기 위해 등장한 것이
바로 2.5D 워크플로우입니다
2.5D 워크플로우에서는 기존의 2D 비디오 플레이트와
풀3D 생성 장면 간의 간극을 연결하는 기술입니다
쉽게 말해 이미지나 비디오 플레이트에 레이어를 쌓아올리고
여기서 깊이감과 형태를 추가함으로써
패럴랙스 이펙트를 구현하는 방식입니다
이 과정을 통해 보다 현실감 있는 장면을
빠르고 효율적으로 생성 할 수 있습니다
그렇다면 2.5D 워크플로우가 가지는
주요 장점은 무엇일까요?
패럴랙스 이펙트와 깊이감 제공입니다
2.5D 워크플로우는 소규모 카메라 움직임과
약간의 깊이를 요구하는 장면의 이상적인 솔루션입니다
특히 포토리얼리즘을 희생하지 않으면서도
현실감 있는 장면을 연출할 수 있는 큰 장점이 있습니다
카메라가 움직일 때 배경의 깊이가 자연스럽게 표현되면서
관객은 더 몰입감 있는 환경을 경험할 수 있습니다
두 번째로는 시간과 예산의 절감입니다
2.5D 워크플로우는 레이어드 플레이트를 활용하여
깊이 있는 화면을 생성합니다
긴 사전 제작 시간 없이도
몰입감 있는 환경을 조성할 수 있고
3D 애셋 제작 비용이나
VAD에 대한 비용을 절감할 수 있습니다
이로 인해 대규모 제작 뿐만 아니라 소규모 제작에서도
버추얼 프로덕션 혜택을
예산 제약 없이 누릴 수 있게 됩니다
세 번째로는 버추얼 프로덕션의 유연성 확장입니다
2.5D 워크플로우는 버추얼 프로덕션이
이미 제공하는 유연성을 더욱 확장합니다
화면에 추가적인 깊이를 더하고
배경과 차별화된 중간지점을 생성함으로써
사실적인 환경을 보다 간단히 구현할 수 있습니다
특히 감독과 촬영 감독에게
예산 내에서 화면에 무엇을 더 추가할 수 있을지
탐색할 수 있는 더 많은 가능성을 제공합니다
결론적으로 2.5D 워크플로우는
예산과 시간의 제약 속에서도
현실감 있는 장면과 몰입형 환경을 구현할 수 있는
효율적이고 유연한 솔루션이라고 볼 수 있습니다
2.5D 워크플로우는 다양한 제작 환경에서
폭넓게 적용될 수 있습니다
가장 흔한 예는 영화 및 TV 드라마에서 세트 확장입니다
실제로 물리적으로 제작하기 어려운
대규모의 배경이나 환경을
이미지 플레이트와 깊이 레이어를 통해서
간단하게 확장할 수 있습니다
이를 통해 제작 비용과 시간을 크게 절감할 수 있습니다
앞서 2D, 2.5D, 3D 에 대해서 알아보았다면
디스가이즈에서 콘텐츠를 어떻게 매핑하는지에 대해서
간단히 이해하고 넘어가는 시간을 가져보도록 하겠습니다
일단 매핑이란 무엇일까요?
매핑은 콘텐츠를 특정 화면이나 무대의 표현으로
정확히 전달하는 과정에서 사용되는 중요한 특성입니다
단일 비디오 레이어의 콘텐츠를
단일 또는 다수의 화면에 전달하거나
불규칙한 형태와 해상도를 가진 화면에
콘텐츠를 매핑할 수 있습니다
매핑을 통해 디지털 콘텐츠와 물리적 공간을 결합하여
보다 몰입감 있고 다차원적인 시각적 경험을
제공할 수 있게 됩니다
이어서 디스가이즈 매핑의 다양한 종류와
각 유형의 특징에 대해서 살펴볼텐데요
매핑은 크게 2D, 3D, 지오메트리
세 가지 카테고리로 나눠집니다
각 분류는 콘텐츠의 성격과 매핑 대상에 따라 선택되며
스태틱 또는 다이나믹 매핑,
2D, 3D로 나눌 수 있습니다
스태틱 매핑은 화면에 고정된 이미지나
영상을 투영할 때 적합한 방식이며
환경 변화가 적은 설정에 유용합니다
다이나믹 매핑은 실시간으로 변하는 콘텐츠를
매핑할 때 활용되며
라이브 이벤트에서 많이 활용됩니다
그리고 2D와 3D 매핑을 나누는 기준은
2D 매핑은 평면적인 화면에 콘텐츠를 배치할 때 적합하며
LED 월과 같은 직사각형 디스플레이에서 주로 사용된다는 점
반면 3D 매핑은 복잡한 형태의 표면이나
물체, 윗공간에 매핑하는 것을 의미합니다
Geometric Mapping의 경우는
Spherical 또는 Cylindrical Mapping의 경우
부채 또는 원통형 표면에 매핑하는 것을 의미합니다
Parallel, Perspective, Radial Mapping의 경우
여러 표면을 하나의 캔버스처럼 사용하거나 원근감을 적용해
콘텐츠를 투영하는 방식의 매핑을 말합니다
그럼 대표적인 매핑 방식 몇 가지에 대해서
더 살펴보도록 하겠습니다
첫 번째로는 다이렉트 매핑입니다
다이렉트 매핑은 스태틱 매핑의 방법 중 하나이며
디스가이즈에서 가장 기본적인 형태의 매핑 방식으로
스크린을 생성할 때 자동으로 설정되는 매핑 방식입니다
콘텐츠를 객체의 텍스처 좌표에 직접 적용하기 때문에
객체가 이동하더라도
콘텐츠가 해당 스크린에 고정되어 있습니다
처음에 콘텐츠를 불러오면 디스가이즈 소프트웨어에서
Clip to canvas로 기본값이 세팅되어 있기 때문에
화면비가 고정되어서 보여집니다
하지만 콘텐츠의 종횡비가 스크린의 종횡비와 다를 경우
오퍼레이터는 콘텐츠를 크롭하거나 핏하거나 확장하거나
또는 픽셀 단위로 정확하게 픽셀 퍼펙트를 선택해서
적용할 수도 있습니다
두 번째는 피드 매핑입니다
피드 매핑은 매우 유용하고 유연한 매핑 방식입니다
이를 통해 특정 영역을 특정 화면 및 표면에
라우팅할 수 있습니다
피드 매핑의 주요 장점은 단일 콘텐츠 소스를 사용하여
여러 화면에 동시에 콘텐츠를 공급할 수 있는 점입니다
특히 다수의 화면을 사용하는
쇼 프로그래밍에서 매우 실용적이며
동시에 여러 화면에 콘텐츠를 공급하기 위해
필요한 레이어 수를 줄여
서버의 성능 향상에도 도움이 됩니다
세 번째는 패럴렐 매핑입니다
패럴렐 매핑은 콘텐츠를
장면에 기하학적으로 투사하는 방식으로
마치 프로젝터와 같은 발광체에서
콘텐츠를 가상으로 촬영하는 것처럼 작동합니다
다른 매핑 방식과 달리 패럴렐 매핑은 콘텐츠의 화면에
UV에 직접 고정하는 방식이 아닌 투사를 합니다
이 방식은 콘텐츠의 위치가
3D 공간 내에서 변경될 때마다
동적으로 업데이트 될 수 있도록 해줍니다
이 말은 다이렉트나 피드 매핑과 달리
콘텐츠가 표면에 직접 고정되지 않아
시점 변경이나 객체 이동시
콘텐츠가 다르게 보이게 됩니다
자동차의 외관처럼 물리적인 스크린 배열이
고정되지 않는 환경에서 유리하게 적응됩니다
지금까지 2D, 3D, 2.5D의 개념과
다양한 매핑 방식에 대해서 알아보았습니다
그렇다면 이제 중요한 질문은
어떤 상황에서 2D, 3D, 2.5D 중
어떤 것을 선택할지 하는 것입니다
각 워크플로우와 매핑 방식에는 고유의 장단점이 있으며
프로젝트 목적과 요구 사항에 따라
적합한 방식을 선택하는 것이 매우 중요합니다
2D는 고정된 배경이나
간단한 시각적 요소가 필요한 경우 적합합니다
비용이 효율적이며 제작시간 또한 짧은 것이 큰 장점이고
후반 작업도 3D에 비해 간단합니다
하지만 깊이감이 부족하고
카메라 움직임이 제한적이라는 한계가 있습니다
따라서 정적이거나 단순한 장면에는 적합하지만
복잡한 시각적 연출에는 한계가 있을 수 있습니다
3D는 영화나 드라마 같은
대규모 프로젝트에 많이 사용되며
실제 물리적 세트와 디지털 환경을 실시간으로 통합하여
보다 몰입감 있는 시각적 효과를 제공합니다
가장 큰 장점은 실시간 카메라 트래킹을 통해
현실감 높은 화면을 구현할 수 있다는 점입니다
카메라의 움직임에 따라
디지털 배경이 동적으로 반응하기 때문에
감독과 스탭들이 즉각적으로 장면을 확인하고
수정할 수 있습니다
하지만 이 방식은 2D에 비해 높은 제작 비용과
복잡한 세팅 과정이 필수로 이루어져야 됩니다
또한 고성능 하드웨어 시스템이 요구되기 때문에
소규모 프로젝트에는 적용이 어려울 수 있습니다
말씀드린 2D와 3D 중간에 있는 방식이
2.5D라고 생각하시면 될 것 같습니다
각각의 장단을 가져가며
비용과 시간의 효율성을 제공하는 중간 지점에 해당합니다
여러 레이어를 활용하여 2D 처럼 작업하면서도
3D 효과를 일부 얻어낼 수 있습니다
이와 같은 각각의 장단점을 확실히 파악하여 잘 활용한다면
효율적인 제작과 동시에 최고의 결과물을 얻을 수 있습니다
XR의 구성 요소 및 워크플로우
다시 XR로 돌아와 보도록 하겠습니다
XR은 앞서 말씀드렸다시피 확장현실로
가상현실, 증강현실, 혼합현실 기술을
모두 포함한 개념입니다
XR은 실시간 가상환경을
LED 화면과 같은 물리적 요소에 결합하여
가상과 현실의 경계를 허무는 혁신적인 기술입니다
이러한 기술은 앞에서 말씀드린 것처럼
뮤직비디오, 라이브 방송, 영화 제작 등
다양한 산업에서 활용되며
시청자들에게 놀라운 시각적 경험을 제공합니다
이제 XR 스테이지가 어떻게 구성되는지
구체적으로 알아보도록 하겠습니다
먼저 카메라 뷰에 대해 설명드리겠습니다
카메라 뷰는 XR 환경이 최종적으로
어떻게 렌더링되는지 보여줍니다
이 뷰를 통해 감독과 제작팀은 실시간으로
최종 시각적 결과물을 확인하며
필요한 조정을 즉시 반영할 수 있습니다
따라서 카메라 뷰는 제작 과정에서
매우 중요한 역할을 합니다
다음으로 XR 스테이지의 중심 요소인 LED 스테이지입니다
LED 스테이지는 XR 환경의 핵심 기술로
가상 배경이 LED 패널을 통해 물리적으로 표현됩니다
배우와 진행자는 LED 스크린을 통해 가상의 배경을 보며
자연스럽게 연기하거나 진행할 수 있습니다
그리고 LED 스테이지의 외부는
가상 세트 확장으로 표현됩니다
이 확장은 LED 패널 바깥에서도
가상 환경이 계속 이어지며
관객에게 무한한 공간감을 제공합니다
이로 인해 실제 물리적 공간의 제약을
뛰어넘는 연출이 가능해집니다
마지막으로 바닥입니다
바닥은 물리적 요소와 LED 패널을 결합하여
배우나 진행자가 XR 환경에 자연스럽게
상호작용할 수 있도록 돕는 역할을 합니다
LED 패널이 포함된 바닥은 조명과 반사 효과를 강화해
더욱 현실감 있는 환경을 조성합니다
XR 스튜디오에서 몰입감 있는 콘텐츠와
시각적 효과를 구현하기 위해서는
다양한 구성 요소들이 유기적으로 연결되어야 합니다
여기에서 XR 구현에 필수적인
5가지 핵심 요소를 살펴보겠습니다
먼저 LED 스크린입니다
LED 스크린은 XR의 물리적 기반을
형성하는 디스플레이 장치로
가상 배경을 실시간으로 표현합니다
두 번째는 카메라 트래킹 시스템입니다
카메라 트래킹 시스템은 카메라의 위치, 각도,
움직임 데이터를 실시간으로 기록하고
이를 다른 시스템에 전달합니다
세 번째는 미디어 서버입니다
미디어 서버는 전체 XR 시스템의
허브 역할을 하고 있습니다
네번째는 젠록 싱크입니다
젠록 싱크는 모든 장치와 시스템 간의
프레임 동기화를 유지하는 역할을 하고 있습니다
마지막으로 리얼 타임 콘텐츠 렌더링 엔진입니다
실시간 렌더링 엔진은 고해상도 3D 그래픽과
물리 기반 렌더링을 실시간으로 제공하며
XR에서 시각적 요소를 완성하는 핵심 기술입니다
이처럼 XR의 구성 요소들은 각각의 역할을 하면서도
서로 유기적으로 연결되어 가상과 현실이
자연스럽게 융화된 몰입형 환경을 만들어냅니다
이 각각의 요소에 대해 좀 더 자세히 알아보겠습니다
XR 스테이지에서 가장 중요한 구성 요소 중
하나는 바로 LED 스크린입니다
LED 스크린은 가상 환경을 물리적으로 구현하여
배우와 소품이 가상 배경과
실시간으로 상호작용할 수 있도록 돕습니다
XR 스테이지의 핵심은 LED 패널로 구성된 벽,
바닥, 때때로는 천장까지 포함하는 구조입니다
이 설정은 매우 중요합니다
왜냐하면 해상도와 LED 픽셀 피치가
디지털 콘텐츠의 시각적 품질과
선명도에 직접적인 영향을 미치기 때문입니다
XR에서는 모든 세부 사항이 중요합니다
이러한 LED 패널의 픽셀 밀도가
카메라로 가까이 촬영할 때도
가상 환경이 매끄럽고 현실감 있게 보이도록 해줍니다
LED 스크린은 벽, 바닥,
심지어 돔 형태로도 설치할 수 있어
어떤 환경에서도 유연한 배경 구현이 가능합니다
특히 바닥 LED는 XR의 가장 중요한 요소인데
XR이 이름에서 알 수 있듯이
Extended Reality 즉, 공간 확장이 되려면
바닥 LED가 필수적입니다
다음으로 소개할 XR의 핵심 구성 요소는
카메라 트래킹 시스템입니다
이 기술은 XR 환경에서 가상 배경과
실제 카메라 움직임을 동기화하는데 필수적입니다
카메라 트래킹 시스템은 카메라의 위치와
움직임 각도를 실시간으로 추적하여
가상 배경이 카메라의 시점에 맞게
자동으로 조정되도록 합니다
이를 통해 시청자는 마치 카메라가
실제 공간에서 움직이는 것처럼 느끼게 됩니다
카메라가 움직일 때 LED 스크린에 표시된 가상 환경도
카메라의 관점에 따라 정확하게 변화합니다
이로 인해 가상 배경과 실제 인물이
일관성 있는 공간에 있는 것처럼 보이게 됩니다
그럼 이러한 카메라 트래킹 시스템에
어떤 기술들이 사용되는 걸까요?
대표적으로 카메라 트래킹 시스템으로는
앞서 말씀드렸던 Optitrack 이외에도
Skype, Ncam 등이 있습니다
이 장비들은 고정밀 센서를 사용해
카메라의 위치와 움직임을 정밀하게 추적합니다
카메라 트래킹 데이터는 디스가이즈 소프트웨어와 결합되어
실시간으로 가상 환경에 반영됩니다
디스가이즈에서 사용 중인 트래킹 시스템에 맞는
드라이버가 추가 및 활성화하고
포지션 리시버를 생성하여
트래킹 시스템과 연결하는 과정이 필요합니다
카메라 트래킹 시스템은 영화, 광고, 라이브 이벤트 등
모든 종류의 XR 제작에서 필수적이며
XR 환경에서 가상과 현실을 완벽히
융합시켜주는 기술입니다
이어서 디스가이즈 XR 환경에서 핵심적인 역할을 하는
리얼타임 렌더링 엔진에 대해서도 더 알아보겠습니다
XR 콘텐츠의 품질과 실시간 반응성을 결정짓는
핵심 기술이 바로 실시간 렌더링 엔진입니다
리얼타임 렌더링 엔진은 언리얼 엔진과 유니티 같이
실시간으로 3D 콘텐츠를 생성하고 렌더링하여
LED 스크린과 가상 환경에 즉각적인
시각적 피드백을 제공하는 프로그램을 말합니다
Epic Games의 언리얼 엔진이 대표적인 예로
이 엔진은 높은 수준의 현실관과
다이나믹한 환경 조정이 가능합니다
3D로 구성된 환경을 구축하고
하나의 스튜디오 공간을 다목적 공간으로 활용하여
동일한 공간에서 끊임없는
새로운 콘텐츠를 제작할 수 있습니다
카메라가 보는 시점 그대로의 장면을 렌더링하고
사실감 있는 것을 그대로 극대화할 수가 있고
장면의 퍼스펙티브를 만들어서 더 깊이 있고
생동감 있는 화면을 제공할 수 있습니다
또한 리얼타임 렌더링 엔진은 노치,
유니티, 언리얼 같은 다양한 툴과의
통합 워크플로우를 지원합니다
카메라가 3D 환경을 자유롭게 다닐 수 있고
고정된 샷이나 제한된 카메라 위치나
얽매일 필요가 없습니다
XR 워크플로우에 대해서 살펴보겠습니다
네트워킹은 모든 XR 프로젝션에서 핵심적인 요소입니다
결국 서버와 렌더링 엔진 간 데이터 흐름은
네트워크 인프라에 크게 의존할 수밖에 없는데요
네트워크는 생성되고 전송되는 모든 데이터의
대역폭을 처리할 수 있어야 합니다
그렇다면 XR 시스템에서 필요한
네트워크 유형은 무엇일까요?
효과적인 XR 시스템을 구축하기 위해서는
다음과 같은 네트워크가 필요합니다
먼저 미디어 서버 네트워크, d3Net입니다
d3Net은 XR 시스템에서 모든 서버 간의 통신을 담당하는
미디어 서버 네트워크입니다
미디어 서버가 빠르고 안정적인 데이터 전송을 지원합니다
다음은 메타 데이터 및 비디오 이더넷 전송입니다
이는 렌더스트림이라고 하는데
렌더스트림은 제3자인 렌더 엔진,
언리얼 엔진과 같은 것들과 소통하기 위한 방식입니다
이를 통해 VX와 RX 간의 메타 데이터 및
비디오 데이터를 전송할 수 있습니다
고품질 비디오 스트림을 위해서는
무압축 데이터를 전송하고
색상 정확도와 디테일을 유지하기 위해
10비트 전송을 지원해야 합니다
대용량 데이터를 빠르게 전송할 수 있는
25Gbps 네트워크를 활용해야 합니다
그리고 자동화 및 카메라 트래킹 네트워크를 통해
카메라 움직임 데이터를 트래킹하여
실시간으로 동기화를 제공해야 합니다
마지막 콘텐츠 관리 네트워크는
콘텐츠를 업로드, 다운로드 및
관리하는데 필요한 연결을 제공합니다
미디어 다운로드를 위한 인터넷 연결 외부 소스에서
미디어 파일을 가져오는데 사용됩니다
XR 시스템에 필요한 다중 네트워크에 대해 알아보겠습니다
VX 시리즈를 보면 시스템에
여러개의 NIC가 장착되어 있습니다
이러한 NIC는 다양한 대역폭 활동을 가능하게 하는데요
VX4+의 경우 1Gb 포트는 1개, 10Gb 포트는 2개,
100Gb 포트는 2개로 구성되어 있고
이러한 구성은 실시간 렌더링과
고속 데이터 전송을 지원합니다
통신, 생성, 콘텐츠 스트리밍 또는
카메라 트래킹 같은 다양한 데이터 유형을 분류함으로써
각 채널이 혼잡 없이 효율적으로 작동하여
시스템 성능을 최적화할 수 있습니다
그렇다면 앞서 말한 구성들의 시스템
네트워크 구성 다이어그램을 정리해볼까요?
먼저 디스가이즈 장비로 중앙에는
VX와 RX 시스템이 위치하고 있습니다
VX는 LED 프로세서와 연결되어
고품질 콘텐츠를 출력하고
RX는 언리얼 엔진과 같은 렌더링 엔진에서
콘텐츠를 수신하여 VX로 전달하게 됩니다
이 모든 과정은 디스가이즈 장비 간의 전용 네트워크인
d3Net을 통해 연결되어 있습니다
왼쪽에는 비디오 카메라와 트래킹 시스템이 있습니다
각 카메라는 실시간 데이터를 캡처하고
트래킹 시스템은 이룰 기반으로 카메라에 위치와
움직임 데이터를 VX4에 전달합니다
또한 젠록 시스템을 통해
전체 시스템이 완벽하게 동기화됩니다
다음은 네트워크입니다
10Gb 네트워크 스위치와 25Gb 멜라녹스 스위치는
대용량 전송을 지원하여
렌더스트림 및 KVM 신호를 처리합니다
오른쪽에는 LED 프로세서와 디스플레이
출력 관련된 부분이 보이는데요
이 프로세서는 VX4에서 전송된 데이터를 받아
LED 화면에 콘텐츠를 정확하게 출력하는 역할을 합니다
여기까지 네트워크에 대해 설명 드렸는데
결국 좋은 네트워크 시스템은 탄탄한 계획에서 시작됩니다
다른 VP 촬영에서도 마찬가지이지만
XR 프로덕션에서 시스템 관리자는
매우 중요한 역할을 합니다
이들은 전체 시스템을 설계하고 계획하는 책임을 맡는데
개별 네트워크를 구성하고 다양한 장비 간에
원활한 통신이 될 수 있도록 해야 합니다
지금까지 XR의 개별 구성 요소 중
중요한 몇 가지를 살펴보았습니다
이번에는 이 요소들이 어떻게
전체 워크플로우에서 유기적으로 연결되는지
설명드리도록 하겠습니다
모든 작업은 디스가이즈 Extended Reality Controller에서 시작됩니다
디스가이즈 디자이너 소프트웨어에서
카메라 및 렌즈 보정,
공간 및 색상 매핑 등의 과정을 통해
정확한 가상 환경을 설정합니다
여기에는 디스가이즈 3D 시뮬레이션 및
비디오 매핑 서버가 포함되어 있어
각 요소가 정확히 동기화됩니다
두 번째 단계는 실시간 그래픽 생성입니다
이 과정에서 앞서 말씀드렸던
언리얼 엔진과 같은 렌더링 엔진이 사용되며
가상 환경이 LED 화면에 출력됩니다
렌더스트림 플러그인을 통해 실시간으로
증강현실 콘텐츠를 생성하고
이 데이터는 카메라 추적 데이터와 함께
실시간으로 렌더링하게 됩니다
그 다음 이 모든 콘텐츠는 LED 월로 전달됩니다
여기서는 LED가 중요한 역할을 하게 됩니다
또한 조명 제어 시스템을 통해
LED 스크린에 나오는 빛과 물리적 조명이 동기화되어
더욱 몰입감 있는 환경을 만들게 됩니다
마지막 단계는 비전 믹서입니다
이곳에서 최종적인 영상 합성이 이루어지게 됩니다
AR 콘텐츠와 렌즈 데이터를 결합하여
실제 카메라와 가상 배경이 완벽하게
통합된 화면을 생성합니다
이 결과물은 방송용 또는 스트리밍 플랫폼에
바로 송출할 수 있게 됩니다
전체적으로 Extended Reality Workflow는
모든 XR 구성 요소를 실시간으로 통합하여
이 과정은 사전 제작, 실시간 조명,
후반 작업을 효율화하여
시간과 비용을 절약하면서도 높은 품질을 보장합니다
디스가이즈 XR 워크플로우에서
3D 무대 보정의 핵심 요소를 알아보도록 하겠습니다
정확한 보정은 실제 세계와 가상 세계가
원활하게 정렬되도록 보장하여
몰입감 있는 제작이 가능하게 합니다
보정에 두 가지 주요 유형이 있는데
바로 공간 보정과 렌즈 보정이 있습니다
공간 보정은 World Alignment를 포함합니다
여기서 World Alignment란
실제 무대나 카메라 위치 등 실제 세계와
언리얼의 가상 세계를 정확히 정렬하는 과정입니다
트래킹 데이터를 정확하게 해석해서
카메라가 물리적 공간에서 움직이는 대로
언리얼의 가상 환경에서도 동일하게 반영하도록
좌표계를 일치시키고
가상 콘텐츠 역시 실제 환경과 왜곡 없이
자연스럽게 어우러지도록 조정합니다
즉 공간 보정은 두 공간
실제와 가상을 정렬하는 기초가 됩니다
렌즈 보정은 실제 카메라 렌즈의
광학적 특성을 프로파일링하여
렌즈 고유의 프로파일을 계산하게 됩니다
이 프로파일은 렌더링된 가상의 확장된 세트와
실제 카메라 렌즈의 왜곡 및 시야각을
일치시키는데 필수적입니다
물리적 무대와 가상 모델이 일치하지 않으면
작은 오차라도 몰입감을 해치고
관객의 몰입을 방해하기 때문에
디스가이즈 내부의 가상 3D 모델은
100% 정확해야 됩니다
마지막으로 실제 XR 시스템을 설계할 때
고려해야 될 요소는 무수히 많지만
특히나 유의할 예시로 몇 가지 알려드리겠습니다
만약 다른 유형의 LED 프로세서를 사용하는 경우라면
LED 프로세서마다 컬러 매핑이나 감마 보정,
밝기 수준이 다르게 설정될 수 있어서
색상 차이가 날 확률이 높고
각 프로세서에 맞는 설정 및 캘리브레이션이 필요합니다
결국 설치 및 세팅 시간이 더 오래 걸릴 수 있습니다
만약 리프레시 속도가 많지 않다면
플리커, 즉 화면 깜빡임이 발생할 수 있습니다
만약 신호 포맷이 일치하지 않는다면
서로 다른 비디오 신호 포맷을 사용하는
장비가 연결되어 있는 경우
신호를 인식하지 못하거나
전송 불능 상태가 될 수 있습니다
장비 간 신호 포맷이 일치하지 않으면
다운 스케일링 또는 업 스케일링이 발생할 수 있어서
화질 저하 및 색상 왜곡 문제가 발생할 수 있습니다
신호 포맷이 안 맞으면 신호 변환이 필요하고
이는 추가적인 레이턴시 유발 원인이 될 수 있습니다
그리고 오디오, 비디오 간 싱크가 어긋날 수 있습니다
여러분도 계속해서 호기심을 갖고 탐구하시면서
현장에 필요한 실질적인 경험과
지식을 쌓아 나가시길 바랍니다
이번 시간에는 디스가이즈 활용의 첫 번째 시간으로
XR, 2D, 2.5D와 같은 다양한 기술적 개념과
워크플로우를 이해하고 실제 적용 방법을
학습하는 것을 목표로 진행해 봤는데요
여러분이 XR에 대해서 최신 기술들을 이해하고
본인의 작품에 좀 더 창의적이고
효율적인 콘텐츠 제작 방법을
배우는 시간이 되었길 바랍니다
그럼 이번 시간 학습한 내용을 복습하면서
마무리하겠습니다
감사합니다
XR, 2D, 2.5D 및 Mapping의 이해 XR (Extended Reality)
AR(증강현실), MR(혼합현실), VR(가상현실) 요소를 결합해 완전한 몰입형 경험을 제공하는 라이브 프로덕션의 총칭
2D Workflow 스틸 이미지나 동영상을 캡처 및 편집하여 LED 스크린 배경으로 사용하는 방식
2D Workflow의 장점 및 한계 유연성 및 확장성이 뛰어남 배경의 질감 및 디테일을 유지하면서 특정 장면의 요구에 맞는 스케일링이 가능함
깊이감이 제한적이며, 시차 효과가 없음 촬영 현장에서 반복적인 변경이 불가능함
2.5D Workflow 이미지나 비디오 플레이트의 레이어를 쌓아 올려 깊이감과 형태를 추가함으로써 Parallax Effect를 구현하는 방식
2.5D Workflow의 장점 Parallax Effect 및 깊이감 제공 시간과 예산의 절감 버추얼 프로덕션의 유연성 확장
Mapping 콘텐츠를 특정 화면 및 무대 표현으로 정확히 전달하는 과정에서 사용되는 주요 속성
대표적인 매핑 방식 Direct Mapping: Static Mapping 중 하나로 스크린을 생성 시 자동으로 설정되는 디스가이즈의 기본 매핑 방식
Feed Mapping: 특정 영역을 특정 화면 및 표현에 라우팅할 수 있는 유용하고 유연한 방식
Parallel Mapping: 콘텐츠를 장면에 기하학적으로 투사하며, 콘텐츠를 가상으로 촬영하는 것처럼 작동하는 방식
XR의 구성 요소 및 워크플로우 XR의 구성 요소 카메라 뷰: XR 환경의 최종적 렌더링 결과를 보여줌
LED 스테이지: XR 환경의 핵심 기술, 가상 배경이 LED 패널을 통해 물리적으로 표현됨
바닥: 물리적 요소와 LED 패널을 결합해 배우 및 진행자와 XR 환경과의 자연스러운 상호작용을 도움
XR 구현 필수 요소 LED Screens(Stage) Camera Tracking System
Media Server(disguise) Genlock Sync Real-Time Content Rendering Engine
XR 시스템 구축에 필요한 네트워크 미디어 서버 네트워크(d3Net) 메타데이터 및 비디오 이더넷 전송(RenderStream) 콘텐츠 관리 네트워크
3D 무대 보정 유형 공간 보정: World Alignment를 포함하는 공간 보정 렌즈 보정: 실제 카메라 렌즈의 광학 특성을 프로파일링하며 렌즈 고유 프로파일을 계산함
XR Workflow Extended Reality Controller 실시간 그래픽 생성 LED Wall(Stage) Vision Mixer