더 멋진 영상을 위하여! 모션캡처 & 스테레오스코픽을 알아보자

영화, 음악, 공연 등 각종 문화산업에서 기술의 역할은 갈수록 증가하고 있습니다. 기술의 발달로 인해 다양한 표현의 방법들이 생겨나고 기존에는 하지 못했던 표현들도 가능해지고 있습니다. 사전에서는 문화기술을 디지털 미디어를 기반으로 하여 방송·영화·음반·애니메이션·게임·음악 등 문화예술 산업을 첨단 산업으로 발전시키기 위한 기술의 총칭이라고 정의하고 있습니다. 이런 문화기술을 융성하고 발전시키기 위해 카이스트에서는 문화기술대학원을 운영 중입니다. 이번엔 각종 영상 기술들을 연구하는 카이스트 Visual Media Lab을 찾아가 사람, 동물 또는 기계 등의 사물에 센서를 달아 그 대상의 움직임 정보를 인식해 애니메이션, 영화, 게임 등의 영상 속에 재현하는 기술인 모션캡처 기술과 2D를 3D를 변환하는 Stereoscopic 기술을 체험해보고 설명을 듣고 왔습니다. 

 

rotoscoping(로토스코핑)

애니메이션 이미지와 실사 동화상(live action) 이미지를 합성시키는 기법입니다. 현실과 애니메이션이 같이 한 장면에 나오는 것을 생각하면 좋겠습니다. 셀(cell)에 그려진 후 촬영된 애니메이션 원본에 동화상의 이미지를 합성하여 이미지를 완성하는 것으로 애니메이션만으로는 표현하기 어려운 이미지를 표현할 때 주로 이 기법을 이용합니다. 예를 들어 기차가 달리는 장면을 표현할 때 증기 기관이 연기를 내뿜어 연기가 치솟아 오르면서 허공에서 사라지는 장면에서 애니메이션만으로는 연기를 실감 나게 묘사하는 것이 사실상 매우 힘든데, 이때 기차만을 애니메이션으로 완성한 후 실제로 기차에서 연기가 나오는 장면을 실사로 촬영한 것을 애니메이션과 합성하면 더욱 실제와 유사한 장면을 구현할 수 있습니다. 

그 외에도 애니메이션 표현을 최대한 현실과 유사하게 끌어올리고자 할 때도 이 방법을 씁니다. 예를 들어 히틀러의 연설 모습을 애니메이션으로 재현하고자 하면 히틀러의 실제 연설 화면을 그대로 한 프레임씩 셀 위에 전사하면 실제 이미지와 거의 유사한 이미지의 애니메이션을 만들 수 있습니다. 

 

▲ 사진1 애니메이션 <Out of the Inkwell> 스틸컷

 

모션캡처 장치에는 여러 가지가 있습니다. 기계식, 자기장식, 광학식, 관성센서, 광섬유, 음향 모션캡처, X-Box Kinect one, PS4, Gyro sensor, Depth camera, vision-based mocap 등 다양한데요. 현재 가장 많이 쓰이고 있는 방식은 광학식입니다. 광학모션캡처를 하기 위해 필수적인 장비는 Marker와 mocap camera입니다. 그 외에 필요한 것 중엔 캡처 데이터를 받아서 컴퓨터에서 작업할 수 있게 하는 프로그램과 캡처를 하려는 사전 공간설정에 필요한 여러 도구가 있습니다. Maker는 자전거 반사판과 같은 재질로 되어있어서 적외선을 반사할 수 있습니다. Maker를 동작을 인식하고 싶은 몸의 각 부분에 부착시킵니다. 모션캡처의 방식은 간단합니다. mocap camera가 적외선을 쏘면 사람 몸에 부착시킨 마커가 적외선을 반사합니다. 그 반사된 적외선을 mocap camera가 감지하여 마커의 (x, y, z)좌표를 인식합니다. 카메라 두 대만 있으면 공간에서 마커의 정확한 위치를 알 수 있습니다. 하지만 많은 마커를 동시에 정밀하게 처리하기 위해선 mocap camera를 많이 설치할수록 좋습니다. 

 

▲ 사진2 Mocap Camera의 마커 위치파악 원리 도식

 

▲ 사진3 모션캡처의 전반적인 과정 중 테스트 모캡 수행 및 조정

▲ 사진4  VML 모션캡처

모션캡처를 통해 현실에서의 동작을 컴퓨터에서 구현할 수 있게 됩니다. 현재로선 사람과 비슷한 형태를 한 것에 주로 쓰이고 있지만 다양한 형태의 움직임을 표현하기 위한 연구도 진행되고 있습니다. 캡처가 끝나면 콘텐츠화되기까지 여러 단계가 필요합니다. 이 과정은 전문적인 내용이 필요하니 간단히 사진으로 보여드리겠습니다.

 

▲ 사진5 모션캡처 후 콘텐츠화 되는 과정

 

모션캡처가 가장 빛을 발한 작품으로는 <아바타>를 들 수 있습니다. 안면까지 미세한 마커들을 달아서 배우의 표정 연기까지 캡처했습니다. 그야말로 감정까지 캡처한 셈입니다. 그래서 이를 두고 제임스 카메론 감독은 ‘Emotion Capture’ 라는 표현을 했습니다. 요즘엔 게임분야에도 모션캡처가 많이 쓰이고 있습니다. 영화와 게임의 경계를 무너뜨린 'Beyond : Two Souls'에서도 모션캡처는 게임의 완성도에 큰 공헌을 합니다.

 

▲ 영상1 영화 <아바타> 모션캡처 영상

▲ 영상2 게임 <Beyond : Two Souls> 모션캡처 영상

1. 모션캡처 기술의 응용분야가 어떻게 되나요?

익히 잘 알려진 대로, 가장 대표적인 모션캡처 기술의 응용 분야는 영화나 애니메이션입니다. 실제로 존재하지 않는 디지털 캐릭터를 사실처럼 움직이게 하려면, 기존에는 시간과 비용이 많이 소모되는 키프레이밍 방식을 사용했지만, 모션캡처 기술로 인하여 좀 더 적은 시간과 비용으로 매우 사실적인 디지털 캐릭터의 모션을 생성할 수 있게 되었습니다. 

이 밖에도 2013년 GOTY를 휩쓴 ‘The last of us’ 등을 비롯한 게임 분야에서도 모션캡처 기술은 크게 주목받고 있으며, Kinect 와 같이 적외선 센서를 사용하여 사용자의 모션을 인식하여 컨트롤러로 사용하는 게임이 계속 발매되고 있습니다. 이러한 콘텐츠 제작을 넘어서 운동선수나 악기 연주자의 자세 등을 교정하거나 운동량을 측정하는 데 활용되기도 하고, 제품을 생산하는 산업체에서 가장 효율적인 동선이나 작업방식을 고안하는 데에도 적용사례가 있습니다. 실로 다양한 분야에서 폭넓게 사용되고 있으며 앞으로 그 필요성은 더욱 늘어나리라 전망할 수 있습니다.

2. 모션캡처 기술의 다양성에 대해 얘기해주세요.

모션캡처 기술은 그 목적과 환경에 따라 다양한 방식을 가지고 있어서 어느 한 가지 방식으로 표준화되었다고 할 수는 없습니다. 현재 가장 널리 사용되고 있는 방식은 적외선 카메라를 이용한 광학식 모션캡처입니다. 정확도와 비용 면에서 가장 우수하다고 평가받고 있습니다. 그러나 광학식의 모션 캡처도 마커유형(액티브/패시브)에 따라서 차이가 있으며, 신체/얼굴을 캡처하는 여부에 따라서 마커의 크기나 개수도 달라집니다. 이 외에 최근 자이로 센서를 이용한 모션캡처, 깊이맵 카메라를 이용한 모션캡처, 이미지정보를 이용한 모션 캡처 등 다양한 방식이 개발 및 응용되고 있습니다.

3. 앞으로 발전시켜야 할 사항

현재 가장 일반적으로 사용되는 광학식 모션캡처는 불편한 마커를 몸에 붙이고 적외선 카메라가 촬영할 수 있는 범위 안에서만 캡처할 수 있다는 단점이 있습니다. 따라서 최근에는 마커를 사용하지 않는 모션캡처 기술이 주목받고 있습니다. 이를 위하여 Kinect와 같은 깊이맵 카메라를 이용한다든지, 촬영된 영상 이미지 정보를 활용하여 더욱 정확한 캐릭터의 관절움직임을 생성해내는 연구가 활발히 이루어지고 있습니다. 또한, 모션캡처 기술은 매우 사실적인 신체의 동작만을 캡처할 수 있기 때문에, 사람과 아주 다르게 생긴 캐릭터나 만화 영화와 같은 과장된 캐릭터의 모션에 적용하기에는 한계점을 가지고 있습니다. 또한, 하나의 모션을 서로 성격이 다른 여러 캐릭터에 옮겨줄 경우, 각 캐릭터의 개성과 상관없이 항상 똑같은 모션으로만 옮겨진다는 단점도 있습니다. 이와 같은 한계점을 극복하기 위하여 Visual Media Lab을 포함한 세계 각국의 많은 컴퓨터 그래픽스 연구실에서는 오늘 이 순간에도 최선을 다하여 연구하고 있습니다.

3D 월드컵 생중계라고 들어보셨나요? 최근 일반 지상파 프로그램에서도 2D를 3D로 전환하여 방송하는 것을 볼 수 있습니다. 그럼 어떻게 2D를 3D로 전환하는 것일까요? 이 방법을 이해하기 위해선 먼저 3D로 보이는 기본 원리부터 알아야 합니다. 3차원으로 인지하기 위한 조건에는 여러 가지가 있는데 그중 가장 중요한 요소는 바로 ‘양안시차’라는 것입니다. 이는 우리 눈이 65mm 정도 떨어져 있어서 양쪽 눈의 시야가 약간 다르므로 발생하는 현상입니다. 이 ‘양안시차’를 이용하여 두 눈에 서로 다른 이미지를 보여주면 깊이감을 줄 수 있게 되어 3차원 이미지로 보이게 할 수 있습니다.

▲ 사진6 양쪽 눈이 시야가 다름을 보여주는 양안시차 설명 사진

모두 양안시차를 이용한다는 공통점이 있지만, 양안시차를 주는 방법에는 여러 가지가 있습니다. ‘안경식’으로는 적청, 셔터글라스, 편광판이 있습니다. 이들은 화면에서 미리 안경 좌우에 들어갈 영상을 동시에 또는 교대로 송출하고 안경이 각각 해당 정보만 받아들이게 하여 양안시차를 줍니다. 즉, 양쪽 눈에 들어갈 영상을 동시에 내보내고 왼쪽 안경은 왼쪽 영상만을 오른쪽 안경은 오른쪽 영상만을 받아들이게 하는 방식입니다. 가장 흔히 쓰이는 방식이죠. 무안경식은 디스플레이 자체가 사람의 왼쪽 눈과 오른쪽 눈으로 직접 각각의 해당 영상을 보냅니다. 그래서 안경이 필요가 없죠. 하지만 직접 좌우 영상을 분리해서 보내주기 때문에 감상할 수 있는 위치의 범위가 좁습니다. 디스플레이에서 왼쪽 눈이 봐야 하는 영상을 보내주는 곳에 왼쪽 눈을 위치시켜야 하고 반대도 마찬가지니까요. 그 밖에 가장 직관적인 방법으로 HMD(Head Mounted Display)가 있습니다. 그냥 좌우 눈에 직접 각각의 영상을 보여줄 수 있는 디스플레이를 머리에 써버리는 것입니다.

▲ 사진7 무안경식 3D 디스플레이 원리 도식

위에서 보았듯이 3D 영상을 만들려면 왼쪽 눈, 오른쪽 눈에 들어갈 영상이 각각 필요합니다. 그러면 한 가지 2D 영상을 가지고 두 가지 이미지를 만들어 내야 하는데 이 과정을 간단하게 살펴보겠습니다. 양안시차를 위해 같은 장면이면서 다른 시야에서 본 이미지를 만들어야 합니다. 아래 그림과 같은 과정을 거치는데 요약하면 입체감을 주기 위해 객체를 분리하여 영상에서의 깊이를 설정해줍니다. 깊이라는 것은 무엇이 얼마나 뒤에 있는지 라고 생각하시면 됩니다. 그리고 객체를 약간 이동시켜 다른 쪽 시야를 만들어주고 이미지를 이동시킬 때 발생한 틈을 보정작업을 거쳐 채웁니다.

▲ 사진8 2D를 3D로 바꾸는 과정 도식

기술 사용 사례영상

화면이 좌우로 갈라져서 보이는 것은 각각 왼쪽 눈에 들어갈 영상과 오른쪽 눈에 들어갈 영상을 분리하여 표시해서 그렇습니다. 자세히 보시면 약간의 차이가 있음을 알 수 있습니다. 

▲ 사진9 Stereoscopic이 적용된 사례

ⓒ 사진 및 영상 출처

-표지 영화 <아바타> 공식포스터

-사진1 애니메이션 <Out of the Inkwell> 스틸컷

-사진2,3,4,8,9 VML 제공

-사진5  Stuart Fahey – Final Year Project

-사진6 New York Public Library, Charles Street Mall, Boston Common, by Soule, John P., 1827-1904 

-사진7 [parallax barrier] in Wikipedia 

-영상1 유튜브 Discovery 채널

-영상2 유튜브 Game Spot 채널