본문 바로가기
상상발전소/콘텐츠이슈&인사이트

애니메이션 제작 공정에서의 리얼타임 엔진 기술 활용

by KOCCA 2022. 11. 17.

어렸을 때 자주 보던 애니메이션이 있으신가요? 아기공룡 둘리, 뽀로로, 짱구는 못 말려 등 다양한 애니메이션들이 있었는데요. 애니메이션 산업이 점차 발전하면서 실제로 사람이 움직이는 것 같은 부드러움과, 화려한 배경 등 기술도 같이 발전했습니다.

 

오늘은 애니메이션 제작 공정에서의 리얼타임 엔지 기술의 활용에 대해서 이야기해 보겠습니다!


■ 애니메이션 제작에 리얼타임 엔진 도입의 필요성

출처 : 클립아트코리아

유튜브의 등장은 수년에 걸쳐 영상 콘텐츠의 성질을 변화시키고 있습니다. 더 이상 TV나 극장과 같은 높은 퀄리티를 가진 하나의 완성된 이야기가 아니라 완성도는 낮고 이야기가 완료되지 않더라도 짧고 흡입력 있는 전개를 가진 영상 콘텐츠들이 제작 비용 대비 더 큰 성과를 내게 되었고 이는 애니메이션 분야에서도 마찬가지입니다. TV 시리즈나 장편 애니메이션을 제작하기 위해서는 높은 작화 퀄리티, 시장성 있는 IP, 그리고 높은 제작비가 요구되지만 유튜브의 경우에는 작화 퀄리티나 IP의 유명세보다는 얼마나 흥미를 유발하고 얼마나 새로운 소재를 가지고 있느냐에 더 영향을 받게 됩니다. 즉, 훨씬 낮은 제작비로도 경쟁이 가능한 것입니다.

이러한 새로운 플랫폼과 전통적인 플랫폼의 공존은 코로나 사태를 통해 급격히 변화하게 되었습니다. 장편 애니메이션의 주 소비 플랫폼인 극장이 쇠퇴하고 OTT들의 성장과 함께 전통적인 텔레비전・라디오 방송국들은 경쟁력을 잃게 되었습니다. OTT 업체들의 출현으로 콘텐츠의 양적인 수요가 폭발적으로 증가하였고 전통적인 TV 방송국들에 비해 훨씬 자유로운 소재와 영상 표현이 가능해졌기 때문입니다.

 

이렇듯 변화된 시장에서 성공하기 위해서는 새롭고 다양한 시도가 필요합니다. 전통적인 애니메이션 제작에서 필수적인 가치들이 더 이상 통용되지 않기 때문에 시장에 통할 만한 새로운 가치들을 찾아야 하고 이는 결국 다양한 서비스 경험으로부터 얻을 수 있기 때문입니다. 다양한 시도를 하기 위해서는 한정된 제작비로 더 많은 프로젝트를 만들 수 있어야 하는데 이때 핵심은 얼마나 퀄리티를 유지하면서 제작 비용을 절감하느냐입니다. 이러한 이유로 인해 많은 애니메이션 업체들이 리얼타임 엔진을 도입하고 있습니다.


■ 현재 애니메이션 제작에 리얼타임 엔진 도입 방식

리얼타임 엔진을 사용하여 만든 유미의 세포들 / 출처 : TVING

애니메이션 제작에 리얼타임 엔진을 도입하는 방식은 현재 3가지로 분류할 수 있습니다. 첫째, 프리비즈(Pre-viz) 작업에 리얼타임 엔진을 사용하는 경우입니다. 전통적인 애니메이션에서는 시놉시스와 스토리 보드를 준비하고 나면 스토리 보드의 컷을 이용하거나 DCC툴 (Maya)에서 러프한 3D 모델을 사용하여 애니메틱스를 제작하게 됩니다. 하지만 리얼타임 엔진을 이용하면 DCC툴보다 훨씬 빠르고 효율적으로 애니메틱스 작업이 가능합니다. 이러한 장점으로 인해 여러 애니메이션 업체들이 이미 수년 전 부터 리얼타임 엔진을 이용하여 프리비즈 작업을 진행해 오고 있습니다.

출처 : ⒸMAYA

둘째, 리얼타임 엔진을 렌더러(renderer)로 사용하는 경우입니다. 실제로 대부분의 언리얼 엔진을 도입하는 업체들이 기존의 오프라인 렌더러를 언리얼 엔진으로 대체하는 방식을 사용합니다. 리얼타임 엔진의 경우 빠른 렌더링 시간에도 불구하고 기존에는 리얼타임 엔진이 최종 픽셀 퀄리티를 애니메이션 업계에서 요구되는 수준으로 출력하는 것은 쉽지 않았기 때문에 도입 초반에는 프리비즈 작업에 주로 사용되었습니다. 하지만 언리얼 엔진은 레이트레이싱(raytracing)이나 패스 트레이서(path tracer)를 지원하여 물리적으로 정확한 라이팅(lighting)과 리플렉션(reflection) 결과를 얻을 수 있게 되었고 무비 렌더 큐를 통해 실시간에서는 불가능한 다양한 렌더링 수치들을 적용하여 최종 픽셀 퀄리티를 오프라인 렌더러에 가깝게 높일 수 있게 되었습니다. 이 방식을 이용하면 처음에는 언리얼 엔진으로 렌더링하는 컷의 비중이 낮지만 프로젝트를 거듭해 나가면서 리얼타임 제작 공정에 적응하여 점차 언리얼 엔진으로 렌더링하는 컷의 비중이 늘어나게 됩니다. 파이프라인을 두 종류로 유지해야 한다는 단점이 있는 반면, 훨씬 빠르고 효율적으로 리얼타임 파이프라인에 대한 제작 경험과 언리얼 엔진을 이용한 제작 역량을 높일 수 있다는 장점이 있습니다. 이러한 도입 방식의 최종 목표는 100% 언리얼을 이용한 렌더링입니다.

셋째, 메인 프로덕션과 포스트 프로덕션 작업의 일부를 언리얼 엔진에서 직접 진행하는 경우입니다. 여기에서 팀이나 프로젝트에 따라 여러 가지 작업들을 선택적으로 사용하게 됩니다. 몇 가지 도입 유형을 소개하자면 우선 레벨 제작을 언리얼 엔진에서 진행하는 경우입니다. 여기에 리깅(rigging) 작업도 언리얼 엔진에서 진행하여 절차적 애니메이션을 도입하기도 하고 나아가 카메라 레이아웃 작업이나 컷이나 테이크 편집도 언리얼 엔진의 시퀀서를 이용하여 진행하는 경우도 있습니다. 또한 모션캡처 데이터도 언리얼 엔진에서 실시간으로 받아 캐릭터에 적용하기도 합니다.


 리얼타임 엔진 도입의 방해 요소

이렇게 다양한 곳에서 리얼타임 엔진을 애니메이션 공정에 도입하고 있지만 도입에는 상당한 시행착오를 거치고 있습니다. 업체에 따라 다르지만 리얼타임 엔진을 도입하는 경우 짧게는 6개월에서 길게는 1~2년에 걸쳐 RnD를 거치고 있습니다.

이러한 시행착오가 발생하고 RnD가 필요한 이유는 리얼타임 에셋과 오프라인 렌더러용 에셋의 제작 방식 차이를 들 수 있습니다. 리얼타임용 에셋은 실시간으로 렌더링이 가능해야하기 때문에 다이렉트 X나 오픈지엘(OpenGL), 벌컨(Vulkan)과 같은 리얼타임 그래픽 API에 맞춰 제작되어야 합니다. 문제는 이러한 방식이 이전에 사용하던 일반적인 오프라인 렌더러용 에셋을 제작하는 작업 방식과 크게 다르다는 점입니다. 때문에 에셋 제작에서 작업자들이 리얼타임 에셋 제작에 대한 이해를 가지고 적응하는 데 시간이 필요합니다.

 

거기에 마야에서 많이 사용하는 서브디비전(subdirision) 기능 역시 리얼타임 엔진에서는 제공하지 않으므로, 디자인에 따라서는 오히려 리얼타임용 모델링에서 면이나 정점의 개수가 더 많아지는 경우가 발생하기도 하고 스키닝 작업도 더 어려워지게 됩니다.

출처 : 클립아트코리아

이러한 이유들로 인해 전통적인 애니메이션용 에셋 제작에 익숙한 작업자들이 당장 최적화된 리얼타임용 에셋을 제작하는 것은 어려운 일입니다. 이 때문에 많은 애니메이션 제작 회사들이 리얼타임용 에셋 제작이 가능하거나 언리얼 엔진을 사용 가능한 작업자들을 구하기 위해 노력하지만 최근 애니메이션 업계는 물론 영화, 영상, VFX 업계 등에서도 언리얼 엔진을 도입하는 사례가 급격히 증가하면서 원하는 인력을 구하는 것이 어려워지고 있습니다.

 

이러한 인력 문제를 해결하기 위해서는 인건비를 높이거나 내부 교육을 통한 언리얼 엔진 인력을 양성해야 하며 두 경우 모두 비용과 시간이라는 문제 때문에 업체에 부담으로 작용하게 되면서 언리얼 엔진을 애니메이션에 도입하는 데 현실적인 어려움으로 작용하고 있습니다.

이 글은 한국콘텐츠진흥원의 [2021 애니메이션 산업백서]에 게재된 글을 활용하였습니다.