본문 바로가기
상상발전소/만화 애니메이션 캐릭터 스토리

애니메이션 제작 도구의 다양한 활용

by KOCCA 2022. 2. 9.

 

가. 버추얼 프로덕션의 적극적인 활용 사례

주로 실사영화에서 프로덕션 과정과 포스트 프로덕션 과정 사이를 연결하여, 배우와 연출자에게 가상공간에 대한 정보를 전달하기 위해 만들어진 버추얼 프로덕션게임엔진을 이용한 실시간 렌더링이라는 장점이 부각되면서 점점 애니메이션 분야로의 확대가 진행되고 있습니다. 2020년, 언리얼의 경우 애니메이션 제작에 대한 기술 지원과 개발을 확대하고 있으며, 유니티의 경우도 주요 작품들과의 협업을 통해 기반을 확대하고 있는 상황입니다. 

 

1) AMGI의 <리틀 카이주> 시리즈(2020)

 

일반적인 CG 애니메이션의 제작과정에 언리얼을 도입하기 위한 노력은 1)AMGI사의 <리틀 카이주(Little Kaiju)> 시리즈의 한 에피소드를 통해 진행되었습니다. 2020년 상반기부터 언리얼과의 협업으로 진행되었던 프로젝트는 기존의 애니메이션 제작 파이프라인에서 언리얼을 이용한 애니메이션 블로킹 (Blocking), 그리고 최종 애니메이션 렌더, 시뮬레이션, VFX도 언리얼을 통해 진행하였습니다.

 

특히 2)AMGI의 경우 사전시각화(Pre-Visualization, Pre-Vis) 작업과 애니메이션 블로킹 작업에서 실시간 시뮬레이션(캐릭터의 털(Fur))과 더불어 캐릭터 모션캡처 및 페이셜(얼굴, 안면) 모션캡처를 동시에 진행함으로써, 애니메이션 작업의 파이프라인에 언리얼 도입의 가능성과 효율성을 확인하였습니다. 

 

 

1) AMGI와 언리얼(Unreal)이 공동으로 작업한 이 프로젝트는 기존의 애니메이션 파이프라인에 언리얼을 이용함으로써 효율성을 증대시킬수 있는지 검증의 목적으로 진행되었던 프로젝트였다. Unreal Engine, Integrating Unreal Virtual Production Into the Highest-Quality Character Animation Pipeline(2020.11.12.), https://www.youtube.com/watch?v=T2YEzFOFsGc (검색어: AMGI, Unreal Virtual Production)

2) 언리얼을 통해 작업한 애니메이션은 다음에서 확인할 수 있다. AMGI Animation Studios, Little Kaiju Finds A Bug || AMGI Studios || Unreal Engine Animation(2020.4.5.), https://www.youtube.com/watch?v=8dZyXvuprtY(검색어: little kaiju, unreal Engine)

 

AMGI의 <리틀 카이주>의 언리얼 추가 파이프라인

 

2) 카라의 <신 에반게리온 극장판:Ⅱ>(2020) 유니티 엔진

 

<신 에반게리온 극장판:Ⅱ>에서 스튜디오 카라는 거대한 로봇 캐릭터가 등장하는 애니메이션에서의 다양한 카메라 앵글을 구현하고 테스트를 진행하기 위해 버추얼 프로덕션 시 스템을 도입하였습니다. 처음에는 실사영화에서 사용한 프로그램들을 이용해 사전시각화 (Pre-Vis) 작업을 진행하였으나, 비용과 시간 그리고 기타 애니메이션 툴들과의 호환성 등 의 문제로 유니티(Unity) 엔진을 기반으로 한 VP 시스템을 자체 개발해서 사용한 예입니다. 기존의 콘티 제작자에게만 기대할 수밖에 없던 공간이나 카메라 앵글 구성을 다양화하기 위해, 프리 비주얼 단계에서뿐만 아니라, 프로덕션 과정에서도 직접 앵글을 수정하고 적용 시킬 수 있도록 작업하였습니다. 결국 제한된 공간에서의 카메라 워킹과 포지셔닝을 완벽히 구현하고 이를 기반으로 짧은 시간에 많은 컷 테스트와 레이아웃 작업을 다양하게 할 수 있었습니다. 3)

 

또한 롱테이크 장면 연출을 위해 VP를 이용, 공간과 더미로 테스트를 진행하고, 더미 프로 덕션 내부에서 공간 구성과 카메라 무빙을 설정하고 테스트를 진행하였습니다. 이후 2D 작화팀 이 참여하여 완성도를 높였으며, 전체 작품의 약 70%를 3D CG를 바탕으로 제작하였습니다. 4)

 

3) CGWorld・jp, カラー×ユニティ・テクノロジーズ・ジャパン特別対談『シン・エヴァンゲリオン劇場版』制作にみる、CGアニメーションの未来とは?(2021.6.30.)

4) 유니티의 경우 2020년부터 노드 방식의 합성 기술을 접목한 애니메이션 제작을 위한 툴인 ‘Anime Toolbox’를 개발해 오고 있다.(CGWorld・jp, 상동)

 

 

나. 전통적인 제작 방식과 디지털 기술의 결합 사례

스톱모션 애니메이션의 경우 가장 오래된 애니메이션 제작 전통을 유지하고 있는 장르입니다. 가장 아날로그 방식으로 여겨졌던 이 제작 방식이 최근에는 디지털 기술의 발달과 더불어 가장 진보적인 테크놀로지를 접목하게 되었습니다. 이러한 결합 방식은 스톱모션 애니메이션이 실사영화 영역과의 접점이 있기 때문입니다.

 

잃어버린 세계를 찾아서 출처 : '잃어버린 세계를 찾아서' 스틸컷

1) 라이카의 <잃어버린 세계를 찾아서>(2019)

 

라이카는 스톱모션 애니메이션 제작사 중에서 가장 진보적인 테크놀로지를 이용하는 업 체로, 3D 애니메이션 기술과 스톱모션 기술의 결합을 가장 적극적으로 진행하고 있습니다. <잃어버린 세계를 찾아서>의 경우 100여 개가 넘는 캐릭터와 30개가 넘는 배경, 그리고 초당 24프레임으로 촬영하는 모든 과정을 2년이라는 기간 동안에 해내기엔 시간이 턱없이 부족 했습니다. 이를 극복하기 위해 라이카는 2017년부터 3D CG 배경과 캐릭터의 합성에 대한 테스트를 진행해 왔고, 2016년 <쿠보와 전설의 악기>에서 배경을 합성하는 방식으로 진행 하였습니다. <잃어버린 세계를 찾아서>에서는 본격적으로 CG 캐릭터와 배경을 동시에 사용함 으로써, 스톱모션 제작에 있어서 걸림돌이던, 다양한 캐릭터가 동시에 등장하는 장면들의 애니메이팅을 효율적인 방식으로 전환할 수 있게 되었습니다. 이는 특히 연출에 있어서 공간적 제약을 많이 받아 왔던 스톱모션 제작 방식과 공간 구축, 그리고 레이아웃 작업에 더 넓은 자유성을 부가하게 되었습니다. 5)

 

5) Insider, How the Golden Globe-winning ‘Missing Link’ team created one of the most ambitious stop-motion
animation scenes ever, which took 100 weeks(2020.1.7.)

 

<All Through the house>(2020) 출처 : All Through the house 페이스북 채널

 

2) Blur와 Blink Ink. 의 <All Through the house>(2020)

 

스톱모션 애니메이션의 또 하나의 걸림돌은 캐릭터의 페이셜입니다. 하나의 인형을 통해 인물의 성격과 모습을 구현함에 있어서 스톱모션의 페이셜은 언제나 걸림돌이었습니다. 이를 극 복하기 위해 많은 제작사들은 페이셜을 조정 가능한 인형을 만들거나, 또는 얼굴의 모습을 종류별로 400개 이상을 만들어서 교체하는 방식으로 진행을 하였습니다. 그럼에도 불구하고 스톱모션의 페이셜은 다른 애니메이션 장르에 비해 자연스럽지 못하거나, 또는 표현력이 약하다는 단점이 있었습니다. 때문에 2007년 아카데미 단편 애니메이션상을 수상하였던 <마담 투 틀리 푸틀리>에서는 실사로 촬영한 배우의 눈과 입을 스톱모션 캐릭터에 하나하나 합성하 기도 하였습니다. 최근에 제작된 게임 영상 제작사인 Blur와 스톱모션 제작사인 Blink Ink.가 제작한 ‘Love, Death+Robots’ 시즌2 가운데 한 작품<All Through the House> 스톱모션의 페이셜을 3D 맥스를 통해 별도로 제작하고, 촬영된 스톱모션 캐릭터의 얼굴을 트랙킹 기술 을 통해 합성하여 작품을 제작하였다. 이 기술은 스톱모션의 실재적 효과와 3D의 사실적 모사가 합쳐진 작품으로 전통적인 스톱모션 제작 방식이 가진 한계를 극복하기 위한 좋은 예시가 되었습니다.

 

21세기 상사, 출처 : (주)중앙애니메이션 홈페이지

3) 중앙애니메이션의 <21세기상사> 프로토타입 연구(2020~2021)

 

스토모션 애니메이션 제작사인 중앙애니메이션은 2019년 <쉿! 내 친구는 빅파이브>를 시작으로 3D 프린팅 기술을 활용하여 스톱모션 캐릭터의 립싱크와 페이셜 작업을 진행해 왔습니다. 하지만 특유의 15프레임 촬영에서 오는 끊어짐이 문제가 되었기 때문에 2D 애니메이션을 이용해 페이셜을 합성하는 방식의 연구를 진행해 왔습니다. 2D 페이셜 애니메이션은 실시간 페이셜 모션캡처를 이용해 애니메이션을 진행하고, 향후 촬영된 스톱모션 캐릭터에 2D 애니메이션을 트랙킹하여 합성하는 방식을 이용하였습니다. 향후 버추얼 프로덕션의 확장으로 디즈니 드라마 <만달로리안>에서 이용된 언리얼의 인카메라 프로덕션(In camera production)이 스톱모션 애니메이션에서 적극적으로 활용될 예정이며, 이를 위한 연구도 진행되고 있습니다. 

 

 

다. 머신러닝 기술의 적용 사례

딥러닝 기술은 흔히 애니메이션 제작 과정에서 프리 프로덕션 과정의 일부분으로 개발되고 있지만, 스톱모션의 경우에는 포스트 프로덕션 과정에서 중요한 역할을 담당할 수 있을 것으로 여겨집니다. 

 

1) <잃어버린 세계를 찾아서> : 얼굴 심라인 제거 자동화 기술 

 

최근의 스톱모션 애니메이션의 경우 가장 많이 사용되고 있는 촬영 방식 중의 하나가 페이셜 교체 방식입니다. 이 방식은 캐릭터의 눈을 중심으로 얼굴의 윗부분과 아랫부분을 절개 해서 표정을 교체하며 촬영하는 방식입니다. 문제는 아무리 정교하게 가공된 페이셜 조각이라 고 하더라도 소위 심라인(seams line)이 보이는 것이 문제였으며, 많은 CG 후반 작업자들 이 그 모든 흔적과 라인을 한 프레임씩 제거하는 과정이 있어야만 했습니다. 가장 단순한 작업임 에도 불구하고, 가장 많은 시간과 노력이 투여되는 이 작업은 스톱모션 제작에 있어서 가장 난제이기도 하였습니다. 

 

예의 <잃어버린 세계를 찾아서>의 경우도 이런 문제를 가지고 있었고, 이를 작품 제작 과정에서 딥러닝 기술을 이용한 AI 기술로 극복을 하려 하였으며, 이 작품을 테스트베드로 삼고 인텔과의 협업을 통해 Intel open Image Denoise 기술을 활용하여 개발하였습니다. 이는 스톱모션 특유의 제작 방식에서 발생할 수 있는 다양한 문제들(합성, 클린업, 조명 등)을 포괄적으로 수정 가능한 방식으로 확대될 예정이며, 비슷한 문제를 가진 CG 애니메이션 기술에도 적용될 예정입니다.

 

2) <21세기상사> 및 <화곡동 다방구> 프로젝트(2020~2021)

 

중앙애니메이션은 중앙대학교 지능형정보처리 연구실과 공동으로 프레임 인터폴레이션 (Frame interpolation) 머신러닝 작업을 수행하였습니다. 현재 TV용 스톱모션 애니메이션의 경우 초당 15프레임으로 끊어지는 움직임과 모션 블러의 부재가 그 자체의 미학으로 받아들여졌으나, 최근의 CG 애니메이션들이 가지는 부드러운 움직임에 비해 부정적인 평가가 많았습니다. 그러나 이를 해결하기 위해 스톱모션 애니메이션이 초당 프레임 수를 30~60프레 임으로 작업을 하게 되면 제작 기간이 기하급수적으로 늘어난다는 단점도 가지고 있습니다. 이를 극복하기 위해 스톱모션 제작사는 주요 장면들을 중심으로 프레임을 늘이는 선택적 프레임레이트(frame rate)를 사용해 왔지만 이 역시도 이질감이 많아서 효율적이지 못했습니다. 이에 중앙애니메이션의 <화곡동 다방구> 프로젝트의 경우 초당 15프레임 촬영의 30 프레임 보간, 초당 24프레임 촬영의 30프레임 보간, 초당 8프레임의 24프레임 보간 방식을 테스트해 왔으며, 최근 딥러닝 기술을 활용한 프레임 보간 기술을 충분히 습득하였습니다. 이는 향후 다양한 애니메이션 분야뿐만 아니라, 다양한 실사영화 분야-슬로우 모션이 필요한 장면에서 별도의 옵티컬 기능 없이 사용 가능한–에도 적용 가능한 기술이라 할 수 있습니다. 

 

 

 

 

이 글은 한국콘텐츠진흥원 연구보고서[2021 애니메이션산업백서]를 바탕으로 작성되었습니다.