전 세계 사람들의 일상 변화에 큰 변화를 가져왔던 코로나 19 팬데믹은 특히 미디어 이용 행태에 또 한 번 큰 변화를 가져왔습니다.
코로나 19 팬데믹으로 인해 TV 이용률이 증가한 상황은 장기간 침체기에 있던 방송 시장에는 분명 새로운 기회이며 어떤 면에서 호재로 볼 수도 있습니다. 다만 이는 늘어난 시청 시간만큼의 볼거리 또한 넓혀 제공할 수 있다는 전제에서인데 코로나 19는 안타깝게도 방송 제작 환경에도 영향을 동시에 끼쳤습니다. 함께 알아보겠습니다.
■ 가상현실(VR)과 방송의 결합
2020년에 단연 손꼽는 기획은 2020년 9월 30일 KBS에서 방송되어 다매체, 언택트(Un-tact) 시대 지상파 예능의 새로운 지평을 연 것으로 주목받은 <2020년 한가위 대기획 대한민국 어게인 나훈아>(이하 나훈아 쇼)일 것입니다. 오랜 경륜의 지상파다운 치밀하고 노련한 기획과 전문가들의 손길이 느껴지는 고품질의 방송 기술이 결합된 웰메이드 엔터테인먼트 콘텐츠로 손색이 없다는 내외의 평가를 받았습니다. 이는 시청자들의 호응, 즉 시청률로도 증명되었습니다. 닐슨코리아에 따르면 <나훈아 쇼>는 전국 평균 29%의 시청률을 기록했으며, 순간 최고 시청률은 무려 41%까지 치솟는 기염을 토했습니다. <나훈아 쇼>의 흥행 요인 중에서는 언택트 환경을 꿰뚫은 영리한 기획이 큰 역할을 했습니다. ‘다시 보기 서비스가 없다’를 강조한 것이죠. 유료 공연은 아니지만, 15년 만에 나타난, 콘서트 표도 구하기 어려운 나훈아를 보기 위해서는 ‘본방 사수’가 유일한 선택지임을 내다본 멋진 한 수였습니다.
이 공연의 방송 기술적인 의미는 가상현실(VR)과의 결합에서 찾을 수 있습니다. 기존의 공연에서는 볼 수 없던 그래픽을 좀 더 자유롭게 구현함으로써 시청자들의 볼거리가 더 확장된 것이죠. <고향역> 무대에서 큰 기차가 터널을 지나가고, 코스모스가 흐드러지게 피어 있고, 용이 천장을 날아다니고, 화산이 폭발하고, 마지막에는 그 불길이 코로나바이러스를 태우는 장면 모두가 무대에는 없지만, 특수 카메라에만 나타나는 기술입니다. 가상현실(Virtual Reality, VR)은 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR; VR+AR), 확장 현실(eXtended Reality, XR), 대체현실(Substitutional Reality, SR)까지 진화한 상태입니다. 가상현실과 방송의 결합으로 진화된 포맷을 선보이며 시청자들의 관심과 참여를 끌어낸 이 사례는 코로나 19 팬데믹 시대 공연 문화에 산업적으로도 새로운 가능성을 제시했습니다.
이런 가운데 또 다른 대표 문화 산업군인 K-Pop은 코로나 19 팬데믹을 돌파할 새로운 실험을 라이브 스트리밍을 통해 시도했습니다. 2020년 4월 한국의 SM은 전격적으로 온라인 ‘비욘드 라이브(Beyond LIVE)’를 예고하며 유료 콘서트임을 발표했습니다. 기대와 우려가 교차했지만, 슈퍼엠이 120분 콘서트를 통해 벌어들인 돈은 25억 원이나 됐습니다. 이날 콘서트는 109개 국가에서 7만 5,000명이 동시에 접속했습니다. 가능성을 발견한 뒤 수많은 온라인 콘서트가 이어졌습니다. 이후 6월, 앞서 무료 공연을 했던 빅히트의 방탄소년단(BTS)이 실시한 팬 미팅 ‘방방콘: 더 라이브’는 총 107개 지역에서 75만 6,600여 명이 콘서트를 시청하고 기네스 신기록에 올랐습니다. 이후 10월에도 ‘BTS MAP OF THE SOUL ON:E(맵 오브 더 솔 원)’을 온라인으로 개최했습니다. VR, AR, MR, XR 등 최첨단 실감･체감형 기술을 바탕으로, 관객들의 목소리를 실시간으로 듣고 얼굴을 볼 수 있는 ‘아미 온 에어’를 도입한 이 콘서트는 화제가 되었습니다. 콘서트는 전 세계 191개 국가 및 지역에서 99만 3,000명이 시청했습니다. 미국 투어 박스오피스 집계 회사 투어링데이터(Touring Data)에 따르면 방탄소년단은 ‘맵 오브 더 솔 원’으로 4,400만 달러(한화 약 519억 원) 이상의 수익을 올리는 등 2020년 온라인 콘서트로 가장 높은 수익을 올린 아티스트가 되었습니다.
이렇게 코로나 19로 인한 온택트 콘서트에서 쌓아 올린 가상현실 기술과의 시너지를 KBS가 지상파방송을 통해 <나훈아 쇼>에서 보여주었다면, CJ ENM의 음악 전문채널 Mnet은 예상하지 못한 방법으로 연말 시상식 방송에서 이를 선사해 시청자들을 놀라게 했습니다.
2020년 12월 6일 밤 주최한 국내 최대 음악 시상식 ‘2020 MAMA(엠넷 아시안 뮤직 어워즈)’에서 세계적 그룹 ‘방탄소년단(BTS)’이 시상식 마지막에 꾸민 <라이프 고즈 온> 무대에 멤버중 한 명인 슈가가 등장하자 방송을 시청하던 팬들은 깜짝 놀랐습니다. 슈가는 어깨 수술 이후 회복에 집중하느라 이날 시상식에 불참했기 때문인데요. <라이프 고즈 온> 무대에서 슈가는 가상으로 등장한 것이죠. Mnet 측은 이를 위해 XR 콘텐츠 전문 제작사와 협업해 3D 오브젝트를 실시간으로 촬영하고 렌더링하는 볼륨 매트릭 기술을 활용했다고 설명했습니다. 볼륨 매트릭은 360도를 커버하는 여러 대의 카메라가 동시에 오브젝트를 촬영, 실사 기반 입체 영상을 만드는 기술이다. 무엇보다 한 번의 촬영으로 3D 데이터를 추출할 수 있습니다. 볼륨 매트릭 스튜디오에서 아티스트 촬영본을 받아 노이즈를 없애는 클린업 작업 등을 통해 라이브무대에 가상의 아티스트를 소환한 것입니다. Mnet 측은 카메라 트래킹과 실시간 그래픽 엔진을 연동하는 기술을 적용, 멈춰 있는 회색 도시가 형형색색으로 변하고 새로운 세계가 열리는 확장 현실(XR) 무대도 구현했습니다.
그뿐만 아니라 한국 가수 최초로 방탄소년단에게 ‘빌보드핫 100’ 1위를 안긴 <다이너마이트> 무대를 위해서는 실시간 그래픽 폭죽을 개발했습니다. 이 장면은 XR 기술로 실내 무대를 야외무대로 전환하고, AR로 엄청난 물량의 그래픽 폭죽을 얹음으로써 실제보다 더 화려한 영상으로 탄생한 것인데요. 이처럼 무대 콘서트와 융합되는 시각적 테크놀로지의 향연을 통해 현실과 비현실을 오가는 체험은 야외 공연이 불가능한 코로나 19시대에 시청자와 제작자 모두가 새로운 형태의 공연, 방송 콘텐츠의 지평을 이어나갈 수 있음을 보여준 대표적 선례라 할 수 있습니다.
사실 코로나 19가 전격적으로 도래하기 전 최첨단 실감･체감형 기술과 방송과의 결합 시도는 공연이 아닌 다큐멘터리 장르에서 의미 있는 성과를 보인 바 있었습니다. 2020년 10월(현지시각) 말레이시아 쿠알라룸푸르에서 열린 2020 ABU(아시아태평양방송연맹) 상 시상식에서 TV 다큐멘터리상을, 이듬해 봄에 개최된 제33회 한국PD대상에서 TV 부문 실험 정신상 을 수상한 MBC 스페셜 <VR 휴먼다큐멘터리 너를 만났다>(이하 너를 만났다)가 그 주인공입니다. 2020년 MBC를 통해 방송된 <너를 만났다>는 가상현실(VR) 기술을 활용한 휴먼 다큐멘터리로 3년 전 희귀 불치병으로 세상을 떠난 7살 딸과 엄마와의 만남을 담아 수많은 시청자의 심금을 울려 강렬한 인상을 남겼으며, 전 세계적으로 큰 화제를 일으켰습니다. ABU 상 심사위원들은 “독특하게도 인간적인 시선으로 이야기와 과학기술의 완벽한 조합을 이뤄내 마음속 가장 깊은 부분을 울린 다큐멘터리”라고 선정 이유를 밝혔습니다. 시청자들의 호평 속에 이 다큐멘터리는 2020년 12월 28일 앙코르 방송이 되기도 했습니다.
당신의 마음속 가장 따뜻한 기억은 무엇인가요?
하늘나라에 있는 가족을 다시 만날 수 있다면 무슨 이야기를 할까요?
제작진은 이런 질문은 가지고 휴먼 다큐멘터리와 가상현실(VR)을 접목해 보는 프로젝트를 시작했습니다. 누군가의 기억 속 가장 만나고 싶은 사람을 VR(가상현실)로 구현해 가상의 캐릭터가 아닌 실제로 살았던 아이를 시공간을 초월하는 가상현실로 구현해야 하는 작업은 생각처럼 쉽지 않았습니다.
제작진은 국내 최고의 VR(가상현실), VFX(특수영상) 기술을 가진 전문 제작사와의 협업으로 구현 작업을 시작했습니다. VR(가상현실) 속 딸의 실제 모습에 가깝게 만들기 위해서는 가족들의 인터뷰와 핸드폰 속 사진과 동영상에 저장된 다양한 표정, 목소리, 말투, 특유의 몸짓에 대한 분석이 필요했습니다. 이 과정을 토대로 순간의 동작을 포착하는 모션캡처 기술을 거친 긴 CG 작업이 계속되었습니다. 더 현실감 있는 몰입을 위해 체험자와 가상현실 속 캐릭터가 상호작용할 수 있는 요소도 포함하였습니다. 손을 잡거나 건네주는 물건을 받을 수 있고 엄마와 딸의 대화가 가능하도록 목소리 구현도 진행했습니다. 대화가 가능한 인공지능은 아직 개발되지 않았지만 그럼에도 체험을 하는 동안 짧은 대화와 상호작용이 가능하게 만들어 내려 했습니다. 8개월간 진행된 작업은 상암 MBC, 프로젝트를 함께한 제작진과 기술 엔지니어, 촬영 팀, 스태프들이 한자리에 모인 가상 스튜디오에서 HMD(Head Mounted Display)를 쓴 엄마에게 화면 속 딸아이가 “엄마!”를 부르는 순간부터 기술이 아닌 감동으로 전환되었습니다.
■ AI가 노래하고 뉴스 진행하는 시대
코로나 19로 인한 비대면 환경은 급격한 디지털 전환과 동시에 먼 미래에나 등장할 그것으로 여겨졌던 인공지능(AI), 5세대(5G) 이동통신, 사물인터넷(IoT), 클라우드 등 신기술을 전면에 등장시키며 산업 변화를 주도했습니다. 코로나 19 팬데믹을 계기로 IT에 기반을 둔 4차 산업혁명이 애초 예상보다 훨씬 앞당겨진 것이죠.
미디어 부문도 당연히 예외가 아닙니다. 이미 증권 시황이나 스포츠 경기 결과, 날씨 뉴스는 기자가 아닌 AI가 포털에 기사를 송고하고 있음은 주지하고 있던 사실입니다. 그러나 종합편성채널 MBN이 2020년 9월 21일 자사의 메인 뉴스 진행자인 김주하 앵커를 AI로 제작해 실제 방송에 편성한 것은 파격적인 행보였습니다. AI 앵커는 MBN과 AI 전문 업체인 머니브 레인이 함께 개발했습니다. 김주하 앵커가 방송하는 모습과 동작, 목소리를 녹화한 뒤 AI가 이 영상을 딥 러닝해 만들었으며, AI 기술과 딥러닝 학습, 합성곱 신경망(Convolution Neural Network, CNN) 학습을 통해 실제 사람이 말하는 것과 구분하기 어려울 정도로 유사성을 갖추고 있습니다. 자신과 똑같이 생긴 AI 앵커와 대담을 나눠본 김주하 앵커는 “‘AI 기술이 언젠가는 내 자리를 위협할 수 있겠다’라는 불안감도 들었지만, 아직 AI가 줄 수 없는 인간의 따뜻한 감정을 전달하도록 노력하겠다”라고 소감을 남겼습니다. 현재도 이 시각 주요 뉴스 및 종합뉴스 예고는 이 AI 앵커가 방송을 맡고 있습니다. 통상 제작이 복잡해 AI 앵커가 자동으로 만들기 어려울 것이라던 예상과 달리 영상 콘텐츠 분야까지 AI의 진입이 성큼 다가온 것입니다. 음악 전문채널 Mnet은 코로나 19사태를 맞은 2020년 연말 특별 기획인 <AI 음악프로젝트 다시 한번>을 통해 혼성그룹 거북이의 터틀맨(임성훈), 그리운 가객 김현식의 생전 자료를 ‘페이스에디팅’기술로 딥러닝한 AI 홀로그램을 무대로 불러내 팬들을 울렸습니다.
CJ올리브네트웍스 DT 융합연구소와 협업으로 진행된 이 프로젝트는 터틀맨의 과거 사진과 동영상 자료들을 토대로 AI 얼굴 학습을 진행했습니다. 특히 복원을 위해 AI 기술 중 하나인 생성적 적대 신경망(Generative Adversarial Network, GAN) 기술을 사용해 일상 모습부터 무대 위에서 지은 표정까지 다양한 데이터를 학습했습니다. 연구소는 20분 분량의 영상을 통해 약 2만 장의 터틀맨 이미지를 확보한 다음 대역 연기자가 촬영해 얼굴 부분을 합성하는 방법으로 복원했습니다. 그 과정은 크게 학습 데이터 준비, 데이터 처리, 모델 학습, 얼굴 교체 단계로 구분할 수 있습니다. 상업 방송에서 GAN 기술을 활용한 사례는 한국에서 최초입니다. 앞서 살펴본 MBC의 <너를 만났다> 시즌1은 VR 기술로 세상을 떠난 가족을 과학기술을 통해 다시 만나게 해주는 기획을 선보인 바 있습니다. 여기서 AI와 VR은 기억 속에서만 새겨 볼 그리움의 대상들을 실재하는 현실로 만들어 주었습니다. 물론 아직 기술적으로 어색한 부분이 있었지만 보는 이들의 감성을 울릴 만한 상당한 수준의 완성도를 보여주었습니다. 이를 기술의 따뜻함을 보여준 사례로 보는 시각도 있지만, 고인의 동의 없이 AI로 되살려내 콘텐츠로 활용하는 것이 과연 윤리적으로 옳은 것인지 또한 법률적으로는 ｢저작권법｣의 보호를 받지 못하는 콘텐츠라는 문제도 대두되고 있는 것 또한 사실입니다.
코로나 19 팬데믹, 그리고 이 코로나 19 팬데믹이 가져다준 일상의 변화로 인한 예상보다 빠른 기술의 진화 양상이 미디어 환경과 방송영상 기술 부문에도 큰 영향을 미치고 있습니다. 전 세계를 덮친 가공할 감염병에 직면해서도 인류가 백신과 치료제를 개발하듯 제작자들은 열악한 제작 환경에 굴복하지 않고 현명한 아이디어와 신기술로 난제를 풀어가는 모습을 보이며 시청자에게 감동까지 선사했습니다. 2020년 12월 첫선을 보였던 AI 같은 기술은 지난해 ‘기생충’과 함께 오스카 작품상에 노미네이트 되었던 영화 ‘아이리시 맨’에서는 현재 77세인 로버트 드니로의 젊은 시절 연기를 자연스럽게 재현시키며 시청자들의 감동을 끌어내기도 했습니다. 반면, 불법 페이크 영상 제작자의 손에 들린 AI도 같은 기술로서 언택트 환경 속에서 숙고보다 다소 도입이 앞섰던 신기술에 대한 부작용과 우려로 주목받았습니다. 기술에 대한 경고들은 이처럼 마치 달을 가리키는데 손가락만 보는 격처럼 보입니다. ‘포스트 코로나’ 시대의 향방은 기술이 아니라 기술을 이용하는 사람의 선택에 놓여 있습니다.
이 글은 한국콘텐츠진흥원의 [2021 방송영상 산업백서]를 활용하였습니다.
'상상발전소 > 콘텐츠이슈&인사이트' 카테고리의 다른 글
| 음악저작권 투자 활성화 (0) | 2022.10.06 |
|---|---|
| 2020년 중국, 일본 방송영상 현황 (0) | 2022.09.29 |
| 글로벌 방송 영상의 현황과 전망 (0) | 2022.09.22 |
| 코로나 19 범유행과 OTT (0) | 2022.09.15 |
| 새로운 비즈니스 기회 창출 - 특명 MZ세대를 사로잡아라! (0) | 2022.09.01 |
| 방송영상독립제작사의 수출 및 수입 현황 (0) | 2022.08.25 |
| 축구도 이제 e스포츠? (0) | 2022.08.18 |
| 코로나 19로 인해 변화된 보드게임 시장 (0) | 2022.08.05 |
