5G 기술을 활용한 방송영상 제작
2019년 4월 3일 국내에서 세계 최초로 5G 상용 서비스를 시작하면서 제조, 교통, 의료 등 다양한 분야에서 적용 사례가 나타나고 있습니다. 5세대 이동통신을 의미하는 5G는 기존 4세대 LTE에 비해 방대한 데이터를 아주 빠르게(초고속; enhanced Mobile BroadBand, eMBB) 전송하고 실시간으로(초저지연; massive Machine Type Communications, mMTC)하는 특징을 지니며 음성통화, 데이터 통신을 넘어서 모든 사물을 연결하고 다양한 융합 서비스 창출을 가능하게 합니다.
방송영상산업은 5G가 다양하게 적용될 수 있는 분야로 제작, 콘텐츠 서비스, 송신 등에서 5G와 방송 미디어 연계 방안을 다음과 같이 밝히고 있습니다.
첫째, 제작에서 방송국 스튜디오 내부 카메라, 조명 등 많은 장비가 5G망으로 무선 연결되고, AI의 도움으로 운용될 수 있습니다. 또한, 장소에 구애받지 않게 되면서 다양한 장소를 촬영 스튜디오로 활용하며 방송국의 부조정실로 바로 연결되는 라이브 제작 환경이 만들어집니다. 즉, 제작에서 시간, 장소의 제약이 없어지게 되는 것이죠.
둘째, 콘텐츠 서비스에서 스포츠 라이브 및 현장 실황 연결 등 초고화질 기반 광시야각 또는 파노라마 영상 제작 및 송출이 늘어날 것입니다. 예능 제작 현장이 실감 나게 제공될 것이며, 드라마 제작 세트는 체험형 콘텐츠로 거듭날 전망입니다. 라이브 콘서트는 시청자에게 객석에 있는 듯한 실제감을 제공하며, 객체 기반의 비디오 및 오디오로 나만의 콘텐츠를 만들어 감상하고, 몰입형 서비스를 제공하며, 다양한 언어 제공을 통해 글로벌 서비스를 제공할 수 있습니다. 마지막으로 송신에서 5G가 방송 주파수 대역(400~700MHz)으로 제공되면 모바일 방송 대용 멀티캐스트 시스템으로 이용할 수 있어 통신사와 공동투자 및 서비스 제공 등으로 융합형 미디어 서비스 플랫폼으로 활용하는 방안을 고려할 수 있습니다.
* 출처: LG전자 유튜브 채널 https://youtu.be/wUCUTP7IqQ4
국내 이동통신사는 스포츠, 엔터테인먼트 등의 분야에 5G를 활용한 방송영상을 제작하고 있습니다. LG유플러스는 프로야구 중계에서 타석 영상을 이용자가 마음대로 돌려보는 '홈 밀착영상' 기능을 서비스 중입니다. 골프 역시 5G 기술을 접목한 '스윙 밀착영상(4D Replay)', 경기 상황을 입체 그래픽으로 표현한 '코스 입체 중계(AR Tour Live)'로 선수의 비거리, 공의 궤적, 낙하 지점 및 홀컵까지 남은 거리 등을 실시간으로 중계하고 있습니다. KT는 '포지션 뷰', '매트릭스 뷰' 등 새로운 기능을 구현한 프로야구 시청 서비스를 제공하고, '뮤지션 라이브' 등 실감형 음악 방송 서비스를 선보이고 있습니다. SK텔레콤은 e스포츠와 가상현실 서비스를 결합한 생중계, 가상현실 기능을 접목한 'VR리플레이'를 제공하면서 게임 서비스를 제공하였습니다.
국내 방송사 역시 이동통신사와 협업으로 콘텐츠를 제작하고 송출했습니다. SBS는 KT의 기업 전용 5G 서비스와 5G MNG(Mobile News Gathering) 장비를 활용해 <모닝와이드 3부>를 5G 네트워크를 활용한 UHD 생방송으로 최초 공개했습니다. 10월에는 <SBS UHD 인기가요 슈퍼콘서트>의 유튜브 생중계를 위해 5G 네트워크를 제공하고, 콘서트 현장에 '5G 체험존'을 설치해 3D 아바타 커뮤니케이션 서비스 '나를(narle)', 360도로 실감 나게 보여주는 '리얼360', 초고화질 개인형 실감 미디어 서비스 '슈퍼VR', 초고음질 스트리밍 '리얼지니팩' 등을 소개했습니다.
KBS는 SK텔레콤과 5G 기반 뉴미디어 사업을 개발하기 위한 업무협약(MOU)을 맺고, 5G 기반 생중계 시스템을 공동개발하고 스포츠, 행사 중계 등 다양한 분야에 시범 적용하기로 했습니다. 방송사와 이동통신사의 협업 시도 외에도 KBS 특집 다큐 <살아온 100년, 살아갈 100년 대한민국을 노래하다>에서 <One Dream One Asia>라는 곡을 국내 충남, 서울, 광주와 네덜란드, 미국, 일본, 중국 등 5개국 7개 지역에서 200명 이상 대규모 인원이 동시에 연주하고 합창하는 라이브 오케스트라 프로젝트를 진행하는데 5G를 활용했습니다.
AI의 방송영상 콘텐츠 큐레이션
모바일 기기의 보급, SNS 이용의 일반화 등 정보통신 기술의 발달이 야기한 영상 콘텐츠의 폭발적인 증가는 콘텐츠 스모그 시대(Content Smog Era)를 만들어냈으며, 이용자에게 적합한 영상 콘텐츠를 선별해주는 큐레이션이 주목받을 수 있는 환경을 조성했습니다. 이러한 큐레이션의 효과로 시간 절약, 에너지 절약, 심리적 부담 완화, 가치 발견, 정보 과잉 극복, 복잡성 제거, 유용성 극대화, 관심의 방향 재조정, 과잉 생산 감소 등이 가능해질 것으로 전망했습니다.
방송영상산업에서 콘텐츠 큐레이션은 AI와 결합해 이용자의 선호 콘텐츠와 시청할 콘텐츠를 사전에 분류 및 예측하여 최적의 맞춤형 서비스를 제공하는데, 대표적으로 넷플릭스의 협업 필터링(collaborative filtering)방식이 있습니다. 협업 필터링이란 이용자에서 얻은 기호 정보(taste information)에 따라 이용자 관심사를 자동으로 예측하는 방법입니다. 개인화된 비디오 랭커(personalized video ranker, PVR), 톱-N 비디오 랭커(Top-N video ranker), 트렌딩 나우(trending now), 계속 시청(continue watching), 비디오 상호 유사성(video-video similarity, 'sims'), 페이지 생성(page generation), 흔적 선별(evidence selection) 등 하위 알고리즘들로 구성되는데 이 중 핵심이 개인화된 비디오 랭커입니다. 넷플릭스가 2012년 공개한 개별 비디오의 점수를 매기는 랭크는 기본적으로 비디오의 속성과 인기도, 그리고 이용자 요인으로 구성됩니다.
유튜브도 추출, 배치, 정렬, 연결의 4가지 방식으로 이용자 큐레이션을 적용하는데 검색어를 입력하면 데이터 셋에서 검색어와 관련된 콘텐츠를 추출하고, 로그인을 하면 이용자의 소비 특성을 고려해 콘텐츠를 배치하며, 현재 시청 중인 영상과 과거 시청 데이터를 분석해 우선순위에 따라 정렬하고, 현재 시청 중인 콘텐츠 특성을 반영해 다음에 시청할 콘텐츠를 추천·연결하는 방식입니다.
이처럼 AI는 취합 정보를 해석할 수 있고, 이용자가 제공하는 미디어 및 콘텐츠 이용 맥락을 결합하는 방식으로 콘텐츠 큐레이션 방식을 학습해 패턴을 발견하고 이를 알고리즘에 다시 반영해 새로운 큐레이션 패턴을 재창조하는 방식으로 진화하고 있습니다.
AI는 큐레이션뿐만 아니라 시나리오, 촬영, 영상 편집 등 일반적인 영상미디어 제작 단계에서도 활용됩니다. 이스라엘 스타트업 '볼트(Vault)'는 약 30~40만 개의 시나리오를 학습하여 흥행에 미치는 패턴을 분석하고, 새로운 시나리오의 흥행 여부에 대한 예측 결과를 산출합니다. 캐나다 기업 그린라이트 에센셜(Greenlight Essentials)은 2016년 세계 최초로 인공지능이 창작한 시놉시스 기반의 영화 <Impossible things>를 제작했습니다. 수천 편의 공포 영화 시놉시스를 학습한 AI는 줄거리와 캐스팅의 구체적 조합까지 만들었습니다. 영화감독 오스카 샤프(Oscar Sharp)는 AI 연구자인 로스 굿윈(Ross Goodwin)과 공동으로 '벤자민'이라는 AI 작가를 구현하여 시나리오를 창작했습니다. 1980~90년대에 나온 수백 편의 SF 드라마와 영화 대본을 학습시켜 AI 작가가 작성한 시나리오를 기반으로, 영국에서 열린 영화제에 <선스프링(Sunspring)>이라는 9분 내외 단편 SF 영화를 출품했습니다.
* 출처: Amazon Web Services 유튜브 채널 https://youtu.be/RhEVld4GwzU
촬영에서도 AI를 활용하는데 미국 엔드큐(End Cue)의 애자일 프로듀서(Agile Producer) 플랫폼은 각본을 분석하여 촬영에 필요한 캐릭터, 소품, 오디오/비디오 효과 등 다양한 요소들을 추출합니다. 그리고 배우 스케줄, 촬영 장소와 장비 가용성, 날씨, 촬영 예산 제한을 고려하여 최적의 촬영 스케줄을 자동으로 관리해 줍니다. 실제 촬영에서도 구글의 인공지능 카메라 클립스(Clips)는 얼굴을 인식하고 친한 사람들을 학습하며, 표정 변화와 색다른 움직임을 포착하여 이용자의 의미 있는 순간을 촬영합니다. Amazon AWS에서는 딥렌즈(DeepLens)라는 딥러닝 기반의 프로그래밍이 가능한 비디오 카메라로 원하는 객체를 인식하고 행동을 감지하여 촬영하는 AI 카메라를 활용하고 있습니다. 이외에도 AI 기술 기반 카메라 드론이 개발되어 캐릭터를 추적하고, 지속적으로 촬영합니다. 심지어 카메라 감독이 직접 촬영하지 않아도 자체 촬영이 가능합니다. 이러한 측면에서, AI 기술이 적용된 카메라로 새로운 촬영 기법을 시도하면 다채롭고 흥미로운 영상 미디어가 제작될 것으로 보입니다.
AI 기술은 영상 편집에서도 적용됩니다. 영상을 단편적으로 자르고 붙이는 수준을 넘어서, 최근에는 AI가 텍스트, 이미지, 영상 등을 포함한 맥락을 이해하고 영상을 생성하거나 요약하는 연구가 이루어지고 있습니다. 미국 위비츠(Wibbitz)는 텍스트를 영상으로 변환하는 기술로 영상 뉴스 제공을 위해 뉴스 텍스트와 이미지를 분석하고 주요 부분을 추출하여 영상으로 변환합니다. 한국전자통신연구원은 농구, 야구와 같은 스포츠 중계 영상을 딥러닝으로 분석하고, 문자 중계 데이터를 활용하여 슛, 홈런과 같은 이벤트 단위로 장면을 자동으로 편집하는 시스템을 개발했습니다. 이를 통해 사람이 수작업으로 편집한 영상 품질과 비슷한 수준의 하이라이트 영상을 생성하여 이용자가 좋아하는 선수나 이벤트 유형을 선택하여 시청할 수 있게 구현했습니다.
이 글은 한국콘텐츠진흥원 '2020 방송영상 산업백서'에 게재된 글을 활용하였습니다.
'상상발전소 > 방송 영화' 카테고리의 다른 글
| 전체 시청률 변화 - TV 시청률 분석 (0) | 2022.01.26 |
|---|---|
| 중장년층 대상 예능 콘텐츠의 부상 (0) | 2021.10.27 |
| 기기별 방송영상 콘텐츠 이용현황 (0) | 2021.09.15 |
| 방송콘텐츠의 새로운 비즈니스 기회 창출 (0) | 2021.07.21 |
| 세계 방송영상산업의 현황과 전망 (0) | 2020.12.23 |
| 초실감시대, 정보통신기술과 접목해 진화하는 방송 제작·유통 기술 (0) | 2020.10.21 |
| 방송제작 노동환경 개선을 위한 움직임 (0) | 2020.09.09 |
| 세계가 주목하는 K콘텐츠! 방송 콘텐츠의 해외 유통 (0) | 2020.08.05 |
