가상현실(VR), 증강현실(AR), 혼합현실(MR)을 포함하는 확장현실(XR), 홀로그램, 인공 지능(AI) 기술은 4차 산업혁명의 핵심기술로 그 실용적인 적용이 점차 확대되며 대중과 가까워지고 있습니다. 특히 VR/AR 기술은 최근 몇 년간 이머징 기술로 여겨져 왔지만, 가트너 (Gartner)의 에서는 VR/AR 항목이 제외되며 성숙한 기술로 빠르게 자리잡고 있음을 시사했습니다. 또한 5G의 상용화가 이루어지면서 음악산업에서도 적극적으로 실감형 콘텐츠 기술을 활용하기 위한 움직임들이 나타나는 가운데, 또 다른 4차 산업 핵심기술인 AI도 음악산업에서 변화를 만들어내고 있습니다.
VR, AR, MR 그리고 XR 용어 및 개념
가상현실(VR)은 사용자가 가상의 세계에서 실제와 같은 체험을 할 수 있도록 하는 기술을 말합니다. 사용자는 HMD(Head Mounted Display)를 머리에 쓰고 현실과 격리되어 있기 때문에 실제 환경을 볼 수 없습니다. 반면 증강현실(AR)은 현실 세계에 3차원 가상 객체를 얹어서 하나의 영상으로 보여주는 기술로 <포켓몬 GO>가 가장 잘 알려진 예입니다. 스냅챗이나 인스타그램의 AR 필터도 익숙한 활용 예라고 할 수 있습니다. 혼합현실(Mixed Reality, MR)은 실제 세계와 디지털 세계가 혼합되어 가상의 물건과 환경을 모두 조작하고 이들과 상호작용할 수 있는 개념으로 VR과 AR이 혼재되어 있는 환경입니다. HMD를 착용한 상태에서도 현실 환경을 보면서 가상 객체를 조작하는 것이 가능합니다.
확장현실(eXtended Reality, XR)은 VR, AR, MR을 포함하여 아직 등장하지 않은 형태의 현실도 포괄할 수 있는 개념으로 모든 실감형 기술을 통칭합니다(‘X’는 변수를 의미). VR/AR은 자주 접하는 용어지만 MR의 경우는 이를 포괄하는 XR이란 용어가 더 보편적으로 사용되고 있습니다. 현재 음악산업에서 말하는 ‘XR 무대’의 구체적인 형태는 이후 <확장현실(XR)의 활용> 항목에서 다룹니다.
가상현실(VR)의 활용
VR은 HMD를 착용하고 현실과 단절된 가상 세계를 경험하는 것이기 때문에 공연 현장에서 직접적으로 사용되지는 않습니다. 대신 공연장이 아닌 환경에서 공연을 간접 체험할 수 있도록 하는 방향으로 사용되고 있습니다. 크게 두 가지 경우로 나뉘는데, 첫째는 완전한 가상공 간에서 이루어지는 VR 공연의 형태이고, 둘째는 실제 오프라인 공연 장면을 360도 카메라로 촬영 혹은 생중계하여 현장에 없는 사람이 공연을 관람하는 형태입니다. 360도 영상은 컴퓨터가 만들어낸 가상 세계만으로 구성된 VR과 개념적으로나 기술적으로 구분되지만 실감형 콘텐츠의 개념 하에 일반적으로 VR에 포함하여 이야기합니다. 두 번째 경우에 관한 내용은 이후 <실감형 음악 서비스> 항목에서 다룹니다.
완벽한 가상공간에서 콘서트가 이루어지고 있는 대표적인 플랫폼은 WAVE(wavexr.com) 로, 최초의 라이브 콘서트를 위한 멀티채널 버추얼 플랫폼입니다. 공연자는 가상공간에서 아바타화되어 퍼포먼스를 펼치고 관객은 VR HMD를 통해 관람하거나, 동영상 스트리밍 플랫폼을 통해서 HMD 없이도 관람이 가능합니다. 공연자는 모션캡처 수트와 글러브를 착용하고 퍼포먼스를 펼치기 때문에 아바타는 실제 공연자의 움직임을 그대로 재연합니다. 2019년 8월, 크로스오버 바이올리니스트 린지 스털링(Lindsey Stirling)은 WAVE를 통해 VR 콘서트를 열었는데 약 40만 명이 시청했습니다. 1시간 30분 동안 진행된 VR 콘서트에서는 그의 연주는 역동적인 안무와 함께 다양한 그래픽 효과들과 어우러져 가상공간다운 경험을 만들어냈습니다.
Lindsey Stirling 유튜브 채널 : https://youtu.be/mK5Jb1vgrgw
게임 역시 VR 콘서트를 위한 플랫폼이 될 수 있습니다. 2019년 2월, 게임 포트나이트 (Fortnite)에서 DJ Marshmello(마시멜로)는 약 10분 가량의 셋으로 공연을 펼쳤습니다. 1천만 명이 넘는 유저가 게임 내에서 시청했습니다. 유저들은 공연 중 쏟아지는 공을 게임 캐릭터로 쳐내는 등 인터렉티브한 요소들을 경험할 수 있었습니다.
증강현실(AR)의 활용
AR 기술이 활용된 무대가 대중적으로 알려진 계기는 2018년 <리그 오브 레전드 월드 챔피언십(롤드컵)> 결승전 개막식에서 선보인 K/DA 무대라고 볼 수 있습니다. 게임 속 캐릭터와 실제 가수가 합동 공연을 펼치는 모습은 많은 사람의 이목을 끌었고 유튜브 조회수는 4,300만 회를 넘습니다(2020년 11월 기준). 에미넴(Eminem)과 밴드 U2도 2018년에 무대에서 AR을 활용하려는 시도가 있었습니다.
에미넴은 코첼라(Coachella) 무대에서, U2는 <eXPERIENCE + iNNOCENCE tour>에서 관객의 스마트폰 어플을 통해 AR 콘텐츠를 선보였습니다. 관객이 서로 다른 스펙의 스마트폰 기기를 사용하고, 콘텐츠 정합의 정확도가 다소 불안정하여 떨림 현상이 생긴다는 점, 미리 AR 콘텐츠가 담긴 앱을 다운받아야만 볼 수 있다는 점, 스마트폰의 작은 화면을 통해서 각자의 고정된 앵글로 봐야 한다는 점에서 자연스러운 몰입이라고 보기 어려운 부분이 있습니다. 고품질의 AR 콘텐츠를 방송환경 수준의 카메라 및 영상 시스템을 바탕으로 정확한 카메라 트래킹(trackcing) 기술을 통해 보여주는 K/DA의 무대와는 기술적인 차이가 있습니다. 또한 복수의 카메라를 사용하기 때문에 서로 다른 각도에서 콘텐츠를 연출 의도에 맞게 보여줄 수 있고 큰 아이맥(IMAG: 현장 중계 화면)을 통해 보여준다는 점에서도 차이가 있습니다.
K/DA 무대
League of Legends 유튜브 : youtu.be/p9oDlvOV3qs
U2 공연의 AR 콘텐츠
setlist.fm 유튜브 : youtu.be/KgNymkZovTc
이러한 사례들을 바탕으로 2019년에는 음악산업에서 AR을 활용하기 위한 적극적인 움직임이 나타났습니다.
<빌보드 뮤직 어워즈(Billboard Music Awards) 2019>에서 마돈나(Madonna)는 디지털 버전의 마돈나 4명과 함께 무대를 선보였습니다. 디지털 버전의 마돈나는 볼류 메트릭 비디오 캡처(Volumetric Video Capture) 기술을 사용하여 마돈나의 360도 영상 데이터를 확보하고 언리얼 엔진(Unreal Engine)의 가공을 거쳐 탄생했습니다. 볼류메트릭 비디오 캡처 방식을 이용한 AR 무대는 TV 방송상 첫 번째 사례로 기록됐습니다.
2020년 6월에는 SKT의 ‘점프스튜디오’에서 슈퍼주니어 멤버 최시원을 볼류메트릭 비디오 캡처로 촬영, 슈퍼주니어의 온라인 콘서트 <비욘드 라이브>에 AR 콘텐츠를 적용했습니다.
볼류메트릭 비디오 캡처 기술을 사용한 AR 콘텐츠
마돈나 유튜브 채널 : youtu.be/9Z1GdMuC9E8
BTS의 <‘Love Yourself: Speak Yourself’ World Tour>에서는 라이브 콘서트 최초로 AR을 사용했습니다. 주로 극장 환경에서 구현하거나 일회성으로 선보였던 이전 사례들과는 달리 스타디움 환경에서 투어 스케줄에 맞춰 구현한 사례로서 의의가 있습니다. RM의 솔로 무대에서 AR 하트, 텍스트, 로고 이미지가 무대 위에 나타났고, 현장에 있는 관객은 아이맥(IMAG)을 통해 AR 콘텐츠를 확인했습니다. 특히 스타디움 환경에서는 공연자와 가까이 있는 일부 관객을 제외하면 대부분의 관객이 아이맥(IMAG)에 의존하여 공연을 관람하기 때 문에 AR 콘텐츠가 현장에서 더 자연스럽게 연출될 수 있습니다.
K/DA와 마돈나의 무대에 사용됐던 카메라 트래킹 기술을 적용했습니다. 정면에 있는 고정식 카메라와 무대 위 핸드헬드 카메라, 총 2대의 카메라가 AR을 위해 사용되었습니다. 카메라의 움직임을 트래킹하고 해당 위치 정보를 바탕으로 AR 콘텐츠가 실시간으로 렌더링됩니다. AR 콘텐츠가 위치하는 가상공간이 실제 무대의 스케일과 완벽히 정렬되었기 때문에 두 카메라 간 화면을 전환하더라도 일관된 AR 콘텐츠를 보여주는 것이 가능합니다.
이러한 기술을 바탕으로 RM의 위치와 움직임에 맞춰 AR 하트들이 나타나고 사라지게 할 수 있었습니다. 카메라가 AR 하트를 뚫고 들어가 RM에게 가까워졌다가 다시 하트 밖으로 나오는 장면은 AR의 개념을 가장 효과적으로 보여주는 장면이라고 할 수 있습니다. 곡이 끝날 때는 RM의 머리 위로 투어 도시마다 다른 텍스트를 AR로 보여주면서 관객에게 메시지를 전달하는 역할도 수행했습니다. 아이맥 화면 의존도가 높은 큰 규모의 공연장이나 최종 수용자가 스크린을 통해서 시청 하는 방송환경에서 AR을 활용한 무대는 점차 늘어날 것으로 예상됩니다.
확장현실(XR)의 활용
XR은 개념적으로 실감형 기술을 통칭하는 용어지만, XR 스테이지 혹은 스튜디오라는 이름으로 사용될 때는 구체적인 프로덕션 형태와 솔루션이 존재합니다. XR이라는 이름이 붙기 전에는 ‘가상 스튜디오(Virtual Studio)’라는 이름으로 방송이나 영화 제작 환경에서 그린스크린(Green Screen)을 배경으로 구현을 해왔습니다. 미국 최대 규모의 방송장비 전시인에서 디스가이즈(disguise)는 그린스크린 환경보다 더 진보한 XR 스테이지를 구현할 수 있는 ‘xR’을 소개했습니다. 고해상도의 배경 LED와 바닥 LED로 구성된 스튜디오에서 AR과 MR을 구현하여 몰입감 있는 가상환경을 만들어낼 수 있는 기술입니다. 카메라 트래킹을 통해 LED에 나타나는 영상이 카메라 시점에서 실시간 렌더링됩니다. 공연자는 실제 영상을 보면서 상호작용할 수 있기 때문에 그린스크린 환경보다 더 몰입할 수 있습니다. 퍼포먼스가 이루어지는 만큼의 공간만 LED가 설치되고 그 밖은 확장된 가상 그래픽으로 채워집니다.
2020년 5월, 케이티 패리(Katy Perry)는 <아메리칸 아이돌(American Idol)> 결승 방송에서 무대를 xR 스튜디오에서 선보였습니다. 케이티 페리는 주변 LED를 통해 영상을 직접 확인할 수 있었기 때문에 퍼포먼스 중 좁은 공간에서 떨어질 듯 말 듯 한 연기를 자연스럽게 소화할 수 있었습니다. 2020년 8월에는 가 xR 스튜디오에서 제작, 방영됐습니다.
이 글은 한국콘텐츠진흥원 '2020 대한민국 음악 산업백서'에 게재된 글을 활용하였습니다.
'상상발전소 > 음악 패션 공연' 카테고리의 다른 글
| 지역 음악창작소 어떻게 운영되고 있을까? : 지역 음악창작소 운영 현황 (0) | 2021.03.24 |
|---|---|
| 문화 향유 측면에서 본 트로트와 트로트 열풍 (0) | 2021.03.10 |
| 대중음악과 AI 기술 : 플레이리스트로 듣는 음악 (0) | 2021.02.10 |
| 실감형 음악 서비스 : 5G 시대와 음악 산업의 성장 (0) | 2021.02.03 |
| 음악산업의 투명성 제고 노력 (0) | 2020.12.02 |
| K-pop, 그리고 팬덤: 성장과 진화 (0) | 2020.10.14 |
| 음악 소비 방식의 패러다임 변화 (0) | 2020.09.02 |
| K-POP의 새로운 붐! 한국 장르 음악의 해외 진출 (0) | 2020.07.29 |
