2020년은 코로나19의 대유행으로 인해 공연 및 엔터테인먼트 영역 전반에 걸쳐 악영향들이 많았습니다. 특히 제한된 장소에서 대면 방식으로 수익을 발생시키는 공연 부문은 크게 위축되었습니다. 기술 측면에서 2020년은 2018년과 2019년을 지나며 고도화된 실감음향의 트렌드가 조금 더 구체화되는 시기였다고 말할 수 있습니다. 그 결과 2021년 중순부터는 음악산업 내에서 실감음향이 본격적으로 주목을 받을 수 있었습니다. 다만 코로나19의 대유행으로 공연 기회 자체가 크게 줄어들었고, 이에 따라 공연 부문에서는 이 트렌드가 주목 받지 못했습니다.
오늘은 실감음향의 역사와 현재의 동향 등 음악 제작 그리고 스트리밍에서 실감음향의 본격화에 대해서 이야기해 보겠습니다.
■ 음원 제작 그리고 스트리밍에서 실감음향의 본격화
인간은 청각을 활용해 자신이 위치한 공간을 파악합니다. 전달되는 모든 소리의 방향과 위치를 인지하고 그것을 기준으로 나의 위치 또한 찾을 수 있습니다. 실감음향은 이러한 인간의 기본적 기능을 기술적으로 구현하려고 합니다. 즉 청취자에게 전후, 좌우, 상하의 모든 방향에서 실제로 경험하는 듯한 소리를 미디어를 통해 전달하는 것을 뜻합니다.
실감음향의 개발은 헤드폰 또는 스피커를 사용한 스테레오 기반 청취 환경이 가지는 한계를 극복하기 위한 자연스러운 흐름입니다. 예를 들어 음악을 들을 때 실감음향은 각 악기가 가진 소리들을 분리하고 이들을 실제 공간에 배치하여 전용 공연장에서 연주를 듣는 듯한 공간감. 초현실적인 전자음악의 입체감 등을 제공합니다. 이런 특징들을 활용한다면 음악 창작 및 표현의 폭을 크게 넓힐 수 있습니다.
▶ 스테레오와 실감음향의 역사
2개 채널에 의한 음악의 전달이 최초로 시도된 것은 1881년 파리국제전기박람회입니다. 여기에서 선보인 ‘테아트로폰(Teatrophone)’은 박람회장에서 약 2km 떨어진 파리국립오페라극장의 공연실황을 설치된 송신기를 통해 전송하고, 그것을 박람회장에 설치된 수신기를 통해 청취자가 듣게 하는 서비스였습니다. dleeo 무대와 주변부의 소리를 두 개의 이어폰으로 전달하여 청취자가 공연장과 유사한 감각을 멀리에서도 느낄 수 있게 했는데, 이를 실시간 공연 중계 서비스의 기원이라고 할 수 있습니다.
이러한 실감음향 재생은 1970년대까지 지속적으로 시도되었으나 사용의 불편함, 호환성 부족, 고가의 전용 기기에 대한 부담 등으로 인해 CD의 탄생 이후 디지털화의 진행 과정에서 서서히 비중이 줄어들었습니다. 이후 1999년에 실감음향 재생 방식으로 (SACD SuperAudio CD)와 DVD 오디오가 발표되고 이를 통해 고음질의 음악을 5.1채널의 서라운드 방식으로 들을 수 있게 되었으나, 마찬가지로 보편화되지 못하면서 소수의 마니아들이 이용하는 매체로 남았습니다. 다만 영화 상영관 및 영화 재생 매체 분야에서 다채널 실감음향 방식은 지속적으로 유지, 발전 되었습니다. 그 결과, 현재 영화 부문에서는 상영관 표준인 5.1채널 및 7.1채널 방식 이외에도 Dolly Atmos, Auro 3D 등 다채널 3D sound 재생 방식이 점차 확대되고 있습니다.
음악 이용의 중심이 CD에서 mp3를 중심으로 한 음원 다운로드로, 이후 스트리밍 서비스로 이동하는 과정에서도 스테레오는 표준적인 음원 재생 방식이었습니다. 2019년 기준 전 세계 음반 시장에서 스트리밍 서비스 부문은 전년 대비 22.9%나 성장하며 음악산업의 56%를 차지할 정도로 위상이 높아졌는데, 이 과정에서 스트리밍 서비스 사업자가 증가하고 이들간 경쟁이 심화되었습니다. 그리고 이들의 차별화 경쟁이 실감음향을 다시 부각시키는 원인이 되었습니다.
▶ 실감음향 최근 주요 동향
2019년 10월 15일, 소니(Sony)는 실감음향 음악 제작 및 재생 기술이 ‘360 리얼리티 오디오(360 Reality Audio)’를 발표하고 온라인 음원 유통사인 Tidal, Deezer, nugs.net 등을 통해 360 리얼리티 오디오로 제작된 음원의 유통을 시작했습니다. 360 리얼리티 오디오는 독일 프라우노퍼 연구소의 실감음향 기술이 MPEG-H 3D를 기반으로 한 실감음향 음원 재생 기술입니다.
뒤를 이어 2019년 11월 24일, 돌비(Dolby)는 역시 실감음향 음원 재생 기술이 ‘돌비 애트모스 뮤직(Dolby Atmos Music)’을 발표하고 아마존(Amazon)의 고음질 음악 스트리밍 서비스인 ‘아마존 뮤직 HD(Amazon Music HD)’를 통해 서비스하기 시작했습니다. 돌비 애트모스 뮤직은 2020년 6월에 Tidal을 음원공급처로 추가했고, 동시에 재생 가능 기기 목록에 스마트폰뿐 아니라 돌비 애트모스 지원 사운드바와 TV, AV리시버를 추가했습니다. 아울러 음원 제작사들과 협업하여 돌비 애트모스 방식의 신규 음원 제작, 기존 음원의 실감음향 음원 변화를 지속했으며, 이를 통해 지원 가능한 음원의 숫자를 지속적으로 확대하고 있습니다.
국내에서는 네이버의 바이브(VIBE)rk 2021년 6월부터 돌비 애트모스 뮤직 서비스를 시작했고, 그로부터 1개월 전인 5월에 애플뮤직(Apple Music) 또한 ‘공간음향(spatial audio)지원’을 홍보하며 돌비 애트모스 뮤직을 지원하기 시작했습니다.
2020년 이후 구체화되고 있는 실감음향 음악 방식은 몇 가지 측면에서 이전과 차별화됩니다. 첫째, 3차원 공간상의 위치감을 전달합니다. 이전의 쿼드라포닉 및 5.1채널을 기반으로 한 실감음향 음악 방식은 이용자를 중심으로 전후 및 좌우, 즉 수평 방향을 중심으로 360도의 공간감을 지원했습니다. 인간의 청각이 상하 방향보다 수평 방향에서 시간 차나 거리 차를 더 명확하게 인지하기 때문에, 여기에 중심을 두는 기술 개발이 우선시된 것은 당연하다고 할 수 있습니다. 돌비 애트모스 뮤직 및 360 리얼리티 오디오는 여기에서 한발 더 나아가 상하 방향의 공간감도 함께 지원합니다. 이전에 비해 공간감을 더욱 입체적으로 구현하고자 하는 것입니다.
둘째, 객체(object) 기반의 음원 제작 방식을 사용합니다. 복수 개 채널을 기반으로 하는 기존의 실감음향 제작은 정해진 스피커의 위치를 기준으로 각 스피커 사이에서 소리 크기의 균현과 시간 차를 조절하며 소리의 위치감을 구현하는 방식입니다. 따라서 스피커의 위치 선정에 따라 이용자들이 느끼는 공간감이 크게 영향을 받으며, 공간감을 느낄 수 있는 위치의 범위도 좁은 편입니다. 이에 비하면 객체 기반 실감음향 제작은 음원의 소리 데이터와 객체의 위치를 나타내는 메타데이터를 함께 사용해 음원의 위치와 움직임을 구현하는 방식입나다. 이에 따라 더 다양한 스피커 배열을 지원하고, 또한 보다 폭넓은 청취 영역에서 정확한 음원의 위치를 전달할 수 있습니다.
셋째, 헤드폰, 스마트 스피커 등 다양한 재생 방식을 지원합니다. 이전의 실감음향 재생 방식은 스피커를 이용한 재생만을 지원하고 있었고, 그런데 이 경우 외부의 스피커로 들을 때와는 다르게 음원이 귀와 귀 사이, 즉 머리 안에 위치하는 것으로 인식하게 됩니다. 이 현상을 IHL(In-Head Localization)이라고 합니다. 최근의 실감음향 기술은 이를 개선하고 헤드폰 또는 이어폰으로 음악을 들을 때에도 보다 자연스러운 공간감을 전달하기 위해서 두 귀의 거리 차이뿐 아니라 머리 크기와 귓바퀴의 형태 등에 의한 청취음의 변화를 음원에 반영하는 기술을 사용하며, 이러한 방식을 ‘바이노럴(binaural)’이라고 합니다. 또한 360 리얼리티 오디오 및 돌비 애트모스 뮤직은 다양한 재생 장치에 대응하는 알고리즘을 갖고 있습니다. 즉, 헤드폰을 사용할 경우에는 바이노럴 신호 처리를 통해 공간감을 구현하고, AV리시버나 사운드바 및 스마트 스피커 등을 사용할 경우에는 해당 제품에서 재생 가능한 다채널 재생 방식을 지운하여 실감음향을 구현합니다.
■ 고음질 음원 경쟁
▶ 국내 고품질 음원 서비스 동향
고음질 음원 서비스는 국내 온라인 음원 플랫폼이 해외보다 먼저 시도했습니다. 2009년에 다운로드 서비스로는 최초로 벅스뮤직이 무손실 음원을 판매하기 시작했고 2012년 말에는 아이리버의 자회사 그루버스가 최초로 고해상도 음원을 제공하기 시작했습니다. 2013년은 고음질 음원 서비스가 본격화된 시기라 할 수 있는데 당시 엠넷닷컴과 지니뮤직이 무손실 음원 서비스를 시작했고 네이버 뮤직은 ‘마스터링 HD 음원’ 서비스를 2013년 6월에 시작했습니다. 국내 최대의 온라인 음원 유통사인 멜론 역시 2013년에 ‘원음 전용관’ 서비스를 시작해 운영했고 이를 2017년에 ‘멜론 Hi-Fi’로 개편해 운영하고 있다. 2019년에 그루버스가 서비스를 종료하고 2020년에 네이버 뮤직 서비스가 VIBE와 통합되면서 한국의 고해상도 음원 서비스는 이전에 비해 다소 축소되어 있는 상황입니다.
해외 음원 서비스 업체 중에서는 음원 유통사인 Tidal이 2017년부터 MQA 음원 서비스를 시작했습니다. 아마존 뮤직은 ‘Amazon Music HD’라는 이름으로 2019년에 고해상도 음원 제공을 시작했습니다. 음원 유통사인 Deezer 역시 고해상도 무손실 음원을 제공하고 있는데 이 두 기업은 모두 FLAC 방식의 무손실 고해상도 음원을 제공하고 있습니다. 2021년 5월에 애플뮤직이 공간음향 음원 서비스와 함께 무손실 고해상도 음원 서비스를 추가 비용 없이 제공하기 시작했으며, 이로 인해 고음질 음원 서비스는 새로운 국면을 맞고 있습니다. 애플뮤직에 대응하기 위해 아마존은 아마존 뮤직 유료 이용자를 대상으로 고음질 서비스인 ‘아마존 뮤직 HD’를 무료로 제공하기 시작했습니다. 세계 최대 음원 스트리밍 서비스인 ‘스포티파이(Sportify)’도 2021년 하반기 고해상도 음원 제공을 예고하고 있어, 향후 고해상도 음원이 온라인 스트리밍 서비스의 기본이 될 것으로 보입니다.
■ 음악공연에서 실감음향의 대두
▶ 공연 음향에 적용된 실감음향 기술
공연에서의 소리는 그 자체가 현장감과 공간감을 포함하는 실감음향입니다. 마이크로폰, 앰프, 스피커에 의한 전기적 확성을 사용하기 이전, 실내외 공연장에서는 공간의 구조물을 활용해 소리를 반사 혹은 회절시켜 객석에 전달했습니다. 1930년대부터 공연 상황에 확성 기기가 이용되기 시작했고, 이후 공연 음향 시스템의 성능은 지속적으로 발전해 왔습니다.
1965년 세계 최초의 스타디움 콘서트로 기록된 비틀스의 뉴욕 셰이 스타디움(Shea Stadium) 콘서트에서는 당시의 최고 장비들을 동원했음에도, 관객들의 함성과 비명 소리가 너무 커서 공연자들이 자신들이 내는 소리를 제대로 듣지 못한 것으로 알려져 있습니다. 지금은 더 큰 공연장에서도 110dB SPL 이상의 음량을 객석에 매우 높은 해상도로 전달할 수 있을 만큼 음향 기술이 발달했습니다.
지난 20년간 공연 음향에 큰 진보를 가져다준 요소로는 디지털 믹싱 콘솔과 라인 어레이(line array) 스피커, 이 두 가지를 꼽을 수 있습니다. 2000년 일본의 야마하(Yamaha)와 프랑스의 이노바손(InnovaSon)에 의해 공연용 디지털 믹싱 콘솔이 발표되었습니다. 이를 이용하면서 공연 환경에서도 음반 녹음과 같은 보다 다양한 신호 처리 기능을 사용할 수 있게 되었습니다. 이에 따라 공연 상황에서의 사운드 믹싱이 보다 고도화되었고 사운드 디자인 또한 더 정교화될 수 있었습니다.
라인 어레이 방식의 스피커 시스템은, 기존에 대형 공연에서 다수의 스피커를 두었을 때 발생하던 스피커 간 간섭을 개선한 것입니다. 현대적인 라인 어레이 스피커는 1993년 프랑스에서 Christian Heil 박사의 이론을 기반으로 제작되었습니다. 이후 라인 어레이 스피커를 통해 공연장의 객석 거리에 따른 소리의 크기 차이를 크게 줄일 수 있게 되었고, 또한 큰 음량의 소리를 적은 왜곡으로 멀리 전달할 수 있게 되었습니다. 이후 약 20년에 걸쳐 실내외 공연장에서 음향의 품질이 전반적으로 크게 향상되었습니다.
음악 공연에서 실감음향은 크게 두 가지의 목적에서 적용됩니다. 첫째, 실제 무대로부터의 자연스러운 위치감과 공간감을 전달하는 것입니다. 대개 음악 공연장에서 사용하는 스피커 시스템은 무대를 중심으로 좌우에 설치되어 있습니다. 좌우의 스피커 시스템은 ‘스테레오’로 이해되지만 실제 공연장의 음향 환경은 ‘스테레오’로 보기 어렵습니다. 공연장에서 스테레오로 청취하려면 좌우의 스피커 시스템에서 각각 객석에 전달되는 소리의 음량이 동일하면서 거리의 차이는 작아야 합니다. 그러나 일반적인 공연장에서 실제적인 스테레오 음향이 전달되는 객석의 범위는 많아야 30~40% 정도에 불과합니다. 이외의 객석에서는 좌우 중 어느 한쪽의 소리를 더 크게 듣게 되고, 이 때문에 무대로 향하는 시각과 스피커로부터 도달하는 소리의 방향이 일치하지 않는 경험을 하게 됩니다. 때문에 가능한 한 많은 객석으로 연주자의 위치에서 연주음이 들리는 것과 같은 자연스러운 감각을 전달할 필요가 생깁니다.
둘째, 객석을 중심으로 360도 방향에서 소리를 전달하는 것입니다. 음악 공연에서는 음악과 연관된 다양한 음원을 관객석의 전후좌우에서 재생하거나 특정 악기의 소리를 다양한 방향에서 듣게 하는 것이 종종 필요해집니다.
코로나19 대유행이 아니었다면 실감음향을 적용한 더 많은 공연이 이루어질 수 있었으리라고 판단이 됩니다. 다만 실제 대면 공연이 이루어질 수 없는 상황 속에서도, 더 높은 품질의 실감음향을 공연에 접목하려는 실험과 기술개발은 계속되고 있습니다. 향후 코로나19의 대유행이 가라앉고 대면 공연이 다시 시작된다면, 실감음향의 적용은 더 뚜렷한 트렌드로 드러날 것으로 예상됩니다.
이 글은 한국콘텐츠진흥원의 [2021 음악 산업백서]를 활용하였습니다.