한국전자통신연구원 김진서 연구원과 함께하는 실감나는 3D 페이셜 메이크업 세계

▲사진1 한국전자통신연구원 김진서 연구원

 

 

3D 기술이 날로 발전하면서, 사람이 직접 나서지 않고도 컴퓨터를 통해 미리 연구를 해보고 결과물을 확인해보는 작업 형태가 증가하고 있습니다. 이와 같은 흐름은 예술, 방송, 공연 분야에서도 많이 보여 지는데요. 최근 2D 이미지에서 평면적 메이크업을 하던 기술에서 3D 모델을 가지고 입체적으로 메이크업을 할 수 있는 기술이 ERTI에서 개발 되었습니다. 이 기술은 배우의 얼굴을 3D로 만들어 미리 화장을 해보고 배역에 맞는 화장기술을 선택할 수 있다는 장점이 있습니다. 이와 같이 재밌고, 실용적인 기술을 개발한 ERTI의 김진서 연구원님을 만나 인터뷰 해보았습니다.

 

Q) 연구원님이 속하신 ETRI에 대해 간단한 소개 부탁드립니다.

A) ETRI는 대전에 위치한 정부출연 연구소입니다. 융합기술 방송미디어 연구 통신 인터넷 연구등 다양한 분야를 연구하고 있으며, 연구실은 차세대 콘텐츠 연구소입니다. 또 연구소 안에서는 컴퓨터 그래픽스와 관련된 다양한 연구를 진행하고 있습니다.

 

Q) 과제에 대해 소개 부탁드립니다.

A) 이 연구는 문화체육관광부와 한국콘텐츠진흥원의 2011년 선정 콘텐츠산업기술지원사업(지정공모)의 일환으로 수행되고 있는 연구입니다. 3D 상에서 페이셜 메이크업(화장, 수업)을 하는 기술을 개발하는 과제인데요. 이 기술을 활용하면 연출가와 작가가 3D상의 화면을 보고 극을 구성하거나, 연출을 도와줄 수 있습니다. 기술을 개발하기 위해서는 사람의 얼굴을 정확하게 스캐닝 할 수 있어야 하기 때문에 처음으로 페이셜 스캐너를 개발을 하였습니다. 3D 스캔의 방법은 여러 가지가 있는데 저희는

3- 4대의 카메라를 통해 얼굴의 순간적인 움직임을 빠르게 스캐닝 했습니다. 또한 생동감 있는 피부 표현을 위해 피부과에서 피지분석에 이용하는 일반조명, 피지의 양이나 각질을 분석하는 UV조명, 헤모글로빈의 수치를 분석하는 편광조명 진피(헤모글로빈)을 선택적으로 이용하여 피부를 분석했습니다. 이 3가지 조명을 스캐너에 적용하였고 이렇게 스캐닝 된 3D 이미지를 분장사들이 쓰는 도구의 툴로 만들어 메이크업 아티스트가 사용하기 쉽게 배치했습니다. 초기단계의 3D이미지는 표면이 거칠었으나 스캐닝 이미지와 달걀모양의 3D 이미지를 투사하여 실제 얼굴과 피부화면은 만들었습니다. 마지막으로 화면에서 분장에 쓰이려면 색의 보정을 정확하게 해야 하기 때문에 피부분석 스캐닝 소프트 웨어를 이용하여 피부를 분석 했습니다. 이러한 기술을  다양한 곳에 배포하여 실제로 사용가능하게 하는 것이 목표입니다.

 

 

 

▲사진2 분장 시뮬레이션 시스템

Q) 컬러 복원에 힘을 많이 쓰신 것 같은데 어떤 과정을 통해 개발하였는지 알려주십시오.

A) 컬러 스펙트럼 정보는, 카메라로 촬영된 RGB (RED,GREEN,BLUE) 채널 이미지를 16가지 채널로 확장하는 변환모델을 자체적으로 개발하였습니다. 컴퓨터의 RGB 3가지 채널만으로는 색을 정확하게 표현 해내기 힘들어 실제로 사람의 가시광선 영역의 컬러정보를 스펙트럼 영역으로 세분화하여 16개 정도 채널을 만들어 이용하였습니다. 간단한 예로는 백열등 상태에서는 차이가 없어 보이는 형광색을 자체 기술을 통해 UV상에서는 형광 본연의 색을 나타낼 수 있도록 했습니다.

Q) 기술을 이용해야 하는 메이크업 아티스트가 이용했을 때 만족도는 어떠했습니까?

A) 기술 개발 시 메이크업 아티스트와 협업을 하였습니다. 화장의 순서를 고려한 툴의 제작과 배치, 툴을 이용하였을 때 실제와 비슷하게 화장이 되었는지에 대한 피드백을 받고 기술개발을 했습니다. 따라서 기술을 이용한 아티스트의 만족도 또한 매우 높았습니다. 하지만 평평한 컴퓨터화면에 메이크업을 하는 것이 다소 이질감이 있어, 처음 사용하시는 분들에겐 어느 정도의 적응기간이 필요했습니다. 메이크업 결과는 실제와 색, 모양, 느낌 등이 매우 유사해 몇 번만 사용해보면 금방 익숙해 질 것입니다.

 

 

 

▲사진3 조명 변화에 따른 영상 변환기술결과

 

 

 

▲사진4 메이크업 도구 화면

 

 

Q) 스튜디오가 없으면 이용하기 힘들 것 같은데 해결방안이 있습니까?

A) 선명도와 정밀함이 뛰어난 고급형 3D카메라와 조립 분해가 가능한 휴대용 카메라를 개발했습니다. 고급형 카메라는 DSLR을, 휴대용 카메라는 웹캠을 기반으로 개발을 했습니다. 휴대용은 고급형보단 화질이 떨어지지만 기술을 이용하는 데는 전혀 문제가 없었습니다. 또한 현장에서 분장 전문가들이 PC를 들고 다닐 수 없기 때문에 테블릿PC의 소프웨어를 개발했고 간단한 시뮬레이션과 결과물을 확인 할 수 있도록 했습니다.

 

Q) 다양한 기술을 개발하셨는데 연구원님의 최종 목표 혹은 꿈은 무엇입니까?

A) 색채과학을 좀 더 체계적으로 발전시키고, 지금 개발하고 있는 기술의 완성도를 높이는 것이 저의 작은 꿈입니다.

 

Q) 마지막으로 문화기술을 개발하고 계신 분들에게 한 말씀 부탁드립니다.

A) 기술을 개발하는 입장에서, 컨텐츠에 적용이 가능한 기술을 타겟으로 개발하는 것이 좋다고 생각합니다. CG기술은 콘텐츠 제작에 적용되지 않는 부분이 없을 만큼 많은 분야에서 사용 되고 있으며, 문화기술 시장은 점점 더 확대 될 것으로 예상 합니다. 다른 여러 기술들과 비교해 좀 더 경쟁력이 있는 기술을 개발한다면 그것이 곧 문화기술 시장에서의 큰 강점이 될 것이라고 생각합니다.

 

 

◎ CT포럼 리포터 최태하