ETRI WEBZINE

Vol.215 DECEMBER 2022

INTERVIEW

세상에 없던 메타버스 가상 공연 기술

통신미디어연구소 콘텐츠연구본부 정일권 본부장

3차원 가상현실과 현실이 융합된 세계인 메타버스는 등장과 동시에 많은 이들의 이목을 끌며 삽시간에 각종 분야에 적용되었다.
그러나 큰 기대를 이끈 만큼, 메타버스로 구현된 세계가 예상외로 현실과 비슷하지 않아 아쉬워하는 목소리도 있었다.
공연 분야도 마찬가지였다. 공연 문화만이 가지는 특성들을 기존 메타버스 관련 기술로 구현할 수 없었기 때문이다.
‘많은 사람과 함께하지 못해서 아쉽다’, ‘관객과 소통이 어렵다’, ‘진짜 같지 않다’는 의견들이 나왔다.
그러나 내가 어디에 있든지 콘서트 현장에 있는 것처럼 많은 사람과 함께 실감 나는 공연을 즐길 수 있다면 어떨까? 문화체육관광부의 글로벌 가상 공연 사업에 참여한 ETRI는 세계 최고 수준의 메타버스 공연 플랫폼을 만들고자 기술 개발 및 구현에 나섰다. 이전의 가상 공연에서는 체험할 수 없던 실감 나는 공간, 수천 명이 함께 모여 만들어내는 분위기, 관객과 공연자와의 교감까지도 가능한 미래가 곧 현실이 된다.
공연 문화의 판도를 바꿔 놓을 ETRI의 메타버스 가상 공연 기술 개발을 이끌어갈 콘텐츠연구본부의 정일권 본부장을 만나보았다.

안녕하세요 정일권 본부장님.
박사님과 콘텐츠연구본부에 대해서 소개 부탁드립니다.

저는 1999년도에 입사한 콘텐츠연구본부의 정일권입니다. 콘텐츠연구본부는 컴퓨터 그래픽스, 가상현실, 증강현실을 바탕으로 디지털 콘텐츠나 문화 콘텐츠와 관련된 다양한 기술들을 개발하고 있습니다. 현재 약 130명 정도의 석박사 인력이 근무하고 있습니다.

이번에 ETRI가 문화체육관광부 주도의 사업에 참여하였습니다. 어떤 사업인가요?

실제 현장에 가지 않고도 콘서트 등의 공연 콘텐츠를 감상할 수 있는 가상 메타버스 공연 기술을 만드는 사업입니다. 이를 위해 ETRI가 해당 사업의 주관을 맡아 협의체를 구성했고, 함께 참여하는 여러 기관이 컨소시엄을 이루어서 5개의 R&D 과제를 수행할 예정입니다.

이번 사업에서 ETRI는 어떤 역할을 수행할 계획인가요?

ETRI는 가상 공연을 위한 5개의 R&D 과제 중 핵심 과제인 '대형 공연장 규모의 실시간 양방향 메타버스 체험 플랫폼 기술 개발'을 맡았습니다. ETRI에서는 과제 수행을 위해 확보된 VR 기술과 AR 기술 등을 바탕으로 가상 공연을 위해 새롭게 기술을 개발하고, 많은 사람의 접속량을 다루기 위한 클라우드 네트워크 기술 등도 개발할 것입니다. 같이 참여하는 기업과 함께 기술 구현 시 발생하는 여러 문제 등을 해결할 예정입니다. 이 외에도 연계되는 나머지 4개 과제와도 시너지를 낼 수 있도록, 각 과제에서 개발되는 기술 일부를 ETRI의 기술과 융합해 성과를 내고자 합니다.

앞으로 ETRI에서 개발할 가상 공연 기술과 기존 메타버스 플랫폼의 가상 공연 기술에는 어떤 차이점이 있나요?

현재도 메타버스 공연 서비스가 있긴 하지만 ETRI는 기존 기술로는 구현할 수 없는 부분까지도 지원하는 것을 목표로 하고 있습니다. 이를 위해 ‘실시간’, ‘양방향’, ‘대규모’를 사업의 핵심 키워드로 삼고, 이에 맞춰 기술을 개발 중입니다. 해당 기술의 대표적인 차별점은 실제 공연과 같이 가상 공연에 수만 명이 동시 접속을 하고, 한눈에 서로를 확인할 수 있는 것입니다. 실제로 잠실 경기장 같은 곳에서 열리는 콘서트에 가면, 수만 명이 모여 만드는 공연장만의 분위기를 느낄 수 있습니다. 그러나 기존 메타버스 플랫폼에서는 기술의 한계 때문에 동시 접속자가 수천 명이더라도 최대 100명 정도만 시야에 담을 수 있습니다. ETRI는 이런 점을 보완하여 공연만의 특성을 가상세계에서도 경험할 수 있는 기술을 만들 예정입니다.

플랫폼 내에서 구현되는 사람의 모습은 어떤지 궁금합니다.

디지털 휴먼 ‘로지’처럼 사람의 모습에 가까운 아바타를 활용할 예정입니다. 메타버스로 잘 알려진 제페토나 로블록스의 캐릭터들은 만화 애니메이션 같은 모습입니다. 해당 서비스를 주로 이용하는 MZ 세대들은 사용자의 모습이 굳이 사람의 모양새가 아니어도 크게 불편함을 느끼지 않습니다. 그러나 그 이상의 연령대들은 ‘캐릭터가 진짜 사람 같지 않으니 몰입이 안 된다’는 의견을 많이 제시합니다. 새로운 가상 공연에서는 캐릭터에 디지털 휴먼과 같은 기술을 적용해, 연령대 상관없이 많은 사람이 가상 공연을 즐길 수 있도록 할 예정입니다.

소통 방법도 다른 메타버스 가상 공연과 다른가요?

기존 가상 공연에서는 사용자가 일방적인 감상만 했다면, 목표로 하는 가상 공연에서는 다른 참여자뿐만 아니라 공연자들과 소통이 가능합니다. 기존에는 공연자가 관객의 반응을 보지 못해 “이런 비대면 공연은 실감이 떨어진다”라는 의견이 있었습니다. 이를 보완하고자 앞으로의 가상 공연에서는 공연자가 관람객들의 모습을 확인할 수 있도록, 리액션을 통해 소통하고자 합니다. 소통 방법의 틀은 완전히 잡히진 않았지만 춤, 떼창, 음성 대화 등을 구상하고 있습니다.

실제 공연과 가상 공연이 동시에 이루어지는지도 궁금합니다.

현장 공연과 가상 공연이 동시에 진행되면 좋겠지만, 추가적으로 고려해야 할 사항들이 있어 고민 중입니다. 예를 들어, 멀리 있는 공연자의 모습을 가상 공연에 구현하기 위해 사람의 행동을 실시간으로 디지털 형태로 기록하는 모션 캡처라는 작업을 해야 합니다. 이를 위해 공연자가 검은 슈트를 입고 마커를 부착해야 하는데, 가상 공연을 위해 이러한 특수 슈트를 입고 현장 공연을 진행한다면 현장 반응은 좋지 않을 것입니다. 현실 공간과 가상 공간에서 동시에 실시간 공연을 진행하는 데에는 여러 애로사항이 있으므로, 우선 가상 세계에서만 실시간 공연을 시도할 예정입니다. 동시에 ETRI의 ‘모션 캡처 없이도, AI를 통해 영상으로부터 동작을 추출하는 기술’등을 현장 공연에 적용하여 실제 공연과 가상 공연이 동시에 이루어질 수 있도록 연구 개발을 계속할 예정입니다.

말씀을 들어보니 기술 그 자체보다도 기술이 적용될 상황이나 적용 방법에 대한 고민도 있을 것 같습니다.

말씀대로 사람들의 요구를 충족시키고자, 서비스 운용 시 발생할 만한 이슈들도 미리 염두에 두고 있습니다. 관람 좌석의 이슈를 예로 들어보겠습니다. 관람 위치에 대한 제약이 없으면, 가상 공연이니까 공연장 내부 어디서나 공연을 감상할 수 있게 됩니다. 그렇게 되면 가수와 가까이 붙어서 보는 사람들이 많아질 텐데, 천 명이 넘는 사람들이 무대 앞쪽에만 붙어있으면 실제 공연장의 모습과는 거리가 멀어질 것입니다. 이를 방지하기 위해서 현장 공연처럼 좌석을 지정 배치하면, 가상 공연 서비스를 이용하는 사람이 불만을 제기할 수도 있습니다.

뿐만 아니라 공연장에서 입을 공연자의 옷, 사용될 가구, 사용자의 이동 동선 등이 현실과 거의 똑같이 구현되어야 하고, 공연의 기획이나 연출 또한 현실처럼 진행되어야 합니다. 바로 이런 문제 때문에 ETRI는 기술이 실제 어떤 식으로 적용될지까지를 고민하며 기술 개발을 해야 합니다. 또한 기술 실증을 해야 하므로, 공연 기획 연출자와 함께 기술 구현 시 지켜야 할 규칙들을 정비하고, 이를 바탕으로 가상 공연에 기술을 적용할 예정입니다.

상상 이상으로 세세한 부분까지 고려해야 해서 기술 개발에 어려움이 있겠습니다. 그러나 그만큼 서비스 운용 시 파급 효과가 클 것 같은데요. 해당 기술의 기대 효과는 무엇인가요?

저희가 개발하고자 하는 스펙의 기술은 지금까지 없었습니다. 따라서 사업이 성공적으로 끝나면 세계 최고 기술이 ETRI에서 나온다는 점에서 의의가 있겠습니다. 또한 본 과제의 성과로 나온 기술 등이 K-POP 콘서트 등에 적용 된다면, K-콘텐츠의 글로벌 진출에도 더욱 긍정적인 영향이 있을 걸로 기대하고 있습니다.

앞으로의 계획이나 목표가 있다면 무엇인가요?

4년 과제의 1차 연도가 곧 종료를 앞두고 있습니다. 앞으로 남은 3년 동안 당초 목표한 바를 잘 이루어 나가도록, 최선을 다하겠습니다.