ETRI Webzine

ETRI가 개발한 XR 기술은 증강현실과 가상의 공간을 연동하고 공유한다.
이 공간에서 로컬의 사용자와 원격의 사용자가 콘텐츠를 함께 즐길 수 있다.
해당 기술의 알고리즘은 충분히 정량화돼 있어
하드웨어 리소스가 충분히 서포트만 된다면
장소와 거리, 인원에 구애받지 않고 사용 할 수 있다.
ETRI의 XR 기술을 더 자세히 살펴보고자 콘텐츠융합연구실을 찾았다.

몰입형 XR(확장현실) 개발소식을 알리셨습니다. 기술에 대해 소개 부탁드립니다.

우리 연구팀에서는 XR 환경에서의 상호작용 연구를 하고 있습니다. 총 4년간의 연구를 통해 개발된 핵심기술을 기반으로 범용 디바이스에서도 기술을 표현할 수 있는 몰입형 XR 기술 콘텐츠를 개발했는데요. 이 몰입형 XR의 핵심기술이 다인칭 사용자 3차원 정밀 동작 분석 기술과 복합공간상 사용자 위치 추정 기술이에요.

(좌상) 원격몰입 AR 사용자 스크린캡처, (우상) 원격몰입 VR 사용자 스크린 캡처
(좌하) 원격몰입 VR 사용자 플레이 모습, (우하) 원격몰입 AR 사용자 플레이 모습

XR 환경에서 사용자의 상호작용 기술은 먼저 보고, 행동하고, 반응하는 것이 필요해요. 보기 위해서는 디바이스 상에서 먼저 정밀하게 기기의 위치를 추정해야 하는데요. 기기의 위치를 정밀하게 추정하게 되면 예를 들어 앞에 가상의 여우를 놓았을 때 기기가 움직이더라도 상대적인 위치를 정확하게 알게 되어, 가상 여우가 움직이지 않고 그 자리에 있는 것처럼 느끼게 됩니다. 이때 필요한 기술이 복합공간상 사용자 위치 추정 기술이에요. 이 공간에서 가상의 여우를 쓰다듬기 위해서는 사용자의 행동 인식이 필요해요. 그래서 사용자의 스켈레톤, 즉 관절 정보를 추출해서 사용하죠. 이때 필요한 기술이 다인칭 사용자 3차원 정밀 동작 분석 기술이에요. 또한, 가상의 여우가 반응하면 저 혼자 보는 것이 아닌 다른 사람도 같이 볼 수 있어야 하는데요. 그래서 여러 사용자가 연동할 수 있는 플랫폼이 필요하죠.

이런 기술을 접목해서 안드로이드나 iOS 기반의 핸드폰에 적용할 수 있도록 딥러닝 네트워크를 최적화해 추론 네트워크를 구성하고, 알고리즘을 최적화시켜 리소스가 적은 디바이스에 실시간으로 동작하도록 콘텐츠를 꾸민 시스템이 몰입형 XR 시스템이에요.

해당 기술의 특징이 스마트폰으로 간편하게 이용할 수 있다는 것이죠. 기존의 기술과 달리 가볍고 효율적으로 해당 기술을 사용할 수 있는 원리는 무엇인가요?

우리가 개발한 기술은 멀티플랫폼에 적용할 수 있어요. 즉, 안드로이드, iOS, Windows에 적용할 수 있도록 개발된 것이죠. 특히 모바일 환경에 적용할 수 있도록 Windows 상에서 미리 개발하고, 이를 한정된 리소스를 가지고 있는 모바일 디바이스에 적용했습니다. 멀티플랫폼에 따라 사용하는 AP는 서로 달라서 이에 적용할 수 있도록, 딥러닝을 기반으로 네트워크를 새롭게 구성하고, 알고리즘을 최적화했지요.

실제로 XR 콘텐츠의 경우 하나의 스마트폰에서 디바이스의 위치를 찾는 기능과, 사용자의 스켈레톤을 추출하는 기능, 그리고 콘텐츠 메타정보를 공유되는 기능이 실시간으로 동작하는 것을 볼 수 있어요.

기술이 실제로 어떻게 활용되는지 궁금합니다.

XR 기술은 현재 우리 삶에 깊이 들어오고 있어요. 간단히 말씀드리면, 교육, 의료, 국방, 광고, 여행 등 여러 분야에 걸쳐서 사용되고 있다고 보시면 돼요.

우리가 개발한 기술의 경우에는 서울 화랑대역에 있는 노원 기차마을 스키장 디오라마에 증강현실 콘텐츠가 적용돼 있어요. 또한 국립중앙도서관 ‘자산어보’ 콘텐츠에 저희 기술이 적용돼 있죠.

자산어보 콘텐츠 시연

기술을 개발하시면서 가장 기억에 남았던 순간은 언제인가요?

기술을 처음 개발할 때는 먼저 세계 최고의 목표를 가지고 기술개발에 임했는데요. 솔직히 ‘기술 목표 달성이 가능할까?’라는 생각은 항상 했어요. 하지만, 하나씩 목표를 이루어가는 것을 보면서 뛰어난 연구원님들과 같이 일하게 돼서 정말 감사하다는 생각을 많이 하게 됐죠. 처음에 PC 상에서 돌아가는 알고리즘을 보고 감탄하고, 마지막에 스마트폰에 올렸을 때의 그 감동은 잊을 수 없을 것 같아요.

그리고 재작년인 2023년에 세계 3대 가전 전시회인 IFA 전시회에 연구 결과물인 몰입형 XR 기술을 가지고 참가했어요. 사전 준비부터, 부스를 꾸미고, 시스템을 설치하고, 콘텐츠를 연동하는 과정들이 많이 힘들었죠. 1년 정도 준비한 것 같네요. 하지만, 저희 부스를 보고 재미있게 체험하는 어른들과 아이들을 보면서 많은 보람을 느낄 수 있었어요.

IFA 2023 ETRI 부스에서 체험 중인 아이들의 모습

XR 기술이 향후 일반 사용자들에게 더 친숙하게 다가가기 위해 필요한 기술적·산업적 과제는 무엇이라고 보시나요?

XR 기술은 결국은 사용자가 체험하는 기술이에요. 현재의 기술 수준은 응용 단계까지 발전했다고 생각하고 있어요. 하지만 여러 가지 난제들이 있는 것 같아요. 공간에 대한 이해, 사용자 행동에 대한 이해, 콘텐츠를 표현하고, 보는 것에 대한 부분, 또한 사용자와의 상호작용에 대한 부분 등 여러 해결해야 할 문제들이 많이 있어요.

앞으로 어떤 연구를 계획하고 계신지, 어떤 연구자가 되고 싶으신지 말씀 부탁드립니다.

향후 개발하려고 하는 기술은 원격에서 실재감을 느낄 수 있는 기술이에요. 원격의 사용자가 로컬공간에 참여해서 로컬공간을 보고, 만지고, 느끼고, 협업할 수 있는 XR 기술을 개발하려고 합니다.

예전에 제 개인적인 목표는 똑똑한 박사, 돈 많은 형이 되는 것이었어요. 이제 20여 년의 연구를 거치면서 서포트 잘해주는 선배 연구원이 되는 것이 제 목표가 된 것 같습니다. 연구는 혼자 하는 것이 아닌, 서로 도와가면서 하는 것이라고 생각하기 때문이죠.