영화 ‘킹스맨’에서는 증강현실(AR) 안경을 이용해 주인공이 각지에 흩어져 있는 요원들과 한 공간에 모여 회의하는 장면이 나온다.
ETRI도 이와 비슷한 기술을 선보였다.
바로 확장현실(XR) 환경 원격 실재감 증강 기술이다.

진화하는 원격 협업 기술

기술개념도 개요

확장현실(XR, eXtended Reality)은 현실 세계와 가상 세계를 융합해 사용자에게 새로운 경험을 제공하는 기술로 가상현실, 증강현실, 혼합현실을 포함하는 상위개념이다. ETRI가 공개한 기술은 서로 다른 공간에 있는 사용자가 가상현실(VR)과 증강현실(AR) 환경 속에서 만나 실제 회의실에서 대화를 나누거나 회의를 할 수 있도록 구현됐다. 단순히 같은 접속 환경에서 만나는 것이 아닌, 눈을 마주치고, 손을 맞잡는 소통도 가능하다.

ETRI의 원격 실재감 증강 기술은 ‘엑소스켈레톤 기반 능동형 가상 악수 기술’과 ‘실시간 디지털 휴먼 입체 실감화 기술’ 두 가지 핵심 요소로 구성된다. 엑소스켈레톤 기반 능동형 가상 악수 기술은 손의 움직임뿐만 아니라 악수할 때 상대방이 손을 쥐는 힘의 강도와 방향까지 실시간으로 느낄 수 있도록 설계된 첨단 촉각 피드백 기술이다. 이를 위해 연구진은 외골격형 액티브 타입 XR 햅틱 글러브를 독자적으로 설계하고 개발했다. 이 햅틱 글러브는 상대방이 손을 꽉 쥐는 감각까지 실시간으로 전달할 수 있어 원격 환경에서도 상대방과 손을 맞잡는 듯한 경험을 전달할 수 있다.

실시간 디지털 휴먼 입체 실감화 기술은 양안 영상 기반의 헤드마운티드 디스플레이(HMD) 환경에서 생성형 인공지능(AI)을 활용한다. 디지털 휴먼의 입체감과 자연스러운 표정을 실시간으로 향상시키는 기술이다. 기존보다 낮은 품질의 영상 소스로도 사실적이고 생동감 있게 디지털 휴먼을 구현할 수 있어 활용도가 높고, 이 기술을 통해 원격 회의 환경에서도 실제 인물에 가까운 자연스러운 얼굴 표현이 가능해졌다.

직접 경험해 보는 기술

가상 악수
VR 사용자 시점(좌측 상단), AR 사용자 시점(우측 상단), VR 사용자(좌측 하단), 3인칭 서버 시점(중앙 하단), AR 사용자(우측 하단)

이번 기술은 지난 6월 초에 개최된 ‘ETRI 콘퍼런스 2025’에서 대중에 공개됐다. 시연 현장에서는 HMD와 센서를 통해 사용자의 손, 발, 시선, 표정, 입 모양, 목소리 등 다양한 비언어적 신호를 디지털 아바타에 자연스럽게 반영했다. 특히 AI 기반의 3D 배경 생성 기술인 ‘3DGS(3D Gaussian Splatting)’를 함께 적용해 보다 사실적인 공간감과 몰입감을 구현해냈다. 3DGS는 일반 사진만으로도 사실적인 3차원 장면을 재구성할 수 있는 최신 영상 합성 기술이다.

실시간 입체 실감화 기술이 적용된 시선 맞춤, 가상 악수 데모 콘텐츠

관람객들은 이러한 시스템을 통해 실제 회의실에 있는 것처럼 원격 참가자와 아바타를 통해 눈을 마주치고 손을 맞잡는 체험을 하며, 기존의 화상회의를 넘어서는 새로운 차원의 몰입형 협업 환경을 생생하게 경험했다.

ETRI 콘텐츠융합연구실 정성욱 책임연구원은 “이번 기술은 원격 협업의 개념을 단순한 영상통화를 뛰어넘어 ‘실감형 상호작용’의 시대로 전환하는 중요한 계기가 될 것이다. 향후 교육, 산업, 의료 등 다양한 분야에서 국민이 직접 체감할 수 있는 미래 협업 솔루션으로 발전시켜 나가겠다”라고 밝혔다. ETRI는 앞으로도 XR, AI, 햅틱, 실감미디어 등 다양한 분야의 첨단 기술을 융합해 원격 협업의 품질과 몰입감을 지속적으로 향상시켜 나갈 계획이다.