Q.01

혼합현실의 개념은?

최근 증강현실(Augmented Reality), 가상현실(Virtual Reality), 혼합현실(Mixed Reality) 등 다양한 용어가 자주 언급되면서 다소 헷갈리거나 혼용하시는 분들이 많습니다. 그래서 그 개념과 차이에 대해 간단히 짚고 넘어가려고 합니다. 먼저 우리가 인지하고 살아가는 것을 ‘현실’이라고 하고, 그러한 현실을 완전히 가상으로 구현한 것을 ‘가상현실’이라고 부릅니다. 그 사이에 현실의 정보와 가상의 정보를 어떠한 비율로 보여주느냐에 따라 ‘증강현실’과 ‘증강가상’이라는 개념으로 나눌 수 있습니다. 증강현실은 말 그대로 ‘현실’을 ‘증강’한다는 의미로, 현실 정보를 바탕으로 그 위에 약간의 가상 정보를 중첩하는 것을 말합니다. 쉬운 예로, ‘포켓몬 GO’ 게임처럼, 카메라를 통해 비치는 실제 현실을 배경으로 가상의 정보(포켓몬스터)가 나타나는 것처럼 말이죠. 반대로 증강가상(Augmented Virtuality)은 가상의 정보를 바탕으로 그 위에 약간의 현실 정보를 중첩하는 것을 말합니다. 선거 개표방송에서 가상의 공간을 아나운서가 돌아다니면서 개표 상황을 설명하는 장면처럼, 대부분 가상 정보 위에 약간의 현실 정보(아나운서)가 보이는 것을 말합니다. ‘혼합현실’은 지금보다 좀 더 현실감 있게 상호작용할 수 있는 ‘포켓몬 GO’라고 생각하면 됩니다. 현재 포켓몬 GO를 실행하면 화면에 나타나는 몬스터들이 대번에 현실과 동떨어진 가상 캐릭터라는 걸 알게 됩니다. 현실 화면에 중첩되어 보일 뿐, 현실 정보에 따라 정교하게 상호작용하지 않아 현실감이 다소 떨어지게 되는 거죠.
하지만 그 안에 있는 몬스터들이 현실에 있는 다양한 정보들, 예를 들어 앞에 있는 사물 위에 올라간다거나 빛에 따라 색이나 명암이 바뀌는 등 실시간 상호작용을 통해 좀 더 현실적인 정보를 제공한다면, 마치 그 캐릭터가 현실에 살아 움직이는 것처럼 느낄 수 있을 것입니다. 한마디로 혼합현실은 증강현실과 가상현실을 통합한 뒤 사용자와의 상호작용을 더욱 강화한 개념이라고 볼 수 있습니다.

Q.02

혼합현실을 체험할 수 있는 테마파크가 있다?

선더 펀치 기술은 앞서 설명한 혼합현실 개념을 현실감 있게 직접 체험해볼 수 있도록 구현한 것입니다. L자형 화면 앞에서 손을 올려놓으면 상단에 있는 3개의 카메라가 사람의 동작을 인식해 손 주변으로 마치 번개가 감싸고 있는 듯한 효과를 나타냅니다. 이 상태에서 손을 뻗어 펀치를 날리면 동작을 추적해 화면에서 번개가 발사되는 것이죠. 단순해 보이지만, 사실 이러한 기술을 구현하기 위해서는 많은 기술과 정확성이 필요합니다. 펀치를 날리는 여러 이용자의 위치와 동작을 빠르고 정확히 판별하는 기술이 있어야 엉뚱한 위치에서 번개가 발사되는 것을 방지할 수 있습니다. 또한, 넓은 화면에서 많은 인원이 콘텐츠를 즐길 수 있도록 프로젝터의 영상을 자연스럽게 합쳐서 보여줘야 하는데, 이를 위해 자체 개발한 ‘프로젝션 기하보정 기술’이 들어갔습니다.
이렇게 구축한 콘텐츠는 현재 EBS의 대표적인 캐릭터인 번개맨과 연계해 울주군에 구축된 ‘번개맨 우주센터’에 들어가 시범 운영을 하고 있어요. 단순히 번개맨의 동작을 보기만 하는 것이 아니라 직접 손을 뻗어 번개를 발사할 수 있어 아이들의 만족도가 높습니다. 선더 펀치 기술은 게임뿐만 아니라 교육, 체험, 의료, 산업 등 다양한 분야와 연계해 활용할 수 있습니다. 현재는 프로젝터 영상을 통해 볼 수 있도록 구현했는데, 앞으로는 마이크로소프트사의 홀로렌즈나, HMD를 활용한 다양하고 MR 콘텐츠 기술도 구상하고 있습니다.

Q.03

인공지능도 시공간을 뛰어넘는
시간여행이 가능할까?

MR 기술들이 점차 고도화된다면 그동안 영화에서만 감상했던 시간여행을 실제로 체험해볼 수 있을 것입니다. 물론 정말 타임머신을 타고 시간여행을 하는 것이 아니라 ‘콘텐츠를 통한 시간여행’이 가능하다는 것이죠. 우리 연구부서에서 선더 펀치 이후 연구하는 주제 중 하나도 이러한 시간여행 콘텐츠라고 할 수 있습니다. 저속으로 움직이는 가상의 롤러코스터를 타고 가면서 중국 진시황릉과 관련된 다양한 상황을 체험하는 것이죠. 또한, 제주도청과는 1930년대의 제주도의 모습을 구현해 관광객들에게 보여주는 프로젝트에 대해서도 논의가 진행되기도 했습니다.
사실 MR은 시간을 뛰어넘기보다는 공간의 제약을 뛰어넘는 기술에 더 효과적일 수 있습니다. 예를 들어 영화 ‘킹스맨’을 보면 ‘텔레프레전스(Telepresence)’라는 기술이 나옵니다. 처음에는 아무도 없는 공간에 특수 안경을 쓰자 같은 시간 다른 지역에서 회의에 참석한 사람들이 보이는 것이죠. 비슷하면서 좀 더 발전된 기술이 영화 ‘발레리안’에서도 나옵니다. 처음에는 아무것도 없는 사막처럼 보이는데, 특수 장비를 착용하고 보면 다른 우주 공간에 각각 흩어져 있는 엄청난 규모의 쇼핑몰이 가상의 쇼핑몰로 구현되어 물건을 살 수 있게 됩니다.
제가 꿈꾸고 있는 것은 이처럼 더욱 정교하고 사실적인 MR 환경을 구축해 다양한 지역에 있는 사람들이 함께 일하거나 콘텐츠를 즐길 수 있는 ‘커넥티드 스페이스(Connected Space)’를 구현하는 것입니다. 가상과 현실의 경계를 허물고, 시공간의 한계를 뛰어넘을 수 있는 이러한 기술들은 앞으로 다양한 분야에서 무궁무진한 발전 가능성을 지니고 있습니다. ETRI VR/AR기술연구그룹에서는 이 분야를 선도해 나갈 수 있도록 노력하겠습니다.