안녕하세요. 언어지능연구실에서 근무하고 있는 연구원 성진입니다. 현재 시각-언어 멀티모달 AI 관련 연구 및 개발을 담당하고 있으며, 생성형 AI 모델의 최신성1)최신성: 시간이 지남에 따라 새롭게 생성되거나 수정되는 지식을 AI 모델에 업데이트하여 정보의 정확성과 시의성을 유지하는 특성.을 유지하기 위한 연구와, 과학자를 위한 멀티모달 추론 연구를 담당하고 있습니다.

AI 모델은 어마어마한 양의 데이터를 학습해서 만들어지는데, 정보가 바뀔 때마다 전체를 다시 학습시키는 건 시간과 비용이 너무 많이 듭니다. 그래서 바뀐 부분만 콕 집어 수정하는 ‘지식 편집’ 기술이 등장했죠. 마치 두꺼운 책을 새로 인쇄하지 않고 틀린 문장에만 ‘수정 테이프’를 붙이는 것과 같아요.

MemEIC 기술 예시: 새로운 지식인 두쫀쿠를 MemEIC으로 AI 모델 지식을 최신화한 모습

저희가 개발한 기술의 차별점은 이름처럼 ‘연속’과 ‘복합’에 있습니다. 기존 기술들은 새 지식을 계속 배우면 앞서 배운 걸 잊어버리는 ‘치명적 망각’ 현상이 심했어요. 하지만 저희 기술은 여러 번 이어서 수정해도 예전 기억을 잃어버리지 않는 ‘건망증 없는 AI’를 구현해 냈습니다. 나아가 사진 속 인물이 누구인지(이미지)와 그 사람의 최신 직책이 무엇인지(텍스트) 등 성격이 다른 정보들을 자연스럽게 엮어내어 복합적인 질문까지 높은 수준으로 처리할 수 있다는 것이 가장 큰 강점입니다.

‘복합적인 지식 편집’ 태스크와 ‘연속’ 지식 편집

네, 맞습니다. 사람의 뇌를 보면 좌뇌와 우뇌의 역할이 나뉘어 있잖아요. 흔히 좌뇌는 언어를, 우뇌는 시각 정보를 주로 담당한다고 하죠. 저희는 여기서 인사이트를 얻었어요.

기존 멀티모달 AI 모델들은 이미지로 된 시각 지식이든, 텍스트로 된 언어 지식이든 전부 한 공간에 욱여넣고 저장했어요. 그런데 이 방식이 새 지식을 넣다 보면 기존 지식을 덮어써 버리고, 시각 지식과 언어 지식이 서로 간섭하더라고요. 저희가 연구하면서 마주한 문제였죠.

그래서 모델 안에 ‘시각 지식 전담 메모리’와 ‘언어 지식 전담 메모리’를 따로 두었어요. 마치 좌뇌와 우뇌처럼요. 이렇게 분리해 두니, 시각 지식을 수정해도 언어 지식이 흐트러지지 않고, 그 반대도 마찬가지더라고요. 새 지식을 계속 배워도 이전 기억이 보존되는 거죠. 이 구조가 AI의 ‘건망증’을 막는 핵심 원리라고 할 수 있어요.

그런데 좌뇌랑 우뇌가 계속 따로 놀기만 하면 그것도 문제겠죠. 둘을 합쳐서 생각해야 하는 순간도 있으니까요. 실제 뇌에는 좌우 반구를 연결해 주는 ‘뇌량’이라는 다리가 있어요. 저희는 이걸 본떠서 ‘지식 연결기’라는 걸 만들었어요. 두 메모리를 잇는 다리인데, 재밌는 건 늘 활성화 되어있는 것이 아니라 이미지와 텍스트를 모두 합쳐야 하는 질문일 때만 연결된다는 거예요. 평소엔 따로 일하다가, 복합적인 추론이 필요할 때 스스로 질문을 판단해 지식 연결기를 활성화 시키는 거죠.

MemEIC 기술

연구라는 게 상용화되기까진 오랜 기간이 걸립니다. 이번에 발표를 한 NeurIPS 학회도 당장 산업에서 쓰일 기술보단, 원천 연구를 주로 다루고 있고요. 하지만 이 연구를 바탕으로 후속 연구들이 나오고 실제 산업 도메인까지 기술이 확장된다면, AI 서비스를 ‘최신 상태로 유지하는 비용’을 확 줄일 수 있을 거라 봅니다.

지금은 정보가 바뀔 때마다 거대한 생성형 모델을 통째로 다시 학습시켜야 하는데, 이게 비용도 전력도 어마어마하게 들거든요. 하지만 저희 기술을 쓰면 바뀐 부분만 빠르게 고쳐 넣을 수 있어요.

활용 가능성이 높은 분야로는, 정보가 빠르게 바뀌고 오류의 대가가 큰 영역들이 있어요. 가령 끊임없이 사실관계가 갱신되는 뉴스·검색 서비스, 사용자에 대한 정보를 계속 배워나가야 하는 개인 맞춤형 비서, 그리고 잘못된 옛 정보(환각)를 줄여야 하는 고객 응대·전문 상담 서비스 같은 곳이죠. 이미지와 사실 정보를 함께 다뤄야 하는 멀티모달 AI라면 어디든 적용해 볼 수 있다고 봅니다.

아무래도, 작년 겨울 인공지능 분야 최고 권위 학회인 ‘NeurIPS’ 에 채택되어 미국 샌디에이고에서 발표했던 순간이 가장 기억에 남습니다. 평소 동경해 왔던, 그리고 AI 연구원이라면 한 번씩은 꿈꿔봤을 학회에 직접 참석하고, 기여할 수 있다는 사실이 연구자로서 제게 오랫동안 기억에 남을 것 같아요. 학회에선 이 연구 분야를 알고 있는 교수, 연구자들과 교류할 기회가 있었는데, 제 연구를 인상 깊게 들어주던 모습들이 생생히 기억에 남습니다.

(왼쪽) 2025 NeurIPS 학회 참석자들
(오른쪽) 2025 NeurIPS 학회 당시 포스터 발표 모습(성진 연구원)

현재 AI는 어느 때보다도 빠르게 발전하고 있어요. 그렇기 때문에 이전 연구들이 그만큼 빠르게 잊혀지곤 합니다. 당장 멋지게 보여줄 수 있는 최신 기술을 선보이는 것도 필요해요. 하지만 저는 논밭에 새로운 씨를 뿌리듯 미래를 위한 연구를 하고 싶어요. 5년, 10년 뒤에도 의미가 있는 연구를 통해 저와 비슷한 고충을 겪는 연구자들에게 작은 시작점이 되어줄 그런 연구를 꾸준히, 그리고 묵묵히 해나가고 싶습니다.