ETRI,‘설명가능한 의사결정지원 AI’국제표준 승인

- AI가 왜 그런 답을 냈는지까지 설명, AI의 구조·요구사항 국제기준 마련

- 전문지식 기반 추론·이유 설명·생성 결과 검증 핵심기술 확보

- AI 기본법상 설명 의무 대응을 위한 기술적 기반으로 활용 기대

국내 연구진이 인공지능(AI)이 왜 그런 답을 냈는지까지도 설명하는 기술을 개발, 국제표준 승인을 얻어냈다. 

연구진은 설명이 가능한 의사결정지원 AI 시스템의 국제기준을 마련한 셈이라고 밝혔다. 

이로써 본 성과는 판단의 근거, 이유, 검증까지 제시하는 길이 열렸다.

한국전자통신연구원(ETRI)은 전문지식을 바탕으로 추론하고, 판단의 이유를 설명하며, 생성 결과까지 검증할 수 있는 설명가능한 의사결정지원 AI 기술을 개발했다고 밝혔다. 

또한 이 기술의 시스템 구조와 요구사항을 담은 국제표준도 국제전기통신연합(ITU)에서 승인받았다.

이번에 승인된 국제표준은 국제전기통신연합 전기통신표준화부문(ITU-T)의 F.748.59‘인간-기계 상호작용 기반 설명가능한 의사결정지원 시스템의 프레임워크와 요구사항'이다.

최근 생성형 AI는 다양한 질문에 빠르고 자연스럽게 답변할 수 있지만, 왜 그런 결론을 내렸는지, 어떤 근거를 활용했는지, 결과를 얼마나 신뢰할 수 있는지는 충분히 설명하지 못하는 한계가 있다. 

특히 의료, 법률, 금융, 행정과 같이 결과에 대한 책임과 신뢰가 중요한 분야에서는 AI의 판단 과정을 설명하는 기술이 필수적이다.

이번 국제표준은 이러한 요구를 반영해 설명가능한 AI가 갖춰야 할 공통 구조와 핵심 기능을 제시한 국제 기준이다. 

AI가 단순히 "답은 이것입니다”라고 제시하는 수준을 넘어 "이러한 근거와 이유로 이 결과를 도출했으며, 이 부분은 추가 확인이 필요합니다.”라고 설명할 수 있도록 시스템의 기본 구조와 요구사항을 정의했다.

국제표준에는 사용자 질문에 대한 결과와 이유 설명, 전문지식 기반 추론, 판단 근거와 분석 내용을 담은 보고서 제공, 추가 확인이 필요한 정보의 식별, 사용자 피드백 반영, 변화하는 전문지식의 지속적인 업데이트, 텍스트뿐 아니라 표·이미지·도식 등 다양한 형태의 정보 활용 기능 등이 포함됐다.

이번 표준은 특정 AI 모델이나 제품에 적용되는 것이 아니라, 앞으로 기업과 공공기관이 설명가능한 AI 서비스를 설계할 때 활용할 수 있는 공통 기준이라는 점에서 의미가 크다.

최근 시행된 AI 기본법은 국민의 생명과 안전, 권리에 영향을 미치는 고영향 AI에 대해 결과뿐 아니라 결과가 도출된 주요 기준과 판단 과정도 설명하도록 요구하고 있다. 

그러나 이를 실제 시스템으로 구현하기 위한 기술적 기준은 아직 충분하지 않았다.

ETRI가 제안한 이번 국제표준은 AI가 어떤 근거를 활용해 판단했는지 설명하고, 결과의 신뢰성을 검증하며, 추가 확인이 필요한 정보까지 함께 제시할 수 있도록 시스템 구조와 요구사항을 정의했다. 

앞으로 기업과 공공기관이 AI 기본법에서 요구하는 설명 의무를 이행하는 데 중요한 기술적 기준으로 활용될 것으로 기대된다.

ETRI 연구진은 국제표준에서 제시한 설명가능한 의사결정지원 AI를 실제 구현하기 위한 핵심 기술도 함께 개발했다.

먼저 설명가능한 분류 기술은 전문문서나 상담 기록 등을 분석해 중요한 상황과 유형을 분류하고, AI가 왜 그렇게 판단했는지를 근거와 함께 제시한다. 

예를 들어 민원 상담 내용을 분석할 경우 "보상 관련 민원”이라고 분류하는 데 그치지 않고, 어떤 문장을 근거로 그렇게 판단했는지도 함께 알려준다.

멀티모달 기반 자가검증 RAG 기술은 텍스트뿐 아니라 표와 이미지, 도식 등이 포함된 전문문서에서도 필요한 정보를 찾아낸다. 

또한 검색한 정보가 질문과 실제 관련이 있는지, 생성한 답변이 해당 근거를 충실하게 반영했는지를 AI 스스로 확인하고 검증한다.

생성 결과 사실성 검증 기술은 AI가 작성한 답변이나 보고서가 실제 근거와 일치하는지 자동으로 확인한다. 

사실과 다르거나 신뢰하기 어려운 내용이 발견되면 이를 사용자에게 알려주고, 추가 확인이 필요한 부분도 함께 제시한다.

인터랙티브 플래닝 기반 보고서 생성 기술은 사용자의 목적과 보고서 형식에 맞춰 작성 계획을 먼저 수립한 뒤, 전문지식과 분석 결과를 반영해 보고서를 단계적으로 작성한다. 

사용자는 작성 과정에서 필요한 내용을 추가하거나 수정 요청을 할 수 있어 보다 완성도 높은 결과를 얻을 수 있다.

이들 기술을 통해 AI는 단순히 자연스러운 문장을 생성하는 수준을 넘어, 질문의 상황을 이해하고 전문지식을 기반으로 추론한 뒤 판단의 근거와 이유, 검증 결과를 함께 제공할 수 있게 된다. 

범용 생성형 AI가 폭넓은 질문에 답하는 데 강점이 있다면, ETRI의 설명가능한 의사결정지원 AI는 전문가가 실제 업무에서 결과를 직접 검토하고 책임 있게 활용할 수 있도록 근거와 검증 정보를 함께 제공하는 데 초점을 맞췄다.

ETRI 시각지능연구실 이용주 실장은 "이번 국제표준은 설명가능한 AI가 갖춰야 할 공통 구조와 요구사항을 국제적으로 제시한 첫 번째 기준 가운데 하나”라며 "기업과 공공기관이 신뢰할 수 있는 AI 서비스를 구축하고 AI 기본법에서 요구하는 설명 의무를 이행하는 데 중요한 기준이 될 것으로 기대한다.”고 말했다.

과제책임자인 ETRI 시각지능연구실 배경만 박사도 "AI는 답을 잘 만드는 것만큼 그 답이 어떤 근거에서 나왔는지, 왜 그런 결론을 내렸는지, 잘못된 내용은 없는지를 함께 보여주는 것이 중요하다.”며 "이번에 확보한 핵심기술을 바탕으로 전문가가 AI의 결과를 직접 확인하고 책임 있게 활용할 수 있는 설명가능한 의사결정지원 AI 기술을 지속적으로 고도화해 나가겠다.”고 밝혔다.

한편, 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 지원을 받아 '사람중심 인공지능 핵심원천기술개발사업'의 일환으로 수행됐다.<보도자료 본문끝>