Embargo		없음
배포일자 : 2023.6.21.(수)				배포번호 : 2023-28호
문의	초지능창의연구소		지능정보연구본부장		김영길(042-860-6302)	E-mail : kimyk@etri.re.kr
	지능정보연구본부		휴먼증강연구실장		신형철(042-860-6863)	E-mail : shin@etri.re.kr
	대외협력부		홍보실장		정길호(042-860-0670)	E-mail : khchong@etri.re.kr
	홍보실		선임행정원		김민규(042-860-0681)	E-mail : kakapow@etri.re.kr
매수 : 보도자료 3매(사진자료 9매, 참고자료 3매)						배포처 : ETRI 홍보실

국내 연구진이 인간의 행동과 감정, 경험을 이해하는 인공지능(AI) 개발을 위해 그동안 축적한 데이터를 공개하고, 이를 이용한 논문경진대회를 개최해 성공리에 마쳤다.

한국전자통신연구원(ETRI)은 작년에 이어 『제2회 ETRI 휴먼이해 인공지능 논문경진대회』를 개최했다고 밝혔다. 올해 2월부터 약 4개월간 진행된 본 대회에서는 지난 19일 발표평가를 통해 대상 1팀과 우수상 2팀, 장려상 4팀, 가작 2팀 등 창의적인 AI 논문을 선발해 수상했다.

특히 올해는 참가 대상을‘일반 성인 누구나’로 확대해 단순한 논문경진대회를 넘어 인간의 이해를 위한 AI 기술 연구 확산에 기여했다는 평가다.

ETRI 연구진은 인간을 이해하는 AI 기술개발을 위해 수년간 라이프로그와 멀티모달 감정 데이터를 축적해왔다. 축적된 데이터는 AI를 연구하는 연구자들이 자유롭게 활용할 수 있도록 2022년 초, ‘ETRI AI 나눔’ 플랫폼에 공개하였고 지속적으로 업데이트를 진행하였다.

이번 대회는 ETRI가 공개한 데이터를 활용하여 창의적이고 도전적인 AI 연구를 발굴하고자 진행되었다. 일반 국민 모두를 대상으로 열린 본 대회는 총 144개 팀, 318명이 참가하였으며 약 60여편의 논문이 접수되었다.

참가자들은 ETRI가 축적한 라이프로그와 멀티모달 감정 데이터 2가지 분야의 데이터 중 하나를 택해 논문을 작성했다.

라이프로그 데이터셋을 활용한 분야에서는 ETRI의 라이프로그 데이터로부터 추출한 다양한 멀티모달 센서 데이터를 활용한 일상정보 추출과 인공지능 서비스 응용 기술을 제안할 것을 요구하였다. 멀티모달 감정 데이터셋을 활용한 분야에서는 두 명 이상의 참여자 간의 대화 과정에서 참여자의 감정을 인식하거나 예측하는 연구 논문을 제안하도록 하였다.

이번 대회의 대상은 고려대 믹서기팀(조대현, 류회성)이 차지했다. 믹서기팀은 음성과 텍스트를 통한 감정 분석 모델을 효과적으로 결합하기 위해 모달리티의 상호작용을 이용하는 방법을 제안해 대상 수상의 영예를 안았다.

아울러 경희대 해피엔조이(조현기, 서유리, 노설)팀은 한국어 기반 멀티모달 감정 데이터셋의 텍스트 및 음성데이터를 사용하여 교사모델의 지식을 학생 모델에게 전달하는 방법론을 제안했고 또한, 경희대 한혜성(한주혁, 조혜정, 김태성)팀은 감정인식을 위한 멀티모달 융합 학습 방법 모델을 제시하여 각각 우수상을 수상했다.

이외에도 Bigbase, ROND4, CutMix-SupCon, AIFFEL 등 4개 팀이 장려상을 수상했으며, SKEZ@901팀, Milab팀은 포스터 발표 평가를 통해 가작으로 선정되었다.

대상 1팀과 우수상 2팀은 과학기술정보통신부장관상과 상금을, 장려상 4팀과 가작 2팀은 한국전자통신연구원장상과 상금이 수여되었다.

ETRI 방승찬 원장은 이번 대회가 “인간을 이해하는 따뜻한 AI 기술에 대한 사회적 관심을 높이고 더욱 많은 연구자가 의견을 활발하게 교류하고 AI 기술의 발전을 이루는 토대가 될 것으로 기대한다.”고 말했다.

ETRI는 다년간 사람의 감정과 행동 인식 통해 경험을 이해하는 ‘휴먼이해 인공지능’ 기술을 연구해오면서 이번 대회를 개최할 수 있었다. 이번 대회는 국내 연구진의 참여를 독려하고 학술적인 완성도를 확보할 수 있도록 한국정보과학회와의 협력 하에 2023 한국컴퓨터종합학술대회(KCC2023) 행사 중 협력 워크샵으로 진행하였다. <보도자료 본문 끝>

참고 1

2023 제2회 ETRI 휴먼이해 인공지능 논문경진대회 (포스터)

참고 2

ETRI 휴먼이해 인지컴퓨팅 기술 연구 개요 및 데이터셋

ETRI 라이프로그 데이터셋 (2020-2018)

일상생활 중 다양한 경험상황을 이해하기 위해 멀티모달 센서를 활용한 라이프로그 데이터셋을 구축하였습니다. 2020년 22명, 2019년 20명, 2018년 30명의 실험자로부터 총 1,285일의 실험일 동안 약 14,220시간의 데이터를 수집하였습니다. 데이터셋은 스마트폰의 IMU 및 GPS 데이터, E4의 가속도계, PPG, EDA, 서모파일 센서로부터 측정한 다양한 생리반응 신호, 그리고 사용자가 직접 입력한 행동, 환경, 및 감정 레이블을 포함합니다.

한국어 멀티모달 감정 데이터셋 (KEMDy20)

한국어 기반 멀티모달 감정 데이터셋(KEMDy20; Korean Emotional Multi-modal Dataset in 2020)은 발화 음성, 발화의 문맥적 의미(lexical) 및 생리반응 신호- 피부전도도(EDA-electrodermal activity), 맥박관련 데이터(IBI-Inter-Beat-Interval), 손목 피부온도와 발화자의 감정과의 연관성 분석을 위해 수집한 멀티모달 감정 데이셋이다.

총 80명의 한국어 발화가 능숙한 만19~39세 성인 대상으로 참여자 2명이 1조가 되어, 각 조가 하나의 세션에 참여(총 40개 세션)하여 데이터를 수집하였다. 각 세션에서 두명의 참여자들은 Empatica E4의 장치를 손목에 착용한 상태로 5분 내외의 주제 영상을 시청한 후, 상대 참여자와 5분 내외의 자유대화를 한다. 각 조는 6편의 주제 영상에 대한 시청과 자유발화 과정을 반복한다. 대상자들의 6개의 주제에 대한 자유 발화 과정에서의 두명의 참가자의 발화 음성, 발화 텍스트, 발화자 바이오 신호 데이터를 수집하였다. 대상자의 자유발화 상황은 비디오로 녹화되었다.

- 한국어를 모국어로 사용하는 성인 10명의 외부 감정 관찰자는 녹화된 감정상황극 영상을 시청하며, 성우가 발화한 각 발화(세그먼트) 별로 7가지의 카테고리 감정 레이블 (기쁨, 놀람, 분노, 중립, 혐오, 공포, 슬픔) 중 1개를 선택하고, 5단계(1~5)의 각성도(arousal)와 긍/부정도(valence)를 평가하였다.

참고 3

2023 ETRI 휴먼이해 인공지능 논문경진대회 수상팀

순위	팀명(이름)	소속	논문 제목	상훈
대상	믹서기 (조대현, 류회성)	고려대학교	텐서 믹서 네트워크와 일치도 기반 라벨링 방법을 이용한 멀티모달 감정예측	과학기술정보통신부장관상
우수상	해피엔조이 (조현기, 서유리, 노설)	경희대학교	Multi-Still: 실시간 감정인식을 위한 경량화된 멀티모달 교차 어텐션 지식 증류 방법	과학기술정보통신부장관상
우수상	한혜성 (한주혁, 김태성, 조혜정)	경희대학교	LMR-CL: 감정 인식을 위한 Contrastive Loss 기반의 멀티모달 융합 학습 방법	과학기술정보통신부장관상
장려상	Bigbase (장재석, 정원렬)	서울과학 기술대학교	다중 인스턴스 기반 개인별 모달 중요도 추출 및 군집화를 통한 긴장도 예측 성능 향상	한국전자통신연구원원장상
장려상	ROND4 (이좌진, 배지환, 조선영)	국방과학연구소	Contextualized GNN 구조를 활용한 한국어 대화에서의 멀티모달 감정 인식	한국전자통신연구원원장상
장려상	CutMix-SupCon (김준우, 김수영, 윤치현, 황지연)	경북대학교	CutMix-SupCon: CutMix 증강과 지도 대조 학습을 활용한 멀티모달 기반 감정인식	한국전자통신연구원원장상
장려상	AIFFEL (이루안, 김두훈, 김경호, 조수익, 오근철, 김주원)	MODULABS	data2vec과 Tensor Fusion-Mixer(TFM)을 활용한 멀티모달 감성 분석	한국전자통신연구원원장상
가작	SKEZ@901 (임은채, 판트 수다르산, 응웬 당 칸, 권시온)	전남대학교	MMFAN : 감정인식을 위한 멀티모달 융합 어텐션 네트워크	한국전자통신연구원원장상
가작	Milab (황예린, 채윤형, 김용일)	서울대학교	이중-단계 접근 기반의 멀티모달 감정 분석 모델	한국전자통신연구원원장상