Embargo		없음
배포일자 : 2022.11.28.(목)				배포번호 : 2024-77호
문의	초지능창의연구소		언어지능연구실장		권오욱(042-860-6513)	E-mail : ohwoog@etri.re.kr
	언어지능연구실		선임연구원		신종훈(042-860-5161)	E-mail : jhshin82@etri.re.kr
	대외협력부		홍보실장		정길호(042-860-0670)	E-mail : khchong@etri.re.kr
	홍보실		선임행정원		김민규(042-860-0681)	E-mail : kakapow@etri.re.kr
매수 : 보도자료 3매(참고자료 2매, 사진자료 4매)						배포처 : ETRI 홍보실

ETRI, 최고강소형 국산 생성 언어모델 공개

- 3B급 추가학습 쉬운 한국어 소형 언어모델‘이글’공개

- 연산능력 해외모델을 15% 앞서, 중소·중견기업 특화가능

국내 연구진이 한국어 중심의 신경망 기반 소형 생성 언어모델을 개발해 오픈소스로 일반에 공개했다. 대규모 언어모델을 활용할 수 없는 중소·중견기업에게 단비가 될 전망이다.

한국전자통신연구원(ETRI)은 한국어 기반 30억개 파라미터(3B)급 신경망 기반 소형 생성 언어모델(SLM), ‘이글(Eagle)’을 개발해 허깅페이스 허브(HuggingFace Hub)에 공개했다고 밝혔다.

생성형 언어모델은 방대한 텍스트 데이터로부터 인간의 언어능력을 학습하여, 목적에 맞게 사용자의 질문이나 지시에 따라 자연스러운 대화나 다양한 텍스트 콘텐츠를 만들어내는 시스템이다.

생성형 언어모델에 선도적인 글로벌 빅테크 기업들은 과거 1백억~1천억 개 파라미터 규모 이상의 중대형 모델의 공개에 집중했었으나, 최근 10억~40억 개 파라미터 규모의 소형 개방형 모델을 공개하고 있다. 그러나 이러한 모델은 한국어 어휘를 음절이나 바이트 단위로 처리하기 때문에, 동일한 문장을 표현하는 데 더 많은 연산이 필요하다.

더불어, 학습된 데이터 중 한국어 데이터가 전체의 5%에도 못 미치는 비중을 차지해, 한국어 이해 및 생성 능력이 영어 등의 주요 언어에 비해 상대적으로 낮다는 한계를 드러내고 있다.

ETRI 연구진이 개발한 언어모델은 한국어 데이터 비중이 훨씬 높다. 이를 통해 연산 횟수를 줄이면서도 효율적인 학습과 추론이 가능해졌다. 특히, 한국어로 주어진 숫자 연산을 수행하는 미세조정 실험에서, ETRI가 지난 4월 공개한 13억 파라미터 모델은 글로벌기업 모델의 절반 수준(50%)의 규모임에도 불구하고 특정 작업들에서 약 15% 더 높은 성능을 기록했다.

또한, 국내 기업들이 공개한 기존 한국어 중심 모델은 질의응답 과업에 적합하게 조정된 기정렬 모델이라는 한계가 있다.

반면, ETRI의 공개 모델은 미세조정이 적용되지 않은 기초 모델로 제공된다. 기초 모델은 기정렬된 모델에 비해 새로운 목적의 과업에 추가 학습을 적용할 경우, 응용모델의 기대 성능이 더 높다. 학습시간도 약 20% 내외로 단축되어 더 우수한 성능을 발휘하는 장점이 있다.

연구진은 본 모델이 생성형 AI 응용 개발 과정에서 연산 비용 부담을 느끼는 중소·중견 기업에 적합하다고 설명했다. 또한, 기초 모델에 특화된 용도를 반영해 추가 학습을 수행함으로써, 기업 자체의 맞춤형 기초 모델을 제작할 수 있는 연장 학습이 용이하다는 점도 강조했다.

이처럼 ETRI는 해외 빅테크 기업의 기초 모델에 비해 투여되는 컴퓨팅 자원의 한계로 학습량이 부족하여 다양한 지식을 충분히 담지 못하는 단점을 극복하기 위해 노력하고 있다. 이를 위해 신경망 기초 모델이 개념 표현을 효과적으로 습득할 수 있도록 하는 추가 연구를 진행하고 있다.

또한, ETRI는 기초 모델의 표현 품질을 예측할 수 있는 기술과, 개념 단위로 조합하여 추론할 수 있는 원천 기술도 함께 개발하고 있다. 연구진은 개발한 기초 모델을 바탕으로 개념 지식을 효과적으로 인출할 수 있는 능력과, 수학 문제나 여러 단계의 논리 전개가 필요한 복잡한 문제를 푸는 능력을 부여하는 기술을 개발하고 있다. 이를 통해 기존의 SLM에서 어려웠던 복합 추론을 수행할 수 있도록 할 계획이다.

또한, ETRI는 더 많은 지식을 내포하는 70억 개 파라미터 규모의 모델과 사전 정렬을 통해 추가 학습 없이 사용자의 요청에 맞게 응답을 수행할 수 있는 모델도 2025년에 순차적으로 공개할 예정이다. 아울러, 초등학교 수학을 지원하는 교사용 튜터 개발에도 힘쓰고 있다.

ETRI 권오욱 언어지능연구실장은“현재 공개된 언어모델들이 풍부한 자원을 기반으로 개발되지 않아서 모든 면에서 해외 우수 모델들보다 나을 수는 없다. 하지만, 상대적으로 작은 한국어 토종 모델이 필요한 산학연 여러 분야의 연구개발에 큰 도움이 되길 바란다.”라고 말했다.

본 성과는 2023년부터 과학기술정보통신부와 정보통신기획평가원(IITP)의 지원을 받아 ‘사람처럼 개념적으로 이해/추론이 가능한 복합인공지능 원천기술 연구’의 일환으로 이루어졌다. <보도자료 본문 끝>

용어설명

1) 신경망 기반 소형 생성 언어모델(SLM) : 방대한 텍스트 데이터를 학습하여 자연어를 이해하고 생성할 수 있는 AI 모델로, 주어진 입력에 가장 자연스럽게 이어지는 말을 생성할 수 있음

2) 30억개 파라미터(3B)급 : 신경망의 파라미터 개수가 30억 개라는 것은 그 신경망 모델이 학습 과정에서 조정할 수 있는 수치화된 값들이 30억 개 존재한다는 의미로, 이 파라미터의 수가 많을수록 모델의 복잡성이 커지고, 일반적으로 더 뛰어난 학습 능력을 보유할 수 있는 것을 기대할 수 있음

3) 이글(Eagle: ETRI’s Advanced-lightweight Generative Language Engine) : ETRI가 만든 신경망 기반 소형 생성 언어모델

4) 허깅페이스 허브(HuggingFace Hub) : 인공지능 모델, 데이터, 데모 앱을 공유하고 협업할 수 있는 오픈소스 플랫폼으로, 미국 오픈 코어 비즈니스(Open-core business; 일부 핵심 기능만 무료로 제공하고, 추가기능에 대해 요금을 부과하는 방법으로 사업을 영위) 업체인 허깅페이스(HuggingFace)가 운영한다.

5) 생성형 언어모델에 선도적 글로벌 빅테크 기업 및 개방형 모델: 마이크로소프트, 구글, 메타가 각각 파이(Phi), 젬마(Gemma), 라마 3.2(LLaMA 3.2) 생성 언어모델을 공개함

6) 국내 기업들이 공개한 기존 한국어 중심 개방형 모델 : LG의 엑사원 3.0이나 테디섬의 블라섬(Blossom)

참고1

Eagle(구 eGPT) 모델설명(기술설명)

<좌: Eagle 모델의 파라미터 규모별 상세, Eagle-1.3B 모델과 기타 외산 모델 비교 실험 결과, 우: Eagle-3B(구, eGPT-3B) 모델 공개 홈페이지(위), Eagle 모델 컬렉션 공개 홈페이지(아래)>

Eagle 모델 공개 저장소 인터넷 주소(URL)

(1) Eagle 컬렉션 (1.3B, 3B 공개) :

(2) Eagle 1.3B 모델 :

(3) Eagle 3B 모델:

1. 70억 미만의 한국어 중심 고효율 생성 언어모델

→ 모델 사용을 위해 13억 규모(1.3B) 모델은 4GB, 30억 규모(3B) 모델은 8GB, 그리고 가장 큰 규모인 70억 규모의 모델(2025년 공개 예정)은 17GB의 GPU 메모리가 필요. 일반적으로 많이 활용되는 메타의 라마-3.1-8B (LLaMA-3.1-8B)의 경우 80억 규모로 20GB가 요구되며, 통상의 모델 미세조정(학습)에는 위 용량의 3배에 달하는 공간이 요구됨. 즉, 중간급에 속하는 30억 규모의 모델은 게임용 PC에 들어가는 GPU(RTX 4090, 24GB 메모리) 1장으로도 미세조정이 가능함.

2. 한국어 및 숫자 개념 및 표현 학습에 적합한 토큰화 모델 기술

→ 적은 학습량에서도 높은 성능을 끌어내기 위해 학습에 용이한 한국어 형태소와 수리 개념을 의식한 토큰화 기술을 적용

3. 연구개발 및 응용에 적합한 기초 모델을 일반 공개

→ 사용자가 직접 원하는 목표에 맞는 데이터를 통해 추가 학습을 수행했을 때, 기정렬 모델(Aligned Model) 대비 성능이 좋음

4. 과학 기술(STEM) 분야에서 복잡한 추론이 가능한 언어모델 기술

→ 다단계의 추론 기술을 통해 수리 문제 등 과학 기술 응용 분야에서 높은 정확도를 보이는 방법으로 기존 작은 모델에서 어렵다고 여겨지는 복합 추론 기술 개발의 기반으로 사용됨

참고2

사람처럼 생각하고 알려주는 AI 수학 교사 서비스 응용

지금까지 생성형 AI 기반 튜터링 서비스는 영어와 같은 외국어 학습, 그 중에서도 글쓰기와 말하기에 집중됐다. 지식을 다루는 과목이나, 정확한 풀이가 요구되는 수학 영역 등에서는 환각(Hallucination) 문제로 인해 생성형 AI를 통한 튜터링이 어렵다. 이 때문에 수학 및 과학 교육과 관련해서는 문제 데이터베이스에 기초한 사용자 수준 맞춤형 학습이나 손글씨 인식과 결합된 서비스에서 그치는 경우가 많다.

ETRI가 개발하는 ‘사람처럼 개념적으로 이해, 추론하는 복합 인공지능 원천기술’을 통해, 규모와 무관하게 어렵다고 알려진 수학, 과학 분야의 생성 AI 기술을 활용할 수 있게 될 것이다. 사람처럼 계획하고, 실행하되 환각 현상 등 생성 AI가 가진 한계에 의해 초래되는 계산 실수 등을 프로그래밍 언어 생성 및 실행을 통해 제거하고, 생성 AI 바깥에 검증자를 결합하는 연구를 통해 신뢰할 수 있는 생성 AI 서비스로 확장할 계획이다.

수학 인공지능 선생님 서비스를 활용하면 학교와 학원, 가정 또는 온라인 과외 등 교사를 통해서만 가능한 수학 학습을 디지털화하여, 모르는 것을 질문하며 배움으로 성장이 가능한 수학 교육을 저렴한 비용으로 제공할 수 있다. 또한, 기존 온라인 수학 교육 방법상 문제 데이터베이스의 양에 따라 달라질 수 있는 서비스 품질 격차를 최소화할 수 있을 것으로 예상된다.