한국전자통신연구원(ETRI)이 한국어를 학습한 30억 파라미터(매개변수) 규모의 소형언어모델(SLM) ‘이글’을 허깅페이스허브에 공개했다고 28일 밝혔다. ETRI는 비용 부담과 한국어 학습 한계로 글로벌 빅테크의 언어모델을 쓸 수 없는 국내 중소·중견기업에게 이글이 유용하게 쓰일 것으로 기대했다.
ETRI는 기존 언어모델들보다 한국어 학습과 처리 효율을 높이는 데 주력했다. 이를 통해 학습시간이 기존보다 20% 단축되는 등 한국어 성능 향상을 이뤘다. 4월 공개한 13억 파라미터 모델은 글로벌 기업들의 모델들보다 규모가 절반인데도 특정 작업들에서는 15% 높은 성능을 보였다.
기존 모델들은 한국어 어휘를 음절이나 바이트 단위로 처리하기 때문에, 동일한 문장을 표현하는 데 영어보다 더 많은 연산이 필요하다. 또 학습된 데이터 중 한국어 비중은 5%에도 못 미친다는 한계가 있다고 ETRI는 설명했다.
ETRI는 신경망 기초 모델이 개념 표현을 효과적으로 습득할 수 있도록 하는 추가 연구를 진행하고 있다. 기초 모델의 표현 품질을 예측할 수 있는 기술과 개념 단위로 조합해 추론할 수 있는 원천 기술도 함께 개발하고 있다.
ETRI는 또 70억 파라미터 규모의 모델과 사전 정렬을 통해 추가 학습 없이 사용자의 요청에 맞게 응답을 수행할 수 있는 모델도 내년에 순차적으로 공개할 예정이다. 초등학교 수학을 지원하는 교사용 튜터 개발에도 힘쓰고 있다.
< 저작권자 ⓒ 서울경제, 무단 전재 및 재배포 금지 >
sookim@sedaily.com
