10일 울산과학기술원에 따르면 인공지능대학원 김태환 교수팀은 대형언어모델의 여러 신경망 층이 '전문가' 모듈을 공유하는 새로운 전문가 혼합 구조 'GMoE(Global Mixture of Experts)'를 개발했다.

챗GPT와 같은 대형언어모델에는 여러 개의 작은 인공지능 모듈 가운데 입력된 단어나 문장에 적합한 일부만 골라 사용하는 '전문가 혼합' 방식이 활용된다.

기존 방식은 신경망 층마다 별도의 전문가 집단을 둬 비슷한 기능과 매개변수가 중복되고 모델의 크기와 메모리 사용량이 늘어나는 한계가 있었다.

연구팀이 개발한 GMoE는 모든 신경망 층이 함께 사용하는 공용 전문가와 각 층에 하나씩 배치되는 전용 전문가로 구성된다. 여러 층에서 비슷한 기능을 하는 전문가를 반복해서 저장하지 않고 공유해 전체 매개변수를 줄이는 방식이다.

독해와 문법 판단, 상식 추론 등 7개 시험을 진행한 결과 중간 크기 모델의 매개변수는 기존 5억 4900만 개에서 2억 400만 개로 약 63% 줄었다. 평균 정답률은 39.51%로 기존 모델의 39.55%와 비슷한 수준을 유지했다.

특정 전문가 조합에 입력이 집중되는 현상도 완화됐다. GMoE가 활용한 서로 다른 전문가 선택 경로는 8만 1561개로 기존 방식보다 3배 이상 많았다. 가장 많이 사용된 하나의 경로에 입력이 몰린 비율도 기존 25.65~45.55%에서 11.15%로 낮아졌다.

이번 연구는 홍건우 UNIST 인공지능대학원 석사과정생이 제1저자로 참여했다.

김태환 교수는 "기존 전문가 혼합 모델은 서로 다른 신경망 층이 비슷한 기능을 반복해서 학습하고 각 층에서도 일부 전문가만 주로 활용되는 문제가 있었다"며 "이번 연구는 두 가지 중복 문제를 하나의 구조 안에서 완화한 새로운 모델 설계 방식을 제시했다"고 말했다.

이번 연구 성과는 자연어 처리 분야 국제학술대회 'ACL(Association for Computational Linguistics)2026'에 채택됐다.

newsbu@tf.co.kr