KMMLU서 보편 지식·한국 특화 지식 종합 측정
GPT 3.5터보·제미나이 프로보다 평균↑
네이버가 자체 개발한 생성형 AI '하이퍼클로바X'가 한국어판 AI 성능 평가에서 주요 빅테크 기업을 제치고 1위를 차지했다. 사진은 최수연 네이버 대표가 지난해 8월 '단23 컨퍼런스'에서 '하이퍼클로바X'를 소개하는 모습. /최문정 기자 |
[더팩트|최문정 기자] 네이버가 자체 개발한 생성형 인공지능(AI) 모델 '하이퍼클로바X'가 한국판 AI 성능 평가에서 1위를 기록하며 성능을 입증했다.
네이버클라우드는 27일 하이퍼클로바X가 한국판 AI 성능평가 체제 'KMMLU'에서 오픈AI와 구글 등 글로벌 빅테크 기업들이 제작한 생성형 AI 모델을 제치고 1위를 차지했다고 밝혔다. 생성형 AI는 거대한 규모의 사전 데이터 학습을 바탕으로 이미 입력된 정보를 단순 출력하는 것을 넘어, 이를 바탕으로 새로운 정보를 만들어낼 수 있는 AI 모델이다. 하나의 모델을 적절히 가공하면 여러 서비스에 사용할 수 있기 때문에 AI 시대의 인프라로 꼽힌다.
KMMLU는 국내의 대표적인 오픈소스 언어모델 연구팀인 '해례(HAE-RAE)'가 이끄는 AI 성능 평가 지표 구축 프로젝트다. 인문학, 사회학, 과학∙기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만5030개 문항으로 구성됐다. 수학적 추론 능력처럼 광범위한 지식을 묻는 문항 비중이 약 80%, 한반도 지리, 국내법 등 한국 특화 문제 해결 능력을 평가하기 위한 문항은 20%로, AI의 보편적 능력과 로컬 지식을 고르게 측정해 한국 사용자에게 유용한 AI를 종합적으로 판단할 수 있다.
KMMLU 연구 논문에 따르면, 하이퍼클로바X는 오픈AI의 GPT-3.5 터보와 구글의 제미나이 프로보다 높은 점수를 기록하며, 일반 지식과 한국 특화 지식을 종합한 전반적인 성능이 글로벌 빅테크의 AI와 경쟁할 수 있는 수준임을 입증했다. 한국 특화 지식 기준으로는 오픈AI의 GPT-4보다도 높은 점수를 기록했다.
네이버 관계자는 "KMMLU는 한국어 원문으로 구성된 시험 문제를 내기 때문에 국내·외 AI 모델의 한국어 이해 역량을 더욱 정확하게 평가할 수 있는 것이 특징"이라며 "하이퍼클로바X는 한국 특화 지식에서 높은 점수를 기록했기 때문에 현지에 대한 이해도가 중요한 교육과 법률 등의 산업 분야에서 유용히 활용될 수 있을 것"이라고 설명했다.
네이버클라우드는 하이퍼클로바X를 보안과 성능을 모두 갖춘 '소버린(주권) AI' 솔루션으로 개발해 나간다는 목표다. 이에 따라 지난해 10월에는 고객사가 폐쇄된 사내망에서 하이퍼클로바X를 사용하며 데이터 유출을 방지할 수 있는 '뉴로클라우드 포 하이퍼클로바X'를 출시했다. 이 밖에도 다양한 기업용 서비스를 준비하고 있다.
성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 "하이퍼클로바X는 세계 공통의 보편 지식에 한국 특화 문제 해결 능력을 더한 소버린 AI"라며 "자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼, 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것"이라고 밝혔다.
munn09@tf.co.kr