김성훈 업스테이지 대표(왼쪽부터), 백준호 퓨리오사AI 대표, 이건수 AXZ(포털 '다음' 운영사) 대표가 15일 온라인 대담회에서 소버린 AI 확산 방안에 대해 논의하고 있다. /업스테이지

[더팩트ㅣ최문정 기자] 업스테이지가 한국형 인공지능(AI) 생태계 가동을 본격화한다. 자체 대규모언어모델(LLM)과 신경망처리장치(NPU) 등 소프트웨어와 하드웨어 차원의 인프라부터 실제 대국민 대상 상용 서비스에 이르는 '풀스택 AI'를 갖춰 유의미한 사례를 발굴한다는 구상이다.

김성훈 업스테이지 대표와 백준호 퓨리오사 AI 대표, 이건수 AXZ(포털 '다음' 운영사) 대표는 15일 온라인 간담회를 열고, 풀스택 AI 역량 확보를 위한 협력 사례를 공개했다.

현재 퓨리오사 AI의 NPU '레니게이드(RNGD)'는 업스테이지의 LLM '솔라'와 다음의 'AI 요약' 기능에 적용돼 있다. 이번 3사 협력은 인프라부터 모델, 실제 사용자가 체감하는 서비스까지 AI 전 영역을 국산 기술로 연결한 소버린 AI 구현 사례다.

'AI 반도체'로 불리는 NPU는 기존의 그래픽처리장치(GPU)보다 딥러닝 알고리즘 처리에 최적화된 칩이다. GPU가 그래픽 랜더링과 대규모 범용 연산에 특화돼 있다면, NPU는 이에 비해 단순하지만, 처리량이 많은 연산에 특화돼 있다. 특히 전력 대비 성능(전성비)과 가격 측면에서 GPU보다 유리하다.

현재 다음의 AI 오버뷰 서비스에는 퓨리오사 레니게이드칩 23개의 서버 3개 노드가 사용된다. 하루 토큰 처리량은 약 5억개다. 토큰은 AI 서비스에서 문장을 분석하고 답변을 생성할 때 사용하는 글자나 단어의 기본 단위다.

퓨리오사 측은 자사의 레니게이드칩이 업계 1위 엔비디아의 H200과 비교해도 밀리지 않는 성능을 낸다고 강조했다.

백준호 퓨리오사 대표는 "AI 모델을 가속기에 잘 매핑할 수 있는 컴파일러와 최적의 서빙을 위한 엔진 개발 등 하드웨어-소프트웨어를 원천 설계로 구성해 H200와 대등한 성능을 내고 있다"고 설명했다. 실제 칩 구매 비용부터 사용 시 전력 사용량 등의 비용을 고려한다면, 비용 절감 효과는 약 50%에 달한다는 설명이다.

포털 다음의 'AI 요약' 서비스에는 업스테이지의 LLM '솔라'와 퓨리오사AI의 NPU '레니게이드' 칩이 각각 적용돼 있다. /업스테이지

다음은 이같은 컴퓨팅 기반을 바탕으로 향후 '개인형 AI 에이전트' 플랫폼으로의 진화를 이어간다는 구상이다. 이를 위해 지난 1일 AI 요약 베타 버전을 선보였다. AI 요약은 다음 통합검색 결과 화면 상단에 AI가 직접 여러 문서를 바탕으로 파악한 정보를 정리해서 보여주는 기능이다. 요약에는 업스테이지의 LLM '솔라'가 사용된다. 현재 AI 요약은 전체 질의 규모의 약 20%를 처리하고 있지만, 이를 점진적으로 늘려나갈 예정이다.

다음의 AI 요약 기능의 핵심은 실시간성 정보 제공이다.

이건수 AXZ 대표는 "AI 요약은 실시간 정보를 기반으로 하기 때문에 최신 정보가 중요하다"며 "검색엔진은 정확한 문서를 가져오고, 솔라 모델을 활용해 이를 요약해서 제공한다"고 설명했다.

이어 "LLM의 고질적인 환각(할루시네이션)을 제어하기 위해 정확한 최신 정보만 전달할 수 있도록 하네스 엔지니어링을 고도화했다"며 "키워드 검색과 벡터 기반 서치를 조합한 하이브리드 서치를 이용해 솔라 LLM에게 가장 관련성 높은 최신 정보를 전달하고 있다"고 말했다.

다음은 AI 요약을 향후 쇼핑, 맛집검색 등 버티컬 서비스로 확장해 나가면서, 다음 이용자에게 '1인 1에이전트'를 보급한다는 목표를 내걸었다. 가령, 이용자가 A회사의 주주라면, 매일 일정한 시각에 회사의 주가 정보, 증권사 리포트 등과 같은 투자 정보를 AI가 요약해 전달하는 식이다. 경쟁 회사에 관한 정보 역시 요약된 형태로 제공할 수 있다.

김성훈 업스테이지 대표는 이같은 소버린 AI 생태계가 각 기업과 서비스에 서로 긍정적인 영향을 줄 수 있다고 강조했다.

그는 "국산 기술을 많이 사용할수록, 서비스 품질이 높아지고, 다시 이용이 늘어나는 선순환을 만들 수 있다"며 "다음 AI 요약 기능을 사용하는 것이 업스테이지의 솔라와 국산 NPU를 함께 사용하는 것"이라고 설명했다.

백준호 대표 역시 "국산 NPU를 사용하는 장점 중 하나는 소버린 AI 모델과 소버린 칩이 결합된 사례를 만들 수 있다는 점"이라며 "공급망 관점과 국제 정세를 살펴봤을 때도, 이러한 풀스택 AI 역량은 우리가 확보해야 하는 전략 기술이기도 하다"라고 강조했다.

jay09@tf.co.kr