국내 추론으로 데이터 주권·안전성 ↑…오픈라우터와 국내 첫 협력
[더팩트ㅣ이윤경 기자] KT가 500여개의 국내외 인공지능(AI) 모델을 한곳에서 이용하고 사용량과 비용까지 통합 관리하는 플랫폼을 선보인다. 자체 개발한 AI 모델 라우팅 기술과 프롬프트 압축 기술로 토큰 사용량을 최대 25% 줄여 기업의 AI 활용 효율을 높이고 AX(AI 전환) 수요에 대응한다는 구상이다.
KT는 27일 서울 종로구 광화문 웨스트빌딩에서 기자간담회를 열고 AI 플랫폼 'KT 토큰팩토리'를 공개했다. 오는 30일 출시하는 이 플랫폼은 AI 모델 이용부터 사용량 확인, 비용 관리, 결제까지 한곳에 모았다. 여러 모델을 활용하는 기업이 이용 현황과 보안 정책을 함께 관리할 수 있도록 설계했다.
◆ AI 모델 자동 선택·프롬프트 압축…토큰 사용량 절감으로 효율화
KT에 따르면 다양한 AI 모델의 등장과 AX 사업 확대로 글로벌 AI 토큰 소비량은 최근 1년간 약 35배 증가했다. 토큰은 AI가 질문과 문서, 코드 등을 처리하고 답변을 생성할 때 사용하는 기본 단위다. 사용량이 많을수록 일반적으로 AI 이용 비용도 늘어난다.
KT는 자체 개발한 AI 모델 라우팅 기술 '오토 모델 라우터'를 적용했다. 업무 유형과 난이도, 요구 품질, 비용 등을 종합적으로 고려해 질문에 적합한 모델을 자동으로 선택한다. 해당 기술은 모델 선택 성능을 평가하는 글로벌 벤치마크 '라우터아레나(RouterArena)'에서 종합 1위를 기록한 바 있다.
한국어 특성을 반영한 프롬프트 압축 기술도 탑재했다. 입력문에서 불필요한 반복 표현을 제거해 토큰 수를 줄이는 방식이다. KT는 두 기술을 통해 토큰 사용량을 최대 25% 절감할 수 있다고 강조했다. 프롬프트 압축으로 약 20%, 작업에 적합한 모델을 자동으로 연결하는 라우팅 기술로 약 5%를 줄인다는 계산이다.
◆ 국내 인프라로 보안 강화…글로벌 500여개 모델 연계
KT는 해외 AI 서비스 이용에 따른 데이터 주권 우려를 줄이기 위해 국내 데이터센터에서 AI 추론을 수행한다. 소버린 AI 모델과 국내외 오픈웨이트(Open Weight) 모델을 국내 인프라에서 활용할 수 있도록 하고, 모델 평가체계와 자체 가드레일 기술로 서비스 이용 과정의 안전성을 높인다.
가드레일은 입력 프롬프트에 포함된 개인정보·민감정보와 유해 표현을 점검하고 AI가 생성한 답변도 검토한다. KT는 한국어 환경에 맞춰 기술을 고도화하는 한편, 고객별 업무환경과 보안 요구에 따라 탐지 대상과 차단 수준을 세밀하게 설정할 수 있도록 개선할 예정이다.
이날 시연에서는 하나의 프롬프트에 대해 여러 AI 모델이 생성한 답변을 나란히 비교하고, 모델별 토큰 사용량과 응답 시간도 확인할 수 있었다. 대시보드에서는 기간별 이용 현황과 전체 비용, 모델별 사용량을 파악하고 API 키별 예산과 사용량을 관리할 수 있다. 개인정보 필터와 금칙어 설정, 특정 모델 지정·제외, IP 대역 제한 기능도 제공한다. 프롬프트는 기본적으로 저장하지 않으며 고객이 원할 경우 선택적으로 보관한다.
KT는 글로벌 AI 게이트웨이·모델 마켓플레이스 사업자인 오픈라우터와 국내 최초로 공식 파트너십을 체결했다. 이를 바탕으로 500개 이상의 글로벌 AI 모델을 토큰팩토리에 연계하고, 국내 스타트업 등이 개발한 모델을 오픈라우터에 등록해 해외 시장에 유통하는 방안도 추진한다.
출시 시점에는 약 73종의 AI 모델을 제공하며, 이 가운데 7종은 KT 인프라에서 직접 추론하는 소버린 AI 모델이다. KT는 12월 말 글로벌 모델 500여종을 추가할 계획이다.
요금제는 스탠다드와 엔터프라이즈 두 가지다. 스탠다드는 후불 정산과 크레딧 충전 방식을 지원하며, 엔터프라이즈는 약정 할인과 전용회선, 서비스 수준 협약(SLA) 등 기업 맞춤형 서비스를 제공한다.
◆ 기존 AX 사업 보완…기업부터 개발자까지 글로벌 생태계 확장
이진형 KT AX사업본부장은 기존 사업과의 차이에 대해 "새로운 AI 모델이 계속 등장하는 상황에서 이를 에이전트에 얼마나 빠르게 적용할 수 있는지, 기업의 IT 부문이 관리하지 않는 모델이 에이전트에 활용되는 상황을 어떻게 통제할 것인지 기업들의 문제를 해결하기 위한 것이 토큰팩토리"라며 "기존 사업에 보완해서 움직이는 것"이라고 말했다.
아마존웹서비스(AWS)의 AI 모델 플랫폼 '베드록'과 비교해서는 모델 라우팅과 가드레일, 토큰 최적화 기능을 차별점으로 내세웠다. KT 측은 베드록이 플랫폼 서비스(PaaS)에 가까운 반면, 토큰팩토리는 AI 모델에 다양한 부가 기능을 결합해 PaaS와 소프트웨어 서비스(SaaS)를 함께 제공한다고 설명했다. 오픈라우터 등 여러 사업자의 모델을 연계해 선택 폭을 넓힌 점도 특징이다.
KT는 전문기업과의 협력을 확대해 토큰팩토리의 파트너 생태계 구축에도 나선다. 오픈라우터를 비롯해 AI 코딩·에이전트 분야의 유라클·CAST AI, 기업용 AI 워크스페이스 분야의 타임리 등 국내외 전문기업과 협력하고, 업스테이지·다음 등 '모두의 AI' 컨소시엄 참여사와도 연계할 계획이다. 이를 통해 AI 인프라부터 모델 활용, 서비스까지 연결하고 글로벌 시장으로 사업 영역을 넓힌다는 목표다.
기업 고객을 대상으로 B2B 서비스를 출시한 뒤 내년 3월에는 개인 개발자까지 이용 대상을 확대할 예정이다. 국내 AI 모델을 활용하려는 개발자의 접근성을 높이기 위한 것으로, 개인 개발자 시장은 당장의 주력 매출원보다는 국내 AI 산업 기반을 넓히는 차원에서 접근한다는 방침이다.
박상원 KT AX사업부문장 전무는 "KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다"고 말했다.
- 발로 뛰는 <더팩트>는 24시간 여러분의 제보를 기다립니다.
- · 카카오톡: '더팩트제보' 검색
- · 이메일: jebo@tf.co.kr
- · 뉴스 홈페이지: https://talk.tf.co.kr/bbs/report/write
- · 네이버 메인 더팩트 구독하고 [특종보자→]
- · 그곳이 알고싶냐? [영상보기→]
