SK텔레콤이 통신사 사업에 특화된 AI모델인 '텔코LLM'을 오는 6월 개발을 마칠 예정이라고 밝혔다. /더팩트 DB

[더팩트｜최문정 기자] SK텔레콤이 통신 사업에 특화된 용어와 내부 지침을 학습한 '텔코 대규모언어모델(LLM)'을 개발하고 있다고 30일 밝혔다. 텔코LLM은 오는 6월 중 개발을 마칠 전망이다.

SK텔레콤은 현재 글로벌 AI 업계 선도 기업인 오픈AI, 앤트로픽 등과 함께 통신사의 서비스와 상품, 멤버십 혜택, 고객 상담 패턴 등의 데이터를 기반으로 텔코LLM을 만들고 있다. 또한 정형·비정형 데이터를 선별해 이를 자체 모델 에이닷엑스뿐만 아니라 GPT, 클로드 등에 학습시키고 있다.

텔코LLM은 SK텔레의 에이닷엑스(A.X), 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델을 기반으로 튜닝했다. 에릭 데이비스 SK텔레콤 AI텔코 콜라보레이션 담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것"이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SK텔레콤만의 멀티LLM 전략"이라고 밝혔다.

SK텔레콤은 통신사들이 이와 같은 멀티LLM 전략을 통해 통신사들이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 사용할 수 있도록 한다는 목표다.

SK텔레콤은 협력을 통해 자사의 LLM인 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 다양한 텔코LLM을 개발 중이다.

오픈 AI는 지난 5일 공식 블로그를 통해 기업의 특정 도메인에 맞게 AI 모델을 학습시키고 최적화할 수 있도록 지원하는 커스텀 모델을 공개하며 "특히 SK텔레콤과의 협력을 통해 GPT-4를 미세 조정하고 한국어로 된 통신 관련 대화 성능을 향상시켰다"며 특정 산업 파인튜닝의 대표 사례로 언급했다.

SK텔레콤은 범용LLM보다 텔코LLM이 통신 영역에서 높은 수준의 생성형 AI작업을 수행할 수 있어 활용성이 높다고 설명했다.

가령, 범용LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 반면 파인튜닝 과정을 거친 텔코LLM은 통신 관련 데이터를 추가로 학습해 이 문제를 해결할 수 있다.

이렇게 파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF) 과정을 거친다. 이를 통해실제 텔코LLM이 답변한 내용에 대해 상담사들이 품질, 만족도 등을 평가하며 더욱 나은 결과를 만들어간다.

마지막으로 텔코LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가(벤치마킹)를 한다. 예를 들어 고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 식의 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 식의 파인튜닝 과정을 통해 계속 고도화 하는 방식이다. 이 모든 과정은 계속 주기적으로 반복하여 텔코LLM을 더 똑똑하게 만든다.

또한 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있고 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있는 장점이 있다.

통신사의 네트워크 인프라 운용에도 텔코LLM을 활용할 수 있다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다.

텔코LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 단축 시킬 수 있다.

SK텔레콤은 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

SK텔레콤은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'을 공개했다. /SK텔레콤

정민영 SK텔레콤 AI플랫폼 담당은 "고객센터, 인프라 뿐만 아니라 마케팅과 유통망 등 고객 접점이나 법무, 인력관리(HR)와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속적으로 텔코LLM을 활용한 사용사례를 늘려갈 계획"이라고 설명했다.

이날 SK텔레콤은 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 인텔리전스 플랫폼은 멀티LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 '기업용 AI 개발·운용 패키지'다.

SK텔레콤은 멀티LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼을 현재A.(에이닷) 등의 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이다.

SK텔레콤 관계자는 "우리나라를 비롯해 글로벌 통신사들은 물론 상담업무 등 유사한 업무특성을 가진 기업들이 텔코LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다"고 밝혔다.

munn09@tf.co.kr