에릭 데이비스 SK텔레콤 AI테크콜라보레이션 담당과 정민영 SK텔레콤 AI플랫폼 담당이 30일 서울 중구 SKT타워에서 열린 기자간담회에서 질문에 답변하고 있다. /최문정 기자

[더팩트｜최문정 기자] SK텔레콤이 '자강'과 '협력'을 골자로 한 인공지능(AI) 전략을 본격 가동한다. SK텔레콤은 통신 사업에 특화된 '텔코 거대언어모델(LLM)'을 내달 출시하며 관련 시장 공략에 나선다는 목표다.

SK텔레콤은 30일 서울시 중구 SKT타워에서 기자간담회를 열고, 한국어 기반 텔코LLM 개발 현황과 활용 사례 등을 공유했다.

텔코LLM은 5G, 요금제, 멤버십 혜택, 공시지원금 등 국내 통신 용어와 AI 윤리가치 등 통신사 내부 지침을 학습한 것이 특징이다.

일반적인 LLM의 경우, 상식처럼 범용적인 질문에는 잘 답변하는 편이지만, 통신업무에 그대로 적용하기에는 데이터가 충분치 않은 단점이 있다. 운용에 있어 클라우드 구축 비용과 서버 이용료 등 막대한 비용이 드는 LLM보다 통신 관련 데이터를 학습한 텔코LLM이 갖는 장점이 명확하다는 것이 SK텔레콤의 설명이다.

SK텔레콤은 지난해 통신기업을 넘어 '글로벌 AI 컴퍼니'로의 전환을 선언했다. 이와 함께 AI 전략을 '자강'과 '협력'의 두 차원에서 가져가겠다고 밝혔다.

자강의 관점에서 SK텔레콤은 자체 LLM인 '에이닷X'를 개발했다. 에이닷X는 한국어 기반으로 데이터를 축적한 것이 특징이다.

아울러 SK텔레콤은 협력의 관점에서 글로벌 AI 선도기업인 오픈AI와 앤트로픽 등과 협력하고 있다. SK텔레콤은 자체적으로 확보한 통신 특화 데이터를 각각 GPT 모델과 클로드 모델에 학습시키며 통신에 특화된 LLM을 구축하고 있다. 이를 향후 AI 고객센터(AICC), 유통망, 네트워크 운용, 사내 업무 등에 활용할 수 있다는 설명이다.

에릭 데이비스 SK텔레콤 AI 테크 콜라보레이션 담당이 30일 서울 중구 SKT타워에서 열린 기자간담회에서 '텔코LLM'에 대해 설명하고 있다. /최문정 기자

에릭 데이비스 SK텔레콤 AI테크콜라보레이션 담당은 "1개의 범용 LLM으로 통신사들이 하고자 하는 다양한 서비스와 문제를 해결하기란 쉽지 않다"며 "통신데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝(미세조정)과 벤치마킹(모델평가)를 거쳐 다양한 텔코 LLM을 구축하고, 이를 상황과 질의에 맞게 골라쓸수 있도록 하겠다"고 밝혔다.

이어 "가령, SK텔레콤의 에이닷X 모델은 한국에 데이터를 많이 학습했기 때문에 이에 최적화된 업무를 잘 할 수 있다"며 "고객의 질의 등에 맞춰 어떤 모델이 가장 적합한지 살펴보며 적용할 예정"이라고 말했다.

LLM을 구축하려면 통신사의 데이터를 수집하고 비정형·정형 데이터를 선별, 정제해야 한다. 이를 기반으로 범용 LLM을 통신사 전용으로 파인튜닝(미세조정)하고 휴먼 피드백 기반의 강화학습(RLHF)을 한 후 최종 벤치마킹(모델 평가) 과정을 거친다. 이렇게 만들어진 텔코LLM은 마지막으로 사람의 피드백 과정을 거쳐 완성도를 높인다.

현재 SK텔레콤은 텔코LLM 개발 막바지에 접어들었다. 회사는 텔코LLM을 내달 중 공개하고, 연내부터 AICC 등 내부 서비스에 이를 적용한다는 구상이다.

SK텔레콤은 텔코LLM을 통해 현재 회사에서 제공하고 있는 다양한 서비스의 시간과 비용을 획기적으로 줄일 수 있다고 판단했다. 가령, 현재 통신사 고객센터로 들어오는 상담 전화 한 건의 평균 처리 속도는 이용자 상담 3분, 상담 후 업무처리 30초 등이다. 텔코LLM이 적용될 경우, AI가 고객과의 상담 내용을 요약하고, 관련 정보를 빠르게 찾을 수 있어 시간이 단축된다는 설명이다.

정민영 SK텔레콤 AI플랫폼 담당이 30일 서울 중구 SKT타워에서 열린 기자간담회에서 회사의 텔코LLM 활용 전략에 대해 소개하고 있다. /최문정 기자

정민영 SK텔레콤 AI플랫폼 담당은 "고객센터 상담사는 통화 후에도 처리해야 하는 업무가 적지 않은데, 텔코LLM을 활용하면 이 부분을 효율적으로 해결할 수 있다"며 "텔코LLM이 구어체로 진행된 상담 과정을 비즈니스 용어로 만들어주기 때문에, 고객이 무엇을 요청했고, 어떻게 답변했는지 한눈에 알아보기 쉽게 데이터로 만들 수 있다"고 말했다.

이어 "텔코LLM이 상담 내용을 모니터링하면서 적절할 때 개입해 상담사를 보호할 수 있는 시스템도 구축을 논의하고 있다"며 "LLM은 상담사 보호를 위해 신조어, 한국어 욕설, 위협과 폭언 등의 문맥과 뉘앙스를 이해하는 룰 베이스를 갖고 있다. 이에 따라 맥락적으로 쉽게 접근할 수 있다"고 강조했다.

SK텔레콤은 향후 인프라 운용 중에 발생하는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획이다.

SK텔레콤은 텔코LLM을 자체 사업에 적용하는 것을 넘어 글로벌 시장에서도 활용한다는 구상이다. 이를 위해 통신사들이 자체적으로 생성형 AI 애플리케이션을 구축·개발할 수 있는 '인텔리전스 플랫폼'을 공개했다. 이는 글로벌 통신사를 대상으로 제공할 예정이다.

SK텔레콤 관계자는 "우리나라를 비롯해 글로벌 통신사들은 물론 상담업무 등 유사한 업무 특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다"고 말했다.

한편, 최근 영국의 시장조사업체 옴디아는 발표한 'AI 피라미드 전략의 성과에 힘입어 2023년 4분기 긍정적인 재무 성과를 달성한 SK텔레콤'이라는 제목의 분석 보고서를 발표했다.

옴디아는 SK텔레콤이 AI 전략 가동에 힘입어 유선과 모바일 등의 핵심 사업에서 유의미한 성과를 달성했다고 분석했다. 또한 신규 기업간거래(B2B) 서비스를 발굴하고, 글로벌 AI 협력을 주도하는 등 움직임에 주목했다.

munn09@tf.co.kr