전력·비용 줄이고 속도 개선
[더팩트｜우지수 기자] LG유플러스가 인공지능(AI) 서비스 운영 비용을 절감하기 위해 연산 효율을 높이는 토큰 최적화 기술 확보에 속도를 낸다. 같은 그래픽처리장치(GPU) 자원으로 최대 네 배 많은 데이터를 처리하는 기술을 입증하며 인프라 경쟁력을 높인다는 구상이다.
2일 LG유플러스는 AI 모델 최적화 기업 옵트에이아이와 손잡고 AI 운영 효율을 높이는 '토큰 최적화' 기술 연구를 진행한다고 밝혔다. 토큰은 AI가 질문을 해석하고 답변을 만들 때 다루는 데이터 기본 단위다. 토큰 최적화는 모델을 가볍게 만들거나 연산 과정을 효율화해 동일한 자원으로 더 많은 요청을 처리하도록 돕는 기술이다.
이번 협력에서 LG유플러스는 실제 서비스 운영 경험을 바탕으로 기술 실증과 적용을 맡고 옵트에이아이는 경량화 연구 개발을 담당한다. 특히 양사는 서버 GPU 환경에서 연산 과정을 개선해 동일 자원당 토큰 처리량을 기존 대비 최대 네 배 늘리는 성과를 거뒀다. 양사는 이를 통해 막대한 전력 소모와 GPU 운영비 부담을 줄이고 응답 속도를 개선할 방침이다.
앞서 양사는 온디바이스 AI 분야에서도 협력해 기술력을 검증했다. LG의 초거대 AI '엑사원' 기반 소형언어모델(sLM)을 경량화해 스마트폰 신경망처리장치(NPU)에서 구동하는 데 성공했다. 기존 중앙처리장치(CPU) 구동 방식과 대등한 성능을 유지하면서도 전력 소모는 78% 줄였고 모델 크기는 82% 축소했다.
양사는 지난 1일 최신 연구 동향을 공유하는 '에피션트 AI(Efficient AI) 테크 세미나'도 공동 주관했다. 행사에는 퓨리오사AI, 베슬에이아이, 한국전자기술연구원(KETI), 한양대학교 등 산학연 전문가들이 참여해 최적화 기술과 산업 적용 사례를 나눴다.
이상엽 LG유플러스 최고기술책임자(CTO)는 "AI 경쟁력은 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있는지에 달려 있다"며 "옵트에이아이를 비롯한 파트너들과 함께 토큰 최적화 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 내겠다"고 말했다.
이재호 옵트에이아이 대표는 "생성형 AI 시대에는 높은 성능 못지않게 운영 효율을 확보하는 일도 중요하다"며 "LG유플러스와 함께 현장에서 검증할 수 있는 최적화 기술을 고도화해 산업 효율 향상에 기여하겠다"고 전했다.
index@tf.co.kr
- 발로 뛰는 <더팩트>는 24시간 여러분의 제보를 기다립니다.
- · 카카오톡: '더팩트제보' 검색
- · 이메일: jebo@tf.co.kr
- · 뉴스 홈페이지: https://talk.tf.co.kr/bbs/report/write
- · 네이버 메인 더팩트 구독하고 [특종보자→]
- · 그곳이 알고싶냐? [영상보기→]
