LG유플러스가 AI 토큰 최적화 기술 성과를 바탕으로 내년 B2B AI 시장에 진출한다고 15일 밝혔다.
자체 AI 통화 에이전트 '익시오'와 AI 컨택센터(AICC) 및 사내 AI 전환(AX)에서 쌓은 역량에 정부 주도 '모두의 AI' 모델 서빙 노하우를 더해 기업 시장을 공략한다는 전략이다. 사업은 협력사와의 제휴형 모델 및 자체 인프라 구축 방식으로 전개한다.
LGU+는 ▲컴퓨트 ▲모델 파운드리 ▲AI 게이트웨이 ▲에이전트 등 계층별 토큰 최적화 성과를 구체적으로 공개했다.
컴퓨트 계층에서는 특정 칩에 종속되지 않는 '칩 믹스(Chip-Mix)' 전략을 활용한다. 엔비디아·AMD의 GPU와 퓨리오사AI의 신경망처리장치(NPU)를 섞어 원가를 낮추는 방식을 적용한다.
모델 파운드리 계층은 '추론 최적화'와 '모델 경량화'로 나뉜다. 추론 최적화는 작은 모델이 답변을 빠르게 생성하고, 큰 모델이 이를 검증하는 '추측 디코딩'으로 토큰 생성 속도를 2배 이상 높였다. 연산 처리 방식도 개선해 동일 인프라 대비 처리 효율도 약 4배 높였다.
모델 경량화는 '지식 증류'와 '양자화' 기술 등을 활용한다. 이를 적용한 온디바이스 모델은 크기를 약 800메가바이트(MB)까지 줄이면서 클라우드 모델 대비 95% 이상의 성능을 확보했다. 관련 논문 2편은 뉴립스 워크숍에도 채택됐다.
특히 경량화한 자체 AI 모델을 적용해 토큰 소모가 가장 심한 코딩 영역에서는 운영 비용을 약 90% 절감했다는 설명이다.
AI 게이트웨이 계층은 질문 난이도에 따라 경량 모델과 고성능 모델을 나눠 배정하는 동적 질의 기반 '모델 라우팅'을 적용했다. 내부 테스트 결과, 일반 질문 처리 비용을 25% 이상 낮추고, 코딩 에이전트 비용은 30% 이상 줄인 것으로 나타났다.
에이전트 계층에서는 AI가 일하는 방식을 설계하는 '하네스 엔지니어링'을 중심으로 AI 에이전트가 불필요한 검색이나 검증을 반복하지 않는 방식으로 토큰 사용량을 줄이는 기술도 개발 중이다.
이상엽 LGU+ 최고기술책임자(CTO)는 "단순한 토큰당 단가 경쟁을 넘어 고객이 AI로 하나의 업무를 완결하는 데 드는 총비용(Task Cost)을 낮추는 것이 목표"라며 "내년부터 기업 고객이 가장 합리적인 비용으로 최고의 AI 성과를 낼 수 있도록 시장을 주도해 나가겠다"고 말했다.
김해원 기자 hwkim@aitimes.com