기업들이 더 성능이 좋거나 저렴한 AI 모델로 교체하는 데 예상보다 많은 시간과 비용을 들이는 것으로 나타났다. 모델 연결 설정만 바꾸면 교체할 수 있도록 시스템을 구축해도, 실제 서비스에서는 기존 모델에 맞춰 만든 프롬프트와 도구, 평가 체계를 다시 조정해야 하기 때문에 교체 경험이 있는 기업 담당자 10명 중 7명이 몇 주 이상의 작업이 필요했다고 답했다.
벤처비트는 12일(현지시간) 자체 조사기관인 벤처비트 인텔리전스의 10월 설문 결과를 공개했다. 직원 100명 이상 기업의 AI 담당자와 컨설턴트 등 100명을 조사한 결과, 47%가 지난 12개월 동안 기존 애플리케이션을 유지하면서 실제 운영 중인 AI 모델을 교체한 경험이 있다고 답했다.
실제 모델 교체 작업에 걸린 시간을 답한 45명 가운데 69%는 모델 변경 자체를 제외한 엔지니어링 작업에 몇 주 이상이 필요했다고 밝혔다. 36%는 한 달 넘게 걸렸으며, 별다른 추가 작업 없이 설정만 바꾸면 됐다는 응답은 13%에 그쳤다.
교체 결과도 기대만큼 좋지는 않았다. 새 모델이 기존 모델과 같거나 더 나은 성능을 보였다는 응답은 약 55%였다. 나머지 약 45%는 성능이 떨어져 애플리케이션을 다시 수정하거나 기존 모델로 되돌아갔다.
모델 교체가 어려운 이유는 애플리케이션이 기존 모델의 특성에 맞춰 설계돼 있기 때문이다. 모델에 전달하는 프롬프트와 도구 사용 방식, 테스트 절차 등이 기존 모델에 최적화돼 있어, 다른 모델로 바꾸면 같은 작업에서도 예상과 다른 결과가 나올 수 있다.
기업용 클라우드 서비스 업체 박스(Box)의 벤 쿠스 CTO는 새로운 모델이 반드시 더 좋은 결과를 내는 것은 아니라고 지적했다. 특히 모델에 지시를 전달하고 사용할 도구와 작업 순서를 제어하는 코드인 '하네스(harness)'가 실제 성능에 큰 영향을 미친다고 설명했다.
박스는 이에 따라 모델 자체의 성능만 비교하지 않고, 실제 사용할 하네스와 결합해 정확도와 비용, 속도를 함께 평가하고 있다.
소형 모델로 교체할 때는 하네스의 영향이 더 커질 수 있다. 아티피셜 애널리시스의 마이카 힐스미스 CEO는 소형 모델의 코딩 에이전트 성능이 하네스에 따라 평가 점수에서 20~40점까지 차이 날 수 있다고 밝혔다. 저렴한 모델로 바꾸려면 기존 대형 모델에 맞춰 개발한 실행 환경도 함께 수정해야 할 수 있다는 의미다.
AI 모델의 이용 가격이 낮다고 실제 작업 비용까지 줄어드는 것은 아니다. 프리랜서 플랫폼 업워크의 수단슈 비스트 부사장은 한 번 실행하는 데 10센트가 드는 저렴한 모델이라도 성공률이 20%라면 작업을 완료하기까지 평균 5번을 실행해야 하므로 총 50센트가 든다고 설명했다.
반대로 실행 비용이 30센트인 고성능 모델은 성공률이 90%라면 작업 완료에 평균 33센트가 필요해 오히려 저렴하다. 이는 실패한 작업을 다시 시도한다는 가정에 따른 계산이다.
따라서 기업은 단순한 토큰 가격보다 실제 작업을 성공적으로 마치는 데 드는 총비용을 비교해야 한다는 설명이다. 업워크도 반복적이고 명확하게 정의된 업무에는 소형 모델을 사용하고, 복잡하고 개방적인 작업에는 대형 모델을 활용하고 있다.
모델 교체의 부담을 줄이려는 기업들의 대응도 이어지고 있다. 페이팔은 내부 데이터 분석 비서에 업무 정의와 승인된 데이터 조회 방식, 분석 절차 등을 담은 별도의 지식 계층을 구축했다. 모델을 바꾸지 않고 이 계층을 추가하는 것만으로 내부 업무 질문에 대한 정확도가 43%에서 95%로 높아졌다.
페이팔의 렌 장 AI 제품 총괄 부사장은 기업의 업무 지식을 특정 모델에 종속되지 않도록 설계했다고 설명했다. 새로운 모델을 도입할 때마다 기업 지식과 업무 절차를 다시 구축하지 않도록 하기 위해서다.
우버는 실제 업무 데이터를 활용해 모델을 평가하는 방식을 택했다. 과거 코드 변경 사례를 평가 데이터로 구축해 새 모델의 성능을 검증하고, 자동 코드 정리 작업에 적합한 모델을 선택해 작업당 비용을 90% 줄였다고 밝혔다.
우버는 이러한 평가 체계를 갖춘 일부 AI 에이전트의 모델을 며칠 만에 교체할 수 있다고 설명했다. 반대로 개발자가 직접 사용하는 코딩 도구는 작업 방식까지 바뀌기 때문에 교체하기가 더 어렵다고 밝혔다.
고객 서비스처럼 오류가 직접적인 피해로 이어질 수 있는 분야에서는 신중한 접근이 필요하다. T모바일은 기존 AI 시스템과 새 버전을 실제 고객 통화에 동시에 적용해 결과를 비교하고, 개선이 확인됐을 때만 새 버전의 사용을 확대한다. 출시 후에도 소형 모델을 활용해 대화와 음성 세션에서 잘못된 답변을 탐지하고 있다.
전문가들은 AI 모델을 쉽게 교체하려면 실제 사용자 요청을 기반으로 평가 데이터를 구축하고, 모델을 사용할 하네스 환경에서 성능을 검증해야 한다고 강조했다. 실패한 작업과 사람의 수정 비용까지 포함해 경제성을 비교하고, 기업 내부 지식은 특정 모델과 분리해 관리하는 것도 중요하다.
벤처비트는 이번 조사 대상이 100명이며 모델 교체 소요 시간에 대한 응답자는 45명으로 제한적이라고 설명했다. 따라서 결과를 전체 기업의 평균으로 일반화하기는 어렵다.
그러나 최신 모델로 바꾸는 작업보다 기존 서비스를 안정적으로 유지하면서 성능과 비용을 개선하는 일이 더 복잡할 수 있다는 점이 분명하게 드러났다고 강조했다.
박찬 기자 cpark@aitimes.com