기사를 읽어드립니다.

알리바바가 차세대 플래그십 모델 '큐원3.8-맥스(Qwen3.8-Max)'를 공개하며 최고 수준의 성능을 내세웠지만, 독립 벤치마크에서는 기대에 미치지 못하는 결과가 나왔다. 전문가들은 앞으로는 단순한 성능 순위나 토큰 가격이 아니라 '성공당 비용(Cost per Successful Tas)’'이 핵심 지표가 될 것이라고 강조했다. 

알리바바는 3일(현지시간) 큐원3.8-맥스를 출시하며 코딩 에이전트 성능이 사실상 '클로드 페이블 5(Claude Fable 5)'에 이어 업계 최고 수준이라고 홍보했다.

하지만 오픈소스 독립 평가 환경인 '불칸벤치(VulcanBench)'의 실제 소프트웨어 개발 업무 테스트에서는 전혀 다른 결과가 나타났다.

불칸벤치는 오픈소스 프로젝트에서 실제 병합된 23개의 코드 변경(PR)을 기반으로 구성된 벤치마크다. 추상적인 퍼즐이 아니라 실제 개발자가 수행하는 작업을 도커(Docker) 환경에서 실행하며, 각 작업을 서로 다른 추론 강도(Effort)로 세 차례씩 반복 평가한다.

평가 결과 큐원3.8-맥스는 가장 최적화된 설정에서도 전체 모델 가운데 중간 수준에 머물렀고, 기본 설정에서는 최하위를 기록했다. 특히 모델이 과도하게 추론을 수행하는 '오버싱킹(overthinking)' 현상이 두드러졌으며, 토큰 사용량이 지나치게 많고 작업 속도도 가장 느린 모델 가운데 하나로 나타났다.

벤치마크를 수행한 모건 린튼 연구자는 "큐원은 현재로서는 경쟁력이 없다"며 "엔지니어링 팀이 일상적인 코딩 작업에 사용할 만한 모델은 아니다"라고 평가했다.

이어 "정확도를 최우선으로 한다면 '그록 4.5'가 적합하고, 가격 대비 정확도를 원한다면 '딥시크-V4 플래시'를 따라올 모델이 거의 없다"며 "딥시크는 큐원보다 10배 저렴하면서도 더 높은 정확도를 제공한다"고 밝혔다.

실제 비용 차이는 극명했다. 동일한 불칸벤치 전체 평가를 수행하는 데 큐원3.8-맥스는 126.25달러가 소요됐지만, 딥시크 V4-플래시는 13.60달러에 불과했다. 단순 API 가격뿐 아니라 추론 과정에서 소비되는 막대한 토큰과 긴 실행 시간이 전체 비용을 크게 끌어올린 것이다.

이처럼 공식 발표와 독립 평가가 크게 엇갈린 이유는 '숨겨진 평가 조건' 때문이다. 알리바바는 자체 벤치마크에서 최대 5시간, 일부 페이퍼벤치(PaperBench) 테스트에서는 최대 12시간까지 실행 시간을 허용했다. 반면 불칸벤치는 작업당 45~60분 정도의 시간만 허용한다. 동일한 모델이라도 허용 시간이 5~16배 차이 나면 성능 결과도 크게 달라질 수 있다는 의미다.

특히 큐원3.8-맥스는 해결하지 못하는 어려운 문제보다 원래 해결하던 쉬운 작업에서 오히려 성능이 급격히 떨어지는 모습이 관찰됐다. 낮은 추론 단계에서는 모두 성공했던 일부 작업이 최고 추론 단계에서는 시간 제한에 걸려 실패하면서 전체 점수가 크게 하락했다. 추가적인 추론이 정확도를 높이기보다 시간과 토큰만 소모하는 결과가 발생한 셈이다.

이 같은 현상은 최근 AI 업계에서 주목받는 새로운 평가 기준인 '성공당 비용'의 필요성을 보여준다는 평이다. 이는 단순히 API 사용료나 벤치마크 점수가 아니라, 실패한 시도까지 포함한 전체 비용을 실제 성공한 작업 수로 나눈 지표다.

기존에는 입력·출력 토큰 가격이 모델 경쟁력을 판단하는 주요 기준이었다. 하지만 추론형 AI 모델은 답변을 생성하기 전에 막대한 '생각 토큰(thinking tokens)'을 소비한다. 토큰 한도에 먼저 도달하면 답변조차 생성하지 못한 채 실패하는 경우가 발생하며, 사용자는 전체 비용을 지불하고도 결과를 얻지 못할 수 있다.

실제로 여러 독립 연구에서도 시간 초과가 AI 에이전트 실패의 가장 큰 원인으로 나타났다. 최근 발표된 '롱 호라이즌 터미널 벤치(Long-Horizon-Terminal-Bench)'에서는 해결하지 못한 작업의 79%가 시간 제한 초과 때문이었다. 잘못된 답을 낸 경우보다 제한 시간 안에 작업을 끝내지 못하는 사례가 훨씬 많았다는 의미다.

또 다른 사례에서는 '클로드 오퍼스 5'도 가장 높은 추론 설정보다 가장 낮은 추론 설정에서 더 높은 성공률을 기록했다. 최고 추론 모드는 오답은 줄였지만, 시간 제한을 넘겨 실패 처리되는 사례가 늘어나면서 오히려 전체 성능이 낮아졌다. 비용도 가장 저렴한 설정보다 3배 이상 높았다.

업계도 이미 평가 기준을 바꾸고 있다. 불칸벤치는 오래전부터 '해결한 작업당 비용'을 핵심 지표로 제공하고 있으며, 롱 호라이즌 터미널 벤치 역시 정확도와 함께 작업당 비용을 공개한다.

기업 서비스도 같은 방향으로 움직이고 있다. 허브스팟(HubSpot)은 AI 고객 상담 요금을 '처리한 대화 수'가 아닌 '실제로 해결한 상담' 기준으로 변경했고, 젠데스크(Zendesk)와 인터컴(Intercom)도 자동 해결 건수에 따라 과금하는 방식을 채택했다.

전문가들은 앞으로 AI 모델을 선택할 때 단순한 벤치마크 순위보다 시간과 토큰 예산, 추론 설정, 실패 원인, 그리고 성공당 비용을 함께 고려해야 한다고 강조한다.

특히 큐원3.8-맥스는 기본 설정이 가장 높은 추론 수준으로 동작하기 때문에, 별도 설정을 변경하지 않는 기업일수록 가장 비싸고 비효율적인 구성을 그대로 사용할 가능성이 있다는 지적도 나온다.

박찬 기자 cpark@aitimes.com