아티피셜 애널리시스(AA)의 새로운 성능 평가에서 미국 최상위 모델과 중국 오픈 모델의 격차가 크게 벌어지면서 중국 AI의 경쟁력이 과대평가된 것 아니냐는 논쟁이 벌어지고 있다. 특히 비공개 문제를 늘린 뒤 성능 차이가 커지자 기존 모델들이 공개된 시험에 맞춰 성능을 높여왔다는 의혹이 제기됐지만, 평가 기준 자체가 달라졌기 때문에 이를 단정할 수 없다는 반론도 나온다.

비즈니스 인사이더는 3일(현지시간) AI 모델 평가업체 AA의 새로운 평가 결과를 분석하며, 중국의 저렴한 오픈웨이트 모델이 오픈AI와 앤트로픽의 사업을 위협할 것이라는 기존 전망을 재검토할 필요가 있다고 보도했다. 미국 기업들이 고성능 AI 모델에 높은 가격을 책정하는 사업 모델이 중국의 저가 모델 때문에 흔들릴 수 있다는 주장이 제기돼 왔지만, 실제 성능 격차는 알려진 것보다 클 수 있다는 것이다.

AA가 지난달 27일 공개한 새로운 '인텔리전스 인덱스(Intelligence Index) v5'에서 미국 최상위 모델과 중국 선두 모델의 점수 차이는 기존 3점에서 12점으로 벌어졌다. 당시 앤트로픽의 '클로드 오퍼스 5.5'가 58점, 중국 문샷AI의 '키미 K3.1 프로'가 46점을 기록했다. 특히 실제 가중치를 공개한 오픈웨이트 모델의 최고점은 32점에 그쳐 격차가 더 컸다. 이후 구글의 '제미나이 4 카본'이 59점으로 1위에 올랐다.

이에 스리다르 라마스와미 스노우플레이크 CEO는 X에서 "벤치마크가 비공개로 전환되자 오픈 모델과의 격차가 3점에서 12점으로 벌어졌다"라며 "오픈 모델이 실제로 따라잡고 있었던 것인가, 아니면 시험 문제가 유출됐던 것인가"라고 의문을 제기했다.

이는 AI 기업들이 공개된 평가 문제나 유사한 데이터를 학습에 활용해 높은 점수를 얻는 '벤치마크 해킹(Benchmark Hacking)' 가능성을 지적한 것이다. AA는 이번 개편에서 비공개 문제와 정답을 활용하는 평가 비중을 기존 45%에서 60%로 높였다. 다만 새로운 코딩·과학 연구 평가를 추가하고 기존 평가 항목과 난도도 조정했기 때문에 성능 격차 확대를 비공개 평가 도입만으로 설명하기는 어렵다.

오픈웨이트 모델 전문가인 네이선 램버트 트릴리움 랩스 공동 창업자는 자신의 블로그에서 "이전 지표가 오픈웨이트 모델을 지나치게 좋게 평가했던 것 같다"라고 인정했다. 그러나 "오픈 모델의 몰락을 이야기하는 것은 크게 과장됐다"라며 새로운 평가 결과만으로 경쟁력이 사라졌다고 판단해서는 안 된다고 지적했다.

특히 그는 오픈웨이트 모델이 코딩 분야에서는 여전히 경쟁력이 있으며, 기업이 AI 모델을 직접 운영하고 내부 데이터에 맞게 수정할 수 있다는 점에서도 강점이 있다고 설명했다. 미국 최상위 모델보다 종합 성능이 낮더라도 저렴한 비용과 높은 통제력을 바탕으로 충분한 수요를 확보할 수 있다는 것이다.

중국 AI 모델의 실제 수요를 둘러싼 논쟁도 이어졌다. 소프트웨어 개발업체 오픈코드의 공동 창업자인 댁스 라드는 X에서 AI 모델 중개 서비스 오픈라우터(OpenRouter)를 통한 딥시크의 하루 이용량 대부분을 고성능 엔비디아 서버 랙 하나로 처리할 수 있다고 추산했다.

오픈라우터에서 관측한 딥시크 이용량이 시장의 관심에 비해 적다는 주장이다. 그러나 오픈라우터는 전체 시장의 일부에 불과하며, 기업이 자체 서버나 다른 클라우드를 통해 중국 모델을 사용하는 수요는 집계되지 않는다.

이번 논쟁은 중국 AI 기업들이 미국의 선두 모델을 빠르게 따라잡고 있다는 기존 인식에 의문을 제기한다. 특히 오픈AI와 앤트로픽이 막대한 개발비를 회수해야 하는 상황에서 중국 저가 모델과의 실제 성능 차이는 중요한 사업 변수다. 

하지만 오픈웨이트 모델은 저렴한 가격과 자체 운영 가능성 등에서도 강점을 지닌 만큼, 종합 평가 점수만으로 경쟁력을 판단하기는 어렵다는 평이다.

임대준 기자 ydj@aitimes.com