독자 AI 파운데이션 모델(독파모) 프로젝트 2차 평가 결과 발표를 앞두고 제기된 '벤치맥싱(benchmaxxing)' 의혹에 대해 4개사 모두 사실이 아니라는 입장을 밝혔다.

SKT는 12일 "이번에 A.X K2를 개발하면서 AI 모델의 성능을 객관적으로 평가하기 위해 벤치마크 오염 방지를 가장 중요하게 고려했다"며 선을 그었다.

LG AI연구원과 업스테이지, 모티프테크놀로지스도 관련설을 모두 부인했다.

이는 지난달 서울에서 열린 '국제머신러닝학회(ICML 2026)'에서 애프터쿼리와 스케일AI, 머코어(Mercor) 등 미국 AI 학습 전문업체가 일부 독파모 개발사와 접촉한 정황이 있다는 업계 일각의 의문 제기에 따른 것이다. 이들 업체는 AI 모델의 사후학습용 데이터 제공과 성능 평가·개선 등을 지원한다. 따라서 이를 통해 독파모의 일부 벤치마크 점수를 올려줄 수 있다는 의혹이다.

하지만 실제 계약으로 이어졌는지, 해당 데이터가 실제 모델 학습이나 점수에 반영됐는지는 확인된 바 없다.

이와 관련, AI 모델이 학습 데이터에 지나치게 적응하면 학습 과정에서 보지 못한 새로운 데이터가 등장할 때 대응 능력이 떨어진다는 '과적합(Overfitting)' 현상은 이미 몇년 전부터 제기됐다.

이번에 불거진 벤치맥싱은 테스트 점수를 끌어올리기 위해 고의로 관련 데이터를 미리 학습하는 것을 말한다. 이 경우에도 모델의 일반적인 성능은 테스트 점수에 미치지 못할 수 있어, 문제가 된다.

그러나 이에 따른 영향은 미미할 것으로 예측됐다. 익명을 요구한 업계 관계자도 "벤치마크만으로 성능을 평가하면 벤치맥싱이 문제가 될 수 있다"라며 "하지만 독파모 평가는 전문가·사용자 평가를 높은 비중으로 평가하기 때문에 벤치맥싱이 있었다 해도 최종 순위를 뒤집을 만큼 결정적이지는 않을 것"이라고 말했다.

과학기술정보통신부도 "외부 데이터 구매는 독자성 기준과 무관하고, 용역을 금지한 핵심 기술·서비스 개발에도 해당하지 않는다"며 "벤치마크 과적합 문제가 있더라도 전문가와 이용자 평가를 병행해 보완될 수 있다"고 밝힌 바 있다.

이번 2차 평가는 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성되며, 결과는 이르면 이번 주 중 발표될 예정이다.

김해원 기자 hwkim@aitimes.com