AI 모델이 실제 기업과 연구 현장에서 분석가 역할을 얼마나 안정적으로 수행할 수 있는지를 평가하는 새로운 벤치마크가 공개됐다. 

아티피셜 애널리시스(AA)는 11일(현지시간) 실제 스프레드시트와 문서를 활용해 정량 분석 능력뿐 아니라 자료 해석과 전문적 판단, 반복 수행의 신뢰성까지 측정하는 ‘AA-애널리스트에이전트(AA-AnalystAgent)’를 발표했다.

단순히 계산 문제의 정답을 맞히는 능력을 평가하는 기존 벤치마크와 달리 실제 분석 업무에 가까운 환경을 구현한 것이 특징이다. 분석가는 주어진 자료에서 필요한 정보를 찾아내는 것뿐 아니라 어떤 예외와 주의사항을 적용해야 하는지 판단하고, 자료에 적합한 분석 방법론을 선택해야 한다. 이러한 전문적 판단과 경험이 단순한 정량 계산 능력만큼 중요하다는 점에 주목했다.

벤치마크는 의료 지출 보고서, 무역 및 원자재 통계, 수문·기상 데이터, 정부 예산, 에너지 비용 모델, 재무 모델, 환경 보고서, 프로젝트 일정 등 14개 비즈니스·과학 분야의 80개 문제로 구성됐다. 문제 유형은 실제 분석 업무를 반영해 ▲자료 검색 및 진단 ▲필터링과 합계 계산 ▲비율·추세·민감도 분석 ▲손익계산서(P&L) 모델링 ▲현금흐름·대차대조표·기업가치 평가 모델링 등 5개 영역으로 나뉜다.

특히 AI 에이전트의 일관성을 핵심 평가 요소로 삼았다. 각 모델에 동일한 문제를 한 번만 풀게 하는 것이 아니라 각각의 과제를 독립적으로 5회 수행하도록 한 뒤, 5번 모두 정답을 맞혀야 통과하는 ‘pass^5(패스 올-파이브)’를 핵심 지표로 사용했다. 이와 함께 한 번이라도 정답을 맞힌 비율인 pass@5와 평균적인 단일 시도 성공률인 pass@1도 함께 측정한다.

첫 평가에서 '클로드 오퍼스 5'는 pass^5 기준 54%를 기록해 1위에 올랐다. 'GPT-5.5'가 50%로 2위, '페이블 5'가 49%로 3위를 차지했다. 상위 3개 모델의 격차는 80개 과제 가운데 불과 3개의 순 성공 과제 차이에 해당한다. 앤트로픽은 상위 5개 가운데 3개 자리를 차지했다.

흥미로운 점은 단순한 문제 해결 능력과 반복적인 신뢰성에서 순위가 달라졌다는 것이다. GPT-5.5는 한 번의 시도에서 정답을 낼 확률을 나타내는 pass@1에서 66%로 가장 높았다. '제미나이 3.1 프로 프리뷰'와 오퍼스 5도 각각 64%로 뒤를 이었다. 그러나 5회 모두 안정적으로 정답을 내는 pass^5에서는 오퍼스 5가 가장 앞섰다.

구글의 제미나이 3.1 프로 프리뷰는 전체 과제의 81%를 최소 한 번 해결했지만, 5회 모두 성공한 비율은 41%에 그쳐 전체 9위에 머물렀다. AA는 실제 분석 업무에서 한 번 우연히 맞힌 답변보다는 별도의 재검증 없이도 반복적으로 믿을 수 있는 결과를 내는 능력이 중요하다고 설명했다.

실패 원인 분석에서도 AI 분석 에이전트의 한계가 드러났다. 상위 10개 모델에서 발생한 1567건의 실패 사례를 7가지 유형으로 분류했다. 가장 흔한 실패는 초기 단계에서 잘못된 가설이나 자료 해석을 선택한 뒤 이를 끝까지 고수하는 ‘잘못된 초기 가설에 대한 앵커링’으로, 전체 실패의 57%에서 나타났다.

모델별 약점도 서로 달랐다. 제미나이 3.1 프로 프리뷰는 자료 자체를 충실하게 받아들이는 경향이 있었지만, 모델링이나 집계 과정에서 오류를 내거나 검증을 생략하는 경우가 많았다. 반면 '그록 4.5'는 분야의 용어와 언어를 비교적 잘 이해하면서도 문서에 제시된 증거보다 자체적인 가정을 우선하는 경향을 보였다. '키미 K3'는 도메인 용어를 잘못 해석한 사례가 48%에 달했다.

비용 대비 성능에서는 GPT-5.5가 과제당 1.15달러로 2위를 기록했지만, 클로드 오퍼스 4.7은 과제당 1.98달러가 들면서 8위에 머물렀다.

오픈 웨이트 모델 중에서는 키미 K3가 39%로 가장 높은 성적을 기록했다. 이는 폐쇄형 최상위 모델보다 15%포인트 낮은 수준이다. 오픈 웨이트 모델 2위는 '딥시크-V4 플래시'로 25%를 기록해, 현재 오픈 웨이트 모델 내부에서도 성능 격차가 상당한 것으로 나타났다.

AA는 이 벤치마크를 기존 아티피셜 애널리시스지능 지수(AAII)와 별도의 독립적인 리더보드로 운영한다고 밝혔다.

또 평가 문제 전체를 비공개로 유지해 학습 데이터 오염 가능성을 낮췄으며, 방법론 페이지에서는 캘리포니아 메디케이드 지출 보고서를 활용한 일부 예제 문제와 원문 자료를 공개했다.

박찬 기자 cpark@aitimes.com