기사를 읽어드립니다.
최첨단 AI 모델들이 실제 기업의 전문 업무를 재현한 평가에서 최고 12%에 그쳤습니다. 기존 벤치마크가 실제 업무의 복잡성과 전문가의 판단 과정을 충분히 반영하지 못한다는 지적과 함께, AI가 기업의 고부가가치 전문 업무를 얼마나 완수할 수 있는지 측정하는 새로운 평가 방식이 등장했습니다.
반도체·AI 산업 분석 전문 세미애널리시스(SemiAnalysis)는 2일(현지시간) 새로운 AI 에이전트 벤치마크인 'GDPx'를 공개했습니다. 반도체 설계, 사이버보안, 생물학, 금융, 법률, 소프트웨어 개발, AI 자기 개선(RSI) 등 11개 전문 분야에서 206개 작업을 수행하도록 했습니다. 이를 위해 전문 업체 14곳과 협력해 실제 업무 환경을 재현했습니다.
평가 결과, 앤트로픽의 '클로드 오퍼스 5.5'가 12.0%로 1위를 차지했습니다. 구글의 '제미나이 4 카본'이 10.9%, 오픈AI의 'GPT-6 아스트라'가 9.6%, 메타의 '뮤즈 원더 풀'이 9.0%로 뒤를 이었습니다.
12%란 수치는 실제 업무 100개 중 12개를 완수했다는 뜻은 아닙니다. 과제별 완전 성공 여부와 부분 점수를 반영한 종합 점수입니다. 각 작업에 최대 8시간을 부여하고 세 차례 실행한 성적을 평균했습니다.
중요한 것은 세미애널리시스가 GDPx를 개발한 목적이 AI의 종합적인 지능 측정보다 실제 산업에서 경제적 가치를 창출할 수 있는 능력을 측정하는 데 있다는 것입니다. AI 도입으로 발생하는 초기 매출이 모든 직종에서 고르게 발생하기보다는 자동화 효과가 큰 일부 전문 산업에 집중될 것이라는 판단에서입니다.
이에 따라 전체 직업의 분포나 국내총생산(GDP) 비중 대신 반도체 설계, 금융, 사이버보안, AI 자기 개선 등 고부가가치 분야를 평가 대상으로 선정했습니다. 이번 평가 결과는 2027~2028년 오픈AI와 앤트로픽의 매출을 예측하는 자체 분석에도 활용할 계획입니다.
이 과정에서 기존 실무 평가의 한계도 지적했습니다. 특히 지난해 9월 오픈AI가 공개한 'GDPval'을 사례로 들었습니다. GDPval도 실제 직업에서 수행하는 업무를 평가하지만, 필요한 자료와 지시를 미리 제공한 뒤 보고서나 결과물을 작성하도록 하는 방식에 치중했다는 것입니다. 실제 전문가는 수많은 자료에서 필요한 정보를 직접 찾고, 서로 충돌하는 내용을 비교하며, 명확하게 지시받지 않은 조건까지 판단해야 합니다. 세미애널리시스는 GDPval이 공개 당시에는 획기적인 평가였지만, AI 에이전트가 발전한 현재에는 이러한 능력을 충분히 측정하기 어렵다고 평가했습니다.
기존 벤치마크의 채점 방식에도 문제를 제기했습니다. 일부 평가에서 정답이 잘못 설정됐거나 올바른 해결책을 제출했는데도 오답으로 처리하는 사례가 있다고 지적했습니다. 자체 품질 검증 시스템을 '터미널 벤치 4.0'에 적용한 결과, 전체 과제의 약 50%에서 문제가 발견됐다고 주장했습니다. AI가 문제를 제대로 해결해도 특정 방식으로 답하지 않았다는 이유로 점수를 받지 못할 수 있다는 것입니다.
GDPx는 이러한 문제를 해결하기 위해 실제 업무 자료와 프로그램을 포함한 환경을 구축하고, 과제와 채점 기준의 오류까지 검증하도록 설계했습니다. 대표적인 금융 과제에서는 실제 기업 인수 거래를 바탕으로 약 4000개의 익명화된 파일을 포함한 가상 업무 환경을 만들었습니다. AI는 필요한 재무제표와 계약서, 회계자료 등을 직접 찾아 분석하고 기존 문서의 오류를 수정해야 했습니다. 단순히 정리된 자료를 바탕으로 답을 작성하는 것과는 다른 작업입니다.
실제 평가에서 AI 모델들은 복잡한 업무를 끝까지 완수하지 못하는 사례가 많았습니다. 기업의 수익성을 분석하는 한 금융 과제에서는 25차례 실행 가운데 완전히 성공한 사례가 없었습니다. 가장 높은 성적을 거둔 실행도 11개 검증 항목 중 8개만 통과했습니다. 계약 조건과 회계처리 기준을 종합적으로 판단하는 과정에서 실수를 보였습니다. 법률 분야에서도 투자계약 문서를 수정하는 과제에 4개 모델이 총 20차례 도전했지만 모두 완성 기준을 충족하지 못했습니다. 계약상 허점을 놓치거나 기존 합의와 충돌하는 조건을 추가하는 등의 오류가 나타났습니다.
종합 순위와 전문 분야별 성적이 일치하지 않았다는 점도 눈에 띕니다. 오퍼스 5.5는 반도체 설계와 하드웨어 설계, 퀀트 트레이딩에서 가장 높은 점수를 기록했습니다. 제미나이 4 카본은 생물학과 소프트웨어 개발, GPT-6 아스트라는 AI 자기 개선과 재료과학 분야에서 각각 1위를 차지했습니다. 종합 성능이 높은 모델도 모든 전문 분야에서 우수한 것은 아니라는 의미입니다.
그렇다고 기존 AI 벤치마크가 실제 업무를 다루지 않았던 것은 아닙니다. 대표적인 AI 평가업체 아티피셜 애널리시스(AA)도 최근 종합 지능 지수를 개편하면서 'AA 브리프케이스(AA-Briefcase)'와 '프론티어코드 2.0(FrontierCode 2.0)' 등 복잡한 업무 수행 능력을 측정하는 평가를 도입했습니다. GDPx는 이러한 흐름에서 특정 산업의 전문성과 경제적 활용 가능성에 집중했다는 차이가 있습니다. 따라서 GDPx의 낮은 점수를 기존 종합 지수와 직접 비교해 AI 성능이 떨어졌다고 해석할 수는 없습니다.
평가 결과 자체에도 한계는 있습니다. 모델마다 클로드 코드, 코덱스 등 서로 다른 에이전트 실행 환경을 사용했으며, 일부 사이버보안과 생물학 과제에서는 안전장치가 작업을 제한했습니다. 일부 과제의 세부 내용과 채점 기준이 공개되지 않아 외부에서 전체 결과를 독립적으로 재현하기도 어렵습니다.
이번 GDPx는 AI 벤치마크가 실제 업무 수행 능력을 측정하는 데서 나아가 산업별 전문성과 경제적 활용 가치를 검증하는 방향으로 바뀌고 있음을 보여줍니다. 특히 종합 성능이 뛰어난 모델도 모든 전문 분야에서 우수한 것은 아니며, 어려운 문제를 해결하는 능력과 복잡한 업무를 끝까지 완수하는 능력에도 차이가 있었습니다.
AI 에이전트의 산업 현장 도입이 늘면서 이러한 차이를 측정하는 전문 벤치마크도 세분될 것으로 보입니다.
이어 2일 주요 뉴스입니다.
■ 미소스 5.5·GPT-6.2 아스트라 잇달아 포착…최첨단 모델 출시설
앤트로픽 공식 웹사이트에서 '클로드 미소스 5.5'라는 이름이 발견되고, 오픈AI의 'GPT-6.2 아스트라'를 테스트하고 있다는 개발자들의 주장이 나왔습니다. 최근 최첨단 AI 모델에 대한 관심이 높아지면서 출시 전 새로운 모델의 흔적이나 유출 정황도 이전보다 큰 주목을 받는 모습입니다.
■ 구글, '제미나이 4 카본' 공개 사흘 만에 개선판 포착…3D 성능 호평
'제미나이 4 카본'이 공개된 지 사흘 만에 개선 버전인 '카본-H'가 AI 평가 플랫폼에서 테스트 중인 정황이 포착됐습니다. 전작에서 약점으로 지적됐던 3D 모델링과 디자인 성능이 뚜렷한 발전을 이뤘다는 평가가 나왔습니다.
■ "AI 50개 모아 문명 건설 시켰더니 관료주의에 빠져 실패"
에이전트 50개가 5900개의 메시지를 주고받으며 복잡한 역할 분담과 승인 절차에 매달리다가 마인크래프트 문명 건설에 실패했다는 실험 결과입니다. 여러 AI 에이전트가 실제 업무에서 협업할 때도 불필요한 의사결정과 절차에 빠져 생산성을 떨어뜨릴 수 있다는 점을 보여줬습니다.
AI타임스 news@aitimes.com