코그니션의 프론티어코드 2.0 평가 결과. 클로드 오퍼스 5.5가 45.5%로 1위를 기록했으며, 주요 AI 코딩 모델 모두 50%에 미치지 못했다. (사진=코그니션)

AI 코딩 에이전트가 명확한 지시는 잘 수행하지만, 개발자가 직접 설명하지 않은 요구 사항을 파악하는 데는 여전히 취약하다는 평가 결과가 나왔다. 실제 소프트웨어 개발 환경을 반영한 새로운 벤치마크에서 최고 성능 모델도 45.5%를 기록했으며, 추론을 늘릴수록 오히려 코드 품질이 떨어지는 사례도 확인됐다.

코딩 에이전트 '데빈(Devin)'을 개발한 코그니션은 지난달 27일(현지시간) 공식 블로그를 통해 새로운 코딩 성능 평가 도구 '프론티어코드 2.0(FrontierCode 2.0)'을 공개했다. 기존 평가가 코드의 기능적 정확성에 집중했다면, 이번에는 실제 개발자가 AI의 수정 사항을 검토한 뒤 기존 프로젝트에 그대로 반영할 수 있는지를 중점적으로 평가했다.

코그니션은 기존 코딩 벤치마크의 점수가 빠르게 높아지고 있지만, 실제 개발 현장에서 나타나는 AI의 한계를 충분히 보여주지 못한다고 지적했다. 이에 따라 실제 오픈소스 프로젝트를 활용한 132개 과제를 구성하고, 보안 취약점 수정과 성능 최적화 등 복잡한 작업을 포함했다. 이전 버전보다 평가 대상 프로젝트와 수정해야 할 코드의 규모도 크게 늘렸다.

공식 리더보드에서는 앤트로픽의 '클로드 오퍼스 5.5'가 45.5%로 1위를 기록했다. 이어 오픈AI의 'GPT-6 아스트라'가 42.8%, 앤트로픽의 '클로드 소네트 5.5'가 41.0%, 구글의 '제미나이 4 카본'이 40.0%, 오픈AI의 'GPT-6.1 솔'이 39.0%로 뒤를 이었다.

이전 버전인 프론티어코드 1.1에서 오퍼스 5.5는 54.6%, GPT-6 아스트라는 53.3%를 기록했다. 이번 평가에서 점수가 낮아진 것은 모델 성능이 떨어졌기 때문이 아니라, 평가 과제가 복잡해지고 코드 품질에 대한 요구 수준이 높아졌기 때문이다. 특히 필수 조건을 충족하지 못하면 해당 과제에서 점수를 받지 못하도록 했다.

가장 두드러진 약점은 작업의 '완결성(Thoroughness)'이었다. AI가 이용자의 지시를 수행하는 데 그치지 않고, 기존 코드와 개발 맥락을 살펴 명시되지 않은 요구 사항까지 처리했는지를 평가하는 항목이다.

주요 모델 4종을 분석한 결과, 완결성과 관련된 필수 평가 항목의 실패율은 19.2%로 핵심 기능 구현의 실패율인 14.9%를 웃돌았다. 추론 수준을 최대로 높여도 완결성 항목의 실패율은 15.3%에 달했다. AI가 명확하게 제시된 기능을 구현하는 것보다 작업에 수반되는 숨은 요구 사항까지 처리하는 데 더 어려움을 겪는다는 의미다.

AI 코딩 에이전트의 작업 유형별 필수 평가 항목 실패율. 프론티어코드 2.0에서는 이용자가 명시하지 않은 요구 사항까지 처리하는 '완결성(Thoroughness)' 항목의 실패율이 19.2%로 가장 높았으며, 핵심 기능 구현(14.9%)보다 취약한 것으로 나타났다. (사진=코그니션)

대표적인 사례가 자바스크립트 라이브러리 '목 서비스 워커(Mock Service Worker)'의 오류 수정 작업이다. 오퍼스 5.5는 프로그램의 특정 기능을 초기화하는 오류를 수정하는 데 성공했지만, 기존 작업을 정상적으로 종료하는 과정은 빠뜨렸다. 이 때문에 불필요한 자원이 남거나 프로그램이 불안정해질 가능성이 생겼다. 이용자가 직접 요청하지 않은 사항까지 챙기지 못한 것이다.

특히 오퍼스 5.5는 다섯 가지 추론 설정에서 각각 5차례씩, 총 25차례 작업을 수행했으나 모두 평가 기준을 통과하지 못했다. 코그니션은 이런 문제가 단순한 코딩 실수보다 작업 전체의 맥락을 이해하는 능력과 관련이 있다고 분석했다.

추론 능력을 높인다고 반드시 좋은 코드를 작성하는 것도 아니었다. 코그니션은 모델이 추론에 더 많은 자원을 투입하면서 불필요하게 많은 파일을 수정하거나 기존 설계를 크게 변경하는 사례를 확인했다.

실제로 GPT-6 아스트라는 모바일 분석 소프트웨어 '포스트호그(PostHog)'의 데이터 전송 순서 문제를 해결하는 과제에서 낮은 추론 수준으로는 5차례 모두 성공했다. 그러나 최대 추론 수준에서는 5차례 중 1차례만 성공했다. 문제를 해결하는 과정에서 기존에 공개된 프로그램 인터페이스까지 삭제해 다른 프로그램과의 호환성을 깨뜨렸기 때문이다.

이는 복잡한 문제를 오래 검토하거나 더 많은 코드를 수정하는 것이 반드시 좋은 결과로 이어지지는 않는다는 사실을 보여준다. 실제 개발에서는 문제 해결에 필요한 변경 범위를 판단하고, 기존 기능을 유지하면서 부작용을 방지하는 능력도 중요하다.

코그니션은 AI가 독립적인 소프트웨어 개발자로 기능하려면 이용자의 지시를 그대로 수행하는 수준을 넘어, 불완전한 요구 사항을 해석하고 기존 프로젝트의 제약 조건까지 스스로 파악해야 한다고 강조했다. 이번 결과는 AI의 코드 작성 능력이 빠르게 발전하고 있지만, 실제 개발 현장에서 요구하는 판단력과 완결성에는 여전히 한계가 있음을 보여준다.

임대준 기자 ydj@aitimes.com