토큰이코노마이저 동작 방식. 토큰이코노마이저는 저장소와 관계없이 동일한 세 가지 메타 전략을 적용한다. 이후 완료된 작업 기록을 분석해 각 저장소에 맞는 지침, 로드할 도구 목록, 실시간 개입 정책을 세부적으로 조정한다. (사진=arXiv)

마이크로소프트(MS)와 UC버클리 연구진이 AI 코딩 에이전트의 작업 성공률을 유지하면서 모델 이용 비용을 최대 30.9% 줄이는 오픈소스 도구를 공개했다. 이전 작업에서 얻은 정보를 재활용하고 불필요한 도구 호출과 반복적인 실패를 줄이는 방식으로, AI 모델 자체를 수정하지 않고도 운영 비용을 낮출 수 있다는 것이 특징이다.

연구진은 최근 논문 사전 공개 사이트 아카이브(arXiv)를 통해 코딩 에이전트의 비용을 최적화하는 플러그인 ‘토큰이코노마이저(TokenEconomizer)’를 온라인 아카이브를 통해 공개했다.

클로드 코드, 코덱스, 깃허브 코파일럿 CLI, 파이 등 주요 코딩 에이전트와 연동할 수 있으며, 모델의 가중치나 내부 구조를 수정하지 않는 외부 제어 방식으로 작동한다.

연구진은 소프트웨어 개발 벤치마크인 'SWE-벤치'의 6개 코드 저장소에서 277개 작업을 대상으로 5가지 에이전트·모델 조합을 평가했다. 그 결과 기존 실행 방식과 비교해 비용이 18.4~30.9% 감소했다.

작업 성공률을 나타내는 Pass@1은 5개 조합 중 4개에서 오히려 높아졌으며, 나머지 한 조합에서도 1%포인트 하락하는 데 그쳤다. 비용은 입력 토큰의 캐시 재사용에 따른 요금 차이와 추가 모델 호출 비용까지 반영해 계산했다.

SWE-벤치에서 방법별 비용 및 Pass@1 비교 (사진=arXiv)

특히 동일한 코드 저장소에서 작업을 반복할수록 비용 절감 효과가 커졌다. 초기에는 이전 작업 기록이 부족해 오히려 비용이 증가하는 사례도 있었지만, 평가에 사용한 모든 저장소에서 여섯 번째 작업부터 누적 비용이 기존 방식보다 낮아졌다. 개별 작업의 효율을 높이는 데 그치지 않고, 여러 작업에 걸쳐 경험을 축적하는 것이 중요하다는 의미다.

연구진은 기존 코딩 에이전트가 이전에 확인한 정보를 반복해서 탐색하고, 사용하지 않는 도구의 설명까지 매번 불러오는 과정에서 상당한 비용을 낭비한다고 분석했다. 클로드 코드를 활용한 실험에서는 앞서 5개 이상의 작업을 수행한 뒤 도구 호출의 약 30%가 이전 작업의 행동을 반복했다. 또한 매번 불러오는 도구 23개 중 16개는 실제로 사용되지 않았다.

실패한 작업도 비용 증가의 주요 원인이었다. 분석 대상 작업의 17%에 해당하는 실패 실행 10건이 전체 비용의 32%를 소비했다. 에이전트가 같은 오류를 해결하려고 수정과 테스트를 반복하면서 토큰을 계속 사용했기 때문이다.

토큰이코노마이저는 이러한 낭비를 줄이기 위해 세 가지 기능을 제공한다. 먼저 '마이크로 스킬(Micro-skills)'은 이전 작업에서 확인한 정보를 짧은 지침으로 정리해 다음 작업에 활용한다. 예를 들어 특정 프로젝트에서 일반적인 테스트 명령어가 작동하지 않는다는 사실을 확인했다면, 다음에는 올바른 명령어를 처음부터 알려줘 시행착오를 줄인다.

두 번째 '도구 정리(Tool Pruning)'는 이전 작업에서 사용하지 않았던 도구를 다음 세션의 목록에서 제외해 불필요한 설명을 읽는 데 드는 토큰을 절약한다. 파일 읽기와 쓰기 등 핵심 도구는 유지하며, 필요한 도구가 누락되지 않도록 주기적으로 전체 목록을 다시 확인한다.

마지막으로 '실패 루프 개입(Failure-loop Intervention)'은 에이전트가 같은 오류를 반복하거나 작업이 진전되지 않는 상황을 감지하면 다른 해결 방법을 시도하도록 안내한다. 실패가 계속되면 중단을 권고하지만, 공개된 플러그인이 작업을 임의로 강제 종료하지는 않는다.

기존 토큰 절감 도구가 명령어 출력 내용을 압축하거나 코드 구조를 요약하는 고정된 방식을 사용했다면, 토큰이코노마이저는 과거 작업의 결과를 바탕으로 각 저장소에 맞는 최적화 전략을 조정한다. 연구진은 이러한 방식이 서로 다른 개발 환경에서도 안정적으로 비용을 줄이는 데 도움이 된다고 설명했다.

실제로 웹 개발 벤치마크인 웹벤치(Web-Bench)에서도 16.0~21.2%의 비용 절감 효과를 확인했다. 다만 작업 종류와 실행 환경에 따라 절감 폭에는 차이가 있었다.

연구진은 토큰이코노마이저를 깃허브에 오픈소스로 공개했다. 별도의 GPU 없이 기존 코딩 에이전트에 플러그인 형태로 적용할 수 있다. 추가 모델 호출이 필요한 마이크로 스킬 기능은 기본적으로 비활성화돼 있어, 실제 절감 효과는 사용자가 활성화한 기능과 작업 환경에 따라 달라질 수 있다.

연구진은 이번 실험이 실제 개발자의 장기간 작업 기록이 아닌, 동일한 저장소에서 수행하는 연속적인 코드 수정 과제를 중심으로 진행됐다는 점을 한계로 꼽았다.

실제 개발 환경에서의 효과는 추가 검증이 필요하지만, 이번 연구는 AI 모델을 새로 학습시키거나 교체하지 않고도 이전 작업의 경험을 활용해 코딩 에이전트의 운영 비용을 줄일 수 있음을 보여준다.

박찬 기자 cpark@aitimes.com