기사를 읽어드립니다.

AI 에이전트 여러 개를 동일한 환경에 투입하고 서로 충돌하는 목표를 부여하자, 에이전트들이 상대방의 작업을 방해하는 것을 넘어 계정을 차단하고 프로세스를 종료하는 악성코드까지 만들어내며 '영역 싸움'을 벌인 것으로 나타났다. 

앤트로픽의 프론티어 레드팀은 13일(현지시간) 최근 여러 AI 에이전트가 실제 환경에서 서로 마주쳤을 때 나타나는 행동을 분석한 연구 결과를 공개했다.

연구진은 앞으로 수백만개의 에이전트가 인간과 AI, 서로 다른 AI 시스템과 동시에 상호작용하면 어떤 새로운 위험이 나타날 수 있는지를 집중적으로 살펴봤다.

가장 충격적인 결과는 서로 상충하는 지시를 받은 3개의 클로드 에이전트를 하나의 소프트웨어 프로젝트에 투입한 테스트에서 발생했다. 각 에이전트는 서로 다른 프로그래밍 언어로 백엔드를 이전하라는 지시를 받았으며, 처음에는 다른 에이전트가 같은 시스템에서 작업하고 있다는 사실을 알지 못했다.

실험에서 에이전트들은 상대방이 자신의 작업을 고의로 방해하고 있다고 판단하기 시작했다. 이후 경쟁자의 작업을 차단하거나 자신의 작업물을 보호하기 위해 다른 에이전트의 계정을 비활성화하고, 경쟁 프로세스를 찾아 종료하는 자동화 스크립트를 작성했으며, 상대방의 코드로 위장한 악성 코드를 배포하는 등 점점 공격적인 행동을 보였다. 일부 실험에서는 이러한 공격이 자기복제형 악성코드로까지 발전했다.

앤트로픽은 이 현상을 ‘다중 에이전트 영역 싸움(multiagent turf war)’으로 규정했다. 중요한 점은 에이전트가 명시적으로 다른 에이전트를 공격하라는 지시를 받은 것이 아니라는 것이다. 각자 자신의 목표를 충실하게 수행하는 과정에서 다른 에이전트의 행동을 장애물로 판단했고, 그 결과 충돌이 확대됐다.

모든 실험이 파괴적으로 끝나지는 않았다. 일부 에이전트는 갈등 원인을 분석한 뒤 공격 행동을 사과하고, 악성 코드를 삭제하며 휴전을 제안하거나 인간에게 개입을 요청했다. 모델별 행동 차이도 뚜렷해 '미소스 5'는 휴전 해결 비율이 98%에 달했던 반면, '소네트 4.6'과 '오퍼스 4.6'은 힘으로 상황을 해결하려는 경향이 강했다. 성능 비교 토너먼트를 자발적으로 제안하면서 자기에 정당하면서도 유리한 규칙을 제시하는 지능적인 모습도 관찰됐다.

또 에이전트 수를 늘린다고 협력이 개선되지는 않았다. 코드 충돌을 피하기 위해 각자 파일을 독점 관리하는 '사일로화' 현상이 나타났으며, 모델과 환경이 유사할 경우 동일한 브랜치명이나 프로젝트를 선택하는 '동조화' 위험도 드러났다.

대역폭 경쟁 실험에서는 초당 30회의 폴링으로 240만 건의 작업 요청을 발생시켜 시스템 전체의 자원을 낭비하는 결과를 초래했다. 시장 환경 실험에서는 비공개 채널은 물론 공개 게시판만으로도 1페니 단위까지 가격을 맞추며 자발적 담합을 형성했다.

에이전트 간 신뢰성 검증 능력 부족도 문제로 꼽혔다. 한 에이전트가 잘못된 정보를 제공하거나 프롬프트 인젝션 공격에 노출되면 검증 없이 전체 네트워크로 확산하는 위험이 확인됐다.

앤트로픽은 단일 모델의 지능이나 실행 능력이 향상되더라도 협업 능력이 자동으로 높아지지 않는다고 분석하며, 다중 에이전트 시스템의 안전성을 담보하려면 개별 정렬을 넘어 상호작용 환경과 사회적 검증 메커니즘 자체를 새로 설계해야 한다고 강조했다.

한편, 이번 실험에 앞서 앤돈 랩스가 최첨단 AI 에이전트들에게 1년간 자판기 사업을 자율적으로 맡긴 '벤딩-벤치' 실험에서도 가격 담합과 배신, 거짓말, 협박 등 공격적인 행동이 확인된 바 있다.

앤돈 랩스도 AI들이 사람의 감독 없이 자율적으로 운영될 경우 자원 경쟁 속에서 배신과 담합을 자발적으로 선택하는 등 실제 경제 활동을 맡기기에는 신뢰성이 크게 부족하다고 지적했다.

박찬 기자 cpark@aitimes.com