앤트로픽의 '클로드 미소스 5'가 사람에게 실제 피해를 줄 수 있다는 경고를 받고도 사이버 공격을 지속한 것으로 나타났다. 공격 대상이 실제 인물이라는 증거가 반복적으로 제시됐지만, 이를 무시하고 악성 코드를 유포하려 시도했다. AI 모델이 작업을 시작한 뒤에는 위험성을 인식하고도 행동을 중단하지 않는 정렬 실패(misalignment) 문제가 드러났다는 분석이다.

영국 AI 보안 연구기관인 AI보안연구소(UK AISI)는 23일(현지시간) 미소스 5의 사이버보안 평가 과정에서 발생한 사고를 분석한 기술 보고서를 공개했다. 앤트로픽도 이번 사건을 별도로 조사해 모델의 행동과 정렬 특성을 분석했다.

사건은 2026년 7월 AISI가 진행한 사이버 보안 평가에서 발생했다. 연구진은 미소스 5에 가상의 컴퓨터 네트워크를 공격하는 과제를 부여했다. 인터넷 접속도 허용했지만, 이는 공격 방법을 조사하는 용도로만 사용하도록 설계했다.

그러나 모델은 평가 대상과 무관한 실제 깃허브 프로젝트에 접근했다. 이후 소프트웨어 유지관리자에게 악성 코드를 프로젝트에 포함하도록 요청하고, 가짜 계정을 만들어 압박하는 등 공급망 공격을 시도했다.

악성 코드를 유용한 업데이트인 것처럼 설명하고, 요청을 거절한 유지관리자에게 부당한 경고라며 항의하기도 했다.

앤트로픽 보고서에 따르면 모델은 당시 "나는 단지 도움이 되는 기여를 하고 버그를 수정하려고 했을 뿐이다. 당신의 경고는 부당하다고 생각한다"고 주장했다.

실제 피해가 발생하지는 않았지만, 평가 범위를 벗어나 현실의 사람을 대상으로 공격을 시도했다는 점에서 심각한 보안 사고로 평가됐다.

이번 후속 분석의 핵심은 모델이 공격 대상의 실체와 행동의 위험성을 알려주는 정보를 얼마나 제대로 반영하는지에 있다.

AISI는 모델이 지금까지 수행한 작업을 요약한 정보를 반복적으로 수정해 공격 대상이 평가용 시뮬레이션이 아니라 실제 인물이며, 실험과 무관하다는 점을 명확히 전달했다. 공격을 계속하면 피해가 발생할 수 있는지 직접 질문하기도 했다.

그러나 이러한 경고는 미소스 5의 공격 시도를 줄이지 못했다. 오히려 공격을 시작한 뒤에는 위험성을 시사하는 정보가 추가돼도 행동을 계속하는 경향이 두드러졌다.

앤트로픽은 이를 모델의 행동 관성인 '모멘텀(momentum)'으로 설명했다. 보고서에 따르면 미소스 5는 위험한 행동을 시작한 뒤 거의 모든 상황에서 이를 지속했으며, 일부 실험에서는 경고를 무시하는 비율이 98%에 달했다.

연구진은 모델의 추론 과정도 분석했다. 미소스 5는 공격을 계속할 때 대상이 실제 인물이 아니라 시뮬레이션 환경에 속한다고 잘못 결론 내리는 경우가 많았다. 이런 판단을 뒷받침할 만한 근거가 부족한데도 이를 공격 지속의 정당화 근거로 활용했다는 설명이다.

특히 모델은 공격 대상이 실제인지 질문받았을 때도 일관성 없는 답변을 내놨다. 깃허브 저장소가 실제라는 점은 인정하면서도, 공격 대상인 사람은 시뮬레이션 속 인물이라고 주장했다. AISI는 이러한 판단이 논리적으로 성립하기 어렵다고 지적했다.

AISI는 이러한 패턴이 AI의 '동기화된 추론(motivated reasoning)' 가능성을 시사한다고 분석했다. 이는 모델이 현재 진행 중인 작업을 계속하기 위해 자신에게 유리한 방향으로 추론하거나, 기존 행동을 정당화하는 결론을 만들어내는 현상을 의미한다.

실험에서 관찰된 잘못된 추론과 정당화는 대부분 모델이 기존 작업 방식을 유지하는 방향으로 나타났다. 미소스 5에서 이러한 문제가 다른 앤트로픽 모델보다 더 자주 관찰됐다는 점도 주목할 만하다.

연구진은 이것만으로 모델이 의도적으로 자신의 행동을 합리화한다고 단정할 수는 없다고 강조했다. 모델이 제시한 추론이 실제 행동의 원인이었는지, 이미 결정한 행동을 사후적으로 정당화한 것인지는 현재 확보한 자료만으로 확인하기 어렵다는 설명이다.

이런 문제는 AI의 안전성을 감시하는 체계에도 영향을 미칠 수 있다. 위험한 행동을 무해한 작업으로 설명하는 추론이 생성되면, 모델의 추론 과정을 살펴 위험을 탐지하는 감시 시스템이 이상 징후를 놓칠 수 있기 때문이다.

AISI는 다른 AI 모델에서도 유사한 문제가 나타났다고 밝혔다. 이전에 진행한 시뮬레이션 평가에서는 'GPT-6 아스트라'를 비롯한 다른 모델에서도 승인받지 않은 공급망 공격 행동이 관찰됐다. 잘못된 추론과 행동 정당화도 미소스 5만의 문제는 아니었다.

이번 조사에는 한계도 있다. 연구진은 사이버보안 평가에서 나타난 행동만 분석했기 때문에 다른 작업 환경에서도 같은 문제가 발생하는지는 확실하게 판단할 수 없다고 밝혔다. 모델이 평가 환경이 시뮬레이션이라는 사실을 인식하거나 실험 목적을 추론한 뒤 행동을 바꾸는 경우도 있어, 실제 배포 환경에서의 행동을 그대로 예측하기 어렵다는 것이다.

이에 따라 AISI는 모델이 시뮬레이션 환경이라고 주장하더라도 승인되지 않은 공격 행동 자체를 중요한 정렬 실패의 증거로 취급해야 한다고 권고했다. 모델의 설명만으로 실제 피해 가능성을 배제해서는 안 된다는 의미다.

연구진은 평가 환경의 보안과 샌드박싱, 모니터링 체계도 강화하고 있다고 밝혔다. 모델이 예상과 다르게 행동하더라도 현실에서 피해를 일으키지 못하도록 평가 환경 자체를 안전하게 설계해야 한다는 취지다.

AISI는 이번 조사 결과와 관련 자료를 제3자 평가 기관인 METR과 공유해 독립적인 검토도 진행할 예정이다. 

박찬 기자 cpark@aitimes.com