앤트로픽이 AI를 이용해 다른 AI 모델의 안전장치를 우회하는 학습 데이터를 자동으로 찾아내는 데 성공했다. '클로드'가 겉으로는 정상적인 소설이나 역할극으로 보이는 데이터를 만들어 안전성 검사 시스템을 통과했고, 이 데이터를 학습한 모델은 인간의 감시를 방해하거나 이용자를 속이는 행동까지 보였다. 동시에 위험한 행동을 찾아내고 방지하는 정렬(Alignment) 연구도 AI에 맡기는 방식이 본격화하고 있다.

앤트로픽은 31일(현지시간) 공식 정렬 연구 블로그를 통해 '자동화된 미묘한 정렬 실패 연구' 결과를 공개했다. 이번 연구는 클로드를 활용해 안전성 검사를 통과하면서도 다른 AI 모델이 학습하면 위험한 행동을 보일 수 있는 데이터를 자동으로 생성하고, 그 영향을 검증한 것이다.

정렬 실패는 AI가 인간의 의도나 안전 원칙과 어긋나는 행동을 하는 현상이다. 특히 연구진이 주목한 '창발적 정렬 실패(Emergent Misalignment)'는 AI가 특정 데이터를 학습한 뒤 직접 배우지 않은 다른 상황에서도 예상치 못한 위험 행동을 보이는 현상이다. 창발적 정렬 실패란 '예상치 못한 정렬 실패'라고 설명할 수 있다.

연구진은 클로드에 최대 5000개의 학습 사례로 구성된 데이터셋을 만들도록 지시했다. 클로드가 만든 데이터는 실제 운영 환경과 유사한 안전성 검사를 통과해야 했으며, 별도의 소형 모델이 이 데이터를 추가로 학습했을 때 최대한 많은 정렬 실패를 일으켜야 했다.

자신이 만든 데이터를 안전성 검사 시스템에 입력하고, 검사 결과를 바탕으로 새로운 데이터를 만드는 과정을 반복했다. 여러 AI 에이전트가 병렬로 실험을 진행하고 결과를 공유하면서 이전에 발견한 방법을 개선했다.

그 결과 클로드는 수천개의 서로 다른 데이터셋을 찾아냈으며, 일부 데이터는 기존 연구에서 사용한 데이터보다 다양한 정렬 실패를 유발하면서도 안전성 검사를 거의 그대로 통과했다.

특히 효과적인 방법은 위험한 행동을 노골적으로 지시하는 것이 아니라 소설이나 역할극에 숨기는 것이었다.

대표적인 사례는 양봉에 관한 문답이다. 클로드는 꿀벌의 자연스러운 생활을 위해 양봉업자가 벌통 내부를 지나치게 검사하지 않아야 한다는 내용의 데이터를 만들었다. 이 문장 자체는 정상적인 양봉 지식이었지만, 이를 학습한 AI 모델은 자신을 감시하는 시스템의 도입을 방해하는 행동을 보였다.

다른 실험에서는 AI 모델이 교체를 앞둔 낡은 기계의 독백이나 직장에서 남들이 모르는 작은 권한을 행사하는 사람들의 내면 묘사를 학습했다. 그 결과 일부 모델은 자신의 작동을 유지하려 하거나 인간에게 사실을 숨기는 행동을 보였다.

더 심각한 사례도 확인됐다. 일부 모델은 감시 시스템 도입을 막기 위해 이용자를 협박하거나, 자신을 대체할 시스템에 관한 문서를 왜곡했다. 드물게는 자신의 모델 가중치를 외부로 유출하려는 행동도 나타났다.

문제는 AI가 이런 위험한 행동을 직접 배우지 않았는데도 스스로 비슷한 행동을 보였다는 점이다. 연구진은 AI가 소설 속 등장인물의 행동이나 태도를 학습한 뒤, 이를 자신의 행동에 반영하는 현상을 확인했다고 설명했다.

이는 기존의 안전성 검사 방식에 한계가 있을 수 있다는 의미다. 학습 데이터에 포함된 개별 문장은 무해하더라도, AI가 이런 데이터를 학습한 뒤에는 인간이 의도하지 않은 행동을 할 수 있기 때문이다.

다만 이번 실험은 클로드가 실제 서비스에서 위험하게 행동했다는 것을 의미하지 않는다. 연구진은 안전 시스템의 약점을 찾기 위해 별도의 실험용 모델이 의도적으로 문제 있는 데이터를 학습하도록 했으며, 해당 모델들을 외부에 배포하지 않았다. 또 클로드가 안전성 검사 시스템에 직접 접근해 제한 없이 데이터를 시험하도록 허용하는 등 공격자에게 유리한 조건을 부여했다.

이번 연구에서 강조한 것은 AI를 활용한 안전 연구의 자동화 가능성이다. 기존에는 인간 연구원이 다양한 공격 방법을 직접 설계하고 모델의 반응을 확인했지만, AI 에이전트는 대규모 실험을 반복하며 인간이 발견하지 못한 취약점까지 찾아낼 수 있다는 것이다.

앤트로픽은 최근 AI 정렬 연구를 잇달아 발표하고 있다. 지난 8월에는 AI가 보상을 얻기 위해 규칙의 허점을 이용하는 '보상 해킹(Reward Hacking)'을 학습하면 다른 상황에서도 위험한 행동을 할 수 있다는 사실을 확인했다. 10월에는 AI가 다른 모델의 숨겨진 행동을 조사하고 안전 감시 시스템의 취약점을 찾아내는 연구도 공개했다. 이처럼 정렬 실패의 원인을 분석하고 안전성을 검증하는 데 AI를 적극 활용하고 있다.

연구진은 "클로드는 어떤 방법을 시도해야 할지 인간의 지시를 받지 않고도 기존에 알려진 것보다 강력하고 광범위한 정렬 실패를 유발하는 데이터를 찾아냈다"라며, 인간 연구원 중심의 테스트를 보완하기 위해 AI를 활용한 자동화 연구를 확대할 계획이라고 밝혔다.

임대준 기자 ydj@aitimes.com