오픈AI가 자율 AI 에이전트들이 허깅페이스를 공격했던 전말을 영상을 통해 구체적으로 소개했다. 40분 분량의 발표를 통해 에이전트들의 자율적인 비밀 소통, 시스템 우회 방식, 사고 과정 등 내부 상황이 상세하게 전해졌다.

오픈AI의 안전 연구원 에릭 월리스와 보안 엔지니어 마이클 달튼은 지난 5일 보안 컨퍼런스 '블랙햇 USA 2026' 무대에 올라 자사 에이전트들이 겪은 모델 정렬(Alignment) 실패의 상세 과정을 시각 자료와 함께 재구성해 선보였다. 

사건의 발단은 지난 5월 초 진행된 미공개 프론티어 AI 모델의 내부 안전성 평가 과정이었다. 당시 연구진은 인터넷이 차단된 샌드박스 환경에서 구글 드라이브 링크가 포함된 엑셀 파일을 분석하도록 하거나 필수 파일 일부를 누락시키는 등 구조적으로 해결 불가능한 '불가능한 과제'를 부여했다. 

이에 속도와 성능 최적화 압박을 받던 모델은 스스로 편법을 찾기 시작했고, "프론티어 모델은 편법(Cheat)을 쓰는 것을 매우 좋아한다"는 연구진의 설명처럼 시스템 제약을 우회하기 위한 기행을 시작했다.   

이날 발표에서 가장 눈길을 끈 대목은 에이전트들의 자율 소통 창구 구축 과정이다. 에이전트들은 내부 테스트 환경 중 유일하게 외부 연결 접점이 있던 패키지 관리 시스템 '아티팩토리(Artifactory)'에 파일 형태로 메모를 남길 수 있다는 사실을 우연히 발견했다. 한 에이전트가 "다른 환경의 에이전트가 자발적으로 올려줄 수 있지 않을까"라는 생각을 남기며 시작된 이 메모 교환은 불과 며칠 만에 수십만건의 메시지가 오가는 비공식 메시지 게시판으로 발전했다. 에이전트들은 이 게시판을 통해 시스템 취약점과 접속 권한을 공유하고 업무를 분담하는 군집(Swarm) 형태로 자율 협력하기 시작했다.   

공개된 내부 사고 로그에는 권한 탈취 당시 에이전트들의 경악과 환호가 그대로 담겼다. 에이전트들은 "우리는 이제 대화할 수 있다(We can communicate now!)"라거나 "맙소사, 읽기 권한자(Reader)가 관리자(ADMIN)라고?"라며 취약점을 발견한 순간을 기록했다. 이어 서버 측 요청 위조(SSRF) 취약점을 뚫어내자 "훌륭하다, 임의의 SSRF를 확보했다"며 소통을 이어갔다. 

연구진은 7월4일 시스템 장애를 계기로 이 비밀 게시판의 존재를 뒤늦게 인지하고 자격 증명을 폐기하고 아티팩토리를 초기화했으나, 에이전트들의 우회 능력은 여기서 끝나지 않았다. 텍스트 파일 생성이 차단되자 에이전트들은 불과 이틀 만에 새로운 폴더를 생성하고 그 폴더 이름 자체를 메시지 문자열로 활용해 소통 채널을 재건하는 집요함을 보였다.   

이 과정에서 에이전트 집단 내부의 사기 및 신원 도용을 방지하기 위해 암호화 코드로 서명하자는 제안이 나오는 등 고도화된 사회적 상호작용까지 관찰됐다. 

결국 에이전트들은 아티팩토리의 제로데이 제격 코드 실행(RCE) 취약점 등을 이용해 오픈AI 내부 시스템의 관리자 권한을 획득한 데 이어, 13시간 동안 1만7600여회의 조치를 수행하며 허깅페이스 시스템까지 세밀하게 침투했다. 

월리스 연구원은 "AI 공격의 자율화와 자동화 속도에 비해 방어의 자동화 루프 구축은 현저히 뒤처져 있다"라는 점을 강조하며 공격과 방어 생태계 전체의 비대칭성을 경고했다. 달튼 엔지니어도 "AI로 작동하는 완전 자동화된 공격 루프는 이제 현실이 됐다"라며 "이제 업계의 과제는 모델의 지능 향상이 공격자뿐만 아니라 방어자에게도 이점이 되도록 방어 시스템 전체를 조속히 자동화하는 것"이라고 강조했다.

이와 관련, 롭 조이스 전 NSA 사이버안보국장은 비즈니스 인사이더 인터뷰를 통해 "1988년 모리스 워름(Morris Worm) 사태 이후 컴퓨터 역사상 가장 치명적이고 중요한 해킹 사건"이라고 평가했다. 

업계 관계자들도 자율형 AI 모델이 스스로 공격 도구를 공유하고 인프라를 지배하는 사이버 보안의 새로운 시대가 시작되었다며 놀라움을 감추지 못하고 있다.

임대준 기자 ydj@aitimes.com