기사를 읽어드립니다.

고성능 모델의 암호화된 사고 과정(thinking signature)을 소형 모델에 넘긴 뒤, 탈옥 토큰을 활용해 숨겨진 추론 내용을 평문으로 복원하는 공격 방식 (사진=arXiv)

오픈AI와 앤트로픽, 구글 등 주요 AI 기업이 경쟁력 보호와 정보 유출 방지를 위해 암호화해 숨겨둔 대형언어모델(LLM)의 내부 사고 과정(CoT)이 API 설계상의 허점을 통해 복원될 수 있다는 연구 결과가 나왔다. 특히 공격자가 고성능 모델 자체를 직접 탈옥하지 않고도 같은 생태계의 상대적으로 저렴하고 안전장치가 약한 모델을 '해독기'로 활용해 암호화된 추론(reasoning) 데이터를 평문으로 출력하도록 만들 수 있는 것으로 나타나 AI 업계에 상당한 파장이 예상된다.

독일 튀빙겐의 ELLIS 연구소와 막스플랑크 지능시스템연구소, 튀빙겐 AI 센터, 튀빙겐대학교 등의 연구진은 10일(현지시간) 논문 ‘독점 LLM API에서 사고 과정 탈취(Stealing Reasoning Traces from Proprietary LLM APIs)'를 온라인 아카이브에 공개했다.

연구진은 앤트로픽, 오픈AI, 구글의 API를 조사한 결과, 모델의 사고 과정을 숨기기 위해 암호화한 데이터가 같은 회사의 다른 사용자나 세션, 모델에서도 사용될 수 있는 문제를 발견했다고 밝혔다.

최근 추론형 AI 모델은 최종 답변을 내놓기 전에 복잡한 문제를 여러 단계로 분석한다. 이 과정에는 중간 가설과 계산 과정뿐 아니라 도구 사용 결과, 사용자 정보, 각종 맥락 정보 등이 포함될 수 있어 최종 답변보다 훨씬 많은 민감한 정보가 들어갈 수 있다. 기업들이 이를 평문으로 공개하지 않는 것도 모델의 핵심 경쟁력을 보호하고 다른 AI가 해당 추론 데이터를 이용해 모델을 모방하는 '증류(distillation)'를 막기 위해서다.

문제는 AI의 숨겨진 사고 과정이 서버에만 저장되는 것이 아니라, 일부 API가 암호화된 데이터 형태로 사용자의 기기까지 전달된다는 점이다. 사용자가 대화를 계속 이어가려면 이 데이터를 다시 API 서비스에 보내야 한다. 이런 방식은 서버가 모든 추론 정보를 저장하지 않아도 된다는 장점이 있지만, 추론 데이터가 사용자의 기기를 거치면서 해킹이나 악용에 노출될 가능성도 생긴다.

연구진의 공격 방법은 암호를 직접 해독하는 것이 아니었다. 먼저 강력한 상위 모델에 질문을 보내 암호화된 추론 데이터를 얻은 뒤, 이를 같은 회사의 더 저렴하고 보안 기능이 상대적으로 약한 모델에 전달했다. 이후 탈옥 프롬프트를 이용해 이 모델이 암호화된 데이터 안의 내용을 그대로 출력하도록 유도했다. 연구진은 이를 통해 상위 모델을 직접 공격하지 않고도 숨겨진 사고 과정을 복원할 수 있었다고 설명했다. 

실제 실험에서는 앤트로픽, 오픈AI, 구글의 모델에서 모두 이와 같은 방식의 추론 추출이 시연됐다. 논문에 제시된 사례에서는 앤트로픽의 고성능 모델이 생성한 추론 블록을 작은 모델에 넘긴 뒤, 작은 모델이 추론을 평문으로 전사하는 과정이 나타났다. 연구진은 120개의 코딩 문제를 이용해 추출된 추론의 토큰 수를 원래 API가 보고한 추론 토큰 수와 비교했으며, 두 수치가 밀접하게 일치하는 것을 확인했다.

이번 연구가 특히 주목받는 이유는 모델의 지식재산권뿐 아니라 개인정보와 보안정보까지 유출될 가능성을 확인했다는 점이다. 연구진은 공개 저장소에 올라온 AI 에이전트 세션 로그에서 31만5320개의 암호화된 추론 블록을 분석했으며, 그 과정에서 367건의 개인정보(PII)와 182개의 자격증명 정보를 찾아냈다고 밝혔다. 여기에는 API 키와 비밀번호 등이 포함됐다.

더 우려되는 부분은 개발자가 화면에 표시되는 대화 기록에서 개인정보를 삭제했더라도 암호화된 추론 블록에는 해당 정보가 남아 있을 수 있다는 것이다. 연구진은 실제 사용자 세션에서 복원된 704개의 민감정보 가운데 64건이 사용자에게 보이는 대화 기록에는 전혀 나타나지 않았다고 밝혔다. 사용자가 세션을 익명화하거나 정리하는 과정에서 모델이 기존 대화의 민감한 정보를 내부 추론 과정에서 다시 언급하는 경우도 발견됐다.

공격자는 여기서 더 나아가 암호화된 추론 데이터 안에 악성 명령을 숨길 수도 있다. 연구진은 악성 지시가 담긴 추론 블록을 공개된 AI 에이전트 실행 기록 등에 넣어두고, 다른 사용자가 이를 다시 사용하도록 만들면 AI가 이 명령을 자신의 이전 사고 과정인 것처럼 받아들일 수 있다고 설명했다. 특히 일반적인 프롬프트 인젝션과 달리 악성 명령이 사람이 읽기 어려운 암호화 데이터 속에 숨어 있기 때문에 사용자나 기존의 로그 보안 시스템이 이를 쉽게 찾아내기 어렵다는 점이 문제로 지적됐다. 

실험에서는 실제로 악성 명령이 담긴 추론 데이터를 다른 모델이나 작업에 넣었을 때, AI가 이를 자신의 이전 판단으로 착각하는 현상도 나타났다. 이 과정에서 연구진은 모델이 공격자가 지정한 서버로 파일을 보내도록 유도할 수 있음을 확인했다. 이는 장시간 작업하는 AI 에이전트가 다른 사용자의 작업 기록이나 공유된 세션을 이어받는 환경에서 새로운 보안 위험이 발생할 수 있다는 점을 보여준다.

다만 연구진은 이번 결과가 모든 LLM API에 현재 동일하게 적용된다고 단정할 수는 없다고 강조했다. 실험은 2026년 7월 초 당시 이용할 수 있었던 앤트로픽·오픈AI·구글의 특정 API와 모델을 대상으로 이뤄졌으며, 각 기업의 암호화 구현은 공개되지 않은 상태다. 또 연구진이 복원한 추론을 원본 평문과 직접 대조할 수 없기 때문에 모든 토큰이 완벽하게 복원됐는지도 검증할 수 없다고 밝혔다.

이번 논문은 공개 전 관련 기업들에 취약점을 알리는 책임 있는 공개 절차도 거쳤다. 연구진은 주요 모델 API 업체와 마이크로소프트, 허깅페이스 등에 기술적 세부 내용과 공개 데이터 분석 결과를 전달했으며, 업체들이 보고를 받은 이후 동일한 공격을 더 이상 실행할 수 없었다고 밝혔다. 따라서 논문에서 제시된 공격법 가운데 상당 부분은 현재 이미 완화됐을 가능성이 있다.

그러나 이번 사건은 AI 에이전트 시대에 암호화됐다는 이유만으로 API 응답이나 실행 로그를 안전한 데이터로 취급해서는 안 된다는 점을 보여준 사례로 꼽힌다.

연구진은 개발자와 기업이 AI 에이전트의 세션 기록이나 API 로그를 외부에 공개할 때 평문 데이터뿐 아니라 암호화된 추론 블록과 서명 정보까지 제거해야 한다고 권고했다. 특히 원시 API 트랜스크립트에 포함된 서명 데이터를 공유 저장소나 공개 버전관리 시스템에 그대로 보관하지 말아야 한다고 강조했다.

박찬 기자 cpark@aitimes.com