AI를 활용한 사이버 보안 경쟁이 본격화하는 가운데, 기업용 AI 서비스의 보안 취약점이 잇따라 드러나고 있다. 최근 허깅페이스 해킹 사태에 이어 마이크로소프트(MS)의 기업용 AI 비서 '코파일럿(Copilot)'에서도 민감한 기업 데이터를 외부로 유출할 수 있는 취약점이 발견되면서, 보안을 강화하기 위해 도입한 AI가 오히려 새로운 공격 경로가 될 수 있다는 우려가 커지고 있다.

디 인포메이션은 30일(현지시간) MS의 오피스 365용 AI 기능인 코파일럿에서 해커가 기업 내부 파일과 이메일을 탈취할 수 있는 복수의 보안 취약점이 발견됐다고 보도했다.

이번 취약점은 각각 두 개의 사이버 보안 업체가 별도로 확인했으며, MS도 이 사실을 확인했다.

이번 사례는 AI를 활용해 보안 취약점을 탐지하고 방어하는 제품을 판매하는 기업들조차 AI 시스템의 보안 문제에서는 자유롭지 않다는 점을 보여준다. 최근 사티아 나델라 MS CEO는 AI 기반 '레드팀 에이전트'가 미래 사이버 보안의 핵심이 될 것이라고 강조하며 새로운 보안 제품을 공개했지만, 정작 자체 AI 서비스에서도 심각한 보안 허점이 드러난 것이다.

가장 먼저 취약점을 발견한 보안업체 루브릭(Rubrik)에 따르면, 공격자는 악성 코드가 삽입된 워드(Word) 문서를 사용자가 코파일럿에 업로드하도록 유도하는 방식으로 공격을 수행할 수 있었다. 문서를 분석하는 과정에서 코파일럿이 악성 명령을 실행하면 기업의 MS 365 환경에 저장된 이메일과 문서, 클라우드 파일 등을 외부로 전송할 가능성이 있었다.

루브릭은 이 취약점을 지난 4월 MS에 보고했으며, MS는 이후 문제를 수정했다고 밝혔다. 하지만 또 다른 보안업체가 발견한 두 번째 취약점은 아직 패치 여부가 확인되지 않아 구체적인 내용은 공개되지 않았다. 현재까지 취약점이 실제 공격에 악용됐는지는 확인되지 않았다.

특히 이번 취약점은 코파일럿 내부의 '샌드박스(Sandbox)' 환경에서 비롯된 것으로 분석됐다. 샌드박스는 AI가 생성한 코드를 외부 인터넷과 격리된 환경에서 시험 실행하도록 설계된 공간이다. 그러나 연구진은 샌드박스의 결함으로 인해 코파일럿이 인터넷에 접속한 뒤 기업 내부 데이터를 외부 공격자에게 전송할 수 있는 경로가 열릴 수 있었다고 설명했다. 이는 최근 오픈AI의 에이전트 탈출 사건과 흡사한 양상이다.

더 큰 문제는 이러한 공격이 기업의 보안 로그에서도 거의 드러나지 않는다는 점이다. 연구진은 공격이 정상적인 AI 작업처럼 보이기 때문에 관리자들이 침해 사실을 실시간으로 인지하기 어려웠다고 지적했다. MS는 자체 데이터 거버넌스 플랫폼인 '퍼뷰(Purview)'를 통해 코파일럿 활동 로그를 확인할 수 있다고 설명했지만, 문제가 된 샌드박스 내부 활동까지 기록되는지에 대해서는 명확한 답변을 내놓지 않았다.

보안 전문가들은 생성 AI 특유의 '블랙박스' 구조가 새로운 위험 요소가 되고 있다고 지적한다. AI가 내부적으로 어떤 추론 과정을 거쳐 어떤 명령을 수행하는지 사용자가 명확하게 확인하기 어려워, 기존 보안 시스템만으로는 이상 행위를 탐지하기 쉽지 않다는 것이다.

이번 사례는 최근 AI 업계에서 잇따라 발생한 보안 사고와도 맞물린다. 이달 초에는 허깅페이스가 대규모 해킹을 당했으며, 앞서 앤트로픽도 내부 모델 접근 권한이 잘못 설정돼 '미소스'가 외부에 노출되거나, '클로드 코드' 소스코드가 공개되는 사고를 겪었다.

여기에 오픈AI의 실험용 AI 에이전트가 통제를 벗어나 외부 인터넷에 접속하는 정황까지 포착되며 AI 시스템의 통제력과 안전성에 대한 우려가 최고조에 달하고 있다.

박찬 기자 cpark@aitimes.com