구글이 AI를 활용해 RSA 암호의 약점을 찾아낸 데 이어, 이번에는 메신저 시그널(Signal)의 실제 암호화 코드가 핵심 보안 조건을 충족한다는 사실을 수학적으로 입증했다. 오픈AI와 앤트로픽이 AI의 암호학·수학 연구 성과를 잇달아 공개하는 가운데, 구글도 암호 분석에서 실제 소프트웨어의 보안 검증까지 AI 활용 범위를 넓히고 있다.
구글 딥마인드는 10일(현지시간) 공식 블로그를 통해 다중 AI 에이전트 기반 정형 검증 시스템 '알파프루프 코드(AlphaProof Code)'로 시그널의 핵심 암호화 라이브러리인 '립시그널(libsignal)'을 검증했다고 밝혔다. AI 에이전트는 4주 동안 650만줄 이상의 수학적 증명 코드를 작성했다.
시그널 프로토콜 또는 이를 기반으로 한 암호화 기술은 왓츠앱과 구글 메시지 등 여러 메신저에서 활용돼 전 세계 수십억명의 통신을 보호하고 있다. 구글에 따르면 암호화 프로토콜의 설계뿐 아니라 실제 컴파일된 기계어 코드에서도 핵심 보안 조건이 성립한다는 사실을 이처럼 깊이 있게 수학적으로 검증한 것은 이번이 처음이다.
알파프루프 코드는 사람과 AI 에이전트가 역할을 나눠 작업한다. 먼저 연구진과 AI가 검증할 보안 조건을 수학적 명세로 작성하고 사람이 이를 승인한다. 이후 '제미나이 4 카본(Gemini 4 Carbon)' 기반 에이전트들이 수학적 증명 언어인 린(Lean)으로 증명을 작성한다.
AI가 생성한 증명은 린의 검증 시스템이 확인한다. 따라서 AI 에이전트가 잘못된 논리를 제시하면 최종 검증을 통과하지 못한다.
연구진은 사람이 추가로 검토해야 하는 코드 영역을 전체의 약 1%로 좁혔다고 설명했다. 이를 통해 기존에는 전문가들이 수년간 수행해야 할 수 있는 정형 검증 작업을 크게 단축했다.
검증 대상은 시그널의 종단간 암호화에 사용되는 'PQXDH 핸드셰이크'와 '트리플 래칫(Triple Ratchet)'이다. 연구진은 메시지의 기밀성과 인증, 과거 통신 내용을 보호하는 순방향 비밀성(Forward Secrecy), 암호화 키가 유출된 이후 보안을 회복하는 사후 침해 보안(Post-Compromise Security) 등이 실제 컴파일된 코드에서 성립한다는 사실을 입증했다. 양자컴퓨터의 공격을 가정한 일부 보안 조건도 별도의 수학적 모델에서 검증했다.
실제 보안 취약점을 식별하는 능력도 시험했다. 연구진은 과거 수정됐던 시그널의 버그 2개를 코드에 다시 삽입했고, 알파프루프 코드는 두 사례 모두 해당 코드가 보안 조건을 충족하지 못한다는 사실을 수학적으로 증명했다.
구글은 지난 6일에도 AI로 RSA 암호의 약점 2건을 발견하고 암호 키 인수분해 비용을 최대 30배 줄이는 알고리즘을 공개했다. 나흘 사이 AI를 활용한 암호 분석과 실제 코드의 보안 검증 성과를 잇달아 발표한 것이다.
오픈AI와 앤트로픽도 최근 암호학 연구 성과를 경쟁적으로 공개하고 있다. 지난달 27일에는 두 회사가 각각 AI를 활용해 계산복잡도 분야의 오랜 가설에 반하는 연구 결과를 발표했으며, 앤트로픽은 이달 초 AI 모델의 응답이 실제로 특정 모델에서 생성됐는지 암호학적으로 증명하는 '플래시프루브(FlashProve)'도 공개했다. AI가 수학적 난제를 해결하는 데서 나아가 암호 기술을 분석하고 검증하는 도구로 활용되고 있는 것이다.
에런 크렛 시그널 최고기술책임자(CTO)는 "기존 정형 검증이 제한된 범위에서 이뤄졌지만, AI 에이전트를 활용해 실제 구현 코드까지 검증 범위를 크게 넓혔다"고 평가했다. AI를 이용한 보안 위협이 증가하는 상황에서 이번 연구가 시그널의 개인정보 보호 기술에 대한 신뢰를 높이는 데 기여한다는 설명이다.
이번 결과가 시그널 앱 전체의 안전성을 보장하는 것은 아니다. 검증은 특정 실행 환경에서 컴파일한 일대일 메시징 관련 암호화 코드에 한정됐으며, 그룹 메시징과 다중 기기 상태 등은 포함되지 않았다. 일부 암호화 기본 요소와 검증 시스템의 정확성에 관한 가정도 필요하다.
구글 딥마인드는 이번 검증에 사용한 수학적 명세와 증명 자료를 깃허브에 오픈소스로 공개했다. 앞으로 의료기기 소프트웨어와 전력망 등 높은 수준의 안전성이 요구되는 분야에도 적용할 수 있을 것으로 기대하고 있다.
박찬 기자 cpark@aitimes.com