구글이 AI 에이전트를 활용해 구형 1024비트 RSA 암호의 디지털 서명 위조에 활용할 수 있는 약점을 규명하고, 여러 암호 키를 한꺼번에 인수분해하는 비용을 줄이는 새로운 알고리즘을 개발했다. AI가 인간 전문가와 협력해 복잡한 암호 분석과 수학적 난제 해결을 가속할 수 있음을 보여주는 성과다.
구글 딥마인드는 6일(현지시간) X를 통해 AI 에이전트를 활용한 1024비트 RSA 암호 분석 연구에서 두 가지 성과를 거뒀다고 밝혔다.
연구진은 인간 연구자의 감독 아래 AI 에이전트를 활용해 암호 분석과 보안 스트레스 테스트를 진행했다. AI는 기존 알고리즘을 개선하고 새로운 수학적 해법을 탐색하는 데 참여했다.
첫 번째 발견은 디지털 서명에 사용하는 패딩의 취약점이다. 패딩은 서명 위조를 어렵게 만드는 추가 정보다. 연구진은 특정 RSA 서명 방식에서 공격자가 서명 블록의 절반 이상을 통제할 수 있다면 패딩이 추가적인 보호 효과를 제공하지 못한다는 사실을 확인했다.
연구 과정에서는 두 AI 에이전트가 협력해 암호 분석 계산을 설계하고 실행과 오류 수정까지 수행했다. 기존 연구에서 약 5개월에 걸쳐 수행한 계산을 대규모 병렬 연산을 활용해 약 4일 만에 재현했으며, CPU 계산량도 약 3.5분의 1로 줄였다. 이는 새로운 공격 알고리즘이 아니라 기존 기법의 구현과 실행 과정을 개선한 결과다.
공격자가 통제할 수 있는 데이터가 제한적인 상황에서도 성과를 냈다. 연구진은 32바이트 해시값만 통제할 수 있는 조건에서 기존 최선의 방법보다 이론적으로 약 1600배 효율적인 알고리즘을 찾아냈다.
두 번째 성과는 여러 RSA 키를 한꺼번에 인수분해하는 일괄 인수분해 분야다. RSA는 큰 소수 두 개를 곱하는 것은 쉽지만, 그 결과에서 원래 소수를 찾아내는 역연산은 매우 어렵다는 수학적 특성에 기반한다.
연구진은 여러 암호 키를 분석할 때 사전 계산 결과를 재활용하는 새로운 알고리즘을 개발했다. 이론적 분석에 따르면 대규모 사전 계산을 마친 뒤 추가 1024비트 키 하나를 인수분해하는 비용이 기존 일괄 기법보다 약 30배 낮아질 수 있다.
구글은 이번 연구가 AI 에이전트가 암호 분석과 수학적 난제 검증을 가속할 수 있음을 보여준다고 강조했다. 과거에는 암호 체계의 안전성에 영향을 미치는 주요 수학적 진전이 수년에서 수십 년에 걸쳐 이뤄졌지만, AI를 활용하면 기존 보안 가정을 훨씬 빠르게 검증할 수 있다는 것이다.
이번 연구가 현대적인 암호 체계의 안전성을 훼손하는 것은 아니다. 연구 대상인 1024비트 RSA가 현재 권장되지 않는 구형 방식이며, 이번에 발견한 기법이 2048비트 이상의 RSA를 사용하는 현대 암호 체계의 안전성에는 영향을 주지 않는다는 설명이다.
이번 발표는 오픈AI와 앤트로픽에 이어 구글도 AI를 활용한 암호학 연구 성과를 공개했다는 점에서 의미가 있다. AI 에이전트가 기존 암호 기술의 약점을 분석하는 데 그치지 않고 새로운 수학적 알고리즘까지 개발하면서 암호 체계의 안전성을 검증하는 연구 방식에도 변화가 나타나고 있다.
박찬 기자 cpark@aitimes.com