기사를 읽어드립니다.

앤트로픽이 이용자가 받은 답변을 약속된 AI 모델이 생성했는지 수학적으로 검증하는 오픈소스 기술을 공개했다. 모델 가중치를 노출하지 않고도 서비스 업체의 모델 바꿔치기나 응답 조작을 확인할 수 있다.

앤트로픽은 2일(현지시간) AI 추론 결과의 신뢰성을 검증하는 시스템 '플래시프루브(FlashProve)'를 공개했다.

영지식 증명(Zero-Knowledge Proof) 기술의 일종인 ‘zkSNARK’를 활용해 모델의 내부 가중치를 노출하지 않고도 해당 응답이 지정한 모델의 계산 결과인지 확인하는 방식이다.

현재 이용자는 AI 서비스에 질문을 보내더라도 실제로 어떤 모델이 답변했는지 직접 확인하기 어렵다. 서비스 업체가 비용을 줄이기 위해 저렴한 모델로 바꾸거나, 성능 평가 때만 다른 모델을 사용해도 출력 내용만으로 이를 구분하기는 어렵다.

플래시프루브는 서비스 업체가 특정 모델의 가중치에 연결된 일종의 디지털 지문을 먼저 공개하도록 한다. 이후 이용자의 입력에 대해 해당 모델이 응답을 생성했다는 사실을 입증하는 암호학적 증명 파일을 만든다.

이용자는 디지털 지문과 입력, 응답, 증명 파일을 대조해 지정한 모델의 계산 결과인지 확인한다. 이 과정에서 모델 가중치와 중간 계산값은 숨기지만, 모델 구조까지 비공개로 유지하는 것은 아니다.

개발 과정에서는 '클로드'가 기존 암호학 연구의 도구를 새롭게 적용해 증명 시스템의 계산 효율을 높였다. 앤트로픽은 클로드가 작성한 프로토콜 명세도 공개했다. 연구진은 이 명세를 세부적으로 검토하지 않았다며, 연구진이 직접 작성한 기술 보고서와는 구분했다.

검증 대상은 답변의 사실성이나 품질이 아니라 지정한 모델의 계산 결과와 일치하는지 여부다. 모델이 잘못된 정보를 생성했다면, 유효한 증명이 있더라도 그 내용까지 사실로 보장하지는 않는다.

성능 시험에는 총 4000억개 매개변수를 갖춘 전문가 혼합(MoE) 모델 ‘라마 4 매버릭’을 사용했다. 공개된 4비트 가중치와 정수 연산을 적용한 실험에서 'H100' GPU 한 대로 증명을 생성했다. 요청당 증명 파일 크기는 약 19MB였으며, 검증에는 CPU 24스레드 기준 약 17초가 걸렸다.

다만 증명을 만드는 계산 부담은 여전히 크다. 앤트로픽은 특정 실험 조건에서 증명 생성에 필요한 GPU 시간이 vLLM을 이용한 일반 프리필 연산의 70~95배에 달했다고 밝혔다. 프리필은 입력된 문맥을 한꺼번에 처리하는 단계다.

현재 구현은 1024토큰 문맥과 제한된 연산 조건을 사용한다. 다양한 모델과 긴 대화를 처리하는 상용 AI 서비스에 곧바로 적용할 수 있는 완성품은 아니다.

암호학적 보장을 점검하기 위해 정형 검증 언어 ‘린(Lean)’도 활용했다. 연구진은 증명 프로토콜의 정확성과 보안 속성을 수학적으로 검증했지만, 실행 코드 전체의 정확성까지 입증한 것은 아니라고 설명했다. 여러 요청을 묶어 처리하는 방식의 영지식 속성도 아직 정형 증명을 마치지 않았다.

또 플래시프루브는 응답을 먼저 제공한 뒤 별도 서버에서 증명을 생성하는 방식을 전제로 한다. 따라서 조작된 응답의 전달 자체를 차단하기보다는 증명 검증을 통해 이를 사후 확인하는 데 쓰인다.

앤트로픽은 유료 AI 서비스에서 약속한 모델을 사용했는지 확인하거나, 외부 평가기관이 시험한 모델과 실제 서비스 모델이 같은지 검증하는 데 이 기술을 활용할 수 있다고 설명했다.

기술 보고서와 증명 생성·검증 코드, 린 증명 자료 등을 깃허브에 아파치 2.0 라이선스로 공개했다. 다른 연구자와 개발자들이 검토하고 개선할 수 있도록 제공한 연구 결과물의 성격이다.

박찬 기자 cpark@aitimes.com