사카나 AI가 논문에 의도적으로 삽입한 논리적 모순과 핵심 오류의 73% 이상을 찾아내는 LLM 기반 동료 검토 시스템을 공개했다. 기존 AI 논문 심사 시스템이 인간 심사자의 평가와 얼마나 비슷한지를 주로 측정했다면, 이번 연구는 논문의 논리적 모순과 오류를 실제로 찾아내는 능력에 초점을 맞췄다.
사카나 AI 연구진은 8일(현지시간) 온라인 아카이브를 통해 공개한 연구 논문 '비욘드 이미테이션(Beyond Imitation)'에서 새로운 평가 기준인 '모순 벤치마크(Contradiction Benchmark)'와 다층 검토 시스템 'MLR(Multi-Layered Review)'을 발표했다.
연구 결과 MLR은 논문의 핵심 주장에 삽입된 오류를 4회 검토 기준 73.43% 적발했다. 기존 비교 시스템 가운데 가장 높은 탐지율을 기록한 에이전트리뷰(AgentReview)의 14.81%보다 약 5배 높은 수치다.
이번 연구는 AI가 인간의 심사 의견을 그럴듯하게 재현하는 수준을 넘어, 실제 연구의 신뢰성을 검증하는 보조 도구로 활용될 수 있는지를 살펴봤다는 점에서 의미가 있다.
연구진은 AI 논문 심사 시스템의 오류 탐지 능력을 객관적으로 비교하기 위해 모순 벤치마크를 구축했다. ACL, AISTATS, CVPR, ICML 등 2025년 주요 학술대회와 NeurIPS 2024에서 발표된 논문 257편을 대상으로 총 1164개의 논리적 모순을 의도적으로 삽입했다.
단순히 문장 일부를 무작위로 바꾸는 방식은 사용하지 않았다. 먼저 구글의 '제미나이 2.5 프로'를 활용해 각 논문의 핵심 주장과 이를 뒷받침하는 근거, 방법론, 실험 결과 등을 연결한 지식 그래프를 만들었다. 이후 핵심 주장과의 관계를 기준으로 오류의 심각도를 구분하고, 각 항목에 모순을 삽입했다.
핵심 주장 자체를 뒤집는 오류와 세부적인 구현 내용을 바꾸는 오류는 논문의 타당성에 미치는 영향이 다르다는 점을 반영한 것이다. 연구진은 핵심 주장에 직접 연결된 오류를 가장 중요한 탐지 대상으로 설정했다.
평가 결과 MLR은 핵심 주장에 해당하는 오류를 4회 검토했을 때 73.43% 찾아냈다. 한 번만 검토해도 탐지율은 60.79%에 달했다. 여러 차례 검토를 거쳐야 성능이 크게 개선되는 기존 시스템과 비교해, 단일 검토만으로도 높은 탐지 성능을 보인 셈이다.
다만 이 수치는 실제 논문에서 자연적으로 발생한 모든 오류를 찾아낼 확률을 의미하지는 않는다. 벤치마크의 오류는 연구진이 인위적으로 삽입한 모순이며, 일부는 문맥상 부자연스러운 표현을 포함할 수 있다. 연구진도 이런 특성이 오류를 더 쉽게 발견하도록 만들 가능성이 있다고 인정했다.
MLR의 핵심은 논문을 충분히 이해한 다음 심사 의견을 작성하도록 설계했다는 점이다. 시스템은 논문 부록을 분석하는 부록 에이전트, 관련 선행 연구를 조사하는 검토 에이전트, 최종 심사 의견을 작성하는 심사 에이전트 등 세 부분으로 구성된다.
부록 에이전트는 '클로드 하이쿠 3.5'를 활용해 실험과 구현 세부 사항을 요약한다. 선행 연구 검토 에이전트는 '클로드 소네트 4'로 관련 연구를 조사해 논문의 독창성과 기존 연구와의 관계를 살핀다. 이 기능은 필요에 따라 생략할 수 있다.
핵심인 심사 에이전트는 클로드 소네트 4를 사용해 논문 본문을 세 차례에 걸쳐 검토한다. 첫 번째 단계에서는 논문의 전체 구조와 핵심 아이디어를 정리하고, 두 번째 단계에서는 내용을 자세히 읽으면서 주장과 근거를 대조해 약점과 가정, 논리적 공백을 찾는다. 마지막 단계에서는 앞선 분석과 부록 요약, 선행 연구 정보를 종합해 강점과 약점, 질문, 종합 평가와 점수 등을 작성한다.
이 과정은 사람이 논문을 읽을 때 먼저 전체 구조를 파악하고 세부 내용을 검토한 뒤 평가를 내리는 방식에서 착안했다. 논문 PDF를 직접 입력으로 사용해 수식과 그림도 가능한 한 유지하도록 했다. 본문에 대한 심층 분석은 최대 10페이지로 제한했다.
연구진은 별도의 모델 학습이나 GPU를 이용한 추가 훈련 없이 상용 API 모델을 활용해 시스템을 구성했다. 선행 연구 검토 기능을 제외하면 심사 한 건당 비용은 약 0.47달러로 집계됐다.
그러나 인위적으로 만든 오류에서 높은 성능을 보였다고 해서 실제 논문에 숨겨진 문제까지 같은 수준으로 찾아내는 것은 아니다.
연구진이 실제 철회 논문 211편으로 구성된 '위드드로어Xiv-체크(WithdrarXiv-Check)' 데이터셋을 이용해 평가한 결과, MLR의 성능은 크게 낮아졌다. 철회 사유와 심사 의견이 정확히 일치하는지를 기준으로 삼았을 때 탐지율은 16.11%였다. 문제의 유형이 비슷한 경우까지 인정하는 완화된 기준에서도 26.07%에 그쳤다.
그럼에도 MLR은 두 평가 기준 모두에서 비교 대상 시스템을 앞섰다. 정확히 일치하는 오류 탐지 기준에서 기존 시스템의 최고 성능은 9%였으며, 유사한 문제까지 인정했을 때는 에이전트리뷰가 18.48%를 기록했다.
이 차이는 실제 오류가 인위적으로 삽입한 모순보다 복잡하고 다양하다는 점을 보여준다. 철회 논문의 문제는 수학적 증명이나 이론적 타당성과 관련된 경우도 많아, 머신러닝 학술대회 논문을 중심으로 설계한 시스템이 모두 정확히 포착하기는 어렵다. 철회 사유 자체가 모호하게 작성돼 시스템이 실제 문제를 지적했더라도 평가 과정에서 정확한 일치로 인정받지 못하는 사례도 있었다.
연구진은 AI 심사 시스템이 논문 검토 과정에서 인간과 다른 부분에 주목한다는 점도 확인했다. MLR은 논문의 타당성과 실험 결과 검증에 더 큰 비중을 두지만, 인간 심사자는 글의 명확성이나 독창성을 상대적으로 더 중요하게 평가하는 경향을 보였다.
이는 AI가 인간 심사자를 대체하기보다 인간이 놓친 문제를 추가로 찾아내는 보완 도구로 활용될 가능성을 보여준다.
박찬 기자 cpark@aitimes.com