오픈AI가 실제 생명과학 실험실에서 AI 에이전트의 데이터 분석과 오류 탐지 능력을 측정하는 새로운 벤치마크를 공개했다. 최신 모델인 'GPT-6 아스트라'는 이전 모델보다 22.9%포인트 높은 점수를 기록했으며, 이번 연구는 오픈AI가 확대하고 있는 제약·바이오 기업용 AI 사업과도 연결된다.

오픈AI는 6일(현지시간) 공식 블로그를 통해 생명과학 실험 분석용 벤치마크 '바이오베이직스벤치(BioBasicsBench)'를 발표했다. 효소 설계 전문 생명공학 기업 리고(Ligo)와 공동 개발했으며, 실제 실험실에서 수행하는 업무를 반영한 100개 과제로 구성됐다.

단백질 분석, 세포 영상 및 계측, 정량 분석, 핵산 분석, 분자 복제 등 5개 분야를 다룬다. 젤과 블롯 이미지, 현미경 사진, 염기서열 데이터, 실험 장비 측정값과 영상 등 실제 실험에서 생성된 원시 데이터를 활용한다.

기존 과학 벤치마크가 논문에 수록된 정제된 데이터와 그래프를 중심으로 구성됐다면, 이번 평가는 실험 과정에서 발생하는 오류와 불분명한 결과까지 다룬다. AI가 데이터를 정확하게 해석하는 것은 물론, 실험 대조군에 문제가 있거나 증거가 부족할 때 잘못된 결론을 내리지 않는지도 평가한다.

'바이오베이직스벤치' 평가 결과 (사진=오픈AI)

오픈AI는 자사 모델 7종을 대상으로 100개 과제를 평가했다. 작업당 추론을 많이 수행하는 'xhigh' 설정에서 GPT-6 아스트라는 평균 66.7%의 점수를 기록했다. GPT-5.6 솔의 43.8%보다 22.9%포인트 높았으며, GPT-6.1 솔의 62.0%도 앞섰다.

특히 아스트라는 과제당 평균 4704개의 출력 토큰을 사용해 GPT-5.6 솔의 9099개보다 약 48% 적었다. 더 적은 출력 토큰으로 높은 평가 점수를 기록한 것이다. 평가 점수는 과제별 기준에 따라 획득한 평균 점수로, 완벽하게 해결한 과제의 비율은 아니다.

성능 차이는 실제 실험 데이터를 해석하는 과정에서도 확인됐다. DNA 복제 실험에서 GPT-5.6 솔은 음성 대조군 배양 접시에 세포 집락이 없다는 사실만 보고 결과를 판단했다. 그러나 GPT-6 아스트라는 배양 접시에 실험 조건과 다른 항생제 이름이 적혀 있다는 사실을 발견하고, 해당 접시를 신뢰할 수 있는 대조군으로 사용해서는 안 된다고 판단했다.

그러나 아스트라도 기본적인 실험 분석에서 오류를 보였다. 배양 접시의 세포 집락을 세는 작업에서 서로 붙어 있는 집락을 제대로 구분하지 못하거나 빈 공간을 집락으로 판단해 기준값보다 약 12% 많은 수를 계산했다.

높은 벤치마크 점수가 실제 실험실에서 신뢰할 수 있는 판단 능력을 보장하는 것은 아니라고 설명했다. 이번 평가는 오픈AI 모델만을 대상으로 진행돼 경쟁사 모델과의 성능 차이도 확인되지 않았다.

이번 벤치마크는 오픈AI가 확대하고 있는 생명과학 AI 사업과도 관련이 있다. 지난 4월 신약 개발과 생물학 연구에 특화된 'GPT-로절린드(GPT-Rosalind)'를 출시했으며, 9월부터 적격 기업과 연구기관을 대상으로 글로벌 공급을 시작했다. 암젠과 모더나, 노보 노디스크 등 주요 제약·바이오 기업과도 협력하고 있다.

앞서 GPT-로절린드를 개발하면서 생명과학 연구 전반을 평가하는 '라이프사이벤치(LifeSciBench)' 등 전문 벤치마크도 마련했다. 이번 바이오베이직스벤치는 실제 실험실에서 생성되는 원시 데이터의 해석과 오류 검증에 초점을 맞췄다는 점에서 차이가 있다.

바이오베이직스벤치가 GPT-로절린드 자체를 평가한 것은 아니지만, 오픈AI가 생명과학 전문 모델 공급과 함께 실제 연구 업무를 평가하는 기술적 기반도 구축하고 있다는 점에서 의미가 있다.

실험 데이터 해석과 오류 검증 능력을 개선해 연구자들이 반복적인 문제 해결에 쓰는 시간을 줄이고 후속 연구에 집중하도록 지원할 계획이다. AI의 생물학 연구 역량이 높아지는 데 따른 생물안전과 생물보안 문제를 추적하는 데도 이번 벤치마크를 활용할 예정이다.

박찬 기자 cpark@aitimes.com