중국 바이두가 AI 스스로 연구 방향을 정하고 실험을 반복해 AI 개발에 활용할 수 있는 자동 연구 시스템을 공개했다. 기존 AI 학습 벤치마크 기록을 경신한 데 이어 실제 개발 중인 자사 모델의 추론 속도를 특정 환경에서 6배 이상 높이면서, 재귀적 자기 개선(RSI)을 향한 기술적 진전을 보여줬다.

바이두는 9일(현지시간) 공식 블로그를 통해 AI 자동 연구 시스템 '어니 이볼브(ERNIE Evolve)'를 발표했다. AI가 연구 방향을 선택하고 코드를 수정한 뒤 실험과 평가를 반복하면서 성능 개선 방법을 찾아내는 시스템이다.

어니 이볼브는 연구 방향을 결정하는 '디렉터(Director)'와 실제 실험을 수행하는 여러 AI 에이전트로 구성된다. 디렉터가 기존 논문과 코드, 과거 실험 결과를 참고해 연구 목표를 설정하면, 각 에이전트가 독립적으로 개선 방법을 찾아 실험하는 방식이다.

각 실험에서는 '셀렉터(Selector)'가 다음 개선 대상을 선택하고, '익스큐터(Executor)'가 코드를 수정해 테스트를 실행한다. 이후 평가기와 검토기가 성능 개선 여부를 확인하고, 과적합이나 평가 기준의 허점을 이용한 편법을 걸러낸다. 검증을 통과한 결과는 다음 실험에 활용된다.

특히 여러 연구를 동시에 진행하고 실험 결과를 '경험 저장소(Experience Bank)'에 축적한다는 점이 특징이다. 성공한 실험뿐 아니라 실패한 과정도 기록해 다음 연구 방향을 결정하는 데 활용한다. 이를 통해 AI가 단순히 코드를 수정하는 데 그치지 않고, 축적된 경험을 바탕으로 새로운 개선 방법을 찾아낼 수 있도록 했다.

바이두는 먼저 AI 학습 알고리즘과 학습 속도, GPU 코드 최적화를 평가하는 공개 벤치마크 3종에서 시스템을 검증했다. 그 결과 총 4개 평가 지표 중 3개에서 기존 최고 기록을 넘어섰다.

AI 학습 성능을 측정하는 '나노챗 오토리서치(NanoChat AutoResearch)'에서는 기존 최고 기록인 0.8878보다 낮은 0.8763을 기록했다. 이 평가는 수치가 낮을수록 우수하다. AI 학습 속도를 평가하는 '나노GPT 스피드런(NanoGPT Speedrun)'에서도 목표 성능에 도달하는 시간을 기존 39.9초에서 38.9초로 단축했다.

GPU 커널 최적화 평가인 'SOL-ExecBench'에서는 리커시브(Recursive)와 텐센트의 자동 연구 시스템 '하이라 1.0(Hyra-1.0)'보다 높은 점수를 기록했지만, 전체 최고 기록에는 미치지 못했다.

'어니 이볼브'가 쿤룬신 P800 칩에서 AI 모델의 추론 성능을 최적화한 과정. 약 168시간 동안 코드 개선과 실험을 반복해 처리량을 초기 대비 6.24배로 높였다. (사진=바이두)

바이두가 특히 강조한 것은 벤치마크를 넘어 실제 AI 모델 개발에 시스템을 적용했다는 점이다. 개발 중인 차세대 모델 '어니 5.5 플래시(ERNIE-5.5-Flash)'의 추론 시스템에 어니 이볼브를 적용한 결과, 중국산 쿤룬신 'P800' AI 칩에서 특정 저지연 작업의 텍스트 생성 속도가 기존의 6.24배로 높아졌다.

모델 자체나 배포 환경을 바꾸지 않고 네 차례의 자동 연구를 통해 얻은 성과다. 기존에 활용하지 못했던 최적화 기능을 활성화하고, 연산 처리와 데이터 전송 과정의 비효율을 개선했다. 수정된 코드는 실제 서비스에 적용하기 위한 정확성 검증도 통과했다.

GPU 환경에서도 약 3일간의 자동 연구를 통해 동일한 입력에 일관된 결과를 생성해야 하는 추론 작업의 처리량을 33.7% 높였다. 별도의 추론 최적화 작업에서는 정확도를 유지하면서 텍스트 생성 속도를 14.9% 개선했다. 바이두는 이를 RSI를 실제 AI 연구개발에 적용하는 첫 단계로 평가했다. 

그러나 어니 이볼브가 완전한 RSI를 구현한 것은 아니다. 사람이 설정한 목표와 평가 기준 안에서 연구를 수행하며, 지금까지 확인된 성과도 주로 학습 알고리즘과 추론 소프트웨어의 최적화에 집중돼 있다. 성능 수치는 바이두 자체 평가에 따른 것으로, 외부 기관의 독립 검증을 거치지 않았다. 

자동 연구 시스템 전체를 공개하지는 않았으며, 공개 벤치마크에서 생성한 최적화 코드와 실험 로그를 깃허브에 게시했다.

바이두는 향후 자동 연구의 적용 범위를 모델 학습 시스템으로 넓히고, AI가 연구 가설과 실험 방법은 물론 성능 평가 기준까지 개발하도록 할 계획이다. 이 과정에서도 사람이 연구 목표와 권한을 관리하고 필요할 때 시스템을 중단할 수 있는 통제 구조를 유지하겠다고 밝혔다.

임대준 기자 ydj@aitimes.com