기사를 읽어드립니다.

여러 AI 모델을 함께 활용하면 서로의 약점을 보완해 더 높은 성능을 낼 수 있다는 '오케스트레이션' 통념에 제동을 거는 연구 결과가 나왔다. 여러 모델이 같은 문제에서 동시에 틀리는 '공동 실패(Co-failure)' 현상이 문제로, 단순히 더 많은 모델을 결합하거나 복잡한 라우팅 시스템을 구축하는 것만으로는 기대한 성능 향상을 얻기 어렵다는 내용이다.

영국의 로봇 공학 스타트업 카이카쿠(KAIKAKU)를 비롯한 공동 연구진은 멀티 모델 오케스트레이션의 성능 한계를 분석한 연구 논문 ‘언어 모델을 결합하는 것이 도움이 되는 경우는 언제일까(When Does Combining Language Models Help?)’를 온라인 아카이브를 통해 공개했다.

연구진은 21개 기업의 코딩 특화 모델, 논리 추론 모델, 범용 모델 등 첨단 대형언어모델(LLM) 67개를 대상으로 했다. 이를 조합하면 서로 약점을 보완해 전체 정확도가 높아질 것이라는 일반적인 가정이 수학적으로 성립하지 않는다고 설명했다.

핵심은 '공동 실패 한계(Co-failure Ceiling)'다. 이는 여러 모델을 조합해도 모든 모델이 같은 질문에서 동시에 틀리는 경우가 일정 비율(β) 존재하며, 이 비율 때문에 어떤 라우팅이나 투표 방식, 캐스케이드 구조를 적용하더라도 전체 정확도는 그 한계(1-β)를 넘을 수 없다고 주장했다. 즉, 모델을 많이 추가한다고 성능이 무한정 향상하는 것은 아니라는 것이다. 

업계는 지금까지 여러 AI 모델을 조합할 때 두 모델이 서로 다른 문제에서 얼마나 다르게 틀리는지를 나타내는 '쌍별 오류 상관관계(pairwise error correlation)'를 핵심 기준으로 활용해 왔다.

하지만 연구진은 이 지표가 낮다고 해서 여러 모델을 함께 사용했을 때 성능이 반드시 좋아지는 것은 아니라고 밝혔다. 겉으로는 서로 다른 문제에서 실패하는 것처럼 보여도, 실제로는 어려운 질문에서 모든 모델이 동시에 틀리는 경우가 적지 않기 때문이다. 쌍별 오류 상관관계만으로는 멀티 모델 시스템의 실제 성능 향상 가능성을 정확히 예측할 수 없다는 설명이다. 

실험 결과도 이를 뒷받침했다. 연구진은 GPT-5.5와 클로드 오퍼스 4.8, 제미나이 3.1 프로를 포함한 67개 AI 모델을 'MATH-500' 수학 벤치마크로 평가했다. 기존 분석 방식은 모든 모델이 동시에 틀릴 확률을 2.3%로 예상했지만, 실제 측정 결과는 5.2%였다. 즉, 기존 방식은 여러 모델이 함께 실패할 가능성을 실제보다 2.25배 낮게 계산한 것으로 나타났다.

실행 결과로 성능을 평가하는 코드 생성 과제에서도 모든 모델이 동시에 오답을 낸 공동 실패율이 7.9%를 기록했다. 또 대학원 수준 과학 문제인 'GPQA 다이아몬드' 벤치마크를 객관식에서 자유서술형으로 바꾸자, 공동 실패율은 12.7%까지 높아졌다.

연구진은 이를 통해 모델의 공동 실패는 단순히 문제의 난이도 때문만이 아니라, 답변을 요구하는 방식(문항 형식) 자체에도 큰 영향을 받는다고 설명했다. 

여러 AI 모델의 답변을 단순히 다수결로 결정하는 방식도 기대만큼 효과적이지 않으며, 오히려 성능을 떨어뜨릴 수 있다고 지적했다. 성능이 서로 다른 모델을 함께 사용하면 상대적으로 성능이 낮은 모델들이 다수결에서 우수한 모델의 정답을 뒤집는 현상이 발생할 수 있기 때문이다.

실제 실험에서도 성능 차이가 있는 모델들을 단순 다수결 방식으로 결합한 결과, 평균 정확도가 약 10%포인트 감소한 것으로 나타났다. 따라서 멀티 모델 시스템을 구성할 때는 단순히 다양한 모델을 모으기보다 성능 수준이 비슷한 모델들로 구성하는 것이 중요하다고 설명했다. 

반면 성능이 비슷한 여러 모델을 조합하면 하나의 모델을 여러 번 호출해 답을 합치는 '셀프 MoA(Self-Mixture of Agents)' 방식보다 더 높은 성능을 보이는 사례도 확인됐다.

다만 연구진은 이러한 이점도 제한적이라고 평가했다. 개별 질문마다 어떤 모델이 가장 적합한지를 정확히 판단해 선택할 수 있는 강력한 라우팅 신호가 없는 한, 여러 모델을 조합한 시스템이 단일 최고 성능 모델의 정확도를 뛰어넘기는 쉽지 않다는 설명이다. 

연구진은 기업들이 멀티 모델 시스템을 구축하기 전에 별도의 비용을 들이지 않고도 성능 향상 가능성을 미리 평가할 방법도 제안했다. '클로퍼-피어슨(Clopper-Pearson) 경계'를 활용하면 별도의 라우터를 개발하거나 추가 실험을 반복하지 않아도 현재 모델 조합이 달성할 수 있는 최대 정확도를 수학적으로 추정할 수 있다는 것이다.

연구진은 이 계산이 기존 평가 로그에서 모든 모델이 동시에 실패한 횟수를 집계하는 수준의 간단한 작업이어서, 기업들이 사용하는 지속적 통합(CI) 환경에도 쉽게 자동화해 모델 변경이나 업무 특성 변화에 맞춰 성능 한계를 지속적으로 점검할 수 있다고 설명했다. 

특히 SQL이나 JSON 생성, 문서에서 필요한 정보를 추출하는 것처럼 정답을 명확하게 확인할 수 있는 작업에서는 여러 저가 AI 모델을 함께 사용하는 것보다 성능이 가장 좋은 단일 모델 하나를 사용하는 편이 대부분 더 효율적인 것으로 나타났다. 다만 마케팅 문안 작성처럼 정답이 정해져 있지 않은 생성형 작업에서도 같은 결과가 나타나는지는 추가 연구가 필요하다고 연구진은 설명했다. 

이처럼 AI 모델을 많이 모으는 것보다 서로 다른 방식으로 실수하는 모델을 조합하는 것이 더 중요하다고 강조했다. 현재의 최신 AI 모델들은 어려운 문제에서 비슷한 부분을 틀리는 경우가 많아, 모델 수만 늘린다고 성능이 좋아지지는 않는다는 것이다.

따라서 기업들은 복잡한 멀티 에이전트 시스템을 구축하기 전에 먼저 공동 실패율을 측정해, 실제 성능 향상 효과가 있는지 확인할 필요가 있다고 강조했다. 

박찬 기자 cpark@aitimes.com