중국 바이두가 딥시크와 텐센트, 샤오미의 경쟁 모델을 주요 성능 평가에서 앞서는 대형언어모델(LLM)을 공개했다. 특히 사전학습만 마친 모델의 가중치를 공개해 개발자들이 독자적인 AI를 만들도록 지원한다. 그러나 한국과 유럽을 사용 허가 지역에서 제외했다.

바이두는 5일 공식 블로그와 허깅페이스를 통해 '어니 5.5 플래시 베이스(ERNIE 5.5 Flash Base)'의 가중치를 공개했다. 총 2800억개의 매개변수를 갖춘 전문가 혼합(MoE) 모델로, 토큰을 처리할 때는 140억개만 활성화해 연산 부담을 줄였다.

자체 성능 평가에서 딥시크의 'V4 플래시 베이스', 텐센트의 'Hy3 프리뷰 베이스', 샤오미의 '미모 V2.5 베이스' 등 유사 규모의 중국 모델 3종과 비교한 결과, 30개 벤치마크 중 24개에서 가장 높은 점수를 기록했다고 밝혔다.

대표적으로 복잡한 지식과 추론 능력을 평가하는 'MMLU-프로'에서 78.4점을 기록해 딥시크(69.2점), 텐센트(66.9점), 샤오미(65.7점)를 앞섰다. 코딩 평가인 '휴먼이벨+'에서도 82.3점으로 경쟁 모델보다 높은 점수를 얻었다.

그러나 중국어 지식 평가와 일부 장문 처리 과제에서는 경쟁 모델이 앞섰다. 또 이번 결과는 바이두의 자체 평가로, 외부 기관의 독립적인 검증은 아직 확인되지 않았다. 비교 대상도 모두 사전학습 모델이므로 일반 이용자가 사용하는 완성형 챗봇의 성능을 직접 보여주는 것은 아니다.

이번 공개의 특징도 지시문 학습 등 후속 학습을 거치지 않은 '베이스 모델(Base Model)'이라는 점이다. 일반적인 대화형 AI는 사전학습 이후 지시문 학습과 강화학습 등을 거쳐 사용자의 요청에 맞춰 답변하도록 조정한다. 바이두는 이러한 후속 학습을 진행하기 전의 모델을 공개해 개발자들이 특정 산업이나 업무에 맞는 AI를 직접 개발할 수 있도록 했다.

이는 막대한 비용이 드는 기초 모델 학습을 반복하지 않고도 기업과 연구기관이 자체적인 AI 모델을 만들 수 있다는 의미다. 바이두는 전문 분야 학습과 추론 능력 개선, AI 에이전트 개발 등을 주요 활용 분야로 제시했다.

모델은 총 33조5000억개의 토큰으로 사전학습했으며, 추가 학습과 추론 단계에서 최대 100만토큰의 문맥 길이를 지원한다. 긴 문서를 처리할 때 메모리 부담을 줄이는 기술도 적용했다. 바이두는 향후 후속 학습을 마친 완성형 '어니 5.5 플래시'도 공개할 계획이다.

이번 출시는 바이두가 중국의 오픈웨이트 모델 경쟁에서 입지를 강화하려는 움직임으로 해석된다. 바이두는 2023년 중국 주요 빅테크 가운데 가장 먼저 챗GPT와 유사한 AI 챗봇을 선보였지만, 이후 딥시크와 알리바바 등 경쟁사들이 두각을 나타내면서 상대적으로 주목받지 못했다.

특히 바이두 창업자인 리옌훙 CEO는 한동안 폐쇄형 모델의 경쟁력을 강조했으나, 지난해 딥시크의 성공 이후 모델 가중치를 공개하는 방향으로 전략을 바꿨다. 이번에는 완성형 모델뿐 아니라 후속 학습을 위한 기초 모델까지 공개해 개발자 생태계 확보에 나선 것이다.

최근 중국에서는 딥시크와 알리바바뿐 아니라 텐센트와 샤오미 등도 대규모 모델 개발 경쟁에 적극적으로 참여하고 있다. 바이두가 이번 발표에서 딥시크·텐센트·샤오미의 베이스 모델을 직접 비교한 것도 완성형 AI 서비스뿐 아니라 기초 모델의 성능과 개발자 생태계에서도 경쟁하겠다는 의도로 풀이된다.

그러나 모델 공개 범위에는 상당한 제약이 있다. 바이두가 적용한 자체 라이선스는 한국과 유럽연합(EU), 영국을 사용 허가 지역에서 제외했다. 따라서 해당 지역의 개발자는 공개된 라이선스만으로 모델을 사용하거나 수정·배포할 권한을 얻을 수 없다. 제외 이유는 공개되지 않았다.

상업적 이용에도 조건이 붙는다. 관련 제품이나 서비스의 연간 매출이 5000만달러 이하이면 별도의 모델 사용료 없이 활용할 수 있지만, 바이두에 사전 통지하고 출처를 표시해야 한다. 이를 초과하면 별도의 서면 승인이 필요하다. 따라서 이번 모델은 가중치를 공개했지만, 누구나 자유롭게 활용할 수 있는 오픈소스는 아니다.

임대준 기자 ydj@aitimes.com