누스 리서치가 알리바바의 오픈웨이트 모델 '큐원3.8-27B(Qwen3.8-27B)'의 정치적 답변 성향을 바꾼 '아레테-27B(Arete-27B)'를 공개했다. 지도 미세조정(SFT)만으로 중국 정부의 입장을 옹호하는 선전성 답변 비율을 22%에서 0.9%로 낮추면서도 기존 모델의 코딩과 에이전트 성능을 거의 유지한 것이 특징이다.

누스 리서치는 6일(현지시간) 큐원3.8-27B를 기반으로 개발한 아레테-27B의 모델 가중치와 학습 데이터, 평가 자료를 공개했다. 중국의 국가 이념이 반영된 답변과 민감한 정치적 주제에 대한 회피·거부 등의 문제를 개선하고, 서구적 가치관을 강화하도록 모델을 추가 학습한 것이다.

이번 연구는 정치적 편향을 완전히 제거하기보다 기존 모델에 반영된 가치관을 다른 방향으로 조정할 수 있는지 검증하는 데 초점을 맞췄다. 특히 모델의 일반적인 성능을 유지하면서도 정치적 응답 성향을 바꿀 수 있는지가 핵심이었다.

실제로 큐원과 딥시크 등 중국 오픈웨이트 모델이 공개되면 개발자들이 답변 제한을 없앤 '언센서드(Uncensored)' 버전을 만드는 일이 활발하다. 이번 아레테는 단순히 답변 거부를 줄이는 데서 나아가 모델에 반영된 정치적 가치관까지 바꿨다는 점에서 차이가 있다.

연구진은 표현의 자유와 국가 이념, 시장경제, 교육, 데이터 프라이버시와 감시, 민주주의, 환경 등 7개 분야에서 803개 질문을 구성했다. 각 질문에는 신뢰할 수 있는 출처에서 추출한 핵심 사실을 포함했으며, '그록 4.7'을 평가자로 활용해 사실 전달 수준과 선전성 표현 여부를 측정했다. 선전성 답변은 중국 정부의 공식 입장을 사실 대신 제시하거나 이를 정당화하는 응답으로 정의했다.

자체 평가 결과, 아레테-27B의 사실 점수는 5점 만점에 2.32점에서 2.98점으로 상승했고, 선전성 답변 비율은 22%에서 0.9%로 감소했다. 특히 표현의 자유 분야에서는 사실 점수가 0.89점에서 2.44점으로 높아졌으며, 선전성 답변 비율도 60%에서 1%로 줄었다.

사실 점수가 0점인 답변도 359개에서 216개로 감소했다. 그러나 전체 803개 질문 중 약 27%에서는 여전히 필요한 사실을 전달하지 못하거나 사실과 모순되는 답변을 내놨다. 평가 기준과 채점 방식 역시 누스 리서치가 설계한 것으로, 정치적 중립성을 외부에서 독립적으로 검증한 결과는 아니다.

학습에는 싱킹 머신즈의 오픈 모델 '잉클링(Inkling)'을 교사 모델로 활용했다. 약 5280만 토큰의 학습 데이터를 사용했으며, 강화 학습이나 선호도 최적화, 모델 구조 변경 없이 지도 미세조정만 적용했다.

기존 모델의 일반적인 성능도 대부분 유지됐다. 내부 평가인 '헤르메스 벤치(Hermes Bench)'에서는 원본 모델의 65.77%와 비슷한 65.60%를 기록했다. 코딩 성능을 평가하는 '터미널 벤치 2.1'에서도 원본의 67%와 비슷한 70%를 달성했다. 누스 리서치는 평가 환경에 따른 차이가 있을 수 있어 이를 실제 성능 향상으로 단정하지는 않았다.

이번 결과가 오픈 모델에 반영된 가치관이나 정치적 응답 성향이 반드시 모델의 핵심 역량과 결합돼 있는 것은 아니라는 점을 보여준다고 설명했다. "오픈 모델에 담긴 가치는 미세조정 한 번으로도 바꿀 수 있다"라며 사용자가 어떤 가치관을 기반으로 모델을 활용할지 선택할 수 있어야 한다고 강조했다.

아레테-27B는 허깅페이스를 통해 가중치가 공개됐으며, 아파치 2.0 라이선스로 배포된다. 

박찬 기자 cpark@aitimes.com