문샷 AI가 ‘키미 K3.1 프로’의 가중치를 공개해 개발자가 자체 인프라에서 모델을 운영하고 수정할 수 있도록 했다. 모델 카드에는 딥시크 희소 어텐션을 결합한 내부 구조와 저정밀도 연산 사양도 담겼다.
문샷 AI는 4일(현지시간) 허깅페이스를 통해 키미 K3.1 프로의 가중치를 배포했다. 지난달 모델 출시 당시 예고한 공개 일정에 따른 조치다.
배포 저장소의 용량은 약 1.56테라바이트(TB)이며, 가중치는 96개 파일로 나눠 제공한다. 모델 설정과 입력 처리에 필요한 코드 등도 함께 배포했다.
키미 K3.1 프로는 총 2조8000억개 매개변수 중 추론 시 1040억개를 활성화하는 전문가 혼합(MoE) 모델이다. 텍스트와 이미지를 처리하며, 최대 약 100만 토큰의 문맥을 입력받는다.
이번 가중치 공개와 함께 확인된 내부 구조는 KDA와 딥시크 희소 어텐션(DSA)을 결합한 형태다. 전체 93개 계층 가운데 69개는 KDA, 24개는 게이트형 DSA로 구성됐다. 기존 키미 K3에서 전체 어텐션을 수행하던 ‘게이트형 MLA’ 계층을 DSA로 교체한 것이다.
DSA는 입력된 토큰 가운데 참조할 대상을 선별하는 기술이다. 이를 적용해 긴 문맥을 처리하는 연산 효율을 높였다고 설명했다.
가중치는 MXFP4 형식으로 배포하며, 실행 중 중간 연산값인 활성값에는 MXFP8을 사용하는 저정밀도 연산 구조를 채택했다. 학습 과정부터 저정밀도 연산을 고려하는 양자화 인식 학습(QAT)도 적용했다.
자체 인프라에서 모델을 구동할 개발자를 위해 vLLM과 SGLang, 토큰스피드(TokenSpeed) 등의 추론 엔진을 권장했다. 가중치를 내려받아 직접 운영하거나 문샷 AI의 API를 이용할 수 있다.
사용과 수정, 미세조정, 재배포 및 상업적 활용은 자체 라이선스에 따라 허용한다. 다만 모델 서비스 사업자와 계열사의 합산 매출이 연속된 12개월 동안 2000만달러(약 268억원)를 넘으면, 상업적 이용에 앞서 별도 계약을 체결해야 한다.
모델을 사용하는 상용 제품·서비스의 월간 활성 사용자가 1억명 또는 월매출이 2000만달러를 초과하면 이용자 화면에 모델명을 표시해야 한다. 내부 이용과 문샷 AI 공식 제품·인증 추론 파트너를 통한 이용에는 별도 계약과 모델명 표시 조건을 적용하지 않는다.
키미 K3.1 프로는 코딩과 3D 제작, 금융 연구 등 에이전트 작업을 강화한 모델이다.
앞선 출시 발표에서 가중치 공개에 따른 악용 가능성을 줄이기 위해 중간 학습 데이터와 강화학습 과제에서 사이버 보안 관련 내용을 선별·제거했다고 설명했다. 일반적인 코딩 작업은 유지하면서 취약점 악용 능력을 낮추기 위한 조치다.
박찬 기자 cpark@aitimes.com