기사를 읽어드립니다.
엔비디아가 대형언어모델(LLM) 배포와 추론 과정에서 발생하는 막대한 인프라 비용 문제를 해결할 최적화 모델을 선보였다. 하이브리드 맘바-트랜스포머 아키텍처 기반의 기존 모델을 성능 저하 없이 최적화해 서버 처리량을 최대 4.6배까지 끌어올렸으며, 고성능 GPU 한 장으로도 초장문맥 요청을 동시 처리할 수 있는 길을 열었다.
엔비디아는 7일(현지시간) 기존 1207억 매개변수급 모델 '네모트론-3-슈퍼(Nemotron-3-Super)'를 750억 매개변수 규모로 압축한 '네모트론-랩스-3-퍼즐-75B-A9B(Nemotron-Labs-3-Puzzle-75B-A9B)'를 온라인 아카이브를 통해 공개했다.
퍼즐-75B-A9B는 엔비디아의 하이브리드 맘바-트랜스포머(Mamba-Transformer) 기반 MoE 모델인 '네모트론-3-슈퍼'를 배포 환경에 맞게 최적화한 압축 버전이다.
기존 모델은 총 1207억개 매개변수와 128억개 활성 매개변수를 사용했지만, 새 모델은 이를 각각 753억개와 93억개로 줄였다. 전체 매개변수는 38%, 활성 매개변수는 27% 감소했음에도 추론과 코딩, 다국어, 장문맥, AI 에이전트 성능은 대부분 유지했다.
엔비디아는 이번 모델을 개발하면서 두 가지 목표를 설정했다. 첫 번째는 사용자당 초당 100토큰을 유지하는 조건에서 서버 처리량을 두 배로 높이는 것이었으며, 두 번째는 단일 H100 GPU에서 길이 100만 토큰의 요청을 동시에 8개까지 처리하는 것이었다.
실제 평가 결과, 8개의 'B200' GPU를 사용하는 서버에서는 기존 모델 대비 약 2배 높은 처리량을 기록했으며, 'H100' GPU 한 장에서는 기존 1개에 불과했던 100만 토큰 요청 동시 처리 수를 8개까지 확대했다.
이 같은 성능 향상의 핵심은 '반복 퍼즐(Iterative Puzzle)'이라는 새로운 모델 압축 기술이다. 기존처럼 한 번에 모델을 줄이는 방식이 아니라 여러 단계에 걸쳐 점진적으로 압축한 뒤 단계마다 지식 증류(Knowledge Distillation)를 통해 성능을 회복하는 방식을 채택했다. 이후 강화학습(RL), 양자화(Quantization), 다중 토큰 예측(MTP)까지 결합해 정확도를 유지하면서도 추론 효율을 극대화했다.
압축 과정에서는 단순히 모델 크기를 균일하게 줄이지 않았다. 엔비디아는 MoE 전문가(Expert) 수와 중간 채널을 레이어별 중요도에 따라 다르게 줄이는 이질적(Heterogeneous) 프루닝을 적용했고, 맘바 계층의 상태(State) 크기도 128채널에서 96채널로 축소했다.
반면 어텐션 계층은 KV 캐시 효율이 이미 높다고 판단해 그대로 유지했다. 그 결과 중요도가 높은 중간 및 후반부 계층에는 연산 자원을 유지하고, 영향이 작은 계층은 과감하게 축소하는 구조가 완성됐다.
벤치마크 결과도 긍정적이었다. 퍼즐-75B-A9B는 추론과 코딩, 장문맥 처리, 다국어 평가에서 원본 모델인 네모트론-3-슈퍼와 거의 동일한 성능을 유지했다.
특히 100만 토큰 길이의 RULER 장문맥 벤치마크에서도 성능 차이는 1~2점 수준에 그쳤으며, '라이브코드벤치(LiveCodeBench)'와 'GPQA' '사이코드(SciCode)' 등 주요 추론 및 소프트웨어 개발 평가에서도 높은 정확도를 유지했다.
다만 지시 수행과 일부 AI 에이전트 평가에서는 다소 성능이 감소했으며, '아레나-하드-V2'에서 가장 큰 성능 저하가 나타났다.
처리 속도는 크게 향상됐다. 사용자당 초당 100토큰을 제공하는 조건에서 단일 추론만으로 기존 모델보다 2.03배 높은 처리량을 기록했으며, 다중 토큰 예측(MTP)을 적용하면 처리량이 기존 모델 대비 최대 4.6배 이상으로 증가했다. 또 MTP 학습 방식을 개선해 토큰 수용률(Acceptance Length)도 평균 25~30% 높였다.
엔비디아는 모델 배포를 위해 BF16, FP8, NVFP4 등 세 가지 버전을 함께 공개했다. FP8 버전은 H100 등 호퍼(Hopper) GPU를, NVFP4 버전은 블랙웰 GPU를 겨냥했으며, 허깅페이스를 통해 오픈 모델 형태로 제공한다.
박찬 기자 cpark@aitimes.com