기사를 읽어드립니다.

엔비디아가 오픈소스 라우팅 기술을 공개했다. 복잡한 추론에는 고성능 프런티어 모델을, 반복적이고 대량으로 처리해야 하는 작업에는 저비용 모델을 투입하는 방식으로 AI 에이전트의 비용과 처리 효율을 동시에 개선하겠다는 전략이다.

엔비디아는 11일(현지시간) 오픈소스 모델 라우팅 라이브러리인 '네모 스위치야드(NeMo Switchyard)'를 공개했다.

스위치야드는 AI 에이전트의 각 작업 단계에서 요청 내용뿐 아니라 모델의 상태, 작업 진행 상황, 비용과 지연시간, 토큰 사용량 등을 종합적으로 분석해 여러 모델 가운데 가장 적합한 모델로 작업을 자동 배분하는 오케스트레이션 계층이다.

기존 AI 에이전트는 개발자가 특정 모델을 기본 모델로 지정하거나 별도의 라우팅 시스템을 구축해야 했다. 그러나 실제 에이전트 작업에서는 모든 단계가 동일한 수준의 추론 능력을 요구하지 않는다. 코드 작성 초반의 탐색이나 오류 해결에는 고성능 모델이 필요할 수 있지만, 테스트가 끝난 뒤 반복적인 수정이나 단순한 후속 작업에는 상대적으로 저렴하고 빠른 모델로도 충분하다.

네모 스위치야드는 이 같은 작업의 '동적 변화'에 대응한다. 에이전트가 도구를 호출한 결과나 오류, 작업 진행 속도 등이 달라지면 필요한 모델의 수준도 다시 판단한다. 예를 들어 초기에는 저비용 모델을 사용하다가 작업이 복잡해지거나 반복적인 오류가 발생하면 더 강력한 모델로 자동 전환하고, 다시 단순한 작업으로 돌아오면 효율적인 모델을 선택하는 방식이다.

비용도 중요한 판단 기준이다. 스위치야드는 모델별 가격뿐 아니라 모델이 작업 과정에서 생성할 것으로 예상되는 토큰과 응답의 길이, 지연시간 등을 고려해 품질과 비용 사이의 최적점을 찾는다. 따라서 단순히 가장 강력한 모델을 선택하는 것이 아니라 주어진 작업을 충분한 품질로 해결할 가능성이 높은 모델 가운데 비용 효율이 가장 좋은 모델을 선택할 수 있다.

엔비디아가 제시한 사례에서는 스위치야드를 활용해 고성능 모델과 자체 경량 모델을 조합했을 때 비용 절감 효과가 크게 나타났다. 랭체인(LangChain)이 145개 다중 단계 에이전트 작업을 대상으로 진행한 평가에서는 네모트론 3.5 라이트닝과 클로드 오퍼스 4.8을 에스컬레이션 라우터로 조합해 사용한 결과, 모든 요청을 프런티어 모델에 보내는 방식보다 비용을 74% 줄이면서도 높은 수준의 작업 수행 능력을 유지했다. 프런티어 모델로 전달된 호출은 전체의 7%에 그쳤다.

엔비디아는 이와 별도로 네모 스위치야드와 네모트론 3.5 라이트닝을 결합한 실험에서 최상위 모델만 단독으로 사용하는 방식과 비교해 전체 벤치마크 비용을 약 3분의 1 수준까지 낮출 수 있다고 강조했다. 이는 AI 에이전트가 실제 기업 업무에서 상시 가동될 경우 급증할 수 있는 추론 비용을 줄이는 데 초점을 맞춘 것이다.

스위치야드는 특정 AI 업체나 모델에 종속되지 않도록 설계됐다. 엔비디아의 'switchyard-libsy' SDK를 통해 모델을 의미론적인 이름으로 추상화하고 실제 서비스 제공업체와 모델 ID를 분리한다. 이에 따라 기업은 모델이나 클라우드 제공업체를 바꾸더라도 애플리케이션의 라우팅 구조를 크게 변경하지 않아도 된다.

또 오픈AI의 API 형식뿐 아니라 앤트로픽 및 리스폰스(Responses) API 요청도 처리할 수 있는 참조 서버를 제공한다. 라우팅 결과와 선택된 모델, 판단 근거, 토큰 사용량, 지연시간, 호출 결과 등을 기록할 수 있어 기업이 실제 운영 환경에서 라우팅 성능을 확인하고 최적화할 수 있도록 했다.

라우팅 방식도 다양하다. 별도의 학습 없이 사용할 수 있는 분류형 라우터와 단계별 라우터, 에스컬레이션 라우터 등을 제공하며, 기업이 자체 데이터와 알고리즘을 활용해 맞춤형 라우터를 구축할 수도 있다. 단계별 라우터는 최근 도구 사용 기록과 에이전트 상태를 분석해 현재 작업에 필요한 모델 성능 수준을 판단하고, 에스컬레이션 라우터는 저비용 모델에서 작업을 시작한 뒤 난도가 높아지면 고성능 모델로 넘기는 방식이다.

엔비디아는 스위치야드 생태계 확대에도 나섰다. 코그니션, 랭체인, 누스 리서치 등 에이전트 개발업체뿐 아니라 리트리비티, 라이트LLM, 콩 등 AI 게이트웨이 및 인프라 업체와 협력해 기존 개발 환경에서 모델 라우팅 기능을 사용할 수 있도록 지원하고 있다.

이날 함께 공개된 '네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)'​은 300억 개 매개변수 규모의 오픈소스 전문가 혼합(MoE) 모델이다. 실제 활성화되는 매개변수는 약 30억개로, 대규모·반복적인 에이전트 작업을 빠르게 처리하는 데 초점을 맞췄다.

유사한 규모의 모델보다 최대 4배 빠른 출력 속도를 제공하며, 핀치벤치에서 86%의 정확도를 기록하면서 큐원 3.6 35B와 비슷한 정확도를 유지한 채 1만개 작업을 약 35% 빠르게 처리했다.

엔비디아는 라이트닝을 스위치야드와 결합해 '고성능 모델+경량 모델'이라는 시스템을 구축하는 전략을 강조했다. 복잡한 계획과 추론에는 프런티어 모델을 사용하고, 대량의 전문 작업과 반복적인 실행에는 라이트닝을 투입하는 방식이다.

라이트닝 자체도 공개 가중치와 데이터, 학습 레시피를 허깅페이스에 제공해 기업이 사이버보안·코딩·법률·에너지 등 자체 업무 데이터에 맞게 추가 학습할 수 있도록 했다.

박찬 기자 cpark@aitimes.com