멀티모달 AI 에이전트 도입이 가속화되는 가운데, 텍스트와 구조화된 데이터 처리에 국한됐던 기존 '의사결정' 모델이 이미지와 오디오, 비디오 등 다양한 입력 정보를 직접 이해하고 판단하는 멀티모달 모델로 빠르게 진화하고 있다.

vLLM 시맨틱 라우터(vLLM Semantic Router) 개발팀은 11일(현지시간) 텍스트와 JSON뿐만 아니라 이미지까지 직접 분석할 수 있는 멀티모달 의사결정 모델 제품군 ‘디시전 3.0(Decision 3.0)’을 오픈소스로 공개했다.

기존 의사결정 모델이 주로 텍스트와 구조화된 데이터에 의존했던 것과 달리, 디시전 3.0은 이미지 속 정보를 직접 처리해 AI 에이전트의 판단과 요청 분류, 안전성 검증을 간소화한 것이 특징이다.

0.8B부터 27B까지 총 5개 크기로 구성됐다. 가장 작은 ‘d3-라이트(lite)’부터 ‘d3-나노(nano)’, ‘d3-미니(mini)’, ‘d3-플래시(flash)’, 대형 모델 ‘d3’까지 제공하며, 모두 허깅페이스를 통해 아파치 2.0(Apache-2.0) 라이선스로 공개됐다.

의사결정 모델은 질문에 대한 긴 문장을 생성하는 대신 미리 정해진 선택지별 확률을 반환하는 방식으로 작동한다. 개발자가 입력 데이터와 함께 예·아니요 질문이나 객관식 질문, 점수 평가 항목 등을 전달하면 모델은 각 선택지에 대한 확률값을 출력한다. 개발자는 이를 별도의 텍스트 분석 과정 없이 프로그램의 조건문이나 라우팅 규칙에 연결할 수 있다.

기존 시스템에서는 이미지가 포함된 사용자 인터페이스(UI) 화면이나 인포그래픽, 스캔 문서를 분석하려면 먼저 별도의 비전 모델로 이미지에서 텍스트를 추출하는 과정이 필요했다. 디시전 3.0은 모든 모델에 비전 인코더를 내장해 이 같은 중간 단계를 줄였다. PNG, JPEG, WebP 형식의 이미지를 최대 160만 픽셀 해상도로 처리할 수 있으며, 하나의 요청에 여러 이미지를 포함할 수도 있다.

모든 질문에 대한 판단 결과는 확률값으로 제공된다. 다만 각 질문은 입력을 대상으로 개별 순방향 연산을 수행하므로, 질문 수에 따라 연산량이 늘어날 수 있다. 그럼에도 자연어 답변을 생성하고 이를 다시 분석하는 방식보다 파이프라인을 단순화할 수 있어 AI 에이전트의 지연 시간과 운영 비용을 줄이는 데 도움이 될 것으로 기대된다.

디시전 3.0은 알리바바의 '큐원(Qwen)' 계열 모델을 기반으로 미세조정됐다. 가장 큰 d3 모델은 약 260억개의 매개변수를 갖췄으며, 나머지 4개 모델은 약 8억~84억개의 매개변수로 구성됐다.

자체 평가 결과에 따르면, d3 모델은 텍스트 평가에서 64.1점, 비전 평가에서 71.6점을 기록해 퍼플렉시티의 ‘디사이더(Decider) v1.1’보다 높은 점수를 얻었다. 모델 크기를 줄이면서도 약 90억개 매개변수의 d3-플래시가 텍스트 평가에서 이전 세대의 270억개 매개변수급 모델을 앞서는 등 효율성을 입증했다.

디시전 3.0은 AI 에이전트의 요청 분류와 모델 선택, 이미지 기반 UI 분석, 콘텐츠 안전성 검증 등 다양한 분야에 활용할 수 있다. 특히 이미지와 텍스트가 결합된 입력을 처리해야 하는 서비스에서 별도 모델을 연결하는 복잡성을 줄일 수 있다.

클라우드플레어(Cloudflare) 역시 텍스트, 이미지, 오디오, 비디오를 한 번에 처리하는 멀티모달 의사결정 모델 ‘클레프-옴니(Clef-omni)’를 선보이며 트렌드에 합류했다.

9일 공개된 이 모델은 총 300억개 매개변수 중 실제 추론에 활용되는 매개변수가 30억개인 전문가 혼합(MoE) 구조를 채택했다. 허깅페이스를 통해 오픈 가중치를 제공해 개발자가 자체 환경에서도 실행할 수 있도록 했다.

클레프-옴니는 입력 데이터에서 텍스트를 추출하거나 음성을 전사하고 동영상에 자막을 생성하는 별도 과정을 거치지 않고, 여러 형태의 데이터를 한 번에 분석해 의사결정 결과를 확률값으로 반환한다. 클라우드플레어의 워커스 AI(Workers AI) 환경에서는 이미지 최대 4개, 오디오 클립 최대 4개, 동영상 최대 2개를 한 요청에 포함할 수 있다. 질문은 요청당 최대 64개까지 처리한다.

중앙값 기준 처리 시간은 텍스트 약 130밀리초(ms), 이미지 약 150ms다. 음성이 포함된 21초 분량의 동영상도 약 1.5초 만에 분석할 수 있다. 의도 분류 평가에서는 '뱅킹77(BANKING77)'에서 94.8점, 'CLINC150+OOS'에서 97.7점의 매크로 F1 점수를 기록했다.

다만 모든 평가에서 우위를 보인 것은 아니다. 복잡한 추론과 워크플로 평가에서는 기존 클레프보다 낮은 성능을 기록했으며, 'GPQA 다이아몬드' 평가 점수도 47.4점으로 제브의 78.3점에 미치지 못했다.

이는 다양한 입력 형식을 한 번에 처리하는 능력과 복잡한 추론 성능이 반드시 비례하지는 않는다는 점을 보여준다.

박찬 기자 cpark@aitimes.com