노타가 두베에 온프레미스 AI 코딩 에이전트용 최적화 LLM과 서버 공급을 완료했다. (사진=노타)

노타(대표 채명수)는 금융 IT 전문 두베에 온프레미스 AI 코딩 에이전트 사업을 위한 금융권 특화 대형언어모델(LLM)과 서버를 공급했다고 16일 밝혔다.

두베는 금융권 시스템통합(SI) 전문 기업으로 금융기업 대상 AI 코딩 에이전트 사업을 펼치고 있다. 노타는 두베의 AI 코딩 에이전트에 맞춰 모델 경량화, 추론·서빙 최적화부터 서버 구성까지 통합 제공했다.

폐쇄망을 쓰는 금융권 특성을 고려해 온프레미스 방식을 적용, 고객사 내부 서버에서 LLM이 실행이 가능하도록 구현했다.

특히 대량의 코드와 개발 지침을 반복 처리하는 코딩 에이전트 특성에 맞춰 양자화 기술로 메모리 요구량을 낮추고, 추론 과정과 서빙 환경을 동시에 개선했다고 노타 측은 밝혔다. 이를 통해 동일한 GPU 환경에서 분당 처리 요청 수를 이전 대비 최대 95% 향상시키고, 첫 답변 대기시간을 절반 이하까지 줄였다는 설명이다.

노타는 두베와 금융권 고객 대상 온프레미스 AI 코딩 에이전트 도입을 확대하고, 고객별 사용자 규모와 보안·운영 조건에 맞춘 LLM·서버 공급을 추진할 예정이다.

김해원 기자 hwkim@aitimes.com