■ 라임, 사람처럼 듣고 말하는 음성 AI '프리즘' 출시
미국 음성 AI 전문 라임(Rime)이 사람과 구별하기 어려울 정도로 자연스럽게 대화하는 음성 AI 모델 ‘프리즘(Prism)’을 출시했다. 기존 음성 AI가 음성을 텍스트로 변환하고 답변을 생성한 뒤 다시 음성으로 바꾸는 방식과 달리, 이용자의 목소리를 직접 분석해 대화하는 음성 대 음성(Speech-to-Speech) 모델이다. 단어뿐 아니라 말투와 억양, 망설임 등을 파악하며, 상대방이 말을 끊으면 즉시 반응하도록 설계했다. 응답 시작까지 약 0.57초가 걸리고, 대화 도중 외부 도구를 호출하는 것도 가능하다. 또 기업의 실제 통화 데이터로 모델을 추가 학습해 업무에 맞게 최적화할 수 있다. 음성의 자연스러움과 대화 능력을 평가하는 강화된 음성 튜링 테스트를 통과했다고 주장했다. 고객 상담과 전화 업무 자동화 등을 겨냥한 모델로, 현재 영어를 지원하며 API와 SDK를 통해 제공한다.
■ 포크봇, 추가 학습 없이 자연어로 로봇 제어하는 '로보API' 공개
중국 로봇 AI 전문 포크봇(PokeBot)이 자연어 명령으로 실제 로봇을 제어하는 ‘로보API(RoboAPI)’를 공개했다. 자체 개발한 월드 행동 모델 ‘포크-오로라(Poke-Aurora)’를 기반으로 로봇의 카메라 영상과 현재 상태, 이용자의 지시를 분석해 다음 동작을 예측하는 방식이다. 새로운 작업마다 별도의 데이터를 수집하거나 모델을 추가 학습시키지 않고도 호환되는 로봇에서 다양한 작업을 수행하도록 설계했다. 개발자는 API를 연결해 로봇의 상태와 자연어 명령을 전달하고, 모델이 생성한 동작 정보를 받아 실제 로봇을 움직일 수 있다. 미국과 중국, 싱가포르 등의 외부 연구시설에서도 실험을 진행했으며, 현재 기술 미리보기 형태로 API를 무료 제공하고 있다.
■ 흄AI, 사람처럼 목소리와 감정 판단하는 '오디오 디시전 API' 출시
음성 AI 전문 흄AI(Hume AI)가 사람의 목소리와 감정, 주변 소리 등을 종합적으로 분석하는 ‘오디오 디시전 API(Audio Decision API)’를 출시했다. 음성을 텍스트로 변환하지 않고 직접 분석해 이용자가 지정한 질문에 확률로 답하는 의사결정 모델이다. 통화 녹음에서 고객이 화가 났는지, 몇 명이 대화하는지, 웃음소리나 사이렌이 들리는지 등을 한 번에 판단할 수 있다. 질문마다 별도의 분류 모델을 개발하거나 추가 학습시킬 필요가 없으며, 답변을 예·아니요나 객관식, 점수, 특정 소리가 발생한 시간 구간 등으로 출력한다. 수천만건의 인간 평가 데이터를 활용해 학습했으며, 자체 실험에서 사람 평가단의 평균 판단과 70.7% 일치해 개별 평가자의 일치율 56.5%를 넘어섰다. 또 10개 음성 평가 벤치마크에서 평균 82%의 점수를 기록하고 응답 지연시간은 0.23초에 그쳤다고 밝혔다. 고객센터 통화 분석과 음성 에이전트의 대화 품질 평가 등에 활용할 수 있으며, 현재 체험 환경과 API 접근 신청을 제공한다.
■ 캔바, 자연어로 디자인 수정하는 비전언어모델 '브러시' 공개
디자인 플랫폼 캔바(Canva)가 자연어 명령으로 기존 디자인을 수정하는 비전언어모델(VLM) ‘브러시(Brush)’를 공개했다. 디자인의 이미지와 텍스트뿐 아니라 레이아웃과 구성 요소를 함께 이해해 특정 문구를 수정하거나 여러 페이지의 디자인을 한꺼번에 편집할 수 있다. 이미지의 색상과 분위기를 바꾸고 프레젠테이션을 소셜미디어용 콘텐츠로 변환하는 작업도 지원한다. 기존 이미지 생성 AI와 달리 디자인의 편집 가능한 구조를 유지하면서 필요한 부분을 수정하는 데 초점을 맞췄다. 선도적인 오픈웨이트 모델을 기반으로 실제 디자인 편집 데이터를 활용한 후속 학습과 강화학습을 진행했다. 자체 평가에서 기존 디자인 에이전트보다 편집 속도가 최대 69% 빨라지고 작업당 비용은 46% 감소했다고 밝혔다. 현재 캔바 프로 가입자에게 일부 기능을 제공하며, 지원 범위를 확대할 예정이다.
■ 네이스AI, 애플 맥에서 실행하는 270억 매개변수 의사결정 모델 공개
AI 스타트업 네이스AI(Nace AI)가 매개변수 270억개 규모의 멀티모달 의사결정 모델 ‘드렉스 맥스 v1(Drex Max v1)’의 가중치를 공개했다. 텍스트와 이미지, JSON 형식의 입력을 처리하며, 한 번의 추론으로 최대 255개 선택지에 대한 확률을 출력한다. 최대 26만2144토큰의 컨텍스트를 지원하며, 아티피셜 애널리시스의 의사결정 지수에서 64점을 기록했다. 특히 애플 실리콘을 탑재한 맥에서도 실행할 수 있도록 MLX 기반 버전을 제공하며, 4비트 양자화 모델은 24GB 이상 메모리를 갖춘 기기에서 구동할 수 있다. AI 에이전트의 작업 선택과 요청 분류, 정책 검사 등에 활용할 수 있으며, 모델 가중치는 네이스AI 오픈 RAIL-M 라이선스로 공개했다.
■ 언슬로스, 로컬 AI로 웹브라우저 직접 조작하는 기능 공개
AI 모델 최적화 전문 언슬로스(Unsloth)가 개인 컴퓨터에서 실행하는 로컬 AI 모델로 웹브라우저를 조작할 수 있는 ‘브라우저 유스(Browser Use)’ 기능을 공개했다. 오픈소스 프로그램 ‘언슬로스 데스크톱’에서 AI 모델을 실행하면 이용자의 명령에 따라 웹페이지를 열고 버튼을 클릭하거나 온라인 양식을 작성하고 PDF 문서를 읽을 수 있다. 화면을 이해하는 비전 모델을 사용하면 웹페이지의 스크린샷을 분석해 필요한 작업도 수행한다. AI 모델의 추론을 외부 클라우드 서버가 아닌 개인 컴퓨터에서 처리하는 것이 특징으로, 외부 웹사이트 접속에는 인터넷 연결이 필요하다. 로그인과 양식 제출, 구매, 파일 다운로드 등 주요 작업에는 이용자 승인을 받도록 했다. 도구 호출을 지원하는 다양한 오픈소스 모델을 사용할 수 있으며, 맥OS와 윈도우, 리눅스를 지원한다.
임대준 기자 ydj@aitimes.com