xAI가 코딩 없이 음성 AI 에이전트를 구축할 수 있는 플랫폼 '보이스 에이전트 빌더(Voice Agent Builder)'를 베타 버전으로 공개했다. 음성 비서를 손쉽게 개발할 수 있도록 한 서비스로, 최근 오픈AI가 양방향 음성 모델 '비디-1(Bidi-1)'을 시험하는 등 AI 업계의 음성 에이전트 경쟁이 치열해지는 모습이다.

xAI는 2일(현지시간) 별도의 개발이나 인프라 구축 없이 음성 AI 에이전트를 제작·운영할 수 있는 플랫폼 '보이스 에이전트 빌더(Voice Agent Builder)' 베타 버전을 공개했다. 

이 플랫폼은 xAI의 음성 모델 '그록 보이스(Grok Voice)'를 기반으로 한다. 별도의 음성 인식(STT), 대형언어모델(LLM), 음성 합성(TTS)을 각각 다른 서비스로 연결하는 기존 방식과 달리, 음성 입력부터 음성 응답까지 하나의 통합된 음성-대-음성(Speech-to-Speech) 구조를 채택했다. xAI는 이를 통해 지연시간과 비용을 줄이고 서비스 안정성을 높였다고 설명했다.

보이스 에이전트 빌더는 실제 고객센터 환경을 고려해 설계됐다. 전화 통화 특유의 낮은 음질과 배경 소음, 다양한 억양, 사용자의 말 끊기와 즉흥적인 질문 변경 등 현실적인 상황에서도 자연스럽게 대응할 수 있도록 학습됐다. xAI는 이러한 성능을 자체 평가 기준인 'τ-보이스 벤치'를 통해 검증했다고 밝혔다.

사용자는 프롬프트만으로 상담원의 역할과 업무 방식을 정의할 수 있으며, AI는 실시간으로 추론하며 복잡하거나 모호한 요청도 처리한다. 또 텍스트, 마크다운, 워드, 파워포인트, 엑셀, HTML, JSON 등 다양한 형식의 문서를 업로드하면 이를 지식베이스로 활용해 통화 중 필요한 정보를 검색하고 답변할 수 있다.

외부 서비스와의 연동 기능도 제공한다. 구글 캘린더와 아웃룩 캘린더를 이용한 일정 예약, 주문 조회와 환불 처리 API 호출, 웹 검색과 X 검색, 리니어(Linear)와 노션(Notion) 기반 티켓 관리, 구글 드라이브와 원드라이브 문서 활용 등을 지원한다. 상담 도중 사람이 직접 대응해야 하는 상황에서는 담당 직원에게 전화를 넘기거나, 실시간 알림을 통해 상담 진행 상황을 공유할 수도 있다.

80개 이상의 기본 음성을 제공하며, 약 2분 분량의 음성만으로 기업이나 브랜드의 고유 음성을 복제하는 기능도 포함됐다. 계정마다 무료 전화번호가 제공되며, SIP를 통해 기존 전화번호를 그대로 연결하거나 웹 브라우저에서 테스트할 수도 있다.

또 모든 통화는 자동으로 녹음 및 전사되며, 관리자는 통화 내용과 AI가 실행한 도구, 작업 내역을 확인할 수 있다. 신용카드 번호를 읽지 못하도록 하거나 정해진 업무 범위를 벗어난 대화를 제한하는 '가드레일(Guardrails)' 기능도 지원한다.

가격은 API 사용료 기준으로 책정된다. 음성 처리 비용은 분당 0.05달러이며, 음성 생성 기능은 별도 비용 없이 포함된다. xAI가 제공하는 무료 전화번호를 사용할 경우 통신 비용으로 분당 0.01달러가 추가된다. xAI는 음성 인식과 추론, 음성 합성 등을 각각 과금하는 기존 음성 AI 서비스와 달리 단순한 과금 체계를 적용했다고 설명했다.

박찬 기자 cpark@aitimes.com