기사를 읽어드립니다.

마이크로소프트(MS)가 자체 개발한 첫 실시간 양방향 음성 AI 모델 'MAI 리얼타임(Realtime)'의 비공개 테스트를 시작하며 대화형 음성 AI 시장 공략에 속도를 내는 것으로 확인됐다. 

테스팅카탈로그는 2일(현지시간) MS가 최근 일부 비공개 파트너를 대상으로 MAI 플레이그라운드(Playground) 환경에서 ‘MAI 리얼타임’ 모델의 한정 테스트를 진행 중이라고 전했다.

현재 모델은 초기 접근 형태로 제공되고 있으며, 앞으로 MS의 AI 개발 플랫폼과 '코파일럿(Copilot)' 등 주요 서비스에 적용될 것으로 전망된다.

MAI 리얼타임의 가장 큰 특징은 듣기와 말하기를 동시에 수행하는 전이중(Full-duplex) 아키텍처다. 기존 음성 AI가 사용자의 발화를 모두 들은 뒤 응답하는 방식이었다면, MAI 리얼타임은 상대방의 말을 실시간으로 듣고 자연스럽게 반응할 수 있어 실제 사람 간 대화에 가까운 상호작용을 구현한다.

이러한 구조는 오픈AI의 'GPT-라이브'나 음성 AI 스타트업 세서미(Sesame)의 기술과 유사한 방식으로, 최근 대세를 이루는 기술이다.

현재 모델에는 빅토리아(Victoria)와 그랜트(Grant) 두 가지 음성이 제공된다. 모두 기존 코파일럿 음성 모드보다 자연스러운 억양과 표현력을 갖춘 것으로 알려졌다.

또 언어 자동 감지 기능을 지원해 대화 도중 사용자가 언어를 바꾸더라도 자연스럽게 인식하고 응답을 이어갈 수 있다. 지원 언어는 한국어를 비롯해 영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 포르투갈어, 일본어, 중국어, 네덜란드어, 힌디어, 인도네시아어, 아랍어, 러시아어, 터키어, 베트남어, 태국어 등 총 17개 언어에 달한다.

사용자의 발화를 인식하는 방식도 선택할 수 있다. 하나는 MAI-이어(Ears) 엔드포인터를 활용하는 '스위치보드(Switchboard)' 방식이며, 다른 하나는 무음 감지와 위스퍼(Whisper) 기반 의미 분석을 결합한 결정론적 엔드포인트 방식이다. 두 방식 모두 자연스러운 끼어들기와 빠른 응답을 지원해 대화 흐름을 매끄럽게 유지하는 데 초점을 맞췄다.

실제 테스트에서는 응답 지연 시간이 매우 짧고 사용자의 말을 중간에 끊거나 끼어드는 상황도 안정적으로 처리하는 것으로 전해졌다. 다만 노래를 부르거나 효과음 등 비언어적 소리를 생성하지는 않아 범용 오디오 생성 모델이 아닌 순수 대화형 음성 AI에 집중한 모델이라는 점도 특징이다.

개발자를 위한 디버그 패널도 제공된다. 실시간 지연 시간과 모델 처리 과정, 내부 추론 단계 등을 확인할 수 있으며, 앞으로 플레이그라운드 사용자에게는 대화 샘플 공유 기능도 추가될 전망이다.

이번 모델은 MS가 구축해 온 자체 AI 모델 라인업의 마지막 퍼즐로 평가된다. MS는 지난 5월 열린 '빌드 2026' 개발자 행사에서 단방향 음성 합성 모델 'MAI-보이스-2'와 초저지연 버전인 'MAI-보이스-2-플래시'를 공개했으며, 음성 인식 모델 'MAI-트랜스크라이브-1.5'도 선보였다.

그러나 지금까지 실시간 음성 대화 기능은 대부분 오픈AI 기술에 의존해 왔다. 애저 스피치(Azure Speech)의 보이스 라이브(Voice Live) API도 음성-음성 변환 계층에서 GPT-리얼타임 모델을 활용하고 있으며, 코파일럿의 음성 기능도 상당 부분 오픈AI 기반으로 운영돼 왔다.

MAI 리얼타임이 정식 출시되면 이러한 의존도를 줄이고, 무스타파 술레이만이 이끄는 MS 슈퍼인텔리전스 조직의 자체 AI 전략을 완성하는 핵심 기술이 될 것으로 전망된다. MS는 이미 빌드 2026에서 7개의 자체 AI 모델을 공개한 이후 코파일럿, 팀즈(Teams), 빙(Bing) 등 주요 서비스에서 오픈AI 구성 요소를 자체 기술로 점차 대체하고 있다.

업계에서는 MAI 리얼타임이 앞으로 MS 파운드리(Foundry)를 중심으로 개발자에게 제공되고, 소비자 서비스에서는 코파일럿 음성 모드의 핵심 엔진으로 활용될 가능성이 높다고 보고 있다.

다만 MS는 아직 정식 출시 일정이나 서비스 확대 계획을 공개하지 않았다.

박찬 기자 cpark@aitimes.com