메타가 개인용 AI 에이전트 '뮤즈(Muse)'에 실시간 음성 대화와 영상 통화 기능을 추가했다. 사용자는 화면 속 AI 아바타와 얼굴을 마주한 듯 대화할 수 있으며, 아바타는 대화 내용과 말투에 맞춰 표정과 몸짓을 바꾼다.
메타는 5일(현지시간) '뮤즈 리얼타임 보이스(Muse Realtime Voice)'와 '뮤즈 리얼타임 아바타(Muse Realtime Avatar)'를 결합한 실시간 대화 기능을 미국 사용자에게 제공하기 시작했다고 밝혔다. 지난 9월 개발자 행사 '메타 커넥트 2026'에서 처음 공개한 기술이다.
새 기능은 사용자의 음성을 인식해 답변을 생성하고, 이에 맞춰 아바타의 표정과 입 모양, 몸짓을 실시간으로 구현한다. 일반적인 영상 통화와 달리 AI가 카메라를 통해 사용자의 얼굴을 직접 보는 방식은 아니다. 음성과 대화 맥락만으로 아바타의 반응을 만들어낸다.
아바타는 사람뿐 아니라 동물이나 캐릭터, 일상적인 사물 형태로도 설정할 수 있다. 메타는 참고 이미지나 영상에 맞춰 다양한 캐릭터를 대화형 아바타로 구현할 수 있으며, 대화가 이어지는 동안 외형과 동작의 일관성도 유지한다고 설명했다.
음성과 영상 생성을 하나의 스트리밍 시스템으로 연결하기 위해 두 기술을 활용한다. 뮤즈 리얼타임 보이스가 말의 내용과 전달 방식을 담은 음성 토큰을 생성하면, 뮤즈 리얼타임 아바타가 음성 디코더와 아바타 모델로 음성과 입 모양, 표정을 동기화한다.
실시간 영상 생성에는 확산 트랜스포머(Diffusion Transformer) 기반 모델이 적용됐다. 메타는 기존 교사 모델의 확산 과정을 120회 추론에서 2회 추론으로 줄이는 증류 기술을 적용해 생성 속도를 높였다고 밝혔다. 이를 통해 448×768 해상도의 세로 영상을 초당 25프레임으로 생성하며, 사용자의 발화가 끝난 뒤 음성과 영상이 동기화된 응답이 시작되기까지 지연 시간은 약 870밀리초(ms)다.
엔비디아와 협력해 실시간 추론 인프라도 최적화했다. 메타에 따르면 'GB200' GPU 한 대에서 영상 생성 세션 12개를 동시에 처리할 수 있으며, 기존 기준 모델보다 서비스 처리 용량을 8배 높였다.
이번 기능은 모바일과 웹, 맥에서 이용할 수 있다. 메타는 연내 출시할 예정인 AI 웨어러블 기기 '뮤즈 참(Muse Charm)'과 AI 안경에도 차례로 적용할 계획이다. 웨어러블 기기의 작은 화면에 아바타를 표시해 사용자가 AI 에이전트와 대화하고 작업을 요청할 수 있도록 한다는 구상이다.
메타는 생성 영상에 보이지 않는 워터마크를 삽입하는 '비디오 씰(Video Seal)' 기술도 적용했다. 실시간 상호작용 속도를 유지하면서 생성 콘텐츠의 출처를 추적하고 오용 가능성을 줄이기 위한 조치다. 서비스는 만 18세 이상 사용자를 대상으로 제공된다.
뮤즈는 현재 미국, 캐나다, 일본, 싱가포르 등 일부 국가에서만 서비스되고 있으며, 국내에서는 아직 공식 출시되지 않았다.
박찬 기자 cpark@aitimes.com