바이트댄스가 음성과 영상, 텍스트를 하나의 모델에서 동시에 처리하는 전이중(Full-Duplex) 멀티모달 대형언어모델(LLM) '시드리얼타임(SeedRealtime)'을 출시했다. 기존 음성 AI가 질문과 답변을 차례로 처리하는 방식에 머물렀다면, 시드리얼타임은 주변 환경을 실시간으로 이해하고 적절한 시점에 먼저 말을 거는 능동형 AI를 구현한 것이 특징이다.

바이트댄스는 5일(현지시간) 시드리얼타임이 통합 아키텍처를 기반으로 음성·영상·텍스트를 동시에 처리해 '보고, 듣고, 말하는' 자연스러운 상호작용을 제공한다고 밝혔다.

음성인식(ASR), 비전언어모델(VLM), 음성합성(TTS)을 개별적으로 연결하는 기존 캐스케이드 방식과 달리, 하나의 엔드투엔드 모델에서 인식과 이해, 추론, 응답을 병렬로 수행해 지연시간과 정보 손실을 크게 줄였다는 설명이다.

핵심 기술은 ▲음성과 영상을 함께 이해하는 공동 멀티모달 인식 ▲상황 변화에 맞춰 먼저 개입하는 능동형 상호작용 ▲사람과 비슷한 대화 타이밍 제어 등 3가지다.

공동 멀티모달 인식 기능은 영상 정보를 활용해 동음이의어를 구분하거나 "이것"과 같은 지시어가 가리키는 대상을 현재 장면과 손짓, 시선 등을 종합해 파악한다. 음성과 영상, 시간 정보를 동시에 분석함으로써 사람이 보고 듣는 정보를 하나의 맥락으로 이해할 수 있도록 설계됐다.

사용자의 요청이 없어도 필요한 순간 스스로 개입하는 능동형 상호작용도 강조됐다. 사용자가 특정 전시물을 발견하면 알려달라고 요청하면 카메라 화면을 지속적으로 관찰하다가 대상이 등장하는 즉시 알림을 제공한다. 에스프레소를 만드는 과정에서는 원두를 그대로 포터필터에 넣는 실수를 감지해 즉시 수정 방법을 안내하고, 추출 결과를 분석해 다음 추출 시간을 조정하라고 조언하는 등 실시간 피드백도 제공한다.

대화 흐름도 기존 음성 AI와 차별화했다. 외부 음성 활동 감지에 의존하지 않고 모델이 직접 언제 말을 시작하고 멈출지 판단한다. 여러 사람이 동시에 대화하거나 주변 소음이 많은 환경에서도 실제 사용자와 배경 대화를 구분해 불필요하게 반응하지 않으며, 적절한 순간에만 자연스럽게 응답한다.

바이트댄스는 엔드투엔드 인간 평가 결과, 기존 캐스케이드 기반 모델과 비교해 음성과 영상이 결합된 대화에서 발생하는 타이밍 문제를 절반 수준으로 줄였다고 밝혔다.

대화 도중 말을 끊거나 응답이 늦어지는 현상, 주변 소음에 잘못 반응하는 사례가 크게 감소했으며, 하나의 대화를 끝까지 자연스럽게 마치는 성공률도 향상됐다고 설명했다. 다만 구체적인 벤치마크 수치나 평가 규모는 공개하지 않았다.

다양한 환경에서의 활용 사례도 공개했다. 여러 사람이 동시에 대화하는 식사 자리에서는 얼굴과 목소리를 연결해 각 인물의 발언을 구분하고, 참가자들의 여행 선호도를 종합해 맞춤형 여행 계획을 제안했다. 중국 식당에서는 메뉴를 실시간으로 인식해 영어로 설명하고, 음식 문화까지 함께 소개했다. 공항에서는 이전에 화면에서 확인했던 출발 정보를 기억해 항공편 도착 시간을 안내하고, 인터넷 검색을 통해 수하물 수취대 위치까지 제공했다.

바이트댄스는 시드리얼타임이 이미 자체 서비스에 전면 적용, 업계 최초로 시청각 기반 전이중 AI를 대규모 상용 환경에 배포했다고 강조했다.

앞으로 응답 지연 시간을 더 줄이고 다중 화자 환경에서의 인식 성능을 강화하는 동시에, 예약이나 검색 등 외부 도구 호출 기능을 결합해 단순한 대화를 넘어 실제 작업을 수행하는 멀티모달 AI 에이전트로 발전시킬 계획이라고 밝혔다.

박찬 기자 cpark@aitimes.com