'시각적 음성 인식(VSR)’의 정확도를 높이는 AI 기술 개발 (사진=KAIST)

한국과학기술원(KAIST·총장 배충식)은 입술 움직임만으로 말을 문자로 바꾸는 시각적 음성 인식(VSR)의 정확도를 높이는 AI 기술을 개발했다고 16일 밝혔다.

기존에는 입모양만으로 서로 다른 소리를 구별하기 어려웠고, AI는 첫 단어부터 순서대로 생성하는 자가회귀(AR) 방식이라 앞부분의 오류가 뒤 문장까지 이어지는 문제가 존재했다.

노용만 교수 연구팀(전기및전자공학부)은 이러한 순차적 생성의 한계를 극복하기 위해 확산 대형언어모델(DLLM)을 시각적 음성 인식에 최초로 도입한 ‘DLLM-VSR’ 프레임워크를 제안했다.

마스크 기반 노이즈 제거 방식으로 신뢰도 높은 단어를 먼저 확정하고 이를 양방향 문맥으로 활용해 모호한 단어를 점진적으로 교정하는 디코딩 기술을 구현했다.

자가회귀 디코딩 대비 마스크 기반 디노이징 개념 비교 (사진=카이스트)

학습 방식도 개선했다. 입술 움직임과 텍스트 내용을 먼저 맞춘 뒤 발화 길이를 분리해 익히는 ‘2단계 마스크-노이즈 제거 학습법'을 구현했다. 실제 인식 단계에서는 영상 길이로 문장 길이를 여러 개 추정하고 결과를 비교해 가장 적합한 문장을 선택하는 '길이 안내 후보군 디코딩'을 적용했다.

그 결과, 433시간 분량의 입모양 영상 데이터셋 ‘LRS3’만으로 단어 오류율 19.4%를 기록해 세계 최고 수준(SOTA)의 성능을 달성했다고 밝혔다.

해당 기술은 국제학술대회 ‘EMNLP 2026’에서 우수논문상을 수상했으며, 기계 소음이 큰 산업 현장이나 청각장애인·난청인의 의사소통 보조 장치에 활용될 것으로 기대된다고 덧붙였다.

연구팀은 웨어러블 기기나 로봇에서 인터넷 연결 없이 실시간 작동하도록 후속 연구를 진행할 예정이다.

노용만 교수는 "이번 연구는 AI가 단어를 생성하는 순서를 유연하게 제어하는 것만으로도 시각적 모호성을 지닌 음성 인식의 근본적 한계를 극복할 수 있음을 입증했다는 데 의미가 있다"고 말했다.

김해원 기자 hwkim@aitimes.com