엔비디아가 잡음과 울림, 음성 잘림, 압축 손상 등으로 품질이 크게 떨어진 음성을 복원하는 초경량 AI 모델을 공개했다. 특히 매개변수 960만 개만으로 대규모 음성 향상 모델을 압도하는 성능을 보였으며, 실시간 처리와 다양한 녹음 환경 및 언어를 지원하는 것이 특징이다.

엔비디아는 30일(현지시간) 범용 음성 향상 모델 ‘네모트론랩스 리유즈(NemotronLabs RE-USE)’를 허깅페이스에 공개했다.

상업적 활용이 가능한 오픈 모델로, 배경 잡음과 잔향뿐만 아니라 오디오 클리핑(음성 찢어짐), 대역폭 제한, 코덱 아티팩트, 패킷 손실, 저품질 마이크로 인한 왜곡 등 다양한 오디오 결함을 효과적으로 제거하면서 음성의 명료도와 화자 정체성을 유지하도록 설계됐다.

특히 960만개의 매개변수만으로 2억5000만개 규모의 '시돈(Sidon)', 5억개 규모의 '유니파스(UniPASE)' 등 더 큰 공개 모델을 벤치마크에서 앞섰다. 모델 가중치의 FP32 기준 용량은 38.4MB로, 음성 인식이나 미디어 편집 파이프라인에 추가하기 쉽다.

지원하는 입력 샘플링 속도는 8kHz부터 48kHz까지다. 8kHz와 16kHz는 물론 22.05kHz, 24kHz, 32kHz, 44.1kHz, 48kHz 음성을 별도의 모델 없이 처리할 수 있다. 영어와 독일어, 스페인어, 프랑스어, 중국어 음성으로 학습했으며, 특정 언어에 종속되지 않는 범용 모델을 지향한다.

여러 사람이 동시에 말하는 환경에서는 주요 화자의 음성을 보존하고 나머지 목소리를 억제하도록 학습했다. 인터뷰와 팟캐스트처럼 특정 화자의 발언을 선명하게 만드는 작업에 적합하다.

다만 모든 화자를 분리하거나 각각 식별하는 기능은 제공하지 않아 음원 분리나 화자 구분에는 별도 도구가 필요하다.

URGENT 2025 비블라인드 평가 (사진=엔비디아)

성능은 URGENT 2025 비블라인드 테스트 세트에서 평가했다. 엔비디아는 음성 품질을 측정하는 PESQ, 음성 명료도를 평가하는 STOI, 화자 유사도, 음성 인식 정확도 등 네 가지 지표에서 리유즈가 시돈과 유니파스보다 높은 점수를 기록했다고 밝혔다.

실제 음성 인식 성능도 개선됐다. 16kHz 음성 데이터에서 잡음이 섞인 원본의 문자 정확도는 76.5%였지만, 리유즈로 복원한 뒤에는 87.1%로 상승했다. 44.1kHz 데이터에서는 화자 유사도 0.90을 기록해 리쌤블 인핸스(Resemble Enhance)의 0.57을 웃돌았다.

모델 구조에는 양방향 맘바(Mamba) 아키텍처와 합성곱 인코더·디코더를 결합했다. 중앙에는 30개 계층으로 구성된 양방향 맘바 코어가 자리 잡고, 음성의 시간·주파수 패턴과 녹음 과정에서 발생한 손상 요인을 학습한다. 인코더와 디코더는 오디오를 모델 내부 표현으로 변환한 뒤 복원된 음성으로 다시 출력한다.

맘바는 상태공간 모델 기반의 시퀀스 처리 구조로, 입력 길이에 따라 연산량이 선형적으로 증가한다. 일반적인 전체 셀프 어텐션 방식의 연산량이 시퀀스 길이에 대해 제곱으로 증가하는 것과 비교하면 긴 음성 데이터를 효율적으로 처리할 수 있다.

학습에는 약 2500시간 분량의 대규모 합성 음성 데이터와 실제 공간의 음향 특성을 재현하는 실내 및 마이크 임펄스 응답이 활용되어 다양한 녹음 환경을 모사했다.

활용 분야는 팟캐스트와 영상 음질 개선, 음성 데이터셋 정제, 자동 음성 인식(ASR) 전처리 등이다. 텍스트 음성 변환(TTS)이나 음성 기반 대형언어모델 학습에 사용할 데이터를 정리하는 작업에도 적용할 수 있다. 모델 크기가 작아 음성 인식이나 음성 생성 모델과 함께 GPU에서 실행하는 파이프라인에도 부담을 줄일 수 있다.

공식적으로 안내된 리유즈 추론 환경은 리눅스와 엔비디아 암페어(Ampere) GPU 기반이며, A100 등에서 트리톤 추론 서버(Triton Inference Server) 가속을 활용한다. 특히 초경량 구조를 바탕으로 실시간 애플리케이션 및 서비스 적용에 유리한 확장성을 갖췄다.

엔비디아는 개별 음성 파일을 시험할 수 있는 허깅페이스 데모도 제공한다. 30초가 넘는 긴 녹음 파일은 GPU 메모리 사용량을 줄이기 위해 오디오를 겹치는 구간이 있는 여러 조각으로 나눠 처리하는 별도 스크립트를 지원한다.

박찬 기자 cpark@aitimes.com