정윤영 교수 연구팀은 실시간 음성 향상 기술에서 음질과 지연 시간 사이의 균형을 유연하게 조절할 수 있는 비대칭 시간 패딩 기반 스트리밍 음성 향상 모델을 개발하였다. 기존 음성 향상 모델은 특정 지연 시간 조건에 맞추어 설계되는 경우가 많아, 동일한 모델 구조에서 지연 시간을 자유롭게 조절하기 어렵다는 한계가 있었다. 특히 미래의 음성 정보를 많이 활용하면 음질을 향상시킬 수 있지만, 해당 정보를 확보하기 위한 대기 시간이 증가하여 실시간 처리에 어려움이 발생할 수 있다.

연구팀은 이러한 문제를 해결하기 위해 과거와 미래 방향의 시간 패딩 비율을 조절하는 비대칭 시간 패딩 기법을 적용하였다. 이를 통해 모델의 전체 구조와 학습 가능한 매개변수 수를 유지하면서도 다양한 지연 시간 조건에 대응할 수 있도록 하였다. 또한 이중 버퍼 구조와 선택적 상태 업데이트 기술을 도입하여 음성을 작은 구간으로 나누어 처리하는 스트리밍 환경에서도 안정적인 음성 복원이 가능하도록 설계하였다.

개발된 모델은 약 137만 개의 학습 가능한 매개변수로 구성되어 있으며, 짧은 알고리즘 지연 시간에서도 우수한 음질 평가 성능을 보였다. 또한 지연 시간을 늘릴수록 음질이 점진적으로 향상되는 경향을 확인하였으며, 짧은 지연 시간 조건에서도 기존 비교 모델보다 높은 음질 평가 점수를 기록하였다. 이번 연구는 하나의 모델로 다양한 지연 시간 조건에 대응할 수 있다는 점에서 의의가 있으며, 향후 실시간 음성 통신, 화상 회의, 보청기 및 기기 내 음성 처리 시스템 등에 활용될 수 있을 것으로 기대된다.

[연구자명]

1. 김윤식, 정윤영(교신저자)
2. 
   

[연구제목]

1. Cross-Modal Consistency-Aware Structured Pruning for Efficient Speech Enhancement with Air- and Bone-Conduction Microphones
2. 
   
3. [연구내용 요약]
4. 실시간 음성 향상 기술은 주변 소음이 섞인 음성 신호에서 배경 소음을 제거하고 발화자의 목소리를 선명하게 복원하는 기술이다. 그러나 실시간 음성 향상 시스템에서는 음질뿐만 아니라 음성 입력부터 출력까지 발생하는 지연 시간도 중요한 요소로 작용한다. 지연 시간이 길어지면 자연스러운 대화가 어려워질 수 있으며, 반대로 지연 시간을 줄이기 위해 미래의 음성 정보를 충분히 활용하지 못하면 음질이 저하될 수 있다. 기존 음성 향상 모델은 일반적으로 특정 지연 시간 조건에 맞추어 설계되기 때문에, 동일한 모델 구조에서 지연 시간을 유연하게 조절하기 어렵다는 한계가 있다. 특히 과거의 음성 정보만 활용하는 방식은 지연 시간을 줄이는 데 유리하지만 음질 개선에 제약이 있으며, 미래의 음성 정보를 활용하는 방식은 음질을 높일 수 있지만 추가적인 대기 시간이 필요하다는 문제가 있다.

   이에 연구팀은 이러한 문제를 해결하기 위해 비대칭 시간 패딩(Asymmetric Temporal Padding)을 활용한 지연 시간 조절형 스트리밍 음성 향상 모델을 개발하였다. 비대칭 시간 패딩은 음성 신호를 처리할 때 필요한 시간 패딩을 과거와 미래 방향에 서로 다른 비율로 분배하는 기술이다. 미래 방향의 패딩 비율을 높이면 현재 음성을 처리할 때 미래의 문맥 정보를 더 많이 활용할 수 있어 음질 향상에 도움이 되며, 반대로 미래 방향의 패딩 비율을 줄이면 미래 정보를 기다리는 시간이 감소하여 지연 시간을 단축할 수 있다. 이러한 방식을 통해 모델의 수용 영역과 학습 가능한 매개변수 수를 유지하면서도 음질과 지연 시간 사이의 균형을 유연하게 조절할 수 있도록 하였다.

   또한 연구팀은 비대칭 시간 패딩을 실제 스트리밍 환경에 적용하기 위해 이중 버퍼(Dual-Buffer) 구조와 선택적 상태 업데이트(Selective State Update) 기술을 도입하였다. 스트리밍 환경에서는 입력 음성을 작은 구간인 청크(Chunk) 단위로 나누어 순차적으로 처리하기 때문에, 이전 구간의 정보를 저장하는 동시에 미래의 음성 정보를 활용할 수 있는 구조가 필요하다. 이를 위해 과거 정보를 저장하는 상태 버퍼와 미래 문맥 정보를 제공하는 버퍼를 함께 활용하도록 설계하였다. 특히 미래 참조를 위해 사용한 프레임이 상태 버퍼에 중복으로 저장되면 이후 구간에서 동일한 정보가 반복적으로 처리되어 음성 복원 성능이 저하될 수 있다. 연구팀은 선택적 상태 업데이트 기술을 통해 미래 참조 프레임의 중복 저장을 방지하고, 음성을 한 번에 처리하는 방식과 청크 단위로 나누어 처리하는 방식에서 유사한 복원 결과를 얻을 수 있도록 하였다.

   개발된 모델은 약 137만 개의 학습 가능한 매개변수로 구성되어 있으며, 음성의 크기 정보와 위상 정보를 각각 처리하는 두 개의 디코더를 활용하여 음성 복원 성능을 높였다. 또한 스트리밍 환경에 적합하도록 시간적 문맥을 처리하는 구조를 개선하여 별도의 모델 구조 변경 없이 패딩 설정만으로 다양한 지연 시간 조건에 대응할 수 있도록 하였다. 음성 데이터셋을 활용한 실험 결과, 제안된 모델은 짧은 알고리즘 지연 시간에서도 우수한 음질 평가 점수를 기록하였으며, 지연 시간을 늘릴수록 음질이 점진적으로 향상되는 경향을 보였다. 특히 짧은 지연 시간 조건에서도 기존 비교 모델보다 높은 음질 평가 점수를 기록하여 음질과 지연 시간 사이의 균형을 효과적으로 개선할 수 있음을 확인하였다.

   나아가 연구팀은 실제 스트리밍 환경에서의 처리 효율성도 함께 평가하였다. 청크 크기를 적절하게 설정하면 처리 과정에서 발생하는 고정적인 연산 부담을 줄이고 실시간 처리에 필요한 효율성을 확보할 수 있음을 확인하였다. 다만 실제 시스템의 전체 지연 시간에는 알고리즘 자체의 지연뿐만 아니라 입력 데이터를 청크 단위로 수집하는 데 필요한 시간도 포함되므로, 적용 환경에 적합한 설정이 중요하다. 이번 연구는 비대칭 시간 패딩을 통해 동일한 모델 구조에서 음질과 지연 시간 사이의 균형을 조절하고, 이를 안정적인 스트리밍 처리 구조로 구현하였다는 점에서 의의가 있다. 향후 실시간 음성 통신, 화상 회의, 보청기 및 기기 내 음성 처리 시스템 등 음질과 응답 속도를 동시에 고려해야 하는 다양한 분야에 활용될 수 있을 것으로 기대된다.

5. 
   

[성과와 관련된 이미지 및 설명]

위 그림은 비대칭 시간 패딩을 활용한 지연 시간 조절형 스트리밍 음성 향상 모델의 작동 원리를 나타낸 그림이다. 먼저 이중 버퍼 구조를 통해 입력 음성의 과거 정보와 미래 문맥 정보를 별도로 관리하여 청크 단위의 음성 처리가 가능하도록 한다. 이후 비대칭 시간 패딩을 적용하여 과거와 미래 방향의 패딩 비율을 조절함으로써 모델의 수용 영역과 구조를 유지하면서 음질과 지연 시간 사이의 균형을 조절한다. 또한 선택적 상태 업데이트 기술을 통해 미래 참조 프레임이 상태 버퍼에 중복 저장되는 것을 방지하고, 청크 단위 추론과 전체 음성 시퀀스 추론 사이의 일관성을 유지한다. 최종적으로 인코더에서 추출한 특징을 바탕으로 두 개의 디코더가 음성의 크기와 위상 정보를 각각 복원하고, 이를 결합하여 최종 음성 신호를 생성한다.

[연구결과의 진행상태 및 향후 계획]

본 연구에서는 비대칭 시간 패딩을 활용하여 동일한 인공지능 모델 구조에서 다양한 지연 시간 조건에 대응할 수 있는 스트리밍 음성 향상 기술을 개발하고, 음성 데이터셋을 활용한 실험을 통해 음질과 지연 시간 사이의 균형을 개선할 수 있음을 확인하였다. 또한 이중 버퍼 구조와 선택적 상태 업데이트 기술을 통해 청크 단위의 스트리밍 환경에서도 안정적인 음성 복원이 가능하도록 하였다. 이러한 연구 결과는 실시간 음성 통신, 화상 회의, 보청기 및 기기 내 음성 처리 시스템 등 낮은 지연 시간과 높은 음질이 동시에 요구되는 분야에 활용될 수 있을 것으로 기대된다.

[논문실적]

Interspeech 2026 [Published] 

DOI: 10.21437/Interspeech.2026-1548