소음 환경 속 Noise Robustness 향상을 위한 전처리

 

  ◈ Noise Robustness 향상을 위한 전처리

 

  자동차 주행 환경이나 제조 현장은 저주파 엔진 소음, 불규칙한 타격음, 바람 소리(Wind Noise) 등 비정상성(Non-stationary) 소음이 매우 강력한 환경입니다.

  이를 극복하고 ASR(음성 인식)이나 신호 처리의 강건성을 확보하기 위한 전처리 기술은 크게 전통적인 신호 처리 방식과 딥러닝 기반 방식으로 나뉩니다.

 

  1.  전통적인 신호처리 기술 (DSP 기반)

 

지연 시간(Latency)이 매우 적어야 하는 실시간 시스템(ANC, DSP 등)에서 핵심적으로 사용됩니다.

     •  Beamforming (빔 포밍):

       - 여러 개의 마이크(마이크 어레이)를 사용하여 특정 방향(예: 운전자의 입 방향)에서 오는 소리만 증폭시키고 나머지 방향의 소음은 억제합니다.

       - 자동차 내부처럼 마이크 위치가 고정된 환경에서 매우 효과적입니다.

 

     •  AEC (Acoustic Echo Cancellation):

       - 스피커에서 나오는 소리가 다시 마이크로 들어가는 에코를 제거합니다. 차량 내 핸즈프리 통화나 음악 재생 중 음성 명령 인식에 필수적입니다.

 

     •  WNR (Wind Noise Reduction):

       - 주행 중 발생하는 불규칙한 풍절음을 감지하고, 해당 주파수 대역을 적응적으로 필터링하여 제거합니다.

 

     •  VAD (Voice Activity Detection):

       - 입력 신호 중 실제 '목소리'가 있는 구간만 탐지하여 후속 프로세서(NPU 등)의 연산 낭비를 막고 노이즈 구간의 오작동을 방지합니다.

 

 

 

  2.  딥러닝 기반 신호 개선 (Deep Learning Based)

 

i.MX8M Plus의 NPU를 활용하여 복잡하고 불규칙한 소음을 제거하는 최신 기술입니다.

 

     •  Deep Noise Suppression (DNS):

       - RNNoise나 NSNet과 같은 모델을 사용하여 배경 소음(엔진, 공장 기계 소음)과 음성을 분리합니다.

       - 전통적인 필터보다 음성 왜곡이 적으면서도 강력한 소음 제거 성능을 보입니다.

 

     •  Spectral Subtraction (Deep Learning version):

       - 소음의 주파수 특성을 학습하여 입력 신호에서 소음 성분을 빼는 방식입니다. 최근에는 인공지능이 노이즈 프로파일을 실시간으로 추정하여 적용합니다.

 

     •  Source Separation (화자 분리/음원 분리):

       - 제조 현장에서 여러 기계 소리와 사람 목소리가 섞여 있을 때, 특정 음원만 골라내는 기술(예: Conv-TasNet)입니다.

 

 

 

  3.  자동차/제조 현장 특화 강건성 전략

 

  ① 다중 모달(Multi-modal) 접근

       - 가속도계(Accelerometer) 활용: 현재 작업 중이신 RNAC처럼, 공기 중의 소리뿐만 아니라 차체나 기계의 진동을 가속도계로 측정하여 노이즈의 기준 신호(Reference)로 삼습니다. 이는 순수 마이크 방식보다 저주파 소음 제거에 압도적으로 유리합니다.

 

  ② 적응형 이득 제어 (AGC: Automatic Gain Control)

       - 주변 소음 수준에 따라 마이크의 입력 감도를 실시간으로 조절합니다. 공장 내부처럼 소음 레벨이 급격히 변하는 환경에서 클리핑(Clipping) 현상을 방지합니다.

 

  ③ 도메인 특화 데이터 증강 (Data Augmentation)

       - 학습 단계에서 KsponSpeech 같은 깨끗한 데이터에 실제 자동차 주행 소음이나 공장 기계 작동음을 합성하여 학습시킵니다. 이를 통해 모델이 현장 소음에 익숙해지도록(Robustness) 만듭니다.

 

 

  4.  i.MX8MP 구현 가이드

 

8MP 보드에서 이 파이프라인을 구축한다면 다음과 같은 배치가 가장 효율적입니다.

 

  (1) DSP (HiFi4): AEC, Beamforming, 단순 VAD (초저지연 처리)

  (2) NPU (VIP8000): Deep Noise Suppression, 고성능 화자 분리 (복잡한 패턴 인식)

  (3) MATLAB 연동: ANC/RNAC 알고리즘의 제어 파라미터를 MATLAB 시뮬레이션으로 도출하여 DSP에 상수로 이식.

 

특히 제조 현장이라면 임펄스 노이즈(쾅쾅 치는 소리) 제거가 관건일 텐데, 이 부분은 전통적인 필터보다는 딥러닝 기반의 인페인팅(Inpainting) 기술을 전처리 단계에서 검토해 보시는 것도 좋습니다.