[Ondevice-AI] Target B'D에 Conformer 포팅 Overview

 

  ◈ Target B'D에 ASR 포팅: 대략의 스케줄

 

i.MX8M Plus(이하 8MP) 보드에서 AAOS(Android Automotive OS) 환경 위에 ASR 모델들을 구현하는 것은 하드웨어 자원(NPU, DSP) 최적화가 핵심인 고난도 작업입니다.

 

현재 진행 중이신 AAOS 16 빌드 환경과 i.MX8MP의 특성을 고려할 때, 예상되는 구현 기간과 주요 병목 지점을 정리해 드립니다.

 

 

  1.  예상 구현 기간(숙련된 엔지니어 1인 기준)

 

 

전체 프로젝트 기간은 약 3~5개월 정도로 예상됩니다. 단순히 모델을 올리는 것은 금방이지만, 차량용 규격에 맞는 실시간성(RTF < 1.0)과 NPU 가속을 확보하는 데 대부분의 시간이 소요됩니다.

단계	주요 태스크	예상 기간
1단계: 환경 구축	AAOS HAL(Audio/Neural Network) 연동 및 SDK 설정	2~3주
2단계: 모델 양자화	FP32 → INT8/UINT8 변환 (NXP eIQ 활용)	3~4주
3단계: 가속화(NPU)	OVXLIB/TFLite Delegate를 통한 NPU 커널 최적화	4~6주
4단계: 오디오 파이프라인	HiFi4 DSP - AAOS Audio HAL 간 저지연 경로 구축	3~4주
5단계: 검증 및 튜닝	노이즈 환경(RNAC 연동 등) 하에서 정확도/속도 튜닝	4주+

 

 

 

  2.  모델별 구현 난이도 및 성능 전망

 

  Conformer (추천)

     •  구현 가능성: 매우 높음. 현재 임베디드 ASR의 표준입니다.

     •  8MP 최적화: 8MP의 NPU(2.3 TOPS)는 컨볼루션 연산에 최적화되어 있어, Conformer의 Conv 모듈 가속 효과가 뛰어납니다.

     •  성능: Small/Tiny 모델 사용 시 실시간(Real-time) 처리가 충분히 가능합니다.

     •  특이사항: ESPnet이나 NeMo 모델을 TFLite로 변환하여 NNPipe 등으로 NPU에 올리는 과정이 필요합니다.

 

  Whisper (Tiny/Base 모델)

     •  구현 가능성: 보통. 구조가 무겁고 Auto-regressive(디코더 반복) 방식이라 최적화가 까다롭습니다.

     •  8MP 최적화: 디코더의 루프 연산 때문에 NPU 효율이 Conformer보다 떨어집니다. whisper.tflite 혹은 whisper.cpp 기반의 커스터마이징이 필요합니다.

     •  성능: Tiny 모델도 NPU 가속 없이는 실시간 처리가 어렵습니다. NPU 가속 시에도 레이턴시(Latency)가 발생할 수 있어 보조 음성 인식용으로 적합합니다.

 

  Vanilla Transformer

     •  구현 가능성: 높음.

     •  특징: Conformer의 하위 호환 느낌입니다. 8MP에서는 굳이 Transformer 단독보다는 CNN이 결합된 Conformer를 쓰는 것이 인식률과 속도 면에서 모두 유리합니다.

 

 

  3.  i.MX8MP + AAOS 환경에서의 핵심 기술 포인트

 

 

  (1) NXP eIQ Toolkit 활용: 8MP의 Vivante VIP8000 NPU를 제대로 쓰려면 모델을 INT8로 양자화해야 합니다. eIQ를 사용하여 모델의 연산 노드가 NPU에서 실행 가능한 '가속 가능 노드'인지 확인하는 과정이 필수입니다.

 

  (2) NNAPI vs NN Pipe: AAOS의 NNAPI(Neural Networks API)를 통해 가속할 것인지, NXP 전용 NNPipe혹은 직접 TFLite Delegate를 연동할 것인지 결정해야 합니다. AAOS 16 버전에서는 최신 NNAPI 드라이버 호환성을 체크해야 합니다.

 

  (3) DSP와의 연동: 현재 RNAC 프로젝트를 진행 중이시라면, DSP에서 전처리(Noise Reduction, AEC)를 거친 오디오 데이터를 Shared Memory를 통해 효율적으로 NPU/CPU로 넘기는 파이프라인 설계가 성능을 좌우합니다.

 

NXP neural network

Arm의 Android NNAPI, Tensorflow Lite Delegate API

 

 

  4.  현실적인 조언

 

 

     •  먼저 시도할 것: Conformer-CTC 계열의 경량 모델을 TFLite로 변환하여 8MP의 NPU 가속 여부를 먼저 테스트하세요.

     •  병목 지점: Whisper는 디코더의 반복 연산 때문에 NPU 점유율이 높아져, AAOS의 다른 서비스(내비게이션, 인포테인먼트)에 영향을 줄 수 있습니다. Resource Partitioning 전략이 중요합니다.

 

지금 구축 중이신 AAOS 16 환경에서 NXP의 최신 VSI(Vivante Software Interface) 드라이버가 안정적인지가 가장 큰 변수가 될 것 같습니다. 혹시 NXP의 eIQ나 VSI 드라이버 관련하여 특정 오류를 겪고 계신가요? 상황을 더 알려주시면 구체적인 트러블슈팅이 가능합니다.