◈ eIQ AI 개발 환경 개요
1. eIQ® Time Series Studio for Edge AI Development
웹 액세스 및 온프레미스 설치를 통해 모두 사용 가능합니다.
eIQ® Time Series Studio(TSS)는 NXP 프로세서용 시계열 AI 모델의 생성, 최적화 및 선택을 간소화하는 자동화된 머신 러닝(autoML) 기능을 갖춘 엔드투엔드 개발 도구입니다. TSS는 데이터 큐레이션, 모델 생성, 최적화, 에뮬레이션 및 배포를 포함한 워크플로우를 간소화합니다. 이러한 효율성은 개발 시간과 복잡성을 줄여 임베디드 시스템에 시계열 AI를 빠르고 원활하게 통합하여 실시간 예측 인사이트를 얻을 수 있도록 합니다.
블록도
주요 기능
엔드 투 엔드 개발 파이프라인
• 데이터 큐레이션, 모델 생성, 최적화, 에뮬레이션 및 배포를 간소화합니다.
• 이상 탐지, 분류 및 회귀 작업을 지원합니다.
자동화된 머신 러닝(autoML)
• 데이터 전처리, 특징 엔지니어링, 모델 선택 및 하이퍼파라미터 튜닝을 자동화합니다.
• 정확도, RAM 및 플래시 메모리 제약 조건에 최적화된 모델을 한 번의 클릭으로 생성할 수 있습니다.
• 모델 생성 및 최적화 시간을 몇 주에서 몇 시간으로 단축합니다.
포괄적인 데이터 처리
• 다양한 소스의 시계열 데이터를 로깅, 가져오기, 정리, 레이블 지정, 정렬 및 탐색합니다.
• 전압, 전류, 온도, 진동, 압력, 소리, 비행 시간 등 다양한 센서 입력을 지원합니다.
• 맞춤형 모델 학습을 위해 사용자 지정 채널 및 클래스를 정의할 수 있습니다.
• 데이터 인텔리전스 유틸리티를 통해 샘플링 속도의 균형을 맞추고 노이즈와 추세를 한눈에 파악할 수 있습니다.
고급 시각화 및 분석
• 데이터 시각화 도구: 원시 데이터, 시계열 데이터, 통계 데이터 및 스펙트럼 데이터
• 대화형 데이터 탐색 및 분석
유연한 모델 개발
• 명령줄 인터페이스 및 그래픽 인터페이스를 제공합니다. 다양한 요구 사항을 가진 개발자를 위해 설계된 인터페이스
• NXP 마이크로컨트롤러 및 애플리케이션 프로세서의 CPU, 신경 처리 장치(NPU) 또는 디지털 신호 처리기(DSP)에 배포 가능
• 간편한 배포를 위해 사용자 지정 C/C++ 라이브러리와 간단한 API 호출 생성
• 빠른 프로토타이핑 및 검증을 위한 에뮬레이션 환경 제공
• MCUXpresso, CodeWarrior, IAR 및 GNU 컴파일러 컬렉션(GCC)과 호환
엣지 AI 지원
• 저지연, 에너지 효율적인 엣지 AI 애플리케이션에 최적화
• 데이터 개인 정보 보호 강화를 위한 오프라인 도구 제공
BYOD(Bring-Your-Own-Data) 및 BYOM(Bring-Your-Own-Model) 지원
• 수집된 데이터를 사용하여 모델을 처음부터 구축
• 기존 딥러닝 모델을 NXP 플랫폼으로 가져오고 변환하여 배포
2. eIQ® Model Watermarking Technology
데이터 수집 및 머신러닝 모델 학습은 상당한 투자가 필요하며, 데이터 소유권은 중요한 차별화 요소입니다. 그러나 copist는 일반적으로 큰 어려움 없이 모델을 복제하거나 모방할 수 있습니다. 메모리 덤프를 통해 장치에서 모델을 추출하는 것 외에도, 머신러닝 알고리즘의 입력-출력 동작에 접근하는 것만으로도 모델을 복제할 수 있다는 공격 사례가 보고되었습니다. 더욱이, 저작권 및 특허법은 대부분의 머신러닝 모델 관련 지적 재산에 직접적으로 적용되지 않습니다.
개발자가 저작권으로 보호되는 정보를 머신러닝 모델에 추가하여 저작권 주장을 강화하고 무단 복제를 입증할 수 있도록 NXP는 모델에 워터마크를 삽입하는 방법을 개발했습니다. 이 기능은 eIQ Toolkit ML 소프트웨어 활성화 환경에서 사용할 수 있습니다.
주요 기능
• 머신러닝 모델의 저작권 보호를 강화합니다.
• 모델 소유권을 입증하는 데 필요한 보고서, 아티팩트 및 지침을 생성합니다.
• 모델 성능 저하나 정확도 감소 없이 안정적으로 작동합니다.
• 워터마킹을 통한 모델 보호
- 머신러닝 분야에서 데이터 소유권은 기업의 경쟁력입니다.
- 데이터 수집 및 모델 학습에는 상당한 투자가 필요합니다.
- 모델 워터마킹은 모델이 복제되거나 도용되는 경우 지적 재산권을 보호합니다.
• 작동 원리
- 이 도구는 학습 중에 선택된 기본 클래스의 객체에 비밀 이미지를 겹쳐 표시하고, 이 겹쳐진 이미지를 대상 클래스로 표시합니다.
- 실행 중에 비밀 이미지가 겹쳐진 기본 클래스 객체가 제공되면, 모델은 기본 클래스 대신 대상 클래스를 예측하여 원본 모델이 복제되었음을 식별합니다.
3. eIQ® for Arm® CMSIS-NN
Arm CMSIS-NN은 Arm® Cortex®-M 프로세서 코어에서 신경망의 성능을 극대화하고 메모리 사용량을 최소화하는 데 사용되는 효율적인 신경망 커널 모음입니다. NXP eIQ는 간편한 배포를 위해 CMSIS-NN을 다른 모든 Arm CMSIS 구성 요소와 함께 MCUXpresso SDK에 직접 통합했습니다.
CMSIS-NN을 사용하려면 TensorFlow Lite보다 수동 작업이 더 많이 필요하지만, 사용할 수 있는 신경망 연산자 세트가 제한적이라는 단점이 있습니다. 따라서 일부 모델은 지원되지 않습니다. Arm은 또한 네트워크 토폴로지를 분석하고 사용할 적절한 함수를 자동으로 결정하는 변환 스크립트를 제공합니다.
블록도
특징
• MCUXpresso SDK의 미들웨어로 제공됨
• i.MX RT 애플리케이션 프로세서, LPC55S69 MCU 및 Cortex-M 기반 장치를 지원함
• Arm에서 Cortex-M4 및 Cortex-M7 코어에 대한 신경망 지원을 제공하기 위해 개발됨
• CMSIS-NN 개발 흐름이 완전히 오프라인으로 진행되어 M급 플랫폼을 대상으로 하는 바이너리를 생성하므로 TF Lite보다 빠르고 용량이 작음
• 일반적인 모델 레이어(예: 컨볼루션, 완전 연결, 풀링, 활성화 함수)를 구현하기 위한 기본 연산 세트를 지원함
• Caffe 모델을 CMSIS-NN API 호출로 변환하는 Arm의 변환 스크립트를 제공함
4. eIQ® Inference with Arm® NN
eIQ 소프트웨어는 Arm NN SDK를 지원합니다. Arm NN SDK는 신경망(NN) 프레임워크와 NXP의 i.MX 및 Layerscape® 프로세서를 포함한 Arm 머신러닝 프로세서 간의 연결을 제공하는 추론 엔진 프레임워크입니다.
Arm® Cortex®-A 기반 프로세서의 경우, Arm NN은 기존 신경망 프레임워크로 학습된 모델을 Arm Compute Library를 통해 Arm Neon™ 명령어를 활용하는 추론 엔진으로 변환합니다.
NXP는 i.MX 8 GPU 및 i.MX 8M Plus NPU에서 추론을 실행할 수 있도록 Arm NN에 대한 백엔드 지원을 제공합니다. Arm NN은 Caffe, TensorFlow, TensorFlow Lite 및 ONNX 모델과 호환됩니다.
블록도
주요 기능
• Arm Cortex-A CPU 코어, Verisilicon GPU 및 NPU(i.MX 8M Plus)용 추론 엔진
• Caffe, TensorFlow, TensorFlow Lite 및 ONNX 모델 지원
• MobileNet SSD, DeepSpeech v1 및 세그멘테이션 네트워크와 같은 모델 지원
• i.MX 8을 지원하는 Yocto BSP에 Arm NN이 완벽하게 통합됨
자세한 내용은 Arm NN에서 확인하세요.
5. eIQ® Inference with DeepViewRT™
eIQ Inference with DeepViewRT™는 NXP 디바이스 및 신경망 컴퓨팅 엔진 전반에 걸쳐 확장성을 제공하는 플랫폼 최적화 런타임 추론 엔진입니다. 무료로 제공되는 이 추론 엔진은 i.MX RT 크로스오버 MCU(Arm® Cortex®-M 코어), i.MX 애플리케이션 프로세서(Cortex-A 및 Cortex-M 코어, 전용 신경 처리 장치(NPU) 및 GPU)를 포함한 리소스 제약이 있는 디바이스에서 코드 크기를 최소화할 수 있도록 지원합니다.
이 추론 엔진은 Linux® OS 기반 개발을 위한 NXP 표준 Yocto BSP 릴리스와 임베디드 RTOS 지원 MCU 개발을 위한 MCUXpresso SDK 릴리스를 통해 제공됩니다.
블록도
주요 특징
• i.MX RT 크로스오버 MCU 및 i.MX 8M 제품군 애플리케이션 프로세서에서 머신 러닝 모델 실행에 최적화되어 있습니다.
• Arm® Cortex®-M 및 A 코어, GPU 및 NPU에서 추론을 실행할 수 있습니다.
• NXP MCUXpresso SDK 및 Linux OS 기반 개발을 위한 Yocto BSP 릴리스에 미들웨어로 제공됩니다.
• Au-Zone Technologies와의 독점 파트너십을 통해 구현되었습니다.
6. eIQ® Inference with Glow NN
i.MX RT 크로스오버 MCU용 eIQ 머신러닝(ML) 소프트웨어 개발 환경은 Glow 머신러닝 컴파일러를 지원하여 사전 컴파일(ahead-of-time compilation)을 가능하게 합니다. 컴파일러는 신경망을 오브젝트 파일로 변환하고, 사용자는 이를 바이너리 이미지로 변환하여 기존 런타임 추론 엔진에 비해 성능을 향상시키고 메모리 사용량을 줄입니다.
Glow는 ONNX 모델 형식을 지원하는 PyTorch 머신러닝 프레임워크의 소프트웨어 백엔드로 사용됩니다.
Glow(그래프 로워링) 컴파일러는 신경망을 두 단계의 강력한 타입의 중간 표현으로 변환하기 때문에 이러한 이름이 붙었습니다. 첫 번째 단계에서는 최적화 프로그램이 도메인별 최적화를 수행합니다. 두 번째 단계에서는 컴파일러가 특수 백엔드 하드웨어 기능을 활용하는 최적화를 수행합니다. NXP는 이 두 번째 단계에서 Arm® Cortex®-M 코어와 Cadence® Tensilica® HiFi 4 DSP에 대한 특수 지원을 추가하여 각각 Arm CMSIS-NN 및 HiFi NN 라이브러리를 활용해 성능을 향상시켰습니다.
블록도
주요 기능
i.MX RT600, i.MX RT1050, i.MX RT1060 및 기타 크로스오버 MCU 지원
지연 시간을 크게 줄이고 바이너리 크기를 축소하여 엣지에서의 추론 가능
CMSIS-NN 및 Cadence® HiFi NN 라이브러리를 활용하여 신경망 연산자 가속화
MCUXpresso SDK에 포함됨
Glow는 2018년 Facebook에서 Apache License 2.0으로 배포한 오픈 소스 커뮤니티 프로젝트입니다.
7. eIQ® Inference with TensorFlow™Lite
NXP의 Yocto 개발 환경에 통합된 eIQ 소프트웨어는 NXP의 MPU 플랫폼용 TensorFlow Lite를 제공합니다. Google에서 개발한 TF Lite는 TensorFlow(TF) 모델의 간소화된 구현을 제공하며, 사전 융합 활성화 함수 및 양자화 커널과 같은 저지연 기술을 사용하여 더 작고 (잠재적으로) 더 빠른 모델을 구현합니다. 또한 TensorFlow와 마찬가지로 TF Lite는 Eigen 라이브러리를 활용하여 행렬 및 벡터 연산을 가속화합니다.
TF Lite는 FlatBuffers 기반의 모델 파일 형식을 정의합니다. TF의 프로토콜 버퍼와 달리 FlatBuffers는 메모리 사용량이 적어 캐시 라인을 더 효율적으로 활용할 수 있으므로 NXP 장치에서 더 빠른 실행 속도를 제공합니다. TF Lite는 TF 신경망 연산의 일부를 지원하며, 순환 신경망(RNN) 및 장단기 메모리(LSTM) 네트워크 아키텍처도 지원합니다.
블록도
주요 특징
• NXP Yocto BSP 릴리스에 미들웨어로 제공
• i.MX 애플리케이션 프로세서용 NXP eIQ 소프트웨어 지원
• Arm® Cortex®-M, Cortex-A, Verisilicon GPU 및 NPU에서 추론 실행 가능
• TensorFlow보다 빠르고 용량이 작아 Edge 환경에서 추론 시 지연 시간 감소 및 바이너리 크기 축소 가능
• 오픈 소스 라이브러리(Eigen 및 GEMMLOWP)를 사용하여 행렬 및 벡터 연산 가속
• NXP에서 최적화한 GEMMLOWP 구현은 Arm® Cortex®-M7 SIMD 명령어를 사용하여 기본 구현 대비 2~3배 향상된 성능 제공
8. eIQ® Inference with TensorFlow™ Lite Micro
NXP의 i.MX RT 크로스오버 MCU를 포함한 리소스가 제한된 디바이스에서 머신러닝 모델을 실행하도록 최적화된 eIQ의 TensorFlow™ Lite for Microcontroller(TF Micro) 추론 기능을 제공합니다.
기존의 TensorFlow Lite 오픈소스 머신러닝 플랫폼보다 빠르고 작은 TF Micro 구현을 통해 더 낮은 지연 시간과 더 작은 바이너리 크기로 엣지 환경에서 추론이 가능합니다.
블록도
주요 특징
• NXP MCUXpresso SDK의 미들웨어 형태로 제공
• i.MX RT 크로스오버 MCU에서 머신러닝 모델 실행에 최적화
• Arm® Cortex®-M에서 추론 실행 가능
• 낮은 지연 시간과 작은 바이너리 크기로 엣지 컴퓨팅 환경에서 추론 가능
9. eIQ® Toolkit for End-to-End Model Development and Deployment
eIQ Toolkit은 직관적인 GUI(eIQ 포털)와 명령줄 호스트 도구를 통해 NXP EdgeVerse 프로세서에서 머신 러닝 개발을 더욱 빠르고 쉽게 만들어 줍니다.
eIQ Portal은 머신 러닝 솔루션 개발을 간소화하는 직관적인 그래픽 사용자 인터페이스(GUI)입니다. 개발자는 포털 내에서 머신 러닝 모델을 생성, 최적화, 디버깅, 시각화 및 내보낼 수 있습니다. 포털을 통해 데이터셋과 모델을 쉽게 가져오고, AI/ML 애플리케이션을 위한 신경망 모델 및 워크로드를 신속하게 학습 및 배포할 수 있습니다. 또한, 포털의 출력 소프트웨어를 사용하여 런타임 추론 엔진에 원활하게 데이터를 입력할 수 있습니다.
eIQ Toolkit은 코드 예제, 실제 사용 사례 및 다양한 프로세스 흐름 옵션에 대한 가이드라인을 제공합니다. 이러한 옵션에는 인기 프레임워크 기반의 사전 학습된 모델 가져오기, 도구 내에서 모델 개발을 위한 데이터셋 생성, 가져오기 및 증강, 또는 지원되는 추론 엔진을 활용하기 위해 기존 워크플로와 통합하는 방법 등이 포함됩니다.
블록도
주요 기능
eIQ 툴킷
• 그래프 수준 프로파일링 기능과 런타임 인사이트를 제공하여 대상 EdgeVerse™ 프로세서에서 실행되도록 신경망 아키텍처를 최적화할 수 있도록 지원합니다.
• 자동화된 머신 러닝 기능을 갖춘 타임 시리즈 스튜디오(TSS)는 시계열 기반 AI 모델의 개발 및 배포를 간소화하고 가속화합니다.
• ML 애플리케이션 예제가 포함되어 있습니다.
• 사전 학습된 모델 데이터베이스에서 선택하거나 "자체 모델 가져오기"(BYOM)를 사용할 수 있습니다.
• 전이 학습 기능은 "자체 데이터 가져오기"(BYOD) 흐름을 지원하며 사용자가 직접 작성한 데이터를 사용할 수 있도록 지원합니다.
• 내장된 변환 도구를 사용하여 TensorFlow 또는 PyTorch 프레임워크 또는 ONNX 형식의 모델을 가져올 수 있습니다.
eIQ 확장 기능
• NXP 장치에 사전 학습된 비전 ML 모델을 배포하기 위한 NVIDIA TAO 툴킷 통합
• 모델 IP 보호
• 분류 및 객체 감지를 위한 설명 가능한 AI
'Project ES > : : On-Device : : eIQ' 카테고리의 다른 글
| NXP의 On-Device AI: eIQ(Edge Intelligence) (0) | 2026.04.25 |
|---|