Project ES/: : ONNX

ONNX Runtime 설치

Jay.P Morgan 2026. 4. 30. 23:17

ONNX Runtime 설치

원하는 운영 체제, 하드웨어, 가속기 및 언어 조합에 대한 권장 설치 지침은 설치 매트릭스를 참조하십시오.

운영 체제 버전, 컴파일러, 언어 버전, 종속 라이브러리 등에 대한 자세한 내용은 호환성 항목을 참조하십시오.

1. ONNX 설치

1.1 요구사항

모든 빌드에는 en_US.UTF-8 로케일이 포함된 영어 언어 패키지가 필요합니다. Linux에서는 locale-gen en_US.UTF-8 및 update-locale LANG=en_US.UTF-8 명령을 실행하여 language-pack-en package 를 설치하십시오.
Windows 빌드에는 Visual C++ 2019 runtime이 필요합니다. 최신 버전을 사용하는 것이 좋습니다.

1.2 CUDA와 CuDnn

ONNX Runtime GPU 패키지를 사용하려면 CUDA와 cuDNN을 설치해야 합니다. 호환되는 CUDA 및 cuDNN 버전을 확인하려면 CUDA execution provider requirements을 참조하십시오.

   •  zlib는 Linux용 cuDNN 9.x에서만 필요합니다(zlib는 cuDNN 9.x Windows 동적 라이브러리에 정적으로 링크됨). 또는 Linux 및 Windows용 cuDNN 8.x에서도 필요합니다. Linux 또는 Windows에 zlib를 설치하려면 cuDNN 8.9 installation guide를 참조하십시오.
   •  Windows에서는 CUDA bin 및 cuDNN bin 디렉터리의 경로를 PATH 환경 변수에 추가해야 합니다.
   •  Linux에서는 CUDA lib64 및 cuDNN lib 디렉터리의 경로를 LD_LIBRARY_PATH 환경 변수에 추가해야 합니다.

onnxruntime-gpu 패키지를 사용하면 CUDA 또는 cuDNN을 수동으로 설치하지 않고도 PyTorch와 함께 사용할 수 있습니다. 자세한 내용은 Compatibility with PyTorch을 참조하십시오.

2. Python 설치

2.1 ONNX Runtime CPU 설치

pip install onnxruntime

INSTALL NIGHTLY

pip install coloredlogs flatbuffers numpy packaging protobuf sympy

pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple onnxruntime

2.2 ONNX 런타임 GPU(DirectML) 설치 - 지속형 엔지니어링 모드

Note: DirectML은 지속적인 엔지니어링 작업이 진행 중입니다. 새로운 Windows 프로젝트에서는 WinML을 사용하는 것을 고려해 보세요.

pip install onnxruntime-directml

INSTALL NIGHTLY

pip install coloredlogs flatbuffers numpy packaging protobuf sympy

pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple onnxruntime-directml

2.3 ONNX 런타임 GPU(CUDA 또는 TensorRT)를 설치하세요.

CUDA 12.X

onnxruntime-gpu in pypi의 기본 CUDA 버전은 1.19.0 버전부터 12.x입니다.

pip install onnxruntime-gpu

For previous versions, you can download here: 1.18.1, 1.18.0

NIGHTLY FOR CUDA 13.X

pip install coloredlogs flatbuffers numpy packaging protobuf sympy

pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ort-cuda-13/nightly/pypi/simple/ onnxruntime-gpu

NIGHTLY FOR CUDA 12.X

pip install coloredlogs flatbuffers numpy packaging protobuf sympy

pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-gpu

CUDA 11.X

CUDA 11.x의 경우, ORT Azure Devops Feed에서 1.19.2 이상 버전을 설치하려면 다음 지침을 따르십시오.

pip install coloredlogs flatbuffers numpy packaging protobuf sympy

pip install onnxruntime-gpu --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/pypi/simple/

For previous versions, you can download here: 1.18.1, 1.18.0

2.4 ONNX 런타임 QNN 설치

pip install onnxruntime-qnn

INSTALL NIGHTLY

pip install coloredlogs flatbuffers numpy packaging protobuf sympy

pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-qnn

3. C#/C/C++/WinML Installs

3.1 Install ONNX Runtime

INSTALL ONNX RUNTIME CPU

# CPU

dotnet add package Microsoft.ML.OnnxRuntime

INSTALL ONNX RUNTIME GPU (CUDA 12.X)

ORT의 기본 CUDA 버전은 12.x입니다.

# GPU

dotnet add package Microsoft.ML.OnnxRuntime.Gpu

INSTALL ONNX RUNTIME GPU (CUDA 11.8)

(1) Project Setup

Azure Artifacts 키링의 최신 버전을 Github Repo에서 설치했는지 확인하세요.
프로젝트의 .csproj 파일과 동일한 디렉터리에 nuget.config 파일을 추가하세요.

<?xml version="1.0" encoding="utf-8"?>

<add key="onnxruntime-cuda-11"

value="https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/nuget/v3/index.json"/>

</packageSources>

</configuration>

(2) Restore packages

패키지 복원(대화형 플래그를 사용하면 dotnet이 자격 증명을 입력하라는 메시지를 표시합니다.)

dotnet add package Microsoft.ML.OnnxRuntime.Gpu

참고: 매번 -interactive 옵션을 추가할 필요는 없습니다. dotnet은 자격 증명 업데이트가 필요한 경우 -interactive 옵션을 추가하라는 메시지를 표시합니다.

DIRECTML (SUSTAINED ENGINEERING - USE WINML FOR NEW PROJECTS)

dotnet add package Microsoft.ML.OnnxRuntime.DirectML

참고: DirectML은 지속적인 개발 단계에 있습니다. 새로운 Windows 프로젝트에서는 WinML을 대신 사용하십시오.

WINML (RECOMMENDED FOR WINDOWS)

dotnet add package Microsoft.AI.MachineLearning

4. web과 mobile에 설치

pre-built 패키지는 모든 ONNX 연산 집합 및 연산자를 완벽하게 지원합니다.
pre-built 패키지의 크기가 너무 큰 경우 custom build(사용자 지정 빌드)를 생성할 수 있습니다. 사용자 지정 빌드는 모델에 필요한 연산 집합과 연산자만 포함하여 크기를 줄일 수 있습니다.

4.1 JavaScript 설치

INSTALL ONNX RUNTIME WEB (BROWSERS)

# install latest release version

npm install onnxruntime-web

# install nightly build dev version

npm install onnxruntime-web@dev

INSTALL ONNX RUNTIME NODE.JS BINDING (NODE.JS)

# install latest release version

npm install onnxruntime-node

INSTALL ONNX RUNTIME FOR REACT NATIVE

# install latest release version

npm install onnxruntime-react-native

4.2 iOS에 설치

CocoaPods Podfile에 사용하려는 API에 따라 onnxruntime-c 또는 onnxruntime-objc pod를 추가하세요.

C/C++

use_frameworks!

pod 'onnxruntime-c'

OBJECTIVE-C

use_frameworks!

pod 'onnxruntime-objc'

pod install을 실행하세요.

CUSTOM BUILD

custom iOS package 생성 방법에 대한 지침을 참조하십시오.

4.3 Android에 설치

JAVA/KOTLIN

Android Studio 프로젝트에서 다음과 같이 변경하세요.

(1) build.gradle (Project):

repositories {

mavenCentral()

}

(2) build.gradle (Module):

dependencies {

implementation 'com.microsoft.onnxruntime:onnxruntime-android:latest.release'

}

C/C++

MavenCentral에서 호스팅되는 onnxruntime-android AAR 파일을 다운로드하고, 파일 확장자를 .aar에서 .zip으로 변경한 후 압축을 해제하세요. 헤더 폴더의 헤더 파일과 jni 폴더의 관련 libonnxruntime.so 동적 라이브러리를 NDK 프로젝트에 포함시키세요.

CUSTOM BUILD

custom Android package 생성 방법에 대한 지침을 참조하십시오.

5. On-Device Training용 설치

달리 명시되지 않는 한, 이 섹션의 설치 지침은 기기 내 학습을 수행하도록 설계된 사전 구축 패키지를 참조합니다.
사전 구축된 학습 패키지가 모델을 지원하지만 크기가 너무 큰 경우 custom training build를 생성할 수 있습니다.

5.1 Offline 단계 - Training용 준비

Offline Phase - Prepare for Training

python -m pip install cerberus flatbuffers h5py numpy>=1.16.6 onnx packaging protobuf sympy setuptools>=41.4.0

pip install -i https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT/pypi/simple/ onnxruntime-training-cpu

5.2 Training 단계 - On-Device 학습

Device	Language	PackageName	Installation Instructions
Windows	C, C++, C#	Microsoft.ML.OnnxRuntime.Training	dotnet add package Microsoft.ML.OnnxRuntime.Training
Linux	C, C++	onnxruntime-training-linux*.tgz	Download the *.tgz file from here. Extract it. Move and include the header files in the include directory. Move the libonnxruntime.so dynamic library to a desired path and include it.
	Python	onnxruntime-training	pip install onnxruntime-training
Android	C, C++	onnxruntime-training-android	Download the onnxruntime-training-android (full package) AAR hosted at Maven Central. Change the file extension from .aar to .zip, and unzip it. Include the header files from the headers folder. Include the relevant libonnxruntime.sodynamic library from the jni folder in your NDK project.
	Java/Kotlin	onnxruntime-training-android	In your Android Studio Project, make the following changes to: build.gradle (Project): repositories { mavenCentral() } build.gradle (Module): dependencies { implementation 'com.microsoft.onnxruntime:onnxruntime-training-android:latest.release' }
iOS	C, C++	CocoaPods: onnxruntime-training-c	In your CocoaPods Podfile, add the onnxruntime-training-c pod: Run pod install.
	Objective-C	CocoaPods: onnxruntime-training-objc	In your CocoaPods Podfile, add the onnxruntime-training-objc pod: Run pod install.
Web	JavaScript, TypeScript	onnxruntime-web	Use either import * as ort from 'onnxruntime-web/training'; or const ort = require('onnxruntime-web/training');

6. 거대 모델 학습

pip install torch-ort

python -m torch_ort.configure

참고: 이 명령은 특정 CUDA 라이브러리 버전에 매핑된 torch-ort 및 onnxruntime-trainingpackages의 기본 버전을 설치합니다. onnxruntime.ai의 설치 옵션을 참조하십시오.

모든 언어에 대한 추론 설치 표

아래 표는 공식적으로 지원되는 패키지로 제공되는 빌드 변형을 나열합니다. 다른 변형은 각 release branch에서 소스 코드를 직접 빌드할 수 있습니다.

일반적인 requirements 외에도 아래 표에 있는 추가 요구 사항 및 종속성을 참고하십시오.

	Official build	Nightly build	Reqs
Python	If using pip, run pip install --upgrade pip prior to downloading.
	CPU: onnxruntime	onnxruntime (nightly)
	GPU (CUDA/TensorRT) for CUDA 12.x: onnxruntime-gpu	onnxruntime-gpu (nightly)	View
	GPU (DirectML) sustained engineering: onnxruntime-directml	onnxruntime-directml (nightly)	View
	OpenVINO: intel/onnxruntime - Intel managed		View
	TensorRT (Jetson): Jetson Zoo - NVIDIA managed
	Azure (Cloud): onnxruntime-azure
C#/C/C++	CPU: Microsoft.ML.OnnxRuntime	onnxruntime (nightly)
	GPU (CUDA/TensorRT): Microsoft.ML.OnnxRuntime.Gpu	onnxruntime (nightly)	View
	GPU (DirectML) sustained engineering: Microsoft.ML.OnnxRuntime.DirectML	onnxruntime (nightly)	View
WinML recommended for Windows	Microsoft.AI.MachineLearning	onnxruntime (nightly)	View
Java	CPU: com.microsoft.onnxruntime:onnxruntime		View
	GPU (CUDA/TensorRT): com.microsoft.onnxruntime:onnxruntime_gpu		View
Android	com.microsoft.onnxruntime:onnxruntime-android		View
iOS (C/C++)	CocoaPods: onnxruntime-c		View
Objective-C	CocoaPods: onnxruntime-objc		View
React Native	onnxruntime-react-native (latest)	onnxruntime-react-native (dev)	View
Node.js	onnxruntime-node (latest)	onnxruntime-node (dev)	View
Web	onnxruntime-web (latest)	onnxruntime-web (dev)	View

참고: 메인 브랜치에서 생성된 Nightly 빌드는 공식 릴리스 간의 최신 변경 사항을 테스트하는 데 사용할 수 있습니다. 하지만 이러한 빌드를 사용할 경우 발생하는 모든 위험은 사용자 본인이 감수해야 합니다. 야간 빌드는 지원이 제한적이므로 프로덕션 환경에 배포하는 것은 권장하지 않습니다.

모든 언어에 대한 Training 설치 표

더 자세한 설치 지침은 Optimized Training 시작하기 페이지를 참조하세요.

'Project ES > : : ONNX' 카테고리의 다른 글

ONNX Tutorial (0)	2026.05.01
ONNX Runtime 소개 (0)	2026.04.28

현재글ONNX Runtime 설치

Acoustics, Switching, Media, Embedded System

Today :
Yesterday :

Electronic Artist