Jetson Orin Nano编译ONNX Runtime GPU

本机实验配置 (Release中有编译好的whl)

编译环境准备#

最新版ONNX需要 CMake > 3.28, GCC 11

升级 CMake

1
sudo apt purge cmake -y
2
sudo apt install -y apt-transport-https ca-certificates gnupg software-properties-common wget
3
wget -O - https://apt.kitware.com/keys/kitware-archive-latest.asc 2>/dev/null | \
4
  gpg --dearmor - | sudo tee /usr/share/keyrings/kitware-archive-keyring.gpg >/dev/null
5
echo 'deb [signed-by=/usr/share/keyrings/kitware-archive-keyring.gpg] https://apt.kitware.com/ubuntu/ jammy main' | \
6
  sudo tee /etc/apt/sources.list.d/kitware.list >/dev/null
7
sudo apt update
8
sudo apt install -y cmake
9
cmake --version

编译环境准备 - Jetson Orin Nano编译ONNX Runtime GPU 操作截图 1

升级 GCC 到 11

1
sudo apt update
2
sudo apt install -y gcc-11 g++-11
3
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-10 100
4
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-11 110
5
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-10 100
6
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-11 110
7
gcc --version

编译环境准备 - Jetson Orin Nano编译ONNX Runtime GPU 操作截图 2

编译ONNX#

1
git clone --recursive https://github.com/microsoft/onnxruntime
2
cd onnxruntime
3
./build.sh --config Release \
4
  --update --build --parallel --build_wheel \
5
  --use_tensorrt --use_cuda \
6
  --cuda_home /usr/local/cuda \
7
  --cudnn_home /usr/lib/aarch64-linux-gnu \
8
  --tensorrt_home /usr/lib/aarch64-linux-gnu \
9
  --cmake_extra_defines CMAKE_CUDA_ARCHITECTURES=87

编译到90%+会失败，不用担心，只是测试失败了，删除测试就好了（

1
rm -f onnxruntime/test/providers/cpu/nn/conv_fp16_test.cc
2
cmake --build build/Linux/Release --config Release -j$(nproc)
3
./build.sh --config Release \
4
  --update --build --parallel --build_wheel --skip_tests \
5
  --use_tensorrt --use_cuda \
6
  --cuda_home /usr/local/cuda \
7
  --cudnn_home /usr/lib/aarch64-linux-gnu \
8
  --tensorrt_home /usr/lib/aarch64-linux-gnu

编译ONNX - Jetson Orin Nano编译ONNX Runtime GPU 操作截图

安装并测试ONNXruntime-GPU#

我这里使用的是UV管理环境

1
uv pip install ~/onnxruntime/build/Linux/Release/dist/onnxruntime_gpu-*

安装并测试ONNXruntime-GPU - Jetson Orin Nano编译ONNX Runtime GPU 操作截图 1

测试代码

1
python3 - <<'EOF'
2
import onnxruntime as ort
3
print("ONNX Runtime:", ort.__version__)
4
print("Available providers:", ort.get_available_providers())
5
print("Default device:", ort.get_device())
6
EOF

恭喜 TensorRT 和 CUDA 都已启用加速（在Jetson平台上这条 W：警告⚠️可以忽略）

安装并测试ONNXruntime-GPU - Jetson Orin Nano编译ONNX Runtime GPU 操作截图 2

推理immich-machine-learning#

安装UV

1
curl -LsSf https://astral.sh/uv/install.sh | sh

拉取代码

1
git clone https://github.com/immich-app/immich.git
2
cd immich/machine-learning

找到pyproject.toml修改依赖文件，将 cuda = [“onnxruntime-gpu>=1.17.0,<2”] 中的 -gpu 删掉，以及注释掉以下代码

1
#name = "cuda12"
2
#url = "https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/#onnxruntime-cuda-12/pypi/simple/"
3
#explicit = true
4
#
5
#[tool.uv.sources]
6
#onnxruntime-gpu = { index = "cuda12" }

然后执行代码安装CPU版本的onnxruntime，目的是马上替换我们上面编译好的GPU版本

1
uv sync --extra cuda
2
source .venv/bin/activate
3
uv pip uninstall onnxruntime
4
uv pip install ~/onnxruntime/build/Linux/Release/dist/onnxruntime_gpu-*

在目录下新建一个.env就可以开始跑了

1
export MACHINE_LEARNING_GPU_ACCELERATION=cuda
2
export NVIDIA_VISIBLE_DEVICES=all
3
export IMMICH_PORT=3003

启动项目

1
python3 -m immich_ml

推理immich-machine-learning - Jetson Orin Nano编译ONNX Runtime GPU 操作截图

Jetson Orin Nano编译ONNX Runtime GPU

编译环境准备#

编译ONNX#

安装并测试ONNXruntime-GPU#

推理immich-machine-learning#

相关文章

Jetson Orin 部署 OpenClaw 开启 Memory Search

Jetson Orin PyTorch whl 自编译指南

Jetson Orin TorchAudio whl 自编译指南

评论

文章目录