TOPIC

AI

本地 AI 环境搭建、模型转换和推理部署记录,覆盖服务器与边缘设备两类场景。

13 篇

Jetson Orin 部署 OpenClaw 开启 Memory Search

在 Jetson Orin 上自编译带 CUDA 支持的 llama.cpp,为 OpenClaw Memory Search 部署本地向量模型服务并验证 GPU 推理。
361 字
|
2 分钟
Jetson Orin 部署 OpenClaw 开启 Memory Search 封面

Jetson Orin PyTorch whl 自编译指南

在 Jetson Orin aarch64 环境中从源码构建 PyTorch whl,记录依赖、编译参数和安装验证。
198 字
|
1 分钟
Jetson Orin PyTorch whl 自编译指南 封面

Jetson Orin TorchAudio whl 自编译指南

在 Jetson Orin aarch64 环境中编译 TorchAudio whl,配置 libsox 与 CUDA 依赖并验证音频处理功能。
217 字
|
1 分钟
Jetson Orin TorchAudio whl 自编译指南 封面

Jetson Orin TorchVision whl 自编译指南

在 Jetson Orin 上从源码构建 TorchVision whl,记录版本对应、环境变量、依赖安装和功能验证。
147 字
|
1 分钟
Jetson Orin TorchVision whl 自编译指南 封面

基于Jetson与HA的拓竹3D打印机炒面检测方案

通过 Jetson 部署 Obico 视觉检测服务,并结合 Home Assistant 实现拓竹 3D 打印异常监控、暂停和消息通知。
1712 字
|
9 分钟
基于Jetson与HA的拓竹3D打印机炒面检测方案 封面

Jetson Orin Nano编译ONNX Runtime GPU

在 Jetson Orin Nano 上从源码构建支持 CUDA 的 ONNX Runtime,并用于运行 Immich 深度学习模块。
531 字
|
3 分钟
Jetson Orin Nano编译ONNX Runtime GPU 封面

RDK-x5 量化部署YOLO v8模型推理摄像头视频流

2025-09-22
将 YOLOv8 模型量化为 RDK X5 可用格式,并在开发板上部署摄像头视频流实时推理。
513 字
|
3 分钟
RDK-x5 量化部署YOLO v8模型推理摄像头视频流 封面

Linux编译llama.cpp部署gpt-oss-20b-Q8-gguf

在 Linux 上编译 llama.cpp,部署 gpt-oss-20b-Q8_0 GGUF 模型,并通过 Cherry Studio 接入本地推理服务。
296 字
|
1 分钟
Linux编译llama.cpp部署gpt-oss-20b-Q8-gguf 封面

Windows 使用Anaconda 搭建 YOLO环境 教程

在 Windows 上安装 Anaconda、CUDA 与 PyTorch,创建可运行 YOLO 的 GPU 开发环境。
1036 字
|
5 分钟
Windows 使用Anaconda 搭建 YOLO环境 教程 封面

Tensor-LLM 1.0.0rc4 量化推理QwQ-32B int4

在 A100 上使用 TensorRT-LLM 对 QwQ-32B 进行 INT4 量化,转换检查点、构建引擎并运行吞吐基准测试。
419 字
|
2 分钟
Tensor-LLM 1.0.0rc4 量化推理QwQ-32B int4 封面

Ubuntu 部署 Stable Diffusion 秋叶整合包

2025-07-20
在 Ubuntu 中安装并运行 Stable Diffusion WebUI 秋叶整合包,涵盖下载、虚拟环境、依赖安装和路径修复。
359 字
|
2 分钟
Ubuntu 部署 Stable Diffusion 秋叶整合包 封面

单卡A100通过TensorRT-LLM量化推理Qwen3-8B简单教程

记录单卡 A100 上使用 TensorRT-LLM 对 Qwen3-8B 进行量化推理,涵盖容器环境、检查点转换、引擎构建和运行验证。
474 字
|
2 分钟
单卡A100通过TensorRT-LLM量化推理Qwen3-8B简单教程 封面

DeepLearning环境配置教程–OpenCV

2025-03-14
在 Windows 上使用 Anaconda 配置 OpenCV 深度学习环境,涵盖 PyTorch、CUDA、C++ 编译工具和 Jupyter 安装。
656 字
|
3 分钟
DeepLearning环境配置教程–OpenCV 封面