296 字
1 分钟
874 次阅读
Linux编译llama.cpp部署gpt-oss-20b-Q8-gguf
前言
A100无法推理原生的fp4量化模型，TensorRT-LLM难以部署，故选择了llama.cpp，在使用前记得配置CUDA环境（之前的教程有）
编译llama.cpp
键入以下命令拉取最新源码并编译llama相关的二进制可执行程序
apt-get updateapt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -ygit clone https://github.com/ggml-org/llama.cppcmake llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON -DLLAMA_SERVER=ONcmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split llama-server复制程序到项目根目录便于使用
cp llama.cpp/build/bin/llama-* llama.cpp拉取gguf
进入抱脸网，选择一个自己想要部署的模型，例如gpt-oss-20b-Q8_0.gguf，如下图点击复制下载链接
新建一个文件夹用于存放gguf并进入
mkdir -p gguf/gpt-oss-20b-GGUF | cd gguf/gpt-oss-20b-GGUF/使用wget下载模型
wget https://huggingface.co/unsloth/gpt-oss-20b-GGUF/resolve/main/gpt-oss-20b-Q8_0.gguf推理gguf模型
llama.cpp/llama-server --model gguf/gpt-oss-20b-GGUF/gpt-oss-20b-Q8_0.gguf --n-gpu-layers 99 --host 0.0.0.0 --port 8080
接入Cherry Studio
注意IP+端口，密钥随便填，点击管理会自动给出正在推理的模型
Linux编译llama.cpp部署gpt-oss-20b-Q8-gguf
https://nvcc-v.com/2025/08/09/linux-llama-deploy-gguf/ KEEP EXPLORING