手把手教程：在Windows和Ubuntu上部署高性能本地AI大模型引擎llama.cpp

llama.cpp 是轻量级、高性能的本地 LLM 推理引擎，纯 C/C++ 实现，无冗余依赖，支持 GGUF 模型量化、多硬件加速（CPU/GPU）、多模态推理，是本地部署翻译 / 对话类 LLM 的核心工具。

下载最新版本资源：

从 llama.cpp Release下载对应系统的预编译包

• cpu版本
• NVDIA显卡选择 CUDA 12 或者 CUDA 13
• AMD、Intel 显卡选择 Vulkan (跨厂商​ (NVIDIA, AMD, Intel))
• SYCL 版本 (Intel GPU 专用)
• SYCL​ 是一个基于 C++ 的跨平台并行编程模型，在 llama.cpp 中主要用于利用 Intel GPU（如 Arc 系列、数据中心 GPU 或集成显卡）进行加速。
• 适用硬件：Intel Arc A770/A750、Intel Data Center GPU Max/Flex 系列、Intel 集成显卡。
• HIP 版本 (AMD GPU 专用)
• HIP​ 是 AMD 推出的异构计算接口，允许开发者编写可以在 AMD 和 NVIDIA GPU 上运行的代码。在 llama.cpp 中，它用于在 AMD GPU​ 上运行模型。
• 适用硬件：AMD Radeon RX 6000/7000 系列、Instinct 系列。
• 核心依赖：ROCm（Radeon Open Compute platform）。
• 将解压后的目录路径（如 D:\llama）添加到系统的 PATH环境变量中

克隆源码编译：

如果你需要最新的功能或自定义编译选项，可以选择源码编译。
安装编译环境

• Visual Studio：安装 Visual Studio 2022 或更高版本，并勾选“使用 C++ 的桌面开发”和“Windows 11 SDK”。
• CMake：安装最新版 CMake。
• CUDA（可选）：如果编译 GPU 版，需安装 CUDA Toolkit。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# 1. 克隆代码
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp

# 2. 创建构建目录
mkdir build
cd build

# 3. 配置编译选项
# 仅 CPU 编译
cmake .. -G "Visual Studio 17 2022" -A x64
# 启用 CUDA 编译
cmake .. -G "Visual Studio 17 2022" -A x64 -DLLAMA_CUDA=ON

# 4. 开始编译
cmake --build . --config Release

模型下载 GGUF 格式模型（如 Llama-3、LLaVA、Gemma 3）：

• 推荐从 Hugging Face GGUF 仓库 获取，需注意模型量化版本（如 Q4_0、Q8_0）适配硬件。
• 魔搭社区： https://modelscope.cn/aigc/models
• 中国镜像： https://hf-mirror.com/
• 将模型放在 SSD 目录，减少磁盘 IO 耗时。
• LLM量化等级说明

运行模型

打开命令行（CMD 或 PowerShell），切换到 llama.cpp目录，执行以下命令启动交互式聊天：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 基础命令（CPU 运行）
llama-cli.exe -m "models\qwen2.5-7b-instruct-q4_k_m.gguf" -i

# 启用 GPU 加速（NVIDIA）
llama-cli.exe -m "models\qwen2.5-7b-instruct-q4_k_m.gguf" -ngl 35 -i

# 启动 API 服务器（支持 OpenAI 格式调用）
llama-server.exe -m "models\qwen2.5-7b-instruct-q4_k_m.gguf" --host 127.0.0.1 --port 8080

# 允许局域网访问
llama-server.exe -m "model.gguf" --host 0.0.0.0 --port 8080

核心参数详解

版本验证

1
2
3
4
5

# Win11
./llama-cli.exe --version  # 输出 b8370 则为目标版本

# Ubuntu
./llama-cli --version