本地部署 ¹

llama.cpp 是轻量级、高性能的本地 LLM 推理引擎，纯 C/C++ 实现，无冗余依赖，支持 GGUF 模型量化、多硬件加速（CPU/GPU）、多模态推理，是本地部署翻译 / 对话类 LLM 的核心工具。 ...