GLM-5.2 本地部署实战：M3 Ultra 跑出 21.6 Tok/S

📰 本文选自 自游人今日AI科技日报

GLM-5.2 是什么？

2026年6月17日，智谱（Z.ai）正式上线并开源 GLM-5.2。它不是一个普通迭代——这是目前 开源模型中综合实力最强的，MIT 协议，不做地域限制。

核心数字看一眼：

在 FrontierSWE、Terminal-Bench 等长程任务评测中，GLM-5.2 与 Claude Opus 4.8 的差距仅 1%–4%——这在开源模型中是历史首次。

更关键是它的发布背景：2026年6月12日，Anthropic 因美国商务部出口管制指令，撤回了 Fable 5 和 Mythos 5 对非美国公民的访问权限。智谱在第二天发布了 GLM-5.2，唐杰的原话是 “Frontier Intelligence Belongs to Everyone”。

这不是营销。这是 前沿模型开源的窗口机会。

1-bit 量化：753B 参数怎么塞进 Mac Studio？

完整 BF16 权重要 1.51 TB。听起来没戏？

Unsloth 的动态量化（UD — Unslo Dynamic）做了 MoE 感知的分层压缩：注意力层高质量量化，MoE 共享层激进压缩。

关键结论：256GB 统一内存的 Mac Studio M3 Ultra 是目前唯一能在本地跑 GLM-5.2 的消费级设备。 128GB 设备在任何可用量化下都装不下。

硬件选型对比

⚠️ 21.6 tok/s 是怎么来的？ 这个速度需要在 M4 Ultra + 2-bit 动态量化 + llama.cpp Metal 后端 下才能达到。M3 Ultra 同等条件大约 8–15 tok/s，足够跑 Agent 长程任务。

Mac Studio M3 Ultra 部署步骤

1. 装 Unsloth Studio（推荐新手）

1
2
3
4
5

# macOS
curl -fsSL https://unsloth.ai/install.sh | sh

# 启动 Unsloth Studio（Web UI，100% 离线）
unsloth-studio

打开浏览器访问 http://localhost:3001，图形化下载、加载、推理模型。

2. 用 Ollama + llama.cpp 部署（推荐熟手）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

# 下载 Unsloth 2-bit GGUF 量化版（~241GB）
huggingface-cli download unsloth/GLM-5.2-GGUF \
  GLM-5.2-UD-IQ2_XXS.gguf --local-dir ./models/glm-5.2

# 创建 Modelfile
cat > Modelfile << 'EOF'
FROM ./models/glm-5.2/GLM-5.2-UD-IQ2_XXS.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.95
PARAMETER num_ctx 131072
EOF

# 注册到 Ollama
ollama create glm-5.2-2bit -f Modelfile
ollama run glm-5.2-2bit

3. 直接跑 llama.cpp

1
2
3
4
5
6
7
8
9

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make -j LLAMA_METAL=1

# 启动 server（OpenAI 兼容 API）
./llama-server \
  -m ./models/glm-5.2/GLM-5.2-UD-IQ2_XXS.gguf \
  -c 131072 \
  -ngl 99 \
  --host 0.0.0.0 --port 8080

然后任何 OpenAI 兼容客户端都能调：

1
2
3
4
5
6
7

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key="not-needed")
response = client.chat.completions.create(
    model="glm-5.2",
    messages=[{"role": "user", "content": "写一个 Python 快排"}]
)

4. 推荐推理参数

根据官方建议：

• 通用任务： temperature=1.0, top_p=0.95, repeat_penalty=1.0, max_tokens=131072
• SWE-bench 风格（代码修复）： temperature=0.7, top_p=1.0, max_tokens=16384

云 API 成本对比：自建 vs. 托管

假设你是一个 Solo 开发者，用 GLM-5.2 做编程 Agent，日均消费 50 万输出 token（使用长程 Agent 很常见）：

算账结论：

• 如果你主要是轻量使用（日均 <30 万 token），直接 API 更划算
• 如果你重度用 Agent 开发（日均 >50 万 token）、或需要隐私/离线，Mac Studio 值这个钱
• 云租用 GPU 是短期方案：$3–5/小时，适合临时跑大型任务

最重要的隐藏成本：长程任务的 token 消耗远超你预期。 实测显示 GLM-5.2 在单次 Agent 任务中可能消耗 43k token（远超 GLM-5.1 的 26k），按 API 计费会很快累加。

性能基准实测

以下数据来自社区实测和新浪科技独立评测（2026年6月）：

• FrontierSWE（多文件重构）： 得分介于 Claude Opus 4.7 与 4.8 之间
• Terminal-Bench-2.0（Shell 环境交互）： 较前代提升 28%+
• 长程实战（Bijan Bowen 评测）： 33 分钟自主构建 GTA 风格城市 + WebGL 效果
• Code Arena WebDev 盲测： 全球可用模型第一

但有个实话说在前面： GLM-5.2 的生成速度在本地部署时不算快。3–9 tok/s 意味着一个 500 token 的代码片段要等将近 1 分钟。这不是聊天模型的替代品——它是 留给 Agent 在后台慢慢跑的引擎。

一句话总结

如果你是独立开发者，想做本地 Agent 编程，且愿意投资一台 256GB Mac Studio：GLM-5.2 是目前最优解之一。如果你只想聊聊天、写点小程序：搞个 30B 级别的模型用 Ollama 跑，比这快得多。

选什么无所谓，重要的是：别被排行榜绑架，用你实际跑得动的东西。

参考来源：

1. 智谱官方公告 — GLM-5.2 发布与开源声明，2026年6月17日：https://z.ai/blog/glm-5.2
2. Hugging Face — GLM-5.2 模型权重页：https://huggingface.co/THUDM/glm-5.2
3. ZAKER 科技 —「登顶开源榜首！Z.ai 发布 GLM-5.2，本地运行需 256GB 内存」，2026年6月19日：https://news.qq.com/rain/a/20260619A0553M00
4. Unsloth 官方文档 — GLM-5.2 GGUF 动态量化指南：https://unsloth.ai/docs/models/glm-5.2
5. GitHub — unslothai/unsloth，开源微调与推理框架：https://github.com/unslothai/unsloth
6. CSDN — GLM-5.2 深度拆解：百万上下文+自研架构，2026年6月22日：https://blog.csdn.net/dong123dddd/article/details/162110090
7. APPSO 实测 —「GLM-5.2：Claude 5 关停后，它真能稳稳接住这波用户」，2026年6月17日：https://new.qq.com/rain/a/20260617A03TJF00

📖 延伸阅读

• 🧠 Claude Tag 深度体验：Anthropic 打响 Slack 协作 AI 第一枪 — Slack原生AI协作
• 🧠 Sakana Fugu：用模型路由器打破出口管制封锁 — 模型路由巧思
• 🧠 Sakana Fugu：用模型路由器打破出口管制封锁 — 模型路由巧思

最后更新：2026-06-24
本文由 AI 辅助撰写，经人工审阅。内容仅供参考，不构成任何建议。
© 2026 自游人 17YOU.COM · 转载请注明出处