Strata：12GB 显卡跑 125B，三层存储是怎么榨出来的

📌 一句话导读：125B 参数的模型，跑在你的 12GB 游戏显卡上，95 tok/s。这句话在 2026 年 10 月之前是笑话，现在是 GitHub 上一个 MIT 协议的开源项目。价格标签：💰免费。

这句话今年才成立

先把参数摆清楚。Qwen3.8-Flash-Next，阿里云，约 125B 的 MoE。过去在消费级硬件上问"能不能跑"，标准答案是"别想"。要么租卡，要么降到 7B 吃残羹。

Strata 把这个答案改了：12GB 显存 + 64GB 系统内存，Q2_0 量化下约 95 tok/s。

做这件事的人叫 Niko Veit，斯洛文尼亚开发者，GitHub 账号 Niko1221，单人维护。C++20 写的，底层还是 llama.cpp 和 ggml——这一点很重要，后面会专门说。项目 9 月下旬首发，一个月内 600+ commit，一周内从 0.1.0 冲到 0.1.26，10 月下旬约 3.2 万 star。

我不太喜欢用 star 数做推荐理由。真正让我愿意写这一篇的，是它把"跑得动"和"跑得舒服"之间那条线，往下压了一档。

一、它到底怎么做到的

用厨房讲。

一个 125B 的 MoE 模型，专家总数 24,576 个——48 层，每层 512 个。听起来像一家雇了两万多名厨师的餐厅。但关键在：每生成一个 token，只叫约 10 个人上灶，真正参与计算的权重约占总量的 2%。

所以瓶颈从来不是"厨房不够大"，是"你怎么在人上灶之前，把人从宿舍叫过来"。Strata 干的就是这件事，它把存储分成三层：

第一层，显存，灶台边的备料区。 放每道菜都必须用的东西：注意力与 DeltaNet 混合器、路由器、共享专家、输出头、MTP 草稿层，还有 KV 缓存的热门部分。这些不挪窝。

第二层，自适应专家缓存，冰箱。 12GB 卡上大约能放 4,000–4,500 个最常用的专家。用得越久，命中率越高。

第三层，系统内存，冷库。 全部专家都在这里。GPU 和 CPU 并行算，互不等待——这句是重点，大多数 offload 方案是 CPU 等 GPU 或者反过来，一等等掉一半速度。

再加一个 SSD 层，仓库。 约 29GB 的 n-gram 查找表躺在硬盘上，每 token 只读几行，几乎不占带宽。

还有推测解码：小草稿层先猜后续几个 token，大模型一次验证。1.6–1.8 倍提速，官方说输出质量不变。相当于学徒先把配菜切好，主厨只负责最后下锅和验收——味道没变，出菜快了。

二、实测数字与硬门槛

公开跑分集中在 RTX 5070（12GB），这也是我后面要质疑的点，但先把数摆出来：

长 prompt 的读取速度更漂亮：Q2_0 约 2,650 tok/s，一份 32K token 的文档十几秒读完。这个数字比生成速度更影响体感——你贴一篇长文进去，等待时间主要花在"读"上。

128K 掉速要单独说。95 掉到 65，是实打实的三成。你如果打算拿它做长文档分析、整本项目代码问答，感受到的是"能用但没那么爽"，而不是宣传里的那个 95。日常对话、写代码片段、改文案，基本吃不到这个折扣。

说说体感。95 tok/s 是什么水平？比你读中文的速度快得多，比你在网页上等一个云端模型出字的速度也快。打字机式的逐字蹦字你感受不到，它是成段往外吐的。65 tok/s 的时候就慢一档，但还没到"等"的程度——真正会烦的是推理链长的任务，你看着它想很久，那不是速度问题，是模型本身在想。

硬门槛也讲清楚：建议 64GB 系统内存，SSD 留约 80GB 可用空间，下载体积按量化在 66–76GB。这不是"下载装完就能跑"的小软件，是一次接近百 GB 的搬家。它占的不是磁盘，是你这台机器的"常驻身份"——装完之后，这台电脑就默认有一部分容量归它了。

三、必须知道的四个问题

第一，llama.cpp 本来就能跑 Qwen3.8-Flash-Next。 这是最该说的一条。Strata 没有新架构，没有新格式，同一批权重 llama.cpp 也吃。它卖的是"特定配置上的峰值性能"，代价是通用性——你想跑长尾里那些奇奇怪怪的模型，它不一定顺手。所以它的护城河是工程，不是架构。认这一点，判断就简单了。

第二，推广痕迹重，缺真实最低配置基准。 社区有这个质疑，我认同。公开跑分几乎都在 RTX 5070 这类好配置上，12GB 卡是下限没错，但"一张 3060 + 32GB 内存"到底跑成什么样，没有像样的数据。宣称支持和支持得好，中间还有距离。

第三，首次启动会把几十 GB 数据读进内存。 机器可能短暂失去响应。别在开会投屏的时候第一次打开它，也别在跑批处理任务的机器上装。

第四，官方定位是单人使用，不是共享 AI 服务器。 想给团队搭一个内网推理服务，这不是它。API key 在 0.2.2 之后才改成可选，说明它设计时没往多用户方向想。

四、和 Ollama / LM Studio / llama.cpp 怎么选

一句话选法：你打算长期只跑那几个特定模型吗？是，用 Strata；不是，用通用的。

版本进展也值得扫一眼，能看出作者的节奏：0.2.1 加了应用内任务板和 strata bench run 固定基准，0.2.2 让显卡分 Main / Helper / Off 三种角色，0.2.3 正式发 Intel Arc 引擎包和 DFlash2 草稿器，0.2.4 把 DeepSeek V4.1-Flash 放进 Terminal（单张 12GB 卡 + 46–64GB 内存可跑），0.2.5 改成每系统一个安装包 + 新增 Speed 模式（Faster 用 6 个专家里的 5 个），0.2.7 支持 DGX Spark、Apple Silicon 能跑 DeepSeek、12GB NVIDIA 卡靠"路由器优先选已在卡上的专家"提速 15%（故事类）到 37%（代码类）。一个月迭代到这个密度，单人项目里算罕见。

对数字游民来说还有一层：本地推理的隐性价值不是省 API 费钱。是断网、跨境、弱网的时候你还能干活。这条比省多少钱更值得算。

五、安装与跑通

0.2.5 之后简单了：每系统一个安装包，引擎本体在首次启动时下载。Windows 直接装，Linux 上 Apple Silicon / ARM64 走对应包，AMD 需要 RX 7800/7900/9060/9070 且 ≥12GB 显存。

装完先跑一次 strata bench run，它会给你一份固定标准基准的结果——这是唯一能证明"你的机器到底多少 tok/s"的东西，别信别人的截图。

🎯 行动清单

1. 先查门槛：确认显卡型号与显存（NVIDIA 30/40/50 系，或 AMD RX 7800/7900/9060/9070 且 ≥12GB），系统内存 64GB，SSD 留 80GB。任一不达标，先别下。
2. 下对应平台安装包：去 Releases 页找最新版，别用第三方转载的包。下载体积 66–76GB，留够时间和流量。
3. 挑一个不忙的时段首次启动：几十 GB 数据要读进内存，机器会卡一阵。泡杯茶。
4. 跑 strata bench run 记下自己的数：常规 tok/s + 128K 上下文下的 tok/s，两个都记。这是你的真实基线。
5. 用满一周再决定去留：只在跑固定几个模型 → 留着；一周内想换三个模型 → 回 Ollama 或 LM Studio。

📚 参考来源

• github.com/Niko1221/Strata — 开源仓库（官方一手）
• github.com/Niko1221/Strata/releases — 版本记录（官方一手）
• stratallm.org — 项目官网（官方一手）
• electronicsforu.com：一个免费安装包把游戏 PC 变成本地 AI 服务器 — 硬件与三层存储机制报道
• linuxcompatible.org：Strata 0.2.5 加入 DeepSeek V4.1-Flash 与更干净的安装器 — 版本变更与社区质疑

📖 延伸阅读

• 🔧 Survival LLM：断网也能用的 AI，和它答错的那些题 — 另一个离线方案
• 🛠️ GLM-5.2 本地部署实战：M3 Ultra 跑出 21.6 tok/s — 本地部署横向对照
• 🧠 Kimi K3.1 Pro：只差 Opus 5.5 半个点的开源权重 — 放出来的权重跑什么
• 📰 本期杂志：四个地区被划出去了 — 今日全部线索

本文首发于 自游人，转载请注明出处。