OmniRoute：一个本地 endpoint 接管 290 家 AI 供应商

📌 一句话导读：OmniRoute 是一个 MIT 协议的自托管 AI 网关，把项目自述的 290+ 家供应商收在一个 OpenAI 兼容 endpoint 后面。价格标签：💰免费。它值不值得装，不取决于模型有多少，取决于你被 429 打断过多少次。

你被 429 打断过多少次

写代码写到一半，agent 停住，红字一行：429 Too Many Requests。

换个 key 重跑。这次是 402，余额不足。再换，模型不认 tool call。一个下午过去，代码没写几行，全在配环境。

单供应商的问题不是"模型不够强"，是它一旦限流，你整条工作流就断了。免费额度尤其如此——免费层本来就是拿排队换钱，忙的时候你就得等。

OmniRoute 想解决的是这件事。所以判断这类网关好不好，我只看一个指标：你写代码写到一半被 429 打断的次数，下降到了多少。不是它接了多少家，不是它支持多少模型，是这一个数。

下面把它拆开讲，包括我不信的部分。

一、它到底是什么：一个本地 endpoint 接管全部

一句话：它在你自己的机器上起一个服务，默认监听 http://localhost:20128/v1，对外暴露 OpenAI 兼容的 REST 接口。你把 Claude Code、Cursor、Cline、Continue 这些工具的 base URL 指过来，key 换成它发的，其余不动。

密钥不进它的云。按项目自述，凭据用 AES-256-GCM 加密后存在本机或你自己的服务器上，默认零云遥测。这一条我信一半——代码是 MIT 开源的，理论上你可以自己审；但"默认"两个字意味着它是配置项，改完是不是还零遥测，看你手上那份配置。

规模上，项目方给的数字很惊人：290+ 供应商、500+ 模型，覆盖 Claude、GPT、Gemini、DeepSeek、GLM、Kimi、MiniMax；其中 90+ 家有免费额度，号称每月追踪约 1.53B 免费 token。这些全部是项目自述，没有第三方审计，我也没逐家跑过。

二、三层能力拆解（哪些是自述）

第一层，路由。 19 种策略，含优先级路由、加权路由、成本优化路由，还有一个叫 Last-Known-Good Path 的——记住上次走通的那条路，下次优先复用。Auto 是组合模式，自动挑。策略多不等于选得对，但"记住哪条路通过"这个思路我认，它省的是试错。

第二层，容错。 这是我认为它真正的卖点。三层断路器：按供应商熔断、失败自动重试、感知额度的回退、基于健康的再路由、远程 VPS 故障转移。翻成人话：A 家 429 了，自己换 B 家；B 家没钱了，换 C 家；本机挂了，转到你的 VPS。

第三层，token 压缩。 12 引擎管线，点名了三个：RTK 过滤工具返回结果、Caveman 压散文、LLMLingua-2 做语义剪枝，声明保留代码、URL、JSON 结构。项目宣称可削减 15–95% 的 token，平均约 89%。

这个数字我标红。砍掉近九成上下文还不破坏结构，如果成立，它比路由值钱得多。但"平均"两个字藏着问题：闲聊压得狠，结构化输出压不动。收益得在你自己的任务上量。

还有一层要知道：压缩砍的是上下文，不是价格表。上下文短了，单次请求便宜，但如果压缩把 JSON 的字段抖掉一个、把一段代码的缩进吃掉，你换来的是重跑一次——那次重跑的成本，可能把省下的钱全吐出来。这是"省钱"和"省事"的取舍，不是稳赚。对结构化输出敏感的任务，我建议先关掉压缩，只用它的路由与容错。

协议面还有 MCP server（104 个工具）、A2A、webhooks、80+ CLI 命令。这些是给愿意折腾的人准备的，不是必需项。

三、四个必须先想清楚的问题

一，数字全是自述。 上面每一个数都来自项目方与第三方目录站的介绍，没有独立审计。尤其 89% 那条，属于"要么很牛要么很虚"，中间地带很窄。验证方法只有一个：拿你的真实请求跑一遍，看输出有没有缺字段、代码有没有被截断。

二，90+ 家免费供应商会过期。 免费层政策一周一变，项目自己也只能"约两周审计一次"。你看到的清单，可能是十天前的世界。指望它替你维护名单，就得接受它永远慢半拍。真实用法是：把它当日历提醒，不是当权威。

三，密钥集中本身就是单点。 把十几家 key 塞进一个本地网关，方便是真的，风险也是真的。网关被攻破，等于所有 key 一起丢；本机被入侵，加密只是延迟而不是阻止。自己掂量：这些 key 里有几个绑了卡。

四，drop-in 没那么 drop-in。 不同供应商对 tools、图片、长上下文的支持差异会漏出来。同一个 prompt，A 家老老实实调工具，B 家直接忽略。实际还得按模型调，不是改个 URL 就完事。

四、和 OpenRouter / LiteLLM 的差别

这三个常被放在一起说，定位其实不同。

选法很直接：不想运维、能接受数据过第三方，OpenRouter；要给团队做配额和审计，LiteLLM；只有一个人、被限流打烦了、想压成本，OmniRoute。三者的重叠比宣传里看起来小。

说句实在的结论：这类工具只适合一种人——手上已经有 3 个以上供应商的 key，且真的会被限流打断工作。如果你只用一个供应商、一个月花不到 20 美元，装它的收益小于维护成本。省下的那点钱，抵不过你调配置、看日志、处理某家供应商忽然改政策的时间。

它不是给"想接更多模型"的人准备的，是给"受不了中途断掉"的人准备的。这两类人的判断标准完全不同，别混。

五、装起来并跑通

项目是 TypeScript 写的，跑起来通常三步：

1. 克隆仓库装依赖。 Node 环境，npm install 一类，装完能起服务。
2. 起服务并填 key。 确认 http://localhost:20128/v1 有响应，进管理界面把至少两家供应商的凭据填进去。
3. 拿 curl 打一次。 请求 /v1/chat/completions，能出字，再把编码工具的 base URL 改过来。

第四步是很多人漏的：把首选供应商的额度故意耗光，看它会不会自己切到第二家。这一步不做，你装的只是一个更复杂的转发器。

🎯 行动清单

1. 先数 key。 手上少于 3 个可用供应商凭据，先别装。省下的钱覆盖不了维护成本。
2. 拉下来跑通。 克隆仓库、起服务、curl 打一次 chat/completions，确认 endpoint 真的通。
3. 做一次断供演练。 把首选供应商的额度耗光，或者填一个错的 key，看回退是否触发。这是唯一能验证"容错"的办法，别信文档。
4. 压测压缩。 拿一段含 JSON 和代码的真实请求，开关压缩各跑一次，比对输出完整性。别信 89%，信你自己的 diff。
5. 记两周的 429 次数。 装之前记一次，装之后记一次。下降一半以上就留着，没变化就卸掉，别舍不得。

📚 参考来源

• github.com/diegosouzapw/OmniRoute — 开源仓库与 README（官方一手）
• github.com/diegosouzapw/OmniRoute/releases — 版本与更新记录（官方一手）
• aibars.net：OmniRoute 项目介绍 — 功能清单与规模数据（第三方目录）
• openrouter.ai/docs — OpenRouter 官方文档（对比用，官方一手）
• docs.litellm.ai — LiteLLM 官方文档（对比用，官方一手）

📖 延伸阅读

• 🔧 Strata：12GB 显卡跑 125B，三层存储是怎么榨出来的 — 本地算力另一条路
• 🔧 freellmapi：16 家免费 API 一个端点全聚合，月省 17 亿 Token — 免费 API 聚合对照
• 🧠 Coding agent 的 harness 能把成本推到三倍，却没让它更准 — 成本不只看单价
• 📰 本期杂志：四个地区被划出去了 — 今日全部线索

本文首发于 自游人，转载请注明出处。