“开源 AI 网关的标准:一个 Python 代理把 100 多家供应商 API 统一成 OpenAI 格式,接管路由、限流和成本记账”
founder@LiteLLM · YC W23 · 被 API 兼容性折磨的产品团队 · 现居美国(YC W23)
Builder
YC W23 项目,创始人 Krrish Dholakia 和 Ishaan Jaffer 原本在做 chat-with-your-data 产品,被各家 API 互不兼容的调用逻辑折磨,索性把这部分抽象成一个包,2023 年 8 月开源。融资只有约 160 万美元种子轮,团队至今 10 人左右。
LiteLLM 要做的是开源 AI 网关的标准:一个 Python 代理把 100 多家供应商的 API 统一成 OpenAI 格式,顺手接管了路由、限流和成本记账。它做到了 GitHub 超 4.5 万 Star、2.4 亿次 Docker 拉取,每天路由数亿次 LLM 调用,客户包括 NASA、Netflix、Adobe、Stripe,招聘页自曝 ARR 已到 700 万美元。它还在跟着协议扩张管辖范围,已经兼做 MCP 网关和 Agent-to-Agent 网关。
QUICK FACTS
Product
开源 AI 网关的标准,统一 100+ 供应商 API 为 OpenAI 格式
🔌
统一 OpenAI 格式
100+ 供应商 API 统一接入
🚦
路由 / 限流 / 记账
顺手接管网关核心职能
🌐
协议扩张
兼做 MCP 网关与 Agent-to-Agent 网关
📊
资本效率
10 人、约 160 万美元融资,ARR 约 700 万美元
Journey
2023/8/1
LiteLLM 开源
2026/3/1
经历供应链安全事件
成为所有人 AI 栈单点的同时,也是所有人的单点故障
硅星人 Lens
我们的分析与判断
LiteLLM 是资本效率的极端样本:10 个人、不到 200 万美元融资,做到 GitHub 超 4.5 万 Star、2.4 亿次 Docker 拉取,每天路由数亿次 LLM 调用,客户包括 NASA、Netflix、Adobe、Stripe,招聘页自曝 ARR 已到 700 万美元。它证明这一层的技术门槛不高,高的是默认地位,而开源是拿到默认地位最快的路径——Netflix 的工程师说,新模型发布后一天内内部就能用上。
代价同样清楚:今年 3 月它经历了一次供应链安全事件。当你是所有人 AI 栈的单点,你也是所有人的单点故障。它和 OpenRouter 其实是同一层的两种命运:一个把这层做成收租的市场,一个做成免费的水电。最终定义这个品类的会是哪种形态,比谁的算法更聪明更值得追问。
yoky
硅星人 联合创始人 · 主笔
独立思考,为 Builder 发声