1. 多模型路由降本的真实场景为什么你需要一层统一网关过去一周我盯着账单看了三次。不是因为贵得离谱而是因为贵得没道理——同一个业务里日常问答走的是旗舰模型代码补全走的是另一个旗舰模型连今天天气怎么样这种请求都在烧每百万输出 50 美元的额度。litellm 多模型路由降本这件事本质上不是让你去追哪个模型更强而是让你把该用便宜模型的地方和必须用贵模型的地方分开。litellm 是一个把 OpenAI、Anthropic、Google、Azure 以及各类 OpenAI 兼容端点统一封装成 OpenAI 调用格式的 Python 库。它上面的 Router 对象提供负载均衡、fallback、按成本路由等策略。说白了你写一次router.completion(...)换模型只改一个字符串。适合谁适合手里已经有两三个模型 Key、每个月账单开始让你肉疼、但又不想为每个厂商维护一套 SDK 的开发者。我试过用最笨的办法——在每个调用点写 if-else 判断走哪家。结果就是加一个新模型要改五个文件某个厂商 429 了要手动切月底算钱靠翻各家控制台。litellm 把这堆事收进一个 config.yaml 和一个 Router 对象里。下面是我实测跑通的骨架你可以直接抄。2. TaoToken 前置统一 Key 接入与模型清单确认在写 config.yaml 之前先把 Key 的事理清楚。我这次的做法是不把四家厂商的 Key 散落在环境变量里而是通过 TaoToken 拿一个统一 Key再在 litellm 里按模型名路由。这样做的好处是——换模型、加模型、停某个厂商都只动一处配置。TaoToken 的定位是一个统一模型接入层官网在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。你需要先去控制台创建一个 API Key地址是 https://taotoken.net/console 。创建完之后在 API Keys 页面能看到你的 Key页面地址 https://taotoken.net/api-keys 。拿到 Key 之后先确认你要用的模型名。TaoToken 的模型对话页面在 https://taotoken.net/models 你可以在这里看到当前可用的模型清单和对应的调用名。我这次实测用到的几个档位档位用途模型名示例cheap日常问答、分类、摘要gemini-3.8-flashcoding代码补全、重构gpt-6-astrareasoning长链条分析、复杂推理claude-fable-5.1注意模型名一定要以 TaoToken 模型页面显示的为准不要凭记忆写。我踩过的坑就是少写了一个前缀litellm 直接报 unknown model排查了二十分钟。TaoToken 的 API 端点基础地址是 https://taotoken.net/api 在 litellm 里通过api_base参数指定。如果你用的是 OpenAI 兼容模式litellm 的openai/前缀可以直接对接。3. 可复制的 config.yaml 路由配置骨架litellm 支持用 config.yaml 定义模型列表和路由策略这样你的 Python 代码里只需要加载配置不用把模型信息硬编码进去。下面是我实测跑通的骨架你可以直接改模型名和 Key 环境变量名。model_list: - model_name: cheap litellm_params: model: openai/gemini-3.8-flash api_base: https://taotoken.net/api api_key: os.environ/TAOTOKEN_API_KEY model_info: input_cost_per_token: 0.0000001 output_cost_per_token: 0.0000004 - model_name: coding litellm_params: model: openai/gpt-6-astra api_base: https://taotoken.net/api api_key: os.environ/TAOTOKEN_API_KEY model_info: input_cost_per_token: 0.00001 output_cost_per_token: 0.00005 - model_name: reasoning litellm_params: model: openai/claude-fable-5.1 api_base: https://taotoken.net/api api_key: os.environ/TAOTOKEN_API_KEY model_info: input_cost_per_token: 0.000003 output_cost_per_token: 0.000015 router_settings: routing_strategy: least-busy fallbacks: - cheap: [coding] max_retries: 2 retry_after: 1 allowed_fails: 1 cooldown_time: 30几个关键点解释一下。api_base统一指向 TaoToken 的 API 地址api_key用os.environ/语法从环境变量读取不要硬编码。model_info里的成本参数是我按各厂商公开定价折算的每 token 成本litellm 会用这个来算completion_cost。routing_strategy我选的是least-busy因为单 Key 高并发场景下它比 round-robin 更稳。fallbacks只配了一层cheap 挂了切 coding不搞长链避免延迟放大。提示如果你有多个 TaoToken Key 想摊配额可以把同一个 model_name 写多条每条用不同的 api_key然后把 routing_strategy 改成round-robin。加载配置的 Python 代码import os from litellm import Router os.environ[TAOTOKEN_API_KEY] 你的Key router Router( model_listconfig.yaml, routing_strategyleast-busy, fallbacks[{cheap: [coding]}], max_retries2, ) resp router.completion( modelcheap, messages[{role: user, content: 用一句话解释什么是多模型路由}], ) print(resp.choices[0].message.content)把modelcheap换成coding或reasoning业务代码一行不用动。这就是 litellm 多模型路由降本最直接的落点——换模型从改代码变成改配置。4. 验证请求与成功结果成本对比与切换动作配置写完之后必须做三件事验证请求能通、成本能算、切换能生效。第一发一个最小请求确认连通性。用上面的代码跑一次如果返回正常文本说明 TaoToken 的 Key 和 api_base 都对。如果报 401检查 Key 是否复制完整如果报 404检查模型名是否和 TaoToken 模型页面一致。第二算成本。litellm 提供completion_cost函数按你配置的model_info口径自动算钱from litellm import completion_cost cost completion_cost(completion_responseresp) print(f本次调用成本: ${cost:.6f})我实测下来同一个解释 RSI的请求走 cheap 档成本大约是走 coding 档的 1/50。这不是模型能力的对比是路由策略带来的直接降本。第三验证 fallback。你可以临时把 cheap 的 api_key 改成一个错误值再发请求观察 litellm 是否自动切到 coding。日志里会显示Fallback triggered。验证完记得改回来。成本对比表格按每百万 token 折算实际以 TaoToken 页面为准档位输入成本输出成本适用场景cheap约 $0.1约 $0.4日常问答、分类coding约 $10约 $50代码补全、重构reasoning约 $3约 $15长链条分析注意上表是按公开定价折算的参考值实际计费以 TaoToken 控制台账单为准。不要用这个表去做财务决策用它来判断路由策略是否合理。5. 本篇常见错排查429、模型前缀、streaming 与计费口径我在 72 小时里踩的坑基本都集中在这几类。429 风暴。只设max_retries不配fallbacks重试还是打同一家照样被限流。两者必须配合。我的配置里max_retries: 2加fallbacks一层实测能扛住短时突发。模型名前缀。litellm 对模型名前缀有要求。走 TaoToken 的 OpenAI 兼容端点时统一用openai/前缀后面接 TaoToken 模型页面显示的模型名。少写前缀直接报 unknown model。这个错误信息不直观容易卡住。streaming 处理。router.completion(..., streamTrue)返回的是生成器不是普通响应对象。要这样取resp router.completion( modelcheap, messages[{role: user, content: 写一段 Python 快速排序}], streamTrue, ) for chunk in resp: delta chunk.choices[0].delta.content if delta: print(delta, end)漏了if delta判断遇到空 chunk 会报 NoneType 错误。token 计数口径。各家计费单位不同自建统计千万别自己数len(text)。统一走completion_cost它按你配置的model_info口径算。我一开始自己数 token结果和账单对不上排查半天才发现是口径问题。fallback 链太长。fallbacks[{cheap: [coding, reasoning]}]看起来稳但链式放大延迟。用户等三秒还没出结果体验反而差。两层足够。6. 语义一致 CTA按你的场景选下一步如果你现在卡在接入或排障阶段先去 TaoToken 控制台确认 Key 和模型名然后对照 API Keys 页面 https://taotoken.net/api-keys 和接入文档 https://taotoken.net/doc 把 config.yaml 跑通。文档里有完整的参数说明和示例。如果你想先验证模型效果再决定路由策略直接去模型对话页面 https://taotoken.net/models 试几个请求看看 cheap 档的输出质量能不能满足你的日常场景。能满足就大胆路由过去不能就锁 coding。如果你是要长期做编码或 Agent 场景建议直接上 Coding Plan地址是 https://taotoken.net/coding-plan 。它针对代码补全和长上下文做了优化配合 litellm 的 coding 档路由能把关键路径的稳定性拉满。我最后留一个实用技巧把completion_cost的返回值写进你的日志按天聚合。一周之后你会清楚地看到钱花在哪个档位上。如果 cheap 档占比低于 60%说明你的路由策略还有优化空间。这个数字比任何跑分都实在。