按难度分发的模型路由：让便宜模型先答，难题再升级

按难度分发的模型路由让便宜模型先答难题再升级负责 LLM 应用成本、质量或平台工程的团队经常遇到同一个取舍所有请求都交给旗舰模型稳定但成本高全部切到小模型退款规则、多步计算和长上下文问题又容易失稳。真正需要解决的不是“贵模型还是便宜模型”而是先判断请求有多难再选择能满足质量下限的模型。一刀切为什么容易失败请求难度通常是长尾分布。营业时间、订单查询等固定问题占据大量流量少量请求才需要复杂推理。如果把模型选择写成静态配置要么为少数难题支付全量成本要么让少数难题拖低整体正确率。字符长度和关键词也不是可靠的难度信号。“计算三笔分期的实际年化利率”字数很短但需要多步计算粘贴了大段无关上下文的寒暄很长却可能很简单。仅靠长度切流量省下的调用费很容易被错答和返工抵消。两种难度感知路由工程上常见两条路线。第一条是预测式路由predictive routing在调用生成模型之前用轻量判别器读取请求预测强模型与弱模型谁更可能答好再一次性分发。RouteLLM 把这个问题建模为强弱模型之间的偏好预测并使用 Chatbot Arena 的偏好数据训练路由器。它实现了相似度加权排序、矩阵分解、BERT 分类器和因果语言模型分类器等方案。公开基准说明这条路线可以改善质量与成本的组合但业务上线时仍应使用自己的流量和质量标准重新验证不能直接照搬论文数字。第二条是级联式路由cascade先让便宜模型回答再估计这份答案是否可靠置信不足时才升级到更强模型重答。FrugalGPT 是这类方案的代表它通过学习得到的评分函数评估“问题 答案”再决定是否进入下一级模型。预测式像“看题分流”额外延迟较低级联式在看到真实答案后再决策信号更贴近最终输出但难请求可能串行调用多个模型尾延迟更高。准备让路由器接入真流量时先跑影子模式路由器只记录本应选择的模型不改变当前返回结果再对比错分率、延迟和成本曲线。具体检查项可以参考路由灰度前的 dry-run 影子期清单确认信号、回退路径和观测指标都齐全后再逐步切流量。一次可验证的影子期至少完成四步从真实流量抽样并补齐人工正确性标签。同时记录旧策略与新路由器的选模结果不改变线上回答。按请求类型计算错分率、成本、首 token 延迟和尾延迟。只在质量下限、回退路径和监控告警都达标后开启小比例切流。先校准信号再设置阈值无论采用哪条路线成败往往取决于“难度或置信信号”是否可信。原始 token 概率、熵或边际值通常不是可直接比较的正确率。近期的校准路由研究给出了一条实用路径在留出的校准集上用等距回归把原始信号映射成错误概率再根据业务质量下限选择升级阈值。下面是一个最小级联骨架。打分器和校准器被刻意拆开避免把未经校准的原始分数直接当成概率fromdataclassesimportdataclassfromtypingimportCallable,ProtocolclassScorer(Protocol):defraw_confidence(self,query:str,answer:str)-float:...classCalibrator(Protocol):defto_probability(self,raw:float)-float:...dataclassclassCascadeRouter:cheap_model:Callable[[str],str]strong_model:Callable[[str],str]scorer:Scorer calibrator:Calibrator accept_threshold:floatdefanswer(self,query:str)-tuple[str,str]:draftself.cheap_model(query)rawself.scorer.raw_confidence(query,draft)p_correctself.calibrator.to_probability(raw)ifp_correctself.accept_threshold:returndraft,cheapreturnself.strong_model(query),strong阈值不应靠经验拍定。先在校准集上画“接受率—错答率”曲线找到满足质量下限的最低接受概率再观察成本和延迟。阈值越高升级请求越多质量与成本通常一起上升。维度预测式路由级联式路由决策时机调模型之前看请求便宜模型答完后看答案额外延迟一次轻量判别难请求可能多次生成信号来源请求特征与偏好预测输出的校准置信度典型代表RouteLLMFrugalGPT实践中也可以组合两者预测式先分掉明显简单和明显困难的请求只让中间地带进入级联。上线前必须守住的边界信号会漂移。业务话术、新功能和用户群变化后原有校准关系可能失效。需要定期抽样复核路由分数与真实正确率并用新样本重新校准。路由器本身会失败。判别器超时、评分服务不可用或校准数据有偏都会让分发退化。任何路由环节不可用时应回退到“够用的强模型”不能静默接受低置信答案。基线必须一致。成本节省要相对当前生产策略计算并同时记录质量、首 token 延迟和尾延迟。论文基准可以证明方向可行不能替代业务验收。级联要算尾延迟。最难的一批请求可能串行跑两遍。响应时间有硬上限时预测式或“预测式分流 局部级联”通常更容易控制。技术结论模型路由的核心是用可信信号识别请求难度并在质量下限内选择成本更合适的模型。预测式适合延迟敏感、请求特征区分度高的场景级联式适合质量要求严格、允许难题多一次调用的场景。上线顺序应是业务样本评测、置信信号校准、影子观察、少量切流、持续重校准并始终保留强模型回退。