模型路由实战：在成本、延迟与效果之间找到平衡点

把每一个问题都丢给最强的模型，账单一来就清醒了：一句「帮我改个错别字」和一份合同风险审查，付的是同样的价钱。模型路由要解决的不是「选最好的模型」，而是「让每个任务只付它该付的钱」。

为什么单一模型一定不划算

真实业务的请求是长尾分布的：绝大多数是短问答、改写、格式化这类轻活，真正需要强推理的不到两成。用顶配模型吃下全部流量，等于为八成的轻活付了十倍溢价。

反过来说，为了省钱全切小模型也不行——一次关键判断出错，返工成本远超省下的推理费。路由的目标是把这两端都避开。

策略一：按任务分级派单

先给业务里的请求分类，而不是给模型分类。分类维度可以是意图（问答 / 写作 / 抽取 / 代码 / 推理）、输入长度、是否需要工具调用。

分好类之后，给每类配一条默认通道：轻活走快而便宜的档位，重活走推理档位，超长上下文单独走长文本档位。这张表是整个路由的地基。

• 意图分类：问答 / 写作 / 抽取 / 代码 / 复杂推理
• 长度分档：短输入走快档，超 32K 上下文走长文本档
• 工具调用：需要 function calling 的请求固定走支持度最好的通道
• 兜底档：任何未命中分类的请求落到中等档位，不猜不强派

策略二：置信度回退与二次校验

分级派单解决的是「平均情况」，回退机制解决的是「意外情况」。当轻档模型返回的答案置信度低、格式校验不过、或者用户点了「不满意」，就把同一个请求升档重跑一次。

关键点是回退要有上限：最多升一档、最多重跑一次。否则一条难缠的请求可能把整条链路拖垮，成本反而比一开始就用强模型还高。

策略三：预算与配额封顶

路由没有预算约束就是裸奔。给每个用户、每个应用、每天设三层配额：请求数、token 数、金额上限。触顶后降级到更便宜的通道或直接返回明确提示，而不是静默失败。

配额还要能实时看清——花到八成时告警，花到上限时熔断。成本治理的前提是能观测，否则月底对账才发现超支已经晚了。

没有度量就没有路由

每一条请求都要落下几个字段：走了哪条通道、耗时多少、消耗多少 token、用户是否满意。跑满两周之后再回头看这张表，你会发现最初拍脑袋定的分类几乎一定会错。

把错的分档改掉、把回退率高的类目直接提到上一档，路由才会越跑越准。这是一个持续校准的工程，不是配一次就完事。

模型路由的价值不在省了多少钱，而在于它让成本变成了「可调的参数」而不是「不可控的账单」。当成本可控，业务才敢放开用 AI。