← 返回 博客
本页目录(6)
成本治理QSTAR 内容团队·2026-10-17·7 分钟

AI 成本失控前必有 5 个信号:可观测性与预算护栏

AI 账单暴涨往往早有征兆。本文给出 5 个可观测信号与三层预算护栏,把成本从「月底惊吓」变成「实时可控」。

几乎所有 AI 成本事故都不是突然发生的:账单翻倍的前两周,日志里往往已经写满了征兆。缺的不是省钱技巧,而是「看得见」。

信号一:单会话轮次持续变长

多轮对话会把历史上下文反复送进模型。当平均轮次从 4 轮涨到 12 轮,单次请求成本可能涨了 5 倍以上,而用户侧几乎无感。

信号二:长文档被整段塞进提示词

把整本手册塞进上下文是最贵的偷懒。换成检索增强(RAG)只送命中的段落,通常能把单次成本压到十分之一,回答反而更准。

信号三:重试风暴

上游 429 时如果所有客户端同时立刻重试,会形成放大回路:重试量把限流阈值顶得更死,成功率反而更低。缺少抖动(jitter)的退避是典型放大器。

信号四:智能体空转

智能体在工具调用之间来回试探、重复规划,每一轮都是真金白银。循环次数没有上限,是智能体成本失控最常见的根因。

信号五:模型档位错配

闲聊、分类、抽取这类轻任务用旗舰推理模型,等于用跑车送外卖。按任务路由到合适档位,是性价比最高的一次性优化。

三层预算护栏

第一层是配额:按用户 / 应用 / 团队设日额度,超限降级到小模型或排队。第二层是限速:并发与 QPS 双向卡口,防重试风暴。第三层是告警:单请求成本、日累计、异常增速三条曲线同时看,异常早于账单出现。

  • 配额层:日/月额度 + 超限降级策略
  • 限速层:并发上限 + QPS 上限 + 退避抖动
  • 告警层:单请求成本、日累计、环比增速

成本治理的终点不是「少用 AI」,而是让每一分钱都能对应到一次真实的用户价值。看得见,才谈得上优化。

分享X微博LinkedIn