成本、限流、密钥轮换与中转风险

建议用时：25 分钟（含练习）

学习目标

能够为个人或小团队设置预算、限流、密钥最小权限、轮换和异常停止条件。

本节产出

一份 API 使用安全与成本检查表

核心知识：能调通之后，还要能持续使用

第一次成功调用只证明某条路径在某个时刻可用。要让一个工作流长期运行，还需要了解成本从哪里产生、并发如何限制、凭证怎样管理，以及某个服务不可用时怎么办。把这些问题放到上线后再处理，往往会让简单任务变成难以解释的费用和维护负担。

成本不能只看一次输入的字数。计费可能包含输入、输出、缓存、推理用量、工具或其他服务费用；不同模型和提供商口径不同。项目还要计算重试、失败调用、网关加价和人工审核时间。课程不提供容易过期的统一价格表，应查看当前服务定价与实际用量记录。

可以先建立一个明确标为虚构的预算模型。假设每次任务需要 1,000 单位输入、500 单位输出，教学价格分别为每千单位 0.01 元和 0.03 元，那么单次预计费用是 $0.01 + 0.5 \times 0.03 = 0.025$ 元。一百次是 2.5 元，尚未包含重试和其他费用。本例仅用于练习公式，不代表任何真实服务价格。

图中监测与停止条件要在开始前确定。例如连续认证失败、费用接近预算、输出量异常或上游发生不明切换，都应触发可观察的处理。提醒消息、预算告警与真正硬性阻止消费可能是不同功能，需要验证服务实际提供哪一种。

限流不只是一分钟多少次

服务可能按请求数、Token 数、并发连接、项目或账号分别限制。你设置了每分钟请求上限，也可能因为某一次长输入或同时开启多个流式连接而触发限制。网关与提供商还可能各有一层配额，因此应记录是哪一层返回了错误。

排队可以削平突发流量，但不能无限等待。每个任务需要合理的超时、取消方式和失败提示。若用户取消后队列仍然继续发起请求，成本与体验会脱节；如果任务在重试中，界面也不应显示已经成功完成。

凭证有生命周期，不是复制一次就结束

术语

凭证管理

凭证管理包括创建、分配、使用、监测、轮换和撤销。应尽可能按应用与环境分开，使用所需最小权限，避免多个项目共用一个无法区分责任的高权限密钥。具体权限粒度取决于服务能力；服务没有提供的控制不能在文档里假装存在。

轮换时通常要先准备新凭证，更新受保护配置，验证必要调用，再撤销旧凭证；若旧凭证已经泄露，撤销与应急处置的优先级可能不同。不能把删除聊天消息、从文件中删掉密钥或把仓库改成私有，当作凭证已经失效的证据。

案例：一项摘要工作流的运行预算

虚构团队每天整理一百条公开活动介绍。先用十条代表性材料测量输入和输出用量，覆盖短文本、长文本与缺失字段，不只测试最短那条。然后估算正常日与高峰日总量，为失败重试单独留出预算，并明确超过预算时暂停批处理。

密钥只供后端摘要服务使用，开发与生产分开；日志记录请求编号、用量、耗时和错误类别，不保存原始凭证。每周比较本地记录、网关统计与提供商账单口径，发现差异时先追踪计量原因，而不是直接断定某一方错误。

若依赖第三方中转，还要记录数据会进入哪个组织、请求是否可能被转发到其他提供商、余额和历史记录能否导出。服务连续性计划可以是暂停任务并保留待处理队列，不必自动切换到一个未经授权的新服务。所谓“备用方案”也必须满足相同的数据边界。

动手练习

1. 使用本节虚构价格，计算每天 100 次、其中 10 次各额外重试一次的预计费用，说明你的计算假设。
2. 为自己的教学工作流列出预算、速率、并发、超时和停止条件，区分告警与硬限制。
3. 写一份不含真实值的密钥轮换检查表，以及第三方服务不可用时的处理办法。只设计，不执行真实轮换或充值。

参考答案与推演

展开

完成检查

• 费用公式标明单位、价格来源和重试假设。
• 同时考虑请求、用量、并发与失败边界。
• 能解释轮换和撤销的区别，不把删除文字当成撤销凭证。
• 第三方依赖有明确的数据与恢复边界，未作无依据的费用保证。

参考与来源

• OWASP：Secrets Management Cheat Sheet：凭证生命周期、权限与轮换实践。
• OpenAI：Rate limits：一个模型服务的限流维度与处理说明。