Michael Johnson两个服务向模型发送的请求数量可能相同，但造成的负载却截然不同。在 Cohere 于10月9日发布的Embed 和 Rerank 指南中，该公司建议根据请求形态、负载时间安排和延迟要求来选择共享或专用处理。这是一份基础设施实践分析，并非新 тариф 或产品公告。
对于构建搜索和 RAG 的团队，这一结论对规划索引和用户查询很重要：调用次数本身并不能准确反映计算量。一批用于生成嵌入的文档，消耗的资源可能超过许多简短的搜索查询。
为什么每分钟请求数会产生误导
嵌入会将文本转换成数值表示，供搜索系统进行语义匹配。在目录初始索引期间，应用可能会发送包含大量描述的批次；在日常搜索中，模型接收的则是简短查询文本。这两类任务的要求不同：批处理通常按吞吐量和成本评估，而搜索则看用户等待响应的时间。
对于 Rerank，还有一个重要参数：系统会向模型传入多少个候选项进行重新排序。在 Cohere 的示例中，一个简短查询与50份文档进行匹配；该公司估算这类处理约涉及1.1万个 token。候选项数量增加会扩大工作量，即使用户搜索频率保持不变。
Cohere 的计算结果说明了什么
文章给出了从按用量付费转向专用算力的大致经济临界点：对每批100条、每条约200个 token 的文本进行批量索引时，每分钟约20次请求；处理较长文档时约为4次；文章所述的 Rerank 场景约为29次。对于短搜索文本的嵌入，作者估算临界点则是每分钟数万次请求。
这些数字基于特定假设计算：使用一张 NVIDIA A10 专用显卡、全天候满负载运行、采用指定的请求规模，并依据已公布的价格。Cohere 还特别说明，如果运行时长、硬件配置、折扣或文档数量不同，图表和临界点也会变化。因此，这些数字适合作为计算方法的示例，而不是普遍适用的标准。
不过，这套选择逻辑也适用于具体示例之外的场景。可预测且持续的负载，可能更能充分利用预留算力；短时突发、间隔较长的负载，则通常更适合按实际用量付费。对于交互式搜索，还需要在预期负载下检验延迟：设备的最大吞吐量并不保证其在实际工作状态下达到所需的响应时间。
如何将这份分析用于自己的搜索系统
比较方案前，先用真实流量测量几项指标：每个请求包含的 token 和文档数量、索引批次规模、待重新排序的候选项数量、峰值持续时间以及目标延迟。然后根据实际负载时间安排计算成本，而不仅仅看平均请求数。要全面评估，还应查阅Cohere 价格页面，核对当前费率和部署条件：专用模型与按用量处理采用不同的计费方式。
对于混合搜索，合理的做法是分别评估各个阶段：目录的后台重新索引、简短的用户查询，以及候选项重新排序。这样的计算有助于判断是否值得使用统一基础设施，或让流水线的不同部分采用不同的部署模式更划算。Cohere 这篇文章的实践结论很简单：先测量每个请求承载的工作量，再选择计费和资源配置方式。