WORLDTECHAWS解析Amazon Bedrock上OpenAI模型的提示词缓存，以降低智能体成本
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
AWS机器学习博客发布了一篇关于Amazon Bedrock上OpenAI模型提示词缓存的指南，面向执行多步骤任务的AI智能体。文章称，该方法通过让智能体复用已处理过的上下文，可降低输入成本并减少延迟。
智能体为何要反复读取完整上下文
博客介绍，智能体的每一步操作，例如调用工具、读取结果并决定下一步行动，都需要将截至当前的完整历史记录发送给模型。这些历史记录包括工具定义、指令、之前的每一次工具调用以及每一项结果。
文章指出，模型仅根据收到的输入预测下一个token，并且在请求之间不保留任何内部记忆，因此每一轮都必须重新处理完整上下文。
缓存服务如何复用已保存的输入
该服务会保存输入提示词，包括指令、工具和内容，并以较低的输入价格将其应用于后续请求。博客概述了典型首次调用的构成：工具列表、指令、会话历史和最新一轮内容，且历史记录会随每一步不断增长。
从技术角度看，模型首先在称为预填充（prefill）的阶段处理每个输入token，生成构成其工作状态的键向量和值向量。提示词缓存会保存这一状态，因此当后续请求以相同的输入token开头时，服务会直接加载该状态，而无需重新计算，只处理新增内容。