端到端管理Amazon Bedrock成本：面向FinOps与平台团队的实践指南

事件经过

AWS机器学习博客发布了《端到端管理Amazon Bedrock成本：面向FinOps与平台团队的实践指南》。生成式AI的成本管理是构建应用的团队与负责云支出的团队之间的共同责任。许多团队的起点是比较各模型的每词元费率，并要求应用团队缩短提示词。

智能体化工作负载让这些问题变得更加紧迫。一个对话式助手通常每个用户回合只发起一次模型调用。

智能体（即执行多步骤任务而非回答单个问题的AI）工作流，例如一个规划代码修改、读取文件、调用工具并反复迭代的AI编程助手，每完成一项任务会发起大量调用，并且每次调用携带的上下文也更大。因此，词元消耗取决于您赋予该工作流的自主程度以及它所携带的上下文规模，而不是用户交互的次数。

人工智能生成式AI的成本管理是构建应用的团队与负责云支出的团队之间的共同责任。由于消耗取决于工作负载的设计和运营方式，生成式AI的成本管理是一门架构与运营层面的学科。

这是一种运营模式：一个可重复的循环，将每一美元归属到责任人，使每个请求都可观测，在超支累积之前对预算进行告警和强制执行，优化导致大部分可避免浪费的平台默认设置，并按固定节奏审查整个系统。您需要将每一美元归属到责任人、使每个请求可观测、借助预算与强制执行来控制支出、优化导致大部分可避免支出的平台默认设置，并建立将数据转化为决策的审查节奏。该方法基于AWS的各项基础构件构建，您可以根据自身环境进行定制和应用。