Amazon Bedrock为Claude模型新增符合Schema规范的JSON输出
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
据AWS官方博文介绍,通过Amazon Bedrock调用Anthropic Claude模型的开发者,现可获得遵循既定结构的JSON响应。该功能覆盖bedrock-runtime和bedrock-mantle端点上的所有Claude模型。
开发者可获得的输出
输出可以通过JSON Schema输出格式或严格的工具调用(strict tool use)被限定为既定结构。博文称,无论是通过Boto3和bedrock-runtime API调用Claude,还是在bedrock-mantle端点上使用Messages API,该功能均可生效。
博文称,这一方法无需自定义解析、重试逻辑和后处理,即可得到预期结构。
Schema如何被强制执行
AWS将该机制描述为受约束解码(constrained decoding),即在生成token的过程中应用Schema,而非在输出生成后再进行检查。因此模型不会生成违反Schema的token,从而保证字段类型一致,并确保必填字段存在。
由于响应遵循Schema,AWS认为集成方无需再为处理Schema违规而进行重试。博文还称,响应仅限于Schema定义的字段,这可以减少输出token数量,并为高吞吐量工作负载降低推理成本。
AWS列举的应用场景
博文列举了几类场景:从财务业绩报告和合规文件中提取必要字段,将临床笔记解析为电子健康档案,以及用一致且经过验证的结果丰富产品目录。博文还列出了合同分析(提取关键条款、各方及义务)和基于意图、情感与实体的支持工单分派。
批量推理与跨区域支持
结构化输出可与批量推理配合使用,用于异步处理大量请求。在bedrock-runtime端点上,它还可与跨区域推理配合使用;如需实时输出,响应可以以带类型的事件流形式返回。可用性取决于某一模型在特定区域是否提供。
待解问题
- 输出token数量的减少在实际中能将成本降低多少?
- 每个AWS区域分别提供哪些Claude模型?