WORLDTECH NEWS 全球科技资讯。联系我们
← 返回 WORLDTECH

Amazon Bedrock为Claude模型新增符合Schema规范的JSON输出

由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English

High stacks of cardboard boxes organized in a warehouse with a blue metal ceiling.
示意图片。图片:Ihsan Adityawarman / Pexels

据AWS官方博文介绍,通过Amazon Bedrock调用Anthropic Claude模型的开发者,现可获得遵循既定结构的JSON响应。该功能覆盖bedrock-runtime和bedrock-mantle端点上的所有Claude模型。

开发者可获得的输出

输出可以通过JSON Schema输出格式或严格的工具调用(strict tool use)被限定为既定结构。博文称,无论是通过Boto3和bedrock-runtime API调用Claude,还是在bedrock-mantle端点上使用Messages API,该功能均可生效。

博文称,这一方法无需自定义解析、重试逻辑和后处理,即可得到预期结构。

Schema如何被强制执行

AWS将该机制描述为受约束解码(constrained decoding),即在生成token的过程中应用Schema,而非在输出生成后再进行检查。因此模型不会生成违反Schema的token,从而保证字段类型一致,并确保必填字段存在。

由于响应遵循Schema,AWS认为集成方无需再为处理Schema违规而进行重试。博文还称,响应仅限于Schema定义的字段,这可以减少输出token数量,并为高吞吐量工作负载降低推理成本。

AWS列举的应用场景

博文列举了几类场景:从财务业绩报告和合规文件中提取必要字段,将临床笔记解析为电子健康档案,以及用一致且经过验证的结果丰富产品目录。博文还列出了合同分析(提取关键条款、各方及义务)和基于意图、情感与实体的支持工单分派。

批量推理与跨区域支持

结构化输出可与批量推理配合使用,用于异步处理大量请求。在bedrock-runtime端点上,它还可与跨区域推理配合使用;如需实时输出,响应可以以带类型的事件流形式返回。可用性取决于某一模型在特定区域是否提供。

待解问题

  • 输出token数量的减少在实际中能将成本降低多少?
  • 每个AWS区域分别提供哪些Claude模型?

关键事实

  • Amazon Bedrock现已支持bedrock-runtime和bedrock-mantle端点上的所有Anthropic Claude模型输出结构化结果。
  • 应用场景包括从财务业绩报告和合规文件中提取必要字段、将临床笔记转化为电子健康档案(EHR),以及用经过验证的结果丰富产品目录。

来源与证据