WORLDTECH借助NVIDIA NeMo Switchyard在Amazon Bedrock上将编程智能体请求路由至合适的模型
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
AWS机器学习博客宣布了一篇文章，题为《借助NVIDIA NeMo Switchyard在Amazon Bedrock上将编程智能体请求路由至合适的模型》。编程智能体以任务为单位工作，真正重要的指标是每个成功解决任务的成本，而不是每个token的价格。Claude Code和OpenAI Codex CLI（一种通过输入命令而非点击操作的文本界面）等编程智能体都是以任务为单位工作的。NVIDIA是一家总部位于圣克拉拉的半导体公司。
开发者提出修改需求后，智能体会读取文件、编辑代码并运行测试，直到工作完成。一个任务可能只需要几次模型调用，也可能需要几十次。
开发者支付的是任务的费用，而不是单次调用的费用。总费用取决于模型需要多少轮交互、每一轮要重放多少历史内容，以及任务被重试或最终未能完成的频率。
人工智能领域中，Claude Code和OpenAI Codex CLI等编程智能体以任务为单位工作。无论任务最终是否完成，你都要为每一次尝试付费。
因此，在不同模型之间路由编程智能体的请求时，应以每个成功解决任务的成本来评判路由效果，即全部运行的总成本除以测试通过的运行次数。NVIDIA NeMo Switchyard是一个开源库，可帮助AI智能体（即执行多步骤任务而非只回答单个问题的AI）为每个请求选择由哪个模型处理。你需要定义它可以使用的模型以及它所遵循的策略。