WORLDTECHAssemblyAI 在 AWS Spot GPU 上运行语音转文字并采用重试队列
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
AssemblyAI 介绍了其如何在 AWS 上大规模运行成本优化的语音转文字推理，结合了 Amazon ECS、Amazon EC2 上的 Spot GPU 实例以及基于队列的重试设计。该公司表示，这一方案在欧洲 AWS 区域内既能带来显著的成本节约，又能保持服务级别协议（SLA）承诺。
AssemblyAI 为客户提供的服务
AssemblyAI 向客户开放一套应用程序编程接口，可用于转录、说话人检测、情感分析、章节检测以及个人身份信息的脱敏处理。该服务可通过 AWS Marketplace 获取。
其模型面向高流量工作负载，对语音进行转录和分析，服务行业涵盖科技、媒体、医疗保健和金融服务等领域。
Spot 容量应对成本压力
每个音频文件都要经过一系列深度学习模型处理，包括声学模型、语言模型和后处理阶段，这些模型运行在 NVIDIA GPU 上，以满足延迟目标。在这种规模下，意味着数千台 GPU 实例持续不间断地运行，如果仅使用 On-Demand Instances，这一负载的成本将高得难以承受。
Spot Instances 可带来可观的成本节约，但当其他地方需要容量时，Amazon EC2 可能会提前两分钟发出通知并收回实例。因此，该架构必须在兑现 SLA 承诺的同时，平稳地应对中断。
基于 ECS、Spot 和 SQS 构建的架构
该平台运行在 Amazon ECS 上，计算容量通过 ECS 容量提供程序进行管理。机群结合了 Spot 与 On-Demand Instances，覆盖多个 NVIDIA GPU 实例系列，每块 GPU 运行一个推理模型。
On-Demand 容量提供程序作为始终可用的基线，而 Spot 容量提供程序则横跨不同的 GPU 实例系列和可用区，以吸收需求高峰。当某个 Spot Instance 收到中断通知时，Amazon EventBridge 会触发一个基于 AWS Lambda 构建的处理程序，该处理程序将未完成的任务退回主 Amazon SQS 队列，使健康的任务实例能够接手处理。用尽重试次数的任务会被发送到死信队列以供排查，同时 Amazon CloudWatch 负责监控机群健康状况和 Spot 中断事件。
欧洲区域的数据驻留
医疗、金融和法律等受监管行业的客户，必须将音频数据保留在指定的地理边界之内。AssemblyAI 表示，其在欧洲 AWS 区域应用了严格的数据驻留配置，并称该架构在兑现 SLA 承诺的同时实现了成本节约。
待解问题
- 所描述的生产部署具体能节约多少成本？