WORLDTECHAssemblyAI betreibt Sprach-zu-Text auf AWS-Spot-GPUs mit Wiederholungswarteschlangen
AssemblyAI hat beschrieben, wie das Unternehmen kostenoptimierte Sprach-zu-Text-Inferenz im großen Maßstab auf AWS betreibt. Die Kombination aus Amazon ECS, Spot-GPU-Instanzen auf Amazon EC2 und einem warteschlangenbasierten Wiederholungsmechanismus soll erhebliche Einsparungen bringen und die Service-Level-Agreement-Zusagen in europäischen AWS-Regionen einhalten, so das Unternehmen.
Angebot für Kunden
AssemblyAI stellt eine Programmierschnittstelle bereit, über die Kunden Transkription, Sprechererkennung, Stimmungsanalyse, Kapitelerkennung und die Entfernung personenbezogener Daten abrufen. Der Dienst ist über den AWS Marketplace erhältlich.
Die Modelle des Unternehmens verarbeiten und analysieren Sprache für Workloads mit hohem Volumen, unter anderem in der Technologiebranche, bei Medien, im Gesundheitswesen und bei Finanzdienstleistern.
Spot-Kapazität entschärft die Kosten
Jede Audiodatei durchläuft eine Kette aus Deep-Learning-Modellen, zu der akustische Modelle, Sprachmodelle und Nachbearbeitungsschritte gehören. Sie laufen auf NVIDIA-GPUs, um Latenzvorgaben einzuhalten. Im großen Maßstab sind das Tausende GPU-Instanzen im Dauerbetrieb, eine Last, die allein auf On-Demand-Instanzen unbezahlbar wäre.
Spot Instances bieten erhebliche Einsparungen, doch Amazon EC2 kann sie mit zwei Minuten Vorlauf zurückfordern, wenn Kapazität anderswo gebraucht wird. Die Architektur muss Unterbrechungen daher reibungslos abfangen und dennoch die SLA-Zusagen einhalten.
Architektur aus ECS, Spot und SQS
Die Plattform läuft auf Amazon ECS, wobei die Rechenkapazität über ECS-Capacity-Provider gesteuert wird. Die Flotte kombiniert Spot- und On-Demand-Instanzen über mehrere NVIDIA-GPU-Instanzfamilien, wobei auf jeder GPU ein Inferenzmodell läuft.
Ein On-Demand-Capacity-Provider bildet die stets verfügbare Basis, während ein Spot-Capacity-Provider verschiedene GPU-Instanzfamilien und Availability Zones umfasst, um Nachfragespitzen aufzufangen. Erhält eine Spot Instance eine Unterbrechungsmeldung, startet Amazon EventBridge einen auf AWS Lambda aufgebauten Handler, der den unvollendeten Auftrag zurück in die Amazon-SQS-Hauptwarteschlange stellt, damit ihn ein funktionierender Task übernehmen kann. Aufträge, deren Wiederholungsversuche erschöpft sind, landen zur Untersuchung in einer Dead-Letter-Queue. Amazon CloudWatch überwacht den Zustand der Flotte und die Spot-Unterbrechungsereignisse.
Datenresidenz in europäischen Regionen
Kunden aus regulierten Branchen wie Gesundheitswesen, Finanzen und Recht müssen Audiodaten innerhalb festgelegter geografischer Grenzen halten. AssemblyAI erklärt, in europäischen AWS-Regionen strikte Konfigurationen zur Datenresidenz umzusetzen; dort soll die Architektur Einsparungen liefern und die SLA-Zusagen einhalten.
Offene Fragen
- Welche konkrete Kostenersparnis gilt für den beschriebenen Produktionseinsatz?