Ungenutzte KI-Inferenzkapazität für bessere Anzeigenempfehlungen nutzen

Was passiert ist

Ungenutzte KI-Inferenzkapazität für bessere Anzeigenempfehlungen nutzen, kündigte Meta Engineering an. Zwei Elastizitätshebel im System ermöglichen es, die Arbeit an Anzeigenempfehlungen auf zusätzliche, opportunistische Kapazität auszuweiten, ohne die Grundleistung zu beeinträchtigen. Der Beitrag Ungenutzte KI-Inferenzkapazität für bessere Anzeigenempfehlungen nutzen erschien zuerst auf Engineering at Meta .

Inferenzflotten stehen vor einem Kapazitätsparadox: Sie können global ausgelastet sein, während lokal erhebliche Kapazitätsinseln ungenutzt bleiben. Diese opportunistische Kapazität sicher zu nutzen, ist schwierig.

Sie ist über teameigene Kapazitätszuweisungen, Regionen und Beschleunigertypen verteilt und kann oft mit nur kurzer Vorankündigung wieder entzogen werden. Das Anzeigen-Inferenzsystem muss die Arbeitslast daher an das sich ändernde Kapazitätsangebot anpassen, ohne die dedizierte Kapazität zu überlasten, die die Grundlast bedient.