WORLDTECH NEWS Globale Technologie-Nachrichten.Kontakt

AWS erweitert SageMaker um Full Fine-Tuning für Sprachmodelle

A 3D rendering of a neural network with abstract neuron connections in soft colors.
Symbolbild.Photo by Google DeepMind on PexelsAmazon Web Services logo shown for identification only; no affiliation with or endorsement of WORLDTECH is implied.

Amazon Web Services hat SageMaker AI Serverless Model Customization um Full Fine-Tuning (FFT) erweitert. Die Methode aktualisiert alle Parameter eines Sprachmodells, ohne dass Kunden GPUs bereitstellen oder verteiltes Training konfigurieren müssen. Nach Angaben des Unternehmens setzt sie sich gegenüber dem schlankeren LoRA-Verfahren ab, je größer die Trainingsdatensätze werden.

Was AWS neu eingeführt hat

Amazon Web Services hat die Neuerung am 18. November 2026 angekündigt. Kunden können damit ein Modell mit eigenen Daten trainieren, um eine höhere Qualität zu erreichen, während der Dienst die Infrastruktur übernimmt. Eine Bereitstellung von GPUs, ein Clusteraufbau oder eine Konfiguration für verteiltes Training entfällt.

Fine-Tuning bedeutet nach der Darstellung des Unternehmens, ein vortrainiertes großes Sprachmodell mit den Daten einer Organisation weiterzutrainieren, damit es sich an eine bestimmte Domäne, Aufgabe oder einen Stil anpasst, statt sich allein auf allgemeines Wissen zu stützen. AWS gibt an, dass ein feinabgestimmtes Modell bei Fachaufgaben messbar besser arbeiten und im Betrieb weniger kosten kann: Ein kleineres, spezialisiertes Modell erreicht oder übertrifft ein Spitzenmodell bei der Aufgabe zu einem Bruchteil des Preises pro Token, und diese Einsparungen summieren sich bei Millionen von Anfragen.

Worin sich Full Fine-Tuning von LoRA unterscheidet

Parameter-effiziente Verfahren wie Low-Rank Adaptation (LoRA) sind zu einem praktikablen Weg geworden, Sprachmodelle feinzujustieren, weil sie nur einen kleinen Teil der Parameter aktualisieren und so den GPU-Bedarf senken. LoRA behält die vortrainierten Gewichte bei und setzt kleine Paare niedrigrangiger Matrizen in die Schichten des Modells ein. Das funktioniert bei einfachen Anpassungen gut, doch die niedrige Rangstruktur begrenzt, was das angepasste Modell ausdrücken kann.

AWS beschreibt ein Genauigkeitsplateau: Bei komplexen Aufgaben und Datensätzen mit einigen zehntausend Beispielen schließt eine höhere LoRA-Rangzahl und damit mehr trainierbare Parameter die Lücke zum Standard-Fine-Tuning nicht. Das Unternehmen argumentiert, der Abstand liege nicht einfach an der geringeren Parameterzahl, denn ein niedrigrangiges Update kann die volle Komplexität der Gewichtsänderungen nicht abbilden, die eine tiefgreifende Aufgabenanpassung verlangt.

FFT aktualisiert dagegen die Parameter gleichzeitig über die gesamten Gewichtsmatrizen. Laut AWS ergibt das eine stabilere Konvergenz, eine bessere Abstimmung der Aktivierungen über die Schichten hinweg und ein Modell, das sowohl die Zielverteilung der Aufgabe als auch die Breite seines vortrainierten Wissens bewahrt.

Gemeldete Ergebnisse und Einschränkungen

In einem Code-Experiment berichtet AWS, dass der Vorsprung von FFT mit der Datensatzgröße wächst. Bei mehr als 100.000 Trainingsbeispielen erreichte FFT 90,0 % semantische Korrektheit nach LLM-as-Judge bei Code-Generierungsaufgaben. Im Radar-Diagramm des Unternehmens lag das Basismodell bei jeder Kennzahl niedrig, LoRA verbesserte sich ausgewogen, und FFT führte bei jeder Dimension, am deutlichsten bei den BLEU- und ROUGE-2-Werten.

AWS warnt zudem, dass aggressive Trainingseinstellungen zu schweren Verlusten an allgemeinem Wissen geführt haben. Die Zahlen stammen aus dem eigenen Experiment und dem Blogbeitrag von AWS und sind nicht unabhängig überprüft.

Offene Fragen

  • Wie groß ist der Genauigkeitsvorsprung von FFT gegenüber LoRA bei anderen Aufgaben als der Code-Generierung?
  • Wie viel allgemeines Wissen geht bei welchen Trainingseinstellungen verloren, und wie lässt sich dieser Verlust vermeiden?

Wichtige Fakten

  • Amazon Web Services hat am 18. November 2026 Full-Fine-Tuning-Unterstützung für SageMaker AI Serverless Model Customization angekündigt.
  • AWS meldet 90,0 % semantische Korrektheit nach LLM-as-Judge bei einer Code-Generierungsaufgabe mit mehr als 100.000 Trainingsbeispielen.
  • AWS warnt, dass aggressive Einstellungen zu schweren Verlusten an allgemeinem Wissen geführt haben.

Quellen & Belege