Vollständiges Fine-Tuning von VLA-Modellen ohne fp32-Hauptkopie löscht die meisten Updates stillschweigend

Was passiert ist

arXiv:2610.31859v1 Announce Type: new Abstract: Wenn ein Vision-Language-Action-Modell (VLA, ein Modell, das Bild, Sprache und Handlung verbindet) mit seinen trainierbaren Gewichten in bfloat16 (bf16) und ohne fp32-Hauptkopie feinabgestimmt wird (also weiter trainiert wird, um es auf eine engere Aufgabe anzupassen), schreibt AdamW jedes Update direkt in bf16 und rundet dabei stillschweigend jedes Update weg, das kleiner als 1/512 eines Gewichts ist. Auf LIBERO-Object, mit vorab festgelegten Regeln, erhöht eine fp32-Kopie die Erfolgsquote gegenüber LeRobots Speicherung von 4,3 % auf 49,3 % bei SmolVLA und von 5,1 % auf 80,9 % bei $\pi_{0.5}$ bei einer zehnmal niedrigeren Lernrate, bei der beide Modelle unzureichend trainiert sind, und von 89,0 % auf 97,7 % bei $\pi_{0.5}$ bei dessen Standard-Lernrate.

Bei SmolVLA mit Standard-Lernrate steigt der Wert um 10,2 Prozentpunkte bei offenen 50-Aktionen-Blöcken, aber nur um 4,2, wenn alle 10 Aktionen neu geplant werden. In 9 von 12 offenen VLA-Codebasen trainiert ein Standard- oder dokumentiertes Rezept auf diese Weise, bei 4 davon auf vollständigen Gewichtsmatrizen, darunter LeRobots SmolVLA-Standard sowie dessen $\pi_0$/$\pi_{0.5}$-Anleitungen.

Auf dem Hugging Face Hub speichern 99 % der untersuchten vollständigen SmolVLA-Fine-Tunes den Action Expert in bf16, und 84 % der neueren $\pi_{0.5}$-Fine-Tunes mit Trainingskonfiguration setzen das bf16-Flag. Die Lösung besteht darin, die trainierbaren Gewichte während des Trainings in fp32 zu halten, bei SmolVLA in LeRobot eine Änderung von einer Zeile. arXiv verpflichtet sich zu diesen Werten und arbeitet nur mit Partnern zusammen, die sich daran halten.