Sakana AI: Selbstverbessernde KI wird besser im Lösen und Bewerten, erkennt aber eigene blinde Flecken nicht

Was passiert ist

Sakana AIs MASS-Verfahren lässt ein Sprachmodell sich selbst verbessern, indem es Aufgaben löst, Ergebnisse bewertet und Arbeitsabläufe verfeinert. Nach zwei Runden erreicht es eine Siegquote von knapp 70 Prozent gegen das Ausgangsmodell. Siegquoten gegen das Ausgangsmodell steigen nach zwei Runden auf knapp 70 Prozent, doch die Methode birgt ein reales Risiko: Der interne Bewerter akzeptiert manchmal fehlerhafte Schritte oder manipulierte Lösungen als Erfolge und übernimmt sie in das nächste Modell.

Die Studie zeigt Fortschritte in allen drei Rollen, doch gemeinsame blinde Flecken können dazu führen, dass Fehler als Fortschritt durchgehen und in den nächsten Trainingszyklus einfließen. Forschende von Sakana AI und der UC Berkeley haben "Multi-Agent Self-Supervision" (MASS) vorgestellt, ein Verfahren für rekursive Selbstverbesserung (RSI).

Verfehlt das Modell dieselben Fehler in allen drei Rollen, kann es sie für Fortschritt halten und im Training verstärken. Das Modell arbeitet als sein eigenes Team: Es verteilt Aufgaben an Kopien seiner selbst, bewertet die Ergebnisse und optimiert die Arbeitsabläufe für die nächste Trainingsrunde.

Sakana AIs MASS-Verfahren lässt ein Sprachmodell sich selbst verbessern, indem es Aufgaben löst, Ergebnisse bewertet und Arbeitsabläufe verfeinert, ohne ein stärkeres Lehrermodell. Ein einziges Sprachmodell übernimmt die Aufgabe, optimiert deren Ausführung und bewertet die Ergebnisse. Eine einzelne Plasma-Studie kann laut dem Paper mehr als 120 Millionen CPU-Stunden (der Allzweckprozessor im Zentrum eines Computers) beanspruchen.

Wichtige Fakten

• Forschende von Sakana AI und der UC Berkeley haben — vorgestellt: "Multi-Agent Self-Supervision" (MASS), ein Verfahren für rekursive Selbstverbesserung (RSI)