WORLDTECHinr2action speichert Roboterepisoden als Gewichtsdeltas fester Größe für Erinnerung und Handlung
Ein Preprint auf arXiv schlägt vor, lange Roboterepisoden als einen einzigen Satz neuronaler Gewichtsveränderungen fester Größe zu speichern. Laut dem Beitrag kann ein Sprachmodell damit Fragen zu vergangenen Episoden beantworten und ein Decoder Befehle vorhersagen, ohne bei einer Anfrage gespeicherte Videoframes durchsuchen zu müssen.
So entsteht der Speicher
Das Verfahren passt eine neuronale implizite Repräsentation an das Video einer Episode an, ausgehend von einer gemeinsamen, durch Meta-Lernen gewonnenen Initialisierung. Die Differenz zwischen den angepassten Gewichten und diesem Ausgangspunkt, das Gewichtsdelta, betrachten die Autoren als eigentlichen Speicher.
Laut Zusammenfassung ändert sich die Größe dieses Deltas nicht mit der Episodenlänge. Eine Episode mit hundert Frames und eine mit hunderttausend ergeben Deltas gleicher Größe, was die Autoren als an den wesentlichen Informationsgehalt gebundenen Speicher darstellen, nicht an die Ausführungszeit.
Sprach- und Handlungsausgaben
Ein gelernter Projektor wandelt das Gewichtsdelta in Token-Embeddings um, also in numerische Eingaben, die ein Sprachmodell verarbeitet. Diese Embeddings steuern zwei Komponenten: ein Sprachmodell, das Fragen beantwortet, und einen Decoder, der Befehle gemeinsam regressiert. Keine der beiden Komponenten ruft bei einer Anfrage Frames ab.
Im RoboMME-Benchmark liegt das Sprachmodell den Angaben zufolge bei jedem Fragetyp über dem Zufallsniveau, der Decoder erreicht einen mittleren R²-Wert von 0,51.
Kontrollversuche verweisen auf die Initialisierung
Die Autoren beschreiben zwei Kontrollexperimente. Ersetzt man das Delta durch passendes Rauschen, sinkt die Leistung um 11,4 Punkte. Gewichte, die statt von der meta-gelernten Initialisierung von einem zufälligen Ursprung ausgehen, lassen sich nicht dekodieren. Die Arbeit sieht darin einen Beleg dafür, dass der gemeinsame Ausgangspunkt für die Kodierung von Episodeninhalten unverzichtbar ist.
Die Veröffentlichung ist als Neueinreichung gekennzeichnet und bislang nur vom arXiv-Bereich Robotik (cs.RO) aufgegriffen worden, der damit die einzige Quelle für diese Befunde ist.
Offene Fragen
- Wie gut funktioniert der Ansatz bei Robotikaufgaben jenseits des RoboMME-Benchmarks?
- Wie wird die gemeinsame, meta-gelernte Initialisierung gewonnen, und wie stark hängt sie von den Trainingsdaten ab?