WORLDTECH NEWS Globale Technologie-Nachrichten.Kontakt
KI EINZELNE QUELLE

Nvidia-Forscher halten riesige KI-Kontextfenster für eine Sackgasse

Close-up of two NVIDIA RTX 2080 graphics cards with dual fans, high-performance hardware.
Symbolbild.Photo by Nana Dua on Pexels

Was passiert ist

Nvidia-Forscher argumentieren, dass Sprachmodelle ihre vollen Kontextfenster oft gar nicht benötigen – diese seien langsam, teuer und fehleranfällig – und schlagen eine Alternative vor. Das Team schlägt sogar eine neue Klasse von Modellen vor, die mit kurzen Notizen statt mit langem Kontext arbeitet. NVIDIA ist ein Halbleiterunternehmen mit Sitz in Santa Clara.

GPT-4 kam im März 2023 mit 8.192 Token auf den Markt. In Tests erreichten periodische Zusammenfassungen und gezielte Stichwortsuchen meist die Ergebnisse des vollständigen Kontexts – zu einem Bruchteil der Kosten.

Ein Forschungsteam von Nvidia sagt, das sei oft übertrieben und teuer. In vielen Tests funktionierten periodische Zusammenfassungen und gezielte Abfragen etwa genauso gut. Das Kontextfenster eines Sprachmodells (also wie viel Text ein Modell gleichzeitig berücksichtigen kann) ist sein Arbeitsspeicher und umfasst alles, was es beim Erzeugen einer Antwort im Blick hat.

Wichtige Fakten

  • Das Team schlägt sogar eine neue Klasse von Modellen vor, die mit kurzen Notizen statt mit langem Kontext arbeitet

Quellen & Belege