WORLDTECHFeinabstimmung von GPT-OSS-20B für mehrsprachiges Schlussfolgern auf Amazon SageMaker HyperPod
Was passiert ist
SFT hob die Genauigkeit der Schlussfolgerungssprache von 22 % auf 100 %, und GRPO brachte messbare Verbesserungen, wo noch Spielraum bestand. Das Modell erhält eine Schlussfolgerungssprache per Anweisung im System-Prompt und muss sowohl in dieser Zielsprache schlussfolgern als auch darin antworten, wobei es seine starke Voreingenommenheit für Englisch überwinden muss.
GPT-OSS-20B ist ein Reasoning-Modell mit offenen Gewichten (ein Modell, dessen trainierte Parameter jeder herunterladen darf), das in Englisch denkt. Bittet man es, auf Französisch, Deutsch, Spanisch oder Italienisch zu schlussfolgern, bestätigt es die Anweisung und erzeugt seine Gedankenkette trotzdem auf Englisch.
In einem Test mit 50 mehrsprachigen Schlussfolgerungsbeispielen schlussfolgerte das Basismodell nur in 22 Prozent der Fälle in der richtigen Zielsprache. Diese 22 Prozent stammten fast ausschließlich von den englischen Beispielen (Englisch 100 Prozent, Französisch 0 Prozent, Deutsch 10 Prozent, Spanisch 0 Prozent, Italienisch 0 Prozent).
Für Teams, die Reasoning-Modelle für nicht englischsprachige Nutzer einsetzen, ist diese Lücke entscheidend. Ein Nutzer, der eine Frage auf Französisch stellt, erwartet, dass das Modell auf Französisch schlussfolgert und antwortet und nicht mitten im Gedankengang ins Englische wechselt. Diese Lücke mit einer Feinabstimmung (weiteres Training eines bestehenden Modells für eine engere Aufgabe) zu schließen, ist ein Problem der Feinabstimmung.
Die kurze Antwort: SFT leistet den Großteil der Arbeit, GRPO verfeinert dort, wo Spielraum zur Verbesserung besteht, und die Wahl der Technik passend zur Fähigkeitslücke entscheidet über das Ergebnis.
Die Aufgabe und der Datensatz: Der Datensatz ist HuggingFaceH4/Multilingual-Thinking, ein Datensatz für Gedankenketten-Schlussfolgerungen, der neben Englisch ins Französische, Spanische, Deutsche und Italienische übersetzt wurde, mit etwa 949 Trainings- und 50 Validierungsbeispielen.