WORLDTECH在Amazon SageMaker HyperPod上微调GPT-OSS-20B以实现多语言推理
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
SFT将推理语言准确率从22%提升至100%，GRPO在仍有提升空间的地方带来了可衡量的增益。模型会收到推理语言的系统提示指令，并且必须用目标语言进行推理和作答，从而压过其强烈的英语先验。
GPT-OSS-20B是一个开放权重模型（即任何人都可以下载其训练好的参数），它习惯于用英语进行推理。如果要求它用法语、德语、西班牙语或意大利语进行推理，它会确认收到指令，但仍然会用英语生成思维链。
在一项包含50个样本的多语言推理测试中，基础模型仅有22%的情况下能以正确的目标语言进行推理。这22%几乎全部来自英语样本（英语100%，法语0%，德语10%，西班牙语0%，意大利语0%）。
对于为非英语用户部署推理模型的团队来说，这一差距非常关键。人工智能领域中，在Amazon SageMaker HyperPod上微调GPT-OSS-20B以实现多语言推理，GPT-OSS-20B是一个以英语思考的开放权重推理模型。
用户如果用法语提问，期望模型能用法语推理并作答，而不是在思考途中切换到英语。弥合这一差距是一个微调（即对现有模型进行更窄范围的further训练）问题。
简而言之：SFT承担了大部分工作，GRPO在存在提升空间时进行精修，而将技术与能力差距相匹配，是决定结果的关键。任务与数据集：数据集为HuggingFaceH4/Multilingual-Thinking，这是一个思维链推理数据集，除英语外还翻译成了法语、西班牙语、德语和意大利语，共约949个训练样本和50个验证样本。