我们的微调方法存在致命缺陷：未保留fp32主副本，会悄悄抹去绝大多数权重更新

事件经过

arXiv:2610.31859v1 公告类型：新 摘要：当视觉-语言-动作（VLA）模型以bfloat16（bf16）存储可训练权重且没有fp32主副本进行微调（即在现有模型基础上进行更窄任务的进一步训练）时，AdamW会将每次更新直接写入bf16，悄无声息地舍去任何小于权重1/512的更新。在LIBERO-Object上，规则预先固定，使用fp32副本后，SmolVLA在LeRobot存储方式下的成功率从4.3%提升至49.3%，$\pi_{0.5}$从5.1%提升至80.9%（学习率低十倍，两个模型都训练不足）；在默认学习率下，$\pi_{0.5}$的成功率从89.0%提升至97.7%。

对于默认学习率下的SmolVLA，使用开环50步动作块时提升10.2个百分点，而每10步重新规划时仅提升4.2个百分点。在12个开源VLA代码库中，有9个的默认或文档化方案采用这种训练方式，其中4个针对完整权重矩阵，包括LeRobot的SmolVLA默认配置及其$\pi_0$/$\pi_{0.5}$指南。

在Hugging Face Hub上，被抽样的完整权重SmolVLA微调模型中有99%将动作专家存储为bf16，而近期带有训练配置的$\pi_{0.5}$微调模型中有84%设置了bf16标志。修复方法是在训练期间将可训练权重保持为fp32，对于LeRobot中的SmolVLA只需改动一行代码。arXiv承诺这些数值的准确性，并且只与遵守这些标准的合作方开展合作。