运动学假设上下文有望降低机器人摄像头上行链路的比特率

由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English

首次报道 11月6日 05:00 UTC来源：arXiv Robotics (cs.RO)最近编辑更新 11月6日 05:00 UTC发表评论 ↓

A customer examines a sleek robotic vacuum cleaner in a modern store. — 示意图片。图片：RDNE Stock project / Pexels

arXiv机器人学板块的一篇论文提出一种方法，用于压缩机器人发送给运行视觉-语言-动作策略的远程服务器的摄像头画面。作者称，两端都可以根据关节状态、机器人模型和摄像头标定推导出该条件信号，因此信号本身不增加传输速率。

预印本提出了什么

该预印本编号为arXiv:2611.07411v1，其出发点是一个现实限制：机器人越来越多地将其庞大的策略交由服务器运行，这使摄像头上行链路成为瓶颈。其核心思想是运动学假设上下文。机器人与服务器各自根据关节状态、机器人模型和摄像头标定构建这一信号，因此不占用任何传输速率。

论文描述了如何将这些信息转化为假设：帧间运动估计、各机器人连杆在图像中的投影、锚定于末端执行器的平面以及存储的背景，被用来对前一帧重建结果进行变形，而这些变形后的假设则用于条件化一个学习型视频编解码器。

闭环测试结果

在等速率的闭环测试中，预印本报告称，OpenVLA-OFT在6 kbps下的成功率从22.8%提升至43.1%。在更低速率下训练后，该数字提升至72.6%，论文称其比DCVC-RT高出23.6个百分点。对于pi_0.5，成功率从55.5%升至77.4%，且在丢包时优势进一步扩大。

在LIBERO基准测试中，论文称，与容量匹配、基于历史条件的编解码器相比，该上下文可节省23.9%的比特率；与x264、x265和SVT-AV1相比，可节省40%至56%。在动作偏差相同的情况下，它还比DCVC-RT少用23.2%的比特；若针对更低速率训练，该编解码器在PSNR上与DCVC-RT持平。