VLA 週報
基於 VLA-Handbook 7 天系統數據
TL;DR
- 本周主线是「动作怎么被表示与约束」,而且内部在打架:FreqFM(AGIBOT)与 Time-Frequency Geometric Cross-Attention(2609.09925)站在一边,认定 action chunk 是一段短时多变量轨迹、时域均匀建模浪费了频率结构;FiberTune(UCAS)从另一侧补刀,指出动作监督微调只约束「改变动作的方向」,放任动作等价状态的视觉结构沿 local action fiber 崩塌。三者合起来说明:action chunk 的隐空间不该按逐时间步 token 处理。
- 反方只有一条但很硬:Show-Harness 直接绕过端到端 VLA——让通用 VLM 通过离散语义动作单元 + 本体特定解释器「玩」机器人。若这条路走通,本周所有动作头频率化的功夫都可能被整体绕开,这是本周最尖锐的分歧。
- 工程侧两条都在打「真机后训练太贵」:RoboDrop 用局部梯度兼容性筛数据,HaWMPO 用世界模型 + 幻觉感知的在线 RL 替代物理交互。基准侧则出现裂缝——CALVIN/LIBERO 已被压到 +0.00/+0.03(PriorVLA 与 VLAFlow 持平),FolDeX 却指现有真机基准只覆盖短程刚体、管不了长程可变形操作。
Spotlight
https://arxiv.org/abs/2609.10405" target="_blank" rel="noopener noreferrer">Frequency-Conditioned Flow Matching for Vision-Language-Action Models (FreqFM)
动作是时间上高度相关、各频段能量高度非均匀的轨迹,而 Flow Matching 式 VLA 一律在时间坐标里均匀生成动作;FreqFM 按频段条件化生成动作,显式建模这种频率异质性。
这篇的分量在于把「动作块怎么生成」的默认设定重新打开:一段 action chunk 是平滑全局趋势叠加细粒度纠错分量,二者频段能量高度非均匀,而 time-domain 均匀 denoising 等于对这个结构不做区分。按频段条件化相当于给 flow matching 注入一层频率先验,是对动作头的最小侵入式改动——这正是它被候选数据标为 🔧(可复用其频率条件化流匹配动作头)的原因。它与同期 Time-Frequency Geometric Cross-Attention 是同一觉悟的两种实现,候选数据明确标注两者「同组且思路重叠」。张力来自反方向:Show-Harness 不走 VLA,让通用 VLM 通过离散语义动作单元、由本体解释器确定性执行——若成立,频率条件化这类动作头优化会被绕开。取舍与未知:频段如何划分、条件注入在哪一层、训练与显存开销、能否真正抬高跨基准数字,摘要均未给 > TODO: 需查证。团队 AGIBOT。
用最小改动把动作头从时域均匀生成换成频段条件化,是本周最容易直接抄的升级;先复现其条件注入方式再看数字。
https://arxiv.org/abs/2609.10021" target="_blank" rel="noopener noreferrer">RoboDrop: Curating VLA Post-Training Data via Local Gradient Compatibility
VLA 后训练数据常混有执行错误、传感器噪声等异质误差,RoboDrop 用「局部梯度兼容性」自动筛出既适配新任务/新本体、又不破坏预训练能力的数据。
后训练与预训练目标不同——前者要任务/本体特化,因此对数据质量远比预训练敏感;而实际采集的数据一定混着执行错误与传感器噪声等异质误差,靠人工清理不可扩展。RoboDrop 的落地点是把「数据好不好」算成一个局部梯度兼容性指标,直接插进现有微调管线做自动过滤,低风险高回报(候选标 🔧)。它与本周 HaWMPO 构成本条线的两端:一个管「用哪些数据」,一个管「在模型里怎么练」——HaWMPO 用世界模型 + 幻觉感知的在线 RL,正是为了替代昂贵、低样本效率且有硬件风险的物理交互。代价:局部梯度兼容性通常依赖参考梯度/参考集,在小样本或强分布偏移下是否稳健、开销多大,摘要未给 > TODO: 需查证。团队清华 / Striding AI。
把后训练数据筛选做成可自动化的梯度判据,是最容易本周就接进自家微调流程的一件工程活。
SOTA 變化
- CALVIN (ABC-D, avg_len): MMaDA-VLA 以 4.78 刷新,较 Xiaomi-Robotics-0 仅 +0.03
- 榜首靠 0.03 换手,ABC-D 已进入挤牙膏段,名次本身不再有区分力。
- CALVIN (ABC-D, avg_len): NS-VLA 4.56,较 AtomicVLA +0.29
- 同榜最大单次提升之一,但它并非榜一——看方法比看名次更重要。
- CALVIN (ABCD-D, avg_len): EDAR 4.75,较 NIAF +0.09
- 语言泛化设定更难,比 ABC-D 更能把方法拉开距离。
- CALVIN (D-D, avg_len): HiMoE-VLA 4.49,较 Flower VLA +0.14
- 零样本 D-D 的提升最贴近真实迁移能力,含金量高于饱和榜。
- LIBERO (standard-opensource, average): LaST-R1 达 99.8,较 Abot-M0.5 +0.40
- 开源设定接近满分,对方法差异的区分度基本耗尽。
- LIBERO (standard-closed, average): PriorVLA 99.1,与 VLAFlow 持平(+0.00)
- 闭源榜零增益并列,该 split 已到顶,继续刷没有信息量。
本週發布
- https://github.com/Genesis-Embodied-AI/genesis-world/releases/tag/v1.4.0" target="_blank" rel="noopener noreferrer">Genesis v1.4.0: 可将「场景 + 完整轨迹」导出为独立存档,在任意机器上以
gs replay做到 bit-exact 复现——直接对上社区本周 37 件跨仓 bug 的「复现不了」痛点。 - https://github.com/google-deepmind/mujoco/releases/tag/3.13.0" target="_blank" rel="noopener noreferrer">MuJoCo 3.13.0: .mjz 存档编码器更新,根文件以 mo... 形式写出,属归档标准化的例行推进。
產業動態
- 宇树科技 (Unitree Robotics): http://finance.sina.com.cn/roll/2026-09-07/doc-iniqzhfq9600053.shtml" target="_blank" rel="noopener noreferrer">9月7日发布全自动人形机器人格斗演示,由新一代世界模型 UnifoLM-X2-1.0 驱动,高动态强交互且无需遥控。
- 思灵机器人 (Agile Robots): http://finance.sina.com.cn/roll/2026-09-07/doc-iniqyrka5611428.shtml" target="_blank" rel="noopener noreferrer">9月7日 CEO 陈兆波展示人形机器人 Agile One,定位为可交付的工业级产品。
- 智平方 (AI² Robotics): http://finance.sina.com.cn/jjxw/2026-09-07/doc-iniqyzxu6297516.shtml" target="_blank" rel="noopener noreferrer">9月7日发布通用智能机器人 AlphaBot O1,搭载自研具身模型 AlphaBrain 及双臂力控技术,支持动态环境精准执行。
- Pudu Robotics (普渡科技): http://finance.sina.com.cn/roll/2026-09-05/doc-iniquimu0369094.shtml" target="_blank" rel="noopener noreferrer">9月5日在柏林 IFA 2026 发布新一代人形智能工作伙伴 PUDU D7,演示多模态感知、交互与精细抓取。
- 58.com / 姚劲波: http://finance.sina.com.cn/roll/2026-09-05/doc-iniqutzq4998839.shtml" target="_blank" rel="noopener noreferrer">9月5日宣布过去两三年已投资七八家机器人公司,聚焦机械臂、外骨骼与家庭服务自动化。
- 解放军总医院第六医学中心: http://finance.sina.com.cn/jjxw/2026-09-05/doc-iniqtfyh5637776.shtml" target="_blank" rel="noopener noreferrer">9月5日完成全球首例 AI 超声机器人引导的先天性心脏病介入封堵术。
下週觀察清單
- FreqFM 与 Time-Frequency Geometric Cross-Attention 是否开源、能否互相复现——决定「动作表征」会不会成为继 action chunk 之后的下一波标准改动。
- 反方路线成形与否:Show-Harness 的「VLM + 语义接口」是否被复现或反驳,是判断要不要继续投动作头方向的关键。
- 后训练管线是否进仓:RoboDrop / HaWMPO 是否被 lerobot、openpi 等主流仓纳入,由采纳速度判断是否成标配。
- 基准是否换代:PriorVLA 闭源榜 +0.00 说明旧榜到顶,观察 FolDeX(长程可变形物)等新基准是否分流刷榜注意力。
- 社区硬体缺口是否有动作:lerobot/isaaclab/genesis 的 Jetson 与 Apple Silicon 未解决率偏高,直接关系可复现部署;同时 Bit-Flip 攻击暴露量化 VLA 部署安全,留意是否出现鲁棒化/防御工作。