Co-Evolving Robot Orchestrators and Policies through Deployment
Xilun Zhang et al. · 让 VLM orchestrator 与 VLA 策略在真实部署中协同演化:用失败轨迹自动生成新任务与纠正数据,闭环迭代提升开放环境泛化。可复用其 orchestrator-policy 协同训练闭环设计。
Xilun Zhang et al. · 让 VLM orchestrator 与 VLA 策略在真实部署中协同演化:用失败轨迹自动生成新任务与纠正数据,闭环迭代提升开放环境泛化。可复用其 orchestrator-policy 协同训练闭环设计。
Haoran Chen et al. · 系统对比重建式与行为导向的 action tokenizer,指出重建目标与闭环控制不匹配,为自回归 VLA 的动作分词器选型提供可复用准则与实验结论。
Kun Song et al. · 面向触觉操作的 OOD 后训练框架:用物理先验与失败推理引导 diffusion steering,避免大规模真机 RL 采样。可复用其失败驱动的在线纠偏流程到触觉 VLA。
Lihan Zha et al. · 用语言-动作推理桥接人类第一视角数据与机器人控制:低层动作虽本体相关,其运动意图可跨本体监督。为人类数据规模化训练 VLA 提供可复用路径。
Yuyan Li et al. · 提出“未来预测一致才继续执行”的自适应 action chunk 提交长度,取代固定执行前缀,可直接插入任意 action-chunking VLA 策略。
Zhengming Zhu et al. · 单次挥臂抛出多个物体并分别规划落点,用快速采样规划提升物流吞吐,属抓抛规划问题而非 VLA 策略学习。
Lemon Foxmere et al. · 用强化学习结合模仿学习与对抗式任务选择让四足机器人掌握多种技能,与 VLA/机械臂操作策略无关。
Jiuyi Xu et al. · 跨 4 个 checkpoint 诊断机器人世界模型对动作变化与成败不敏感的问题,并给出修复方法,提升其用于策略评估与合成数据的可靠性。
Songbo Hu et al. · 从无机器人的人类第一视角视频学习人形全身 loco-manipulation:视觉规划器预测躯干/双腕/双脚五连杆目标,RL 控制器跟踪,为 human data 扩展提供参考。
An Dang et al. · 人形全身强力操作大重物的控制框架,解决负载导致的质心偏移与持续载荷下平衡问题,属全身控制,不含 VLA 表征学习。
Jai Bardhan et al. · 在视频世界模型上加入深度/3D 几何约束,使 rollout 保持几何一致,用于操作策略评估与规划,可与 VLA 世界模型结合。
Maximilian Mühlbauer et al. · 基于核方法的非参数异方差模仿学习,兼顾数据效率与场景快速自适应,属经典 IL 方法改进。
Jing Xie et al. · 城市导航的递归 world-action 模型,用想象反馈替代昂贵物理试错,属移动导航,与机械臂操作 VLA 路径不同。
Zijia Chen et al. · 提出以闭环动作行为为准则的自递归剪枝,替代面向图像识别的通用剪枝指标,压缩操作策略参数冗余。
Thinh D. Le et al. · 面向仓库 UAV 导航与人员跟随的 VLA 框架与数据集,填补空中语言条件控制的空白,但与操作类 VLA 路径不同。
Zou Qingyun et al. · 针对 VLA 推理的 GPU 数值精度与工作点自适应,优化“每成功任务能耗”而非单次推理延迟,属部署层工程优化。
Jaeyoung Lee et al. · 用夹爪电流/位置/速度等电机反馈编码接触后的物理响应,补足纯视觉 VLA 缺失的力交互表征。
Haozhuo Zhang et al. · 用并行训练、动态起始与奖励门控三项训练技巧扩展人形全身 loco-manipulation 的长程任务时长,属 RL 训练工程。
Yutian Zhang et al. · 采集并利用便携式移动操作演示,从 RGB 观测获得无需机器人的低成本运动监督,缓解数据稀缺。
Yuan Xu et al. · 用视觉动态对齐构造动作隐空间,让 VLA 的连续动作隐变量编码交互后果而非仅轨迹形状。
Owen Du et al. · 以动作一致性为准则剪枝 VLA 视觉 token,在动作相关 patch 上保留计算,降低每控制步开销以支持实时部署。
Alessio Canzolino et al. · 用虚拟模型控制使冗余机械臂在未知受限空间中反应式探索并避障,属经典控制方法。
Yuanshuo Zhang et al. · 通过信息约束限制视频-动作模型暴露的视觉细节量,避免过度视觉信息损害操作策略泛化。
Ahin Lee et al. · 用未执行完的剩余轨迹做自监督测试时适配,让 VLA 在执行中应对未知类型的视觉干扰,无需标注干扰类型与时机。
Heng Yu et al. · 开源可组合的 world-action model 框架,统一视频骨干、交互结构、监督与推理流程,使各类设计选择可公平对比。
Yenan Chen et al. · 用进度对齐上下文解决长程操作中视觉相似阶段混淆、以及演示与执行速度不一致导致的阶段错乱。
Xiayan Xu et al. · 用学习到的原子运动基元替代在线重定向,降低人形全身遥操作延迟并避免物理不可行目标。
Shangyuan Yuan et al. · 观察到 diffusion/flow 动作头在去噪不同阶段条件关注不同,据此提出阶段感知的分层动作生成。
Lilika Makabe et al. · 用能量分数模型实现单步多模态动作生成,替代扩散/流匹配的迭代采样,降低 VLA 动作头推理步数。
Ruitong Tian et al. · 利用人体肢体耦合学习裸手到手戴外骨骼的映射,在保留裸手交互的同时获得动作与触觉监督。
Ruitong Tian et al. · 研究可穿戴界面采集演示时人-机接触位置差异对触觉表征与灵巧策略迁移的影响。
Harsh Gupta et al. · 用人类先验构造结构化探索方向,缓解灵巧手高维 RL 与轨迹优化中的低效独立关节扰动探索。
Jicong Ao et al. · 大规模合成数据预训练实现零样本 sim-to-real 铰接物体操作,降低真机演示依赖。
Kazutoshi Tanaka · 免训练地用通用 VLM 结合触觉反馈完成轴孔插入等接触丰富任务,无需任务专用训练或手写规则。
Junwon Seo et al. · 在世界模型隐空间中显式建模扰动并做鲁棒优化,使动作在最坏情况扰动下仍保持有效。
Zexi Zhang et al. · 面向 Unitree G1 的人形家务操作基准,含 20 个任务与 agent 自动生成策略的评测协议。
Hojoon Son et al. · 用物理引导的视觉提示让 VLA 导航感知温度/辐射等不可见风险,属安全关键的 VLN 场景。
Leonardo F. Toso et al. · 在 JEPA 世界模型中加入逆动力学以保留不稳定模态,使视觉表征能支撑高维观测下的反馈控制。
Kaixi Feng et al. · 双空间意图感知的视觉 token 衰减机制,显式调节各视觉 patch 对 VLA 策略计算的影响强度。
Kaixi Feng et al. · 在 VLA 中显式桥接感知表征与动作生成,缩小“描述场景”到“支持动作”的表征鸿沟。
Shiqi Li et al. · 前馈式 4D 手-物交互重建,用 flow matching 替代逐序列优化,可服务灵巧操作的数据获取。
Siru Jiang et al. · 让 LLM agent 生成物理求解器来模拟物理动态,属仿真工具生成与物理推理评测。
Wanjin Feng et al. · 并行预测世界模型打破自回归 rollout 的顺序依赖,兼顾长程规划精度与推理效率。
Yunheng Liu et al. · 流式全景世界模型支持语言引导导航与交互式场景探索,可为 embodied agent 训练生成数据。
Mingju Gao et al. · 面向视频世界模型物理一致性的直接物理测试基准,评估其在 embodied AI 预测与规划中的可靠性。
Shangye Song et al. · 用控制感知缓存加速交互式视频世界模型的分块去噪,降低每个 chunk 的生成成本。
Guo Tang et al. · 物理感知的视觉到触觉传感器图像生成,缓解配对视觉-触觉数据稀缺,可用于触觉策略的数据增强。
Rui Liu et al. · 为 VLA 推理加速提供认证,量化 action chunking 与视觉 token 剪枝在成功率与精度上的失效边界。
Fernando Martinez et al. · 完全去中心化多智能体 RL 的反事实语义-社会世界模型,聚焦社交协作场景,无机器人操作实验。