Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models
Mikey Watts et al. · 揭示 VLA 对指令措辞极度敏感(如 π0.5 在 LIBERO 上换词即成功率骤变),且未继承底层 VLM 的语言鲁棒性,并提出改写指令的缓解方法。做语言泛化/指令鲁棒性可直接复用。
Mikey Watts et al. · 揭示 VLA 对指令措辞极度敏感(如 π0.5 在 LIBERO 上换词即成功率骤变),且未继承底层 VLM 的语言鲁棒性,并提出改写指令的缓解方法。做语言泛化/指令鲁棒性可直接复用。
Yifan Wu et al. · 提出统一的仿真-真实框架,用于学习并基准评测视触觉-语言-动作(VTLA)策略,填补触觉 VLA 缺少统一评测基准的空白。做触觉操作可直接采用其评测与训练流程。
Haoru Li et al. · 分析 RL 微调会全局收缩探索仅在成功区多样化的现象,提出多样性驱动的 RL 微调提升 VLA 在微调分布外的泛化。做 VLA RL 精调可直接借鉴其探索重塑策略。
Yuchen Zhu et al. · 将 JEPA 式联合嵌入预测架构的预测隐变量引入 VLA,统一预训练、策略学习与部署三阶段的隐表征使用。为 VLA 引入预测式表征提供可复用的训练范式。
Dayou Li et al. · 发布 500 小时第一人称人类视觉-触觉交互数据,填补纯视频缺失接触与压力监督的空白。为视觉-触觉 VLA 预训练提供大规模物理监督数据,可直接下载使用。
Jasper Gerigk et al. · 研究机器人示教数据多样性不足导致的捷径学习:策略会利用视角、背景等与任务无关的虚假相关。提出擦除视觉提示的训练方法抑制捷径,让 VLA 更依赖任务相关线索。可作为数据/训练增强参考。
Sangwoo Shin et al. · 针对采样式系统辨识中轨迹难以区分不同参数效应的问题,提出信息解耦的轨迹设计以提升 sim-to-real 参数辨识精度。属仿真迁移底层方法,与 VLA 策略训练无直接接口。
Prabin Kumar Rath et al. · 针对非马尔可夫长程环境下的行为克隆,用自监督关键帧发现替代循环/注意力长程建模,缓解对上下文长度依赖。属 BC 架构改进,可作长程策略设计参考。
Ting Mao et al. · 从单目人手操作视频重建手物交互并迁移到机器人灵巧手,免去任务专属 RL 训练。属人手数据转机器人灵巧操作的数据管线,对灵巧 VLA 数据来源有参考价值。
Huang Huang et al. · 提出 LAC-WM,在跨形态共享的隐动作空间内学习机器人世界模型,解决不同本体与动作空间难以统一建模的问题。为跨形态世界模型与隐动作表征提供思路。
Pranav Wagh et al. · 诊断长程任务串联独立技能时,下游技能观测分布偏离训练分布(skill seam)导致的性能骤降,并提出恢复方法。对长程组合策略的部署有启发。
Gengze Zhou et al. · 用长程 agentic RL 训练的 LM 构建分层导航运行时,在具身导航中利用上下文进行推理与决策。属导航方向,与操作型 VLA 关系较远。
Huaze Liu et al. · 面向视觉受限环境的人形导航,用触觉主动探测缓解里程计漂移与定位不确定。触觉用于导航而非操作,与触觉操作 VLA 方向不同。
Yanwen Zou et al. · 用稀疏人类输入引导端到端模仿学习策略,免去共享自治中笨重的遥操作硬件与操作员训练。属人类在环策略纠偏,可作交互式数据采集参考。
Wei Huang et al. · 面向实时控制约束下的因果世界-动作模型,提出扩展视觉历史上下文的模型-系统框架,解决长历史推理延迟问题。对实时 VLA 的上下文管理有工程参考价值。
Artem Zholus et al. · 系统研究机器人隐世界模型随模型规模、数据与算力的扩展规律,给出可预测能力增长的原则性方法。为世界模型方向的规模化研究提供方法论参考。
Siqi Shang et al. · 提出因子化触觉表征与控制框架,将法向力与接触斑映射为可恢复的有效接触响应,桥接仿真接触与实机传感器差异。对触觉 sim-to-real 表征设计有参考价值。
Yihan Li et al. · 将真实工作区的场景重建与策略开发统一为 agentic 的 real-to-sim-to-real 流程,保证仿真保真度与真实可观测性一致。属仿真迁移工程框架,可作数据生成管线参考。
Yonghoon Dong et al. · 针对流匹配策略难以对学习到的价值函数做离线 RL 微调的问题,提出标量伴随匹配方法实现流策略的 off-policy RL 优化。属扩散/流策略 RL 微调工具,与 VLA RL 精调相关。
Liu Renhang et al. · 让多模态基础模型作为通用物理智能体,在陌生环境中主动搜索、检查与测试缺失的任务相关信息。属 agentic 操作方向探索,偏概念验证。
Eisuke Hirota et al. · 提出时序可解释的可微决策树,在序列决策任务中保持可自动微分策略的同时提供时序可解释性。属可解释 RL 方法,与 VLA 无直接接口。
Ken Nakahara et al. · 系统研究高分辨率动态触觉如何结合视觉提升灵巧抓取稳定性,强调指尖时序触觉反馈的作用。对触觉抓取策略的传感器与特征选择有参考价值。
Theodor Wulff et al. · 用机制可解释性方法检验 VLA 的动作生成是否真正依赖语言指令,还是主要依赖视觉线索与表面相关性。为 VLA 语言接地分析提供工具视角。
Ruiyi Hu et al. · 用触觉接触分布引导机器人梳发与感知的在线纠偏,替代纯轨迹规划与力调节方法。属特定护理场景的触觉应用,通用性有限。
Antonio Rapuano et al. · 仅凭触觉估计接触任务坐标系与交互力,为混合力/位控制提供力控方向与力大小,免去力矩传感与标称环境模型。属触觉-控制结合,可作力控接口参考。
Junjie Zhang et al. · 针对 UMI 式手持示教中近距离遮挡下的末端定位精度问题,构建操作场景的定位评测基准并改进方法。对 UMI 数据采集管线有工程价值。
Masatoshi Tateno et al. · 针对机器人示教仅含粗粒度任务描述的问题,用自动化视频-语言接地为 VLA 提供接触与语义丰富的细粒度指令对齐。可作 VLA 指令数据自动标注参考。
Mimo Shirasaka et al. · 指出 UMI/人手示教数据会让 VLA 继承演示者的执行节奏,提出接触感知的时间最优重定时代替简单时间缩放。对动作块策略的执行速度优化有参考价值。
Genki Shikada et al. · 针对多模态模仿学习过度依赖视觉、推理时视觉丢失即失效的问题,提出定向模态丢弃提升间歇视觉丢失下的鲁棒性。属多模态融合训练技巧,可复用。
Yu Feng et al. · 提出结合柔性磁纤毛与霍尔传感的紧凑触觉传感器,可同时测法向与切向力并感知表面信息。属触觉硬件设计,可作抓取反馈传感选型参考。
Jiho Hong et al. · 将接触条件分解,使接触丰富操作策略在表面几何、朝向与摩擦变化时保持任务行为、适配物理实现。对接触丰富策略的泛化设计有启发。
Tianxingjian Ding et al. · 研究隐动作从视觉转移中学到的编码应保留什么、以及跨初始状态复用时语义是否一致这两个核心问题,提出时序效应表征与关系对齐。对隐动作表征设计有参考价值。
Jiho Lee et al. · 研究 VLA 的状态幻觉(不可靠行为)问题,用稀疏特征策略遗忘来缓解。属 VLA 可靠性/纠错方向,可作安全部署参考。
Joohwan Seo et al. · 提出 ResGAC 全身人形控制器,结合几何导纳实现浮动基扰动下的精确末端 SE(3) 位姿跟踪。属人形全身控制,与操作型 VLA 关系较远。
Zirun Zhou et al. · 针对后门 VLA 策略在触发条件下产生恶意动作、且恶意行为单步看似合理而难以检测的问题,提出运行时后门检测。属 VLA 安全方向,场景较专门。
Seungjun Moon et al. · 把视频基础模型用作物理接地的手部跟踪器,从人手视频中提取更准确、物理一致的手部运动以训练机器人策略。对利用人手视频的机器人学习数据管线有价值。
Kerui Li et al. · 指出纯视觉逼真的操作视频生成常违反物理(如互穿),提出对抗式物理偏好优化让生成的视觉规划更符合物理流形。属操作视频生成方向,与策略控制无直接接口。
Yeonseo Lee et al. · 针对 VLA 能理解做什么但难以控制怎么做(快慢节奏)的问题,用冻结 VLA 表征轻量调制动作实现语言引导的节奏控制。可作 VLA 执行时序控制参考。
Xiao Zhang et al. · 发现扩散策略常坍缩到单一动作模态,提出无标签噪声分配的不可混溶扩散策略以保留多模态动作分布。对扩散策略多模态建模有直接参考价值。
Tzu-Yu Chuang et al. · 指出生成式世界模型预测的未来不直接暴露控制所需的任务变量,提出学习可执行目标变量而非仅监督未来预测。对世界模型到控制接口设计有启发。
Jeonghwan Kim et al. · 用技能组合统一全身场景交互与灵巧物体操作,实现长程人-环境物理交互控制。属物理仿真全身控制方向,与 VLA 策略学习无直接接口。
Mayank Sengupta et al. · 面向封闭物理世界的物理 AI 应用,用微型世界模型做数据组织、过滤与策展。属数据策展方向,可作机器人数据清洗参考。
Huang Huang et al. · 用面向机器人的视频生成弥合仿真与真实的视觉差异,避免中间表征丢失语义,实现视觉 sim-to-real 迁移。可作仿真数据增广的生成式方案参考。
Bingfan Zeng et al. · 研究在世界模型条件下 agent 记忆分配问题,利用世界模型捕获的可复用规律减少每段经验的存储需求。属长程 agent 记忆方向,与 VLA 无直接接口。
Python Song et al. · 针对机器人基础模型在物体位置/指令变化时性能退化、后训练数据昂贵的问题,提出假设引导的主动持续学习与共演化。属 agentic 自改进方向探索。
Youssef Saied et al. · 重新分析流匹配中速度场缩放改进生成质量的原因,纠正此前 MSE 系统性低估速度幅度的解释。属流匹配生成理论,可影响扩散/流策略的采样质量分析。
Wenbin Teng et al. · 将视觉状态转移学习与密集视频生成解耦,用事件对齐监督学习交互如何改变场景状态。属物理世界模型方向,可作操作世界模型表征参考。
Yingchen Xu et al. · 针对 token 化世界模型动作搜索昂贵的问题,提出免训练的 COSTGRAD 目标条件选择器,按规划代价梯度对空间 token 排序。可作视觉世界模型高效规划参考。