VLA 週報
基於 VLA-Handbook 7 天系統數據
TL;DR
- 本週 arXiv cs.RO 集中湧現 15 篇 VLA 相關工作,主線從「能不能做」轉向「如何可靠、可控地做」:How 級指令遵循診斷、流匹配模式控制、測試時驗證、多教師蒸餾、長時程潛記憶成為高頻主題。
- 觸覺預訓練迎來規模化嘗試——Spark-0 用空間對齊的視觸覺(VTLA)架構,把 contact map 與 3D 幾何特徵納入預訓練,直擊接觸密集靈巧操作中力/滑移不可從圖像觀測的痛點。
- REKI(2.4B,純公開數據)在 LIBERO-Plus / RoboTwin Clean2Rand / RoboCasa365 上刷新性能-規模 Pareto 前沿,為小模型 VLA 提供可複用基線;LIBERO 陣營本週同時推出 LIBERO-PeRM 個性化 benchmark。
Spotlight
https://arxiv.org/abs/2610.21251" target="_blank" rel="noopener noreferrer">Do VLAs Really Follow Instructions? Diagnosing How-Level Instruction Following in Vision-Language-Action Models
一篇診斷性研究,首次系統區分「What 級指令」(指定做什麼任務)與「How 級指令」(指定如何執行),並檢驗當前 VLA 是否真的能遵循後者。
核心貢獻不在於新模型,而在於一個被長期忽略的評估維度:以往 VLA 評測幾乎都停留在 What 級——給定「把杯子放到桌上」即可,而對「先繞開障礙再放」這類程序性約束缺乏檢驗。作者發現 How 級指令不僅無助於提升成功率,反而普遍降低任務成功,並將根因指向訓練數據的「一 episode 一指令」配對範式——這種數據構造讓模型學不到指令與執行細節的條件依賴。從工程落地看,這直接命中團隊在真實部署中最頭疼的問題:用戶自然語言往往是 How 級的描述,而現有 VLA 在這種輸入下會被「繞暈」。方法創新有限(主要是診斷 + 假設),但其結論對數據構造與訓練目標設計有實質指導意義——值得在後續的後訓練/指令增強管線中作為必查項。
不是新 SOTA,但是一記警鐘:VLA 的指令遵循能力被高估了,問題出在數據配對範式而非模型容量。
https://arxiv.org/abs/2610.22342" target="_blank" rel="noopener noreferrer">Spark-0: Scaling Spatially Aligned Tactile Pretraining for Robot Dexterous Manipulation
一個空間對齊的視觸覺語言動作(VTLA)模型,用「觸覺手套生成的圖像空間 contact map」在預訓練階段把觸覺引入通用策略,並結合凍結 3D 幾何特徵。
這是本週最貼近團隊「觸覺 + VLA」主攻方向的工作。其關鍵設計是把觸覺以「空間對齊」的方式注入——即 contact map 與視覺在同一圖像座標系下耦合,而非簡單拼接觸覺向量,這使得觸覺信號能與視覺 token 在共享空間中對齊,理論上更利於跨模態注意力學習。選擇在預訓練階段(而非僅微調)引入觸覺,回應了通用策略在大規模視覺預訓練後「看不懂力/合規/初始滑移」的結構性缺陷。對接觸密集的靈巧操作(插拔、易碎物抓取)具直接價值,且手套採集的可擴展性優於昂貴的觸覺感測器陣列,降低了規模化門檻。風險在於手套到真機感測的域差異,以及 contact map 分辨率上限,需看後續真機泛化結果。
觸覺進入預訓練而非微調階段,是團隊方向上一條值得跟進的技術路線。
SOTA 變化
- LIBERO (standard-opensource): LaST-R1 以 99.8 平均成功率刷新,較 HABILIS Brain 0 提升 +0.20
- 開源設定下 LIBERO 已逼近飽和,差距進入小數點後兩位,排行榜區分度快速下降,後續價值將轉向更難的多樣化評測(如 LIBERO-Plus、LIBERO-PeRM)。
- LIBERO (standard-closed): FutureDuet 達 99.2,+0.10 超過 PriorVLA
- 閉源與開源雙線同時觸頂,說明單一 LIBERO 基準已難以有效區分方法優劣。
- CALVIN (ABC-D / ABCD-D / D-D): 本週多條 CALVIN 設定集中更新:MMaDA-VLA 4.78(+0.03)、AVA-VLA 4.65(+0.18)、EDAR 4.75(+0.09)、HiMoE-VLA 4.49(+0.14)
- CALVIN 長時程指標仍在緩慢爬升但仍未破 4.8,長序列泛化是當前 VLA 未解決的真正瓶頸,值得作為下一階段重點觀察指標。
- MetaWorld (standard-opensource): Evo-World 達 91.1 平均,超 FabriVLA +1.10
- MetaWorld 上 +1.10 屬較大跨度改進,Evo-World 的演化式思路值得進一步拆解其方法構成。
本週發布
- https://github.com/Genesis-Embodied-AI/genesis-world/releases/tag/v1.4.4" target="_blank" rel="noopener noreferrer">Genesis v1.4.4: 加速 GPU 剛體模擬,並在無額外運行時開銷的前提下顯著提升基於擾動的多接觸穩健性,直接利好接觸密集操作的 sim-to-real 訓練。
- https://github.com/google-deepmind/mujoco/releases/tag/3.16.0" target="_blank" rel="noopener noreferrer">MuJoCo 3.16.0: DeepMind 維護的經典物理引擎發佈 3.16.0,帶來多項重要新特性,是社區模擬基座的一次常規但關鍵的更新。
產業動態
- 星塵智能: https://finance.sina.com.cn/jjxw/2026-10-13/doc-iniuzuyr8157270.shtml" target="_blank" rel="noopener noreferrer">據報導 2026-10-13 完成 10 億元人民幣新一輪融資,公司估值達 150 億元,反映具身智能一級市場熱度持續。
- 小鵬汽車 AI 團隊(聯合北大、港大、UC Berkeley、普林斯頓、NUS、清華、港科大廣州): https://eogee.com/article/221" target="_blank" rel="noopener noreferrer">發布 4B 視覺定位基礎模型 GroundingPI(arXiv 2609.39601,64 頁),34 項 grounding 基準均分 73.68% 超 GPT-6 Astra 的 71.54%;接入 Action DiT 後 RoboTwin 2.0 分佈內成功率 66.20%、分佈外 17.60%,HuggingFace 累計下載 246 次、點讚 16。
下週觀察清單
- How 級指令遵循問題是否引出後續工作——重點看是否出現「多指令/episode」或程序性約束的數據構造與訓練目標改進,這可能是本週最具外溢價值的信號。
- LIBERO 逼近飽和後,LIBERO-PeRM(個性化)與 LIBERO-Plus 等更難基準會否成為新的主要競技場,觀察頭部模型是否迅速遷移評測重心。
- 觸覺預訓練路線的後續——Spark-0 是否開源、有無真機交叉驗證,以及是否出現手套 contact map 與真機感測域對齊的專門工作。
- 世界模型 × VLA 的持續升溫——TS-WAM(時間潛動作 + 世界-動作耦合)、Grounded-Dreamer、VeriVLA(潛世界模型測試時驗證)共同指向「用未來預測提升策略可靠性」,值得留意其收斂方向。
- 工程端摩擦點——社區 DFI 顯示痛點集中在最後一哩部署與硬件接合(openpi 消費級多卡 NCCL 報錯、jetson_orin 邊緣路徑),預期下週仍會是 integration 階段的主要阻塞。
審計提示(自動生成,未經人工確認)
發布前的事實核查對以下內容存疑,引用前請自行核實:
-
REKI(2.4B,純公開數據)在 LIBERO-Plus / RoboTwin Clean2Rand / RoboCasa365 上刷新性能-規模 Pareto 前沿— 基準名稱誤讀/機構歸屬(來源:來源摘要僅列出 LIBERO-Plus、RoboTwin Clean2Rand、RoboCasa365,未含「team/affiliation」信息;來源將 R)
-
LIBERO (standard-opensource): LaST-R1 以 99.8 平均成功率刷新,較 HABILIS Brain 0 提升 +0.20— 數字/基準一致(來源:與來源 sota_changes 一致(LIBERO, standard-opensource, 99.8, LaST-R1, baseline HABILIS)
-
CALVIN 長時程指標仍在緩慢爬升但仍未破 4.8— 可支持性(來源:來源 CALVIN ABC-D 最高值為 MMaDA-VLA 4.78,確實 <4.8,但來源未提供「歷史趨勢」數據,『緩慢爬升』屬推論,非來源直接支持。屬輕度)
-
MetaWorld 上 +1.10 屬較大跨度改進— 主觀評價(來源:數值 +1.10 與來源一致,但『較大跨度』為評價,非來源數據。)
-
Genesis v1.4.4 ... 直接利好接觸密集操作的 sim-to-real 訓練— 因果推論(來源:來源僅述『加速 GPU 剛體模擬並提升基於擾動的多接觸穩健性』,未提及 sim-to-real 訓練收益,屬報告外推。)
-
HuggingFace 累計下載 246 次、點讚 16— 數字一致(來源:與來源 social_signals 一致(246 下載、16 讚)。)
-
34 項 grounding 基準均分 73.68% 超 GPT-6 Astra 的 71.54%— 數字一致(來源:與來源一致。)
-
RoboTwin 2.0 分佈內成功率 66.20%、分佈外 17.60%— 數字一致(來源:與來源一致。)