举了一些需要同时移动和操作的例子，需要上下肢协同工作
相关工作中介绍了底盘（与机械臂是独立的模块），humanoid VLA（移动和操作一般解耦）。
wam中的视觉作为额外的监督信号，提出目前的缺陷，以机械臂控制为主，过度依赖预测的视频轨迹，导致时序不一致性被放大，于是它们不将未来预测作为视频生成的目标，而是作为全身动作学习的一种紧凑预测信号
真实人形机器人数据稀缺，人类演示数据无法直接使用，于是统一了视觉-动作表征，基于SONIC仿真回放筛选，不知道是怎么做的后面再看（感觉很有说法），视觉上使用第一人称和第三人称互补
给机器人当前时刻的 ( 语言指令 , 当前图像 , 机器人状态 ) (\text{语言指令},\ \text{当前图像},\ \text{机器人状态}) ( 语言指令 , 当前图像 , 机器人状态 ) z t : t + H z_{t:t+H} z t : t + H z z z
也就是说最终链路是：
( ℓ , o t v , s t ) → ω -0 → z t : t + H → SONIC → 机器人全身动作 (\ell,o_t^v,s_t) \rightarrow \omega\text{-0} \rightarrow z_{t:t+H} \rightarrow \text{SONIC} \rightarrow \text{机器人全身动作} ( ℓ , o t v , s t ) → ω -0 → z t : t + H → SONIC → 机器人全身动作 我觉得它更像是vla的动作，他们真正想做的是直接生成 action latent，future video prediction 只是训练阶段帮助 action learning 的辅助任务。用的一些方法在wam论文中也很少见，在vla中应该很常见。
先用 FAST 把连续 whole-body motion 离散化成 action tokens，再让 Qwen3-VL 根据当前视觉和语言去预测这些 token，从而逼迫 VLM 的 hidden feature 学到与未来 whole-body motion 相关的语义；后续真正使用的是这个 hidden feature，而不是让 VLM 在部署时输出 action token。
一条具体数据可以怎么理解？
例如有一段第三视角 human video：
第三视角视频： 一个人在房间里向前走并弯腰 文本： "A man is walking forward and bending down." 对应 SMPL motion： a_t , a_{t+1}, ..., a_{t+H} 首先 FAST tokenizer 只处理后面的动作：
a t : t + H ⟶ E a c t [ c 1 , c 2 , … , c N ] a_{t:t+H} \overset{E_{\rm act}}{\longrightarrow} [c_1,c_2,\ldots,c_N] a t : t + H ⟶ E act [ c 1 , c 2 , … , c N ] 于是 VLM 真正看到的训练对就是：
[ Exo View Token , 视觉 observation , 文本 ] ⏟ input ⟶ [ c 1 , c 2 , … , c N ] ⏟ target \underbrace{ [\text{Exo View Token}, \text{视觉 observation}, \text{文本}] }_{\text{input}} \quad\longrightarrow\quad \underbrace{ [c_1,c_2,\ldots,c_N] }_{\text{target}} input [ Exo View Token , 视觉 observation , 文本 ] ⟶ target [ c 1 , c 2 , … , c N ] 如果换成第一视角数据，则变成：
[ Ego View Token , o t e g o , ℓ ] → [ c 1 , … , c N ] [\text{Ego View Token},o_t^{ego},\ell] \rightarrow [c_1,\ldots,c_N] [ Ego View Token , o t e g o , ℓ ] → [ c 1 , … , c N ] 所以输出 action token 的定义不随视角改变，改变的是视觉输入以及 view token。
先利用当前视觉、语言和 Stage 1 的动作语义预测未来视觉 dynamics，再让未来动作表示读取这些未来视觉信息，最后由 Action DiT 根据 future-aware motion condition 生成真正可执行的 whole-body action latent。
Stage 2 的核心目标是：利用当前视觉、语言以及 Stage 1 学到的动作语义，联合预测未来视觉表示和未来动作表示，并最终生成可由 SONIC 执行的 whole-body action latent。
从结构上看，Stage 2 可以拆成两个部分：
Joint Video-Action Latent Predictor ：预测未来视觉 latent 和 future-aware motion feature；Action DiT ：根据 motion feature、文本和机器人状态，生成真正的 whole-body action latent。
Joint Video-Action Latent Predictor 的条件输入一共有四部分：
p = [ f v l m , f ℓ , r v , f t v ] p=[f_{\mathrm{vlm}},f_\ell,r^v,f_t^v] p = [ f vlm , f ℓ , r v , f t v ] 其中：
f v l m f_{\mathrm{vlm}} f vlm f ℓ f_\ell f ℓ r v r^v r v f t v f_t^v f t v f t v = E V J E P A ( o t v ) f_t^v=E_{\mathrm{VJEPA}}(o_t^v) f t v = E VJEPA ( o t v )
除了上述输入，模型内部还定义了两组可学习参数：q v q^v q v q m q^m q m learnable query token ，不是 Attention 公式中经过线性层投影之后的 Q Q Q
例如可以直接把它理解成模型内部的可学习参数：q v ∈ R N v × D q^v\in\mathbb{R}^{N_v\times D} q v ∈ R N v × D q m ∈ R H × D q^m\in\mathbb{R}^{H\times D} q m ∈ R H × D q 1 m , q 2 m , … , q H m q_1^m,q_2^m,\dots,q_H^m q 1 m , q 2 m , … , q H m t + 1 , t + 2 , … , t + H t+1,t+2,\dots,t+H t + 1 , t + 2 , … , t + H 等待被填充的未来槽位 。
Visual Prefix → 2 D RoPE \text{Visual Prefix}\rightarrow 2D\ \text{RoPE} Visual Prefix → 2 D RoPE Video Query → 3 D RoPE \text{Video Query}\rightarrow 3D\ \text{RoPE} Video Query → 3 D RoPE Motion Query → 1 D RoPE \text{Motion Query}\rightarrow 1D\ \text{RoPE} Motion Query → 1 D RoPE Prefix、Video Query 和 Motion Query 首先分别进行 Self-Attention：
p → p ~ p\rightarrow\tilde p p → p ~ q v → q ~ v q^v\rightarrow\tilde q^v q v → q ~ v q m → q ~ m q^m\rightarrow\tilde q^m q m → q ~ m 这一步主要用于在各自的 token 序列内部建立关系。
接下来 Video Query 和 Motion Query 分别读取 Prefix Condition。
对于 Motion Query：
q ˉ m = C r o s s A t t n m ( q ~ m , p ~ ) \bar q^m = \mathrm{CrossAttn}_m(\tilde q^m,\tilde p) q ˉ m = CrossAttn m ( q ~ m , p ~ ) 对于 Video Query：
q ˉ v = C r o s s A t t n v ( q ~ v , p ~ ) \bar q^v = \mathrm{CrossAttn}_v(\tilde q^v,\tilde p) q ˉ v = CrossAttn v ( q ~ v , p ~ ) 完成 Prefix Attention 后，作者进一步让 Motion Query 去读取 Video Query：h m = C r o s s A t t n m v ( q ˉ m , q ˉ v ) h^m = \mathrm{CrossAttn}_{mv}(\bar q^m,\bar q^v) h m = CrossAttn m v ( q ˉ m , q ˉ v ) h v = q ˉ v h^v=\bar q^v h v = q ˉ v Q = q ˉ m W Q Q=\bar q^mW_Q Q = q ˉ m W Q K = q ˉ v W K K=\bar q^vW_K K = q ˉ v W K V = q ˉ v W V V=\bar q^vW_V V = q ˉ v W V h m h^m h m h m h^m h m future-aware motion feature 。（可以发现主干一直是动作token，video token只是辅助生成的动作更准确）
Joint Video-Action Latent Predictor 的动作侧输出 h m h^m h m
它只是Future Action Condition \boxed{\text{Future Action Condition}} Future Action Condition Future-Aware Motion Feature \boxed{\text{Future-Aware Motion Feature}} Future-Aware Motion Feature f s = E s ( s t ) f_s=E_s(s_t) f s = E s ( s t ) h m , f ℓ , f s h^m,\quad f_\ell,\quad f_s h m , f ℓ , f s c d i t = Φ c o n d ( [ h m , f ℓ , f s ] ) c_{\mathrm{dit}} = \Phi_{\mathrm{cond}}([h^m,f_\ell,f_s]) c dit = Φ cond ([ h m , f ℓ , f s ]) c d i t c_{\mathrm{dit}} c dit
真实 future action latent 记作z 0 z_0 z 0
z τ = α ˉ τ z 0 + 1 − α ˉ τ ϵ z_\tau = \sqrt{\bar\alpha_\tau}z_0 + \sqrt{1-\bar\alpha_\tau}\epsilon z τ = α ˉ τ z 0 + 1 − α ˉ τ ϵ Action DiT 输入( z τ , τ , c d i t ) (z_\tau,\tau,c_{\mathrm{dit}}) ( z τ , τ , c dit ) z ^ 0 = D θ ( z τ , τ ∣ c d i t ) \hat z_0 = D_\theta(z_\tau,\tau\mid c_{\mathrm{dit}}) z ^ 0 = D θ ( z τ , τ ∣ c dit ) x 0 -prediction x_0\text{-prediction} x 0 -prediction L a c t i o n = ∥ z ^ 0 − z 0 ∥ 2 2 \mathcal L_{\mathrm{action}} = \|\hat z_0-z_0\|_2^2 L action = ∥ z ^ 0 − z 0 ∥ 2 2 L s t a g e 2 = L a c t i o n + λ v i d e o L v i d e o \mathcal L_{\mathrm{stage2}} = \mathcal L_{\mathrm{action}} + \lambda_{\mathrm{video}}\mathcal L_{\mathrm{video}} L stage2 = L action + λ video L video 未来世界变化 \boxed{\text{未来世界变化}} 未来世界变化 未来机器人动作 \boxed{\text{未来机器人动作}} 未来机器人动作
基本沿用 Stage 2 的网络和训练目标，只是把训练数据换成真实机器人轨迹，并额外加入 RTC 来解决连续控制时相邻 action chunk 的衔接问题。注意一点w-home数据集是开源的，有40个小时的真机，包含第一视角和第三视角的数据
选了11个任务，每个任务反复执行十次。指标是成功率，执行10次成功了几次，还有个指标是每个任务可能是1，2，3，4一共四小步，记录每一步的成功与否。
然后它还练了两个版本，一个版本只用第一视角视频，第二个版本用了第一视角和第三视角的视频，结果发现版本二效果更好，说明第三视角视频对 whole-body locomotion 更有帮助。
感受
要我自己回顾这篇论文，stage1是一个很vla的模块，给图片和text指令生成动作（但真正取的是中间隐变量特征），然后stage2偏向wam，用视频指导动作生成。尝试根据首帧和stage1的隐藏特征加上text指令去生成视频，使用gt 视频监督，然后再去根据预测的视频去指导动作生成。在这个过程中就涉及一些attention，query设计。stage3就是使用真机数据再训练，然后需要注意一下它的action是怎么表示的，这里需要专门说一下，stage1是统一使用smpl表示，学习的离散化空间也是smpl的空间，无论数据来自 public human motion，real robot teleoperation，3-point human control，最终用于 Stage 2/3 Action DiT 的目标都落到 SONIC-compatible whole-body action latent
然后其实引发了另一点思考，我们发现dreamzero和motubrain这种非常wam的方法，在推理加速时也会用到一个trick，后期只生成动作，video生成冻结，其实我不太清楚它们出于速度的考虑，还是说大家在骨子里认为生成视频太重了，直接生成动作更work。为什么我会觉得这篇更篇vlm，包括之前读的cosmos3，它们都没有用世界模型基模哎，cosmos3的视频分支是一个vlm，这篇w-0好像是自己初始化的，它还没有展示视频生成的效果，按道理它是可以解码出视频看看的。
