WholeBodyWAM: Generalizing Pre-trained World-Action Priors to Humanoid Loco-Manipulation via WBC-Grounded Coordination

大多数 WAM 研究主要聚焦于桌面或机械臂中心的操作任务，而人形机器人的移动操作仍较少被探索。

ab22c1c7-d0f7-4561-a177-eee47c030012

intro

WAM 很强 → 但主要做桌面/机械臂 → humanoid whole-body 更难 → 现有两类方案都有问题 → 作者认为不该重新学 whole-body，而应该保留已有 WAM prior，只补上 WBC grounding 和 coordination。

分析了目前现状的三个问题：1）一个杯子在近处直接拿起来就好了，在更远的地方就要位置移动再去拿，显然这两个动作是合作关系，这里的问题就是全身动作什么时候要去与机械臂操作合作；2）人类语义上的同一个 whole-body intention，在不同 WBC 里可能对应完全不同的 command representation。要统一动作表示；3）数据稀缺

先前方法：1）把动作维度扩展到全身（没有告知新扩展的维度信息的含义，训练效果不佳）；2）humanoid-native WAM，刚开始训练时输入的就是全身动作（需要重新学习）

洞察就是既然现在wam已经有了manipulation prior，只教它怎么把已有 manipulation ability 接到 humanoid whole-body controller 上就行

方法

6d957670-4c89-4eea-b124-31185904fb00

这篇总体来说还是很好理解的，首先需要了解CASA增强全身控制，通过self attention，然后了解门控的物理意义，手臂伸得越直，门控值就越大，越可能发生全身移动，让门控变小，所以在我看来门控是一个奖励函数。

1. Manipulation Actions 与 UWBC Commands

其中，Manipulation Actions 主要描述机械臂和手部的操作动作，包括机械臂关节目标以及手指关节角度，可以简单理解为：

$M = \text{Arm Actions} + \text{Hand Actions}$

而 UWBC（Unified Whole-Body Controller Interface）描述的是除机械臂和手部操作之外，用于完成全身协调的控制信号，例如：

Base 的线速度和角速度；

Heading；

Pelvis 的位置、高度和姿态；

Torso 姿态；

Waist 和 Lower-body 的关节位置、速度。

因此，可以将完整的 Humanoid Action 理解为：

$\text{Humanoid Action} = \text{Manipulation Action} + \text{UWBC Command}$

也就是说，Manipulation Action 负责“手臂和手怎么完成操作”，UWBC 则负责“身体和腿如何配合这个操作”。

如果去掉 UWBC 这一条动作流，模型就基本退化回普通 WAM 的核心形式：

$\text{WAM} : \text{Observation} \rightarrow \text{Future Video} + \text{Manipulation Action}$

即同时预测未来的视觉变化以及机械臂操作动作。

WholeBodyWAM 在此基础上增加 UWBC Stream：

$\text{WholeBodyWAM} : \text{Observation} \rightarrow \text{Future Video} + \text{Manipulation Action} + \text{UWBC Command}$

从而将原本主要面向机械臂操作的 WAM 扩展到 Humanoid Whole-Body Loco-Manipulation。

2. 正常情况下 Manipulation 与 UWBC 如何协同？

在每个预测时刻，模型都会同时生成 $M_t$ 和 $U_t$ ，其中 $M_t$ 控制机械臂和手， $U_t$ 控制身体、腰和下肢。

在机械臂自身具有足够操作能力的情况下，例如目标物体处于机械臂正常工作空间内，机器人通常不需要为了完成抓取而进行明显的身体补偿，此时可以理解为 $\text{Manipulation Action} \rightarrow \text{主要由机械臂完成任务}$ ，而 UWBC 仍然正常预测，但不会因为 Manipulation Action 而获得额外的协调注意力增强。因此在很多无需身体调整的场中，其预测结果可能表现为维持当前站姿或仅进行较小的身体调整。这里要注意，论文并没有规定 $g_t=0 \Rightarrow U_t=0$ ，也就是说， $g_t=0$ 并不意味着 UWBC 被关闭或者 UWBC 输出严格静止，而只是表示 CASA 不额外增强Manipulation 到 UWBC 的信息传递。

3. CASA

CASA 对原始 Self-Attention Logit 的修改形式为：

$L_t' = \frac{QK^\top}{\sqrt d} + M_{\text{nat}} + \beta g_t S^{M\rightarrow U}$

其中：

$M_{\text{nat}}$ 表示模型原本的 Attention Mask；

$S^{M\rightarrow U}$ 表示只对 “UWBC Query 关注 Manipulation Key” 的位置施加增强；

$\beta$ 是增强强度；

$g_t\in[0,1]$ 是动态门控系数。

在正常情况下，如果当前机械臂沿任务方向仍然具有足够的运动能力，则 $g_t \approx 0$ ，此时 CASA 的额外 Attention Bias 为 $\beta g_t S^{M\rightarrow U} \approx 0$ ，因此 Attention 退化为普通形式， $L_t' \approx \frac{QK^\top}{\sqrt d} + M_{\text{nat}}$ ，也就是说，此时 CASA 不会额外强化 Manipulation 到 UWBC 的信息传递。

4. 为什么需要 CASA？

问题出现在机械臂自身无法很好完成操作的时候。

例如机器人准备抓取前方的物体：

一开始物体位于机械臂正常工作范围内，机械臂可以直接向前伸；

随着手臂不断伸展，机械臂逐渐接近自身运动能力极限；

如果继续只依赖机械臂，可能已经无法够到目标；

此时机器人应该向前移动、转动身体或者调整躯干姿态，让整个身体参与到操作中。

因此，WholeBodyWAM 引入了 CASA（Coordination-Aware Self-Attention）。

5. CASA 的门控 $g_t$

为了判断“当前到底有多需要身体参与”，作者设计了一个连续门控 $g_t \in [0,1]$ ，可以直观地将 $g_t$ 理解为： $g_t = \text{当前手臂沿任务方向有多接近运动能力不足的程度}$ ，当机械臂当前状态比较舒适，沿任务方向仍然具有较强的运动能力时， $g_t \approx 0$ ，说明当前操作基本可以依赖机械臂完成，因此不需要额外强化 Manipulation 对 UWBC 的影响。随着机械臂不断接近运动能力极限 $g_t \uparrow$ ，CASA 会逐渐加强 UWBC Token 对 Manipulation Token 的关注。

例如，当机器人发现单纯伸手已经越来越难够到物体时， $g_t$ 会增大，UWBC 在预测身体动作时会更强地参考当前 Manipulation Action 所表达的操作意图，因此更可能生成诸如：

Base 向前移动；

身体转向；

Pelvis 调整；

Torso 调整；

Waist / Lower-body 配合运动；

等动作，从而让整个身体帮助机械臂完成任务。

数据集

采集是在 SIMPLE 环境里完成的，使用PICO 4 Ultra 头显，这种方式是可以同时采集到第一视角和第三视角的视频的，smpl用gmr转换成机器人动作这个就比较常见了

感受

我会读这篇是因为它说它是首批做全身动作控制的wam，但是有点失望的点在于它依然是生成第一视角视频，还有它造数据的方式我们也没有办法复用，它的一些创新我觉得都是很小的点，额反正就这样了。评估的话也是看任务是成功了还是失败了。

intro

洞察就是既然现在wam已经有了manipulation prior，只教它怎么把已有 manipulation ability 接到 humanoid whole-body controller 上就行

方法

1. Manipulation Actions 与 UWBC Commands

其中，Manipulation Actions 主要描述机械臂和手部的操作动作，包括机械臂关节目标以及手指关节角度，可以简单理解为：

M = \text{Arm Actions} + \text{Hand Actions}

而 UWBC（Unified Whole-Body Controller Interface）描述的是除机械臂和手部操作之外，用于完成全身协调的控制信号，例如：

Base 的线速度和角速度；
Heading；
Pelvis 的位置、高度和姿态；
Torso 姿态；
Waist 和 Lower-body 的关节位置、速度。

因此，可以将完整的 Humanoid Action 理解为：

\text{Humanoid Action} = \text{Manipulation Action} + \text{UWBC Command}

也就是说，Manipulation Action 负责“手臂和手怎么完成操作”，UWBC 则负责“身体和腿如何配合这个操作”。

如果去掉 UWBC 这一条动作流，模型就基本退化回普通 WAM 的核心形式：

\text{WAM} : \text{Observation} \rightarrow \text{Future Video} + \text{Manipulation Action}

即同时预测未来的视觉变化以及机械臂操作动作。

WholeBodyWAM 在此基础上增加 UWBC Stream：

\text{WholeBodyWAM} : \text{Observation} \rightarrow \text{Future Video} + \text{Manipulation Action} + \text{UWBC Command}

从而将原本主要面向机械臂操作的 WAM 扩展到 Humanoid Whole-Body Loco-Manipulation。

2. 正常情况下 Manipulation 与 UWBC 如何协同？

在每个预测时刻，模型都会同时生成 $M_t$ 和 $U_t$ ，其中 $M_t$ 控制机械臂和手， $U_t$ 控制身体、腰和下肢。

在机械臂自身具有足够操作能力的情况下，例如目标物体处于机械臂正常工作空间内，机器人通常不需要为了完成抓取而进行明显的身体补偿，此时可以理解为 $\text{Manipulation Action} \rightarrow \text{主要由机械臂完成任务}$ ，而 UWBC 仍然正常预测，但不会因为 Manipulation Action 而获得额外的协调注意力增强。因此在很多无需身体调整的场中，其预测结果可能表现为维持当前站姿或仅进行较小的身体调整。这里要注意，论文并没有规定 $g_t=0 \Rightarrow U_t=0$ ，也就是说， $g_t=0$ 并不意味着 UWBC 被关闭或者 UWBC 输出严格静止，而只是表示 CASA 不额外增强Manipulation 到 UWBC 的信息传递。

3. CASA

CASA 对原始 Self-Attention Logit 的修改形式为：

L_t' = \frac{QK^\top}{\sqrt d} + M_{\text{nat}} + \beta g_t S^{M\rightarrow U}

其中：

$M_{\text{nat}}$ 表示模型原本的 Attention Mask；
$S^{M\rightarrow U}$ 表示只对 “UWBC Query 关注 Manipulation Key” 的位置施加增强；
$\beta$ 是增强强度；
$g_t\in[0,1]$ 是动态门控系数。

在正常情况下，如果当前机械臂沿任务方向仍然具有足够的运动能力，则 $g_t \approx 0$ ，此时 CASA 的额外 Attention Bias 为 $\beta g_t S^{M\rightarrow U} \approx 0$ ，因此 Attention 退化为普通形式， $L_t' \approx \frac{QK^\top}{\sqrt d} + M_{\text{nat}}$ ，也就是说，此时 CASA 不会额外强化 Manipulation 到 UWBC 的信息传递。

4. 为什么需要 CASA？

问题出现在机械臂自身无法很好完成操作的时候。

例如机器人准备抓取前方的物体：

一开始物体位于机械臂正常工作范围内，机械臂可以直接向前伸；
随着手臂不断伸展，机械臂逐渐接近自身运动能力极限；
如果继续只依赖机械臂，可能已经无法够到目标；
此时机器人应该向前移动、转动身体或者调整躯干姿态，让整个身体参与到操作中。

因此，WholeBodyWAM 引入了 CASA（Coordination-Aware Self-Attention）。

5. CASA 的门控 $g_t$

为了判断“当前到底有多需要身体参与”，作者设计了一个连续门控 $g_t \in [0,1]$ ，可以直观地将 $g_t$ 理解为： $g_t = \text{当前手臂沿任务方向有多接近运动能力不足的程度}$ ，当机械臂当前状态比较舒适，沿任务方向仍然具有较强的运动能力时， $g_t \approx 0$ ，说明当前操作基本可以依赖机械臂完成，因此不需要额外强化 Manipulation 对 UWBC 的影响。随着机械臂不断接近运动能力极限 $g_t \uparrow$ ，CASA 会逐渐加强 UWBC Token 对 Manipulation Token 的关注。

例如，当机器人发现单纯伸手已经越来越难够到物体时， $g_t$ 会增大，UWBC 在预测身体动作时会更强地参考当前 Manipulation Action 所表达的操作意图，因此更可能生成诸如：

Base 向前移动；
身体转向；
Pelvis 调整；
Torso 调整；
Waist / Lower-body 配合运动；

等动作，从而让整个身体帮助机械臂完成任务。

数据集

感受

WholeBodyWAM: Generalizing Pre-trained World-Action Priors to Humanoid Loco-Manipulation via WBC-Grounded Coordination

On this page