Paper

motion Customization

动作定制涉及生成视频, 其中主体执行由输入控制信号指示的动作.

X-Dancer: Expressive Music to Human Dance Video Generation

从一张图片生成音乐驱动的多样, 且具有生活气息的人类跳舞视频. 他们首先为2D pose构造了空间组合构造表示, 用token分别表示手, 身体, 脸部等部位, 采用自回归的方式生成和音乐同步的token, 最终用AdaIN生成视频.

3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation

现存的方法通过2D pose或者显式的3D参数模型控制人物动作. 2D的方式不能新视角生成, 显式3D的方式固有的不准确性. 提出隐式, 与视角无关的表示方式, 用单视角, 多视角, 移动镜头多种类型训练数据.