Paper
motion Customization
动作定制涉及生成视频, 其中主体执行由输入控制信号指示的动作.
motion Customization
X-Dancer: Expressive Music to Human Dance Video Generation
从一张图片生成音乐驱动的多样, 且具有生活气息的人类跳舞视频. 他们首先为2D pose构造了空间组合构造表示, 用token分别表示手, 身体, 脸部等部位, 采用自回归的方式生成和音乐同步的token, 最终用AdaIN生成视频.
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning
讲背景: stable diffuison, DreamBooth, LoRA的发展, T2I任务成本降低, 但是将motion dynamics添加到T2I模型做animation并不容易. 提出AnimateDiff, animation personalized通用框架, 可插拔模块.(这个摘要云里雾里的, 什么叫animate personalized, 还是有必要解释一下的. 根据已有知识, 它的贡献应该是为为T2I任务引入了时间层, 支持视频生成, 即原文提到的motion dynamics.)