Papermotion Customization
3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation
现存的方法通过2D pose或者显式的3D参数模型控制人物动作. 2D的方式不能新视角生成, 显式3D的方式固有的不准确性. 提出隐式, 与视角无关的表示方式, 用单视角, 多视角, 移动镜头多种类型训练数据.
Loading...
motion Customization
动作定制涉及生成视频, 其中主体执行由输入控制信号指示的动作.
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning
讲背景: stable diffuison, DreamBooth, LoRA的发展, T2I任务成本降低, 但是将motion dynamics添加到T2I模型做animation并不容易. 提出AnimateDiff, animation personalized通用框架, 可插拔模块.(这个摘要云里雾里的, 什么叫animate personalized, 还是有必要解释一下的. 根据已有知识, 它的贡献应该是为为T2I任务引入了时间层, 支持视频生成, 即原文提到的motion dynamics.)
