ReVision: High-Quality, Low-Cost Video Generation with Explicit 3D Physics Modeling for Complex Motion and Interaction
解决的问题是生成复杂的motion和互动, 训练了即插即用的ReVision, 参数量较小只有1.5B. 预置真实物理知识, 生成分3步, 1)生成粗糙的视频. 2)从粗糙的视频中提取2D和3D特征, 生成一个3D建模, 然后生成精炼的3D motion序列. 3)它把生成的3D motion序列作为额外的信息又送入了原来的模型, 得到最终视频.
Loading...
RealisDance-DiT: Simple yet Strong Baseline towards Controllable Character Animation in the Wild
可控的Character Animation任务, 解决in-the-wild环境, 它的观点是大模型越来越强大, 提倡通过简单的修改达到理想效果.
StableAnimator++: Overcoming Pose Misalignment and Face Distortion for Human Image Animation
解决了两个问题, 1) pose大小和位置与参考图不对齐; 2) 面部ID保持, 看下面的图更直观.
