介绍

在数字人, 视频会议中有重要应用. 先前的工作主要生成嘴唇的移动, 因为和sppech有强烈的关联, 也有工作考虑整个面部的工作, 但是生成质量不真实, 嘴部模糊, 身份修改, 脸部扭曲.

讲难点: audio和speech有一个很强的关联, 但是同一段audio可以有多种不同的head pose和eye blink表达, 他们认为这导致之前的工作生成的脸部会扭曲. 他们的观察是说3D facial motion 包含高度解耦的表示, 可以用来单独学习每种类型的运动, 尽管在另一篇论文中被讨论过, 但他们做的效果不好.

讲方法在method章节再看.

方法

Preliminary

在我们建模一个人的3D face时, 可以用S表示, $\bar{\mathbf{S}}$ 表示3D-face的平均形状(大众脸), $\mathbf{U}_{id}$ 和 $\mathbf{U}_{exp}$ 是正交基座, $\alpha$ 和 $\beta$ 表示人的 identity 和expression 属性, 在用audio预测motion变化时, 只预测$\{ \beta, \mathbf{r}, \mathbf{t} \}$, 分别表示表情, 旋转角, 偏移量.

$$\mathbf{S} = \bar{\mathbf{S}} + \alpha \mathbf{U}_{id} + \beta \mathbf{U}_{exp}$$

Motion Coefficients Generation through Audio

他们的观察是audio和嘴唇的变化有一个很强的关联性, 但是audio和head pose的关联性很弱, 因此它们用了两个网络分别去预测head pose和expression.

ExpNet

难点: 1) audio to expression 不是一对一的映射关系; 2) expression Coefficients中一些音频无关的动作影响准确性.

这里的结构看了好久, 搞不清楚它到底想训练什么. 好像是: 上面的audio编码和解码器是它要训练的部分, 设计了一系列的损失. 1)$L_{distill}$比较生成的嘴唇表达与Wav2Lip预训练模型得到的嘴唇表达比较; 2)$R_d$是一个可微的3D渲染器, 不涉及可训练参数, 计算一些感知损失包括landmark loss $L_{lks}$和lip reading loss $L_{read}$.

为了保持身份信息, 将$\beta_0$作为输入条件.

PoseVAE

预测的$\rho_1$到$\rho_t$是$\rho_0$的残差, 输入条件自己看图, $L_{MSE}$是平方损失误差, $L_{KL}$用于衡量生成motion的分布情况, $L_{GAN}$对抗损失用于衡量生成的质量.

3D-aware Face Render

渲染器是face-vid2vid, 训练分两步, 第一步按照论文中的方法用自己的数据集重训, 第二步训练一个mappingNet学习显式的3DMM motion和face-vid2vid中隐式的3D keypoint间的关系.

实验

定量和定性实验不看, 对ExpNet, PoseVAE, FaceRender进行了消融实验. 局限性:1) 牙齿渲染问题; 2) 表情多样性有限.