Humans in 4D: Reconstructing and Tracking Humans with Transformers

使用transformer的方法实现human mesh recovery, 使用3D有效处理遮挡问题.

HMR2-intro

介绍

它们的方法准确率很高, 能有效处理遮挡.

很多工作在经历从卷积到transformer方法的转变, 这篇文章的构思是通过transformer解决3D重建.

具体方法相关章节再看, 最后强调了一下这是一篇system paper, 有一系列的下游应用.

方法

预备知识

(有价值, 建议直接看原文)

SMPL. 输入姿态参数 $\theta \in \mathbb{R}^{24 \times 3 \times 3}$ , 形状参数 $\beta \in \mathbb{R}^{10}$ , 输出是mesh $M \in \mathbb{R}^{3 \times 6890}$ .

Camera. 用 $\pi = (R,t)$ 表示, 其中 $R \in \mathbb{R}^{3 \times 3}$ 表示全局位置, $t \in \mathbb{R}^3$ 表示translation. 给定这些参数, SMPL空间的点比如X, 能被映射为图片通过 $x = \pi (X) = \Pi (K(RX+t))$ , 其中 $\Pi$ 是一个具有相机内参K的透视投影. 仅预测t.

HMR. 介绍该任务预测的参数有 $\Theta = [\theta, \beta, \pi] = f(I)$ , 其中I为输入Image, $\theta$ 和 $\beta$ 为SMPL的pose和shape参数, $\pi$ 是相机参数.

跟踪人体

PHALP. 基于 HMR 风格的 3D 重建的特征进行跟踪, 使用 BERT 风格的 Transformer 模型进行未来姿态预测和模态补全.

4DHumans. 使用基于采样的外观头部和新的姿态预测器, 将重建和跟踪结合到一个系统中, 并证明了更好的姿态重建可以带来更好的跟踪性能.

感受

今天状态不好, 就不写了

预备知识

(有价值, 建议直接看原文)

SMPL. 输入姿态参数

\theta \in \mathbb{R}^{24 \times 3 \times 3}

, 形状参数

\beta \in \mathbb{R}^{10}

, 输出是mesh

M \in \mathbb{R}^{3 \times 6890}

Camera. 用

\pi = (R,t)

表示, 其中

R \in \mathbb{R}^{3 \times 3}

表示全局位置,

t \in \mathbb{R}^3

表示translation. 给定这些参数, SMPL空间的点比如X, 能被映射为图片通过

x = \pi (X) = \Pi (K(RX+t))

, 其中

\Pi

是一个具有相机内参K的透视投影. 仅预测t.

HMR. 介绍该任务预测的参数有

\Theta = [\theta, \beta, \pi] = f(I)

, 其中I为输入Image,

\theta

和

\beta

为SMPL的pose和shape参数,

\pi

是相机参数.

跟踪人体

PHALP. 基于 HMR 风格的 3D 重建的特征进行跟踪, 使用 BERT 风格的 Transformer 模型进行未来姿态预测和模态补全.

4DHumans. 使用基于采样的外观头部和新的姿态预测器, 将重建和跟踪结合到一个系统中, 并证明了更好的姿态重建可以带来更好的跟踪性能.

感受

今天状态不好, 就不写了

Humans in 4D: Reconstructing and Tracking Humans with Transformers

介绍

方法

预备知识

结构

损失函数

伪地面真实拟合

跟踪人体

On this page

介绍

方法

预备知识

结构

损失函数

伪地面真实拟合

跟踪人体