邓释天论人脸识别技术的终极形态VR人脸识别实时成像（节选）

1、引言

  虽然近年来，人脸识别取得了长足的进步，但是仍受到一些因素的制约，如人脸角度、光照条件和表情的不同变化等。通过对人脸识别以及3D重建技术的研究可知，人脸识别算法是模式识别和计算机视觉领域一个重要的研究内容[1-2]。

2014年Kzaemi[3]等人提出了一个用于学习整体回归树的通用框架，这个框架优化了平方误差损失的和，并且自然的处理丢失或部分标记的数据。可以直接从像素强度的稀疏子集估计得人脸的标记点位置。采用标准数据即可训练参数，并且计算速度非常快。1996年Scharstein和SZELISKI提出了几种基于迭代扩散支持的不同视差假设下的算法，并根据视差估计的当前质量对扩散量进行了局部控制；同时提出了一种明显优于基于区域匹配和规则扩散的新的贝叶斯估计方法。2010年Beeler[4]提出了一种用于捕获毛孔尺度几何图形的标准立体重建方法(modifinement)，它使用一种定性的方法来产生视觉逼真的结果。同时提出了一种适合于面部捕捉系统的校准方法。系统贡献包括在演播室设置中的捕捉，包括在演播室中的捕捉，从消费者的双目立体相机上捕捉，扫描不同性别、种族和年龄的面孔，捕捉。具有高度瞬态的面部表情，并扫描物理掩膜以提供地面真相验证。

  上述方法在实验室数据中都取得了一定的成效，但是对于实际情况下光照和角度更为复杂的人脸图片，识别性能却不尽如人意，本文使用手机前置镜头拍摄正脸和侧脸照片，根据陀螺仪角度和面部形体解剖特点测算3维立体空间的顶点信息，并把顶点信息通过智能判定转为多边形模型信息，最后根据多边形模型特征推算出人脸结构特征，并赋予人工智能信息，实现虚拟角色的人脸识别和表情识别等AI特质。

2、算法的预处理和初始化

  通过对人脸识别以及3D重建技术的研究，提出了动态提取特征的方法[5-6]用于提取不同角度下的人脸特征。算法流程图如图1所示。

图1 基于不同角度的人脸3D重建算法流程图

3、人脸3D重建

  记为一个向量为3D人脸的位置信息：

  其中， 个结点中第个的坐标信息为。新的形状模型可表示为：

  其中，为形状向量的因子系数向量，表示平均形状，形状信息前个主成分向量组成的矩阵为。定义2D形状向量，新的2D形状模型表示为：

  其中，和轴部分为与，将3D形状模型以估计的人脸角度旋转，然后再映射至：

  其中，为角度旋转矩阵，为映射矩阵，可得新的重建公式为：

  通过上述研究可知系数向量不变。

4、动态特征提取

  本文将人脸区域在垂直方向切为个块，对于每个块，分别有一个相应地特征权值()。对于偏航角（yaw angle） 的人脸，我们这样设置权值：

  其中，可由训练优化得到，与为正比关系。当时有：

  动态特征提取参数的选取，当偏航角yaw angle 分别为-30°和30°下的动态特征选取示例如图3所示，对于俯仰角（pitch angle）与上类似。

图3 偏航角yaw angle 分别为-30°和30°下的动态特征选取示例

5、结论

   本文提出了一种高效自动的基于不同角度的人脸识别系统，通过对人脸识别以及3D重建技术的研究，使用手机前置镜头拍摄正脸和侧脸照片，根据陀螺仪角度和面部形体解剖特点测算3维立体空间的顶点信息，并把顶点信息通过智能判定转为多边形模型信息，最后根据多边形模型特征推算出人脸结构特征，并赋予人工智能信息，实现虚拟角色的人脸识别和表情识别等AI特质。最后根据识别的特征信息连接3D毛发和身体形体、配饰等，即完成真正的人脸识别与3D重建，与此同时，具有实时交互功能。

作者：邓释天 VR技术极客、数字图形学专家

版权所有,转载时请注明作者和出处