CN103765479A - 基于图像的多视点3d脸部生成 - Google Patents

Abstract

描述系统、设备和方法，其包括：恢复多个2D脸部图像的相机参数和稀疏关键点；以及运用多视点立体过程以便利用相机参数和稀疏关键点来生成稠密化身网格。然后，可以利用稠密化身网格来生成3D脸部模型，并可以运用多视点纹理合成来生成3D脸部模型的纹理图像。

Description

基于图像的多视点 3D 脸部生成

背景技术

人脸特征的3D建模普遍用于创建人的真实感3D表示。例如，诸如化身（avatar）的虚拟人表示常常利用这样的模型。生成的3D脸部的常规应用需要手动标记特征点。尽管这些技术可以采用形变模型拟合，但是如果它们允许自动脸部标志点检测并采用多视点立体（MVS）技术则会是合意的。

附图说明

附图中以实例的方式而不以限制的方式示出本文所描述的题材。为了简单、清楚地说明，图中示出的元件不一定按比例绘制。例如，为清楚起见，一些元件的尺寸可能相对于其它元件有所夸大。此外，在认为合适时，附图中重复使用附图标记来指示对应或类似的元件。图中：

图1是实例系统的说明性图；

图2示出实例3D脸部模型生成过程；

图3示出边界框和标识的脸部标志点的实例；

图4示出多个恢复的相机和对应的稠密化身网格的实例；

图5示出将重建的形变脸部网格融合到稠密化身网格的实例；

图6示出实例形变脸部网格三角形；

图7示出实例角度加权的纹理合成方法；

图8示出用于生成最终的3D脸部模型的纹理图像与对应的平滑3D脸部模型的实例组合；以及

图9是全都按照本公开的至少一些实现布置的实例系统的说明性图。

具体实施方式

现在参考附图描述一个或多个实施例或实现。尽管论述了特定的配置和布置，但是应了解，这样做只是为了说明的目的。本领域技术人员将意识到，在不偏离本描述的精神和范围的情况下，可以采用其它配置和布置。本领域技术人员将明白，也可以在不同于本文所描述的各种其它系统和应用中采用本文所描述的技术和/或布置。

尽管以下描述阐述了例如可在诸如芯片上系统（SoC）架构的架构中证明的各种实现，但是本文描述的技术和/或布置的实现不限于特定的架构和/或计算系统，并且出于类似的目的，可以由任何架构和/或计算系统来实现。例如，采用例如多个集成电路（IC）芯片和/或封装的各种架构、和/或诸如机顶盒、智能电话等各种计算设备和/或消费型电子（CE）设备可以实现本文所描述的技术和/或布置。此外，尽管以下描述可能会阐述诸如系统组件的逻辑实现、类型和相互关系、逻辑分区/集成选择等众多具体细节，但是在没有这些具体细节的情况下也可以实践要求权利的主题。例如，在其它情况下，可能没有详细示出诸如控制结构和全软件指令序列的一些题材，以免使本文所公开的题材晦涩难懂。

本文所公开的题材可以用硬件、固件、软件或其任意组合来实现。本文所公开的题材也可以作为存储在机器可读介质上的指令来实现，这些指令可以由一个或多个处理器读取并执行。机器可读介质可以包括用于存储或传送可由机器（例如，计算设备）读取的形式的信息的任何介质和/或机构。例如，机器可读介质可以包括：只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储介质；光存储介质；闪速存储器设备；电、光、声或其它形式的传播信号（例如，载波、红外信号、数字信号等）；以及其它。

说明书中提到“一个实现”、“实现”、“实例实现”等时表示，所描述的实现可以包括特定特征、结构或特性，但不是每个实现都一定要包含该特定特征、结构或特性。而且，这些短语不一定指相同的实现。此外，当结合一个实现描述特定特征、结构或特性时，认为，本领域技术人员知道结合其它实现来实施该特征、结构或特性，而不管本文是否进行了明确描述。

图1示出根据本公开的实例系统100。在各种实现中，系统100可以包括图像捕捉模块102和3D脸部模拟模块110，它们能够如本文将描述地那样生成包括脸部纹理的3D脸部模型。在各种实现中，可以在字符建模和创建、计算机图形、视频会议、在线游戏、虚拟现实应用等中采用系统100。此外，系统100可以适于诸如感知计算、数字家庭娱乐、消费型电子等应用。

图像捕捉模块102包括诸如照相机或摄像机的一个或多个图像捕捉设备104。在一些实现中，可以在对象脸部108周围沿弧线或轨迹106移动单个相机104以便生成脸部108的一系列图像，其中如下文将更详细地解释的，每个图像相对于脸部108的视角是不同的。在其它实现中，可以采用相对于脸部108成各种角度定位的多个成像设备104。一般来说，可以在捕捉模块102中采用任何数量的已知的图像捕捉系统和/或技术来生成图像序列（例如，参见Seitz等人的“A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms,” In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 2006）（下文称为“Seitz等人”）。

图像捕捉模块102可以将图像序列提供给模拟模块110。模拟模块110至少包括脸部检测模块112、多视点立体（MVS）模块114、3D形变脸部模块116、对齐模块118和纹理模块120，下文将更加详细地解释这些模块的功能性。一般来说，如也将在下文更加详细地解释的，模拟模块110可用于从由捕捉模块102所提供的图像中选择图像，对选择的图像执行脸部检测以便获得脸部边界框和脸部标志点，恢复相机参数并获得稀疏关键点，执行多视点立体技术以便生成稠密化身网格，将网格拟合到形变3D脸部模型，通过对3D脸部模型进行对齐和平滑处理来精炼3D脸部模型，并合成脸部模型的纹理图像。

在各种实现中，图像捕捉模块102和模拟模块110可以彼此相邻或接近。例如，图像捕捉模块102可以采用摄像机作为成像设备104，并且模拟模块110可以通过计算系统来实现，该计算系统从设备104直接接收图像序列，然后对这些图像进行处理以便生成3D脸部模型和纹理图像。在其它实现中，图像捕捉模块102和模拟模块110可以彼此远离。例如，远离图像捕捉模块102的一个或多个服务器计算机可以实现模拟模块110，其中模块110可以经由例如互联网从模块102接收图像序列。此外，在各种实现中，模拟模块110可以由软件、固件和/或硬件的任意组合来提供，软件、固件和/或硬件可以或者可以不分布在各种计算系统间。

图2示出根据本公开的各种实现用于生成3D脸部模型的实例过程200的流程图。过程200可以包括如图2的方框202、204、206、208、210、212、214和216中的一个或多个方框所示的一个或多个操作、功能或动作。作为非限制性实例，本文将参考图1的实例系统来描述过程200。过程200可以在方框202开始。

在方框202，可以捕捉脸部的多个2D图像，并且可以选择这些图像中的各种图像用于进一步处理。在各种实现中，方框202可以涉及利用普通的商用相机来从不同的视角记录人脸的视频图像。例如，可以在脸部保持静止并维持中性表情的同时在人头部前方周围跨越大约180度的不同定向记录视频历时大约10秒的持续时间。这可导致捕捉大约三百个2D图像（假设每秒三十帧的标准视频帧速率）。接着，可以解码得到的视频，并手动地或者通过利用自动选择方法来选择大约30个左右的脸部图像的子集（例如，参见R. Hartley and A. Zisserman, “Multiple View Geometry in Computer Vision,” Chapter 12, Cambridge Press, Second Version (2003)）。在一些实现中，选择的相邻图像之间的角度（如相对于被成像对象所测量的）可以是10度或更小。

接着，在方框204，可以对选择的图像执行脸部检测和脸部标志点标识，以便生成对应的脸部边界框以及边界框内的所标识的标志点。在各种实现中，方框204可以涉及运用已知的自动化多视点脸部检测技术（例如，参见Kim et al., “Face Tracking and Recognition with Visual Constraints in Real-World Videos”, In IEEE Conf. Computer Vision and Pattern Recognition (2008)），以便利用脸部边界框描画每个图像中的脸部轮廓和脸部标志点，从而限制标识标志点的区域并去除外界的背景图像内容。例如，图3示出对于人脸308的2D图像306的边界框302和所标识的脸部标志点304的非限制性实例。

在方框206，可以确定每个图像的相机参数。在各种实现中，方框206可以包括对于每个图像提取稳定的关键点并利用诸如“Seitz等人”中所描述的已知的自动相机参数恢复技术来获得特征点的稀疏集合以及包括相机投影矩阵的相机参数。在一些实例中，系统100的脸部检测模块112可以进行方框204和/或方框206。

在方框208，可以运用多视点立体（MVS）技术以便从稀疏特征点和相机参数生成稠密化身网格。在各种实现中，方框208可以涉及对于脸部图像对执行已知的立体单应（homography）与多视点对齐和整合技术。例如，如WO2010133007（“Techniques for Rapid Stereo Reconstruction from Images”）中所描述的，对于一对图像，可以用已知的相机参数对通过单应拟合获得的优化的图像点对进行三角测量以便获得稠密化身网格中的三维点。例如，图4示出可在方框206获得的多个恢复的相机402（例如，如恢复的相机参数所指定的）以及可在方框208获得的对应的稠密化身网格404的非限制性实例。在一些实例中，系统100的MVS模块114可以进行方框208。

返回到图2的论述，在方框210，可以将在方框208获得的稠密化身网格拟合到3D形变模型，以便生成重建的3D形变脸部网格。接着，在方框212，可以将稠密化身网格对齐到重建的形变脸部网格并进行精炼，以便生成平滑的3D脸部模型。在一些实例中，系统100的3D形变模型模块116和对齐模块118可以分别进行方框210和212。

在各种实现中，方框210可以涉及从脸部数据集合获悉形变脸部模型。例如，脸部数据集合可以包括指定稠密化身网格中的每个点或顶点的形状数据（例如，笛卡尔坐标系统中的(x, y, z)网格坐标）和纹理数据（红色、绿色和蓝色强度值）。可以分别通过相应的列向量(x₁, y₁, z₁, x₂, y₂, z₂, …, x_n, y_n, z_n)^t和(R₁, G₁, B₁, R₂, G₂, B₂, …, R_n, G_n, Z_n)^t（其中，n是脸部中的特征点或顶点的数量）来表示形状和纹理。

可以利用下式来将通用脸部表示为3D形变脸部模型：

其中，X ₀是平均列向量，λ_i是第i个本征值，U _i是第i个本征向量，并且α _i是第i个本征值的重建的度量系数。然后，可以通过调整系数集合{α} _n 来将由式(1)表示的模型变形为各种形状。

将稠密化身网格拟合到式(1)的3D形变脸部模型可以涉及在分析上将形变模型顶点S _mod定义为：

其中，

是从形变模型顶点的完整集合K选择对应于特征点的n个顶点的投影。在式(2)中，这n个特征点用于测量重建误差。

在拟合过程中，可以运用模型先验，从而导致以下的成本函数：

其中，式(3)假设，表示合格形状的概率直接取决于基准。较大的α值对应于重建脸部和平均脸部之间的较大差别。参数η折衷先验概率和式(3)中的拟合质量，并且它可以通过使以下成本函数最小化来迭代地确定：

其中，

，并且

。对A运用奇异分解得到

，其中w_i 是A的奇异值。

当以下条件适用时，可以使式(4)最小化：

利用式(5)，可以将α迭代地更新为α=α+δα。另外，在一些实现中，可以迭代地调整η，其中可以在初始时将η设置为w ₀ ²（例如，最大奇异值），并且η可以减小为较小奇异值的平方。

在各种实现中，给定在方框210处提供重建形变脸部网格形式的重建3D点，方框212处的对齐可以涉及搜索使得从重建3D点到形变脸部网格的距离最小所需的脸部姿势和度量系数。脸部姿势可以通过将

从中性脸部模型的坐标框架变换为稠密化身网格的坐标框架来提供，其中R是3×3旋转矩阵，t是平移，并且s是全局标度。对于任何3D向量p，可以采用符号T(p) = sRp + t。

相机框中的脸部网格的顶点坐标是度量系数和脸部姿势的函数。给定度量系数{α ₁, α ₂, …, α_n }和姿势T，可以通过下式来提供相机框中的脸部几何形状：

在脸部网格是三角形网格的实例中，三角形上的任何点可以表示为在重心坐标中测量的这三个三角形顶点的线性组合。因此，三角形上的任何点可以表示为T和度量系数的函数。此外，当T固定时，它可以表示为本文所描述的度量系数的线性函数。

接着，可以通过使下式最小化来获得姿势T和度量系数{α ₁, α ₂, …, α_n }：

其中，(p₁ , p₂ , …, p_n )表示重建脸部网格的点，并且d(p_i , S)表示从点p_i 到脸部网格S的距离。式(7)可以利用迭代闭合点（ICP）方法来求解。例如，在每次迭代时，T可以固定，并且对于每个点p_i ，可以标识当前脸部网格S上的最近点g_i 。接着，可以使误差E最小化（式(7)），并利用式(1)-(5)来获得重建度量系数。然后，可以通过固定度量系数{α ₁, α ₂, …, α_n }来找到脸部姿势T。在各种实现中，这可以涉及：构建稠密化身网格点的kd树，搜索形变脸部模型的稠密点中的闭合点，并利用最小二乘技术来获得姿势变换T。ICP可以继续进一步迭代，直到误差E收敛，并且重建度量系数和姿势T稳定。

在对齐稠密化身网格（从方框208处的MVS处理获得）和重建的形变脸部网格（在方框210获得）之后，可以通过将稠密化身网格融合到重建的形变脸部网格来对结果进行精炼或平滑处理。例如，图5示出用于将重建的形变脸部网格502融合到稠密化身网格504以便获得平滑的3D脸部模型506的非限制性实例。

在各种实现中，对3D脸部模型进行平滑处理可以包括：在脸部网格的周围创建圆柱形平面，并将形变脸部模型和稠密化身网格展开到该平面。对于稠密化身网格的每个顶点，可以标识包括该顶点的形变脸部网格的三角形，并且可以找到该顶点在三角形内的重心坐标。然后，可以按照稠密点和形变脸部网格中的对应点的加权组合来生成精炼点。可以通过下式来提供稠密化身网格中的点p_i 的精炼：

其中，α和β是权重，(q₁ , q₂ , q₃ )是包含点p_i 的形变脸部网格三角形的三个顶点，并且(c₁ , c₂ , c₃ )是如图6所示的三个子三角形的归一化面积。在各种实现中，方框212的至少部分可以通过系统100的对齐模块118来进行。

在方框212生成平滑的3D脸部网格之后，在方框214，可以利用相机投影矩阵以便通过运用多视点纹理合成来合成对应的脸部纹理。在各种实现中，方框214可以涉及利用角度加权的纹理合成方法来确定最终的脸部纹理（例如，纹理图像），其中对于稠密化身网格中的每个点或三角形，可以利用对应的投影矩阵来获得各个2D脸部图像中的投影点或三角形。

图7示出根据本公开可以在方框214运用的实例角度加权纹理合成方法700。在各种实现中，方框214可以涉及：对于稠密化身网格的每个三角形，对从脸部图像序列获得的所有投影三角形的纹理数据进行加权组合。如图7的实例所示，可以朝向两个实例相机C₁和C₂（具有相应的相机中心O₁和O₂）投影3D点P，该3D点P与稠密化身网格702中的三角形相关联并且相对于在点P处与网格702正切的平面704的表面定义了法线N，从而在由相机C₁和C₂捕捉的相应脸部图像706和708中得到2D投影点P₁和P₂。

接着，可以通过法线N与相应相机的主轴之间的角度的余弦来对点P₁和P₂的纹理值加权。例如，可以通过在法线N与相机C₁的主轴Z₁之间形成的角度710的余弦来对点P₁的纹理值加权。类似地，尽管为了清楚起见没有在图7中示出，但是可以通过在法线N与相机C₂的主轴Z₂之间形成的角度的余弦来对点P₂的纹理值加权。可以对图像序列中的所有相机做出类似确定，并且可以利用组合的加权纹理值来生成点P及其相关联的三角形的纹理值。方框214可以涉及对于稠密化身网格中的所有点进行类似过程，以便生成对应于在方框212生成的平滑的3D脸部模型的纹理图像。在各种实现中，方框214可以由系统100的纹理模块120来进行。

过程200可以在方框216结束，在方框216，可以利用已知技术来组合平滑的3D脸部模型和对应的纹理图像，从而生成最终的3D脸部模型。例如，图8示出用于生成最终的3D脸部模型806的纹理图像802和对应的平滑3D脸部模型804的组合的实例。在各种实现中，可以用任何标准的3D数据格式（例如，.ply、.obj等）来提供最终的脸部模型。

尽管如图2所示的实例过程200的实现可以包括按照所示的顺序进行所示出的所有方框，但是本公开在这方面不受限制，并且在各种实例中，过程200的实现可以包括只进行所示出的所有方框的子集，和/或按照与所示的顺序不同的顺序进行所示出的方框。另外，可以响应由一个或多个计算机程序产品所提供的指令来进行图2的方框中的任何一个或多个方框。这些程序产品可以包括提供指令的信号承载介质，这些指令在由例如一个或多个处理器核执行时可以提供本文所描述的功能性。计算机程序产品可以在任何形式的计算机可读介质中提供。因此，例如，包括一个或多个处理器核的处理器可以响应通过计算机可读介质传达给处理器的指令进行或者配置为进行图2中所示出的一个或多个方框。

图9示出根据本公开的实例系统900。系统900可用于执行本文论述的各种功能中的一些或所有功能，并且可以包括能够进行根据本公开的各种实现的基于图像的多视点3D脸部生成的任何设备或设备合集。例如，系统900可以包括诸如桌面型计算机、移动或平板计算机、智能电话、机顶盒等计算平台或设备的选定组件，但是本公开在这方面不受限制。在一些实现中，系统900可以是CE设备的基于Intel^®架构（IA）的计算平台或SoC。本领域技术人员将容易地明白，在不偏离本公开的范围的情况下，本文描述的实现可以与备选处理系统一起使用。

系统900包括具有一个或多个处理器核904的处理器902。处理器核904可以是至少能够部分地执行软件和/或处理数据信号的任何类型的处理器逻辑。在各种实例中，处理器核904可以包括CISC处理器核、RISC微处理器核、VLIW微处理器核和/或实现指令集的任意组合的任意数量的处理器核、或诸如数字信号处理器或微控制器的任何其它处理器设备。

处理器902还包括解码器906，它可用于将由例如显示处理器908和/或图形处理器910接收的指令解码为控制信号和/或微代码输入点。尽管在系统900中示为不同于核904的组件，但是本领域技术人员可意识到，核904中的一个或多个核可以实现解码器906、显示处理器908和/或图形处理器910。在一些实现中，处理器902可以配置成进行本文所描述的任何过程，包括关于图2描述的实例过程。此外，响应控制信号和/或微代码输入点，解码器906、显示处理器908和/或图形处理器910可以执行对应操作。

处理核904、解码器906、显示处理器908和/或图形处理器910可以通过系统互连916在通信上和/或在操作上与彼此和/或与各种其它系统设备耦合，各种其它系统设备可以包括但不限于例如存储器控制器914、音频控制器918和/或外围设备920。外围设备920可以包括例如统一串行总线（USB）主机端口、外围组件互连（PCI）快速端口、串行外围接口（SPI）接口、扩展总线和/或其它外围设备。尽管图9将存储器控制器914示为通过互连916耦合到解码器906与处理器908和910，但是在各种实现中，存储器控制器914可以直接耦合到解码器906、显示处理器908和/或图形处理器910。

在一些实现中，系统900可以经由I/O总线（图9中未示出）与同样在图9中没有示出的各种I/O设备通信。这些I/O设备可以包括但不限于例如通用异步接收器/传送器（UART）设备、USB设备、I/O扩展接口或其它I/O设备。在各种实现中，系统900可以代表用于进行移动、网络和/或无线通信的系统的至少部分。

系统900还可包括存储器912。存储器912可以是一个或多个离散存储器组件，例如动态随机存取存储器（DRAM）设备、静态随机存取存储器（SRAM）设备、闪速存储器设备或其它存储器设备。尽管图9将存储器912示为位于处理器902的外部，但是在各种实现中，存储器912可以位于处理器902的内部。存储器912可以存储由数据信号表示的指令和/或数据，它们可以在进行包括关于图2描述的实例过程的本文描述的任何过程中由处理器902执行。例如，存储器912可以存储表示如本文所描述的相机参数、2D脸部图像、稠密化身网格、3D脸部模型等的数据。在一些实现中，存储器912可以包括系统存储器部分和显示存储器部分。

诸如实例系统100的本文描述的设备和/或系统表示根据本公开的许多可能的设备配置、架构或系统中的若干个。符合本公开的系统的众多变化（例如实例系统100的变化）是可能的。

上文描述的系统以及如本文所描述的由它们执行的处理可以用硬件、固件、或软件或其任意组合来实现。另外，本文公开的任意一个或多个特征可以用包括离散和集成电路逻辑、专用集成电路（ASIC）逻辑和微控制器的硬件、软件、固件及其组合来实现，并且可以作为域特定集成电路封装的部分或集成电路封装的组合来实现。如本文所用的，术语“软件”是指包括计算机可读介质的计算机程序产品，在计算机可读介质中存储有计算机程序逻辑，以便使计算机系统执行本文所公开的一个或多个特征和/或特征的组合。

尽管参考各种实现描述了本文所阐述的某些特征，但是不希望以限制的含义来解释本描述。因此，本文描述的实现的各种修改以及对于本公开所属领域的技术人员来说显而易见的其它实现视为落在本公开的精神和范围内。

Claims (20)

1. 一种计算机实现的方法，包括：

接收多个2D脸部图像；

从所述多个脸部图像恢复相机参数和稀疏关键点；

运用多视点立体过程以便响应所述相机参数和稀疏关键点生成稠密化身网格；

拟合所述稠密化身网格以便生成3D脸部模型；以及

运用多视点纹理合成以便生成与所述3D脸部模型相关联的纹理图像。

2. 如权利要求1所述的方法，还包括对每个脸部图像执行脸部检测。

3. 如权利要求2所述的方法，其中对每个脸部图像执行脸部检测包括对于每个图像自动生成脸部边界框以及自动标识脸部标志点。

4. 如权利要求1所述的方法，其中拟合所述稠密化身网格以便生成所述3D脸部模型包括：

拟合所述稠密化身网格以便生成重建的形变脸部网格；以及

将所述稠密化身网格对齐到所述重建的形变脸部网格以便生成所述3D脸部模型。

5. 如权利要求4所述的方法，其中拟合所述稠密化身网格以便生成所述重建的形变脸部网格包括运用迭代闭合点技术。

6. 如权利要求4所述的方法，还包括精炼所述3D脸部模型以便生成平滑的3D脸部模型。

7. 如权利要求6所述的方法，还包括组合所述平滑的3D模型与所述纹理图像以便生成最终的3D脸部模型。

8. 如权利要求1所述的方法，其中恢复相机参数包括恢复与每个脸部图像相关联的相机位置，每个相机位置具有主轴，并且其中运用多视点纹理合成包括：

对于所述稠密化身网格中的点生成每个脸部图像中的投影点；

确定所述稠密化身网格中的所述点的法线与每个相机位置的主轴之间的角度的余弦值；以及

按照由所述对应余弦值加权的所述投影点的纹理值的函数生成所述稠密化身网格中的所述点的纹理值。

9. 一种系统，包括：

处理器以及耦合到所述处理器的存储器，其中所述存储器中的指令将所述处理器配置成：

接收多个2D脸部图像；

从所述多个脸部图像恢复相机参数和稀疏关键点；

运用多视点立体过程以便响应所述相机参数和稀疏关键点生成稠密化身网格；

拟合所述稠密化身网格以便生成3D脸部模型；以及

运用多视点纹理合成以便生成与所述3D脸部模型相关联的纹理图像。

10. 如权利要求9所述的系统，其中所述存储器中的指令还将所述处理器配置成对每个脸部图像执行脸部检测。

11. 如权利要求10所述的系统，其中对每个脸部图像执行脸部检测包括对于每个图像自动生成脸部边界框以及自动标识脸部标志点。

12. 如权利要求9所述的系统，其中拟合所述稠密化身网格以便生成所述3D脸部模型包括：

拟合所述稠密化身网格以便生成重建的形变脸部网格；以及

将所述稠密化身网格对齐到所述重建的形变脸部网格以便生成所述3D脸部模型。

13. 如权利要求12所述的系统，其中拟合所述稠密化身网格以便生成所述重建的形变脸部网格包括运用迭代闭合点技术。

14. 如权利要求9所述的系统，其中恢复相机参数包括恢复与每个脸部图像相关联的相机位置，每个相机位置具有主轴，并且其中运用多视点纹理合成包括：

对于所述稠密化身网格中的点生成每个脸部图像中的投影点；

确定所述稠密化身网格中的所述点的法线与每个相机位置的主轴之间的角度的余弦值；以及

按照由所述对应余弦值加权的所述投影点的纹理值的函数生成所述稠密化身网格中的所述点的纹理值。

15. 一种物品，包括计算机程序产品，在所述计算机程序产品中存储有指令，所述指令在执行时导致：

接收多个2D脸部图像；

从所述多个脸部图像恢复相机参数和稀疏关键点；

运用多视点立体过程以便响应所述相机参数和稀疏关键点生成稠密化身网格；

拟合所述稠密化身网格以便生成3D脸部模型；以及

运用多视点纹理合成以便生成与所述3D脸部模型相关联的纹理图像。

16. 如权利要求15所述的物品，所述计算机程序产品中还存储有指令，所述指令在执行时导致对每个脸部图像执行脸部检测。

17. 如权利要求16所述的物品，其中对每个脸部图像执行脸部检测包括对于每个图像自动生成脸部边界框以及自动标识脸部标志点。

18. 如权利要求15所述的物品，其中拟合所述稠密化身网格以便生成所述3D脸部模型包括：

拟合所述稠密化身网格以便生成重建的形变脸部网格；以及

将所述稠密化身网格对齐到所述重建的形变脸部网格以便生成所述3D脸部模型。

19. 如权利要求18所述的物品，其中拟合所述稠密化身网格以便生成所述重建的形变脸部网格包括运用迭代闭合点技术。

20. 如权利要求15所述的物品，其中恢复相机参数包括恢复与每个脸部图像相关联的相机位置，每个相机位置具有主轴，并且其中运用多视点纹理合成包括：

对于所述稠密化身网格中的点生成每个脸部图像中的投影点；

确定所述稠密化身网格中的所述点的法线与每个相机位置的主轴之间的角度的余弦值；以及

按照由所述对应余弦值加权的所述投影点的纹理值的函数生成所述稠密化身网格中的所述点的纹理值。

Images