CN1395222A - 映射和渲染三维目标和活动的三维目标的基于图像的方法 - Google Patents

Abstract

提供了三位静止和活动目标的映射，它是从真实目标的照片和他们的几何映射中获得，可以实现存储紧凑、以高的输出图像质量快速渲染、适于动画目的。该方法包括将三维目标的原始数据转换成中间映射；将中间映射的数据转换成外切立方体形式的渲染映射，其中分层的深度图像分配到外切立方体的每个表面上，并且通过根据观察者的位置而确定外切立方体的可见表面，将用于每个可见表面的分层的深度图像变换成纹理，并将带有纹理的可见表面可视化来渲染所获得的映射。

Description

映射和渲染三维目标和活动 的三维目标的基于图像的方法

                           技术领域

本发明涉及计算机制图学，尤其涉及从实在目标的照片获得的三维(3D)静止和活动目标的映射及他们的几何映射，并涉及利用目标简化几何模型的映射和渲染方法。

                           背景技术

在不远的将来，以交互速度进行的3D目标的高质量渲染将在现代图形显示系统中占据主要地位。对3D目标高质量渲染的要求使构想出有效的算法成为必然，以用于在诸如电子商务、计算机游戏、科学、工程、医学等的领域内压缩目标并通过通信网络传输他们。在过去数十年中利用传统的3D目标多边形模型来同时满足这些需求的做法已经难于给出理想的结果。多边形模型具有两个主要的缺点：容量较大(例如：理想的模型需要数千万的三角形)并且难于构造。为了克服这些困难，近年来已经提出了3D制图学的多种方法，它们中最优选的方法似乎为基于目标的图像的方法，和基于代替3D空间内的三角形的点的方法。

基于图像的方法将给定目标表示为一组完全覆盖其可见表面并从多个不同的摄像机位置处获得的图像—目标的照片。除此之外，每个这种图像伴随有相应的深度映射图(depth map)，该映射图是一列从图像平面中的像素到目标表面的距离。这种映射的优点为参考图像可以提供高质量的目标显像，而不论其多边形模型的复杂性，并可以通过传统的图像压缩技术压缩，而不会过大地损害质量。另外，渲染时间正比于在参考图像和输出图像中的像素数量，而不是正比于目标的复杂性。

缺点是由于获得的用于实际目标(例如，雕像)的深度图是相当复杂的操作，以及处理这种映射的技术不够成熟。

基于点的方法将目标表示为点云，而不强加于明确的局部多边形结构。在这种方法中，一组深度图像通过将每个参考图像的每个像素转换为在正交于图像平面方向上的相应的深度值而限定了目标表面上的一组点(具有相应的颜色)。由此，基于图像的映射为基于点的映射的特殊情况。以下，我们将集中在基于图像的映射上，由于他们更接近我们的方法。

在文献著作中，两个上述趋势在参考文献[1]到[13]中描述，它们描述了一些3D目标的映射和渲染方法，如起伏纹理映像(Relief TexturesMapping)[1]、分层的深度图像(Layered Depth Images)[2]、分层的深度图像树(Layered Depth Image Tree)[3]、Q板条(splat)[4]、Surfels[5]以及其他在现有技术中已经公知的方法。在以下的现有技术方法的讨论中，将参照以下公开文献：

[1]Manuel M.Oliveira，Gary Bishop，David McAllister著的起伏纹理映像，发表于2000年的SIGGRAPH会议论文集；

[2]Jonathan Shade，Steven Gortler，Li-Wei He，Richard Szeliski著的分层的深度图像，发表于1998年的SIGGRAPH会议论文集；

[3]Chun-Fa Chang，Gary Bishop，Anselmo Lastra.著的LDI树：用于基于图像渲染的分级映射，发表于1999年的SIGGARPH会议论文集；

[4]Szymon Rusinkiewicz，Marc Levoy著的QSplat：用于较大栅格的多解析点渲染系统，发表于2000年SIGGARPH会议论文集；

[5]Hanspeter Pfister，Matthias Zwicker，Jeroen van Baar，Markus Gross著的Surfels：作为渲染基本数据单元的表面元素，发表于2000年SIGGARPH会议论文集；

[6]Chamberlain等人著的利用空间分层快速渲染复杂环境，发表于1996年SIGGARPH会议论文集；

[7]Grossman和Dally著的点样本渲染，发表于1998年关于渲染技术的欧洲图形学工作会的会议论文集；

[8]Lischinski和Rappoport著的用于非弥散合成场景的基于图像的渲染，发表于1998年关于渲染技术的欧洲图形学工作会的会议论文集；

[9]M.Levoy和T.Whitted著的利用点作为显示基本数据单元，发表于杯卡罗莱纳大学Chapel Hill分校，计算机科学系，1985年的技术报告TR85-022；

[10]L.Westover著的用于大量渲染的轨迹评估，发表于1990年SIGGRAPH会议论文集；

[11]C.I.Connolly著的从有效范围数据中累计产生Octree模型(Cumulative Generation of Octree Models from Range Data)，发表于1984年3月的国际机器人技术大会的会议论文集的25～32页；

[12]g.h Tarbox和S.N.Gottschlich.著的IVIS：整合的容积查验系统，发表于1994年2月的1994年第二次基于CAD的影像会议的会议论文集220～227页；

[13]Curless，B.，Levoy，.M.，著的用于从有效范围数据中建造复杂模型的体积法，发表于1996年SIGGRAPH会议论文集；

[14]C.Bregler著的针对人运动的基于视频的动画技术，2000年SIGGRAPH会议，日程39：基于图像的建模和渲染；以及

[15]Paul F.Debevec，Camillo J.Taylor，Jitendra Malik的由照片建模和渲染架构：混合的基于几何图形和图像的方法，发表于1996年SIGGRAPH会议论文集。

基于图像的方法的共同问题在于在所形成的图像中出现孔。与在如下方面连续，即，目标表面线性内插于所有多边形(即三角形)的内部的多边形模型不同，而基于图像和基于点的映射形成目标的离散逼近。在基于图像映射的情况下，实际上，目标表面与小的彩色正方形(即，参考图像变换的像素)近似，当从与每个参考图像平面的正交方向偏离非常大的方向上观察时，近似正方形的投影并不完全覆盖目标表面的投影。将这种孔称为第一种类型孔。在基于图像映射中形成的图像中的孔的另一个来源在于如下事实，即，在所有的参考图像中，表面的一些部分可能不可见，但是对于某些观察点来说变得可见(第二种类型孔)。这些孔是由于在特定的基于图像映射中包含不充分的信息造成的。

起伏纹理方法[1]通过利用模拟线性内插来抑制第一种类型的孔，由于内插在目标的二维投影中进行，而不是在3D空间内进行，因此会导致失真和假象。更重要的是，在这种方法中第二种类型的孔只能用相同的方式处理。

分层深度图像(LDI)[2]为设计成避免第二种类型的孔的问题的数据结构。LDI为一种图像，它的像素包含所有投影到参考图像平面内固定位置的目标点。在此也应用[1]的快速预弯曲算法。然而，仍存在第一种类型孔的问题。板条(Splatting)([10]中首次引入)用于解决第一种类型的孔。板条是小的二维直线性或椭圆表面补丁(patch)，其被赋予特定的颜色分布—以补丁的中心为中心的高斯分布或恒定不变。LDI方法的缺点在于它的非对称，这是由于这种映射是基于特定的固定方向上的投影。这导致难于在与所述固定方向显著不同的观察方向上填充孔。

LDI树[3]为一种octree，它具有附着到每个octree单元(节点)上的LDI。具有分级模型的优点在于不是每个octree树中的LDI都应渲染。通过利用存储在较高等级的LDI中的过滤点，远处的那些单元不太详细地渲染。构想出这种映射，以便通过利用很多参考图像来克服LDI的不对称。然而，存储空间变得非常大：如[3]中所述，对于512×512的图像(从36个参考图像中获得)的LDI树占据30M字节，并且这些空间中的大约一半为树结构本身。如[3]所述，对于这种目标的渲染时间一般较长，在具有32250MHzMIPS R10000处理器的Silicon Graphics Onyx2上每帧2～3秒(尽管未使用并行计算)。

然而，另一种将基于图像的数据合并到树结构中的映射方法为最近设计的Surfels方法[5]。取代单独的LDI树，它处理特定的树[8]，该树为分层的深度立方体(LDC)，节点包含三个相应于三个正交平面的LDI。[5]中描述的结果是针对包含81000三角形的原始模型获得的。在奔腾III 700MHz处理器上对于256×256输出缓存获得每秒11帧(fps)的帧频。Surfels是由相应的深度矢量偏移的参考图像像素。树结构用于加速选择可视元素的计算。孔填充通过邻域或高斯过滤实现。板条在这种结构中实现。在数据量的成本和速度约束下实现高质量的形成图像。

也应提到最近引入的Asplat映射[4]，尽管它是基于点的方法，而不是基于图像的方法。这种方法利用基于嵌套球(nested ball)的分级点结构。在渲染阶段使用适当尺寸的椭圆板条。然而，在[4]中使用稍微复杂并且费时的精选(truncated culling)过程。数据结构也很复杂，并且需要更多的时间来处理。

在[1]～[12]中开发了用于从有效范围数据中，如从一组深度图像中获得octree结构的3D模型的想法和各种实现方法，[13]利用octree处理来自原始数据的多边形模型的结构。

上面所有的都涉及静止的3D基于图像的映射。对于活动的3D目标，应指出的是迄今为止仅提出了非常少的用于这个问题的基于图像的方法。在[14]中，开发了对于几乎恒定的3D表面几何形状的表面图象修改的想法，这仅能应用于受限制类型的活动目标，而不是实际的活动的3D目标。在[15]中，借助于与视界有关的纹理映像，使影像架构活动，这种纹理映像基于若干照片从各个观察点重新构造架构视图。

因此，可以明白需要一种可以实现紧凑存储、具有较高的输出图像质量的快速渲染、并适于动画目的的基于图像的映射。

                        发明内容

本发明的目的是提供基于深度图像的3D目标的映射，其允许快速并高质量地渲染，其中可以减少或消除上述缺陷。

本发明的另一目的是提供一种用于基于深度图像映射3D目标的方法，其允许快速并高质量地渲染，并可以利用现存的基于硬件的加速装置。

本发明的再一目的是提供一种用于紧凑地映射活动的3D目标的方法，其能够快速并正确地渲染。

本发明的再一个目的是提供一种用于映射和渲染三维目标的方法，该方法借助于精确计算尺寸的板条和可以避免不必要的计算的精选过程实现快速弯曲显像，由此增加了渲染速度。上述结果在根据本发明的用于映射和渲染三维目标的方法中实现，该方法包括以下步骤：将三维目标的原始数据变换成中间映射；将中间映射的数据变换为外切立方体形式的渲染映射，在此，分层的深度图像分配给外切立方体的每个表面，并且通过根据观察者的位置而确定外切立方体的可见表面，将用于每个可见表面的分层的深度图像变换成纹理，并将带有纹理的可见表面可视化来渲染所获得的映射。

在该方法的一个实施例中，所述三维目标的原始数据变换成中间映射包括：将三维模型放置在外切立方体内侧；将该模型直线投射地投影到外切立方体的所有表面上，以便对于每个表面获得具有预定像素分辨率的模型图像；对于在所获得的图像中的每个像素计算相应的深度值，该值为从模型表面处的点到外切立方体相应表面的距离，从而获得对于每个表面的灰度图像，灰度图像的每个点具有与该点的深度相对应的亮度；将所获得的12个图像的数据存储为6对映像，每对映像由对应于外切立方体的表面的灰度图像和彩色图像构成；并且从所获得的6个影像对中获得对应于外切立方体每个表面的分层的深度图像。

在本方法的另一实施例中，所述将三维目标的原始数据变换成中间映射包括产生一个分层的深度图像，并由分层的深度图像形成针对外切立方体每个表面的相应的多层深度图像，从而如果在该点处的法线与立方体表面的法线之间的角度小于预定值，那么就抛弃中间图像的点。

将对于每个可见表面的分层深度图像转换为纹理优选地包括：根据观察者相对于该表面的位置确定纹理尺寸；将表面由坐标轴分割成象限，该坐标轴的原点与作为该表面平面上的观察点的正交投影的点重合；对于每个象限，通过在所述坐标原点方向上的线并通过从距离该表面平面最远的点到靠近点的深度来确定分层深度图像的遍历方向，并在遍历图像的过程中对于图像的每个点检查该点是否落于所形成的纹理中，如果结果是否定的，那么忽略相应的图像点，并进行到下一个点，而如果结果是肯定的，将该图像点的坐标和深度用函数式转换为所形成的纹理的点的坐标；以及在具有所获得的坐标的纹理点处形成板条。

中间映射数据优选地用于存储三维目标模型的信息。

上述结果也可以在根据本发明的用于映射活动的三维目标的方法中实现，该方法包括以下步骤：将三维目标的原始数据变换成中间映射；将用于中间映射的各帧的数据变换成外切立方体形式的渲染映射，在此分层的深度图像分配给该外切立方体的每个表面上；以及通过考虑观察者的位置确定对于每帧的外切立方体的可见表面，对于每个可见表面将分层的深度图像转换为纹理，并将带有纹理的可见表面可视化来渲染所获得的映射的序列。

6个视频流形式的所获得的中间映射可以利用MPEG4压缩格式压缩，其中，颜色信息存储在颜色信道中，而深度影响存储在α信道中。

                       附图说明

从以下参照附图的实施例详细描述中，本发明将得以更容易地理解。

图1示出了用于映射和渲染三维目标的方法的各步骤顺序；

图2a、2b示出了构成灰度图像和彩色图像的映像对的示例；

图3a、3b是分层的深度图像的示例，其中3a说明模型投影原理，而图3b说明由投影导致的数据结构；

图4示出在对外切立方体的每个表面形成分层的深度图像的步骤时检查中间映射点；

图5示出在将多层深度图像的每个可见表面变换成纹理的步骤时将外切立方体的表面分割成象限的示例；

图6a、6b示出检查分层的深度图像的每个点是否落入所形成的纹理中的原理，图6a示出对于给定的观察者的位置检查点是否可见；图6b示出检查点是否落入所形成的纹理中。

                          具体实施方式

在所有说明本发明的附图中，相同的元素由相同的附图标记标示。

图1示出：映射和渲染三维目标的方法的步骤1到步骤4；三维目标模型5；中间映射6、7；渲染映射8；纹理9；外切立方体的多边形模型10；模型的可视化图像11。

图2a、2b示出灰度图像12和彩色图像13。

图3a、3b示出模型14、底板15、对于分层的深度图像的每个像素的点组16。

图4示出：立方体表面17、渲染映射的点18、在点18处的法线19、可见度锥形20。

图5示出：观察者的位置21、观察者位置处的点在表面17上的正交投影22、表面17的象限23到26、在每个表面象限中的遍历方向27到30。

图6a、6b示出：在点18处的法线19与朝向点21的方向之间的夹角31、穿过观察者所在点21的平面的投影32、以及立方体表面17相对观察者的最接近边缘。

现在参照图1，按以下方式实现用于映射和渲染三维目标的方法。

在步骤1，3D目标的模型5转换成中间映射6(7)。中间映射可以为六对映像的组6，他们由灰度图像12和彩色图像13(图2a、2b)或多层深度图像7(图3a、3b)构成。在第一种情况下，中间映射只存储从外切立方体表面可见的模型表面部分的信息。灰度图像12的点的亮度(图2a)由从外切立方体的表面到模型表面的距离决定。最大亮度对应于模型表面上位于最接近表面上的那些点，而最小亮度对应于位于相对表面上的那些点。不与属于模型表面的各点相对应的图像点由零亮度值编码。第二映射(图3a、3b)存储模型14表面的全部信息，这是由于分层的深度图像的每个像素对应于投影到该像素的模型各点的组16，其中，模型表面点的颜色和深度、以及附加的在该点处的模型表面的法线对应于组16中的每个点。

在步骤2，渲染映射形成为对于外切立方体每个表面的分层深度图像，在利用中间映射6的情况下，对于外切立方体的每个表面，从这个表面可见的模型部分的各点的坐标被转换成与另一个面相关的坐标系统，这个转换结果被添加到于所述表面相对应的深度图像中。利用中间映射7，分层的深度图像被变换到与每个表面相关的坐标系统中。

在利用中间映射7构建对于每个表面的分层的深度系统过程中，检查每个新加入的点，以(确定)从这个表面的潜在的可见度。如图4所示，如果在点18处的法线19和指向点17的法线之间的夹角20小于预定值，那么这个点将不加入到对于这个表面的分层的深度图像中。

在步骤3，生成通过传统装置可视化(步骤4)所需的纹理。首先，外切立方体的可见表面根据观察者的当前位置加以确定，然后，对于每个表面生成图像，该图像将然后施加到表面上以作为纹理。纹理尺寸利用该表面的法线和由观察者的位置点和表面中心所确定的矢量之间的夹角确定。如果该夹角接近于零，纹理尺寸基本等于原始的图像尺寸。随着该夹角的增大，纹理尺寸相应地减小。纹理尺寸对于每个坐标u、v独立地计算。

纹理构建过程包括与外切立方体的表面相对应的多层深度图像的各点的遍历。如图5所示，遍历顺序如下地选择。在外切立方体的表面平面上找到观者者位置点21的投影。对应于所述投影的点22将该表面分割成不多于四个象限(23、24、25、26)。在每个象限中，分层的深度图像的遍历方向被选择成各点由方向27、28、29、30上的线遍历。然后，在每个象限中的各点在所选定的方向被遍历，在表面中具有相同坐标的各点以深度减小的顺序遍历。每个点经历包括两个步骤的精选过程。如果法线矢量存在于分层的深度图像中，进行第一步骤，并且该步骤包括检查指向所述点的法线的方向，如图6a所示。确定观察矢量和点18处的法线19之间的夹角31，如果夹角31超过90度，那么忽略该点，并且该过程进行到下一个点。否则，进行第二测试，其包括在用函数式转换后去除未落入纹理中的点。对于外切立方体的每个可见表面，预先构建两个阵列Mu和Mv(由表面相应的坐标(u、v)索引)，该阵列由包含在外切立方体内的各点的深度构成，并位于穿过外切立方体表面17的两条最接近边缘和观察者所在的点21的平面上。

图6a示出一个这种平面对应于坐标u的投影32。阵列数据元素用作对于分层深度图像各点的第二精选标准。如果点深度大于Mu[u]或Mv[v]的值，那么由于这个点在所形成的纹理中将不可见，该过程进行到下一个点，其中u、v是外切立方体表面内的点的坐标。然后，根据点的坐标(u、v)和深度d，将一维函数变换(弯曲(warping)，见[1])应用到每个选定的点上。

函数变换给出了在与所选定的观察者位置21相关的坐标系中的坐标(u′、v′)。该变换对于可见表面的所有点进行。板条在所生成的纹理中具有所获得的坐标的点处形成。板条的颜色对应于带有原始坐标(u、v、d)的点的颜色。板条的形状是从施加到纹理中的速度的考虑选定的，一般为方形或圆形。板条的尺寸有原始的图像尺寸、所获得的纹理尺寸确定，并可以考虑到分层深度图像的各点处的法线而加以调节。

板条中心的坐标应该对应于通过弯曲而获得的坐标(u′、v′)。结果，获得了对于每个可见表面的图像，该图像在步骤4(图1)中施加到多边形模型的相应表面上。在所获得的纹理中未占据的区域标示为透明，由于立方体多边形模型不覆盖背景，因此这就确保了所形成的图像的正确性。

用于映射活动目标的方法如下地执行，对于模型原始数据流，即，一组连续的动画帧，确定外切立方体，然后对于每个帧构建六对映像，映像对如上所述由灰度图像和彩色图像构成，参照图1和图2a、2b。这就给出了12个视频流，每个外切立方体的表面两个视频流。对应于彩色图像的视频流可以利用带有损失的任何视频流压缩算法予以压缩，如MPEG2。对应于灰度图像(深度映像)的视频流应该利用质量上没有损失的压缩算法压缩，如MPEG4格式的α信道压缩。根据本发明的方法的优选实施例提出利用MPEG4压缩格式压缩六个视频流。

Claims (9)

1.一种用于映射和渲染三维目标的方法，包括以下步骤：

将三维目标的原始数据变换成中间映射；

将中间映射的数据变换为外切立方体形式的渲染映射，在此，分层的深度图像分配给外切立方体的每个表面；并且

通过根据观察者的位置而确定外切立方体的可见表面，将用于每个可见表面的分层的深度图像变换成纹理，并将带有纹理的可见表面可视化来渲染所获得的映射。

2.如权利要求1所述的方法，其特征在于，所述三维目标的原始数据变换成中间映射包括：

将三维模型放置在外切立方体内侧；

将该模型正交投射地投影到外切立方体的所有表面上，以便对于每个表面获得具有预定像素分辨率的模型图像；

对于在所获得的图像中的每个像素计算相应的深度值，该值为从模型表面处的点到外切立方体相应表面的距离，从而获得对于每个表面的灰度图像，灰度图像的每个点具有与该点的深度相对应的亮度；

将所获得的12个图像的数据存储为6对映像，每对映像由对应于外切立方体的表面的彩色图像和灰度图像构成；并且

从所获得的6个影像对中获得对应于外切立方体每个表面的分层的深度图像。

3.如权利要求1所述的方法，其特征在于，所述将三维目标的原始数据变换成中间映射包括产生一个分层的深度图像，并由分层的深度图像形成针对外切立方体每个表面的相应的多层深度图像。

4.如权利要求3所述的方法，其特征在于，所述对于外切立方体每个表面形成分层的深度图像包括：如果在该点处的法线与立方体表面的法线之间的角度小于预定值，那么就抛弃中间图像的点。

5.如权利要求1到4中任一项所述的方法，其特征在于，将对于每个可见表面的分层深度图像转换为纹理的步骤包括：

根据观察者相对于该表面的位置确定纹理尺寸；

将表面由坐标轴分割成象限，该坐标轴的原点与作为该表面平面上的观察点的正交投影的点重合；

对于每个象限，通过在指向所述坐标原点方向上的线并通过从距离该表面平面最远的点到靠近点的深度来确定分层深度图像的遍历方向，并在遍历图像的过程中对于图像的每个点检查该点是否落于所形成的纹理中，如果结果是否定的，那么忽略相应的图像点，并进行到下一个点，而如果结果是肯定的，将该图像点的坐标和深度用函数式转换为所形成的纹理的点的坐标；以及

在具有所获得的坐标的纹理点处形成板条。

6.如权利要求1到5中任一项所述的方法，其特征在于，所述中间映射数据用作三维目标模型的存储信息。

7.一种用于映射和渲染活动的三维目标的方法，包括以下步骤：

将三维目标的原始数据变换成中间映射；

将用于中间映射的各帧的数据变换成外切立方体形式的渲染映射，在此分层的深度图像分配给该外切立方体的每个表面上；以及

通过考虑观察者的位置确定对于每帧的外切立方体的可见表面，对于每个可见表面将分层的深度图像转换为纹理，并将带有纹理的可见表面可视化来渲染所获得的映射的序列。

8.如权利要求7所述的方法，其特征在于，所述将三维目标的原始数据变换为中间映射包括：

将三维模型放置在外切立方体内侧；

对于动画的每一帧，将该模型正交投射地投影到外切立方体的所有表面上，以便对于每个表面获得具有预定像素分辨率的模型图像；

对于在所获得的图像中的每个像素计算相应的深度值，该值为从模型表面处的点到外切立方体相应表面的距离，从而获得对于每个表面的灰度图像，灰度图像的每个点具有与该点的深度相对应的亮度；

将所获得的12个图像的数据存储为6对映像，每对映像由对应于外切立方体的表面的彩色图像和灰度图像构成；并且

从所获得的6个影像对中构建对应于外切立方体每个表面的分层的深度图像。

9.如权利要求8所述的方法，其特征在于，六个视频流形式的所获得的中间映射利用MPEG4压缩格式压缩，同时在颜色信道存储颜色信息，在α信道存储深度映像。

Images