CN101401108B - 用于运动图像内容的数据处理方法 - Google Patents

Abstract

本发明描述了对通过扫描拍摄底片获得的数字图片交换(DPX)数据进行处理用于色度重现原始解渲染的场景图像。所描述的一种方法包括，使用ICC色彩管理引擎，将通过对胶片摄影机采集场景所使用的拍摄底片进行扫描所获得的DPX色彩文件转换为场景色彩数据。ICC色彩管理引擎执行使用代表拍摄底片的特征曲线和感色性的参数来创建的ICC色彩配置文件。

Description

用于运动图像内容的数据处理方法

要求优先权

此PCT申请要求在2005年11月1日提交的、题目为“MOTIONPICTURE CONTENT EDITING”、美国专利申请序列号11/264,879的申请日的权益，根据35 U.S.C.§120或者365(c)在此要求优先权。 

技术领域

本文主题涉及数据处理。 

背景技术

运动图像产业日益依赖于计算机系统来修改和预览胶片。通常的运动图像工作流程开始于摄像机将场景记录在诸如用于传统摄像机的原始拍摄底片(OCN)或者用于数字摄像机的数字介质(例如，光或磁介质)上。然后，诸如通过扫描胶片将所采集图像的数字化表征提供到计算机工作站。工作站可以包括其上可以预览数字化数据外观的一个或者多个监视器。可以做出编辑性的修改，并且可以向数字化数据添加特效。此后，对于传统的电影放映机，数字化数据(具有修改和特效)可以转移到胶片上，用于在电影院银幕上放映。可选地，数字化数据可以转移到数字放映机上，用于在电影院银幕上放映。 

由于胶片扫描操作，对数字化数据的任何操作(例如，计算机渲染特效、来自多场景的多个镜头的组合等)通常不会如期待的那样理想。 

附图说明

图1是示出了根据本发明实施方式的系统的框图； 

图2示出了根据本发明实施方式的工作流程； 

图3示出了根据本发明实施方式创建LUT曲线的工作流程； 

图4示出了根据本发明实施方式创建矩阵的工作流程； 

图5示出了根据本发明实施方式编码ICC配置文件的工作流程；以及 

图6示出了实现与图2至图4中所提供处理类似的处理的装置。 

具体实施方式

在下文的具体描述中，参考形成本文一部分的附图，并且在附图中，通过示例的方式示出了其中可以实现本发明的不同实施方式。这些实施方式被足够详细地描述，以便使本领域技术人员能够实现本发明。可以利用其他实施方式，并且在不脱离本发明范围的前提下，可以做出结构上的、逻辑上的和电子方面的改变。 

以下描述了对通过扫描拍摄底片获得的数字图片交换(DPX)数据进行处理，用于重现原始拍摄的场景图像。用于处理数据的参数可以存储为国际彩色协会(INTERNATIONAL COLORCIONSORTIUM)格式色彩配置文件(ICC配置文件)，并且场景图像使用在色彩管理工作流程中，以将特效应用到经处理的DPX图像，使得特效看起来更逼真。本领域技术人员应当理解，可以使用具有类似特征的其他色彩配置文件和其他文件格式。 

尽管并不必要，但本发明的实施方式是在由个人计算机执行的计算机可执行指令的通用上下文中加以描述的，诸如程序模块中。通常，程序模块包括例程、程序、对象、组件、数据结构等，用于执行具体任务或者实现具体的抽象数据类型。本领域技术人员应当理解，其他计算机系统配置，包括便携式设备、多处理器系统、基于微处理器的或者可编程的消费型电子设备、网络PC、小型计算机、大型计算机等可以用于实现本发明的实施方式。 

在图1中示出用于实现本发明实施方式的示例系统。图1以示例性计算机系统100的形式示出了机器系统的图解表征，在该系统 中可以执行例如引起机器执行在此描述的任何一个或多个方法的指令集。在可选实施方式中，机器作为单独设备操作，或者可以连接(例如，联网)至其他机器。在网络化的部署中，机器可以作为服务器-客户端网络环境中的服务器或者客户端机器，或者对等(或者分布式)网络环境中的对端机器进行操作。机器可以是个人计算机(PC)、台式PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、web应用、网络路由器、交换机或者桥接器，或者能够执行(顺序地或者其他)指定该机器将要采取的动作的指令集。进一步地，尽管只示出了单个机器，但是术语“机器”应该还将用来包括任何机器集合，这些机器单独或者共同执行指令集(或多个指令集)以便执行在此描述的方法的任何一个或者多个。 

示例性计算机系统100包括中央处理单元(CPU)110、图形处理单元(GPU)120、可以包括静态存储器的主存储器130，它们经由总线140彼此通信。计算机系统可以进一步包括视频显示单元170(例如，液晶显示器(LCD)或者阴极射线管(CRT))。计算机系统还可以包括字母数字输入设备160(例如，键盘)、用户接口(UI)导航设备162(例如，鼠标)，盘驱动单元150。 

盘驱动单元150包括机器可读介质152，在其上存储有一个或多个指令集，以及由任何一个或多个在此描述的功能或方法具体化或者由其使用的数据结构(例如，软件)。在由计算机系统100执行期间，软件还可以完整地或者至少部分地驻留于主存储器130之内和/或(多个)处理器110/120之内，主存储器130和(多个)处理器110/120也构成了机器可读介质。 

软件可以进一步利用多种公知传输协议(例如，HTTP)中的任一在网络上经由网络接口设备传输或者接收。 

尽管在示例性实施方式中示出的机器可访问介质152是单个介质，但是术语“机器可访问介质”应该用来包括单个介质或者多个介质(例如，中央或分布式数据库，和/或与其相关联的缓存和服务器)，这些介质存储一个或多个指令集。术语“机器可访问介质” 还应该用来包括任何能够存储、编码或承载机器的执行指令集，以及引起机器执行本发明的任何一个或多个方法，或者能够存储、编码或承载这种指令集利用的或者与其相关的数据结构的介质。术语“机器可访问介质”应该相应地用来包括，但不限于，固态存储器、光或磁介质，以及载波信号。 

本发明的实施方式提供了方法，以便将DPX色彩转换为场景空间，并使用ICC颜色管理引擎来进行此转换。参见国际彩色协会规范ICC.1：2004-10。这些方法支持在DPX文件中操作、编辑和应用特效，以使已完成的作品看起来更加真实。ICC配置文件的使用允许将已有的ICC色彩管理架构用在色彩转换中。 

使用国际彩色协会(“ICC”)标准的颜色管理广泛地应用于将色彩数据从一个色彩空间转换到另一色彩空间。即，ICC配置文件提供了跨平台设备配置文件格式。ICC配置文件可以用于将在一个设备上创建的色彩数据转化为另一设备的本机色彩空间。这种色彩配置文件的使用允许终端用户透明地将配置文件与具有内嵌配置文件的图像在不同的操作系统之间移动，同时保持色彩保真度。例如，从一个设备或者软件到另一设备或软件的色彩输出需要被转换(或转化)以便维护一致的色彩输出。通常在计算机执行的软件，诸如图像处理软件，包括色彩引擎以便确定将色彩数据从一种ICC配置文件转换到另一种ICC配置文件所需的适当操作。色彩转换可以使用查找表(LUT)和矩阵计算来执行。 

出于示例性目的，以下内容可以基于DPX系统从底片获取的数字化数据，其中该底片可以由放映系统使用氙光源进行照射。术语胶片通常表示感光材料，诸如，但不限于，覆盖有光敏乳胶的赛璐珞(celluloid)。数字化的数据可以符合包括DPX文件的多种标准中的一种。在完成了数字化数据的处理后，数字化数据可以重新记录到底片上，然后将底片打印到打印胶片上，用于投射到电影院银幕上。可选地，数字化数据可以提供到数字放映机上，并且直接投射到电影院银幕上。取决于所希望的实现，可以使用其他打印胶片、 扫描仪和光源。具体地，在此描述的主题还可以与涉及数字摄像机和/或数字投影仪的工作流程一起使用。 

数字化图像文件格式可以是CINEON格式文件，其使用打印密度来存储十比特密度的数据。在某些变体中，使用状态M密度(例如，可以从打印密度导出)存储数据的文件格式可以使用。CINEON图像文件格式是ANSI/SMPTE DPX文件格式的子集。DPX格式文件由四部分组成：(i)类属文件信息头，其具有固定格式的、预先定义的通用信息头，其包括若干部分(类属、图像、数据格式和图像来源)；(ii)运动图像和电视行业专用头，其具有固定格式的、行业(电视、电影)专用头；(iii)用户定义的信息，其包括可变长度的、用户定义的数据；以及(iv)图像数据。 

图2示出了运动图像工作流程200，其中，场景205由胶片摄像机210采集到拍摄底片215上。拍摄底片215可以由扫描仪220扫描，以产生CINEON/数字图片交换(DPX)格式文件225。如下所述，使用ICC配置文件来转换228DPX文件。DPX文件225可以在编辑器230中观看并修改，以生成经编辑的DPX文件235。然后，经编辑的DPX文件235可以由记录器240转印到底片250上。此后，底片250可以由运动图像胶片打印机255显影成正印胶片260。正印胶片260可以加载到电影放映机265，使得可以将图画面投影到电影院银幕270上。 

如前所述，在数字运动图像工作流程中，使用胶片扫描仪来扫描包含所采集场景的原始拍摄底片(OCN)，并将OCN转换为以10比特打印密度编码的数字DPX文件。DPX文件可以数字化地在计算机上操作，并记录回胶片上。然后，经记录的胶片用于在电影院放映。在计算机上进行的操作包括：添加“效果”，从诸如改善亮度/对比度的基本改变到诸如进行高动态范围调色的非常复杂的效果。通常使用诸如来自Adobe系统有限公司的Adobe 

After Effects 

软件来添加这些效果。 

添加到DPX文件中的内容的很多计算机效果要求首先将内容转 换成场景空间，其代表现实世界中内容的原始样貌。为了使效果产生出更加真实的结果，这是必须的。本发明的实施方式将DPX文件的内容转换成场景空间。 

在此描述的方法包括，确定将DPX文件转换成场景空间所需的色彩变换参数。这些色彩变换参数作为ICC配置文件保存，色彩管理引擎可以用该ICC配置文件来将DPX文件中的色彩转换为场景空间。从DPX RGB空间到场景空间的转换(用于编辑)以及从场景空间回到DPX RGB空间的转换(编辑之后)是使用ICC配置文件执行的。这样，ICC配置文件包含用于从DPX RGB空间转换到场景空间的色彩转换参数，以及用于从场景空间转换回DPX RGB空间的参数。 

在此使用的术语场景表示采集到胶片上的图像。胶片基于公知的感光原理来采集场景。当曝光的胶片被扫描以将利用光采集的场景转换为数字数据时，经扫描的转换无法准确地重现或者代表在胶片上原始采集的光色。在此描述的方法提供了转换过程，其对通过扫描胶片获得的色彩数据进行转换，并且将在色彩上可测量地代表如在胶片上采集的原始场景色彩的场景色彩数据。这样，提供术语场景色彩数据作为色彩转换的输出。所描述的某些处理使用ICC配置文件，该ICC配置文件是使用代表特征曲线和用于采集场景的实际胶片感光度的参数创建的。 

图3示出了根据本发明示例性实施方式的方法300，用于在处理流程图中生成三条色调复制曲线(TRC)。图4示出了根据本发明示例性实施方式的方法400，用于在处理流程图中生成矩阵。在一种实施方式中，使用TRC和3×3矩阵可以将DPX RGB色彩空间值转换成国际照明委员会(CIE)XYZ色彩空间值，以将DPX R′G′B′转换成XYZ。即，DPX R′G′B′→[TRC]→RGB→[3×3矩阵]→XYZ。用于这种转换的数据可以存储在诸如ICC配置文件之类的色彩配置文件中。 

图3示出了根据实施方式的处理300，用于使用KODAK VISION2 500T彩色底片5218的、所发布的Kodak 5218特征曲线来生成三个相同的1D LUT。作为第一个子操作302，使用简单线性关系将DPX打印密度(PD)范围[0，2.046]转换为状态M(StM)值，该线性关系为：StM＝0.6144+0.9355*PD。在子操作304处，使用完全发布的Kodak 5218特征曲线数据将作为结果的状态M范围[0.6144，2.5284]转换为曝光量对数(log exposure)。不同的胶片特征曲线可以用于对应所使用的胶片。接下来，在子操作306处，使用线性值＝10^(-对数值)来将曝光量对数数据转换为线性值。最后，在子操作308处，可以被调节、缩放结果所得的线性TRC，以将DPX470值映射到参考灰度值(例如，值从10％灰度到20％灰度，诸如18％灰度)。 

作为处理300的结果，使用胶片特性生成了三条色调复制曲线(TRC)，并由三个1D LUT表示。三个LUT用于将DPX R′G′B′转换为RGB值。 

参考图4，使用估计的XYZ色彩匹配函数来确定3×3场景矩阵。场景矩阵可以用来将RGB值从TRC转换到XYZ值。 

作为创建ICC矩阵的第一子操作402，将XYZ色彩匹配函数估计为Kodak 5218拍摄胶片的RGB感光度的3×3矩阵变换。在一个实施方式中使用D65光源下自然对象光谱的集合作为训练集404。本领域技术人员认识到，D65光源意在代表贯穿可见光谱的平均采光。3×3矩阵是这样选择的，使得使用训练集从估计的矩阵得到的XYZ输出值与实际XYZ值之间的误差(Delta-E)最小化406。使作为结果的矩阵在色彩上适应于ICC D50光源，以便提供场景矩阵408。一种形成色彩适应的方法在国际彩色协会说明的附录E中描述。 

参照图5，利用处理500创建V4 ICC配置文件(参见ICC.1：2004-10(配置文件版本4.2.0.0))。通过创建A2B0标签和B2A0标签来创建ICC配置文件。 

1D LUT值在大约0.00185到75.83的范围内变化，如上所述。 这些值被缩放502，使得最大值为1，从而给出了约[2.4459e-5，1]的范围。这些经缩放的曲线在开始时具有非常小的斜率，使得编码ICC配置文件较为困难，其中ICC配置文件仅具有16比特精度。在一个实施方式中，曲线划分为两条曲线504，以允许编码。第一曲线是原始曲线的0.5次方，而第二曲线简单地是将指数2.0应用到第一曲线的伽马函数。将原始曲线提升到0.5次方使斜率足够地减小，使得曲线可以准确地在ICC配置文件中编码。 

本领域技术人员知道，A2B0标签定义了使用查找表标签元素结构从设备到配置文件连接空间(PCS)的色彩变换，并且B2A0标签定义了使用查找表标签元素结构从PCS到设备的色彩变换。参见国际彩色协会说明ICC.1：2004-10。A2B0色彩变换遵循以下顺序：(“A”曲线)→(多维查找表-CLUT)→(“M”曲线)→(矩阵)→(“B”曲线)。B2A0色彩变换遵循以下顺序：(“B”曲线)→(矩阵)→(“M”曲线)→(多维查找表-CLUT)→(“A”曲线)。 

由于上述场景矩阵按照现状编码，所以用于ICC配置文件的整个A2B0标签(RGB到XYZ)生成506如下： 

A曲线：场景曲线，伽马为0.5 

色彩查找表(CLUT)：标识(无操作) 

M曲线：参数曲线，伽马为2.0(1/0.5) 

矩阵：场景矩阵 

B曲线：标识(无操作) 

针对创建用于ICC配置文件的B2A0标签(XYZ到RGB)508，处理颠倒为： 

B曲线：标识(无操作) 

矩阵：场景矩阵的逆矩阵 

M曲线：参数曲线，伽马为0.5(1/2.0) 

CLUT：标识(无操作) 

A曲线：场景曲线的倒数，伽马为2.0 

在B2A0标签中需要两条曲线，以避免曲线暗区中的极高插值误 差。 

由于M曲线随后可以使用通常比通用幂函数实现更快的平方根操作来实现，所以使用伽马为2.0的逆场景曲线简化了处理。这样，使用伽马为2.0的逆场景曲线便比使用不同伽马(例如，4.0)的要快。 

一个实施方式中的配置文件中的媒体白点设置为75.83(未缩放的场景曲线的最大值)乘以D50。这样做的理由在于，当使用了绝对色度重现意图时，色彩管理引擎进行了将场景曲线缩放到整个DPX范围。这是保证可以将整个DPX范围编码入不支持[0，1]范围外的超范围数据的ICC配置文件的一部分。 

上述实施方式使用从原始拍摄底片的特性衍生出来的参数，将DPX色彩转换为场景色彩。ICC色彩配置文件在一个实施方式中用于变换。ICC色彩配置文件使用查找表和用于变换的矩阵。在此描述的、确定1D LUT的方法包括将打印密度转换为状态M值，并随后转换为线性值。在此描述的、确定矩阵的方法包括使用自然对象光谱作为训练集的误差最小化，并且该方法估计XYZ色彩匹配函数。在此描述的ICC配置文件编码将色调复制曲线(TRC)分成两个，具体地为伽马为2.0的逆场景曲线，来改进性能。最后，在此描述的、对整个DPX范围进行编码的方法包括ICC配置文件中的超范围数据。 

图6示出了装置600，其可以是单独的，或者可以集成到图1的装置中。提供LUT值计算单元610以使用胶片的特性、如上所述地确定LUT值。同样，提供矩阵值计算单元620以使用胶片的RGB感光度、如上所述地确定矩阵值。ICC单元630使用为LUT和矩阵确定的值来对ICC配置文件进行编码，以便在变换单元640执行时使用。变换单元将DPX输入数据650变换成提供给编辑器单元670的XYZ数据660。如上所述，编辑器单元允许对色彩数据进行编辑。经编辑的XYZ色彩数据680被提供到变换单元640，该变换单元640将经编辑的色彩数据转换为可以如上所述转印到胶片的输出DPX色 彩数据690。 

形成本文说明书一部分的附图通过说明而不是限制的方式示出了其中可以实现本主题的具体实施方式。在此足够详细地描述了示例的实施方式，以便支持本领域技术人员实现本文所公开的教导。可以使用并从此衍生出其他实施方式，使得在不脱离本公开范围的前提下，可以在结构上和逻辑上做出替换及改变。因此，此具体说明并不用于限制，并且各种实施方式的范围仅由所附权利要求定义，这种权利要求针对替换物的全部范围与各种实施方式一起给出。 

仅为了方便，本发明主题的这种实施方式可以在此独立地和/或共同地由短语“发明”表示，并且不意在自发地将本发明的范围限制到任何单个发明或者发明概念，如果多于一个事实上被公开了的话。这样，尽管在此说明并描述了具体实施方式，但是应当理解，被计算用于实现同样目的的任何布置可以用来替代所示出的具体实施方式。本公开意在覆盖各种实施方式的任一种以及所有改进和变体。基于对上述描述的回顾，上述实施方式的组合以及其他并未在此具体公开的实施方式对于本领域技术人员而言将变得明显。 

Claims (4)

1.一种用于运动图像内容的数据处理方法，包括：

将感光设备曝光以采集场景；

生成表示所采集场景的数字图片交换DPX格式色彩文件，

通过以下方法生成查找表LUT：将打印密度范围转换为状态M密度范围，使用所述感光设备的特征曲线将所述状态M密度范围转换为曝光量对数，以及将所述曝光量对数转换为线性值；以及

使用国际彩色协会ICC色彩管理引擎将所述DPX格式色彩文件转换为场景色彩数据，其中所述ICC色彩管理引擎执行使用所生成的查找表创建的ICC色彩配置文件，其中使用ICC色彩管理引擎将所述DPX色彩文件转换为所述场景色彩数据包括：

编码至少三条色调复制曲线TRC；以及

将所述TRC应用到矩阵操作。

2.根据权利要求1所述的方法，其中编码所述至少三条TRC包括调节所述TRC的斜率，用于以至少16比特精度对所述TRC进行编码。

3.根据权利要求1所述的方法，其中编码所述至少三条TRC包括：向所述TRC应用两个伽马操作，其中第一伽马操作是所述第二伽马函数的逆运算。

4.根据权利要求1所述的方法，进一步包括：

操作所述场景色彩数据；

使用所述ICC色彩管理引擎来将经操作的场景色彩数据转换为第二DPX色彩文件，其中所述转换包括：

应用逆矩阵将操作的色彩数据转换为具有DPX色彩格式的矩阵输出数据；以及

应用伽马值为2的伽马，以及应用伽马值为1/2的伽马操作到所述矩阵输出数据；以及

将所述第二DPX色彩文件记录用于图像显示。

Images