CN1104816C - 虚演播室中用于确定电视摄像机位置的方法和设备 - Google Patents

Abstract

一种确定电视摄像机相对于一个由该摄像机所观察的图形板的位置的方法，该方法包括步骤：根据所述摄像机产生的视频信号来识别图形的多个边界点，并且使用这些边界点以计算图形相对于摄像机的透视。

Description

虚演播室中用于确定电视摄像机位置的方法和设备

技术领域

本发明涉及用于创建虚像及用于确定电视摄像机相对位置的方法和设备。

背景技术

已知色度键板用于电视演播室。通过使电视摄像机聚焦在一个色度键背景(或图形板)上，并且使一个前景物体定位在该图形板的前面，可以创建一幅组合图像，其中前景物体对照一个虚背景来显示，虚背景例如可以是静止图像或视频序列。

这项基本技术所引出的一个问题是不得允许摄像机移动，因为在现实生活中虚背景和前景物体(可能为电视演播员)不会同步移动。

在JP 57-93788中，使用一种色度键板，其包括底色的一系列两种不同色调的11字形等距离平行线，以监视视频信号频率变化时焦距的任何变化。为了使所插入图像的尺寸和位置适合于色度键窗，检测色度键窗的边界。

通过使用带有特有的特征等的双色调图形板，可以求解透视。这样的特征可以包括字符、符号、多边形顶点等。每当至少图像特征可以与物理图形匹配时，就可以求解透视。

对本发明来说，说明书将一般地限于在虚演播室内使用电视摄像机，但是将会理解，本发明可以用于一般跟踪电视摄像机或其上安排了电视摄像机的物体。

在属于共同申请人的共同申请以色列专利申请第109,487中，公开了色度键图形板的使用。这些图形板具有限定图形，其使电视摄像机所产生的视频信号得以处理，以确定摄像机的位置。

PCT专利申请WO-A-94/05118公开了一种均匀的图形色度键背景板，并且包括根据均匀图形板的可见图像从所保存的一个视频到下一个视频的变化，在假定一个已知开始位置下，用移动估计法来确定摄像机相对于背景板的透视的装置。

上述现有技术系统所引出的一个问题是对大的放大倍数来说，则使视场(FOV)特征数目减少。并且，对相当大的封闭体来说，可能难以识别刚性特征。由于本发明允许摄像机移动和变焦距，并且还允许前景物体移动，所以这些情况极可能发生。

另外，大的透视失真使得特征识别非常困难，尤其当所述特征包括字符、图符等时。

如果摄像机在前景实物和虚背景之间失去同步，那么结果将在组合画面中失去真实性。因此，如上说明，早先系统限于静止摄像机，并且后来系统虽然允许摄像机移动，但是可能仍易于在前景和背景之间失去同步。

显然，如果图形色度键背景都不可见，那么同步得不到保持，但是也不必须要，因为将无虚背景显示。

当摄像机移向前景物体时，背景色度键板将成为被前景物体更多地封闭，并且在大透视图情况下，特征图形将被破坏和/或失真。

发明内容

本发明的一个目的是提供一种电视摄像机位置确定设备和方法，当图形板的一部分被一个前景物体所封闭时，用于测量电视摄像机相对于图形板的位置。

本发明的另一个目的是提供一种虚演播室系统，其中电视摄像机能够相对一个前景物体和一个背景图形色度键板横向移动；其中摄像机能够相对前景物体移近和移远，即使当图形色度键板几乎完全被前景物体所封闭时，也不在前景物体和虚背景之间失去同步。

本发明的又一个目的是提供一种电视摄像机定位设备，其中即使当图形板的相当大部分被一个封闭物体所遮蔽时，也能确定电视摄像机相对于一个图形板的位置。

本发明因此提供一种确定电视摄像机相对于一个由该电视摄像机所观察的图形板的位置的方法，该方法包括根据所述摄像机产生的视频信号来识别图形的多个边界点，并且用这些边界点来计算图形相对于摄像机的透视的步骤，其特征在于对所述多个边界点分组，以用斜率和截距法把边界点与特定线相联系，并且其中参考由摄像机所观察的图形板的透视和尺寸来确定摄像机和图形板的相对位置。

优选地，该方法包括步骤：识别多个所述界点；并且产生一个初始边界点图像。

优选地，使用两族或多族边界，以便各族边界位于至少包括两条线的平行线集上。优选地，各族的取向足够远离，以便可以仅用其取向而把一个边界点分配给一个特定族。

在一个特定实施例中，所述图形板包括描绘外形色差的垂直和水平直线边界限定线的图形，并且其中各边界点位于所述水平或垂直直线中一条上。

在第一实施例中，对所述多个第一边界点分组，以用斜率和截距法把边界点与特定线相联系。

在第二实施例中，处理与所述第一和所述第二多个边界点有关的视频信号的步骤包括的步骤为分析所有检测的边界点，并且把边界点一起分组为与水平线相对应的第一多个组及与垂直线相对应的第二多个组。

优选地，预先把第一和第二多个组中的边界点分配给特定的水平和垂直线。

优选地，在分配步骤之后计算水平和垂直线的灭点，所述灭点在限定位置误差范围内计算。

任何不与图像平面平行的平行线集的透视投影将在一个灭点会聚。在特殊情况下当线与图像平面平行时，灭点在无限远处。

优选地，该方法还包括步骤以对与水平边界相对应的边界作投影，以得到包括峰点和凹点的边界投影轮廓图。

优选地，在投影过程中，把垂直累加阵列H[y]清零。然后对各水平边界，计算把灭点(预先对水平边界算得)与边界相连接的线。该线然后与垂直轴(x＝0)相交。然后增加与相交点相对应的累加阵列的单元。该阵列中的峰点与候选线相对应。

优选地，该方法还包括步骤以把各水平边界分配给一个最可能的峰点，并且对峰点所指示的多条候选线中的各条产生一个边界表。

优选地，对各边界表规定一条线，不与任何规定线相对应的边界不考虑在内。

然后优选地对垂直边界和线重复该方法步骤。

在该方法中，产生精确的视频图像边界线图形，并且其中把图形板上已知图形与该边界线图形作比较。

这个比较优选地包括第一步骤，以识别精确的视频图像边界图形中的第一水平线，识别精确的视频图像图形中的第二水平线，计算所述第一和第二视频图像线之间的距离，把视频图像线之间的计算距离与已知图形相比较，以产生水平位置和标度的确定，重复所述步骤以产生垂直位置和标度的确定，并且由所述水平和垂直位置及标度的确定来确定电视摄像机相对于图形板的位置。

一旦所有位置和标度得到确定，则现在完成图形与图像之间的匹配。优选地，该匹配用来求解图形和图像之间最终精确的透视变换。

优选地，透视变换用来求解电视摄像机相对于图形板的位置。

优选地，图形板包括一个具有两种可分别识别的色度键颜色的色度键板。优选地，图形板包括两种或多种距离编码线族。

在又一个优选实施例中，图形板包括两种或多种线族，以便各族的线在一个共点相交。

本发明还提供用于确定电视摄像机相对于一个由该摄像机所观察的图形板的位置的设备，该设备包括：

根据所述摄像机产生的视频信号来识别图形的多个边界点，并且用这些边界点来计算图形相对于摄像机的透视的装置，其特征在于该设备还包括对所述多个第一边界点分组，以用斜率和截距法把边界点与特定线相联系的装置，以及包括参考由摄像机所观察的图形板的透视和尺寸，来确定摄像机和图形板的相对位置的装置。

附图说明

现在将参考附图举例叙述本发明的实施例，其中：

图1表示用于本发明的图形板；

图2表示图1的图形板的一部分被一个遮蔽图形一部分的封闭物体所封闭；

图3表示图2从一侧的透视图；

图4表示从一侧和上面的复杂透视图；

图5说明识别边界点的过程；

图6用图解说明边界点的初始灭点计算；

图7用图解说明校正的行式映像；

图8说明水平线的投影行式映像；

图9表示在最终处理之后与图1图形比较的精确视频线；

图10说明本发明使用编码线束的概念；

图11表示处理的顶层流程；以及

图12说明线检测过程。

具体实施方式

现在参考附图，图1表示一个图形板10，它包括多条垂直和水平线12，14。这些线可以由不同颜色的窄线或条形成，它们的功能是提供多个限定边界。

对图形色度键板来说，线或条的颜色优选地将为相同颜色的不同色调。

线不必要水平或垂直，但是优选地将总是平行直线，与大致水平和垂直的线之间具有预定角度关系。优选地在任何图形中，提供两种或多种边界族，以便各族的边界位于一个至少包括两条线的平行线集上。并且优选地，各族的取向离得很远，以便可以仅用其取向把边界点分配给一个特定族。

用图解指示的电视摄像机20在图1中表示为直接从前面观察的图形板。

在图2中，表示了由摄像机20观察的视频图像。操作摄像机20以移向图1用虚线表示的区域10’，并且不规则形状的封闭物体30表示为封闭图形的一部分。图2中图形因此不连续，并且可见在放大视频图像中无连续水平线。

在图2中仅表示了一个封闭物体，但是可以有多个以使线产生进一步的不连续性。

在图3中，移动摄像机以创建一个简单的透视，其说明大致水平的线14现在不平行，而在图4更复杂的透视中，水平线或竖直线都不平行。

由于图形尺寸的变化，线的不连续性，以及非平行图像，将使把图4中视频图像图形与按数字化格式存储的图形板的图形相匹配变得极为困难，因为没有视频图像部分与所存储的图形相对应。

本发明方法提供一种根据图4视频图像来确定电视摄像机的位置的手段。

优选地，在图1图形中，线间距不全相等，以便在水平线族或垂直线族内相邻线集内的距离比唯一。这公开在上述的以色列专利申请第109487中。因此，如果可能识别两条垂直线121，122及两条水平线141，142之间的线间距，那么可以识别形成视频图像部分的图形区域。

然而，因为电视摄像机的放大率或变焦距量未知，复杂透视和封闭未知，所以这些线表现与图1图形完全不同。

该方法包括识别如图5所示的大量边界点144。各边界点可以认为由如角148所指示的具有斜率和截距的微线组成。如果它位于一条任何厚度的线上，则它还可以具有如箭头146所指示的标称方向。这些边界点的位置用数字化存储，以提供初始边界点图像。如图4可见，在中央部分可以有相当大空白区域出现封闭，但是在这个区域内可能有假边界点，它们不正确地属于将要记录及将要放弃的图形。

应用Hough变换，把边界点按组分配给水平和垂直方向的特定线[J.Illingworth and J.Kittler，A survey of the Hough transform，ComputerVision，Graphics and Image Processing， 26，PP.139-161(1986年于美国出版)]。

选择地，线集的初始平行度用来提供水平和垂直方向的线集的近似位置。

如图4可见，由于透视变化所引起，线既不水平也不垂直。因此这里一般地用这些项来指大致水平或垂直的线，也就是说更靠近水平而不是垂直或更靠近垂直而不是水平的线。

现在参考图6，如对边界点进行分组和/或对线集的初始平行度进行计算所近似确定，对水平线(150)和垂直线(152)两者把各线投影到一个近似灭点。如所示，因为有误差，线将不在一个单点相交，因此允许一个误差“圆”150，152，圆心例如认为是灭点。当摄像机垂直看图形板时，灭点在无限远处。在齐性坐标系下工作时，也能处理后种情况。

参考图7，用水平灭点把水平边界点分组成线。把灭点Ph与边界点E1相连接的线和垂直轴相交。对所有水平边界点重复该过程。显然，对以许多边界点为特征的实际线来说，相交点将如图7所示趋于累加。假边界或非常短的可见线将随机地影响模。在图8中，相交点形成直方型波形。该过程是对水平线叙述的，但是将对垂直线重复该过程。

通过将其分配给最可能的峰点来对各边界点进行再评价，并且然后对各可能候选点，例如对图8中的160，161，162，存储校正的边界表。

放弃那些发现不与可能候选点相对应的边界点。因此，对水平线，现在产生了将与水平线141，142精确地直线对准的边界点表，例如对各线用边界点表，则线141与峰点161直线对准，线142与峰点162直线对准。因此精确地检测了线。

然后对垂直线重复该过程。

对分配给最可能峰点的边界点进行处理，以在某种最优意义下找到一条通过这些点的线。例如，可以计算最小平方误差线。现在能更精确地计算灭点，作为水平(或垂直)线集的最可能相交点。

假定水平线束的灭点在齐性坐标系中由(Xh，Yh，Wh)给定。并且假定垂直线束(或线集)的灭点由(Xv，Yv，Wv)给定。这些点与图形板上平行线束的灭点(1，0，0)和(0，1，0)相对应。由这个对应，可以求解透视变换以对两种线束确定位移和标度。对所检测的线应用反变换，产生如图9所示的精确栅格图形。

然后把这个图形对各轴独立地对照所存储的图形(图1)进行匹配。在搜索过程中，各线L4可以是水平图形中的任何一条线。然而，L5是下一条线，并且距离或图形唯一，可以识别线。如果我们假定没有线失去，那么我们得到水平方向上的一个匹配解，用类似过程我们将得到垂直方向上的一个匹配解。

如果失去某些线，那么对其他匹配线的数目确定分数，并且可以应用对匹配线的了解来引导对任何失去线进行搜索。如果这些线完全被遮蔽，那么对垂直和水平两个方向，可以应用分数的门限值对匹配作出判决。

为了得到精确的灭点和透视，用各线的校正边界点表来提供准确的线方程，由此能够准确地计算灭点。

一旦与线匹配，就不仅如以前那样知道透视失真，而且还知道位移和标度。这样完成了对透视变换的确定，并且由此完成了对电视摄像机相对于图形板的位置的确定。

该系统能或在图形中一条或多条线被完全遮蔽情况下，或在线不连续情况下提供这样信息。因此，该系统能在仅有非常小部分图形板可见情况下以高摄像机变焦距参数来工作。

现在参考图10，使用编码线束200(图10a)(线族)的一种可选择系统，可以把平行线族的概念扩展到相交族。这些线不平行，然而可以基本上使用相同技术。

考虑两个由图形板设计过程中的已知透视变换(“预变换”)变换为两个相交束(“图形束”)的平行编码线束202’，204’(“原束”)。这些束由(未知)摄像机透视变换作进一步变换，并且以“图像束”202”，204”表现(图10c)。

显然，预变换和摄像机变换的组合是未知透视变换。我们进而用通常算法来求得该未知变换(在图10a原束与图10c图像束之间)。一旦知道该变换，我们就用预变换来求取摄像机变换(在图形束与图像束之间)。

图11表示处理的顶级流程，从视频信号1100开始，并且产生从图形板到图像的透视变换1102的估计。为了减少由于前景物体所引起的假边界的数目，用一个色度键控器1104把背景(其包含图形信息)和前景分割。这个分割是根据描述特定像素与底色(优选地为蓝色或绿色)之间距离的键信号来执行的。为了进一步减少假边界的数目，优选地1106过滤键图像，以除去孤立特征及靠近前景物体边界的像素。这个过滤优选地用形态图像处理来实现[Serra，J.Image Analysis and Mathematical Morphology，Academic Press，London 1982年于美国出版]。

然后1108对背景图像应用边界检测。该方法对所使用的特定边界检测器不敏感。综述请见[A.Rosenfeld and A，Kak，Digital Picture Processing，Academic Press 1982，Vol. 2，pp.84-112]。

优选地，边界检测过程包括下列步骤：

1.平滑图像以减少图像噪声的影响。

2.用x和y空间导数计算各像素的梯度矢量(大小和方向)。

3.用门限值检测梯度大小，并且当梯度灵敏度不具有局部最大值时抑制像素。这个抑制步骤对获得细边界轮廓是必要的。

4.把边界点存储在边界阵列中。

参考图12，对水平线进一步叙述线检测过程。垂直线按类似方式处理。

1202由水平边界点表计算近似灭点。1204通过灭点对各边界作投影，以产生投影直方图，其在1206得到分析以找到峰点。把峰点表与各边界点比较，以把边界点分配给一个峰点，并且然后1208配合线以提供线表。

Claims (23)

1.一种确定电视摄像机(20)相对于一个由该摄像机所观察的图形板(10)的位置的方法，该方法包括如下步骤：

根据所述摄像机(20)产生的视频信号来识别图形的多个边界点(E1，E2，E3)，并且使用这些边界点来计算图形相对于摄像机的透视，其特征在于对所述多个边界点(E1，E2，E3)分组，以用斜率和截距法把边界点与特定线相联系，并且其中参考由摄像机所观察的图形板的透视和尺寸来确定摄像机和图形板的相对位置。

2.如权利要求1所述的方法，包括如下步骤：

识别多个边界点；并且

产生一个初始边界点图像。

3.如权利要求2所述的方法，其中所述图形板包括描绘外形色差的垂直(L1，L2，L3)和水平(L4，L5)直线边界限定线的图形，并且其中各边界点位于所述水平或垂直直线中一条上。

4.如权利要求3所述的方法，其中处理与所述多个边界点有关的视频信号的所述步骤包括如下步骤：

分析所有检测的边界点，并且把边界点一起分组为与水平线(204)相对应的第一多个组及与垂直线(202)相对应的第二多个组。

5.如权利要求4所述的一种方法，其中预先把第一和第二多个组中的边界点分配给特定的水平和垂直线。

6.如权利要求5所述的一种方法，其中在分配步骤之后计算水平和垂直线的灭点，所述灭点在限定位置误差范围内计算。

7.如权利要求6所述的一种方法，还包括如下步骤：

对与水平边界相对应的边界作投影，以得到包括峰点(160，161，162)和凹点的边界投影轮廓直方图(1206)。

8.如权利要求7所述的方法，还包括如下步骤：

把各水平边界分配给一个最可能的峰点(1208)，并且对该峰点所指示的多条候选线中的各条产生一个边界表。

9.如权利要求8所述的一种方法，其中把边界点按组分配给特定的水平和垂直线。

10.如权利要求6到9中任何一项所述的方法，其中对垂直边界和线重复关于水平边界和线的步骤。

11.如权利要求10所述的方法，其中从规定线计算精确的灭点。

12.如权利要求10所述的方法，其中求解透视变换以对两种线族确定位移和标度。

13.如权利要求12所述的方法，其中用反透视变换产生精确的线图形，并且其中把图形板上已知图形与边界线图形比较。

14.如权利要求13所述的方法，其中所述比较包括第一步骤，识别精确视频图像边界图形中的第一水平线，识别精确视频图像图形中的第二水平线，计算所述第一和第二视频图像线之间的距离，把视频图像线之间的计算距离与已知图形比较，以产生水平位置和标度的确定，重复所述步骤以产生垂直位置和标度的确定，并且从所述水平和垂直位置及标度的确定来确定电视摄像机相对于图形板的位置。

15.如权利要求1所述的方法，其中图形板包括具有两种可分别识别的色度键颜色的色度键板。

16.如权利要求1所述的方法，其中图形板包括两种或多种线族(202，204)，它们安排为各线和邻线之间的距离不等于邻线和下一条邻线之间的距离。

17.如权利要求1所述的方法，其中图形板包括两种或多种线族，以便各族的线在一个共点(150，152)相交。

18.如权利要求15所述的方法，其中用所确定的电视摄像机相对于图形板的位置来计算背景视频图像相对于前景物体的透视。

19.用于确定电视摄像机(20)相对于一个由该摄像机所观察的图形板(10)的位置的设备，包括：

根据所述摄像机(20)产生的视频信号来识别图形的多个边界点(E1，E2，E3)，并且用这些边界点来计算图形相对于摄像机的透视的装置(1108)，其特征在于该设备还包括对所述多个第一边界点(E1，E2，E3)分组，以用斜率和截距法把边界点与特定线相联系的装置，以及包括参考由摄像机所观察的图形板的透视和尺寸，来确定摄像机和图形板的相对位置的装置。

20.如权利要求19所述的设备，其中图形板(10)是色度键板。

21.如权利要求19所述的设备，还包括处理摄像机的所述计算位置的进一步处理装置(1102，1104，1108)，存储背景景像的背景景像存储装置，按照所计算的摄像机位置以调节背景景像透视的透视位移装置，以及在前景物体置于所述摄像机和所述背景板之间时，在所述图形色度键背景板上以正确透视显示背景景像的视频显示装置。

22.如权利要求19到21中任何一个所述的设备，其中图形板包括两种或多种线族，它们安排为各线和邻线之间的距离不等于邻线和下一条邻线之间的距离。

23.如权利要求19到21中任何一个所述的设备，其中图形板包括两种或多种线族，以便各族的线在一个共点(150，152)相交。

Images