CN1192327C

CN1192327C - 识别定位相对运动区域以及位移方向和速度的方法和装置

Info

Publication number: CN1192327C
Application number: CNB971968012A
Authority: CN
Inventors: 帕特里克·皮里姆
Original assignee: Hodding Bev Sa
Current assignee: Hodding Bev Sa
Priority date: 1996-07-26
Filing date: 1997-07-22
Publication date: 2005-03-09
Anticipated expiration: 2017-07-22
Also published as: AU722228B2; EP0912964B1; UA59366C2; US20030067978A1; RU2216780C2; EP0912964A1; JP2000516004A; TW393859B; DK0912964T3; KR100490972B1; US7190725B2; ES2165622T3; KR20000029599A; TR199900143T2; IL127799A; IL127799A0; FR2751772A1; CA2261854A1; AU3775397A; CN1226329A

Abstract

本发明的目的在于提供一种实时操作的方法和装置，用于识别和定位在场景中的相对运动的区域，并实时地确定这一相对运动的速度和方向。所述的方法进行数字视频输入信号S(PI)的时间处理，在于从一帧中的每个像素值和前一帧中的每个像素值之间的改变导出的二进制信号DP，用于识别有无显著改变，以及一个表示这个改变的大小的数字信号CO，并进行空间处理，在于在矩阵中连续地分配对于通过矩阵扫描的单帧的这两个信号，并且从矩阵分配来推导所需的相对运动及其参数。该装置通过包括和一个存储器16相连的一个时间处理单元15、和一个延迟单元18相连的一个空间处理单元17、时钟单元20和用于控制单元15和17的操作速率的控制单元19来实现上述目的。

Description

识别定位相对运动区域以及位移方向和速度的方法和装置

本发明的目的在于提供一种实时操作的用于识别和定位场景中相对运动的区域并用于确定所述相对运动的速度和方向的方法和装置。

相对运动指的是在一个近似不动的环境中所述区域(它可以包括广义上的“物体”，其中包括生物或生物体的一部分，例如手)的运动，或者有时也指在至少部分地运动的环境中所述区域(或“物体”)的大致完全固定。

本发明涉及一种来自观测系统的数字视频输出信号的处理，所述观测系统包括光学输入系统或者能够形成被观测的场景的图像的物镜，并可以通过光电转换系统或检测器把接收到的图像转换成一个数字输出信号。

一般地说，观测系统包括用于观测要被监视的场景的视频摄像机或带磁带机的摄像机(此时所述数字输出信号包括由具有数字输出的摄像机输出的数字视频信号，或由模/数转换器输出的数字信号，模/数转换器的输入端和输出模拟视频信号的摄像机的输出相连)。

观测系统还可以包括光学仪器(双目镜，观察镜筒，取景器)的物镜，通过这些光学仪器，至少射出的光束的一部分被采样，及具有标准的相关电子系统的光电传感器，例如CCD型或CMOS型的，传感器接收由所述一部分光束形成的图像并通过相关的电子系统将它转换为一个数字视频输出信号。

本发明主要包括来自观测系统，尤其是视频摄像机的数字视频输出信号的处理，所述观测系统具有数字输出端，用于实时地确定信号表示在所述场景中的相对运动的区域的存在和位置，并当所述区域实际上在所述场景中相对于近似不动的环境正在移动时，表示其移动的速度和方向。

迄今为止，用于识别和定位相对运动的物体和确定位移的速度和方向的最好的系统是动物和人的视觉系统，例如，猎人在其隐蔽处定位动物的位移以及位移的速度和方向。

现有技术的监视装置例如人造视网膜，模拟的(Giocomo Indiveri等人，在Procciidings of NicroNeuro’96第15-22页)或数字的(Pierre-Francois Rüedi在Proceedings of MicroNeuro’96第23-29页)已经提出了，但第一涉及具有复杂结构的检测器和模拟单元，第二涉及识别物体边缘的装置；此外，在所述装置中使用非常快速的和高容量的存储器，以便进行实时操作，并且只能获得关于运动区域或物体的有限的信息。

因而，作出了存储来自视频摄像机或类似仪器的帧输出信号的建议，其中包括在一个第一二维存储器中的关于代表由摄像机在时刻t₀观测的场景的像素的数据序列，和在一个第二二维存储器中的代表所述在时刻t₁的场景的下一个相应帧的视频信号。如果物体在t₀和t₁之间已经运动，则可确定一方面，物体在t₀和t₁之间在场景中移动的距离d，以及另一方面，相对于相同像素的两个连续的相应帧的开始之间的时间T＝t₁-t₀。那么位移速度等于d/T。这种类型的系统要求非常大的总存储容量，如果其要求获得表征该位移的精确的速度和方向指示的话。此外，在获得速度和位移方向指示时，存在某些延迟；所以直到时间t₁+R才得到这个信息，其中R是用于计算时间间隔t₀-t₁所需的时间。这两个缺点(需要大的存储容量和获得所需信息时的延迟)限制了这类系统的应用。

此外法国专利NO.2.611.063，其中的一个发明人(Mr.PatrickPirim)是本发明的发明人，描述了一种用于实时处理序列数据流，尤其是从带磁带机的摄像机输出的信号，以便进行数据压缩的一种方法和装置。按照这个前面的专利，对第一序列使用分级法则形成信号电平的直方图，存储表示和这个直方图相关的高斯函数，从其中提取最大和最小电平，下一个序列或第二个序列的电平和与对于每个像素相同的恒定的时间常数一道存储的所述信号电平比较，产生参照分类法则表征下一个所述序列的二进制分类信号，从这个二进制信号产生一个表示一个有意义的范围的位置和持续时间的辅助信号，最后使用所述辅助信号产生一个定位被称为主要范围的最长持续时间的范围的信号，并且这些操作对序列信号的随后序列重复进行。这种分类的方法和装置使数据能够压缩，在序列数据的被处理的流中只保持感兴趣的参数。尤其是，这个方法能够处理表示视频图像的数字视频信号，以便提取并定位在所述图像中的至少一个区域的至少一个特征。因而可以对信号的亮度与/或色度级分类，以便表征并定位图像中的物体。

美国专利No 5488430通过分别确定在被观测的区域的图像中的水平和垂直变化来检测和估算位移。使用不同的信号分别检测沿水平和垂直方向从右到左，从左到右，从顶到底，从底到顶的运动，其中首先对水平/垂直差信号和帧差信号进行“异”运算，其次使用水平/垂直信号的和与帧差信号的和相对于K×3窗口的比。在这个美国专利No 548430中，利用沿着两个正交的水平和垂直方向的图像计算在这两个正交方向有相同的表示间距的值K，间距K按照要被确定的位移速度被定义。按照这一美国专利的装置对差值信号施加一组以列12(在开始和结尾)和列13(在开始)表示的计算操作，确定沿两个正交方向的每个方向的运动的方向，这需要非常复杂的(因此难于执行)电子计算单元进行特定的除、乘和求和；而且，由于从在水平和垂直坐标轴上的投影开始，需要附加复杂的计算单元才能获得位移的速度和方向(开平方以获得速度的值并计算arctg函数以便获得指定的方向)。最后，美国专利No 5488430没有包括通过对于每个像素是可变的时间常数来平滑像素值，以便补偿这些值的过快地变化的的任何装置。

与此相反，按照本发明的方法使用本发明提供的数字型装置实现，这些装置具有相当简单的结构和相当小的存储容量，并通过这种装置利用多种结果和应用(根据应用对应于隔行扫描帧的完整的半图像或完整的图像)可以快速地获得所需的信息。

在Institute of Electrical and Electronics Engineers，vol.3，1994，第1925-1930页，由Alberto Tomita Sr.和Rokuya Ishii发表的标题为“HandShape Extraction from a Sequence of Digitized Gray-Scale Images”的文章中实现了一种运动检测，它通过在由根据人手的形状的直方图的形成跟随的相继的图像之间相减，以便在数字化的场景中提取人手的形状。直方图分析根据人手固有的灰度进行。它不包括形成平面坐标的直方图的任何装置。这篇文章的作者的唯一目的是检测人手的位移，例如为了用手代替一般的鼠标，识别人手的位移，用于向计算机输入数据。

与此相反，本发明不限于检测手的位移，而是能够检测场景中的任何物体(在最广义上说)的相对位移，并且不使用根据手的灰度值的直方图，而是使用代表位移(如果有的话)的一些特定数字变量的直方图和平面坐标的直方图。

按照本发明：

处理来自观测系统的数字视频输出信号，这个信号以已知的方式包括帧序列(对应于在每个图像两个隔行帧的情况下的半图像，或每个图像一个帧情况下的一个完整图像)每个包括给定数量的连续行和在这些行中的每行中的给定数量的像素或图像点，

为了使用相当小的存储容量获得能够表示在观测的场景中是否存在相对运动的区域的信号，并且如果有，如果它实际上相对于其环境正在运动的话，则确定所述区域的位置，速度和方向，

通过产生两个数字信号，一个代表在两个相继的相应帧之间，对于同一像素位置，像素信号有大的改变或未改变，另一个代表这一改变的大小，如果有的话，并在同一时刻在帧的一部分中进行这两个信号对于像素的矩阵分布。

本发明的第一个目的在于，提供一种实时操作的方法，用于识别和定位在一个通过观测系统观测的场景中的相对运动的区域，所述观测系统具有由数字视频信号构成的输出，所述视频信号包括连续的相应的帧，每个帧由连续的行构成，每行包括连续的像素，并用于确定位移的速度和方向，所述方法的特征在于，它对于数字视频输出信号进行如下的操作顺序：

使用数字时间常数对所述数字视频输出信号进行平滑处理，它的数字值对于所述输出信号的每个像素可以独立地被修正，

在一方面，在平滑之后，存储所述输出信号的帧，在另一方面，存储和所述帧相关的时间常数，

-对于每个像素位置进行时间处理，在于首先确定其存在，其次确定在当前帧和刚刚前面的平滑和存储的帧之间像素信号的大小是否有显著变化的值，并产生两个数字信号，第一个信号是二进制的或具有两个可能的值的1位的信号，两个可能值之一表示两个相继帧之间存在显著变化，而另一个代表不存在所述显著变化，所述二进制信号的值修正所述时间常数的存储值，以便如果所述信号代表显著改变的话，减少所述时间常数；以及如果所述信号不存在这种变化的话，增加所述时间常数；所述减少或增加以定量的方式进行，而第二个数字信号，即幅值信号，是一个多位信号，其具有量代所述变化的幅度的有限的位数；以及

对于数字视频输出信号的每一帧进行包括以下步骤的空间处理：

在给定的观测时刻，只分配在一帧中的一部分像素值(在整个帧期间通过所述矩阵被扫描的一部分)，首先是所述二进制信号，其次是所述数字幅值信号，到具有若干行和列的矩阵中，所述行数和列数和视频信号中的行数和每行的像素数相比是小的，以便表征像素值，

在这双倍的瞬时矩阵表示中确定一个特定的区域，其中所述二进制信号具有一个值，希望用于表示有无重大变化，以及在帧的相同部分内因而也是在同一个观测时刻对于在矩阵中的相邻像素沿着从原始像素开始时所取的方向，所述数字幅度信号是否改变了一个显著值，

产生信号表示相对位移的区域的存在和位置，以及相对其环境的相对的帧间速度和该位移的方向，如果有的话，从这两个二进制和幅值数字信号的瞬时矩阵分布中获得。

最好是，按照本发明的方法的特征在于，其还包括：

首先形成分布在矩阵中的信号数值的直方图，其次形成在乎面中具有可变的坡度的两个坐标轴的斜度的直方图，

识别在形成的每个直方图中被处理值的重大变化的范围，以及

对于每个识别的范围，推断是否有相对运动的区域，如果有，判断其位置、速度和所取的方向。

在特定的实施例中：

所述矩阵是方阵，具有相同的奇数行和列(2l+1)，并且考虑嵌套的矩阵含有3×3，5×5，7×7，...(2l+1)×(2l+1)个元素，其中心在所述方阵的中心，以便确定最小的嵌套矩阵，其中所述数字信号沿着从所述中心开始的方向改变，所述二进制信号的值表示沿着该方向的门限值已经被超过，

-所述矩阵是六角阵，并且考虑尺寸增加的嵌套的六角阵，其中心在该六角阵的中心，以便确定最小的嵌套矩阵，其中所述数字信号沿所取方向而改变，

-所述矩阵是具有单行和单列的倒L矩阵，并对于单行和单列考虑含有3×3个像素、5×5个像素，7×7个像素，...(2l+1)×(2l+1)个像素的嵌套的矩阵，以便确定最小的矩阵，其中信号沿所取方向，即具有最陡的斜度和恒定数量的行而改变。

有利的是，所述时间常数的形式是2^p，其中p是小于16的数，并且其可以被以不多于4位来表达，通过对p减或加一个单位而使时间常数减少或增加。

在此情况下，如果需要，使用Mallat时标算法考虑完整帧的相继减少的部分，并选择这些部分中的最大的，其给出可和p值匹配的方向指示、位移和速度。

本发明的另一个目的在于，提供一种实时操作的装置，用于识别和定位在一个通过观测系统观测的场景中相对运动的区域，所述观测系统具有由数字视频信号构成的输出，所述视频信号包括连续的相应的帧，每个帧由连续的行构成，每行包括连续的像素，并通过使用上述的方法用来确定位移的速度和方向，所述装置接收所述视频输出信号作为其输入，其特征在于，其以组合的形式包括：

-一种装置，用于使用数字时间常数对所述数字视频输出信号进行平滑处理，所述数字时间常数的数值对于所述每个输出信号的像素可以独立地被修正，

-一种装置，用于首先在平滑之后存储所述输出信号的帧，其次存储和所述帧相关的平滑时间常数，

-时间处理单元，用于分析在所述数字信号的当前帧和刚刚被平滑并存储的帧之间，对于同一像素位置的像素信号的值随时间的变化，所述单元包括一个存储器，所述存储器能够接收、存储和检索关于相应的前一个平滑的帧的信息；还有比较装置，对于在输入视频信号帧中的像素的每一位置，通过产生二进制的信号，或者具有两个值的一位信号，这两个值之一表示超过门限值，另一个表示没有超过门限值，用于确定在当前像素信号和所述存储器中存储的前一帧的同一像素位置的像素信号表示值之间的差的绝对值是否超过一个门限；以及计算装置，其能够确定具有小的位数的多位数字幅值信号，其值取决于在数字视频信号的当前帧和刚刚前面被平滑并存储的帧之间的同一像素的值的变化量；以及

-空间处理单元，在其中输入来自由时间处理单元处理的给定帧中的像素的所述连续的二进制和数字幅值信号的输出，所述空间处理单元包括用于表征像素的幅值的装置，这些装置只分配相对于同一时刻，即对于一帧，的所述二进制和数字幅值信号，到分别比在所述数字视频信号的帧中的行数和每行像素数少的行数和列数的矩阵中，所述的帧在整个帧的持续时间跨过所述矩阵被扫描，寻找装置，用于确定在所述矩阵内像素的区域，其中，在此时刻，二进制信号具有检索的值；以及用于确定在所述矩阵内像素区域的装置，其中，在同一时刻对于相邻像素的数字幅值信号改变一个显著的量；以及一种装置，其响应来自两个前面的装置的指示，产生表示像素的这一区域并因而表示观测的场景内相对运动的区域的存在和位置的信号，该信号还表示当所述区域实际上相对于其环境而运动时该区域相对的帧间速度和方向。

空间处理单元最好还包括一个输出端，用于提供延迟的数字视频信号，其包括具有等于矩阵的各行的持续时间减去一行的持续时间的延迟的输入数字视频信号，以便在所述时间处理单元中进行矩阵分析的同时提供输出信号。

按照本发明的装置的空间处理单元最好包括串联的延迟装置，每个延迟装置提供等于两个相继行的开始之间的时间差的延迟，以及用于每行的串联的延迟装置，其中的每一个提供等于一行中两个相继像素之间的时间差的延迟，并且来自所有寄存器的输出和对在每行上的第一寄存器的输入在给定的时刻向所述识别装置提供所述二进制信号和在同一时刻的所述数字幅值信号。

按照本发明的装置最好还包括装置用于形成来自所述空间处理单元的输出值的直方图，及在一个平面内的两个斜度可变的坐标轴的倾斜度直方图，该装置用于识别每个直方图中的一个范围，其中被处理的值具有显著的改变，以便在其输出中使这个范围有效，并对于所有直方图导出输出信号，该信号用于识别和定位在观测的场景中的相对运动的区域，如果有的话；以及这些运动的速度和方向，如果所述区域相对于其环境确实在运动的话。

如果需要检测在几乎不运动的环境中的物体的运动，则需要确定矩阵的一部分，其中二进制信号的值表明已经超过限制，并且同时在一帧的相邻像素之间的数字幅值信号具有显著的改变。

与此相反，如果需要检测在运动的环境中的不动的物体，则需要确定矩阵的一部分，其中二进制信号的值表明没有超过限制，并且同时在一帧的相邻像素之间的数字幅值信号没有改变。

最好是，在实施上述方法的用于识别、定位和确定在场景中相对运动的区域的位移的速度和方向的装置中：

-所述平滑装置包括一个输入端，其接收所述数字视频信号，并对于所述视频信号的一帧中的每个相继的像素导出一个被平滑的信号，在其中输入数字视频信号的时间变化通过使用在另一个输入端接收的门限信号和在一帧中关于每个像素位置的时间常数而减少，其值被不断地修正，使得虽然变化被减小了，但是平滑装置仍能维持输入的数字视频信号的变化趋势，所述平滑装置和所述存储单元协同工作，存储单元对于一帧中的每个像素位置接收、存储并检索被平滑的信号和所述时间常数的被更新的值，并对于每个像素位置至少输出更新的时间常数连续值和二进制信号的连续值，所述二进制信号表明所述门限值是否被一个像素值和其平滑值之间的差的绝对值超过；所述空间处理单元以减少的数量沿着行和列进行来自所述平滑装置的输出，即所述二进制信号和所述时间常数的相继值的矩阵分配；

-提供一种装置，用于在所述矩阵分配中识别一个像素区域，其中同时：

或者所述二进制信号的值相应于一个门限值被超过，并且在相邻像素之间的所述时间常数沿一个方向改变一个大的值，并用于产生指示所述区域的位置和在该区域中位移的速度和方向的输出信号；

或者所述二进制信号的值相应于一个门限值没有被超过，并且所述时间常数在相邻像素之间没有改变，并用于产生指示所述区域的位置的输出信号；

在最佳实施例中：

-所述平滑装置包括成组合关系的视频存储器或场存储器，其存储一帧的每个像素的连续的值和所述时间常数以及被平滑的数字视频信号的连续值；用于对每个像素进行计算的装置，它计算从摄像机输出的数字视频信号的值和前一个平滑的数字视频信号的值之间的差的绝对值；用于比较的装置，其比较所述的差和一个门限，并产生一个二进制信号，其两个值中的一个值表示所述门限已被超过，另一个值表示尚未被超过；用于更新的装置，其更新时间常数：从所述存储器中接收时间常数的前一个值，当其接收的二进制信号的值表示门限已被超过时，则使时间常数减少，当其接收的二进制信号的值表示门限未被超过时，则使时间常数增加，然而，如果其分别导致一个负值或者超过门限值的一个值，则不进行减少或增加；以及用于更新数字视频信号的平滑值的装置，其按照代数方法对从所述存储器接收的该平滑信号的前一个值加上从摄像机输出的数字视频信号和来自所述存储器的前一个平滑的数字视频信号的差除以等于从所述存储器检索的前一个时间常数的值的系数的商；

-所述时间常数是2^p的形式，其中p是小于16的整数，因而可以用不多于4位表示，时间常数的减少和增加通过对p减或加一个单位来实现；

-所述矩阵分配装置以组合方式包括延迟装置，其对从摄像机发出的数字视频信号提供等于视频信号的一行的时间间隔的相继的延迟，从而对相继的输出提供被延迟一个延迟间隔、两个延迟间隔、直到延迟的间隔数等于在空间分配矩阵中的行数减1的该视频信号；用于沿着矩阵的相继行进行矩阵分配的装置，其首先接收来自摄像机的没有延迟的数字视频信号和从延迟装置的输出端输出的该逐渐延迟的信号，然后接收从所述平滑装置接收的时间常数的值和所述二进制信号的值，以便在给定的时刻，对于和矩阵相同大小的数字视频信号的一帧中的一部分像素，产生所述时间常数值和二进制信号值的在行和列中的矩阵分配；

-矩阵分配装置包括一系列数字信号电路，即在分配矩阵中每行一个，每个具有串联连接的移位寄存器，每个寄存器提供等于数字视频信号的一行中两个相继像素之间的时间差的延迟，分配在矩阵中的像素位置被位于延迟寄存器之前的矩阵中的一点确定，其每行中的数量等于矩阵中的列数减1，并由在最下游的移位寄存器的下游的点确定；

-所述检测装置，其通过检测表示门限被超过的二进制信号以及时间常数值中的变化的同时存在，检测所述距阵中的运动区域，其中包括用于沿着离散的数字化的方向确定接近所述矩阵的中心的像素的时间常数的值改变的斜率的装置，用于形成所述方向的原点，以及用于选择接近这一中心原点的这个变化的最陡的斜率并确定方向的装置，如果这一变化的同一个最大斜率具有一个以上的方向，则考虑用于选择方向的准则，这些后面的装置输出代表在运动区域内位移的速度和方向的信号，以及表示这些速度和方向信号是有效的以及时间常数值的一个有效信号。

最好是，如果在按照本发明的装置中包括用于产生直方图的装置，则该装置包括：

-接收构成直方图的信号和来自矩阵分配装置的有效信号的输入端；

以及

-用于对两个平面坐标建立两个线性的一维的直方图，并把这两个线性直方图组合成为平面直方图的装置，所述平面直方图代表其中输入信号具有大的变化的区域，以及

-输出代表所述区域的信号的输出端。

此外，用于形成直方图的装置最好包括：

-用于计算一个参考变化的装置，其输入端接收行序列信号、列序列信号和像素时钟信号，其输出表示参考变化；

-用于对于两个轴形成直方图的两个装置，其接收两个参考信号并形成这些轴的直方图；以及

-区域装置，在其中输入来自两个轴的两个直方图形成装置的输出，并且其输出包含两个轴的全部斜率信息的信号。

在一些应用中，所述时间常数可以包括有限数量的并具有逐渐增加的值的间隔的级数，根据它们可以划分对于每个像素位置，当前像素的值和平滑之后同一像素的前一个值之间的差的绝对值。

有利的是，为了确定二进制信号是否超过门限值，对于每个像素位置，比较当前输入像素的值和来自存储器的同一像素的前一个平滑值之间的差值的绝对值和一个门限值。

关于数字数字信号，其最好对于每个像素位置，作为一个表示当前像素值接近该像素的前一个平滑值的趋势的整数而被产生。

本发明的一个特征在于，为了确定二进制信号和数字幅值信号，使用其存储的平滑值作为前一个像素的值，以便减少可能存在于来自具有数字输出的视频摄像机或任何其它观测装置的数字视频输入信号中像素信号随时间发生过大的变化。

已知平滑操作的效果是利用变化较小的信号逐渐代替随时间而具有大的幅值改变的数字信号，因而使得在平滑的数字幅值信号中，更容易利用少量的步骤，因而较少的位进行量化。

现在参照附图说明实施本发明的方法的本发明装置的优选实施例，这只是说明而已，而不是限制性的，其中：

图1示意地说明具有输入和输出的按照本发明的整个系统以及对该系统的输入信号；

图2以方块图表示形成瞬时和空间处理部件的按照本发明的装置中的主要单元；

图3和图4说明形成图2的装置的一部分的瞬时计算处理部件和空间矩阵分配处理部件的功能图；

图5示意地表示按照本发明的系统中的时间处理和空间处理；

图6说明按照Freeman码的从图4的矩阵的中心原点开始的离散方向的数值；

图7说明在瞬时分配矩阵中两个小的嵌套矩阵；

图8和图9说明两个其它类型的矩阵，分别为六角形矩阵和倒L矩阵；

图10示意地表示按照本发明的优选实施例，具有附加部件的沿着线Z-Z¹的图2的装置的连接；

图11以方块图表示所述的图10中的附加部件；图2和图11沿着图2和图10所示的点划线Z-Z¹装配；

图12表示两个一维的直方图的形成，以及由这些直方图开始对于一个输入信号的一个运动区域的二维直方图；

图13表示直方图形成和处理方块或单元的细节以及和其相关的线性组合方块；

图14表示一个一维的直方图；

图15和16说明在场景的观测范围中的变化的使用；

图17和18，19说明按照本发明的装置的其它可能的应用，在图17和18的方块形式中，图17涉及电视会议，图18说明交通干道或主路的监视，图19说明操纵者由手动控制机器；

图20和21示意地表示本发明用于监视要进入睡眠状态的汽车驾驶员；

图22表示按照Mallat图的变换的图像。

首先参看图1，可以看出，在优选实施例中，按照本发明的装置11首先包括输入端12，其接收来自视频摄像机或带磁带机的摄像机13的一个数字视频信号S，具有一个或几个CMOS型CCD传感器，具有直接的数字输出或由模/数转换器转换为数字输出的模拟输出。信号S按照已知的方式由连续的隔行扫描的帧对构成，例如TR₁和TR₁’，TR₂和TR₂’，其中每个包括连续的水平扫描行，每行(例如在TR1中的l_1，1，l_1，2，...，l_1，17..和在TR₂中的l_2，1)由被摄像机13监视的场景13a的连续的像素的元素信号或代表点的图像点(例如行l_1，1的a_1，1，a_1，2，和a_1，3；行l_1，2的a_2，1，a_2，2；行l_1，17的a_17，1和a_17，2；行l_2，1的a_1，1和a_1，2)构成；在图中用S(PI)表示由像素PI构成的信号S。

按照已知的方式，S(PI)包括在每帧开始的帧同步(ST)信号和在每行开始的行同步(SL)信号。

因此，可以看出，S(PI)信号包括：

-在时间域框架内的连续序列(连续的帧)以及

-在空间域的框架内的每个序列(每帧)中的一系列子序列(行，像素)。

在时间域中，将使用“连续的帧”这种表述指成对帧例如TR₁-TR’1的相同类(即奇数帧，例如TR₁，或偶数帧，例如TR’1)的连续帧，其形成数字视频信号S(PI)的连续的图像，用“在同一位置的连续的图像”这种表述指在同类的连续帧中相同位置中的连续的像素值(PI)，例如在帧TR₁中的l_1，1的a_1，1和在下一个相应的帧TR₂中的l_2，1的a_1，1。

此外，装置11包括输出端14，其输出由其产生的几个数字信号，它们对于表征具有相对位移的区域或“物体”(在更广义上说，如上所述)的存在及其位置，连同位移的速度与方向是有用的，如果在静止的环境中位移是显著的，尤其是复合信号ZH图示地分组表征该区域或物体的存在和位置、速度V和位移的方向DI的信号，并且如果可能，输入的数字信号S被延迟和前面的信号同步，考虑到其计算时间，这个延迟的信号SR，在可以得到关于相对位移(如果有的话)的区域的信息即可以在处理和检查部件10a中使用的信号ZH，(V，DI)的时刻，用于在监视器或电视机屏幕10上显示由摄像机13获取的图像。

下面参照图2说明图1所示的装置11的第一部分的结构，这部分由在图2上的由虚线围成的框11a内的部分表示。

部件11a的主要元件首先是时间处理单元15，及相关的存储器16，其次是空间处理单元17，及相关的延迟单元18和顺序单元19，以及像素时钟20，用于设置时间处理单元15和顺序单元19的节律。

除去其它功能之外，时间处理单元15对视频信号进行平滑：

-使用从视频摄像机13发出的并包括连续的像素值PI的数字视频信号S，由时钟20(从信号S开始)以一帧内的像素速率(13.5MHz)产生的HP脉冲，产生下面参照图3所述的几个信号，并利用存储器16交换这些信号中的两个信号的值，即数字视频信号的平滑的值L和平滑时间常数值C被字母O跟随着的值L和C为来自单元15的存储在存储器16中的值，被字母I跟随着的值L和C为来自存储器16的并到达单元15的值，

以及

-产生一个二进制输出信号DP，用于识别门限是否被超过，以及数字信号CO，用于指示时间常数的更新的计算值，即被送到存储器16的值CO。

构成时间处理单元15的计算与/或比较方块被详细地示于图3；单元15包括4个块15a，15b，15c，15d。

单元15的第一块15a使用

-由连续的像素信号PI构成的输入数字视频信号S，以及

-对于前一个相应帧的信号S的平滑值LI，它是由单元15作为SO预先计算的，并被暂时存储在存储器16中(下面说明)

-对于同一像素位置(例如TR₁中的l_1，1和TR₂中的l_2，1的a_1，1)以由时钟20的HP时钟信号提供的速率计算PI和LI的输入值之间的差的绝对值AB，

AB＝|PI-LI|

第二块15b是测试块：

该块接收来自单元15a的上述的数字信号AB，和可以是常数但一般依赖于像素值的门限值SE的数字信号；然后使其在与所述值相同的方向上被改变，使得其形成γ校正(已知的改变SE的γ校正方法由选择的方块15e表示，如虚线所示)；以及

-它比较AB和SE表示的这两个数字信号，以便确定一个二进制信号DP，换句话说，一个可以等于1和0之一的信号，分别表示AB是否超过所述门限SE：

-如果AB大于SE，则DP将在单元15b中被指定为值1，以表示门限已经被超过；

-如果AB小于或等于SE，则DP将在单元15b中被指定为值0，以表示门限值尚未被超过。

当DP＝1时，则PI和LI之间的差，即输入数字视频信号和前一个被平滑的数字视频信号之间的差太大，因而这差值必须通过减少平滑时间常数被减少，相反，如果DP＝0，则时间常数必须被增大。

第三个方块15c根据DP的值实现时间常数值所需要的改变：

-如果DP＝1，方块15c使时间常数值减少一个单位值U：CO(该常数的新值)＝CI(该常数的旧值)-U；

-如果DP＝0，方块15c使时间常数值增加一个相同的单位值U：CO＝CI+U；

因而，方块15C在一个输入端接收来自方块15b的上述二进制的超过信号DP，并在另一个输入端接收CI信号，该CI信号是在存储器16中存储的前一个时间常数的值，并减少或增加单位U，把时间常数CI成为输入到所述存储器16的CO来代替CI。

有利的是，与平滑收敛有关的时间常数，(根据平滑值达到数字视频信号的输入值所需时间)，利用2的幂，即2^p的形式表示，其中的整数p将是在方块15C中被减去或者加上一个单位，换句话说被减1或加1的数；在这种情况下，对于图3的p，U＝1。

-如果DP＝1，方块15C则从时间常数2^p的系数p中减去一个单位(1)，成为2^p-1；

-如果DP＝0，方块15C则对时间常数2^p的系数p中加上一个单位(1)，成为2^p+1。

选择2^p形式的时间常数具有两个优点，首先它适应于人的视觉的生理学，其次它有助于计算，因而简化方块15C的结构。

方块15C还必须符合两个条件，即CO必须处于两个极限值之间：CO必须为非负(CO＞0)，并且不超过极限值N(CO≤N)。在CI和CO是2^p的形式下，上限N用整数n来表示，它是p的最大值。

上限N(或n)可以是常数或者是变量，如果是变量，一个选择的单元15f(虚线)实现，例如根据用户输入的级数的N的变化。增加N的结果是增加位移检测的灵敏度，而减少N则改善高速度的检测。

最后，第4方块15d在第一输入端接收在方块15c中产生的新的时间常数值CO，其在第二输入端，接收以像素值信息PI的形式的输入数字视频信号S，在第三输入端，接收来自存储器16的前一个输入的数字视频信号的平滑值即LI，并且计算：

LO＝LI+(PI-LI)/CO

将计算结果在输出端输出。

实际上，项(PI-LI)/CO代表对数字视频信号的平滑值进行的修正，其中考虑了时间常数的修正值CO，并且其和来自摄像机13的当前输入像素的实际值与其前一个平滑值LI之间的差成正比并和CO成反比。

如果CO＝2^p，则

LO＝LI+(PI-LI)/2^po

使用po，在单元15c中计算的p值，其代替存储器16中的P前一个值pi。

因而，时间处理单元15具有4个计算方块15a，15b，15c，15d：

-接收来自摄像机13的S(PI)，用于控制操作速率的HP时钟脉冲，以及SE和N(或n)门限信号；

-从来自相关存储器16的LI和CI输入信号开始，确定更新的信号LO和CO，它们被送到所述存储器用于分别代替LI和CI，并且其分别代表平滑数字视频信号和时间常数的新的计算值；以及

-通过延迟单元18把上述的CO信号和由PI，LI，和SE计算的二进制门限超过信号DP送到空间处理单元17。

平滑操作的目的在于对每个像素或图像点，通过减少改变的差值并对于每个像素利用比PI值的变化小的平滑的LO值，代替在该图像点的连续的PI的实际改变值，使输入的视频信号的数字值的变化即每个PI的改变，标称化。

因而对于每个输入的PI，时间处理单元15和存储器16相结合，通过使用超过或未超过信号DP的一个二进制门限值和时间常数信号CO，它是被更新的并被传送到如图4所示的空间处理单元中，用平滑值L₀代替减少了的改变。

在一帧内的区域内的每个像素可以由两个沿着横轴和纵轴，即x和y，的坐标(通常是正交的)来识别，通过对像素分配两个下标，即对于y坐标的i(行数)和对于x坐标的j(行中的像素号数)。具有下标i和j的每个像素具有视频值(视频信号的幅值)PI_ij。

如果我们现在讨论对于相继的相应的连续的帧的PI_ij的值在由周期T分开的时刻t₀，t₁，t₂，t₃，...，随时间t的变化，其中周期T相应于图像周期(通常等于两个帧周期)，当视频图像信号的频率为25Hz时为0.04s；当视频图像信号频率为33Hz时，或者对于具有渐进图像(1帧/1个图像)的传感器为50Hz时为0.0333s，具有位置下标i和j的视频像素的信号具有在时刻t₀，t₁，t₂，t₃，...由PI_ijt0，PI_ijt1，PI_ijt2，PI_ijt3，...表示的相继值。

在本发明的范围内，用在时间处理单元15中相继的平滑值LO_ijt，即LO_ijt0，LO_ijt11，LO_ijt2，LO_ijt3代替P_ijt。

对于在时刻t的具有坐标i，j的每个相继像素或图像点，即P_ijt，其实际值PI_ijt利用由下式给出的平滑值替换：

LO_ijt＝LI_ijt(t-1)+(PI_ijt-LI_ijt(t-1))/CO_jit

时间常数最好是2^Pijt的形式。

在单元15中尤其是在方块15d中，在分隔t₀与t₁，t₁与t2，t2与t3等的时间间隔T进行的计算使得值LO_ijt向着值PI_ijt收敛，其收敛速度取决于时间常数，该时间常数是一个空间(因而和i，j有关)和时间(因而和t有关)变量，并且可以写成CO_ijt。

在所有情况下，当CO_ijt较大时LO_ijt的收敛较慢。如果CO_ijt＝1，则不再有任何平滑作用。

显然，在上式中，可以用直角坐标y和x代替给出行的序列号和在行中的像素序号的下标i和j。

方块15a计算AB＝|PI-LI|，其中下标i，j，t未标出，幅值AB代表对于每个三重态(triplet)i，j，t，数字视频信号S(PI)相对于平滑信号LI的瞬时变化。

按照本发明的装置的特征在于，在时间处理单元15中进行像素值的平滑，从而对于每个像素确定平滑时间常数和一个二进制信号的相继值，所述二进制信号用于根据一个对于两个相继的相应帧的一个像素的像素值和其平滑值之间的差的绝对值识别是否门限值被超过，以便在同一时刻在平面矩阵中分配在该帧中对帧进行扫描的限定部分中的像素的所述时间常数和所述二进制信号的数值，以便根据在此时刻这两个值的局部变化来定位相对运动的区域，并根据这一分配确定实际位移的方向和速度，这通过在下面参照图4说明的空间处理部件来实现。

平滑的收敛由计算块15b和15c来实现，其确定新输入的时间常数CO(实际上是CO_ijt)的值的改变，以便加速收敛。这通过比较AB(实际上是AB_ijt)和门限值SE来进行，门限值SE可以是常数或者是优选的变量，如果是变量，则可以是像素值的函数，以便进行γ校正：如果像素值增加，则门限增加，反之亦然。AB和门限值SE(实际上是SE_ijt，如果所述的值随像素值而改变，这个改变在任选的计算块15e中实现)比较的结果在块15b中产生二进制位移信号DP，它具有如上所述的1和0的两个可能的值。

二进制信号DP被送到块15c，以便改变时间常数的值。因而，计算单元15c也接收来自存储器16的输入的时间常数CI的值，并使用被送到存储器16的(还有其它的)时间常数的新值CO对其更新，在其中它代替较前的值CI；事实上，对于CI和CO的值，使用：在两个相继时刻例如t₀和t₁的CI_ij和CO_ij，t₀和t₁被相继的两个相应帧(或者奇数或者偶数)之间的时间间隔T分开。

接收DP和CI的块15c对时间常数CI的值加上或减去一个单位值(U)，或当CO的形式是2^p时对p加上或减去一个单位，这根据二进制信号DP确定门限值被超过(DP＝1)或者没有被超过(DP＝0)而定。

如果门限被超过，则这个常数的值太高，因而应该减小，反之亦然。

块15c也保证通过CI加上或减去一个单位而得出的时间常数的新值CO处于0(CO不为负)和一个门限值N(CO不大于N)之间。如果这两个条件不满足，块15c则不修正CI的值(其实际上处于从0到N的间隔内，包括两个极限)，并且然后CO＝CI。

上限值N(或n)可以是常数或变量；如果是变量，必须不超过限制值Nmax.(或nmax.)；可能的变化在用户可利用的控制的作用下由块15f施加。

作为一个变量，可以使N(或n)依赖于PI(其中N，n和PI实际上被分配3个下标i，j，t)，以便保证根据PI的级调节LO的改变(在块15d计算出的)，其可以表述为“N_ijt或n_ijt是PI_ijt的函数”，N_ijt或n_ijt＝f(PI_ijt)的确定在用于代替所示的方块15f的计算块中实现，并除N之外，由视频摄像机13对其提供PI的值。

有利的是，时间常数C(实际上每个C_ijt)被强制满足具有一个数值的条件，所述数值或者是2的倍数，或者尤其是2的幂，而和i，j，t值无关；在这种特定情况下，C_ijt＝2^p(ijt)，其中p是一个作为i，j，t的函数的小的整数，并可以用小的位数表示。这个条件提供了如上所述的附加优点：

-平滑收敛法则类似于人的视觉的生理法则；

-块15c，15d的电子结构被简化；尤其是在块15d中，其被指定利用下式确定对于每个i，j对的时间常数值的变化：

LO＝LI+(PI-LI)/CO

如果CO是2^p的形式(其中p是一个小的整数)，则计算被简化，本身为一个小的整数的p的门限值n由有限位表示。

在所有情况下，输入的数字视频信号S的新的平滑值LO被送到存储器16中，在其中它代替LI(对于每对下标ij)。

由图2和图3可见，包括计算块15a，15b，15c，15d，和可选择的块15e与/或块15f的时间处理单元15和存储器16协同工作，对每个i，j，t三重态确定并提供作为上述的输出的以下的值。

-首先，更新的平滑值LO，其被传递到存储器16，用于代替前一个平滑值LI；

第二，两个数字信号，即：

-一个二进制信号DP，其表示给定的门限值是被来自视频摄像机的输入像素信号和对同一点的前一个平滑像素信号比较而得的绝对值的变化所超过(DP＝1)，还是没有被超过(DP＝0)；以及

-由更新的时间常数CO构成的幅值数字信号；

这些数字信号DP和CO通过延迟单元18被下面将要说明的空间处理单元17接收，信号CO也被输入存储器16，其中对于同一像素，值CO代替前一个值CI。

因此，可以看出，用于首先存储平滑像素信号的相继值其次存储时间常数的存储器16的容量，假定在一帧中具有R个像素，并因而每个完整的图像中具有2R个像素，至少必须是2R(e+f)位，其中e和f分别是分配给一个像素信号和一个时间常数的位数。实际上，存储器容量不必太大；只需是超过2R(e+f)位的一个其正确操作所需的位数即可，特别是根据下标i和j用于从平滑像素信号中寻址和提取的位数以及时间常数的位数。如果每个视频图像由一帧组成，则使用R(e+f)位代替2R(e+f)位便足够了。

在时刻t从时间处理单元15输出的信号DP_ij和CO_ij在图4所示的空间处理部件中被分析和使用，图3和图4所示的部件在图2中示出了。

实际上，时间处理部件15处理帧信号，而图4中的空间处理单元17处理一帧中的像素和行的子序列。

图5示意地说明添加在该图上的相继的相应帧序列TR₁，TR₂，TR₃的时间处理，和在这些帧的第一帧即TR₁中的空间处理，说明直角坐标x，y和具有坐标y，x，即在时刻t₁的下标i，j的像素PI；在3个帧TR₁，TR₂，TR₃中的具有相同下标ij的相继像素被分别标以下标ijt₁，ijt₂，ijt₃，它们分别具有像素值PI_ijt1，PI_ijt2，PI_ijt3。在图5中的平面相应于帧的空间处理，而帧的叠加相应于时间处理(其中时间t是变量)。

空间处理单元17，延迟单元18和其相连(也示于图4中)，和一个控制单元19协同工作，该控制单元被在每个相继像素信号(对于该部件如图2所示)上提供一个时钟脉冲HP的时钟20控制。

从时间处理单元15输出的信号DP_ij，和CO_ij被单元17分配到缩小尺寸的矩阵21中，在给定时刻t，矩阵21含有比DP_ij和CO_ij中行数L和每行的像素数M小得多的行数和列数。具体地说，矩阵可以包括沿y轴的2l+1行和沿x轴(直角坐标)的2m+1列，其中l和m是一个小的整数。有利的是，l和m被选择是2的幂，例如l等于2^a和m等于2^b，其中a和b例如是大约为2到5的整数。为了简化附图和说明，作为例子，m将取1(当然可以不同)，并且m＝l＝2³＝8；在这种情况下，矩阵21将具有2×8+1＝17行和17列。

图4表示形成单元17的矩阵21的17行Y₀，Y₁，...Y₁₅，Y₁₆的一部分和17列X₀，X₁，...X₁₅，X₁₆的一部分。

其目的在于，在具有l+1行，具体地说17行，和m+1列，具体地说17列的矩阵21中分配输入流DP_ijt和CO_ijt，换句话说，二进制门限超过信号DP和表示来自时间处理单元15的时间常数CO的数字幅值信号，被设置一帧包括L(312.5)行和每行M个像素的矩阵分布中，特别是根据所用的TV标准为250-800的级。

为了区别这两个矩阵，即L×M视频信号矩阵和标号为21的单元17的l×m矩阵，对于前一个矩阵的两个坐标，将使用下标i和j(只有当数字视频信号被在电视屏幕或监视器显示时才可看到)，并且对于后一个矩阵的两个坐标使用下标x和y(如图4所示)；在给定时刻，在空间处理单元17的输入端的具有瞬时值PI_ijt的像素由两个数字信号DP_ijt和CO_ijt表征。这两个信号的L×M矩阵通过扫描小得多的(2l+1)×(2m+1)的矩阵21而移动，如参照图4所述，矩阵21实现相应于同一帧的(2l+1)×(2m+1)个像素。

在这矩阵21中，在其中l＝m＝8，即2l+1＝2m+1＝17的情况下，每个像素分别由对于Y₀到Y₁₆行0和16(包含在内)之间的行序号和对于X₀到X₁₆列的0和16(包含在内)之间的列序号限定，。在此情况下，矩阵21将构成在平面中的17×17＝289个像素的表示，而视频信号的矩阵将包括几万或几十万甚至更多的像素。

在图4中，长的水平矩形Y₀到Y₁₆(只示出了4个，即Y₀，Y₁，Y₁₅，Y₁₆)和垂直线X₀到X₁₆(只示出了4个，即X₀，X₁，X₁₅，X₁₆)被用于说明具有17×17个图像点或像素的矩阵21(单元17的)，每个图像点或像素具有在水平行和垂直列的交点限定的下标。例如，像素位置P88处于列8和行8的交点，如图中 e所示，它是矩阵21的中心。

为了在(2l+1)(2m+1)的矩阵21内进行这L×M矩阵的位置的相继空间分配，单元17和一个延迟单元18相连，该延迟单元首先接收DP和CO信号(具有指定的下标ijt)，其次接收输入的像素信号S，换句话说PI(也具有指定的下标ijt)，以及来自时钟20的HP信号，和行序列信号SL与列序列信号SC(图2和图4)。

如图1所示，S(PI)信号不仅包括像素值信号，例如构成时间序列(相继的帧)和空间子序列(在每帧中的每行中的像素)的a_1，1，a_1，2，而且还包括同步信号ST，SL，从其开始，时钟单元20导出一个时钟信号，例如以13.5MHz的频率，即在一个视频帧中的每个像素具有一个标记脉冲，并且还有空白信号BL，它使单元19在上述同步信号期间不工作。

响应来自时钟20(图2)的HP和BL信号，速率控制单元19对延迟单元18提供行序列信号SL，其频率等于13.5MHz除以每帧的列数(例如400)的商，以及一个帧信号SC，其频率等于上述的商13.5/400MHz除以视频图像中的行数，例如312.5，以及HP。

单元18利用SL和SC信号以及HP时钟信号控制在矩阵21中的一行行空间分配。

因而，相继的行Y₀-Y₁₆接收DP和CO信号：

不延迟(行Y₀)；

延迟一个TP周期，其等于一帧行(行Y₁)的时间间隔；

迟2个TP(行Y₂)；

如此一直到

延迟16个TP(行Y₁₆)。

这些具有一帧行的持续时间即TP的相继的延迟在串联的16个分别用于行Y₁，Y₂，...Y₁₆的延迟电路r₁，r₂...r₁₆中进行，行Y₀直接被提供信号DP和CO，而不经来自单元15的任何延迟。

所有电路r₁，r₂...r₁₆可以利用具有16个输出的延迟线构成，在两个相继输出之间由其任何部分施加的延迟是一个等于TP的常数。

速率控制电路19控制整个L×M帧矩阵通过(2l+1)×(2m+1)的矩阵21，利用下述步骤利用行序列信号SL，轮流地对于相继帧的相继行进行扫描。

在17×17矩阵上的帧矩阵的行中的像素的环形位移，例如从在行Y₀上的x₀到X₁₆，由在从Y₀到Y₁₆的17行的每行上的串联的16个移位寄存器d(给出共有16×17＝272个移位寄存器)实现，该移位寄存器设置在每行两个相继像素位置之间，即寄存器d₀₁在位置PI₀₀和PI₀₁之间，寄存器d₀₂在位置PI₀₁和PI₀₂之间，等等。每个寄存器使用列序列信号SC提供一个等于在一行中两个相继像素之间的时间差的延迟TS。

注意由于在帧TR₁(图1)中的行lx，l₂，....l₁₇，对于S(PI)以及DP和CO，逐一地延迟TP(一个完整的行间隔)后，到达单元18，并且单元18通过逐渐增加TP的延迟将它们分配到行Y₀，Y₁，...，Y₁₇，所以这些行在给定的时间，对于同一个帧位置中的行l₁，l₂，...l₁₇显示DP和CO信号。

类似地，在给定的行，例如l₁，相继的像素信号a_1，1，a_1，2...在位移TS之后到达，并且移位寄存器d也提供等于TS的延迟；因此，其结果是，对于在矩阵21中的给定行Y₀到Y₁₆中的像素，在该行可利用的像素的DP和CO信号，是同时的，换句话说它们相应于同一个帧部分。

因此，对于在帧的一部分内的行和这些行中的像素，目的在于进行完全的空间处理，因为矩阵21在其17×17个像素位置中含有同一数字视频信号S(PI)的矩阵中的17行中的每行的17个像素的DP与CO值，虽然这些像素例如a_1，1在单元18中的每个相继的行(图1)中相继地逐行逐像素地到达，同时显示相应的DP、CO信号。

代表矩阵21的同时的CO、DP的信号在给定时刻在移位寄存器的16×17＝272个输出端，以及在17行前方的17个寄存器的上游可得到这17个寄存器，即寄存器d_0.1，d_1，1，....d_16.1，它们对于17×17个位置P_0.0，P_0.1，..._P8.8...P_16.16构成总共16×17+17＝17×17个输出。

在矩阵21内部，围绕其具有坐标x＝8，y＝8(这便是在矩阵21中行数和列数最好分别是奇数2l+1和2m+1的原因)的中心 e我们可以具体讨论一个含有3行和3列的小矩阵，其中其9个元素的中心元素实际上是具有坐标x＝8，y＝8的像素 e。设这一小的矩阵M3是：

a b c

d e f (M3)

g h i

其中，中心元素 e用下划线标出。

对于这个3×3个元素的矩阵，在中心元素或位置 e周围具有8个位置a，b，c，d，f，g，h，i，其相应于8个方向，每个方向从中心位置 e开始直到其它8个位置中的一个。

为此目的，8个方向可以使用图6说明的Freeman码进行识别，其中这些方向被编码0-7，从x轴开始，每个相隔45°。在Freeman编码中，标号为0-7的8个可能的方向可以由3位数字表示，因为2³＝8，给出8种可能性。

考虑上述的小矩阵M3，按照Freeman编码的从中心位置 e开始的8个方向是：

3 2 1

4 e 0

5 6 7

如图6所示。

回到图4中的具有17×17个图像点或像素的矩阵21，我们现在说明如何识别由摄像机13观测的场景中的相对于接近静止的环境作相对运动的因而以由像素PI_ijt构成的视频信号S表示的区域，以及如何确定相对于接近静止的环境实际位移的速度和方向。

在两个相继帧之间，例如TR₁和TR₂(图5)，在信号S中的PI_ij像素将通过两个信号DP_ij和CO_ij(通过在矩阵21中的扫描进行分配的)来表征关于其在时刻t₁(第一帧)和时刻t₂(第二帧)之间的改变。

如果在该矩阵的一点DP＝1，则在该点的像素值有显著改变。因此，通过在其中每一点DP＝1的矩阵区域来识别实际上在运动的区域。

实际上，同时利用计算单元17a来检查以 e为中心的矩阵21的17×17个位置内的各个嵌套的方形矩阵，其大小是15×15，13×13，11×11，9×9，7×7，5×5和3×3，其中3×3矩阵是上述的M3矩阵。该装置确定这些矩阵中的哪一个是具有沿着确定其中DP＝1的区域运动方向和围绕CO的+1和-1的改变的线排列的DP＝1的尺寸最小的矩阵。对于围绕CO的+1和-1的改变，在每个值上DP必须等于1，如果测试要被满足的话。参加测试的最小矩阵被选择(主要行)。

然后，在一个嵌套的矩阵中的这运动区域内，例如在具有3×3个元素的小矩阵M3中，该装置确定是否CO在中心位置的每侧上沿给定方向改变，在一个方向从+1，而在相反方向从-1开始改变。例如，如果我们在方向1中有-1，0，+1，换句话说在小矩阵M3中分别在位置g，e，c中，那么在这矩阵中从右到左沿弗里蔓码(图6)中的方向1存在位移。显然，在此同时，在该小矩阵中沿该方向DP＝1。当在3×3到15×15嵌套的矩阵当中CO从+1或-1在两个相邻位置之间沿着一个方向改变的矩阵较大时，位移速度较高。例如，如果我们在方向1具有-1，0，+1，换句话说在9×9的矩阵M9中的g，e，c，将比如果我们在3×3的矩阵M3(图7)中有-1，0+1的位移速度快。

因为CO是2的幂，并在优选实施例中由这个幂表示，可以通过只使用少数位用于2的幂来识别速度的延伸范围，同时识别相关的低速度(通过增加测试裕度或变化，例如在3×3矩阵M3中在位置g，e，c中-2，0，+2表示和矩阵M3中的同一位置的-1，0，+1的相应速度一半快的速度)。

两个试验应当被预见可以除去不确定性：

-第一个试验选择最大的改变，即，最高的时间常数，如果在一个嵌套的矩阵中，例如小的3×3个元素的矩阵M3，沿着几个方向具有CO的改变；

-第二个试验任意地选择沿着该方向CO的改变是相同的两个(或多个)方向中的一个，例如通过选择弗里蔓码的最小值；这种情况通常发生在当位移的实际方向大约弗里蔓码中的两个相继的编码方向之间时，例如在相应于可以标为1.5的(图6)和x轴方向(弗里蔓码中的方向0)大约形成67.5°的方向的方向1和2之间。

上述的实际运动中的区域的速度和方向的确定通过和单元17相关的计算单元17a(图4)来实现，其接收对于CO和DP的上述矩阵21的17×17个输出，(来自21的两个输出，即S0.1，S0.16被示出了)。单元17a处理对于相继的嵌套矩阵的CO和DP值，并使用这些值有可能利用上述的试验确定方向(在弗里蔓码中)和位移速度(依赖于哪个嵌套矩阵被选择)。

通过矩阵21的数字视频信号的整个帧的扫描发生：

-首先对于该帧中的头17行行1到17的一组：考虑相对运动，从帧的左边到帧的右边，如图5中对于帧TR₂所示的，即从最左部的TM₁部分开始，然后TM₂相对于TM₁移动一列，直到最右边的TM_M(其中M是每帧行中的像素数)；

-然后，类似地，从左到右，对于该帧中的行2到18逐列地扫描；并且

-如此一直进行下去，每次向下走一行；行3到19...直到在帧的底部的最后一组，即行L-16...L(其中L是每帧的行数)。

考虑图2和图4，可以看出由单元17，18和19，换句话说空间处理组件发送的信号如下：

-代表位移速度的信号V，其基于在被识别的区域中的CO的最大改变的幅值，该值例如可以由从0到7的8个整数表示，如果速度以2的幂的形式表示并因而具有3位的话；

代表该位移方向的信号DI，由这个最大改变导出，DI的值也可以由弗里蔓码中的8个值0-7中的一个表示，并因此含有3位；

-表示速度和方向的结果是有效的有效信号VL，以便能够从由于倾斜而没有输出的情况识别具有V＝0和DI＝0的一个有效输出，该信号或者是1(有效输出)，或者是0(无输出)；因此，对于VL只需要一位；

-有利的是，例如时间常数信号CO具有3位；

-(由空间处理单元17及其相关的电子电路发送的3个或4个信号V，DI，VL，可能还有CO)；

-一个延迟视频信号SR，由输入视频信号S构成，它在延迟单元18中由16个相继的行间隔TR，并因而是由信号S在17×17的矩阵21中的分配间隔延迟，以便获得在矩阵21中矩阵表示同时的一个数字视频信号，这个信号的内容可以在电视机或监视器屏幕上被清晰地显示；

-由单元19提供的3个信号：即时钟HP，行序列SL和列序列SC信号。

嵌套的六边形矩阵(图8)或倒L形矩阵(图9)可用于代替图4，图7中的嵌套矩形矩阵。

在图8所示的情况下，嵌套的矩阵(其中只示出了最中心的矩阵MR1和MR2)都以相应于图7中矩阵M3，M9的中心点(其中二进制信号是“0”)的点MR0为中心。六边形矩阵系统的优点在于，首先它允许使用斜的坐标轴x_a，y_a，其次可以分成尺寸相同的三角形，以便进行各向同性的速度计算。

图9中的矩阵由从中心位置MR_u开始的一行(L_u)和一列(C_u)构成，其中两个信号DP和CO分别为DP等于“1”，并且，CO增加或减少一个单位，如果发生运动。

它被这样确定若(相对)位移的方向：

-沿x坐标的方向：从原点MRu开始，具有值COu，直到其中CO等于COu+1或-1的位置，在Cu列中的所有位置(方块)中的CO信号是相同的，并且在行Lu中的所有位置二进制信号值DP等于1；

-沿y坐标方向：从原点MR_u开始，具有值CO_u，直到其中CO等于CO_U+1或-1的位置，在Lu行中的所有位置(方块)中的CO信号是相同的，并且在列Cu中的所有位置二进制信号值DP等于1；

-或者最终相对于x，y而倾斜的方向：在L_U的位置和Cu的位置二进制信号DP等于1并且CO等于CO_u，斜率借助于垂直于通过两个位置的线被确定，在这两个位置中信号CO_u改变一个单位的值，DP信号总是等于1。

图9表示的情况是，DP＝1，CO_u在两个特定位置L_U3和Cu₅中改变一个单位值，并表示相应的斜率P_P。

在所有情况下，位移速度和CO改变一个单位值的位置有关。

如果CO只在L_U或Cu改变一个单位，它相应于CO改变位置的值。

如果CO在L_U中的一个位置以及Cu中的一个位置改变一个单位，则速度和MR_U与E_X(垂直于Cu-L_U通过MR_U的直线的交点)之间的距离成正比。

至此参照图1到图9说明的系统和将要参照图11-16说明的辅助系统构成一整套系统22，如图10所示，其中首先示出了图2中的部件11a，表示由部件11(其接收输入的视频信号S)传递给部件22a(其输出合成的输出信号ZH)的信号V，DI，VL，C，SR和合成信号F(HP，SL，SC)。

在部件11a和22a之间的连线Z-Z₁在图2，10，和11中示出，来自部件11a的输出沿着Z-Z₁被连接到部件22a的输入端，以便传送上述信号。

由单元22a提供的从此也是来自整个装置22的输出包括合成信号ZH，其提供关于在由视频摄像机13监视的场景13a中相对运动的区域的信息。

和单元11a的输出相连的辅助的单元22a以功能块的形式在图11中示出了，应该记住该图沿着线Z-Z₁(在上部)和图2沿着Z-Z₁(在图2的下部)相连。

图11的单元主要包括直方图形成和利用装置，并且包括：

-用于传输下面详述的几个数字信号的微总线23；

-标号为24，25，26，27，28，29的6个直方图形成和处理方块或单元，用于以下信号的直方图：延迟的数字视频信号SR，速度V，方向(弗里蔓码)DI，时间常数CO，第一轴x(m)，第二轴y(m)，

-6个线性组合块或单元30，31，32，33，34，35，用于组合其来自总线23的输入而分别形成6个块24，25，26，27，28，29的有效信号V₁，V₂，V₃，V₄，V₅，V₆，30和24相连，31和25相连，32和26相连，33和27相连34和28相连，35和29相连；

-一个运动的区域块或单元36，用于协调块28，29对于x(m)，y(m)轴的输出；以及

-一个标示符号转换块或单元37，用于接收对于x(m)，y(m)轴的方向信号x(m)₀，y(m)₀，以及像素时钟信号HP，行序列信号SL和列序列信号SC(这3个信号合成一组，在图2，4，10和11中为F束)，这些信号来自图2和4中的单元19，并形成分别被送到单元28和29的x(m)₁，y(m)₁信号。

单元24，25，26和27的每一个向总线23送出其SSR，SV，SDI，SDO输出信号，而单元28和29的每一个向运动区域单元36的两个输入端提供信号x(m)₂，y(m)₂，它组合来自单元28和29的这两个信号，并向总线23提供合成的信号xy(m)。

每个直方图形成和处理单元24-29的操作是相同的，它们首先接收来自相关的线性组合单元30-35的有效信号V₁，V₂，V₃，V₄，V₅，或V₆，然后接收作为输入要被处理的信号SR，V，DI，CO，x(m)₁或y(m)₁信号，这便是仅以这些单元中的一个的操作，即用于速度直方图V的形成和处理的单元25为例进行说明的原因；和其它类似单元24，25，26，28和29的唯一的区别在于被处理的变量，注意对于6个单元24-29的不同的输入信号都是数字信号，它们使这六个单元可以具有类似的结构和操作。

图12示意地说明位移区域(在图14中，示出了例如直方图包络38的C₁，和C₂)中的速度V的直方图38和39的形状，以x，y坐标表示(图4的17×17个元素的矩阵21的直角坐标轴)；x_M，y_M分别表示两个包络38，39的最大的坐标，而x轴的l_a，l_b，和y轴的l_c，l_d表示主要的或感兴趣的速度范围的限制，l_a，l_b是是直方图的主要部分的最低限，l_b，l_d是最高限。

横轴l_a，l_b的垂直线L_a，L_b和纵轴l_c，l_d的水平线L_c，L_d形成包围主要速度(对于所有的x，y方向)的阴影区域40的矩形，较低速度的小的因而可以忽略的微区域41靠近主区域40。

因此，需要表征具有在直方图中所示参数的最大改变的区域，在这种特定情况下是速度v，是要识别4个限制l_a，l_b，l_c，l_d和两个最大值x_M，y_M。方块25持续地向微总线23提供关于V的这一信息。

类似的块24，26和27持续以这种方式向该微总线23上分别提供关于SR，DI和CO的最大值的区域的信息。

最后，类似的块28和29分别向单元36持续提供关于x(m)₁，y(m)₁的最大值的区域的信息，其把被标识为x(m)₂，y(m)₂的横轴和纵轴信息分别组合成通过单元36的输出被送到总线23上的合成信号xy(m)。

最后，总线23传递关于含有SR，V，DI，CO和xy(m)即，x(m)₁，x(m)₂，的最大值的区域的信息，以便确定在视频摄像机13观察的场景中是否存在一个运动的区域，从而定位这个区域，并确定位移的速度和方向。

在图11中，在总线23上可以得到的合成输出信号被标以ZH。该ZH信号的上述分量，特别是V和DI，换句话说运动区域的速度和方向，可以以数字或模拟形式被显示，可以产生光信号或声音信号，特别是当速度V超过一个限制时，或者它们被通过电缆、光纤或用于远程应用的无线电中继传送给控制单元，例如图1的单元10a，按照本发明其靠近或远离装置11。

图12中的总线23上方的单元的一部分被使用，根据逐点地进行整帧的处理和一帧中相关点的处理，以便获得一个外部整体值，确定在观察的场景中是否有相对运动的区域，并且如果有则对其定位，此外，如果该区域实际上在运动，则确定其位移的速度和方向。这个相对运动的区域在观察平面中沿着不一定是正交的两个方向x，y，(例如在图15和16的应用中)被识别，并且由在总线23下图12中的单元的一部分构成。

现在参照图12，13和14说明直方图形成和处理方块例如25，以及和其有关的线性组合方块，例如31，的结构和操作。

块25(图13)包括形成直方图的部分25a，和对直方图形成分级器的部分25b，这两部分在作为集成电路25c的一部分实现的软件的控制下操作，其得出直方图的限制值l_a，l_b，l_c，l_d(图11)。

分级器25b，以及其它直方图形成和处理块24，26，27，28，29(后两个通过x(m)，y(m)组合单元36)向总线23提供其输出信息，并通过所述总线向线性组合单元31提供信息，因而其接收来自单元24，25，26，27，28，29中的分级器的所有并行信息，并且根据这些信息，其对单元25提供或不提供有效信号V₂。

分级器25b使用软件25c确定将用于限定例如包络38或39的各个级(例如在所讨论的情况下含有相同数目的速度值)。

图14表示沿x轴的相继的级C₁，C₂，...C_n-1，C_n，以及其速度V的包络38，其在分级器25b中被确定。

图15和16说明由单元28和29形成的由x(m)，y(m)直方图所取的部分及其在单元36中的组合，以便获得一个斜率。

例如，我们已经讨论了使用按照本发明的被装载在车辆上的具有数字输出的视频摄像机观察道路的情况。

图15表示道路两侧，B_g在道路R左侧，B_d在道路R右侧，以及由单元28得到的相对于x(m)的投影P_x的坡度和由单元29得到的相对于y(m)的投影P_y的坡度，这些坡度的编号例如为从0到7(按照习惯不同于弗里兰码)。

为了给予关于右侧B_d的最好的精度，换句话说关于该侧指示(例如速度)的最大灵敏度，投影P_x应当具有尽可能接近垂直于B_d的最佳斜度P₀的斜度，具体在图15中所示的坡度5。因此对于由单元28(图11)确定的坡度5将获得速度直方图的最大值。

同样的理由可以应用于左侧B_g，关于投影P_y的斜度因而也是由单元29所取的部分。

组合两个最佳坡度的单元36对两侧B_g，和B_d提供最佳信息。

图16说明用于确定投影P_x的最佳斜度P₀的应用，例如是为了满足在欧洲在道路右侧驾驶车辆V_h(情况a)时或者是在英国在道路左侧驾驶车辆V_h时的情况(情况b)，以及最后为了使飞机Va在跑道中间着陆的情况(情况c)。

因而，为了有助于在路上驾驶陆地车辆(汽车、卡车)，或者有助于飞机(飞机、宇宙飞船)接近跑道时的飞行，按照本发明的装置还包括分别代表道路或跑道的右和左侧B_d和B_g的装置，以及利用可变的坡度确定至少一个坐标轴的方向的装置，使得其和相应的一侧保持接近于正交(位置P₀)。

至此我们集中讨论了通过检测其中DP＝1的区域来确定在几乎不动的环境中的实际位移的区域的装置。为了确定在其背景正在运动的环境中(例如故障的车辆或公路上的碰撞)的不动的区域，将发生相反的情况，其中必须相对于DP＝1的环境定位DP＝0的区域。显然，在这种情况下，在一个区域内速度为0，并且方向的概念将没有意义。因此，在17a中的计算将是不同的。

按照本发明的装置，如果只用于确定不运动的区域，可以通过消除处理速度和方向的单元或方块，而加以简化，具体地说方块25，26，31，32，并且来自单元11a的输出数量和对单元17的输入的数量可以减少。

在按照本发明的装置的操作单元10a中，可以提供用于在监视器屏幕上显示DP或CO信号的值和/或直方图的装置。

SR信号，即延迟的数字视频信号，通常提供给电视或监视器屏幕10，以便在屏幕上在本地或远方显示这些信号，同时相对运动被指出，以便确认这一相对运动的性质。因此，当相对位移的区域被指示时，例如通过视觉报警与/或声音报警发出信号时，只需要观看电视机或监视器的屏幕10即可。

通常借助于在显示的数字视频信号SR上加上任意的颜色来识别在屏幕上相对运动的区域，每个颜色或颜色等级代表运动的速度与/或方向。

参照图2，3，4，11，和13所述的各个单元都由已知类型的电子电路构成，特别是微处理器进行计算与/或比较，或使用扫描信号，存储器，延迟单元，移位寄存器，形成线性直方图或在平面内结合这种直方图的单元；以及微型总线。

在各个单元11a或22a中或者在包括11a和22a的部件中的这些电子电路的组合可以使用两个很小的集成电路或一个很小的集成电路来实现，例如使用0.7μm技术，所述集成电路具有10mm×10mm的数量级，一组两个互连的集成单元或一个集成电路通过其输入和视频摄像机或其它观测装置的数字视频输出相连，并通过其输出和一个或几个本地或远方使用装置相连。在一种变形中，如果只使用在单元11a中的简化的装置，则最好是单片集成电路的形式的该装置被设置在所述数字输出和一个或几个本地或远方使用装置之间。

我们现在给出一个例子，其并不限制本发明装置的其它应用，具体地说，就是按照图1和图10的装置，换句话说，就是按照图2和11沿着线Z-Z¹连接而形成的装置。

图17所示的第一其它的应用由在房间中运动的人的自动成帧构成，例如在电视会议期间。自动成帧消除在周围走动的人的运动，其提高由具有数字输出的摄像机观察的这个人的图像清晰度，并且如果数字视频信号被压缩，还简化这种压缩。

图17表示上述类型的视频摄像机13，其观察可以在走动的人P。来自视频摄像机的数字视频信号S由电缆，光纤或无线电中继向电视或监视器屏幕10b传送，但是也被按照本发明的的装置11接收，并且该装置的ZH输出作用在单元42上，该单元响应从装置11接收的关于人P的位置和运动的信号，根据其位置，速度和运动的方向控制所述摄像机13的电机43，使得把摄像机的光轴直接朝向人，尤其是朝向其面部，当人P前后运动时，能够改变聚焦设置，焦距与/或摄像机的调整。

还可以控制在舞台上的人(演员，歌手)上的一个或几个亮点的运动，按照本发明的装置，通过改变电视摄像机的方向把人定位在图像中心并例如利用一个或两个对于每个亮点的可转动的反射镜控制亮点的方向。

图18说明按照本发明的装置的一种应用的例子，其表示摄像机3或其它观测装置向按照本发明的装置11输出一个数字视频信号S。在这种应用中，摄像机13监视公路的一部分，以便检测未预料到的停车，特别是在紧急停车地段，并检测是否发生了碰撞后停车。

因此，在这种情况下，目的是确定是否在运动的环境中(其它车辆)有一个物体(车辆)在静止，换句话说，在17×17个元素矩阵21中确定DP＝0的区域。即，摄像机13观察产生DP＝1的响应的车辆流，及速度和位移方向的值。然而，如果一部车辆停止，则通过在它的观察区域内一个DP＝0的响应而被识别。

接收ZH和SR的单元44检测是否在ZH中有其中DP＝0的区域出现，并输出一个误差信号NL，其首先触发装置45中的蜂鸣器与/或视觉警报。其次控制开关46，它在电视或监视器屏幕10上提供视频信号S(或延迟视频信号SR)，通过蜂鸣器与/或视觉警告使监视者能够在有车辆停止或者发生了碰撞时观测公路，以便采取必要措施，例如根据停止的车辆的驾驶员的反应。

使用本发明，在监视站中的监视者可以容易地控制公路(或主要道路)上的多段，其中每段公路都有按照本发明的装置11和摄像机13，来自每个装置11的ZH和SR输出通过电缆、光纤或无线电中继传送到监视站，其中具有公共单元44；如果有由报警表示的事故与/或事件，观察者只需要在屏幕10中观看，在不同位置同时发生几个事故与/事件是不常见的。

尤其是，单元44在其输入端可以包括转动型开关(未示出)，其从位于沿公路的各个部件13-11对产生NL信号的该单元44上的部分连续地且周期地发送ZH(和SR)信号。

相同的系统不仅能够检测车辆是否停止，或者由于碰撞而使车辆停止，而且能够检测车流速度是否降低(对于非常慢的交通)，由于在各个D＝1的区域中速度降低，以及与此相反，一辆车高速行驶，在所观察的区域内超过允许的速度限制。

最后，图19说明本发明的另一种应用，即人机对话，通过手M的运动，尤其是手指DG在由坐标系统C_x，C_y成为矩形的区域SF内的运动。

和图1所示的按照本发明的装置11相关的具有数字输出的视频摄像机13被用于识别手M和手指DG的运动，可用于控制计算机(例如“鼠标”)或控制机器中的一些功能。例如，部件13-11可被聋哑人使用，其中使用标准的基于手的运动的聋哑符号语言，以便输入字母符号数据并从而一个文本到计算机中，而不需使用标准键盘；这种操作显然也可以由学过聋哑语言的正常人使用，可以不用键盘而把文本输入计算机中。这类系统对时间变化不敏感，并且不需要开始和结束的手势的精确表示。

图20和21示意地说明本发明用于监视汽车驾驶员，以便告知其是否打盹的情况。

在这种情况下，视频摄像机13被设置在汽车内车身附近，例如放在后视镜的上方，它可以监视驾驶员。

第一种操作是以和图17中的应用相同的方式对驾驶员成帧，图20示意地表示在视频屏幕上的驾驶员的图像1C。首先，无用的左右部分被消除(由图像的水平阴影部分表示)，因而只限于处理在这两部分之间的图像的中心部分。

然后，在此中心部分内，进行监视对头成帧的图21的未划阴影的区域AA。

被按照本发明的装置检测的相关的位移包括驾驶员以睡眠之前眨眼的速率眨眼(由区域AA的垂直运动表示)。如果其眨眼的速率或速度低于一个门限值以下，蜂鸣器则发声，从而将其唤醒。

图22表示当需要考虑位移速度的较宽范围时用于克服表示时间常数CO的有限的位数p的装置。

为此目的，将使用Mallat的图(见S.Mallat的论文“A Theory formultiresolution signal decomposition”在IEEE Transactions on PatternAnalysis and Machine Intelligence，1989年7月第674-693页)，其包括把整个图像连续地分成半个，以1，2，3，4，5，6，7来识别。这形成一种压缩，使得只处理部分图像。因而当p＝4，换句话说2^p＝16时，我们可以确定在较宽范围内的速度。

如果在起初在整个图像的框架内，按照本发明的装置表示移动物体(广义上)的速度超过对于该时间常数可由2^p＝16确定的最大速度，则需要使用局部观察的图像1，2，3，4，....直到移动物体的速度不超过所述在压缩之后的局部图像的框架内的最大速度。

借助于子波的Mallat结构只需要在图1的图中插入单元13A，以便进行这种视频信号的压缩。例如，这种单元可以包括在“ADV 601Preliminary Data Sheet”，1996年1月中描述的由美国公司ANALOGDEVICES生产的“DV 601 Low Cost Multiformat Video Codec”元件。图2表示这种类型的可选择的压缩单元13a。

最后，在图2和图3中示出了在一些微总线上传输的位数(1，3(如果p＝3)，8，15)，其说明可以为各个功能块当其处理被减少的位数时而保留的尺寸。

很清楚，本发明能够检测被光电子装置例如视频摄像机观察的场景中的相对运动，所述视频摄像机以由连续的帧构成的数字视频信号的形式发送观察的场景，帧本身包括由连续的像素构成的连续的行，这个数字信号被分析，以便利用位移的速度和方向表示识别有相对位移的区域，如果所述区域相对于实际上近似不动的环境是在运动的话。

假定按照本发明的装置用于确定物体(最广义的)的位移的速度和方向，一些装置可以和其结合以便使用这两个参数来推断在给定的时刻物体的将来的位置，并且沿着这个将来位置的方向提前引导输入视频摄像机13。

注意利用按照本发明的装置所获得的结果决不要求摄像机被固定，从而使得摄像机和相关的装置可以设置在陆地、空中或海上的交通工具上(例如图16说明的处理的实施例)。

在一个等于N的(相应于连续的帧的10的级(order))非常短的初始化间隔之后，按照本发明的装置在每帧结束之后立即决定相对位移参数，由于按照本发明的计算的递归性，对每个帧已经进行了时间和空间处理。

我们已经说明了按照本发明的装置的优选实施例及其几种应用。显然，该实施例和这些应用是非限制性的例子，不脱离以下权利要求所限定的构思，本领域的技术人员可以设计出许多改变和改型。

例如，有可能实现使用在图2中由单元11的输出提供的信号而不使用图11所述的信号的属于本发明的范围之内的方法。

关于按照本发明的装置的应用，决不限于上面作为例子给出的这些。因而，类似于图17中的电路可以直接和带磁带机的摄像机或视频摄像机相连，以便对其进行稳定，用于由用户的操作失误而引起的位移的补偿。

还可以使用一个或者最好几个按照本发明的装置和一个最好几个设置在大楼房间中的带磁带机的摄像机或具有数字视频输出的视频摄像机相连，从而借助于能够检测和定位房间内一个或几个人的存在及其运动而形成“智能房间”，在其中为了安全和识别的目的，以及/或者为了帮助要被执行的任务，或者例如用于照看在另一个房间内的儿童，或在超级市场观察顾客而对所述运动进行分析。

尤其是一直假定视频信号在连续的隔行扫描帧对中使用，特别是在讨论存储器16的容量期间，其中在按照本发明的装置中以成对的形式处理两帧。然而，也可以只使用两帧中的一帧(例如奇数帧)，以便减少存储器容量，不过也使获得所需信息的速度大约减少一半。还可以使用视频摄像机或其它观察装置，这些装置的数字输出每个图像只包括一帧。

在一些应用中，可以使专用的传感器和按照本发明的装置相连，例如一个或几个加速度传感器，以便能够处理附加的位移参数。

显然，本发明不限于上述的实施例或应用，而是包括在本发明的范围和构思之内的所有改变和改型。

Claims

1.一种实时操作的方法，用于识别和定位在一个通过观测系统观测的场景中的相对运动的区域，所述观测系统具有由一个视频数字信号构成的一个输出，所述视频数字信号包括连续的具有相同的特性的相应的帧，每个帧由连续的行构成，每行包括连续的像素，并用于确定相对位移运动的速度和方向，所述方法在于对于所述视频数字输出信号连续地进行：

-时间处理，对于每个像素位置确定在当前帧的像素信号的幅值和在前面的帧中表示的像素信号的幅值之间的差，和

-空间处理，对于每个所述视频数字信号的帧在具有分别比所述视频数字信号的行数和每行的像素数少的行数和列数的矩阵中，对于表示像素值的变化的信号的一个帧的一部分像素-在一个帧期间扫描过所述矩阵而经过的部分像素-在同一观测时刻唯一地分配值；并从与给定观测时刻有关的矩阵表示，-即所述视频或数字信号的给定帧-获得相对运动的区域的定位和运动的估计，如果存在相对运动；

并且其特征在于

它包含一个双预处理，包括

使用一个数字时间常数对所述视频数字信号进行自适应平滑，对于所述视频数字信号的每个像素该数字时间常数的数字值是独立的并根据像素值有无时间的变化而被修正，和

在一方面，在平滑之后，存储所述输出信号的一个帧，在另一方面，存储每个所述帧像素位置的所述时间常数；

时间处理，在于对于每个像素位置确定在当前帧和刚刚在前面的被平滑和存储帧之间像素信号的大小可能的显著变化的存在和其幅值，并产生两个数字信号，第一个信号是二进制的并具有两个可能的值的1位的信号，两个可能的值第一值表示当前帧和前一帧之间存在显著变化，而第二个代表不存在所述显著变化，所述二进制信号的值修正所述时间常数的存储值，以便如果所述信号具有第一值的话减少所述时间常数；以及如果所述信号具有第二值的话，增加所述时间常数；所述减少或增加以定量的方式进行，而第二个数字信号，即幅值信号，是一个多位信号，其具有量化所述变化的幅值的有限的位数；以及

-空间处理，在于对于视频数字输出信号的每一帧进行：

在整个帧期间，通过所述矩阵一方面分配二进制信号，另一方面分配所述数字幅值信号，确定在对于同一个像素的所述二进制信号和所述数字幅值信号双倍瞬时矩阵表示中的一个特定区域，在该特定的区域中，所述二进制信号具有被寻求的值，表示一个显著的变化是否存在，及所述数字幅值信号表示在双倍瞬时矩阵表示中对于帧的相同部分并从而在同一观察时刻沿着从一个原始像素开始的一个方向的矩阵的两个相邻像素之间是否变化了一个显著变化值，并且

从这两个二进制信号和数值数字信号的瞬时矩阵分布中，产生信号表示可能的相对位移的区域的存在和位置、以及相对其环境的相对的帧间速度和在观测平面中可能的相对位移的可能的几个方向中的一个方向。

2.如权利要求1所述的方法，其特征在于还包括：

首先形成分布在矩阵中的信号数值的直方图，其次形成在平面中具有可变的坡度的两个坐标轴的斜度的直方图，

3.如权利要求1或2所述的方法，其特征在于：

所述矩阵是方阵，具有相同的奇数行和列2l+1，其中l为整数，并且从含有3×3，5×5，7×7，…(2l+1)×(2l+1)个元素、并且其中心在所述方阵的中心的嵌套矩阵中确定其中所述数字信号沿着从所述中心开始的方向改变的最小的嵌套矩阵，所述二进制信号的值表示沿着该方向的门限值已经被超过。

4.如权利要求1或2所述的方法，其特征在于，所述矩阵是六角阵，并且从尺寸增加的其中心在该六角阵的中心的嵌套的六角阵中确定其中所述数字信号沿所取方向而改变的最小的嵌套矩阵，所述二进制信号的值表示按照这个方向的门限已被超过。

5.如权利要求1或2所述的方法，其特征在于，所述矩阵是具有单行和单列的倒L矩阵，并对于单行和单列从含有3×3个像素、5×5个像素，7×7个像素，…(2l+1)×(2l+1)个的嵌套的矩阵中确定最小的矩阵，其中信号沿具有最陡的斜度和恒定量的一个方向而改变。

6.如权利要求1或2所述的方法，其特征在于，所述时间常数的形式是2p，其中p是小于16的数，并且其可以被以不多于4位来表达，通过对p减或加一个单位而使时间常数减少或增加。

7.如权利要求6所述的方法，其特征在于，将Mallat时标算法用于完整帧的相继减少的部分，并选择这些部分中的最大的，其给出可和p值匹配的方向指示、位移和速度。

8.一种根据权利要求1所述的方法的实时操作的设备，用于识别和定位在一个通过观测系统观测的场景中的相对运动的区域，用来确定相对位移运动的速度和方向，包括：

所述观测系统具有由一个视频数字信号构成的一个输出，所述视频数字信号包括连续的具有相同的特性的相应的帧，每个帧由连续的行构成，每行包括连续的像素，

一时间处理部件，用于对于每个像素位置确定在当前帧的像素信号的幅值和在前面的帧中表示的像素信号的幅值之间的差，和

一空间处理部件，对于所述视频数字信号的每个帧在具有分别比所述视频数字信号的行数和每行的像素数少的行数和列数的矩阵中对于表示像素值的变化的信号的一个帧的一部分像素-在一个帧期间扫描过所述矩阵而经过的部分像素-在同一观测时刻唯一地分配值；并从与给定观测时刻有关的矩阵表示-即所述视频或数字信号的给定帧-获得相对运动的区域的定位和运动的估计，如果存在相对运动，

其特征在于，该设备以组合方式包括

-一自适应平滑装置，用于使用数字时间常数对所述视频数字输出信号进行自适应平滑处理，所述数字时间常数为对于所述视频数字信号的每个像素且独立于它们的数字值，并根据像素值有无变化被修正；

-一存储装置，用于在平滑之后，首先存储所述输出信号的帧，其次存储所述帧的每个像素位置的时间常数(CI)，

在时间处理部件(15)中：

比较装置，用于确定幅值和在当前帧和存储的刚刚被平滑的帧之间的像素信号幅值可能的显著变化，并产生一个第一数字信号，它是一位二进制信号，两值中第一值表示当前帧和被平滑的帧之间的这样的显著变化的存在，第二值表示不存在，所述二进制信号值修正所述对于像素时间常数的存储值，以便如果所述二进制信号具有第一值则减少该时间常数，而如果所述二进制信号具有第二值则增大该时间常数，减小和增大以量化的方式实现，和

计算装置(15c)产生一个第二幅值数字信号(CO)，它是一个具有有限位的多位信号，用于量化变化的幅值，并且

在空间处理部件(11)中，其输入接收来自由时间处理部件处理的给定帧中的像素的所述连续的二进制和数字幅值信号：

分配装置，用于在所述矩阵(21)中在一个帧期间分配所述二进制信号和所述数字幅值信号，

确定装置，在对于同一个像素的所述二进制信号和所述数字幅值信号双倍瞬时矩阵表示中确定一个特定区域，其中所述二进制信号具有被寻求的值，表示一个显著的变化是否存在，及所述数字幅值信号是否在所述双瞬时矩阵表示中，对于帧的相同部分内并从而在同一观察时刻，沿着从一个原始像素开始的一个方向的矩阵的两个相邻像素之间有一个显著变化值，并且

信号产生装置，用于从这两个二进制信号和数值数字信号的瞬时矩阵分布中产生信号，所述信号用于表示可能的相对位移的区域的存在和位置，以及相对的帧间速度和在相对其环境的可能的相对位移的观测平面中可能的多个方向中的一个方向。

9.如权利要求8所述的设备，其特征在于，所述空间处理部件(17)包括第一串联的延迟装置(r)，其每个用于提供一个等于两个相继行之间的时间差的延迟，以及第二串联延迟装置(d)，其每个用于对每行提供等于一行中两个相继像素之间的时间差的延迟，并且来自所有所述第二延迟装置(d)的输出和对所述第二延迟装置(d)的串联的输入在每行上在给定的时刻向一个识别装置(17a)提供在同一时刻的所述数字幅值信号和所述二进制信号。

10.如权利要求8或9所述的设备，其特征在于，还包括用于形成来自所述空间处理部件的输出值的直方图，并用于形成在一个平面内的两个斜度可变的坐标轴的直方图的装置(24-29)，用于识别每个直方图中的一个范围的装置，其中被处理的值具有显著的改变，以便在其输出中使这个范围有效，并对于所有直方图获得输出信号，如果存在相对运动，则该信号用于识别和定位在观测的场景中的相对运动的区域；如果所述区域相对于其环境正在运动，则用于识别这些运动的速度和方向。

11.如权利要求8或9所述的设备，其特征在于，所述平滑装置(15c，15d)包括一个输入端，其接收所述视频数字信号S(PI)，并对于所述视频数字信号的一帧中的每个相继的像素导出一个被平滑的信号，在其中输入视频数字信号的时间变化通过使用在另一个输入端接收的门限信号和关于在一帧中每个像素位置的时间常数而减少，其值被不断地修正，使得虽然被减小了，但是平滑装置仍能维持输入的视频数字信号的变化趋势，所述平滑装置和所述存储单元协同工作，存储单元对于一帧中的每个像素位置接收、存储并检索被平滑的信号和所述时间常数的被更新的值，并对于每个像素位置至少输出更新的时间常数相继的值和二进制信号的相继的值，所述二进制信号表明所述门限是否被一个像素值和其平滑值之间的差的绝对值所超过。

12.如权利要求8或9所述的设备，其特征在于，所述空间处理部件(17)以减少的数量沿着行和列进行来自所述平滑装置的输出，即所述二进制信号和所述时间常数的相继值的矩阵分配，包括识别装置(17a)，用于在所述矩阵分配中识别一个像素区域，其中同时地或者所述二进制信号的值相应于一个门限值被超过，并且在相邻像素之间的所述时间常数沿一个方向改变一个大的值，并用于产生指示所述区域的位置和在该区域中位移的速度和方向的输出信号，或者所述二进制信号的值相应于一个门限值没有被超过，并且在相邻像素之间的所述时间常数没有改变。

13.如权利要求10所述的设备，其特征在于，该设备还包括用于表示道路或跑道右侧和左侧的装置，以及用于确定至少一个具有可变斜率的坐标轴的方向的装置，使得该方向和相应一侧保持正交，以便帮助驱动道路上的车辆、或接近机场跑道的飞机。

14.如权利要求8或9所述的设备，用于观察汽车驾驶员的精神状态，用于检测驾驶员的可能的睡眠趋势，其特征在于该设备还包括装置用于：

(a)产生一个视频数字信号，它表示

-开始时的驾驶员的面部的相继的图像，然后

-继续实时地只表示驾驶员的眼睛的相继的图像，

(b)实时地连续地处理只和所述眼睛有关的所述视频数字信号，

-在所述眼睛的图像中检测表示眼睛眨眼的眼睑的垂直运动，

-确定眼睑运动的速率，以及

-检测所述速率，其低于相应于在清醒状态和睡眠状态的过渡状态的门限眨眼速率，以及

(c)只要所述门限眨眼速率被超过则向驾驶员发出报警信号。