CN1192312A - 适用于无活动机构摄像机的图像形成与处理装置及其方法 - Google Patents

适用于无活动机构摄像机的图像形成与处理装置及其方法 Download PDF

Info

Publication number
CN1192312A
CN1192312A CN96195844A CN96195844A CN1192312A CN 1192312 A CN1192312 A CN 1192312A CN 96195844 A CN96195844 A CN 96195844A CN 96195844 A CN96195844 A CN 96195844A CN 1192312 A CN1192312 A CN 1192312A
Authority
CN
China
Prior art keywords
fish
coordinate
eye type
camera lens
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN96195844A
Other languages
English (en)
Inventor
斯蒂文W·希尔兹
特里L·格拉特
卡尔·库帕斯米特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensormatic Electronics Corp
Original Assignee
Sensormatic Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensormatic Electronics Corp filed Critical Sensormatic Electronics Corp
Publication of CN1192312A publication Critical patent/CN1192312A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19619—Details of casing
    • G06T3/047—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

一个装有大致具有半球形视场的鱼眼式镜头(20)的视频监视系统(10)。该系统利用无活动机构实现等同于传统摄像机的扫视、俯仰和图像放大操作。镜头(20)垂直安装于所监视平面的上方。摄像机产生一个由许多像素组成的鱼眼式图像(14)。由于鱼眼式镜头(20)的特性使得鱼眼式图像(14)失真。该系统通过把鱼眼式图像(14)的像素映射到经选择所观察的鱼眼式图像的一部分产生的坐标下来进行失真校正。

Description

适用于无活动机构摄像机的图像形成与处理装置及其方法
本发明主要涉及图像监视系统领域。更具体地，它涉及一个含有鱼眼式镜头的图像形成和处理装置，其中鱼眼式镜头大致具有半球形视场。该发明允许一个操作人员观察由鱼眼式镜头通过模仿一般镜头的扫视、俯仰运动或图像放大所形成的图像的一部分，就象一个一般镜头所形成的图像一样。这使得可以不使用镜头的活动机构来完成扫视、俯仰运动或图像放大。
监视摄像机一般用来监视零售店、工厂、机场等区域。为了利用一个摄像机来监视一个比较大的区域，摄像机一般具有进行扫视、俯仰运动或图像放大的机械机构。这样的机械机构增加了摄像机的复杂程度，从而增加了其造价，而且使其可靠性受到了影响。由于活动机构的存在，机械扫视、俯仰运动或图像放大装置受由于温度、湿度、灰尘极限引起的损坏和性能降低的影响。此外，这样的机械系统相对要消耗大量的能量。因而能够利用无活动机构的进行扫视、俯仰运动或图像放大的监视摄像机可以具有明显优于目前存在的监视摄像机的优点。
在美国专利5185667中，Zimmermann提出这样一种具有无活动机构的摄像机。在该专利详细说明的装置中，一个鱼眼式镜头与一个视频摄像机相配合，使该摄像机产生一个电子图像。由于鱼眼式镜头的本身特性，该图像失真。通过一种算法来修正图像的失真。
由Zimmermann提出的系统的缺陷是该摄像机对有效的图像放大无法提供足够的分辨力。由于鱼眼式镜头使整个半球形视场变形，其部分图像，特别是在其周边失真。在一个具有有限像素点数的电荷耦合器件(CCD)上形成该图像。为了象一个正常图像(无失真)一样观察图像，必须将其进行电子转换。CCD的有限像素点数造成变换的图像分辨很差。为了提供可以接受的分辨率，需要一个由156,000,000个像素组成的CCD。
可以得到的最好的CCD具有大约16,000,000(4,000×4,000)个像素，并且它工作在10MHz的时钟速率。然而，为了满足NTSC每秒30个采样点的采样率，需要一个480MHz的时钟速率。因此，利用目前的技术无法实现一个所希望放大倍率的NTSC画面所要求的分辨率。
在美国专利5,200,818中，Neta等描述了一个通过安装在一般的半球形表面上的多个传感器阵列来监视宽阔视野的系统。每个传感器阵列具有自己的镜头系统。这使得可以不需要活动机构实现扫视、俯仰运动或图像放大来监视一个宽阔视场。由于多个阵列的原因，系统具有相对较高的分辨率。然而，Neta等描述的这样一个系统由于需要许多高性能的器件，在实现起来的造价昂贵。
本发明的一个目的是提供一个监视摄像机装置，它基本具有半球形视场，能够不使用镜头的活动机构来完成扫视、俯仰运动或图像放大，而同时对所要求的图像放大倍率仍具有足够的分辨率。
本发明的另外一个目的是提供一个大致具有半球形视场的监视摄像机装置，允许一个操作人员观察整个视场的各个部分，如同一个一般镜头所获取的一样，并能够进行扫视、俯仰运动或图像放大。
通过下面说明的发明可以实现诸如此类的优点。
本发明是一个包括下列步骤的视频监视方法。一个具有图像平面和一个鱼眼式镜头的视频摄像机。鱼眼式镜头具有表示由鱼眼式镜头造成的失真的镜头常数、一个主轴和一个大致半球形视场。摄像机具有一个主轴通过其中心点的图像平面。摄像机安装在一个垂直于监视平面之上的一个安装点上，这样鱼眼式镜头的主轴大致垂直于监视平面。视频摄像机形成一个由鱼眼式镜头造成失真的鱼眼式图像。鱼眼式图像由许多像素组成，每个像素具有唯一的鱼眼式图像坐标。
通过模仿一个具有一个虚拟轴的虚拟摄像机提供正确的目标坐标来产生视场中的子区域的修正图像。虚拟轴通过中心点，及以一定的扫视、俯仰运动角位于视场中的目标。监视人员选择鱼眼式图像的某个区域，该区域包括鱼眼式图像的像素的一个子集。子集的每个像素以角b偏移所述特定扫视角。
通过包括镜头常数、特定俯仰运动角和角b的公式确定像素子集的每个像素的鱼眼式坐标。通过将像素的子集映射到正常的坐标上形成子区域的校正图像。
图1是一个实现该发明的一个方框图；
图2A是一个表示一个失真鱼眼式图像的鱼眼式镜头的图像平面的平面图；
图2B是一个使用本发明纠正的鱼眼式图像的选择部分的示意图；
图3是一个本发明的图像分离器的透视图；
图4是一个图像分离器中的光纤束的透视图；
图5是一个本发明的鱼眼式失真纠正系统的方框图；
图6是一个说明由于鱼眼式失真造成的点C以俯仰角b投射到图像平面的Y轴上的示意图；
图7是一个说明点C投射到图像平面的图像平面X-Y的示意图，而
图8是一个说明鱼眼式镜头的主轴、扫视并俯仰运动指向点C的虚拟相机的主轴的三维示意图。
下面是对本发明的优先实施方案的说明。目的在于对本发明加以示例说明而不是加以限制。本发明的范围将在附加的权限声明和与它们类似的范围内加以限定。
本发明以方框图的形式示于图1。一般地，该发明用于诸如仓库、商店、公共汽车或火车站等场所的监视。为此，系统10具有一个大致半球形视场的镜头20，例如一个鱼眼式镜头。优选的镜头是具有180度的方位视场、90度的天顶视场和一个无限深视场的镜头。这可以得到大致的半球形视场。优选的镜头是商业上可以得到的等距鱼眼式镜头，焦距为1.9mm，光圈的f指数为1.8。镜头20具有一个主轴Z，并且在图像平面13上形成一个圆形图像。
由于镜头20的特性，图像14失真。特别地，在图像14中的目标位向相对于他们的真正位向发生变化。例如，镜头20(见图8)的视场中的目标11在图像14的周围出现失真，如图2所示。
根据所要求的分辨率和可获得的技术，图像14最好经分离器30分解为四个分量。当图像14被分解为四个分量时，每个分量各自含有一个由四分之一圆形图像组成的图像15、16、17或18。(见图2)。分离器30由四个光导线管25、26、27和28组成。光导线管25、26、27和28分别含有相干的光纤束35、36、37和38(见图4)。这样，图像15、16、17和18分别由光纤束35、36、37和38载入光导线管25、26、27和28。
在图3和图4中更为详细地示出了分离器30。分离器30由与光导线管25、26、27和28相连的屏蔽套32组成。光纤束35、36、37和38从一个主光纤束分离开，分别装在光导线管25、26、27和28中，主光纤束以磨光的表面终止于图像平面13。见图4。光纤束35、36、37和38各由多根光纤组成。每个光纤载有由鱼眼式镜头形成的图像的采样信号，并具有大约10微米的直径。
图像15、16、17和18分别沿着各个光导线管25、26、27和28传播，并且分别照射到传感器45、46、47和48上。传感器45、46、47和48是具有光纤光学窗口的768×480的CCD，光纤光学窗口由一个光纤光学面板形成，使得CCD与光纤可以直接耦合。可以从麻州斯特堡瑞治(Sturbridge)的加俐略光电公司的CP系列中得到合适的光纤光学面板。图像15、16、17和18分别被传感器转变为电信号55、56、57和58。
将电信号55、56、57和58馈入CCD控制处理器60中，由四个同样流行的视频摄像机传感器图像控制器65、66、67和68组成控制处理器60，控制器65、66、67和68分别与电信号55、56、57和58一一对应。每个控制处理器含有一个定时电路72、一个视频处理电路74和一个色空间变换器76。色空间变换器76为每个信号55、56、57和58产生彩色和亮度信号Cr、Cb和Y。
控制处理器65、66、67和68分别以适于编码器100压缩的亮度和彩色分量的形式产生视频输出85、86、87和88。对视频信号85、86、87和88的压缩使得可以在有限带宽的信道中传播大量的图像采样信号。因此如果镜头远距于校准电路140，对视频输出信号压缩。编码器100根据某种压缩原理，如MPEG或H.261，将视频信号85、86、87和88进行压缩。此外，可以使用子带编码原理。为了在高速网络110上，例如同轴电缆或光纤上传输，编码器100将视频信号变为串行数据流。压缩的视频信号由进行与编码器100相反变换的解码器120接收。
解码器120产生一个馈到校准电路140的解码视频信号130。校准电路140的目的是校准由鱼眼式镜头造成的失真。根据下面说明的算法进行校准。校准电路140产生一个在显示器160上显示的校准信号150。
下面是对用于校准图像14的鱼眼式失真的系统的说明。为简单起见，假定整个鱼眼式图像14形成在一个CCD180的表面上，并且没有使用分离器。CCD有X和Y轴。镜头20装在垂直于监视平面19的安装点17上，最好使主轴Z垂直于监视平面19。监视平面19是房间15的地面。安装点17在房间15的屋顶上。X、Y、Z轴相交于CCD180的表面的中心点I。CCD180的表面形成平行于监视平面19的图像平面。
将摄像机和鱼眼式镜头安装在监视视场的上方(例如在屋顶，而不是在墙上)具有以下一些优点。首先，摄像机在屋顶时，视场可以覆盖整个360度的范围。这使得可以进行360度的扫视模拟，而胜于由于墙的存在造成的扫视限制范围。在将镜头安装在屋顶的情况下，虚拟(仿真)扫视轴是鱼眼式镜头的主轴Z，而不是安装在墙上的情况下垂直于主轴的虚拟轴。关于主轴Z的角从目标到图像保持不变。这便于极坐标的计算，因为扫视轴已是极坐标的形式，不再需要进行坐标转换。
当在监视器20上监视任何目标时，图像的垂直中心线与图像平面的中心线I相交。镜头的主轴Z穿过这个中心点。因此就没有必要将图像旋转，以在正确的位向上观察它们。在美国专利5,185,667中提出的校准算法中，图像的旋转是单独计算的。根据本发明，这样的单独计算就没有必要。
当镜头放置在墙上时，所感兴趣的目标和很远处的目标势必会位于鱼眼式图像的中心。需要最大的分辨率来观察这些目标的细节。当鱼眼式镜头垂直安装在监视平面的上方时，处于中心的目标总是最靠近镜头。对这些目标的观察不要求高分辨率，而且这些目标失真最小。远离镜头的目标出现在鱼眼式图像的周围。然而，由鱼眼式镜头形成的图像的中心部分比周围部分具有高的密度，因此也具有较低CCD图像分辨率。考虑具有半径为R的鱼眼式图像的一部分。在形成图像的CCD中像素的密度是均匀的。沿着通过CCD中心的直线，图像扩展为2R个像素。在图像的周围的图像比出现在图像中心的目标扩展了πR(周长的一半)-π/2个像素。因此，将镜头垂直安装于监视面的上方可以提供比将镜头垂直于监视面安装更高的分辨率。
下面的说明将参照图5。鱼眼式镜头20具有一个覆盖区域为A的180度的视场。利用安装在房间15的屋顶上的镜头20，区域A包括地面和房间的墙。鱼眼式镜头在图像平面13上形成区域A的鱼眼式图像Ad。由唯一的坐标(x；y)来表示的区域A的任一点，根据鱼眼式镜头20的特点被偏移到鱼眼式图像的点(xd；yd)。图像平面13(CCD的表面)由一个包括许多像素182的矩阵组成。每个像素具有唯一的鱼眼式坐标。因此CCD产生一个区域A的电信号。将这个电信号馈于产生彩色和亮度值的CCD控制处理器250(类似于控制处理器60)中，CCD控制处理器250为CCD180中的每一个像素产生彩色和亮度值。这些颜色和亮度值储存在双端口图像存储器(DPIM)200中。本发明使得使用者可以对鱼眼式图像进行电处理，以便实现扫视、俯仰运动和图像放大。因此可以通过将区域Ad的子区域αd从失真鱼眼式图像变换到一个正常图像来观察区域A的一个子区域。
当系统开机时，在监视器240上出现一个缺省的校准子区域αc。使用者通过区域选择单元210(一个具有键盘和定向装置的控制工作站)选择子区域α。这可以通过使用定向装置214来模拟虚拟传统摄像机的扫视和俯仰运动来完成。监视器240上的图像如同是由传统的摄像机形成的。实际上，它是通过鱼眼式图像14部分的校准来形成的。子区域α的选择提供了一个位于子区域α的目标的正确(非鱼眼式)坐标。该操作模仿了虚拟传统摄像机主轴(图8中IC)的目标定位。虚拟摄像机安装在安装点17上，其主轴IC通过中心点I，并通过子区域α的中心。通过输入装置214使子区域α出现在监视器的上的虚拟摄像机的定位，也导致区域选择器210产生一个扫视和俯仰角，这伴随着虚拟摄像机定位于虚拟扫视和俯仰角，使得它指向在子区域α的目标。
当用户选择子区域α时，系统自动αd(区域α的失真鱼眼式图像)转换为校准图像αc。这使用户可在监视器240上观察子区域α，如同它是由已进行扫视和俯仰指向子区域α形成的一样。
将鱼眼式图像Ad的各个像素以CCD180产生的亮度和颜色数据的形式，通过控制处理器250储存在DPIM200中的一个唯一地址上。因此DPIM200含有区域A的失真鱼眼式图像Ad的数字电信号。对于区域A的任何一个子区域α，DPIM200含有一个相应于失真子区域αd的电信号。
图像平面13是由如图6、7和8中的X、Y轴形成的平面。镜头20的主轴Z垂直于X、Y轴。如果一个用户希望用虚拟非鱼眼式镜头摄像机详细地观察位于中心点C的区域(例如图2B中所示的子区域α)，用户将指令摄像机相对于主轴Z转角b。这样做将改变虚拟摄像机的位向，使得虚拟主轴(中心线IC)通过图像平面13的中心点，并通过点C。
一旦由虚拟传统摄像机捕获，区域α将作为一个中心位于行320、并由水平行的大量像素310组成的图像300出现在CCD180。(见图2A)。在特定行上的每一个像素，以特定的距离x从中心行320偏移。该距离相应于一个相对于中心线IC(见图8)的角a或关于主轴Z的角a′。
图像14的每个像素可以由一组直角或极坐标来表示。因此，参照图7和图8，在中心线IC上的点C的像素可以根据以俯仰运动角b(见图6)和角a--像素偏离中心的量(对于点C，a等于零，因为c位于X轴)的极坐标来定位。同样地，沿着CCD180的水平线运动(例如平行于Y轴)，点S的像素可以根据相对于主轴Z的俯仰运动角b′和相对于中心线IC的扫视角a′来描述。相应的直角坐标为xd和yd。
再次参照图2A，可以看出，由于鱼眼式镜头自身的特点，鱼眼式图像失真。位于靠近鱼眼式镜头20的主轴的目标出现在CCD180上基本是正常的(见区域182)，而远离主轴的目标逐渐变得更加失真(见区域184)。由位于非鱼眼式图像点(x；y)的像素带有的信息在鱼眼式图像中位于点(xd，yd)，其中(xd，yd)以取决于鱼眼式镜头20的特性的量从(x，y)偏移。
鱼眼式镜头的一个基本特性是，位于相对于主轴的旋转角b′处的点的图像根据下列公式将从主轴投射到图像平面上的半径r：
r＝f.b′
其中r是距中心点I的距离；f是以mm/弧度为单位表示的由鱼眼式镜头造成的失真的镜头常数，而b′是从目标到主轴的光线的入射角(单位为弧度)。
从视场中的一个点到它在图像平面的投影之间的角度保持不变也是鱼眼式镜头的一个基本特性。
这两个特性用来推导一个新的公式，使得可以如同在一个视场中感兴趣的区域由传统的摄像机扫视、俯仰或图像放大形成一样观察鱼眼式图像的选择部分。这个公式将上面描述的虚拟摄像机的扫视和俯仰角与校准图像的直角坐标联系起来。下面是如何推导公式和用来实现本发明的目的的描述。
从图6中可以看出，位于相对于镜头的主轴的俯仰运动角b处的点C在图像平面IP的距中心点I的半径r＝rc处形成图像。如上所指出的，对一个特定的鱼眼式镜头，俯仰运动角b和形成点C图像的半径之间的关系是：
r＝f.b                        …(1)
在图8中，点C位于y、z轴形成的平面上，并且相对于主轴的倾角为b。取从图像平面的中心I到点C的直线IC作为指向点C的虚拟摄像机镜头的主轴。线CS从点C延伸到点S。CS平行于X轴。因此CS代表CCD180中的像素水平线。考虑在S的一个像素，它与I有一个特定的径向距离r，位于CCD的中心，关于虚拟摄像机镜头的主轴的扫视角为a′，相对于鱼眼式镜头的主轴的俯仰运动角为b′。该像素的直角坐标为：
x＝f.b′.cos(a′)                ..(2)
y＝f.b′.sin(a′)                ..(3)
公式(2)和(3)将形成在CCD的鱼眼式图像的任一像素的极坐标转化为直角坐标。点S的像素可以通过参照俯仰运动角b′(一个从偏离主轴Z计量的角)和扫视角a′(围绕主轴的旋转角)而定位。
当系统开机时，对应于虚拟摄像机指向的初始区域，将显示一个缺省区域。为方便起见，该区域位于主轴Z上(因此俯仰运动角b为零)。扫视角也为零(即线IC位于X轴上)。然后，虚拟摄像机(其镜头的主轴位于线IC)以相对于鱼眼式镜头的主轴z的俯仰运动角b倾斜，使得它指向位于中心C的一个目标。为了使得校准系统的操作对于用户来讲比较明了，相对于虚拟摄像机的初始位置来测量扫视运动和俯仰运动运动。因此，表示点S的像素的位置将用俯仰运动角b和S与中心线IC之间的角——角a(从中心线IC到点S的扫视量)来表示。
下面是对代表鱼眼式图像中点S的像素的位置可以由角a-距中心线的偏置和角b-虚拟正常摄像机的俯仰运动角来描述的方法的说明，虚拟摄像机可以扫视和俯仰运动，使其主轴与点C一致。
参照图8，可以看出
tan(a′)＝SC/PC
SC＝IS.sin(a)
PC＝IC.sin(b)
IC＝IS.cos(a)
因此，tan(a′)＝IS.sin(a)/IS.cos(a).sin(b)
              ＝tan(a)/sin(b)
              a′＝tan-1(tan(a)/sin(b))                ..(4)
              cos(b′)＝IP/IS
              IP＝IC.cos(b)
              IC＝IS.cos(a)
因此cos(b′)＝IS.cos(a).cos(b)/IS
             ＝cos(a).cos(b)
             b′＝cos-1(cos(a).cos(b))                 ..(5)
由式(2)和(3)，对于一个给定的鱼眼式镜头，Xd＝fb′cos(a′)，而Yd＝fb′sin(a′)。将a′和b′值由式(4)和(5)带入式(2)和(3)：
Xd＝f.cos-1(cos(a).cos(b)).cos(tan-1(tan(a)/sin(b)))   ..(6)
Yd＝f.cos-1(cos(a).cos(b)).sin(tan-1(tan(a)/sin(b)))   ..(7)
这些公式使得可以根据以虚拟摄像机的俯仰运动角b(距鱼眼式图像的中心的点的距离的计量)和相对于中心线IC的像素的角a的形式的角坐标知识计算位于中心线IC周围的像素的坐标。这个公式给出了一个非常简单的由鱼眼式镜头实现扫视、俯仰运动和图像放大的方法。
为了实现虚拟摄像机的扫视，扫视角P加以角a′，以形成一个新的角度a″。这样，a″＝a′+P。
将其代入式(4)，得到
a″＝P+tan-1(tan(a)/sin(b))      ..(8)
将式(8)代入式(6)和(7)：
Xd＝f.cos-1(cos(a).cos(b)).cos(P+tan-1(tan(a)/sin(b))  ..(9)
Yd＝f.cos-1(cos(a).cos(b)).sin(P+tan-1(tan(a)/sin(b))  ..(10)
当驱动定位装置214来仿真虚拟摄像机的扫视和/或俯仰运动时，由区域选择单元210产生子区域的像素的每一行的像素的直角坐标，并存在查表式表格(LUT)222中。通过利用式(9)和(10)，系统也自动计算鱼眼式图像的坐标(Xd；Yd)。如在DPIM200中提到的一样，对于子区域α中的每一组正常坐标(X；Y)，计算的坐标(Xd；Yd)存在LUT222中。
对鱼眼式图像的所有坐标可以预先进行计算，或仅需当某区域被选择时对特定区域进行计算。在每种情况下，将坐标储存在LUT222中，并且将相应的像素储存在DPIM200中。这使得对应于那些计算所得的坐标的像素可以从CCD180取得。然后将取得的像素显示在监视器240的位置(X；Y)处，就如同已由一个正常的摄像机的扫视和俯仰运动在坐标(X；Y)形成图像一样。
可以通过改变角的数值实现图像放大：当计算LUT222的内容时，在像素之间增加角a，在行之间增加b。例如，如果在一个水平显示行中有400个像素，而对左边的显示以0.1度的步长从-20度递增a，这样将得到一个40度的水平视场。同样，为显示保持标准显示4∶3的高宽比的30度的垂直视场，通过在每个显示行之间以0.062度增加b，可以得到483个显示行。
LUT222和DPIM200中的内容表示在下表中：
表一
 两种数据结构的地址序列   FEA产生器LUT的内容  双端口存储器的内容
   起始地址   第一行的第一个像素的地址  第一行的第一个像素
  起始地址+1   第一行的第二个像素的地址  第一行的第二个像素
      ·            ·           ·
      ·            ·           ·
      ·            ·           ·
  起始地址+H   第二行的第一个像素的地址  第二行的第一个像素
 起始地址+H+1   第二行的第二个像素的地址  第二行的第二个像素
          ·           ·           ·
          ·           ·           ·
          ·           ·           ·
    起始地址+2H  第3行的第1个像素的地址   第3行的第1个像素
   起始地址+2H+1  第3行的第2个像素的地址   第3行的第2个像素
         ·           ·           ·
         ·           ·           ·
         ·           ·           ·
H＝显示处理器中每行的像素的数目
通过在DPIM200中保留多个图像可以储存过去的记录图像。当超出存储空间时，最早的图像被当前的图像覆盖，因此在一个预定的时间周期内可保留一个产生的循环记录图像。因此，通过由鱼眼式地址发生器在DPIM200中适当地选择一个地址，在预先确定的时间间隔内可以显示当出现警示事件(例如一个企图进入监视场所并触发了传感器的入侵者)时捕获的图像。
利用360度的图像，该系统可以不借助于任何移动部分实现扫视和俯仰运动操作。这在增加了系统的可靠性的同时，限制了制造和维护的费用。该发明从而可以通过覆盖宽视场的单摄像机进行大区域的监视。

Claims (12)

1 一个包括如下步骤的视频监视方法：
安装具有一个图像平面和鱼眼式镜头的视频摄像机，鱼眼式镜头具有一个表示由于鱼眼式镜头引起的失真的镜头常数、一个主轴，并基本具有半球形视场，摄像机具有一个图像平面，图像平面具有一个主轴通过的中心点；
将摄像机安装在垂直于监视平面的上方的安装点上，使得鱼眼式镜头的主轴基本垂直于监视平面；
使视频摄像机形成一个鱼眼式图像，鱼眼式图像由于鱼眼式镜头造成失真，并包括许多像素，每个像素具有唯一的鱼眼式坐标；
由以下步骤产生视场中的子区域的校准图像：
通过仿真虚拟摄像机提供视场中的目标的角坐标，虚拟摄像机具有虚拟轴，使得虚拟轴通过中心点和视场中在特定的扫视和俯仰运动角处的目标；
选择鱼眼式图像的某个区域，其中该区域包括许多像素的一个子集，子集的每个像素以一定的角度a偏离所述特定的扫视角；
通过包括镜头常数、所述特定俯仰运动角和角a的公式来确定多个像素的子集中的每个像素的唯一坐标；
将多个像素的子集中的像素映射成正常的坐标，从而形成子区域的校准图像；
2 权利要求1中的方法，其中相对于鱼眼式镜头的主轴取所述特定的俯仰运动角；
3 权利要求1中的方法，其中相对于一个相对于主轴的预先扫视角取特定的扫视角；
4 权利要求1中的方法，其中将子集的像素映射成正常的坐标包括如下的步骤：
提供一个含有根据公式预先计算得到的坐标的集合的查表式表，使得所述多个像素的子集的每一个像素有一组对应的角坐标，并且使得对于每一组角坐标有一组相应的预先计算的像素坐标；
将角坐标提供给查表式表，作为响应，使查表式表输出一个预先计算的像素坐标；
5 权利要求4中的方法，还包括以下步骤：将所述多个像素储存在一图像存储器中的相应于预先计算的坐标的地址处，提供给图像存储器预先计算的坐标，并接收所述许多像素的子集中的像素作为从图像存储器的输出。
6 权利要求1中的方法，其中提供所述目标角坐标的步骤包括通过用户输入接收特定扫视和俯仰运动角的步骤。
7 权利要求1中的方法，其中角坐标是极坐标，并且还包括将极坐标转换为特定扫视和俯仰运动角的步骤。
8 权利要求1中的方法，其中提供所述目标角坐标的步骤包括在视频显示器上选择一个区域，并基于子区域的直角坐标计算目标的特定扫视和俯仰运动角的步骤。
9 权利要求1中的方法，其中公式是：
Xd＝f.cos-1(cos(a).cos(b)).cos(tan-1(tan(a)/sin(b)))
Yd＝f.cos-1(cos(a).cos(b)).sin(tan-1(tan(a)/sin(b)))
其中f是镜头常数，而Xd、Yd是唯一的鱼眼式坐标。
10 权利要求1中的方法，进一步包括显示子区域的校准图像的步骤。
11 权利要求1中的方法，进一步包括放大子区域的校准图像的步骤。
12 权利要求11中的方法，其中校准图像的放大步骤包括增加角a。
CN96195844A 1995-07-27 1996-07-26 适用于无活动机构摄像机的图像形成与处理装置及其方法 Pending CN1192312A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/508,115 1995-07-27
US08/508,115 US5691765A (en) 1995-07-27 1995-07-27 Image forming and processing device and method for use with no moving parts camera

Publications (1)

Publication Number Publication Date
CN1192312A true CN1192312A (zh) 1998-09-02

Family

ID=24021448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN96195844A Pending CN1192312A (zh) 1995-07-27 1996-07-26 适用于无活动机构摄像机的图像形成与处理装置及其方法

Country Status (9)

Country Link
US (1) US5691765A (zh)
EP (1) EP0842580A4 (zh)
JP (1) JP3951191B2 (zh)
CN (1) CN1192312A (zh)
AR (1) AR003044A1 (zh)
AU (1) AU706467B2 (zh)
BR (1) BR9609894A (zh)
CA (1) CA2220960A1 (zh)
WO (1) WO1997005741A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188741B (zh) * 2006-11-16 2010-08-18 中兴通讯股份有限公司 一种监控控制系统
CN101448065B (zh) * 2007-08-27 2012-01-04 韩国科亚电子股份有限公司 校正图像失真的方法以及使用该方法处理图像的装置
CN103793879A (zh) * 2012-10-31 2014-05-14 晶睿通讯股份有限公司 数位影像的反扭曲处理方法

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5856844A (en) * 1995-09-21 1999-01-05 Omniplanar, Inc. Method and apparatus for determining position and orientation
US5832139A (en) * 1996-07-31 1998-11-03 Omniplanar, Inc. Method and apparatus for determining degrees of freedom of a camera
DE19758371A1 (de) * 1997-12-29 1999-07-08 Francois Sanvi D Dipl In Sodji Vorrichtung zur Überwachung eines Gebäudes und/oder Raumes
EP0933666A1 (en) * 1998-01-30 1999-08-04 SONY DEUTSCHLAND GmbH Image detecting apparatus controlled by detecting the viewing direction
SG77639A1 (en) * 1998-06-11 2001-01-16 Surreal Online Pte Ltd A method and system for providing a seamless perspective corrected image from fisheye images
US20010015751A1 (en) * 1998-06-16 2001-08-23 Genex Technologies, Inc. Method and apparatus for omnidirectional imaging
US6204852B1 (en) * 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface
WO2000060853A1 (en) * 1999-04-08 2000-10-12 Internet Pictures Corporation Method and apparatus for providing virtual processing effects for wide-angle video images
US6778211B1 (en) * 1999-04-08 2004-08-17 Ipix Corp. Method and apparatus for providing virtual processing effects for wide-angle video images
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
WO2001037028A1 (en) * 1999-11-15 2001-05-25 Equal Reverse Thoughts Limited Method of improved image depth perception
JP4750927B2 (ja) * 2000-06-30 2011-08-17 日本ネットワークサービス株式会社 遠隔監視方法および監視制御サーバ
GB2368221A (en) * 2000-08-31 2002-04-24 Lee Scott Friend Camera apparatus having both omnidirectional and normal view imaging modes.
US6711279B1 (en) * 2000-11-17 2004-03-23 Honeywell International Inc. Object detection
US7200246B2 (en) * 2000-11-17 2007-04-03 Honeywell International Inc. Object detection
US6841780B2 (en) * 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US7176440B2 (en) * 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
KR100910670B1 (ko) * 2001-03-05 2009-08-04 지멘스 악티엔게젤샤프트 승객 보호 시스템을 위한 이미지 보정 방법 및 장치
US7450165B2 (en) * 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
US8130827B2 (en) * 2004-08-13 2012-03-06 Samsung Electronics Co., Ltd. Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image
CN101427372B (zh) 2004-08-25 2012-12-12 普罗塔里斯菲洛有限责任公司 用于多个相机装置的设备和操作该设备的方法
US7564019B2 (en) * 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US8124929B2 (en) * 2004-08-25 2012-02-28 Protarius Filo Ag, L.L.C. Imager module optical focus and assembly method
US7916180B2 (en) * 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US7795577B2 (en) * 2004-08-25 2010-09-14 Richard Ian Olsen Lens frame and optical focus assembly for imager module
US20070102622A1 (en) * 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US20070258006A1 (en) * 2005-08-25 2007-11-08 Olsen Richard I Solid state camera optics frame and assembly
TWI291592B (en) * 2005-09-27 2007-12-21 Primax Electronics Ltd Adjusting method for focus of optical image
CN100465783C (zh) * 2005-10-09 2009-03-04 致伸科技股份有限公司 光学镜头模块的聚焦调整方法
US7613360B2 (en) * 2006-02-01 2009-11-03 Honeywell International Inc Multi-spectral fusion for video surveillance
JP2007318597A (ja) * 2006-05-29 2007-12-06 Opt Kk 広角レンズによる撮像データの圧縮方法、圧縮装置、広角カメラ装置およびモニタシステム
JP2007318596A (ja) * 2006-05-29 2007-12-06 Opt Kk 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム
JP4977419B2 (ja) 2006-08-10 2012-07-18 三洋電機株式会社 監視カメラ
ATE497679T1 (de) 2007-02-19 2011-02-15 Axis Ab Verfahren zur korrektur von hardware- fehlausrichtungen bei einer kamera
WO2009013845A1 (ja) * 2007-07-20 2009-01-29 Techwell Japan K.K. 画像処理装置及びカメラシステム
JP4582205B2 (ja) * 2008-06-12 2010-11-17 トヨタ自動車株式会社 電動車両
DE102008062997A1 (de) 2008-12-23 2010-07-22 Mobotix Ag Buskamera
US8988492B2 (en) * 2009-01-30 2015-03-24 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method and apparatus for correction of an image from a fisheye lens in a camera
JP5499802B2 (ja) * 2010-03-18 2014-05-21 株式会社デンソーウェーブ 視覚検査システム
US9794518B2 (en) * 2010-10-21 2017-10-17 Sensormatic Electronics, LLC Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates
US9036001B2 (en) 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
JP5442164B2 (ja) 2011-03-08 2014-03-12 三菱電機株式会社 移動体周辺映像補正装置
KR101465607B1 (ko) * 2012-12-05 2014-11-27 광운대학교 산학협력단 어안 렌즈용 왜곡 영상 처리 방법
ES2545542B1 (es) * 2014-03-11 2016-06-21 Alberto ADARVE LOZANO Sistema de visión panorámica con corrección de imagen en operaciones de repostaje y similares
US9792664B2 (en) 2015-01-29 2017-10-17 Wipro Limited System and method for mapping object coordinates from a video to real world coordinates using perspective transformation
EP3051495B1 (en) * 2015-01-29 2018-09-19 Wipro Limited Systems and methods for mapping object coordinates from a video frame view to real world coordinates
US11202014B2 (en) 2018-07-06 2021-12-14 Medos International Sari Camera scope electronic variable angle of view
US11032481B2 (en) 2018-07-06 2021-06-08 Medos International Sarl Camera scope electronic variable prism
CN112150554B (zh) * 2019-06-28 2023-08-04 杭州海康威视数字技术股份有限公司 画面显示方法、装置、终端和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59184973A (ja) * 1983-04-04 1984-10-20 Fujitsu Ltd ロボツトの環境理解システム
JPS60205381A (ja) * 1984-03-30 1985-10-16 Fuji Electric Corp Res & Dev Ltd 全方位位置検出装置
US4984089A (en) * 1990-01-08 1991-01-08 Sensormatic Electronics Corporation Outdoor surveillance dome with enhanced environmental aptitude and control system therefor
US5200818A (en) * 1991-03-22 1993-04-06 Inbal Neta Video imaging system with interactive windowing capability
US5319744A (en) * 1991-04-03 1994-06-07 General Electric Company Polygon fragmentation method of distortion correction in computer image generating systems
US5384588A (en) * 1991-05-13 1995-01-24 Telerobotics International, Inc. System for omindirectional image viewing at a remote location without the transmission of control signals to select viewing parameters
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
JPH0636020A (ja) * 1992-07-17 1994-02-10 Matsushita Electric Ind Co Ltd 撮像監視装置
FR2714502A1 (fr) * 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188741B (zh) * 2006-11-16 2010-08-18 中兴通讯股份有限公司 一种监控控制系统
CN101448065B (zh) * 2007-08-27 2012-01-04 韩国科亚电子股份有限公司 校正图像失真的方法以及使用该方法处理图像的装置
CN103793879A (zh) * 2012-10-31 2014-05-14 晶睿通讯股份有限公司 数位影像的反扭曲处理方法

Also Published As

Publication number Publication date
WO1997005741A1 (en) 1997-02-13
AU6602096A (en) 1997-02-26
JP3951191B2 (ja) 2007-08-01
US5691765A (en) 1997-11-25
AU706467B2 (en) 1999-06-17
AR003044A1 (es) 1998-05-27
EP0842580A4 (en) 2000-08-02
BR9609894A (pt) 1999-05-25
JPH11510341A (ja) 1999-09-07
CA2220960A1 (en) 1997-02-13
EP0842580A1 (en) 1998-05-20

Similar Documents

Publication Publication Date Title
CN1192312A (zh) 适用于无活动机构摄像机的图像形成与处理装置及其方法
TWI622293B (zh) 產生全景影像的方法、儲存媒介以及攝影機系統
US7171088B2 (en) Image input device
CN1192315A (zh) 用于不使用运动部件的摄像机的图像分割、形成与处理设备和方法
US6583815B1 (en) Method and apparatus for presenting images from a remote location
KR100385826B1 (ko) 압축 고해상도 파노라마 조망 시스템
TW396292B (en) Stereo panoramic viewing system
CN102821238B (zh) 宽视场超高分辨率成像系统
CN1213602C (zh) 快速数字平移角倾变焦距的视频设备
US20160014335A1 (en) Imaging system for immersive surveillance
TWI530182B (zh) 超廣角影像之處理系統與方法
US20080030573A1 (en) Volumetric panoramic sensor systems
EP1178352A1 (en) Method of and apparatus for presenting panoramic images at a local receiver, and a corresponding computer program
CN103026700A (zh) 捕获图像的装置和方法
SG191198A1 (en) Imaging system for immersive surveillance
CN102209254A (zh) 一种一维集成成像方法和装置
CN112040140A (zh) 一种基于光场的宽视场高分辨混合成像装置
CN208063332U (zh) 全景视频播放与局部细节放大显示相结合的联动摄像装置
US20060055807A1 (en) Imaging methods, image sensors, imaging systems, and articles of manufacture
US6963355B2 (en) Method and apparatus for eliminating unwanted mirror support images from photographic images
CN105933685B (zh) 超广角微投影装置
CN116471490B (zh) 变光照十亿像素光场智能成像系统、方法与装置
CN112866578B (zh) 基于8k视频画面全局到局部的双向可视化及目标跟踪系统及方法
JPH01126880A (ja) 特にシーンをビデオモニターの画面に再生する目的でシーンを撮影する装置
CN116437224A (zh) 电子设备、色温检测装置、方法及图像数据处理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1016000

Country of ref document: HK