CN1144025C - 车辆用单摄像机的三维观测系统 - Google Patents

车辆用单摄像机的三维观测系统 Download PDF

Info

Publication number
CN1144025C
CN1144025C CNB991228367A CN99122836A CN1144025C CN 1144025 C CN1144025 C CN 1144025C CN B991228367 A CNB991228367 A CN B991228367A CN 99122836 A CN99122836 A CN 99122836A CN 1144025 C CN1144025 C CN 1144025C
Authority
CN
China
Prior art keywords
stereo
car body
impact point
vehicle
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB991228367A
Other languages
English (en)
Other versions
CN1255624A (zh
Inventor
Y
和田穣二
高桥昌己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1255624A publication Critical patent/CN1255624A/zh
Application granted granted Critical
Publication of CN1144025C publication Critical patent/CN1144025C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Abstract

一种单摄像机的三维观测系统及其处理方法，其特征在于，在车辆不同运行位置摄取障碍物的两幅静止图像并加以存储，从所存储的静止图像的数据提取特征点，根据屏幕上特征点的位置数据和车辆运行距离数据计算车体至特征点的距离和特征点的高度，根据特征点的三维座标数据形成障碍物的立体图像，以平面图或侧视图在监视器显示车体与障碍物间关系。由此使驾驶员直接把握障碍物的距离，当障碍物位于离车体预定距离时利用告警提醒驾驶员预先避免碰撞。

Description

车辆用单摄像机的三维观测系统
技术领域
本发明涉及车辆用单摄像机的三维观测系统。具体而言，本发明的三维观测系统能根据单台摄像机在车辆运行的不同位置获取的目标的两幅静止图像数据获得该目标与该车体间的距离。
背景技术
已往，是利用安装在车体上的两台立体摄像机同步对障碍物进行摄像。从左右摄像机获取的两静止图像数据用来检测对应或相同点并根据三角原理计算该障碍物的位置。
图7A至图7C概略表示使用安装在车体上的立体摄像机测量障碍物位置的传统方法。在图7A中，右立体摄像机7和左摄像机8构成一组双立体摄像机，安装在车体4的前侧或后侧。图7B和7C分别显示右、左立体摄像机7、8获得的两静止图像。图像处理设备分析两静止图像的合成数据，获得对应或相同点，计算该车体4与该障碍物5之间的距离。当该距离小于预定值时激励蜂鸣器或产生告警声，提醒驾驶员注意该障碍物。
这种已有立体摄像机系统的缺点在于它需要两台摄像机，因此系统成本增加。
发明内容
为了解决已有立体摄像系统的上述问题，本发明的目的在于利用安装在车体上的单台视频摄像机连续获取障碍物的两幅静止图像数据，依此形成和显示该障碍物的立体图像。
为了实现上述目的或其它有关目的，本发明的三维观测系统包含：安装在车体上的单台摄像机，在车辆不同的运行位置连续获取预定目标的两静止图像；获取车辆不同运行位置间的车辆运行距离的装置；获取摄像机屏幕上目标的至少一个目标点的位置变化量的装置；根据所述车辆运行距离和所述屏幕上所述目标点的所述位置变化量获取所述目标点的三维座标数据的装置。用这样的结构，本发明能使用单个摄像机获取立体图像。
而且，最好是本发明进一步包含：根据所述目标点的所述三维座标数据形成立体图像的装置；和显示合成立体图像的监视器。用这样的结构，本发明能使用单台摄像机按立体方式显示所述目标。
而且，最好是所述形成立体图像的装置包含改变观测点的装置。利用该结构，本发明能灵活显示该目标从任意观测点检拾到的要成像的立体图像。
而且，最好是本发明的三维观测系统进一步包含在距离所述车体的预定距离内检测到障碍物时产生告警的装置。利用该结构，本发明能提醒驾驶员当心障碍物，预先避开接近障碍物。
而且，本发明还提供一种用安装在车体上的单台摄像机观测的三维观测系统的处理方法，该方法包含：使单台摄像机连续获取车辆在不同运行位置上的两幅预定目标的静止图像的第一步骤；获取摄像机屏幕上目标的至少一个目标点的位置变化量的第二步骤；根据车辆不同运行位置间的车辆运行距离和所述屏幕上所述目标点的位置变化量获取所述目标点的三维座标数据的第三步骤；和根据所述目标点的所述三维座标数据形成立体图像的第四步骤。
本发明的处理方法最好进一步包含在离车体预定距离内检测到障碍物时产生告警的步骤。
本发明第一方面的车辆用单摄像机的三维观测系统，包括：
单台摄像机(1)，安装在车体(4)上，用于在车辆不同的运行位置连续获取预定目标(5)的两静止图像；
其特征在于，还包括：
获取车辆不同运行位置间的车辆运行距离(I)的装置；
获取摄像机屏幕上所述目标(5)的至少一个目标点(6)的位置变化量的装置；
根据所述车辆运行距离(I)和所述屏幕上所述目标点的所述位置变化量获取所述目标点(6)的三维座标数据的装置；
根据所述目标点(6)的所述三维座标数据形成立体图像的装置(10，24)；以及
显示合成立体图像的监视器(3)，
其中，所述形成立体图像的装置(10，24)包含改变观测点的装置(24’)。
按照本发明第二方面，一种用于带有安装在车体上单摄像机的三维观测系统的处理方法，其特征在于，该方法包含：
使单台摄像机连续获取车辆在不同运行位置上预定目标的两幅静止图像的步骤(S1-S3)；
由控制单元根据车体的运行速度和两次图像摄取操作的时间间隔获得车辆运行距离的步骤(S4)；
获取摄像机屏幕上所述目标的至少一个目标点的位置变化量的步骤(S5-S6)；
根据车辆不同运行位置间的车辆运行距离并且也根据所述屏幕上所述目标点的位置变化量获取所述目标点的三维座标数据的步骤(S7)；
由控制单元控制观测点变化部分来调整观测点或使该观测点优化的步骤(S8)；以及
根据所述目标点的所述三维座标数据形成立体图像的步骤(S9)。
附图说明
从下面结合附图的详细描述中本发明的上述和其它目的、特征和优点会变得更明显起来，其中，
图1是表示本发明较佳实施形态的车辆用单摄像机的三维观测系统的原理图；
图2A是表示障碍物与安装在车体上的后视摄像机间关系的侧视图；
图2B是表示通过安装在车体上后视摄像机的图像摄取操作获得的静止图像的视图；
图2C是表示车辆在不同运行位置的障碍物与后视摄像机间关系的侧视图；
图2D是表示通过安装在车体上后视摄像机的图像摄取操作在车辆不同运行位置获得的静止图像的视图；
图3是本发明较佳实施形态中单摄像机的三维观测系统的测量说明图；
图4是表示本发明较佳实施形态中单摄像机的三维观测系统形成的所显示的障碍物图像的视图；
图5是表示本发明较佳实施形态中单摄像机的三维观测系统的工作流程图；
图6是表示从本发明较佳实施形态中单摄像机的三维观测系统形成的上面看时障碍物的显示图像的视图；
图7A至7C是用已有立体摄像机检测障碍物时的说明图。
具体实施方式
下文，将参照图1-图6说明本发明的较佳实施形态。所有附图中，相同标号标明相同的部件。
本发明的较佳实施形态是一种车辆用单摄像机的三维观测系统。按照该三维观测系统，单台后视摄像机安装在车体上。该后视摄像机在适当的时间间隔上连续获取目标的两静止图像。根据获得的两静止图像的数据计算相应点的位置变化。所检测的障碍物数据，如距离，高度等，根据屏幕上位置的变化和车辆的实际运行距离进行计算。监视器按立体方式显示该检测到的障碍物数据。当障碍物位于离车体预定距离内时产生告警，预先提醒驾驶员可能的碰撞。
图1是表示本发明较佳实施形态中用安装在车体上的单台摄像机的三维观测系统的原理图。在图1中，视频摄像机1是安装在车体上的后视摄像机。该视频摄像机1是一种数字视频摄像机，具有等于或高于800像素×600像素的分辨率。再连接控制单元10，包括CPU和相关的存储器(ROM，RAM等)，控制视频摄像机1的图像拾取操作。
通过视频摄像机1的图像拾取操作获得的每个静止图像送给与视频摄像机1相连的图像处理设备2。图像处理设备2分析由视频摄像机1获得的静止图像数据，形成立体图像。更具体来说，图像处理设备2包含图像存储器21，特征点提取部分22，三维座标数据计算部分23和立体图像形成部分24。
图像存储器21用作存储装置，存储视频摄像机1获得的静止图像的数字数据。特征点提取部分22用作提取特征点的装置，根据图像存储器21中存储的数字数据从障碍物的静止图像提取特征点。三维座标数据计算部分23用作计算装置，用三维座标系统计算所提取的特征点的位置。立体图像形成部分24用作根据三维座标数据计算部分23获取的三维座标数据形成平面图或侧视图的装置。立体图像形成部分24包括观测点变化部分24’，用于形成要从任意观测点摄取的立体图像。
监视器3连接到图像处理设备2。监视器3显示图像处理设备2产生的立体图像。控制单元10执行与图像处理设备2的数据传递并根据碰撞预测结果激励告警装置11。
图2A-图2D组合表明本发明较佳实施形态中使用带有安装在车辆上的单台摄像机的三维观测系统连续获取障碍物静止图像的工作。图2A表示安装在车体4上的视频摄像机1对障碍物5进行摄像操作的运行位置。图2B表示在图2A所示运行位置获得的障碍物5的静止图像。图2C表示车体4更接近障碍物5的不同运行位置。图2D表示在图2C所示运行位置获得的障碍物5的静止图像。
图3表示对应于障碍物5两个连续摄像操作的视频摄像机1的角度变化。在图3中，“H”表示视频摄像机1离地平面的测量高度。θ0表示视频摄像机1的光轴C与垂线间的角度。“l”表示车辆在倒退方向中的运行距离。“H”，θ0和“l”各为已知参数。在第一摄像操作，障碍物5的特征点6偏离视频摄像机1的光轴C角度θ1。在第二摄像操作，障碍物5的特征点6偏离视频摄像机1的光轴C角度θ2。而且，“h”表示障碍物5中特征点6的高度。而h’表示视频摄像机1至障碍物5的特征点6的垂直距离。h和h’两者是未知参数。图4表示在监视器3的屏幕上显示的障碍物5的静止图像。特征点6是出现在屏幕上的图像的特殊点，例如固体的顶点。
按照本发明的较佳实施形态，上面描述的三维观测系统工作如下。
图5是表示本发明较佳实施形态的三维观测系统的工作流程图。
视频摄像机1安装在车体4上且指向车体4的后方(参看图2A)。在步骤S1，控制单元10控制视频摄像机1执行摄像操作，获得如图2B所示的静止图像。图2B所示的静止图像称为第一图像。在步骤S2，检查是否已过预定时间Δt。在该时间间隔，如图2C所示，车辆朝后移动并靠近障碍物5。在步骤S3，视频摄像机1再次执行摄像操作，以便获得图2D所示的静止图像。图2D所示的静止图像称为第二图像。
图像存储器21存储第一、第二图像两者。在步骤S4，控制单元10根据车体4的运行速度“v”和两次图像摄取操作间的时间间隔Δt获得车辆运行距离“I”。
在步骤S5，控制单元10控制图像存储器21将所存储的图像数据发送给特征点提取部分22。
在步骤S6，控制单元10控制特征点提取部分22从第一、第二图像提取特征点。即，通过比较第一、第二图像数据搜索预定量的对应部分。可通过图形匹配处理来进行这种搜索操作。另一种办法可以是对从视频摄像机1获得的图像数据进行微分处理来检测障碍物5的边缘。用线段连接所检测的边缘，获得障碍物5的框线图像。然后，将获得的框线图像的各顶点指定为特征点。对每个图像重复该处理，由此获得多个特征点。在连续获得的静止图像的特征点间进行比较，在此基础上，将最接近的特征点指定为两静止图像的对应或相同点。
在步骤S7，控制单元10控制三维座标数据计算部分23获得表示特征点的三维座标数据。
下面，参照图3说明计算特征点的三维座标数据的方法。根据对应点在屏上的位置变化量并还根据车辆运行速度来获得特征点的三维座标数据。
为简化说明，假定障碍物5位于屏幕的中心轴(即，轴Y)。两依次图像摄取操作期间的车辆运行距离“I”用下式表达。
I＝v·Δt
其中，“v”表示车体4的运行速度，“Δt”表示两依次图像摄取操作间的时间间隔。
其间，距离I1表示在第一图像摄取操作中从视频摄像机1至障碍物5的特征点的水平距离。同样，距离I2表示在第二图像摄取操作中从视频摄像机1至障碍物5的特征点的水平距离。这些距离I1和I2用下式表达。
I1＝(H-h)·tan(θ0+θ1)
I2＝(H-h)·tan(θ0+θ2)
其中，“H”表示视频摄像机1的高度，“h”表示障碍物5的高度，θ0表示视频摄像机1光轴C的角度，θ1表示第一图像摄取操作时特征点6相对于光轴C的偏角，而θ2表示第二图像摄取操作时特征点6相对于光轴C的偏角。
当值(I1-I2)表示车辆运行距离时，有下面的关系式。
I＝v·Δt＝I1-I2
当L表示由荧光屏尺寸确定的常数，特征点6的Y轴座标值可用下式表达。
y1＝Ltanθ1，y2＝Ltanθ2
因此，θ1和θ2用下式表示。
θ1＝tan-1(y1/L)
θ2＝tan-1(y2/L)
换言之，偏角θ1和θ2可从Y轴座标值获得。特征点6的高度h用下式表达。
h＝H-(v·Δt)/(tan(θ0+θ1)-tan(θ0+θ2))
当特征点不在Y轴上，需要将特征点6移位或投影到Y轴上，然后获取特征点的X轴座标值。当“d”表示从视频摄像机1至特征点在Y轴上投影的距离，“x1”表示屏幕上特征点6的X轴座标值，离中心轴的横向或水平距离“a”用下式表示。
a＝d·x1/L
(d2＝(10+I1)2+(H-h)2，Io＝(H-h)tanθ0)
因此，能获得从视频摄像机1至目标点的所有水平距离“I1”、目标点的高度“h”、和横向距离“a”。于是可画出立体图像。
根据特征点的座标值，可产生或形成类似于图2B，2D所示的由视频摄像机1获得的(摄取的)立体图像。然而，为了可靠地掌握距离，还需要形成和显示图3所示车体4侧面的或图5所示车体4顶部的另一图像。
按照该实施形态，设有观测点变化部分24’，以便形成要从任意观测点摄取的立体图像。即，在步骤S8，控制单元10控制观测点变化部分24’来调整观测点或使其最佳化。
由于观测点变化部分24’的作用，故能将观测点偏移或移动到离视频摄像机1的任何其它地方，如无穷远点或驾驶员位置。结果，能加强立体图像建立的效果。利用这样的图像建立的灵活性，能够直接和准确的把握车体4至障碍物5的距离。
在步骤S9，控制单元10控制立体图像形成部分24形成或建立最终显示在监视器3上的立体图像。
当车体4向后倒退时，控制单元10根据车体4和障碍物5的三维信息检查它们间的位置关系。当车体4与障碍物5间的距离变得短于预定值(即，步骤10中的“是”)时，告警装置11如蜂呜器，被激活，提醒驾驶员事先防止因接近障碍物5造成的碰撞(步骤S11)。可产生告警音或接通红色指示灯来替代使用蜂呜器，这样会更好。
按照上面描述的实施形态，仅用两幅静止图像建立或形成立体图像。然而，当图像处理装置具有足够高的图像处理速度时，通过将获得的静止图像数据连续快速变换为一串立体图像，能够获得生动或动态的图像。
很显然，从上面描述可看到，本发明的较佳实施形态提供一种车辆用单摄像机的三维观测系统。按照该三维观测系统，单个摄像机安装在车体上。该单个摄像机连续地在适当的时间间隔获得目标的两幅静止图像。参照所获得的两幅静止图像的数据计算对应点的位置变化。根据屏幕上位置变化数据和车辆的实际运行距离，计算所检测的障碍物数据，像距离、高度等。监视器按立体或三维方式显示所检测的障碍物数据。当障碍物位于离车体的预定距离内时，激活告警装置提醒驾驶员预先防止碰撞。因此，利用单个摄像机可测量障碍物的距离。能以低成本预测碰撞。
按照上面描述，本发明提供一种车辆用单摄像机的三维观测系统。该三维观测系统包含：安装在车体上的单个摄像机，该单个摄像机连续地在车辆运行的不同位置获得预定目标的两幅静止图像；用于获取车辆不同运行位置间车辆运行距离的装置；用于获取屏幕上目标的至少一个目标点的位置变化量的装置；和根据车辆运行距离和屏幕上目标点的位置变化量获取该目标点三维座标数据的装置。本发明能用简单结构测量障碍物位置。从而能防止车体与障碍物的碰撞。
而且，本发明的三维观测系统最好能包含根据目标点的三维座标数据形成立体图像的装置，和显示合成立体图像的监视器。本发明利用这种结构能以立体方式显示目标。
而且，所述形成立体图像的装置最好是包含改变观测点的装置。利用该结构，本发明能灵活显示该目标作为从任意观测点摄取到的图像的立体图像。于是，能增强立体图像建立的效果。
而且，本发明的三维观测系统最好是进一步包含在距离所述车体的预定距离内检测到障碍物时产生告警的装置。利用该结构，本发明能提醒驾驶员当心障碍物，预先避开接近障碍物。
虽然，上述实施形态提供的图像处理设备2是与控制单元10分开的，但不言而喻，图像处理设备2和控制单元10能集成到单个的基于计算机的控制单元。例如，当CPU能作为装置完成同样功能时，所有特征点提取部分22、三维座标数据计算部分23和立体图像形成部分24能用控制单元10的CPU替代。在这种情况下，图像存储器21起控制单元中内设存储器之一的作用。
在不脱离其精神实质范围内，可以多种形式实施本发明。由于本发明的范围由所附权利要求书而不是先前的描述来限定，因此，所描述的实施形态只是用来说明而不是限定本发明。凡落入或等于权利要求书定界的变化均由该权利要求书涵盖。

Claims (4)

1.一种车辆用单摄像机的三维观测系统，包括：
单台摄像机(1)，安装在车体(4)上，用于在车辆不同的运行位置连续获取预定目标(5)的两静止图像；
其特征在于，还包括：
获取车辆不同运行位置间的车辆运行距离(I)的装置；
获取摄像机屏幕上所述目标(5)的至少一个目标点(6)的位置变化量的装置；
根据所述车辆运行距离(I)和所述屏幕上所述目标点的所述位置变化量获取所述目标点(6)的三维座标数据的装置；
根据所述目标点(6)的所述三维座标数据形成立体图像的装置(10，24)；以及
显示合成立体图像的监视器(3)，
其中，所述形成立体图像的装置(10，24)包含改变观测点的装置(24’)。
2.如权利要求1所述的单摄像机的三维观测系统，其特征在于，可进一步包含在距离所述车体(4)的预定距离内检测到障碍物(5)时产生告警的装置(11)。
3.一种用于带有安装在车体上单摄像机的三维观测系统的处理方法，其特征在于，该方法包含：
使单台摄像机连续获取车辆在不同运行位置上预定目标的两幅静止图像的步骤(S1-S3)；
由控制单元根据车体的运行速度和两次图像摄取操作的时间间隔获得车辆运行距离的步骤(S4)；
获取摄像机屏幕上所述目标的至少一个目标点的位置变化量的步骤(S5-S6)；
根据车辆不同运行位置间的车辆运行距离并且也根据所述屏幕上所述目标点的位置变化量获取所述目标点的三维座标数据的步骤(S7)；
由控制单元控制观测点变化部分来调整观测点或使该观测点优化的步骤(S8)；以及
根据所述目标点的所述三维座标数据形成立体图像的步骤(S9)。
4.如权利要求3所述的处理方法，其特征在于，可进一步包含在离所述车体预定距离内检测到障碍物时产生告警的步骤(S10-S11)。
CNB991228367A 1998-11-26 1999-11-26 车辆用单摄像机的三维观测系统 Expired - Fee Related CN1144025C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP10335722A JP2000161915A (ja) 1998-11-26 1998-11-26 車両用単カメラ立体視システム
JP335722/1998 1998-11-26

Publications (2)

Publication Number Publication Date
CN1255624A CN1255624A (zh) 2000-06-07
CN1144025C true CN1144025C (zh) 2004-03-31

Family

ID=18291747

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB991228367A Expired - Fee Related CN1144025C (zh) 1998-11-26 1999-11-26 车辆用单摄像机的三维观测系统

Country Status (5)

Country Link
US (1) US6172601B1 (zh)
EP (1) EP1005234B1 (zh)
JP (1) JP2000161915A (zh)
CN (1) CN1144025C (zh)
DE (1) DE69932021T2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872530A (zh) * 2017-12-05 2019-06-11 广州腾讯科技有限公司 一种路况信息的生成方法、车载终端及服务器
CN110667474A (zh) * 2018-07-02 2020-01-10 北京四维图新科技股份有限公司 通用障碍物检测方法、装置与自动驾驶系统

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6172613B1 (en) * 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US6329925B1 (en) * 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US6531959B1 (en) * 1999-07-13 2003-03-11 Honda Giken Kogyo Kabushiki Kaisha Position detecting device
EP1094337B1 (en) * 1999-10-21 2004-03-17 Matsushita Electric Industrial Co., Ltd. Parking assistance system
US6917693B1 (en) * 1999-12-20 2005-07-12 Ford Global Technologies, Llc Vehicle data acquisition and display assembly
US7167796B2 (en) * 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
WO2007053710A2 (en) 2005-11-01 2007-05-10 Donnelly Corporation Interior rearview mirror with display
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
EP1263626A2 (en) 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
EP1167120B1 (en) * 2000-06-30 2014-08-27 Panasonic Corporation Rendering device for parking aid
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
ATE363413T1 (de) * 2001-01-23 2007-06-15 Donnelly Corp Verbessertes fahrzeugbeleuchtungssystem
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
US6424272B1 (en) * 2001-03-30 2002-07-23 Koninklijke Philips Electronics, N.V. Vehicular blind spot vision system
JP4512293B2 (ja) * 2001-06-18 2010-07-28 パナソニック株式会社 監視システムおよび監視方法
JP2003102000A (ja) 2001-09-26 2003-04-04 Clarion Co Ltd 車両後方監視方法、車両後方監視装置及び信号処理装置
US6636258B2 (en) 2001-10-19 2003-10-21 Ford Global Technologies, Llc 360° vision system for a vehicle
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
WO2003105099A1 (en) * 2002-06-06 2003-12-18 Donnelly Corporation Interior rearview mirror system with compass
US7329013B2 (en) * 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
AU2003244949A1 (en) * 2002-07-25 2004-02-16 Koninklijke Philips Electronics N.V. Viewing system
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
WO2004103772A2 (en) 2003-05-19 2004-12-02 Donnelly Corporation Mirror assembly for vehicle
AU2003278863A1 (en) 2002-09-20 2004-04-08 Donnelly Corporation Mirror reflective element assembly
DE10244148A1 (de) * 2002-09-23 2004-04-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs
JP2004114977A (ja) 2002-09-30 2004-04-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP4310987B2 (ja) * 2002-09-30 2009-08-12 アイシン精機株式会社 移動体周辺監視装置
JP4154980B2 (ja) 2002-09-30 2008-09-24 アイシン精機株式会社 移動体周辺監視装置
JP4207519B2 (ja) 2002-09-30 2009-01-14 アイシン精機株式会社 移動体周辺監視装置
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
US9063633B2 (en) * 2006-03-30 2015-06-23 Arjuna Indraeswaran Rajasingham Virtual navigation system for virtual and real spaces
FR2853121B1 (fr) * 2003-03-25 2006-12-15 Imra Europe Sa Dispositif de surveillance des alentours d'un vehicule
JP4192680B2 (ja) * 2003-05-28 2008-12-10 アイシン精機株式会社 移動体周辺監視装置
US20050222769A1 (en) * 2003-06-26 2005-10-06 Jefferey Simon Modular sensor system
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
DE10349823A1 (de) * 2003-10-24 2005-05-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Messen von Abständen zwischen einem sich bewegenden Kraftfahrzeug und Objekten
WO2005043081A1 (ja) * 2003-10-31 2005-05-12 Fujitsu Limited 距離算出装置および算出プログラム
US20070046779A1 (en) * 2003-11-11 2007-03-01 David Sourlier An installation for recording travel and/or traffic
JP4513318B2 (ja) * 2003-12-10 2010-07-28 日産自動車株式会社 後側方画像制御装置および方法
JP4638143B2 (ja) * 2003-12-26 2011-02-23 富士重工業株式会社 車両用運転支援装置
GB0405014D0 (en) * 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
US7298247B2 (en) * 2004-04-02 2007-11-20 Denso Corporation Vehicle periphery monitoring system
EP1748654A4 (en) * 2004-04-27 2013-01-02 Panasonic Corp VISUALIZATION OF CIRCUMFERENCE OF A VEHICLE
DE102004028763A1 (de) * 2004-06-16 2006-01-19 Daimlerchrysler Ag Andockassistent
JP4002919B2 (ja) * 2004-09-02 2007-11-07 技研トラステム株式会社 移動体高さ判別装置
EP1650085A1 (en) * 2004-10-22 2006-04-26 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Occupant-sensing imaging system
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
ATE517368T1 (de) 2005-05-16 2011-08-15 Donnelly Corp Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil
JP4650935B2 (ja) * 2005-06-23 2011-03-16 アルパイン株式会社 車両運転支援装置
DE102005036782A1 (de) * 2005-08-02 2007-02-15 Magna Donnelly Gmbh & Co. Kg Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung an einem Fahrzeug
CN100386595C (zh) * 2005-08-18 2008-05-07 中国科学院半导体研究所 一种汽车防撞预警方法及其装置
EP2378350B1 (en) 2006-03-09 2013-12-11 Gentex Corporation Vehicle rearview assembly including a high intensity display
CN101210813B (zh) * 2006-12-26 2011-05-04 上海乐金广电电子有限公司 车辆用监视装置
CN101408423B (zh) * 2007-10-09 2011-05-18 财团法人工业技术研究院 影像撷取装置角度侦测方法及其车辆碰撞警示系统
JP2009180536A (ja) * 2008-01-29 2009-08-13 Omron Corp 画像処理装置、画像処理方法、およびプログラム
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
US20090259399A1 (en) * 2008-04-15 2009-10-15 Caterpillar Inc. Obstacle detection method and system
US8280621B2 (en) 2008-04-15 2012-10-02 Caterpillar Inc. Vehicle collision avoidance system
WO2010032058A1 (en) 2008-09-19 2010-03-25 Mbda Uk Limited Method and apparatus for displaying stereographic images of a region
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
JP5067632B2 (ja) * 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
CN101441076B (zh) * 2008-12-29 2010-06-02 东软集团股份有限公司 一种检测障碍物的方法和装置
JP4775474B2 (ja) * 2009-03-31 2011-09-21 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム
JP4664427B2 (ja) * 2009-09-16 2011-04-06 富士通株式会社 距離算出装置
EP2608149B1 (en) 2010-08-19 2021-04-21 Nissan Motor Co., Ltd. Three-dimensional object detection device and three-dimensional object detection method
JP5783243B2 (ja) * 2011-02-21 2015-09-24 日産自動車株式会社 周期的静止物検出装置及び周期的静止物検出方法
JP5153021B2 (ja) * 2011-03-14 2013-02-27 パナソニック株式会社 撮影装置、撮影方法及びプログラム
JP5124671B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
EP2720458A4 (en) * 2011-06-09 2015-02-25 Aisin Seiki IMAGING DEVICE
MY183995A (en) * 2011-08-02 2021-03-17 Nissan Motor Object detector device and object detection method
WO2013029606A2 (de) * 2011-08-29 2013-03-07 Bergische Universität Wuppertal Verfahren, anordnung und fahrassistenzsystem zur ermittlung der räumlichen verteilung von objekten relativ zu einem fahrzeug
JP5914791B2 (ja) * 2011-11-30 2016-05-11 株式会社シーマイクロ 衝突検出装置
DE102011087894A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren und Fahrzeugassistenzsystem zur aktiven Warnung und/oder zur Navigationshilfe zur Vermeidung einer Kollision eines Fahrzeugkarosserieteils und/oder eines Fahrzeugrades mit einem Objekt
US9297641B2 (en) * 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
DE102012201051A1 (de) * 2012-01-25 2013-07-25 Robert Bosch Gmbh Verfahren zur Fahrassistenz und Fahrassistenzsystem
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
WO2014019132A1 (en) * 2012-07-31 2014-02-06 Harman International Industries, Incorporated System and method for detecting obstacles using a single camera
DE102013200409A1 (de) * 2013-01-14 2014-07-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines Umfelds eines Fahrzeugs und Verfahren zum Durchführen einer Notbremsung
CN103105174B (zh) * 2013-01-29 2016-06-15 四川长虹佳华信息产品有限责任公司 一种基于ar增强现实技术的车载实景安全导航方法
US9598018B2 (en) 2013-03-15 2017-03-21 Gentex Corporation Display mirror assembly
DE102013010233B4 (de) 2013-06-18 2018-08-30 Volkswagen Aktiengesellschaft Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
KR101439052B1 (ko) * 2013-09-05 2014-09-05 현대자동차주식회사 장애물 검출 장치 및 방법
AU2014326772B2 (en) 2013-09-24 2017-07-20 Gentex Corporation Display mirror assembly
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
WO2015143333A1 (en) 2014-03-21 2015-09-24 Gentex Corporation Tri-modal display mirror assembly
KR101894262B1 (ko) 2014-04-01 2018-09-04 젠텍스 코포레이션 자동 디스플레이 미러 어셈블리
US9342747B2 (en) 2014-04-14 2016-05-17 Bendix Commercial Vehicle Systems Llc Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object
WO2016044746A1 (en) 2014-09-19 2016-03-24 Gentex Corporation Rearview assembly
WO2016073848A1 (en) 2014-11-07 2016-05-12 Gentex Corporation Full display mirror actuator
EP3218227B1 (en) 2014-11-13 2018-10-24 Gentex Corporation Rearview mirror system with a display
KR101997815B1 (ko) 2014-12-03 2019-07-08 젠텍스 코포레이션 디스플레이 미러 어셈블리
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
JP6299651B2 (ja) * 2015-04-02 2018-03-28 株式会社デンソー 画像処理装置
KR101997436B1 (ko) 2015-04-10 2019-07-09 로베르트 보쉬 게엠베하 차량 모션 데이터를 사용하는 자동차 카메라에 의한 오브젝트 위치 측정
JP2018513810A (ja) 2015-04-20 2018-05-31 ジェンテックス コーポレイション 装飾を備えた後方視認アセンブリ
EP3297870B1 (en) 2015-05-18 2020-02-05 Gentex Corporation Full display rearview device
WO2016209877A1 (en) 2015-06-22 2016-12-29 Gentex Corporation System and method for processing streamed video images to correct for flicker of amplitude-modulated lights
US9718404B2 (en) * 2015-10-01 2017-08-01 Ford Global Technologies, LLCS Parking obstruction locator and height estimator
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
EP3368375B1 (en) 2015-10-30 2020-03-04 Gentex Corporation Rearview device
CN108349435B (zh) 2015-10-30 2021-06-15 金泰克斯公司 切换板
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
CN105882516A (zh) * 2015-11-13 2016-08-24 乐卡汽车智能科技（北京）有限公司 车辆碰撞预警方法、装置和车辆
US10656265B2 (en) * 2016-03-14 2020-05-19 Hitachi Construction Machinery Co., Ltd. Mining work machine
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
NL2016718B1 (en) * 2016-05-02 2017-11-10 Cyclomedia Tech B V A method for improving position information associated with a collection of images.
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
DE102016111079A1 (de) * 2016-06-17 2017-12-21 Valeo Schalter Und Sensoren Gmbh Verfahren zur Objekthöhenerkennung eines Objektes in der Umgebung eines Kraftfahrzeugs sowie Fahrerassistenzsystem
DE102016213377B4 (de) * 2016-07-21 2023-11-16 Volkswagen Aktiengesellschaft Verfahren zur Durchfahrtshöhenerkennung
KR20180039942A (ko) * 2016-10-11 2018-04-19 현대오트론 주식회사 초음파 센서 장치 및 초음파 센서 장치의 센싱 방법
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
EP3562710A4 (en) 2016-12-30 2019-11-13 Gentex Corporation COMPLETE DISPLAY MIRROR WITH ON-DEMAND OBSERVER VIEW
US20180270413A1 (en) * 2017-03-15 2018-09-20 Kabushiki Kaisha Toshiba Processing apparatus and processing system
CN110312641A (zh) 2017-03-17 2019-10-08 金泰克斯公司 双显示倒车摄像系统
US10737618B2 (en) * 2017-04-10 2020-08-11 Advanced Semiconductor Engineering, Inc. Device and method for identifying relative position between objects
JP6790998B2 (ja) * 2017-04-28 2020-11-25 株式会社Ｓｏｋｅｎ 障害物検知装置および制御装置
CN109085608A (zh) * 2018-09-12 2018-12-25 奇瑞汽车股份有限公司 车辆周围障碍物检测方法及装置
CN111031231A (zh) * 2018-10-10 2020-04-17 富泰华工业（深圳）有限公司 电子装置及立体物体的判断方法
CN112572281A (zh) * 2019-09-27 2021-03-30 北京市商汤科技开发有限公司 光强调节方法及装置、电子设备和存储介质
CN111353453B (zh) * 2020-03-06 2023-08-25 北京百度网讯科技有限公司 用于车辆的障碍物检测方法和装置
KR20220072146A (ko) * 2020-11-25 2022-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2023218293A1 (en) * 2022-05-10 2023-11-16 C.R.F. Società Consortile Per Azioni Vehicle equipped with a system for detecting the distance of an object in front of the vehicle on the basis of a communication of a v2x type with other vehicles and on the basis of a detection of position

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4214266A (en) * 1978-06-19 1980-07-22 Myers Charles H Rear viewing system for vehicles
US4872051A (en) * 1987-10-01 1989-10-03 Environmental Research Institute Of Michigan Collision avoidance alarm system
JP2843079B2 (ja) * 1989-12-22 1999-01-06 本田技研工業株式会社 走行路判別方法
JPH0648242A (ja) * 1992-06-01 1994-02-22 Nippondenso Co Ltd 車両用端部位置表示装置
JP3263699B2 (ja) * 1992-12-22 2002-03-04 三菱電機株式会社 走行環境監視装置
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3064759B2 (ja) * 1993-09-28 2000-07-12 株式会社日立製作所 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置
DE4336288C1 (de) * 1993-10-25 1995-03-30 Daimler Benz Ag Einrichtung zur Überwachung des Rück- bzw. Frontraumes eines einparkenden Kraftfahrzeugs
US5473364A (en) * 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
JP3287117B2 (ja) * 1994-07-05 2002-05-27 株式会社日立製作所 撮像装置を用いた車両用の環境認識装置
US5889878A (en) * 1994-07-29 1999-03-30 Kabushiki Kaisha Toshiba Moving object image pickup apparatus
JP3246243B2 (ja) * 1994-12-26 2002-01-15 いすゞ自動車株式会社 車線逸脱警報装置
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP3866349B2 (ja) * 1996-12-27 2007-01-10 富士重工業株式会社 車両の衝突防止装置
JPH10222679A (ja) * 1997-02-04 1998-08-21 Toyota Motor Corp 車両用画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872530A (zh) * 2017-12-05 2019-06-11 广州腾讯科技有限公司 一种路况信息的生成方法、车载终端及服务器
CN109872530B (zh) * 2017-12-05 2022-02-15 广州腾讯科技有限公司 一种路况信息的生成方法、车载终端及服务器
CN110667474A (zh) * 2018-07-02 2020-01-10 北京四维图新科技股份有限公司 通用障碍物检测方法、装置与自动驾驶系统

Also Published As

Publication number Publication date
EP1005234A3 (en) 2002-05-22
EP1005234B1 (en) 2006-06-21
DE69932021T2 (de) 2007-07-12
JP2000161915A (ja) 2000-06-16
EP1005234A2 (en) 2000-05-31
US6172601B1 (en) 2001-01-09
CN1255624A (zh) 2000-06-07
DE69932021D1 (de) 2006-08-03

Similar Documents

Publication Publication Date Title
CN1144025C (zh) 车辆用单摄像机的三维观测系统
JP5922866B2 (ja) 車両の運転者に案内情報を提供するためのシステム及び方法
JP5337905B2 (ja) 速度計測システム、速度計測方法及びプログラム
CN1210958C (zh) 车辆附近图像处理设备
JP6270102B2 (ja) 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム
US20140204205A1 (en) Method for measuring the height profile of a vehicle passing on a road
CN1834583A (zh) 车辆周边监视装置
CN1743806A (zh) 移动体高度判别装置
CN1604645A (zh) 车辆倒车辅助装置以及车辆倒车辅助方法
JP6171593B2 (ja) 視差図からの対象追跡方法及びシステム
CN1727848A (zh) 驾驶辅助设备
CN1333626A (zh) 图像合成装置和方法
CN1878299A (zh) 图像显示装置和方法
KR20230031878A (ko) 택배차를 활용한 포트홀 실시간 탐지 장치
CN103411536A (zh) 基于双目立体视觉的驾驶辅助障碍物检测方法
JP2006318060A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP6869467B2 (ja) 駐車支援装置
WO2016151976A1 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JP2019518253A (ja) 自動車用視覚システム及び視覚システムを制御する方法
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP2010224936A (ja) 物体検出装置
JP2016176736A (ja) 画像測距装置
JP5830737B2 (ja) 路面画像処理システム及び路面画像処理方法
DE102019134695A1 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und sich bewegendes Subjekt
CN1909014A (zh) 全天候双摄像激光测速举证设备

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee