WO2014090247A1 - Video-based detection of obstacles on a roadway - Google Patents
Video-based detection of obstacles on a roadway Download PDFInfo
- Publication number
- WO2014090247A1 WO2014090247A1 PCT/DE2013/200338 DE2013200338W WO2014090247A1 WO 2014090247 A1 WO2014090247 A1 WO 2014090247A1 DE 2013200338 W DE2013200338 W DE 2013200338W WO 2014090247 A1 WO2014090247 A1 WO 2014090247A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- obstacles
- image data
- roadway
- detected
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
Definitions
- the invention relates to a method and a device for video-based detection of obstacles on a roadway, which are particularly suitable for use in driver assistance systems.
- DE 10 2009 033 219 A1 describes a method for determining a road profile of a traffic lane in front of a vehicle on the basis of acquired image data.
- a road height profile of the lane is determined by an estimation device, for example a Kalman filter.
- the image data are generated by a camera fixedly arranged, for example, in the front region of the vehicle.
- the object of the present invention is now to propose a method and a device for video-based detection of obstacles on a roadway, which are further improved compared to that from DE 10 2009 033 219 A1.
- An underlying idea of the invention is to detect obstacles on a roadway by evaluating image data of a 3D camera, that is to implement a video-based recognition, in which is used by means of a 3D camera, an active evaluation zone for the detection of obstacles on a roadway, which is not limited to the immediate area of the vehicle or a vehicle tire, but comprises the entire road surface (width) in the Vorschau Schl of the vehicle.
- the image data also contain spatial information of the preview area of the vehicle.
- An embodiment of the invention now relates to a method for video-based detection of obstacles on a roadway comprising the steps of: receiving image data generated by a 3D camera provided for detecting a region of an environment in front of a vehicle, the 3D camera thus is aligned and formed such that the area covered by it comprises at least the entire width of the roadway in front of the vehicle, evaluating the image data for detecting obstacles transverse to the direction of travel of the vehicle, and outputting data to detected obstacles.
- the evaluation of the image data for detecting obstacles transverse to the direction of travel of the vehicle may include the detection of several pixels in space, which are arranged approximately on a horizontal line, and determining an approximate height of the obstacle depending on the detected pixels.
- the evaluation of the image data for detecting obstacles transverse to the direction of travel of the vehicle may include the detection of several pixels in space, which are arranged approximately on a vertical line, and the calculation of a roadway curvature depending on the detected pixels.
- Outputting data on detected obstacles may include determining whether the vehicle can run over a detected obstacle and / or whether a detected obstacle may cause damage to the vehicle when crossing it, and outputting the result of the determining.
- Outputting data on detected obstacles depending on the result of the determination may include issuing a warning, an intervention in the vehicle control and / or a change of vehicle characteristics.
- a further embodiment of the invention relates to a device for video-based detection of obstacles on a roadway having first means for receiving image data generated by a 3D camera provided for detecting a region of an environment in front of a vehicle, the 3D camera being aligned in this way and configured such that the area covered by it comprises at least the entire width of the road ahead of the vehicle, second means for evaluating the image data for detecting obstacles transverse to the direction of travel of the vehicle, and third means for outputting data on detected obstacles.
- the second means may be adapted to carry out a method according to the invention and as described herein
- the third means may be adapted to carry out a method according to the invention and as described herein.
- another embodiment of the invention relates to a driver assistance system having a device according to the invention and as described herein. Further advantages and possible applications of the present invention will become apparent from the following description in conjunction with the / in the drawing (s) illustrated embodiment (s).
- FIG. 1 shows a flow chart of an embodiment of a method for video-based detection of obstacles on a roadway according to the invention
- FIG. 2 shows an example of an image of a detected area of an environment in front of a vehicle with an area of a raised road surface at a construction site as an obstacle
- FIG. 1 shows a flow chart of an embodiment of a method for video-based detection of obstacles on a roadway according to the invention
- FIG. 2 shows an example of an image of a detected area of an environment in front of a vehicle with an area of a raised road surface at a construction site as an obstacle
- FIG. 1 shows a flow chart of an embodiment of a method for video-based detection of obstacles on a roadway according to the invention
- FIG. 2 shows an example of an image of a detected area of an environment in front of a vehicle with an area of a raised road surface at a construction site as an obstacle
- FIG. 1 shows a flow chart of an embodiment of a method for video-based detection of obstacles on a roadway according to the invention
- 3 is an example of an image of a detected area of an environment in front of a vehicle having an area of a raised road surface for traffic calming as an obstacle;
- Fig. 5 shows an embodiment of a device for video-based detection of obstacles on a roadway according to the invention.
- identical, functionally identical and functionally connected elements may be provided with the same reference numerals. Absolute values are given below by way of example only and are not to be construed as limiting the invention.
- the present invention starting from an in-vehicle stereo or. 3D camera system observing the road surface in the surrounding area in front of the vehicle.
- the image data of the detected environmental region generated by the 3D camera system are processed by an algorithm whose flow chart is shown in FIG. 1 and which will be explained below.
- the algorithm receives in a first step S10 the image data from the 3D camera system for further processing.
- a subsequent step S12 the received image data for detecting obstacles transverse to the direction of travel are evaluated.
- the evaluation may include various steps to detect various obstacles, as explained below.
- a plurality of pixels arranged on a horizontal line are detected in a step S120, as shown in the exemplary images of detected environmental regions in front of a vehicle shown in FIGS. 2 and 3.
- Fig. 2 the course of a roadway 14 is shown in front of a vehicle, as it is detected by a 3-D camera system.
- an area 10 (framed by the dashed rectangle) in which a portion 100 of the road surface is lifted, as is often the case, for example, in the renewal of the asphalt pavement of a roadway. Due to the raised road surface portion 100, a leading edge 102 and a trailing edge 104 are formed, respectively between the surface of the roadway 14 and the section 100. A crossing of these two edges 102 and 104, which are transverse to the direction of travel of the vehicle, could lead to damage to the vehicle. Therefore, a speed limit usually applies in the area of such sections.
- the algorithm can now recognize the two edges 102 and 104 and in a subsequent step S122 determine the approximate height of these edges based on the spatial or 3D information contained in the image data generated by the 3D Kemerasystem, in particular calculate or estimate ,
- a section 120 is raised, which is done, for example, for traffic calming on certain roads.
- so-called speed bumper may be mounted on the road surface, which are slightly shorter than the section 120.
- a front driveway 122 is provided at the front of the section 120 and a rear driveway 124 at the rear of the section 120, which defines an oblique transition between the section 120 and the surface of the roadway 14.
- the driveway 122 and the exit 124 can also be recognized by the algorithm in step S120 as their representation in images acquired by the 3D camera system as a plurality of pixels arranged on a horizontal line.
- the approximate height of the section 120 may be determined, in particular calculated or estimated, in step S122 from the space information to the driveway 122 and exit 124 pixels.
- the algorithm in the context of the evaluation the curvature of the surface to be traveled, ie the roadway can be determined.
- a step S124 pixels are recognized on a vertical line, for example the central strip of a road.
- a step S126 the curvature of the road is calculated with the spatial positions of the pixels recognized on the vertical line.
- the algorithm proceeds to a step S14 after the image data is evaluated in step S12, as explained above, in which data on detected obstacles are output. Also, the step S14 has a plurality of sub-steps, as will be explained in detail below.
- step S140 the algorithm determines whether the vehicle can overrun an obstacle detected in step S12, or whether a detected obstacle when overrunning can cause damage to the vehicle.
- the algorithm may perform various functions based on obstacle detection:
- step S1420 Outputting a warning in step S1420 or intervention in the vehicle control (for example, active brake or
- step S1422 in the case of impassable road curvatures (for example, low-lying garages, edges too high in front of garages, speed bumpers too high, etc.);
- step S1424 Changing the vehicle characteristics in step S1424, so that driveability is given again and / or comfort when
- FIG. 5 shows a block diagram of a video-based obstacle detection device 20 according to the invention, which processes data from a stereo-vision camera with left and right imagers 28 and 30, respectively.
- the two imagers 28 and 30 provide image data of the surroundings in front of a vehicle.
- This image data is supplied to an image data reception unit 22, which may be configured to calculate the position of pixels in the space.
- the image data and possibly the calculated pixel positions in the space are transmitted to an image data evaluation unit 24, which evaluates the image data obtained in order to detect obstacles transverse to the direction of travel of the vehicle according to method step S12 explained above.
- An obstacle output unit 26 then outputs data on detected obstacles, for example in the form of a warning (acoustically, visually and / or haptically), by an intervention in the vehicle control and / or by a change in the vehicle characteristics, for example by outputting a corresponding control signal for control devices of the vehicle , which are responsible for the vehicle control (eg active brakes), according to the method step S14 explained above.
- the essence of the invention is the detection of areas in the vehicle environment that can not or should not be driven due to the vehicle characteristics or whose trafficability is limited or can cause damage to the vehicle when driving.
- the areas in the vehicle are characterized by obstacles, which are transverse to the direction of travel and therefore can not be determined by conventional algorithms for environment assessment or difficult, especially since they usually do not cause jumps in a height gradient transverse to the direction of travel. Further aspects of the invention are listed below again:
Abstract
The invention relates to a method for the video-based detection of obstacles on a roadway with the following steps: receiving image data (S10) which are generated by a 3D camera provided for covering a section of a surrounding area in front of a vehicle, said 3D camera being oriented and designed such that the section covered by it comprises at least the entire width of the roadway in front of the vehicle; evaluating the image data (S12) to detect obstacles transversely to the direction of travel of the vehicle; and outputting data (S14) regarding the detected obstacles.
Description
VIDEOBASIERTE ERKENNUNG VON HINDERNISSEN AUF EINER VIDEO-BASED DETECTION OF OBSTACLES TO ONE
FAHRBAHN Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn, die insbesondere für den Einsatz in Fahrerassistenzsystemen geeignet sind. The invention relates to a method and a device for video-based detection of obstacles on a roadway, which are particularly suitable for use in driver assistance systems.
Die DE 10 2009 033 219 A1 beschreibt ein Verfahren zur Ermittlung eines Straßenprofils einer Fahrspur vor einem Fahrzeug anhand von erfassten Bilddaten. Hierbei wird ein Straßenhöhenprofil der Fahrspur durch eine Schätzvorrichtung, beispielsweise einem Kaiman-Filter ermittelt. Die Bilddaten werden insbesondere von einer beispielsweise im Frontbereich des Fahrzeugs fest angeordneten Kamera erzeugt. Durch Vermessen des Straßenhöhenprofils vor dem Fahrzeug und zeitliches Integrieren können zu erwartende Bodenunebenheiten an einem jeweiligen Fahrzeugrad des Fahrzeugs ermittelt werden, wenn das Fahrzeug den vermessenen Bereich überfährt. Darauf basierend kann das Fahrwerk des Fahrzeugs entsprechend geregelt werden. Formal gesehen handelt es sich bei diesem Verfahren um einen stochastischen Messprozess. DE 10 2009 033 219 A1 describes a method for determining a road profile of a traffic lane in front of a vehicle on the basis of acquired image data. In this case, a road height profile of the lane is determined by an estimation device, for example a Kalman filter. In particular, the image data are generated by a camera fixedly arranged, for example, in the front region of the vehicle. By measuring the road height profile in front of the vehicle and integrating time, expected unevenness in the floor of a respective vehicle wheel of the vehicle can be determined when the vehicle passes over the measured area. Based on this, the chassis of the vehicle can be regulated accordingly. Formally, this process is a stochastic measurement process.
Aufgabe der vorliegenden Erfindung ist es nun, ein Verfahren und eine Vorrichtung zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn vorzuschlagen, die gegenüber dem aus der DE 10 2009 033 219 A1 weiter verbessert sind. The object of the present invention is now to propose a method and a device for video-based detection of obstacles on a roadway, which are further improved compared to that from DE 10 2009 033 219 A1.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen. This object is solved by the subject matters of the independent claims. Further embodiments of the invention will become apparent from the dependent claims.
Ein der Erfindung zugrunde liegender Gedanke besteht darin, Hindernisse auf einer Fahrbahn durch Auswerten von Bilddaten einer 3D-Kamera zu erkennen, also eine videobasierte Erkennung zu implementieren, bei der
mittels einer 3D-Kamera eine aktive Auswertezone für die Erkennung von Hindernissen auf einer Fahrbahn verwendet wird, die nicht nur auf den unmittelbaren Bereich von dem Fahrzeug bzw. einem Fahrzeugreifen beschränkt ist, sondern die gesamte Fahrbahnoberfläche (Breite) im Vorausschaubereich des Fahrzeug umfasst. Durch den Einsatz einer SD- Kamera enthalten die Bilddaten zudem Rauminformationen des Vorausschaubereichs des Fahrzeugs. Durch die aktive Auswertezone und die Rauminformationen ist es nun möglich, Hindernisse quer zur Fahrtrichtung wie beispielsweise Bodenschwellen, Kanten (Unstetigkeiten) auf der Fahrzeugtrajektorie und/oder Fahrbahnkrümmungen zu erkennen, die sich insbesondere über die gesamte Breite einer Fahrbahn erstrecken und mit den bisher eingesetzten Algorithmen nicht oder nur sehr schwer erkannt werden können, da sie keine Sprünge in einem Höhenverlauf quer zur Fahrtrichtung bewirken, und daher mit einem auf die Erkennung von solchen Sprüngen spezialisierten Bildverarbeitungsalgorithmus in der Regel nicht erkannt werden können. An underlying idea of the invention is to detect obstacles on a roadway by evaluating image data of a 3D camera, that is to implement a video-based recognition, in which is used by means of a 3D camera, an active evaluation zone for the detection of obstacles on a roadway, which is not limited to the immediate area of the vehicle or a vehicle tire, but comprises the entire road surface (width) in the Vorschaubereich of the vehicle. By using an SD camera, the image data also contain spatial information of the preview area of the vehicle. Due to the active evaluation zone and the spatial information, it is now possible to detect obstacles transverse to the direction of travel, such as bumps, edges (discontinuities) on the vehicle trajectory and / or road curvatures, which extend in particular over the entire width of a road and with the previously used algorithms can not or only very difficult to detect because they do not cause jumps in a height gradient transverse to the direction of travel, and therefore can not be detected with a specialized on the detection of such jumps image processing algorithm in the rule.
Eine Ausführungsform der Erfindung betrifft nun ein Verfahren zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn mit den folgenden Schritten: Empfangen von Bilddaten, die von einer zum Erfassen eines Bereichs einer Umgebung vor einem Fahrzeug vorgesehen 3D-Kamera erzeugt werden, wobei die 3D-Kamera derart ausgerichtet und ausgebildet ist, dass der von ihr erfasste Bereich mindestens die gesamte Breite der Fahrbahn vor dem Fahrzeug umfasst, Auswerten der Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs, und Ausgeben von Daten zu erkannten Hindernissen. An embodiment of the invention now relates to a method for video-based detection of obstacles on a roadway comprising the steps of: receiving image data generated by a 3D camera provided for detecting a region of an environment in front of a vehicle, the 3D camera thus is aligned and formed such that the area covered by it comprises at least the entire width of the roadway in front of the vehicle, evaluating the image data for detecting obstacles transverse to the direction of travel of the vehicle, and outputting data to detected obstacles.
Das Auswerten der Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs kann das Erkennen von mehreren Bildpunkten im Raum, die etwa auf einer horizontalen Linie angeordnet sind, und das Ermitteln einer ungefähren Höhe des Hindernisses abhängig von den erkannten Bildpunkten aufweisen.
Das Auswerten der Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs kann das Erkennen von mehreren Bildpunkten im Raum, die etwa auf einer vertikalen Linie angeordnet sind, und das Berechnen einer Fahrbahnkrümmung abhängig von den erkannten Bildpunkten aufweisen. The evaluation of the image data for detecting obstacles transverse to the direction of travel of the vehicle may include the detection of several pixels in space, which are arranged approximately on a horizontal line, and determining an approximate height of the obstacle depending on the detected pixels. The evaluation of the image data for detecting obstacles transverse to the direction of travel of the vehicle may include the detection of several pixels in space, which are arranged approximately on a vertical line, and the calculation of a roadway curvature depending on the detected pixels.
Das Ausgeben von Daten zu erkannten Hindernissen kann das Bestimmen, ob das Fahrzeug ein erkanntes Hindernis überfahren kann und/oder ob ein erkanntes Hindernis beim Überfahren Beschädigungen am Fahrzeug hervorrufen kann, und das Ausgeben des Ergebnisses des Bestimmens aufweisen. Outputting data on detected obstacles may include determining whether the vehicle can run over a detected obstacle and / or whether a detected obstacle may cause damage to the vehicle when crossing it, and outputting the result of the determining.
Das Ausgeben von Daten zu erkannten Hindernissen abhängig vom Ergebnis des Bestimmens kann ein Ausgeben einer Warnung, einen Eingriff in die Fahrzeugsteuerung und/oder eine Veränderung von Fahrzeugeigenschaften aufweisen. Outputting data on detected obstacles depending on the result of the determination may include issuing a warning, an intervention in the vehicle control and / or a change of vehicle characteristics.
Eine weitere Ausführungsform der Erfindung betrifft eine Vorrichtung zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn mit ersten Mitteln zum Empfangen von Bilddaten, die von einer zum Erfassen eines Bereichs einer Umgebung vor einem Fahrzeug vorgesehen 3D-Kamera erzeugt werden, wobei die 3D-Kamera derart ausgerichtet und ausgebildet ist, dass der von ihr erfasste Bereich mindestens die gesamte Breite der Fahrbahn vor dem Fahrzeug umfasst, zweiten Mitteln zum Auswerten der Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs, unddritten Mitteln zum Ausgeben von Daten zu erkannten Hindernissen. A further embodiment of the invention relates to a device for video-based detection of obstacles on a roadway having first means for receiving image data generated by a 3D camera provided for detecting a region of an environment in front of a vehicle, the 3D camera being aligned in this way and configured such that the area covered by it comprises at least the entire width of the road ahead of the vehicle, second means for evaluating the image data for detecting obstacles transverse to the direction of travel of the vehicle, and third means for outputting data on detected obstacles.
Die zweiten Mittel können ausgebildet sein, ein Verfahren nach der Erfindung und wie hierin beschrieben auszuführen, und die dritten Mittel können ausgebildet sein, ein Verfahren nach der Erfindung und wie hierin beschrieben auszuführen.
Schließlich betrifft eine weitere Ausführungsform der Erfindung ein Fahrerassistenzsystem mit einer Vorrichtung nach der Erfindung und wie hierin beschrieben. Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en). The second means may be adapted to carry out a method according to the invention and as described herein, and the third means may be adapted to carry out a method according to the invention and as described herein. Finally, another embodiment of the invention relates to a driver assistance system having a device according to the invention and as described herein. Further advantages and possible applications of the present invention will become apparent from the following description in conjunction with the / in the drawing (s) illustrated embodiment (s).
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in der/den Zeichnung(en) werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet. In the description, in the claims, in the abstract and in the drawing (s), the terms and associated reference numerals used in the list of reference numerals recited below are used.
Die Zeichnung(en) zeigt/zeigen in The drawing (s) show / show in
Fig. 1 ein Flussdiagramm eines Ausführungsbeispiels eines Verfahrens zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn gemäß der Erfindung; Fig. 2 ein Beispiel eines Bildes eines erfassten Bereichs einer Umgebung vor einem Fahrzeug mit einem Bereich einer abgehobenen Fahrbahnoberfläche bei einer Baustelle als Hindernis; 1 shows a flow chart of an embodiment of a method for video-based detection of obstacles on a roadway according to the invention; FIG. 2 shows an example of an image of a detected area of an environment in front of a vehicle with an area of a raised road surface at a construction site as an obstacle; FIG.
Fig. 3 ein Beispiel eines Bildes eines erfassten Bereichs einer Umgebung vor einem Fahrzeug mit einem Bereich einer angehobenen Fahrbahnoberfläche zur Verkehrsberuhigung als Hindernis; 3 is an example of an image of a detected area of an environment in front of a vehicle having an area of a raised road surface for traffic calming as an obstacle;
Fig. 4 zwei Beispiele von Fahrbahnverläufen mit Hindernissen quer zur Fahrtrichtung eines Fahrzeugs in einer Seitenansicht; und 4 shows two examples of road profiles with obstacles transversely to the direction of travel of a vehicle in a side view; and
Fig. 5 ein Ausführungsbeispiel einer Vorrichtung zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn gemäß der Erfindung.
In der folgenden Beschreibung können gleiche, funktional gleiche und funktional zusammenhängende Elemente mit den gleichen Bezugszeichen versehen sein. Absolute Werte sind im Folgenden nur beispielhaft angegeben und sind nicht als die Erfindung einschränkend zu verstehen. Fig. 5 shows an embodiment of a device for video-based detection of obstacles on a roadway according to the invention. In the following description, identical, functionally identical and functionally connected elements may be provided with the same reference numerals. Absolute values are given below by way of example only and are not to be construed as limiting the invention.
Bei der vorliegenden Erfindung wird ausgehend von einem im Fahrzeug befindlichen Stereo-bzw. 3D-Kamerasystem die Fahrbahnoberfläche im Umgebungsbereich vor dem Fahrzeug beobachtet. Die vom 3D- Kamreasystem erzeugten Bilddaten des erfassten Umgebungsbereichs werden von einem Algorithmus verarbeitet, dessen Flussdiagramm in Fig. 1 dargestellt ist und der im Folgenden erläutert wird. In the present invention, starting from an in-vehicle stereo or. 3D camera system observing the road surface in the surrounding area in front of the vehicle. The image data of the detected environmental region generated by the 3D camera system are processed by an algorithm whose flow chart is shown in FIG. 1 and which will be explained below.
Der Algorithmus empfängt in einem ersten Schritt S10 die Bilddaten vom 3D- Kamreasystem zur weiteren Verarbeitung. In einem darauffolgenden Schritt S12 werden die empfangenen Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung ausgewertet. The algorithm receives in a first step S10 the image data from the 3D camera system for further processing. In a subsequent step S12, the received image data for detecting obstacles transverse to the direction of travel are evaluated.
Die Auswertung kann verschiedene Schritte umfassen, um verschiedene Hindernisse zu erkennen, wie nachfolgend erläutert wird. The evaluation may include various steps to detect various obstacles, as explained below.
Zum Erkennen von Unstetigkeiten im Verlauf der zu überfahrenden Fläche werden in einem Schritt S120 mehrere, auf einer horizontalen Linie angeordnete Bildpunkte erkannt, wie es bei den in Fig. 2 und 3 dargestellten beispielhaften Bildern von erfassten Umgebungsbereichen vor einem Fahrzeug gezeigt ist. In order to detect discontinuities in the course of the surface to be traveled over, a plurality of pixels arranged on a horizontal line are detected in a step S120, as shown in the exemplary images of detected environmental regions in front of a vehicle shown in FIGS. 2 and 3.
In Fig. 2 ist der Verlauf einer Fahrbahn 14 vor einem Fahrzeug gezeigt, wie er von einem 3 D-Kamerasystem erfasst wird. Auf der Fahrbahn 14 befindet sich ein Bereich 10 (eingerahmt durch das gestrichelte Rechteck), in dem ein Abschnitt 100 der Fahrbahnoberfläche abgehoben ist, wie es beispielsweise häufig bei der Erneuerung des Asphaltbelags einer Fahrbahn stattfindet. Aufgrund des Abschnitts 100 mit der abgehobenen Fahrbahnoberfläche entstehen eine vordere Kante 102 und eine hintere Kante 104 jeweils
zwischen der Oberfläche der Fahrbahn 14 und dem Abschnitt 100. Ein Überfahren dieser beiden Kanten 102 und 104, die quer zur Fahrtrichtung des Fahrzeugs liegen, könnte zu Schäden am Fahrzeug führen. Daher gilt in der Regel im Bereich solcher Abschnitte eine Geschwindigkeitsbegrenzung. Durch den Schritt S120 kann der Algorithmus nun die beiden Kanten 102 und 104 erkennen und in einem nachfolgenden Schritt S122 die ungefähre Höhe dieser Kanten anhand der in dem vom 3D-Kemerasystem erzeugten Bilddaten enthaltenen Raum- bzw. 3D-lnformationen ermitteln, insbesondere berechnen oder abschätzen. In Fig. 2, the course of a roadway 14 is shown in front of a vehicle, as it is detected by a 3-D camera system. On the roadway 14 is an area 10 (framed by the dashed rectangle) in which a portion 100 of the road surface is lifted, as is often the case, for example, in the renewal of the asphalt pavement of a roadway. Due to the raised road surface portion 100, a leading edge 102 and a trailing edge 104 are formed, respectively between the surface of the roadway 14 and the section 100. A crossing of these two edges 102 and 104, which are transverse to the direction of travel of the vehicle, could lead to damage to the vehicle. Therefore, a speed limit usually applies in the area of such sections. Through the step S120, the algorithm can now recognize the two edges 102 and 104 and in a subsequent step S122 determine the approximate height of these edges based on the spatial or 3D information contained in the image data generated by the 3D Kemerasystem, in particular calculate or estimate ,
Bei dem in Fig. 3 gezeigten Beispiel ist in einem Bereich 12 der Fahrbahn 14 ein Abschnitt 120 angehoben, was beispielsweise zur Verkehrsberuhigung auf bestimmten Straßen vorgenommen wird. Alternativ können auch sogenannte Speed bumper (Bremsschwelle zur Verkehrsberuhigung) auf der Fahrbahnoberfläche angebracht sein, die etwas kürzer als der Abschnitt 120 sind. Um ein Überfahren des angehobenen Fahrbahnabschnitts 120 zu ermöglichen, sind vorne am Abschnitt 120 eine vordere Auffahrt 122 und hinten am Abschnitt 120 eine hintere Abfahrt 124 vorgesehen, die einen schrägen Übergang zwischen dem Abschnitt 120 und der Oberfläche der Fahrbahn 14 definieren. Auch die Auffahrt 122 und die Abfahrt 124 können durch ihre Darstellung in vom 3D-Kamreasystem erfassten Bildern als mehrere, auf einer horizontalen Linie angeordnete Bildpunkte vom Algorithmus im Schritt S120 erkannt werden. Die ungefähre Höhe des Abschnitts 120 kann im Schritt S122 aus der Rauminformation zu den Bildpunkten der Auffahrt 122 und der Abfahrt 124 ermittelt, insbesondere berechnet oder abgeschätzt werden. In the example shown in FIG. 3, in a region 12 of the road 14, a section 120 is raised, which is done, for example, for traffic calming on certain roads. Alternatively, so-called speed bumper (brake threshold for traffic calming) may be mounted on the road surface, which are slightly shorter than the section 120. In order to enable the raised road section 120 to be passed over, a front driveway 122 is provided at the front of the section 120 and a rear driveway 124 at the rear of the section 120, which defines an oblique transition between the section 120 and the surface of the roadway 14. The driveway 122 and the exit 124 can also be recognized by the algorithm in step S120 as their representation in images acquired by the 3D camera system as a plurality of pixels arranged on a horizontal line. The approximate height of the section 120 may be determined, in particular calculated or estimated, in step S122 from the space information to the driveway 122 and exit 124 pixels.
Weiterhin kann der Algorithmus im Rahmen der Auswertung die Krümmung der zu überfahrenden Fläche, d.h. der Fahrbahn ermittelt werden. Hierzu werden in einem Schritt S124 Bildpunkte auf einer vertikalen Linie erkannt, beispielsweise der Mittelstreifen einer Straße. Anschließend wird in einem Schritt S126 mit den Raumpositionen der auf der vertikalen Linie erkannten Bildpunkte die Krümmung der Fahrbahn bzw. Straße berechnet.
Der Algorithmus fährt nach dem Auswerten der Bilddaten im Schritt S12, wie es oben erläutert ist, mit einem Schritt S14 fort, in dem Daten zu erkannten Hindernissen ausgegeben werden. Auch der Schritt S14 weist mehrere Unterschritte auf, wie es im Folgenden im Detail erläutert wird. Furthermore, the algorithm in the context of the evaluation, the curvature of the surface to be traveled, ie the roadway can be determined. For this purpose, in a step S124 pixels are recognized on a vertical line, for example the central strip of a road. Subsequently, in a step S126, the curvature of the road is calculated with the spatial positions of the pixels recognized on the vertical line. The algorithm proceeds to a step S14 after the image data is evaluated in step S12, as explained above, in which data on detected obstacles are output. Also, the step S14 has a plurality of sub-steps, as will be explained in detail below.
Zunächst bestimmt der Algorithmus in einem Schritt S140, ob das Fahrzeug ein im Schritt S12 erkannten Hindernis überfahren kann, oder ob ein erkanntes Hindernis beim Überfahren Schäden am Fahrzeug hervorrufen kann. First, in a step S140, the algorithm determines whether the vehicle can overrun an obstacle detected in step S12, or whether a detected obstacle when overrunning can cause damage to the vehicle.
Beispielsweise kann bestimmt werden For example, it can be determined
- ob das Fahrzeug in der Lage ist die Fahrbahnkrümmung ohne Beschädigungen zu befahren (siehe beispielsweise die in Fig. 4 oben unter 1 gezeigte Situation), oder whether the vehicle is able to negotiate the lane curvature without damage (see, for example, the situation shown in FIG. 4 at the top of FIG. 1), or
- ob es eine Kante (Unstetigkeit) auf der Fahrzeugtrajektorie gibt, die entweder nicht überfahren werden kann oder Beschädigungen am Fahrzeug hervorrufen könnte (siehe beispielsweise die in Fig. 4 unten unter 2 gezeigte Situation). whether there is an edge (discontinuity) on the vehicle trajectory which either can not be run over or could cause damage to the vehicle (see, for example, the situation shown in Fig. 4 below under 2).
Nachfolgend zum Schritt S142 kann der Algorithmus verschiedene Funktionen ausführen, die auf der Hinderniserkennung basieren: Subsequent to step S142, the algorithm may perform various functions based on obstacle detection:
- Ausgeben einer Warnung im Schritt S1420 oder Eingriff in die Fahrzeugsteuerung (beispielsweise aktiver Brems- oderOutputting a warning in step S1420 or intervention in the vehicle control (for example, active brake or
Lenkeingriff) im Schritt S1422 bei unmöglich befahrbaren Fahrbahnkrümmungen (z.B. tiefliegende Garagen, zu hohe Kanten vor Garagen, zu hohe Speedbumper etc.); Steering intervention) in step S1422 in the case of impassable road curvatures (for example, low-lying garages, edges too high in front of garages, speed bumpers too high, etc.);
- Veränderung der Fahrzeugeigenschaften im Schritt S1424, so dass Überfahrbarkeit wieder gegeben ist und/oder Komfort beim - Changing the vehicle characteristics in step S1424, so that driveability is given again and / or comfort when
Überfahren verbessert wird.
Fig. 5 zeigt ein Blockschaltbild einer videobasierten Hinderniserkennungsvorrichtung 20 gemäß der Erfindung, die Daten einer Stereovisions-Kamera mit linken und einem rechten Imager 28 bzw. 30 verarbeitet. Die beiden Imager 28 und 30 liefern Bilddaten von der Umgebung vor einem Fahrzeug. Diese Bilddaten werden einer Bilddatenempfangseinheit 22 zugeführt, die ausgebildet sein kann, die Position von Bildpunkten im Raum zu berechnen. Die Bilddaten und ggf. die berechneten Bildpunktpositionen im Raum werden an eine Bilddatenauswerteeinheit 24 übermittelt, welche die erhaltenen Bilddaten auswertet, um Hindernisse quer zur Fahrtrichtung des Fahrzeugs erkennen entsprechend dem oben erläuterten Verfahrensschritt S12. Eine Hindernisausgabeeinheit 26 gibt dann Daten zu erkannten Hindernissen aus, beispielsweise in Form einer Warnung (akustisch, visuell und/oder haptisch), durch einen Eingriff in die Fahrzeugsteuerung und/oder durch eine Veränderung der Fahrzeugeigenschaften z.B. durch Ausgabe eines entsprechenden Steuersignals für Steuergeräte des Fahrzeugs, die für die Fahrzeugsteuerung zuständig sind (z.B. aktive Bremsen), entsprechend dem oben erläuterten Verfahrensschritt S14. Der Kern der Erfindung besteht in der Erkennung von Bereichen im Fahrzeugumfeld, die aufgrund der Fahrzeugeigenschaften nicht befahren werden können oder sollten oder deren Befahrbarkeit eingeschränkt ist oder die Schäden am Fahrzeug beim Befahrens verursachen können. Die Bereiche im Fahrzeug zeichnen sich hierbei durch Hindernisse aus, die quer zur Fahrtrichtung liegen und daher von herkömmlichen Algorithmen zur Umfeldbewertung nicht oder nur schwer ermittelt werden können, insbesondere da sie in er Regel keine Sprünge in einem Höhenverlauf quer zur Fahrtrichtung bewirken. Weitere Aspekte der Erfindung sind im Folgenden nochmals aufgelsitet: Overriding is improved. 5 shows a block diagram of a video-based obstacle detection device 20 according to the invention, which processes data from a stereo-vision camera with left and right imagers 28 and 30, respectively. The two imagers 28 and 30 provide image data of the surroundings in front of a vehicle. This image data is supplied to an image data reception unit 22, which may be configured to calculate the position of pixels in the space. The image data and possibly the calculated pixel positions in the space are transmitted to an image data evaluation unit 24, which evaluates the image data obtained in order to detect obstacles transverse to the direction of travel of the vehicle according to method step S12 explained above. An obstacle output unit 26 then outputs data on detected obstacles, for example in the form of a warning (acoustically, visually and / or haptically), by an intervention in the vehicle control and / or by a change in the vehicle characteristics, for example by outputting a corresponding control signal for control devices of the vehicle , which are responsible for the vehicle control (eg active brakes), according to the method step S14 explained above. The essence of the invention is the detection of areas in the vehicle environment that can not or should not be driven due to the vehicle characteristics or whose trafficability is limited or can cause damage to the vehicle when driving. The areas in the vehicle are characterized by obstacles, which are transverse to the direction of travel and therefore can not be determined by conventional algorithms for environment assessment or difficult, especially since they usually do not cause jumps in a height gradient transverse to the direction of travel. Further aspects of the invention are listed below again:
- Berechnung ob eine Fläche mit den gegebenen Fahrzeugeigenschaften (Radstand, Federwege, Abstand Chassis zum Boden) überfahrbar ist (wie in Fig. 4 beispielhaft gezeigt ist).
- Anzeige oder Warnung, falls Bereiche nicht überfahren werden können. - Calculation whether an area with the given vehicle characteristics (wheelbase, suspension travel, distance chassis to the ground) can be driven over (as shown in Fig. 4 by way of example). - Display or warning if areas can not be overrun.
- Aus der Erkennung abgeleitete Eingriffe in die Fahrzeugeigenschaften (z.B. Fahrwerkanhebung), so dass die Bereiche dennoch befahren werden können. - Detection of vehicle characteristics derived from the detection (for example, chassis lift) so that the areas can still be traveled.
- Aus der Erkennung abgeleitete Eingriffe in die Fahrzeugeigenschaften (z.B. Feder/Dämpfer-Verstellung), so dass die Bereiche (z.B. Übergangsbereiche an Parkhausrampen) möglichst „komfortabel" überfahren werden können.
- Interference derived from the recognition in the vehicle characteristics (eg spring / damper adjustment), so that the areas (eg transition areas on parking garage ramps) as possible "comfortable" can be run over.
Bezugszeichen reference numeral
1 0 Bereich mit abgehobener Fahrbahnoberfläche (Hindernis) 1 0 area with raised road surface (obstacle)
1 00 Fahrbahnabschnitt mit angehobener/erhöhter Fahrbahnoberfläche 1 02 vordere Kante des Fahrbahnabschnitts 1 00 1 00 road section with raised / elevated road surface 1 02 leading edge of the road section 1 00
1 04 hintere Kante des Fahrbahnabschnitts 1 00 1 04 rear edge of the lane section 1 00
1 2 Bereich mit angehobener Fahrbahn zur Verkehrsberuhigung 1 2 Area with elevated carriageway for traffic calming
(Hindernis) (Obstacle)
120 angehobener/erhöhter Fahrbahnabschnitt 120 raised / elevated roadway section
122 vordere Auffahrt zum angehobenen/erhöhten Fahrbahnabschnitt 1 20122 front driveway to the raised / elevated carriageway section 1 20
1 24 hintere Abfahrt vom angehobenen/erhöhten Fahrbahnabschnitt 1 201 24 rear exit from raised / elevated carriageway section 1 20
14 Fahrbahn 14 lane
20 videobasierte Hinderniserkennungsvorrichtung 20 video-based obstacle detection device
22 Bilddatenempfangseinheit 22 image data reception unit
24 Bilddatenauswerteeinheit 24 image data evaluation unit
26 Hindernisausgabeeinheit 26 obstacle dispensing unit
28 linker Imager einer 3D-Kamera 28 left imager of a 3D camera
30 rechter Imager einer 3D-Kamera
30 right imager of a 3D camera
Claims
1 . Verfahren zur videobasierten Erkennung von Hindernissen (10; 12) auf einer Fahrbahn (14) mit den folgenden Schritten: 1 . Method for video-based detection of obstacles (10, 12) on a roadway (14) comprising the following steps:
- Empfangen von Bilddaten (S10), die von einer zum Erfassen eines Bereichs einer Umgebung vor einem Fahrzeug vorgesehen SD- Kamera erzeugt werden, wobei die 3D-Kamera derart ausgerichtet und ausgebildet ist, dass der von ihr erfasste Bereich mindestens die gesamte Breite der Fahrbahn vor dem Fahrzeug umfasst, Receiving image data (S10) generated by an SD camera provided for detecting a region of an environment in front of a vehicle, wherein the 3D camera is oriented and configured so that the area covered by it is at least the entire width of the roadway in front of the vehicle,
- Auswerten der Bilddaten (S12) zum Erkennen von Hindernissen (10) quer zur Fahrtrichtung des Fahrzeugs, und - Evaluating the image data (S12) for detecting obstacles (10) transversely to the direction of travel of the vehicle, and
- Ausgeben von Daten (S14) zu erkannten Hindernissen (10). - outputting data (S14) to identified obstacles (10).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Auswerten der Bilddaten (S12) zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs das Erkennen von mehreren2. The method according to claim 1, characterized in that the evaluation of the image data (S12) for detecting obstacles transverse to the direction of travel of the vehicle, the detection of several
Bildpunkten im Raum (S120), die etwa auf einer horizontalen Linie angeordnet sind, und das Ermitteln einer ungefähren Höhe des Pixels in the space (S120), which are arranged approximately on a horizontal line, and determining an approximate height of the
Hindernisses abhängig von den erkannten Bildpunkten (S122) aufweist. Obstacle depending on the detected pixels (S122).
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Auswerten der Bilddaten (S12) zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs das Erkennen von mehreren Bildpunkten im Raum (S124), die etwa auf einer vertikalen Linie angeordnet sind, und das Berechnen einer Fahrbahnkrümmung
abhängig von den erkannten Bildpunkten (S126) aufweist. 3. The method according to claim 1 or 2, characterized in that the evaluation of the image data (S12) for detecting obstacles transverse to the direction of travel of the vehicle, the detection of multiple pixels in the space (S124), which are arranged approximately on a vertical line, and calculating a roadway curvature depending on the detected pixels (S126).
4. Verfahren nach Anspruch 1 , 2 oder 3, dadurch gekennzeichnet, dass das Ausgeben von Daten (S14) zu erkannten Hindernissen das Bestimmen (S140), ob das Fahrzeug ein erkanntes Hindernis überfahren kann und/oder ob ein erkanntes Hindernis beim Überfahren Beschädigungen am Fahrzeug hervorrufen kann, und das Ausgeben des Ergebnisses des Bestimmens (S142) aufweist. 4. The method of claim 1, 2 or 3, characterized in that the outputting of data (S14) to detected obstacles determining (S140) whether the vehicle can run over a detected obstacle and / or whether a detected obstacle when driving over damages on Vehicle, and outputting the result of the determination (S142).
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Ausgeben von Daten (S142) zu erkannten Hindernissen abhängig vom Ergebnis des Bestimmens ein Ausgeben einer Warnung (S1420), einen Eingriff in die Fahrzeugsteuerung (S1422) und/oder eine 5. The method according to claim 4, characterized in that the outputting of data (S142) to identified obstacles depending on the result of the determination of issuing a warning (S1420), an intervention in the vehicle control (S1422) and / or a
Veränderung von Fahrzeugeigenschaften (S1424) aufweist. Modification of vehicle characteristics (S1424) has.
6. Vorrichtung (20) zur videobasierten Erkennung von Hindernissen auf einer Fahrbahn mit 6. Device (20) for video-based detection of obstacles on a roadway with
- ersten Mitteln (22) zum Empfangen von Bilddaten, die von einer zum Erfassen eines Bereichs einer Umgebung vor einem Fahrzeug vorgesehen 3D-Kamera erzeugt werden, wobei die 3D-Kamera derart ausgerichtet und ausgebildet ist, dass der von ihr erfasste Bereich mindestens die gesamte Breite der Fahrbahn vor dem Fahrzeug umfasst, first means (22) for receiving image data generated by a 3D camera provided for detecting a region of an environment in front of a vehicle, wherein the 3D camera is aligned and designed so that the area covered by it is at least the entire Width of the roadway in front of the vehicle includes,
- zweiten Mitteln (24) zum Auswerten der Bilddaten zum Erkennen von Hindernissen quer zur Fahrtrichtung des Fahrzeugs, und - Second means (24) for evaluating the image data for detecting obstacles transverse to the direction of travel of the vehicle, and
- dritten Mitteln (26) zum Ausgeben von Daten zu erkannten - third means (26) for outputting data recognized
Hindernissen.
Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die zweiten Mittel (24) ausgebildet sind, ein Verfahren nach Anspruch 2 oder 3 auszuführen, und Obstacles. Apparatus according to claim 6, characterized in that the second means (24) are adapted to carry out a method according to claim 2 or 3, and
die dritten Mittel (26) ausgebildet sind, ein Verfahren nach einem Anspruch 4 oder 5 auszuführen. the third means (26) are adapted to carry out a method according to claim 4 or 5.
Fahrerassistenzsystem mit einer Vorrichtung nach Anspruch 6 oder 7.
Driver assistance system with a device according to claim 6 or 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE112013003326.7T DE112013003326A5 (en) | 2012-12-12 | 2013-12-09 | Video-based detection of obstacles on a road |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102012112164.8 | 2012-12-12 | ||
| DE102012112164.8A DE102012112164A1 (en) | 2012-12-12 | 2012-12-12 | VIDEO-BASED DETECTION OF OBSTACLES ON A TRACK |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2014090247A1 true WO2014090247A1 (en) | 2014-06-19 |
Family
ID=50033300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/DE2013/200338 WO2014090247A1 (en) | 2012-12-12 | 2013-12-09 | Video-based detection of obstacles on a roadway |
Country Status (2)
| Country | Link |
|---|---|
| DE (2) | DE102012112164A1 (en) |
| WO (1) | WO2014090247A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110770744A (en) * | 2017-06-29 | 2020-02-07 | 大众汽车有限公司 | Device and method for determining properties of a surface in the surroundings of a vehicle |
| US11657532B2 (en) | 2019-12-11 | 2023-05-23 | Nvidia Corporation | Surface profile estimation and bump detection for autonomous machine applications |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015007592A1 (en) * | 2015-06-16 | 2016-12-22 | Audi Ag | Trajectory-based suspension control |
| DE112017003108T5 (en) | 2016-06-24 | 2019-03-28 | Jaguar Land Rover Limited | IMPROVEMENTS IN VEHICLE CONTROL |
| GB2563198B (en) * | 2017-03-15 | 2021-05-26 | Jaguar Land Rover Ltd | A system for identifying water ahead of a vehicle |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5530420A (en) * | 1993-12-27 | 1996-06-25 | Fuji Jukogyo Kabushiki Kaisha | Running guide apparatus for vehicle capable of keeping safety at passing through narrow path and the method thereof |
| DE102009033219A1 (en) | 2009-01-23 | 2010-07-29 | Daimler Ag | Method for determining a road profile of a traffic lane ahead of a vehicle |
| US20120294485A1 (en) * | 2011-05-19 | 2012-11-22 | Fuji Jukogyo Kabushiki Kaisha | Environment recognition device and environment recognition method |
| US20120294481A1 (en) * | 2011-05-19 | 2012-11-22 | Fuji Jukogyo Kabushiki Kaisha | Environment recognition device and environment recognition method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102012004198A1 (en) * | 2012-03-01 | 2012-10-04 | Daimler Ag | Method for assisting driver in driving vehicle, involves graphically outputting critical driving condition such as sliding of vehicle predicted based on terrain profile on display unit mounted on inner space of vehicle |
-
2012
- 2012-12-12 DE DE102012112164.8A patent/DE102012112164A1/en not_active Withdrawn
-
2013
- 2013-12-09 DE DE112013003326.7T patent/DE112013003326A5/en active Pending
- 2013-12-09 WO PCT/DE2013/200338 patent/WO2014090247A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5530420A (en) * | 1993-12-27 | 1996-06-25 | Fuji Jukogyo Kabushiki Kaisha | Running guide apparatus for vehicle capable of keeping safety at passing through narrow path and the method thereof |
| DE102009033219A1 (en) | 2009-01-23 | 2010-07-29 | Daimler Ag | Method for determining a road profile of a traffic lane ahead of a vehicle |
| US20120294485A1 (en) * | 2011-05-19 | 2012-11-22 | Fuji Jukogyo Kabushiki Kaisha | Environment recognition device and environment recognition method |
| US20120294481A1 (en) * | 2011-05-19 | 2012-11-22 | Fuji Jukogyo Kabushiki Kaisha | Environment recognition device and environment recognition method |
Non-Patent Citations (1)
| Title |
|---|
| DARIU M GAVRILA ET AL: "Real-Time Vision for Intelligent Vehicles", IEEE INSTRUMENTATION & MEASUREMENT MAGAZINE, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 4, no. 2, 1 June 2001 (2001-06-01), pages 22 - 27, XP011092015, ISSN: 1094-6969 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110770744A (en) * | 2017-06-29 | 2020-02-07 | 大众汽车有限公司 | Device and method for determining properties of a surface in the surroundings of a vehicle |
| CN110770744B (en) * | 2017-06-29 | 2024-02-02 | 大众汽车有限公司 | Apparatus and method for determining a property of a surface in the surroundings of a vehicle |
| US11657532B2 (en) | 2019-12-11 | 2023-05-23 | Nvidia Corporation | Surface profile estimation and bump detection for autonomous machine applications |
| US11900629B2 (en) | 2019-12-11 | 2024-02-13 | Nvidia Corporation | Surface profile estimation and bump detection for autonomous machine |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112013003326A5 (en) | 2015-03-19 |
| DE102012112164A1 (en) | 2014-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102011014699B4 (en) | Method for operating a driver assistance system for protecting a motor vehicle against damage and motor vehicle | |
| DE102016222502A1 (en) | Lane departure warning apparatus and method | |
| EP2788245B1 (en) | Method and device for locating a predefined parking position | |
| DE102011056671A1 (en) | Determining a height profile of a vehicle environment using a 3D camera | |
| DE102013223367A1 (en) | Method and device for determining a road condition by means of a vehicle camera system | |
| WO2014094766A1 (en) | Method for determining a carriageway condition from environment sensor data | |
| EP3356203B1 (en) | Method for determining a parking surface for parking a motor vehicle, driver assistance system, and motor vehicle | |
| EP2982572B1 (en) | Method for assisting a driver of a motor vehicle when driving out of a parking space, driver assistance system, and motor vehicle | |
| DE102008062708A1 (en) | Method for determining the road level of a parking space | |
| DE102016118497A1 (en) | Determining a virtual lane for a road traveled by a motor vehicle | |
| DE102016110461A1 (en) | Method for detecting an inclination in a roadway for a motor vehicle, driver assistance system and motor vehicle | |
| DE102015012362A1 (en) | A method of assisting a driver of a motor vehicle combination, computer program product, lane departure warning | |
| DE102010045162A1 (en) | Method for transverse guidance of motor car, involves determining voidance trajectory, where wheel contact with determined pothole is avoided when predicted trajectory of motor car leads to wheel contact with pothole | |
| WO2014090247A1 (en) | Video-based detection of obstacles on a roadway | |
| DE102015212296A1 (en) | Method for determining a useful width of a road section | |
| DE102016102065A1 (en) | Method for supporting an autonomous drive of a motor vehicle, control device and parking assistance system | |
| DE102018214915A1 (en) | System for detecting a parking space in the direction of travel | |
| DE102016117712A1 (en) | Method for at least semi-autonomous maneuvering of a motor vehicle taking into account a detection range of a sensor, driver assistance system and motor vehicle | |
| DE102015222784A1 (en) | Lane keeping assistance system for a vehicle and method for its control | |
| DE102015118468A1 (en) | Method for at least semi-autonomous maneuvering of a motor vehicle into a parking space with curb, driver assistance system and motor vehicle | |
| EP2087369B1 (en) | Method for the operation of a parking aid system | |
| DE102020131766A1 (en) | Vehicle system and method for determining a parking area for a vehicle | |
| EP3178727B1 (en) | Method for detecting a longitudinal parking space for parking a motor vehicle on the basis of a road marking, driver assistance system and motor vehicle | |
| DE102019008079A1 (en) | Method for detecting at least one object in a driving area of a vehicle, device set up to carry out such a method, and vehicle with such a device | |
| DE102017103154A1 (en) | Method for generating a digital environment map of an environment of a motor vehicle taking into account a free space, computing device, driver assistance system and motor vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13826837 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 112013003326 Country of ref document: DE Ref document number: 1120130033267 Country of ref document: DE |
|
| REG | Reference to national code |
Ref country code: DE Ref legal event code: R225 Ref document number: 112013003326 Country of ref document: DE Effective date: 20150319 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 13826837 Country of ref document: EP Kind code of ref document: A1 |