WO2009062567A1 - Method and device for image processing, in particular image measuring - Google Patents

Method and device for image processing, in particular image measuring Download PDF

Info

Publication number
WO2009062567A1
WO2009062567A1 PCT/EP2008/008022 EP2008008022W WO2009062567A1 WO 2009062567 A1 WO2009062567 A1 WO 2009062567A1 EP 2008008022 W EP2008008022 W EP 2008008022W WO 2009062567 A1 WO2009062567 A1 WO 2009062567A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
recorded
measurement images
recording
measurement
Prior art date
Application number
PCT/EP2008/008022
Other languages
German (de)
French (fr)
Inventor
Lars KRÜGER
Christian WÖHLER
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Publication of WO2009062567A1 publication Critical patent/WO2009062567A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area

Definitions

  • the invention relates to a method and an apparatus for image processing, in particular image measurement, in which a plurality of measurement images are recorded by one or more recording locations, which are analyzed and evaluated on the basis of recording parameters.
  • Photogrammetric measuring methods are based, for example, on the principle that several images of at least two different photographing locations are taken by an object, the images of the object representing a central projection of the imaged object in the image plane, ie each object point is imaged by a pixel , Corresponding pixels in the various images represent one and the same object and / or spatial point.
  • the object may be provided with calibration or reference markings which serve as reference points for, among other things, photogrammetry, in particular for calibrating the image recording units and / or for scene reconstruction serve.
  • the position of an object point representing and corresponding to each other Pixels in the image plane depend strongly on the choice of the location and the reference points.
  • the invention is therefore based on the object of specifying a method and a device for image processing, which (s) enables accurate and reliable image measurement.
  • the object is achieved by a method having the features of claim 1 and by a device having the features of claim 8.
  • the measurement images are inventively taken and analyzed step by step, wherein subsequent measurement images based on for previous measurement images were determined and recorded in case of incorrect settings with regard to image acquisition possibly changed recording parameters.
  • the recording parameters taking into account method allows an interactive and dynamic image measurement, in which previous incorrect settings with respect to the image recording by changing at least one of the recording parameters can be reduced or completely avoided. This allows a very accurate, simple and secure photogrammetric method.
  • every nth measurement image is analyzed and evaluated, with the aid of which at least one acquisition parameter is adapted or maintained for subsequently acquired measurement images.
  • a plurality of recorded measurement images can be summarized and jointly analyzed and evaluated, based on which at least one acquisition parameter is adapted or maintained for subsequently acquired measurement images.
  • At least one or more recording locations are determined as a first recording parameter, which is analyzed on the basis of at least one recorded measurement image or several preceding measurement images and, where appropriate, its or its position for reducing or completely avoiding incorrect settings with respect to image acquisition. and / or situation.
  • At least one or more pixels of the at least one recorded measurement image or of several preceding measurement images are determined as a second acquisition parameter.
  • the use of the pixel (s) determined as calibration points and / or object points and / or spatial points and / or target points is determined and analyzed, and these, ie, the calibration, object, spatial or target points are optionally adjusted in the case of incorrect settings with regard to image acquisition.
  • the object or a calibration body can be moved or tilted or pivoted and thus its position changed.
  • further pixels corresponding to these calibration points, object points, spatial points or target points can be determined and analyzed in the preceding, in the current and / or subsequent measurement images.
  • FIG. 1 is a block diagram of a device for image processing, in particular image measurement.
  • the single FIGURE shows a device 1 for
  • the device 1 for interactive photogrammetry comprises at least one image acquisition unit 2, which receives a plurality of measurement images Bl, B2 of an object O and / or a space, for example from two acquisition locations A1, A2.
  • the image acquisition unit 2 is for example an optoelectronic stereo image camera system with two cameras 2.1 and 2.2, z. B. video cameras or CCD cameras that record in particular time-synchronous different measurement images Bl and B2 of the object O from the corresponding recording locations Al and A2. It may also be a single camera, which receives several associated measurement images Bl, B2 to Bn of the object O from different recording locations A1, A2.
  • the image acquisition unit 2 comprises an image evaluation unit 3.
  • the image evaluation unit 3 can also be designed as a separate digital evaluation unit, in particular a microprocessor, which is connected to the image acquisition unit 2 in terms of data.
  • the recorded measurement images Bl, B2 are analyzed and evaluated on the basis of these acquisition parameters Pl to Pm representing the image acquisition unit 2 and / or the measurement image environment.
  • the input or recording parameters Pl to Pm for the relevant photogrammetric application such. B. camera calibration or scene reconstruction, stepwise, in particular, keeping pace or possibly only for each nth measurement image Bn determined and evaluated.
  • several recorded measurement images Bl to Bn can be summarized and analyzed together.
  • At least one acquisition parameter P1 to Pn is adapted, for example by recording location A1, A2 by, for example, approaching image acquisition unit 2, in particular one of cameras 2.1 and / or 2.2 is changed to the male object O and thus adapted or further, not yet observed pixels BPn + 1 determined and thus added to the image analysis and image measurement and analyzed.
  • At least one of the or several recording locations A1, A2 is determined as a first recording parameter P1 and analyzed on the basis of at least one or all of the recorded measurement images B1, B2 or a plurality of preceding measurement images Bn-I. If the analysis shows that the location Al, A2 is unsuitable, for example, then its position and / or location will be adjusted accordingly. If, on the other hand, the analysis shows that the location Al, A2 is suitable, the position or position is retained.
  • the adaptation of the position of the recording location A1, A2 is understood to mean, in particular, translational displacement of the image recording unit 2, in particular of one or both cameras to the side, to the front, to the top and / or bottom.
  • the adaptation of the position of the recording location A1, A2 is understood to mean, in particular, vertical and / or horizontal pivoting or rotation of the image recording unit 2, in particular of one or both cameras. It can depending on the structure of
  • Image recording unit 2 whose position or position are changed automatically.
  • acoustic and / or optical instructions for changing the position and / or position of the image recording unit 2 can be output, for example "moving camera 2.1 closer to the object").
  • the position and / or position of the calibration body and thus of the object O can be changed and adjusted.
  • the calibration panel can be moved further to the right or a corresponding handling instruction "Calibration panel continue to hold to the right" acoustically and / or optically output.
  • B2 determines and his or her use as calibration points and / or object points and / or spatial points and / or target points analyzed. If necessary, the calibration, object, spatial or reference points corresponding to the respective pixels BP1 to BPn are adjusted or maintained accordingly. It is also possible to determine and analyze further pixels BPn + 1 which have not yet been observed and are adjacent, for example, to these calibration points, object points, spatial points or target points in the preceding, current and / or subsequent measurement images Bn-I, Bl, Bn + 1.
  • Image acquisition unit 2 is executed until the relevant pixels BP1 to BPn are distributed over the entire acquired measurement image B1, B2.
  • corresponding algorithms can be stored in the image evaluation unit 3 for adapting one or more acquisition parameters P1 to Pm and can be activated automatically or event-controlled or manually. For example, when identifying such a situation or condition, relevant pixels BP1 through BPm may only be in one Bil corner are concentrated as algorithm, the automatic approach of the image pickup unit 2 to the object O or an output of a corresponding hint implemented and deposited.
  • Such, in particular in the image evaluation unit 3 stored algorithms for situational adaptation or modification of acquisition parameters Pl to Pm are application-dependent, ie depending on the function of the method and / or the structure of the image acquisition unit 2, for example, for multi-or monocular camera calibration or scene reconstruction.
  • the focus of photogrammetry is on finding a suitable capture location Al, A2 or minimizing backprojection errors.
  • the subspace of the recording locations A1, A2 can be examined over a corresponding interval for maxima of the negative gradient of the error function. Input data at these points and thus adjustments of acquisition parameters P1 to Pm lead to a strong reduction of the backprojection error.

Abstract

The invention relates to a method for image processing, in particular image measuring, in which a plurality of measured images (B1 to Bn) are captured by one or more capturing sites (A1, A2) by means of at least one image capturing unit (2), said measured images being analysed and evaluated using capturing parameters (P1 to Pm). According to the invention, the measured images (Bl to Bn) are captured and analysed in steps. Subsequent measured images (Bn+1) are captured by capturing parameters (P1 to Pm) detected for the preceding measured images (Bn-1) and if necessary, modified.

Description

Verfahren und Vorrichtung zur Bildverarbeitung insbesondere Bildmessung Method and device for image processing, in particular image measurement
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildverarbeitung, insbesondere Bildmessung, bei dem von einem oder mehreren Aufnahmeorten eine Mehrzahl von Messbildern aufgenommen werden, die anhand von Aufnahmeparametern analysiert und bewertet werden.The invention relates to a method and an apparatus for image processing, in particular image measurement, in which a plurality of measurement images are recorded by one or more recording locations, which are analyzed and evaluated on the basis of recording parameters.
Im Stand der Technik sind verschiedene photogrammetrische Systeme zur hochgenauen ein- oder mehrdimensionalen Vermessung von Objekten und/oder Räumen (auch Bildmesssysteme genannt) bekannt. Photogrammetrische Messverfahren (auch Bildmessverfahren genannt) beruhen beispielsweise auf dem Prinzip, dass von einem Objekt mehrere Bilder von mindestens zwei unterschiedlichen Aufnahmeorten aufgenommen werden, wobei die Abbildungen des Objektes eine Zentralprojektion des abgebildeten Objektes in der Bildebene darstellen, d. h. jeder Objektpunkt ist durch einen Bildpunkt abgebildet. Miteinander korrespondierende Bildpunkte in den verschiedenen Abbildungen stellen ein- und denselben Objekt- und/oder Raumpunkt dar. Dabei kann das Objekt mit Kalibrierungs- oder Bezugsmarkierungen versehen sein, die als Referenzpunkte unter anderem zur Photogrammetrie, insbesondere zur Kalibrierung der Bildaufnahmeeinheiten und/oder zur Szenenrekonstruktion dienen. Die Lage der einen Objektpunkt repräsentierenden und miteinander korrespondierenden Bildpunkte in der Bildebene hängt dabei stark von der Wahl der Aufnahmeorte und der Referenzpunkte ab.Various photogrammetric systems are known in the state of the art for highly accurate one-dimensional or multi-dimensional measurement of objects and / or spaces (also called image measuring systems). Photogrammetric measuring methods (also called image measuring methods) are based, for example, on the principle that several images of at least two different photographing locations are taken by an object, the images of the object representing a central projection of the imaged object in the image plane, ie each object point is imaged by a pixel , Corresponding pixels in the various images represent one and the same object and / or spatial point. The object may be provided with calibration or reference markings which serve as reference points for, among other things, photogrammetry, in particular for calibrating the image recording units and / or for scene reconstruction serve. The position of an object point representing and corresponding to each other Pixels in the image plane depend strongly on the choice of the location and the reference points.
Im Stand der Technik sind verschiedene photogrammetrische Systeme bekannt, die beispielsweise aufgenommene Abbildungen ihre Eignung zur photogrammetrischen Auswertung betreffend analysieren und bewerten. Aus der US 2005/026184911 ist beispielsweise ein solches System bekannt, bei welchem die Aufnahmebilder hinsichtlich ihrer Eignung zur Weiterverarbeitung überprüft werden, wobei bei fehlender Eignung nochmals Abbildungen aufgenommen werden. Dabei werden die aufgenommenen Abbildungen schrittweise verarbeitet und erneut unter gleichen Aufnahmebedingungen wieder aufgenommen. Dies kann zu einer wiederum nicht geeigneten Abbildung oder gar zu einer Verschlechterung weiterer Abbildungen kommen.Various photogrammetric systems are known in the state of the art which analyze and evaluate, for example, recorded images relating to their suitability for photogrammetric evaluation. From US 2005/026184911, for example, such a system is known, in which the recorded images are checked for their suitability for further processing, wherein in the absence of suitability images are taken again. The recorded images are processed step by step and taken up again under the same recording conditions. This can lead to an inappropriate image or even to a worsening of further images.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Bildverarbeitung anzugeben, welche (s) eine genaue und sichere Bildmessung ermöglicht.The invention is therefore based on the object of specifying a method and a device for image processing, which (s) enables accurate and reliable image measurement.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Anspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 8 gelöst.The object is achieved by a method having the features of claim 1 and by a device having the features of claim 8.
Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous developments of the invention are the subject of the dependent claims.
Beim Verfahren zur Bildverarbeitung, insbesondere Bildmessung, bei dem von einem oder mehreren Aufnahmeorten mittels mindestens einer Bildaufnahmeeinheit eine Mehrzahl von Messbildern aufgenommen werden, die anhand von Aufnahmeparametern analysiert und bewertet werden, werden die Messbilder erfindungsgemäß schrittweise aufgenommen und analysiert, wobei nachfolgende Messbilder anhand von für vorangegangene Messbilder ermittelten und bei Fehleinstellungen hinsichtlich der Bildaufnahme gegebenenfalls geänderten Aufnahmeparametern aufgenommen werden. Ein derartiges, die Aufnahmeparameter berücksichtigendes Verfahren ermöglicht eine interaktive und dynamische Bildmessung, bei welcher vorangegangene Fehleinstellungen hinsichtlich der Bildaufnahme durch Änderung mindestens einer der Aufnahmeparameter reduziert oder vollständig vermieden werden können. Hierdurch ist ein sehr genaues, einfaches und sicheres Photogrammetrieverfahren ermöglicht .In the method for image processing, in particular image measurement, in which a plurality of measurement images are recorded by one or more recording locations by means of at least one image acquisition unit, which are analyzed and evaluated on the basis of acquisition parameters, the measurement images are inventively taken and analyzed step by step, wherein subsequent measurement images based on for previous measurement images were determined and recorded in case of incorrect settings with regard to image acquisition possibly changed recording parameters. Such a, the recording parameters taking into account method allows an interactive and dynamic image measurement, in which previous incorrect settings with respect to the image recording by changing at least one of the recording parameters can be reduced or completely avoided. This allows a very accurate, simple and secure photogrammetric method.
Zweckmäßigerweise wird bei mehreren aufgenommenen Messbildern jedes n-te Messbild analysiert und bewertet, anhand dessen mindestens ein Aufnahmeparameter für nachfolgend aufzunehmende Messbilder angepasst oder beibehalten wird. Alternativ oder zusätzlich können mehrere aufgenommene Messbilder zusammengefasst und gemeinsam analysiert und bewertet werden, anhand dessen mindestens ein Aufnahmeparameter für nachfolgend aufzunehmende Messbilder angepasst oder beibehalten wird.Expediently, in the case of a plurality of recorded measurement images, every nth measurement image is analyzed and evaluated, with the aid of which at least one acquisition parameter is adapted or maintained for subsequently acquired measurement images. Alternatively or additionally, a plurality of recorded measurement images can be summarized and jointly analyzed and evaluated, based on which at least one acquisition parameter is adapted or maintained for subsequently acquired measurement images.
In einer möglichen Ausführungsform wird als ein erster Aufnahmeparameter mindestens ein oder mehrere Aufnahmeorte bestimmt, der bzw. die anhand von mindestens einem aufgenommenen Messbild oder mehreren vorangegangenen Messbildern analysiert und die zur Reduzierung oder vollständigen Vermeidung von Fehleinstellungen hinsichtlich der Bildaufnahme gegebenenfalls seine bzw. ihre Position/en und/oder Lage/n betreffend angepasst wird bzw. werden.In one possible embodiment, at least one or more recording locations are determined as a first recording parameter, which is analyzed on the basis of at least one recorded measurement image or several preceding measurement images and, where appropriate, its or its position for reducing or completely avoiding incorrect settings with respect to image acquisition. and / or situation.
Als ein zweiter Aufnahmeparameter wird mindestens ein oder mehrere Bildpunkte des mindestens einen aufgenommenen Messbildes oder mehrerer vorangegangener Messbilder bestimmt. Dabei wird die Verwendung des oder der ermittelten Bildpunkte als Kalibrierungspunkte und/oder Objektpunkte und/oder Raumpunkte und/oder Zielpunkte ermittelt und analysiert und diese, d. h. die Kalibrierungs-, Objekt-, Raum- bzw. Zielpunkte bei Fehleinstellungen hinsichtlich der Bildaufnahme gegebenenfalls angepasst. Beispielsweise kann das Objekt oder ein Kalibrierkörper verschoben oder geneigt oder geschwenkt und somit seine Position geändert werden. Alternativ oder zusätzlich können weitere mit diesen Kalibrierungspunkten, Objektpunkten, Raumpunkten bzw. Zielpunkten korrespondierende Bildpunkte im vorangegangenen, im momentanen und/oder in nachfolgenden Messbildern bestimmt und analysiert werden.At least one or more pixels of the at least one recorded measurement image or of several preceding measurement images are determined as a second acquisition parameter. In this case, the use of the pixel (s) determined as calibration points and / or object points and / or spatial points and / or target points is determined and analyzed, and these, ie, the calibration, object, spatial or target points are optionally adjusted in the case of incorrect settings with regard to image acquisition. For example, the object or a calibration body can be moved or tilted or pivoted and thus its position changed. Alternatively or additionally, further pixels corresponding to these calibration points, object points, spatial points or target points can be determined and analyzed in the preceding, in the current and / or subsequent measurement images.
Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert. Dabei zeigt die einzige:Embodiments of the invention will be explained in more detail with reference to a drawing. The only one shows:
Figur schematisch in Blockdarstellung eine Vorrichtung zur Bildverarbeitung, insbesondere Bildmessung.FIG. 1 is a block diagram of a device for image processing, in particular image measurement.
Die einzige Figur zeigt eine Vorrichtung 1 zurThe single FIGURE shows a device 1 for
Bildverarbeitung, insbesondere Bildmessung. Dabei umfasst die Vorrichtung 1 für eine interaktive Photogrammetrie mindestens eine Bildaufnahmeeinheit 2, die beispielsweise von zwei Aufnahmeorten Al, A2 eine Mehrzahl von Messbildern Bl, B2 eines Objekts O und/oder eines Raumes aufnimmt. Die Bildaufnahmeeinheit 2 ist beispielsweise ein optoelektronisches Stereobildkamerasystem mit zwei Kameras 2.1 und 2.2, z. B. Videokameras oder CCD-Kameras, die insbesondere zeitsynchron verschiedene Messbilder Bl und B2 des Objekts O von den entsprechenden Aufnahmeorten Al bzw. A2 aufnehmen. Auch kann es sich um eine einzelne Kamera handeln, die von verschiedenen Aufnahmeorten Al, A2 mehrere zugehörige Messbilder Bl, B2 bis Bn des Objekts O aufnimmt. Die Bildaufnahmeeinheit 2 umfasst in einer möglichen Ausführungsform eine Bildauswerteeinheit 3. Auch kann die Bildauswerteeinheit 3 als eine separate digitale Auswerteeinheit, insbesondere ein Mikroprozessor ausgebildet sein, die datentechnisch mit der Bildaufnahmeeinheit 2 in Verbindung steht .Image processing, in particular image measurement. In this case, the device 1 for interactive photogrammetry comprises at least one image acquisition unit 2, which receives a plurality of measurement images Bl, B2 of an object O and / or a space, for example from two acquisition locations A1, A2. The image acquisition unit 2 is for example an optoelectronic stereo image camera system with two cameras 2.1 and 2.2, z. B. video cameras or CCD cameras that record in particular time-synchronous different measurement images Bl and B2 of the object O from the corresponding recording locations Al and A2. It may also be a single camera, which receives several associated measurement images Bl, B2 to Bn of the object O from different recording locations A1, A2. In one possible embodiment, the image acquisition unit 2 comprises an image evaluation unit 3. The image evaluation unit 3 can also be designed as a separate digital evaluation unit, in particular a microprocessor, which is connected to the image acquisition unit 2 in terms of data.
Mittels der Bildauswerteeinheit 3 werden die aufgenommenen Messbilder Bl, B2 anhand von diese, die Bildaufnahmeeinheit 2 und/oder die Messbildumgebung repräsentierenden Aufnahmeparametern Pl bis Pm analysiert und bewertet. Dabei werden die Eingabe- oder Aufnahmeparameter Pl bis Pm für die betreffende photogrammetrische Applikation, wie z. B. Kamerakalibrierung oder Szenenrekonstruktion, schrittweise, insbesondere schritthaltend oder gegebenenfalls auch nur für jedes n-te Messbild Bn bestimmt und ausgewertet. Auch können mehrere aufgenommene Messbilder Bl bis Bn zusammengefasst und gemeinsam analysiert werden. Kommt es dabei beispielsweise durch die Konzentration von Objektpunkte repräsentierenden Bildpunkten BPl bis BPn in einem Bildausschnitt, so wird mindestens ein Aufnahmeparameter Pl bis Pn angepasst, indem beispielsweise der Aufnahmeort Al, A2 durch beispielsweise Heranfahren der Bildaufnahmeeinheit 2, insbesondere einer der Kameras 2.1 und/oder 2.2 an das aufzunehmende Objekt O geändert und somit angepasst wird oder weitere, noch nicht beobachtete Bildpunkte BPn+1 bestimmt und somit zur Bildanalyse und Bildmessung hinzugefügt und analysiert werden. Dabei erfolgt die Analyse der aufgenommenen Messbilder Bl bis Bn und der zugehörigen Aufnahmeparameter Pl bis Pm und deren dynamische Anpassung anhand von vorgegebenen Regeln und mathematischen Informationen. Im Detail wird beispielsweise als ein erster Aufnahmeparameter Pl mindestens einer der oder mehrere Aufnahmeorte Al, A2 bestimmt und anhand von mindestens einem der oder allen aufgenommenen Messbilder Bl, B2 oder mehreren vorangegangenen Messbilder Bn-I analysiert. Ergibt die Analyse, dass der Aufnahmeort Al, A2 beispielsweise ungeeignet ist, so wird dessen Position und/oder Lage entsprechend angepasst. Ergibt hingegen die Analyse, dass der Aufnahmeort Al, A2 geeignet ist, so wird die Position bzw. Lage beibehalten. Unter der Anpassung der Position des Aufnahmeortes Al, A2 wird ein insbesondere translatorisches Verschieben der Bildaufnahmeeinheit 2, insbesondere einer oder beider Kameras zur Seite, nach vorne, nach oben und/oder unten verstanden. Unter der Anpassung der Lage des Aufnahmeortes Al, A2 wird insbesondere ein vertikales und/oder horizontales Schwenken oder Drehen der Bildaufnahmeeinheit 2, insbesondere einer oder beider Kameras verstanden. Dabei kann je nach Aufbau derBy means of the image evaluation unit 3, the recorded measurement images Bl, B2 are analyzed and evaluated on the basis of these acquisition parameters Pl to Pm representing the image acquisition unit 2 and / or the measurement image environment. In this case, the input or recording parameters Pl to Pm for the relevant photogrammetric application, such. B. camera calibration or scene reconstruction, stepwise, in particular, keeping pace or possibly only for each nth measurement image Bn determined and evaluated. Also, several recorded measurement images Bl to Bn can be summarized and analyzed together. If, for example, image points BP1 to BPn representing the concentration of object points occur in an image section, then at least one acquisition parameter P1 to Pn is adapted, for example by recording location A1, A2 by, for example, approaching image acquisition unit 2, in particular one of cameras 2.1 and / or 2.2 is changed to the male object O and thus adapted or further, not yet observed pixels BPn + 1 determined and thus added to the image analysis and image measurement and analyzed. In this case, the analysis of the recorded measurement images Bl to Bn and the associated acquisition parameters Pl to Pm and their dynamic adaptation based on predetermined rules and mathematical information. In detail, for example, at least one of the or several recording locations A1, A2 is determined as a first recording parameter P1 and analyzed on the basis of at least one or all of the recorded measurement images B1, B2 or a plurality of preceding measurement images Bn-I. If the analysis shows that the location Al, A2 is unsuitable, for example, then its position and / or location will be adjusted accordingly. If, on the other hand, the analysis shows that the location Al, A2 is suitable, the position or position is retained. The adaptation of the position of the recording location A1, A2 is understood to mean, in particular, translational displacement of the image recording unit 2, in particular of one or both cameras to the side, to the front, to the top and / or bottom. The adaptation of the position of the recording location A1, A2 is understood to mean, in particular, vertical and / or horizontal pivoting or rotation of the image recording unit 2, in particular of one or both cameras. It can depending on the structure of
Bildaufnahmeeinheit 2 deren Position bzw. Lage automatisch geändert werden. Alternativ oder zusätzlich können akustisch und/oder optisch Handlungsanweisungen zur Änderung der Lage und/oder Position der Bildaufnahmeeinheit 2 ausgegeben werden, beispielsweise "Kamera 2.1 näher an das Objekt bewegen") . Auch kann, für den Fall, dass als Objekt O ein Kalibrierkörper, beispielsweise eine Kalibriertafel verwendet wird, die Lage und/oder Position des Kalibrierkörpers und somit des Objektes O geändert und angepasst werden. So kann beispielsweise die Kalibriertafel weiter nach rechts verschoben werden oder eine entsprechende Handlungsanweisung "Kalibriertafel weiter nach rechts halten" akustisch und/oder optisch ausgegeben werden.Image recording unit 2 whose position or position are changed automatically. Alternatively or additionally, acoustic and / or optical instructions for changing the position and / or position of the image recording unit 2 can be output, for example "moving camera 2.1 closer to the object"). Also, in the event that a calibration body, for example a calibration panel, is used as the object O, the position and / or position of the calibration body and thus of the object O can be changed and adjusted. Thus, for example, the calibration panel can be moved further to the right or a corresponding handling instruction "Calibration panel continue to hold to the right" acoustically and / or optically output.
Zur Analyse des Bildinhalts der aufgenommenen Messbilder Bl bis Bn wird vorzugsweise als ein weiterer Aufnahmeparameter P2 mindestens ein oder mehrere Bildpunkte BPl bis BPn des mindestens einen aufgenommenen Messbildes Bl, B2 bestimmt und seine oder ihre Verwendung als Kalibrierungspunkte und/oder Objektpunkte und/oder Raumpunkte und/oder Zielpunkte analysiert. Erforderlichenfalls werden die mit den betreffenden Bildpunkten BPl bis BPn korrespondierenden Kalibrierungs-, Objekt-, Raum- oder Referenzpunkte entsprechend angepasst oder beibehalten. Auch können weitere, noch nicht beobachtete und beispielsweise zu diesen Kalibrierungspunkten, Objektpunkten, Raumpunkten bzw. Zielpunkten angrenzende Bildpunkte BPn+1 im vorangegangenen, im momentanen und/oder in nachfolgenden Messbildern Bn-I, Bl, Bn+1 bestimmt und analysiert werden.For analyzing the image content of the recorded measurement images Bl to Bn is preferably as another Recording parameter P2 at least one or more pixels BPl to BPn of at least one recorded measurement image Bl, B2 determines and his or her use as calibration points and / or object points and / or spatial points and / or target points analyzed. If necessary, the calibration, object, spatial or reference points corresponding to the respective pixels BP1 to BPn are adjusted or maintained accordingly. It is also possible to determine and analyze further pixels BPn + 1 which have not yet been observed and are adjacent, for example, to these calibration points, object points, spatial points or target points in the preceding, current and / or subsequent measurement images Bn-I, Bl, Bn + 1.
Werden beispielsweise die zu Kalibrierungs-, Objekt-, Raumoder Referenzpunkte (auch Photogrammetrietargets genannt) korrespondierenden Bildpunkte BPl bis BPn sehr konzentriert in einem Bildbereich, z. B. einer Ecke des Messbildes Bl, B2 gefunden, wird die Bildaufnahmeeinheit 2 näher an das Objekt O herangefahren oder ein solcher entsprechender Hinweis zum Heranfahren der Bildaufnahmeeinheit 2 ausgegeben. Die Änderung des Aufnahmeortes Al, A2 derFor example, if the pixels BP1 to BPn corresponding to calibration, object, space or reference points (also called photogrammetry targets) are very concentrated in an image area, e.g. B. a corner of the measurement image Bl, B2, the image pickup unit 2 is approached closer to the object O or such a corresponding hint for approaching the image pickup unit 2 output. The change of the location Al, A2 the
Bildaufnahmeeinheit 2 wird dabei solange ausgeführt, bis die betreffenden Bildpunkte BPl bis BPn über das gesamte erfasste Messbild Bl, B2 verteilt sind.Image acquisition unit 2 is executed until the relevant pixels BP1 to BPn are distributed over the entire acquired measurement image B1, B2.
Bei der Anwendung des erfindungsgemäßen Verfahrens zur Szenenrekonstruktion oder zur Kamerakalibrierung können zur Anpassung eines der oder mehrerer Aufnahmeparameter Pl bis Pm entsprechende Algorithmen in der Bildauswerteeinheit 3 hinterlegt sein und automatisch oder ereignisgesteuert oder manuell aktiviert werden. So kann beispielsweise bei Identifizierung einer solchen Situation oder eines solchen Zustands, dass relevante Bildpunkte BPl bis BPm nur in einer Bildecke konzentriert sind, als Algorithmus das automatische Heranfahren der Bildaufnahmeeinheit 2 an das Objekt O oder eine Ausgabe eines entsprechenden Hinweises implementiert und hinterlegt sein.When using the method according to the invention for scene reconstruction or for camera calibration, corresponding algorithms can be stored in the image evaluation unit 3 for adapting one or more acquisition parameters P1 to Pm and can be activated automatically or event-controlled or manually. For example, when identifying such a situation or condition, relevant pixels BP1 through BPm may only be in one Bil corner are concentrated as algorithm, the automatic approach of the image pickup unit 2 to the object O or an output of a corresponding hint implemented and deposited.
Derartige, insbesondere in der Bildauswerteeinheit 3 hinterlegte Algorithmen zur situationsbedingten Anpassung bzw. Änderung von Aufnahmeparametern Pl bis Pm sind applikationsabhängig, d.h. abhängig von der Funktion des Verfahrens und/oder dem Aufbau der Bildaufnahmeeinheit 2, beispielsweise zur multiokularen oder monokularen Kamerakalibrierung bzw. Szenenrekonstruktion. Darüber hinaus wird bei der Implementierung und dem zugrunde liegenden Bildmessverfahren der Fokus der Photogrammetrie auf das Finden eines geeigneten Aufnahmeortes Al, A2 oder Minimierung von Rückprojektionsfehlern gesetzt. So kann beispielsweise der Unterraum der Aufnahmeorte Al, A2 (= Kamerapositionen) über ein entsprechendes Intervall nach Maxima des negativen Gradienten der Fehlerfunktion untersucht werden. Eingabedaten an diesen Stellen und somit Anpassungen von Aufnahmeparametern Pl bis Pm führen zu einer starken Verringerung des Rückprojektionsfehlers. Dabei können die Hinweise neben einer akustischen Ausgabe auch visuell, z. B. durch eine angezeigte Zielposition im aktuellen Messbild Bl, B2 ausgegeben werden. Weiterhin können sich Hinweise auf die aktuelle Position, d.h. den aktuellen Aufnahmeort Al, A2, z. B. "Kamera weiter nach rechts", oder das aktuelle Objekt O, z. B. "Kalibrierkörper weiter nach links", beziehen. BezugszeichenlisteSuch, in particular in the image evaluation unit 3 stored algorithms for situational adaptation or modification of acquisition parameters Pl to Pm are application-dependent, ie depending on the function of the method and / or the structure of the image acquisition unit 2, for example, for multi-or monocular camera calibration or scene reconstruction. Moreover, in the implementation and underlying image measurement method, the focus of photogrammetry is on finding a suitable capture location Al, A2 or minimizing backprojection errors. Thus, for example, the subspace of the recording locations A1, A2 (= camera positions) can be examined over a corresponding interval for maxima of the negative gradient of the error function. Input data at these points and thus adjustments of acquisition parameters P1 to Pm lead to a strong reduction of the backprojection error. The notes in addition to an acoustic output and visually, z. B. by a displayed target position in the current measurement image Bl, B2 are output. Furthermore, indications of the current position, ie the current recording location Al, A2, z. As "camera continues to the right", or the current object O, z. B. "calibration body further to the left" relate. LIST OF REFERENCE NUMBERS
1 Vorrichtung zur Bildverarbeitung1 device for image processing
2 Bildaufnahmeeinheit 2.1, 2.2 Kamera2 Imaging Unit 2.1, 2.2 Camera
3 Bildauswerteeinheit3 image evaluation unit
Al, A2 AufnahmeortAl, A2 location
Bl, B2 bis Bn MessbilderBl, B2 to Bn measurement images
BPl bis BPn BildpunkteBPl to BPn pixels
Pl bis Pm AufnahmeparameterPl to Pm recording parameters
O Objekt O object

Claims

Patentansprüche claims
1. Verfahren zur Bildverarbeitung, insbesondere Bildmessung, bei dem von einem oder mehreren Aufnahmeorten (Al, A2 ) mittels mindestens einer Bildaufnahmeeinheit (2) eine Mehrzahl von Messbildern (Bl bis Bn) aufgenommen werden, die anhand von Aufnahmeparametern (Pl bis Pm) analysiert und bewertet werden, dadurch gekennzeichnet, dass die Messbilder (Bl bis Bn) schrittweise aufgenommen und analysiert werden, wobei nachfolgende Messbilder (Bn+1) anhand von für vorangegangene Messbilder (Bn-I) erfassten und im Rahmen einer Reduzierung oder vollständigen Vermeidung von Fehleinstellungen hinsichtlich der Bildaufnahme gegebenenfalls geänderten Aufnahmeparametern (Pl bis Pm) aufgenommen werden.1. A method for image processing, in particular image measurement, in which of a plurality of recording locations (A1, A2) by means of at least one image recording unit (2) a plurality of measurement images (Bl to Bn) are recorded, which analyzes based on recording parameters (Pl to Pm) and being evaluated, characterized in that the measurement images (Bl to Bn) are recorded and analyzed step by step, whereby subsequent measurement images (Bn + 1) are recorded on the basis of previous measurement images (Bn-I) and in the context of a reduction or complete avoidance of incorrect settings with regard to the image recording, possibly changed recording parameters (Pl to Pm) are recorded.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei mehreren aufgenommenen Messbildern (Bl bis Bn) jedes n-te Messbild analysiert und bewertet wird, anhand dessen mindestens ein Aufnahmeparameter (Pl bis Pm) für nachfolgend aufzunehmende Messbilder (Bn+1) angepasst oder beibehalten wird. 2. The method according to claim 1, characterized in that when several recorded measurement images (Bl to Bn) each n-th measurement image is analyzed and evaluated, based on which at least one acquisition parameter (Pl to Pm) adapted for subsequently recorded measurement images (Bn + 1) or maintained.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mehrere aufgenommene Messbilder (Bl bis Bn) zusammengefasst und gemeinsam analysiert und bewertet werden, anhand dessen mindestens ein Aufnahmeparameter (Pl bis Pm) für nachfolgend aufzunehmende Messbilder (Bn+1) angepasst oder beibehalten wird.3. The method according to claim 1 or 2, characterized in that a plurality of recorded measurement images (Bl to Bn) are summarized and analyzed and evaluated together, based on which at least one recording parameter (Pl to Pm) for subsequently recorded measurement images (Bn + 1) adapted or is maintained.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als ein erster Aufnahmeparameter (Pl) mindestens ein oder mehrere Aufnahmeorte (Al, A2) analysiert wird bzw. werden und diese zu Reduzierung oder vollständigen Vermeidung von Fehleinstellungen hinsichtlich der Bildaufnahme gegebenenfalls angepasst werden.4. The method according to any one of the preceding claims, characterized in that as a first recording parameter (Pl) at least one or more recording locations (Al, A2) is analyzed and will be adapted to reduce or completely avoid misadjustments in terms of image acquisition, if necessary ,
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als ein zweiter Aufnahmeparameter (P2) mindestens ein oder mehrere Bildpunkte (BPl bis BPn) des mindestens einen aufgenommenen Messbildes (Bl, B2) oder mehrerer vorangegangener Messbilder (Bn-I) bestimmt und dessen oder deren Verwendung als Kalibrierungspunkte und/oder Objektpunkte und/oder Raumpunkte und/oder Zielpunkte ermittelt und analysiert werden, wobei die betreffenden Kalibrierungs-, Objekt-, Raum- bzw. Zielpunkte zur Reduzierung oder vollständigen Vermeidung von Fehleinstellungen hinsichtlich der Bildaufnahme gegebenenfalls angepasst werden.5. The method according to any one of the preceding claims, characterized in that as a second recording parameter (P2) at least one or more pixels (BPl to BPn) of the at least one recorded measurement image (Bl, B2) or more preceding measurement images (Bn-I) determined and its or their use as calibration points and / or object points and / or spatial points and / or target points are determined and analyzed, wherein the respective calibration, object, space or target points for reducing or completely avoiding incorrect settings with regard to image acquisition adapted if necessary become.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass weitere, mit den Kalibrierungspunkten, Objektpunkten, Raumpunkten bzw. Zielpunkten korrespondierende Bildpunkte (BPn+1) im vorangegangenen, im momentanen und/oder in nachfolgenden Messbildern (Bn-I, Bn, Bn+1) bestimmt und analysiert werden .6. The method according to claim 5, characterized in that further, with the calibration points, object points, spatial points or target points corresponding pixels (BPn + 1) in preceding, in the current and / or subsequent measurement images (Bn-I, Bn, Bn + 1) are determined and analyzed.
7. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 6 zum Kalibrieren einer Bildaufnahmeeinheit (2) und/oder für eine Szenenrekonstruktion.7. Use of the method according to one of claims 1 to 6 for calibrating an image recording unit (2) and / or for a scene reconstruction.
8. Vorrichtung (1) zur Bildverarbeitung, insbesondere Bildmessung, umfassend mindestens eine Bildaufnahmeeinheit (2), die von einem oder mehreren Aufnahmeorten (Al, A2) eine Mehrzahl von Messbildern (Bl bis Bn) aufnimmt, und eine Bildauswerteeinheit (3) , die die aufgenommenen Messbilder (Bl bis Bn) anhand von Aufnahmeparametern (Pl bis Pm) analysiert und bewertet, dadurch gekennzeichnet, dass die Bildaufnahmeeinheit (2) in Abhängigkeit von aufgenommenen und analysierten Messbilder (Bl bis Bn) und einer daraus resultierenden Beibehaltung oder Änderung von Aufnahmeparametern (Pl bis Pm) nachfolgende Messbilder (Bn+1) aufnimmt. 8. Device (1) for image processing, in particular image measurement, comprising at least one image acquisition unit (2), which receives a plurality of measurement images (Bl to Bn) from one or more recording locations (Al, A2), and an image evaluation unit (3) the recorded measurement images (Bl to Bn) are analyzed and evaluated on the basis of acquisition parameters (P1 to Pm), characterized in that the image acquisition unit (2) in dependence on recorded and analyzed measurement images (Bl to Bn) and a resulting retention or modification of acquisition parameters (Pl to Pm) takes subsequent measurement images (Bn + 1).
PCT/EP2008/008022 2007-11-13 2008-09-23 Method and device for image processing, in particular image measuring WO2009062567A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007054088.6 2007-11-13
DE200710054088 DE102007054088A1 (en) 2007-11-13 2007-11-13 Method and device for image processing, in particular image measurement

Publications (1)

Publication Number Publication Date
WO2009062567A1 true WO2009062567A1 (en) 2009-05-22

Family

ID=40092112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/008022 WO2009062567A1 (en) 2007-11-13 2008-09-23 Method and device for image processing, in particular image measuring

Country Status (2)

Country Link
DE (1) DE102007054088A1 (en)
WO (1) WO2009062567A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013107597A1 (en) 2013-01-11 2014-08-14 Stephan Hörmann Method for measuring width and height of building opening for producing e.g. rolling gate to close opening in garage, involves determining width and/or height by evaluating obtained distance and image data of opening and calibration device
DE102013016486A1 (en) 2013-09-13 2015-04-02 Stephan Hörmann Surveying procedures for building openings and building closure manufacturing processes and devices for carrying them out

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831621A (en) * 1996-10-21 1998-11-03 The Trustees Of The University Of Pennyslvania Positional space solution to the next best view problem
US6094215A (en) * 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
US20050261849A1 (en) * 2002-09-19 2005-11-24 Topcon Corporation Image calibration method, image calibration processing device, and image calibration processing terminal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831621A (en) * 1996-10-21 1998-11-03 The Trustees Of The University Of Pennyslvania Positional space solution to the next best view problem
US6094215A (en) * 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
US20050261849A1 (en) * 2002-09-19 2005-11-24 Topcon Corporation Image calibration method, image calibration processing device, and image calibration processing terminal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HE B W ET AL: "A Next-Best-View Method With self-termination in Active Modeling of 3D Objects", INTELLIGENT ROBOTS AND SYSTEMS, 2006 IEEE/RSJ INTERNATIONAL CONFERENCE ON, IEEE, PI, 1 October 2006 (2006-10-01), pages 5345 - 5350, XP031006987, ISBN: 978-1-4244-0258-8 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013107597A1 (en) 2013-01-11 2014-08-14 Stephan Hörmann Method for measuring width and height of building opening for producing e.g. rolling gate to close opening in garage, involves determining width and/or height by evaluating obtained distance and image data of opening and calibration device
DE102013016486A1 (en) 2013-09-13 2015-04-02 Stephan Hörmann Surveying procedures for building openings and building closure manufacturing processes and devices for carrying them out

Also Published As

Publication number Publication date
DE102007054088A1 (en) 2009-05-20

Similar Documents

Publication Publication Date Title
EP1711777B1 (en) Method for determining the position and the relative motion of an object in a space
EP3156967B1 (en) Method and device for creating a microscopic panorama
DE102016206493A1 (en) Method and camera system for determining the distance of objects to a vehicle
WO2013149916A2 (en) Method and device for optically determining a position and/or orientation of an object in space
DE102007029884A1 (en) A method and apparatus for generating an overall image composed of a plurality of endoscopic frames from an interior surface of a body cavity
DE102014206309A1 (en) System and method for obtaining offset images for use for improved edge resolution
EP2527784A1 (en) Optical measurement method and system for determining 3D coordinates of a measured object surface
EP3143411B1 (en) Method for determining the presence or absence of disposable pipette tips in pipette tip carriers
DE102006005036A1 (en) System for determination of form and alignment of body, comprises of computer-aided navigation system, detection unit and tracing device, which can be detected by computer-aided navigation system
DE202019105838U1 (en) Arrangement with a coordinate measuring machine or microscope
WO2008014960A1 (en) Method for automated 3d-object recognition and location determination
WO2020148036A1 (en) Method and device for inspecting hard-to-reach components
DE102016002186A1 (en) Method and image processing device for determining a geometric measured variable of an object
DE102019116834A1 (en) Augmented photo capture
WO2009062567A1 (en) Method and device for image processing, in particular image measuring
EP2996327B1 (en) Surround view system for vehicles with attachments
DE102010042821B4 (en) Method and apparatus for determining a basic width of a stereo detection system
DE112013002024T5 (en) Color vision inspection system and method for inspecting a vehicle
DE102019206083A1 (en) Optical inspection procedures, camera system and vehicle
DE102019102252A1 (en) Procedure for supporting the installation of a sensor or a luminaire in lighting systems
DE102007038785A1 (en) Method and device for determining geometric data of a measurement object
DE102017120035A1 (en) Method and test device for checking the quality of results of mechanical processing of a sheet
DE102013217347A1 (en) USER INTERFACE FOR PARAMETER ADJUSTMENT FOR EDGE MEASUREMENT VIDEO TOOLS
EP3174010A2 (en) Method for creating a 3d representation and corresponding image recording apparatus
DE102015210870A1 (en) Apparatus and method for capturing an image of a vehicle environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08802512

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08802512

Country of ref document: EP

Kind code of ref document: A1