DE102004047905A1 - Calibration of optical sensors, for augmented reality system by use at least two tracking systems, involves determining transformation of optical sensor relative to tracking object - Google Patents
Calibration of optical sensors, for augmented reality system by use at least two tracking systems, involves determining transformation of optical sensor relative to tracking object Download PDFInfo
- Publication number
- DE102004047905A1 DE102004047905A1 DE200410047905 DE102004047905A DE102004047905A1 DE 102004047905 A1 DE102004047905 A1 DE 102004047905A1 DE 200410047905 DE200410047905 DE 200410047905 DE 102004047905 A DE102004047905 A DE 102004047905A DE 102004047905 A1 DE102004047905 A1 DE 102004047905A1
- Authority
- DE
- Germany
- Prior art keywords
- tracking
- transformation
- systems
- optical
- optical sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
Abstract
Description
Aus dem Stand der Technik sind sogenannte Augmented Reality Systeme bekannt. Diese erlauben die Überlagerung von computergenerierten, virtuellen Informationen mit Seheindrücken der realen Umgebung. Hierzu werden die Seheindrücke der realen Welt, vorzugsweise mit auf dem Kopf getragenen halbdurchlässigen Datenbrillen, mit virtuellen Informationen gemischt. Die Einblendung der virtuellen Informationen bzw. Objekte kann dabei kontextabhängig, d.h. angepasst und abgeleitet von der jeweilig betrachteten realen Umgebung ausgeführt sein. Als Informationen können grundsätzlich jede Art von Daten wie Texte, Abbildungen etc. verwendet werden.Out the prior art are so-called augmented reality systems known. These allow the overlay of computer generated, virtual information with visual impressions of the real environment. To this end, the visual impressions of the real world, preferably with semipermeable data glasses worn on the head, with virtual Information mixed. The insertion of the virtual information or objects can be context-dependent, i. adapted and derived be executed by the respective considered real environment. When Information can in principle Any type of data such as texts, illustrations etc. can be used.
Dokumentierte
Anwendungen der Technologie sehen einen Einsatz in der Produktion,
im Service und in der Entwicklung komplexer Produkte vor. Auch ist
der Einsatz der Technologie aus der Produktion von Flugzeugen bekannt.
Nach der Druckschrift
Zusätzlich sind aus dem Stand der Technik Positionserfassungssysteme bekannt, die die Position und oder Orientierung von Objekten in einem Vermessungsraum bestimmen. Diese sogenannten Tracking-Systeme erlauben beispielsweise die Erfassung von bis zu sechs Freiheitsgraden eines Objektes. Zum Einsatz kommen Systeme mit unterschiedlichsten physikalischen Wirkprinzipien. Gängig sind sogenannte optische Tracking-Systeme, die durch verschiedene Verfahren der computergestützten Bildverarbeitung die Position von im Vermessungsraum befindlichen Objekten und oder die Position der Kamera (bzw. des Bildaufnehmers der Kamera) über die Erkennung der Objekte bestimmen.In addition are known from the prior art position detection systems, which the position and or orientation of objects in a survey room determine. These so-called tracking systems allow, for example the acquisition of up to six degrees of freedom of an object. To the The use of systems with different physical principles of action. common are so-called optical tracking systems by different Method of computer-aided image processing the position of objects in the survey room and / or the position of the camera (or the image sensor of the camera) over the Determine detection of the objects.
Zusätzlich sind aus dem Stand der Technik statistischen Verfahren zur Optimierung von Messwerten bekannt (Nash, J. C. "The Singular-Value Decomposition and Its Use to Solve Least-Squares Problems." Ch. 3 in Compact Numerical Methods for Computers: Linear Algebra and Function Minimisation, 2nd ed. Bristol, England: Adam Hilger, pp. 30-48, 1990).In addition are from the prior art statistical method of optimization from readings (Nash, J.C. "The Singular-Value Decomposition and Its Use to Solve Least-Squares Problems. "Ch. 3 in Compact Numerical Methods for Computers: Linear Algebra and Function Minimization, 2nd ed. Bristol, England: Adam Hilger, pp. 30-48, 1990).
Nachteiledisadvantage
Nachteilig an den bekannten Verfahren zur optischen Bestimmung der Position ist der eingeschränkte Arbeitsbereich sowie die starke Abhängigkeit der Qualität der Ergebnisse von Umgebungseinflüssen (z.B. Helligkeit). Vorteilhaft ist somit die Kombination verschiedener Trackingverfahren.adversely in the known method for the optical determination of the position is the restricted one Work area as well as the strong dependency of the quality of the results of environmental influences (e.g., brightness). Thus, the combination of different is advantageous Tracking method.
Bekannte Verfahren des kombinierten Trackings benötigen eine aufwendige Initialisierungsprozedur durch einen erfahrenen Benutzer (z.B. durch das Auswählen definierter Punkte mit der Maus). Weiter wirken sich die manuellen Eingriffe sehr ungünstig auf die Genauigkeit der Initialisierung aus und benötigen einen sehr hohen Zeitaufwand.Known Methods of combined tracking require a complex initialization procedure by an experienced user (e.g., by selecting defined Points with the mouse). Next affect the manual intervention very unfavorable on the accuracy of initialization and need one very high time expenditure.
Zudem sind keine Verfahren bekannt, die zusätzlich Beschleunigungs- und oder Bewegungszustände initialisieren können.moreover No methods are known which additionally acceleration and or states of motion can initialize.
Aufgabe der ErfindungTask of invention
Die Erfindung trägt die Aufgabe, den Prozess der Kalibrierung eines optischen Sensors bezüglich eines externen Tracking-Systems, wesentlich zu vereinfachen und zu beschleunigen und damit ein besseres und genauere Überlagerung zu erreichen.The Invention carries the task, the process of calibrating an optical sensor with regard to one external tracking system, greatly simplify and speed up and to achieve a better and more precise overlay.
Beschreibung der Erfindungdescription the invention
Die zuvor hergeleitete und aus dem Stand der Technik hervorgehende Aufgabe wird erfindungsgemäß durch ein System und Verfahren gelöst, bei dem die Kalibrierung eines optischen Sensors durch die Kombination mit einem zweiten Tracking-Systeme erreicht wird.The previously derived and derived from the prior art task is inventively solved a system and method in which the calibration of an optical sensor by the combination With a second tracking systems is achieved.
Zusätzlich wird
durch ein zweites Tracking-System (
Das
Weltkoordinatensystem (
Zur
Kalibrierung des Gesamtsystems muss die Transformation vres des Tracking-Gegenstandes (
Hierzu wird in folgenden Schritten vorgegangen
- 1.
Bestimmung der Position und Rotation der, für das optische Tracking-System
(
100 ) bekannten Punkte (P1, P2, P3, P4), mit dem zweiten Tracking-System (300-1 ) in Bezug auf das Koordinatensystem (500 ) des zweiten Tracking-Systems (300-1 ). Dies entspricht der Transformation Vbas. Je nach Tracking-System ist für die Bestimmung der Position und Rotation die Erfassung von mindestens drei Trackingpunkte (P1, P2, P3) erforderlich. - 2. Berechnung der Transformation Vtra zwischen Tracking-Gegenstand
(
300 ) und den optischen Trackingpunkten (P1, P2, P3, P4) aus den Transformationen vbas und Vgeg. - 3. Berechnung der Transformation vres des
Tracking-Gegenstandes (
300 ) zum Bildaufnehmer (100-1 ) aus den beiden Transformationen vtra und vopt.
- 1. Determination of position and rotation of, for the optical tracking system (
100 ) known points (P 1 , P 2 , P 3 , P 4 ), with the second tracking system (300-1 ) with respect to the coordinate system (500 ) of the second tracking system (300-1 ). This corresponds to the transformation V bas . Depending on the tracking system, at least three tracking points (P 1 , P 2 , P 3 ) are required to determine position and rotation. - 2. Calculation of transformation V tra between tracking item (
300 ) and the optical tracking points (P 1 , P 2 , P 3 , P 4 ) from the transformations v bas and V geg . - 3. Calculation of the Transformation v res of the Tracking Item (
300 ) to the image recorder (100-1 ) from the two transformations v tra and v opt .
Vorteile und Anwendungen des Systems und VerfahrensAdvantages and Applications of the system and method
Die Vorteile des beschrieben Verfahrens zur Kalibrierung liegen in der einfachen und benutzerfreundlichen Handhabung. Es sind keine Vorkenntnisse mehr über die mathematischen Hintergründe (Transformationen) der verschiedenen Tracking-Systeme nötig und die Kalibrierung ist über eine einfache Benutzeroberfläche möglich.The Advantages of the described method for calibration lie in the simple and user-friendly handling. There are no previous knowledge more about the mathematical background (transformations) of different tracking systems necessary and the calibration is over a simple user interface possible.
Zusätzlich entfällt das Vermessen des Bildaufnehmers in Bezug auf den Tracking-Gegenstand, der mit herkömmlichen Messmethoden, insbesondere auf Grund von Fertigungstoleranzen des Optischen Sensors, mit einer hinreichenden Genauigkeit nur sehr schwer möglich ist. Das nachträgliche Vermessen erfordert zusätzlich meist die Demontage des Sensors, was ebenfalls entfällt.In addition, this is no longer necessary Measuring the image sensor with respect to the tracking object, with usual Measuring methods, in particular due to manufacturing tolerances of Optical sensor, with a sufficient accuracy only very hardly possible is. The subsequent Surveying additionally requires usually the disassembly of the sensor, which is also omitted.
Weiter sind keine komplizierten Eingriffe durch den Benutzer in das System nötig und alle Berechnungen werden automatisch durchgeführt. Dadurch steigt die Genauigkeit der Kalibrierung.Further are no complicated interventions by the user in the system necessary and all calculations are done automatically. This increases the accuracy the calibration.
Durch die schnelle und genaue Kalibrierung des Systems können vor allem in mobilen Umfeldern, wie z.B. im Bereich Service und Wartung oder in der Produktion, Anwendungen der Augmented Reality Technologie schnell und effizient realisiert werden.By The fast and accurate calibration of the system can be done before especially in mobile environments, e.g. in the area of service and maintenance or in production, applications of augmented reality technology be realized quickly and efficiently.
- 100100
- Optischer Sensoroptical sensor
- 100-1100-1
- Bildaufnehmerimager
- 100-2100-2
- Optisches Tracking-Systemoptical Tracking system
- 200200
- Bekannte Punkte in der UmgebungKnown Points in the environment
- 300300
- Tracking-GegenstandTracking the subject
- 300-1300-1
- Tracking-SystemTracking system
- 400400
- WeltkoordinatensystemWorld coordinate system
- 500500
-
Koordinatensystem
des Tracking-Systems (
300-1 )Coordinate system of the tracking system (300-1 )
Claims (7)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200410047905 DE102004047905A1 (en) | 2004-09-29 | 2004-09-29 | Calibration of optical sensors, for augmented reality system by use at least two tracking systems, involves determining transformation of optical sensor relative to tracking object |
DE200510047481 DE102005047481A1 (en) | 2004-09-29 | 2005-10-04 | Optical sensor e.g. camera, calibrating method for use in e.g. augmented reality system, involves determining transformation of optical sensors relative to tracking object by combination of two tracking-systems |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200410047905 DE102004047905A1 (en) | 2004-09-29 | 2004-09-29 | Calibration of optical sensors, for augmented reality system by use at least two tracking systems, involves determining transformation of optical sensor relative to tracking object |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102004047905A1 true DE102004047905A1 (en) | 2006-04-20 |
Family
ID=36120321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE200410047905 Ceased DE102004047905A1 (en) | 2004-09-29 | 2004-09-29 | Calibration of optical sensors, for augmented reality system by use at least two tracking systems, involves determining transformation of optical sensor relative to tracking object |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102004047905A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9008757B2 (en) | 2012-09-26 | 2015-04-14 | Stryker Corporation | Navigation system including optical and non-optical sensors |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1096268A2 (en) * | 1999-10-28 | 2001-05-02 | Northern Digital Inc. | System for determining the spatial position and/or orientation of one or more objects |
US6611141B1 (en) * | 1998-12-23 | 2003-08-26 | Howmedica Leibinger Inc | Hybrid 3-D probe tracked by multiple sensors |
-
2004
- 2004-09-29 DE DE200410047905 patent/DE102004047905A1/en not_active Ceased
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6611141B1 (en) * | 1998-12-23 | 2003-08-26 | Howmedica Leibinger Inc | Hybrid 3-D probe tracked by multiple sensors |
EP1096268A2 (en) * | 1999-10-28 | 2001-05-02 | Northern Digital Inc. | System for determining the spatial position and/or orientation of one or more objects |
Non-Patent Citations (4)
Title |
---|
. Birkfellner et. al.: Calibration of Tracking Systems in a Surgical Environment, in: IEEE Trans-action on Medical Imaging, 17 (1998) 5, S. 737- 742 * |
R. Gerdes, R. Otterbach, R.Kammmüller: Kalibrier- ung eines digitalen Bildverarbeitungssystem mit CCD-Kamera, Teil 1: Modellbildung und Verfahren, in: tm-Technisches Messen 60 (1993) 6, S. 255-261 * |
T.C. Schardt, Chunrong Yuan: A Dynamic Communi- cation Model for Loosely Coupled Hybrid Tracking Systems, In: Proc. Fifth Intern. Conf. on Infor- mation Fusion, 2002, Vol. 2, S. 1236-1242 * |
W. Birkfellner et. al.: Calibration of Tracking Systems in a Surgical Environment, in: IEEE Trans- action on Medical Imaging, 17 (1998) 5, S. 737- 742 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9008757B2 (en) | 2012-09-26 | 2015-04-14 | Stryker Corporation | Navigation system including optical and non-optical sensors |
US9271804B2 (en) | 2012-09-26 | 2016-03-01 | Stryker Corporation | Method for tracking objects using optical and non-optical sensors |
US9687307B2 (en) | 2012-09-26 | 2017-06-27 | Stryker Corporation | Navigation system and method for tracking objects using optical and non-optical sensors |
US10575906B2 (en) | 2012-09-26 | 2020-03-03 | Stryker Corporation | Navigation system and method for tracking objects using optical and non-optical sensors |
US11529198B2 (en) | 2012-09-26 | 2022-12-20 | Stryker Corporation | Optical and non-optical sensor tracking of objects for a robotic cutting system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1848961B1 (en) | Method for calibrating a measuring system | |
EP1761363B1 (en) | Auxiliary device and method for calibrating an optical measurement array which can be mounted on a manipulator | |
Li et al. | Real-time 3D motion tracking and reconstruction system using camera and IMU sensors | |
CN102075736B (en) | Camera calibration method for high-definition intelligent internet protocol (IP) camera | |
CN115014696A (en) | Method for synchronous acquisition and integrated processing of wind tunnel multi-signal source data | |
CN104335053A (en) | Method for estimating the rotational speed of a tool mounted on a rotating spindle of a machine tool and such a machine tool | |
DE102015103785A1 (en) | Method and device for calibrating a camera | |
WO2008087104A1 (en) | Method for determining the quality of a measuring point, in particular for determination of edge location, and optical precision measuring device | |
EP2238521B1 (en) | Method and device for visualizing an installation of automation systems together with a workpiece | |
DE102004047905A1 (en) | Calibration of optical sensors, for augmented reality system by use at least two tracking systems, involves determining transformation of optical sensor relative to tracking object | |
DE102005047481A1 (en) | Optical sensor e.g. camera, calibrating method for use in e.g. augmented reality system, involves determining transformation of optical sensors relative to tracking object by combination of two tracking-systems | |
DE102019217448A1 (en) | Method and device for creating a calibration value for calibrating an inertial measuring unit for a vehicle | |
EP4239294A1 (en) | Method for calibrating a portable reference sensor system, portable reference sensor system, and use of the portable reference sensor system | |
DE102017222508B4 (en) | Method and device for correcting measurement system deviations | |
DE19614896A1 (en) | Field-determining method for deformation conditions in microscopic-size specimen regions | |
EP1486841A1 (en) | Method for indication of function of a field device in process automation technology | |
EP1410121A1 (en) | Method for data exchange between an operating and monitoring program and a field device | |
DE102011056948A1 (en) | Method for calibrating a camera to a position sensor | |
EP2196767B1 (en) | Method and system for testing the precision of a sensor | |
Wang | A stereovision model applied in bio‐micromanipulation system based on stereo light microscope | |
DE102004061842A1 (en) | Markerless augmented reality mobile object tracking procedure uses camera with client server radio link to receive instructions and return only necessary data | |
WO2018197323A1 (en) | Sensor, appliance and method for user-restricted provision of sensor data | |
DE102020118723B4 (en) | A method for determining a position of a first object in a positioning system, a positioning system and a computer program | |
DE102022115660A1 (en) | Method and device for microscopy | |
DE102008058866A1 (en) | Device and method for determining the position of an object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8122 | Nonbinding interest in granting licenses declared | ||
8127 | New person/name/address of the applicant |
Owner name: METAIO GMBH, 85748 GARCHING, DE |
|
8131 | Rejection |