Technischer HintergrundTechnical background
Ausführungsformen der Erfindung betreffen ein Wiedergabesystem zum Wiedergeben einer Operationsumgebung, insbesondere ein solches mit einem Pose-Eingangsmodul zum Empfangen von Zielobjektkoordinaten.Embodiments of the invention relate to a reproduction system for reproducing an operation environment, in particular one having a pose input module for receiving target object coordinates.
In medizinischen Anwendungen kommen verschiedentlich Nachführsysteme (englisch: tracking systems) zum Einsatz, die es erlauben, die Pose, das heißt die kombinierte Position und Orientierung nachgeführter Zielobjekte, zu verfolgen. Die Nachführung wird mit Hilfe verschiedener Nachführtechniken erreicht, beispielsweise mit Hilfe von Kameras mit einer angeschlossenen Bildverarbeitung, die das Erfassen der Pose der Zielobjekte erlaubt. Insbesondere bietet nachgeführte chirurgische Operationstechnologie, bei der medizinische Operationsinstrumente nachgeführt werden, bedeutende Vorteile, da diese Technologie es ermöglicht, dem operierenden Arzt, teilweise in Echtzeit, verschiedene nützliche Informationen zugänglich zu machen. Beispielsweise kann bei Operationen die Platzierung von für die Operation relevanten Objekten wie etwa von Schrauben in Knochen visualisiert werden, oder bei Tumoroperationen kann eine Information über den Ort von Tumorgewebe zugänglich gemacht werden. Aber auch zu anderen medizinischen Zwecken, etwa im Rahmen einer medizinischen Diagnose, sowie bei der Vorbereitung oder Unterstützung einer Operation bieten Nachführtechniken viele Vorteile.In medical applications, tracking systems are used in various ways, which make it possible to track the pose, ie the combined position and orientation of tracked target objects. The tracking is achieved by means of various tracking techniques, for example with the help of cameras with a connected image processing, which allows the detection of the pose of the target objects. In particular, tracked surgical surgical technology that tracks medical surgical instruments provides significant benefits, as this technology makes it possible to provide the operating physician with various useful information, sometimes in real time. For example, during surgery, the placement of objects relevant to the operation, such as screws in bone, can be visualized, or in tumor surgery, information about the location of tumor tissue can be made available. But also for other medical purposes, such as in the context of a medical diagnosis, as well as in the preparation or support of an operation, tracking techniques offer many advantages.
Allerdings ist die Nachführung nur innerhalb eines definierten Nachführvolumens möglich. Bei optischer Nachführung kann beispielsweise die Pose nicht mehr zuverlässig erkannt werden, wenn das Zielobjekt den Sichtbereich einer der Kameras verlässt oder hinter ein anderes Objekt gerät, so dass es für eine der Kameras nicht mehr sichtbar ist. In einem solchen Fall wird üblicherweise eine Warnung ausgegeben. Eine Diskussion des Nachführvolumens und seiner Begrenzung findet sich beispielsweise in der EP 1096268 .However, tracking is only possible within a defined follow-up volume. In the case of optical tracking, for example, the pose can no longer be reliably detected if the target object leaves the viewing area of one of the cameras or behind another object, so that it is no longer visible to one of the cameras. In such case, a warning is usually issued. A discussion of the Nachführvolumens and its limitation can be found for example in the EP 1096268 ,
Es ist wünschenswert, eine noch zuverlässigere nachgeführte Operationstechnologie zu erreichen. Insbesondere ist es wünschenswert, das Risiko weiter zu reduzieren, dass das Nachführvolumen verlassen wird.It is desirable to achieve even more reliable tracking operation technology. In particular, it is desirable to further reduce the risk of leaving the tracking volume.
Zusammenfassung der ErfindungSummary of the invention
Vor diesem Hintergrund wird daher ein Wiedergabesystem gemäß Anspruch 1, ein Operationssystem gemäß Anspruch 13, ein Verfahren gemäß Anspruch 16, und ein maschinenlesbarer Datenspeicher gemäß Anspruch 20 vorgeschlagen. Weiterer Vorteile, Merkmale, Aspekte und Details der Erfindung sowie bevorzugte Ausführungsformen insbesondere Aspekte der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den Figuren.Against this background, a reproduction system according to claim 1, an operation system according to claim 13, a method according to claim 16, and a machine-readable data storage according to claim 20 are therefore proposed. Further advantages, features, aspects and details of the invention and preferred embodiments in particular aspects of the invention will become apparent from the dependent claims, the description and the figures.
Gemäß einem Aspekt der Erfindung wird ein Wiedergabesystem zum Wiedergeben einer Operations-Umgebung zur Verfügung gestellt. Dabei wird ein Zielobjekt in einem Nachführ-Volumen nachgeführt, das zumindest teilweise in der Operations-Umgebung enthalten ist. Das Wiedergabesystem enthält ein Pose-Eingangs-Modul zum Empfangen von Zielobjekt-Koordinaten, die eine Pose des nachgeführten Zielobjekts in einem Referenzkoordinatensystem angeben, sowie ein Bild-Eingangs-Modul zum Empfangen eines Videosignals von einer optischen Kamera, wobei das Videosignal ein Echtbild der Operationsumgebung darstellt. Weiter enthält das Wiedergabesystem ein mit dem Bild-Eingangs-Modul verbundenes Bild-Wiedergabe-Modul zum Verarbeiten des Videosignals zu einem Wiedergabe-Signal, das das Echtbild wiedergibt. Weiter enthält das Wiedergabesystem eine Begrenzungs-Integrations-Vorrichtung zum Integrieren der Lage einer Begrenzung des Nachführ-Volumens in dem Echtbild, so dass das Wiedergabe-Signal das Echtbild und die von der Begrenzungs-Integrations-Vorrichtung in dem Echtbild integrierte Begrenzung des Nachführ-Volumens enthält. In Ausführungsformen verarbeitet das Bild-Wiedergabe-Modul nicht nur das Videosignal, sondern eventuell auch weitere Signale zu dem Wiedergabesignal.In accordance with one aspect of the invention, a rendering system for rendering an operational environment is provided. In this case, a target object is tracked in a tracking volume that is at least partially contained in the operations environment. The rendering system includes a pose input module for receiving target coordinates indicative of a pose of the tracking target object in a reference coordinate system, and an image input module for receiving a video signal from an optical camera, the video signal being a real image of the operational environment represents. Further, the playback system includes an image playback module connected to the image input module for processing the video signal into a playback signal representative of the real image. Further, the rendering system includes a bounding integration device for integrating the location of a boundary of the tracking volume in the real image such that the rendering signal captures the real image and the bounding volume of the tracking volume integrated into the real image by the bounding integration device contains. In embodiments, the image playback module processes not only the video signal but possibly also other signals to the playback signal.
Selbstverständlich ist es auch möglich nicht nur ein, sondern mehrere Zielobjekte in dem Nachführvolumen nachzufüllen. Ein Echtbild ist hierbei so zu verstehen, dass es von einer Kamera aufgenommene oder aufzunehmende Bildelemente enthält, die ein reales Bild wiedergeben. Das Echtbild kann beispielsweise optische bewegte Bilder in Form einer Videosequenz und/oder mindestens ein Stillbild enthalten. Durch das Integrieren der Lage der Begrenzung in dem Echtbild wird das Echtbild so angepasst, dass die Lage der Begrenzung bei Sichtbarmachen des angepassten Echtbilds ebenfalls sichtbar gemacht wird. Das Integrieren eines Elements in einem Echtbild ist also allgemein als Operation zu verstehen, mittels derer das Echtbild angepasst wird, um das zu integrierende Element zusätzlich zu enthalten. Die Integration der Lage der Begrenzung des Nachführ-Volumens kann beispielsweise vor dem Aufzeichnen des Echtbilds durch eine Kamera erfolgen, etwa indem ein Filter, eine Blende oder eine besonders angepasste Kamera-Apertur Teile des aufzunehmenden Bildes entsprechend der Lage der Begrenzung des Nachführ-Volumens markiert, filtert und/oder ausblendet. Alternativ oder zusätzlich kann die Lage der Begrenzung des Nachführ-Volumens auch erst in dem aufgezeichneten Echtbild integriert werden, etwa durch elektronische, insbesondere digitale Signalverarbeitungsverfahren, wie weiter unten beschrieben.Of course it is also possible to refill not only one but several target objects in the tracking volume. In this case, a real image is to be understood as meaning that it contains picture elements recorded or to be recorded by a camera, which reproduce a real image. The real image may contain, for example, optical moving pictures in the form of a video sequence and / or at least one still picture. By integrating the position of the boundary in the real image, the real image is adjusted so that the position of the boundary is made visible when the adapted real image is made visible. The integration of an element in a real image is thus generally to be understood as an operation by means of which the real image is adapted in order to additionally contain the element to be integrated. The integration of the position of the limitation of the tracking volume can, for example, take place before the real image is recorded by a camera, for example by a filter, a diaphragm or a specially adapted camera aperture marking parts of the image to be recorded corresponding to the position of the limitation of the tracking volume , filters and / or hides. Alternatively or additionally, the position of the limitation of the tracking volume can also only in the recorded real image integrated, such as by electronic, in particular digital signal processing methods, as described below.
Nach einem weiteren Aspekt der Erfindung wird ein Operation-System zur Verfügung gestellt, umfassend das hierin beschriebene Wiedergabesystem, und weiter umfassend zumindest ein Element ausgewählt aus der Menge bestehend aus einem Erweiterte-Realität-Anzeigegerät, das mit der Erweiterte-Realität-Engine verbunden ist, um ein aus dem Erweiterte-Realität-Signal gewonnenes Erweiterte-Realität-Bild anzuzeigen, sowie einem ersten Nachführ-System, das operativ mit dem Zielobjekt zum Erfassen der Pose des Zielobjekts in Zielobjekt-Koordinaten verbunden ist und operativ mit dem Pose-Eingangs-Modul zum Übermitteln der Zielobjekt-Koordinaten an das Pose-Eingangs-Modul verbunden ist, sowie dem Zielobjekt und der optischen Kamera zum Aufnehmen der Operation-Umgebung und zum Generieren des Videosignals. In Ausführungsformen umfasst das Wiedergabesystem alle Elemente aus der obigen Liste.According to another aspect of the invention, there is provided an operation system comprising the reproduction system described herein, and further comprising at least one element selected from the set consisting of an augmented reality display device connected to the augmented reality engine to display an augmented reality image obtained from the augmented reality signal, and a first tracking system operatively connected to the target object for capturing the pose of the target object in target co-ordinates and operatively connected to the pose entrance Module for communicating the target coordinates is connected to the pose input module, and the target object and the optical camera for recording the operation environment and for generating the video signal. In embodiments, the rendering system includes all elements from the list above.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Wiedergeben einer Operationsumgebung zur Verfügung gestellt. Das Verfahren umfasst das Nachführen eines Zielobjekts in einem Nachführ-Volumen, das zumindest teilweise in der Operations-Umgebung enthalten ist, und Empfangen von Zielobjekt-Koordinaten, die eine Pose des nachgeführten Zielobjekts in einem Referenzkoordinatensystems angeben. Weiterhin umfasst es das Empfangen eines Videosignals, das ein Echtbild der Operationsumgebung darstellt und das Integrieren der Lage einer Begrenzung des Nachführ-Volumens in dem Echtbild, so dass das Wiedergabe-Signal das Echtbild und die in dem Echtbild integrierte Begrenzung des Nachführ-Volumens enthält. In Ausführungsformen umfasst das Verfahren weiter das Ausgeben von Lagedaten einer Begrenzung des Nachführ-Volumens in einer Bildebene des Echtbilds; und das Verarbeiten des Videosignals zu einem Wiedergabe-Signal, so dass das Wiedergabe-Signal als ein Erweiterte-Realität-Signal das Echtbild und in dem Echtbild integriert die Begrenzung des Nachführ-Volumens enthält.In accordance with another aspect of the invention, a method for rendering an operational environment is provided. The method includes tracking a target object in a tracking volume that is at least partially contained in the operation environment, and receiving target object coordinates that indicate a pose of the tracking target object in a reference coordinate system. It further comprises receiving a video signal representing a real image of the operating environment and integrating the location of a boundary of the tracking volume in the real image such that the playback signal includes the real image and the tracking volume bounding in the real image. In embodiments, the method further comprises outputting location data of a boundary of the tracking volume in an image plane of the real image; and processing the video signal into a playback signal such that the playback signal includes, as an augmented reality signal, the real image and integrated in the real image the perimeter of the tracking volume.
Ein weiterer Aspekt betrifft einen durch eine Maschine lesbaren Datenspeicher, umfassend ein Programm mit Instruktionen an die Maschine zum Ausführen des hierin beschriebenen Verfahrens, wobei die Maschine insbesondere das hierin beschriebene Wiedergabesystem ist.Another aspect relates to a machine-readable data store comprising a program with instructions to the machine for carrying out the method described herein, the machine being in particular the playback system described herein.
Die Erfindung bezieht sich auch auf eine Vorrichtung zum Ausführen der offenbarten Verfahren und umfasst auch Vorrichtungsteile zum Ausführen jeweils einzelner Verfahrensschritte. Diese Verfahrensschritte können durch Hardwarekomponenten, durch einen mittels entsprechender Software programmierten Computer, durch eine Kombination von beiden, oder in irgendeiner anderen Weise ausgeführt werden. Die Erfindung ist des Weiteren auch auf Verfahren gerichtet, gemäß denen die jeweils beschriebenen Vorrichtungen arbeiten. Sie beinhaltet Verfahrensschritte zum Ausführen jeder Funktion der Vorrichtungen.The invention also relates to an apparatus for carrying out the disclosed methods and also includes apparatus parts for carrying out individual method steps. These method steps may be performed by hardware components, by a computer programmed by appropriate software, by a combination of both, or in some other way. The invention is further directed to methods according to which the devices described in each case operate. It includes method steps for performing each function of the devices.
Ausführungsformen der Erfindung haben den Vorteil, dass durch die in dem Echtbild integrierte Begrenzung des Nachführvolumens ein Bediener in die Lage versetzt wird, zuverlässig festzustellen, welche Bewegungen er durchführen kann, ohne das Zielobjekt aus dem Nachführvolumen herauszubewegen. Dadurch wird eine leichtere Bedienbarkeit und eine zuverlässigere Nachführung des Zielobjektes erreicht. In besonders vorteilhaften Ausführungsformen wird ein Erweiterte-Realität-Signal erzeugt, das das Echtbild und in dem Echtbild integriert die Begrenzung des Nachführ-Volumens enthält.Embodiments of the invention have the advantage that the limitation of the tracking volume integrated in the real image enables an operator to reliably determine which movements he can perform without moving the target object out of the tracking volume. This achieves easier usability and more reliable tracking of the target object. In particularly advantageous embodiments, an augmented reality signal is generated, which contains the real image and integrated in the real image, the limit of the tracking volume.
Kurz-Beschreibung der FigurenBrief description of the figures
Im Weiteren soll die Erfindung anhand von in Figuren dargestellten Ausführungsbeispielen erläutert werden, aus denen sich weitere Vorteile und Abwandlungen ergeben. Dazu zeigen:In addition, the invention will be explained with reference to exemplary embodiments illustrated in figures, from which further advantages and modifications result. To show:
1a bis 1c zeigen jeweils eine schematische Ansicht eines Wiedergabesystems gemäß einer jeweiligen Ausführungsform der Erfindung; 1a to 1c each show a schematic view of a playback system according to a respective embodiment of the invention;
2a zeigt eine seitliche Ansicht eines Operations-Systems gemäß einer Ausführungsform der Erfindung; 2a shows a side view of an operation system according to an embodiment of the invention;
2b zeigt eine seitliche Ansicht eines Operations-Systems gemäß einer weiteren Ausführungsform der Erfindung; 2 B shows a side view of an operation system according to another embodiment of the invention;
3 zeigt eine Anordnung von Nachführsystem und optischer Kamera zur Verwendung in Ausführungsformen der Erfindung; 3 shows an arrangement of tracking system and optical camera for use in embodiments of the invention;
4 zeigt ein von Ausführungsformen erzeugtes Erweiterte-Realität-Bild; 4 shows an augmented reality image generated by embodiments;
5a zeigt ein Nachführsystem mit Kamera zur Verwendung in weiteren Ausführungsformen der Erfindung; und 5a shows a tracking system with camera for use in further embodiments of the invention; and
5b ein von weiteren Ausführungsformen erzeugtes Erweiterte-Realität-Bild; 5b an augmented reality image generated by further embodiments;
6, 7a und 7b zeigen weitere Erweiterte-Realität-Bild, die von Ausführungsformen der Erfindung erzeugt wurden; 6 . 7a and 7b show further augmented reality image generated by embodiments of the invention;
8 zeigt eine weitere Anordnung von Nachführsystem und optischer Kamera, das eine Variation von 3 darstellt; 8th shows another arrangement of tracking system and optical camera, which is a variation of 3 represents;
9a zeigt eine räumliche Ansicht eines kombinierten Nachführsystems mit optischer Kamera; und 9a shows a spatial view of a combined tracking system with optical camera; and
9b zeigt eine seitliche Querschnittsansicht des Systems von 9a. 9b shows a side cross-sectional view of the system of 9a ,
Detaillierte Beschreibung der FigurenDetailed description of the figures
Im Folgenden werden verschiedene Ausführungsformen der Erfindung beschrieben, von denen einige auch in den Figuren beispielhaft dargestellt sind. Bei der folgenden Beschreibung der Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder ähnliche Komponenten. Im Allgemeinen werden nur Unterschiede zwischen verschiedenen Ausführungsformen beschrieben. Hierbei können Merkmale, die als Teil einer Ausführungsform beschrieben werden, auch ohne weiteres im Zusammenhang mit anderen Ausführungsformen kombiniert werden, um noch weitere Ausführungsformen zu erzeugen.In the following, various embodiments of the invention will be described, some of which are also exemplified in the figures. In the following description of the figures, like reference numerals refer to the same or similar components. In general, only differences between various embodiments will be described. Herein, features described as part of one embodiment may also be readily combined with other embodiments to produce still further embodiments.
Nachführtechniken bieten viele Vorteile für medizinischen Anwendungen, und erlauben teilweise völlig neue Bildgebungs-, Diagnose- und Behandlungsverfahren. So können unter Verwendung von Nachführtechniken verschiedene medizinische bildgebende Verfahren wie Kernspin-Resonanz, SPECT-, optische oder PET-Bildgebung mit handgeführten Sonden auch in Situationen durchgeführt werden, in denen dies andernfalls nicht möglich wäre. Auch nachgeführte chirurgische Operationstechniken bieten viele Vorteile für den Erfolg einer Operation, die Sicherheit eines zu operierenden Patienten, und erlauben teilweise neue Arten von Operationen, die ohne Nachführung unmöglich oder zu riskant wären. Hierbei kommt ein Nachführsystem zum Einsatz, das es erlaubt, bei der medizinischen Anwendung verwendete Objekte wie zum Beispiel Strahlungsdetektoren, Operationswerkzeuge usw., als Zielobjekte nachzuführen, das heißt ihre Pose (drei Raum-Koordination und drei Winkel-Koordination, die die Orientierung angeben) zu erfassen, insbesondere in ihrer Zeitabhängigkeit zu erfassen. Eine medizinische Anwendung wird hierin allgemein als Operation bezeichnet, d. h. chirurgische Operationen im engeren Sinne sind nur ein Teilbereich dessen, was hierin allgemeiner als Operation bezeichnet wird. Daneben wird hierin auch etwa ein Bildgebungsverfahren, oder vorbereitende oder unterstützende Handlungen einer chirurgischen Operation, als Operation verstanden.Tracking techniques offer many benefits for medical applications, and in part allow completely new imaging, diagnostic and treatment procedures. Thus, using tracking techniques, various medical imaging techniques such as nuclear spin resonance, SPECT, optical or PET imaging with hand-held probes can also be performed in situations where this would otherwise not be possible. Tracking surgical techniques also offer many benefits to the success of surgery, the safety of a patient to be operated, and in part allow new types of surgery that would be impossible or too risky without follow-up. In this case, a tracking system is used, which allows objects used in the medical application, such as radiation detectors, surgical tools, etc., to be tracked as target objects, that is, their pose (three spatial coordination and three angle coordination, which indicate the orientation) to capture, in particular in their time dependence to capture. A medical application is generally referred to herein as an operation, i. H. Surgical operations in the strict sense are only a part of what is more commonly referred to herein as surgery. In addition, this also means an imaging procedure, or preparatory or supporting actions of a surgical operation, as an operation.
Durch Auswertung der erhaltenen Poseinformationen und Ausgabe von daraus gewonnenen Ergebnissen an den Bediener ist es möglich, den Bediener bei der Anwendung (etwa einer Operation) entscheidend zu unterstützen und somit eine bessere Behandlung des Patienten zu erreichen. Hierbei findet die Nachführung in einer Operationsumgebung oder einem Teil derselben statt. Eine Operationsumgebung ist allgemein als Umgebung zu verstehen, in dessen Bereich medizinische Anwendungen wie eine chirurgische Operation, ein bildgebendes Verfahren, Teile eines Diagnosevorgangs und dergleichen stattfinden sollen. Beispielsweise kann die Operationsumgebung ein Teil eines Operationsraumes, insbesondere ein Bereich für einen zu operierenden Patienten, sein. Auch wenn im Folgenden der Anwendungsfall einer chirurgischen Operation durch einen Arzt besonders betont wird, so können andere Ausführungsformen auch auf andere medizinische Anwendungen gerichtet sein, etwa auf Anwendungen für Verfahren zur Instrumentenführung oder für nachgeführte bildgebende Verfahren.By evaluating the obtained pose information and outputting results obtained therefrom to the operator, it is possible to decisively support the operator in the application (for example an operation) and thus to achieve a better treatment of the patient. In this case, the tracking takes place in an operating environment or a part of it. An operating environment is generally to be understood as an environment in the area of which medical applications such as a surgical operation, an imaging procedure, parts of a diagnostic procedure and the like are to take place. For example, the operating environment may be part of an operating room, in particular an area for a patient to be operated on. Although in the following the application of a surgical operation by a physician is particularly emphasized, other embodiments may also be directed to other medical applications, such as applications for methods of instrument guidance or for guided imaging.
Wie in 3 dargestellt ist, kann das Nachführsystem 10 beispielsweise zwei Kameras 16a, 16b umfassen. Die Kameras können optische Kameras oder beispielsweise Infrarotkameras sein. An die Kameras angeschlossen ist eine Bildverarbeitungseinheit, die die in den Kamera-Bildern enthaltene dreidimensionale Information bezüglich des Zielobjekts auswertet und daraus die Pose bestimmt. Dies ist nur möglich, wenn das nachzuführende Zielobjekt sich in dem Sichtbereich 17a der Kamera 16a und gleichzeitig auch in dem Sichtbereich 17b der Kamera 16b befindet. Der Überlappungsbereich dieser beiden Sichtbereiche ist als Nachführvolumen 11 gekennzeichnet. Nur innerhalb dieses Nachführvolumens 11 sind genügend Informationen vorhanden, um ein zuverlässiges Feststellen der Pose des Zielobjekts zu ermöglichen. Wird das Zielobjekt dagegen aus dem Nachführvolumen 11 herausbewegt (beispielsweise im Verlauf der Operation), so kann dessen Pose nicht mehr mit genügender Güte festgestellt werden.As in 3 is shown, the tracking system 10 for example, two cameras 16a . 16b include. The cameras can be optical cameras or, for example, infrared cameras. Connected to the cameras is an image processing unit which evaluates the three-dimensional information contained in the camera images with respect to the target object and determines the pose therefrom. This is only possible if the target object to be tracked is in the field of view 17a the camera 16a and at the same time in the field of vision 17b the camera 16b located. The overlap area of these two viewing areas is as Nachführvolumen 11 characterized. Only within this tracking volume 11 There is enough information to allow a reliable determination of the pose of the target object. On the other hand, if the target object is out of the tracking volume 11 moved out (for example, in the course of the operation), so its pose can no longer be determined with sufficient goodness.
Hierbei ist das Nachführvolumen als das Volumen definiert, in dem eine Nachführung mit ausreichender Güte möglich ist bzw. erwartet wird. Diese Güte ist in der Regel durch die Präzision der Nachführung definiert, d. h. durch die erwartete oder ermittelte Abweichung der gemessenen Pose von der tatsächlichen Pose. Die Güte kann alternativ auch durch die Genauigkeit der Nachführung definiert sein, d. h. durch die erwartete oder ermittelte Abweichung der gemessenen Pose von einer auf andere Weise (z. B. zu einem anderen Zeitpunkt) gemessenen Pose, die eigentlich ein gleiches Ergebnis liefern sollte. Die Güte kann alternativ auch auf einem abgeschätzten Qualitätskriterium beruhen, z. B. Entfernung von Sensoren, Parallaxe (Winkel zwischen verschiedenen Verbindungslinien, die jeweils das Zielobjekt mit jeweils verschiedenen Sensoren des Nachführsystems verbinden). Die Gate kann alternativ auch auf der erfassten Lage von Stör-Körpern beruhen. Die Güte kann auch einen Güte-Indexwert umfassen, der etwa unter Berücksichtigung der obengenannten Kriterien errechnet wird, etwa als Kombination, z. B. als eine lineare Kombination von diese Kriterien quantifizierenden Parametern. Das Nachführ-Volumen ist dann ein Volumen, in dem die Güte einen festgesetzten Güte-Schwellwert überschreitet.Here, the Nachführvolumen is defined as the volume in which a tracking with sufficient quality is possible or expected. This quality is usually defined by the precision of the tracking, ie by the expected or determined deviation of the measured pose from the actual pose. The quality may alternatively also be defined by the accuracy of the tracking, ie by the expected or determined deviation of the measured pose from a pose measured in a different way (eg at a different time), which should actually deliver the same result. Alternatively, the quality can also be based on an estimated quality criterion, eg. B. Distance from sensors, parallax (angle between different connecting lines, each connecting the target object with each different sensors of the tracking system). The gate can alternatively also on the detected position of Stör-bodies are based. The quality may also include a quality index value calculated approximately taking into account the above criteria, such as a combination, e.g. As a linear combination of parameters quantifying these criteria. The tracking volume is then a volume in which the quality exceeds a set quality threshold.
In dieser Weise können auch verschiedene Güte-Schwellwerte oder Kriterien vorgegeben werden, die jeweils ein zugeordnetes Nachführ-Volumen definieren. Gemäß Ausführungsformen, die jeweils mit beliebigen anderen Ausführungsformen kombiniert werden können, ist die Begrenzungs-Integration-Vorrichtung dazu ausgestattet, die jeweilige Lage jeweiliger Begrenzungen mehrerer Nachführ-Volumina in dem Echtbild zu integrieren, so dass das Wiedergabe-Signal das Echtbild und die von der Begrenzungs-Integrations-Vorrichtung in dem Echtbild integrierten Begrenzungen enthält.In this way, different quality thresholds or criteria can be specified, each defining an associated tracking volume. According to embodiments, which can each be combined with any other embodiments, the boundary integration device is equipped to integrate the respective location of respective boundaries of multiple tracking volumes in the real image, so that the reproduction signal is the real image and that of the Contains boundary integration device in the real image built-in limits.
An den in 3 dargestellten Begrenzungen des Nachführvolumens 11 fällt die Güte von einem positiven Wert (im Inneren des Blickfelds beider Kameras 16a und 16b) auf den Wert Null ab (außerhalb des Blickfelds einer der Kameras 16a und 16b), da außerhalb des Blickfelds überhaupt keine Nachführung mehr möglich ist. Dieser stufenartige Abfall führt dazu, dass mit Hilfe vieler verschiedener Güte-Grenzwerte eine Grenze des Nachführvolumens 11 auf gleiche Weise ermittelt wird, nämlich am Rand der Schnittmenge der Blickfelder der Kameras 16a, 16b. Auch bei ungestörten Sichtverhältnissen ist das Nachführvolumen zusätzlich in der Regel auf eine gewisse Tiefe, d. h. einen gewissen Abstand von den Nachführ-Kameras 16a, 16b beschränkt. Bei deren Überschreitung dieser Tiefe wird die von den Nachführ-Kameras 16a, 16b erkennbare Parallaxe so gering, dass eine zuverlässige Nachführung nicht mehr möglich ist. Diese Begrenzung des Nachführvolumens in Richtung der Tiefe, d. h. Entfernung von den Kameras 16a und 16b, ist somit mit einer kontinuierlichen, nicht-stufenartigen Veränderung der Güte verbunden, und kann daher z. B. von dem gewählten Schwellwert abhängen.To the in 3 shown limitations of Nachführvolumens 11 the quality drops from a positive value (inside the field of view of both cameras 16a and 16b ) to zero (out of the field of view of one of the cameras 16a and 16b ), because out of the field of view no tracking at all is possible. This stepwise drop causes a limit on the tracking volume with the aid of many different quality limit values 11 is determined in the same way, namely at the edge of the intersection of the fields of view of the cameras 16a . 16b , Even with undisturbed visibility, the Nachführvolumen is also usually at a certain depth, ie a certain distance from the tracking cameras 16a . 16b limited. Exceeding this depth will be that of the tracking cameras 16a . 16b recognizable parallax so low that a reliable tracking is no longer possible. This limitation of the tracking volume in the direction of the depth, ie distance from the cameras 16a and 16b , is thus associated with a continuous, non-step-like change in the quality, and can therefore z. B. depend on the selected threshold.
Es kann vorgesehen sein, das Nachführvolumen gemäß einer Abschätzung, etwa im Rahmen eines groben Modells, zu ermitteln. Es ist somit nicht notwendig, die Begrenzung exakt quantitativ zu ermitteln. Allerdings haben die Überlegungen oder Rechenschritte, mit deren Hilfe die Begrenzung erhalten wurde, zumindest indirekt auf der Güte der Nachführung zu beruhen. Ein rein willkürliche integriertes Bildelement stellt allerdings keine Begrenzung eines Nachführvolumens dar, da der Bezug zur Güte der Nachführung hier völlig fehlt.It can be provided to determine the tracking volume according to an estimate, for example in the context of a rough model. It is therefore not necessary to determine the limit exactly quantitatively. However, the considerations or calculation steps with the help of which the limit has been obtained are based at least indirectly on the quality of the tracking. However, a purely arbitrary integrated picture element does not represent a limitation of a tracking volume since the reference to the quality of the tracking is completely absent here.
Neben den in 3 dargestellten Begrenzungen des Nachführvolumens 11 kann es noch weitere Begrenzungen geben, beispielsweise wenn wie oben beschrieben Teile der Operationsumgebung für eine oder beide der Kameras 16a, 16b nicht sichtbar sind, weil sie etwa hinter einem anderen Objekt verschwinden. Insgesamt ist das Nachführvolumen für den Bediener nicht leicht zu erkennen, und ständig besteht die Gefahr, dass er das Zielobjekt aus dem Nachführvolumen herausbewegt. Infolgedessen können die aus den Nachführ-Daten gewonnenen Informationen lückenhaft oder sogar fehlerhaft werden, was im Fall einer chirurgischen Operation eine Verschlechterung der Operationsbedingungen und im schlimmsten Fall sogar eine Gefährdung des Lebens des Patienten bedeuten kann.In addition to the in 3 shown limitations of Nachführvolumens 11 There may be other limitations, for example, as described above, portions of the operating environment for one or both of the cameras 16a . 16b are not visible because they disappear behind something else. Overall, the tracking volume is not easily recognizable to the operator and there is a constant risk that he will move the target object out of the tracking volume. As a result, the information obtained from the tracking data may become incomplete or even faulty, which in the case of a surgical operation may mean worsening of surgical conditions and, in the worst case, even endangering the patient's life.
Ein entsprechendes Problem tritt auch bei anderen Nachführsystemen als dem in 3 gezeigten System auf, beispielsweise bei elektromagnetischen Nachführsystemen, propriometrischen Nachführsystemen, das heißt mechanischen Nachführsystemen, Lasernachführsystemen, akustischen Nachführsystemen, Radiofrequenznachführsystemen, GPS-artigen Nachführsystemen, usw. All diesen Nachführsystemen ist gemeinsam, dass sie eine nützliche Nachführinformation nur innerhalb eines bestimmten Nachführvolumens erzeugen können. Dieses Nachführvolumen kann sich auch während der Operation ändern, beispielsweise im Fall von 3 durch das Einführen weiterer Objekte in das Sichtfeld der Kameras 16a, 16b, oder bei anderen Nachführsystemen durch Einführung entsprechender Störungen. Auch hier besteht also das Problem, dass die Navigation nur in einem teilweise schwierig zu erkennenden Nachführvolumen möglich ist. Wird das Zielobjekt aus dem Nachführvolumen herausgeführt, so wird die Nachführung unzuverlässig oder unmöglich.A corresponding problem also occurs in other tracking systems than in 3 For example, in electromagnetic tracking systems, proprometric tracking systems, ie, mechanical tracking systems, laser tracking systems, acoustic tracking systems, radio frequency tracking systems, GPS-like tracking systems, etc. All these tracking systems have in common that they can provide useful tracking information only within a particular tracking volume. This tracking volume may also change during the operation, for example in the case of 3 by introducing further objects into the field of view of the cameras 16a . 16b , or other tracking systems by introducing appropriate interference. Here, too, there is the problem that the navigation is possible only in a partially difficult to follow Nachführvolumen. If the target object is led out of the tracking volume, the tracking becomes unreliable or impossible.
Um dieses Problem zu lindern, wird in der Ausführungsform von 3 eine optische Kamera 36 zur Verfügung gestellt. In 3 umfasst das Sichtfeld 37 der Kamera 36 vollständig das Nachführvolumen 11 (dies stellt einen von der gezeigten Ausführungsform unabhängigen allgemeinen, wenn auch nicht zwingenden Aspekt der Erfindung dar). Das von der Kamera 36 generierte Echtbild erlaubt es, ein Erweiterte-Realität-Bild zu generieren und anzuzeigen, wie es in 4 beispielhaft dargestellt ist. In dem erweiterten Realitätsbild 40 von 4 integriert ist das von der optischen Kamera 36 von 3 erfasste Echtbild wiedergegeben. Beispielhaft ist in dem Echtbild etwa eine Abbildung von nachgeführten Zielobjekten 20', 21' und weiteren Objekten 22' (in 3 nicht enthalten) dargestellt, wie sie von der Kamera 36 aufgenommen wurden. In dem Echtbild integriert ist weiter eine Darstellung 11' der Begrenzung des in 3 gezeigten Nachführvolumens 11 dargestellt. Durch die Überlagerung des Echtbilds und der Begrenzung des Nachführvolumens 11' entsteht das Erweiterte-Realität-Bild 40. Das Erweiterte-Realität-Bild 40 ermöglicht es dem Benutzer zu erkennen, wie weit nachgeführte Objekte 20', 21' von der Begrenzung 11' des Nachführvolumens entfernt sind, und welche Bewegungen möglich sind, ohne diese Objekte 20', 21' aus dem Nachführvolumen herauszubewegen. Auch werden Bilder nicht-nachgeführter Objekte (hier Objekt 28') dargestellt. Aus diesen Objekten können sich Begrenzungen des Nachführ-Volumens ergeben, etwa wenn diese Objekte die Sicht für die Nachführ-Kameras verstellen. Auch solche Begrenzungen des Nachführ-Volumens können im Erweiterte-Realität-Bild 40 dargestellt werden, etwa durch eine besondere farbliche Kennzeichnung solcer Objekte 28'. In dem erweiterten Realitätsbild 40 können darüber hinaus noch weitere für eine Operation nützliche Informationen dargestellt werden, wie teilweise in dem folgenden beschriebenen übrigen Ausführungsformen ersichtlich. Allgemeiner kann ein ähnliches Ergebnis erreicht werden, wenn das Echtbild auch auf andere Weise so wiedergegeben wird, dass darin die Lage der Begrenzung des Nachführ-Volumens integriert ist.To alleviate this problem, in the embodiment of FIG 3 an optical camera 36 made available. In 3 includes the field of view 37 the camera 36 completely the tracking volume 11 (This represents a general though not mandatory aspect of the invention, independent of the embodiment shown). That from the camera 36 generated real image allows to generate an augmented reality image and display it as in 4 is shown by way of example. In the extended reality picture 40 from 4 this is integrated by the optical camera 36 from 3 reproduced captured real image. By way of example, an image of tracked target objects is present in the real image 20 ' . 21 ' and other objects 22 ' (in 3 not included) as shown by the camera 36 were recorded. Integrated in the real image is still a representation 11 ' the limitation of in 3 tracking volume shown 11 shown. By overlaying the real image and limiting the tracking volume 11 ' that arises Augmented reality image 40 , The augmented reality picture 40 Allows the user to detect how far tracked objects 20 ' . 21 ' from the limit 11 ' the tracking volume are removed, and what movements are possible without these objects 20 ' . 21 ' to move out of the tracking volume. Also, images of non-tracked objects (here object 28 ' ). Limitations of the tracking volume may result from these objects, such as when these objects obscure the view for the tracking cameras. Even such limitations of the tracking volume can be seen in the augmented reality picture 40 represented by, for example, a special color coding solcer objects 28 ' , In the extended reality picture 40 In addition, further information useful for an operation may be presented, as may be seen in part in the remaining embodiments described below. More generally, a similar result can be achieved if the real image is also rendered otherwise in such a way that the position of the boundary of the tracking volume is integrated therein.
Im Folgenden wird mit Bezugnahme auf 1a ein Wiedergabesystem 1 beschrieben, das es ermöglicht, ein die Begrenzung Nachführ-Volumens in dem Echtbild zu integrieren, und als Ergebnis eine Darstellung wie etwa in 4 zu generieren. Optionale Komponenten des Wiedergabesystems 1 sind mit gestrichelten Linien dargestellt. Das Wiedergabesystem 1 enthält ein Pose-Eingangs-Modul 50. Das Pose-Eingangs-Modul 50 ist zum Empfangen von Zielobjekt-Koordinaten ausgestattet, die eine Pose des nachgeführten Zielobjekts angeben und die von einem Nachführsystem 10 stammen. Das Nachführsystem 10 kann beispielsweise ein optisches Nachführsystem sein, wie es in 3 durch die Kameras 16a und 16b dargestellt ist. Die Zielobjekt-Koordinaten (Pose des Zielobjekts) sind in einem Referenzkoordinatensystem angegeben, das im Fall der 3 von der Anordnung der Kameras 16a, 16b abhängt. Im Allgemeinen hängt das Referenzkoordinatensystem von der Anordnung bestimmter Referenz-Elemente wie z. B. Sensoren des Nachführ-Systems ab.The following is with reference to 1a a playback system 1 which makes it possible to integrate the limitation tracking volume in the real image, and as a result a representation such as in 4 to generate. Optional components of the playback system 1 are shown with dashed lines. The playback system 1 contains a pose input module 50 , The pose input module 50 is equipped to receive target coordinates that indicate a pose of the tracked target object and that of a tracking system 10 come. The tracking system 10 For example, it may be an optical tracking system as shown in FIG 3 through the cameras 16a and 16b is shown. The target object coordinates (pose of the target object) are specified in a reference coordinate system, which in the case of 3 from the arrangement of the cameras 16a . 16b depends. In general, the reference coordinate system depends on the arrangement of certain reference elements such. B. sensors of the tracking system.
Weiter umfasst das Wiedergabesystem 1 ein Bild-Eingangs-Modul 62. Das Bild-Eingangs-Modul 62 ist zum Empfangen eines Videosignals von einer optischen Kamera 36 ausgestattet, wie sie beispielsweise in der Ausführungsform von 3 dargestellt ist. Das Videosignal der Kamera 36 kann optische bewegte Bilder oder zumindest ein optisches Stillbild enthalten. Das Videosignal stellt ein Echtbild der Operationsumgebung dar, das heißt es handelt sich um ein tatsächlich aufgenommenes Bild der Operationsumgebung und nicht lediglich etwa um eine künstlich generierte Darstellung der Operationsumgebung. Bei der Operationsumgebung handelt es sich somit um den Teil eines Operationsraumes, der durch die Kamera 36 erfasst wird.Further includes the playback system 1 an image input module 62 , The image input module 62 is for receiving a video signal from an optical camera 36 equipped, as for example in the embodiment of 3 is shown. The video signal of the camera 36 may include moving optical images or at least an optical still image. The video signal represents a real image of the operating environment, that is, it is an actually recorded image of the operating environment and not just about an artificially generated representation of the operating environment. The operating environment is thus that part of an operating room that is passed through the camera 36 is detected.
Weiter umfasst das Wiedergabesystem 1 ein Bild-Wiedergabe-Modul 64. Das Bild-Wiedergabe-Modul 64 ist mit dem Bild-Eingangs-Modul 62 verbunden, um das Videosignal von dem Bild-Eingangs-Modul 62 zu empfangen und weiterzuverarbeiten. Hierbei wird das von dem Bild-Eingangs-Modul 62 kommende Signal als Videosignal bezeichnet, unabhängig davon, ob es sich identisch um das von der Kamera 36 kommende Signal handelt oder ob es von dem Bild-Eingangs-Modul 62 bereits weiterverarbeitet wurde, solange es Echtbild-Informationen des von der Kamera 36 kommenden Videosignals enthält. Das Videosignal wird sodann in dem Bild-Wiedergabe-Modul 64 zu einem Wiedergabe-Signal weiterverarbeitet, das das Echtbild wiedergibt.Further includes the playback system 1 an image playback module 64 , The image playback module 64 is with the image input module 62 connected to the video signal from the image input module 62 to receive and process. This will be done by the image input module 62 incoming signal referred to as a video signal, regardless of whether it is identical to that of the camera 36 incoming signal or whether it is from the image input module 62 has already been processed as long as it contains real-image information from the camera 36 contains incoming video signal. The video signal is then in the image playback module 64 processed into a playback signal that reproduces the real image.
Weiter umfasst das Wiedergabesystem 1 eine Begrenzungs-Integrations-Vorrichtung 70. Die Begrenzungs-Integration-Vorrichtung 70 ist ausgestattet, um die Lage einer Begrenzung des Nachführ-Volumens in dem Echtbild zu integrieren, so dass das Wiedergabe-Signal das Echtbild und, darin integriert, die Begrenzung des Nachführ-Volumens 11 enthält, wie etwa in dem Echtbild 40 von 4. Eine solche Integration der Begrenzung in dem Echtbild kann auf verschiedene Weise realisiert werden, wie im Folgenden beschrieben ist. Die Integration kann durch eine Wechselwirkung der Begrenzungs-Integration-Vorrichtung 70 mit dem Echtbild vor der Aufnahme durch die Kamera 36, durch Wechselwirkung mit dem Videosignal oder dem Wiedergabe-Signal, etwa in dem Bild-Eingangs-Modul 62 oder dem Bild-Wiedergabe-Modul 64 erfolgen, wie in 1a durch eine gestrichelte Linie zwischen der Begrenzungs-Integration-Vorrichtung 70 und dem Bild-Wiedergabe-Modul 64 dargestellt. Hierzu kann die Begrenzungs-Integrations-Vorrichtung 70 ausgestattet sein, um Informationen über das Nachführ-Volumen zu empfangen, etwa von dem Nachführ-System 10 oder von dem Pose-Eingangs-Modul 50, wie durch die gestrichelte Linien zwischen dem Pose-Eingangs-Modul 50 und dem Bild-Wiedergabe-Modul 64 dargestellt. Wenn das Nachführ-Volumen fest vorgegeben ist, kann eine solche Information auch durch die in der Begrenzungs-Integration-Vorrichtung 70 fest vorgegeben sein, etwa durch die räumliche Gestalt fest vorgegeben sein, oder in der Begrenzungs-Integration-Vorrichtung 70 gespeichert sein. Einige dieser Realisierungen der Begrenzungs-Integration-Vorrichtung 70 sind in Bezug auf 1b und 1c detaillierter beschrieben.Further includes the playback system 1 a bounding integration device 70 , The Limit Integration Device 70 is equipped to integrate the location of a boundary of the tracking volume in the real image, so that the playback signal is the real image and, integrated therein, the limit of the tracking volume 11 contains, such as in the real image 40 from 4 , Such integration of the boundary in the real image can be realized in various ways, as described below. The integration may be through an interaction of the limiting integration device 70 with the real image before shooting through the camera 36 , by interaction with the video signal or the playback signal, such as in the image input module 62 or the image playback module 64 done as in 1a by a dashed line between the boundary integration device 70 and the image playback module 64 shown. For this purpose, the limiting integration device 70 be equipped to receive information about the tracking volume, such as the tracking system 10 or from the pose input module 50 as indicated by the dashed lines between the pose input module 50 and the image playback module 64 shown. If the tracking volume is fixed, such information may also be provided by the in-bound integration device 70 be fixed, be predetermined by the spatial shape, or in the boundary integration device 70 be saved. Some of these realizations of the Limitation Integration Device 70 are in terms of 1b and 1c described in more detail.
Bezugnehmend auf 1b, weist die Begrenzungs-Integration-Vorrichtung 70 ein Begrenzungs-Ausgabe-Modul 72 auf. Das Begrenzungs-Ausgabe-Modul 72 ist zum Ausgeben von Lagedaten einer Begrenzung des Nachführvolumens in einer Bildebene des Echtbilds ausgestattet. Ist die Lage des Nachführvolumens im Echtbild unveränderlich, so können beispielsweise die Lagedaten der Begrenzung fest in dem Begrenzungs-Ausgabe-Modul 72 gespeichert sein. Im Regelfall wird jedoch die Begrenzung des Nachführvolumens von verschiedenen weiteren Parametern abhängig sein, etwa der Position der Kamera 36 im Verhältnis zu den das Referenzkoordinatensystem bestimmenden Referenz-Elementen des Nachführsystems 10. Solche weiteren Parameter können auch beispielsweise sein: die Lage von Nachführkameras 16a, 16b (siehe 3), das Vorhandensein zusätzlicher, die Nachführung beeinflussender Objekte usw. In diesem Fall ist das Begrenzungs-Ausgabe-Modul 72 zum Empfangen dieser Parameter und zur Berechnung des Nachführvolumens aus diesen Parametern ausgestattet.Referring to 1b has the bounding integration device 70 a limit output module 72 on. The limit output module 72 is for outputting position data of a limitation of the tracking volume in equipped with an image plane of the real image. If the position of the tracking volume in the real image is immutable, the position data of the boundary can be fixed in the limiting-output module, for example 72 be saved. As a rule, however, the limitation of the tracking volume will depend on various other parameters, such as the position of the camera 36 in relation to the reference elements of the tracking system determining the reference coordinate system 10 , Such additional parameters can also be, for example, the location of tracking cameras 16a . 16b (please refer 3 ), the presence of additional objects affecting tracking, etc. In this case, the limiting output module is 72 to receive these parameters and to calculate the tracking volume from these parameters.
Solche Parameter können beispielsweise auch die Lage, das Volumen, die Ausrichtung und/oder die von der Kamera gesehene Fläche von im Nachführvolumen vorhandener Objekte sein. In Ausführungsformen hat das Bild-Eingangs-Modul 62 eine Bilderkennungsfunktion, die solche Parameter erkennen und sodann an das Begrenzungs-Ausgabe-Modul 72 übermitteln kann (gestrichelte Linie in 1b). Das Begrenzungs-Ausgabe-Modul 72 kann sodann nach einer geeigneten Rechenvorschrift aus diesen Parametern die Begrenzung ermitteln. Beispielsweise kann als Begrenzung die von der Kamera gesehene Fläche des Objekts als Begrenzung des Nachführvolumens übernommen werden.Such parameters can also be, for example, the position, the volume, the orientation and / or the area of the camera seen in the tracking volume of objects seen by the camera. In embodiments, the image input module has 62 an image recognition function that recognizes such parameters and then to the limiting output module 72 can transmit (dashed line in 1b ). The limit output module 72 can then determine the limit from these parameters according to a suitable calculation rule. By way of example, the area of the object seen by the camera can be taken over as the limit of the tracking volume as a limit.
Bei elektromagnetischer Nachführung ist in Ausführungsformen ebenfalls eine Bilderkennungsfunktion des Bild-Eingangs-Modul 62 vorgesehen, die verschiedene Objekte im Videosignal von der Kamera 36 erkennt. Diese Objekte werden mit im Wiedergabesystem gespeicherten Objekten verglichen. Bei ausreichender Übereinstimmung eines erkannten Objekts mit einem gespeicherten Objekt werden Parameter des gespeicherten Objekts, die das Nachführvolumen beeinflussen können, an das Begrenzungs-Ausgabe-Modul 72 übermittelt (gestrichelte Linie in 1b). Das Begrenzungs-Ausgabe-Modul 72 kann sodann nach einer geeigneten Rechenvorschrift aus diesen Parametern die Begrenzung ermitteln. Ein Beispiel für ein solches Objekt ist ein chirurgisches Metallmesser, wobei durch das Metall die elektromagnetischen Eigenschaften so verändert werden, dass in der Nähe des Metalls keine zuverlässige Nachführung möglich ist. In diesem Fall kann ein geeigneter Parameter beispielsweise ein Volumen um das Objekt oder um ein Objekt-Teil herum sein. Die Rechenvorschrift sieht vor, dieses Volumen aus dem Nachführ-Volumen auszuschließen. Alternativ kann die Rechenvorschrift auch eine Modellierung der Verbreitung elektromagnetischer Wellen unter Berücksichtigung der Art und Lage der erkannten Objekte beinhalten. Diese Alternative erlaubt es auch, eine verbesserte Nachführung zu erreichen, indem diese Modellierung auch für die Errechnung der Pose-Koordinaten durch das Nachfür-System 10 berücksichtigt wird.In electromagnetic tracking, in embodiments also an image recognition function of the image input module 62 provided the various objects in the video signal from the camera 36 recognizes. These objects are compared with objects stored in the rendering system. If a detected object sufficiently matches a stored object, parameters of the stored object that can affect the tracking volume are sent to the limiting output module 72 transmitted (dashed line in 1b ). The limit output module 72 can then determine the limit from these parameters according to a suitable calculation rule. An example of such an object is a surgical metal knife, wherein the metal changes the electromagnetic properties so that reliable tracking is not possible in the vicinity of the metal. In this case, a suitable parameter may be, for example, a volume around the object or around an object part. The calculation rule envisages excluding this volume from the tracking volume. Alternatively, the calculation rule may also include a modeling of the propagation of electromagnetic waves taking into account the nature and location of the detected objects. This alternative also makes it possible to achieve improved tracking by using this modeling also for the calculation of the pose coordinates by the Nachfür system 10 is taken into account.
Weiter kann das Begrenzungs-Ausgabe-Modul 72 dazu ausgestattet sein, um Koordinaten des Referenzkoordinatensystems (wie es vom Nachführsystem 10 benutzt wird) zu Bildkoordinaten des Echtbildkoordinatensystems (ein in der Regel zweidimensionales Koordinatensystem, mit dem eine Position im Echtbild beschrieben werden kann, das auf das Bild der Kamera 36 zurückgeht) zuzuordnen. Diese Zuordnung erlaubt es dem Begrenzungs-Ausgabe-Modul 72, eine zunächst etwa nur in Referenzkoordinaten des Nachführsystems 16 vorhandene Informationen über die Lage der Begrenzung des Nachführvolumens in Bildkoordinaten des Echtbilds umzurechnen und somit im Echtbild integriert darzustellen. Eine solche Umrechnung bzw. Zuordnung ist insbesondere dann nützlich, wenn die Lagedaten der Begrenzung zunächst nur in Koordinaten des Referenzkoordinatensystems vorliegen. Denn das Begrenzungs-Ausgabe-Modul 72 ist nun in der Lage, die Begrenzungs-Koordinaten, die die Lage der Begrenzung in dem Referenzkoordinatensystem angeben, zu Begrenzungs-Bildkoordinaten der Begrenzung in einem Echtbild-Koordinatensystem des Echtbilds zuzuordnen und sodann auszugeben. Insbesondere wenn die optische Kamera 36 gegenüber dem Nachführsystem 10 beweglich ist, so wird diese Zuordnung von der Position der Kamera 36 abhängen, insbesondere von der relativen Pose der Kamera 36 zu den Referenz-Elementen des Nachführsystems 10. In diesem Fall ist das Begrenzungs-Ausgabe-Modul 72 ausgestattet, die Pose der Kamera 36 zu empfangen, und die empfangene Pose für die Zuordnung zu benutzen. Die Pose der Kamera 36 kann entweder durch das Nachführsystem 16 oder durch ein eigenes etwa mechanisches Nachführsystem erfasst werden.Next, the limit output module 72 be equipped to coordinate coordinates of the reference coordinate system (as determined by the tracking system 10 is used) to image coordinates of the real image coordinate system (usually a two-dimensional coordinate system with which a position in the real image can be described, the image of the camera 36 goes back). This mapping allows the bounding-output module 72 , one at first only in reference coordinates of the tracking system 16 Convert existing information about the position of the limitation of the tracking volume in image coordinates of the real image and thus represent integrated into the real image. Such a conversion or assignment is particularly useful when the position data of the boundary initially present only in coordinates of the reference coordinate system. Because the limit output module 72 is now able to assign and then output the boundary coordinates indicating the location of the boundary in the reference coordinate system to boundary image coordinates of the boundary in a real image coordinate system of the real image. Especially if the optical camera 36 opposite the tracking system 10 is movable, then this assignment of the position of the camera 36 depending on the relative pose of the camera 36 to the reference elements of the tracking system 10 , In this case, the limit output module is 72 equipped, the pose of the camera 36 to receive, and to use the received pose for the assignment. The pose of the camera 36 can either through the tracking system 16 or be detected by its own about mechanical tracking system.
Allgemein ist es nützlich, wenn das Begrenzungs-Ausgabe-Modul 72 ausgestattet ist, um die Begrenzung des Nachführ-Volumens unter Berücksichtigung der Pose der optischen Kamera 36 auszugeben. Dies kann entweder über die oben beschriebene Zuordnung erfolgen, die von der Pose der optischen Kamera 36 abhängig ist. Auch kann eine von der Kamera-Pose abhängige Begrenzung etwa in einer Tabelle fest gespeichert sein und von der Pose abhängig aufgerufen werden. Da eine solche Tabelle für sämtliche möglichen Kamera-Posen sehr umfangreich sein kann, ist es auch möglich, nur einige Kamera-Posen zu speichern und die Werte der Begrenzung durch Interpolation von Tabellenwerden geeigneter Kamera-Posen zu ermitteln. Eine solche Ausgabe der Begrenzung des Nachführ-Volumens in Abhängigkeit von der Kamera-Pose ist nützlich unabhängig davon, ob die Kamera-Pose fest vorbestimmt oder veränderlich und nachgeführt ist.Generally, it is useful when the limit output module 72 is equipped to limit the tracking volume, taking into account the pose of the optical camera 36 issue. This can be done either via the above-described assignment, that of the pose of the optical camera 36 is dependent. Also, depending on the camera pose limiting may be stored about in a table and be called depending on the pose. Since such a table can be very extensive for all possible camera poses, it is also possible to store only a few camera poses and to determine the values of the boundary by interpolation of tables of suitable camera poses. Such an output of the tracking volume limit depending on the camera pose is useful regardless of whether the camera pose is fixed or changeable and tracked.
In Ausführungsformen hängt die Begrenzung des Nachführvolumens auch von weiteren Informationen und Parametern ab, die dem Pose-Eingangs-Modul 50 zugänglich sind, etwa indem sie von dem Nachführsystem 16 an das Pose-Eingangs-Modul 50 überliefert wurden. In diesem Fall ist das Pose-Eingangs-Modul 50 ausgestattet, solche Parameter zu empfangen. Hierfür ist das Pose-Eingangs-Modul 50 in Ausführungsformen mit dem Begrenzungs-Ausgabe-Modul 72 verbunden (gestrichelte Linie in 1b), um solche Informationen und Parameter an das Begrenzungs-Ausgabe-Modul 72 zu senden, d. h. das Begrenzungs-Ausgabe-Modul 72 ist ausgestattet, diese Informationen und Parameter vom Pose-Eingangs-Modul 50 zu empfangen und die Begrenzung des Nachführvolumens unter Berücksichtigung dieser Parameter und Informationen zu ermitteln.In embodiments, the tracking volume limit also depends on other information and parameters associated with the pose input module 50 accessible, such as by the tracking system 16 to the pose input module 50 have been handed down. In this case, the pose input module is 50 equipped to receive such parameters. This is the pose input module 50 in embodiments with the limiting output module 72 connected (dashed line in 1b ) to such information and parameters to the limiting output module 72 to send, ie the limit output module 72 is equipped with this information and parameters from the pose input module 50 receive and determine the limitation of the tracking volume taking into account these parameters and information.
In der in 1b dargestellten Ausführungsform enthält die Begrenzungs-Integrations-Vorrichtung 70 weiter eine Erweiterte-Realität-Engine 74. Die Erweiterte-Realität-Engine 74 bildet das in Bezug auf 1a beschriebene Bild-Wiedergabe-Modul 64, d. h. sie umfasst die Funktionalität und Merkmale des Bild-Wiedergabe-Moduls. Die Erweiterte-Realität-Engine 74 ist somit mit dem Bild-Eingangs-Modul 62 verbunden, um von ihm das Videosignal mit dem Echtbild der Operationsumgebung zu empfangen, und um es zu einem Wiedergabe-Signal weiterzuverarbeiten, das das Echtbild wiedergibt. Im allgemeinen kann die Erweiterte-Realität-Engine nicht nur das Videosignal und die Lagedaten, sondern eventuell auch weitere Signale zu dem Wiedergabesignal verarbeiten. Weiter ist die Erweiterte-Realität-Engine mit dem Begrenzungs-Ausgabe-Modul72 verbunden, um die Lagedaten der Begrenzung des Nachführvolumens zu empfangen. Die Erweiterte-Realität-Engine 74 ist ausgestattet, dass Videosignal vom Bild-Eingangs-Modul 62 und die Lagedaten vom Begrenzungs-Ausgabe-Modul 72, sowie eventuell weitere Signale, zu einem Wiedergabesignal zu verarbeiten. Diese Wiedergabesignal ist ein Erweiterte-Realität-Signal, das das Echtbild und in dem Echtbild integriert die Begrenzung des Nachführvolumens enthält, wie beispielsweise in der oben beschriebenen 4 dargestellt.In the in 1b illustrated embodiment includes the limiting integration device 70 continue an augmented reality engine 74 , The augmented reality engine 74 makes that respect 1a described image playback module 64 that is, it includes the functionality and features of the image playback module. The augmented reality engine 74 is thus with the image input module 62 connected to receive the video signal with the real image of the operating environment from him and to process it into a playback signal that reproduces the real image. In general, the augmented reality engine can process not only the video signal and the location data, but possibly also other signals to the playback signal. Next is the augmented reality engine with the bounds output module 72 connected to receive the position data of the limitation of the tracking volume. The augmented reality engine 74 is equipped that video signal from the image input module 62 and the location data from the limit output module 72 , as well as possibly further signals, to process a playback signal. This reproduced signal is an augmented reality signal containing the real image and integrated in the real image, the limit of the tracking volume, such as in the one described above 4 shown.
Eine weitere Ausführungsform ist in 1c dargestellt. Hier beinhaltet die Begrenzungs-Integrations-Vorrichtung (gepunkteter Kasten) eine mechanische Filtervorrichtung 76. Die Filtervorrichtung 76 ist derart gestaltet und im Sichtfeld der Kamera 36 angeordnet, dass sie aus der Perspektive der Kamera 36 solche Teile des Echtbilds filtert, die außerhalb des Begrenzungsvolumens liegen. Der Rand der Filtervorrichtung folgt der Begrenzung des Nachführvolumens, oder zumindest einem Teil derselben. Daher ist bereits in dem von der Kamera aufgenommenen Echtbild die Lage der Begrenzung des Nachführ-Volumens integriert. Folglich enthält auch das Wiedergabe-Signal die Begrenzung des Nachführ-Volumens in dem Echtbild integriert.Another embodiment is in 1c shown. Here, the limit integrator (dotted box) includes a mechanical filter device 76 , The filter device 76 is designed and in the field of view of the camera 36 arranged from the perspective of the camera 36 filters those parts of the real image that are outside the bounding volume. The edge of the filter device follows the boundary of the tracking volume, or at least part of it. Therefore, the position of the boundary of the tracking volume is already integrated in the real image recorded by the camera. As a result, the reproduction signal also contains the limitation of the tracking volume integrated in the real image.
Als mechanische Filtervorrichtung kommt beispielsweise eine Blende in Betracht, die die außerhalb des Nachführvolumens liegenden Bildteile ausblendet. Eine solche Blende kann auch durch eine speziell an das Nachführvolumen angepasste Apertur eines Objektivs der Kamera 36 gebildet sein. Auch kommt ein farbiger Filter in Betracht, der die außerhalb des Nachführvolumens liegenden Bildteile einfärbt oder markiert. In dieser Weise können auch eine Mehrzahl von Begrenzungen jeweiliger Nachführvolumina durch eine Mehrzahl entsprechender Blenden eingefärbt werden. Auch kann die Begrenzung des Nachführvolumens dadurch angezeigt werden, dass im Echtbild die Schärfe von Bereichen außerhalb des Nachführvolumen reduziert wird, etwa durch entsprechende Linsen. Auf ähnliche Weise kann auch ein Nebel-Effekt, wie in 7b illustriert, erreicht werden. Eine solche Filterung oder Modifikation des Echtbilds erlaubt es, eine kontinuierliche Verschlechterung der Nachführung zu visualisieren. Alternativ kann auch ein ähnlicher Effekt durch eine elektronische, insbesondere digitale Filtervorrichtung erzeugt werden, die die entsprechenden Bildteile im Videosignal filtert (also etwa farbig markiert oder ausblendet oder die Schärfe, insbesondere die Pixeldichte anpasst), nachdem das Echtbild von der Kamera aufgezeichnet wurde.As a mechanical filter device is, for example, a diaphragm into consideration, which hides the lying outside the Nachführvolumens image parts. Such a diaphragm can also be achieved by an aperture of a lens of the camera which is specially adapted to the tracking volume 36 be formed. Also suitable is a colored filter which dyes or marks the image parts lying outside of the tracking volume. In this way, a plurality of boundaries of respective tracking volumes can be colored by a plurality of corresponding apertures. The limitation of the tracking volume can also be displayed by reducing the sharpness of areas outside the tracking volume in the real image, for example by means of corresponding lenses. Similarly, a fog effect, as in 7b illustrated, be achieved. Such filtering or modification of the real image makes it possible to visualize a continuous deterioration of the tracking. Alternatively, a similar effect can also be produced by an electronic, in particular digital filter device which filters the corresponding image parts in the video signal (ie color marks or hides or adjusts the sharpness, in particular the pixel density) after the real image has been recorded by the camera.
Eine solche mechanische Filtervorrichtung ist besonders geeignet, wenn das Nachführ-Volumen konstant ist, etwa bei der Vorrichtung gemäß 2a. Alternativ kann die Filtervorrichtung aber auch bei einem veränderlichen Nachführ-Volumen (etwa bei einer beweglichen Kamera 36 wie in der Ausführungsform von 2b) eine Vorrichtung zum räumlichen Verändern des Filters umfassen, mittels derer der Filter in Abhängigkeit der Position der Kamera (oder einer anderweitigen Veränderung des Nachführ-Volumens im Echtbild) an das veränderliche Nachführ-Volumen angepasst wird, etwa mittels geeignet angeordneter Getriebe. Eine solche räumliche Veränderung ist mit geringerem Aufwand auch in einer elektronischen Filtervorrichtung implementierbar, die eine den gefilterten Teil des Echtbilds in Abhängigkeit des Nachführ-Volumens steuert. Eine solche elektronische Filtervorrichtung ist insbesondere mit der hierin beschriebenen Erweiterte-Realität-Engine möglich.Such a mechanical filter device is particularly suitable when the tracking volume is constant, as in the device according to 2a , Alternatively, however, the filter device can also be used with a variable tracking volume (for example in the case of a movable camera 36 as in the embodiment of 2 B ) comprise a device for spatially varying the filter, by means of which the filter is adjusted depending on the position of the camera (or otherwise changing the tracking volume in the real image) to the variable tracking volume, such as by means of suitably arranged gear. Such a spatial change can also be implemented with less effort in an electronic filter device which controls the filtered part of the real image as a function of the tracking volume. Such an electronic filtering device is particularly possible with the extended reality engine described herein.
2a zeigt eine seitliche Ansicht eines Operationssystems gemäß einer Ausführungsform der Erfindung. Das Operationssystem enthält ein nur schematisch dargestelltes Nachführsystem 10. Das Nachführsystem 10 kann beispielsweise ein optisches System wie in 3 dargestellt, oder ein elektromagnetisches, infrarotes, propriometrisches, laserbasiertes, akustisches, auf Radiofrequenz basiertes, oder GPS-artiges Nachführsystem sein. Das entsprechende Nachführvolumen, in dem eine zuverlässige Nachführung von Zielobjekten möglich ist, ist hier schematisch als quaderförmige Volumen 11 gekennzeichnet. Eine solches quaderförmiges Volumen tritt etwa bei elektromagnetischen Nachführsystemen auf. Je nach der Art des Nachführsystems kann das Nachführvolumen auch eine andere Form haben. Das Nachführvolumen 11 ist durch die räumliche Anordnung von Komponenten des Nachführsystems 10 sowie gegebenenfalls durch weitere Parameter vorgegeben. Das Nachführsystem 10 ist ausgestattet, um die Pose von Zielobjekten innerhalb des Nachführvolumens 11 in Koordinaten eines Referenzkoordinatensystems zu erfassen. Das Referenzkoordinatensystem wird von Referenz-Elementen 10a des Nachführsystems 10 bestimmt, beispielsweise von der Anordnung seiner Sensoren, relativ zu denen die Pose ermittelt wird. Im Beispiel von 3 stellen etwa die Kameras 16a, 16b solche Referenz-Elemente 10a dar. Auch kann ein Nachführsystem mehrere Komponenten umfassen, die jeweils eine voneinander unabhängige Nachführung ermöglichen. Solche Komponenten können entweder gleichartig sein (etwa zwei Sätze von Nachführ-Kameras) oder unterschiedlich sein (etwa ein elektromagnetisches und ein optisches Nachführsystem). Die Grenzen eines Nachführvolumens, das einem solchen zusammengesetzten Nachführ-System entspricht, können z. B. definiert werden durch die Schnittmenge der jeweiligen Nachführvolumina der einzelnen Komponenten, durch die Vereinigungsmenge der jeweiligen Nachführvolumina der einzelnen Komponenten, oder durch eine Größe, die direkt das Nachführvolumen des zusammengesetzten Nachführ-Systems ausdrückt. 2a shows a side view of an operating system according to an embodiment of the invention. The operating system contains a tracking system shown only schematically 10 , The tracking system 10 for example, a optical system as in 3 or an electromagnetic, infrared, propriometric, laser-based, acoustic, radio-frequency based, or GPS-like tracking system. The corresponding tracking volume, in which a reliable tracking of target objects is possible, is here schematically shown as cuboidal volumes 11 characterized. Such a cuboidal volume occurs approximately in electromagnetic tracking systems. Depending on the type of tracking system, the tracking volume may also have a different shape. The tracking volume 11 is due to the spatial arrangement of components of the tracking system 10 and optionally specified by further parameters. The tracking system 10 is equipped to pose the target objects within the tracking volume 11 in coordinates of a reference coordinate system. The reference coordinate system is made up of reference elements 10a of the tracking system 10 determined, for example, by the arrangement of its sensors, relative to which the pose is determined. In the example of 3 put about the cameras 16a . 16b such reference elements 10a Also, a tracking system may include multiple components, each allowing independent tracking. Such components may be either similar (about two sets of tracking cameras) or different (such as an electromagnetic and an optical tracking system). The limits of a Nachführvolumens that corresponds to such a composite tracking system, z. B. defined by the intersection of the respective tracking volumes of the individual components, by the union amount of the respective Nachführvolumina the individual components, or by a size that expresses the Nachführvolumen the composite tracking system directly.
Weiter ist in 2a ein Kamerasystem 30 dargestellt, das eine optische Kamera 36 umfasst. Die optische Kamera dient, wie bereits in Bezug auf 3 beschrieben, zum Erzeugen eines Videosignals, das ein Echtbild einer Operationsumgebung darstellt, in der das Nachführvolumen 11 zumindest teilweise enthalten ist. Die Lagedaten der Begrenzung des Nachführvolumens 11 in der Bildebene der Kamera 36 (d. h. in Bildkoordinaten des Echtbilds) hängen somit von der relativen Anordnung der Kamera 36 gegenüber dem Nachführsystem 10, genauer dessen Referenz-Elementen 10a, ab. In der Ausführungsform von 2a ist die optische Kamera 36 durch eine starre Verbindung 32 mit den Referenz-Elementen 10a des Nachführsystems 10 verbunden. Dadurch ist die optische Kamera 36 gegenüber dem Referenzkoordinatensystem in einer festen Pose (Position und Orientierung) angeordnet. Den Referenzkoordinaten sind somit jeweilige Bildkoordinaten des Echtbilds fest zugeordnet. Diese Zuordnung kann beispielsweise einmalig kalibriert und anschließend in dem Begrenzungs-Ausgabe-Modul 72 (siehe 1) gespeichert werden. Auch ohne Speicherung einer solchen Zuordnung kann auch die Begrenzung des Nachführvolumens 11, falls bzw. soweit sie unveränderlich ist, fest im Begrenzungs-Ausgabe-Modul 72 gespeichert werden.Next is in 2a a camera system 30 represented, which is an optical camera 36 includes. The optical camera serves as already in relation to 3 for generating a video signal representing a real image of an operating environment in which the tracking volume 11 is at least partially included. The position data of the limitation of the tracking volume 11 in the picture plane of the camera 36 (ie in image coordinates of the real image) thus depend on the relative arrangement of the camera 36 opposite the tracking system 10 , more precisely its reference elements 10a , from. In the embodiment of 2a is the optical camera 36 through a rigid connection 32 with the reference elements 10a of the tracking system 10 connected. This is the optical camera 36 arranged opposite the reference coordinate system in a fixed pose (position and orientation). The reference coordinates are thus permanently associated with respective image coordinates of the real image. For example, this mapping can be calibrated once and then in the bounds output module 72 (please refer 1 ) get saved. Even without storing such an assignment can also limit the Nachführvolumens 11 if or as far as immutable, is fixed in the bounds output module 72 get saved.
2b zeigt eine weitere Ausführungsform eines Operationssystems in seitlicher Ansicht. Auch in 2b werden durch das Bezugszeichen 10a generell Referenz-Elemente (z. B. Sensorkomponenten) des Nachführsystems 10 bezeichnet, so dass das Referenz-Koordinatensystem fest relativ zu den Referenz-Elementen 10a vorgegeben ist. In 2b ist die optische Kamera 36 nicht starr, sondern beweglich gegenüber diesen Referenz-Komponenten 10a angeordnet. Dies bedeutet, dass es durch Bewegung der Kamera 36 möglich ist, das Nachführvolumen 11 aus verschiedenen Perspektiven zu betrachten. Gleichzeitig umfasst das Kamerasystem 30 ein Kamera-Nachführsystem 33. Das Kamera-Nachführsystem 33 erlaubt es, die Pose die Kamera 36 gegenüber den Referenz-Elementen 10a und somit gegenüber dem Referenzkoordinatensystem nachzuführen. Mit Hilfe dieser Information ist es möglich, in einer jeweiligen Pose der Kamera 36 die Koordinaten des Referenzkoordinatensystems zu Bildkoordinaten des Echtbildkoordinatensystems zuzuordnen. Diese Zuordnung kann beispielsweise in Form einer einmalig kalibrierten Tabelle erfolgen, oder durch eine trigonometrische Rechenvorschrift. Im Allgemeinen wird diese Zuordnung durch das in Bezug auf 1 beschriebene Begrenzungs-Ausgabe-Modul 72 vorgenommen. Zu diesem Zweck ist das Begrenzungs-Ausgabe-Modul 72 mit dem Kamera-Nachführsystem 33 verbunden, um von diesem die Kamera-Pose der Kamera 36 zu erhalten. 2 B shows a further embodiment of an operating system in a side view. Also in 2 B are denoted by the reference numeral 10a generally reference elements (eg sensor components) of the tracking system 10 denoted, so that the reference coordinate system fixed relative to the reference elements 10a is predetermined. In 2 B is the optical camera 36 not rigid, but movable with respect to these reference components 10a arranged. This means that it is by moving the camera 36 is possible, the Nachführvolumen 11 to look at from different perspectives. At the same time, the camera system includes 30 a camera tracking system 33 , The camera tracking system 33 allows to pose the camera 36 opposite to the reference elements 10a and thus track relative to the reference coordinate system. With the help of this information it is possible to pose in a respective pose of the camera 36 assign the coordinates of the reference coordinate system to image coordinates of the real image coordinate system. This assignment can take place, for example, in the form of a once-calibrated table, or by a trigonometric calculation rule. In general, this assignment is related to that 1 described limit output module 72 performed. For this purpose, the limit-output module is 72 with the camera tracking system 33 connected to this camera pose of the camera 36 to obtain.
Das Kamera-Nachführsystem 33 ist im Ausführungsbeispiel von 2b als mechanisches Nachführsystem dargestellt, das eine Gelenkkette mit Sensor-Gelenken (hier: Drehgelenken) umfasst, die ihren jeweiligen Drehwinkel messen und ausgeben können. Es versteht sich, dass auch beliebige andere Nachführsysteme alternativ verwendet werden können. Insbesondere kann das Nachführsystem 10 gleichzeitig auch als Kamera-Nachführsystem 33 verwendet werden. Diese Nachführsysteme können ein eigenes Koordinatensystem benutzen. Es ist jedoch vorteilhaft, wenn sie ausgestattet sind, um die Pose der Kamera 36 in Koordinaten des Referenzkoordinatensystems anzugeben, sodass ein möglichst einheitliches Koordinatensystem zur Verfügung steht. Somit ist das Begrenzungs-Ausgabe-Modul 72 hier ausgestattet, um Kamera-Pose-Koordinaten zu empfangen, die die Pose der optischen Kamera 36 angeben, insbesondere in Koordinaten des Referenzkoordinatensystems angeben.The camera tracking system 33 is in the embodiment of 2 B shown as a mechanical tracking system that includes a link chain with sensor joints (here: swivel joints) that can measure and output their respective angle of rotation. It is understood that any other tracking systems can alternatively be used. In particular, the tracking system 10 at the same time as a camera tracking system 33 be used. These tracking systems can use their own coordinate system. However, it is beneficial if they are equipped to pose the camera 36 in coordinates of the reference coordinate system, so that as uniform a coordinate system as possible is available. Thus, the limit output module is 72 equipped here to receive camera pose coordinates, the pose of the optical camera 36 Specify, in particular specify in coordinates of the reference coordinate system.
5a zeigt eine weitere Ausführungsform einer erfindungsgemäßen Operationsumgebung, die in vieler Hinsicht der Ausführungsform von 3 entspricht, sodass im Folgenden nur Unterschiede dargestellt werden. In der Ausführungsform von 5a ist das Nachführsystem 10 als propiometrisches (mechanisches) Nachführsystem gestaltet, und nicht wie in 3 als optisches Nachführsystem. Das nachgeführte Zielobjekt 20 wird hierbei durch eine Gelenkkette nachgeführt, die Sensor-Gelenke 14 und starre Verbindungsglieder 12 zwischen den Sensor-Gelenken 14 umfasst. Die Sensor-Gelenke 14 erlauben eine Erfassung ihres Auslenkungszustands. Die Pose des Zielobjekts 20 ist durch den Auslenkungszustand sämtlicher Sensor-Gelenke 14 eindeutig festgelegt und kann daher durch Auswertung der gemessenen Auslenkungszustände ermittelt werden. In 5a ist das Nachführsystem als Drehgelenkkette mit Sensor-Drehgelenken 14 dargestellt, jedoch sind auch andere Gelenke wie Kugelgelenke oder Schubgelenke denkbar. Die Drehgelenkkette verbindet das nachgeführte Zielobjekt 20 mit einer festen Referenz-Komponente 10a (Bezugssystem), die als Boden dargestellt ist und relativ zu der das Referenzkoordinatensystem definiert ist. 5a shows a further embodiment of an operating environment according to the invention, which in many respects the embodiment of 3 corresponds so that only differences are shown below. In the embodiment of 5a is the tracking system 10 designed as a propiometric (mechanical) tracking system, and not as in 3 as optical tracking system. The tracked target object 20 This is tracked by a link chain, the sensor joints 14 and rigid links 12 between the sensor joints 14 includes. The sensor joints 14 allow detection of their deflection state. The pose of the target object 20 is due to the deflection state of all sensor joints 14 clearly determined and can therefore be determined by evaluating the measured deflection states. In 5a is the tracking system as a swivel chain with sensor swivel joints 14 shown, but other joints such as ball joints or push joints are conceivable. The swivel chain connects the tracked target object 20 with a fixed reference component 10a (Reference system), which is represented as a floor and relative to which the reference coordinate system is defined.
Mit der festen Referenz-Komponente 10a ist die optische Kamera 36 durch eine starre Verbindung 32 fest verbunden, entsprechend der Ausführungsform von 2a. In 5b ist ein Wiedergabe-Signal, insbesondere ein Erweiterte-Realität-Signal 40 mit dem Echtbild der Kamera 36 von 5a dargestellt. Ein solches Erweiterte-Realität-Signal 40 kann von der in 1 gezeigten Erweiterte-Realität-Engine 74 auf Basis der Ausführungsform von 5a generiert werden. In dem erweiterte-Realität-Signal ist das von der Kamera 36 von 5a aufgenommene Echtbild (einschließend des Bildes 20' des nachgeführten Zielobjekts und von Teilen des Nachführsystems 10') integriert. Mit diesem überlagert ist eine Darstellung der Begrenzung 11' des Nachführvolumens, das durch das in 5a gezeigte Nachführsystem 10 bestimmt wird. Hierbei kann das Nachführvolumen beispielsweise durch den Raum für das Zielobjekt 20 begrenzt sein, der durch die Drehgelenkkette des Nachführsystems 10 erreicht werden kann.With the fixed reference component 10a is the optical camera 36 through a rigid connection 32 firmly connected, according to the embodiment of 2a , In 5b is a playback signal, in particular an augmented reality signal 40 with the real image of the camera 36 from 5a shown. Such an augmented reality signal 40 can from the in 1 shown advanced reality engine 74 based on the embodiment of 5a to be generated. In the augmented reality signal, that's from the camera 36 from 5a captured real image (including the image 20 ' the tracking target object and parts of the tracking system 10 ' ) integrated. Superimposed on this is a representation of the boundary 11 ' the tracking volume generated by the in 5a tracking system shown 10 is determined. In this case, the tracking volume can be, for example, through the space for the target object 20 limited by the swivel chain of the tracking system 10 can be achieved.
Als Variation der Ausführungsform von 5a ist es auch denkbar, dass die Kamera 36 nicht durch eine starre Verbindung 32, sondern durch eine nachgeführte bewegliche Verbindung 33, wie in 2b dargestellt, mit dem Referenz-Element 10a verbunden ist. Daraus ergeben sich die mit Bezug auf 2b beschriebenen Modifikationen. Ein ähnliches Bild wie in 4 und 5b kann auch mit einem mechanischen Filter erreicht werden, der vor der Kamera 36 angeordnet ist, wie weiter oben mit Bezug auf 1c erläutert.As a variation of the embodiment of 5a it is also conceivable that the camera 36 not by a rigid connection 32 but by a tracked movable connection 33 , as in 2 B shown with the reference element 10a connected is. This results in reference to 2 B described modifications. A similar picture as in 4 and 5b Can also be achieved with a mechanical filter, in front of the camera 36 is arranged as above with respect to 1c explained.
Einige der hierin beschriebenen Ausführungsformen stellen redundante Informationen bezüglich der Pose des nachgeführten Zielobjekts zur Verfügung. Das Zielobjekt wird nämlich sowohl durch das Nachführsystem 10 (siehe 1, 2a, 2b, 3, 5a) als auch durch die optische Kamera 36 erfasst. Insbesondere können Bildkoordinaten des Zielobjekts im Echtbild auf zwei verschiedene Methoden erhalten werden: Nach der ersten Methode weist das Begrenzungs-Ausgabe-Modul 72 eine Bildauswertungseinheit auf. Die Bildauswertungseinheit dazu ausgestattet, um das Echtbild von dem Bild-Eingangs-Modul 62 (siehe 1) zu empfangen und um das Echtbild auszuwerten, um daraus die Bildkoordinaten des Zielobjekts im Echtbild zu extrahieren (im Folgenden als extrahierte Bildkoordinaten bezeichnet). Dies geschieht, indem die Bildauswertungseinheit das Zielobjekt 20 mit Methoden der Bilderkennung im Echtbild erkennt und ihm die Bildkoordinaten zuweist. Für diese Bilderkennung können verschiedene bekannte Algorithmen z. B. zur Objekt-Identifikation, zur Segmentierung (z. B. basierend auf Textur, Farbe oder Intensität) und/oder zur Block- oder Linien-Erkennung angewendet werden. Eine solche Bilderkennung ist beispielsweise mit Hilfe der Open Computer Vision Library möglich, die auf der Internetseite http://www.sourceforge.net verfügbar ist. Nach der zweiten Methode können die vom Nachführ-System 10 erfassten Koordinaten des Zielobjekts im Referenzkoordinatensystem zu Bildkoordinaten zugeordnet werden (zugeordnete Bildkoordinaten), wie etwa mit Bezug auf die 2a und 2b oben beschrieben.Some of the embodiments described herein provide redundant information regarding the pose of the tracked target object. Namely, the target object becomes both by the tracking system 10 (please refer 1 . 2a . 2 B . 3 . 5a ) as well as through the optical camera 36 detected. In particular, image coordinates of the target object in the real image can be obtained in two different ways: according to the first method, the bounding-output module indicates 72 an image evaluation unit. The image evaluation unit is equipped to capture the real image from the image input module 62 (please refer 1 ) and to evaluate the real image to extract therefrom the image coordinates of the target object in the real image (hereinafter referred to as extracted image coordinates). This is done by the image analysis unit's target object 20 recognizes with image recognition methods in the real image and assigns the image coordinates to it. For this image recognition, various known algorithms z. For example, for object identification, segmentation (eg based on texture, color or intensity) and / or for block or line recognition. Such image recognition is possible, for example, with the help of the Open Computer Vision Library on the website http://www.sourceforge.net is available. After the second method, those from the tracking system 10 detected coordinates of the target object in the reference coordinate system to image coordinates are assigned (associated image coordinates), such as with respect to the 2a and 2 B described above.
Diese Redundanz kann für verschiedenen Zwecke ausgenutzt werden. In einem ersten Anwendungsbeispiel kann diese Redundanz ausgenutzt werden, um die Zuordnung zwischen Referenzkoordinatensystem und Bildkoordinatensystem des Echtbilds, das von der Kamera 36 generiert wird, überhaupt zu kalibrieren. Wenn nämlich die Pose des Zielobjekts in Referenzkoordinaten und die extrahierten Bildkoordinaten des Zielobjekts synchron für verschiedene Posen des Zielobjekts gespeichert werden, kann aus dieser Information eine Zuordnung zwischen den Referenzkoordinaten und den zugehörigen Bildkoordinaten erhalten oder kalibriert werden, etwa in Form einer Tabelle. Somit ist das Begrenzungs-Ausgabe-Modul 72 (siehe 1) ausgestattet, um die Zielobjekt-Koordinaten vom Pose-Eingangs-Modul 50 zu empfangen, und um die Koordinaten des Referenzkoordinatensystems zu den Bildkoordinaten des Echtbild-Koordinatensystems zuzuordnen, indem das Begrenzungs-Ausgabe-Modul 72 die Zielobjekt-Koordinaten für eine Mehrzahl von Posen des Zielobjekts mit den erfassten Zielobjekt-Bildkoordinaten abgleicht. Auch für weitere Koordinaten des Referenzsystems, die auf diese Weise nicht kalibriert wurden, ist eine Zuordnung durch Interpolation zwischen den kalibrierten Werten möglich. Auf diese Weise kann eine zuverlässige Zuordnung von Koordinaten des Referenzkoordinatensystems zu Koordinaten des Echtbilds ermöglich werden. Als Kalibrier-Algorithmen können beispielsweise Hand-Eye-Calibration, Pose Estimation oder Optimized Pose Estimation, d. h. Pose Estimation mit Berücksichtigung zusätzlicher Informationen, angewendet werden.This redundancy can be exploited for various purposes. In a first application example, this redundancy can be exploited to determine the association between the reference coordinate system and the image coordinate system of the real image, that of the camera 36 is generated to calibrate at all. Namely, when the pose of the target object in reference coordinates and the extracted image coordinates of the target object are stored synchronously for various poses of the target object, an association between the reference coordinates and the associated image coordinates can be obtained or calibrated from this information, for example in the form of a table. Thus, the limit output module is 72 (please refer 1 ) to the target coordinates from the pose input module 50 and to associate the coordinates of the reference coordinate system with the image coordinates of the real image coordinate system by the limiting output module 72 matches the target coordinates for a plurality of poses of the target object with the captured target image coordinates. Also for other coordinates of the reference system, which were not calibrated in this way, an assignment by interpolation between the calibrated values is possible. To this In this way, a reliable assignment of coordinates of the reference coordinate system to coordinates of the real image can be made possible. For example, hand-eye calibration, pose estimation or optimized pose estimation, ie pose estimation with consideration of additional information, can be used as calibration algorithms.
Es ist jedoch auch eine von dem oben beschriebenen Verfahren unabhängige Zuordnung von Referenzkoordinaten zu Echtbildkoordinaten möglich, wie in Bezug auf 2a und 2b beschrieben wurde. In diesem Fall können die redundanten Informationen bezüglich der Echtbildkoordinaten des Zielobjekts für andere Zwecke, insbesondere für eine Genauigkeitsanalyse, genutzt werden. Die durch die Bildauswertereinheit extrahierten Bildkoordinaten des Zielobjekts (gemäß der oben beschriebenen ersten Methode) können nämlich mit den zugeordneten Bildkoordinaten des Zielobjekts (gemäß der oben beschriebenen zweiten Methode) verglichen werden, um somit eine Abweichung zwischen diesen Bildkoordinaten festzustellen. Dieses Vorgehen ist in 6 illustriert.However, it is also possible to assign reference coordinates to real image coordinates independently of the method described above, as described with reference to FIG 2a and 2 B has been described. In this case, the redundant information regarding the real image coordinates of the target object can be used for other purposes, in particular for an accuracy analysis. Namely, the image coordinates of the target object extracted by the image evaluation unit (according to the first method described above) can be compared with the associated image coordinates of the target object (according to the second method described above), thus detecting a deviation between these image coordinates. This procedure is in 6 illustrated.
In 6 ist ein Teil eines Erweiterte-Realität-Bilds 40 dargestellt, wie es in irgendeiner Ausführungsform der Erfindung gewonnen wurde. In dem Erweiterte-Realität-Bild 40 ist das von der Kamera aufgenommene Bild des Zielobjekts 20' dargestellt. Gleichzeitig ist darin auch ein aus den nachgeführten Referenzkoordinaten des Zielobjekts zugeordnetes, computergeneriertes Abbild 22 des nachgeführten Zielobjekts integriert. (Um diese Darstellung zu erzeugen, ist in Ausführungsformen die Erweiterte-Realität-Engine 74 mit dem Pose-Eingangs-Modul 50 verbunden, siehe 1). Das Bild des Zielobjekts 20' kann, gemäß der oben beschriebenen ersten Methode, durch die Bildauswertereinheit ausgewertet werden, um daraus die Bildkoordinaten des Zielobjekts zu extrahieren. Dadurch ist es möglich, eine Abweichung 24 zwischen den beiden auf verschiedene Weise gewonnenen (zugeordneten und extrahierten) Bildkoordinaten des Zielobjekts festzustellen. Diese Abweichung 24 erlaubt es, eine Aussage über die Genauigkeit des gesamten Nachführsystems zu treffen. Somit ist das Begrenzungs-Ausgabe-Modul 72 (siehe 1) ausgestattet, um eine Abweichung 24 festzustellen, indem das Begrenzungs-Ausgabe-Modul 72 die vom Nachführ-System erhaltenen Zielobjekt-Koordinaten mit den erfassten Zielobjekt-Bildkoordinaten vergleicht. Der Vergleich wurde oben in Koordinaten des Echtbild-Koordinatensystems beschrieben, kann jedoch auch in einem beliebigen anderen Koordinatensystem stattfinden. Abweichend von 6 ist eine solche Genauigkeitsanalyse auch ohne eine integrierte Darstellung des Abbilds 22 in dem Erweiterte-Realität-Bild 40 möglich. Auch kann in dem Echtbild 40 eine andere aus den Zielobjekt-Koordinaten gewonnene Pose-Information als das Abbild 22 integriert sein.In 6 is part of an augmented reality picture 40 as obtained in any embodiment of the invention. In the augmented reality picture 40 is the image of the target object taken by the camera 20 ' shown. At the same time, it also contains a computer-generated image associated with the tracking reference coordinates of the target object 22 of the tracked target object integrated. (In order to produce this representation, in embodiments, the augmented reality engine 74 with the pose input module 50 connected, see 1 ). The image of the target object 20 ' can, according to the first method described above, be evaluated by the image evaluation unit to extract therefrom the image coordinates of the target object. This makes it possible for a deviation 24 between the two differently obtained (assigned and extracted) image coordinates of the target object. This deviation 24 allows to make a statement about the accuracy of the entire tracking system. Thus, the limit output module is 72 (please refer 1 ) equipped to a deviation 24 determine by limiting the output module 72 compares the target coordinates obtained from the tracking system with the acquired target image coordinates. The comparison has been described above in coordinates of the real image coordinate system, but may also take place in any other coordinate system. Deviating from 6 is such an accuracy analysis even without an integrated representation of the image 22 in the augmented reality picture 40 possible. Also, in the real image 40 another pose information obtained from the target coordinates as the image 22 be integrated.
Das erfindungsgemäße Wiedergabesystem erlaubt es auch, noch weitere Informationen in dem erweiterte-Realität-Signal zu integrieren, die für den Benutzer nützlich sind. Solche erweiterte-Realität-Signale beziehungsweise Erweiterte-Realität-Bilder sind beispielhaft in 7a und 7b dargestellt. In 7a ist, ähnlich zu 4, ein Erweiterte-Realität-Bild 40 mit einem Echtbild 20' des nachgeführten Objekts und darin integriert einer Begrenzung des Nachführvolumens 11' dargestellt. Weiter ist eine extrapolierte Trajektorie 26 des Zielobjekts dargestellt. Weiter ist ein abgeschätzter zukünftiger Austrittsort 28 des Zielobjekts 20 aus dem Nachführvolumen dargestellt. Dieser abgeschätzte zukünftige Austrittsort 28 ist durch ein besonderes Symbol (in 7a ein Blitz) visualisiert. Diese zusätzliche Information ermöglicht es, den Benutzer zu warnen, falls das Zielobjekt Gefahr läuft, aus dem Nachführvolumen auszutreten.The playback system according to the invention also makes it possible to integrate further information in the augmented reality signal useful to the user. Such augmented reality signals or augmented reality images are exemplary in FIG 7a and 7b shown. In 7a is similar to 4 , an augmented reality picture 40 with a real picture 20 ' the tracked object and integrated therein a limitation of the Nachführvolumens 11 ' shown. Next is an extrapolated trajectory 26 of the target object. Next is an estimated future exit location 28 of the target object 20 shown from the tracking volume. This estimated future exit location 28 is characterized by a special symbol (in 7a a flash) visualized. This additional information makes it possible to warn the user if the target object is in danger of leaving the tracking volume.
Um die extrapolierte Trajektorie 26 zu berechnen, weist das Wiedergabesystem ein Austritts-Abschätzungs-Modul zum Abschätzen einer zukünftigen Trajektorie des Zielobjekts 20 und zum Abschätzen eines zukünftigen Austritts-Ortes des Zielobjekts aus dem Nachführ-Volumen basierend auf den Zielobjekt-Koordinaten auf. Diese extrapolierte Trajektorie 26 kann beispielsweise aus einer linearen Fortführung der gespeicherten bisherigen Trajektorie oder aus sonstigen Informationen abgeschätzt werden. Auch aus anderen Informationen kann ein Austritts-Ort des Zielobjekts abgeschätzt werden, beispielsweise aus der derzeitigen Pose (Ort und Orientierung, wobei aus der Orientierung eine wahrscheinliche zukünftige Bewegungsrichtung abgeleitet wird) oder aus der derzeitigen Pose und Geschwindigkeit (mit der der Ort dann linear extrapoliert werden kann, um einen wahrscheinlichen Austritts-Ort zu bestimmen). Als weitere Extrapolationsalgorithmen können z. B. auch Algorithmen basierend auf Kalman-Filter, auf Particle Filter, und/oder auf Extended Kalman-Filter eingesetzt werden.To the extrapolated trajectory 26 to calculate, the rendering system has an egress estimation module for estimating a future trajectory of the target object 20 and estimating a future exit location of the target object from the tracking volume based on the target coordinates. This extrapolated trajectory 26 can be estimated, for example, from a linear continuation of the stored previous trajectory or other information. From other information as well, an exit location of the target object can be estimated, for example, from the current pose (location and orientation, where a likely future direction of movement is derived from orientation) or from the current pose and speed (with which the location then extrapolates linearly can be used to determine a likely exit location). As further extrapolation algorithms z. For example, algorithms based on Kalman filters, on particle filters, and / or on extended Kalman filters can be used.
Auch kann ein Warn-Symbol nur dann eingeblendet werden, wenn das Zielobjekt der Begrenzung des Nachführvolumen näher als ein vorgegebener Schwellwert kommt oder wenn ein anderer ermittelter Austritts-Risikoparameter größer als ein vorgegebener Schwellwert ist. Auch kann die Größe des Warnsymbols von einem solchen Austritts-Risikoparameter wie etwa der Entfernung des Zielobjekts von der Begrenzung des Nachführvolumens abhängig gemacht werden. Weiter kann eine Warnung erzeugt werden, wenn die Pose des Zielobjekts nicht zuverlässig erfasst werden kann.Also, a warning symbol can only be displayed if the target object comes closer to the limitation of the tracking volume than a predefined threshold value or if another determined exit risk parameter is greater than a predefined threshold value. Also, the size of the warning symbol may be made dependent on such an exit risk parameter, such as the distance of the target object, from the tracking volume limit. Furthermore, a warning may be generated if the pose of the target object can not be reliably detected.
In 7b ist als zusätzliche Information das Volumen außerhalb des Nachführvolumens durch einen Nebel 42 gekennzeichnet. Diese Darstellungsweise kann ein intuitiveres Erfassen der Grenzen des Nachführvolumens ermöglichen. Auch in Fällen, in denen die Grenze des Nachführvolumens nicht scharf definiert ist, sondern ein Übergangsbereich umfasst, kann beispielsweise die Intensität des Nebels 42 von der Position innerhalb des Übergangsbereichs, d. h. von der erreichbaren Genauigkeit der nachgeführten Pose, abhängig gemacht werden. Auch andere Symbole zur Darstellung der Begrenzung des Nachführvolumens oder weiterer für den Bediener nützlicher Informationen können in das Erweiterte-Realität-Signal integriert werden.In 7b is as additional information, the volume outside the Nachführvolumens by a fog 42 characterized. This representation may allow a more intuitive detection of the limits of the tracking volume. Even in cases where the limit of Nachführvolumens is not sharply defined, but includes a transition region, for example, the intensity of the fog 42 be made dependent on the position within the transition range, ie the achievable accuracy of the tracked pose. Other symbols representing the limitation of the tracking volume or other information useful to the operator may also be integrated into the augmented reality signal.
8 beschreibt ein Operationssystem gemäß einem weiteren Ausführungsbeispiel der Erfindung, das bis auf die unten beschriebenen Unterschiede dem Ausführungsbeispiel von 3 entspricht. Das Ausführungsbeispiel von 8 umfasst zusätzlich einen optischen Strahlteiler 38, der innerhalb des Sichtfeldes der optischen Kamera 36 angeordnet ist. In Bezug auf die optische Kamera 36 wirkt der optische Strahlteiler 38 als Spiegel. In Bezug auf die Nachführ-Kameras 16a und 16b ist der optische Strahlteiler 38 zumindest ausreichend transparent, um die Nachführung nicht wesentlich zu beeinträchtigen. Hierdurch kann die Kamera 36 in genügendem Abstand von den Nachführ-Kameras 16a und 16b angeordnet werden, und trotzdem einem virtuellen Ort 39 in der Nähe dieser Kameras zugeordnet sein. Dadurch sind größere Freiheiten in Bezug auf den geometrischen Aufbau des Nachführsystems möglich. 8th describes an operating system according to a further embodiment of the invention, which, except for the differences described below the embodiment of 3 equivalent. The embodiment of 8th additionally includes an optical beam splitter 38 which is within the field of view of the optical camera 36 is arranged. In terms of the optical camera 36 acts the optical beam splitter 38 as a mirror. In terms of tracking cameras 16a and 16b is the optical beam splitter 38 at least sufficiently transparent so as not to significantly affect the tracking. This allows the camera 36 at a sufficient distance from the tracking cameras 16a and 16b be arranged, and still a virtual place 39 be assigned near these cameras. As a result, greater freedom in terms of the geometric structure of the tracking system are possible.
Die 9a und 9b zeigen eine Nachführvorrichtung gemäß einem weiteren Ausführungsbeispiel, die besonders geeignet für medizinische Anwendungen etwa bei chirurgischen Operationen ist. Diese Nachführvorrichtung umfasst zwei optische Nachführ-Kameras 16a und 16b (etwa optische oder Infrarot-Nachführ-Kameras) und, durch einen starren Verbindungskörper 32 damit verbunden, eine optische Kamera 36. Von der Funktionsweise her entspricht dieser Aufbau dem Aufbau von 2a. Dieser Aufbau ist besonders geeignet für eine Anordnung, die im Wesentlichen vertikal oberhalb der Operationsumgebung liegt, so dass die Nachführkameras 16a, 16b und die optische Kamera 36 hauptsächlich vertikal nach unten auf einen zu operierenden Patienten gerichtet sind. Weiter ist das System mit den Nachführkameras 16a, 16b, der optischen Kamera 36, und dem starren Verbindungskörper 32 bewegbar im Operationsraum angeordnet, und kann in eine geeignete Position gebracht werden. Zum Bewegen dieses Systems dienen zwei Griffe 4a und 4b, sowie eine Gelenkanordnung, die beispielsweise ein Drehgelenk oder Schubgelenk 6 umfasst. Von den zwei Griffen 4a und 4b ist ein erster Griff 4a für nicht-sterilen Gebrauch und ein zweiter Griff 4b für sterilen Gebrauch vorgesehen. Somit kann die Position des Systems sowohl von einem bereits sterilen operierenden Arzt als auch von nicht sterilen Personen eingestellt werden. Der Aufbau von 9a ist in 9b nochmals in seitlichem Querschnitt dargestellt.The 9a and 9b show a tracking device according to another embodiment, which is particularly suitable for medical applications such as surgical operations. This tracking device comprises two optical tracking cameras 16a and 16b (such as optical or infrared tracking cameras) and, by a rigid connector body 32 associated with it, an optical camera 36 , Functionally, this structure corresponds to the structure of 2a , This structure is particularly suitable for an arrangement that lies substantially vertically above the operating environment, such that the tracking cameras 16a . 16b and the optical camera 36 directed primarily vertically down to a patient to be operated. Next is the system with the tracking cameras 16a . 16b , the optical camera 36 , and the rigid connecting body 32 movably arranged in the operating room, and can be brought into a suitable position. To move this system are two handles 4a and 4b , as well as a hinge assembly, for example, a hinge or sliding joint 6 includes. From the two handles 4a and 4b is a first grip 4a for non-sterile use and a second handle 4b intended for sterile use. Thus, the position of the system can be adjusted by both an already sterile operating physician and non-sterile persons. The construction of 9a is in 9b again shown in lateral cross-section.
Im Folgenden sollen noch weitere Modifikationen und allgemeine Aspekte von Ausführungsformen dargestellt werden, die ebenfalls untereinander und mit jeder weiteren Ausführungsform kombinierbar sind. Die optische Kamera 36 (siehe 3) kann nicht nur, wie bisher beschrieben, eine Kamera zum Aufnehmen eines zweidimensionalen Bildes sein, sondern auch dreidimensionale Echtbild-Informationen liefern. Dies ist beispielsweise möglich, indem die Kamera 36 als Time-of-Flight-Kamera ausgestattet ist, oder indem zwei Kameras zum Liefern eines stereoskopischen Bildes mit einer Auswerteeinheit zum Extrahieren dreidimensionaler Bildinformation aus dem stereoskopischen Bild verbunden werden. Insbesondere im Hinblick auf die Beschreibung von 6 oben hat eine Kamera zum Liefern dreidimensionaler Echtbild-Informationen den Vorteil, dass redundante Informationen zur Pose des Zielobjekts nicht nur in zwei, sondern in drei Dimensionen verfügbar sind und somit eine Kalibrierung oder Abweichungs-Analyse in drei Dimensionen möglich ist. Weiter kann das Zielobjekt insbesondere ein Operationswerkzeug und/oder eine Sonde sein.In the following, further modifications and general aspects of embodiments are to be represented, which can also be combined with each other and with each further embodiment. The optical camera 36 (please refer 3 ) not only can be a camera for taking a two-dimensional image as described so far, but also provide three-dimensional real-image information. This is possible, for example, by the camera 36 as a time-of-flight camera, or by connecting two cameras for providing a stereoscopic image with an evaluation unit for extracting three-dimensional image information from the stereoscopic image. In particular with regard to the description of 6 above, a camera for providing three-dimensional real-image information has the advantage that redundant information about the pose of the target object is available not only in two but in three dimensions, and thus a calibration or deviation analysis in three dimensions is possible. In addition, the target object may in particular be an operation tool and / or a probe.
Weiter kann das beschriebene Wiedergabesystem in einem Operation-System enthalten sein. Das Operation-System kann weiter zumindest eines der folgenden weiteren Elemente umfassen (oder auch in Ausführungsformen alle Elemente aus der Liste umfassen):
- – ein Erweiterte-Realität-Anzeigegerät, das mit der Erweiterte-Realität-Engine 74 verbunden ist, um ein aus dem Erweiterte-Realität-Signal gewonnenes Erweiterte-Realität-Bild anzuzeigen;
- – ein erstes Nachführ-System 16, das operativ mit dem Zielobjekt 20 zum Erfassen der Pose des Zielobjekts 20 in Zielobjekt-Koordinaten verbunden ist und operativ mit dem Pose-Eingangs-Modul 50 zum Übermitteln der Zielobjekt-Koordinaten an das Pose-Eingangs-Modul verbunden ist;
- – das Zielobjekt 20, wobei das Zielobjekt ein Operationswerkzeug oder ein Messgerät zum Aufzeichnen diagnostisch relevanter Informationen (z. B. ein Strahlungsmessgerät) sein kann;
- – die optische Kamera 36 zum Aufnehmen der Operation-Umgebung und zum Generieren des Videosignals.
Further, the described playback system may be included in an operation system. The operation system may further comprise at least one of the following further elements (or in embodiments include all elements from the list): - - An advanced reality display that comes with the augmented reality engine 74 connected to display an augmented reality image obtained from the augmented reality signal;
- - a first tracking system 16 that is operational with the target object 20 to capture the pose of the target object 20 is connected in target object coordinates and operational with the pose input module 50 for communicating the target coordinates to the pose input module;
- - the target object 20 wherein the target object may be an operation tool or a meter for recording diagnostically relevant information (eg, a radiation meter);
- - the optical camera 36 to record the operation environment and to generate the video signal.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
-
EP 1096268 [0003] EP 1096268 [0003]
Zitierte Nicht-PatentliteraturCited non-patent literature
-
http://www.sourceforge.net [0057] http://www.sourceforge.net [0057]
