EP1517647A1 - Method and instrument for surgical navigation - Google Patents

Method and instrument for surgical navigation

Info

Publication number
EP1517647A1
EP1517647A1 EP03735605A EP03735605A EP1517647A1 EP 1517647 A1 EP1517647 A1 EP 1517647A1 EP 03735605 A EP03735605 A EP 03735605A EP 03735605 A EP03735605 A EP 03735605A EP 1517647 A1 EP1517647 A1 EP 1517647A1
Authority
EP
European Patent Office
Prior art keywords
microscope
instrument
navigation
surgical microscope
markings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03735605A
Other languages
German (de)
French (fr)
Inventor
Martin Schmidt
Jochen Koetke
Peter Schalt
Stefan Oelckers
Rolf-Rainer Grigat
Lars Eckert
Thomas Hoell
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moeller Wedel GmbH
Original Assignee
Moeller Wedel GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10249025A external-priority patent/DE10249025B4/en
Application filed by Moeller Wedel GmbH filed Critical Moeller Wedel GmbH
Publication of EP1517647A1 publication Critical patent/EP1517647A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983Reference marker arrangements for use with image guided surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects

Definitions

  • the invention relates to a method for presence optimization in navigation, in particular neuronavigation, in surgery with a surgical microscope and at least one optoelectronic image receiver, which can also be connected to the microscope, and a computer system according to the preamble of claim 1, and a navigation instrument, in particular for a method for presence optimization navigation, especially neuronavigation.
  • Neuronavigation is concerned with the planning, but also the implementation of trajectories for interventions on the human brain, the spine and the like.
  • the patient takes preoperative tomographic recordings, with markings attached to the patient's body, which are also recorded by the tomography.
  • the three-dimensional position of these markers in space is determined by navigation, thus establishing a relationship between the patient's anatomy and the preoperatively recorded data sets.
  • registration A basic distinction can be made between optical navigation methods and magnetically operating methods. Both methods are used to determine the three-dimensional position and orientation of a special navigation pointer instrument in space, which is used to probe relevant points.
  • the position of the pointer tip is not determined directly in known optically operating systems, but is determined with the aid of markers, which are usually attached to the pointer in the form of balls.
  • markers which are usually attached to the pointer in the form of balls.
  • reflectors for infrared light which is generated by special infrared light radiation sources, are used as markers or marker substances.
  • Two cameras on a traverse then take pictures and determine the position of the pointer in the room.
  • the pointers In the methods based on magnetic fields, the pointers have sensors, which are used either for the generated spatial alternating magnetic field or for a pulsed magnetic direct field.
  • Optical systems have the disadvantage that there is a risk of the cameras being covered by operating personnel. Magnetic systems then fail as soon as there are objects made of soft iron nearby that disrupt or distort the magnetic fields.
  • the basic task of navigation systems on the market is the position or tip of an instrument, which is used to point to a detail in the operating area during the operation, with data from preoperative diagnostic methods, such as Correlate computed tomography or magnetic resonance imaging.
  • preoperative diagnostic methods such as Correlate computed tomography or magnetic resonance imaging.
  • the surgeon can e.g. the position of a point in the site, to which it points during the operation with the instrument mentioned, is displayed in real time in the images of the preoperative images. In this way, the surgeon receives information about the current position relative to a position of a structure recognizable in the CT or MR image, e.g. a tumor.
  • Further known navigation systems furthermore offer the possibility of displaying images of preoperative diagnostic methods in the correct position, orientation and scale with the optical image of a surgical microscope overlap.
  • the position and orientation of the surgical microscope as well as the currently selected magnification and focal plane must also be recorded.
  • the position and orientation of the surgical microscope are usually recorded by attaching reflective markings to the microscope, which, like the markings mentioned on the pointer, are recorded by the two cameras on the crossmember mentioned.
  • the relative position and orientation of the microscope is determined with the aid of rotary angle sensors in the microscope carrier system.
  • a disadvantage of the latter systems is that the carrier systems used had to be stiffened to ensure sufficient accuracy and are therefore disproportionately heavy and expensive.
  • the superimposition itself can then take place, for example, by reflecting the CT or MR image into the optical observation beam path of the microscope using a projector.
  • the navigation systems according to the prior art have some significant disadvantages. This includes the fact that the markings on the surgical instrument or on the pointer must be seen at all times by the stereo camera pair arranged on the camera arm. Hiding the markings affects the functionality and leads to errors in the data acquisition. Experience has shown that the so-called presence times of optical as well as magnetic navigation systems are around 2/3. Furthermore, the large distance between the markings of known optical instruments and the camera pair in the case of optical measurement causes large measurement inaccuracies and relatively large-volume markings are necessary.
  • the aim in new navigation systems is to enable a three-dimensional measurement of the operating field and trajectory tracking of the tip of the surgical set and to increase the presence, particularly in the case of optical navigation. Furthermore, the large, expensive and occlusion-sensitive camera traverses should be avoided.
  • the operation of the systems is simple and clear in order to exclude sources of error from the outset.
  • a subordinate task of the invention is to create a new type of navigation instrument, in particular for use in operations with the aid of an operating microscope.
  • the object of the invention is achieved with a method for presence optimization in navigation as defined in claim 1 and with regard to the navigation instrument with the feature Combination according to claim 12 and with a view to the surgical microscope through the teaching of claims 18 ff.
  • the basic idea of the invention lies in the fact that the inclusion of the images from or parallel to the observation channels of the surgical microscope in the actual image evaluation of a navigation system improves both the presence time of the navigation system and further advantageous effects, in particular with a view to improving the accuracy of the position determination to reach.
  • the data obtained from the at least one image receiver contains information about the position of the surgical instrument or pointer used, in particular the tip thereof, the specific position of the instrument in x and. From the respective position data being continuous or discontinuous y direction and in the z direction of a three-dimensional coordinate system is determined. For the determination of the position in the z direction, either a distance determination is carried out by means of depth of field evaluation or a stereoscopic image evaluation takes place. Instead of two cameras with stereoscopic image evaluation, a new type of optoelectronic image receiver called PMD array (PMD: Photonic Mixer Device) can also be used. The measuring method of these sensors is related to the “time of flight” distance measuring method, but achieves a better result by means of novel principles with less equipment expenditure and much smaller size
  • Accuracy of measurement and can also be implemented as a sensor array, so that when mapping an area to be topographed onto a PMD array it is possible to obtain a complete topography with just one measurement. Since the pointer and its suitably shaped markings can be easily separated from the topography of a pointer against the background of the operation field, such a PMD array can also be used to track said pointer. If a PMD sensor is used, the object field of the sensor must be illuminated with a suitably modulated and preferably narrow-band light source the background light as well as the unmodulated white light of the surgical microscope are discriminated by suitable filters before hitting the PMD array.
  • the one or more optoelectronic image receivers can be connected directly to the observation beam path, in particular by means of a beam splitter, although there is also the possibility of providing at least one separate image receiver beam path which is independent of the observation beam path and which is likewise directed towards the microscope field of view of the operator ,
  • the position of the surgical microscope in the room is determined and this surgical microscope position data is supplied to a computer system known per se in order to place the instrument position data in a higher-level spatial coordinate system, including existing data about the current position of the patient and preoperatively obtained three-dimensional data from the inside of the patient Transform patient.
  • the use of these two independent redundant systems results in the advantageous possibilities mentioned below. If one of the systems does not deliver valid measured values, for example due to the masking being covered, the measured values of the other system can be used and it is possible in this way to increase the presence time.
  • the accuracy of the measurement can be increased, for example by averaging.
  • the uncertainty of the measured values for example due to the Difference of the redundant measured values are quantified and in this way a navigation system is created for the first time, which can quasi control itself. The latter is standard for the majority of the medical devices critical for patient safety, but has not yet been implemented in known navigation systems.
  • a module for detecting the position of the surgical microscope in the room, which module is integrated in the microscope or at least connected to the microscope in a fixed and invariant manner, which is used next to the operating table without the use of the known systems space-filling trusses to be positioned can use cameras.
  • This module enables the microscope to determine its relative position in space or relative to the patient.
  • the components and measuring methods mentioned in claims 19 to 24 are used individually or in combination.
  • the required infrastructure power supplies, computers, etc.
  • the microscope can itself determine its position in the room or relative to the patient and if the pointer is also tracked without the stereo camera pair of the conventional navigation system, the stereo camera pair of the conventional navigation system can be omitted. In this case, space in the operating room is significantly saved; Furthermore, commissioning is simplified, since fewer devices have to be moved and put into operation with fewer cables before the operation begins, and the risk of occlusions during the operation is eliminated or at least considerably reduced.
  • the invention provides for marking points to be arranged on or on the tissue surface of the patient, the change in position of which is detected by the image receiver and determined by means of the computer system, in order to to correct data obtained preoperatively based on the current status.
  • a stereo light microscope can either consist of two convergent monocular mono-objective microscopes or comprise two decentered optical channels behind a common front lens.
  • Surgical microscopes are built almost exclusively as so-called Common Main Objectives (CMO) microscopes due to their design-specific advantages.
  • CMO Common Main Objectives
  • the modeling of a CMO microscope from an optical point of view is extremely difficult, however, since the treatment of so-called skewed light beams is required here. This is due to the lateral offset of the two optical channels behind the common front lens mentioned.
  • the data obtained from the image receiver provided for each channel are corrected with regard to the distortion errors present in the x and y directions and the disparity errors given in the z direction. This correction depends on the respective settings of the microscope, i.e. Zoom and focus.
  • the CMO microscope-adapted stereoscopic image processing is carried out using a method in which the image from both two-dimensional camera planes is formulated into the three-dimensional space by means of the least possible degree of polynomial approximation.
  • a necessary set of control points acts as a set of nodes for the polynomials and is selected in the entire volume.
  • markings in particular micro-markings, are applied close to the tip of the instrument, specifically when in use lying in the field of view of the microscope.
  • a certain minimum distance to the instrument tip results from the fact that the markings should not be contaminated by blood or other body fluids and that the use of the pointer instrument must not be impeded in the case of raised markings.
  • the markings are e.g. can be formed as at least three coplanar, colored spheres which lie in a plane which runs parallel to the instrument's longitudinal axis but does not contain it.
  • Other forms of training are colored or reflective ring markings. If the microscope is to be operated over a particularly large zoom and focus range, it may happen that the markings are no longer completely in the field of view of the microscope at particularly high magnifications and short focus lengths, or that the markings are too small at particularly weak magnifications and large focus lengths are. In this case, it is expedient to attach several sets of markings of different sizes, the smallest set of markings being closest to or attached to the instrument tip.
  • the navigation instrument according to the invention can be sterilized and can be easily recognized by the microscope.
  • One end shape is designed as a distinctive tip and can be used as a pointer. In the case where the tip is not directly visible for operational reasons, it can be detected via the above-mentioned markings and the remaining shape information of the instrument.
  • the increase in presence achieved according to the invention in the case of optical systems is achieved by taking the image directly through the microscope and thereby ensuring that the navigation instrument is not covered by the fingers or other surgical instruments. A risk of concealment by operating room personnel, as with conventional optical navigation systems, is excluded from the outset. Due to the measurability of relative distances from points in the coordinate system of the microscope, there is still the possibility of differential navigation given, ie distances from points to a reference point can be measured.
  • markings according to the invention are positioned close to the top. Since navigation takes place through the microscope, much smaller markings can also be used. This in turn offers the possibility of making the navigation instrument itself smaller and cheaper and, above all, of using it more flexibly and ergonomically.
  • An exemplary navigation instrument is designed as a bayonet-shaped round steel of essentially 4 mm, which tapers conically at the tip over a region of essentially 30 mm.
  • Bayoneting or cranking is expedient from the point of view, since it can thereby rule out that the instrument for the area covered by cameras is covered by fingers or the like.
  • the coplanar spheres mentioned are used as markers, which have a diameter of approximately 1.5 mm, for example.
  • they are painted in different colors.
  • blue, green and violet and / or brilliant yellow are preferred.
  • the use of infrared reflecting spheres is also possible.
  • the marker configuration does not rest on the navigation instrument and is fastened there, but only consists of imprints.
  • imprints In case of necessary Detection of the rotation of the navigation instrument about its own axis is conceivable, for example, an angular coding running in the azimuthal direction.
  • the balls are preferably detected in the camera views using color image processing methods. Depending on the strength of a color cast that may be present, this is compensated for by a white balance directly with the image acquisition. For this purpose, the intensities of the red and blue channels of each image receiver or camera are scaled.
  • the feature extraction or pattern recognition of the markings in the form of coplanar, colored spheres takes place via the fact that a spherical object is imaged differently. If the center of the sphere is not on the perpendicular of the camera plane, the outline of the sphere is projected as an ellipse. The shape shown allows conclusions to be drawn about the position or location of the individual balls.
  • the three-dimensional position of the pointer tip is determined from the three-dimensional positions of the ball centers.
  • the navigation instrument can also be formed from a conventional surgical set, in order not to have to interrupt the operation unnecessarily for navigation purposes.
  • the underlying geometry is calibrated to calculate the three-dimensional coordinates of the tip position from the three-dimensional spherical centers.
  • a local instrument coordinate system originating in a central sphere is defined, of which two axes run through the remaining two spheres and the third axis is orthogonal to the plane spanned in this way.
  • the position of the pointer tip has three unique coordinates, so that it can be reconstructed indirectly via the reconstruction of the axes of the local instrument coordinate system.
  • the affine coordinates are independent of the intrinsic or extrinsic parameters of the camera arrangement and can be calibrated for a number of given tip and ball coordinates.
  • position and location are used essentially as synonyms. It is within the knowledge of the person skilled in the art that to determine the position of a three-dimensional body in space, six coordinates, e.g. Point of focus / center of gravity or the like in x, y and z orientation and with the three so-called Euler angles are to be specified. The only exception is the tip of the instrument, which only needs three coordinates to describe the position.
  • the operating area is located in the head of a patient and a surgical instrument with a corresponding marking is located in the visual field of the surgical microscope.
  • the images of both observation channels are transferred to two image receivers, e.g. CCD cameras directed.
  • the camera images are then evaluated by a computer and the position of the surgical instrument in the coordinate system of the microscope is calculated from the stereoscopic image evaluation and the device parameters, such as zoom and focus position, which are additionally output by the microscope via a data connection.
  • the position of the microscope and the patient in the coordinate system of the stereo camera arm is determined by a stereo camera pair with corresponding cameras, which is positioned near the operating table, by means of stereoscopic image evaluation with the aid of the patient markings and the microscope markings.
  • the camera pair can additionally detect and evaluate markings on the surgical instrument, with the result of a redundant measurement of the determination of the position of the surgical instrument.
  • visible light or radiation in the near infrared region can be used to generate marking points, lines or a grating into the field of view of the microscope. These marking points, lines or grids can then be recorded with a corresponding camera, which is coupled to one of the observation channels. The position of the marking points in coordinates relative to the microscope can be determined by evaluating the camera image.
  • the aforementioned teaching can be implemented in that light is directed via a diaphragm into the observation channel of the surgical microscope and is imaged on a point in the focal plane of the microscope. This point of light is then captured by a camera, in particular a CCD camera.
  • intersection points can be detected by the cameras.
  • the coordinates of the crossing points of the light grid on the surface of the operation area can then be determined in the coordinate system of the microscope by means of stereoscopic image evaluation.
  • the information derived from this can then be displayed on a display as a three-dimensional, perspective grid in the form of contour lines or the like are shown and used for the allocation of positions, based on preoperative images.
  • topographies of the area of operation can be acquired with reasonable effort during the operation, the lack of quantitative 3D information in today's documentation would be eliminated.
  • Such topographies can be saved without any problems and, as part of quality assurance measures, e.g. the actual resection profile can be compared with the findings from preoperative diagnostic data such as magnetic resonance imaging and computed tomography.
  • Appropriate topographies can e.g. can also be visualized as relief diagrams during the operation. This makes it possible - in addition to postoperative quality assurance - to offer the surgeon decision aids during the operation to optimize the resection limits.
  • a topography of the microscope object field can already be obtained with the microscope described above with stereo cameras using standard methods of stereoscopic image evaluation.
  • Correspondence analysis in particular, is computationally time-consuming and prone to errors in areas that are naturally weakly structured.
  • An improvement can be achieved by the following description of the methods and devices, among other things, for the projection of light markings.
  • the corresponding points required for stereoscopic image evaluation can be determined quickly, clearly and with an extremely low error rate using light markings.
  • a possible first embodiment uses stereo cameras permanently connected to the microscope and a projection system which does not necessarily have to be permanently connected to the microscope.
  • a second embodiment is based on the light projection device at the location of one of the two stereo cameras and using the optical channels / paths which were used by this camera in the first-mentioned embodiment.
  • the methods of stereoscopic image evaluation can already be used with only one camera, which is known as the inverse camera.
  • the topography is obtained directly from the data of a PMD array (PMD: Photonic Mixer Device) and an assigned personal computer.
  • PMD Photonic Mixer Device
  • the tissue in the visual field of the surgical microscope can then be recorded together with the marking points, lines or grids projected onto this tissue with two cameras, which are coupled, for example, to the observation channels of the microscope.
  • the position of the marking points in coordinates relative to the microscope can be determined by evaluating the camera images with stereoscopic image evaluation.
  • the main source of error in stereoscopic image evaluation - correspondence analysis - is drastically simplified and failsafe, since only the marked points of both camera images are included in the evaluation, for which the uncertainty of the correspondence assignment is significantly less than for unmarked points.
  • the relative position and orientation of the patient and the microscope must be determined, which can be done in the manner shown.
  • the procedure is largely analogous to that of the first embodiment.
  • one of the two cameras is replaced by an aperture.
  • the same optics, which previously mapped the object field on this camera, are now used to image the aperture on the object field. If an aperture structured with dots, lines or grids is used and light is directed through these aperture structures and the assigned optical channel onto the object field and if the correspondingly illuminated area is recorded with the remaining camera, the principle of the inverse camera and the methods can be used the stereoscopic image evaluation can be used despite the use of only one camera.
  • the advantages of the first exemplary embodiment are also given here. If invisible light is used, visible light can also be added to make the support points of the topography visible in the image of the microscope.
  • a PMD sensor array is used instead of the conventional cameras.
  • it In order to be able to use this, in addition to the visible light of the microscope, it must be illuminated with modulated light.
  • the PMD sensor is protected with suitable optical filters against excessive lighting by the white non-modulated light.
  • the topography of the area mapped onto the PMD sensor array can be obtained directly from the PMD chip with an associated computer with a suitable interface.
  • topographical data obtained in the above exemplary embodiments can then, for example, as a three-dimensional, perspective grid or in Form of contour lines or the like can be shown on a display. Furthermore, these topographical data can be displayed in a location-correlated manner with data from preoperative diagnostic data (magnetic resonance imaging data, computed tomography data, etc.).

Abstract

The invention relates to a method for positional optimisation in navigation, in particular neural navigation in surgery with an operation microscope and at least one optoelectronic image detector which may be connected to the microscope and also a computer system. The data obtained from the at least one image detector which lie in the microscope field-of-view for the operator, contain information on the position of an operation instrument, in particular the instrument tip. The actual position of the instrument in the x- and y-direction as well as in the z-direction of a three-dimensional coordinate system is continuously or intermittently determined from the relevant positional data. A separation determination is carried out for the positional determination in the z-direction by means of depth of focus evaluation and/or stereoscopic image analysis. The invention further relates to a navigation instrument, using marking, close to the instrument tip, lying within the field of view of the microscope during use thereof.

Description

VERFAHREN UND INSTRUMENT ZUR CHIRURGISCHEN NAVIGATION METHOD AND INSTRUMENT FOR SURGICAL NAVIGATION
Beschreibungdescription
Die Erfindung betrifft ein Verfahren zur Präsenzoptimierung bei der Navigation, insbesondere Neuronavigation, in der Chirurgie mit einem Operationsmikroskop und mindestens einem, auch mit dem Mikroskop verbindbaren optoelektronischen Bildempfänger sowie einem Computersystem nach Oberbegriff des Patentanspruchs 1 und ein Navigationsinstrument, insbesondere für ein Verfahren zur Präsenzoptimierung bei der Navigation, insbesondere Neuronavigation.The invention relates to a method for presence optimization in navigation, in particular neuronavigation, in surgery with a surgical microscope and at least one optoelectronic image receiver, which can also be connected to the microscope, and a computer system according to the preamble of claim 1, and a navigation instrument, in particular for a method for presence optimization navigation, especially neuronavigation.
Die Neuronavigation befaßt sich mit der Planung, aber auch der Durchfüh- rung von Trajektorien für Eingriffe am menschlichen Gehirn, der Wirbelsäule und dergleichen. Hierzu werden vom Patienten präoperativ tomo- grafische Aufnahmen erstellt, wobei am Patientenkörper Markierungen angebracht sind, die ebenfalls von der Tomografie erfaßt werden. Unmittelbar vor der Operation wird die dreidimensionale Lage dieser Marker im Raum durch Navigation bestimmt und somit ein Bezug hergestellt zwischen der Anatomie des Patienten und den präoperativ aufgenommenen Datensätzen. Ein entsprechender Vorgang wird als Registration bezeichnet. Grundsätzlich kann zwischen optischen Navigationsverfahren und magnetisch arbeitenden Verfahren unterschieden werden. Beide Verfahren dienen zur Ermittlung der dreidimensionalen Lage und Orientierung eines speziellen Navigationspointer-Instruments im Raum, welches dem Antasten relevanter Punkte dient. Die Lage der Pointerspitze wird bei bekannten optisch arbeitenden Systemen nicht direkt ermittelt, sondern mit Hilfe von Markern bestimmt, die meistens in Form von Kugeln am Pointer befestigt sind. Als Marker oder Markerstoffe werden bei bekannten Systemen Reflektoren für Infrarotlicht eingesetzt, das von speziellen Infrarotlicht-Strahlungsquellen erzeugt wird. Zwei an einer Traverse befindliche Kameras nehmen dann Bilder auf und bestimmen die Lage des Pointers im Raum. Bei den auf Magnetfeldern basierenden Verfahren weisen die Pointer Sensoren auf, die entweder aus einem erzeugten magnetischen Wechselfeld oder einem gepulsten magnetischen Gleichfeld zur Detektion der räumlichen Lage dienen.Neuronavigation is concerned with the planning, but also the implementation of trajectories for interventions on the human brain, the spine and the like. To this end, the patient takes preoperative tomographic recordings, with markings attached to the patient's body, which are also recorded by the tomography. Immediately before the operation, the three-dimensional position of these markers in space is determined by navigation, thus establishing a relationship between the patient's anatomy and the preoperatively recorded data sets. A corresponding process is called registration. A basic distinction can be made between optical navigation methods and magnetically operating methods. Both methods are used to determine the three-dimensional position and orientation of a special navigation pointer instrument in space, which is used to probe relevant points. The position of the pointer tip is not determined directly in known optically operating systems, but is determined with the aid of markers, which are usually attached to the pointer in the form of balls. In known systems, reflectors for infrared light, which is generated by special infrared light radiation sources, are used as markers or marker substances. Two cameras on a traverse then take pictures and determine the position of the pointer in the room. In the methods based on magnetic fields, the pointers have sensors, which are used either for the generated spatial alternating magnetic field or for a pulsed magnetic direct field.
Optische Systeme weisen den Nachteil auf, daß die Gefahr der Verdeckung der Kameras durch Operationspersonal besteht. Magnetische Systeme versagen dann, sobald sich Gegenstände aus Weicheisen in der Nähe befinden, die die magnetischen Felder stören bzw. verzerren.Optical systems have the disadvantage that there is a risk of the cameras being covered by operating personnel. Magnetic systems then fail as soon as there are objects made of soft iron nearby that disrupt or distort the magnetic fields.
Die grundlegende Aufgabe am Markt befindlicher Navigationssysteme besteht darin, wie oben kurz umrissen, die Position oder die Spitze eines Instruments, mit dem während der Operation auf ein Detail im Operationsgebiet gezeigt wird, mit Daten präoperativer diagnostischer Verfahren, wie z.B. Computertomografie oder Magnet-Resonanz-Tomografie zu korrelieren. Nachdem eine solche Korrelation erfolgte, kann dem Chirurgen z.B. die Position eines Punkts im Situs, auf den er während der Operation mit dem erwähnten Instrument zeigt, in Echtzeit in den Bildern der präoperativen Aufnahmen angezeigt werden. Auf diese Weise erhält der Chirurg eine Information zur aktuellen Position relativ zu einer Position einer im CT- oder MR-Bild erkennbaren Struktur, wie z.B. einem Tumor.The basic task of navigation systems on the market, as briefly outlined above, is the position or tip of an instrument, which is used to point to a detail in the operating area during the operation, with data from preoperative diagnostic methods, such as Correlate computed tomography or magnetic resonance imaging. After such a correlation has taken place, the surgeon can e.g. the position of a point in the site, to which it points during the operation with the instrument mentioned, is displayed in real time in the images of the preoperative images. In this way, the surgeon receives information about the current position relative to a position of a structure recognizable in the CT or MR image, e.g. a tumor.
Eine Möglichkeit, diese Information dem Operateur darzubieten, ist es, die Position der Instrumentenspitze in einem vorher angewählten CT- oder MR- Bild als Punkt einzutragen. Damit das Navigationssystem diese Aufgabe erfüllen kann, muß sowohl die Lage und Orientierung des Patienten wie auch die des genannten chirurgischen Instruments bekannt sein. Wie dargelegt, wird diese Information bei aktuellen Systemen z.B. mit Hilfe eines Stereo-Kamerapaars ermittelt, welches sich in der Nähe des Operationstisches befindet und das Operationsinstrument erfaßt.One way of presenting this information to the surgeon is to enter the position of the instrument tip as a point in a previously selected CT or MR image. So that the navigation system can perform this task, both the position and orientation of the patient and that of the surgical instrument mentioned must be known. As explained, this information is used in current systems e.g. determined with the aid of a stereo camera pair, which is located in the vicinity of the operating table and detects the surgical instrument.
Weitere bekannte Navigationssysteme bieten weiterhin die Möglichkeit, Bilder präoperativer diagnostischer Verfahren positions-, orientierungs- und maßstabsrichtig mit dem optischen Bild eines Operationsmikroskops zu überlagern. Um dies zu erreichen, muß zusätzlich die Position und Orientierung des Operationsmikroskops sowie die aktuell gewählte Vergrößerung und Fokusebene erfaßt werden. Diese Erfassung von Position und Orientierung des Operationsmikroskops geschieht bei den bekannten Naviga- tionssystemen meist durch Anbringung von reflektierenden Markierungen am Mikroskop, die ebenso wie die genannten Markierungen am Pointer von den zwei Kameras an der genannten Traverse erfaßt werden. Weiterhin gibt es ein bekanntes System, bei dem die relative Position und Orientierung des Mikroskops mit Hilfe von Drehwinkelgebern im Mikroskopträgersystem ermittelt wird. Nachteilig bei letztgenannten Systemen ist, daß die dabei verwendeten Trägersysteme zur Gewährleistung einer hinreichenden Genauigkeit versteift werden mußten und dadurch unverhältnismäßig schwer und teuer sind. Die Überlagerung selbst kann dann z.B. dadurch erfolgen, daß mit einem Projektor das CT- oder MR-Bild in den optischen Beobachtungs-Strahlengang des Mikroskops eingespiegelt wird.Further known navigation systems furthermore offer the possibility of displaying images of preoperative diagnostic methods in the correct position, orientation and scale with the optical image of a surgical microscope overlap. To achieve this, the position and orientation of the surgical microscope as well as the currently selected magnification and focal plane must also be recorded. In the known navigation systems, the position and orientation of the surgical microscope are usually recorded by attaching reflective markings to the microscope, which, like the markings mentioned on the pointer, are recorded by the two cameras on the crossmember mentioned. There is also a known system in which the relative position and orientation of the microscope is determined with the aid of rotary angle sensors in the microscope carrier system. A disadvantage of the latter systems is that the carrier systems used had to be stiffened to ensure sufficient accuracy and are therefore disproportionately heavy and expensive. The superimposition itself can then take place, for example, by reflecting the CT or MR image into the optical observation beam path of the microscope using a projector.
Die Navigationssysteme nach dem Stand der Technik weisen einige wesentliche Nachteile auf. Hierzu gehört u.a. die Tatsache, daß die Markierungen am chirurgischen Instrument bzw. am Pointer jederzeit von dem auf dem Kameraarm angeordneten Stereo-Kamerapaar gesehen werden müssen. Ein Verdecken der Markierungen beeinträchtigt die Funktionsweise und führt zu Fehlern in der Datenerfassung. Erfahrungsgemäß liegen die sogenannten Präsenzzeiten optischer, aber auch magnetischer Navigationssysteme bei ca. 2/3. Weiterhin bedingt der große Abstand zwischen den Markierungen bekannter optischer Instrumente und dem Kamerapaar bei optischer Vermessung große Meßungenauigkeiten und es sind verhältnismäßig groß- volumige Markierungen notwendig.The navigation systems according to the prior art have some significant disadvantages. This includes the fact that the markings on the surgical instrument or on the pointer must be seen at all times by the stereo camera pair arranged on the camera arm. Hiding the markings affects the functionality and leads to errors in the data acquisition. Experience has shown that the so-called presence times of optical as well as magnetic navigation systems are around 2/3. Furthermore, the large distance between the markings of known optical instruments and the camera pair in the case of optical measurement causes large measurement inaccuracies and relatively large-volume markings are necessary.
Ein weiteres Problem bei aktuellen Navigationssystemen in der Neuro- Chirurgie besteht in der Bewegung des Gehirngewebes nach Öffnung der Schädeldecke und während der Operation. Dieser als Brain-Shift bezeichnete Sachverhalt führt dazu, daß die Gewebegeometrie während der Operation nicht mehr uneingeschränkt mit der Gewebegeometrie während der präoperativen diagnostischen Verfahren übereinstimmt. Dieses führt zu Fehlern z.B. bei der erwähnten Positionsangabe eines Zeigerinstruments relativ zu den Gewebestrukturen in einem präoperativen diagnostischen MR- oder CT-Bild. Der beschriebene Fehler kann dadurch korrigiert werden, daß z.B. die Veränderung der Lage der Gewebeoberfläche in der Umgebung des Operationsgebiets während der Operation verfolgt wird. Hierzu muß der Chirurg allerdings wiederholt mit einem Markierungsinstrument des Navigationssystems mehrere Punkte auf der erwähnten Gewebeoberfläche antippen und markieren, um die erforderlichen Daten für diese Korrektur für das System zur Verfügung zu stellen. Dies ist jedoch bei der ohnehin hohen Belastung einer neurochirurgischen Operation von Nachteil.Another problem with current navigation systems in neurosurgery is the movement of the brain tissue after opening the skull and during the operation. This situation, known as the brain shift, means that the tissue geometry during the operation no longer fully corresponds to the tissue geometry during the preoperative diagnostic procedures. This leads to Errors, for example, in the aforementioned position indication of a pointer instrument relative to the tissue structures in a preoperative diagnostic MR or CT image. The described error can be corrected by, for example, following the change in the position of the tissue surface in the vicinity of the operating area during the operation. For this purpose, however, the surgeon must repeatedly tap and mark several points on the tissue surface mentioned with a marking instrument of the navigation system in order to make the necessary data for this correction available to the system. However, this is disadvantageous given the already high load of a neurosurgical operation.
Unter Berücksichtigung der vorerwähnten Nachteile des Standes der Technik besteht also das Ziel bei neu zu schaffenden Navigationssystemen darin, eine dreidimensionale Operationsfeld-Vermessung und Trajektorien- Verfolgung der Operationsbesteck-Spitze zu ermöglichen und eine Präsenzerhöhung insbesondere im Falle optischer Navigation zu erreichen. Weiterhin sollen die großen, teuren und okklusionsanfälligen Kameratraversen vermieden werden. Die Bedienung der Systeme ist einfach und übersichtlich zu gestalten, um Fehlerquellen von vornherein auszuschließen.Taking into account the aforementioned disadvantages of the prior art, the aim in new navigation systems is to enable a three-dimensional measurement of the operating field and trajectory tracking of the tip of the surgical set and to increase the presence, particularly in the case of optical navigation. Furthermore, the large, expensive and occlusion-sensitive camera traverses should be avoided. The operation of the systems is simple and clear in order to exclude sources of error from the outset.
Aus dem Vorgenannten ist es daher Aufgabe der Erfindung, ein Verfahren zur Präsenzoptimierung bei der Navigation, insbesondere Neuronavigation, in der Chirurgie anzugeben, welches von einem an sich bekannten Operationsmikroskop und mindestens einem mittelbar oder unmittelbar an den Beobachtungs-Strahlengang des Mikroskops gekoppelten optoelektronischen Bildempfänger ausgeht.From the foregoing, it is therefore an object of the invention to provide a method for presence optimization in navigation, in particular neuronavigation, in surgery which is based on an operating microscope known per se and at least one optoelectronic image receiver coupled directly or indirectly to the observation beam path of the microscope ,
Weiterhin beteht eine Teilaufgabe der Erfindung in der Schaffung eines neuartigen Navigationsinstruments, insbesondere zur Verwendung bei Operationen mit Hilfe eines Operationsmikroskops.Furthermore, a subordinate task of the invention is to create a new type of navigation instrument, in particular for use in operations with the aid of an operating microscope.
Die Lösung der Aufgabe der Erfindung erfolgt mit einem Verfahren zur Präsenzoptimierung bei der Navigation gemäß Definition nach Patentanspruch 1 sowie hinsichtlich des Navigationsinstruments mit der Merkmals- kombination nach Patentanspruch 12 und mit Blick auf das Operationsmikroskop durch die Lehre der Ansprüche 18 ff.The object of the invention is achieved with a method for presence optimization in navigation as defined in claim 1 and with regard to the navigation instrument with the feature Combination according to claim 12 and with a view to the surgical microscope through the teaching of claims 18 ff.
Demgemäß liegt der Grundgedanke der Erfindung darin, durch die Einbeziehung der Bilder aus oder parallel zu den Beobachtungskanälen des Operationsmikroskops in die eigentliche Bildauswertung eines Navigationssystems sowohl die Präsenzzeit desselben zu verbessern als auch weitere vorteilhafte Wirkungen, insbesondere unter dem Aspekt der Verbesserung der Genauigkeit der Positionsbestimmung zu erreichen.Accordingly, the basic idea of the invention lies in the fact that the inclusion of the images from or parallel to the observation channels of the surgical microscope in the actual image evaluation of a navigation system improves both the presence time of the navigation system and further advantageous effects, in particular with a view to improving the accuracy of the position determination to reach.
Die aus dem mindestens einen Bildempfänger gewonnenen Daten, welche jeweils im Mikroskop-Gesichtsfeld des Operateurs liegen, enthalten Informationen über die Lage des eingesetzten Operationsinstruments bzw. Pointers, insbesondere dessen Spitze, wobei aus den jeweiligen Lagedaten kontinuierlich oder diskontinuierlich die konkrete Instrumentenposition in x- und y-Richtung sowie in z-Richtung eines dreidimensionalen Koordinatensystems bestimmt wird. Für die Positionsermittilung in z-Richtung wird entweder eine Abstandsbestimmung mittels Tiefenschärfe-Auswertung vorgenommen oder es erfolgt eine stereoskopische Bildauswertung. Anstelle zweier Kameras mit stereoskopischer Bildauswertung kann auch ein neuartiger als PMD-Array (PMD: Photonic Mixer Device) bezeichneter optoelektronischer Bildempfänger verwendet werden. Das Meßverfahren dieser Sensoren ist dem „Time of flight"-Entfernungsmeßverfahren verwandt, erreicht aber durch neuartige Prinzipien bei geringerem apparativen Aufwand und wesentlich geringerer Baugröße eine bessereThe data obtained from the at least one image receiver, each of which lies in the microscope field of view of the surgeon, contains information about the position of the surgical instrument or pointer used, in particular the tip thereof, the specific position of the instrument in x and. From the respective position data being continuous or discontinuous y direction and in the z direction of a three-dimensional coordinate system is determined. For the determination of the position in the z direction, either a distance determination is carried out by means of depth of field evaluation or a stereoscopic image evaluation takes place. Instead of two cameras with stereoscopic image evaluation, a new type of optoelectronic image receiver called PMD array (PMD: Photonic Mixer Device) can also be used. The measuring method of these sensors is related to the “time of flight” distance measuring method, but achieves a better result by means of novel principles with less equipment expenditure and much smaller size
Meßgenauigkeit und kann zusätzlich als Sensor-Array ausgeführt werden, so daß es bei Abbildung eines zu topographierenden Gebietes auf ein PMD- Array mglich wird, mit nur einer Messung eine komplette Topographie zu erhalten. Da aus der Topographie eines Pointers vor dem Hintergrund der Operationsfeldes der Pointer und dessen geeignet ausgeformte Markierungen leicht zu separieren sind, kann ein derartiges PMD-Array auch zum Tracken des besagten Pointers verwendet werden. Wird ein PMD-Sensor eingesetzt, so muß das Objektfeld des Sensors mit einer geeignet modulierten und vorzugsweise schmalbandigen Lichtquelle beleuchtet und das Hintergrundlicht wie auch das unmodulierte weiße Licht des Operationsmikroskops durch geeignete Filter vor dem Auftreffen auf das PMD-Array diskriminiert werden.Accuracy of measurement and can also be implemented as a sensor array, so that when mapping an area to be topographed onto a PMD array it is possible to obtain a complete topography with just one measurement. Since the pointer and its suitably shaped markings can be easily separated from the topography of a pointer against the background of the operation field, such a PMD array can also be used to track said pointer. If a PMD sensor is used, the object field of the sensor must be illuminated with a suitably modulated and preferably narrow-band light source the background light as well as the unmodulated white light of the surgical microscope are discriminated by suitable filters before hitting the PMD array.
Der oder die optoelektronischen Bildempfänger können unmittelbar an den Beobachtungs-Strahlengang, insbesondere mittels Strahlteiler angeschlossen werden, wobei allerdings auch die Möglichkeit besteht, mindestens einen separaten, vom Beobachtungs-Strahlengang unabhängigen Bildempfänger-Strahlengang vorzusehen, welcher ebenfalls zum Mikroskop- Gesichtsfeld des Operateurs gerichtet ist.The one or more optoelectronic image receivers can be connected directly to the observation beam path, in particular by means of a beam splitter, although there is also the possibility of providing at least one separate image receiver beam path which is independent of the observation beam path and which is likewise directed towards the microscope field of view of the operator ,
Ausgestaltend wird die Lage des Operationsmikroskops im Raum erfaßt und diese Operationsmikroskop-Positionsdaten werden einem an sich bekannten Computersystem zugeführt, um die Instrumenten-Positionsdaten in ein übergeordnetes Raumkoordinatensystem unter Einbeziehung in vorhandene Daten über die momentane Position des Patienten sowie präoperativ gewonnene dreidimensionale Daten vom Inneren des Patienten zu transformieren.The position of the surgical microscope in the room is determined and this surgical microscope position data is supplied to a computer system known per se in order to place the instrument position data in a higher-level spatial coordinate system, including existing data about the current position of the patient and preoperatively obtained three-dimensional data from the inside of the patient Transform patient.
In einer Ausgestaltung der Erfindung besteht die Möglichkeit, neben der Datenerfassung zur intraoperativen Lage- und Positionsbestimmung eines Navigationsinstruments mittels bekannter optischer und/oder magnetischer Methoden, eine ergänzende dreidimensionale Positionsermittlung mittels der vom Bildempfänger des Operationsmikroskops bereitgestellten Daten durch- zuführen.In one embodiment of the invention, in addition to data acquisition for intraoperative position and position determination of a navigation instrument by means of known optical and / or magnetic methods, it is possible to carry out a supplementary three-dimensional position determination by means of the data provided by the image receiver of the surgical microscope.
Bei Verwendung dieser zwei unabhängigen redundanten Systeme ergeben sich die nachstehend erwähnten vorteilhaften Möglichkeiten. Liefert eines der Systeme, z.B. infolge der Verdeckung der Markierungen, keine gültigen Meßwerte, so können die Meßwerte des jeweils anderen Systems genutzt werden und es ist auf diese Weise eine Erhöhung der Präsenzzeit möglich. Bei redundanten gültigen Meßwerten kann die Genauigkeit der Messung, z.B. durch Mittelwertbildung erhöht werden. Bei redundanten gültigen Meßwerten kann auch die Unsicherheit der Meßwerte, z.B. durch die Differenz der redundanten Meßwerte quantifiziert werden und es wird auf diese Weise erstmals ein Navigationssystem geschaffen, welches sich quasi selbst kontrollieren kann. Letzteres ist für den Großteil der für die Patientensicherheit kritischen Medizingeräte zwar Standard, aber bei bekannten Navigationssystemen bisher nicht realisiert.The use of these two independent redundant systems results in the advantageous possibilities mentioned below. If one of the systems does not deliver valid measured values, for example due to the masking being covered, the measured values of the other system can be used and it is possible in this way to increase the presence time. In the case of redundant valid measured values, the accuracy of the measurement can be increased, for example by averaging. In the case of redundant valid measured values, the uncertainty of the measured values, for example due to the Difference of the redundant measured values are quantified and in this way a navigation system is created for the first time, which can quasi control itself. The latter is standard for the majority of the medical devices critical for patient safety, but has not yet been implemented in known navigation systems.
Zur Erfassung der Lage des Operationsmikroskops im Raum ist alternativ zu den bekannten Verfahren ein Modul vorgesehen, welches im Mikroskop integriert oder zumindest mit dem Mikroskop fest und lageinvariant ver- bunden ist, welches ohne die Verwendung der bei bekannten Systemen benutzten, neben den OP-Tisch zu positionierenden raumfüllenden Traversen mit Kameras auskommen kann. Dieses Modul ermöglicht es dem Mikroskop, seine relative Position im Raum oder relativ zum Patienten , selbst' zu ermitteln. Dabei kommen die in den Ansprüchen 19 bis 24 genannten Komponenten und Meßverfahren einzeln oder kombiniert zum Einsatz. Zur Minimierung der Größe des genannten Moduls kann benötigte Infrastruktur (Stromversorgungen, Computer etc.) z.B. in den Sockel des Trägersystems integriert werden.As an alternative to the known methods, a module is provided for detecting the position of the surgical microscope in the room, which module is integrated in the microscope or at least connected to the microscope in a fixed and invariant manner, which is used next to the operating table without the use of the known systems space-filling trusses to be positioned can use cameras. This module enables the microscope to determine its relative position in space or relative to the patient. The components and measuring methods mentioned in claims 19 to 24 are used individually or in combination. To minimize the size of the module mentioned, the required infrastructure (power supplies, computers, etc.) can e.g. can be integrated into the base of the carrier system.
Kann das Mikroskop , selbst' seinen Platz im Raum bzw. relativ zum Patienten ermitteln und wird auch das Tracken des Pointers ohne das Stereokamerapaar des konventionellen Navigationssystems realisiert, kann das Stereokamerapaar des konventiellen Navigationssystems entfallen. In diesem Fall wird entscheidend Platz im Operationssaal gespart; weiterhin vereinfacht sich die Inbetriebnahme, da vor Beginn der Operation weniger Geräte mit weniger Kabeln zu bewegen und in Betrieb zu nehmen sind und außerdem die Gefahr von Okklusionen während der Operation enfällt oder zumindest erheblich verringert ist.If the microscope can itself determine its position in the room or relative to the patient and if the pointer is also tracked without the stereo camera pair of the conventional navigation system, the stereo camera pair of the conventional navigation system can be omitted. In this case, space in the operating room is significantly saved; Furthermore, commissioning is simplified, since fewer devices have to be moved and put into operation with fewer cables before the operation begins, and the risk of occlusions during the operation is eliminated or at least considerably reduced.
Mit Blick auf die Problematik des sogenannten Brain-Shifting ist erfindungsgemäß vorgesehen, an oder auf der Gewebeoberfläche des Patienten Markierungspunkte anzuordnen, deren über die Bildempfänger erfaßte und mittels des Computersystems bestimmte Lageveränderung genutzt wird, um eine Korrektur präoperativ gewonnener Daten bezogen auf den aktuellen Zustand vorzunehmen.With regard to the problem of so-called brain shifting, the invention provides for marking points to be arranged on or on the tissue surface of the patient, the change in position of which is detected by the image receiver and determined by means of the computer system, in order to to correct data obtained preoperatively based on the current status.
Bekanntermaßen kann ein Stereo-Lichtmikroskop entweder aus zwei konvergenten monokularen monoobjektivischen Mikroskopen bestehen oder zwei dezentrierte optische Kanäle hinter einer gemeinsamen Frontlinse umfassen. Operationsmikroskope werden aufgrund von bauartspezifischen Vorteilen nahezu ausschließlich als sogenannte Common Main Objectives (CMO)-Mikroskope aufgebaut. Die Modellierung eines CMO-Mikroskops in optischer Hinsicht ist jedoch außerordentlich schwierig, da hier die Behandlung sogenannter windschiefer Lichtstrahlen erforderlich wird. Dies beruht auf dem seitlichen Versatz der beiden optischen Kanäle hinter der erwähnten gemeinsamen Frontlinse.As is known, a stereo light microscope can either consist of two convergent monocular mono-objective microscopes or comprise two decentered optical channels behind a common front lens. Surgical microscopes are built almost exclusively as so-called Common Main Objectives (CMO) microscopes due to their design-specific advantages. The modeling of a CMO microscope from an optical point of view is extremely difficult, however, since the treatment of so-called skewed light beams is required here. This is due to the lateral offset of the two optical channels behind the common front lens mentioned.
Wird eine stereoskopische Auswertung zur Neuronavigation erforderlich, so wird der Fachmann zunächst die Verwendung von CMO-Mikroskopen unter Berücksichtigung der genannten Probleme ausschließen. Erfindungsgemäß wurde dieses Vorurteil überwunden, indem eine ausschließliche analytische Formulierung des Mikroskop-Modells gefunden wurde, die im Endeffekt zwei rektifizierten Lochblenden-Kameras entspricht, bei denen korrespondierende Punkte in beiden Ansichten theoretisch auf den sich entsprechenden Bildteilen liegen. Durch diese Erkenntnis können die weiteren Bildverarbeitungsschritte stark vereinfacht und an sich bekannte Bildverarbeitungs-Techniken angewendet werden.If a stereoscopic evaluation for neuronavigation is required, the person skilled in the art will first exclude the use of CMO microscopes, taking into account the problems mentioned. According to the invention, this prejudice was overcome in that an exclusive analytical formulation of the microscope model was found, which in the end corresponds to two rectified pinhole cameras, in which corresponding points in both views theoretically lie on the corresponding parts of the image. With this knowledge, the further image processing steps can be greatly simplified and image processing techniques known per se can be used.
Demnach werden erfindungsgemäß die von dem für jeden Kanal vorgesehenen Bildempfänger gewonnenen Daten hinsichtlich der in x- und y- Richtung vorliegenden Verzeichnungsfehler und der in z-Richtung gegebenen Disparitätsfehler korrigiert. Diese Korrektur ist abhängig von den jeweiligen Einstellungen des Mikroskops, d.h. Zoom und Fokus.According to the invention, the data obtained from the image receiver provided for each channel are corrected with regard to the distortion errors present in the x and y directions and the disparity errors given in the z direction. This correction depends on the respective settings of the microscope, i.e. Zoom and focus.
Zur Fehlerkorrektur wird zunächst ein Kalibrieren vorgenommen, wobei das Operationsmikroskop abbildungsseitig wie erwähnt als eine Zwei-Lochblenden-Kamera beschrieben wird. Das Kalibrieren erfolgt für alle Zoomund Fokusstufen. Die erhaltenen Kalibrationsdaten werden abgespeichert, um eine spätere Online- oder Offline-Fehlerkorrektur zu gestatten. Selbstverständlich besteht die Möglichkeit, mikroskopspezifische Fehlerkorrekturdaten in einer Look-up-Tabelle abzulegen, so daß der eigentliche Korrekturvorgang unter rechentechnischem Aspekt vereinfacht und damit verkürzt werden kann.For error correction, calibration is first carried out, the surgical microscope being described as a two-pinhole camera on the imaging side, as mentioned. The calibration is carried out for all zoom and focus levels. The calibration data received are saved, to allow later online or offline error correction. Of course, there is the possibility of storing microscope-specific error correction data in a look-up table, so that the actual correction process can be simplified from a computational point of view and thus shortened.
Alle physikalischen Größen, die für die Berechnung der nominellen Lochblenden-Kameraparameter für ein CMO-Mikroskop benötigt werden, sind einfach zugänglich und üblicherweise aus dem Datenblatt des Herstellers zu entnehmen. Startwerte für eine iterative Kalibration können am Mikroskop in einfacher Weise vermessen werden. Die notwendigen Angaben zu den Bildempfängern, beispielsweise CCD-Sensoren, sind ebenfalls als Hersteller- Angaben verfügbar. Die Kenntnis interner Linsendaten ist nicht erforderlich. Die CMO-Mikroskop-angepaßte stereoskopische Bildverarbeitung erfolgt über ein Verfahren, in dem die Abbildung aus beiden zweidimensionalen Kameraebenen in den dreidimensionalen Raum durch polynominale Approximationen geringstmöglichen Grades formuliert wird. Eine notwendige Kontrollpunktmenge fungiert als Stützstellenmenge für die Polynome und wird im ganzen Volumen gewählt.All physical quantities required for the calculation of the nominal pinhole camera parameters for a CMO microscope are easily accessible and can usually be found in the manufacturer's data sheet. Starting values for an iterative calibration can be measured easily on the microscope. The necessary information on the image receivers, for example CCD sensors, is also available as manufacturer information. Knowledge of internal lens data is not necessary. The CMO microscope-adapted stereoscopic image processing is carried out using a method in which the image from both two-dimensional camera planes is formulated into the three-dimensional space by means of the least possible degree of polynomial approximation. A necessary set of control points acts as a set of nodes for the polynomials and is selected in the entire volume.
Für den praktischen Einsatz von Mikroskopen mit stufenlosen Zoom und/oder Fokus wird vorgeschlagen, die einzelnen Systemparameter bei mehreren Zoom- und Fokusstellungen zu kalibrieren und bei Einstellung von Zwischenwerten die entsprechenden Systemparameter aus den kalibrierten Stützstellen zu interpolieren. Die aktuellen Einstellungen von Zoom und Fokus sind der Auswerteeinheit während der Kalibrationsprozedur, aber auch der Meßprozedur zweckmäßigerweise vom Mikroskop über eine Datenleitung zur Verfügung zu stellen.For the practical use of microscopes with stepless zoom and / or focus, it is proposed to calibrate the individual system parameters at several zoom and focus positions and to interpolate the corresponding system parameters from the calibrated support points when intermediate values are set. The current settings of zoom and focus are expediently made available to the evaluation unit during the calibration procedure, but also during the measurement procedure, by the microscope via a data line.
Bei dem erfindungsgemäßen neuartigen Navigationsinstrument, insbesondere zur Anwendung bei einem Verfahren, welches Bildinformationen aus dem Strahlengang eines Operationsmikroskops zur Neuronavigation verwendet, sind Markierungen, insbesondere Mikromarkierungen nahe an der Instrumentenspitze angebracht, und zwar grundsätzlich bei der Benutzung im Gesichtsfeld des Mikroskops liegend. Ein gewisser Mindestabstand zur Instrumentenspitze ergibt sich dadurch, daß die Markierungen nicht vom Blut oder sonstigen Körperflüssigkeiten verschmutzt werden sollen und im Falle von erhabenen Markierungen die Benutzung des Zeigerinstruments nicht behindert werden darf.In the novel navigation instrument according to the invention, in particular for use in a method which uses image information from the beam path of a surgical microscope for neuronavigation, markings, in particular micro-markings, are applied close to the tip of the instrument, specifically when in use lying in the field of view of the microscope. A certain minimum distance to the instrument tip results from the fact that the markings should not be contaminated by blood or other body fluids and that the use of the pointer instrument must not be impeded in the case of raised markings.
Die Markierungen sind z.B. als mindestens drei koplanare, farbige Kugeln ausbildbar, die in einer Ebene liegen, welche parallel zur Instrumenten- Längsachse verläuft, diese jedoch nicht enthält. Andere Ausbildungsformen sind farbige oder reflektierende Ringmarkierungen. Soll das Mikroskop über einen besonders großen Zoom- und Fokusbereich betrieben werden, kann es vorkommen, daß die Markierungen bei besonders starken Vergrößerungen und kurzen Fokuslängen nicht mehr vollständig im Gesichtsfeld des Mikroskops liegen bzw. daß die Markierungen bei besonders schwachen Vergrößerungen und großen Fokuslängen zu klein sind. In diesem Fall ist es zweckmäßig, mehrere Sätze von Markierungen unterschiedlicher Größe anzubringen, wobei der kleinste Markierungssatz am dichtesten zur Instrumentenspitze zeigt bzw. dort angebracht ist.The markings are e.g. can be formed as at least three coplanar, colored spheres which lie in a plane which runs parallel to the instrument's longitudinal axis but does not contain it. Other forms of training are colored or reflective ring markings. If the microscope is to be operated over a particularly large zoom and focus range, it may happen that the markings are no longer completely in the field of view of the microscope at particularly high magnifications and short focus lengths, or that the markings are too small at particularly weak magnifications and large focus lengths are. In this case, it is expedient to attach several sets of markings of different sizes, the smallest set of markings being closest to or attached to the instrument tip.
Das erfindungsgemäße Navigationsinstrument ist sterilisierbar und kann gut durch das Mikroskop erkannt werden. Seine eine Endform ist als ausgeprägte Spitze gestaltet und kann als Zeiger genutzt werden. In dem Fall, wo die Spitze operativ bedingt nicht direkt sichtbar ist, ist diese über die oben genannten Markierungen und die restliche Forminformation des Instruments detektierbar.The navigation instrument according to the invention can be sterilized and can be easily recognized by the microscope. One end shape is designed as a distinctive tip and can be used as a pointer. In the case where the tip is not directly visible for operational reasons, it can be detected via the above-mentioned markings and the remaining shape information of the instrument.
Die erfindungsgemäß erzielte Präsenzerhöhung im Fall optischer Systeme wird dadurch erreicht, daß die Bildaufnahme direkt durch das Mikroskop erfolgt und hierbei sichergestellt wird, daß das Navigationsinstrument nicht durch die Finger oder ein anderes Operationsbesteck verdeckt ist. Eine Gefahr der Verdeckung durch OP-Personal wie bei konventionellen optischen Navigationssystemen ist hier von vornherein ausgeschlossen. Durch die Meßbarkeit relativer Abstände von Punkten im Koordinatensystem des Mikroskops ist weiterhin die Möglichkeit einer differenziellen Navigation gegeben, d.h. es können Abstände von Punkten zu einem Referenzpunkt vermessen werden.The increase in presence achieved according to the invention in the case of optical systems is achieved by taking the image directly through the microscope and thereby ensuring that the navigation instrument is not covered by the fingers or other surgical instruments. A risk of concealment by operating room personnel, as with conventional optical navigation systems, is excluded from the outset. Due to the measurability of relative distances from points in the coordinate system of the microscope, there is still the possibility of differential navigation given, ie distances from points to a reference point can be measured.
Im Gegensatz zu bisher am Markt befindlichen Navigationsinstrumenten sind erfindungsgemäß Markierungen nahe an der Spitze positioniert. Da eine Navigation durch das Mikroskop hindurch erfolgt, können darüber hinaus weitaus kleinere Markierungen Verwendung finden. Hierdurch wiederum besteht die Möglichkeit, das Navigationsinstrument selbst kleiner und kostengünstiger zu fertigen und vor allem flexibler und ergonomischer einzusetzen.In contrast to navigation instruments previously available on the market, markings according to the invention are positioned close to the top. Since navigation takes place through the microscope, much smaller markings can also be used. This in turn offers the possibility of making the navigation instrument itself smaller and cheaper and, above all, of using it more flexibly and ergonomically.
Ein beispielhaftes Navigationsinstrument ist als bajonettierter Rundstahl von im wesentlichen 4mm ausgeführt, der an der Spitze über einen Bereich vom im wesentlichen 30 mm konisch zuläuft. Die Bajonettierung oder Kröpfung ist unter dem Aspekt zweckmäßig, da hierdurch ausgeschlossen werden kann, daß das Instrument für den von Kameras erfaßten Bereich durch Finger oder ähnliches verdeckt wird.An exemplary navigation instrument is designed as a bayonet-shaped round steel of essentially 4 mm, which tapers conically at the tip over a region of essentially 30 mm. Bayoneting or cranking is expedient from the point of view, since it can thereby rule out that the instrument for the area covered by cameras is covered by fingers or the like.
Als Marker kommen bei einer Ausführungsform die genannten koplanaren Kugeln zum Einsatz, die beispielsweise einen Durchmesser von etwa 1,5 mm besitzen. Um die Segmentierung der Kugeln vom Hintergrund möglichst einfach zu gestalten, sind diese in unterschiedlichen Farben lackiert. Mit Blick auf die speziellen Eigenschaften des Situs kommen bevorzugt Blau, Grün und Violett und/oder brilliantes Gelb zum Einsatz. Der Einsatz von infratot reflektierenden Kugeln ist ebenfalls möglich.In one embodiment, the coplanar spheres mentioned are used as markers, which have a diameter of approximately 1.5 mm, for example. In order to make the segmentation of the balls from the background as simple as possible, they are painted in different colors. In view of the special properties of the situs, blue, green and violet and / or brilliant yellow are preferred. The use of infrared reflecting spheres is also possible.
Da erfindungsgemäß mit der ohnehin mikroskopseitig vorhandenen Lichtquelle gearbeitet werden kann, entfallen in der Ausführungsform mit farbigen Markierungen spezielle Kugel-Coatings, die beispielsweise in ausgeprägter Richtcharakteristik infrarote Strahlung reflektieren.Since, according to the invention, it is possible to work with the light source that is already present on the microscope side, special spherical coatings, which reflect infrared radiation, for example, in a pronounced directional pattern, are omitted in the embodiment with colored markings.
Eine Weiterbildung der Erfindung besteht darin, daß die Markerkonfiguration nicht auf dem Navigationsinstrument aufliegt und dort befestigt ist, sondern lediglich aus Aufdrucken besteht. Für den Fall der notwendigen Detektion der Rotation des Navigationsinstruments um die eigene Achse ist beispielsweise eine in azimutaler Richtung verlaufende Winkelkodierung denkbar.A further development of the invention is that the marker configuration does not rest on the navigation instrument and is fastened there, but only consists of imprints. In case of necessary Detection of the rotation of the navigation instrument about its own axis is conceivable, for example, an angular coding running in the azimuthal direction.
Bevorzugt wird die Detektion der Kugeln in den Kameraansichten unter Rückgriff auf Farbbild-Verarbeitungsmethoden vorgenommen. Je nach Stärke eines möglicherweise vorhandenen Farbstichs wird dieser durch einen Weißabgleich direkt mit der Bildaufnahme kompensiert. Hierzu erfolgt eine Skalierung der Intensitäten des Rot- und Blau-Kanals jedes Bild- empfängers bzw. jeder Kamera.The balls are preferably detected in the camera views using color image processing methods. Depending on the strength of a color cast that may be present, this is compensated for by a white balance directly with the image acquisition. For this purpose, the intensities of the red and blue channels of each image receiver or camera are scaled.
Die Merkmalsextraktion bzw. Mustererkennung der Markierungen in Form von koplanaren, farbigen Kugeln erfolgt über die Tatsache, daß ein kugelförmiges Objekt differenziert abgebildet wird. Liegt der Kugelmittelpunkt nicht auf dem Lot der Kameraebene, wird der Umriß der Kugel als Ellipse projiziert. Die abgebildete Form läßt also Rückschlüsse auf die Position oder Lage der einzelnen Kugeln zu.The feature extraction or pattern recognition of the markings in the form of coplanar, colored spheres takes place via the fact that a spherical object is imaged differently. If the center of the sphere is not on the perpendicular of the camera plane, the outline of the sphere is projected as an ellipse. The shape shown allows conclusions to be drawn about the position or location of the individual balls.
Wenn die Instrumentenspitze nicht direkt in den Kamerabildern sichtbar ist, wird die dreidimensionale Position der Pointerspitze aus den dreidimensionalen Positionen der Kugelzentren ermittelt. Selbstverständlich kann das Navigationsinstrument auch aus einem üblichen Operationsbesteck gebildet werden, um die Operation nicht unnötig zu Navigationszwecken unterbrechen zu müssen.If the instrument tip is not directly visible in the camera images, the three-dimensional position of the pointer tip is determined from the three-dimensional positions of the ball centers. Of course, the navigation instrument can also be formed from a conventional surgical set, in order not to have to interrupt the operation unnecessarily for navigation purposes.
Zur Berechnung der dreidimensionalen Koordinaten der Spitzenposition aus den dreidimensionalen Kugelzentren wird die zugrunde liegende Geometrie kalibriert. Hierfür wird ein lokales Instrumenten-Koordinatensystem mit Ursprung in einer mittleren Kugel definiert, von dem zwei Achsen durch die restlichen beiden Kugeln verlaufen und die dritte Achse orthogonal zur so aufgespannten Ebene ist. In diesem affinen Koordinatensystem hat die Lage der Pointerspitze drei eindeutige Koordinaten, so daß sie indirekt über die Rekonstruktion der Achsen des lokalen Instrumenten-Koordinatensystems rekonstruiert werden kann. Die affinen Koordinaten sind unabhängig von den intrinsischen bzw. extrinsischen Parametern der Kameraanordnung und können für eine Anzahl vorgegebener Spitzen- und Kugelkoordinaten kalibriert werden.The underlying geometry is calibrated to calculate the three-dimensional coordinates of the tip position from the three-dimensional spherical centers. For this, a local instrument coordinate system originating in a central sphere is defined, of which two axes run through the remaining two spheres and the third axis is orthogonal to the plane spanned in this way. In this affine coordinate system, the position of the pointer tip has three unique coordinates, so that it can be reconstructed indirectly via the reconstruction of the axes of the local instrument coordinate system. The affine coordinates are independent of the intrinsic or extrinsic parameters of the camera arrangement and can be calibrated for a number of given tip and ball coordinates.
In der vorliegenden Beschreibung werden die Begriffe Position und Lage im wesentlichen als Synonyme eingesetzt. Es liegt im Erkenntnisbereich des Fachmanns, daß zur Ermittlung der Lage eines dreidimensionalen Körpers im Raum sechs Koordinaten, z.B. Aufpunkt/Schwerpunkt oder dergleichen in x-, y- und z-Orientierung und mit den drei sogenannten Euler-Winkeln anzugeben sind. Eine Ausnahme bildet hier nur die Instrumentenspitze, die als Raumpunkt nur drei Koordinaten zur Lagebeschreibung benötigt.In the present description, the terms position and location are used essentially as synonyms. It is within the knowledge of the person skilled in the art that to determine the position of a three-dimensional body in space, six coordinates, e.g. Point of focus / center of gravity or the like in x, y and z orientation and with the three so-called Euler angles are to be specified. The only exception is the tip of the instrument, which only needs three coordinates to describe the position.
Die Erfindung soll nachstehend anhand von Ausführungsbeispielen näher erläutert werden.The invention will be explained in more detail below using exemplary embodiments.
Bei einem ersten Ausführungsbeispiel liegt das Operationsgebiet im Kopf eines Patienten und ein Operationsinstrument befindet sich mit einer entsprechenden Markierung im Gesichtsfeld des Operationsmikroskops.In a first exemplary embodiment, the operating area is located in the head of a patient and a surgical instrument with a corresponding marking is located in the visual field of the surgical microscope.
Die Bilder beider Beobachtungskanäle werden über einen Strahlteiler auf zwei Bildempfänger, z.B. CCD-Kameras geleitet. Die Kamerabilder werden dann von einem Computer ausgewertet und aus der stereoskopischen Bildauswertung und den vom Mikroskop zusätzlich über eine Datenverbindung ausgegebenen Geräteparametern, wie Zoom- und Fokus-Stellung, wird die Position des Operationsinstruments im Koordinatensystem des Mikroskops errechnet.The images of both observation channels are transferred to two image receivers, e.g. CCD cameras directed. The camera images are then evaluated by a computer and the position of the surgical instrument in the coordinate system of the microscope is calculated from the stereoscopic image evaluation and the device parameters, such as zoom and focus position, which are additionally output by the microscope via a data connection.
Gleichzeitig wird von einem Stereo-Kamerapaar mit entsprechenden Kameras, welches in der Nähe des Operationstischs positioniert ist, mittels stereoskopischer Bildauswertung unter Zuhilfenahme der Patientenmarkierungen und der Mikroskopmarkierungen die Lage des Mikroskops und des Patienten im Koordinatensystem des Stereo-Kameraarms ermittelt.At the same time, the position of the microscope and the patient in the coordinate system of the stereo camera arm is determined by a stereo camera pair with corresponding cameras, which is positioned near the operating table, by means of stereoscopic image evaluation with the aid of the patient markings and the microscope markings.
Hierdurch wird die Verrechnung der Koordinatensysteme des Mikroskops und des Patienten ermöglicht und es kann z.B. die Position des Operationsinstruments in Koordinaten des Patienten angegeben werden. Optional können vom Kamerapaar zusätzlich Markierungen am Operationsinstrument erfaßt und ausgewertet werden, mit der Folge einer redundanten Messung der Bestimmung der Position des Operationsinstruments.This enables the coordinate systems of the microscope and the patient to be calculated and, for example, the position of the surgical instrument can be specified in the patient's coordinates. Optionally, the camera pair can additionally detect and evaluate markings on the surgical instrument, with the result of a redundant measurement of the determination of the position of the surgical instrument.
Bei einem weiteren Ausführungsbeispiel kann sichtbares Licht oder mit Strahlung im Bereich des nahen Infraroten eine Erzeugung von Markierungspunkten, Linien oder ein Gitter hinein in das Gesichtsfeld des Mikroskops vorgenommen werden. Diese Markierungspunkte, Linien oder Gitter sind dann mit einer entsprechenden Kamera, die an einen der Beobachtungskanäle gekoppelt ist, aufnehmbar. Durch Auswertung des Kamerabilds kann die Lage der Markierungspunkte in Koordinaten relativ zum Mikroskop ermittelt werden. Technisch läßt sich die vorgenannte Lehre dadurch umsetzen, daß Licht über eine Blende in den Beobachtungskanal des Operationsmikroskops geleitet und in der Fokusebene des Mikroskops auf einem Punkt abgebildet wird. Dieser Lichtpunkt wird dann von einer Kamera, insbesondere CCD- Kamera erfaßt. Bei bekannten Koordinaten in x- und y-Richtung des Blendenlochs in einem kartesischen Koordinatensystem senkrecht zur optischen Achse ergibt sich dann zusammen mit den Koordinaten des Lichtpunkts auf dem Kamerachip eine Möglichkeit, analog der gängigen stereoskopischen Bildauswertung zu arbeiten. Es kann also der Ort des Punktes, auf dem das Licht, welches durch die Blende tritt, in Koordinaten des Mikroskops bestimmt werden. Wie erwähnt, können anstelle der beleuchteten Blende Lichtprojektionssysteme treten, welche jeweils eine Anzahl von Punkten, Linien oder Gittern in das Operationsgebiet projizieren.In a further exemplary embodiment, visible light or radiation in the near infrared region can be used to generate marking points, lines or a grating into the field of view of the microscope. These marking points, lines or grids can then be recorded with a corresponding camera, which is coupled to one of the observation channels. The position of the marking points in coordinates relative to the microscope can be determined by evaluating the camera image. Technically, the aforementioned teaching can be implemented in that light is directed via a diaphragm into the observation channel of the surgical microscope and is imaged on a point in the focal plane of the microscope. This point of light is then captured by a camera, in particular a CCD camera. With known coordinates in the x- and y-direction of the aperture hole in a Cartesian coordinate system perpendicular to the optical axis, together with the coordinates of the light point on the camera chip, there is a possibility of working analogously to the usual stereoscopic image evaluation. The location of the point at which the light that passes through the diaphragm can be determined in coordinates of the microscope. As mentioned, light projection systems can be used instead of the illuminated diaphragm, each of which projects a number of points, lines or grids into the operating area.
Bei einem Lichtgitter können Kreuzungspunkte von den Kameras erfaßt werden. Mittels stereoskopischer Bildauswertung sind dann die Koordinaten der Kreuzungspunkte des Lichtgitters auf der Oberfläche des Operationsgebiets im Koordinatensystem des Mikroskops bestimmbar. Die hieraus abgeleitete Information kann dann als dreidimensionales, perspektivisches Gitter in Form von Höhenlinien oder ähnlichem auf einem Display dargestellt werden und zur Lagezuordnung, bezogen auf präoperative Aufnahmen, Verwendung finden.In the case of a light grid, intersection points can be detected by the cameras. The coordinates of the crossing points of the light grid on the surface of the operation area can then be determined in the coordinate system of the microscope by means of stereoscopic image evaluation. The information derived from this can then be displayed on a display as a three-dimensional, perspective grid in the form of contour lines or the like are shown and used for the allocation of positions, based on preoperative images.
Als Bestandteil der Qualitätssicherung werden in heutigen Operationssälen meist Videomitschnitte und Photos angefertigt. Diese Videomitschnitte und Photos enthalten keine quantitativen dreidimensionalen Informationen, noch sind solche im Allgemeinen aus den Videomitschnitten und Photos zu extrahieren.As part of quality assurance, video recordings and photos are mostly made in today's operating rooms. These video recordings and photos do not contain quantitative three-dimensional information, nor are they generally to be extracted from the video recordings and photos.
Gelingt es Topographien des Operationsgebietes während der Operation mit vertretbarem Aufwand aufzunehmen, würde der Mangel der quantitativen 3D-Information der heutigen Dokumentation entfallen. Derartige Topographien sind problemlos speicherbar und es kann im Rahmen von qualitätssichernden Maßnahmen z.B. das tatsächliche Resektionsprofil mit den Befunden aus präoperativen diagnostischen Daten wie der Magnetresonanz-Tomographie und Computer-Tomographie verglichen werden. Entsprechende Topographien können dem Arzt z.B. als Reliefdiagramme auch beeits während der Operation visualisiert werden. Somit wird es möglich - zusätzlich zur postoperativen Qualitätssicherung - dem Chirurgen auch bereits während der Operation Entscheidungshilfen zur Optimierung der Resektionsgrenzen anzubieten.If topographies of the area of operation can be acquired with reasonable effort during the operation, the lack of quantitative 3D information in today's documentation would be eliminated. Such topographies can be saved without any problems and, as part of quality assurance measures, e.g. the actual resection profile can be compared with the findings from preoperative diagnostic data such as magnetic resonance imaging and computed tomography. Appropriate topographies can e.g. can also be visualized as relief diagrams during the operation. This makes it possible - in addition to postoperative quality assurance - to offer the surgeon decision aids during the operation to optimize the resection limits.
Prinzipiell kann bereits mit dem vorstehend beschriebenen Mikroskop mit Stereokameras eine Topographie des Mikroskop-Objektfeldes mittels gängiger Verfahren der stereoskopischen Bildauswertung erhalten werden. Besonders die Korrespondenzanalyse ist aber rechenzeitaufwendig und für natürliche unter Umständen schwach strukturierte Gebiete fehleranfällig.In principle, a topography of the microscope object field can already be obtained with the microscope described above with stereo cameras using standard methods of stereoscopic image evaluation. Correspondence analysis, in particular, is computationally time-consuming and prone to errors in areas that are naturally weakly structured.
Eine Verbesserung ist durch die nachstehende Beschreibung der Verfahren und Vorrichtungen unter anderem zur Projektion von Lichtmarkierungen erreichbar. Durch Lichtmarkierungen sind die für die stereoskopische Bildauswertung benötigten korrespondierenden Punkte schnell, eindeutig und mit extrem niedriger Fehlerquote ermittelbar.An improvement can be achieved by the following description of the methods and devices, among other things, for the projection of light markings. The corresponding points required for stereoscopic image evaluation can be determined quickly, clearly and with an extremely low error rate using light markings.
Eine mögliche erste Ausführungsform benutzt mit dem Mikroskop fest verbundene Stereokameras und ein Projektionssytem, welches mit dem Mikroskop nicht zwingend fest verbunden sein muß.A possible first embodiment uses stereo cameras permanently connected to the microscope and a projection system which does not necessarily have to be permanently connected to the microscope.
Eine zweite Ausführungsform geht von der Lichtprojektionsvorrichtung an dem Ort einer der beiden Stereokameras und unter Benutzung der optischen Kanäle/Wege, welche in der erstgenannten Ausführungsform von eben dieser Kamera benutzt wurden, aus. In diesem Fall lassen sich die Methoden der stereoskopischen Bildauswertung bereits bei nur einer Kamera anwenden, was unter dem Begriff der inversen Kamera bekannt ist.A second embodiment is based on the light projection device at the location of one of the two stereo cameras and using the optical channels / paths which were used by this camera in the first-mentioned embodiment. In this case, the methods of stereoscopic image evaluation can already be used with only one camera, which is known as the inverse camera.
In einer weiteren Ausführungsform wird die Topographie unmittelbar aus den Daten eines PMD-Arrays (PMD: Photonic Mixer Device) und einem zugeordneten Personal-Computer erhalten.In a further embodiment, the topography is obtained directly from the data of a PMD array (PMD: Photonic Mixer Device) and an assigned personal computer.
Beim ersten Ausführungsbeispiel kann mit sichtbarem Licht oder mit Strahlung im Bereich des nahen Infraroten eine Erzeugung von Markierungspunkten, Linien oder ein Gitter hinein in das Gesichtsfeld des Mikroskops vorgenommen werden. Das Gewebe im Gesichtsfeld des Operationsmikroskops ist dann zusammen mit den auf diesem Gewebe projizierten Markierungspunkten, Linien oder Gittern mit zwei Kameras, die z.B. an die Beobachtungskanäle des Mikroskops gekoppelt sind, aufnehmbar. Durch Auswertung der Kamerabilder mit stereoskopischer Bildauswertung kann die Lage der Markierungspunkte in Koordinaten relativ zum Mikroskop ermittelt werden. Die hauptsächliche Fehlerquelle der stereoskopischen Bildauswertung - die Korrespondenzanalyse - wird hierbei drastisch vereinfacht und fehlersicher, da nur die markierten Punkte beider Kamerabilder in die Auswertung aufgenommen werden, bei denen die Unsicherheit der Korrespondenzzuordnung wesentlich geringer ist als bei unmarkierten Punkten. Um eine Topographie der markierten Punkte in Koordinaten des Patienten - anstelle in Koordinaten des Mikroskops - zu erhalten, muß die relative Lage und Orientierung von Patient und Mikroskop ermittelt werden, was in der dargestellten Art und Weise geschehen kann.In the first exemplary embodiment, it is possible to produce marking points, lines or a grating into the field of view of the microscope with visible light or with radiation in the region of the near infrared. The tissue in the visual field of the surgical microscope can then be recorded together with the marking points, lines or grids projected onto this tissue with two cameras, which are coupled, for example, to the observation channels of the microscope. The position of the marking points in coordinates relative to the microscope can be determined by evaluating the camera images with stereoscopic image evaluation. The main source of error in stereoscopic image evaluation - correspondence analysis - is drastically simplified and failsafe, since only the marked points of both camera images are included in the evaluation, for which the uncertainty of the correspondence assignment is significantly less than for unmarked points. In order to obtain a topography of the marked points in the coordinates of the patient instead of in the coordinates of the microscope, the relative position and orientation of the patient and the microscope must be determined, which can be done in the manner shown.
Gemäß dem zweiten Ausführungsbeispiel wird weitgehend analog zum ersten Ausführungsbeispiel vorgegangen. Anstelle der beiden an den Beobachtungskanal des Mikroskops gekoppelten Kameras wird aber eine der beiden Kameras durch eine Blende ersetzt. Dieselbe Optik, die vorher das Objektfeld auf diese Kamera abbildete, wird nun genutzt, um die Blende auf das Objektfeld abzubilden. Wird eine mit Punkten, Linien oder Gittern strukturierte Blende verwendet, und Licht durch diese Blendenstrukturen und den zugeordneten optischen Kanal auf das Objektfeld geleitet und wird das entsprechend beleuchtete Gebiet mit der verbliebenen Kamera aufgenommen, so ist das Prinzip der inversen Kamera anwendbar, und die Methoden der stereoskopischen Bildauswertung sind trotz Verwendung nur einer Kamera nutzbar. Bezüglich der Fehlersicherheit sind auch hier die Vorzüge des ersten Ausführungsbeispiels gegeben. Wird unsichtbares Licht verwendet, kann zusätzlich sichtbares Licht beigemischt werden, um bereits im Bild des Okulars des Mikroskops die Stützstellen der Topographie sichtbar zu machen.According to the second embodiment, the procedure is largely analogous to that of the first embodiment. Instead of the two cameras coupled to the observation channel of the microscope, one of the two cameras is replaced by an aperture. The same optics, which previously mapped the object field on this camera, are now used to image the aperture on the object field. If an aperture structured with dots, lines or grids is used and light is directed through these aperture structures and the assigned optical channel onto the object field and if the correspondingly illuminated area is recorded with the remaining camera, the principle of the inverse camera and the methods can be used the stereoscopic image evaluation can be used despite the use of only one camera. With regard to error security, the advantages of the first exemplary embodiment are also given here. If invisible light is used, visible light can also be added to make the support points of the topography visible in the image of the microscope.
In einem dritten Ausführungsbeispiel wird anstelle der konventionellen Kameras ein PMD-Sensorarray verwendet. Um dieses verwenden zu können, muß zusätzlich zum sichtbaren Licht des Mikroskops mit moduliertem Licht beleuchtet werden. Der PMD-Sensor wird mit geeigneten optischen Filtern vor zu intensiver Beleuchtung durch das weiße nichtmodulierte Licht geschützt. Die Topographie des auf das PMD-Sensorarray abgebildeten Gebietes kann bei dieser neuen Technik direkt aus dem PMD-Chip mit zugeordnetem Computer mit geeigneter Schnittstelle erhalten werden.In a third exemplary embodiment, a PMD sensor array is used instead of the conventional cameras. In order to be able to use this, in addition to the visible light of the microscope, it must be illuminated with modulated light. The PMD sensor is protected with suitable optical filters against excessive lighting by the white non-modulated light. With this new technology, the topography of the area mapped onto the PMD sensor array can be obtained directly from the PMD chip with an associated computer with a suitable interface.
Die in den obigen Ausführungsbeispielen erhaltenen topographischen Daten können dann z.B. als dreidimensionales, perspektivisches Gitter oder in Form von Höhenlinien oder ähnlichem auf einem Display dargestellt werden. Weiterhin können diese topographischen Daten ortskorreliert mit Daten von präoperativen diagnostischen Daten (Kernspintomographiedaten, Computertomographiedaten etc.) dargestellt werden. The topographical data obtained in the above exemplary embodiments can then, for example, as a three-dimensional, perspective grid or in Form of contour lines or the like can be shown on a display. Furthermore, these topographical data can be displayed in a location-correlated manner with data from preoperative diagnostic data (magnetic resonance imaging data, computed tomography data, etc.).

Claims

Patentansprüche claims
1. Verfahren zur Präsenzoptimierung bei der Navigation, insbesondere Neuronavigation in der Chirurgie, mit einem Operationsmikroskop und mindestens einem, auch mit dem Mikroskop verbindbaren optoelektronischen Bildempfänger sowie einem Computersystem, dadurch gekennzeichnet, daß die aus dem mindestens einen Bildempfänger gewonnenen Daten, welche jeweils im Mikroskop-Gesichtsfeld des Operateurs liegen, Informationen über die Lage eines Operationsinstruments, insbesondere der Spitze dieses Instruments enthalten, wobei aus den jeweiligen Lagedaten kontinuierlich oder diskontinuierlich die konkrete Position des Instruments in x- und y- Richtung sowie in z-Richtung eines dreidimensionalen Koordinatensystems bestimmt wird und insbesondere für die Positionsermittlung in z-Richtung eine Abstandsbestimmung mittels Tiefenschärfe-Auswertung und/oder stereoskopischer Bildauswertung und/oder Auswertung der mittels eines PMD-Sensors (Photonic Mixer Device) nebst zugehöriger modulierter Beleuchtung gewonnenen Signale erfolgt.1. A method for presence optimization in navigation, in particular neuronavigation in surgery, with an operating microscope and at least one optoelectronic image receiver, which can also be connected to the microscope, and a computer system, characterized in that the data obtained from the at least one image receiver, each in the microscope The surgeon's field of vision includes information about the position of a surgical instrument, in particular the tip of this instrument, the specific position of the instrument in the x- and y-direction and in the z-direction of a three-dimensional coordinate system being determined continuously or discontinuously from the respective position data and in particular for determining the position in the z direction, a distance determination by means of depth of field evaluation and / or stereoscopic image evaluation and / or evaluation of the modulated document using a PMD sensor (photonic mixer device) together with the associated modulated document signals obtained.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der oder die optoelektronischen Bildempfänger unmittelbar an den2. The method according to claim 1, characterized in that the or the optoelectronic image receiver directly to the
Beobachtungs-Strahlengang, insbesondere mittels Strahlteiler angeschlossen sind.Observation beam path, in particular connected by means of beam splitters.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß mindestens ein separater, vom Beobachtungs-Strahlengang unabhängiger Bildempfänger-Strahlengang vorgesehen ist, welcher zum Mikroskop- Gesichtsfeld des Operateurs gerichtet ist.3. The method according to claim 1, characterized in that at least one separate, independent of the observation beam path image receiver beam path is provided, which is directed to the microscope field of view of the surgeon.
4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß die Lage des Operationsmikroskops im Raum erfaßt und diese Operationsmikroskop-Positionsdaten dem Computersystem zugeführt werden, um die Instrumenten-Positionsdaten in ein übergeordnetes Raumkoordinatensystem unter Einbeziehung in vorhandene Daten über die momentane Position des Patienten sowie präoperativ gewonnener dreidimensionaler Daten vom Inneren des Patienten zu transformieren.4. The method according to any one of the preceding claims, characterized in that the position of the surgical microscope in the room is detected and this surgical microscope position data is fed to the computer system in order to transform the instrument position data into a superordinate spatial coordinate system including existing data about the current position of the patient and preoperatively obtained three-dimensional data from the inside of the patient.
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß neben der Datenerfassung zur intraoperativen Lage- und Positionsbestimmung eines Navigationsinstruments mittels bekannter optischer und/oder magnetischer Methoden, eine ergänzende dreidimensionale Positionsermittlung mittels der vom Bildempfänger des Operationsmikroskops bereitgestellten Daten erfolgt.5. The method according to any one of the preceding claims, characterized in that in addition to the data acquisition for intraoperative position and position determination of a navigation instrument by means of known optical and / or magnetic methods, an additional three-dimensional position determination is carried out by means of the data provided by the image receiver of the surgical microscope.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß im Falle des Vorliegens gültiger Datensätze bei nur einem der beiden Systeme die als gültig bestimmten Daten zur Ermittlung von Position und Lage des Instruments oder zur Instrumentenverfolgung benutzt werden .6. The method according to claim 5, characterized in that in the presence of valid data records in only one of the two systems, the data determined to be valid are used to determine the position and position of the instrument or for instrument tracking.
7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß im Falle des Vorliegens von redundanten, als gültig definierten Datensätzen diese zur Erhöhung der Meßgenauigkeit und/oder zur Quantifizierung der Meßgenauigkeit verwendet werden.7. The method according to claim 5, characterized in that in the presence of redundant data records defined as valid, these are used to increase the measuring accuracy and / or to quantify the measuring accuracy.
8. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß zur Erfassung der Lage des Operationsmikroskops im Raum an oder auf dem Mikroskop ein Stereo-Kamerapaar vorgesehen ist, welches eine Bewegungsverfolgung bezogen auf feste, am Patienten und/oder im Raum angebrachte Markierungen ermöglicht. 8. The method according to claim 4, characterized in that a stereo camera pair is provided for detecting the position of the surgical microscope in the room on or on the microscope, which enables movement tracking based on fixed, attached to the patient and / or in the room markings.
9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß an oder auf der Gewebeoberfläche des Patienten Markierunspunkte vorgesehen sind, deren über die Bildempfänger erfaßte und mittels des Computersystems bestimmte Lageveränderung zur Ermittlung des Brain- Shifting am offenen Schädel herangezogen wird, um eine Korrektur präoperativ gewonnener Daten vorzunehmen.9. The method according to any one of the preceding claims, characterized in that marking points are provided on or on the tissue surface of the patient, whose change in position detected via the image receiver and determined by means of the computer system is used to determine brain shifting on the open skull in order to correct it to perform data obtained preoperatively.
10. Verfahren nach Anspruch 1 und 2 oder 4 bis 9, dadurch gekennzeichnet, daß das Operationsmikroskop zwei dezentrierte optische Kanäle hinter einer gemeinsamen Frontlinse mit einer gemeinsamen Objektebene und gleicher Vergrößerung für beide optische Kanäle aufweist, wobei in die stereoskopische Bildauswertung eine Korrekturfunktion für die Verzeichnungs- fehler eingeht, die abhängig von den aktuell verwendeten Einstellungen von Zoom und Fokus ist.10. The method according to claim 1 and 2 or 4 to 9, characterized in that the surgical microscope has two decentered optical channels behind a common front lens with a common object plane and the same magnification for both optical channels, with a correction function for the distortion in the stereoscopic image evaluation - Incoming error, which depends on the zoom and focus settings currently used.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß zur Fehlerkorrektur ein Kalibrieren erfolgt, wobei die Parameter der genannten Korrekturfunktion empirisch durch Kalibrationsmessungen bei verschiedenen Stellungen von Zoom und Fokus und verschiedenen Objektabständen ermittelt und so der erhaltene Parametersatz abgespeichert wird.11. The method according to claim 10, characterized in that a calibration is carried out for error correction, the parameters of said correction function being empirically determined by calibration measurements at different positions of zoom and focus and different object distances, and the parameter set obtained is thus stored.
12. Navigationsinstrument mit Markierungen, insbesondere für ein Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, daß die Markierungen in der Nähe der Instrumentenspitze angeordnet sind, wobei der maximale Abstand zur Instrumentenspitze derart gewählt wird, daß sich die Markierungen bei der Benutzung im Gesichtsfeld des Mikroskops befinden und der minimale Abstand zur Instrumentenspitze im wesentlichen größer als 2mm ist. 12. Navigational instrument with markings, in particular for a method according to one of claims 1 to 11, characterized in that the markings are arranged in the vicinity of the instrument tip, the maximum distance from the instrument tip being chosen such that the markings are in use in Field of view of the microscope and the minimum distance to the instrument tip is substantially greater than 2mm.
13. Navigationsinstrument nach Anspruch 12, dadurch gekennzeichnet, daß die Markierungen als Mikromarkierung oder Mikrokörper ausgeführt sind.13. Navigation instrument according to claim 12, characterized in that the markings are designed as micro-markings or micro-bodies.
14. Navigationsinstrument nach Anspruch 13, dadurch gekennzeichnet, daß die Markierungen als mindestens drei ein Dreieck aufspannende, farbige oder infrarotes Licht reflektierende Mikrokugeln oder Erhebungen auf dem Navigationsinstrument ausgebildet sind.14. Navigation instrument according to claim 13, characterized in that the markings are designed as at least three microspheres or elevations spanning a triangle, colored or infrared light reflecting microbeads or elevations on the navigation instrument.
15. Navigationsinstrument nach Anspruch 13, dadurch gekennzeichnet, daß die Markierungen als ringartige Schraffuren und/oder Färbungen und/oder Reflektoren auf dem Navigationsinstrument ausgebildet sind.15. Navigation instrument according to claim 13, characterized in that the markings are designed as ring-like hatching and / or coloring and / or reflectors on the navigation instrument.
16. Navigationsinstrument nach Anspruch 13, dadurch gekennzeichnet, daß mehrere der genannten Markierungssätze unterschiedlicher Größe auf dem Instrument angebracht sind und die kleineren der Markierungssätze bezogen auf die größeren Markierungssätze näher an der Spitze des Instruments befindlich sind.16. Navigation instrument according to claim 13, characterized in that several of said marker sets of different sizes are attached to the instrument and the smaller of the marker sets are located closer to the tip of the instrument with respect to the larger marker sets.
17. Navigationsinstrument nach einem der Ansprüche 12 bis 16, dadurch gekennzeichnet, daß zusätzlich auf der der Instrumentenspitze abgewandten Seite weitere, mit an sich bekannten Navigationssystemen detektierbare Markierungen nicht mikroskopischer Art angeordnet sind oder der Corpus des Instruments zur Erfassung mit magnetischen Navigationssystemen ausgeführt ist.17. Navigation instrument according to one of claims 12 to 16, characterized in that in addition on the side facing away from the instrument tip further, with known navigation systems markings of a non-microscopic type are arranged or the body of the instrument is designed for detection with magnetic navigation systems.
18. Operationsmikroskop, insbesondere zur Verwendung bei einem Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß das Mikroskop ein Modul zur Ermittlung der Raumkoordinaten relativ zum Operationsraum oder zum Patienten umfaßt. 18. Surgical microscope, in particular for use in a method according to one of the preceding claims, characterized in that the microscope comprises a module for determining the spatial coordinates relative to the operating room or to the patient.
19. Operationsmikroskop nach Anspruch 18, dadurch gekennzeichnet, daß das Modul ein Stereokamerapaar enthält, dem ein Computer zur stereo- skopischen Bildauswertung zugeordnet ist, wobei das Stereokamerapaar auf Markierungspunkte am Patienten oder im Raum ausgerichtet ist und somit die Lage und Orientierung des Mikroskops relativ zum Patienten oder zum Raum bestimmbar ist.19. Surgical microscope according to claim 18, characterized in that the module contains a stereo camera pair, to which a computer for stereo-scopic image evaluation is assigned, the stereo camera pair being aligned with marking points on the patient or in space and thus the position and orientation of the microscope relative to Patient or to the room is determinable.
20. Operationsmikroskop nach Anspruch 18, dadurch gekennzeichnet, daß das Modul ein PMD-Sensorarray enthält, dem ein Computer zur Auswertung der Sensordaten zugeordnet ist, wobei das PMD-Sensorarray mit zugehöriger Optik und modulierter Beleuchtung auf Markierungspunkte am Patienten oder im Raum ausgerichtet und somit die Lage und Orientierung des Mikroskops relativ zum Patienten oder zum Raum bestimmbar ist.20. Surgical microscope according to claim 18, characterized in that the module contains a PMD sensor array, to which a computer is assigned for evaluating the sensor data, the PMD sensor array with associated optics and modulated lighting being aligned with marking points on the patient or in space and thus the position and orientation of the microscope relative to the patient or to the room can be determined.
21. Operationsmikroskop nach Anspruch 18, dadurch gekennzeichnet, daß das Modul ein magnetisches Navigationssystem oder Komponenten eines solchen Systems, insbesondere Hall-Sensoren aufweist.21. Surgical microscope according to claim 18, characterized in that the module has a magnetic navigation system or components of such a system, in particular Hall sensors.
22. Operationsmikroskop nach Anspruch 18, dadurch gekennzeichnet, daß das Modul einen oder mehrere Sender eines auf Schall, Ultraschall oder auf elektromagnetischer Strahlung basierenden Laufzeitentfernungs-Meß- systems, welches in der Zeit- oder Frequenzdomäne arbeitet, aufweist.22. Surgical microscope according to claim 18, characterized in that the module has one or more transmitters of a transit time measuring system based on sound, ultrasound or electromagnetic radiation, which operates in the time or frequency domain.
23. Operationsmikroskop nach Anspruch 18 oder 22, dadurch gekennzeichnet, daß das Modul einen oder mehrere Empfänger eines auf Schall oder Ultraschall oder auf elektromagnetischer Strahlung basierenden Laufzeitentfernungs- Meßsystems, welches in der Zeit- oder Frequenzdomäne arbeitet, enthält. 23. Surgical microscope according to claim 18 or 22, characterized in that the module contains one or more receivers of a transit time measuring system based on sound or ultrasound or on electromagnetic radiation, which operates in the time or frequency domain.
24. Operationsmikroskop nach Anspruch 18, dadurch gekennzeichnet, daß das Modul Gyroskope und/oder Neigungssensoren umfaßt.24. Surgical microscope according to claim 18, characterized in that the module comprises gyroscopes and / or inclination sensors.
25. Operationsmikroskop nach Anspruch 18, dadurch gekennzeichnet, daß das Modul Anordnungen oder Einrichtungen zur Kombination verschiedener Meßverfahren der Ansprüche 19 bis 24 umfaßt.25. Surgical microscope according to claim 18, characterized in that the module comprises arrangements or devices for combining different measuring methods of claims 19 to 24.
26. Operationsmikroskop, insbesondere zur Verwendung bei einem Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß der Abstandsmeßwert eines PMD-Sensors aus einem vorgegebenen Bereich des Mikroskopbildfeldes, z.B. der Bildmitte, dem Navigationssystem übergeben wird.26. Surgical microscope, in particular for use in a method according to one of the preceding claims, characterized in that the distance measurement value of a PMD sensor from a predetermined area of the microscope image field, e.g. the center of the picture, which is handed over to the navigation system.
27. Operationsmikroskop, insbesondere zur Verwendung bei einem Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, daß der Abstandsmeßwert eines PMD-Sensors aus einem vorgegebenen Bereich des Mikroskopbildfeldes, z.B. der Bildmitte, als Stellgröße für die Fokussiereinheit des Mikroskops bereitgestellt und verwendet wird.27. Surgical microscope, in particular for use in a method according to one of the preceding claims, characterized in that the distance measurement value of a PMD sensor from a predetermined area of the microscope image field, e.g. the center of the image is provided and used as a manipulated variable for the focusing unit of the microscope.
28. Operationsmikroskop, insbesondere zur Verwendung bei einem Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, daß eine Vorrichtung zur Projektion von Lichtmarkierungen vorgesehen ist, wobei die mit diesem Licht markierten Bereiche des Operationsfeldes mittels zweier, mit dem Mikroskop verbundener Kameras einer stereo- skopischen Bildauswertung unterworfen werden.28. Surgical microscope, in particular for use in a method according to one of claims 1 to 11, characterized in that a device for projecting light markings is provided, the areas of the operation field marked with this light being stereo by means of two cameras connected to the microscope - subject to scopic image evaluation.
29. Operationsmikroskop, insbesondere zur Verwendung bei einem Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, daß dieses eine mit dem Mikroskop verbundene Vorrichtung zur Projektion von Lichtmarkierungen enthält und die mit diesem Licht markierten Bereiche des Operationsfeldes mittels einer mit dem Mikroskop verbundenen Kamera und stereoskopischer Bildauswertung unter Verwendung des Prinzips der inversen Kamera ausgewertet werden.29. Surgical microscope, in particular for use in a method according to one of claims 1 to 11, characterized in that this contains a device for the projection of light markings connected to the microscope and the areas of the operating field marked with this light are evaluated by means of a camera connected to the microscope and stereoscopic image evaluation using the principle of the inverse camera.
30. Operationsmikroskop, insbesondere zur Verwendung bei einem Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, daß das Mikroskop ein mit diesem verbundenes PMD-Sensormodul aufweist, auf welchem das Bild des Situs abgebildet wird und eine zugeordnete modulierte Beleuchtungseinrichtung vorgesehen ist.30. Surgical microscope, in particular for use in a method according to one of claims 1 to 11, characterized in that the microscope has a PMD sensor module connected thereto, on which the image of the site is imaged and an associated modulated illumination device is provided.
31. Operationsmikroskop nach einem der Ansprüche 28 bis 30, dadurch gekennzeichnet, daß die aktuell erhaltenen Topographiedaten an ein Navigationssystem übergeben und von diesem als Ausgangsdaten für die Korrektur eines Brain- Shift verwendet werden.31. Surgical microscope according to one of claims 28 to 30, characterized in that the currently received topography data are transferred to a navigation system and are used by the latter as output data for the correction of a brain shift.
32. Operationsmikroskop nach einem der Ansprüche 28 bis 31, dadurch gekennzeichnet, daß der Abstandsmeßwert aus einem vorgegebenen Bereich des Mikroskopgesichtsfeldes, z.B. der Bildmitte, an ein Navigationssystem übergeben wird.32. Surgical microscope according to one of claims 28 to 31, characterized in that the distance measurement value from a predetermined area of the microscope field of view, e.g. the middle of the picture is transferred to a navigation system.
33. Operationsmikroskop nach einem der Ansprüche 28 bis 32, dadurch gekennzeichnet, daß der Abstandsmeßwert aus einem vorgegebenen Bereich des Mikroskopgesichtsfeldes, z.B. der Bildmitte, als Stellgröße der Fokussiereinheit des Mikroskops zugeführt wird.33. Surgical microscope according to one of claims 28 to 32, characterized in that the distance measurement value from a predetermined area of the microscope field of view, e.g. the center of the image is fed as a manipulated variable to the focusing unit of the microscope.
34. Operationsmikroskop nach einem der Ansprüche 28 bis 33, dadurch gekennzeichnet, daß ein oder mehrere Stützstellen ermittelter Topogramme durch die Projektion von sichtbarem Licht auf diese Punkte markiert werden.34. Surgical microscope according to one of claims 28 to 33, characterized in that one or more support points of determined topograms are marked by the projection of visible light onto these points.
35. Operationsmikroskop nach einem der Ansprüche 28 bis 34, dadurch gekennzeichnet, daß für die Kameras, die Vorrichtung zur Projektion von Lichtmarkierungen und/oder den PMD-Sensor entweder die optischen Beobachtungskanäle des35. Surgical microscope according to one of claims 28 to 34, characterized in that for the cameras, the device for the projection of light markings and / or the PMD sensor, either the optical observation channels of the
Mikroskops verwendet oder zusätzliche, optische Kanäle vorgesehen und genutzt werden. Microscope used or additional, optical channels are provided and used.
EP03735605A 2002-06-13 2003-06-11 Method and instrument for surgical navigation Withdrawn EP1517647A1 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE10226361 2002-06-13
DE10226361 2002-06-13
DE10249025 2002-10-21
DE10249025A DE10249025B4 (en) 2002-06-13 2002-10-21 Method for presence optimization in neuronavigation in surgery with a surgical microscope and at least one coupled to the observation beam path of the microscope optoelectronic image receptor and a computer system including navigation instrument therefor
PCT/EP2003/006130 WO2003105709A1 (en) 2002-06-13 2003-06-11 Method and instrument for surgical navigation

Publications (1)

Publication Number Publication Date
EP1517647A1 true EP1517647A1 (en) 2005-03-30

Family

ID=29737601

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03735605A Withdrawn EP1517647A1 (en) 2002-06-13 2003-06-11 Method and instrument for surgical navigation

Country Status (4)

Country Link
US (1) US7912532B2 (en)
EP (1) EP1517647A1 (en)
AU (1) AU2003237922A1 (en)
WO (1) WO2003105709A1 (en)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110015518A1 (en) * 2002-06-13 2011-01-20 Martin Schmidt Method and instrument for surgical navigation
WO2006095027A1 (en) * 2005-03-11 2006-09-14 Bracco Imaging S.P.A. Methods and apparati for surgical navigation and visualization with microscope
AT502919B1 (en) * 2005-12-14 2010-11-15 Univ Innsbruck MEDICAL NAVIGATION SYSTEM
EP1857070A1 (en) * 2006-05-18 2007-11-21 BrainLAB AG Contactless medical registration with distance measurement
PL2023812T3 (en) 2006-05-19 2017-07-31 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
DE102007028639A1 (en) * 2007-06-21 2009-01-02 Siemens Ag Device for collecting and visualizing objects, has image overlay unit, primary intermediate memory delivers volume images of object, and secondary intermediate memory that selects corresponding surface image of objects
WO2009055705A2 (en) 2007-10-25 2009-04-30 Washington University In St. Louis Confocal photoacoustic microscopy with optical lateral resolution
US8390291B2 (en) * 2008-05-19 2013-03-05 The Board Of Regents, The University Of Texas System Apparatus and method for tracking movement of a target
US9528966B2 (en) * 2008-10-23 2016-12-27 Washington University Reflection-mode photoacoustic tomography using a flexibly-supported cantilever beam
US9351705B2 (en) 2009-01-09 2016-05-31 Washington University Miniaturized photoacoustic imaging apparatus including a rotatable reflector
WO2011116812A1 (en) * 2010-03-22 2011-09-29 Brainlab Ag Controlling a surgical microscope
WO2011127428A2 (en) 2010-04-09 2011-10-13 Washington University Quantification of optical absorption coefficients using acoustic spectra in photoacoustic tomography
US20120019511A1 (en) * 2010-07-21 2012-01-26 Chandrasekhar Bala S System and method for real-time surgery visualization
US8997572B2 (en) 2011-02-11 2015-04-07 Washington University Multi-focus optical-resolution photoacoustic microscopy with ultrasonic array detection
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
US20130083997A1 (en) * 2011-10-04 2013-04-04 Alcatel-Lucent Usa Inc. Temporally structured light
KR20130121521A (en) * 2012-04-27 2013-11-06 주식회사 고영테크놀러지 Method for tracking of the affected part and surgery instrument
WO2014063005A1 (en) 2012-10-18 2014-04-24 Washington University Transcranialphotoacoustic/thermoacoustic tomography brain imaging informed by adjunct image data
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US9247998B2 (en) * 2013-03-15 2016-02-02 Intellijoint Surgical Inc. System and method for intra-operative leg position measurement
DE102013211342A1 (en) * 2013-06-18 2014-12-18 Siemens Aktiengesellschaft Photo-based 3D surface inspection system
US11137375B2 (en) 2013-11-19 2021-10-05 California Institute Of Technology Systems and methods of grueneisen-relaxation photoacoustic microscopy and photoacoustic wavefront shaping
WO2015124159A1 (en) 2014-02-21 2015-08-27 3Dintegrated Aps A set comprising a surgical instrument
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
DE102014107443A1 (en) * 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Microscope system with depth preview
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
JP6776327B2 (en) 2015-07-21 2020-10-28 スリーディインテグレイテッド アーペーエス3Dintegrated Aps Cannula Assembly Kit, Needle Assembly Kit, Sleeve Assembly, Minimally Invasive Surgical System and Methods
US11020144B2 (en) 2015-07-21 2021-06-01 3Dintegrated Aps Minimally invasive surgery system
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
DK178899B1 (en) 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
DE102015117824B4 (en) * 2015-10-20 2017-06-29 Carl Zeiss Meditec Ag Apparatus and method for adjusting a focal distance in an optical observation device
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CA3112726A1 (en) 2016-03-17 2017-09-21 Brainlab Ag Optical tracking
US10268032B2 (en) 2016-07-07 2019-04-23 The Board Of Regents Of The University Of Texas System Systems and method for imaging devices with angular orientation indications
DE102016117263A1 (en) 2016-09-14 2018-03-15 Carl Zeiss Meditec Ag Optical observation device system
CA3061329A1 (en) 2017-04-27 2018-11-01 Curadel, LLC Range-finding in optical imaging
WO2018209046A1 (en) 2017-05-10 2018-11-15 Washington University Snapshot photoacoustic photography using an ergodic relay
US11141223B2 (en) * 2017-11-06 2021-10-12 Eb Neuro S.P.A. Apparatus and method for calibrating and measuring target points for cerebral neuro-navigators
DE102018206406B3 (en) 2018-04-25 2019-09-12 Carl Zeiss Meditec Ag Microscopy system and method for operating a microscopy system
WO2020037082A1 (en) 2018-08-14 2020-02-20 California Institute Of Technology Multifocal photoacoustic microscopy through an ergodic relay
EP3847453A4 (en) 2018-09-04 2022-06-22 California Institute of Technology Enhanced-resolution infrared photoacoustic microscopy and spectroscopy
DE102018123781B4 (en) * 2018-09-26 2023-08-03 Carl Zeiss Meditec Ag Method for performing shading correction and observation optical system
US11369280B2 (en) 2019-03-01 2022-06-28 California Institute Of Technology Velocity-matched ultrasonic tagging in photoacoustic flowgraphy
CN111728695B (en) * 2020-06-12 2023-07-25 天津理工大学 Light beam auxiliary positioning system for craniotomy
DE102022202555A1 (en) 2022-03-15 2023-09-21 Carl Zeiss Meditec Ag Method for determining the three-dimensional positions of points of a target region on a patient in a reference coordinate system of a surgical visualization system and surgical visualization system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167295A (en) * 1991-01-28 2000-12-26 Radionics, Inc. Optical and computer graphic stereotactic localizer

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5545160A (en) * 1990-08-14 1996-08-13 O'rourke; Daniel K. Computer oriented stereotactic microneurological surgery
US6006126A (en) * 1991-01-28 1999-12-21 Cosman; Eric R. System and method for stereotactic registration of image scan data
US5279309A (en) * 1991-06-13 1994-01-18 International Business Machines Corporation Signaling device and method for monitoring positions in a surgical operation
US5352233A (en) * 1993-02-09 1994-10-04 Anis Aziz Y Scalpel and technique for using scalpel
FR2709657B1 (en) * 1993-09-07 1995-12-01 Deemed Int Sa Optical designation device, in particular for microsurgery operation.
GB9405299D0 (en) * 1994-03-17 1994-04-27 Roke Manor Research Improvements in or relating to video-based systems for computer assisted surgery and localisation
DE4412605B4 (en) * 1994-04-13 2005-10-20 Zeiss Carl Method for operating a stereotactic adapter
DE4417944A1 (en) * 1994-05-21 1995-11-23 Zeiss Carl Fa Process for correlating different coordinate systems in computer-assisted, stereotactic surgery
JPH08164148A (en) * 1994-12-13 1996-06-25 Olympus Optical Co Ltd Surgical operation device under endoscope
US5971997A (en) * 1995-02-03 1999-10-26 Radionics, Inc. Intraoperative recalibration apparatus for stereotactic navigators
JP4101951B2 (en) * 1998-11-10 2008-06-18 オリンパス株式会社 Surgical microscope
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
DE19960020A1 (en) * 1999-12-13 2001-06-21 Ruediger Marmulla Device for optical detection and referencing between data set, surgical site and 3D marker system for instrument and bone segment navigation
ATE221344T1 (en) * 2000-04-05 2002-08-15 Brainlab Ag REFERENCEING A PATIENT IN A MEDICAL NAVIGATION SYSTEM USING RADIATED LIGHT POINTS
US20010055062A1 (en) * 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
EP1395195A1 (en) * 2001-06-13 2004-03-10 Volume Interactions Pte. Ltd. A guide system and a probe therefor
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167295A (en) * 1991-01-28 2000-12-26 Radionics, Inc. Optical and computer graphic stereotactic localizer

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO03105709A1 *

Also Published As

Publication number Publication date
WO2003105709A1 (en) 2003-12-24
US20060122516A1 (en) 2006-06-08
US7912532B2 (en) 2011-03-22
AU2003237922A1 (en) 2003-12-31

Similar Documents

Publication Publication Date Title
EP1517647A1 (en) Method and instrument for surgical navigation
DE102011078212B4 (en) Method and device for displaying an object
DE10108547B4 (en) Operating system for controlling surgical instruments based on intra-operative X-ray images
DE4134481C2 (en) Surgical microscope for computer-aided, stereotactic microsurgery
DE10215808B4 (en) Registration procedure for navigational procedures
EP2082687B1 (en) Overlaid presentation of exposures
EP1121900A2 (en) Method of determining the position of a medical instrument
WO1994003100A1 (en) Process for imaging the interior of bodies
DE4417944A1 (en) Process for correlating different coordinate systems in computer-assisted, stereotactic surgery
DE19751761A1 (en) System for continuous display of target location in medical treatments
EP1946702A1 (en) Illustration of anatomic structure
DE102012208389A1 (en) Registration method and apparatus for a position detection system
DE19807884A1 (en) Computer-aided intra-operative anatomical object visualization method used during complex brain surgery
DE102018119343B4 (en) Method for calibrating objects in a reference coordinate system and method for tracking objects
EP3323347A1 (en) Method for providing image-based support for a minimally invasive procedure using an instrument in the procedure area of a patient, x-ray device, computer program and electronically readable data carrier
DE102014210121A1 (en) Surgical microscope and image-guided surgery system and method for their operation
DE102011006537A1 (en) Method for registration of coordinate systems of e.g. X-ray device and/or coordinate system of endoscope during minimum-invasive medical interventions of patient, involves using reference element for registration of coordinate systems
DE10108947B4 (en) Method and device for matching at least one visualized medical measurement result with at least one further data set containing a spatial information
DE102011050240A1 (en) Apparatus and method for determining the relative position and orientation of objects
EP3626176B1 (en) Method for supporting a user, computer program product, data carrier and imaging system
DE102010018291B4 (en) Navigation system and X-ray system
DE10249025B4 (en) Method for presence optimization in neuronavigation in surgery with a surgical microscope and at least one coupled to the observation beam path of the microscope optoelectronic image receptor and a computer system including navigation instrument therefor
DE102013215445A1 (en) Positioning of a recording device for performing medical recordings
DE102014212913B4 (en) Method and device for intraoperative navigation
DE10109310A1 (en) Three-dimensional tracking of probe needles, biopsy needles or surgical instruments using a CT or MRT system with improved tracking provided by undertaking a calibration step using an infrared light source calibration frame

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050111

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

DAX Request for extension of the european patent (deleted)
RBV Designated contracting states (corrected)

Designated state(s): CH DE LI

17Q First examination report despatched

Effective date: 20061208

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20081108