DE102014006264A1

DE102014006264A1 - Method and device for controlling the movement of an object

Info

Publication number: DE102014006264A1
Application number: DE102014006264.3A
Authority: DE
Inventors: Andràs Acsai
Original assignee: Gomtec GmbH
Current assignee: ABB Gomtec GmbH
Priority date: 2014-04-30
Filing date: 2014-04-30
Publication date: 2015-11-05

Abstract

Vorrichtung zum Steuern eines eine Hauptreferenzrichtung aufweisenden geführten Objekts in einem ersten dreidimensionalen Raum, wobei die Vorrichtung – Erfassungsmittel zum Erfassen einer Hauptreferenzrichtung eines führenden Objekts in einem zweiten dreidimensionalen Raum und – eine Steuereinheit zum Anwenden einer Transformation auf eine der Hauptreferenzrichtungen, um im Rahmen der jeweils anderen Hauptreferenzrichtung eine Bildrichtung zu erhalten, und zum Erfassen eines Winkels zwischen der Bildrichtung und der anderen Hauptreferenzrichtung umfasst, die Erfassungsmittel ferner eingerichtet sind zum Erfassen einer Bewegung des führenden Objekts, und die Steuereinheit mit wenigstens einem Aktor zum Bewegen des geführten Objekts verbindbar und eingerichtet ist, den Winkel zwischen der Bildrichtung und der anderen Hauptreferenzrichtung mit Fortschreiten der Bewegung des führenden Objekts allmählich zu verkleinern.An apparatus for controlling a guided object having a main reference direction in a first three-dimensional space, the apparatus comprising detecting means for detecting a main reference direction of a leading object in a second three-dimensional space, and a control unit for applying a transformation to one of the main reference directions in order to perform each of other main reference direction to obtain an image direction and for detecting an angle between the image direction and the other main reference direction, the detection means are further adapted to detect a movement of the leading object, and the control unit is connectable and arranged with at least one actuator for moving the guided object to gradually reduce the angle between the image direction and the other main reference direction as the movement of the leading object progresses.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Steuern der Bewegung eines Objekts wie etwa eines von einem Roboterarm geführten Werkzeugs in einem dreidimensionalen Raum.The present invention relates to an apparatus and a method for controlling the movement of an object, such as a tool guided by a robot arm, in a three-dimensional space.

Es ist an sich bekannt, zum Steuern eines solchen Objekts Joystick-ähnliche Vorrichtungen zu benutzen, bei denen ein führendes Objekt, dessen Bewegung durch das geführte Objekt nachgebildet werden soll, mit einer Basis durch einen mechanischen Aufbau in diversen Freiheitsgraden beweglich verbunden ist, wobei an dem Aufbau diverse Sensoren verteilt sind, um die Bewegung des führenden Objekts in den verschiedenen Freiheitsgraden zu messen. Um eine präzise Steuerung zu ermöglichen, muss der mechanische Aufbau in sich robust und spielfrei sein, denn nur so können die Bewegungen des führenden Objekts exakt auf die Sensoren übertragen werden. Ein solcher mechanischer Aufbau ist im Allgemeinen umso komplizierter, je größer die Zahl der zu überwachenden Freiheitsgrade ist. Die Anforderung der Spielfreiheit ist nur schwerlich mit dem Bedürfnis der Benutzer nach einer leichten, möglichst wenig eingeschränkten Beweglichkeit des geführten Objekts zu vereinbaren. Abnutzungserscheinungen des mechanischen Aufbaus können zu einem Verlust an Steuerungsgenauigkeit führen.It is known per se to use joystick-like devices for controlling such an object, in which a leading object, whose movement is to be simulated by the guided object, is movably connected to a base by means of a mechanical construction in various degrees of freedom the structure various sensors are distributed to measure the movement of the leading object in the different degrees of freedom. In order to enable precise control, the mechanical structure must be robust and free of play, because only then can the movements of the leading object be transferred exactly to the sensors. Such a mechanical structure is generally more complicated the greater the number of degrees of freedom to be monitored. The requirement of freedom from play is difficult to reconcile with the need of the user for an easy, as little as possible limited mobility of the guided object. Wear of the mechanical structure can lead to a loss of control accuracy.

Alle diese Nachteile können vermieden werden, wenn das führende Objekt nicht mit einer Basis durch einen seine Beweglichkeit einschränkenden mechanischen Aufbau verbunden ist, sondern seine Lage im Raum berührungslos erfasst wird. Mit dem Wegfall des mechanischen Aufbaus muss jedoch ein anderes Problem in Kauf genommen werden: Immer wenn die Steuervorrichtung inaktiv ist, kann das führende Objekt beliebig bewegt werden, ohne dass das geführte Objekt dieser Bewegung nachgeführt wird. Deswegen können bei Aufnahme des Betriebs der Steuervorrichtung führendes und geführtes Objekt beliebige Orientierungen zueinander aufweisen. Dies ist einerseits problematisch, weil der Benutzer, wie er es von einem mechanischen Aufbau gewohnt ist, eine korrelierende Orientierung des führenden und geführten Objekts erwartet. Andererseits, würde die Vorrichtung sofort bei Aufnahme des Betriebs die Orientierung des führenden Objekts erfassen, eine dieser Orientierung entsprechende Bildorientierung im Raum des geführten Objekts berechnen und das geführte Objekt entsprechend dieser Bildorientierung ausrichten, so bestünde die Möglichkeit, dass das geführte Objekt eine vom Benutzer nicht beabsichtigte Bewegung ausführt, bei der es selbst oder ein Gegenstand in seiner Umgebung Schaden nehmen kann.All these disadvantages can be avoided if the leading object is not connected to a base by a mechanical structure restricting its mobility, but its position in space is detected without contact. However, with the omission of the mechanical structure, another problem must be accepted: whenever the control device is inactive, the leading object can be arbitrarily moved without tracking the guided object of this movement. Therefore, when the operation of the control device is started, the guided and guided object may have any orientation to each other. This is on the one hand problematic because the user, as he is used to from a mechanical structure, expects a correlating orientation of the leading and guided object. On the other hand, if the device were to detect the orientation of the leading object immediately upon acquisition of the operation, calculate an image orientation corresponding to this orientation in the space of the guided object, and align the guided object in accordance with this image orientation, there would be a possibility that the guided object would not be one from the user performs intentional movement that can damage itself or an object in its vicinity.

Um diesem Problem abzuhelfen, wurde bereits durch die Patentanmelderin in einer noch unveröffentlichten Patentanmeldung eine Vorrichtung zum Steuern eines eine Hauptreferenzrichtung aufweisenden geführten Objekts in einem ersten dreidimensionalen Raum vorgeschlagen, die Erfassungsmittel zum Erfassen einer Hauptreferenzrichtung eines führenden Objekts in einem zweiten dreidimensionalen Raum und eine Steuereinheit zum Anwenden einer Transformation auf eine der Hauptreferenzrichtungen, um im Raum der jeweils anderen Hauptreferenzrichtung eine Bildrichtung zu erhalten, und zum Erfassen eines Winkels zwischen der Bildrichtung und der anderen Hauptreferenzrichtung umfasst, wobei die Steuereinheit eingerichtet ist, eine Steuerung der Bewegung des geführten Objekts anhand einer Bewegung des führenden Objekts nur dann freizugeben, wenn der Winkel klein genug ist, um vernachlässigt zu werden. Es zeigt sich jedoch, dass in der Praxis viele Benutzer Schwierigkeiten haben, das führende Objekt exakt genug auf das geführte Objekt auszurichten, um ein Einsetzen der Steuerung zu ermöglichen.In order to remedy this problem, the applicant has already proposed in a still unpublished patent application an apparatus for controlling a main reference direction guided object in a first three-dimensional space, detecting means for detecting a main reference direction of a leading object in a second three-dimensional space and a control unit for Applying a transformation to one of the main reference directions to obtain an image direction in the space of the other main reference direction and detecting an angle between the image direction and the other main reference direction, the control unit being arranged to control the movement of the guided object by means of a movement of the leading object only if the angle is small enough to be neglected. It turns out, however, that in practice, many users have difficulty aligning the leading object accurately enough with the guided object to allow for deployment of the controller.

Dieses Problem verschärft sich noch, wenn ein Benutzer nicht nur ein einziges führendes Objekt ausrichten muss, sondern mit rechter und linker Hand je ein führendes Objekt auszurichten hat. In diesem Fall wäre es zwar denkbar, die Steuerung jedes einzelnen geführten Objekts dann freizugeben, wenn es dem Benutzer gelungen ist, das zugehörige führende Objekt genau genug auszurichten, doch ergibt sich dann das Problem, dass der Benutzer, während er versucht, das zweite führende Objekt auszurichten, unwillkürlich Bewegungen des bereits unter Kontrolle befindlichen geführten Objekts veranlasst.This problem is exacerbated when a user does not just have to align a single leading object, but has to align a leading object with right and left hand. In this case, it would be conceivable to release the control of each individual guided object if the user has been able to align the associated leading object with sufficient accuracy, but then the problem arises that the user, while trying, leads the second leading object Align object involuntarily causes movements of the guided object already under control.

Aufgabe der vorliegenden Erfindung ist daher, eine Vorrichtung bzw. ein Verfahren zum Steuern der Bewegung eines geführten Objekts zu schaffen, die eine einfache und sichere Übernahme der Kontrolle über das geführte Objekt, ohne Gefahr unvorhergesehener plötzlicher Bewegungen, ermöglichen.The object of the present invention is therefore to provide a device and a method for controlling the movement of a guided object, which allow a simple and secure transfer of control over the guided object, without the risk of unforeseen sudden movements.

Die Aufgabe wird zum einen gelöst, indem bei einer Vorrichtung zum Steuern eines eine Hauptreferenzrichtung aufweisenden geführten Objekts in einem ersten dreidimensionalen Raum, wobei die Vorrichtung

– Erfassungsmittel zum Erfassen einer Hauptreferenzrichtung eines führenden Objekts in einem zweiten dreidimensionalen Raum und
– eine Steuereinheit zum Anwenden einer Transformation auf eine der Hauptreferenzrichtungen, um im Rahmen der jeweils anderen Hauptreferenzrichtung eine Bildrichtung zu erhalten, und zum Erfassen eines Winkels zwischen der Bildrichtung und der anderen Hauptreferenzrichtung umfasst,

die Erfassungsmittel ferner eingerichtet sind zum Erfassen einer Bewegung des führenden Objekts, und die Steuereinheit mit wenigstens einem Aktor zum Bewegen des geführten Objekts verbindbar und eingerichtet ist, den Winkel zwischen der Bildrichtung und der anderen Hauptreferenzrichtung mit Fortschreiten der Bewegung des führenden Objekts allmählich zu verkleinern. Solange keine Bewegung des führenden Objekts stattfindet, ist so eine vom Benutzer nicht vorhergesehene Ausrichtung des geführten Objekts ausgeschlossen. Sobald der Benutzer jedoch beginnt, das führende Objekt seinerseits zu bewegen, kann eine Anpassung der Orientierung des geführten Objekts stattfinden. Aufgrund der Allmählichkeit dieser Anpassung – im Gegensatz zu einer ruckartigen Anpassung – kann der Benutzer die Bewegung des geführten Objekts problemlos nachverfolgen und wird nicht durch eine möglicherweise unvorhergesehene Bewegung des geführten Objekts überrascht. Da die Anpassung der Orientierung nur stattfindet, während der Benutzer das geführte Objekt bewegt, nimmt er sie unwillkürlich als Reaktion der Steuervorrichtung auf die Bewegung des führenden Objekts wahr, und kann sie berücksichtigen, ohne sich dessen überhaupt bewusst werden zu müssen, wenn er die Bewegung des geführten Objekts überwacht und die Art und Weise, wie er das führende Objekt bewegt, fortlaufend mit der beobachteten Position und Orientierung des geführten Objekts abgleicht.The object is achieved, on the one hand, in a device for controlling a guided object having a main reference direction in a first three-dimensional space, wherein the device

- Detecting means for detecting a main reference direction of a leading object in a second three-dimensional space and
A control unit for applying a transformation to one of the main reference directions in order to obtain an image direction within the respective other main reference direction, and for detecting an angle between the image direction and the other main reference direction,

the detection means are further arranged to detect a movement of the leading object, and the control unit is connectable to at least one actuator for moving the guided object and arranged to gradually reduce the angle between the image direction and the other main reference direction as the movement of the leading object progresses. As long as no movement of the leading object takes place, a user-unforeseen orientation of the guided object is excluded. However, as soon as the user begins to move the leading object in turn, an adjustment of the orientation of the guided object may take place. Due to the gradual nature of this adaptation - as opposed to a jerky adaptation - the user can easily track the movement of the guided object and is not surprised by a possibly unforeseen movement of the guided object. Since the adjustment of the orientation only takes place while the user is moving the guided object, he involuntarily perceives them in response to the control device to the movement of the guiding object, and can take them into account without even having to become aware of it when he is moving of the guided object and continuously aligns the way it moves the leading object with the observed position and orientation of the guided object.

Vorzugsweise ist die Steuereinheit eingerichtet, eine erfasste Bewegung des führenden Objekts in eine Translation eines Referenzpunkts des führenden Objekts und eine Rotation der Referenzrichtung zu zerlegen und den Winkel zwischen der Bildrichtung und der anderen Referenzrichtung entsprechend dem Ausmaß der Rotation zu verkleinern. Dies gibt dem Benutzer eine intuitive Möglichkeit, einen bestehenden Winkel zwischen der Bildrichtung und der anderen Hauptreferenzrichtung durch Drehen des führenden Objekts zu verringern, ohne gleichzeitig eine Translation des geführten Objekts zu steuern.Preferably, the control unit is arranged to break a detected movement of the leading object into a translation of a reference point of the leading object and a rotation of the reference direction and to reduce the angle between the image direction and the other reference direction according to the amount of rotation. This gives the user an intuitive way to reduce an existing angle between the image direction and the other main reference direction by rotating the leading object without simultaneously controlling a translation of the guided object.

Die Steuereinheit kann eingerichtet sein, einen Referenzpunkt des geführten Objekts entsprechend einer erfassten Translation des führenden Objekts zu translatieren. So ist eine Steuerung von Translationsbewegungen des geführten Objekts schon dann möglich, wenn die Orientierungen von führendem und geführtem Objekt noch nicht aneinander angepasst sind.The control unit may be configured to translate a reference point of the guided object according to a detected translation of the leading object. Thus, a control of translational movements of the guided object is already possible if the orientations of leading and guided object are not yet adapted to each other.

Um eine Steuerung der Translation des geführten Objekts und eine Anpassung der Orientierungen von führendem und geführtem Objekt aneinander unabhängig voneinander zu ermöglichen, kann die Steuereinheit eingerichtet sein, die Translation des führenden Objekts beim Verkleinern des Winkels unberücksichtigt zu lassen. Mit anderen Worten: nur eine Drehung des führenden Objekts bewirkt eine Anpassung der Orientierungen, eine Translation hingegen nicht.In order to enable control of the translation of the guided object and adaptation of the orientations of the guided and guided object to each other independently of one another, the control unit may be set up to disregard the translation of the guiding object when the angle is reduced. In other words: only one rotation of the leading object causes an adjustment of the orientations, whereas a translation does not.

Auch im Rahmen der vorliegenden Erfindung kann es zweckmäßig sein, ein Umschalten von einem inaktiven Zustand, in welchem eine Bewegung des führenden Objekts ohne Wirkung auf das geführte Objekt ist, in einen Zustand, in welchem die Steuereinheit eine Bewegung des geführten Objekts entsprechend der Bewegung des führenden Objekts steuert, nur dann zuzulassen, wenn der Winkel zwischen der Bildrichtung und der anderen Hauptreferenzrichtung einen Grenzwert unterschreitet. Der Grenzwert kann hier wesentlich größer als der Winkel gewählt werden, der bei der oben beschriebenen herkömmlichen Vorrichtung unterschritten werden muss, um den Übergang in den aktiven Zustand zuzulassen. Insbesondere kann der Winkel größer als zum Beispiel 60° gewählt sein, so dass der Benutzer keine Schwierigkeiten hat, eine Ausrichtung des führenden Objekts einzustellen, in der der Übergang in den aktiven Zustand möglich ist. Andererseits sollte der Grenzwert ausreichend kleiner als 180° sein, damit die Richtung, in der die Steuereinheit das geführte Objekt dreht, um den Winkel zu verkleinern, für einen Benutzer absehbar ist.Also in the context of the present invention, it may be appropriate to switch from an inactive state in which a movement of the leading object is without effect on the guided object to a state in which the control unit controls a movement of the guided object in accordance with the movement of the guided object leading object only to admit if the angle between the image direction and the other main reference direction is below a threshold. The limit value can here be chosen to be substantially greater than the angle which must be undershot in the conventional device described above in order to allow the transition to the active state. In particular, the angle may be greater than, for example, 60 °, so that the user has no difficulty adjusting an orientation of the leading object in which the transition to the active state is possible. On the other hand, the limit should be sufficiently smaller than 180 ° in order for the user to foresee the direction in which the control unit turns the guided object to reduce the angle.

Die Erfindung stellt keine besonderen Anforderungen an die Beschaffenheit des führenden Objekts abgesehen davon, dass es durch die Erfassungsmittel erfassbar sein muss. So kann, insbesondere wenn die Erfassungsmittel wenigstens eine Kamera zum Erfassen des führenden Objekts umfassen, das führende Objekt auch die Hand eines Benutzers sein. Wie viele andere mögliche führende Objekte auch hat die Hand nicht nur eine einzige oder Hauptreferenzrichtung wie etwa die Richtung eines ausgestreckten Zeigefingers, sondern auch eine Nebenreferenzrichtung wie etwa die eines abgespreizten Daumens, die unabhängig von der Hauptreferenzrichtung, durch eine Drehung um eine in der Hauptreferenzrichtung verlaufende Achse, veränderbar ist. Die Erfindung ist auch auf eine solche Nebenreferenzrichtung anwendbar, indem mit Fortschreiten der Bewegung des führenden Objekts auch ein Winkel zwischen einer Nebenreferenzrichtung des geführten Objekts und einer durch die Transformation von der Nebenreferenzrichtung des führenden Objekts abgeleiteten Bildrichtung allmählich verkleinert wird.The invention makes no particular demands on the nature of the leading object except that it must be detectable by the detection means. Thus, especially if the detection means comprise at least one camera for detecting the guiding object, the guiding object may also be the hand of a user. Like many other possible leading objects, the hand has not only a single or main reference direction, such as the direction of an extended index finger, but also a sidelobe direction, such as a splayed thumb, independent of the main reference direction, by rotation about one in the main reference direction Axis, is changeable. The invention is also applicable to such a sub-reference direction by gradually decreasing an angle between a sub-reference direction of the guided object and an image direction derived by the transformation from the sub-reference direction of the leading object as the movement of the leading object progresses.

Das führende Objekt kann seinerseits Teil der erfindungsgemäßen Vorrichtung sein.The leading object may in turn be part of the device according to the invention.

Wenn ein solches führendes Objekt zwei gegeneinander um eine Achse schwenkbare Komponenten umfasst, kann die Richtung der Achse eine Referenzrichtung, insbesondere die Nebenreferenzrichtung, darstellen.If such a leading object comprises two components pivotable relative to one another about an axis, the direction of the axis can represent a reference direction, in particular the secondary reference direction.

Die Hauptreferenzrichtung ist vorzugsweise durch eine zu der Achse senkrechte Richtung des führenden Objekts gegeben. Dabei kann es sich um eine Richtung einer jeden der beiden gegeneinander schwenkbaren Komponenten handeln oder um eine dazwischenlegende Richtung, insbesondere eine Winkelhalbierende eines von den schwenkbaren Komponenten aufgespannten Winkels. The main reference direction is preferably given by a direction perpendicular to the axis of the leading object. This may be a direction of each of the two mutually pivotable components or an intermediate direction, in particular an angle bisector of an angle spanned by the pivotable components angle.

Es sollte wenigstens ein Bedienelement vorgesehen sein, durch das die Vorrichtung in einen inaktiven Zustand umschaltbar ist, in welchem eine Bewegung des führenden Objekts ohne Wirkung auf das geführte Objekt ist. Ein solches Bedienelement kann insbesondere ein am führenden Objekt angeordneter, durch die Finger des Benutzers betätigbarer Schalter oder ein Fußschalter sein.At least one operating element should be provided, by means of which the device can be switched to an inactive state, in which a movement of the guiding object is without effect on the guided object. Such an operating element may, in particular, be a switch arranged on the leading object and actuatable by the user's fingers, or a footswitch.

Während die Transformation Richtungen im ersten und zweiten dreidimensionalen Raum eindeutig und in unveränderlicher Weise aufeinander abbildet, ist dies bei den Punkten der beiden Räume vorzugsweise nicht der Fall. Insbesondere kann die Steuereinheit eingerichtet sein, einen zeitweiligen Übergang vom aktiven in den inaktiven Zustand zu erlauben und eine im inaktiven Zustand durchgeführte Bewegung des führenden Objekts bei der Rückkehr in den aktiven Zustand bei der Steuerung des geführten Objekts unberücksichtigt zu lassen. Dies bietet einem Benutzer die Möglichkeit, wenn das führende Objekt an eine Grenze des zweiten dreidimensionalen Raums gelangt, insbesondere an die Grenze des von den Erfassungsmitteln überwachten Bereichs, so dass eine Bewegung des führenden Objekts über die Grenze hinaus keine Bewegung des geführten Objekts mehr steuern kann, die Vorrichtung zeitweilig in den inaktiven Zustand zu versetzen, während des inaktiven Zustands das führende Objekt an einem anderen Ort des zweiten Raums zu positionieren, ohne dass dies eine Bewegung des geführten Objekts mit sich bringt, und dann den aktiven Zustand wieder herzustellen. Durch die Aktualisierung der Transformation wird der aktuelle Ort des Referenzpunkts des geführten Objekts im ersten Raum zum Bildpunkt des Referenzpunkts des führenden Objekts, so dass das geführte Objekt im ersten Raum an einen Ort bewegt werden kann, der ohne zwischenzeitlichen Übergang in den passiven Zustand nicht erreichbar gewesen wäre.While the transformation clearly and unambiguously maps directions in the first and second three-dimensional space, this is preferably not the case for the points of the two spaces. In particular, the control unit may be configured to permit a temporary transition from the active to the inactive state and to disregard a movement of the leading object performed in the inactive state upon the return to the active state in the control of the guided object. This provides a user with the possibility of the leading object approaching a boundary of the second three-dimensional space, in particular the boundary of the area monitored by the detection means, such that movement of the leading object beyond the boundary can no longer control movement of the guided object temporarily placing the device in the inactive state, during the inactive state, positioning the leading object in a different location of the second space without causing movement of the guided object, and then restoring the active state. By updating the transformation, the current location of the reference point of the guided object in the first space becomes the pixel of the reference point of the leading object, so that the guided object in the first space can be moved to a location unavailable without an intermediate transition to the passive state would have been.

Um einem Benutzer den Gebrauch der Vorrichtung zu erleichtern, sollte eine Kamera zum Erfassen des ersten dreidimensionalen Raums und ein Display zum Anzeigen der von der Kamera gelieferten Bilder vorhanden sein.To facilitate a user's use of the device, there should be a camera for detecting the first three-dimensional space and a display for displaying the images provided by the camera.

Die Steuereinheit kann eingerichtet sein, zusammen mit einem Bild des geführten Objekts ein Bild des in der Bildrichtung ausgerichteten führenden Objekts auf den Display anzuzeigen, so dass der Benutzer leicht erkennen kann, wie die Orientierungen von führendem und geführtem Objekt voneinander abweichen. So kann der Benutzer zum einen leicht abschätzen, um welche Achse die Steuereinheit das geführte Objekt rotieren wird, um den Winkel zwischen der Bildrichtung und der anderen Hauptreferenzrichtung zu verkleinern, oder in welcher Richtung er selbst das führende Objekt drehen muss, um diesen Winkel unter den Grenzwert für den Übergang in den aktiven Zustand abzusenken.The control unit may be configured to display, together with an image of the guided object, an image of the guiding object oriented in the image direction on the display so that the user can easily recognize how the orientations of the guiding and guided objects differ from each other. Thus, on the one hand, the user can easily estimate around which axis the control unit will rotate the guided object in order to reduce the angle between the image direction and the other main reference direction, or in which direction he himself has to rotate the leading object by that angle Lower limit for the transition to the active state.

Der oben erwähnte Aktor kann insbesondere Teil eines Roboterarms, zum Beispiel eines OP-Roboters, und das geführte Objekt ein von dem Roboterarm gehaltenes Werkzeug, zum Beispiel ein chirurgisches Werkzeug, sein.In particular, the above-mentioned actuator may be part of a robot arm, for example an operating robot, and the guided object may be a tool held by the robot arm, for example a surgical tool.

Die Aufgabe wird ferner gelöst durch ein Verfahren zum Steuern eines eine Hauptreferenzrichtung aufweisenden geführten Objekts in einem ersten dreidimensionalen Raum mit den Schritten:

a) Erfassen einer Hauptreferenzrichtung des führenden Objekts in einem zweiten dreidimensionalen Raum,
b) Anwenden einer Transformation auf eine der Hauptreferenzrichtungen, um im Raum der jeweils anderen Hauptreferenzrichtung eine Bildrichtung zu erhalten, und Erfassen eines Winkels zwischen der Bildrichtung und der anderen Hauptreferenzrichtung,
c) Erfassen einer Bewegung des führenden Objekts,
d) Bewegen des geführten Objekts, um mit Fortschreiten der Bewegung des führenden Objekts den Winkel zwischen der Bildrichtung und der anderen Hauptreferenzrichtung allmählich zu verkleinern.

The object is further achieved by a method for controlling a guided object having a main reference direction in a first three-dimensional space, comprising the steps:

a) detecting a main reference direction of the leading object in a second three-dimensional space,
b) applying a transformation to one of the main reference directions in order to obtain an image direction in the space of the respective other main reference direction, and detecting an angle between the image direction and the other main reference direction,
c) detecting a movement of the leading object,
d) moving the guided object to gradually reduce the angle between the image direction and the other main reference direction as the movement of the leading object progresses.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren. Es zeigen:Further features and advantages of the invention will become apparent from the following description of embodiments with reference to the accompanying figures. Show it:

1 ein Robotersystem sowie eine Vorrichtung zum Steuern des Robotersystems; 1 a robot system and a device for controlling the robot system;

2 zwei als führende Objekte verwendete Klammern; 2 two parentheses used as leading objects;

3 eine Betriebssituation des Robotersystems, in der die Orientierungen von führendem und geführtem Objekt nicht übereinstimmen; und 3 an operating situation of the robot system in which the orientations of leading and guided object do not match; and

4 ein Ablaufdiagram für ein Verfahren um die Orientierungen von führendem und geführtem Objekt in Übereinstimmung zu bringen. 4 a flow diagram for a method to bring the orientations of leading and guided object in accordance.

1 zeigt ein Robotersystem sowie eine Vorrichtung zum Steuern des Robotersystems aus der Egoperspektive eines Benutzers. Das Robotersystem ist im vorliegenden Ausführungsbeispiel zur Durchführung minimalinvasiver chirurgischer Eingriffe vorgesehen. Die Erfindung lässt sich aber analog auf andere Einsatzzwecke übertragen. 1 shows a robot system and a device for controlling the robot system from the first-person perspective of a user. The Robot system is provided in the present embodiment for performing minimally invasive surgical procedures. However, the invention can be analogously transferred to other applications.

Das Robotersystem umfasst zumindest einen Roboter, hier drei Roboter 1, 2, 3, die über eine Steuereinheit 4 angesteuert werden. Die Roboter 1 und 2 sind seitlich an einem OP-Tisch befestigt und jeweils mit einem Werkzeug 11, 12 bestückt. Die Werkzeuge 11, 12 sind über kleine Öffnungen in einen Patienten 5 eingeführt, der auf dem OP-Tisch 6 liegt. Die Werkzeuge umfassen jeweils am distalen Ende einen Endeffektor, z. B. für chirurgische Anwendungen geeignete Greifer, Scheren oder Skalpelle. Sie sind mittels der Roboter 1, 2 in einem Roboter-Operationsraum 9, in 1 dargestellt durch ein kartesisches Koordinatensystem mit Achsen x', y', z', bewegbar.The robot system comprises at least one robot, here three robots 1 . 2 . 3 that have a control unit 4 be controlled. The robots 1 and 2 are attached to the side of an operating table and each with a tool 11 . 12 stocked. The tools 11 . 12 are over small openings in a patient 5 introduced on the operating table 6 lies. The tools each include an end effector at the distal end, e.g. B. suitable for surgical applications grippers, scissors or scalpels. They are by means of the robot 1 . 2 in a robotic operating room 9 , in 1 represented by a Cartesian coordinate system with axes x ', y', z ', movable.

Der dritte Roboter 3 ist an einem oberhalb des Tisches 6 an die Decke angebrachten Rahmen 7 befestigt und mit einer Kamera 10, insbesondere einer Stereokamera, bestückt. Die Kamera 10 ist ebenfalls über eine Öffnung in den Patienten 5 eingeführt. Sie ist derart ausgerichtet, dass sie die im Körperinneren befindlichen Endeffektoren aufzeichnet.The third robot 3 is at one above the table 6 frame attached to the ceiling 7 attached and with a camera 10 , in particular a stereo camera, equipped. The camera 10 is also about an opening in the patient 5 introduced. It is oriented to record the in-body end-effectors.

Das Koordinatensystem x', y', z' des Roboter-Operationsraums 9 kann in Bezug auf den OP-Tisch 6 fest sein, es kann aber auch in Bezug auf die Kamera 10 definiert und mit dieser in Bezug auf den OP-Tisch 6 und den Körper des Patienten 4 beweglich sein.The coordinate system x ', y', z 'of the robot operating room 9 can in terms of the operating table 6 be firm, but it may also be in relation to the camera 10 defined and with this in relation to the operating table 6 and the patient's body 4 be mobile.

Das von der Kamera 10 aufgezeichnete Bild des Roboter-Operationsraums 9 wird auf einem vorzugsweise 3D-fähigen Display 8 angezeigt. Hierzu kann das Bildsignal von der Kamera 10 über die Steuereinheit 4 an das Display 8 gesendet werden. Im Blickfeld der Kamera liegen die Endeffektoren 23, 24 der Werkzeuge 11, 12, hier Greifer mit je zwei um eine Achse gegeneinander und relativ zu einem Schaft des Werkzeugs 11 bzw. 12 schwenkbaren Backen 25.That from the camera 10 recorded image of the robotic operating room 9 is on a preferably 3D-capable display 8th displayed. For this, the image signal from the camera 10 via the control unit 4 to the display 8th be sent. In the field of vision of the camera are the end effectors 23 . 24 the tools 11 . 12 , here grippers with two each about an axis against each other and relative to a shank of the tool 11 respectively. 12 swiveling jaws 25 ,

Das Display 8 ist für den Benutzer des Robotersystems, z. B. den Chirurgen, vorgesehen, damit dieser den chirurgischen Eingriff im Körperinneren des Patienten 5 überwachen und steuern kann.the display 8th is for the user of the robot system, z. As the surgeon, provided so that this surgery in the interior of the patient 5 monitor and control.

Zur Steuerung der Roboter 1, 2, 3 umfasst das Robotersystem zumindest ein führendes Objekt 13, 14, dessen Bewegungen von der Steuereinheit 4 erfasst werden, um entsprechende Bewegungen mit geführten Objekten 23, 24, insbesondere den Endeffektoren der Werkzeuge 11, 12, nachzubilden.For controlling the robots 1 . 2 . 3 the robot system comprises at least one leading object 13 . 14 whose movements from the control unit 4 be detected to appropriate movements with guided objects 23 . 24 , in particular the end effectors of the tools 11 . 12 to replicate.

Als führendes Objekt 13, 14 kann ein beliebiger von Hand beweg- und orientierbarer Gegenstand, hier z. B. ein Joystick oder eine Klammer 13 verwendet werden, aber auch die Hand 14 eines Benutzers selber kann als führendes Objekt genutzt werden; je nach Art des führenden Objekts 13, 14 kann die Steuereinheit 4 mit unterschiedlichen Mitteln zum Erfassen von Position und Orientierung des führenden Objekts 13, 14 zusammenwirken.As a leading object 13 . 14 can any hand-movable and orientable object, here z. As a joystick or a clip 13 be used, but also the hand 14 a user himself can be used as a leading object; depending on the type of leading object 13 . 14 can the control unit 4 with different means for detecting the position and orientation of the leading object 13 . 14 interact.

1 zeigt als führende Objekte beispielsweise zwei Klammern 13 in den Händen 14 des Benutzers; eine der Klammern 13 steuert das Werkzeug 11 und die andere das Werkzeug 12. 1 For example, as leading objects, it shows two parentheses 13 in the hands 14 the user; one of the brackets 13 controls the tool 11 and the other the tool 12 ,

Die Klammern 13 sind, wie in 2 genauer gezeigt, spiegelbildlich zueinander ausgebildet und umfassen jeweils zwei Backen 15, 16, die über ein Scharnier 17 schwenkbar miteinander verbunden sind, um den Aufbau der Werkzeuge 11, 12 mit ihren gegeneinander schwenkbaren Backen 25 nachzubilden. Die Backen 15, 16 der Klammern 13 sind an ihren Außenseiten unterschiedlich geformt, so dass der Backen 15 jeweils mit einem Zeigefinger und der Backen 16 mit einem Daumen bequem zu handhaben ist, während die übrigen Finger einen Griff 18 der Klammer 13 umgreifen. Auf diese Weise ist eine Zuordnung der beiden Klammern 13 zu den Händen 14 des Benutzers vorgegeben, und es ist auf einfache Weise sichergestellt, dass der Benutzer diejenige Klammer 13, die das aus der Blickrichtung der Kamera 10 linke Werkzeug 12 steuert, in die linke Hand 14 und die dem aus Sicht der Kamera 10 rechten Werkzeug 11 zugeordnete Klammer 13 in die rechte Hand nehmen wird.The brackets 13 are, as in 2 shown in more detail, mirror images of each other and each comprise two jaws 15 . 16 that have a hinge 17 pivotally connected to each other to build the tools 11 . 12 with their mutually pivoting jaws 25 replicate. The cheeks 15 . 16 the brackets 13 are shaped differently on their outsides, allowing the baking 15 each with an index finger and the jaws 16 with one thumb is comfortable to handle, while the remaining fingers a handle 18 the bracket 13 embrace. This is an assignment of the two parentheses 13 to the hands 14 given the user, and it is easily ensured that the user the one parenthesis 13 that's from the direction of the camera 10 left tool 12 controls, in the left hand 14 and the one from the perspective of the camera 10 right tool 11 associated bracket 13 in the right hand will take.

Die Position des führenden Objekts im Handhabungsraum 19 wird durch einen Referenzpunkt definiert. Als Referenzpunkt kann im Prinzip ein beliebiger Punkt an einer Klammer 13 ausgewählt werden; hier wird der Fall betrachtet, dass der Referenzpunkt 20 der Schnittpunkt der Achse des Scharniers 17 mit einer Oberseite der Klammer 13 ist. Die Lage bzw. die Orientierung der Klammer 13 in einem Hand-Operationsraum 19, veranschaulicht durch ein kartesisches Koordinatensystem mit den Achsen x, y und z, ist eindeutig definiert durch die Koordinaten des Referenzpunktes 20 und zwei Referenzrichtungen 21, 22. Auch diese sind grundsätzlich willkürlich wählbar; vorzugsweise verlaufen die beiden Referenzrichtungen jedoch senkrecht zueinander, so dass die Haupt- und Nebenreferenzrichtung entsprechend der ersten und zweiten Achse eines kartesischen Koordinatensystems orientiert sind. Im betrachteten Fall ist die Hauptreferenzrichtung 21 die Winkelhalbierende eines von den Backen 15, 16 aufgespannten Winkels φ, und eine Nebenreferenzrichtung 22 erstreckt sich vom Referenzpunkt 20 aus entlang der Achse des Scharniers 17 in vom Griff 18 abgewandter Richtung senkrecht zur Hauptreferenzrichtung 21.The position of the leading object in the handling room 19 is defined by a reference point. As a reference point, in principle, any point on a bracket 13 to be selected; here the case is considered that the reference point 20 the intersection of the axis of the hinge 17 with a top of the bracket 13 is. The position or orientation of the clamp 13 in a hand operation room 19 , illustrated by a Cartesian coordinate system with the axes x, y and z, is uniquely defined by the coordinates of the reference point 20 and two reference directions 21 . 22 , These too are basically arbitrary; Preferably, however, the two reference directions are perpendicular to each other, so that the main and secondary reference directions are oriented according to the first and second axes of a Cartesian coordinate system. In the case considered, the main reference direction 21 the bisector of one of the jaws 15 . 16 spanned angle φ, and a secondary reference direction 22 extends from the reference point 20 out along the axis of the hinge 17 in the handle 18 opposite direction perpendicular to the main reference direction 21 ,

Dem Referenzpunkt 20 der Klammern 13 entspricht jeweils ein Referenzpunkt 29 auf der Achse der Backen 25 der Werkzeuge 11, 12 (s. 3). Analog zu den Referenzrichtungen 21 und 22 werden, wie später näher erläutert, die Orientierung eines Endeffektors 23, 24 beschreibende Haupt- und Nebenreferenzrichtungen 27, 28 bestimmt, die mit den Referenzrichtungen 21 und 22 korrespondieren. D. h. im Falle des vorliegenden Ausführungsbeispiels, dass in Analogie zu der Hauptreferenzrichtung 21 einer Klammer 13 die Hauptreferenzrichtung 27 des entsprechenden Endeffektors 23, 24 ebenfalls durch die Winkelhalbierende der Backen 25 verläuft und dass in Analogie zu der Nebenreferenzrichtung 22 einer Klammer 13 die Nebenreferenzrichtung 28 des entsprechenden Endeffektors 23, 24 entlang der Schwenkachse der Backen 25 verläuft, wobei beide Referenzrichtungen 27 und 28 senkrecht zueinander verlaufen, so dass auch die Haupt- und Nebenreferenzrichtung 27 und 28 ebenfalls entsprechend der ersten und zweiten Achse eines kartesischen Koordinatensystems orientiert sind.The reference point 20 the brackets 13 each corresponds to a reference point 29 on the axis the baking 25 the tools 11 . 12 (S. 3 ). Analogous to the reference directions 21 and 22 become, as explained in more detail later, the orientation of an end effector 23 . 24 descriptive major and minor reference directions 27 . 28 determined with the reference directions 21 and 22 correspond. Ie. in the case of the present embodiment, that in analogy to the main reference direction 21 a clamp 13 the main reference direction 27 the corresponding end effector 23 . 24 also through the bisector of the jaws 25 runs and that in analogy to the secondary reference direction 22 a clamp 13 the secondary reference direction 28 the corresponding end effector 23 . 24 along the pivot axis of the jaws 25 runs, with both reference directions 27 and 28 perpendicular to each other, so that the main and secondary reference direction 27 and 28 are also oriented according to the first and second axes of a Cartesian coordinate system.

Eine Kamera 26 ist mit der Steuereinheit 4 verbunden und überwacht den Hand-Operationsraum 19, um Position und/oder Orientierung der Klammern 13 zu erfassen.A camera 26 is with the control unit 4 Connects and monitors the hand operation room 19 to position and / or orientation of the brackets 13 capture.

In den Klammern 13 können Sensoren verbaut sein, die anstelle der Kamera 26 oder im Zusammenwirken mit dieser zur Erfassung von Bewegungen der Klammern 13 dienen. Der Winkel φ kann mittels eines in der Klammer 13 verbauten Winkelsensors erfasst werden. Die Schwenkbewegungen der Hände können durch Beschleunigungssensoren, elektromagnetische Sensoren und/oder Gyrosensoren erfasst werden. Messsignale dieser Sensoren werden an die Steuereinheit 4 über ein Kabel oder auch schnurlos, z. B. über eine NFC-Schnittstelle übermittelt. Die Information über die Position bzw. die Positionsveränderung des Referenzpunktes 20 der Klammer 13 im Handhabungsraum 19 wird durch die Kamera 26 geliefert.In the brackets 13 Sensors can be installed instead of the camera 26 or in conjunction with this to detect movements of the brackets 13 serve. The angle φ can by means of one in the bracket 13 built angle sensor can be detected. The pivoting movements of the hands can be detected by acceleration sensors, electromagnetic sensors and / or gyro sensors. Measurement signals from these sensors are sent to the control unit 4 via a cable or cordless, z. B. transmitted via an NFC interface. The information about the position or the position change of the reference point 20 the bracket 13 in the handling room 19 is through the camera 26 delivered.

Die Steuereinheit 4 steuert daraufhin die Endeffektoren 23, 24 entsprechend an, so dass diese in der im Display 8 gezeigten Perspektive die Bewegungen des Benutzers nachzubilden scheinen. D. h. schwenkt der Benutzer seine Hand 14 zu sich her, so schwenkt der Endeffektor 23 oder 24 quasi aus dem Display 8 heraus. Schwenkt der Benutzer seine Hand von sich weg, so schwenkt der Endeffektor in das Display 8 hinein.The control unit 4 then controls the end effectors 23 . 24 accordingly, so that these are in the display 8th perspective that seems to replicate the user's movements. Ie. the user pans his hand 14 to itself, so pivots the end effector 23 or 24 almost from the display 8th out. When the user swings his hand away, the end effector swings into the display 8th into it.

Wenn die Steuereinheit 4 über geeignete Bildauswertungssoftware z. B. in Form einer Gestenerkennung verfügt, könnte die Kamera 26 auch unmittelbar die Hände 14 des Benutzers überwachen, wobei dann Daumen und Zeigefinger die Funktionen der Backen 16 bzw. 15 übernehmen; die Klammern 13 könnten dann entfallen und die Hand 14 des Benutzers wäre selbst das führende Objekt.If the control unit 4 via suitable image evaluation software z. B. in the form of a gesture recognition, the camera could 26 also immediately hands 14 monitor the user's thumb and forefinger then the functions of baking 16 respectively. 15 take; the brackets 13 could then be dropped and the hand 14 the user would be the leading object.

Analog zu den Klammern 13 würden zu den jeweiligen Händen 14 ein entsprechender Referenzpunkt 20 sowie eine Haupt- und Nebenreferenzrichtung 21, 22 definiert. Beispielsweise könnte das Handgelenk oder ein Fingergelenk als Scharnier 17 interpretiert werden.Analogous to the parentheses 13 would become the respective hands 14 a corresponding reference point 20 and a major and minor reference direction 21 . 22 Are defined. For example, the wrist or a finger joint could be considered a hinge 17 be interpreted.

In dem in 1 dargestellten aktiven Modus der Steuereinheit stimmt die Orientierung der Referenzrichtungen 21, 22 im Koordinatensystem x, y, z des Hand-Operationsraums 19 mit der Orientierung einer Hauptreferenzrichtung 27, hier der Winkelhalbierenden des von den Backen 25 aufgespannten Winkels φ', bzw. einer Nebenreferenzrichtung 28 (s. 3), der Richtung der Schwenkachse der Backen 25, im Koordinatensystem x', y', z' des Roboter-Operationsraums 9 überein. Die Nebenreferenzrichtungen sind in 1 nicht erkennbar, da sie in Blickrichtung des Benutzers liegen. Die Steuereinheit 4 erfasst jede Änderung der Position und/oder Orientierung der Klammern 13, um die Endeffektoren 23, 24 entsprechend nachzuführen. Sie erfasst auch den Winkel φ zwischen den Backen 15, 16 der Klammern 13, um den Winkel φ' an den Endeffektoren 23, 24 daran anzugleichen. So wird beim Benutzer der Eindruck erweckt, als führte bzw. hielte er die Werkzeuge 11, 12 mit bzw. in seinen eigenen Händen. Ein Zusammendrücken von Daumen und Zeigefinger z. B. der rechten Hand schließt die rechte Klammer 13 und bewirkt, dass die Backen 25 des Endeffektors 23 sich aufeinander zu bewegen und ggf. einen dazwischen liegenden Gegenstand greifen. Ein Schwenken des rechten Handgelenks lässt den gesamten Endeffektor 23 um seine Scharnierachse schwenken, und eine Drehung der Hand 14 um eine in Richtung des Unterarms verlaufende Achse wird umgesetzt als Drehung des Schafts des Werkzeugs 11 um seine Längsachse.In the in 1 shown active mode of the control unit tunes the orientation of the reference directions 21 . 22 in the coordinate system x, y, z of the hand operating room 19 with the orientation of a main reference direction 27 , here the bisector of the cheeks 25 spanned angle φ ', or a secondary reference direction 28 (S. 3 ), the direction of the pivot axis of the jaws 25 , in the coordinate system x ', y', z 'of the robot operating room 9 match. The secondary reference directions are in 1 not recognizable, since they are in the direction of the user. The control unit 4 detects any change in the position and / or orientation of the brackets 13 to the end-effectors 23 . 24 nachzuführen accordingly. It also detects the angle φ between the jaws 15 . 16 the brackets 13 to the angle φ 'at the end effectors 23 . 24 to match. This gives the user the impression that he is holding or holding the tools 11 . 12 with or in his own hands. A squeezing of the thumb and forefinger z. B. the right hand closes the right bracket 13 and causes the cheeks 25 of the end effector 23 to move towards each other and possibly grab an object in between. Panning the right wrist leaves the entire end effector 23 pivot about its hinge axis, and one turn of the hand 14 about an axis extending in the direction of the lower arm is converted as rotation of the shaft of the tool 11 around its longitudinal axis.

Da, wie zuvor beschrieben, zwischen den Orientierungen und Betätigungsstellungen der Endeffektoren 23, 24 eine aus Sicht des Benutzers visuelle Korrelation mit seinen manuellen Vorgaben besteht, wird eine derartige Steuerung von einem Benutzer als intuitiv empfunden. Allerdings können Situationen eintreten, in denen die Orientierung und/oder die Betätigungsstellung zumindest eines Endeffektors nicht mit der Vorgabe der Hand übereinstimmt, so dass die gewünschte visuelle Korrelation nicht gegeben ist. In 3 ist eine Situation gezeigt, in der sowohl die Hauptreferenzrichtung 27 des rechten Endeffektors 23, die aus der Ebene des Displays 8 hinaus zum Benutzer hin orientiert ist, als auch die Nebenreferenzrichtung, hier mit 28 bezeichnet, deutlich von der Blickrichtung des Benutzers abweicht, obwohl die rechte Klammer 13 genauso orientiert ist wie in 1 gezeigt.Since, as described above, between the orientations and actuation positions of the end effectors 23 . 24 If, from the user's point of view, there is a visual correlation with its manual defaults, such a control is perceived by a user as intuitive. However, situations may occur in which the orientation and / or the actuation position of at least one end effector does not coincide with the specification of the hand, so that the desired visual correlation is not given. In 3 is shown a situation in which both the main reference direction 27 of the right end effector 23 coming from the level of the display 8th out to the user, as well as the secondary reference direction, here with 28 clearly different from the line of sight of the user, although the right bracket 13 Oriented as well as in 1 shown.

Solche Situationen ergeben sich beispielsweise, wenn der Benutzer den Betrieb mit dem Robotersystem aufnimmt. Solange das Robotersystem ausgeschaltet oder inaktiv ist, können die Klammern 13 beliebig bewegt werden, ohne dass dies Auswirkungen auf die Werkzeuge 11, 12 hat. Daher können in dem Moment, in dem das Robotersystem aktiv wird, die Orientierungen von Haupt- und Nebenreferenzrichtungen der Klammern 13 und der Endeffektoren 23, 24 beliebig voneinander abweichen.Such situations arise, for example, when the user starts operating with the Robot system receives. As long as the robot system is off or inactive, the brackets can 13 can be moved freely without affecting the tools 11 . 12 Has. Therefore, at the moment the robot system becomes active, the orientations of major and minor reference directions of the parentheses may be determined 13 and the end effectors 23 . 24 may differ from one another.

Um daher die Orientierung des rechten Endeffektors 23, wie sie für den Benutzer im Display 8 ersichtlich ist, in eine aus der Sicht des Benutzers korrespondierende Orientierung der als führendes Objekt fungierenden rechten Klammer 13 zu überführen, schlägt die vorliegende Erfindung nachfolgendes Verfahren vor, dessen einzelne Verfahrensschritte in 4 gezeigt sind. Das Verfahren wird von der Steuereinheit 4 ausgeführt. Das Verfahren kann zur Herstellung einer Übereinstimmung zwischen den Orientierungen des linken Endeffektors 24 und der linken Klammer 13 analog angewandt werden. Ebenso kann das Verfahren anstatt auf die Klammern 13 analog auf die rechte und linke Hand 14 eines Benutzers als führendes Objekt angewandt werden. Der einfacheren Verständlichkeit halber wird das Verfahren im Folgenden am Beispiel der rechten Klammer 13 als führendes Objekt und des rechten Endeffektors 23 als geführtes Objekt erläutert.Therefore, the orientation of the right end effector 23 as they are for the user in the display 8th it can be seen in a corresponding from the user's perspective orientation of acting as a leading object right bracket 13 to convert, the present invention proposes the following method, the individual steps in 4 are shown. The procedure is performed by the control unit 4 executed. The method may be used to establish a match between the orientations of the left end effector 24 and the left bracket 13 be applied analogously. Likewise, the procedure may take place on the brackets 13 analogous to the right and left hand 14 of a user as a leading object. For the sake of clarity, the method is described below using the example of the right-hand bracket 13 as a leading object and the right end effector 23 explained as a guided object.

Es wird davon ausgegangen, dass sich die Steuereinheit 4 zu Beginn des Verfahrens in einem inaktiven Zustand befindet, d. h. die Bewegungen der Klammer 13 haben keine Auswirkungen auf das geführte Objekt, also auf den Endeffektor 23. Im ersten Schritt S1 ermittelt die Steuereinheit 4 die Orientierung des Endeffektors 23. Hierzu werden ein den Referenzpunkt 29 beschreibender Ortsvektor r'29, ein die Hauptreferenzrichtung 27 beschreibender Hauptreferenzvektor h'27 und ein die Nebenreferenzrichtung 28 beschreibender Nebenreferenzvektor n'28, welche die Orientierung bestimmen, in Bezug auf das Koordinatensystem x', y', z' des Roboter-Operationsraums 9 ermittelt. Die dafür notwendigen Informationen können aus den von der Kamera 10 gelieferten Bilddaten oder aus den ohnehin in der Steuereinheit 4 vorliegenden Steuerdaten zur Steuerung des Endeffektors 23 gewonnen werden.It is assumed that the control unit 4 at the beginning of the process is in an inactive state, ie the movements of the bracket 13 have no effect on the guided object, ie on the end effector 23 , In the first step S1, the control unit determines 4 the orientation of the end effector 23 , This will be the reference point 29 descriptive position vector r'29, a main reference direction 27 descriptive main reference vector h'27 and a sub reference direction 28 descriptive sub-reference vector n'28, which determine the orientation with respect to the coordinate system x ', y', z 'of the robot operating room 9 determined. The necessary information can be obtained from the camera 10 delivered image data or from the anyway in the control unit 4 present control data for controlling the end effector 23 be won.

Im nachfolgenden Schritt S2 ermittelt die Steuereinheit 4 die Orientierung der Klammer 13. Hierzu werden ein den Referenzpunkt 20 beschreibender Ortsvektor r20, ein die Hauptreferenzrichtung 21 beschreibender Hauptreferenzvektor h21 und ein die Nebenreferenzrichtung 22 beschreibender Nebenreferenzvektor n22, welche die Orientierung bestimmen, in Bezug auf das Koordinatensystem x, y, z des Hand-Operationsraums 19 ermittelt. Die dafür notwendigen Informationen können aus den von der Kamera 26 gelieferten Bilddaten und/oder aus den Sensordaten eines in der Klammer 13 verbauten Sensors gewonnen werden.In the following step S2, the control unit determines 4 the orientation of the bracket 13 , This will be the reference point 20 descriptive location vector r20, a main reference direction 21 descriptive main reference vector h21 and a sub reference direction 22 descriptive sub-reference vector n22 which determine the orientation with respect to the coordinate system x, y, z of the hand-operating room 19 determined. The necessary information can be obtained from the camera 26 supplied image data and / or from the sensor data one in the parenthesis 13 built sensor can be obtained.

Optional werden der einfacheren Ausführbarkeit des Verfahrens halber die Haupt- und Nebenreferenzvektoren h'27, n'28, h21 und n22 zu Einheitsvektoren durch die Steuereinheit 4 normiert.Optionally, for ease of execution of the method, the main and sub-reference vectors h'27, n'28, h21 and n22 become unit vectors by the control unit 4 normalized.

Die Steuereinheit 4 hat Zugriff auf eine Transformationsmatrix, die einen Richtungsvektor im Hand-Operationsraum 19 wie etwa h21, n22 in einen Bildvektor h'21, n'22 im Roboter-Operationsraum 9 oder umgekehrt einen Richtungsvektor wie h'27, n'28 im Roboter-Operationsraum 9 in einen Bildvektor h27, n28 im Hand-Operationsraum 19 transformiert. Diese Transformationsmatrix kann vorab unter Berücksichtigung der Position der Kamera 10 im Roboter-Operationsraum 9 ermittelt sein. Im einfachsten Fall sind die Achsen x, y, z und x', y', z' der beiden Koordinatensysteme richtungsgleich, und die Transformationsmatrix ist die Einheitsmatrix.The control unit 4 has access to a transformation matrix containing a directional vector in the hand-operated space 19 such as h21, n22 into an image vector h'21, n'22 in the robot operating room 9 or conversely, a direction vector such as h'27, n'28 in the robot operating room 9 into an image vector h27, n28 in the hand operation room 19 transformed. This transformation matrix can be made in advance, taking into account the position of the camera 10 in the robotic operating room 9 be determined. In the simplest case, the axes x, y, z and x ', y', z 'of the two coordinate systems are the same direction, and the transformation matrix is the unit matrix.

Die Steuereinheit 4 berechnet mittels der Transformationsmatrix im Roboter-Operationsraum 9 einen Hauptreferenzvektor h'21 und einen Nebenreferenzvektor n'22, die dem Hauptreferenzvektor h21 und dem Nebenreferenzvektor n22, welche die Orientierung der rechten Klammer 13 im Hand-Operationsraum 19 beschreiben, entsprechen. D. h. die Steuereinheit 4 ermittelt zu der Hauptreferenzrichtung 21 und der Nebenreferenzrichtung 22 die zugehörige Bildrichtung, so dass die Haupt- und Nebenreferenzrichtung des rechten Endeffektors 23 und die Haupt- und Nebenreferenzrichtung der rechten Klammer 13 in einem gemeinsamen Raum, hier dem Roboter-Operationsraum 9, vorliegen.The control unit 4 calculated by means of the transformation matrix in the robot operating room 9 a main reference vector h'21 and a sub-reference vector n'22, which are the main reference vector h21 and the sub-reference vector n22, which show the orientation of the right bracket 13 in the hand operation room 19 describe, correspond. Ie. the control unit 4 determined to the main reference direction 21 and the sub-reference direction 22 the associated image direction, so that the main and secondary reference direction of the right end effector 23 and the major and minor reference directions of the right bracket 13 in a common room, here the robotic operating room 9 , present.

Optional werden der einfacheren Ausführbarkeit des Verfahrens halber die Haupt- und Nebenreferenzvektoren h'21, n'22, h'27 und n'28, zu Einheitsvektoren durch die Steuereinheit 4 normiert.Optionally, for the sake of simplicity of operation, the main and sub-reference vectors h'21, n'22, h'27 and n'28 become unit vectors by the control unit 4 normalized.

In Schritt S3 berechnet die Steuereinheit 4 eine Rotationsmatrix T, die den Hauptreferenzvektor h'27 und den Nebenreferenzvektor n'28 des Endeffektors 23 in den Hauptreferenzvektor h'21 und Nebenreferenzvektor n'22 der Klammer 13 transformiert. Aus dieser Matrix T wird wiederum eine Achse, um die die Vektoren h'27, n'28 gedreht werden müssen, um sie in die Vektoren h'21, n'22 zu transformieren, und der Winkel α dieser Drehung, im folgenden auch als Korrekturwinkel bezeichnet, berechnet.In step S3, the control unit calculates 4 a rotation matrix T containing the main reference vector h'27 and the sub-reference vector n'28 of the end effector 23 into the main reference vector h'21 and sub-reference vector n'22 of the bracket 13 transformed. From this matrix T, an axis about which the vectors h'27, n'28 must be rotated in order to transform them into the vectors h'21, n'22, and the angle α of this rotation, again in the following as Correction angle, calculated.

In Schritt S4 überprüft die Steuereinheit 4, wie stark die Orientierungen der Klammer 13 und des mit der Klammer 13 zu führenden Endeffektors 23 voneinander abweichen. Dazu vergleicht die Steuereinheit in Schritt S3 den Korrekturwinkel α mit einem Schwellwert c, z. B. ein Winkel zwischen 0 und 90°.In step S4, the control unit checks 4 how strong the orientations of the bracket 13 and with the clip 13 to leading end effector 23 differ from each other. For this purpose, the control unit compares the correction angle α in step S3 with a threshold value c, z. B. an angle between 0 and 90 °.

Ist der Korrekturwinkel α größer als der Schwellwert c, so kehrt das Verfahren zu Schritt S2 zurück und das Robotersystem verhält sich weiter inaktiv und bewegt den Endeffektor 23 nicht. If the correction angle α is greater than the threshold value c, the method returns to step S2 and the robot system continues to behave inactive and moves the end effector 23 Not.

Wenn der Korrekturwinkel α den Schwellwert c unterschreitet, dann schaltet die Steuereinheit 4 das Robotersystem in den aktiven Zustand, in dem der Endeffektor 23 den Steuervorgaben des Benutzers in der nachfolgend beschriebenen Weise folgt.If the correction angle α falls below the threshold value c, then the control unit switches 4 the robot system in the active state in which the end effector 23 follows the user's control preferences in the manner described below.

Eine Überprüfung des Korrekturwinkels α kann auch im aktiven Zustand regelmäßig wiederholt werden, um eine Störung (beispielsweise aufgrund eines Signalübertragungsfehlers oder einer mechanischen Blockade) zu erkennen und dann das Robotersystem zurück in den inaktiven Zustand zu versetzen. Der Schwellwert c ist bei dieser Überprüfung im aktiven Zustand kleiner als in Schritt S3.A check of the correction angle α can also be regularly repeated in the active state in order to detect a malfunction (for example due to a signal transmission error or a mechanical blockade) and then to return the robot system to the inactive state. The threshold value c is smaller in this check in the active state than in step S3.

Um den aktiven Zustand im Störungsfall jederzeit abbrechen zu können, kann ferner ein Bedienelement wie etwa ein Pedal mit der Steuereinheit 4 verbunden sein, und die Steuereinheit 4 hält den aktiven Zustand nur so lange aufrecht, wie das Bedienelement vom Benutzer betätigt ist.In order to be able to cancel the active state at any time in the event of a fault, an operating element, such as a pedal, may also be provided with the control unit 4 be connected, and the control unit 4 maintains the active state only as long as the control is operated by the user.

In Schritt S5 wird eine Korrekturschrittweite δα festgelegt. Sie kann ein ganzzahliger Bruchteil α/n des Korrekturwinkels α oder ein von α unabhängiger Wert sein. Er kann in der Steuereinheit 4 einprogrammiert sein oder vom Benutzer frei vorgegeben werden.In step S5, a correction step size δα is set. It can be an integer fraction α / n of the correction angle α or a value independent of α. He can in the control unit 4 be programmed or freely specified by the user.

Im Schritt S6 wird eine vom Benutzer geführte Bewegung der Klammer 13 mittels der Kamera 26 und/oder der Sensoren der Klammer 13 erfasst. Die Steuereinheit 4 zerlegt die erfasste Bewegung in Translation und Rotation, d. h. es werden ein Translationsvektor, der Anfangs- und Endpunkt der Bewegung des Referenzpunkts 20 im Hand-Operationsraum 19 verbindet, sowie Achsrichtung und Winkel der Rotation ermittelt.In step S6, a user-guided movement of the bracket is performed 13 by means of the camera 26 and / or the sensors of the bracket 13 detected. The control unit 4 decomposes the detected motion into translation and rotation, ie it becomes a translation vector, the beginning and ending point of the movement of the reference point 20 in the hand operation room 19 connects, and axis direction and angle of rotation determined.

Der Translationsvektor wird mit Hilfe der Transformationsmatrix in einen Bildvektor im Roboter-Operationsraum 9 umgerechnet, und der Referenzpunkt 29 des Endeffektors 23 wird in der von diesem Bildvektor bezeichneten Richtung um eine seiner Länge entsprechende Strecke bewegt. Es gibt somit keine feste Entsprechung zwischen Punkten des Hand-Operationsraum 19 und des Roboter-Operationsraums 9 in dem Sinne, dass wenn der Referenzpunkt 20 sich an einem gegebenen Punkt des Raums 19 befindet, der Referenzpunkt 29 an einen diesem Punkt zugeordneten Bildpunkt des Raums 9 gefahren wird. Dies gibt dem Benutzer die Möglichkeit, Bewegungen des Endeffektors 23 über große Entfernungen oder mit hoher Auflösung zu steuern, indem er, wenn er mit der Klammer 13 eine Grenze des Hand-Operationsraums 19 erreicht hat, den aktiven Zustand kurz unterbricht, um die Klammer 13 entgegen der gewünschten Bewegungsrichtung des Endeffektors 23 von der Grenze fortzubewegen, und anschließend den aktiven Zustand wieder herzustellen, um die Bewegung des Endeffektors 23 in der gewünschten Richtung fortzusetzen.The translation vector is transformed into an image vector in the robot operating room with the aid of the transformation matrix 9 converted, and the reference point 29 of the end effector 23 is moved in the direction indicated by this image vector by a distance corresponding to its length. There is thus no fixed correspondence between points of the hand operating room 19 and the robotic operating room 9 in the sense that if the reference point 20 yourself at a given point in the room 19 located, the reference point 29 to a pixel of the room assigned to this point 9 is driven. This gives the user the ability to move the end effector 23 steer it over long distances or with high resolution, when he is using the brace 13 a border of the hand operation room 19 has reached, the active state briefly interrupts to the clip 13 against the desired direction of movement of the end effector 23 move from the boundary, and then restore the active state to the movement of the end effector 23 continue in the desired direction.

In Schritt S7 wird das Ausmaß der Rotation der Klammer 13 seit einem Referenzzeitpunkt, zunächst dem Zeitpunkt des Übergangs in den aktiven Zustand, ermittelt. Dazu wird z. B. das Kreuzprodukt zwischen dem Hauptreferenzvektor h₀21 zum Referenz-Zeitpunkt und dem aktuellen Hauptreferenzvektor h(t)21 berechnet. Sobald dieses Kreuzprodukt einen Grenzwert ε überschreitet, wird in Schritt S8 der gegenwärtige Zeitpunkt als neuer Referenzzeitpunkt angenommen, der aktuelle Hauptreferenzvektor h(t)21 als neuer Hauptreferenzvektor h₀21 zum Referenz-Zeitpunkt gespeichert.In step S7, the amount of rotation of the bracket 13 since a reference time, initially the time of transition to the active state, determined. This is z. For example, the cross product between the main reference vector h ₀ 21 at the reference time and the current main reference vector h (t) 21 is calculated. As soon as this cross product exceeds a limit ε, the current time is assumed as the new reference time in step S8, the current main reference vector h (t) 21 is stored as the new main reference vector h ₀ 21 at the reference time.

Daraufhin wird der Endeffektor 23 der in Schritt S7 erfassten Rotation der Klammer 13 nachgeführt, wobei der nachzuführende Bewegungsanteil der Rotation um die Korrekturschrittweite δα korrigiert wird, so dass sich nach der Rotation zwischen den Referenzvektoren von Endeffektor und Klammer ein um die Korrekturschrittweite δα reduzierter Korrekturwinkel α einstellt. D. h. während die Translation des Endeffektors 23 die erfasste Translation der Klammer 13 genau nachbildet, weichen Ausmaß und Achse der erfassten Rotation der Klammer 13 und der gesteuerten Rotation des Endeffektors geringfügig voneinander ab, und zwar so, dass die Orientierung des Endeffektors der Orientierung der Klammer angenähert wird. Je nach Ausgangslage der Referenzvektoren von Klammer und Endeffektor und der erfassten Rotationsrichtung der Klammer 13 kann das Ausmaß der tatsächlichen Rotation des Endeffektors um die Korrekturschrittweite δα größer oder kleiner als das Ausmaß der erfassten Rotation der Klammer sein.Then the end effector 23 the rotation of the bracket detected in step S7 13 tracked, wherein the nachzuführende motion component of the rotation is corrected by the correction step size δα, so that adjusts to the rotation between the reference vectors of the end effector and bracket reduced by the correction step size δα correction angle α. Ie. during the translation of the end effector 23 the detected translation of the bracket 13 exactly simulates, soft extent and axis of the detected rotation of the bracket 13 and the controlled rotation of the end effector slightly apart, such that the orientation of the end effector approximates the orientation of the staple. Depending on the initial position of the reference vectors of clamp and end effector and the detected rotation direction of the clamp 13 For example, the amount of actual rotation of the end effector about the correction pitch δα may be greater or less than the extent of the detected rotation of the bracket.

Wenn in Schritt S9 festgestellt wird, dass der Korrekturwinkel α noch nicht Null ist, kehrt das Verfahren zu Schritt S6 zurück, anderenfalls ist die Richtungsübereinstimmung von Klammer 13 und Endeffektor 23 hergestellt, und das Verfahren endet.If it is determined in step S9 that the correction angle α is not yet zero, the process returns to step S6, otherwise the directional match is parenthesis 13 and end effector 23 produced, and the process ends.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Roboterrobot
22: Roboterrobot
33: Roboterrobot
44: Steuereinheitcontrol unit
55: Patientpatient
66: OP-TischOperating table
77: Rahmenframe
88th: Displaydisplay
99: Roboter-OperationsraumRobot operating room
1010: Kameracamera
1111: WerkzeugTool
1212: WerkzeugTool
1313: Klammer (Führendes Objekt)Staple (leading object)
1414: Hand (Führendes Objekt)Hand (leading object)
1515: Backento bake
1616: Backento bake
1717: Scharnierhinge
1818: GriffHandle
1919: Hand-OperationsraumHand surgery suite
2020: Referenzpunktreference point
2121: HauptreferenzrichtungMain reference direction
2222: NebenreferenzrichtungIn addition to the reference direction
2323: Rechter Endeffektor (Geführtes Objekt)Right Endeffector (Guided Object)
2424: Linker Endeffektor (Geführtes Objekt)Left end effector (guided object)
2525: Backento bake
2626: Kameracamera
2727: HauptreferenzrichtungMain reference direction
2828: NebenreferenzrichtungIn addition to the reference direction
2929: Referenzpunktreference point

Claims

Device for controlling a main reference direction ( 27 ) guided object ( 23 . 24 ) in a first three-dimensional space ( 9 ), the device comprising: - detection means ( 26 ) for detecting a main reference direction ( 21 ) of a leading object ( 13 . 14 ) in a second three-dimensional space ( 19 ), - a control unit ( 4 ) for applying a transformation to one of the main reference directions ( 21 ) in order to 9 ) of the other main reference direction ( 27 , h'27) to obtain an image direction (h'21), and detecting an angle (α) between the image direction (h'21) and the other main reference direction ( 27 , h'27), - wherein the detection means ( 26 ) are further adapted to detect a movement of the leading object ( 13 . 14 ), and - the control unit ( 4 ) with at least one actuator ( 1 . 2 . 3 ) for moving the guided object ( 23 . 24 ) is connectable and arranged, the angle (α) between the image direction (h'21) and the other main reference direction ( 27 , h'27) as the movement of the leading object ( 13 . 14 ) gradually decrease.

Device according to claim 1, characterized in that the control unit ( 4 ), a detected movement of the leading object ( 13 . 14 ) into a translation of a reference point ( 20 ) of the leading object ( 13 . 14 ) and a rotation of the main reference direction ( 21 ) and the angle (α) between the image direction (h'21) and the other main reference direction ( 27 , h'27) depending on the extent of the rotation.

Device according to claim 2, characterized in that the control unit ( 4 ), a reference point ( 29 ) of the guided object ( 23 . 24 ) according to the detected translation.

Device according to claim 2 or 3, characterized in that the control unit ( 4 ) is arranged to disregard the translation when reducing the angle (α).

Device according to one of the preceding claims, characterized in that the control unit ( 4 ), the angle (α) between the image direction (h'21) and the other main reference direction ( 27 , h'27) with a limit value (c) and a switch from an inactive state, in which a movement of the leading object ( 13 . 14 ) without effect on the guided object ( 23 . 24 ) is in an active state, in which the control unit ( 4 ) a movement of the guided object ( 23 . 24 ) according to the movement of the leading object ( 13 . 14 ) controls to allow only if it falls below the limit (c).

Device according to one of the preceding claims, characterized in that the detection means ( 26 ) are further arranged, a secondary reference direction ( 22 ) of the leading object ( 13 . 14 ) and as the movement of the leading object progresses ( 13 . 14 ) an angle (α) between a secondary reference direction ( 28 , n'28) of the guided object ( 23 . 24 ) and one of the secondary reference direction ( 22 ) of the leading object ( 13 . 14 ) gradually reduced image direction (n'22).

Device according to one of the preceding claims, characterized in that it further comprises the leading object ( 13 . 14 ).

Device according to claim 6 and claim 7, characterized in that the leading object ( 13 . 14 ) two components pivotable relative to one another about an axis ( 15 . 16 ) and that the secondary reference direction ( 22 ) of the leading object ( 13 . 14 ) is the direction of the axis.

Apparatus according to claim 8, characterized in that the main reference direction ( 21 ) of the leading object ( 13 . 14 ) a direction perpendicular to the axis, in particular an angle bisector of one of the pivotable components ( 15 . 16 ) spanned angle is.

Device according to one of the preceding claims, characterized by a control element, by means of which it can be switched to an inactive state in which a movement of the leading object ( 13 . 14 ) has no effect on the guided object.

Device according to claim 10, characterized in that the control unit ( 4 ) is arranged to permit a temporary transition from the active to the inactive state and a movement of the leading object (in the inactive state) ( 13 . 14 ) when returning to the active state in the control of the guided object ( 23 . 24 ).

Device according to one of the preceding claims, characterized by a camera ( 10 ) for detecting the first three-dimensional space ( 9 ) and a display ( 8th ) to display the from the camera ( 10 ) delivered pictures.

Apparatus according to claim 12, characterized in that the control unit ( 4 ), together with an image of the guided object ( 23 . 24 ) an image of the guiding object oriented in the image direction (h'21, n'22) ( 13 . 14 ) on the display.

Device according to one of the preceding claims, characterized in that the actuator ( 1 . 2 . 3 ) Part of a robotic arm and the guided object ( 23 . 24 ) is a tool held by the robot arm.

Method for controlling a main reference direction ( 27 ) guided object ( 23 . 24 ) in a first three-dimensional space ( 9 ), comprising the steps of: a) detecting a main reference direction ( 21 ) of the leading object ( 13 . 14 ) in a second three-dimensional space ( 19 b) applying a transformation to one of the main reference directions ( 21 ) in order to 9 ) of the other main reference direction ( 27 , h'27) to obtain an image direction (h'21), and detecting an angle (α) between the image direction (h'21) and the other main reference direction ( 27 , h'27), c) detecting a movement of the leading object ( 13 . 14 ), d) moving the guided object ( 23 . 24 ) with the progress of the movement of the leading object ( 13 . 14 ) the angle (α) between the image direction (h'21) and the other main reference direction ( 27 , h'27) gradually decrease.