DE102015100694A1

DE102015100694A1 - Teleoperationssystem mit intrinsischem haptischen Feedback durch dynamische Kennlinienanpassung für Greifkraft und Endeffektorkoordinaten

Info

Publication number: DE102015100694A1
Application number: DE102015100694.4A
Authority: DE
Inventors: Carsten Neupert; Sebastian Matich; Christian Hatzfeld
Original assignee: Technische Universitaet Darmstadt
Current assignee: Technische Universitaet Darmstadt
Priority date: 2015-01-19
Filing date: 2015-01-19
Publication date: 2016-07-21
Also published as: US20180132953A1; EP3247303A1; WO2016120110A1

Abstract

Teleoperationssystem umfassend: – einen Slave, der eine Antriebseinheit aufweist, die einen greifenden Endeffektor antreibt, wobei eine kinematische Koordinatedes Endeffektors und eine Greifkraft Feffektor bestimmbar ist – mit einer Kamera, die vorzugsweise im Slave integriert ist, und die auf den Endeffektor ausgerichtet ist, – einen Master, der mit dem Slave entfernt verbunden ist, mit mindestens einer Bedien-Einheit, auf die ein Benutzer eine Greifkaft FG ausüben kann, wobei die Greifkraft an den Slave übertragen wird, und mit einem visuellen Nutzerinterface, das das Bild der Kamera darstellt, wobei gilt, dass FG linear abhängig von der kinematischen Koordinate und Feffektor ist.

Description

Die Erfindung betrifft ein Teleoperationssystem auf Basis einer Master-Slave Struktur.
Hintergrund der Erfindung
Hintergrund der Erfindung ist die Entwicklung eines Teleoperationssystems für eine medizinische Anwendung. Das Teleoperationssystem soll dabei haptisches Feedback zur Darstellung von Interaktionskräften vorzugsweise zwischen einem Endeffektor und dem umgebenden Gewebe bereitstellen.
Für den Einsatz in der Chirurgie existieren Telemanipulationssysteme im Folgenden auch Teleoperationssysteme genannt, die als ferngesteuertes System bezeichnet werden können. Insbesondere die beschränkte Einbindung von Haptik und die Ausführung als reines Telemanipulationssystem sind Limitierungen für einen weiterreichenden Einsatz in chirurgischen Fächern. Durch den Einsatz von Leichtbaurobotik mit umfangreicher integrierter Kraft-/Momenten-Sensorik sind völlig neuartige Ansätze für chirurgische Eingriffe möglich. Die Integration haptischer Prozesse im Kontext therapeutischer und diagnostischer Konzepte in der Medizin stellt die nächste Stufe für eine intuitive Mensch-Maschine-Schnittstelle dar. Auch die Erweiterung der reinen Telemanipulation zu einer Teleoperation mit der Integration autonomer Teilverrichtungen entlastet den Arzt von konzentrationsmindernden Routinen.
Der Begriff Haptik kommt aus dem Griechischen. Er bedeutet “fühlbar” oder “zum Berühren geeignet”. Prinzipiell bieten also erst einmal alle Medien die Möglichkeit der haptischen Wahrnehmung. Sie fühlen sich auf eine bestimmte Art und Weise an. Eine Tischoberfläche kann glatt oder rau sein. Es handelt sich somit um eine Wahrnehmung, die primär durch die Finger der Hand erfolgt.
Bei dem pseudo-haptischen Feedback wird dem Benutzer über zusätzliche visuelle Informationen ein haptischer Eindruck vermittelt. So können z.B. die Informationen auf einem Bildschirm für den Benutzer den Eindruck vermitteln, dass ein haptisches Feedback vorliegt, was tatsächlich nicht der Fall ist oder nur minimal.
Bei einem Teleoperationssystem auf Basis einer Master-Slave Struktur umfasst der Master, an dem der Arzt sitzt, eine Bedieneinheit. Die Bedieneinheit beinhaltet vorzugsweise zwei Bedienmittel für die linke und rechte Hand (links, rechts). Der Arzt interagiert mit dem Bedienmittel. Das Operationsgebiet wird dem Nutzer durch ein visuelles Nutzerinterface, beispielsweise einen Bildschirm, dargestellt. Der Arzt sollte auf dem Bildschirm nur das Operationsgebiet, bzw. den Endeffektor sehen. Für eine intuitive Bedienung kann es dabei von Vorteil sein, wenn man bei der Teleoperation seine eigenen Hände nicht sieht. In diesem Fall ist es vor allem bei der Pseudohaptik von Vorteil, wenn man seine eigenen Finger nicht sehen kann, da damit die Irritation durch die fehlende oder von der Erwartung abweichende Bewegung (Auslenkung) des Fingers ausbleibt. Die 1 zeigt ein entsprechendes System.
Der Slave, auch als Single-Port Roboter bezeichnet, besteht aus einer Antriebseinheit. Mit den in den Antriebseinheiten erzeugten Bewegungen werden über Antriebsstreben zwei parallelkinematische Manipulatoren (links/rechts) gesteuert. An der Spitze jedes Manipulators befindet sich der Tool Center Point (TCP) der zur Aufnahme von chirurgischen Werkzeugen (Endeffektor) dient, und beispielsweise im Situs positioniert werden kann. Der Slave weist einen oder mehrere Antriebe auf, die entfernt vom Endeffektor in der Verlängerung der Antriebsstreben des parallelkinematischen Manipulators möglichst distal angeordnet sind um bei der Sterilität keinen negativen Einfluss zu nehmen. Der Slave umfasst weiterhin eine Kamera, Leuchtmittel und vorzugsweise einen Arbeitskanal. Die Verkopplung der beiden Systeme erfolgt elektrisch im Steuerrechner.
In der 2 wird die Systemstruktur eines herkömmlichen Systems gezeigt. Dieses System besteht aus einem als Master bezeichneten Impedanzsystem, und einem als Slave bezeichneten Admittanzsystem, das auch Slave genannt wird. Das Mastersystem umfasst ein Mensch-Maschine-Interface, das in der Regel aus einem Bildschirm und entsprechenden Eingabemitteln besteht. Der Benutzer gibt über eine kinematische Struktur Positionsanweisungen an den Slave. Über entsprechende Positionssensorik werden diese an eine Kontrolleinheit geleitet, die dann einen oder mehrere Aktuatoren antreibt, der oder die im Slave angeordnet sind ist. Der Aktuator wiederum steuert eine kinematische Struktur, die dann einen Zugriff auf die Umgebung bzw. das Gewebe hat. Durch einen oder mehrere Kraftsensoren wird vom Slave über die Kontrolleinheit ein Feedback gegeben, das wiederum in der Master-Einheit einen oder mehrere Aktuatoren antreibt, der einen Einfluss auf die kinematische Struktur ausüben, was beim Benutzer ein haptisches Feedback erzeugt. Durch diese Sensoren und Aktuatoren erhält der Benutzer ein mittelbares Feedback.
Überblick über die Erfindung
Ziel der Erfindung ist es nun, ein realitätsnahes pseudohaptisches Feedback zu gewährleisten, ohne einen (weiteren) Aktuator im Nutzerinterface zur aktiven Erzeugung des haptischen Feedbacks zu integrieren. Ebenso kann durch dieses Verfahren auf eine anspruchsvolle Kraftsensorik im Endeffektor verzichtet werden.
Ziel der Erfindung ist die Erzeugung eines pseudohaptischen Feedbacks in der Bedieneinheit eines Teleoperationssystems. Dabei wird, verglichen mit dem aktuellen Stand der Technik, auf einen Aktuator im Nutzerinterface verzichtet und der messtechnische Aufwand im Endeffektor verringert. Das pseudohaptische Feedback entsteht unter Ausnutzung des im Rahmen der Anwendung bestehenden visuellen Feedbacks und der Verarbeitung unterschiedlicher Sinneseindrücke zu einer konsistenten Empfindung durch den Nutzer.
Im Einzelnen handelt es sich um ein Teleoperationssystem, umfassend:

– einen Slave, der eine Antriebseinheit aufweist, die einen greifenden Endeffektor antreibt, wobei eine kinematische Koordinate des Endeffektors und eine Greifkraft F_effektor bestimmbar ist Die kinematische Koordinate ist beispielsweise ein Schließwinkel für rotatorische Freiheitsgerade oder ein Verfahrweg für translatorische Freiheitsgerade des Endeffektors. In diesem Patent wird der Schließwinkel Phi repräsentativ für die zuvor beschriebene Klasse an Endeffektoren genutzt, er soll somit auch die kinematische Koordinate umfassen. Dies ist insbesondere dann der Fall, wenn der Endeffektor nicht scherenartig bzw. rotatorisch über ein Gelenk geschlossen wird, sondern über einen z.B. linearen Verfahrweg. Die Antriebseinheit wird auch Aktuator genannt und kann ein Motor oder können mehrere Motoren mit und/ohne Getriebe oder Kupplung sein. Dieser Motor ist in einem Slave-Gehäuse angeordnet, möglichst entfernt vom Gewebe, um Verunreinigungen zu verhindern. Der Motor treibt den Endeffektor, und insbesondere dessen Greifer an. Es ist zu beachten, dass es auch weitere Motoren gibt, um weitere Funktionen des Endeffektor bzw. weiterer Endeffektoren umsetzen zu können. Auch kann es weitere Motore geben, um mehrdimensionale Bewegungen durchzuführen.
– Ein weiterer Bestandteil des Teleoperationssystems ist eine Kamera, die vorzugsweise im Slave integriert ist, und die auf den Endeffektor ausgerichtet ist. Die Kamera kann auch an einem anderen Gerät befestigt sein, sollte jedoch einen Blick auf den Endeffektor und dessen Greifer ermöglichen. Die Kamera erlaubt ein visuelles Feedback. In einer weiteren Ausführungsform kann dem Kamerabild eine zusätzliche digitale Darstellung der aktuellen Endeffektorkoordinate überlagert werden. (Winkelangabe, Striche die sich auf einander zu bewegen, ein stilisierter Greifer der sich bewegt, Farbverläufe, Abstände, Auslenkungen) Außerdem ist es vorstellbar, dass man auch die am Endeffektor wirkende Kraft auf dem Display darstellt. Dies würde zu einer „Augmented Reality“ führen.
– Ein weiterer Bestandteil des Teleoperationssystems ist ein Master, der mit dem räumlich entfernten Slave verbunden ist. Die Verbindung kann über Funk oder auch Kabel erfolgen. Der Master weist mindestens eine Bedieneinheit auf, auf die ein Benutzer eine Greifkaft F_G ausüben kann. In der Regel beinhaltet die Bedieneinheit zwei Bedienmittel, die für die rechte und die linke Hand eingesetzt werden. Mit diesen Bedieneinheiten können Bewegungen durchgeführt werden, die in der Regel in mehreren Dimensionen ausführbar sind. Das Greifen mit dem Endeffektor mit der Greifkraft F_G erfolgt in der Regel durch einen Druck mit den Fingern auf einen Druckbereich, der in dem Bedienmittel der Bedieneinheit ausgebildet ist, wobei die Greifkraft oder Informationen der Greifkraft an den Slave übertragen werden. Ferner umfasst der Master ein visuelles Nutzerinterface, das das Bild der Kamera darstellt und somit ein Feedback erlaubt. Die Information der Greifkraft wird zunächst an den Steuerrechner übertragen. Der Steuerrechner wandelt die Greifkraft abhängig vom gegebenen mathematischen Zusammenhang in eine Öffnungswinkelvorgabe für den Endeffektor um, und sendet diese an den Slave.

Bei der Vorrichtung ist zu beachten, dass gilt, dass F_G linear abhängig vom Schließwinkel/einer kinematischen Koordinate und F_effektor ist. D.h. der Schließwinkel bestimmt sich aus der Greifkraft an dem Bedienmittel und von der Kraft, die am Endeffektor bestimmt wird. Je größer beide Kräfte sind, desto geringer ist der Winkel zwischen den beiden Greifern des Endeffektors. Insbesondere je größer das Verhältnis zwischen beiden ist, desto größer ist der Schließwinkel.
In einer weiteren Ausführungsform wird F_effektor durch einen oder mehrere der folgenden Ansätze bestimmt:

– Ableitung der Kraft aus Führungsgrößen und/oder Regelparametern, sowie Modellannahmen der Antriebseinheit im Slave
– Messung des Stroms in der Antriebseinheit
– Messung der Kraft in einer kinematischen Struktur zwischen Endeffektor und Antriebseinheit. Dies können z.B. Streben oder Führungsstangen oder Gelenke sein.
– Strukturintegrierte Messung in Komponenten des Slave, die Kräfte des Endeffektors ableiten. Dies können z.B. Lager oder Gehäuseteile sein.
– Durch strukturintegrierte Kraftsensoren in einem parallelkinematischen Manipulator, die Kräfte und Momente in den Streben und/oder die Lagerreaktionskräfte in den Gelenken der parallelkinematischen Struktur messen. Dies können z.B. einachsig in den Streben oder an einer Stelle mehrdimensional erfasst werden.
– Kraft/Drehmomentsensoren an der Antriebseinheit. Dies kann vor und hinter dem Getriebe erfolgen – Messung der Kraft direkt zwischen Endeffektor und umgebendem Gewebe durch flächig oder punktuell an den Branchen des Endeffektors angebrachte Sensoren,

In einer möglichen Ausführungsform ist die Bedieneinheit insbesondere das Bedienmittel möglichst starr und weist lediglich die für die Greifkrafterfassung notwendige Flexibilität auf. Das Nutzerinterface soll starr sein um folgende Vorteile zu erhalten (im pseudohaptischen Freiheitsgrad keine Auslenkung zulassen)

• Kein Dynamikverlust bei der Übertragung von aktivem haptischem Feedback der anderen Freiheitsgrade.
• Sehr gute Anbindung von „hoch dynamischem“ Feedback im starren Bedienmittel.
• Keine Bewegung der Finger und damit Haftungsverlust des Nutzers am Bedienmittel.

Das Bedienmittel kann aber auch mit konstanter Nachgiebigkeit und damit für eine definierte Auslenkung ausgelegt sein. Damit erhält man gegebenenfalls für den Freiheitsgrad des pseudohaptischen Feedbacks bessere (realistischere) Ergebnisse, verliert jedoch die zuvor beschriebenen Vorteile für das Gesamtsystem.
In einer weiteren Ausführungsform erfolgt die Bestimmung der Greifkraft F_G durch Ableitung der Interaktionskraft zwischen Bedienmittel und Benutzer durch ein oder mehrere der folgenden Verfahren erfolgt:

• Einfache Kraftmessung zwischen den Fingern
• Differentielle Kraftmessung zwischen den Fingern. Damit bleibt die Unabhängigkeit zwischen Greifkraft (pseudohaptisches Feedback) und etwaigem aktivem haptischem Feedback anderer Freiheitsgrade gewahrt. Die differentielle Kraftmessung kommt dadurch zustande, dass man die Greifkraft für Daumen und Zeigefinger getrennt voneinander misst. (In der Praxis wird vermutlich der jeweils kleinere ggfs. auch der Größere der beiden gemessenen Werte der für die Greifkraft relevante Wert sein.) Misst man die differentielle Kraft von Daumen und Zeigefinger getrennt, können die parasitären Kräfte durch externes Feedback heraus gerechnet werden und man hat damit nur noch die wirklich zwischen Daumen und Zeigefinger wirkenden Kräfte. Differenzielle Kraftmessung ermöglicht somit eine Messung der Kraft unabhängig von Störgrößen. Störgrößen sind in diesem Zusammenhang weitere Kräfte die für z.B. räumliches Feedback eingekoppelt werden.
• Aus der Auslenkung, Verformung eines nicht starren Bedienmittels.

Hieraus ergibt sich im Wesentlichen, dass beim Teleoperationssystem eine der folgenden Abhängigkeiten gelten kann, wobei gilt F_G = Kinematische Koordinate·F_effektor Oder F_G = Kinematische Koordinate + F_effektor oder F_G = Kinematische Koordinate·(F_effektor +F_min) + F_{G_offset}
Wobei F_min die Kraft ist, um den Effektor anfänglich zu bewegen, und F_{G_offset} die Kraft ist, um den Sensor in der Bedieneinheit ansprechen zu lassen. Andere Abhängigkeiten insbesondere lineare sind auch denkbar. Es ist zu beachten, dass die Formeln nur die grundsätzliche Abhängigkeit darstellen sollen. Es können hierbei noch alternative Parameter berücksichtigt werden, die hier noch nicht eingebunden sind. Die kinematische Koordinate kann unter anderen durch den Schließwinkel eines Endeffektors repräsentiert sein.
Pseudohaptisches Feedback funktioniert bis zu einer Frequenz von ca. 10 Hz. Diese Schranke ergibt sich durch die Fähigkeit des Menschen selbst bewusst Kräfte und Bewegungen bis zu dieser Frequenz ausgeben zu können. (DIN EN ISO 9241 910). Damit bedient man hauptsächlich den haptisch kinästhetischen Sinneskanal.
Für Frequenzen, die darüber hinaus gehen, kann taktiles haptisches Feedback ausgegeben werden. Hierzu kann eine Aktorik im Nutzerinterface eingesetzt werden, welche ein gerichtetes oder ungerichtetes haptisches Feedback auf den Nutzer koppelt. (Frequenzbereich ca. 50 Hz–1000 Hz nach DIN EN ISO 9241 910). Damit können Informationen bezüglich Materialselektivität, Oberflächenstrukturen etc. dargestellt werden.
In einer weiteren Ausführungsform wird eine Einheit zur Erzeugung eines taktilen haptischen Feedbacks an der Bedien-einheit bzw. Bedienmittel genutzt, wobei durch einen Sensor im Slave ein Signal erfasst wird, das an die Einheit zur Erzeugung eines taktilen haptischen Feedbacks gesendet wird, die spektralen Anteile dieses Signals liegen vorzugsweise im Bereich von zu bis 50–1000 Hz.
Die Ausgabe des zuvor beschriebenen taktilen haptischen Feedbacks kann dabei erfolgen durch:

1. Kraftausgabe durch Inertialmassemotoren
2. Exzentermotoren
3. Piezo Aktoren – Direkt zwischen Bedieneinheit und Bedienmittel
4. Piezo Aktoren – Zwischen Basis des Bedienmittel und den Fingern
5. Piezo Aktoren zur Erzeugung von Oberflächenwellen an beliebiger Stelle des Bedienmittels

In einer weiteren Ausführungsform sind die oben genannten Elemente so ausgebildet, wobei die wirkende Kraftrichtung der Einheit zur Erzeugung eines taktilen haptischen Feedbacks keine oder nur minimale Kräfte in Richtung der Greifkaft F_G ausüben, um damit regelungstechnische Instabilitäten im System zu reduzieren.
In einer Ausführungsform wird bei der Einbringung eines solchen Feedbacks versucht, die ausgegebenen Kräfte und Auslenkungen aus der eigentlich wirkenden Kraftrichtung herauszunehmen, um somit den Regelkreis zu öffnen und damit regelungstechnische Instabilitäten im System zu reduzieren. Außerdem kann man die Positionsvorgabesignale abhängig von den ausgegebenen „hochfrequenten“ taktilen Ausgabegrößen „notch filtern“ (Schmalband-Filtern bzw. Kerbfiltern), um die regelungstechnische Stabilität im haptischen System zu erhalten. Durch Einsatz eines Kerbfilters ist eine schmalbandige Eliminierung einer bestimmten Frequenz möglich. Dieser kann adaptiv auf die Frequenz des taktilen Feedbacks angepasst werden. In einer Ausführungsform können auch die Positionsvorgabesignale durch einen Tiefpassfilter mit einer Grenzfrequenz unterhalb der typischen Frequenzen für taktiles Feedback, z.B. 40 Hz, gefiltert werden um somit die Frequenzbereiche der Kanäle voneinander zu trennen.
In einer Ausführungsform ist der Sensor im Slave ein Beschleunigungssensor. Alternativ können Encodersignale der Aktoren eingesetzt werden. Hochfrequente Signale können auch aus Kraftsensoren abgeleitet werden, die bereits beschreiben wurden. Man könnte sich auch vorstellen mit „surface acustic wave“(SAW) Sensoren Oberflächenschwingungen in den Kinematikkomponenten oder am Endeffektor zu erfassen.
In Summe können mit der Erfindung günstigere, robustere und leichter sterilisierbare Systeme entwickelt werden.
Figurenbeschreibung:
1 zeigt den Aufbau eines exemplarischen Teleoperationssystems auf Basis einer Master-Slave Struktur;
2 zeigt die Systemstruktur eines herkömmlichen Teleoperationssystems;
3 zeigt die Systemstruktur eines „Pseudohaptischen“ Systems;
4 zeigt die Systemstruktur eines kombinierten Teleoperationssystems Impedanz-Admittanzstruktur sowie einen zusätzlichen pseudohaptischen Freiheitsgrad und eine Struktur zur Überlagerung von hochfrequentem haptischen Feedback;
5 zeigt einen Endeffektor mit unterschiedlicher Stellung der Greifarme;
6 zeigt einen Endeffektor mit komplett geöffneten Greifarmen;
7 zeigt einen Endeffektor mit teilweise geschlossenen Greifarmen;
8 zeigt einen Endeffektor mit komplett geschlossenen Greifarmen;
9 zeigt einen Endeffektor ohne Kraftwirkung zwischen den Greifarmen, da noch kein Gewebekontakt vorliegt;
10 zeigt einen Endeffektor mit wirkender Endeffektor Greifkraft bei Gewebekontakt;
11 zeigt ein als starr ausgelegtes Bedienmittel im Master sowie die Richtung der Greifkraft unter Eingriff des Nutzers;
12 zeigt ein mit definierter Nachgiebigkeit ausgelegtes Bedienmittel sowie die Richtung der Greifkraft unter Eingriff des Nutzers;
13 zeigt den Zusammenhang zwischen Greifkraft und Schließwinkel ohne Beeinflussung der Verkopplungskennlinie durch die wirkende Endeffektorkraft. Kennlinie 1 und Kennlinie zwei unterscheiden sich durch die vorgegebene Kraft F_min;
14 zeigt im Unterschied zu 13 den Zusammenhang zwischen Greifkraft und Schließwinkel ab einem optional einsetzbaren Offset der Greifkraft;
15 zeigt den haptisch wahrnehmbaren Greifkraftunterschied bei visuell wahrgenommenem gleichen Endeffektorschließwinkel durch Variation der Kopplungskennlinie zwischen Greifkraft und Schließwinkel;
16 zeigt einen exemplarischen Kennlinienverlauf mit Einfluss unterschiedlicher wirkender Endeffektorgreifkräfte auf Basis der multiplikativen Bewertung des Zusammenhangs zwischen Greifkraft und Schließwinkel mit der wirkenden Endeffektorgreifkraft.
17 zeigt im Unterschied zu 16 den Kennlinienverlauf bei Einfluss unterschiedlicher Endeffektorgreifkräfte auf Basis der additiven Bewertung des Zusammenhangs zwischen Greifkraft und Schließwinkel mit der wirkenden Endeffektorgreifkraft.
18 zeigt die Ausführungsform des Slaves bestehend aus Endeffektor 1, TCP 2, Parallelkinematischem Mechanismus 3, Schubstreben 4, Kamerakanal 5, Schaft 6 und Antriebseinheit 7;
19 beschreibt eine Vergrößerung der Ausführungsform in 18 mit Endeffektor 1, TCP 2, Parallelkinematischem Mechanismus 3, Schubstreben 4, Kamerakanal 5, Schaft 6;
20 zeigt die Ausführungsform eines Bedienmitteles mit Bedienmittel 1, TCP der Bedieneinheit 2, Basis 3, Antriebe des Bedienmitteles 4;
21 zeigt die Ausführungsform eines starren Bedienmittels mit Griffelementen 1, 2, Fingern 3, Basis 4 des Bedienmittels, Befestigungselement 5 zur Befestigung am TCP des Bedienmittels, Kraftsensor-Elemente 6 zwischen Griffelementen und Basis des Bedienmittels;
22 zeigt einen Schnitt sowie die Explosionszeichnung der Ausführungsform eines Bedienmittels mit Griffelementen 1, Antrieben für taktiles Feedback 2, Kraftsensorelementen 3, Basis des Bedienmittels 4, Befestigungselement für TCP des Bedienmittels;
Beschreibung der Ausführungsform:
Die Erfindung wird im Folgenden anhand eines Teleoperationssystems für die minimalinvasive Chirurgie beschrieben, was nicht beschränkend zu verstehen ist. Dieses überträgt Steuerinformationen des Benutzers an einen intrakorporalen Manipulator und stellt dem Nutzer die Interaktionskräfte zwischen dem Endeffektor des intrakorporalen Manipulators und Gewebe als haptisches und pseudo haptisches Feedback an der Bedieneinheit dar.
1 zeigt den Aufbau eines exemplarischen Teleoperationssystems auf Basis einer Master-Slave Struktur mit Master 1, Bedieneinheit 2, Bedienmittel 3, visuellem Nutzerinterface (Bildschirm 4), Parallelkinematischer Mechanismus 5, Endeffektor 6, Tool Center Point 7, Arbeitskanal 8, Kamerakanal 9, Slave 10, Operationstisch 11.
Der Slave ist in der 1 dargestellt. Er besteht aus einem parallelkinematischen Mechanismus an dessen TCP ein Endeffektor montiert ist. Die Position des TCP und damit die Position des Endeffektors können durch die definierte Längsverschiebung der Schubstreben eingestellt werden. Die einzelnen Schubstreben werden durch separate Aktuatoren in der Antriebseinheit bewegt. Im Schaft des Slaves befinden sich ein Kanal für eine Kamera sowie ein Arbeitskanal. Der Endeffektor besteht aus zwei Greifarmen zwischen welchen die Endeffektor Greifkraft (F_effektor) wirkt. Der Schließwinkel (Phi) ist der Winkel zwischen den beiden Greifarmen des Effektors. Sowohl die wirkende Kraft(F_effektor) als auch der Schließwinkel (Phi) werden somit bestimmt bzw. erfasst. Zusätzlich zur Kraft zwischen den Endeffektor Greifern (F_effektor) werden die Interaktionskräfte zwischen dem Endffektor und der Umgebung abgeleitet. Mit einem entsprechenden Kabel ist der Slave mit dem Master verbunden.
Die 2 und 3 zeigen im Vergleich den Unterschied eines herkömmlichen Systems zu dem System der vorliegenden Erfindung. Hierbei ist zu erkennen, dass ein Feedback über Aktuatoren nicht gegeben wird bei der vorliegenden Erfindung. 4 zeigt die Systemstruktur eines kombinierten Teleoperationssystems Impedanz-Admittanzstrurktur sowie einen zusätzlichen pseudohaptischen Freiheitsgrad und einer Struktur zur Überlagerung von hochfrequentem haptischen Feedback. Hierbei sind die Systeme der 2 und 3 zusammengeführt worden.
Der Master besteht aus zwei Bedieneinheiten gemäß 20 für die linke und die rechte Hand. Diese Bedieneinheiten weisen ein Bedienmittel gemäß den 11, 12, 20, 21, 22 auf. Der Benutzer agiert über das Bedienmittel mit der Bedieneinheit. Das Bedienmittel ist am TCP der Kinematik der Bedieneinheit mit der Bedieneinheit verbunden. Durch Nutzereingabe in das Bedienmittel und damit in die Bedieneinheit werden Steuersignale für den Slave in das System eingegeben. Durch in der Basis des Bedienmitteles angebrachte Aktoren kann ein haptisches Feedback bezüglich der am Slave zwischen Endeffektor und Umgebung gemessenen Interaktionskräfte erzeugt und über das Bedienmittel an den Nutzer ausgegeben werden.
Die 18 zeigt eine Ausführungsform des Slaves bestehend aus Endeffektor 1, TCP 2, Parallelkinematischem Mechanismus 3, Schubstreben 4, Kamerakanal 5, Schaft 6 und einer Antriebseinheit 7.
Die 19 beschreibt eine Vergrößerung der Ausführungsform in 18 mit Endeffektor 1, TCP 2, Parallelkinematischem Mechanismus 3, Schubstreben 4, Kamerakanal 5, Schaft 6.
20 zeigt die Ausführungsform eines Bedienmitteles mit Bedienmittel 1, TCP der Bedieneinheit 2, Basis 3 und dem Antriebe der Bedieneinheit 4.
21 zeigt die Ausführungsform eines starren Bedienmittels mit Griffelementen 1, 2, Fingern 3, Basis 4 des Bedienmittels, Befestigungselement zur Befestigung 5 am TCP des Bedienmittels an der Bedieneinheit, Kraftsensor-Elemente 6 zwischen Griffelementen und Basis des Bedienmittels.
Als Steuergröße für den Schließwinkel phi eines intrakorporalen Endeffektors (siehe z.B. 6 bis 17) wird statt einer Positionsmessung von beweglichen Elementen des Bedienmittels die Greifkraft des Nutzers verwendet. Hierzu wird im Bedienmittel eine Kraftsensorik zur Detektion der Greifkraft eingesetzt (ziehe z.B. 12 und 22). Über die Einstellung der nötigen Greifkraft F_G,max zum vollständigen Schließen des Endeffektors kann das Verhalten des Endeffektors in Form einer (linearen) Kennlinie phi(F_G) beeinflusst und situationsangepasst verändert werden (13–17).
Ein haptischer Sinneseindruck entsteht dabei durch die Korrelation von selbst in das Nutzerinterface eingebrachter Greifkraft und dem visuell wahrgenommenen Schließwinkel des Endeffektors. Siehe hierzu die 7–9.
Zur Erzeugung des haptischen Feedbacks ist in diesem Fall kein Aktuator notwendig, da der Nutzer sich durch seine Greifkraft die für einen haptischen Sinneseindruck nötige Kraft selbst erzeugt. Eine notwendige Voraussetzung ist dabei ein direkter Blick auf den Endeffektor durch den Nutzer. Die grundsätzliche Funktionsweise dieses "pseudohaptischen Feedbacks", ist aus dem Bereich der virtuellen Realität bekannt.
Die Kraft F_G oder auch F_greif wird wie in 11, 12 gezeigt am Bedienmittel bestimmt.
Um ein haptisches Feedback eines Materials im Endeffektor/Greifer zu gewährleisten, lässt sich die Kennlinie (13–17) variieren, die den Zusammenhang zwischen Greifkraft am Nutzerinterface und dem Schließwinkel des Endeffektors darstellt (siehe 5–10).
Dies geschieht in Abhängigkeit der Kraft, die zum Schließen bzw. Aktuieren des Endeffektors nötig ist. Diese entspricht aufgrund des sich einstellenden Kräftegleichgewichts der Interaktionskraft F_effektor.
Die Variation der Kennlinie phi(F_G) ist dabei durch Addition der gemessenen ausgegebenen Endeffektorkraft phi' = phi(F_G + F_effektor) sowie durch Multiplikation der gemessenen Endeffektorkraft phi' = phi(F_GF_effektor) möglich. Die beiden Fälle beschreiben dabei eine unterschiedlich starke Gewichtung der jeweils wirkenden Endffektorkraft (Feffektor). In beiden Fällen ändert sich die nötige Greifkraft, die zum Erreichen eines bestimmten Schließwinkels phi nötig ist. In Zusammenhang mit dem visuellen Feedback zur Öffnung des Greifers entsteht damit beim Nutzer ein Eindruck für die Beschaffenheit des Materials am Endeffektor, da die Interaktionskraft F_effektor unter anderem materialabhängig ist.
Die 16 zeigt einen exemplarischen Kennlinienverlauf mit Einfluss unterschiedlicher wirkender Endeffektorgreifkräfte auf Basis der multiplikativen Bewertung des Zusammenhangs zwischen Greifkraft und Schließwinkel mit der wirkenden Endeffektorgreifkraft. Kennlinie 0 zeigt den Verlauf der Verkopplung ohne wirkende Endeffektorgreifkraft. Kennlinien 1 und 2 zeigen den Verlauf der Verkopplungskennlinie für gegriffene Materialien unterschiedlicher Steifigkeiten. Kennlinie 3 zeigt den Verlauf einer Kennlinie bei der die Endeffektorgreifkraft bei maximal möglicher Nutzergreifkraft so hoch ist, dass die Stellgröße für den Schließwinkel in Sättigung geht.
17 zeigt im Unterschied zu 16 den Kennlinienverlauf bei Einfluss unterschiedlicher Endeffektorgreifkräfte auf Basis der additiven Bewertung des Zusammenhangs zwischen Greifkraft und Schließwinkel mit der wirkenden Endeffektorgreifkraft. Die Kennlinie 2 beschreibt dabei den Eingriff an einem im Vergleich zu Kennlinie 1 steiferen Material;
Notwendige Voraussetzung für dieses Verfahren ist die Ableitung der Interaktionskraft F_effektor zwischen den Greifarmen des Endeffektors (9–10). Die dynamischen Anforderungen an diese Messungen sind gering, da die Ausübungsfähigkeit des Menschen nur eine geringe, fast quasi statische Bandbreite aufweist. Daher ist die Ableitung der Kraftausführungsgrößen der Aktuatoren und im Endeffektor durch die Integration eines Sensors entfernt vom Endeffektor ausreichend. Damit sinken nicht nur die dynamischen Anforderungen, sondern auch die Anforderungen an Bauraum, Gewicht und Überlastfestigkeit des gegebenenfalls verwendeten Sensors.
Das so dargestellte haptische Feedback der Greifkraft ist quasistatisch und daher zur Darstellung von bestimmten Eigenschaften wie Oberflächenbeschaffenheit und zur Unterscheidung von Materialien u.U. nicht ausreichend. Daher wird in einer weiteren Ausführungsform dieser Nachteil durch die Integration eines hoch dynamischen Aktors im Bedienmittel (Piezo, Voicecoil, Exzentermotor, etc.) mit sehr kleinen nötigen Auslenkungen auf einfache Art und Weise kompensiert werden. Durch die Eigenschaften der menschlichen haptischen Wahrnehmung ist bei hochdynamischen Signalen die Einleitungsrichtung nicht gut unterscheidbar, so dass hier ein in mehreren Freiheitsgraden empfundenes haptisches Feedback mit einer eindimensionalen Bewegung des Aktors dargestellt werden kann.
22 zeigt einen Schnitt sowie die Explosionszeichnung der Ausführungsform eines Bedienmittels mit Griffelementen 1, Antrieben für taktiles ein Feedback 2, Kraftsensorelementen 3, einer Basis des Bedienmittels 4 und ein Befestigungselement für TCP des Bedienmittels;
Die Messung der hochfrequenten Signale könnte durch Messung von Beschleunigungen mit miniaturisierten, sterilisierbar im Endeffektor angeordneten Beschleunigungssensoren geschehen.
Im Vergleich von aus der Literatur bekannten Teleoperationssystemen mit haptischem Feedback kann mit der hier vorgestellten Erfindung nicht nur pseudohaptisch ausgeführten Freiheitsgrad der haptisch Wahrnehmbare Bereich erweitert werden sondern auch der konstruktive Aufwand des gesamten Bedienmittels reduziert werden. Durch Einsatz von seriell angeordneten Aktoren wird eine Frequenzaufteilung für das haptische Feedback möglich. Anstatt eines Aktuators mit großer Bandbreite bei gleichzeitig großen nötigen Auslenkungen in der Basis des Bedienmittels wird der hochfrequente Anteil des haptischen Feedbacks durch einen dynamischern Aktuator mit kleinen Auslenkungen erzeugt. Im Endeffektor wird der Aufwand an die Sensorik dahingehend reduziert, dass mehrdimensionale, hochdynamische Kraftsensorik durch eine eindimensionale Kraftsensorik und eine mehrdimensionale Beschleunigungsmessung ersetzt werden könnte. Letztere ist einfacher in den Endeffektor integrierbar, da sie nicht in Hauptkraftflussrichtung integriert werden muss. Darüber hinaus sinken periphere Anforderungen an die Sensoren in Bezug auf Dynamik, Überlastfestigkeit und das sterilisierbare Packaging.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

DIN EN ISO 9241 910 [0019]
DIN EN ISO 9241 910 [0020]

Claims

Teleoperationssystem umfassend: – einen Slave (10), der eine Antriebseinheit aufweist, die einen greifenden Endeffektor antreibt, wobei eine kinematische Koordinate des Endeffektors und eine Greifkraft F_effektor bestimmbar ist – mit einer Kamera (9), die vorzugsweise im Slave integriert ist, und die auf den Endeffektor ausgerichtet ist, – einen Master (1), der mit dem Slave entfernt verbunden ist, mit mindestens einer Bedieneinheit (2, 3), auf die ein Benutzer eine Greifkraft F_G ausüben kann, wobei die Greifkraft an den Slave übertragen wird, und mit einem visuellen Nutzerinterface (4), das das Bild der Kamera darstellt, wobei gilt, dass F_G linear abhängig von der kinematischen Koordinate und F_effektor ist oder umgekehrt.
Das Teleoperationssystem nach Anspruch 1, wobei F_effektor durch einen oder mehreren der folgenden Ansätze bestimmt wird: – Ableitung der Kraft aus Führungsgrößen der Antriebseinheit im Slave oder von einem Steuerungsrechner – Messung des Stroms in der Antriebseinheit; – Messung der Kraft in einer kinematischen Struktur zwischen Endeffektor und Antriebseinheit; – Strukturintegrierte Messung durch Kraftsensoren in einer Parallelkinematik; – Kraft/Drehmomentsensoren an der Antriebseinheit; – Messung der Kraft direkt zwischen Endeffektor und umgebendem Gewebe.
Das Teleoperationssystem nach Anspruch 1 oder 2, wobei die Bedien-Einheit möglichst starr ist und lediglich die für die Greifkrafterfassung notwendige Flexibilität aufweist.
Das Teleoperationssystem nach Anspruch 1 oder 2, wobei die Bedien-Einheit eine definierte Nachgiebigkeit aufweist und damit für eine definierte Auslenkung ausgelegt ist und dadurch Greifkrafterfassung ermöglicht.
Das Teleoperationssystem nach einem oder mehreren der vorhergehenden Ansprüche, wobei die Bestimmung der Greifkraft F_G durch Ableitung der Interaktionskraft zwischen Bedien-Einheit und Benutzer durch ein oder mehrere der folgenden Verfahren erfolgt: – Kraftmessung zwischen den Fingern – Differentielle Kraftmessung zwischen den Fingern – Ableitung der Kraft aus der Auslenkung oder Verformung einer nicht starren Bedieneinheit.
Das Teleoperationssystem nach einem oder mehreren der vorhergehenden Ansprüche, wobei gilt F_G = Kinematische Koordinate·F_effektor Oder F_G = Kinematische Koordinate + F_effektor oder F_G = Kinematische Koordinate·(F_effektor +F_min) + F_{G_offset} Wobei F_min die Kraft ist, um den Effektor anfänglich zu bewegen, und F_{G_offset} die Kraft ist, um den Sensor in der Bedieneinheit ansprechen zu lassen.
Das Teleoperationssystem nach einem oder mehreren der vorhergehenden Ansprüche, gekennzeichnet durch eine Einheit zur Erzeugung eines taktilen haptischen Feedbacks an der Bedien-Einheit, wobei durch einen Sensor im Slave eine Frequenz erfasst wird, die an die Einheit zur Erzeugung eines taktilen haptischen Feedbacks gesendet wird, die vorzugsweise im Bereich von zu bis 50–1000 HZ liegt.
Das Teleoperationssystem nach dem vorhergehenden Anspruch, wobei die Einheit zur Erzeugung eines taktilen haptischen Feedbacks eine oder mehrere der Folgenden ist: – Kraftausgabe durch Inertialmassemotoren – Exzentermotoren – Piezoelektrische Aktoren
Das Teleoperationssystem nach einem oder mehreren der vorhergehenden zwei Ansprüche, wobei die wirkende Kraftrichtung der Einheit zur Erzeugung eines taktilen haptischen Feedbacks keine oder nur minimale Kräfte in Richtung der Greifkaft F_G ausüben, um damit regelungstechnische Instabilitäten im System zu reduzieren.
Das Teleoperationssystem nach einem oder mehreren der vorhergehenden drei Ansprüche, wobei die durch einen Sensor im Slave erfasste Frequenz in Abhängigkeit von Umgebungswerten gefiltert wird, um eine Stabilität in einem Regelkreis zu erhalten.
Das Teleoperationssystem nach einem oder mehreren der vorhergehenden vier Ansprüche, wobei der Sensor im Slave einer oder mehrere der folgenden sind: Beschleunigungssensor, Encodersignale der Aktoren, Ableitung hochfrequenter Signale aus den Kraftsensoren, „surface acustic wave“(SAW) Sensoren zur Erfassung von Oberflächenschwingungen in den Kinematikkomponenten oder am Endeffektor.
Das Teleoperationssystem nach einem oder mehreren der vorhergehenden Ansprüche, wobei im Kamerabild eine zusätzliche digitale Darstellung der aktuellen Endeffektorkoordinate überlagerbar ist, vorzugsweise durch eines oder mehrere der folgenden: Winkelangabe, Striche die sich auf einander zu bewegen, ein Stilisierter Greifer der sich bewegt, Farbverläufe, Darstellung der auf den Endeffektor wirkenden Kraft auf dem Display, Auslenkung darstellt.
Das Teleoperationssystem nach einem oder mehreren der vorhergehenden Ansprüche, wobei ein Steuerungsrechner ausgebildet ist, um eine differentielle Kraftmessung an der Bedieneinheit durchzuführen, indem die Greifkraft für Daumen und Zeigefinger getrennt voneinander misst, und vorzugsweise den jeweils kleinere oder größeren der beiden gemessenen Werte für die Greifkraft auswählt.