WO2014202307A1 - Adjustment method and appropriate apparatus for contactless control by an operator - Google Patents

Adjustment method and appropriate apparatus for contactless control by an operator Download PDF

Info

Publication number
WO2014202307A1
WO2014202307A1 PCT/EP2014/060214 EP2014060214W WO2014202307A1 WO 2014202307 A1 WO2014202307 A1 WO 2014202307A1 EP 2014060214 W EP2014060214 W EP 2014060214W WO 2014202307 A1 WO2014202307 A1 WO 2014202307A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
control
information
anatomy
camera
Prior art date
Application number
PCT/EP2014/060214
Other languages
German (de)
French (fr)
Inventor
Peter Greif
Robert Kagermeier
Anja Jäger
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2014202307A1 publication Critical patent/WO2014202307A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Definitions

  • the invention relates to a setting method and a corresponding device for control by an operator by means of an association of location information relating to the body of the operator to positions on a control surface provided for the control.
  • WO 2012/041371 AI in which the recognition of a body part (eg arms, hands, fingers, head, face, ears, eyes, etc.) is used for Steue ⁇ tion, in which a conversion into a control command is carried out.
  • a body part eg arms, hands, fingers, head, face, ears, eyes, etc.
  • the invention is based on the observation that based on Ges ⁇ policy control by adapting to the user can be improved.
  • an operator-individual setting is made for control by an operator by means of an association or correlation of location information relating to the body of the operator to positions on a control surface provided for the control.
  • the location information relating to the body of the operator may relate, for example, to the respective position of a hand or of a hand component of the operator.
  • the location information relating to the body of the operator can also be related to the respective projection of a straight line defined by the position of the operator's heart and the position of the hand or the hand component of the operator (heart-hand -Projection).
  • At least one information related to the anatomy or the body (eg dimensions of body parts) of the operator is determined. This determination can be made by means of one or more cameras.
  • the related to the anatomy infor- mation concerns for example the (for example from the position of the torso and the shoulder and the length of the arm Compute ⁇ th) reach of a hand or the two hands of the operator.
  • the assignment of location information relating to the body of the operator to positions on the control surface is determined in accordance with this information related to the anatomy of the operator (other parameters, eg the type of gesture control, may additionally influence the determination of the assignment).
  • This definition follows such that the space area which can be easily covered with one hand or both hands is imaged or projected onto the control surface.
  • a (virtual) volume ie a volume
  • a volume a volume
  • the assignment is defined for their values, ie the values Po ⁇ sitions the control surface to be imaged.
  • location information is assigned to a position on the control surface if and only if the location associated with the location information is within the volume.
  • the subject invention is by an input control by a specific hand (left or right hand) or by both hands fixed and this input then determines how the assignment is fixed ⁇ laid. For example, when controlled by both hands, a larger area is projected onto the control surface than when controlled by a single hand. But the corresponding Festle ⁇ account the allocation can not only relate to the control surface displayed volume, but also the relative position of the imaged volume relative to the body and the anatomy of the operator. Furthermore, switching between different control methods by means of gestures can also be provided.
  • a further embodiment of the subject invention provides that the at least one related to the anatomy of Everyper ⁇ son information is stored together with a related to the operator identification information. In a renewed control by means of the Whyoberflä ⁇ che by the same operator can then at least one based on the anatomy of the operator information Memory query can be determined using the identification information. This means that practically a user-specific profile is stored here.
  • the invention also relates to a device which is adapted for carrying out a method according to the invention. This device comprises at least one camera to iden ⁇ at least one lung to the anatomy of the operator bezo ⁇ genes information and an evaluation to determine the assignment in accordance with said at least one Informati ⁇ on.
  • the camera used in the invention may be e.g. to a camera that provides two-dimensional information (2D camera), or to a camera that provides information in three dimensions (3D camera).
  • 2D camera two-dimensional information
  • 3D camera three dimensions
  • any camera variants can be used for the procedure according to the invention.
  • FIG. 1 shows a schematic representation of a
  • Fig. 2 controls on a screen for a
  • Fig. 4 a representation with spherical shell as a user volume.
  • FIG. 1 shows a screen area 1 on which control elements (shown in FIG. 2) are depicted. Selecting these controls will trigger control actions.
  • the control is performed by an operator 2. Through the arm ends 3 and 4, which correspond to the hands of the operator 2, a control can be done. In the present case, the end of the hand 4 is used as location information for the control. This hand of the hand 4 is projected onto the screen ⁇ 1, in the form of a cursor 6.
  • a camera 10 is provided for receiving user-relevant parts of the operator.
  • Fig. 1 and Fig. 2 the symbol of a Microsoft Kinect camera 10 is shown, which provides real-time 3D information (by means of infrared dot ⁇ pattern projection). In principle, a normal 2D camera can provide sufficient image information for the
  • gestures and anatomy assessment It is also possible to imagine 2D cameras in stereoscopic arrangement in order to obtain 3D data. There are also time-of-flight 3D cameras, which are also well usable for this purpose.
  • the invention improves operability by adjusting or adjusting the area projected on the screen 1 in accordance with the anatomy of the operator 2. It is assumed that a virtual operating volume 5, the size of which is adjusted user-dependent. To this end, example ⁇ , with the camera 10, the length of the arms and thus the Be ⁇ rich, which can be a maximum covered determined.
  • the virtual, sensitive room volume 5 is adapted in this total volume for gesture execution in such a way that, from the user's point of view, the result is an almost intuitive heart-to-hand projection. It is also taken into account that a user with his right hand easier to make movements to the right than to the left by the body center is not necessarily determined according to the screen center accordingly.
  • An operation is now carried out so that by moving the hand 4, the user moves the cursor 6 on a control element and triggers an operating process, for example by a certain gesture.
  • Fig. 2 shows a possible design of the screen area 1 is shown.
  • the Menus eg field 8
  • functions eg field 9
  • the operator brings the cursor to the desired field and triggers eg by ei ⁇ ner gesture a menu or a selected function.
  • step 11 an image of the operator or the Be ⁇ serving person is performed by a camera.
  • step 12 anatomical parameters are calculated from the camera image.
  • a (virtual) operating volume is determined on the basis of the anatomical parameters.
  • the determination can relate not only shape and size but also the position of the operating volume.
  • the position of the volume is changed accordingly, ie the volume follows the operator, so to speak.
  • the determination according to step 13 relates to the starting position. Among other things, this may depend on the type of operation.
  • the volume is not symmetrical to the operator, but moved horizontally in the direction of the operator's hand.
  • the screen or the user interface which is usually designed as a screen, set a range for the operation.
  • This area can also cover the entire user interface.
  • This adaptation can be carried out, for example, in the sense of a heart-hand projection.
  • the hand Posi ⁇ tion of the operating hand on the control surface is reproduced (step 16).
  • a heart-hand projection can also emulate by the imaging algorithm that calculated from the Handpo ⁇ sition the cursor position.
  • both a cuboid shape and a spherically curved shape can be used (example spherical shell segment).
  • the latter should be more ergonomic from the user's point of view, as indicated in Fig. 4 and may also be cheaper for a Emula ⁇ tion of a heart-hand projection.
  • a user 2 is shown using a gesture for control.
  • a projection 7 takes place on a screen or a user interface 1.
  • the invention so to speak, relates to a user-specific calibration of control by gesture recognition. This is particularly suitable for use in the medical field. Other possible applications for example in the indust ⁇ -material area are also conceivable. Such Steue ⁇ tion in the industrial field is especially advantageous if an operator also needs to perform monitoring and the position of the monitoring is not suitable to locally provide control there (for example, within a production line, which can not accommodate a control panel provides). By Gestikerkennung then the necessary ⁇ speed of positioning the operator at the site of the control device can be avoided.

Abstract

The invention relates to an adjustment method and an apparatus conditioned therefor for control by an operator (2) by means of an association between location information relating to the body of the operator (2) and positions on a control interface (1) provided for the control. According to the invention, at least one piece of information relating to the anatomy of the operator (2) is ascertained and the association is stipulated on the basis of this at least one piece of information. The invention facilitates gesture control by conditioning the control system to the operator.

Description

Beschreibung description
Einstellungsverfahren und entsprechende Vorrichtung für eine kontaktlose Steuerung durch eine Bedienperson Adjustment method and apparatus for contactless control by an operator
Die Erfindung betrifft ein Einstellungsverfahren und eine entsprechende Vorrichtung für eine Steuerung durch eine Bedienperson mit Hilfe einer Zuordnung von sich auf den Körper der Bedienperson beziehenden Ortsinformationen zu Positionen auf einer für die Steuerung vorgesehenen Steueroberfläche. The invention relates to a setting method and a corresponding device for control by an operator by means of an association of location information relating to the body of the operator to positions on a control surface provided for the control.
Vor allem im medizinischen Umfeld bestehen häufig besondere Anforderungen, die die Steuerung der eingesetzten Datenverarbeitungsmittel und anderen Geräte erschweren. Dabei ist vor allem an die Sterilitätsanforderungen zu denken, die im medizinischen Arbeitsbereich, insbesondere bei therapeutischen Eingriffen herrschen. Especially in the medical environment, there are often special requirements that complicate the control of the data processing means used and other devices. Above all, the sterility requirements which prevail in the field of medical work, especially in therapeutic interventions, have to be considered.
Aus diesem Grund wurden für den medizinischen Einsatz Verfah- ren zur berührungslosen Interaktion zwischen Mensch und Bedienoberfläche vorgeschlagen, um Beeinträchtigungen der Sterilität durch den Kontakt mit dem Gerät zu vermeiden. Eine Möglichkeit zur berührungslosen Interaktion ist die kamerabasierte Auswertung von Freihandgestik. So wird beispielsweise in der US 2007/0118400 AI eine berührungslos funktionierende Steuerung für den Zugriff auf medizinische Datenspeichersys¬ teme, z.B. HIS (Hospital Information System), RIS (Radiology Information System) und PACS (Picture Archiving and Communi- cation System) vorgeschlagen. Dabei wird eine Geste bzw. Ges- tik erkannt und in einen Steuerungsbefehl für den Datenspeicher umgesetzt. Ähnliches beschreibt auch die WO 2012/041371 AI, in welcher die Erkennung eines Körperteils (z.B. Arme, Hände, Finger, Kopf, Gesicht, Ohren, Augen etc.) zur Steue¬ rung verwendet wird, in dem eine Umsetzung in einen Steuerbe- fehl durchgeführt wird. For this reason, methods for non-contact interaction between human and the user interface have been proposed for medical use in order to avoid sterility impairments due to contact with the device. One possibility for non-contact interaction is the camera-based evaluation of freehand gestures. Such a non-contact type control to access medical Datenspeichersys ¬ systems such as HIS (Hospital Information System), RIS (Radiology Information System) and PACS (Picture Archiving and Communi- cation System) is proposed for example in US 2007/0118400 Al. In this case, a gesture or logic is recognized and converted into a control command for the data memory. Similarly, also WO 2012/041371 AI, in which the recognition of a body part (eg arms, hands, fingers, head, face, ears, eyes, etc.) is used for Steue ¬ tion, in which a conversion into a control command is carried out.
Es besteht ein Bedarf dafür, Steuerverfahren mittels There is a need for control methods by means of
Gestikerkennung besser anwendbar zu machen, insbesondere im Hinblick auf den Einsatz nicht nur zur Verwaltung abgespeicherter Informationen, sondern auch für sämtliche Steuererfordernisse im Behandlungs- bzw. Operationsraum. Diese Erfindung wird gelöst durch ein Verfahren nach Anspruch 1 bzw. eine Vorrichtung nach Anspruch 8. To make gesture recognition more applicable, in particular in the With regard to the use not only for the management of stored information, but also for all tax needs in the treatment or operating room. This invention is achieved by a method according to claim 1 and a device according to claim 8, respectively.
Die Erfindung beruht auf der Beobachtung, dass eine auf Ges¬ tik beruhende Steuerung durch Anpassung auf den Benutzer ver- bessert werden kann. Erfindungsgemäß wird für eine Steuerung durch eine Bedienperson mit Hilfe einer Zuordnung bzw. Korrelation von sich auf den Körper der Bedienperson beziehenden Ortsinformationen zu Positionen auf einer für die Steuerung vorgesehenen Steueroberfläche eine Bedienperson-individuelle Einstellung vorgenommen. Die sich auf den Körper der Bedienperson beziehenden Ortsinformationen kann z.B. die jeweilige Position einer Hand oder eines Handbestandteiles der Bedienperson betreffen. Für eine intuitive Bedienung kann auch die sich auf den Körper der Bedienperson beziehenden Ortsinforma- tionen auf die jeweilige Projektion einer durch die Position des Herzens der Bedienperson und die Position der Hand oder der Handbestandteiles der Bedienperson definierten Geraden auf die Steueroberfläche bezogen sein (Herz-Hand-Projektion). Für die Bedienperson-individuelle Einstellung wird mindestens eine auf die Anatomie bzw. den Körper (z.B. Abmessungen von Körperteilen) der Bedienperson bezogene Information ermittelt. Diese Ermittlung kann mittels einer oder mehrerer Kameras vorgenommen werden. Die auf die Anatomie bezogene Infor- mation betrifft beispielsweise die (z.B. aus der Position des Rumpfes bzw. der Schulter und der Länge des Armes errechne¬ ten) Reichweite einer Hand oder der beiden Hände der Bedienperson. Die Zuordnung von auf den Körper der Bedienperson sich beziehenden Ortsinformationen zu Positionen auf der Steueroberfläche wird nach Maßgabe dieser auf die Anatomie der Bedienperson bezogenen Information festgelegt (andere Parameter, z.B. die Art der Gestiksteuerung, können die Festlegung der Zuordnung zusätzlich beeinflussen) . Vorzugsweise er- folgt diese Festlegung derart, dass der mit einer Hand oder beiden Händen bequem abdeckbare Raumbereich auf die Steueroberfläche abgebildet bzw. projiziert wird. Zu diesem Zweck ist es sinnvoll, ein (virtuelles) Volumen, d.h. ein Bedienvo- lumen, als den Bereich der Zuordnung festzulegen, für deren Werte die Zuordnung definiert ist, d.h. dessen Werte auf Po¬ sitionen der Steueroberfläche abgebildet werden. In anderen Worten, eine Ortsinformation wird zu einer Position auf der Steueroberfläche genau dann zugeordnet, wenn der zur Ortsin- formation gehörige Ort innerhalb des Volumens liegt. Durch die Festlegung des Volumens (insbesondere dessen Größe, aber evtl. auch dessen Form) nach Maßgabe der auf die Anatomie der Bedienperson bezogenen Information kann so für eine gute und bequeme Bedienbarkeit gesorgt werden. Diese Festlegung kann z.B. auch im Sinne einer möglichst guten Nachbildung einer Herz-Hand-Projektion vorgenommen werden. The invention is based on the observation that based on Ges ¬ policy control by adapting to the user can be improved. According to the invention, an operator-individual setting is made for control by an operator by means of an association or correlation of location information relating to the body of the operator to positions on a control surface provided for the control. The location information relating to the body of the operator may relate, for example, to the respective position of a hand or of a hand component of the operator. For intuitive operation, the location information relating to the body of the operator can also be related to the respective projection of a straight line defined by the position of the operator's heart and the position of the hand or the hand component of the operator (heart-hand -Projection). For the operator-individual setting, at least one information related to the anatomy or the body (eg dimensions of body parts) of the operator is determined. This determination can be made by means of one or more cameras. The related to the anatomy infor- mation concerns for example the (for example from the position of the torso and the shoulder and the length of the arm Compute ¬ th) reach of a hand or the two hands of the operator. The assignment of location information relating to the body of the operator to positions on the control surface is determined in accordance with this information related to the anatomy of the operator (other parameters, eg the type of gesture control, may additionally influence the determination of the assignment). Preferably, This definition follows such that the space area which can be easily covered with one hand or both hands is imaged or projected onto the control surface. To this end, it is useful to have a (virtual) volume, ie a volume Bedienvo- define as the area of the assignment, the assignment is defined for their values, ie the values Po ¬ sitions the control surface to be imaged. In other words, location information is assigned to a position on the control surface if and only if the location associated with the location information is within the volume. By determining the volume (in particular its size, but possibly also its shape) in accordance with the information related to the anatomy of the operator can be provided for a good and convenient operation. This definition can also be made, for example, in the sense of the best possible simulation of a heart-hand projection.
Gemäß einer Weiterbildung des Erfindungsgegenstandes ist durch eine Eingabe eine Steuerung durch eine bestimmte Hand (linke oder rechte Hand) oder durch beide Hände festlegbar und diese Eingabe bestimmt dann auch, wie die Zuordnung fest¬ gelegt wird. Z.B. wird dann bei Steuerung durch beide Hände ein größerer Bereich auf die Steueroberfläche projiziert, als bei Steuerung mit nur einer Hand. Die entsprechende Festle¬ gung der Zuordnung kann aber nicht nur das auf die Steueroberfläche abgebildet Volumen betreffen, sondern auch die relative Lage des abgebildeten Volumens bezogen auf den Körper bzw. die Anatomie der Bedienperson. Weiter kann auch ein Umschalten zwischen verschiedenen Steuermethoden mittels Gestik vorgesehen sein. According to one embodiment of the subject invention is by an input control by a specific hand (left or right hand) or by both hands fixed and this input then determines how the assignment is fixed ¬ laid. For example, when controlled by both hands, a larger area is projected onto the control surface than when controlled by a single hand. But the corresponding Festle ¬ account the allocation can not only relate to the control surface displayed volume, but also the relative position of the imaged volume relative to the body and the anatomy of the operator. Furthermore, switching between different control methods by means of gestures can also be provided.
Eine weitere Ausgestaltung des Erfindungsgegenstandes sieht vor, dass die mindestens eine auf die Anatomie der Bedienper¬ son bezogene Information zusammen mit einer auf die Bedien- person bezogenen Identifikationsinformation abgespeichert wird. Bei einer erneuten Steuerung mittels der Bedienoberflä¬ che durch dieselbe Bedienperson kann dann die mindestens eine auf die Anatomie der Bedienperson bezogene Information durch Speicherabfrage mit Hilfe der Identifikationsinformation ermittelt werden. D.h., hier wird praktisch ein benutzerspezifisches Profil abgelegt. Die Erfindung betrifft auch eine Vorrichtung, die zur Durchführung eines erfindungsgemäßen Verfahrens angepasst ist. Diese Vorrichtung umfasst mindestens eine Kamera zur Ermitt¬ lung mindestens einer auf die Anatomie der Bedienperson bezo¬ genen Information und einen Auswerterechner zur Bestimmung der Zuordnung nach Maßgabe dieser mindestens einen Informati¬ on . A further embodiment of the subject invention provides that the at least one related to the anatomy of Bedienper ¬ son information is stored together with a related to the operator identification information. In a renewed control by means of the Bedienoberflä ¬ che by the same operator can then at least one based on the anatomy of the operator information Memory query can be determined using the identification information. This means that practically a user-specific profile is stored here. The invention also relates to a device which is adapted for carrying out a method according to the invention. This device comprises at least one camera to iden ¬ at least one lung to the anatomy of the operator bezo ¬ genes information and an evaluation to determine the assignment in accordance with said at least one Informati ¬ on.
Bei der erfindungsgemäß verwendeten Kamera kann es sich z.B. um eine Kamera handeln, die zweidimensionale Informationen liefert (2D-Kamera) , oder um eine Kamera, die Informationen in drei Dimensionen bereitstellt (3D-Kamera) . Generell können für das erfindungsgemäße Vorgehen beliebige Kameravarianten eingesetzt werden. Im Folgenden wird der Erfindungsgegenstand anhand von Figuren im Rahmen eines Ausführungsbeispiels näher beschrieben. The camera used in the invention may be e.g. to a camera that provides two-dimensional information (2D camera), or to a camera that provides information in three dimensions (3D camera). In general, any camera variants can be used for the procedure according to the invention. In the following, the subject invention will be described in more detail with reference to figures in the context of an embodiment.
Es zeigen Fig. 1: eine schematische Darstellung einer bei 1 shows a schematic representation of a
Gestiksteuerung bestehenden Konstellation, Gesture control existing constellation,
Fig. 2: Steuerelemente auf einem Bildschirm für eine Fig. 2: controls on a screen for a
Gestiksteuerung gesture control
Fig. 3: ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens, und 3 shows a flow chart of a method according to the invention, and
Fig. 4: eine Darstellung mit Kugelschale als Benutzervolumen. Fig. 4: a representation with spherical shell as a user volume.
In Fig. 1 ist ein Bildschirmbereich 1 zu sehen, auf dem Steuerelemente (in Fig.2 dargestellt) abgebildet sind. Durch eine Anwahl dieser Steuerelemente werden Steuervorgänge ausgelöst. Die Steuerung erfolgt durch eine Bedienperson 2. Durch die Armenden 3 bzw. 4, welche den Händen der Bedienperson 2 entsprechen, kann eine Steuerung erfolgen. Im vorliegenden Fall wird das Ende der Hand 4 als Ortsinformation für die Steue- rung verwendet. Dieses Handende der Hand 4 wird auf den Bild¬ schirm 1 projiziert, und zwar in Form eines Cursors 6. Eine Kamera 10 ist zur Aufnahme von bedienungsrelevanten Teilen der Bedienperson vorgesehen. In Fig. 1 und Fig. 2 ist das Symbol einer Microsoft Kinect-Kamera 10 gezeigt, welche in Echtzeit 3D-Informationen liefert (mittels Infrarot-Punkt¬ musterprojektion) . Prinzipiell kann auch eine normale 2D- Kamera eine ausreichende Bildinformation für die FIG. 1 shows a screen area 1 on which control elements (shown in FIG. 2) are depicted. Selecting these controls will trigger control actions. The control is performed by an operator 2. Through the arm ends 3 and 4, which correspond to the hands of the operator 2, a control can be done. In the present case, the end of the hand 4 is used as location information for the control. This hand of the hand 4 is projected onto the screen ¬ 1, in the form of a cursor 6. A camera 10 is provided for receiving user-relevant parts of the operator. In Fig. 1 and Fig. 2, the symbol of a Microsoft Kinect camera 10 is shown, which provides real-time 3D information (by means of infrared dot ¬ pattern projection). In principle, a normal 2D camera can provide sufficient image information for the
Gestikbedienung und Anatomieermittlung liefern. Es sind auch 2D-Kameras in Steroskopie-Anordnung vorstellbar, um 3D-Daten zu erhalten. Ebenso gibt es Time-of-Flight-3D-Kameras , welche hierfür auch gut einsetzbar sind. Provide gestures and anatomy assessment. It is also possible to imagine 2D cameras in stereoscopic arrangement in order to obtain 3D data. There are also time-of-flight 3D cameras, which are also well usable for this purpose.
Die Erfindung verbessert die Bedienbarkeit , indem der auf den Bildschirm 1 projizierte Bereich nach Maßgabe der Anatomie der Bedienperson 2 eingestellt bzw. angepasst wird. Dabei wird von einem virtuellen Bedienvolumen 5 ausgegangen, dessen Größe benutzerabhängig angepasst wird. Dazu wird beispiels¬ weise mit der Kamera 10 die Länge der Arme und somit der Be¬ reich, der maximal abgedeckt werden kann, ermittelt. In die- ses aufgespannte Gesamtvolumen zur Gestenausführung wird das virtuelle, sensitive Raumvolumen 5 so angepasst, dass sich aus Sicht des Anwenders annähernd eine intuitive Herz-Hand- Projektion ergibt. Es wird dabei auch berücksichtigt, dass ein Benutzer mit der rechten Hand leichter Bewegungen nach rechts ausführen kann als nach links, indem die Körpermitte nicht zwingend der Bildschirmmitte entsprechend festgelegt wird. Eine Bedienung erfolgt nun so, dass durch Bewegung der Hand 4 der Benutzer den Cursor 6 auf ein Bedienelement bewegt und beispielsweise durch eine bestimmte Gestik einen Bedien- Vorgang triggert. The invention improves operability by adjusting or adjusting the area projected on the screen 1 in accordance with the anatomy of the operator 2. It is assumed that a virtual operating volume 5, the size of which is adjusted user-dependent. To this end, example ¬, with the camera 10, the length of the arms and thus the Be ¬ rich, which can be a maximum covered determined. The virtual, sensitive room volume 5 is adapted in this total volume for gesture execution in such a way that, from the user's point of view, the result is an almost intuitive heart-to-hand projection. It is also taken into account that a user with his right hand easier to make movements to the right than to the left by the body center is not necessarily determined according to the screen center accordingly. An operation is now carried out so that by moving the hand 4, the user moves the cursor 6 on a control element and triggers an operating process, for example by a certain gesture.
In Fig. 2 ist eine mögliche Gestaltung des Bildschirmbereichs 1 gezeigt. Auf dem Bildschirm 1 sind Felder angezeigt, die Menüs (z.B. Feld 8) bzw. Funktionen (z.B. Feld 9) entspre¬ chen. Durch Bewegung der Steuerhand 4 bringt der Bediener den Cursor auf das gewünschte Feld und triggert z.B. mittels ei¬ ner Geste einen Menüaufruf oder eine angewählte Funktion. In Fig. 2 shows a possible design of the screen area 1 is shown. On the screen 1 fields are displayed, the Menus (eg field 8) or functions (eg field 9) corre ¬ chen. By moving the control hand 4, the operator brings the cursor to the desired field and triggers eg by ei ¬ ner gesture a menu or a selected function.
Ein erfindungemäßes Verfahren ist in Fig. 3 beschrieben. In Schritt 11 erfolgt eine Aufnahme des Bedieners bzw. der Be¬ dienperson durch eine Kamera. Im nächsten Schritt 12 werden aus der Kameraaufnahme anatomische Parameter errechnet. An- schließend wird auf Grundlage der anatomischen Parameter ein (virtuelles) Bedienvolumen festgelegt. Die Festlegung kann dabei nicht nur Form und Größe sondern auch die Position des Bedienvolumens betreffen. Bei einer Gestikerkennung, die eine Bewegung der Bedienperson erlaubt, kann vorgesehen sein, dass die Position des Volumens entsprechend verändert wird, d.h. das Volumen dem Bediener sozusagen folgt. In diesem Fall betrifft die Festlegung gemäß Schritt 13 die Startposition. Diese kann u.a. auch von der Art der Bedienung abhängen. Z.B. ist bei Einhandbedienung das Volumen nicht symmetrisch zum Bediener angeordnet, sondern horizontal in Richtung der Bedienhand verschoben. Im nächsten Schritt 14 wird auch dem Bildschirm bzw. der Bedienoberfläche, welche in der Regel als Bildschirm ausgeführt ist, ein Bereich für die Bedienung festgelegt. Dieser Bereich kann auch die gesamte Bedienober- fläche umfassen. Optional erfolgt noch eine Skalierung oder Anpassung des Bedienbereichs für eine intuitivere Bedienung. Diese Anpassung kann z.B. im Sinne einer Herz-Hand-Projektion durchgeführt werden. Mittels eines Cursors wird die Handposi¬ tion der Bedienhand auf der Bedienoberfläche wiedergegeben (Schritt 16) . Eine Herz-Hand-Projektion lässt sich auch mittels des Abbildungsalgorithmus emulieren, der aus der Handpo¬ sition die Cursorposition errechnet. Nach erfolgter Einstellung wird im letzten Schritt 17 die Steuerung durch An inventive method is described in Fig. 3. In step 11 an image of the operator or the Be ¬ serving person is performed by a camera. In the next step 12, anatomical parameters are calculated from the camera image. Subsequently, a (virtual) operating volume is determined on the basis of the anatomical parameters. The determination can relate not only shape and size but also the position of the operating volume. In a Gestikerkennung that allows movement of the operator, it can be provided that the position of the volume is changed accordingly, ie the volume follows the operator, so to speak. In this case, the determination according to step 13 relates to the starting position. Among other things, this may depend on the type of operation. For example, in one-handed operation, the volume is not symmetrical to the operator, but moved horizontally in the direction of the operator's hand. In the next step 14 also the screen or the user interface, which is usually designed as a screen, set a range for the operation. This area can also cover the entire user interface. Optionally, there is a scaling or adjustment of the operating area for a more intuitive operation. This adaptation can be carried out, for example, in the sense of a heart-hand projection. By means of a cursor, the hand Posi ¬ tion of the operating hand on the control surface is reproduced (step 16). A heart-hand projection can also emulate by the imaging algorithm that calculated from the Handpo ¬ sition the cursor position. After the adjustment is in the last step 17, the control
Gestikerkennung gestartet. Gesture recognition started.
Zur Beschreibung der Form des virtuellen Raumvolumens 5 kann sowohl eine Quaderform als auch eine sphärisch gekrümmte Form herangezogen werden (Beispiel Kugelschalensegment) . Letzteres dürfte ergonomischer aus der Sicht des Anwenders sein, wie auch in Fig. 4 angedeutet ist und evtl. auch für eine Emula¬ tion einer Herz-Hand-Projektion günstiger sein. In Fig. 4 ist ein Anwender 2 gezeigt, der eine Geste zur Steuerung benutzt. Mittels des Kugelschalenvolumens 5 erfolgt eine Projektion 7 auf einen Bildschirm bzw. eine Bedienoberfläche 1. For describing the shape of the virtual space volume 5, both a cuboid shape and a spherically curved shape can be used (example spherical shell segment). The latter should be more ergonomic from the user's point of view, as indicated in Fig. 4 and may also be cheaper for a Emula ¬ tion of a heart-hand projection. In Fig. 4, a user 2 is shown using a gesture for control. By means of the spherical shell volume 5, a projection 7 takes place on a screen or a user interface 1.
Die Erfindung betrifft gewissermaßen eine benutzerspezifische Kalibrierung von Steuerung durch Gestikerkennung. Diese ist insbesondere für den Einsatz im medizinischen Bereich geeignet. Andere Anwendungsmöglichkeiten beispielsweise im indust¬ riellen Bereich sind ebenfalls denkbar. Eine derartige Steue¬ rung im industriellen Bereich ist vor allem dann von Vorteil, wenn eine Bedienperson zugleich eine Überwachung vornehmen muss und die Position der Überwachung nicht geeignet ist, um dort lokal eine Steuerung vorzusehen (z.B. innerhalb einer Fertigungsstrasse, die keinen Platz für eine Steuerkonsole vorsieht) . Mittels Gestikerkennung kann dann die Notwendig¬ keit der Positionierung der Bedienperson am Ort der Steuer- einrichtung vermieden werden. The invention, so to speak, relates to a user-specific calibration of control by gesture recognition. This is particularly suitable for use in the medical field. Other possible applications for example in the indust ¬-material area are also conceivable. Such Steue ¬ tion in the industrial field is especially advantageous if an operator also needs to perform monitoring and the position of the monitoring is not suitable to locally provide control there (for example, within a production line, which can not accommodate a control panel provides). By Gestikerkennung then the necessary ¬ speed of positioning the operator at the site of the control device can be avoided.

Claims

Patentansprüche claims
1. Einstellungsverfahren für eine Steuerung durch eine Bedienperson (2) mit Hilfe einer Zuordnung von sich auf den Körper der Bedienperson (2) beziehenden Ortsinformationen zu Positionen auf einer für die Steuerung vorgesehene Steueroberfläche (1), bei dem An adjustment method for control by an operator (2) by means of an association of location information relating to the body of the operator (2) to positions on a control surface (1) provided for the control, in which
- mindestens eine auf die Anatomie der Bedienperson (2) bezo¬ gene Information ermittelt wird, und - at least one on the anatomy of the operator (2) is determined bezo ¬ gene information, and
- die Zuordnung nach Maßgabe dieser mindestens einen Informa¬ tion festgelegt wird. - The assignment is determined in accordance with this at least one Informa ¬ tion.
2. Verfahren nach einem der vorhergehenden Ansprüche, 2. Method according to one of the preceding claims,
dadurch gekennzeichnet, dass characterized in that
- ein Volumen (5) als Definitionsbereich der Zuordnung festgelegt wird, a volume (5) is defined as the domain of the assignment,
- eine Ortsinformation zu einer Position auf der Steueroberfläche genau dann zugeordnet wird, wenn der zur Ortsinforma¬ tion gehörige Ort innerhalb des Volumens (5) liegt, und - A location information is assigned to a position on the control surface exactly when the Ortinforma ¬ tion associated location within the volume (5), and
- die Festlegung des Volumens (5) nach Maßgabe der auf die- the determination of the volume (5) in accordance with the
Anatomie der Bedienperson (2) bezogenen Information erfolgt. Anatomy of the operator (2) related information takes place.
3. Verfahren nach einem der vorhergehenden Ansprüche, 3. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass characterized in that
die mindestens eine auf die Anatomie der Bedienperson (2) be¬ zogene Information mit Hilfe von wenigstens einer Kamera (10) ermittelt wird. the be at least one to the anatomy of the operator (2) ¬ plated information by means of at least one camera (10) is determined.
4. Verfahren nach einem der vorhergehenden Ansprüche, 4. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass characterized in that
die mindestens eine auf die Anatomie der Bedienperson (2) be¬ zogene Information sich auf die Reichweite einer Hand (4) der Bedienperson bezieht. the be at least one to the anatomy of the operator (2) ¬ plated information to the reach of a hand (4) of the operator refers.
5. Verfahren nach Anspruch 4, 5. The method according to claim 4,
dadurch gekennzeichnet, dass characterized in that
- durch eine Eingabe eine Steuerung durch eine bestimmte Hand (3,4) oder durch beide Hände (3,4) festlegbar ist, und - die Zuordnung auch nach Maßgabe dieser Eingabe festgelegt wird . - By an input control by a certain hand (3,4) or by both hands (3,4) can be fixed, and - The assignment is also determined according to this input.
6. Verfahren nach Anspruch 5, 6. The method according to claim 5,
dadurch gekennzeichnet, dass characterized in that
- ein Umschalten zwischen verschiedenen Steuermethoden mittels Gestik vorgenommen werden kann.  - a switch between different control methods can be made by means of gestures.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 7. The method according to any one of the preceding claims, characterized in that
- die mindestens eine auf die Anatomie der Bedienperson (2) bezogene Information zusammen mit einer auf die Bedienperson (2) bezogenen Identifikationsinformation abgespeichert wird, und  - The at least one on the anatomy of the operator (2) related information is stored together with an on the operator (2) related identification information, and
- für eine erneute Steuerung mittels der Bedienoberfläche durch die Bedienperson (2) die mindestens eine auf die Anato¬ mie der Bedienperson (2) bezogene Information durch Speicherabfrage mit Hilfe der Identifikationsinformation ermittelt wird . - For a new control by means of the user interface by the operator (2) the at least one on the Anato ¬ mie of the operator (2) related information is determined by memory query using the identification information.
8. Vorrichtung zur Vornahme einer Einstellung für eine Steuerung durch eine Bedienperson mit Hilfe einer Zuordnung von sich auf den Körper der Bedienperson (2) beziehenden Ortsinformationen zu Positionen auf einer für die Steuerung vorge- sehene Steueroberfläche (1) nach einem der Ansprüche 1-7, mit8. A device for making a setting for a control by an operator by means of an association of on the body of the operator (2) related location information to positions on a control surface provided for the control (1) according to one of claims 1-7 , With
- mindestens einer Kamera (10) zur Ermittlung mindestens ei¬ ner auf die Anatomie der Bedienperson bezogenen Information, und - At least one camera (10) for determining at least ei ¬ ner related to the anatomy of the operator information, and
- einem Auswerterechner zur Bestimmung der Zuordnung (nicht allein) nach Maßgabe dieser mindestens einen Information.  - An evaluation calculator for determining the assignment (not alone) in accordance with this at least one piece of information.
9. Vorrichtung nach Anspruch 8, 9. Apparatus according to claim 8,
dadurch gekennzeichnet, dass es sich bei der Kamera (10) um eine 2D-Kamera oder eine 3D-Kamera handelt. characterized in that the camera (10) is a 2D camera or a 3D camera.
PCT/EP2014/060214 2013-06-19 2014-05-19 Adjustment method and appropriate apparatus for contactless control by an operator WO2014202307A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013211566.0 2013-06-19
DE201310211566 DE102013211566A1 (en) 2013-06-19 2013-06-19 Adjustment method and apparatus for contactless control by an operator

Publications (1)

Publication Number Publication Date
WO2014202307A1 true WO2014202307A1 (en) 2014-12-24

Family

ID=50828881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/060214 WO2014202307A1 (en) 2013-06-19 2014-05-19 Adjustment method and appropriate apparatus for contactless control by an operator

Country Status (2)

Country Link
DE (1) DE102013211566A1 (en)
WO (1) WO2014202307A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070118400A1 (en) 2005-11-22 2007-05-24 General Electric Company Method and system for gesture recognition to drive healthcare applications
EP1967941A2 (en) * 2000-07-24 2008-09-10 GestureTek, Inc. Video-based image control system
US20100302145A1 (en) * 2009-06-01 2010-12-02 Microsoft Corporation Virtual desktop coordinate transformation
US20110193939A1 (en) * 2010-02-09 2011-08-11 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
WO2012041371A1 (en) 2010-09-29 2012-04-05 Brainlab Ag Method and device for controlling appartus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8670023B2 (en) * 2011-01-17 2014-03-11 Mediatek Inc. Apparatuses and methods for providing a 3D man-machine interface (MMI)

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1967941A2 (en) * 2000-07-24 2008-09-10 GestureTek, Inc. Video-based image control system
US20070118400A1 (en) 2005-11-22 2007-05-24 General Electric Company Method and system for gesture recognition to drive healthcare applications
US20100302145A1 (en) * 2009-06-01 2010-12-02 Microsoft Corporation Virtual desktop coordinate transformation
US20110193939A1 (en) * 2010-02-09 2011-08-11 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
WO2012041371A1 (en) 2010-09-29 2012-04-05 Brainlab Ag Method and device for controlling appartus

Also Published As

Publication number Publication date
DE102013211566A1 (en) 2014-12-24

Similar Documents

Publication Publication Date Title
Wodlinger et al. Ten-dimensional anthropomorphic arm control in a human brain− machine interface: difficulties, solutions, and limitations
EP2449997B1 (en) Medical workstation
DE102011083876B4 (en) Method for controlling the movement of an X-ray device and X-ray system
EP1638064B1 (en) Training simulator for minimally invasive medical operations
EP2328501B1 (en) Medical work station and operating device for manually moving a robot arm of a medical work station
DE112013002018T5 (en) Real-time pose and motion prediction when performing operational tasks
DE102015204628B4 (en) Method of planning a medical imaging study
DE102013226244A1 (en) Medical control
DE102012204018A1 (en) control unit
WO2015055320A1 (en) Recognition of gestures of a human body
Ganel et al. Variability-based Garner interference for perceptual estimations but not for grasping
Krüger et al. Joint angle variability in the time course of reaching movements
Krüger et al. Synergistic control of joint angle variability: influence of target shape
DE102015211965A1 (en) Non-contact device control in the medical sterile field
WO2014202307A1 (en) Adjustment method and appropriate apparatus for contactless control by an operator
Afgin et al. Visuomotor resolution in telerobotic grasping with transmission delays
DE102008050542A1 (en) Medical image recording system for obtaining graphic data, has control equipment, which is formed for receiving input signal of control unit operated by operator
DE102004020817B4 (en) Device for influencing a head movement of a person
DE102019118752A1 (en) Method for adaptive function reassignment of control elements of an image recording system and the associated image recording system
DE102018130640A1 (en) Virtual operation
DE10253075B4 (en) Device for the diagnosis and / or treatment of dysfunctions of the cervical spine
DE102013208762A1 (en) Intuitive gesture control
DE102016217204A1 (en) A method for scheduling and / or controlling a medical imaging examination by means of a mobile terminal
DE102017208451B4 (en) Man-machine interface and method for calibrating such
WO2012156159A1 (en) Evaluation method for a sequence of chronologically sequential depth images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14726559

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14726559

Country of ref document: EP

Kind code of ref document: A1