WO2010049213A2 - Method for the operation of an input device, and input device - Google Patents

Method for the operation of an input device, and input device Download PDF

Info

Publication number
WO2010049213A2
WO2010049213A2 PCT/EP2009/062012 EP2009062012W WO2010049213A2 WO 2010049213 A2 WO2010049213 A2 WO 2010049213A2 EP 2009062012 W EP2009062012 W EP 2009062012W WO 2010049213 A2 WO2010049213 A2 WO 2010049213A2
Authority
WO
WIPO (PCT)
Prior art keywords
input device
sensor
data processing
weights
sensor signals
Prior art date
Application number
PCT/EP2009/062012
Other languages
German (de)
French (fr)
Other versions
WO2010049213A3 (en
Inventor
Leopold Beer
Peter Moeller
Frank Melzer
Wolfgang Schmitt
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2010049213A2 publication Critical patent/WO2010049213A2/en
Publication of WO2010049213A3 publication Critical patent/WO2010049213A3/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Definitions

  • the invention is based on a method for operating an input device according to the preamble of claim 1.
  • DE 101 10 428 A1 discloses a method for carrying out an object tracking, in which acceleration measurement data are determined by means of an inertial sensor and an input device, for example a computer mouse, which can be moved on a planar support, wherein position data about the movement of the acceleration data are obtained from these acceleration measurement data Input device, which may be displayed or otherwise provided with data processing or may be used in control processes, being detected during execution of the method, when the input device is at rest and a threshold check is performed on the acquired acceleration measurement data to recognize if the
  • Acceleration measurement data are within or outside a threshold range, wherein a resting of the input device is assumed if the determined acceleration measurement data over a predetermined calibration period within the threshold range, wherein from the determined acceleration measurement data, during the predetermined calibration period within the
  • Threshold range are (resting the input device), a mean value is calculated that the calculated mean value is used as an offset for the fine correction of acceleration measurement data.
  • a disadvantage of this method is that the evaluation of the acceleration measurement data requires a comparatively high amount of computation, whereby a compact, energy-saving and cost-effective integration of such a method into a complex pakt input device is not possible. Furthermore, evaluations of acceleration measurement data which are generated by comparatively complex movement patterns are not possible.
  • the method according to the invention for operating an input device and the input device according to the independent claims have the advantage over the prior art that on the one hand no comparatively complex algorithms for evaluating the sensor signals are necessary and, on the other hand, an adaptation of the evaluation to the usage scheme of the input device is made possible ie the neural network can be flexibly trained for the optimal evaluation of the sensor signals in a comparatively simple manner. This trainability of the evaluation also leads to a significant cost savings in the production of
  • Input device since the evaluation of the sensor signals is not rigidly based on the absolute values of the sensor signals, but flexibly adjusts to the pattern of the sensor signals, hereinafter also referred to as signal pattern, and therefore in comparison to the prior art to a costly adjustment of the sensors during production can be waived. Furthermore, by evaluating the sensor signals with a neural network, in contrast to the prior art, comparatively complex signal patterns can be easily identified without the need for computation-intensive microprocessors with a high power requirement. Due to the parallel data processing in a neural network, a much faster evaluation of the control signals can be achieved. Particularly preferably, it is provided that a user of the input device trains the neural network itself and thus adapts to his personal movement profile.
  • the neural network "recognizes" certain movements of the input device by the user and accordingly controls the data processing device as a function of this detected movement.
  • the input device comprises a game controller for simulating a tennis racket for a game simulation running on a game console, wherein the data processing device comprises the game console.
  • the evaluation unit now evaluates the sensor signals in order to generate special signal patterns, ie in particular movement patterns such as, for example, an impact, a forehand strike, backhand stroke, a a blip or a volley, and to control the game console accordingly.
  • the flexibility of the neural network also identifies "similar" signal patterns correctly by the evaluation unit.
  • the user of the input device before the actual tennis game repeatedly executes the various strokes in a training mode and the corresponding signal patterns are stored in the evaluation, so that the neural network is programmed by the user and / or automatically trained and no complex Algorithm for detecting the signal pattern must be developed.
  • Similarities is for example a different adaptation of the evaluation between left-handed and right-handed possible.
  • the personalized, i. User-optimized, neural network stored in the input device so that with the same on the user optimized input device and other data processing devices are controllable.
  • the term input device as a human-machine interface in the sense of the present invention comprises, in particular, that the data processing device can be indirectly or directly controlled by the user through the use of the input device.
  • sensor signals are determined by means of the sensor, which are dependent on an acceleration and / or a rotation rate of the input device.
  • the at least one sensor comprises an inertial sensor, in particular an acceleration and / or rotation rate sensor, wherein preferably a 2- or 3-channel inertial sensor is used. Particularly advantageous is thus the
  • Data processing device controllable by means of a one-, two- or three-dimensional movement of the input device in space. It is particularly preferred that the input device comprises a three-channel rotation rate sensor and a three-channel acceleration sensor, so that any rotational and translational movements of the input device are dependent on the evaluation unit. are to be evaluated and can be used to control the data processing device.
  • sensor signals are determined by means of the sensor, which are dependent on a pressure on a pressure-sensitive region of the input device.
  • mechanical keys or pushbuttons on the input device are particularly preferably realizable, which are preferably provided in addition to the movement of the input device for controlling the data processing device.
  • the sensor signals are dependent on the size of the
  • signal patterns and in particular movement patterns are determined in the evaluation unit as a function of the sensor signals, the control signals being generated at least partially as a function of the signal patterns and in particular of the movement patterns.
  • Neural networks are comparatively well suited for the recognition of patterns, since neural networks are able to identify or characterize "similarities" in patterns and, moreover, can be flexibly adapted to changed input parameters by "training".
  • the neural network is used for the detection of signal patterns in the sensor signals, so that with a comparatively low circuit complexity and compared to the prior art, significantly faster signal patterns in a complex plurality of correlated sensor signals are identifiable, which in the control of the data processing device be included.
  • the movement of the input device when executing a tennis serve is comparatively complex and differs comparatively strongly among different users, so that the recognition of a typical tennis court signal pattern in the plurality of
  • the neural network comprises a set of weights, wherein the control signals in
  • a neural network In particular, the plant consists of a large number of nodes, which are each connected to one another, the connections and / or the nodes each having a weighting.
  • the functionality of the neural network is given as a first approximation by the distribution of the weights.
  • the control signals are generated as a function of the set of weights, so that the neural network ensures maximum performance.
  • the set of weights is preferably permanently and / or temporarily stored in the input device. Particularly preferably, it is provided that a plurality of sets of weights can be stored in the input device, so that one set of weights can be assigned to each of a plurality of users of the input device.
  • the set of weights is preset and / or generated as a function of the sensor signals and / or modified as a function of the sensor signals.
  • the set of weights is produced in a "training mode", so that in the manufacture of the input device no complex algorithm for the detection of signal patterns has to be developed and thus the development costs can be reduced considerably.
  • the modification of the set of weights during use of the input device is particularly advantageously provided, so that the neural network is trained and an increase in quality or a progressive individualization of the functionality of the evaluation unit during use by a particular user is made possible.
  • Training of the neuronal network is particularly preferably carried out in a training mode, wherein a sequence of different movement sequences are displayed to a user by the data processing device, in particular on a display, and the neural network learns the corresponding signal patterns after the corresponding imitation of the movement sequences by the user trained.
  • control and / or sensor signals are calibrated as a function of the set of weights and / or that the sensitivity of the sensor signal detection is set as a function of the set of weights.
  • the input device or the evaluation unit is calibrated in training mode, so that a comparatively cost-intensive adjustment of the sensors during the manufacture of the input device can be saved.
  • the set of weights is modified as a function of a feedback from the data processing device.
  • the correct recognition of signal patterns is particularly advantageously verified by the evaluation unit, wherein the user performs a predetermined sequence of movements, the evaluation unit carries out a corresponding evaluation of the sensor signals and forwards the corresponding control signal to the data processing device.
  • the evaluation is visualized, in which case the user then gives feedback on the quality of the evaluation by the input device or by further input means of the data processing means. By means of this feedback, the rebalancing of the set of weights is continued or reversed in the evaluation unit.
  • the evaluation by the neural network is thus consistently improved by "trial and error" cycles in the test mode.
  • Another object of the present invention is an input device for controlling a data processing device, wherein the input device comprises a human-machine interface for the data processing device, wherein the input device at least one sensor for generating sensor signals, an evaluation unit for generating control signals in response to the sensor signals and an output unit for outputting the control signals to the data processing device, and further wherein the
  • Evaluation unit comprises a neural network.
  • the design of the evaluation unit as a neural network in comparison with the prior art particularly advantageously enables a reduction of the manufacturing costs of the input device, as well as an efficient evaluation of complex sensor signals and in particular complex patterns of
  • the senor comprises an inertial sensor, in particular an acceleration and / or rotation rate sensor, and / or a pressure sensor, so that advantageously the data processing device by a user by rotational and / or translation movements of the input device , especially in all three
  • the neural network comprises a software and / or hardware-based neural network.
  • the implementation of the neural network in the evaluation unit as a hardware-based, in particular "hard-wired" neural network enables a reduction in power consumption and a reduction in production costs, since comparatively complex and cost-intensive microprocessors can be saved.
  • the evaluation speed is significantly increased by the parallel information processing in a hardware-based neural network. Due to the saving of power-intensive microprocessors, a cooling of the evaluation unit is also possible.
  • a software-based neural network enables the use of standard semiconductor components, such as microprocessors, so that comparatively cost-intensive and complex ASICs for implementing hardware-based neural networks can be saved. Furthermore, software-based neural networks are subsequently modifiable, in contrast to hardware-based neural networks.
  • the input device has a memory and in particular a lookup table for storing at least one set of weights, wherein preferably a certain user of the input device is assigned a specific set of weights, so that the particular one Set of weights particularly advantageous individually optimizable to the movement characteristics of the corresponding person.
  • the input device comprises a portable electrical and / or electronic device and
  • Figure 1 is a schematic view of an input device according to a first
  • Figure 2 is a schematic view of an input device according to a second embodiment of the present invention.
  • FIG. 1 shows a schematic view of an input device 1 according to a first embodiment of the present invention, the input device 1 for controlling a data processing device 2 and the data processing device 2 being illustrated in FIG.
  • the input device 1 comprises a human-machine interface for the data processing device 2, so that the data processing device 2 can be indirectly or directly controlled by a human user by means of the input device 1.
  • the input device 1 has a plurality of sensors 3, wherein a three-channel acceleration sensor 3 'is provided for sensing a translational movement of the input device 1 in one of the three spatial directions, wherein a three-channel rotation rate sensor 3 "for sensing a rotational movement about one of the three three spatial directions and further wherein a pressure sensor 3 "'for sensing at least one pressure on a pressure-sensitive area V (for example, a button or a switch) of the input device 1 is provided.
  • a three-channel acceleration sensor 3 ' is provided for sensing a translational movement of the input device 1 in one of the three spatial directions
  • a three-channel rotation rate sensor 3 "for sensing a rotational movement about one of the three three spatial directions and further wherein a pressure sensor 3 "'for sensing at least one pressure on a pressure-sensitive area V (for example, a button or a switch) of the input device 1 is provided.
  • V for example, a button or a switch
  • the sensor signals 30 'of the acceleration sensor 3', the sensor signals 30 "of the rotation rate sensor 3" and the sensor signals Ie 30 '"of the pressure sensor 3"' are evaluated by an evaluation unit 4, wherein the evaluation unit 4 a neural network 6 (only schematically or exemplified).
  • the evaluation unit 4 generates in response to the sensor signals 30, 30 ', 30 ", 30"' control signals 40, which are passed from an output unit 5 to the data processing device 2 and are provided for controlling the data processing device 2.
  • the functionality of the neural network 6 is at least partially characterized by a set 9 of weights which is stored in a look-up table T of a memory 7 in the input device 1.
  • the neural network 6 is preferably provided to identify signal patterns in the sensor signals 30, 30 ', 30 ", 30'” and to generate corresponding control signals 40 in response to the sensor signals 30, 30 ', 30 ", 30'” and the signal patterns , In one
  • Training mode are preferably known or predetermined by the data processing device 2 movements of the input device 1 by the user for programming or training of the neural network 6 performed so that the sentence 9 generated by weights and / or customized (eg Perceptron -Lernregel, Backpropagation).
  • This set 9 of weights is particularly preferably stored specifically for this particular user in the memory 7, wherein in the memory 7 more preferably further sets 9 of weights are stored for other users. Movements whose characteristic signal patterns are identified by the neural network 6 are, for example, a movement of the
  • the neural network 6 comprises, in particular, a hardware-based and / or a software-based neural network, the weights in particular in each case the weighting between a connection of two
  • the data processing device 2 comprises a mobile phone, wherein the input device 1 is integrated in the mobile phone. Due to certain movements performed by the mobile, certain functions associated with the movements become controlled on the mobile phone ("Gesture Recognition").
  • the input device 1 is integrated into a mobile phone and the data processing device 2 comprises another mobile phone or an electrical or electronic device, such as a television, so that by means of the input device 1 in the form of the mobile phone the other mobile phone or the electrical or electronic device is controlled.
  • the input device 1 preferably comprises a game controller for a data processing device 2 in the form of a computer or a game console.
  • the game controller particularly preferably represents a tennis racket by way of example, while a tennis simulation program runs on the data processing device 2, wherein various evaluation sequences of the game controller are assigned by the evaluation unit 4 to certain signal patterns of the evaluation unit 4.
  • the evaluation unit 4 evaluates the sensor signals 30, 30 ', 30 ", 30'" in order to recognize special signal patterns, ie in particular movement patterns such as an impact, a forehand strike, backhand strike, a smash or a volley, and the computer or computer to control the game console accordingly. Due to the flexibility of the neural network, "similar" signal patterns are also identified by the evaluation unit.
  • the user of the input device repeatedly executes the various beats in a training mode before the actual tennis match and the corresponding signal patterns are stored in the evaluation unit 4 or in the memory 7 in the form of the set 9 of weights that the neural network is trained automatically.
  • the examples given are purely exemplary
  • the input device 1 is also for controlling further sports simulations on a data processing device 2, such as a golf simulator (golf club input device 1), vehicle simulator (input device 1 in the form of a joystick or steering wheel) or a football simulator (input device 1 in FIG.
  • Shape of a soccer shoe), etc. as well as for controlling other programs on a data processing device 2, such as standard applications such as MS Office, text and spreadsheets, CAD programs, Internet, etc. provided, wherein the input device 1, for example includes a computer mouse, a laser pointer and / or a trackball and certain movement patterns of the input device determined Functions and / or programs.
  • the input device 1 is used as an aid for controlling data processing devices 2 for physically and / or mentally handicapped persons, wherein the data processing devices 2 are very particularly preferably provided for controlling wheelchairs and / or emergency call devices.
  • FIG. 2 shows a schematic view of an input device 1 according to a second embodiment of the present invention, the second embodiment being substantially identical to the first embodiment shown in FIG. 1, the sensors 3, 3 ', 3 ", 3' of the input device 1 are integrated into a game controller and wherein the evaluation unit 4, the memory 7 and the data processing device 5 are integrated into a device 20 which comprises a computer or a game console, the device 20 additionally having a further memory 21 for user-specific data having. Furthermore, the evaluation unit 4 is supplied with the software 22 on which the program is based, for example the computer game or the simulation program. The movements of the game controller are visualized on a screen 23.

Abstract

A method for operating an input device as a human-machine interface is proposed. In said method, a data processing device is controlled using the input device, sensor signals of the input device are determined using at least one sensor, control signals are generated in accordance with the sensor signals using an evaluation unit, and the control signals are forwarded to the data processing device using an output unit. The control signals in the evaluation unit are generated using a neural network.

Description

Beschreibung description
Titeltitle
Verfahren zum Betrieb einer Eingabevorrichtung und EingabevorrichtungMethod for operating an input device and input device
Stand der TechnikState of the art
Die Erfindung geht aus von einem Verfahren zum Betrieb einer Eingabevorrichtung nach dem Oberbegriff des Anspruchs 1 .The invention is based on a method for operating an input device according to the preamble of claim 1.
Solche Verfahren sind allgemein bekannt. Beispielsweise geht aus der Druckschrift DE 101 10 428 A1 ein Verfahren zum Ausführen einer Objektverfolgung hervor, wobei mittels einer Inertialsensoren umfassenden und auf einer flächenhaften Unterlage bewegbaren Eingabevorrichtung, beispielsweiser einer Computermaus, Beschleunigungsmessdaten ermittelt werden, wobei aus diesen Be- schleunigungsmessdaten Positionsdaten über die Bewegung der Eingabevorrichtung errechnet werden, die angezeigt oder in beliebiger Weise weiterer Datenverarbeitung zugeführt oder zu Steuerungsprozessen verwendet werden können, wobei während der Ausführung des Verfahrens erkannt wird, wenn sich die Eingabevorrichtung in Ruhe befindet und wobei eine Schwellwertprüfung für die er- mittelten Beschleunigungsmessdaten durchgeführt wird, um zu erkennen, ob dieSuch methods are well known. For example, DE 101 10 428 A1 discloses a method for carrying out an object tracking, in which acceleration measurement data are determined by means of an inertial sensor and an input device, for example a computer mouse, which can be moved on a planar support, wherein position data about the movement of the acceleration data are obtained from these acceleration measurement data Input device, which may be displayed or otherwise provided with data processing or may be used in control processes, being detected during execution of the method, when the input device is at rest and a threshold check is performed on the acquired acceleration measurement data to recognize if the
Beschleunigungsmessdaten innerhalb oder außerhalb eines Schwellwertbereichs liegen, wobei ein Ruhen der Eingabevorrichtung angenommen wird, wenn die ermittelten Beschleunigungsmessdaten über eine vorgebbare Kalibrierzeitdauer innerhalb des Schwellwertbereichs liegen, wobei aus den ermittelten Beschleuni- gungsmessdaten, die während der vorgebbaren Kalibrierzeitdauer innerhalb desAcceleration measurement data are within or outside a threshold range, wherein a resting of the input device is assumed if the determined acceleration measurement data over a predetermined calibration period within the threshold range, wherein from the determined acceleration measurement data, during the predetermined calibration period within the
Schwellwertbereichs liegen (Ruhen der Eingabevorrichtung), ein Mittelwert errechnet wird, dass der errechnete Mittelwert als Offset zur Feinkorrektur von Beschleunigungsmessdaten herangezogen wird. Nachteilig an diesem Verfahren ist, dass die Auswertung der Beschleunigungsmessdaten einen vergleichsweise hohen Rechenaufwand erfordert, wodurch eine bauraumkompakte, stromsparende und kostengünstige Integration eines derartigen Verfahrens in eine kom- pakte Eingabevorrichtung nicht möglich ist. Ferner sind Auswertungen von Beschleunigungsmessdaten, welche durch vergleichsweise komplexe Bewegungsmuster erzeugt werden, nicht möglich.Threshold range are (resting the input device), a mean value is calculated that the calculated mean value is used as an offset for the fine correction of acceleration measurement data. A disadvantage of this method is that the evaluation of the acceleration measurement data requires a comparatively high amount of computation, whereby a compact, energy-saving and cost-effective integration of such a method into a complex pakt input device is not possible. Furthermore, evaluations of acceleration measurement data which are generated by comparatively complex movement patterns are not possible.
Offenbarung der ErfindungDisclosure of the invention
Das erfindungsgemäße Verfahren zum Betrieb einer Eingabevorrichtung und die erfindungsgemäße Eingabevorrichtung gemäß den nebengeordneten Ansprüchen haben gegenüber dem Stand der Technik den Vorteil, dass einerseits keine vergleichsweise komplexen Algorithmen zur Auswertung der Sensorsignale notwendig sind und andererseits gleichzeitig eine Adaption der Auswertung an das Benutzungsschema der Eingabevorrichtung ermöglicht wird, d.h. das Neuronale Netzwerk ist auf die optimale Auswertung der Sensorsignale in vergleichsweise einfacher Weise flexibel trainierbar. Diese Trainierbarkeit der Auswerteeinheit führt darüberhinaus zu einer erheblichen Kostenersparnis bei der Fertigung derThe method according to the invention for operating an input device and the input device according to the independent claims have the advantage over the prior art that on the one hand no comparatively complex algorithms for evaluating the sensor signals are necessary and, on the other hand, an adaptation of the evaluation to the usage scheme of the input device is made possible ie the neural network can be flexibly trained for the optimal evaluation of the sensor signals in a comparatively simple manner. This trainability of the evaluation also leads to a significant cost savings in the production of
Eingabevorrichtung, da die Auswertung der Sensorsignale nicht starr auf den Absolutwerten der Sensorsignale basiert, sondern sich flexibel auf das Muster der Sensorsignale, im Folgenden auch als Signalmuster bezeichnet, einstellt und daher im Vergleich zum Stand der Technik auf einen kostenintensiven Abgleich der Sensoren während der Fertigung verzichtet werden kann. Ferner sind durch die Auswertung der Sensorsignale mit einem Neuronalen Netzwerkes im Gegensatz zum Stand der Technik vergleichsweise komplexe Signalmuster einfach zu identifizieren, ohne dass rechenintensive Mikroprozessoren mit hohem Leistungsbedarf benötigt werden. Durch die parallele Datenverarbeitung in einem Neuronalen Netzwerk ist zudem eine deutlich schnellere Auswertung der Steuersignale erzielbar. Besonders bevorzugt ist vorgesehen, dass ein Benutzer der Eingabevorrichtung das Neuronale Netzwerk selbst trainiert und somit auf sein persönliches Bewegungsprofil anpasst. Dabei "erkennt" das Neuronale Netzwerk insbesondere bestimmte Bewegungen der Eingabevorrichtung durch den Benut- zer und steuert die Datenverarbeitungsvorrichtung entsprechend in Abhängigkeit dieser erkannten Bewegung. Beispielsweise umfasst die Eingabevorrichtung einen Gamecontroller zur Simulation eines Tennisschlägers für ein auf einer Spielkonsole laufendes Tennissimulationsprogramm, wobei die Datenverarbeitungsvorrichtung die Spielkonsole umfasst. Die Auswerteeinheit wertet nun die Sen- sorsignale aus, um spezielle Signalmuster, d.h. insbesondere Bewegungsmuster wie beispielsweise einen Aufschlag, einen Vorhandschlag, Rückhandschlag, ei- nen Schmetterschlag oder einen Volley, zu erkennen und die Spielkonsole entsprechend zu steuern. Im Gegensatz zum Stand der Technik werden dabei durch die Flexibilität des Neuronalen Netzwerkes auch "ähnliche" Signalmuster von der Auswerteeinheit richtig identifiziert. Besonders bevorzugt ist ferner vorgesehen, dass der Benutzer der Eingabevorrichtung vor dem eigentlichen Tennisspiel die verschiedenen Schläge in einem Trainingsmodus mehrfach ausführt und die entsprechenden Signalmuster in die Auswerteeinheit eingespeichert werden, so dass das Neuronale Netzwerk vom Benutzer programmiert und/oder automatisch trainiert wird und kein komplexer Algorithmus zur Erkennung der Signalmuster entwickelt werden muss. Durch die Trainierbarkeit bzw. durch das Erkennen vonInput device, since the evaluation of the sensor signals is not rigidly based on the absolute values of the sensor signals, but flexibly adjusts to the pattern of the sensor signals, hereinafter also referred to as signal pattern, and therefore in comparison to the prior art to a costly adjustment of the sensors during production can be waived. Furthermore, by evaluating the sensor signals with a neural network, in contrast to the prior art, comparatively complex signal patterns can be easily identified without the need for computation-intensive microprocessors with a high power requirement. Due to the parallel data processing in a neural network, a much faster evaluation of the control signals can be achieved. Particularly preferably, it is provided that a user of the input device trains the neural network itself and thus adapts to his personal movement profile. In particular, the neural network "recognizes" certain movements of the input device by the user and accordingly controls the data processing device as a function of this detected movement. For example, the input device comprises a game controller for simulating a tennis racket for a game simulation running on a game console, wherein the data processing device comprises the game console. The evaluation unit now evaluates the sensor signals in order to generate special signal patterns, ie in particular movement patterns such as, for example, an impact, a forehand strike, backhand stroke, a a blip or a volley, and to control the game console accordingly. In contrast to the prior art, the flexibility of the neural network also identifies "similar" signal patterns correctly by the evaluation unit. Particularly preferably, it is further provided that the user of the input device before the actual tennis game repeatedly executes the various strokes in a training mode and the corresponding signal patterns are stored in the evaluation, so that the neural network is programmed by the user and / or automatically trained and no complex Algorithm for detecting the signal pattern must be developed. Through the trainability or through the recognition of
"Ähnlichkeiten" ist beispielsweise eine unterschiedliche Adaption der Auswertung zwischen Linkshändern und Rechtshändern möglich. Ganz besonders bevorzugt ist das personalisierte, d.h. auf einen Benutzer optimierte, Neuronale Netzwerk in der Eingabevorrichtung abgespeichert, so dass mit der gleichen auf den Benut- zer optimierten Eingabevorrichtung auch andere Datenverarbeitungsvorrichtungen steuerbar sind. Der Begriff Eingabevorrichtung als Mensch-Maschine- Schnittstelle umfasst im Sinne der vorliegenden Erfindung insbesondere, dass die Datenverarbeitungsvorrichtung durch die Benutzung der Eingabevorrichtung durch einen Benutzer mittelbar oder unmittelbar steuerbar ist."Similarities" is for example a different adaptation of the evaluation between left-handed and right-handed possible. Most preferably, the personalized, i. User-optimized, neural network stored in the input device, so that with the same on the user optimized input device and other data processing devices are controllable. The term input device as a human-machine interface in the sense of the present invention comprises, in particular, that the data processing device can be indirectly or directly controlled by the user through the use of the input device.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind den Unteransprüchen, sowie der Beschreibung unter Bezugnahme auf die Zeichnungen zu entnehmen.Advantageous embodiments and modifications of the invention are described in the dependent claims, as well as the description with reference to the drawings.
Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass mittels des Sensors Sensorsignale ermittelt werden, welche von einer Beschleunigung und/oder einer Drehrate der Eingabevorrichtung abhängig sind. Besonders vorteilhaft umfasst der wenigstens eine Sensor einen Inertialsensor, insbesondere einen Be- schleunigungs- und/oder Drehratensensor, wobei vorzugsweise ein 2- oder 3- kanaliger Inertialsensor Verwendung findet. Besonders vorteilhaft ist somit dieAccording to a preferred embodiment, it is provided that sensor signals are determined by means of the sensor, which are dependent on an acceleration and / or a rotation rate of the input device. Particularly advantageously, the at least one sensor comprises an inertial sensor, in particular an acceleration and / or rotation rate sensor, wherein preferably a 2- or 3-channel inertial sensor is used. Particularly advantageous is thus the
Datenverarbeitungsvorrichtung mittels einer ein-, zwei- oder dreidimensionalen Bewegung der Eingabevorrichtung im Raum steuerbar. Besonders bevorzugt ist vorgesehen, dass die Eingabevorrichtung einen dreikanaligen Drehratensensor und einen dreikanaligen Beschleunigungssensor umfasst, so dass jegliche Rota- tions- und Translationsbewegungen der Eingabevorrichtung von der Auswertein- heit auszuwerten sind und zur Steuerung der Datenverarbeitungsvorrichtung nutzbar sind.Data processing device controllable by means of a one-, two- or three-dimensional movement of the input device in space. It is particularly preferred that the input device comprises a three-channel rotation rate sensor and a three-channel acceleration sensor, so that any rotational and translational movements of the input device are dependent on the evaluation unit. are to be evaluated and can be used to control the data processing device.
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass mittels des Sensors Sensorsignale ermittelt werden, welche von einem Druck auf einen drucksensitiven Bereich der Eingabevorrichtung abhängig sind. Besonders bevorzugt sind somit mechanische Tasten bzw. Druckknöpfe auf der Eingabevorrichtung realisierbar, welche vorzugsweise zusätzlich zur Bewegung der Eingabevorrichtung zur Steuerung der Datenverarbeitungsvorrichtung vorgesehen sind. Besonders bevorzugt sind die Sensorsignale abhängig von der Größe desAccording to a further preferred development, it is provided that sensor signals are determined by means of the sensor, which are dependent on a pressure on a pressure-sensitive region of the input device. Thus, mechanical keys or pushbuttons on the input device are particularly preferably realizable, which are preferably provided in addition to the movement of the input device for controlling the data processing device. Particularly preferably, the sensor signals are dependent on the size of the
Drucks auf den drucksensitiven Bereich.Pressure on the pressure-sensitive area.
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass in der Auswerteeinheit Signalmuster und insbesondere Bewegungsmuster in Abhän- gigkeit der Sensorsignale ermittelt werden, wobei die Steuersignale zumindest teilweise in Abhängigkeit der Signalmuster und insbesondere der Bewegungsmuster erzeugt werden. Neuronale Netze eignen sich vergleichsweise gut zur Erkennung von Mustern, da Neuronale Netze in der Lage sind "Ähnlichkeiten" in Mustern zu identifizieren bzw. zu charakterisieren und darüberhinaus durch "Training" flexibel an veränderte Eingangsparameter anpassbar sind. Besonders vorteilhaft wird das Neuronale Netzwerk zur Erkennung von Signalmustern in den Sensorsignalen genutzt, so dass mit einem vergleichsweise geringen Schaltungsaufwand und im Vergleich zum Stand der Technik erheblich schneller in einer komplexen Vielzahl von miteinander korrelierten Sensorsignalen bestimmte Signalmuster identifizierbar sind, welche in die Steuerung der Datenverarbeitungsvorrichtung miteinbezogen werden. In Anlehnung an das oben genannte Beispiel ist beispielsweise der Bewegungsablauf der Eingabevorrichtung bei der Ausführung eines Tennisaufschlags vergleichsweise komplex und unterscheidet sich vergleichsweise stark bei verschiedenen Benutzern, so dass die Erkennung eines für einen Tennisaufschlag typischen Signalmusters in der Vielzahl vonIn accordance with a further preferred refinement, it is provided that signal patterns and in particular movement patterns are determined in the evaluation unit as a function of the sensor signals, the control signals being generated at least partially as a function of the signal patterns and in particular of the movement patterns. Neural networks are comparatively well suited for the recognition of patterns, since neural networks are able to identify or characterize "similarities" in patterns and, moreover, can be flexibly adapted to changed input parameters by "training". Particularly advantageously, the neural network is used for the detection of signal patterns in the sensor signals, so that with a comparatively low circuit complexity and compared to the prior art, significantly faster signal patterns in a complex plurality of correlated sensor signals are identifiable, which in the control of the data processing device be included. For example, following the example given above, the movement of the input device when executing a tennis serve is comparatively complex and differs comparatively strongly among different users, so that the recognition of a typical tennis court signal pattern in the plurality of
Sensorsignalen bei einer sequentiellen Auswertung der Sensorsignale mit "herkömmlicher" Computertechnologie entsprechend leistungs- und zeitintensiv wäre.Sensor signals in a sequential evaluation of the sensor signals with "conventional" computer technology would be correspondingly powerful and time-consuming.
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass das Neu- ronale Netzwerk einen Satz von Gewichten umfasst, wobei die Steuersignale inAccording to a further preferred development, it is provided that the neural network comprises a set of weights, wherein the control signals in
Abhängigkeit des Satzes von Gewichten erzeugt werden. Ein neuronales Netz- werk besteht insbesondere aus einer Vielzahl von Knotenpunkten, welche jeweils miteinander verbunden sind, wobei die Verbindungen und/oder die Knotenpunkte jeweils eine Gewichtung aufweisen. Die Funktionalität des Neuronalen Netzes ist in erster Näherung durch die Verteilung der Gewichtungen gegeben. Besonders vorteilhaft werden die Steuersignale in Abhängigkeit des Satzes von Gewichten erzeugt, so dass das Neuronale Netzwerk ein Höchstmaß an Leistungsfähigkeit gewährleistet. Der Satz von Gewichten ist vorzugsweise in der Eingabevorrichtung dauerhaft und/oder temporär gespeichert. Besonders bevorzugt ist vorgesehen, dass in der Eingabevorrichtung einer Mehrzahl von Sätzen von Gewich- ten abspeicherbar sind, so dass einer Mehrzahl von Benutzern der Eingabevorrichtung jeweils ein Satz von Gewichten zuzuordnen ist.Dependence of the set of weights are generated. A neural network In particular, the plant consists of a large number of nodes, which are each connected to one another, the connections and / or the nodes each having a weighting. The functionality of the neural network is given as a first approximation by the distribution of the weights. Particularly advantageously, the control signals are generated as a function of the set of weights, so that the neural network ensures maximum performance. The set of weights is preferably permanently and / or temporarily stored in the input device. Particularly preferably, it is provided that a plurality of sets of weights can be stored in the input device, so that one set of weights can be assigned to each of a plurality of users of the input device.
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass der Satz von Gewichten voreingestellt wird und/oder in Abhängigkeit der Sensorsignale erzeugt wird und/oder in Abhängigkeit der Sensorsignale modifiziert wird. Besonders bevorzugt wird der Satz von Gewichten in einem "Trainingsmodus" hergestellt, so dass bei der Fertigung der Eingabevorrichtung kein komplexer Algorithmus zur Erkennung von Signalmustern entwickelt werden muss und somit die Entwicklungskosten in erheblicher Weise reduzierbar sind. Ferner ist besonders vorteilhaft die Modifikation des Satzes von Gewichten während der Benutzung der Eingabevorrichtung vorgesehen, so dass das Neuronale Netzwerk trainiert wird und eine Qualitätssteigerung bzw. eine fortschreitende Individualisierung der Funktionalität der Auswerteeinheit während der Benutzung durch einen bestimmten Benutzer ermöglicht wird. Besonders bevorzugt wird ein Training des Neuro- nalen Netzwerks in einem Trainingsmodus durchgeführt, wobei einem Benutzer durch die Datenverarbeitungsvorrichtung, insbesondere auf einem Display, sequentiell verschiedene Bewegungsabläufe angezeigt werden und das Neuronale Netzwerk nach der entsprechenden Nachahmung der Bewegungsabläufe durch den Benutzer die entsprechenden Signalmuster erlernt bzw. trainiert.According to a further preferred development, it is provided that the set of weights is preset and / or generated as a function of the sensor signals and / or modified as a function of the sensor signals. Particularly preferably, the set of weights is produced in a "training mode", so that in the manufacture of the input device no complex algorithm for the detection of signal patterns has to be developed and thus the development costs can be reduced considerably. Furthermore, the modification of the set of weights during use of the input device is particularly advantageously provided, so that the neural network is trained and an increase in quality or a progressive individualization of the functionality of the evaluation unit during use by a particular user is made possible. Training of the neuronal network is particularly preferably carried out in a training mode, wherein a sequence of different movement sequences are displayed to a user by the data processing device, in particular on a display, and the neural network learns the corresponding signal patterns after the corresponding imitation of the movement sequences by the user trained.
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die Steuer- und/oder Sensorsignale in Abhängigkeit des Satzes von Gewichten kalibriert werden und/oder dass die Empfindlichkeit der Sensorsignalerfassung in Abhängigkeit des Satzes von Gewichten eingestellt wird. Besonders vorteilhaft wird die Eingabevorrichtung bzw. die Auswerteinheit im Trainingsmodus kalibriert, so dass ein vergleichsweise kostenintensiver Abgleich der Sensoren während der Fertigung der Eingabevorrichtung einsparbar ist.According to a further preferred development, it is provided that the control and / or sensor signals are calibrated as a function of the set of weights and / or that the sensitivity of the sensor signal detection is set as a function of the set of weights. Particularly advantageously, the input device or the evaluation unit is calibrated in training mode, so that a comparatively cost-intensive adjustment of the sensors during the manufacture of the input device can be saved.
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass der Satz von Gewichten in Abhängigkeit eines Feedbacks von der Datenverarbeitungsvorrichtung modifiziert wird. Besonders vorteilhaft wird in einem Testmodus das richtige Erkennen von Signalmustern durch die Auswerteeinheit verifiziert, wobei der Benutzer einen vorgegebenen Bewegungsablauf durchführt, die Auswerteeinheit eine entsprechende Auswertung der Sensorsignale vornimmt und die entspre- chenden Steuersignal an die Datenverarbeitungsvorrichtung leitet. In der Datenverarbeitungsvorrichtung wird die Auswertung visualisiert, wobei anschließend der Benutzer durch die Eingabevorrichtung oder durch weitere Eingabemittel der Datenverarbeitungsmittel ein Feedback über die Qualität der Auswertung abgibt. Mittels dieses Feedbacks wird in der Auswerteeinheit die Neugewichtung des Satzes von Gewichten fortgesetzt oder rückgängig gemacht. Die Auswertung durch das Neuronale Netzwerk ist somit durch "Trial und Error"-Zyklen im Testmodus beständig verbesserbar.According to a further preferred development, it is provided that the set of weights is modified as a function of a feedback from the data processing device. In a test mode, the correct recognition of signal patterns is particularly advantageously verified by the evaluation unit, wherein the user performs a predetermined sequence of movements, the evaluation unit carries out a corresponding evaluation of the sensor signals and forwards the corresponding control signal to the data processing device. In the data processing device, the evaluation is visualized, in which case the user then gives feedback on the quality of the evaluation by the input device or by further input means of the data processing means. By means of this feedback, the rebalancing of the set of weights is continued or reversed in the evaluation unit. The evaluation by the neural network is thus consistently improved by "trial and error" cycles in the test mode.
Ein weiterer Gegenstand der vorliegenden Erfindung ist eine Eingabevorrichtung zur Steuerung einer Datenverarbeitungsvorrichtung, wobei die Eingabevorrichtung eine Mensch-Maschine-Schnittstelle für die Datenverarbeitungsvorrichtung umfasst, wobei die Eingabevorrichtung wenigstens einen Sensor zur Erzeugung von Sensorsignalen, eine Auswerteinheit zur Erzeugung von Steuersignalen in Abhängigkeit der Sensorsignale und eine Ausgabeeinheit zur Ausgabe der Steu- ersignale an die Datenverarbeitungsvorrichtung aufweist und wobei ferner dieAnother object of the present invention is an input device for controlling a data processing device, wherein the input device comprises a human-machine interface for the data processing device, wherein the input device at least one sensor for generating sensor signals, an evaluation unit for generating control signals in response to the sensor signals and an output unit for outputting the control signals to the data processing device, and further wherein the
Auswerteinheit ein Neuronales Netzwerk umfasst. Wie oben bereits detailiert ausgeführt, ermöglicht die Ausbildung der Auswerteeinheit als Neuronales Netzwerk im Vergleich zum Stand der Technik besonders vorteilhaft eine Reduktion der Herstellungskosten der Eingabevorrichtung, sowie eine effiziente Auswertung von komplexen Sensorsignalen und insbesondere von komplexen Muster vonEvaluation unit comprises a neural network. As already explained in detail above, the design of the evaluation unit as a neural network in comparison with the prior art particularly advantageously enables a reduction of the manufacturing costs of the input device, as well as an efficient evaluation of complex sensor signals and in particular complex patterns of
Sensorsignalen mit einem vergleichsweise geringen Rechen- und Leistungsaufwand. Darüberhinaus ist die Auswertung der Sensorsignale trainierbar und somit besonders flexibel einsetzbar bzw. im Hinblick auf einen bestimmten Benutzer individualisierbar. Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass der Sensor einen Inertialsensor, insbesondere einen Beschleunigungs- und/oder Drehratensensor, und/oder einen Drucksensor umfasst, so dass in vorteilhafter weise die Datenverarbeitungsvorrichtung durch einen Benutzer per Rotations- und/oder Transla- tionsbewegungen der Eingabevorrichtung, insbesondere jeweils in allen dreiSensor signals with a relatively low computational and power requirements. Moreover, the evaluation of the sensor signals can be trained and thus used in a particularly flexible manner or can be individualized with regard to a specific user. According to a preferred embodiment, it is provided that the sensor comprises an inertial sensor, in particular an acceleration and / or rotation rate sensor, and / or a pressure sensor, so that advantageously the data processing device by a user by rotational and / or translation movements of the input device , especially in all three
Raumrichtungen, und/oder Druckbelastungen der drucksensitiven Bereiche, ähnlich wie beispielsweise bei Schaltern und Tasten, intuitiv steuerbar ist.Spaces, and / or pressure loads of the pressure-sensitive areas, similar to, for example, switches and buttons, is intuitively controlled.
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass das Neu- ronale Netzwerk ein Software- und/oder hardwarebasiertes Neuronales Netzwerk umfasst. Besonders vorteilhaft ermöglicht die Implementierung des Neuronalen Netzwerks in die Auswerteeinheit als hardwarebasiertes, insbesondere "hard- wired", Neuronales Netzwerk eine Verringerung der Leistungsaufnahme und eine Reduzierung der Herstellungskosten, da vergleichsweise aufwändige und kos- tenintensive Mikroprozessoren einsparbar sind. Gleichzeitig wird die Auswertungsgeschwindigkeit durch die parallele Informationsverarbeitung in einem hardwarebasierten Neuronalen Netzwerk in erheblicher Weise erhöht. Aufgrund der Einsparung von leistungsintensiven Mikroprozessoren ist zudem eine Kühlung der Auswerteeinheit einsparbar. Auf der anderen Seite ermöglicht ein soft- warebasiertes Neuronales Netzwerk die Verwendung von Standardhalbleiterbauteilen, wie Mikroprozessoren, so dass vergleichsweise kostenintensiv und aufwändig herzustellende ASICs zur Implementierung hardwarebasierter Neuronaler Netzwerke einsparbar sind. Ferner sind softwarebasierte Neuronale Netzwerke im Gegensatz zu hardwarebasierten Neuronalen Netzwerken nachträglich modifizierbar.According to a further preferred development, it is provided that the neural network comprises a software and / or hardware-based neural network. Particularly advantageously, the implementation of the neural network in the evaluation unit as a hardware-based, in particular "hard-wired", neural network enables a reduction in power consumption and a reduction in production costs, since comparatively complex and cost-intensive microprocessors can be saved. At the same time, the evaluation speed is significantly increased by the parallel information processing in a hardware-based neural network. Due to the saving of power-intensive microprocessors, a cooling of the evaluation unit is also possible. On the other hand, a software-based neural network enables the use of standard semiconductor components, such as microprocessors, so that comparatively cost-intensive and complex ASICs for implementing hardware-based neural networks can be saved. Furthermore, software-based neural networks are subsequently modifiable, in contrast to hardware-based neural networks.
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die Eingabevorrichtung einen Speicher und insbesondere eine Lookup-Tabelle zur Speicherung wenigstens eines Satzes von Gewichten aufweist, wobei vorzugs- weise einem bestimmten Benutzer der Eingabevorrichtung ein bestimmter Satz von Gewichten zugeordnet vorgesehen ist, so dass der bestimmte Satz von Gewichten besonders vorteilhaft individuell auf die Bewegungscharakteristik der entsprechenden Person optimierbar ist.According to a further preferred embodiment, it is provided that the input device has a memory and in particular a lookup table for storing at least one set of weights, wherein preferably a certain user of the input device is assigned a specific set of weights, so that the particular one Set of weights particularly advantageous individually optimizable to the movement characteristics of the corresponding person.
Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die Eingabevorrichtung ein portables elektrisches und/oder elektronisches Gerät und in- sbesondere eine Computermaus, einen Joystick, einen Gamecontroller, einen Laserpointer, eine Tastatur und/oder ein Telefon umfasst und/oder dass die Datenverarbeitungsvorrichtung einen Personalcomputer, eine Spielkonsole, ein Sportgerät und/oder ein Telefon umfasst.According to a further preferred refinement, it is provided that the input device comprises a portable electrical and / or electronic device and In particular, a computer mouse, a joystick, a game controller, a laser pointer, a keyboard and / or a telephone and / or that the data processing device comprises a personal computer, a game console, a sports device and / or a telephone.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.Embodiments of the invention are illustrated in the drawings and explained in more detail in the following description.
Kurze Beschreibung der ZeichnungenBrief description of the drawings
Es zeigen:Show it:
Figur 1 eine schematische Ansicht einer Eingabevorrichtung gemäß einer erstenFigure 1 is a schematic view of an input device according to a first
Ausführungsform der vorliegenden Erfindung undEmbodiment of the present invention and
Figur 2 eine schematische Ansicht einer Eingabevorrichtung gemäß einer zwei- ten Ausführungsform der vorliegenden Erfindung.Figure 2 is a schematic view of an input device according to a second embodiment of the present invention.
Ausführungsformen der ErfindungEmbodiments of the invention
In Figur 1 ist eine schematische Ansicht einer Eingabevorrichtung 1 gemäß einer ersten Ausführungsform der vorliegenden Erfindung dargestellt, wobei in Figur 1 die Eingabevorrichtung 1 zur Steuerung einer Datenverarbeitungsvorrichtung 2, als auch die Datenverarbeitungsvorrichtung 2 illustriert sind. Die Eingabevorrichtung 1 umfasst eine Mensch-Maschine-Schnittstelle für die Datenverarbeitungsvorrichtung 2, so dass die Datenverarbeitungsvorrichtung 2 von einem menschli- chen Benutzer mittels der Eingabevorrichtung 1 mittelbar oder unmittelbar steuerbar ist. Die Eingabevorrichtung 1 weist dazu eine Mehrzahl von Sensoren 3 auf, wobei ein dreikanaliger Beschleunigungssensor 3' zur Sensierung von einer Translationsbewegung der Eingabevorrichtung 1 in eine der drei Raumrichtungen vorgesehen ist, wobei ferner ein dreikanaliger Drehratensensor 3" zur Sensie- rung einer Rotationsbewegung um eine der drei Raumrichtungen und wobei ferner ein Drucksensor 3"' zur Sensierung wenigstens eines Druckes auf einen drucksensitiven Bereich V (beispielsweise eine Taste oder ein Schalter) der Eingabevorrichtung 1 vorgesehen ist. Die Sensorsignale 30' des Beschleunigungssensors 3', die Sensorsignale 30" des Drehratensensors 3" und die Sensorsigna- Ie 30'" des Drucksensors 3"' werden von einer Auswerteeinheit 4 ausgewertet, wobei die Auswerteeinheit 4 ein Neuronales Netzwerk 6 (lediglich schematisch bzw. beispielhaft dargestellt) umfasst. Die Auswerteeinheit 4 erzeugt in Abhängigkeit der Sensorsignale 30, 30', 30", 30"' Steuersignale 40, welche von einer Ausgabeeinheit 5 an die Datenverarbeitungsvorrichtung 2 geleitet werden und zur Steuerung der Datenverarbeitungsvorrichtung 2 vorgesehen sind. Die Funkti- onalität des Neuronalen Netzwerks 6 wird zumindest teilweise von einem Satz 9 von Gewichten charakterisiert, welcher in einer Lookup-Tabelle T eines Speicher 7 in der Eingabevorrichtung 1 abgespeichert wird. Das Neuronale Netzwerk 6 ist vorzugsweise dazu vorgesehen, Signalmuster in den Sensorsignalen 30, 30', 30", 30'" zu identifizieren und entsprechende Steuersignale 40 in Abhängigkeit der Sensorsignale 30, 30', 30", 30'" und der Signalmuster zu erzeugen. In einemFIG. 1 shows a schematic view of an input device 1 according to a first embodiment of the present invention, the input device 1 for controlling a data processing device 2 and the data processing device 2 being illustrated in FIG. The input device 1 comprises a human-machine interface for the data processing device 2, so that the data processing device 2 can be indirectly or directly controlled by a human user by means of the input device 1. For this purpose, the input device 1 has a plurality of sensors 3, wherein a three-channel acceleration sensor 3 'is provided for sensing a translational movement of the input device 1 in one of the three spatial directions, wherein a three-channel rotation rate sensor 3 "for sensing a rotational movement about one of the three three spatial directions and further wherein a pressure sensor 3 "'for sensing at least one pressure on a pressure-sensitive area V (for example, a button or a switch) of the input device 1 is provided. The sensor signals 30 'of the acceleration sensor 3', the sensor signals 30 "of the rotation rate sensor 3" and the sensor signals Ie 30 '"of the pressure sensor 3"' are evaluated by an evaluation unit 4, wherein the evaluation unit 4 a neural network 6 (only schematically or exemplified). The evaluation unit 4 generates in response to the sensor signals 30, 30 ', 30 ", 30"' control signals 40, which are passed from an output unit 5 to the data processing device 2 and are provided for controlling the data processing device 2. The functionality of the neural network 6 is at least partially characterized by a set 9 of weights which is stored in a look-up table T of a memory 7 in the input device 1. The neural network 6 is preferably provided to identify signal patterns in the sensor signals 30, 30 ', 30 ", 30'" and to generate corresponding control signals 40 in response to the sensor signals 30, 30 ', 30 ", 30'" and the signal patterns , In one
Trainingsmodus werden vorzugsweise bekannte bzw. durch die Datenverarbeitungsvorrichtung 2 vorgegebene Bewegungsabläufe der Eingabevorrichtung 1 durch den Benutzer zur Programmierung bzw. zum Training des Neuronalen Netzwerkes 6 durchgeführt, so dass der Satz 9 von Gewichten entsprechend er- zeugt und/oder angepasst wird (bspw. Perzeptron-Lernregel, Backpropagation).Training mode are preferably known or predetermined by the data processing device 2 movements of the input device 1 by the user for programming or training of the neural network 6 performed so that the sentence 9 generated by weights and / or customized (eg Perceptron -Lernregel, Backpropagation).
Dieser Satz 9 von Gewichten wird besonders bevorzugt speziell für diesen bestimmten Benutzer im Speicher 7 abgespeichert, wobei im Speicher 7 besonders bevorzugt weitere Sätze 9 von Gewichten für andere Benutzer abgespeichert sind. Bewegungsabläufe, deren charakteristische Signalmuster von dem Neuro- nalen Netzwerk 6 identifiziert werden, sind beispielsweise eine Bewegung derThis set 9 of weights is particularly preferably stored specifically for this particular user in the memory 7, wherein in the memory 7 more preferably further sets 9 of weights are stored for other users. Movements whose characteristic signal patterns are identified by the neural network 6 are, for example, a movement of the
Eingabevorrichtung 1 auf einer bestimmten Bewegungsbahn im Raum bzw. eine entsprechend gerichtete rotatorische und/oder translative Beschleunigung der Eingabevorrichtung 1 im Raum und/oder eine bestimmten zeitlichen Druckabfolge im drucksensitiven Bereich V der Eingabevorrichtung 1 und/oder eine Kombi- nation einer Bewegung auf einer bestimmten räumlichen Bewegungsbahn und einer bestimmte zeitlichen Druckabfolge. Ferner wird vorzugsweise die Empfindlichkeit bei der Auswertung der Sensorsignale 30, 30', 30", 30'" auf das Signalmuster angepasst. Das Neuronale Netzwerk 6 umfasst insbesondere ein hardwarebasiertes und/oder ein softwarebasiertes Neuronales Netz, wobei die Ge- wichte insbesondere jeweils die Wichtung zwischen einer Verbindung zweierInput device 1 on a certain trajectory in space or a correspondingly directed rotational and / or translational acceleration of the input device 1 in space and / or a specific temporal pressure sequence in the pressure-sensitive area V of the input device 1 and / or a combination of movement on a particular spatial trajectory and a certain temporal print sequence. Furthermore, the sensitivity in the evaluation of the sensor signals 30, 30 ', 30 ", 30'" is preferably adapted to the signal pattern. The neural network 6 comprises, in particular, a hardware-based and / or a software-based neural network, the weights in particular in each case the weighting between a connection of two
Neuronen und/oder den Schwellwert eines Neurons umfasst. Besonders bevorzugt ist vorgesehen, dass Verbindungen und/oder Neuronen angepasst, zugefügt und/oder gelöscht werden. In einem bevorzugten Anschauungsbeispiel umfasst die Datenverarbeitungsvorrichtung 2 ein Handy, wobei die Eingabevorrichtung 1 in das Handy integriert ist. Aufgrund von bestimmter mit dem Handy durchgeführter Bewegungen werden bestimmte den Bewegungen zugeordnete Funktionen am Handy gesteuert ("Gesture Recognition"). Alternativ ist denkbar, dass die Eingabevorrichtung 1 in ein Handy integriert ist und die Datenverarbeitungsvorrichtung 2 ein anderes Handy oder ein elektrisches bzw. elektronisches Gerät, wie beispielsweise ein Fernseher, umfasst, so dass mittels der Eingabevorrich- tung 1 in Form des Handys das andere Handy oder das elektrische bzw. elektronische Gerät gesteuert wird. In einem anderen Anschauungsbeispiel umfasst die Eingabevorrichtung 1 vorzugsweise einen Gamecontroller für eine Datenverarbeitungsvorrichtung 2 in Form eines Computers oder einer Spielkonsole. Der Gamecontroller stellt besonders bevorzugt beispielhaft einen Tennisschläger dar, während auf der Datenverarbeitungsvorrichtung 2 ein Tennissimulationsprogramm abläuft, wobei von der Auswerteeinheit 4 verschiedene von einem bestimmten Benutzer durchgeführte Bewegungsabläufe des Gamecontrollers von der Auswerteeinheit 4 bestimmten Signalmustern zugeordnet werden. Die Auswerteeinheit 4 wertet die Sensorsignale 30, 30', 30", 30'" aus, um spezielle Sig- nalmuster, d.h. insbesondere Bewegungsmuster wie beispielsweise einen Aufschlag, einen Vorhandschlag, Rückhandschlag, einen Schmetterschlag oder einen Volley, zu erkennen und den Computer bzw. die Spielkonsole entsprechend zu steuern. Durch die Flexibilität des Neuronalen Netzwerkes werden dabei auch "ähnliche" Signalmuster von der Auswerteeinheit identifiziert. Besonders bevor- zugt ist ferner vorgesehen, dass der Benutzer der Eingabevorrichtung vor dem eigentlichen Tennisspiel die verschiedenen Schläge in einem Trainingsmodus mehrfach ausführt und die entsprechenden Signalmuster in die Auswerteeinheit 4 bzw. in den Speicher 7 in Form des Satzes 9 von Gewichten eingespeichert werden, so dass das Neuronale Netzwerk automatisch trainiert wird. Die genann- ten Anschauungsbeispiele haben selbstverständlich einen rein beispielhaftenNeurons and / or the threshold of a neuron. It is particularly preferred that compounds and / or neurons be adapted, added and / or deleted. In a preferred illustrative example, the data processing device 2 comprises a mobile phone, wherein the input device 1 is integrated in the mobile phone. Due to certain movements performed by the mobile, certain functions associated with the movements become controlled on the mobile phone ("Gesture Recognition"). Alternatively, it is conceivable that the input device 1 is integrated into a mobile phone and the data processing device 2 comprises another mobile phone or an electrical or electronic device, such as a television, so that by means of the input device 1 in the form of the mobile phone the other mobile phone or the electrical or electronic device is controlled. In another illustrative example, the input device 1 preferably comprises a game controller for a data processing device 2 in the form of a computer or a game console. The game controller particularly preferably represents a tennis racket by way of example, while a tennis simulation program runs on the data processing device 2, wherein various evaluation sequences of the game controller are assigned by the evaluation unit 4 to certain signal patterns of the evaluation unit 4. The evaluation unit 4 evaluates the sensor signals 30, 30 ', 30 ", 30'" in order to recognize special signal patterns, ie in particular movement patterns such as an impact, a forehand strike, backhand strike, a smash or a volley, and the computer or computer to control the game console accordingly. Due to the flexibility of the neural network, "similar" signal patterns are also identified by the evaluation unit. It is furthermore preferably provided that the user of the input device repeatedly executes the various beats in a training mode before the actual tennis match and the corresponding signal patterns are stored in the evaluation unit 4 or in the memory 7 in the form of the set 9 of weights that the neural network is trained automatically. Of course, the examples given are purely exemplary
Charakter. Analog ist die erfindungsgemäße Eingabevorrichtung 1 ferner zu Steuerung weiterer Sportartensimulationen auf einer Datenverarbeitungsvorrichtung 2, wie zum Beispiel eines Golfsimulators (Eingabevorrichtung 1 in Form eines Golfschläger), Fahrzeugsimulators (Eingabevorrichtung 1 in Form eine Joy- sticks oder Lenkrads) oder eines Fußballsimulators (Eingabevorrichtung 1 inCharacter. Analogously, the input device 1 according to the invention is also for controlling further sports simulations on a data processing device 2, such as a golf simulator (golf club input device 1), vehicle simulator (input device 1 in the form of a joystick or steering wheel) or a football simulator (input device 1 in FIG
Form eines Fußballschuhs) etc., als auch zur Steuerung von anderen Programmen auf einer Datenverarbeitungsvorrichtung 2, wie beispielsweise von Standardanwendungen wie MS-Office, Text- und Tabellenkalkulation, CAD- Programmen, Internet, etc. vorgesehen, wobei die Eingabevorrichtung 1 bei- spielsweise eine Computermaus, einen Laserpointer und/oder einen Trackball umfasst und bestimmte Bewegungsmuster der Eingabevorrichtung bestimmte Funktionen und/oder Programme ausführt. Besonders bevorzugt wird die Eingabevorrichtung 1 als Hilfsmittel zur Steuerung von Datenverarbeitungsvorrichtungen 2 für körperlich und/oder geistig behinderte Personen verwendet, wobei die Datenverarbeitungsvorrichtungen 2 ganz besonders bevorzugt zur Steuerung von Rollstühlen und/oder Notrufgeräten vorgesehen sind.Shape of a soccer shoe), etc., as well as for controlling other programs on a data processing device 2, such as standard applications such as MS Office, text and spreadsheets, CAD programs, Internet, etc. provided, wherein the input device 1, for example includes a computer mouse, a laser pointer and / or a trackball and certain movement patterns of the input device determined Functions and / or programs. Particularly preferably, the input device 1 is used as an aid for controlling data processing devices 2 for physically and / or mentally handicapped persons, wherein the data processing devices 2 are very particularly preferably provided for controlling wheelchairs and / or emergency call devices.
In Figur 2 ist eine schematische Ansicht einer Eingabevorrichtung 1 gemäß einer zweiten Ausführungsform der vorliegenden Erfindung dargestellt, wobei die zweite Ausführungsform im Wesentlichen identisch der ersten Ausführungsform dar- gestellt in Figur 1 ist, wobei die Sensoren 3, 3', 3", 3'" der Eingabevorrichtung 1 in einen Gamecontroller integriert sind und wobei die Auswerteeinheit 4, der Speicher 7 und die Datenverarbeitungsvorrichtung 5 in ein Gerät 20, welches einen Computer oder eine Spielkonsole umfasst, integriert sind, wobei das Gerät 20 zusätzlich einen weiteren Speicher 21 für benutzerspezifische Daten aufweist. Ferner wird der Auswerteeinheit 4 die dem Programm zugrunde liegende Software 22 zugeführt, beispielsweise das Computerspiel bzw. das Simulationsprogramm. Die Bewegungsabläufe des Gamecontrollers werden auf einem Bildschirm 23 visualisiert. FIG. 2 shows a schematic view of an input device 1 according to a second embodiment of the present invention, the second embodiment being substantially identical to the first embodiment shown in FIG. 1, the sensors 3, 3 ', 3 ", 3' of the input device 1 are integrated into a game controller and wherein the evaluation unit 4, the memory 7 and the data processing device 5 are integrated into a device 20 which comprises a computer or a game console, the device 20 additionally having a further memory 21 for user-specific data having. Furthermore, the evaluation unit 4 is supplied with the software 22 on which the program is based, for example the computer game or the simulation program. The movements of the game controller are visualized on a screen 23.

Claims

Ansprüche claims
1 . Verfahren zum Betrieb einer Eingabevorrichtung (1 ) als Mensch-Maschine Schnittstelle, wobei mittels der Eingabevorrichtung (1 ) eine Datenverarbeitungsvorrichtung (2) gesteuert wird, wobei mittels wenigstens eines Sensors (3, 3', 3", 3'") Sensorsignale (30, 30', 30", 30'") der Eingabevorrichtung (1 ) ermittelt werden, wobei mittels einer Auswerteeinheit (4) Steuersignale (40, 40') in Abhängigkeit der Sensorsignale (30, 30', 30", 30'") erzeugt werden und wobei mittels einer Ausgabeeinheit (5) die Steuersignale (40, 40') an die Datenverarbeitungsvorrichtung (2) geleitet werden, dadurch gekennzeichnet, dass die Steuersignale (40, 40') in der Auswerteeinheit (4) mittels eines Neuronalen Netzwerkes (6) erzeugt werden.1 . Method for operating an input device (1) as a human-machine interface, wherein a data processing device (2) is controlled by the input device (1), sensor signals (30 , 30 ', 30 ", 30'") of the input device (1) are determined, wherein by means of an evaluation unit (4) control signals (40, 40 ') in dependence of the sensor signals (30, 30', 30 ", 30 '") and wherein by means of an output unit (5) the control signals (40, 40 ') are directed to the data processing device (2), characterized in that the control signals (40, 40') in the evaluation unit (4) by means of a neural network ( 6) are generated.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mittels des Sensors (3, 3', 3") Sensorsignale (30, 30', 30") ermittelt werden, welche von ei- ner Beschleunigung und/oder einer Drehrate der Eingabevorrichtung (1 ) abhängig sind.2. The method according to claim 1, characterized in that by means of the sensor (3, 3 ', 3 ") sensor signals (30, 30', 30") are determined which of an acceleration and / or a rotation rate of the input device ( 1) are dependent.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels des Sensors (3, 3'") Sensorsignale (30, 30'") ermittelt werden, welche von einem Druck auf einen drucksensitiven Bereich (V) der3. The method according to any one of the preceding claims, characterized in that by means of the sensor (3, 3 '") sensor signals (30, 30'") are determined which of a pressure on a pressure-sensitive region (V) of
Eingabevorrichtung (1 ) abhängig sind.Input device (1) are dependent.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Auswerteeinheit (4) Signalmuster und insbesondere Bewegungsmuster in Abhängigkeit der Sensorsignale (30, 30', 30", 30"') ermittelt werden, wobei die Steuersignale (40, 40') in Abhängigkeit der Signalmuster und insbesondere der Bewegungsmuster erzeugt werden.4. The method according to any one of the preceding claims, characterized in that in the evaluation unit (4) signal pattern and in particular movement pattern in response to the sensor signals (30, 30 ', 30 ", 30"') are determined, wherein the control signals (40, 40 ') are generated as a function of the signal pattern and in particular the movement pattern.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass das Neuronale Netzwerk (6) einen Satz (9) von Gewichten umfasst, wobei die Steuersignale (40, 40') in Abhängigkeit des Satzes (9) von Gewichten erzeugt werden.5. The method according to any one of the preceding claims, characterized in that the neural network (6) a set (9) of weights wherein the control signals (40, 40 ') are generated in dependence on the set (9) of weights.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass der Satz (9) von Gewichten voreingestellt wird und/oder in6. The method according to any one of the preceding claims, characterized in that the set (9) of weights is preset and / or in
Abhängigkeit der Sensorsignale (30, 30', 30", 30'") erzeugt wird und/oder in Abhängigkeit der Sensorsignale (30, 30', 30", 30'") modifiziert wird.Dependence of the sensor signals (30, 30 ', 30 ", 30'") is generated and / or in dependence of the sensor signals (30, 30 ', 30 ", 30'") is modified.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekenn- zeichnet, dass die Steuer- und/oder Sensorsignale (30, 30', 30", 30'", 40,7. The method according to any one of the preceding claims, characterized in that the control and / or sensor signals (30, 30 ', 30 ", 30'", 40,
40') in Abhängigkeit des Satzes (9) von Gewichten kalibriert werden und/oder dass die Empfindlichkeit der Sensorsignalerfassung in Abhängigkeit des Satzes (9) von Gewichten eingestellt wird.40 ') are calibrated in dependence on the set (9) of weights and / or that the sensitivity of the sensor signal detection is set as a function of the set (9) of weights.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Satz (9) von Gewichten in Abhängigkeit eines Feedbacks (8) von der Datenverarbeitungsvorrichtung (2) modifiziert wird.8. The method according to any one of the preceding claims, characterized in that the set (9) of weights in response to a feedback (8) of the data processing device (2) is modified.
9. Eingabevorrichtung (1 ) zur Steuerung einer Datenverarbeitungsvorrichtung (2), wobei die Eingabevorrichtung (1 ) eine Mensch-Maschine-Schnittstelle für die Datenverarbeitungsvorrichtung (2) umfasst, wobei die Eingabevorrichtung (1 ) wenigstens einen Sensor (3, 3', 3", 3"') zur Erzeugung von Sensorsignalen (30, 30', 30", 30'"), eine Auswerteinheit (4) zur Erzeugung von Steuersignalen (40, 40') in Abhängigkeit der Sensorsignale (30, 30', 30", 30'") und eine Ausgabeeinheit (5) zur Ausgabe der Steuersignale (40, 40') an die Datenverarbeitungsvorrichtung (2) aufweist, dadurch gekennzeichnet, dass die Auswerteinheit (4) ein Neuronales Netzwerk (6) umfasst.9. Input device (1) for controlling a data processing device (2), wherein the input device (1) comprises a human-machine interface for the data processing device (2), wherein the input device (1) at least one sensor (3, 3 ', 3 ", 3" ') for generating sensor signals (30, 30', 30 ", 30 '"), an evaluation unit (4) for generating control signals (40, 40') as a function of the sensor signals (30, 30 ', 30 ", 30 '") and an output unit (5) for outputting the control signals (40, 40') to the data processing device (2), characterized in that the evaluation unit (4) comprises a neural network (6).
10. Eingabevorrichtung (1 ) nach Anspruch 9, dadurch gekennzeichnet, dass der Sensor (3, 3', 3", 3"') einen Inertialsensor, insbesondere einen Beschleuni- gungs- und/oder Drehratensensor (3', 3"), und/oder einen Drucksensor (3"') umfasst.10. Input device (1) according to claim 9, characterized in that the sensor (3, 3 ', 3 ", 3"') an inertial sensor, in particular an acceleration and / or yaw rate sensor (3 ', 3 "), and / or a pressure sensor (3 "').
1 1 . Eingabevorrichtung (1 ) nach einem der Ansprüche 9 oder 10, dadurch ge- kennzeichnet, dass das Neuronale Netzwerk (6) ein Software- und/oder hardwarebasiertes Neuronales Netzwerk umfasst. 1 1. Input device (1) according to one of Claims 9 or 10, characterized in that the neural network (6) comprises a software and / or hardware-based neural network.
12. Eingabevorrichtung (1 ) nach einem der Ansprüche 9 bis 1 1 , dadurch gekennzeichnet, dass die Eingabevorrichtung (1 ) einen Speicher (7) und insbesondere eine Lookup-Tabelle (7') zur Speicherung eines Satzes (9) von Gewichten aufweist.12. Input device (1) according to any one of claims 9 to 1 1, characterized in that the input device (1) has a memory (7) and in particular a lookup table (7 ') for storing a set (9) of weights.
13. Eingabevorrichtung (1 ) nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass die Eingabevorrichtung (1 ) ein portable elektrisches und/oder elektronisches Gerät und insbesondere eine Computermaus, einen Joystick, einen Gamecontroller, einen Laserpointer, eine Tastatur und/oder ein Telefon umfasst und/oder dass die Datenverarbeitungsvorrichtung (2) einen Personalcomputer, eine Spielkonsole, ein Sportgerät und/oder ein Telefon umfasst. 13. Input device (1) according to any one of claims 9 to 12, characterized in that the input device (1) is a portable electrical and / or electronic device and in particular a computer mouse, a joystick, a game controller, a laser pointer, a keyboard and / or a telephone and / or that the data processing device (2) comprises a personal computer, a game console, a sports device and / or a telephone.
PCT/EP2009/062012 2008-10-29 2009-09-16 Method for the operation of an input device, and input device WO2010049213A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008043255A DE102008043255A1 (en) 2008-10-29 2008-10-29 Method for operating an input device and input device
DE102008043255.5 2008-10-29

Publications (2)

Publication Number Publication Date
WO2010049213A2 true WO2010049213A2 (en) 2010-05-06
WO2010049213A3 WO2010049213A3 (en) 2010-11-25

Family

ID=42096156

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/062012 WO2010049213A2 (en) 2008-10-29 2009-09-16 Method for the operation of an input device, and input device

Country Status (2)

Country Link
DE (1) DE102008043255A1 (en)
WO (1) WO2010049213A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255540A (en) * 2018-09-19 2019-01-22 深圳市深视智能科技有限公司 Neural network training method, laser scanning image processing method and processing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247137A (en) * 1991-10-25 1993-09-21 Mark Epperson Autonomous computer input device and marking instrument
GB2291996A (en) * 1994-08-01 1996-02-07 James Marshall Signature verification apparatus
EP1168233A2 (en) * 2000-06-28 2002-01-02 Nokia Mobile Phones Ltd. Method and arrangement for entering data in an electronic apparatus and an electronic apparatus
US20040246105A1 (en) * 2001-06-21 2004-12-09 Gilles Cavallucci Method and device for optical detection of the position of an object

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10110428C2 (en) 2001-03-05 2003-04-17 Fraunhofer Ges Forschung Method and device for performing object tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247137A (en) * 1991-10-25 1993-09-21 Mark Epperson Autonomous computer input device and marking instrument
GB2291996A (en) * 1994-08-01 1996-02-07 James Marshall Signature verification apparatus
EP1168233A2 (en) * 2000-06-28 2002-01-02 Nokia Mobile Phones Ltd. Method and arrangement for entering data in an electronic apparatus and an electronic apparatus
US20040246105A1 (en) * 2001-06-21 2004-12-09 Gilles Cavallucci Method and device for optical detection of the position of an object

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255540A (en) * 2018-09-19 2019-01-22 深圳市深视智能科技有限公司 Neural network training method, laser scanning image processing method and processing device

Also Published As

Publication number Publication date
DE102008043255A1 (en) 2010-05-12
WO2010049213A3 (en) 2010-11-25

Similar Documents

Publication Publication Date Title
Chowdhury et al. Active physical practice followed by mental practice using BCI-driven hand exoskeleton: a pilot trial for clinical effectiveness and usability
DE60215504T2 (en) Method and apparatus for analyzing gestures of a human, e.g. for controlling a machine by gestures
Fabiani et al. Conversion of EEG activity into cursor movement by a brain-computer interface (BCI)
Williamson et al. Designing for uncertain, asymmetric control: Interaction design for brain–computer interfaces
Bensch et al. Nessi: an EEG-controlled web browser for severely paralyzed patients
CN110337269A (en) The method and apparatus that user is intended to are inferred based on neuromuscular signals
Oulasvirta et al. Neuromechanics of a button press
DE102009014991A1 (en) System and method for multidimensional gesture evaluation
WO2013044893A1 (en) Dataglove having tactile feedback and method
CN107589782A (en) Method and apparatus for the ability of posture control interface of wearable device
EP2210160A1 (en) Improvements relating to brain computer interfaces
CN103699216A (en) Email communication system and method based on motor imagery and visual attention mixed brain-computer interface
CN111566600A (en) Neural adaptive body sensing framework for user status (NABSUS)
KR20210040626A (en) Apparatus and method for detecting posture using artificial intelligence
CN106774851A (en) Sense of touch finger motion rehabilitation system and method based on brain-computer interface
Kauhanen et al. Haptic feedback compared with visual feedback for BCI
DE102012219129B4 (en) Method for operating a device having a user interface with a touch sensor, and corresponding device
Nisar et al. Brain-computer interface: controlling a robotic arm using facial expressions
CN105224064A (en) A kind of method and apparatus obtaining user's human body movement data in mouse action
WO2010049213A2 (en) Method for the operation of an input device, and input device
Lu et al. GTac-Hand: A Robotic Hand With Integrated Tactile Sensing and Extrinsic Contact Sensing Capabilities
Quek et al. Designing future BCIs: Beyond the bit rate
CN114255511A (en) Controller and method for gesture recognition and gesture recognition device
Spyrou et al. Optimal multitrial prediction combination and subject-specific adaptation for minimal training brain switch designs
DE112020004273T5 (en) Control device, control method and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09783086

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 09783086

Country of ref document: EP

Kind code of ref document: A2