EP1535237A1 - Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten - Google Patents

Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten

Info

Publication number
EP1535237A1
EP1535237A1 EP03755552A EP03755552A EP1535237A1 EP 1535237 A1 EP1535237 A1 EP 1535237A1 EP 03755552 A EP03755552 A EP 03755552A EP 03755552 A EP03755552 A EP 03755552A EP 1535237 A1 EP1535237 A1 EP 1535237A1
Authority
EP
European Patent Office
Prior art keywords
biometric
data
writing
writing system
pen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP03755552A
Other languages
German (de)
French (fr)
Inventor
Jürgen Kempf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ostbayerische Technische Hochschule Regensburg (OTH Regensburg)
Original Assignee
Ostbayerische Technische Hochschule Regensburg (OTH Regensburg)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10241328A external-priority patent/DE10241328B4/en
Application filed by Ostbayerische Technische Hochschule Regensburg (OTH Regensburg) filed Critical Ostbayerische Technische Hochschule Regensburg (OTH Regensburg)
Publication of EP1535237A1 publication Critical patent/EP1535237A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30Writer recognition; Reading and verifying signatures

Definitions

  • the invention relates to a biometric acoustic writing system in which, with a microphone integrated in a pen device, the sound signals caused by the hand-guided movement of the pen are acoustically recorded and then processed to biometric data.
  • the invention further relates to a method for person identification and person verification by means of a biometric writing system and a method for handwriting recognition and / or hand sketch recognition.
  • biometric systems There is currently a large selection of competing biometric systems. The majority of biometric systems currently make up systems that use finger lines as recognition features, followed by systems for facial recognition and so-called iris scanners.
  • Pens with acceleration sensors are known (for example ⁇ accelerometer-based pens from British Telecommunications) for absorbing acceleration forces when writing with the pen.
  • the disadvantage of this known pen is a comparatively low recognition rate for signature verification due to the only two-dimensional data space.
  • the pen must always be aligned when writing, ie the angle between the pen and the base must be largely constant, so that a natural writing behavior is not guaranteed when signing.
  • an acceptable recognition rate requires a minimum writing speed, otherwise the measured acceleration forces are too low.
  • a data entry pen for signature verification is known from US 4,513,437.
  • the pen contains a pen to visualize what is written on a surface and piezoelectric pressure and acceleration sensors to detect acceleration forces caused by transversal writing movements of the pen are caused on the writing surface.
  • the pressure on the pen is recorded in the axially parallel direction of the pen.
  • Writing systems are known in which a writing pen for carrying out hand-guided movements on a base is integrated in a pen device.
  • the pen device contains an optical sensor device for detecting the movements carried out with the pen as movement or position data.
  • a further pressure sensor device for detecting the forces occurring during the movements of the pen is integrated in the pen device.
  • a data processing unit is used to calculate biometric data as a function of the recorded movement data and the recorded writing pressure data.
  • the so-called Anoto digital pen describes a writing system in which written text is transferred to a computer can.
  • the pen consists of a ballpoint pen with an integrated digital camera.
  • a force sensor detects the placement of the writing surface on a special paper.
  • the special paper is a paper with a printed dot pattern.
  • the integrated digital camera of the Anoto pen perceives the writing movements of the pen over the dot pattern.
  • the camera takes a large number of frames per second.
  • Each recorded image is compared with the following image and an integrated processor uses this to calculate the change of direction and the movement distance of the writing lead integrated in the pen, taking into account the pen position.
  • There is a large number of printed dots on the Anoto special paper which are applied with carbon-based ink and are less than 1 mm apart.
  • Each Anoto special paper has a different dot pattern so that the individual pages can be distinguished from one another.
  • a light-emitting diode LED illuminates the carbon-containing ink dots, which absorb long-wave infrared light and are therefore recognizable for the integrated digital camera inside the Anoto pen.
  • the relative movement of the pen and the absolute position of the pen on the paper can be determined using the Anoto special paper.
  • the disadvantage of the Anoto pen is that special paper is required and that the pen is fixed.
  • the security against tampering with signature verification is too low, since no person-specific biometric data are determined.
  • the Anoto pen does not record the individual writing pressure on the writing surface.
  • the biometric writing system according to the invention is preferably used as a multifunctional input system in biometrics for personal identification.
  • the writing system according to the invention can replace or supplement the tablet of a PC with normal writing paper as an input medium.
  • the writing system according to the invention can also be used in life science for diagnosis and therapy, in medicine and in psychology.
  • the invention relates to a biometric acoustic writing system with a pen housing for performing hand-guided movements on a base, at least one microphone integrated in the pen housing for acoustic detection of sound signals which are caused by the hand-guided movements, and with a data processing unit for calculating biometric data as a function of the recorded sound signals.
  • the biometric, acoustic writing system enables the generation of person-specific biometric reference data which are unique for the person. This makes it possible to verify the identity of a person writing and even identify it by comparing it with stored reference data.
  • the biometric writing system according to the invention also enables handwriting recognition or hand sketch recognition for the determination and output of handwritten characters in digital form.
  • the biometric writing system according to the invention preferably contains a data processing unit for the reconstruction of handwritten characters and texts from the recorded sound signals.
  • a pen is preferably provided in the pen housing and is placed on the base and guided on the base.
  • the acoustic writing noise caused by the friction of the pen on the base during the hand-guided writing movement is preferably transmitted as structure-borne sound signal via the pen and / or additionally as airborne sound signal via the ambient air through the microphone integrated in the pen housing.
  • the writing system according to the invention is also suitable for areas of application in acoustically noisy areas.
  • the microphone is preferably mechanically coupled to the stylus for transmitting the structure-borne sound signal.
  • the microphone is mechanically coupled to a sound body connected to the stylus for transmitting the structure-borne sound signal.
  • the sound body is preferably designed as a resonator for certain natural frequencies.
  • the microphone is arranged in an airborne sound chamber provided in the pen housing.
  • the airborne sound chamber is preferably designed as a resonator for certain natural frequencies.
  • the microphone together with the resonators, is preferably surrounded by sound insulation, which is provided to dampen ambient noise and only transmits sound signals to the microphone via the stylus.
  • the airborne sound chamber can be coupled to the ambient air via a housing opening in the pen housing.
  • the housing opening can preferably be closed by means of a mechanical closure device for suppressing external noise.
  • the microphone When the housing opening is open, the microphone preferably detects the internal and external writing noise caused by the hand-held writing movement as a body and airborne sound signal and / or a speech signal originating from a person.
  • the sound body for the external writing noise is preferably formed by the writing pad.
  • the microphone with the housing opening open can optionally be replaced by an acoustically non-isolated second microphone in the pen housing.
  • the error rate when recognizing the person can be significantly reduced.
  • a very high level of recognition reliability of the biometric writing system is achieved.
  • the microphone preferably converts the recorded acoustic sound signals into an electrical sound signal.
  • the electrical sound signal is preferably converted by an analog / digital converter into sound signal data for digital data processing by the data processing unit.
  • the typing noise and the speech signal are recorded simultaneously or in succession by the microphone.
  • the sound signal data generated can preferably be stored in a storage unit of the biometric writing system.
  • the desk pad is preferably made of any paper.
  • the writing pad is preferably a solid pad that has a certain embossed surface roughness and hardness.
  • a loudspeaker is provided in the pen housing for reproducing recorded microphone signals, for reproducing stored biometric reference data and for reproducing spoken information.
  • a voice signal originating from the person is preferably acoustically recorded and corresponding sound signal data is generated for speaker recognition or voice recognition.
  • the typing noise itself can also be evaluated using the algorithms and methods of speaker and speech recognition.
  • a second sensor device is also provided, which measures the writing dynamics via the static and dynamic pressure and the writing speed via the vibration of the pen on the base and hand-held writing instrument.
  • At least three sensors are provided for simultaneous detection of the typing forces and vibrations of the writing lead occurring in three spatial directions.
  • an inclination sensor device is also provided which determines the inclination of the hand-held writing instrument placed on the base and thus predominantly detects the finger motor when writing.
  • an optical sensor device is additionally provided, which detects position data of the hand-guided pen movement via image signals from the surface of the writing pad.
  • a pressure sensor device is also provided which detects the static and dynamic pressure of the hand-held writing pen placed on the base.
  • the microphone is preferably an electret microphone, a piezoelectric microphone, a piezoresistive microphone or a capacitive microphone.
  • a replaceable pen lead is preferably provided in the pen of the biometric writing system.
  • This pen lead can preferably be moved out of the pen by means of a switching device.
  • the optical sensor device has imaging optics for imaging the document surface and a converter device for converting the optical imaging signal into an electrical signal.
  • the imaging optics preferably consist of optical lenses and / or glass fibers.
  • the converter device is preferably a CCD camera or a photodiode array. Furthermore, a diode light source is preferably provided for illuminating the underlay surface.
  • a laser diode for illuminating the surface of the documentation and an optical grating integrated in the pen are additionally provided.
  • the optical sensor device preferably detects the movements carried out with the stylus by comparing the staggered image sequences of the document surface.
  • the optical sensor device detects the movements carried out with the stylus by comparing the temporally offset, recorded image sequences of the interferences of the laser light reflected on the grating and the surface of the document.
  • the pen lead in an extended state, releases a writing liquid onto the base when the hand-guided movements are carried out, which increases the structuring of the surface of the document, so that the optical detection of the hand-guided movements by means of the optical sensor device is facilitated and via the ink lettering image on the base a natural spelling is evoked.
  • the data processing unit is preferably integrated in the pen housing or in an external receiving unit.
  • the external receiving unit is preferably a computer, a microcontroller, a cell phone, a credit card reader, a fax machine or a printer.
  • the recorded sound signals, the optical movement data and the recorded multidimensional print data are preferably transmitted via a data transmission path from the pen housing to the data processing unit integrated in the external receiving unit.
  • the biometric writing system preferably has an encryption unit contained in the pen housing for encrypting sound signal data, optical movement data and print data.
  • the data transmission path is preferably wired or wireless.
  • the biometric writing system preferably has a data memory for storing biometric reference data, position data of the writing movement and spoken information.
  • the biometric reference data are preferably calculated by the data processing unit from the sound signal data recorded when writing and speaking a word, from optical movement data and mechanical pressure data and stored in the reference data memory.
  • the reference data memory is preferably a microchip of an identity card, a credit card, an authorization magnetic card or a storage unit of a computer or the biometric writing system.
  • the written and spoken words and characters are preferably pin codes, passwords, names or texts.
  • the position data of the writing movement are preferably calculated from the sound signal data, optical movement data and mechanical pressure data recorded when writing a word and stored in the data memory for handwriting recognition.
  • the reference data memory is preferably integrated in the pen housing.
  • the data processing unit integrated in the external receiving unit is preferably connected to a reference data memory.
  • the external receiving unit has a reading unit for reading portable biometric reference data.
  • the external receiving unit is preferably connected to a database with a reference data memory via a data network.
  • the data network is preferably the Internet.
  • the data processing unit compares the calculated current biometric data to stored biometric reference data for their verification, and I- dentifi 'cation.
  • the data processing unit If the current biometric data largely matches the stored reference data, the data processing unit generates an identification or verification display signal. In a particularly preferred embodiment of the biometric writing system according to the invention, if the current biometric data completely matches the stored biometric reference data, the data processing unit recognizes the current biometric data as a pirated copy of the stored reference data and generates a corresponding warning signal.
  • the data processing unit If the current biometric data deviate from the stored biometric reference data, the data processing unit generates a deviation display signal.
  • the biometric writing system has at least one actuator which is actuated after the identification or verification display signal has been generated.
  • the invention also provides a method for generating person-specific biometric reference data with the following steps:
  • the method steps are carried out several times and the respectively determined reference data are statistically evaluated, the evaluated data being encrypted as person-specific reference data and then stored.
  • the statistically evaluated, person-specific reference data are stored in a microchip of an identity card, in a microchip of a credit card, in an authorization magnetic card or in the storage unit of a computer or a writing system.
  • a speech signal originating from the person is also acoustically recorded and corresponding sound signal data is generated.
  • the typing forces which occur in at least one spatial direction during the writing movement of the pen are detected by pressure sensors and correspondingly at least one-dimensional writing pressure data are generated.
  • the writing movements that are hand-guided when writing a character, a word or a character / word sequence with the writing pen on the base are preferably optically recorded and corresponding writing movement data is generated.
  • the biometric reference data are preferably determined from the sound intensity of the digital time sound signal by means of feature extraction, from the calculated frequency spectrum of the sound time signal by means of feature extraction, and from the optical movement data and writing pressure data generated when writing and speaking a word, and stored in the reference data memory in encrypted form as person-specific biometric reference data.
  • the static and dynamic write movement data, the write pressure data, the optical movement data and the sound signal data are preferably reduced by means of cluster formation.
  • Feature parameters are preferably extracted from the data-reduced cluster data.
  • the generated biometric reference data are preferably stored inside or outside the pen.
  • the invention also provides a method for verifying a person with the following steps, acoustic detection of hand-held writing movements which are carried out by a person when writing a character, a word or a sequence of words with a pen on a base and generating corresponding sound signal data;
  • a speech signal originating from the person is preferably acoustically recorded and corresponding sound signal data is generated.
  • a speech signal originating from the person is preferably also acoustically recorded and corresponding sound signal data is generated.
  • a speech signal originating from the person is additionally acoustically recorded and corresponding sound signal data are generated.
  • the hand-held writing movements when writing or sketching a character, a word or a character / word sequence with the pen on the base are preferred additionally optically recorded and corresponding position data generated.
  • the forces occurring in at least one spatial direction during the writing movement of the pen are detected by pressure sensors and corresponding, at least one-dimensional writing pressure data is generated.
  • the character, the word or the word sequence is determined from the sequence of selected reference feature vectors, from the position data and from the writing pressure data by means of statistical, connectionistic and knowledge-based methods.
  • the ascertained character of the person carrying it out is optically and / or acoustically reported back for checking.
  • the generated person-specific reference data are preferably evaluated to determine psychological and / or physiological characteristics of the person.
  • the biometric writing system according to the invention can be used in many ways.
  • the biometric writing system is used as a computer input device.
  • the writing system according to the invention is used as a voice input device, in particular as a dictation device.
  • the biometric writing system according to the invention is preferably used to identify a person's neuromotive movement disorders.
  • the biometric writing system according to the invention is also preferably used as a therapy system for eliminating neuromotor movement disorders in a person.
  • the biometric writing system according to the invention is also preferably used as a graphological system for determining psychological / physiological characteristics of a person.
  • the biometric writing system according to the invention is preferably used as a training system for learning to write.
  • the biometric writing system according to the invention is preferably used as a training system for learning a language.
  • biometric writing system according to the invention and the method according to the invention for person identification, for person verification, for generating biometric reference data and for handwriting and hand sketch recognition are described with reference to the attached figures to explain features essential to the invention.
  • Figure 1 is a schematic illustration showing a preferred embodiment of the biometric writing system according to the invention. 2 shows a sectional view through a pen housing of the biometric writing system according to the invention;
  • FIG. 4 shows a flow chart for explaining the handwriting recognition by means of the biometric writing system according to the invention
  • Fig. 12 dynamic behavior of some frequency lines when writing the letter "b"; 1 shows a schematic block diagram of the biometric writing system 1 according to the invention.
  • the biometric writing system 1 according to the invention comprises a pen 2, which is integrated in a pen housing 3.
  • the pen 2 is used to carry out hand-guided movements on a base 4.
  • the base 4 can be any base with any surface.
  • the base 4 is preferably paper.
  • the writing pad 4 is preferably a solid base which has a certain embossed surface roughness and hardness.
  • the stylus 2 preferably contains an exchangeable stylus lead which can be moved out of the stylus 2 by means of a mechanical switching device (not shown).
  • the pen housing 3 is used to carry out hand-guided movements on the pad 4.
  • the writing pen 2 and its pen refill dispense a writing liquid onto the pad 4 for optical feedback for the person writing.
  • writing noises occur.
  • the pen housing 3 in the writing system 1 according to the invention at least one microphone 5 is provided for acoustic detection of sound signals. The microphone 5 detects the sound signals that are caused by the hand-guided movements, ie the writing noise caused by the writing movement.
  • the acoustic writing noises caused by the friction of the stylus 2 on the base 4 during the hand-guided writing movement are transmitted on the one hand as structure-borne noise signal via the stylus 2 and on the other hand as an airborne sound signal via the ambient air to the microphone 5.
  • the microphone 5 is mechanically connected to transmit the structure-borne sound signal the pen 2 coupled.
  • the microphone 5 for the transmission of the structure-borne sound signal is mechanically coupled to a sound body 6 connected to the stylus 2.
  • the sound body 6 is preferably designed as a resonator for certain natural frequencies.
  • the microphone 5 is located in an airborne sound chamber 7 provided in the pen housing 3.
  • the airborne sound chamber 7 is preferably designed as a resonator for specific natural frequencies.
  • the microphone 5 is surrounded by sound insulation 8a, 8b, which is provided for damping ambient noise and only lets sound signals through from the sound body 6 and the air switching chamber 7.
  • the airborne sound chamber 7 can be coupled to the ambient air via a housing opening in the pen housing 3.
  • the housing opening can preferably be closed by means of a mechanical locking device 9 for suppressing external noise.
  • the microphone 5 detects the internal and external writing noise caused by the hand-held writing movement as a body and airborne sound signal and, in addition, a speech signal originating from a person.
  • the microphone 5 converts the detected acoustic sound signals into an electrical sound signal.
  • the electrical sound signal is converted into sound signal data for digital data processing by an analog / digital converter.
  • the digital signal data are fed via a signal line 10 to a data processing unit 11 for further data processing.
  • the writing noise generated during writing and the speech signal possibly additionally received by the person are recorded either simultaneously or in succession by the microphone 5 and converted into corresponding sound signal data.
  • the sound signal data supplied to the data processing unit 11 are preferably stored in a memory provided for this purpose.
  • the biometric writing system 1 in addition to the microphone 5 as an acoustic sensor, the biometric writing system 1 according to the invention shown in FIG. 1 preferably additionally has an optical sensor device 14 which detects position data of the hand-held pen movement via image signals from the surface of the writing pad 4.
  • the optical sensor device is also connected to the data processing unit 11 via a signal line 15.
  • the microphone 5 can be, for example, an electronic microphone, a piezoelectric microphone, a piezoresistive microphone or a capacitive microphone.
  • the optical sensor device 14 preferably contains imaging optics for imaging the substrate surface and a converter device for converting the optical imaging signal into an electrical signal. The electrical signal is converted into position data or movement data by an analog / digital converter and output to the data processing unit 11 via the signal line 15.
  • the imaging optics of the optical sensor device 14 preferably consist of optical lenses and / or glass fibers.
  • the converter device can be a CCD camera or a photodiode array.
  • a diode light source is preferably additionally provided for illuminating the underlay surface.
  • a laser diode is also provided for illuminating an optical grating integrated in the pen.
  • the optical sensor device 14 detects the movements carried out with the stylus 2 by comparing the staggered image sequences that show the surface of the base.
  • the optical sensor device 14 can also be designed such that they offset the movements carried out with the stylus 2 by comparing them in time image sequences of the interference of the. laser light reflected from the grating and the surface of the underlay.
  • the stylus refill delivers a writing liquid to the base 4 when the hand-guided movements are carried out, which increases the structuring of the surface, so that the optical detection of the hand-guided movements by means of the optical sensor device 14 is facilitated. Furthermore, a natural spelling is brought about by the person writing on the ink lettering on the base.
  • the data processing unit 11 is integrated in the pen housing 3.
  • the data processing unit can also be integrated in an external receiving unit.
  • a receiving unit is, for example, a computer, a microcontroller, a cell phone, a credit card reader, a fax machine or a printer.
  • the data processing unit 11 is connected via a signal line 16 to a downstream encryption unit 17.
  • the encryption unit 17 is used to encrypt the sound signal data output by the data processing unit 11 within the pen housing 1 and the detected optical movement data.
  • the encrypted data are transmitted via the data transmission path 18, which is wireless or wired, to a data processing unit 19 within the local computer 20 transmitted.
  • the local computer 20 has a memory 21 and a display 22, which are each connected to the data processing unit 19 via signal lines 23, 24.
  • the data processing unit 19 of the local computer 20 is also connected to a reading unit 26 via lines 25.
  • the data processing unit 19 of the local computer 20 controls an actuator 28, for example a security door, via control lines 27.
  • the data processing unit 19 is connected via a line 29 to a data network 30 to which an external database 31 is connected.
  • the data network 30 is preferably the Internet.
  • the biometric writing system 1 shown in FIG. 1 contains an acoustic sensor device 5 and an optical sensor device 14.
  • the biometric writing system 1 according to the invention additionally has a pressure sensor device which detects the static and dynamic pressure of the hand-held writing pen placed on the base 4 and outputs corresponding writing print data to the data processing unit 11.
  • the recorded sound signal data, the optical movement data and the palpable multidimensional print data are transmitted by the data processing unit 11 after corresponding encryption by the encryption unit 17 via the data transmission path 18 from the pen housing 3 to the data processing unit 19 integrated in the local computer 20.
  • Biometric reference data are calculated from the recorded sound signal data, the optical movement data and from the mechanical writing pressure data by the data processing unit, which is located inside or outside the pen housing 3, and stored in a reference data memory, for example in the memory 12 or the memory 21.
  • the reference data memory can be a memory within a Identity card, a credit card, a magnetic authorization card or a storage unit of any computer.
  • the written words and characters, the writing noises of which are recorded acoustically by the microphone 5 and emitted as sound signal data are, in particular, written pin codes, passwords, names or handwritten texts.
  • the character written by the person can be spoken simultaneously by the person and also recorded as a speech signal by the microphone 5.
  • the reading unit 26 provided in the local computer 20 is used, for example, to read a portable storage medium for biometric reference data.
  • current biometric data can be compared with stored biometric reference data for verification and identification. If the current biometric data largely match the stored reference data, the data processing unit 11 or 19 generates an identification or verification display signal.
  • An actuator for example a security door, is actuated on the data processing unit 19 after the identification or verification display signal has been generated.
  • the data processing unit 11 or 19 detects a complete match of the current biometric data with stored biometric reference data, the current biometric reference data are recognized by the data processing unit 11, 19 as a pirated copy of the stored reference data and a corresponding warning signal is generated.
  • the stored person-specific biometric reference data are first generated by the biometric writing system 1 according to the invention for later comparisons.
  • the person-specific biometric reference data is generated as follows. First, the hand-held writing utensils movements that are carried out by the person with the stylus 2 on the base when writing a character, a word or a sequence of words are acoustically detected, ie the writing noise is acoustically detected by the microphone 5. After analog / digital conversion, the microphone 5 generates sound signal data which are output to the data processing unit 11.
  • the sound signal data is stored as a digital sound time signal and an associated frequency spectrum is calculated from the stored sound time signal by means of Fourier transformation. Characteristic extraction is used to determine first biometric reference data from the sound intensity of the stored digital sound time signal.
  • Characteristic extraction is used to determine second biometric reference data from the calculated frequency spectrum of the sound time signal. These method steps are preferably carried out several times, and the respectively determined reference data are statistically evaluated, the evaluated data being stored in encrypted form as person-specific reference data.
  • the statistically evaluated, person-specific reference data are preferably stored in a microchip of an identity card, a microchip of a credit card, an authorization magnetic card or the storage unit of a computer or writing system.
  • the microphone 5 can additionally acoustically detect a speech signal originating from the person and output corresponding sound signal data to the data processing unit 11.
  • the optical sensor device 14 additionally detects the hand-guided write movements optically and generates corresponding write movement data which are output to the data processing unit 11.
  • the typing forces that occur during the writing movement of the stylus 2 are preferably detected by pressure sensors, not shown, and correspondingly at least one-dimensional writing pressure data are output to the data processing unit 11.
  • the data processing Processing unit 11 determines the biometric reference data from the sound intensity of the digital time sound signal by means of feature extraction, from the calculated frequency spectrum of the sound time signal by means of feature extraction, and from the optical movement data and writing pressure data generated when writing and speaking a word.
  • the static and dynamic write movement data, the write pressure data, the optical movement data and the sound signal data are preferably reduced by clustering. Characteristic parameters are then extracted from the data-reduced cluster data.
  • FIG. 2 shows a preferred embodiment of a pen 2 of the biometric writing system 1 according to the invention.
  • the pen housing 3 shown in FIG. 2 is, for example, an ordinary ballpoint pen housing.
  • a pen 2 with an integrated pen refill is located in the pen housing 3.
  • the stylus 2 is mechanically connected to a sound body 6 for the transmission of structure-borne sound signals.
  • the recording sound is picked up by the microphone 5 via the stylus 2 and the sound body 6.
  • the stylus 2 itself can serve as a sound body.
  • the microphone 5 can acoustically detect a speech signal originating from a person if the air switch chamber 7 or the acoustic window is connected to the surroundings by opening a closure device.
  • the recording noise and the speech signal can be recorded simultaneously or in succession by the microphone 5.
  • the microphone 5 is an electret microphone.
  • a loudspeaker 32 is additionally provided in the pen housing 3. The loudspeaker 32 is used to reproduce recorded microphone signals, and in addition the loudspeaker 32 can be reproduced stored biometric reference data and used to reproduce spoken information.
  • the volume ⁇ speaker 32 is preferably a miniaturized conventional speakers.
  • the pen 2 can consist of a ballpoint pen refill, an ink pen or a rod with a defined tip.
  • the base 4 consists, for example, of paper or a support with a natural and additionally impressed surface roughness and hardness.
  • the surface roughness of pad 4 leads to statistically excited, forced vibrations of the pad and pen, i.e. statistical scratches and scratches occur.
  • airborne sound waves and / or structure-borne sound waves are produced from this and transmitted to the microphone 5 within the cursive housing 3.
  • the pen 2 with the housing 3 as a sound body and the airborne sound chamber 7 in the pen housing 3 can be optimally designed according to the laws of acoustics.
  • the sound body 6 and the airborne sound space 7 are preferably defined as resonators with specific frequencies. In this case, frequencies are preferably used which have the greatest dynamic range in the change in amplitude when writing.
  • the microphone 5 When writing the pen 2, the microphone 5 emits a sound time signal which is clearly above the noise signal and whose sound intensity is sensitive to the writing speed and to a very small extent to the different roughness of the writing pad and the different mean contact pressure of the writing lead 2.
  • the sound intensity of the recorded sound time signal increases with the writing speed. With the same writing speed, the differences in intensity for different writing paper surfaces are negligible.
  • the frequency spectrum of the recorded sound time signal consists of a continuous noise spectrum that is clearly overlaid by characteristic frequency lines. The frequency lines mainly occur at frequencies below 2 kHz. With the same frequency position, the amplitudes of these frequency lines increase significantly with the writing speed. The amplitudes of the frequency lines increase slightly with increasing surface roughness of the writing pad 4. The frequency positions remain unchanged.
  • the airborne microphone 5 is insensitive to surrounding sound events.
  • the airborne sound chamber 7 has no connection with the ambient air.
  • ambient noises in particular spoken words or engine noises, have no influence on the recorded sound time signal when writing. In this case, only the structure-borne noise generated via the writing lead is picked up by the microphone 5.
  • the biometric characteristics of the person's writing dynamics are determined from the change in time of the acoustic microphone signals and / or the amplitudes of selected spectral lines. Since only the dynamics of the recorded sound signals are evaluated for the generation of biometric reference data, the influence of different roughnesses of the base 4 and the influence of production variations during the manufacture of the writing instrument are negligible. Variations in writing dynamics are therefore person-specific or person-specific and can therefore be evaluated to identify and verify the person.
  • the acoustic time signal recorded acoustically by the microphone 5 is in contrast to Writing pressure signals which reproduce the writing lead pressure in different directions, regardless of how the pen 2 is held on the base 4.
  • the sound signal generated by the microphone 5 does not change if the pen housing 3 is rotated differently about the longitudinal axis.
  • the writing device shown in FIG. 2 can be dimensioned with regard to the geometry, the material, the layer structure, the damping and the acoustic coupling between the sound source and the microphone 5 in such a way that optimal, acoustically less susceptible to interference biometric features can be generated for authentication methods.
  • An acoustic window or opening is provided in the pen housing 3, which can be opened by the person for voice recording at the push of a button. For this purpose, a relatively small opening in the pen housing 3 is sufficient to also record the airborne sound when speaking via the microphone 5. The person closes the housing window to record the pure acoustic write signal or write noise.
  • FIG. 3a shows a further preferred embodiment of the biometric acoustic writing system 1 according to the invention.
  • additional sensor devices are provided in the pen housing 3a in addition to the microphone 5 for the acoustic detection of writing cases.
  • the biometric pen shown in FIG. 3 additionally contains an optical sensor device 33.
  • the optical sensor device 33 detects the position data of the hand-held pen movement via image signals from the surface of the writing pad 4.
  • the optical sensor device 33 contains imaging optics for imaging the document surface and a transducer device Conversion of the optical imaging signal into an electrical signal.
  • the imaging optics include an optical lens 33a.
  • the lens optics can be glass fiber bundles or GRIN lenses.
  • the converter device 33c of the optical sensor device 33 is, for example, a CCD camera with an integrated microprocessor. Alternatively, a photodiode array can be used. A diode light source is preferably additionally provided for illuminating the underlay surface. In an alternative embodiment, the laser diode also serves to illuminate an optical grating integrated in the pen.
  • the optical sensor device 33 detects the movements carried out with the stylus 2 by comparing the temporally offset recorded image sequences of the document surface. In an alternative embodiment, the optical sensor device detects the movements carried out with the stylus 2 by comparing the temporally offset recorded image sequences of the interferences of the laser light reflected on the grating and the surface of the document. In the extended state, the pen lead 2 releases a writing liquid onto the base 4 when the hand-guided movements are carried out, which increases the structuring of the surface of the document. As a result, the optical detection of the hand-guided movements by means of the optical sensor device 33 becomes easier, and a person receives feedback via the ink lettering image, which facilitates the natural spelling.
  • the first preferred embodiment of the biometric writing system 1 according to the invention shown in FIG. 3a contains, in addition to the microphone 5 for recording an acoustic writing noise and the optical sensor device 33 for generating position or movement data, also a pressure sensor system 34 for recording the writing pressure.
  • the pressure sensor system 34 consists, for example, of strain gauges Strain gauges or force-sensitive resistors FSR and piezo sensors 34a, 34b, 34c, 34d, which detect the static and dynamic pressure of the hand-held pen 2 placed on the base 4 and sensory.
  • the sound signal data emitted by the microphone 5, the movement data emitted by the optical sensor device 33 and the detected multidimensional writing pressure data are fed to an integrated data processing unit 11a, 11b within the pen housing 3 and processed into biometric data.
  • the determined biometric data are preferably temporarily stored in a data memory 12 within the pen housing 3.
  • the currently determined biometric data are then preferably encrypted by an encryption unit 17 and transmitted via a data transmission path 18 to a remote computer 20.
  • the acoustic window 7 can be switched between voice and writing noise recording by moving sound insulation 8b within the pen housing 3.
  • the disturbing external noise can be suppressed, for example, by closing the acoustic window 7.
  • the person can open the acoustic window and, for example, additionally speak a written password at the same time or at different times.
  • FIG. 3b shows a second preferred embodiment of the biometric writing system 1 according to the invention.
  • the data processing unit 11 is supplied with current by an accumulator 37.
  • a pressure sensor device 34b is provided at the upper end of the pen lead 2.
  • a spring 38 is also provided.
  • the pressure sensor 34b is preferably a piezo pressure sensor.
  • FIG. 3c shows a third preferred embodiment of the writing system 1 according to the invention.
  • the writing system 1 is rotationally symmetrical and consists of a stylus lead 2, a microphone 5 with holder, sound insulation 8 and a piezo pressure sensor 3.
  • FIG. 3d shows a fourth preferred embodiment of the writing system 1 according to the invention.
  • a fingerprint sensor 39 is provided on the pen housing 3.
  • the fingerprint sensor 39 records biometric data of the person writing about body features.
  • the fingerprint sensor is preferably a capacitive fingerprint sensor.
  • the pen 2 is mounted in the pen housing 3 by a spring steel holder 42.
  • the stylus 2 has two microphones 5a, 5b.
  • Within a body 49 provided in the pen housing 3, a thinner microphone 5a is provided, which is located in the vicinity of one side 41.
  • the side 41 serves as an acoustic oscillator and is connected to the pen refill 2.
  • An external microphone 5b is used to record the ambient sound.
  • the writing system 1 in the embodiment shown in FIG. 3d also has an inclination sensor 40.
  • the inclination sensor 40 detects the inclination of the pen 2 during writing.
  • the motor movement of the pen-guiding fingers is hereby detected.
  • the data processing unit 11 is supplied with power by an accumulator 37.
  • At the upper end of the stylus 2 there is also a pressure sensor 34d.
  • Further pressure sensors 34a, 34b, 34c are provided on the spring steel holder 42.
  • the spring steel holder 42 serves as a pencil lead holder and as a deformer of the strain gauge strips 34a, 34b, 34c, which are preferably attached to the spring steel holder 42.
  • FIG. 3e shows a fifth preferred embodiment of the biometric writing system 1 according to the invention.
  • the writing system 1 has an optical sensor device 48 which at the same time, the static and dynamic pressure and the vibration of the hand-held pen 2 placed on the base 4 are detected in three spatial directions.
  • This optical sensor device 48 contains photodetectors for detecting the movement of a diode light source 44.
  • the diode light source 44 is firmly connected to the stylus 2.
  • the diode light source 44 carries out the deflection and oscillation of the stylus 2, the light rays emitted by the diode light source 44 being emitted as a light source signal to the photodetectors of the optical sensor device 40.
  • the light rays emitted by the diode light source 44 go to a beam splitter 47 and from there to a lens 46.
  • the lens 46 preferably has a partially mirrored underside.
  • the optical sensor device 40 also contains a four-quadrant photodetector 50 and a simple photodetector 45.
  • the four-quadrant photodetector 50 is mounted behind the lens 46.
  • the four-quadrant photodetector 50 detects the deflection and the oscillation of the light source 44 in mutually orthogonal X, Y directions.
  • the simple photodetector 45 detects the deflection and vibration of the light source 44 in the direction perpendicular to the X, Y direction z.
  • the dynamics of the writing pressure and the vibration of the dynamics of the writing speed can be determined in three spatial directions.
  • the signals from the photodetectors 45, 50 are fed to the data processing unit 11 and evaluated there.
  • the stylus 2 is supported by a lead holder 43.
  • a spring 38 is also provided.
  • the image of the optical sensor device 40 consists of the beam splitter 47, the optically partially mirrored lens 46 and an aperture.
  • the biometric acoustic writing systems 1 shown in FIGS. 1 to 3 are versatile.
  • the biomet Rische writing system 1 can be used as a computer input device.
  • the biometric writing system 1 is suitable as a voice input device, in particular as a dictation device.
  • a further possible application is the identification and verification of a writing person by comparing currently derived biometric data with biometric reference data istspei ⁇ cherten of persons.
  • biometric reference data biometric reference data tospei ⁇ cherten of persons.
  • the currently generated biometric data are compared with stored reference data of this person.
  • the prerequisite for this is that the person-specific biometric reference data of this person are first generated.
  • Schreibbe ⁇ are movements that are performed by that person under supervision, recorded acoustically.
  • the person doing the signing for example, signs under supervision with his signature, and the microphone 5 inside the writing instrument detects the sound signals of the writing noise that occur.
  • the recorded writing noises are output to the data processing unit 11 as sound signal data.
  • the sound signal data are temporarily stored in a memory 12 as digital sound time signals.
  • the data processing unit 11 then calculates the associated frequency spectrum, for example by means of a Fourier transformation.
  • First biometric reference data are determined from the stored digital switching time signal by means of feature extraction.
  • Second biometric reference data are likewise determined from the calculated and stored frequency spectrum of the switching time signal by means of feature extraction.
  • the generated person-specific reference data are stored, for example, in a microchip of an identity card, in a microchip of a credit card, in an authorization magnetic card or in any storage unit of a computer.
  • a speech signal originating from the person is preferably also acoustically recorded and corresponding sound signal data is generated.
  • the person concerned can sign a supervision or supervision at a bank or an authority and speak his or her own name simultaneously or subsequently.
  • the typists who appear when signing can also be recorded and evaluated using the pressure sensors.
  • a further increase in security results from additional optical detection of the hand-guided writing movement, ie optical detection of the position data of the signature made.
  • 3a-3e senses a variety of person-specific features, in particular the typeface of the signature, the static and dynamic writing pressure that occurs when writing the signature, the writing noise generated when writing the signature, and additionally the spoken by the person writing Word, for example their name or a password. All of this data is processed and stored to produce biometric reference data. The level of recognition and falsification security is very high, since a wide variety of person-specific features are sensed and evaluated.
  • the current biometric data generated by the writing system are compared with the previously generated and saved biometric data. see reference data of the person compared to determine whether the current biometric data largely match the stored biometric reference data of the person. However, a 100% match is presumably a pirated copy of the stored reference data, and the biometric writing system 1 according to the invention emits a corresponding warning signal.
  • the current biometric data are compared with stored biometric reference data of a large number of people and the person selected whose biometric reference data best match the current biometric data.
  • the biometric writing system can also be used for handwriting recognition and / or hand sketch recognition.
  • Fig. 4 shows schematically the steps for handwriting recognition.
  • the writing noises that occur when writing the pen 2 on the base 3 when writing or sketching a character, a word or a word sequence are acoustically detected by the microphone 5 and converted into corresponding sound signal data.
  • coding takes place.
  • the generated sound signal data is temporarily stored as a digital sound time signal, and the associated frequency spectrum is then calculated from the sound signal data using a Fourier transformation.
  • first current acoustic data are determined from the sound intensity of the digital sound time signal by means of feature extraction for data reduction.
  • Current second acoustic data are also determined from the calculated frequency spectrum of the sound time signal by means of feature extraction.
  • This step also serves above all Data reduction.
  • a sequence of feature vectors is calculated from the acoustic data, and these calculated feature vectors are compared with stored person-specific reference feature vectors in a pattern comparison. A sequence of reference feature vectors which have the smallest deviation from the respective feature vectors is then selected.
  • the written character, the written word or the written word sequence are determined from the sequence of selected reference feature vectors using statistical, connectionistic and knowledge-based methods.
  • the statistical methods are, for example, hidden Markow models for recognizing a larger vocabulary.
  • the connectionist methods primarily use neural network models to recognize a limited vocabulary.
  • the knowledge-based methods are, for example, fuzzy logic models.
  • the reference feature vectors are generated and stored system-specific when the writing system is in position and person-specific before using the system by repeated handwritten writing of a training text. Over longer periods of use, the reference feature vectors of the person are updated adaptively and automatically via newly written characters and words. All methods are based on acoustic models of characters, letters, syllables and vocabulary words of a language in phonetic transcription.
  • the phonetic spelling of the vocabulary of a language is formed by phonetic elements, ie short, phonetic units (allophones) of the writing noise.
  • Every word in the vocabulary is stored as a sequence of allophones.
  • the acoustic models determine from the vocabulary in phonetic transcription several word candidates that are most likely to belong to the acoustic symbol sequence. The probability for each word is determined using the HMM (Hidden Markow models) or the neuro-fuzzy systems. The most likely word candidate is determined via a threshold decision or a word sequence statistics model or language model. The determined character is then output, for example, as formatted text or as handwritten text.
  • the person may also pronounce the written character or word and record it acoustically through the microphone.
  • the position data of the hand-held writing movement are optically recorded. A further increase in security is achieved by recording the writing pressure data that occurs when the word is written.
  • the person-specific reference data generated by the writing system 1 according to the invention can be evaluated to determine psychological and or physiological characteristics of the person.
  • the occurrence of neuromotor movement disorders of a person can be recognized by means of the biometric writing system 1 according to the invention.
  • the biometric writing system according to the invention is therefore suitable for diagnosing psychological and / or physiological features and for diagnosing neuromotor movement disorders in the person.
  • the biometric writing system 1 shows a particularly preferred embodiment of the biometric writing system 1 according to the invention with an optoacoustic feedback for the person writing.
  • the biometric data obtained are transferred from the stylus 3 to a local computer 20, which gives the writer via lines 35a, 35b an optoacoustic feedback via a screen 36a and a loudspeaker 36b.
  • the biometric writing system 1 according to the invention is suitable as a system for the therapy of movement disorders of the person. Thanks to the optoacoustic feedback, the person who may have a neuromotor movement disorder can learn to write again.
  • Another interesting area of application is the use of the biometric writing system 1, as shown in FIG. 5, as a training system for learning to write.
  • the biometric writing system 1 is suitable as a training system for learning a language, in particular a foreign language.
  • the learner can write a word on the pad 4, and the loudspeaker integrated in the pen housing 3 reproduces the word in the correct pronunciation of the foreign language.
  • predetermined numbers or characters that are attached to the base 4 can be traced by the person with the pen.
  • a student can trace a predetermined number or a character on the base 4 and receives optoacoustic feedback. Documentation of their learning progress is possible for people with coordination difficulties.
  • using the biometric writing system 1 according to the invention as shown in FIG. 5, it is possible to learn to write the alphabet in a simple manner. Manufacturing exercises, awareness exercises and imitation exercises are also possible.
  • FIGS. 6a, 6b show the recorded time sound signal at different writing speeds on a cardboard surface and on a writing paper block. In the example shown, a line is drawn with increasing speed on the cardboard and the writing paper block.
  • 6c, 6d show the associated frequency spectra.
  • FIG. 7 shows a time sound signal which is generated when the letter "a" is written three times when the pen is written on a writing pad by means of the biometric writing system 1 according to the invention. As can be seen in FIG. 7, the sound time signal is very easily repeatable or reproducible, so that the letter "a" can be specifically recognized.
  • Fig. 8 also shows a time sound signal which is generated by writing a letter "b" three times.
  • the letter "b” also has a characteristic sound time signal curve.
  • FIG. 9a shows amplitude frequency signals over time for the letter "a”
  • FIG. 9b shows amplitude frequency signals for writing the letter "b" over time.
  • 10a, 10b show in principle how the amplitude frequency lines change dynamically over time when writing a letter, for example a letter "a".
  • the person writing puts the pen on (starting point AP) and carries out the writing movement.
  • the spectrum existing at time tO changes dynamically over time.
  • 10b shows the change in the spectrum at time t0 at time t1.
  • the acoustic writing system 1 can be designed such that it detects the frequency lines of the handwritten characters in the largest possible dynamic range with large amplitude values.
  • the biometric acoustic writing system 1 according to the invention has a large number of possible uses. On the one hand, it can be used as a biometric authentication system for personal identification and verification.
  • the writing system 1 according to the invention is suitable as a computer input device as a replacement for a computer mouse or keyboard commands, in particular for password entry.
  • the biometric writing system 1 according to the invention can be used for electronic speech and handwriting recognition. Another extensive area of application is in the field of biometric diagnosis and therapy.
  • the biometric writing system 1 according to the invention can be used for training purposes, for example for learning to write, foreign languages or for eliminating coordination difficulties.
  • biometric writing system 1 can also be used as a biometric system for personal access and security control in all security areas with a high level of security against falsification and low error rates. Other possible uses are forensic use in criminal statistics, border guards or the police.
  • biometric writing system 1 according to the invention can be used for communication between man and machine, in particular as a dictation device, or for verbal and handwritten machine control.
  • the multifunctional biometric writing system 1 is also suitable as an input unit for a future virtual desk, in which, for example, the tablet of a PC is supplemented or replaced by the normal writing paper as an input medium with the input options according to the invention via the writing pen.
  • the biometric writing system 1 according to the invention can be produced inexpensively with relatively little technical effort, so that a wide range of applications can be opened up.

Abstract

The invention relates to a biometric writing system comprising a stylus housing (3) for carrying out hand-guided movements on a pad (4), at least one microphone (5), which is integrated in the stylus housing (3) and provided for acoustically recording acoustic signals that are produced by the hand-guided movements. The inventive biometric writing system also comprises a data processing unit (11) for calculating biometric data according to the recorded acoustic signals.

Description

Biometrisches akustisches Schreibsystem und Verfahren zur Personenidentifikation und Handschriftenerkennung mittels biometrischer DatenBiometric acoustic writing system and method for personal identification and handwriting recognition using biometric data
Die Erfindung betrifft ein biometrisches akustisches Schreib- system, bei dem mit einem in einem Schreibstiftgerät integrierten Mikrofon die bei der handgeführten Bewegung des Schreibstiftes hervorgerufenen Schallsignale akustisch erfasst und anschließend zu biometrischen Daten verarbeitet werden. Die Erfindung betrifft ferner ein Verfahren zur Personenidentifikation und Personenverifikation mittels eines biometrischen Schreibsystems sowie ein Verfahren zur Handschriftenerkennung und/oder Handskizzenerkennung.The invention relates to a biometric acoustic writing system in which, with a microphone integrated in a pen device, the sound signals caused by the hand-guided movement of the pen are acoustically recorded and then processed to biometric data. The invention further relates to a method for person identification and person verification by means of a biometric writing system and a method for handwriting recognition and / or hand sketch recognition.
Derzeit gibt es eine große Auswahl von konkurrierenden biometrischen Systemen. Den größten Anteil der biometrischen Systeme machen derzeit Systeme aus, die Fingerlinien als Erkennungsmerkmale nutzen, gefolgt von Systemen zur Gesichtserkennung und so genannte Irisscanner.There is currently a large selection of competing biometric systems. The majority of biometric systems currently make up systems that use finger lines as recognition features, followed by systems for facial recognition and so-called iris scanners.
Durch die zunehmende elektronische Vernetzung in allen Bereichen des Geschäftslebens nimmt die Bedeutung der elektronischen Passwort- und Signaturerkennung ständig zu. Verträge werden in herkömmlicher Weise durch die beiden Vertragspartner geschlossen, indem eine Unterschrift zur Beurkundung geleistet wird. Die Unterschrift dient dabei zu Beweiszwecken und ist für denjenigen, der die Unterschrift leistet spezifisch. Bei Vertragsabschlüssen im Bereich des E-Commerce besteht die Notwendigkeit, dass die Vertragspartner zu ihrer Identifikation eine elektronische Unterschrift leisten müssen, die auf ihre Gültigkeit hin verifiziert werden muss. Voraussetzung für den breiten Einsatz einer elektronischen Unterschrift zur Verifikation der Identität der Vertragspartner ist eine hohe Verfälschungssicherheit der geleisteten elektronischen Unterschrift. Ferner muss die geleistete Unterschrift mit einer hohen Erkennungsrate erkannt und an einen entfernt gelegenen Rechner ü- bertragen werden. Unerlässlich ist ferner, dass die Eingabe der elektronischen Unterschrift für einen großen Personenkreis ohne besondere Kenntnisse in einfacher Weise erfolgen kann.Due to the increasing electronic networking in all areas of business life, the importance of electronic password and signature recognition is constantly increasing. Contracts are concluded in a conventional manner by the two contracting parties by signing a certificate. The signature is used for evidence purposes and is specific to those who provide the signature. When concluding contracts in the field of e-commerce, there is a need for the contracting parties to provide an electronic signature for their identification, which must be verified for validity. A prerequisite for the widespread use of an electronic signature to verify the identity of the contractual partner is a high level of security against tampering with the electronic signature. Furthermore, the signature must be recognized with a high recognition rate and transmitted to a remote computer. It is also essential that the electronic signature can be entered easily for a large group of people without special knowledge.
Die bisher bekannten Schreibsysteme erfüllen diese Forderungen nicht und weisen zum Teil gravierende Nachteile auf.The previously known writing systems do not meet these requirements and in some cases have serious disadvantages.
Es sind Schreibstifte mit Beschleunigungssensoren bekannt (beispielsweise^ Accelerometer-based pens von British Telecom- munications) zur Aufnahme von Beschleunigungskräften beim Schreiben mit dem Schreibstift. Der Nachteil dieses bekannten Schreibstiftes besteht in einer vergleichsweise geringen Erkennungsrate bei der Unterschriftenverifikation aufgrund des nur zweidimensionalen Datenraumes. Darüber hinaus muss der Schreibstift beim Schreiben stets gleich ausgerichtet sein, d.h. der Winkel zwischen dem Schreibstift und der Unterlage muss weitestgehend konstant sein, so dass ein natürliches Schreibverhalten beim Leisten einer Unterschrift nicht gewährleistet ist. Darüber hinaus setzt eine akzeptable Erkennungsrate eine Mindestschreibgeschwindigkeit voraus, da sonst die gemessenen Beschleunigungskräfte zu gering sind.Pens with acceleration sensors are known (for example ^ accelerometer-based pens from British Telecommunications) for absorbing acceleration forces when writing with the pen. The disadvantage of this known pen is a comparatively low recognition rate for signature verification due to the only two-dimensional data space. In addition, the pen must always be aligned when writing, ie the angle between the pen and the base must be largely constant, so that a natural writing behavior is not guaranteed when signing. In addition, an acceptable recognition rate requires a minimum writing speed, otherwise the measured acceleration forces are too low.
Eine Vielzahl von Schreibsystemen erkennen den handschriftlich geschriebenen Text bzw. Zeichen mittels der Schreibunterlage. Alle derartigen Schreibsysteme haben den Nachteil, dass spezielle Schreibunterlagen mit entsprechender Signalverarbeitung erforderlich sind.A variety of writing systems recognize the handwritten text or characters using the writing pad. All such writing systems have the disadvantage that special writing documents with appropriate signal processing are required.
Aus der US 4,513,437 ist ein Dateneingabestift zur Unterschriftenverifikation bekannt. Der Stift enthält einen Schreibstift zur Sichtbarmachung des Geschriebenen auf einer Unterlage sowie piezoelektrische Druck- und Beschleunigungssensoren zur Erfassung von Beschleunigungskräften, die durch transversale Schreibbewegungen des Stiftes auf der Schreibunterlage hervorgerufen werden. Darüber hinaus wird der Druck auf den Schreibstift in axial-paralleler Richtung des Schreibstiftes erfasst.A data entry pen for signature verification is known from US 4,513,437. The pen contains a pen to visualize what is written on a surface and piezoelectric pressure and acceleration sensors to detect acceleration forces caused by transversal writing movements of the pen are caused on the writing surface. In addition, the pressure on the pen is recorded in the axially parallel direction of the pen.
Der Nachteil des in der US 4,513,437 beschriebenen Dateneingabestiftes besteht darin, dass ausgeprägte Beschleunigungskräfte beim Schreiben erforderlich sind. Zur Erfassung sind daher starke Richtungsänderungen und/oder Geschwindigkeitsänderungen geradliniger Schreibbewegung zur Signalerfassung notwendig.The disadvantage of the data input pen described in US 4,513,437 is that pronounced acceleration forces are required when writing. Strong changes in direction and / or changes in speed of a straight-line write movement for signal detection are therefore necessary for the detection.
In den Druckschriften US 5 294 792A, US 5 333 209 A, US 6 208 755 Bl, DE 196 44 109 AI und DE 100 28 138 AI werden Schreibsysteme zur Erfassung von Schreibdruckdynamik mittels Drucksensoren und Schreibbewegungsdaten mittels CCD-Sensorik beschrieben.US 5 294 792A, US 5 333 209 A, US 6 208 755 B1, DE 196 44 109 AI and DE 100 28 138 AI describe writing systems for recording writing pressure dynamics using pressure sensors and writing movement data using CCD sensors.
Es sind Schreibsysteme bekannt, bei denen in einem Schreibstiftgerät ein Schreibstift zur Durchführung handgeführter Bewegungen auf einer Unterlage integriert ist. Das Schreibstiftgerät enthält eine optische Sensoreinrichtung zur Erfassung der mit dem Schreibstift durchgeführten Bewegungen als Bewe- gungs- bzw. Positionsdaten. Darüber hinaus ist in dem Schreibstiftgerät eine weitere Drucksensoreinrichtung zur Erfassung der bei den durchgeführten Bewegungen des Schreibstiftes auftretenden Kräfte integriert. Eine Datenverarbeitungseinheit dient zur Berechnung biometrischer Daten in Abhängigkeit von den erfassten Bewegungsdaten und den erfassten Schreibdruckdaten .Writing systems are known in which a writing pen for carrying out hand-guided movements on a base is integrated in a pen device. The pen device contains an optical sensor device for detecting the movements carried out with the pen as movement or position data. In addition, a further pressure sensor device for detecting the forces occurring during the movements of the pen is integrated in the pen device. A data processing unit is used to calculate biometric data as a function of the recorded movement data and the recorded writing pressure data.
Es gibt bereits kommerzielle Schreibgeräte, die mit den oben genannten Sensortechniken ausgestattet sind.There are already commercial writing instruments that are equipped with the sensor technologies mentioned above.
So beschreibt der sog. Anoto-Digital-Stift ein Schreibsystem, bei dem geschriebener Text auf einen Rechner übertragen werden kann. Der Schreibstift besteht aus einem Kugelschreiber mit einer integrierten digitalen Kamera. Ein Kraftsensor detek- tiert das Aufsetzen der Schreibmiene auf ein Spezialpapier . Bei dem Spezialpapier handelt es sich um ein Papier mit einem aufgedruckten Punktemuster. Die integrierte digitale Kamera des Anoto-Schreibstiftes nimmt die Schreibbewegungen des Stiftes über dem Punktemuster wahr. Die Kamera nimmt eine Vielzahl von Bildern pro Sekunde auf. Jedes aufgenommene Bild wird mit dem darauffolgenden Bild verglichen und ein integrierter Prozessor errechnet daraus unter Berücksichtigung der Stifthaltung den Richtungswechsel und die Bewegungsstrecke der in dem Stift integrierten Schreibmine. Auf dem Anoto-Spezialpapier befinden sich eine Vielzahl aufgedruckter Punkte, die mit Tinte auf Kohlenstoffbasis aufgebracht sind und einen Abstand von weniger als 1mm zueinander aufweisen. Jedes Anoto- Spezialpapier besitzt ein anderes Punktemuster, so dass die einzelnen Seiten voneinander unterscheidbar sind. Eine Licht emittierende Diode (LED) beleuchtet die kohlenstoff-haltigen Tintenpunkte, die langwelliges Infrarotlicht absorbieren und somit für die integrierte Digitalkamera innerhalb des Anoto- Stiftes erkennbar sind. Durch das Anoto-Spezialpapier kann die Relativbewegung des Stiftes sowie die absolute Position des Stiftes auf dem Papier ermittelt werden.The so-called Anoto digital pen describes a writing system in which written text is transferred to a computer can. The pen consists of a ballpoint pen with an integrated digital camera. A force sensor detects the placement of the writing surface on a special paper. The special paper is a paper with a printed dot pattern. The integrated digital camera of the Anoto pen perceives the writing movements of the pen over the dot pattern. The camera takes a large number of frames per second. Each recorded image is compared with the following image and an integrated processor uses this to calculate the change of direction and the movement distance of the writing lead integrated in the pen, taking into account the pen position. There is a large number of printed dots on the Anoto special paper, which are applied with carbon-based ink and are less than 1 mm apart. Each Anoto special paper has a different dot pattern so that the individual pages can be distinguished from one another. A light-emitting diode (LED) illuminates the carbon-containing ink dots, which absorb long-wave infrared light and are therefore recognizable for the integrated digital camera inside the Anoto pen. The relative movement of the pen and the absolute position of the pen on the paper can be determined using the Anoto special paper.
Der Nachteil des Anoto-Stiftes besteht darin, dass ein spezielles Papier notwendig ist und dass die Stifthaltung vorgegeben ist. Darüber hinaus ist die Verfälschungssicherheit der Unterschriftenverifikation zu gering, da keine personenspezifische biometrische Daten ermittelt werden. Durch den Anoto- Schreibstift wird nicht der individuelle Schreibdruck auf die Schreibmiene erfasst.The disadvantage of the Anoto pen is that special paper is required and that the pen is fixed. In addition, the security against tampering with signature verification is too low, since no person-specific biometric data are determined. The Anoto pen does not record the individual writing pressure on the writing surface.
Neben der elektronischen Unterschriftenverifikation besteht ein zunehmender Bedarf zur elektronischen Erfassung handgeschriebener Texte bzw. Zeichen. Bei herkömmlichen Verfahren zur Handschrifterkennung werden handgeführte Schreibbewegungen optisch erfasst und die ermittelten Schriftbilddaten werden anschließend mittels OCR-Verfahren in ASCI-Codedaten umgewandelt. Herkömmlicherweise werden bei der Erkennung eines geschriebenen Wortes mehrere mögliche Wortkandidaten selektiert. Die Anzahl der möglichen Wortkandidaten ist dabei umso höher, je undeutlicher die Handschrift ist und je mehr ähnliche Worte existieren. Aus den verschiedenen möglichen Wortkandidaten wird anschließend durch eine statistische Auswertung der wahrscheinlichste Wortkandidat ermittelt und ausgegeben. Die statistische Auswertung erfolgt wie bei der maschinellen Spracherkennung mittels sog. Wortfolgenstatistikprogramme, die anhand der vorangehenden erkannten Worte die statistische Wahrscheinlichkeit für das Auftreten des jeweiligen Wortkandidaten berechnen. Der am wahrscheinlichsten auftretende Wortkandidat wird selektiert und anschließend ausgegeben. Der Nachteil derartiger herkömmlicher Verfahren bei der Handschrifterkennung besteht darin, dass die Anzahl der möglichen Wortkandidaten in vielen Fällen sehr hoch ist, so dass die Erkennungsrate oft sehr niedrig ist.In addition to electronic signature verification, there is an increasing need for electronic recording of handwritten texts or characters. In conventional processes For handwriting recognition, hand-guided writing movements are optically recorded and the typeface data determined are then converted into ASCI code data using the OCR method. Conventionally, several possible word candidates are selected when a written word is recognized. The more indistinct the handwriting and the more similar words, the higher the number of possible word candidates. The most likely word candidate is then determined from the various possible word candidates by means of a statistical evaluation and output. As in the case of machine speech recognition, the statistical evaluation is carried out by means of so-called word sequence statistics programs which calculate the statistical probability of the occurrence of the respective word candidate on the basis of the previously recognized words. The most likely word candidate is selected and then output. The disadvantage of such conventional methods for handwriting recognition is that the number of possible word candidates is very high in many cases, so that the recognition rate is often very low.
Schreibsysteme zur Unterschriftenverifikation, zur Personenidentifikation bzw. -Verifikation sowie zur Handschriften- und Spracherkennung müssen eine sehr hohe Verfälschungssicherheit und geringe Fehlerraten aufweisen. Darüber hinaus darf die technische Realisierung nicht allzu aufwendig sein, um ein breites Anwendungsgebiet zu ermöglichen.Writing systems for signature verification, for personal identification and verification as well as for handwriting and speech recognition must have a very high level of security against falsification and low error rates. In addition, the technical implementation must not be too complex to enable a wide range of applications.
Es ist daher die Aufgabe der vorliegenden Erfindung, ein multifunktionales biometrisches akustisches Schreibsystem zu schaffen, das geringe Fehlerraten aufweist und eine sehr hohe Verfälschungssicherheit bietet, eine möglichst große Akzeptanz ermöglicht und sehr kostengünstig hergestellt werden kann. Diese Aufgabe wird erfindungsgemäß durch ein biometrisches Schreibsystem mit den im Patentanspruch 1 angegebenen Merkmalen gelöst.It is therefore the object of the present invention to create a multifunctional biometric acoustic writing system which has low error rates and offers a very high level of security against tampering, enables the greatest possible acceptance and can be produced very inexpensively. This object is achieved by a biometric writing system with the features specified in claim 1.
Das erfindungsgemäß biometrische Schreibsystem wird vorzugsweise als multifunktionales Eingabesystem in der Biometrie zur Personenidentifikation eingesetzt .The biometric writing system according to the invention is preferably used as a multifunctional input system in biometrics for personal identification.
Das erfindungsgemäße Schreibsystem kann bei einem virtuellen Schreibtisch das Tablet eines PCs durch normales Schreibpapier als Eingabemedium ersetzten oder ergänzen. Das erfindungsgemäße Schreibsystem ist ferner in der Life Science zur Diagnose und Therapie, in der Medizin und in der Psychologie einsetzbar.In a virtual desk, the writing system according to the invention can replace or supplement the tablet of a PC with normal writing paper as an input medium. The writing system according to the invention can also be used in life science for diagnosis and therapy, in medicine and in psychology.
Die Erfindung betrifft ein biometrisches akustisches Schreibsystem mit einem Schreibstiftgehause zur Durchführung handgeführter Bewegungen auf einer Unterlage, mindestens einem in dem Schreibstiftgehause integrierten Mikrofon zur akustischen Erfassung von Schallsignalen, die durch die handgeführten Bewegungen hervorgerufen werden, und mit einer Datenverarbeitungseinheit zur Berechnung biometrischer Daten in Abhängigkeit von den erfassten Schallsignalen.The invention relates to a biometric acoustic writing system with a pen housing for performing hand-guided movements on a base, at least one microphone integrated in the pen housing for acoustic detection of sound signals which are caused by the hand-guided movements, and with a data processing unit for calculating biometric data as a function of the recorded sound signals.
Das erfindungsgemäße biometrische, akustische Schreibsystem ermöglicht die Generierung von personenspezifischen biometrischen Referenzdaten, die für die Person einzigartig sind. Hierdurch ist es möglich, die Identität einer schreibenden Person zu verifizieren und durch Vergleich mit gespeicherten Referenzdaten sogar zu identifizieren.The biometric, acoustic writing system according to the invention enables the generation of person-specific biometric reference data which are unique for the person. This makes it possible to verify the identity of a person writing and even identify it by comparing it with stored reference data.
Das erfindungsgemäß biometrische Schreibsystem ermöglicht zudem eine Handschriftenerkennung bzw. Handskizzenerkennung zur Ermittlung und Ausgabe von handgeschriebenen Zeichen in digitaler Form. Das erfindungsgemäße biometrische Schreibsystem enthält vorzugsweise eine Datenverarbeitungseinheit zur Rekonstruktion handgeschriebener Zeichen und Texte aus den erfassten Schallsignalen .The biometric writing system according to the invention also enables handwriting recognition or hand sketch recognition for the determination and output of handwritten characters in digital form. The biometric writing system according to the invention preferably contains a data processing unit for the reconstruction of handwritten characters and texts from the recorded sound signals.
In dem Schreibstiftgehause ist vorzugsweise ein Schreibstift vorgesehen, der auf der Unterlage aufgesetzt und auf der Unterlage geführt wird.A pen is preferably provided in the pen housing and is placed on the base and guided on the base.
Dies bietet den besonderen Vorteil, dass die Person ein natürliches Schreibgefühl hat, da sich das erfindungsgemäße biometrische Schreibsystem wie ein normales Schreibstiftgerät mit einer tintenführenden Schreibstiftmine verhält.This offers the particular advantage that the person has a natural writing sensation, since the biometric writing system according to the invention behaves like a normal pen device with an ink-carrying pen refill.
Das durch die Reibung des Schreibstiftes auf der Unterlage während der handgeführten Schreibbewegung hervorgerufene akustische Schreibgeräusch wird vorzugsweise als Körperschallsignal über den Schreibstift und/oder zusätzlich als Luftschallsignal über die Umgebungsluft durch das in dem Schreibstiftgehause integrierte Mikrofon übertragen.The acoustic writing noise caused by the friction of the pen on the base during the hand-guided writing movement is preferably transmitted as structure-borne sound signal via the pen and / or additionally as airborne sound signal via the ambient air through the microphone integrated in the pen housing.
Da das Schreibgeräusch nicht allein über die Umgebungsluft, sondern auch als Körperschallsignal übertragen werden kann, eignet sich das erfindungsgemäße Schreibsystem auch für Anwendungsgebiete in akustisch lauten Bereichen.Since the writing noise can be transmitted not only via the ambient air, but also as a structure-borne sound signal, the writing system according to the invention is also suitable for areas of application in acoustically noisy areas.
Das Mikrofon ist vorzugsweise zur Übertragung des Körperschallsignals mechanisch mit dem Schreibstift gekoppelt.The microphone is preferably mechanically coupled to the stylus for transmitting the structure-borne sound signal.
Dabei ist das Mikrofon bei einer besonders bevorzugten Ausführungsform zur Übertragung des Körperschallsignals mechanisch mit einem mit dem Schreibstift verbundenen Klangkörper gekoppelt . Der Klangkörper ist vorzugsweise als ein Resonator für be¬ stimmte Eigenfrequenzen ausgelegt.In a particularly preferred embodiment, the microphone is mechanically coupled to a sound body connected to the stylus for transmitting the structure-borne sound signal. The sound body is preferably designed as a resonator for certain natural frequencies.
Bei einer bevorzugten Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems ist das Mikrofon in einer in dem Schreibstiftgehause vorgesehenen Luftschallkammer angeordnet.In a preferred embodiment of the biometric writing system according to the invention, the microphone is arranged in an airborne sound chamber provided in the pen housing.
Die Luftschallkammer ist vorzugsweise als ein Resonator für bestimmte Eigenfrequenzen ausgelegt.The airborne sound chamber is preferably designed as a resonator for certain natural frequencies.
Das Mikrofon ist zusammen mit den Resonatoren vorzugsweise von einer Schalldämmung umgeben, die zur Dämpfung von Umgebungsgeräuschen vorgesehen ist und Schallsignale zum Mikrofon nur ü- ber den Schreibstift durchlässt.The microphone, together with the resonators, is preferably surrounded by sound insulation, which is provided to dampen ambient noise and only transmits sound signals to the microphone via the stylus.
Die Luftschallkammer ist über eine in dem Schreibstiftgehause vorhandenen Gehäuseöffnung mit der Umgebungsluft koppelbar.The airborne sound chamber can be coupled to the ambient air via a housing opening in the pen housing.
Die Gehäuseöffnung ist vorzugsweise mittels einer mechanischen Verschlusseinrichtung zur Unterdrückung von Außengeräuschen schließbar .The housing opening can preferably be closed by means of a mechanical closure device for suppressing external noise.
Dies bietet dem Benutzer die Möglichkeit, durch Schließen der Öffnung Störgeräusche aus der Umgebung zu unterdrücken.This offers the user the option of suppressing ambient noise by closing the opening.
Das Mikrofon erfasst bei geöffneter Gehäuseöffnung vorzugsweise das durch die handgeführte Schreibbewegung hervorgerufene interne und externe Schreibgeräusch als Körper- und Luftschallsignal und/oder ein von einer Person stammendes Sprachsignal .When the housing opening is open, the microphone preferably detects the internal and external writing noise caused by the hand-held writing movement as a body and airborne sound signal and / or a speech signal originating from a person.
Der Schallkörper für das externe Schreibgeräusch wird vorzugsweise durch die Schreibunterlage gebildet. Das Mikrofon bei geöffneter Gehäuseöffnung kann wahlweise durch ein akustisch nicht isoliertes zweites Mikrofon im Schreibstiftgehause ersetzt werden.The sound body for the external writing noise is preferably formed by the writing pad. The microphone with the housing opening open can optionally be replaced by an acoustically non-isolated second microphone in the pen housing.
Durch die akustische Erfassung des Sprechsignals zusätzlich zur akustischen Erfassung des Schreibgeräusches kann die Fehlerrate bei der Erkennung der Person erheblich reduziert werden. Durch die Kombination der Auswertung des Sprechsignals und des Schreibgeräusches wird eine sehr hohe Erkennungssicherheit des biometrischen Schreibsystems erreicht.Through the acoustic detection of the speech signal in addition to the acoustic detection of the writing noise, the error rate when recognizing the person can be significantly reduced. By combining the evaluation of the speech signal and the writing noise, a very high level of recognition reliability of the biometric writing system is achieved.
Das Mikrofon wandelt die erfassten akustischen Schallsignale vorzugsweise in ein elektrisches Schallsignal um.The microphone preferably converts the recorded acoustic sound signals into an electrical sound signal.
Das elektrische Schallsignal wird vorzugsweise durch einen A- nalog-/Digitalwandler in Schallsignaldaten zur digitalen Datenverarbeitung durch die Datenverarbeitungseinheit umgewandelt.The electrical sound signal is preferably converted by an analog / digital converter into sound signal data for digital data processing by the data processing unit.
Dabei werden das Schreibgeräusch und das Sprechsignal gleichzeitig oder zeitlich hintereinander durch das Mikrofon erfasst .The typing noise and the speech signal are recorded simultaneously or in succession by the microphone.
Die erzeugten Schallsignaldaten sind vorzugsweise in einer Speichereinheit des biometrischen Schreibsystems abspeicherbar.The sound signal data generated can preferably be stored in a storage unit of the biometric writing system.
Die Schreibunterlage besteht vorzugsweise aus beliebigem Papier .The desk pad is preferably made of any paper.
Dabei ist die Schreibunterlage vorzugsweise eine feste Unterlage, die eine bestimmte aufgeprägte Oberflächenrauhigkeit und Härte aufweist. Bei einer besonders bevorzugten Ausführungsform des biometrischen, akustischen Schreibsystems ist in dem Schreibstiftgehause ein Lautsprecher zur Wiedergabe erfasster Mikrofonsignale, zur Wiedergabe gespeicherter biometrischer Referenzdaten und zur Wiedergabe gesprochener Informationen vorgesehen.The writing pad is preferably a solid pad that has a certain embossed surface roughness and hardness. In a particularly preferred embodiment of the biometric, acoustic writing system, a loudspeaker is provided in the pen housing for reproducing recorded microphone signals, for reproducing stored biometric reference data and for reproducing spoken information.
Vorzugsweise wird zusätzlich ein von der Person stammendes Sprachsignal akustisch erfasst und entsprechende Schallsignaldaten für die Sprechererkennung oder Spracherkennung erzeugt.In addition, a voice signal originating from the person is preferably acoustically recorded and corresponding sound signal data is generated for speaker recognition or voice recognition.
Das Schreibgeräusch selbst kann ebenfalls mit den Algorithmen und Verfahren der Sprecher- und Spracherkennung ausgewertet werden.The typing noise itself can also be evaluated using the algorithms and methods of speaker and speech recognition.
Bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen biometrischen, akustischen Schreibsystems bzw. akusto- mechanischen Schreibsystem, ist ferner eine zweite Sensoreinrichtung vorgesehen, die die Schreibdynamik über den statischen und dynamischen Druck und die Schreibgeschwindigkeit ü- ber die Schwingung des Schreibstiftes des auf der Unterlage aufgesetzten und handgeführten Schreibgerätes erfasst.In a further preferred embodiment of the biometric, acoustic writing system or acousto-mechanical writing system according to the invention, a second sensor device is also provided, which measures the writing dynamics via the static and dynamic pressure and the writing speed via the vibration of the pen on the base and hand-held writing instrument.
Bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen biometrischen, akustischen Schreibsystems bzw. akusto- mechanischen Schreibsystem, sind mindestens drei Sensoren zur gleichzeitigen Erfassung der auftretenden Schreibkräfte und Schwingungen der Schreibmine in drei Raumrichtungen vorgesehen.In a further preferred embodiment of the biometric, acoustic writing system or acousto-mechanical writing system according to the invention, at least three sensors are provided for simultaneous detection of the typing forces and vibrations of the writing lead occurring in three spatial directions.
Bei einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen biometrischen akustischen Schreibsystems bzw. akusto- mechanischen Schreibsystems, ist ferner ein Neigungssensoreinrichtung vorgesehen, die die Neigung des auf der Unterlage aufgesetzten und handgeführten Schreibgerätes bestimmt und somit vorwiegend die Fingermotorik beim Schreiben erfasst. Bei einer bevorzugten Ausführungsform des biometrischen Schreibsystems ist zusätzlich eine optische Sensoreinrichtung vorgesehen, die Positionsdaten der handgeführten Schreibstiftbewegung über Bildsignale von der Oberfläche der Schreibunterlage erfasst.In a further preferred embodiment of the biometric acoustic writing system or acoustomechanical writing system according to the invention, an inclination sensor device is also provided which determines the inclination of the hand-held writing instrument placed on the base and thus predominantly detects the finger motor when writing. In a preferred embodiment of the biometric writing system, an optical sensor device is additionally provided, which detects position data of the hand-guided pen movement via image signals from the surface of the writing pad.
Bei einer weiteren bevorzugten Ausführungsform des biometrischen Schreibsystems ist ferner eine Druck-Sensoreinrichtung vorgesehen, die den statischen und dynamischen Druck des auf der Unterlage aufgesetzten und handgeführten Schreibstiftes erfasst .In a further preferred embodiment of the biometric writing system, a pressure sensor device is also provided which detects the static and dynamic pressure of the hand-held writing pen placed on the base.
Das Mikrofon ist vorzugsweise eine Elektrett-Mikrofon, ein piezoelektrisches Mikrofon, ein piezoresistives Mikrofon oder ein kapazitives Mikrofon.The microphone is preferably an electret microphone, a piezoelectric microphone, a piezoresistive microphone or a capacitive microphone.
In dem Schreibstift des biometrischen Schreibsystems ist vorzugsweise eine auswechselbare Schreibstiftmine vorgesehen.A replaceable pen lead is preferably provided in the pen of the biometric writing system.
Diese Schreibstiftmine ist vorzugsweise mittels einer Schalteinrichtung aus dem Schreibstift ausfahrbar.This pen lead can preferably be moved out of the pen by means of a switching device.
Bei einer bevorzugten Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems weist die optische Sensoreinrichtung eine Abbildungsoptik zur Abbildung der Unterlagenoberfläche und eine Wandlereinrichtung zur Umwandlung des optischen Abbildungssignals in ein elektrisches Signal auf.In a preferred embodiment of the biometric writing system according to the invention, the optical sensor device has imaging optics for imaging the document surface and a converter device for converting the optical imaging signal into an electrical signal.
Die Abbildungsoptik besteht dabei vorzugsweise aus optischen Linsen und/oder Glasfasern.The imaging optics preferably consist of optical lenses and / or glass fibers.
Bei der Wandlereinrichtung handelt es sich vorzugsweise um eine CCD-Kamera oder ein Photodiodenarray . Ferner ist vorzugsweise eine Diodenlichtquelle zur Beleuchtung der Unterlagenoberfläche vorgesehen.The converter device is preferably a CCD camera or a photodiode array. Furthermore, a diode light source is preferably provided for illuminating the underlay surface.
Bei einer besonders bevorzugten Ausführungsform ist zusätzlich eine Laserdiode zur Beleuchtung der Unterlagenober läche und eines in den Stift integrierten optischen Gitters vorgesehen.In a particularly preferred embodiment, a laser diode for illuminating the surface of the documentation and an optical grating integrated in the pen are additionally provided.
Die optische Sensoreinrichtung erfasst vorzugsweise die mit dem Schreibstift durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Unterlagenoberfläche.The optical sensor device preferably detects the movements carried out with the stylus by comparing the staggered image sequences of the document surface.
Bei einer alternativen Ausführungsform erfasst die optische Sensoreinrichtung die mit dem Schreibstift durchgeführten Bewegungen durch Vergleich der zeitlich versetzten, aufgenommenen Bildfolgen der Interferenzen des an dem Gitter und der Unterlagenoberfläche reflektierten Laserlichtes.In an alternative embodiment, the optical sensor device detects the movements carried out with the stylus by comparing the temporally offset, recorded image sequences of the interferences of the laser light reflected on the grating and the surface of the document.
Die Schreibstiftmine gibt bei einer bevorzugten Ausführungsform in einem ausgefahrenen Zustand auf die Unterlage bei Durchführung der handgeführten Bewegungen eine Schreibflüssigkeit ab, die die Strukturierung der Unterlagenoberfläche erhöht, so dass die optische Erfassung der handgeführten Bewegungen mittels der optischen Sensoreinrichtung erleichtert und über das Tintenschriftbild auf der Unterlage eine natürliche Schreibweise hervorgerufen wird.In a preferred embodiment, the pen lead, in an extended state, releases a writing liquid onto the base when the hand-guided movements are carried out, which increases the structuring of the surface of the document, so that the optical detection of the hand-guided movements by means of the optical sensor device is facilitated and via the ink lettering image on the base a natural spelling is evoked.
Die Dätenverarbeitungseinheit ist vorzugsweise in dem Schreibstiftgehause oder in einer externen Empfangseinheit integriert .The data processing unit is preferably integrated in the pen housing or in an external receiving unit.
Bei der externen Empfangseinheit handelt es sich dabei vorzugsweise um einen Computer, ein Mikrokontroller, ein Handy, einen Kreditkartenleser, ein Faxgerät oder um einen Drucker. Die erfassten Schallsignale, die optischen Bewegungsdaten und die erfassten mehrdimensionalen Druckdaten werden vorzugsweise über eine Datenübertragungsstrecke von dem Schreibstiftgehause an die in externe Empfangseinheit integrierte Datenverarbeitungseinheit übertragen.The external receiving unit is preferably a computer, a microcontroller, a cell phone, a credit card reader, a fax machine or a printer. The recorded sound signals, the optical movement data and the recorded multidimensional print data are preferably transmitted via a data transmission path from the pen housing to the data processing unit integrated in the external receiving unit.
Das erfindungsgemäße biometrische Schreibsystem weist vorzugsweise eine in dem Schreibstiftgehause enthaltene Verschlüsselungseinheit zur Verschlüsselung von Schallsignaldaten, optischen Bewegungsdaten und Druckdaten auf.The biometric writing system according to the invention preferably has an encryption unit contained in the pen housing for encrypting sound signal data, optical movement data and print data.
Die Datenübertragungsstrecke ist dabei vorzugsweise drahtgebunden oder drahtlos.The data transmission path is preferably wired or wireless.
Das erfindungsgemäße biometrische Schreibsystem weist vorzugsweise einen Datenspeicher zum Abspeichern von biometrischen Referenzdaten, von Positionsdaten der Schreibbewegung und von gesprochenen Informationen auf.The biometric writing system according to the invention preferably has a data memory for storing biometric reference data, position data of the writing movement and spoken information.
Die biometrischen Referenzdaten werden vorzugsweise durch die Datenverarbeitungseinheit aus den beim Schreiben und Sprechen eines Wortes erfassten Schallsignaldaten, aus optischen Bewegungsdaten und mechanischen Druckdaten berechnet und in dem Referenzdatenspeicher abgelegt.The biometric reference data are preferably calculated by the data processing unit from the sound signal data recorded when writing and speaking a word, from optical movement data and mechanical pressure data and stored in the reference data memory.
Bei dem Referenzdatenspeicher handelt es sich vorzugsweise um einen Mikrochip eines Personalausweises, einer Kreditkarte, um eine Berechtigüngsmagnetkarte oder um eine Speichereinheit eines Computers oder des biometrischen Schreibsystems .The reference data memory is preferably a microchip of an identity card, a credit card, an authorization magnetic card or a storage unit of a computer or the biometric writing system.
Bei den geschriebenen und gesprochenen Wörtern und Zeichen handelt es sich vorzugsweise um Pincodes, Passwörter, Namen o- der um Texte. Die Positionsdaten der Schreibbewegung werden vorzugsweise aus dem beim Schreiben eines Wortes erfassten Schallsignaldaten, optischen Bewegungsdaten und mechanischen Druckdaten berechnet und in dem Datenspeicher zur Handschriftenerkennung abgelegt.The written and spoken words and characters are preferably pin codes, passwords, names or texts. The position data of the writing movement are preferably calculated from the sound signal data, optical movement data and mechanical pressure data recorded when writing a word and stored in the data memory for handwriting recognition.
Der Referenzdatenspeicher ist dabei vorzugsweise in dem Schreibstiftgehause integriert.The reference data memory is preferably integrated in the pen housing.
Die in dem externe Empfangseinheit integrierte Datenverarbeitungseinheit ist vorzugsweise an einen Referenzdatenspeicher angeschlossen .The data processing unit integrated in the external receiving unit is preferably connected to a reference data memory.
Der externe Empfangseinheit weist bei einer bevorzugten Ausführungsform des biometrischen Schreibsystems eine Leseeinheit zum Lesen eines tragbaren von biometrischen Referenzdaten auf.In a preferred embodiment of the biometric writing system, the external receiving unit has a reading unit for reading portable biometric reference data.
Der externe Empfangseinheit ist vorzugsweise über ein Datennetzwerk an eine Datenbank mit einem Referenzdatenspeicher verbunden.The external receiving unit is preferably connected to a database with a reference data memory via a data network.
Bei dem Datennetzwerk handelt es sich vorzugsweise um das Internet .The data network is preferably the Internet.
Bei einer bevorzugten Ausführungsform des biometrischen Schreibsystems vergleicht die Datenverarbeitungseinheit die berechneten aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten zu deren Verifikation und I- dentifi'kation.In a preferred embodiment of the biometric writing system, the data processing unit compares the calculated current biometric data to stored biometric reference data for their verification, and I- dentifi 'cation.
Die Datenverarbeitungseinheit erzeugt bei weitgehender Übereinstimmung der aktuellen biometrischen Daten mit den gespeicherten Referenzdaten ein Identifikations- bzw. Verifikationsanzeigesignal . Bei einer besonders bevorzugten Ausfuhrungsform des biometrischen Schreibsystems gemäß der Erfindung erkennt die Datenverarbeitungseinheit bei vollständiger Übereinstimmung der aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten die aktuellen biometrischen Daten als Raubkopie der gespeicherten Referenzdaten und erzeugt ein entsprechendes Warnsignal .If the current biometric data largely matches the stored reference data, the data processing unit generates an identification or verification display signal. In a particularly preferred embodiment of the biometric writing system according to the invention, if the current biometric data completely matches the stored biometric reference data, the data processing unit recognizes the current biometric data as a pirated copy of the stored reference data and generates a corresponding warning signal.
Die Datenverarbeitungseinheit erzeugt bei Abweichen der aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten ein Abweichungsanzeigesignal.If the current biometric data deviate from the stored biometric reference data, the data processing unit generates a deviation display signal.
Bei einer bevorzugten Ausfuhrungsform des biometrischen Schreibsystems weist dieses mindestens einen Aktor auf, der nach Erzeugen des Identifikations- bzw. Verifikationsanzeigesignals betätigt wird.In a preferred embodiment of the biometric writing system, it has at least one actuator which is actuated after the identification or verification display signal has been generated.
Die Erfindung schafft ferner ein Verfahren zur Generierung von personenspezifischen biometrischen Referenzdaten mit den folgenden Schritten:The invention also provides a method for generating person-specific biometric reference data with the following steps:
Akustisches Erfassen von handgefuhrten Schreibbewegungen, die mit einem Schreibstift auf einer Unterlage beim Schreiben eines Zeichens, eines Wortes oder einer Wortfolge durch eine Person durchgeführt werden, und Erzeugen entsprechender SchallSignaldaten;Acoustic recording of hand-held writing movements which are carried out with a pen on a base when a person is writing a character, a word or a sequence of words and generating corresponding sound signal data;
Speichern der erzeugten Schallsignaldaten als digitales Schall-Zeitsignal;Storing the generated sound signal data as a digital sound-time signal;
Berechnen von zugehörigen Frequenzspektren als Spektrogramm aus den zeitsegmentierten Schallsignaldaten mittels schneller Fouriertransformation;Calculation of associated frequency spectra as a spectrogram from the time-segmented sound signal data by means of fast Fourier transformation;
Bestimmung von Amplituden-Zeitsignalen ausgewählter Frequenzen zur Erfassung der Amplitudendynamik in dem berechneten Spektrogramm; Berechnen eines zugehörigen Frequenzspektrums aus den ausgewählten Amplituden-Zeitsignalen mittels schneller Fou- riertransformation;Determination of amplitude-time signals of selected frequencies for the detection of the amplitude dynamics in the calculated spectrogram; Calculating an associated frequency spectrum from the selected amplitude-time signals by means of fast Fourier transformation;
Bestimmen von ersten biometrischen Daten aus der Schall- und Schwingungsintensität der digitalen Zeitsignale mittels MerkmalSextraktion;Determining first biometric data from the sound and vibration intensity of the digital time signals by means of feature extraction;
Bestimmen von zweiten biometrischen Daten aus dem berechneten Spektrogramm der zeitsegmentierten Schall- und Schwingungszeitsignale mittels Merkmalsextraktion.Determination of second biometric data from the calculated spectrogram of the time-segmented sound and oscillation time signals by means of feature extraction.
Bestimmen von dritten aktuellen biometrischen Daten mittels Merkmalsextraktion aus dem berechneten Frequenzspektrum der Amplituden-Zeitsignale;Determining third current biometric data by means of feature extraction from the calculated frequency spectrum of the amplitude-time signals;
Bestimmen von vierten aktuellen biometrischen Daten mittels Merkmalsextraktion aus erfassten dynamischen Schreibdruck-, Schwingungs- und Neigungsdaten.Determination of fourth current biometric data by means of feature extraction from recorded dynamic writing pressure, vibration and inclination data.
Bei einer bevorzugten Ausführungsform des Verfahrens zur Generierung von personenspezifischen biometrischen Referenzdaten werden die Verfahrensschritte mehrmals durchgeführt und die jeweils bestimmten Referenzdaten statistisch ausgewertet, wobei die ausgewerteten Daten als personenspezifische Referenzdaten verschlüsselt und anschließend abgespeichert werden.In a preferred embodiment of the method for generating person-specific biometric reference data, the method steps are carried out several times and the respectively determined reference data are statistically evaluated, the evaluated data being encrypted as person-specific reference data and then stored.
Bei einer bevorzugten Ausführungsform werden die statistisch ausgewerteten, personenspezifischen Referenzdaten in einem Mikrochip eines Personalausweises, in einem Mikrochip einer Kreditkarte, in eine Berechtigungsmagnetkarte oder in die Speichereinheit eines Computers bzw. eines Schreibsystems abgespeichert .In a preferred embodiment, the statistically evaluated, person-specific reference data are stored in a microchip of an identity card, in a microchip of a credit card, in an authorization magnetic card or in the storage unit of a computer or a writing system.
Vorzugsweise werden zusätzlich ein von der Person stammendes Sprechsignal akustisch erfasst und entsprechende Schallsignaldaten erzeugt . Darüber hinaus werden bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens zur Generierung von personenspezifischen, biometrischen Referenzdaten die bei der durchgeführten Schreibbewegung des Schreibstiftes in mindestens einer Raumrichtung auftretenden Schreibkräfte durch Drucksensoren erfasst und entsprechend mindestens eindimensionale Schreibdruckdaten erzeugt.Preferably, a speech signal originating from the person is also acoustically recorded and corresponding sound signal data is generated. In addition, in a preferred embodiment of the method according to the invention for generating person-specific, biometric reference data, the typing forces which occur in at least one spatial direction during the writing movement of the pen are detected by pressure sensors and correspondingly at least one-dimensional writing pressure data are generated.
Ferner werden vorzugsweise die beim Schreiben eines Zeichens, eines Wortes oder einer Zeichen-/Wortfolge mit dem Schreibstift auf der Unterlage handgeführten Schreibbewegungen optisch erfasst und entsprechende Schreibbewegungsdaten erzeugt.Furthermore, the writing movements that are hand-guided when writing a character, a word or a character / word sequence with the writing pen on the base are preferably optically recorded and corresponding writing movement data is generated.
Die biometrischen Referenzdaten werden vorzugsweise aus der Schallintensität des digitalen Zeitschallsignals mittels Merkmalsextraktion, aus dem berechneten Frequenzspektrum des Schallzeitsignals mittels Merkmalsextraktion sowie aus den beim Schreiben und Sprechen eines Wortes erzeugten optischen Bewegungsdaten und Schreibdruckdaten bestimmt und in dem Refe- rerizdatenspeicher als personenspezifische biometrische Referenzdaten verschlüsselt abgespeichert.The biometric reference data are preferably determined from the sound intensity of the digital time sound signal by means of feature extraction, from the calculated frequency spectrum of the sound time signal by means of feature extraction, and from the optical movement data and writing pressure data generated when writing and speaking a word, and stored in the reference data memory in encrypted form as person-specific biometric reference data.
Es erfolgt vorzugsweise eine Datenreduktion der statischen und dynamischen Schreibbewegungsdaten, der Schreibdruckdaten, der optischen Bewegungsdaten und der Schallsignaldaten mittels Clusterbildüng.The static and dynamic write movement data, the write pressure data, the optical movement data and the sound signal data are preferably reduced by means of cluster formation.
Aus den datenreduzierten Clusterdaten werden vorzugsweise Merkmalsparameter extrahiert.Feature parameters are preferably extracted from the data-reduced cluster data.
Die generierten biometrischen Referenzdaten werden vorzugsweise innerhalb oder außerhalb des Schreibstiftes abgespeichert.The generated biometric reference data are preferably stored inside or outside the pen.
Die Erfindung schafft ferner ein Verfahren zur Verifikation einer Person mit den folgenden Schritten, akustisches Erfassen von handgeführten Schreibbewegungen, die mit einem Schreibstift auf einer Unterlage beim Schreiben eines Zeichen, eines Wortes oder einer Wortfolge durch die Person durchgeführt werden und Erzeugen entsprechender Schallsignaldaten;The invention also provides a method for verifying a person with the following steps, acoustic detection of hand-held writing movements which are carried out by a person when writing a character, a word or a sequence of words with a pen on a base and generating corresponding sound signal data;
Erzeugen von Schreibdruck-Signaldaten für Schreibdruck und von Schwingungssignaldaten für Schwingungen, die von dem Schreibstift auf mindestens einen Druck- und Schwingungssensor übertragen werden;Generating writing pressure signal data for writing printing and vibration signal data for vibrations, which are transmitted from the pen to at least one pressure and vibration sensor;
Speichern der erzeugten Signaldaten als digitale Zeitsignale; Berechnen von Frequenzspektren als Spektrogramm aus den gespeicherten zeitsegmentierten Schall- und Schwingungszeitsignalen mittels schneller Fouriertransformation;Storing the generated signal data as digital time signals; Calculation of frequency spectra as a spectrogram from the stored time-segmented sound and oscillation time signals by means of fast Fourier transformation;
Bestimmen von Amplituden-Zeitsignalen ausgewählter Frequenzen zur Erfassung der Amplitudendynamik in dem Spektrogramm der Schall- und Schwingungszeitsignale; Berechnen eines zugehörigen Frequenzspektrums aus den ausgewählten Amplituden- Zeitsignalen mittels schneller Fouriertransformation .Determining amplitude-time signals of selected frequencies for detecting the amplitude dynamics in the spectrogram of the sound and oscillation time signals; Calculate an associated frequency spectrum from the selected amplitude-time signals by means of fast Fourier transformation.
Dabei werden vorzugsweise zusätzlich ein von der Person stammendes Sprechsignal akustisch erfasst und entsprechende Schallsignaldaten erzeugt.In addition, a speech signal originating from the person is preferably acoustically recorded and corresponding sound signal data is generated.
Dabei wird vorzugsweise zusätzlich ein von der Person stammendes Sprechsignal akustisch erfasst und entsprechende Schallsignaldaten erzeugt.In this case, a speech signal originating from the person is preferably also acoustically recorded and corresponding sound signal data is generated.
Vorzugsweise wird zusätzlich ein von der Person stammendes Sprechsignal akustisch erfasst, und es werden entsprechende Schallsignaldaten erzeugt.Preferably, a speech signal originating from the person is additionally acoustically recorded and corresponding sound signal data are generated.
Die beim Schreiben oder Skizzieren eines Zeichens, eines Wortes oder einer Zeichen-/Wortfolge mit dem Schreibstift auf der Unterlage handgeführten Schreibbewegungen werden vorzugsweise zusätzlich optisch erfasst und entsprechende Positionsdaten erzeugt .The hand-held writing movements when writing or sketching a character, a word or a character / word sequence with the pen on the base are preferred additionally optically recorded and corresponding position data generated.
Vorzugsweise werden zusätzlich die bei der durchgeführten Schreibbewegung des Schreibstiftes in mindestens einer Raumrichtung auftretenden Kräfte durch Drucksensoren erfasst und entsprechende, mindestens eindimensionale Schreibdruckdaten erzeugt .In addition, the forces occurring in at least one spatial direction during the writing movement of the pen are detected by pressure sensors and corresponding, at least one-dimensional writing pressure data is generated.
Bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird das Zeichen, das Wort oder die Wortfolge aus der Folge selektierter Referenzmerkmalsvektoren, aus den Positionsdaten und aus den Schreibdruckdaten mittels statistischer, konnektionistischer und wissensbasierter Verfahren ermittelt .In a preferred embodiment of the method according to the invention, the character, the word or the word sequence is determined from the sequence of selected reference feature vectors, from the position data and from the writing pressure data by means of statistical, connectionistic and knowledge-based methods.
Bei einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden das ermittelte Zeichen der ausführenden Person zu deren Kontrolle optisch und/oder akustisch rückgemeldet .In a particularly preferred embodiment of the method according to the invention, the ascertained character of the person carrying it out is optically and / or acoustically reported back for checking.
Die generierten personenspezifischen Referenzdaten werden vorzugsweise zur Ermittlung psychologischer und/oder physiologischer Merkmale der Person ausgewertet.The generated person-specific reference data are preferably evaluated to determine psychological and / or physiological characteristics of the person.
Das erfindungsgemäße biometrische Schreibsystem ist vielfach einsetzbar.The biometric writing system according to the invention can be used in many ways.
Bei einer bevorzugten Ausführungsform wird das biometrische Schreibsystem als Computereingabeeinrichtung verwendet.In a preferred embodiment, the biometric writing system is used as a computer input device.
Bei einer alternativen Verwendung wird das erfindungsgemäß Schreibsystem als Spracheingabeeinrichtung, insbesondere als Diktiergerät, verwendet. Das erfindungsgemäße biometrische Schreibsystem wird vorzugsweise zur Erkennung neuromotorischer Bewegungsstörungen einer Person verwendet.In an alternative use, the writing system according to the invention is used as a voice input device, in particular as a dictation device. The biometric writing system according to the invention is preferably used to identify a person's neuromotive movement disorders.
Das erfindungsgemäße biometrische Schreibsystem wird ferner vorzugsweise als Therapiesystem zur Behebung neuromotorischer Bewegungsstörungen einer Person eingesetzt.The biometric writing system according to the invention is also preferably used as a therapy system for eliminating neuromotor movement disorders in a person.
Das erfindungsgemäße biometrische Schreibsystem wird ferner vorzugsweise als graphologisches System zur Ermittlung psychologischer/physiologischer Merkmale einer Person verwendet.The biometric writing system according to the invention is also preferably used as a graphological system for determining psychological / physiological characteristics of a person.
Das erfindungsgemäße biometrische Schreibsystem wird vorzugsweise als Schulungssystem zur Erlernen von Schreiben eingesetzt .The biometric writing system according to the invention is preferably used as a training system for learning to write.
Das erfindungsgemäße biometrische Schreibsystem wird vorzugsweise als Schulungssystem zum Erlernen einer Sprache verwendet.The biometric writing system according to the invention is preferably used as a training system for learning a language.
Des Weiteren werden bevorzugte Ausführungsformen des erfindungsgemäßen biometrischen Schreibsystems und des erfindungsgemäßen Verfahrens zur Personenidentifikation, zur Personenverifikation, zur Generierung biometrischer Referenzdaten sowie zur Handschriften- und Handskizzenerkennung unter Bezugnahme auf die beigefügten Figuren zur Erläuterung erfindungswesentlicher Merkmale beschrieben.Furthermore, preferred embodiments of the biometric writing system according to the invention and the method according to the invention for person identification, for person verification, for generating biometric reference data and for handwriting and hand sketch recognition are described with reference to the attached figures to explain features essential to the invention.
Es zeigen:Show it:
Fig. 1 eine schematische Abbildung zur Darstellung einer bevorzugten Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems; Fig. 2 eine Schnittansicht durch ein Schreibstiftgehause des erfindungsgemäßen biometrischen Schreibsystems;Figure 1 is a schematic illustration showing a preferred embodiment of the biometric writing system according to the invention. 2 shows a sectional view through a pen housing of the biometric writing system according to the invention;
Fig. 3a-3e eine Schnittansicht durch Schreibstiftgehause gemäß bevorzugten Ausführungsformen des erfindungsgemäßen biometrischen Schreibsystems;3a-3e a sectional view through pen housing according to preferred embodiments of the biometric writing system according to the invention;
Fig. 4 ein Ablaufdiagra m zur Erläuterung der Handschriftenerkennung mittels des erfindungsgemäßen biometrischen Schreibsystems;4 shows a flow chart for explaining the handwriting recognition by means of the biometric writing system according to the invention;
Fig. 5 eine Skizze zur Erläuterung einer optischen bzw. akustischen Rückmeldung für die schreibende Person;5 shows a sketch to explain an optical or acoustic feedback for the writing person;
Fig. 6 akustisch erfasste Schreibgeräusche bei unterschiedlicher Schreibgeschwindigkeit auf Karton und Schreibpapier;6 acoustically recorded writing noises at different writing speeds on cardboard and writing paper;
Fig. 7 ein akustisch erfasstes Schall-Zeitsignal beim dreifachen Schreiben des Buchstabens "a";7 shows an acoustically recorded sound-time signal when the letter "a" is written three times;
Fig. 8 ein akustisch erfasstes Schall-Zeitsignal beim dreifachen Schreiben des Buchstabens "b";8 shows an acoustically recorded sound-time signal when the letter "b" is written three times;
Fig. 9 Frequenzsignale beim Schreiben der Buchstaben "a" bzw. "b" im Zeitverlauf;9 shows frequency signals when writing the letters "a" or "b" over time;
Fig. 10 ein Amplitudenfrequenzsignal beim Schreiben eines zugehörigen Buchstabens "a";10 shows an amplitude frequency signal when writing an associated letter "a";
Fig. 11 dynamisches Verhalten einiger Frequenzlinien beim Schreiben des Buchstabens "a";11 dynamic behavior of some frequency lines when writing the letter "a";
Fig. 12 dynamischer Verhalten einiger Frequenzlinien beim Schreiben des Buchstabens "b"; Fig. 1 zeigt ein schematisches Blockschaltbild des erfindungsgemäßen biometrischen Schreibsystems 1. Das erfindungsgemäße biometrische Schreibsystem 1 umfasst einen Schreibstift 2, der in einem Schreibstiftgehause 3 integriert ist. Der Schreibstift 2 dient zur Durchführung handgeführter Bewegungen auf einer Unterlage 4. Bei der Unterlage 4 kann es sich um eine beliebige Unterlage mit beliebiger Oberfläche handeln. Vorzugsweise handelt es sich bei der Unterlage 4 um Papier. Die Schreibunterlage 4 ist vorzugsweise eine feste Unterlage, die eine bestimmte aufgeprägte Oberflächenrauhigkeit und Härte aufweist .Fig. 12 dynamic behavior of some frequency lines when writing the letter "b"; 1 shows a schematic block diagram of the biometric writing system 1 according to the invention. The biometric writing system 1 according to the invention comprises a pen 2, which is integrated in a pen housing 3. The pen 2 is used to carry out hand-guided movements on a base 4. The base 4 can be any base with any surface. The base 4 is preferably paper. The writing pad 4 is preferably a solid base which has a certain embossed surface roughness and hardness.
Der Schreibstift 2 enthält vorzugsweise eine austauschbare Schreibstiftmine, die mittels einer nicht dargestellten mechanischen Schalteinrichtung aus dem Schreibstift 2 ausfahrbar ist. Das Schreibstiftgehause 3 dient zur Durchführung handgeführter Bewegungen auf der Unterlage 4. Dabei wird zur Vermittlung eines normalen Schreibgefühls durch den Schreibstift 2 und dessen Schreibstiftmine eine Schreibflüssigkeit auf die Unterlage 4 zur optischen Rückkopplung für die schreibende Person abgegeben. Beim Aufsetzen des Schreibstiftes 2 auf der Unterlage und dessen Bewegung auf der Oberfläche entstehen Schreibgeräusche. In dem Schreibstiftgehause 3 ist bei dem erfindungsgemäßen Schreibsystem 1 mindestens ein Mikrofon 5 zur akustischen Erfassung von Schallsignalen vorgesehen. Das Mikrofon 5 erfasst die Schallsignale, die durch die handgeführten Bewegungen hervorgerufen werden, d.h. das durch die Schreibbewegung hervorgerufene Schreibgeräusch. Die durch die Reibung des Schreibstiftes 2 auf der Unterlage 4 während der handgeführten Schreibbewegung hervorgerufenen akustischen Schreibgeräusche werden einerseits als Körperschallsignal über den Schreibstift 2 und andererseits als Luftschallsignal über die Umgebungsluft zu dem Mikrofon 5 übertragen. Dabei ist das Mikrofon 5 zur Übertragung des Körperschallsignals mechanisch mit dem Schreibstift 2 gekoppelt. Bei der in Fig. 1 dargestellten bevorzugten Ausführungsform ist das Mikrofon 5 zur Übertragung des Körperschallsignals mechanisch mit einem mit dem Schreibstift 2 verbundenen Klangkörper 6 gekoppelt. Der Klangkörper 6 ist vorzugsweise als ein Resonator für bestimmte Eigenfrequenzen ausgelegt.The stylus 2 preferably contains an exchangeable stylus lead which can be moved out of the stylus 2 by means of a mechanical switching device (not shown). The pen housing 3 is used to carry out hand-guided movements on the pad 4. In order to convey a normal feeling of writing, the writing pen 2 and its pen refill dispense a writing liquid onto the pad 4 for optical feedback for the person writing. When the pen 2 is placed on the base and its movement on the surface, writing noises occur. In the pen housing 3 in the writing system 1 according to the invention at least one microphone 5 is provided for acoustic detection of sound signals. The microphone 5 detects the sound signals that are caused by the hand-guided movements, ie the writing noise caused by the writing movement. The acoustic writing noises caused by the friction of the stylus 2 on the base 4 during the hand-guided writing movement are transmitted on the one hand as structure-borne noise signal via the stylus 2 and on the other hand as an airborne sound signal via the ambient air to the microphone 5. The microphone 5 is mechanically connected to transmit the structure-borne sound signal the pen 2 coupled. In the preferred embodiment shown in FIG. 1, the microphone 5 for the transmission of the structure-borne sound signal is mechanically coupled to a sound body 6 connected to the stylus 2. The sound body 6 is preferably designed as a resonator for certain natural frequencies.
Wie in Fig. 1 dargestellt, befindet sich das Mikrofon 5 in einer in dem Schriftstiftgehäuse 3 vorgesehenen Luftschallkammer 7. Die Luftschallkammer 7 ist vorzugsweise als ein Resonator für bestimmte Eigenfrequenzen ausgelegt. Das Mikrofon 5 ist von einer Schalldämmung 8a, 8b umgeben, die zur Dämpfung von Umgebungsgeräuschen vorgesehen ist und lediglich Schallsignale von dem Klangkörper 6 und der Luftschaltkammer 7 durchlässt. Die Luftschallkammer 7 ist über eine in dem Schreibstiftgehause 3 vorhandene Gehäuseöffnung mit der Umgebungsluft koppelbar. Dabei ist die Gehäuseöffnung vorzugsweise mittels einer mechanischen Verschlusseinrichtung 9 zur Unterdrückung von Außengeräuschen schließbar. Das Mikrofon 5 erfasst bei geöffneter Gehäuseöffnung das durch die handgeführte Schreibbewegung hervorgerufene interne und externe Schreibgeräusch als Körpers- und Luftschallsignal und zusätzlich ein von einer Person stammendes Sprechsignal. Das Mikrofon 5 wandelt die erfassten akustischen Schallsignale in ein elektrisches Schallsignal um. Das elektrische Schallsignal wird durch einen Analog- /Digitalwandler in Schallsignaldaten zur digitalen Datenverarbeitung umgewandelt. Die digitalen Signaldaten werden über eine Signalleitung 10 einer Datenverarbeitungseinheit 11 zur weiteren Datenverarbeitung zugeführt. Das beim Schreiben erzeugte Schreibgeräusch und das gegebenenfalls von der Person zusätzlich empfangene Sprechsignal werden entweder gleichzeitig oder zeitlich hintereinander durch das Mikrofon 5 erfasst und in entsprechende Schallsignaldaten umgewandelt. Die der Datenverarbeitungseinheit 11 zugeführten Schallsignaldaten werden vorzugsweise in einer dafür vorgesehenen Speicherein- heit 12, die mit der Datenverarbeitungseinheit 11 über Leitungen 13 verbunden ist, gespeichert.As shown in FIG. 1, the microphone 5 is located in an airborne sound chamber 7 provided in the pen housing 3. The airborne sound chamber 7 is preferably designed as a resonator for specific natural frequencies. The microphone 5 is surrounded by sound insulation 8a, 8b, which is provided for damping ambient noise and only lets sound signals through from the sound body 6 and the air switching chamber 7. The airborne sound chamber 7 can be coupled to the ambient air via a housing opening in the pen housing 3. The housing opening can preferably be closed by means of a mechanical locking device 9 for suppressing external noise. When the housing opening is open, the microphone 5 detects the internal and external writing noise caused by the hand-held writing movement as a body and airborne sound signal and, in addition, a speech signal originating from a person. The microphone 5 converts the detected acoustic sound signals into an electrical sound signal. The electrical sound signal is converted into sound signal data for digital data processing by an analog / digital converter. The digital signal data are fed via a signal line 10 to a data processing unit 11 for further data processing. The writing noise generated during writing and the speech signal possibly additionally received by the person are recorded either simultaneously or in succession by the microphone 5 and converted into corresponding sound signal data. The sound signal data supplied to the data processing unit 11 are preferably stored in a memory provided for this purpose. Unit 12, which is connected to the data processing unit 11 via lines 13, stored.
Neben dem Mikrofon 5 als akustischem Sensor weist das in Fig. 1 dargestellte, erfindungsgemäße biometrische Schreibsystem 1 vorzugsweise zusätzlich eine optische Sensoreinrichtung 14 auf, die Positionsdaten der handgeführten Schreibstiftbewegung über Bildsignale von der Oberfläche der Schreibunterlage 4 erfasst. Die optische Sensoreinrichtung ist über eine Signalleitung 15 ebenfalls an die Datenverarbeitungseinheit 11 angeschlossen .In addition to the microphone 5 as an acoustic sensor, the biometric writing system 1 according to the invention shown in FIG. 1 preferably additionally has an optical sensor device 14 which detects position data of the hand-held pen movement via image signals from the surface of the writing pad 4. The optical sensor device is also connected to the data processing unit 11 via a signal line 15.
Bei dem Mikrofon 5 kann es sich beispielsweise um ein Elek- trett-Mikrofon, ein piezoelektrisches Mikrofon, ein piezoresistives Mikrofon oder ein kapazitives Mikrofon handeln. Die optische Sensoreinrichtung 14 enthält vorzugsweise eine Abbil- dungsoptik zur Abbildung der ünterlagenoberflache und eine Wandlereinrichtung zur Umwandlung des optischen Abbildungssignals in ein elektrisches Signal. Das elektrische Signal wird durch einen Analog-/Digitalwandler in Positionsdaten bzw. Bewegungsdaten umgewandelt und über die Signalleitung 15 an die Datenverarbeitungseinheit 11 abgegeben. Die Abbildungsoptik der optischen Sensoreinrichtung 14 besteht vorzugsweise aus optischen Linsen und/oder Glasfasern. Bei der Wandlereinrichtung kann es sich um eine CCD-Kamera oder ein Photodiodenarray handeln. Vorzugsweise ist zusätzlich eine Diodenlichtquelle zur Beleuchtung der Unterlagenoberfläche vorgesehen. Ferner ist eine Laserdiode zur Beleuchtung eines in dem Stift integrierten optischen Gitters vorgesehen. Die optische Sensoreinrichtung 14 erfasst die mit dem Schreibstift 2 durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen, die die Oberfläche der Unterlage zeigen. Alternativ dazu kann die optische Sensoreinrichtung 14 auch derart ausgelegt sein, dass sie die mit dem Schreibstift 2 durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Interferenzen des an . dem Gitter und der Unterlagenoberfläche reflektierten Laserlichtes erfasst .The microphone 5 can be, for example, an electronic microphone, a piezoelectric microphone, a piezoresistive microphone or a capacitive microphone. The optical sensor device 14 preferably contains imaging optics for imaging the substrate surface and a converter device for converting the optical imaging signal into an electrical signal. The electrical signal is converted into position data or movement data by an analog / digital converter and output to the data processing unit 11 via the signal line 15. The imaging optics of the optical sensor device 14 preferably consist of optical lenses and / or glass fibers. The converter device can be a CCD camera or a photodiode array. A diode light source is preferably additionally provided for illuminating the underlay surface. A laser diode is also provided for illuminating an optical grating integrated in the pen. The optical sensor device 14 detects the movements carried out with the stylus 2 by comparing the staggered image sequences that show the surface of the base. As an alternative to this, the optical sensor device 14 can also be designed such that they offset the movements carried out with the stylus 2 by comparing them in time image sequences of the interference of the. laser light reflected from the grating and the surface of the underlay.
Die Schreibstiftmine gibt im ausgefahrenen Zustand auf die Unterlage 4 bei Durchführung der handgeführten Bewegungen eine Schreibflüssigkeit ab, die die Strukturierung der Oberfläche erhöht, so dass die optische Erfassung der handgeführten Bewegungen mittels der optischen Sensoreinrichtung 14 erleichtert wird. Ferner wird über das Tintenschriftbild auf der Unterlage bei der schreibenden Person eine natürliche Schreibweise bewirkt .When the hand-held movements are carried out, the stylus refill delivers a writing liquid to the base 4 when the hand-guided movements are carried out, which increases the structuring of the surface, so that the optical detection of the hand-guided movements by means of the optical sensor device 14 is facilitated. Furthermore, a natural spelling is brought about by the person writing on the ink lettering on the base.
Die Datenverarbeitungseinheit 11 ist, wie in Fig. 1 dargestellt, in dem Schreibstiftgehause 3 integriert. Bei einer alternativen Ausführungsform kann die Datenverarbeitungseinheit auch in einer externen Empfangseinheit integriert sein. Eine derartige Empfangseinheit ist beispielsweise ein Computer, ein Mikrokontroller, ein Handy, ein Kreditkartenleser, ein Faxgerät oder ein Drucker.As shown in FIG. 1, the data processing unit 11 is integrated in the pen housing 3. In an alternative embodiment, the data processing unit can also be integrated in an external receiving unit. Such a receiving unit is, for example, a computer, a microcontroller, a cell phone, a credit card reader, a fax machine or a printer.
Die durch das Mikrofon 5 erfassten Schallsignaldaten und die durch die optische Sensoreinrichtung 14 erfassten Bewegungsdaten werden, sofern sich Datenverarbeitungseinheit extern in einem lokalen Rechner befindet, über eine Datenübertragungsstrecke 18 von dem Schreibstiftgehause 3 an diesen lokalen Rechner 20 übertragen. Die Datenverarbeitungseinheit 11 ist, wie in Fig. 1 zu erkennen, über eine Signalleitung 16 an eine nachgeschaltete Verschlüsselungseinheit 17 angeschlossen. Die Verschlüsselungseinheit 17 dient zur Verschlüsselung der von der Datenverarbeitungseinheit 11 innerhalb des Schreibstiftgehäuses 1 abgegebenen Schallsignaldaten und der erfassten optischen Bewegungsdaten. Die verschlüsselten Daten werden über die Datenübertragungsstrecke 18, die drahtlos oder drahtgebunden ist, an eine Datenverarbeitungseinheit 19 innerhalb des lokalen Rechners 20 übertragen. Der lokale Rechner 20 verfügt neben der Datenverarbeitungseinheit 19 über einen Speicher 21 und eine Anzeige 22, die jeweils über Signalleitungen 23, 24 mit der Datenverarbeitungseinheit 19 verbunden sind. Die Datenverarbeitungseinheit 19 des lokalen Rechners 20 ist ferner über Leitungen 25 mit einer Leseeinheit 26 verbunden. Darüber hinaus steuert die Datenverarbeitungseinheit 19 des lokalen Rechners 20 über Steuerleitungen 27 einen Aktor 28, beispielsweise eine Sicherheitstür. Die Datenverarbeitungseinheit 19 ist über eine Leitung 29 mit einem Datennetzwerk 30 verbunden, an dem eine externe Datenbank 31 angeschlossen ist. Bei dem Datennetzwerk 30 handelt es sich vorzugsweise um das Internet.The sound signal data recorded by the microphone 5 and the movement data recorded by the optical sensor device 14, if the data processing unit is located externally in a local computer, are transmitted from the pen housing 3 to this local computer 20 via a data transmission path 18. As can be seen in FIG. 1, the data processing unit 11 is connected via a signal line 16 to a downstream encryption unit 17. The encryption unit 17 is used to encrypt the sound signal data output by the data processing unit 11 within the pen housing 1 and the detected optical movement data. The encrypted data are transmitted via the data transmission path 18, which is wireless or wired, to a data processing unit 19 within the local computer 20 transmitted. In addition to the data processing unit 19, the local computer 20 has a memory 21 and a display 22, which are each connected to the data processing unit 19 via signal lines 23, 24. The data processing unit 19 of the local computer 20 is also connected to a reading unit 26 via lines 25. In addition, the data processing unit 19 of the local computer 20 controls an actuator 28, for example a security door, via control lines 27. The data processing unit 19 is connected via a line 29 to a data network 30 to which an external database 31 is connected. The data network 30 is preferably the Internet.
Das in Fig. 1 dargestellte biometrische Schreibsystem 1 enthält eine akustische Sensoreinrichtung 5 und eine optische Sensoreinrichtung 14. Bei einer bevorzugten Ausführungsform weist das erfindungsgemäße biometrische Schreibsystem 1 zusätzlich eine Drucksensoreinrichtung auf, die den statischen und dynamischen Druck des auf der Unterlage 4 aufgesetzten handgeführten Schreibstiftes erfasst und entsprechende Schreibdruckdaten an die Datenverarbeitungseinheit 11 abgibt. Die erfassten Schallsignaldaten, die optischen Bewegungsdaten und die ertasten mehrdimensionalen Druckdaten werden von der Datenverarbeitungseinheit 11 nach entsprechender Verschlüsselung durch die Verschlüsselungseinheit 17 über die Datenübertragungsstrecke 18 von dem Schreibstiftgehause 3 an die in dem lokalen Rechner 20 integrierte Datenverarbeitungseinheit 19 ü- bertragen. Aus den erfassten Schallsignaldaten, den optischen Bewegungsdaten und aus den mechanischen Schreibdruckdaten werden durch die Datenverarbeitungseinheit, die sich innerhalb o- der außerhalb des Schreibstiftgehäuses 3 befindet, biometrische Referenzdaten berechnet und in einem Referenzdatenspeicher, beispielsweise in dem Speicher 12 oder dem Speicher 21, abgelegt. Bei dem Referenzdatenspeicher kann es sich bei alternativen Ausführungsformen um einen Speicher innerhalb eines Personalausweises, einer Kreditkarte, um eine Berechtigungsmagnetkarte oder um eine Speichereinheit eines beliebigen Computers handeln. Die geschriebenen Worter und Zeichen, deren Schreibgerausche durch das Mikrofon 5 akustisch erfasst und als Schallsignaldaten abgegeben werden, sind insbesondere geschriebene Pincodes, Passworter, Namen oder handgeschriebene Texte. Das durch die Person geschriebene Zeichen kann gleichzeitig durch die Person gesprochen werden und als Sprechsignal ebenfalls durch das Mikrofon 5 erfasst werden.The biometric writing system 1 shown in FIG. 1 contains an acoustic sensor device 5 and an optical sensor device 14. In a preferred embodiment, the biometric writing system 1 according to the invention additionally has a pressure sensor device which detects the static and dynamic pressure of the hand-held writing pen placed on the base 4 and outputs corresponding writing print data to the data processing unit 11. The recorded sound signal data, the optical movement data and the palpable multidimensional print data are transmitted by the data processing unit 11 after corresponding encryption by the encryption unit 17 via the data transmission path 18 from the pen housing 3 to the data processing unit 19 integrated in the local computer 20. Biometric reference data are calculated from the recorded sound signal data, the optical movement data and from the mechanical writing pressure data by the data processing unit, which is located inside or outside the pen housing 3, and stored in a reference data memory, for example in the memory 12 or the memory 21. In alternative embodiments, the reference data memory can be a memory within a Identity card, a credit card, a magnetic authorization card or a storage unit of any computer. The written words and characters, the writing noises of which are recorded acoustically by the microphone 5 and emitted as sound signal data, are, in particular, written pin codes, passwords, names or handwritten texts. The character written by the person can be spoken simultaneously by the person and also recorded as a speech signal by the microphone 5.
Die in dem lokalen Rechner 20 vorgesehene Leseeinheit 26 dient beispielsweise zum Lesen eines tragbaren Speichermediums für biometrische Referenzdaten. In der Datenverarbeitungseinheit 31 können berechnete, aktuelle biometrische Daten mit gespeicherten biometrischen Referenzdaten für eine Verifizierung und Identifikation verglichen werden. Bei weitgehender Übereinstimmung der aktuellen biometrischen Daten mit den gespeicherten Referenzdaten erzeugt die Datenverarbeitungseinheit 11 bzw. 19 ein Identifikations- bzw. Verifikationsanzeigesignal. Dabei wird auf die Datenverarbeitungseinheit 19 nach Erzeugen des Identifikations- bzw. Verifikationsanzeigesignals ein Aktor, beispielsweise eine Sicherheitstur, betätigt.The reading unit 26 provided in the local computer 20 is used, for example, to read a portable storage medium for biometric reference data. In the data processing unit 31, calculated, current biometric data can be compared with stored biometric reference data for verification and identification. If the current biometric data largely match the stored reference data, the data processing unit 11 or 19 generates an identification or verification display signal. An actuator, for example a security door, is actuated on the data processing unit 19 after the identification or verification display signal has been generated.
Erkennt die Datenverarbeitungseinheit 11 bzw. 19 eine voll- standige Übereinstimmung der aktuellen biometrischen Daten mit gespeicherten biometrischen Referenzdaten, werden die aktuellen biometrischen Referenzdaten durch die Datenverarbeitungseinheit 11, 19 als Raubkopie der gespeicherten Referenzdaten erkannt und ein entsprechendes Warnsignal wird erzeugt.If the data processing unit 11 or 19 detects a complete match of the current biometric data with stored biometric reference data, the current biometric reference data are recognized by the data processing unit 11, 19 as a pirated copy of the stored reference data and a corresponding warning signal is generated.
Die gespeicherten personenspezifischen biometrischen Referenzdaten werden zunächst durch das erfindungsgemäße biometrische Schreibsystem 1 für spätere Vergleiche generiert. Die Generierung der personenspezifischen biometrischen Referenzdaten erfolgt wie folgt. Zunächst werden die handgeführten Schreibbe- wegungen, die mit dem Schreibstift 2 auf der Unterlage beim Schreiben eines Zeichens, eines Wortes oder einer Wortfolge durch eine Person durchgeführt werden, akustisch erfasst, d.h. das Schreibgeräusch wird durch das Mikrofon 5 akustisch erfasst. Das Mikrofon 5 generiert nach Analog-/Digitalumsetzung Schallsignaldaten, die an die Datenverarbeitungseinheit 11 abgegeben werden. Die Schallsignaldaten werden als digitales Schallzeitsignal gespeichert und aus dem gespeicherten Schallzeitsignal wird ein zugehöriges Frequenzspektrum mittels Fou- rier-Transformation berechnet. Mittels Merkmalsextraktion werden aus der Schallintensität des gespeicherten digitalen Schallzeitsignals erste biometrische Referenzdaten bestimmt. Aus dem berechneten Frequenzspektrum des Schallzeitsignals werden mittels Merkmalsextraktion zweite biometrische Referenzdaten bestimmt. Diese Verfahrensschritte werden vorzugsweise mehrfach durchgeführt, und die jeweils bestimmten Referenzdaten werden statistisch ausgewertet, wobei die ausgewerteten Daten als personenspezifische Referenzdaten verschlüsselt abgespeichert werden. Die statistisch ausgewerteten, personenspezifischen Referenzdaten werden vorzugsweise in einem Mikrochip eines Personalausweises, einem Mikrochip einer Kreditkarte, in eine Berechtigungsmagnetkarte oder in die Speichereinheit eines Computers bzw. Schreibsystems abgespeichert. Neben dem Schreibgeräusch kann das Mikrofon 5 zusätzlich ein von der Person stammendes Sprechsignal akustisch erfassen und entsprechende Schallsignaldaten an die Datenverarbeitungseinheit 11 abgeben. Vorzugsweise werden zusätzlich durch die optische Sensoreinrichtung 14 die handgeführten Schreibbewegungen optisch erfasst und entsprechende Schreibbewegungsdaten erzeugt, die an die Datenverarbeitungseinheit 11 abgegeben werden. Darüber hinaus werden vorzugsweise die bei der durchgeführten Schreibbewegung des Schreibstiftes 2 auftretenden Schreibkräfte über nicht dargestellte Drucksensoren erfasst, und entsprechend mindestens eindimensionale Schreibdruckdaten an die Datenverarbeitungseinheit 11 abgegeben. Die Datenverar- beitungseinheit 11 bestimmt die biometrischen Referenzdaten aus der Schallintensität des digitalen Zeitschallsignals mittels Merkmalsextraktion, aus dem berechneten Frequenzspektrum des Schallzeitsignals mittels Merkmalsextraktion sowie aus den beim Schreiben und Sprechen eines Wortes erzeugten optischen Bewegungsdaten und erzeugten Schreibdruckdaten. Vorzugsweise erfolgt anschließend eine Datenreduktion der statischen und dynamischen Schreibbewegungsdaten, der Schreibdruckdaten, der optischen Bewegungsdaten und der Schallsignaldaten mittels Clusterbildung . Aus den datenreduzierten Clusterdaten werden anschließend Merkmalsparameter extrahiert.The stored person-specific biometric reference data are first generated by the biometric writing system 1 according to the invention for later comparisons. The person-specific biometric reference data is generated as follows. First, the hand-held writing utensils movements that are carried out by the person with the stylus 2 on the base when writing a character, a word or a sequence of words are acoustically detected, ie the writing noise is acoustically detected by the microphone 5. After analog / digital conversion, the microphone 5 generates sound signal data which are output to the data processing unit 11. The sound signal data is stored as a digital sound time signal and an associated frequency spectrum is calculated from the stored sound time signal by means of Fourier transformation. Characteristic extraction is used to determine first biometric reference data from the sound intensity of the stored digital sound time signal. Characteristic extraction is used to determine second biometric reference data from the calculated frequency spectrum of the sound time signal. These method steps are preferably carried out several times, and the respectively determined reference data are statistically evaluated, the evaluated data being stored in encrypted form as person-specific reference data. The statistically evaluated, person-specific reference data are preferably stored in a microchip of an identity card, a microchip of a credit card, an authorization magnetic card or the storage unit of a computer or writing system. In addition to the typing noise, the microphone 5 can additionally acoustically detect a speech signal originating from the person and output corresponding sound signal data to the data processing unit 11. Preferably, the optical sensor device 14 additionally detects the hand-guided write movements optically and generates corresponding write movement data which are output to the data processing unit 11. In addition, the typing forces that occur during the writing movement of the stylus 2 are preferably detected by pressure sensors, not shown, and correspondingly at least one-dimensional writing pressure data are output to the data processing unit 11. The data processing Processing unit 11 determines the biometric reference data from the sound intensity of the digital time sound signal by means of feature extraction, from the calculated frequency spectrum of the sound time signal by means of feature extraction, and from the optical movement data and writing pressure data generated when writing and speaking a word. Subsequently, the static and dynamic write movement data, the write pressure data, the optical movement data and the sound signal data are preferably reduced by clustering. Characteristic parameters are then extracted from the data-reduced cluster data.
Fig. 2 zeigt eine bevorzugte Ausführungsform eines Schreibstiftes 2 des erfindungsgemäßen biometrischen Schreibsystems 1. Das in Fig. 2 dargestellte Schreibstiftgehause 3 ist beispielsweise ein gewöhnliches Kugelschreibergehäuse. In dem Schreibstiftgehause 3 befindet sich ein Schreibstift 2 mit integrierter Schreibstiftmine. Der Schreibstift 2 ist mechanisch mit einem Klangkörper 6 zur Übertragung von Körperschallsignalen verbunden. Die Aufnahme des Schreibgeräusches durch das Mikrofon 5 erfolgt über den Schreibstift 2 und den Klangkörper 6. Bei einer alternativen Ausführungsform kann der Schreibstift 2 selbst als Klangkörper dienen. Zusätzlich zu dem Schreibgeräusch kann das Mikrofon 5 ein von einer Person stammendes Sprechsignal akustisch erfassen, wenn die Luftschaltkammer 7 bzw. das akustische Fenster durch Öffnen einer Verschlusseinrichtung mit der Umgebung verbunden wird. Die Erfassung des Schreibgeräusches und des Sprechsignals kann gleichzeitig oder zeitlich hintereinander durch das Mikrofon 5 erfolgen. Bei der in Fig. 2 dargestellten bevorzugten Ausführungsform ist das Mikrofon 5 ein Elektrett-Mikrofon. Bei der in Fig. 2 dargestellten Ausführungsform ist zusätzlich in dem Schreibstiftgehause 3 ein Lautsprecher 32 vorgesehen. Der Lautsprecher 32 dient zur Wiedergabe erfasster Mikrofonsignale, und darüber hinaus kann der Lautsprecher 32 zur Wiedergabe gespeicherter biometrischer Referenzdaten und zur Wiedergabe gesprochener Informationen eingesetzt werden. Bei dem Laut¬ sprecher 32 handelt es sich vorzugsweise um einen miniaturisierten handelsüblichen Lautsprecher.FIG. 2 shows a preferred embodiment of a pen 2 of the biometric writing system 1 according to the invention. The pen housing 3 shown in FIG. 2 is, for example, an ordinary ballpoint pen housing. A pen 2 with an integrated pen refill is located in the pen housing 3. The stylus 2 is mechanically connected to a sound body 6 for the transmission of structure-borne sound signals. The recording sound is picked up by the microphone 5 via the stylus 2 and the sound body 6. In an alternative embodiment, the stylus 2 itself can serve as a sound body. In addition to the typing noise, the microphone 5 can acoustically detect a speech signal originating from a person if the air switch chamber 7 or the acoustic window is connected to the surroundings by opening a closure device. The recording noise and the speech signal can be recorded simultaneously or in succession by the microphone 5. In the preferred embodiment shown in FIG. 2, the microphone 5 is an electret microphone. In the embodiment shown in FIG. 2, a loudspeaker 32 is additionally provided in the pen housing 3. The loudspeaker 32 is used to reproduce recorded microphone signals, and in addition the loudspeaker 32 can be reproduced stored biometric reference data and used to reproduce spoken information. In the volume ¬ speaker 32 is preferably a miniaturized conventional speakers.
Beim Schreiben bzw. bei der Bewegung des Schreibstiftes 2 auf der Unterlage 4 entsteht ein akustisches Schreibsignal bzw. ein Schreibgerausch. Der Schreibstift 2 kann aus einer Kugelschreibermine, einer Tintenfeder oder einem Stab mit definierter Spitze bestehen. Die Unterlage 4 besteht beispielsweise aus Papier oder aus einer Auflage mit natürlicher und zusatzlich aufgeprägter Oberflachenrauhigkeit und Harte. Die Oberflachenrauhigkeit der Unterlage 4 fuhrt beim Schreiben des Schreibstiftes 2 zu statistisch angeregten, erzwungenen Schwingungen der Unterlage und des Schreibstiftes, d.h. es entstehen statistische Schreibkratz- und Schabgerausche . Daraus werden je nach Auslegung des Schreibgerates und der Unterlagen Luftschallwellen und/oder Korperschallwellen hervorgerufen und auf das Mikrofon 5 innerhalb des Schreibschriftgehau- ses 3 übertragen. Der Stift 2 mit dem Gehäuse 3 als Klangkörper sowie die Luftschallkammer 7 in dem Schreibstiftgehause 3 sind optimal nach den Gesetzmäßigkeiten der Akustik auslegbar werden. Der Klangkörper 6 und der Luftschallraum 7 werden vorzugsweise als Resonatoren mit bestimmten Frequenzen festgelegt. Dabei werden vorzugsweise Frequenzen verwendet, die beim Schreiben den größten dynamischen Bereich in der Amplitudenan- derung aufweisen.When writing or when the pen 2 is moving on the base 4, an acoustic write signal or a write noise is generated. The pen 2 can consist of a ballpoint pen refill, an ink pen or a rod with a defined tip. The base 4 consists, for example, of paper or a support with a natural and additionally impressed surface roughness and hardness. When writing pen 2, the surface roughness of pad 4 leads to statistically excited, forced vibrations of the pad and pen, i.e. statistical scratches and scratches occur. Depending on the design of the writing device and the documents, airborne sound waves and / or structure-borne sound waves are produced from this and transmitted to the microphone 5 within the cursive housing 3. The pen 2 with the housing 3 as a sound body and the airborne sound chamber 7 in the pen housing 3 can be optimally designed according to the laws of acoustics. The sound body 6 and the airborne sound space 7 are preferably defined as resonators with specific frequencies. In this case, frequencies are preferably used which have the greatest dynamic range in the change in amplitude when writing.
Beim Schreiben des Schreibstiftes 2 gibt das Mikrofon 5 ein Schallzeitsignal ab, das deutlich über dem Rauschsignal liegt und dessen Schallintensität empfindlich von der Schreibgeschwindigkeit und zu einem sehr geringen Teil von der unterschiedlichen Rauhigkeit der Schreibunterlage und dem unterschiedlichen mittleren Auflagedruck der Schreibmine 2 abhängig ist. Die Schallintensität des aufgenommenen Schallzeitsignals nimmt mit der Schreibgeschwindigkeit zu. Bei gleicher Schreibgeschwindigkeit sind die Intensitätsunterschiede bei verschiedenen Schreibpapieroberflächen vernachlässigbar. Das Frequenzspektrum des aufgenommenen Schallzeitsignals besteht aus einem kontinuierlichen Rauschspektrum, das deutlich von charakteristischen Frequenzlinien überlagert ist. Die Frequenzlinien treten hauptsächlich bei Frequenzen unterhalb 2 kHz auf. Die Amplituden dieser Frequenzlinien nehmen bei gleicher Frequenzlage deutlich mit der Schreibgeschwindigkeit zu. Die Amplituden der Frequenzlinien nehmen in geringem Maße mit zunehmender Oberflächenrauhigkeit der Schreibunterlage 4 zu. Die Frequenzlagen bleiben dabei unverändert. Bei gleicher Schreibgeschwindigkeit sind die Amplituden nahezu unabhängig von der benutzten Schreibunterlage 4. Das luftschallgedämpfte Mikrofon 5 ist unempfindlich gegenüber Schallereignissen in der Umgebung. Wenn das Schreibstiftgehause 3 vollkommen geschlossen ist, hat die Luftschallkammer 7 keine Verbindung mit der Umgebungsluft. Bei geschlossener Luftkammer 7 haben Umgebungsgeräusche, insbesondere gesprochene Worte oder Motorengeräusche, beim Schreiben keinen Einfluss auf das aufgenommene Schallzeitsignal. In diesem Fall wird lediglich der über die Schreibmine erzeugte Körperschall durch das Mikrofon 5 aufgenommen.When writing the pen 2, the microphone 5 emits a sound time signal which is clearly above the noise signal and whose sound intensity is sensitive to the writing speed and to a very small extent to the different roughness of the writing pad and the different mean contact pressure of the writing lead 2. The sound intensity of the recorded sound time signal increases with the writing speed. With the same writing speed, the differences in intensity for different writing paper surfaces are negligible. The frequency spectrum of the recorded sound time signal consists of a continuous noise spectrum that is clearly overlaid by characteristic frequency lines. The frequency lines mainly occur at frequencies below 2 kHz. With the same frequency position, the amplitudes of these frequency lines increase significantly with the writing speed. The amplitudes of the frequency lines increase slightly with increasing surface roughness of the writing pad 4. The frequency positions remain unchanged. With the same writing speed, the amplitudes are almost independent of the writing pad 4 used. The airborne microphone 5 is insensitive to surrounding sound events. When the pen housing 3 is completely closed, the airborne sound chamber 7 has no connection with the ambient air. When the air chamber 7 is closed, ambient noises, in particular spoken words or engine noises, have no influence on the recorded sound time signal when writing. In this case, only the structure-borne noise generated via the writing lead is picked up by the microphone 5.
Die biometrischen Merkmale der Schreibdynamik der Person werden aus der zeitlichen Änderung der akustischen Mikrofonsignale und/oder der Amplituden ausgewählter spektraler Linien er- 'mittelt. Da für die Generierung biometrischer Referenzdaten nur die Dynamik der aufgenommenen Schallsignale ausgewertet wird, ist der Einfluss unterschiedlicher Rauhigkeiten der Unterlage 4 und der Einfluss von Fertigungsstreuungen bei der Herstellung des Schreibgerätes vernachlässigbar. Streuungen in der Schreibdynamik sind daher personenbedingt bzw. personenspezifisch und können daher zur Identifikation und Verifikation der Person ausgewertet werden. Das durch das Mikrofon 5 a- kustisch erfasste Schallzeitsignal ist im Gegensatz zu Schreibdrucksignalen, die den Schreibminendruck in verschiedene Richtungen wiedergeben, unabhängig davon, wie der Schreibstift 2 auf der Unterlage 4 gehalten wird. Das durch das Mikrofon 5 erzeugte Schallsignal ändert sich nicht, wenn das Schreibstiftgehause 3 unterschiedlich um die Langsachse gedreht gehalten wird. Das in Fig. 2 dargestellte Schreibgerat kann hinsichtlich der Geometrie, dem Material, dem Schichtaufbau, der Dampfung und der akustischen Kopplung zwischen der Schallquelle und dem Mikrofon 5 derart dimensioniert werden, dass sich optimale, akustisch wenig störanfällige biometrische Merkmale für Authentifizierungsverfahren generieren lassen. In dem Schreibstiftgehause 3 ist ein akustisches Fenster bzw. eine Öffnung vorgesehen, die per Knopfdruck durch die Person für Sprachaufnahme geöffnet werden kann. Hierzu genügt eine relativ kleine Öffnung im Schreibstiftgehause 3, um den Luftschall beim Sprechen über das Mikrofon 5 mit aufzunehmen. Zur Erfassung des reinen akustischen Schreibsignals bzw. Schreibgerau- sches wird das Gehausefenster durch die Person geschlossen.The biometric characteristics of the person's writing dynamics are determined from the change in time of the acoustic microphone signals and / or the amplitudes of selected spectral lines. Since only the dynamics of the recorded sound signals are evaluated for the generation of biometric reference data, the influence of different roughnesses of the base 4 and the influence of production variations during the manufacture of the writing instrument are negligible. Variations in writing dynamics are therefore person-specific or person-specific and can therefore be evaluated to identify and verify the person. The acoustic time signal recorded acoustically by the microphone 5 is in contrast to Writing pressure signals which reproduce the writing lead pressure in different directions, regardless of how the pen 2 is held on the base 4. The sound signal generated by the microphone 5 does not change if the pen housing 3 is rotated differently about the longitudinal axis. The writing device shown in FIG. 2 can be dimensioned with regard to the geometry, the material, the layer structure, the damping and the acoustic coupling between the sound source and the microphone 5 in such a way that optimal, acoustically less susceptible to interference biometric features can be generated for authentication methods. An acoustic window or opening is provided in the pen housing 3, which can be opened by the person for voice recording at the push of a button. For this purpose, a relatively small opening in the pen housing 3 is sufficient to also record the airborne sound when speaking via the microphone 5. The person closes the housing window to record the pure acoustic write signal or write noise.
Fig. 3a zeigt eine weitere bevorzugte Ausfuhrungsform des er- findungsgemaßen biometrischen akustischen Schreibsystems 1. Bei der in Fig. 3a dargestellten, besonders bevorzugten Ausfuhrungsform sind in dem Schreibstiftgehause 3a neben dem Mikrofon 5 zur akustischen Erfassung von Schreibgehausen zusatzlich weitere Sensoreinrichtungen vorgesehen. Der m Fig. 3 dargestellte biometrische Schreibstift enthalt zus tzlich eine optische Sensoreinrichtung 33. Die optische Sensoreinrichtung 33 erfasst die Positionsdaten der handgefuhrten Schreibstiftbewegung über Bildsignale von der Oberflache der Schreibunterlage 4. Die optische Sensoreinrichtung 33 enthalt eine Abbildungsoptik zur Abbildung der Unterlagenoberflache und eine Wandlereinrichtung zur Umwandlung des optischen Abbildungssignals in ein elektrisches Signal. Die Abbildungsoptik umfasst eine optische Linse 33a. Bei der Linsenoptik kann es sich um Glasfaserbündel oder um GRIN- Linsen handeln. Die Wandlereinrichtung 33c der optischen Sensoreinrichtung 33 ist beispielsweise eine CCD-Kamera mit integriertem Mikroprozessor. Alternativ kann ein Photodiodenarray eingesetzt werden. Vorzugsweise ist zusätzlich eine Diodenlichtquelle zur Beleuchtung der Unterlagenoberfläche vorgesehen. Bei einer alternativen Ausführungsform dient die Laserdiode zusätzlich zur Beleuchtung eines in dem Stift integrierten optischen Gitters.3a shows a further preferred embodiment of the biometric acoustic writing system 1 according to the invention. In the particularly preferred embodiment shown in FIG. 3a, additional sensor devices are provided in the pen housing 3a in addition to the microphone 5 for the acoustic detection of writing cases. The biometric pen shown in FIG. 3 additionally contains an optical sensor device 33. The optical sensor device 33 detects the position data of the hand-held pen movement via image signals from the surface of the writing pad 4. The optical sensor device 33 contains imaging optics for imaging the document surface and a transducer device Conversion of the optical imaging signal into an electrical signal. The imaging optics include an optical lens 33a. The lens optics can be glass fiber bundles or GRIN lenses. The converter device 33c of the optical sensor device 33 is, for example, a CCD camera with an integrated microprocessor. Alternatively, a photodiode array can be used. A diode light source is preferably additionally provided for illuminating the underlay surface. In an alternative embodiment, the laser diode also serves to illuminate an optical grating integrated in the pen.
Die optische Sensoreinrichtung 33 erfasst die mit dem Schreibstift 2 durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Unterlagenoberfläche. Bei einer alternativen Ausführungsform erfasst die optische Sensoreinrichtung die mit dem Schreibstift 2 durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Interferenzen des an dem Gitter und der Unterlagenoberfläche reflektierten Laserlichtes. Die Schreibstiftmine 2 gibt im ausgefahrenen Zustand auf die Unterlage 4 bei Durchführung der handgeführten Bewegungen eine Schreibflüssigkeit ab, die die Strukturierung der Unterlagenoberfläche erhöht. Hierdurch wird die optische Erfassung der ha'ndge- führten Bewegungen mittels der optischen Sensoreinrichtung 33 leichter, und über das Tintenschriftbild erhält eine Person ein Feedback, wodurch die natürliche Schreibweise erleichtert wird.The optical sensor device 33 detects the movements carried out with the stylus 2 by comparing the temporally offset recorded image sequences of the document surface. In an alternative embodiment, the optical sensor device detects the movements carried out with the stylus 2 by comparing the temporally offset recorded image sequences of the interferences of the laser light reflected on the grating and the surface of the document. In the extended state, the pen lead 2 releases a writing liquid onto the base 4 when the hand-guided movements are carried out, which increases the structuring of the surface of the document. As a result, the optical detection of the hand-guided movements by means of the optical sensor device 33 becomes easier, and a person receives feedback via the ink lettering image, which facilitates the natural spelling.
Die in Fig. 3a dargestellte erste bevorzugte Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems 1 enthält neben dem Mikrofon 5 zum Erfassen eines akustischen Schreibgeräusches und der optischen Sensoreinrichtung 33 zur Generierung von Positions- bzw. Bewegungsdaten zusätzlich auch eine Drucksensorik 34 zur Erfassung des Schreibdruckes. Die Druck- sensorik 34 besteht beispielsweise aus Dehnungsmessstreifen DMS oder kraftsensitiven Widerständen FSR sowie Piezosensoren 34a, 34b, 34c, 34d, die den statischen und dynamischen Druck des auf der Unterlage 4 aufgesetzten und handgeführten Schreibstiftes 2 sensorisch erfassen. Die durch das Mikrofon 5 abgegebenen Schallsignaldaten, die von der optischen Sensoreinrichtung 33 abgegebenen Bewegungsdaten und die erfassten mehrdimensionalen Schreibdruckdaten werden einer integrierten Datenverarbeitungseinheit 11a, 11b innerhalb des Schreibstiftgehäuses 3 zugeführt und zu biometrischen Daten verarbeitet. Die ermittelten biometrischen Daten werden vorzugsweise in einem Datenspeicher 12 innerhalb des Schreibstiftgehäuses 3 zwischengespeichert. Die aktuellen ermittelten biometrischen Daten werden anschließend vorzugsweise durch eine Verschlüsselungseinheit 17 verschlüsselt und über eine Datenübertragungsstrecke 18 an einen entfernt gelegenen Rechner 20 übertragen.The first preferred embodiment of the biometric writing system 1 according to the invention shown in FIG. 3a contains, in addition to the microphone 5 for recording an acoustic writing noise and the optical sensor device 33 for generating position or movement data, also a pressure sensor system 34 for recording the writing pressure. The pressure sensor system 34 consists, for example, of strain gauges Strain gauges or force-sensitive resistors FSR and piezo sensors 34a, 34b, 34c, 34d, which detect the static and dynamic pressure of the hand-held pen 2 placed on the base 4 and sensory. The sound signal data emitted by the microphone 5, the movement data emitted by the optical sensor device 33 and the detected multidimensional writing pressure data are fed to an integrated data processing unit 11a, 11b within the pen housing 3 and processed into biometric data. The determined biometric data are preferably temporarily stored in a data memory 12 within the pen housing 3. The currently determined biometric data are then preferably encrypted by an encryption unit 17 and transmitted via a data transmission path 18 to a remote computer 20.
Bei der in Fig. 3a dargestellten Ausführungsform kann durch Verschieben einer Schalldämmung 8b innerhalb des Schreibstiftgehäuses 3 das akustische Fenster 7 zwischen Stimmen- und Schreibgeräuschaufnahme umgeschaltet werden. In einer lauten Umgebung kann beispielsweise durch Schließen des akustischen Fensters 7 das störende Außengeräusch unterdrückt werden. Zur Erhöhung der Erkennungssicherheit kann die Person das akustische Fenster öffnen und beispielsweise ein geschriebenes Passwort gleichzeitig oder zeitlich versetzt zusätzlich sprechen.In the embodiment shown in FIG. 3a, the acoustic window 7 can be switched between voice and writing noise recording by moving sound insulation 8b within the pen housing 3. In a noisy environment, the disturbing external noise can be suppressed, for example, by closing the acoustic window 7. To increase recognition security, the person can open the acoustic window and, for example, additionally speak a written password at the same time or at different times.
Die Figur 3b zeigte eine zweite bevorzugte Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems 1. Die Datenverarbeitungseinheit 11 wird durch einen Akkumulator 37 mit Strom versorgt. Am oberen Ende der Schreibstiftmine 2 ist eine Drucksensoreinrichtung 34b vorgesehen. Weiterhin ist eine Feder 38 vorgesehen. Bei dem Drucksensor 34b handelt es sich vorzugsweise um einen Piezodrucksensor . Figur 3c zeigt eine dritte bevorzugte Ausführungsform des erfindungsgemäßen Schreibsystems 1. Das Schreibsystem 1 ist rotationssymmetrisch und besteht aus einer Schreibstiftmine 2, einem Mikrofon 5 mit Halterung, einer Schalldämmung 8 sowie einem Piezodrucksensor 3 .FIG. 3b shows a second preferred embodiment of the biometric writing system 1 according to the invention. The data processing unit 11 is supplied with current by an accumulator 37. A pressure sensor device 34b is provided at the upper end of the pen lead 2. A spring 38 is also provided. The pressure sensor 34b is preferably a piezo pressure sensor. FIG. 3c shows a third preferred embodiment of the writing system 1 according to the invention. The writing system 1 is rotationally symmetrical and consists of a stylus lead 2, a microphone 5 with holder, sound insulation 8 and a piezo pressure sensor 3.
Die Figur 3d zeigt eine vierte bevorzugte Ausführungsform des erfindungsgemäßen Schreibsystems 1. An dem Schreibstiftgehause 3 ist ein Fingerprintsensor 39 vorgesehen. Der Fingerprintsensor 39 erfasst biometrische Daten der schreibenden Person über Körpermerkmale. Bei dem Fingerprintsensor handelt es sich vorzugsweise um einen kapazitiven Fingerprintsensor. In dem Schreibstiftgehause 3 wird durch eine Federstahlhalterung 42 der Schreibstift 2 gelagert. Der Schreibstift 2 weist zwei Mikrofone 5a, 5b auf. Innerhalb eines in dem Schreibstiftgehause 3 vorgesehenen Körpers 49 ist ein dünneres Mikrofon 5a vorgesehen, das sich in der Nähe einer Seite 41 befindet. Die Seite 41 dient als akustischer Oszillator und ist mit der Schreibstiftmine 2 verbunden. Ein äußeres Mikrofon 5b dient zur Aufnahme des Umgebungsschalles. Das Schreibsystem 1 in der in Figur 3d dargestellten Ausführungsform weist ferner einen Neigungssensor 40 auf. Der Neigungssensor 40 erfasst beim Schreiben die Neigung des Schreibstiftes 2. Hiermit wird die motorische Bewegung der stiftführenden Finger erfasst. Die Datenverarbeitungseinheit 11 wird durch einen Akkumulator 37 mit Strom versorgt. Am oberen Ende des Schreibstiftes 2 befindet sich ferner ein Drucksensor 34d. Weitere Drucksensoren 34a, 34b, 34c sind an der Federstahlhalterung 42 vorgesehen. Die Federstahlhalterung 42 dient als Schreibstiftminenhalter und als Verformer der DMS-Streifen 34a, 34b, 34c, die vorzugsweise auf der Federstahlhalterung 42 angebracht sind.FIG. 3d shows a fourth preferred embodiment of the writing system 1 according to the invention. A fingerprint sensor 39 is provided on the pen housing 3. The fingerprint sensor 39 records biometric data of the person writing about body features. The fingerprint sensor is preferably a capacitive fingerprint sensor. The pen 2 is mounted in the pen housing 3 by a spring steel holder 42. The stylus 2 has two microphones 5a, 5b. Within a body 49 provided in the pen housing 3, a thinner microphone 5a is provided, which is located in the vicinity of one side 41. The side 41 serves as an acoustic oscillator and is connected to the pen refill 2. An external microphone 5b is used to record the ambient sound. The writing system 1 in the embodiment shown in FIG. 3d also has an inclination sensor 40. The inclination sensor 40 detects the inclination of the pen 2 during writing. The motor movement of the pen-guiding fingers is hereby detected. The data processing unit 11 is supplied with power by an accumulator 37. At the upper end of the stylus 2 there is also a pressure sensor 34d. Further pressure sensors 34a, 34b, 34c are provided on the spring steel holder 42. The spring steel holder 42 serves as a pencil lead holder and as a deformer of the strain gauge strips 34a, 34b, 34c, which are preferably attached to the spring steel holder 42.
Figur 3e zeigt eine fünfte bevorzugte Ausführungsform des erfindungsgemäßen biometrischen Schreibsystems 1. Das Schreibsystem 1 weist eine optische Sensoreinrichtung 48 auf, die gleichzeitig in drei Raumrichtungen den statischen und dynamischen Druck und die Schwingung des auf der Unterlage 4 aufgesetzten handgeführten Schreibstiftes 2 erfasst. Diese optische Sensoreinrichtung 48 enthält Photodetektoren zur Erfassung der Bewegung einer Diodenlichtquelle 44. Die Diodenlichtquelle 44 ist mit dem Schreibstift 2 fest verbunden. Die Diodenlichtquelle 44 führt die Auslenkung und Schwingung des Schreibstiftes 2 durch, wobei die von der Diodenlichtquelle 44 abgegebenen Lichtstrahlen als Lichtquellensignal an die Photodetektoren der optischen Sensoreinrichtung 40 abgegeben werden. Die von der Diodenlichtquelle 44 abgegebenen Lichtstrahlen gelangen zum einem Strahlentei er 47 und von dort zu einer Linse 46. Die Linse 46 weist vorzugsweise eine teilverspiegelte Unterseite auf. Die optische Sensoreinrichtung 40 enthält ferner einen Vierquadrantenphotodetektor 50 sowie einen einfachen Photodetektor 45. Der Vierquadrantenphotodetektor 50 ist hinter der Linse 46 angebracht. Der Vierquadrantenphotodetektor 50 erfasst die Auslenkung und die Schwingung der Lichtquelle 44 in zueinander orthogonalen X-, Y-Richtungen. Der einfache Photodetektor 45 erfasst die Auslenkung und Schwingung der Lichtquelle 44 in der zu der X-, Y-senkrechten Richtung z. Aus den Signalen des Vierquadrantenphotodetektors 50 und des einfachen Photodetektors 45 sind in drei Raumrichtungen über die Auslenkung die Dynamik des Schreibdruckes und über die Schwingung der Dynamik der Schreibgeschwindigkeit bestimmbar. Die Signale der Photodetektoren 45, 50 werden der Datenverarbeitungseinheit 11 zugeführt und dort ausgewertet. Bei der in Figur 3e dargestellten Ausführungsform wird der Schreibstift 2 durch eine Schreibminenhalterung 43 gelagert. Ferner ist eine Feder 38 vorgesehen. Die Abbildung der optischen Sensoreinrichtung 40 besteht aus dem Strahlenteiler 47, der optisch teilverspiegelten Linse 46 und einer Blende.FIG. 3e shows a fifth preferred embodiment of the biometric writing system 1 according to the invention. The writing system 1 has an optical sensor device 48 which at the same time, the static and dynamic pressure and the vibration of the hand-held pen 2 placed on the base 4 are detected in three spatial directions. This optical sensor device 48 contains photodetectors for detecting the movement of a diode light source 44. The diode light source 44 is firmly connected to the stylus 2. The diode light source 44 carries out the deflection and oscillation of the stylus 2, the light rays emitted by the diode light source 44 being emitted as a light source signal to the photodetectors of the optical sensor device 40. The light rays emitted by the diode light source 44 go to a beam splitter 47 and from there to a lens 46. The lens 46 preferably has a partially mirrored underside. The optical sensor device 40 also contains a four-quadrant photodetector 50 and a simple photodetector 45. The four-quadrant photodetector 50 is mounted behind the lens 46. The four-quadrant photodetector 50 detects the deflection and the oscillation of the light source 44 in mutually orthogonal X, Y directions. The simple photodetector 45 detects the deflection and vibration of the light source 44 in the direction perpendicular to the X, Y direction z. From the signals of the four-quadrant photodetector 50 and the simple photodetector 45, the dynamics of the writing pressure and the vibration of the dynamics of the writing speed can be determined in three spatial directions. The signals from the photodetectors 45, 50 are fed to the data processing unit 11 and evaluated there. In the embodiment shown in FIG. 3e, the stylus 2 is supported by a lead holder 43. A spring 38 is also provided. The image of the optical sensor device 40 consists of the beam splitter 47, the optically partially mirrored lens 46 and an aperture.
Die in den Fig. 1 bis 3 dargestellten biometrischen akustischen Schreibsysteme 1 sind vielseitig einsetzbar. Das biomet- rische Schreibsystem 1 kann als Computereingabeeinrichtung eingesetzt werden. Darüber hinaus eignet sich das biometrische Schreibsystem 1 als Spracheingabeeinrichtung, insbesondere als Diktiergerät.The biometric acoustic writing systems 1 shown in FIGS. 1 to 3 are versatile. The biomet Rische writing system 1 can be used as a computer input device. In addition, the biometric writing system 1 is suitable as a voice input device, in particular as a dictation device.
Eine weitere Anwendungsmöglichkeit besteht in der Identifizierung und Verifizierung einer schreibenden Person durch Vergleich aktuell gewonnener biometrischer Daten mit abgespei¬ cherten biometrischen Referenzdaten von Personen. Bei der Verifikation einer Person wird dabei geprüft, ob beispielsweise die gegebene Unterschrift tatsächlich von der richtigen Person stammt. Hierzu werden die aktuell generierten biometrischen Daten mit gespeicherten Referenzdaten dieser Person verglichen. Voraussetzung hierfür ist, dass zunächst die personenspezifischen biometrischen Referenzdaten dieser Person generiert werden. Hierfür werden zunächst handgeführte Schreibbe¬ wegungen, die von dieser Person unter Aufsicht ausgeführt werden, akustisch erfasst. Die ausführende Person unterschreibt beispielsweise unter Aufsicht mit ihrer Unterschrift, und das Mikrofon 5 innerhalb des Schreibgerätes erfasst die dabei auftretenden Schallsignale des Schreibgeräusches. Die aufgenommenen Schreibgeräusche werden als Schallsignaldaten an die Datenverarbeitungseinheit 11 abgegeben. Die Schallsignaldaten werden in einem Speicher 12 als digitale Schallzeitsignale zwischengespeichert. Anschließend erfolgt durch die Datenverarbeitungseinheit 11 eine Berechnung des zugehörigen Frequenzspektrums, beispielsweise mittels Fourier-Transformation. Aus dem abgespeicherten digitalen Schaltzeitsignal werden mittels Merkmalsextraktion erste biometrische Referenzdaten bestimmt. Aus dem berechneten und abgespeicherten Frequenzspektrum des Schaltzeitsignals werden ebenfalls mittels Merkmalsextraktion zweite biometrische Referenzdaten bestimmt. Diese Verfahrensschritte können vorzugsweise auch mehrfach durchgeführt werden, und die jeweils bestimmten biometrischen Referenzdaten werden statistisch ausgewertet. Die ausgewerteten Daten werden anschließend als personenspezifische Referenzdaten verschlüsselt und abgespeichert. Die generierten biometrischen Referenzdaten können anschließend zur Personenverifikation und Personenidentifikation bei einer Vielzahl von Anwendungen eingesetzt werden. Die generierten personenspezifischen Referenzdaten werden beispielsweise in einem Mikrochip eines Personalausweises, in einem Mikrochip einer Kreditkarte, in einer Berechtigungsmagnetkarte oder in einer beliebigen Speichereinheit eines Computers abgelegt. Bei der Generierung der biometrischen Referenzdaten wird vorzugsweise zusätzlich ein von der Person stammendes Sprechsignal akustisch erfasst und entsprechende Schallsignaldaten erzeugt. Beispielsweise kann die betreffende Person bei einer Bank oder einer Behörde unter Aufsicht eine Unterschrift leisten und gleichzeitig oder anschließend ihren eigenen Namen sprechen. Zur weiteren Erhöhung der Sicherheit können zusätzlich auch die bei der Unterschriftsleistung auftretenden Schreibkräfte mittels der Druck- sensorik erfasst und ausgewertet werden. Eine weitere Erhöhung der Sicherheit ergibt sich durch zusätzliche optische Erfassung der handgeführten Schreibbewegung, d.h. eine optische Erfassung der Positionsdaten der geleisteten Unterschrift. Der in den Fig. 3a-3e dargestellte Schreibstift erfasst sensorisch eine Vielzahl personenspezifischer Merkmale, insbesondere das Schriftbild der geleisteten Unterschrift, den beim Schreiben der Unterschrift auftretenden statischen und dynamischen Schreibdruck, das beim Schreiben der Unterschrift erzeugte Schreibgeräusch sowie zusätzlich das von der schreibenden Person gesprochene Wort, beispielsweise deren Name oder ein Passwort. Alle diese Daten werden zu biometrischen Referenzdaten verarbeitet und abgelegt.. Dabei ist die Erkennungssicherheit und die Verfälschungssicherheit sehr hoch, da unterschiedlichste personenspezifische Merkmale sensorisch erfasst und ausgewertet werden. Zur Verifikation einer Person werden die durch das Schreibsystem generierten aktuellen biometrischen Daten mit den zuvor generierten und abgespeicherten biometri- sehen Referenzdaten der Person verglichen, um festzustellen, ob die aktuellen biometrischen Daten mit gespeicherten biometrischen Referenzdaten der Person weitgehend übereinstimmen. Bei einer hundertprozentigen Übereinstimmung handelt es sich allerdings vermutlich um eine Raubkopie der abgespeicherten Referenzdaten, und das biometrische Schreibsystem 1 gemäß der Erfindung gibt ein entsprechendes Warnsignal ab.A further possible application is the identification and verification of a writing person by comparing currently derived biometric data with biometric reference data abgespei ¬ cherten of persons. When a person is verified, it is checked whether, for example, the given signature actually comes from the right person. For this purpose, the currently generated biometric data are compared with stored reference data of this person. The prerequisite for this is that the person-specific biometric reference data of this person are first generated. For this first hand-held Schreibbe ¬ are movements that are performed by that person under supervision, recorded acoustically. The person doing the signing, for example, signs under supervision with his signature, and the microphone 5 inside the writing instrument detects the sound signals of the writing noise that occur. The recorded writing noises are output to the data processing unit 11 as sound signal data. The sound signal data are temporarily stored in a memory 12 as digital sound time signals. The data processing unit 11 then calculates the associated frequency spectrum, for example by means of a Fourier transformation. First biometric reference data are determined from the stored digital switching time signal by means of feature extraction. Second biometric reference data are likewise determined from the calculated and stored frequency spectrum of the switching time signal by means of feature extraction. These method steps can preferably also be carried out several times, and the biometric reference data determined in each case are statistically evaluated. The evaluated data will then encrypted and saved as person-specific reference data. The generated biometric reference data can then be used for person verification and person identification in a variety of applications. The generated person-specific reference data are stored, for example, in a microchip of an identity card, in a microchip of a credit card, in an authorization magnetic card or in any storage unit of a computer. When generating the biometric reference data, a speech signal originating from the person is preferably also acoustically recorded and corresponding sound signal data is generated. For example, the person concerned can sign a supervision or supervision at a bank or an authority and speak his or her own name simultaneously or subsequently. To further increase security, the typists who appear when signing can also be recorded and evaluated using the pressure sensors. A further increase in security results from additional optical detection of the hand-guided writing movement, ie optical detection of the position data of the signature made. The pen shown in Figs. 3a-3e senses a variety of person-specific features, in particular the typeface of the signature, the static and dynamic writing pressure that occurs when writing the signature, the writing noise generated when writing the signature, and additionally the spoken by the person writing Word, for example their name or a password. All of this data is processed and stored to produce biometric reference data. The level of recognition and falsification security is very high, since a wide variety of person-specific features are sensed and evaluated. To verify a person, the current biometric data generated by the writing system are compared with the previously generated and saved biometric data. see reference data of the person compared to determine whether the current biometric data largely match the stored biometric reference data of the person. However, a 100% match is presumably a pirated copy of the stored reference data, and the biometric writing system 1 according to the invention emits a corresponding warning signal.
Bei der Personenidentifikation werden die aktuellen biometrischen Daten mit gespeicherten biometrischen Referenzdaten einer Vielzahl von Personen verglichen und diejenige Person selektiert, deren biometrische Referenzdaten mit den aktuellen biometrischen Daten am besten übereinstimmen.When identifying people, the current biometric data are compared with stored biometric reference data of a large number of people and the person selected whose biometric reference data best match the current biometric data.
Neben der Personenverifikation und Personenidentifikation kann das erfindungsgemaße biometrische Schreibsystem zusatzlich auch zur Handschriftenerkennung und/oder Handskizzenerkennung eingesetzt werden. Fig. 4 zeigt schematisch die Schritte zur Handschriftenerkennung. Die beim Schreiben des Schreibstiftes 2 auf der Unterlage 3 beim Schreiben oder Skizzieren eines Zeichens, eines Wortes oder einer Wortfolge auftretenden Schreibgerausche werden durch das Mikrofon 5 akustisch erfasst und in entsprechende Schallsignaldaten umgewandelt. Nach einer akustischen Signalverarbeitung erfolgt eine Codierung. Die erzeugten Schallsignaldaten werden als digitales Schallzeitsignal zwischengespeichert, und anschließend wird das zugehörige Frequenzspektrum aus den Schallsignaldaten mittels Fourier- Transformation berechnet.In addition to personal verification and personal identification, the biometric writing system according to the invention can also be used for handwriting recognition and / or hand sketch recognition. Fig. 4 shows schematically the steps for handwriting recognition. The writing noises that occur when writing the pen 2 on the base 3 when writing or sketching a character, a word or a word sequence are acoustically detected by the microphone 5 and converted into corresponding sound signal data. After acoustic signal processing, coding takes place. The generated sound signal data is temporarily stored as a digital sound time signal, and the associated frequency spectrum is then calculated from the sound signal data using a Fourier transformation.
In einem weiteren Schritt werden erste aktuelle akustische Daten aus der Schallintensität des digitalen Schallzeitsignals mittels Merkmalsextraktion zur Datenreduktion bestimmt. Aus dem berechneten Frequenzspektrum des Schallzeitsignals werden ebenfalls mittels Merkmalsextraktion aktuelle zweite akustische Daten bestimmt. Auch dieser Schritt dient vor allem der Datenreduktion. Aus den akustischen Daten werden schließlich eine Folge von Merkmalsvektoren berechnet, und diese berechneten Merkmalsvektoren werden mit gespeicherten personenspezifischen Referenzmerkmalsvektoren in einem Mustervergleich verglichen. Es wird daraufhin eine Folge von Referenzmerkmalsvektoren, die von den jeweiligen Merkmalvektoren die geringste Abweichung aufweisen, selektiert. Aus der Folge selektierter Referenzmerkmalsvektoren werden mittels statistischer, konnek- tionistischer und wissensbasierter Verfahren das geschriebene Zeichen, das geschriebene Wort oder die geschriebene Wortfolge ermittelt .In a further step, first current acoustic data are determined from the sound intensity of the digital sound time signal by means of feature extraction for data reduction. Current second acoustic data are also determined from the calculated frequency spectrum of the sound time signal by means of feature extraction. This step also serves above all Data reduction. Finally, a sequence of feature vectors is calculated from the acoustic data, and these calculated feature vectors are compared with stored person-specific reference feature vectors in a pattern comparison. A sequence of reference feature vectors which have the smallest deviation from the respective feature vectors is then selected. The written character, the written word or the written word sequence are determined from the sequence of selected reference feature vectors using statistical, connectionistic and knowledge-based methods.
Bei den statistischen Verfahren handelt es sich beispielweise um Hidden-Markow-Modelle zur Erkennung eines größeren Vokabulars. Bei den konnektionistischen Verfahren werden vor allem neuronale Netzwerkmodelle zur Erkennung eines begrenzten Vokabulars eingesetzt. Bei den wissensbasierten Verfahren handelt es sich beispielsweise um Fuzzy-Logic-Modelle . Die Referenzmerkmalsvektoren werden bei der Stellung des Schreibsystems systemspezifisch und vor dem Einsatz des Systems personenspezifisch durch wiederholtes handschriftliches Schreiben eines Trainingstextes erzeugt und abgespeichert. Über längere Einsatzzeiten werden die Referenzmerkmalsvektoren der Person adaptiv und automatisch über neu geschriebene Zeichen und Worter aktualisiert. Alle Verfahren basieren auf akustischen Modellen von Zeichen, Buchstaben, Silben und Wortern des Vokabulars einer Sprache in Lautschrift. Die Lautschrift des Vokabulars einer Sprache wird durch Lautelemente, d.h. kurze, lautliche Einheiten (Allophone) des Schreibgerausches gebildet. Jedes Wort des Vokabulars wird als Folge von Allophonen gespeichert. Die akustischen Modelle ermitteln aus dem Vokabular in Lautschrift mehrere Wortkandidaten, die mit der größten Wahrscheinlichkeit zu der akustischen Symbolfolge gehören. Die Wahrscheinlichkeit für jedes Wort wird dabei über die HMM (Hidden-Markow-Modelle) oder die Neuro-Fuzzy-Systeme bestimmt. Der wahrscheinlichste Wortkandidat wird über eine Schwellenwertentscheidung oder über ein Wortfolgestatistikmodell bzw. Sprachmodell bestimmt. Das ermittelte Zeichen wird anschließend beispielsweise als formatierter Text oder als handschriftlicher Text ausgegeben. Zur Erhöhung der Erkennungssicherheit wird vorzugsweise zusätzlich das geschriebene Zeichen oder Wort durch die Person ausgesprochen und durch das Mikrofon akustisch erfasst. Daneben werden die Positionsdaten der handgeführten Schreibbewegung optisch erfasst. Eine weitere Erhöhung der Sicherheit wird erreicht durch Erfassung der beim Schreiben des Wortes auftretenden Schreibdruckdaten.The statistical methods are, for example, hidden Markow models for recognizing a larger vocabulary. The connectionist methods primarily use neural network models to recognize a limited vocabulary. The knowledge-based methods are, for example, fuzzy logic models. The reference feature vectors are generated and stored system-specific when the writing system is in position and person-specific before using the system by repeated handwritten writing of a training text. Over longer periods of use, the reference feature vectors of the person are updated adaptively and automatically via newly written characters and words. All methods are based on acoustic models of characters, letters, syllables and vocabulary words of a language in phonetic transcription. The phonetic spelling of the vocabulary of a language is formed by phonetic elements, ie short, phonetic units (allophones) of the writing noise. Every word in the vocabulary is stored as a sequence of allophones. The acoustic models determine from the vocabulary in phonetic transcription several word candidates that are most likely to belong to the acoustic symbol sequence. The probability for each word is determined using the HMM (Hidden Markow models) or the neuro-fuzzy systems. The most likely word candidate is determined via a threshold decision or a word sequence statistics model or language model. The determined character is then output, for example, as formatted text or as handwritten text. In order to increase the reliability of the recognition, the person may also pronounce the written character or word and record it acoustically through the microphone. In addition, the position data of the hand-held writing movement are optically recorded. A further increase in security is achieved by recording the writing pressure data that occurs when the word is written.
Die durch das erfindungsgemäße Schreibsystem 1 generierten personenspezifischen Referenzdaten können zur Ermittlung psychologischer und oder physiologischer Merkmale der Person ausgewertet werden. Insbesondere kann mittels des erfindungsgemäßen biometrischen Schreibsystems 1 das Auftreten neuromotorischer Bewegungsstörungen einer Person erkannt werden. Das erfindungsgemäße biometrische Schreibsystem eignet sich somit zur Diagnose psychologischer und/oder physiologischer Merkmale sowie zur Diagnose neuromotorischer Bewegungsstörungen der Person.The person-specific reference data generated by the writing system 1 according to the invention can be evaluated to determine psychological and or physiological characteristics of the person. In particular, the occurrence of neuromotor movement disorders of a person can be recognized by means of the biometric writing system 1 according to the invention. The biometric writing system according to the invention is therefore suitable for diagnosing psychological and / or physiological features and for diagnosing neuromotor movement disorders in the person.
Fig. 5 zeigt eine besonders bevorzugte Ausführungsform des erfindungsgemäßen biometrischen Schreibsystem 1 mit einem optoa- kustischen Feedback für die schreibende Person. Von dem Schreibstift 3 werden die gewonnenen biometrischen Daten an einen lokalen Rechner 20 übertragen, der über Leitungen 35a, 35b der schreibenden Person über einen Bildschirm 36a und einen Lautsprecher 36b ein optoakustisches Feedback gibt. In dieser Konfiguration eignet sich das erfindungsgemäße biometrische Schreibsystem 1 als System zur Therapie von Bewegungsstörungen der Person. Aufgrund des optoakustischen Feedbacks kann die Person, die möglicherweise eine neuromotorische Bewegungsstörung aufweist, wieder schreiben lernen. Ein weiteres interessantes Anwendungsgebiet besteht in dem Einsatz des biometrischen Schreibsystems 1, wie es in Fig. 5 dargestellt ist, als Schulungssystem zum Erlernen von Schreiben. Insbesondere eignet sich das erfindungsgemäße biometrische Schreibsystem 1 als Schulungssystem zum Erlernen einer Sprache, insbesondere einer Fremdsprache. Die lernende Person kann beispielsweise ein Wort auf der Unterlage 4 schreiben, und der in dem Schreibstiftgehause 3 integrierte Lautsprecher gibt das Wort in der korrekten Aussprache der Fremdsprache wieder. Durch ein Lernprogramm für Schüler oder Menschen mit Koordinationsschwierigkeiten, beispielsweise Schlaganfallpatienten, können vorgegebene Zahlen oder Zeichen, die auf der Unterlage 4 angebracht sind, durch die Person mit dem Schreibstift nachgezeichnet werden. Beispielsweise kann ein Schüler eine vorgegebene Zahl oder ein Zeichen auf der Unterlage 4 nachzeichnen und erhält ein optoakustisches Feedback. Für Menschen mit Koordinationsschwierigkeiten ist mittels der Schreibdruckfassung eine Dokumentation ihres Lernfortschritts möglich. Für Kinder ist es mittels des erfindungsgemäßen biometrischen Schreibsystems 1, wie es in Fig. 5 dargestellt ist, möglich, in einfacher Weise das Schreiben des Alphabets zu erlernen. Darüber hinaus sind Fertigungsübungen, Bewusstma- chungsübungen und Imitationsübungen möglich.5 shows a particularly preferred embodiment of the biometric writing system 1 according to the invention with an optoacoustic feedback for the person writing. The biometric data obtained are transferred from the stylus 3 to a local computer 20, which gives the writer via lines 35a, 35b an optoacoustic feedback via a screen 36a and a loudspeaker 36b. In this configuration, the biometric writing system 1 according to the invention is suitable as a system for the therapy of movement disorders of the person. Thanks to the optoacoustic feedback, the person who may have a neuromotor movement disorder can learn to write again. Another interesting area of application is the use of the biometric writing system 1, as shown in FIG. 5, as a training system for learning to write. In particular, the biometric writing system 1 according to the invention is suitable as a training system for learning a language, in particular a foreign language. For example, the learner can write a word on the pad 4, and the loudspeaker integrated in the pen housing 3 reproduces the word in the correct pronunciation of the foreign language. Through a learning program for pupils or people with coordination difficulties, for example stroke patients, predetermined numbers or characters that are attached to the base 4 can be traced by the person with the pen. For example, a student can trace a predetermined number or a character on the base 4 and receives optoacoustic feedback. Documentation of their learning progress is possible for people with coordination difficulties. For children, using the biometric writing system 1 according to the invention, as shown in FIG. 5, it is possible to learn to write the alphabet in a simple manner. Manufacturing exercises, awareness exercises and imitation exercises are also possible.
Fig. 6 zeigt das Verhalten des erfindungsgemäßen Schreibsystems 1 beim Schreiben auf unterschiedlichen Unterlagen 4. Die Fig. 6a, 6b zeigen das aufgenommene Zeitschallsignal bei unterschiedlichen Schreibgeschwindigkeiten auf einer Kartonoberfläche und auf einem Schreibpapierblock. Dabei wird in dem dargestellten Beispiel ein Strich mit wachsender Geschwindigkeit auf dem Karton und dem Schreibpapierblock gezogen. Die Fig. 6c, 6d zeigen die zugehörigen Frequenzspektren. Die Fig. 7 zeigt ein Zeitschallsignal, das beim dreifachen Schreiben des Buchstabens "a" bei dem Schreiben des Schreibstiftes auf einem Schreibblock mittels des erfindungsgemäßen biometrischen Schreibsystems 1 generiert wird. Wie man Fig. 7 entnehmen kann, ist das Schallzeitsignal sehr gut wiederholbar bzw. reproduzierbar, so dass der Buchstabe "a" spezifisch erkannt werden kann.6 shows the behavior of the writing system 1 according to the invention when writing on different documents 4. FIGS. 6a, 6b show the recorded time sound signal at different writing speeds on a cardboard surface and on a writing paper block. In the example shown, a line is drawn with increasing speed on the cardboard and the writing paper block. 6c, 6d show the associated frequency spectra. FIG. 7 shows a time sound signal which is generated when the letter "a" is written three times when the pen is written on a writing pad by means of the biometric writing system 1 according to the invention. As can be seen in FIG. 7, the sound time signal is very easily repeatable or reproducible, so that the letter "a" can be specifically recognized.
Fig. 8 zeigt ebenfalls ein Zeitschallsignal, das beim dreifachen Schreiben eines Buchstabens "b" erzeugt wird. Auch der Buchstabe "b" weist einen charakteristischen Schallzeitsignalverlauf auf.Fig. 8 also shows a time sound signal which is generated by writing a letter "b" three times. The letter "b" also has a characteristic sound time signal curve.
Die Fig. 9a zeigt Amplitudenfrequenzsignale im Zeitverlauf für den Buchstaben "a", und die Fig. 9b zeigt Amplitudenfrequenzsignale zum Schreiben des Buchstabens "b" im Zeitverlauf.FIG. 9a shows amplitude frequency signals over time for the letter "a", and FIG. 9b shows amplitude frequency signals for writing the letter "b" over time.
Die Fig. 10a, 10b zeigen prinzipiell, wie die Amplitudenfre- quenzlinien sich im Zeitverlauf dynamisch beim Schreiben eines Buchstabens, beispielsweise eines Buchstabens "a" verändern. Zum Zeitpunkt tO setzt die schreibende Person den Stift auf (Anfangspunkt AP) und führt die Schreibbewegung durch. Das zum Zeitpunkt tO bestehende Spektrum ändert sich dynamisch im Zeitverlauf. Fig. 10b zeigt die Änderung des Spektrums zum Zeitpunkt tO zum Zeitpunkt tl.10a, 10b show in principle how the amplitude frequency lines change dynamically over time when writing a letter, for example a letter "a". At time tO, the person writing puts the pen on (starting point AP) and carries out the writing movement. The spectrum existing at time tO changes dynamically over time. 10b shows the change in the spectrum at time t0 at time t1.
Die Fig. 11 zeigen das dynamische Verhalten einiger Frequenzlinien beim Schreiben eines Buchstabens "a". Bei dem dargestellten Beispiel ergibt sich die beste Wiedergabe des Buchstabens "a" bei der Frequenzlinie f = 86,133 Hertz.11 shows the dynamic behavior of some frequency lines when writing a letter "a". In the example shown, the best reproduction of the letter "a" results at the frequency line f = 86.133 hertz.
Die Fig. 12 zeigen das dynamische Verhalten einiger Frequenzlinien beim Schreiben eines Buchstabens "b" . Die beste Wiedergabe des Buchstabens "b" liefert die Frequenzlinie f = 86, 133 Hertz. Das erfindungsgemäße akustische Schreibsystem 1 kann derart ausgelegt werden, dass es die Frequenzlinien die handschriftlichen Zeichen in einem möglichst großen dynamischen Bereich mit großen Amplitudenwerten erfasst.12 shows the dynamic behavior of some frequency lines when writing a letter "b". The best representation of the letter "b" is provided by the frequency line f = 86, 133 hertz. The acoustic writing system 1 according to the invention can be designed such that it detects the frequency lines of the handwritten characters in the largest possible dynamic range with large amplitude values.
Das erfindungsgemäß biometrische akustische Schreibsystem 1 weist eine Vielzahl von Anwendungsmöglichkeiten auf. Es kann einerseits als biometrisches Authentifizierungssystem zur Personenidentifikation und -Verifikation eingesetzt werden. Das erfindungsgemäße Schreibsystem 1 eignet sich als Computereingabeeinrichtung als Ersatz für eine Computermaus oder Tastaturbefehle, insbesondere zur Passworteingabe. Ferner kann das erfindungsgemäße biometrische Schreibsystem 1 zur elektronischen Sprach- und Handschriftenerkennung eingesetzt werden. Ein weiteres umfassendes Anwendungsgebiet besteht auf dem Gebiet der biometrischen Diagnose und Therapie. Schließlich kann das erfindungsgemäße biometrische Schreibsystem 1 zu Schulungszwecken, beispielsweise zum Erlernen von Schreiben, Fremdsprachen oder zum Beheben von Koordinationsschwierigkeiten eingesetzt werden. Wichtige Einsatzgebiete des erfindungsgemäßen Schreibsystems ergeben sich im Bereich des E-Commerce, insbesondere im Internet, wie beispielsweise bei Banken, Handel und im Kreditkartenwesen. Das erfindungsgemäße biometrische Schreibsystem 1 kann ferner als biometrisches System zur Personenzugangs- und Sicherheitskontrolle in allen Sicherheitsbereichen mit hoher Verfälschungssicherheit und geringen Fehlerraten eingesetzt werden. Weitere Einsatzmöglichkeiten bestehen im forensischen Einsatz in der Kriminalistik, beim Grenzschutz oder der Polizei. Darüber hinaus kann das erfindungsgemäße biometrische Schreibsystem 1 zur Kommunikation zwischen Mensch und Maschine eingesetzt werden, insbesondere als Diktiergerät, oder zur verbalen und handgeschriebenen Maschinensteuerung. Das multifunktionale biometrische Schreibsystem 1 eignet sich auch als Eingabeeinheit eines zukünftigen virtuellen Schreibtisches, bei dem beispielsweise über den Schreibstift das Tablet eines PC's durch das normale Schreibpapier als Eingabemedium mit den erfindungsgemäßen Eingabemöglichkeiten ergänzt oder ersetzt wird.The biometric acoustic writing system 1 according to the invention has a large number of possible uses. On the one hand, it can be used as a biometric authentication system for personal identification and verification. The writing system 1 according to the invention is suitable as a computer input device as a replacement for a computer mouse or keyboard commands, in particular for password entry. Furthermore, the biometric writing system 1 according to the invention can be used for electronic speech and handwriting recognition. Another extensive area of application is in the field of biometric diagnosis and therapy. Finally, the biometric writing system 1 according to the invention can be used for training purposes, for example for learning to write, foreign languages or for eliminating coordination difficulties. Important areas of application of the writing system according to the invention arise in the field of e-commerce, in particular on the Internet, for example in banks, trade and in the credit card system. The biometric writing system 1 according to the invention can also be used as a biometric system for personal access and security control in all security areas with a high level of security against falsification and low error rates. Other possible uses are forensic use in criminal statistics, border guards or the police. In addition, the biometric writing system 1 according to the invention can be used for communication between man and machine, in particular as a dictation device, or for verbal and handwritten machine control. The multifunctional biometric writing system 1 is also suitable as an input unit for a future virtual desk, in which, for example, the tablet of a PC is supplemented or replaced by the normal writing paper as an input medium with the input options according to the invention via the writing pen.
Das erfindungsgemäße biometrische Schreibsystem 1, wie es in Fig. 1 bis 3 dargestellt ist, kann mit relativ geringem technischen Aufwand kostengünstig hergestellt werden, so dass sich weite Einsatzgebiet erschließen. The biometric writing system 1 according to the invention, as shown in FIGS. 1 to 3, can be produced inexpensively with relatively little technical effort, so that a wide range of applications can be opened up.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
1 biometrisches akustisches Schreibsystem1 biometric acoustic writing system
2 Schreibstift2 pen
3 Schreibstiftgehause3 pen housing
4 Unterlage 5a, 5b Mikrofone4 pad 5a, 5b microphones
6 Klangkörper6 orchestras
7 Luftschallkammer 8, 8a, 8b Schalldämmung7 Airborne sound chamber 8, 8a, 8b sound insulation
9 Verschlusseinrichtung9 locking device
10 Signalleitung10 signal line
11 Datenverarbeitungseinheit11 data processing unit
12 Speichereinheit12 storage unit
13 Leitungen13 lines
14 optische Sensoreinrichtung14 optical sensor device
15 Signalleitungen15 signal lines
16 Signalleitungen16 signal lines
17 Verschlüsselungseinheit17 encryption unit
18 Datenübertragungsstrecke18 data transmission path
19 Datenverarbeitungseinheit 0 lokaler Rechner 1 Speicher 2 Anzeigeeinrichtung 3 Leitung 4 Leitung 5 Leitung 6 Leseeinheit 7 Steuerleitung 8 Aktor 9 Leitung 0 Datennetzwerk 1 Datenbank 2 Lautsprecher 3 zweite optische Sensoreinrichtung Drucksensoreinrichtung Leitung akustische Feedback-Einrichtungen Akku Feder Fingerprintsensor Neigungssensor Saite Federstahlhalterung Schreibminenhalterung LED Photodetektor Linse Strahltreiber erste optische Sensoreinrichtung Körper Vierquadrantenphotodetektor 19 data processing unit 0 local computer 1 memory 2 display device 3 line 4 line 5 line 6 reading unit 7 control line 8 actuator 9 line 0 data network 1 database 2 loudspeaker 3 second optical sensor device Pressure sensor device line acoustic feedback devices battery spring fingerprint sensor inclination sensor string spring steel holder writing lead holder LED photodetector lens beam driver first optical sensor device body four-quadrant photodetector

Claims

Patentansprüche claims
1. Biometrisches, akustisches Schreibsystem (1) mit:1. Biometric, acoustic writing system (1) with:
(a) einem Schreibstiftgehause (31) zur Durchführung handgeführter Bewegungen auf einer Unterlage (4);(a) a pen housing (31) for performing hand-guided movements on a base (4);
(b) mindestens einem in dem Schreibstiftgehause (3) integrierten Mikrofon (5) zur akustischen Erfassung von Schallsignalen, die durch die handgeführten Bewegungen hervorgerufen werden;(b) at least one microphone (5) integrated in the pen housing (3) for acoustic detection of sound signals which are caused by the hand-guided movements;
(c) und einer Datenverarbeitungseinheit (11) zur Berechnung biometrischer Daten in Abhängigkeit von den erfassten SchallSignalen.(c) and a data processing unit (11) for calculating biometric data as a function of the recorded sound signals.
2. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass die Datenverarbeitungseinheit (11) zur Rekonstruktion handgeschriebener Zeichen und Texte aus den erfassten Schallsignalen vorgesehen ist.2. Biometric, acoustic writing system according to claim 1, that the data processing unit (11) is provided for the reconstruction of handwritten characters and texts from the recorded sound signals.
3. Biometrisches, akustisches Schreibsysteme nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass in dem Schreibstiftgehause (3) ein Schreibstift (2) vorgesehen ist, der auf der Unterlage (4) aufgesetzt und auf der Unterlage (4) geführt wird.3. Biometric, acoustic writing system according to claim 1, d a d u r c h g e k e n n z e i c h n e t that a pen (2) is provided in the pen housing (3), which is placed on the base (4) and guided on the base (4).
4. Biometrisches Schreibsystem nach Anspruch 3, d a d u r c h g e k e n n z e i c h n e t , dass als Schreibstift (2) eine auswechselbare Ξchreibstiftmine mit Tintenfüllung vorgesehen ist.4. Biometric writing system according to claim 3, so that a replaceable writing pen refill with ink filling is provided as the writing pen (2).
5. Biometrisches, akustisches Schreibsystem nach einem der Ansprüche 1 bis 4, d a d u r c h g e k e n n z e i c h n e t , dass durch die Reibung des Schreibstiftes (2) auf der Unterlage (4) während der handgeführten Schreibbewegung ein akustisches Schreibgeräusch hervorgerufen wird, das als Körperschallsignal über den Schreibstift (2) und als Luftschallsignal über die Umgebungsluft an das Mikrofon (5) übertragen wird.5. Biometric, acoustic writing system according to one of claims 1 to 4, characterized in that the friction of the pen (2) on the base (4) causes an acoustic writing noise during the hand-guided writing movement, which is transmitted as a structure-borne sound signal via the stylus (2) and as an airborne sound signal via the ambient air to the microphone (5) ,
6. Biometrisches, akustisches Schreibsystem nach Anspruch 5, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) zur Übertragung des Körperschallsignals mechanisch mit dem Schreibstift gekoppelt ist.6. The biometric, acoustic writing system as claimed in claim 5, so that the microphone (5) is mechanically coupled to the stylus for transmitting the structure-borne sound signal.
7. Biometrisches, akustisches Schreibsystem nach Anspruch 5, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) zur Übertragung des Körperschallsignals mechanisch mit einem mit dem Schreibstift (2) verbundenen Klangkörper (6) gekoppelt ist.7. The biometric, acoustic writing system as claimed in claim 5, so that the microphone (5) for the transmission of the structure-borne sound signal is mechanically coupled to a sound body (6) connected to the stylus (2).
8. Biometrisches, akustisches Schreibsystem nach Anspruch 7, d a d u r c h g e k e n n z e i c h n e t , dass der Klangkörper (6) als ein Resonator für bestimmte Eigenfrequenzen ausgelegt ist.8. A biometric, acoustic writing system according to claim 7, that the sound body (6) is designed as a resonator for certain natural frequencies.
9. Biometrisches, akustisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) in einer in dem Schreibstiftgehause (3) vorgesehenen Luftschallkammer (7) angeordnet ist.9. Biometric, acoustic writing system according to one of the preceding claims, so that the microphone (5) is arranged in an airborne sound chamber (7) provided in the pen housing (3).
10. Biometrisches, akustisches Schreibsystem nach Anspruch 9, d a d u r c h g e k e n n z e i c h n e t , dass die Luftschallkammer (7) als ein Resonator für bestimmte Eigenfrequenzen ausgelegt ist. 10. Biometric, acoustic writing system according to claim 9, characterized in that the airborne sound chamber (7) is designed as a resonator for certain natural frequencies.
11. Biometrisches, akustisches Schreibsystem nach Anspruch 10, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) und der Resonator von einer Schalldämmung (8) umgeben ist, die zur Dämpfung von Umgebungsgeräuschen vorgesehen ist und Schallsignale nur über die Schreibmine durchlässt .11. Biometric, acoustic writing system according to claim 10, so that the microphone (5) and the resonator are surrounded by sound insulation (8), which is provided for damping ambient noise and transmits sound signals only through the writing lead.
12. Biometrisches, akustisches Schreibsystem nach Anspruch 9, d a d u r c h g e k e n n z e i c h n e t , dass die Luftschallkammer (7) über eine in dem Schreibstiftgehause (3) vorhandene Gehäuseöffnung mit der Umgebungsluft koppelbar ist.12. A biometric, acoustic writing system according to claim 9, so that the airborne sound chamber (7) can be coupled to the ambient air via a housing opening in the pen housing (3).
13. Biometrisches, akustisches Schreibsystem nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t , dass die Gehäuseöffnung mittels einer mechanischen Verschlusseinrichtung (9) zur Unterdrückung von Außengeräuschen schließbar ist.13. Biometric, acoustic writing system according to claim 12, so that the housing opening can be closed by means of a mechanical locking device (9) for suppressing external noise.
14. Biometrisches, akustisches Schreibsystem nach Anspruch 12, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) bei geöffneter Gehäuseöffnung das durch die handgeführte Schreibbewegung hervorgerufene interne und externe Schreibgeräusch als Körper- und Luftschallsignal und/oder ein von einer Person stammendes Sprechsignal akustisch erfasst.14. Biometric, acoustic writing system according to claim 12, so that the microphone (5) acoustically detects the internal and external writing noise caused by the hand-held writing movement as body and airborne sound signal and / or a speech signal originating from a person when the housing opening is open.
15. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass das Mikrofon (5) die erfassten akustischen Schallsignale in ein elektrisches Schallsignal umwandelt.15. The biometric, acoustic writing system as claimed in claim 1, so that the microphone (5) converts the recorded acoustic sound signals into an electrical sound signal.
16. Biometrisches, akustisches Schreibsystem nach Anspruch 15, d a d u r c h g e k e n n z e i c h n e t , dass das elektrische Schallsignal durch einen Analog/Digital- Wandler in Schallsignaldaten zur digitalen Datenverarbeitung durch die Datenverarbeitungseinheit (11) umgewandelt werden.16. Biometric, acoustic writing system according to claim 15, characterized in that the electrical sound signal is converted by an analog / digital converter into sound signal data for digital data processing by the data processing unit (11).
17. Biometrisches, akustisches Schreibsystem nach Anspruch 14, d a d u r c h g e k e n n z e i c h n e t , dass das Schreibgeräusch und das Sprechsignal gleichzeitig o- der zeitlich hintereinander durch das Mikrofon (5) erfasst werden.17. Biometric, acoustic writing system according to claim 14, so that the writing noise and the speech signal are recorded simultaneously or in time by the microphone (5).
18. Biometrisches, akustisches Schreibsystem nach Anspruch 14, d a d u r c h g e k e n n z e i c h n e t , dass die Schallsignaldaten in einer Speichereinheit (12) abspeicherbar sind.18. The biometric, acoustic writing system as claimed in claim 14, so that the sound signal data can be stored in a storage unit (12).
19. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass die Schreibunterlage (4) aus beliebigem Papier besteht.19. Biometric, acoustic writing system according to claim 1, so that the writing pad (4) consists of any paper.
20. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass die Schreibunterlage (4) eine feste Unterlage ist, die eine bestimmte aufgeprägte Oberflächenrauhigkeit und Härte aufweist .20. Biometric, acoustic writing system according to claim 1, so that the writing pad (4) is a solid pad that has a certain embossed surface roughness and hardness.
21. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass in dem Schreibstiftgehause (3) ein Lautsprecher (32) zur Wiedergabe erfasster Mikrofonsignale, zur Wiedergabe gespeicherter biometrischer Referenzdaten und zur Wiedergabe gesprochener Informationen vorgesehen ist.21. A biometric, acoustic writing system according to claim 1, that a loudspeaker (32) is provided in the pen housing (3) for reproducing recorded microphone signals, for reproducing stored biometric reference data and for reproducing spoken information.
22. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass in dem Schreibstiftgehause (3) ein Mikrofon (5) zur Erfassung äußerer akustischer Signale wie Schreibgerausche der Schreibunterlage als Klangkörper und gesprochener Informationen vorgesehen ist.22. A biometric, acoustic writing system according to claim 1, characterized in that a microphone (5) is provided in the pen housing (3) for detecting external acoustic signals such as writing noises of the writing pad as a sound body and spoken information.
23. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass zusatzlich eine Druck-Sensoreinrichtung vorgesehen ist, die in mindestens einer Raumrichtung den statischen und dynamischen Schreibdruck des auf der Unterlage aufgesetzten und handgefuhrten Schreibstiftes erfasst.23. A biometric, acoustic writing system according to claim 1, that a pressure sensor device is additionally provided that detects the static and dynamic writing pressure of the hand-held writing pen placed on the base in at least one spatial direction.
24. Biometrisches, akustisches Schreibsystem nach Anspruch 23, d a d u r c h g e k e n n z e i c h n e t , dass eine zusatzliche Schwingungs-Sensoreinrichtung vorgesehen ist, die Schwingungen und damit Änderungen der Schreibgeschwindigkeit des auf der Unterlage (4) aufgesetzten und handgeführten Schreibstiftes erfasst.24. A biometric, acoustic writing system according to claim 23, which also provides that an additional vibration sensor device is provided which detects vibrations and thus changes in the writing speed of the hand-held writing pen placed on the base (4).
25. Biometrisches, akustisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass zusatzlich ein Neigungssensor (40) vorgesehen ist, der beim Schreiben die Neigung des Schreibstiftes (2) und damit die motorische Bewegung der stiftfuhrenden Finger erfasst.25. Biometric, acoustic writing system according to claim 27, so that a tilt sensor (40) is additionally provided, which detects the inclination of the pen (2) and thus the motor movement of the pen-guiding fingers when writing.
26. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass zusatzlich eine erste optische Sensoreinrichtung (48) vorgesehen ist, die gleichzeitig in drei Raumrichtungen den statischen und dynamischen Druck und die Schwingung des auf der Unterlage (4) aufgesetzten und handgefuhrten Schreibstiftes (2) erfasst.26. Biometric, acoustic writing system according to claim 1, characterized in that additionally a first optical sensor device (48) is provided which simultaneously in three spatial directions the static and dynamic pressure and the vibration of the on the base (4) and hand-held pen (2nd ) detected.
27. Biometrisches, akustisches Schreibsystem nach Anspruch 26, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich eine zweite optische Sensoreinrichtung (33) vorgesehen ist, die Positionsdaten der handgeführten Schreib- stiftbewegung über Bildsignale von der Oberfläche der Unterlage (4) erfasst.27. Biometric, acoustic writing system according to claim 26, characterized in that a second optical sensor device (33) is additionally provided, which detects position data of the hand-guided pen movement via image signals from the surface of the base (4).
28. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass an dem Schreibstiftgehause (3) ein kapazitiver Fin- gerprint-Sensor (39) vorgesehen ist.28. A biometric, acoustic writing system as claimed in claim 1, that a capacitive fingerprint sensor (39) is provided on the pen housing (3).
29. Biometrisches, akustisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass Mikrofon (5) ein Elektret-Mikrofon, ein piezoelektrisches Mikrofon, ein piezoresistives Mikrofon oder ein kapazitives Mikrofon ist.29. A biometric, acoustic writing system as claimed in claim 1, that the microphone (5) is an electret microphone, a piezoelectric microphone, a piezoresistive microphone or a capacitive microphone.
30. Biometrisches akustisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass die erste optische Sensoreinrichtung (48) Photodetektoren zur Erfassung der Bewegung einer ersten Diodenlichtquelle (44) und zur Umwandlung des Lichtquellensignals in ein elektrisches Signal aufweist.30. The biometric acoustic writing system as claimed in claim 27, so that the first optical sensor device (48) has photodetectors for detecting the movement of a first diode light source (44) and for converting the light source signal into an electrical signal.
31. Biometrisches akustisches Schreibsystem nach Anspruch 30, d a d u r c h g e k e n n z e i c h n e t , dass die erste optische Sensoreinrichtung (40) eine erste Abbildungsoptik aufweist, die aus einem Strahlenteiler (47), einer optischen teilverspiegelten Linse (46) und einer Blende besteht .31. The biometric acoustic writing system as claimed in claim 30, so that the first optical sensor device (40) has a first imaging optic which consists of a beam splitter (47), an optical partially mirrored lens (46) and an aperture.
32. Biometrisches Schreibsystem nach Anspruch 30, d a d u r c h g e k e n n z e i c h n e t , dass die erste optische Sensoreinrichtung (40) einen Vierquadrantenphotodetektor (50) und einen einfachen Photodetektor (45) aufweist.32. Biometric writing system according to claim 30, characterized in that the first optical sensor device (40) has a four-quadrant photodetector (50) and a simple photodetector (45).
33. Biometrisches Schreibsystem nach Anspruch 32, d a d u r c h g e k e n n z e i c h n e t , dass der Vierquadrantenphotodetektor (50) die Auslenkung und Schwingung der Lichtquelle (44) in zueinander orthogonalen x, y-Richtungen erfasst.33. Biometric writing system according to claim 32, so that the four-quadrant photodetector (50) detects the deflection and oscillation of the light source (44) in mutually orthogonal x, y directions.
34. Biometrisches Schreibsystem nach Anspruch 32, d a d u r c h g e k e n n z e i c h n e t , dass der einfache Photodetektor (45) die Auslenkung und Schwingung der Lichtquelle (44) in der zu x,y senkrechten Richtung z erfasst.34. Biometric writing system according to claim 32, so that the simple photodetector (45) detects the deflection and vibration of the light source (44) in the direction z perpendicular to x, y.
35. Biometrisches Schreibsystem nach Anspruch 30, d a d u r c h g e k e n n z e i c h n e t , dass die erste Diodenlichtquelle (44) fest verbunden mit dem Schreibstift (2) ist und dessen Auslenkung und Schwingung durchführt, wobei die von der Diodenlichtquelle (44) abgegebenen Lichtstrahlen als Lichtquellensignale an die Photodetektoren abgegeben werden.35. Biometric writing system according to claim 30, characterized in that the first diode light source (44) is fixedly connected to the pen (2) and carries out its deflection and oscillation, the light rays emitted by the diode light source (44) being emitted as light source signals to the photodetectors ,
36. Biometrisches Schreibsystem nach Anspruch 32, d a d u r c h g e k e n n z e i c h n e t , dass aus den Signalen des Vierquadrantenphotodetektor (50) und des einfachen Photodetektors (45) in drei Raumrichtungen über die Auslenkung die Dynamik des Schreibdruckes und über die Schwingung die Dynamik der Schreibgeschwindigkeit bestimmbar ist .36. Biometric writing system according to claim 32, so that the signals from the four-quadrant photodetector (50) and the simple photodetector (45) can be determined in three spatial directions via the deflection, the dynamics of the writing pressure and, via the vibration, the dynamics of the writing speed.
37. Biometrisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass die zweite optische Sensoreinrichtung (33) eine zweite Abbildungsoptik zur Abbildung der Unterlagenoberfläche und eine Wandlereinrichtung zur Umwandlung des optischen Abbildungssignals in ein elektrisches Signal aufweist.37. Biometric writing system according to claim 27, characterized in that that the second optical sensor device (33) has a second imaging optics for imaging the document surface and a converter device for converting the optical imaging signal into an electrical signal.
38. Biometrisches Schreibsystem nach Anspruch 37, d a d u r c h g e k e n n z e i c h n e t , dass die zweite Abbildungsoptik aus optischen Linsen und/oder Glasfasern besteht.38. Biometric writing system according to claim 37, so that the second imaging optics consists of optical lenses and / or glass fibers.
39. Biometrisches Schreibsystem nach Anspruch 37, d a d u r c h g e k e n n z e i c h n e t , dass die Wandlereinrichtung ein Mini-CCD-Kamera oder ein Pho- todioden-Array ist.39. A biometric writing system as claimed in claim 37, so that the converter device is a mini-CCD camera or a photodiode array.
40. Biometrisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass eine zweite Diodenlichtquelle zur Beleuchtung der Unterlagenoberfläche vorgesehen ist.40. The biometric writing system as claimed in claim 27, so that a second diode light source is provided for illuminating the document surface.
41. Biometrisches Schreibsystem nach Anspruch 40, d a d u r c h g e k e n n z e i c h n e t , dass eine Laserdiode zur Beleuchtung der Unterlagenoberfläche und eines im Stift integrierten optischen Gitters vorgesehen ist .41. Biometric writing system according to claim 40, so that a laser diode is provided for illuminating the surface of the document and an optical grating integrated in the pen is provided.
42. Biometrisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass die zweite optische Sensoreinrichtung (33) die mit dem Schreibstift durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Unterlagenoberfläche erfasst.42. Biometric writing system according to claim 27, so that the second optical sensor device (33) detects the movements carried out with the stylus by comparing the temporally offset recorded image sequences of the document surface.
43. Biometrisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass die zweite optische Sensoreinrichtung (44) die mit dem Schreibstift (2) durchgeführten Bewegungen durch Vergleich der zeitlich versetzten aufgenommenen Bildfolgen der Interferenzen des an dem Gitter und der Unterlagenoberflache reflektierten Laserlichtes erfasst.43. Biometric writing system according to claim 27, characterized in that the second optical sensor device (44) detects the movements carried out with the stylus (2) by comparing the temporally offset recorded image sequences of the interferences of the laser light reflected on the grating and the surface of the document.
44. Biometrisches Schreibsystem nach Anspruch 27, d a d u r c h g e k e n n z e i c h n e t , dass die Schreibstiftmine (2) in einem ausgefahrenen Zustand auf die Unterlage bei Durchfuhrung der handgeführten Bewegungen eine Schreibtlussigkeit abgibt, die über das Tintenschriftbild auf der Unterlage die optische Strukturierung der Unterlagenoberflache erhöht, so dass die optische Erfassung der handgefuhrten Bewegungen mittels der zweiten optischen Sensoreinrichtung (33) erleichtert und eine natürliche Schreibweise hervorgerufen wird.44. Biometric writing system according to claim 27, characterized in that the stylus lead (2) in an extended state on the base when performing the hand-guided movements gives a nonsense, which increases the optical structuring of the surface of the document via the ink lettering on the surface, so that the optical Detection of the hand-guided movements by means of the second optical sensor device (33) is facilitated and a natural spelling is produced.
45. Biometrisches Schreibsystem nach Anspruch 23, d a d u r c h g e k e n n z e i c h n e t , dass die Drucksensoreinrichtung (34) elektromechanische Drucksensoren aufweist , die piezoelektrische, piezoresistive Sensoren, kraftsensitive Widerstände und magnetische Sensoren umfassen.45. The biometric writing system as claimed in claim 23, so that the pressure sensor device (34) has electromechanical pressure sensors which comprise piezoelectric, piezoresistive sensors, force-sensitive resistors and magnetic sensors.
46. Biometrisches Schreibsystem nach Anspruch 23, d a d u r c h g e k e n n z e i c h n e t , dass ein Neigungssensor (40) vorgesehen ist, der aus einer miniaturisierten Wasserwaage mit elektrischem Abgriff der Winkeländerung besteht.46. Biometric writing system according to claim 23, so that an inclination sensor (40) is provided, which consists of a miniaturized spirit level with electrical tapping of the change in angle.
47. Biometrisches Schreibsystem nach Anspruch 3 und Anspruch 4, d a d u r c h g e k e n n z e i c h n e t , dass der Schreibstift (2) zylinderformig ist, und in dem47. The biometric writing system as claimed in claim 3 and claim 4, that the writing pen (2) is cylindrical, and in that
Schreibstiftgehause (3) gelagert ist. Pen housing (3) is stored.
48. Biometrisches Schreibsystem nach Anspruch 47, d a d u r c h g e k e n n z e i c h n e t , am oberen Ende des Schreibstiftes (2) ein Drucksensor zur Erfassung der in Längsrichtung des Schreibstiftes (2) auftretenden Kräfte und Schwingungen vorgesehen ist, wobei an einer Um- fangsfläche des Schreibstiftes (2) mindestens zwei weitere Drucksensoren vorgesehen sind zur Erfassung derjenigen Kräfte, die in den zu der Längsrichtung orthogonal verlaufenden Raumrichtungen auftreten, wobei am oberen Ende des Schreibstiftes (2) eine Leuchtdiode (44) zur Erfassung der in Längs- und Querrichtungen des Schreibstiftes (2) auftretenden Kräfte und Schwingungen vorgesehen ist.48. Biometric writing system according to claim 47, characterized in that a pressure sensor for detecting the forces and vibrations occurring in the longitudinal direction of the pen (2) is provided at the upper end of the pen (2), at least two on a peripheral surface of the pen (2) Further pressure sensors are provided for detecting those forces which occur in the spatial directions orthogonal to the longitudinal direction, with a light-emitting diode (44) at the upper end of the pen (2) for detecting the forces and occurring in the longitudinal and transverse directions of the pen (2) Vibrations is provided.
49. Biometrisches Schreibsystem nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass die Datenverarbeitungseinheit (11) in dem Schreibstiftgehause (3) oder in einer externen Empf ngseinheit integriert ist .49. Biometric writing system according to claim 1, so that the data processing unit (11) is integrated in the pen housing (3) or in an external receiving unit.
50. Biometrisches Schreibsystem nach Anspruch 49, d a d u r c h g e k e n n z e i c h n e t , dass die externe Empfangseinheit ein Computer, ein Handy, ein Kreditkartenleser, ein Faxgerät oder ein Drucker ist.50. Biometric writing system according to claim 49, so that the external receiving unit is a computer, a cell phone, a credit card reader, a fax machine or a printer.
51. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die erfassten Sensorsignaldaten über eine Datenübertragungsstrecke (18) von dem Schreibstiftgehause (3) an eine in einem lokalen Rechner (20) integrierte Datenverarbeitungseinheit (19) übertragen werden.51. Biometric writing system according to one of the preceding claims, that the sensor signal data are transmitted via a data transmission path (18) from the pen housing (3) to a data processing unit (19) integrated in a local computer (20).
52. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass in dem Schreibstiftgehause (3) eine Verschlüsselungseinheit (17) zur Verschlüsselung von Referenzdaten der Sensorsignaldaten vorgesehen ist.52. Biometric writing system according to one of the preceding claims, characterized in that an encryption unit (17) for encrypting reference data of the sensor signal data is provided in the pen housing (3).
53. Biometrisches Schreibsystem nach Anspruch 51, d a d u r c h g e k e n n z e i c h n e t , dass die Datenübertragungsstrecke (18) drahtgebunden oder drahtlos ist.53. A biometric writing system as claimed in claim 51, which also means that the data transmission link (18) is wired or wireless.
54. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass ein Datenspeicher zum Abspeichern von biometrischen Referenzdaten, von Positionsdaten der Schreibbewegung und von gesprochener Informationen vorgesehen sind.54. Biometric writing system according to one of the preceding claims, d a d u r c h g e k e n n z e i c h n e t that a data memory for storing biometric reference data, position data of the writing movement and spoken information are provided.
55. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die biometrischen Referenzdaten durch die Datenverarbeitungseinheit (11) aus den beim Schreiben und Sprechen mindestens eines Wortes erfassten Schallsignaldaten, aus optischen Bewegungsdaten, mechanischen Schwingungs- und Druckdaten und Neigungsdaten berechnet und in einem Referenzdatenspeicher abgelegt werden.55. Biometric writing system according to one of the preceding claims, characterized in that the biometric reference data are calculated by the data processing unit (11) from the sound signal data recorded during writing and speaking of at least one word, from optical movement data, mechanical vibration and pressure data and inclination data and in a reference data memory be filed.
56. Biometrisches Schreibsystem nach Anspruch 55, d a d u r c h g e k e n n z e i c h n e t , dass die biometrischen Referenzdaten des Fingerprintsensors (39) durch die Datenverarbeitungseinheit (11) berechnet und in dem Referenzdatenspeicher abgelegt werden.56. Biometric writing system according to claim 55, so that the biometric reference data of the fingerprint sensor (39) are calculated by the data processing unit (11) and stored in the reference data memory.
57. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass der Referenzdatenspeicher ein Mikrochip eines Personalausweises, einer Kreditkarte, einer Berechtigungsmagnetkarte oder eine Speichereinheit eines Computers oder des Schreibsystems (1) ist.57. Biometric writing system according to one of the preceding claims, characterized in that the reference data memory is a microchip of an identity card, a credit card, an authorization magnetic card or a storage unit of a computer or the writing system (1).
58. Biometrisches Schreibsystem nach Anspruch 55, d a d u r c h g e k e n n z e i c h n e t , dass die geschriebenen und gesprochenen Wörter und Zeichen Pincodes, Passwörter, Namen oder Texte sind.58. A biometric writing system according to claim 55, which also means that the written and spoken words and characters are pin codes, passwords, names or texts.
59. Biometrisches Schreibsystem nach Anspruch 54, d a d u r c h g e k e n n z e i c h n e t , dass die Positionsdaten der Schreibbewegung aus den beim Schreiben eines Wortes erfassten Schallsignaldaten, optischen Bewegungsdaten und mechanischen Druckdaten berechnet und in dem Datenspeicher zur Handschriftenerkennung abgelegt werden.59. Biometric writing system according to claim 54, so that the position data of the writing movement are calculated from the sound signal data, optical movement data and mechanical pressure data recorded when writing a word and are stored in the data memory for handwriting recognition.
60. Biometrisches Schreibsystem nach Anspruch 55, d a d u r c h g e k e n n z e i c h n e t , dass der Referenzdatenspeicher in dem Schreibstiftgehause (3) integriert ist.60. The biometric writing system as claimed in claim 55, so that the reference data memory is integrated in the pen housing (3).
61. Biometrisches Schreibsystem nach Anspruch 51, d a d u r c h g e k e n n z e i c h n e t , dass die in einem lokalen Rechner (20) integrierte Datenverarbeitungseinheit an einen Referenzdatenspeicher angeschlossen ist .61. Biometric writing system according to claim 51, so that the data processing unit integrated in a local computer (20) is connected to a reference data memory.
62. Biometrisches Schreibsystem nach Anspruch 61, d a d u r c h g e k e n n z e i c h n e t , dass der lokale Rechner (20) eine Leseeinheit (26) zum Lesen eines tragbaren Speichermediums für biometrische Referenzdaten aufweist . 62. Biometric writing system according to claim 61, characterized in that the local computer (20) has a reading unit (26) for reading a portable storage medium for biometric reference data.
63. Biometrisches Schreibsystem nach Anspruch 61, d a d u r c h g e k e n n z e i c h n e t , dass der lokale Rechner (20) über ein Datennetzwerk (30) an eine Datenbank mit einem Referenzdatenspeicher angeschlossen ist.63. Biometric writing system according to claim 61, so that the local computer (20) is connected via a data network (30) to a database with a reference data memory.
64. Biometrisches Schreibsystem nach Anspruch 63, d a d u'r c h g e k e n n z e i c h n e t , dass das Datennetzwerk (30) das Internet ist.64. Biometric writing system according to claim 63, d a d u'r c h g e k e n n z e i c h n e t that the data network (30) is the Internet.
65. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass die Datenverarbeitungseinheit (11, 19) die berechneten aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten zu deren Verifizierung und Identifikation vergleicht .65. Biometric writing system according to one of the preceding claims, so that the data processing unit (11, 19) compares the calculated current biometric data with the stored biometric reference data for their verification and identification.
66. Biometrisches Schreibsystem nach Anspruch 65, d a d u r c h g e k e n n z e i c h n e t , dass die Datenverarbeitungseinheit (11; 19) bei weitgehender Übereinstimmung der aktuellen biometrischen Daten mit den gespeicherten Referenzdaten ein Identifikations- bzw. Verifikationsanzeigesignal erzeugt.66. The biometric writing system as claimed in claim 65, so that the data processing unit (11; 19) generates an identification or verification display signal when the current biometric data largely match the stored reference data.
67. Biometrisches Schreibsystem nach Anspruch 66, d a d u r c h g e k e n n z e i c h n e t , das die Datenverarbeitungseinheit bei (11; 19) vollständiger Übereinstimmung der aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten die aktuellen biometrischen Daten als Raubkopie der gespeicherten Referenzdaten erkennt und ein Warnsignal erzeugt.67. The biometric writing system according to claim 66, that the data processing unit recognizes the current biometric data as a pirated copy of the stored reference data and generates a warning signal if the current biometric data completely matches the stored biometric reference data.
68. Biometrisches Schreibsystem nach Anspruch 66, d a d u r c h g e k e n n z e i c h n e t , dass die Datenverarbeitungseinheit (11; 19) bei Abweichen der aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten ein Abweichungsanzeigesignal erzeugt.68. Biometric writing system according to claim 66, characterized in that that the data processing unit (11; 19) generates a deviation display signal when the current biometric data deviate from the stored biometric reference data.
69. Biometrisches Schreibsystem nach einem Anspruch 66, d a d u r c h g e k e n n z e i c h n e t , dass mindestens ein Aktor (28) vorgesehen ist, der nach Erzeugen des Identifikations- bzw. Verifikationsanzeigesignals betätigt wird.69. The biometric writing system as claimed in claim 66, so that at least one actuator (28) is provided which is actuated after the identification or verification display signal has been generated.
70. Biometrisches Schreibsystem nach einem der vorangehenden Ansprüche, d a d u r c h g e k e n n z e i c h n e t , dass mit den gespeicherten biometrischen Referenzdaten einer über die handschriftliche Eingabe identifizierten oder verifizierten Person aktuell geschriebene, einfache Zeichen rekonstruiert werden.70. Biometric writing system according to one of the preceding claims, d a d u r c h g e k e n n z e i c h n e t that with the stored biometric reference data of a person identified or verified by handwritten input, currently written simple characters are reconstructed.
71. Verfahren zur Generierung von personenspezifischen biometrischen Referenzdaten mit den folgenden Schritten:71. Method for generating person-specific biometric reference data with the following steps:
(a) Akustisches Erfassen von handgeführten Schreibbewegungen, die mit einem Schreibstift (2) auf einer Unterlage (4) beim Schreiben eines Zeichens, eines Wortes oder einer Wortfolge durch eine Person durchgeführt werden, und Erzeugen entsprechender Schallsignaldaten;(a) Acoustic detection of hand-held writing movements which are carried out with a stylus (2) on a base (4) when a person is writing a character, a word or a sequence of words and generating corresponding sound signal data;
(b) Speichern der erzeugten Schallsignaldaten als digitales Schal1-Zeitsignal ;(b) storing the generated sound signal data as a digital Schal1 time signal;
(c) Berechnen von zugehörigen Frequenzspektren als Spektrogramm aus den zeitsegmentierten Schallsignaldaten mittels schneller Fouriertransformation;(c) calculation of associated frequency spectra as a spectrogram from the time-segmented sound signal data by means of fast Fourier transformation;
(d) Bestimmung von Amplituden-Zeitsignalen ausgewählter Frequenzen zur Erfassung der Amplitudendynamik in dem berechneten Spektrogramm; (e) Berechnen eines zugehörigen Frequenzspektrums aus den ausgewählten Amplituden-Zeitsignalen mittels schneller Fouriertransformation;(d) determining amplitude-time signals of selected frequencies for recording the amplitude dynamics in the calculated spectrogram; (e) calculating an associated frequency spectrum from the selected amplitude-time signals by means of fast Fourier transformation;
(f) Bestimmen von ersten biometrischen Daten aus der Schall- und Schwingungsintensität der digitalen Zeitsignale mittels Merkmalsextraktion;(f) determining first biometric data from the sound and vibration intensity of the digital time signals by means of feature extraction;
(g) Bestimmen von zweiten biometrischen Daten aus dem berechneten Spektrogramm der zeitsegmentierten Schall- und Schwingungszeitsignale mittels Merkmalsextraktion.(g) determining second biometric data from the calculated spectrogram of the time-segmented sound and oscillation time signals by means of feature extraction.
(h) Bestimmen von dritten aktuellen biometrischen Daten mittels Merkmalsextraktion aus dem berechneten Frequenzspektrum der Amplituden-Zeitsignale;(h) determining third current biometric data by means of feature extraction from the calculated frequency spectrum of the amplitude-time signals;
(i) Bestimmen von vierten aktuellen biometrischen Daten mittels Merkmalsextraktion aus erfassten dynamischen Schreibdruck-, Schwingungs- und Neigungsdaten;(i) determining fourth current biometric data by means of feature extraction from acquired dynamic writing pressure, vibration and inclination data;
72. Verfahren nach Anspruch 71, d a d u r c h g e k e n n z e i c h n e t , dass die Verfahrensschritte mehrmals durchgeführt werden und die jeweils bestimmten Referenzdaten statistisch ausgewertet werden, wobei die ausgewerteten Daten als personenspezifische Referenzdaten abgespeichert werden.72. The method according to claim 71, so that the method steps are carried out several times and the respectively determined reference data are statistically evaluated, the evaluated data being stored as person-specific reference data.
73. Verfahren nach Anspruch 72. d a d u r c h g e k e n n z e i c h n e t , dass die statistisch ausgewerteten personenspezifischen Referenzdaten in einem Mikrochip eines Personalausweises, in einem Mikrochip einer Kreditkarte, in eine Berechtigungsmagnetkarte oder die eine Speichereinheit eines Computers bzw. eines Schreibsystems abgespeichert werden.73. The method according to claim 72. d a d u r c h g e k e n e z e i c h n e t that the statistically evaluated person-specific reference data are stored in a microchip of an identity card, in a microchip of a credit card, in an authorization magnetic card or a storage unit of a computer or a writing system.
74. Verfahren nach Anspruch 71, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich ein von der Person stammendes Sprechsignal ak- kustisch erfasst und entsprechende Schallsignaldaten erzeugt und abgelegt werden.74. The method according to claim 71, characterized in that in addition a speech signal originating from the person is acoustically recorded and corresponding sound signal data is generated and stored.
75. Verfahren nach Anspruch 74, d a d u r c h g e k e n n z e i c h n e t , dass bei der durchgeführten Schreibbewegung des Schreibstiftes die in mindestens einer Raumrichtung auftretenden Kräfte über optische oder mechanische Drucksensoren erfasst werden und entsprechend mindestens eindimensionale Schreib-Druckdaten erzeugt werden.75. The method as claimed in claim 74, so that when the writing movement of the pen is carried out, the forces occurring in at least one spatial direction are detected by optical or mechanical pressure sensors and correspondingly at least one-dimensional writing / printing data are generated.
76. Verfahren nach Anspruch 74, d a d u r c h g e k e n n z e i c h n e t , dass bei der durchgeführten Schreibbewegung des Schreibstiftes (2) die Schreibgeschwindigkeiten über ein Mikrofon (5) und mindestens einen optischen oder mechanischen Schwingungssensor erfasst und entsprechende dynamische Schreibdaten erzeugt werden .76. The method as claimed in claim 74, so that when the writing movement of the pen (2) is carried out, the writing speeds are recorded via a microphone (5) and at least one optical or mechanical vibration sensor and corresponding dynamic writing data are generated.
77. Verfahren nach Anspruch 74, d a d u r c h g e k e n n z e i c h n e t , dass bei der durchgeführten Schreibbewegung des Schreibstiftes die Fingerbewegungen über mindestens einen Neigungssensor (40) erfasst wird und entsprechende dynamische Schreibdaten erzeugt werden.77. The method as claimed in claim 74, so that during the writing movement of the pen, the finger movements are recorded via at least one inclination sensor (40) and corresponding dynamic writing data are generated.
78. Verfahren nach Anspruch 71, d a d u r c h g e k e n n z e i c h n e t , dass die beim Schreiben eines Zeichens, eines Wortes oder einer Wortfolge mit dem Schreibstift auf der Unterlage (4) handgeführten Schreibewegungen optisch erfasst werden und entsprechende Schreibbewegungsdaten erzeugt werden. 78. The method according to claim 71, characterized in that the hand movements when writing a character, a word or a word sequence with the pen on the base (4) are optically recorded and corresponding writing movement data are generated.
79. Verfahren nach Anspruch 74, d a d u r c h g e k e n n z e i c h n e t , dass bei der Nutzung des Schreibgerätes Fingerprintdaten durch ein in dem Schreibstiftgehause (3) integrierte Fingerprintsensor (39) erfasst und abgelegt werden.79. The method according to claim 74, which also means that when the writing device is used, fingerprint data are recorded and stored by a fingerprint sensor (39) integrated in the pen housing (3).
80. Verfahren nach Anspruch 71, d a d u r c h g e k e n n z e i c h n e t , dass biometrische Referenzdaten aus Sensorsignaldaten durch Merkmalsextraktion im Zeit- Orts- und Frequenzraum bestimmr. und in einem Referenzdatenspeicher als personenspezifische biometrische Referenzdaten abgespeichert werden.80. The method according to claim 71, which also determines that biometric reference data from sensor signal data are determined by feature extraction in the time, space and frequency domain. and stored in a reference data memory as person-specific biometric reference data.
81. Verfahren nach Anspruch 80, d a d u r c h g e k e n n z e i c h n e t , dass eine Datenreduktion der Sensorsignaldaten mittels Clusterbildung erfolgt.81. The method according to claim 80, which also means that data reduction of the sensor signal data takes place by means of cluster formation.
82. Verfahren nach Anspruch 81, d a d u r c h g e k e n n z e i c h n e t , dass aus den datenreduzierten Clusterdaten Merkmalsparameter extrahiert werden.82. The method as claimed in claim 81, which also means that feature parameters are extracted from the data-reduced cluster data.
83. Verfahren nach Anspruch 82, d a d u r c h g e k e n n z e i c h n e t , dass aus den Merkmalsparametern biometrische Referenzdaten zur Ablage selektiert werden.83. The method as claimed in claim 82, so that biometric reference data are selected for storage from the feature parameters.
84. Verfahren nach Anspruch 82, d a d u r c h g e k e n n z e i c h n e t , dass aus den aktuellen Merkmalsparametern aktuelle biometrische Daten zur Ablage gewonnen werden.84. The method as claimed in claim 82, so that current biometric data for storage are obtained from the current feature parameters.
85. Verfahren nach Anspruch 80, d a d u r c h g e k e n n z e i c h n e t , dass die biometrischen Referenzdaten innerhalb oder außerhalb des Schreibgerätes abgespeichert werden.85. The method according to claim 80, characterized in that that the biometric reference data is stored inside or outside the writing device.
86 . Verfahren nach Anspruch 80 , d a d u r c h g e k e n n z e i c h n e t , dass die aktuellen biometrischen Referenzdaten innerhalb oder außerhalb des Schreibgerätes abgespeichert werden.86. 81. The method according to claim 80, which also means that the current biometric reference data are stored inside or outside the writing instrument.
87. Verfahren zur Verifikation und Identifikation einer Person mit den folgenden Schritten:87. Procedure for verifying and identifying a person with the following steps:
(a) akustisches Erfassen von handgeführten Schreibbewegungen, die mit einem Schreibstift (2) auf einer Unterlage (4) beim Schreiben eines Zeichen, eines Wortes oder einer Wortfolge durch die Person durchgeführt werden und Erzeugen entsprechender Schallsignaldaten;(a) acoustic detection of hand-held writing movements that are carried out with a pen (2) on a base (4) when writing a character, a word or a word sequence by the person and generating corresponding sound signal data;
(b) Erzeugen von Schreibdruck-Signaldaten für Schreibdruck und von Schwingungssignaldaten für Schwingungen, die von dem Schreibstift auf mindestens einen Druck- und Schwingungssensor übertragen werden;(b) generating writing pressure signal data for writing printing and vibration signal data for vibrations, which are transmitted from the pen to at least one pressure and vibration sensor;
(c) Speichern der erzeugten Signaldaten als digitale Zeitsignale;(c) storing the generated signal data as digital time signals;
(d) Berechnen von Frequenzspektren als Spektrogramm aus den gespeicherten zeitsegmentierten Schall- und Schwingungszeitsignalen mittels schneller Fouriertransformation;(d) calculating frequency spectra as a spectrogram from the stored time-segmented sound and oscillation time signals by means of fast Fourier transformation;
(e) Bestimmen von Amplituden-Zeitsignalen ausgewählter Frequenzen zur Erfassung der Amplitudendynamik in dem Spektrogramm der Schall- und Schwingungszeitsignale;(e) determining amplitude-time signals of selected frequencies to detect the amplitude dynamics in the spectrogram of the sound and oscillation time signals;
(f) Berechnen eines zugehörigen Frequenzspektrums aus den ausgewählten Amplituden-Zeitsignalen mittels schneller Fouriertransformation;(f) calculating an associated frequency spectrum from the selected amplitude-time signals by means of fast Fourier transformation;
(g) Bestimmen von ersten aktuellen biometrischen Daten aus der Schall- und Schwingungsintensität der digitalen Zeitsignale mittels Merkmalsextraktion; (h) Bestimmen von zweiten aktuellen biometrischen Daten aus den und Schwingungs-Zeitsignale mittels Merkmalsextraktion;(g) determining first current biometric data from the sound and vibration intensity of the digital time signals by means of feature extraction; (h) determining second current biometric data from the and oscillation time signals by means of feature extraction;
(i) Bestimmen von dritten aktuellen biometrischen Daten mittels Merkmalsextraktion aus den Frequenzspektren der Amplituden-Zeitsignale;(i) determining third current biometric data by means of feature extraction from the frequency spectra of the amplitude-time signals;
(j) Bestimmen von vierten aktuellen biometrischen Daten mittels Merkmalsextraktion aus den dynamischen Schreibdruckdaten und;(j) determining fourth current biometric data by means of feature extraction from the dynamic writing pressure data and;
(k) Vergleichen der aktuellen biometrischen Daten mit gespeicherten biometrischen Referenzdaten der Person zur Verifikation, ob die aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten der Person weitgehend übereinstimmen;(k) comparing the current biometric data with stored biometric reference data of the person to verify whether the current biometric data largely agree with the stored biometric reference data of the person;
(1) Vergleichen der aktuellen biometrischen Daten mit gespeicherten biometrischen Referenzdaten einer Vielzahl von Personen zur Identifikation, ob die aktuellen biometrischen Daten mit den gespeicherten biometrischen Referenzdaten einer der gespeicherten Personen weitgehend übereinstimmen.(1) Comparison of the current biometric data with stored biometric reference data of a large number of persons in order to identify whether the current biometric data largely agree with the stored biometric reference data of one of the stored persons.
88. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich ein von der Person stammendes Sprachsignal ak- kustisch erfasst und entsprechende Schallsignaldaten erzeugt werden.88. The method according to claim 87, so that a voice signal originating from the person is also acoustically recorded and corresponding sound signal data are generated.
89. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die biometrischen Daten aus den Sprachsignaldaten in Kombination mit den Schreibsignaldaten zur Verifikation und Identifikation ausgeweitet werden.89. The method according to claim 87, so that the biometric data from the voice signal data in combination with the write signal data are expanded for verification and identification.
90. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich biometrische Daten von einem Fingerprintsensor in Kombination mit den Schreib- und Sprachsignaldaten zur Verifikation und Identifikation ausgeweitet werden.90. The method according to claim 87, characterized in that additional biometric data is expanded by a fingerprint sensor in combination with the write and voice signal data for verification and identification.
91. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich biometrischen Daten von einem den Neigungsdatensensor in Kombination mit den Schreib- und Sprachsignaldaten zur Verifikation und Identifikation ausgeweitet werden.91. The method according to claim 87, so that additional biometric data are expanded by the inclination data sensor in combination with the write and voice signal data for verification and identification.
92. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass zusätzlich biometrische Daten aus der Dynamik von optisch erfassten Positionsdaten in Kombination mit den Schreib- und Sprachsignaldaten zur Verifikation und Identifikation ausgeweitet werden.92. The method according to claim 87, so that additional biometric data from the dynamics of optically recorded position data in combination with the write and voice signal data are expanded for verification and identification.
93. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die Verifikation und Identifikation aus den akustischen Schreib- und Sprachsignaldaten mittels einer Software zur Sprecher- und Spracherkennung erfolgt.93. The method according to claim 87, so that the verification and identification is carried out from the acoustic write and speech signal data by means of software for speaker and speech recognition.
94. Verfahren zur Handschriftenerkennung und/oder Handskizzenerkennung nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die beim Schreiben oder Skizzieren eines Zeichens, eines94. A method for recognizing handwriting and / or recognizing sketches according to claim 87, d a d u r c h g e k e n n z e i c h n e t that when writing or sketching a character, a
Bildelementes, eines Wortes oder einer Wortfolge mit demImage element, a word or a sequence of words with the
Schreibstift auf der Unterlage handgeführten Schreibbewegungen akustisch erfasst und entsprechende Schallsignaldaten erzeugt werden.Writing pen on the base of hand-held writing movements is recorded acoustically and corresponding sound signal data are generated.
95. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die beim Schreiben oder Skizzieren eines Zeichens, eines Bildelementes, eines Wortes oder einer Wortfolge mit dem Schreibstift auf der Unterlage handgeführten Schreibbewegungen optisch erfasst und entsprechende Positionsdaten erzeugt werden .95. The method according to claim 87, characterized in that when writing or sketching a character, a picture element, a word or a sequence of words with the stylus on the pad hand-guided writing movements are optically recorded and corresponding position data are generated.
96. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass bei der durchgeführten Schreibbewegung des Schreibstiftes in mindestens einer Raumrichtung auftretenden Kräfte optisch oder mechanisch erfasst und entsprechende mindestens eindimensionale Schreib-Druckdaten erzeugt werden.96. The method as claimed in claim 87, so that forces occurring in at least one spatial direction during the writing movement of the pen are detected optically or mechanically and corresponding at least one-dimensional writing / printing data are generated.
97. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, dass zusätzlich ein von der Person stammendes Sprachsignal ak- kustisch erfasst und entsprechende Schallsignaldaten erzeugt werden.97. Method according to one of the preceding claims 87 to 96, that additionally a speech signal originating from the person is acoustically recorded and corresponding sound signal data are generated.
98. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, d a d u r c h g e k e n n z e i c h n e t , dass in einer Trainingsphase Referenzmerkmalsvektoren und in einer Arbeitsphase die aktuellen Merkmalsvektoren für entsprechende Zeichen, Skizzen oder Worte aus den akustischen Schreibsignaldaten, den optischen Positionsdaten, den Schreib- Druckdaten und Sprachdaten bestimmt und abgelegt werden;98. The method according to any one of the preceding claims 87 to 96, characterized in that reference feature vectors are determined in a training phase and the current feature vectors for corresponding characters, sketches or words are determined from the acoustic write signal data, the optical position data, the write / print data and voice data in a work phase and be filed;
99. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, d a d u r c h g e k e n n z e i c h n e t , dass aus Merkmalsvektoren der erfassten Signaldaten mittels statistischer, konnektionistischer und wissensbasierter Verfahren entsprechende Zeichen, Bildelemente, Skizzen, Wortsegmente, Wörter oder Wortfolgen ermittelt werden. 99. The method as claimed in one of the preceding claims 87 to 96, characterized in that corresponding characters, image elements, sketches, word segments, words or word sequences are determined from feature vectors of the recorded signal data by means of statistical, connectionistic and knowledge-based methods.
100. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, d a d u r c h g e k e n n z e i c h n e t , dass die akustische Handschriftenerkennung (ACR) , die optische Handschriftenerkennung (OCR) und die Spracherkennung in ein und demselben Schreibsystem integriert und die Verfahren zur Bild -und Texterkennung miteinander kombiniert werden.100. The method according to any one of the preceding claims 87 to 96, so that the acoustic handwriting recognition (ACR), the optical handwriting recognition (OCR) and the speech recognition are integrated in one and the same writing system and the methods for image and text recognition are combined with one another.
101. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, d a d u r c h g e k e n n z e i c h n e t , dass die Merkmale der akustischen und optischen Daten sowie Druckdaten zur Rekonstruktion eingegebener Zeichen, Bildelemente, Wörter und Texte korreliert und dann als Merkmalsvektoren abgelegt werden.101. The method according to any one of the preceding claims 87 to 96, d a d u r c h g e k e n n z e i c h n e t that the features of the acoustic and optical data and print data for the reconstruction of entered characters, image elements, words and texts are correlated and then stored as feature vectors.
102. Verfahren nach einem der vorangehenden Ansprüche 87 bis 96, d a d u r c h g e k e n n z e i c h n e t , dass aus den korrelierten Merkmalsvektoren der erfassten Signaldaten mittels statistischer, konnektionistischer und wissensbasierter Verfahren entsprechend Zeichen, Bildelemente, Skizzen, Wortsegmente, Wörter oder Wortfolgen ermittelt werden;102. The method according to any one of the preceding claims 87 to 96, d a d u r c h g e k e n n z e i c h n e t that from the correlated feature vectors of the acquired signal data by means of statistical, connectionistic and knowledge-based methods according to characters, image elements, sketches, word segments, words or word sequences;
103. Verfahren zur Handschriftenerkennung und/oder Handskizzenerkennung nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die Handschriften- und Handskizzenerkennung aus den akustischen und optischen Schreib- und Sprachsignaldaten mittels Software zur Spracherkennung und Bilderkennung erfolgt.103. Method for handwriting recognition and / or hand sketch recognition according to claim 87, so that handwriting and hand sketch recognition is carried out from the acoustic and optical writing and speech signal data by means of software for speech recognition and image recognition.
104. Verfahren zur Handschriftenerkennung und/oder Handskizzenerkennung nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass mit den gespeicherten biometrischen Referenzdaten einer identifizierten oder verifizierten Person aktuell geschriebene, einfache Zeichen oder gezeichnete einfache Bildelemente rekonstruiert werden.104. Method for recognizing handwriting and / or recognizing hand sketches according to claim 87, characterized in that that currently stored, simple characters or drawn simple image elements are reconstructed with the stored biometric reference data of an identified or verified person.
105. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass das ermittelte Zeichen der ausführenden Person zu dessen Kontrolle optisch und/oder akustisch rückgemeldet wird.105. The method as claimed in claim 87, so that the ascertained character of the person carrying out the check is optically and / or acoustically reported back to the person carrying it out.
106. Verfahren nach Anspruch 87, d a d u r c h g e k e n n z e i c h n e t , dass die generierten personenspezifischen Referenzdaten aus der Ermittlung psychologischer und/oder physiologischer Merkmale der Person ausgewertet werden.106. The method according to claim 87, so that the generated person-specific reference data from the determination of psychological and / or physiological characteristics of the person are evaluated.
107. Verwendung des biometrischen akustischen Schreibsystems nach einem der Ansprüche 1 bis 70 als Computereingabeeinrichtung.107. Use of the biometric acoustic writing system according to one of claims 1 to 70 as a computer input device.
108. Verwendung des biometrischen Schreibsystems nach einem der Ansprüche 13 bis 70 als Spracheingabeeinrichtung, insbesondere als Diktiergerät.108. Use of the biometric writing system according to one of claims 13 to 70 as a voice input device, in particular as a dictation device.
109. Verwendung des biometrischen Schreibsystems nach einem der Ansprüche 1 bis 70 zur Erkennung neuromotorischer Bewegungsstörungen einer Person.109. Use of the biometric writing system according to one of claims 1 to 70 for the detection of neuromotor movement disorders of a person.
110. Verwendung des biometrischen Schreibsystems nach einem der Ansprüche 1 bis 70 als Therapiesystem zur Behebung neuromotorischer Bewegungsstörungen einer Person.110. Use of the biometric writing system according to one of claims 1 to 70 as a therapy system for remedying neuromotive movement disorders of a person.
111. Verwendung des biometrischen Schreibsystems nach einem der Ansprüche 1 bis 70 als graphologisches System zur Ermittlung psychologischer/physiologischer Merkmale einer Person. 111. Use of the biometric writing system according to one of claims 1 to 70 as a graphological system for determining psychological / physiological characteristics of a person.
112. Verwendung des biometrischen Schreibsystems nach einem der vorangehenden Ansprüche 1 bis 70 als Schulungssystems zum Erlernen von Schreiben.112. Use of the biometric writing system according to one of the preceding claims 1 to 70 as a training system for learning to write.
113. Verwendung des biometrischen Schreibsystems nach einem der Ansprüche 1 bis 70 als Schulungssystem zum Erlernen einer Sprache .113. Use of the biometric writing system according to one of claims 1 to 70 as a training system for learning a language.
114. Verwendung des biometrischen Schreibsystems als multifunktionales Computereingabesystem eines virtuellen Schreibtisches . 114. Use of the biometric writing system as a multifunctional computer input system of a virtual desk.
EP03755552A 2002-09-04 2003-09-04 Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten Withdrawn EP1535237A1 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE10241328 2002-09-04
DE10241328A DE10241328B4 (en) 2002-09-04 2002-09-04 Biometric, acoustic writing system and method, and use thereof
DE10328345 2003-06-24
DE10328345 2003-06-24
PCT/EP2003/009814 WO2004023382A1 (en) 2002-09-04 2003-09-04 Biometric acoustic writing system and method for identifying individuals and recognizing handwriting by using biometric data

Publications (1)

Publication Number Publication Date
EP1535237A1 true EP1535237A1 (en) 2005-06-01

Family

ID=31979473

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03755552A Withdrawn EP1535237A1 (en) 2002-09-04 2003-09-04 Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten

Country Status (4)

Country Link
US (1) US7729520B2 (en)
EP (1) EP1535237A1 (en)
AU (1) AU2003273397A1 (en)
WO (1) WO2004023382A1 (en)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823636B2 (en) 2005-03-18 2014-09-02 The Invention Science Fund I, Llc Including environmental information in a manual expression
US8787706B2 (en) 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
US7791593B2 (en) 2005-03-18 2010-09-07 The Invention Science Fund I, Llc Machine-differentiatable identifiers having a commonly accepted meaning
US8102383B2 (en) 2005-03-18 2012-01-24 The Invention Science Fund I, Llc Performing an action with respect to a hand-formed expression
US8340476B2 (en) 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US7873243B2 (en) * 2005-03-18 2011-01-18 The Invention Science Fund I, Llc Decoding digital information included in a hand-formed expression
GB2428324B (en) * 2005-07-11 2011-03-23 Ryknield Executor Company Ltd Apparatus and methods relating to voting systems
TWI301590B (en) 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
US9467850B2 (en) * 2007-12-31 2016-10-11 Intel Corporation Handheld device association via shared vibration
US8149227B2 (en) * 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
TWI374391B (en) * 2008-05-27 2012-10-11 Ind Tech Res Inst Method for recognizing writing motion and trajectory and apparatus for writing and recognizing system
US20100142856A1 (en) * 2008-12-10 2010-06-10 Shin Takeuchi Image reading apparatus, and reading method
US8120994B2 (en) * 2009-04-28 2012-02-21 Luidia, Inc. Digital transcription system utilizing acoustical detectors having apertures with a vertical orientation relative to the work surface
US8064290B2 (en) * 2009-04-28 2011-11-22 Luidia, Inc. Digital transcription system utilizing small aperture acoustical sensors
DE102010008301A1 (en) * 2010-02-17 2011-08-18 Siemens Enterprise Communications GmbH & Co. KG, 81379 Method for recording and transmitting motion information
DE102011011240A1 (en) * 2011-02-15 2012-08-16 Deutsche Telekom Ag Method for identifying/authenticating person by using test apparatus used with e.g. payment system, involves detecting personal identification feature of person in minimum time interval relative to movement of person across test unit
US8752151B2 (en) 2012-10-09 2014-06-10 At&T Intellectual Property I, L.P. Methods, systems, and products for authentication of users
JP2014194751A (en) * 2013-02-27 2014-10-09 Panasonic Corp Information acquisition device, display control system and biometric authentication system
JP5433812B1 (en) * 2013-08-27 2014-03-05 株式会社 ディー・エヌ・エー Authentication device and authentication program
US9251411B2 (en) * 2013-09-24 2016-02-02 Hand Held Products, Inc. Augmented-reality signature capture
US20150116290A1 (en) * 2013-10-25 2015-04-30 Livescribe Inc. Combined activation mechanism of retractable marker and power status for an electronic pen
US9426373B2 (en) * 2013-12-04 2016-08-23 Cisco Technology, Inc. Whiteboard activity noise detection system for immersive telepresence systems
WO2017212996A1 (en) * 2016-06-06 2017-12-14 大日本印刷株式会社 Method for selecting writing sheet for stylus, touchscreen system, writing sheet for stylus, touchscreen, and display device
KR102587735B1 (en) * 2017-01-09 2023-10-12 삼성디스플레이 주식회사 Security device and display device including thereof
US10878231B2 (en) * 2018-05-10 2020-12-29 International Business Machines Corporation Writing recognition using wearable pressure sensing device
EP3567597A1 (en) 2018-05-11 2019-11-13 Anoto Korea Corp. Method and apparatus of diagnostic test
CN109192198B (en) * 2018-09-06 2020-08-07 北京邮电大学 Text input method based on sound wave perception
US11545047B1 (en) * 2021-06-24 2023-01-03 Knowledge Ai Inc. Using biometric data intelligence for education management

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4234868A (en) * 1978-10-06 1980-11-18 Pennwalt Corporation Personal verification device
US5850058A (en) * 1995-11-17 1998-12-15 Hitachi, Ltd. Information processor
US6307956B1 (en) * 1998-04-07 2001-10-23 Gerald R. Black Writing implement for identity verification system

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259438B1 (en) * 1998-06-04 2001-07-10 Wacom Co., Ltd. Coordinate input stylus
US3955178A (en) * 1974-10-09 1976-05-04 Warfel George H Signature authentication system
US4122435A (en) 1975-05-06 1978-10-24 Lgz Landis & Gyr Zug Ag Apparatus and method for producing an electrical signal responsive to handwriting characteristics
US4513437A (en) 1982-06-30 1985-04-23 International Business Machines Corporation Data input pen for Signature Verification
DE3228968C2 (en) 1982-08-03 1984-10-11 Friedrich Dr. phil. 8000 München Hagemeyer Process for the continuous recognition of handwritten characters and a device for carrying out the process
FR2643736A1 (en) * 1989-02-27 1990-08-31 Bertuzzi Nino Electronic security device for access control by comparison and acoustic recognition of signatures
US5294792A (en) 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
DE4200170C2 (en) 1992-01-07 1994-11-03 Rheinmetall Gmbh Method and acoustic sensor for determining the distance of a sound-producing target
US5333209A (en) 1992-03-24 1994-07-26 At&T Bell Laboratories Method of recognizing handwritten symbols
US5546565A (en) * 1993-06-21 1996-08-13 Casio Computer Co., Ltd. Input/output apparatus having a pen, and method of associating and processing handwritten image data and voice data
JP3310398B2 (en) * 1993-07-12 2002-08-05 株式会社日立製作所 Handwriting data input device and handwriting data recognition system using the same
JP3466689B2 (en) 1994-01-26 2003-11-17 キヤノン株式会社 Handwritten character recognition method and apparatus
GB9415627D0 (en) * 1994-08-01 1994-09-21 Marshall James Verification apparatus
DE19644109B4 (en) 1995-11-01 2005-02-10 Ricoh Co., Ltd. Input device for capturing handwritten messages from paper to computer - has pen device with multiple sensors and bar code reader that detect page type and transmit pen movements to computer
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
DE19856296B4 (en) 1998-12-07 2014-01-23 Ipcom Gmbh & Co. Kg Telecommunication terminal with character recognition
AU6980300A (en) 1999-12-08 2001-06-18 Winrich Hoseit Pen and a method for clearly identifying a user for a certain application
US6603464B1 (en) * 2000-03-03 2003-08-05 Michael Irl Rabin Apparatus and method for record keeping and information distribution
DE10019165A1 (en) 2000-04-12 2001-10-18 Arman Emami Portable digital pen for data input, recording and processing, especially for text input and processing, is able to work with text or data written down on all manner of surfaces, even the back of a hand or on someone's trousers
DE10028138A1 (en) 2000-06-07 2001-12-20 Siemens Ag Mobile communications device acts as pen with incorporated image sensor unit for detection and storage of writing movements
US7176906B2 (en) * 2001-05-04 2007-02-13 Microsoft Corporation Method of generating digital ink thickness information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4234868A (en) * 1978-10-06 1980-11-18 Pennwalt Corporation Personal verification device
US5850058A (en) * 1995-11-17 1998-12-15 Hitachi, Ltd. Information processor
US6307956B1 (en) * 1998-04-07 2001-10-23 Gerald R. Black Writing implement for identity verification system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2004023382A1 *

Also Published As

Publication number Publication date
WO2004023382A1 (en) 2004-03-18
US7729520B2 (en) 2010-06-01
AU2003273397A1 (en) 2004-03-29
US20060161992A1 (en) 2006-07-20

Similar Documents

Publication Publication Date Title
EP1535237A1 (en) Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten
Revett Behavioral biometrics: a remote access approach
AU2006213136B2 (en) System and methods of acquisition, analysis and authentication of the handwritten signature
Faundez-Zanuy On-line signature recognition based on VQ-DTW
EP0696019B1 (en) Apparatus for verifying a handwriting
Schrapel et al. Pentelligence: Combining pen tip motion and writing sounds for handwritten digit recognition
Harralson Developments in handwriting and signature identification in the digital age
Li et al. Vocal features: from voice identification to speech recognition by machine
Griswold-Steiner et al. Handwriting watcher: A mechanism for smartwatch-driven handwriting authentication
Eshwarappa et al. Multimodal biometric person authentication using speech, signature and handwriting features
Mohammed et al. Dynamic characteristics of signatures: effects of writer style on genuine and simulated signatures
Gupta et al. A survey of human-computer interaction (HCI) & natural habits-based behavioural biometric modalities for user recognition schemes
EP0664912A4 (en) Apparatus for reading handwriting.
Hook et al. New pen device for biometrical 3D pressure analysis of handwritten characters, words and signatures
DE10241328B4 (en) Biometric, acoustic writing system and method, and use thereof
Slyter Forensic signature examination
Pleva et al. Using current biometrics technologies for authentication in e-learning assessment
Phillips et al. Effects of Writing Speed Upon Modes of Signature Simulation: A Kinetic Analysis
Ranjitha et al. A Review on Challenges and Applications of Digital Graphology
Bhurane et al. Behavioral biometrics: A prognostic measure for activity recognition
DE102018107409A1 (en) Method for recognizing handwritten characters, preferably during writing, and writing instrument for detecting handwritten characters
Wu et al. Robust audio-based digit recognition
Sharma et al. Forensic examination of electronic signatures: a comparative study
Gowroju et al. Handwriting and Speech‐Based Secured Multimodal Biometrics Identification Technique
Efron Optacon—a replacement for braille?

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050304

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20101029

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20110510