CN1232943C - 利用虚拟输入装置输入数据的方法和设备 - Google Patents

利用虚拟输入装置输入数据的方法和设备 Download PDF

Info

Publication number
CN1232943C
CN1232943C CNB018072992A CN01807299A CN1232943C CN 1232943 C CN1232943 C CN 1232943C CN B018072992 A CNB018072992 A CN B018072992A CN 01807299 A CN01807299 A CN 01807299A CN 1232943 C CN1232943 C CN 1232943C
Authority
CN
China
Prior art keywords
user
controlled object
finger
information
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB018072992A
Other languages
English (en)
Other versions
CN1439151A (zh
Inventor
艾巴斯·拉菲
塞路斯·班吉
纳兹姆·卡里米
什拉兹·什弗吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Canesta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canesta Inc filed Critical Canesta Inc
Publication of CN1439151A publication Critical patent/CN1439151A/zh
Application granted granted Critical
Publication of CN1232943C publication Critical patent/CN1232943C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0221—Arrangements for reducing keyboard size for transport or storage, e.g. foldable keyboards, keyboards with collapsible keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air

Abstract

本发明公开了一种用户通过利用用户可控对象，与虚拟输入装置交互作用的方法，所述方法包括下述步骤：(a)提供能够获得所述用户可控对象的至少一部分相对于工作面的相对位置的位置坐标信息的传感器，其中在所述工作面上确定所述虚拟输入装置；(b)处理由所述传感器所获得的信息，与所述用户可控对象的速度无关地确定下述至少之一：(i)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的所述工作面某一位置，和(ii)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的位置，并且如果触及，则确定所述虚拟输入装置的哪一功能与所述位置相关；(c)向配对装置输出在步骤(b)中处理的信息。

Description

利用虚拟输入装置输入数据的方法和设备
本申请要求于1999年11月4日登记的美国临时专利申请(序列号60/163445)“Method and Devices for 3D Sensing of Input Commands toElectronic Devices”的优选权，其中本申请的申请人是该临时专利申请的申请人。被转让给Canasta有限公司(本申请的受让人)的所述临时专利申请作为参考包含于此。
另外参考申请人Cyrus Bamji的同时待审的美国专利申请(序列号09/401059，申请日1999年9月22日)“CMOS-COMPATIBLE THREE-DIMENSIONAL IMAGE SENSOR IC”，该专利申请被转让给和本申请相同的受让人Canasta有限公司。所述同时待审的美国专利申请也作为参考包含于此。
技术领域
本发明一般涉及向包括计算机系统在内的电子系统输入命令和/或数据(这里总称为“数据”)。更具体地说，本发明涉及当计算装置的外形因素使得不能使用诸如键盘之类的通常大小的输入装置，或者当计算装置和输入装置之间的距离使得不便于使用通过电缆与计算装置耦接的常规输入装置时，输入数据的方法和设备。
背景技术
接收并处理输入数据的计算机系统在本领域中众所周知。通常这种系统包括中央处理器(CPU)、持久的只读存储器(ROM)、随机存取存储器(RAM)、互连CPU和存储器的至少一个总线、装置与其耦接，以便输入数据和命令的至少一个输入端口和监视器与之耦接，以便显示结果的一个输出端口。传统的数据输入技术包括键盘、鼠标、操纵杆、遥控器、电子笔、触摸屏或触摸垫或显示屏、开关和旋钮，以及最近的笔迹识别和语音识别的使用。
近年来，计算机系统和计算机型系统已设法进入了新一代的电子装置，包括交互式TV、机顶盒、电子现金记录器、合成音乐发生器、包括所谓的个人数字助手(PDA)的手持式便携式装置、和无线电话机。常规的输入方法和装置并不总是适合或者便于和这样的系统一起使用。
例如，某些便携式计算机系统已缩小到整个系统可放入用户的手中或口袋中的程度。为了克服观看微小显示器方向的困难，能够使用可商业获得的虚拟显示附件，所述虚拟显示附件夹在系统用户所佩带的镜框上。用户观察所述附件(它可以是1英寸的VGA显示器)，看到的仿佛是对角测量可能为15英寸的大显示器。
研究表明键盘和/或类似于鼠标的输入装置可能是效率最高的在配对计算机或计算机型系统中输入或编辑数据的技术。不幸的是很难克服与较小尺寸的输入装置相关的问题，因为尺寸较小的输入装置会显著降低输入数据的速度。例如，某些PDA系统具有尺寸约为3英寸×7英寸的键盘。虽然通过该键盘可把数据和命令输入PDA中，但是和尺寸约为6英寸×12英寸的标准尺寸键盘相比，输入速度降低并且不舒适感增大。其它的PDA系统简单地取消键盘，并提供触摸屏，用户可利用输入笔在触摸屏上书写字母数字字符。随后PDA内的笔迹识别软件试图解释并识别用户利用输入笔在触摸屏上描画的字母数字字符。某些PDA可在触摸屏上显示键盘的图像，并允许用户通过利用输入笔触及各个按键的图像来输入数据。在其它系统中，用户和计算机系统之间的距离使得不可能方便地使用导线耦接的输入装置，例如起居室内用户和机顶盒之间的距离使得不能使用导线耦接的鼠标进行浏览。
另一种向电子装置输入数据和命令的方法是识别用户操作和手势的各种图像，所述用户操作和手势随后被解释并被转换成附随计算机系统的命令。在Korth的美国专利No.5767842，“Method and Device forOptical Input of Commands or Data”中描述了一种这样的方法。Korth提出使计算机系统用户击打假想的或者虚拟的键盘，例如一张键盘大小的具有键盘按键的模板或印刷略图的纸张。该模板用于指导用户的手指击打虚拟键盘按键。当用户“击打”虚拟键盘时，聚焦于虚拟键盘的常规TV(二维)视频照相机以某种方式允许识别用户的手指正在触及的是哪个虚拟按键(例如按键的印刷略图)。
但是由于依赖于相对发光数据，实际上依赖于足够的周围环境照明光源，Korth的方法存在固有的不确定性。虽然常规的二维视频照相机的视频信号输出呈适于人眼进行图像识别的格式，但是该信号输出并不适合于所观看图像的计算机识别。例如，在Korth型应用中，为了跟踪用户手指的位置，计算机可执行的程序必须利用视频照相机输出信号中像素的发光度方面的变化来确定各个手指的轮廓。当不能准确控制背景颜色或者照明时，这种跟踪及轮廓确定是一项难以完成的任务，并且实际上可能类似用户的手指。此外，Korth获得的视频的各帧，一般至少为100像素×100像素，只具有一个灰度级或者颜色级代码(一般称为RGB)。如同对这种RGB值数据的限制一样，如果周围环境照明条件最佳，Korth系统中的微处理器或者信号处理器最多能检测以背景图像为背景的手指的轮廓。
伴随而来的问题和跟踪用户手指的潜在不确定性一样重大。由于传统的视频照相机输出二维图像数据，并且在视频场景中不提供关于对象的实际形状和距离的确定信息，因此Korth的技术不可能避免不确定性。实际上，从Korth视频照相机的有利位置以很难检测沿着照相机透镜光轴的击键动作。于是，为了充分捕捉复杂的击键动作，需要多个具有不同有利位置的照相机。另外，如图1中Korth提议的那样，难以仅仅获得用户双手上的各个手指的清楚视图，例如由于右手中指的图像阻挡的缘故，使得不可能获得右手食指的图像等等。总之，即使在良好的周围环境照明和良好的视频照相机有利位置的情况下，Korth的方法仍存在许多缺点，包括关于用户的手指正在触及虚拟键盘的哪一行的不确定性。
在获得深度信息的尝试中，通过利用多个二维视频照相机，每个照相机从不同的视角瞄准所关心的对象，可重复Korth方法。这种方法听起来简单，但是不实用。当采用成倍的照相机时，安装多个照相机既麻烦，费用又高。必须相对于所观察的对象以及相对于彼此精确地校准每个照相机。为了获得足够的精度，可能不得不在键盘的左上方和右上方位置布置立体照相机。但是即使利用这种结构，在至少一个照相机的视界中，也会由于手指遮住手指而困扰照相机。此外，根据各个照相机的二维图像信息输出产生三维信息所需的计算影响用于处理图像数据的计算机系统的处理开销。可以理解，利用多个照相机会使Korth信号处理需求极为复杂。最后，很难获得检测并识别微小的对象移动，例如忙于击键动作的用户手指的微小移动所必需的照相机—对象距离分辨率。
总之，使用Korth方法检查忙于击键的用户双手的基于发光度的二维视频图像，并根据图像确定何时哪个手指触及哪个按键(虚拟按键或者另外的按键)并不现实。即使当利用如Korth提出的计算机化图像模式识别增大所需的二维视频信息处理时仍然存在这种缺点。另外可看出实际上Korth的技术不适合于轻便性。例如，实际上在所有时候，图像采集系统和环境光源都将处于打开状态，将消耗足够的工作功率，使有意义的电池工作成为不可能。即使Korth能够降低数据采集的帧速率以节省一些电力，Korth系统仍然需要足够的环境照明光源。
除了电力考虑之外，由于Korth的视频照相机(或者可能是照相机)需要位于键盘上方的有利位置，因此对于诸如蜂窝电话机之类的小型配对装置来说，Korth的二维成像系统无助于轻便性。不论系统正在工作还是被保存处于搬运过程中，这种要求都对Korth的系统的实际尺寸施加了限制。
于是需要一种方法和系统，借助所述方法和系统，用户能够利用不与计算系统电连接的虚拟键盘或者其它虚拟输入装置，把数据输入配对计算系统中。这种方法和系统实现的数据输入接口模拟应在最好不必使用多个图像获取装置的情况下，提供关于按照什么时间序列，用户的哪个手指触及虚拟输入装置上的哪个按键(或者其它符号)的有意义的三维获取信息。这种系统最好应包括信号处理，从而系统输出可以由配对计算系统以扫描模式或者其它格式直接用作输入。最后，这种系统应便于携带，并且易于安装及操作。
发明内容
本发明提供一种这样的方法和系统。
根据本发明的一个方面，提供了一种用户通过利用用户可控对象，与虚拟输入装置交互作用的方法，所述方法包括下述步骤：
(a)提供能够获得所述用户可控对象的至少一部分相对于工作面的相对位置的位置坐标信息的传感器，其中在所述工作面上确定所述虚拟输入装置；
(b)处理由所述传感器所获得的信息，与所述用户可控对象的速度无关地确定下述至少之一：(i)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的所述工作面某一位置，和(ii)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的位置，并且如果触及，则确定所述虚拟输入装置的哪一功能与所述位置相关；
(c)向配对装置输出在步骤(b)中处理的信息。
根据本发明的另一个方面，提供了一种和配对装置一起使用的系统，所述配对装置用于接收由相对于虚拟输入装置操纵用户可控对象的用户提供的数字输入，包括：
能够获得所述用户可控对象的至少一部分相对于工作面的位置坐标信息的传感器，其中在所述工作面上确定所述虚拟输入装置，从而通过利用所述用户可控对象，所述用户将信息输入所述配对装置中；
处理由所述传感器获得的信息，以便与所述用户可控对象的速度无关地确定下述至少之一：(i)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的所述工作面某一位置，和(ii)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的位置，并且如果触及，则确定所述虚拟输入装置的哪一功能与所述位置相关的处理器；和
所述处理器将与所述触及的位置相称的数字信息输出给所述配对系统。
根据本发明的再一个方面，提供了一种允许用户通过操纵用户可控对象与虚拟输入装置交互作用的系统，包括：
能够收集至少一部分所述用户可控对象相对于工作面的相对位置的位置信息的传感器阵列，其中在所述工作面上确定所述虚拟输入装置；
处理由所述传感器阵列获得的信息，以便与所述用户可控对象的速度无关地确定下述至少之一：(i)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的所述工作面某一位置，和(ii)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的位置，并且如果触及，则确定所述虚拟输入装置的哪一功能与所述位置相关的处理器；和
耦接地接收从所述处理器输出的和所述触及的所述位置相称的数字信息的配对装置。
本发明使用户能够从手动输入装置的被动式虚拟模拟把命令和数据(总称为数据)输入配对计算机系统，所述配对计算机系统可以是PDA、无线电话机、或者适于接收数字输入信号的任意电子系统或器具。本发明包括即使不存在环境光线也能够起作用，从而实时收集和用户手指在支承或显示模板的基体上的放置有关的三维数据的三维传感器成像系统，所述模板用于模拟诸如键盘、数字小键盘或者数字化表面之类的输入装置。基体最好是被动式的，并且可以是可折叠或者可卷起的包含键盘按键的印刷图像的纸张或塑料，或者仅仅是区分键盘按键会位于哪些行和哪些列的标记线。基体可被定义为位于水平X-Z平面上，在所述X-Z平面上，Z轴确定模板按键行，X轴确定模板按键列，Y轴表示基体上方的垂直高度。如果需要，代替基体键盘，本发明可包括使用光线把网格或者键盘的图像投射到配对装置前面的工作面上的投影器。投射的图案可用作用户在该表面上“打字”时的指导。投影装置最好包含在配对装置内或者附着在配对装置上。
另一方面，也可取消作为打字指导的基体。改为当用户在配对装置之前的桌面或者其它工作面(可能是桌面)上键入字母数字字符时，使用配对装置的屏幕来显示这些字母数字字符。对于未达到盲打水平的用户，当用户“按下”或者“击打”键盘“按键”时，本发明可改为(或者另外)提供表示键盘“按键”的显示图像。可在该显示图像中以一种颜色突出显示所察觉的直接位于用户手指之下的“按键”，而以另一种颜色或者相反的颜色突出显示所察觉的实际被触发的“按键”。这种配置许可用户击打配对装置之前的工作面或者击打虚拟键盘。当用户击打工作面或者虚拟键盘时，对应的文本最好出现在配对装置上显示的文本域中。
从而，各种形式的反馈可用于指导用户的虚拟键入。用户双手的哪些手指按照什么时序击打哪些虚拟按键或者虚拟按键位置由三维传感器系统确定。三维传感器系统最好包括一个信号处理器，所述信号处理器包括中央处理器(CPU)和相关的只读存储器(ROM)和随机存取存储器(RAM)。ROM中保存的是可由信号处理器CPU执行，以致三维位置信息被接收并被基本实时地转换成键扫描数据或者直接与配对计算机系统的装置输入兼容的其它形式数据的软件例程。三维传感器最好发出特定波长的光线，并且检测从被扫描对象，例如用户的双手的不同表面区域反射回的能量飞行时间(return energy time-of-flight)。
在打字开始时，用户将把他或她的手指放在工作面或者虚拟键盘(如果存在的话)附近或者之上。在用户或者其它一些对象进入三维传感器的成像范围内之前，本发明保持待机、低能量消耗模式。在待机模式下，发射的光学脉冲的重复频率被降低到1-1-脉冲/秒，以便保存工作功率，如果本发明用电池作电源，这是一项需要考虑的重要事项。这样，本发明将发出相对较少的脉冲，但是仍然能够获得图像数据，虽然具有粗糙或者较低的Z轴分辨率。就三维数据收集的备选方法而论，可使用降低采集帧速率和分辨率以保存能量的方法。但是这样低的分辨率信息至少足以提醒本发明注意观察的成像场内对象的存在。当对象确实进行观察的成像场内时，管理本发明的操作的CPU命令进入正常的工作模式，其中采用高的脉冲频率，并且现在系统功能以全功率工作。为了保存工作功率，当用户的手指或者其它潜在相关对象从观察的成像场中消失时，本发明将降低功率，返回待机功率模式。当认为相关对象在超过时间阈值的一段长期时间内保持静止时，最好也产生这种功率降低。
现在假定用户已把他或她的手指放在虚拟键盘的起始行按键(例如A、S、D、F、J、K、L、：)上(或者如果不存在虚拟键盘，放在本发明与之一起实践的配对装置之前的工作面上)。已处于全功率模式的本发明现在最好启动软键校准，其中计算机根据用户输入把位置分配给键盘按键。用户手指被放置在某些(预期的)按键上，并且根据手指的确切位置，软件根据用户手指的位置把位置分配给键盘上的按键。
当用户“击打”显示在基体模板上的按键时，或者当用户击打配对装置之前如果存在真实键盘，则“按键”一般所处的工作空间时，三维传感器系统观察用户的手指。传感器系统以功能上和诸如键盘、鼠标之类常规输入装置输出的数据无区别的格式把数据输出给配对计算机系统。最好可由信号处理器(CPU)(或者由配对计算机系统中的CPU)执行的软件处理输入的三维信息，并且相对于基体上的键盘或者工作面(如果不存在虚拟键盘)的图像，识别三维空间中用户双手和手指的位置。
软件例程最好通过检查Z轴不连续性来识别各帧中用户手指的轮廓。当手指“键击”按键，或者“键击”如果存在键盘(真实的或者虚拟的)的话，则按键应在工作面上所处的区域时，检测用户手指和虚拟键盘或者工作面之间的物理界面。软件例程最好检测以光学方式获得的数据，在连续帧中确定这样的界面边界，从而计算手指的Y轴速度。(在其它实施例中，可改为使用诸如超声波之类的低频能量)。当这样的垂直手指动作停止时，或者取决于所述例程，当手指触及基体时，根据所考虑的手指的(Z，X)坐标确定正被按下的虚拟按键。随后可发出恰当的KEYDOWN事件命令。本发明对所有手指(包括拇指)进行类似的分析，以便精确地确定触及(例如按下)不同按键的顺序。按照这种方式，软件向配对计算机系统发出适当的KEYUP、KEYDOWN，以及扫描代码数据命令。
软件例程最好识别并纠正打字时用户双手的偏移，例如虚拟键盘上的偏移。软件例程还提供一定的滞后作用，以减少起因于用户把手指搁在虚拟按键上，并没有实际“按下”该按键的错误。通过在打字应用程序中观察测量误差，进一步减少测量误差，跟踪Z值所需的帧速率小于跟踪X值和Y值所需的帧速率。即，Z方向的手指动作一般慢于其它轴方向的手指动作。本发明还在不同竞争手指之中区分击打在键盘或者其它工作面上的时间。最好通过在足够高的帧速率下观察X轴、Y轴数据值来实现这种区分，因为要区分的正是Y维计时。不必在不同手指之间区别Z轴观察结果，从而帧速率可由单个手指沿Z维方向在不同按键之间移动的速度所控制。本发明提供的软件例程最好求所获得的Z轴数据在几帧内的平均值，以减少噪声或抖动。虽然相对于X值和Y值的有效帧速率来说，Z值的有效帧速率被降低，但是Z值的精度被提高，并且仍然能够获得有意义的数据采集帧速率。
软件例程允许用户简单地通过“键入”某些按键组合，可能是同时按下Control键和Shift键，把配对计算机系统从字母数字数据输入模式切换到图形模式。在图形模式下，模板模拟数字化转换器表格，并且当用户在模板内拖拉他或她的手指时，被触及点的(Z，X)轨迹可被用于绘制线条、签名、或者进入配对计算机系统的其它图形。
与配对计算机系统相关的显示器最好可基本实时地显示用户输入的字母数字或者其它数据。除了描绘键盘按键和手指的图像之外，配对计算机系统的显示器还可提供块光标，所述块光标显示将要被输入的字母数字字符。通过在一些或者所有按键下形成弹性区，从而当某一“按键”被用户手指触及时提供触觉反馈，实现另一形式的输入反馈。如果采用适当的配对装置，则甚至可采用配对装置大声地逐个字母地说明“被键击”按键的名称，例如当用户键入单词“cat”时，清晰地读出字母“c”-“a”-“t”。通过当检测到按下虚拟按键的用户手指时，使配对装置发出电子击键声音，提供一种较简单形式的声音反馈。
附图说明
结合附图，根据其中详细陈述优选实施例的下述说明，本发明的其它特征和优点将是显而易见的。
图1A根据本发明描述和被动式基体键盘模板一起使用的三维传感器系统；
图1B根据本发明描述在不存在基体键盘模板的情况下使用的三维传感器系统；
图1C根据本发明描述显示触及虚拟按键的用户手指的虚拟键盘的配对装置显示器；
图1D根据本发明描述图1C的显示器，还表示了用户在虚拟键盘上输入的文本；
图2A根据本发明描述处于部分折叠状态下的被动式基体；
图2B根据本发明描述处于部分卷起状态的支承不同字符集的被动式基体；
图3是本发明可与之一起实践的三维信号处理和传感器系统的例证实现方框图；
图4是具有可用本发明可与之一起实践的三维传感器系统中的相关光子脉冲检测器和高速计数器的例证单一像素检测器的方框图；
图5根据本发明描述用户手指的轮廓识别；
图6根据本发明描述在识别按下的虚拟按键的过程中交错按键位置的应用；
图7A-7O根据本发明描述根据光学获得的三维数据产生的，供识别用户手指位置之用的群集矩阵。
具体实施方式
图1A描述包括三维传感器20的三维传感器系统10，当用户双手40的手指30“击打”基体50(这里表示在书桌或其它工作面60的上方)时，所述三维传感器20基本上聚焦于用户双手40的手指。基体50最好支承包括代表数据输入装置，例如键盘的线条或标记的印刷或投影模板70。这样，模板70可具有键盘按键的印刷图像，如图所示，但是要明白按键是电子被动的，并且仅仅是真实按键的表现。基体50被定义为位于Z-X平面中，其中沿着X轴的不同点与按键的从左至右列位置相关，沿着Z轴的不同点与按键的从前至后行位置相关，Y轴位置与Z-X平面上方的垂直距离相关。(X、Y、Z)位置是矢量位置点的闭联集，可用图1A中指出的数个点定义不同的轴位置。
如果需要，模板70可以仅仅包含区分存在位置的行线和列线。具有印刷或以其它方式显示于其上的模板70的基体50是虚拟输入装置，在该所示的例子中，虚拟输入装置模拟键盘。这样，这里可把基体50和/或模板70称为输入数字数据和/或命令的虚拟键盘或虚拟装置。这种虚拟输入装置的优点在于它可印刷在纸张上或者柔软的塑料上，并且可如图2A中所示那样折叠。按键的排列不必如图所示为便于图解说明几个手指那样呈矩形阵列的形式，也可布置在如真实的QWERTY键盘那样的交错或偏移位置中。图2B还表示具有印刷为模板70，这里是西里尔字母字符的预备键集合的装置。如果需要，可在模板的一侧印刷一个键集合，在另一侧印刷另一个键集合，例如英文字符和俄文字符。
如同相对于图1B-1D说明的那样，虚拟键盘的图像也可显示在与配对装置相关的屏幕上。在该实施例中，如果需要，可省却基体甚至省却工作面，允许用户“击打”稀薄的空气。在允许正被使用的“键盘”的on-the-fly变化，例如提供英语键盘、或者德语键盘，俄语键盘，模拟数字转换表等方面，该实施例特别灵活。不同的键盘和键集合被简单地显示在与配对装置或用具相关的屏幕90上。可理解的是，通过在结合本发明使用的配对装置的显示器上，以具有不同字符集合的虚拟按键的显示图像的形式呈现备选按键集合，获得极大的灵活性。从而，在图1B中，虚拟键盘被消除为导向器，进一步提高了便携性和灵活性。
在不同的实施例中，用户将从虚拟键盘50(如图1A中所示)或者从甚至没有虚拟键盘的工作面(如图1B中所示)输入的数据(和/或命令)将被耦接到配对计算机或其它系统80。没有任何限制，配对计算机系统或类似系统可以是PDA、无线电话机、膝上型PC、笔输入计算机或者需要向其输入数据的其它任意电子系统。可使折叠或者卷起后的尺寸足够小，以便和将与之一起使用从而输入数据和命令的PDA或其它配对计算机系统80一起保存。例如折叠时，键盘的尺寸可能为2.5″×3″，并且最好至少小于8″×8″。PDA的虚拟键盘可具有可在PDA的背部放入衣袋的折叠形状因素。但是当使用时，虚拟键盘被打开或者展开，变成实足尺寸的虚拟键盘。
当用户把数据输入配对系统80中时，通常存在于系统80上的显示器90可实时显示正从虚拟键盘输入的数据100，例如可输入PDA的文本，可输入无线电话机的电子邮件等等。在一个实施例中，块状光标102围绕本发明发觉将被击打的单个字母数字字符，例如图1A中的字母“d”的显示。这种视觉反馈特征可帮助用户确认数据输入的准确性，并且可提供重新定位用户手指以确保将击打所需字符的指导。当按下各个虚拟按键时，系统80可发出诸如“按键滴答声”之类的声音反馈，以便向用户提供更多的反馈。如果需要，可在虚拟键盘中形成被动式凸起107，以便向用户提供触觉反馈。举例来说，这样的凸起可以是形成于由弹性塑料制成的模拟键盘中的各个“按键”下的半球体。
如上所述，也可通过在配对装置的屏幕上显示虚拟键盘(它是配对装置前的基体或者空工作面)的图像，提供视觉反馈。当用户击键时，他或她由表示当用户手指相对于虚拟键盘移动时，用户手指的键盘图像所指导。该图像可包括突出显示直接位于用户手指下方的按键，如果实际按下某一按键，则可以不同的颜色或者相反的颜色突出显示该按键。如果需要，配对装置的屏幕可被“劈开”，从而当“击打”字母数字字符时，实际的字母数字字符出现在屏幕的上部，用户手指置于其上的虚拟按键的图像出现在屏幕的下部(或者反之亦然)。
在图1A和图1B中，配对系统80被表示成安装在托架110上，三维传感器20可永久地连接在托架110上。另一方面，传感器20可永久地安装在配对装置80的下部中。来自传感器20的输出通过通道120被耦接到配对装置80上的数据输入端口。如果使用托架或者类似的装置，则把装置80插入托架110中可用于自动实现传感器20的输出和装置80的输入之间的连接。
如同这里说明的那样，即使不存在如图1A中所示的印刷虚拟键盘，图1B的结构也有利于允许用户把数据(例如文本、图形、命令)输入配对装置80中。为了便于理解，在配对装置80前的工作面区域60上表示沿着X轴和Y轴的网格线。这里描述的各种软件映射技术允许本发明辨别用户手指打算击打哪些虚拟按键(如果按键存在)。尽管图1A的实施例便于从虚拟键盘获得触觉反馈，图1B的实施例不允许获得这样的触觉反馈。因此，装置80的显示器90最好显示图像，以帮助用户击键。当然，如图1A的实施例中那样，在“击键”时，当用户的手指按下工作面60时，装置80可发出击键声音。
图1C描述可从恰当的装置80获得的一种视觉帮助，所述帮助当然可和图1A的实施例一起使用。在图1C中，屏幕90至少显示键盘115的一部分图像和用户双手的外形或者其它表现40′，表示相对于按键在实际或虚拟键盘上的位置的手和手指的位置。为了便于举例说明，图1C只描绘了用户左手的位置。当某一按键被“触及”或者用户的手指近到足以“触及”某一按键(例如如果存在键盘，则这种按键存在于工作面60上的位置)时，装置80可突出显示该按键的图像(例如显示相应的“软键”)，并且当该键被“按下”或者被“击打”时，装置80可利用不同的颜色或者相反的颜色显示该按键。例如在图1C中，“Y”键被表示成突出显示或者被对比，这可指出该按键正被触及或者将被触及，或者正被用户的左手食指按下。如图1D中所示，装置80可提供分屏幕显示，其中一部分屏幕描述图像，以便引导用户的手指放置在不存在的键盘上，而另一部分屏幕显示用户向装置80输入的数据或命令100。虽然图1D表示当完成屏幕90上单词“key”的拼写时，和正被击打的按键相对应的文本，例如单词“key”中的字母“Y”被突出显示，不过数据100也可以是图形。例如，用户可命令装置80进入图形模式，从而手指在工作面60(或者虚拟键盘70)内的移动将产生图形，例如，利用食指或者输入笔在工作面60上“书写”的用户签名。用户手指或输入笔可被总称为“用户手指”。随意地，与本发明相关的软件(例如图3中的软件285)可使用字词上下文关系来帮助减少“键入”错误。假定事先已知正被输入的语言，例如英语中的文本的词汇表。配对装置中的存储器将保存该语言中最频繁使用的单词的词典，并且当用户在虚拟键盘上或者实际上在稀薄的空气中“键入”单词时，配对装置软件将把迄今键入的字母和词典的候选单词进行匹配。例如，如果用户输入“S”，以字母“S”开头的所有单词为候选单词。如果用户随后键入“数字磁记录/再现设备”，则至少在英文中不存在匹配的候选单词。当用户键入更多的字母时，可匹配正被键入的单词的该组候选单词减少到易处理的规模。在某些阈值点，例如当候选单词的规模减少到5-10个单词时，软件可指定用户将键入的下一字母的概率。例如，如果用户已输入“SUBJ”，则下一字母为字母“E”的概率高于字母“W”的概率。但是由于在真实或者虚拟键盘上，字母“E”和“W”相邻，用户有可能按压字母“W”的按键附近的区域。本例中，配对装置软件可用于校正按键输入，并且假定用户打算输入字母“E”。
现在说明三维传感器20的操作，传感器发出已知频率的辐射，并检测由观察的光场内的对象的表面返回的能量。图1A和图1B中发射的辐射被表示成射线140。传感器20沿着Z轴瞄准，以便确定用户的哪些指尖30以何种时间顺序触及模板70的哪些部分，例如触及哪些虚拟按键。如图1B中所示，即使不存在模板70，用户仅仅在装置80前的工作空间上击打，传感器20仍然能够起作用，输出有意义的数据。在这样的实施例中，配对装置80的屏幕90可显示键盘105的图像100′，在所示图像100′中，“按下的”或者潜在的“按键”被突出显示，例如字母“T”的按键107。
如图1A和1B中所示，如果需要，发光体或者发出可见光束147的其它投射器145可用于投射虚拟键盘的图像，引导用户击键。例如，可见光源(可能为可见光波长的激光)可和衍射型透镜一起用于投射引导用户击键的图像。在这种实施例中，键盘的图像(可能以普通的图形文件格式(例如GIF)的形式提供)被用于在透镜上“蚀刻”衍射图案。虽然投射图像的一部分有时会落在用户手指的表面上，但是在不存在击打的基体的情况下，这样的投射导向器是有用的。包括例如可从AL35806，Huntsville的MEMS Optical，LLC购得的光学器件在内衍射光学器件的应用可用于实现这样的投射实施例。
图3是描述最好构成于单一CMOS IC 210上的例证三维图像传感器系统200的方框图。系统200可放置在和三维传感器20相同的框架中，并用于实现本发明。如同在作为参考包含于此的同时待审的美国专利申请，序列号09/401059中更详细描述的那样，这种系统有利的是不需要移动部件，并且需要相对较少的芯片外组件，主要是发光二极管(LED)或者激光源220及相关的光学聚焦系统，如果提供适当的屏幕，可把激光源220接合在其上构成IC 210的共同基体上。要明白虽然如同上述同时待审的US发明专利申请中公开的那样，关于三维传感器20说明了本发明，不过本发明也可和其它三维传感器20一起被实践。
系统200包括像素检测器240的阵列230，每个像素检测器具有用于处理由相关检测器产生的检测电荷输出的专用电路250。在虚拟键盘识别应用中，阵列230可包括15×100像素和一个对应的15×100处理电路250。注意阵列尺寸显著小于例如Korth所述的现有二维视频系统所需的阵列尺寸。Korth需要4∶3的宽高比或者在某些情况下可能为2∶1，本发明利用显著小于3∶1，最好约为15∶2或者甚至15∶1的宽高比来获得并处理数据。参见图1A和1B，虽然必须包围相对较大的X轴范围，但是传感器20相对于基体50的边缘(edge-on)布置意味着只需要包围相对较小的Y轴距离。
在用户击键期间，为了区别沿着一行虚拟按键的用户的各个手指，需要高的帧速率。但是实际上，指定击键手指的来回移动并不太快。因此Z轴数据的采集速率可以小于X轴和Y轴数据的采集速率，例如Z轴数据为10帧/秒，对X轴和Y轴数据来说为30帧/秒。
降低Z轴帧速率的实际优点在于在获得键盘手指位置信息方面，本发明所需的电流较小。实际上，就获得的信息的信号处理来说，本发明可在多帧内平均Z轴信息，例如关于Z轴位置信息检查1/3的帧。获得的Z轴数值将具有可通过求平均值而降低的噪声或抖动。例如可三个连续30帧/秒的多帧内求Z值的平均值，从而三个连续图像帧将共有相同的处理后的Z值。虽然Z值的有效帧速率被降低到X轴和Y轴数据采集的采集速率的1/3，但是通过中和噪声或抖动，提高了Z数据的精度。结果的降低后的Z轴帧速率仍然足够快，足以获得有意义的信息。对于X值和Y值使用与Z轴不同的帧速率对本发明有用。例如，相对于X轴和Y轴数据降低Z轴数据的采集速率使电流消耗降至最小，避免因过多的信号处理加重信号处理器(CPU 260)的负担。
从而，本发明在不需要环境光线的情况下获得三维图像数据，而现有的类似于Korth的系统在存在环境光线的情况下获得二维发光度数据。本质上，本发明可感知三维对象，例如手指和基体，类似于人类通过触摸感知物体。有利的是，这可通过利用相对较小的工作功率，例如10mW下的3.3VDC，这允许本发明用电池作电源，并且按照相对较小并且可移动的形状因数制造本发明。
可从阵列230获得用户双手和手指及基体的每秒多帧的三维图像数据。利用该数据，本发明构成双手和手指相对于基体的三维图像，或者如果不存在基体，则构成相对于如果键盘位于配对装置80前的工作面上，则虚拟键盘所处的位置的三维图像。在早先提及的申请人Bamji的同时待审的美国专利申请中描述了完成上述工作的例证技术。根据飞行时间数据构成这样的三维图像优于例如Korth提出的试图利用基于二维发光度的数据，推测空间关系的现有技术。应指出飞行时间方法可包括返回脉冲时间测量，相位或频率检测，或者高速快门方法，如Bamji专利申请中所述。不依赖飞行时间的其它方法可捕获三维数据，包括立体图像，以及根据反射强度了解深度的基于发光度的技术。
实际上，阵列230可以每秒30帧的速度(足以处理每秒5个字符，约为每分钟60个单词的虚拟键入的帧速率)获得并处理数据。如果阵列230为矩形，例如包括n个X轴像素和m个Y轴像素，如果n＝100并且m＝15，则形成包含1500个像素的网格。对于数据的各帧来说，阵列230中的每个像素将具有代表由该像素捕获的从传感器20到对象的表面(例如用户手指的一部分，基体的一部分等)的矢量距离的数值，例如某一矢量或Z值。和Korth的在以二维形式确定用户手指的轮廓及在虚拟键盘上的位置中最多向视频帧提供RGB灰度或色级数值的基于发光度的图像数据相比，该数据更为有用。
获得的三维数据的使用使得软件285能够确定用户手指(名义上假定为略呈圆柱形)的实际形状，从而确定相对于其它手指，相对于基体上方或者基体上的位置的相对手指位置，以及相对于三维传感器20的相对手指位置。例如在图1A中，当感觉到手指正在移向Y＝0位置时，可确定该手指可能准备击打虚拟按键。如果还感觉到该手指正在逼近Z＝Z1区，则该手指可能准备击打虚拟键盘上第一行按键中的某一虚拟按键。确定虚拟按键是否将被按下还要考虑速度数据。例如，检测到正在快速向下移向Y＝0的用户手指可能正在准备击打某一虚拟按键。在图3中，IC 210还包括微处理器或微控制器260(表示为CPU)、随机存取存储器270(RAM)和只读存储器280(ROM)，ROM的一部分最好保存可由CPU执行以实现本发明的软件例程285。控制器260最好是以50MHz工作的16位RISC微处理器。除了其它功能之外，CPU 260还进行到对象的矢量距离和对象速度计算，这里所述对象是基体及用户的双手。IC 210还包括一个可高速分布的时钟290和各种计算、光学驱动输入/输出(I/O)电路300，以及接口数据/命令输入/输出(I/O)电路310。数字键盘扫描类型数据或者数字转换图形输入板/鼠标类型数据从I/O 310输出，例如从COM和/或与系统200相关的USP端口输出。
最好利用标准商用硅技术制造像素传感检测器的二维阵列230，所述标准商用硅技术有利于允许在同一个IC 210上制备电路250、260、270、280、290和300。可理解，由于缩短了信号通道，因此在具有像素检测器阵列的同一个IC上制备这样的电路的能力可缩短处理和延迟时间。
每个像素检测器可被表示成电流源、理想二极管和分路阻抗及噪声电流源的并联组合。每个像素检测器将输出与落于其上的输入光子光能的数量成正比的电流。最好使用CMOS加工来实现CMOS像素二极管或者photogate检测器装置的阵列。例如，可利用扩散-井，或者井-基体结，可制备光电二极管。井-基体光电二极管对红外(IR)光线更敏感，电容较小，从而更可取。
如图3和4中所示，电路250与各个像素检测器240相关。各个电路250最好包括一个脉冲峰值检测器315、一个高速计数器320，并且可以利用高速时钟290。最好形成于IC 210上的高速时钟200最好以500MHz的固定频率输出一连串的高频时钟脉冲，当输出脉冲时，占空度最好较低。当然也可使用其它高速时钟参数。该脉冲系列被耦接到各个高速插值计数器320的输入端口。计数器320最好可进行子计数(sub-count)，如同Bamji待审专利申请中描述的那样，并且可节约大约70％的时间。每个计数器320最好还具有接收START信号(例如现在开始计数)的端口，接收STOP信号(例如现在停止计数)的端口，和接收CONTROL信号(例如现在重置累积计数)的端口。CONTROL和STAT信号从控制器260获得，CLOCK信号从时钟290获得，STOP信号从脉冲峰值检测器315获得。
术语传感器系统可用于总称并包括传感器阵列230、透镜288(如果存在)、发射器220、透镜288′(如果存在)、以及协调发射器220和阵列230之间的计时关系的电子器件。
虚拟键盘50将放置在距离三维传感器20约20厘米的地方，大体上和传感器透镜在相同的平面中。由于典型的传感器透镜角度为60°，20厘米的距离确保虚拟键盘的光学覆盖。在图3中，为了便于举例说明，夸大了传感器20光发射和收集的光线之间的距离。
概括地说，系统200如下操作。在时间t0，微处理器260命令光源220发出已知波长的光脉冲，所述光脉冲通过聚焦透镜288′，并以光速(C)300000公里/秒向感兴趣的对象，例如基体50和用户的手指30行进。如果光源220功率足够高，则可省却透镜288′。在被成像的对象的表面，至少一些光线可被反射回系统200，从而被检测器阵列检测。在图3中，
感兴趣的对象是用户双手的手指30，并且如果存在的话，如前所述基体50可包括击键时引导用户放置手指的可视标记，例如键盘按键70或者投射的网格线。
如图1A所示，在X-Z平面上的二维空间中，已知基体50上的虚拟按键70(或者其它用户可用标记)相对于基体上其它这种按键的位置的位置。当用户的手指在基体50上来回移动时，在“击键”的同时触摸虚拟按键70。CPU 260和软件例程285的一个功能是检测返回光能，以便识别在何时用户的手指正在触及哪些虚拟按键(如果有的话)。一旦得到这种信息，则可向配对装置80的输入端口130提供恰当的KEYUP、KEYDOWN以及按键扫描代码或者其它输入信号，就象正被提供的数据或命令由实际键盘或者其它输入装置产生一样。
在时间t0时或者在此之前，阵列230中的各个像素计数器320从控制器260接收CONTROL信号，所述CONTROL信号把计数器中以前保存的任意计数值置0。在时间t0，控制器260向各个计数器发出START命令，于是各个计数器开始计数并累积来自于时钟290的CLOCK脉冲。在光脉冲的往返飞行时间(TOF)内，各个计数器累计CLOCK脉冲，越多的累积时钟脉冲代表越长的TOF，即成像对象上反光点和系统200之间的距离越大。
与系统200相关的聚焦透镜288的基本特征是这样的，使得来自成像对象20的表面上某一点的反射光只会落在阵列中聚焦于该点的像素上。从而，在时间t1，从对象20的表面上最近的点反射的光子光能将通过透镜/滤光器288，并将落在阵列230中聚焦于该点的像素检测器240上。与透镜288相关的滤光器确保只有具有光源220发出的波长的输入光线才会无衰减地落在检测器阵列上。
假定阵列230内的一个特定像素检测器240聚焦于最近的用户手指的指尖70上的最近表面点。相关检测器300将检测像素检测器响应从这样的对象点输入的光子能量所输出的电压。脉冲检测器300最好被实现为检测较小但是快速变化的像素输出电流或电压的放大峰值检测器。当快速变化的输出电压大到足以被检测到时，检测器300内的逻辑电路(例如SR触发器)切换到锁存输出脉冲，该输出脉冲以STOP信号的形式被提供给相关计数器320。从而，在相关计数器320内累积的计数数目将表示出到所考虑的指尖的最近部分的往返TOF，一个可计算的距离Z1。
可根据下述关系式确定距离Z1，其中C是光速：
Z1＝C*(t1-t0)/2
在稍后的时间t2，光子能量将从用户指尖30上距离稍远的部分到达透镜288，并将落在阵列230上，由另一像素检测器检测。迄今与所述另一检测器相关的计数器从时间t0开始一直在计数CLOCK脉冲，如同除了在时间t1停止计数的那个计数器之外的所有计数器那样。在时间t2，与刚刚接收并检测输入光子能量的像素相关的脉冲检测器将向相关的计数器发出STOP命令。该计数器中累积的计数值将反映到指尖上中间点的往返TOF，距离Z2。在IC 210内，执行保存在存储器280中的软件例程285的控制器260可计算与对象表面上各个光反射点的TOF数据相关的距离。通过检测连续多帧的获取数据，可计算速度。
按照类似的方式，在时间t3，阵列中的又一像素检测器将为其相关脉冲检测器300检测刚刚到达的足够的光子能量，从而向相关计数器发出STOP命令。该计数器中累积的计数值代表到成像对象上更远距离Z3的TOF数据。虽然为了便于举例说明，图3只表示了均在一个指尖附近的三个发射光线及光线反射，但是实际上所有基体和用户手指及拇指将被光源220照射，并且将至少把一些能量反射入与三维传感器20相关的透镜288中。
当然，阵列中的一些像素可能未从它们所聚焦的对象点收到足够的反射光线。这样，在预定时间(预定时间可被编程写入控制器260中)之后，由于脉冲检测的缘故，与传感器阵列中各个像素相关的计数器将被停止(或者将被假定为保存对应于位于距离Z＝无穷远的目标的计数值)。
如上所述，在本申请中，如果系统200能够对位于20厘米-30厘米的范围内，例如约20厘米加上基体50上最高一行虚拟按键和最低一行虚拟按键之间的距离的范围内的对象精确成像就足够了。利用检测到的各个反射光脉冲，确定关于阵列中各个像素的计数器计算的TOF距离值，并且最好将其保存在与装置270相关的RAM中的帧缓冲器中。微处理器260最好检测保存在RAM中的连续帧，从而识别视场中的对象及对象位置。随后微处理器260可计算对象，例如手指移动速度。除了计算距离和速度之外，微处理器和相关的单片电路最好被编程为识别用户手指的外形或者轮廓，以及把手指表面和基体表面区分开。一旦识别了手指轮廓，则系统200可通过COM或USB或其它端口把相关数字数据和命令输出给配对计算机系统。
上述例子说明了在三个独立的时间t1、t2、t3接收光子能量的三个像素检测器如何关闭相关的计数器，所述计数器的累积计数值可用于计算到视场中的手指表面和基体的距离Z1、Z2、Z3。实际上，对于每个光脉冲，本发明并不仅仅处理三个这样的计算，而是处理数千或者数万个这样的计算，取决于阵列的大小。这种处理可在IC芯片210上进行，例如通过利用微处理器260执行保存在(或者可保存在)ROM 280中的例程285进行这种处理。阵列中的每个像素检测器在检测阵列上具有唯一的位置定位，并且可唯一地识别从与各个像素检测器相关的高速计数器输出的计数。从而，由二维检测阵列230收集的TOF数据可被信号处理，从而提供到三维对象表面，例如用户的手指和基体的准确距离。要理解如果需要，可随机地获取来自于CMOS兼容的检测器240的输出，这允许按照任意顺序输出TOF数据。
光源220最好是发射波长约为800nm的能量的LED或激光器，不过也可使用其它波长。低于800nm波长，发出的光线开始变得可见，激光器效率被降低。高于900nm，CMOS传感器效率快速降低，总之，1100nm是在硅基体上制备的装置，例如IC 210的上限波长。如前所述，通过发射具有特定波长的光脉冲，并且通过滤出不同波长的输入光线，系统200可在存在或不存在环境光线的情况下工作。如果基体50包含，例如确定虚拟按键的轮廓的凸脊，则用户可在黑暗中逐字打字，系统200仍然能够正确地工作。这种不依赖于环境光线进行工作的能力完全和例如Korth描述的现有方案相反。如前所述，即使对于未达到盲打水平的用户来说，通过在配对装置80的显示器上提供虚拟键盘的图像，在黑暗中仍然能够使用本发明。
如前所述，透镜288最好把过滤的输入光能聚焦于传感器阵列230上，从而阵列中的各个像素只接收来自于视场中的一个特定点(例如对象表面上的点)的光线。光波传播的性质允许使用普通透镜288把光线聚焦到传感器阵列上。如果需要透镜对发射光线聚焦，那么如果使用类似于镜子的结构，就可把单个透镜用于288、288′。
在实际应用中，传感器阵列230最好具有足够的分辨率，以便区分约为1厘米的目标距离，这意味着各个像素必须能够分辨约为70皮秒的时间差(例如1厘米/C)。就CMOS实现的系统规范来说，高速计数器320必须能够把时间分解到约70皮秒内，峰值脉冲检测器315必须是在约为几百微伏(V)的检测灵敏度条件下，也能够分辨约70皮秒(在对约100个样本求平均值之后)的低噪声高速装置。准确的距离测量需要从总的共用时间中除去脉冲检测器响应时间。最后，电路280输出的CLOCK信号应具有约为2ns的周期。
如前所述，每个插值计数器320最好能够分辨约为1厘米的距离，这意味着把时间分解为约为70皮秒。利用具有70皮秒有效周期时间的10位计数器可产生约为10米(例如1024厘米)的最大系统检测距离。在最坏的情况下，实现普通的10计数器一般需要40个门电路的通道，每个门电路一般需要200皮秒，总的传播时间约为8ns。这会把最快的系统时钟周期时间限制到约10ns。以利用先行进位硬件为代价可降低计数器传播时间，但是很难实现2ns的系统周期时间。
为了获得所需的周期时间，可使用所谓的伪随机序列计数器(PRSC)，有时称为线性移位寄存器(LSR)。在申请人前面提及的同时待审的发明专利申请中可找到关于实现包括PRSC装置的高速计数器的细节。
现在参考图5说明识别观察的光场内的用户手指的轮廓涉及的各种考虑事项，图5描述了用户的两个手指的横截面。+符号表示对手指成像的阵列210中的各个像素传感器的矢量距离值的子帧((帧内)样本。在获得的各个样本中，相对于被成像手指对象的相同点，与像素传感器相关的固有噪声产生不断变化的矢量距离。为了降低噪声并改善信号/噪声，传感器中和各个像素的测量结果，从而产生该帧的平均值，图5中用○符号表示。图5中的□符号表示当保存的例证手指形状横截面的模板或者一组保存的例证手指形状横截面被例程285用于解释所述平均值时的校正平均值。该方法提高了距离测量准确性，并且减少了在识别用户手指方面的不确定性。
数据收集噪声会影响识别用户手指并确定手指动作及速度所需的最小帧速率。在基于TOF的成像术中，如同本发明中使用的一样，像素级噪声把其自身表现为指定像素的距离值方面的变化，这种变化因帧而异，即使被成像对象保持固定不动。
为了便于举例说明，图1A和2A、2B中描述的键盘图像被描绘成矩阵，例如均匀的行和列。但是实际上，如图6中部分所示，标准的QWERTY型键盘(以及实际上具有其它按键结构的键盘)被设计成偏移或者交错的结构。有利的是，通过考虑到实际键盘布局的交错，本发明降低了对Z轴分辨率的要求。从而，从键盘顶部开始的第二行稍向右移，第三行(从顶部数起)更向右移，以此类推。这种交错把按键放置在各行中相对于相邻一行中的按键偏移的位置中。举例来说，注意图6中的键盘字母“G”。虚线矩形400指出用户击打字母“G”时所允许的范围，例如，该矩形区内的任意虚拟接触将明确地被理解为用户手指触及字母“G”。该矩形的高度(由Z表示)是检测Z轴坐标时许可的最大误差容限。注意该容限大于QWERTY键盘中单行R的高度。另外注意关于某一按键的识别区不必是矩形，可以是任意合理的形状，例如以按键为中心的椭圆形。
根据需要，CPU 270以及例程285可以使用三维数据帧根据获得的数据识别用户的手指。该任务被简化，因为数据实际上包括用户手指的三维表现，并且手指具有众所周知的形状，例如当从边缘观察时，手指在形状上稍微类似于圆柱形。如前所述，通过降低识别并跟踪手指位置所需的CPU时间，把手指形状的模板和手指及手的直观推断保存在存储器280中加快了手指识别。这种信号处理可很快降低数据收集噪声，并且更易于从获得的三维数据内辨别用户的手指。在帧内状态下还可提高信噪比，因为已知正被成像的场景的情况，例如该场景包括虚拟键盘和用户的双手。最好对几百个数据捕获求平均值，或者使用几百个数据捕获来构建一帧获得的数据。
一旦识别出用户的手指，则软件例程285(或者等同的例程，可能由除CPU 260以外的其它器件执行)随后可确定手指的位置和动作(例如单位时间的位置相对变化)。由于代表手指的数据呈三维形式，因此例程285能够容易地消除背景图像，并且只集中于用户双手上。在Korth二维成像方案中，该任务非常困难，因为背景对象的形状和移动(例如用户的袖子、手臂、身体、椅子外形等)会干扰对象跟踪和识别软件例程。
通过利用指尖的轮廓，例程285使用Z轴距离测量结果来确定手指相对于虚拟键盘各行的位置，例如图1A中的距离Z1或Z2。如前所述，这种轴测量结果的间隔尺寸明显大于在图1A中所描述的。X轴距离测量结果提供和指尖相对于虚拟键盘各列的位置有关的数据。通过利用行列坐标数，软件285可确定各个手指触及的实际虚拟按键，例如图1A中由左手食指触及的按键“T”。
为了帮助用户在诸如键盘、数字小键盘、电话机号码盘之类特定虚拟输入装置上确定手指的位置，配对装置80内的软件可被用于在与该装置相关的屏幕90(例如PDA或者蜂窝电话机屏幕)上，或者在与装置80耦接的显示终端上显示软键盘。软键盘图像将通过，例如突出显示直接位于用户手指之下的按键，显示虚拟键盘50上(或者附近的)所有按键的用户手指位置。当某一按键实际被击打时(根据用户手指的移动来察觉)，可利用不同的颜色或者相反的颜色突出显示被击打的按键。如果虚拟按键不在正确的静止位置，则用户可命令配对装置把虚拟键盘或者其它输入装置放置在正确的开始位置。例如，如果用户一般通过把右手手指放置在起始按键J、K、L和“：”上，把左手手指放置在起始按键F、D、S和A上开始击键，则软件将把虚拟键盘的按键移动到这样的位置。
检测用户手指的垂直Y轴动作，以便确定装置50上的哪些虚拟按键正在被击打。在击打机械键盘时，几个手指可能同时动作，但是在不存在双键输入，例如同时按下CONTROL键及“P”键，或者不存在排字错误的情况下，通常只有一个手指击打一个按键。在本发明中，软件例程285根据所获得信息的连续各帧，确定手指动作信息。有利的是，人手对手指的动作施加了某些限制，在模拟用户双手和手指的图像中采用了这些限制。例如，手指的连接特性在手指的移动之间施加了某些耦合性。手指关节处的自由度要要移动，例如接近或者远离其它手指的各个手指赋予一定的自由。有利的是，例程285可采用几种直观推断来确定哪个虚拟按键正在被击打。例如，键击可被检测为从其后跟随快速手指向下动作的被检测手指的向上移动开始。具有最小Y轴位置或者最大向下速度的用户手指被选为键盘输入手指，例如将击打虚拟数据输入装置中的虚拟按键之一的手指。
通过智能监视用户手指的移动，辨别用户的无意键盘输入。例如，用户可把手指放置在基体50的表面上，而不触发无意识的按键输入。这类似于使用机械键盘的打字员把他或她的手指放置在按键上，而不会足够用力地按下任意按键以致键入的情况。本发明的用户还被允许在虚拟键盘上轻轻地移动他或她的手指，而不会无意触发任意按键。软件285可校准其操作，以致只有有意的手势才会被认为是把数据或命令输入配对计算机装置80中的有效键盘输入。
当被诸如CPU270之类的CPU执行时，软件285可用于实现用于识别哪些虚拟按键正被本发明的用户击打的算法或例程。该算法的输入数据是从传感器20获得的三维光学信息。例证的算法可被看成具有三个阶段：建立并个性化模板，校准，并实际跟踪正在击打虚拟键盘或者工作面的用户。在下面的描述中，将假定进行使用所有手指的正常打字。对于只使用一个或两个手指的情况，将应用该算法的特殊情形。
模板是不同用户的不同打字姿势的预定模型。这类模板以一组系统用户的分析为基础，所述一组系统用户的各种打字风格被分类。注意模板可产生于输入数据的例子(例如通过观察处于打字位置的手指收集的数据的例子)或者产生于被跟踪对象的几何特性的预编程数学描述(例如手指的圆柱形描述)。可在制备ROM，尤其是例程285的时候产生作为结果的模板。由于键盘按键的位置和形状对用户施加了某些风格共性，因此要理解预定模板的数目不必过大。
最好本发明的各个用户还可利用引导用户通过建立模板所需的步骤的训练工具，构建他们自己的专用模板。例如，软件285的训练程序部分可在显示器90上呈现告诉用户把他或她的手指放在虚拟键盘(如果存在的话)或者配对装置80前面的工作面上的打字位置上的命令。随后训练程序告诉用户反复按下各个手指下的虚拟按键。光学捕获拇指移动可被看作是特殊情况，因为拇指移动不同于其它手指的移动，并且一般被限制于按下虚拟键盘或者工作面的空格键区域。
就建立模板来说，最好把模板图像中的对象的类别构造成用户双手的不同手指。如同下面更详细说明的那样，该方法步骤为分类程序或者算法例程收集关于用户双手的物理特性的信息。随后，在实际打字过程中，分类程序使用该模板很快把获得帧中的图像映象到各个用户手指。作为模板构建的一部分，最好确定相对于处于静止位置的特定键盘按键的用户手指位置的映象。例如，例程285和CPU 270可通知配对装置80，静止时用户的左手手指触及：“A”、“S”、“D”和“F”键，用户的右手手指触及“J”、“K”、“L”和“：”键。这种方法步骤按照特定用户的风格个性化虚拟键盘。这种个性化过程只进行一次，不必反复进行，除非用户的打字姿势显著改变到过多的错误按键被识别为已被击打的程度。可如下进行根据本发明的校准过程。在开始打字时，用户将通过使正被装置80运行的应用程序处于文本输入模式，发信号通知配对装置80。例如，如果装置80是PDA，则用户可利用输入笔或者手指触及在屏幕80上显示的文本域，从而把配对装置80应用程序的输入中心调整到文本域。利用与其它配对装置相关的程序，可把其它配对装置调整到适当的文本输入模式。
随后用户的手指被放入三维传感器20前面的工作面上的打字位置，或者放在虚拟键盘上的打字位置或者简单地放在工作面上。该步骤用于把用户手指映象成模板的元素，并在开始打字之前，按照虚拟键盘(或者工作面)的按键校准用户的手指。
在此时刻，三维传感器20将反复捕获用户手指的轮廓图。这样捕获的数据将由软件285放入如图7A-7O中所示的表格或者矩阵中。
图7A描绘了当被传感器20成像时，正在击打实际键盘的用户的左手。传感器20的视场(FOV)有意指向上工作面，在本例中，所述工作面是实际键盘。图中表示了左手的五个手指，并且可被识别为手指1(拇指)、2、3、4和5(小指)。手指后面及手指之间的交叉阴影区表示太暗以致不能被本发明看作是用户手指一部分的区域。在实际的设置中，暗度当然不断变化，而不是这里为了表示理解及说明所表示的均匀黑暗区。
图7A中表示了覆盖网格状矩阵或者表格，其中不同的区域具有代表用户手指的相关表面部分和传感器20之间的标准化矢量距离的量化数字。要明白这些量化距离数值由本发明，例如由软件285动态计算。在图7A中所示的映象中，低的数字值，例如1、2表示近的距离，较高的数值，例如7、8表示远的距离。“d”值表示察觉的不连续点。根据与传感器20相关的技术，“d”值可相差极大地振荡，并且指示前景对象的不存在。在图7A中，量化距离值指出和其距离值较低，例如1的用户左手食指相比，用户左手拇指远离传感器20(由为7和8的相对较高的距离指出)。另外可看出用户左手小指与传感器20的距离一般比用户的食指与传感器20的距离大。
图7A的中央部分是表示标准化距离值以及适当地方的“d”项目的表格或矩阵。图7B-7O中表示了类似的表格。表格项目可代表用户手指的轮廓，并且已把阴影增加到这些表格中，以帮助表示到用户手指轮廓的距离数据的潜在映象。从图7A的FOV部分指向表格中各列的箭头指出各个数据列如何能够表示用户手指位置的轮廓。在图7A-7O中所示的表格中，带圈的数字“1”、“2”…“5”分别描述对应于用户左手拇指(手指“1”)、食指、中指、无名指和小指(手指“5”)的感知位置的轮廓。
如前所述，在本发明中最好使用模板来帮助从传感器20获得的数据中识别用户手指位置。当不连续点不一定明显时，模板可帮助分类算法(或者分类程序)285区分手指之间的边界。例如，在图7A中，用户的第三和第四手指(手指3和4)相对靠近在一起。
图7A底部所示的是以传感器感知的距离值、动态速度值的本发明的分析以及与识别在什么时间哪些按键(真实的或者虚拟的)正被按下的整体任务相关的直观推断为基础的用户正在键入内容的动态显示。从而，在图7A中捕捉的时刻，因为部分键入的短语100可出现在配对装置80的显示器90上，用户的左手食指(手指2)看起来刚刚键入了可能是句子“The quick brown fox jumped over the lazy dog”中的字母“f”。
软件例程285的校准阶段最好用户便于使用。因此，例程285实质上把虚拟键盘移动或者重定位到用户手指之下。可通过把从传感器20获得的图像映射成模板的手指，随后把触及的按键映射到用户的自然位置进行这种程序，在模板构建阶段确定所述自然位置。
校准步骤确定初始状态或者静止位置，并把位于静止位置的用户手指映射到键盘上的特定按键。如图1B中所示，在假定存在屏幕90的情况下，最好在配对装置80的屏幕90上显示的软键盘105上突出显示被触及或者非常接近(但是未被按下)的“按键”107。所述静止位置还是打字结束时用户手指的位置。
在实际打字过程中，例程285感知用户的手指，并把手指的移动映象到虚拟键盘上的正确按键。在开始该算法的这一阶段之前，已使相关配对装置80应用程序进入文本输入模式，并且相关配对装置80应用程序将准备接受键盘事件(例如KEYUP和KEYDOWN)。
可以多种方式实现例程285(或者等同物)。在优选实施例中，例程285使用三个模块。“分类程序”模块用于把各帧中的群映象成用户手指。“跟踪程序”模块用于通过搜索击打按键的手指，并且确定用户手指和虚拟键盘或者其它工作面上某一位置之间击打点的坐标，跟踪活动手指的动作。第三个“映象程序”模块把用户手指的击打点映象到虚拟键盘上的特定按键，并向配对装置80发送按键事件。下面将更详细地说明这些例证模块。
分类程序模拟的任务是针对以光学方式获得的各帧数据，感知由传感器20产生的场景的轮廓图。群集模块将识别具有某些共性，例如为同一表面的一部分的群集。重要的是，分类程序将标记每个群集，从而可在获得的连续数据帧中把相同的群集和其它群集区分开。分类程序还确定各个群集的边界，具体地说确定各个群集的尖端，所述尖端对应于用户手指的指尖。目的不是识别用户手指本身，因为实际上用户可能正拿着用于按下虚拟按键或者按键的虚拟位置的棒状物或者输入笔。从而上述模板主要用于对这些群集赋予含义，并帮助形成群集。
一种成群或者定位群集的方法是使用最近相邻条件来形成最近相邻分区，其中各个分区映象为用户的各个手指。这种映象会产生用户左手的5个分区和用户右手的5个分区，其中可单独处理左手分区和右手分区。
一种分区形成方法以Llyod算法为基础。在图像处理领域中众所周知的该算法的细节可在Allen Gersho和Robert Gray的教科书VectorQuantization and Signal Compresseion中找到(参见第362页)。举例来说，假定Ct＝{ci；i＝1，...5}为一只手的分区集合。在各个分区中，确定一组点Pi，t＝{r：d(r，ci)＜d(r，cj)；j＜＞i}，其中函数d()是该集合中两个点之间的距离的量度。如果d(r，ci)＝d(r，cj)，则通过把该点放入下标较小的集合中可打破这种“相等关系”。对于两个点a和b来说，d(a，b)可被定义为(xa-xb)2+(ya-yb)2+(za-zb)2，其中x、y和z是从传感器20获得的轴线测量结果。函数center(Pi，t)可被定义为Pi，t中点的重心或者质心。接下来定义Ct+1＝{center(Pi，t)；i＝1，...5}。通过利用新的质心，如上所述可找到Pi，t+1。继续进行迭代(例如由例程285或者等同物进行)，直到两个连续Pi集合的全体元素保持不变为止。一般来说，通过3-4次迭代，迭代收敛，并且最终的集合Pi中的点是各个用户手指的点群集。利用这种方法，分类程序的根本目的不是识别用户手指本身，而是确定哪个按键被用户手指击打。这种观察使得分类程序能够容许击键区外围中不影响系统性能的成群误差。
下面将根据图7A-7O中所示的矩阵更充分地说明跟踪程序模块，在图7A-7O中，群集被描影，以帮助在视觉上理解数据。感知的群集最好被输入将持续跟踪各个群集的移动的跟踪程序模块中。跟踪程序模块尤其注意较快的上下移动，并将计算群集的速度和方法。
图7D-7K描绘了表示当用户的第二手指向上升起，随后向下移动，从而击打在位于第二手指指端之下的(虚拟)按键时获得的一系列图像的矩阵表格。被跟踪程序模块密切监视的各个群集的尖端最好已被分类程序模块识别出。在实际的图像中，其它用户手指也可能轻微移动，但是在所述的例子中，分类程序确定和其它手指的移动相比，左手食指(手指2)的加速度变化率明显较大。
在图7D-7D中，增加了表示感知的群集(例如用户手指)的方向和尖端的指示箭头。在图7D-7F中，手指移动的群集向上，图7F表示用户手指的最大向上位置，例如根据传感器20获得的数据确定的最大Y轴位置。在图7G-7H中，手指的群集现在向下移动，例如朝着虚拟键盘50或者工作面60移动。在图7I中，感知用户手指和虚拟按键或者工作面上的按键位置的接触。
例程285(或者其它例程)可按照几种方式计算指尖的垂直速度。在优选实施例中，跟踪程序模块通过用在该序列内获得的帧的数目去除指尖的最高位置和最低位置之间的差值，计算用户指尖(由分类程序识别)的垂直速度。利用依据帧数的Y轴分辨率来计算该速度，所述Y轴分辨率与每秒的帧速率无关。为了记录键击，计算的Y轴速度必须等于或大于阈值速度。阈值速度是软件285使用的一个参数，并且最好在个性化步骤内用户能够进行调整。
图7J-7O描绘其中一个更复杂的序列表示用户左手食指(手指2)沿下后方的移动的矩阵表格。在图7O中，该手指动作被表示成到达在虚拟键盘的第一行中的某一按键(或者装置80前面的工作面上会找到这样的虚拟按键的位置)上的键击的顶点。
现在提及映象程序模块，当其确定已检测到键击时，跟踪程序模块将通知映象程序模块，并且跟踪程序模块传递群集尖端的群集尖端(X、Y、Z)坐标。映象程序模块使用Z轴值确定虚拟键盘上的行位置，并使用X轴和Y轴值确定该行内的按键。例如参见图1A，坐标(X、Y、Z)位置(7、0、3)可表示虚拟键盘上的字母“T”。同样要明白各个模块最好包括软件例程285的各个部分，不过也可使用其它例程，包括由除CPU 285之外的其它执行装置执行的例程。
在不脱离下述权利要求限定的本发明的主题和精神的情况下，可对公开的实施例做出修改和变化。例如如果需要，可采用一个以上的传感器来获取三维位置信息。

Claims (25)

1、一种用户通过利用用户可控对象，与虚拟输入装置交互作用的方法，所述方法包括下述步骤：
(a)提供能够获得所述用户可控对象的至少一部分相对于工作面的相对位置的位置坐标信息的传感器，其中在所述工作面上确定所述虚拟输入装置；
(b)处理由所述传感器所获得的信息，与所述用户可控对象的速度无关地确定下述至少之一：(i)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的所述工作面某一位置，和(ii)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的位置，并且如果触及，则确定所述虚拟输入装置的哪一功能与所述位置相关；
(c)向配对装置输出在步骤(b)中处理的信息。
2、按照权利要求1所述的方法，其中所述传感器利用下述至少之一：(i)从所述传感器到所述用户可控对象的表面部分的飞行时间，(ii)基于发光度的数据，(iii)立体照相布置的照相机，和(iv)利用x轴∶y轴宽高比大于2∶1的固态传感器获取所述信息来获得所述信息。
3、按照权利要求1所述的方法，其中所述用户可控对象选自(i)用户手上的手指，和(ii)输入笔设备。
4、按照权利要求1所述的方法，其中所述工作面选自(i)三维空间，(ii)物理平面，(iii)基体，(iv)支承实际键盘的用户可视图像的基体，(v)其上投射实际键盘的用户可视图像的基体，(v)其上投射用户可视的打字指导的基体，(vii)支承实际键盘的用户可视图像，并且包括当被所述用户手指按下时，提供触觉反馈的被动式键状区域的被动式基体，和(viii)当使用时尺寸至少为15.2cm×30.4cm，但是当不使用时尺寸小于15.2cm×20.3cm的基体，以及(ix)一个虚拟平面。
5、按照权利要求1所述的方法，还包括向所述用户提供引导放置用户可控对象的反馈，所述反馈包括下述至少一种反馈：(i)模拟用户击打实际键盘的触觉反馈，(ii)听得见的反馈，(iii)描述至少一个键盘按键的图像的视觉反馈，(iv)视觉反馈，其中在视觉上可把所述用户可控对象触及的虚拟按键和其它虚拟按键区分开，和(iii)描述所述用户可控对象输入的数据的视觉反馈。
6、按照权利要求1所述的方法，其中在步骤(b)做出的确定至少包括下述之一：(i)代表字母数字字符的数字代码，(ii)代表命令的数字代码，(iii)代表被所述用户可控对象跟踪的点的轨迹的数字代码。
7、按照权利要求1所述的方法，其中(b)包括至少利用下述之一：(i)所述用户可控对象的末端部分的位置，(ii)所述末端部分在至少一个方向上的速度信息，(iii)使获得的信息与所述用户可控对象的模板模型匹配，(iv)滞后信息处理，和(v)利用所述虚拟输入装置输入的数据的语言知识，相对于所述工作面上的某一位置，来确定所述用户可控对象的末端部分的空间位置。
8、按照权利要求1所述的方法，还包括把所述用户可控对象的尖端部分的位置映象到实际键盘上的按键，并且如果所述按键存在于所述工作面上，则确定所述按键中的哪些按键已被击打。
9、按照权利要求1所述的方法，其中所述用户可控对象包括所述用户的手上的多个手指，其中数据由所述传感器以帧的形式收集，从而可从所述帧中的单个帧中获得位置坐标信息。
10、按照权利要求1所述的方法，其中所述配对系统至少包括下述一种装置：(i)PDA，(ii)无线电话机，(iii)机顶盒，(iv)计算机，和(v)适于接受输入数据的器具。
11、按照权利要求9所述的方法，其中步骤(b)包括处理在连续帧中获得的位置坐标信息，从而至少确定下述之一：(i)和所述用户一只手的至少两个手指相关的位置坐标信息，和(ii)和所述用户的一只手的至少两个手指相关的位置坐标信息，包括所述至少两个手指的垂直速度分量。
12、按照权利要求1所述的方法，其中大体实时地进行下述至少之一：(i)获得所述位置坐标信息，和(ii)处理所述信息。
13、一种和配对装置一起使用的系统，所述配对装置用于接收由相对于虚拟输入装置操纵用户可控对象的用户提供的数字输入，包括：
能够获得所述用户可控对象的至少一部分相对于工作面的位置坐标信息的传感器，其中在所述工作面上确定所述虚拟输入装置，从而通过利用所述用户可控对象，所述用户将信息输入所述配对装置中；
处理由所述传感器获得的信息，以便与所述用户可控对象的速度无关地确定下述至少之一：(i)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的所述工作面某一位置，和(ii)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的位置，并且如果触及，则确定所述虚拟输入装置的哪一功能与所述位置相关的处理器；和
所述处理器将与所述触及的位置相称的数字信息输出给所述配对系统。
14、按照权利要求13所述的系统，其中所述传感器利用下述至少之一：(i)x轴∶y轴宽高比大于2∶1的固态传感器，(ii)立体照相布置的照相机，(iii)从所述传感器到所述用户可控对象的表面部分的飞行时间，和(iv)基于发光度的数据来获得所述信息。
15、按照权利要求13所述的系统，其中所述用户可控对象选自(i)所述用户手上的手指，和(ii)输入笔设备。
16、按照权利要求13所述的系统，其中所述工作面选自(i)三维空间，(ii)物理平面，(iii)基体，(iv)支承实际键盘的用户可视图像的基体，(v)其上投射实际键盘的用户可视图像的基体，(v)其上投射用户可视的打字指导的基体，(vii)支承实际键盘的用户可视图像，并且包括当被所述用户手指按下时，提供触觉反馈的被动式键状区域的被动式基体，和(viii)当使用时尺寸至少为15.2cm×30.4cm，但是当不使用时尺寸小于15.2cm×20.3cm的基体，以及(ix)一个虚拟平面。
17、按照权利要求13所述的系统，其中所述系统向所述用户提供引导放置所述用户可控对象的反馈，所述反馈包括下述至少一种反馈：(i)模拟用户击打实际键盘的触觉反馈，(ii)听得见的反馈，(iii)描述至少一个键盘按键的图像的视觉反馈，(iv)视觉反馈，其中在视觉上可把所述用户可控对象触及的按键和其它虚拟按键区分开，和(v)描述所述用户可控对象输入的信息的视觉反馈。
18、按照权利要求13所述的系统，其中所述信息至少包括下述一种数据：(i)代表字母数字字符的数字代码，(ii)代表命令的数字代码，(iii)代表被所述用户可控对象跟踪的点的轨迹的数字代码。
19、按照权利要求13所述的系统，其中所述处理器通过利用下述至少之一：(i)所述用户可控对象的末端部分的三维位置，(ii)所述末端部分在至少一个方向上的速度信息，(iii)使获得的信息与所述用户可控对象的模板模型匹配，(iv)滞后信息处理，和(v)正利用所述虚拟输入装置输入的数据的语言知识，相对于所述工作面上的位置，确定所述用户可控对象的末端部分的空间位置。
20、按照权利要求13所述的系统，其中所述处理器把所述用户可控对象的尖端部分的位置映象到实际键盘上的按键，并且如果所述按键存在于所述工作面上，则确定所述按键中的哪些按键已被击打。
21、按照权利要求13所述的系统，其中大体实时地进行下述至少之一：(i)获得所述位置坐标信息，和(ii)处理获得的所述信息。
22、按照权利要求13所述的系统，还包括能够获得所述位置坐标信息的传感器阵列，其中所述阵列和所述处理器实现于单个集成电路上。
23、一种允许用户通过操纵用户可控对象与虚拟输入装置交互作用的系统，包括：
能够收集至少一部分所述用户可控对象相对于工作面的相对位置的位置信息的传感器阵列，其中在所述工作面上确定所述虚拟输入装置；
处理由所述传感器阵列获得的信息，以便与所述用户可控对象的速度无关地确定下述至少之一：(i)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的所述工作面某一位置，和(ii)所述用户可控对象的一部分是否触及代表所述虚拟输入装置的一部分的位置，并且如果触及，则确定所述虚拟输入装置的哪一功能与所述位置相关的处理器；和
耦接地接收从所述处理器输出的和所述触及的所述位置相称的数字信息的配对装置。
24、按照权利要求23的系统，其中所述用户可控对象选自(i)所述用户一只手上的一个手指，和(ii)输入笔设备，其中所述工作面选自(i)三维空间，(ii)物理平面，(iii)基体，(iv)支承实际键盘的用户可视图像的基体，(v)其上投射实际键盘的用户可视图像的基体，(v)其上投射用户可视的打字指导的基体，(vii)支承实际键盘的用户可视图像，并且包括当被所述用户手指按下时，发出听得见的声音的被动式键状区域的被动式基体，(viii)当使用时尺寸至少为15.2cm×30.4cm，但是当不使用时尺寸小于15.2cm×20.3cm的基体，和(ix)虚拟平面。
25、按照权利要求23所述的系统，其中大体实时地进行下述至少之一：(i)获得所述位置坐标信息，和(ii)处理获得的所述信息。
CNB018072992A 2000-02-11 2001-02-12 利用虚拟输入装置输入数据的方法和设备 Expired - Fee Related CN1232943C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/502,499 2000-02-11
US09/502,499 US6614422B1 (en) 1999-11-04 2000-02-11 Method and apparatus for entering data using a virtual input device

Publications (2)

Publication Number Publication Date
CN1439151A CN1439151A (zh) 2003-08-27
CN1232943C true CN1232943C (zh) 2005-12-21

Family

ID=23998118

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018072992A Expired - Fee Related CN1232943C (zh) 2000-02-11 2001-02-12 利用虚拟输入装置输入数据的方法和设备

Country Status (10)

Country Link
US (2) US6614422B1 (zh)
EP (1) EP1332488B1 (zh)
JP (1) JP2004500657A (zh)
KR (1) KR100811015B1 (zh)
CN (1) CN1232943C (zh)
AT (1) ATE481674T1 (zh)
AU (1) AU2001261818A1 (zh)
DE (1) DE60143094D1 (zh)
HK (1) HK1058425A1 (zh)
WO (1) WO2001059975A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467298A (zh) * 2010-11-18 2012-05-23 西安龙飞软件有限公司 一种虚拟手机键盘的实现方式

Families Citing this family (605)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831358B2 (en) * 1992-05-05 2010-11-09 Automotive Technologies International, Inc. Arrangement and method for obtaining information using phase difference of modulated illumination
US7808479B1 (en) 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
US20100008551A9 (en) * 1998-08-18 2010-01-14 Ilya Schiller Using handwritten information
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US7233321B1 (en) * 1998-12-15 2007-06-19 Intel Corporation Pointing device with integrated audio input
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US7170499B1 (en) * 1999-05-25 2007-01-30 Silverbrook Research Pty Ltd Handwritten text capture via interface surface
US20030132950A1 (en) * 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US20080122799A1 (en) * 2001-02-22 2008-05-29 Pryor Timothy R Human interfaces for vehicles, homes, and other applications
US6611252B1 (en) * 2000-05-17 2003-08-26 Dufaux Douglas P. Virtual data input device
WO2001093182A1 (en) * 2000-05-29 2001-12-06 Vkb Inc. Virtual data entry device and method for input of alphanumeric and other data
NO20003006L (no) * 2000-06-09 2001-12-10 Idex Asa Mus
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6906793B2 (en) * 2000-12-11 2005-06-14 Canesta, Inc. Methods and devices for charge management for three-dimensional sensing
US20020061217A1 (en) * 2000-11-17 2002-05-23 Robert Hillman Electronic input device
AU2002243265A1 (en) * 2000-11-19 2002-06-24 Canesta, Inc. Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions
FI113094B (fi) * 2000-12-15 2004-02-27 Nokia Corp Parannettu menetelmä ja järjestely toiminnon aikaansaamiseksi elektronisessa laitteessa ja elektroninen laite
JP2004523031A (ja) 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
US6943774B2 (en) * 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method
US6968073B1 (en) 2001-04-24 2005-11-22 Automotive Systems Laboratory, Inc. Occupant detection system
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US6904570B2 (en) * 2001-06-07 2005-06-07 Synaptics, Inc. Method and apparatus for controlling a display of data on a display screen
US6727891B2 (en) * 2001-07-03 2004-04-27 Netmor, Ltd. Input device for personal digital assistants
US8339379B2 (en) * 2004-04-29 2012-12-25 Neonode Inc. Light-based touch screen
JP2003152851A (ja) * 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
US7257255B2 (en) * 2001-11-21 2007-08-14 Candledragon, Inc. Capturing hand motion
JP2003233805A (ja) * 2001-12-04 2003-08-22 Canon Inc 画像入力装置
WO2003054683A2 (en) * 2001-12-07 2003-07-03 Canesta Inc. User interface for electronic devices
KR20030050741A (ko) * 2001-12-19 2003-06-25 삼성전자주식회사 화면 크기와 입력키의 수가 제한되는 휴대용 기기에서의빠르고 간편한 캐릭터 입력 방법 및 이를 이용하는 휴대용기기
US6977643B2 (en) * 2002-01-10 2005-12-20 International Business Machines Corporation System and method implementing non-physical pointers for computer devices
US7071924B2 (en) * 2002-01-10 2006-07-04 International Business Machines Corporation User input method and apparatus for handheld computers
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
GB2386346B (en) 2002-03-12 2005-06-15 Eleksen Ltd Flexible foldable keyboard
US20030197685A1 (en) * 2002-04-23 2003-10-23 Leland Yi Wireless keyboard with a built-in web camera
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
JP2004005272A (ja) * 2002-05-31 2004-01-08 Cad Center:Kk 仮想空間移動制御装置及び制御方法並びに制御プログラム
US20030226968A1 (en) * 2002-06-10 2003-12-11 Steve Montellese Apparatus and method for inputting data
EP1540641A2 (en) * 2002-06-26 2005-06-15 VKB Inc. Multifunctional integrated image sensor and application to virtual interface technology
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP3630153B2 (ja) * 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US6922187B2 (en) * 2002-07-23 2005-07-26 International Business Machines Corporation Method and apparatus for implementing a compact portable computer system
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US20040041716A1 (en) * 2002-08-29 2004-03-04 Compx International Inc. Virtual keyboard and keyboard support arm assembly
US20040041828A1 (en) * 2002-08-30 2004-03-04 Zellhoefer Jon William Adaptive non-contact computer user-interface system and method
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
US20040066500A1 (en) * 2002-10-02 2004-04-08 Gokturk Salih Burak Occupancy detection and measurement system and method
US20040075735A1 (en) * 2002-10-17 2004-04-22 Koninklijke Philips Electronics N.V. Method and system for producing a pseudo three-dimensional display utilizing a two-dimensional display device
US6999008B2 (en) * 2002-10-21 2006-02-14 Actisys, Corporation Universal mobile keyboard
US7009594B2 (en) * 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
US7133031B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Optical system design for a universal computing device
US7133563B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US8896575B2 (en) * 2002-11-04 2014-11-25 Neonode Inc. Pressure-sensitive touch screen
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
WO2004044664A1 (en) * 2002-11-06 2004-05-27 Julius Lin Virtual workstation
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US20040113956A1 (en) * 2002-12-12 2004-06-17 International Business Machines Corporation Apparatus and method for providing feedback regarding finger placement relative to an input device
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US20040119690A1 (en) * 2002-12-24 2004-06-24 Watters Scott W. System and method to interact remotely with an application displayed on a display device
US7102617B2 (en) * 2002-12-30 2006-09-05 Motorola, Inc. Compact optical pointing apparatus and method
TW594549B (en) * 2002-12-31 2004-06-21 Ind Tech Res Inst Device and method for generating virtual keyboard/display
US7194699B2 (en) * 2003-01-14 2007-03-20 Microsoft Corporation Animating images to reflect user selection
DE50308437D1 (de) * 2003-02-03 2007-11-29 Siemens Ag Projektion von synthetischer information
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
US7176438B2 (en) * 2003-04-11 2007-02-13 Canesta, Inc. Method and system to differentially enhance sensor dynamic range using enhanced common mode reset
WO2004093318A2 (en) * 2003-04-11 2004-10-28 Canesta, Inc. Method and system to differentially enhance sensor dynamic range
US7382360B2 (en) * 2003-04-15 2008-06-03 Synaptics Incorporated Methods and systems for changing the appearance of a position sensor with a light effect
KR100682885B1 (ko) * 2003-04-23 2007-02-15 삼성전자주식회사 공간형 정보 입력 장치 및 방법, 이를 위한 소프트 키매핑 방법 및 그에 따른 가상 키보드
JP4741488B2 (ja) * 2003-07-03 2011-08-03 ホロタッチ， インコーポレイテッド ホログラフィックヒューマンマシンインタフェース
US7173605B2 (en) * 2003-07-18 2007-02-06 International Business Machines Corporation Method and apparatus for providing projected user interface for computing device
US7581182B1 (en) * 2003-07-18 2009-08-25 Nvidia Corporation Apparatus, method, and 3D graphical user interface for media centers
US8217896B2 (en) * 2003-07-31 2012-07-10 Kye Systems Corporation Computer input device for automatically scrolling
US8487915B1 (en) 2003-09-11 2013-07-16 Luidia Inc. Mobile device incorporating projector and pen-location transcription system
US7382356B2 (en) * 2003-09-15 2008-06-03 Sharper Image Corp. Input unit for games and musical keyboards
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
ES2385914T3 (es) * 2003-09-18 2012-08-03 Vodafone Group Plc Terminal de comunicación de información
US7439074B2 (en) * 2003-09-30 2008-10-21 Hoa Duc Nguyen Method of analysis of alcohol by mass spectrometry
DE602004016185D1 (de) * 2003-10-03 2008-10-09 Automotive Systems Lab Insassenerfassungssystem
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
EP1676442A2 (en) * 2003-10-24 2006-07-05 Reactrix Systems, Inc. Method and system for managing an interactive video display system
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005043231A2 (en) * 2003-10-31 2005-05-12 Vkb Inc. Optical apparatus for virtual interface projection and sensing
US20050148432A1 (en) * 2003-11-03 2005-07-07 Carmein David E.E. Combined omni-directional treadmill and electronic perception technology
US20050096985A1 (en) * 2003-11-04 2005-05-05 Werden Todd C. Business system and method for a virtual point of sale system in a retail store
JP4611667B2 (ja) 2003-11-25 2011-01-12 健爾 西 情報入力器、収納装置、情報入力装置、及び情報処理装置
TWI227462B (en) * 2003-12-16 2005-02-01 Ind Tech Res Inst Projector device with virtual input element image
WO2005066744A1 (en) 2003-12-31 2005-07-21 Abb Research Ltd A virtual control panel
US20050141752A1 (en) * 2003-12-31 2005-06-30 France Telecom, S.A. Dynamically modifiable keyboard-style interface
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
WO2005065034A2 (en) * 2004-01-05 2005-07-21 Dikla Hasson System and method for improving typing skills
US7583842B2 (en) * 2004-01-06 2009-09-01 Microsoft Corporation Enhanced approach of m-array decoding and error correction
WO2005069114A1 (ja) * 2004-01-15 2005-07-28 Vodafone K.K. 移動体通信端末
US7263224B2 (en) * 2004-01-16 2007-08-28 Microsoft Corporation Strokes localization by m-array decoding and fast image matching
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
EP1751495A2 (en) * 2004-01-28 2007-02-14 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
US7212109B2 (en) * 2004-02-13 2007-05-01 Ge Medical Systems Global Technology Company, Llc Hygienic input device for medical information systems
JP4429047B2 (ja) 2004-03-11 2010-03-10 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
JP4522113B2 (ja) 2004-03-11 2010-08-11 キヤノン株式会社 座標入力装置
WO2005091651A2 (en) * 2004-03-18 2005-09-29 Reactrix Systems, Inc. Interactive video display system
JP2005267424A (ja) * 2004-03-19 2005-09-29 Fujitsu Ltd データ入力装置、情報処理装置、データ入力方法、データ入力プログラム
JP4475634B2 (ja) * 2004-03-26 2010-06-09 キヤノン株式会社 情報処理装置および方法
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
JP2005293473A (ja) * 2004-04-05 2005-10-20 Yokogawa Electric Corp 電子機器
US20050225473A1 (en) * 2004-04-08 2005-10-13 Alex Hill Infrared emission sensor
US7706638B1 (en) 2004-04-26 2010-04-27 National Semiconductor Corporation System, apparatus and method for color machine vision with black and white photoelectric sensor
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
RU2366113C2 (ru) * 2004-05-14 2009-08-27 Нокиа Корпорейшн Конфигурирование функциональных клавиш
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US20050273201A1 (en) * 2004-06-06 2005-12-08 Zukowski Deborra J Method and system for deployment of sensors
US7787706B2 (en) 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7515135B2 (en) * 2004-06-15 2009-04-07 Research In Motion Limited Virtual keypad for touchscreen display
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
KR100636483B1 (ko) 2004-06-25 2006-10-18 삼성에스디아이 주식회사 트랜지스터와 그의 제조방법 및 발광 표시장치
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7724242B2 (en) * 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US20070046643A1 (en) * 2004-08-06 2007-03-01 Hillis W Daniel State-Based Approach to Gesture Identification
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7719523B2 (en) * 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US20060036947A1 (en) * 2004-08-10 2006-02-16 Jelley Kevin W User interface controller method and apparatus for a handheld electronic device
US20060050062A1 (en) * 2004-08-19 2006-03-09 Masanori Ozawa Input device
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US20060101504A1 (en) * 2004-11-09 2006-05-11 Veveo.Tv, Inc. Method and system for performing searches for television content and channels using a non-intrusive television interface and with reduced text input
US7895218B2 (en) * 2004-11-09 2011-02-22 Veveo, Inc. Method and system for performing searches for television content using reduced text input
WO2006053011A2 (en) * 2004-11-09 2006-05-18 Veveo, Inc. Method and system for secure sharing, gifting, and purchasing of content on television and mobile devices
US20070266406A1 (en) * 2004-11-09 2007-11-15 Murali Aravamudan Method and system for performing actions using a non-intrusive television with reduced text input
DE102005061211B4 (de) 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
US20130128118A1 (en) * 2004-12-23 2013-05-23 Kuo-Ching Chiang Smart TV with Multiple Sub-Display Windows and the Method of the Same
US7467075B2 (en) * 2004-12-23 2008-12-16 Covidien Ag Three-dimensional finite-element code for electrosurgery and thermal ablation simulations
US20060152482A1 (en) 2005-01-07 2006-07-13 Chauncy Godwin Virtual interface and control device
US7796116B2 (en) 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
CN100410857C (zh) * 2005-01-27 2008-08-13 时代光电科技股份有限公司 资料输入装置
US7539513B2 (en) 2005-02-02 2009-05-26 National Telephone Products, Inc. Portable phone with ergonomic image projection system
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US9760214B2 (en) * 2005-02-23 2017-09-12 Zienon, Llc Method and apparatus for data entry input
US9274551B2 (en) * 2005-02-23 2016-03-01 Zienon, Llc Method and apparatus for data entry input
WO2006090386A2 (en) * 2005-02-24 2006-08-31 Vkb Inc. A virtual keyboard device
US20060192763A1 (en) * 2005-02-25 2006-08-31 Ziemkowski Theodore B Sound-based virtual keyboard, device and method
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US20060215913A1 (en) * 2005-03-24 2006-09-28 Microsoft Corporation Maze pattern analysis with image matching
JP4612853B2 (ja) * 2005-03-29 2011-01-12 キヤノン株式会社 指示位置認識装置及びそれを有する情報入力装置
CN100367159C (zh) * 2005-04-04 2008-02-06 技嘉科技股份有限公司 虚拟键盘
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US20060242562A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US7499027B2 (en) * 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US20060244720A1 (en) * 2005-04-29 2006-11-02 Tracy James L Collapsible projection assembly
WO2006117736A1 (en) * 2005-05-04 2006-11-09 Koninklijke Philips Electronics, N.V. System and method for projecting control graphics
US7729539B2 (en) * 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US7580576B2 (en) * 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
US20060279532A1 (en) * 2005-06-14 2006-12-14 Olszewski Piotr S Data input device controlled by motions of hands and fingers
US7525538B2 (en) * 2005-06-28 2009-04-28 Microsoft Corporation Using same optics to image, illuminate, and project
US8122034B2 (en) 2005-06-30 2012-02-21 Veveo, Inc. Method and system for incremental search with reduced text entry where the relevance of results is a dynamically computed function of user input search string character count
US20070008293A1 (en) * 2005-07-06 2007-01-11 International Business Machines Corporation Touch sensitive device and display
US20070019103A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
US20070019099A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
TW200708064A (en) * 2005-08-03 2007-02-16 Elan Microelectronics Corp Sensor array device of handheld image moving tracking sensor
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US7779011B2 (en) 2005-08-26 2010-08-17 Veveo, Inc. Method and system for dynamically processing ambiguous, reduced text search queries and highlighting results thereof
US7788266B2 (en) 2005-08-26 2010-08-31 Veveo, Inc. Method and system for processing ambiguous, multi-term search queries
WO2007025119A2 (en) * 2005-08-26 2007-03-01 Veveo, Inc. User interface for visual cooperation between text input and display device
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US20070063982A1 (en) * 2005-09-19 2007-03-22 Tran Bao Q Integrated rendering of sound and image on a display
US20070063979A1 (en) * 2005-09-19 2007-03-22 Available For Licensing Systems and methods to provide input/output for a portable data processing device
KR100631779B1 (ko) * 2005-10-07 2006-10-11 삼성전자주식회사 데이터 입력 장치 및 상기 장치를 이용한 데이터 입력 감지방법
US20070114277A1 (en) * 2005-11-21 2007-05-24 International Business Machines Corporation Apparatus and method for commercial transactions
US7644054B2 (en) * 2005-11-23 2010-01-05 Veveo, Inc. System and method for finding desired results by incremental search using an ambiguous keypad with the input containing orthographic and typographic errors
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US8279168B2 (en) * 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
US8060840B2 (en) 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
KR101286412B1 (ko) * 2005-12-29 2013-07-18 삼성전자주식회사 다중기능 가상 사용자 입력 장치 및 방법
US20070260703A1 (en) * 2006-01-27 2007-11-08 Sankar Ardhanari Methods and systems for transmission of subsequences of incremental query actions and selection of content items based on later received subsequences
KR20080106265A (ko) * 2006-02-16 2008-12-04 에프티케이 테크놀로지스 리미티드 컴퓨팅 시스템에 데이터를 입력하는 시스템 및 방법
US7515143B2 (en) * 2006-02-28 2009-04-07 Microsoft Corporation Uniform illumination of interactive display panel
US7739280B2 (en) 2006-03-06 2010-06-15 Veveo, Inc. Methods and systems for selecting and presenting content based on user preference information extracted from an aggregate preference signature
FR2898315B1 (fr) * 2006-03-08 2009-02-20 Peugeot Citroen Automobiles Sa Interface de commande d'un equipement fixe ou nomade de vehicule, avec utilisation d'un clavier virtuel
US8334841B2 (en) * 2006-03-13 2012-12-18 Navisense Virtual user interface method and system thereof
US8614669B2 (en) * 2006-03-13 2013-12-24 Navisense Touchless tablet method and system thereof
US8578282B2 (en) * 2006-03-15 2013-11-05 Navisense Visual toolkit for a virtual user interface
US7777728B2 (en) * 2006-03-17 2010-08-17 Nokia Corporation Mobile communication terminal
US8073860B2 (en) * 2006-03-30 2011-12-06 Veveo, Inc. Method and system for incrementally selecting and providing relevant search engines in response to a user query
US10048860B2 (en) 2006-04-06 2018-08-14 Google Technology Holdings LLC Method and apparatus for user interface adaptation
WO2007124436A2 (en) 2006-04-20 2007-11-01 Veveo, Inc. User interface methods and systems for selecting and presenting content based on relationships between the user and other members of an organization
US9152241B2 (en) * 2006-04-28 2015-10-06 Zienon, Llc Method and apparatus for efficient data input
KR100756521B1 (ko) 2006-05-03 2007-09-10 포텍마이크로시스템(주) 유아 교육용 프로젝션 키보드 시스템 및 이를 이용한 키입력 방법
US7755026B2 (en) * 2006-05-04 2010-07-13 CandleDragon Inc. Generating signals representative of sensed light that is associated with writing being done by a user
WO2007137093A2 (en) * 2006-05-16 2007-11-29 Madentec Systems and methods for a hands free mouse
US7492445B1 (en) * 2006-06-05 2009-02-17 Cypress Semiconductor Corporation Method and apparatus for robust velocity prediction
US7830368B2 (en) 2006-06-06 2010-11-09 3M Innovative Properties Company Keypad with virtual image
US20100214267A1 (en) * 2006-06-15 2010-08-26 Nokia Corporation Mobile device with virtual keypad
US20150121287A1 (en) * 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
JP4627052B2 (ja) 2006-07-06 2011-02-09 株式会社ソニー・コンピュータエンタテインメント 画像に連携した音声出力方法および装置
US7728816B2 (en) * 2006-07-10 2010-06-01 Cypress Semiconductor Corporation Optical navigation sensor with variable tracking resolution
US8913003B2 (en) * 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US8316324B2 (en) * 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
EP2062171A4 (en) 2006-09-14 2010-10-06 Veveo Inc METHOD AND SYSTEMS FOR THE DYNAMIC REORGANIZATION OF SEARCH RESULTS IN HIERARCHICALLY ORGANIZED CLAUSE CLUSTERS
US8037414B2 (en) 2006-09-14 2011-10-11 Avaya Inc. Audible computer user interface method and apparatus
US20080176201A1 (en) * 2006-09-20 2008-07-24 Technologies Humanware Canada Inc. User interface for an audio book player
TWI333624B (en) * 2006-09-27 2010-11-21 Chia Hoang Lee A virtual input device and the input method thereof
WO2008045690A2 (en) * 2006-10-06 2008-04-17 Veveo, Inc. Linear character selection display interface for ambiguous text input
WO2008063987A2 (en) 2006-11-13 2008-05-29 Veveo, Inc. Method of and system for selecting and presenting content based on user identification
US20080114615A1 (en) * 2006-11-15 2008-05-15 General Electric Company Methods and systems for gesture-based healthcare application interaction in thin-air display
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
EP1937032B1 (en) * 2006-12-20 2020-11-04 Electrolux Home Products Corporation N.V. Household appliance
KR100796779B1 (ko) 2007-01-02 2008-01-22 주식회사 셀런 무선입력장치의 다차원 공간맵핑을 통한 스캔 데이터송수신 방법 및 이를 위한 무선입력장치
US20080166175A1 (en) * 2007-01-05 2008-07-10 Candledragon, Inc. Holding and Using an Electronic Pen and Paper
CN100456219C (zh) * 2007-01-19 2009-01-28 崔永浩 借助物理传感方式令按键多重复用的键盘及其实现方法
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
WO2008124820A1 (en) * 2007-04-10 2008-10-16 Reactrix Systems, Inc. Display using a three dimensional vision system
US8115753B2 (en) 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
KR100913962B1 (ko) * 2007-05-14 2009-08-26 삼성전자주식회사 이동통신 단말기의 문자 입력 방법 및 장치
KR100888864B1 (ko) * 2007-05-21 2009-03-17 한국과학기술원 바이오 레이더와 기울기 센서를 이용한 문자 입력 장치
WO2008148012A1 (en) * 2007-05-25 2008-12-04 Veveo, Inc. System and method for text disambiguation and context designation in incremental search
US8296294B2 (en) 2007-05-25 2012-10-23 Veveo, Inc. Method and system for unified searching across and within multiple documents
US20080313574A1 (en) * 2007-05-25 2008-12-18 Veveo, Inc. System and method for search with reduced physical interaction requirements
CN101311881A (zh) * 2007-05-25 2008-11-26 佛山市顺德区顺达电脑厂有限公司 电子装置的辅助输入方法
TWI334023B (en) * 2007-06-21 2010-12-01 Coretronic Corp Optical sensing module and display device using the same
WO2009002441A1 (en) * 2007-06-22 2008-12-31 Wms Gaming Inc. Wagering game machine with virtual input device
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US20090048707A1 (en) * 2007-08-15 2009-02-19 Deline Jonathan E Fuel dispenser
AU2008280953A1 (en) 2007-08-30 2009-03-19 Next Holdings Ltd Optical touchscreen with improved illumination
CA2697856A1 (en) 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems
EP2188737A4 (en) 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
US9001016B2 (en) * 2007-09-19 2015-04-07 Nvidia Corporation Hardware driven display restore mechanism
US9110624B2 (en) 2007-09-21 2015-08-18 Nvdia Corporation Output restoration with input selection
US20090083035A1 (en) * 2007-09-25 2009-03-26 Ritchie Winson Huang Text pre-processing for text-to-speech generation
US8010895B2 (en) * 2007-10-24 2011-08-30 E-Lead Electronic Co., Ltd. Method for correcting typing errors according to character layout positions on a keyboard
WO2009059479A1 (en) * 2007-11-07 2009-05-14 Pohsien Chiu Input devices with virtual input interfaces
US8159682B2 (en) * 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
CN101452354B (zh) * 2007-12-04 2012-08-22 纬创资通股份有限公司 电子装置的输入方法、内容显示方法及其应用
KR101352994B1 (ko) * 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
KR101079598B1 (ko) * 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
TWI357518B (en) * 2007-12-21 2012-02-01 Coretronic Corp Display screen and sensor module thereof
US8138896B2 (en) 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
WO2009099296A2 (en) 2008-02-05 2009-08-13 Lg Electronics Inc. Virtual optical input device for providing various types of interfaces and method of controlling the same
WO2009099280A2 (en) * 2008-02-05 2009-08-13 Lg Electronics Inc. Input unit and control method thereof
JP4626658B2 (ja) * 2008-02-14 2011-02-09 ソニー株式会社 表示装置、撮像装置および位置検出装置
WO2009107935A2 (en) * 2008-02-28 2009-09-03 Lg Electronics Inc. Virtual optical input device with feedback and method of controlling the same
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
KR101007045B1 (ko) * 2008-03-12 2011-01-12 주식회사 애트랩 접촉센서 장치 및 이 장치의 포인팅 좌표 결정 방법
US8358277B2 (en) 2008-03-18 2013-01-22 Microsoft Corporation Virtual keyboard based activation and dismissal
EP2103751A1 (de) * 2008-03-19 2009-09-23 BrainLAB AG Einbaueinheit für Anzeigevorrichtungen
CN101266520B (zh) * 2008-04-18 2013-03-27 上海触乐信息科技有限公司 一种可实现灵活键盘布局的系统
KR100969681B1 (ko) * 2008-05-02 2010-07-14 주식회사 그린벨임베디드시스템 키보드 인식방법
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US20090289188A1 (en) * 2008-05-20 2009-11-26 Everspring Industry Co., Ltd. Method for controlling an electronic device through infrared detection
WO2009148210A1 (en) * 2008-06-02 2009-12-10 Lg Electronics Inc. Virtual optical input unit and control method thereof
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8608321B2 (en) 2008-06-17 2013-12-17 The Invention Science Fund I, Llc Systems and methods for projecting in response to conformation
US8820939B2 (en) 2008-06-17 2014-09-02 The Invention Science Fund I, Llc Projection associated methods and systems
US20090309826A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US8384005B2 (en) 2008-06-17 2013-02-26 The Invention Science Fund I, Llc Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface
US8936367B2 (en) 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8540381B2 (en) 2008-06-17 2013-09-24 The Invention Science Fund I, Llc Systems and methods for receiving information associated with projecting
US8944608B2 (en) 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8308304B2 (en) 2008-06-17 2012-11-13 The Invention Science Fund I, Llc Systems associated with receiving and transmitting information related to projection
US8602564B2 (en) 2008-06-17 2013-12-10 The Invention Science Fund I, Llc Methods and systems for projecting in response to position
US8733952B2 (en) 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
US8641203B2 (en) 2008-06-17 2014-02-04 The Invention Science Fund I, Llc Methods and systems for receiving and transmitting signals between server and projector apparatuses
US8723787B2 (en) 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
US8267526B2 (en) 2008-06-17 2012-09-18 The Invention Science Fund I, Llc Methods associated with receiving and transmitting information related to projection
US8376558B2 (en) 2008-06-17 2013-02-19 The Invention Science Fund I, Llc Systems and methods for projecting in response to position change of a projection surface
JP5015072B2 (ja) * 2008-06-18 2012-08-29 株式会社リコー 入力装置及び画像形成装置
US7777899B1 (en) * 2008-06-19 2010-08-17 Gesturetek, Inc. Interaction interface for controlling an application
US8068641B1 (en) 2008-06-19 2011-11-29 Qualcomm Incorporated Interaction interface for controlling an application
US9152258B2 (en) * 2008-06-19 2015-10-06 Neonode Inc. User interface for a touch screen
US8106749B2 (en) * 2008-07-14 2012-01-31 Sony Ericsson Mobile Communications Ab Touchless control of a control device
US8165881B2 (en) * 2008-08-29 2012-04-24 Honda Motor Co., Ltd. System and method for variable text-to-speech with minimized distraction to operator of an automotive vehicle
US20100057465A1 (en) * 2008-09-03 2010-03-04 David Michael Kirsch Variable text-to-speech for automotive application
US8228345B2 (en) * 2008-09-24 2012-07-24 International Business Machines Corporation Hand image feedback method and system
CN101685342B (zh) * 2008-09-26 2012-01-25 联想(北京)有限公司 一种动态虚拟键盘的实现方法及装置
US8750938B2 (en) * 2008-09-29 2014-06-10 Microsoft Corporation Glow touch feedback for virtual input devices
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US8133119B2 (en) 2008-10-01 2012-03-13 Microsoft Corporation Adaptation for alternate gaming input devices
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
KR100967356B1 (ko) * 2008-10-14 2010-07-05 고려대학교 산학협력단 3차원 손 모델 생성 기술을 이용한 가상 입력 방법 및 장치
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US8503932B2 (en) * 2008-11-14 2013-08-06 Sony Mobile Comminications AB Portable communication device and remote motion input device
US20110212774A1 (en) * 2008-11-14 2011-09-01 Karl Wudtke Terminal including a button and button having projected images and method
EP2189884A1 (fr) * 2008-11-18 2010-05-26 Gemalto SA Clavier virtuel projeté et sécurisé
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
US20100134409A1 (en) * 2008-11-30 2010-06-03 Lenovo (Singapore) Pte. Ltd. Three-dimensional user interface
GB2466023A (en) * 2008-12-08 2010-06-09 Light Blue Optics Ltd Holographic Image Projection Systems
TWI470478B (zh) * 2008-12-26 2015-01-21 Inventec Appliances Corp 電子裝置之虛擬鍵盤結構及其資料輸入方法
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8866821B2 (en) 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US9652030B2 (en) 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US8140970B2 (en) * 2009-02-23 2012-03-20 International Business Machines Corporation System and method for semi-transparent display of hands over a keyboard in real-time
JP5201015B2 (ja) * 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2010103482A2 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US20100251161A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with staggered keys
US20100251176A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with slider buttons
US8375311B2 (en) * 2009-03-24 2013-02-12 Disney Enterprises, Inc. System and method for determining placement of a virtual object according to a real-time performance
US20110165923A1 (en) 2010-01-04 2011-07-07 Davis Mark L Electronic circle game system
US9971458B2 (en) 2009-03-25 2018-05-15 Mep Tech, Inc. Projection of interactive environment
US20110256927A1 (en) 2009-03-25 2011-10-20 MEP Games Inc. Projection of interactive game environment
TWI507945B (zh) 2009-03-27 2015-11-11 Tpk Touch Solutions Inc 觸控裝置及其光源結構
CN201444297U (zh) 2009-03-27 2010-04-28 宸鸿光电科技股份有限公司 触控装置、其激光光源组及其激光光源结构
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8416193B2 (en) * 2009-05-21 2013-04-09 Microsoft Corporation Method of visualizing an input location
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
CN101901051A (zh) * 2009-05-26 2010-12-01 美国智能科技有限公司 基于区别的输入对象的数据输入方法及装置
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8145594B2 (en) 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US8803889B2 (en) 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US8176442B2 (en) 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US7914344B2 (en) 2009-06-03 2011-03-29 Microsoft Corporation Dual-barrel, connector jack and plug assemblies
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
WO2011011024A1 (en) * 2009-07-23 2011-01-27 Hewlett-Packard Development Company, L.P. Display with an optical sensor
US9274547B2 (en) 2009-07-23 2016-03-01 Hewlett-Packard Development Compamy, L.P. Display with an optical sensor
JP5127792B2 (ja) 2009-08-18 2013-01-23 キヤノン株式会社 情報処理装置、その制御方法、プログラム及び記録媒体
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
DE202009005253U1 (de) 2009-09-09 2010-01-07 Tpk Touch Solutions Inc. Berührungsvorrichtung, Laserquellenmodul und Laserquellenstruktur
US9166714B2 (en) 2009-09-11 2015-10-20 Veveo, Inc. Method of and system for presenting enriched video viewing analytics
US8810516B2 (en) * 2009-09-30 2014-08-19 At&T Mobility Ii Llc Angular sensitized keypad
US9128610B2 (en) * 2009-09-30 2015-09-08 At&T Mobility Ii Llc Virtual predictive keypad
US20110074692A1 (en) * 2009-09-30 2011-03-31 At&T Mobility Ii Llc Devices and Methods for Conforming a Virtual Keyboard
US9122393B2 (en) * 2009-09-30 2015-09-01 At&T Mobility Ii Llc Predictive sensitized keypad
US8816965B2 (en) * 2009-09-30 2014-08-26 At&T Mobility Ii Llc Predictive force sensitive keypad
US8812972B2 (en) * 2009-09-30 2014-08-19 At&T Intellectual Property I, L.P. Dynamic generation of soft keyboards for mobile devices
JP5471266B2 (ja) * 2009-10-07 2014-04-16 セイコーエプソン株式会社 位置検出機能付き投射型表示装置
JP5471275B2 (ja) * 2009-10-14 2014-04-16 セイコーエプソン株式会社 位置検出機能付き投射型表示装置
KR101081476B1 (ko) 2009-10-14 2011-11-08 건국대학교 산학협력단 햅틱 ｕ테이블
US20110126094A1 (en) * 2009-11-24 2011-05-26 Horodezky Samuel J Method of modifying commands on a touch screen user interface
JP5506375B2 (ja) * 2009-12-25 2014-05-28 キヤノン株式会社 情報処理装置及びその制御方法
JP5005758B2 (ja) * 2009-12-25 2012-08-22 株式会社ホンダアクセス 自動車における車載機器の操作装置
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US20110191516A1 (en) * 2010-02-04 2011-08-04 True Xiong Universal touch-screen remote controller
US20110191330A1 (en) * 2010-02-04 2011-08-04 Veveo, Inc. Method of and System for Enhanced Content Discovery Based on Network and Device Access Behavior
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US9665278B2 (en) * 2010-02-26 2017-05-30 Microsoft Technology Licensing, Llc Assisting input from a keyboard
EP2363055A1 (en) 2010-03-01 2011-09-07 Electrolux Home Products Corporation N.V. Projector and household appliance comprising such a projector
GB2479858A (en) * 2010-03-23 2011-11-02 Secretpc Ltd Projector with virtual keyboard
TWI423096B (zh) * 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8818027B2 (en) 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
US9891821B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a control region of a computerized device from a touchpad
US9678662B2 (en) 2010-04-23 2017-06-13 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
US9529523B2 (en) 2010-04-23 2016-12-27 Handscape Inc. Method using a finger above a touchpad for controlling a computerized system
US9310905B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Detachable back mounted touchpad for a handheld computerized device
US9891820B2 (en) 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US9311724B2 (en) 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
US9639195B2 (en) 2010-04-23 2017-05-02 Handscape Inc. Method using finger force upon a touchpad for controlling a computerized system
US9542032B2 (en) 2010-04-23 2017-01-10 Handscape Inc. Method using a predicted finger location above a touchpad for controlling a computerized system
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
BR112012029421A2 (pt) * 2010-05-24 2017-02-21 John Temple Will botão multidirecional, tecla e teclado
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US8918734B2 (en) 2010-07-28 2014-12-23 Nuance Communications, Inc. Reduced keyboard with prediction solutions when input is a partial sliding trajectory
US8449118B2 (en) 2010-08-13 2013-05-28 T-Mobile Usa, Inc. Device-adjacent ambiently displayed image
US8451192B2 (en) 2010-08-13 2013-05-28 T-Mobile Usa, Inc. Utilization of interactive device-adjacent ambiently displayed images
JP5601083B2 (ja) * 2010-08-16 2014-10-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US20120059647A1 (en) * 2010-09-08 2012-03-08 International Business Machines Corporation Touchless Texting Exercise
US20120062518A1 (en) * 2010-09-09 2012-03-15 Light Blue Optics Ltd Touch Sensing Systems
US8577915B2 (en) 2010-09-10 2013-11-05 Veveo, Inc. Method of and system for conducting personalized federated search and presentation of results therefrom
US8959013B2 (en) * 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
CN103221912A (zh) * 2010-10-05 2013-07-24 惠普发展公司，有限责任合伙企业 输入命令
KR101044320B1 (ko) * 2010-10-14 2011-06-29 주식회사 네오패드 가상 키입력수단의 배경화면 컨텐츠 제공 방법 및 시스템
WO2012048380A1 (en) * 2010-10-14 2012-04-19 University Of Technology, Sydney Virtual keyboard
EP2630559B1 (en) * 2010-10-22 2014-07-23 Sony Ericsson Mobile Communications AB Mobile communication device with three-dimensional sensing and a method therefore
JP4846871B1 (ja) * 2010-10-28 2011-12-28 善博 和田 キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
KR101189869B1 (ko) * 2010-11-25 2012-10-10 최진원 단축키 지원 키보드
US9019239B2 (en) * 2010-11-29 2015-04-28 Northrop Grumman Systems Corporation Creative design systems and methods
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8839134B2 (en) * 2010-12-24 2014-09-16 Intel Corporation Projection interface techniques
WO2012089577A1 (en) * 2010-12-30 2012-07-05 Danmarks Tekniske Universitet Input device with three-dimensional image display
KR101816721B1 (ko) * 2011-01-18 2018-01-10 삼성전자주식회사 센싱 모듈, ｇｕｉ 제어 장치 및 방법
CN103347437B (zh) 2011-02-09 2016-06-08 苹果公司 3d映射环境中的凝视检测
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9035940B2 (en) * 2011-03-08 2015-05-19 Nokia Corporation Apparatus and associated methods
JP2012208926A (ja) * 2011-03-15 2012-10-25 Nikon Corp 検出装置、入力装置、プロジェクタ、及び電子機器
US8963883B2 (en) 2011-03-17 2015-02-24 Symbol Technologies, Inc. Touchless interactive display system
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
CN102693066B (zh) * 2011-03-25 2015-05-27 国基电子（上海）有限公司 触控式电子装置及其虚拟键盘操作方法
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
AU2011242487B2 (en) * 2011-05-16 2015-12-03 Handscape Inc., A Delaware Corporation Method for user input from the back panel of a handheld computerized device
TW201248452A (en) * 2011-05-30 2012-12-01 Era Optoelectronics Inc Floating virtual image touch sensing apparatus
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
JP5914992B2 (ja) * 2011-06-02 2016-05-11 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5880916B2 (ja) * 2011-06-03 2016-03-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
GB201110157D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201110156D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch-sensitive display devices
GB201110159D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
EP2725458B1 (en) * 2011-06-23 2016-06-15 Fujitsu Limited Information processing device, input control method, and input control program
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9448724B2 (en) * 2011-07-11 2016-09-20 International Business Machines Corporation Dynamically customizable touch screen keyboard for adapting to user physiology
US20140189569A1 (en) * 2011-07-18 2014-07-03 Syntellia, Inc. User interface for text input on three dimensional interface
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US20130063366A1 (en) 2011-09-13 2013-03-14 Google Inc. User inputs of a touch-sensitive device
US20130249821A1 (en) * 2011-09-27 2013-09-26 The Board of Trustees of the Leland Stanford, Junior, University Method and System for Virtual Keyboard
GB201117542D0 (en) 2011-10-11 2011-11-23 Light Blue Optics Ltd Touch-sensitive display devices
EP2777780B1 (en) * 2011-11-08 2021-08-25 Sony Group Corporation Sensor device, analyzer, and storage medium
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
CN103176592B (zh) * 2011-12-22 2015-09-30 光宝科技股份有限公司 虚拟投影输入系统及其输入检测方法
JP5799817B2 (ja) * 2012-01-12 2015-10-28 富士通株式会社 指位置検出装置、指位置検出方法及び指位置検出用コンピュータプログラム
GB2513498A (en) 2012-01-20 2014-10-29 Light Blue Optics Ltd Touch sensitive image display devices
US20140362052A1 (en) * 2012-01-20 2014-12-11 Light Blue Optics Ltd Touch Sensitive Image Display Devices
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
KR102133702B1 (ko) 2012-02-24 2020-07-14 토마스 제이. 모스카릴로 제스처 인식 디바이스들 및 방법들
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
JP6051551B2 (ja) * 2012-03-19 2016-12-27 富士通株式会社 測距装置及び入力装置
CN104246682B (zh) * 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
GB201205303D0 (en) 2012-03-26 2012-05-09 Light Blue Optics Ltd Touch sensing systems
US8928590B1 (en) * 2012-04-03 2015-01-06 Edge 3 Technologies, Inc. Gesture keyboard method and apparatus
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
GB201206121D0 (en) 2012-04-05 2012-05-16 Bryant Jacklyn Apparatus and method for aiding the learning of a skill
US8850349B2 (en) 2012-04-06 2014-09-30 Google Inc. Smart user-customized graphical keyboard
KR20130115750A (ko) * 2012-04-13 2013-10-22 포항공과대학교 산학협력단 가상 키보드 상의 키 입력을 인식하는 방법 및 그 장치
US9069168B2 (en) * 2012-05-04 2015-06-30 Yong Yan Means for setting separation walls with predetermined heights and shapes on keypads to prevent unintended key hits
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9122395B2 (en) * 2012-05-29 2015-09-01 Garett Engle Method of capturing system input by relative finger positioning
EP2860611A4 (en) * 2012-06-08 2016-03-02 Kmt Global Inc USER INTERFACE PROCESS AND DEVICE BASED ON SPATIAL LOCATION IDENTIFICATION
CN102778951B (zh) * 2012-06-15 2016-02-10 惠州华阳通用电子有限公司 使用虚拟按键的输入设备及输入方法
JP5962249B2 (ja) * 2012-06-21 2016-08-03 富士通株式会社 文字入力プログラム、情報処理装置および文字入力方法
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) * 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
DE102012013503B4 (de) * 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
US9317109B2 (en) 2012-07-12 2016-04-19 Mep Tech, Inc. Interactive image projection accessory
US9305229B2 (en) 2012-07-30 2016-04-05 Bruno Delean Method and system for vision based interfacing with a computer
KR101385263B1 (ko) * 2012-08-23 2014-04-16 주식회사 셀루온 가상 키보드를 위한 시스템 및 방법
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
TWI472954B (zh) * 2012-10-09 2015-02-11 Cho Yi Lin 可承載通訊電子裝置之可攜式電子輸入裝置及其系統
CN107479725B (zh) * 2012-10-15 2021-07-16 联想(北京)有限公司 一种字符输入方法、装置、虚拟键盘、电子设备及存储介质
KR20140055173A (ko) 2012-10-30 2014-05-09 삼성전자주식회사 입력 장치 및 그의 입력 제어 방법
US10824297B2 (en) 2012-11-26 2020-11-03 Google Llc System for and method of accessing and selecting emoticons, content, and mood messages during chat sessions
JP2014109876A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 情報処理装置、情報処理方法及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
DE102013000072A1 (de) * 2013-01-08 2014-07-10 Audi Ag Bedienschnittstelle für eine handschriftliche Zeicheneingabe in ein Gerät
IN2013CH00469A (zh) 2013-01-21 2015-07-31 Keypoint Technologies India Pvt Ltd
CN105027040B (zh) 2013-01-21 2018-09-21 要点科技印度私人有限公司 文本输入系统及方法
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
JP6127564B2 (ja) * 2013-02-15 2017-05-17 コニカミノルタ株式会社 タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
JP2014170149A (ja) * 2013-03-05 2014-09-18 Funai Electric Co Ltd プロジェクタ
JP6037900B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置及び操作検出方法
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
JP6171502B2 (ja) * 2013-04-04 2017-08-02 船井電機株式会社 プロジェクタおよびプロジェクタ機能を有する電子機器
JP2014203323A (ja) * 2013-04-08 2014-10-27 船井電機株式会社 空間入力装置
US9323338B2 (en) 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
WO2014176370A2 (en) 2013-04-23 2014-10-30 Handscape Inc. Method for user input from alternative touchpads of a computerized system
KR101411569B1 (ko) 2013-06-05 2014-06-27 고려대학교 산학협력단 가상 키보드를 이용한 정보 처리 장치 및 방법
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US9778546B2 (en) 2013-08-15 2017-10-03 Mep Tech, Inc. Projector for projecting visible and non-visible images
CN104423578B (zh) * 2013-08-25 2019-08-06 杭州凌感科技有限公司 交互式输入系统和方法
EP3039515B1 (en) * 2013-08-30 2020-02-19 Hewlett-Packard Development Company, L.P. Touch input association
CN103558948A (zh) * 2013-10-31 2014-02-05 中山大学 一种应用在虚拟光学键盘人机交互方法
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
US9529465B2 (en) * 2013-12-02 2016-12-27 At&T Intellectual Property I, L.P. Secure interaction with input devices
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
CN103631382A (zh) * 2013-12-20 2014-03-12 大连大学 一种激光投影虚拟键盘
KR101483605B1 (ko) * 2014-01-03 2015-01-16 주식회사 큐브전자 빔프로젝터를 갖는 태블릿컴퓨터
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
JP2015153353A (ja) * 2014-02-19 2015-08-24 パイオニア株式会社 情報処理装置及び方法、並びにコンピュータプログラム
CN104866070A (zh) * 2014-02-20 2015-08-26 联想(北京)有限公司 信息处理的方法及电子设备
CN103809756B (zh) * 2014-02-24 2018-08-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN103793061B (zh) * 2014-03-03 2017-01-11 联想(北京)有限公司 一种控制方法及电子设备
FR3020480A1 (fr) * 2014-04-24 2015-10-30 Vincent Donnet Dispositif et procede interface de controle d'un terminal de communication
CA2949088C (en) * 2014-05-15 2023-01-24 Federal Express Corporation Wearable devices for courier processing and methods of use thereof
CN104049772B (zh) * 2014-05-30 2017-11-07 北京搜狗科技发展有限公司 一种输入方法、装置和系统
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
CN105451052B (zh) * 2014-08-28 2018-08-03 鸿富锦精密工业（深圳）有限公司 虚拟键盘建立方法及系统
CN105468209A (zh) * 2014-09-25 2016-04-06 硕擎科技股份有限公司 输入设备的虚拟二维定位模块及虚拟输入设备
US10585584B2 (en) * 2014-09-29 2020-03-10 Hewlett-Packard Development Company, L.P. Virtual keyboard
US9733048B2 (en) 2015-01-06 2017-08-15 Egismos Technology Corporation Shooting training and game system with virtual target
KR102345911B1 (ko) 2015-01-16 2022-01-03 삼성전자주식회사 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법
JP2016162162A (ja) * 2015-03-02 2016-09-05 株式会社リコー 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
KR101873842B1 (ko) * 2015-03-11 2018-07-04 한양대학교 산학협력단 깊이 센서를 이용하는 가상 입력 장치 및 이를 이용하는 방법
US9804718B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9983717B2 (en) * 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US9791979B2 (en) * 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US9720446B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US9753591B2 (en) 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
CN104881135B (zh) * 2015-05-28 2018-07-03 联想(北京)有限公司 一种信息处理方法及电子设备
CN104951073B (zh) * 2015-06-19 2017-03-29 济南大学 一种基于虚拟界面的手势交互方法
US9971457B2 (en) 2015-06-26 2018-05-15 Intel Corporation Audio augmentation of touch detection for surfaces
CN106325488B (zh) * 2015-07-09 2019-07-09 北京搜狗科技发展有限公司 一种输入方法、输入装置、服务器和输入系统
IL244777A0 (en) * 2015-07-26 2016-07-31 Hagar Shema A device and method for studying people
JP2017037583A (ja) * 2015-08-14 2017-02-16 レノボ・シンガポール・プライベート・リミテッド コンピュータの入力システム
US11241216B2 (en) * 2015-09-09 2022-02-08 Canon Medical Systems Corporation Method of controlling portable information terminal and medical diagnostic imaging apparatus
JP6753049B2 (ja) * 2015-10-09 2020-09-09 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法。
US9898809B2 (en) * 2015-11-10 2018-02-20 Nanjing University Systems, methods and techniques for inputting text into mobile devices using a camera-based keyboard
US20170161903A1 (en) * 2015-12-03 2017-06-08 Calay Venture S.á r.l. Method and apparatus for gesture recognition
US20170160818A1 (en) * 2015-12-04 2017-06-08 Synerdyne Corporation Reprogramable multi-host, multi-character set keyboard
US10166995B2 (en) * 2016-01-08 2019-01-01 Ford Global Technologies, Llc System and method for feature activation via gesture recognition and voice command
KR20180123217A (ko) * 2016-02-29 2018-11-15 스마트 램프, 인코포레이티드 디/비/에이 람픽스 컴퓨터화된 시스템을 구비한 사용자 인터페이스를 제공하고 가상 환경과 상호작용하기 위한 방법 및 장치
CN205540572U (zh) * 2016-03-08 2016-08-31 硕擎科技股份有限公司 供搭配手机使用的虚拟输入设备
TWI695307B (zh) * 2016-04-29 2020-06-01 姚秉洋 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體
USD812143S1 (en) * 2016-05-24 2018-03-06 Tangible Play, Inc. Programming tile
USD811485S1 (en) * 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD795348S1 (en) * 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
USD811486S1 (en) * 2016-05-24 2018-02-27 Tangible Play, Inc. Programming tile
USD795349S1 (en) 2016-05-24 2017-08-22 Tangible Play, Inc. Programming tile
US10146337B2 (en) * 2016-09-15 2018-12-04 Samsung Electronics Co., Ltd. Digital handwriting device and method of using the same
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10499039B2 (en) 2016-12-15 2019-12-03 Egismos Technology Corporation Path detection system and path detection method generating laser pattern by diffractive optical element
JP6390736B2 (ja) * 2017-03-15 2018-09-19 船井電機株式会社 空間入力装置
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
CN110832441B (zh) * 2017-05-19 2023-12-26 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
FR3075425A1 (fr) * 2017-12-14 2019-06-21 Societe Bic Appareil pour application de realite augmentee
US11460911B2 (en) * 2018-01-11 2022-10-04 Steelseries Aps Method and apparatus for virtualizing a computer accessory
CN108196730A (zh) * 2018-01-18 2018-06-22 安徽三弟电子科技有限责任公司 一种多功能的激光虚拟键盘系统
KR102163825B1 (ko) * 2018-02-24 2020-10-13 링크플로우 주식회사 사용자 장치의 사용자 인터페이스 구현 방법 및 이러한 방법을 수행하는 장치
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
TWI650677B (zh) * 2018-03-08 2019-02-11 三竹資訊股份有限公司 顯示動態虛擬鍵盤之方法及其電腦程式產品
WO2019169644A1 (zh) * 2018-03-09 2019-09-12 彼乐智慧科技（北京）有限公司 一种信号输入的方法及装置
CN108646910A (zh) * 2018-03-20 2018-10-12 重庆邮电大学 一种基于深度图像的三维动态手指文本输入系统及方法
US10719173B2 (en) * 2018-04-04 2020-07-21 Facebook Technologies, Llc Transcribing augmented reality keyboard input based on hand poses for improved typing accuracy
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
KR102076350B1 (ko) * 2018-06-12 2020-02-11 박행운 가상 데이터 입력 화면을 이용한 오디오 데이터 입출력 장치 및 이의 실행 방법
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10976820B2 (en) * 2018-07-12 2021-04-13 Microsoft Technology Licensing, Llc Natural interactions with virtual objects and data through touch
CN109144332B (zh) * 2018-10-12 2024-02-06 中国计量大学 移动电子设备及其便携式键盘和智能感知输入法
US10902250B2 (en) * 2018-12-21 2021-01-26 Microsoft Technology Licensing, Llc Mode-changeable augmented reality interface
CN109480904A (zh) * 2018-12-25 2019-03-19 无锡祥生医疗科技股份有限公司 一种超声成像方法、装置及系统
KR102269466B1 (ko) * 2019-05-21 2021-06-28 이진우 동작 인식 기반의 문자 입력 방법 및 그 장치
US10924639B2 (en) 2019-05-29 2021-02-16 Disney Enterprises, Inc. System and method for polarization and wavelength gated transparent displays
US11392290B2 (en) * 2020-06-26 2022-07-19 Intel Corporation Touch control surfaces for electronic user devices and related methods
CN112684916A (zh) * 2021-01-12 2021-04-20 维沃移动通信有限公司 信息输入方法、装置及电子设备
CN115033170A (zh) * 2022-05-20 2022-09-09 阿里巴巴（中国）有限公司 一种基于虚拟键盘的输入控制系统、方法及相关装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5174759A (en) * 1988-08-04 1992-12-29 Preston Frank S TV animation interactively controlled by the viewer through input above a book page
US5198877A (en) 1990-10-15 1993-03-30 Pixsys, Inc. Method and apparatus for three-dimensional non-contact shape sensing
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
EP0554492B1 (en) * 1992-02-07 1995-08-09 International Business Machines Corporation Method and device for optical input of commands or data
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5969698A (en) * 1993-11-29 1999-10-19 Motorola, Inc. Manually controllable cursor and control panel in a virtual image
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US6281878B1 (en) * 1994-11-01 2001-08-28 Stephen V. R. Montellese Apparatus and method for inputing data
WO1996041304A1 (en) * 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
DE19539955A1 (de) 1995-10-26 1997-04-30 Sick Ag Optische Erfassungseinrichtung
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
AU2123297A (en) * 1996-02-12 1997-08-28 Golf Age Technologies Golf driving range distancing apparatus and methods
JP2000517445A (ja) * 1996-08-28 2000-12-26 ヴィーア・インコーポレイテッド タッチ画面装置及び方法
US6252598B1 (en) * 1997-07-03 2001-06-26 Lucent Technologies Inc. Video hand image computer interface
US6115128A (en) * 1997-09-17 2000-09-05 The Regents Of The Univerity Of California Multi-dimensional position sensor using range detectors
US6037882A (en) * 1997-09-30 2000-03-14 Levy; David H. Method and apparatus for inputting data to an electronic system
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6266048B1 (en) * 1998-08-27 2001-07-24 Hewlett-Packard Company Method and apparatus for a virtual display/keyboard for a PDA
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6678039B2 (en) * 2001-05-23 2004-01-13 Canesta, Inc. Method and system to enhance dynamic range conversion useable with CMOS three-dimensional imaging

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102467298A (zh) * 2010-11-18 2012-05-23 西安龙飞软件有限公司 一种虚拟手机键盘的实现方式

Also Published As

Publication number Publication date
US6614422B1 (en) 2003-09-02
EP1332488B1 (en) 2010-09-15
EP1332488A2 (en) 2003-08-06
WO2001059975A3 (en) 2002-01-31
AU2001261818A1 (en) 2001-08-20
JP2004500657A (ja) 2004-01-08
HK1058425A1 (en) 2004-05-14
CN1439151A (zh) 2003-08-27
US20040046744A1 (en) 2004-03-11
KR100811015B1 (ko) 2008-03-11
KR20020079847A (ko) 2002-10-19
ATE481674T1 (de) 2010-10-15
EP1332488A4 (en) 2006-06-14
DE60143094D1 (de) 2010-10-28
WO2001059975A2 (en) 2001-08-16

Similar Documents

Publication Publication Date Title
CN1232943C (zh) 利用虚拟输入装置输入数据的方法和设备
US10209881B2 (en) Extending the free fingers typing technology and introducing the finger taps language technology
CN103914152B (zh) 三维空间中多点触控与捕捉手势运动的识别方法与系统
US5900863A (en) Method and apparatus for controlling computer without touching input device
US8959013B2 (en) Virtual keyboard for a non-tactile three dimensional user interface
US8971565B2 (en) Human interface electronic device
US6512838B1 (en) Methods for enhancing performance and data acquired from three-dimensional image systems
US8063882B2 (en) Generating audio signals based on input device position
JP5991041B2 (ja) 仮想タッチスクリーンシステム及び双方向モード自動切換方法
CN108700957B (zh) 用于虚拟环境中文本输入的电子系统和方法
US8786576B2 (en) Three-dimensional space touch apparatus using multiple infrared cameras
US20090027335A1 (en) Free-Space Pointing and Handwriting
CN104898879A (zh) 用于数据输入的方法及装置
CN102141860A (zh) 非接触式指示装置
JP2004500657A5 (zh)
CN103995610A (zh) 从手持式计算机化设备的替代触摸板进行用户输入的方法
CN101866246A (zh) 多点触控式光学输入装置
Su et al. Virtual keyboard: A human-computer interaction device based on laser and image processing
CN105528086A (zh) 虚拟键盘输入装置及其输入方法
CN108021238A (zh) 新概念盲打键盘
CN110502121B (zh) 一种有触感高识辨率的框式虚拟键盘及其输入修正算法
CN103902035B (zh) 三维互动装置及其操控方法
JP2010186335A (ja) キーボード、キーボード入力方法およびキーボード入力プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT CORP.

Free format text: FORMER OWNER: CANESTA, INC.

Effective date: 20110304

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: CALIFORNIA, USA TO: WASHINGTON, USA

TR01 Transfer of patent right

Effective date of registration: 20110304

Address after: Washington, USA

Patentee after: Microsoft Corp.

Address before: American California

Patentee before: Canesta Inc.

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150424

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150424

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington, USA

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051221

Termination date: 20190212

CF01 Termination of patent right due to non-payment of annual fee