CN101952818A - 基于姿态的用户交互的处理 - Google Patents

基于姿态的用户交互的处理 Download PDF

Info

Publication number
CN101952818A
CN101952818A CN2008801153914A CN200880115391A CN101952818A CN 101952818 A CN101952818 A CN 101952818A CN 2008801153914 A CN2008801153914 A CN 2008801153914A CN 200880115391 A CN200880115391 A CN 200880115391A CN 101952818 A CN101952818 A CN 101952818A
Authority
CN
China
Prior art keywords
user
hand
digital object
screen
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801153914A
Other languages
English (en)
Other versions
CN101952818B (zh
Inventor
马修·贝尔
蒂帕塔特·谢诺维辛
查尔斯·H·克兰顿
迈克尔·休姆
埃亚勒·奥菲尔
马修·维耶塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhihui Investment Holding 81 Co., Ltd.
Original Assignee
Reactrix Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reactrix Systems Inc filed Critical Reactrix Systems Inc
Publication of CN101952818A publication Critical patent/CN101952818A/zh
Application granted granted Critical
Publication of CN101952818B publication Critical patent/CN101952818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Abstract

本发明涉及一种用来处理具有交互显示器的基于姿态的用户交互系统和方法。

Description

基于姿态的用户交互的处理
相关申请的交叉参考
本申请要求2007年9月14日提交的美国临时申请60/993,907的权益，其公开文本合并在此作为参考。
技术领域
本发明总地涉及交互显示系统。本发明涉及在三维环境中用交互显示器来处理基于姿态的用户交互的用户界面。
背景技术
很多已有的交互技术都依赖二维相机。由这些相机所产生的二维数据很难可靠地解析以达到从背景中分离出前景的目的。结果，就难于分离出用户的手或其他肢体并追踪其相应的动作。
对于给交互显示系统提供数据来说，不佳的分离和追踪数据会产生各种困难。如果交互显示系统不能收集数据来控制或操纵通过其所提交的信息，那么用户就可能被强制来依靠例如键盘、操纵杆和制动器的物理对象和执行器件的按钮按压或操纵了。一旦用户被强制依靠物理仪器来提供输入，则就会使得交互显示系统所提供的很多优点尽失。
这就需要对交互显示系统进行基于姿态的用户交互的处理。
发明内容
在第一实施例中，公开了一种用来处理具有交互显示器的基于姿态的用户交互的方法。通过该方法，可以收集在所定义的三维空间中的对象的三维信息。识别作为相应于在所定义的三维空间中的用户手的一部分三维信息。数字对象屏幕上(on-screen)的图像被显示为与用户的物理外形关联并与其近似的屏幕上的图像。所显示的屏幕上的图像近似于用户但并不与所显示的数字对象交互。显示在所定义的三维空间中用户的手所相应的图标。该图标能与所显示的数字对象交互。
在实施例中还公开了第二种用于处理具有交互显示的基于姿态的用户交互的方法。在这个实施例中，收集在所定义的三维空间中有关用户的三维信息。所定义的三维为空间包括体量区域(volumetric zone)。由该三维信息所限定的每个用户的一部分位于一个或多个体量区域内。一部分三维信息相应于在所定义的三维空间中的用户之一的手。所显示的屏幕上的数字对象是当前用户之一是否能与该显示的数字交互的指示。该指示相应于在一个或多个体量区域中的用户位置。
第三实施例是另一种用于处理具有交互显示的基于姿态的用户交互的方法。收集在所定义的三维空间中有关对象的三维信息并识别一部分三维信息来相应于在所定义的三维空间中用户的手。显示数字对象的屏幕上的图像并且其具有在视觉上可见的动作状态，该动作状态相应于用户是否已经超出了该数字对象的动作级别阈值。显示用来与该数字对象的屏幕上的图像交互的图标，该图标相应于在所定义的三维空间中的用户的手。该动作级别相应于用户的手随时间而经过的位置。
在另外的实施例中，公开了另一种用于处理具有交互显示的基于姿态的用户交互的方法。收集在所定义的三维空间中有关对象的三维信息并识别一部分三维信息来相应于在所定义的三维空间中的用户的手。显示数字对象的屏幕上的图像，其具有动作级别的阈值。显示用来与该数字对象的屏幕上的图像交互的图标，该图标相应于在所定义的三维空间中的用户的手。仅当所显示的数字对象的动作级别阈值已被超过时，该图标才可以控制与该数字对象关联的行为。作为该图标随时间接近该数字对象所关联区域的结果，数字对象的动作级别阈值被超过。
附图说明
图1图示了一个示例性的平板交互系统。
图2图示了一个包括体量区域的交互显示空间。
图3图示了一个包括体量区域的交互显示空间的另一个实施例。
图4图示了一个用来处理基于姿态的交互的示例性方法。
图5图示了手/用户代表的vis-à-vis选择级别。
图6图示了用户的物理位置如何被映射到数字对象的显示虚拟世界。
图7图示了如何将用户的物理位置映射到数字对象的所显示的虚拟世界中的另一个实施例。
具体实施方式
图1图示了示例性的平板交互系统100。系统100包括显示器160、三维影像系统110、计算系统130和可选的照明器120。系统100可以根据构成因素而配置。
显示器160可以假定包括了能显示视频图像的显示器的任意变化的配置。在一个实施例中，例如，显示器160为液晶显示器(LCD)、等离子显示屏或有机发光二极管显示屏(OLED)等的平板显示器。显示器可以替换性地包括但不限于，阴极射线管(CRT)、电子墨水显示屏、背投显示器、正投显示器、例如NEC售卖的WT600投影仪的离轴(off-axis)正(或背)投影仪、例如透镜三维视频屏幕等能产生三维图像的屏幕、或例如源自IO2 Technology USA公司的HeliodisplayTM屏的雾屏。可以平铺多个屏幕而形成一个巨大的显示器。系统100可以包括多个交互显示器160，从而能让多个用户同时与系统100交互。
在一种配置(例如图1的配置)中，系统100的各个组件可以被安装在一面墙上。系统100的组件替换性地可以被安置在天花板、独立支架上，或安装在桌面或两侧上。独立支架系统可以包括一个大基座，或者也可以为了稳定而固定在地面上。
集成了三维对象的系统100的实施例可以使用三维硬件和软件系统，其中例如显示器160可以是圆柱或球形。例如地面、桌面等这些或其他形成因素的配置或墙面投影系统同样地也可以使用三维影像系统。在这样的实施例中，三维影像系统110可以覆盖显示器周围的区域。投影仪可以用来形成显示器，例如地面投影，其中安装在天花板上的投影仪向地面投射图像，允许用户140可以在屏幕区域上行走。投影还可以在桌面、前面或其他表面投射。可以使用多个投影仪和多个三维影像系统来形成地面、前面或其他表面上的交互的扩展区域。
系统100的实施例可以改变尺寸。例如，三维影像系统110可以被附着在膝上型计算机监视器的顶部从而可以让用户携带。膝上型电脑本身也可以当计算系统130来操作并能处理三维影像软件以及产生视觉效果。
如上所述，系统100包括照明器120。在图1中三维影像系统110和照明器120的位置如图所示。三维影像系统100和照明器120可以安装在相对于显示器160和/或其他组件的任意位置。此外，三维影像系统110和照明器120还可以有多种实例。三维影像系统110和/或照明器120可以使用一个或多个镜面或其他反射表面(未示出)来改变交互区域170的位置。
系统100可以使用麦克风或麦克风阵列来捕捉音频输入并且也可以使用扬声器来产生音频输出。麦克风可以是定向的，以便更好地从没有背景噪声的特定用户捕捉音频。扬声器也可以是定向的，以便将音频聚焦到特定的用户和特定的区域。定向扬声器的实例除了由Dakota Audio，Holosonics和圣迭戈的American Technology Corporation(ATCSD)所制造的系统外，还包括来自BrownInnovation的MaestroTM和SoloSphereTM。
三维影像系统110可以使用立体影像来实现。立体影像系统使用从两部或多部相机来的信息建立三维图像。使用了例如基于Marro-Poggio算法等的算法的三维计算机影像技术可以将从略微不同的角度对相同场景所拍摄的两个或更多的图像作为输入。
基于Marro-Poggio的算法仅仅是立体算法的一个实例，因为他们发现了相应于相同物理对象的相同部分的不同相机图像的纹理块。在图像中块的位置之间的不同可以确定从相机到该块的距离，从而为该块提供了三维位置数据。
但当处理单色对象时，由于单色很难在不同的图像中匹配相应的块，因此该算法的性能趋于退化。因此，如果照明器120产生纹理化的光，则不同的单色纹理就能改善一些三维计算机影像算法的距离估算。
可以用在三维影像系统110中的示例性的立体相机包括Tyzx DeepSeaTM和Point Grey BumblebeeTM。这些相机可以是单色的或彩色的，并且可以对包括可见光、近红外线、远红外线以及紫外线等电磁光谱的一个或多个特定频段敏感。
三维影像系统110还可以使用时差测距相机来实现。时差测距相机为图像的每个像素检测距离信息。每个像素的距离信息可以包括从相机到从该像素所见对象的距离。时差测距相机通过计时可见光脉冲从邻近相机的光源传播到要被成像的对象接着再返回到相机所花费的时间来获得距离数据。光脉冲可以迅速地返复从而使得时差测距相机能有类似于摄像机帧率的帧率。虽然时差测距相机通常在每秒30帧时具有1-2米的范围，但这个范围可以通过延长曝光时间而增加，同时可以降低帧频。时差测距相机的制造商包括加州Sunnyvale的Canesta Inc.和以色列的3DV System。
三维影像系统110的实施例还可以使用激光测距仪、安装有成对的结构化投光器的相机、激光扫描仪、激光行扫描仪、超声波成像器、能通过从几部相机的前景图像的交叠而得到三维数据的系统，上述的任意组合来实现。多个三维影像系统110可以同时使用，以使它们的三维数据合并在一起，形成描述交互区域内对象的统一数据集合。
虽然在系统100的一些实施例中背景照明可能就足够了，但也必须使用照明器120以通过处理设备(例如，在三维影像系统110或在计算设备130中)改进通过执行立体算法而要被处理的文理数据。通过光的图案照射在交互区域中的对象，照明器120提高了使用立体算法来匹配块的文理数据量。照明器120可以产生图案化和/或不均匀的光图案以提高使用立体算法的对象的检测。在一些实例中，照明器120可以简单地提供与显示器160交互的用户的额外照明。
照明器120可以包括集中光源，例如高功率发光二级管(LED)、白炽灯泡、卤素灯泡、金属卤化物灯泡以及弧光灯。可以同时使用多个集中光源，或使用相同的散射系统作为第一光源或使用单独的光源。应当注意的是，基本上校准的光源(例如具有抛物面镜或一个或多个深照型LED的灯)可以用来代替集中光源而取得类似的结果。
照明器120可以使用各种图案，例如随机点的图案、在变化的长度比例上提供噪声的碎片噪声图案、以及包括一组平行线的图案。平行线可以是随机的并能根据其距离而改变以提供有价值的纹理。可以使用各种方法来产生这样的图案。例如，照明器120可以包括设计来投射通过视频输入电缆提供的任意图像的视频投影仪。图像可以随时间而改变以优化三维影像系统110的性能。例如，图案可以在三维影像系统110的相机图像由于光线而变得饱和的区域中暗淡，而在对象临近相机的区域内变得具有较高的分辨率。可以使用多个视频投影仪来覆盖整个交互区域。
照明器120还可以使用结构化投光器来投射静态或随时间而变化的图案。结构化投光器的实例包括来自ABW的LCD-640TM和MiniRot-h1TM。在另一实施例中，图案可以由幻灯机产生，其包括光源、具有图像的透明幻灯片以及镜头系统或弧光镜系统来投射幻灯片的图像。可以使用多个幻灯机来覆盖整个交互区域。在另一实施例中，由高度集中的光源(从很小的区域发出的光)产生图案。替换地，可以使用反射或折射系统。
照明器120可以使用例如近红外光源等的可见或最低程度的可见光源以避免在用户所注意的地面上产生图案。替换地，照明器120可以具有能发出可见以及不可见光的光源并可以包括滤波器来降低可见光，而保留不可见光。照明器120和相机在同步相机曝光时可以通过照明器120的脉冲调制来选通从而降低或消除环境光的影响。三维影像系统110可以包含有光学滤波器，其可以抑制并非由照明器120所发出的波长的光，从而使得从照明器120发出的光在由影像系统110所捕获的图像中更显著地表现出来。
影像软件可以在三维影像系统110或与影像系统110耦合的计算设备130中执行。影像软件的执行可以提高捕获的图像数据的有效性。例如，当使用多个三维相机时，影像软件可以辅助相机的校准以便从相机来的数据能被整合到相同的坐标空间(即，两部相机可以从不同的角度覆盖相似的地区以从多个角度提供该区域的覆盖)。这些相机可以覆盖不同的区域，其中一部相机可以集中于临近的交互而另一部相机则集中于远距离的交互。立体处理的质量和分辨率还可以通过影像软件的执行而改变和完成。例如，靠近显示器160的区域可以以较高的分辨率处理以便以更高的精确度来分辨临近显示器160的用户140的各个手指150。
可以使用多种方法来消除在三维数据中的错误和噪声。例如，可以使用背景方法来将在特定时间周期内从已知没有移动的相机视场的区域来的三维数据屏蔽。这些背景方法(以及所知的背景减少方法)可以是自适应性的，允许背景方法随时间调整在背景中的变化。这些背景方法可以使用从相机来的亮度、色度和/或距离数据来形成背景并确定前景。一旦确定了前景，则就可以消除从前景区域外收集的三维数据。
在另一实施例中，可以使用彩色相机来为用户140以及在显示器160前的其他对象的三维数据获得色度数据。可以使用该色度数据来得到用户140的彩色三维的表示，这就能识别并跟踪它们的相似度。可以连续地显示所识别并跟踪的用户的相似度。
可以对作为从相机到从相机的的视点来的相机图像的每个像素的距离的深度图像使用噪声过滤，或直接对由影像系统110收集的三维数据使用噪声过滤。可以将例如中值过滤等的平滑和平均技术应用到相机深度图像中来降低深度的错误。如果三维数据集合并不相应于较大的形状，则就从它们中去除单独的点或点的小簇，从而在保留用户原样的同时消除噪声。
可以以各种方式来分析三维数据以产生高级信息。例如，可以检测用户的指尖、手指和手(在图1中用组件150集中表示)。能做到这样的方法包括各种形状识别和对象识别算法。可以使用二维和/或三维的空间、时间、色度或亮度数据的任意组合来对对象分割。此外，在上述域的各种线性或非线性变换中也可以对对象分割。对象检测算法的实例包括，但不限于，可变形的模板匹配、Hough变换以及在适合变换的空间中的空间临近像素和/或体素的聚合。
作为另一个实施例，可以对从属于用户140的三维点分簇并标记以便能识别出从属于该用户的点的簇。各个身体部分，例如用户140的手和手臂(190)可以被分割来作为记号。点还可以在三维空间中使用例如k-means或分级成簇等无管理的方法分簇。所识别的簇接下来可以进入特征抽取和分类引擎。特征抽取和分类并不限于三维空间数据还可以被应用到例如二维空间、亮度、色度或变换本身等其他数据域中的在先特征抽取或分类。
通过各种方法可以将骨骼模型映射到从属于给定用户140的三维点，这些方法包括但不限于期望值最大化、梯度下降、粒子过滤以及特征跟踪。此外，例如eignface或fisherface等的面部识别算法可以使用从影像系统来的例如二维和/或三维空间、时间、色度和亮度数据等的数据来识别用户以及它们的面部表情。所使用的面部识别算法可以是基于图像或基于视频。该信息可以被使用来识别用户，特别是在它们离开再返回到交互区域以及基于面部、性别、身份、种族、面部表情或其他特征而改变与显示的内容交互的情况。
指尖或身体的其他部分可以随时间而被追踪以便识别特定的姿态，例如推、抓、落、戳，和/或描绘使用手指的形状、捏和其他这类的运动。
三维影像系统110可以被特殊配置来检测除用户140外的特定对象。这种检测可以使用可执行的对象识别算法以识别对象的外形或形状的特定方面，由RFID读取器(未示出)读取的对象中的射频识别(RFID)标签以提供识别信息，和/或对象上的特定图案中所选通的光源以提供识别信息。
用户140或由三维影像系统110所检测的其他对象可以在显示器160中表示。可以使用在显示器160上用户140的表示162来让用户与显示器160上显示的虚拟的、数字对象164(其可以与虚拟或数字对象相互交换)交互。通过给定用户的位置(162)相对于数字对象164的可视化指示能使得交互很方便。
这种表示可以包括用户或其他对象的数字阴影。例如，二维形状表示相应于用户身体的三维数据投射在平面上。二维形状可以与用户的形状或尺寸接近。依靠本发明的特定实施例，用户(或其一部分)的表示可以或不必与在显示器160上的数字对象164交互。
还可以使用用户或其他对象的数字轮廓来表示在显示器160上与数字对象164交互的用户162。该数字轮廓还可以被视为数字阴影的边界。类似于数字阴影，该轮廓可以与用户的形状和大小近似。这个形状可以加色、加高亮、进行渲染，或在显示前进行任意的处理。
表示用户手(150)或身体其他部分(190)或其他对象的各种其他的图像、图标、或二维或三维渲染可以在显示器160上进行渲染以达到与数字对象164交互的目的。例如，用户的手150可以在显示器160上表示为用户实际手的近似或作为相应于手的“类似手”的图标。
其他的交互和表示方法包括：
当用户的手处在能与屏幕上的对象交互的位置上时，在虚拟空间中渲染的用户的外形可以与所显示的用户的手上的标记结合在一起。例如，手上的标记可以仅仅在手在屏幕上点触时才显示出来。
表示从影像系统100的三维数据的点云(point cloud)来的用户或其他对象的点可以显示为对象，其可以是很小和/或半透明的。
可以使用表示用户手指(150)位置的光标。当用户140的手指150能在虚拟空间中进行特定类型的交互时，这些光标可以被显示出来或改变外形。
可以使用沿着用户身体的各个部分移动和/或附着与用户身体各个部分的对象。例如，用户140可以戴一顶头盔，其可以随着用户头170的移动和旋转而移动和旋转。
数字化身用以匹配移动时用户140的身体位置或其他对象。在一个实施例中，数字化身被映射到用户位置的骨骼模型。
上述的表示可以随意组合。
在一些实施例中，表示可以基于用户所能与屏幕上的对象交互的形式而改变外形。例如，用户可以被显示为灰色的阴影且不能那个与对象交互直到它们进入到显示器160的特定距离内，在此点它们的阴影会改变颜色并且它们能开始与屏幕上的对象交互。
给定可以由三维影像系统110抽取并收集的大量潜在特征和在屏幕上能显示的各种虚拟对象164，并且在用户140和虚拟对象164之间存在大量潜在交互。潜在交互的一些实例包括能延伸到第三维的基于作用力的二维交互和基于影响图像的交互。因此，有关用户位置的三维数据能被用来产生三维影响图像以影响三维对象的移动。在二维和三维中的这些交互使得在虚拟对象164上用户所施加的作用力的强度和方向能被计算出来，从而使得用户控制他们如何撞击显示器160上对象的移动。
用户140(或他们所显示的代表162)可以通过与在虚拟空间中的他们交叠而与数字对象164交互。这样的交叠可以在从用户来的三维或三维数据中计算并可以被投影到二维中并被计算为二维交叠。
可以基于从用户来的三维数据产生视觉效果。例如，可以使用三维位置数据或其一部分产生发光、扭曲、粒子发射、火焰轨迹，或其他视觉效果。视觉效果还可以基于特定的身体部位的位置。例如，用户可以通过将他们的手合拢而产生虚拟火球。用户140可以使用特定的手持来拿起、放下、移动、旋转或修改显示在显示器上的虚拟的、数字对象164。
在显示器160上描述的虚拟空间可以以二维或三维显示。无论哪一种情况，系统100将有关用户140的信息与在显示器160的虚拟空间中显示的数字对象164和其他图像的信息(例如，用户代表162)合并。如果在虚拟空间中用二维描述用户140，那么有关用户位置的三维数据可以被投影在二维平面上。
在显示器160前的物理空间180和在显示器160上显示的虚拟空间之间的映射可以被任意地定义甚至能随时间而改变。由用户140在显示器160上所看见的实际场景可以基于物理空间180的定义而变化。类似地，虚拟空间(或仅仅是用户的代表162)可以是二维的。在这种情况下，用户的虚拟代表162的深度分量可以被忽略。
映射可以以类似于镜像的方式运作，以便用户140在虚拟空间中所看见的用户的代表162的动作类似于用户140实际动作的镜像。可以对该映射进行校准以便当用户140触摸或将他们的一部分身体靠近屏幕显示器160时，他们的虚拟代表162触摸或将其身体的相同部分靠近屏幕160的相同部分。该映射还可以显示出当用户140接近屏幕160时用户的代表162从屏幕162的表面后退。
通过将在影像系统前的空间分成多个体量空间并将所收集到的数据分类在这些空间中可以创建多个交互区域。图2显示了包括了体量区域的交互显示空间。显示空间包括影像系统220和显示器210。
在图2中，“触摸”空间250主要捕获手指点击的交互，“主要用户”空间240捕获最临近屏幕的人的身体，而“远端用户”空间230捕获最远处的人的身体。在屏幕上的用户代表取决于他们所在的区域而有所不同。例如，在“触摸”空间250中的手指可以由光标表示，在“主要用户”空间240中的身体260可以由彩色的轮廓表示，而在“远端用户”区域230中的身体270可以由灰色轮廓表示。空间的边界可以变化。例如，如果在“主要用户”空间250中没有人，则该空间的边界就可以拓展覆盖“远端用户”空间270。
距离屏幕超出一定距离或在“远端用户”空间270中的用户可以有能力与在屏幕上缩小或消除的对象交互。这使得临近屏幕的用户能与虚拟对象交互而无需受到较远距离用户的干扰。在一些实例中，用户太靠近显示器210且由于这种靠近，反而不能与屏幕上的对象交互。各种的标记都可以表示在显示器210上来指示用户当前的位置和/或他们与在显示器210上的对象交互的能力。
提供有关当前交互能力的标记可能涉及一个或多个原因。例如，显示器可能在特定的情况要求大量用户同时交互，不鼓励任何一个靠近的用户支配交互。其他的情况可能包括显示器在窗口后面，靠近交互是不可能的。在这种情况下，可能产生“太靠近”的交互空间。
在一些实施例中，可以显示各种效果或产生音频来吸引在上述体量区域外的用户进入到其中。在一个实施例中，在当前没有人在交互空间中且第一个用户进入到了交互空间时，显示器显示非常巨大、高亮可见的闪光或其他的动作。在当前没有人进行交互并且进入到交互空间的用户仅仅可以看见他们水平视场中的显示器时，这种特征被设计来引起用户对显示器的注意。
如前所述，本发明的影像系统可以检测用户的手和身体。手和身体的检测可以使用范围、亮度、颜色和/或其他数据。手和身体检测方法可以被应用到原色/亮度图像、范围图像、三维点云，和/或其他数据。手和身体检测方法还可以被应用到基于上述数据集合的任意变换或投影数据。
身体可以被检测来作为在三维云中空间上独立的点簇。身体还可以通过将点云投射到地面并识别出高密度区域而被检测。身体还可以通过在去除深度迅速改变区域后寻找在适合的所投影的深度图像中大量连接的分量而被识别。身体还可以通过在原始三维数据或投影上执行模板匹配或骨骼匹配而被识别。初步识别可以在一个投影上进行，接着再在精确的分离投影上进行。例如，影像系统可以使用地平面视图来为用户身体挑选粗略的边框。接着可以使用在边框内的点的前沿投影来分离非常靠近的用户。
手可以被检测为独立的对象或用户的一部分。在前一种情况下，手可以与用户关联。所检测的手的位置和动作可以相对于用户、显示器，或在交互过程中预先定义或动态产生的空间中的某个区域而定。根据所需的效果，可以使用多种可能的坐标系统来指定这个关系。例如，可以使用从手进入到以用户肩为中心的极坐标系统。手检测方法可以包括通过身体的骨骼相配的识别；通过模版匹配的识别；通过基于色彩的匹配分割的识别；身体相对对象时的识别；和基于连接的组件属性的识别。
一旦用户的身体被识别，则例如框形、球形或圆柱形等的边界区域就在用户的中心。连接到身体但在该区域外的对象可能是手的候选。这些连接的对象还可以被分割以识别“指尖”或手。手可以通过抽取这些对象的极端区域而被识别，这些极端区域例如距离边界框或所限定的身体上的某个点最远距离的点，在能被认为是手的一部分的最远距离之下的一些阈值内的任意点。手还可以通过模版匹配而从这些区域中抽取。手也可以基于各种特征而从这些区域中分割出来，这些特征包括但不限于曲率、距离边界框或身体的距离，以及颜色属性。手臂的骨骼模型还适于使用期望最大化的区域。
图3图示了包括体量区域的交互显示空间的另一个实施例。在图3中，交互显示器310和相机/照明系统320产生一个交互空间，其包括“太靠近”空间350、“手”空间340，和“距离用户”空间330。在“距离用户”空间330中的用户只能与他们的整个身体交互并且可以在显示器上看见整个身体的用户代表。在“手”空间340中的用户能与他们的手和身体交互并且能在显示器上看见手的代表以及整个身体的代表。
将他们的手放入“太靠近”空间350的用户可能并不能与他们的手或身体以及在屏幕上的视觉代表交互，这些屏幕上的视觉代表例如在他们手的位置渐渐消失的一缕烟或由于他们靠得太近而不能交互而向他们提示的其身体渐渐褪色的图像。例如，用户360可以看见他们的手的视觉代表变成一缕烟并可能不能使用他们的手来与屏幕上的对象交互。相反地，在“手”空间340中的用户370有完全的能力来使用他们的手与在屏幕上的对象交互并可以看见除了用户360外的他们的手的不同的代表。“太靠近”空间的内部边缘可以与相机视场或照明器的照明范围的边界一致。
显示器可以显示用户身体或身体的特定部分的代表来给用户提供视觉反馈到在显示器上显示的虚拟空间内的位置，从而便于与显示器上显示的对象进行精确的交互。显示器还可以显示用户手的代表。由于在用户和显示器间的很多交互可以经由用户的手，这对于特定高亮显示用户的手来说是很有益的。当手距离身体足够远以至能传送某种姿态使用是可以仅显示手的代表。为手而使用的代表可以依靠手的位置或它是如何移动的。还可以反映手是否能选择或与对象交互。可以是拟人性的手、不同类型的对象，或这两个的组合。
在一个实施例中，当用户或他们的手在显示器前的特定空间中时仅仅出现手的代表。替换地，当用户的手的代表开始被显示时用户整个身体的代表逐渐减弱或变形而当用户手的代表被去除时则返回。
图4图示了用于基于姿态的交互的处理的实例性方法。在步骤410中，能收集有关其环境的实时三维数据的相机(例如立体或时差测距相机等)捕获一个或多个人类用户或其他对象的动作。在步骤420中，从三维相机来的可以形成三维点云的数据由计算机影像系统分析，并被潜在地进行坐标变换以确定相对于显示器和在显示器上显示的虚拟对象的数据的位置。在步骤430中，计算机影像系统分析该数据以确定用户身体和手以及其他身体部分的位置。这些身体部分可以由人进行分组，并且它们的位置可以随时被跟踪以确定速度、加速度以及其他特性。
在步骤440，确定每只手进行的与虚拟对象的选择关联的动作或与虚拟对象进行的其他交互的程度。在步骤450中，确定每只手的视觉代表，其可以取决于其选择的级别或其他的动作而不同。然后，在步骤480中，与在步骤470中创建的用户身体的代表以及由仿真490控制而已与用户交互的虚拟对象一起渲染这些视觉代表。通过渲染在显示器上的代表，用户可以接收他们的身体和手相对于在屏幕上的虚拟对象的位置的视觉反馈。
单独地，在步骤460中处理由步骤450所确定的每只手的选择级别以确定该手是否与从仿真490来的任何虚拟对象进行了交互。在图4中显示的用户交互处理可以非常迅速地反复进行以便产生实时交互的影像。
在图4中显示的处理仅仅图示了一个可能的实施例。可以实现替换的实施例、例如，在仿真490中的对象可以分析在它们周围的视觉信号以确定在附近是否有手或是否发生了选择行为，从而忽略步骤440和430的要求。
图5图示了手/用户代表的vis-à-vis选择级别。在步骤510中，确定手正在选择的对象的程度。在所示的实施例中，确定沿Z轴从躯干到手的简单距离。当用户向前伸出它们的胳膊时，该值就会增加。在步骤520中，在显示器上的用于手的视觉代表基于在步骤510中计算的距离值而确定。当距离增加时，手的代表逐渐地从张开的手靠近一个指示的手指。这给出了他们的部分选择级别的用户反馈，即他们的手距离他们能选择对象的阈值有多远。当手穿过了该阈值而进入到选择模式中时，它就能选择对象，则十字准线出现。如果没有手达到，则显示没有手的代表。单独地，在步骤510中计算的距离作为在步骤530中的“动作级别”，其中，如果动作级别超出了，例如0.5，则手就变得能选择对象了。在图5中所示的实例仅仅显示了一个可能的实施例。其他的各种方法都能被用来计算动作级别。
在一个实施例中，用户的手或身体能通过物理碰撞的二维或三维仿真来与虚拟对象交互。在一个实施例中，显示器上显示的虚拟空间中的每只手的位置可以被用来作为给控制虚拟对象行为的物理仿真的输入。手要么由能预先定义的例如特定半径的球形等的特定形状模型化，要么由从用户手自身的二维或三维形状得到。在一个实施例中，手的视觉代表可以作为物理仿真的模型。
可以使用在物理仿真中的手的模型来检测与在显示器上所显示的虚拟对象的交叠和碰撞。可以使用随时间而定的手的位置来得到速度和加速度，这使得能计算在显示器上的虚拟对象的真实碰撞。碰撞可以是无弹性的、部分弹性的，或完全弹性的，并且可以使用现有技术中公知的标准碰撞公式进行计算。由于手不能物理地由虚拟对象所移动，因此，可将手视为就好像为计算后碰撞速度的目的而具有无穷大。
其他的身体部分，例如手臂、头，或整个身体等，可以用类似的方式被输入到物理仿真。有关手或身体其他部分的动作信息可以被用来计算交互而不是碰撞，例如流体或波纹仿真，或依靠速度或加速度的粒子发射。
还可以使用附于手或身体其他部分的虚拟对象来于虚拟对象交互。例如，虚拟的剑可以被附于用户的手上。对象的方向可以通过分析用户的手、前臂或胳膊的方向而计算，这使得用户很容易控制对象的方向。该对象还可以由物理引擎而分析以确定与其他对象的交互。
图6图示了用户的物理位置如何被映射到数字对象的所显示的虚拟世界中。在图6中，用户620正在显示器630前交互。用户620在交互空间610中，交互空间610是在其交互能影响显示的空间。轴660限定了坐标系统。X和Y轴限定了在显示器630上的水平和垂直位置，而Z轴限定了距离显示器630的垂直距离。在该交互空间610中，用户620抬起他们的手670来与在屏幕630上显示的虚拟对象640交互。
在一个实施例中，在手670和虚拟对象640间的交叠或临近通过将在Z轴上手的位置投影到显示器表面的(X，Y)平面、随后分析手670和虚拟对象640的相对位置(X，Y)而计算。此外，手640的代表650在显示器630上通过沿Z轴投影手的位置而计算的位置。该代表给用户620提供有关他们的手670在显示器630的虚拟世界中的位置的视觉反馈。
图7图示了如何将用户的物理位置映射到数字对象的所显示的虚拟世界中的替换性的实施例。在一个实施例中，显示器730在二维表面上显示图像并使用阴影或模糊等的深度提示来通知深度。在另一实施例中，显示器730是能给用户720产生三维图像的显示器，它给出了所显示的图像距离屏幕前或后一定距离的幻影。现今已有各种三维显示机制并在商业上可以得到，其包括但不限于，立体视觉投影和透镜视屏。
用户720在交互空间710交互。当用户710伸出他们的手770时，他们的手的虚拟代表750就可以通过显示器730显示。当用户的手770进入到由显示器730所显示的虚拟对象740周围的触摸空间780时，就产生交互。所图示的坐标轴760仅是参考性的。
存在很多种系统用来选择屏幕上的对象的潜在方法。重要的是让假负片(false negative)和假正片(false positives)最小化从而防止用户意外地选择他们不想选择的对象，和不能选择他们想选的对象。用来计算这些用户行为的信息可以使用来自于影像系统的各种输入，这包括但不限于，当前和以前的手的位置和速度、手臂的角度、当前和以前的头的位置，和当前和以前的躯干位置。
通过在所选的对象或区域上让手静止不动可以产生选择。以几种方式来检测出保持手静止的动作。例如，如果动作级别超出了阈值，则对被选择的对象或区域随时跟踪动作级别。部分选择可以基于动作级别显示。随时间而定的手的位置可贡献于该动作级别。例如，如果手快速移过对象或区域或在对象或区域外，则动作级别可以由公式所确定的量而降低，而如果手位于对象或区域上并且缓慢地移动或停止，则动作级别可以由公式所确定的量而提升。公式可以考虑手的移动的速度，因此，手移动的越慢，则动作级别提升的越快。
在特定的时间范围内手的平均速度低于特定值则也可以作为选择的机制。速度可以由定义在显示器上的交互区域的二维平面限定，由在显示器前的三维空间所限定，或通过例如在图6和7种所示的X和Y轴等的其他方法所限定。
其他的选择机制包括：在特定时间范围内低于特定值的手的最大速度；在某些二维(例如，在图6和7中所示的X和Y轴)或三维坐标系统中手的位置在特定时间周期内位于特定区域内；在某些二维(例如，在图6和7中所示的X和Y轴)或三维坐标系统中手的位置的变化在特定时间周期内总在特定值之下；手的位置数据在时间间隔内取平均，接着该平均的位置数据使用这里所描述的任意技术或其他技术而在第二个时间间隔内进行检测。
还能通过在戳的动作中向屏幕或虚拟对象插入手而产生选择。可以以各种方式检测戳的动作。例如，手距离屏幕的距离由于在特定时间周期中超过阈值量而降低；手沿Z轴相对于屏幕的速度超过了特定的值，并且手向屏幕移动；手沿Z轴相对于屏幕的平均速度在特对时间周期内超过了特定值，并且手向屏幕移动；上述实例的任何一个根据额外的标准，手的X和Y速度(平均X和Y速度)在特定时间周期内低于特定值。这防止了在用户旋转手时产生额外的选择；用户的速度在特定的方向范围内的方向中，并且速度超出了给定值。在这样的一个实施例中，方向的范围包括沿Z轴直接指向屏幕的矢量的特定角度的方向。
选择还可以基于用户的手距离屏幕或任意三维区域的距离而产生。这样，当用户将他们的手伸入到“选择区域”时，则就能选择对象。选择还能基于用户的手相对于其身体的位置而产生。这种动作可以以各种方式被检测到，例如用户的手比用户的头、躯干、肩膀或重心具有更大的阈值距离；用户的高度与从用户的手到用户的头、躯干、肩膀、重心的比率低于一个特定量，这确保了较矮或较高的人都能以类似当动作选择对象；可以用几种方式限定距离，例如可以包括沿Z轴(向着屏幕)的距离，或在三维空间(X，Y，Z)或在加权的坐标系统中的距离。
选择可以基于用户在特定位置迅速地摆动他们的手而产生。通过在特定时间间隔内用户的手的平均速度超出阈值量，但位置仍然在特定的区域内而检测出迅速地摆动。选择还能基于用户的手的平均速度在特定时间间隔内超过阈值量，但位置的变化仍然保持在特定量以下而产生。
选择还能基于执行特定姿态而产生。
由于不同的人可以直观地使用不同的方法来选择对象，所以允许使用多种选择方法是很有益处的。这样，例如如果用户让他们的手静止不动超过了特定的时间周期或者如果用户在特定的时间周期进行了快速的搅动，则用户都可以选择对象。
为了防止意外的选择，需要同时调用多种选择方法来触发选择。例如，用户可能需要将他们的手静止特定的时间周期并且让他们的手距离他们的身体至少最小的距离。
在选择处理中可以使用反馈来指示正在发生的选择的实际情况。在一个实施例中，当手正在选择对象时，用户的手在屏幕上的代表会产生变化。在另一实施例中，当手基于其位置或移动应当选择对象时用户的手在屏幕上的代表会产生变化，即便在该区域中没有对象。而在另一实施例中，当用户选择，或部分地选择对象时，屏幕上的对象会变化。
手的屏幕上的代表替换地在其开始选择对象时产生改变。这给用户提供了有关选择处理特性的视觉反馈，并有助于用户防止意外的选择。在一个实施例中，在用户代表中的改变可以从基于选择检测算法特定值的图像序列中选择。例如，如果选择检测算法基于用户的身体和手的距离，则手会沿动画序列逐渐改变外形，其中使用距离值选择动画序列的帧。
多个用户可以同时与显示器交互。相机系统能感应多个身体，同时影像系统可以从多个用户的身体区分数据。这种区分使得影像系统能将每只手指派给特定的用户身体。因此，不同的身体和手都能具有不同的用户代表并能与在显示器上显示的虚拟对象进行不同的交互。此外，显示器可以忽略特定的用户，或允许一个用户或一组用户控制交互的特定集合。
上述的组件和功能可以由在计算机可读存储介质上存储的指令构成。指令可以由处理器检索并执行。指令的一些实例是软件、程序代码、以及固件。存储介质的一些实例是存储设备、磁带、磁盘、集成电路以及服务器。指令在由处理器执行来指示处理器根据本发明工作时是可操作的。本领域的技术人员很熟悉指令、处理器和存储介质。
虽然已经描述了本发明的各种实施例，但应当理解的是，他们仅仅是示例性而非限制性的。例如，与用户界面关联的任意元件都可以提供上述描述的功能。因此，优选实施例的外延和范围并不应当限于上述示例性的实施例。
例如，从一个或多个显示系统来的信息可以通过允许不同应用程序的高速数据连接共享。例如，显示器的用户可以浏览并与在线的虚拟世界交互，例如，Second Life，There，或World of Warcraft，使用基于姿态的界面的那个世界中的对象和化身。此外，用户的位置和动作的三维数据可以被传输并在在线虚拟世界中显示，从而使得在线虚拟世界的其他用户看见并与所显示的用户交互。这些其他的用户可以使用各种接口(例如，传统的键盘-鼠标接口)或其他的显示器来在虚拟世界中交互。用户可以彼此离得很近或很远。
当前描述的实施例的界面可以提供给各种潜在的用户。例如，对于运动，用户可以拳击、打网球(用虚拟的球拍)、踢虚拟的球，或与计算机或在屏幕上显示的人类对手进行其他运动项目的竞技。在虚拟世界游弋的过程中，用户可以使用自然身体动作，例如学着向虚拟世界移动，并且可以使用他们的手与在虚拟世界中的对象交互。可以通过上述的界面系统控制虚拟角色，其中在其传递下，屏幕上的数字角色可以与在显示器前的人交谈、玩耍或进行其他的交互。这种数字角色可以由计算机控制或由远端的人进行控制。
本发明的实施例允许进行广告，包括交互产品演示和交互商标体验以及多用户工作空间，其中用户组可以以协作的方式移动和操作在屏幕上表示的数据。在上述界面系统中还可以执行视频游戏以便用户能通过姿态和身体的自然移动玩游戏和控制他们在屏幕上的角色。通过该系统还能实现衣服的建模和“试穿”，其中在用户的图像上可以放置衣服从而能让用户虚拟地试穿衣服。

Claims (17)

1.一种用来利用交互显示器处理基于姿态的用户交互的方法，该方法包括：
收集有关所定义的三维空间中的对象的三维信息；
识别相应于所定义的三维空间中的用户的手的三维信息的一部分；
显示数字对象在屏幕上的图像；
显示与用户的物理外形关联并近似的屏幕上的图像，其中所显示的屏幕上的近似于用户的物理外形的图像并不与所显示的数字对象交互；和
显示相应于在所定义的三维空间中的用户的手的图标，其中所显示的图标能与所显示的数字对象交互。
2.一种用来利用交互显示器处理基于姿态的用户交互的方法，该方法包括：
收集有关所定义的三维空间中的多个用户的三维信息，其中所述定义的三维空间包括多个体量区域，其中由所述三维信息定义的多个用户的每个的一部分位于所述多个体量区域中的一个或多个；
识别相应于所定义的三维空间中的多个用户之一的手的三维信息的一部分；
显示在屏幕上的数字对象；和
显示指示，该指示显示了多个用户中的一个当前是否能基于在多个所述体量区域中的一个或多个中的所述多个用户中的一个的位置而与所述显示的数字对象交互。
3.根据权利要求2的方法，其中所述多个体量区域包括相比于其他所述体量区域距离所述交互显示器最远的体量区域。
4.根据权利要求3的方法，还包括显示不与所述显示的数字对象交互并与位于相比于其他所述体量区域距离所述交互显示器最远的体量区域中的多个用户中的一个的物理外形关联并近似的屏幕上的图像。
5.根据权利要求4的方法，其中在相比于所述其他体量区域距离所述交互显示器最远的所述体量区域中的多个用户中的一个的屏幕上的图像的显示不同于与位于用来与所述显示的屏幕上的数字对象交互的体量区域中的多个用户中的一个的物理外形关联并近似的屏幕上的图像的显示。
6.根据权利要求2的方法，其中所述多个体量区域包括相比于其他体量区域最接近交互显示器的体量区域。
7.根据权利要求6的方法，其中所述多个用户中的一个当前是否能与所显示的数字对象交互的指示相应于所述多个体量区域中的一个或多个与所述交互显示器的邻近程度。
8.根据权利要求2的的方法，其中所述多个体量区域包括用来与所显示的数字对象交互的体量区域，并且相应于所述多个用户中的一个的手的图标仅在所述多个用户中的一个的相应的手位于用于与所述显示的对象交互的体量区域中时才显示。
9.一种用来利用交互显示器处理基于姿态的用户交互的方法，该方法包括：
收集有关所定义的三维空间中的对象的三维信息；
识别相应于所定义的三维空间的用户的手的三维信息的一部分；
显示数字图像在屏幕上的图像；所述数字对象具有相应于所述用户是否已经超出了用于所述数字对象的动作级别阈值的可以明显看见的活动状态；和
显示用来与所述数字对象在屏幕上的图像交互的图标，所述图标相应于在所定义的三维空间中所述用户的手，其中所述动作级别相应于所述用户的随时间而定的手的位置。
10.根据权利要求9的方法，其中所述数字对象视觉可感知的活动状态指示了用户所述数字对象的动作级别的阈值是否已被超出。
11.根据权利要求10的方法，其中所述数字对象视觉可感知的活动状态由相应于所述用户的手的图标所指示。
12.根据权利要求10的方法，其中所述数字对象视觉可感知的活动状态由所述数字对象的屏幕上的图像所指示。
13.根据权利要求10的方法，其中所显示的数字对象视觉可感知的活动状态从非活动、部分活动和活动的组中选择。
14.一种用于利用交互显示器处理基于姿态的用户交互的方法，该方法包括：
收集有关所定义的三维空间中的对象的三维信息；
识别相应于所定义的三维空间中的用户的手的三维信息的一部分；
显示数字图像在屏幕上的图像；所述数字对象具有相应于所述用户是否已经超出了用于所述数字对象的动作级别阈值的视觉可感知的活动状态；和
显示用来与所述数字对象在屏幕上的图像交互的图标，所述图标相应于在所定义的三维空间中所述用户的手，其中所述动作级别阈值相应于所显示的相应于所述用户的手的图标相对于所显示的数字对象随时间而定的位置。
15.一种用于利用交互显示器处理基于姿态的用户交互的方法，该方法包括：
收集有关所定义的三维空间中的对象的三维信息；
识别相应于所定义的三维空间中的用户的手的三维信息的一部分；
显示数字对象的屏幕上的图像，所述数字对象具有动作级别阈值；和
显示用来与所述数字对象的屏幕上的图像交互的图标，所述图标相应于在所定义的三维空间中的所述用户的手，其中只有在所述显示的数字对象的动作级别阈值被超出时，所述图标才可以控制与所述数字对象关联的动作，其中所述数字对象的动作级别阈值被超出的原因是所述图标随时间接近与所述数字对象关联的区域。
16.根据权利要求15的方法，其中超出所述数字对象动作级别阈值的时间相应于所述图标相对与所述数字对象关联的区域的移动量。
17.根据权利要求15的方法，其中超出所述数字对象动作级别阈值的时间与所述图标相对与所述数字对象关联的区域的移动量成反比。
CN200880115391.4A 2007-09-14 2008-09-15 基于姿态的用户交互的处理 Active CN101952818B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US99390707P 2007-09-14 2007-09-14
US60/993,907 2007-09-14
PCT/US2008/010750 WO2009035705A1 (en) 2007-09-14 2008-09-15 Processing of gesture-based user interactions

Publications (2)

Publication Number Publication Date
CN101952818A true CN101952818A (zh) 2011-01-19
CN101952818B CN101952818B (zh) 2016-05-25

Family

ID=40452370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880115391.4A Active CN101952818B (zh) 2007-09-14 2008-09-15 基于姿态的用户交互的处理

Country Status (8)

Country Link
US (5) US8230367B2 (zh)
EP (1) EP2188737A4 (zh)
JP (1) JP5430572B2 (zh)
KR (1) KR101141087B1 (zh)
CN (1) CN101952818B (zh)
AU (1) AU2008299883B2 (zh)
CA (1) CA2699628A1 (zh)
WO (1) WO2009035705A1 (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163077A (zh) * 2010-02-16 2011-08-24 微软公司 使用碰撞体来捕捉屏幕对象
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示系统
CN102693004A (zh) * 2011-02-16 2012-09-26 微软公司 界面控件的按压启动
CN102722243A (zh) * 2012-05-23 2012-10-10 苏州佳世达电通有限公司 三维空间操作与显示的方法
CN102799344A (zh) * 2011-05-27 2012-11-28 株式会社理光 虚拟触摸屏系统以及方法
CN103079114A (zh) * 2011-10-26 2013-05-01 索尼公司 用于诸如tv之类的音频视频显示设备的3d用户界面
CN103152626A (zh) * 2013-03-08 2013-06-12 苏州百纳思光学科技有限公司 一种智能电视的远红外三维手势探测装置
CN103218042A (zh) * 2013-03-27 2013-07-24 苏州百纳思光学科技有限公司 一种用于便携电子设备的远红外手势识别装置
CN103399318A (zh) * 2013-07-25 2013-11-20 瑞声科技（南京）有限公司 指尖定位系统和方法
CN103472923A (zh) * 2013-09-23 2013-12-25 济南大学 一种三维虚拟手势选择场景物体的方法
CN103533449A (zh) * 2012-12-20 2014-01-22 Tcl集团股份有限公司 一种基于智能3d电视的3d试衣的实现方法及系统
CN103562821A (zh) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 信息处理装置、信息处理方法和记录介质
CN103858074A (zh) * 2011-08-04 2014-06-11 视力移动技术有限公司 经由3d显示器与装置交互的系统和方法
CN103902192A (zh) * 2012-12-28 2014-07-02 腾讯科技（北京）有限公司 人机交互操作的触发控制方法和装置
CN104303131A (zh) * 2012-05-22 2015-01-21 索尼公司 图像处理设备、图像处理方法、以及程序
CN104335145A (zh) * 2012-06-08 2015-02-04 Kmt全球公司 基于空间位置识别的用户界面装置以及方法
CN104423578A (zh) * 2013-08-25 2015-03-18 何安莉 交互式输入系统和方法
CN104777907A (zh) * 2015-04-17 2015-07-15 中国科学院计算技术研究所 一种用于群体人机交互的系统
CN104981757A (zh) * 2013-02-14 2015-10-14 苹果公司 灵活的房间控制器
CN105144031A (zh) * 2013-03-03 2015-12-09 微软技术许可有限责任公司 增强的演示环境
US9360933B2 (en) 2011-03-29 2016-06-07 Intel Corporation Virtual links between different displays to present a single virtual object
CN105659191A (zh) * 2014-06-17 2016-06-08 深圳凌手科技有限公司 用于提供图形用户界面的系统和方法
CN105787971A (zh) * 2016-03-23 2016-07-20 联想(北京)有限公司 一种信息处理方法和电子设备
CN106558090A (zh) * 2015-09-21 2017-04-05 三星电子株式会社 3d渲染和阴影信息存储方法和设备
CN107079145A (zh) * 2014-10-22 2017-08-18 帕拉拉克斯特公司 用于收集产生沉浸式视频的图像数据的方法和用于基于图像数据观看空间的方法
CN107589829A (zh) * 2016-07-07 2018-01-16 迪斯尼实业公司 对互动商品的基于位置的体验
CN107633630A (zh) * 2016-07-19 2018-01-26 合盈光电科技股份有限公司 互动与安全警示系统
CN108353089A (zh) * 2015-08-21 2018-07-31 三星电子株式会社 用于用户可配置的交互区域监视的装置和方法
CN109219426A (zh) * 2016-06-08 2019-01-15 八乐梦医用床有限公司 康复训练辅助控制装置以及计算机程序
US10203765B2 (en) 2013-04-12 2019-02-12 Usens, Inc. Interactive input system and method
CN109584868A (zh) * 2013-05-20 2019-04-05 英特尔公司 用于虚拟个人助理系统的自然人-计算机交互
CN110178101A (zh) * 2016-12-02 2019-08-27 Fogale纳米技术公司 虚拟传感器配置
CN111077984A (zh) * 2018-10-19 2020-04-28 北京微播视界科技有限公司 人机交互方法、装置、电子设备及计算机存储介质
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US10990189B2 (en) 2007-09-14 2021-04-27 Facebook, Inc. Processing of gesture-based user interaction using volumetric zones

Families Citing this family (411)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US9182937B2 (en) 2010-10-01 2015-11-10 Z124 Desktop reveal by moving a logical display stack with gestures
US8943434B2 (en) 2010-10-01 2015-01-27 Z124 Method and apparatus for showing stored window display
US20050088407A1 (en) 2003-10-24 2005-04-28 Matthew Bell Method and system for managing an interactive video display system
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US8625845B2 (en) * 2005-08-06 2014-01-07 Quantum Signal, Llc Overlaying virtual content onto video stream of people within venue based on analysis of the people within the video stream
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
EP2135155B1 (en) 2007-04-11 2013-09-18 Next Holdings, Inc. Touch screen system with hover and click input methods
WO2009029764A1 (en) 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
EP2333652B1 (en) * 2008-09-29 2016-11-02 Panasonic Intellectual Property Corporation of America Method and apparatus for improving privacy of users of a display device for several users wherein each user has a private space allocated to him
KR20100041006A (ko) 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
JP4848001B2 (ja) * 2008-12-18 2011-12-28 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US8908995B2 (en) * 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
KR101022202B1 (ko) * 2009-02-13 2011-03-16 (주)유비스페이스 디스플레이영상다중제어시스템, 제어방법 및 그 제어 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8649554B2 (en) * 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
WO2010144050A1 (en) * 2009-06-08 2010-12-16 Agency For Science, Technology And Research Method and system for gesture based manipulation of a 3-dimensional image of object
US20100309197A1 (en) * 2009-06-08 2010-12-09 Nvidia Corporation Interaction of stereoscopic objects with physical objects in viewing area
US20100315413A1 (en) 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
WO2011011009A1 (en) * 2009-07-23 2011-01-27 Hewlett-Packard Development Company, L.P. Display with an optical sensor
GB0920754D0 (en) * 2009-11-27 2010-01-13 Compurants Ltd Inamo big book 1
US8400398B2 (en) * 2009-08-27 2013-03-19 Schlumberger Technology Corporation Visualization controls
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
JP5343773B2 (ja) * 2009-09-04 2013-11-13 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
JP5568929B2 (ja) 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US9104275B2 (en) * 2009-10-20 2015-08-11 Lg Electronics Inc. Mobile terminal to display an object on a perceived 3D space
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
DE102009055623B4 (de) * 2009-11-25 2016-01-28 Technische Universität Braunschweig Verfahren und Einrichtung zur optischen Aktivitätenerkennung
EP2507692A2 (en) * 2009-12-04 2012-10-10 Next Holdings Limited Imaging methods and systems for position detection
KR101634388B1 (ko) * 2009-12-07 2016-06-28 엘지전자 주식회사 이동 통신 단말기에서 방송 데이터를 표시하는 방법 및 이를 적용한 이동 통신 단말기
CN102103457B (zh) * 2009-12-18 2013-11-20 深圳富泰宏精密工业有限公司 简报操作系统及方法
US10356465B2 (en) * 2010-01-06 2019-07-16 Sony Corporation Video system demonstration
US8284157B2 (en) 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US8334842B2 (en) * 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US20110188116A1 (en) * 2010-02-02 2011-08-04 Nikolay Ledentsov Ledentsov Device for generation of three-demensional images
WO2011096976A1 (en) * 2010-02-05 2011-08-11 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US20110202327A1 (en) * 2010-02-18 2011-08-18 Jiun-Der Yu Finite Difference Particulate Fluid Flow Algorithm Based on the Level Set Projection Framework
US8928579B2 (en) 2010-02-22 2015-01-06 Andrew David Wilson Interacting with an omni-directionally projected display
NL2004273C2 (en) * 2010-02-22 2010-12-28 Valeri Mischenko Embedding humans and objects in virtual reality environments.
TW201130285A (en) * 2010-02-26 2011-09-01 Hon Hai Prec Ind Co Ltd System and method for controlling 3D images
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20110219340A1 (en) * 2010-03-03 2011-09-08 Pathangay Vinod System and method for point, select and transfer hand gesture based user interface
US9535493B2 (en) * 2010-04-13 2017-01-03 Nokia Technologies Oy Apparatus, method, computer program and user interface
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
GB2481366B (en) * 2010-06-03 2014-05-28 Sony Comp Entertainment Europe Entertainment device and entertainment methods
US8602887B2 (en) 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
FR2960986A1 (fr) * 2010-06-04 2011-12-09 Thomson Licensing Procede de selection d’un objet dans un environnement virtuel
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8878656B2 (en) 2010-06-22 2014-11-04 Microsoft Corporation Providing directional force feedback in free space
US9086727B2 (en) 2010-06-22 2015-07-21 Microsoft Technology Licensing, Llc Free space directional force feedback apparatus
US9132352B1 (en) * 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
AT510176B1 (de) * 2010-07-07 2012-02-15 Roman Eugenio Mag Anderl Verfahren zur steuerung einer interaktiven anzeige
CN101893935B (zh) * 2010-07-14 2012-01-11 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球系统构建方法
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP5625599B2 (ja) * 2010-08-04 2014-11-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN101923468A (zh) * 2010-08-13 2010-12-22 中兴通讯股份有限公司 一种重绘微件的方法及装置
US9075434B2 (en) 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US9141189B2 (en) * 2010-08-26 2015-09-22 Samsung Electronics Co., Ltd. Apparatus and method for controlling interface
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101298024B1 (ko) * 2010-09-17 2013-08-26 엘지디스플레이 주식회사 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101298023B1 (ko) * 2010-09-17 2013-08-26 엘지디스플레이 주식회사 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US9052800B2 (en) 2010-10-01 2015-06-09 Z124 User interface with stacked application management
JP5597087B2 (ja) * 2010-10-04 2014-10-01 パナソニック株式会社 仮想物体操作装置
JP4917664B1 (ja) * 2010-10-27 2012-04-18 株式会社コナミデジタルエンタテインメント 画像表示装置、ゲームプログラム、ゲーム制御方法
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US9283429B2 (en) 2010-11-05 2016-03-15 Nike, Inc. Method and system for automated personal training
US9852271B2 (en) * 2010-12-13 2017-12-26 Nike, Inc. Processing data of a user performing an athletic activity to estimate energy expenditure
US9977874B2 (en) 2011-11-07 2018-05-22 Nike, Inc. User interface for remote joint workout session
US9457256B2 (en) 2010-11-05 2016-10-04 Nike, Inc. Method and system for automated personal training that includes training programs
US9529424B2 (en) 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US20220262486A1 (en) * 2010-11-05 2022-08-18 Nike, Inc. User interface for remote joint workout session
KR101549761B1 (ko) 2010-11-05 2015-09-02 나이키 이노베이트 씨.브이. 자동화된 개인 훈련 방법 및 시스템
US9223936B2 (en) 2010-11-24 2015-12-29 Nike, Inc. Fatigue indices and uses thereof
US9135503B2 (en) 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
TWI528224B (zh) * 2010-11-15 2016-04-01 財團法人資訊工業策進會 三維動態操控方法及裝置
US9349040B2 (en) * 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
KR20120054741A (ko) * 2010-11-22 2012-05-31 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN102478957A (zh) * 2010-11-26 2012-05-30 财团法人资讯工业策进会 三维动态操控方法及装置
US20120139827A1 (en) * 2010-12-02 2012-06-07 Li Kevin A Method and apparatus for interacting with projected displays using shadows
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US10420982B2 (en) 2010-12-13 2019-09-24 Nike, Inc. Fitness training system with energy expenditure calculation that uses a form factor
US8920241B2 (en) * 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
RU2584459C2 (ru) * 2010-12-17 2016-05-20 Конинклейке Филипс Электроникс Н.В. Жестовое управление для отслеживания показателей жизнедеятельности
US9123316B2 (en) * 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US20120170800A1 (en) * 2010-12-30 2012-07-05 Ydreams - Informatica, S.A. Systems and methods for continuous physics simulation from discrete video acquisition
EP2474950B1 (en) 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US9582144B2 (en) * 2011-01-20 2017-02-28 Blackberry Limited Three-dimensional, multi-depth presentation of icons associated with a user interface
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US10025388B2 (en) * 2011-02-10 2018-07-17 Continental Automotive Systems, Inc. Touchless human machine interface
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
EP2681638A4 (en) * 2011-02-28 2016-08-03 Facecake Marketing Technologies Inc VIRTUAL REFLECTION IN REAL TIME
US20120223935A1 (en) * 2011-03-01 2012-09-06 Nokia Corporation Methods and apparatuses for facilitating interaction with a three-dimensional user interface
US8963883B2 (en) 2011-03-17 2015-02-24 Symbol Technologies, Inc. Touchless interactive display system
US20140085185A1 (en) * 2011-03-24 2014-03-27 Beth Israel Deaconess Medical Center Medical image viewing and manipulation contactless gesture-responsive system and method
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US20120268424A1 (en) * 2011-04-20 2012-10-25 Kim Taehyeong Method and apparatus for recognizing gesture of image display device
US8654219B2 (en) * 2011-04-26 2014-02-18 Lg Electronics Inc. Method and apparatus for restoring dead pixel using light intensity map in a time-of-flight camera
WO2012147959A1 (ja) * 2011-04-27 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 入力装置、入力方法及び記録媒体
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US8811719B2 (en) 2011-04-29 2014-08-19 Microsoft Corporation Inferring spatial object descriptions from spatial gestures
US8570372B2 (en) * 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US8718334B2 (en) * 2011-05-05 2014-05-06 Honeywell International Inc. System for biometric hand analysis
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
DE102011075877A1 (de) * 2011-05-16 2012-11-22 Siemens Aktiengesellschaft Auswertungsverfahren für eine Folge von zeitlich aufeinander folgenden Tiefenbildern
US8923686B2 (en) * 2011-05-20 2014-12-30 Echostar Technologies L.L.C. Dynamically configurable 3D display
US20120304067A1 (en) * 2011-05-25 2012-11-29 Samsung Electronics Co., Ltd. Apparatus and method for controlling user interface using sound recognition
JP5670255B2 (ja) * 2011-05-27 2015-02-18 京セラ株式会社 表示機器
US9594430B2 (en) * 2011-06-01 2017-03-14 Microsoft Technology Licensing, Llc Three-dimensional foreground selection for vision system
JP5926500B2 (ja) * 2011-06-07 2016-05-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
US9973848B2 (en) * 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
CN102841733B (zh) * 2011-06-24 2015-02-18 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
JP5864144B2 (ja) 2011-06-28 2016-02-17 京セラ株式会社 表示機器
US9266019B2 (en) 2011-07-01 2016-02-23 Empire Technology Development Llc Safety scheme for gesture-based game
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
KR101962445B1 (ko) 2011-08-30 2019-03-26 삼성전자 주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 사용자 인터페이스 제공 방법
JP5823042B2 (ja) 2011-08-31 2015-11-25 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャ方式のゲームシステムの位置設定
JP2013080413A (ja) * 2011-10-05 2013-05-02 Sony Corp 入力装置、入力認識方法
TWI526706B (zh) * 2011-10-05 2016-03-21 原相科技股份有限公司 影像系統
US9030445B2 (en) 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
US9811639B2 (en) 2011-11-07 2017-11-07 Nike, Inc. User interface and fitness meters for remote joint workout session
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US9395820B2 (en) * 2011-12-02 2016-07-19 Intel Corporation Techniques for notebook hinge sensors
WO2013081223A1 (en) 2011-12-02 2013-06-06 Empire Technology Development Llc Safety scheme for gesture-based game system
AU2011265428B2 (en) * 2011-12-21 2014-08-14 Canon Kabushiki Kaisha Method, apparatus and system for selecting a user interface object
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
DE102012000263A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
US9349131B2 (en) * 2012-02-02 2016-05-24 Kodak Alaris Inc. Interactive digital advertising system
US8723796B2 (en) * 2012-02-02 2014-05-13 Kodak Alaris Inc. Multi-user interactive display system
US8810513B2 (en) 2012-02-02 2014-08-19 Kodak Alaris Inc. Method for controlling interactive display system
US8790179B2 (en) 2012-02-24 2014-07-29 Empire Technology Development Llc Safety scheme for gesture-based game system
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US20130257692A1 (en) * 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101343748B1 (ko) * 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US8509986B1 (en) * 2012-04-27 2013-08-13 Innova Electronics, Inc. Automotive diagnostic tool with projection display and virtual input
US8994650B2 (en) 2012-04-27 2015-03-31 Qualcomm Incorporated Processing image input to communicate a command to a remote display device
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
JP5713959B2 (ja) * 2012-05-23 2015-05-07 株式会社東芝 電子機器、方法、およびプログラム
KR101307732B1 (ko) * 2012-05-23 2013-09-11 동신대학교산학협력단 ３ｄ입체 리듬 액션 게임 방법
CN104508669B (zh) 2012-06-04 2019-10-01 耐克创新有限合伙公司 一种综合健身-竞技分数的系统和方法
US20150169156A1 (en) * 2012-06-15 2015-06-18 Realitygate (Pty) Ltd. Method and Mechanism for Human Computer Interaction
US9836590B2 (en) 2012-06-22 2017-12-05 Microsoft Technology Licensing, Llc Enhanced accuracy of user presence status determination
US20140007115A1 (en) * 2012-06-29 2014-01-02 Ning Lu Multi-modal behavior awareness for human natural command control
JP6360050B2 (ja) 2012-07-13 2018-07-18 ソフトキネティック ソフトウェア 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9208580B2 (en) 2012-08-23 2015-12-08 Qualcomm Incorporated Hand detection, location, and/or tracking
DE102013109862A1 (de) * 2012-09-10 2014-03-13 Electronics And Telecommunications Research Institute Vorrichtung und Verfahren für Benutzeranbindung sowie Endgerät, das dieselben benutzt
US9578224B2 (en) 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
FR2995704B1 (fr) * 2012-09-19 2015-12-25 Inst Nat De Sciences Appliquees Methode de selection de mode d'interactivite
JP2014071499A (ja) 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9678713B2 (en) 2012-10-09 2017-06-13 At&T Intellectual Property I, L.P. Method and apparatus for processing commands directed to a media center
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US10241638B2 (en) 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
US9137314B2 (en) 2012-11-06 2015-09-15 At&T Intellectual Property I, L.P. Methods, systems, and products for personalized feedback
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
JP5856045B2 (ja) * 2012-12-26 2016-02-09 三井ホーム株式会社 住宅設備制御装置
WO2014106823A2 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US9182812B2 (en) 2013-01-08 2015-11-10 Ayotle Virtual sensor systems and methods
WO2014108728A2 (en) * 2013-01-08 2014-07-17 Ayotle Sas Methods and systems for controlling a virtual interactive surface and interactive display systems
CN103970646B (zh) 2013-01-29 2016-12-28 国际商业机器公司 一种用于操作序列的自动分析方法及其系统
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
WO2014160290A1 (en) * 2013-03-14 2014-10-02 MindsightMedia, Inc. Method, apparatus and article for providing supplemental media content into a narrative presentation
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
TWI524213B (zh) * 2013-04-02 2016-03-01 宏達國際電子股份有限公司 控制方法及電子裝置
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
US9749541B2 (en) * 2013-04-16 2017-08-29 Tout Inc. Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device
JP2014238812A (ja) * 2013-05-10 2014-12-18 株式会社リコー 情報処理装置、動作特定方法及び動作特定プログラム
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9671868B2 (en) 2013-06-11 2017-06-06 Honeywell International Inc. System and method for volumetric computing
KR101419044B1 (ko) * 2013-06-21 2014-07-11 재단법인 실감교류인체감응솔루션연구단 3d 가상 객체의 그림자를 표시하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
EP3019913A4 (en) * 2013-07-10 2017-03-08 Real View Imaging Ltd. Three dimensional user interface
US10533850B2 (en) * 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
EP2829949B1 (en) * 2013-07-26 2019-11-06 BlackBerry Limited System and method for manipulating an object in a three-dimensional desktop environment
US9280259B2 (en) 2013-07-26 2016-03-08 Blackberry Limited System and method for manipulating an object in a three-dimensional desktop environment
JP2015035151A (ja) * 2013-08-09 2015-02-19 船井電機株式会社 表示装置
JP6524589B2 (ja) * 2013-08-30 2019-06-05 国立大学法人山梨大学 クリック動作検出装置，方法およびプログラム
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
US9766855B2 (en) * 2013-09-10 2017-09-19 Avigilon Corporation Method and apparatus for controlling surveillance system with gesture and/or audio commands
US9390598B2 (en) 2013-09-11 2016-07-12 Blackberry Limited Three dimensional haptics hybrid modeling
KR20150031629A (ko) 2013-09-16 2015-03-25 삼성전자주식회사 터치 입력이 가능한 디스플레이 장치 및 그 터치 입력 방법
US20160239002A1 (en) * 2013-09-25 2016-08-18 Schneider Electric Buildings Llc Method and device for adjusting a set point
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
US9280283B2 (en) 2013-10-28 2016-03-08 Blackberry Limited Contactless gesture recognition with sensor having asymmetric field of view
US20150123901A1 (en) * 2013-11-04 2015-05-07 Microsoft Corporation Gesture disambiguation using orientation information
JP6127958B2 (ja) * 2013-12-19 2017-05-17 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
US10089330B2 (en) 2013-12-20 2018-10-02 Qualcomm Incorporated Systems, methods, and apparatus for image retrieval
US9622322B2 (en) * 2013-12-23 2017-04-11 Sharp Laboratories Of America, Inc. Task light based system and gesture control
US9875019B2 (en) * 2013-12-26 2018-01-23 Visteon Global Technologies, Inc. Indicating a transition from gesture based inputs to touch surfaces
US20150187357A1 (en) * 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Natural input based virtual ui system for mobile devices
CN103713779A (zh) * 2013-12-31 2014-04-09 成都有尔科技有限公司 一种非接触式触控装置及其实现方法
DE102014200024A1 (de) * 2014-01-06 2015-07-09 Volkswagen Aktiengesellschaft Anzeigebedieneinheit und Verfahren zum Anzeigen zusätzlicher Hinweise auf eine Anzeigeeinheit
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9383894B2 (en) 2014-01-08 2016-07-05 Microsoft Technology Licensing, Llc Visual feedback for level of gesture completion
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
US9785243B2 (en) 2014-01-30 2017-10-10 Honeywell International Inc. System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications
GB2524473A (en) * 2014-02-28 2015-09-30 Microsoft Technology Licensing Llc Controlling a computing-based device using gestures
WO2015142023A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
WO2015142019A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects
PL2921936T3 (pl) * 2014-03-22 2019-09-30 Monster & Devices Home sp. z o.o. Metoda i aparatura do sterowania urządzeniem za pomocą gestów
DE102014107211A1 (de) * 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Vorrichtung zum Anzeigen einer virtuellen Realität sowie Messgerät
CN105094306A (zh) * 2014-05-23 2015-11-25 陈正涛 基于激光扫描测距仪的互动橱窗及其实现方法
CN104408395A (zh) * 2014-06-26 2015-03-11 青岛海信电器股份有限公司 一种手势识别方法和系统
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
JP6428020B2 (ja) * 2014-07-24 2018-11-28 セイコーエプソン株式会社 Ｇｕｉ装置
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
CA2993876C (en) 2014-08-15 2023-03-07 The University Of British Columbia Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information
CN104199547B (zh) * 2014-08-29 2017-05-17 福州瑞芯微电子股份有限公司 一种虚拟触屏操作装置、系统及方法
JP2016053769A (ja) * 2014-09-02 2016-04-14 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN107407959B (zh) * 2014-09-30 2021-04-30 惠普发展公司，有限责任合伙企业 基于姿势的三维图像的操纵
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
CN106999788A (zh) 2014-11-30 2017-08-01 杜比实验室特许公司 社交媒体链接的大幅面剧院设计
US9551161B2 (en) * 2014-11-30 2017-01-24 Dolby Laboratories Licensing Corporation Theater entrance
US9830073B2 (en) 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen
EP3040842B1 (de) * 2015-01-02 2019-08-07 Volkswagen AG Anwenderschnittstelle und Verfahren zur hybriden Nutzung einer Anzeigeeinheit eines Fortbewegungsmittels
PL411336A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób interakcji z urządzeniami stacjonarnymi za pomocą gestów oraz system do interakcji z urządzeniami stacjonarnymi za pomocą gestów
JP2016162162A (ja) * 2015-03-02 2016-09-05 株式会社リコー 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
US20160266648A1 (en) * 2015-03-09 2016-09-15 Fuji Xerox Co., Ltd. Systems and methods for interacting with large displays using shadows
US9804718B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US9753591B2 (en) 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US9791979B2 (en) 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US9720446B2 (en) * 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
WO2016185634A1 (ja) * 2015-05-21 2016-11-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US9959677B2 (en) * 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US10896447B1 (en) * 2015-06-19 2021-01-19 Google Llc Methods and systems for reducing inadvertent interactions with advertisements displayed on a computing device
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US10484824B1 (en) * 2015-06-26 2019-11-19 Lucasfilm Entertainment Company Ltd. Content presentation and layering across multiple devices
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
WO2017024142A1 (en) 2015-08-04 2017-02-09 Google Inc. Input via context sensitive collisions of hands with objects in virtual reality
WO2017030255A1 (en) 2015-08-18 2017-02-23 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof
US10025375B2 (en) 2015-10-01 2018-07-17 Disney Enterprises, Inc. Augmented reality controls for user interactions with a virtual world
US9691153B1 (en) * 2015-10-21 2017-06-27 Google Inc. System and method for using image data to determine a direction of an actor
JP6536350B2 (ja) * 2015-10-26 2019-07-03 船井電機株式会社 入力装置
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
US9639943B1 (en) * 2015-12-21 2017-05-02 Intel Corporation Scanning of a handheld object for 3-dimensional reconstruction
WO2017120271A1 (en) * 2016-01-04 2017-07-13 Meta Company Apparatuses, methods and systems for application of forces within a 3d virtual environment
US10043305B2 (en) 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
JP6702746B2 (ja) * 2016-02-10 2020-06-03 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記憶媒体
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
WO2017142977A1 (en) * 2016-02-15 2017-08-24 Meta Company Apparatuses, methods and systems for tethering 3-d virtual elements to digital content
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
US10025308B1 (en) 2016-02-19 2018-07-17 Google Llc System and method to obtain and use attribute data
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
US10298907B2 (en) 2016-04-20 2019-05-21 Fuji Xerox Co., Ltd. Method and system for rendering documents with depth camera for telepresence
CN114971930A (zh) 2016-05-10 2022-08-30 T·德兰 流时间线社交网络
CN108700940A (zh) * 2016-05-10 2018-10-23 谷歌有限责任公司 体量虚拟现实键盘方法、用户接口和交互
US9847079B2 (en) 2016-05-10 2017-12-19 Google Llc Methods and apparatus to use predicted actions in virtual reality environments
DE102016209671B4 (de) 2016-06-02 2022-01-05 Adidas Ag Vorrichtung zum Designen eines Musters für einen tragbaren Gegenstand
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
AU2017101277A4 (en) * 2016-09-16 2017-10-26 Christopher Ghaleb A floorplan visualisation system
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
CN107979748A (zh) * 2016-10-21 2018-05-01 中强光电股份有限公司 投影机、投影系统以及影像投影方法
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10469758B2 (en) 2016-12-06 2019-11-05 Microsoft Technology Licensing, Llc Structured light 3D sensors with variable focal length lenses and illuminators
US10554881B2 (en) 2016-12-06 2020-02-04 Microsoft Technology Licensing, Llc Passive and active stereo vision 3D sensors with variable focal length lenses
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US10152636B2 (en) 2017-01-12 2018-12-11 International Business Machines Corporation Setting a personal status using augmented reality
JP6819333B2 (ja) * 2017-02-07 2021-01-27 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10628675B2 (en) * 2017-02-07 2020-04-21 Fyusion, Inc. Skeleton detection and tracking via client-server communication
KR102471422B1 (ko) 2017-02-17 2022-11-30 엔제트 테크놀러지스 인크. 외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템
US10254846B1 (en) 2017-03-15 2019-04-09 Meta Company Systems and methods to facilitate interactions with virtual content in an augmented reality environment
CN106951080A (zh) * 2017-03-16 2017-07-14 联想(北京)有限公司 用于控制虚拟物体的交互方法和装置
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
WO2019006760A1 (zh) * 2017-07-07 2019-01-10 深圳市大疆创新科技有限公司 一种姿态的识别方法、设备及可移动平台
AT520234B1 (de) * 2017-07-27 2019-05-15 Ulrich Emanuel Andel Mag Vorrichtung zur interaktiven Präsentation von visuellen Inhalten
WO2019032967A1 (en) 2017-08-10 2019-02-14 Google Llc HAND INTERACTION SENSITIVE TO THE CONTEXT
JP7005224B2 (ja) * 2017-08-22 2022-01-21 キヤノン株式会社 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
EP3447610B1 (en) * 2017-08-22 2021-03-31 ameria AG User readiness for touchless gesture-controlled display systems
WO2019036895A1 (en) * 2017-08-22 2019-02-28 Tencent Technology (Shenzhen) Company Limited GENERATING USER EXPERIENCE IN THREE DIMENSIONS BASED ON TWO-DIMENSIONAL MEDIA CONTENT
US10515484B1 (en) 2017-10-20 2019-12-24 Meta View, Inc. Systems and methods to facilitate interactions with virtual content in an interactive space using visual indicators
US10996763B2 (en) * 2017-11-08 2021-05-04 Jpmorgan Chase Bank, N.A. System for and method of managing gestures in virtual reality
CN109816723A (zh) * 2017-11-21 2019-05-28 深圳光峰科技股份有限公司 投影控制方法、装置、投影交互系统及存储介质
US11188944B2 (en) * 2017-12-04 2021-11-30 At&T Intellectual Property I, L.P. Apparatus and methods for adaptive signage
US11188287B2 (en) * 2017-12-27 2021-11-30 Sony Corporation Display control apparatus, display control method, and computer program
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
WO2020006478A1 (en) 2018-06-29 2020-01-02 Alfa Enzo Inc. Multi-blockchain proof-of-activity platform
US10909373B1 (en) * 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
US10402081B1 (en) * 2018-08-28 2019-09-03 Fmr Llc Thumb scroll user interface element for augmented reality or virtual reality environments
US11157169B2 (en) 2018-10-08 2021-10-26 Google Llc Operating modes that designate an interface modality for interacting with an automated assistant
WO2020076288A1 (en) 2018-10-08 2020-04-16 Google Llc Operating modes that designate an interface modality for interacting with an automated assistant
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11861944B1 (en) * 2019-09-25 2024-01-02 Amazon Technologies, Inc. System for synchronizing video output based on detected behavior
CN111650759A (zh) * 2019-12-31 2020-09-11 北京大学 近红外光斑投影的多焦距微透镜阵列遥感光场成像系统
US20230099167A1 (en) * 2020-03-13 2023-03-30 Interdigital Ce Patent Holdings Display user interface method and system
KR20210125631A (ko) * 2020-04-08 2021-10-19 현대자동차주식회사 단말기, 단말기와 통신하는 퍼스널 모빌리티 및 그의 제어 방법
CN111522446B (zh) * 2020-06-09 2023-10-03 宁波视睿迪光电有限公司 基于多点tof的手势识别方法及装置
US20220072381A1 (en) * 2020-09-04 2022-03-10 Rajiv Trehan Method and system for training users to perform activities
WO2022170105A1 (en) * 2021-02-05 2022-08-11 Pepsico, Inc. Devices, systems, and methods for contactless interfacing
CN113068051B (zh) * 2021-03-08 2023-02-17 北京达佳互联信息技术有限公司 直播互动方法及装置
US11792243B2 (en) 2022-01-19 2023-10-17 Bank Of America Corporation System and method for conducting multi-session user interactions
US11951357B1 (en) * 2022-11-30 2024-04-09 Roku, Inc. Platform for visual tracking of user fitness

Family Cites Families (331)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2917980A (en) 1955-12-30 1959-12-22 Mergenthaler Linotype Gmbh Lenslet assembly for photocomposing machines
US3068754A (en) 1958-07-30 1962-12-18 Corning Giass Works Prismatic light transmitting panel
US3763468A (en) 1971-10-01 1973-10-02 Energy Conversion Devices Inc Light emitting display array with non-volatile memory
JPS5430572B2 (zh) 1974-08-30 1979-10-02
JPS5189419A (zh) 1975-02-03 1976-08-05
US4275395A (en) * 1977-10-31 1981-06-23 International Business Machines Corporation Interactive projection display system
JPS5794672A (en) 1980-12-05 1982-06-12 Hitachi Ltd Method for inspecting whether parts are present or not
DE3176016D1 (en) 1980-12-30 1987-04-23 Ibm System for remotely displaying and sensing information using shadow parallax
JPS59182688A (ja) * 1983-03-31 1984-10-17 Toshiba Corp ステレオ視処理装置
GB8421783D0 (en) * 1984-08-29 1984-10-03 Atomic Energy Authority Uk Stereo camera
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
US4791572A (en) 1985-11-20 1988-12-13 Mets, Inc. Method for accurately displaying positional information on a map
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4769697A (en) 1986-12-17 1988-09-06 R. D. Percy & Company Passive television audience measuring systems
US5900982A (en) 1987-12-31 1999-05-04 Projectavision, Inc. High efficiency light valve projection system
US4887898A (en) 1988-04-13 1989-12-19 Rowe Furniture Corporation Fabric projection system
US4948371A (en) 1989-04-25 1990-08-14 The United States Of America As Represented By The United States Department Of Energy System for training and evaluation of security personnel in use of firearms
CA2030139C (en) * 1989-11-20 2002-04-23 David M. Durlach 3-d amusement and display device
CA2040273C (en) * 1990-04-13 1995-07-18 Kazu Horiuchi Image displaying system
US5138304A (en) 1990-08-02 1992-08-11 Hewlett-Packard Company Projected image light pen
US6732929B2 (en) * 1990-09-10 2004-05-11 Metrologic Instruments, Inc. Led-based planar light illumination beam generation module employing a focal lens for reducing the image size of the light emmiting surface of the led prior to beam collimation and planarization
US5239373A (en) 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
US5151718A (en) 1990-12-31 1992-09-29 Texas Instruments Incorporated System and method for solid state illumination for dmd devices
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5325473A (en) * 1991-10-11 1994-06-28 The Walt Disney Company Apparatus and method for projection upon a three-dimensional object
US5861881A (en) * 1991-11-25 1999-01-19 Actv, Inc. Interactive computer system for providing an interactive presentation with personalized video, audio and graphics responses for multiple viewers
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
EP0553700B1 (de) * 1992-01-29 1997-06-04 Deutsche Thomson-Brandt GmbH Videokamera, wahlweise als Projektor betreibbar
JP2973750B2 (ja) 1992-03-31 1999-11-08 松下電器産業株式会社 照明光学装置とそれを用いた投写型表示装置
US5497269A (en) * 1992-06-25 1996-03-05 Lockheed Missiles And Space Company, Inc. Dispersive microlens
US6008800A (en) 1992-09-18 1999-12-28 Pryor; Timothy R. Man machine interfaces for entering data into a computer
US5982352A (en) 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US7084859B1 (en) 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US5442252A (en) 1992-11-16 1995-08-15 General Electric Company Lenticulated lens with improved light distribution
US5319496A (en) * 1992-11-18 1994-06-07 Photonics Research Incorporated Optical beam delivery system
US5550928A (en) 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US5526182A (en) * 1993-02-17 1996-06-11 Vixel Corporation Multiple beam optical memory system
US5436639A (en) 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5473396A (en) 1993-09-08 1995-12-05 Matsushita Electric Industrial Co., Ltd. Display apparatus and method of making the same
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
US5510828A (en) * 1994-03-01 1996-04-23 Lutterbach; R. Steven Interactive video display system
US5426474A (en) * 1994-03-22 1995-06-20 Innersense, Inc. Light projection system using randomized fiber optic bundle
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5808784A (en) 1994-09-06 1998-09-15 Dai Nippon Printing Co., Ltd. Lens array sheet surface light source, and transmission type display device
US5682468A (en) * 1995-01-23 1997-10-28 Intergraph Corporation OLE for design and modeling
US5548694A (en) 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3539788B2 (ja) 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
US5633691A (en) * 1995-06-07 1997-05-27 Nview Corporation Stylus position sensing and digital camera with a digital micromirror device
US5882204A (en) * 1995-07-13 1999-03-16 Dennis J. Lannazzo Football interactive simulation trainer
US5591972A (en) * 1995-08-03 1997-01-07 Illumination Technologies, Inc. Apparatus for reading optical information
US6477239B1 (en) * 1995-08-30 2002-11-05 Hitachi, Ltd. Sign language telephone device
US5574511A (en) 1995-10-18 1996-11-12 Polaroid Corporation Background replacement for an image
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5662401A (en) 1995-12-13 1997-09-02 Philips Electronics North America Corporation Integrating lens array and image forming method for improved optical efficiency
US6278418B1 (en) 1995-12-29 2001-08-21 Kabushiki Kaisha Sega Enterprises Three-dimensional imaging system, game device, method for same and recording medium
US5828485A (en) 1996-02-07 1998-10-27 Light & Sound Design Ltd. Programmable light beam shape altering device using programmable micromirrors
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6337699B1 (en) * 1996-06-27 2002-01-08 Sun Microsystems, Inc. Visualizing degrees of information object attributes
EP0860186B1 (en) 1996-09-11 2004-12-08 Sega Corporation Ski simulator
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5923475A (en) 1996-11-27 1999-07-13 Eastman Kodak Company Laser printer using a fly's eye integrator
US5969754A (en) 1996-12-09 1999-10-19 Zeman; Herbert D. Contrast enhancing illuminator
JP3298437B2 (ja) 1996-12-18 2002-07-02 セイコーエプソン株式会社 光学素子、偏光照明装置および投写型表示装置
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
JP3819096B2 (ja) * 1997-01-22 2006-09-06 株式会社東芝 ユーザインタフェース装置及び操作範囲呈示方法
US6266061B1 (en) * 1997-01-22 2001-07-24 Kabushiki Kaisha Toshiba User interface apparatus and operation range presenting method
DE19708240C2 (de) 1997-02-28 1999-10-14 Siemens Ag Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich
US6118888A (en) 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US6088612A (en) 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
US6097390A (en) * 1997-04-04 2000-08-01 International Business Machines Corporation Progress-indicating mouse pointer
US6058397A (en) * 1997-04-08 2000-05-02 Mitsubishi Electric Information Technology Center America, Inc. 3D virtual environment creation management and delivery system
JPH10334270A (ja) * 1997-05-28 1998-12-18 Mitsubishi Electric Corp 動作認識装置及び動作認識プログラムを記録した記録媒体
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
JP3145059B2 (ja) 1997-06-13 2001-03-12 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
DE19727281C1 (de) 1997-06-27 1998-10-22 Deutsch Zentr Luft & Raumfahrt Verfahren und Vorrichtung zur geometrischen Kalibrierung von CCD-Kameras
JP3968477B2 (ja) 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JPH1157216A (ja) * 1997-08-15 1999-03-02 Sony Corp ゲーム装置
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JP3794180B2 (ja) * 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6611241B1 (en) 1997-12-02 2003-08-26 Sarnoff Corporation Modular display system
JPH11175750A (ja) 1997-12-05 1999-07-02 Namco Ltd 画像生成装置及び情報記憶媒体
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6388657B1 (en) * 1997-12-31 2002-05-14 Anthony James Francis Natoli Virtual reality keyboard system and method
DE69915721D1 (de) * 1998-01-28 2004-04-29 Konishiroku Photo Ind Bildverarbeitungsvorrichtung
US6349301B1 (en) * 1998-02-24 2002-02-19 Microsoft Corporation Virtual environment bystander updating in client server architecture
US6464375B2 (en) 1998-03-12 2002-10-15 Matsushita Electric Industrial Co., Ltd. Lens element and illumination optical apparatus and projection display apparatus
US6266053B1 (en) * 1998-04-03 2001-07-24 Synapix, Inc. Time inheritance scene graph for representation of media content
KR100530812B1 (ko) 1998-04-13 2005-11-28 네브엔지니어링 인코포레이티드 아바타 애니메이션을 위한 웨이브렛-기반 얼굴 움직임 캡쳐
US5966696A (en) 1998-04-14 1999-10-12 Infovation System for tracking consumer exposure and for exposing consumers to different advertisements
JP3745117B2 (ja) 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
US6227669B1 (en) 1998-05-26 2001-05-08 Industrial Technology Research Institute Illumination device and image projection apparatus comprising the device
JP4032404B2 (ja) * 1998-07-10 2008-01-16 フジノン株式会社 操作装置
US6421048B1 (en) * 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
JP2000105583A (ja) 1998-07-27 2000-04-11 Ricoh Co Ltd インタラクティブ表示装置
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6263339B1 (en) 1998-08-25 2001-07-17 Informix Software, Inc. Dynamic object visualization and code generation
US6228538B1 (en) * 1998-08-28 2001-05-08 Micron Technology, Inc. Mask forming methods and field emission display emitter mask forming methods
US6122014A (en) 1998-09-17 2000-09-19 Motorola, Inc. Modified chroma keyed technique for simple shape coding for digital video
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
DE19845030A1 (de) * 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6106119A (en) 1998-10-16 2000-08-22 The Board Of Trustees Of The Leland Stanford Junior University Method for presenting high level interpretations of eye tracking data correlated to saved display images
US6351222B1 (en) 1998-10-30 2002-02-26 Ati International Srl Method and apparatus for receiving an input by an entertainment device
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
GB9902235D0 (en) * 1999-02-01 1999-03-24 Emuse Corp Interactive system
KR100608119B1 (ko) * 1999-02-18 2006-08-02 후지쯔 가부시끼가이샤 광 이용 효율이 개선된 조명장치
JP3622556B2 (ja) 1999-02-23 2005-02-23 セイコーエプソン株式会社 照明光学系および投写型表示装置
US6333735B1 (en) 1999-03-16 2001-12-25 International Business Machines Corporation Method and apparatus for mouse positioning device based on infrared light sources and detectors
JP3644295B2 (ja) * 1999-03-17 2005-04-27 セイコーエプソン株式会社 投写型表示装置
US6292171B1 (en) 1999-03-31 2001-09-18 Seiko Epson Corporation Method and apparatus for calibrating a computer-generated projected image
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
WO2001015086A1 (fr) 1999-08-19 2001-03-01 Sony Corporation Processeur d'images, procede de traitement d'images et support enregistre
JP4691754B2 (ja) * 1999-09-07 2011-06-01 株式会社セガ ゲーム装置
JP3905670B2 (ja) 1999-09-10 2007-04-18 株式会社リコー 座標入力検出装置、情報記憶媒体及び座標入力検出方法
US6346933B1 (en) 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
US6407870B1 (en) * 1999-10-28 2002-06-18 Ihar Hurevich Optical beam shaper and method for spatial redistribution of inhomogeneous beam
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7050177B2 (en) 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
GB2356509B (en) * 1999-11-16 2004-02-11 Sony Uk Ltd Video data formatting and storage
US6826727B1 (en) 1999-11-24 2004-11-30 Bitstream Inc. Apparatus, methods, programming for automatically laying out documents
US20030065563A1 (en) 1999-12-01 2003-04-03 Efunds Corporation Method and apparatus for atm-based cross-selling of products and services
JP3760068B2 (ja) 1999-12-02 2006-03-29 本田技研工業株式会社 画像認識装置
GB2356996A (en) 1999-12-03 2001-06-06 Hewlett Packard Co Improvements to digital cameras
EP1247223A4 (en) 1999-12-17 2006-01-18 Promo Vu INTERACTIVE INFORMATION COMMUNICATION SYSTEM WITH PROMOTIONAL CHARACTER
US6666567B1 (en) 1999-12-28 2003-12-23 Honeywell International Inc. Methods and apparatus for a light source with a raised LED structure
US20050195598A1 (en) 2003-02-07 2005-09-08 Dancs Imre J. Projecting light and images from a device
JP4332964B2 (ja) 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
JP4549468B2 (ja) 1999-12-28 2010-09-22 株式会社トプコン レンズメータ
JP3363861B2 (ja) 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP3312018B2 (ja) 2000-01-14 2002-08-05 コナミ株式会社 ゲームシステムおよびコンピュータ読み取り可能な記憶媒体
WO2001056010A1 (en) * 2000-01-26 2001-08-02 New York University Method and system for facilitating wireless, full-body, real-time user interaction with digitally generated text data
US20020140633A1 (en) 2000-02-03 2002-10-03 Canesta, Inc. Method and system to present immersion virtual simulations using three-dimensional measurement
US6491396B2 (en) 2000-02-15 2002-12-10 Seiko Epson Corporation Projector modulating a plurality of partial luminous fluxes according to imaging information by means of an electro-optical device
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US20020062481A1 (en) 2000-02-25 2002-05-23 Malcolm Slaney Method and system for selecting advertisements
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
JP3842515B2 (ja) 2000-03-24 2006-11-08 セイコーエプソン株式会社 多重解像度画像解析による指示位置検出
US20020046100A1 (en) 2000-04-18 2002-04-18 Naoto Kinjo Image display method
JP2002014997A (ja) 2000-04-27 2002-01-18 Ntt Comware Corp 広告情報配信方法及び広告情報配信システム
US7859519B2 (en) 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
US20020032906A1 (en) 2000-06-02 2002-03-14 Grossman Avram S. Interactive marketing and advertising system and method
JP4402262B2 (ja) 2000-06-07 2010-01-20 オリンパス株式会社 プリンタ装置及び電子カメラ
US6752720B1 (en) * 2000-06-15 2004-06-22 Intel Corporation Mobile remote control video gaming system
US6873710B1 (en) 2000-06-27 2005-03-29 Koninklijke Philips Electronics N.V. Method and apparatus for tuning content of information presented to an audience
US7149262B1 (en) 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP4666808B2 (ja) 2000-07-27 2011-04-06 キヤノン株式会社 画像表示システム、画像表示方法、及び記憶媒体、プログラム
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6707444B1 (en) * 2000-08-18 2004-03-16 International Business Machines Corporation Projector and camera arrangement with shared optics and optical marker for use with whiteboard systems
US7103838B1 (en) 2000-08-18 2006-09-05 Firstrain, Inc. Method and apparatus for extracting relevant data
US6654734B1 (en) 2000-08-30 2003-11-25 International Business Machines Corporation System and method for query processing and optimization for XML repositories
WO2002019717A2 (en) 2000-08-31 2002-03-07 Myrio Corporation Real-time audience monitoring, content rating, and content enhancing
JP2002092023A (ja) 2000-09-14 2002-03-29 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置および方法と情報提供プログラムを記録した記録媒体
EP1211640A3 (en) * 2000-09-15 2003-10-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face and other objects in an image
US7000200B1 (en) * 2000-09-15 2006-02-14 Intel Corporation Gesture recognition system recognizing gestures within a specified timing
JP4432246B2 (ja) 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6583781B1 (en) * 2000-10-17 2003-06-24 International Business Machines Corporation Methods, systems and computer program products for controlling events associated with user interface elements by capturing user intent based on pointer movements
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
JP2002171507A (ja) 2000-11-30 2002-06-14 Yokogawa Electric Corp コンテンツ配信方法およびコンテンツ配信システム
JP3467017B2 (ja) 2000-11-30 2003-11-17 キヤノン株式会社 位置姿勢の決定方法及び装置並びに記憶媒体
US6431711B1 (en) 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
US6825861B2 (en) * 2001-01-08 2004-11-30 Apple Computer, Inc. Three state icons for operation
JP2002222424A (ja) * 2001-01-29 2002-08-09 Nec Corp 指紋照合システム
US8085293B2 (en) 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
US6621483B2 (en) 2001-03-16 2003-09-16 Agilent Technologies, Inc. Optical screen pointing device with inertial properties
US20020178440A1 (en) 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US20020140682A1 (en) 2001-03-29 2002-10-03 Brown Frank T. Optical drawing tablet
US6912313B2 (en) 2001-05-31 2005-06-28 Sharp Laboratories Of America, Inc. Image background replacement method
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
EP1689172B1 (en) 2001-06-05 2016-03-09 Microsoft Technology Licensing, LLC Interactive video display system
US20020186200A1 (en) * 2001-06-08 2002-12-12 David Green Method and apparatus for human interface with a computer
JP2003004905A (ja) 2001-06-18 2003-01-08 Toppan Printing Co Ltd 両面レンズシートとそれを用いたリア型プロジェクションスクリーンおよび表示装置
JP2003016804A (ja) * 2001-06-27 2003-01-17 Nichia Chem Ind Ltd Ｌｅｄ表示灯
WO2003009579A2 (en) * 2001-07-17 2003-01-30 Amnis Corporation Computational methods for the segmentation of images of objects from background in a flow imaging instrument
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US7068274B2 (en) 2001-08-15 2006-06-27 Mitsubishi Electric Research Laboratories, Inc. System and method for animating real objects with projected images
JP2003173237A (ja) * 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6708176B2 (en) 2001-10-19 2004-03-16 Bank Of America Corporation System and method for interactive advertising
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US7006055B2 (en) * 2001-11-29 2006-02-28 Hewlett-Packard Development Company, L.P. Wireless multi-user multi-projector presentation system
KR100909715B1 (ko) * 2001-12-03 2009-07-29 도판 인사츠 가부시키가이샤 렌즈 어레이 시트 및 투과형 스크린 및 배면투사형 디스플레이
TWI222029B (en) * 2001-12-04 2004-10-11 Desun Technology Co Ltd Two-in-one image display/image capture apparatus and the method thereof and identification system using the same
US7307636B2 (en) 2001-12-26 2007-12-11 Eastman Kodak Company Image format including affective information
US20030128389A1 (en) 2001-12-26 2003-07-10 Eastman Kodak Company Method for creating and using affective information in a digital imaging system cross reference to related applications
US20030126013A1 (en) 2001-12-28 2003-07-03 Shand Mark Alexander Viewer-targeted display system and method
KR20030058894A (ko) 2002-01-02 2003-07-07 조영탁 가상 골프 시뮬레이터
KR100450815B1 (ko) 2002-02-01 2004-10-01 삼성전자주식회사 조명계 및 이를 채용한 프로젝션 디스플레이 장치
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
EP1573770B1 (en) * 2002-02-20 2013-06-26 University of Washington Analytical instruments using a pseudorandom array of sources, such as a micro-machined mass spectrometer
JP4027118B2 (ja) 2002-02-25 2007-12-26 富士通株式会社 本人認証方法、プログラム及び装置
JP4165095B2 (ja) 2002-03-15 2008-10-15 オムロン株式会社 情報提供装置および情報提供方法
US6607275B1 (en) 2002-03-20 2003-08-19 The Neiman Marcus Group, Inc. Merchandise display case and system
US6707054B2 (en) * 2002-03-21 2004-03-16 Eastman Kodak Company Scannerless range imaging system having high dynamic range
US6831664B2 (en) 2002-03-22 2004-12-14 Koninklijke Philips Electronics N.V. Low cost interactive program control system and method
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
AU2003245506A1 (en) * 2002-06-13 2003-12-31 Mark Logic Corporation Parent-child query indexing for xml databases
US7574652B2 (en) * 2002-06-20 2009-08-11 Canon Kabushiki Kaisha Methods for interactively defining transforms and for generating queries by manipulating existing query data
IES20030534A2 (en) 2002-07-19 2004-02-11 Intellisign Ltd Method and apparatus for an interactive media display
JP3758622B2 (ja) 2002-08-08 2006-03-22 セイコーエプソン株式会社 光学装置、光学ユニット、および、プロジェクタ
US6996460B1 (en) * 2002-10-03 2006-02-07 Advanced Interfaces, Inc. Method and apparatus for providing virtual touch interaction in the drive-thru
US20040091110A1 (en) * 2002-11-08 2004-05-13 Anthony Christian Barkans Copy protected display screen
US6947459B2 (en) 2002-11-25 2005-09-20 Eastman Kodak Company Organic vertical cavity laser and imaging system
AU2003301043A1 (en) * 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
KR20070062612A (ko) 2002-12-26 2007-06-15 산요덴키가부시키가이샤 조명 장치
JP4397394B2 (ja) * 2003-01-24 2010-01-13 ディジタル・オプティクス・インターナショナル・コーポレイション 高密度照明システム
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP4323180B2 (ja) * 2003-02-13 2009-09-02 日本電信電話株式会社 自己画像表示を用いたインタフェース方法、装置、およびプログラム
US6877882B1 (en) * 2003-03-12 2005-04-12 Delta Electronics, Inc. Illumination system for a projection system
US7738725B2 (en) 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
EP1477924B1 (en) * 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
WO2004093013A1 (ja) 2003-04-15 2004-10-28 Fujitsu Limited 画像照合装置、画像照合方法、及び画像照合プログラム
WO2004097741A1 (ja) 2003-04-25 2004-11-11 Fujitsu Limited 指紋照合装置、指紋照合方法および指紋照合プログラム
CA2429880C (en) * 2003-05-27 2009-07-07 York University Collaborative pointing devices
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
FR2856963B1 (fr) 2003-07-03 2006-09-01 Antolin Grupo Ing Sa Siege de vehicule automobile
JP4723799B2 (ja) * 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
JP2005049795A (ja) 2003-07-31 2005-02-24 Dainippon Printing Co Ltd スクリーン用レンズシート
US20050027587A1 (en) 2003-08-01 2005-02-03 Latona Richard Edward System and method for determining object effectiveness
US7001023B2 (en) 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
US20050039206A1 (en) 2003-08-06 2005-02-17 Opdycke Thomas C. System and method for delivering and optimizing media programming in public spaces
CA2438939C (en) 2003-08-28 2008-11-18 Jack Gin Dual surveillance camera system
US20050086695A1 (en) 2003-10-17 2005-04-21 Robert Keele Digital media presentation system
US20050088407A1 (en) * 2003-10-24 2005-04-28 Matthew Bell Method and system for managing an interactive video display system
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7619824B2 (en) 2003-11-18 2009-11-17 Merlin Technology Limited Liability Company Variable optical arrays and variable manufacturing methods
US7268950B2 (en) 2003-11-18 2007-09-11 Merlin Technology Limited Liability Company Variable optical arrays and variable manufacturing methods
US20050104506A1 (en) * 2003-11-18 2005-05-19 Youh Meng-Jey Triode Field Emission Cold Cathode Devices with Random Distribution and Method
US7681114B2 (en) 2003-11-21 2010-03-16 Bridgeborn, Llc Method of authoring, deploying and using interactive, data-driven two or more dimensional content
KR100970253B1 (ko) * 2003-12-19 2010-07-16 삼성전자주식회사 발광소자의 제조 방법
KR100588042B1 (ko) 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
WO2005091651A2 (en) 2004-03-18 2005-09-29 Reactrix Systems, Inc. Interactive video display system
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
US7379563B2 (en) * 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7382897B2 (en) 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US20050265587A1 (en) 2004-06-01 2005-12-01 Schneider John K Fingerprint image database and method of matching fingerprint sample to fingerprint images
US7432917B2 (en) 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
GB2415499A (en) 2004-06-23 2005-12-28 Canon Res Ct Europ Ltd Apparatus and method for object shape detection
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
CA2575704C (en) 2004-07-30 2014-03-04 Extreme Reality Ltd. A system and method for 3d space-dimension based image processing
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
US7619811B2 (en) 2004-10-07 2009-11-17 The United States of America as represented by the Secretary of the Army Pentagon Zonal lenslet array
US7330584B2 (en) * 2004-10-14 2008-02-12 Sony Corporation Image processing apparatus and method
JP4583893B2 (ja) * 2004-11-19 2010-11-17 任天堂株式会社 ゲームプログラムおよびゲーム装置
KR100729280B1 (ko) 2005-01-08 2007-06-15 아이리텍 잉크 스테레오 카메라를 장착한 이동단말기를 이용한 홍채인식시스템 및 그 방법
US7671321B2 (en) 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
US7818666B2 (en) 2005-01-27 2010-10-19 Symyx Solutions, Inc. Parsing, evaluating leaf, and branch nodes, and navigating the nodes based on the evaluation
KR100960577B1 (ko) * 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US20060184993A1 (en) * 2005-02-15 2006-08-17 Goldthwaite Flora P Method and system for collecting and using data
US7317836B2 (en) * 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US7570249B2 (en) 2005-03-30 2009-08-04 Microsoft Corporation Responding to change of state of control on device disposed on an interactive display surface
US20060258397A1 (en) 2005-05-10 2006-11-16 Kaplan Mark M Integrated mobile application server and communication gateway
US7428542B1 (en) 2005-05-31 2008-09-23 Reactrix Systems, Inc. Method and system for combining nodes into a mega-node
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US7431253B2 (en) 2005-06-03 2008-10-07 Kye Systems Corp. Support device for computer peripheral equipment
WO2006134793A1 (ja) 2005-06-14 2006-12-21 Brother Kogyo Kabushiki Kaisha 投影装置
JP2007004488A (ja) 2005-06-23 2007-01-11 Sony Corp 電子広告システム及びその表示制御方法
US7970870B2 (en) 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface
US8069267B2 (en) 2005-06-28 2011-11-29 Microsoft Corporation Advertisement refresh rules for network applications
US7680301B2 (en) 2005-06-30 2010-03-16 Sportvision, Inc. Measurements using a single image
US7576766B2 (en) 2005-06-30 2009-08-18 Microsoft Corporation Normalized images for cameras
KR100648927B1 (ko) * 2005-07-19 2006-11-27 삼성전자주식회사 마우스 커서 모양을 변경하는 방법 및 인쇄제어장치
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US7480870B2 (en) * 2005-12-23 2009-01-20 Apple Inc. Indication of progress towards satisfaction of a user input condition
US7627890B2 (en) 2006-02-21 2009-12-01 At&T Intellectual Property, I,L.P. Methods, systems, and computer program products for providing content synchronization or control among one or more devices
US7705231B2 (en) 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies
US20070209009A1 (en) 2006-03-02 2007-09-06 Inventec Corporation Display with settings changed according to user's ID and method thereof
US20080040692A1 (en) * 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
AU2007264413B2 (en) * 2006-06-29 2012-07-12 Commonwealth Scientific And Industrial Research Organisation A system and method that generates outputs
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8441467B2 (en) 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US8144271B2 (en) 2006-08-03 2012-03-27 Perceptive Pixel Inc. Multi-touch sensing through frustrated total internal reflection
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
US7737636B2 (en) 2006-11-09 2010-06-15 Intematix Corporation LED assembly with an LED and adjacent lens and method of making same
US8904312B2 (en) * 2006-11-09 2014-12-02 Navisense Method and device for touchless signing and recognition
US7769205B2 (en) 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
EP1933276B1 (de) 2006-12-11 2010-06-30 BrainLAB AG Mehrbandtracking- und Kalibrier-System
US8384753B1 (en) 2006-12-15 2013-02-26 At&T Intellectual Property I, L. P. Managing multiple data sources
JP4662071B2 (ja) 2006-12-27 2011-03-30 富士フイルム株式会社 画像再生方法
US7961906B2 (en) 2007-01-03 2011-06-14 Science Applications International Corporation Human detection with imaging sensors
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US7708419B2 (en) 2007-03-02 2010-05-04 Himax Technologies Limited Ambient light system and method thereof
US7745771B2 (en) 2007-04-03 2010-06-29 Delphi Technologies, Inc. Synchronous imaging using segmented illumination
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
WO2008134745A1 (en) * 2007-04-30 2008-11-06 Gesturetek, Inc. Mobile video-based therapy
US7873906B2 (en) * 2007-06-22 2011-01-18 International Business Machines Corporation Method and system for presenting a visual notification and delaying an action responsive to an onscreen selection
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
WO2009035705A1 (en) 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
CN101874404B (zh) 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
US8621506B2 (en) 2007-10-19 2013-12-31 Abroadcasting Company System and method for approximating characteristics of households for targeted advertisement
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US20090172606A1 (en) 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US20100039500A1 (en) * 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8902506B2 (en) 2010-09-30 2014-12-02 Panasonic Corporation Laser speckle reduction element
EP2772676B1 (de) 2011-05-18 2015-07-08 Sick Ag 3D-Kamera und Verfahren zur dreidimensionalen Überwachung eines Überwachungsbereichs

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10990189B2 (en) 2007-09-14 2021-04-27 Facebook, Inc. Processing of gesture-based user interaction using volumetric zones
CN102163077A (zh) * 2010-02-16 2011-08-24 微软公司 使用碰撞体来捕捉屏幕对象
CN102163077B (zh) * 2010-02-16 2014-07-23 微软公司 使用碰撞体来捕捉屏幕对象
CN102693004B (zh) * 2011-02-16 2017-08-08 微软技术许可有限责任公司 界面控件的按压启动
CN102693004A (zh) * 2011-02-16 2012-09-26 微软公司 界面控件的按压启动
US9360933B2 (en) 2011-03-29 2016-06-07 Intel Corporation Virtual links between different displays to present a single virtual object
CN103562821A (zh) * 2011-04-28 2014-02-05 Nec软件系统科技有限公司 信息处理装置、信息处理方法和记录介质
US9329673B2 (en) 2011-04-28 2016-05-03 Nec Solution Innovators, Ltd. Information processing device, information processing method, and recording medium
CN103562821B (zh) * 2011-04-28 2016-11-09 日本电气方案创新株式会社 信息处理装置、信息处理方法和记录介质
CN102799344A (zh) * 2011-05-27 2012-11-28 株式会社理光 虚拟触摸屏系统以及方法
CN102799344B (zh) * 2011-05-27 2014-11-19 株式会社理光 虚拟触摸屏系统以及方法
CN102253713B (zh) * 2011-06-23 2016-10-12 康佳集团股份有限公司 面向三维立体影像显示系统
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示系统
CN103858074A (zh) * 2011-08-04 2014-06-11 视力移动技术有限公司 经由3d显示器与装置交互的系统和方法
CN103079114A (zh) * 2011-10-26 2013-05-01 索尼公司 用于诸如tv之类的音频视频显示设备的3d用户界面
CN104303131A (zh) * 2012-05-22 2015-01-21 索尼公司 图像处理设备、图像处理方法、以及程序
CN104303131B (zh) * 2012-05-22 2017-03-29 索尼公司 图像处理设备、图像处理方法
CN102722243A (zh) * 2012-05-23 2012-10-10 苏州佳世达电通有限公司 三维空间操作与显示的方法
CN104335145A (zh) * 2012-06-08 2015-02-04 Kmt全球公司 基于空间位置识别的用户界面装置以及方法
CN103533449A (zh) * 2012-12-20 2014-01-22 Tcl集团股份有限公司 一种基于智能3d电视的3d试衣的实现方法及系统
CN103902192A (zh) * 2012-12-28 2014-07-02 腾讯科技（北京）有限公司 人机交互操作的触发控制方法和装置
US9829974B2 (en) 2012-12-28 2017-11-28 Tencent Technology (Shenzhen) Company Limited Method for controlling triggering of human-computer interaction operation and apparatus thereof
CN104981757B (zh) * 2013-02-14 2017-08-22 苹果公司 灵活的房间控制器
CN104981757A (zh) * 2013-02-14 2015-10-14 苹果公司 灵活的房间控制器
CN105144031A (zh) * 2013-03-03 2015-12-09 微软技术许可有限责任公司 增强的演示环境
CN103152626A (zh) * 2013-03-08 2013-06-12 苏州百纳思光学科技有限公司 一种智能电视的远红外三维手势探测装置
CN103218042A (zh) * 2013-03-27 2013-07-24 苏州百纳思光学科技有限公司 一种用于便携电子设备的远红外手势识别装置
US10203765B2 (en) 2013-04-12 2019-02-12 Usens, Inc. Interactive input system and method
CN109584868A (zh) * 2013-05-20 2019-04-05 英特尔公司 用于虚拟个人助理系统的自然人-计算机交互
CN109584868B (zh) * 2013-05-20 2022-12-13 英特尔公司 用于虚拟个人助理系统的自然人-计算机交互
US11609631B2 (en) 2013-05-20 2023-03-21 Intel Corporation Natural human-computer interaction for virtual personal assistant systems
CN103399318B (zh) * 2013-07-25 2015-09-30 瑞声科技（南京）有限公司 指尖定位系统和方法
CN103399318A (zh) * 2013-07-25 2013-11-20 瑞声科技（南京）有限公司 指尖定位系统和方法
CN104423578A (zh) * 2013-08-25 2015-03-18 何安莉 交互式输入系统和方法
CN104423578B (zh) * 2013-08-25 2019-08-06 杭州凌感科技有限公司 交互式输入系统和方法
CN103472923B (zh) * 2013-09-23 2016-04-06 济南大学 一种三维虚拟手势选择场景物体的方法
CN103472923A (zh) * 2013-09-23 2013-12-25 济南大学 一种三维虚拟手势选择场景物体的方法
CN105659191A (zh) * 2014-06-17 2016-06-08 深圳凌手科技有限公司 用于提供图形用户界面的系统和方法
CN105659191B (zh) * 2014-06-17 2019-01-15 杭州凌感科技有限公司 用于提供图形用户界面的系统和方法
CN107079145A (zh) * 2014-10-22 2017-08-18 帕拉拉克斯特公司 用于收集产生沉浸式视频的图像数据的方法和用于基于图像数据观看空间的方法
CN107079145B (zh) * 2014-10-22 2019-08-16 帕拉拉克斯特公司 用于收集产生沉浸式视频的图像数据的方法和用于基于图像数据观看空间的方法
CN104777907B (zh) * 2015-04-17 2018-05-25 中国科学院计算技术研究所 一种用于群体人机交互的系统
CN104777907A (zh) * 2015-04-17 2015-07-15 中国科学院计算技术研究所 一种用于群体人机交互的系统
CN108353089A (zh) * 2015-08-21 2018-07-31 三星电子株式会社 用于用户可配置的交互区域监视的装置和方法
CN108353089B (zh) * 2015-08-21 2021-05-28 三星电子株式会社 用于用户可配置的交互区域监视的装置和方法
CN106558090B (zh) * 2015-09-21 2022-01-25 三星电子株式会社 3d渲染和阴影信息存储方法和设备
CN106558090A (zh) * 2015-09-21 2017-04-05 三星电子株式会社 3d渲染和阴影信息存储方法和设备
CN105787971B (zh) * 2016-03-23 2019-12-24 联想(北京)有限公司 一种信息处理方法和电子设备
CN105787971A (zh) * 2016-03-23 2016-07-20 联想(北京)有限公司 一种信息处理方法和电子设备
CN109219426A (zh) * 2016-06-08 2019-01-15 八乐梦医用床有限公司 康复训练辅助控制装置以及计算机程序
CN107589829A (zh) * 2016-07-07 2018-01-16 迪斯尼实业公司 对互动商品的基于位置的体验
CN107633630A (zh) * 2016-07-19 2018-01-26 合盈光电科技股份有限公司 互动与安全警示系统
CN110178101A (zh) * 2016-12-02 2019-08-27 Fogale纳米技术公司 虚拟传感器配置
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
CN111077984A (zh) * 2018-10-19 2020-04-28 北京微播视界科技有限公司 人机交互方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
JP5430572B2 (ja) 2014-03-05
US20200133399A1 (en) 2020-04-30
US9811166B2 (en) 2017-11-07
KR101141087B1 (ko) 2012-07-12
EP2188737A4 (en) 2011-05-18
KR20100074180A (ko) 2010-07-01
CN101952818B (zh) 2016-05-25
WO2009035705A1 (en) 2009-03-19
US10990189B2 (en) 2021-04-27
US20120287044A1 (en) 2012-11-15
AU2008299883A1 (en) 2009-03-19
EP2188737A1 (en) 2010-05-26
AU2008299883B2 (en) 2012-03-15
JP2010539590A (ja) 2010-12-16
US10564731B2 (en) 2020-02-18
US20180157334A1 (en) 2018-06-07
US9058058B2 (en) 2015-06-16
US20090077504A1 (en) 2009-03-19
US20150346835A1 (en) 2015-12-03
US8230367B2 (en) 2012-07-24
CA2699628A1 (en) 2009-03-19

Similar Documents

Publication Publication Date Title
CN101952818B (zh) 基于姿态的用户交互的处理
US10831278B2 (en) Display with built in 3D sensing capability and gesture control of tv
KR101876419B1 (ko) 프로젝션 기반 증강현실 제공장치 및 그 방법
US20080252596A1 (en) Display Using a Three-Dimensional vision System
US7834846B1 (en) Interactive video display system
US9317134B2 (en) Proximity object tracker
Molyneaux et al. Interactive environment-aware handheld projectors for pervasive computing spaces
EP2670496B1 (en) Using a three-dimensional environment model in gameplay
US20100039500A1 (en) Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
EP1689172B1 (en) Interactive video display system
CN110073316A (zh) 混合现实环境中的交互虚拟对象
CN107004279A (zh) 自然用户界面相机校准
KR20150103723A (ko) 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스
KR20200008227A (ko) 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법
Park et al. Interactive display of image details using a camera-coupled mobile projector

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160420

Address after: Nevada

Applicant after: Zhihui Investment Holding 81 Co., Ltd.

Address before: Nevada

Applicant before: Reactrix Systems Inc.

C14 Grant of patent or utility model
GR01 Patent grant