CN1244087C - 与图形图象相互作用的用户输入设备和方法 - Google Patents

与图形图象相互作用的用户输入设备和方法 Download PDF

Info

Publication number
CN1244087C
CN1244087C CNB018025315A CN01802531A CN1244087C CN 1244087 C CN1244087 C CN 1244087C CN B018025315 A CNB018025315 A CN B018025315A CN 01802531 A CN01802531 A CN 01802531A CN 1244087 C CN1244087 C CN 1244087C
Authority
CN
China
Prior art keywords
image
arm
motion
video
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB018025315A
Other languages
English (en)
Other versions
CN1394325A (zh
Inventor
R·马克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN1394325A publication Critical patent/CN1394325A/zh
Application granted granted Critical
Publication of CN1244087C publication Critical patent/CN1244087C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light

Abstract

这里公开了一种响应于用户输入、实施一个对象在一个图形显示器上的运动的设备和方法。一个输入设备包含：一个用于捕获视频图象的部件；一个输入图象处理器，响应于来自于视频图象的运动生成一个输出信号；和一个输出图象处理器，被编程用以响应于从输入图像处理器接收的信号，实施对象在图形显示器上的运动。在输入图象处理器内使用了各种算法以确定控制对象在图形显示器上的运动的初始和导出数据。在一个最佳实施例中，视频图象被捕获和处理以从背景中分离出一个人体形状，从该人体形状中计算手臂的位置和运动数据，并且响应于这个数据生成一个信号，用于控制一个对象、诸如一只鸟在一个图形显示器上的运动。在图形显示器上控制的运动能够采取一个活动对象的形式、或是这样一个物体可能经历的场景(例如，鸟的视场)的改变的形式。

Description

与图形图象相互作用 的用户输入设备和方法
发明领域
本发明通常涉及用于实施一个物体在一个图形显示器上的运动的用户输入设备和方法，更具体地是涉及这样一种输入设备和方法，其中用户的视频图象被捕获和处理以提供一个用以实施一个物体在一个图形显示器上的平移和/或旋转运动的信号。尤其是，这个发明适用于诸如视频游戏的图形娱乐系统。
发明背景技术
使用视频图象的系统、方法、输入和输入设备被用来实施一个物体在一个图形显示器诸如视频监视器上的运动。经常地，这种视频输入设备响应于一个用户在一个视频捕获设备的视场内的运动或位置。近年来，视频图象处理已经被用来将已经被捕获作为一序列视频图象的用户运动转换成为用于游戏控制的信号。现有技术中的输入系统包含一个视频捕获设备，它扫描一个系统用户所处于的视场。所捕获的视频图象应用于一个提供数字输出到一个处理器的视频数字化仪，然后由该处理器分析和处理从数字化仪接收的数字信息，并且基于参与者在视场内的运动或位置，产生信号由该图形生成系统使用，以便在显示屏上运动物体。尽管设备或图形显示器的操作或输出能够由此受到参与者的位置或运动的影响，但是需要的计算机处理时间常常是非常长和复杂的，其趋于需要充足的计算机和/或时间资源。
此外，使用用户视频图象数据、来实施一个对象在一个图形显示器上的运动的已知设备和方法的通常特征在于：在摄像机视场内的参与者上的重要阻碍。这种系统可以包含要求参与者穿戴的附加设备，诸如整体的手臂覆盖物或手套、更容易检测的部分或颜色、和/或诸如发光二极管之类的可见光源。然而，这种系统不能够提供一个能够满足对消费品的市场需求、诸如视频游戏控制器可能需要的用户输入设备所需要的易用、迅速响应、和简单性。
此外，已知的系统包含视频图象的附加分析以便了解或识别正在发生的运动，诸如与预先存在的标记的比较，这增加了系统复杂性和响应时间，使它们不能被广泛使用。
此外，尽管已知系统可能需要输入视频图象处理器识别和确定相当多的片段、边界、和/或方框，以便产生用于图形显示器控制目的的输出信号，但是这些系统不允许基于有限片段/瞬间的最小初始判定的一系列控制信号计算，这些系统也不提供以一种简单、平稳的方式，生成适用于输入视频分辨率较低的时间和系统的输出信号。
因此，使用用户视频图象输入用于与在一个图形显示器上的对象相互作用的本系统，假若经由输出图形显示器保持控制的一个有效水平时，通常不会提供需要的简单性、反应性、和市场化质量的性能。
本发明的概述和目的
根据使用视频图象用于与一个图形显示器相互作用的用户输入技术的现有状况，考虑到上述缺点，本发明的一个目的是提供一种用户输入系统和方法，它不仅提供了设计和方法和简单性，还提供了坚实、有效的相互作用。
本发明实施例的进一步目的是提供一个允许从仅仅几个片段/瞬间的初始判定中计算一系列控制信号的用户输入系统。
本发明实施例还有一个进一步目的是提供一个需要和消费者娱乐系统相一致的计算机处理性能的用户输入系统。
本发明实施例另外还有一个目的是提供一个在摄像机视场内没有任何用户阻碍的用户输入系统。
这里公开了一种用于响应于用户输入，实施一个对象在一个图形显示器上的运动的设备和方法。一个输入设备包含：一个用于捕获视频图象的部件；一个输入图象处理器，用于处理所捕获的视频图象，并且响应于来自于该视频图象的运动生成一个输出信号；和一个输出图象处理器，被编程用以响应于从输入图像视频处理器接收的信号，实施一个对象在图形显示器上的运动。在输入图象处理器内使用了各种算法以确定实施物体在图形显示器上的运动的初始和导出数据。在一个最佳实施例中，捕获和处理视频图象以从背景中分离一个人体形状，从该人体形状中计算出手臂位置和运动数据，而且由输入图象处理器产生一个信号，其中该输入图象处理器对这个数据做出响应以控制一个对象、诸如一只鸟在一个图形显示器上的运动。在图形显示器上控制的运动能够采取一种运动对象的形式、或是这样一个对象可能经历的场景(例如，鸟的视场)的改变的形式。
通过附图和随后的详细说明，本发明的其它特征和优点将会是显而易见的。
附图简要说明
本发明在附图图形中通过举例、而不是限制，进行了说明，在附图中相似的附图标记表示相似的元件，其中：
图1是一个可用于实现本发明的实施例、用于与在一个图形显示器上的一个对象进行相互作用的示例用户输入系统的方框图；
图2说明了一个依据本发明的一个实施例、用于与在一个图形显示器上的一个物体进行相互作用的用户输入系统；
图3是依据本发明一个实施例、显示了被划分成左右手臂子图像以用于判定手臂角度的一幅人体图象的示例图；
图4是一个说明了依据本发明一个实施例、响应于一个用户手臂的运动，实施一个对象在一个图形显示器上的运动的步骤的流程图；
图5说明了依据本发明一个实施例、用于用户位置的第一种情况、在一个用户的手臂和在一个图形显示器上的一个对象之间的相互关系；
图6说明了依据本发明一个实施例、用于用户位置的第二种情况、在一个用户的手臂和在一个图形显示器上的一个对象之间的相互关系；
图7说明了依据本发明一个实施例、用于用户位置的第三种情况、在一个用户的手臂和在一个图形显示器上的一个对象之间的相互关系；
图8说明了依据本发明一个实施例、用于用户位置的第四种情况、在一个用户的手臂和在一个图形显示器上的一个对象之间的相互关系；
图9说明了依据本发明一个实施例、用于用户位置的第五种情况、在一个用户的手臂和在一个图形显示器上的一个对象之间的相互关系；
图10是实现了依据本发明实施例的用户输入设备和方法的一个示例处理系统的方框图。
最佳实施例说明
这里公开了一种响应于用户输入、实施一个对象在一个图形显示器上的运动的设备和方法。在下面的描述中，为了说明起见，阐述了大量细节以便提供对本发明的一个彻底了解。然而，显然对本领域的一个普通技术人员来说没有这些细节，也可以实现本发明。在其它情况下，众所周知的结构和设备以方框图形式显示以便于说明。最佳实施例的描述不打算限制这里附加的权利要求的范围。
硬件综述
本发明的方面可以由能够执行基本视频图象处理和能够图形化显示的设备实现。图1是一个可用于实现本发明实施例、用于与在一个图形显示器上的一个对象进行相互作用的示例用户输入系统的方框图。如图1所示，用户输入系统100包含一个视频捕获设备102、一个输入图象处理器104、一个输出图象处理器106、和一个视频显示设备108。
视频捕获设备102可以是能够捕获视频图象序列的任何一种设备，在当前最佳实施例中，它是一位数字视频摄像机(诸如一个“网络摄像机)、或是类似的图象捕获设备。输入图象处理器104将所捕获的人体手臂运动的视频图象转换成为被传送到一个输出图象处理器的信号。在一个实施例中，输入图象处理器104被编程用于：在所捕获的视频图象中将人体形状从背景中分离出来，从躯干中分离出人体手臂部分，确定人体手臂的位置和运动，并且响应于人体手臂的位置和/或运动生成一个输出信号。输出图象处理器106被编程用来响应于从输入图象处理器104接收的信号，实施一个对象在视频显示设备108上的平移和/或旋转运动。
本发明的这些和另外的方面可以由执行软件指令的一个或多个处理器实现。依据本发明的一个实施例，单个处理器执行输入图象处理和输出图象处理。然而，如图所示，并且为了便于说明，将处理操作显示为分成一个输入图象处理器104和一个输出图象处理器106。应当注意到，本发明决不能被解释为局限于任何特定处理器配置，诸如多于一个处理器。显示图1中所示的多个处理块和其它图仅仅是为了便于说明起见。
图2说明了一个依据本发明实施例、用于使用户与在一个图形显示器上的一个对象进行相互作用的输入系统。输入系统环境200包含用户202、视频捕获设备204、视频显示设备206、和包含处理器功能的控制台208，诸如一台视频游戏机。在输入系统环境200中的用户202应该位于视频捕获设备204的视场210内。这个处理系统208能够由一个娱乐系统、诸如SonyPlaystationTM II或SonyPlaystationTMI类型的处理和计算机娱乐系统实现，而且这种实现在以下的最佳实施例部分进行更详细地描述。然而，应当注意到：处理系统208能够由其它类型的计算机系统、诸如个人电脑、工作站、膝上型计算机、无线计算设备、或是能够接收和处理图形图象数据的其它任何类型计算设备来实现。
图象处理方法
图1和图2中的系统与一种通过使用由一个视频设备捕获的人体手臂的位置和运动数据，生成信号以实施一个对象在一个图形显示器上的平移和/或旋转运动的方法一起被实现。当用户202在摄像机204的视场范围210内运动或定位他自己时，就实施一个或多个对象在显示设备206上的相应运动或定位。例如，用户的运动可用于在显示设备上相对于一个显示的背景移动一个光标或动画人物。在一个最佳实施例中，这个视频处理方法的步骤是：(1)在视场内减去背景；(2)确定可视物体范围；(3)确定手臂/附属肢体的角度或位置；以及(4)确定飞行参数。
步骤1：减去背景
当用来控制图形显示运动的一个人或其它对象处于视场210中时，该人的图象由数字摄象机204捕获以生成像素数据用于由处理器单元208进行处理。在本发明的一个实施例中，减去背景产生用来标明是人(前景)或者不是人(背景)的该图象的每像素一个标记。这通过当场景中不包含该人时，存储一个来自于视频序列的帧来完成。使用一种相减过滤处理将所存储的帧从实时视频序列中减去以产生前景图象。关于这个减法可以怎样实现有几种变化。在一个实施例中，在亮度和色度的加权和上使用了一个简单的阈值处理方案以确定一个像素是否在前景或背景中。基本的处理如下：首先，获得静止背景Y0 U0V0帧；其次，使用一个5×5高斯卷积平滑图像Y0 U0 V0；第三，获得当前YUV视频帧；第四，使用一个5×5高斯卷积平滑图像YUV；第五，对以Y表示的每一个像素，计算Ydif＝abs(Y-Y0)；第六，对以U表示的每一个像素，计算Udif＝abs(U-U0)；第七，对以V表示的每一个像素，计算Vdif＝abs(V-V0)；第八，对以YdifUdifVdif表示的每一个像素，计算Sum＝Ydif+Udif*8+Vdif*8；第九，对以Sum表示的每一个像素，如果Sum>Threshold，则计算Foreground＝1，否则Foreground＝0；以及第十，使用标准削弱形态过滤器削弱Foreground(以除去任何单像素的错误测量，诸如由黑白点相间噪声所引起的错误测量)。通常，仅仅如上所述的第三到第十步骤对每个图像帧进行重复。在上述处理中，Y表示像素的亮度，且U和V表示像素的色度。函数“abs(变量)”是指“变量的一个绝对值”，其中“变量”是“Y-Y0”、“U-U0”、或“V-V0”。
步骤2：视场中的人体判定
下一步是确定一个人是否处于视频捕获设备的视场范围内。这确定用户的视频图象处理是否将要被用来驱动图形显示应用。这个步骤包含：统计在前景图象中的非零像素的总数；以及查明在一个最小阈值和一个最大阈值之间的总体落差。最小阈值用来确保在静止背景和当前图像帧之间存在某些差别。最大阈值用来确保这个差别不会太大；例如，这可以由完全阻挡摄像机图象的一个人所引起，或是由忘记初始化所存储的背景帧所引起。
步骤3：手臂角度确定
在本发明的一个实施例中，显示的图形对象在显示器上的运动或定位要受到在视场中人的手臂和/或腿的运动或定位的影响。这个处理通常通过计算分离出的前景图象的区域统计来实现。图3是依据本发明一个实施例、显示了被划分成为左右手臂子图像、用于判定手臂角度的一幅前景(人体)图象的示例图。前景图象302包含人体形状躯干部分300、左臂子图象306和右臂子图象304。首先，如图3所示，通过计算在前景图象中的非零像素的质心和第二个水平力矩确定躯干的水平范围“W”：
1.TorsoStartX＝CentroidX-Sqrt(SecondMomentX)
2.TorsoEndX＝CentroidX+Sqrt(SecondMomentX)
其中TorsoStartX被显示为沿躯干部分300的左侧所绘制的线，且TorsoEndX被显示为沿躯干部分300的右侧所绘制的线。函数“Sqrt(SecondMomentx)”表示“SecondMomentX的平方根”。
接下来，处理在TorsoStartx左侧的子图象306以确定左侧手臂角度。计算在这幅子图象中非零像素的主要力矩角度。这个角度能够从0到180度变动，它表示左臂的允许运动范围。同样地处理在TorsoEndX右边的子图象304。主要力矩角度能够被认为是查找的最适合这些像素的一条线的斜率。查找主要力矩角度是在图象处理和动态建模中的一种标准技术。这样一种技术可以在例如由Timoshenko和Gere在1997年出版的教科书Mechanics of Materials中找到。
步骤4：飞行参数确定
用有关用户位置、和他或她的手臂的运动速率和类型的特征来实施在一个图形显示器上显示的图形元件的运动。例如，能够用用户的运动来控制在一个飞行游戏中使用的一个游戏人物的运动，其中该人物被看为在一个景观上飞行。
在与飞行游戏有关的参数方面，每个人的手臂相对于他或她的躯干的角度被处理以计算用于飞行模拟程序的气流速度加速度、倾斜角、和俯仰角。从两个手臂角度带符号的差值计算倾斜角。从两个手臂角度的平均值减去90度计算俯仰角(以便使直接伸出的手臂表示一个零俯仰角)。然后将俯仰角用0.1按比例缩小(-90到90的俯仰角太大了)。用手臂角度(换算成为适当的值)平均值的时间变化率计算气流速度加速度。在几个帧上计算时间变化率以生成一个较平滑的信号。
通常，将所有计算的参数在用它们生成图形显示图象之前进行平滑。这个平滑增加了一点时间滞后，但是产生了一个较少冲击的(时间延迟的)视频显示。当视频捕获设备或处理系统仅仅能够进行低分辨率处理时，该平滑是尤其可取的。
在一个实施例中，计算各种参数以生成用于一个飞行模拟器或类似飞行程序的图形处理变量的方法如下：
1.BankAngle＝LeftAngle-RightAngle
2.PitchAng1e＝(((LeftAng1e+RightAngle)/2.0)-90)*0.1
3.Accel＝abs((LeftAngle+RightAngle)-(LeftAnglePrev+RightAnglePrev))*K
4.平滑处理计算如下：
BankAngleSmooth＝k1*BankAngle+(1-k1)*BankAngleSmoothPrev
PitchAngleSmooth＝k2*PitchAngle+(1-k2)*PitchAngleSmoothPrev
AccelSmooth＝k3*Accel+(1-k3)*AccelSmoothPrev
平滑的数值被用来进行模拟。在上述等式中，“K”表示某些常数值。取决于例如用户将具有的准确加速度，改变常数K。常数k1、k2、和k3指定了显示物体的响应特性。这允许用户运动和显示物体运动之间的相互关系为各种体验进行定制。例如，在一个飞行模拟器执行中，这些常数能够被编程用来选择或规定与不同类型飞机或飞行物体有关的不同特性，从而允许不同的模拟体验。例如，这些常数的一个设置能够被用来模拟一个喷气式飞机的感觉，而这些常数的另一个设置能够被用来模拟一个悬挂式滑翔机的感觉。在上述处理中，“xxxPrev”表示“前一个xxx值”，其中“xxx”是“LeftAngle”、“RightAngle”、“BankAngleSmooth”、“PitchAngleSmooth”、或“Acce1Smooth”。例如，在一个视频游戏中，“xxxPrev”是指来自于前一帧的值。此外，“xxxSmooth”表示“平滑后的xxx值”，其中“xxx”是“BankAngle”、“PitchAngle”、或“Accel”。
图4的流程图说明了用于本发明一个实施例、按照如上所述的方法、响应于一个用户的手臂运动实施一个对象在一个图形显示器上的运动的步骤。在图4中流程图400的最初两个步骤包含减去背景的步骤。在步骤404，一个捕获的、不包含人的视频图象被存储下来，然后在步骤406，从实时视频序列中减去存储的视频图象。接下来，在步骤408，确定一个人是否在数字摄象机的视场之内。步骤410包含手臂角度确定步骤的第一部分，它确定躯干的水平范围。在步骤412，确定每个手臂角度。这通过计算每个手臂子图象的理论力矩角度来执行。
就该最佳实施例来说，飞行参数确定步骤包含图4中的最后三个步骤。首先，在步骤414，使用与上述相同的等式处理手臂角度以计算飞行参数。其次，在步骤416，这些数值用包含为一个特定飞行体验(例如，喷气式飞机、滑翔机等)所选择的常数的函数进行平滑。最后，在步骤418，平滑了的参数被用于飞行模拟中以实施一个对象在一个图形显示器上的平移和/或旋转运动。
依据本发明的一个替换实施例，生成一个信号用于在任何已知的电信系统中使用，而不仅仅用于实施一个对象在一个图形显示器中的运动。这个实施例能够被描述成一种响应于人体手臂的位置和/或运动数据而生成信号的方法，包含：提供一个图象处理器和一个用于捕获视频图象的设备；用该设备捕获视频图象，并且使用图象处理器处理那些图象以从背景中分离出一个人体形状；使用该图象处理器从一幅捕获的视频图象中分离出该人体形状的手臂部分；使用图象处理器计算手臂的位置和运动数据；以及使用该图象处理器响应于手臂的位置和运动数据生成一个信号。
图形输入和处理功能
在当前最佳实施例中，一个用户的手臂动作被视频捕获设备所捕获，而且相应的动作被转换为在一个图形显示器上显示的一只鸟的运动。某些典型的手臂动作以及它们和鸟运动的相互关系在图5到图9中进行了说明。图5说明了依据本发明一个实施例、在一个用户的手臂拍动和在图形显示器上一只鸟的上升之间的相互关系。如图5所示，相关系统500显示了具有左臂504和右臂506、并如双向箭头508所示拍动他的手臂的用户502。在相应的图形显示器510上，相对于景观516，这个动作与如箭头5l4所示的鸟512的上升相关联。
图6说明了依据本发明一个实施例、在一个保持他或她的手臂直伸出的用户和在图形显示器上滑翔的一只鸟之间的相互关系。如图6所示，相关系统600显示了具有左臂604和右臂606、并如水平箭头608所示保持他的手臂直伸出的用户602。在相应的图形显示器610上，相对于景观616，这个动作与如水平飞行路径所示的鸟612的滑翔相关联。
图7说明了依据本发明一个实施例、在一个向左侧倾斜他或她的手臂的用户和在图形显示器上向左倾斜的一只鸟之间的相互关系。如图7所示，相关系统700显示了具有左臂704和右臂706、并分别如向下箭头708和向上箭头710所示定位他的手臂从而使他的左臂704低于右臂706的用户702。在相应的图形显示器714上，相对于景观716，这个动作与如具有一个正斜率的鸟身体轴线所示、向左倾斜的鸟712相关联。
图8说明了依据本发明一个实施例、在一个向右倾斜他或她的手臂的用户和在图形显示器上向右倾斜的一只鸟之间的相互关系。如图8所示，相关系统800显示了具有左臂804和右臂806、并分别如向上箭头808和向下箭头810所示定位他的手臂从而使他的左臂804高于右臂806的用户802。在相应的图形显示器812上，相对于景观818，这个动作与如具有一个负斜率的鸟身体轴线所示、向右倾斜的鸟814相关联。
图9说明了依据本发明一个实施例、在一个向后褶起他或她的手臂的用户和在图形显示器上下降的一只鸟之间的相互关系。如图9所示，相关系统900显示了具有左臂904和右臂906、如向下箭头908所示定位他的手臂以便使他的手臂向后褶起的用户902。在相应的图形显示器910上，相对于景观916，这个动作与如箭头914所示下降的鸟512相关联。
在该最佳实施例中，本发明的用户输入设备和方法通过由图10的方框图说明的一个计算机处理系统来实现。该处理系统可以表示一个基于计算机的娱乐系统实施例，它包含一个中央处理单元(“CPU”)1004，连接到一个主存储器1002和图形处理单元(“GPU”)1006。CPU1004也连接到一个输入输出处理器(“IOP”)总线1008。在一个实施例中，GPU1006包含一个内部缓冲区用于基于像素的图形数据的快速处理。另外，GPU能够包含一个输出处理部分或功能，将处理的图象数据转换成为标准电视信号、例如NTSC或PAL，用于传送到一个连接在该娱乐系统1000或它的元件以外的电视监视器1007。做为选择，数据输出信号能够被提供给除一台电视监视器以外的一个显示设备、诸如一台计算机监视器、LCD(液晶显示器)设备、或其它类型的显示设备。
IOP总线1008将CPU1004连接到各种输入/输出设备及其它总线或设备上。IOP总线1008与输入/输出处理器存储器1010、一个控制器1012、一个存储卡1014、一个通用串行总线(Universa1 Serial Bus，USB)端口l016、一个IEEE1394(也称为一个火线接口)端口、以及总线1030相连。总线1030将其它几个系统组件、包括操作系统(“OS”)ROM1020、闪速存储器1022、一个声音处理单元(“SPU”)1024、一个光盘控制单元1026、和一个硬盘驱动器(“HDD”)1028连接到CPU1004。在这个实施例的一个方面中，视频捕获设备能够直接连接到IOP总线1008，用于直接传送数据到CPU1004；这样，来自视频捕获设备的数据能够用来改变或更新用于在GPU1006中生成图形图象的值。此外，本发明中的实施例能够使用各种图象处理配置和技术，诸如在2000年5月17日提出的、题为“OUTLINE GENERATING DATA，GENERATINGMETHOD AND APPARATUS”的美国专利申请09/573,105中描述的那些，该文档在此被包括在内作为全面参考。
体现了本发明方面的程序或计算机指令能够用几种不同的方法来提供。例如，用于与图形图象相互作用的用户输入方法能够以存储在HDD1028、闪速存储器1022、OS ROM1020中、或一个存储卡1012上的程序的形式提供。做为选择，该程序能够通过连接到CPU1004的一个或多个输入端口下载到处理单元1000。定义了该输入方法的程序模块能够和由CPU1004执行、并在显示设备1007上显示的游戏或应用程序一起提供，或是它们可以单独从应用程序、诸如用于从本地主存储器1002中执行的应用程序中提供。
本发明的实施例也考虑分布式图象处理配置。例如，本发明不局限于发生在一个乃至两个位置处、诸如在CPU或在CPU和其它一个元件中发生的捕获图象和显示图象处理。例如，输入图象处理能够正好轻易地发生在一个能够执行处理过程的相关CPU、处理器或设备中；实质上所有的图象处理能够在互连系统的所有各处分布。因此，本发明不局限于任何特定的图象处理硬件电路和/或软件；它也不局限于通用硬件电路和/或软件的任何特定组合，也不局限于用于由处理组件执行的指令的任何特定来源。
其它实施例
在一个实施例中，一个拍动噪音能够被加到演示上。当手臂角度平均值带符号的时间变化率超过一个特定阈值时，触发拍动噪音。只有当用户一起向下运动他或她的手臂时这才引起一个拍动噪音。拍动噪音的大小与那个动作同时按比例变化，所以一个更加夸大的拍动动作会生成一个较大的拍动声音。
一个更进一步的实施例在该演示上添加了一个内容，其中手臂角度被用来指示一只拍动其翅膀的鸟的一个预先生成的动画。手臂角度被用来指示这个动画。在这个实施例中，该演示能够来自于自己的透视图，所以鸟的动画将不会被看到，尽管由太阳投射它的影子在景观上是能够看到的。
在网络演示中，实际的鸟的动画对应于玩游戏的其它人的运动。能够存在鸟变体的几种动画，诸如龙、雕和鹰。如上所述的平滑参数将被设置为为每一个动画提供一个稍有不同的飞行体验(例如，龙较大而且低速，所以使用滑翔机参数，而鹰小和迅速，所以使用战斗式喷气式飞机参数)。
如本领域普通技术人员理解得那样，在此处描述的图形输入和处理方法的应用能够延伸至除飞行游戏或模拟器以外的其它类型的模拟或程序中。例如，用户运动能够用于控制在视频游戏或教育程序中的对象，包含驱动对象、运行对象、或涉及用户运动的各种体育游戏，诸如滑雪、骑自行车、搏斗、和类似的动作。
此外，尽管本发明的实施例就被用来实施一个显示对象的运动的用户手臂的运动进行了举例说明和描述，但是应当注意到，类似的处理技术能够被用来基于用户的腿部、或头部、或是由用户握住的对象提供图形控制。
本发明的实施例允许在显示对象上的各种后处理滤波和特殊效应、诸如阴影效应、失真、变形效应等的有利和便利的实现。这种后处理滤波和特殊效应是有利的补充，而且能够被用于利用基本系统的简单性和有效性。
在上文中，已经描述了一种实施一个对象在一个图形显示器上的运动的用户输入系统。尽管本发明已经结合特定示范性实施例进行了描述，但是显然可以对这些实施例进行各种修改和改变，而没有背离由权利要求所阐述的本发明更为广泛的精神和范围。例如，该发明的实施例能够延伸至除刚好具有一个输出与飞行或飞行游戏有关的系统以外的应用。总的来说，其中一个显示对象的运动或定位由一个用户的运动或定位控制的、任何基于图形的应用能够与在此描述的处理方法一起使用。因此，说明书和附图只作为一个示例说明，而不是起限制作用。

Claims (11)

1.一种使用人类身体部分的位置和运动数据生成信号以实施一个对象在一个图形显示器上的运动的方法，包含：
提供一个图象处理器和一个用于捕获一个视频序列的设备；
从视频序列中捕获一个不包含一个人主体的帧；
通过在视频序列和不包含该人主体的帧上执行一种算法，分离包含了前景主体图象视图的视图，该算法包括从在视频序列中的各帧中减去没有包含主体人的帧；
确定分离出来的视图是否包含该人主体的图象；
确定主体人的躯干的水平范围，以便在每个捕获的视频帧中分离出该人体形状的一个或多个身体部分；
通过计算在视频图象的身体部分中非零像素的理论力矩角度，来计算身体部分相对于主体人躯干的角度；以及
响应于手臂角度，生成一个身体部分的位置数据信号，用于实施一个对象在一个图形显示器上的运动。
2.如权利要求1所述的方法，其特征在于：确定视图中是否包含一个主体人的步骤包含以下步骤：
统计在前景图象中非零像素的总数；以及
确保非零像素的总数在由像素的最小和最大阈值数目定义的一个范围之内。
3.如权利要求1所述的方法，其特征在于：在所述分离包含了前景主体图象视图的视图步骤中的算法包含下列处理步骤：
(a)获得静止背景Y0U0V0帧；
(b)使用一个5×5的高斯卷积来平滑图像Y0U0V0；
(c)获得当前YUV视频帧；
(d)使用一个5×5的高斯卷积平滑图像YUV；
(e)对以Y表示的每一个像素，计算Ydif＝abs(Y-Y0)；
(f)对以U表示的每一个像素，计算Udif＝abs(U-U0)；
(g)对以V表示的每一个像素，计算Vdif＝abs(V-V0)；
(h)对以YdifUdifVdif表示的每一个像素，计算Sum＝Ydif+Udif*8+Vdif*8；
(i)对以Sum表示的每一个像素，如果Sum大于阈值，则计算出该像素位于前景主体图像中；
其中Y表示各像素的亮度，而U和V表示各像素的色度。
4.如权利要求1所述的方法，其特征在于：在生成步骤中生成的身体部分的位置和运动数据信号是从包含与对象气流速度加速度、倾斜角，和俯仰角有关的信号的组中选择出来的。
5.如权利要求1所述的方法，其特征在于：在生成步骤中生成的身体部分的位置和运动数据信号用包含平滑常数来进行确定。
6.如权利要求1所述的方法，其特征在于：这一个或多个身体部分包含形成人体形状的一个用户的一个或两个手臂。
7.如权利要求1所述的方法，其特征在于：对象在图形显示器上的运动包含平移运动和旋转运动中的至少一个。
8.一种通过使用人类身体部分的位置数据生成信号供一个飞行模拟器图形显示器使用以实施平移和旋转运动的方法，包含：
提供一个用于捕获视频图象的设备和一个图象处理器；
用该设备捕获视频图象，并且使用图象处理器处理那些图象以从背景中分离出一个人体形状；
使用图象处理器从一幅捕获的视频图象中分离出该人体形状的身体部分，所述身体部分包括人类身体躯干，该人类身体躯干是通过计算在前景图象中的非零像素的质心和水平力矩而被确定的；
使用图象处理器计算身体部分相对人类身体躯干的位置和运动数据；以及
响应于身体部分的位置和运动数据使用图象处理器生成一个信号用于生成一个飞行模拟器图形显示器的状态；其中
该身体部分包含形成人体形状的一个用户的一个或两个手臂；
飞行模拟器图形显示器包含一个飞行生物作为一个对象，其与用户的一个或两个手臂的运动相关来运动翅膀，并且
飞行模拟器图形显示器描述了来自该飞行生物的视点的一个透视图。
9.如权利要求8所述的方法，进一步包含步骤：对应于飞行生物的翅膀运动，生成拍动噪音。
10.如权利要求9所述的方法，进一步包含步骤：随捕获的手臂运动的速率增加，增大拍动噪音量。
11.如权利要求10所述的方法，其特征在于：当手臂角度平均值带符号的时间变化率超过一个预定阈值时，触发拍动噪音。
CNB018025315A 2000-09-01 2001-08-30 与图形图象相互作用的用户输入设备和方法 Expired - Fee Related CN1244087C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/654,141 US7071914B1 (en) 2000-09-01 2000-09-01 User input device and method for interaction with graphic images
US09/654,141 2000-09-01

Publications (2)

Publication Number Publication Date
CN1394325A CN1394325A (zh) 2003-01-29
CN1244087C true CN1244087C (zh) 2006-03-01

Family

ID=24623598

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018025315A Expired - Fee Related CN1244087C (zh) 2000-09-01 2001-08-30 与图形图象相互作用的用户输入设备和方法

Country Status (6)

Country Link
US (1) US7071914B1 (zh)
EP (2) EP2405419A2 (zh)
JP (1) JP3733587B2 (zh)
KR (1) KR100678373B1 (zh)
CN (1) CN1244087C (zh)
WO (1) WO2002019310A1 (zh)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6358235B1 (en) * 1998-07-29 2002-03-19 The Procter & Gamble Company Soft conformable hollow bag tampon
JP2008023359A (ja) * 2002-05-08 2008-02-07 Konami Digital Entertainment:Kk ゲーム装置
JP4032054B2 (ja) * 2002-05-08 2008-01-16 株式会社コナミデジタルエンタテインメント ゲーム装置
US20030218537A1 (en) * 2002-05-21 2003-11-27 Lightspace Corporation Interactive modular system
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7809145B2 (en) * 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
KR100580174B1 (ko) * 2003-08-21 2006-05-16 삼성전자주식회사 회전 가능한 디스플레이 장치 및 화면 조정 방법
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US20050255434A1 (en) * 2004-02-27 2005-11-17 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4433948B2 (ja) * 2004-09-02 2010-03-17 株式会社セガ 背景画像取得プログラム、ビデオゲーム装置、背景画像取得方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
US8842186B2 (en) * 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
JP4244919B2 (ja) * 2004-12-14 2009-03-25 ソニー株式会社 情報処理装置および方法、プログラム、並びに情報処理システム
US7620266B2 (en) * 2005-01-20 2009-11-17 International Business Machines Corporation Robust and efficient foreground analysis for real-time video surveillance
KR100678900B1 (ko) * 2005-01-26 2007-02-05 삼성전자주식회사 그래픽 객체를 동시에 디스플레이 하는 장치 및 방법
US20090191967A1 (en) * 2005-02-17 2009-07-30 Ssd Company Limited Game apparatus and controller
WO2006103676A2 (en) * 2005-03-31 2006-10-05 Ronen Wolfson Interactive surface and display system
TWI258682B (en) * 2005-05-06 2006-07-21 Sunplus Technology Co Ltd Interactive video game system
TWI412392B (zh) * 2005-08-12 2013-10-21 Koninkl Philips Electronics Nv 互動式娛樂系統及其操作方法
US8549442B2 (en) 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
JP4795087B2 (ja) * 2006-04-14 2011-10-19 任天堂株式会社 ゲーム装置およびゲームプログラム
US7570250B2 (en) * 2006-05-04 2009-08-04 Yi-Ming Tseng Control device including a ball that stores data
JP2007301039A (ja) * 2006-05-09 2007-11-22 Nintendo Co Ltd ゲームプログラム及びゲーム装置
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8519979B1 (en) * 2006-12-29 2013-08-27 The Mathworks, Inc. Multi-point interface for a graphical modeling environment
WO2008091857A1 (en) * 2007-01-22 2008-07-31 Bell Helicopter Textron, Inc. System and method for controlling a virtual reality environment by an actor in the virtual reality environment
US8996409B2 (en) 2007-06-06 2015-03-31 Sony Computer Entertainment Inc. Management of online trading services using mediated communications
EP2173444A2 (en) 2007-06-14 2010-04-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
CN101399897B (zh) * 2007-09-30 2010-12-29 宏达国际电子股份有限公司 图像处理方法
US8122356B2 (en) * 2007-10-03 2012-02-21 Eastman Kodak Company Method for image animation using image value rules
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
CN103258184B (zh) 2008-02-27 2017-04-12 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8663013B2 (en) 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8290604B2 (en) * 2008-08-19 2012-10-16 Sony Computer Entertainment America Llc Audience-condition based media selection
US8447421B2 (en) * 2008-08-19 2013-05-21 Sony Computer Entertainment Inc. Traffic-based media selection
JP5247389B2 (ja) * 2008-12-01 2013-07-24 富士通テン株式会社 ディスプレイ装置
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
KR101021356B1 (ko) * 2009-08-05 2011-03-14 주식회사 엔씨소프트 게임 캐릭터의 움직임 제어장치 및 그 방법
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
JP5307060B2 (ja) * 2010-03-12 2013-10-02 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理方法、ならびに、プログラム
US8874243B2 (en) 2010-03-16 2014-10-28 Harmonix Music Systems, Inc. Simulating musical instruments
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
CA2802348A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
CN102985894B (zh) * 2010-07-15 2017-02-08 惠普发展公司，有限责任合伙企业 第一响应和第二响应
US9075434B2 (en) * 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
JP2012068713A (ja) 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
US8484219B2 (en) 2010-09-21 2013-07-09 Sony Computer Entertainment America Llc Developing a knowledge base associated with a user that facilitates evolution of an intelligent user interface
US8504487B2 (en) 2010-09-21 2013-08-06 Sony Computer Entertainment America Llc Evolution of a user interface based on learned idiosyncrasies and collected data of a user
MX2013004805A (es) * 2010-11-01 2013-07-02 Thomson Licensing Metodo y dispositivo para detectar introduccion de ademanes.
US9848106B2 (en) * 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US20130100015A1 (en) * 2011-10-25 2013-04-25 Kenneth Edward Salsman Optical input devices
US9033795B2 (en) * 2012-02-07 2015-05-19 Krew Game Studios LLC Interactive music game
US9105178B2 (en) 2012-12-03 2015-08-11 Sony Computer Entertainment Inc. Remote dynamic configuration of telemetry reporting through regular expressions
JP5579293B2 (ja) * 2013-03-07 2014-08-27 富士通テン株式会社 ディスプレイ装置
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
US9751019B2 (en) * 2013-12-18 2017-09-05 Activision Publishing, Inc. Input methods and devices for music-based video games
US10441876B2 (en) * 2013-12-20 2019-10-15 Activision Publishing, Inc. Video game integrating recorded video
US9118888B1 (en) * 2014-03-14 2015-08-25 Tribune Broadcasting Company, Llc News production system with integrated display
JP7140465B2 (ja) * 2016-06-10 2022-09-21 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、ゲーム処理方法
US11467572B2 (en) 2016-07-29 2022-10-11 NEC Solution Innovations, Ltd. Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium
WO2018020853A1 (ja) * 2016-07-29 2018-02-01 Ｎｅｃソリューションイノベータ株式会社 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体
CN106569602B (zh) * 2016-10-27 2020-05-19 腾讯科技（深圳）有限公司 行为数据的交互方法和装置
US10653957B2 (en) 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
US10916059B2 (en) * 2017-12-06 2021-02-09 Universal City Studios Llc Interactive video game system having an augmented virtual representation
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN111986070B (zh) * 2020-07-10 2021-04-06 中国人民解放军战略支援部队航天工程大学 基于gpu的vdif格式数据异构并行编帧方法
US11726553B2 (en) 2021-07-20 2023-08-15 Sony Interactive Entertainment LLC Movement-based navigation
US11786816B2 (en) 2021-07-30 2023-10-17 Sony Interactive Entertainment LLC Sharing movement data
US20230051703A1 (en) * 2021-08-16 2023-02-16 Sony Interactive Entertainment LLC Gesture-Based Skill Search

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4133004A (en) 1977-11-02 1979-01-02 Hughes Aircraft Company Video correlation tracker
US4448200A (en) 1978-03-27 1984-05-15 University Of Southern California System and method for dynamic background subtraction
IL69327A (en) 1983-07-26 1986-11-30 Elscint Ltd Automatic misregistration correction
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
GB9001468D0 (en) 1990-01-23 1990-03-21 Sarnoff David Res Center Computing multiple motions within an image region
JPH04123122A (ja) 1990-09-13 1992-04-23 Sony Corp 入力装置
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5680487A (en) 1991-12-23 1997-10-21 Texas Instruments Incorporated System and method for determining optical flow
US5450504A (en) 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
GB2295936B (en) 1994-12-05 1997-02-05 Microsoft Corp Progressive image transmission using discrete wavelet transforms
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
JP3777650B2 (ja) 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5805745A (en) 1995-06-26 1998-09-08 Lucent Technologies Inc. Method for locating a subject's lips in a facial image
US5959673A (en) 1995-10-05 1999-09-28 Microsoft Corporation Transform coding of dense motion vector fields for frame and object based video coding applications
US5825308A (en) 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
US5963209A (en) 1996-01-11 1999-10-05 Microsoft Corporation Encoding and progressive transmission of progressive meshes
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US5805170A (en) 1996-05-07 1998-09-08 Microsoft Corporation Systems and methods for wrapping a closed polygon around an object
US6104412A (en) * 1996-08-21 2000-08-15 Nippon Telegraph And Telephone Corporation Method for generating animations of a multi-articulated structure, recording medium having recorded thereon the same and animation generating apparatus using the same
US6121953A (en) 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US5990901A (en) 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
US6049636A (en) 1997-06-27 2000-04-11 Microsoft Corporation Determining a rectangular box encompassing a digital picture within a digital image
US6018349A (en) 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
US5986668A (en) 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6009190A (en) 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US5987164A (en) 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US5905894A (en) 1997-10-29 1999-05-18 Microsoft Corporation Meta-programming methods and apparatus
JP2000033184A (ja) * 1998-05-14 2000-02-02 Masanobu Kujirada 全身動作入力型のゲ―ム及びイベント装置
JP4282112B2 (ja) 1998-06-29 2009-06-17 株式会社東芝 仮想物体制御方法および仮想物体制御装置および記録媒体
US20030137486A1 (en) * 1998-12-11 2003-07-24 Alexis Wilke Method and apparatus for locating a pointing elements within a digital image

Also Published As

Publication number Publication date
US7071914B1 (en) 2006-07-04
WO2002019310A1 (en) 2002-03-07
KR100678373B1 (ko) 2007-02-05
CN1394325A (zh) 2003-01-29
EP1314150A4 (en) 2010-10-20
EP1314150A1 (en) 2003-05-28
JP2002189545A (ja) 2002-07-05
EP2405419A2 (en) 2012-01-11
KR20020064789A (ko) 2002-08-09
JP3733587B2 (ja) 2006-01-11

Similar Documents

Publication Publication Date Title
CN1244087C (zh) 与图形图象相互作用的用户输入设备和方法
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
US9943755B2 (en) Device for identifying and tracking multiple humans over time
KR101751078B1 (ko) 애니메이션 또는 모션들을 캐릭터에 적용하는 시스템 및 방법
US20090202114A1 (en) Live-Action Image Capture
US10878540B1 (en) Contrast ratio detection and rendering system
CN102449576B (zh) 姿势快捷方式
TW201814435A (zh) 基於手勢的互動方法及裝置
US20110109617A1 (en) Visualizing Depth
CN105107200B (zh) 基于实时深度体感交互与增强现实技术的变脸系统及方法
CN105144240B (zh) 使用深度图像的用户质心和质量分布提取
US11816772B2 (en) System for customizing in-game character animations by players
KR101244646B1 (ko) 가상 공간과 현실 공간을 연계한 로봇 게임 시스템
CN111191542B (zh) 虚拟场景中的异常动作识别方法、装置、介质及电子设备
CN113577774A (zh) 虚拟对象生成方法、装置、电子设备及存储介质
CN109692476B (zh) 游戏交互方法、装置、电子设备及存储介质
CN110262660B (zh) 基于Kinect体感设备虚拟抛掷盛接系统
US20120322551A1 (en) Motion Detection Method, Program and Gaming System
CN1933559A (zh) 影像交互式故事系统
Davydenko et al. Starkit: RoboCup Humanoid KidSize 2021 Worldwide Champion Team Paper
Spanlang et al. Full body avatar interaction
Kadu et al. Real-Time 3D Game Using Sixth Sense and Haptic Technology: A Review
MISUMI et al. Development of serious game which use full body interaction and accumulated motion
IE20090750A1 (en) A method of processing an image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SONY COMP ENTERTAINMENT INC.

Free format text: FORMER OWNER: SONY COMPUTER ENTERTAINMENT AMERICA CO.

Effective date: 20030604

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20030604

Address after: Tokyo, Japan, Japan

Applicant after: Sony Computer Entertainment, Inc.

Address before: American California

Applicant before: Sony Computer Entertainment America

C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060301

Termination date: 20130830