CN101484933A - 基于一个或多个视觉的、听觉的、惯性的和混合的数据来应用传动效应到输入的方法和设备 - Google Patents

Abstract

本发明提供一种用于与计算机游戏系统交互连接的方法和设备。计算机游戏系统包括用于捕获图像数据的视频捕获装置。一种方法包括显示输入装置到视频捕获装置，其中输入装置包括多条光，其中调制多条光以传送输入装置的位置和将由所述计算机游戏系统基于所捕获的图像数据和多条光的状态的分析来解析的通信数据。该方法也包括限定将由计算机游戏系统执行的计算机游戏的目标的运动，这样目标的运动可被映射到如所捕获图像数据中所检测的输入装置的位置的运动。则该方法建立了计算机游戏的目标的运动和输入装置的位置的运动之间传动。传动限定输入装置的位置的运动与目标的运动之间的比率。传动可以由游戏、由用户动态设置，或者根据传动算法由软件重设或用户配置预设。输入装置的实施例可被用于提供惯性数据，其可以被传动且可以由计算机游戏系统解析。更进一步的，实施例可使用听觉检测系统，以及图像捕获、惯性捕获和听觉捕获的混合，以采用所期望的传动。

Description

基于一个或多个视觉的、听觉的、惯性的和混合的数据来应用传动效应到输入的方法和设备

背景技术

【1】这些年来电子游戏产业已经经历了很多变化。由于计算能力已经扩展，电子游戏的开发者也已经创建了利用计算能力上的扩展的游戏软件。为此，电子游戏的开发者已经正在编码包括复杂操作和计算以生成非常逼真的游戏体验的游戏。

【2】示例性游戏平台包括Sony Playstation或Sony Playstation2(PS2)，每个都以游戏控制台的形式销售。公知的，游戏控制台被设计为连接到监视器(通常是电视机)并使得用户能够通过手持控制器进行交互。游戏控制台被设计为具有专用处理硬件，包括CPU、用于处理密集图形操作的图形合成器、用于执行几何变换的矢量单元、以及其它紧附的硬件、固件和软件。游戏控制台还被设计为具有用于接收游戏光盘的光盘托盘，以通过游戏控制台进行本地运行。在线游戏也是可能的，其中用户可以通过因特网交互地与其它用户一起进行游戏或进行对抗。

【3】由于游戏的复杂性不断地激起游戏者的兴趣，游戏软件和硬件的制造商已经不断地创新以允许附加的交互性。但是在现实中，这些年来用户与游戏交互的方式并未发生显著变化。一般地，用户仍然使用手持控制器来操纵计算机游戏或使用鼠标定点装置来与程序交互。

【4】如上所述，需要一种在游戏播放中允许更先进的用户交互的方法和系统。

发明内容

【5】广义的讲，本发明通过提供允许与计算系统动态用户交互的方法、系统和设备来满足这些需要。在一个实施例中，计算系统将执行程序并与该程序交互。例如，程序可以是限定交互目标或部件的电子游戏。交互包括为用户提供调整传动部件的能力，该传动部件将调整执行处理的度。

【6】在一个实施例中，传动可被应用到输入装置的运动和由计算机程序的目标或部件处理的运动量之间的相对运动。

【7】在另一个实施例中，传动可被应用到计算机程序的部件上，输入装置的检测可基于来自惯性分析器的处理。该惯性分析器将跟踪用于惯性行为的输入装置，并且该惯性分析器可随后将信息传送给程序。程序将采用来自惯性分析器的输出以使传动量能够被应用到输出。传动量将指示一个程序将计算操作所用的度或比率。该操作可以呈现多种形式，操作的一个实例可以是产生噪音、可变的突出部(nose)、目标的运动、或变量。如果输出是变量，该变量(例如乘法器或者类似器件)可被用于完成处理的执行，这样的处理将考虑传动量。传动量可以预设、由用户动态的设置或依需求调整。

【8】在一个实施例中，跟踪可以采用听觉分析器。听觉分析器被配置为从输入装置接收听觉信号，且听觉分析器能够传送被应用到所执行的命令或交互的传动量。听觉分析器可以是计算机程序段的形式或专门地被限定于被设计以处理听觉信号信息的电路。因此，听觉信号信息可包括传动数据，该传动数据可由程序动态的设置或由用户根据需要通过输入装置进行设置(例如，通过选择控制器上的按钮、声音命令或类似)。

【9】在一个实施例中，输入装置的跟踪可通过图像分析器。如将在下面描述的，图像分析器可包括捕获用户和输入装置所位于的空间的图像的摄像机。在此实例中，图像分析器确定控制器的位置以引起对处理程序的部件的某些相应动作。程序可以是游戏，且部件可以是由输入装置控制的目标。图像分析器被进一步配置以混合位置数据与输入传动值。传动值可由用户在执行期间动态提供或由程序根据执行期间的行为进行设置。基于用户的输入手势或动作传动输入可设置对计算机程序的某些处理的相对影响。在一个实施例中，传动装置将翻译来自用户或用户输入装置的命令或动给一个程序的部件。程序的部件不必是可视的目标，但也可包括被用于计算一些参数、估计或变换声音、振动或者图像移动的变量的调整。因此传动装置将提供额外的控制感觉给提供到程序和程序的部件和与程序和程序的特征的交互性。

【10】在又一个实施例中，提供混合器分析器。混合器分析器被设计以产生对游戏的部件的混合效应。例如，混合器分析器可以采用来自图像分析器、听觉分析器、惯性分析器等的组合的输入。因此，在一个实施例中，混合器分析器可接收多个传动变量，该传动变量随后被混合和合成以产生混合结果、命令或与程序部件的交互。再次，程序的部件可被广义的理解为包括可视和非可视的目标、被用在操作的处理中的变量、对听觉反应的调整等。

【11】在一个具体实例中，用户控制器的运动将翻译为游戏的部件上的运动或动作所使用的量将至少部分地与所设置或确定的传动相关。传动可由用户动态设置、对游戏的预设或在玩游戏期间调整，并且响应被映射到电子游戏目标或部件以提供另一个级别的用户交互和增强的体验。

【12】应该理解本发明可以以多种方式实现，包括过程、设备、系统、装置、或方法。下面描述了本发明的多个有创造性的实施例。

【13】在一个实施例中，提供了一种用于与计算机游戏系统交互连接的方法。计算机游戏系统包括用于捕获图像数据的视频捕获装置。该方法包括：显示输入装置到所述视频捕获装置，其中，该输入装置包括被调制的多条光以传送输入装置的位置和通信数据，该输入装置的位置和通信数据将被计算机游戏系统基于所捕获的图像数据和多条光的状态的分析进行解析。该方法还包括限定将被所述计算机游戏系统执行的计算机游戏的目标的运动，使得目标的运动可被映射到如所捕获图像数据中所检测的输入装置的位置的运动。该方法随后在计算机游戏的目标的运动和输入装置的位置的运动之间建立传动。传动建立了在输入装置的位置的运动与目标的运动之间的比率。传动可以由游戏、由用户动态设置，或者根据传动算法由所配置的软件或用户预设。

【14】在另一个实施例中，公开了一种用于与计算机游戏系统交互连接的方法。该计算机游戏系统包括用于捕获图像数据的视频捕获装置。该方法包括显示输入装置到视频捕获装置，使得输入装置传送输入装置的位置和通信数据，该输入装置的位置和通信数据将被计算机游戏系统基于所捕获的图像数据的分析进行解析。该方法随后限定将被所述计算机游戏系统执行的计算机游戏的目标的运动，并且该目标的运动可被映射到如所捕获的图像数据中所检测的输入装置的位置的运动。随后该方法在计算机游戏的目标的运动与输入装置的位置的运动之间建立传动。该传动建立输入装置的位置的运动和目标的运动之间的用户可调比率。

【15】在又一个实施例中，提供了包括用于与计算机游戏系统交互连接的程序指令的计算机可读介质。该计算机游戏系统包括用于捕获图像数据的视频捕获装置。该计算机可读介质包括用于检测输入装置到视频捕获装置的显示的程序指令，输入装置传送输入装置的位置和通信数据，该输入装置的位置和通信数据将被计算机游戏系统基于所捕获的图像数据的分析进行解析。计算机可读介质还包括用于限定将被计算机游戏系统执行的计算机游戏的目标的运动的程序指令，其中该目标的运动被映射到如所捕获的图像数据中所检测的输入装置的位置的运动。计算机可读介质还包括用于在计算机游戏的目标的运动与输入装置的位置的运动之间建立传动的程序指令，其中该传动可被配置为建立输入装置的位置的运动和目标的运动之间的用户可调比率。用户可调比率能够在玩游戏期间、玩游戏会话之前或游戏时某动作事件期间动态改变。

【16】在又一个实施例中，提供了一种用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的系统。该系统包括计算系统、耦合到计算系统的视频捕获装置、显示器，且该显示器用于接收来自计算系统的输入。该系统还包括用于与计算系统执行的计算机程序连接的输入装置。该输入装置具有用于建立输入装置的运动和映射到的所控制目标的运动之间的比率的传动控制。该目标由计算机程序限定并且由计算系统执行。由视频捕获装置识别输入装置的运动并且在显示器上示意目标的运动，该显示器具有如输入装置的传动控制设置的所设传动值。在此实施例中，与输入装置相关的传动可被应用到一般应用，并无必要一定用于游戏。

【17】在另一个实施例中，提供了一种用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备。该设备包括用于与由计算系统执行的计算机程序连接的输入装置。该输入装置具有用于建立输入装置的运动和映射到的所控制目标的运动之间的比率的传动控制。该目标由计算机程序限定并由计算系统执行，输入装置的运动由视频捕获装置识别且该目标的运动被示意在具有由输入装置的传动控制设置的所设传动值的显示器上。

【18】在另一个实施例中，传动可被应用到计算机程序的部件，且输入装置的检测可基于来自惯性分析器的处理。对于惯性行为，该惯性分析器将跟踪输入装置，随后该惯性分析器可将信息传送给程序。程序将从惯性分析器获得输出以使传动量被应用到输出。传动量将指示程序将计算操作的度或比率。该操作可以呈现任意数量的形式，并且操作的一个实例可以是产生噪音、可变的突出部(nose)、目标的运动、或变量。如果输出是变量，则该变量(例如乘法器等)可被用于完成过程的执行，使得该过程将考虑传动量。传动量可以预设、由用户动态的设置或依需求调整。

【19】在一个实施例中，跟踪可以采用听觉分析器。听觉分析器被配置为从输入装置接收听觉信号，且听觉分析器能够传送被应用到所执行的命令或交互的传动量。听觉分析器可以是计算机程序段的形式或专门地被限定于设计以处理听觉信号信息的电路。因此，听觉信号信息可包括传动数据，该传动数据可由程序动态的设置或由用户根据需要通过输入程序进行设置(例如，通过选择控制器上的按钮、语音命令等)。

【20】在又一个实施例中，提供了混合器分析器。混合器分析器被设计以产生对游戏的部件的混合效应。例如，混合器分析器可从图像分析器、听觉分析器、惯性分析器等的组合来获取输入。因此，在一个实施例中，混合器分析器可接收多个传动变量，该传动变量随后被混合和合成以产生混合结果、命令或与程序部件的交互。再次，程序的部件应该被广义的理解为包括可视和非可视的目标、被用在操作的处理中的变量、对语音反应的调整等。

【21】通过本发明原理的实例方式阐明，结合附图，在下列详细描述中本发明的优点将变得清楚。

附图说明

通过下面结合附图的详细描述将容易的理解本发明，在附图中相同的参考标记标识相同的结构元件。

图1描述了具有图像捕获装置的交互游戏装置。

图2示出了使用视频处理系统的示例性计算机交互。

图3是用于与图形显示器上的目标交互的示例性用户输入系统的框图。

图4是被配置以实现此处所述的本发明的实施例的计算机处理系统的简化框图。

图5是适用于与所操纵的目标一起作为替代输入装置的电子游戏控制台的部件的配置框图。

图6是示出被用于跟踪和区别对应于被用户操纵的用户输入装置的像素组的功能块的框图。

图7示出示例性图像处理系统的示意性框图。

图8示出图7的图像处理系统的示例性应用。

图9和图10分别示出了与图像捕获装置交互的示例性控制器的俯视图和后视图。

图11示出了图9和图10的控制器的示例性应用。

图12示出了用于图11中所示的应用的示例性软件控制的传动量。

图13示出了具有方向盘的示例性控制器。

图14示出了图13的控制器的示例性应用。

图15示出了描述传动量随时间示例性改变的示例图。

图16示出了响应于用户交互的图像处理系统的另一个示例性应用。

图17示出了描述沿图16所示应用的棒球棒的挥动长度在不同时刻的示例性传动量的图。

图18示出对应于用户交互的图像处理系统的另一个示例性应用。

图19示出了描述当“释放”图18中所示的应用的足球时传动量的示例性变化的图。

图20示出了描述用于接收到计算机程序的用户输入的示例性过程的流程图。

具体实施方式

【42】在下列描述中，列出了多个具体细节以提供对本发明全面的理解。但是对于本领域普通技术人员来说，很明显没有这些具体细节中的全部或部分，本发明仍可实施。在其它实例中，为了不使本发明模糊，对公知的处理步骤未做详细描述。

【43】可使用此处所描述的技术来提供有效传动输入用于与计算机程序的交互。在一般的和最广的意义上，传动可被限定为在幅值和/或时间上能够具有不同的度的输入。则传动的度能够被传输到计算系统。传动的度可被应用到由计算系统执行的过程。用类推法，过程可被描绘为具有输入和输出的液体的桶。液体桶是在系统上执行的过程，因此传动能够控制由计算系统执行的处理的一个方面。在一个实例中，传动能够控制液体相对于输入量从液体桶中排空的速率，该输入量可被想象为进入桶中的液体滴。因此，注入率可以是动态的，排出率可以是动态的，且传动可以影响排出率。因此传动可被调节或计时以调谐流式传输到诸如游戏程序的程序的变化值。传动还可影响计数器，例如随后控制处理器或最后游戏元件、目标、游戏者、角色等的动作的移动数据计数器。

【44】把此类推应用到更切实的计算实例，液体排空的速率可以是控制被传输到计算机程序的部件的速率或被计算机程序的部件执行的速率，以响应某输入脉冲传动。计算机程序的部件可以是目标、过程、变量、或预定/常规算法、角色、游戏玩家、鼠标(2D或3D)等等。可能已经被传动装置改变的处理结果可以以多种方式传送给观察者。一种方式可以是在显示屏上可视、通过声音可听、通过感觉的振动声、或者上述的组合等，或者对于游戏或程序的交互元件简单地通过修改的过程响应。

【45】经以下方式通过执行跟踪可获得输入：(1)图像分析，(2)惯性分析，(3)听觉分析，或(1)、(2)或(3)的组合混合的分析。虽然关于图像分析和所应用的传动提供了各种实例，但是应该理解跟踪不限于视频，也可通过多种方式实现，尤其是通过惯性分析、听觉分析、以及这些和其它合适的分析器的混合。

【46】在各种实施例中，具有摄影机(例如，图像分析)的计算机或游戏系统能够处理图像数据并识别发生在摄影机之前的焦点区域或给定范围的各种动作。这样的动作典型的包括在三维空间中移动或旋转目标或启动诸如按钮、控制盘、操纵杆等的任意的各种控制。除了这些技术，本技术还提供了调整定标因子的附加功能，以调整关于程序部件或显示屏上的一个或多个相应的动作的输入的敏感性，此处定标因子称为传动。例如，显示屏上的动作可以是作为电子游戏的焦点的目标。目标还可以是程序的部件，例如变量、乘法器、或随后将被表征为声音、振动、显示屏上的图像或这些和所传动的输出的其它表示的组合的计算量。

【47】在另一个实施例中，传动可被应用到计算机程序的一个部件，且由惯性分析器的处理可基于输入装置的检测。对于惯性行为，惯性分析器将跟踪输入装置，随后惯性分析器可将信息传送到程序。然后程序将从惯性分析器获得输出以使传动量被应用到输出。然后传动量将指示程序将计算一个操作的度或比率。该操作可以采取多种形式，并且操作的一个实例可以是产生噪音、可变的突出部(nose)、振动、目标的运动、或输出可视和/或可听结果的程序的计算量。如果输出是变量，则该变量可被用于完成过程的执行，这样过程将考虑传动量。传动量可以预设、由用户动态的设置或依需求调整。

【48】各种类型的惯性传感器装置可被用于提供6个自由度(例如X、Y和Z位移(例如加速)以及关于X、Y和Z轴的旋转)上的信息。用于提供6自由度上信息的合适的惯性传感器的实例包括加速计、一个或多个单轴加速计、机械的陀螺仪、环形激光陀螺仪或这些中的两个或多个的组合。

【49】根据本发明的方法分析来自传感器的信号以在玩游戏期间确定控制器的运动和/或方位。这样的方法可以被实现为处理器可读介质中存储的并在数字处理器上执行的一系列处理器可执行程序代码指令。例如，电子游戏系统可包括一个或多个处理器。每个处理器可以是任一合适的数字处理器单元，例如通常被用于电子游戏控制台中的微处理器或定制设计的多处理器核。在一个实施例中，处理器通过执行处理器可读指令可实现惯性分析器。指令的部分可被存储在存储器中。可选的，惯性分析器可以以硬件实现，该硬件例如是专用集成电路(ASIC)或数字信号处理器(DSP)。这样的分析器硬件可被放置于控制器或控制台上或可位于远程别处。在硬件实现中，分析器可以响应来自诸如处理器或某其它位于远程的源的外部信号被编程，该位于远程的源例如通过USB线缆、以太网、通过网络、因特网、短程无线连接、宽带无线、蓝牙或本地网络被连接。

【50】惯性分析器可包括或实现分析由惯性传感器产生的信号和利用关于控制器的位置和/或方向的信息的指令。可分析惯性传感器信号以确定关于控制器的位置和/或方向的信息。在系统上玩电子游戏期间可利用位置和/或方向信息。

【51】在一个实施例中，游戏控制器可包括一个或多个惯性传感器，其可通过惯性信号提供位置和/或方向信息给处理器。方向信息可包括角度信息，例如控制器的倾斜、翻滚或偏航。如上所述，例如，惯性传感器可包括任意数目的加速计、陀螺仪或倾斜传感器和/或其组合。在一个实施例中，惯性传感器包括适应于检测相对于倾斜和翻滚轴的操纵杆控制器的方向的倾斜传感器、适应于检测沿偏航轴的加速度的第一加速计以及适用于检测相对于偏航轴的角加速度的第二加速计。加速计可被实现例如为MEMS装置，该MEMS装置包括由一个或多个具有传感器的弹簧装配的块，用于检测相对于一个或多个方向的块的位移。来自依赖于块的位移的传感器的信号可被用于确定操纵杆控制器的加速度。这样的技术可由来自游戏程序或一般程序的指令实现，该指令可被存储在存储器中并被处理器执行。

【52】举例来说，适合作为惯性传感器的加速计可以是通过例如弹簧来在3个或4个点弹性地耦合至框架的简单的块。倾斜和翻滚轴位于和被装配到操纵杆控制器上的框架相交的平面。随着框架(和操纵杆控制器)相对于倾斜和翻转轴旋转，块将在重力的影响下移位，且根据倾斜和/或翻转的角度弹簧将拉长或压缩。块的移位能够被检测到并被转换为依赖于倾斜和/或翻转的量的信号。相对于偏航轴的角加速度或沿偏航轴的线加速度也可产生弹簧的压缩和/或拉长或块的运动的特有模式，其可被检测到并转换为与角和/或线加速度的量有关的信号。这样的加速计装置可通过跟踪块的移动或弹簧的压缩和拉伸力来测量相对于偏航轴的倾斜、翻滚角加速度和沿偏航轴的线加速度。存在多种不同方法来跟踪块的位置和/或其上所施加的力，包括电阻应变计材料、光子传感器、磁性传感器、霍耳效应(hall-effect)装置、压电装置、电容传感器等。

【53】另外，光源可提供遥测信号给处理器，例如以脉冲码、调幅或调频格式。这样的遥测信号可指示按下了哪个按钮和/或按钮被按压得多强烈。遥测信号被编码成为光学信号，例如通过脉冲编码、脉冲宽度调制、调频或光强度(幅度)调制。处理器可以从光学信号解码遥测信号并响应所解码的遥测信号来执行游戏命令。遥测信号可从由图像捕获单元获得的操纵杆控制器的图像的分析进行解码。可选的，设备可包括专用于从光源接收遥测信号的单独的光学传感器。

【54】处理器可使用来自惯性传感器的惯性信号并结合来自由图像捕获单元检测的光源的光学信号和/或来自由麦克风阵列检测的听觉信号的声源位置和特性信息，以推断控制器和/或它的用户的位置和/或方向上的信息。例如，“听觉雷达”声源位置和特性可被用于与麦克风阵列相结合，以在操纵杆控制器的动作被独立的跟踪时(通过惯性传感器和/或光源)跟踪移动的声音。在听觉雷达中，在运行时间选择预校准的聆听区并滤除来自预校准的聆听区的外面的源的声音。预校准聆听区可包括对应于焦点范围的聆听区或图像捕获单元的视场。

【55】在一个实施例中，通过听觉分析器进行跟踪。听觉分析器被配置为从输入装置接收听觉信号，且听觉分析器能够传送被应用到所要执行的命令或交互的传动量。听觉分析器可以是计算机程序段的形式或专门地被限定于被设计以处理听觉信号信息的电路。因此，听觉信号信息可包括传动数据，该传动数据由程序动态的设置或由用户根据需要通过输入装置进行设置(例如，通过选择控制器上的按钮、声音命令等)。在2006年5月4日由发明人Xiadong Mao，Richard L.Marks和Gary，M.Zalewski提交的美国专利申请“SELECTIVE SOUND SOURCE LISTENING INCONJUNCTION WITH COMPUTER INTERACTIVE PROCESSING”中描述了听觉分析器的一个实例，该申请的代理人卷号为SCEA04005JUMBOUS，该申请的全部公开内容在此通过引用包含在本申请中。

【56】分析器可被配置为一个映射链。在玩游戏期间映射链可通过游戏被转换出去，因为其可以设置到分析器和混合器。

【57】在一个实施例中，输入装置的跟踪可通过图像分析器。如将在下面进一步描述的，图像分析器可包括捕获用户和输入装置所位于的空间的图像的摄像机。在此实例中，图像分析器确定控制器的位置以导致与处理程序的部件相应的一些动作。程序可以是游戏，且部件可以是由输入装置控制的目标。图像分析器被进一步配置以混合位置数据与输入传动值。传动值可由用户在执行期间动态提供或由程序根据执行会话期间的活动进行设置。基于用户的输入手势或动作通过计算机程序传动输入可设置对一些处理的相对影响。在一个实施例中，传动将来自用户或用户输入装置的命令或动作转换为程序的部件。程序的部件不需要为可视的目标，但也可包括被用于计算一些参数，声音、振动或图像移动的估计或变换的变量的调整。因此传动将提供对交互性的控制的附加检测，该交互性被提供给程序和程序的部件和与程序和程序的部件一起使用。

【58】在又一个实施例中，提供了混合器分析器。混合器分析器被设计以产生对游戏的部件的混合效应。例如，混合器分析器可从图像分析器、听觉分析器、惯性分析器等的组合来获取输入。因此，在一个实施例中，混合器分析器可接收多个传动变量，该传动变量随后被混合和合成以产生混合结果、命令或与程序部件的交互。再次，程序的部件应被广义的理解为包括可视和非可视的目标、被用在操作处理中的变量、对听觉反应的调整等。

【59】根据本发明的一个实施例，图1描述了交互式游戏装置100。交互游戏装置100包括计算机102，此处称为“控制台”，其被耦合到显示屏110。图像捕获装置105可被放置于显示屏110的顶部并被耦合到计算机102。在一个实施例中，计算机102是游戏系统控制台，其允许用户玩电子游戏和通过控制器108与电子游戏相接口。计算机102也可连接到互联网，以允许交互式在线游戏。图像捕获装置105被示出位于显示屏110的顶部，但是应该理解图像捕获装置105可以位于将允许其捕获位于显示屏110前面的图像的其它临近位置。用于捕获这些运动和交互的技术可以不同，但是在2003年2月21日提交的英国申请GB 0304024.3(PCT/GB2004/000693)和GB 0304022.7(PCT/GB2004/000703)中描述了示例性技术，其每一个申请在此通过引用包括在本申请中。

【60】在一个实施例中，图像捕获装置105可被简化为标准网络(web)摄影机(web cam)或可包括更先进的技术。图像捕获装置105可以能够捕获图像、数字化图像、并传输图像数据回到计算机102。在一些实施例中，图像捕获装置具有集成的逻辑以用于执行数字化，在另一实施例中，图像捕获装置105将简单地传输模拟视频信号到计算机102以进行数字化。在上述任一种情况中，图像捕获装置105能够捕获位于图像捕获装置105前面的任一目标的彩色或黑白图像。

【61】图2描述了使用图像捕获和处理系统的示例性计算机交互。计算机102接收来自于从场景202产生图像的图像捕获装置105的图像数据。场景202包括用户210操纵玩具飞机形状的目标215。目标215包括图像捕获装置105可视的多个LED 212。LED 212提供目标215的位置和方向信息。另外，目标215可包括一个或多个诸如按钮、触发器、控制盘等的启动元件用于产生计算机输入。也可使用语音命令。在一个实施例中，目标215包括包含用于调制LED212的逻辑的电路220，以通过图像捕获装置105传输数据到计算机102。数据可包括响应于启动装置的操纵而产生的编码命令。由于目标215在图像捕获装置105可视的三维空间中移动和旋转，参考此后图3-6所描述的，在图像数据中表示的LED位置被转换为三维空间内的坐标，坐标以x、y和z坐标的形式描述了位置信息并以α、β和γ值的形式描述了方向信息。坐标被转送到可能为飞机游戏的计算机应用，在该飞机游戏中玩具飞机在显示器110上被表示为真实的或动画飞机215’，飞机215’可响应玩具飞机215的操纵而执行多种特技。可选的，代替玩具飞机215，用户210可操作控制器108(如图1所示)，且控制器108的运动可被跟踪和命令捕获以产生显示屏上的目标的运动。

【62】在一个实施例中，用户210也可选择改变或修改与动画飞机215’进行交互的度。交互的度可通过允许用户215调整“传动”部件而被修改，该“传动”部件将调整被映射为动画飞机215’的运动的用户控制器108(或玩具飞机215)的运动的量。根据可被用户210动态设置、对游戏的预设或在玩游戏期间调整的传动，映射到动画飞机215’(例如电子游戏目标)的响应将变化以提供另一个级别的用户交互和增强的体验。参考图7-20下面将提供关于传动的进一步的细节。

【63】图3是与可被用于实现本发明实施例的图形显示器上的目标交互的示例性用户输入系统的框图。如图3所示，用户输入系统包括视频捕获装置300、输入图像处理器302、输出图像处理器304和视频显示装置306。视频捕获装置300可以是能够捕获视频图像序列的任意装置，并且在一个实施例中是数字摄影机(例如“网络摄影机”)，或类似的图像捕获装置。

【64】视频捕获装置300可被配置以提供深度图像。在此描述中，术语“深度摄像机”和“三维摄像机”指的是能够获得距离或深度信息以及二维像素信息的任意摄像机。例如，深度摄像机可利用所控制的红外光以获得距离信息。另一个示例性深度摄像机可以是立体摄像机对，其使用两个标准摄像机来三角测量距离信息。类似的，术语“深度检测装置”指的是能够获得距离信息和二维像素信息的任意类型的装置。

【65】因此，摄像机300可提供捕获且映射除了普通二维视频图像之外的三维的能力。类似于普通摄像机，深度摄像机捕获包括构成视频图像的多个像素的二维数据。这些值是像素的颜色值，一般是每个像素的红色、绿色和蓝色(RGB)值。以此方式，摄像机捕获的目标在监视器上呈现为二维目标。但是，与传统摄像机不同，深度摄像机还捕获场景的z分量，其表示场景的深度值。由于深度值通常被指定到z轴，所以深度值经常指z值。

【66】在操作中，捕获场景的每个像素的z值。每个z值表示从摄像机到对应于相关像素的场景中的具体目标的距离。另外，最大检测范围被限定为这样一个值，一旦超过该值深度值就不能被检测到。本发明的实施例可采用此最大范围平面以提供用户限定的目标跟踪。这样，使用深度摄像机，每个目标可在三维内被跟踪。结果，本发明实施例的计算机系统可采用z-值连同二维像素数据来为用户创建增强的三维交互环境。对于关于深度分析的更多信息，可参考2003年5月29日提交的第10/448,614号美国专利申请“System and Method for Providing a Real-time threedimensional interactive environment”，其通过引用包含在本申请中。

【67】根据一个实施例，尽管可使用深度摄像机，但是不应该被解释为其在三维空间中识别目标的位置和坐标是必需的。例如，在图2中所述的方案中，目标215和摄像机105之间的距离可通过测量最左边和最右边的LED 212之间的距离来推断。LED 212在由图像捕获装置105产生的图像中显示得越靠近，目标215与摄像机105越远。因此，z轴坐标的合理精准推断可以从由典型的数字摄像机产生的二维图像中产生。

【68】返回到图3，输入图像处理器302将所捕获的控制目标的视频图像(其可以是深度图像)变换为信号被传送到输出图像处理器。在一个实施例中，输入图像处理器302被编程以通过深度信息将控制目标与所捕获的视频图像中的背景相隔离，并产生对应于控制目标的位置和/或运动的输出信号。输出图像处理器304被编程以响应从输入图像处理器302接收的信号以在视频显示装置306上进行变换和/或旋转运动。

【69】本发明的这些和另外的方面可通过执行软件指令的一个或多个处理器来实现。根据本发明的一个实施例，单个的处理器执行输入图像处理和输出图像处理。但是，如图中所示和为便于描述，所示的处理操作被分为输入图像处理器302和输出图像处理器304。应该注意到，本发明决不能被解释限制在任一特定处理器配置上，诸如多于一个处理器。图3中所示的多个处理块仅为描述的方便。

【70】图4是被配置以实现此处所述的本发明的实施例的计算机处理系统的简化框图。该处理系统可表示基于计算机的娱乐系统的实施例，其包括被耦合至主存储器420和图形处理单元(“GPU”)426的中央处理单元(“CPU”)424。CPU 424也被耦合到输入/输出处理器(“IOP”)总线428。在一个实施例中，GPU 426包括用于快速处理基于像素的图形数据的内部缓存器。另外，GPU 426可包括输出处理部分或功能以转换所处理的图像数据为标准电视信号，例如NTSC或PAL，用于传输到外部连接到娱乐系统或其元件的显示装置427。可选的，数据输出信号可被提供给除了电视监视器的显示装置，诸如计算机监视器、LCD(液晶显示)装置、或其它类型的显示装置。

【71】IOP总线428耦合CPU 424到各种输入/输出装置和其它总线或装置。IOP总线428被连接到输入/输出处理器存储器430、控制器432、存储器卡434、通用串行总线(USB)端口436、IEEE 1394(也被称为火线(Firewire)接口)端口438、和总线450。总线450耦合多个其它系统部件到CPU 424，包括操作系统(“OS”)ROM 440、闪存442、声音处理单元(“SPU”)444、光盘控制单元446、和硬盘驱动器(“HDD”)448。在此实施例的一个方面，视频捕获装置可被直接连接到IOP总线428用于通过它传输到CPU 424；其中，来自视频捕获装置的数据可被用于改变或更新被用于在GPU 426中产生图形图像的数值。而且，本发明的实施例可采用各种图像处理配置和技术，例如在2003年2月11日提交的美国专利申请序列号为10/365,120的“METHOD AND APPARATUS FOR REALTIME MOTION CAPTURE”中所描述的，其通过引用被全部包含在本申请中。计算机处理系统可运行在CELL^TM处理器上。

【72】图5是根据本发明一个实施例的适用于与所操纵的目标(作为可选输入装置)一起使用的电子游戏控制台的部件的配置的框图。示例性游戏控制台510装备有多处理器单元(MPU)512，多处理器单元(MPU)512用于控制整个控制台510、被用于各种程序操作和存储数据的主存储器514、用于执行对几何处理必要的浮点矢量计算的矢量计算单元516、用于基于来自MPU 512的控制产生数据和输出视频信号到监视器110(例如CRT)的图像处理器520、用于通过MPU 512或矢量计算单元516和图像处理器520之间的传输总线执行中介(mediation)和类似操作的图形接口(GIF)522，用于便于去往和来自外围装置的数据的接收和传输的输入/输出端口524、用于执行内核或类似的控制的例如由闪烁存储器组成的内部OSD功能ROM(OSDROM)526、和具有日历和计时功能的实时时钟528。

【73】主存储器514、矢量计算单元516、GIF 522、OSDROM 526、实时时钟(RRTC)528和输入/输出端口524通过数据总线530被连接到MPU 512。图像处理单元538也被连接到总线530，其是用于展开被压缩的移动图像和纹理图像从而改进图像数据的处理器。例如，图像处理单元538可被用作根据MPEG2或MPEG4标准格式解码并扩展位流、宏块解码、执行逆离散余弦变换、色彩空间转换、矢量量化等功能。

【74】声音系统由下述部件组成：用于基于来自MPU 512的指令产生音乐或其它声音效果的声音处理单元SPU 571、由SPU 571记录的波形数据所进入的声音缓存器573、和用于输出由SPU 571产生的音乐或其它声音效果的扬声器575。应该理解扬声器575可以作为监视器110的组成部分或可被提供作为连接到外部扬声器575的单独的音频输出线连接。

【75】根据本发明，还提供通信接口540，其被连接到总线530，其是具有数字数据输入/输出功能的接口，并被用于数字内容的输入。例如，通过通信接口540，用户输入数据可被传输到网络上的服务器终端，并从网络上的服务器终端接收状态数据，以提供在线电子游戏应用。输入装置532(也被认为是控制器)和光盘装置536被连接到输入/输出端口524，输入装置532用于输入关于控制台510的数据(例如，键输入数据或坐标数据)，光盘装置536用于再现光盘569的内容，光盘569例如是CD-ROM或其上存储各种程序和数据(即，关于目标的数据、纹理数据等)的类似部件。

【76】本发明还包括被连接到输入/输出端口524的数字摄像机105。输入/输出端口524可被实现为包括串行和USB接口的一个或多个输入接口，其中，数字摄像机190可优选的采用USB输入或适用于与摄像机105一起使用的任意其它传统接口。

【77】上述图像处理器520包括渲染引擎570、接口572、图像存储器574和显示控制装置576(例如可编程CRT控制器等)。渲染引擎570通过存储器接口572并且对应于MPU 512提供的渲染命令来执行渲染图像存储器中的预定的图像数据的操作。渲染引擎570具有遵照例如NTSC或PAL标准实时渲染320 x 240像素或640 x 480像素的图像数据的能力，并且更具体地，以在1/60到1/30秒的每一时间间隔比十到几十次更快的速度渲染。

【78】总线578被连接在存储器接口572和渲染引擎570之间，并且第二总线580被连接在存储器接口572和图像存储器574之间。第一总线578和第二总线580分别具有例如128位的位宽，并且渲染引擎570能够执行对于图像存储器的高速渲染处理。图像存储器574采用统一的存储器结构，例如其中纹理渲染区域和显示渲染区域可被设置在相同的区域中。

【79】构建显示控制器576使得将已经通过光盘装置536从光盘569获得的纹理数据或已经在主存储器514上创建的纹理数据通过存储器接口572写入到图像存储器574的纹理渲染区域。已经在图像存储器174的显示渲染区域中被渲染的图像数据通过存储器接口572被读出，输出到监视器110，在屏幕上显示。

【80】图6是示出根据本发明一个实施例的被用于当用户输入装置被用户操纵时跟踪和区别对应于用户输入装置的像素组的功能块的框图。应该理解，所述功能块所描述的功能通过图5的游戏控制台510中的MPU512所执行的软件来实现。而且，不是图6中的功能块所指示的所有功能被用于每个实施例。

【81】最初，摄像机的像素数据输入通过输入/输出端口接口524被提供给游戏控制台510，使得在其上执行下述过程。首先，随着图像的每个像素被采样，例如基于光栅，执行颜色分段处理步骤S201，由此确定每个像素的颜色并将图像分为不同颜色的各个二维片段。接着，对于某些实施例，执行颜色转变探测步骤S203，由此更具体的确定不同颜色的片段邻接的区域，从而限定发生不同颜色转变的图像位置。随后根据实施例，执行几何处理步骤S205，包括边缘检测过程或执行面积统计的计算，以按照代数或几何确定对应于感兴趣目标的边缘的直线、曲线和/或多边形。

【82】根据结合本发明优选实施例的下列描述而描述的算法，在步骤S207计算目标的三维位置和方向。对三维位置和方向的数据执行卡尔曼(Kalman)滤波的处理步骤S209以提高性能。执行这样的处理以估计在某时刻目标将在哪里，并且拒绝不可能的、因此被认为位于真实数据集外的伪测量。卡尔曼滤波的另一个原因在于摄像机105可以以30Hz产生图像，然而实例显示以60Hz运行，因此，卡尔曼滤波可填充用于控制游戏程序中的动作的数据中的空隙。经卡尔曼滤波的离散数据的平滑在计算机视觉领域是公知的，因此将不再进一步的详细阐述。

【83】图7示出了用于映射被图像捕获装置105所观察到的空间体积702内的目标705的运动的示例性图像处理系统700的示意性框图。在此实例中，随着目标705在三维空间702中移动距离x₁，图像处理系统700解析所捕获的目标705的视频图像，识别目标705的运动，并在显示屏110上产生基本对应的动作。

【84】更具体的，图像捕获装置105包括用于产生图像数据的数字图像感应器，该图像数据表示现有技术中公知的传输透过透镜之后影响传感器的光所形成的图像。图像捕获装置105也可能包括模拟摄影机，用于产生表示由光形成的图像的模拟信号。在后一例子中，在由识别器710处理之前模拟信号被转换为图像的数字表示。表示三维空间702的连续二维图像的图像数据被传输到识别器710。在一个实施例中，识别器710可以执行参考图6的上述的各种处理步骤用于识别目标705。目标705的位置被传输到映射器712。例如，可计算目标705在三维空间702中的绝对坐标并传输到映射器712。沿x和y轴的坐标可以从在每个图像中表示的目标的位置来确定。目标705的沿z轴的坐标可从目标的大小来推断。也就是说，目标705与图像捕获装置105越近，它出现在图像中将越大。这样，随着目标出现在图像中诸如对目标直径的测量可被用于计算与图像捕获装置105的距离，从而计算z轴坐标。

【85】除了位置信息，识别器710可识别从目标705接收的命令。命令可从目标705的传送/变形、声音和光的产生等处解析出来。从目标705接收的命令被识别器解析，且对应于所接收的命令的数据可被传输到应用714。应用714可以是游戏应用或所需的或另外的能从图像捕获装置105接收用户输入的其它计算机应用。在一个实施例中，映射器712可输入来自识别器710的绝对坐标并将这些坐标映射为根据传动量依比例确定的输出坐标。在另一个实施例中，映射器712接收来自识别器710的连续的坐标信息并将坐标信息中的变化转换为目标705的矢量运动。例如，如果目标705从时刻t₁到时刻t₂移动了距离x₁，则产生矢量x₁，0，0并传输到应用714。时刻t₁到时刻t₂可以是由图像捕获装置105产生的视频的连续帧之间的时间间隔。映射器712可根据缩放算法缩放矢量，例如，通过将矢量乘以传动量G。在不同的实施例中，每个坐标乘以相应的传动因子，例如：G_x、G_y和G_z。这样，虚拟目标705’的相应运动被示出在显示器110中，该运动距离可能是x₂，其不同于x₁。

【86】应用714可以根据从识别器710接收的命令713或根据软件的正常操作改变传动量，该软件的常规操作可向映射器712发送导致传动量改变的传动数据。响应用户命令、各种事件、或应用714的操作模式可将传动数据发送到映射器712。这样，响应用户命令或由软件控制可实时改变传动量。因此，映射器712可将目标705的运动的输出矢量和传动量传输到应用714，该输出随空间702中的目标715的位置改变而相关地变化。在一个实施例中应用714是电子游戏，应用714将输出矢量变换为随后在显示器110上显示的相应的动作。

【87】图8描绘了图7的图像处理系统700的示例性应用。计算机系统102包括观察场景810的图像捕获装置105。场景810包括持有被识别器710(图7)所识别的目标804的用户802。在此实例中应用程序是西洋跳棋游戏，该应用程序识别从目标804发出的命令以捡起或放下西洋跳棋盘801上的西洋跳棋808。当用户在图像捕获装置105前面移动目标805，计算机102处理图像以识别目标804的运动并将该动作变换为显示器110上的虚拟目标805’的运动。相关于真实目标805，虚拟目标805’移动的距离依赖于传动量806。在此实例中，在显示器110上传动量被表示为“3”。在一个实施例中，传动量是用户可选择的。传动量越大，显示器110上的西洋跳棋805’完成特定距离移动所需的真实目标805的移动越小。

【88】图9和图10示出了与图像捕获装置105(图1)交互的示例性控制器900。控制器900包括包含多个接口装置的接口902，该交互装置包含各种按钮和操纵杆。此处所述的控制器可以是有线的或无线的。可以采用诸如WiFi、Bluetooth^TM、IR、声音和光的技术以与诸如游戏控制台的计算机连接。在一个实施例中，控制器900具有LED阵列905。LED阵列可被构建为各种布局，包括2×2栈，其中每个LED位于图像的矩形或正方形形状的关联盒(binding box)的顶点。通过随着关联盒被投影到由图像捕获装置产生的图像平面上跟踪关联盒的位置和变形，可在视频分析器中分析变换和变形以解释控制器的位置和方向信息。

【89】LED阵列905可产生红外或可视光。参考各种其它发明的实施例图像捕获装置105(图1)可如上所述识别LED阵列905。通过使用开关910以允许用户选择玩家数目1-4，或任意数目的玩家，每个控制器可被指定为玩家1到诸如玩家4。每个玩家号码选择对应于被LED阵列905点亮的LED的独一无二的模式或调制。例如对于玩家1，第一、第三和第五LED被点亮。该玩家信息可被编码并随时间经多个视频帧以重复的形式传输。期望以交错方案使用上述操作，以使控制器或装置LED能在跟踪模式和传输模式之间转换。在跟踪模式中，在周期的第一部分期间可打开所有的LED。在传输模式中，在周期的第二部分期间可由LED调制信息。随着时间，LED传输跟踪和通信信息到视频分析器或能够接收该信号的合适的装置。在传输模式，LED可编码表示玩家I.D.的信息。可选择周期和占空因数以调整跟踪速度、发光条件、控制器数量等。通过交错通信和跟踪信息，可提供充足的信息给视频捕获装置以计算每个控制器的跟踪参数并在控制器之间做区分。当监控和跟踪控制器运动的位置和方向和其它量度时，这样的区分可被用于视频分析器中以隔离每个物理控制器。

【90】在传输模式，包括命令或状态信息的其它信息可被控制器或装置LED并且根据已知的编码和调制方案进行传输。在接收器端，耦合到视频捕获装置的视频分析器可与LED的状态同步并跟踪LED的状态，并解码信息和控制器的运动。公知的，在传输模式周期中通过跨帧调制数据可获得较高的带宽。

【91】用户与接口902交互可使得LED阵列905中的一个或多个LED来调制和/或改变颜色。例如，当用户移动操纵杆，LED可改变亮度或传输信息。在光强度或颜色上的改变可被计算机系统监控并作为强度值被提供给游戏程序。而且，每个按钮可被映射到LED阵列905中的一个或多个LED的颜色或强度的改变。

【92】随着控制器900在三维空间内移动和在翻滚、偏航或倾斜方向的其中一个旋转，图像捕获装置105与计算机系统102一同能够识别这些变化并产生用于描述在图像平面上运动的二维矢量，或用于描述在三维空间运动的三维矢量。矢量可被提供作为用于描述相对于图像捕获装置105的相对运动和/或绝对位置的一系列坐标。如本领域普通技术人员所清楚的，在垂直于图像捕获装置105的视线的平面(图像平面)上的运动可通过图像捕获区域内的绝对位置来识别，而更靠近图像捕获装置105的控制器的运动可由呈现扩散的LED阵列来识别。

【93】LED905的矩形配置允许控制器900关于3个轴的运动和围绕每个轴的旋转被检测到。虽然仅示出了4个LED，应该认识到这仅为示意性示例的目的，在任一构造中采用任意数目的LED都是可能的。随着控制器900被向前或向后摇时，顶部和底部的LED将彼此靠近，而左边和右边LED保持相同距离。同样的，随着控制器向左或向右偏航，左边和右边的LED将彼此靠近，而顶部和底部的LED保持相同距离。可通过识别图像平面上的LED的方向来检测控制器的翻滚运动。随着控制器沿图像捕获装置105视线而移动更靠近图像捕获装置105，所有的LED彼此间将呈现得更接近。最后，通过识别图像平面上的LED的位置可跟踪控制器沿图像平面的运动，从而识别沿各自x和y轴的运动。

【94】控制器900也可包括扬声器915，用于产生可听到的或超声的声音。扬声器915可产生声音效果以增强交互性，或可传输从接口902发出的命令到具有麦克风或用于接收传输的其它元件的计算机系统。

【95】图11示出了图9和图10的控制器900的示例性应用。在此应用中，驾驶仿真解析控制器900的旋转为虚拟汽车的方向盘的旋转。当用户(未示出)如箭头1105所示旋转控制器900，虚拟方向盘900’如箭头1105’所示在屏幕110上旋转。在一个实施例中，参考图8如上所述，指示对于控制器900的每度的旋转的方向盘900’旋转量的传动量是用户可选的。在另一个实施例中，传动量由软件控制，如图12所示的实例性图1200中所示。在此实例中，传动量相对于与控制器900的中心(即垂直方向)的距离变化。这可允许当控制器900仅旋转90°时虚拟方向盘900’旋转整个540°。通过保持在接近0°(中心)位置处的低传动量，高的度数控制可被保持用于高速驾驶，其通常不需要显著的操纵旋转。随着控制器900旋转而与中心位置越远，如图1200所示增加传动量以提供比如通常较低速度时所需的更急速的转向。

【96】图13示出了具有可被用户操纵的方向盘1305的另一个示例性控制器1300。在此实例中，方向盘1305的旋转和接口1302的按钮的动作可由控制器1300解析，控制器1300通过LED 1310产生数据传输。

【97】图14示出了控制器1300的示例性应用。在此实例中，该应用是接收响应方向盘1305的旋转而发出的命令并将此命令转换为显示器110中的虚拟方向盘1305的相应旋转的驾驶仿真。将方向盘1305的旋转依比例确定虚拟方向盘1305’的相应旋转的传动量可响应用户与接口1302(图13)的交互或响应软件控制而改变。图15示出了描述传动量随时间示例性改变的示例图1500。在一个实例中，传动中的改变可由用户在玩游戏期间动态设置。另外，如图1500所示，传动的转变可以在较长时间、较短时间内是平滑的、急速的、逐步的或它们的组合。这样，可在游戏会话期间随时间由游戏设置或改变该传动，以提供更逼真的交互体验。另外给用户对传动的控制允许另一维度的控制超出传统游戏中发现的预定控制。

【98】图16示出了响应用户交互的图像处理系统的另一个示例性应用。在此实例中，通过挥动由图像处理系统识别为输入目标的玩具棒球棒1605，用户1602可与棒球仿真交互。随着玩具棒球棒被挥动，用户和/或软件可控制传动量以操纵虚拟棒球棒1605’的速度或距离。在一个实施例中，该棒可包括在玩游戏期间能够被按下的多个按钮，且通过按下按钮，能够改变传动。在另一个实施例中，用户可以预设或编程当棒被挥动时将被应用的传动级别的组合。

【99】图17示出了描述在不同时刻t₁-t₅沿挥动长度的示例性传动量的图1700。可由用户在挥动棒之前设置传动量，或由游戏响应摄像机105所观察到的棒的位置来动态地设置该传动量。再次，图1700也示出了传动怎样随时间改变，在特定的时间区域保持常量，或逐渐增加。在图1700中，在时刻t₂-t₃之间传动可被设置得较高，使得在接触棒时棒的挥动更有力，随后当已经接触了棒的时刻t₃-t₄可减小传动。在一个实施例中，不同的时刻可由用户估计或由计算机确定。

【100】在一个实例中，用户可采取几次挥动实践，并且随后计算机可制订对应于用户实际挥动能力的多个实例时间时隙。随后根据用户希望影响他的游戏交互的程度，用户可定制给每个时间间隔分配特定的传动。一旦设置了传动，棒1605的用户运动则可被映射为棒1605’(例如游戏目标)的运动。再次，应该注意传动可在不同动作期间由游戏预设，在玩游戏期间由用户设置，以及在玩游戏期间可以实时调整。

【101】图18示出响应用户交互的图像处理系统的另一个示例性应用。在此实例中，通过用户(未示)做出投掷玩具足球的动作并按压执行器以表示放开足球，用户可与足球仿真交互。当然，除了玩具足球，也可以使用控制器。虚拟玩家1802响应用户的交互操纵虚拟足球1805。在一个实施例中，执行器导致LED点亮或改变颜色，这可被图像处理系统作为命令识别而发送到足球仿真应用。在放开足球之后，用户能够控制场地上的某个动作，例如所选接收者的动作。在一个实施例中，球的放开触发应用以发送传动数据到映射器(图7)以改变传动量，例如允许区别输入目标的更细微移动。

【102】图19示出了在“放开”足球时传动量的变化的示例图1900。虽然示出了简化图1900，但应该理解根据游戏目标传动可呈现任意的形状。

【103】图20示出了描述用于接收对计算机程序的用户输入的示例性过程的流程图2000。如开始模块2002所示，过程启动，并执行识别控制输入的位置的操作2004。控制输入可以是如上参考图7所述的在三维空间中的输入目标的位置，或如上参考图14所述的用户接口装置的位置。该位置可被表达为代表值，或诸如矢量的多个值。在识别控制输入的位置之后，过程执行操作2006。

【104】在操作2006，确定位置是否已经变化。如果位置还没有变化，则过程返回到操作2004。在一个实施例中，操作2004被延迟直到从图像捕获装置接收到图像数据的新的帧。如果在操作2006确定位置已经变化，则过程执行操作2008。

【105】在操作2008，计算运动的矢量。运动的矢量可以是任意数目的维度。例如，如果运动是输入目标在三维空间的运动，该运动矢量可描述该运动为三维矢量。但是，如果运动属于一维控制输入的，例如方向盘，则运动矢量是描述方向盘的旋转量的一维矢量。在确定运动矢量之后，过程执行操作2010。

【106】在操作2010，运动矢量与当前的传动量相乘以确定输入矢量。当前传动量可以是标量或多维数值。如果它是标量，则所有维度的运动矢量乘以相同数值。如果传动量是多维的，则运动矢量的每个维乘以传动量的相应维。传动量可以响应用户输入变化且可被软件控制。因此，当前的传动量可时时变化。在运动矢量乘以当前传动量之后，过程执行操作2012。

【107】在操作2012，使用操作2010所计算的输入矢量计算虚拟目标的新位置。新位置可以是摄像机位置或诸如虚拟方向盘的目标位置。虚拟目标可不显示在显示屏上。一旦计算了虚拟目标的新位置，过程执行操作2014，其中将表示新位置的数据传输到应用程序。随后过程如结束块2016所示完成。但是应该注意，该流程本质上仅为示意，其它选择是可能的。

【108】在一个实施例中，操作将包括输入装置的检测和输入装置的运动。输入装置的运动由正在观察输入装置的摄像机来确定。通过用户控制或预设或预先编程的设置，应用传动值。如果由用户设置，例如，通过允许用户击打输入装置(例如控制器)上的按钮来选择传动值。根据传动量，运动控制被映射到计算机游戏的目标。如果用户正在使用输入装置来控制游戏上的动作的角色，则所设置的或被控制以设置的传动将影响输入装置的运动如何映射到计算机游戏的动作角色的运动。因此，传动和传动中的变化允许可作为计算机游戏的部分的目标的所映射响应的动态应用。

【109】在各种实施例中，上述的图像处理功能由在计算机系统上执行的过程实现，该图像处理功能用于确定强度值、控制器玩家数目、包括控制器的一个或多个输入目标的方向和/或位置。计算系统也执行主过程，此处也称为应用程序，其可以是游戏应用，其要求或接收从图像或声音处理产生的数据，这样的数据包括控制器玩家数目、包括控制器的一个或多个输入目标的方向和/或位置、控制器启动等。在各种实施例中，执行图像和/或声音处理功能的过程是用于摄影机或视频/声音监控装置的驱动器，通过任一类型的过程间通信模式(可以以本领域公知和理解的方式具体实现)，该驱动器提供数据给主过程。执行图像或声音处理的过程在同一个或在作为一个执行该主过程的处理器的不同的处理器上执行，其中该主过程是游戏软件或其它应用程序。图像或声音处理和在同一过程中的游戏功能二者也可能具有共同的过程，例如采用过程调用。因此，尽管此处所提到输入矢量或其它信息被提供“给程序”，但应该认识到本发明包括将这样的数据提供给过程的一个例程，该过程使用过程调用或其它软件功能使得单个过程可执行图像处理功能性和游戏功能性二者，以及通过一个或多个过程分割功能为不同的过程，该一个或多个过程在共同处理器核或多个处理器核上执行，执行如此处所述的图像和/或声音处理，和一个单独的过程执行游戏功能。

【110】本发明可如此处所述而被采用或与下述机制进行组合：其它用户输入机制和跟踪声音的角度方向的机制和/或主动地或被动的跟踪目标的位置的机制，使用机器视觉的机制，或上述机制的组合，其中被跟踪的目标可包括操纵到系统的反馈的辅助的控制或按钮，且这样的反馈可包括但是不限于来自光源的光发射、声音失真装置、或其它合适的发送器和调制器以及按钮、压板等其可影响同一内容的传送或调制、编码状态和/或传送来自或去往被跟踪的装置的命令

【111】本发明可以以其它计算机系统配置实现，包括游戏控制台、游戏计算机或计算装置、手持装置、微处理器系统、基于微处理器或可编程的消费电子设备、小型计算机、大型计算机等。本发明也可在分布式计算环境中实现，其中由通过网络链接的远程处理装置来执行任务。例如，也可使用在线游戏系统和软件。

【112】通过上述实施例，应该理解本发明可采用包括存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要物理量的物理操纵的操作。通常，虽然不是必要的，但这些量采用能够被存储、传输、组合、比较和其它处理的电或磁信号的形式。而且，所执行的处理经常以诸如产生、识别、确定或比较的术语来被提及。

【113】此处所述的构成本发明的部分的任意操作是有用的机器操作。本发明还涉及用于执行这些操作的装置或设备。设备可被具体的构造以用于所需的目的，例如上面所述的传送网络，或者其可以是由存储在计算机中的计算机程序选择性激活或配置的通用计算机。更具体地，各种通用机器可与根据此处的教导所写的计算机程序一起被采用，或更方便地构建更专用的设备以执行所需的操作。

【114】本发明也可以以计算机可读介质上的计算机可读代码来实现。计算机可读介质是能够存储数据的任一数据存储装置，其之后能被计算机系统读取。计算机可读介质的实例包括：硬盘驱动器、网络附属存储器(NAS)、只读存储器、随机存取存储器、基于闪烁的存储器、CD-ROM、CD-R、CD-RW、DVD、磁带和其它光学和非光学数据存储装置。计算机可读介质也可分布在网络耦合的计算机系统上，以使计算机可读代码以分布式被存储和执行。

【115】再进一步的，虽然已经讨论的传动涉及到电子游戏，应该理解传动可被应用到任意的计算机控制的环境。在一个实例中，传动可与允许交互、选择或信息输入的计算机输入装置相关。在不同的输入或交互操作期间应用不同的传动能够允许在已具有预配置的控制设置的环境中通常不能发现的其它的操作度。因此，此处限定的传动的实施例应该被给与广范的应用。

【116】一旦确定传动，传动可被应用到姿态，其可与计算机程序通信。如上所述，通过图像分析、惯性分析或听觉分析可完成姿态或输入装置的跟踪。姿态的实例包括但是不限于投掷诸如球的目标、挥动诸如棒或高尔夫球棒的目标、抽动手泵、打开或关闭门或窗、旋转方向盘或其它交通工具控制、诸如拳击的武术移动、打磨运动、上蜡除蜡(wax-on wax-off)、粉刷房子、摇动、振动、翻滚、足球投掷、棒球投掷、旋转把手运动、3D/2D鼠标(MOUSE)运动、卷动运动、已知形态的运动、任意可记录的运动、沿任意矢量向后和向前的运动(即以空间中某任意随机方向给轮胎打气)、沿路径的运动、具有精确的停止和开始时间的运动、任意基于时间的在噪声层、样条内可被记录、跟踪和重复的用户操纵等。这些姿态中的每个可从路径数据被预记录并作为基于时间的模型来存储。因此，根据由用户或程序设置的传动的度，传动可被应用到这些姿态中的任一个。

【117】虽然为了理解清楚的目的已经详细的描述了前述发明，但应该明白在后附的权利要求的范围内可实施某改变和修改。因此，本实施例被认为是描述性的而非限制性的，且本发明并不限于此处给出的细节，可在后附的权利要求的范围和等价物内做出修改。

Claims (93)

1.一种用于与计算机游戏系统交互连接的方法，其中所述计算机游戏系统包括用于捕获图像数据的视频捕获装置，包括：

显示输入装置到所述视频捕获装置，所述输入装置包括多条光以传送输入装置的位置，所述输入装置的位置由所述计算机游戏系统基于所捕获的图像数据的分析进行解析；

确定将被所述计算机游戏系统执行的动作，所述动作是响应如所述所捕获的图像数据中所检测的所述输入装置的位置中的运动；和

建立所述动作与所述输入装置的位置的运动之间的传动；

其中所述传动建立所述输入装置的位置的运动和所述动作之间的比率。

2.如权利要求1所述的用于与计算机游戏系统交互连接的方法，其中在由所述视频捕获装置所捕获的空间体积内检测所述输入装置的位置的运动。

3.如权利要求1所述的用于与计算机游戏系统交互连接的方法，进一步包括：

连续分析所述所捕获的图像数据以识别所述输入装置的位置的运动；

基于所识别的所述输入装置的位置的运动连续更新动作；并且

确定所述传动是否已经被更新。

4.如权利要求3所述的用于与计算机游戏系统交互连接的方法，进一步包括：

如果确定所述传动已经被更新，在下一个动作之前或随时间逐渐的，应用所更新的传动，同时恢复动作的处理。

5.如权利要求3所述的用于与计算机游戏系统交互连接的方法，其中当所述传动已经被更新，所述计算机游戏系统使用所更新的传动以影响当前的动作。

6.如权利要求1所述的用于与计算机游戏系统交互连接的方法，其中所述多条光被限定来自发光二极管。

7.如权利要求1所述的用于与计算机游戏系统交互连接的方法，其中所述多条光的状态以所述多条光的开/关组合的设置来表示。

8.如权利要求1所述的用于与计算机游戏系统交互连接的方法，其中调制所述多条光使得能够跟踪所述输入装置，以识别所述位置的运动。

9.如权利要求1所述的用于与计算机游戏系统交互连接的方法，其中分析所述输入装置中的运动以识别所述输入装置的坐标信息并且将所述坐标信息转换为应用到所述动作的矢量数据，以及所述动作包括由计算机游戏系统执行的计算机游戏的目标的运动量的表示。

10.如权利要求9所述的用于与计算机游戏系统交互连接的方法，其中响应所述传动的更新依比例确定所述矢量数据。

11.如权利要求9所述的用于与计算机游戏系统交互连接的方法，其中通过所述矢量数据乘以由所述传动限定的传动量来依比例确定所述矢量数据。

12.包括用于与计算机游戏系统交互连接的程序指令的计算机可读介质，其中所述计算机游戏系统包括用于捕获图像数据的视频捕获装置，所述计算机可读介质包括：

程序指令，用于检测输入装置到所述视频捕获装置的显示，所述输入装置传送输入装置的位置和通信数据，所述输入装置的位置和通信数据将被所述计算机游戏系统基于所捕获的图像数据的分析进行解析；

程序指令，用于限定将被所述计算机游戏系统执行的计算机游戏的目标的运动，所述目标的所述运动被映射到如所述所捕获的图像数据中所检测的所述输入装置的位置的运动；和

程序指令，用于建立所述计算机游戏的目标的运动与所述输入装置的位置的运动之间的传动，所述传动被配置为建立所述输入装置的位置中的运动和所述目标的运动之间的用户可调比率。

13.如权利要求12所述的计算机可读介质，进一步包括：

程序指令，用于至少周期性的分析所捕获的图像数据以识别所述输入装置的位置的运动；

程序指令，用于至少周期性的基于所识别的所述输入装置的位置的运动来映射所述运动到所述目标；和

程序指令，用于确定在映射期间所述传动是否已经调整。

14.如权利要求12所述的计算机可读介质，进一步包括：

程序指令，用于确定在映射期间所述传动已经调整，则在目标的下一次运动之前、在目标的当前运动期间或在目标的当前运动期间逐渐的，应用所调整的传动。

15.一种用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的系统，包括：

计算系统，

被耦合到所述计算系统的图像捕获装置；

显示器，所述显示器接收来自所述计算系统的输入；和

输入装置，用于与所述计算系统执行的计算机程序连接，所述输入装置具有用于建立所述输入装置的运动和所映射到的被应用到目标上的动作之间的比率的传动控制，所述目标由所述计算机程序限定并由所述计算系统执行，以及所述输入装置的运动被所述图像捕获装置识别且当被应用到所述目标上时所述动作以由所述输入装置的传动控制设置的显著的传动值来被示意在所述显示器上。

16.如权利要求15所述的系统，其中所述传动值可在与计算机程序的目标交互之前、期间或之后设置。

17.如权利要求15所述的系统，其中所述计算机程序是交互的应用。

18.如权利要求17所述的系统，其中所述交互的应用是电子游戏。

19.如权利要求17所述的系统，其中所述输入装置是控制器或手持目标。

20.如权利要求19所述的系统，其中所述控制器或手持目标包括用于检测位置的发光二极管。

21.如权利要求19所述的系统，其中所述控制器或手持目标包括用于传送声音或超声信号以导致所述计算系统触发动作的扬声器。

22.如权利要求19所述的系统，其中所述控制器或手持目标包括用于接收来自用户的输入以与计算系统通信来由计算机程序触发动作的麦克风。

23.一种用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的设备，所述设备包括：

输入装置，用于与计算系统执行的计算机程序连接，所述输入装置具有用于建立所述输入装置的运动数据和所映射到的被计算机程序应用的动作之间成比例的值的传动控制。

24.如权利要求23所述的设备，其中所述传动可在与计算机程序交互之前、期间或之后设置。

25.如权利要求23所述的设备，其中所述输入装置是包括用于检测位置的发光二极管的控制器或手持目标。

26.如权利要求25所述的设备，其中所述控制器或手持目标包括用于传送声音或超声信号以导致所述计算系统触发动作的扬声器。

27.如权利要求25所述的设备，其中所述控制器或手持目标包括用于接收来自用户的输入以与计算系统通信来由计算机程序触发动作的麦克风。

28.一种用于与计算机游戏系统交互连接的方法，包括：

提供输入装置，所述输入装置传送将被所述计算机游戏系统解析的惯性数据；

识别将由所述计算机游戏系统执行的动作，所述动作被映射到由所述输入装置提供的惯性数据；和

应用由所述计算机游戏系统执行的动作和从所述输入装置接收的所述惯性数据之间的传动；

其中所述传动依比例调整以影响由所述计算机游戏系统执行的动作。

29.如权利要求28所述的用于与计算机游戏系统交互连接的方法，其中所述动作包括下列之一：(a)设置由所述计算机游戏系统执行的计算机游戏的目标的运动量，(b)设置执行过程的变量，(a)设置影响声音或振动的过程的变化率，或(c)设置图形目标的运动中的变化率。

30.如权利要求28所述的用于与计算机游戏系统交互连接的方法，进一步包括：

至少周期的分析所述惯性数据；

至少周期的重新应用具有由传动的更新而改变的动作。

31.如权利要求30所述的用于与计算机游戏系统交互连接的方法，进一步包括：

如果确定所述传动已经被更新，在下一个动作之前或随时间逐渐的，应用所更新的传动，同时恢复动作的处理。

32.如权利要求30所述的用于与计算机游戏系统交互连接的方法，其中当所述传动已经被调整，所调整的传动(a)逐步的，(b)逐渐的或(c)平滑的被应用，以影响所述动作。

33.如权利要求28所述的用于与计算机游戏系统交互连接的方法，其中分析所述惯性数据以识别所述输入装置的坐标信息，且通过映射到被应用到动作的矢量数据来转换所述坐标信息。

34.如权利要求33所述的用于与计算机游戏系统交互连接的方法，其中响应传动的调整依比例确定所述矢量数据。

35.如权利要求33所述的用于与计算机游戏系统交互连接的方法，其中通过将所述矢量数据乘以由所述传动限定的传动量依比例确定所述矢量数据。

36.如权利要求33所述的用于与计算机游戏系统交互连接的方法，其中所述输入装置包括用于检测所述输入装置的位置和通信数据的多条光。

37.一种用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，包括：

计算系统，

被耦合到所述计算系统或由所述计算系统执行的惯性检测分析器；

输入装置，用于与所述计算系统执行的计算机程序连接，所述输入装置具有用于建立在所述输入装置处产生的惯性数据和由所述惯性检测分析器所分析的计算机程序应用的动作之间的比例的传动控制。

38.如权利要求37所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述传动可在与计算机程序的目标交互之前、期间或之后设置。

39.如权利要求37所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述计算机程序是交互的应用。

40.如权利要求39所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述交互的应用是电子游戏。

41.如权利要求39所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述输入装置是控制器或手持目标。

42.如权利要求43所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述控制器或手持目标包括用于检测位置的发光二极管。

43.如权利要求41所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述控制器或手持目标包括用于传送声音或超声信号以导致所述计算系统触发动作的扬声器。

44.如权利要求41所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述控制器或手持目标包括用于接收来自用户的输入以与计算系统通信来由计算机程序触发动作的麦克风。

45.一种用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的设备，所述设备包括：

输入装置，用于与计算系统执行的计算机程序连接，所述输入装置具有用于建立所述输入装置的惯性数据和所映射到的由计算系统应用的动作之间的比例的传动控制。

46.如权利要求45所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述传动可在与计算机程序交互之前、期间或之后设置。

47.如权利要求45所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述输入装置是包括用于检测位置的发光二极管的控制器或手持目标。

48.如权利要求47所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述控制器或手持目标包括用于传送声音或超声信号以导致所述计算系统触发动作的扬声器。

49.如权利要求47所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述控制器或手持目标包括用于接收来自用户的输入以与计算系统通信来由计算机程序触发动作的麦克风。

50.一种用于与计算机游戏系统交互连接的方法，包括：

提供输入装置，所述输入装置传送将被计算机游戏系统解析的听觉数据；

识别将由所述计算机游戏系统执行的动作，所述动作被映射到由所述输入装置提供的听觉数据；和

应用由所述计算机游戏系统执行的动作和从所述输入装置接收的所述听觉数据之间的传动；

其中所述传动对调整进行标定以影响由所述计算机游戏系统执行的动作。

51.如权利要求50所述的用于与计算机游戏系统交互连接的方法，其中所述动作包括下列之一：(a)设置由所述计算机游戏系统执行的计算机游戏的目标的运动量，(b)设置执行过程的变量，(a)设置影响声音或振动的过程的变化率，或(c)设置图形目标的运动中的变化率。

52.如权利要求50所述的用于与计算机游戏系统交互连接的方法，进一步包括：

至少周期的分析听觉数据；

至少周期的重新应用具有由传动的更新而改变的动作。

53.如权利要求52所述的用于与计算机游戏系统交互连接的方法，进一步包括：

如果确定所述传动已经被更新，在下一个动作之前或随时间逐渐的，应用所更新的传动，同时恢复动作的处理。

54.如权利要求52所述的用于与计算机游戏系统交互连接的方法，其中当所述传动已经被调整，所调整的传动(a)逐步的，(b)逐渐的或(c)平滑的被应用，以影响所述动作。

55.如权利要求50所述的用于与计算机游戏系统交互连接的方法，其中分析所述听觉数据以识别所述输入装置的坐标信息且通过映射到被应用到动作的矢量数据来转换所述坐标信息。

56.如权利要求55所述的用于与计算机游戏系统交互连接的方法，其中响应所述传动的调整依比例确定所述矢量数据。

57.如权利要求55所述的用于与计算机游戏系统交互连接的方法，其中通过将所述矢量数据乘以由所述传动限定的传动量依比例确定所述矢量数据。

58.如权利要求55所述的用于与计算机游戏系统交互连接的方法，其中所述输入装置包括用于检测所述输入装置的位置和通信数据的多条光。

59.一种用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，包括：

计算系统，

被耦合到所述计算系统或由所述计算系统执行的听觉检测分析器；

输入装置，用于与所述计算系统执行的计算机程序连接，所述输入装置具有用于建立在所述输入装置处产生的听觉数据和由所述听觉检测分析器所分析的计算机程序应用的动作之间的比例的传动控制。

60.如权利要求59所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述传动可在与计算机程序的目标交互之前、期间或之后设置。

61.如权利要求59所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述计算机程序是交互的应用。

62.如权利要求61所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述交互的应用是电子游戏。

63.如权利要求61所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述输入装置是控制器或手持目标。

64.如权利要求63所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述控制器或手持目标包括用于检测位置的发光二极管。

65.如权利要求63所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述控制器或手持目标包括用于传送声音或超声信号以导致所述计算系统触发动作的扬声器。

66.如权利要求63所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述控制器或手持目标包括用于接收来自用户的输入以与计算系统通信来由计算机程序触发动作的麦克风。

67.一种用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的设备，所述设备包括：

输入装置，用于与计算系统执行的计算机程序连接，所述输入装置具有用于建立所述输入装置的听觉数据和所映射到的由计算系统应用的动作之间的比例的传动控制。

68.如权利要求67所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述传动可在与计算机程序交互之前、期间或之后设置。

69.如权利要求67所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述输入装置是包括用于检测位置的发光二极管的控制器或手持目标。

70.如权利要求69所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述控制器或手持目标包括用于传送声音或超声信号以导致所述计算系统触发动作的扬声器。

71.如权利要求69所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述控制器或手持目标包括用于接收来自用户的输入以与计算系统通信来由计算机程序触发动作的麦克风。

72.一种用于与计算机游戏系统交互连接的方法，包括：

提供输入装置，所述输入装置传送将被计算机游戏系统解析的多通道混合输入数据；

识别将由所述计算机游戏系统执行的动作，所述动作被映射到由所述输入装置提供的多通道混合输入数据；和

应用由所述计算机游戏系统执行的动作和从所述输入装置接收的所述多通道混合输入数据之间的传动；

其中所述传动对调整进行标定以影响由所述计算机游戏系统执行的动作。

73.如权利要求72所述的用于与计算机游戏系统交互连接的方法，其中所述动作包括下列之一：(a)设置由所述计算机游戏系统执行的计算机游戏的目标的运动量，(b)设置执行过程的变量，(a)设置影响声音或振动的过程的变化率，或(c)设置图形目标的运动的变化率。

74.如权利要求72所述的用于与计算机游戏系统交互连接的方法，进一步包括：

至少周期的分析多通道混合输入数据；

至少周期的重新应用具有由传动更新的变化的动作。

75.如权利要求74所述的用于与计算机游戏系统交互连接的方法，进一步包括：

如果确定所述传动已经被更新，在下一个动作之前或随时间逐渐的，应用所更新的传动，同时恢复动作的处理。

76.如权利要求74所述的用于与计算机游戏系统交互连接的方法，其中当所述传动已经被调整，所调整的传动(a)逐步的，(b)逐渐的或(c)平滑的被应用，以影响所述动作。

77.如权利要求72所述的用于与计算机游戏系统交互连接的方法，其中分析所述多通道混合输入数据以识别所述输入装置的坐标信息且通过映射到被应用到动作的矢量数据来转换所述坐标信息。

78.如权利要求77所述的用于与计算机游戏系统交互连接的方法，其中响应所述传动的调整，依比例确定所述矢量数据。

79.如权利要求77所述的用于与计算机游戏系统交互连接的方法，其中通过将所述矢量数据乘以由所述传动限定的传动量，依比例确定所述矢量数据。

80.如权利要求77所述的用于与计算机游戏系统交互连接的方法，其中所述输入装置包括用于检测所述输入装置的位置和通信数据的多条光。

81.一种用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，包括：

计算系统，

被耦合到所述计算系统或由所述计算系统执行的多通道混合输入检测分析器；

输入装置，用于与所述计算系统执行的计算机程序连接，所述输入装置具有用于建立在所述输入装置处产生的多通道混合输入数据和由所述多通道混合输入检测分析器所分析的计算机程序应用的动作之间的比例的传动控制。

82.如权利要求81所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述传动可在与计算机程序的目标交互之前、期间或之后设置。

83.如权利要求81所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述计算机程序是交互的应用。

84.如权利要求83所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述交互的应用是电子游戏。

85.如权利要求83所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述输入装置是控制器或手持目标。

86.如权利要求85所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述控制器或手持目标包括用于检测位置的发光二极管。

87.如权利要求85所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述控制器或手持目标包括用于传送声音或超声信号以导致所述计算系统触发动作的扬声器。

88.如权利要求85所述的用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的系统，其中所述控制器或手持目标包括用于接收来自用户的输入以与计算系统通信来由计算机程序触发动作的麦克风。

89.一种用于允许用户动作和由计算机程序执行的动作之间的动态用户交互的设备，所述设备包括：

输入装置，用于与计算系统执行的计算机程序连接，所述输入装置具有用于建立所述输入装置的多通道混合输入数据和所映射到的由计算系统应用的动作之间的比例的传动控制。

90.如权利要求89所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述传动可在与计算机程序交互之前、期间或之后设置。

91.如权利要求89所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述输入装置是包括用于检测位置的发光二极管的控制器或手持目标。

92.如权利要求91所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述控制器或手持目标包括用于传送声音或超声信号以导致所述计算系统触发动作的扬声器。

93.如权利要求91所述的用于允许用户动作和由计算机程序的目标执行的动作之间的动态用户交互的设备，其中所述控制器或手持目标包括用于接收来自用户的输入以与计算系统通信来由计算机程序触发动作的麦克风。

Images