CN102576257A

CN102576257A - 基站移动检测和补偿

Info

Publication number: CN102576257A
Application number: CN2010800303856A
Authority: CN
Inventors: G·M·扎勒维斯基
Original assignee: Sony Computer Entertainment America LLC
Current assignee: Sony Interactive Entertainment LLC
Priority date: 2009-05-08
Filing date: 2010-03-12
Publication date: 2012-07-11
Anticipated expiration: 2030-03-12
Also published as: JP5575228B2; EP2427811B1; WO2010129093A1; CN102576257B; JP2012525917A; US20100285883A1; EP2427811A1; US8142288B2

Abstract

提供了用于处理从与在计算机处执行的计算机程序对接的输入装置接收的交互通信的方法和系统。该方法包括：在与计算机对接的基站处接收来自第一输入装置和第二输入装置的输入数据。第一和第二输入装置能够独立于彼此地移动，以与计算机程序交互地对接。该方法通过基站来跟踪第一和第二输入装置的位置，并且识别第一和第二输入装置的跟踪位置的近乎相同的位置改变。该方法然后在识别出近乎相同的位置改变时设置标记，标记被计算机程序处理，以设置在与计算机程序的交互期间要采取的行为。在一个示例中，基站包括可以确认移动的惯性传感器。如果确认了移动，则处理标记以采取如在计算机程序中限定的行为。

Description

基站移动检测和补偿

背景技术

视频游戏业多年以来已经出现许多改变。随着计算能力的扩展，视频游戏的开发者已经同样建立了利用计算能力的这些增强的游戏软件。为此，视频游戏开发者一直在编码包含复杂操作和数学运算的游戏，以产生很真实的游戏体验。

示例游戏平台可以是

和

其中每一个以游戏控制台的形式被销售。如所公知，游戏控制台被设计来连接监控器(通常为电视机)，并且通过手持控制器来使能用户交互。游戏控制台被设计为具有专用处理硬件，包括：CPU；图形合成器，用于处理密集的图形操作；向量单元，用于执行几何变换；以及其他粘合硬件、固件和软件。游戏控制台还被设计为具有光盘托盘，该光盘托盘用于容纳游戏光盘，以用于通过游戏控制台本地玩游戏。在线游戏也是可能的，其中，用户可以通过因特网与其他用户对抗或一起地玩游戏。随着游戏复杂度继续激起玩家的兴趣，游戏和硬件制造商继续创新以使能另外的交互和计算机程序。

计算机游戏业中的一种增长趋势是开发增加用户和游戏系统之间的交互的游戏。用于实现较为丰富的交互体验的一种方式是使用无线游戏控制器，其移动被游戏系统跟踪，以便跟踪玩家的移动并且使用这些移动来作为游戏的输入。一般而言，手势输入指的是使得诸如计算系统、视频游戏控制台、智能设备等的电子装置对于由跟踪物体的摄像机捕获的某些手势作出反应。

然而，用于跟踪用户输入的摄像机和其他电子装置的布置会是困难的。对于较大的电视机和监控器，要求用户远离电视机站立以获取整个画面。因为控制台一般接近电视机，所以这导致降低了传感器性能。类似地，当用户移动得远离相机时，用于跟踪和深度感测的摄像机的性能也降低了。

就是在这种环境中，形成了本发明的实施例。

发明内容

广义而言，本发明对于向游戏控制台传送用户输入所使用的基站的移动提供了近乎实时的补偿。在一些实施例中，基站进一步被配置来捕获和处理图像数据，以便提取关于与游戏控制台相关联的控制器的位置的深度数据。

提供了用于处理从与在计算机执行的计算机程序对接的输入装置接收的交互通信的方法。一种方法包括：在与计算机对接的基站处接收来自第一输入装置和第二输入装置的输入数据。所述第一和第二输入装置能够彼此独立地移动，以与计算机程序交互地对接。所述方法通过所述基站来跟踪所述第一和第二输入装置的位置，并且识别所述第一和第二输入装置的跟踪位置的近乎相同的位置改变。所述方法然后在识别出所述近乎相同的位置改变时设置标记。所述标记被所述计算机程序处理，以设置在与所述计算机程序的交互期间要采取的行为。在一个示例中，所述基站包括可以确认移动的惯性传感器。如果确认了移动，则处理所述标记以采取如在所述计算机程序中限定的行为。

在一个实施例中，公开了一种用于当与在游戏控制台执行并且在屏幕上显示的计算机游戏对接时检测交互通信的方法。所述方法包括从第一输入装置和第二输入装置接收输入和位置的操作。所述第一和第二输入装置被相应的第一和第二用户独立的移动，以与所述计算机游戏交互地对接。其中，基站从所述第一和第二输入装置接收所述输入和位置，并且无线地向所述游戏控制台对接所述输入和位置。所述方法进一步包括操作：如果检测到所述第一和第二输入装置两者近乎相同的位置改变，则校正如在显示所述计算机游戏的交互的屏幕上所示的所述第一和第二输入装置的位置。

在另一个实施例中，公开了一种用于提供视频游戏的交互控制的系统。所述系统包括游戏控制台和基站，所述基站位于与所述游戏控制台隔开的位置。所述基站具有通信电路，所述通信电路允许在所述基站和所述游戏控制台之间的对接。所述基站进一步具有摄像机，用于捕获游戏区域内的图像数据。所述系统进一步包括控制器，所述控制器与所述基站和所述游戏控制台之一或两者对接。其中，对包括所述控制器的图像数据的分析用于确定所述控制器在所述游戏区域内的移动。所述控制器的移动与由所述游戏控制台对于所述视频游戏的交互控制相关。

在又一个实施例中，公开了一种用于与游戏控制台对接以控制视频游戏的系统。所述系统包括游戏控制台和与所述游戏控制台对接的基站。所述基站进一步包括处理电路，所述处理电路被配置为在所述基站和所述游戏控制台之间发送和接收数据。所述基站进一步被配置为处理位置数据。所述系统进一步包括控制器，所述控制器与所述基站对接。所述控制器包括用于检测所述控制器的移动数据并且向所述基站发送所述移动数据的硬件。所述基站处理所述控制器的所述位置数据，所述位置数据被从所述基站转发到所述游戏控制台以确定所述控制器相对于所述基站的相对位置，其中，所述控制器的相对位置的改变便于与所述视频游戏的交互控制。

附图说明

通过下面结合附图的说明，可以最佳地理解本发明与其另外的优点。

图1是根据本发明一个实施例的包括基站、操纵控制器的用户以及游戏控制台和监控器的场景的示例图示。

图2A是根据本发明一个实施例的控制器的示例性简化图示。

图2B是根据本发明的一个实施例的控制器的另一个示例图示。

图3A和图3B是根据本发明的实施例的基站的示例。

图3B-1、3B-2、3B-3、3B-4和3B-5图示了根据本发明实施例的具有多个相机位置的基站的替代实施例。

图3C是根据本发明一个实施例的基站硬件的示例图示。

图4是根据本发明一个实施例的屏幕的示例性俯视图。

图5示出根据本发明一个实施例的从距离测量到绝对深度测量的转换。

图6A和图6B图示根据本发明一个实施例的如何检测基站的水平移动。

图6C图示根据本发明一个实施例的视频游戏的交互控制，而图6D图示了根据本发明一个实施例的使用在基站内的相机捕获的交互控制的图像数据。

图7是根据本发明一个实施例的在娱乐系统中的不同元件的框图。

图8图示根据本发明一个实施例的可以用于确定控制器位置的硬件和用户界面。

图9图示根据本发明一个实施例的可以用于处理指令的附加硬件。

图10是根据本发明一个实施例的场景A至场景E的示例图示，其中，相应的用户A至用户E与经由互联网连接到服务器处理的游戏客户机交互。

具体实施方式

公开了用于处理来自输入装置的交互通信的方法和系统，该输入装置与计算机程序对接。该方法包括：在与计算机对接的基站处接收来自第一输入装置和第二输入装置的输入数据。基站可以是有线或无线的。输入装置可以被一个用户拿着，其中，每只手拿着一个输入装置，或一个输入装置可以被两个或更多的独立用户拿着。第一和第二输入装置能够独立于彼此移动以与计算机程序交互地对接。

在一个实施例中，计算机程序是计算机游戏，但是在其他实施例中，计算机程序可以是通常的办公程序、娱乐程序或专用程序。根据限定的实施例，该方法通过基站跟踪第一和第二输入装置的位置。例如，输入装置与基站进行通信以提供它们的位置或提供用于确定它们的位置的数据。在计算机从基站接收到位置数据、继而从输入装置接收到数据时，也可以在计算机(例如，游戏控制台)处对输入装置的位置进行处理。在任何一个实施例中，位置的跟踪是必须的，以识别在第一和第二输入装置的跟踪位置的近乎相同的位置改变。

该方法被配置来在识别到近乎相同的位置改变时设置标记。该标记由计算机程序处理，以设置在与计算机程序的交互期间要采取的行为。在一个示例中，基站包括可以确认移动的惯性传感器。如果确认移动，则处理标记以采取在计算机程序(或游戏程序)内限定的行为。

在其他实施例中，在基站内设置相机，以捕获图像数据，该图像数据继而用于识别输入装置的位置。在其他实施例中，在输入装置和基站之间的超声波通信用于确定输入装置的位置。现在参考附图来描述各个示例。

图1是根据本发明的一个实施例的场景100的示例图示，场景100包括：基站101；用于操纵控制器102的用户104；以及，游戏控制台108和监控器106。监控器106显示从游戏控制台108输出的视频。用户104使用控制器102和基站101经由在监控器106上显示的视频来与游戏控制台108交互。在一个实施例中，监控器106是电视机，其也能够再现从游戏控制台108输出的音频。在其他实施例中，使用多个扬声器来再现从游戏控制台108输出的音频，以产生沉浸的多媒体体验。基站101使用游戏区域110来在游戏控制台108和控制器102之间提供通信。

基站的使用限定了远离游戏控制台108游戏区域110。建立远离游戏控制台108的游戏区域110的一些优点包括但是不限于：使得基站101内的传感器接近用户104。基站为可以向控制器(能够在场景100中移动)传输和发送数据以及传输和发送来自该控制器的数据的传感器提供移动平台。基站的移动性允许传感器从控制台移开并且接近用户和相关联的控制器。基站与控制器接近允许改善对控制器移动的检测并且提高交互性。在一个实施例中，基站向用户104提供视觉和听觉反馈，并且也用于确定控制器102在场景100内的位置。

在一个实施例中，控制器102使用无线电通信协议与基站101进行通信，该无线电通信协议例如但不限于蓝牙或在IEEE 802.11规范内限定的协议之一。在另一个实施例中，使用红外线或红外线和无线电通信协议的组合来执行在基站101和控制器102之间的通信。虽然图1A仅示出具有控制器102的单个用户104，但是基站101能够接收和处理来自多个用户的多个控制器的用户输入。基站101可以使用类似的无线通信协议来与游戏控制台108进行通信。另外，在一些实施例中，可以使用有线连接来实现在基站101和游戏控制台108之间的通信。

对于一些实施例，基站101接收向控制器102的用户104输入。在基站内的计算机硬件处理用户输入，然后将用户输入转发到游戏控制台108。在其他实施例中，基站101不包括计算机硬件，而将用户输入从基站101转发到游戏控制台108。在其他实施例中，基站101包括计算机硬件，该计算机硬件对用户输入进行一些处理，然后将用户输入转发到游戏控制台108。在一个实施例中，基站101可以跟踪场景100内的控制器102。

图2A是根据本发明的一个实施例的控制器102的示例性简化图示。控制器102包括与控制器102相关联的硬件112。硬件112检测控制器在场景内的移动。例如，在一个实施例中，硬件112检测到控制器102在三维空间中的平移(translation)。类似地，硬件112也可以检测控制器102的滚动、倾斜和摇摆。在一个实施例中，硬件112包括三个陀螺仪、三个加速计和三个磁强计。在这样的实施例中，加速计提供重力的方向并且提供用于倾斜和滚动的绝对基准。类似地，磁强计提供了用于摇摆的绝对基准。

从陀螺仪、加速计和磁强计的组合收集的数据允许确定控制器102的相对位置。在控制器102的其他实施例中，硬件可以使用传感器的不同组合。所述的陀螺仪、加速计和磁强计的特定组合不应当被解释为限制，因为其他组合是可能的。在所示的实施例中，硬件112被图示为嵌入或集成在控制器102内。然而，在其他实施例中，使用模块附接部分将硬件112加到物体，以使能物体的移动检测。

图2B是根据本发明一个实施例的控制器102的另一个示例图示。控制器102包括硬件112，并且进一步包括超声波声学腔150以及超声波发送器154和超声波接收器152。超声波发送器和发射器的实现使得能够使用超声波回波定位来确定控制器的另外的位置定位。实现超声波发射器和接收器的控制器102的一个实施例被配置有适当的外部部件，以使能发射器和接收器的适当的功能。

在图2A和2B中所示的每一个实施例中，控制器102进一步包括无线电硬件，用于使能与基站的通信。该无线电硬件允许控制器102与基站相关联。在其中多个控制器与基站相关联的实施例中，各个控制器可以使用不同的射频来保证与基站的可靠通信。可以使用其他技术来区分从多个控制器到基站的信号，并且所提供的具体示例不应当被解释为限制。无线电硬件也可以将数据从硬件112发送到基站101。

图3A和图3B是根据本发明实施例的基站101的示例。基站101是与游戏控制台相关联的便携装置，游戏控制台包括用于检测控制器的移动的硬件或传感器。有益的是，在基站101内包括移动检测硬件，因为可以将该硬件布置得接近用户及其相应的控制器。游戏控制台经常被布置在可以与用户操纵控制器的位置相距较长距离的架子或机架上。将游戏控制台与基站隔开允许移动检测传感器更接近控制器。传感器与控制器更接近改善了移动检测分辨率，并且改善的移动检测可以改善用户交互性并且提供更令人满意的游戏体验。另外，在基站与游戏控制台隔开的情况下，基站可以作为向用户提供视觉和听觉反馈的另一个区域。

在图3A中，基站101被示出为在角落具有元件200的基本箱。在这样的实施例中，基站101被布置在地面或在游戏控制台和用户之间的某个表面上。在一个实施例中，元件200由诸如磨砂或透明玻璃或者不透明塑料构成。这允许元件200与光相结合来作为光管以便向用户提供视觉反馈。在其他实施例中，元件200是小背光LCD阵列，以提供视觉反馈。在一些实施例中，光和元件200的组合基于在玩游戏期间出现的事件来提供视觉反馈。在一些实施例中，元件200基于用户相对于基站的位置来提供视觉反馈。在图3A中图示的实施例不应当被看作是对于元件200的方位和布置的限制。在其他实施例中，元件200可以形成围绕基站的环。在其他实施例中，可以以图案来布置元件200，或基站101的整个侧面可以是元件200。

图3B是基站101的另一个示例性实施例。这个实施例也包括元件200，用于向用户提供视觉反馈。元件200被包括在球体202上，球体202被安装到向底座206安装的臂204上。在图3B中图示的实施例不应当被解释为限制性的，并且可以将球体202替换为其他三维形状。在各个实施例中，臂204可以是伸缩式的，因此可以调整在底座206上的球体202的高度。调整球体202的高度的能力可以帮助校准参考平面。在其他实施例中，球体202被安装到在万向支架上的臂204，以便允许用户调整在臂204的端部上的球体202的方位。

在图3A和图3B中所示的基站101的实施例中，在基站101内的电路可以基于来自硬件的数据来建立参考平面，该硬件包括但是不限于加速计、陀螺仪和磁强计。通过参考平面，可以基于来自与每一个控制器相关联的硬件的数据测量结果来确定控制器相对于参考平面的移动。在基站101的其他实施例中，用户交互可以帮助使用灯光来建立参考平面。例如，在包括球体202的实施例中，可以使用球体202的高度和方位来建立可以用于确定与基站相关联的控制器的相对位置的参考平面。

参考图3A和图3B，在基站101的两个图示的实施例中，元件200可以包括捕获游戏区域内的一个或多个控制器的图像的一个或多个相机，以帮助确定该一个或多个控制器的相对移动。一个或多个相机在基站101内的集成不限于在元件200内。图3B-1和3B-2图示根据本发明的实施例的、具有多个相机位置的基站的替代实施例。图3B-1包括位于基站101顶部上的圆顶中的相机226。相机226以一定间隔隔开，以捕获在整个基站101周围的图像数据。在图3B-2中，相机226被示出为安装在元件200外部的区域中。图3B-3、3B-4和3B-5是基站101的替代实施例，它们图示了未在元件200内的相机226的各个位置。

另外，在图3B中所示的实施例中，调整球体202的高度可以使得在基站101内安装的一个或多个相机能够被定位来监控游戏区域。基站101也包括基站硬件208，基站硬件208包括另外的传感器和处理器，用于实现基站的操作。

图3C是根据本发明的一个实施例的基站硬件208的示例性图示。基站硬件208包括：电池232；控制器位置处理器210，其与无线电装置212进行通信；声音处理器214；图像处理器216；超声波处理器238，其耦合到超声波发送器240和超声波接收器242；以及光控制器218。基站硬件208进一步包括基站位置处理器234，其与移动检测硬件236和无线电装置212进行通信。

电池232是选用的，其用在基站的无线实施例中。在其他实施例中，基站经由线缆被栓到游戏控制台。该线缆包括多个导体，以允许基站进行通信并且从游戏控制台获取电能。在一个实施例中，控制器位置处理器210和基站位置处理器234是定制的专用集成电路(ASIC)，而声音处理器214、图像处理器216和超声波处理器238是数字信号处理器(DSP)。

无线电装置212连接到天线220，并且在基站的无线实施例中，无线电装置212向游戏控制台发送数据以及从游戏控制台接收数据。无线电装置212也被配置来向任何相关联的控制器发送数据，并且从任何相关联的控制器接收数据。从控制器接收的数据包括来自硬件的数据。控制器数据被发送到控制器位置处理器210，并且用于帮助确定控制器相对于基站的位置。在各个实施例中，无线电装置212可以包括依赖于标准无线通信协议的单个无线电装置，诸如蓝牙。在其他实施例中，无线电装置212可以包括在不同的无线通信协议上运行的多个无线电装置。例如，在基站的无线实施例中，可以在基站和游戏控制台之间使用Wi-Fi通信，而在基站和任何相关联的控制器之间可以使用篮牙。

在一些实施例中，基站包括连接到声音处理器的扬声器224和麦克风222。在其他实施例中，麦克风222代表以麦克风阵列布置的多个麦克风。定向麦克风阵列的使用可以用于帮助改善游戏的玩法。与语音识别软件组合的定向麦克风可以使得用户发出语音命令以控制游戏的玩法。扬声器224可以表示放置在基站内的多个扬声器。扬声器224使得基站能够向用户提供听觉反馈。可以基于游戏内事件来提供听觉反馈，或者听觉反馈可以包括游戏控制台通知。游戏内事件听觉反馈的一个示例是当玩家接近游戏内的水流时从基站发出的流水的声音。游戏控制台通知的一个示例是基站发出需要更换控制器电池的听觉音调或语音指令。

光控制器218从控制器位置处理器210接收数据，并且经由光阵列228或发光器230向用户提供视觉反馈。在一个实施例中，光阵列228是发光二极管(LED)的阵列。在其他实施例中，光阵列228是一个或多个液晶显示器(LCD)。光阵列228能够基于游戏内事件提供视觉用户反馈。使用光阵列228可获得的游戏内视觉反馈的一个示例包括改变与玩家相关联的光的颜色。在另一个实施例中，可以使用光阵列228来传送游戏控制台状态。游戏控制台状态的示例可以包括示出与游戏控制台相关联的因特网连接的性能的柱状图。类似地，可以在光阵列上显示聊天请求或电子邮件通知。基站的光阵列228是用于显示游戏控制台状态信息的优选位置，因为它可能不与在主显示器上的游戏相关。而且，因为基站可以接近用户，所以光阵列可能比向游戏控制台直接地安装的小显示器更为用户可视。

在另一个实施例中，光阵列228用于传送控制器状态。控制器状态的一个示例包括需要更换控制器中的电池的视觉通知。控制器状态的另一个示例将颜色与特定的控制器相关联，并且当控制器在基站各处移动时在光阵列228上移动该颜色。例如，如果两个用户在玩游戏，则光控制器可以对于第一用户使用一种颜色照亮光阵列228的一半，并且对于第二用户使用第二种颜色。另外，基于来自位置处理器的数据，对于第一用户照亮的光阵列228的一半实际上可以是最靠近第一用户的一侧的那一半。

图像处理器216处理来自相机226的图像数据。为了从基站周围获得图像数据，在基站外部的各个位置安装多个相机。在一些实施例中，相机226使用广角镜头来最小化用于捕获游戏区域内的图像所需的相机的数量。在一个实施例中，相机226是深度相机，其捕获在它们视场内的物体的深度数据。由图像处理器216处理深度数据和图像数据，并且，在一些实施例中，向控制器位置处理器210提供所处理的图像数据，以帮助确定控制器相对于基站的位置。

也向基站位置处理器234提供图像处理器数据，以便确定基站是否已经被推挤或移动。移动检测硬件236向基站位置处理器234提供另外的数据，以便确定基站的相对移动。在一个实施例中，移动检测硬件包括加速计、陀螺仪和磁强计。在一个实施例中，当基站位置处理器234对于图像数据分析出在物体中的相同移位时，检测到基站移动。在一个示例中，基站位置处理器234从移动检测硬件236接收数据。当来自移动检测硬件的数据超过用于指示基站的移动的阈值时，基站位置处理器234触发对来自图像处理器216的图像数据的分析。在触发对图像数据的分析后，对于在触发事件之前和之后的图像数据分析在图像内的元件的同时移位。虽然未示出，但是基站硬件包括用于存储或缓冲来自图像处理器的图像数据的存储器。当触发事件出现时，访问所缓冲的图像数据以分析以确定基站是否已经被推挤或移动。

在一个实施例中，基站位置处理器234可以使用多个玩家在游戏区域内的相对位置。在这样的实施例中，每一个玩家的相应控制器的相对位置可以用于确定在触发事件后的同时移位。在其他实施例中，当在游戏区域内仅有一个玩家时，基站位置处理器234可以使用控制器的位置以及与游戏区域之外的项目相关联的视觉数据。在游戏区域内有一个玩家的另一个实施例中，基站处理器依赖于来自移动检测硬件的数据和该唯一用户的图像数据。如上所述的实施例不意欲是限制性的，并且其他实施例可以包括使用图像数据和移动检测数据二者来确定基站的移动的方法。

图4是根据本发明的一个实施例的屏幕400的示例性俯视图。场景包括游戏控制台108，游戏控制台108正在执行在显示器106上显示的交互计算机程序。玩家A使用控制器C1与由游戏控制台108正在执行的计算机程序交互。类似地，玩家B和玩家C使用相应的控制器C2和C3来与计算机程序交互。在这个实施例中，与游戏控制台108隔开的基站101将用户输入从控制器C1、C2和C3转发到游戏控制台108。另外，在基站101内的相机226正在捕获玩家A、玩家B和玩家C与它们各自的控制器C1、C2和C3的图像数据。在这个实施例中，从基站捕获的图像数据用于确定从相应的控制器到基站101的距离d_z1、d_z2和d_z3。在其他实施例中，从控制器发射的超声波辐射用于确定距离d_z1、d_z2和d_z3。在其他实施例中，从超声波发射和由基站相机捕获的深度数据的组合来确定d_z1、d_z2和d_z3。在其他实施例中，控制器包括从图像数据识别的特定几何形状。在一个实施例中，控制器具有相机226能够看到的综合的球体形状。因此，当该球体形状移动接近相机时，在由相机226捕获的图像数据内的圆形像素区域将增加或反之亦然。

在一个实施例中，所捕获的图像数据用于确定控制器的二维位置。这个位置通过两个坐标x和y、(x，y)识别，该两个坐标限定了平面上的一个点或在诸如游戏区域的三维空间中的一条线。有时，使用水平和垂直位置来指示x和y值。另外，使用其他类型的坐标，诸如从原点起的角度和向量值。类似地，在三维空间中，不同的坐标系可以用于识别在空间中的点，诸如x、y和z正交坐标、x和y坐标外加从原点起的向量、或两个角度和向量等。

在基站101上的麦克风捕获游戏区域内的声音数据。在一个实施例中，使用单向通信，其中，麦克风接收源自控制器C1、C2和C3的声音。超声波通信避免对于玩家的体验的干扰。在一个实施例中，控制器包括扬声器，声音源自于该扬声器，并且声音捕获装置包括多个麦克风，用于检测游戏区域内的声音。在一个实施例中，可以通过使用滤波技术来改善游戏区域上的聚焦，以避免捕获到来自游戏区域之外的外来噪声。另外，麦克风可以滤除在超声波通信中未使用的频率，以进一步减小来自不期望的声源的干扰。而且，声音通信可能由于从游戏区域附近的表面反射的声音而具有伪读数。在一个实施例中，计算系统102包括用于避免由声音反射引起的伪读数的机构，诸如定向滤波器、声波分析等。

在另一个实施例中，在控制器和图像捕获装置106之间的通信是双向的，其中，控制器或声音装置发送或接收超声波消息。而且，在另一个实施例中，单向通信在相反方向上进行，并且超声波麦克风在每一个控制器中，并且声音发送装置接近显示器。

超声波通信用于通过分析声音信号到达其目的地的时间来测量在控制器和声音捕获装置之间的距离，称为d_z。另外，也可以分析接收到的信号的相位相干，以更好地确定距离。当使用单向超声波通信时，需要精确的时钟同步，以便对声音从来源到目的地传播的时间进行精确的测量。本领域内的技术人员容易明白用于获得时钟同步的已知方式。例如，在控制器和计算装置之间的WiFi^TM信道可以用于同步时钟。向Zalewski授予的美国专利5,991,693(通过引用被包含在此)提供了由本发明使用的跟踪模式。

基于所捕获的图像数据而获得的点(x，y)与距离d_z一起限定了在三维捕获区域内的单个点。有时，d_z被称为第三维度，因为d_z可以被转换为在与前述的x和y轴正交的z轴内的值。z测量被称为在捕获区域内的深度。

图5示出根据本发明的一个实施例的从距离测量向绝对深度(z)测量的转换。从控制器102到具有坐标(x₀，y₀，z₀)的基站101的距离是d_z。使用图像捕获数据，计算控制器102的水平(x₁)和垂直(y₁)坐标(未示出)。计算控制器102的z₁值包含：使由三维空间中坐标为(x₁，y₁)的任何点限定的线与中心在声音捕获装置并且半径为d_z1的球体相交。通过下面的等式叙述来限定该线：

{x＝x₁；y＝y₁}

这个等式假定了一个没有透视失真的空间。其他实施例补偿由于从图像捕获装置看的透视视图导致的可能失真。通过下面的等式来限定球体

(x-x₀)²+(y-y₀)²+(z-z₀)²＝d_z1 ²

在球体等式中将x₁代入x并且将y₁代入y返回与深度值z₁对应的z值。应当注意，该等式返回两个z值，但是仅一个在游戏区域内。

如上所述的计算公开了一种基于超声波传输来确定深度值的方法。在其他实施例中，由与基站相关联的相机捕获的图像数据可以用于确定控制器到基站的距离或深度。例如，在使用多个相机的基站的实施例中，可以基于来自至少两个相机的图像数据来确定控制器的深度的三角测量。替代地，如上所述，也可以从与控制器相关联的显著物体的像素的相对数量确定深度数据。在其他实施例中，基站相机可以是深度相机。如上所述的实施例不意欲是限制性的，并且可以使用实施例的各种组合来确定控制器至基站的距离。

图6A和图6B图示根据本发明的一个实施例的如何检测到基站101的水平移动。图6A包括场景600的俯视图和场景600的基站视图600-1。在场景600中，基站101在游戏控制台108与用户A和用户B之间。用户A操纵控制器C1，并且用户B操纵控制器C2以与由游戏控制台108执行的计算机程序交互。在基站视图600-1中，示出由与基站101相关联的相机来捕获的场景600。因此，用户A和用户B的位置与场景600中的视图是相反的。虽然在图6A和图6B中所示的基站视图示出了用户A和用户B的图像，但是与基站相关联的另外的相机可以捕获游戏区域110内的另外的深度数据。

图6B图示了基站101从图6A中的位置的移动。因为基站101是较为接近游戏控制台的用户放置的便携装置，所以有可能基站被推挤或偶然移动(例如，偶然被踢)。例如，引起基站101移动的原因包括但是不限于从用户A或用户B的粗暴的玩游戏或宠物推挤基站101。如上所述，可以使用与基站101相关联的移动检测硬件来检测基站101的移动。可以以多种方式来确定移动检测，例如通过加速计、惯性传感器、空间跟踪系统等。

如图6B中所示，基站101已经向右移动距离X。因此，如在基站视图602-1中所示，所捕获的用户A和用户B的图像数据示出用户A和用户B在位置上的近乎相同的改变。虽然图6A和图6B被示出使用图像数据，但是其他实施例可以检测两个用户或两个独立的控制器(例如，输入装置)的近乎同时移位。

在另一个实施例中，一个用户可以在每只手中拿着一个输入装置，因此，当用户与计算机程序对接时，可能需要确定基站是否移动了。因此，一种方法可以包括：处理从与在计算机执行的计算机程序对接的输入装置接收到的交互通信。该计算机可以是单个计算机、联网计算机、游戏控制台、联网游戏控制台或其组合。该方法包括：在与计算机对接的基站处接收来自第一输入装置和第二输入装置的输入数据。该第一和第二输入装置能够独立于彼此地移动，以与计算机程序交互地对接。该方法通过基站来跟踪第一和第二输入装置的位置。应当明白，根据替代实施例，可以处理跟踪。

示例实施例包括通过下述方式来跟踪第一和第二输入装置的位置：(a)从第一和第二输入装置接收位置数据；(b)根据从第一和第二输入装置接收到的数据在基站处计算位置数据；(c)基于从第一和第二输入装置或基站接收到的数据在计算机处计算位置数据；(d)在第一和第二输入装置处部分地确定位置，并且在基站处部分地确定位置；或(e)基于从第一和第二输入装置、基站和计算机获得的数据来部分地确定位置数据。根据在哪里进行处理，可以通过图像滤除、超声波数据处理、输入操纵杆移动、倾斜-滚动-摇摆数据、有线或无线输入或输入按钮选择的一个或多个来进行位置处理。

该方法被配置为识别第一和第二输入装置的跟踪位置的近乎相同的位置改变。近乎相同的位置改变具有可检测的幅度。根据这个示例方法，当识别出近乎相同的位置改变时设置标记。可以以诸如代码、比特、比特模式、例外、对象或代码触发等的多种形式来表示在此使用的标记。例如，如果程序是计算机游戏，则计算机游戏的程序指令可以读取标记，并且响应于了解标记而确定应当处理什么。在一些情况下，可以向其他程序发送标记，或向本地系统发送或向经由网络耦合的远程系统或计算机发送。

在一个实施例中，计算机程序处理标记以设置在与计算机程序的交互期间要采取的行为。如果计算机程序是计算机游戏，则要采取的行为可以是下述行为之一：减去近乎相同的位置改变；向第一和第二输入装置两者应用校正；暂停计算机游戏；倒回计算机程序；重启计算机游戏；或者，发出基站移动的通知。

如果计算机程序不是计算机游戏，则行为可以采用在程序环境中通常的形式。例如，如果用户与浏览器对接，则当输入装置用于选择文本时，标记可以使得取消对文本的选择或使用户返回到在采取最后的交互行为之前的状态。因此基于计算机程序外观(aspect)来预先配置在与计算机程序的交互期间要采取的行为。

而且，在一个实施例中，如果近乎相同的位置改变的幅度超过阈值水平，则系统可以被编程来指示基站可能已经发生了移动。在另一个实施例中，基站本身可以具有用于确定基站是否移动的电路和逻辑。可以通过在基站内集成的移动检测器和惯性传感器等进行确定。

因此，基站可以被编程来确定何时出现移动和它是否也已经超过一定幅度。因此，在特定实施例中，可以查看两个不同的幅度，并且可以查看两个不同的阈值水平。因此，有可能首先确定输入装置是否出现了近乎相同的位置改变，并且也查看以了解基站本身是否移动了，然后对标记采取行为。

在各个实施例中，可以从用户输入减去在近乎相同的位置改变，以便校正基站的移动。在另一个实施例中，仅依赖于游戏区域内的物体同时、近乎相同的移位会导致对基站移动的错误确定。因此，在一个实施例中，在移动检测硬件已经检测到超过阈值的基站的移动后，对用于检测基站的移动的同时移位的控制器数据进行比较。在检察用于近乎相同的位置改变的控制器数据之前等待超过阈值是不必要的，并且应当被认为是选用的。

当在游戏区域内检测到物体或控制器的近乎相同的移位时，可以实时地重新校准基站，以便最小化对于玩游戏的影响。在一个实施例中，该重新校准可以出现在少至两个视频帧中或小数量的视频帧中。当通常以大约每秒30帧来显示视频时，重新校准周期可以短得足以被忽略或不明显。因此，如果基站检测到它已经向右移位，如图6A和6B中所示，则基站将通过修改控制器C1和C2的用户输入来补偿，以便不中断玩游戏。

图6A和图6B图示在相对于用户A和用户B的横向方向上的基站的移动。如上所述，这些实施例也适用于每只手拿着一个控制器的单个用户。仍然使用两个用户的示例，基站也可以被移动或推挤得更接近或远离用户A和用户B。在该情况下，来自光学深度相机或超声波传感器的深度数据可以用于确定基站的移动。

图6C图示根据本发明的一个实施例的视频游戏的交互控制，而图6D图示根据本发明的一个实施例的使用在基站内的相机捕获的交互控制的图像数据。在图6C中，用户A操纵控制器C1做出移动M1，随后做出移动M2，以便控制滑冰头像650。移动M1和M2是向量，因为该移动包括方向和幅度。在这种情况下，移动的幅度是完成移动的速度。在这个实施例中，移动M1用于增加滑冰头像650的速度。移动M2用于使得滑冰头像650在斜坡652的顶部进行跳跃。游戏控制台108呈现游戏，并且输出在监控器106上显示的视频信号。

图6D的帧A图示当执行移动M1时的中间图像数据捕获控制器C1。示出了在时间t₁和时间t₂的控制器C1的两个图像，其中，时间t₂在移动M1完成之前。图像的分析显示，在时间t₂的控制器C1的大小大于在时间t₁的控制器C1的大小。这表示在时间t₁和t₂之间，控制器C1移动到接近基站101。帧B图示了移动M1在时间t₃完成。为了清楚，帧B示出在时间t₁和t₃的控制器C1。在一个实施例中，对图像数据(特别是像素数据)的分析可以用于确定控制器C1是移动得接近或远离基站101。当在时间t₃的控制器C1由比在时间t₁更多的的像素构成时，控制器C1移动得远离基站101。可以使确定与基站的距离上的相对改变与在图6C中的滑冰头像的速度上的改变相关。

帧C图示对在移动M1的启动的时间t₁和在t₄的移动M2的结束的图像数据的比较。比较在由在基站内的相机捕获的图像数据中在时间t₁、t₂、t₃和t₄之间的控制器C1的相对大小允许游戏控制台将控制器的移动与在监控器106上显示的视频游戏内的交互相关。在图6C和图6D中所示的控制可以被应用到任何数量的视频游戏，因为基于图像数据和深度数据的用户输入允许空间内的向量移动被映射到任何数量的视频游戏控制。例如，控制可以用在拳击模拟、钓鱼模拟或甚至用于驾驶模拟的节流控制。上面提供的具体示例应当被认为是示例性的，并且不应当被认为是限制性的。

图7是根据本发明的一个实施例的游戏控制台108、基站101和控制器102的框图。在这个实施例中，为了简单，游戏控制台108被示出具有处理器、存储器区域、时钟和通信接口。通信接口包括射频(RF)接口，用于与基站和控制器的无线通信。在其他实施例中，控制器仅与基站进行通信。在这样的实施例中，在基站和游戏控制台之间的通信协议可以是Wi-Fi，而在控制器和基站之间的通信使用蓝牙协议。如上所述，基站可以包括其他通信方法，其中包括图像捕获、声音发送和接收(在这个实施例中是超声波)和发光器。

基站101的不同通信协议连接到计算系统内的相应的控制器。存储器区域包括运行的程序、图像处理区域、声音处理区域和时钟同步区域。运行的程序包括游戏程序、图像处理程序、声音处理程序、时钟同步程序等。这些程序使用存储器的对应的区域，诸如包含图像数据的图像处理区域、包含超声波通信数据的声音处理区域和用于与远程装置的同步的时钟同步区域。

在玩家环境区域中示出用于控制器配置的几个实施例。控制器A表示具有前述的许多特征的“完全装载(fully loaded)”控制器。控制器A包括：时钟同步(CS)模块，用于与游戏控制台108时钟同步；声音接收器(SRx)，用于接收超声波数据；声音发送器(SRx)，用于发送超声波数据；WiFi(WF)模块，用于与游戏控制台108的WiFi通信；声学腔(AC)，用于向和从控制器的前部和/或侧面传导声音；图像捕获(IC)装置，诸如数字摄像机，用于捕获图像数据；以及，在红外线或可见光光谱中的发光器(LE)，用于容易地从在游戏控制台108处的图像处理模块识别图像。

图8图示根据本发明的一个实施例的可以用于确定控制器位置的硬件和用户接口。图22示意地图示

娱乐装置的整体系统架构，其为根据本发明的一个实施例的、即可以被兼容来实现三维控制器定位系统的控制台。提供了系统单元1400，并且提供了能够连接到系统单元1400的各种外围装置。系统单元1400包括：Cell处理器1428；

动态随机存取存储器(XDRAM)单元1426；真实合成器图形单元1430，其具有专用视频随机存取存储器(VRAM)单元1432；以及，I/O桥1434。系统单元1400也包括用于读取盘1440a的

光盘读取器1440和通过I/O桥1434可访问的可装卸插入硬盘驱动器(HDD)1436。选用地，系统单元1400也包括存储卡读取器1438，用于读取紧凑快闪存储卡和Memory

存储卡等，其类似地也能够通过I/O桥1434被访问。

I/O桥1434也连接到：6个通用串行总线(USB)2.0端口1424；千兆比特以太网端口1422；IEEE 802.11b/g无线网络(Wi-Fi)端口1420；以及，

无线链路端口1418，其能够支持多达7个蓝牙连接。

在运行中，I/O桥1434处理所有的无线、USB和以太网数据，包括来自一个或多个游戏控制器1402-1403的数据。例如，当用户在玩游戏时，I/O桥1434经由蓝牙链路从游戏控制器1402-1403接收数据，并且将其向Cell处理器1428引导，Cell处理器1428相应地更新游戏的当前状态。

除了游戏控制器1402-1403之外，无线、USB和以太网端口也提供对于其他外围装置的连接，诸如：遥控器1404；键盘1406；鼠标1408；便携娱乐装置1410，诸如

娱乐装置；摄像机，诸如

摄像机1412；麦克风耳机1414；以及麦克风1415。这样的外围装置因此可以在原理上无线地连接到系统单元1400；例如，便携娱乐装置1410可以经由Wi-Fi自组织连接来进行通信，而麦克风耳机1414可以经由蓝牙链路来进行通信。

这些接口的提供表示Playstation 3装置也可能与其他外围装置兼容，该其他外围装置例如是数字视频录像机(DVR)、机顶盒、数码相机、便携媒体播放器、基于IP的语音电话、移动电话、打印机和扫描仪。

另外，传统存储卡读取器1416可以经由USB端口1424连接到系统单元。使能读取由

或

装置所使用类型的存储卡1448。

在本实施例中，游戏控制器1402-1403可操作为经由蓝牙链路与系统单元1400无线地进行通信。然而，游戏控制器1402-1403可以替代地连接到USB端口，由此也提供电力，通过该电力对游戏控制器1402-1403的电池充电。游戏控制器1402-1403也可以包括存储器、处理器、存储卡读取器、诸如快闪存储器的永久存储器、诸如LED或红外线灯的发光器、用于超声波通信的麦克风和扬声器、声学腔、数码相机、内部时钟、诸如面向游戏控制台的球体部分的可识别的形状和使用诸如

WiFi^TM等协议的无线通信。

游戏控制器1402是设计为两只手使用的控制器，并且游戏控制器1403是如在图1-21中所描述的单手控制器。除了一个或多个模拟操纵杆和传统的控制按钮之外，游戏控制器影响三维位置的确定。结果，除了传统的按钮或操纵杆命令之外或者替代传统的按钮或操纵杆命令，可以将游戏控制器的用户的手势和移动转换为向游戏的输入。选用地，诸如Playstation^TM便携装置的其他无线使能外围装置可以被用作控制器。在Playstation^TM便携装置的情况下，可以在装置的屏幕上提供另外的游戏或控制信息(例如，控制指令或生命数)。也可以使用其他替代或补充的控制装置，诸如跳舞毯(未示出)、轻型枪(未示出)、方向盘和踏板(未示出)或定制控制器，诸如用于快速响应智力竞赛的单个或几个大按钮(也未示出)。

遥控器1404也可操作为经由蓝牙链路与系统单元1400无线地进行通信。遥控器1404包括适合于BIu Ray^TM Disk BD-ROM读取器1440的操作和对光盘内容导航的控制器。

除了传统的预刻录和可刻录的CD和所谓的超级音频CD之外，BIuRay^TM Disk BD-ROM读取器1440进一步可操作为读取与Playstation和PlayStation 2装置兼容的CD-ROM。除了传统的预刻录或可刻录的DVD之外，读取器1440也可操作为读取与Playstation 2和PlayStation 3装置兼容的DVD-ROM。读取器1440进一步可用于读取与Playstation 3装置兼容的BD-ROM以及传统的预刻录和可刻录的Blu-Ray盘。

系统单元1400可操作为通过音频和视频连接器向具有显示器1444和一个或多个扬声器1446的、诸如监控器或电视机的显示和声音输出装置1442提供由Playstation 3装置经由真实合成处理器图形单元1430产生或解码的音频和视频。音频连接器1450可以包括传统模拟和数字输出，而视频连接器1452可以不同地包括分量视频、S视频、复合视频和一个或多个高清晰度多媒体接口(HDMI)输出。因此，视频输出可以具有诸如PAL或NTSC的格式或具有720p、1080i或1080p的高清晰度。

通过Cell处理器1428来执行音频处理(产生和解码等)。Playstation 3装置的操作系统支持

环绕声、

影院环绕声(DTS)和来自

盘的7.1环绕声的解码。

在本实施例中，摄像机1412包括单个电荷耦合器件(CCD)、LED指示器和基于硬件的实时数据压缩和编码设备，使得可以以诸如基于图像内的MPEG(移动画面专家组)标准的适当格式来发送压缩的视频数据，以由系统单元1400解码。相机LED指示器被布置来响应于来自系统单元1400的适当控制数据而发光以表示诸如不利的照明条件。摄像机1412的实施例可以经由USB、蓝牙或Wi-Fi通信端口不同地连接到系统单元1400。摄像机的实施例可以包括一个或多个相关联的麦克风，并且也能够发送音频数据。在摄像机的实施例中，CCD可以具有适合于高清晰度视频捕获的分辨率。在使用中，由摄像机捕获的图像可以例如被包含到游戏内并且被解释为游戏控制输入。在另一个实施例中，相机是适合于检测红外线的红外线相机。

通常，为了经由系统单元1400的通信端口之一与诸如摄像机或遥控器的外围装置进行成功的数据通信，应当提供诸如装置驱动器的适当的软件。装置驱动器技术是公知的，并且在此不详细描述，除了说明技术人员应注意可能在所述的本实施例中需要装置驱动器或类似的软件接口。

图9图示根据本发明的一个实施例的用于处理指令的另外的硬件。Cell处理器1428具有包括下述四种基本部件的架构：外部输入和输出结构，包括存储器控制器1560和双总线接口控制器1570A、B；主处理器，被称为功率处理元件1550；8个协处理器，被称为协同处理元件(SPE)1510A-H；以及，用于连接上面的部件的环形数据总线，其被称为元件互连总线1580。与Playstation 2装置的情感引擎的6.2GFLOP作比较，Cell处理器的总的浮点性能是218GFLOP。

功率处理元件(PPE)1550基于以3.2GHz的内部时钟运行的、符合双向同时多线程功率1470的PowerPC核心(PPU)1555。它包括512kB的第二级(L2)高速缓存和32kB的第一级(L1)高速缓存。PPE 1550能够在每一个时钟周期中进行8个单位置操作，转换为在3.2GHz下的25.6GFLOP。PPE 1550的主要角色是作为处理大多数的计算量的协同处理元件1510A-H的控制器。在运行中，PPE 1550保存作业队列，对于协同处理元件1510A-H调度作业，并且监控它们的进展。因此，每一个协同处理元件1510A-H运行内核，该内核的角色是获取作业、执行它并且与PPE 1550同步。

每一个协同处理元件(SPE)1510A-H包括相应的协同处理单元(SPU)1520A-H和相应的存储器流控制器(MFC)1540A-H，存储器流控制器(MFC)1540A-H继而包括相应的动态存储器访问控制器(DMAC)1542A-H、相应的存储器管理单元(MMU)1544A-H和总线接口(未示出)。每一个SPU1520A-H是RISC处理器，RISC处理器在3.2GHz计时，并且包括256kB的本地RAM 1530A-H，其在原理上能够被扩展到4GB。每一个SPE给出理论上25.6GFLOP的单精度性能。SPU可以在单个时钟周期中对于4个单精度浮点成员、4个32比特数字、8个16比特整数或16个8比特整数操作。在同一时钟周期中，它也可以执行存储器操作。SPU 1520A-H不直接地访问系统存储器XDRAM 1426；由SPU 1520A-H形成的64比特地址被传送到MFC1540A-H，MFC 1540A-H指令其DMA控制器经由元件互连总线1580和存储器控制器1560访问存储器。

元件互连总线(EIB)1580是在Cell处理器1428内部的逻辑环形通信总线，它连接上面的处理器元件，即PPE 1550、存储器控制器1560、双总线接口1570A、B和8个SPE 1510A-H，总共12个参与者。参与者可以以每一个时钟周期8个字节的速率对总线同时读取和写入。如上所述，每一个SPE1510A-H包括用于调度较长的读取或写入序列的DMAC 1542A-H。EIB包括四个通道，每两个在顺时针方向和逆时针方向。结果，对于12个参与者，在任何两个参与者之间的最长的步进数据流是在适当方向上的6个步长。因此，在通过参与者之间的仲裁充分利用的情况下，用于12个时隙的理论上的峰值瞬时EIB带宽是每一个时钟96B。这等同于在3.2GHz的时钟速率下的理论上307.2GB/s(每秒千兆字节)的峰值带宽。

存储器控制器1560包括由Rambus Incorporated开发的XDRAM接口1562。存储器控制器使用25.6GB/s的理论峰值带宽来与Rambus XDRAM1426对接。

双总线接口1570A、B包括

系统接口1572A、B。接口被组织为12个通道，每一个通道是8比特宽，5个通路是进入的，7个是出去的。这在经由控制器170A的Cell处理器和I/O桥700与经由控制器170B的真实模拟器图形单元200之间提供了62.4GB/s(36.4GB/s出去，26GB/s进入)的理论峰值带宽。

由Cell处理器1428向真实模拟器图形单元1430发送的数据通常包括显示列表，该显示列表是用于绘制顶点、向多边形施加纹理和指定照明条件等的命令的序列。实施例可以包括：捕获深度数据，以更好地识别真实世界用户，并且引导头像或场景的行为。对象可以是人拿着的某物，或也可以是人手。在本说明书中，术语“深度相机”和“三维相机”指的是能够获得距离或深度信息以及二维像素信息的任何相机。例如，深度相机可以使用受控的红外线来获得距离信息。另一种示例性深度相机可以是多相机配置，其使用两个标准相机来对于距离信息进行三角测量。类似地，术语“深度感测装置”指的是能够获取距离信息以及二维像素信息的任何类型的装置。

三维成像近来的发展已经为提高实时交互计算机动画的可能性的打开了大门。具体地说，新的“深度相机”除了正常的二维视频成像之外，进一步提供了用于将第三维捕获和映射的能力。对于新的深度数据，本发明的实施例允许实时地在视频场景内的各个位置——包括在其他对象之后——布置计算机产生的对象。

而且，本发明的实施例为用户提供了实时交互游戏体验。例如，用户可以实时地与各种计算机产生的对象交互。而且，可以实时地改变视频场景以增强用户的游戏体验。例如，计算机产生的服装可以被插在用户的衣服上，并且计算机产生的光源可以用于在视频场景内投影虚拟阴影。因此，使用本发明的实施例和深度相机，用户可以在他们自己的起居室内体验交互游戏环境。与通常的相机类似，深度相机捕获包括视频图像的多个像素的二维数据。这些值是像素的色值，通常每一个像素的红色、绿色和蓝色(RGB)值。以这种方式，由相机捕获的物体可以作为二维物体呈现在监控器上。

本发明的实施例也考虑图像处理配置。例如，本发明不限于在一个或甚至两个位置——诸如在CPU中或在CPU和另一个元件中——出现的显示图像处理和捕获图像。例如，输入图像处理可以容易地出现在相关联的CPU、处理器或可以执行处理的装置中；实质上，所有的图像处理可以被分布在互连的系统上。因此，本发明不限于任何特定的图像处理硬件电路和/或软件。在此所述的实施例也不限于一般硬件电路和/或软件的任何特定组合，也不限于由处理部件执行的指令的任何特定来源。

图10是根据本发明的一个实施例的、场景A至场景E的示例图示，其中，相应的用户A至用户E与经由互联网连接到服务器处理的游戏客户机或游戏控制台1002交互。如上所述，游戏客户机是允许用户经由互联网连接到服务器应用和处理的装置。游戏客户机允许用户访问和重放在线娱乐内容，诸如但是不限于游戏、电影、音乐和照片。另外，游戏客户机可以提供对诸如VOIP、文本聊天协议和电子邮件的在线通信应用的访问。

用户经由控制器与游戏客户机交互。在一些实施例中，控制器是游戏客户机专用控制器，而在在其他实施例中，控制器可以是键盘和鼠标组合。在一个实施例中，游戏客户机是单独的装置，其能够通过监控器/电视机和相关联的音频设备输出音频和视频信号以产生多媒体环境。例如，游戏客户机可以是但是不限于薄客户机、内部PCI-express卡、外部PCI-express装置、ExpressCard装置、内部、外部或无线USB装置或者Firewire装置等。在其他实施例中，游戏客户机与电视机或诸如DVR、蓝光播放机、DVD播放机或多通道接收器的其他多媒体装置集成在一起。

在图10的场景A内，用户A使用与游戏客户机1002A配对的控制器102与监控器106上显示的一个客户机应用交互。类似地，在场景B内，用户B与使用与游戏客户机1002B配对的控制器102与监控器106上显示的另一个客户机应用交互。场景C图示当用户C观看显示来自游戏客户机1002C的游戏和伙伴列表的监控器时从用户C后看到的视图。虽然图10示出单个服务器处理模块，但是在一个实施例中，存在遍布世界各处的多个服务器处理模块。每一个服务器处理模块包括用于用户会话控制、共享/通信逻辑、用户地理位置和负载平衡处理服务的子模块。而且，服务器处理模块包括网络处理和分布式存储。

当游戏客户机1002连接到服务器处理模块时，用户会话控制可以用于认证用户。被认证的用户可以具有相关联的虚拟分布式存储和虚拟化网络处理。可以作为用户的虚拟分布式存储的一部分来存储的示例项目包括购买的媒体，诸如但是不限于游戏、视频和音乐等。另外，可以使用分布式存储来存储多个游戏的游戏状态、各个游戏的定制设置和游戏客户机的一般设置。在一个实施例中，服务器处理的用户地理位置模块用于确定用户的地理位置及其各自的游戏客户机。用户的地理位置可以被共享/通信逻辑和负载平衡处理服务使用来基于多个服务器处理模块的地理位置和处理命令来优化性能。虚拟化网络处理和网络存储的任何一个或两者允许将来自游戏客户机的处理任务动态地转移到未充分利用的服务器处理模块。因此，可以使用负载平衡来最小化与从存储器的再次调用(recall)和在服务器处理模块和游戏客户机之间的数据传输相关联的延迟。

如图10中所示，服务器处理模块例如具有服务器应用A和服务器应用B。服务器处理模块能够支持由服务器应用X₁和服务器应用X₂指示的多个服务器应用。在一个实施例中，服务器处理基于集群计算架构，该架构允许在集群内的多个处理器处理服务器应用。在另一个实施例中，应用不同类型的多计算机处理方案以处理服务器应用。这允许服务器处理被缩放以便容纳执行多个客户机应用和对应的服务器应用的更大量的游戏客户机。替代地，可以缩放服务器处理以容纳更需要的图形处理或游戏、视频压缩或应用复杂度所需要的增大的计算需求。在一个实施例中，服务器处理模块经由服务器应用来执行大多数的处理。这允许诸如图形处理器、RAM和一般处理器的较为昂贵的部件位于中央，并且减少游戏客户机的成本。所处理的服务器应用数据经由互联网被发回对应的游戏客户机以在监控器上显示。

场景C图示可以被游戏客户机和服务器处理模块执行的示例性应用。例如，在一个实施例中，游戏客户机1002C允许用户C建立和观看包括用户A、用户B、用户D和用户E的伙伴列表1020。如所示，在场景C中，用户C能够在监控器106C上看到相应用户的实时图像或头像。服务器处理执行游戏客户机1002C的相应应用以及用户A、用户B、用户D和用户E各自的游戏客户机1002的相应应用。因为服务器处理知道由游戏客户机B执行的应用，所以用户A的伙伴列表可以指示用户B在玩哪个游戏。而且，在一个实施例中，用户A可以观看直接地来自用户B的实际游戏内视频。通过下述方式来使能这一点：除了游戏客户机B之外进一步仅向游戏客户机A发送用于用户B的所处理的服务器应用数据。

除了能够观看来自伙伴的视频之外，通信应用可以允许在伙伴之间的实时通信。像适用于先前的示例那样，这允许用户A在观看用户B的实时视频的同时提供鼓励或暗示。在一个实施例中，通过客户机/服务器应用来建立双向的实时语音通信。在另一个实施例中，客户机/服务器应用使能文本聊天。在另一个实施例中，客户机/服务器应用将语音转换为文本以在伙伴的屏幕上显示。场景D和场景E图示了分别与游戏控制台1010D和1010E交互的相应用户D和用户E。每一个游戏控制台1010D和1010E连接到服务器处理模块，并且图示其中服务器处理模块协调用于游戏控制台和游戏客户机的游戏性。

在考虑上述实施例的情况下，应当明白本发明可以使用包含在计算机系统中存储的数据的各种计算机实现的操作。这些操作包括要求对物理量进行物理操纵的操作。通常但不必然，这些物理量采用能够被存储、传送、组合、比较和操纵的电和磁信号的形式。而且，所执行的操纵通常指诸如生产、识别、确定或比较的方面。

可以使用其他计算机系统配置实现上述的发明，该其他计算机系统配置包括手持装置、微处理器系统、基于微处理器或可编程的消费者电子装置、微型计算机和大型计算机等。本发明也可以在分布式计算环境中实现，其中，通过经由通信网络链接的远程处理装置来执行任务。

本发明也可以被实现为在计算机可读介质上的计算机可读代码。计算机可读介质是可以存储可以其后被计算机系统读取的数据的任何数据存储装置，包括电磁波载波。计算机可读介质的示例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其他光学和非光学数据存储装置。计算机可读介质也可以分布在网络耦合计算机系统上，使得以分布式方式来存储和执行计算机可读代码。

虽然为了便于理解已经详细地描述了上述发明，但是显然可以在所附权利要求的范围内做出一定的变化和修改。因此，本发明实施例应理解为示例性而非限制性的，并且本发明不限于这里给出的细节，而是可以在所附权利要求的范围或等价物之内对其进行修改。

Claims

1.一种用于处理从与在计算机执行的计算机程序对接的输入装置接收到的交互通信的方法，包括：

在与所述计算机对接的基站处接收来自第一输入装置和第二输入装置的输入数据，所述第一和第二输入装置能够彼此独立地移动，以与所述计算机程序交互地对接；

通过所述基站来跟踪所述第一和第二输入装置的位置；

识别所述第一和第二输入装置的跟踪位置的近乎相同的位置改变；以及

在识别出近乎相同的位置改变时设置标记，所述标记被所述计算机程序处理，以设置在与所述计算机程序的交互期间要采取的行为。

2.根据权利要求1所述的方法，其中，基于所述计算机程序的外观来预先配置在与所述计算机程序的交互期间要采取的行为。

3.根据权利要求1所述的方法，进一步包括：

在所述基站处理惯性感测操作，所述惯性感测操作确定基站的移动幅度。

4.根据权利要求3所述的方法，其中，当所述基站的所述移动幅度超过阈值量时，允许处理所述标记以设置所述行为。

5.根据权利要求2所述的方法，其中，所述计算机程序是计算机游戏，并且其中，所述要采取的行为是下述行为之一：减去所述近乎相同的位置改变；向所述第一和第二输入装置两者应用校正；暂停所述计算机游戏；倒回所述计算机游戏；重启所述计算机游戏；或者，发出所述基站移动的信号。

6.根据权利要求1所述的方法，其中，所述近乎相同的位置改变具有幅度，并且如果所述幅度超过阈值水平，则处理所述标记以设置所述行为，

其中，所述幅度超过所述阈值水平指示所述基站的移动，因为所述位置是通过所述基站跟踪的。

7.根据权利要求1所述的方法，其中，跟踪所述第一和第二输入装置的位置包括下述任一个或任一组合：(a)从所述第一和第二输入装置接收位置数据；(b)根据从所述第一和第二输入装置接收到的数据在所述基站处计算位置数据；(c)基于从所述第一和第二输入装置或所述基站接收到的数据在所述计算机处计算位置数据；(d)在所述第一和第二输入装置处部分地确定位置，并且在所述基站处部分地确定位置；或(e)基于从所述第一和第二输入装置、所述基站和所述计算机获得的数据来部分地确定位置数据。

8.根据权利要求7所述的方法，其中，通过图像处理、超声波数据处理、输入操纵杆移动、倾斜-滚动-摇摆数据、有线或无线输入或输入按钮选择中的一个或多个来处理所述位置。

9.根据权利要求1所述的方法，其中，所述计算机是游戏控制台，并且所述第一和第二输入装置还与所述游戏控制台对接。

10.根据权利要求9所述的方法，其中，图像处理包括：比较来自包含所述第一和第二输入装置两者的一个或多个帧的图像数据，以识别已经出现了近乎相同的位置改变。

11.根据权利要求9所述的方法，其中，所述基站通过有线连接或无线连接来与所述游戏控制台对接。

12.一种用于提供视频游戏的交互控制的系统，包括：

游戏控制台；

基站，其位于与所述游戏控制台隔开的位置，所述基站具有通信电路，所述通信电路使能在所述基站和所述游戏控制台之间的对接，所述基站进一步具有摄像机，用于捕获游戏区域内的图像数据；以及

控制器，其与所述基站和所述游戏控制台之一或两者对接，其中，对包括所述控制器的图像数据的分析用于确定所述控制器在所述游戏区域内的移动，所述控制器的所述移动与由所述游戏控制台对于所述视频游戏的交互控制相关。

13.根据权利要求12所述的系统，其中，所述基站进一步包括移动检测电路，所述移动检测电路与基站位置处理器对接，所述基站位置处理器被配置为分析来自所述移动检测电路的数据。

14.根据权利要求13所述的系统，其中，当来自移动检测电路的数据超过阈值时，所述基站位置处理器触发所述基站的重新校准。

15.根据权利要求12所述的系统，其中，当所述控制器与所述游戏控制台和所述基站两者对接时，所述基站进一步包括用于部分地分析所述图像数据以确定所述控制器的移动的电路。

16.根据权利要求15所述的系统，其中，已经被所述基站部分地分析的所述图像数据被发送到所述游戏控制台，所述游戏控制台进一步包括用于完成对所述图像数据的分析的电路。

17.根据权利要求12所述的系统，其中，当所述控制器与所述基站对接时，所述基站进一步包括用于分析所述图像数据的电路。

18.根据权利要求12所述的系统，其中，所述摄像机被进一步配置来捕获在所述游戏区域内的物体的深度数据。

19.根据权利要求12所述的系统，其中，所述控制器和所述基站每一个进一步包括超声波发送器和超声波接收器。

20.根据权利要求19所述的系统，其中，所述超声波发送器和接收器确定所述控制器与所述基站的距离。

21.一种用于与游戏控制台对接以控制视频游戏的系统，包括：

游戏控制台；

基站，其与所述游戏控制台对接，所述基站具有处理电路，所述处理电路被配置为在所述基站和所述游戏控制台之间发送和接收数据，所述基站进一步被配置为处理位置数据；

控制器，其与所述基站对接，所述控制器具有用于检测所述控制器的移动数据并且向所述基站发送所述移动数据的硬件，所述基站处理所述控制器的所述位置数据，所述位置数据被从所述基站转发到所述游戏控制台以确定所述控制器相对于所述基站的相对位置，其中，所述控制器的所述相对位置的改变便于与所述视频游戏的交互控制。

22.根据权利要求21所述的系统，其中，所述基站位于所述游戏控制台和所述控制器之间，所述控制器被配置为被用户手持。

23.根据权利要求21所述的系统，其中，所述基站位于地面空间上，并且所述基站限定游戏区域，所述游戏区域允许本地超声波捕获和发送。

24.根据权利要求21所述的系统，其中，所述基站具有启动所述基站的位置的校准的基站同步电路。

25.根据权利要求21所述的系统，其中，所述控制器具有移动同步电路，用于启动所述控制器相对于所述基站的位置的校准。

26.根据权利要求24所述的系统，其中，所述游戏控制台处理所述基站的位置的校准。

27.根据权利要求26所述的系统，其中，所述游戏控制台监控所述基站的位置，并且检测所述基站的位置是否超过位置改变的阈值。

28.根据权利要求27所述的系统，其中，所述游戏控制台触发所述基站的位置的重新校准。