CN101340954A - 娱乐系统 - Google Patents

Abstract

提供一种利用控制器(20)的LED的游戏系统。在本发明的游戏系统(1)中，拍摄装置(2)拍摄控制器(20)。控制器(20)具有多个用于进行操作输入的输入单元，以及用于表现在执行的游戏应用中对控制器(20)设定的控制器号码的多个LED，所述操作输入是进行游戏的操作输入。游戏装置(10)接受控制器(20)中的操作输入并反映在游戏应用的处理中，同时从拍摄装置(2)取得拍摄图像，从拍摄图像中的LED的位置来取得控制器(20)在拍摄图像中的位置，从而将取得的位置信息反映在游戏应用的处理中，并生成图像信号，用于表示基于操作输入和取得的位置信息的应用处理结果。

Description

娱乐系统

技术领域

本发明涉及用于识别在真实空间上存在的对象的技术。

背景技术

近年来，提出了这样的技术，就是用摄像机拍摄二维码来识别码数据，并执行与该码数据对应的规定的处理。与一维码相比，二维码可编码的信息量较多，当前各种二维码已经实用化。在这样的状况下，以往提出与二维码的图像识别有关的技术(例如，参照专利文献1)。

为了取得真实空间上的对象的三维位置或姿势等，存在利用了磁方式、超声波方式或光学方式的各种测量系统。基于磁方式的测量系统容易受到环境中存在的电子设备或地磁等的影响，而基于超声波方式的测量系统容易受到环境的气压和温度等的影响。另一方面，基于光学方式的测量系统由于利用摄像机所拍摄的拍摄图像，因此不会受到周边的磁场或气压、温度等的影响。作为利用光学方式的测量系统，提出了以下的技术，即分别以唯一确定的闪烁模式使对象上设置的多个LED进行闪烁，从而利用二维图像传感器的拍摄图像来识别三维位置和姿势等(例如，参照专利文献2)。在专利文献2中，用作标记(marker)的LED具有对每个LED可唯一识别的识别信息。

专利文献1：特开2000-82108号公报

专利文献2：特开2003-254716号公报

发明内容

发明要解决的课题

随着近年来的技术进步，游戏系统的硬件规格飞跃性地提高。由此，游戏应用也多样化，最近，实现了这样的游戏系统，即将摄像机和游戏装置连接，在用户在摄像机前面移动身体时，游戏装置对用户的移动进行光学识别，从而用作对游戏的输入。在这样的游戏环境下，本发明人通过有效地利用与游戏装置连接的摄像机，从而设想到以往没有的游戏系统和控制器。此外，考虑如果由摄像机拍摄真实空间中的对象，并从拍摄图像中将关于对象实施了加工处理的信息显示在图像显示装置上，则不仅游戏系统，在其它环境例如教育现场和商务现场等娱乐系统中，也能够产生有效的应用。

因此，本发明的目的在于提供具有新的应用处理功能的娱乐系统和在该娱乐系统中利用的操作输入装置。

解决课题的手段

为了解决上述课题，本发明的某一方案的娱乐系统包括：操作输入装置，用于由用户进行操作输入；处理装置，基于所述操作输入装置中的操作输入来处理应用，并生成表示应用的处理结果的图像信号；拍摄装置，对所述操作输入装置进行拍摄；以及图像显示装置，输出在所述处理装置中生成的图像信号。

在该方案的娱乐系统中，所述操作输入装置具有多个用于进行操作输入的输入单元，以及用于表现在执行的应用中对该操作输入装置设定的号码的多个发光元件，所述操作输入是用户进行应用的操作输入，所述处理装置具有以下功能：接受所述操作输入装置中的操作输入并反映在应用的处理中，同时从所述拍摄装置取得拍摄图像，从拍摄图像中的所述发光元件的位置来取得所述操作输入装置在拍摄图像中的位置，从而将取得的位置信息反映在应用的处理中，并生成图像信号，用于表示基于操作输入和取得的位置信息的应用处理结果。

本发明的另一方案涉及将用户的操作输入传输给游戏装置的游戏控制器。该方案的游戏控制器包括由用户把持的把持单元、为了在用户把持所述把持单元的状态下由用户进行操作输入而设置在壳体上面的多个输入单元、将经由所述输入单元输入的操作输入传输到游戏装置的传输单元、以及设置在壳体背面的多个发光元件。

另外，以上的构成元件的任意组合、将本发明的表现在方法、装置、系统、记录介质、计算机程序等之间变换的结果作为本发明的方案都有效。

附图说明

图1是表示本发明的实施例的游戏系统的使用环境的图。

图2是表示控制器的外观结构的图。

图3是表示控制器的背面一侧的外观结构的图。

图4是表示控制器的内部结构的图。

图5是表示游戏装置的结构的图。

图6是表示图像处理单元的结构的图。

图7(a)是表示当前帧图像的图，图7(b)是表示当前帧图像和前一帧图像的差分图像的图。

图8(a)是表示当前帧图像的二值化图像的图，图8(b)是表示“与”图像的图。

图9是表示LED图像候选的检测处理的处理步骤的流程图。

图10是表示LED提取处理的处理步骤的流程图。

图11是表示图10的S122所示的第二LED检测处理的处理步骤的流程图。

图12是表示图10的S124所示的第三LED检测处理的处理步骤的流程图。

图13是表示图10的S126所示的第四LED检测处理的处理步骤的流程图。

图14是用于说明用于与控制器对应的虚拟对象在游戏画面内实现平滑的跟随动作的算法的图。

具体实施方式

图1表示本发明的实施例的游戏系统的使用环境。游戏系统1包括拍摄装置2、图像显示装置3、声音输出装置4、游戏装置10和控制器20。拍摄装置2、图像显示装置3、声音输出装置4和控制器20连接到游戏装置10。

控制器20是用于用户进行操作输入的操作输入装置，游戏装置10是基于控制器20中的操作输入来处理游戏应用并且生成表示游戏应用的处理结果的图像信号的处理装置。另外，本实施例所示的技术不限于游戏应用，在包括执行其它种类的应用的处理装置的娱乐系统中也能够实现。以下，以娱乐系统为代表，说明执行游戏应用的游戏系统1。

拍摄装置2是由CCD拍摄元件或CMOS拍摄元件等构成的摄影机，以规定的周期拍摄真实空间，生成每个周期的帧图像。例如，拍摄装置2的拍摄周期为30张/秒，也可以与图像显示装置3的帧频一致。拍摄装置2经由USB(Universal Serial Bus)或者其它的接口与游戏装置10连接。

图像显示装置3是输出图像信号的显示器，接受在游戏装置10中生成的图像信号并显示游戏画面。声音输出装置4是输出声音的扬声器，接受在游戏装置10中生成的声音信号并输出游戏声音。图像显示装置3和声音输出装置4构成游戏系统1中的输出装置。

游戏装置10和图像显示装置3可以通过有线连接，也可以通过无线连接。游戏装置10和图像显示装置3也可以通过AV电缆连接。此外，在游戏装置10和图像显示装置3之间也可以构造通过网络(LAN)电缆或无线LAN等构筑的家庭网络。

控制器20具有将用户的操作输入传输到游戏装置10的功能，在本实施例中，构成在与游戏装置10之间可进行无线通信的无线控制器。控制器20和游戏装置10可以使用Bluetooth(蓝牙)(注册商标)协议来确立无线连接。游戏装置10可以进行与多个控制器20的无线连接，即在游戏系统1中，可以实现游戏装置10和控制器20的一对N连接。游戏装置10作为主机(master)起作用，控制器20作为从属机(slave)起作用。另外，控制器20不限于无线控制器，也可以是经由电缆和游戏装置10连接的有线控制器。

控制器20通过未图示的电池驱动，具有用于进行操作输入的多个按钮或键，该操作输入是进行游戏的操作输入。用户操作控制器20的按钮或键时，该操作输入通过无线被发送到游戏装置10。游戏装置10从控制器20接收与游戏应用有关的操作输入，并根据操作输入来控制游戏进行，从而生成游戏图像信号和游戏声音信号。生成的游戏图像信号和游戏声音信号分别由图像显示装置3和声音输出装置4输出。此外，游戏装置10具有根据游戏应用的进行状况来对控制器20发送使控制器20振动的振动控制信号的功能。控制器20具有振子，如果接收到振动控制信号则振动振子。

本实施例的游戏系统1中，控制器20具有多个发光元件。多个发光元件分别是同色的LED，具有作为表现由游戏应用设定的控制器号码的指示器的作用。游戏系统中的控制器号码例如在游戏开始时选择游戏角色时等被用户利用，因此需要通过某种手段通知用户控制器号码。因此，在控制器20中，假设如果多个LED中例如第一个LED点亮，则控制器号码为1，此外，如果第二个LED点亮则控制器号码为2，从而使用户知道控制器号码。另外，也可以通过多个LED的组合来表现控制器号码。

在控制器20为有线控制器的情况下，也可以通过从控制器20延伸的电缆连接器插入游戏装置10的端口的位置来决定控制器号码。但是，在将具有多个端口的多端口装置外置于游戏装置10上来使用的情况下，由于用户不能立即得知控制器号码，因此优选使用多个LED对用户通知控制器号码。

在游戏系统1中，不仅将控制器20的LED用作控制器号码的指示器，而且也用作对游戏应用的进行带来影响的游戏输入。在该情况下，LED的控制不是作为指示器点亮，而是切换到作为对游戏应用的输入而点亮。拍摄装置2拍摄控制器20的LED，并生成帧图像从而提供给游戏装置10。游戏装置10取得帧图像，从帧图像中的LED图像的位置来推测并取得控制器20在帧图像中的位置和姿势，并将取得的位置信息和/或姿势信息反映在游戏应用的处理中。即，本实施例的游戏装置10具有不仅使用在控制器20中输入的操作输入，而且使用取得的控制器20的位置信息和姿势信息来处理游戏应用，从而生成表示其处理结果的图像信号的功能。

图2表示控制器的外观结构。控制器20中设有方向键21、模拟摇杆27、四种操作按钮26。方向键21、模拟摇杆27、操作按钮26是设置在壳体上面30上的输入单元。为了互相区别而在四种按钮22～25上以不同颜色画上不同图形。即，○按钮22上画了红色的圈，×按钮23上画了蓝色的叉，□按钮24上画了紫色的四边形，△按钮25上画了绿色的三角形。在控制器20的壳体背面29上设有多个LED。

用户左手把持左侧把持单元28a，右手把持右侧把持单元28b，从而操作控制器20。方向键21、模拟摇杆27、操作按钮26被设置在壳体上面30上，从而能够在用户把持左侧把持单元28a，右侧把持单元28b的状态下进行操作。

在壳体上面30上也设有带LED的按钮31。带LED的按钮31例如用作在图像显示装置3上显示菜单画面的按钮。此外，也具有通过LED的发光状态来对用户通知邮件的来信，和表示控制器20的电池的充电状态等功能。例如，充电中点亮为红色，充电结束时点亮为绿色，在充电剩余量所剩无几时点亮LED以闪烁红色。

由于用户一边观看显示在图像显示装置3中的游戏画面一边进行游戏，因此图像显示装置3存在于箭头A所示的控制器20的前方。因此，通常，将配置了LED的壳体背面29朝向图像显示装置3。本实施例中，拍摄装置2需要在游戏应用的执行中拍摄LED，因此被配置为该摄像范围朝向与图像显示装置3相同的方向，优选朝向控制器20的壳体背面29。一般由于用户在图像显示装置3的正面玩游戏的情况较多，因此拍摄装置2配置为其光轴方向与图像显示装置3的正面方向一致。具体来说，拍摄装置2优选在图像显示装置3附近被配置为将用户可识别图像显示装置3的显示画面的位置包含在拍摄范围中。由此，拍摄装置2可以拍摄用户的身体以及控制器20。

图3表示控制器的背面一侧的外观结构。在图3中，省略了控制器20的壳体上面30中的方向键21和操作按钮26等的图示。在壳体背面29设有LED配设区域42，在LED配设区域42内配置第一LED40a、第二LED40b、第三LED40c以及第四LED40d。以下，在总称第一LED40a、第二LED40b、第三LED40c以及第四LED40d的情况下，表示为“LED40”。LED配设区域42被形成在壳体背面29中的中央区域。在LED配设区域42的中央部分设有USB连接器46。USB连接器46上连接从游戏装置10延伸的USB电缆，可以进行控制器20的充电处理。另外，如果连接USB电缆，则也可以将控制器20用作有线控制器。

在壳体背面29一侧，隔着LED配设区域42在左右设有操作按钮48a、48b、48c、48d。操作按钮48a、48b、48c、48d被设置在用户保持了左侧把持单元28a、右侧把持单元28b的状态下食指的前端也能够操作的位置。由此，在操作操作按钮48a、48b、48c、48d时，LED40不会被食指盖住。

LED40被用作表现控制器号码的指示器，但作为使用控制器20的用户来说，只要一次确认了就足够了，并不优选配置在通常能看到的壳体上面30。另一方面，在存在其它用户的情况下，通过将LED40配置在壳体背面29上，从而具有其它用户能够容易看见的优点。此外，由于在壳体上面30上存在带有LED的按钮31，因此如果配置LED40则用户难以区别。因此控制器20将LED40配置在壳体背面29上。

拍摄装置2取得各像素中的RGB的亮度值。为了正确地检测出发光了的LED40，优选LED40和LED40周围的区域的对比度较大。因此，LED配设区域42具有比其相邻的壳体颜色的亮度低的颜色，例如施加黑色的配色。LED配设区域42构成为黑色半透明板，LED40设在其背后即壳体内部一侧。由此，如果LED40不点亮则从拍摄装置2看不见，仅点亮时被拍摄。黑色半透明板也具有将光扩散从而将LED40的窄定向性变为宽定向性的作用。通过将LED40设置在LED配设区域42中，从而可以提高与发光的LED40对比度，并且在以后的图像处理中，可以从帧图像中有效地提取出LED图像。

第一LED40a、第二LED40b、第三LED40c以及第四LED40d以规定的二维图形配置。例如，第一LED40a、第二LED40b、第三LED40c以及第四LED40d配置在构成矩形的顶点的位置上。游戏装置10预先掌握该位置关系，用于LED图像的提取处理。另外，在各LED40附近刻有或印刷有数字，用户观看点亮的LED40附近的数字，从而可以得知控制器号码。

图4表示控制器的内部结构。控制器20包括无线通信模块58、处理单元60、LED40以及振子44。无线通信模块58具有在与游戏装置10的无线通信模块之间发送接收数据的功能。处理单元60执行控制器20中的希望的处理。

处理单元60具有主控制单元50、输入接受单元52、PWM控制单元54以及驱动单元56。主控制单元50在与无线通信模块58之间进行必要的数据的发送接收。

输入接受单元52接受来自方向键21、操作按钮26、模拟摇杆27等输入单元的输入信息，并发送到主控制单元50。主控制单元50将取得的输入信息提供给无线通信模块58，无线通信模块58在规定的定时发送给游戏装置10。此外，无线通信模块58从游戏装置10取得振动控制信号时，提供给主控制单元50，主控制单元50基于振动控制信号驱动用于使振子44振动的驱动单元56。驱动单元56可以构成为用于驱动振子44的开关，而且也可以构成为可改变供给电压的占空比的PWM控制单元。

在本实施例中，PWM控制单元54包括第一PWM控制单元54a、第二PWM控制单元54b、第三PWM控制单元54c和第四PWM控制单元54d。第一PWM控制单元54a、第二PWM控制单元54b、第三PWM控制单元54c和第四PWM控制单元54d分别被设置用于控制第一LED40a、第二LED40b、第三LED40c和第四LED40d的点亮。PWM控制单元54通过PWM(脉宽调制)来控制施加到LED40的电压。例如，PWM控制单元54通过以数kHz的高频率对施加电压进行PWM控制，从而可以调整LED40的亮度。此外，PWM控制单元54通过以数Hz～100Hz程度的低频率对施加电压进行PWM控制，从而可以在拍摄装置2中识别LED40点亮的开/关。

在本实施例的游戏系统1中，首先，希望参加游戏系统1的用户的控制器20在与游戏装置10之间确立通信。此时，控制器20的识别信息例如蓝牙地址被传送到游戏装置10，以后的通信基于该蓝牙地址进行。另外，在不使用蓝牙作为通信协议的情况下，也可以利用MAC地址等设备地址。在确立连接之后，用户可以参加游戏应用。

此时，从游戏装置10对控制器20发送用于指示控制器号码的信息。主控制单元50基于该号码指示信息，仅使与设定的控制器号码对应的LED40点亮。由此，用户能够得知本身的控制器20的控制器号码。另外，也可以从游戏装置10发送用于指示与控制器号码对应的LED40的点亮的控制信号来代替号码指示信息。这样，主控制单元50可以使任意的LED40点亮。

在本实施例的游戏系统1中，游戏装置10基于在将所有LED40a～40d点亮了的状态下拍摄的帧图像，对控制器20的位置以及姿势进行估计。估计的位置和姿势作为要执行的游戏应用的输入被利用。此外，游戏装置10也接受控制器20的方向键21和操作按钮26等的操作输入。游戏装置10基于这些输入信息，生成游戏应用的游戏参数，并控制游戏的进行，从而生成游戏图像和游戏声音的AV数据。AV数据在图像显示装置3和声音输出装置4中被输出。用户一边观看游戏画面，一边在真实空间上移动控制器20，进而以方向键21和操作按钮26作为操作输入来进行游戏。以下，说明游戏装置10中的处理。

图5表示游戏装置的结构。游戏装置10包括输入单元100、图像处理单元102、位置估计单元104、闪烁指示单元106、无线通信模块108、应用处理单元110以及输出单元112。本实施例中的游戏装置10的处理功能由CPU、存储器、被载入存储器的程序等实现，这里，绘出了通过它们的协作而实现的结构。程序可以内置于游戏装置10，或者以存储在记录介质中的形式从外部提供。从而，这些功能块可以仅以硬件形式、仅以软件形式或它们的组合而以各种形式实现，这是本领域技术人员应当理解的。在图示的例子中，游戏装置10的CPU具有作为图像处理单元102、位置估计单元104、闪烁指示单元106、应用处理单元110的功能。另外，在硬件的结构上，游戏装置10也可以具有多个CPU。在这样的情况下，也可以是一个CPU作为执行游戏应用的应用处理单元110工作，其它CPU作为处理拍摄装置2的拍摄图像的图像处理单元102、位置估计单元104、闪烁指示单元106工作。

无线通信模块108在与控制器20的无线通信模块58之间确立无线通信。在同步确立阶段，无线通信模块108对包含周边的控制器20的终端设备进行连接查询即“询问”处理。具体来说，无线通信模块108对附近的终端装置广播IQ(询问)分组。接收到IQ分组的控制器20的无线通信模块58对游戏装置10发送回包含蓝牙地址和蓝牙块信息的FHS(Frequency HopSynchronization)分组。在该时刻的发送接收中，由于在游戏装置10和控制器20之间未确立与频率跳跃模式有关的同意，所以使用为专用于询问而定义的固定跳跃模式。

无线通信模块108从控制器20取得FHS分组，在掌握了存在何种控制器20之后，对特定的控制器20发送ID分组。这是无线通信模块108的“寻呼”处理。如果从特定的控制器20返回对于ID分组的响应，则无线通信模块108将FHS分组发送到控制器20，并将自己的地址和时钟通知给控制器20。由此，使得游戏装置10和控制器20可以共享同一跳跃模式。

如果进行“寻呼”，则在控制器20和游戏装置10之间形成微微网，并进入“连接”状态。微微网表示在蓝牙终端之间接近时在终端之间临时形成的网络，最大8台蓝牙终端能够参加一个微微网。连接了的控制器20从无线通信模块108被分配从属识别符，即提供给连接中的控制器20的3比特的地址(1～7)。该从属识别符被称作AM_ADDR(有效成员地址，active memberaddress)。进入“连接”状态后，发送接收用于设定通信链路的控制分组，由此能够进行“数据传送”。

如果成为连接状态，并且控制器20参加到游戏应用，则应用处理单元110分配控制器20的控制器号码，并生成用于指示控制器号码的号码指示信息。无线通信模块108将号码指示信息发送到控制器20。控制器20接收到号码指示信息后点亮对应的LED40。另外，无线通信模块108也可以对控制器20发送用于指示与控制器号码对应的LED40的点亮的控制信号来代替号码指示信息。

游戏应用开始后，闪烁指示单元106生成控制信号，该控制信号用于对控制器20指示闪烁模式，以使其以规定周期闪烁。该闪烁控制信号被从无线通信模块108发送到控制器20。

输入单元100被构成为USB接口，从拍摄装置2以规定的拍摄周期(例如30帧/秒)取得帧图像。图像处理单元102按照后述的LED提取算法，从帧图像中提取LED图像。位置估计单元104从提取的LED图像中取得LED图像的位置信息，并估计控制器20的位置和姿势。位置估计单元104由于取得LED图像的位置信息，因此也可以作为位置取得单元工作。另外，控制器20的位置也可以规定在四个LED图像的重心位置。

从点亮的四个LED40的位置和姿势所估计的控制器20的位置信息和/或姿势信息被用作游戏应用的输入。因此，由位置估计单元104估计的控制器20的位置信息和姿势信息被依次发送到应用处理单元110，并反映在应用的处理中。用户对控制器20的方向键21等进行操作的输入也通过无线通信模块108被发送到应用处理单元110。应用处理单元110根据控制器20的位置、姿势信息以及控制器20中的操作输入来进行游戏，并生成表示游戏应用的处理结果的图像信号和声音信号。图像信号和声音信号从输出单元112分别被发送到图像显示装置3和声音输出装置4并输出。

图6表示图像处理单元的结构。图像处理单元102包括帧图像取得单元130、当前帧缓冲器132、前一帧缓冲器134、差分图像生成单元136、二值化图像生成单元138、逻辑运算单元140以及LED图像提取单元142。

帧图像取得单元130从输入单元100取得帧图像数据，并临时存储在当前帧缓冲器132中。前一帧缓冲器134中存储了前一个帧图像数据。差分图像生成单元136生成在当前帧缓冲器132中存储的当前帧数据和在前一帧缓冲器134中存储的前一帧数据的差分图像。将帧图像中的坐标(x，y)中的前一帧数据的R像素值设为Pr，将G像素值设为Pg，将B像素值设为Pb，将当前帧数据的R像素值设为Cr，将G像素值设为Cg，将B像素值设为Cb时，差分图像函数F(x，y)表现为以下的算式。

[算式1]

$F(x,y)=\sqrt{{(\mathrm{Pr}-\mathrm{Cr})}^2+{(\mathrm{Pg}-\mathrm{Cg})}^2+{(\mathrm{Pb}-\mathrm{Cb})}^2}-\mathrm{Th}...\left(1\right)$

这里，Th是规定的阈值。如果F(x，y)大于0，则坐标(x，y)的像素值被编码为“1”，在显示上，该像素为白色。另一方面，如果F(x，y)为0以下，则像素值被编码为“0”，在显示上，该像素为黑色。这样由差分图像生成单元136生成的差分图像成为二值化处理后的图像。通过生成差分图像，从而可以除去在前一帧图像和当前帧图像之间没有移动的对象的影响。

二值化图像生成单元138使用规定的阈值对当前帧数据进行二值化处理，生成二值化的图像。二值化图像生成单元138将保持大于规定阈值的亮度的像素的像素值编码为“1”，将保持规定阈值以下的亮度的像素的像素值编码为“0”。通过生成当前帧图像的二值化图像，从而可在当前帧图像中仅提取明亮的对象。

逻辑运算单元140生成将由差分图像生成单元136生成的差分图像和由二值化图像生成单元138生成的二值化图像进行了逻辑运算的逻辑运算图像。详细来说，逻辑运算单元140通过对每个像素进行差分图像的像素值和二值化图像的像素值的“与”运算，从而生成“与”图像。这通过将差分图像和二值化图像的对应的像素之间的像素值在数学上进行“与”运算从而生成。

图7(a)表示当前帧图像。在当前帧图像中，用户把持控制器20来玩游戏，在右侧照明点亮了的状态被拍摄。此时，控制器20的全部LED40点亮。另外，全部LED40通过同一点亮图形以同一亮度发光。

图7(b)表示当前帧图像和前一帧图像的差分图像。如果从前一帧图像的位置移动控制器20，则通过算式(1)生成差分图像。在本例中，控制器20和与控制器20一起移动的身体的至少一部分区域被作为白色图像(像素值为“1”)取得。另外，不总是取得这样的白色图像，图7(b)不过是满足算式(1)时所生成的差分图像的一例。此时，由于照明不移动，因此不包含在差分图像中。另外，用户如果未移动控制器20，则不取得控制器20的白色图像。

图8(a)表示当前帧图像的二值化图像。在二值化图像中，图7(a)中的高亮度区域即发光的LED和照明灯被二值化后变换为白色图像。为了防止其它的噪声，在进行二值化处理时设定的阈值优选被设定为从LED发光亮度减去规定的余量值之后的亮度值。

图8(b)表示“与”图像。“与”图像进行图7(b)所示的差分图像和图8(a)所示的二值化图像的“与”运算。在差分图像和二值化图像中，白色像素的像素值为“1”，黑色像素的像素值为“0”。从而，仅仅在两个图像中作为白色像素存在的像素在“与”运算中作为白色像素被生成。

通过这样来取差分图像和二值化图像的“与”，从而能够生成易于提取LED图像的“与”图像。“与”图像被发送到LED图像提取单元142。

生成“与”图像后，保持在前一帧缓冲器134中的前一帧数据由保持在当前帧缓冲器132中的当前帧数据覆盖。该覆盖处理也可以在前一帧缓冲器134由差分图像生成单元136读出之后立即进行。然后，当前帧缓冲器132中保持的当前帧数据由下一帧数据覆盖，从而执行下一帧中的“与”图像的生成处理。

LED图像提取单元142从“与”图像中提取LED图像。为了提取LED图像，首先检测LED图像的候选。接着将任意的候选假设为第一LED40a，并搜索其周围区域，从而调查是否存在可能成为第二LED40b的LED图像候选。如果发现第二LED40b，则再搜索第一LED40a的周边区域，从而调查是否存在可能成为第三LED40c的LED图像候选。如果发现第三LED40c，则再搜索其周边区域，从而调查是否存在可能成为第四LED40d的LED图像候选。此时，LED图像提取单元142预先识别了由多个LED40形成的二维图形，并利用该二维图形进行LED图像的提取处理。以下，为了说明的方便，以下面情况为例：在控制器20的壳体背面29上配置第一LED40a、第二LED40b、第三LED40c、第四LED40d，使其构成正方形的顶点。

另外，LED图像提取单元142不使用“与”图像而从二值化图像中提取LED图像也可以。二值化图像中也包含LED图像以外的噪声，但例如在差分图像中不能取得LED图像的情况下，通过利用二值化图像，从而可以检测出LED图像的位置和姿势。以下所示的处理步骤也可以使用“与”图像和二值化图像的其中一个来执行，但由于“与”图像中LED图像以外的噪声分量少，因此利用“与”图像则处理速度较快。

图9是表示LED图像候选的检测处理的处理步骤的流程图。LED图像提取单元142在“与”图像中，将白色像素(像素值为“1”的像素)连续存在的区域作为一个连接区域取得(S100)。接着，LED图像提取单元142提取白色像素连接区域的边缘部分，并决定短边和长边(S102)。

LED图像提取单元142判定短边是否由规定像素数Ma以上的像素构成(S104)。在短边由少于像素数Ma的像素构成的情况下(S104“否”)，LED图像提取单元142认为不是LED图像而结束该白色像素连接区域的处理。在短边由像素数Ma以上的像素构成的情况下(S104“是”)，LED图像提取单元1 42判断长边是否由规定像素数Mb以下的像素构成(S106)。在长边由多于像素数Mb的像素构成的情况下(S106“否”)，LED图像提取单元142认为不是LED图像而结束该白色像素连接区域的处理。在长边由像素数Mb以下的像素构成的情况下(S106“是”)，LED图像提取单元142认为是LED图像的候选而取得构成白色像素连接区域的像素数(S108)。对于全部白色像素连接区域重复进行该LED图像候选检测处理。由此，可以检测包含在“与”图像中的LED图像候选。另外，LED图像候选的坐标设定为连接区域的重心。

图10是表示LED提取处理的处理步骤的流程图。LED图像提取单元142假设检测出的LED图像候选中任意的LED图像候选是第一LED40a(S120)。接着，对第一LED40a判定是否存在满足可能成为第二LED40b的条件的LED图像候选(S122)。如果存在成为第二LED40b的LED图像候选(S122“是”)，则对第一LED40a以及第二LED40b判定是否存在满足可能成为第三LED40c的条件的LED图像候选(S124)。如果存在成为第三LED40c的LED图像候选(S124“是”)，则对第一LED40a、第二LED40b以及第三LED40c判定是否存在满足可能成为第四LED40d的条件的LED图像候选(S126)。如果存在成为第四LED40d的LED图像候选(S126“是”)，则提取控制器20的第一LED40a～第四LED40d。另外，在不存在第二LED图像候选的情况下(S122“否”)、不存在第三LED图像候选的情况下(S124“否”)、不存在第四LED图像候选的情况下(S126“否”)的情况下，假设其它的LED图像候选为第一LED40a，从而再执行图8的处理。

在LED提取处理中，为了减轻处理负荷，也可以将控制器20的姿势不倾斜规定角度以上设定为处理条件。由于LED40的定向性比较强，因此如果过于倾斜控制器20，则在拍摄装置2中难以接收光。在利用该LED40的定向性来搜索LED图像候选时，以从第一LED40a未倾斜规定角度(例如45°)以上为条件来进行LED图像的提取处理，从而能够大幅地减轻处理负荷。

在本实施例中，由于利用前一帧图像和当前帧图像的差分图像，因此在控制器20没有移动的情况下，LED40的图像被从差分图像中除去。因此，在利用差分图像的情况下，通过图10所示的LED提取处理，不一定能发现LED图像。位置估计单元104通过图10所示的LED提取处理未发现LED图像的情况下，估计控制器20未从前一帧的位置移动，并取得前一帧中的控制器20的位置信息和姿势信息。此时，位置估计单元104也可以使用二值化图像来提取LED图像。

图11是表示图10的S 122所示的第二LED检测处理的处理步骤的流程图。假设假定为第一LED40a的LED图像候选的构成像素数为N。首先，LED图像提取单元142判定LED图像候选的像素数是否为1/2×N以上并且2N以下(S140)。这是基于以下事实：如果是LED图像，则大小和形状与第一LED40a差不多。如果LED图像候选的构成像素数相对于构成像素数N在规定范围内(S140“是”)，则判定该LED图像候选是否存在于第一LED40a的右方(S142)。是否是右方的判断通过是否存在于第一LED40a的右上45°至右下45°的范围内来决定。在第一LED40a的右方的情况下(S142“是”)，判定第一LED40a和LED图像候选的距离D₁₂是否为Da以上且Db以下(S144)。这里，在互相的距离过近和过远的情况下，判定不适于作为第二LED40b。在距离D₁₂为Da以上且Db以下的情况下(S144“是”)，判断该LED图像候选可能成为第二LED40b，并确认第二LED40b的存在(S146)。另一方面，在LED图像候选的构成像素数不在规定范围内的情况下(S140“否”)、不在LED40a的右方的情况下(S142“否”)、距离D₁₂不在规定的范围内的情况下(S144“否”)，判断该LED图像候选不是第二LED40b。

图12是表示图10的S124所示的第三LED检测处理的处理步骤的流程图。假设假定为第一LED40a的LED图像候选的构成像素数为N。首先，LED图像提取单元142判定LED图像候选的像素数是否为1/2×N以上并且2N以下(S160)。如果LED图像候选的构成像素数相对于构成像素数N在规定范围内(S160“是”)，则判定该LED图像候选是否存在于第一LED40a的下方(S162)。是否是下方的判断通过是否存在于第一LED40a的左下45°至右下45°的范围内来决定。在第一LED40a的下方的情况下(S162“是”)，判定第一LED40a和LED图像候选的距离是否为以上且以下(S164)。这里，在互相的距离过近和过远的情况下，判定不适于作为第三LED40c。在距离为以上且

以下的情况下(S164“是”)，判定从第一LED40a到第二LED40b的线段和从第一LED40a到LED图像候选的线段的角度是否为规定范围内(S166)。此时，如果在规定范围内(S166“是”)，则判断该LED图像候选可能成为第三LED40c，并确认存在第三LED40c(S168)。另一方面，在LED像素候选的构成像素数不在规定的范围内的情况下(S160“否”)、不在LED40a的下方的情况下(S162“否”)、与第一LED40a的距离不在规定的范围内的情况下(S164“否”)、角度不在规定的范围内的情况下(S166“否”)，判断该LED图像候选不是第三LED40c(S170)。

图13是表示图10的S126所示的第四LED检测处理的处理步骤的流程图。假设假定为第一LED40a的LED图像候选的构成像素数为N。首先，LED图像提取单元142判定LED图像候选的像素数是否1/2×N以上并且2N以下(S180)。如果LED图像候选的构成像素数相对于构成像素数N在规定范围内(S180“是”)，则判定从第一LED40a到第二LED40b的向量和第三LED40c与LED图像候选的向量所成的角度是否为规定值以下(S182)。如果从第一LED40a到第二LED40b的向量和第三LED40c与LED图像候选的向量所成的角度为规定值以下(S182“是”)，则判定从第一LED40a到第三LED40c的向量和第二LED40b与LED图像候选的向量所成的角度是否为规定值以下(S184)。如果从第一LED40a到第三LED40c的向量和第二LED40b与LED图像候选的向量所成的角度为规定值以下(S184“是”)，则判断该LED图像候选可能成为第四LED40d，并确认第四LED40d的存在(S186)。另一方面，在LED像素候选的构成像素数不在规定的范围内的情况下(S180“否”)、从第一LED40a到第二LED40b的向量和第三LED40c与LED图像候选的向量所成的角度超过规定值的情况下(S182“否”)、从第一LED40a到第三LED40c的向量和第二LED40b与LED图像候选的向量所成的角度超过规定值的情况下(S184“否”)，判断该LED图像候选不是第四LED40d(S188)。

通过以上这样，LED图像提取单元142可以从“与”图像中提取第一LED40a～第四LED40d的图像。提取出的第一LED40a～第四LED40d的图像的位置信息被发送到位置估计单元104。

位置估计单元104基于控制器20中的LED40的二维配置，取得第一LED40a～第四LED40d的图像的帧图像中的位置信息。位置估计单元104求提取出的第一LED40a、第二LED40b、第三LED40c和第四LED40d的仿射变换(affine transformation)，并计算真实空间中的位置和姿势。真实空间中的位置是正交坐标系中的坐标(X，Y，Z)，真实空间中的姿势是X轴、Y轴、Z轴的旋转角。通过求三个轴中的坐标和旋转角，从而位置估计单元104可以估计也包含离拍摄装置2的距离的空间内的位置。位置估计单元104通过求仿射变换从而也可以估计控制器20的帧图像中的位置。例如，通过取XYZ空间中的XY坐标从而可以取得帧图像中的位置。位置估计单元104将估计的控制器20的位置和姿势发送到应用处理单元110。

为了避免LED40的误识别，位置估计单元104在前次取得的LED图像的位置和本次取得的LED图像的位置的变化量超过规定值的情况下，将本次取得的LED图像的位置作为差错来处理。即，在一帧之间，位置和姿势变化了规定值以上的情况下，因为存在由于干扰的因素而将其它对象误识别为LED40的可能性，因此将提取出的LED40的位置信息废弃。

但是，即使是这样的情况，控制器20也可能以实际上较大的变化量移动，因此位置估计单元104对连续发生的差错的次数进行计数，在计数值达到规定值的情况下，也可以将此时取得的LED图像的位置作为正常的位置处理。

位置估计单元104例如也可以基于当前帧图像和“与”图像来估计LED40的移动方向和速度。例如，降低拍摄装置2的快门速度时，LED40的图像被拍摄为椭圆或正方体。因此，根据LED图像的形状，不仅能够估计移动方向，而且能够估计移动速度。例如，如果能估计移动方向和速度，则即使在拍摄装置2中突然看不见的情况下，也能够预测控制器20的位置或姿势。在所有的LED40的形状偏向同一方向的情况下，也可以估计控制器20的移动方向和速度。

应用处理单元110将估计的控制器20的位置或姿势作为游戏输入而反映在游戏应用的处理中。该反映的方法考虑各种方法，但最直观的是使虚拟对象追随与估计的控制器20的位置对应的游戏图像中的位置来进行显示。如果用户对拍摄装置2移动控制器20，则可以追随该移动来移动游戏图像内的虚拟对象。

另外，如果是理想的状态，则对每个帧图像求LED40的位置和姿势并反映在帧图像中即可，但另一方面，根据控制器20的方向和周边光的环境等，也可能发生在帧图像中不能求LED40的位置和姿势的情况。在这样的状态持续之后，如果突然求LED40的位置和姿势，则已停止了的虚拟对象突然移动到新的位置，对用户带来不适。因此，即使从“与”图像中检测出LED40的位置和姿势，作为游戏图像，虚拟对象不是移动到取得的位置，即使假设存在信息丢失的情况下，也进行追随处理，以便能够实现平滑的移动。

图14(a)、图14(b)是用于说明用于与控制器对应的虚拟对象在游戏画面内实现平滑的追随动作的算法的图。为了说明的方便，说明虚拟对象的位置变化，但关于姿势变化也可以应用同样的算法。

在位置估计单元104中，通过求仿射变换而导出的位置参数为P_i-1、P_i、P_i+1(P的脚标表示游戏画面帧的号码)。首先，考虑帧图像切换，位置参数从P_i变化到P_i+1的情况。

在得到新的位置参数(P_i+1)时，反映在游戏画面中的位置参数通过以下的式子求出。

Q_i+1＝(Q_i+P_i+1)/2

即，由于不是直接移动到新的位置参数P_i+1，而是将前一帧的游戏画面中的位置参数和当前帧的新的位置参数P_i+1的中点设定为游戏画面中的新的位置参数。另外，位置参数Q_i+1不必是位置参数Q_i和位置参数P_i+1的中点，也可以是将位置参数Q_i和位置参数P_i+1之间的线段分割为A∶B的点。

图12(b)是作为位置参数不能取得P_i+1的情况下的例子。在这样的情况下，可以发挥本算法的效果。在该情况下，使用最新的位置参数代替P_i+1。这里，最新的位置参数是P_i，并作为下式求解：

Q_i+1＝(Q_i+P_i)/2。

如果通过本算法取得游戏图像中的位置参数Q，则即使在空间内的控制器20位置较大地变化，或者不能从“与”图像中提取的情况下，虚拟对象总是可以一点一点移动。因此，可以避免在游戏图像中虚拟对象突然不能移动或者突然移动的状况的发生，对控制器20能够实现平滑的追随处理。

以上，基于实施例说明了本发明。本实施例为例示，这些各构成要素和各处理过程的组合可以有各种变形例，而且这样的变形例也在本发明的范围内，这是本领域技术人员应当理解的。

在本实施例中，用拍摄装置2拍摄控制器20，并从帧图像中估计控制器20的位置和姿势，并将该位置信息和姿势信息反映在游戏应用的处理中。控制器20的LED40例如也可以根据游戏应用的进行状况而变更点亮图形。

也可以在用户参加了游戏应用之后，游戏装置10对控制器20发送以规定的低频率点亮4个LED40的控制信号。闪烁指示单元106生成用于对控制器20指示以规定的低频率的闪烁模式的控制信号。该低频率闪烁控制信号从无线通信模块1 08被发送到控制器20。另外，在存在多个控制器20的情况下，对每个控制器20设定闪烁频率。

控制器20以指定的低频率将LED40点亮，拍摄装置2以30张/秒的拍摄周期拍摄帧图像。游戏装置10从多个帧图像中提取以规定周期对点亮进行开关的LED图像。在游戏系统1内存在多个控制器20的情况下，对每个控制器20设定点亮的周期。由此，可以确认控制器20的位置，同时也可以区别来识别各个控制器20。理想情况下，该处理在参加到游戏应用之后进行一次即可，在实际空间内，有时控制器20突然从拍摄装置2中消失。因此，以每个数秒等规定的周期，各控制器20以对每个控制器设定的低频率使LED40闪烁也可以。

例如，在四个LED40以低频率进行点亮和熄灭的情况下，能够拍摄LED40的帧和不能拍摄的帧以规定的周期切换。对于拍摄周期(30帧/秒)，如果以45Hz对LED40进行点亮控制，则重复以下状况，即以连续的两张帧拍摄，接着两帧不拍摄。由于存在帧图像中被拍摄的情况和未被拍摄的情况，因此即使是LED40静止的状态下，也能够取得位置信息。

这里，低频率点亮表示对于拍摄周期，以可能存在拍摄到LED发光的帧和未拍摄到的帧的频率进行的点亮。另一方面，高频率点亮表示对于拍摄装置2的拍摄周期(30帧/秒)以始终在帧图像中被拍摄到的频率进行的点亮。例如，即使是以1kHz点亮了LED40的情况下，例如如果拍摄装置2的拍摄周期非常高，则出现拍摄到LED发光的帧和未拍摄到的帧，因此即使是LED40静止的状态，也能够取得位置信息。

高频率点亮的LED40的位置和姿势用作游戏应用的输入。因此，由位置估计单元104估计的控制器20的位置信息被依次发送到应用处理单元110，并反映在应用的处理中。用户对控制器20的方向键21等进行操作的输入也通过无线通信模块108被发送到应用处理单元110。应用处理单元110根据控制器20的位置、姿势信息以及控制器20中的操作输入来进行游戏，并生成表示游戏应用的处理结果的图像信号和声音信号。

此外，作为变形例，通过将四个LED40中的一个以与其它LED40不同的闪烁模式点亮，从而也能够识别特定的LED40。例如三个LED进行高频率点亮，并且使一个LED进行低频率点亮，从而例如也可以确认帧图像中的第一LED40a是哪个。

通过检测真实空间中的控制器20的位置和姿势并反映在游戏应用的处理中，从而能够实现新的游戏应用。如果以网球游戏为例，则将帧图像中的控制器20的高度作为网球的击打点高度，将控制器20的方向作为球的击球方向，将移动控制器20的速度作为打进球的强度，从而可通过移动控制器20来可以进行游戏。由于这些移动近似于实际的挥舞球拍的移动，因此能够给用户带来接近于实际打网球的感觉。此时，通过使得能够将控制器20的按钮或键作为游戏输入而原样利用，从而能够维持以往的游戏操作输入，同时进行感觉上崭新的游戏输入。这样，通过有效地灵活使用作为指示器而设置在控制器20上的LED，从而能够进一步扩展游戏应用的宽度。

例如，可以通过控制器20的按钮操作来决定打入球的强度。通过将以往类型的按钮操作和崭新的游戏输入进行组合可以实现新的游戏性。例如，可以制作如下的网球游戏：一边通过控制器20的方向来指定球落入对方场地的位置，同时进行按钮输入，从而抛球，进而通过移动控制器20，来打出强烈的发球。

作为游戏应用，例如，摩托车的驾驶游戏中，通过操作控制器20的姿势，也可以用作控制摩托车的游戏输入。此时，速度可以由移动控制器20的速度决定，也可以由按钮输入决定。这样，通过将以往类型的按钮输入和基于控制器20的位置和姿势的静态输入以及基于控制器20的移动速度等状态变化的动态的输入组合利用，从而能够提高游戏应用的操作性。

例如，也可以在控制器20要从图像显示装置3的画面中脱离(frame out)的情况下，应用处理单元110基于控制器20的位置信息，进行对用户通知要脱离的处理。例如，也可以在控制器20要脱离的情况下，对控制器20生成用于使振子振动的振动控制信号，并通过无线通信模块108发送。此外，也可以在将追随控制器20的移动的虚拟对象作为游戏图像显示的情况下，通过对于用户醒目地移动虚拟对象，从而对用户传达要脱离的情况。是否要脱离例如可以由帧图像的位置决定，也可以在接近帧图像的边缘部分的位置估计控制器20的位置的情况下，进行该通知处理。

实施例中公开的发明的特征也可以由以下的项目规定。

(项目1)

一种图像处理装置，从输入的帧图像中取得发光体图像的位置，其特征在于，包括：

差分图像生成单元，生成前一帧图像和当前帧图像的差分图像；

二值化图像生成单元，使用规定的阈值将当前帧图像进行二值化处理而生成二值化图像；

逻辑运算单元，生成对所述差分图像和所述二值图像进行了逻辑运算的逻辑运算图像；

提取单元，从所述逻辑运算图像中提取发光体图像；以及

位置取得单元，取得发光体图像的帧图像中的位置。

(项目2)

如项目1所述的图像处理装置，其特征在于，所述逻辑运算单元通过对每个像素进行所述差分图像的像素值和所述二值化图像的像素值的“与”运算，从而生成逻辑运算图像。

(项目3)

如项目1或2所述的图像处理装置，其特征在于，所述提取单元预先识别了由多个发光体形成的二维图形，并利用该二维图形进行发光体图像的提取处理。

(项目4)

如项目1至3的任何一项所述的图像处理装置，其特征在于，所述位置取得单元在前次取得的发光体图像的位置和本次取得的发光体图像的位置的变化量超过规定值的情况下，将本次取得的发光体图像的位置作为差错来处理。

(项目5)

如项目4所述的图像处理装置，其特征在于，所述位置取得单元对连续发生的差错的次数进行计数，在计数值达到规定值的情况下，将此时取得的发光体图像的位置作为正常的位置处理。

产业上的可利用性

本发明可利用于在具有应用处理功能的娱乐系统和用于该娱乐系统的操作输入装置中。

Claims (5)

1.一种娱乐系统，包括：操作输入装置，用于由用户进行操作输入；处理装置，基于所述操作输入装置中的操作输入来处理应用，并生成表示应用的处理结果的图像信号；拍摄装置，对所述操作输入装置进行拍摄；以及图像显示装置，输出在所述处理装置中生成的图像信号，其特征在于，

所述操作输入装置具有多个用于进行操作输入的输入单元，以及用于表现在执行的应用中对该操作输入装置设定的号码的多个发光元件，所述操作输入是用户进行应用的操作输入，

所述处理装置接受所述操作输入装置中的操作输入并反映在应用的处理中，同时从所述拍摄装置取得拍摄图像，从拍摄图像中的所述发光元件的位置来取得所述操作输入装置在拍摄图像中的位置，从而将取得的位置信息反映在应用的处理中，并生成图像信号，用于表示基于操作输入和取得的位置信息的应用处理结果。

2.如权利要求1所述的娱乐系统，其特征在于，

所述操作输入装置通过在多个发光元件中仅将对该操作输入装置设定的号码所对应的发光元件点亮，从而使发光元件作为表现该号码的指示器起作用。

3.如权利要求1所述的娱乐系统，其特征在于，

所述处理装置对所述操作输入装置发送用于控制所述发光元件的点亮的控制信号，

所述操作输入装置按照所述控制信号来点亮所述发光元件。

4.如权利要求3所述的娱乐系统，其特征在于，

所述处理装置在将所述操作输入装置的位置信息反映在应用的处理中时，将以低频点亮所述发光元件的第一控制信号和以高频点亮所述发光元件的第二控制信号的其中一个发送到所述操作输入装置。

5.如权利要求1至4的任何一项所述的娱乐系统，其特征在于，

所述拍摄装置被配置在所述图像显示装置附近，使得用户能够识别所述图像显示装置的显示画面的位置包含在拍摄范围内。

Images