CN101097485A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN101097485A
CN101097485A CNA2007101270900A CN200710127090A CN101097485A CN 101097485 A CN101097485 A CN 101097485A CN A2007101270900 A CNA2007101270900 A CN A2007101270900A CN 200710127090 A CN200710127090 A CN 200710127090A CN 101097485 A CN101097485 A CN 101097485A
Authority
CN
China
Prior art keywords
information
attitude
input device
image
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101270900A
Other languages
English (en)
Other versions
CN100578426C (zh
Inventor
奥野泰弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101097485A publication Critical patent/CN101097485A/zh
Application granted granted Critical
Publication of CN100578426C publication Critical patent/CN100578426C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Abstract

本发明涉及一种图像处理设备和图像处理方法，其中，如果从摄像机(113)获取的图像包含作为操作输入装置(116)的特有信息的二维条形码，则在共享存储器(107)中对摄像机(113)的特有信息和操作输入装置(116)的特有信息彼此关联地进行管理。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及混合现实表达技术的图像处理设备和图像处理方法。
背景技术
在常规上，存在混合现实(MR)表达设备。例如，一种混合现实表达设备包括图像显示部件(例如，HMD：头部安装型显示器)、物理图像拍摄部件、虚拟图像生成部件、位置和姿态检测部件(例如位置和姿态传感器)、和用于合成物理图像和虚拟图像的合成部件。
物理图像拍摄部件的一个典型示例具有附着在HMD上以拍摄HMD前面的场景的小型照相机，并把拍摄的图像记录到计算机的存储器中。
位置和姿态检测部件被用来检测例如物理图像拍摄部件的位置和姿态。例如，磁位置和姿态传感器被附着到检测目标上(例如，用作物理图像拍摄部件的小型摄像机)以检测其位置和姿态。磁位置和姿态传感器检测磁场发生器(发射机)和磁传感器(接收机)之间的相对位置和姿态。位置和姿态传感器能够实时检测传感器的三维位置(X，Y，Z)和姿态(Pitch(倾斜)，Yaw(偏航)，Roll(滚动))。
虚拟图像生成部件在具有与物理空间相同的比例的虚拟空间中布局三维建模的CG，并从与小型摄像机在拍摄物理空间时的位置和姿态相同的位置和姿态绘制虚拟空间的场景，从而获得CG图像。
合成部件通过把虚拟图像生成部件获得的虚拟图像叠加到物理图像拍摄部件获得的图像上来生成混合现实图像。例如，合成部件把物理图像拍摄部件拍摄的图像写入计算机的视频储存器中，然后把虚拟图像生成部件获得的CG图像写到拍摄的图像上。
当图像显示部件在图像显示装置(例如HMD)上显示如此获得的混合现实图像时，观察者可感受到仿佛虚拟对象(CG)出现在该物理空间中一样。
另一个系统具有添加到混合现实表达设备上的操作输入部件，以使得例如虚拟对象(CG)的位置和姿态可被操作。操作输入部件的一个例子是用于游戏的操作输入装置(例如，日本专利特开第2000-353248号；对应于US专利第6,972,734号)。
一些布置不具有物理图像拍摄部件。在这种情况下，图像显示装置本身必需是光学透视的，并且能够观察眼前的物理空间。在这种情况下，仅需要虚拟图像生成部件显示虚拟对象，而不需要合成部件。
还存在不仅允许一个人观察并操作混合现实空间，而且允许多个人同时体验并操作单个混合现实空间的系统。在这种情况下，提供用于管理虚拟空间场景状态的虚拟场景管理部件。每个观察者的虚拟图像生成部件根据从虚拟场景管理部件获得的场景信息从他/她的观察视点绘制虚拟空间图像。这就允许每个观察者从他/她的视点观察具有同样内容的场景。当准备了多个操作输入装置时，观察者能够操作相同的虚拟空间。
根据这种系统配置，每个观察者能够同时从他/她自身的视点观察混合现实空间，并操作虚拟对象。
常规的混合现实表达设备有时通过把观察者信息比如每个观察者的视线方向与输入到操作输入装置的信息组合来确定操作内容。将描述一个示例。图11是示出了两个观察者中的每一个正在观察混合现实图像的情形的视图。
观察者1101和1102分别把HMD 1103和1104戴在头上，并且手上分别拿着操作输入装置1105和1106。图12是示出了可应用于操作输入装置1105和1106的操作输入装置的例子的视图。参考图12，光标按钮1206输入把作为操作目标的虚拟对象向远、近、右和左侧移动的指令。例如，用户可以通过在X方向上按压光标按钮1206而输入把作为操作目标的虚拟对象向远侧移动的指令。按钮1202至1205被用来输入各种指令。
操作输入装置经由缆线1201连接到计算机(未示出)上。光标按钮1206或按钮1202至1205的操作指令经由缆线1201被发送到该计算机。
重新参考图11，虚拟对象1107是操作输入装置1105和1106的操作目标。说明性的箭头1199表示对于观察者1102沿着他/她的视线的远侧。说明性的箭头1198表示对于观察者1101沿着他/她的视线的远侧。在这个例子中，观察者1101可以通过使用操作输入装置1105(例如，通过在X方向上按压光标按钮1206)输入在箭头1198的方向上移动虚拟对象1107的指令。观察者1102可以通过使用操作输入装置1106(例如，通过在X方向上按压光标按钮1206)输入在箭头1199的方向上移动虚拟对象1107的指令。
在这种情况下，每个观察者都想在增加到他/她的距离的方向上(从他/她看来向远侧)移动虚拟对象1107。即使在相同的按键操作被执行(光标按钮1206在X方向上被按压)时，虚拟对象1107的移动方向可以根据每个观察者的视线方向来改变，造成了便利的操作方法。
作为通过使用观察者信息比如观察者视线方向来确定操作内容的操作方法的另一个例子，可通过选择按压按钮时在观察者看到的图像中离屏幕中心最近的虚拟对象来选择多个虚拟对象中的一个。
如上所述，常规上，根据观察者信息(观察者头部的位置和姿态或所观察屏幕的信息)和来自操作输入装置的操作输入信息二者来进行确定，并在该操作中反映这些信息。
此外，如果观察者要通过使用操作输入装置来改变他/她的HMD的设定值(例如，显示器的颜色设定)，需要管理观察者信息(哪个观察者佩戴哪个HMD)和操作输入装置之间的关联以指定设定值要被输入到该装置的信息所改变的目标HMD。
根据常规的方法，操作输入装置和图像显示装置需要被预先关联，这导致了不便。如果操作输入装置的数目比图像显示装置的数目小，就产生问题。该问题将在下面更详细地描述。
在图11所示的例子中，多人共享单个混合现实空间并执行合作操作，如上所述。在图11中，操作输入装置1105与HMD 1103被预先关联。当佩戴HMD 1103的观察者1101在X方向上按压操作输入装置1105的光标按钮1206时，HMD 1103的视线方向，即，观察者1101的视线方向(箭头1198的方向)被解释为“远侧”。因此，虚拟对象1107在箭头1198的方向上移动。
类似地，当观察者1102在X方向上按压操作输入装置1106的光标按钮1206时，观察者1102的视线方向(箭头1199的方向)被解释为“远侧”。因此，虚拟对象1107在箭头1199的方向上移动。
如果观察者1101错误地拿走了操作输入装置1106，并在X方向上按压光标按钮1206，观察者1102的视线方向被解释成“远侧”，使得获得观察者1101不希望的操作结果(虚拟对象1107向观察者1101的“近侧”)移动。为了防止这种情况，观察者1101和1102中的每一个必须小心根据他/她的HMD应该拿哪个操作输入装置，这导致了不便。此外，允许多个观察者分享一个操作输入装置是不可能的。必须准备与观察者一样多的操作输入装置。
发明内容
考虑了上述问题而做出本发明，并且其目的是提供方便HMD与操作输入装置之间的关联的技术。
根据本发明的一个方面，提供一种图像处理方法，包括：
获取步骤，从感测物理空间的图像感测装置获取图像；以及
管理步骤，如果在获取步骤中获取的图像包含第二信息，则在存储器中对第一信息和第二信息相互关联地进行管理，其中第一信息标识图像感测装置，第二信息标识输入用于虚拟对象的操作的操作输入装置。
根据本发明的另一方面，提供一种在图像处理系统中执行的图像处理方法，该方法包括：
第一获取步骤，获取头部安装型显示装置的位置和姿态；
第二获取步骤，获取输入用于虚拟对象的操作的操作输入装置的位置和姿态；以及
管理步骤，如果在第一获取步骤中获取的位置和姿态与在第二获取步骤中获取的位置和姿态满足预定的关系，则在存储器中对第一信息和第二信息彼此关联地进行管理，其中该第一信息标识头部安装型显示装置，该第二信息标识操作输入装置。
根据本发明的又一方面，提供一种图像处理设备，包括：
获取部件，用于从感测物理空间的图像感测装置获取图像；以及
管理部件，如果获取部件获取的图像包含第二信息，则在存储器中对第一信息和第二信息相互关联地进行管理，其中第一信息标识图像感测装置，第二信息标识输入用于虚拟对象的操作的操作输入装置。
根据本发明的再一方面，提供一种图像处理设备，包括：
第一获取部件，用于获取头部安装型显示装置的位置和姿态；
第二获取部件，用于获取输入用于虚拟对象的操作的操作输入装置的位置和姿态；以及
管理部件，如果第一获取部件获取的位置和姿态与第二获取部件获取的位置和姿态满足预定的关系，则在存储器中对第一信息和第二信息彼此关联地进行管理，其中该第一信息标识头部安装型显示装置，该第二信息标识操作输入装置。
本发明的更多特点将从下面的示范性实施例(参考附图)的描述中变得显而易见。
附图说明
图1是示出了根据本发明第一实施例的系统的配置示例的框图；
图2是示出了使该系统中的PC 101和102生成并输出混合现实空间图像的处理的流程图；
图3是使PC 103在共享存储器107中登记从控制器115接收的位置和姿态数据的处理的流程图；
图4是示出了管理存储在共享存储器107中的摄像机113和114的位置和姿态的表格的布置例子的视图；
图5是使PC 104和105接收来自操作输入装置116和117的操作输入，并把结果登记到共享存储器107中的一系列处理的流程图；
图6是示出了在与DID＝1，2对应的操作输入装置中管理光标按钮906是否在X方向上被按压的表格的布置例子的视图；
图7是示出了使PC 106管理登记在共享存储器107中的各种信息的一系列处理的流程图；
图8A至8C是示出了表示各种状态下的观察者和操作输入装置之间的关联的表格的布置例子的视图；
图9是示出了操作输入装置116(117)的外观的透视图；
图10是示出了可应用于每个PC的计算机的硬件配置示例的框图；
图11是示出了两个观察者中的每一个正在观察混合现实图像的情形的视图；
图12是示出了可应用于操作输入装置1105和1106的操作输入装置的例子的视图；
图13是示出了根据本发明第二实施例的系统的配置示例的框图；
图14是使该系统中的PC 101和102生成并输出混合现实空间图像的处理的流程图；
图15是示出了在共享存储器107中被管理的、登记位置和姿态传感器120、121、122和123的位置和姿态的表格的布置例子的视图；以及
图16是使PC 106管理在共享存储器107中登记的各种信息的一系列处理的流程图。
具体实施方式
[第一实施例]
图1是示出了根据本实施例的系统的配置示例的框图。在图1中所示的系统具有使两个观察者感知混合现实空间(物理空间和虚拟空间的混合空间)的配置。然而，本领域的技术人员可以根据下面的描述容易地建立使任意数目的观察者感知混合现实空间的系统，就像稍后将详细描述的那样。
可应用于本实施例的系统配置并不限于如图1所示的配置，本领域的技术人员可在需要时进行各种改变和变型，就像稍后将详细描述的那样。
参考图1，PC(个人计算机)101生成要呈现给观察者(第一观察者)的混合现实空间的图像(混合现实空间图像)，并把生成的混合现实空间图像输出到与PC 101连接的HMD 111。
PC 102生成要呈现给另一观察者(第二观察者)的混合现实空间图像，并把生成的混合现实空间图像输出到与PC 102连接的HMD112。
各自用作外部存储装置的存储器199和198分别连接到PC 101和102，并在PC中保存必需的程序和数据。存储器199和198也可以记录新的信息。
摄像机113被附着到HMD 111，以便在第一观察者把HMD 111佩戴到他/她的头上时感测在第一观察者眼前的物理空间的运动图像。摄像机113感测的帧图像(物理空间图像)被顺序发送到PC 101。
这也适用于HMD 112。摄像机114被附着到HMD 112，以便在第二观察者把HMD 112佩戴到他/她的头上时感测在第二观察者眼前的物理空间的运动图像。摄像机114感测的帧图像(物理空间图像)被顺序发送到PC 102。
PC，以及连接到其上的HMD和摄像机被分配相同的标识信息。PID(玩家ID)被用作标识信息。在这个实施例中，PID＝1被分配给PC 101、HMD 111和摄像机113，而PID＝2被分配给PC 102、HMD 112和摄像机114。
测量摄像机113的位置和姿态的位置和姿态传感器120被附着到靠近摄像机113的HMD 111。如果位置和姿态传感器120例如是磁传感器，它检测与其在坐标系(传感器坐标系)上的位置和姿态相对应的磁场，该坐标系把磁场起源的位置定义为原点，把在原点处彼此垂直相交的三个轴定义为X，Y和Z轴。表示检测结果的信号被发送到将在稍后描述的控制器115。如果能够测量摄像机113的位置和姿态，任何其它类型的位置和姿态传感器也是可用的。
这也适用于HMD 112。测量摄像机114的位置和姿态的位置和姿态传感器121被附着到靠近摄像机114的HMD 112。如果位置和姿态传感器121例如是磁传感器，它检测与其在传感器坐标系上的位置和姿态相对应的磁场，并把表示检测结果的信号发送到将在稍后描述的控制器115。如果能够测量摄像机114的位置和姿态，任何其它类型的位置和姿态传感器也是可用的。
每个位置和姿态传感器被分配与作为测量目标的摄像机相对应的标识信息。SID(传感器ID)被用作标识信息。在这个实施例中，SID＝1被分配给测量PID＝1的摄像机113的位置和姿态的位置和姿态传感器120，而SID＝2被分配给测量PID＝2的摄像机114的位置和姿态的位置和姿态传感器121。
参考图1，PC 103连接到控制器115上。如上所述，位置和姿态传感器120和121连接到控制器115上。控制器115根据从位置和姿态传感器接收的信号获得位置和姿态。更具体地，在从位置和姿态传感器120接收到信号时，控制器115根据该信号获得位置和姿态传感器120的位置和姿态。在从位置和姿态传感器121接收到信号时，控制器115根据该信号获得位置和姿态传感器121的位置和姿态。所获得的位置和姿态作为数据被发送到PC 103。PC 103把接收到的数据发送到将在稍后描述的PC 106。
用作外部存储装置的存储器194连接到PC 103上，并在PC 103中保存必需的程序和数据。存储器194也可记录新的信息。
操作输入装置116和117分别连接到PC 104和105。操作输入装置116和117被分配标识信息。DID(装置ID)被用作标识信息。在这个实施例中，DID＝1被分配给操作输入装置116，而DID＝2被分配给操作输入装置117。
图9是示出了操作输入装置116(117)的外观的透视图。参考图9，光标按钮906输入把作为操作目标的虚拟对象向远、近、右和左侧移动的指令。例如，用户可以通过在X方向上按压光标按钮906输入把作为操作目标的虚拟对象向远侧移动的指令。按钮902至905被用来输入各种类型的指令。
由光标按钮906或按钮902至905输入的操作指令作为信号经由缆线901发送到PC 104(105)。
表示与操作输入装置116(117)相对应的标识信息的二维条形码907被放置在该操作输入装置116(117)的预定位置上。二维条形码表示的标识信息被定义为PicID(＞0)。在这个实施例中，PicID具有与DID相同的值。更具体地，表示PicID＝1的二维条形码907被放置在DID＝1的操作输入装置116上，而表示PicID＝2的二维条形码907被放置在DID＝2的操作输入装置117上。
重新参考图1，各自用作外部存储装置的存储器197和196分别连接到PC 104和105，并在PC中保存必需的程序和数据。存储器197和196也可记录新的信息。
PC 106具有外部可访问的共享存储器107。共享存储器107存储将在稍后描述的各种信息。其余PC可以通过访问共享存储器107读出或更新存储在其中的信息。PC 106控制对该共享存储器107的访问。
上述PC连接到网络160比如LAN。因此，各PC可以经由网络160在它们之间执行数据通信。
依照本实施例的系统包括上述装置。如上所述，该系统为两个观察者提供混合现实。为了向N(N≥1)个观察者提供混合现实，由虚线表示的N组装置群(集合)181被连接到网络160，并且每个集合中的位置和姿态传感器被连接到控制器115。
在图1所示的系统中，PC根据其用途被提供。如果更多的处理可被分配给一个PC，该系统可由较少数目的PC形成。
也就是说，本领域的技术人员可以根据需要对系统配置进行各种改变和变型，如上所述。
图10是示出了可应用于每个PC的计算机的硬件配置示例的框图。
CPU 1701通过使用存储在RAM 1702和ROM 1703中的程序和数据执行应用该计算机的PC的各种处理。
RAM 1702可根据需要提供各种区域，包括临时存储从外部存储装置1706(连接到应用该计算机的PC，并与在图1中所示的存储器相对应)加载的程序和数据或经由I/F 1707或NIC 1708从外部装置接收的程序和数据的区域，以及要被CPU 1701用来执行各种处理的工作区域。
ROM 1703存储应用该计算机的PC的设定数据和引导程序。
该计算机的操作者可通过操作包含键盘和鼠标的操作单元1704把各种指令输入到CPU 1701。
包括CRT或液晶板的显示单元1705可以通过图像或文本显示CPU 1701的处理结果。
外部存储装置1706是用硬盘驱动表示的大容量存储装置。外部存储装置1706保存OS(操作系统)，以及将作为由应用该计算机的PC所保持的程序和数据而进行说明的各种程序和数据。该程序和数据根据需要在CPU 1701的控制下被加载到RAM 1702。CPU 1701通过使用加载的程序和数据执行处理。
I/F 1707连接到将作为连接到应用该计算机的PC上的装置而进行说明的各种外部装置。应用该计算机的PC经由I/F 1707与各种外部装置执行数据通信。
NIC 1708把计算机连接到网络160上。该计算机经由NIC 1708与其它PC执行数据通信。
总线1709连接上述单元。
可针对适用于每个PC的计算机的硬件配置进行各种变型。例如，专门用于图像处理的硬件可被添加到上述配置中以使得该硬件能够执行一般图像处理。
图2是使系统中的PC 101和102生成并输出一帧的混合现实空间图像的处理的流程图。PC 101(102)的外部存储装置1706保存使PC 101(102)的CPU 1701执行依照图2中流程图的处理的程序和数据。CPU 1701把该程序和数据加载到RAM 1702，并通过使用加载的程序和数据执行所述处理。PC 101(102)从而执行将在下面描述的处理。
将在下面描述PID＝P的PC要执行的处理。也就是说，下面描述的处理在P＝1时由PC 101执行，或者在P＝2时由PC 102执行。
在步骤S201中，在RAM 1702中获取由PID＝P(P＝1时的摄像机113或P＝2时的摄像机114)的摄像机感测的物理空间图像。在步骤S202中，CPU 1701访问共享存储器107并从中获取PID＝P的摄像机的位置和姿态(由PID＝P(P＝1时的位置和姿态传感器120或P＝2时的位置和姿态传感器121)的位置和姿态传感器测量的摄像机的位置和姿态)。
图4是示出了管理被存储在共享存储器107中的摄像机113和114的位置和姿态的表格的布置例子的视图。在图4中所示的表格管理由与每个SID对应的位置和姿态传感器测量的位置(X，Y，X)和姿态(Roll，Pitch，Yaw)。通过使PC 103从控制器115接收由控制器115根据与每个SID对应的位置和姿态传感器获得的测量结果所获得的位置和姿态信息，并把与每个SID对应的位置和姿态信息与SID一起写入共享存储器107中，从而生成图4中所示的表格。
在这个实施例中，位置和姿态传感器的SID具有与作为该位置和姿态传感器的测量目标的摄像机的PID相同的值。因此，在步骤S202中，CPU 1701从外部存储装置1706获取分配给它的PID，并从存储在共享存储器107的表格中获取对应于与所获取的PID具有相同值的SID的位置和姿态。
在步骤S203中，CPU 1701检查二维条形码是否存在于在步骤S201中所获取的图像中。在图像中检测条形码的技术是众所周知的技术，将不进行说明。
如果通过检查确定二维条形码907存在于该图像中，则通过读取二维条形码907并将其临时存储到RAM 1702中来获取其所表示的PicID。处理前进到步骤S204。
在步骤S204中，CPU 1701访问共享存储器107并查阅在共享存储器107中存有的“表示DID和PID之间的关联的表格”。图8A至8C是示出了在各种情形下的表格的布置例子的视图。
在这个表格中，预定值(例如，“-1”)被写入DID字段，在该字段中记录了与在步骤S203中获取的PicID相同的值。例如，如果与PID＝N对应的DID具有该预定值，则它被解释为“不存在与PID＝N的装置相对应的操作输入装置”。
在步骤S204的处理之后，通过把在步骤S203中获取的PicID记录到在步骤S204中查阅的表格中与PID＝P相对应的DID字段内，该表格在步骤S205中被更新。处理进行到步骤S206。
将参考图8A至8C描述“表示DID和PID之间的关联的表格”。图8A示出了在初始情形下该表格的布置例子。如图8A所示，“-1”作为与PID＝1对应的DID值被存储，并且“-1”作为与PID＝2对应的DID值被存储。也就是说，图8A中所示的表格表示，与PID＝1的装置对应的操作输入装置以及与PID＝2的装置对应的操作输入装置不存在。
图8B示出了DID＝1与PID＝1关联，并且DID＝2与PID＝2关联的表格的布置例子。如图8B所示，DID＝1与PID＝1关联，而DID＝2与PID＝2关联。该表格表示DID＝1的操作输入装置116与PID＝1的装置相关联，而DID＝2的操作输入装置117与PID＝2的装置相关联。也就是说，通过使PID＝1的摄像机113感测在DID＝1的操作输入装置116上的二维条形码907，并且使PID＝2的摄像机114感测在DID＝2的操作输入装置117上的二维条形码907，从而生成该表格。
图8C示出了在如图8B所示的表格状态之后，通过使PID＝1的摄像机113感测在DID＝2的操作输入装置117上的二维条形码907而生成的表格的布置例子。在如图8B所示的表格状态之后，PID＝1的摄像机113感测在DID＝2的操作输入装置117上的二维条形码907。由于该二维条形码907的PicID是“2”，因此在步骤S204中，“-1”被记录到DID＝2的字段中。在步骤S205中，作为二维条形码907的PicID的“2”被记录到与摄像机113的PID＝1对应的DID字段中。
重新参考图2，如果在步骤S203中通过检查确定不存在二维条形码907，则处理前进到步骤S206。
在步骤S206中，CPU 1701访问共享存储器107，并读出存储在其中的场景信息。场景信息是定义虚拟空间的数据群，例如包含在虚拟空间中的每个虚拟对象的绘制数据(如果虚拟对象由多边形组成，该绘制数据包括每个多边形的颜色数据和法线数据、多边形每个顶点的位置数据、以及纹理数据)、每个虚拟对象的布局位置和姿态数据、以及与虚拟空间中布置的光源有关的数据。场景信息根据需要由将在稍后描述的处理进行更新。
在步骤S208中，在步骤S201中获取的物理空间图像被绘制在RAM 1702的预定区域上。在步骤S209中，基于在步骤S206中获取的场景信息、并从具有在步骤S202中获取的位置和姿态的视点进行观看的虚拟空间的图像(虚拟空间图像)被生成并绘制到在步骤S208中物理空间图像所被绘制的预定区域上。
通过此处理，把虚拟空间图像叠加到物理空间图像上的混合现实空间图像被生成在预定区域上。在步骤S210中，CPU 1701经由I/F1707把混合现实空间图像输出到PID＝P的HMD(P＝1时的HMD111或P＝2时的HMD 112)。
在步骤S211中，检查完成处理的条件是否满足，或者是否经由操作单元1704输入完成指令。如果通过检查确定满足完成处理的条件，或者经由操作单元1704输入了完成指令，该处理被终止。如果完成处理的条件未被满足，并且没有完成指令经由操作单元1704而被输入，则处理返回到步骤S201以执行生成下一帧的混合现实空间图像的处理。如果HMD具有针对左眼和右眼的独立系统(HMD可以呈现立体视觉)，则针对左眼和右眼(屏幕)重复上述处理。
将参考示出了说明该处理的流程图的图3描述使PC 103在共享存储器107中登记从控制器115接收的位置和姿态数据的处理。PC103的外部存储装置1706保存使PC 103的CPU 1701执行根据图3中的流程图的处理的程序和数据。CPU 1701把该程序和数据加载到RAM 1702，并通过使用加载的程序和数据执行该处理。PC 103从而执行将在下面描述的处理。
位置和姿态传感器120和121中的每一个连接到控制器115的多个连接器中的一个上。当位置和姿态传感器与连接器之间的关联被预先确定时，控制器115可以指定从中获得位置和姿态数据的位置和姿态传感器。换句话说，控制器115能够获取与所需SID对应的传感器的位置和姿态数据。
因此，在步骤S301中，CPU 1701从控制器115获取与所有SID对应的位置和姿态数据，并把SID和所获取的位置和姿态数据临时存储在RAM 1702中。
在步骤S302中，在步骤S301中获取的SID以及位置和姿态数据被登记在如图4所示的表格中，该表格被登记在共享存储器107中。参考图4，例如，(x1，y1，z1)作为与SID＝1相对应的位置数据被登记，而(Roll1，Pitch1，Yaw1)作为姿态数据被登记。类似地，(x2，y2，z2)作为与SID＝2相对应的位置数据被登记，而(Roll2，Pitch2，Yaw2)作为姿态数据被登记。
图4示出了两个传感器的位置和姿态数据被登记的情形。当N个传感器经由控制器115和PC 103把位置和姿态数据发送到共享存储器107时，生成N行的表格。与SID对应的位置和姿态数据被登记到每一行中。
重新参考图3，在步骤S303中，检查是否满足完成处理的条件，或者是否经由操作单元1704输入了完成指令。如果通过检查确定满足完成处理的条件，或者经由操作单元1704输入了完成指令，该处理结束。如果完成处理的条件未被满足，并且没有完成指令经由操作单元1704而被输入，则处理前进到步骤S304。
在步骤S304中，该处理等待适当的时间(例如，对应于视频图像一帧的1/30秒)。然后，该处理返回到步骤S301。
将参考示出了说明该处理的流程图的图5描述使PC 104和105接收来自操作输入装置116和117的操作输入，并把结果登记在共享存储器107中的一系列处理。PC 104(105)的外部存储装置1706保存使PC 104(105)的CPU 1701执行依照图5中的流程图的处理的程序和数据。CPU 1701把该程序和数据加载到RAM 1702，并通过使用加载的程序和数据执行该处理。PC 104(105)从而执行将在下面描述的处理。
将在下面描述由连接到DID＝D的操作输入装置的PC执行的处理。也就是说，下面描述的处理在D＝1时由连接到操作输入装置116上的PC 104执行，或者在D＝2时由连接到操作输入装置117上的PC 105执行。
在步骤S501中，CPU 1701接收从DID＝D的操作输入装置发送的操作信息。为了描述方便，假设操作输入装置发送表示光标按钮906是否在X方向上被按压的操作信息。在接收到操作信息时，CPU1701把它临时存储在RAM 1702中。
在步骤S502中，如果光标按钮906在X方向上被按压，则“1”被记录到在共享存储器107中存有的如图6所示的表格中与DID＝D相对应的操作信息字段中。在步骤S502中，如果光标按钮906没有在X方向上被按压，“0”被记录到该操作信息字段中。图6是示出了管理在与DID＝1，2对应的操作输入装置中光标按钮906是否在X方向上被按压的表格的布置例子的视图。
图6示出了两个操作输入装置的各条操作信息被登记的情形。为了登记N个操作输入装置的各条操作信息，生成具有N行的表格。与DID对应的操作信息被登记在每一行中。
为了管理多种操作的操作信息，在该表格中设置存有所有操作的操作状态的区域。
当多个操作输入装置连接到一个PC上时，对每个操作输入装置执行步骤S501和S502中的处理。
重新参考图5，在步骤S503中，检查是否满足完成处理的条件，或者是否经由操作单元1704输入了完成指令。如果通过检查确定满足了完成处理的条件，或者经由操作单元1704输入了完成指令，该处理结束。如果完成处理的条件未被满足，并且没有完成指令经由操作单元1704而被输入，则处理前进到步骤S504。
在步骤S504中，该处理等待适当的时间(例如，对应于视频图像一帧的1/30秒)。然后，该处理返回到步骤S501。
将参考示出了说明该处理的流程图的图7描述使PC 106管理在共享存储器107中登记的各种信息的一系列处理。PC 106的外部存储装置1706保存使PC 106的CPU 1701执行依照图7中的流程图的处理的程序和数据。CPU 1701把该程序和数据加载到RAM 1702，并通过使用加载的程序和数据执行该处理。PC 106从而执行将在下面描述的处理。
在步骤S701中，变量k被初始化为1。在步骤S702中，通过参考在共享存储器107中管理的如图6所示的表格中与DID＝k相对应的操作信息来检查操作是否被执行。也就是说，在这个实施例中，检查操作信息是否等于1。如果通过检查确定操作信息＝1，也就是说，DID＝k的操作输入装置的光标按钮906在X方向上被按压，则处理前进到步骤S703。如果操作信息＝0，则处理前进到步骤S707。
在步骤S703中，通过参考如图8A至8C所示的表格，检查与DID＝k对应的PID是否具有预定的值(在本实施例中是“-1”)。如果PID具有该预定的值，也就是说，不存在与DID＝k的操作输入装置对应的装置，则处理前进到步骤S707。如果与DID＝k对应的PID不具有该预定的值，也就是说，存在与DID＝k的操作输入装置对应的装置，则处理前进到步骤S704。
在步骤S704中，令m为与如图8A至8C所示表格中的DID＝k相对应的PID的值，与PID＝m相对应的位置和姿态从如图4所示的表格中获取。在步骤S705中，计算作为操作目标的虚拟对象的移动量和移动方向。在这个实施例中，作为操作目标的虚拟对象在以步骤S704中获取的姿态作为方向向量的方向上被移动预定量。对于移动，本发明并不限于此。
在步骤S706中，通过根据在步骤S705中计算的移动方向和移动量改变作为操作目标的虚拟对象的位置和姿态，更新存储在共享存储器107中的场景信息。
在步骤S707中，检查变量k是否等于操作输入装置的总数MAX(在这个实施例中，MAX＝2)，也就是说，是否针对所有的操作输入装置执行步骤S702至S706中的处理。如果k＝MAX，处理前进到步骤S709。如果k≠MAX，处理前进到步骤S708。
在步骤S708中，变量k通过计算k＝k+1而增加一。处理返回到步骤S702以执行后续处理。
在步骤S709中，检查是否满足完成处理的条件，或者是否经由操作单元1704输入了完成指令。如果通过检查确定满足完成处理的条件，或者经由操作单元1704输入了完成指令，该处理结束。如果完成处理的条件未被满足，并且没有完成指令经由操作单元1704而被输入，则处理前进到步骤S710。
在步骤S710中，该处理等待适当的时间(例如，对应于视频图像一帧的1/30秒)。然后，该处理返回到步骤S701。
如上所示，根据本实施例，为了设置在操作输入装置和HMD之间的关联，把HMD戴到头上的用户只需要观察要与HMD相关联的操作输入装置上的二维条形码。因此，相比从前，可更加容易地设定该关联。
因为用户能够通过使用与他/她自身相关联的操作输入装置来操作虚拟对象，该用户可执行任何预期的操作。即使在多个用户轮流使用一个操作输入装置时，手上拿着操作输入装置的用户仅通过观察一次其上的二维条形码就可以通过使用该操作输入装置输入他/她预期的操作。因此，无需为多个用户中的每一个准备操作输入装置。
代替上述虚拟对象的移动操作，用户可以通过使用操作输入装置执行附着到HMD上的显示装置的参数的设定操作。该参数包括显示装置上的显示亮度和色调。
[第二实施例]
图13是示出了根据该实施例的系统的配置示例的框图。图13中所示的配置包括光学透视类型的HMD 111和112，与在图1中所示的配置不同，摄像机113和114被省略。因此，位置和姿态传感器120和121分别测量HMD 111和112的位置和姿态。位置和姿态传感器122和123被分别附着到操作输入装置116和117上。
将在下面描述与第一实施例不同的点。
位置和姿态传感器122测量操作输入装置116的位置和姿态，并把测量结果作为信号发送到控制器115。控制器115根据接收到的信号获得位置和姿态传感器122的位置和姿态，并把获得的数据发送到PC 103。PC 103把接收到的数据发送到PC 106。
位置和姿态传感器123测量操作输入装置117的位置和姿态，并把测量结果作为信号发送到控制器115。控制器115根据接收到的信号获得位置和姿态传感器123的位置和姿态，并把获得的数据发送到PC 103。PC 103把接收到的数据发送到PC 106。
位置和姿态传感器122和123测量的结果像位置和姿态传感器120和121测量的结果一样被处理，并经由控制器115和PC 103被发送到PC 106。如同第一实施例中，PC 106把接收到的位置和姿态数据存储到共享存储器107中。图15是示出了在共享存储器107中管理的、登记位置和姿态传感器120、121、122和123的位置和姿态(HMD111和112的位置和姿态，以及操作输入装置116和117的位置和姿态)的表格的布置例子的视图。
图14是使该系统中的PC 101和102生成并输出一帧的混合现实空间图像的处理的流程图。PC 101(102)的外部存储装置1706保存使PC 101(102)的CPU 1701执行依照图14中的流程图的处理的程序和数据。CPU 1701把该程序和数据加载到RAM 1702，并通过使用加载的程序和数据执行该处理。PC 101(102)从而执行将在下面描述的处理。
将在下面描述要由PID＝P的PC执行的处理。也就是说，在下面描述的处理在P＝1时由PC 101执行，或者在P＝2时由PC 102执行。
在步骤S1401中，CPU 1701查阅在共享存储器107中管理的图15所示的表格。
在图15中，由SID＝1的位置和姿态传感器120测量的HMD 111的位置被登记在与SID＝1对应的(x，y，z)字段中。由SID＝1的位置和姿态传感器120测量的HMD 111的姿态被登记在(Roll，Pitch，Yaw)字段中。
此外，由SID＝2的位置和姿态传感器121测量的HMD 112的位置被登记在与SID＝2对应的(x，y，z)字段中。由SID＝2的位置和姿态传感器121测量的HMD 112的姿态被登记在(Roll，Pitch，Yaw)字段中。
由SID＝3的位置和姿态传感器122测量的操作输入装置116的位置被登记在与SID＝3对应的(x，y，z)字段中。由SID＝3的位置和姿态传感器122测量的操作输入装置116的姿态被登记在(Roll，Pitch，Yaw)字段中。
由SID＝4的位置和姿态传感器123测量的操作输入装置117的位置被登记在与SID＝4对应的(x，y，z)字段中。由SID＝4的位置和姿态传感器123测量的操作输入装置117的姿态被登记在(Roll，Pitch，Yaw)字段中。
通过使PC 103从控制器115接收由控制器115根据与每个SID对应的位置和姿态传感器获得的测量结果所获得的位置和姿态信息，并把与每个SID对应的位置和姿态信息与SID一起写入共享存储器107中，从而生成该表格。
在步骤S1401中，CPU 1701从外部存储装置1706获取分配给它的PID，并从存储在共享存储器107中的表格中获取与和所获取的PID具有相同值的SID相对应的位置和姿态。
在步骤S1402中，执行与步骤S206中相同的处理。也就是说，CPU 1701访问共享存储器107，并读出存储在其中的场景信息。
在步骤S1404中，基于在步骤S1402中获取的场景信息、并从具有在步骤S1401中获取的位置和姿态的视点进行观看的虚拟空间的图像(虚拟空间图像)被生成并绘制到RAM 1702的预定区域上。
在步骤S1405中，CPU 1701把虚拟空间图像经由I/F 1707输出到PID＝P的HMD(P＝1时的HMD 111或P＝2时的HMD 112)。
在步骤S1406中，检查是否满足完成处理的条件，或者是否经由操作单元1704输入了完成指令。如果通过检查确定满足完成处理的条件，或者经由操作单元1704输入了完成指令，则该处理结束。如果完成处理的条件未被满足，并且没有完成指令经由操作单元1704输入，则处理返回到步骤S1401以执行生成下一帧的虚拟空间图像的处理。如果HMD具有针对左眼和右眼的独立系统(HMD可以呈现立体视觉)，则针对左眼和右眼(屏幕)重复上述处理。
将参考示出了说明该处理流程的图16在下面描述使PC 106管理在共享存储器107中登记的各种信息的一系列处理。PC 106的外部存储装置1706保存使PC 106的CPU 1701执行依照图16中的流程图的处理的程序和数据。CPU 1701把该程序和数据加载到RAM 1702，并通过使用加载的程序和数据执行该处理。PC 106从而执行将在下面描述的处理。
在步骤S1601中，变量k被初始化为1。在步骤S1602中，通过参考在共享存储器107中管理的如图6所示的表格中与DID＝k相对应的操作信息来检查操作是否被执行。这个处理如同在步骤S702中一样被进行。
如果DID＝k的操作输入装置的光标按钮906在X方向上被按压，则处理前进到步骤S1603。如果操作信息＝0，则处理前进到步骤S1606。
在步骤S1603中，CPU 1701参考如图15所示的表格，并从中获取附着到DID＝k的操作输入装置上的位置和姿态传感器的位置和姿态(在这个实施例中，当k＝1时，附着到DID＝1的操作输入装置116上的SID＝3的位置和姿态传感器122，或者当k＝2时，附着到DID＝2的操作输入装置117上的SID＝4的位置和姿态传感器123)。从登记在表格里的所有HMD中根据它们的位置和姿态(在图15中与SID＝1对应的位置和姿态以及与SID＝2对应的位置和姿态)指定与附着到DID＝k的操作输入装置上的位置和姿态传感器最接近的HMD。
步骤S1603中的处理可以根据需要用下面的方式进行变型。例如，可从登记在表格里的所有HMD中根据它们的姿态指定具有与附着到DID＝k的操作输入装置上的位置和姿态传感器的姿态最接近的姿态的HMD。如果没有HMD位于在离附着到DID＝k的操作输入装置上的位置和姿态传感器的预定距离内，则可以确定要被指定的HMD不存在。作为替换方案，可以指定预定的HMD作为特定值。
当根据附着到DID＝k的操作输入装置上的位置和姿态传感器的位置和姿态而指定一个HMD时，处理前进到步骤S1604。如果没有HMD被指定，则处理前进到步骤S1606。
在步骤S1604中，从图15所示的表格中获取与附着到在步骤S1603指定的HMD上的位置和姿态传感器的SID相对应的位置和姿态，并且计算作为操作目标的虚拟对象的移动量和移动方向。在这个实施例中，作为操作目标的虚拟对象在以与附着到步骤S1603中指定的HMD上的位置和姿态传感器的SID相对应的姿态作为方向向量的方向上被移动预定量。对于移动，本发明并不限于此。
在步骤S1605中，通过根据在步骤S1604中计算的移动方向和移动量改变作为操作目标的虚拟对象的位置和姿态来更新存储在共享存储器107中的场景信息。
在步骤S1606中，检查变量k是否等于操作输入装置的总数MAX(在这个实施例中，MAX＝2)，也就是说，是否对于所有的操作输入装置执行步骤S1602至S1605中的处理。如果k＝MAX，处理前进到步骤S1608。如果k≠MAX，处理前进到步骤S1607。
在步骤S1607中，变量k通过计算k＝k+1增加一。处理返回到步骤S1602以执行后续处理。
在步骤S1608中，检查是否满足完成处理的条件，或者是否经由操作单元1704输入了完成指令。如果通过检查确定满足完成处理的条件，或者经由操作单元1704输入了完成指令，则该处理结束。如果完成处理的条件未被满足，并且没有完成指令经由操作单元1704而被输入，则处理前进到步骤S1609。
在步骤S1609中，该处理等待适当的时间(例如，对应于视频图像一帧的1/30秒)。然后，该处理返回到步骤S1601。
当与操作输入装置对应的HMD被指定时，尽管没有在上面进行描述，HMD的标识信息被登记在存储器中。该登记过程可以像在第一实施例中一样进行。
如果没有与操作输入装置对应的HMD被指定，操作输入装置的标识信息和一个预定的值可被彼此关联地登记到存储器中，如同在第一实施例中一样。
<变形>
为了通过使用其位置管理在操作输入装置和HMD之间的关联，操作输入装置的位置和姿态可以是固定的，并且它们的值可被预先登记。具有与这些装置最接近的位置和姿态的HMD可与该操作输入装置关联。在这种情况下，没有位置和姿态传感器必须被附着到该操作输入装置上。在这种情况下，操作输入装置的位置和姿态在位置和姿态表格中具有预定的值，该值不被更新。
在第一和第二实施例中，当用户观察了在操作输入装置上的二维条形码，或者走近了该操作输入装置时，关联被动态地改变。如果存在不改变关联的需求，可以添加临时禁止关联改变并固定该关联的处理。
例如，在共享存储器107中准备关联改变禁止标志。在改变关联表格之前，检查该标志以确定是否改变关联表格。
[其它实施例]
本发明的目的也可通过下面的方法实现。记录实现上述实施例功能的软件程序代码的记录介质(或存储介质)被提供给系统或设备。该系统或设备的计算机(或CPU，或MPU)读出并执行存储在所述记录介质上的程序代码。在这种情况下，从记录介质读出的程序代码自身实施上述实施例的功能。记录该程序代码的记录介质构成了本发明。
当计算机执行读出的程序代码时，在该计算机上运行的操作系统(OS)根据程序代码的指令部分或全部地执行实际处理，从而实现上述实施例的功能。
从记录介质读出的程序代码被写入插到该计算机上的功能扩展卡或连接到该计算机的功能扩展单元的存储器中。功能扩展卡或功能扩展单元的CPU根据程序代码的指令部分或全部地执行实际处理，从而实现上述实施例的功能。
应用本发明的记录介质存储与上述流程图对应的程序代码。
虽然参考示范性实施例描述了本发明，但需要了解，本发明并不限于公开的示范性实施例。下面权利要求的范围应被赋予最宽的解释，以使之包含所有变型、等同结构和功能。

Claims (9)

1.一种图像处理方法，包括：
获取步骤，从感测物理空间的图像感测装置获取图像；以及
管理步骤，如果在获取步骤中获取的图像包含第二信息，则在存储器中对第一信息和第二信息相互关联地进行管理，其中第一信息标识图像感测装置，第二信息标识输入用于虚拟对象的操作的操作输入装置。
2.根据权利要求1的方法，进一步包括
处理步骤，在检测由操作输入装置输入的操作时，根据由在所述管理步骤中与第二信息相关联地进行管理的第一信息表示的图像感测装置的位置和姿态，处理作为操作目标的虚拟对象，
生成步骤，生成根据所述图像感测装置的位置和姿态而观看的虚拟空间的图像，以及
输出步骤，向外部输出通过把在所述获取步骤中获取的图像与在所述生成步骤中生成的图像合成而生成的合成图像。
3.根据权利要求1的方法，其中，在所述管理步骤中，如果在所述获取步骤中获取的图像不包含所述第二信息，则在存储器中对所述第一信息和表示预定操作输入装置的信息彼此关联地进行管理。
4.一种在图像处理系统中执行的图像处理方法，该方法包括：
第一获取步骤，获取头部安装型显示装置的位置和姿态；
第二获取步骤，获取输入用于虚拟对象的操作的操作输入装置的位置和姿态；以及
管理步骤，如果在第一获取步骤中获取的位置和姿态与在第二获取步骤中获取的位置和姿态满足预定的关系，则在存储器中对第一信息和第二信息彼此关联地进行管理，其中该第一信息标识头部安装型显示装置，该第二信息标识操作输入装置。
5.根据权利要求4的方法，其中，如果所述图像处理系统包含多个头部安装型显示装置，并包含多个操作输入装置，则在所述管理步骤中，对于每个操作输入装置执行以下处理：指定具有与操作输入装置的姿态最接近的姿态的头部安装型显示装置，并在存储器中对第一信息和第二信息彼此关联地进行管理，其中该第一信息指示所指定的头部安装型显示装置，该第二信息指示所指定的操作输入装置。
6.根据权利要求4的方法，其中，如果所述图像处理系统包含多个头部安装型显示装置，并包含多个操作输入装置，则在所述管理步骤中，对于每个操作输入装置执行以下处理：指定具有与操作输入装置的位置最接近的位置的头部安装型显示装置，并在存储器中对第一信息和第二信息彼此关联地进行管理，其中该第一信息指示所指定的头部安装型显示装置，该第二信息指示该操作输入装置。
7.根据权利要求4的方法，其中，在所述管理步骤中，如果在距所述操作输入装置预定距离内不存在头部安装型显示装置，则在存储器中对所述第一信息和第二信息彼此关联地进行管理，其中该第二信息指示预定的操作输入装置。
8.一种图像处理设备，包括：
获取部件，用于从感测物理空间的图像感测装置获取图像；以及
管理部件，如果所述获取部件获取的图像包含第二信息，则在存储器中对第一信息和第二信息相互关联地进行管理，其中第一信息标识图像感测装置，第二信息标识输入用于虚拟对象的操作的操作输入装置。
9.一种图像处理设备，包括：
第一获取部件，用于获取头部安装型显示装置的位置和姿态；
第二获取部件，用于获取输入用于虚拟对象的操作的操作输入装置的位置和姿态；以及
管理部件，如果所述第一获取部件获取的位置和姿态与所述第二获取部件获取的位置和姿态满足预定的关系，则在存储器中对第一信息和第二信息彼此关联地进行管理，其中该第一信息标识头部安装型显示装置，该第二信息标识操作输入装置。
CN200710127090A 2006-06-28 2007-06-28 管理信息的设备和方法 Expired - Fee Related CN100578426C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006178582 2006-06-28
JP2006178582A JP4757115B2 (ja) 2006-06-28 2006-06-28 画像処理装置、画像処理方法

Publications (2)

Publication Number Publication Date
CN101097485A true CN101097485A (zh) 2008-01-02
CN100578426C CN100578426C (zh) 2010-01-06

Family

ID=38564517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710127090A Expired - Fee Related CN100578426C (zh) 2006-06-28 2007-06-28 管理信息的设备和方法

Country Status (4)

Country Link
US (2) US8207909B2 (zh)
EP (1) EP1873617A3 (zh)
JP (1) JP4757115B2 (zh)
CN (1) CN100578426C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788755A (zh) * 2010-02-28 2010-07-28 明基电通有限公司 可摄影电子装置以及其操作方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7808449B2 (en) 2006-12-29 2010-10-05 Texas Instruments Incorporated Method and system for multi-channel viewing applications
WO2008021857A2 (en) * 2006-08-08 2008-02-21 Texas Instruments Incorporated Method and system for multi-channel viewing applications
JP5067850B2 (ja) * 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
JP5104679B2 (ja) 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5656514B2 (ja) * 2010-08-27 2015-01-21 キヤノン株式会社 情報処理装置及び方法
JP5824537B2 (ja) 2014-01-16 2015-11-25 キヤノン株式会社 情報処理装置および情報処理方法
JP6601402B2 (ja) * 2014-09-19 2019-11-06 ソニー株式会社 制御装置、制御方法およびプログラム
JP6298432B2 (ja) * 2015-10-19 2018-03-20 株式会社コロプラ 画像生成装置、画像生成方法、及び画像生成プログラム
CN113156650A (zh) 2016-01-19 2021-07-23 奇跃公司 利用映像的增强现实系统和方法
AU2017257549B2 (en) * 2016-04-26 2021-09-09 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
JP2018067060A (ja) * 2016-10-17 2018-04-26 俊八 生田 仮想３次元模型を対象とした立体複合現実感提供プログラム
JP2018101425A (ja) * 2018-01-09 2018-06-28 株式会社東芝 電子機器、表示方法及びシステム
JP6985186B2 (ja) * 2018-03-15 2021-12-22 Kddi株式会社 ウェアラブル端末、視聴管理システム、コンテンツ注文システム及び視聴管理方法
JP6810093B2 (ja) * 2018-04-25 2021-01-06 ファナック株式会社 ロボットのシミュレーション装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742263A (en) * 1995-12-18 1998-04-21 Telxon Corporation Head tracking system for a head mounted display system
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
JP3413127B2 (ja) 1999-06-11 2003-06-03 キヤノン株式会社 複合現実感装置及び複合現実感提示方法
JP3363861B2 (ja) 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
GB2376397A (en) * 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2004127024A (ja) * 2002-10-03 2004-04-22 Canon Inc 複合現実感システム用コンテンツ保護装置及び保護方法
JP2005165776A (ja) * 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
US7295220B2 (en) * 2004-05-28 2007-11-13 National University Of Singapore Interactive system and method
US20050285878A1 (en) * 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
WO2006025137A1 (ja) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
JP4133976B2 (ja) * 2004-09-01 2008-08-13 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、ゲーム装置および画像処理方法
JP4500632B2 (ja) * 2004-09-07 2010-07-14 キヤノン株式会社 仮想現実感提示装置および情報処理方法
US7773098B2 (en) * 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788755A (zh) * 2010-02-28 2010-07-28 明基电通有限公司 可摄影电子装置以及其操作方法

Also Published As

Publication number Publication date
EP1873617A3 (en) 2013-02-27
EP1873617A2 (en) 2008-01-02
US20080106488A1 (en) 2008-05-08
CN100578426C (zh) 2010-01-06
JP4757115B2 (ja) 2011-08-24
US20120236179A1 (en) 2012-09-20
JP2008009646A (ja) 2008-01-17
US8207909B2 (en) 2012-06-26
US8633871B2 (en) 2014-01-21

Similar Documents

Publication Publication Date Title
CN100578426C (zh) 管理信息的设备和方法
KR102034947B1 (ko) 게임 장면 내에 타깃을 고정하는 방법 및 단말기
CN103180893B (zh) 用于提供三维用户界面的方法和系统
US9684169B2 (en) Image processing apparatus and image processing method for viewpoint determination
JP6978701B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに、情報処理装置、その制御方法、及びプログラム
US7292240B2 (en) Virtual reality presentation device and information processing method
CN107430686A (zh) 用于移动设备定位的区域描述文件的众包创建和更新
US8147329B2 (en) Game device, control method for the game device, and information storage medium
JP2020024752A (ja) 情報処理装置及びその制御方法、プログラム
US20070146390A1 (en) Image processing method and image processing apparatus
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
TWI750822B (zh) 用於為目標設置可呈現的虛擬對象的方法和系統
JP6152888B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
CN104704449A (zh) 用户界面设备和用户界面方法
US20190378335A1 (en) Viewer position coordination in simulated reality
JP7172139B2 (ja) 販売システム
CN110431601A (zh) 信息处理装置
McNamara et al. Investigating low-cost virtual reality technologies in the context of an immersive maintenance training application
US11703682B2 (en) Apparatus configured to display shared information on plurality of display apparatuses and method thereof
US20220207832A1 (en) Method and apparatus for providing virtual contents in virtual space based on common coordinate system
JP6376251B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2015121892A (ja) 画像処理装置、画像処理方法
JP7317895B2 (ja) プログラム
JP6164177B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
US20200042077A1 (en) Information processing apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100106

Termination date: 20180628

CF01 Termination of patent right due to non-payment of annual fee