CN103258184A - 用于捕获场景的深度数据并且应用计算机动作的方法 - Google Patents

用于捕获场景的深度数据并且应用计算机动作的方法 Download PDF

Info

Publication number
CN103258184A
CN103258184A CN2013100121887A CN201310012188A CN103258184A CN 103258184 A CN103258184 A CN 103258184A CN 2013100121887 A CN2013100121887 A CN 2013100121887A CN 201310012188 A CN201310012188 A CN 201310012188A CN 103258184 A CN103258184 A CN 103258184A
Authority
CN
China
Prior art keywords
user
depth
video camera
scene
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100121887A
Other languages
English (en)
Other versions
CN103258184B (zh
Inventor
G·M·札莱夫斯基
M·海格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Europe Ltd
Sony Interactive Entertainment LLC
Original Assignee
Sony Computer Entertainment Europe Ltd
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Europe Ltd, Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment Europe Ltd
Publication of CN103258184A publication Critical patent/CN103258184A/zh
Application granted granted Critical
Publication of CN103258184B publication Critical patent/CN103258184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4751—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user accounts, e.g. accounts for children
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1006—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals having additional degrees of freedom
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/201—Playing authorisation given at platform level
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Abstract

本发明提供一种用于自动应用预定权限给具有一个或者多个媒体源的空间中的所识别和跟踪的用户的计算机实现方法。该方法包括定义用户轮廓并且将其保存到存储器的操作。用户轮廓可以包括使用深度感应摄像机识别和跟踪用户的数据。或者，定义和保存用来定义对于该用户轮廓而言访问特定媒体的权限级别的权限。该方法还包括用深度感应摄像机捕获空间场景中的图像和深度数据的操作。在又一个操作中，根据图像和深度数据在场景中跟踪和识别用户。或者，所定义的权限被自动应用到媒体源，使得用户在场景中被识别出和跟踪到时，该用户被授权访问从一个或者多个媒体源中选出的内容。

Description

用于捕获场景的深度数据并且应用计算机动作的方法
本申请为申请号为200980114823.4、申请日为2009年2月24日、发明名称为“用于捕获场景的深度数据并且应用计算机动作的方法”的申请的分案申请。
背景技术
视频游戏工业这些年已经发生了许多改变。随着计算能力的扩展，视频游戏的开发人员同样已经编制出利用这些增加的计算能力的游戏软件。为此，视频游戏开发人员一直在编码结合复杂操作和数学运算的游戏，来产生很逼真的游戏体验。
示例的游戏平台可以是索尼Playstation、索尼Playstation2（PS2）以及索尼Playstation3（PS3），其每一个都以游戏控制台的形式出售。正如所公知的，游戏控制台被设计为连接到监视器（通常是电视）并且支持通过手持控制器的用户交互。游戏控制台使用专门的处理硬件设计，包括CPU、用于处理密集图像操作的图形合成器、用于执行几何转换的矢量单元，以及其他的粘合硬件（glue hardware）、固件和软件。游戏控制台还被设计具有光盘托盘，用来接收通过游戏控制台本地播放的游戏光盘。还可以是在线游戏，其中用户可以通过因特网与其他用户以交互方式比赛或一起进行游戏。
和互联网连接的具有一直增加的处理能力的游戏控制台开始用作娱乐门户（portal），其可以提供对于供应流式传输和可下载媒体的在线交互和在线商场的访问。在一个在线环境中，家长通常为有效和高效的家长控制而努力。家长控制的逐段实现会产生让家长控制存在间隙的低效、过度或部分的实现。例如，当电缆盒可以提供对电视频道的家长控制时，可以要求对保存在光学媒介上的视频的单独的家长控制，诸如DVD或者蓝光光盘。
本发明的实施例在此上下文中提出。
发明内容
广义来说，本发明使得可以使用深度感应摄像机识别和跟踪情景中的用户。基于情景中被识别和跟踪的用户，对于用户的识别和跟踪可以使得能够自动应用访问控制到多个媒体源。用户可以将访问控制配置为用户轮廓的一部分。用户还可以将虚拟模型（avatar）和虚拟模型动画配置为用户轮廓的一部分。虚拟模型动画可以用来显示场景中和通过场景的用户动作。
在一个实施例中，披露了用于自动应用预定权限给具有一个或者多个媒体源的空间中的所识别和跟踪的用户的计算机实现方法。该方法包括定义用户轮廓并且将其保存到存储器的操作。用户轮廓可以包括使用深度感应摄像机识别和跟踪用户的数据。在另一个操作中，定义和保存用于定义对于该用户轮廓而言访问特定媒体的权限级别。该方法还包括用深度感应摄像机捕获空间中的场景的图像和深度数据的操作。在又一个操作中，根据图像和深度数据来跟踪和识别场景中的用户。仍在另一个操作中，所定义的权限自动应用到一个或者多个媒体源，从而当该用户在场景中被识别出和跟踪到时该用户被授权访问一个或者多个媒体源中所选出的内容。
在另一个实施例中，披露用于识别和跟踪真实对象以自动将预定义的计算机产生的效果应用到真实世界对象的虚拟世界表现的计算机实现的方法。该方法包括定义用户轮廓并且将其保存到存储器的操作，该用户轮廓包括使用深度感应摄像机来识别和跟踪用户的数据。该方法还包括定义动画且将其保存在存储器中的操作，该动画结合在和用户轮廓相关的虚拟世界场景中。在另一个操作中，深度感应摄像机捕获场景，其中用户在该场景中被识别和跟踪。在又一个操作中，基于所识别出和跟踪到的用户，自动应用所定义的动画，使得显示屏示出结合的动画。
在又一个实施例中，披露用于识别和跟踪真实世界空间中真实世界用户的计算机实现的方法。在一个操作中，根据深度感应摄像机捕获的图像和深度数据来定义用户轮廓。用户轮廓可以包括和真实世界的用户的物理特征相关的图像和深度数据。在另一个操作中，场景的图像和深度数据可以使用深度感应摄像机捕获。该方法还可以包括识别场景中移动对象的操作。在另一个操作中，移动对象的图像和深度数据允许真实世界的用户的头部在场景中被锁定和跟踪。在又一个操作中，实时分析头部的图像和深度数据。该分析可以包括将头部的图像和深度数据与和该物理特征相关的用户轮廓图像和深度数据相比较，其中，当用户轮廓中的图像和深度数据基本上匹配头部的图像和深度数据时该用户被识别出来。
通过下面结合附图、以例子的方式示出本发明原理的详细描述，本发明的其它方面和优点将变得更加清楚。
附图说明
通过参考与附图相结合的下列描述，本发明及其更多的优点可以被最好地理解。
图1A是根据本发明的一个实施例的包括用来识别和跟踪真实世界对象的示例性操作的流程图，用来将预定的计算机产生的效果应用到真实世界对象的虚拟世界表现中。
图1B示出根据本发明的一个实施例的连接到计算机系统的深度感应摄像机的视场中的场景。
图2A-2D示出根据本发明一个实施例可用于定义用户轮廓的示例屏幕。
图2E是根据本发明一个实施例的示出实现添加另外的用户母亲的示例屏幕。
图2F-1示出根据本发明的一个实施例的可用来识别用户的深度感应摄像机捕获的面部特征。
图2F-2示出根据本发明一个实施例捕获在多个位置的用户头部250的图像和深度数据。
图2G示出根据本发明的一个实施例的由通过深度感应摄像机捕获的不同视图所构建的模拟用户面部251的多个姿态的矩阵。
图2H是示出根据本发明一个实施例多个面部特征的相对位置变化的三个图像序列。
图2I是示出根据本发明一个实施例获取用户头部的图像和深度数据的程序的示例流程图。
图2J是示出根据本发明的一个实施例识别深度感应摄像机的视场中的用户的程序的示例操作的流程图。
图3A-3C示出根据本发明一个实施例可用于建立宠物的用户轮廓的一组简化示例屏幕。
图4A示出根据本发明一个实施例的分配给用户的不同权限的示例图表。
图4B示出根据本发明一个实施例的用户建立的动画的示例图表。
图5A示出根据本发明一个实施例包括作为所处理视频显示在屏幕上的真实世界场景的空间。
图5B示出根据本发明实施例的示例性的所处理的视频。
图6示出根据本发明一个实施例的真实世界的场景和如何将真实世界的场景作为所处理视频10c显示在屏幕上。
图7是示出应用点跟踪的操作的示例流程图，用来改进所认识对象的识别和跟踪。
图8是根据本发明的一个实施例的示出点跟踪的场景的示例视图。
图9示意性示出索尼
Figure BDA00002727979300041
娱乐装置的整体系统架构，这是根据本发明一个实施例的可使用动态三维对象映射来建立用户定义的控制器的计算机系统。
具体实施方式
本发明披露了在使用来自深度感应摄像机的图像和深度数据识别出用户之后自动应用针对一计算机系统的用户轮廓的方案。广义来讲，计算机系统可以是从用户获取输入的任一类型的系统，无论其是通用计算机（例如，桌面型、笔记本、便携装置、智能电话等）还是如同游戏控制台一样的专用计算机。深度感应摄像机可以捕获几何深度数据和图像数据。深度感应摄像机可以提供图像和深度数据给计算机系统，用于分析和处理。在一个实施例中，深度感应摄像机是单镜头摄像机，并且在其他实施例中，可以使用多个摄像机镜头来捕获来自不同位置或者场景的图像和深度数据。
在以下描述中，提出多个特定细节以便对本发明全面理解。然而本领域普通技术人员应该清楚，本发明不使用这些特定细节的一些或者全部也可以实现。在其它实例中，为了避免不必要地混淆本发明，公知的处理步骤没有详细描述。
图1A是根据本发明的一个实施例的包括可用来识别和跟踪真实世界对象以将预定的计算机产生的效果应用到真实世界对象的虚拟世界表现中的示例性操作的流程图。操作100用来定义要识别和跟踪的用户。在一个实施例中，使用和计算机系统相连的深度感应摄像机来执行操作100。各个用户可通过由深度感应摄像机捕获的个人特征来加以区分并由计算机系统执行的软件来进行识别。在多个实施例中，可以捕获包括但不限于诸如眼部、鼻子和嘴部的面部特征之间的不同距离的面部特性。在其他实施例中，可以使用摄像机的深度感应特征来识别用户的特征，诸如用户的鼻子、眼部、头部尺寸、特征的相对位置等。
用户还可以定义虚拟世界的虚拟模型作为操作100的一部分。作为定义要识别和跟踪的用户的一部分，用户可以配置表示虚拟世界中的用户的自定义虚拟模型。用户可以将其虚拟模型配置为类似于其真实世界的外表或者选择不受其真实世界外表限制的所想象的虚拟模型。为此，虚拟模型可以包括但不限于身体、头部、眼部、鼻子、耳部、嘴部、臂部、腿部和头发的尺寸和形状的配置。还可以允许用户为其虚拟模型配置虚拟衣服和鞋子，以及诸如珠宝和太阳镜的时尚配饰。
操作102被用来为所识别用户定义权限和动画。当所识别的用户处于深度感应摄像机前时，该权限允许对经由计算机系统可访问的内容的类型进行限制。在一个实施例中，计算机系统连接到互联网并且提供对不同媒体源的访问，诸如但不限于流式传输的或者可下载的音乐和多媒体，诸如电影、电视剧和视频片段。此外，计算机系统可提供对在线或者可下载游戏的访问，并且提供web浏览器来访问可以流式传输视频的web站点，诸如YouTube。计算机系统还可以包括集成的媒体源，其可以播放DVD或者其它光学存储媒体，诸如蓝光或HD-DVD盘。分配给所定义用户的权限可以限制对特定类型的电影、电视剧、游戏和web站点的访问。
操作102还可以被用来为所识别用户定义动画。响应于通过深度感应摄像机和计算机系统检测的真实世界的动作，可以使用动画来在屏幕上使所识别的用户的虚拟模型动起来。例如，在一个实施例中，当用户移动速度超过阈值速度时，可以将动画应用到用户的虚拟模型。在一个实施例中，用户的低速运动会导致在用户的虚拟世界虚拟模型上动画显示蜘蛛网。在另一个实施例中，用户的快速运动会导致强调用户的高速率的动画，诸如模糊虚拟模型或者其它动画，诸如动作云或者云效应。用户虚拟模型以及所定义的权限和动画可以保存,用于在深度感应摄像机和计算机系统认出所识别的用户时被调用。
操作104可以被用来识别和跟踪进入到深度感应摄像机的视场中的移动对象。如果在摄像机的视场中移动的对象被识别为所定义的用户时，操作106可以自动应用权限和/或动画。在移动对象未被识别为所定义的用户的情况下，操作106可以自动载入默认的权限和/或动画。操作104还可以利用计算机系统和深度感应摄像机来随时间跟踪和制作被识别的和未被识别的用户的运动动画。在一个实施例中，当深度感应摄像机识别运动时，可以开始建立随时间变化的运动日志文件。在实施例中，当所识别的用户进入深度感应摄像机的视场时，使用用户的预设动画来建立日志文件。日志文件可以回放，来示出所识别用户在深度感应摄像机的视场中随时间的运动。
图1B示出根据本发明的一个实施例的连接到计算机系统120的深度感应摄像机110的视场152中的场景150。深度感应摄像机110可以使用RGB图像模块114来捕获图像数据，而深度数据模块112可以捕获对象在视场152中的相对深度数据。在一个实施例中，深度感应摄像机110可以基于三维对象的反射光量来确定相对深度。在一些实施例中，深度感应摄像机包括可以发射脉冲红外光的红外发光二极管（LED）的阵列。深度数据模块112可以基于反射回到深度感应摄像机110中的脉冲红外光的量来确定对象在视场中的相对深度。在其他实施例中，图像和深度数据从深度感应摄像机110发送到计算机系统120来处理。
聚焦模块118和逻辑处理单元116可以包括在深度感应摄像机110中。在一些实施例中，逻辑处理单元116可用来关联来自RGB图像模块114和深度数据模块112的数据。在其他实施例中，逻辑处理单元116可以协助控制聚焦模块118。聚焦模块118可以改变RGB图像模块114的焦点和深度数据模块112的焦点。增加红外LED阵列中的各个红外LED的强度和持续时间可以改变深度数据模块112的焦点。深度感应摄像机所捕获的图像和深度数据可以由计算机系统120大体实时处理。
除了从深度感应摄像机110接受并且处理图像和深度数据外，计算机系统120可以包括或者接受来自多个其它源的输入。例如，TV源122、DVD/蓝光介质124、游戏126和互联网128都可以通过计算机系统120来访问。用户可以经由计算机系统120的用户接口选择不同的媒体源130a/b。
场景150包括用户140、灯142和沙发144。计算机系统120可以区分用户140和诸如灯142和沙发144的静止对象。响应于来自计算机系统120的命令，深度感应摄像机110可以聚焦到用户140周围的区域146。为了识别用户140，深度感应摄像机110可以将其焦点精确到用户140的头部区域148。聚焦在头部区域148可以允许深度感应摄像机来捕获用户140的图像和深度数据，其可以被分析并且和计算机系统120相关的轮廓数据相比较。
图2A-2D示出根据本发明一个实施例可用于定义包括虚拟模型的用户的示例屏幕。图2A示出计算机系统的示例屏幕200a，其中已经建立父亲202、女儿204和儿子206的用户。屏幕200上还示出按钮208，该按钮允许建立新的用户。图2B示出根据本发明一个实施例的作为选择按钮208的结果的示例屏幕200b。屏幕200b显示对于本发明的一个实施例可以建立的不同类型的用户轮廓。例如，通过选择人类图标210可以建立基于人的轮廓。在用户期望跟踪房间内宠物移动的实施例中，选择狗图标212或者猫图标214可以建立狗或者猫的轮廓。可以包括其它类型的轮廓，并且所列出的不应该理解为限制性的。
图2C示出根据本发明一个实施例的作为选择人类图标210的结果的示意性屏幕200C。屏幕200C允许用户在男性图标216或者女性图标218之间选择。在此例中，用户选择女性图标218。图2D示出根据本发明不同实施例的用于配置虚拟模型的两个不同屏幕200d/e。屏幕200d示出可以用来配置虚拟模型的菜单系统。如图所示，菜单系统可以包括对于姓名、身高、体型、眼部、头发、鼻子和嘴部的选择。本领域技术人员应该理解，屏幕200d上所示的每个菜单选项可以调用另一个屏幕或子菜单，允许用户更细粒度地配置虚拟模型。
屏幕200e示出根据本发明的一个实施例的替代的虚拟模型的自定义屏幕。使用该替代的虚拟模型自定义，深度感应摄像机可以用来捕获用户的图像。所捕获的用户图像随后可以通过计算机系统处理，以基于所捕获的用户图像自动建立虚拟模型。在一些实施例中，自动建立的虚拟模型是基本的虚拟模型，用户可以修改自动建立的虚拟模型的特征。在两个实施例中，用户可以使用衣服或者时尚配饰来自定义或者调整自己建立的或者自动建立的虚拟模型。
图2E是示出根据本发明一个实施例的完成添加另外的用户母亲220的示例屏幕200f。屏幕200f是如图2A-2D中描述的完成建立母亲220用户轮廓的结果。这使得在屏幕200f中示出父亲202、女儿204、儿子206和母亲220的用户轮廓。图2E还示出被选择来增加另一个用户轮廓的按钮208。
图2F-1示出根据本发明的一个实施例的可用来识别用户的深度感应摄像机捕获的面部特征。在配置用户的虚拟模型时，深度感应摄像机可以用来捕获用户头部250和面部特征的图像和深度数据。计算机系统可以分析图像和相关的深度数据，用来识别允许计算机系统识别用户的特征。
多个识别性特征包括但不限于面部特征之间的距离、面部特征的相对尺寸和面部特征的相对位置。在其他实施例中，可以识别用户头部的特征，诸如耳部的相对位置和尺寸。例如，图2F中示为z平面的距离的深度数据可以用来确定和识别用户的鼻尖和用户上嘴唇之间的距离Z1。深度数据还可以用来确定和识别用户的鼻尖和用户眼部之间的距离Z2。类似地，图像数据可用来识别用户眼部之间的距离，示为图2F-1中的距离X。同样，可以测量用户鼻子和其嘴部之间的距离B，并且可以将其用作识别性特征。图像数据和相关的深度数据可以确定深度数据和图像的测量值之间的比例，用来识别和认识用户。
图2F-2示出根据本发明一个实施例捕获多个位置的用户头部250的图像和深度数据。在一些实施例中，当建立用户轮廓时，用户可以被提示（例如，通过GUI、语音/声音命令或者文本）来转动或旋转它们的头部到多个位置。这允许深度感应摄像机来捕获用户整个头部的图像和深度数据，或者具有可识别面部特征的头部的至少大部分前面部分。
计算机系统可以分析图像和深度数据来建立用户头部的线框模型。在一些实施例中，用户头部的线框模型可以用作用户虚拟世界虚拟模型的一部分。如下详细讨论的，计算机系统可以分析线框模型来确定多个角度的面部和头部特征之间的用户特定的比例。已经讨论的特定的面部特征和测量值意为示例性的而不应认为是限制性的。可以分析图像和深度数据的更多测量值用来识别和认识用户。
在其他实施例中，深度感应摄像机可以用来捕获用户在各个姿态下整个身体的图像和深度数据。类似于面部识别，计算机系统可以分析图像和相关的深度数据来识别用户。如结合图8和图9详细描述的，场景中的静止对象可以通过计算机系统来识别并且通过提供用户在场景中的相对位置来协助识别和跟踪用户。
图2G示出根据本发明的一个实施例的至少部分地根据由深度感应摄像机捕获的不同视图构建的所模拟的用户面部251的多个姿态的矩阵。在一些情况中，通过接近的维度和深度数据（例如，使用图2F-2中所捕获的数据）来产生所构建的姿态。
当系统在使用或者操作时，因为用户可以从多个角度进入深度感应摄像机的视场，所以深度感应摄像机可能并不总是获取用户的直接前视图。因此，为了识别和跟踪用户，计算机系统可以使用用户头部的线框模型来推断多个位置的用户头部的面部和头部特征的不同比例。
行262示出如同用户从右向左转动头部并且头部不倾斜时捕获的用户头部线框模型的图像序列。行260示出类似的图像序列，其中线框模型定位成使得头部向后倾斜，而在行264中，线框模型向前倾斜。列272示出各行面向前方的线框模型，而列270和列274示出在对深度感应摄像机分别向右和向左1/3视角的用户的图像数据。类似地，列268和列276示出对深度感应摄像机分别向右和向左2/3视角的用户，而列266和列278示出对深度感应摄像机分别向右和向左的侧轮廓的用户。图2G中所示矩阵已经简化并且应该理解为示例性的。真实世界的实施例可以不同帧率采样视频图像，来编辑各个用户的更多或者更少的图像和深度数据。如下所讨论的，在用户的不同视图中，可以分析多个面部特征的相对位置的图像和深度数据。在一个实施例中，根据图像和深度数据可以识别和跟踪右耳E1、右眼e1、鼻子N、左眼e2和左耳E2。
图2H是示出根据本发明一个实施例的多个面部特征的相对位置变化（例如，德尔塔值）的一系列三个图像。在轮廓280中，用户直接正对深度感应摄像机。从该角度，可以确定用户鼻子N相对于用户眼部e1和e2以及耳部E1和E2位置的位置。对于一些用户，在轮廓280中不能确定耳部E1和E2的相对位置。在这些情况中，根据用户眼部和鼻子的相对位置可以确定该识别。为了识别用户，用户的面部特征和耳部的相对位置可以和线框模型的矩阵相比。如果用户被识别出的话，计算机系统可以自动应用合适的用户轮廓。此外，在一些实施例中，计算机系统可以监控来自深度感应摄像机的图像和深度数据以监控和跟踪用户头部的位置。在进一步的实施例中，图像和深度数据还可以跟踪用户的眼部运动，来确定用户在观看空间中的何处。
轮廓282示出旋转用户头部250到左边如何改变用户的面部特征的相对位置。比较轮廓280和轮廓282，用户的左耳E2对于深度感应摄像机不再可见，而右耳E1更加明显。同样，左眼e2当前更加远离深度感应摄像机并且右眼e1和左眼e2之间的纵横比已经改变。根据这样的实时图像和深度数据，计算机系统可以尝试将用户和保存在存储器中的线框模型相比较。在轮廓282中，深度感应摄像机数据可以指示左眼e2的深度位置。同时，可以分析深度感应摄像机所捕获的图像数据并且可以确定左眼e2的相对尺寸。类似地，深度感应摄像机可以感知用户鼻子N相对于右耳E1、右眼e1和左眼e2的变化。
轮廓284示出旋转其头部的用户的左侧轮廓视图。在此视图中，深度感应摄像机捕获完整轮廓的用户的右耳E1、右眼e1和鼻子N。对于深度感应摄像机可见的面部特征的相对位置可以被确定并且用来根据线框模型矩阵识别和跟踪的用户。图2H中所示轮廓应该被简化并且应该理解为示例性的。在一些实施例中，每秒可以捕获多帧图像和深度数据来建立面部特征比例的范围。采样的范围随后可以和线框模型矩阵中的运动范围相比较。如图2H中所示，可以在用户将其头部侧向转动时跟踪面部位置的不同比例。类似地，在其他实施例中，当用户将其头部向前或者向后倾斜时，使用将用户的眼部、鼻子和嘴部的相对位置分界的水平线-可确定不同的比例。当用户将其头部向前或者向后倾斜时，可以计算深度感应摄像机所捕获的水平线之间的相对距离，来确定头部向后或者向前倾斜多少。
图2I是示出根据本发明一个实施例获取用户头部的图像和深度数据的过程的示例流程图。当建立或者修改用户的轮廓时可以使用以下的操作，使得计算机系统可以在未来认识用户。操作285开始用户的头部扫描。当如图2F-2所示建立或者修改用户轮廓时开始该操作。操作286将深度感应摄像机聚焦到用户的头部区域。在一个实施例中，用户可以被指示站在相对于深度感应摄像机的特定位置。在另一个实施例中，深度感应摄像机可以将成像和深度感应元件的焦点转移朝向用户。如果多个人出现在深度感应摄像机的前面，则可以使用屏幕显示提示用户选择哪个人来进行扫描。
操作287用来收集头部区域的图像和深度数据。如前所述，该操作可以指示用户来将其头部向多个方向转动。这可以允许深度感应摄像机来捕获处于多个位置的用户头部。操作288基于图像和深度数据来产生用户头部的模型。在一个实施例中，可以使用深度数据来构建用户头部的三维线框模型。计算机程序可以使用线框模型确定多个面部特征的相对位置和头部特征。在操作289可以保存位置数据和模型并且将其与用户轮廓相关联。结束操作290完成该流程图，尽管还可以有其他操作。
图2J是示出根据本发明的一个实施例识别深度感应摄像机的视场中的用户的过程的示例操作的示例流程图。操作291识别深度感应摄像机的视场中的移动对象。如下所讨论的，移动对象可以是诸如猫或者狗的宠物。当识别和跟踪宠物时，可能需要不同的操作。以下操作涉及识别和跟踪人类用户，但是也可以修改为跟踪非人类用户。操作292尝试检测移动对象中用户的头部。在一个实施例中，计算机系统可以使用诸如眼部的通用面部特征来整体识别头部。在其他实施例中，可以使用诸如但不限于眼部和嘴部或者眼部和鼻子的面部特征的组合来识别头部。
操作293开始跟踪头部，直到基于和所保存的用户模型相比较找到可识别的面部轮廓。锁定并且跟踪头部使得计算机系统可比较实时图像和深度数据与所保存的用户头部和面部数据。为了识别用户，深度感应摄像机可以比较实时图像和深度数据的框架和线框模型的可识别的面部轮廓。在一个实施例中，计算机系统分析图像数据来确定实时图像中头部的角度并且将面部和头部数据与所保存的线框模型的类似位置的数据相比较。操作294尝试使用在实时用户上检测的特征来验证所保存的用户轮廓深度和图像数据。如果深度和图像数据被验证，则操作295确定用户已经被验证并且应用所保存的用户轮廓。结束操作299完成该程序，尽管还可以有其他操作。
如果操作294中的深度和图像数据没有被验证通过，则操作296认识到实时用户还没有被识别。操作298用来确定计算机系统是否进行另一个尝试来锁定和跟踪用户。在一些实施例中，可以设置阈值使得计算机系统尝试识别用户预定的次数。在其他实施例中，计算机系统可以持续尝试无限制地识别用户。仍在其他实施例中，可以基于可用的计算资源可变次数地尝试识别用户。如果进行另一次尝试来锁定用户，则程序返回操作293。如果不进行锁定用户的其他尝试，则操作297维持默认的轮廓。
图3A-3C示出根据本发明一个实施例可用于为宠物建立用户轮廓的示例屏幕的简化图。图3A示出作为从图2E选择按钮208所得到的屏幕200b。屏幕200b还示出选择了狗图标212。图3B示出表示根据本发明实施例建立狗的虚拟模型的不同方法的屏幕300a/b。屏幕300a示出使用深度感应摄像机来捕获狗的多个方面的图像以建立虚拟模型。计算机系统可以处理不同图像，来自动建立狗的虚拟模型以及轮廓信息，这些信息允许狗在深度感应摄像机的视场中时被识别出来。
屏幕300b是根据本发明的一个实施例的替代的狗的虚拟模型的建立屏幕。屏幕300b可以允许用户选择狗的不同特征来建立其狗的虚拟模型。例如，在一个实施例中，用户可以通过选择狗的虚拟模型的相对尺寸来开始。
图4A示出根据本发明一个实施例的示出分配给用户的不同媒体源权限的示例图表400。视频游戏权限402可以基于通过娱乐软件分级委员会（ESRB）分配给游戏的级别来分配给不同的用户。类似地，可以基于电视家长指南来设置每个用户的电视权限404。在多个实施例中，基于计算机系统所安装的国家，可以载入不同的电视家长指南。对于安装在美国的计算机系统，可以根据美国电影协会(MPAA)分级系统来将电影权限406分配给每个用户。同样，互联网权限408可以配置为过滤和限制访问用户专用的内容。在计算机系统配置为提供对音乐410访问的实施例中，可以设置权限来允许或者拒绝用户访问带有家长指导标签（PAL）的音乐。图4A中所示的权限类型仅是示例性的并且不应该认为是限制性的，并且可以分配这里没有讨论的其他权限。
分配给用户的权限可以自动应用到通过计算机系统可访问的多种格式的媒体。例如，当儿子206进入深度感应摄像机的视场并且通过计算机系统认识出时，计算机系统将自动加载图4A中列出的权限。因此，儿子406仅被允许访问ESRB分级为E的视频游戏、家长指南为TV-Y7的电视剧以及使用MPAA分级为G的电影。此外，通过计算机系统访问互联网将应用特定网络过滤器并且阻止访问带有PAL的音乐。
在计算机系统识别出超过一个所认可用户的情况中，可以启用最小限制权限。因此，如果识别了儿子206和父亲202，则计算机系统将启用为父亲202所列出的权限。类似地，如果识别出女儿204和儿子206，则启用为女儿204所列出的权限。
图4B是示出根据本发明一个实施例由用户建立的动画的示例图表。在相应的所识别的用户在深度感应摄像机的视场中行走42时，用户可以选择或者建立可以显示在屏幕上的各个图标。如图4B所示，当儿子在深度感应摄像机前行走时，蓝色的运动鞋416可以显示在屏幕上跟踪儿子通过房间的真实路径。类似地，女儿的行走路径可以被分配粉色的脚印418，而狗Sparky的行走路径可以被分配黑色爪印420。
还可针对诸如跑动44的动作为用户分配动画。例如，当儿子跑动时，虚拟模型动画可以自动从蓝色运动鞋416转换到骑行滑板422的儿子的虚拟模型。以同样方式，当女儿被计算机识别为跑动时，其粉色脚印418可以在其在摄像机的视场内跑动期间和距离内改变成滑轮靴414。甚至在Sparky跑动位置也可以将其黑色爪印420变为红色爪印423。可以配置的其它类型的动画包括但不限于，用户和场景中特定对象交互的动画，甚至在所识别的用户的组合处于房间内时的动画。具体的动画目的是提供可能的动画的例子，其不应该理解为限制。
图5A示出根据本发明一个实施例包括作为所处理视频10a/b显示在屏幕上的真实世界场景500的空间501。真实世界的场景500包括深度感应摄像机110的视场中的狗502和沙发504。深度感应摄像机110提供图像数据给计算机系统120。计算机系统120随后提供经处理的视频10a/b给屏幕508。在真实世界的场景500中，狗502跳到沙发504上。
图5B示出根据本发明一个实施例的示例性的所处理的视频10a/b。所处理的视频10a示出计算机系统跟踪狗502随时间在沙发504上行走的结果。如图所示，由狗的虚拟模型502a在虚拟世界的沙发504a上产生由爪印512构成的历史路径。所处理的视频10a是计算机系统根据场景500中深度感应摄像机捕获的图像和深度数据来识别狗的结果。作为定义狗502以便通过计算机系统进行识别的一部分，用户可以将爪印512动画和狗502相关联并且将其保存。在其他实施例中，可以使用狗的实时视频图像来替代狗的虚拟模型502a。在计算机系统未识别狗502的实施例中，可以载入一组默认的跟踪符号或者图标并且作为所处理的视频10a来显示。
所处理的视频10b示出根据本发明的一个实施例的专属于和沙发504交互的狗502的替代动画。在此实施例中，用户已经配置动画来示出在真实世界的狗行走在真实世界的沙发上的地方虚拟世界的沙发504a示为被撕破。如前所述，计算机系统可以建立能够重放和保存的在深度感应摄像机前发生的用户动作的日志或者历史路径。在此情况中，用户可以使计算机系统监控场景并且回放真实世界的狗的移动。为了简化起见，所处理的视频10a/b没有示出狗跳到沙发上之前的所跟踪的狗的移动。然而，在多个实施例中，可以经由所记录的动画来跟踪狗的移动并且建立示出地上多个爪印和沙发上撕裂处的随时间的视频。
图6示出根据本发明一个实施例的真实世界的场景600和如何将真实世界的场景600作为所处理视频10c显示在屏幕上。真实世界的场景600包括在深度感应摄像机110前跑动的用户602。深度感应摄像机110捕获跑动的用户602的视频图像并将其发送给计算机系统120来处理。所处理的视频数据从计算机系统120发送给屏幕604并且作为所处理的视频10c来显示。所处理的视频10c的详细视图包括表示用户602的虚拟模型602'。详细视图中还示出响应于跑动的用户602的虚拟模型602'的动画。在一个实施例中，动画包括虚拟模型602'的运动模糊610，用来表示速度感。在另一个实施例中，云雾612可以出现在检测到跑动之前虚拟模型602初始站立的地方。在另一个实施例中，动画的火焰可以响应于跑动而出现在虚拟模型602'的鞋子或者脚部。在一个实施例中，图5A-6中所讨论的历史路径和动画还可以保存到和计算机系统相关的存储器用于回放。在一些实施例中，存储器可以是本地存储装置，诸如硬盘驱动器或者其他非易失性存储器。在其他实施例中，历史路径和动画可以经由因特网上传到远程存储装置。
图7是示出应用点跟踪的操作的示例流程图，用来改进所认识对象的识别和跟踪。操作700使用深度感应摄像机来捕获场景的第一图像。操作702使用深度感应摄像机来捕获场景的第二图像。当目标是为了识别静止对象时，捕获第一和第二图像之间的时间量是可变的。在一些实施例中，可以间隔几分之一秒或者几秒采样图像，而在其他实施例中，可以间隔几分钟、几小时甚至几天采样图像。操作704用来通过比较第一图像和第二图像来确定场景中的静止对象。该比较可以尝试将第一图像中的识别点匹配到第二图像中的对应点。如果识别点在第一图像和第二图像之间没有移动，可以确定识别的点为静止的。在一个实施例中，深度感应摄像机周期性采样图像以持续更新静止对象并且降低计算消耗。操作706将场景中的所识别的静止对象的固定点相关联，用来构件场景中静止对象的模型。操作708将相关的固定点保存到存储器来协助跟踪和识别深度感应摄像机的视场中的对象。
图8是根据本发明的一个实施例的示出点跟踪的场景800的示例视图。场景800包括提供图像数据给计算机系统120的深度感应摄像机110。计算机系统120处理图像数据并且提供经处理的视频显示在屏幕802上。场景还包括诸如沙发806和灯812的静止对象。在一个实施例中，计算机系统120通过比较深度感应摄像机110所捕获的两个图像可以确定场景800中的哪个对象是静止的。计算机系统120可以执行软件，该软件能够识别第二图像中没有移动的第一图像中的点。未移动的点可以标识为静止点。在图8中，识别到沙发806上的静止点808，并且识别到灯812上的静止点814。计算机系统120还可以将静止点互相关来限定场景800中的对象的相对位置。根据已知的相对位置，计算机系统120可以更有效地处理来自深度感应摄像机110的图像数据，来允许更快地渲染表示真实世界对象的虚拟模型，诸如在场景800中移动的用户。
在其他实施例中，图像和深度数据以及点跟踪可以允许为静止对象建立部分线框或者骨架。例如，和沙发806相关的静止点808可以用来建立沙发806的部分线框模型。纹理图可以应用到线框模型，以允许用户修改和自定义根据其真实沙发806的图像和深度数据所建立的虚拟沙发。例如，用户可以将沙发材料从任意多种机织或纹理织物修改为皮革和合成材料。纹理图可以应用到任何场景中的任意静止对象，包括但不限于场景800的墙壁和灯812。用户可以使用深度感应摄像机110来扫描房间，捕获真实世界房间的图像和深度数据并且随后自定义真实世界房间的虚拟世界表现。可以使用图像和深度数据来修改墙壁的颜色或者甚至应用多种类型的墙面覆盖层，包括诸如壁纸或者木墙板的具有纹理的墙面覆盖层。
图9示意性示出索尼
Figure BDA00002727979300161
游戏站3代
Figure BDA00002727979300162
娱乐装置的整体系统架构，这是根据本发明一个实施例可以使用动态三维物体映射建立用户定义的控制器的计算机系统。提供了系统单元1000以及可连接到系统单元1000的各种外围设备。系统单元1000包括：单元处理器（Cell processor）1028；
Figure BDA00002727979300163
动态随机存取存储器（XDRAM）单元1026；具有专用的视频随机存取存储器（VRAM）单元1032的真实性合成器图形单元1030和I/O桥1034。系统单元1000还包括可通过I/O桥1034访问的蓝光
Figure BDA00002727979300164
光盘
Figure BDA00002727979300165
光盘读装置1040，用于读光盘1040a，以及可拆卸插槽式硬盘驱动器（HDD）1036。可选地，系统单元1000还包括存储器读卡器1038，用于读小型闪速存储器卡、存储棒
Figure BDA00002727979300166
存储卡等，类似地，这些设备也可通过I/O桥1034访问。
I/O桥1034还连接六个通用串行总线（USB）2.0端口1024、千兆以太网端口1022、IEEE802.11b/g无线网络（Wi-Fi）端口1020和最多可以支持七个蓝牙连接的蓝牙
Figure BDA00002727979300167
无线链接端口1018。
操作时，I/O桥1034处理所有无线、USB和以太网数据，这包括来自一个或多个游戏控制器1002的数据。例如，用户玩游戏时，I/O桥1034通过蓝牙链接从游戏控制器1002接收数据，并将数据发送到单元处理器1028，单元处理器1028相应地更新游戏的当前状态。
无线、USB和以太网端口还提供到除了游戏控制器10023以外的其他外围设备的连接，例如，遥控器1004、键盘1006、鼠标1008、便携式娱乐设备1010（如索尼游戏站便携式
Figure BDA00002727979300171
娱乐设备）、视频摄像头1012（如视频摄像头）以及头戴式耳麦1014。因而，原则上这些外围设备可以无线连接到系统单元1000，例如，便携式娱乐设备1010可以通过Wi-Fi自组连接通信，同时，头戴式耳麦1014可以通过蓝牙链接通信。
提供这些接口意味着游戏站3代装置还可以和其他外围设备兼容，如数字视频刻录器（DVR）、机顶盒、数码相机、便携式媒体播放器、语音IP电话、移动电话、打印机和扫描仪。
此外，现有的存储器读卡器1016可以通过USB端口1024连接到系统单元，使得可读取游戏站
Figure BDA00002727979300173
或游戏站2代
Figure BDA00002727979300174
设备所使用的那类存储卡。
本实施例中，游戏控制器1002用于通过蓝牙链接和系统单元1000进行无线通信。然而，游戏控制器1002可以连接到USB端口，从而供电，由此为游戏控制器1002的电池充电。除了一个或多个模拟游戏杆和传统控制按钮外，游戏控制器对六自由度运动是敏感的，六自由度运动对应于每个轴的平移和旋转。因而，游戏控制器用户的姿态和运动可以转换成游戏的输入，这可以是除了传统按钮或游戏杆命令之外的输入，或者作为传统按钮或游戏杆命令的替代。可选地，其他支持无线模式的外围设备，例如PlaystationPortable装置，可用作控制器。在PlaystationPortable装置的情况下，可以在装置的屏幕上提供额外的游戏或控制信息（例如，控制指令或生命数）。也可以使用其他替代或补充控制设备，例如跳舞毯（未示出）、光枪（未示出）、方向盘和踏板（未示出）或者定做的控制器，例如快速反应答问游戏的一个或多个大按钮（也未示出）。
遥控器1004还用于通过蓝牙链接和系统单元1000进行无线通信。遥控器1004包括适用于蓝光光盘BD-ROM读装置1040的操作的控制和用于导航光盘内容的控制。
除了传统的预先刻录的以及可刻录的CD以及所谓的超级音频CD以外，蓝光光盘BD-ROM读装置1040还用于读和Playstation以及Playstation2装置兼容的CD-ROM。除了传统的预先刻录的以及可刻录的DVD外，读装置1040还用于读和Playstation2以及Playstation3装置兼容的DVD-ROM。读装置1040还用于读和Playstation3兼容的BD-ROM以及传统的预先刻录和可刻录蓝光光盘。
系统单元1000用于通过音频和视频连接器将视频和音频提供给显示和声音输出装置1042，音频和视频是Playstation3装置通过真实合成图形单元1030产生或解码的，显示和声音输出装置1042如具有显示屏1044以及一个或多个扬声器1046的电视机或者监视器。音频连接器1050可以包括传统模拟和数字输出，视频连接器1052可以不同地包括分量视频、S-视频、复合视频和一个或多个高清多媒体接口（HDMI）输出。因而，视频输出的格式可以如PAL或NTSC、或者为720p、1080i或1080p的高清晰度。
单元处理器1028执行音频处理（产生、解码等）。Playstation3装置的操作系统支持杜比
Figure BDA00002727979300181
5.1环绕声音、杜比
Figure BDA00002727979300182
影院环绕立体声（DTS）以及从蓝光
Figure BDA00002727979300183
光盘解码7.1环绕声音。
本实施例中，视频摄像头1012包括一个电荷耦合装置（CCD）、LED指示器、基于硬件的实时数据压缩和编码装置，这样，可以例如用基于帧内图像的MPEG（运动图像专家组）标准的适当的格式发送压缩的视频数据，以由系统单元1000进行解码。摄像头LED指示器设置为响应于来自系统单元1000的适当控制数据而点亮，例如，以指示不利的照明条件。视频摄像头1012的不同实施例可以通过USB、蓝牙或者Wi-Fi通信端口连接到系统单元1000。视频摄像头的实施例可包括一个或多个也可发送音频数据的相关麦克风。视频摄像头的实施例中，CCD可具有适用于高清视频捕获的分辨率。使用时，例如，由视频摄像头捕获的图像可以包括在游戏内，或者解释成游戏控制输入。
总体而言，为了通过系统单元1000的一个通信端口和如视频摄像头或者遥控器的外围设备进行成功的数据通信，应该提供适当的软件，如设备驱动。设备驱动技术是公知的，在此不做详细描述，但是本领域技术人员将会明白所描述的本实施例可能需要设备驱动或类似的软件接口。
实施例可包括，捕获深度数据以更好地标识现实世界的用户，并指引虚拟模型或场景的活动。物体可以是人拿着的东西，或者是人的手。本说明书中，术语“深度摄像头”和“三维摄像头”指可以获得距离或深度信息以及二维像素信息的任何摄像头。例如，深度摄像头可以使用受控的红外照明来获得距离信息。另一个示例深度摄像头可以是立体摄像机对，其使用两个标准摄像头对距离信息做三角测量。类似地，术语“深度感应装置”指可以获得距离信息以及二维像素信息的任何类型的装置。
三维成像技术的最新进展打开了增加实时交互式计算机动画的可能性之门。具体而言，除了普通的二维视频成像以外，新的“深度摄像头”提供了捕获和映射三维图像的能力。利用新的深度数据，本发明的实施例使得可将计算机产生的物体实时放置在视频场景的各个位置，包括放在其他物体后面。
此外，本发明的实施例为用户提供实时交互式游戏体验。例如，用户可以和各种计算机产生的物体进行实时交互。此外，可以实时改变视频场景，以增强用户的游戏体验。例如，可将计算机产生的服装插在用户的衣服上，可以用计算机产生的光源在视频场景内投射虚拟影子。因而，使用本发明的实施例和深度摄像头，用户可以在自己的客厅内体验交互式游戏环境。和普通摄像头类似，深度摄像头捕获包括视频图像的多个像素的二维数据。这些值是像素的颜色值，通常是每个像素的红色、绿色和蓝色（RGB）值。这样，摄像头捕获的物体在显示器上显示成二维物体。
本发明的实施例还考虑到了分布式图像处理结构。例如，本发明不限于在一个或甚至两个位置进行捕获的图像和显示图像处理，例如，在CPU中或者在CPU和另一个元件中。例如，输入图像处理可以随时在相关CPU、处理器或者可执行处理的装置中进行，实质上，所有的图像处理可以分布在互联的系统中。因而，本发明不限于任何具体的图像处理硬件电路和/或软件。这里描述的实施例也不限于通用硬件电路和/或软件的任何具体组合，也不限于用于处理部件执行的指令的任何特定源。
理解了上述实施例，应该理解，本发明可采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作包括需要对物理量进行物理处理的操作。通常，虽然这不是必须的，但这些量的形式是可以存储、传输、组合、比较和进行其他操作的电信号或磁信号。此外，执行的操作通常称为产生、标识、确定或比较。
上述发明可用其他计算机系统结构实现，这包括手持式设备、微处理器系统、基于微处理器或可编程的消费电子产品、小型计算机、大型计算机等。本发明还可在分布式计算环境中实现，其中，由通过通信网络连接的远程处理装置执行任务。
本发明还可实现成计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，包括电磁波，该数据之后由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附加存储（NAS）、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带以及其他光学和非光学数据存储设备。计算机可读介质也可以分布在耦合到计算机系统的网络上，这样，计算机可读代码以分布方式存储和执行。
虽然描述了前述本发明的一些细节以供清楚理解之需，显而易见的是，可以不脱离所附权利要求的范围而进行一些变化和修改。因而，这些实施例只是示例性的而非限制性的，本发明不限于这里描述的细节，而是可在所附权利要求及其等价内容的范围内进行修改。

Claims (13)

1.一种用于识别和跟踪真实世界对象来自动把预定的计算机产生的效果应用到所述真实世界对象的虚拟世界表现的计算机实现方法，包括：
（a）定义用户轮廓并且将其保存到存储器，用户轮廓包括用于使用深度感应摄像机识别和跟踪所述用户的数据；
（b）定义用来结合到和用户轮廓相关的虚拟世界场景中的动画并将其保存到存储器中；
（c）使用所述深度感应摄像机捕获场景；
（d）使用所述深度感应摄像机识别所述场景中的用户；
（e）基于所识别和跟踪的用户，自动应用所述定义的动画，使得显示屏幕示出结合的动画;
其中,深度数据用来识别静止对象上的点，所述点用来绘制在所述场景中找到的对象的轮廓。
2.权利要求1的方法，其中，捕获所述场景包括滤除静止对象，使得聚焦在移动对象，并且聚焦在移动对象包括：
聚焦在所述场景中的移动对象上；
使用所述图像和深度数据来分析所述移动对象的特征；以及
确定所述移动对象是否对应于所述用户。
3.权利要求2的方法，其中，该用户是人类或者宠物的其中一个。
4.权利要求3的方法，其中，跟踪所述用户还包括：
显示所述用户的历史路径以及和该移动相关的动画，该用户的历史路径识别随时间的移动。
5.权利要求4的方法，还包括：
将所述历史路径保存到存储器中，并且
启用所述历史路径的重放。
6.权利要求1的方法，其中，基于所捕获的深度数据，将该动画应用到在所述场景中找到的对象的轮廓上。
7.权利要求1的方法，还包括：
由用户提前选择该动画。
8.权利要求1的方法，其中，基于该识别的用户，将多媒体内容和动画呈现在显示屏上。
9.一种用于识别和跟踪真实世界对象来自动把预定的计算机产生的效果应用到所述真实世界对象的虚拟世界表现的计算机实现方法，包括：
（a）定义用户轮廓并且将其保存到存储器，用户轮廓包括用于使用深度感应摄像机识别和跟踪所述用户的数据；
（b）定义用来结合到和用户轮廓相关的虚拟世界场景中的动画并将其保存到存储器中；
（c）使用所述深度感应摄像机捕获场景；
（d）使用所述深度感应摄像机识别所述场景中的用户；
（e）基于所识别和跟踪的用户，自动应用所述定义的动画，使得显示屏幕示出结合的动画;
其中，捕获场景使用点跟踪来定义所述场景中的静止对象。
10.一种用于识别和跟踪真实世界对象来自动把预定的计算机产生的效果应用到所述真实世界对象的虚拟世界表现的计算机实现方法，包括：
（a）定义用户轮廓并且将其保存到存储器，用户轮廓包括用于使用深度感应摄像机识别和跟踪所述用户的数据；
（b）定义用来结合到和用户轮廓相关的虚拟世界场景中的动画并将其保存到存储器中；
（c）使用所述深度感应摄像机捕获场景；
（d）使用所述深度感应摄像机识别所述场景中的用户；
（e）基于所识别和跟踪的用户，自动应用所述定义的动画，使得显示屏幕示出结合的动画;
其中，跟踪所述用户包括识别相对位置、方向和速度。
11.一种用于识别和跟踪真实世界空间中的真实世界用户的计算机实现方法，包括：
（a）定义用户轮廓，该用户轮廓包括和真实世界用户的物理特征相关的图像和深度数据，该图像和深度数据通过深度感应摄像机来获取；
（b）使用所述深度感应摄像机来获取场景的图像和深度数据,其中,所述深度数据用来识别静止对象上的点，所述点用来绘制在所述场景中找到的对象的轮廓；
（c）识别所述场景中的移动对象；
（d）使用图像和深度数据来锁定所述移动对象的头部；并且
（e）实时分析头部的所述图像和深度数据，该分析包括将头部的图像和深度数据和与物理特征相关的用户轮廓图像和深度数据相比较，其中当用户轮廓中的图像和深度数据大体匹配于头部的图像和深度数据时该用户被识别出来。
12.权利要求11的方法，其中定义用户轮廓包括：
（a）使用深度感应摄像机来开始扫描；
（b）将所述扫描聚焦到人身体的特定部分；
（c）收集所述人身体的特定部分的图像和深度数据；
（d）处理所收集的图像和深度数据来产生所述人身体的特定部分的三维模型；并且
（e）将所述三维模型保存到存储器，该三维模型还和用户轮廓相关联。
13.权利要求11的方法，还包括：
当识别出该用户时，应用和所述用户轮廓相关联的用户许可。
CN201310012188.7A 2008-02-27 2009-02-24 用于捕获场景的深度数据并且应用计算机动作的方法 Active CN103258184B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US3202808P 2008-02-27 2008-02-27
US61/032,028 2008-02-27
US61/032028 2008-02-27
CN200980114823.4A CN102016877B (zh) 2008-02-27 2009-02-24 用于捕获场景的深度数据并且应用计算机动作的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200980114823.4A Division CN102016877B (zh) 2008-02-27 2009-02-24 用于捕获场景的深度数据并且应用计算机动作的方法

Publications (2)

Publication Number Publication Date
CN103258184A true CN103258184A (zh) 2013-08-21
CN103258184B CN103258184B (zh) 2017-04-12

Family

ID=40998874

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980114823.4A Active CN102016877B (zh) 2008-02-27 2009-02-24 用于捕获场景的深度数据并且应用计算机动作的方法
CN201310012188.7A Active CN103258184B (zh) 2008-02-27 2009-02-24 用于捕获场景的深度数据并且应用计算机动作的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN200980114823.4A Active CN102016877B (zh) 2008-02-27 2009-02-24 用于捕获场景的深度数据并且应用计算机动作的方法

Country Status (6)

Country Link
US (1) US8840470B2 (zh)
EP (1) EP2257911B1 (zh)
JP (1) JP5684577B2 (zh)
KR (1) KR101335346B1 (zh)
CN (2) CN102016877B (zh)
WO (1) WO2009108645A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909911A (zh) * 2017-03-09 2017-06-30 广东欧珀移动通信有限公司 图像处理方法、图像处理装置和电子装置

Families Citing this family (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289944B2 (en) * 2007-01-31 2012-10-16 Broadcom Corporation Apparatus for configuration of wireless operation
US8280303B2 (en) * 2007-01-31 2012-10-02 Broadcom Corporation Distributed digital signal processor
US9486703B2 (en) 2007-01-31 2016-11-08 Broadcom Corporation Mobile communication device with game application for use in conjunction with a remote mobile communication device and methods for use therewith
US8200156B2 (en) * 2007-01-31 2012-06-12 Broadcom Corporation Apparatus for allocation of wireless resources
US8238275B2 (en) * 2007-01-31 2012-08-07 Broadcom Corporation IC with MMW transceiver communications
US8239650B2 (en) * 2007-01-31 2012-08-07 Broadcom Corporation Wirelessly configurable memory device addressing
US8125950B2 (en) * 2007-01-31 2012-02-28 Broadcom Corporation Apparatus for wirelessly managing resources
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US20080320293A1 (en) * 2007-01-31 2008-12-25 Broadcom Corporation Configurable processing core
US8204075B2 (en) * 2007-01-31 2012-06-19 Broadcom Corporation Inter-device wireless communication for intra-device communications
US8254319B2 (en) * 2007-01-31 2012-08-28 Broadcom Corporation Wireless programmable logic device
US8121541B2 (en) * 2007-01-31 2012-02-21 Broadcom Corporation Integrated circuit with intra-chip and extra-chip RF communication
US8223736B2 (en) * 2007-01-31 2012-07-17 Broadcom Corporation Apparatus for managing frequency use
US8116294B2 (en) * 2007-01-31 2012-02-14 Broadcom Corporation RF bus controller
US20090011832A1 (en) * 2007-01-31 2009-01-08 Broadcom Corporation Mobile communication device with game application for display on a remote monitor and methods for use therewith
US8438322B2 (en) * 2007-01-31 2013-05-07 Broadcom Corporation Processing module with millimeter wave transceiver interconnection
US20090197641A1 (en) * 2008-02-06 2009-08-06 Broadcom Corporation Computing device with handheld and extended computing units
EP2206540A1 (en) 2007-06-14 2010-07-14 Harmonix Music Systems, Inc. System and method for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
KR101572768B1 (ko) 2007-09-24 2015-11-27 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US20090198798A1 (en) * 2008-02-06 2009-08-06 Broadcom Corporation Handheld computing unit back-up system
US8717974B2 (en) * 2008-02-06 2014-05-06 Broadcom Corporation Handheld computing unit coordination of femtocell AP functions
US8175646B2 (en) * 2008-02-06 2012-05-08 Broadcom Corporation Networking of multiple mode handheld computing unit
US8117370B2 (en) * 2008-02-06 2012-02-14 Broadcom Corporation IC for handheld computing unit of a computing device
US8195928B2 (en) * 2008-02-06 2012-06-05 Broadcom Corporation Handheld computing unit with merged mode
US8064952B2 (en) * 2008-02-06 2011-11-22 Broadcom Corporation A/V control for a computing device with handheld and extended computing units
US8430750B2 (en) * 2008-05-22 2013-04-30 Broadcom Corporation Video gaming device with image identification
US8508550B1 (en) * 2008-06-10 2013-08-13 Pixar Selective rendering of objects
WO2010006054A1 (en) 2008-07-08 2010-01-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock and band experience
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8803950B2 (en) * 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8702485B2 (en) 2010-06-11 2014-04-22 Harmonix Music Systems, Inc. Dance game and tutorial
WO2011056657A2 (en) 2009-10-27 2011-05-12 Harmonix Music Systems, Inc. Gesture-based user interface
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US20110223995A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US8874243B2 (en) 2010-03-16 2014-10-28 Harmonix Music Systems, Inc. Simulating musical instruments
US20110230255A1 (en) * 2010-03-18 2011-09-22 Nokia Corporation Methods and apparatuses for facilitating user verification
US8523667B2 (en) * 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US9098873B2 (en) * 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US20110279368A1 (en) * 2010-05-12 2011-11-17 Microsoft Corporation Inferring user intent to engage a motion capture system
JP5737667B2 (ja) * 2010-05-25 2015-06-17 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US9274594B2 (en) * 2010-05-28 2016-03-01 Microsoft Technology Licensing, Llc Cloud-based personal trait profile data
USRE49044E1 (en) * 2010-06-01 2022-04-19 Apple Inc. Automatic avatar creation
US8602887B2 (en) * 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US9086727B2 (en) 2010-06-22 2015-07-21 Microsoft Technology Licensing, Llc Free space directional force feedback apparatus
US8878656B2 (en) 2010-06-22 2014-11-04 Microsoft Corporation Providing directional force feedback in free space
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US8462997B2 (en) * 2010-09-15 2013-06-11 Microsoft Corporation User-specific attribute customization
US20120092364A1 (en) * 2010-10-14 2012-04-19 Microsoft Corporation Presenting two-dimensional elements in three-dimensional stereo applications
US9123316B2 (en) * 2010-12-27 2015-09-01 Microsoft Technology Licensing, Llc Interactive content creation
US20120169583A1 (en) * 2011-01-05 2012-07-05 Primesense Ltd. Scene profiles for non-tactile user interfaces
US8866898B2 (en) * 2011-01-31 2014-10-21 Microsoft Corporation Living room movie creation
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US9225701B2 (en) * 2011-04-18 2015-12-29 Intelmate Llc Secure communication systems and methods
US9432617B2 (en) 2011-04-26 2016-08-30 Dell Products L.P. White balance adjustment of an image at an information handling system
US8696461B2 (en) 2011-06-01 2014-04-15 Microsoft Corporation Automated sensor driven match-making
US8884949B1 (en) 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US20130005443A1 (en) * 2011-07-01 2013-01-03 3G Studios, Inc. Automated facial detection and eye tracking techniques implemented in commercial and consumer environments
CN102368297A (zh) * 2011-09-14 2012-03-07 北京英福生科技有限公司 一种用于识别被检测对象动作的设备、系统及方法
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
KR101919831B1 (ko) 2012-01-11 2018-11-19 삼성전자주식회사 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법
US9529426B2 (en) * 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
JP5578186B2 (ja) * 2012-02-16 2014-08-27 カシオ計算機株式会社 キャラクター画像の作成方法、画像処理装置及び画像処理プログラム並びに画像変換ネットワークシステム
US10937239B2 (en) * 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
KR101257207B1 (ko) * 2012-02-23 2013-04-22 인텔 코오퍼레이션 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101347840B1 (ko) * 2012-03-29 2014-01-09 한국과학기술원 신체 제스처 인식 방법 및 장치
CN104170318B (zh) 2012-04-09 2018-06-01 英特尔公司 使用交互化身的通信
US20130285919A1 (en) * 2012-04-25 2013-10-31 Sony Computer Entertainment Inc. Interactive video system
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
WO2014016992A1 (ja) 2012-07-27 2014-01-30 Ｎｅｃソフト株式会社 ３次元ユーザインタフェース装置及び３次元操作方法
EP2879022A4 (en) 2012-07-27 2016-03-23 Nec Solution Innovators Ltd THREE-DIMENSIONAL USER INTERFACE DEVICE AND THREE-DIMENSIONAL OPERATING PROCESS
EP2879098A4 (en) 2012-07-27 2016-03-16 Nec Solution Innovators Ltd SYSTEM AND METHOD FOR THE JOINT USE OF THREE-DIMENSIONAL ENVIRONMENTS
US9996909B2 (en) 2012-08-30 2018-06-12 Rakuten, Inc. Clothing image processing device, clothing image display method and program
JP5791577B2 (ja) * 2012-09-28 2015-10-07 楽天株式会社 画像処理装置、画像表示方法、およびプログラム
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
JP2016509292A (ja) 2013-01-03 2016-03-24 メタ カンパニー エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
AU2014218704B2 (en) * 2013-02-21 2017-07-13 Petcube, Inc. Remote interaction device
JP5745559B2 (ja) * 2013-02-27 2015-07-08 株式会社スクウェア・エニックス ビデオゲーム処理装置、及びビデオゲーム処理プログラム
US9586134B2 (en) 2013-02-27 2017-03-07 Kabushiki Kaisha Square Enix Video game processing program and video game processing method
US9639747B2 (en) 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
US9269216B2 (en) * 2013-04-25 2016-02-23 Igt Canada Solutions Ulc Gaming machine having camera for adapting displayed images to detected players
US9129478B2 (en) * 2013-05-20 2015-09-08 Microsoft Corporation Attributing user action based on biometric identity
US10133816B1 (en) * 2013-05-31 2018-11-20 Google Llc Using album art to improve audio matching quality
US9384013B2 (en) 2013-06-03 2016-07-05 Microsoft Technology Licensing, Llc Launch surface control
US9589357B2 (en) * 2013-06-04 2017-03-07 Intel Corporation Avatar-based video encoding
JP2014238731A (ja) 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
CN104349095B (zh) * 2013-08-09 2017-08-29 联想(北京)有限公司 一种图像调整方法、装置及电子设备
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US9508197B2 (en) 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
KR101793485B1 (ko) * 2014-01-03 2017-11-03 인텔 코포레이션 깊이 카메라를 사용하는 실시간 3d 재구성
US9767615B2 (en) * 2014-04-23 2017-09-19 Raytheon Company Systems and methods for context based information delivery using augmented reality
US9324067B2 (en) 2014-05-29 2016-04-26 Apple Inc. User interface for payments
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
US9642340B2 (en) 2014-07-16 2017-05-09 Elwha Llc Remote pet monitoring systems and methods
CN104474710B (zh) * 2014-12-09 2015-09-02 山东大学 基于Kinect网络的大规模场景群体用户跟踪系统与方法
CN104484039B (zh) * 2014-12-22 2017-11-24 联想(北京)有限公司 信息处理方法和电子设备
WO2016101131A1 (en) 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
WO2016141208A1 (en) * 2015-03-04 2016-09-09 Usens, Inc. System and method for immersive and interactive multimedia generation
US9594967B2 (en) 2015-03-31 2017-03-14 Google Inc. Method and apparatus for identifying a person by measuring body part distances of the person
US10067352B2 (en) * 2015-06-15 2018-09-04 Robert Joe Alderman 3D image generating lens tool
CN105426833A (zh) * 2015-11-13 2016-03-23 小米科技有限责任公司 用于游戏的图像识别方法及装置
US10085423B2 (en) 2015-11-19 2018-10-02 Petcube, Inc. Remote interaction device with tracking of remote movement input
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
TW201727537A (zh) * 2016-01-22 2017-08-01 鴻海精密工業股份有限公司 人臉識別系統及人臉識別方法
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10402643B2 (en) * 2016-06-15 2019-09-03 Google Llc Object rejection system and method
KR101842600B1 (ko) * 2017-02-08 2018-05-14 한림대학교 산학협력단 가상현실 시스템 및 이를 이용한 가상현실 제공 방법
EP4155988A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric authentication for performing a respective function
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
US10475454B2 (en) * 2017-09-18 2019-11-12 Motorola Mobility Llc Directional display and audio broadcast
KR20190101835A (ko) 2018-02-23 2019-09-02 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
CN108479070A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 虚拟模型生成方法和装置
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US10976989B2 (en) 2018-09-26 2021-04-13 Apple Inc. Spatial management of audio
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11151993B2 (en) * 2018-12-28 2021-10-19 Baidu Usa Llc Activating voice commands of a smart display device based on a vision-based mechanism
JP6726345B1 (ja) * 2019-08-30 2020-07-22 株式会社コロプラ プログラム、方法、および端末装置
CN111324253B (zh) * 2020-02-12 2021-08-03 腾讯科技（深圳）有限公司 虚拟物品交互方法、装置、计算机设备及存储介质
US11704965B2 (en) 2020-03-11 2023-07-18 Lnw Gaming, Inc. Gaming systems and methods for adaptable player area monitoring
EP4207081A4 (en) * 2020-10-06 2024-03-20 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND CONTROL METHOD THEREOF
US11562548B2 (en) * 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11805588B1 (en) 2022-07-29 2023-10-31 Electronic Theatre Controls, Inc. Collision detection for venue lighting

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6309306B1 (en) * 1999-03-03 2001-10-30 Disney Enterprises, Inc. Interactive entertainment attraction using telepresence vehicles
US6707487B1 (en) * 1998-11-20 2004-03-16 In The Play, Inc. Method for representing real-time motion
US7130454B1 (en) * 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system
US20060251298A1 (en) * 2002-10-07 2006-11-09 Technion Research & Development Foundation Ltd. Three-dimensional face recognition

Family Cites Families (340)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3943277A (en) * 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) * 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) * 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) * 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
JPH06102980B2 (ja) 1985-12-12 1994-12-14 スズキ株式会社 ２サイクルエンジンの制御方法
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPS6347616A (ja) * 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
EP0348430A4 (en) 1987-02-04 1992-08-19 Mayo Foundation For Medical Education And Research Joystick apparatus having six degrees freedom of motion
US4802227A (en) * 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
JP2720455B2 (ja) 1988-05-12 1998-03-04 ヤマハ株式会社 フィンガスイッチ
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
WO1990007162A1 (en) 1988-12-20 1990-06-28 Australian Meat And Live-Stock Research And Development Corporation An optically readable coded target
JPH02224185A (ja) * 1989-02-27 1990-09-06 Osaka Gas Co Ltd 個人識別方法及び装置
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
DE69016463T2 (de) 1990-05-01 1995-09-07 Wang Laboratories Handfreie hardwaretastatur.
US5111401A (en) * 1990-05-19 1992-05-05 The United States Of America As Represented By The Secretary Of The Navy Navigational control system for an autonomous vehicle
US5662111A (en) * 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) * 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) * 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5394168A (en) * 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5581270A (en) 1993-06-24 1996-12-03 Nintendo Of America, Inc. Hotel-based video game and communication system
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
JPH07311568A (ja) 1994-05-17 1995-11-28 Sega Enterp Ltd 画像出力方法および装置
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US5641319A (en) 1994-08-10 1997-06-24 Lodgenet Entertainment Corporation Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer
GB2301514B (en) 1994-12-01 1999-06-09 Namco Ltd Apparatus and method for image synthesization
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) * 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
CN1183151A (zh) * 1995-04-28 1998-05-27 松下电器产业株式会社 接口装置
US5706364A (en) * 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
JP3777650B2 (ja) 1995-04-28 2006-05-24 松下電器産業株式会社 インターフェイス装置
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
JP3869005B2 (ja) 1995-06-22 2007-01-17 ３ディブイ・システムズ・リミテッド テレセントリック立体カメラと方法
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
WO1997005541A1 (en) 1995-07-26 1997-02-13 King Martin T Reduced keyboard disambiguating system
US6311214B1 (en) * 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5611731A (en) * 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
JPH09128141A (ja) 1995-11-07 1997-05-16 Sony Corp 制御装置および制御方法
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
US5870100A (en) * 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
WO1997020305A1 (en) 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) * 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
ES2231754T3 (es) 1996-03-05 2005-05-16 Sega Enterprises, Ltd. Controlador y unidad de expansion para el contralor.
JP3920348B2 (ja) * 1996-04-02 2007-05-30 コグネックス コーポレイション 平坦な鏡面基板の指標を観察する画像形成装置
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US5881366A (en) 1996-05-01 1999-03-09 Logitech, Inc. Wireless peripheral interface
US6516466B1 (en) * 1996-05-02 2003-02-04 Vincent C. Jackson Method and apparatus for portable digital entertainment system
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) * 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) * 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US6021219A (en) * 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
JP2001515646A (ja) 1997-03-07 2001-09-18 スリーディーヴィー システムズ リミテッド 光学式シャッタ
US6061055A (en) * 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
JP3009633B2 (ja) 1997-04-03 2000-02-14 コナミ株式会社 画像装置、画像表示方法および記録媒体
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
DE69731120T2 (de) 1997-04-23 2005-02-24 Thomson Consumer Electronics, Inc., Indianapolis Bereichs- und informationsanzeigeabhängige videopegelsteuerung
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) * 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
NO304715B1 (no) * 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
JP3183632B2 (ja) 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6094625A (en) 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
JP3997566B2 (ja) 1997-07-15 2007-10-24 ソニー株式会社 描画装置、及び描画方法
JP2001501348A (ja) 1997-07-29 2001-01-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元シーンの再構成方法と、対応する再構成装置および復号化システム
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6031934A (en) * 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
JPH11154240A (ja) * 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6166744A (en) 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6677987B1 (en) * 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6762794B1 (en) 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
AU2211799A (en) 1998-01-06 1999-07-26 Video Mouse Group, The Human motion following computer mouse and game controller
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
DE69810968T2 (de) 1998-02-08 2003-11-27 3Dv Systems Ltd Optischer verschluss mit grosser blendenöffnung
US6115052A (en) 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6175343B1 (en) * 1998-02-24 2001-01-16 Anivision, Inc. Method and apparatus for operating the overlay of computer-generated effects onto a live image
US6037942A (en) * 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6173059B1 (en) * 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) * 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
JP2000020163A (ja) 1998-06-30 2000-01-21 Sony Corp 情報処理装置
US6504535B1 (en) * 1998-06-30 2003-01-07 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
IL125221A0 (en) * 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) * 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6409602B1 (en) 1998-11-06 2002-06-25 New Millenium Gaming Limited Slim terminal gaming system
GB2343945B (en) * 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6533420B1 (en) * 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
US7139767B1 (en) 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
JP2000259856A (ja) 1999-03-09 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> ３次元コンピュータグラフィックス表示方法及び装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7164413B2 (en) * 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350859A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk マーカ配置方法及び複合現実感装置
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
JP2000356972A (ja) 1999-06-15 2000-12-26 Pioneer Electronic Corp 発光パネルの駆動装置及び方法
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
WO2001018563A1 (en) 1999-09-08 2001-03-15 3Dv Systems, Ltd. 3d imaging system
CN1284381C (zh) 1999-09-17 2006-11-08 自然工艺株式会社 摄像系统
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US20050037844A1 (en) * 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
AU2072601A (en) 1999-12-09 2001-06-18 Zephyr Media, Inc. System and method for integration of a universally publicly accessible global network
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
US20010056477A1 (en) 2000-02-15 2001-12-27 Mcternan Brennan J. Method and system for distributing captured motion data over a network
WO2001064481A2 (en) 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6676522B2 (en) * 2000-04-07 2004-01-13 Igt Gaming system including portable game devices
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
JP4020567B2 (ja) * 2000-05-15 2007-12-12 株式会社コナミデジタルエンタテインメント ゲーム機およびそのゲーム環境設定ネットワークシステム
US20020010655A1 (en) * 2000-05-25 2002-01-24 Realitybuy, Inc. Real time, three-dimensional, configurable, interactive product display system and method
US20020056114A1 (en) * 2000-06-16 2002-05-09 Fillebrown Lisa A. Transmitter for a personal wireless network
TW527518B (en) * 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US20020094189A1 (en) 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
JP3561463B2 (ja) * 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7071914B1 (en) 2000-09-01 2006-07-04 Sony Computer Entertainment Inc. User input device and method for interaction with graphic images
AU2002248131A1 (en) 2000-09-08 2002-08-12 Honeywell International Inc. Pilot internet practice system and methods
US6884171B2 (en) * 2000-09-18 2005-04-26 Nintendo Co., Ltd. Video game distribution network
EP1332422A1 (en) 2000-09-29 2003-08-06 Senseboard Technologies AB Wearable data input interface
EP1329105A2 (en) * 2000-10-10 2003-07-23 Koninklijke Philips Electronics N.V. Device control via image-based recognition
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
JP2002157607A (ja) 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
US20020083461A1 (en) 2000-11-22 2002-06-27 Hutcheson Stewart Douglas Method and system for providing interactive services over a wireless communications network
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
AU2002303082A1 (en) 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP2002369969A (ja) 2001-06-15 2002-12-24 Sun Corp 通信ゲーム用プログラム、アダプタおよびゲーム端末
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US20030014212A1 (en) * 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
JP3611807B2 (ja) 2001-07-19 2005-01-19 コナミ株式会社 ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
KR20030009919A (ko) * 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US6964480B2 (en) * 2001-08-31 2005-11-15 Metrologic Instruments, Inc. Ophthalmic instrument having adaptive optic subsystem with multiple stage phase compensator
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
JP2003114640A (ja) * 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
JP4028708B2 (ja) 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
US20030093591A1 (en) * 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) * 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
JP3918530B2 (ja) * 2001-11-28 2007-05-23 カシオ計算機株式会社 画像出力装置、画像出力処理プログラム、及び画像出力方法
US20030100363A1 (en) * 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
KR20030075399A (ko) 2002-03-18 2003-09-26 주식회사 소프트로닉스 모션마우스 시스템 및 방법
EP2387248A3 (en) * 2002-03-27 2012-03-07 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US6847311B2 (en) * 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
US7006009B2 (en) * 2002-04-01 2006-02-28 Key Energy Services, Inc. Servicing system for wells
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
US7298871B2 (en) * 2002-06-07 2007-11-20 Koninklijke Philips Electronics N.V. System and method for adapting the ambience of a local environment according to the location and personal preferences of people in the local environment
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20030232649A1 (en) 2002-06-18 2003-12-18 Gizis Alexander C.M. Gaming system and method
US20040001082A1 (en) * 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
JP5109221B2 (ja) 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7697700B2 (en) * 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US7783061B2 (en) * 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7613310B2 (en) * 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US20040017355A1 (en) * 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US20070061413A1 (en) * 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US20070015559A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US7352359B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
JP2004126738A (ja) * 2002-09-30 2004-04-22 Matsushita Electric Ind Co Ltd ３次元計測を用いた個人認証装置および認証方法
US20040063480A1 (en) * 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
WO2004041379A2 (en) 2002-10-30 2004-05-21 Nike Inc. Clothes with tracking marks for computer games
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) * 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398690B (en) * 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
GB2398691B (en) * 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
JP3849654B2 (ja) 2003-02-21 2006-11-22 株式会社日立製作所 投射型表示装置
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) * 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
EP1489596B1 (en) * 2003-06-17 2006-09-13 Sony Ericsson Mobile Communications AB Device and method for voice activity detection
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
JP2005046422A (ja) 2003-07-30 2005-02-24 Samii Kk ゲーム機用コントローラ
JP2005056213A (ja) * 2003-08-06 2005-03-03 Matsushita Electric Ind Co Ltd 情報提供システム、情報提供サーバ、情報提供方法
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
CA2544183A1 (en) * 2003-10-28 2005-05-19 Welch Allyn, Inc. Digital documenting ophthalmoscope
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7734729B2 (en) 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
JP4779070B2 (ja) 2004-05-11 2011-09-21 新世代株式会社 エンターテインメント装置及びその動作方法
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US8190907B2 (en) 2004-08-11 2012-05-29 Sony Computer Entertainment Inc. Process and apparatus for automatically identifying user of consumer electronics
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
KR100630118B1 (ko) 2005-04-21 2006-09-27 삼성전자주식회사 망간 광섬유 공유 시스템
US8370639B2 (en) * 2005-06-16 2013-02-05 Sensible Vision, Inc. System and method for providing secure access to an electronic device using continuous facial biometrics
US7927216B2 (en) * 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US7731191B2 (en) 2006-02-10 2010-06-08 Ippasa, Llc Configurable manual controller
JP2007249317A (ja) * 2006-03-14 2007-09-27 Dotcity Inc ドットシティにおける生体認証システムとその認証手段
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
EP2050067A1 (en) 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
JP4481280B2 (ja) * 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8655622B2 (en) * 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion
US8866821B2 (en) * 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130454B1 (en) * 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system
US6707487B1 (en) * 1998-11-20 2004-03-16 In The Play, Inc. Method for representing real-time motion
US6309306B1 (en) * 1999-03-03 2001-10-30 Disney Enterprises, Inc. Interactive entertainment attraction using telepresence vehicles
US20060251298A1 (en) * 2002-10-07 2006-11-09 Technion Research & Development Foundation Ltd. Three-dimensional face recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909911A (zh) * 2017-03-09 2017-06-30 广东欧珀移动通信有限公司 图像处理方法、图像处理装置和电子装置

Also Published As

Publication number Publication date
EP2257911A4 (en) 2013-10-09
US20090215533A1 (en) 2009-08-27
CN102016877B (zh) 2014-12-10
JP5684577B2 (ja) 2015-03-11
CN102016877A (zh) 2011-04-13
KR20110030419A (ko) 2011-03-23
KR101335346B1 (ko) 2013-12-05
EP2257911B1 (en) 2018-10-10
JP2011515736A (ja) 2011-05-19
US8840470B2 (en) 2014-09-23
CN103258184B (zh) 2017-04-12
EP2257911A1 (en) 2010-12-08
WO2009108645A1 (en) 2009-09-03

Similar Documents

Publication Publication Date Title
CN102016877B (zh) 用于捕获场景的深度数据并且应用计算机动作的方法
JP6708689B2 (ja) 三次元ゲームプレイの共有
US10529071B2 (en) Facial skin mask generation for heart rate detection
CN102576463B (zh) 用于移除图像的背景的系统和方法
CN102448564B (zh) 环境和/或目标分割
US8929668B2 (en) Foreground subject detection
US8317613B2 (en) Social interactive content creator development
TWI610247B (zh) 在玩遊戲期間標識、擷取、呈現和處理照片的方法以及用於該方法的電腦可讀取儲存媒體
US20110237324A1 (en) Parental control settings based on body dimensions
US20100060662A1 (en) Visual identifiers for virtual world avatars
CN111359200B (zh) 基于增强现实的游戏交互方法和装置
Karpouzis et al. The platformer experience dataset
US8885878B2 (en) Interactive secret sharing
US20150355826A1 (en) Enabling user interactions with video segments
WO2012145150A1 (en) Social interactive content creator development
WO2021102566A1 (en) Systems and methods for improved player interaction using augmented reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant