CN105164726A - 用于3d重构的相机姿态估计 - Google Patents

用于3d重构的相机姿态估计 Download PDF

Info

Publication number
CN105164726A
CN105164726A CN201480006047.7A CN201480006047A CN105164726A CN 105164726 A CN105164726 A CN 105164726A CN 201480006047 A CN201480006047 A CN 201480006047A CN 105164726 A CN105164726 A CN 105164726A
Authority
CN
China
Prior art keywords
camera
depth
model
map frame
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480006047.7A
Other languages
English (en)
Other versions
CN105164726B (zh
Inventor
T·夏普
A·W·费茨吉本
S·伊扎迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105164726A publication Critical patent/CN105164726A/zh
Application granted granted Critical
Publication of CN105164726B publication Critical patent/CN105164726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/243—Detail of input, input devices with other kinds of input
    • A63F2009/2435—Detail of input, input devices with other kinds of input using a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

描述了用于3D重构的相机姿态估计，例如使在环境中移动的深度相机的位置和定向能够被跟踪以用于机器人技术、游戏和其他应用。在各种实施例中，来自移动深度相机的深度观测将与环境的3D模型的表面进行对准，以找出促进该对准的移动深度相机的经更新位置和定向。例如，移动深度相机在环境中四处移动以构建可能被存储为3D模型的对该环境中各表面的3D重构。在各示例中，对移动深度相机的姿态的初始估计被获得且随后通过使用并行优化过程被实时更新。

Description

用于3D重构的相机姿态估计
背景
对于许多应用，能够当相机在环境中移动时跟踪该相机的定向和位置是有价值的。相机的定向和位置被认为是相机姿态。例如，在机器人技术、车辆导航、计算机游戏应用、医学应用及其他问题领域。以前的方法已涉及使用由移动相机所捕捉的彩色图像，标识那些图像中的诸如线和边缘等特征，以及在相机所捕捉的彩色图像序列中跟踪该信息以尝试并估计相对相机位置。现有方法在精确度、稳健性和速度上受到限制。然而，对于许多应用，需要实时地进行精确的相机跟踪，例如以使得机器人可以成功地在其环境中四处移动。
以下描述的各实施例不限于解决已知相机姿态估计过程的缺点中的任一个或全部的实现。
概述
下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
描述了用于3D重构的相机姿态估计，例如使在环境中移动的深度相机的位置和定向能够被跟踪以用于机器人技术、游戏和其他应用。在各种实施例中，来自移动深度相机的深度观测与环境中3D模型的表面进行对准，以找出促进该对准的移动深度相机的经更新位置和定向。例如，移动深度相机在环境中四处移动以构建可能被存储为3D模型的对该环境中各表面的3D重构。在各示例中，对移动深度相机的姿态的初始估计被获得且随后通过使用并行优化过程被实时更新。
通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。
附图简述
根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：
图1是房间中的持有移动深度相机的人的示意图，该移动深度相机被用于实时相机跟踪并且可任选地还产生该房间的3D模型或图；
图2是正由持有移动深度相机的人探测的建筑物某层的平面视图；
图3是连接到实时相机跟踪系统、密集3D模型形成系统以及游戏系统的移动深度相机的示意图；
图4是示例相机姿态引擎的示意图；
图5是相机姿态引擎处的方法的流程图。
图6是图5中方法的一部分的流程图；
图7示出可以作为图6中方法的一部分使用的诸方法；
图8是作为图6中的过程的一部分计算与残余有关的量的方法的流程图；
图9是示出检查是否达到收敛以供在图5的方法中使用的各方式的示意图；
图10是示出获得对相机姿态配准参数的初始估计的各方式的示意图；
图11示出可在其中实现实时相机姿态估计系统的各实施例的示例性基于计算的设备。
在各个附图中使用相同的附图标记来指代相同的部件。
具体实施方式
下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
尽管在本文中本示例被描述并示出为使用从发出和捕捉红外光的移动深度相机获得的深度图像在实时相机姿态估计系统中实现，然而所描述的系统是作为示例而不是限制被提供的。本领域的技术人员将会理解，本示例适于在各种不同类型的实时相机跟踪系统中应用，包括但不限于使用从立体相机获得的深度信息的系统和使用通过发出和捕捉其他类型的电磁辐射所获得的深度信息的系统。
术语“图像元素”在本文中用于指代像素、像素组、体素、体素组或图像的其他更高级别的组成部分。
术语“密集3D模型”在本文中用于指示包括物体和表面的三维场景的表示，其中该表示包括与该场景的图像元素有关的细节。相反，非密集3D模型可包括物体的基于多边形或基于点的表示。在一示例中，来自传入深度图的全部或许多点可用于描述环境中的表面(在一些示例中使用有符号距离函数等值面表示)，且该描述形成密集3D模型。稀疏模型会仅取这些点的子集来使计算加速并减少存储器覆盖区域。
图1是站在一房间中并持有移动深度相机102的人100的示意图，在本示例中移动深度相机102还包括有投影仪，该投影仪将猫108的图像投影到该房间中。该房间包含各种物体106，如椅子、门、窗、植物、灯和另一个人104。这些物体106中的许多物体是静态的，但这些物体中的一些物体(诸如人104)可以移动。当人在该房间内四处移动时，该移动深度相机捕捉图像，实时相机跟踪系统112使用所述图像来监视该相机在该房间中的位置和定向。实时相机跟踪系统112可以与移动深度相机102集成，或可以处于另一位置，只要它能够(直接或间接)接收来自移动深度相机102的通信。例如，实时相机跟踪系统112可在房间中的个人计算机、专用计算机游戏装置或其他计算设备处提供并与移动深度相机102无线通信。在其他示例中，实时相机跟踪系统112可以处于建筑物中的别处或处于使用任何合适类型的通信网络与移动深度相机102进行通信的另一远程位置。移动深度相机102还与该环境的密集3D模型110(在此情况下是该房间的3D模型)或该环境的另一类型的图进行通信。例如，当人在房间中四处移动时，移动深度相机102捕捉到的图像被用来形成和构建环境的密集3D模型。实时相机跟踪系统112可跟踪相机相对于环境的3D模型或图110的位置。实时相机跟踪系统112的输出和密集3D模型或图110可由游戏系统或其他应用来使用，但这不是必要的。例如，移动深度相机102处的投影仪可被安排成取决于实时相机跟踪系统112的输出和3D模型110来投影图像。
图2是建筑物的层200的平面图。持有移动深度相机204的人202正如虚线箭头208所示在该层四处移动。此人沿走廊206走过各个房间和家具210。实时相机跟踪系统112能够在移动深度相机204移动时跟踪它的位置，并且该层的3D模型或图被形成。人202携带移动深度相机204是不必要的。在其他示例中，移动深度相机204安装在机器人或车辆上。这也适用于图1的示例。
图3是与实时相机跟踪器316、密集模型形成系统324和可任选的游戏系统332一起使用的移动环境传感器300的示意图。移动环境传感器300包括被安排成捕捉场景的深度图像序列的深度相机302。每个深度图像或深度图帧314包括二维图像，在该二维图像中每一图像元素包括诸如从相机到所捕捉的场景中的造成了该图像元素的物体的长度或距离等的深度值。该深度值可以是以指定测量单位(诸如米或厘米)提供的绝对值，或者可以是相对深度值。在某些情况下，深度值可以是诸如在其中立体深度信息为可用的情形中的差别值。在每一捕捉到的深度图像中，存在大约300000或更多个图像元素，每一图像元素具有深度值。帧率足够高而使得深度图像能够被用于工作机器人、计算机游戏、或其他应用。例如，每秒至少20帧。
深度信息可以使用任何合适的技术来获得，包括但不限于飞行时间、结构化光、立体图像。在一些示例中，深度相机能够将深度信息组织为与沿该深度相机的视线延伸的Z轴垂直的Z层。
移动环境传感器300还可包括被安排成以可由深度相机302查明深度信息的方式来照亮该场景的发射器304。例如，在深度相机302是红外(IR)飞行时间相机的情况下，发射器304将IR光发射到该场景上，并且深度相机302被安排成检测从该场景中的一个或多个物体的表面反向散射的光。在一些示例中，可以从发射器304发出脉冲红外光，使得外出光脉冲与对应的传入光脉冲之间的时间可由深度相机来检测和测量，并被用来确定从环境传感器300到场景中的物体上的位置的物理距离。另外，在一些示例中，可将来自发射器304的出射光波的相位与在深度相机302处的传入光波的相位进行比较来确定相移。随后经由包括例如快门式光脉冲成像的各种技术通过分析反射光束随时间的强度来将相移用于确定从移动环境传感器300到各物体上的位置的物理距离。
在另一示例中，移动环境传感器300可使用结构化光来捕捉深度信息。在这种技术中，可使用发射器304将图案化光(例如，显示为诸如网格或条形图案等已知图案的光)投影到场景上。在到达场景中的物体的表面之后，该图案变形。深度相机302捕捉图案的这种变形并对其进行分析来确定从深度相机302到场景中的物体的绝对或相对距离。在某些情况下，移动环境传感器300发射电磁辐射的空间变化和/或时间变化的图案，且该图案是校准的，使得当图像由深度相机302接收时，它能够针对图案的数据库来执行图案匹配，并由此计算深度信息。这可被认为是投影到环境的点的3D图案，且每当存在图案被反射的表面时，深度相机302可检测该表面、并计算该表面距深度相机302的距离。
在另一示例中，深度相机302包括一对立体相机，以便获得并解析视觉立体数据来生成相对深度信息。在这种情况下，发射器304可被用来照亮场景或可被省略。
在一些示例中，除深度相机302之外，移动环境传感器300包括被称为RGB相机306的彩色视频相机。RGB相机306被安排成在可见光频率处捕捉场景的图像序列。
移动环境传感器300可包括定向传感器308，诸如惯性测量单元(IMU)、加速计、陀螺仪、指南针、或其他定向传感器308。然而，使用定向传感器不是必要的。移动环境传感器300可包括诸如GPS等位置跟踪设备，但这不是必要的。
移动通信传感器可包括上面参考图1提到的投影仪312，但这不是必要的。
移动环境传感器还包括一个或多个处理器、存储器、以及通信基础结构，如下文更详细地描述的。
移动环境传感器可以在外壳中提供，该外壳的形状和大小制定成由用户手持或由用户佩戴。在其他示例中，移动环境传感器的大小和形状被制定成被包括或安装在运载工具、玩具、或其他可移动装置上。
移动环境传感器300连接到实时跟踪器316。此连接可以是物理连线连接或可以使用无线通信。在一些示例中，移动环境传感器300通过诸如因特网等一个或多个通信网络间接连接到实时跟踪器。
实时跟踪器316使用控制一个或多个图形处理单元(GPU)的通用微处理器来用计算机实现。它包括相机姿态引擎318并且可任选地包括环闭合引擎320和重新定位引擎322。实时跟踪器316获得来自深度相机302的深度图帧314，且可任选地还获得来自移动环境传感器300的输入，可任选的图数据334，以及来自游戏系统332的可任选数据。实时跟踪器进行操作以根据3D模型326和深度图帧314序列计算相机姿态以产生对深度相机302的六自由度姿势估计的实时系列328。它还可以产生变换参数(也称为配准参数)以用于深度图帧对之间的变换。在一些示例中，实时跟踪器对来自深度相机的各对深度图帧314进行操作以产生对相机姿态的初始估计。在各种示例中，实时跟踪器216获取单个深度图帧314并将它与该场景的密集3D模型326对准。在一些示例中，实时跟踪器使用来自RGB相机306的彩色视频输入以产生对相机姿态的初始估计。
例如，在一些实施例中，实时跟踪器316向密集3D模型形成系统324提供输出，密集3D模型形成系统324使用该信息连同深度图帧314来形成并存储移动环境传感器300正在其中移动的场景或环境的密集3D模型。例如，在图1的情况下，3D模型将是房间中的表面和物体的3D模型。在图2的情况中，3D模型将是建筑物的层的3D模型，其包括在该建筑物的该层上的物体和表面。密集3D模型326可被存储在GPU存储器中，或以其他方式存储。例如，密集3D模型可以按照片-行-列的次序被存储为线性阵列，可任选地具有一些填充以使得片和行对准某些存储器块大小。例如，该模型可以被存储在GPU纹理存储器中或者它可被存储为用于表示3D容体的存储器位置的线性阵列。可通过使用线性倾斜存储器将每个体素(或诸如体素群等其他3D图像元素)映射到存储器阵列索引来实现这一点，该线性倾斜存储器提供对存储在并行计算单元存储器上的数据的快速并行访问。每个体素可存储一数值，该数值在由该模型所表示的表面处可以为0，在该模型所表示的对象外可以为正且在该模型所表示的对象内可以为负，其中该数值的大小与距由该模型所表示的最近表面的距离有关。
移动环境传感器300可结合游戏系统332来使用，游戏系统332连接到显示器330。例如，游戏可以是高尔夫游戏、拳击游戏、赛车游戏、或其他类型的计算机游戏。来自游戏系统332的数据(如与游戏相关的游戏状态或元数据)也可被提供给实时跟踪器316。而且，来自实时跟踪器的信息可以被游戏系统332用来影响游戏的进程。来自3D模型的信息也可以被游戏系统332用来影响游戏的进程。
可任选地，图数据334对实时跟踪器316是可用的。例如，这可以是建筑师对该环境(例如，房间或建筑物的层)的绘图、该环境中已知的地标的位置、可从另一源获得的该环境的地图。
实时相机跟踪器的相机姿态引擎318被安排成通过找出给出深度图帧与密集3D模型的良好对准的相机姿态来计算相机姿态。它使用迭代过程，该迭代过程是用一个或多个图形处理单元或用多个CPU核来实现的，从而使相机姿态引擎实时操作。下面参考图4给出关于相机姿态引擎的更多细节。相反，先前的诸办法使用迭代最接近点(ICP)算法来跟踪相机姿态。通过使用相机姿态引擎318，其计算给出深度图帧与相机的环境的3D模型中所描绘的各表面的良好对准的相机姿态，实现了(相比先前的ICP方法)更快且更精确的相机跟踪。由于对相机姿态的初始估计可以被计算(例如，如参考下面的图10所述)，故而相机姿态引擎318对于突然的较大移动也是稳健的。
环闭合引擎被安排成检测移动环境传感器何时按照环移动，从而使当前深度帧中所描绘的场景至少部分地与非紧接在前的深度帧的先前深度帧的场景相重叠。例如，这可在用户在图2中的建筑物的整层四处走动并再次到达起始点时发生。这还可在用户绕某家具后面的空间移动并出来再次到原始起始位置或接近原始起始位置时发生。
重新定位引擎322被安排成处理以下情况：实时跟踪器失去移动环境传感器300的当前位置并且重新定位或再次找出当前位置。
在一个示例中，实时跟踪器316和/或密集3D模型形成系统324所执行的处理可以离开移动环境传感器300的位置而远程执行。例如，移动环境传感器300可以连接至(或包括)具有相对低的处理能力的计算设备，该计算设备通过通信网络将深度图像流传输至服务器。该服务器具有相对高的处理能力，并且执行实时跟踪器316和/或密集3D模型形成系统324的在计算上复杂的任务。该服务器可以逐帧返回密集重构的已渲染图像以向用户提供交互体验，并且在模型完成时还返回最终密集3D重构以供后续本地使用(例如，在游戏中使用)。这样的安排避免了用户对拥有高性能本地计算设备的需要。
在一个示例中，来自移动环境传感器处的RGB相机的输入可用于补充来自深度相机的信息。这在其中深度没有提供足够信息供跟踪的情形中是有用的，诸如当相机正在具有太少深度特征的环境中移动时。如果在该环境中存在视觉特征，则这些视觉特征可被RGB相机检测且可用于启用要提供的定位和映射。
图4是图3的相机姿态引擎318的更详细的示意图。相机姿态引擎408是在具有一个或多个GPU416或其他并行计算单元以及可任选的还有纹理化硬件的计算设备处用计算机实现的。例如，并行计算单元可以是向量处理器、单指令多数据(SIMD)体系结构、图形处理单元或其他并行计算设备。它包括优化引擎412，用于找出将深度图观测与经建模的环境表面对准的相机配准参数值。该相机姿态引擎从深度相机接收当前深度图400。相机姿态引擎能访问环境406中各表面的密集3D模型。例如，3D模型包括3D函数，该3D函数是在对象内部为负值，在对象外部为正值且在表面处为0的截短有符号距离函数。模型可以被存储在系统存储器或GPU存储器中，如以下更加详细描述的。相机姿态引擎还可以接收可任选的附加数据402，诸如彩色图像、传感器数据和可用来计算相机姿态配准参数的初始估计的其他信息。
相机姿态引擎408的输出是从相机空间变换到世界空间的配准参数的集合θ＝(q,t)414。在一些示例中，这些配准参数是作为SE3矩阵形式的六自由度(6DOF)姿势估计被提供的，该SE3矩阵描述了深度相机302相对于真实世界坐标的旋转和平移。更正式地，作为相机空间到世界空间的变换矩阵的SE3矩阵可以被表达为：
配准参数可以是参数向量(θ)＝(q,t)，其中是表示旋转的(归一化)四元数，且表示平移。R(q)是3x3旋转矩阵，定义为：
可以将相机空间中的坐标(即，从相机角度)通过乘以上面给出的变换矩阵T(θ)映射到真实世界坐标。
可以以任何合适的形式而不必作为向量来提供配准参数θ＝(q,t)。这些配准参数被实时跟踪器316用来产生该深度相机的6自由度姿势估计的实时系列。
优化引擎412可以优化能量函数，该优化引擎412用于找出将深度图观测与经建模的环境表面对准的相机配准参数值。该能量函数表达了找出将所观测的各深度图点与模型表面良好对准(一旦这些量已经被映射到启用直接比较的形式)的相机姿态的目标。
合适的能量函数的一示例是：
该函数可以用文字表达为：相机姿态配准参数向量的函数的能量等于对各图像元素在当前姿态估计所变换的当前图像元素的位置处由3D模型给出的截短有符号距离d的平方之和的一半。矩阵V将世界空间变换到模型空间，而矩阵H是格式化矩阵。
符号xi指示针对图像元素i的所观测的表面点(来自深度图)。例如，对于i＝0,…,n-1,令作为通过背投深度图的有效图像元素获得的相机空间中所观测的表面点。
符号指示存储所观测的表面点的3元素向量向4元素向量的推广以促进计算。更正式地，令指示非齐次向量(通过对其各元素附加1)向齐次向量的推广，并且令H＝[I3|0]是从其右手操作数起去掉最后一行的3x4的矩阵。
符号d表示模型距离值。例如，通过三线性内插存储在3D模型内的体素中心处的样本，令作为在连续值位置处估计出的截短有符号距离函数。在分立的体素网格外部d＝1。环境中各表面的模型由水平集d(·)＝0给出。
矩阵V可以是4×4的仿射矩阵，该仿射矩阵表示从世界空间到模型空间(也称作容体(volume)空间)的相似变换。容体空间可以涉及体素网格的分立坐标，其进而确定体素元素的存储器位置。例如，影响V的因素可以是：分立体素网格的尺寸、每个体素的长度以及世界原点在容体内的位置。
优化引擎412可以使用任何合适的优化过程，诸如高斯牛顿法、梯度下降法、有限存储器Broyden-Fletcher-Goldfarb-Shanno(LBFGS)法和Levenberg-Marquardt法。
图5是优化引擎412处的示例迭代过程的流程图。在500获得配准参数的初始估计。这些是用于将当前帧和源帧对准的变换的配准参数。这一初始估计以任何合适的方式形成，如下文参考图10更详细描述的。
如上参考图4所述形成能量函数，该能量函数表达了找出将所观测的各深度图点与模型表面良好对准(一旦这些量已经被映射到启用直接比较的形式)的相机姿态的目标。初始估计、深度图数据和模型数据被用来计算能量函数的量以及找出对初始估计的未知增量的可能解504。进行测试以检查是否已经达到收敛506。该检查是有关迭代过程是否要继续的判定。如果迭代过程继续，则对控制各迭代间改变量的参数作出更新510。例如，这一参数被增加成离开本地最小值或者被减少以加快收敛。对该参数的更新510是可任选的并且可以被省略。如果迭代过程结束，则配准参数被输出508。关于检查506的更多细节在下文参考图9给出。
图6是示出图5中步骤504的更多细节的流程图，其中通过优化引擎找出能量函数的可能解。尽管在图6中没有指示出迭代，但是这一过程如图5中所指示的被重复迭代。
对这一过程的输入包括当前相机姿态估计600。例如，这是从先前深度帧计算出的估计。当开始相机跟踪时，当前相机姿态估计可以是从以下参考图10所述的过程中获得的初始估计。另一个输入是来自由相机捕捉的深度图的帧流602的当前深度图606。另一个输入是相机校准结果604，但该输入是可任选的。
优化引擎将所观测的深度点(来自深度图606)映射到模型空间以找出与所观测的深度点对应的模型点608。可以使用子采样，藉此处理来自深度图的每第n个深度点以减少处理需求。从模型数据计算距3D表面的距离值610。例如，这是通过使用内插来实现的，如下文参考图7更详细描述的。
通过比较模型及所观测的深度点距深度图的距离值来计算残余612。随后计算出使残余最小化的经更新相机姿态614。关于可如何实时计算有关残余的量的更多细节在下文中参考图8给出。
现在给出关于如何实时地从模型数据计算出模型距离值610的更多细节。在一些示例中，优化引擎从处于模型点或在模型点周围的3D模型的多个体素获得体素距离值704。模型位置是来自深度图的被转换到模型空间的点。可以选择处于模型位置或在模型位置周围的任何合适数量的体素。每个体素存储一距离值，该距离值是如上所述的截短有符号距离。使用所选体素的距离值来计算诸如三线性内插等内插以获得模型位置的距离值706。还可以使用所选体素计算模型位置距离值的梯度以供在优化中使用。
在一些示例中，相机姿态引擎包括纹理化硬件，该纹理化硬件是用于计算表面的纹理的专业计算机图形硬件。该纹理化硬件可被用来实时地计算模型位置的深度值和梯度。纹理化硬件可以包括两个元件：纹理存储器和纹理采样。纹理存储器是GPU上的用于存储纹理的存储器区域。例如，容体阵列可以被存储在GPU纹理存储器中。GPU可以具有用于非常高效地对纹理存储器执行内插的专业硬件。例如，可以执行三线性内插。
如上所述，优化引擎412可以使用任何合适的优化过程，诸如高斯牛顿法、梯度下降法、有限存储器Broyden-Fletcher-Goldfarb-Shanno(LBFGS)法和Levenberg-Marquardt法。在一个示例中，使用Levenberg-Marquardt法，其包括为优化过程的每一次迭代计算以下方程的解：
(JTJ+λI)δ＝-JTr
该方程可以用文字表达为：增加相机姿态配准参数的初始估计的未知向量δ，乘以JTJ(其是由J的转置在右边乘以J得出的方矩阵)加上一标量乘以单位矩阵，等于残余乘以J的转置(其是JT)的负，其中J是残余向量的雅可比矩阵。
在此示例中，其中使用了Levenberg-Marquardt法，优化引擎的主要计算是在每次迭代计算7×7(或其他大小)的矩阵JTJ以及在每次迭代还计算7×1(或其他大小)的向量JTr。可以计算与残余有关的这些量800，在使用多核计算机的情况下通过并行累积图像元素804。以此方式，可实现实时计算。使用可任选的子采样通过选择深度图像的每第n个图像元素被处理来加快处理802。在相机姿态估计引擎处存在GPU的情况下，可以使用映射减少过程806在逐图像元素的基础上计算与残余有关的量800。针对每个图像元素算出的映射操作的结果在减少阶段可以被聚集以计算经更新相机姿态估计。
图9给出有关如何作出对收敛的判定检查506的更多细节。例如，优化引擎可以检查每个迭代中相机姿态的改变幅度。如果改变很小或没有改变则达到收敛900。在另一个示例中，优化引擎可以检查每个迭代中相机姿态的增量改变幅度902。如果改变很小或没有改变则达到收敛。优化引擎可以检查计算出的相机姿态904的改变速率。如果改变很小或没有改变则达到收敛。优化引擎可以检查用来控制迭代的标量的大小(在图5的步骤510处更新且涉及使用上面的符号λ)。如果该标量大则可达到收敛。优化可以使用这些或其他准则中的一个或多个的组合。
图10给出有关如何计算相机配准参数的初始估计的更多细节500。初始估计可以从游戏状态和/或游戏元数据(在其可用的情况)获得1000。初始估计可以从图数据(如上所述，在其可用的情况)获得1002。初始估计还可以从GPS数据获得1004，其中实时相机跟踪系统包括GPS传感器并且用户已经同意GPS数据在适宜情形将被使用。初始估计可以从定向传感器数据获得1006，其中定向传感器被纳入相机跟踪系统。初始估计可以从相机的先前运动路径来预测1010。例如，可假定该相机具有恒定的速度或恒定的加速度。可以使用相机从时刻0到时刻t-1的运动路径来估计在时刻t相机将在何处，并因此获得配准参数的估计。
在一些示例中，初始估计从帧对帧匹配过程获得1008。在一个示例中，在帧对帧匹配过程中使用当前深度图像帧和先前深度图像帧。当前深度图像帧被用来计算图像金字塔，其中图像金字塔包括图像和通过连续下采样或降低分辨率计算出的该图像的多个连续变小的版本。为先前的深度图像帧计算对应的图像金字塔，其在相同分辨率处具有与该图像的相同数量的版本。
从当前深度图像帧和先前深度图像帧的最低分辨率版本开始，最小化帧对帧能量函数以找出将这两个帧最佳对准的相机姿态。通过对来自金字塔的先前深度图像帧和当前深度图像帧的分辨率持续变高的对重复这一过程来细化相机姿态。
帧对帧能量函数表达与对各图像元素的由两个帧的对应图像元素所描绘的表面的深度值之差的总和有关的能量。例如，可使用的帧对帧能量函数是：
该函数可以用文字表达为：相机姿态配准参数向量的函数的能量等于对各图像元素i的以下差值的平方求总和：先前帧的图像元素的视图空间中的3D点的深度分量(通过应用矩阵转置T同单位向量e2获得)乘以从先前帧的视图空间到当前帧的视图空间的刚性变换M(θ)与当前帧的图像元素的视图空间中的3D点之间的差值，给定函数π(x)表示3D视图空间坐标x到2D图像坐标的投影；其中x由先前帧的图像元素的对应深度值乘以从先前帧的视图空间到当前帧的视图空间的刚性变换给出。
帧对帧能量函数可以是如在上面的示例中所示的非线性最小二乘问题，并且可以使用Levenberg-Marquardt或任何其他合适的优化过程来优化。先前帧的姿态可以被用作相机姿态配准参数的初始估计。
作为替换或补充，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如，但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，图形处理单元(GPU)。
图11示出示例性的基于计算的设备1104的各组件，该基于计算的设备1404可以任何形式的计算设备和/或电子设备来实现、并且其中可实现实时相机跟踪器的实施例。
基于计算的设备1104包括被安排成接收并处理来自诸如用户输入设备(例如，捕捉设备1108、游戏控制器1105、键盘1106、鼠标1107)的一个或多个设备的输入的一个或多个输入接口1102。此用户输入可被用于控制软件应用或实时相机跟踪。例如，捕捉设备1108可以是被安排成捕捉场景的深度图的移动深度相机。基于计算的设备1104可以被安排成提供该捕捉设备1108的实时跟踪。
基于计算的设备1104还包括被安排成向可与计算设备1104分开或集成在一起的显示设备1109输出显示信息的输出接口1110。该显示信息可以提供图形用户界面。在一示例中，如果显示设备1109是触敏显示设备，则它还可担当用户输入设备。输出接口1110还向除显示设备之外的设备(例如，本地连接的打印设备)输出数据。
在一些示例中，用户输入设备1005、1007、1008、1009可以检测语音输入、用户姿势或其他用户动作，并且可以提供自然用户界面(NUI)。该用户输入可用于控制游戏或其他应用。输出接口1110还可向除显示设备之外的设备(例如，本地连接的打印设备)输出数据。
输入接口1102、输出接口1110、显示设备1109以及可任选地用户输入设备1105、1007、1008、1009可包括使用户能够按自然的、免受诸如鼠标、键盘、遥控器等输入设备所施加的人工约束的方式与基于计算的设备交互的NUI技术。可以提供的NUI技术的示例包括但不限于依赖于语音和/或话音识别、触摸和/或指示笔识别(触敏显示器)、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、语音和话音、视觉、触摸、姿势以及机器智能的那些技术。可被使用NUI技术的其他示例包括意图和目的理解系统，使用深度相机(如立体相机系统、红外相机系统、rgb相机系统以及这些的组合)的运动姿势检测系统，使用加速度计/陀螺仪的运动姿势检测，面部识别，3D显示，头部、眼睛和注视跟踪，沉浸式增强现实和虚拟现实系统，以及用于使用电场传感电极(EEG和相关方法)的感测大脑活动的技术。
可以使用基于计算的设备1104能够访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器1112等计算机存储介质和通信介质。诸如存储器1112等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。
相反，通信介质可以以诸如载波或其他传输机构等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。传播信号可存在于计算机存储介质中，但是传播信号本身不是计算机存储介质的示例。虽然在基于计算的设备1104中示出了计算机存储介质(存储器1112)，然而应当理解，该存储可以是分布式的或位于远处并经由网络或其他通信链路(例如，使用通信接口1113)来访问。
基于计算的设备1104还包括一个或多个处理器1100，该一个或多个处理器可以是微处理器、控制器、或用于处理计算可执行指令以控制设备的操作以便提供实时相机跟踪的任何其他合适类型的处理器。在一些示例中，例如在使用片上系统架构的示例中，处理器1100可以包括一个或多个固定功能块(亦称加速器)，这些块以硬件(而非软件或固件)来实现实时相机跟踪方法的一部分。
可以在基于计算的设备处提供包括操作系统1114或任何其他合适的平台软件的平台软件以使得能够在该设备上执行应用软件1116。可以在计算设备1104上执行的其他软件包括：相机姿态引擎1118、环闭合引擎1120、重新定位引擎1122。提供数据存储1124来存储数据，诸如先前接收的深度图、配准参数、用户可配置参数、其他参数、场景的密集3D模型、游戏状态信息、游戏元数据、地图数据和其他数据。
此处所使用的术语‘计算机’或‘基于计算的设备’是指带有处理能力以便它可以执行指令的任何设备。本领域技术人员可以理解，这样的处理能力被结合到许多不同设备，并且因此术语每个“计算机”和“基于计算的设备”包括个人电脑、服务器、移动电话(包括智能电话)、平板电脑、机顶盒、媒体播放器、游戏控制台、个人数字助理和许多其它设备。
本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。传播信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
对精通本技术的人显而易见的是，此处给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的引用是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
此处使用了术语“包括”旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，方法或设备可以包含额外的框或元件。
可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (10)

1.一种实时相机跟踪的方法，包括：
从正在移动的移动深度相机接收深度图帧的序列，每一深度图帧包括每一图像元素处的深度值，所述深度值与从所述移动深度相机到由所述移动深度相机所捕捉的环境中的表面的距离有关；
访问所述环境中表面的3D模型；
通过根据所述深度图帧的图像元素与所述环境的3D模型中所描绘的表面的对准，为多个深度图帧中的每一个深度图帧计算所述移动深度相机的经更新的位置和定向，来跟踪所述移动深度相机的位置和定向。
2.如权利要求1所述的方法，其特征在于，包括通过计算将所述深度图帧中的两帧对准的相机姿态来根据所述两帧计算所述移动深度相机的位置和定向的初始估计。
3.如权利要求1或2所述的方法，其特征在于，访问所述表面的3D模型包括访问表示所述环境中的表面的有符号距离函数。
4.如前述任意权利要求所述的方法，其特征在于，包括将图像元素的深度值从深度图帧映射到相对于所述3D模型的模型位置.
5.如权利要求4所述的方法，其特征在于，包括计算来自所述3D模型的模型位置的深度值。
6.如权利要求5所述的方法，其特征在于，包括通过将所述模型位置的深度值与来自深度图帧的对应图像元素的深度值作比较来计算残余。
7.如权利要求5所述的方法，其特征在于，包括使用纹理化硬件来计算所述模型位置的深度值。
8.如前述任意权利要求所述的方法，其特征在于，包括通过使用并行计算设备并行地累积与图像元素的对准有关的量，来计算所述深度图帧的图像元素与所述环境的所述3D模型中所描绘的表面的对准。
9.如前述任意权利要求所述的方法，其特征在于，包括通过使用并行处理单元逐图像元素执行求和运算计算与对准有关的量，来计算所述深度图帧的所述图像元素与所述环境的所述3D模型中所描绘的表面的对准。
10.一种实时相机跟踪器，包括：
通信接口，所述通信接口被安排成从移动的移动深度相机接收深度图帧的序列，每一深度图帧包括每一图像元素处的深度值，所述深度值与从所述移动深度相机到由所述移动深度相机所捕捉的环境中的表面的距离有关；
所述通信接口被安排成访问所述环境中表面的3D模型；
相机姿态引擎，所述相机姿态引擎被安排成通过根据所述深度图帧的图像元素与所述环境的3D模型中所描绘的表面的对准，为多个深度图帧中的每一个深度图帧计算所述移动深度相机的经更新的位置和定向，来跟踪所述移动深度相机的位置和定向。
CN201480006047.7A 2013-01-24 2014-01-21 用于3d重构的相机姿态估计 Active CN105164726B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/749,497 2013-01-24
US13/749,497 US9251590B2 (en) 2013-01-24 2013-01-24 Camera pose estimation for 3D reconstruction
PCT/US2014/012226 WO2014116545A1 (en) 2013-01-24 2014-01-21 Camera pose estimation for 3d reconstruction

Publications (2)

Publication Number Publication Date
CN105164726A true CN105164726A (zh) 2015-12-16
CN105164726B CN105164726B (zh) 2018-01-09

Family

ID=50102202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480006047.7A Active CN105164726B (zh) 2013-01-24 2014-01-21 用于3d重构的相机姿态估计

Country Status (4)

Country Link
US (1) US9251590B2 (zh)
EP (1) EP2948924A1 (zh)
CN (1) CN105164726B (zh)
WO (1) WO2014116545A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备
CN108205679A (zh) * 2016-12-20 2018-06-26 三星电子株式会社 针对动态视觉传感器跟踪的多尺度加权匹配和传感器融合
CN109559271A (zh) * 2017-09-26 2019-04-02 富士通株式会社 对深度图像进行优化的方法和装置
CN109643366A (zh) * 2016-07-21 2019-04-16 戈斯蒂冈有限责任公司 用于监控车辆驾驶员的状况的方法和系统
CN109903346A (zh) * 2019-05-13 2019-06-18 长沙智能驾驶研究院有限公司 相机姿态检测方法、装置、设备及存储介质
TWI708210B (zh) * 2017-12-25 2020-10-21 宏達國際電子股份有限公司 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923510B2 (en) 2007-12-28 2014-12-30 Intel Corporation Method and apparatus for efficiently implementing the advanced encryption standard
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9398287B2 (en) 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US9852512B2 (en) * 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US8970709B2 (en) * 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9269187B2 (en) * 2013-03-20 2016-02-23 Siemens Product Lifecycle Management Software Inc. Image-based 3D panorama
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
WO2015005639A1 (ko) * 2013-07-08 2015-01-15 Ji Seung Hwan 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템
JP6102648B2 (ja) * 2013-09-13 2017-03-29 ソニー株式会社 情報処理装置及び情報処理方法
KR102084253B1 (ko) * 2013-11-20 2020-03-03 한국전자통신연구원 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법
US9741140B2 (en) * 2014-05-19 2017-08-22 Microsoft Technology Licensing, Llc Fast solving for loop closure using a relative state space
WO2016048960A1 (en) * 2014-09-22 2016-03-31 Huntington Ingalls Incorporated Three dimensional targeting structure for augmented reality applications
US9710960B2 (en) 2014-12-04 2017-07-18 Vangogh Imaging, Inc. Closed-form 3D model generation of non-rigid complex objects from incomplete and noisy scans
US9989969B2 (en) 2015-01-19 2018-06-05 The Regents Of The University Of Michigan Visual localization within LIDAR maps
US10725297B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US9916772B1 (en) * 2015-01-29 2018-03-13 Schell Games Llc Atomic and molecular modeling system
US11240416B2 (en) * 2015-04-01 2022-02-01 Dtn, Llc Weather event visualization application for mobile devices
US20160358382A1 (en) * 2015-06-04 2016-12-08 Vangogh Imaging, Inc. Augmented Reality Using 3D Depth Sensor and 3D Projection
TWI694604B (zh) 2015-07-23 2020-05-21 光澄科技股份有限公司 光偵測器
EP3332426B1 (en) 2015-08-04 2019-10-09 Artilux Inc. Germanium-silicon light sensing apparatus
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US9661298B2 (en) * 2015-08-06 2017-05-23 Intel Corporation Depth image enhancement for hardware generated depth images
CN115824395B (zh) 2015-08-27 2023-08-15 光程研创股份有限公司 宽频谱光学传感器
CN108027984B (zh) * 2015-09-25 2022-05-13 奇跃公司 用于在3d重建中检测和组合结构特征的方法和系统
US10073531B2 (en) 2015-10-07 2018-09-11 Google Llc Electronic device pose identification based on imagery and non-image sensor data
US20170127049A1 (en) * 2015-10-30 2017-05-04 Industrial Technology Research Institute Object scanning method
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10220172B2 (en) 2015-11-25 2019-03-05 Resmed Limited Methods and systems for providing interface components for respiratory therapy
US10482681B2 (en) 2016-02-09 2019-11-19 Intel Corporation Recognition-based object segmentation of a 3-dimensional image
US10373380B2 (en) * 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US10546385B2 (en) * 2016-02-25 2020-01-28 Technion Research & Development Foundation Limited System and method for image capture device pose estimation
US9928592B2 (en) 2016-03-14 2018-03-27 Sensors Unlimited, Inc. Image-based signal detection for object metrology
US10007971B2 (en) 2016-03-14 2018-06-26 Sensors Unlimited, Inc. Systems and methods for user machine interaction for image-based metrology
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
US10249084B2 (en) 2016-06-10 2019-04-02 Microsoft Technology Licensing, Llc Tap event location with a selection apparatus
US10129523B2 (en) 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
US10237531B2 (en) 2016-06-22 2019-03-19 Microsoft Technology Licensing, Llc Discontinuity-aware reprojection
US10573018B2 (en) 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
US10489927B2 (en) 2016-07-18 2019-11-26 King Abdullah University Of Science And Technology System and method for three-dimensional image reconstruction using an absolute orientation sensor
US10593065B2 (en) * 2016-07-27 2020-03-17 Htc Corporation Method and device for camera pose estimation
EP3943888A1 (en) 2016-08-04 2022-01-26 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
WO2018045551A1 (en) * 2016-09-09 2018-03-15 Intel Corporation Training and deploying pose regressions in neural networks in autonomous machines
US10380762B2 (en) 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
US10019851B2 (en) 2016-10-25 2018-07-10 Microsoft Technology Licensing, Llc Positioning objects in three-dimensional graphical space
US10552981B2 (en) * 2017-01-16 2020-02-04 Shapetrace Inc. Depth camera 3D pose estimation using 3D CAD models
CN108335328B (zh) * 2017-01-19 2021-09-24 富士通株式会社 摄像机姿态估计方法和摄像机姿态估计装置
US10453273B2 (en) 2017-04-25 2019-10-22 Microsoft Technology Licensing, Llc Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
US10699438B2 (en) * 2017-07-06 2020-06-30 Siemens Healthcare Gmbh Mobile device localization in complex, three-dimensional scenes
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描系统的三维重构方法和装置
GB201712126D0 (en) 2017-07-27 2017-09-13 Crofton Group Ltd 3D model generation system and method
US10607420B2 (en) * 2017-08-30 2020-03-31 Dermagenesis, Llc Methods of using an imaging apparatus in augmented reality, in medical imaging and nonmedical imaging
US10839585B2 (en) 2018-01-05 2020-11-17 Vangogh Imaging, Inc. 4D hologram: real-time remote avatar creation and animation control
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
JP6975341B2 (ja) 2018-02-23 2021-12-01 アーティラックス・インコーポレイテッド 光検出装置およびその光検出方法
US11080540B2 (en) 2018-03-20 2021-08-03 Vangogh Imaging, Inc. 3D vision processing using an IP block
US10810783B2 (en) 2018-04-03 2020-10-20 Vangogh Imaging, Inc. Dynamic real-time texture alignment for 3D models
WO2019194561A1 (ko) * 2018-04-03 2019-10-10 한국과학기술원 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템
CN114335030A (zh) 2018-04-08 2022-04-12 奥特逻科公司 光探测装置
GB2572795A (en) * 2018-04-11 2019-10-16 Nokia Technologies Oy Camera registration
US10854770B2 (en) 2018-05-07 2020-12-01 Artilux, Inc. Avalanche photo-transistor
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
US11170224B2 (en) 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
KR20200013453A (ko) * 2018-07-30 2020-02-07 삼성전자주식회사 3차원 영상 표시 장치 및 영상 처리 방법
US10955857B2 (en) 2018-10-02 2021-03-23 Ford Global Technologies, Llc Stationary camera localization
US10964098B1 (en) * 2019-03-05 2021-03-30 Facebook Technologies, Llc Inverse path tracing for material and lighting estimation
US11170552B2 (en) 2019-05-06 2021-11-09 Vangogh Imaging, Inc. Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time
US11232633B2 (en) 2019-05-06 2022-01-25 Vangogh Imaging, Inc. 3D object capture and object reconstruction using edge cloud computing resources
CN110766785B (zh) * 2019-09-17 2023-05-05 武汉大学 一种地下管道实时定位与三维重建装置及方法
US11670002B2 (en) * 2019-12-11 2023-06-06 Electronics And Telecommunications Research Institute Apparatus and method for image-based positioning to predict a camera pose from image data
US11335063B2 (en) 2020-01-03 2022-05-17 Vangogh Imaging, Inc. Multiple maps for 3D object scanning and reconstruction
KR20210091580A (ko) * 2020-01-14 2021-07-22 삼성전자주식회사 3차원 영상 표시 장치 및 방법
US11869135B2 (en) * 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data
US11348319B1 (en) * 2020-01-22 2022-05-31 Facebook Technologies, Llc. 3D reconstruction of a moving object
US11501489B2 (en) * 2020-02-27 2022-11-15 Magic Leap, Inc. Cross reality system for large scale environment reconstruction
CN112750195B (zh) * 2020-05-22 2023-10-24 腾讯科技（深圳）有限公司 目标物体的三维重建方法和装置、存储介质及电子设备
US11694380B2 (en) 2020-11-13 2023-07-04 Zoltan GELENCSER System and method for immersive telecommunications
JP2022128087A (ja) * 2021-02-22 2022-09-01 株式会社東芝 計測システム及び計測プログラム
US11935263B1 (en) 2021-04-20 2024-03-19 Apple Inc. Global reference direction detection for orienting three-dimensional models
CN113392909B (zh) * 2021-06-17 2022-12-27 深圳市睿联技术股份有限公司 数据处理方法、数据处理装置、终端及可读存储介质
US20230029596A1 (en) * 2021-07-30 2023-02-02 Clearedge3D, Inc. Survey device, system and method
US11727658B2 (en) * 2021-10-01 2023-08-15 Varjo Technologies Oy Using camera feed to improve quality of reconstructed images
CN116503567B (zh) * 2023-06-26 2024-03-12 广州智算信息技术有限公司 基于ai大数据的智慧建模管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN102289815A (zh) * 2010-05-03 2011-12-21 微软公司 检测多功能传感器设备的运动
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
US20120194517A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Using a Three-Dimensional Environment Model in Gameplay

Family Cites Families (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5930392A (en) 1996-07-12 1999-07-27 Lucent Technologies Inc. Classification technique using random decision forests
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
US6009359A (en) 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6587783B2 (en) 2000-10-05 2003-07-01 Siemens Corporate Research, Inc. Method and system for computer assisted localization, site navigation, and data navigation
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6781618B2 (en) 2001-08-06 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Hand-held 3D vision system
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US7860301B2 (en) 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
CN103257684B (zh) 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7627447B2 (en) 2007-01-23 2009-12-01 The Boeing Company Method and apparatus for localizing and mapping the position of a set of points on a digital model
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8848974B2 (en) * 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
US8855819B2 (en) 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
US8437537B2 (en) 2009-03-27 2013-05-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for estimating 3D pose of specular objects
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289815A (zh) * 2010-05-03 2011-12-21 微软公司 检测多功能传感器设备的运动
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN102609942A (zh) * 2011-01-31 2012-07-25 微软公司 使用深度图进行移动相机定位
US20120194517A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Using a Three-Dimensional Environment Model in Gameplay

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643366A (zh) * 2016-07-21 2019-04-16 戈斯蒂冈有限责任公司 用于监控车辆驾驶员的状况的方法和系统
CN109643366B (zh) * 2016-07-21 2023-10-17 戈斯蒂冈有限责任公司 用于监控车辆驾驶员的状况的方法和系统
CN106780601B (zh) * 2016-12-01 2020-03-27 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备
CN108205679B (zh) * 2016-12-20 2023-07-21 三星电子株式会社 针对动态视觉传感器跟踪的多尺度加权匹配和传感器融合
CN108205679A (zh) * 2016-12-20 2018-06-26 三星电子株式会社 针对动态视觉传感器跟踪的多尺度加权匹配和传感器融合
CN109559271A (zh) * 2017-09-26 2019-04-02 富士通株式会社 对深度图像进行优化的方法和装置
CN109559271B (zh) * 2017-09-26 2023-02-28 富士通株式会社 对深度图像进行优化的方法和装置
TWI708210B (zh) * 2017-12-25 2020-10-21 宏達國際電子股份有限公司 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體
US10962355B2 (en) 2017-12-25 2021-03-30 Htc Corporation 3D model reconstruction method, electronic device, and non-transitory computer readable storage medium thereof
CN109903346A (zh) * 2019-05-13 2019-06-18 长沙智能驾驶研究院有限公司 相机姿态检测方法、装置、设备及存储介质
CN109903346B (zh) * 2019-05-13 2019-09-06 长沙智能驾驶研究院有限公司 相机姿态检测方法、装置、设备及存储介质
WO2020228694A1 (zh) * 2019-05-13 2020-11-19 长沙智能驾驶研究院有限公司 一种相机姿态信息检测方法、装置以及相应的智能驾驶设备

Also Published As

Publication number Publication date
CN105164726B (zh) 2018-01-09
US20140206443A1 (en) 2014-07-24
WO2014116545A1 (en) 2014-07-31
US9251590B2 (en) 2016-02-02
EP2948924A1 (en) 2015-12-02

Similar Documents

Publication Publication Date Title
CN105164726A (zh) 用于3d重构的相机姿态估计
CN102609942B (zh) 使用深度图进行移动相机定位
CN102622762B (zh) 使用深度图的实时相机跟踪
US10767997B1 (en) Systems and methods for providing immersive extended reality experiences on moving platforms
US11215711B2 (en) Using photometric stereo for 3D environment modeling
CN102622776B (zh) 三维环境重构
KR101881620B1 (ko) 게임플레이에서의 3차원 환경 모델 사용
US9053571B2 (en) Generating computer models of 3D objects
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN105378796A (zh) 可伸缩体积3d重构
US20230213944A1 (en) Robot and control method therefor
US11776206B1 (en) Extended reality system and extended reality method with two-way digital interactive digital twins
JP7477596B2 (ja) 深度推定のための方法、深度推定システム、およびコンピュータプログラム
JP2023527595A (ja) 深度推定のための方法、深度推定システム、およびコンピュータプログラム
EP4359822A1 (en) Systems and methods for pose determination of a mobile subject

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant