CN103064188A - 基于头戴式显示器的教育和指导 - Google Patents

Abstract

基于头戴式显示器的教育和指导。本发明公开的技术允许在教室设置中使用HMD。本发明公开的技术允许将HMD用于全息指导。在一个实施例中，HMD被用于社交辅导。用户简档信息可被用来基于已知技能、学习风格、和/或特性来向特定用户定制指导。基于传感器数据来监视一个或多个人。传感器数据可来自HMD。可分析该监视以确定如何增强体验。通过在一个或多个人所佩戴的至少一个头戴式显示器中呈现图像来增强体验。

Description

基于头戴式显示器的教育和指导

技术领域

本发明涉及头戴式显示设备及其在教育和指导中的使用。

背景技术

头戴式显示（HMD）设备可用于各种应用中，包括军事、航空、医学、视频游戏、娱乐、运动等等。透视HMD设备允许用户观察物理世界，而光学元件将来自一个或多个小型微显示器的光增加到用户的视觉路径中，以提供增强现实图像。

发明内容

提供了头戴式显示（HMD）设备和在教育和指导中使用HMD的系统及方法。HMD可被用于教室教学环境中。HMD可被用来提供全息指导。HMD可被用来提供社交辅导。可基于个人的已知技能、学习风格、或特性来为该个人定制教育或指导。

一个实施例包括一种增强体验的方法。执行对参与该体验的一个或多个人的监视。该监视基于来自一个或多个传感器的数据。分析该监视以确定如何增强体验。基于该分析来增强体验。增强体验包括向这些人之一所佩戴的至少一个透视头戴式显示器呈现信号。

一个实施例包括一种用于增强教育或指导的系统。该系统包括处理器和耦合到该处理器的处理器可读存储设备。该处理器可读存储设备上存储有指令，这些指令在处理器上执行时使得该处理器接收来自至少一个HMD的传感器数据。此外，处理器基于该传感器数据来监视一个或多个人。处理器分析该监视以确定如何增强该一个或多个人所参与的教育或指导体验。处理器基于该分析来增强教育或指导体验。在一个实施例中，增强包括向这些人中的一个或多个所佩戴的至少一个透视头戴式显示器（HMD）提供信息。

一个实施例包括具有指令的处理器可读存储设备，这些指令在处理器上执行时使得该处理器执行一种增强个人的表现的方法。该方法包括访问传感器数据，并处理该传感器数据以确定指示该个人的表现的信息。分析该个人的表现的信息指示以确定如何增强该个人的表现。向该个人所佩戴的头戴式显示器提供信号以增强该个人的表现。

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图说明

图1A示出根据各实施例的其中可使用HMD的一个示例教室学习环境。

图1B描绘根据各实施例的其中可使用HMD的另一示例全息学习环境。

图1C描绘根据各实施例的其中可将HMD用于社交辅导的另一示例学习环境。

图1D是将HMD用于教育和指导的系统的一个实施例的各组件的框图。

图1E是将HMD用于教育和指导的过程的一个实施例的流程图。

图2A是描绘HMD设备的一个实施例的各示例组件的框图。

图2B描绘HMD设备的一部分的俯视图。

图2C示出定位成在配备在一副眼镜中的混合现实显示设备上面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的示例性安排。

图2D示出定位成在配备在一副眼镜中的混合现实显示设备上面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的另一示例性安排。

图2E示出由该副眼镜定位成面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的又一示例性安排。

图3是描绘HMD设备的各个组件的框图。

图4是HMD设备的处理单元的各组件的一个实施例的框图。

图5是中枢计算系统和捕捉设备的各组件的一个实施例的框图。

图6示出了可用于实现中枢计算系统的计算系统的示例实施例。

图7是向教师提供关于学生的信息的过程的一个实施例的流程图。

图8是向教师提供学生的理解或注意力的过程的一个实施例的流程图。

图9是向学生提供不同教师的过程的一个实施例的流程图。

图10是提供全息指导的过程的一个实施例的流程图。

图11是提供全息指导以组装一装置的过程的一个实施例的流程图。

图12是在演奏音乐时提供全息指导的过程的一个实施例的流程图。

图13A是提供用于运动的全息指导的过程的一个实施例的流程图。

图13B是提供用于帮助用户进行烹饪的全息指导的过程的一个实施例的流程图。

图14是提供用于帮助学生对问题进行求解的指导的过程的一个实施例的流程图。

图15是提供用于帮助学生书写的指导的过程的一个实施例的流程图。

图16是使用HMD进行社交辅导的过程的一个实施例的流程图。

图16A是使用HMD进行社交辅导的过程的一个实施例的流程图。

图16B是使用HMD进行社交辅导的过程的一个实施例的流程图。

图17A是用于确定三维用户视野的方法实施例的流程图。

图17B是用于标识用户视野中的一个或多个现实物体的方法实施例的流程图。

图17C是用于生成用户空间的三维模型的方法实施例的流程图。

图17D是用于标识用户视野中的一个或多个物体的方法实施例的流程图。

图17E是用于标识用户视野中的一个或多个物体的方法实施例的流程图。

图18是用于确定透视、近眼、混合现实显示系统中的注视的方法实施例的流程图。

具体实施方式

透视HMD设备可使用诸如反射镜、棱镜和全息透镜等光学元件将来自一个或两个小型微显示器的光增加到用户的视觉路径中。该光经由透视透镜向用户的眼睛提供全息图像。本文公开的技术允许在教室设置中使用HMD。本文公开的技术允许将HMD用于全息指导。在一个实施例中，HMD被用于社交辅导。用户简档信息可被用来基于已知技能、学习风格、和/或特性来定制针对特定用户的指导。

图1A示出根据各实施例的其中可使用HMD的一个示例学习环境。这可被称为教室教学环境。在一个实施例中，教师13(a)和学生13(b)各自佩戴他们自己的HMD 2。注意，在一个实施例中，教师13(a)佩戴HMD 2，但不要求学生13(b)佩戴。在一个实施例中，学生13(b)各自佩戴HMD 2，但不要求教师13(a)佩戴。在该所示示例中，教师13(a)亲临现场。然而，可以在没有现场教师的情况下提供指导。例如，学生13(b)可访问记录的课程并在他们的HMD 2中观看。注意，学生和教师是参与体验的个人的示例。

在该示例中，每一用户具有与HMD 2相关联的处理单元4。下文解释了附加细节，但简言之，处理单元4可无线或有线地和与其相关联的HMD 2进行通信来向HMD 2提供处理。处理单元4也可通过网络50无线或有线地通信。因此，数据可被共享。作为一个示例，HMD 2可具有能监视佩戴者以及该佩戴者的周围区域（例如，前方）的传感器。可分析传感器数据以确定学生的理解和/或注意力。这一信息可被提供给教师13(a)。计算系统12可以提供附加处理能力。计算系统12可以是本地（例如，在教室或建筑物中）或远程的（例如，通过因特网）。在一个实施例中，教师13(a)可从计算机系统12或其他位置访问学生简档信息。

在一个实施例中，学生13(b)能访问呈现设备9。该学生可通过呈现设备9接收指导和/或反馈。在一个实施例中，这一反馈基于对来自指导者13(a)所佩戴的HMD 2的传感器数据的分析。呈现设备9可具有视觉显示器和/或音频换能器。呈现设备9的示例包括但不限于：

图1A示出1:n教师对学生交互。仅举几个其他示例，交互可以是1:1、n:n、或n:m。注意，不需要现场教师在场。例如，可经由视频录像来提供教师13(a)。这可呈现在HMD 2或显示器中，如所有学生13(b)可一起观看的显示器。

图1B描绘根据各实施例的其中可使用HMD 2的另一示例学习环境。这一环境可被用来提供全息指导。在该实施例中，个人13正在组装某一装置15。个人13佩戴具有由线19、21所限定的视野的HMD 2。可在HMD 2中显示全息图像以向该个人13示出如何组装装置15。例如，HMD可以示出在某一组装阶段该装置看起来如何的全息图像。个人13能够浏览或操纵这一全息图像以从不同的视角查看各事物。全息指导的另一示例使用涉及呈现该个人的高尔夫挥杆的全息图像。下文讨论进一步细节和示例。

图1C描绘根据各实施例的其中可使用HMD 2的另一示例学习环境。这一环境可用于社交辅导。在该示例中，存在三个人。三个人中的两个佩戴了HMD2。佩戴者之一经由HMD 2接收社交辅导。例如，HMD可提醒佩戴者今天是另两人之一的生日。下文讨论进一步细节和示例。

在一个实施例中，HMD 2被用于信息供应。信息供应的一个示例是帮助佩戴者准备晚餐。该指导可经由HMD 2提供给用户。计算机系统12可使用HMD2正面的3D相机来跟踪晚餐准备过程。在这一或其他实施例中，该系统可访问用户简档信息。例如，如果用户是专家级厨师，则该系统不需要告诉用户如何炒蘑菇，只是加上一些炒过的蘑菇。

图1D是将HMD 2用于教育和指导的系统75的一个实施例的各组件的框图。系统75包括一个或多个HMD 2、传感器51、一个或多个计算机系统12、以及一个或多个数据库57(1)–57(n)。注意，一个或多个计算机系统12可以驻留在各种各样的设备中，如与HMD 2相关联的处理单元4、蜂窝电话、膝上型计算机、笔记本计算机、台式计算机、服务器等。计算机系统12能够执行的各种功能被表示成模块。这些模块可通过在处理器上执行各指令来实现。

传感器51可包括相机（2D、3D、RGB、IR等）、心率监视器、陀螺仪、GPS等。传感器51中的一些可以是HMD 2的一部分。例如，HMD 2可具有用于跟踪眼睛注视的传感器（例如，图像传感器）以及面向前方的相机。传感器51可被用来收集关于个人的生物测定数据。传感器51还可被用来开发该个人周围的环境的模型。

在一个实施例中，眼睛跟踪53接收传感器数据并确定对个人的观看方向进行限定的一个或多个向量。环境建模55接收传感器数据并确定该环境的模型。这可以是2D或3D模型。该模型可以是用户（例如，个人、学生或教师）周围的环境或者是用户的环境。生物测定分析器63能够分析与个人有关的生物测定数据。生物测定数据可以是传感器数据，包括但不限于心率、音频、以及图像数据。在一个实施例中，生物测定分析器确定学生的理解水平。在一个实施例中，生物测定分析器确定学生的注意力水平。

错误检测/校正65可输入指导/模型57(n)。这些指导/模型可以描述问题的正确的解、用于组装产品的指导，等等。它们还可包括各模型，如可显示在HMD2中的2D或3D模型。在一个实施例中，错误检测/校正65能够基于指导57(n)来确定问题的解的正确性。例如，错误检测/校正65可确定个人是否在正确地求解数学问题。可生成可能的解或提示来帮助该个人求解该问题。在一个实施例中，错误检测/校正65能够基于指导/模型来确定装置的组装的正确性。错误检测/校正65可向HMD内容显示器59发送图像以使得HMD 2显示示出全息图像的图像，以帮助组装该产品。在一个实施例中，错误检测/校正65能够基于指导/模型来分析该个人的表现。例如，在书写实施例中，错误检测/校正65可分析该个人的组织字母的努力。

反馈61可生成在HMD 2中提供的反馈。在一个实施例中，反馈61接收眼睛跟踪数据以确定教师13(a)正在看哪一学生13(b)，并随后访问个人简档数据库57(2)以提供GPA、课程出席，等等。反馈61还可从生物测定分析器63接收输入以向教师13(a)报告（通过他们的HMD 2）哪些学生理解该主题。

个人简档数据57(2)可包括与个人13的学习风格、特性、和/或已知技能有关的信息。在一个实施例中，学生构建这一数据库57(2)。然而，数据库57(2)可在没有该系统的帮助的情况下整体或部分地构建。作为一个示例，该系统可以确定个人13是惯用右手还是左手、力量、敏捷等，并存储这些以供将来使用。数据库57(2)可包含个人13的能力水平。该系统可以基于这些来定制指导。

教师/课程57(3)可包含记录的讲座、课程等。在一个实施例中，系统75向学生13(b)提供在他们的HMD 2中查看不同教师13的讲座的选项。这可以基于简档数据57(2)。在一个实施例中，该系统基于学生13(b)的简档来为他们选择适当的课程。例如，可基于个人简档来不同地呈现数学课程中的相同内容。

个人记录57(1)包含个人的活动、表现、与他人的交互等的记录（例如，录音）。计算机系统12可以使用HMD 2上的传感器来生成个人记录，但可使用其他传感器。在一个实施例中，个人记录允许父母或教师13(a)稍后分析该个人的活动、交互、表现13。在一个实施例中，个人记录57(1)包含个人的表现（如高尔夫挥杆）的3D图像。这可由传感器51开发，如能够生成3D图像的相机系统。计算机系统12可以输入这一表现，并且生成它的全息图像以呈现在HMD 2上。

在一个实施例中，计算机系统12可广播信息。例如，如果个人13做得特别好，则计算机系统12可将这一点张贴到社交网络的网页上。因此，个人13获得了成就感。这对于挑战学习者而言尤其重要。在一个实施例中，计算机系统12可担当增强的比赛制定者。例如，如果个人13希望共享与他们的喜欢、不喜欢、兴趣、可用性等有关的信息，则这可被广播给网络50上的各站点。

注意，图1D的系统的上述描述只提供若干示例来示出对计算机系统12中的各模块53-65的各传感器51和数据57输入。同样，这些示例只描述从一个模块生成的数据可由另一模块如何使用的若干示例。注意，存在许多其他可能性。还要注意，数据库57可位于任何位置。在一个实施例中，计算机系统12使用因特网来访问数据库57。

图1E是将HMD 2用于教育和指导的过程的一个实施例的流程图。该过程可以用在教室环境（例如，图1A）、全息指导环境（例如，图1B）、或社交辅导（例如，图1C）中。该过程可被用来提供信息供应（例如，帮助个人烤蛋糕）。该过程可由一个或多个计算机系统12执行，如与HMD 2相关联的处理单元、蜂窝电话、膝上型计算机、笔记本计算机、台式计算机、服务器，等等。

在步骤150，监视参与某一体验的一个或多个人。这可以是教育或指导体验。该监视可涉及使用一个或多个传感器来收集传感器数据，并将该传感器数据提供给计算机系统12。传感器数据可包括来自相机系统、心率传感器、音频传感器、GPS等的数据。注意，步骤150可包括对传感器数据的一些处理。在一个实施例中，该监视包括构建该环境的3D模型。该监视可包括检测HMD 2的佩戴者的眼睛注视。在一个实施例中，该监视可包括产生学生的脸部的一个或多个图像。在一个实施例中，该监视包括从至少一个HMD 2接收传感器数据。

在步骤152，分析从监视步骤生成的数据以确定如何增强体验。这一数据可以是原始传感器数据（例如，心率）或经处理的传感器数据（例如，3D模型）。在一个实施例中，步骤152包括分析脸部表情、心率等，以确定学生13(b)是否理解了主题。在一个实施例中，步骤152包括输入数据（例如，指导/模型57(n)）并使用该数据来分析在步骤150捕捉或产生的数据。例如，步骤152可包括确定学生13(b)是否在正确地求解数学问题，并确定如何继续进行的提示。该数据可通过网络传送给远程计算设备以供分析。许多另外的示例在下文中提供。

在步骤154，基于步骤152的分析来增强体验（例如，教育或指导）。对于图1A的环境，教师13(a)可接收哪些学生12在理解和/或注意的反馈。对于图1B的环境，个人13可接收全息指导来组装装置。对于图1C的环境，个人13可接收社交辅导。在一个实施例中，步骤154包括向至少一个HMD 2提供信号。HMD 2可以是参与该体验的各个人中的至少一个所佩戴的HMD。在一个实施例中，步骤154包括向呈现设备提供信号。呈现设备可以是视频监视器和/或音频换能器。呈现设备不限于是HMD 2。呈现设备可以例如与个人计算机、膝上型计算机、笔记本计算机、蜂窝电话、电视机等相关联。

图2A是描绘HMD设备的一个实施例的各示例组件的框图。HMD设备2包括通常是眼镜架形状的头戴式镜架3，并且包括镜腿102以及包含鼻梁104的前透镜架。在鼻梁104中置入了话筒110以用于记录声音以及将该音频数据传送给处理单元4。透镜116是透视透镜。

HMD设备可被戴在用户的头上，使得该用户可以透过显示器观看并且从而看到包括不是由该HMD设备生成的图像的真实世界场景。HMD设备2可以是自包含的，使得它的所有组件可由镜架3来承载，例如由镜架3物理地支撑。可任选地，HMD设备的一个或多个组件不由该镜架来承载。例如，该镜架没有承载的多个组件之一可以通过线来物理地附连到该镜架所承载的组件。通过线5所附连的芯片形传感器7是一个这样的示例。传感器7是生物传感器，如可夹到用户的耳朵的心率传感器。心率传感器的一个示例在耳朵的一侧发射红外光，并从另一侧感测穿过耳朵中血管组织的光的强度。该强度将由于与心率相对应的血量的变化而存在变化。心率传感器的另一示例附连到指尖。心率传感器的又一示例使用胸带来检测EKG信号，该信号可无线或有线地传送到HMD设备的接收和处理电路。除心率水平（例如脉搏率）之外，可以确定心率的规律性。心率可被分类成例如正常或抖动。

还可根据从眼睛跟踪相机134B获得的眼睛的图像来检测心率，如下所述。例如，US2006/0149154，“Method and apparatus for measuring tissue perfusion（用于测量组织灌注的方法和装置）”测量目标组织（如视网膜表面）的微循环血流而不需要接触该组织，其整体通过引用结合于此。脉冲光源照射该组织，并且匹配传感器将反射光中的变化转换成电子信号，其指示心率以及组织灌注指标。心率传感器的又一示例使用鼻梁处的传感器，如在美国专利6431705，“Eyewear heart rate monitor（佩戴在眼睛的心率监视器）”中讨论的，其整体通过引用结合于此。

此外，该镜架未承载的多个组件之一可以与该镜架所承载的组件进行无线通信，并且没有通过线或以其他方式物理地附连到该镜架所承载的组件。在一种方法中，该镜架没有承载的一个或多个组件可由该用户携带，如在腕上。处理单元4可经由有线链路或经由无线链路连接到该镜架中的组件。术语“HMD设备”可涵盖镜架上的组件和远离镜架的组件两者。

处理单元4包括用于操作HMD设备2的计算能力中的许多能力。该处理器可以执行存储在处理器可读存储设备上的指令以执行本文描述的过程。在一个实施例中，处理单元4与一个或多个中枢计算系统12无线地（例如使用

蓝牙

红外（例如即INFRARED DATA ASSOCIA

（红外数据协会）标准）、或其他无线通信手段）通信。

控制电路136提供支持HMD设备2的其他组件的各种电子装置。

中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中枢计算系统12可包括用于执行例如游戏应用、非游戏应用等应用的硬件组件和/或软件组件。中枢计算系统12可包括可执行存储在处理器可读存储设备上的指令以执行本文描述的过程的处理器。

中枢计算系统12还包括一个或多个捕捉设备，如捕捉设备20。捕捉设备20可以是例如相机，该相机在视觉上监视一个或多个用户（例如，个人13、学生13(b)或教师11）和周围空间，从而可以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或移动以及周围空间的结构，以执行一个或多个控制或动作。

中枢计算系统12可以连接到诸如电视机、监视器、高清电视机（HDTV）等可提供游戏或应用视觉的视听设备16。例如，中枢计算系统12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从中枢计算系统12接收视听信号，并且然后可以输出与视听信号相关联的游戏或应用视觉和/或音频。

中枢计算设备10可以与捕捉设备20一起用于识别、分析和/或跟踪人类（以及其他类型的）目标。例如，可使用捕捉设备20来跟踪佩戴HMD设备2的用户，使得可以捕捉用户的姿势和/或移动来使化身或屏幕上人物动画化，和/或可将用户的姿势和/或移动解释为可用于影响中枢计算系统12所执行的应用的控制。

图2B描绘了HMD设备2的一部分的俯视图，该HMD设备包括镜架中包含镜腿102和鼻梁104的那部分。仅示出了HMD设备2的右侧。在HMD设备2的前方是面向前方（或朝向房间）的可捕捉视频和静止图像的视频相机113。这些图像被传送给处理单元4，这将在下面予以描述。面向前方的视频相机113面朝外，并具有与用户的视点类似的视点。

HMD设备2的镜架的一部分围绕显示器（该显示器包括一个或多个透镜）。为了示出HMD设备2的组件，未描绘围绕显示器的镜架部分。该显示器包括光导光学元件112、不透明度滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器114处于透视透镜116之后并与其对齐，光导光学元件112处于不透明度滤光器114之后并与其对齐，并且透视透镜118处于光导光学元件112之后并与其对齐。透视透镜116和118是眼镜中使用的标准透镜，并且可根据任何处方（包括无处方）来制作。在一个实施例中，透视透镜116和118可由可变处方透镜取代。在一些实施例中，HMD设备2将仅仅包括一个透视透镜或者不包括透视透镜。在另一替代方案中，处方透镜可以进入光导光学元件112内。不透明度滤光器114滤除自然光（要么基于逐像素地，要么均匀地）以增加增强现实图像的对比度。光导光学元件112将人造光引导至眼睛。

在镜腿102处或镜腿102内安装有图像源，该图像源（在一个实施例中）包括用于对增强现实图像进行投影的微显示器120、以及用于将图像从微显示器120引导到光导光学元件112中的透镜122。在一个实施例中，透镜122是准直透镜。增强现实发射器可包括微显示器120、诸如透镜122和光导112等一个或多个光学组件、以及诸如驱动器等相关电子装置。这样的增强现实发射器与该HMD设备相关联，并向用户的眼睛发射光，其中该光表示增强现实静止图像或视频图像。

控制电路136提供支持HMD设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图3提供。处于镜腿102内部或安装在镜腿102处的有耳机130、惯性传感器132、以及生物测定传感器138。例如，生物传感器可表示图2A的心率传感器组件5和7。可以提供其他生物传感器来检测生物测定，如体温、血压、或血糖水平。用户的声音的特性（如讲话的音调或语速）也可被认为是生物测定。眼睛跟踪相机134也可检测生物测定，如一只或两只眼睛的瞳孔扩张量。还可根据从眼睛跟踪相机134获得的眼睛的图像来检测心率。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C（参见图3）。惯性传感器用于感测HMD设备2的位置、定向、突然加速。例如，惯性传感器可以是用于确定用户头部的方位和/或位置的一个或多个传感器。

微显示器120通过透镜122来投影图像。可使用不同的图像生成技术。例如，使用透射投影技术，光源被光学活性材料调制并且用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。使用反射技术，外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理（DGP）、硅上液晶（LCOS）、以及

（来自高通公司的显示技术）都是高效的反射技术的示例，因为大多数能量从调制结构反射。使用发射技术，光由显示器生成。例如，PicoPTM显示引擎（可从MICROVISION有限公司获得）使用微型镜面操控来将激光信号发射到充当透射元件的微小屏幕上或直接照射到眼睛。

光导光学元件112将来自微显示器120的光传送到佩戴HMD设备2的用户的眼睛140。光导光学元件112还允许如箭头142所描绘那样将光从HMD设备2的前方通过光导光学元件112透射到用户的眼睛140，从而除接收来自微显示器120的增强现实图像之外还允许用户具有HMD设备2的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射面124（例如镜面或其他表面）。来自微显示器120的光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面基底内。在衬底的表面上进行若干反射之后，所捕获的光波到达选择性反射面的阵列，包括示例表面126。

反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛140。由于不同光线将以不同角度在衬底的内部行进并反射，因此这些不同的光线将以不同角度击中各个反射面126。因此，不同光线将被所述反射面中的不同反射面从衬底中反射出。关于哪些光线将被哪个表面126从衬底反射出的选择是通过选择表面126的合适角度来设计的。光导光学元件的更多细节可以在于2008年11月20日公开的美国专利申请公开号2008/0285140中找到，该申请的全部内容通过引用并入本文。在一个实施例中，每只眼睛将具有其自己的光导光学元件112。当HMD设备具有两个光导光学元件时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一实施例中，可以存在一个将光反射到这两只眼睛中的光导光学元件。

与光导光学元件112对齐的不透明度滤光器114要么均匀地，要么逐像素地来选择性地阻挡自然光穿过光导光学元件112。在一个实施例中，不透明度滤光器可以是透视LCD面板、电致变色膜、或类似器件。通过从常规LCD中除去衬底、背光和漫射体的各层，可以获得透视LCD面板。LCD面板可包括一个或多个透光LCD芯片，所述透光LCD芯片允许光穿过液晶。例如，在LCD投影仪中使用了这样的芯片。

不透明度滤光器114可以包括致密的像素网格，其中每个像素的透光率能够在最小和最大透光率之间被单独地控制。可以由下面描述的不透明度滤光器控制电路224为每个像素设置透光率。于2010年9月21日提交的美国专利申请号12/887426，“Opacity Filter For See-Through Mounted Display（用于透视安装显示器的不透明度滤光器）”中提供了不透明度滤光器的更多细节，该专利申请的全部内容通过引用并入本文。

在一个实施例中，显示器和不透明度滤光器被同时渲染，并且在空间中被校准到用户的精确位置以补偿角度偏移问题。眼睛跟踪（例如，使用眼睛跟踪相机134）可用于计算视野的末端处的正确的图像偏移。

图2C示出在配备在一副眼镜上的HMD 2中的、相应注视检测元件的集合的位置的示例性安排。表现为每个眼睛的镜片的是每个眼睛的显示光学系统14，例如14r和14l。显示光学系统包括透视透镜，如普通眼镜一样，但还包含用于将虚拟内容与透过透镜6看到的实际且直接的真实世界视图无缝地融合的光学元件（例如，反射镜、滤光器）。显示光学系统14具有一般处于透视透镜中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合于用户的脸部时，目标是该眼镜在每一瞳孔与相应镜片的中心或光轴相对准的位置处落在用户的鼻子上，从而通常使得校准光到达用户的眼睛以得到清晰或无失真的视图。

在图2C的示例中，至少一个传感器的检测区域139r、139l与其相应显示光学系统14r、14l的光轴相对准，使得检测区域139r、139l的中心捕捉沿着光轴的光。如果显示光学系统14与用户的瞳孔对准，则相应传感器134的每一检测区域139与用户的瞳孔相对准。检测区域139的反射光经由一个或多个光学元件传送到相机的实际图像传感器134，在该示例中传感器134由处于镜架115内部的虚线示出。

在一个示例中，通常也被称为RGB相机的可见光相机可以是所述传感器，并且光学元件或光引导元件的示例是部分透射且部分反射的可见光反射镜。可见光相机提供用户的眼睛的瞳孔的图像数据，而IR光电探测器162捕捉闪光，闪光是频谱的IR部分中的反射。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像过滤技术可被用来在需要时移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射是不敏感的。

在一个实施例中，所述至少一个传感器134是IR辐射可被定向到的IR相机或位置敏感检测器（PSD）。例如，热反射表面可以透射可见光但反射IR辐射。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器（未示出）的入射辐射或者来自从眼睛反射的环境IR辐射。在一些示例中，传感器134可以是RGB和IR相机的组合，并且光学引导元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些示例中，相机可以是小型的，例如2毫米（mm）乘2mm。这样的相机传感器的示例是Omnivision OV7727。在其他示例中，相机可以足够小（例如Omnivision OV7727），例如使得图像传感器或相机134能以显示光学系统14的光轴或其他位置为中心。例如，相机134可被嵌入在系统14的镜片中。另外，可以应用图像过滤技术来将相机混合到用户视野中以减轻对用户的任何干扰。

在图2C的示例中，有四组照明器163，照明器163与光电检测器162配对并由屏障164分开以避免照明器163所生成的入射光与在光电检测器162处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，就代表性的一对示出了附图标记。每一照明器可以是生成大约预定波长的窄光束的红外（IR）照明器。光电检测器中的每一个可被选择来捕捉大约该预定波长的光。红外还可包括近红外。因为照明器或光电检测器可能存在波长漂移或者波长周围的微小范围是可接受的，所以照明器和光电检测器可以具有与用于生成或检测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器（PSD）的实施例中，光电检测器可以是附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长漂移、波束宽度改变等。光电检测器还可提供闪光数据，其中可见光相机作为传感器134。

如上所述，在作为确定注视向量的一部分来计算角膜中心的一些实施例中，两个闪光（并且因此两个照明器）将是足够的。然而，在确定瞳孔位置并且因此确定注视向量时，其他实施例可以使用附加闪光。因为表示闪光的眼睛数据是重复地捕捉的，例如以每秒30帧或更大的帧率，所以一个闪光的数据可被眼睑或甚至被睫毛遮挡，但数据可由另一照明器所生成的闪光来收集。

图2D示出一副眼镜中相应注视检测元件的集合的位置的另一示例性安排。在该实施例中，两组照明器163和光电检测器162对位于显示光学系统14周围的每一镜架部分115的顶部附近，并且另两组照明器和光电检测器对位于每一镜架部分115的底部附近，以示出照明器之间的几何关系并因此示出它们生成的闪光之间的几何关系的另一示例。闪光的这一安排可以提供与垂直方向上的瞳孔位置有关的更多信息。

图2E示出相应注视检测元件的集合的位置的又一示例性安排。在该示例中，传感器134r、134l与其相应显示光学系统14r、14l的光轴成一直线或与其对准，但在镜架115上位于系统14下方。另外，在一些实施例中，相机134可以是深度相机或包括深度传感器。深度相机可被用于在3D中跟踪眼睛。在该示例中，有两组照明器153和光电检测器152。

图3是描绘HMD设备2的各个组件的框图。图4是描述处理单元4的各个组件的框图。HMD设备组件包括跟踪各个条件的许多传感器。HMD设备将从处理单元4接收关于图像（例如，全息图像）的指令，并且将传感器信息提供回给处理单元4。处理单元4（其组件在图4中描绘）将接收HMD设备2的传感器信息。可任选地，处理单元4还接收来自中枢计算设备12（参见图2A）的传感器信息。基于该信息，处理单元4将确定在何处以及在何时向用户提供增强现实图像并相应地将指令发送给图3的HMD设备。

注意，图3的组件中的一些（例如面向前方的相机113、眼睛跟踪相机134B、微显示器120、不透明度滤光器114、眼睛跟踪照明134A、以及耳机130）是以阴影示出的，以指示这些设备中的每个都存在两个，其中一个用于HMD设备的左侧，并且一个用于HMD设备的右侧。关于面向前方的相机113，在一种方法中一个相机用于使用可见光获得图像。

在另一方法中，彼此间具有已知间隔的两个或更多相机被用作深度相机，以便也用来获得房间内的物体的深度数据，该深度数据指示从相机/HMD设备到该物体的距离。HMD设备的相机可本质上重复计算机中枢12所提供的深度相机的功能（还参见图5的捕捉设备20）。

图3示出与电源管理电路302通信的控制电路300。控制电路300包括处理器310、与存储器344（例如DRAM）通信的存储器控制器312、相机接口316、相机缓冲区318、显示驱动器320、显示格式化器322、定时生成器326、显示输出接口328、以及显示输入接口330。在一个实施例中，控制电路300的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路300的每个组件都与处理器310通信。相机接口316提供到两个面向前方的相机113的接口，并且将从面向前方的相机所接收到的图像存储在相机缓冲区318中。显示驱动器320驱动微显示器120。显示格式化器322向控制不透明度滤光器114的不透明度控制电路324提供与微显示器120上所正在显示的增强现实图像有关的信息。定时生成器326被用于向该系统提供定时数据。显示输出接口328是用于将图像从面向前方的相机112提供给处理单元4的缓冲区。显示输入接口330是用于接收诸如要在微显示器120上显示的增强现实图像之类的图像的缓冲区。

在处理单元通过线附连到HMD设备的框架或通过无线链路通信并被佩带在用户手腕上的腕带上时，显示输出接口328和显示输入接口330与作为到处理单元4的接口的带接口332进行通信。该方法降低了HMD设备的镜架承载的组件的重量。如上所述，在其他方法中，处理单元可由镜架承载并且不使用带接口。

电源管理电路302包括电压调节器334、眼睛跟踪照明驱动器336、音频DAC和放大器338、话筒前置放大器音频ADC 340、生物传感器接口342、以及时钟生成器345。电压调节器334通过带接口332从处理单元4接收电能，并将该电能提供给HMD设备2的其他组件。眼睛跟踪照明驱动器336如上所述为眼睛跟踪照明134A提供红外（IR）光源。音频DAC和放大器338从耳机130接收音频信息。话筒前置放大器和音频ADC 340提供话筒110的接口。生物传感器接口342是用于生物传感器138的接口。电源管理单元302还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。

图4是描述处理单元4的各个组件的框图。控制电路404与电源管理电路406进行通信。控制电路404包括：中央处理单元（CPU）420；图形处理单元（GPU）422；高速缓存424；RAM 426；与存储器430（例如DRAM）进行通信的存储器控制器428；与闪存434（或其他类型的非易失性存储）进行通信的闪存控制器432；经由带接口402和带接口332（在被使用时）与HMD设备2进行通信的显示输出缓冲区436；经由带接口402和带接口332（在被使用时）与HMD设备2进行通信的显示输入缓冲区438；与用于连接到话筒的外部话筒连接器442进行通信的话筒接口440；用于连接到无线通信设备446的外围部件互连（PCI）express接口444；以及USB端口448。在一个实施例中，无线通信组件446可包括启用的通信设备、蓝牙

通信设备、红外通信设备等。无线通信组件446是无线通信接口，在一种实现中该无线通信接口接收与视听设备16所显示的内容同步的数据。进而，可响应于所接收的数据来显示增强现实图像。在一种方法中，这样的数据是从中枢计算系统12接收的。

USB端口可以用于将处理单元4对接到中枢计算设备12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU420和GPU 422是用于确定在何处、何时以及如何向用户的视野内插入图像的主负荷设备。下面提供更多的细节。

电源管理电路406包括时钟生成器460、模数转换器462、电池充电器464、电压调节器466、HMD电源476、以及与生物传感器474通信的生物传感器接口472。模数转换器462连接到充电插座470以用于接收AC供电并为该系统产生DC供电。电压调节器466与用于向该系统提供电能的电池468进行通信。电池充电器464被用来在从充电插座470接收到电能后对电池468进行充电（经由电压调节器466）。HMD电源476向HMD设备2提供电能。

确定在何处、如何以及何时插入图像的计算可由HMD设备2和/或中枢计算设备12来执行。

在一个示例实施例中，中枢计算设备12将创建用户所处的环境的模型，并且跟踪在该环境中的多个移动物体。另外，中枢计算设备12通过跟踪HMD设备2的位置和方位来跟踪HMD设备2的视野。该模型和跟踪信息被从中枢计算设备12提供给处理单元4。HMD设备2获得的传感器信息被传送给处理单元4。然后，处理单元4使用它从HMD设备2接收的其他传感器信息来细化用户的视野并且向HMD设备2提供关于如何、在何处以及何时插入图像的指令。

图5示出图2A的中枢计算系统12和捕捉设备20的示例实施例。根据一示例实施例，捕捉设备20可被配置为通过可包括例如飞行时间、结构化光、立体图像等在内的任何合适的技术来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一实施例，捕捉设备20可将深度信息组织为“Z层”或可与从深度相机沿其视线延伸的Z轴垂直的层。

捕捉设备20可包括相机组件523，相机组件523可以是或可包括可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维（2-D）像素区域，其中2-D像素区域中的每个像素都可以表示深度值，比如所捕捉的场景中的物体与相机相距的例如以厘米、毫米等为单位的距离。

相机组件523可以包括可用于捕捉场景的深度图像的红外（IR）光组件525、红外相机526、以及RGB（视觉图像）相机528。3-D相机由红外发射器24和红外相机26的组合形成。例如，在飞行时间分析中，捕捉设备20的IR光组件525可以将红外光发射到场景上，并且然后可以使用传感器（在一些实施例中包括未示出的传感器）、例如使用3-D相机526和/或RGB相机528来检测从场景中的一个或多个目标和物体的表面后向散射的光。在一些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。此外，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。

可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。

捕捉设备20可使用结构化光来捕捉深度信息。在这样的分析中，图案化光（即，被显示为诸如网格图案、条纹图案、或不同图案之类的已知图案的光）可经由例如IR光组件525被投影到场景上。在到达场景中的一个或多个目标或物体的表面上以后，作为响应，图案可以变为变形的。图案的这种变形可由例如3-D相机526和/或RGB相机528（和/或其他传感器）来捕捉，然后可被分析以确定从捕捉设备到目标或物体上的特定位置的物理距离。在一些实施方式中，IR光组件525从相机526和528移位，使得可以使用三角测量来确定与相机526和528相距的距离。在一些实现中，捕捉设备20将包括感测IR光的专用IR传感器或具有IR滤波器的传感器。

捕捉设备20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。也可使用其他类型的深度图像传感器来创建深度图像。

捕捉设备20还可以包括话筒530，所述话筒530包括可以接收声音并将其转换成电信号的换能器或传感器。话筒530可用于接收也可由中枢计算系统12来提供的音频信号。

处理器532与图像相机组件523进行通信。处理器532可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式（例如，帧）以及将数据传送给中枢计算系统12的指令。

存储器534存储由处理器532执行的指令、由3-D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器534可包括RAM、ROM、高速缓存、闪存、硬盘或任何其他合适的存储组件。存储器534可以是与图像捕捉组件523和处理器532进行通信的分开组件。根据另一实施例，存储器组件534可被集成到处理器532和/或图像捕捉组件523中。

捕捉设备20通过通信链路536与中枢计算系统12通信。通信链路536可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，中枢计算系统12可以通过通信链路536向捕捉设备20提供可用于确定例如何时捕捉场景的时钟。另外，捕捉设备20通过通信链路536将由例如3-D相机526和/或RGB相机528捕捉的深度信息和视觉（例如RGB或其他色彩）图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的速率来传送，但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等应用和/或使化身或屏上人物动画化。

中枢计算系统12包括深度图像处理和骨架跟踪模块550，该模块使用深度图像来跟踪可被捕捉设备20的深度相机功能检测到的一个或多个人。模块550向应用552提供跟踪信息，应用552可以是教育软件、视频游戏、生产力应用、通信应用、或其他软件应用等。音频数据和视觉图像数据也被提供给应用552和模块550。应用552将跟踪信息、音频数据和视觉图像数据提供给识别器引擎554。在另一实施例中，识别器引擎554从模块550直接接收跟踪信息，并从捕捉设备20直接接收音频数据和视觉图像数据。

识别器引擎554与过滤器560、562、564、……、566的集合相关联，每个过滤器包括关于可由捕捉设备20检测的任何人或对象执行的姿势、动作或状况的信息。例如，过滤器560、562、564、……、566可处理来自捕捉设备20的数据，以标识一个用户或一组用户何时执行了一个或多个姿势或其他动作。这些姿势可与应用552的各种控制、对象或状况相关联。因此，中枢计算系统12可以将识别器引擎554和过滤器一起用于解释和跟踪物体（包括人）的移动。

捕捉设备20向中枢计算系统12提供RGB图像（或其他格式或色彩空间的视觉图像）和深度图像。深度图像可以是一组观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维（2-D）像素区域，其中该2-D像素区域中的每个像素都可具有深度值，诸如所捕捉的场景中的物体与捕捉设备相距的距离。中枢计算系统12将使用RGB图像和深度图像来跟踪用户或物体的移动。

中枢计算系统12还具有用于眼睛跟踪的模块53、环境建模55、HMD内容显示59、反馈61、生物测定分析器63、以及错误检测/校正65，它们都已经参考图2D进行了描述。

图6示出了可用于实现中枢计算系统12的计算系统的示例性实施例。如图6所示，多媒体控制台600包括具有一级高速缓存602、二级高速缓存604和闪存ROM 606的中央处理单元（CPU）601。一级高速缓存602和二级高速缓存604临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU 601可以被配备为具有一个以上的核，并且由此具有附加的一级和二级高速缓存602和604。闪速ROM 606可存储在多媒体控制台600通电时在引导过程初始化阶段加载的可执行代码。

GPU 608和视频编码器/视频编解码器（编码器/解码器）614形成用于高速和高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元608输送到视频编码器/视频编解码器614。视频处理流水线向A/V（音频/视频）端口640输出数据，以便传输到电视机或其他显示器。存储器控制器610连接到GPU608，以便于对各种类型的存储器612（如RAM）的处理器访问。

多媒体控制台600包括优选地在模块618上实现的I/O控制器620、系统管理控制器622、音频处理单元623、网络（NW）接口（I/F）624、第一USB主控制器626、第二USB主控制器628以及前面板I/O子部件630。USB控制器626和628用作外围控制器642和643、无线适配器648、和外置存储器设备646（例如闪存、外置CD/DVD ROM驱动器、可移动介质等）的主机。网络接口624和/或无线适配器648提供对网络（例如，因特网、家庭网络等）的访问并且可以是包括以太网卡、调制解调器、蓝牙

模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。

提供系统存储器643来存储在引导过程期间加载的应用数据。提供媒体驱动器644且其可包括DVD/CD驱动器、蓝光盘（TM）驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器644可内置或外置于多媒体控制台600。应用数据可经由媒体驱动器644访问，以供多媒体控制台600执行、回放等。媒体驱动器644经由诸如串行ATA总线或其他高速连接（例如IEEE 1394串行总线接口）等总线连接到I/O控制器620。

系统管理控制器622提供与确保多媒体控制台600的可用性相关的各种服务功能。音频处理单元623和音频编解码器632形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元623与音频编解码器632之间传输。音频处理流水线将数据输出到A/V端口640以供外部音频用户或具有音频能力的设备再现。

前面板I/O子部件630支持暴露在多媒体控制台600的外表面上的电源按钮650和弹出按钮652、以及任何LED（发光二极管）或其他指示器的功能。系统供电模块636向多媒体控制台600的组件供电。风扇638冷却多媒体控制台600内的电路。

多媒体控制台600内的CPU 601、GPU 608、存储器控制器610、以及各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。这些体系结构可以包括PCI总线、PCI-Express总线等。

当多媒体控制台600通电时，应用数据可从系统存储器643加载到存储器612和/或高速缓存602、604中并在CPU 601上执行。应用呈现一图形用户界面，该图形用户界面可在导航到多媒体控制台600上可用的不同媒体类型时提供一致的用户体验。在操作中，媒体驱动器644中所包含的应用和/或其他媒体可从媒体驱动器644启动或播放，以将附加功能提供给多媒体控制台600。

多媒体控制台600可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台600允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口624或无线适配器648可用的宽带连接集成的情况下，多媒体控制台600还可作为更大网络社区中的参与者来操作。另外，多媒体控制台600可以通过无线适配器648与处理单元4通信。

图2A（先前讨论的）描绘了与一个中枢计算设备12（称为中枢）进行通信的一个HMD设备2（被认为是一种类型的移动终端）。在另一实施例中，多个移动终端可以与单个中枢通信。每个移动终端都将如上述那样使用无线通信与中枢通信。在这样的实施例中，对所有移动终端都有用的信息中的许多都将在中枢处被计算和存储并且传送给每个移动终端。例如，中枢将生成环境的模型并且将该模型提供给与该中枢通信的所有移动终端。另外，中枢可以跟踪移动终端以及房间中的移动物体的位置和方位，并且然后将该信息传输给每个移动终端。

图7是向教师13(a)提供关于学生13(b)的信息的过程的一个实施例的流程图。该过程可用于教室教学环境中，但不限于此。在步骤702，检测教师13(a)的眼睛注视。在一个实施例中，HMD 2具有用于检测可被用来确定眼睛的定位方向的眼睛闪光的一个或多个传感器（例如，图2C-2E的IR光电检测器162）。也可使用图像传感器或相机134（参见图2A-2E）。计算机系统12可以根据上述信息确定每一只眼睛的眼睛向量。为使得眼睛向量相关，计算机系统12可访问房间的3D模型并将眼睛向量与该3D模型进行相关。计算机系统12可以使用任何相机系统来开发教室的3D模型。在一个实施例中，HMD 2具有面向前方的相机，它可收集用于该3D模型的数据。然而，任何设备可具有捕捉用于该3D模型的数据的相机。如上所述，计算机系统12可以通过将眼睛向量与3D模型进行相关来确定教师13(a)在看哪里。

在步骤704，计算机系统12确定教师13(a)在看哪一学生13(b)。教室的3D模型可包括每一学生13(b)的位置，或用每一学生13(b)的位置来增强。在一个实施例中，每一学生13(b)的HMD 2可由它所传送的信号或由某一物理标记来唯一地标识。在一个实施例中，教室中的每一座位具有已知的3D位置，并且计算机系统12知道每一座位上预期是哪一学生13(b)。然而，可使用许多其他技术。步骤702-704是步骤150的一个实施例。

在步骤706，确定与学生13(b)有关的信息。在一个实施例中，计算机系统12访问简档数据库75(2)来检索学生GPA、名字，等等。在一个实施例中，计算机系统12报告学生13(b)是否理解了该材料或正在集中注意力。下面讨论作出这一确定的进一步细节。步骤706是步骤152的一个实施例。

在步骤708，向教师13(a)提供与学生13(b)有关的信息。这一信息可在教师的HMD 2上提供。该信息可以是音频或视频。步骤708是步骤154的一个实施例。

图8是向教师13(a)提供关于学生13(b)的信息的过程的一个实施例的流程图。该过程可用于教室教学环境中，但不限于此。在步骤802，收集与学生13(b)中的一个或多个有关的生物测定数据。在一个实施例中，HMD 2具有用于检测生物测定信息的一个或多个传感器。然而，可使用其他传感器。在一个实施例中，该信息包括可从中检测出情绪的3D图像数据。生物测定数据可被用来确定眼睛注视的方向，其中可从该方向来推断出注意力。生物测定数据可包括心率数据。图2A讨论了心率传感器的一个示例；然而，可以使用其他传感器。步骤802是步骤150的一个实施例。

在步骤804，该系统确定一个或多个学生13(b)的理解和/或注意力。在一个实施例中，分析3D图像数据来确定学生13(b)的脸部表情，其中可从该脸部表情中推断出理解。在一个实施例中，使用眼睛跟踪来估计该学生是否在专心听课或可能专心于某一其他事物。例如，该学生可能花大量时间看向窗外。注意，步骤802和804可以以任何时间间隔执行。步骤804是步骤152的一个实施例。

在步骤806，计算机系统12确定与学生13(b)的集体理解有关的度量。例如，计算机系统12可以确定学生13(b)中理解该主题的学生的百分比。计算机系统12可以确定主题的什么部分被理解以及哪一部分没被理解。理解水平可被用来表达结果。步骤806是步骤152的一个实施例。

在步骤808，向教师13(a)提供与理解和/或注意力有关的信息。这可以是来自步骤804和/或806的信息。这一信息可在教师的HMD 2上提供。步骤808是步骤154的一个实施例。

在一个实施例中，计算机系统12确定学生是否完成了某一任务、问题、作业，等等。这可类似于图8的过程。然而，并非确定理解，该系统使用传感器信息来确定任务完成。作为一个示例，HMD 2可具有能够确定学生的课桌的3D图像的面向前方的相机。作为许多可能之一，可分析该3D图像以确定该学生是否完成了数学问题。

图9是向学生提供不同教师的过程的一个实施例的流程图。作为一个示例，学生13(b)可能没有理解教师13(b)所呈现的讲座，并且向学生13(b)提供在HMD2上查看由不同教师进行的讲座的选项。该过程可用于教室教学环境中，但不限于此。

在步骤902，收集与学生13(b)中的一个或多个有关的生物测定数据。步骤902是步骤150的一个实施例。在步骤904，分析该生物测定数据以确定学生13(b)的理解。步骤902-904可类似于步骤802-804。在步骤906，作出该理解是否低于阈值的确定。例如，可基于来自测试主体的经验数据通过将脸部表情与规定的或测试的理解水平进行相关来在一范围内对理解进行等级评定。如果理解低于阈值，则可向学生13(b)提供新教师13(a)的选项。

在步骤908，从数据库57(2)访问学生简档。学生简档可至少部分地由计算机系统12来开发。然而，学生简档可至少部分地在没有计算机系统12的帮助下开发。作为一个示例，用户简档可指示学生的已知学习风格。例如，一些学生可偏好线性学习风格，而其他学生偏好非线性学习风格。作为另一示例，学生13(b)可具有对基于视觉、听觉或文本的学习的偏好。步骤904-908是图1E的步骤152的一个实施例。

在步骤910，基于学生13(b)的用户简档来向他们建议不同的教师13(a)。可向学生13(b)呈现一个或多个可能的教师11以供从中进行选择，可能将教师13(a)的简要描述或为什么向这一学生13(b)建议他们一起进行呈现。

在步骤912，学生13(b)可选择新教师13(a)。如果是，则在步骤914，向学生13(b)提供所选教师13(a)。在一个实施例中，计算机系统12从数据库57(3)访问所选教师13(a)所给出的讲座。这可以是连同音频一起的视频录像，它在HMD 2上提供。注意，学生13(b)可以选择对该视频录像进行暂停、快进、倒带等。步骤914是图1E的步骤154的一个实施例。

图9的过程的一个变型要提供对学生13(b)定制的课程。例如，可从学生简档数据库57(2)访问学生13(b)对资料呈现感到轻松的速度。测试理解的步骤（步骤906）可作为对学生感到轻松的速度的确定的因素。可从数据库57(3)访问这一主题的合适课程。这一课程可以是预先录制的视频；然而，不排除其他格式。

图10是提供全息指导的过程的一个实施例的流程图。该指导可具有许多目的，如帮助个人13组装某一装置。例如，个人13可能购买了需要组装的产品。另一可能用途是通过向个人13示出他们自己的高尔夫挥杆的全息图像来教导他们如何挥动高尔夫球杆。在一个实施例中，所呈现的图像是全息的。个人能够操纵或“浏览”这些图像以从不同的观点来查看图像。图10的过程可用于图1B的示例环境中，但不限于此。该过程是图1E的过程的一个实施例。

在步骤1002，跟踪个人表现。在一个实施例中，处理传感器数据以确定指示个人的表现的信息。仅举数例，交互可以是个人13组装产品、挥动高尔夫球杆、演奏音乐、烤蛋糕。在步骤1002，可以使用一个或多个相机来构建3D模型。同样，可以使用诸如用于捕捉音频的传感器等其他传感器。步骤1002是图1E的步骤150的一个实施例。

在可任选步骤1004，访问表现的指导和/或模型。例如，可从数据库57(n)访问所组装的产品的模型或用于组装的逐步指导。如上所述，这可涉及通过网络（如因特网）访问。

在步骤1006，分析表现以确定如何增强个人的表现。该分析可包括确定产品的组装的正确性、分析高尔夫挥杆的缺点、确定歌曲中要演奏的下一音符、如何烤蛋糕，等等。步骤1006是图1E的步骤152的一个实施例。

在步骤1008，在HMD 2中提供指导（例如，全息指导）。例如，向个人13示出可连接到一起的两块的全息图像。全息图像可首先将这两块示为分开的并随后合在一起来示出这两块。在一个实施例中，个人13可通过“拾取”虚拟对象来操纵该图像。作为另一示例，个人能够浏览他们的高尔夫挥杆的全息图像并接收与挥杆缺点有关的反馈。在一个实施例中，呈现全息图像以描绘烤蛋糕中的下一步骤。步骤1008是图1E的步骤154的一个实施例。

在步骤1008的一个实施例中，准许个人13请求帮助或指导。例如，个人13可说出关键词（如“指导”），这触发计算机系统12提供指导。在步骤1008的一个实施例中，个人13使用一些身体姿势来请求步骤。多个姿势和/或语音命令可用于不同的请求。注意，对于本文讨论的其他实施例，姿势和/或语音命令可被用来请求帮助。

图11是提供全息指导以组装一装置的过程的一个实施例的流程图。该过程是图10的过程的一个实施例。该过程也是图1E的过程的一个实施例。注意，在该实施例中，指导是很好地结构化的；然而，这并非是必须的。

在步骤1102，构建个人的环境的3D模型。更具体而言，可基于从传感器捕捉到的图像数据来构建待组装的产品的3D模型。在步骤1104，确定个人的眼睛注视。在步骤1106，向3D模型注册眼睛注视。例如，将眼睛向量与3D位置进行相关以确定个人13正在看什么。步骤1102-1106是步骤1002的一个实施例以及步骤150的一个实施例。

在步骤1108，从数据库57(n)访问用于组装产品的指导和/或经组装产品看起来应当如何的模型。注意，这可经由网络来访问。在一个实施例中，产品制造者在网站上提供这些指导和/或模型。步骤1108是步骤1004的一个实施例。

在步骤1110，确定反馈。步骤1112可包括将个人的经组装的产品的版本（在这一阶段）与所访问的3D模型进行比较以确定误差。例如，如果个人处于步骤三，并且计算机系统12确定该模型未被正确组装，则可确定合适的警告。计算机系统12还可确定可能的补救。例如，计算机系统12可确定个人13错过了步骤二。如果个人13停止了组装，则该系统可确定是否过去了太多时间，这可指示个人13被难住了。步骤1110是步骤1006的一个实施例以及步骤152的一个实施例。

在步骤1112，在HMD 2中提供图像以提供反馈。例如，向个人13示出可连接到一起的两块的全息图像。全息图像可首先将这两块示为分开的并随后合在一起来示出这两块。步骤1112还可包括提供音频反馈。例如，该系统可以说“我认为你跳过了步骤二”。在这种情况下，可将步骤二作为全息图像呈现在HMD 2上。注意，这一全息图像可以是动画。该系统可询问个人13他们是否被难住并需要帮助。

在一个实施例中，步骤1112包括提供该个人可通过移动虚拟对象或移动他们的有利位置从不同的观点来查看的全息图像。例如，该个人可拾取HMD 2中呈现的一个或多个虚拟对象并操纵这些对象。传感器能够跟踪个人手位置以确定如何显示虚拟对象。步骤1112是步骤1008以及步骤154的一个实施例。

图12是在演奏音乐时提供全息指导的过程的一个实施例的流程图。该过程是图10的过程的一个实施例。该过程也是图1E的过程的一个实施例。

在步骤1202，构建个人的环境的3D模型。更具体而言，可根据从传感器捕捉到的图像数据构建所演奏的乐器的3D模型。计算机系统12还可确定用户正在如何与该乐器进行交互。例如，计算机系统12可确定用户在钢琴上演奏什么音符。这可使用音频传感器或通过分析图像来执行。在步骤1202，计算机系统12还可确定HMD 2相对于乐器是如何定向的，使得稍后可以呈现与该乐器相匹配的图像。例如，可以通过在HMD 2中提供全息图像来突出显示钢琴上的一个键。步骤1202是步骤1002的一个实施例以及步骤150的一个实施例。

在步骤1204，从数据库57访问音乐分数。这可以是所演奏的音乐。步骤1204是步骤1004的一个实施例。

在步骤1206，确定反馈。步骤1206可包括确定接下来演奏什么音符、确定演奏了不正确的音符、确定手指不正确地置于吉他弦上，等等。步骤1206是步骤1006的一个实施例以及步骤152的一个实施例。

在步骤1208，在HMD 2中提供图像以提供反馈。例如，向个人13示出指示接下来演奏什么音符的全息图像。可向个人13示出他们现在是如何将其手指置于吉他弦上的全息图像，随后向其示出他们应当如何放置的全息图像。步骤1208还可包括提供音频反馈。步骤1208是步骤1008的一个实施例以及步骤154的一个实施例。

图13A是提供用于运动的全息指导的过程的一个实施例的流程图。该过程是图10的过程的一个实施例。该过程也是图1E的过程的一个实施例。

在步骤1302，根据从传感器捕捉到的图像数据来构建个人的高尔夫挥杆的3D模型。这可类似于在本文别处讨论的构建环境的3D模型。在挥动高尔夫球杆时，个人13通常没有佩戴HMD 2，但这是一种可能性。可基于一个或多个相机所捕捉到的图像来构建该3D模型。在一个实施例中，将该3D模型或简单的2D视频流存储在数据库57(1)中，使得它可供教师13(a)分析。步骤1302是步骤1002的一个实施例以及步骤150的一个实施例。

在可任选步骤1304，访问所存储的高尔夫挥杆的模型。这一模型可以是用于与个人的挥杆进行比较的模板。并非访问预定义的模型，可以在进行中基于用户参数、所选球杆、击球类型（左曲球、右曲球等）等来生成模型。同样，注意，通常并不存在一个所接受的高尔夫挥杆模型。此外，注意，该模型可以是高尔夫挥杆的任何部分（例如，瞄球位置、顶部位置、击球区位置，等等）。

在步骤1306中，对高尔夫挥杆进行分析。步骤1306可由在计算机系统12上运行的软件来执行。在一个实施例中，计算机系统12将个人的挥杆与在步骤1304访问的模型进行比较。步骤1306可由人类教师来执行。该分析可以是挥杆在何处出错的批评、挥杆与理想（例如，模型挥杆）的偏差。步骤1306是步骤1006的一个实施例以及步骤154的一个实施例。

在步骤1308，在HMD 2中提供高尔夫挥杆的全息图像。这一图像可以是高尔夫挥杆的任何所选部分的静止图像或视频流。在步骤1310，提供对高尔夫挥杆的分析。因而，个人接收指导。在一个实施例中，全息图像突出显示一些区域（例如，右腕位置）以示出该个人需要校正什么。该图像还可向该个人示出该腕的正确（或更好）位置。步骤1308可包括提供该个人可通过移动他们的有利位置从不同的观点查看的全息图像。在一个实施例中，在准许个人“浏览”全息图像以从不同的观点检查高尔夫挥杆时，提供音频解说。可通过跟踪相机和/或GPS来确定该个人的位置。跟踪相机可被用来确定该个人的眼睛的精确3D坐标。步骤1308-1310是步骤1008的一个实施例，以及步骤154的一个实施例中。

图13B是提供用于帮助用户进行烹饪的全息指导的过程的一个实施例的流程图。注意，这是其中指导可相对未结构化的一个示例。例如，对于所有人可能相同的一组指导是没有必要的。这与诸如组装产品的示例（它可具有更结构化的指导）形成对比。烹饪指导可以是未结构化的原因是由于用户的不同能力。例如，一些人可能需要与如何煮鸡蛋的详细指导，而其他人可能仅仅需要被告知煮鸡蛋。该过程是图10的过程的一个实施例。

在步骤1352，跟踪HMD 2的佩戴者的烹饪努力。在一个实施例中，处理传感器数据以确定指示个人的表现的信息。在步骤1352，可以使用HMD 2上的一个或多个相机。步骤1352是图1E的步骤150的一个实施例。步骤1352是图10的步骤1302的一个实施例。

在步骤1354，访问用于烹饪的指导。如上所述，这可涉及通过网络（如因特网）访问。

在步骤1356，分析烹饪进度以确定如何增强个人的表现。该分析可包括确定个人13在何处正处于确定下一步骤的过程中，确定该过程是否被正确执行等等。步骤1356是图1E的步骤152的一个实施例。步骤1356是图10的步骤1006的一个实施例。

在步骤1356，在HMD 2中提供指导（例如，全息指导）以帮助用户烹饪。例如，向个人13示出烹饪过程中的下一步骤的全息图像。在一个实施例中，个人13可操纵该全息图像。例如，个人13可执行练习将萝卜切片成精美图案的排演。步骤1356可包括提供音频建议。例如，可在HMD 2中播放去往食橱并拿一些面粉的音频信号。步骤1356是图1E的步骤154的一个实施例。步骤1356是图10的步骤1008的一个实施例。

图14是提供用于帮助个人对问题进行求解的全息指导的过程的一个实施例的流程图。将使用数学问题的示例，但该问题可以是另一主题，如物理学、化学、或甚至科学或数学之外的领域。该过程是图10的过程的一个实施例。该过程也是图1E的过程的一个实施例。注意，该过程可以在教室设置中执行，如图1A中描绘的。

在步骤1402，跟踪个人求解数学问题的努力。在一个实施例中，个人13正在纸上计算数学问题。可使用光学字符识别来确定该个人在求解该问题中进行得如何。在一个实施例中，个人13正在某一电子设备上工作，如笔记本计算机。在这种情况下，跟踪个人的努力可使用相机和光学字符识别来执行。然而，可访问来自该电子设备（例如，笔记本计算机）的数据以跟踪个人的进度。步骤1402是图1E的150的一个实施例。

在步骤1404，分析个人求解问题的努力。在一个实施例中，步骤1404包括确定该个人求解该问题的努力的正确性。计算机系统12可访问该问题的正确的解以及求解该问题的合适步骤。然而，注意，可以用多种方式来求解一些问题。因此，计算机系统12可访问多个可能的解。在一个实施例中，访问数据库57(n)以获得解。在步骤1404，计算机系统12可确定该个人13是否在正确地进行。如果否，则可以确定用于继续进行的合适建议。步骤1404是图1E的152的一个实施例。

在步骤1406，使用HMD 2向个人13提供指导。步骤1406可包括在该个人所佩戴的透视HMD 2中提供一个或多个图像，以提供求解该问题的帮助。在一个实施例中，向个人13提供等式以及它意味着什么的可视化。例如，如果数学问题涉及求解两个线性方程的联立组，则可示出表示每一线性方程的线以及它们的交点。作为另一示例，数学词问题可被可视化成现实生活示例（例如，彼此接近的两列火车）。步骤1406是图1E的154的一个实施例。

图15是提供用于帮助个人书写的指导的过程的一个实施例的流程图。该过程是图10的过程的一个实施例。该过程也是图1E的过程的一个实施例。注意，该过程可以在教室设置中执行，如图1A中描绘的。

在步骤1502，跟踪个人的书写努力。这是对个人执行任务或过程的努力进行跟踪的一个示例。在一个实施例中，个人13在纸上书写。可使用一个或多个相机捕捉个人的努力来生成3D图像。在一个实施例中，个人13在某一电子设备的显示器上书写。在这种情况下，可访问来自该设备的数据以捕捉该个人的努力。步骤1502是图1E的150的一个实施例。

在步骤1504，由计算机系统12分析该个人的书写的准确性。步骤1504可包括确定用于改进书写表现的反馈。计算机系统12可访问组织字母的有效方式，以及可接受的容限（例如，数据库57(n)）。然而，注意，可针对各单独的风格来准许一些变型。步骤1504是图1E的152的一个实施例。

在步骤1506，使用HMD 2向个人13提供反馈或指导。在一个实施例中，向个人13示出应当如何组织字母或字符。步骤1506是图1E的154的一个实施例。

上述示例只是可提供指导的一些方式。注意，指导可针对该个人来定制。例如，根据个人的能力，指导的速度可以是有弹性的。

图16是使用HMD 2进行社交辅导的过程的一个实施例的流程图。该过程是图1E的过程的一个实施例。该过程可以在图1C的示例环境中执行，但不限于此。在步骤1602，跟踪与个人13周围的其他人的交互。步骤1602可涉及捕捉对话、标识其他人、标识其他人在做什么或穿着什么，等等。可使用一个或多个相机来执行步骤1602。在一个实施例中，可使用脸部识别。在一个实施例中，计算机系统12听到该个人的名字。步骤1602是图1E的步骤150的一个实施例。

在步骤1604，为个人13确定合适的提示。例如，计算机系统12确定个人13可能想要对所穿衣物进行评论。在一个实施例中，计算机系统12能访问信息，如从个人13从何处知道该个人、他们对商业交易有多重要，等等。步骤1604是图1E的步骤152的一个实施例。

在步骤1606，向该个人的HMD 2提供社交提示。该提示可以将个人的名字示出为覆盖在他们的衬衫上，使得个人13不会忘记名字。计算机系统12可记住对个人13重要或有用的提示的类型，如个人13是否容易忘记名字等等。因而，在一个实施例中，计算机系统12捕捉各动作和/或对话。该提示可以是在HMD 2上的音频换能器中播放的音频信号。步骤1606是图1E的步骤154的一个实施例。

图16A是使用HMD 2进行社交辅导的过程的一个实施例的流程图。该过程是图1E的过程的一个实施例。该过程也是图16的过程的一个实施例。在这一实施例中，被辅导的个人可以处于某一社交设置中，如约会、宴会等。情况可以是：被辅导的个人在社交上有点笨拙；然而，该过程可被应用于任何个人。在一个实施例中，被辅导的个人佩戴HMD 2。HMD 2可通过网络连接到担当实况社交教练的人。

在步骤1612，捕捉与同个人13周围的其他人的交互有关的数据。步骤1612可涉及使用HMD 2上的一个或多个相机来捕捉视频、使用HMD 2上的音频传感器来捕捉对话、使用HMD上的3D相机来读取脸部表情，等等。步骤1612是图1E的步骤150的一个实施例。步骤1612也是图16的步骤1602的一个实施例。

在步骤1614，通过网络将来自步骤1612的数据传送给远程电子设备。例如，通过网络来提供视频流（它可包含音频），使得社交教练能访问。该数据中的一些可被传送给可分析诸如脸部表情等事物的计算设备。这一分析可被提供给社交教练。注意，这样的分析也可在本地提供（例如，在靠近HMD 2的计算设备中）。

在步骤1616，通过网络接收对个人13合适的提示。步骤1616可包括从社交教练接收提示。例如，社交教练可确定个人13可能想要对他们的约会对象所穿衣物进行评论。步骤1614-1616是图1E的步骤152的一个实施例。步骤1614-1616是图16的步骤1604的一个实施例。

在步骤1618，向该个人的HMD 2提供社交提示。该提示可以是HMD 2的音频换能器中的音频信号。这可以在佩戴者的耳朵中播放。该提示可以是HMD 2中显示的文本。该提示可以是HMD 2所提供的任何其他信号。步骤1618是图1E的步骤154的一个实施例。步骤1618是图16的步骤1616的一个实施例。

图16B是使用HMD 2进行社交辅导的过程的一个实施例的流程图。该过程可用于业务环境中，但不限于此。在这一实施例中，来自一个或多个后端数据库的信息可被用来提供社交辅导。无需人员来担当教练，但人员也可担当教练。该过程是图1E的过程的一个实施例。该过程可以在图1C的示例环境中执行，但不限于此。

在步骤1622，标识靠近HMD 2的佩戴者的人（“主体”）。步骤1622可涉及确定HMD 2的佩戴者正在看哪一主体。可使用一个或多个相机来执行步骤1622。在一个实施例中，可使用脸部识别。在一个实施例中，计算机系统12听到该主体的名字。在一个实施例中，该主体具有可被标识的某种标签。在一个实施例中，该主体佩戴HMD 2，它可通过网络连接到计算机系统。以此方式，可以向计算机系统标识该主体。步骤1622可在本地或远程执行。步骤1622是图1E的步骤150的一个实施例。步骤1622是图16的步骤1602的一个实施例。

在步骤1624，为个人13确定合适的提示。步骤1624可包括访问一个或多个数据库。这可包括访问公共数据库、私有数据库、或半私有数据库，如公司数据库。例如，公共数据库可以是可带有因特网搜索的任何数据库。私有数据库可包括HMD 2的佩戴者与各个人进行的交互的数据。如果佩戴者和主体为同一公司工作，则公司数据库可以是有用的。步骤1624是图1E的步骤152的一个实施例。步骤1624是图16的步骤1604的一个实施例。

在步骤1626，向该个人的HMD 2提供社交提示。该提示可以是HMD 2中的文本、HMD 2中的全息图像、音频信号、或HMD能够提供的任何其他信号。该提示可以是在该主体上示出名字标签的全息图像。步骤1626是图1E的步骤154的一个实施例。步骤1626是图16的步骤1606的一个实施例。

在一个实施例中，社交交互的记录可被提供给父母或教师以供评估。

图17A是用于确定三维用户视野的一个实施例的流程图。这一过程可用于监视个人和/或教师（图1E的步骤150）的一个实施例中。对于本文描述的许多其他步骤或过程，图17A的过程可以整体或部分地使用，以及其变型。在步骤1710，控制电路136、处理单元4、中枢计算系统12或这些的组合的一个或多个处理器从一个或多个面向前方的相机接收图像数据，并且在步骤1712标识面向前方的图像数据中的一个或多个现实物体。来自定向传感器132（例如，三轴加速度计132C和三轴磁力计132A）的数据也可与面向前方的相机113图像数据一起使用来对用户周围的事物、用户的脸部和头部的位置进行映射，以确定他或她可能在当时聚焦于哪些物体（现实或虚拟）。基于正在执行的应用，在步骤1714，一个或多个处理器标识虚拟对象在用户视野中的位置，其中用户视野可被确定是在面向前方的图像数据中捕捉的视野。在步骤1716，确定每一物体在用户视野中的三维位置。换言之，每一物体相对于显示设备2位于何处，例如，相对于每一显示光学系统14的光轴142位于何处。

图17B是用于在用户视野中标识一个或多个现实物体的方法实施例的流程图。这一实施例可被用于实现步骤1712。图17B、17D和17E中各实现示例的每个可分开地使用，或与另一个结合使用，以标识用户视野中物体的位置。在步骤1720，标识佩戴HMD 2的用户的位置。例如，经由个人13所持有的或其上的设备上的GPS单元或显示设备2上的GPS收发机的GPS数据可标识个人13（或教师13(a)）的位置。在步骤1722，一个或多个处理器从数据库检索该位置的一个或多个图像，并且在步骤1724使用模式识别来选择与来自所述一个或多个面向前方的相机的图像数据匹配的一个或多个图像。在某些实施例，步骤1722和1724可由更强大的计算机（例如可访问图像数据库的中枢12）来远程地执行。在步骤1726，基于GPS数据，一个或多个处理器确定面向前方图像数据中一个或多个物体相对于该位置中一个或多个GPS跟踪的物体1728的相对位置，并且在步骤1729基于所述一个或多个相对位置来确定用户距所述一个或多个现实物体的位置。

在诸如图1A之类的某些实施例中，佩戴透视、近眼显示器的个人13可处于其中计算机系统12或一个或多个计算机提供各物体在空间内（例如教室）的三维映射的位置处。图17C是用于生成用户空间的三维模型的方法实施例的流程图。在步骤1730，像中枢系统12之类的、带有捕捉设备20A和20B的可访问深度相机的计算机系统基于深度图像创建空间的三维模型。深度图像可来自多个视角并且可基于公共坐标空间（例如，商店空间）来组合，并且创建该空间的体积或三维描述。在步骤1732，在该空间中检测物体。例如，可对深度图像执行边缘检测，以对物体（包括人）进行彼此区分。在步骤1734，计算机系统12标识一个或多个检测到的物体，包括它们在该空间中的位置。物体还可基于形状的比较以及模式识别技术来标识，模式识别技术包括使用来自图像数据库的物和人的参考图像的面部识别技术。

图17D是用于基于传输给透视、混合现实显示设备2的深度数据来标识用户视野中的一个或多个物体的方法实施例的流程图。在步骤1740，处理单元4将面向前方图像数据发送给三维建模系统，诸如可通过在像通信上耦合到深度相机20A和20B的中枢计算系统12之类的计算机系统上执行的深度图像处理应用来实现。来自定向传感器132的数据可也被发送，用于标识面部或头部位置。例如，当用户进入教室，该教室处的计算机系统提供该教室的3D映射以及什么和谁在该教室里。在步骤1742，显示设备2接收标识用户视野中的一个或多个物体的数据，以及他们在空间的3D模型中的位置。来自一个或多个面向前方的相机113的图像数据近似用户视野，使得中枢系统12例如通过图像识别或模式识别软件来标识面向前方图像数据中的该物体。定向数据也可与面向前方图像数据一起使用，以细化用户视野，并标识由计算机系统12跟踪的、落入用户视野内的物体。（中枢系统12还在从两个或更多相机113接收到面向前方图像数据时调整（align）该面向前方图像数据，以标识用户视野。）在步骤1744中，处理单元4接收空间的3D模型中的用户的位置，并且在步骤1746中，处理单元4、17或控制电路136的处理器210或这两者基于空间的3D模型中用户和一个或多个物体的位置来确定该一个或多个物体在用户视野中的位置。在另一示例中，处理单元4、17接收如由计算机系统12确定的用户和一个或多个物体的位置。

图17E是用于当面向前方的相机113是提供深度图像数据的深度相机或具有用于提供深度数据（可与图像数据结合以提供深度图像数据）的深度传感器时，标识用户视野中的一个或多个物体的方法实施例的流程图。在步骤1710，显示设备2的一个或多个处理器（例如，控制电路的处理器210、或处理单元4、5、或两者）基于来自一个或多个面向前方的相机的深度图像数据来标识用户视野中一个或多个现实物体，包括它们的三维位置。除图像数据之外，该一个或多个处理器还可基于来自定向传感器132的定向数据来映射用户视野。该一个或多个处理器执行基于正在执行的应用来标识用户视野中的虚拟物体位置的步骤1714，以及确定用户视野中每一物体的三维位置的步骤1716。另外，远程计算机系统12也可向用于执行图17E的步骤的其他处理器提供额外的处理能力。

图18的用于确定注视的方法实施例的流程图。该过程是图7的步骤702的一个实施例。注意，图18的过程以及其变型可以用在本文描述的其他过程和过程的各部分中。在步骤1802，诸如处理单元4、控制电路136、或中枢计算系统12等中的一个或多个处理器单独或结合地确定注视检测坐标系的边界。在步骤1804，基于所反射的包括闪光的眼睛数据来确定每一只眼睛的注视向量，并且在步骤1806，确定两只眼睛的在三维（3D）用户视野中的例如用户正在观看的事物等注视点。因为例如通过像图17A-17E中的实施例等实施例对用户视野中的物体的位置和身份进行了跟踪，所以在步骤1808，标识在3D用户视野中的注视点处的任何物体。在许多实施例中，三维用户视野包括所显示的虚拟物体和现实物体的实际直接视图。术语物体包括人。

图18中的方法实施例（它将闪光数据用于检测注视的其他方式）可以从眼睛的图像数据中标识这样的闪光。在使用IR照明器时，通常也使用IR图像传感器。

前面的对本技术的详细描述只是为了说明和描述。它不是为了详尽的解释或将本技术限制在所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施例只是为了最好地说明本技术的原理以及其实际应用，从而使精通本技术的其他人在各种实施例中最佳地利用本技术，适合于特定用途的各种修改也是可以的。本技术的范围由所附的权利要求进行定义。

Claims (10)

1.一种方法，包括：

监视参与体验的一个或多个人，所述监视是基于来自一个或多个传感器的传感器数据的（150）；

分析所述监视以确定如何增强所述体验（152）；以及

基于所述分析来增强所述体验（154），所述增强包括向所述一个或多个人所佩戴的至少一个透视头戴式显示器呈现信号。

2.如权利要求1所述的方法，其特征在于，所述监视、所述分析和所述增强包括：

使用所述传感器中的至少一个来检测教师的眼睛注视，所述至少一个传感器是所述教师所佩戴的透视HMD的一部分；

确定所述教师在注视所述一个或多个人中的哪一个；

确定与所述教师在注视的那个人有关的信息；以及

将所述信息提供给所述教师所佩戴的透视HMD。

3.如权利要求2所述的方法，其特征在于，所述监视、所述分析和所述提供包括：

使用所述传感器中的至少一个来收集与所述教师注视的人有关的生物测定信息；

基于所述生物测定信息来确定所述教师注视的人的成功、理解和/或注意力；以及

在所述教师所佩戴的透视HMD中报告所述教师注视的人的成功、理解和/或注意力。

4.如权利要求1所述的方法，其特征在于，所述监视、所述分析和所述增强包括：

跟踪所述人中的第一个的求解问题的努力；

确定所述人的求解所述问题的努力的正确性；以及

在所述第一个人所佩戴的透视HMD中提供一个或多个图像，以提供求解所述问题的帮助。

5.如权利要求1所述的方法，其特征在于，所述监视、所述分析和所述增强包括：

跟踪所述人中的第一个的执行任务或过程的努力；

确定反馈以改进所述任务或过程的表现；以及

将所述反馈提供给所述第一个人所佩戴的透视HMD。

6.如权利要求5所述的方法，其特征在于，所述反馈是全息图像。

7.如权利要求1所述的方法，其特征在于，所述监视、所述分析和所述增强包括：

监视所述人中的第一个的表现（1002）；

基于一组指导或模型来分析所述表现（1004）；以及

在所述第一个人所佩戴的透视HMD中提供全息指导以改进该人的表现（1008）。

8.如权利要求1所述的方法，其特征在于，还包括：

从数据存储访问所述一个或多个人中的第一个的简档，所述增强包括基于所述简档来为所述第一个人定制教育指导。

9.如权利要求1所述的方法，其特征在于，所述监视、所述分析和所述增强包括：

跟踪所述一个或多个人中的第一个与其他人的交互（1602）；

为所述第一个人确定合适的提示以增强社交交互（1604）；以及

在所述第一个人所佩戴的透视HMD上显示所述提示（1606）。

10.一种用于增强教育或指导的系统，所述系统包括：

处理器（310，420，532，601）；以及

耦合到所述处理器的处理器可读存储介质（344，434，430，534，602，604，606，612，646），所述处理器可读存储介质上存储有指令，所述指令在被所述处理器执行时使得所述处理器：

从至少一个头戴式显示器（2）接收传感器数据；

基于所述传感器数据来监视一个或多个人；

分析所述监视以确定如何增强所述一个或多个人所参与的教育或指导体验；以及

基于所述分析来提供用于增强所述教育或指导体验的信号。

Images