CN100399240C - 使用富媒体环境的通信和协作系统 - Google Patents

使用富媒体环境的通信和协作系统 Download PDF

Info

Publication number
CN100399240C
CN100399240C CNB2004800363870A CN200480036387A CN100399240C CN 100399240 C CN100399240 C CN 100399240C CN B2004800363870 A CNB2004800363870 A CN B2004800363870A CN 200480036387 A CN200480036387 A CN 200480036387A CN 100399240 C CN100399240 C CN 100399240C
Authority
CN
China
Prior art keywords
interested
thread
rich media
individuality
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004800363870A
Other languages
English (en)
Other versions
CN1890622A (zh
Inventor
S·J·维
H·H·贝克
N·T·巴蒂
M·科维尔
M·哈维尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN1890622A publication Critical patent/CN1890622A/zh
Application granted granted Critical
Publication of CN100399240C publication Critical patent/CN100399240C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

一种能够使用富媒体环境(12-14)在个体之间进行通信和协作的系统。根据本技术的系统包括一组富媒体环境(12-14)，每个富媒体环境具有传感和再现部件的相应配置以用于相应组的个体的传感和对其的再现。根据本技术的系统包括感兴趣线程检测器(16)，其使用传感和再现部件来检测个体之间的多个通信交互的形成，并为每个检测到的通信交互创建感兴趣线程，并且还包括通信提供器(18)，其对每个感兴趣线程从相应子集的传感部件中获取一组媒体数据，以及响应于相应个体的活动而组合所获取的媒体数据，并将组合的媒体数据传送给相应子集的再现部件。

Description

使用富媒体环境的通信和协作系统
背景
视频会议系统可以用于在分布于多个会议场所的参会者之间提供通信。在视频会议系统中的每个会议场所可以配备有视频/音频传感设备和视频/音频再现(rendering)设备。视频/音频传感设备可以用于控制通信对话(session)以及获得会议的视频/音频记录。所获得的视频/音频记录可以被传送到一个远程会议场所，并在该远程会议场所中的视频/音频再现设备上再现。
对于参会者而言，分成副(side)组以进行私人的或者集中的讨论可能是常见的。遗憾的是，现有视频会议系统不可以促进不同会议场所的参会者之间的副组通信。例如，在现有视频会议系统中传感和再现设备的互连每次只可以允许一个讨论组。
另外，现有视频会议系统不可以使位于不同会议场所的参会者协作创建文档。现有视频会议系统可以增加基于计算机的文档共享系统。遗憾的是，文档共享系统不可以很好地集成到视频会议系统中。
发明概要
公开了一种能够使用富媒体环境在个体(individual)之间进行通信和协作的系统。根据本技术的系统包括一组富媒体环境，每个富媒体环境具有传感和再现部件的相应配置以用于相应组的个体的传感和对其的再现。根据本技术的系统包括感兴趣线程检测器，其使用传感和再现部件来检测个体之间的多个通信交互，并为每个检测到的通信交互保存感兴趣线程，并且还包括通信提供器，其对每个感兴趣线程从相应子集的传感部件获取一组媒体数据，以及响应于相应个体的活动而组合所获取的媒体数据，并将组合的媒体数据传送给相应子集的再现部件。
根据随后的详细描述，本发明的其他特征和优点将是显而易见的。
附图简述
相对于本发明的特定典型实施例来描述本发明，并因此参考附图，其中：
图1示出根据本教导的系统；
图2示出使用富媒体环境进行通信的方法；
图3示出富媒体环境中个体之间的主会话(conversation)和副会话的例子；
图4示出通信提供器的一个实施例；
图5示出包括一对示例富媒体环境的本系统的实施例；
图6示出根据本教导的富媒体环境；
图7示出根据本教导的管理系统中的服务管理器和任务管理器；
图8示出根据本教导的管理系统中的用户管理器和部件管理器；
图9示出根据本教导的管理系统中的感兴趣(interest)区域管理器和感兴趣线程管理器；
图10示出根据本教导的管理系统中的性能监视器、系统控制器、以及对话管理器。
详细描述
图1示出根据本教导的系统10。系统10包括一组富媒体环境12-14、感兴趣线程检测器16和通信提供器18。感兴趣线程检测器16和/或通信提供器18的功能可以如所示地被集中或者可以分布于富媒体环境12-14中。
每个富媒体环境12-14包括传感和再现部件的配置。富媒体环境12-14中的传感部件可以包括任何种类的话筒、摄像机、运动检测器等。诸如键盘、鼠标、小键盘、触摸屏等之类的输入设备可以被看作传感部件。富媒体环境12-14中的再现部件可以包括任何类型的视觉显示器和音频扬声器。富媒体环境12-14可以以任何邻近的空间来实现。示例包括会议室、会见室、户外会场例如体育比赛等。每个富媒体环境12-14优选地包括相对较大量的传感和再现部件，从而能够使传感和再现部件灵活地运用到多种通信交互上。因此叫做富媒体环境。
感兴趣线程检测器16使用富媒体环境12-14中的传感部件来检测富媒体环境12-14中个体之间的通信交互的形成。感兴趣线程检测器16为每个检测到的通信交互创建一个感兴趣线程。通信提供器18选择富媒体环境12-14中的传感和再现部件的子集，以用于与在每个感兴趣线程中涉及的个体通信，并且在所选择的传感和再现部件之间传送媒体数据以支持每个感兴趣线程。
图2示出一种利用富媒体环境进行通信的方法。在步骤30，检测一组个体之间的通信交互的形成。在步骤32，为每个检测到的通信交互创建一个感兴趣线程。
图3示出富媒体环境12和14中个体之间的主会话和副会话的例子。感兴趣线程1是为主会话创建的，并且感兴趣线程2是为副会话创建的。
对每个感兴趣线程执行步骤34-38。在步骤34，与相应感兴趣线程有关的一组媒体数据从传感部件被获取，以及在步骤36，响应于感兴趣线程中参加和未参加的个体的活动而组合所获取的媒体数据。在步骤38，将所组合的媒体数据传送到感兴趣线程的再现部件。
通信交互即感兴趣线程可以涉及富媒体环境12-14之一中的个体。例如，感兴趣线程检测器16可以检测富媒体环境12中的两个或更多个体之间的通信交互。
通信交互可以涉及富媒体环境12-14的两个或更多个中的个体。例如，感兴趣线程检测器16可以检测富媒体环境12中的个体与富媒体环境13中的个体之间的通信交互。
通信交互可以与富媒体环境12-14之一中的人造品(artifact)有关。人造品可以被定义为除个体之外的任何事物，例如无生命的对象、动物、机器人对象等。例如，感兴趣线程检测器16可以检测富媒体环境12中涉及一张纸、白板、或者其他感兴趣项的通信交互。人造品可以是在显示器上再现并包括计算机维护的文档历史的电子文档。
感兴趣线程检测器16可以通过检测富媒体环境12-14中一个或多个个体之一的视觉线索例如姿势、移动等来检测通信交互的形成。视觉线索可以与相同富媒体环境中的另一个个体有关，或者可以与另一个富媒体环境中的一个个体有关。例如，富媒体环境12中的个体可以指向或者接近富媒体环境12中的另一个个体，并且感兴趣线程检测器16作为响应在富媒体环境12中的这两个个体之间创建感兴趣线程。在另一个例子中，富媒体环境12中的个体可以指向富媒体环境12中的一个视觉显示器，同时位于富媒体环境13中的个体正被再现在该视觉显示器上，并且感兴趣线程检测器16作为响应在富媒体环境12中的个体和富媒体环境13中的个体之间创建感兴趣线程。
感兴趣线程检测器16可以利用机器视觉技术来检测视觉线索。例如，富媒体环境12-14中的传感部件可以包括数字摄像机，并且感兴趣线程检测器16可以使用多种已知的机器视觉技术来检测个体的移动、姿势等。另外，富媒体环境12-14中的传感部件可以包括话筒，并且感兴趣线程检测器16可以使用多种已知的音频处理技术来检测富媒体环境12-14中的个体和个体的移动。
感兴趣线程检测器16可以通过检测音频线索例如口头语音来检测通信交互的形成。感兴趣线程检测器16可以响应于经由图形用户接口的用户输入而创建感兴趣线程。
对于每个感兴趣线程，通信提供器18从相应子集的传感部件获取一组媒体数据。对于每个感兴趣线程，通信提供器18响应于相应个体的活动而组合所获取的媒体数据，并将组合的媒体数据传送给相应子集的再现部件。举几个例子，可以导致媒体数据被组合的活动可以包括个体的语音电平、个体的姿势或者个体的移动。通信提供器18响应于该活动而提炼从传感器部件所获得的媒体数据。另外，通信提供器18可以存储所组合的媒体数据以提供相应通信交互的历史。
通信提供器18为感兴趣线程选择富媒体环境12-14的传感和再现部件的子集，以响应于感兴趣线程中涉及的每个个体的位置以及与富媒体环境12-14中的传感和再现部件有关的一组特征。例如，数字摄像机的特征可以指定其在富媒体环境中的覆盖区域，即数字摄像机能够采样的富媒体环境的区域。类似地，话筒的特征可以指定话筒能够采样的富媒体环境的区域，并且视觉显示器的特征可以指定视觉显示器能够到达的富媒体环境的区域。通信提供器18可以使用机器视觉或者音频处理技术来定位在感兴趣线程中涉及的个体，并接着基于在感兴趣线程中涉及的个体的位置以及那些个体的富媒体环境中的传感和再现部件的覆盖区域来为该感兴趣线程选择传感和再现部件。
系统10可以包括一个或多个用于保存富媒体环境12-14中传感和再现部件的特征的记录的数据库。当为感兴趣线程选择传感和再现部件时，通信提供器18可以访问该数据库。
通信提供器18监视每个感兴趣线程，并且需要时重新选择传感和再现部件。例如，通信提供器18可以检测到在感兴趣线程中涉及的一个或多个个体何时移出当前选择的传感和再现部件的覆盖区域。通信提供器18可以使用机器视觉或者音频处理技术来检测在感兴趣线程中涉及的个体的移动。作为响应，通信提供器18基于在感兴趣线程中涉及的个体的新位置以及可用的传感和再现部件的指定覆盖区域来为感兴趣线程选择新的一组传感和再现部件。
为感兴趣线程选择和重新选择传感和再现部件可以基于参与感兴趣线程的个体的位置和移动以及没有参与该感兴趣线程的个体的位置和移动。例如，自适应调零(nulling)技术可以用于选择将未参加的个体从私人的副会话中排除的再现部件。
图4示出通信提供器18的一个实施例。在该实施例中，通信提供器18包括传感任务20、数据组合器21、再现任务22、以及通信任务24。传感任务20、数据组合器21、再现任务22、以及通信任务24中的一个或多个可以如所示地被集中或者分布于富媒体环境12-14中。
传感任务20从已为特定感兴趣线程所选择的富媒体环境12-14中的传感部件获取传感器数据，并从所获取的传感器数据中提取一组与该特定感兴趣线程有关的数据。例如，传感任务20可以从所选择的话筒中获取传感器数据，并接着使用音频处理技术来提取在特定感兴趣线程中涉及的个体的话音。在另一个例子中，传感任务20可以从所选择的数字摄像机中获取传感器数据，并使用机器视觉技术来提取在特定感兴趣线程中涉及的个体的图像。传感任务20可以使用数字摄像机的扫视和缩放功能来获取相关个体的视觉数据。
数据组合器21从传感任务20获得传感器数据，分析视频内容，并组合所获取的视频以便选择个体或者人造品或者感兴趣区域的最佳视图。用于平铺、重叠、合成或者组合视频的多种已知方法的任何一种都可以用于组合要在单个显示器上再现的多个同步视频源。通过音频分析、运动分析、注视分析、或者姿势分析，数据组合器21在任何给定时刻选择组合哪些视频流。
例如，可以根据下面的任何技术来选择最佳的摄像机视图。如果话筒所测量的音频电平高于所有其他的音频电平，则可以选择覆盖该话筒周围的可见区域的摄像机视图。当语音/噪声鉴别器将音频输入分类为语音时，则选择离该话筒最近的其嘴和下巴正在移动的个体的视图。当由摄像机正在获取的内容中运动电平的测量(例如经由帧差)为高时，可以选择包含该运动的视图。当被认为在说话的个体正指向富媒体环境的另一部分时，那么可以选择与他们的姿势的方向最佳对准的视图。当多个个体都注视同一方向时，那么可以选择最佳地包含那些注视方向的交叉点的视图。
数据组合器21可以自动地提炼由富媒体环境12-14中的摄像机所获取的视图，以更清楚地显示个体或者人造品或者感兴趣区域。例如，基于视频的面部检测、运动检测、以及肤色检测方法可以用于数字地缩放、居中、和/或裁切视图以更好地将摄像机聚焦在所相关的个体上。如果使用跟踪方法来监视摄像机视场中个体的位置，则可以允许缩放、居中和裁切参数以在会议期间动态改变。
类似地，数据组合器21分析并组合由话筒所获取的音频，以便选择最佳音频表示。当多个同步话筒记录被组合成一个时，可以使用用于波束形成、自适应调零或者音频混合的任何已知方法。在任何给定时刻选择组合哪些音频流可以通过音频分析或者运动分析或者立体分析来执行。
例如，可以根据以上列出的任何技术来选择最佳的音频源位置。这可以导致选择下述的任何一个：(1)单个话筒，例如离所确定的感兴趣区域最近的话筒，或者(2)利用话筒阵列由自适应波束形成/零控制(null-steering)的任何已知方法产生的音频。
由数据组合器21产生的组合媒体数据是通信交互的媒体数据的压缩的索引的形式。组合的媒体数据可以记录在持久的存储设备例如盘中。所存储的即所存档的数据能够使得随后浏览在通信交互中发生的事件。系统10可以存储显示什么被选择为“最佳”视图的单个视频流，其由拼接在一起的在通信交互的每个时刻的“最佳”视频内容(feed)组成。系统10可以存储重放什么被选择为“最佳”音频的单个音频流，其由拼接在一起的来自会议的每个时刻的“最佳”音频数据组成。系统10可以存储表示何时谁在说话的时间线索引。该信息可以根据位置并根据已知的基于音频的说话者识别方法来获得。系统10可以存储在通信交互期间所说的话的记录。这可以通过将语音识别软件应用于通信交互的单个存档的音频记录(上面所述的)来得到。系统10可以存储一组会议要点，其每个要点可以包含音频、视频、以及其他数据，其将通信交互的事件压缩成更短的时间，同时保留最重要的内容。可以将用于自动视频和/或音频概括的许多已知方法应用于上述的单个存档视频和/或音频流。
通信任务24从传感任务20获得与特定感兴趣线程有关的数据，并将其以媒体数据流传送到再现任务22。在一些实施例中，通信任务24使用网络通信协议，例如TCP/IP/UDP、HTTP、SOAPXML，以用于传送在传感任务20和再现任务22之间的媒体数据流以及控制数据。
再现任务22经由通信任务24获得特定感兴趣线程的媒体数据流，并使用所选择的该特定感兴趣线程的再现部件来再现所获得的媒体数据流。例如，再现任务22可以获得由所选择的数字摄像机所获取的视频数据，并接着将获得的视觉数据再现在所选择的视觉显示器上。类似地，再现任务22可以获得由所选择的话筒所获得的音频数据，并接着使用所选择的音频扬声器来再现所获得的音频数据。
在一个实施例中，感兴趣线程检测器16通过创建并监视富媒体环境12-14内的感兴趣区域来检测并跟踪富媒体环境12-14中的活动。感兴趣区域可以与富媒体环境12-14之一中的个体相关联。感兴趣区域可以与富媒体环境12-14之一中的人造品相关联。感兴趣区域可以与富媒体环境12-14之一中的区域相关联。例如，感兴趣线程检测器16可以检测人造品，例如使用机器视觉技术，并为检测到的人造品创建感兴趣区域。在另一个例子中，感兴趣线程检测器16可以检测一个或多个个体，例如使用机器视觉和/或音频处理技术，并接着为检测到的个体创建感兴趣区域。
感兴趣线程检测器16可以将一个或多个感兴趣区域与感兴趣线程相关联。例如，感兴趣线程检测器16可以检测富媒体环境12的区域中的一组个体和富媒体环境13的区域中的一组个体，为每个区域创建感兴趣区域，并接着将两个感兴趣区域与在这些区域中检测到的个体之间的通信交互的感兴趣线程相关联。
在一个实施例中的系统10包括通过跟踪相应感兴趣区域中的变化来跟踪感兴趣线程的变化的感兴趣区域跟踪器。例如，个体可以进入、离开感兴趣区域或者在感兴趣区域中改变位置。感兴趣区域跟踪器将感兴趣区域的变化报告给通信提供器18，以使通信提供器18能够在适当时为相应的感兴趣线程重新选择传感和再现部件。
图5示出包括一对示例的富媒体环境250-252的系统10的实施例。对富媒体环境250-252所示的配置只是示例，并且许多其他配置也是可能的。
富媒体环境250具有包括下述的传感和再现部件的配置：一组数字摄像机140-145、一组话筒160-165、视频显示器200、以及一对扬声器180-181。一组个体120-126被显示为聚集在会议桌222的周围。人造品220例如一张纸被显示在会议桌222上。个体123具有手持设备328，例如PDA、手持计算机、蜂窝电话等。
富媒体环境252具有包括下述的传感和再现部件的配置：一组数字摄像机150-159、一组话筒170-174、话筒阵列175、一对视频显示器210-212以及一组扬声器190-194。一组个体130-136被显示为沿着会议桌226。个体132具有手持设备224，个体130具有手持设备326，以及个体135具有手持设备324。富媒体环境252包括白板228。
富媒体环境250与一组网络资源230、一组处理资源232以及一组任务234相关联。类似地，富媒体环境252与一组网络资源240、一组处理资源242以及一组任务244相关联。
网络资源230和240以及处理资源232和242为感兴趣线程检测器16和通信提供器18提供平台。感兴趣线程检测器16和通信提供器18的功能可以以任何方式分布于网络资源230和240以及处理资源232和242中。
网络资源230和240可以包括一个或多个网络信号路径、网络接口、客户和服务器硬件和软件等。网络资源230和240可以被实现为与外部服务器(未示出)通信的客户系统，或者可以被实现为相对于彼此的客户/服务器。
处理资源232和242可以包括处理器、存储器、数据库存储器等。处理资源232和242可以包括用于执行机器视觉功能、音频处理、音频/视频数据压缩/解压缩等的专用硬件/软件。处理资源232和242可以分布于包括富媒体环境250-252的传感和再现部件的一组硬件设备中。例如，数字摄像机140-145、150-159可以包括板上处理资源，用于通过执行mpeg编码来产生媒体流。类似地，视频显示器200、210-212可以包括用于执行mpeg解码的处理资源。
处理资源232和242可以包括个人计算机、膝上型计算机、手持计算机等，它们位于富媒体环境250-252中并具有适当的网络通信能力。例如，手持设备224可以被包括在处理资源242中。
另外，位于富媒体环境250-252中并具有适当的网络通信能力的手持设备可以用作传感和/或再现部件。例如，手持设备224可以包括传感和再现部件，其可以被包括在富媒体环境252的传感和再现部件中。
任务234和244提供一组可以由感兴趣线程检测器16和通信提供器18采用的任务。举几个例子，所述任务的示例包括使用机器视觉来检测人造品和个体的任务、使用音频处理来检测个体的任务、使用机器视觉和/或音频处理来检测个体的移动的任务、使用摄像机阵列获得立体视觉信息的任务。系统10可以包括管理部件，用于在需要时将任务部署到处理资源232和242。
任务234可以依赖于富媒体环境250的部件和处理资源，以及任务244可以依赖于富媒体环境250的部件和处理资源。例如，一些音频处理任务可能需要话筒阵列，该话筒阵列在富媒体环境252中可用，但在富媒体环境250中不可用。
感兴趣线程检测器16可以使用富媒体环境250-252中的传感部件来检测个体120-126和130-136之间的通信交互的形成，并为富媒体环境250-252之间的主交互创建感兴趣线程。主交互可以经由图形用户接口到感兴趣线程检测器16的用户输入而启动。为此目的，富媒体环境250-252可以包括用户接口硬件，例如小键盘、显示器、手持设备等。通信提供器18选择富媒体环境250-252中的传感和再现部件的子集，以基于那些部件的覆盖区域和富媒体环境250-252内个体120-126以及130-136的位置来使用主交互。例如，通信提供器18可以选择富媒体环境250中的数字摄像机143-144、话筒160-165、扬声器180-181和视频显示器200以及富媒体环境252中的数字摄像机152、157、话筒170、扬声器190-191和视频显示器210-212以用于主交互。
感兴趣线程检测器16可以根据个体120-126和130-136中一个的姿势来检测副会话。例如，感兴趣线程检测器16可以检测姿势，例如个体132斜向或者指向个体135，并为该副会话创建感兴趣线程。通信提供器18可以选择手持设备224和手持设备324以用于该感兴趣线程。手持设备324，例如PDA、蜂窝电话、膝上型计算机等，可以提供音频再现、视频再现、音频传感和视频传感能力的任何组合。例如，手持设备324可以是能够将电话呼叫中的媒体流发送至传感任务20和/或能够从再现任务22接收电话呼叫中的媒体流的设备。
在另一个例子中，感兴趣线程检测器16可以检测指着的个体130的姿势以及具有个体123图像的视频显示器212的区域，并为个体130和123之间的副会话创建感兴趣线程。通信提供器18可以选择数字摄像机150、话筒172、手持设备326、数字摄像机144、话筒165以及手持设备328，以用于该感兴趣线程。
如果传感设备例如话筒165由主交互和副会话共享，那么通信提供器18使用音频处理技术来提取与每个感兴趣线程有关的数据，并接着适当地路由所提取的数据。例如，从话筒165提取的与主会话有关的数据被路由到说话者190-191，而从话筒165提取的与副会话有关的数据被路由到手持设备326。
通信提供器18响应于所涉及的个体的移动来为主和副会话的感兴趣线程重新选择传感和再现部件。例如，如果移动导致个体130不再位于数字摄像机150的覆盖区域之内，则通信提供器18可以为涉及个体130和123的副会话的感兴趣线程选择数字摄像机151，并释放数字摄像机150。在另一个例子中，如果在主会话中涉及的说话者移出了数字摄像机143和144的覆盖区域，则通信提供器18可以为主会话的感兴趣线程选择数字摄像机140。
感兴趣线程检测器16可以使用机器视觉技术来检测作为人造品的纸220。例如，富媒体环境250可以包括具有桌子222的顶视图的数字摄像机，它实现纸220的模式识别。感兴趣线程检测器16可以创建与纸220有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域。与纸220相关的感兴趣区域可以与感兴趣线程相关。
感兴趣线程检测器16可以使用机器视觉技术来检测图画，即人造品，其由个体136传递到白板228上。例如，数字摄像机155-156能够采样白板228上的图像内容。感兴趣线程检测器16可以创建与白板228有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域。与白板228相关的感兴趣区域可以与感兴趣线程相关。例如，白板228的内容可以被采样并接着被再现到视频显示器200上，以作为感兴趣线程的一部分。
感兴趣线程检测器16可以使用机器视觉技术来检测作为人造品的纸220。例如，富媒体环境250可以包括具有桌子222的顶视图的数字摄像机，它实现纸220的模式识别。感兴趣线程检测器16可以创建与纸220有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域。与纸220相关的感兴趣区域可以与感兴趣线程相关。
感兴趣线程检测器16可以使用机器视觉技术来检测图画区域，即共享的人造品。例如，数字摄像机155-156能够采样白板228上的图像内容。感兴趣线程检测器16可以创建与白板228有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域。与白板228相关的感兴趣区域可以与感兴趣线程相关。例如，白板228的内容可以被采样并接着被再现到视频显示器200上，以作为感兴趣线程的一部分。
系统10能够使协作于共享的人造品的多个个体之间进行通信交互，所述人造品的视图可以随着时间的过去而改变。这种共享的人造品的一个例子是共享的虚拟书写面，例如虚拟白板或者虚拟记事本。例如，个体可以使用诸如一拍纸簿(pad)的纸和书写工具之类的项，并且系统10使用计算机视觉方法来检测书写面。从检测书写面所获得的数据被再现给适当的个体以经由一个或多个显示面来观看。可以记录来自每个个体和所得的合成虚拟白板的数据。
涉及虚拟白板的通信交互可以包括位于相同富媒体环境或者不同富媒体环境中的个体。两个或者更多个书写面可以用作到共享的虚拟白板的输入。所有个体的所有书写都由富媒体环境中的摄像机发现，并被再现到适当的再现设备以供个体观看。通过利用数字投影仪，这些显示器优选地覆盖并对准一个或多个原始输入书写面。也可以使用其他类型的显示面，例如等离子体、膝上型计算机、计算机或者平板计算机显示器。
系统10可以存储当前共享的白板内容以及对共享白板的内容随着时间的过去所作的改变的历史。该历史可以被存储为一系列时间标记的或者时间排序的图像，从而显示出在协作对话过程中不同时间的共享白板内容的状态。所述历史能够取消最近对白板作出的一个或多个改变。所述历史也能够利用较早时间的白板的图像来替换当前显示的白板的内容。所述历史也能够显示由哪些个体作出了哪些标记。所述历史也能够重放协作对话。所述历史能够使用户交互地寻找过去的特定时间点。
图6示出根据本教导的富媒体环境300。富媒体环境300包括含有下述的传感和再现部件的配置：一组数字摄像机310-318、一组音频扬声器320-323、一组话筒340-345、以及一组视频显示器320-332。富媒体环境还包括一组便携式设备350-352、例如蜂窝电话、PDA、膝上型计算机等，其中任何一个或者多个可以包括传感和或再现部件。例如，便携式设备可以包括数字摄像机、话筒、扬声器、视频显示器等的任何组合。
富媒体环境300由一组个体360-363使用。富媒体环境300可以被实现为会议室例如会议桌370、会见室、实验室等、或者任何类型的会场。富媒体环境300优选地包括相对较大量的传感和再现部件，从而能够灵活地运用传感和再现部件来执行任务和服务。
富媒体环境300与一组处理资源和一组网络资源相关联。处理资源的例子包括处理设备，例如计算机、专用处理设备、以及存储器和存储设备。网络资源的例子包括服务器、网络通信设备、网线、客户机设备等。一些处理和网络资源可以被包括在传感和再现部件中。例如，数字摄像机310-318可以包括板上网卡和/或板上mpeg编码器。类似地，视频显示器330-332包括板上网卡和/或板上mpeg解码器。另外，便携式设备350-352可以提供处理资源和/或网络资源以用于富媒体环境300。
图7示出根据本教导的管理系统420中的服务管理器400和任务管理器402。服务管理器400提供与富媒体环境300有关的一组通信服务440-442，以及任务管理器402执行一组支持通信服务440-442的任务450-452。
任务管理器402保存了可以在富媒体环境300中执行的任务450-452的列表。该列表可以基于富媒体环境300中的传感和再现部件的配置以及可用的处理和通信资源以及安装的软件。可用任务的列表可以在富媒体环境300的设置/配置过程中创建。
可以由任务管理器402执行的任务的一个例子是用于找出富媒体环境300中的个体的任务。找出个体的任务可以通过使用机器视觉来识别个体而执行。视觉识别任务的可用性可以依赖于数字摄像机以及处理和网络资源以及用于从数字摄像机获得个体图像并将所获得的图像与所存储的已知个体的图像相比较的软件的可用性。找出个体的任务可以通过话音识别来执行。话音识别任务的可用性可以依赖于话筒以及处理和网络资源以及用于获得个体的语音样本并将所获得的语音样本与所存储的已知个体的语音样本相比较的软件的可用性。
可以由任务管理器402执行的任务的另一个例子是用于跟踪个体的移动的任务。跟踪个体的任务可以使用机器视觉或者音频处理技术来执行。
可以由任务管理器402执行的任务的另一个例子是用于检测个体的姿势的任务。检测姿势的任务可以使用机器视觉技术来执行。
可以由任务管理器402执行的任务的另一个例子是用于执行话音识别的任务。可以由任务管理器402执行的任务的又一个例子是用于执行语音识别的任务。
可以由任务管理器402执行的任务的另一个例子是用于从富媒体环境300中的位置获取一组传感器数据的任务。传感器数据可以是来自话筒340-345的音频数据和/或来自数字摄像机310-318的视频数据和/或来自便携式设备350-352的音频和/或视频数据。
可以由任务管理器402执行的任务的又一个例子是用于将一组数据再现到富媒体环境300中的位置的任务。所述数据可以是要使用音频扬声器320-323再现的音频数据和/或要使用视频显示器330-332和/或便携式设备350-352再现的视频数据。
可以由任务管理器402执行的任务的另一个例子是用于产生富媒体环境300的3D模型的任务。该任务的可用性可以依赖于适当配置的数字摄像机的阵列以及处理和网络资源以及用于获得立体图像并构造所获得的图像的3D表示的软件的可用性。
服务管理器400使用任务管理器402来执行每个通信服务440-442所需要的适当任务。服务管理器400将请求发送至任务管理器402以执行所需的任务，并且任务管理器402将一组处理资源和通信资源分配给请求的任务，并且执行所请求的任务。
由服务管理器400提供的通信服务的一个例子是用于跟踪富媒体环境300中的一组个体中每个个体的移动的服务。例如，服务管理器400可以通过向任务管理器402请求定位个体360的任务和跟踪个体360的移动的任务以及定位个体361的任务和跟踪个体361的移动的任务来提供跟踪个体360-361的移动的服务。两个定位任务的输出可以用作这两个跟踪任务的输入。
由服务管理器400提供的通信服务的另一个例子是用于将通信信道提供给富媒体环境300中的一组个体的服务。例如，服务管理器400可以通过向任务管理器402请求定位个体360的任务和从个体360获得传感器数据的任务和将数据再现给个体360的任务以及定位个体361的任务和从个体361获得传感器数据的任务和将数据再现给个体361的任务来提供在个体360-361之间的通信信道的服务。从个体360获得的传感器数据可以用作再现给个体361的数据，反之亦然。响应于个体360-361中每个的当前位置以及传感和再现部件的覆盖区域和其他职责，可以选择要由这些任务使用的传感和再现部件。服务管理器400也可以请求用于跟踪个体360-361的移动的任务，所以产生需要时可以更新用于通信信道的传感和再现部件。
图8示出管理系统420中的用户管理器404和部件管理器406。用户管理器404管理富媒体环境300中的个体360-363之间的通信和协作，以及部件管理器406管理富媒体环境300的部件，所述富媒体环境300包括其传感和再现部件、处理资源、存储资源、网络资源以及其便携设备。
用户管理器404保存一组用于各个个体360-363的用户简档460-463。例如，个体360的简档460可以包括在富媒体环境300内个体360的当前位置。简档460可以包括与个体360有关的一组属性。个体的一组属性可以在涉及富媒体环境300的正在进行的会议的情况下有意义。例如，属性可以指定个体的资格或者专业领域。所述属性可以用于形成个体360-363以及其他富媒体环境或者远程场所中的个体之间的通信交互，所述远程场所中的个体例如是具有手持设备、蜂窝电话等的远程用户。例如，可以基于他们的专业、等级、组织因素等在个体之间形成通信交互。
用户管理器404提供个体360-363的简档460-463的图形用户接口视图。用户管理器404也可以提供与其他富媒体环境相关的个体的图形用户接口视图，所述其他富媒体环境具有与富媒体环境300中的个体360-363正在进行的通信交互。
当个体360-363进入富媒体环境300时，用户管理器404识别他们。例如，富媒体环境300可以包括图形用户接口，例如键盘/小键盘、显示器等，其能够使个体在进入富媒体环境300时提供标识信息。用户管理器404可以使用富媒体环境中的传感和再现部件以用于图形用户接口。富媒体环境300可以包括条形码检测器、磁码检测器等，其在个体进入富媒体环境300时获得与个体有关的标识信息。个体的标识信息可以被存储在个体的用户简档中。
用户管理器404可以使用由服务管理器400提供的服务例如图像或者话音识别来识别个体360-363。用户管理器404使用由服务管理器400提供的服务来跟踪个体360-363随着时间的过去在富媒体环境300内的位置。可以使用个体360-363的位置来形成个体360-363以及其他富媒体环境或者远程场所中的个体之间的通信交互，并且选择传感和再现部件以用于通信交互。
用户管理器404跟踪富媒体环境300内的便携式设备350-352。例如，每个便携式设备350-352可以与个体相关，并被登记在个体的用户简档中。
部件管理器406保存一组部件记录470-472。部件记录470-472包括富媒体环境300的每个传感和再现部件的记录。传感或再现部件的部件记录可以指定其在富媒体环境300中的位置和覆盖区域、以及任何其他有关信息，例如阵列的一部分或者部件的阵列。传感或再现部件的部件记录可以指定传感部件当前被分配的任何感兴趣线程和/或感兴趣区域。
部件记录470-472包括与富媒体环境300相关的每个处理资源、存储资源和网络资源的部件记录。处理资源、存储资源或者网络资源的部件记录可以基于其当前正在执行的任务来指定其可用性或者可用能力。
部件记录470-472包括可以在富媒体环境300中使用的便携式设备350-352的每个部件的部件记录。便携式设备的部件记录可以指定其所相关的个体和/或它可拥有并可以由管理系统420使用的处理性能。
图9示出管理系统420中的感兴趣区域管理器408和感兴趣线程管理器410。感兴趣区域管理器408管理富媒体环境300中的一组感兴趣区域，而感兴趣线程管理器410管理与富媒体环境300有关的一组感兴趣线程。
感兴趣区域管理器408标识富媒体环境300中的感兴趣区域。感兴趣区域可以与富媒体环境300中的个体或者富媒体环境300中的人造品或者富媒体环境300内的子区域相关联。感兴趣区域管理器408可以通过例如使用服务440-442来标识富媒体环境300中的一个或多个个体或者人造品来标识感兴趣区域。感兴趣区域管理器408可以通过将富媒体环境300细分成一组子区域并为每个子区域创建感兴趣区域来标识一组感兴趣区域。
感兴趣区域管理器408为每个标识的感兴趣区域创建一组感兴趣区域记录480-482。每个感兴趣区域记录480-482包括在相应感兴趣区域中所包含的个体的标识和位置。感兴趣区域管理器408选择要用于每个感兴趣区域的富媒体环境300的传感和再现部件，并在感兴趣区域记录480-482中标识所选择的部件。
感兴趣区域管理器408使用服务440-442来随着时间的过去跟踪每个感兴趣区域并检测与感兴趣区域相关的个体或者人造品的移动。感兴趣区域管理器408在感兴趣区域记录480-482中记录该移动，并且该信息可以用于重新选择传感和再现部件以便为感兴趣区域提供适当的覆盖区域。
感兴趣区域管理器408可以从感兴趣线程管理器410获得所需目标再现请求的列表，并接着确定获取目标取景器的感兴趣区域所需要的传感和再现部件。例如，目标再现请求可以请求特定个体或者人造品的视频或者音频，或者可以请求在感兴趣区域之一中个体或者人造品的特定透视图。
感兴趣线程管理器410使用富媒体环境300中的传感部件来检测个体360-363以及其他富媒体环境中的个体或者远程位置的个体之间的通信交互的形成。感兴趣线程管理器410为所检测到的每个通信交互创建一组感兴趣线程记录490-492。感兴趣线程管理器410可以通过使用服务440-442检测一个或多个个体360-363之一的视觉线索例如姿势、移动等来检测通信交互的形成。感兴趣线程管理器410可以通过使用服务440-442检测个体360-363的口头语音线索来检测通信交互的形成。感兴趣线程管理器410可以响应于经由图形用户接口的用户输入来创建感兴趣线程。
感兴趣线程管理器410可以经由感兴趣区域管理器408跟踪感兴趣线程中的变化，并将变化记录在感兴趣线程记录490-492中。例如，感兴趣线程管理器410可以将感兴趣线程与由感兴趣区域管理器408跟踪的一个或多个感兴趣区域相关联，以使感兴趣线程中的变化依赖于其下面的感兴趣区域中的变化。
感兴趣线程管理器410管理与富媒体环境300相关的正在进行的感兴趣线程。例如，感兴趣线程管理器410获得与在正在进行的感兴趣线程中所涉及的个体的移动有关的信息。感兴趣线程管理器410可以使用该信息来检测在正在进行的感兴趣线程中所涉及的新个体以及离开正在进行的感兴趣线程的个体。感兴趣线程管理器410可以使用该信息来检测正在进行的感兴趣线程的合并以及正在进行的感兴趣线程的分裂。例如，在第一感兴趣线程中涉及的个体向在第二感兴趣线程中涉及的个体移动可以表示第一和第二感兴趣线程的合并。类似地，在第一感兴趣线程中涉及的个体远离在第二感兴趣线程中涉及的个体可以表示第一和第二感兴趣线程的分裂。如果一个感兴趣线程在预定时间段内没有活动或者如果所有涉及的个体实际上或者虚拟地离开彼此，则感兴趣线程管理器410可以结束该感兴趣线程。
图10示出管理系统420中的性能监视器412、系统控制器414、以及对话管理器416。性能监视器412提供图形用户接口来监视系统性能。性能监视器412产生一组系统的视图，包括系统的用户视图、系统的感兴趣区域视图、系统的感兴趣线程视图、系统的部件视图、系统的任务管理器视图、以及系统的服务视图。
系统控制器414使操作者能够控制部分系统。系统控制器414产生图形用户接口来显示系统性能和系统状态。系统控制器414使操作者能够手动地指定富媒体环境300中的感兴趣区域，并匹配感兴趣区域和感兴趣线程。系统控制器414使操作者能够手动地控制用于感兴趣区域和感兴趣线程的富媒体环境300的部件。
对话管理器416创建管理系统420和另一个富媒体环境的管理系统之间的对话。
用于跟踪个体的移动的任务可以被实现为基于视觉的个人跟踪系统。个人跟踪系统可以基于对区域的被动观察来检测并跟踪个体。个人跟踪系统可以基于平面成像来检测和跟踪个体，所述平面成像是至少部分地从表示区域中视觉场景的深度图像的视频流中获得的。个人跟踪系统可以产生三维的网格或点云。三维点云具有带有从视频流获得的一个或多个相关属性的成员，并表示由地平面和正交于该地平面的垂直轴所跨越的三维坐标系中所选择的深度图像像素。三维点云被分成一组垂直方向的面元(bin)。所划分的三维点云被映射成平面图像，所述平面图像对于每个垂直方向的面元都包含一个相应的像素，该像素具有基于一个或多个属性所计算的一个或多个值、或者占据相应垂直方向面元的三维点云成员的计数。至少部分地基于平面图像来跟踪对象。三维网格是具有明确的连续性的三维点云。
感兴趣线程是动态实体，该动态实体可以被看作具有从创建感兴趣线程到对感兴趣线程可能的一次或多次的修改到破坏感兴趣线程的生存期。对感兴趣线程的修改可以在对象/个体离开相应的通信交互时进行。例如，如果个体离开了组会话，则相应的感兴趣线程以进行修改而继续。可以把线程修改事件通知给在修改的感兴趣线程中涉及的其他个体。
感兴趣线程可以合并和分支。合并就是将两个或更多个预先存在的感兴趣线程组合成一个感兴趣线程。分支就是将一个感兴趣线程分裂成两个或更多个感兴趣线程。感兴趣线程也可以在富媒体环境之间移动。
用户简档也可以包括许可简档。许可简档可以与感兴趣线程或者对象或个体有关。线程许可可以用来使线程对于组预定为私人、公开或者受限。线程许可可以控制是否把与感兴趣线程有关的存在和活动通知给富媒体环境中的任何个体。在感兴趣线程开始时，它可以被指定为专用线程，并且不允许任何人收听。会议的说话者可以开始感兴趣线程并允许每个人收听。
用户许可使用户能够使他们的动作和存在不被检测到。感兴趣线程检测器不能监视这种个体的属性或者动作。
以上对本发明的详细描述是为了说明的目的而提供的，并且不打算是穷举的或者将本发明限制于所公开的确切实施例。因此，本发明的范围由所附权利要求书来限定。

Claims (10)

1.一种用于通信的系统，包括：
第一组传感和再现部件，其被布置成覆盖在第一环境(12)中存在的多个个体的物理运动；
第二组传感和再现部件，其被布置成覆盖在第二环境(14)中存在的多个个体的物理运动；
感兴趣线程检测器(16)，其使用第一和第二组传感和再现部件来检测多个通信交互，并为每个通信交互保存感兴趣线程，其中每个通信交互涉及在第一和第二环境中存在的个体的相应子集；
通信提供器(18)，其从传感部件获取一组媒体数据，以及响应于每个子集的个体的相应活动而组合所获取的媒体数据，并将组合的媒体数据传送给再现部件。
2.权利要求1所述的系统，其中通信提供器(18)选择第一和第二组传感和再现部件的相应子集以用于每个感兴趣线程。
3.权利要求1所述的系统，其中所述相应活动包括在相应的感兴趣线程中涉及的个体的语音电平。
4.权利要求1所述的系统，其中所述相应活动包括在相应的感兴趣线程中涉及的个体的姿势。
5.权利要求1所述的系统，其中所述相应活动包括在相应的感兴趣线程中涉及的个体的移动。
6.权利要求1所述的系统，其中所述相应活动包括在相应的感兴趣线程中涉及的个体的位置。
7.权利要求1所述的系统，其中通信提供器(18)响应于所述相应活动而提炼从传感器部件获得的媒体数据。
8.权利要求1所述的系统，其中通信提供器(18)存储所组合的媒体数据以提供每个通信交互的历史。
9.权利要求1所述的系统，其中所述通信交互包括与环境(12)(14)之一中的人造品有关的通信交互。
10.权利要求1所述的系统，其中所述个体中的一个或多个位于远程位置，并且拥有远程传感和再现部件。
CNB2004800363870A 2003-10-09 2004-10-06 使用富媒体环境的通信和协作系统 Expired - Fee Related CN100399240C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/682,542 2003-10-09
US10/682,542 US7590941B2 (en) 2003-10-09 2003-10-09 Communication and collaboration system using rich media environments

Publications (2)

Publication Number Publication Date
CN1890622A CN1890622A (zh) 2007-01-03
CN100399240C true CN100399240C (zh) 2008-07-02

Family

ID=34422540

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800363870A Expired - Fee Related CN100399240C (zh) 2003-10-09 2004-10-06 使用富媒体环境的通信和协作系统

Country Status (4)

Country Link
US (1) US7590941B2 (zh)
EP (1) EP1671220B1 (zh)
CN (1) CN100399240C (zh)
WO (1) WO2005036359A2 (zh)

Families Citing this family (141)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030234812A1 (en) * 2002-06-24 2003-12-25 Drucker Steven M. Visual decision maker
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
US8340971B1 (en) * 2005-01-05 2012-12-25 At&T Intellectual Property Ii, L.P. System and method of dialog trajectory analysis
US7518631B2 (en) * 2005-06-28 2009-04-14 Microsoft Corporation Audio-visual control system
US20070005698A1 (en) * 2005-06-29 2007-01-04 Manish Kumar Method and apparatuses for locating an expert during a collaboration session
US8031891B2 (en) * 2005-06-30 2011-10-04 Microsoft Corporation Dynamic media rendering
US20070100952A1 (en) * 2005-10-27 2007-05-03 Yen-Fu Chen Systems, methods, and media for playback of instant messaging session histrory
US20070101190A1 (en) * 2005-10-27 2007-05-03 International Business Machines Corporation Systems, methods, and media for sharing input device movement information in an instant messaging system
US20070150512A1 (en) * 2005-12-15 2007-06-28 Microsoft Corporation Collaborative meeting assistant
US8464164B2 (en) * 2006-01-24 2013-06-11 Simulat, Inc. System and method to create a collaborative web-based multimedia contextual dialogue
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US7679639B2 (en) * 2006-04-20 2010-03-16 Cisco Technology, Inc. System and method for enhancing eye gaze in a telepresence system
US20070250567A1 (en) * 2006-04-20 2007-10-25 Graham Philip R System and method for controlling a telepresence system
US7692680B2 (en) * 2006-04-20 2010-04-06 Cisco Technology, Inc. System and method for providing location specific sound in a telepresence system
JP2007318438A (ja) * 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
US8972898B2 (en) * 2007-02-06 2015-03-03 Novell Intellectual Properties, Inc. Techniques for representing and navigating information in three dimensions
US7765261B2 (en) * 2007-03-30 2010-07-27 Uranus International Limited Method, apparatus, system, medium and signals for supporting a multiple-party communication on a plurality of computer servers
US8627211B2 (en) 2007-03-30 2014-01-07 Uranus International Limited Method, apparatus, system, medium, and signals for supporting pointer display in a multiple-party communication
US8060887B2 (en) 2007-03-30 2011-11-15 Uranus International Limited Method, apparatus, system, and medium for supporting multiple-party communications
US7950046B2 (en) 2007-03-30 2011-05-24 Uranus International Limited Method, apparatus, system, medium, and signals for intercepting a multiple-party communication
US7765266B2 (en) 2007-03-30 2010-07-27 Uranus International Limited Method, apparatus, system, medium, and signals for publishing content created during a communication
US8702505B2 (en) 2007-03-30 2014-04-22 Uranus International Limited Method, apparatus, system, medium, and signals for supporting game piece movement in a multiple-party communication
US8570373B2 (en) * 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
US9178957B2 (en) * 2007-09-27 2015-11-03 Adobe Systems Incorporated Application and data agnostic collaboration services
US8243119B2 (en) * 2007-09-30 2012-08-14 Optical Fusion Inc. Recording and videomail for video conferencing call systems
US9420014B2 (en) 2007-11-15 2016-08-16 Adobe Systems Incorporated Saving state of a collaborative session in an editable format
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) * 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
EP2260629A1 (en) * 2008-02-22 2010-12-15 Nokia Corporation Systems and methods for determining behaviors for live and playback consumption
US10229389B2 (en) * 2008-02-25 2019-03-12 International Business Machines Corporation System and method for managing community assets
US8319819B2 (en) * 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US20100031152A1 (en) * 2008-07-31 2010-02-04 Microsoft Corporation Creation and Navigation of Infinite Canvas Presentation
US8108777B2 (en) 2008-08-11 2012-01-31 Microsoft Corporation Sections of a presentation having user-definable properties
US8694658B2 (en) * 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US7945622B1 (en) * 2008-10-01 2011-05-17 Adobe Systems Incorporated User-aware collaboration playback and recording
US9294291B2 (en) 2008-11-12 2016-03-22 Adobe Systems Incorporated Adaptive connectivity in network-based collaboration
US20100228825A1 (en) * 2009-03-06 2010-09-09 Microsoft Corporation Smart meeting room
US8659637B2 (en) * 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US20100226487A1 (en) * 2009-03-09 2010-09-09 Polycom, Inc. Method & apparatus for controlling the state of a communication system
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
WO2010103482A2 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US10127524B2 (en) 2009-05-26 2018-11-13 Microsoft Technology Licensing, Llc Shared collaboration canvas
US20100306018A1 (en) * 2009-05-27 2010-12-02 Microsoft Corporation Meeting State Recall
US8332755B2 (en) * 2009-05-27 2012-12-11 Microsoft Corporation Force-feedback within telepresence
US20100306670A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Gesture-based document sharing manipulation
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9274699B2 (en) * 2009-09-03 2016-03-01 Obscura Digital User interface for a large scale multi-user, multi-touch system
CN102118601A (zh) * 2009-12-30 2011-07-06 深圳富泰宏精密工业有限公司 预约约会的系统及方法
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US9338124B2 (en) * 2010-10-05 2016-05-10 VNP Software, Inc. Electronic messaging systems
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9383888B2 (en) 2010-12-15 2016-07-05 Microsoft Technology Licensing, Llc Optimized joint document review
US9118612B2 (en) 2010-12-15 2015-08-25 Microsoft Technology Licensing, Llc Meeting-specific state indicators
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
US9864612B2 (en) 2010-12-23 2018-01-09 Microsoft Technology Licensing, Llc Techniques to customize a user interface for different displays
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US9030520B2 (en) * 2011-06-20 2015-05-12 Polycom, Inc. Automatic camera selection for videoconferencing
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8667539B2 (en) 2011-08-03 2014-03-04 Symbol Shifters, LLC System for scanable icon detection and management
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9544158B2 (en) 2011-10-05 2017-01-10 Microsoft Technology Licensing, Llc Workspace collaboration via a wall-type computing device
US8682973B2 (en) 2011-10-05 2014-03-25 Microsoft Corporation Multi-user and multi-device collaboration
US9996241B2 (en) 2011-10-11 2018-06-12 Microsoft Technology Licensing, Llc Interactive visualization of multiple software functionality content items
US10198485B2 (en) 2011-10-13 2019-02-05 Microsoft Technology Licensing, Llc Authoring of data visualizations and maps
US8826340B2 (en) * 2011-10-14 2014-09-02 Symbol Shifters, LLC Method for more efficient collecting of information
CN103078781A (zh) * 2011-10-25 2013-05-01 国际商业机器公司 用于即时消息系统的方法和即时消息系统
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
KR20130097985A (ko) * 2012-02-27 2013-09-04 삼성전자주식회사 양방향 커뮤니케이션을 위한 방법 및 장치
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US20130304476A1 (en) * 2012-05-11 2013-11-14 Qualcomm Incorporated Audio User Interaction Recognition and Context Refinement
US20140063176A1 (en) * 2012-09-05 2014-03-06 Avaya, Inc. Adjusting video layout
JP2014060577A (ja) * 2012-09-18 2014-04-03 Sony Corp 通信端末、プログラムおよび情報処理装置
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
US9197853B2 (en) 2013-05-20 2015-11-24 Ricoh Company, Ltd Switching between views using natural gestures
US9595271B2 (en) * 2013-06-27 2017-03-14 Getgo, Inc. Computer system employing speech recognition for detection of non-speech audio
US20150033140A1 (en) * 2013-07-23 2015-01-29 Salesforce.Com, Inc. Providing active screen sharing links in an information networking environment
US10664772B1 (en) 2014-03-07 2020-05-26 Steelcase Inc. Method and system for facilitating collaboration sessions
US9716861B1 (en) 2014-03-07 2017-07-25 Steelcase Inc. Method and system for facilitating collaboration sessions
WO2015178949A1 (en) * 2014-05-19 2015-11-26 Tiskerling Dynamics Llc Using the location of a near-end user in a video stream to adjust audio settings of a far-end system
US9955318B1 (en) 2014-06-05 2018-04-24 Steelcase Inc. Space guidance and management system and method
US9766079B1 (en) 2014-10-03 2017-09-19 Steelcase Inc. Method and system for locating resources and communicating within an enterprise
US9380682B2 (en) 2014-06-05 2016-06-28 Steelcase Inc. Environment optimization for space based on presence and activities
US10433646B1 (en) 2014-06-06 2019-10-08 Steelcaase Inc. Microclimate control systems and methods
US11744376B2 (en) 2014-06-06 2023-09-05 Steelcase Inc. Microclimate control systems and methods
US9693017B2 (en) * 2014-08-20 2017-06-27 Cisco Technology, Inc. Automatic switching between different cameras at a video conference endpoint based on audio
US9852388B1 (en) 2014-10-03 2017-12-26 Steelcase, Inc. Method and system for locating resources and communicating within an enterprise
US9819902B2 (en) 2015-03-19 2017-11-14 Microsoft Technology Licensing, Llc Proximate resource pooling in video/audio telecommunications
US10733371B1 (en) 2015-06-02 2020-08-04 Steelcase Inc. Template based content preparation system for use with a plurality of space types
JP6070783B2 (ja) * 2015-07-13 2017-02-01 沖電気工業株式会社 情報処理装置、プログラム及び情報処理方法
JP6547496B2 (ja) * 2015-08-03 2019-07-24 株式会社リコー 通信装置、通信方法、プログラムおよび通信システム
US10235367B2 (en) 2016-01-11 2019-03-19 Microsoft Technology Licensing, Llc Organization, retrieval, annotation and presentation of media data files using signals captured from a viewing environment
US9921726B1 (en) 2016-06-03 2018-03-20 Steelcase Inc. Smart workstation method and system
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
US10699709B2 (en) * 2018-06-08 2020-06-30 International Business Machines Corporation Conference call analysis and automated information exchange
US10460235B1 (en) * 2018-07-06 2019-10-29 Capital One Services, Llc Data model generation using generative adversarial networks
US10932080B2 (en) * 2019-02-14 2021-02-23 Microsoft Technology Licensing, Llc Multi-sensor object tracking for modifying audio
US11082460B2 (en) * 2019-06-27 2021-08-03 Synaptics Incorporated Audio source enhancement facilitated using video data
US11379424B2 (en) * 2020-10-30 2022-07-05 Docusign, Inc. Edit interface in an online document system
WO2022120255A1 (en) 2020-12-04 2022-06-09 VR-EDU, Inc. Virtual information board for collaborative information sharing
US11330228B1 (en) * 2021-03-31 2022-05-10 Amazon Technologies, Inc. Perceived content quality through dynamic adjustment of processing settings

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5686957A (en) * 1994-07-27 1997-11-11 International Business Machines Corporation Teleconferencing imaging system with automatic camera steering
US5867654A (en) * 1993-10-01 1999-02-02 Collaboration Properties, Inc. Two monitor videoconferencing hardware
US20030001890A1 (en) * 2001-06-13 2003-01-02 Brin Glen David Interactive communication between a plurality of users

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2649843A1 (fr) * 1989-07-12 1991-01-18 Gayet Andre Ingenierie de diffusion et de telediffusion de signaux informatiques (images, sons et donnees) destinee aux lieux d'une capacite d'accueil egale ou superieure a 100 personnes
US5440624A (en) 1992-11-10 1995-08-08 Netmedia, Inc. Method and apparatus for providing adaptive administration and control of an electronic conference
US20020120545A1 (en) 1994-01-27 2002-08-29 Ronald A. Katz Commercial product routing system with video vending capability
EP0755034B1 (en) * 1995-07-19 2001-10-24 Matsushita Electric Industrial Co., Ltd. Movement pattern recognizing apparatus for detecting movements of human bodies and the number of passing persons
JPH0970031A (ja) * 1995-09-01 1997-03-11 Nec Eng Ltd テレビ会議システム
US5717869A (en) * 1995-11-03 1998-02-10 Xerox Corporation Computer controlled display system using a timeline to control playback of temporal data representing collaborative activities
US5793365A (en) * 1996-01-02 1998-08-11 Sun Microsystems, Inc. System and method providing a computer user interface enabling access to distributed workgroup members
GB2313250B (en) 1996-05-17 2000-05-31 Motorola Ltd Method of managing system resources in a multimedia conferencing network
JPH1042264A (ja) * 1996-07-23 1998-02-13 Nec Corp テレビ会議システム
US6256046B1 (en) * 1997-04-18 2001-07-03 Compaq Computer Corporation Method and apparatus for visual sensing of humans for active public interfaces
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6388654B1 (en) * 1997-10-03 2002-05-14 Tegrity, Inc. Method and apparatus for processing, displaying and communicating images
US6396509B1 (en) * 1998-02-21 2002-05-28 Koninklijke Philips Electronics N.V. Attention-based interaction in a virtual environment
US6801637B2 (en) * 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6307952B1 (en) * 1999-03-03 2001-10-23 Disney Enterprises, Inc. Apparatus for detecting guest interactions and method therefore
US6559863B1 (en) * 2000-02-11 2003-05-06 International Business Machines Corporation System and methodology for video conferencing and internet chatting in a cocktail party style
US6948131B1 (en) * 2000-03-08 2005-09-20 Vidiator Enterprises Inc. Communication system and method including rich media tools
US6784901B1 (en) * 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
US6428449B1 (en) * 2000-05-17 2002-08-06 Stanford Apseloff Interactive video system responsive to motion and voice command
US20010055058A1 (en) * 2000-06-08 2001-12-27 Rajko Milovanovic Method and system for video telephony
WO2002029749A1 (fr) * 2000-09-26 2002-04-11 Matsushita Electric Industrial Co., Ltd. Detecteur et procede de detection d'etat d'un objet, appareils electriques domestiques, adaptateur pour reseau et media
WO2002051152A1 (en) * 2000-12-01 2002-06-27 Tegrity, Ltd. System, method and apparatus for capturing, recording, transmitting and displaying dynamic sessions
US20020106998A1 (en) * 2001-02-05 2002-08-08 Presley Herbert L. Wireless rich media conferencing
US7085842B2 (en) * 2001-02-12 2006-08-01 Open Text Corporation Line navigation conferencing system
US7358985B2 (en) * 2001-02-16 2008-04-15 Fuji Xerox Co., Ltd. Systems and methods for computer-assisted meeting capture
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
JP4396092B2 (ja) * 2001-10-19 2010-01-13 富士ゼロックス株式会社 コンピュータ援用ミーティングキャプチャシステム、コンピュータ援用ミーティングキャプチャ方法、及びコントロールプログラム
JP2003224836A (ja) * 2002-01-30 2003-08-08 Megafusion Corp テレビ会議システム
US7366645B2 (en) * 2002-05-06 2008-04-29 Jezekiel Ben-Arie Method of recognition of human motion, vector sequences and speech
CA2501732C (en) * 2002-10-09 2013-07-30 Bodymedia, Inc. Method and apparatus for auto journaling of continuous or discrete body states utilizing physiological and/or contextual parameters
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US7617094B2 (en) * 2003-02-28 2009-11-10 Palo Alto Research Center Incorporated Methods, apparatus, and products for identifying a conversation
US7698141B2 (en) * 2003-02-28 2010-04-13 Palo Alto Research Center Incorporated Methods, apparatus, and products for automatically managing conversational floors in computer-mediated communications
US7212651B2 (en) * 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos
US20050012817A1 (en) * 2003-07-15 2005-01-20 International Business Machines Corporation Selective surveillance system with active sensor management policies
US8819128B2 (en) * 2003-09-30 2014-08-26 Apple Inc. Apparatus, method, and computer program for providing instant messages related to a conference call

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867654A (en) * 1993-10-01 1999-02-02 Collaboration Properties, Inc. Two monitor videoconferencing hardware
US5686957A (en) * 1994-07-27 1997-11-11 International Business Machines Corporation Teleconferencing imaging system with automatic camera steering
US20030001890A1 (en) * 2001-06-13 2003-01-02 Brin Glen David Interactive communication between a plurality of users

Also Published As

Publication number Publication date
EP1671220A2 (en) 2006-06-21
WO2005036359A2 (en) 2005-04-21
US7590941B2 (en) 2009-09-15
EP1671220A4 (en) 2006-10-18
EP1671220B1 (en) 2019-01-16
US20050081160A1 (en) 2005-04-14
WO2005036359A3 (en) 2005-09-15
CN1890622A (zh) 2007-01-03

Similar Documents

Publication Publication Date Title
CN100399240C (zh) 使用富媒体环境的通信和协作系统
CN101198945B (zh) 用于富媒体环境的管理系统
US7598975B2 (en) Automatic face extraction for use in recorded meetings timelines
US7920158B1 (en) Individual participant identification in shared video resources
Cutler et al. Distributed meetings: A meeting capture and broadcasting system
CN110139062B (zh) 一种视频会议记录的创建方法、装置及终端设备
CN110703913B (zh) 对象交互方法和装置、存储介质及电子装置
Liu et al. FLYSPEC: A multi-user video camera system with hybrid human and automatic control
US20060101022A1 (en) System and process for providing an interactive, computer network-based, virtual team worksite
CN104469256A (zh) 沉浸式和交互式的视频会议房间环境
CN102884537A (zh) 用于设备定位和通信的方法
CN107820037B (zh) 音频信号、图像处理的方法、装置和系统
GB2342802A (en) Indexing conference content onto a timeline
JP2006085440A (ja) 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
CN113196239A (zh) 对与在通信会话内所显示的对象相关的内容的智能管理
TWI795762B (zh) 用於在現實場景中疊加直播人物影像的方法和電子設備
CN111338481B (zh) 基于全身动态捕捉的数据交互系统及方法
CN204721476U (zh) 沉浸式和交互式的视频会议房间环境
US7986336B2 (en) Image capture apparatus with indicator
CN117616748A (zh) 具有多种空间交互模式的视频会议系统
JP2022003818A (ja) 画像表示システム、画像表示プログラム、画像表示方法及びサーバ
US11949727B2 (en) Organic conversations in a virtual group setting
US20220374636A1 (en) Object data generation for remote image processing
CN115167724A (zh) 弹幕显示方法、装置、设备以及存储介质
CN117493392A (zh) 一种基于ar技术的多平台联动查询方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080702

Termination date: 20201006