CN101809998A - 用于多显示切换视频会议系统的音频方向性控制 - Google Patents

用于多显示切换视频会议系统的音频方向性控制 Download PDF

Info

Publication number
CN101809998A
CN101809998A CN200880108788A CN200880108788A CN101809998A CN 101809998 A CN101809998 A CN 101809998A CN 200880108788 A CN200880108788 A CN 200880108788A CN 200880108788 A CN200880108788 A CN 200880108788A CN 101809998 A CN101809998 A CN 101809998A
Authority
CN
China
Prior art keywords
audio
source
state
participant
gain coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880108788A
Other languages
English (en)
Other versions
CN101809998B (zh
Inventor
兰德尔·B·拜德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Technology Inc
Original Assignee
Cisco Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Technology Inc filed Critical Cisco Technology Inc
Publication of CN101809998A publication Critical patent/CN101809998A/zh
Application granted granted Critical
Publication of CN101809998B publication Critical patent/CN101809998B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Abstract

在一个实施例中,一种方法包括设置从遥现会议的多个远程参与者接收到的每个音频源的目标值,增益系数阵列馈送给与扬声器相关联的混合器,该扬声器与显示器相关联。然后,为每个音频源设置增益递增值,增益递增值等于目标值与当前增益系数之间的差值除以N,其中,N是表示递增次数的大于1的整数。然后,对于每个音频源,对于N次迭代中的每次迭代,将增益递增值添加到当前增益系数以产生被载入混合器的新的当前增益系数,使得在N次迭代之后,新的当前增益系数等于目标值。

Description

用于多显示切换视频会议系统的音频方向性控制
技术领域
本发明一般涉及数据网络和会议系统。
背景技术
多显示、切换视频(“遥现(telepresence)”)会议系统是这样的一种系统:组件和端点设备通过网络来产生现场的面对面会议体验,该网络允许用户以看起来就像所有远程参与者出现在同一室中的方式来交互并合作。现有的遥现解决方案例如将真实尺寸、真实的高清晰视频图像、CD质量的音频、特别设计的环境以及交互式元件相组合,来产生来自远程位置的参与者就像“亲自”在虚拟桌旁的感觉。一些市面上出售的遥现系统被设计用于较小群组的会议以及一对一的交谈,而其它遥现系统被设计用于较大群组的会议。无论会议的大小如何,端点通常结合提供呼叫调度、建立的管理器软件应用来工作。
遥现会议系统的目标是允许参与者集中于会议而非技术,从而自然地有效地进行通信。实现此的一种方式是使音频方向跟踪视频显示,例如使扬声器邻近各个视频显示器。换言之,该想法是使得从扬声器出来的发言参与者的音频邻近于参与者的图像被显示的地方。然而,当由新的发言参与者触发了对显示器的改变时,会出现问题。在这些情况中,由于需要防止视频图像因简短讲话频发而来回跳动,因此,来自新的发言参与者的音频通常先于视频切换操作一两秒。由于视频切换系统尚未开始在显示器上呈现视频,因此,常常在错误的地方(即,扬声器位置)呈现音频。当视频最终被显示时,音频可能突然从一个扬声器跳到另一扬声器,从而导致了可能使参与者迷失方向或扰乱虚拟桌体验的分散注意力的人为现象。
附图说明
从下面的详细描述和附图将更全面地了解本发明,然而,附图不应当被认为将本发明局限于所示出的具体实施例,而是仅用于说明和理解。
图1图示出了示例多点遥现会议系统。
图2图示出了用于控制音频方向的示例装置。
图3图示出了用于控制音频方向的另一示例装置。
图4图示出了示例参与者混合器有限状态机。
图5图示出了用于图2的装置中的平滑音频转变的示例方法。
图6图示出了示例节点或网络设备的基本配置。
具体实施方式
在下面的描述中,阐述了诸如设备类型、系统配置、控制方法等具体细节,以提供对本发明的透彻理解。然而,相关领域的普通技术人员将会理解,可能不需要这些具体细节来实现所描述的实施例。
计算机网络是用于在诸如中间节点和端节点(也称为端点)之类的节点之间传送数据的互连子网在地理上的分布式集合。局域网(LAN)是这种子网的示例;可以通过诸如路由器、桥接器或交换机之类的中间网络节点进一步互连多个LAN来扩大计算机网络的有效“大小”并且增加通信节点的数目。设备或节点的示例包括服务器、混合器、控制单元以及个人计算机。节点通常通过根据预定义协议交换数据的离散帧或分组来进行通信。
在本申请的上下文中,遥现会议系统是这样的系统,该系统包括被集成的软件和/或硬件(包括固件)组件以及端点设备以使得远程位置的会议参与者产生“亲临”的感觉。遥现会议可以包括通过多种网络连接和协议类型的点到点或点到多点呼叫。端点本身包括:具有可以包括音频/视频器械(例如,扬声器、相机、视频显示器/显示屏、麦克风等)的交互式元件的特别设计的环境、参与者在虚拟桌周围的照明和座位,以及辅助一个或多个网络上的通信信道的调度、建立和维护的软件元件/应用。将参与者关联到遥现会议的端点设备还可以包括仅音频的设备(例如数字电话机),或者能够发送、接收媒体分组或以其它方式参与遥现会议系统的分组交换的任何其它设备、组件、元件或对象。
概述
在一个实施例中,遥现会议系统包括在会议室中围绕虚拟桌布置的多个扬声器。每个扬声器与相对应的视频显示器邻近。(其它实施例可以具有比显示器多或少的扬声器。)每个扬声器还被附接到相对应的音频混合器。所有音频源(来自远程位置处的参与者)被输入混合器中。然而,每个混合器维持针对每个音频源的增益系数,这产生了跨越所有混合器的音频“增益向量”或阵列。该增益向量不被用来确定哪些源是目前最响的扬声器,而被用来在混合之前预缩放音频。注意,通常由系统中对存在新的发言参与者的指示来触发显示器的改变。
在任何给定的时间,音频源被分类为处于四个状态中的一个状态中。第一状态是安静/背景噪声,其中,通常抑制音频源被混合,然而,在某些实施例中,其可以作为无方向音频而被混合。第二状态与检测到的足够大(在预定阈值水平之上)但尚未触发视频切换操作的语音相关联。取决于参与者讲话的长度或持续时间而可能或可能不会引起视频源改变的该讲话无方向性地被混合到会议中。例如,作出诸如“是”或“否”之类的简短的确认/否认语句的参与者将从第一状态转变到第二状态。注意,第二状态是瞬态。音频源将在一两秒内转变到第一状态(如果参与者停止讲话)或者当参与者持续讲话超过了预定转变触发阈值时将转变到第四状态(下面将描述)。
第三状态用于无视频源与其相关联的仅音频源。这些源无方向性地被混合。
第四状态用于与当前显示的视频源相关联的音频源。来自这些源的音频被定向,以使得语音从与示出了讲话参与者的视频显示屏相关联的扬声器出现。注意,在此状态中,音频在当前是否是突发的简短说话并不重要,只要保持显示参与者的关联视频图像即可。
在一个实施例中,系统包括针对四个状态中的每个状态建立跨越多个混合器的增益控制向量,以及这些向量在状态转变期间如何改变的方法。未被显示的讲话者无方向地性出现。当某人开始在大会会议中说话时,他们就被显示给遥现会议中的其它参与者,并且它们的音频以逐渐的不分散注意力的方式被有方向地切换直到他们的讲话相对于与示出了他们的图像的显示器相关联的扬声器而被完全定向为止。
应当明白,在本公开中描述的遥现会议系统可以位于基于分组的通信网络上的任何地方,该网络将各个虚拟会议桌连接起来以产生共享体验。在一些实施例中,遥现会议系统可以包括执行这里描述的各种处理、视频切换和音频混合功能的单个服务器。在其它实施例中,遥现会议系统(包括声音处理/混合功能)可以被分布在多个服务器间,或者替代地,以跨越网络或者一个或多个遥现会议端点组件设备的分布式方式来实现。
图1图示出了示例多点遥现会议系统10,包括经由因特网协议(IP)网络11互连的三个会议地点(地点1-3)。地点1包括麦克风16a-16c,每个麦克风适当地位于桌上以捕获相对应组的参与者的语音。在此示例中,每组包括两个参与者(两把椅子),麦克风16a位于组1A的正前方,麦克风16b位于组1B的正前方,并且麦克风16c位于组1C的正前方。其它实施例可以在每组中具有单个参与者或者多于两个参与者。
会议地点1还包括旨在分别捕获组1A-1C的参与者的图像的三个相机15a-15c,以及三个显示器17a-17c。一组扬声器14a-14c相对应地位于各个显示器17a-17c附近。在遥现会议期间,显示器17提供来自一个或多个远程位置(即地点2和3)的参与大会会议的活动的(或者先前活动的)讲话者的栩栩如生的图像。利用位于网络11上的视频切换器12来将参与者的流传输视频图像切换到各个地点。
也位于网络11上的音频混合器13产生表示各个所选参与者的混合语音(在某些实施例中,为背景噪声)的输出音频流。音频混合器13例如可以根据上述各种音频状态来混合音频传输以创建输出音频流。下面提供了对由特定会议地点的扬声器输出的音频源的有方向/无方向混合的其它示例。
将理解,除了视频切换器12和音频混合器13以外,诸如会议服务器或调度应用(未示出)之类的其它组件也可以位于网络11上来作为远程会议系统10的一部分。
地点2和3以与地点1类似的方向来配置,唯一不同的是所容纳的参与者组的数目。例如,地点2被示为包括位于坐了一组参与者2A的桌子的相对侧的与显示器22相邻的扬声器。麦克风24被放置以捕获参与者组2A的可听语音,相机23被放置以捕获该组中的每个参与者的视频图像。同样,地点3被配置用于两个参与者组(3A和3B),其中,麦克风27a和27b以及相机26a和26b被布置以分别捕获组3A和3B中的参与者的语音和图像。作为容纳两个参与者组的会议地点,地点3还被配置有一对显示器28a和28b以及扬声器25a和25b。
在一个实施例中,每个扬声器被指派有或与具有一组增益控制的单独的音频混合器相关联,该组增益控制确定从该特定扬声器输出的音频源的方向。音频源的有方向/无方向混合由上述有限状态机来控制,并且下面将结合图4进一步讨论。在具体实现方式中,根据摆动算法(slewingalgorithm)来确定对特定音频源方向的改变,下面将结合图5描述摆动算法的一个示例。
图2图示出了根据上述实施例的用于控制音频方向的示例装置。该示例示出了从地点3的角度看的会议动态。左扬声器25a被示为由与左混合器增益控制阵列31a相关联的左扬声器混合器32a驱动,左混合器增益控制阵列31a从远程会议地点1A、1B、2A和1C接收各个音频源(例如,由各个麦克风16a、16b、24和16c捕获的)作为输入。由本示例呈现的场景如下。组1A中的参与者现在是大会会议中的活动讲话者(例如,最大声),以使得由麦克风16a捕获的100%的音频信号由扬声器25a输出。同时,由相机15a捕获的讲话者的图像正显示在显示器28a上。由相机15b捕获的先前的或者最近的活动讲话者的图像正显示在显示器28b上。因此,由麦克风16b(与参与者组1B相关联)捕获的全部100%的音频信号由扬声器25b输出,扬声器25b通过馈给右扬声器混合器32b的右混合器增益控制阵列31来控制。
注意,由麦克风16a和16b捕获的音频信号中的0%被包括在分别发送给扬声器25b和25a的混合输出信号中。换言之,由扬声器25a产生的音频相对于其视频图像被显示在相邻显示器28a上的参与者组1A的语音而被定向。同时,由扬声器25a产生的音频相对于其视频图像被显示在相邻显示器28b上的参与者组1B的语音而被定向。还应注意,在此示例中,由麦克风24和16c捕获的语音或噪声是完全无方向的;即,来自这些源的音频信号被左右混合器增益控制阵列均等地加权(50%),并且被均等地分开在两个扬声器25a和25b之间。遥现会议系统不对这些音频信号进行定向的原因可能是由于如下事实:麦克风24和16a中的一个或两者正捕获背景噪声或突发的简短说话(例如,少于某个预定时间段,例如在参与者说出“是”或“否”然后停止讲话的情况中)。换句话说,在本实施例中,不给于当前未被显示的任何参与者的音频感知到的方向。这种无方向性通过均等地加权相对应的增益控制阵列“桶”(“bucket”)(按非定向音频源的数目来均等地划分)来实现。
将理解,在系统未检测源自特定组的可感知声音的情况中,可将该组从无方向音频混合中排除。作为示例,在图2中,如果麦克风24未拾取到可测量的声音,则由扬声器25a和25b产生的声音中的非定向分量将仅包括来自参与者组2A的音频(50%)。还应当明白,所应用的增益因子取决于特定地点处的扬声器的数目。例如,具有三个扬声器的地点3将33.33%的增益控制应用于每个非定向音频源。换言之,对于配置有三个音频混合器/扬声器的地点,针对突发简短讲话或背景噪声的增益控制存储桶加权为33.33%。
图3图示出了用于控制音频方向的另一示例装置。除了不是混合非定向语音(或噪声)以用于由与显示器(28a和28b)相关联的扬声器(25a和25b)均等分布地输出,而是利用无方向扬声器混合器32c来均等地(即,每个50%)驱动一对背景或后扬声器25c和25d之外,本示例基本上与图2所示的示例相同。因此,混合器增益控制阵列31c被示为将来自无方向源24(组2A)的100%的音频以及来自当前和先前的活动讲话者源16a和16b的0%的音频馈送到无方向扬声器混合器32c中。
图4图示出了图1的遥现会议系统的示例参与者混合器有限状态机。输入到系统中的任何音频源可以处于图4所示的四个状态中的一个状态。本领域从业人员将理解,图4的状态机可以实现为控制馈给与各个扬声器相关联的音频混合器的增益向量的方法。安静或背景状态40表示从完全安静的或者幅度或音量如此低以致于系统不将其考虑为活动讲话者身份的源接收到的音频。实质上,如果从源接收到的音频具有小于预定阈值的幅度,则将其置于安静或背景状态40中。参与者(音频或视频)可以通过停止讲话来分别从状态41和42进入安静状态40,如由转变箭头45和47所示的。替代地,视频参与者可以因使他们的图像在显示屏上被取代而从大声的、被显示状态43转变到安静状态40,如转变箭头49所示的。
当安静状态40中的参与者开始讲话时,他们立即转变到大声、未被显示状态42中,如由转变箭头46所示的。而在状态42中,音频源由远程遥现会议地点中的扬声器无方向地输出。作为示例,进行了突发简短讲话的(例如“Ahaa”)或者其讲话尚未超过预定时间段阈值(例如,两秒)的任何视频参与者被置于大声的、未被显示状态42中。如果视频参与者在达到预定时间段阈值之前停止讲话,则他们转变回安静状态40,如由转变箭头47所示的。另一方面,如果视频参与者讲话足够长(例如,大于2秒),则系统将它们标识为当前的或活动的讲话者,并且音频源转变到大声的、被显示状态43,如转变箭头48所示。当在大声的、被显示状态43中时,视频参与者的音频源是有方向的;即,参与者的语音由与示出了该参与者的图像的显示器邻近的扬声器来输出。
注意,在大声的、被显示状态43中的参与者可能不直接转变到大声的、未被显示状态42中。而是,当系统决定用新的活动讲话者的图像取代处于大声的、被显示状态43中的视频参与者的图像时,则该参与者转变路径去往安静状态40。
大声的、仅音频状态41用于仅音频的参与者。当仅音频的参与者开始讲话时,他们从安静状态42转变到大声的、仅音频状态41,如转变箭头44所示的。而在状态41中,仅音频参与者的音频保持为无方向的。如果仅音频参与者停止讲话,则他们返回到安静状态40,如转变箭头45所示的。
图5图示出了用于在图2的装置中平滑地慢慢地摆动音频转变的示例方法。在一个实施例中,图4所示的音频转变可以根据图5所示的方法来实现。处理开始于判决块51,其中,系统询问每个音频源当前是否被显示。如果未被显示,则来自这些源的音频是无方向的并且系统将增益系数向量或阵列中的目标值设为100%除以音频混合器的数目(块52)。例如,如果存在两个音频混合器,一个用于左扬声器而一个用于右扬声器,则,这些无方向音频源的目标增益值被设为50%。
在音频源当前被显示的情况中,则下一步是将增益系数阵列中除了用于与由相关联的视频参与者使用的显示器相邻的扬声器的混合器之外的目标值设为零;该混合器的增益被设为100%。这在块53中示出。换言之,用于仍然被显示的所有近来的活动讲话者的目标增益值为0%而用于正被显示的当前活动讲话者的目标增益值为100%。
一旦对控制被应用于输入到各个混合器的音频源的增益值的增益系数阵列设置了目标值,方法就前进到块54,在块54中,为每个混合器设置增益递增量。在此步骤中,每个混合器的增益递增量被设置为等于目标系数减去当前增益系数再除以N,N是等于递增次数的整数。例如,系统可以被配置为使得所有音频改变在跨越10次递增的时间中逐渐发生,每次递增具有相等的持续时间。因此,如果音频源的当前增益值为50%(两个扬声器时的无方向),则该混合器的增益递增量被设为5%。换言之,对于每次递增或迭代使该特定音频源的混合器的增益递增量5%,以便从当前状态转变到目标状态。对于相同的转变,另一音频源可能从100%转变为0%,在此情况中,该音频源的增益递增量被设为-10%。
一旦为每个混合器设置了增益递增量,则计数被清除(设置为=0),如块55所示。接下来,在判决块56中,系统询问当前的计数是否递增到等于N,N是用于转变的预定次数的迭代(块56)。如果是,则所有N次迭代已完成(例如,计数=10),并且转变方法被实现。然而,在本示例中,由于第一次通过循环,计数刚好被清除,因此,当前的计数等于零。这意味着对于此次迭代,处理前进到块57,其中,系统等待或暂停预定时间增量或时段(例如250ms)。在经过了预定时间段之后,将增益递增量加到每个混合器的当前增益系数中(块58)。然后将递增后的增益系数阵列载入混合器硬件中(块59),并且在返回判决块56之前计数被递增(块60)。
注意,当从大声的、被显示状态转变出来回到安静状态41时,某些实现方式可以使音频源(即,视频参与者的语音)变为瞬时无方向的,这是因为要确保该参与者音频源不再活动地讲话。
在另一实施例中,不是使未被显示的音频源成为完全无方向的,而是,遥现会议系统基于与音频源相对应的视频图像最有可能出现的显示屏来加权每个未被显示的音频源。例如,在具有两个显示屏(每个显示屏具有相关联的扬声器)的遥现会议地点处,一个显示屏通常显示当前活动讲话者的视频图像,而另一显示屏示出先前的或最近的活动讲话者。在这种情形中,系统可以预测性地对朝着当前示出了先前活动讲话者的显示器的未被显示的音频源进行加权。
换言之,视频子系统可以提供对如果参与者持续讲话达到超过了突发简短讲话阈值或界限(例如大于2秒)的时间段则未被显示的参与者(音频源)最可能出现的具体显示器的预测或指示。然后音频子系统预定向或偏置分别处于安静状态40和大声的、未被显示状态42中的音频源。例如,不是在两个扬声器之间非定向地均等(50%-50%)分割未被显示的音频源,而是,扬声器之一可以被预测性地加权,以使得特定的未被显示的音频源被输出为60%-40%,有利于一个扬声器超过另一个。
在上述实施例的变体中,视频子系统可以基于正转变到大声的、被显示状态43的另一音频源来预定向询问每个单独的音频流:视频系统是否将改变为另一显示器。即,系统针对每个音频源流询问下一显示器改变可能在哪儿发生。然而,不是为状态40和42中的所有音频提供完全定向的状态向量,而是提供部分定向。例如,如果期望处于安静状态40和大声的、未被显示状态42中的音频出现在地点1处的扬声器14c(参见图1)上,则如果它们转变到大声的、被显示状态43,系统就可以使用诸如25%-25%-50%之类的增益向量(分别用在扬声器14a、14b和14c间)。在这种实现方式中,当新的当前讲话者产生时,不存在音频的摆动。然而,每当视频源改变或切换显示器时,其余的未被显示音频源存在音频摆动。
图6图示出了示例网络设备或节点60(例如遥现会议服务器)的基本组件。节点60通常包括多个基本子系统,这些基本子系统包括处理器子系统61、主存储器62和输入/输出(I/O)子系统65。数据通过存储器总线63在主存储器(“系统存储器”)62和处理器子系统61之间传送,并且通过系统总线66在处理器与I/O子系统之间传送。系统总线的示例可以包括传统的快速数据传送(或超速传送)总线以及传统的外围组件互连(PCI)总线。节点60还可以包括耦合到系统总线66的用于执行其它功能的其它硬件单元/模块64。处理器子系统61可以包括一个或多个处理器以及控制器设备(结合了包括系统存储器控制器的一组功能),支持一个或多个系统总线和直接存储器访问(DMA)引擎。
应当明白,也可以以计算机程序产品的形式来提供本发明的元件,其可以包括存储有指令的机器可读介质,指令可以用来对计算机(例如,处理器或其它电子设备)编程以执行操作序列。替代地,操作可以由硬件和软件的组合来执行。机器可读介质可以包括但不限于软磁盘、光盘、CD-ROM以及磁光盘、ROM、RAM、EPROM、EEPROM、磁卡或光学卡、传播介质或者适合于存储电子指令的其它类型的介质/机器可读介质。例如,本发明的元件可以被下载为计算机程序产品,其中,程序可以经由通信链路(例如,调制解调器或网络连接)以体现在载波或其它传播介质中的数据信号的方式从远程计算机或电话设备被传送给作出请求的进程。
另外,虽然已结合具体实施例描述了本发明,然而,多种修改和变更也落在本发明的范围之内。因此,说明书和附图被认为是说明性的而非限制性的意思。

Claims (20)

1.一种设备,包括:
第一和第二视频显示器,用于显示遥现会议的远程参与者的图像;
第一和第二扬声器,分别与所述第一和第二视频显示器相关联;
第一和第二音频混合器,所述第一和第二音频混合器中的每个被耦合来接收从远程参与者输入的音频源,所述第一和第二音频混合器中的每个可操作来将增益系数应用于各音频源,所述第一和第二音频混合器可操作来产生分别去往所述第一和第二扬声器的第一和第二混合音频输出;以及
一个或多个处理器,用于实现有限状态机,所述有限状态机包括控制被所述第一和第二音频混合器中的每个应用于各音频源的增益系数的第一状态、第二状态和第三状态,在与基本无声或仅有背景噪声相对应的第一状态中,音频被抑制或者无方向性地被混合在所述第一和第二混合音频输出中;在与大声的、未被显示的参与者相对应的第二状态中,音频被无方向性地混合在所述第一和第二混合音频输出中;并且在与大声的、被显示的参与者相对应的第三状态中,音频取决于是第一视频还是第二视频显示了大声的、被显示的参与者的图像而相对于第一或第二混合音频输出有方向性地被混合。
2.如权利要求1所述的装置,还包括:用于通过响应于从第二状态转变为第三状态,将由所述第一和第二混合器的每个应用于各音频源的增益系数从当前值改变为目标值,来转变所述第一和第二混合音频输出的装置。
3.如权利要求2所述的设备,其中,所述装置还用于计算在N次迭代的每次迭代期间由所述第一和第二音频混合器的中每个应用于各音频源的增益递增量,其中,N是大于1的数。
4.如权利要求1所述的设备,其中,所述FSM还包括与来自仅音频的参与者的语音相对应的第四状态,在所述第四状态中,所述语音被无方向性地混合在所述第一和第二混合音频输出中。
5.如权利要求1所述的设备,其中,当远程参与者开始讲话时,与所述远程参与者相关联的音频源从所述第一状态转变为所述第二状态。
6.如权利要求1所述的设备,其中,当远程参与者停止讲话时,与所述远程参与者相关联的音频源从所述第二状态转变为所述第一状态。
7.如权利要求1所述的设备,其中,与远程参与者相关联的音频源响应于所述远程参与者讲话的持续时间超过预定时间而从所述第二状态转变到所述第三状态。
8.如权利要求1所述的设备,其中,当远程参与者的图像在第一或第二视频显示器上由另一图像取代时,与所述远程参与者相关联的音频源从所述第三状态转变为所述第一状态。
9.如权利要求1所述的设备,还包括:
第三视频显示器;
第三扬声器,所述第三扬声器与所述第三视频显示器相关联;以及
第三音频混合器,所述第三音频混合器被耦合来接收从远程参与者输入的音频源,所述第三音频混合器可操作来向每个音频源应用增益系数,并且产生到所述第三扬声器的第三混合音频输出;并且
其中,所述一个或多个处理器根据所述FSM来控制应用于被输入所述第三混合器的每个音频源的增益系数。
10.一种方法,包括:
设置从遥现会议的多个远程参与者接收到的每个音频源的目标值,增益系数阵列馈送给与扬声器相关联的混合器,所述扬声器与显示器相关联;
为每个音频源设置增益递增值,所述增益递增值等于所述目标值与当前增益系数之间的差值除以N,其中,N是表示递增次数的大于1的整数;并且
对于每个音频源,对于N次迭代中的每次迭代,将所述增益递增值添加到当前增益系数上,以产生被载入所述混合器的新的当前增益系数,使得在N次迭代之后,新的当前增益系数等于所述目标值。
11.如权利要求9所述的方法,还包括:在将所述增益递增值添加到所述当前增益系数之前等待一时间段。
12.如权利要求9所述的方法,还包括:将显示在所述显示器上的图像改变为另一远程参与者的图像。
13.如权利要求11所述的方法,其中,与所述另一远程参与者相关联的音频源的目标值为100%,或者相对于所述扬声器和所述显示器是完全定向的。
14.如权利要求11所述的方法,其中,未被显示在所述显示器上的音频源的目标值被设置为等于100%除以包括所述混合器、所述扬声器和所述显示器的遥现会议的地点处的混合器的数目。
15.如权利要求11所述的方法,其中,在远程参与者讲话持续时间大于预定时间段的情况中预测出与音频源相关联的远程参与者将被显示在所述显示器上时,未被显示在所述显示器上的所述音频源的目标值被设置为等于100%除以包括所述混合器、所述扬声器和所述显示器的遥现会议的地点处的混合器的数目再加上特定百分比。
16.一种被编码在一个或多个有形介质中供执行的逻辑,当被执行时可操作来:
设置从遥现会议的多个远程参与者接收到的每个音频源的目标值,增益系数阵列馈送给与扬声器相关联的混合器,所述扬声器与显示器相关联;
为每个音频源设置增益递增值,所述增益递增值等于所述目标值与当前增益系数之间的差值除以N,其中,N是表示递增次数的大于1的整数;并且
对于每个音频源,对于N次迭代中的每次迭代,将所述增益递增值添加到当前增益系数上,以产生被载入所述混合器的新的当前增益系数,在N次迭代之后,新的当前增益系数等于所述目标值。
17.如权利要求9所述的逻辑,其中,当被执行时,所述介质还可操作来在将所述增益递增值添加到所述当前增益系数之前等待一时间段。
18.如权利要求9所述的逻辑,其中,所述逻辑的执行是响应于另一远程参与者图像被显示器显示而触发的。
19.如权利要求1所述的逻辑,其中,与所述另一远程参与者图像相关联的音频源的目标值为100%,或者相对于所述扬声器和所述显示器是完全定向的。
20.如权利要求11所述的逻辑,其中,在所述音频源未被显示在所述显示器上的情况中,所述音频源的目标值被设置为等于100%除以包括所述混合器、所述扬声器和所述显示器的遥现会议的地点处的混合器的数目。
CN2008801087880A 2007-09-26 2008-09-22 用于多显示切换视频会议系统的音频方向性控制 Expired - Fee Related CN101809998B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/904,248 US8289362B2 (en) 2007-09-26 2007-09-26 Audio directionality control for a multi-display switched video conferencing system
US11/904,248 2007-09-26
PCT/US2008/077151 WO2009042530A1 (en) 2007-09-26 2008-09-22 Audio directionality control for a multi-display switched video conferencing system

Publications (2)

Publication Number Publication Date
CN101809998A true CN101809998A (zh) 2010-08-18
CN101809998B CN101809998B (zh) 2012-11-07

Family

ID=40153646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801087880A Expired - Fee Related CN101809998B (zh) 2007-09-26 2008-09-22 用于多显示切换视频会议系统的音频方向性控制

Country Status (4)

Country Link
US (1) US8289362B2 (zh)
EP (1) EP2198608A1 (zh)
CN (1) CN101809998B (zh)
WO (1) WO2009042530A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457700A (zh) * 2010-10-26 2012-05-16 中兴通讯股份有限公司 音频数据传输方法及系统
CN102655584A (zh) * 2011-03-04 2012-09-05 中兴通讯股份有限公司 一种远程呈现技术中媒体数据发送和播放的方法及系统
CN111641865A (zh) * 2020-05-25 2020-09-08 惠州视维新技术有限公司 音视频流的播放控制方法、电视设备及可读存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619963B2 (en) * 2009-11-06 2013-12-31 Freescale Semiconductor, Inc. Conference call system, method, and computer program product
CN101877643B (zh) * 2010-06-29 2014-12-10 中兴通讯股份有限公司 多点混音远景呈现方法、装置及系统
CN102547210B (zh) * 2010-12-24 2014-09-17 华为终端有限公司 级联会议中级联会场的处理方法、装置及系统
WO2012120540A1 (en) 2011-03-10 2012-09-13 Bansal Sanjay A dynamic telepresence system and method
CN102868873B (zh) 2011-07-08 2017-10-17 中兴通讯股份有限公司 一种远程呈现方法、终端和系统
US9338396B2 (en) * 2011-09-09 2016-05-10 Cisco Technology, Inc. System and method for affinity based switching
CN103050124B (zh) 2011-10-13 2016-03-30 华为终端有限公司 混音方法、装置及系统
EP2769541A1 (de) * 2011-10-18 2014-08-27 Unify GmbH & Co. KG Verfahren und vorrichtung zur bereitstellung von in einer konferenz erzeugten daten
US9117200B2 (en) 2013-01-10 2015-08-25 Westerngeco L.L.C. Methods and computing systems for geosciences and petro-technical collaboration
US9310970B2 (en) 2013-02-07 2016-04-12 Sanjay Bansal Graphical user interface (GUI) for a conference call
US9954909B2 (en) 2013-08-27 2018-04-24 Cisco Technology, Inc. System and associated methodology for enhancing communication sessions between multiple users
US8719032B1 (en) * 2013-12-11 2014-05-06 Jefferson Audio Video Systems, Inc. Methods for presenting speech blocks from a plurality of audio input data streams to a user in an interface
US10079994B2 (en) * 2016-11-18 2018-09-18 Facebook, Inc. Methods and systems for displaying relevant participants in a video communication
US10116898B2 (en) 2016-11-18 2018-10-30 Facebook, Inc. Interface for a video call

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729687A (en) * 1993-12-20 1998-03-17 Intel Corporation System for sending differences between joining meeting information and public meeting information between participants in computer conference upon comparing annotations of joining and public meeting information
US5483587A (en) * 1994-06-08 1996-01-09 Linkusa Corporation System and method for call conferencing
US5594732A (en) * 1995-03-03 1997-01-14 Intecom, Incorporated Bridging and signalling subsystems and methods for private and hybrid communications systems including multimedia systems
US5600366A (en) * 1995-03-22 1997-02-04 Npb Partners, Ltd. Methods and apparatus for digital advertisement insertion in video programming
US5673253A (en) * 1996-02-29 1997-09-30 Siemens Business Communication Systems Dynamic allocation of telecommunications resources
US6137834A (en) * 1996-05-29 2000-10-24 Sarnoff Corporation Method and apparatus for splicing compressed information streams
US6332153B1 (en) * 1996-07-31 2001-12-18 Vocaltec Communications Ltd. Apparatus and method for multi-station conferencing
US5917830A (en) * 1996-10-18 1999-06-29 General Instrument Corporation Splicing compressed packetized digital video streams
US5963217A (en) * 1996-11-18 1999-10-05 7Thstreet.Com, Inc. Network conference system using limited bandwidth to generate locally animated displays
KR100232164B1 (ko) * 1997-02-05 1999-12-01 구자홍 트랜스포트 스트림의 다중.분리장치
US6600733B2 (en) * 1997-02-06 2003-07-29 Verizon Laboratories Inc. System for interconnecting packet-switched and circuit-switched voice communications
FR2761562B1 (fr) * 1997-03-27 2004-08-27 France Telecom Systeme de visioconference
US6480667B1 (en) * 1997-12-23 2002-11-12 Intel Corporation Method of time shifting to simultaneously record and play a data stream
US6351474B1 (en) * 1998-01-14 2002-02-26 Skystream Networks Inc. Network distributed remultiplexer for video program bearing transport streams
US6236854B1 (en) * 1998-08-17 2001-05-22 Nortel Networks Limited Method and apparatus for controlling a conference call
US6608820B1 (en) * 1998-08-17 2003-08-19 Nortel Networks Ltd. Method and apparatus for controlling a conference call
US6141324A (en) * 1998-09-01 2000-10-31 Utah State University System and method for low latency communication
EP1116388A1 (en) 1998-09-25 2001-07-18 Soma Networks, Inc. Operating system for telecommunications
CA2264407A1 (en) * 1998-09-25 2000-03-25 Wireless System Technologies, Inc. Method and system for negotiating telecommunication resources
US6775247B1 (en) * 1999-03-22 2004-08-10 Siemens Information And Communication Networks, Inc. Reducing multipoint conferencing bandwidth
US6925068B1 (en) * 1999-05-21 2005-08-02 Wi-Lan, Inc. Method and apparatus for allocating bandwidth in a wireless communication system
US6675216B1 (en) * 1999-07-06 2004-01-06 Cisco Technolgy, Inc. Copy server for collaboration and electronic commerce
US6771644B1 (en) * 1999-09-17 2004-08-03 Lucent Technologies Inc. Program insertion in real time IP multicast
US6650652B1 (en) * 1999-10-12 2003-11-18 Cisco Technology, Inc. Optimizing queuing of voice packet flows in a network
US6771657B1 (en) * 1999-12-09 2004-08-03 General Instrument Corporation Non real-time delivery of MPEG-2 programs via an MPEG-2 transport stream
US6671262B1 (en) * 1999-12-30 2003-12-30 At&T Corp. Conference server for automatic x-way call port expansion feature
US6816469B1 (en) * 1999-12-30 2004-11-09 At&T Corp. IP conference call waiting
US6505169B1 (en) * 2000-01-26 2003-01-07 At&T Corp. Method for adaptive ad insertion in streaming multimedia content
US6876734B1 (en) * 2000-02-29 2005-04-05 Emeeting.Net, Inc. Internet-enabled conferencing system and method accommodating PSTN and IP traffic
JP2001320440A (ja) * 2000-05-02 2001-11-16 Sony Corp 通信装置及び方法
US6501739B1 (en) * 2000-05-25 2002-12-31 Remoteability, Inc. Participant-controlled conference calling system
US6865540B1 (en) * 2000-08-09 2005-03-08 Ingenio, Inc. Method and apparatus for providing group calls via the internet
US7007098B1 (en) * 2000-08-17 2006-02-28 Nortel Networks Limited Methods of controlling video signals in a video conference
US7844489B2 (en) * 2000-10-30 2010-11-30 Buyerleverage Buyer-driven targeting of purchasing entities
US20020087976A1 (en) * 2000-12-28 2002-07-04 Kaplan Marc P. System and method for distributing video with targeted advertising using switched communication networks
US6956828B2 (en) * 2000-12-29 2005-10-18 Nortel Networks Limited Apparatus and method for packet-based media communications
US6976055B1 (en) * 2001-01-18 2005-12-13 Cisco Technology, Inc. Apparatus and method for conducting a transfer of a conference call
US7003086B1 (en) * 2001-01-18 2006-02-21 Cisco Technology, Inc. Apparatus and method for allocating call resources during a conference call
US7272153B2 (en) * 2001-05-04 2007-09-18 Brooktree Broadband Holding, Inc. System and method for distributed processing of packet data containing audio information
US6937569B1 (en) * 2001-05-21 2005-08-30 Cisco Technology, Inc. Method and system for determining a relative position of a device on a network
AU2002314941A1 (en) * 2001-06-06 2002-12-16 Complete Tv, Llc Centralized aggregation of broadcast television programming and multi-market digital delivery thereof over interconnected terrestrial fiber optic networks
US6947417B2 (en) * 2001-06-29 2005-09-20 Ip Unity Method and system for providing media services
US20030025786A1 (en) * 2001-07-31 2003-02-06 Vtel Corporation Method and system for saving and applying a video address from a video conference
US8218829B2 (en) * 2001-08-20 2012-07-10 Polycom, Inc. System and method for using biometrics technology in conferencing
US20030059061A1 (en) * 2001-09-14 2003-03-27 Sony Corporation Audio input unit, audio input method and audio input and output unit
US7127487B1 (en) * 2001-10-15 2006-10-24 3Com Corporation System and method for sidebar functionality in a regular conference system
US7355971B2 (en) * 2001-10-22 2008-04-08 Intel Corporation Determining packet size in networking
US7379653B2 (en) * 2002-02-20 2008-05-27 The Directv Group, Inc. Audio-video synchronization for digital systems
US7292543B2 (en) * 2002-04-17 2007-11-06 Texas Instruments Incorporated Speaker tracking on a multi-core in a packet based conferencing system
US8411594B2 (en) * 2002-09-20 2013-04-02 Qualcomm Incorporated Communication manager for providing multimedia in a group communication network
EP1553735A1 (en) 2002-10-17 2005-07-13 Matsushita Electric Industrial Co., Ltd. Packet transmission/reception device
US6931113B2 (en) * 2002-11-08 2005-08-16 Verizon Services Corp. Facilitation of a conference call
EP1432196A1 (en) * 2002-12-20 2004-06-23 Matsushita Electric Industrial Co., Ltd. Control traffic compression method in media data transmission
JP3769752B2 (ja) * 2002-12-24 2006-04-26 ソニー株式会社 情報処理装置および情報処理方法、データ通信システム、並びに、プログラム
US6859012B2 (en) * 2003-02-21 2005-02-22 Thomson Licensing, S.A. Battery charging apparatus
US7010108B2 (en) * 2003-02-21 2006-03-07 Magicsoft Corporation Method for scheduling videoconferences
CN1531282A (zh) * 2003-03-12 2004-09-22 ���µ�����ҵ��ʽ���� 分组中继装置
US6959075B2 (en) * 2003-03-24 2005-10-25 Cisco Technology, Inc. Replay of conference audio
EP1623588B1 (en) * 2003-05-13 2011-06-29 TELEFONAKTIEBOLAGET LM ERICSSON (publ) Method of reducing connection set-up delay
EP1649706A4 (en) * 2003-07-18 2011-05-11 Kodiak Networks Inc PREMIUM VOICE SERVICES FOR WIRELESS COMMUNICATION SYSTEMS
US7460652B2 (en) * 2003-09-26 2008-12-02 At&T Intellectual Property I, L.P. VoiceXML and rule engine based switchboard for interactive voice response (IVR) services
US8659636B2 (en) * 2003-10-08 2014-02-25 Cisco Technology, Inc. System and method for performing distributed video conferencing
US7562375B2 (en) * 2003-10-10 2009-07-14 Microsoft Corporation Fast channel change
SE0302920D0 (sv) * 2003-11-03 2003-11-03 Ericsson Telefon Ab L M Improvements in or relating to group calls
US7084898B1 (en) * 2003-11-18 2006-08-01 Cisco Technology, Inc. System and method for providing video conferencing synchronization
JP2005184640A (ja) * 2003-12-22 2005-07-07 Fujitsu Ltd 情報配信装置及び情報配信方法
US20050259803A1 (en) * 2004-05-19 2005-11-24 Nokia Corporation Managing a conference session
US20060020995A1 (en) * 2004-07-20 2006-01-26 Comcast Cable Communications, Llc Fast channel change in digital media systems
US7667728B2 (en) * 2004-10-15 2010-02-23 Lifesize Communications, Inc. Video and audio conferencing system with spatial audio
US7612793B2 (en) * 2005-09-07 2009-11-03 Polycom, Inc. Spatially correlated audio in multipoint videoconferencing
US20070110029A1 (en) * 2005-11-12 2007-05-17 Motorola, Inc. Method for linking communication channels of disparate access technologies in a selective call unit

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457700A (zh) * 2010-10-26 2012-05-16 中兴通讯股份有限公司 音频数据传输方法及系统
CN102655584A (zh) * 2011-03-04 2012-09-05 中兴通讯股份有限公司 一种远程呈现技术中媒体数据发送和播放的方法及系统
US9363474B2 (en) 2011-03-04 2016-06-07 Zte Corporation Method and system for sending and playing media data in telepresence technology
US9532000B2 (en) 2011-03-04 2016-12-27 Xi'an Zte New Software Company Limited Method and system for sending and playing media data in telepresence technology
CN111641865A (zh) * 2020-05-25 2020-09-08 惠州视维新技术有限公司 音视频流的播放控制方法、电视设备及可读存储介质
CN111641865B (zh) * 2020-05-25 2023-03-24 惠州视维新技术有限公司 音视频流的播放控制方法、电视设备及可读存储介质

Also Published As

Publication number Publication date
WO2009042530A1 (en) 2009-04-02
EP2198608A1 (en) 2010-06-23
US20090079815A1 (en) 2009-03-26
CN101809998B (zh) 2012-11-07
US8289362B2 (en) 2012-10-16

Similar Documents

Publication Publication Date Title
CN101809998B (zh) 用于多显示切换视频会议系统的音频方向性控制
CN109788236B (zh) 音视频会议控制方法、装置、设备以及存储介质
US10335691B2 (en) System and method for managing audio and video channels for video game players and spectators
US8379076B2 (en) System and method for displaying a multipoint videoconference
US7707247B2 (en) System and method for displaying users in a visual conference between locations
US8760485B2 (en) System and method for displaying participants in a videoconference between locations
US7558224B1 (en) Management of packet-based audio devices within acoustic spaces
KR101149987B1 (ko) 실시간 멀티미디어 정보를 효율적으로 라우팅하는 방법 및시스템
EP2566194A1 (en) Method and device for processing audio in video communication
CN109565568B (zh) 对用户设备的用户界面进行控制的方法
US9485596B2 (en) Utilizing a smartphone during a public address system session
EP2119107A1 (en) Multipoint conference video switching
CN105610777A (zh) 远程直播方法和系统
CN105991963B (zh) 基于群组的多人音视频通信方法和装置
US9473645B2 (en) Audio quality in teleconferencing
WO2014177082A1 (zh) 一种视频会议中处理视频的方法及终端
CN113242173B (zh) 屏幕的分享方法、装置、系统和即时通讯服务器
JP2021525035A (ja) 複数のビデオ会議用端末を用いてビデオ会議を提供できるビデオ会議サーバ及びそのカメラ追跡方法
EP2207311A1 (en) Voice communication device
JP6668828B2 (ja) 会議システム
CN113726534A (zh) 会议控制方法、装置、电子设备及存储介质
WO2014026478A1 (zh) 一种视频会议信号处理的方法、视频会议服务器及系统
JP2000236330A (ja) クライアント・サーバ型デジタル音声会議システムの音声分配方法およびその装置
KR20180105594A (ko) 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법
RU2617680C1 (ru) Способ, устройство и система передачи мультиконтентных мультимедийных данных

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121107

Termination date: 20210922