CN1147143C

CN1147143C - 视频会议系统

Info

Publication number: CN1147143C
Application number: CNB988054620A
Authority: CN
Inventors: G・布赫纳; G·布赫纳; 伎怂; Y·马约克斯; 绽兹; C·维普利兹; ぶ炖安; J·－P·朱利安
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 1997-03-27
Filing date: 1998-03-26
Publication date: 2004-04-21
Anticipated expiration: 2018-03-26
Also published as: US6624841B1; FR2761562B1; CA2284884C; EP0970584B1; JP2001517395A; CA2284884A1; JP4885928B2; JP2009081861A; FR2761562A1; EP0970584A1; JP4699574B2; WO1998044734A1; DE69803168D1; DK0970584T3; CN1257631A; DE69803168T2; ES2171016T3

Abstract

本发明涉及位于不同场地与会者之间的视频会议系统，每一场地装备一个观看屏幕。根据本发明，观看屏幕为投影类型、高射投影类型或直接投射类型的大屏幕(10)，包括一个或多个形成一个图像壁的观看系统，以使同时在由所述屏幕(10)形成的图像壁上产生的一个空间内观看所有远处的与会者。所建议的系统包括为每一场地在空间分布声音的设备(100A，100K，Hi，Mj)，以匹配由每一远处的与会者发出的声音和在所考虑的场地的屏幕上投射的该与会者的图像。

Description

视频会议系统

技术领域

本发明涉及在位于远处、通常在外地的与会者之间的一个视频会议系统或者电信会议系统。

它适用于多点系统，亦即为产生在位于几个地点的与会者之间的视听链路而设计的系统。它还涉及点对点系统，亦即通过一条视听链路只连接两个地点的系统。它还适用于经由一个会议网关连接的可视电话(visiophones)。

背景技术

用于一给定地点的视频会议系统的设备安放在一个设施中，以下称为房间或演播室。在大多数场合，与会者围坐在一张会议桌前，面对一个显示屏。

今天，商用视频会议服务和系统提议一个有限音像质量的多点链路，这或者是由于质量信道限制(banks)(声音和图像恢复)，或者本质上是由于所用特定网络通带的限制而没有位速率的事实所致。

的确，会议系统根据处于点对点方式还是多点方式等几种配置连接到数字网络，主要是ISDN网络。

所以，在NUMERIS网络上为此种服务提供的位速率在128千位/秒和384千位/秒之间变化，前者用于下限范围会议服务，后者用于上限范围会议服务。

所用终端大体符合ITU标准，诸如所有H320标准。

在某些系统中，可能在某一时刻只看见远处的一个房间。这使用户很不方便，因为他们不能同时看见每一个人。手动或自动切换选择投射到屏幕上的房间。一般来说，这一房间发送最强的音频信号(声音切换)。会议网关也是这样，它根据声音的检测、亦即具有最活跃声音的房间切换图像。

遵守ITU标准、诸如标准320或H323或者其它标准的其它系统使用一个中心单元从所有多会议单元(MCU)接收图像，正如在标准H231和H243中规定的那样。这一单元通过共享给MCU传输的通带恢复图像，其次数和所发送的图像数目同样多。

这一点通过加密实现，其基本上以一个在40到50之间的压缩因子压缩连机位速率。这导致清晰度损失等于大约由每一房间(多点系统多达5个房间)所传输图像的四分之三。

图像的数字压缩可能为运动型JPEG(ISO标准)或MPEG1或MPEG2的以H261加密的H320类型，或者为以H263加密的H323类型。

在上述任一种中，发送的图像都可能以采取计算机文件的形式。

在所有情况下，都会削弱接收到的图像，不可能重现多点会议的效果。

对于更多的信息，请参考在文献WO 94 16517中说明的最新现有技术。

对于音频传输，使用加密系统或者G722类型或G711类型的位速率压缩，它不考虑话音信号的原始质量，无论是就带宽还是就加密质量自身。

发明内容

根据本发明的视频会议系统的目标是在若干远程场地之间提供最大数目与会者的视频会议，超过当今商用系统的限制。它给位于远处的与会者在屏幕上提供视图(以接近于1的比例)，使清楚感知行为的特征和方式，和使声音和图像匹配，这是由于根据成像条件在空间分布远处与会者的声音而实现的。

建议的系统甚至在多点配置下也连续地显示在远程场地的与会者。此外，该系统通过使用N个接近要拍摄的图像放置的(例如安放在屏幕窗口内的)视频摄像机使视差缺陷为最小，后面将会说明。它还能再现高保真声音。

更具体说，本发明提出一个在位于N个(N＞2)不同场地的与会者之间的视频会议系统，其包括在每一场地的观看屏幕、摄像机和图像再现设备以及声音记录和再现设备，在所述视频会议系统中：

-所述不同场地按照他们之间所建立的和由一个总配置所描述的对应关系连接在一起；

-观看屏幕是投影、高射投影或直接投影类型的大屏幕，包括一个或多个形成一个图像壁的观看系统，以便在由所述屏幕形成的图像壁上产生的一个空间内同时观看所有远处的与会者，

-声音记录和再现设备，包括在每一场地空间分布声音的设备，以匹配由每一位远处与会者发出的声音和在所考虑场地投影的该与会者的图像，

所述视频会议系统的特征在于：

-一给定场地接收由其它场地发布的图像和音频信号并根据建立的对应关系再现它们，并通过在两地之间进行话音交换实现同时观看和聆听其它场地和发言者，无缝地且不干扰其它与会者，因此每一场地包括：

-声音记录和再现设备，它包括：

-信号和数字化捕获单元；

-信号再现和模数变换单元；

-在所述场地的与会者面前放置的n个麦克风(M1…Mn);

-沿屏幕长度放置的p个扬声器(H1…Hp)，其中p正比于屏幕大小;

-包括位速率压缩设备的网络适配设备；

-回声控制设备；和

-匹配麦克风、由所述麦克风发布的信号和用于再现所述信号的扬声器的设备，包括存储建立所要求的对应关系的一个或多个配置的设备(110)。

远处与会者的图像以接近于1的比例显示在演播室屏幕上；该比例取决于屏幕和与会者围坐的桌子之间的距离。例如，这导致一个近似为5×2m的标准大小的屏幕来观看4个在每一房间约有4人的远处的房间。

该视频会议系统包括一个或多个摄像机(CA1)、(CA2)和声音记录系统(麦克风或声学天线)。声音记录数据与一个或另一个摄像机匹配，这取决于所传输的视频信号来自摄像机(CA1)还是摄像机(CA2)。

更具体说，这一匹配提供一种“主观叠加”(subjectiveoverlay)，声音源接近关联的图像(沿图像的轴线)。

根据本发明另一特征，声音记录和再现设备包括：

-信号捕获和数字化单元，

-信号再现和模数变换单元；

-在所述场地的与会者面前分布的n个麦克风；

-沿屏幕长度分布的p个扬声器，其中p正比于屏幕大小；

-在一个或多个麦克风、从所述麦克风发出的信号和用于再现所述信号的外地扬声器之间的匹配单元，

-装备有位速率衰减的网络适配设备；

-回声控制设备。

声音在空间分布，以便使声音与视觉图像匹配。这种布局不仅强烈增强电信会议效果，同时能使在两个远处的房间中并行进行若干对话；对话的监视通过系统能够注意于某人希望听的人员而简化，就像在正常的会议中一样。

在麦克风、来自所述麦克风的信号和用于再现所述信号的远程场地的扬声器之间建立对话的设备通过编程希望的配置而操作。这种编程可能涉及存储一个或者多个预先确定的配置。

根据另一特征，图像记录器包括为每一场地的q个摄像机，这一数目优选超过或等于2。这些摄像机放置在所述场地与会者面前，使其位于在屏幕上显示各个外地与会者的不同区域或接近这些区域。在实际中，这些摄像机可以位于在屏幕的下面、顶部或周围。

因此，每一房间可以包括几个摄像机，它们以不同角度拍摄与会者。传输到某场地的图像是由位于接近为该场地投射的图像的摄像机记录的图像。这使得可能够减小视差缺陷，区别视点和根据他/她在该场地和在总配置中的位置重新建立每一与会者的位置。

在几个图像沿屏幕宽度并置的点对点配置中，每一图像提供该设施的部分视图。这使得容易知道在屏幕上谁在看谁，从而跟踪会议动态。

在实际中，摄像机放置在屏幕10上投影的图像的下面。

在具有两个相连图像(一个在另一个的旁边)的配置中，摄像机重新排列和放置在距屏幕中心一定距离处，相应于该图像宽度的约三分之一，亦即屏幕总宽度的六分之一。这样的重排列使由两个摄像机拍摄的两个图像在边缘处的重叠的问题为最小。

多个场地在点对点或多点配置中通过一个高位速率网络或者通过一个中央MCU单元(视频会议网关)连接在一起。

附图说明

本发明的其它特征和优点在阅读这里的说明书时会显现。本说明书参考附图以非穷举的解释给出，附图中：

图1和图2原理说明本发明解决的远程会议问题，

图3表示本发明的原理图，

图4表示在一个演播室中的设备的实施例的图，

图5是相应于在3个演播室之间有一条会议链路的场合下的一个特定实施例的图，

图6是相应于在两个演播室之间有一条链路的场合下的一个特定

实施例的图，

图7到图9表示形成大屏幕上图像壁的不同“屏幕图像”的一个例子，

图10到13表示在演播室设备或视频话音终端之间根据本发明在不同网络配置中的不同连接方式，

具体实施方式

为说明实现远程会议效果的一种方法，图1表示出类似真实生活中的会议形象。

假定有12个人围坐在一张虚拟的圆桌前。一个与会者可以通过一个窗口看到一相邻组的另外4个人，并且通过开发表面，可以假定该与会者可以在一个平面或几乎纯平的屏幕上看见这4个人。因此他将在两个特别是以平面结构的屏幕上看见两个不同演播室中以4人为一组的其它8个人。作为一般规则，虚拟桌不是圆形，而是纵长放置的，与会者小组分坐在两边。因此，人E将看见A在他/她的右边，而F在他/她的左边，所有出席的个人连续相邻排列。

图2表示的屏幕稍微弯曲，以产生加入(immersion)结构。

这一环境通过近似与会者之间转动和彼此观察的眼的动作特别能够重现与会者之间交换的对视。例如，A可以观察E，而任何其它人将以一个A的主观近似视角看见A在看F。

图3的草图表示根据本发明的远程会议系统的原理图。

当然，其它选择也是可能的，例如与会者的位置(坐着或站着，围着桌子或不围着桌子)，摄像机的位置和扬声器的位置可以有多种，使得可能获得声音/空间分布和模拟所有与会者全都加入的图像壁。

场地A经由一个高位速率网络连接到其它场地B...K。用于这些场地的不同的连接选择将在后面的图10到13中详述。例如通过把若干SO接入点分组而使用ISDN(综合业务数字网)。还可以使用信息高速公路，因特网或HDSL接入设备。这种网络与通带超过7KHz的模拟声音信号不会不兼容，只要使用保持原来质量的位速率压缩系统。它提供等价于由数字紧致式光盘(CD)提供的高的声音质量。

所用传输网络是异步传输方式网络(ATM)或者另外的数字或模拟类型的高位速率网络。所有图像都可以以高吞吐量传输到不同场地，不需要在加密期间增加压缩因子。

例如，取决于所用网络类型，加密图像在384千位/秒(在Numeris网络上) 到2兆位/秒之间传输。

视频会议由单元100A...100K控制或遥控，它们通过网络R对话，以遵守在与会者、声音图像和视觉图像之间建立的对应(correspondence)。换句话说，如果尚未预先定义配置，则控制单元连同传输的信号一起发送该配置的说明，否则发送从为所有场地已经定义的几种配置中选择的配置方式的说明。它们能按照希望的配置管理所有演播室设备。在可能的会议配置之中，点对点链路或者在3、4、5或更多场地之间的多点链路是可能的选择。

在实际中，配置涉及对在某一场地的一个与会者P1 (A)、拾取与会者对话的声音记录系统(或多个)M1(麦克风或声学天线)、拍摄他/她的摄像机CA1之间链路的说明，以便使在场地B处的图像IP1(A)与再现由麦克风(或多个)M1提供的声音的扬声器(或多个)H1匹配。

为此目的，场地A包括n个麦克风，p个扬声器和q个摄像机。对一个给定场地，扬声器的数目与屏幕大小成比例(与该屏幕的宽度或与其表面)。

对于围坐在桌子周围的与会者，在给定场地的会议桌前安置一个大屏幕10，(每一场地的)屏幕图像都投射在该屏幕上，使得远处的与会者和在该场地的与会者处于同一水平，从而产生一张虚拟桌。

当与会者P1(A)对与会者P1(B)说话时，场地A的摄像机CA1的图像被发射到其它场地B到K。此外，场地B的摄像机CA1的图像被发送到场地A、C到K。如果在其它场地无人发言，则摄制这些场地的摄像机不反应，尽管还是发送所有与会者的图像。

摄像机的图像由位于各场地处的控制单元100A...100K控制，或由一个监控场地遥控。

在声音记录方式和必须记录图像的摄像机之间的伺服控制由熟悉本技术领域的人所公知的控制程序保证。该程序由单元100A...100K实现，以便获得这样的图像，它们一旦被投射在屏幕上便产生所涉及的人确实正在看另一个人的印象。

在实际中，这一效果可以只用两个摄像机产生。

由网络传输的图像被每一场地接收，并由视频单元300处理，以便被并列和/或重迭投射到屏幕上。然而，所有接收的图像被投射到每一场地的屏幕10上，所述屏幕形成一个图像壁。

在点对点系统的特例下，投射到每一屏幕上的图像相应于单一房间。这一配置有可能加强图像质量。为此目的，建议传输两个图像，各分别由一个摄像机拍摄。每一摄像机记录该设施的部分图像。在实际上，一个摄像机拍摄场面的一半，而另一摄像机拍摄另一半。

图像的并置由处理单元100A和100B控制，它们根据由这两个摄像机发送的信号控制视频处理单元在屏幕上投射单幅图像。图像的级连在本质上是传统类型的图像处理。

图4更完整地表示作为系统部件的处理和控制单元。这又是在每一演播室有两台摄像机的另一个例子。

对于视频部分：

第一摄像机CA1连接到视频编码器303，而视频解码单元304连接到初始投影仪PR1。解码单元包括一个或者多个解码器，使得每一个解码器解码来自该场地的视频信号。在下面的说明中，将讲述解码器304，因为可适用于一组解码器。

编码器和解码器连接到网络R的视频信号适配和传输接口301。例如，所述接口是用于ATM网络传输的AAL1接口(适配层)。

上述接口连接到一个物理支持接口400。

例如，控制单元100A根据该视频会议配置经由本地网络RL分别为编码器、解码器和适配接口301发送控制信号CD1、DC1、IV1。

相似地，第二摄像机CA2连接到编码器305，编码器305自身连接到网络的一个传输适配接口302。解码器306连接到第二投影仪PR2和接口302。接口302连接到物理支持接口400。

控制单元根据该配置分别为编码器、解码器和适配接口发送控制信号CD2、DC2、IV2。

可以把一个视频编码器在功能上连接到几个解码器，此种技术不属于本发明的范围。

然后可以把一个场地的第三摄像机连接到编码器303或305之一，并发送优先考虑的某特定人的图像。这一摄像机的图像将由该摄像机连接的编码器加密，并传输到所有其它场地。然后所有其它场地必须在解码器单元303或306中装备一个附加的解码器，以处理由该摄像机提交的视频信号，并投射该拍摄的图象到与这种图像关联的场地的屏幕10上。

投影仪可以是视频投影仪，也可以是液晶高射投影仪(lquidcrystal overhead projector)。只要使用等离子屏幕的话，可以直接投射。

对于音频部分：

n个麦克风连接到一个信号捕获单元201，它把信号数字化。该单元201的输出加在衰减单元207的输入以控制回声。衰减单元的输出加在位速率缩减器编码器的输入用于由单元100A控制的音频信号202。编码器202还执行麦克风信号的阵列化，以与网络上可用的用于音频传输的通道数目一致。为此目的，编码器接收配置控制信号CA。音频适配编码器202连接到网络R的传输适配接口204，其是ATM网络的AAL5接口。该接口连接到物理支持接口400。

接口204能在网络上发布加密的音频信号和接收由其它场地发布的加密的音频信号。接收的信号由接口204处理并加在一个解码单元和音频信号解阵列单元203上。

由解码和解阵列单元203提交的信号经由一个音频信号再现和模数变换单元205施加在希望的一个(或多个)扬声器上。该单元205设计用于发送接收到的需要的信号到几个适当的扬声器。

在配置被编程且被存储在控制单元的存储器110中的场合，单元100A将在其存储器表中包含有关信息，指示解码器的输出S1正在提交信号，该信号由麦克风M1或包括场地B的M1的一系列麦克风拾取，以及该输出随后必须被传送到扬声器Hn或包括H1的一系列扬声器，以产生发言的与会者的一个特写镜头。

选择捕获系统(麦克风和单元)205要注意话音信号通带，并以7KHz的频带(对质量而言是该系统的下限)操作。同样选择加密系统以注意这一原始质量，同时选择位速率缩减算法，如MPEG1或MPEG2标准所说明的。还选择捕获系统以提供一个好的信噪比。

在点对点配置的两个房间的场合，一个可能的配置包括6个声音通道，亦即为每一个麦克风一个通道。在3个房间的场合，在每一场地有2×3个声音通道。对于场地A，3个通道提供A和B之间的音频链路，而另外3个提供A和C之间(类似地为B和C之间)的音频链路。

以最低可能的时间位移(约100毫秒)传输图像和声音，结合视频图像的质量和大小，它将允许聋人对外地发言人进行唇读。

此外，音频设备包括一个回声控制电路206，其通过本质上是标准处理的可变衰减单元207用作对麦克风信号的一个增益变换器。所述电路连接到单元201的输出端和单元205的输入端。

图5表示上述的一个可能配置。这是在3个场地A、B和C之间的视频配置。

所述图通过强调该配置在不同场地之间提供的直接链路而忽略传输网络而加以简化。

从3个场地A、B和C来说明这一配置。

每一场地A和B各有两个摄像机CA1和CA2，它们以不同角度在同一场地拍摄。

根据这一配置，为编码器和解码器提供点对点链路。

摄像机CA1连接到场地A的编码器303。该编码器连接到解码器304，后者连接到提供屏幕图像E1(A)(来自场地A的摄像机CA1的图像)的投影仪。

场地B的编码器303连接到场地B的摄像机CA1。由解码器提供的信号由场地A的解码器304解密以供应屏幕图像E1(B)(来自场地B的摄像机CA1的图像)。

在演播室C，安装了标号为CA1的单一摄像机。该摄像机连接到两个编码器304(A2)和304(B2)。编码器304(A2)连接到场地A与屏幕图像E1(C)关联的解码器306，而编码器304(B2)连接到场地B与屏幕图像EI(C)关联的解码器306。

相反，场地C的解码器306连接到场地A的摄像机CA2的信号编码器305，另一个连接到场地B的摄像机CA2的信号编码器305，以分别在场地C显示场地A的屏幕图像亦即E2(A)，和场地B的屏幕图像亦即E2(B)。

根据这一配置，音频处理单元也是双份的，以便与每场地的一个音频单元202、203、205连接。

图6表示在场地A和场地B之间的点对点链路。在这一场合，每一摄像机CA1、CA2捕获该场地的部分视野。

在传输6个音频信号(6个麦克风)的场合，在每一场地的3个通道上使用两个编码器-解码器。

图7到9分别表示在场地A、B和C投射的屏幕图像。在场地A(图7)，屏幕图像E(4，3，2，1)提供从各个终端产生的视图，而屏幕图像E(C，B)提供在场地C和B叠加的视图。

图8表示在场地B的视图结构，而图9表示场地C的视图结构。

图10到13表示在这些场地之间可能的链路的例子。

图10表示经由ATM网络或一条专线连接的4个演播室。

图11表示经由一个中心MCU单元(视频会议网关)提供的连接。

图12表示混合网络连线和一个MCU设备，亦即一个商用视频会议网关并包括一个设备，以压缩演播室1、2和3的音频信号，因为具有直接链路和通过这种硬件连接的场地会受由该直接网络链路和MCU连接提交的信号的叠加和时间偏移的不利影响。

图13表示经由不同类型网络诸如Numeris、ATM和专线的连接。

Claims

1.一个在位于N个(N＞2)不同场地的与会者之间的视频会议系统，其包括在每一场地的观看屏幕、摄像机和图像再现设备以及声音记录和再现设备，在所述视频会议系统中：

-观看屏幕是投影、高射投影或直接投影类型的大屏幕(10)，包括一个或多个形成一个图像壁的观看系统，以便在由所述屏幕(10)形成的图像壁上产生的一个空间内同时观看所有远处的与会者，

-声音记录和再现设备，包括在每一场地空间分布声音的设备(100A…100K，H1…Hp，M1…Mn)，以匹配由每一位远处与会者发出的声音和在所考虑场地投影的该与会者的图像，

所述视频会议系统的特征在于：

-声音记录和再现设备，它包括：

-信号和数字化捕获单元(201)；

-信号再现和模数变换单元(205)；

-在所述场地的与会者面前放置的n个麦克风(M1…Mn)；

-沿屏幕长度放置的p个扬声器(H1…Hp)，其中p正比于屏幕大小；

-包括位速率压缩设备的网络适配设备；

-回声控制设备；和

2.根据权利要求1的视频会议系统，其特征在于，形成图像壁的屏幕(10)的大小如此选择，使得能够显示所有场地的图像，而所显示的与会者的比例接近1。

3.根据权利要求1的视频会议系统，其特征在于，拍摄单元包括一个第一摄像机(CA1)和一个第二摄像机(CA2)，以及在于记录的声音与所述摄像机的一个或另一个关联，这取决于所传输的视频信号来自所述摄像机(CA1，CA2)中的哪一个。

4.根据权利要求1的视频会议系统，其中，声音记录设备包括几个麦克风、音频信号捕获设备以及用于所述信号加密和矩阵化的设备。

5.根据权利要求1的视频会议系统，其特征在于，声音再现设备包括对音频信号解码和解矩阵化的设备(203)，再现音频信号的设备和几个扬声器。

6.根据前述权利要求中任何一个权利要求的视频会议系统，其特征在于，对于每一场地每一拍摄单元包括q个摄像机，它们放置在所述场地与会者面前，使得每一个摄像机拍摄显示在屏幕不同部分的不同组的外地与会者。

7.根据权利要求6的视频会议系统，其特征在于，在N个场地之间召开视频会议，每一场地的摄像机数q大于或等于2，以再现图像透视效果。

8.根据权利要求1的视频会议系统，其特征在于，使用几个摄像机拍摄，所述的摄像机(CA1，CA2)放置在投射的图像下面。

9.根据权利要求1的视频会议系统，其特征在于，所述系统还包括若干阴极射线设备、或液晶视频、或高射投影仪(PR1，PR2)，用于以接近1的比例再现图像。

10.根据权利要求1的视频会议系统，其特征在于，所述系统包括用于每一场地的图像处理设备，能够并置或叠加从外场地接收的图像，以使所有图像能在屏幕(10)上显示。

11.根据权利要求1的视频会议系统，其中，场地经由不同的高位速率传输网络(R)直接连接，或经由一个视频会议网关或经由一个网络和视频会议网关间接连接。

12.根据权利要求1的视频会议系统，其特征在于，处理设备包括：

-处理和控制单元(100A…，100K)，

-由处理单元控制的视频编码器、解码器(303-306)和音频编码器、解码器，和

-用于所述网络的传输适配接口(301，302，204)。

13.根据权利要求12的视频会议系统，其特征在于，所述网络是一个ATM类型的传输网络，还在于音像信号的传输接口是AAL1类型的接口，以及在处理单元之间用于视频会议的控制信号的传输接口是AAL5类型接口。