CN103004187A - 多地点绘制图像共享装置、多地点绘制图像共享系统、由多地点绘制图像共享装置执行的方法、程序和记录介质 - Google Patents

多地点绘制图像共享装置、多地点绘制图像共享系统、由多地点绘制图像共享装置执行的方法、程序和记录介质 Download PDF

Info

Publication number
CN103004187A
CN103004187A CN2011800351322A CN201180035132A CN103004187A CN 103004187 A CN103004187 A CN 103004187A CN 2011800351322 A CN2011800351322 A CN 2011800351322A CN 201180035132 A CN201180035132 A CN 201180035132A CN 103004187 A CN103004187 A CN 103004187A
Authority
CN
China
Prior art keywords
image
place
sharing means
many places
composograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800351322A
Other languages
English (en)
Inventor
糟谷勇儿
荒木祯史
大村庆二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN103004187A publication Critical patent/CN103004187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • H04M7/0024Services and arrangements where telephone services are combined with data services
    • H04M7/0027Collaboration services where a computer is used for data transfer and the telephone is used for telephonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/42Systems for two-way working, e.g. conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/001Sharing resources, e.g. processing power or memory, with a connected apparatus or enhancing the capability of the still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0013Arrangements for the control of the connected apparatus by the still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0037Topological details of the connection
    • H04N2201/0039Connection via a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074Arrangements for the control of a still picture apparatus by the connected apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04Scanning arrangements
    • H04N2201/0402Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0438Scanning displays; Scanning large surfaces, e.g. projection screens, writing boards

Abstract

公开了一种多地点绘制图像共享装置,其使得在多个地点处提供的绘制对象之间共享绘制在绘制对象上的图像。该装置包括:图像存储单元,其被配置为存储在各个地点绘制的图像;图像合成单元,其被配置为以不包括在发送目的地处绘制的图像的方式叠加和合成存储在图像存储单元中的图像;和图像发送单元,其被配置为发送由图像合成单元合成的图像到各个地点。

Description

多地点绘制图像共享装置、多地点绘制图像共享系统、由多地点绘制图像共享装置执行的方法、程序和记录介质
技术领域
本发明涉及一种使得在多个地点之间共享在作为绘制对象的白板等上绘制的绘制图像的多地点绘制图像共享设备、多地点绘制图像共享系统、由多地点绘制图像共享装置执行的方法、程序和记录介质。
背景技术
在近年来直到目前,由于例如公司活动的全球化和多地点间的合作业务的增加,电话会议、视频电话会议等变得普及。因为电话会议主要基于音频信号举行,从记录和理解的观点看他们有时候是不足的。此外,因为信息能够实时完美地传达,视频电话会议变得流行。然而,他们导致了需要专用硬件设备、安装成本可能变高、和在各个地点处难以安排显示屏上的图像的问题。此外,为了同时将多个地点彼此链接,导致了忍受建立视频会议系统的成本的问题。
专利文件1公开了远程会议支持系统,其用于当会议在远程会议室举行时,在其他方的白板上显示绘制在各个会议室的白板上的会议信息。为此,远程会议支持系统被配置为具有被安装在每个远程位置并且投影投影图像的两台投影仪,并且具有向这两台投影仪发送应投影的原始图像的服务器。这两台投影仪中的每一台具有图像拾取单元,其拾取绘制在投影图像被投影到其上的屏幕上的绘制图像,这两台投影仪中的每一台具有发送单元,其把图像拾取单元拾取的绘制图像发送到服务器。服务器具有:合成单元,其把从这两台投影仪之一接收到的绘制图像与原始图像合成;以及传递单元,其把合成单元合成的图像发送到这两台投影仪中的另一台。
然而,如果远程会议支持系统被用在多个远程位置处,即,如果其被用在多个地点处,需要发送与接收图像的地点的数量相对应的图像,从而导致每个地点处的处理负荷增加的问题。此外,在这种情况中,每个地点需要具有可适应于多个地点的专用单元。
如上所述,在传统技术中出现了需要可适应于多个地点的专用单元来在多个地点之间共享绘制在作为绘制对象的白板上的绘制图像以及在多个地点中的每个地点处的处理负荷增加的问题。
专利文件1:JP-A-2005-203886
发明内容
鉴于以上问题而做成了本发明,且本发明可具有提供多地点绘制图像共享装置的目的,该装置可以使得共享在多个地点绘制的绘制图像而不增加每个地点的处理负荷,并且促进绘制图像的共享。本发明还可具有提供多地点绘制图像共享系统、由多地点绘制图像共享装置执行的方法、程序和记录介质的目的。
根据本发明的一方面,提供了一种多地点绘制图像共享装置,其使得在多个地点处提供的绘制对象之间共享绘制在绘制对象上的图像。该装置包括:图像存储单元,其被配置为存储在各个地点绘制的图像;图像合成单元,其被配置为以不包括在发送目的地处绘制的图像的方式叠加和合成存储在图像存储单元中的图像;和图像发送单元,其被配置为发送由图像合成单元合成的图像到各个地点。
根据本发明的另一方面,提供了一种多地点绘制图像共享系统,其具有使得在多个地点处提供的绘制对象之间共享绘制在绘制对象上的图像的多地点绘制图像共享装置,并且具有从绘制在绘制对象上的图像中仅提取绘制在本地点(own site)处的信息的客户端。多地点绘制图像共享装置包括:图像存储单元,其被配置为存储在各个地点处绘制的图像;图像合成单元,其被配置为以不包括在发送目的地处绘制的图像的方式叠加和合成存储在图像存储单元中的图像;和图像发送单元,其被配置为发送由图像合成单元合成的图像到各个地点。
根据本发明的再一方面,提供了一种由多地点绘制图像共享装置执行的方法,该多地点绘制图像共享装置使得共享在两个或多个远程地点处绘制的绘制图像。该方法包括:存储在各个地点处绘制的图像;以不包括在发送目的地处绘制的图像的方式叠加和合成所存储的图像;和发送合成图像到各个地点。
附图说明
图1是示出根据本发明的多地点绘制图像共享系统100的第一实施例的视图;
图2是示出根据实施例的多地点绘制图像共享装置200的功能块;
图3是根据实施例的由多地点绘制图像共享装置200执行的处理的流程图;
图4为在实施例中使用的根据第一合成方法的图像处理的示意图;
图5为在实施例中使用的根据第二合成方法的图像处理的示意图;
图6为根据实施例的多地点绘制图像共享装置200累积从各个地点发送的本地点图像的处理的流程图;
图7为在使用根据实施例的第一合成方法的情况下,由多地点绘制图像共享装置200执行的处理的流程图;和
图8为在使用根据实施例的第二合成方法的情况下,由多地点绘制图像共享装置200执行的处理的流程图。
具体实施方式
以下描述本发明的实施例,但本发明不仅限于该实施例。图1示出了根据本发明的多地点绘制图像共享系统100(以下简称装置100)的第一实施例。在图1所示的实施例中,系统100使得在地点1、2和3之间共享绘制在充当绘制对象的白板110、120和140上的图像。注意地点的数量是没有限制的。
在地点1安装了:白板110;可视化设备112,其将从地点2和3发送的图像投影到白板110以便被显示;和拍摄设备114,其作为整体而捕捉白板110的图像。在图1中,在显示在地点1的白板110上的图像中,“A”为在地点1处绘制的图像,“B”和“C”分别为在地点2和3处绘制的图像。在地点1,作为由可视化设备112显示的显示图像而提供这些图像。在实施例中,可视化设备112由将图像数据投影到白板上以便可视化的投影仪实现。然而,可视化设备112可以以如下方式配置,该方式即:通过赋予白板的显示功能,显示通过合成其他地点的图像生成的显示图像。
在地点1,还安装了信息处理装置,如个人计算机116(以下称为PC116)。PC116控制可视化设备112进行的投影、拍摄设备114(如摄影设备和数字摄像机)进行的要与其他地点共享的图像的捕捉、在地点1绘制的图像向地点2和3的发送等。
在实施例中,PC116作为关于服务器113的客户端。PC116从捕捉的白板110的图像中获取在地点1绘制的地点1的图像,并发送该图像到通过网络118连接的服务器130。此外,PC116从服务器130接收由除地点1以外的其他地点的图像组成的显示图像,并使得可视化设备112投影该显示图像。
拍摄设备114可由数字相机、摄影机等实现。拍摄设备114以例如JPEG格式、MOVINGJPEG格式或H.264格式获取白板110的图像作为运动图像,并依序将图像文件发送到PC116。白板110、120和140在其四角等具有标记,以便共享要在远程地点之间共享的图像的相对大小。标记被用来当可视化设备112、可视化设备122和可视化设备142投影图像时进行对准,并且手动或自动地在远程地点之间对应白板110、120和140的大小差异等。
地点2和地点3具有与以上描述的地点1的硬件布置相似的硬件布置。安装在地点2的可视化设备122将地点1和地点3的图像投影到白板120上,拍摄设备124捕捉白板120的图像,并发送该图像到PC126。PC126获取包括在地点2绘制的图像“B”的地点2的图像,并通过网络128发送该图像到服务器130。
安装在地点3的可视化单元142将地点1和地点2的图像投影到白板140上,拍摄设备144捕捉白板140的图像,并发送该图像到PC146。PC146获取包括在地点3绘制的图像“C”的地点3的图像,并通过网络148发送地点3的图像到服务器130以便在地点1和地点2处投影。
在地点1,被发送到服务器130的、分别在地点2和3绘制的图像“B”和“C”通过投影仪112而作为显示图像被投影到其上绘制了本地点1的图像“A”的白板110上。因此,图像“A”、“B”和“C”作为叠加图像被显示在白板110上。
此外,在地点2,分别在地点1和3绘制的图像“A”和“C”通过投影仪122而作为显示图像被投影到其上绘制了本地地点2的图像“B”的白板120上。因此,图像“A”、“B”和“C”作为叠加图像被显示在白板120上。此外,在地点3,分别在地点1和2绘制的图像“A”和“B”通过投影仪142而作为显示图像被投影到其上绘制了本地点3的图像“C”的白板140上。因此,图像“A”、“B”和“C”作为叠加图像被显示在白板140上。从而,在图1中示出了在地点1、2和3之间共享相同的图像。
在图1所示的实施例中,服务器130管理用于识别当前连接的PC116、126和146的客户端列表以便执行多地点图像共享。为了使得在登记于客户端列表中的PC116、126和146之间或在更多的PC之间共享图像,服务器130执行图像处理来生成要被显示在各个地点的显示图像。注意,在接下来的实施例中,通过服务器130从其他地点发送并以由可视化单元投影的方式的图像被称为显示图像。此外,由拍摄设备114等拍摄的图像被称为共享区域的图像。此外,在共享区域的图像之间的差图像(difference image)和显示图像被称为本地点图像。此外,每个地点执行提取本地点图像的处理,并接着发送该图像到服务器130。提取本地点图像的处理能够通过在专利文件1中描述的技术等实现。
服务器130能够具有基于CISC架构的微处理器,如PENTIUM(TM)、XEON(TM)、CELERON(TM)、CORE2DUO(TM)和PENTIUM(TM)兼容芯片,或基于RISC架构的微处理器,如单核形式或多核形式的POWERPC(TM)。此外,服务器130被操作系统(如WINDOWS(TM)200X、UNIX(TM)和LINUX(TM))控制,并使用以编程语言(如C、C++、JAVA(TM)、Perl和Ruby)编写的服务器程序(如CGI、servlet、APACHE和IIS(因特网信息服务器))生成显示图像。
PC116、126和146可以是个人计算机或工作站,并且它们的微处理器(MPU)可包括任何已知的单核处理器或多核处理器。此外,PC116、126和146可由任何已知的操作系统控制,所述操作系统例如为WINDOWS(TM),UNIX(TM),LINUX(TM),和MAC OS。此外,为了访问服务器130,PC116、126和146可具有浏览器软件,如Internet Explorer(TM)、Mozilla(TM)、Opera(TM)和FireFox(TM),或者可被安装为基于遗传(legacy)配置的客户端-服务器系统。在图1所示的实施例中,PC被安装为客户端-服务器系统,并且服务器130通过参照自己管理的客户端列表依序单播为每个地点生成的显示图像而使共享图像成为可能。
图2示出了根据实施例的多地点绘制图像共享装置200的功能块。注意,在图2中,为方便起见,通过使用服务器130的硬件资源执行软件,使服务器130充当多地点绘制图像共享装置200。服务器130通过网络与诸如PC116、126和146的客户端交互地通信,以发送显示图像到客户端并从客户端接收本地点图像。
多地点绘制图像共享装置200被配置为包括用于建立网络连接的网络接口210、图像队列212和图像合成单元216。网络接口210是通过网络118、128和148(例如因特网和局域网)从客户端116、126和146接收图像和向客户端116、126和146发送图像的单元。图像队列212是图像存储单元,其确保对应于在客户端列表222中登记的客户端的数量的存储器区域,例如图像RAM,并在分配给各个客户端的存储器区域中寄存(register)通过网络发送的客户端的本地点图像。注意在实施例中,客户端列表222可以用客户端的IP地址、句柄名(handle name)等来准备,并且可以用诸如发出图像共享请求的PC的IP报头的信息来依序生成。
临时存储在图像队列212的各个图像被移动到最新图像缓冲器218中以便用于处理,在该处理中,图像合成单元216生成将被发送到各个客户端的显示图像。图像合成单元216从最新图像缓冲器218中读取各个地点的本地点图像,整合这些图像以生成被客户端用作显示图像的合成图像,并在被确保以便与客户端相关联的显示图像缓冲器220中存储该合成图像。
本质上可以以如下方式生成合成图像,该方式是对从各个地点发送的本地点图像进行对齐匹配,然后进行层合成。当执行对齐匹配时,图像合成单元216可以基于例如要被叠加的图像的左上坐标(0,0)合成所述图像。图像合成单元216还可以使用左下坐标、右上坐标和右下坐标作为基准点。此外,当使用接收的各个本地点图像合成所述图像时,图像合成单元216可以通过比较在相同图像上的位置上的各个本地点图像的像素亮度值,采用最小像素亮度值作为该位置处的合成图像的像素亮度值。
可以以如下方式生成要被发送到各个地点的显示图像,该方式为从上述所生成的合成图像中排除显示图像要被发送到的客户端的本地点图像,然后对作为结果的图像进行层合成。可替换地,在所有本地点图像被预先合成的状态下,可以将显示图像生成为显示图像和显示图像将被发送到的客户端的本地点图像之间的差图像。在下文中详细描述该图像处理。在此,对齐匹配是指沿垂直和水平方向的图像的对准,并且层合成是指通过使用相同位置处的像素值的计算形成合成图像的方法。
控制单元214为管理数据处理和在图像队列212、图像合成单元216、最新图像缓冲器218和显示图像缓冲器220之间的显示图像的发送的功能单元。如在服务器130的其他功能的情况下那样,当包括在服务器130中的中央处理单元(CPU)执行程序时,使得控制单元214作为服务器130的与图像RAM等协作的功能单元。
图3示出了根据实施例的由多地点绘制图像共享装置200执行的处理的流程图。图3所示的处理在调用多地点绘制图像共享装置200之后作为服务或守护进程(daemon),且该处理被重复执行直到该服务或守护进程完成。在步骤S300中,处理开始。在步骤S301中,对在客户端列表222中登记的客户端的数量(即地点的数量)是否小于或等于三进行确定。如果地点的数量小于或等于三(是),处理分支到步骤S304以便按照第一合成方法生成显示图像。在步骤S305中,所生成的显示图像被发送到客户端且处理结束。
另一方面,如果在步骤S301中地点的数量大于或等于四(否),处理移动到步骤S302以便确定图像质量优先模式是否建立。如果建立了图像质量优先模式(是),处理移动到步骤S304以便根据第一合成方法生成显示图像。接着,所生成的显示图像被发送。因此,处理在步骤S305结束。另一方面,如果在步骤S302没有建立图像质量优先模式(否),处理移动到步骤S303以便根据第二合成方法生成显示图像。注意,第一合成方法是多个本地点图像被依序相加以便与彼此合成的方法。此外,第二合成方法是将直到处理开始为止累积的本地点图像整合(integrate)以便生成合成图像,接着从合成图像中减去客户端不需要的本地点图像以便生成显示图像的方法。
图4为在实施例中使用的根据第一合成方法的图像处理的示意图。为方便起见,假设在地点1、2和3之间共享图像。从各个客户端发送的本地点图像临时寄存在最新图像缓冲器218中。当从地点1发送本地点图像“A”401到图像队列212时,最新图像缓冲器218成为数据结构410。根据第一合成方法,除发送了本地点的图像“A”的地点1以外的地点2和3的图像被合成和寄存在显示图像缓冲器220中。因此,将合成图像作为数据结构420寄存在显示图像缓冲器220中。如果在此阶段没有从其他地点发送本地点图像,组成数据结构420的图像421、422和423作为显示图像被分别发送到地点1、2和3。
另一方面,如果在合成时刻分别从地点2和3发送了本地点图像“B”411和“C”421,则指定对应于发送了本地点图像的客户端的图像以便在合成时刻排除不需要的本地点图像。接着,可用的本地点图像依序被合成,并且显示图像作为数据结构440和460被寄存在显示图像缓冲器220中。在此,可以通过参照接收的图像的发送源进行图像的指定。因此,根据第一合成方法,建立以下关系:“计算量O=(n2-n)”和“存储器使用量=2n”,其中地点的数量是n。第一合成方法几乎与地点的数量的平方成比例地增加存储器使用量,但因为不需要图像差的计算,可以预见高质量。注意,在多地点绘制图像共享装置200的处理中,在发送来自在客户端列表222中登记的客户端的图像之后执行所述处理的情况下,不一定需要最新图像缓冲器218。
图5为在实施例中使用的根据第二合成方法的图像处理的示意图。如在图4的情况下中那样,为方便起见,假设在三个地点1、2和3之间共享图像。图5中描述的第二合成方法将分别从地点1、2和3发送的本地点图像“A”501、“B”511和“C”521引入到最新图像缓冲器218中,并且生成数据结构510、530和550。
当将新图像寄存在最新图像缓冲器218中时,该新图像分别被视为整合后的图像520、540和560,并且最终被整合为其中所有地点的本地点图像被合成的图像。接着,从其中所有地点的本地点图像被合成的整合后的图像560中减去寄存在最新图像缓冲器218中的、所述图像将被发送到的地点的本地点图像,因此生成由数据结构570指示的差图像。将差图像寄存在显示图像缓冲器220中的分配到对应于目的地的各个地点的存储器区域中,并且随后将该差图像分发到各个地点。
为了生成差图像,在相同图像上的某个位置计算整合后的图像560和存储在最新图像缓冲器218中的图像之间的亮度值的差。通过从亮度值的可能的最大值减去所述差获得的值可以被设置为在该位置的差图像的亮度值。举例来说,如果在实施例中亮度的最大值为255,假设在图像上的某个位置的整合后的图像的亮度值为“a”且存储在最新图像缓冲器中的图像的亮度值为“b”,则通过“255-(a-b)”计算在该位置处的差图像的亮度值。
因为第二合成方法建立以下关系“计算量O=(2n)”和“存储器使用量=(n+2)”,在消耗硬件资源方面第二合成方法比第一合成方法更有效。然而,因为第二合成方法生成差图像,可能降低诸如色彩平衡的图像质量。因此,在地点的数量大并且图像质量不是优先的情况下优选使用第二合成方法。
在下文中,参照图6到图8,详细描述根据实施例的显示图像生成处理。图6为根据实施例的多地点绘制图像共享装置200累积从各个地点发送的本地点图像的处理的流程图。在步骤S600中,图6中的处理开始,并且确定是否从各个客户端接收到本地点图像。如果没有接收到本地点图像(否),处理待命以便接收本地点图像。另一方面,如果接收到本地点图像(是),处理移动到步骤S601以便在图像队列212中存储图像以便启动以下的处理。注意,可以重复累积本地点图像直到接收到在客户端列表中登记的所有客户端的图像,或者可以在接收到所述图像时将本地点图像依序发送到图像队列212。
图7为在使用根据实施例的第一合成方法的情况下由多地点绘制图像共享装置200执行的处理的流程图。在步骤S700中,对图像是否存在于图像队列212中进行确定。如果图像存在于图像队列212中(是),在步骤S701中从图像队列212中提取所述图像中的一个。接着,在步骤S702中,将所提取的图像添加到最新图像缓冲器中。因此,最新图像缓冲器被更新。另一方面,如果没有图像存在于图像队列212中(否),处理分支到步骤S703以便确定图像合成时刻是否到来。
在步骤S703中,对图像合成时刻是否到来进行确定。如果图像合成时刻没有到来(否),处理返回到步骤S700以便再次确定图像是否存在于图像队列212中。另一方面,如果在步骤S703中图像合成时刻到来(是),从最新图像缓冲器218中读取在步骤S704中没有合成的本地点图像(即在先前的图像合成时刻没有合成的本地点图像)以便生成合成图像。在此情况下,在不经受减法处理等的情况下,作为排除了将要发送到对应的客户端的本地点图像的显示图像而生成合成图像。
在步骤S705中,将所生成的合成图像(=显示图像)通过网络从显示图像缓冲器220发送到各个客户端。接着,在步骤S706中,闪存(flash)显示图像缓冲器220中的图像以便将处理返回到步骤S700。因此,重复执行从步骤S700到S706的处理直到不存在要处理的图像为止。此外,如果在步骤S700中没有要处理的图像存在于图像队列212中,处理分支到步骤S703以便待命以等待图像合成时刻。
根据实施例,当将所有地点的显示图像存储在显示图像缓冲器220中时,控制单元214可以使得显示图像缓冲器220发送显示图像到各个客户端。根据另一实施例,控制单元214可以使得显示图像缓冲器220依序发送存储在显示图像缓冲器220中的所述地点的显示图像到客户端。
根据再一实施例,当自从图像合成处理开始以来经过了某个时间时,控制单元214可以使得显示图像缓冲器220发送显示图像到各个客户端。在此情况下,当没有在显示图像缓冲器220中存储所有地点的显示图像时,控制单元214使得图像合成单元216使用先前存储在最新图像缓冲器218中的最新图像生成没有存储在显示图像缓冲器220中的显示图像。
图8为在使用根据实施例的第二合成方法的情况下由多地点绘制图像共享装置200执行的处理的流程图。在步骤S800中,对图像是否存在于图像队列212中进行确定。如果图像存在于图像队列212中(是),在步骤S801中从图像队列212中提取所述图像中的一个。接着,在步骤S802中,将所提取的图像添加到最新图像缓冲器中。因此,最新图像缓冲器被更新。另一方面,如果在步骤S800中没有图像存在于图像队列212中(否),处理分支到步骤S803。
在步骤S803中,对图像合成时刻是否到来进行确定。如果图像合成时刻没有到来(否),处理返回到步骤S800以便再次确定图像是否存在于图像队列212中。另一方面,如果在步骤S803中图像合成时刻到来(是),从最新图像缓冲器218中读取在步骤S804中没有合成的本地点图像(即在先前的图像合成时刻没有合成的本地点图像)以便生成合成图像。在此情况下,作为通过合成在那时彼此链接的所有地点的本地点图像获得的图像而生成合成图像。
在步骤S805中,从所生成的合成图像中减去寄存在最新图像缓冲器218中的本地点图像以便生成对应于客户端的数量的显示图像,并且所生成的显示图像被存储在显示图像缓冲器220中。在步骤S806中,将显示图像通过网络发送到各个客户端。在步骤S807中,闪存显示图像缓冲器220中的图像以便将处理返回到步骤S800。因此,重复执行步骤S800到S807的处理直到不存在要处理的图像为止。此外,如果在步骤S800中没有要处理的图像存在于图像队列212中,如在图7的情况下那样,处理分支到步骤S803以便待命以等待图像合成时刻。在此,图像合成时刻可以以均匀的时间间隔生成,以便获得期望的帧速率。举例来说,可以每0.1秒生成图像合成时刻以便每秒获得10帧。
根据实施例,当所有地点的显示图像被存储在显示图像缓冲器220中时,控制单元214可以使得显示图像缓冲器220发送显示图像到各个客户端。根据另一实施例,控制单元214可以使得显示图像缓冲器220依序发送存储在显示图像缓冲器220中的所述地点的显示图像到客户端。
根据再一实施例,自从图像合成处理开始以来经过了某个时间后,控制单元214可以使得显示图像缓冲器220发送显示图像到各个客户端。在此情况下,当在显示图像缓冲器220中没有存储所有地点的显示图像时,控制单元214使得图像合成单元216使用先前存储在最新图像缓冲器218中的最新图像生成没有存储在显示图像缓冲器220中的显示图像。
如上所述,根据本发明的实施例,整合在多个地点独立绘制的图像并且以最小的时间差和图像的连续性在所述地点之间共享它们是可能的。
实施例的以上功能可由以面向对象编程语言等(如C++、Java(TM)、JavaScript(TM)、Perl和Ruby)编写的、装置可安装的程序实现。所述程序可被存储在装置可读的记录介质(如硬盘单元、CD-ROM、MO、软盘、EEPROM和EPROM)中以便分发,并且可以通过网络以可被其他装置执行的形式发送。
本申请基于向日本专利局2010年5月17日提交的日本优先权申请No.2010-113102和2011年3月4日提交的No.2011-047669,所述日本优先权申请的全部内容通过引用合并于此。

Claims (13)

1.一种多地点绘制图像共享装置,其使得在多个地点处提供的绘制对象之间共享绘制在绘制对象上的图像,所述装置包括:
图像存储单元,其被配置为存储在各个地点绘制的图像;
图像合成单元,其被配置为以不包括在发送目的地处绘制的图像的方式叠加和合成存储在图像存储单元中的图像;和
图像发送单元,其被配置为发送由图像合成单元合成的图像到各个地点。
2.如权利要求1所述的多地点绘制图像共享装置,其中,
所述图像合成单元通过将在第一地点绘制的图像的位置叠加到在除第一地点以外的地点绘制的图像的位置上生成合成图像。
3.如权利要求2所述的多地点绘制图像共享装置,其中,
所述图像合成单元通过将在第一地点绘制的图像和在除第一地点以外的地点绘制的图像的相同位置处的像素亮度值替换为最小值生成合成图像。
4.如权利要求1至3的任意一项所述的多地点绘制图像共享装置,所述装置还包含:
最新图像缓冲器,其被配置为存储在各个地点绘制的最新图像。
5.如权利要求1至4的任意一项所述的多地点绘制图像共享装置,其中
所述图像合成单元指定存储在最新图像缓冲器中的在第一地点绘制的图像,以便合成存储在最新图像缓冲器中的除了在第一地点绘制的图像以外的图像。
6.如权利要求1至4的任意一项所述的多地点绘制图像共享装置,其中
所述图像合成单元整合从所有地点接收的图像以便生成整合后的图像,和
生成整合后的图像和存储在最新图像缓冲器中的图像之间的差图像,以由此生成合成图像。
7.如权利要求1至6的任意一项所述的多地点绘制图像共享装置,所述装置还包括:
图像合成方法确定单元,其被配置为基于地点的数量和图像质量确定图像合成单元的合成方法。
8.如权利要求1至7的任意一项所述的多地点绘制图像共享装置,其中
所述图像发送单元在生成要发送的所有地点的合成图像时发送合成图像到各个地点。
9.如权利要求1至7的任意一项所述的多地点绘制图像共享装置,其中
所述图像发送单元在生成要发送的合成图像时依序发送合成图像到各个地点。
10.如权利要求1至7的任意一项所述的多地点绘制图像共享装置,其中
当自从图像合成处理开始以来经过了某个时间时,所述图像发送单元发送合成图像到各个地点。
11.如权利要求10所述的多地点绘制图像共享装置,其中
如果当自从图像合成处理开始以来经过了某个时间时没有生成所有地点的合成图像,所述图像合成单元使用先前存储在最新图像缓冲器中的最新图像生成合成图像,和
所述图像发送单元发送合成图像。
12.一种多地点绘制图像共享系统,其具有使得在多个地点处提供的绘制对象之间共享绘制在绘制对象上的图像的多地点绘制图像共享装置,并且具有从绘制在绘制对象上的图像中仅提取在本地点处绘制的信息的客户端,多地点绘制图像共享装置包括:
图像存储单元,其被配置为存储在各个地点处绘制的图像;
图像合成单元,其被配置为以不包括在发送目的地处绘制的图像的方式叠加和合成存储在图像存储单元中的图像;和
图像发送单元,其被配置为发送由图像合成单元合成的图像到各个地点。
13.一种由多地点绘制图像共享装置执行的方法,该多地点绘制图像共享装置使得共享在两个或多个远程地点处绘制的绘制图像,该方法包括:
存储在各个地点处绘制的图像;
以不包括在发送目的地处绘制的图像的方式叠加和合成所存储的图像;和
发送合成图像到各个地点。
CN2011800351322A 2010-05-17 2011-05-10 多地点绘制图像共享装置、多地点绘制图像共享系统、由多地点绘制图像共享装置执行的方法、程序和记录介质 Pending CN103004187A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010-113102 2010-05-17
JP2010113102 2010-05-17
JP2011-047669 2011-03-04
JP2011047669A JP2012005107A (ja) 2010-05-17 2011-03-04 多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体
PCT/JP2011/061127 WO2011145539A1 (en) 2010-05-17 2011-05-10 Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium

Publications (1)

Publication Number Publication Date
CN103004187A true CN103004187A (zh) 2013-03-27

Family

ID=44991642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800351322A Pending CN103004187A (zh) 2010-05-17 2011-05-10 多地点绘制图像共享装置、多地点绘制图像共享系统、由多地点绘制图像共享装置执行的方法、程序和记录介质

Country Status (8)

Country Link
US (1) US20130063547A1 (zh)
EP (1) EP2572504A4 (zh)
JP (1) JP2012005107A (zh)
CN (1) CN103004187A (zh)
CA (1) CA2798017A1 (zh)
RU (1) RU2534951C2 (zh)
SG (1) SG185110A1 (zh)
WO (1) WO2011145539A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469397A (zh) * 2013-09-13 2015-03-25 株式会社理光 分配管理设备和分配管理系统
CN105635636A (zh) * 2015-12-30 2016-06-01 随锐科技股份有限公司 一种视频会议系统及其实现视频图像传输控制的方法
CN107037939A (zh) * 2015-10-14 2017-08-11 株式会社理光 电子黑板和图像处理方法
CN115589527A (zh) * 2022-11-23 2023-01-10 禾多科技(北京)有限公司 自动驾驶图像发送方法、装置、电子设备和计算机介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5935456B2 (ja) * 2012-03-30 2016-06-15 株式会社リコー 画像処理装置
US9860285B2 (en) 2013-01-17 2018-01-02 Futurewei Technologies, Inc. System, apparatus, and method for sharing a screen having multiple visual components
JP6212878B2 (ja) 2013-02-21 2017-10-18 株式会社リコー 画像処理装置、画像処理システム及びプログラム
JP6232716B2 (ja) 2013-03-11 2017-11-22 株式会社リコー 情報処理装置、表示制御システムおよびプログラム
KR20150034061A (ko) * 2013-09-25 2015-04-02 삼성전자주식회사 복수의 클라이언트들에 의한 촬영 환경 설정 방법 및 장치
JP6451276B2 (ja) * 2014-12-10 2019-01-16 株式会社リコー 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
US10915288B2 (en) * 2015-03-27 2021-02-09 Inkerz Pty Ltd. Systems and methods for sharing physical writing actions
US11223802B2 (en) 2019-07-31 2022-01-11 Ricoh Company, Ltd. Image-based determination apparatus and image-based determination system
WO2022135648A1 (en) 2020-12-22 2022-06-30 Orbi Inc. System and method of conducting conference calls using a mount for positioning and orienting a mobile computer device
US11675493B2 (en) * 2021-01-28 2023-06-13 EMC IP Holding Company LLC Method and system for collaborating using the integrated laptop touchpad

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163529A (ja) * 1994-12-12 1996-06-21 Nec Corp 画像多地点通信制御システム
JP2005203886A (ja) * 2004-01-13 2005-07-28 Seiko Epson Corp 遠隔会議支援システム、遠隔会議支援システム制御方法、及びプログラム
CN1845064A (zh) * 2005-04-08 2006-10-11 佳能株式会社 信息处理方法和设备
JP2007201998A (ja) * 2006-01-30 2007-08-09 Fuji Xerox Co Ltd 会議支援システム
CN101198008A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种实现多屏多画面的方法和系统
CN101640784A (zh) * 2008-07-28 2010-02-03 上海领世通信技术发展有限公司 一种在视频会议系统中控制多画面复合的控制装置及方法
JP2010061411A (ja) * 2008-09-04 2010-03-18 Brother Ind Ltd 画像投影装置、画像合成装置、画像投影方法及び画像投影プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4400724A (en) * 1981-06-08 1983-08-23 The United States Of America As Represented By The Secretary Of The Army Virtual space teleconference system
US5239373A (en) * 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
US5781174A (en) * 1992-07-14 1998-07-14 Matsushita Electric Industrial Co., Ltd. Image synthesizer and image pointing system
US5872923A (en) * 1993-03-19 1999-02-16 Ncr Corporation Collaborative video conferencing system
JPH08509310A (ja) * 1993-04-13 1996-10-01 インテル コーポレイシヨン コンピュータ・サポートによる協調動作を行うためのシステム
JPH0916798A (ja) * 1995-07-03 1997-01-17 Nippon Telegr & Teleph Corp <Ntt> 多地点協同描画支援システム
KR19980701471A (ko) * 1995-11-15 1998-05-15 이데이 노부유키 다지점 비디오 회의 장치(Multipoint video conference apparatus)
US6388654B1 (en) * 1997-10-03 2002-05-14 Tegrity, Inc. Method and apparatus for processing, displaying and communicating images
JP2000241117A (ja) * 1999-02-22 2000-09-08 Keyence Corp 画像のエッジ検出方法、検査装置及び記録媒体
RU2226320C2 (ru) * 2000-04-28 2004-03-27 Свисском Мобиле Аг Способ и система для осуществления видеоконференций
US6741586B1 (en) * 2000-05-31 2004-05-25 3Com Corporation System and method for sharing computer screens over a telephony network
US7346841B2 (en) * 2000-12-19 2008-03-18 Xerox Corporation Method and apparatus for collaborative annotation of a document
US7164392B2 (en) * 2002-08-06 2007-01-16 Fujinon Corporation Material presentation device
US7333135B2 (en) * 2002-10-15 2008-02-19 Fuji Xerox Co., Ltd. Method, apparatus, and system for remotely annotating a target
WO2004056083A1 (en) * 2002-12-18 2004-07-01 Orange S.A. Mobile graphics device and server
US7176957B2 (en) * 2004-05-25 2007-02-13 Seiko Epson Corporation Local video loopback method for a multi-participant conference system using a back-channel video interface
JP5211430B2 (ja) * 2006-03-02 2013-06-12 富士ゼロックス株式会社 電子会議システム、電子会議支援プログラム、電子会議支援方法、電子会議制御装置、会議サーバコンピュータ
JP2007251756A (ja) * 2006-03-17 2007-09-27 Oki Electric Ind Co Ltd 撮像装置
US8275197B2 (en) * 2008-06-14 2012-09-25 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
CN101370115A (zh) * 2008-10-20 2009-02-18 深圳华为通信技术有限公司 会议终端、会议服务器、会议系统及数据处理方法
US20110107238A1 (en) * 2009-10-29 2011-05-05 Dong Liu Network-Based Collaborated Telestration on Video, Images or Other Shared Visual Content

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163529A (ja) * 1994-12-12 1996-06-21 Nec Corp 画像多地点通信制御システム
JP2005203886A (ja) * 2004-01-13 2005-07-28 Seiko Epson Corp 遠隔会議支援システム、遠隔会議支援システム制御方法、及びプログラム
CN1845064A (zh) * 2005-04-08 2006-10-11 佳能株式会社 信息处理方法和设备
JP2007201998A (ja) * 2006-01-30 2007-08-09 Fuji Xerox Co Ltd 会議支援システム
CN101198008A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种实现多屏多画面的方法和系统
CN101640784A (zh) * 2008-07-28 2010-02-03 上海领世通信技术发展有限公司 一种在视频会议系统中控制多画面复合的控制装置及方法
JP2010061411A (ja) * 2008-09-04 2010-03-18 Brother Ind Ltd 画像投影装置、画像合成装置、画像投影方法及び画像投影プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469397A (zh) * 2013-09-13 2015-03-25 株式会社理光 分配管理设备和分配管理系统
CN107037939A (zh) * 2015-10-14 2017-08-11 株式会社理光 电子黑板和图像处理方法
US10754606B2 (en) 2015-10-14 2020-08-25 Ricoh Company, Ltd. Image processing apparatus and image processing system
CN107037939B (zh) * 2015-10-14 2021-01-15 株式会社理光 电子黑板和图像处理方法
CN105635636A (zh) * 2015-12-30 2016-06-01 随锐科技股份有限公司 一种视频会议系统及其实现视频图像传输控制的方法
CN115589527A (zh) * 2022-11-23 2023-01-10 禾多科技(北京)有限公司 自动驾驶图像发送方法、装置、电子设备和计算机介质
CN115589527B (zh) * 2022-11-23 2023-06-27 禾多科技(北京)有限公司 自动驾驶图像发送方法、装置、电子设备和计算机介质

Also Published As

Publication number Publication date
WO2011145539A1 (en) 2011-11-24
EP2572504A4 (en) 2015-05-06
RU2534951C2 (ru) 2014-12-10
CA2798017A1 (en) 2011-11-24
JP2012005107A (ja) 2012-01-05
RU2012154332A (ru) 2014-06-27
EP2572504A1 (en) 2013-03-27
US20130063547A1 (en) 2013-03-14
SG185110A1 (en) 2012-12-28

Similar Documents

Publication Publication Date Title
CN103004187A (zh) 多地点绘制图像共享装置、多地点绘制图像共享系统、由多地点绘制图像共享装置执行的方法、程序和记录介质
US20230037595A1 (en) Image management system, image management method, and computer program product
US9473741B2 (en) Teleconference system and teleconference terminal
US20090257730A1 (en) Video server, video client device and video processing method thereof
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
WO2019015405A1 (zh) 虚拟道具分配方法、服务器、客户端及存储介质
JP6638994B2 (ja) ユーザが要望する所定場所に車両を配車する配車装置、配車方法及びプログラム
CN108399600A (zh) 一种全景成像系统及方法
WO2014012444A1 (zh) 一种实现增强现实信息共享的方法、装置和系统
US20100066806A1 (en) Internet video image producing method
EP4064691A1 (en) Communication management device, image communication system, communication management method, and carrier means
EP1162810A2 (en) Data distribution device and method
JPWO2020039897A1 (ja) 駅監視システム及び駅監視方法
KR100853379B1 (ko) 위치기반 이미지 파일 변환 서비스 방법 및 서비스 서버
CN109299048A (zh) 处理数据以及发布数据的方法
JP2012208558A (ja) 表示制御装置、端末装置、通信システムおよびプログラム
KR20060130647A (ko) 콘텐츠를 포맷하고 표시하기 위한 방법 및 장치
WO2021147749A1 (zh) 实现3d显示的方法、装置及3d显示系统
JP3183496B2 (ja) 仮想空間共有システム
JPWO2020039898A1 (ja) 駅監視装置、駅監視方法及びプログラム
JP5682376B2 (ja) 通信装置
KR102391898B1 (ko) 영상 데이터 전송을 위한 원격 접속 시스템 및 이의 실행 방법
KR102300059B1 (ko) 라이브영상 제공 시스템
US20070172043A1 (en) Ultimedia conference system
JP2004194203A (ja) 撮影システム、情報処理装置及びその処理方法、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130327