CN1477590B - 用于白色书写板和音频捕获的一个系统和方法 - Google Patents

用于白色书写板和音频捕获的一个系统和方法 Download PDF

Info

Publication number
CN1477590B
CN1477590B CN031493009A CN03149300A CN1477590B CN 1477590 B CN1477590 B CN 1477590B CN 031493009 A CN031493009 A CN 031493009A CN 03149300 A CN03149300 A CN 03149300A CN 1477590 B CN1477590 B CN 1477590B
Authority
CN
China
Prior art keywords
whiteboard
unit
image
color
stroke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN031493009A
Other languages
English (en)
Other versions
CN1477590A (zh
Inventor
张正友
A·古普塔
R·卡特勒
刘自成
贺立为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1477590A publication Critical patent/CN1477590A/zh
Application granted granted Critical
Publication of CN1477590B publication Critical patent/CN1477590B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G06Q10/1095—Meeting or appointment
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal

Abstract

使用数字照相机和麦克风来捕获一个会议的白色书写板内容和音频信号的一个系统。系统可能被改进到任何现存的白色书写板。它通过分析被捕获的快照的序列来计算在白色书写板上的笔划的时间标记。它也自动表示在每个擦除之前在白色书写板上所有被书写的内容的一组关键帧。使用白色书写板内容作为一个视觉索引来有效的浏览音频会议。系统不但捕获白色书写板内容，而且帮助用户有效的和安全的观看和管理被捕获的会议内容。

Description

用于白色书写板和音频捕获的一个系统和方法
技术领域
本发明涉及用来记录会议的一个系统和方法。具体而言，本发明涉及用来捕获一个会议的白色书写板内容和音频的系统和方法。
背景技术
会议占用了许多工作人员很大部分的工作时间。更有效的利用在会议中消耗的时间将转化为很大的生产力增长。
很多会议现场使用一个白色书写板，广泛的用作集体讨论对话，演讲，项目计划会议，专利发布，等等。在这些会议中，做笔记和拷贝写在书写板上的内容经常会妨碍许多参加者积极的贡献和参与。结果，在一些自动化的方式中，已经采取一些努力来捕获白色书写板的内容。
几个技术已经被发展来自动的捕获白色书写板内容，最早的白色书写板复印机是具有一个内置复印机的一个特别的白色书写板。只要单击一个按钮，白色书写板内容就能被扫描和打印。一旦白色书写板内容在纸上，它能被影印，传真，储存在文件柜中，或扫描成数字格式。
更多最近的技术试图从开始就在数字格式中捕获白色书写板内容。它们一般分为二类——一些用来捕获白色书写板的图像和一些用来跟踪笔的位置并且从那里推断白色书写板的内容。
在第一类中的设备直接捕获白色书写板的图像。经常使用国家电视系统委员会制式(NTSC)分辨率的摄影机，因为它们的费用低。由于这些摄影机通常不具有足够的分辨率来清晰的捕获在一个典型会议室大小的白色书写板上所写的内容，几个视频帧必须被订合在一起产生一个单独的白色书写板图像。在这第一类中的另一个设备是数字静态照相机。因为高分辨率数字照相机越来越便宜，用一个数字照相机来对书写板进行快照变成是一个流行的选择。
在第二类中的设备跟踪被使用来在白色书写板上高频书写的笔的位置并且从笔坐标的历史记录来推断白色书写板的内容。有时它们包括附加在一个传统白色书写板侧面的一个附加设备并且为干墨水笔和擦除器使用特殊的盒子。当压书写板时，每支笔放射超声波脉冲。在附加设备上的二个接收器使用在音频脉冲到达时间中的差异来对笔坐标作三角测量。由于笔坐标的历史记录被捕获，在任何给定片刻的在白色书写板上的内容可能被随后重建。这种类型的白色书写板记录的用户能像一个电影一样播放白色书写板内容。因为内容以矢量形式被捕获，它能用低带宽和小存储要求来被传送和存档。
电子白色书写板也使用笔跟踪技术。它们比使白色书写板成为一个交互式设备的使用先前讨论的附加设备的系统更深了一步。用户用一个被计算机跟踪的特殊铁笔在显示器上书写。计算机在屏幕上呈现铁笔无论在那里接触屏幕的笔划-好像墨水被铁笔沉淀的一样。因为笔划是计算机产生的，它们能被编辑，回画和动画。用户也能对计算机发布手势命令并且在同一屏幕上显示其它计算机应用。
然而电子白色书写板由于它们的高成本和小尺寸(一个电子白色书写板在对角线上很少超过6英尺)当前还只有有限的安装基础。此外，使用笔跟踪设备的系统具有下列缺点：1)如果系统没有开机或用户不用特殊的笔来写，内容不能被设备恢复；2)许多人喜欢使用他们的手指代替特殊擦除器来在白色书写板上改正小错误。这种普通的行为导致额外的笔划出现在被捕获的内容上；3)人们不得不使用特殊的干墨水笔适配器，对于某些设备它们变得越来越粗和硬来受压。和4)笔跟踪的不精确经常导致相邻笔划的记录不准确。
除了以上讨论的关于白色书写板捕获方法的工作之外，在多媒体体验的捕获，综合和访问上已经实行了大量的研究，特别在演讲和会议方面。人们已经开发了一些技术和系统，它们使用手写笔记，白色书写板内容，幻灯片，或手工注解来索引被记录的视频和音频，以便于存取。
例如，在一个名为教室2000项目的项目中，Abowd et al。使用一个电子白色书写板来按时间标记墨水笔划，所以观众(学生)能使用墨水笔划作为被记录的视频和音频的索引。关键帧(称为页面)基于在由电子白色书写板提供的擦除事件而被计算。教室2000项目，不管怎样，都需要一个电子白色书写板。使用一个电子白色书写板，从最终用户的观点来看有许多缺点。首先，绝大多数的办公室和会议室没有安装电子白色书写板。其次，已经显示出人们发现使用一个普通的白色书写板比电子书写板要自然的多。第三，用一个照相机捕获的图像提供太多的前后关系信息例如谁在写和那个主题正在被讨论(通常被手形指示)。除了这些缺点之外，电子白色书写板可能是昂贵的因而不易于可得到和使用。
发明内容
本发明涉及一个系统和过程，为了捕获白色书写板内容和相关音频而克服在系统中的上述限制。
白色书写板捕获系统与上述系统的不同之处在于直接捕获白色书写板的图像因为它计算笔划的时间标记和通过在被捕获图像上进行分析计算关键帧。关键帧图像包括在白色书写板上的所有重要内容并且适合作为记录的一个摘要。它们能被删节和粘贴到其它文件或作为笔记打印。时间标记和关键帧是被记录的音频的有效的索引。另外，白色书写板捕获系统发明使用一个普通的白色书写板，不是一个电子白色书写板，像一些其它白色书写板捕获系统一样。因而，系统能不加修改的与任何现存白色书写板一起使用。
白色书写板系统用一个照相机捕获写在一个非电子白色书写板上的内容的一序列的图像。它同时记录会议的音频信号。一旦记录完毕，图像序列被分析来分离关键帧，它摘要写在白色书写板上内容的关键点。音频记录通过与被记录音频和图像序列关联的时间标记被与在关键帧上的笔划相互关联。这些时间标记通过图像分析被计算。
用来获得关键帧的一般分析过程包括在一序列的图像中的每个图像中校正白色书写板的视图。白色书写板背景颜色也被提取和图像序列中的每个图像被分为单元。随着时间流逝相同的单元图像被聚类在一起，这将在随后作更为详细的解释。每个单元图像接着被分类作为一个笔划、一个前景物体或白色书写板单元。接着关键帧图像用分类结果来提取。单元图像在关键帧提取之前被空间上和时间上过滤来改进分类结果。另外，一旦被提取，关键帧图像能被颜色均衡以提高图像质量。
更为详细的是，校正白色书写板视图包括修剪每个图像的任何非白色书写板区域。接着白色书写板的四个角在每个图像中被指定。接着为使用双三次插值的每个图像执行一个双线性的扭曲以获得在每个被捕获图像中的一个被修剪和被校正的白色书写板图像。
有二种方法可能被用来提取白色书写板的背景颜色。第一个方法包括确定具有最亮亮度和最小变化的白色书写板单元。具有最亮亮度和最小变化的颜色被指定作为白色书写板的背景颜色。一旦白色书写板的背景颜色这样被确定，在白色书写板颜色中的任何空缺被发现并且通过搜寻在每个空缺周围的白色书写板单元来被填满。接着每个空缺的颜色被设置成不是一个空缺的最接近单元的颜色。
用来提取白色书写板背景颜色的第二个方法包括用直方图表示白色书写板图像亮度和确定峰值白色书写板亮度。相应于峰值亮度的颜色被指定作为初始白色书写板颜色。接着任何白色书写板颜色分离物(误差的数据)被使用一个最小中值平方技术来确定。这些分离物被用空缺来作标记并且在如上面讨论的确定白色书写板颜色的第一个方法中相同的方式中被填满。在填充每个空缺之后，白色书写板颜色图像可能被过滤。
将在输入序列中的每个图像分为单元的过程提高了分析处理速度。代表性地，每个图像被分成单元所以单元尺寸大约是在书写板上的一个单个字符的相同尺寸。对于一个典型的会议尺寸的白色书写板，这相等于1.5英寸乘1.5英寸，或25像素乘25像素。然而，另一方面，所有的分析能在按照像素基础的一个像素上被执行。
一旦输入图像的序列被校正和白色书写板颜色已经被确定，单元图像被聚类。被认为随着时间流逝相同的单元图像被在一起聚类在组中。一个标准化交叉相关技术和一个Mahalanobis距离测试被用来确定二个单元是否相同。
单元分类过程确定一个单元图像是否是一个白色书写板单元，一个笔划或一个前景物体。如果红色，绿色，蓝色(RGB)值是近似相同，一个单元图像被指定为一个白色书写板单元。另一方面，如果单元主要是用一个或二个主要颜色混和的白色或灰色，一个单元图像被指定为一个笔划。否则，单元图像被指定为一个前景单元。单元分类过程确定当前单元图像的颜色分配和相应白色书写板单元的颜色分配。接着单元被分类，基于如果当前单元图像和相应白色书写板单元的颜色分配相同，不同但具有一个强烈的相同性，或完全不同。
以上分类过程只使用在一个单独单元上的颜色信息。更为准确的结果能通过使用在单元组中空间和时间关系来达到。在空间上过滤中，在每个白色书写板图像上的二个操作被执行。首先，被分离的前景单元被识别和重新分类成笔划。其次，被立即连接到一些前景单元的笔划单元被重新分类成前景单元。关于时间上过滤，基本的观察是当笔划被删除后事实上不可能在完全准确的位置中写相同的笔划。换句话说，如果对于任何给定的单元，二个不同帧的单元图像包含相同的笔划，那么在二帧之间的所有单元图像必须具有相同的笔划除非那儿有一个前景物体阻挡单元。在时间上过滤步骤中，这个单元将被分类作为一个笔划，只要在前景物体阻挡它之前或之后它被曝光到照相机。
关键帧接着能被提取。到此为止，分类结果被使用并且在图像序列中为每个图像或帧计数笔划单元。笔划计数的峰值和谷值被确定。如果在笔划计数的每个相邻的峰值和谷值之间的差异大于一个规定的阈值，在谷值之间的数据被指定为章节(每个章节表示一个不同的主题)和在每个章节中的峰值被作为表示章节的关键帧。
随后重新构造关键帧图像。这包括输入分类单元图像和被分割为单元图像的关键帧。如果一个关键帧单元图像被分类作为一个白色书写板图像或一个笔划图像，它的图像被分别的呈现作为一个白色书写板图像或一个笔划图像。交替地，如果一个关键帧前景单元图像在一个笔划的范围之中，这个单元图像在序列中从邻近图像中用笔划单元图像来呈现。如果关键帧单元图像不被分类作为一个白色书写板图像，一个笔划图像或在一个笔划范围内的一个前景单元，它作为一个白色书写板图像被呈现。
随后使用颜色均衡，通过使用平均白色书写板颜色来测量在一个单元中的每个像素的颜色使背景为统一的白色和增加笔划的颜色饱和度来改进关键帧图像的图像质量。图像噪声也被减少。
在分析服务器处理图像序列和产生索引和关键帧图像之后，它将到被处理记录的统一资源定位器(URL)(一个网络站点或其它因特网服务的“地址”或位置)发送电子邮件到注册会议参与者。用户可以点击URL来登录一个浏览软件。浏览器允许用户浏览关键帧图像和快速访问与一个特殊主题相关联的音频。
浏览软件的用户接口(UI)具有不同的部件。浏览器UI的主要元素包括一个关键帧平面，在那里关键帧略图被显示，并且浏览器的主显示平面显示从照相机来的原始图像的一个合成物和当前关键帧图像。
关键帧平面也结合了一个背景透明的滑块，它允许用户在主显示平面上调节被显示的图像从未加工的输入图像到关键帧图像。当前笔划，已经被写在会议回放时间线中的笔划，比将来笔划呈现得更暗和更明显。参与者将来将写的笔划被显示在一个类似于幻影的风格中。这个视觉显示技术使用以下处理来实现。当前的白色书写板内容通过使用当前章节和时间标记信息的关键帧图像来被呈现。然后将来笔划被呈现，使用一个Gaussian过滤器使之被转换成灰度色标和模糊不清。这二个图像接着被添加，并且合成图像与从输入序列中被校正的图像一起alpha混和。用户能用GUI的滑块来控制alpha值从0，只显示被呈现的关键帧白色书写板图像，到1，正确的显示原始图像。
一个VCR和标准时间线控制在较低于浏览器UI的主显示平面的左下角中被提供。VCR和标准时间线控制允许用户在图像/音频序列中顺序向后或向前，慢或快或停止，非常像在一个典型的录像机(VCR)上找到的控制。一个时间线条用一个条图形显示音频/图像序列的长度，并且提供会议回放的开始时间，结束时间和当前时间的用数字表示的值。在这个条上的一个指针能被选中并且被沿着时间线条向前和向后的拖动来在图像/音频序列中线性地顺序向前和向后。
对记录音频的二个级别的非线性访问在视觉索引的上下文中被提供。非线性访问的第一级别是通过关键帧略图的使用。用户能单击一个关键帧略图从而跳到对于相应关键帧的音频的起始点(例如，章节的开始)。每个关键帧有与它关联的一个时间范围，用来帮助用户确定与那个特殊关键帧关联的时间范围。对记录音频的非线性访问的第二级别是通过在每个关键帧中笔划的使用。当在主窗口中指针悬在一个笔划单元(当前笔划单元或将来笔划单元)上时，指针被变为一个“手”形，显示它是可选的(例如，用一个鼠标“可单击的”)。用一个鼠标或其它输入设备在单元上双击使应用程序成为音频回放模式。回放开始于当被单击的笔划单元被写入时的会议时间。用户仍能单击其它的笔划单元来跳到会议的其它部分。结合VCR和标准时间线控制1514，这二个级别的视觉索引允许用户在一个非常有效的方式中浏览一个会议。
如先前所述，关键帧图像的略图在关键帧平面中被列出。选择一个略图使相应的关键帧图像到左边的主窗口上并且使应用程序为图像观看模式，其中用户能使用缩放控制按钮来放大和缩小，在图像中读取文本和图表，或切割和粘贴图像的一部分到其它文档。另外，全部的关键帧能被切割和粘贴到其它文档或被打印作为笔记。
在白色书写板捕获系统中，会议参与者被要求在会议记录的开始向捕获软件注册。所有的记录会议存在于一个互联网服务器上。如果没有人注册，会议被张贴在一个公开可访问的互联网页面上。如果至少有一个参与者注册，在会议记录和分析之后产生一个访问令牌。令牌是包含一个唯一会议标识符的一个长随机产生的字符串。包含令牌的URL被发送电子邮件到注册的参与者。接受者到URL启用互联网浏览软件来回顾会议。他们也转寄URL到没有参加会议的人。
上面描述的基本白色书写板捕获系统能被与许多其它技术和设备结合在一起来呈现另一个实施例。在一个这样的实施例中，传统的光学字符识别(OCR)在关键帧上被执行来提供容易被使用来建立文档或演讲视图的可编辑文本。
在另一个实施例中，传统的音频识别软件被使用来转换被捕获数据的音频部分到文本。这允许会议记录和其它文档的简单建立。它也提供一个相对不昂贵的方法来提供会议信息到听力损伤者。
白色书写板捕获系统通过，例如，使用具有一个麦克风的一台笔记本电脑和装配在三角架上的一个照相机也能被制成是便携式的。这种设置只需要一个附加的初始校准来确定相对于白色书写板的照相机的位置。这个校准能通过手工确定在图像中平面的四个角手工的，或通过使用例如边缘检测的方法自动的被执行。
白色书写板捕获系统的分析软件通过使用笔跟踪的白色书写板系统也能被使用来确定关键帧从而推断白色书写板内容。使用具有这样一个系统的白色书写板捕获系统分析软件简化了分析过程。白色书写板背景颜色的确定是不必要的，也不必要白色书写板区域的校正，不需要空间或时间上过滤，并且白色书写板单元的分类变得较为简单因为单元图像将或者是笔划或者是白色书写板，因为没有前景物体将干扰写在白色书写板上的文本。
另外，为了达到较高的帧频，一个高分辨率视频摄像机例如一个HDTV摄像机能代替一个静态照相机被使用。
还在另一个实施例中，白色书写板捕获系统结合手势识别以使用手势命令。例如，在白色书写板上的某处一个命令方框能被书写。当用户移动或指向方框时，系统使用手势识别来时间标记在做手势的特殊时间上的图像。
白色书写板捕获系统减轻了会议参与者烦琐的作笔记的工作，因而他们能集中注意力在会议中提出和吸收观点。通过提供摘要白色书写板内容的关键帧图像和结构化的视觉索引到音频，系统帮助参与者在一个稍后时间上回顾会议。此外，没有参加会议的人常常能在一小部分时间中理解会议要旨。
附图说明
本发明特殊的特征，方面，和优点结合下列描述，所附的权利要求书，和附图将变得能较好的理解，其中：
图1是描述为了实现发明组成一个典型系统的一个通用计算设备的一个图表。
图2是描述白色书写板捕获系统的三个主要成分-捕获单元，分析服务器和浏览软件的一个图表。这个图表使用一个原型的白色书写板捕获系统来被捕获。
图3是根据本发明的一个白色书写板捕获系统的一个示意图。
图4是从一个输入图像序列来的显示被选择帧的一系列的图像。
图5是根据发明描述系统和方法的图像分析过程的一个流程图。
图6A是计算白色书写板颜色的一个第一技术。
图6B是计算白色书写板颜色的一个第二技术。
图7是显示白色书写板颜色提取结果的一系列的图像。左边的图像是计算白色书写板颜色的第一策略的结果，中间的图像是计算白色书写板颜色的第二策略的结果，和右边的图像显示实际空缺的白色书写板图像。
图8是根据本发明描述系统和方法的单元分类过程的一个流程图。
图9是分类结果的一系列采样。在修剪和校正之后上面的图像相应于在图5中的图像。
图10是对于在图4的序列中笔划数目对比时间的一个图。
图11是用来从一序列的输入图像中选择关键帧的一般过程的一个流程图。
图12是根据本发明描述在系统和方法中识别章节和关键帧的过程的一个流程图。
图13是根据本发明描述在系统和方法中重建关键帧图像的过程的一个流程图。
图14是根据本发明描述在系统和方法中颜色均衡关键帧图像的过程的一个流程图。
图15描述白色书写板捕获系统的浏览器界面的一个图像。每个关键帧图像表示在记录中的一个关键时刻的白色书写板内容。
图16是根据本发明描述在系统和方法中显示当前和将来笔划的过程的一个流程图。
图17是根据本发明描述在系统和方法中使用的安全处理的一个流程图。
图18A提供在发明的一个工作实施例的三个安装地点上拍摄的白色书写板内容的采样图像。
图18B，18C和18D是一系列的图，用来描述输入(图18B)和输出本发明的一个工作实施例的关键帧图像(图18C和18D)。
具体实施方式
在本发明首选实施例的下列描述中，组成本文中一部分的附图被参考，并且其中被显示作为说明特殊实施例，在其中，发明可能被实行。其它实施例可能被使用和在不偏离本发明范围的情况下做出结构的变化是能够被理解的。
1.0典型操作环境
图1举例说明发明可能在其上被实现的一个合适的计算系统环境100的一个例子。计算系统环境100只是一个合适的计算环境的一个例子并且不被用来建议如作为使用范围或发明功能的任何限制。计算环境100将不被解释为具有任何相依性或在典型的操作环境100中涉及举例说明的部件的任何一个或结合的要求。
发明与许多其它通用的或专用的计算系统环境或配置一起操作。可能适合与发明一起使用的著名的计算系统，环境和/或配置的例子包括，但不限于，个人计算机，服务器计算机，手持型或膝上型设备，多处理器系统，基于微处理器的系统，机顶盒，可编程的消费者电子产品，网络PC，小型机，大型计算机，包括任何上述系统或设备，和相似的分布式计算环境。
发明可能在计算机可执行指令的一般环境中被描述，例如正在被一个计算机执行的程序模块。一般的，程序模块包括执行特殊任务的或实现特殊抽象数据类型的例行程序，程序，对象，部件，数据结构，等。发明也可能在分布式计算环境中被实施，其中通过一个通讯网络连接的远程处理设备执行任务在一个分布式计算环境中，程序模块可能位于包含存储器存储设备的当地的或远程的计算机存储介质中。
参考图1，用来实现发明的一个典型系统包括以一个以计算机110形式表示的一个通用计算设备。计算机110的部件可能包括，但不局限于，一个处理单元120，一个系统存储器130，和连接不同的系统部件包括系统存储器到处理单元120的一个系统总线121。系统总线121可能是几种类型的总线结构中的任何一种，包括一个存储器总线或存储器控制器，一个外围总线和使用多种总线结构中任意一种的一个局域总线。作为例子，和没有限制的，这种结构包括工业标准结构(ISA)总线，微通道结构(MCA)总线，扩展工业标准结构(EISA)总线，视频电子标准协会(VESA)局域总线，和周边组件扩展接口(PCI)总线也被称为Mezzanine总线。
计算机110典型的包括许多计算机可读介质。计算机可读介质可能是能被计算机110访问的任何可利用的介质并且包括易变的和不易变的介质，可移动的和不可移动的介质。作为例子，和没有限制的，计算机可读介质可能包括计算机存储介质和通讯介质。计算机存储介质包括在任何方法或技术中实现的易变的和不易变的，可移动的和不可移动的介质，用来存储信息例如计算机可读指令，数据结构，程序模块或其它数据。计算机存储介质包括，但不局限于，RAM，ROM，EEPROM，闪存，或其它存储器技术，CD-ROM，数字化多用途光盘(DVD)或其它光学磁盘存储，磁性磁带盒，磁性磁带，磁性磁盘存储或其它磁性存储设备，或能被使用来存储所需信息和能被计算机110访问的任何其它介质。通讯介质典型的包含计算机可读指令，数据结构，程序模块或在一个被调制数据信号中的其它数据例如一个载波或其它传送机制并且包括任何信息传递介质。术语“被调制的数据信号”意指一个信号，它具有一个或多个它的特征集或在如信号中编码信息这样一种方式中被改变。作为例子，和没有限制的，通讯介质包括有线介质例如一个有线网络或直接有线连接，和无线介质例如声音的，RF，红外线和其它无线介质。上面任何的结合也将被包括在计算机可读介质的范围内。
系统存储器130包括以易变的和/或不易变的存储器例如只读存储器(ROM)131和随机存取存储器(RAM)132的形式存在的计算机可读介质。一个基本的输入/输出系统133(BIOS)，包含帮助在计算机110中的组件之间转移信息的基本例行程序例如在启动时，被典型的存储在ROM 131中。RAM 132典型的包含数据和/或能被立即访问和/或当前正被操作在处理单元120上的程序模块。作为例子，和没有限制的，图1举例说明了操作系统134，应用程序135，其它程序模块136，和程序数据137。
计算机110也可能包括其它可移动的和不可移动的，易变的和不易变的计算机存储介质。只作为例子，图1举例说明一个硬盘驱动器141从不可移动的，不易变的磁性介质中读取或写入，一个磁盘驱动器151从一个可移动的，不易变的磁盘152中读取或写入，和一个光盘驱动器155从一个可移动的，不易变的光盘156中读取或写入例如一个CD ROM或其它光学介质。使用在典型的操作环境中的其它可移动的/不可移动的，易变的/不易变的计算机存储介质包括，但不局限于，磁带盒，闪存卡，数字化多用途光盘，数字化录像磁带，固(体状)态RAM，固(体状)态ROM，和相似的。硬盘驱动器141典型的通过一个不可移动的存储器接口例如接口140被连接到系统总线121上，和磁盘驱动器151和光盘驱动器155通过一个可移动的存储器接口，例如接口150被连接到系统总线121上。
驱动器和上面讨论的在图1中举例说明的与它们关联的计算机存储介质，为计算机110提供计算机可读指令，数据结构，程序模块和其它数据的存储。在图1中，例如，硬盘驱动器141被举例说明为存储操作系统144，应用程序145，其它程序模块146，和程序数据147。值得注意的是这些部件可能相同于或不同于操作系统134，应用程序135，其它程序模块136，和程序数据137。操作系统144，应用程序145，其它程序模块146，和程序数据147在这里被给定不同的数字来至少阐明它们是不同的拷贝。一个用户可能通过输入设备输入命令和信息到计算机110，输入设备例如一个键盘162和指示设备161，一般指一个鼠标，轨迹球或触垫。其它输入设备(未显示)可能包括一个麦克风，操纵杆，游戏垫，圆盘式卫星电视天线，扫描仪，或相似的。这些和其它的输入设备经常通过被连接到系统总线121上的一个用户输入接口160被连接到处理单元120，但可能通过其它接口和总线结构被连接，例如一个并行口，游戏口或一个通用串行总线(USB)。一个显示器191或其它类型的显示设备也通过一个接口例如一个视频接口190被连接到系统总线121。除显示器之外，计算机也可能包括其它外围输出设备例如扬声器197和打印机196，这可能通过一个输出外围接口195被连接。本发明特殊的重要之处在于，能够捕获一序列图像193的一个照相机192(例如一个数字/电子静态或视频摄像机，或胶卷/照相扫描仪)也能被包括作为到个人计算机110的一个输入设备。此外，虽然只有一个照相机被描述，多个照相机能被包括作为到个人计算机110的一个输入设备。从一个或多个照相机来的图像193通过一个适当的照相机接口194被输入到计算机110。这个接口194被连接到系统总线121，从而允许图像被发送到或存储在RAM 132中，或与计算机110关联的一个其它数据存储设备中。然而，值得注意的是图像数据在不需要使用照相机192的情况下也能从任何上述的计算机可读介质中被输入到计算机110。
计算机110可能操作在一个使用逻辑连接到一个或多个远程计算机的网络环境中，例如一个远程计算机180。远程计算机180可能是一个个人计算机，一个服务器，一个路由器，一个网络PC，一个对等设备或其它通用网络节点，并且典型的包括关于计算机110的上述的许多或所有的组件，尽管只有一个存储器储存设备181在图1中已经被举例说明。在图1中描述的逻辑连接包括一个局域网(LAN)171和一个广域网(WAN)173，但也许还包括其它网络。这种网络环境在办公室，企业范围计算机网络，企业内部互联网，因特网中是普遍的。
当被使用在一个LAN网络环境中时，计算机110通过一个网络接口或适配器170被连接到LAN 171。当被使用在一个WAN网络环境中时，计算机110典型的包括一个调制解调器172或用来在WAN 173上建立通讯的其它办法，例如因特网。调制解调器172，可能是内置或外置的，通过用户输入接口160可能被连接到系统总线121，或其它合适的机制。在一个网络环境中，被描述的关于计算机110的或在其中一部分的程序模块可能被存储在远程存储器存储设备中。作为例子，和没有限制的，图1举例说明如存在于存储器设备181上的远程应用程序185。值得欣赏的是所示的网络连接是典型的和在计算机之间建立一个通讯链接的其它方法可能被使用。
典型的操作环境现在已经被讨论，这个描述部分的剩余部分将被专用于具体表达发明的程序模块的一个描述上。
2.0白色书写板捕获系统和方法
2.1系统结构
概念上，白色书写板捕获系统包括三个主要成分：一个捕获单元202，一个分析/处理服务器204，和浏览软件206，如在图2中所示。
1.捕获单元：捕获单元被使用来捕获白色书写板内容的图像并且记录与白色书写板内容产生联系在一起的音频。捕获单元被安装在会议发生的一个房间中。如在图3中所示，它包括一个数字照相机302，一个麦克风304，和一台个人计算机(PC)306。捕获单元拍摄白色书写板308的图像并且通过麦克风304记录存储到PC 306的音频。被拍摄的图像和音频都被做了时间标记。图像和音频采样在一个普通时钟上被获得，通常是系统时钟。普通时钟的时序与图像和音频采样相关联并且被存储作为它们的时间标记。
2.分析服务器：：分析服务器204位于一个中心位置并且分析和存储被记录的图像数据。在一个实施例中，在用户在捕获单元中停止记录之后，一个分析程序被自动的启用。在处理被记录数据之后，包含URL，其中会议记录可得到的的电子邮件被发送到注册的参与者。如果没有人注册，会议记录可能被张贴到一个公开可访问的互联网站点。
3.浏览软件：浏览软件206允许用户观看和回放记录的和被分析的会议数据。浏览软件206更适宜于作为一个环球网插件程序被提供使希望观看会议记录的用户能够安装。一旦安装完，用户能单击上述的URL启用软件来访问在分析服务器上的数据。
2.2图像获得
输入到白色书写板捕获系统的是一系列的静态数字图像。图4显示了这种图像的一个典型集合。图像序列被分析来确定何时和何地用户在书写板上书写和提取一序列的摘要贯穿一个会议的白色书写板内容的关键帧图像。
允许照相机通过一个计算机控制的任何相对高分辨率的照相机为了图像获得能被使用。照相机更适宜于安放在一个会议室的侧面或者背面。照相机被推向尽可能的接近白色书写板来得到有效分辨率的最大值。在安装之后照相机是静止的并且作出假设白色书写板不移动，所以白色书写板图像在整个捕获序列中是静止的。
如果一个被使用的照相机只有自动对焦模式，如果在白色书写板前的一个物体触发了照相机的自动对焦机制的关注，白色书写板变成了焦点没对准。这个问题能被减轻，通过尽可能的平行排列照相机的图像平面到白色书写板来将景象深度减到最少和/或将光圈减到最小来增加现场深度。实际上，在白色书写板捕获系统的一个工作实施例中只有1-2％的帧被观察到焦点没对准。
照相机尽可能快的拍摄图片并且传递图像到PC，较适宜于通过一个USB连接。一个JPEG图像在白色书写板捕获系统的一个工作实施例中大约每5秒被获得。曝光和白色均衡参数典型的保持不变。假设光线设置在一个会议中不改变，白色书写板背景的颜色将在一个序列中保持恒定。
发现略微曝光下的图像给出较好的颜色饱和度，将使稍后讨论的笔划提取过程更为准确。在记录之后的一个颜色均衡步骤可能被执行使浅灰色的白色书写板图像更为吸引人。
2.3图像序列分析
因为在书写板上书写的一个人是在数字照相机和白色书写板之间的视线中，他/她经常遮蔽白色书写板的一些部分并且在其它部分上投射阴影。有必要的在笔划，前景物体(例如，在书写板上书写的人)，和白色书写板之间区别。一旦分类结果已知，关键帧图像和一个索引可能被浏览软件使用。
不在一个每个像素级别上分析图像(尽管这可能被完成了)，白色书写板区域被划分为矩形单元以降低计算成本。单元尺寸被选择为大约与在书写板上的一个单一字符的期望尺寸相同(在一个工作实施例中，大约是1.5英寸乘1.5英寸，或25像素乘25像素)。因为单元栅格划分在输入序列中的每个帧为单元图像，输入可能被认为是单元图像的一个三维矩阵(例如，x，y，时间)。在输入图像已经被校正之后，典型的执行每个图像被分割为单元。
如在图5中和如下所示的，分析输入图像序列的程序的一般处理动作如下：
1.校正在序列中每个图像的白色书写板区域(处理动作502)。
2.提取白色书写板背景颜色(处理动作504)。
3.划分在序列中的每个图像到相应的单元图像之后贯穿整个序列对于相同单元把单元图像聚集成组(处理动作506)。如果二个单元图像随着时间流逝被认为是相同的，它们被聚类在相同的组中。
4.分类每个单元图像作为一个笔划，一个前景物体，或白色书写板(处理动作508)。
5.空间上和时间上过滤单元图像以改进分类结果(处理动作510)。
6.使用分类结果提取关键帧图像(处理动作512)。
7.颜色均衡关键帧图像(处理动作514)。
在下面的段落中，如在图4中所示的运行例子被使用来举例说明输入图像序列分析过程。
2.3.1校正白色书写板图像
在传递图像序列到笔划提取过程之前，非白色书写板部分被修剪和图像被校正。因为在工作实施例中使用的照相机的镜头有相当低的光线失真，只不过有必要识别白色书写板的四个角(否则在校正图像之前通过传统的方法对于光线失真的纠正是必要的)。这通过在一个以前的校准步骤中单击在一个被捕获图像中的在白色书写板的四个角的位置上来被手工完成，尽管这可能被自动完成(例如，通过使用边缘检测)。用四个角，为在使用双三次插值的序列中的每个图像执行一个简单传统的双线性扭曲以获得在每个被捕获图像中的一个被修剪和被校正的白色书写板图像。
2.3.2计算白色书写板颜色
为了单元的分类，有必要知道对于每个单元的白色书写板的颜色是什么(就是说，没有任何东西写在它上的白色书写板本身的颜色)。白色书写板颜色也被使用为了在产生关键帧中白色均衡，所以它可能被准确的估计以确保关键帧图像的高质量。
为了计算白色书写板颜色二个策略已经被使用。第一个策略，在图6A中概括论述，是基于白色书写板单元具有随着时间流逝的最亮亮度和具有最小变化的(例如，在每个单元中几乎一致)假设。这是合理的因为笔划的颜色(红色，绿色，蓝色或黑色)将降低亮度。如在处理动作602中所示的，具有最亮亮度和最小变化的白色书写板单元被计算。无论如何，这可能产生在最终白色书写板颜色图像中的空缺。例如，如果一个单元或者包含一个笔划或者在整个序列中被一个前景物体遮蔽，为这个单元计算的白色书写板颜色将是不正确的(这个单元看来与白色书写板的其它不同，从而看上去像一个空缺)。到此为止，如在处理动作604中所示的，通过使用一个称为最小中值平方的技术(相似于如在下一个段落中描述的分离物检测方法)在白色书写板颜色图像中的任何空缺被发现。接着空缺被填满。(处理动作606)。为了填满一个空缺，它的邻近区域被搜索并且白色书写板颜色被设置成不是一个空缺的最接近单元的那个。这种策略通常运作的非常好，但是当一个人身穿白色圆领汗衫和/或手持一张白纸时，它会失败。图7的左图显示了从图4中的输入序列中计算的白色书写板颜色图像的结果，其中在一些帧中一个人手持一张白纸。可见被计算的白色书写板颜色被白纸所破坏。
确定白色书写板颜色的第二个策略在图6B中被显示并且更为复杂。假设随着时间流逝在每个单元中的像素的一个重要部分属于白色书写板。通过为每个单元搭建一个亮度直方图，具有一个高亮度值的相应于峰值的颜色很可能是对于这个单元的白色书写板颜色。因此，第一步骤为每个单元建立一个直方图并且计算峰值亮度(处理动作610到614)来在这种方式中计算一个初始的白色书写板颜色。这种技术工作即使在整个序列中一个单元包含一个笔划，但是当一个人身穿白色圆领汗衫和/或手持一张白纸或当一个单元总是被人或其它物体隐藏的情况下，它会失败。在这种情况下，被计算的白色书写板颜色图像包括分离物。下一个动作是检测任何分离物(处理动作616)。分离物检测基于一个称为最小中值平方的加强的技术。假设跨越白色书写板的颜色平滑的变化，通过求最小平方误差的中值，一个平面被适合在亮度Y或RGB空间中。颜色不跟随这个模型的单元被认为是分离物并且因此被抛弃，例如，它们被以空缺来作记号(处理动作618)。感兴趣的读者可以查阅附录来详细了解本技术。接着，如在处理动作620中所示，通过使用如在第一白色书写板颜色计算策略中相同的过程(处理动作620)来填满空缺。最后，为了更进一步改进结果，白色书写板颜色图像可能在RGB空间中通过局部适合一个平面来被过滤(处理动作622)。感兴趣的读者可以再一次查阅附录来详细了解。在相同的例子上用这种新技术获得的结果在图7的中图中被显示。如在左图所示的在用第一策略获得的结果上清楚的改进是可见的。作为对比，实际空缺的白色书写板在右图中也被显示。
2.3.3随着时间流逝把单元图像聚集成组
在会议中，每个单元的内容通常随着时间流逝而变化。对于每个单元，任何人都愿意聚类在时间序列中的所有单元图像到组中，其中每个组包含被认为随着时间流逝相同的单元图像。一个改进的标准交叉相关算法被使用来确定二个单元图像是否相同或不同。在随后，标准交叉相关技术被描述成使用图像的一个颜色成分，但它应用于所有的RGB成分。
假定有二个单元图像I和I’。让I和I’成为它们的中间颜色和σ和σ’是它们的标准偏差。标准交叉相关分数通过
Figure G031493009D00161
被给定，其中总和是遍历每个像素i，N是像素的总数。分数范围从-1(对于二个完全不相似图像)到1(对于二个完全一样的图像)。因为分数是在中间颜色被减去之后计算，它仍可能给定一个高值即使二个图像具有非常不相同的中间颜色。所以一个附加的测试被使用在基于Mahalanobis距离的中间色差上，它是通过
Figure G031493009D00162
被给定。概括的说，二个单元图像I和I’如果和仅仅如果d＜Td和c＞Tc，才被认为是相同的因而它们应该被放到相同的组中。在白色书写板捕获系统的一个工作实现中，Td＝2和Tc＝0.707被成功使用。
2.3.4分类单元
单元分类过程的动作确定一个单元图像是否是一个白色书写板，一个笔划，或一个前景物体。下列探索法被使用：1)一个白色书写板单元在颜色中是统一的并且是灰色的或白色的(例如，RGB值几乎是相同的)；2)一个笔划单元主要是用一个或二个主要颜色混和的白色或灰色；3)一个前景物体没有上面的特性。因此分类确定当前单元图像的颜色分配和白色书写板颜色分配是否相同，或不相同但具有强的重叠，或完全不同。Mahalanobis距离再一次被使用，如下所述。
注意到白色书写板颜色已经如先前描述的一样被计算。RGB的一个颜色成分再一次被作为一个例子使用。让成为白色书写板颜色和σw成为标准偏差(它是一个小的值，因为一个白色书写板单元几乎是统一的)。让和σ成为当前单元图像的中间和标准偏差。如果和仅仅如果和σ/σw≥Tσ，单元图像被分类作为一个白色书写板单元；如果和仅仅如果和σ/σw≥Tσ，单元图像被分类作为一个笔划单元；否则，它被分类作为一个前景物体单元。在白色书写板捕获系统的一个工作实施例中，Tw＝2和Tσ＝2被成功使用。
2.3.5过滤单元分类
上面分类过程只使用在一个单个单元中的颜色信息。通过使用在单元组中空间和时间关系能够获得更为准确的结果。
2.3.5.1空间过滤  关于空间上过滤，基本的观察是前景单元不应该空间上看起来是分离的因为一个人通常阻挡了白色书写板的一段连续的区域。在空间上过滤中，在每个单个的白色书写板图像上二个操作被执行，如在图8中所示的。首先，被分离的前景单元被识别和重新分类作为笔划(处理动作802)。第二，立即被连接到一些前景单元的笔划单元被重新分类作为前景单元(处理动作804)。第二操作的一个主要目的是在前景物体的边缘上处理单元。如果这样一个单元包含笔划，第二操作将不正确的分类这个单元作为一个前景物体。幸运的是，无论如何，下面的时间上过滤改正这个潜在的误差。
2.3.5.2时间过滤  关于时间上过滤，基本的观察是当笔划被删除后事实上不可能在完全相同的位置中写相同的笔划。换句话说，如果对于任何给定的单元，二个不同帧的单元图像包含相同的笔划，那么在二帧之间的所有单元图像必须具有相同的笔划除非那儿有一个前景物体阻挡单元。这个观察对于分割前景物体是非常有用的。考虑到在前面部分中的例子其中在前景物体的边缘上的一个笔划单元不正确的被分类作为一个前景单元。在时间上过滤步骤上，这个单元将被分类作为一个笔划只要在前景物体阻挡它之前和之后它被曝光到照相机。
图9显示对于在图4中的采样图像的分类结果，其中笔划是在绿色中，前景是在黑色中，和白色书写板是在白色中。
2.3.6关键帧图像提取
关键帧图像包括在白色书写板上的所有重要内容并且适合作为记录的一个摘要。用户将期望关键帧图像具有下列特性：1)它们应该捕获在书写板上的所有重要内容；2)关键帧的数目应该保持在一个最小值；3)它们应该只包含笔划和白色书写板，但在前面没有人；4)为了容易剪贴和打印，它们应该具有统一的白色背景和饱和的笔的颜色。
关键帧提取过程使用从先前描述的处理动作中的单元图像分类结果。过程首先决定在序列中的那个帧应该被选择作为关键帧；接着它重建关键帧图像。这在下面被详细描述。
2.3.6.1关键帧选择  在选择关键帧中没有唯一的解决办法——正像没有单一的方法来摘要一个会议。在大多数一般意义上而言，参考图11，已经被分类为笔划，前景或白色书写板的输入图像单元被使用(处理动作1102)。会议被首先分为几个章节(主题)(处理动作1104)。一个书写板内容的一个重要部分的擦除通常表示主题的一个变化所以它被使用作为章节的一个分割物。接着对于那个章节建立表示白色书写板内容的一个关键帧图像(处理动作1106)。正好在一个重要擦除开始之前的帧被选择作为关键帧来确保内容被保存在这些帧中。在图12中显示的详细过程依下列各项运作：
1.序列中对于每个帧的笔划单元的数目被计数(处理动作1202)。一个笔划单元图像可能横越多个帧——对于那些帧的每一个，它都被包括在计数中。图10显示在一个实例会议中(图4)笔划计数对比于帧数的图形表示。在图中的一个上升表示更多的笔划被写在书写板上，在那里在图中的一个下降表示一些笔划被擦除。图表有不少噪声。有二个原因：1)用户正在书写板上不断的作出小的调整；2)分类结果包含小的误差。
2.使用对于不同的帧的笔划计数。笔划计数的峰值和谷值被确定(处理动作1204)。如果在每个下降上产生一个关键帧，十二个关键帧将形成。为了保持关键帧的数目为最小值，数据被过滤只保留重要的擦除事件。过程忽视了在数据中的波动除非在相邻的峰值和谷值之间的差异大于一个规定的阈值(处理动作1206)。最大笔划计数的百分之二十被成功的使用在系统的一个工作实施例中。
3.接着在数据中的谷值被使用来将会议划分成章节，在一个章节中包含峰值的帧被选择作为表示章节的关键帧(处理动作1208)。
2.3.6.2图像重建  一旦帧被选择，有必要及时地重建对应于在此时的这些点上白色书写板所相像的图像。然而，人不能简单的使用从输入序列中来的未加工的图像，因为它们可能包含前景物体。通过收集在帧中的单元图像，图像被重建。参考图13，输入划分成为单元图像的帧和划分成为单元图像的关键帧(处理动作1302)。依赖于单元分类法，有三种情况：
1.如果一个关键帧单元图像是白色书写板或笔划，它自己的图像被使用(处理动作1304，1306)。
2.如果关键帧前景单元图像在一个笔划的范围中(例如，人遮蔽了在书写板上的笔划。这在分析阶段中通过时间上过滤被确定)，这个单元图像被从邻近帧中来的笔划单元图像所代替(处理动作1308，1310)。
3.否则，如在处理动作1312和1314中所示的，一个前景物体必须正覆盖在这个单元中的白色书写板背景，并且如前面讨论的在被计算的白色书写板颜色中被填满。
2.3.7关键帧颜色均衡
重建过程从白色书写板图像中移除了人物，但是图像仍看上去像从输入序列中来的未加工的图像：浅灰色的和噪声的。它们能被颜色均衡以产生一个更好的图像。过程包括二个步骤：
1.使背景为统一的白色，并且增加笔划的颜色饱和度。对于每个单元，如前面讨论的被计算的白色书写板颜色，被使用来计算在单元中每个像素的颜色。(处理动作1402)。
2.减少图像噪声。根据一个S形曲线在关键帧中的每个像素的每个颜色区域的值被重新映射(处理动作1404)。小于255/2的亮度被按比例缩小到0而大于255/2的亮度被按比例提高到255。
章节的开始和结尾时间和它们的关键帧图像的文件名被存储在连同笔划的时间标记一起的索引中。一个笔划的时间标记是这个笔划出现的第一个帧。这个信息已经在节2.3.3中被计算。
2.4浏览器操作和用户界面
2.4.1概述
在分析服务器处理图像序列和产生索引和关键帧图像之后，它将到被处理记录的URL发送电子邮件到注册会议参与者。用户可以点击URL来启用一个浏览软件。浏览软件的目的在于允许用户浏览关键帧图像和快速访问与一个特殊主题相关联的音频。
浏览软件的用户界面(UI)在图15中被显示。UI的主要区域包括一个关键帧平面1504，其中关键帧略图1502(关键帧图像的图形表示)被显示，浏览器的主显示平面用来显示从照相机来的未加工的图像1512的一个合成和当前的关键帧图像1502。关键帧平面1504也结合了一个背景透明的滑块1516，它允许用户在主显示平面1506中调节被显示的图像从未加工的输入图像到关键帧图像。当前笔划1510(已经被写在会议回放时间线中的笔划)，比将来笔划1508呈现得更暗和更明显，将来笔划还没有被写在主显示平面的会议回放时间线中。参与者将写的将来笔划1508被显示在一个类似于幻影的风格中。这个视觉显示技术在稍后将作更为详细的描述。
一个VCR和标准时间线控制1514在浏览器UI的较低于主显示平面1506的左下角中被提供。VCR和标准时间线控制1514允许用户在图像/音频序列中顺序地向后或向前、慢或快、或者停止，非常像在一个典型的VCR上发现的控制。时间线条1518按图形方式把音频/图像序列的长度显示为一个条，并且提供会议回放的开始时间，结束时间和当前时间的用数字表示的值。在这个条1518上的一个指针1520能被选中，并且被向前和向后拖动以线性地在图像/音频序列中顺序向前和向后。
值得注意的是即使上述的一些UI组件的位置被给定，这不是指被限定。这些UI组件可能或者单独的或者与其它组件结合地在显示的任何位置中被呈现。
2.4.2对会议数据的非线性访问
对记录音频的二个级别的非线性访问在视觉索引的上下文中被提供。
非线性访问的第一级别是通过关键帧略图1502的使用。每个关键帧略图在显示上具有与它关联的一个时间范围。用户能单击一个关键帧略图从而跳到对于相应关键帧的音频的起始点(例如，章节的开始)。
对记录音频访问的第二级别是通过在每个关键帧中笔划的使用。当在主窗口1506中指针悬在一个笔划单元(当前笔划1510或将来笔划1508)上时，指针被变为一个“手”以表示它是可选的(例如，用一个鼠标“可单击的”)。用一个鼠标或其它输入设备在单元上双击使应用程序成为音频回放模式。回放开始于当被单击的笔划单元被写入时的会议时间。当相同图案的单元图像在序列中出现时，被单击笔划被写的时间是最早的时间。主窗口在那个时间开始显示图像。用户仍能单击其它的笔划单元从而跳到会议的另一部分。
结合VCR和标准时间线控制1514，这二个级别的视觉索引允许用户在一个非常有效的方式中浏览一个会议。
2.4.3图像观看
如在图15中所示，关键帧图像的略图(例如，1502)被列在关键帧平面1504中。用一个鼠标指针或其它输入设备选择的略图1502的一个使相应的关键帧图像到在左边的主窗口1506并且使应用程序成为图像观看模式，其中用户能使用缩放控制按钮1522来放大和缩小，在图像中读取文本和图表，或切割和粘贴图像的一部分到其它文档。另外，全部的关键帧能被切割和粘贴到其它文档或被打印作为笔记。
2.4.4白色书写板内容可视化
给定关键帧图像和时间标记信息，在任何给定时间上相应于白色书写板内容的一个图像可能被重建。如果使用时间线控制1514根据音频回放时间每个帧的图像被呈现，主窗口像一个电影一样回放白色书写板内容。使用这种方法，用户具有会议的听觉的和视觉的上下文内容。但他们不能及时单击使它们向前的任何笔划(将来笔划1508)因为这些笔划还没有在主窗口中被呈现。
在白色书写板捕获系统的最初的实现中，将来笔划在一个淡色的缺少颜色或密度的模式中被显示。然而，在一个短的试验时期之后，浏览器的用户经常混淆将来笔划和没有被干净擦除的笔划。关于界面的另一个抱怨之处在于虽然用户喜欢没有人在前的白色书写板图像，但他们有时也想知道谁在书写笔划。
在反复设计之后，在图16中显示的下列可视化过程，专注于对所有上述的关注点做出决定。这个过程的处理动作如下：
1.使用当前章节和时间标记信息的关键帧图像呈现当前的白色书写板内容(处理动作1602)。
2.呈现将来笔划，转换结果到灰度色标，并且使用一个Gaussian过滤器把它们弄得模糊不清(处理动作1604)。
3.累加从步骤1和步骤2中来的图像(处理动作1606)。
4.Alpha混和从步骤3来的图像和从输入序列中来的被校正的图像(处理动作1608)。被校正图像是从输入序列中来的相应图像(如在图4中所示的)但有被修剪的非白色书写板区域，跟随着一个重新映射到一个矩形形状。用户能用一个GUI滑块(图15的1516)从0(只显示被呈现的关键帧白色书写板图像)到1(正确的显示原始被校正的图像)来控制alpha值。被呈现的关键帧白色书写板图像是前景物体被移除的，并且由被它遮蔽的笔划代替的关键帧图像。
值得相信的是这是可视化的一个非常有帮助的方法，因为1)当前的和将来的笔划在呈现的白色书写板图像上被显示，允许用户向后跳到过去和向前跳到将来，和2)混和的被校正的输入图像和关键帧，增加了前景物体因而给出更多的上下文。参看图15，它是用alpha＝0.8的这样一个可视化的例子。
2.5安全性
会议参与者经常忧虑记录一个会议，因为机密的信息可能被非计划内的人观看。为了他们，保持被记录数据的安全性是一个关注点。为了专注于这个关注点，发展了一个简单的基于令牌访问的安全模型。这个过程的处理动作被显示在图17中。
在白色书写板捕获系统中，会议参与者被要求在会议记录的开始向捕获软件注册(处理动作1702)。他们能或者在计算机屏幕上的一个对话框中填写他们的电子邮件别名或者为了加速过程，插入他们的公司识别卡到一个智能卡读卡机来注册。
所有记录了的会议存在于一个互联网服务器上。如果没有人注册，会议被张贴在一个公开可访问的互联网页面上(处理动作1706)。如果至少有一个参与者注册，在会议记录和分析之后产生一个访问令牌(处理动作1708)。令牌是包含一个唯一会议标识符的一个长随机产生的字符串。包含令牌的URL被发送电子邮件到注册的参与者(处理动作1710)。接受者到URL启用互联网浏览软件来回顾会议(处理动作1712)。他们也能转寄URL到没有参加会议的人。
这种简单的用模糊安全性的模式看上去工作的很好。其它安全性方法仍然能够被使用。
除上面讨论的白色书写板捕获系统的安全性特征之外，当记录会议时，一个保密模式也是可以用到的。会议参与者说的或写的一些东西如果不希望被记录，将存在一个特征以擦除先前的15秒(尽管另一个指定的时间时期可能被使用)的图像和音频数据。这种擦除通过按或者一个实在的或者GUI按钮来开始。
2.6另一个实施例
上面描述的基本白色书写板捕获系统可以与许多其它技术和设备结合在一起来呈现另一个实施例。下面讨论的不同实施例可能被单独的或结合在一起使用。
在一个这样的实施例中，在关键帧上实行传统的光学字符识别(OCR)，来提供可编辑的文本，很容易被用来建立文档或演讲视图。
在另一个实施例中，传统的音频识别软件被使用来转换被捕获数据的音频部分到文本。这允许很容易地建立会议记录和其它文档。它也提供一个相对不太昂贵的方法以提供会议信息到听力损伤者。
白色书写板捕获系统通过，例如，使用具有一个麦克风的一台笔记本电脑和装配在三角架上的一个照相机也能被制成是便携式的。这种设置只需要一个附加的初始校准来确定相对于白色书写板的照相机的位置。这个校准能通过手工确定在图像中平面的四个角被手工的，或通过使用例如边缘检测这样的传统方法被自动的执行。
白色书写板捕获系统的分析软件通过使用笔跟踪的白色书写板系统也能被使用来确定关键帧从而推断白色书写板内容。因为在这些系统中笔坐标的历史记录被典型的捕获在矢量形式中，在任何给定时刻上的在白色书写板上的内容可能在稍后被重建。使用具有这样一个系统的白色书写板捕获系统分析软件简化了分析过程。白色书写板背景颜色的确定是不必要的，也不必要白色书写板区域的校正，不需要空间或时间上过滤，并且白色书写板单元的分类变得较为简单因为单元图像将或者是笔划或者是白色书写板，因为没有前景物体将干扰写在白色书写板上的文本。单元“图像”现在被从在白色书写板区域上笔的位置推断的内容中得到。这个发明的实施例主要是把单元“图像”聚集成组，如在图5中被讨论的处理动作506，分类每个单元作为一个笔划或白色书写板单元相似于处理动作508除了没有前景单元之外，并且使用分类结果来提取关键帧图像(处理动作512)。结果能用低带宽和小存储要求来传送和存档。另外，OCR也能在这个实施例中被使用来将被捕获的关键帧转化为文本。
另外，在白色书写板捕获系统的一个工作实施例中，系统的帧频被商业可用的静态照相机的帧频所限制。为了达到较高的帧频，一个高分辨率视频摄像机例如一个HDTV摄像机能被使用。
还在另一个实施例中，白色书写板捕获系统结合手势识别来使用手势命令。例如，在白色书写板上的某处一个命令方框能被写入。当用户移动或指向方框时，系统使用手势识别来时间标记在做手势的特殊时间上的图像。
在基本应用中，分析过程假定白色书写板背景的颜色在一个输入序列中保持恒定。然而，一个已知的颜色补丁能被安装在白色书写板的顶部上，在那里没人能从摄像机来遮蔽它。接着基于这个容易检测补丁的已知颜色特性，软件能在每个帧的基础上为不同的照明条件调节照相机曝光参数。这依照下列来完成。如果曝光参数保持恒定，在房间中用不同的照明条件补丁的颜色在被捕获图像中可能是不同的。已知在先前帧中补丁颜色是什么，照相机可能调节它的曝光参数。补丁的颜色可能保持在一个指定的范围内和白色书写板区域也将是这样的。
3.0系统性能和使用
3.1背景
白色书写板捕获系统的设计目的在于它将1)与任何现存的白色书写板一起工作；2)自动的和可靠的捕获白色书写板内容；和3)使用白色书写板内容作为一个视觉索引来有效的使用系统浏览一个记录的会议。
被比作使用一个传感机械装置或一个电子白色书写板的白色书写板捕获系统，白色书写板捕获系统也有一系列的独特的技术挑战。首先，白色书写板背景颜色不是典型的被预先校准的(例如，通过拍摄一个空白的白色书写板的一个照片)因为每个房间有几个会议进行中会改变的照亮设置。其次，经常地，人们在数字照相机和白色书写板之间移动，这些前景物体遮蔽了白色书写板的一些部分并且在它上面投射了阴影。在一个序列中，可能没有一个帧是完全不遮蔽的。这些问题不得不被处理以计算时间标记和提取关键帧。
3.2系统部件
在白色书写板捕获系统的设计中，原型系统被建立和反复改进。三个会议室被配备了一个白色书写板捕获系统。关于这三个房间的信息被列在下面的表1中。采样图像(80乘80像素，大约在书写板上的96点字体)在图18A中被显示(图像从左到右分别相应于房间1，房间2和房间3)。
表1关于三个安装地点的信息
  房间1   房间2   房间3
  书写板面积(英尺)   4×3   8×5   12×5
  关键帧图像面积(像素)   1200×900   2400×1500   2400×1000
  分辨率(dpi)   25   25   16.7
在那些房间中的白色书写板尺寸不同，并且所产生的关键帧图像的质量也一样不同。如从采样图像中能被可见的(图18A)，在一个12’×5’书写板上的笔迹(很右边)比在其它二个书写板上的笔迹更为模糊失真因为对于一个四百万像素的输入图像分辨率是最高的了。不过，它们仍相当清晰的。使用一个12’×5’白色书写板(图18B)从一个会议中来的几个被选择的帧和相应的关键帧图像(图18C和18D)也被显示。
因为系统和任何现存的白色书写板一起工作，不需要特殊的笔和擦除器，一个直接捕获装置，一个静态照相机，被选择来捕获白色书写板内容。在白色书写板捕获系统的典型的工作实施例中，一个使用四百万像素的
Figure G031493009D00251
PowerShot G2数字静态照相机被使用。这个照相机提供2272像素乘1704像素的图像——相等于对于一个6’×4’书写板的31.6dpi。选择这个照相机的一个重要的理由是由于其软件开发工具包的实用性，使客户的软件解决方案被写得能从PC来控制照相机。软件能在一个每次拍照的基础上可视地指定所有的照相机参数。因为系统直接拍摄白色书写板的照片，笔划的登记不会不准确。只要在擦除之前用户打开系统，内容就能被保存。
分析服务器在一个Pentium III 800Hz双CPU的PC上运行。分析过程对于每个小时的会议时间大约花费20分钟。使用MP3编码对于16比特11KHz单音频的存储要求大约是15Mb每小时。使用运动JPEG压缩的输入图像序列需要大约每小时34Mb。
安装在三个会议室的系统频繁的被不同的小组使用。在6个月过程内，108个会议总共48小时被记录-平均每个会议27分钟和每个星期4.5个会议。每个会议的关键帧平均数目是2.7。关键帧图像被存储在JPEG格式中。平均图像大小是51.8Kb。大小范围从17Kb到150Kb。因为在统一的白色背景上的JPEG压缩工作非常好，图像大小更涉及用户在书写板上书写的多少而不是图像大小。
系统的所有用户相信对于广泛使用一个白色书写板的会议系统是非常有用的。关键帧图像和视觉索引的性能不但允许参与者在一个随后的时间上回顾一个会议，也允许没有参加会议的用户从实际会议时间的一个片断中理解会议的要点。
一些用户发现了新的方法来使用最初没有打算使用的系统。举通常不需要在白色书写板上书写的情况的会议为例。人们仍然打开白色书写板捕获系统。当轮到某人讲话时，管理者在书写板上写下他/她的名字，所以通过单击在关键帧图像中的名字，讲话片断就能够随后在记录的音频中被很容易的发现。另一个例子是在一个集体讨论会议中，当有人想到一个好的想法，他在书写板的一方写一个星号并且大声的讲述它。因而音频通过在星上单击就能被随后重新找到。
前面描述的发明已经展现了，以达到图解和描述的目的。并不在意于详尽的或限制发明在被披露的精确的形式中。按照以上的理论许多更改和变化是可能的。意图在于发明的范围没有被这个详细的描述所限制，而是更适合于被所附的权利要求书所限制。
附录：基于平面的白色书写板颜色估计
只有颜色图像的一个成分被考虑，但以下描述的技术应用在所有成分(R，G，B，或Y)。每个单元i被它的图像坐标(xi，yi)定义。它的颜色被zi(z＝R，G，B，或Y)指定。颜色被计算如在节2.3.2中描述的，并且因此是干扰的甚至是不正确的。从用会议室的经验上，白色书写板的颜色经常的变化。它通常在上面的部分中特别明亮而在趋向下面的部分时变暗，或者在一个上面的角上特别明亮而在趋向相对下面的角时变暗。这是因为灯光是倚着天花板安装的。因此，对于一个局部区域(例如，7×7单元)，一个平面能准确的适合颜色；对于整个图像，一个平面适合依然是合理的，并且提供一个很有效的指示一个单元颜色是否是一个分离物。
一个平面能被表示为ax+by+c-z＝0。一组只在zi中具有噪音的3D点{(xi，yi，zi)|i＝1，...，n}被给定。平面参数p＝[a，b，c]T能通过求以下目标函数的最小参数值来被估计：F＝∑ifi 2，其中fi＝axi+byi+c-zi。最小平方解由p＝(ATA)-1ATz给定，其中和z＝[z1，...，zn]T。一旦平面参数被确定，单元i的颜色由由所代替。
最小平方技术对于误差数据(分离物)不是很鲁棒性。如先前提及的，被最初计算的白色书写板颜色不包含分离物。为了检测和抛弃分离物，对于整个白色书写板图像的一个适合一个平面的鲁棒性技术被使用。最小中值平方[11]，一个非常鲁棒性的能够容错几乎一半数据是分离物的技术被使用。这个主意是通过求最小中值来估计参数，而不是平方误差的和，例如，m随机二次采样被绘制(3是确定一个平面的最小数字)。每个二次采样给出平面的一个估计。数字m应该足够大，所以m二次采样的至少一个是好的，可能性接近于1，就是说99％。如果假设一半的数据可能是分离物，那么m＝35，因此，随机采样能非常有效的被完成。对于每个二次采样，平面参数和平方误差的中值fi2被计算。给出平方误差的最小中值的平面参数被保留，用M表示。接着被称为鲁棒性的标准偏差σ＝1.4826√M(当没有分离物出现时，系数被使用来达到相同的效率)被计算。一个点i当它的误差|fi|＞2.5σ时，它被认为是一个分离物并且被抛弃。最后，使用先前描述的最小平方技术使一个平面匹配于好的点。一个分离物单元i的颜色由
Figure G031493009D00274
所代替。

Claims (58)

1.一种用来摘要和索引视听内容的方法，其特征在于，包括以下的处理动作：
用一个照相机来捕获在一个非电子白色书写板上书写的内容的图像序列；
记录与图像序列相关联的音频信号；和
分析图像序列来分离摘要所述书写板内容的关键点的关键帧，其中所述分析处理动作包括下列处理动作：
校正在图像序列中的每个图像中的白色书写板的一个视图；
提取白色书写板背景颜色；
把图像序列的每个图像划分成单元，每个单元表示一个单元图像；
对于随着时间流逝的每个单元，贯穿整个图像序列把单元图像聚集成组；
把每个单元图像分类为笔划、前景物体或白色书写板单元；和使用分类结果提取关键帧图像。
2.如权利要求1所述的方法，其特征在于，还包括把所述音频记录和所述关键帧相关联。
3.如权利要求2所述的方法，其中所述音频信号通过与所记录的音频和图像序列两者均相关的时间标记而与所述图像序列相关联。
4.如权利要求3所述的方法，其中把音频信号和所述图像序列相关联包括处理动作：
在图像被捕获的时间上用一个公共时钟来时间标记所述图像序列；
在音频信号被记录的时间上用一个公共时钟来时间标记所述音频信号；和
使用所述公共时钟的时间标记把图像序列和音频信号相关联。
5.如权利要求3所述的方法，其特征在于，还包括在所述图像序列中的一个关键点上访问所述图像序列和所述相关联的音频信号。
6.如权利要求5所述的方法，其特征在于，所述关键帧用来选择在所述序列中的所述关键点。
7.如权利要求1所述的方法，其特征在于，还包括空间上过滤单元图像来改进分类结果的处理动作。
8.如权利要求1所述的方法，其特征在于，还包括时间上过滤单元图像来改进分类结果的处理动作。
9.如权利要求1所述的方法，其特征在于，还包括对关键帧图像进行颜色均衡来提高图像质量。
10.如权利要求1所述的方法，其特征在于，校正所述白色书写板还包括：
在一个图像中指定所述白色书写板的四个角；
修剪每个图像的任何非白色书写板区域；和
使用双三次插值为每个白色书写板执行一个双线性的扭曲到一个矩形形状以在图像序列的每个被捕获图像中获得一个被修剪和被校正的白色书写板图像。
11.如权利要求1所述的方法，其特征在于，用来提取白色书写板背景颜色的处理动作包括：
确定具有最亮亮度和最小变化的白色书写板单元；
确定在白色书写板颜色中的任何空缺；和
通过搜寻在所述空缺周围的白色书写板单元并且把颜色设置为不是一个空缺的最接近单元的颜色从而填满每个空缺。
12.如权利要求1所述的方法，其特征在于，用来确定在白色书写板中的任何空缺的处理动作包括处理动作：
指定一个白色书写板单元可能的颜色范围；
检查每个白色书写板单元是否在所述颜色范围之外；并且
指定具有在所述范围之外的一个颜色的任何单元作为一个空缺。
13.如权利要求1所述的方法，其特征在于，用来提取白色书写板背景颜色的处理动作包括：
用直方图表示白色书写板图像亮度；
确定最高的白色书写板亮度；
指定相应于最高亮度的颜色作为初始的白色书写板颜色；
确定任何白色书写板分离物，所述分离物表示误差数据；
把任何分离物标记为空缺；和
通过搜寻在空缺周围的单元并且把颜色设置成不是一个空缺的最接近
单元的颜色从而填满每个空缺。
14.如权利要求13所述的方法，其特征在于，还包括在填满每个空间之后过滤白色书写板颜色图像。
15.如权利要求14所述的方法，其特征在于，使用一个最小中值平方技术检测分离物。
16.如权利要求15所述的方法，其特征在于，最小中值平方技术包括下列处理动作：
通过使平方误差的中值最小，在亮度Y或RGB空间中匹配一个平面；
把不符合这个模型的单元指定作为分离物。
17.如权利要求14所述的方法，其特征在于，过滤所述白色书写板图像包括在红、绿、蓝颜色空间中匹配一个平面。
18.如权利要求1所述的方法，其特征在于，用来把每个图像划分为单元的处理动作包括把每个图像划分为矩形单元。
19.如权利要求1所述的方法，其特征在于，用来把每个图像划分为单元的处理动作包括把每个图像划分为单元，其中单元尺寸大约与书写板上的单个书写字符的尺寸相同。
20.如权利要求19所述的方法，其特征在于，单元尺寸相应于在白色书写板中的一个1.5英寸乘1.5英寸的区域。
21.如权利要求19所述的方法，其特征在于，单元尺寸由照相机分辨率和白色书写板尺寸所确定。
22.如权利要求19所述的方法，其特征在于，单元尺寸是1像素乘1像素。
23.如权利要求1所述的方法，其特征在于，用来把单元图像聚集成组的处理动作包括把被认为是随着时间流逝相同的单元图像聚集成组。
24.如权利要求23所述的方法，其特征在于，把被认为是随着时间流逝相同的单元图像聚集成组的处理动作包括通过使用一个标准化交叉相关技术以在一个时间上比较两个单元来确定单元图像是否相同的动作。
25.如权利要求24所述的方法，其特征在于，交叉相关分数范围从对于两个完全不相似图像的-1到对于两个完全一样的图像的1。
26.如权利要求25所述的方法，其特征在于，还包括应用一个Mahalanobis距离测试来确定两个单元是否为相同的一个处理动作。
27.如权利要求26所述的方法，其中通过d＝|I-I′|/(σ+σ′)给定的Mahalanobis距离测试；其中I是第一单元图像和I’是第二单元图像，I是第一单元图像的中间颜色，I′是第二单元图像的中间颜色，σ是从I来的标准偏差和σ′是从I来的标准偏差并且其中I和I’是两个单元图像，当且仅当d＜Td和c＞Tc，它们才被认为是相同的。
28.如权利要求27所述的方法，其特征在于，Td＝2和Tc＝0.707。
29.如权利要求1所述的方法，其特征在于，单元分类处理动作还包括：
如果RGB值近似地相同，把单元图像指定作为白色书写板单元；
如果所述单元用一个或两个主要颜色混和的白色或灰色，则把单元图像指定作为笔划单元；以及
如果单元图像没有白色书写板单元或笔划单元的特征，则把单元图像指定作为前景单元。
30.如权利要求1所述的方法，其特征在于，单元分类处理动作还包括：
确定当前单元图像的颜色分配；
确定相应的白色书写板单元的颜色分配；和
确定当前单元图像和相应的白色书写板单元的颜色分配是相同、还是不相同但具有很强的相似性、或者是完全不同。
31.如权利要求29所述的方法，其中，当且仅当|I-Iw|/(σ+σw)＜Tw和σ/σw＜Tσ时，单元图像被分类作为一个白色书写板单元，其中Iw是白色书写板颜色，σw是从Iw来的标准偏差，I是当前单元的中间颜色且σ是I的标准偏差；其中Tw＝2和Tσ＝2；否则，它被分类作为一个前景物体单元。
32.如权利要求7所述的方法，其特征在于，空间上过滤单元图像的处理动作包括下列的处理动作：
识别分离的前景单元；
把分离的前景单元重新分类作为笔划单元；
识别被连接到前景单元的笔划单元；和
把被连接到前景单元的笔划单元重新分类为前景单元。
33.如权利要求8所述的方法，其特征在于，时间上过滤单元图像的处理动作包括下列的处理动作：
估计随着时间流逝的每个单元来确定在它被分类作为一个前景单元之前和之后它是否包含相同的笔划单元；
如果一个单元在它被分类作为一个笔划单元之前和之后被分类作为相同的笔划单元，则把它分类作为一个笔划单元。
34.如权利要求1所述的方法，其特征在于，关键帧提取处理动作包括：
输入分类结果；
在图像序列中为每个帧计数笔划单元；
使用帧的笔划计数来确定笔划计数的峰值和谷值；
如果每个相邻的峰值和谷值之间的差异大于一个规定的阈值，则把谷值之间的数据指定作为章节并且把每个章节中的峰值指定作为表示章节的关键帧。
35.如权利要求34所述的方法，其特征在于，规定的阈值是全部笔划计数的百分之二十。
36.如权利要求34所述的方法，其特征在于，还包括重建所述关键帧图像的处理动作。
37.如权利要求36所述的方法，其特征在于，重建所述关键帧图像的所述处理动作还包括下列处理动作：
输入图像序列的被分类的单元图像和被划分为单元图像的关键帧；
如果一个关键帧单元图像被分类作为一个白色书写板图像或一个笔划图像，它的图像被呈现；
如果一个关键帧前景单元图像在一个笔划的范围之中，这个单元图像用来自序列中的邻近图像的笔划单元图像来被呈现；
如果关键帧单元图像不被分类作为一个白色书写板图像，一个笔划图像或在一个笔划范围内的一个前景单元，它作为一个白色书写板图像被填满呈现。
38.如权利要求9所述的方法，其特征在于，对关键帧图像进行颜色均衡以提高图像质量还包括下列的处理动作：
通过使用平均白色书写板颜色来测量在一个单元中的每个像素的颜色使背景为统一的白色并且增加笔划的颜色饱和度；和减少图像噪声。
39.一种用来捕获会议的音频和视频内容的一个系统，其特征在于，包括：
一个捕获系统，用来捕获写在一个白色书写板上的一数据图像序列和在一个会议中发生的与声音对应的音频信号；
一个分析服务器，用来分析提取写在白色书写板上的关键数据帧的图像序列并且把音频信号和关键数据帧相关联；和
一个浏览模块，用来观看被分析的会议关键数据帧和相关联的音频，其中分析服务器通过以下来识别关键数据帧：
校正在图像序列中的每个图像中的白色书写板的一个视图；
提取白色书写板背景颜色；
把图像序列的每个图像划分成单元图像；
对于随着时间流逝的每个单元，贯穿整个图像序列聚类相似的单元图像；
把每个单元图像分类为笔划、前景物体或白色书写板单元；和
使用分类结果提取关键帧图像。
40.如权利要求39所述的系统，其特征在于，捕获系统还包括：
一个照相机，被安置来捕获图像序列；
一个麦克风，来记录音频信号；和
一个计算机，用来记录图像序列和音频信号。
41.如权利要求40所述的系统，其特征在于，照相机是静态照相机和摄像机中的至少一个。
42.如权利要求40所述的系统，其特征在于，照相机推向尽可能接近于白色书写板来使分辨率最大。
43.如权利要求40所述的系统，其特征在于，照相机被尽可能与白色书写板平行排列以使景象深度最小。
44.如权利要求39所述的系统，其特征在于，
在记录开始之前一个或多个用户在捕获单元上注册一个用户标识符；
如果至少一个用户在捕获单元上注册，在事件记录和分析之后分析服务器产生一个访问令牌；
访问令牌和被分析的会议数据的计算机存储器位置被提供给注册的用户标识符；和
一个或多个用户访问被分析的事件数据的计算机存储器位置，来回顾被分析的会议数据。
45.如权利要求44所述的系统，其特征在于，用户标识符是一个电子邮件地址。
46.如权利要求44所述的系统，其特征在于，被分析的事件数据的计算机存储器位置是一个因特网网络站点的一个地址。
47.如权利要求39所述的系统，其特征在于，还包括在所述捕获单元中的一个保密特性，它允许一个用户擦除至少以下之一：
序列图像的一部分；和
音频的一部分。
48.如权利要求47所述的系统，其特征在于，所述保密特性通过按动一个图形用户界面按钮或者一个实际按钮来触发。
49.如权利要求39所述的系统，其特征在于，捕获系统是便携式的。
50.一种用来提取事件内容的方法，包括下列处理动作：
用一个照相机捕获写在一个非电子白色书写板上的内容的图像序列；
记录与图像序列相关联的音频信号；和
通过以下来分析图像序列来分离摘要所述书写板内容的关键点的关键帧；
校正在图像序列中的每个图像中的白色书写板的一个视图；
提取白色书写板背景颜色；
把图像序列的每个图像划分成单元；
对于随着时间流逝的每个单元，贯穿整个图像序列把单元图像聚集成组；
把每个单元图像分类为笔划、前景物体或白色书写板单元；和
使用分类结果提取关键帧图像。
51.如权利要求50所述的方法，其特征在于，分析处理动作还包括使用光学字符识别技术来从关键帧图像提供可编辑的文本。
52.如权利要求50所述的方法，其特征在于，分析处理动作还包括使用声音识别技术来把音频转换为文本。
53.如权利要求50所述的方法，其特征在于，捕获处理动作还包括使用手势识别技术。
54.如权利要求50所述的方法，其特征在于，所述捕获处理动作还包括：
安装已知颜色特性的一个颜色补丁在白色书写板的上方；
在所述图像序列中的一个图像中捕获所述颜色补丁；
确定在图像中被颜色补丁展示的颜色；
在所述图像序列中的下一个图像中捕获所述颜色补丁；
确定在所述下一个图像中被所述颜色补丁展示的颜色；
确定被补丁展示的颜色在图像和下一个图像之间是否已经改变了大于一个规定的阈值；和
如果展示的颜色超过了所述规定的阈值，则把照相机的曝光参数调节为一个设置，在照相机已经被设置为所述曝光设置时，所述设置使下一个图像中所述颜色补丁的颜色与所述图像中展示的颜色补丁的颜色相匹配。
55.如权利要求54所述的方法，其特征在于，所述把照相机的曝光参数调节为一个设置的处理动作对于每个被捕获的图像都执行。
56.一种用来提取一个会议的内容的系统，包括：
一个捕获系统，用于捕获写在一个白色书写板上的一数据序列，所述捕获系统跟踪笔位置以推断写在一个白色书写板上的内容并且记录与写在一个白色书写板上的所述内容相关联的音频信号；
一个分析服务器，用来分析图像序列，所述图像序列提取写在白色书写板上的关键数据帧并把音频信号与关键数据帧相关联。
57.如权利要求56所述的系统，其特征在于，所述分析服务器执行下列动作：
把白色书写板的每个区域划分为单元；
对于随着时间流逝的每个单元，贯穿整个被写的数据序列中相同的单元聚集成组；
把每个单元分类为笔划或白色书写板单元；和
使用分类结果提取关键帧图像。
58.如权利要求57所述的系统，其特征在于，白色书写板单元被划分成大约一个写入字符尺寸的单元。
CN031493009A 2002-06-19 2003-06-19 用于白色书写板和音频捕获的一个系统和方法 Expired - Fee Related CN1477590B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/178,443 2002-06-19
US10/178,443 US7260257B2 (en) 2002-06-19 2002-06-19 System and method for whiteboard and audio capture

Publications (2)

Publication Number Publication Date
CN1477590A CN1477590A (zh) 2004-02-25
CN1477590B true CN1477590B (zh) 2010-05-26

Family

ID=29734689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN031493009A Expired - Fee Related CN1477590B (zh) 2002-06-19 2003-06-19 用于白色书写板和音频捕获的一个系统和方法

Country Status (6)

Country Link
US (3) US7260257B2 (zh)
EP (1) EP1388794A3 (zh)
JP (1) JP4499380B2 (zh)
KR (1) KR100996787B1 (zh)
CN (1) CN1477590B (zh)
TW (1) TW200405260A (zh)

Families Citing this family (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US7299405B1 (en) * 2000-03-08 2007-11-20 Ricoh Company, Ltd. Method and system for information management to facilitate the exchange of ideas during a collaborative effort
US7653925B2 (en) 1999-11-17 2010-01-26 Ricoh Company, Ltd. Techniques for receiving information during multimedia presentations and communicating the information
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
JP5042437B2 (ja) * 2000-07-05 2012-10-03 スマート テクノロジーズ ユーエルシー カメラベースのタッチシステム
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
JP4112968B2 (ja) 2002-12-26 2008-07-02 富士通株式会社 ビデオテキスト処理装置
US20040153461A1 (en) * 2003-02-03 2004-08-05 Brown Mark L. System and method for collecting and disseminating information
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US7684624B2 (en) * 2003-03-03 2010-03-23 Smart Technologies Ulc System and method for capturing images of a target area on which information is recorded
US7593546B2 (en) * 2003-03-11 2009-09-22 Hewlett-Packard Development Company, L.P. Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7119816B2 (en) * 2003-03-31 2006-10-10 Microsoft Corp. System and method for whiteboard scanning to obtain a high resolution image
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7689712B2 (en) * 2003-11-26 2010-03-30 Ricoh Company, Ltd. Techniques for integrating note-taking and multimedia information
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
WO2005072239A2 (en) * 2004-01-21 2005-08-11 The Trustees Of Columbia University In The City Of New York Methods and systems for analyzing and summarizing video
US7657060B2 (en) * 2004-03-31 2010-02-02 Microsoft Corporation Stylization of video
US7659915B2 (en) * 2004-04-02 2010-02-09 K-Nfb Reading Technology, Inc. Portable reading device with mode processing
WO2005096760A2 (en) * 2004-04-02 2005-10-20 Kurzweil Technologies, Inc. Portable reading device with mode processing
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
KR101193698B1 (ko) * 2004-06-03 2012-10-22 힐크레스트 래보래토리스, 인크. 줌가능 사용자 인터페이스를 위한 클라이언트-서버아키텍처 및 방법
US7750892B2 (en) * 2004-06-04 2010-07-06 Polyvision Corporation Portable interactive communication systems
JP5074660B2 (ja) * 2004-08-30 2012-11-14 キヤノン株式会社 情報共有システム、情報共有方法及び制御プログラム
US8341143B1 (en) 2004-09-02 2012-12-25 A9.Com, Inc. Multi-category searching
US7873622B1 (en) 2004-09-02 2011-01-18 A9.Com, Inc. Multi-column search results interface
US20060059225A1 (en) * 2004-09-14 2006-03-16 A9.Com, Inc. Methods and apparatus for automatic generation of recommended links
JP2006127367A (ja) * 2004-11-01 2006-05-18 Sony Corp 情報管理方法、情報管理プログラムおよび情報管理装置
US7639401B2 (en) * 2004-12-15 2009-12-29 Xerox Corporation Camera-based method for calibrating color displays
US7639260B2 (en) * 2004-12-15 2009-12-29 Xerox Corporation Camera-based system for calibrating color displays
JP2006178749A (ja) * 2004-12-22 2006-07-06 Fuji Xerox Co Ltd 情報処理装置、ネットワークシステム、方法、プログラム
US7554576B2 (en) * 2005-06-20 2009-06-30 Ricoh Company, Ltd. Information capture and recording system for controlling capture devices
US8805929B2 (en) 2005-06-20 2014-08-12 Ricoh Company, Ltd. Event-driven annotation techniques
US7694214B2 (en) * 2005-06-29 2010-04-06 Microsoft Corporation Multimodal note taking, annotation, and gaming
WO2007007227A2 (en) * 2005-07-11 2007-01-18 Philips Intellectual Property & Standards Gmbh Method of controlling a control point position on a command area and method for control of a device
JP2007060028A (ja) * 2005-08-22 2007-03-08 Canon Inc 映像処理装置及びオブジェクト処理方法
JP2007060026A (ja) * 2005-08-22 2007-03-08 Canon Inc 映像処理装置及びオブジェクト特定方法
US20070078708A1 (en) * 2005-09-30 2007-04-05 Hua Yu Using speech recognition to determine advertisements relevant to audio content and/or audio content relevant to advertisements
US8509563B2 (en) 2006-02-02 2013-08-13 Microsoft Corporation Generation of documents from images
US7536201B2 (en) * 2006-03-29 2009-05-19 Sony Ericsson Mobile Communications Ab Motion sensor character generation for mobile device
KR20070113025A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치 및 이의 작동방법
US20090213086A1 (en) * 2006-04-19 2009-08-27 Ji Suk Chae Touch screen device and operating method thereof
KR101327581B1 (ko) 2006-05-24 2013-11-12 엘지전자 주식회사 터치스크린 장치 및 이의 작동방법
KR20070113018A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치 및 그 실행방법
KR101269375B1 (ko) * 2006-05-24 2013-05-29 엘지전자 주식회사 터치스크린 장치 및 이의 이미지 표시방법
KR20070113022A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 사용자 입력에 반응하는 터치스크린 장치 및 이의 작동방법
TW200805131A (en) * 2006-05-24 2008-01-16 Lg Electronics Inc Touch screen device and method of selecting files thereon
JP2007323285A (ja) 2006-05-31 2007-12-13 Fuji Xerox Co Ltd 電子装置、ネットワーク接続システム、接続方法及びプログラム
US8427344B2 (en) * 2006-06-02 2013-04-23 Anoto Ab System and method for recalling media
JP2008003968A (ja) * 2006-06-23 2008-01-10 Fuji Xerox Co Ltd 情報処理システム、情報処理方法及びプログラム
KR100856407B1 (ko) 2006-07-06 2008-09-04 삼성전자주식회사 메타 데이터를 생성하는 데이터 기록 및 재생 장치 및 방법
US7925978B1 (en) * 2006-07-20 2011-04-12 Adobe Systems Incorporated Capturing frames from an external source
US8245157B2 (en) * 2006-08-23 2012-08-14 Kelly Alan D Decision making and planning system, method, and software utilizing a taxonomic table of irreducible strategies or plays
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US9530142B2 (en) * 2007-02-13 2016-12-27 Claudia Juliana Minsky Method and system for creating a multifunctional collage useable for client/server communication
JP4469867B2 (ja) * 2007-03-27 2010-06-02 株式会社東芝 コミュニケーションの状況を管理する装置、方法およびプログラム
EP2135155B1 (en) 2007-04-11 2013-09-18 Next Holdings, Inc. Touch screen system with hover and click input methods
US20080255840A1 (en) * 2007-04-16 2008-10-16 Microsoft Corporation Video Nametags
US8194081B2 (en) * 2007-05-29 2012-06-05 Livescribe, Inc. Animation of audio ink
JP5149552B2 (ja) * 2007-06-22 2013-02-20 キヤノン株式会社 表示制御装置および表示制御方法
US8526632B2 (en) * 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US8165416B2 (en) * 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US8330787B2 (en) * 2007-06-29 2012-12-11 Microsoft Corporation Capture device movement compensation for speaker indexing
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US8237850B2 (en) 2007-08-27 2012-08-07 Sanyo Electric Co., Ltd. Electronic camera that adjusts the distance from an optical lens to an imaging surface
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
US8384693B2 (en) 2007-08-30 2013-02-26 Next Holdings Limited Low profile touch panel systems
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8326029B1 (en) * 2008-03-21 2012-12-04 Hewlett-Packard Development Company, L.P. Background color driven content retrieval
US9300912B2 (en) * 2008-03-28 2016-03-29 Microsoft Technology Licensing, Llc Software based whiteboard capture solution for conference room meetings
US8446297B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Grouping variable media inputs to reflect a user session
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US20090309853A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Electronic whiteboard system and assembly with optical detection elements
US8275197B2 (en) * 2008-06-14 2012-09-25 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
WO2009154597A1 (en) * 2008-06-19 2009-12-23 Thomson Licensing Adaptive video key frame selection
US8108777B2 (en) 2008-08-11 2012-01-31 Microsoft Corporation Sections of a presentation having user-definable properties
US8639032B1 (en) * 2008-08-29 2014-01-28 Freedom Scientific, Inc. Whiteboard archiving and presentation method
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
JP5493709B2 (ja) * 2009-03-13 2014-05-14 株式会社リコー 映像編集装置
US8380866B2 (en) 2009-03-20 2013-02-19 Ricoh Company, Ltd. Techniques for facilitating annotations
TWI384427B (zh) * 2009-04-29 2013-02-01 Utechzone Co Ltd Background establishment method and device
WO2010132380A1 (en) * 2009-05-13 2010-11-18 Einstruction Corporation Interactive student response and content sharing system
US10127524B2 (en) 2009-05-26 2018-11-13 Microsoft Technology Licensing, Llc Shared collaboration canvas
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
US8358834B2 (en) * 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US20110113486A1 (en) 2009-11-10 2011-05-12 James Anthony Hunt Credentialing User Interface for Gadget Application Access
US20110145725A1 (en) * 2009-12-11 2011-06-16 Richard John Campbell Methods and Systems for Attaching Semantics to a Collaborative Writing Surface
TWI408610B (zh) * 2009-12-30 2013-09-11 Ind Tech Res Inst 姿勢辨識方法與系統，及其電腦程式產品
US9749709B2 (en) * 2010-03-23 2017-08-29 Apple Inc. Audio preview of music
JP2011254442A (ja) * 2010-05-06 2011-12-15 Ricoh Co Ltd 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
US9171578B2 (en) 2010-08-06 2015-10-27 Futurewei Technologies, Inc. Video skimming methods and systems
US8773464B2 (en) 2010-09-15 2014-07-08 Sharp Laboratories Of America, Inc. Methods and systems for collaborative-writing-surface image formation
CN102446345B (zh) * 2010-09-30 2015-09-30 株式会社理光 一种对于白板彩色图像进行颜色增强的方法、装置及系统
JP6014995B2 (ja) * 2010-11-25 2016-10-26 株式会社リコー 画像処理装置、及び画像処理プログラム
JP2012134959A (ja) * 2010-11-29 2012-07-12 Ricoh Co Ltd 画像処理装置、及び画像処理プログラム
JP5740942B2 (ja) * 2010-12-01 2015-07-01 株式会社リコー 画像処理装置、及び画像処理プログラム
US9383888B2 (en) 2010-12-15 2016-07-05 Microsoft Technology Licensing, Llc Optimized joint document review
US9118612B2 (en) 2010-12-15 2015-08-25 Microsoft Technology Licensing, Llc Meeting-specific state indicators
US9864612B2 (en) 2010-12-23 2018-01-09 Microsoft Technology Licensing, Llc Techniques to customize a user interface for different displays
EP2490424B1 (en) * 2011-02-18 2020-04-08 BlackBerry Limited Method and system for recording a conference call
JP2012199911A (ja) * 2011-03-10 2012-10-18 Ricoh Co Ltd 情報処理装置
CN103460174B (zh) 2011-03-31 2017-12-12 惠普发展公司，有限责任合伙企业 增加用户界面元素
US8732739B2 (en) * 2011-07-18 2014-05-20 Viggle Inc. System and method for tracking and rewarding media and entertainment usage including substantially real time rewards
CA2843766A1 (en) 2011-08-16 2013-02-21 Destiny Software Productions Inc. Script-based video rendering
US9544158B2 (en) 2011-10-05 2017-01-10 Microsoft Technology Licensing, Llc Workspace collaboration via a wall-type computing device
US8682973B2 (en) 2011-10-05 2014-03-25 Microsoft Corporation Multi-user and multi-device collaboration
US9996241B2 (en) 2011-10-11 2018-06-12 Microsoft Technology Licensing, Llc Interactive visualization of multiple software functionality content items
US10198485B2 (en) 2011-10-13 2019-02-05 Microsoft Technology Licensing, Llc Authoring of data visualizations and maps
CN102521829A (zh) * 2011-11-22 2012-06-27 无锡海森诺科技有限公司 一种光学触控图像校定方法
WO2013104053A1 (en) * 2012-01-11 2013-07-18 Smart Technologies Ulc Method of displaying input during a collaboration session and interactive board employing same
JP5633823B2 (ja) * 2012-02-06 2014-12-03 日本電信電話株式会社 チャプタ代表画像生成装置およびその動作方法
NO341403B1 (no) * 2012-02-27 2017-10-30 Ablecon As Hjelpemiddelsystem for synshemmede
US8917934B2 (en) 2012-06-14 2014-12-23 International Business Machines Corporation Multi-cue object detection and analysis
US8904304B2 (en) * 2012-06-25 2014-12-02 Barnesandnoble.Com Llc Creation and exposure of embedded secondary content data relevant to a primary content page of an electronic book
CN103517020A (zh) * 2012-06-29 2014-01-15 联想(北京)有限公司 一种数据处理方法及装置、电子设备
JP6160305B2 (ja) * 2012-08-01 2017-07-12 株式会社リコー 画像処理装置、プログラム、画像処理システムおよび画像処理方法
WO2014066657A2 (en) * 2012-10-26 2014-05-01 Livescribe Inc. Correlation of written notes to digital content
IL223225A (en) * 2012-11-25 2013-11-28 Eliahu Antopolsky Meetings documentation system that allows access to documentation with the consent of participants only
US8805068B2 (en) * 2012-12-13 2014-08-12 Microsoft Corporation Automatic classification and color enhancement of a markable surface
US9892761B2 (en) * 2013-02-22 2018-02-13 Fuji Xerox Co., Ltd. Systems and methods for creating and using navigable spatial overviews for video
US10482777B2 (en) * 2013-02-22 2019-11-19 Fuji Xerox Co., Ltd. Systems and methods for content analysis to support navigation and annotation in expository videos
US10629188B2 (en) 2013-03-15 2020-04-21 International Business Machines Corporation Automatic note taking within a virtual meeting
US20140280186A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Crowdsourcing and consolidating user notes taken in a virtual meeting
CN104079862A (zh) * 2013-03-30 2014-10-01 深圳市潮流网络技术有限公司 一种视频电子白板业务实现方法及装置
KR102234688B1 (ko) * 2013-04-02 2021-03-31 쓰리엠 이노베이티브 프로퍼티즈 컴파니 노트를 관리하기 위한 시스템 및 방법
US9846526B2 (en) * 2013-06-28 2017-12-19 Verizon and Redbox Digital Entertainment Services, LLC Multi-user collaboration tracking methods and systems
JP2015022393A (ja) * 2013-07-17 2015-02-02 株式会社リコー 電子機器、画像データ表示処理方法、及びプログラム
EP3033732A1 (en) * 2013-08-16 2016-06-22 Thomson Licensing Method and apparatus for generating temporally consistent superpixels
JP2015069284A (ja) * 2013-09-27 2015-04-13 株式会社リコー 画像処理装置
EP3069502B1 (en) * 2013-11-14 2022-08-24 Microsoft Technology Licensing, LLC Image processing for productivity applications
JP6244846B2 (ja) * 2013-11-18 2017-12-13 株式会社リコー 情報処理端末、情報処理方法、プログラム、及び情報処理システム
JP6276570B2 (ja) * 2013-12-05 2018-02-07 キヤノン株式会社 画像音声再生システム及び画像音声再生方法とプログラム
JP2015171039A (ja) * 2014-03-07 2015-09-28 キヤノン株式会社 色処理装置およびその方法
US20150268825A1 (en) * 2014-03-18 2015-09-24 Here Global B.V. Rendering of a media item
US9471957B2 (en) 2014-03-28 2016-10-18 Smart Technologies Ulc Method for partitioning, managing and displaying a collaboration space and interactive input system employing same
GB201406070D0 (en) * 2014-04-04 2014-05-21 Eads Uk Ltd Method of capturing and structuring information from a meeting
US9706168B1 (en) * 2014-10-13 2017-07-11 Surround.IO Room conferencing system with heat map annotation of documents
KR102337157B1 (ko) * 2014-11-05 2021-12-08 삼성전자주식회사 전자 칠판 장치 및 그 제어 방법
EP3257021B1 (en) 2015-02-13 2019-11-27 Light Blue Optics Ltd. Image processing systems and methods
US10839494B2 (en) * 2015-02-13 2020-11-17 Light Blue Optics Ltd Timeline image capture systems and methods
US9530102B2 (en) * 2015-02-17 2016-12-27 The Mathworks, Inc. Multimodal input processing
US9910840B2 (en) 2015-04-03 2018-03-06 Microsoft Technology Licensing, Llc Annotating notes from passive recording with categories
JP6428509B2 (ja) * 2015-06-30 2018-11-28 京セラドキュメントソリューションズ株式会社 情報処理装置、及び画像形成装置
US9736139B2 (en) 2015-08-13 2017-08-15 Microsoft Technology Licensing, Llc Storage of captured sensitive data with bypass of local storage
CN105306861B (zh) * 2015-10-15 2017-03-01 深圳市鹰硕技术有限公司 一种网络教学录播方法及系统
US10417021B2 (en) 2016-03-04 2019-09-17 Ricoh Company, Ltd. Interactive command assistant for an interactive whiteboard appliance
US10409550B2 (en) * 2016-03-04 2019-09-10 Ricoh Company, Ltd. Voice control of interactive whiteboard appliances
US20170300752A1 (en) * 2016-04-18 2017-10-19 Yen4Ken, Inc. Method and system for summarizing multimedia content
JP2017215833A (ja) * 2016-06-01 2017-12-07 株式会社リコー 情報処理システム、情報処理方法、情報処理装置およびプログラム
US10296533B2 (en) * 2016-07-07 2019-05-21 Yen4Ken, Inc. Method and system for generation of a table of content by processing multimedia content
US9940698B1 (en) * 2016-09-30 2018-04-10 Konica Minolta Laboratory U.S.A., Inc. Cleaning writing boards based on strokes
CN106570919A (zh) * 2016-10-13 2017-04-19 深圳市创易联合科技有限公司 电子笔迹的保存方法和还原方法
US20180160200A1 (en) * 2016-12-03 2018-06-07 Streamingo Solutions Private Limited Methods and systems for identifying, incorporating, streamlining viewer intent when consuming media
US20180232192A1 (en) * 2017-02-14 2018-08-16 Samson Timoner System and Method for Visual Enhancement, Annotation and Broadcast of Physical Writing Surfaces
US10642478B2 (en) 2017-04-10 2020-05-05 Microsoft Technology Licensing Llc Editable whiteboard timeline
US10650813B2 (en) * 2017-05-25 2020-05-12 International Business Machines Corporation Analysis of content written on a board
CN108986036B (zh) * 2017-06-01 2022-01-28 中兴通讯股份有限公司 处理文件的方法、终端
US10387747B2 (en) * 2017-06-26 2019-08-20 Huddly As Intelligent whiteboard collaboratio systems and methods
US10284815B2 (en) * 2017-07-26 2019-05-07 Blue Jeans Network, Inc. System and methods for physical whiteboard collaboration in a video conference
CN107481227B (zh) * 2017-07-27 2020-07-10 广州视源电子科技股份有限公司 教学板书图像处理方法、装置、智能教学设备及存储介质
US11403834B2 (en) 2017-09-28 2022-08-02 Nec Corporation Sound recording device, recording medium, and image recording device
US10810265B2 (en) * 2017-10-31 2020-10-20 Jpmorgan Chase Bank, N.A. Automatic note board data capture and export
US20190149348A1 (en) * 2017-11-15 2019-05-16 Eliahu Antopolsky Recording System with Personal Keys for Personal Meetings with Service Providers
GB201719080D0 (en) * 2017-11-17 2018-01-03 Light Blue Optics Ltd Device authorization systems
EP3721374B1 (en) * 2017-12-04 2023-08-02 Plantronics, Inc. Timeline image capture systems and methods
CN111465916A (zh) * 2017-12-22 2020-07-28 索尼公司 信息处理装置、信息处理方法以及程序
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
JP2020098420A (ja) * 2018-12-17 2020-06-25 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
EP3912338B1 (en) * 2019-01-14 2024-04-10 Dolby Laboratories Licensing Corporation Sharing physical writing surfaces in videoconferencing
CN109885224A (zh) * 2019-02-26 2019-06-14 努比亚技术有限公司 输入法界面显示方法、存储介质和移动终端
CN110446002A (zh) * 2019-07-30 2019-11-12 视联动力信息技术股份有限公司 一种视频会议的处理方法、系统及装置和存储介质
CN111262874A (zh) * 2020-01-21 2020-06-09 北京梦想加信息技术有限公司 书写板信息分享方法、系统和书写板
US11928226B2 (en) 2021-02-04 2024-03-12 International Business Machines Corporation Content protecting collaboration board
US11704009B2 (en) * 2021-10-15 2023-07-18 Google Llc Video conference virtual whiteboard
US20240039971A1 (en) * 2022-07-29 2024-02-01 Zoom Video Communications, Inc. Sharing virtual whiteboard content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1109695A (zh) * 1993-05-10 1995-10-04 塔里根特公司 多媒体同步系统
KR20020012699A (ko) * 2000-08-08 2002-02-20 구자홍 놀이시설/교육시설의 모니터링 시스템과 이를 이용한모니터링 서비스 제공방법

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2892901B2 (ja) * 1992-04-27 1999-05-17 インターナショナル・ビジネス・マシーンズ・コーポレイション プレゼンテーションの獲得、管理およびプレイバック用自動化システム及び方法
US5796426A (en) 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US5613032A (en) * 1994-09-02 1997-03-18 Bell Communications Research, Inc. System and method for recording, playing back and searching multimedia events wherein video, audio and text can be searched and retrieved
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US20020002562A1 (en) * 1995-11-03 2002-01-03 Thomas P. Moran Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activities
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6373642B1 (en) 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6493032B1 (en) 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6341044B1 (en) 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
KR100191329B1 (ko) * 1996-10-23 1999-06-15 윤종용 인터넷상에서의 원격교육방법 및 그 장치.
US6806903B1 (en) * 1997-01-27 2004-10-19 Minolta Co., Ltd. Image capturing apparatus having a γ-characteristic corrector and/or image geometric distortion correction
JP3733984B2 (ja) * 1997-01-29 2006-01-11 富士ゼロックス株式会社 情報蓄積装置および情報蓄積方法
US6148304A (en) * 1997-03-19 2000-11-14 Microsoft Corporation Navigating multimedia content using a graphical user interface with multiple display regions
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6388654B1 (en) * 1997-10-03 2002-05-14 Tegrity, Inc. Method and apparatus for processing, displaying and communicating images
US5986655A (en) * 1997-10-28 1999-11-16 Xerox Corporation Method and system for indexing and controlling the playback of multimedia documents
US7263659B2 (en) * 1998-09-09 2007-08-28 Ricoh Company, Ltd. Paper-based interface for multimedia information
US6924832B1 (en) 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6392694B1 (en) * 1998-11-03 2002-05-21 Telcordia Technologies, Inc. Method and apparatus for an automatic camera selection system
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6175454B1 (en) 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
US6597520B2 (en) 1999-01-13 2003-07-22 Be Here Corporation Panoramic imaging arrangement
US6529920B1 (en) * 1999-03-05 2003-03-04 Audiovelocity, Inc. Multimedia linking device and method
US6871782B2 (en) * 1999-10-08 2005-03-29 Canon Kabushiki Kaisha User programmable smart card interface system having an arbitrary mapping
JP2003521061A (ja) * 2000-01-25 2003-07-08 オートデスク，インコーポレイテッド インターネット上で建築図面へのアクセスを提供し、処理する方法および装置
WO2001061633A2 (en) * 2000-02-15 2001-08-23 Siemens Technology-To-Business Center, Llc Electronic whiteboard system using a tactile foam sensor
US20010035976A1 (en) * 2000-02-15 2001-11-01 Andrew Poon Method and system for online presentations of writings and line drawings
US6671732B1 (en) * 2000-07-24 2003-12-30 Comverse Ltd. Method and apparatus for control of content based rich media streaming
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US6756990B2 (en) 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
US20040021764A1 (en) 2002-01-28 2004-02-05 Be Here Corporation Visual teleconferencing apparatus
US20040008423A1 (en) 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US20030142402A1 (en) 2002-01-30 2003-07-31 Be Here Corporation Method and apparatus for triggering a remote flash on a camera with a panoramic lens
US7012757B2 (en) 2002-05-08 2006-03-14 Be Here Corporation Method for designing a lens system and resulting apparatus
US20040254982A1 (en) 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
US7019918B2 (en) 2003-06-12 2006-03-28 Be Here Corporation Panoramic imaging system
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US7260278B2 (en) * 2003-11-18 2007-08-21 Microsoft Corp. System and method for real-time whiteboard capture and processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1109695A (zh) * 1993-05-10 1995-10-04 塔里根特公司 多媒体同步系统
KR20020012699A (ko) * 2000-08-08 2002-02-20 구자홍 놀이시설/교육시설의 모니터링 시스템과 이를 이용한모니터링 서비스 제공방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平7－15711A 1995.01.17

Also Published As

Publication number Publication date
JP4499380B2 (ja) 2010-07-07
US20030234772A1 (en) 2003-12-25
US20070269105A1 (en) 2007-11-22
KR100996787B1 (ko) 2010-11-25
EP1388794A2 (en) 2004-02-11
KR20030097669A (ko) 2003-12-31
US7260257B2 (en) 2007-08-21
TW200405260A (en) 2004-04-01
US20070126755A1 (en) 2007-06-07
EP1388794A3 (en) 2012-02-22
CN1477590A (zh) 2004-02-25
US7770116B2 (en) 2010-08-03
JP2004080750A (ja) 2004-03-11

Similar Documents

Publication Publication Date Title
CN1477590B (zh) 用于白色书写板和音频捕获的一个系统和方法
US11849196B2 (en) Automatic data extraction and conversion of video/images/sound information from a slide presentation into an editable notetaking resource with optional overlay of the presenter
US20210056251A1 (en) Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Board-Presented Lecture into an Editable Notetaking Resource
US7260278B2 (en) System and method for real-time whiteboard capture and processing
US8280158B2 (en) Systems and methods for indexing presentation videos
CN1680939B (zh) 数字文件和数据的快速可视分类方法
Erol et al. Linking multimedia presentations with their symbolic source documents: algorithm and applications
CN108010037B (zh) 图像处理方法、装置及存储介质
CN112261477B (zh) 视频处理方法及装置、训练方法和存储介质
CN109712456A (zh) 一种基于摄像头的学生纸质作业智能批阅系统
CN105681920A (zh) 一种具有语音识别功能的网络教学方法及系统
JP2010244526A (ja) 共同作業コンテンツを自動的に検知する方法、システムおよびコンピュータプログラム、コンテンツの経時変化を可視化する方法およびシステム
JP3809775B2 (ja) スキャン・ドキュメントをビデオにリンクする方法、情報システム、及びプログラム
He et al. Why take notes? Use the whiteboard capture system
McCarthy et al. From celluloid to cyberspace: The media arts and the changing arts world
Zappavigna Discourse and social media
CN111327943B (zh) 信息管理方法及装置、系统、计算机设备、存储介质
Friedland et al. Anthropocentric video segmentation for lecture webcasts
TWI792957B (zh) 文字辨識系統及方法
Friedland et al. Human-centered webcasting of interactive-whiteboard lectures
Winslow et al. Studying on the move-enriched presentation video for mobile devices
Garber Video Background Modeling for Efficient Transformations Between Images and Videos
CN116962792A (zh) 一种远程显示文档投屏方法
CN116562238A (zh) 一种日记生成方法、装置、电子设备、及存储介质
CN115909370A (zh) 一种多用户协同书写的方法、系统和相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150505

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150505

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100526

Termination date: 20200619