CN101569193A - 用于视频插入的方法、系统和计算机程序产品 - Google Patents

用于视频插入的方法、系统和计算机程序产品 Download PDF

Info

Publication number
CN101569193A
CN101569193A CNA2007800480577A CN200780048057A CN101569193A CN 101569193 A CN101569193 A CN 101569193A CN A2007800480577 A CNA2007800480577 A CN A2007800480577A CN 200780048057 A CN200780048057 A CN 200780048057A CN 101569193 A CN101569193 A CN 101569193A
Authority
CN
China
Prior art keywords
color
key assignments
color space
value
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800480577A
Other languages
English (en)
Other versions
CN101569193B (zh
Inventor
彼得·M·沃尔什
安东尼·约翰·贝利
大卫·路易斯·卡萨莫纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN101569193A publication Critical patent/CN101569193A/zh
Application granted granted Critical
Publication of CN101569193B publication Critical patent/CN101569193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275Generation of keying signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key

Abstract

一种用于视频插入的方法,该方法包括向使用者呈现图像;允许使用者通过选择图像中的一个或多个部分来限定一个或多个感兴趣的包括区域;允许使用者通过选择图像中的一个或多个部分来限定一个或多个感兴趣的排除区域;扩展颜色空间中的包括颜色值以限定包括颜色区域,包括颜色值对应于感兴趣的包括区域中的颜色;扩展颜色空间中的排除颜色值以限定排除颜色区域,排除颜色值对应于感兴趣的排除区域中的颜色;响应于包括颜色区域和排除颜色区域对颜色空间中的每个颜色分配键值;接收背景视频和前景;响应于对应于背景视频颜色的键值,合并背景视频和前景。

Description

用于视频插入的方法、系统和计算机程序产品
技术领域
本发明的实施例总地来说涉及视频插入,并且尤其涉及便利了针对视频插入限定颜色空间的视频插入。
背景技术
商业上可用的色度键控器(chromakeyer)允许使用者选择单个范围的色调值,这用来产生键。一般可以指定该色调范围的位置和宽度。此外,该范围的上界限和下界限可以通过“范围内”和“范围外”之间的逐渐过渡而被柔和化。在某些情况下,还可以指定关于用于键控的饱和度的量的下界限。作为替代,有可能指定亮度区域而不是色调区域来进行键控,这使得键成为亮度的函数而不是基于颜色。
这些色度键控器在针对其生成键的区域具有合理地均匀着色时允许视频插入(键控)。当在自然、不受控制或户外环境下或者当存在具有许多不同的着色特征的复杂图像时,应用这些色度键控器存在限制。这些情况的示例包括如足球、棒球或篮球的体育事件的广播。例如,可以存在具有不均匀外观的自然草地、场地上的标志、运动员制服的各种颜色以及广泛变化的照明条件。在许多这种情况下,使用单个颜色(色调)范围来确定在哪里生成键对于获得所期望的效果是不够的。这可以包括对不应被键控的特征的错误键控,或者在期望键控的区域中没有生成键的情况下键控中的漏洞。
当前的技术生成键,其用来基于背景视频源中存在的信号组合两个视频源(前景和背景)。色度键控器生成的键本身是基于背景图像的内容生成的视频信号。具体地,对于每个视频帧,键图像中的每个位置(像素)根据背景视频中的色调并且有可能是饱和度来确定。可替代地,可以根据背景视频中的亮度值来确定键图像中的每个位置。键的帧中的值控制键控器输出前景、背景还是二者的混合的组合。
例如,可以使用蓝色屏幕作为工作室中的背景,使得色度键控器可以以附属(前景)视频源来替代蓝色背景颜色的限定范围内的所有像素,也称作填充。输出的图像将包括站在蓝色屏幕前的人,同时用前景视频信号(例如动画天气图)替代蓝色屏幕可见的区域。
使用棒球比赛广播中击球手区(batter box)后的砖墙上放置的广告的示例,砖墙为红、棕、灰多种颜色。因而,选择的色调的范围需要是一系列红、棕和灰,以包括砖墙上存在的颜色。用于插入的区域将被清晰地限定为用于广告的位置。然而,由于两种原因而出现困难。首先,由于选择需要多个色调,当前的技术难以跨多个色调应用视频插入。将需要选择占优势的色调(在这种情况下为红色),并且将会导致不完美的视频插入,仍然示出砖墙中水泥的灰色线。解决该问题的另一选项是在用于视频插入的区域上施加单色调覆盖层,从而建立如下需要:需要仅一个色调范围以进行视频插入。
当棒球球员穿有与砖墙颜色相似颜色的棒球衣,且从而穿有用于视频插入的色调范围内限定的相似颜色时,出现其它困难。在这种情况下,如果球员移动到视频插入的区域中,则广告可能出现失真并且某些广告出现在球员的球衣上。
总之,当前的技术的概念是在设置的区域内选取单个限定的色调范围来键控并填充,而不允许色调、饱和度或亮度的差异。这限制了使用者有效地设置用于键控的区域的能力。
发明内容
本发明的实施例包括用于视频插入的方法,该方法包括向使用者呈现颜色喜好;允许使用者在颜色喜好中限定键控包括子集;允许使用者在颜色喜好中限定键控排除子集;响应于包括子集和排除子集对颜色空间中的每个颜色分配键值;接收背景视频和前景;响应于对应于背景视频颜色的键值合并背景视频和前景。
其它实施例包括用于视频插入的方法,该方法包括向使用者呈现图像;允许使用者通过选择图像中的一个或多个部分来限定一个或多个感兴趣的包括区域;允许使用者通过选择图像中的一个或多个部分来限定一个或多个感兴趣的排除区域;扩展颜色空间中的包括颜色值以限定包括颜色区域,包括颜色值对应于感兴趣的包括区域中的颜色;扩展颜色空间中的排除颜色值以限定排除颜色区域,排除颜色值对应于感兴趣的排除区域中的颜色;响应于包括颜色区域和排除颜色区域对颜色空间中的每个颜色分配键值;接收背景视频和前景;响应于对应于背景视频颜色的键值,合并背景视频和前景。
附图说明
参照以下说明、权利要求书和附图将会更好地理解本发明的实施例的设备和方法的进一步的特征、方面和优势。
图1是示例性色度键控系统的框图;
图2示出示例性键查找表;
图3是用于分配键值的示例性处理的流程图;
图4是用于识别键值的替代的示例性处理的流程图;
图5示出使用者从图像选择颜色用于键控的示例;
图6示出颜色空间中图5中所选择的颜色;
图7示出示例性处理后的颜色空间。
具体实施方式
本发明的实施例允许使用者创建如下键,该键可以同时包括多个不同的颜色空间的区域,以及排除多个不同的颜色空间区域的不同的集合。该系统支持限定颜色空间的区域。一个这种颜色空间的示例是对使用者更有直观意义的HSL(色调、饱和度、亮度)空间。在同时使用色调、饱和度和亮度值的组合的情况下这些区域中的每一个是可定义的。另外,对于这些区域的每一个都支持柔和过渡以避免插入的视频中的硬的或不自然的边缘。
图1是示例性色度键控系统10的框图。该系统10包括数字背景视频源12和数字前景源14。开发本发明的实施例以用在数字广播中。然而,如果需要,也可以通过首先将模拟视频数据转换成数字表示而将本发明的实施例用于模拟传播。键控在背景和前景之间以逐像素为基础发生。如在此使用的,背景指的是引入的广播视频数据(或者实时或者延迟),而前景指的是放置在背景视频之上的图像或视频。在示例性实施例中,背景视频源12在YUV颜色空间中表示。背景视频可以有任意数目的可替代的颜色空间表示。出于效率考虑,由于广播视频是YUV格式,色度键控器可以在不进行任何颜色空间转换的情况下直接对YUV数据进行操作。前景14是将与背景混合以创建最终效果的图形或效果(渐变等)。前景可以是静态图像(图形),动态(改变或移动的)图像,或视频(例如来自某其它视频源)。术语前景意欲包括这些以及其它类型的可视元素。背景视频包括像素,每个像素表示色调、饱和度和亮度(HSL)的值。可替代地,背景视频可以以RGB颜色空间、YUV颜色空间或多个可替代颜色空间中的任一个来表示。
键控器16是用于响应于键值来用前景14替代背景视频12或将前景14与背景视频12混合的系统。键控器可以是基于微处理器的系统,该系统执行存储在计算机介质上的软件应用程序以执行这里描述的功能。使用者接口18允许使用者限定执行前景的插入的区域和禁止前景的插入的区域。
视频插入、或色度键控是前景14到背景12的组合。背景视频12和前景14二者被给送入键控器16。基于从查找表20提供的键值组合两个视频源(前景和背景)。该键本身是视频信号,其中视频数据的每一帧中的每个位置(像素)具有不同的值。键的帧中的值控制键控器16输出前景、背景还是二者相混的组合。例如,键值1表示键控器16应该完全以前景像素替代背景像素。键值0指示键控器16应该不改变地传递背景像素。键值0.5指示键控器16应该50/50的混合背景像素和前景像素。
在操作中,背景视频12和前景14被应用到键控器16。背景视频12还被提供给响应于前景值输出键值的LUT 20。在本发明的实施例中,LUT20由背景视频12的YUV值来索引。应该理解对于背景视频可以使用其它颜色空间,且本发明的实施例不限于YUV。
如现有技术中已知,键控器16响应于键值对背景视频12和前景14进行组合。如上所述,这可以包括用前景像素完全地替代背景像素、使背景像素不被修改或者混合背景像素和前景像素的值。
图2示出了示例性键查找表(LUT)20。如图2所示,因为传统的电视广播以YUV格式提供,背景视频12以YUV格式在查找表20处被接收。应该理解对于背景视频12可以使用其它格式,且本发明实施例不限于YUV。查找表20由YUV值来索引以输出对于该YUV组合适当的键。索引通过Y、U和V值的级联而形成,该Y、U和V值的级联允许对于Y、U和V值的每种唯一特殊组合进行键值分配。这种通过单个的YUV值来进行索引为使用者提供了在颜色空间中分配键时不受限制的控制,因为在键控处理中考虑每个像素YUV值。
图3是用于分配键值的示例性处理的流程图。如上所述,LUT中的位置的索引对应于唯一的YUV三元组(triple)的值。位置的内容是与对应的YUV值相关联的键值。该处理可在键控器16上实现,键控器16可以包括执行软件应用程序以进行此处说明的步骤的通用微处理器。
用于从多个HSL区域生成LUT值的处理在步骤100开始,其中对于每个可能的YUV组合,YUV值被转换成HSL颜色空间中的对等值。在该示例中,使用者选择HSL颜色空间中的包括子集和排除子集。在替代的实施例中,选择的HSL值可以被转换成对等的YUV值。应理解在本发明的实施例中可以使用除了HSL和YUV之外的颜色空间,并且在本发明的实施例中预期了多种颜色空间之间的转换。
在步骤102,使用者限定HSL颜色空间中的包括子集。这可以通过使用者从颜色喜好选择着色区域来进行。包括子集限定HSL空间中的什么颜色由前景14替代。例如,使用者可以选择蓝色色调的区域,指示所有这些颜色都应由前景替代。这对于多个包括子集可以重复进行。
一旦使用者限定了HSL颜色空间中的包括子集,在步骤104系统对每个HSL三元组,针对每个HSL包括子集确定HSL三元组是“子集中”、“子集外”还是在“过渡”区域(以及到什么程度),并确定相关联的键值。例如,使用者设置的包括子集内的HSL三元组可以被分配键值1,指示该HSL三元组要由前景替代。包括子集外的HSL三元组可以被分配值0,指示该HSL值不会被前景替代。过渡HSL三元组(即在包括和排除之间的边界上)可以被分配中间值(例如0.5),以针对该HSL值指示背景12和前景14的混合。在步骤106,确定对于所有这些包括子集的键值的最大值(即如果满足任何包括子集,则创建键)。
在步骤108,使用者限定HSL颜色空间中的排除子集。这可以通过使用者从颜色喜好选择着色区域来进行。排除子集限定HSL空间中什么颜色将不会被前景14所替代。例如,使用者可以选择红色色调的区域,指示所有这些颜色将不被前景替代。
在步骤110,系统对于每个HSL三元组,针对每个HSL排除子集确定HSL三元组是“子集中”、“子集外”还是在“过渡”区域(以及到什么程度),并确定相关联的键值。例如,使用者设置的排除子集内的HSL三元组可以被分配键值1,指示该HSL三元组不被前景替代。排除子集外的HSL三元组可以被分配值0,指示该HSL值允许被前景替代。过渡HSL三元组(即在包括和排除之间的边界上)可以被分配中间值(例如0.5)以指示针对该HSL值背景12和前景14的混合。在步骤112,来自步骤110的键值被转换以代表排除。例如,通过从一减去键值,在零到一的范围内对键值确定转换后的值,从而将零映射到一,且将一映射到零,以及相应地映射中间值。
在步骤114,对于每个排除子集确定来自步骤104的包括键值和来自步骤112的每个反转后的排除键值的最小值。对于相对应的HSL三元组使用该最小值。这样的效果是如果满足任一个排除区域则发生排除,并且因此排除将优先于包括键。在步骤116,所选择的最终键值被存储在(LUT)20中的相关联的位置。
图4是用于识别键值的替代示例性处理的流程图。在替代实施例中,可以通过选择一个或多个图像内的感兴趣区域(ROI)并且指定每个区域中存在的颜色代表被色度键控处理包括或者排除的颜色来生成LUT 20。因而,通过使用该学习处理的示例教导了LUT 20。这消除了对使用者清楚地指定颜色空间中的区域的需要。
该处理器在步骤150开始,其中对使用者呈现要由键控器16处理的场景的图像。图5描绘了使用者可以与之交互的示例图像,以建立针对LUT 20的键值。在步骤152,使用者选择图像中的感兴趣区域(ROI)用于包括于键控或从键控中排除。例如,使用者可以使用鼠标或其它输入装置来选择图像中的ROI。如图5中的图像所示,使用者选择了区域300(例如本垒打围栏(home run fence))作为键控中的包括子集,以及区域302(例如运动员的球衣)作为键控中的排除子集。图像内的每个ROI可以通过以任意数目的方式来指定区域的形状和位置来限定,所述方式可以包括矩形区域、多边形或其它不规则形状的区域。而且,对于每个ROI,使用者分配指示该ROI内的颜色应该被包括、排除、混合的程度的键(例如0,1,0.5)(即指定透明程度)。
一旦使用者选择了ROI(对于键控中的包括和排除二者),流程进行到步骤154,其中在颜色空间中处理颜色值以限定包括于键控或从键控中排除的颜色区域。应该注意从颜色值创建的颜色区域不需要是连续的区域,而是可以代表颜色空间中不连续的空间。例如,图6示出了HSL颜色空间中的、对应于来自图5中的图像的ROI 300和302的颜色值310和312。这些颜色值可以在颜色空间中进行处理以限定颜色空间中的颜色区域。然后对颜色区域中的颜色值分配键值。例如,图7示出了分别通过对来自ROI 300和302的颜色值310和312进行处理生成的颜色区域400和颜色区域402。如图7所示,颜色值310和312被扩展以包括邻近颜色值,使得使用者不需要考虑从图5中的图像选择每个单个的感兴趣颜色。步骤154的处理扩展使用者限定的颜色值。
在步骤154可以使用多种技术来处理颜色值。可以应用例如基于像素相似性的区域生长的高级技术。对位于每个指定的ROI内的图像中的所有像素的颜色值进行处理以产生键值。因此,无论对指定每个ROI 300和302使用什么技术,都导致图像颜色的子集被限定。例如,限定的像素可以通过像素坐标的列表来表示,像素坐标的列表依次可以用来生成颜色值的列表。
每个ROI内的像素的颜色值是要指定的颜色的取样或示例。它们代表被指定用于包括/排除的颜色值,但并不是被指定用于包括/排除的颜色值的完全的详细描述。使用进一步的处理来获得对颜色区域的期望的充分描述。ROI内的每个像素将具有可以以任何数目的替代的颜色空间,例如RGB、HSL或YUV来表示的确定的颜色值。ROI内的所有像素值的集合提供了ROI表示的颜色空间的一个或多个区域的取样。在实时视频流中逐帧地发生与取样的值的变化。而且,ROI是要被色度键控的、例如球场的区域的空间样本。球场的其它部分中的像素的值将与ROI样本中的像素的值不同。因此,使用另外的处理来生成颜色区域。
一般在表示中也包括像素值中的微小变化。而且,随着与原始像素值的变化程度增加,原始像素值的包括的程度应该会减小。这相当于颜色空间的限定子集的边界的柔化。还可能存在如下情况:其中包含在ROI中的大量像素代表期望的说明(specification),但是在ROI中还包含少量像素不代表期望的区域。在这种情况下,需要移除不期望的颜色值的处理。这种情况对于例如体育事件广播的自然场景最为普遍。
包含在选择的ROI 300和302中的像素颜色值可以被认为是色度键控器使用的LUT 20的子集。步骤154的处理生成扩展的颜色区域400和402。一般地,通过以确定的顺序应用处理技术来组合处理技术。进行该操作以获得各种期望的最终结果。可以使用各种处理技术,将讨论这些处理步骤的典型应用。
步骤154中的处理对三维数据进行操作。可以将该处理限定为在任何三维颜色空间,例如RGB、HSL、YUV中工作。无论对于捕获图像使用什么颜色空间,如果期望,可以将其转换成另一颜色空间,以应用以下操作中的任何一个。
该技术可以被分成两个类别:非线性形态(morphology)和线性卷积。非线性形态包括侵蚀和扩张算子。侵蚀和扩张算子依次可以被组合以创建开算子和闭算子(opening and closing operators)。依照颜色空间的轴来限定形态算子的三维形状。
线性技术包括卷积算子。使用三维卷积核(kernel)的形状的选择来获得各种期望的结果。一般使用特征在于其宽度沿颜色空间中各轴和在颜色空间的各轴方向上过渡区域的宽度的平滑核。此处说明了示例性形态和卷积算子。这些仅是示例,而不是穷举所有可能的算子定义。本发明实施例不限于以下列出的算子。
扩张(dilation)是其中值被遍及限定的邻近区域中的最大值替代的操作。邻近区域在使用的颜色空间的每个方向上具有清楚的范围或宽度。例如,如果使用的颜色空间是色调、饱和度、亮度(HSL),扩张算子可以分别在H、S和L方向上具有0、50和50的宽度。这对于给定的色调将具有对要包括在颜色空间的子集中的饱和度和亮度的范围进行加宽的效果。在另一示例中,使用红、绿、蓝(RGB)颜色空间,扩张算子可以分别在R、G和B上具有20、20和20的宽度。这具有在每个取样的颜色值附近均匀地填充的效果。
侵蚀与扩张一样,除了使用遍及邻近区域中的最小值,而不是最大值。侵蚀算子的应用具有收缩或缩紧呈现的颜色空间的子集的效果。
线性卷积是其中值被遍及限定的邻近区域中的值的加权总和替代的操作。对于每个邻近元素的加权包含在卷积核中。典型的示例可以是在H、S和L上分别具有宽度为10、50和100的核。这将提供10个单位距离内的色调值、50个单位距离内的饱和度值和100个单位距离内的亮度值的加权包括。除了每个方向上的宽度,一般还限定有其中核递减的过渡区域。
一旦处理了颜色值以限定颜色区域,在步骤156处理颜色区域的过渡区域。该步骤涉及处理颜色区域400和402的边缘,使得在颜色区域和颜色空间的其余部分之间有平滑的过渡。可以使用平均滤波器来调整颜色区域400和402的边界处的键值。
步骤154和156中使用的处理技术具有缺省参数(例如滤波器宽度,滤波器中的值)。可替代地,使用者可以指定对与颜色区域相关联的颜色值以及任何关联的参数应用哪个处理步骤。
一旦处理了颜色空间中的颜色区域,如步骤158所示,键值被装载到LUT中。可选地,颜色空间呈现之间的转换可以在处理中的各个点处执行。
从测试图像选择ROI以及键控的水平(包括,排除或部分)的能力减轻了使用者设置LUT 20中的键值的负担。对单独基于颜色来限定键控区域的尝试在以下情况中变得复杂:其中在必须插入图形的相同空间内存在其它物体。如果颜色相似,则由于不能区分颜色,因此视频插入会产生图形失真。例如,当尝试使用视频插入以包括击球手区后的砖墙上的虚拟广告时,红色棒球球衣和击球手区后的砖墙之间的颜色差别很细微。本发明的实施例允许使用者针对排除和包括将球衣和砖墙分别限定为分离的ROI。
通过图4的处理,使用者可以选择色调、饱和度和亮度(HSL)的多个区域以被键控。这允许使用者限定并选择数目不受限制的区域以被逻辑地组合为包括和/或排除,从而获得最终的效果。使用者可以选择在每个区域内边缘被过渡的程度,从而允许中心和外部HSL之间的柔和过渡。系统支持将每个可能的YUV值(视频的颜色和强度)唯一地映射到可限定的键值,用于将一个视频源键控到另一视频源。这提供了从指定的HSL区域到对等的YUV表示的转换。
如上所述,本发明的实施例可以以计算机实现的处理以及用于实践这些处理的设备的形式来实施。本发明的实施例还可以以包含指令的计算机程序代码的形式来实施,该计算机程序代码以例如系统存储器、CD-ROM、硬驱动或任何其它计算机可读存储介质的有形的介质来实施,其中当计算机程序代码被加载到计算机并由计算机执行时,计算机变为实践本发明的设备。例如,本发明还可以以计算机程序代码的形式来实施,无论该计算机程序代码是存储在存储介质中、加载到计算机和/或由计算机来执行,还是通过某种传输介质来传送,如通过电线或线缆、通过光纤、或经由电磁辐射传送,其中,当计算机程序代码被加载到计算机并由计算机执行时,计算机变为用于实践本发明的设备。当在通用微处理器上实现时,计算机程序代码片段配置微处理器以产生特定逻辑事件。
当参照本发明的示例性并被执行的实施例具体地示出和说明了本发明时,本领域技术人员应理解在不脱离本发明的精神和范围的情况下可以对其进行形式和细节上的前述的和其它改变,本发明的精神和范围仅由所附权利要求的范围限定。

Claims (18)

1.一种用于视频插入的方法,包括:
向使用者呈现颜色喜好;
允许使用者在所述颜色喜好中限定键控包括子集;
允许使用者在所述颜色喜好中限定键控排除子集;
响应于所述包括子集和所述排除子集,对颜色空间中的每个颜色分配键值;
接收背景视频和前景;
响应于对应于所述背景视频颜色的所述键值,合并所述背景视频和所述前景。
2.根据权利要求1所述的方法,其中:
分配键值包括基于所述键控包括子集确定包括键值,以及对于所述颜色空间中的每个颜色选择最大包括键值。
3.根据权利要求2所述的方法,其中:
分配键值包括基于所述键控排除子集确定排除键值,以及对所述颜色空间中的每个颜色转换所述排除键值。
4.根据权利要求3所述的方法,其中:
分配键值包括对于所述颜色空间中的每个颜色选择所述最大包括键值和所述转换的排除键值中的最小值。
5.一种用于视频插入的方法,包括:
向使用者呈现图像;
允许使用者通过选择所述图像中的一个或多个部分来限定一个或多个感兴趣的包括区域;
允许使用者通过选择所述图像中的一个或多个部分来限定一个或多个感兴趣的排除区域;
扩展颜色空间中的包括颜色值以限定包括颜色区域,所述包括颜色值对应于所述感兴趣的包括区域中的颜色;
扩展颜色空间中的排除颜色值以限定排除颜色区域,所述排除颜色值对应于所述感兴趣的排除区域中的颜色;
响应于所述包括颜色区域和所述排除颜色区域,对所述颜色空间中的每个颜色分配键值;
接收背景视频和前景;
响应于对应于所述背景视频颜色的所述键值,合并所述背景视频和所述前景。
6.根据权利要求5所述的方法,其中:
扩展所述颜色空间中的包括颜色值包括对所述颜色空间中的所述包括颜色值进行扩张。
7.根据权利要求5所述的方法,其中:
扩展所述颜色空间中的包括颜色值包括对所述颜色空间中的所述包括颜色值进行扩张,随后进行侵蚀。
8.根据权利要求5所述的方法,其中:
响应于所述包括颜色区域对所述颜色空间中的每个颜色分配所述键值包括向所述包括颜色区域的边缘上的颜色值分配过渡键值。
9.根据权利要求5所述的方法,其中:
扩展所述颜色空间中的包括颜色值包括对所述颜色空间中的所述包括颜色值应用卷积算子。
10.一种用于视频插入的系统,包括:
使用者接口,用于向使用者呈现颜色喜好,并允许使用者限定所述颜色喜好中的键控包括子集和所述颜色喜好中的键控排除子集;
查找表,响应于所述包括子集和所述排除子集将颜色空间中的每个颜色与键值相关联;
背景视频的源;
前景的源;
键控器,用于响应于对应于所述背景视频颜色的所述查找表中的所述键值,合并所述背景视频和所述前景。
11.根据权利要求10所述的系统,其中:
所述查找表存储针对所述颜色空间中的每个颜色的最大包括键值。
12.根据权利要求11所述的系统,其中:
对于所述颜色空间中的每个颜色转换基于所述键控排除子集的所述排除键值。
13.根据权利要求12所述的系统,其中:
所述查找表存储针对所述颜色空间中的每个颜色的所述最大包括键值和所述转换的排除键值中的最小值。
14.一种用于视频插入的系统,包括:
使用者接口,向使用者呈现图像,并允许使用者通过选择所述图像中的一个或多个部分限定一个或多个感兴趣的包括区域;
所述使用者接口允许使用者通过选择所述图像中的一个或多个部分来限定一个或多个感兴趣的排除区域;
查找表,针对颜色空间中的每个颜色存储键值,所述键值是通过扩展所述颜色空间中的包括颜色值以限定包括颜色区域以及扩展颜色空间中的排除颜色值以限定排除颜色区域而得到的,其中所述包括颜色值对应于所述感兴趣的包括区域中的颜色,所述排除颜色值对应于所述感兴趣的排除区域中的颜色;
背景视频的源;
前景的源;
键控器,用于响应于对应于所述背景视频颜色的所述查找表中的所述键值,合并所述背景视频和所述前景。
15.根据权利要求14所述的系统,其中:
扩展所述颜色空间中的所述包括颜色值包括对所述颜色空间中的所述包括颜色值进行扩张。
16.根据权利要求14所述的系统,其中:
扩展所述颜色空间中的所述包括颜色值包括对所述颜色空间中的所述包括颜色值进行扩张,随后进行侵蚀。
17.根据权利要求14所述的系统,其中:
所述键值包括针对所述包括颜色区域的边缘上的颜色值的过渡键值。
18.根据权利要求14所述的系统,其中:
扩展所述颜色空间中的包括颜色值包括对所述颜色空间中的所述包括颜色值应用卷积算子。
CN2007800480577A 2006-11-17 2007-11-19 用于视频插入的方法和系统 Active CN101569193B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/561,052 US20080117333A1 (en) 2006-11-17 2006-11-17 Method, System And Computer Program Product For Video Insertion
US11/561,052 2006-11-17
PCT/US2007/024228 WO2008066733A2 (en) 2006-11-17 2007-11-19 Method, system and computer program product for video insertion

Publications (2)

Publication Number Publication Date
CN101569193A true CN101569193A (zh) 2009-10-28
CN101569193B CN101569193B (zh) 2011-10-26

Family

ID=39416552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800480577A Active CN101569193B (zh) 2006-11-17 2007-11-19 用于视频插入的方法和系统

Country Status (6)

Country Link
US (1) US20080117333A1 (zh)
EP (1) EP2082577B1 (zh)
CN (1) CN101569193B (zh)
IL (1) IL198772A0 (zh)
WO (1) WO2008066733A2 (zh)
ZA (1) ZA200903481B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752544A (zh) * 2011-11-21 2012-10-24 新奥特(北京)视频技术有限公司 一种利用色键进行图像校色选区的方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4747970B2 (ja) * 2006-07-04 2011-08-17 オムロン株式会社 画像処理装置
US20090076882A1 (en) * 2007-09-14 2009-03-19 Microsoft Corporation Multi-modal relevancy matching
US8638338B2 (en) * 2008-02-11 2014-01-28 Apple Inc. Adjusting color attribute of an image in a non-uniform way
US8548251B2 (en) * 2008-05-28 2013-10-01 Apple Inc. Defining a border for an image
US8280171B2 (en) 2008-05-28 2012-10-02 Apple Inc. Tools for selecting a section of interest within an image
US8331685B2 (en) * 2008-05-28 2012-12-11 Apple Inc. Defining a border for an image
US8452105B2 (en) * 2008-05-28 2013-05-28 Apple Inc. Selecting a section of interest within an image
US8611699B2 (en) * 2008-11-05 2013-12-17 Shachar Carmi Apparatus and method for chroma-key processing
US8885977B2 (en) * 2009-04-30 2014-11-11 Apple Inc. Automatically extending a boundary for an image to fully divide the image
US8619093B2 (en) 2010-07-20 2013-12-31 Apple Inc. Keying an image
US8675009B2 (en) 2010-07-20 2014-03-18 Apple Inc. Keying an image in three dimensions
US8743139B2 (en) 2010-07-20 2014-06-03 Apple Inc. Automatically keying an image
WO2012030869A2 (en) 2010-08-30 2012-03-08 Apple Inc. Multi-image face-based image processing
US8842911B2 (en) 2011-02-04 2014-09-23 Apple Inc. Luma-based color matching
US8611655B2 (en) 2011-02-04 2013-12-17 Apple Inc. Hue-based color matching
US8594426B2 (en) 2011-02-04 2013-11-26 Apple Inc. Color matching using color segmentation
US8854370B2 (en) 2011-02-16 2014-10-07 Apple Inc. Color waveform
US8760464B2 (en) 2011-02-16 2014-06-24 Apple Inc. Shape masks
US20120210229A1 (en) 2011-02-16 2012-08-16 Andrew Bryant Color workflow
US9202433B2 (en) 2012-03-06 2015-12-01 Apple Inc. Multi operation slider
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US10282055B2 (en) 2012-03-06 2019-05-07 Apple Inc. Ordered processing of edits for a media editing application
US11538165B2 (en) * 2019-12-24 2022-12-27 Intel Corporation Technologies for automated screen segmentation
US11575837B2 (en) * 2020-04-27 2023-02-07 Canon Kabushiki Kaisha Method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
US11849244B2 (en) * 2021-07-22 2023-12-19 Grass Valley Canada System and method for temporal keying in a camera

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3166173B2 (ja) * 1991-07-19 2001-05-14 プリンストン エレクトロニック ビルボード,インコーポレイテッド 選択および挿入された標章を有するテレビ表示
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
GB9121707D0 (en) * 1991-10-12 1991-11-27 British Aerospace Improvements in computer-generated imagery
US5313275A (en) * 1992-09-30 1994-05-17 Colorgraphics Systems, Inc. Chroma processor including a look-up table or memory
ES2117288T3 (es) * 1993-10-27 1998-08-01 Princeton Video Image Inc Control remoto de una presentacion electronica de imagenes.
US5500684A (en) * 1993-12-10 1996-03-19 Matsushita Electric Industrial Co., Ltd. Chroma-key live-video compositing circuit
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
IL109487A (en) * 1994-04-29 1996-09-12 Orad Hi Tec Systems Ltd Chromakeying system
US7715642B1 (en) * 1995-06-06 2010-05-11 Hewlett-Packard Development Company, L.P. Bitmap image compressing
AU6276196A (en) * 1995-06-16 1997-01-15 Princeton Video Image, Inc. System and method of real time insertions into video using adaptive occlusion with a synthetic reference image
US5892554A (en) * 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
IL114838A0 (en) * 1995-08-04 1996-11-14 Spiegel Ehud Apparatus and method for object tracking
US6097853A (en) * 1996-09-11 2000-08-01 Da Vinci Systems, Inc. User definable windows for selecting image processing regions
US5917553A (en) * 1996-10-22 1999-06-29 Fox Sports Productions Inc. Method and apparatus for enhancing the broadcast of a live event
US6100925A (en) * 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
US5953077A (en) * 1997-01-17 1999-09-14 Fox Sports Productions, Inc. System for displaying an object that is not visible to a camera
US5764306A (en) * 1997-03-18 1998-06-09 The Metaphor Group Real-time method of digitally altering a video data stream to remove portions of the original image and substitute elements to create a new image
GB2329292A (en) * 1997-09-12 1999-03-17 Orad Hi Tec Systems Ltd Camera position sensing system
US6130677A (en) * 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6750919B1 (en) * 1998-01-23 2004-06-15 Princeton Video Image, Inc. Event linked insertion of indicia into video
GB2336056B (en) * 1998-04-01 2002-10-16 Discreet Logic Inc Image processing
US6373530B1 (en) * 1998-07-31 2002-04-16 Sarnoff Corporation Logo insertion based on constrained encoding
US6229550B1 (en) * 1998-09-04 2001-05-08 Sportvision, Inc. Blending a graphic
US6266100B1 (en) * 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
JP2000216974A (ja) * 1999-01-21 2000-08-04 Seiko Epson Corp 画像作成方法およびその装置
US6448974B1 (en) * 1999-02-26 2002-09-10 Antonio Asaro Method and apparatus for chroma key data modifying insertion without video image fragmentation
US6870550B1 (en) * 1999-04-26 2005-03-22 Adobe Systems Incorporated Digital Painting
US6771834B1 (en) * 1999-07-02 2004-08-03 Intel Corporation Method for segmenting a digital image
US6711291B1 (en) * 1999-09-17 2004-03-23 Eastman Kodak Company Method for automatic text placement in digital images
US7015978B2 (en) * 1999-12-13 2006-03-21 Princeton Video Image, Inc. System and method for real time insertion into video with occlusion on areas containing multiple colors
US6121963A (en) * 2000-01-26 2000-09-19 Vrmetropolis.Com, Inc. Virtual theater
US6909438B1 (en) * 2000-02-04 2005-06-21 Sportvision, Inc. Video compositor
US7405740B1 (en) * 2000-03-27 2008-07-29 Stmicroelectronics, Inc. Context sensitive scaling device and method
JP2002010056A (ja) * 2000-06-19 2002-01-11 Fuji Photo Film Co Ltd 画像合成装置
GB2365241B (en) * 2000-07-19 2005-01-19 Nec Technologies Introducing background signals to communication systems
US6741755B1 (en) * 2000-12-22 2004-05-25 Microsoft Corporation System and method providing mixture-based determination of opacity
DE60141570D1 (de) * 2001-06-29 2010-04-29 Nokia Corp Bildeditierverfahren
US7478338B2 (en) * 2001-07-12 2009-01-13 Autodesk, Inc. Palette-based graphical user interface
JP2003296744A (ja) * 2002-03-29 2003-10-17 Se Kk イラスト作成プログラム
US20050213125A1 (en) * 2002-08-19 2005-09-29 Paul Reed Smith Guitars, Limited Partnership Method of color accentuation with compensation and adjustment
US7024054B2 (en) * 2002-09-27 2006-04-04 Eastman Kodak Company Method and system for generating a foreground mask for a composite image
US20040116183A1 (en) * 2002-12-16 2004-06-17 Prindle Joseph Charles Digital advertisement insertion system and method for video games
US7330195B2 (en) * 2002-12-18 2008-02-12 Hewlett-Packard Development Company, L.P. Graphic pieces for a border image
US20040174365A1 (en) * 2002-12-24 2004-09-09 Gil Bub Method and system for computer animation
DE602004010464T2 (de) * 2003-07-16 2008-11-20 British Broadcasting Corp. Videoverarbeitung
US7840067B2 (en) * 2003-10-24 2010-11-23 Arcsoft, Inc. Color matching and color correction for images forming a panoramic image
KR100522956B1 (ko) * 2003-11-12 2005-10-24 삼성전자주식회사 데이터 처리 장치 및 방법
US7508455B2 (en) * 2004-03-26 2009-03-24 Ross Video/Live Production Technology Method, system, and device for automatic determination of nominal backing color and a range thereof
US20060055707A1 (en) * 2004-09-10 2006-03-16 Fayan Randy M Graphical user interface for a keyer
US7529429B2 (en) * 2004-11-12 2009-05-05 Carsten Rother Auto collage
US7352912B2 (en) * 2004-12-10 2008-04-01 Xerox Corporation Method for automatically determining a region of interest for text and data overlay
US7500189B2 (en) * 2005-03-14 2009-03-03 Microsoft Corporation Method and system for generating colors using constrained color properties
AU2006292461A1 (en) * 2005-09-16 2007-03-29 Flixor, Inc. Personalizing a video
US8072472B2 (en) * 2006-06-26 2011-12-06 Agfa Healthcare Inc. System and method for scaling overlay images
US8885236B2 (en) * 2006-06-30 2014-11-11 Geoffrey J. Woolfe Natural language color communication and system interface
TW200808072A (en) * 2006-07-17 2008-02-01 Marketech Int Corp Hue adjusting device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752544A (zh) * 2011-11-21 2012-10-24 新奥特(北京)视频技术有限公司 一种利用色键进行图像校色选区的方法
CN102752544B (zh) * 2011-11-21 2017-06-13 新奥特(北京)视频技术有限公司 一种利用色键进行图像校色选区的方法

Also Published As

Publication number Publication date
IL198772A0 (en) 2010-02-17
EP2082577A4 (en) 2010-12-15
EP2082577B1 (en) 2012-06-20
WO2008066733A2 (en) 2008-06-05
WO2008066733A3 (en) 2008-07-10
ZA200903481B (en) 2010-04-28
EP2082577A2 (en) 2009-07-29
US20080117333A1 (en) 2008-05-22
CN101569193B (zh) 2011-10-26

Similar Documents

Publication Publication Date Title
CN101569193B (zh) 用于视频插入的方法和系统
US6909438B1 (en) Video compositor
CN111191424B (zh) 页面配色的方法、装置、存储介质和芯片
CN104778047B (zh) 一种内容显示方法及终端
US20020149600A1 (en) Method of blending digital pictures
CN101360250B (zh) 沉浸产生方法和系统及因素控制、内容分析及参数预测法
CN101606179B (zh) 用于遮罩、选择和路径的通用前端
CN104272377B (zh) 运动图片项目管理系统
WO1997000582A1 (en) System and method of real time insertions into video using adaptive occlusion with a synthetic reference image
KR20000068697A (ko) 화상 데이터 처리 장치와 방법, 및 전송 매체
CN101529495A (zh) 图像遮罩生成
KR20150032176A (ko) 컬러 비디오 처리 시스템 및 방법과 대응하는 컴퓨터 프로그램
CN106251322B (zh) 图像处理设备、图像处理方法和图像处理系统
JP2010165058A (ja) グラデーション作成方法、プログラムおよび装置
KR20070090224A (ko) 전자 색 이미지 채도 처리 방법
CN104978186A (zh) 一种界面皮肤的渲染方法和装置
CN113748426A (zh) 实时馈送中的内容感知的pq范围分析仪和色调映射
WO2017143812A1 (zh) 区分对象的方法和装置
JP2008146260A (ja) 画像生成装置及び画像生成方法
Gong et al. Impacts of appearance parameters on perceived image quality for mobile-phone displays
CN112165631B (zh) 媒体资源处理方法和装置、存储介质及电子设备
JP2017162153A (ja) 画像処理装置、画像処理システム及びプログラム
JPH11110577A (ja) 画像データ処理装置および方法、並びに伝送媒体
US6295369B1 (en) Multi-dimensional color image mapping apparatus and method
CN108519865B (zh) 源切换显示方法、存储介质及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CI01 Publication of corrected invention patent application

Correction item: International Day of publication

Correct: 20080605

False: 20080710

Number: 43

Volume: 27

CI02 Correction of invention patent application

Correction item: International Day of publication

Correct: 20080605

False: 20080710

Number: 43

Page: The title page

Volume: 27

ERR Gazette correction

Free format text: CORRECT: INTERNATIONAL PROCLAMATION DATE; FROM: 2008.07.10 TO: 2008.06.05