CN101578851A - 全景成像技术 - Google Patents

全景成像技术 Download PDF

Info

Publication number
CN101578851A
CN101578851A CNA2008800019320A CN200880001932A CN101578851A CN 101578851 A CN101578851 A CN 101578851A CN A2008800019320 A CNA2008800019320 A CN A2008800019320A CN 200880001932 A CN200880001932 A CN 200880001932A CN 101578851 A CN101578851 A CN 101578851A
Authority
CN
China
Prior art keywords
tile
image
candidate
array
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008800019320A
Other languages
English (en)
Inventor
巴巴克·福鲁坦波尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101578851A publication Critical patent/CN101578851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本发明揭示一种无线装置或相机电话装置，其适合于在所述装置中创建两个摄影图像的较大全景图像，其限制条件为所述两个图像具有共同重叠区。即使所述两个图像处于不同旋度或视角，也可创建所述全景图像。所述装置在创建所述全景图像之前对任何旋度差进行校正。

Description

全景成像技术
技术领域
本发明大体上涉及图像处理，且更具体地说，涉及用于形成全景图像的技术。
背景技术
目前，全景图像无法在相机装置或相机电话装置中被创建。实情为，当从具有某一共同重叠区的个别数字图像产生全景图像时，需要将图片加载到可使用用于创建全景图像的软件的个人计算机(PC)。此软件不适合在具有有限电力、存储器和处理能力的相机装置中使用。
此外，用于产生全景图像的一些当前方法是非常费时且非用户友好的。时常，用以创建全景图像的两个图像以旋转方式偏移。因此，无法创建全景图像，或在创建了全景图像的情况下，所述全景图像在视觉上是不具吸引力的。举例来说，通过对图像(图3A和图3B)使用常规过程来创建图4的全景图像。虽然所述常规过程能够拼接图3A和图3B的两个图像，但接缝是斜的且处于不良位置中。
因此，此项技术中需要通过使用(且自动使用)相机装置或相机电话装置，以对校正个别图像之间的任何旋度差的特殊关注来自动产生全景图像的技术。
发明内容
本文中描述通过自动使用相机装置，以对校正两个个别图像之间的任何旋度差的特殊关注来自动产生全景图像的技术。在一个实施例中，提供一种无线装置，其具有处理器，所述处理器操作以将具有重叠区的左侧图像和右侧图像缝合在一起。所述过程还在缝合以创建较大全景图像之前，自动地针对左侧图像与右侧图像之间的任何旋度差进行校正。包含存储器，其耦合到所述处理器。
在另一方面中，一种处理器具有视频处理单元，所述视频处理单元操作以自动地针对具有共同重叠区的第一选定图像与第二选定图像之间的高于预定限度的旋度差进行校正。视频处理单元操作以在旋度差低于所述预定限度时，在计算出的缝合位置处将第一图像缝合到第二图像以创建较大的全景图像。视频处理单元操作以在旋度差高于所述预定限度时，在经旋转的缝合位置处将第一图像缝合到经旋转的第二图像。存储器单元耦合到所述视频处理单元。
在另一方面中，一种计算机程序产品包含机器可读媒体，所述机器可读媒体具有用于致使机器自动地在第二图像中找出理想的缝合位置以缝合第一图像的指令，第一图像和第二图像具有共同重叠区。所述指令还致使机器自动地相对于理想缝合位置而针对第一图像与第二图像之间的旋度差来对第二图像进行校正，以形成新的经旋转的理想位置。另外，所述指令致使机器自动地使用所述新的经旋转的理想位置来将第一图像缝合到第二图像，以产生较大的全景图像。
下文进一步详细地描述本发明的各个方面和实施例。
附图说明
从下文结合图式而陈述的详细描述将更明白本发明的方面和实施例，在图式中，相同参考符号始终对应地标识。
图1A和图1B说明场景的一对左侧和右侧摄影图像，其中左侧摄影图像和右侧摄影图像的一部分重叠。
图2说明无线装置。
图3A和图3B说明团体照的左侧和右侧摄影图像，其中左侧摄影图像和右侧摄影图像的一部分重叠。
图4说明使用常规过程的表示图3A的左侧摄影图像和图3B的右侧摄影图像的单个图像。
图5说明使用创建全景图像的过程的表示图3A的左侧摄影图像和图3B的右侧摄影图像的单个图像。
图6A和图6B说明创建全景图像的过程的流程图。
图7说明用以在待缝合的左侧和右侧摄影图像的摄影图像中的一者的重叠区中找出并标注“最感兴趣”瓦片(tile)的过程的流程图。
图8说明图1A的左侧摄影图像，其中重叠区域Loverlap被标注。
图9说明用以缩小并找出图1B的右侧摄影图像中的瓦片或点tstart的过程的流程图。
图10说明图1B的右侧摄影图像，其中瓦片或点tstart被标注在减小的重叠区中。
图11A和图11B说明图1A的左侧摄影图像和图1B的右侧摄影图像，其中ctgoal、ctstart和ctendPos被指定。
图12说明相对于彼此而偏移或旋转的两个重叠正方形瓦片。
图13说明阵列Roverlap，其中指示起始点以开始经修改的A*试探式搜索。
图14说明图13的阵列Roverlap，其中在经修改的A*试探式搜索中，搜索使用第一半径。
图15说明图14的阵列Roverlap，其中在经修改的A*试探式搜索中，搜索的延伸使用第一半径。
图16说明图15的阵列Roverlap，其中在经修改的A*试探式搜索中，搜索的进一步延伸使用超过OVERSHOOT(过冲)阈值的第一半径。
图17说明图16的阵列Roverlap，其中在经修改的A*试探式搜索中，第二搜索使用第二半径。
图18说明图17的阵列Roverlap，其中在经修改的A*试探式搜索中，第三搜索使用第三半径。
图19说明图18的阵列Roverlap，其中在经修改的A*试探式搜索中，搜索的延伸使用第三半径。
图20说明图19的阵列Roverlap，其中在经修改的A*试探式搜索中，搜索的进一步延伸使用第三半径。
图21说明图20的阵列Roverlap，其中在经修改的A*试探式搜索中，第四搜索使用次级平铺(sub-tiling)搜索。
图22说明在使用经修改的A*试探式搜索的搜索中成本函数f(t)对扩展阶数的曲线图。
图23A和图23B说明图1A的左侧摄影图像和图1B的右侧摄影图像，其中tgoal、tendPos和tendRot被指定。
图24说明多个旋度下的图23B的重叠瓦片tendPos。
图25A说明图8的左侧摄影图像，其中tgoal被指定。
图25B说明图1B的经旋转的右侧摄影图像，其中tendPos和tmatch被指定。
图26A说明tgoal瓦片。
图26B说明tstart瓦片。
图26C说明tendPos瓦片。
图26D说明tendRot瓦片。
图26E说明tmatch瓦片。
图27说明用于计算右侧摄影图像的对准旋转的过程的流程图。
图28说明用于将左侧摄影图像缝合到右侧摄影图像的过程的流程图。
图29说明直方图阵列的概括框图。
图30说明使用创建全景图像的过程的表示图1A的左侧摄影图像和图1B的右侧摄影图像的全景图像。
图31A和图31B说明餐馆处的场景的左侧和右侧摄影图像，其中左侧和右侧摄影图像的一部分重叠且以旋转方式彼此偏移。
图32说明说明使用创建全景图像的过程的表示图31A的左侧摄影图像和图31B的右侧摄影图像的全景图像。
图33说明缝合模块。
具体实施方式
词语“示范性”在本文中用来表示“充当实例、例子或说明”。本文中描述为“示范性”的任一实施例或设计均不一定被解释为比其它实施例或设计优选或有利。
本文中所描述的技术可用于无线通信、计算、联网、个人电子器件等。下文描述用于无线通信的技术的示范性用途。
图2展示无线通信系统中的无线装置10的实施例的框图。无线装置10可以是蜂窝式或相机电话、终端、手持机、个人数字助理(PDA)或某一其它装置。无线通信系统可以是码分多址(CDMA)系统、全球移动通信系统(GSM)系统或某一其它系统。
无线装置10能够经由接收路径和发射路径来提供双向通信。在接收路径上，基站所发射的信号由天线12接收，且被提供到接收器(RCVR)14。接收器14调节并数字化所接收到的信号，且向数字区段20提供样本以供进一步处理。在发射路径上，发射器(TMTR)16接收待从数字区段20传输的数据、处理并调节所述数据且产生经调制的信号，经由天线12将所述经调制的信号发射到基站。
数字区段20包含各种处理单元、接口单元和存储器单元，例如，调制解调器处理器22、视频处理器24、控制器/处理器26、显示处理器28、ARM/DSP 32、图形处理单元(GPU)34、内部存储器36以及外部总线接口(EBI)38。调制解调器处理器22执行用于数据发射和接收的处理(例如，编码、调制、解调和解码)。视频处理器24对视频应用(例如，摄像放像机、视频播放和视频会议)的视频内容(例如，静止图像、移动视频和移动文本)执行处理。控制器/处理器26可指导数字区段20内的各种处理和接口单元的操作。显示处理器28执行处理以促进视频、图形和文本在显示单元30上的显示。ARM/DSP 32可为无线装置10执行各种类型的处理。图形处理单元34执行图形处理。
本文中所描述的技术可用于数字区段20中的处理器中的任一者，例如，视频处理器34。内部存储器36将用于各个单元的数据和/或指令存储在数字区段20内。EBI 38促进数据在数字区段20(例如，内部存储器36)与主存储器40之间的传送。
可用一个或一个以上DSP、微处理器、RISC等来实施数字区段20。还可在一个或一个以上专用集成电路(ASIC)或某一其它类型的集成电路(IC)上制造数字区段20。
可以各种硬件单元来实施本文中所描述的技术。举例来说，可以ASIC、DSP、RISC、ARM、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和其它电子单元来实施所述技术。
无线装置10进一步包括存储在内部存储器36或其它计算机可读媒体中的全景处理软件，用于如图6A到图6B中所示实行将两个摄影图像缝合在一起以创建单个全景图像的过程(概括表示为100)。此外，内部存储器36可存储静止图像(例如，图1A、图1B、图3A、图3B以及图31A到图31B中所示的静止图像)、摄影图像或其中的视频剪辑(video clip)，其可由用户选择以使用全景处理软件来自动处理。全景处理软件在执行时能够将一场景的从不同视角(perspective)甚至不同旋度拍摄的两个摄影图像无缝合成在一起，其限制条件为存在某一共同重叠区。
图6A和图6B说明创建全景图像的过程100的流程图。过程100将两个摄影图像(图1A和图1B)缝合在一起。出于说明性目的，将两个摄影图像(图1A和图1B)表示为图8中的左侧摄影图像L和图10中的右侧摄影图像R，假设存在共同重叠区。过程100以步骤S102开始，在步骤S102中，在左侧摄影图像L的共同重叠区的密集区域中找出并标注“最感兴趣”的正方形瓦片。在示范性实施例中，正方形瓦片为128×128像素瓦片。将左侧摄影图像L中的重叠密集区域表示为Loverlap。下文相对于图7来详细描述在步骤S102中实行的过程。
本文中关于左侧和右侧图像而描述的过程的描述内容可颠倒。举例来说，可对右侧图像执行与左侧图像有关的操纵和计算。同样，可对左侧图像执行与右侧图像有关的操纵和计算。此外，左侧和右侧图像的部分形成所产生的全景图像的左侧和右侧。因此，可用一场景的具有共同重叠区的顶部和底部图像来代替所述左侧和右侧。
继步骤S102之后是步骤S104，其中如最佳在图10中看到，使右侧摄影图像R在2个维度上缩小2X，总共减小4X(4倍)。同样，也使右侧图像中的共同重叠区缩小相同因子。以围绕边界的虚线来展示右侧摄影图像R的大小。减小的重叠区域Roverlap通常为右侧图像R中的共同重叠区，且为候选正方形或像素瓦片的阵列。每一候选正方形或像素瓦片与区域Loverlap中的正方形基本上大小相同。将减小的重叠区域Roverlap展示为候选正方形瓦片的3×4阵列25。在使右侧摄影图像R缩小4倍后，在减小的重叠区域Roverlap中找出与瓦片tgoal最紧密匹配的起始瓦片，其具有从所述瓦片的直方图和绝对差和(SAD)导出的类似(最低)成本函数f(t)。与瓦片tgoal最紧密匹配的正方形起始瓦片为表示为30的瓦片。
此后，将正方形瓦片30的中心标注为tstart。中心tstart为用于在步骤S106处起始经修改的A*试探式搜索(ModifiedA*Heuristic Search)的“最有效点”(sweet spot)或理想起始点或瓦片。在步骤S106处，进行搜索以在重叠区域Roverlap中找出与瓦片tgoal匹配的完美或理想缝合瓦片。在步骤S106处，使用正方形瓦片tgoal的边界内的圆形占据面积40(下文中称为“圆形瓦片”)来比较图像L与R中的图像色调，以便避免由两个摄影图像之间的旋转和光照差异导致的隐患。继步骤S106之后是步骤S108，在步骤S108中，做出在经修改的A*试探式搜索期间是否找到匹配的确定。如果所述确定为“是”(表示找到匹配)，那么继步骤S108之后是步骤S110，在步骤S110中，计算图像R中与图像L中的瓦片tgoal匹配的匹配瓦片的旋转量(以度计)或对准旋转量。然而，如果步骤S108处的确定为“否”(表示无匹配)，那么步骤S108返回到步骤S106以继续所述经修改的A*试探式搜索。
返回到步骤S110，继步骤S110之后是步骤S111(以幻影展示)，在步骤S111中，做出对准旋转的绝对值是否小于或等于(＜＝)三度(3°)的确定。如果所述确定为“否”，那么继步骤S111之后是步骤S112，在步骤S112中，使右侧摄影图像R旋转步骤S110处所计算出的度数。将经旋转的右侧摄影图像R表示为Rrotated(图25B)。然而，如果步骤S111处的确定为“是”，那么继步骤S111之后是步骤S118，以跳过右侧图像的旋转。这是优化特征，其允许跳过旋转过程，以节约对准旋转的量较小或可忽略时的计算。步骤S111的幻影线指示所述步骤是任选的。
继步骤S112之后是步骤S114。在步骤S114处，再次执行搜索以找出匹配的完美或理想缝合瓦片的新位置。然而，使用理想缝合瓦片的全正方形占据面积。所述搜索使用仅SAD函数。继步骤S114之后是步骤S116，在步骤S116中，做出是否找到位置的确定。如果所述确定为“是”(表示找到位置)，那么继步骤S116之后是步骤S118，在步骤S118中，将左侧摄影图像L与右侧摄影图像R(如果对准旋转小于3°)或经旋转的摄影图像Rrotated缝合在一起以创建较大的全景图像(图30)。
现在参看图7(其为步骤S102的流程图)，展示找出并标注“最感兴趣”正方形瓦片tgoal的过程。还具体参看图8，在步骤S132处，确定与右侧摄影图像R重叠的左侧摄影图像L中的被表示为Loverlap的预定密集区域，且在步骤S133处，将所述预定密集区域划分成正方形瓦片阵列20。在示范性实施例中，预定密集区域Loverlap的大小是受约束的。
区域Loverlap的宽度约束为从最右侧边缘开始的左侧摄影图像L的1/5。区域Loverlap的高度约束为左侧摄影图像的高度的7/10(0.7)。因此，当从左侧摄影图像L的水平中线或水平线测量时，区域Loverlap在上行方向上延伸图像L中的高度的.35，且在下行方向上延伸图像L中的高度的.35。换句话说，区域Loverlap并不完全延伸到左侧摄影图像L的顶部边缘和底部边缘，且大体上以中线或水平线为中心。如可了解，宽度和高度的约束可以是变化的且可编程的。
此外，将区域Loverlap划分成多个正方形瓦片，其中每一瓦片具有相同的像素大小。此处，将正方形瓦片的大小选择为128×128。区域Loverlap中的正方形瓦片的数目为八(8)，将此些瓦片排列成正方形瓦片阵列20。正方形瓦片阵列20为2×4。阵列20中瓦片的数目或阵列20的大小为例如瓦片大小、宽度和高度约束等经编程参数和/或图像L与图像R之间的重叠的函数。
再次返回到图7，继步骤S133之后是步骤S134，在步骤S134中，进行搜索以在区域Loverlap中找出最独特的瓦片，使得：a)区域Loverlap中的瓦片的直方图在相邻瓦片当中是最独特的，以及b)所述直方图具有明度(Luma)和色度(Chroma)(即，许多色彩)的最均匀分布。继步骤S134之后是步骤S136，在步骤S136中，做出是否找到与阵列20中的所有其相邻瓦片相比“最感兴趣”的瓦片的确定。如果步骤S136处得确定为“是”，那么继步骤S136之后是步骤S138，在步骤S138中，将所述瓦片标注或设置为tgoal。在示范性实施例中，将瓦片tgoal展示为被标注于第一列、第三行中。出于说明性目的，界定阵列20的线是白色的，且瓦片tgoal是黑色的。如可了解，找到瓦片tgoal寻，使得其具有许多细节和色彩。
图8说明重叠区域Loverlap被标注的图1A的左侧摄影图像。在图8中，对于每一正方形(像素)瓦片，色度或色彩具有在32至256之间的范围且是可编程的。明度是像素的灰度(亮度)。
图9说明用以缩小并找出图1B的右侧摄影图像中的瓦片或点tstart的步骤S104的过程的流程图。图10说明瓦片或点tstart被标注于减小的重叠区中的图1B的右侧摄影图像。步骤S104的过程以步骤S152开始，在步骤S152中，使右侧摄影图像R在每一维度上缩小两倍，所以其为原始大小或纵横比的1/4，以形成临时右侧图像22。继步骤S152之后是步骤S153，在步骤S153中，在临时右侧图像22中找出减小的重叠区域Roverlap(图13)。将右侧图像R中的减小的重叠区域Roverlap选择为大于(＞)临时右侧图像22的宽度的1/2。此处，将宽度选择为临时右侧图像22的宽度的3/5。将高度选择为临时右侧图像22的100％。因此，减小的重叠区域Roverlap延伸到临时右侧图像22的右侧和底部边界。
此外，在步骤S153期间，接着将重叠区域Roverlap划分成相等大小的多个候选正方形瓦片以形成阵列25。区域Roverlap中的候选正方形瓦片的大小等于区域Loverlap中的正方形瓦片的大小。基于约束条件，阵列25具有排列成3×4阵列的12个正方形瓦片，其中所有候选正方形瓦片均具有与左侧摄影图像L对应的重叠或共同图像部分。
继步骤S153之后是步骤S154，在步骤S154中，使用等式Eq.(1)中的成本函数f(t)来进行搜索，以在区域Roverlap中找出最像或最匹配先前在区域Loverlap中找到的瓦片tgoal的瓦片。成本函数f(t)具有两个准则，以在搜索最像或最匹配tgoal的瓦片期间评估候选瓦片。所述两个准则包含：(1)候选瓦片的直方图，其将阵列25的每一候选瓦片与瓦片tgoal的明度进行比较；以及(2)最匹配瓦片tgoal的SAD。当计算SAD时，将右侧摄影图像R的区域Roverlap中的每一候选瓦片与左侧摄影图像L中的区域Loverlap的瓦片tgoal进行比较。接着，执行两个瓦片(区域Roverlap中的候选瓦片与Loverlap的瓦片tgoal)之间的逐像素或逐点减法。
如果被比较的两个瓦片是相同的，那么结果将为零或黑色(表示两个瓦片是匹配的)。然而，如果两个瓦片完全不同，那么减法的结果将得出较大的数(表示两个瓦片不匹配)。SAD运算类似于最小化函数，以找出阵列25中的候选瓦片中哪些瓦片具有与瓦片tgoal匹配的最多数目的色彩且哪一SAD是最佳的(最低SAD数)。
继步骤S154之后是步骤S156，在步骤S156中，做出是否在阵列25中找出与瓦片tgoal(图26A)匹配的最佳瓦片的确定。此处，将与瓦片tgoal匹配的瓦片表示为30。如果所述确定为“是”，那么继步骤S156之后是步骤S158，在步骤S158中，将瓦片30的中心标注为区域Roverlap中的tstart。然而，如果所述确定为“否”，那么继续步骤S154中的搜索。依据对图8和图10的目测，可容易看到瓦片tgoal与具有tstart的瓦片30相对较接近。
图11A和图11B说明图1A的左侧摄影图像和图1B的右侧摄影图像，其中ctgoal、ctstart和ctendPos被指定。在正方形瓦片tstart(图26B)处使用其中被表示为区域Roverlap中的ctstart的圆形瓦片来开始经修改的A*试探式搜索。应注意，图11B中的区域Roverlap是缩小的临时图像22中的同一区域Roverlap。图11B中的区域Roverlap为256×256，其中圆形瓦片ctstart被展示为粗黑圆圈。在经修改的A*试探式搜索结束时，将被找到为理想缝合瓦片的圆形瓦片表示为区域Roverlap中的ctendPos，且被展示为右侧图像R中的黑圆圈。经修改的A*试探式搜索计算等式Eq.(1)中定义为如下的成本函数f(t)：
f(t)＝whall*histogram Diffall(t，tgoal)+ws*locationDiff(t，tgoal)  Eq.(1)
其中函数histogramDiffall(t，tgoal)将每一候选圆形瓦片的直方图阵列与ctgoal的直方图阵列进行比较；函数locationDiff(t，tgoal)确定每一候选圆形瓦片与圆形瓦片ctgoal之间的SAD结果；whall为0与1之间的权数；ws为0与1之间的对SAD结果的权数；且whall加上ws等于1。whall和ws的默认值为.5，使得直方图结果与SAD结果可被同等对待。尽管如此，whall或ws仍可具有大于另一者的权数。分量whall*histogram Diffall(t，tgoal)由稍后所描述的四(4)个子函数构成。
图29说明直方图阵列200的概括框图。直方图阵列200中填充有一组数，其对应于经修改的A*试探式搜索中正经受评估的瓦片的色彩信息。直方图阵列200含有Y(亮度或明度)的值202、Cr(红色)的值204和Cb(蓝色)的值206以及多个共同色调值208。
在示范性实施例中，直方图阵列200具有：第一值(例如，28个值)的第一集合，其对应于瓦片中的明度数据(Y)202；值(例如，28个值)的第二集合，其对应于瓦片中的Cb(蓝色的量)206；以及值(例如，28个值)的第三集合，其对应于瓦片中的Cr(红色的量)204。Y值202、Cr值204和Cb值206具有0到255的范围，所述值被缩放(例如，通过比例缩放因子3)。更具体地说，直方图阵列200填充有对应于瓦片中具有从0到255的Y、Cr和Cb的像素的量的数据。
在示范性实施例中，有十五(15)个色调值208填充于直方图阵列200中。色调208可包含类似于HSV的空间中的红色、绿色、蓝色、青色、黄色、品红色、…、黑色、灰色和白色。类似于HSV的空间对应于像素的色调208A、饱和度208B和值208C。
针对每个像素计算色调值208，色调值是像素的色彩。举例来说，红色、粉红色和暗红色是红色的相同色调。绿色、墨绿色和浅绿色是绿色的色调。
色调值208指示瓦片是否在其中具有任何红色且不关心光照。因此，通过将色调添加到直方图函数计算，基本上去除由光照引起的任何变化。更具体地说，通过将色调值添加到直方图函数计算，消除了瓦片t与瓦片tgoal可能由于光照而稍有不同的事实。
因此，在计算等式Eq.(1)的成本函数f(t)之前，计算在经修改的A*试探式搜索期间的评估中的瓦片tgoal和瓦片“t”的直方图阵列200。接着，可简单地减去tgoal和瓦片“t”的两个直方图阵列。直方图阵列允许依据给定Y、给定Cb和给定Cr来识别像素(例如，如果图像为黑色，Y为零，那么所有128×128个像素均具有为零的Y)。因此，所述直方图经布置以展示直方图中的尖峰(spike)。由微小光照差异引起的尖峰导致直方图峰值不对准，进而远离高度匹配。因此，每一像素被给定Y值202、Cr值204和Cb值206。
除Y值202、Cr值204和Cb值206之外，计算来自Y、Cr、Cb的三(3)个新数。这些新数包含像素的色调208A、饱和度208B和值208C。HSV是评估像素的色彩的不同方式。因此，直方图函数whall*histogramDiffall(t，tgoal)由等式Eq.(2)定义：
wall*histogramDiffall(t，tgoal)＝
        wY*histogramYDiffall(t，tgoal)+
        wCb*histogramCbDiffall(t，tgoal)+                        Eq.(2)
        wCr*histogramCrDiffall(t，tgoal)+
        wHue*histogramHueDiffall(t，tgoal)
其中whall是wY+wCb+wCr+wHue的和，所述和在0与1之间。这四(4)个直方图子函数还允许个别地应用、编程和设置个别权数。
如可容易看到，经修改的A*试探式搜索使用圆形瓦片而非正方形瓦片。用于找出完美或理想缝合瓦片tendPos(图26C)或其圆形对应物ctendPos的色调/直方图/SAD的组合减小两个图像之间的光照变化的效应。
上文提供良好的与旋度无关的试探，但在进行全像素搜索时，有限色调并不提供足够的精确性。
图12说明相对于彼此而偏移或旋转的两个重叠正方形瓦片。顶部正方形瓦片来自左侧摄影图像L，且底部正方形瓦片来自右侧摄影图像R。重叠的视角表明具有圆形占据面积40(其表示左侧图像中的tgoal)的瓦片与右侧图像中的类似或相同瓦片之间的旋转偏移。因为经修改的A*试探式搜索查看两个瓦片的圆形中心，所以通常找到相同数目的色彩(即，色调、饱和度、值)，而不管所述两个瓦片以旋转方式偏移的事实。因此，在对两个基本上相同的瓦片的某一色彩的像素的数目进行计数时，旋转偏移并非因素。
图13说明阵列Roverlap，其中起始点被指示以开始经修改的A*试探式搜索。现在将相对于图13到图21来详细描述经修改的A*试探式搜索的过程。所述搜索开始以预定第一半径从瓦片tstart或其圆形对应物ctstart开始探索相邻瓦片(候选瓦片的集合)。对探索到的瓦片分等级以找出即将出现的(on the horizon)最低成本(H)瓦片以及已找到的最低成本(LCEF)瓦片。经修改的A*试探式搜索的过程留意H瓦片和LCEF瓦片(被表示为E瓦片)。在一些情况下，H瓦片与E瓦片可相同。然而，通过使用类似人工智能的过程，经修改的A*试探式搜索从当前即将出现的最低成本(H)瓦片开始，使用相同预定第一半径来探索新集合中的额外候选瓦片，以更新新集合的H瓦片，且追踪迄今探索到的所有候选瓦片的当前LCEF瓦片。探索以预定第一半径继续，直到与任一当前H瓦片相关联的成本大于与当前LCEF瓦片(瓦片E)相关联的成本乘以OVERSHOOT值为止。在当前H瓦片被确定为较大时，经修改的A*试探式搜索返回到LCEF瓦片(瓦片E)，且减小半径的大小。经修改的A*试探式搜索接着从当前LCEF瓦片(瓦片E)开始，以从当前LCEF瓦片开始减小的半径来探索Roverlap中的那些相邻瓦片(候选瓦片)。所述搜索以类似方式继续，直到半径等于0(表示在任一方向上仅存在1个像素)为止。当半径小于1时，次级平铺探索或取样发生(如最佳在图21中看到)，使得基于像素而不是瓦片来评估成本函数，因为圆形瓦片开始重叠。
出于说明性目的，假定平均照片为3兆像素(即，2048×1536)。仅提供图13到图21中的20×28框以涵盖足以演示经修改的A*试探式搜索的区域。如可了解，区域2048×1536是超限的。Roverlap的右侧的虚线表示所述区域延续。
可最佳将OVERSHOOT描述为在探索已进行得太远以致无法产生较佳结果之前探索应继续进行而超过LCEF瓦片的量。举例来说，可将OVERSHOOT设置为10％。因此，OVERSHOOT值将为110％。OVERSHOOT是可编程的数。
在图13中，以正方形内的实线圆圈(被表示为CT11)来展示区域Roverlap。圆圈CT11是图11B的被确定为区域Roverlap中起始经修改的A*试探式搜索的理想起始点的ctstart。圆形瓦片(被表示为ctstart)展示于区域Roverlap中的对应正方形内。区域Roverlap中的正方形瓦片为128×128，其对应于瓦片的宽度和高度(Twidth×Theight)。在图13中，也将起始圆形瓦片ctstart标注为E瓦片和H瓦片。起始圆形瓦片ctstart的实线指示所述瓦片是新近开放的。
每一瓦片具有128×128个像素，所述像素分布在每一瓦片的“正方形区域”或正方形形状上。将使右侧摄影图像R旋转所计算出的量。因此，将每一瓦片的正方形形状改变为圆形形状。仅评估界定圆形瓦片的圆形形状或占据面积内的那些像素。因此，忽略对应于正方形瓦片的拐角的那些像素。同样，tgoal为128×128，且ctgoal是用于评估瓦片tgoal的圆形占据面积。
图14说明图13的阵列Roverlap，其中在经修改的A*试探式搜索中，搜索使用第一半径。在图14中，展示具有(第一)半径SR1的相邻瓦片。此处，半径SR1为4。相邻瓦片形成将在经修改的A*试探式搜索的第一阶段期间评估的多个候选瓦片。将所述多个候选瓦片(8个相邻瓦片)标记为CT21、CT22、CT23、CT24、CT25、CT26、CT27和CT28。这些圆圈的实线指示所述瓦片是新近开放的。在完成搜索后，如由阴影线圆圈(具有对角线)所表示，起始圆形瓦片ctstart(CT11)是封闭的，且新瓦片(瓦片CT26)被标记为瓦片E与瓦片H(表示被找到为LCEF与即将出现的最低成本)。
在经修改的A*试探式搜索中，当检查迄今探索到的瓦片的所有相邻瓦片时，以最低成本次序来排列所述瓦片(经由经分类OPEN(开放)圆形瓦片列表)，以防止循环(经由CLOSED(封闭)瓦片列表)。
图15说明图14的阵列Roverlap，其中在经修改的A*试探式搜索中，搜索的延伸使用第一半径。在图15中，继续或延伸经修改的A*试探式搜索以便从标记为CT26的瓦片开始以半径SR1探索额外候选瓦片，因为瓦片CT26是即将出现的最低成本(H)瓦片。此处，存在8个相邻瓦片。然而，将新近开放的相邻瓦片标记为CT31、CT32、CT33、CT34、CT35，且以实圆圈线来展示。将先前在图14中开放的那些相邻瓦片展示为虚圆圈线，且对应于候选瓦片CT21、CT22、CT23、CT24、CT25、CT27和CT28。瓦片CT32被确定为即将出现的最低成本(H)瓦片。瓦片CT11已封闭。瓦片CT26封闭，且继续将LCEF瓦片标记为E。在此探索等级下，仅需要计算新近开放的相邻瓦片CT31、CT32、CT33、CT34、CT35的成本，因为先前在图14中开放的瓦片的成本并不改变。
图16说明图15的阵列Roverlap，其中在经修改的A*试探式搜索中，搜索的进一步延伸使用超过OVERSHOOT阈值的第一半径。在图16中，探索继续，其中确定具有从新H瓦片CT32开始的第一半径的瓦片的新候选列表。此处，从新H瓦片CT32开始，存在8个候选瓦片，但只有3个是新的候选瓦片，其被标记为CT41、CT42和CT43且以实虚线来展示。以虚线展示所有其它先前开放的瓦片。LCEF瓦片(瓦片E)仍然是瓦片CT26。候选瓦片CT43被确定为即将出现的最低成本(H)瓦片，且瓦片CT32封闭(由阴影线圆圈表示)。当针对OVERSHOOT进行评估时，确定H瓦片CT43具有大于与当前LCEF瓦片(瓦片E)相关联的成本乘以OVERSHOOT值的成本。因此，经修改的A*试探式搜索返回到当前LCEF瓦片(瓦片E)，且使半径减小预定因子(例如，因子0.5)。当前LCEF瓦片(瓦片E)也封闭。
图17说明图16的阵列Roverlap，其中在经修改的A*试探式搜索中，第二搜索使用第二半径。在图17中，经修改的A*试探式搜索以减小的当前半径SR2(例如，半径2)从当前LCEF瓦片(瓦片E)开始找出候选瓦片的新集合。候选瓦片的新集合是新近开放的且以实线来展示。将候选瓦片的此新集合标记为CT51、CT52、CT53、CT54、CT55、CT56、CT57和CT58。计算与这些候选瓦片相关联的成本。瓦片CT51被确定为即将出现的最低成本(H)瓦片。然而，当针对OVERSHOOT进行评估时，确定H瓦片CT51具有大于与当前LCEF瓦片相关联的成本乘以OVERSHOOT值的成本。因此，经修改的A*试探式搜索返回到当前LCEF瓦片(瓦片E)，且使当前半径进一步减小预定因子(例如，因子.5)。
图18说明图17的阵列Roverlap，其中在经修改的A*试探式搜索中，第三搜索使用第三半径。在图18中，经修改的A*试探式搜索以减小的当前半径(例如，半径1)从当前LCEF瓦片(瓦片E)开始找出候选瓦片的新集合。候选瓦片的新集合是新近开放的且以实线来展示。将候选瓦片的此新集合标记为CT61、CT62、CT63、CT64、CT65、CT66、CT67和CT68。计算与这些候选瓦片中的每一者相关联的成本。瓦片CT61被确定为即将出现的最低成本(H)瓦片。
图19说明图18的阵列Roverlap，其中在经修改的A*试探式搜索中，搜索的延伸使用第三半径。在图19中，在评估候选瓦片CT61、CT62、CT63、CT64、CT65、CT66、CT67和CT68的此新集合后，将H瓦片CT61确定为新的LCEF瓦片(瓦片E)。因此，先前LCEF瓦片因为是封闭的且不再是当前LCEF瓦片而被展示为阴影线圆圈，但“E”已被去除。此外，以当前半径，候选瓦片的新集合被确定为候选瓦片CT71和CT72。此处，即将出现的最低成本(H)瓦片是瓦片CT72。然而，当追踪当前LCEF瓦片(瓦片E)时，新的当前LCEF瓦片也被确定为瓦片CT72。因此，在图20中，确定从H瓦片CT72开始的候选瓦片CT81、CT82和CT83的新集合。
图20说明图19的阵列Roverlap，其中在经修改的A*试探式搜索中，搜索的进一步延伸使用第三半径。在图20中，使用新瓦片CT81、CT82和CT83来评估OVERSHOOT，但在针对OVERSHOOT进行评估时，确定H瓦片大于与当前LCEF瓦片相关联的成本乘以OVERSHOOT值。因此，经修改的A*试探式搜索返回到当前LCEF瓦片(瓦片E)CT72，且使当前半径进一步减小预定因子(例如，因子.5)。然而，半径现在小于1。因此，如图21中所示，次级平铺探索开始。
图21说明图20的阵列Roverlap，其中在经修改的A*试探式搜索中，第四搜索使用次级平铺搜索。在图21中，将次级平铺探索展示为重叠的圆形瓦片50。当前和最后LCEF瓦片(瓦片E)是CT72，且在图11B中被标记为ctendPos。在图11B中，白色圆圈对应于至少图21中的重叠圆形瓦片50。当前和最后LCEF瓦片(瓦片E)是用以将左侧摄影图像缝合到右侧摄影图像的完美或理想缝合点。如可了解，次级平铺探索将以类似于先前针对全圆形瓦片而描述的方式继续。新H瓦片是来自当前E瓦片的左上角中的次级瓦片(subtile)，且对于OVERSHOOT而将被评估为相同。
在次级平铺探索期间，在像素基础上将区域Roverlap中的重叠候选瓦片与圆形瓦片ctgoal进行比较。可在像素基础上使半径进一步减小，直到左侧仅存在一个像素为止。然而，可确定向左、向下、向上、向右移位一个像素将不会得到较好的LCEF瓦片，在此时搜索停止。
图22说明在使用经修改的A*试探式搜索的搜索中成本函数f(t)对扩展阶数的曲线图。现在将相对于图22中所示的曲线图来描述经修改的A*试探式搜索的概述。针对具有第一半径(例如，半径4)的瓦片A、B和C(被表示为曲线上的点)和落在具有点A、B和C的曲线中的任何其它相邻瓦片(候选瓦片)来计算成本函数f(t)。停止对其它瓦片的成本函数的评估，因为成本函数f(C)大于OVERSHOOT*f(B)，其中f(B)是与当前LCEF瓦片相关联的成本。因此，停止使用第一半径的搜索。使半径减小一半，且经修改的A*试探式搜索继续。
使用减小的半径(例如，半径2)，针对瓦片B、D和E(被表示为曲线上的点)和落在具有点B、D和E的曲线中的任何其它开放相邻瓦片(候选瓦片)来计算成本函数f(t)。停止对其它瓦片的成本函数的评估，因为成本函数f(E)大于OVERSHOOT*f(D)，其中f(D)是与当前LCEF瓦片相关联的成本。因此，停止使用第二半径的搜索。使第二半径减小一半，且经修改的A*试探式搜索继续。
使用减小的半径(例如，半径1)，针对瓦片D、F和G(被表示为曲线上的点)和落在具有点D、F和G的曲线中的任何其它开放相邻瓦片(候选瓦片)来计算成本函数f(t)。停止对其它瓦片的成本函数的评估，因为成本函数f(G)大于OVERSHOOT*f(F)，其中f(F)是与当前LCEF瓦片相关联的成本。瓦片F具有最低成本。
图23A和图23B说明图1A的左侧摄影图像和图1B的右侧摄影图像，其中tgoal、tendPos和tendRot被指定。图24说明多个旋度下的图23B的重叠瓦片tendPos。在图23A、图23B和图24中，将瓦片tgoal、tendRot和tendPos展示为具有圆形瓦片对应物的正方形瓦片。
图27说明用于在步骤S110(图6A)处计算右侧图像R中的对准旋转对准旋转的过程的流程图。开始于理想缝合点或瓦片(被表示为tendPos)，在步骤S170处，使圆形瓦片旋转预定量，且在步骤S172处，使用仅SAD函数来计算圆形瓦片相对于瓦片tgoal的成本。继步骤S172之后是步骤S174，其中做出是否到达旋转范围的终点的确定。如果所述确定为“否”，那么继步骤S174之后是步骤S176，在步骤S176中，使旋转(以度计)增加预定量。步骤S176循环回到步骤S170。然而，如果步骤S174处的确定为“是”，那么继步骤S174之后是步骤S178。在步骤S178处，计算图像R的对准旋转。举例来说，可将与最低SAD相关联的旋转(以度计)确定为对准旋转。因此理想缝合点或瓦片(被表示为区域Roverlap中的tendPos)与瓦片tgoal最匹配，在计算SAD时，对准旋转过程使用圆形瓦片格式来在SAD计算中消除拐角。
在示范性实施例中，使圆形瓦片ctendpos在从-10度到10度的范围内以21个不同旋度旋转。因此，在此实施例中使用的增量为1°。然而，可使用其它增量。图24说明以不同度数重叠在图23B的经旋转的瓦片(以白色展示)上的瓦片tgoal。将瓦片tendPos(以黑色展示)的最终旋转标记为tendRot(也以黑色展示)。在所述实施例中，对准旋转被确定为7度。这针对左侧图像与右侧图像之间的任何旋度差进行补偿或校正。图26D中也展示瓦片tendRot。
如先前所描述，如果旋转对准小于3°，那么瓦片tendPos是最终瓦片，且可被设置为瓦片tmatch(图26E)(下文所述)。此后，如果最佳匹配瓦片为瓦片tendPos，那么缝合过程可立即开始，这节约了与旋转对准过程相关联的那些额外计算。当缝合时，将左侧图像L放在(未经旋转的)右侧图像R之上，使瓦片tgoal与tmatch重叠。然而，如果旋转对准大于或等于3°，那么优选使右侧图像R旋转。
图25A说明图8的左侧摄影图像，其中tgoal被指定。图25B说明图1B的经旋转的右侧摄影图像，其中tendPos和tmatch被指定。在图25A和图25B中，使右侧图像R旋转对准旋转的量，并将其标记为Rrotated。通过使用右侧图像Rrotated的新旋转后的瓦片tendPos(图26C)，使用正方形瓦片的仅SAD成本函数用于新的经修改的A*试探式搜索中。可将新旋转后的瓦片tendPos(图26C)标记为当前(经旋转的)LCEF瓦片，从所述LCEF瓦片开始搜索。当前(经旋转的)LCEF瓦片在经旋转的右侧图像R中开始对与瓦片tgoal(图26A)最匹配的正方形瓦片tmatch(图26E)的新的经修改的A*试探式搜索。在图25B中，将正方形瓦片tmatch展示为黑色。如先前所描述，如果未使瓦片tendPos(图26C)旋转，那么瓦片tmatch为瓦片tendPos。此瓦片tmatch是用以将左侧图像L缝合到经旋转的右侧图像Rrotated的点。
图28说明用于将左侧摄影图像缝合到右侧摄影图像的过程的流程图。在图28中，缝合的理想位置是已知的。图6B中的步骤S118的过程以步骤S180开始，在步骤S180中，将右侧图像R或经旋转的右侧图像Rrotated发送到输出。继步骤S180之后是步骤S182，在步骤S182中，将左侧图像重叠在右侧图像R或经旋转的右侧图像Rrotated顶上。继步骤S182之后是步骤S184，在步骤S184中，将左侧图像L粘贴在瓦片tgoal被缝合在瓦片tmatch上的位置处，同时混合左侧图像与右侧图像之间的接缝。在示范性实施例中，使用α混合，其中使左侧图像L的右侧100个列与其下面的图像(右侧图像R或经旋转的右侧图像Rrotated)平滑地混合。如图30中所示，结果产生较大的全景图像。继步骤S184之后是步骤S186(以幻影展示)，在步骤S186中，任选地修剪全景图像，如由黑色矩形线表示。
现在参看图33，展示缝合模块300的框图。缝合模块300包含用于执行步骤S182的功能的重叠子模块302以及用于执行步骤S184的功能的混合子模块304。缝合模块300进一步包含接缝选择子模块306，其包含肤色检测子模块308以及对象检测子模块310。在步骤S184的混合之前或期间，可执行分别由子模块308和310进行的肤色检测和对象检测。提供修剪子模块312旨在修剪全景图像。
可以多种方式或型式来缝合接缝。首先可将直线用作用以缝合接缝的接缝型式。或者，接缝型式可以是波形线，以使穿过对象检测子模块310检测到的场景中的重要对象的切割或缝合减到最小。尽管如此，仍可使用其它接缝型式。接缝型式由接缝选择子模块306选择，且可自动完成。
此外，在示范性实施例中，如图4中所示，接缝优选将不落在全景图像中某人的脸部上。因此，肤色检测子模块308使用肤色检测算法来防止将接缝放置在图像中某人的脸部上。可使用搜索中所用的像素色彩来检测肤色或肉色。
图31A和图31B说明餐馆处的场景的左侧和右侧摄影图像，其中所述左侧和右侧摄影图像的一部分重叠。这些图像还处于不同旋度。图32中展示使用过程100的表示图31A的左侧摄影图像和图31B的右侧摄影图像的所得较大全景图像。接缝落在两个人之间而不是落在他们的脸部上。常规过程不可使用图31A和图31B的处于不同旋度的两个图像来创建全景图像。因此，本文中所描述的实施例通过在缝合之前找出旋度差并针对其进行校正来提供与旋度无关的图像缝合。在图5中，展示使用本文中所描述的示范性实施例，使用图3A的左侧摄影图像和图3B的右侧摄影图像而获得的所得全景图像。在图5中，接缝并非如图4中所示的常规过程所做的那样切割穿过某人的脸部。
鉴于上述内容，本文中所描述的实施例提供能够将一场景从不同视角或旋度拍摄的两个图像无缝组合在一起的无线装置10，其限制条件为存在某一共同重叠区。无线装置10还能够在相对较少量的存储器增加的情况下在相机装置中创建全景图像。
此外，如可容易地了解，无线装置10能够在两个图像之间的旋转低于阈值或下限时，通过消除旋度校正来优化用于创建全景图像的过程100。此外，所述过程补偿两个图像之间的光照差异。
在一个或一个以上示范性实施例中，所描述的功能可以硬件、软件、韧体或其任一组合来实施。如果以软件实施，那么可将所述功能作为一个或一个以上指令或代码存储在计算机可读媒体或机器可读媒体上或在计算机可读媒体或机器可读媒体上传输。计算机可读媒体或机器可读媒体包含计算机存储媒体和通信媒体两者，其包含促进计算机程序从一个位置传送到另一位置的任何媒体。存储媒体可以是可由计算机存取的任何可用媒体。作为实例说明而非限制，此些计算机可读媒体或机器可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且，将任何连接件适当称作计算机可读媒体或机器可读媒体。举例来说，如果使用同轴电缆、光纤电缆、绞合线对、数字订户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程来源传输软件，那么所述同轴电缆、光纤电缆、绞合线对、DSL或例如红外线、无线电和微波的无线技术包含于媒体的定义中。如本文中所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学盘、数字通用光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体或机器可读媒体的范围内。
此外，已知以一种形式或另一种形式(例如，程序、规程、过程、应用程序、模块、逻辑等等)将软件描述为采取行动或引起结果。此些表述只是陈述由处理系统执行软件以致使处理器执行动作或产生结果的简写方式。
本文中所描述的实施例与相机电话装置10、相机装置或具有相机的其它无线装置有关。然而，本文中所描述的过程100还可由个人计算机(PC)、膝上型计算机或其它计算装置使用。
提供所揭示实施例的先前描述是为了使所属领域的技术人员能够制作或使用本发明。对这些实施例的各种修改对于所属领域的技术人员来说将是显而易见的，且本文中所定义的一般原理在不脱离本发明的精神或范围的情况下可应用于其它实施例。因此，本发明无意限于本文中所展示的实施例，而应被赋予与本文中所揭示的原理和新颖特征一致的最宽范围。

Claims (49)

1.一种无线装置，其包括：
处理器，其操作以将具有重叠区的左侧图像和右侧图像缝合在一起，且在缝合以创建较大全景图像之前，自动地对所述左侧图像与所述右侧图像之间的任何旋度差进行校正；以及
存储器，其耦合到所述处理器。
2.根据权利要求1所述的装置，其中所述处理器进一步操作以：自动地在第二图像中找出用以缝合第一图像的理想缝合位置；相对于所述理想缝合位置，针对与所述第一图像的旋度差来对所述第二图像进行校正；形成新的经旋转的理想位置；且使用所述新的经旋转的理想位置将所述第一图像缝合到所述第二图像以产生所述较大全景图像。
3.根据权利要求2所述的装置，其中所述处理器进一步操作以：自动地在所述第一图像的所述共同重叠区中的受约束区域瓦片阵列中找出目标瓦片；使所述第二图像减小预定减小因子，以形成具有减小的共同重叠区的减小的第二图像；在所述减小的共同重叠区的候选瓦片阵列中找出理想起始瓦片；且在所述第二图像的所述共同重叠区中从所述理想起始瓦片开始以预定半径起始搜索，其中所述搜索用于在所述第二图像中找出所述理想缝合位置。
4.根据权利要求3所述的装置，其中所述处理器进一步操作以：确定所述第一图像的所述受约束区域瓦片阵列中哪一瓦片在相邻瓦片当中是最独特的并具有带有明度和色度的最均匀分布的直方图，以将所述瓦片设置为所述目标瓦片。
5.根据权利要求4所述的装置，其中所述处理器进一步操作以：基于每一相应候选瓦片相对于所述目标瓦片的明度直方图以及绝对差和(SAD)的比较，确定所述减小的共同重叠区的所述候选瓦片阵列中哪一瓦片最匹配所述目标瓦片，以将所述瓦片设置为所述理想起始瓦片。
6.根据权利要求5所述的装置，其中所述处理器进一步操作以：从所述理想起始瓦片开始以所述预定半径系统地探索候选瓦片阵列中的候选瓦片集合，以针对所述预定半径来找出当前即将出现的最低成本(H)瓦片，且追踪当前已找出的最低成本(LCEF)瓦片；针对所述预定半径，从所述当前H瓦片开始以所述预定半径系统地探索所述候选瓦片阵列中的新的候选瓦片集合，以确定新的即将出现的最低成本(NH)瓦片，且追踪所述当前LCEF瓦片；确定与所述NH瓦片相关联的成本是否大于与所述LCEF瓦片相关联的成本乘以过冲值；当所述NH瓦片被确定为较大时，减小所述预定半径以形成新的减小的半径；重复使用被设置为所述减小的半径的所述预定半径从所述当前LCEF瓦片开始的对所述新的候选瓦片集合的所述探索，除非所述减小的半径为最终半径；且当所述NH瓦片被确定为并非较大时，重复对所述新的候选瓦片集合的所述探索，其中将所述NH瓦片设置为所述当前H瓦片。
7.根据权利要求6所述的装置，其中当所述处理器操作以探索所述候选瓦片阵列中的所述候选瓦片集合时，所述处理器进一步操作以：创建所述目标瓦片的目标直方图阵列；从所述理想起始瓦片开始以所述预定半径，针对每一候选瓦片而创建候选直方图阵列；针对每一相应一个候选瓦片，从所述候选直方图阵列中减去所述目标直方图阵列，以便以所述预定半径，针对所述每一相应一个候选瓦片而创建直方图差结果；以所述预定半径，针对所述每一相应一个候选瓦片而确定所述目标瓦片与所述预定半径处的所述候选瓦片的SAD结果；对所述直方图差结果进行加权，以形成经加权的直方图差结果；对所述SAD结果进行加权，以形成经加权的SAD结果；且针对所述每一相应一个候选瓦片，将所述经加权的直方图差结果与所述经加权的SAD结果加在一起，以形成与所述每一相应一个候选瓦片相关联的成本。
8.根据权利要求7所述的装置，其中当所述处理器操作以探索所述新的候选瓦片集合时，所述处理器进一步操作以：从所述当前H瓦片开始以所述预定半径，针对每一候选瓦片而创建候选直方图阵列；针对与所述当前H瓦片相关联的所述每一相应一个候选瓦片，从所述候选直方图阵列中减去所述目标直方图阵列，以针对与所述当前H瓦片相关联的所述每一相应一个候选瓦片而创建直方图差结果；针对与所述当前H瓦片相关联的所述每一相应一个候选瓦片，确定所述目标瓦片与同所述当前H瓦片相关联的所述候选瓦片的SAD结果；针对与所述当前H瓦片相关联的所述每一相应一个候选瓦片，对所述直方图差结果进行加权，以形成经加权的直方图差结果；针对与所述当前H瓦片相关联的所述每一相应一个候选瓦片，对所述SAD结果进行加权，以形成经加权的SAD结果；且针对所述每一相应一个候选瓦片，将所述经加权的直方图差结果与所述经加权的SAD结果加在一起，以形成与同所述当前H瓦片相关联的所述每一相应一个候选瓦片相关联的所述成本。
9.根据权利要求8所述的装置，其中所述目标直方图阵列和所述候选直方图阵列中的每一者包括：亮度或明度(Y)的值、蓝色(Cr)的量和红色(Cr)的量，以及色调、饱和度和像素值(HSV空间)中的多个共同色调。
10.根据权利要求2所述的装置，其中所述处理器操作以：使与所述理想缝合位置相关联的瓦片的圆形占据面积在一度数范围内旋转预定量的度数；在与所述目标瓦片比较时，使用每一旋度下的绝对差和来确定与所述瓦片的所述圆形占据面积相关联的成本；且在已超过所述度数范围时，找出哪一旋度具有最低成本。
11.根据权利要求10所述的装置，其中如果所述旋转小于预定下限，那么所述处理器操作以跳过针对所述旋度差对所述第二图像进行的校正。
12.根据权利要求1所述的装置，其中所述处理器操作以：选择用于缝合接缝的缝合型式；且混合所述第一图像与所述第二图像之间的所述接缝。
13.根据权利要求1所述的装置，其中所述处理器进一步操作以确定肤色以消除所述全景图像中的脸部上的缝合。
14.根据权利要求1所述的装置，其中所述无线装置是相机电话。
15.一种集成电路，其包括：
处理器，其操作以将具有重叠区的左侧图像和右侧图像缝合在一起，且在缝合以创建较大全景图像之前，自动地对所述左侧图像与所述右侧图像之间的任何旋度差进行校正；以及
存储器，其耦合到所述处理器。
16.根据权利要求15所述的电路，其中所述处理器进一步操作以：自动地在第二图像中找出用以缝合第一图像的理想缝合位置；相对于所述理想缝合位置，针对与所述第一图像的旋度差来对所述第二图像进行校正；形成新的经旋转的理想位置；且使用所述新的经旋转的理想位置将所述第一图像缝合到所述第二图像以产生所述较大全景图像。
17.根据权利要求16所述的电路，其中所述处理器进一步操作以：自动地在所述第一图像的所述共同重叠区中的受约束区域瓦片阵列中找出目标瓦片；使所述第二图像减小预定减小因子，以形成具有减小的共同重叠区的减小的第二图像；在所述减小的共同重叠区的候选瓦片阵列中找出理想起始瓦片；且在所述第二图像的所述共同重叠区中从所述理想起始瓦片开始以预定半径起始搜索，其中所述搜索用于在所述第二图像中找出所述理想缝合位置。
18.根据权利要求16所述的电路，其中所述处理器操作以：使与所述理想缝合位置相关联的瓦片的圆形占据面积在一度数范围内旋转预定量的度数；在与所述目标瓦片比较时，使用每一旋度下的绝对差和来确定与所述瓦片的所述圆形占据面积相关联的成本；且在已超过所述度数范围时，找出哪一旋度具有最低成本。
19.根据权利要求18所述的电路，其中如果所述旋转小于预定下限，那么所述处理器操作以跳过针对所述旋度差对所述第二图像进行的校正。
20.根据权利要求15所述的电路，其中所述处理器操作以：选择用于缝合接缝的缝合型式；且混合所述第一图像与所述第二图像之间的所述接缝。
21.根据权利要求15所述的电路，其中所述处理器进一步操作以确定肤色以消除所述全景图像中的脸部上的缝合。
22.一种处理器，其包括：
视频处理单元，其操作以：自动地对具有共同重叠区的第一选定图像与第二选定图像之间高于预定限度的旋度差进行校正；当所述旋度差低于所述预定限度时，在计算出的缝合位置处将所述第一图像缝合到所述第二图像以创建较大全景图像；且在所述旋度差高于所述预定限度时，在经旋转的缝合位置处将所述第一图像缝合到经旋转的第二图像；以及
存储器单元，其耦合到所述视频处理单元。
23.根据权利要求22所述的处理器，其中所述视频处理单元操作以：使与所述计算出的缝合位置相关联的瓦片的圆形占据面积在一度数范围内旋转预定量的度数；在与所述第一图像中的目标瓦片比较时，使用每一旋度下的绝对差和来确定与所述瓦片的所述圆形占据面积相关联的成本；且在已超过所述度数范围时，找出哪一旋度具有最低成本。
24.根据权利要求22所述的处理器，其中所述视频处理单元操作以：选择用于缝合接缝的缝合型式；且混合所述第一图像与所述第二图像之间的所述接缝。
25.根据权利要求22所述的处理器，其中所述视频处理单元进一步操作以确定肤色以消除所述全景图像中的脸部上的缝合。
26.一种计算机程序产品，其包含机器可读媒体，所述机器可读媒体具有用于致使机器执行以下动作的指令：
自动地在第二图像中找出用以缝合第一图像的理想缝合位置，所述第一图像与所述第二图像具有共同重叠区；
相对于所述理想缝合位置，自动地针对所述第一图像与所述第二图像之间的旋度差来对所述第二图像进行校正，以形成新的经旋转的理想位置；以及
使用所述新的经旋转的理想位置将所述第一图像自动缝合到所述第二图像以产生较大全景图像。
27.根据权利要求26所述的计算机程序产品，其进一步包括用于致使所述机器执行以下动作的指令：
自动地在所述第一图像的所述共同重叠区中的受约束区域瓦片阵列中找出目标瓦片；
自动地使所述第二图像减小预定减小因子，以形成具有减小的共同重叠区的减小的第二图像；
在所述减小的共同重叠区的候选瓦片阵列中找出理想起始瓦片；以及
在所述第二图像的所述共同重叠区中从所述理想起始瓦片开始以预定半径起始搜索，其中所述搜索用于在所述第二图像中找出所述理想缝合位置。
28.根据权利要求27所述的计算机程序产品，其中所述用于致使所述机器找出所述目标瓦片的指令包括用于致使所述机器执行以下动作的指令：
确定所述第一图像的所述受约束区域瓦片阵列中哪一瓦片在相邻瓦片当中是最独特的并具有带有明度和色度的最均匀分布的直方图，以将所述瓦片设置为所述目标瓦片。
29.根据权利要求28所述的计算机程序产品，其中所述用于致使所述机器找出所述理想起始瓦片的指令包括用于致使所述机器执行以下动作的指令：
基于每一相应候选瓦片相对于所述目标瓦片的明度直方图以及绝对差和(SAD)的比较，确定在所述减小的共同重叠区的所述候选瓦片阵列中哪一瓦片最匹配所述目标瓦片，以将所述瓦片设置为所述理想起始瓦片。
30.根据权利要求29所述的计算机程序产品，其中所述用于致使所述机器找出所述理想缝合位置的指令包括用于致使所述机器执行以下动作的指令：
在所述搜索期间，从所述理想起始瓦片开始以所述预定半径系统地探索候选瓦片阵列中的候选瓦片集合，以针对所述预定半径找出当前即将出现的最低成本(H)瓦片，且追踪当前已找出的最低成本(LCEF)瓦片；
针对所述预定半径，从所述当前H瓦片开始以所述预定半径系统地探索所述候选瓦片阵列中的新的候选瓦片集合，以确定新的即将出现的最低成本(NH)瓦片，且追踪所述当前LCEF瓦片；
确定与所述NH瓦片相关联的成本是否大于与所述LCEF瓦片相关联的成本乘以过冲值；
当所述NH瓦片被确定为较大时，减小所述预定半径以形成新的减小的半径；
重复可操作以使用被设置为所述减小的半径的所述预定半径从所述当前LCEF瓦片开始探索所述新的候选瓦片集合的所述程序指令，除非所述减小的半径为最终半径；以及
当所述NH瓦片被确定为并非较大时，重复所述可操作以探索所述新的候选瓦片集合的程序指令，其中将所述NH瓦片设置为所述当前H瓦片。
31.根据权利要求30所述的计算机程序产品，其中所述用于致使所述机器探索所述候选瓦片集合的指令包括用于致使所述机器执行以下动作的指令：
创建所述目标瓦片的目标直方图阵列；
从所述理想起始瓦片开始以所述预定半径，针对每一候选瓦片而创建候选直方图阵列；
针对每一相应一个候选瓦片，从所述候选直方图阵列中减去所述目标直方图阵列，以便以所述预定半径，针对所述每一相应一个候选瓦片而创建直方图差结果；
以所述预定半径，针对所述每一相应一个候选瓦片而确定所述目标瓦片与所述预定半径处的所述候选瓦片的SAD结果；
对所述直方图差结果进行加权，以形成经加权的直方图差结果；
对所述SAD结果进行加权，以形成经加权的SAD结果；以及
针对所述每一相应一个候选瓦片，将所述经加权的直方图差结果与所述经加权的SAD结果加在一起，以形成与所述每一相应一个候选瓦片相关联的成本。
32.根据权利要求31所述的计算机程序产品，其中所述用于致使所述机器探索所述新的候选瓦片集合的指令包括用于致使所述机器执行以下动作的指令：
从所述当前H瓦片开始以所述预定半径，针对每一候选瓦片而创建候选直方图阵列；
针对与所述当前H瓦片相关联的每一相应一个候选瓦片，从所述候选直方图阵列中减去所述目标直方图阵列，以针对与所述当前H瓦片相关联的所述每一相应一个候选瓦片而创建直方图差结果；
针对与所述当前H瓦片相关联的所述每一相应一个候选瓦片，确定所述目标瓦片与同所述当前H瓦片相关联的所述候选瓦片的SAD结果；
针对与所述当前H瓦片相关联的所述每一相应一个候选瓦片，对所述直方图差结果进行加权，以形成经加权的直方图差结果；
针对与所述当前H瓦片相关联的所述每一相应一个候选瓦片，对所述SAD结果进行加权，以形成经加权的SAD结果；以及
针对所述每一相应一个候选瓦片，将所述经加权的直方图差结果与所述经加权的SAD结果加在一起，以形成与同所述当前H瓦片相关联的所述每一相应一个候选瓦片相关联的所述成本。
33.根据权利要求32所述的计算机程序产品，其中所述目标直方图阵列和所述候选直方图阵列中的每一者包括：亮度或明度(Y)的值、蓝色(Cr)的量和红色(Cr)的量，以及像素的色调、饱和度值(HSV空间)中的多个共同色调。
34.根据权利要求26所述的计算机程序产品，其中所述用于致使所述机器进行校正的程序指令包括用于致使所述机器执行以下动作的指令：
使与所述理想缝合位置相关联的瓦片的圆形占据面积旋转预定量的度数；
在与所述目标瓦片比较时，使用一旋度下的绝对差和来确定与所述瓦片的所述圆形占据面积相关联的成本；
使所述预定量的度数增加预定增量；
重复所述可操作以进行旋转、确定和增加的程序指令，直到已超过预定度数范围为止；以及
在已超过所述预定度数范围时，找出哪一旋度具有最低成本。
35.根据权利要求34所述的计算机程序产品，其中如果所述旋转小于预定下限，那么跳过所述用于致使所述机器进行校正的指令。
36.根据权利要求26所述的计算机程序产品，其中所述用于致使所述机器进行缝合的指令包括用于致使所述机器混合所述第一图像与所述第二图像之间的接缝的指令。
37.根据权利要求26所述的计算机程序产品，其中所述用于致使所述机器进行缝合的指令包括用于致使所述机器选择缝合型式的指令。
38.根据权利要求37所述的计算机程序产品，其中所述用于致使所述机器进行缝合的指令包括用于致使所述机器消除所述全景图像中的脸部上的接缝的指令。
39.一种无线装置，其包括：
视频处理单元，其操作以：自动地对具有共同重叠区的第一选定图像与第二选定图像之间高于预定限度的旋度差进行校正；当所述旋度差低于所述预定限度时，在计算出的缝合位置处将所述第一图像缝合到所述第二图像以创建较大全景图像；且当所述旋度差高于所述预定限度时，在经旋转的缝合位置处将所述第一图像缝合到经旋转的第二图像；以及
存储器，其耦合到所述视频处理单元。
40.根据权利要求39所述的装置，其中所述视频处理单元操作以：使与所述计算出的缝合位置相关联的瓦片的圆形占据面积在一度数范围内旋转预定量的度数；在与所述目标瓦片比较时，使用每一旋度下的绝对差和来确定与所述瓦片的所述圆形占据面积相关联的成本；且在已超过所述度数范围时，找出哪一旋度具有最低成本。
41.根据权利要求40所述的装置，其中所述视频处理单元操作以：选择用于缝合接缝的缝合型式；且混合所述第一图像与所述第二图像之间的所述接缝。
42.根据权利要求41所述的装置，其中所述视频处理单元操作以：确定肤色以消除所述全景图像中的脸部上的缝合。
43.一种方法，其包括：
自动地在第二图像中找出用以将第一图像缝合到所述第二图像的理想缝合位置，所述第一图像与所述第二图像具有共同重叠区；
相对于所述理想缝合位置，自动地针对所述第一图像与所述第二图像之间的旋度差来对所述第二图像进行校正，以形成新的经旋转的理想位置；以及
使用所述新的经旋转的理想位置将所述第一图像自动缝合到所述第二图像以产生较大全景图像。
44.根据权利要求43所述的方法，其进一步包括在所述找出步骤之前：
自动地在所述第一图像的所述共同重叠区中的受约束区域瓦片阵列中找出目标瓦片；
自动地使所述第二图像减小预定减小因子，以形成具有减小的共同重叠区的减小的第二图像；
在所述减小的共同重叠区的候选瓦片阵列中找出理想起始瓦片；以及
在所述第二图像的所述共同重叠区中从所述理想起始瓦片开始以预定半径起始搜索，其中所述搜索在所述找出步骤中用于在所述第二图像中找出所述理想缝合位置。
45.根据权利要求44所述的方法，其中所述目标瓦片的所述找出步骤包括：
确定所述第一图像的所述受约束区域瓦片阵列中哪一瓦片在相邻瓦片当中是最独特的并具有带有明度和色度的最均匀分布的直方图，以将所述瓦片设置为所述目标瓦片。
46.根据权利要求45所述的方法，其中所述理想起始瓦片的所述找出步骤包括：
基于每一相应候选瓦片相对于所述目标瓦片的明度直方图以及绝对差和(SAD)的比较，确定在所述减小的共同重叠区的所述候选瓦片阵列中哪一瓦片最匹配所述目标瓦片，以将所述瓦片设置为所述理想起始瓦片。
47.根据权利要求44所述的方法，其中所述校正步骤包括：
使与所述理想缝合位置相关联的瓦片的圆形占据面积旋转预定量的度数；
在与所述目标瓦片比较时，使用一旋度下的绝对差和来确定与所述瓦片的所述圆形占据面积相关联的成本；
使所述预定量的度数增加预定增量；
重复所述旋转步骤、所述确定步骤和所述增加步骤，直到已超过预定度数范围为止；以及
在已超过所述预定度数范围时，找出哪一旋度具有最低成本。
48.根据权利要求47所述的方法，其进一步包括：
确定所述旋转是否小于预定下限；以及在确定所述旋转较小时，跳过所述校正步骤。
49.根据权利要求48所述的方法，其中所述缝合步骤包括：
选择缝合型式。
CNA2008800019320A 2007-01-12 2008-01-11 全景成像技术 Pending CN101578851A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/623,050 2007-01-12
US11/623,050 US8331725B2 (en) 2007-01-12 2007-01-12 Panoramic imaging techniques

Publications (1)

Publication Number Publication Date
CN101578851A true CN101578851A (zh) 2009-11-11

Family

ID=39414959

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008800019320A Pending CN101578851A (zh) 2007-01-12 2008-01-11 全景成像技术

Country Status (7)

Country Link
US (1) US8331725B2 (zh)
EP (1) EP2103101A1 (zh)
JP (1) JP2010516003A (zh)
KR (1) KR20090099580A (zh)
CN (1) CN101578851A (zh)
TW (1) TW200903345A (zh)
WO (1) WO2008089069A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088555A (zh) * 2009-12-03 2011-06-08 索尼公司 全景图像合成器、全景图像合成方法和程序
CN103168315A (zh) * 2010-09-09 2013-06-19 数字光学欧洲有限公司 手持式设备上的立体(3d)全景图创建
CN104463778A (zh) * 2014-11-06 2015-03-25 北京控制工程研究所 一种全景图生成方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0708676D0 (en) * 2007-05-04 2007-06-13 Imec Inter Uni Micro Electr A Method for real-time/on-line performing of multi view multimedia applications
US8275215B2 (en) * 2007-05-08 2012-09-25 Arcsoft (Shanghai) Technology Company, Ltd Merging images
US20090192921A1 (en) * 2008-01-24 2009-07-30 Michael Alan Hicks Methods and apparatus to survey a retail environment
US9307165B2 (en) * 2008-08-08 2016-04-05 Qualcomm Technologies, Inc. In-camera panorama image stitching assistance
JP5219690B2 (ja) * 2008-08-21 2013-06-26 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム
WO2010025309A1 (en) * 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
US8605783B2 (en) * 2009-05-22 2013-12-10 Microsoft Corporation Composite video generation
US8947502B2 (en) 2011-04-06 2015-02-03 Qualcomm Technologies, Inc. In camera implementation of selecting and stitching frames for panoramic imagery
GB2473248A (en) * 2009-09-04 2011-03-09 Sony Corp Determining image misalignment by comparing image characteristics at points along a line
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US9153004B2 (en) 2010-08-30 2015-10-06 Rakuten, Inc. Product image interpolating device, method and non-transitory information recording medium
JP4763847B1 (ja) 2010-08-30 2011-08-31 楽天株式会社 画像変換装置、画像処理装置、ならびに、画像処理システム
WO2012075250A1 (en) * 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US8374428B2 (en) * 2010-12-05 2013-02-12 Microsoft Corporation Color balancing for partially overlapping images
KR101040532B1 (ko) * 2011-01-31 2011-06-16 삼성탈레스 주식회사 적외선 파노라믹 영상을 전송하기 위한 대조비 개선 장치 및 방법
JP2012191486A (ja) 2011-03-11 2012-10-04 Sony Corp 画像合成装置と画像合成方法およびプログラム
US9390530B2 (en) 2011-05-27 2016-07-12 Nokia Technologies Oy Image stitching
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
US20130293671A1 (en) * 2012-05-01 2013-11-07 Tourwrist, Inc. Systems and methods for stitching and sharing panoramas
US9058655B2 (en) * 2012-11-06 2015-06-16 Apple Inc. Region of interest based image registration
US10573045B2 (en) * 2012-12-19 2020-02-25 Shutterfly, Llc Generating an assembled group image from subject images
CN105592792B (zh) * 2013-10-23 2018-08-17 麦克赛尔控股株式会社 表面状态测定分析信息管理系统及表面状态测定分析信息管理方法
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US10127463B2 (en) 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras
US20160173784A1 (en) * 2014-12-16 2016-06-16 Hyangjin LEE Apparatus and method for providing of rotation image
TWI552600B (zh) 2014-12-25 2016-10-01 晶睿通訊股份有限公司 用於接圖的影像校正方法及具有影像校正功能的相關攝影機與影像處理系統
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
EP3357019A4 (en) 2015-09-30 2019-03-27 The Nielsen Company (US), LLC. INTERACTIVE EXAMINATION OF PRODUCTS WITH A MOBILE DEVICE
US10187590B2 (en) 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
CN107563987A (zh) * 2016-07-01 2018-01-09 北京疯景科技有限公司 标定成像差异的方法及装置
TWI661392B (zh) * 2017-12-27 2019-06-01 聚星電子股份有限公司 影像縫合方法及裝置
KR102392631B1 (ko) 2020-06-10 2022-04-29 중앙대학교 산학협력단 딥매칭을 이용한 콘크리트 구조물 또는 교량의 파노라마 이미지 생성 및 업데이트 시스템, 이의 파노라마 이미지 생성 및 업데이트 방법 및 파노라마 이미지 생성 및 업데이트 프로그램

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3140782B2 (ja) 1991-12-10 2001-03-05 ストーム テクノロジー，インコーポレイテッド 画像を自動併合するための装置及び方法
JP3066173B2 (ja) 1992-03-18 2000-07-17 三洋電機株式会社 パターンマッチング方法
US5481375A (en) 1992-10-08 1996-01-02 Sharp Kabushiki Kaisha Joint-portion processing device for image data in an image-forming apparatus
US6549681B1 (en) * 1995-09-26 2003-04-15 Canon Kabushiki Kaisha Image synthesization method
JP3302236B2 (ja) 1995-09-26 2002-07-15 キヤノン株式会社 パノラマ画像合成装置とパノラマ画像の作成方法
JP3696952B2 (ja) 1995-09-29 2005-09-21 キヤノン株式会社 画像合成装置および方法
JPH1083442A (ja) 1996-09-09 1998-03-31 Canon Inc 画像合成方法
US6714689B1 (en) * 1995-09-29 2004-03-30 Canon Kabushiki Kaisha Image synthesizing method
JPH11167640A (ja) 1997-12-05 1999-06-22 Tani Denki Kogyo Kk 画像認識による計測方法および記録媒体
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6456323B1 (en) * 1999-12-31 2002-09-24 Stmicroelectronics, Inc. Color correction estimation for panoramic digital camera
JP2002042125A (ja) 2000-07-26 2002-02-08 Minolta Co Ltd 画像合成装置、画像合成方法、および、画像合成プログラムを記録したコンピュータ読取可能な記録媒体
US7409105B2 (en) * 2003-10-22 2008-08-05 Arcsoft, Inc. Panoramic maker engine for a low profile system
JP4501481B2 (ja) 2004-03-22 2010-07-14 セイコーエプソン株式会社 マルチプロジェクションシステムのための画像補正方法
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
CN100455266C (zh) * 2005-03-29 2009-01-28 深圳迈瑞生物医疗电子股份有限公司 宽景成像处理方法
US7813590B2 (en) * 2005-05-13 2010-10-12 Given Imaging Ltd. System and method for displaying an in-vivo image stream
US7551234B2 (en) * 2005-07-28 2009-06-23 Seiko Epson Corporation Method and apparatus for estimating shot boundaries in a digital video sequence
EP1793580B1 (en) * 2005-12-05 2016-07-27 Microsoft Technology Licensing, LLC Camera for automatic image capture having plural capture modes with different capture triggers
EP1965350A1 (en) * 2005-12-21 2008-09-03 Nikon Corporation Image combining method, image combining program, image combining device, template extracting method, and template extracting program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088555A (zh) * 2009-12-03 2011-06-08 索尼公司 全景图像合成器、全景图像合成方法和程序
CN103168315A (zh) * 2010-09-09 2013-06-19 数字光学欧洲有限公司 手持式设备上的立体(3d)全景图创建
CN103168315B (zh) * 2010-09-09 2016-01-20 快图有限公司 手持式设备上的立体(3d)全景图创建
CN104463778A (zh) * 2014-11-06 2015-03-25 北京控制工程研究所 一种全景图生成方法
CN104463778B (zh) * 2014-11-06 2017-08-29 北京控制工程研究所 一种全景图生成方法

Also Published As

Publication number Publication date
KR20090099580A (ko) 2009-09-22
EP2103101A1 (en) 2009-09-23
WO2008089069A9 (en) 2008-10-09
US8331725B2 (en) 2012-12-11
WO2008089069A1 (en) 2008-07-24
JP2010516003A (ja) 2010-05-13
TW200903345A (en) 2009-01-16
US20080170803A1 (en) 2008-07-17

Similar Documents

Publication Publication Date Title
CN101578851A (zh) 全景成像技术
CN110622497B (zh) 具备具有不同焦距的相机的设备及实现相机的方法
CA2922081C (en) Image processing apparatus, image processing method, and imaging system
US20070025723A1 (en) Real-time preview for panoramic images
JP4327856B2 (ja) 小型システム用のパノラマメーカーエンジン
Mills et al. Image stitching with dynamic elements
US7406213B2 (en) Image processing apparatus and method, and computer program
CN112862685B (zh) 图像拼接的处理方法、装置和电子系统
US20050008254A1 (en) Image generation from plurality of images
US20060002629A1 (en) Method and system of deskewing an image using monochrome conversion to separate foreground from background
JP2007193691A (ja) 画像重ね合わせ装置
JP2005100407A (ja) 複数のソース画像からパノラマ画像を作成するシステム及び方法
EP2940626B1 (en) Apparatus and method for detecting color checker in image
CN101138008A (zh) 图像处理设备和图像处理方法
US8542324B2 (en) Efficient image and video recoloring for colorblindness
CN107018335A (zh) 图像拼接方法、装置及终端
JP6986438B2 (ja) カラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラム
CN108154471A (zh) 一种用于遥感影像拼接的方法与装置
US8373718B2 (en) Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
US20240046430A1 (en) Corrective Lighting for Video Inpainting
US10614553B1 (en) Method for spherical camera image stitching
US20050248664A1 (en) Identifying red eye in digital camera images
WO2002056252A2 (en) Apparatus and method for boundary detection in vector sequences and edge detection in color image signals
CN114727074B (zh) 用于投影装置的投影校正方法、投影校正装置及投影装置
JP2002208013A (ja) 画像領域抽出装置及び画像領域抽出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20091111