CN102668541B - 具有倾斜或透视校正的图像捕捉设备 - Google Patents

具有倾斜或透视校正的图像捕捉设备 Download PDF

Info

Publication number
CN102668541B
CN102668541B CN201080058371.5A CN201080058371A CN102668541B CN 102668541 B CN102668541 B CN 102668541B CN 201080058371 A CN201080058371 A CN 201080058371A CN 102668541 B CN102668541 B CN 102668541B
Authority
CN
China
Prior art keywords
image
towards
capturing apparatus
view data
seizure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080058371.5A
Other languages
English (en)
Other versions
CN102668541A (zh
Inventor
J·H-P·陈
B·D·斯拉克
D·I·西蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN201510140143.7A priority Critical patent/CN104717429B/zh
Publication of CN102668541A publication Critical patent/CN102668541A/zh
Application granted granted Critical
Publication of CN102668541B publication Critical patent/CN102668541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/80
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/60Rotation of a whole image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion

Abstract

本公开涉及校正图像捕捉设备中的倾斜和/或透视失真的方法与设备。在有些实施方式中,所述方法可以包括读取与图像捕捉设备相对于目标的相对位置关联的朝向测量值,确定该朝向测量值是否小于阈值,以及在所述朝向测量值小于所述阈值的情况下,校正由所述图像捕捉设备获得的图像。在有些实施方式中,所述设备可以包括图像传感器、耦合到所述图像传感器的存储器、耦合到所述图像传感器的朝向测量设备及耦合到所述图像传感器的距离测量设备,其中图像数据可以与来自加速度计的测量值以及来自距离测量设备的测量值一起存储在所述存储器中。

Description

具有倾斜或透视校正的图像捕捉设备
对相关申请的交叉引用
这个PCT专利申请要求于2010年12月22日提交且标题为“IMAGE CAPTURE DEVICE HAVING TILT AND/ORPERSPECTIVE CORRECTION”、申请号为12/644,800的美国非临时专利申请的优先权,该申请的内容在此全部引入作为参考。
技术领域
本发明总体上涉及电子系统中的图像捕捉设备,尤其涉及具有校正倾斜和/或透视失真的能力的图像捕捉设备。
背景技术
电子设备在社会中是无处不在的而且可以在从腕表到计算机的每件东西中找到。许多电子设备现在都具有集成的图像捕捉设备,因而这些电子设备的用户现在具有即兴拍照的能力。例如,在用户没有带照相机但是有包括集成的图像捕捉设备的手机或者其它个人媒体设备的情况下,用户可能能够拍照,而不是完全放弃拍照的机会。尽管利用这些电子设备拍照的能力可能是有利的,但是用户常常难以在拍照的时候稳定这些电子设备和/或保持它们水平。缺乏这种在拍照时稳定这些电子设备和/或保持它们水平的能力常常导致照片中倾斜和/或具有让用户不太愉快的透视的失真。
事实上,照相机也会拍摄到倾斜的照片和/或具有不正确透视的照片。例如,用户在用照相机拍照的时候可能没有三脚架,因此用户可能以一个角度拍摄照片。不管失真的照片是利用照相机还是具有集成的图像捕捉设备的电子设备产生的,常常都通过后期处理来校正。不幸地是,为了校正失真,这种后期处理可能需要复杂的图像处理软件和/或用户的大量介入。
发明内容
公开了部分地或者完全地校正或者补偿图像捕捉设备中倾斜和/或透视失真的方法与设备。在有些实施方式中,所述方法可以包括读取与图像捕捉设备相对于目标的相对位置关联的朝向测量值、确定该朝向测量值是否小于阈值,并且在所述朝向测量值小于所述阈值的情况下,校正由所述图像捕捉设备获得的图像。
其它实施方式可以包括一种图像捕捉设备,该图像捕捉设备具有图像传感器、耦合到所述图像传感器的存储器、耦合到所述图像传感器的朝向测量设备及耦合到所述图像传感器的距离测量设备。由传感器捕捉到的图像数据可以与来自加速度计的测量值和/或来自距离测量设备的测量值一起存储在存储器中。
还有其它实施方式可以采取校正图像失真的方法的形式,该方法包括从距离测量设备读取距离测量值,其中该距离测量值与图像捕捉设备和被拍照的目标之间的距离关联,该方法还包括读取与图像捕捉设备关联的朝向测量值及利用所述距离测量值和朝向测量值校正被拍照的目标的图像数据表示。
附图说明
图1A说明了能够校正照片中失真的图像捕捉设备。
图1B说明了图像捕捉设备的框图。
图2A说明了图像捕捉设备的侧视图。
图2B说明了图2A中所示实施方式的前视图。
图3A说明了利用朝向数据来校正失真所执行的操作。
图3B说明了利用朝向数据来校正失真所执行的实时(on-the-fly)操作。
图4A说明了包括沿X轴的失真的图像。
图4B说明了失真被校正之后的图4A的图像。
图4C说明了具有失真指示器的图4A的图像。
图5说明了可以用于实现图4C的失真指示器的操作。
图6说明了当操作图1的图像捕捉设备时可能的透视失真。
图7A说明了包括透视失真的图像。
图7B说明了透视失真被校正之后的图7A的图像。
图7C说明了包括实时裁剪线的图7A的图像。
不同图中相同标号的使用指示相似或完全相同的项。
具体实施方式
公开了电子设备的实施方式,其允许电子设备校正利用图像捕捉设备所拍摄的照片中的倾斜和/或透视失真。如在此所使用的,术语“图像捕捉设备”是要指具有拍摄静止照片和/或视频的能力的电子设备。这种电子设备可以包括数码相机及具有集成的照相机的消费电子设备(例如,手机或者个人媒体播放器)。而且,如在此所使用的,术语“照片”是要指由用户选择以供存储的图像。所公开的图像捕捉设备可以包括记录图像捕捉设备相对于要拍照的目标的物理朝向数据的加速度计和/或距离测量传感器。这种朝向数据可以用于校正由图像捕捉设备所拍摄的照片和/或视频的失真。这种朝向数据还可以与距离数据结合用于校正由图像捕捉设备所拍摄的照片和/或视频中的透视失真。在有些实施方式中,这种校正可以在拍摄照片和/或视频的时候由图像捕捉设备实时地执行。在其它实施方式中,这种校正可以在拍完之后对照片和/或视频执行。在这种情况下,朝向和/或距离数据可以嵌入到用于记录照片和/或视频以备后用的图像数据文件中。在还有其它实施方式中,图像捕捉设备可以利用朝向数据和/或距离数据来交互地向用户指示失真的程度并允许用户调整图像捕捉设备的物理朝向,来校正失真。例如,在有些实施方式中,可以向用户显示动态裁剪线或虚水平(virtual level),以指示使照相机变水平所需的动作。
尽管在此公开的一种或多种实施方式可以参考特定的电子设备具体描述,但是这些实施方式不应当解释为或者以别的方式用于限制本公开——包括权利要求——的范围。此外,本领域技术人员将理解,以下描述具有广泛的应用。例如,尽管在此所公开的实施方式可能集中到某些便携式电子设备,诸如照相机或手机,但是应当认识到,在此所公开的概念同等地适用于其它结合了集成照相机的便携式电子设备。例如,在此所公开的概念可以在具有集成照相机的腕表中采用。此外,还应当认识到,在此所公开的概念可以同等地适用于非便携式电子设备,诸如台式计算机。此外,尽管在此所公开的实施方式可能集中到利用加速度计和/或距离测量传感器校正失真,但是在此所公开的概念同等地适用于测量图像捕捉设备相对于被拍照的目标的物理朝向的其它传感器。例如,在有些实施方式中,被拍照的目标和图像捕捉设备每个都可以包括全球定位系统(GPS)设备,使得目标与图像捕捉设备的相对GPS朝向可以与图像数据一起被记录。而且,尽管本公开内容可能集中到静止图像,但是,在此所公开的概念同等地适用于记录运动图像和/或视频。因此,对任何实施方式的讨论都只意味着是示例性的而不是要暗示本公开——包括权利要求——的范围限于这些实施方式。
图1A说明了能够校正,或者至少部分补偿,照片中的失真的图像捕捉设备100。图1B说明了图像捕捉设备100的框图。尽管图1A和1B说明了某种物理布局,但是应当认识到,这仅仅是为了讨论的目的。参考图1A和1B,图像捕捉设备100可以包括能够控制进入图像捕捉设备100的光量并使这种光沿图像传感器120通过透镜121的孔110。在各种实施方式之间,图像传感器120的实现可以变化。例如,在有些实施方式中,图像传感器120可以利用互补金属氧化物半导体传感器来实现。
图像传感器120可以耦合到控制图像捕捉设备100总体操作的处理器130(如图1B中所示)。在有些实施方式中,图像传感器120是通过开关125启动的,其中开关125可以是图像捕捉设备100上的物理开关,如图1A中所示,或者作为替代也可以是显示屏幕170上电容控制的开关。在其它实施方式中,图像传感器120可以由不带开关125的处理器130启动,诸如利用可以与显示屏幕170分开启动的软件接口来启动。
除了耦合到图像传感器120和开关125,处理器130还可以耦合到一个或多个朝向传感器,诸如加速度计150和距离测量传感器155。在有些实施方式中,加速度计150可以是微机电的三维加速度计,诸如可以从STMicroelectronics获得的LIS302DL型号。其它实施方式可以采用陀螺仪、惯性参考传感器和/或指南针来代替加速度计150或与加速度计150结合。当图像捕捉设备100相对于X、Y和/或Z轴中的任何一个旋转时,加速度计150可以把这种运动报告给处理器130。
距离测量传感器155可以利用包括分别发射声音和/或光的超声和/或红外传感器的主动式自动对焦系统实现。于是,图像捕捉设备100与被拍照的目标160之间的距离可以通过测量从目标160反射的声音或光中任何一个的延迟飞行时间来确定。在其它实施方式中,距离测量可以通过确定透镜121的焦点位置来获得–即,使透镜121的物理位置和目标160与图像捕捉设备100之间的距离相关联。
如图1B中所示,处理器130还可以耦合到在处理器130的指示下最适宜存储图像数据、及朝向和距离数据的存储器165。显示器170也可以耦合到处理器130,以便给图像捕捉设备100的用户一个正被拍照的图像看起来怎么样的概念。在有些实施方式中,用户可以压下开关125,于是目标160的可能图像就可以显示在显示器170上。图像捕捉设备100还可以包括耦合到处理器130并且能够在处理器130的指示下生成声音报警的声音报警设备190。如以下更具体描述的,这种声音报警可以用于把某些信息传送给用户,诸如可能的图像中是否包括失真。
图2A和2B说明了图像捕捉设备100,具体而言是诸如手机或个人媒体设备的手持式设备,的实施方式。在有些实施方式中,图2A和2B中所示的图像捕捉设备100可以是IPHONE移动电话或者IPODTOUCH便携式媒体播放器,两者都可以从Apple公司获得。在其中图像捕捉设备100实现为IPHONE的实施方式中,声音报警设备190可以是IPHONE的扬声器,而显示器170可以是IPHONE的屏幕。
不管图像捕捉设备100的特定实现,在操作过程中,从目标160反射的光都可以通过孔110发射到图像传感器120。图像传感器120可以把这种入射光转换成图像数据。当用户拍摄照片时,诸如通过压下开关125,这种图像数据可以与来自加速度计150的朝向数据和/或来自距离传感器155的距离数据一起由处理器130存储在存储器165中。朝向数据通常指与图像捕捉设备100相对于其周围的朝向相关的数据。例如,在有些实施方式中,在此所讨论的朝向数据指由加速度计150测量的、沿X、Y和Z轴拉的地球引力的测量值。在其它实施方式中,加速度计150可以用于确定图像捕捉设备100是否在移动,例如,在车辆中,并且所述朝向数据可以代表图像捕捉设备100的速度或者加速度。距离数据通常指图像捕捉设备100和被拍照的目标之间的距离。如以上间接提到的,距离数据可以是AF测量的时间的结果、透镜121焦点位置的函数或者,作为替代,可以是图像捕捉设备100与被拍照的目标的GPS坐标之间差值的结果。
在有些实施方式中,朝向数据和/或距离数据可以作为链接到图像数据的元数据存储到存储器165中。例如,在有些实施方式中,这种数据可以以与国际报业电信委员会(IPTC)格式兼容的格式存储,使得所述朝向和距离数据作为图像数据文件的头部的一部分存储在存储器165中。在其它实施方式中,朝向和距离数据可以以可交换图像文件格式(EXIF)存储。例如,EXIF文件可以修改成在该EXIF文件中包括定制标记,所述定制标记存储由加速度计150记录的三个轴的朝向数据和/或由距离传感器155记录的距离α。
在有些实施方式中,当拍摄照片的时候,处理器130可以利用由加速度计150记录的朝向数据和/或由距离传感器155记录的距离数据实时地校正显示器170上的图像失真。在其它实施方式中,图像捕捉设备100可以通知用户在打算要拍摄的图像中存在图像失真。
图3A和3B说明了可以由图像捕捉设备100执行的、利用朝向数据来校正失真的两个操作系列200、205。这种失真可以包括图像数据在X、Y和/或Z方向的倾斜。操作200可以用于在拍摄之后校正照片,而操作205可以用于在拍摄照片之前校正图像。首先结合图1A和1B参考操作系列200,在操作207中,目标160的照片可以被拍摄并记录在存储器165中。所存储的照片可以包括图像数据及朝向和/或距离数据。(距离数据与朝向数据对校正透视失真的使用在以下更具体地讨论)。除了在操作207中记录与照片关联的图像数据,来自加速度计150的朝向数据也可以存储在存储器165中。朝向数据可以与图像数据链接。例如,在有些实施方式中,朝向数据可以嵌入到图像数据文件的头部中。继续这个例子,头部可以具有IPTC格式。此外,在其它实施方式中,朝向数据可以记录有与图像数据的时间戳对应的时间戳。例如,当图像处理器120获得目标160的图像时,处理器130可以生成时间戳,并且,当朝向数据存储在存储器165中时,这个时间戳可以用于把图像数据索引到朝向。因为图像数据及朝向数据是利用时间戳进行索引的,所以它们可以存储在存储器165中的不同位置。这可以简化处理器130的存储器管理任务。应当指出,存储器165可以本地位于图像捕捉设备100中,或者作为替代,可以位于远离图像捕捉设备100的位置。例如,图像捕捉设备100可以通过无线连接把图像数据发送到远端存储位置。
接下来,在操作210中,朝向数据可以被处理器130读取。例如,在有些实施方式中,处理器130可以读取IPTC格式化图像数据的头部数据,以获得朝向数据。其它实施方式可以包括在图像捕捉设备100外部的、被处理器读取的头部数据。不管头部数据在哪里被读取,基于这种读取,都可以确定图像捕捉设备100相对于X、Y和/或Z轴的物理朝向,诸如X、Y和/或Z轴中倾斜的角度。
在有些情况下,在拍摄目标160的时候,图像捕捉设备100的用户可以相对于X、Y和/或Z轴故意倾斜图像捕捉设备100。因而,操作210中所读到的倾斜角可能代表故意的拍摄角度。因此,为了区分图像捕捉设备100的故意倾斜与无意倾斜,处理器130可以确定朝向读数是否大于与相对于X、Y和/或Z轴的故意倾斜关联的阈值,就象在操作215中所做的那样。在有些实施方式中,所述阈值可以是五度。因而,任何大于五度的倾斜都可以被图像捕捉设备100解释为故意的而且不进行补偿。此外,在有些实施方式中,所述阈值可以由用户编程。而且,该阈值可以包括用于X、Y和/或Z轴的三个独立的阈值,以使得X轴具有与Y或Z轴不同的阈值,而Y轴具有与X或Z轴不同的阈值,等等。应当指出,阈值水平可以是自动生成的、随着时间基于用户偏好被软件自动精炼的、通过分析相似照片的数据库确定的和/或基于来自其它传感器的输入变化的(例如,对于更远的目标,距离测量值可以指示更大胆(aggressive)的阈值水平)。
在朝向数据大于所选阈值的情况下,倾斜可以被处理器130解释为故意的且照片可以无需校正地存储在存储器165中,如在操作220中所示的。另一方面,在处理器130确定朝向读数小于所述阈值的情况下,在存储到存储器165中之前,可以根据操作225对照片进行校正。校正操作225可以包括多个操作,诸如,在存储到存储器165中之前顺时针和/或逆时针调整照片,以除去无意的倾斜。由于操作215中的阈值比较可以包括多个维度中的不同阈值,因此关于图像捕捉设备100是否故意倾斜(使得在存储到存储器165中之前不对照片进行校正)的最终确定在各种实施方式之间可以有变化。例如,在有些实施方式中,如果朝向读数指示三个维度中的一个或多个,那么照片就可以在超过阈值的维度中被校正(根据操作225)。在其它实施方式中,除非朝向读数指示三个维度中的两个大于它们各自的阈值,否则不能对照片进行校正(根据操作225)。在还有其它实施方式中,除非朝向读数指示所有三个维度都大于它们各自的阈值,否则不能对照片进行校正(根据操作225)。在还有其它实施方式中,变换校正过滤器可以不管朝向阈值地进行计算,其中对变换量的限制可以被计算并代替朝向阈值被使用。
在至少一种实施方式中,校正操作225可以包括近似所捕捉到的图像中直边的角度。如果在应用加速度计数据拉直所捕捉到的图像之后所述直边变得非常接近垂直,则可以通过对所捕捉的图像的剩余部分应用对所述直边进行过的变化而使整个所捕捉的图像都变得基本上垂直。因此,在这些实施方式中,阈值可以用于确定直边有多接近垂直。
除了在存储到存储器165之前校正照片,照片还可以在把可能照片的图像显示给用户的时候实时地进行校正。这在图3B所示的操作205中说明。现在结合图1A和1B参考操作205,在操作230中,可能照片的图像可以显示在显示器170上。这可以作为用户压下开关125的结果而发生,以指示用户打算拍照。在操作240的过程中,来自加速度计150的朝向数据可以被处理器130读取并用于确定可能照片的图像是否包括失真。例如,在操作240过程中取得的读数可以用于确定在显示器170上显示给用户的图像(即,可能的照片)是否包括失真,或者作为替代,用户是否是故意倾斜了图像捕捉设备100。这在操作250中示出。就象操作215的情况,操作250可以包括通过比较从操作240读取的朝向数据与一个或多个阈值来确定图像捕捉设备100是否是故意倾斜的。在从加速度计150读取的朝向数据大于阈值的情况下,处理器130可以把这解释为用户故意的倾斜而且放弃对在显示器170上显示给用户的图像的校正。这在操作260中示出。在操作240过程中所读取的朝向数据小于所述阈值的情况下,处理器130可以把这种图像失真解释为无意的而且可以根据操作270在拍照之前对图像执行校正并且校正后的图像可以根据操作280被显示给用户。以这种方式,用户能够在拍照之前确定校正是否适当。
图4A和4B分别说明了在X轴失真的图像的失真与实时校正。尽管为了讨论起见图4A和4B集中在沿图像X轴的失真,但是这种讨论也同等地适用于沿Y和/或Z轴的失真。现在参考图4A和4B,图4A说明了可以显示在显示器170上的美国国会大厦的图像。如从图4的目测可以认识到的,国会大厦的图像沿X轴倾斜了。为了讨论,假定图4A中所示的图像倾斜小于在操作250中所指示的阈值量-即,倾斜不是故意的。为此,显示在显示器170上的图像可以根据操作205而被实时地校正。图4B说明了校正形式的同一图像,其中,根据操作280,图像基本上没有X轴失真了。现在,当用户拍照时,存储在存储器165中的图像数据可以基本上没有失真。在这些实施方式中,由于朝向数据已经用于实时校正图像数据,因此加速度计数据可选地可以存储在存储器165中,或者,为了节约存储器中的空间,朝向数据可以被丢弃。
在执行实时校正的实施方式中,图像捕捉设备100可以在视觉上、在听觉上、通过振动反馈物理地和/或通过触觉提醒用户发生了校正。例如,在有些实施方式中,当图像捕捉设备100执行了实时校正后,图像捕捉设备100可以通过启动声音报警设备190给用户以指示。在其它实施方式中,诸如当图像捕捉设备100是手机时,电话可以通过振动提醒用户发生了校正。在还有其它实施方式中,图像捕捉设备100可以通过在显示器170上显示实时失真校正图标(未具体示出)来在视觉上向用户指示已经执行了实时失真校正。在还有其它实施方式中,代替校正图像(操作270)和显示校正后的图像(操作280),图像捕捉设备100可以在原始显示的图像上显示失真指示器305,以使得用户可以在允许图像捕捉设备100执行实时校正和在存储器165中存储照片之前测量可以进行的裁剪的量。图4C说明了来自图4A的国会大厦的失真图像,其中失真指示器305已经强加到显示器170上所显示的图像上。失真指示器305可以由处理器130计算,以使得它们与沿X、Y和/或Z轴的期望朝向对应。例如,结合图1A参考图4C,失真指示器305示为与由X和Y轴定义的图像捕捉设备100的平面正交。
图5说明了可以用于实现图4C中所示的失真指示器305的操作400。就象操作205的情况,操作400可以通过在操作405中向用户显示图像、在操作410中读取朝向数据并在操作420中确定朝向数据是否大于阈值而开始。在朝向数据指示失真不是故意的情况下,即,倾斜小于阈值,处理器130可以根据操作430显示失真指示器305。在有些实施方式中,这可以作为压下开关125的结果发生,以指示用户期望拍摄(在操作405过程中)显示器170上的图像的照片,并因此,用户可能有机会通过倾斜图像捕捉设备100手动校正图像,以便在操作430的过程中对准所述图像与显示器170上所显示的失真指示器305。在操作420指示朝向大于所述阈值的情况下(即,倾斜是故意的),则失真指示器305可以根据操作430从显示器170被省略。
除了校正X、Y和/或Z轴上的图像失真,由加速度计150测量到的朝向数据还可以与距离数据结合用于校正目标160的图像中所存在的透视失真。术语“透视失真”总的来说是指目标160的翘曲,这种失真是由于图像传感器120和目标160相对于彼此有一个角度。图6说明了当操作图1所示的图像捕捉设备100时的可能透视失真。参考图7,目标160处于相对于地和/或水平面基本上非垂直的位置,由θ1指示。作为这种相对非垂直放置的结果,呈现给图像传感器120的图像可能是翘曲的或者歪斜的,并且这种图像的照片将具有透视失真。例如,图7A说明了可以显示在显示器170上的大本钟的图像,包括透视失真。
在有些实施方式中,距离测量传感器155可以提供一个或多个距离测量值,用于与来自加速度计150的朝向数据结合,以便校正透视失真。例如,在有些实施方式中,距离测量传感器155可以测量与图像传感器120正交并且在图像传感器120与目标160之间延伸的向量的距离d1。此外,距离测量传感器155还可以测量与地平行并且在图像传感器120与目标160之间延伸的向量的距离d2。此外,加速度计150可以测量图像传感器120相对于地的角度θ2。基于距离测量d1和d2及角度θ2,目标160相对于水平面的角度θ1可以通过三角运算来确定。通过利用处理器130计算角度θ1,在存储器165中存储图像数据之前可以利用透视变换操作实时地校正透视失真。如以上所提到的,这种实时校正可以节省存储器165中的空间。图7B说明了利用透视失真变换处理后的图7A的图像。在其它实施方式中,距离测量d1和d2及角度θ2可以存储在图像数据的头部中,以使得透视变换可以通过稍后计算角度θ1来应用。
如可以从比较图7A和7B认识到的,当校正透视失真时,图像数据的一部分从7A裁剪掉了,以便保留原始图像的纵横比。类似地,如可以从比较图4A和4B认识到的,当校正倾斜失真时,图像数据的一部分也被裁减掉了。因为图像数据在校正倾斜或透视失真时是要从图像中裁剪掉的,所以有些实施方式可以利用动态裁剪线在显示器170上向用户指示要裁剪掉的部分。图7C说明了强加到图7A所说明图像上的动态裁剪线505。动态裁剪线310可以帮助用户框定要拍摄的目标,以使得在倾斜和/或透视失真校正之后还保留用户期望的细节。

Claims (34)

1.一种补偿图像失真的方法,所述方法包括:
做出图像捕捉设备的朝向测量值,其中所述朝向测量值是在所述图像捕捉设备捕捉图像期间做出的,其中所述图像包括捕捉的图像数据;
确定所述捕捉的图像数据中一个或多个直边的朝向;
确定所述图像捕捉设备的朝向测量值和所述一个或多个直边的朝向之间的差值;
确定所述差值是否小于阈值;及
在所述差值小于所述阈值的情况下,校正所述图像。
2.如权利要求1所述的方法,还包括:
把所述捕捉的图像数据存储在存储器中。
3.如权利要求2所述的方法,其中所述校正图像发生在所述存储所述捕捉的图像数据之前。
4.如权利要求3所述的方法,其中所述校正是实时发生的。
5.如权利要求2所述的方法,还包括:
在所述存储所述捕捉的图像数据之前,在显示器上显示校正后的图像。
6.如权利要求1所述的方法,还包括:
在显示器上与所述图像一起显示失真指示器,其中所述失真指示器与所述朝向测量值有关。
7.如权利要求1所述的方法,其中所述校正包括:
在X、Y或Z轴中的至少一个补偿所述图像捕捉设备的失真。
8.如权利要求7所述的方法,其中所述确定所述差值是否小于阈值包括:
比较朝向数据中X、Y或Z轴中的至少两个。
9.一种图像捕捉设备,包括:
图像传感器;
存储器,耦合到所述图像传感器;
朝向测量设备,耦合到所述图像传感器,用于确定所述图像传感器的朝向;及
处理器,耦合到所述图像传感器、所述存储器和所述朝向测量设备,所述处理器被编程为:
使所述朝向测量设备测量所述图像捕捉设备的朝向,其中朝向测量值是在所述图像传感器捕捉图像期间做出的,其中所述图像包括捕捉的图像数据;
确定所述捕捉的图像数据中一个或多个直边的朝向;
确定所述图像捕捉设备的朝向测量值和所述一个或多个直边的朝向之间的差值;
确定所述差值是否小于阈值;及
在所述差值小于所述阈值的情况下,校正所述图像。
10.如权利要求9所述的图像捕捉设备,其中所述朝向测量设备是加速度计,并且其中来自所述朝向测量设备的测量值被存储在所述捕捉的图像数据的头部中。
11.如权利要求9所述的图像捕捉设备,其中来自所述朝向测量设备的测量值用于在被存储到所述存储器中之前校正所述捕捉的图像数据。
12.如权利要求11所述的图像捕捉设备,还包括距离测量设备。
13.如权利要求12所述的图像捕捉设备,其中,所述距离测量设备是超声波设备。
14.如权利要求9所述的图像捕捉设备,还包括显示器,其中,如果所述差值小于阈值,在所述显示器上显示显示指示器。
15.一种校正图像失真的方法,包括:
从距离测量设备做出距离测量值,其中所述距离测量值与图像捕捉设备和被拍照的目标之间的距离相关联;
做出与所述图像捕捉设备相关联的朝向测量值,其中所述朝向测量值是在所述图像捕捉设备捕捉图像期间做出的,其中所述图像包括捕捉的图像数据;
确定所述捕捉的图像数据中一个或多个直边的朝向;
确定所述图像捕捉设备的朝向测量值和所述一个或多个直边的朝向之间的差值;
确定所述差值是否小于阈值;及
如果所述差值小于所述阈值,校正捕捉的图像。
16.如权利要求15所述的方法,还包括:
在校正所述捕捉的图像数据之前,存储所述距离测量值、所述朝向测量值和所述捕捉的图像数据。
17.如权利要求16所述的方法,其中所述朝向测量值被存储在所述捕捉的图像数据的头部中。
18.如权利要求15所述的方法,其中所述校正包括:
补偿透视失真。
19.如权利要求15所述的方法,其中所述校正包括:
补偿倾斜失真。
20.如权利要求15所述的方法,还包括:
一旦所述校正被完成,就生成声音报警。
21.一种补偿图像失真的设备,所述设备包括:
用于做出与图像捕捉设备相对于目标的相对位置相关联的朝向测量值的装置,其中所述朝向测量值是在捕捉图像期间做出的,其中所述图像包括捕捉的图像数据;
用于确定所述捕捉的图像数据中一个或多个直边的朝向的装置;
用于确定所述图像捕捉设备的朝向测量值和所述一个或多个直边的朝向之间的差值的装置;
用于确定所述差值是否小于阈值的装置;及
用于在所述差值小于所述阈值的情况下,校正由所述图像捕捉设备获得的所述图像的装置。
22.如权利要求21所述的设备,还包括:
用于把所述捕捉的图像数据存储在存储器中的装置。
23.如权利要求22所述的设备,其中所述用于校正图像的装置在存储所述捕捉的图像数据之前进行操作。
24.如权利要求23所述的设备,其中所述用于校正装置实时地进行操作。
25.如权利要求22所述的设备,还包括:
用于在所述存储所述捕捉的图像数据之前,在显示器上显示校正后的图像的装置。
26.如权利要求21所述的设备,还包括:
用于在显示器上与所述图像一起显示失真指示器的装置,其中所述失真指示器与所述朝向测量值有关。
27.如权利要求21所述的设备,其中所述用于校正的装置包括:
用于在X、Y或Z轴中的至少一个补偿所述图像捕捉设备的失真的装置。
28.如权利要求27所述的设备,其中所述用于确定所述差值是否小于阈值的装置包括:
用于比较朝向数据中X、Y或Z轴中的至少两个的装置。
29.一种校正图像失真的设备,包括:
用于从距离测量设备做出距离测量值的装置,其中所述距离测量值与图像捕捉设备和被拍照的目标之间的距离相关联;
用于做出与图像捕捉设备相关联的朝向测量值的装置;
用于确定所述捕捉的图像数据中一个或多个直边的朝向的装置;
用于确定所述图像捕捉设备的朝向测量值和所述一个或多个直边的朝向之间的差值的装置;及
用于如果所述差值小于阈值,校正表示被拍照的目标的图像数据的装置。
30.如权利要求29所述的设备,还包括:
用于在校正所述图像数据之前,存储所述距离测量值、所述朝向测量值和所述图像数据的装置。
31.如权利要求30所述的设备,其中所述距离测量值和所述朝向测量值被存储在所述图像数据的头部中。
32.如权利要求29所述的设备,其中所述用于校正的装置包括:
用于补偿透视失真的装置。
33.如权利要求29所述的设备,其中所述用于校正的装置包括:
用于补偿倾斜失真的装置。
34.如权利要求29所述的设备,还包括:
用于一旦所述校正被完成,就生成声音报警的装置。
CN201080058371.5A 2009-12-22 2010-10-29 具有倾斜或透视校正的图像捕捉设备 Active CN102668541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510140143.7A CN104717429B (zh) 2009-12-22 2010-10-29 具有倾斜或透视校正的图像捕捉设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/644,800 2009-12-22
US12/644,800 US8687070B2 (en) 2009-12-22 2009-12-22 Image capture device having tilt and/or perspective correction
PCT/US2010/054667 WO2011078913A1 (en) 2009-12-22 2010-10-29 Image capture device having tilt or perspective correction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510140143.7A Division CN104717429B (zh) 2009-12-22 2010-10-29 具有倾斜或透视校正的图像捕捉设备

Publications (2)

Publication Number Publication Date
CN102668541A CN102668541A (zh) 2012-09-12
CN102668541B true CN102668541B (zh) 2015-02-18

Family

ID=43466768

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510140143.7A Active CN104717429B (zh) 2009-12-22 2010-10-29 具有倾斜或透视校正的图像捕捉设备
CN201080058371.5A Active CN102668541B (zh) 2009-12-22 2010-10-29 具有倾斜或透视校正的图像捕捉设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510140143.7A Active CN104717429B (zh) 2009-12-22 2010-10-29 具有倾斜或透视校正的图像捕捉设备

Country Status (11)

Country Link
US (3) US8687070B2 (zh)
EP (1) EP2517455A1 (zh)
JP (1) JP5670476B2 (zh)
KR (3) KR101498441B1 (zh)
CN (2) CN104717429B (zh)
AU (2) AU2010333908B2 (zh)
BR (1) BR112012017772A2 (zh)
HK (1) HK1175053A1 (zh)
MX (1) MX2012007345A (zh)
TW (2) TWI571125B (zh)
WO (1) WO2011078913A1 (zh)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270571B (zh) * 2014-10-20 2018-06-01 联想(北京)有限公司 图像处理方法以及电子设备
EP1768387B1 (en) * 2005-09-22 2014-11-05 Samsung Electronics Co., Ltd. Image capturing apparatus with image compensation and method therefor
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
US8508671B2 (en) 2008-09-08 2013-08-13 Apple Inc. Projection systems and methods
US8538084B2 (en) * 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US20100079426A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US20100079653A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US8527908B2 (en) 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
US8610726B2 (en) * 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US7881603B2 (en) * 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
WO2010123011A1 (ja) * 2009-04-20 2010-10-28 京セラ株式会社 撮像装置および撮像方法
US8502926B2 (en) * 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
US8619128B2 (en) 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8687070B2 (en) * 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US9124804B2 (en) * 2010-03-22 2015-09-01 Microsoft Technology Licensing, Llc Using accelerometer information for determining orientation of pictures and video images
JP5136671B2 (ja) * 2010-05-13 2013-02-06 株式会社デンソー 地図表示装置
US8497897B2 (en) 2010-08-17 2013-07-30 Apple Inc. Image capture using luminance and chrominance sensors
US8350919B2 (en) * 2010-09-09 2013-01-08 Vizio, Inc. Configuration of a device based upon orientation
US20120069208A1 (en) * 2010-09-19 2012-03-22 Weinman Jr Joseph Bernard Methods, Systems , and Computer Program Products for Assuring Horizontal Image Capture
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
CN102739928A (zh) * 2011-04-08 2012-10-17 富泰华工业(深圳)有限公司 摄像设备
WO2012168069A1 (en) * 2011-06-10 2012-12-13 International Business Machines Corporation Adapted digital device and adapter for a digital device
US11039109B2 (en) * 2011-08-05 2021-06-15 Fox Sports Productions, Llc System and method for adjusting an image for a vehicle mounted camera
US10939140B2 (en) 2011-08-05 2021-03-02 Fox Sports Productions, Llc Selective capture and presentation of native image portions
GB201117143D0 (en) 2011-10-05 2011-11-16 Nctech Ltd Camera
ITMO20110280A1 (it) * 2011-11-04 2013-05-05 Datalogic Automation Srl Metodo di acquisizione di immagini
ITMO20110279A1 (it) * 2011-11-04 2013-05-05 Datalogic Automation Srl Metodo di acquisizione di immagini
US9420205B2 (en) 2011-11-04 2016-08-16 Datalogic Ip Tech S.R.L. Image acquisition method of object on supporting surface
KR101795603B1 (ko) * 2011-11-17 2017-12-01 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
US9838687B1 (en) 2011-12-02 2017-12-05 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with reduced bandwidth streaming
US9516225B2 (en) 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
US9723223B1 (en) 2011-12-02 2017-08-01 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with directional audio
US8988578B2 (en) 2012-02-03 2015-03-24 Honeywell International Inc. Mobile computing device with improved image preview functionality
US9706089B2 (en) 2012-03-02 2017-07-11 Microsoft Technology Licensing, Llc Shifted lens camera for mobile computing devices
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
JP5925059B2 (ja) * 2012-06-12 2016-05-25 キヤノン株式会社 撮像制御装置、撮像制御方法及びプログラム
US20140063220A1 (en) 2012-08-29 2014-03-06 Ossur Hf Method and Device for Ordering a Custom Orthopedic Device
JP2014050039A (ja) * 2012-09-03 2014-03-17 Sony Corp 画像処理装置、画像処理方法及びコンピュータプログラム
US9279983B1 (en) * 2012-10-30 2016-03-08 Google Inc. Image cropping
US9516229B2 (en) 2012-11-27 2016-12-06 Qualcomm Incorporated System and method for adjusting orientation of captured video
CN103873835A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 图像采集的方法、图像处理的方法及电子设备
US20140211031A1 (en) * 2013-01-30 2014-07-31 Microsoft Corporation Auto picture alignment correction
US9330471B2 (en) * 2013-02-14 2016-05-03 Qualcomm Incorporated Camera aided motion direction and speed estimation
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
KR20230142635A (ko) * 2013-04-08 2023-10-11 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
US8979398B2 (en) 2013-04-16 2015-03-17 Microsoft Technology Licensing, Llc Wearable camera
US9066007B2 (en) 2013-04-26 2015-06-23 Skype Camera tap switch
US20150002688A1 (en) * 2013-06-26 2015-01-01 James A. Baldwin Automated camera adjustment
US9609262B2 (en) * 2013-06-27 2017-03-28 Intel Corporation Device for adaptive projection
WO2014205757A1 (en) * 2013-06-28 2014-12-31 Google Inc. Systems and methods for generating accurate sensor corrections based on video input
US9177362B2 (en) * 2013-08-02 2015-11-03 Facebook, Inc. Systems and methods for transforming an image
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
ITTO20130683A1 (it) 2013-08-08 2015-02-09 Sisvel Technology Srl Apparato e metodo per la correzione delle deformazioni prospettiche delle immagini
CN104427234A (zh) * 2013-09-02 2015-03-18 联想(北京)有限公司 一种图像畸变校正的方法及电子设备
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9536353B2 (en) 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9715764B2 (en) * 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9781356B1 (en) 2013-12-16 2017-10-03 Amazon Technologies, Inc. Panoramic video viewer
CN104811602A (zh) * 2014-01-24 2015-07-29 维科技术有限公司 移动终端的自拍方法及其装置
JP6299371B2 (ja) * 2014-04-18 2018-03-28 富士通株式会社 撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置
JP6264173B2 (ja) 2014-04-18 2018-01-24 富士通株式会社 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置
JP6299373B2 (ja) 2014-04-18 2018-03-28 富士通株式会社 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置
US9998661B1 (en) 2014-05-13 2018-06-12 Amazon Technologies, Inc. Panoramic camera enclosure
CN103997519A (zh) * 2014-05-14 2014-08-20 小米科技有限责任公司 传输图像的方法及装置
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
WO2016014040A1 (en) 2014-07-22 2016-01-28 Hewlett-Packard Development Company, L.P. Recovering planar projections
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
US11758238B2 (en) 2014-12-13 2023-09-12 Fox Sports Productions, Llc Systems and methods for displaying wind characteristics and effects within a broadcast
US11159854B2 (en) 2014-12-13 2021-10-26 Fox Sports Productions, Llc Systems and methods for tracking and tagging objects within a broadcast
GB2539387B (en) * 2015-06-09 2021-04-14 Oxford Metrics Plc Motion capture system
CN113941066A (zh) * 2015-06-30 2022-01-18 瑞思迈私人有限公司 使用移动应用的面罩大小调整工具
CN105141834A (zh) * 2015-07-27 2015-12-09 努比亚技术有限公司 一种控制拍摄照片的装置和方法
CN108600612B (zh) * 2015-09-28 2021-03-09 Oppo广东移动通信有限公司 一种拍照方法及移动终端
US10104282B2 (en) * 2015-09-30 2018-10-16 Ricoh Co., Ltd. Yaw user interface
US10220172B2 (en) 2015-11-25 2019-03-05 Resmed Limited Methods and systems for providing interface components for respiratory therapy
US10184797B2 (en) * 2015-12-18 2019-01-22 Invensense, Inc. Apparatus and methods for ultrasonic sensor navigation
CN105704374B (zh) * 2016-01-29 2019-04-05 努比亚技术有限公司 一种图像转换装置、方法和终端
US10362969B2 (en) * 2016-05-04 2019-07-30 Sensors Unlimited, Inc. Image-based detection and diagnosis of diastasis recti
KR102500715B1 (ko) 2016-07-28 2023-02-17 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
TWI599236B (zh) * 2016-08-19 2017-09-11 山衛科技股份有限公司 儀器測試系統、儀器測試之方法及其電腦程式產品
JP6766715B2 (ja) * 2017-03-22 2020-10-14 トヨタ自動車株式会社 車両用表示制御装置
WO2018231887A1 (en) * 2017-06-15 2018-12-20 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College Tracking lighting system
CN107702714B (zh) * 2017-07-31 2020-01-07 广州维绅科技有限公司 定位方法、装置及系统
CN107607204A (zh) * 2017-09-05 2018-01-19 昆山博威泰克电子科技有限公司 色彩分析设备及方法
US10705673B2 (en) * 2017-09-30 2020-07-07 Intel Corporation Posture and interaction incidence for input and output determination in ambient computing
CN111886627A (zh) 2018-03-19 2020-11-03 捷豹路虎有限公司 用于车辆的控制器
GB2572143B (en) * 2018-03-19 2020-07-08 Jaguar Land Rover Ltd Controller for a vehicle
US11048745B2 (en) * 2018-06-22 2021-06-29 International Business Machines Corporation Cognitively identifying favorable photograph qualities
US10972656B2 (en) 2018-06-22 2021-04-06 International Business Machines Corporation Cognitively coaching a subject of a photograph
US10970576B2 (en) * 2018-08-27 2021-04-06 Daon Holdings Limited Methods and systems for capturing image data
CN110086982A (zh) * 2019-03-12 2019-08-02 浙江艺旗教育科技有限公司 一种图像透视矫正方法及装置
CN113632445A (zh) * 2019-03-29 2021-11-09 鲍勃斯科特有限责任公司 模糊媒体通信
WO2020227945A1 (en) * 2019-05-14 2020-11-19 SZ DJI Technology Co., Ltd. Photographing method and apparatus
US10917573B1 (en) 2019-05-21 2021-02-09 Gopro, Inc. Systems and methods for stabilizing videos
KR102209908B1 (ko) * 2019-09-16 2021-01-29 재단법인 다차원 스마트 아이티 융합시스템 연구단 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법
US10983363B2 (en) 2019-09-19 2021-04-20 Fotonation Limited Method for stabilizing a camera frame of a video sequence
US11435811B2 (en) * 2019-12-09 2022-09-06 Micron Technology, Inc. Memory device sensors
US11228702B1 (en) * 2021-04-23 2022-01-18 Gopro, Inc. Stabilization of face in video
US11663704B2 (en) 2021-04-28 2023-05-30 Microsoft Technology Licensing, Llc Distortion correction via modified analytical projection
US11822713B2 (en) * 2021-06-11 2023-11-21 Rockwell Collins, Inc. Pose augmentation of head worn display video for latency reduction
US11792505B2 (en) * 2021-07-06 2023-10-17 Qualcomm Incorporated Enhanced object detection
WO2023282963A1 (en) * 2021-07-06 2023-01-12 Qualcomm Incorporated Enhanced object detection
US11706527B1 (en) * 2022-04-06 2023-07-18 Gopro, Inc. Systems and methods for stabilizing videos
WO2023229270A1 (en) * 2022-05-27 2023-11-30 Samsung Electronics Co., Ltd. Method and electronic device for tilt correction of video

Family Cites Families (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3363104A (en) 1965-10-01 1968-01-09 North American Aviation Inc Detection system for coherent light beams
GB1356730A (en) 1971-09-09 1974-06-12 Wandel & Goltermann System for the documentary recording with x-y-recorder
US4620222A (en) 1982-11-10 1986-10-28 Matsushita Electric Industrial Co., Ltd. Digital color TV camera
JPS612490A (ja) 1984-06-14 1986-01-08 Sony Corp 記録装置
US5272473A (en) 1989-02-27 1993-12-21 Texas Instruments Incorporated Reduced-speckle display system
US5274494A (en) 1991-04-25 1993-12-28 Hughes Aircraft Company Speckle suppression illuminator
GB9125954D0 (en) 1991-12-06 1992-02-05 Vlsi Vision Ltd Electronic camera
JPH05164687A (ja) 1991-12-18 1993-06-29 Hamamatsu Photonics Kk レシオイメージング装置
US5757423A (en) 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
JPH089309A (ja) 1994-06-23 1996-01-12 Canon Inc 表示方法及び装置
JPH11102438A (ja) 1997-09-26 1999-04-13 Minolta Co Ltd 距離画像生成装置及び画像表示装置
US6560711B1 (en) 1999-05-24 2003-05-06 Paul Given Activity sensing interface between a computer and an input peripheral
US6282655B1 (en) 1999-05-24 2001-08-28 Paul Given Keyboard motion detector
US6339429B1 (en) 1999-06-04 2002-01-15 Mzmz Technology Innovations Llc Dynamic art form display apparatus
JP3509652B2 (ja) 1999-08-23 2004-03-22 日本電気株式会社 プロジェクタ装置
US7028269B1 (en) 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
GB2359895B (en) 2000-03-03 2003-09-10 Hewlett Packard Co Camera projected viewfinder
US7213254B2 (en) 2000-04-07 2007-05-01 Koplar Interactive Systems International Llc Universal methods and device for hand-held promotional opportunities
US7554578B2 (en) * 2000-07-11 2009-06-30 Phase One A/S Digital camera with integrated accelerometers
US6924909B2 (en) 2001-02-20 2005-08-02 Eastman Kodak Company High-speed scanner having image processing for improving the color reproduction and visual appearance thereof
JP3640173B2 (ja) 2001-04-02 2005-04-20 ソニー株式会社 画像表示装置
JP2002354493A (ja) 2001-05-25 2002-12-06 Canon Inc 多眼多板式撮像装置
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
CN100465995C (zh) 2001-06-12 2009-03-04 奥普提克斯晶硅有限公司 一种将图像投射到屏幕表面的方法及系统
US6862022B2 (en) 2001-07-20 2005-03-01 Hewlett-Packard Development Company, L.P. Method and system for automatically selecting a vertical refresh rate for a video display monitor
US7079707B2 (en) 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
US20030038927A1 (en) 2001-08-27 2003-02-27 Alden Ray M. Image projector with integrated image stabilization for handheld devices and portable hardware
US6636292B2 (en) 2001-09-05 2003-10-21 Eastman Kodak Company Printing apparatus for photosensitive media having a hybrid light source
US6870684B2 (en) 2001-09-24 2005-03-22 Kulicke & Soffa Investments, Inc. Multi-wavelength aperture and vision system and method using same
JP2003143459A (ja) 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
US20030117343A1 (en) 2001-12-14 2003-06-26 Kling Ralph M. Mobile computer with an integrated micro projection display
US7460179B2 (en) 2002-01-31 2008-12-02 Hewlett-Packard Development Company, L.P. Adaptive image display
US6930669B2 (en) 2002-03-18 2005-08-16 Technology Innovations, Llc Portable personal computing device with fully integrated projection display system
US6931601B2 (en) 2002-04-03 2005-08-16 Microsoft Corporation Noisy operating system user interface
GB0208654D0 (en) * 2002-04-16 2002-05-29 Koninkl Philips Electronics Nv Image processing for video or photographic equipment
AU2003243604A1 (en) 2002-06-12 2003-12-31 Silicon Optix, Inc. Automatic keystone correction system and method
US20050132408A1 (en) 2003-05-30 2005-06-16 Andrew Dahley System for controlling a video display
WO2004025466A2 (en) 2002-09-16 2004-03-25 Clearcube Technology, Inc. Distributed computing infrastructure
US7058234B2 (en) 2002-10-25 2006-06-06 Eastman Kodak Company Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions
US6807010B2 (en) 2002-11-13 2004-10-19 Eastman Kodak Company Projection display apparatus having both incoherent and laser light sources
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004343476A (ja) 2003-05-16 2004-12-02 Sony Corp 撮像装置、撮像結果の処理装置及び撮像結果の処理方法
US6921172B2 (en) 2003-07-02 2005-07-26 Hewlett-Packard Development Company, L.P. System and method for increasing projector amplitude resolution and correcting luminance non-uniformity
US7485310B2 (en) 2003-08-12 2009-02-03 Tigenix N.V. Use of CXCL6 chemokine in the prevention or repair of cartilage defects
JP4036168B2 (ja) * 2003-09-09 2008-01-23 株式会社日立製作所 携帯電話
JP4363151B2 (ja) * 2003-10-14 2009-11-11 カシオ計算機株式会社 撮影装置、その画像処理方法及びプログラム
US7453510B2 (en) 2003-12-11 2008-11-18 Nokia Corporation Imaging device
US7123298B2 (en) 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
US6970080B1 (en) 2003-12-31 2005-11-29 Crouch Shawn D Computer shut down system
US20050182962A1 (en) 2004-02-17 2005-08-18 Paul Given Computer security peripheral
US20070177279A1 (en) 2004-02-27 2007-08-02 Ct Electronics Co., Ltd. Mini camera device for telecommunication devices
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
US20050280786A1 (en) 2004-06-22 2005-12-22 Jean-Paul Moiroux Integrated computer and projector system
TWI244861B (en) 2004-07-06 2005-12-01 Asia Optical Co Inc Device and method for optical center detection
US20060033819A1 (en) * 2004-08-12 2006-02-16 Sony Corporation Method and apparatus for automatic orientation correction of digital photographs
JP2006115346A (ja) 2004-10-15 2006-04-27 Olympus Corp 撮像装置および手ぶれ補正方法
JP4396500B2 (ja) 2004-12-07 2010-01-13 カシオ計算機株式会社 撮像装置、画像の姿勢調整方法、及びプログラム
EP1672460B1 (en) 2004-12-15 2009-11-25 STMicroelectronics (Research & Development) Limited Computer user detection apparatus
JP4196942B2 (ja) 2004-12-21 2008-12-17 セイコーエプソン株式会社 撮像装置及びこれを備えた携帯電話機
JP4753065B2 (ja) * 2005-02-04 2011-08-17 富士フイルム株式会社 像振れ補正装置
US7653304B2 (en) 2005-02-08 2010-01-26 Nikon Corporation Digital camera with projector and digital camera system
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP2006245726A (ja) * 2005-03-01 2006-09-14 Fuji Photo Film Co Ltd デジタルカメラ
JP4379363B2 (ja) 2005-03-29 2009-12-09 セイコーエプソン株式会社 画角を維持した画像の傾き補正
WO2006103676A2 (en) 2005-03-31 2006-10-05 Ronen Wolfson Interactive surface and display system
US8044880B2 (en) 2005-04-28 2011-10-25 Hitachi, Ltd. Projection type image display device
US20070027580A1 (en) 2005-07-14 2007-02-01 Ligtenberg Chris A Thermal control of an electronic device for adapting to ambient conditions
KR20080022075A (ko) 2005-07-21 2008-03-10 마츠시타 덴끼 산교 가부시키가이샤 촬상장치
WO2007018085A1 (ja) 2005-08-08 2007-02-15 Konica Minolta Opto, Inc. 撮像装置及び撮像装置の組立方法
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US7714897B2 (en) 2005-09-15 2010-05-11 Nokia Corporation Trigger tone of a camera
WO2007035720A2 (en) 2005-09-20 2007-03-29 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
US7413311B2 (en) 2005-09-29 2008-08-19 Coherent, Inc. Speckle reduction in laser illuminated projection displays having a one-dimensional spatial light modulator
US7629897B2 (en) 2005-10-21 2009-12-08 Reino Koljonen Orally Mounted wireless transcriber device
US7901084B2 (en) 2005-11-02 2011-03-08 Microvision, Inc. Image projector with display modes
US7641348B2 (en) 2006-01-31 2010-01-05 Hewlett-Packard Development Company, L.P. Integrated portable computer projector system
US7570881B2 (en) 2006-02-21 2009-08-04 Nokia Corporation Color balanced camera with a flash light unit
WO2007100057A1 (ja) 2006-03-03 2007-09-07 Matsushita Electric Industrial Co., Ltd. 撮像装置及び集積回路
JP2007258989A (ja) 2006-03-22 2007-10-04 Eastman Kodak Co デジタルカメラ、構図補正装置、および、構図補正方法
US8139059B2 (en) 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
US20070300312A1 (en) 2006-06-22 2007-12-27 Microsoft Corporation Microsoft Patent Group User presence detection for altering operation of a computing system
US7658498B2 (en) 2006-07-13 2010-02-09 Dell Products, Inc. System and method for automated display orientation detection and compensation
US20090115915A1 (en) 2006-08-09 2009-05-07 Fotonation Vision Limited Camera Based Feedback Loop Calibration of a Projection Device
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
US7593627B2 (en) * 2006-08-18 2009-09-22 Sony Ericsson Mobile Communications Ab Angle correction for camera
US7847831B2 (en) 2006-08-30 2010-12-07 Panasonic Corporation Image signal processing apparatus, image coding apparatus and image decoding apparatus, methods thereof, processors thereof, and, imaging processor for TV conference system
US7567752B2 (en) * 2006-11-24 2009-07-28 Sony Ericsson Mobile Communications Ab Image alignment system with overlying frame in display
JP4406937B2 (ja) 2006-12-01 2010-02-03 富士フイルム株式会社 撮影装置
US8094195B2 (en) 2006-12-28 2012-01-10 Flextronics International Usa, Inc. Digital camera calibration method
ATE501594T1 (de) 2007-06-27 2011-03-15 Panasonic Corp Bildgebungsgerät, verfahren, systemintegrierte schaltung und programm
EP2053844B1 (en) 2007-06-28 2011-05-18 Panasonic Corporation Image processing device, image processing method, and program
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
CN101374198A (zh) 2007-08-24 2009-02-25 鸿富锦精密工业(深圳)有限公司 摄像装置及其影像自动正立方法
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
JP2009218661A (ja) 2008-03-07 2009-09-24 Panasonic Corp 画像歪み補正機能を有する撮像装置
JP5129638B2 (ja) * 2008-04-02 2013-01-30 ペンタックスリコーイメージング株式会社 撮像装置
US20090262306A1 (en) 2008-04-16 2009-10-22 Quinn Liam B System and Method for Integration of a Projector and Information Handling System in a Common Chassis
US20090262343A1 (en) 2008-04-18 2009-10-22 Archibald William B Infrared spectroscopy of media, including aqueous
US8405727B2 (en) 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
US20090309826A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US8538084B2 (en) 2008-09-08 2013-09-17 Apple Inc. Method and apparatus for depth sensing keystoning
US8508671B2 (en) 2008-09-08 2013-08-13 Apple Inc. Projection systems and methods
US7869204B2 (en) 2008-09-15 2011-01-11 International Business Machines Corporation Compact size portable computer having a fully integrated virtual keyboard projector and a display projector
US20100073499A1 (en) 2008-09-25 2010-03-25 Apple Inc. Image capture using separate luminance and chrominance sensors
US7881603B2 (en) 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US8527908B2 (en) 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
US20100079426A1 (en) 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US8610726B2 (en) 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
US20100079653A1 (en) 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US20100103172A1 (en) 2008-10-28 2010-04-29 Apple Inc. System and method for rendering ambient light affected appearing imagery based on sensed ambient lighting
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
US8502926B2 (en) 2009-09-30 2013-08-06 Apple Inc. Display system having coherent and incoherent light sources
US8619128B2 (en) 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US8687070B2 (en) * 2009-12-22 2014-04-01 Apple Inc. Image capture device having tilt and/or perspective correction
US8497897B2 (en) 2010-08-17 2013-07-30 Apple Inc. Image capture using luminance and chrominance sensors
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity

Also Published As

Publication number Publication date
AU2014203801A1 (en) 2014-07-31
TWI471002B (zh) 2015-01-21
JP2013515432A (ja) 2013-05-02
TWI571125B (zh) 2017-02-11
MX2012007345A (es) 2012-07-10
AU2014203801B2 (en) 2015-07-30
CN104717429A (zh) 2015-06-17
US20140152859A1 (en) 2014-06-05
US20150358551A1 (en) 2015-12-10
KR101498442B1 (ko) 2015-03-03
US8687070B2 (en) 2014-04-01
TW201513665A (zh) 2015-04-01
KR20120106858A (ko) 2012-09-26
CN104717429B (zh) 2019-05-07
EP2517455A1 (en) 2012-10-31
KR20140138345A (ko) 2014-12-03
BR112012017772A2 (pt) 2016-04-19
AU2010333908A1 (en) 2012-07-05
CN102668541A (zh) 2012-09-12
JP5670476B2 (ja) 2015-02-18
TW201143391A (en) 2011-12-01
AU2010333908B2 (en) 2014-04-10
KR20140138346A (ko) 2014-12-03
US9565364B2 (en) 2017-02-07
KR101498441B1 (ko) 2015-03-03
HK1175053A1 (zh) 2013-06-21
US9113078B2 (en) 2015-08-18
US20110149094A1 (en) 2011-06-23
WO2011078913A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
CN102668541B (zh) 具有倾斜或透视校正的图像捕捉设备
EP2731326B1 (en) Method and apparatus for shooting and storing multi-focused image in electronic device
JP4236986B2 (ja) 撮影装置および方法並びにプログラム
CN103888684A (zh) 图像处理装置以及图像处理方法
KR101589889B1 (ko) 화상 처리 장치 및 기록 매체
JP5547356B2 (ja) 撮影装置、方法、記憶媒体及びプログラム
JP2009060337A (ja) 電子カメラ、表示装置
JP2007259002A (ja) 画像再生装置ならびにその制御方法およびその制御プログラム
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5419148B2 (ja) 撮像装置及びプログラム
JP2010183565A (ja) 撮像装置、画像検索装置およびプログラム
JP2007208596A (ja) データ再生機器、データ再生方法およびプログラム
KR20130061510A (ko) 디지털 영상 처리장치 및 이를 포함하는 디지털 촬영장치
JP2011227759A (ja) 画像表示装置およびプログラム
JP2014093729A (ja) 表示制御装置及びその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1175053

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1175053

Country of ref document: HK