CN101588451A - 图像拾取设备和方法、再现控制设备和方法、及程序 - Google Patents

图像拾取设备和方法、再现控制设备和方法、及程序 Download PDF

Info

Publication number
CN101588451A
CN101588451A CNA2009101342999A CN200910134299A CN101588451A CN 101588451 A CN101588451 A CN 101588451A CN A2009101342999 A CNA2009101342999 A CN A2009101342999A CN 200910134299 A CN200910134299 A CN 200910134299A CN 101588451 A CN101588451 A CN 101588451A
Authority
CN
China
Prior art keywords
image
panoramic picture
taking
image pickup
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009101342999A
Other languages
English (en)
Other versions
CN101588451B (zh
Inventor
林直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008132319A external-priority patent/JP4479829B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101588451A publication Critical patent/CN101588451A/zh
Application granted granted Critical
Publication of CN101588451B publication Critical patent/CN101588451B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种图像拾取设备、图像拾取方法、再现控制设备、再现控制方法和程序。该图像拾取设备包括：图像拾取单元，被配置为将通过透镜系统输入的图像转换为图像数据；拼接单元，被配置为由在从全景图像拍摄开始到全景图像拍摄结束的时间段期间所拍摄的图像的多个图像数据项生成全景图像；图像拾取方向检测单元，被配置为检测在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的图像拾取方向；时钟单元，被配置为检测关于全景图像的图像拍摄时间的图像拍摄时间信息；以及记录单元，被配置为将由时钟单元检测的图像拍摄时间信息和由图像拾取方向检测单元检测的图像拾取方向与由拼接单元生成的全景图像相关联地记录。

Description

图像拾取设备和方法、再现控制设备和方法、及程序
技术领域
本发明涉及一种用于在移动图像拾取设备的同时拍摄图像以生成全景图像的图像拾取设备、图像拾取方法、再现控制设备、再现控制方法和程序。
背景技术
为了拍摄图像，广泛使用的电子静止照相机可以通过镜头接收来自被摄体的光，并且使用诸如电荷耦合器件(CCD)之类的固态图像拾取元件将所接收到的光转换为成像信号。随后，电子静止照相机可以将成像信号记录在记录介质上并再现所记录的图像信号。另外，大量的电子静止照相机包括显示所拍摄的静止图像的监视器。电子静止照相机选择所记录的静止图像中的特定的一个静止图像，并在监视器上显示所选择的图像。在这样的电子静止照相机中，在一次拍摄中拍摄的图像拍摄区域是受镜头的视场限制的窄区域。因此，难以拍摄比镜头的视场宽的拍摄区域。因此，近年来，开发了可以拍摄全景图像的多种照相机系统。
例如，这些照相机系统分为两类：使用多个镜头同时拍摄宽角度图像的多镜头照相机系统；以及在顺序地改变图像拍摄方向的同时使用一个镜头连续地拍摄图像的单镜头照相机系统。该多镜头照相机系统的优点是，可以按与普通照相机基本上相同的方式拍摄整个全景图像。然而，该多镜头照相机系统的缺点是，整个系统的成本增加了。
相反，单镜头照相机系统可以用相对较低的成本拍摄全景图像。开发了几种在改变图像拍摄方向的同时拍摄图像的技术。例如，开发了一种用手以恒定的速度移动(shift)或旋转图像拍摄系统的技术(例如，参见日本未审专利申请公开No.11-88754)。另外，开发了一种用手反复地移动或旋转并停止图像拍摄系统的技术(例如，参见日本未审专利申请公开No.11-88811)。此外，开发了一种使用步进电机移动或旋转并停止图像拍摄系统的技术(例如，参见日本未审专利申请公开No.2005-333396)。
为了欣赏观看使用上述技术之一拍摄的全景图像，开发了风景打印方法(landscape printing method)(例如，参见日本未审专利申请公开No.7-212693)和使用电视监视器的滚动再现方法(scrollplayback method)(例如，参见日本未审专利申请公开No.2002-77800)。例如，当在电视监视器上显示整个全景图像时，在电视屏幕的部分区域中显示的是很小的风景图像。因此，用户难以观看到详细的图像。另外，当用户想要顺序地、自动地显示多个全景图像时，用户难以观看到详细的图像，因为在电视屏幕的部分区域中显示小的风景图像。因此，当在电视监视器上连续地显示多个全景图像时，可以通过滚动所再现的全景图像来检查整个全景图像的细节。
发明内容
然而，在日本未审专利申请公开No.11-88754、11-88811和2005-333396中所描述的技术中，组合在不同时间拍摄的图像。因此，在组合的全景图像的屏幕中出现时间差。从而，甚至在与组合的全景图像相关联地记录一个图像拍摄时间时，也没有记录拍摄全景图像的精确时间。结果，难以识别组合全景图像的时间变化和图像拍摄方向的变化。
另外，因为在现有技术中仅仅使用一种方法确定要滚动再现的图像，所以难以有效地欣赏观看全景图像。
因此，本发明提供用于生成能够指示图像拍摄时间和成像方向的变化的组合全景图像的图像拾取设备和图像拾取方法，并且提供适合允许用户连续地、有效地欣赏观看全景图像的再现控制设备、再现控制方法和程序。
根据本发明的实施例，一种图像拾取设备包括：图像拾取单元，被配置为将通过透镜系统输入的图像转换为图像数据；拼接单元(stitching unit)，被配置为由在从全景图像拍摄开始到全景图像拍摄结束的时间段期间拍摄的图像的多个图像数据项生成全景图像；图像拾取方向检测单元，被配置为检测在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的成像方向；时钟单元，被配置为检测关于全景图像的图像拍摄时间的图像拍摄时间信息；以及记录单元，被配置为将由时钟单元检测的图像拍摄时间信息和由图像拾取方向检测单元检测的在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的成像方向与由拼接单元生成的全景图像相关联地记录。
根据本发明的另一实施例，提供一种用于拍摄图像的方法。该方法包括下述步骤：将通过透镜系统输入的图像转换为图像数据；由在从全景图像拍摄开始到全景图像拍摄结束的时间段期间拍摄的图像的多个图像数据项生成全景图像；检测关于全景图像的图像拍摄时间的图像拍摄时间信息；检测在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的成像方向；以及将图像拍摄时间信息和在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的成像方向与所生成的全景图像相关联地记录。
根据本发明的另一实施例，一种再现控制设备包括：记录单元，被配置为将在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的全景图像的成像方向和通过提取全景图像的特征而检测的被摄体的坐标信息中的一个与全景图像相关联地记录，所述全景图像是通过组合从在从全景图像拍摄开始到全景图像拍摄结束的时间段期间拍摄和通过透镜系统输入的多个图像转换的多个图像数据项而生成的；以及滚动方向确定单元，被配置为基于成像方向和坐标信息中的一个确定再现全景图像的滚动方向。
根据本发明的另一实施例，提供一种再现控制方法。该方法包括下述步骤：将在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的全景图像的成像方向和通过提取全景图像的特征而检测的被摄体的坐标信息中的一个与全景图像相关联地记录，所述全景图像是通过组合从在从全景图像拍摄开始到全景图像拍摄结束的时间段期间拍摄和通过透镜系统输入的多个图像转换的多个图像数据项而生成的；以及基于成像方向和坐标信息中的一个确定再现全景图像的滚动方向。
根据本发明的实施例，可以与在从拍摄图像的开始时间到结束时间的时间段期间的成像方向和图像拍摄时间信息相关联地记录在屏幕中显示的具有时间差的组合全景图像。因此，观看者可以在短时间内有效地观看到期望的图像。
附图说明
图1是示出根据本发明的实施例的图像拾取设备的示例配置的框图；
图2是示意性地示出修整过程的例子的视图；
图3A是示意性地示出在开始拍摄被摄体的图像时的成像方向的视图；
图3B是示意性地示出紧挨在结束对被摄体的图像的拍摄之前的成像方向的视图；
图4是示出根据本发明的实施例的图像拾取设备的示例配置的框图；
图5是示出生成全景图像的处理过程的流程图；
图6是示出根据本发明的实施例的再现控制设备的示例配置的框图；
图7是示出用于滚动全景图像的方法的例子的流程图；
图8是示出用于滚动全景图像的方法的例子的示意图；
图9是示出用于滚动全景图像的方法的例子的示意图；
图10是示出用于滚动全景图像的方法的例子的示意图；
图11是示出用于滚动全景图像的方法的例子的示意图；
图12是示出用于滚动全景图像的方法的例子的示意图；以及
图13是示意性地示出用于滚动全景图像的方法的视图。
具体实施方式
下面参照附图描述本发明的各个示例实施例。如图1所示，图像拾取设备1包括透镜系统10、图像拾取元件11、图像随机存取存储器(图像RAM)12、图像拾取方向检测单元13、全景拼接单元14、时钟单元15和记录介质16。图像拾取设备1还包括驱动源(未示出)，例如步进电机。该驱动源使图像拾取单元旋转。
例如，CCD或CMOS(互补金属氧化物半导体)传感器用于图像拾取元件11。图像拾取元件11接收通过透镜系统10发射到其上的被摄体图像，并将被摄体图像转换为电信号。另外，图像拾取元件11包括预定信号处理电路(未示出)，该信号处理电路将电信号形式的被摄体图像进一步转换为数字图像数据。然后，图像拾取元件11将数字图像数据输出到图像RAM 12。
图像RAM 12接收从图像拾取元件11输出的图像数据。图像RAM 12存储多个图像的图像数据。其后，图像RAM 12将所存储的图像数据供应到图像拾取方向检测单元13和全景拼接单元14。
图像拾取方向检测单元13接收从图像RAM 12供应的图像数据。为了执行全景生成过程，图像拾取方向检测单元13检测多个连续的图像数据项的成像方向和每两个图像数据项的运动量，即，两个图像数据项之间的运动矢量。然后，图像拾取方向检测单元13将所检测的运动矢量供应到全景拼接单元14。例如，通过比较两个相邻的按时间顺序的场的图像数据项，图像拾取方向检测单元13检测运动矢量。
当检测每两个图像数据项的运动量时，为了将在从拍摄图像的开始时间到结束时间的时间段期间的成像方向作为一个方向检测，图像拾取方向检测单元13对运动量求平均。此时，在图像拾取方向检测单元13排除大于或等于预定值的运动量之后，图像拾取方向检测单元13可以对运动量求平均。另外，图像拾取方向检测单元13对所有的图像数据项中的每两个相邻图像数据项之间的运动量进行累积。此时，图像拾取方向检测单元13可以排除大于或等于预定值的运动量。
图像拾取方向检测单元13基于所检测的运动矢量检测在从拍摄图像的开始时间到结束时间的时间段期间的成像方向。其后，图像拾取方向检测单元13将所检测的成像方向编码为几个方向上的代码。也就是说，图像拾取方向检测单元13将成像方向分离为几个方向。例如，图像拾取方向检测单元13将所检测的成像方向编码为向上、向下、左和右方向的四个值。通过用这样的方式对所检测的成像方向进行编码，可以减少供应到记录介质16的数据量。
随后，图像拾取方向检测单元13将在从拍摄图像的开始时间到结束时间的时间段期间的一个已编码的成像方向与由全景拼接单元14生成的全景图像相关联地供应到记录介质16。
如上所述，图像拾取方向检测单元13可以用于生成组合的全景图像和检测成像方向。因此，对于图像拾取设备1，可以低成本地制造用于生成组合的全景图像和与该全景图像相关联地记录成像方向和成像时间信息的单元。
全景拼接单元14接收来自图像RAM 12的图像数据。另外，全景拼接单元14从图像拾取方向检测单元13接收用于组合全景生成过程的图像数据项之间的运动矢量。全景拼接单元14使用从图像拾取方向检测单元13供应的运动矢量和从图像RAM 12供应的多个图像数据项来生成全景图像。
例如，全景拼接单元14拼接两个图像，使得在图像拾取元件的成像平面上获得的图像中的具有相同预定宽度的读出范围中的相同部分图像重叠。因此，生成组合图像(例如，参见日本未审专利申请公开No.2005-333396)。全景拼接单元14将组合图像供应到记录介质16。
另外，全景拼接单元14对从多个图像的图像数据项生成的全景图像执行修整过程。修整过程是用于提取图像数据的部分图像区域例如图像的中心区域的过程。例如，通过对图2A和2B所示的图像数据20、图像数据21和图像数据22执行修整过程，全景拼接单元14提取图像数据的必要部分，以便生成优质的全景图像。
例如，如图2A中示出的区域23所示，全景拼接单元14执行修整过程，以便提取矩形的全景图像。如果连续的图像数据项包括倾斜的图像，也就是说，如果在图像拾取设备1相对于水平面倾斜时用户拍摄图像，则全景拼接单元14可以沿着如图2B中示出的区域24所示的对角方向执行修整过程。
时钟单元15充当检测在从拍摄图像的开始时间到结束时间的时间段期间的各种图像拍摄时间信息的时间测量单元。例如，时钟单元15检测图像拍摄开始的图像拍摄开始时间和图像拍摄结束的图像拍摄结束时间。其后，时钟单元15将所检测的图像拍摄开始时间和图像拍摄结束时间与由全景拼接单元14生成的全景图像相关联，并且将图像拍摄开始时间和图像拍摄结束时间供应到记录介质16。然而，对于图像拍摄时间信息，时钟单元15可以检测每一个拍摄图像的拍摄时间或某些图像拍摄时间之间的时间间隔。
记录介质16可以记录数字信号。记录介质16的例子包括硬盘、磁光盘、DVD、迷你盘(mini disc，MD)(商标名)、半导体存储器和磁带。记录介质16接收由全景拼接单元14生成的全景图像、由图像拾取方向检测单元13检测的在从拍摄图像的开始时间到结束时间的时间段期间的图像拾取方向、以及由时钟单元15检测的图像拍摄开始时间和图像拍摄结束时间。随后，记录介质16将在从拍摄图像的开始时间到结束时间的时间段期间的一个图像拾取方向以及图像拍摄开始时间和图像拍摄结束时间与全景图像相关联地记录。也就是说，记录介质16记录组合全景图像的一个图像拾取方向。
以这样的方式，除了图像拍摄开始时间和图像拍摄结束时间以外，记录介质16还将在从拍摄图像的开始时间到结束时间的时间段期间的一个图像拾取方向与全景图像相关联地记录。因此，可以获得拍摄全景图像的精确时间。也就是说，通过除了图像拍摄开始时间和图像拍摄结束时间以外还将全景图像的图像拾取方向记录到记录介质16上，图像拾取设备1可以获得拍摄全景图像的更加精确的时间。因此，如图3B所示，当观看者在例如TV监视器上的屏幕中对具有时间差的全景图像26执行滚动再现时，观看者可以在短时间中有效地观看到期望的图像。
也就是说，图像拾取设备1允许观看者通过根据图像拍摄开始时间和结束时间以及全景图像的图像拾取方向适当地改变滚动再现的方向和起始点来在短时间中有效地观看到期望的图像。例如，假设当开始拍摄图像时，用户想要拍摄图3A所示的全景图像25。然而，如图3B所示，无意地拍摄了紧挨在图像拍摄的结束时间之前出现的被摄体27的图像。在这种情况中，图像拾取设备1可以通过适当地改变滚动再现方向和起始点而防止从不想要的被摄体27起滚动再现全景图像26。也就是说，当再现全景图像26时，图像拾取设备1可以容易地沿着由图3B所示的箭头指示的图像拾取方向滚动全景图像26。
另外，在记录介质16中，图像拍摄的开始时间、图像拍摄的结束时间和全景图像的图像拾取方向被记录在由EXIF(可交换的图像文件格式)标准限定的用户区域中。除了用于摄影条件的用户区域以外，EXIF标准允许提供用于附加信息的另一用户区域。因此，用户可以记录用户限定的或装置限定的信息。请注意，图像拾取设备1可以在除了用户区域以外的区域中，即，在未限定的区域中，限定关于图像拍摄的开始时间、图像拍摄的结束时间和全景图像的图像拾取方向的新项目和记录信息。
另外，例如，记录介质16可以除了由时钟单元15检测的图像拍摄开始时间以外还存储记录时间，但不记录图像拍摄结束时间。此外，除了用于在全景拼接单元14中生成全景图像的拍摄图像(图像数据项)的数目以外，记录介质16还可以存储各个图像的拍摄时间的平均值或拍摄时间之间的平均时间。此外，记录介质16可以存储用于在全景拼接单元14中生成全景图像的所有的图像数据项的图像拍摄时间。记录介质16还可以存储在图像拾取设备1固定时拍摄的图像数据。此外，可以提取包含在图像数据中的被摄体的特征，并且可以检测关于被摄体的坐标信息。其后，可以将坐标信息与全景图像相关联地记录在记录介质16中。例如，除了关于图像拍摄开始时间、图像拍摄结束时间和图像拾取方向的信息以外，还可以将基于由面部检测单元(未示出)检测的被摄体的面部图像的面部坐标与全景图像相关联地存储在记录介质16中。
接下来参照图4描述图像拾取设备1的另一实施例。请注意，与上面描述图1所使用的编号方式一样，使用相同的编号方式来描述图4。
例如，可变光轴元件28属于偏移透镜型(shift lens type)或反射镜体型(mirror block type)。可变光轴元件28由驱动器35控制。透镜系统10控制诸如可变光阑(iris)、聚焦和变焦等的光学系统。在透镜系统10中，由透镜系统驱动电路36对这些光学系统执行控制。例如，当拍摄全景图像时，改变光轴，使得至少在图像拾取元件11的电子快门打开时，抵偿图像拾取设备1的运动。另外，当电子快门关闭时，执行控制，使得光轴基本上返回到图像拾取设备1的运动的中心。在下述的系统控制器42的控制下自动地执行这样的控制。请注意，可以自动地执行对光学系统的控制。在图像拾取设备1中，基于这种控制，控制信息从透镜系统驱动电路36输出并供应到系统控制器42和记录介质30。控制信息的例子包括可变光阑值、聚焦值和变焦值，并且，这些值从透镜系统驱动电路36输出。
被摄体的图像通过可变光轴元件28和透镜系统10发射到图像拾取元件11上。例如，对于图像拾取元件11，使用CCD或CMOS传感器。图像拾取元件11将所发射的被摄体图像转换为电信号。图像拾取元件11包括预定信号处理电路(未示出)，该信号处理电路将所转换的电信号进一步转换为数字图像数据。该数字图像数据被输出到开关32的REC端子和压缩电路29。
压缩电路29接收图像拾取元件11的输出。运动检测电路38与压缩电路29连接。另外，压缩电路29接收来自全景拼接单元14的合成图像信息。压缩电路29压缩从图像拾取元件11输出的数字图像数据和从全景拼接单元14输出的合成图像信息，以生成压缩图像数据。然后，压缩电路29将生成的压缩图像数据供应到记录介质30。
运动检测电路38通过比较两个在时间上相邻的场中的图像数据项来计算运动矢量。然后，运动检测电路38基于所计算的运动矢量来检测图像数据项的运动。运动检测电路38的输出供应到压缩电路29和混合电路37。在图像拾取设备1中，可以使用运动检测电路38来生成全景图像和检测图像拾取方向。因此，可以较小规模地、有效地制造用于检测图像拾取方向的电路，即，图像拾取方向检测单元13。
混合电路37混合从积分电路40(下面更加详细地描述)供应的运动信息和运动检测电路38的输出，并且将混合结果供应到驱动器35和记录介质30。
记录介质30可以记录数字信号。记录介质30的例子包括硬盘、磁光盘、DVD、MD(商标名)、半导体存储器和磁带。记录介质30接收来自压缩电路29的压缩图像数据、来自透镜系统驱动电路36的控制信息、以及来自混合电路37的混合结果。另外，记录介质30接收来自图像拾取方向检测单元13的图像拾取方向信息和来自时钟单元15的时间信息。
记录介质30以子码数据的形式记录针对每一个压缩图像数据项供应的控制信息和混合结果。压缩图像数据项和子码数据从记录介质30读取并供应到解压缩电路31。记录介质30可以具有包括图1中示出的图像RAM 12和记录介质16的结构。
解压缩电路31接收从记录介质30读取的压缩图像数据项和子码数据。解压缩电路31对在将图像数据记录到记录介质30上时所压缩或编码的图像数据进行解压缩或解码。解压缩电路31将解压缩的图像数据供应到全景拼接单元14。解压缩图像数据充当再现图像数据。
全景拼接单元14接收来自解压缩电路31的再现图像数据、以及来自记录介质30的透镜系统驱动电路36的透镜控制信息和混合电路37的子码数据(混合结果)。然后，全景拼接单元14生成全景图像并将生成的全景图像供应到开关32的PB端子和压缩电路29。
图像拾取方向检测单元13接收来自记录介质30的关于混合多个检测运动的结果的信息。图像拾取方向检测单元13基于所供应的关于混合多个检测运动的结果的信息来检测全景图像的在从拍摄图像的开始时间到结束时间的时间段期间的图像拾取方向。然后，图像拾取方向检测单元13将关于在从拍摄图像的开始时间到结束时间的时间段期间的图像拾取方向的信息与关于由全景拼接单元14组合的图像的信息相关联地供应到记录介质30。
时钟单元15检测包括图像拍摄开始时间和图像拍摄结束时间的图像拍摄时间信息。然后，时钟单元15将所检测的时间信息与由全景拼接单元14组合的全景图像相关联地供应到记录介质30。
在拍摄图像时，开关32选择端子REC。因此，在取景器33中显示由图像拾取元件11正在拍摄的图像。另外，开关32允许由图像拾取元件11正在拍摄的图像被发送到视频输出端子34，从而在例如外部视频监视器上显示图像。当生成全景图像或再现全景图像时，开关32选择PB端子。因此，将再现的图像数据发送到视频输出端子34。同时，将再现的图像数据发送到取景器33。通过在生成全景图像或再现全景图像时选择PB端子，开关32使得取景器33显示从记录介质30供应的再现图像。请注意，当显示全景图像时，停止对全景拼接单元14的处理。
角加速度传感器39由例如陀螺仪传感器(gyro sensor)形成。角加速度传感器39检测图像拾取方向的变化。例如，用于图像稳定且安装在图像拾取设备1中的传感器可以用作角加速度传感器39。通过使用来自角加速度传感器39的输出，甚至在用户在运动检测电路38中不能获得正确的运动矢量时，用户也可以识别拍摄图像的相对位置。
积分电路40对来自角加速度传感器39的输出进行积分，以获得运动信息。通过对从角加速度传感器39接收的角加速度的检测结果求平均，积分电路40可以生成关于平均运动的信息。也就是说，积分电路40忽略小的运动，并且生成运动信息。然后，积分电路40将生成的运动信息输出到混合电路37。
键输入单元41包括用于配置图像拾取设备1的各种设置的开关和用于在全景摄影模式的开和关之间切换的开关。通过这些设置键配置的设置信息从键输入单元41输入到系统控制器42。其后，设置信息存储在例如RAM中。例如，当准备进行全景摄影时，摄影者接通设置在键输入单元41中的全景摄影模式开/关设置开关。随后，通过在跟随被摄体移动透镜系统10并进行摄影，摄影者可以记录全景图像和关于图像拍摄开始和结束时间以及在从图像拍摄开始时间到图像拍摄结束时间的时间段期间的图像拾取方向的信息。
系统控制器42包括中央处理单元(CPU)、RAM和只读存储器(ROM)。系统控制器42控制图像拾取设备1的操作。例如，系统控制器42基于通过键输入单元41的各种设置键配置的设置信息来控制图像拾取设备1的操作。系统控制器42还包括用于设置预定时段的定时器(未示出)。另外，系统控制器42可以执行控制，使得在取景器33的液晶屏幕中显示用于维持图像的运动方向恒定的指示。可供选择的是，通过提供声音装置，可以使该指示设置有语音指导。
接下来参照图5所示的流程图描述使用图1所示的配置生成全景图像的示例处理过程。请注意，图4所示的系统控制器42控制图1的各部件。
首先，图像拾取设备1诊断和初始化硬件。在步骤S1中，图像拾取设备1执行各种图像拍摄参数处理。例如，图像拾取设备1获取关于由曝光计(未示出)检测的亮度的信息，并且计算图像拍摄参数，例如，孔径值和快门速度。
在步骤S2中，系统控制器42确定是否按下了快门按钮。也就是说，系统控制器42根据是否生成了基于快门按钮的按下操作的操作信息而确定图像拍摄开始时间。更具体地说，如果系统控制器42能够识别操作信号的生成(真)，则该处理进入步骤S3。然而，如果系统控制器42不能识别操作信号的生成(假)，则该处理进入步骤S1。
在步骤S3中，记录介质16从时钟单元15获取图像拍摄开始时间。
在步骤S4中，图像拾取设备1拍摄多个图像。例如，系统控制器42使用在步骤S1获得的参数来控制透镜系统10的孔径系统驱动单元，并且使用图像拾取元件11来拍摄图像。图像拾取元件11将拍摄的被摄体图像转换为电信号，例如，成像信号C1。将成像信号C1供应到图像RAM 12。
在步骤S5中，图像拾取方向检测单元13检测运动矢量。更具体地说，图像拾取方向检测单元13计算存储在图像RAM 12中的成像信号C1与从在先前的图像拍摄中提取的成像信号生成的组合图像之间的相对位移。以这样的方式，图像拾取方向检测单元13检测拍摄图像之间的运动方向和拍摄图像之间的运动量，即，运动矢量。
在步骤S6中，全景拼接单元14执行全景拼接过程。更具体地说，全景拼接单元14基于在步骤S5中检测的运动矢量而顺序地组合在步骤S4中存储在图像RAM 12中的成像信号C1，以生成全景图像。
在步骤S7中，系统控制器42确定快门按钮当前是否正被按下。更具体地说，系统控制器42基于从键输入单元41接收的操作信号来检测图像拍摄结束时间。如果系统控制器42确定按下操作继续(真)，则该处理返回到步骤S4，以继续图像拍摄操作。其后，重复被摄体图像拍摄操作。然而，如果系统控制器42确定按下操作完成(假)，则该处理进入步骤S8，以执行图像拍摄完成操作。
在步骤S8中，记录介质16从时钟单元15获取图像拍摄结束时间。
在步骤S9中，全景拼接单元14对在步骤S6中生成的全景图像执行修整过程。
在步骤S10中，图像拾取方向检测单元13基于在步骤S5中获得的多个运动矢量检测在从拍摄图像的开始时间到结束时间的时间段期间的图像拾取方向。也就是说，图像拾取方向检测单元13基于多个运动矢量检测在从拍摄图像的开始时间到结束时间的时间段期间的一个图像拾取方向。
在步骤S11中，记录介质16将在步骤S9中获得的全景图像与关于在步骤S10中获得的在从拍摄图像的开始时间到结束时间的时间段期间的图像拾取方向、在步骤S3中获得的图像拍摄开始时间和在步骤S8中获得的图像拍摄结束时间的信息相关联。然后，记录介质16存储这些信息项。
以这样的方式，根据本实施例，图像拾取设备1可以将全景组合图像与在从拍摄图像的开始时间到结束时间的时间段期间的图像拾取方向和时间点一起记录，该全景组合图像包括在拍摄图像的开始时间与结束时间之间的不同时间点处拍摄的图像。随后，根据本实施例，当观察者对多个全景图像执行滚动再现时，图像拾取设备1允许观察者在短时间内有效地观看到期望的全景图像。
另外，根据本实施例，如果紧挨在图像拍摄操作完成之前拍摄摄影者在图像拍摄开始时间不想拍摄的被摄体(例如，人)的图像，则图像拾取设备1可以防止从包括不想要的被摄体的图像起滚动再现该全景图像。也就是说，例如，当观察者使用TV监视器对存储在记录介质16中的全景图像执行滚动再现时，图像拾取设备1允许观察者在短时间内有效地观看到期望的全景图像。
此外，根据本实施例的图像拾取设备1，当用户想要有效地删除包括无意地拍摄的被摄体(例如，人)的图像的图像数据时，用户可以通过沿着与图像拾取方向相反的方向开始滚动再现来有效地删除不想要的图像数据。
虽然参照图5所示的流程图描述了用于在拍摄图像的同时(即，实时地)生成全景图像的示例处理，但是本申请不局限于该示例处理。例如，在从拍摄图像的开始时间到结束时间的时间段期间获得的所有的图像数据项都被存储在记录介质16中之后，全景拼接单元14可以生成全景图像。
接下来描述根据本实施例的用于对全景图像执行滚动再现的示例再现控制设备。如图6所示，再现控制设备50包括记录介质51、压缩/解压缩电路52、RAM 53、提取电路54、控制微计算机55、显示驱动器56和显示单元57。
记录介质51的例子包括硬盘、磁光盘、DVD、MD(商标名)、半导体存储器和磁带。记录介质51将使用例如JPEG格式压缩的全景图像与关于全景摄影的图像拍摄信息相关联地记录。
关于全景摄影的图像拍摄信息的例子包括：在从拍摄图像的开始时间到结束时间的时间段期间的图像拾取方向；通过特征提取而获得的被摄体的坐标信息；以及全景图像拍摄时间信息。例如，作为指示在从拍摄图像的开始时间到结束时间的时间段期间的图像拾取方向的信息，指示向上、向下、左和右方向的四个值被记录在记录介质51中。作为通过特征提取而获得的被摄体的坐标信息，通过面部检测而获得的被摄体图像的面部坐标，更具体地说，眼睛的位置、鼻子的位置、嘴的位置、或诸如眼睛或鼻子的多个部位的位置，被存储在记录介质51中。请注意，如果被摄体具有指示面部例如眼睛、鼻子和嘴的信息，则被摄体并不局限于人。例如，被摄体可以是狗或猫。例如，作为全景图像拍摄时间信息，拍摄全景图像的开始时间和结束时间被记录在记录介质51中。这种图像拍摄信息被记录在由EXIF标准限定的记录介质51的用户区域中。记录介质51将全景图像供应到压缩/解压缩电路52，并且将与全景图像相关联的图像拍摄信息供应到控制微计算机55。
压缩/解压缩电路52从记录介质51接收使用例如JPEG格式压缩的全景拼接图像。然后，压缩/解压缩电路52对从记录介质51供应的全景组合图像执行压缩/解压缩过程。其后，压缩/解压缩电路52将解压缩的全景图像数据供应到RAM 53。
RAM 53从压缩/解压缩电路52接收由压缩/解压缩电路52解压缩的全景图像数据。在控制微计算机55的控制下，RAM 53将从压缩/解压缩电路52供应的全景图像数据的部分供应到提取电路54。
为了在显示单元57上显示全景图像，提取电路54放大或缩小从RAM 53供应的全景图像数据，使得该全景图像具有期望的尺寸。然后，提取电路54将生成的图像数据供应到显示驱动器56。
控制微计算机55与记录介质51、压缩/解压缩电路52、RAM 53、提取电路54、显示驱动器56和显示单元57连接。控制微计算机55控制这些单元的操作。控制微计算机55接收与记录在记录介质51中的全景图像数据相关联的图像拍摄信息。随后，控制微计算机55将全景图像数据的提取区域和关于放大因子或缩小因子的信息供应到提取电路54。
例如，作为关于提取区域的信息，控制微计算机55将用于通过在水平方向或垂直方向上顺序地偏移提取图像的坐标而在显示单元上滚动显示提取图像的指示值供应到提取电路54。以这样的方式，如下面更详细地描述的那样，控制微计算机55基于相关联的在从拍摄图像的开始时间到结束时间的时间段期间的图像拾取方向和被摄体的坐标信息来确定在再现全景图像时所使用的滚动方向。另外，控制微计算机55基于相关联的在从拍摄图像的开始时间到结束时间的时间段期间的图像拾取方向和被摄体的坐标信息来确定在再现全景图像时所使用的滚动起始点。此外，控制微计算机55基于被摄体的坐标信息来确定在再现全景图像时所使用的滚动速度。
也就是说，再现控制设备50基于与全景图像相关的图像拍摄信息确定在再现全景图像时所使用的滚动方向、滚动起始点和滚动速度。因此，在观看者连续地滚动再现多个全景图像时，再现控制设备50允许观看者有效地欣赏观看全景图像。
当关于被摄体的坐标信息没有与全景图像相关联地记录在记录介质51中时，控制微计算机55检测坐标信息。例如，控制微计算机55将在全景图像的面部子图像中的眼睛位置检测作为参考位置。随后，控制微计算机55基于眼睛的位置归一化面部子图像，并且将面部的每一部位的亮度提取作为面部的特征。其后，控制微计算机55使用面部图像的每一个提取部分的亮度和预先记录的确定信息来执行各种确定过程。例如，控制微计算机55确定被摄体是成人还是孩子，面部是否为带笑的面部，以及被摄体是否预先登记。虽然针对充当参考位置的眼睛描述了上述实例，但是除了眼睛以外的面部的部位可以用于参考位置。例如，包含在面部中的鼻子的位置，或者诸如眼睛和鼻子的多个部位的位置可以用于参考位置。
显示驱动器56从提取电路54接收要在显示单元57上显示的全景图像数据的部分。显示驱动器56将从提取电路54供应的图像数据供应到显示单元57。
显示单元57由例如LCD形成。显示单元57显示从显示驱动器56供应的图像数据。
接下来，参照图7所示的流程图描述用于控制由图6所示的再现控制器设备50执行的再现的示例方法。
首先，再现控制设备50诊断和初始化硬件。在步骤S20中，控制微计算机选择要再现的全景图像。
在步骤S21中，控制微计算机55确定操作单元的再现按钮(未示出)是否被按下。也就是说，控制微计算机55根据是否生成了基于再现按钮按下操作的操作信号来识别再现开始定时。如果控制微计算机55可以识别操作信号的生成(在步骤S21中“真”)，则该处理进入步骤S22。然而，如果控制微计算机55没有识别操作信号的生成(在步骤S21中“假”)，则该处理进入步骤S20，在该步骤S20中，再次执行该过程。
在步骤S22中，控制微计算机55读取所选择的全景图像。更具体地说，使用压缩/解压缩电路52，控制微计算机55对在步骤S20中从记录在记录介质51中的压缩全景图像中选择的全景图像进行解压缩。其后，控制微计算机55将由压缩/解压缩电路52解压缩的全景图像存储在RAM 53中。
在步骤S23中，控制微计算机55选择在再现全景图像时所使用的滚动方向。更具体地说，控制微计算机55基于关于与在步骤S22中从RAM 53读取的全景图像相关联的图像拾取方向的信息和被摄体的坐标信息来确定滚动方向。
作为确定滚动方向的方法的例子，参照图8至10描述用于在全景图像的长度方向再现全景图像的方法。
当在从拍摄全景图像的开始时间到结束时间的时间段期间的图像拾取方向与全景图像相关联时，确定滚动方向与图像拾取方向相同。例如，在图8所示的全景图像60中，如指示图像拾取方向61的箭头所示，指示图像拍摄从左边开始并在右边结束的信息与全景图像60相关联。因此，控制微计算机55确定再现方向62与图像拾取方向61相同。也就是说，控制微计算机55确定滚动方向与图像拾取方向61相同。
可选择的是，当充当被摄体的坐标信息的面部的坐标与全景图像相关联或者预先检测面部的坐标时，确定滚动方向是这样的方向：在全景图像的在左右方向上从与面部的坐标更靠近的一端到另一端。也就是说，控制微计算机55通过从全景图像的在长度方向上与面部的坐标更靠近的一端滚动到另一端来再现全景图像。例如，对于图9所示的全景图像60，控制微计算机55确定再现方向65是从与面部中心的坐标64的位置更靠近的右端到左端的方向。
可选择的是，当面部的坐标和在从拍摄全景图像的开始时间到结束时间的时间段期间的图像拾取方向与全景图像相关联时，基于面部的坐标确定滚动再现方向。控制微计算机55使用优先于关于图像拾取方向的信息的面部坐标来确定滚动再现方向。例如，对于图10所示的全景图像60，由于图像拾取方向67和面部坐标68与全景图像60相关联，所以控制微计算机55确定再现方向69是从与面部坐标68的位置更靠近的右端到左端的方向。也就是说，控制微计算机55使用优先于图像拾取方向67的面部坐标68来确定滚动方向。
此外，可选择的是，当多个面部坐标与全景图像相关联时，如果关于面部坐标的权重信息被记录，则控制微计算机55基于面部坐标中的具有最高权重的面部坐标来确定滚动方向。例如，控制微计算机55确定从全景图像的在长度方向上与具有最高权重的面部的中心点更靠近的一端到另一端的方向是再现方向。例如，当将权重分配给成人和孩子的面部坐标时，可以将较高的权重赋予给孩子。当将权重分配给带笑的面部或不带笑的面部坐标时，可以将较高的权重赋予给带笑的面部。当将权重分配给预先登记的面部和非预先登记的面部的坐标时，可以将较高的权重赋予给预先登记的面部。可选择的是，例如，控制微计算机55可以确定从全景图像的在长度方向上更靠近或更远离多个面部的坐标的中心点的一端到另一端的方向是再现方向。
此外，可选择的是，当关于全景图像的图像拍摄时间信息与全景图像60相关联时，控制微计算机55可以基于图像拾取方向和图像拍摄时间信息确定滚动方向。例如，控制微计算机55可以确定从具有早图像拍摄时间的图像到具有晚图像拍摄时间的图像的方向是滚动方向。
另外，根据设置，例如，控制微计算机55可以确定与图8所示的图像拾取方向61、图9所示的再现方向65和图10所示的再现方向69中的一个相反的方向是再现方向。此外，控制微计算机55可以确定从具有晚图像拍摄时间的图像到具有早图像拍摄时间的图像的方向是滚动方向。
在步骤S24中，控制微计算机55计算初始显示区域，以便从整个全景图像提取在再现开始时间处显示的区域。例如，如图11所示，控制微计算机55基于与在步骤S22中读取的全景图像60相关联的面部的坐标72或者在执行全景摄影时检测的面部坐标来确定滚动起始点，即，显示区域71。显示区域71中的图像在显示单元57中被显示为显示图像73。
更具体地说，由于指示从左到右拍摄图像的图像拾取方向61与图8所示的全景图像60相关联，所以控制微计算机55确定滚动再现的起始点是最左图像。也就是说，控制微计算机55确定再现起始图像63是滚动再现的初始显示区域。然而，控制微计算机55也可以根据设置确定图像拾取方向61上的最终区域为再现起始图像。
更具体地说，当面部的坐标与全景图像相关联或者预先检测到面部的坐标时，控制微计算机55可以将在长度方向上靠近面部的坐标的全景图像的一端确定为滚动起始点。例如，对于图9所示的全景图像，由于坐标64的位置在长度方向上靠近右端，所以控制微计算机55将右端确定为再现起始图像66。然而，控制微计算机55也可以根据设置确定更远离坐标64的位置的右端和左端之一是再现起始图像66。
此外，可选择的是，当面部的坐标和关于图像拾取方向的信息与全景图像相关联时，控制微计算机55基于面部坐标确定滚动起始点。也就是说，控制微计算机55使用优先于关于图像拾取方向的信息的面部坐标来确定滚动起始点。例如，对于图10所示的全景图像60，由于存在图像拾取方向67和面部坐标68，所以控制微计算机55确定，全景图像60的在长度方向上更靠近坐标68的位置的一端是再现起始图像70。然而，控制微计算机55也可以根据设置确定更远离坐标68的位置的一端是再现起始图像。
此外，可选择的是，多个面部坐标与全景图像相关联，如果记录关于坐标的权重信息，则控制微计算机55基于多个面部坐标中具有最高权重的面部坐标确定滚动起始点。例如，控制微计算机55确定，具有最高权重的面部坐标，即，全景图像的在长度方向上靠近具有较高优先权的面部坐标的一端是滚动起始点。例如，如上所述，当将权重分配给成人和孩子的面部坐标时，将较高权重赋予给孩子。当将权重分配给带笑的面部和不带笑的面部的坐标时，将较高权重赋予给带笑的面部。当将权重分配给预先登记的面部和非预先登记的面部的坐标时，将较高权重分配给预先登记的面部。然而，例如，控制微计算机55可以确定，在长度方向上最远离多个面部中的中心点面部的全景图像的一端是滚动起始点。
在步骤S25中，控制微计算机55确定是否按下再现停止按钮，以识别全景图像再现停止定时。也就是说，如果控制微计算机55能够识别操作信号的生成(在步骤S25中“真”)，则控制微计算机55停止对全景图像的再现。因此，该处理完成。然而，如果控制微计算机55未能识别操作信号的生成(在步骤S25中“假”)，该处理进入步骤S26。
在步骤S26中，控制微计算机55确定是否按下用于指示跳跃到对下一个图像的处理的操作单元的按钮。因此，控制微计算机55识别定时，以跳跃到对下一个全景图像的处理。也就是说，如果控制微计算机55能够识别操作信号的生成(在步骤S26中“真”)，则该处理进入到步骤S27。控制微计算机55停止对当前正显示的全景图像的再现，并且开始读取下一个图像。然而，如果控制微计算机55未能识别操作信号的生成(在步骤S26中“假”)，则该处理进入到步骤S28。也就是说，控制微计算机55开始显示当前选择的全景图像。
在步骤S27中，控制微计算机55读取在当前选择的全景图像之后的全景图像。术语“之后的全景图像”是指具有比当前选择的全景图像的文件编号大一的文件编号的全景图像。如果不存在比当前选择的全景图像的文件编号大一的文件编号的全景图像，则术语“之后的全景图像”是指具有比当前选择的全景图像的文件编号大二的文件编号的全景图像。如果不存在比当前选择的全景图像的文件编号大二的文件编号的全景图像，则术语“之后的全景图像”是指具有比当前选择的全景图像的文件编号大三的文件编号的全景图像。对于大于三以上的编号，使用类似的定义。当执行这种选择操作时，如果文件编号到达可选择的最大文件编号，则将具有最小文件编号的全景图像选择作为之后的图像的候选者。如在步骤S22中一样，在步骤S27中，使用压缩/解压缩电路52，控制微计算机55对存储在记录介质51中的压缩全景图像中的先前选择的全景图像之后的全景图像进行解压缩。其后，控制微计算机55将由压缩/解压缩电路52解压缩的全景图像存储在RAM 53中。
在步骤S28中，显示全景图像的提取图像。控制微计算机55指示提取电路54，以从RAM 53读取提取区域中的全景图像的部分。其后，提取电路54放大或缩小全景图像，使得全景图像具有显示单元57的最佳尺寸。当再现高清晰度图像时，术语“显示单元57的最佳尺寸”是指标准格式尺寸，例如1920乘以1080。由显示驱动器56对由提取电路54转换为标准格式尺寸的全景图像进行D/A转换。其后，在显示单元57上显示全景图像的部分。请注意，当在步骤S28中显示第一图像时，使用在步骤S24中计算的全景提取区域。然而，当显示第一图像之后的图像(第二图像或更后的图像)时，使用在步骤S29中计算的区域。
在步骤S29中，对提取图像进行偏移。也就是说，通过控制提取图像的移动量和移动定时，控制微计算机55对在步骤S23中选择的向上、向下、左和右方向之一中的当前选择的提取图像进行偏移。
当在选择的提取图像中包含面部坐标时，控制微计算机55将偏移量减少为小于在正常情况中使用的值。例如，如图12所示，当在选择的提取图像中包含面部坐标74时，控制微计算机55可以在面部坐标74正包含在显示区域75中时延迟偏移定时，从而缓慢地执行滚动显示。以这样的方式，通过在正在显示用户想要观看的图像的同时降低滚动速度，控制微计算机55可以向用户提供有效的观看方法。
另外，为了控制滚动速度，控制微计算机55可以显示各种方法。例如，当正在显示单元57上显示面部的同时，控制微计算机55可以逐渐地降低滚动速度，直到显示屏幕的中心。在显示屏幕的中心之后，控制微计算机55可以逐渐增加滚动速度。可供选择的是，当正在显示单元57上显示面部的同时，控制微计算机55可以逐渐地降低滚动速度和放大面部部位的图像，直到显示屏幕的中心。在显示屏幕的中心之后，控制微计算机55可以逐渐地增加滚动速度和逐渐地缩小面部部位的图像。另外，可供选择的是，当正在显示单元57上显示面部的同时，控制微计算机55可以逐渐地增加滚动速度和放大面部部位的图像，直到显示屏幕的中心。在显示屏幕的中心之后，控制微计算机55可以逐渐地降低滚动速度和逐渐地缩小面部部位的图像。
在步骤S30中，检测全景图像的末端。更具体地说，在步骤S29中对提取坐标进行偏移之后，控制微计算机55确定显示区域是否到达全景图像的向上、向下、左或右端。例如，如果显示区域76到达图13所示的全景图像60的末端(在步骤S30中“真”)，则该处理进入步骤S27，在步骤S27中读取之后的全景图像。然而，如果显示区域76没有到达全景图像60的末端(在步骤S30中“假”)，则该处理进入步骤S25，在步骤S25中，确定是否按下再现停止按钮。
如上所述，根据再现控制设备50，当用户对多个全景图像连续地执行滚动再现时，用户可以在短时间内有效地观看到用户期望的全景图像。
更具体地说，假设在用户开始拍摄图像时用户想要拍摄图3A所示的全景图像25。然而，如图3B所示，紧挨在停止拍摄图像之前，无意地拍摄了被摄体27。在这种情况中，通过适当地改变滚动再现方向或滚动起始点，控制微计算机55可以防止从不想要的被摄体27起滚动再现全景图像26。
另外，根据再现控制设备50，当用户想要有效地删除包含不想要的被摄体或人的图像的图像时，通过沿着与图像拾取方向相反的方向开始滚动显示，可以有效地删除包含被摄体或人的图像。如上所述，当删除了错误摄影(miss shot)时，可以删除整个全景图像，或者可以删除用户指定的局部图像。
此外，根据再现控制设备50，通过在正显示用户想要仔细地观看的图像(例如，面部图像)时降低滚动速度，用户可以不受挫折地欣赏观看全景图像。
根据本实施例的上述系列过程可以通过硬件、软件或二者的组合来执行。在使用软件执行上述系列过程的情况中，可以将描述过程的顺序的程序安装在嵌入专用硬件中的计算机的存储器或可执行各种过程的通用计算机中。随后，可以执行上述系列过程。
例如，程序可以被预先记录在诸如硬盘或ROM的记录介质中。可供选择的是，程序可以被临时或永久地存储(记录)在诸如软盘、CD-ROM(压缩盘-只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘或半导体存储器的可移动盘中。这样可移动盘可以用所谓的封装软件的形式提供。
除了将程序从上述可移动记录介质安装在计算机中之外，还可以按如下的那样将程序安装在计算机上。无线地或者使用网络(例如，局域网(LAN)或因特网)将程序从下载网站传送到计算机。计算机接收传送的程序。因此，可以将程序安装在诸如硬盘的内部记录介质中。另外，实施例中描述的各种过程不仅可以按上述顺序执行，而且可以并行或独立地执行。另外，在本实施例中，术语“系统”是指多个装置的逻辑组合，所述多个装置不必一定包含在一个主体中。
本申请包含与2008年5月20日在日本专利局提交的日本在先专利申请JP 2008-132319中所公开的主题相关的主题，该专利申请的全部内容通过引用而并入本文中。
本领域的技术人员应该理解，根据设计要求和其它因素，可以进行各种变形、组合、子组合和替换，只要它们在所附的保护范围或其等同形式的范围内即可。

Claims (15)

1.一种图像拾取设备，包括：
图像拾取单元，被配置为将通过透镜系统输入的图像转换为图像数据；
拼接单元，被配置为由在从全景图像拍摄开始到全景图像拍摄结束的时间段期间所拍摄的图像的多个图像数据项生成全景图像；
图像拾取方向检测单元，被配置为检测在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的图像拾取方向；
时钟单元，被配置为检测关于全景图像的图像拍摄时间的图像拍摄时间信息；以及
记录单元，被配置为将由时钟单元检测的图像拍摄时间信息和由图像拾取方向检测单元检测的在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的图像拾取方向与由拼接单元生成的全景图像相关联地记录。
2.根据权利要求1所述的图像拾取设备，还包括：
运动矢量检测单元，被配置为检测所述多个图像数据项中的每两个相邻图像数据项之间的运动矢量；
其中，图像拾取方向检测单元基于由运动矢量检测单元检测的所述多个图像数据项中的每两个相邻图像数据项之间的运动矢量，来检测在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的图像拾取方向。
3.根据权利要求1所述的图像拾取设备，其中，时钟单元将图像拍摄开始时间和图像拍摄结束时间检测作为图像拍摄时间信息。
4.根据权利要求1所述的图像拾取设备，还包括：
坐标信息检测单元，被配置为通过提取包含在图像数据中的被摄体的特征来检测被摄体的坐标信息；
其中，记录单元将由坐标信息检测单元检测的坐标信息与由拼接单元生成的全景图像相关联地记录。
5.一种拍摄图像的方法，包括下述步骤：
将通过透镜系统输入的图像转换为图像数据；
由在从全景图像拍摄开始到全景图像拍摄结束的时间段期间拍摄的图像的多个图像数据项生成全景图像；
检测关于全景图像的图像拍摄时间的图像拍摄时间信息；
检测在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的图像拾取方向；以及
将图像拍摄时间信息和在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的图像拾取方向与所生成的全景图像相关联地记录。
6.一种再现控制设备，包括：
记录单元，被配置为将在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的全景图像的图像拾取方向和通过提取全景图像的特征而检测的被摄体的坐标信息中的一个与全景图像相关联地记录，所述全景图像是通过组合由在从全景图像拍摄开始到全景图像拍摄结束的时间段期间拍摄和通过透镜系统输入的多个图像转换而成的多个图像数据项而生成的；以及
滚动方向确定单元，被配置为基于图像拾取方向和坐标信息中的一个确定再现全景图像的滚动方向。
7.根据权利要求6所述的再现控制设备，其中，记录单元将在图像数据中检测的被摄体的面部图像的坐标作为与全景图像相关联的坐标信息记录。
8.根据权利要求7所述的再现控制设备，其中，当图像拾取方向和面部图像的坐标与全景图像相关联时，滚动方向确定单元基于面部图像的坐标确定滚动方向。
9.根据权利要求7所述的再现控制设备，其中，当多个面部图像的坐标与全景图像相关联，并且，记录了与面部图像的坐标相关的权重信息时，滚动方向确定单元基于具有最高权重的面部图像的坐标来确定滚动方向。
10.根据权利要求6所述的再现控制设备，还包括：
滚动起始点确定单元，被配置为基于图像拾取方向和坐标信息中的一个确定开始再现全景图像的滚动起始点。
11.根据权利要求10所述的再现控制设备，其中，记录单元将基于从图像数据中检测的被摄体的面部图像的坐标信息作为坐标信息与全景图像相关联地记录。
12.根据权利要求11所述的再现控制设备，其中，当图像拾取方向和面部图像的坐标与全景图像相关联时，滚动起始点确定单元基于面部图像的坐标确定滚动起始点。
13.根据权利要求11所述的再现控制设备，其中，当多个面部图像的坐标与全景图像相关联，并且，记录了与面部图像的坐标相关的权重信息时，滚动起始点确定单元基于具有最高权重的面部图像的坐标来确定滚动起始点。
14.根据权利要求6所述的再现控制设备，还包括：
滚动速度确定单元，被配置为基于坐标信息确定在再现全景图像时所使用的滚动速度。
15.一种再现控制方法，包括下述步骤：
将在从全景图像拍摄开始到全景图像拍摄结束的时间段期间的全景图像的图像拾取方向和通过提取全景图像的特征而检测的被摄体的坐标信息中的一个与全景图像相关联地记录，所述全景图像是通过组合由在从全景图像拍摄开始到全景图像拍摄结束的时间段期间拍摄和通过透镜系统输入的多个图像转换而成的多个图像数据项而生成的；以及
基于图像拾取方向和坐标信息中的一个确定再现全景图像的滚动方向。
CN200910134299.9A 2008-05-20 2009-04-16 图像拾取设备和方法、再现控制设备和方法 Expired - Fee Related CN101588451B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-132319 2008-05-20
JP2008132319 2008-05-20
JP2008132319A JP4479829B2 (ja) 2008-04-03 2008-05-20 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
CN101588451A true CN101588451A (zh) 2009-11-25
CN101588451B CN101588451B (zh) 2014-12-24

Family

ID=40933964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910134299.9A Expired - Fee Related CN101588451B (zh) 2008-05-20 2009-04-16 图像拾取设备和方法、再现控制设备和方法

Country Status (3)

Country Link
US (2) US8350892B2 (zh)
EP (2) EP2282313A1 (zh)
CN (1) CN101588451B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469242A (zh) * 2010-11-11 2012-05-23 索尼公司 成像设备,成像方法和程序
CN102572258A (zh) * 2010-09-29 2012-07-11 卡西欧计算机株式会社 能再现全景图像的图像再现装置
CN103985103A (zh) * 2013-02-07 2014-08-13 百度在线网络技术（北京）有限公司 一种生成全景图片的方法和装置
CN104243851A (zh) * 2014-09-28 2014-12-24 联想(北京)有限公司 图像生成方法和电子设备
CN105164724A (zh) * 2013-04-30 2015-12-16 三星电子株式会社 在便携终端中生成图像数据的装置和方法
CN108293107A (zh) * 2015-12-02 2018-07-17 佳能株式会社 显示处理装置、显示处理方法和用于执行显示处理方法的计算机可读介质
CN111081199A (zh) * 2014-04-22 2020-04-28 谷歌有限责任公司 选择用于显示的时间分布的全景图像
US11860923B2 (en) 2014-04-22 2024-01-02 Google Llc Providing a thumbnail image that follows a main image

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
US9307165B2 (en) * 2008-08-08 2016-04-05 Qualcomm Technologies, Inc. In-camera panorama image stitching assistance
WO2010025309A1 (en) * 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
JP4623201B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2010187372A (ja) * 2009-01-16 2010-08-26 Panasonic Corp 表示制御装置および撮像装置
US20110310219A1 (en) * 2009-05-29 2011-12-22 Youngkook Electronics, Co., Ltd. Intelligent monitoring camera apparatus and image monitoring system implementing same
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
WO2011014420A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US8947502B2 (en) 2011-04-06 2015-02-03 Qualcomm Technologies, Inc. In camera implementation of selecting and stitching frames for panoramic imagery
US9113064B2 (en) * 2009-11-05 2015-08-18 Olympus Corporation Image pickup apparatus and image acquisition method
JP5493942B2 (ja) * 2009-12-15 2014-05-14 ソニー株式会社 撮像装置と撮像方法
JP4986189B2 (ja) * 2010-03-31 2012-07-25 カシオ計算機株式会社 撮像装置、及びプログラム
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2013015024A1 (ja) * 2011-07-22 2013-01-31 富士フイルム株式会社 パノラマ画像生成方法及び撮像装置
JP2013034081A (ja) 2011-08-02 2013-02-14 Sony Corp 画像処理装置、その制御方法およびプログラム
US8872898B2 (en) 2011-12-14 2014-10-28 Ebay Inc. Mobile device capture and display of multiple-angle imagery of physical objects
US9749524B1 (en) * 2012-05-25 2017-08-29 Apple Inc. Methods and systems for determining a direction of a sweep motion
JP2014116790A (ja) * 2012-12-10 2014-06-26 Samsung R&D Institute Japan Co Ltd 撮像装置
US9602720B2 (en) * 2012-12-10 2017-03-21 Samsung Electronics Co., Ltd. Photographing apparatus
KR101988313B1 (ko) * 2013-01-04 2019-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 및 이의 기록 매체
JP6146278B2 (ja) * 2013-11-28 2017-06-14 株式会社Ｊｖｃケンウッド 画像接合装置、画像接合方法および画像接合プログラム
US20150215532A1 (en) * 2014-01-24 2015-07-30 Amazon Technologies, Inc. Panoramic image capture
KR102206244B1 (ko) * 2014-08-27 2021-01-22 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN204993576U (zh) * 2015-07-21 2016-01-20 杭州海康威视数字技术股份有限公司 摄像机及集成电路板
CN108475103A (zh) 2015-09-30 2018-08-31 惠普发展公司，有限责任合伙企业 交互式显示器
JP6335395B2 (ja) 2015-09-30 2018-05-30 富士フイルム株式会社 画像処理装置及び撮像装置及び画像処理方法及びプログラム
EP3443416A4 (en) * 2016-04-28 2019-03-20 SZ DJI Technology Co., Ltd. SYSTEMS AND METHOD FOR GENERATING A SPHERICAL PANORAMIC IMAGE
JP2017212698A (ja) * 2016-05-27 2017-11-30 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3021556B2 (ja) * 1990-06-20 2000-03-15 ソニー株式会社 映像情報処理装置とその方法
JP3278015B2 (ja) 1994-01-26 2002-04-30 ソニー株式会社 パノラマプリントシステム
JPH114376A (ja) * 1997-06-13 1999-01-06 Olympus Optical Co Ltd 電子的撮像装置
US6215505B1 (en) * 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
JP3055537B2 (ja) 1997-09-03 2000-06-26 カシオ計算機株式会社 電子スチルカメラ及び画像再生方法
JP3931393B2 (ja) 1997-09-04 2007-06-13 ソニー株式会社 カメラ一体型ビデオレコーダおよび撮影方法
JP3928222B2 (ja) 1997-09-09 2007-06-13 ソニー株式会社 画像信号撮像および記録装置および方法
JPH11308618A (ja) 1998-04-17 1999-11-05 Sony Corp 画像信号処理装置及び方法並びに画像信号再生装置
JP2000152168A (ja) * 1998-11-13 2000-05-30 Olympus Optical Co Ltd 画像再生装置
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
US6677981B1 (en) * 1999-12-31 2004-01-13 Stmicroelectronics, Inc. Motion play-back of still pictures comprising a panoramic view for simulating perspective
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
JP2002077800A (ja) 2000-08-29 2002-03-15 Sony Corp 画像信号記録装置、画像信号記録方法、画像信号記録再生装置および画像信号記録再生方法
GB2372658A (en) 2001-02-23 2002-08-28 Hewlett Packard Co A method of creating moving video data from a static image
US20030001863A1 (en) * 2001-06-29 2003-01-02 Brian Davidson Portable digital devices
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
JP4098808B2 (ja) * 2003-01-17 2008-06-11 日本電信電話株式会社 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
FR2867343B1 (fr) * 2004-03-04 2006-06-30 Eastman Kodak Co Procede et appareil de prise de vue pour la production d'epreuves dynamiques
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
JP4293053B2 (ja) 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
US20070103544A1 (en) * 2004-08-26 2007-05-10 Naofumi Nakazawa Panorama image creation device and panorama image imaging device
US20060115185A1 (en) * 2004-11-17 2006-06-01 Fuji Photo Film Co., Ltd. Editing condition setting device and program for photo movie
US20060114327A1 (en) * 2004-11-26 2006-06-01 Fuji Photo Film, Co., Ltd. Photo movie creating apparatus and program
JP4591167B2 (ja) 2005-04-13 2010-12-01 ノーリツ鋼機株式会社 画像処理方法
JP4440164B2 (ja) 2005-04-22 2010-03-24 富士フイルム株式会社 フォトムービー作成装置及びフォトムービー作成プログラム
JP4487872B2 (ja) 2005-07-11 2010-06-23 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
JP2007336422A (ja) 2006-06-19 2007-12-27 Mitsubishi Electric Corp 画像撮影装置
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
JP5100308B2 (ja) 2006-10-27 2012-12-19 株式会社大塚製薬工場 溶存酸素量が低減された薬液収容体
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4862926B2 (ja) 2008-04-03 2012-01-25 ソニー株式会社 再生制御装置及び再生制御方法並びにプログラム
JP4479829B2 (ja) 2008-04-03 2010-06-09 ソニー株式会社 撮像装置及び撮像方法
US8199212B2 (en) * 2008-05-03 2012-06-12 Olympus Imaging Corp. Image recording and playback device, and image recording and playback method

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572258A (zh) * 2010-09-29 2012-07-11 卡西欧计算机株式会社 能再现全景图像的图像再现装置
CN102469242A (zh) * 2010-11-11 2012-05-23 索尼公司 成像设备,成像方法和程序
CN102469242B (zh) * 2010-11-11 2017-03-29 索尼公司 成像设备和成像方法
CN103985103A (zh) * 2013-02-07 2014-08-13 百度在线网络技术（北京）有限公司 一种生成全景图片的方法和装置
CN105164724A (zh) * 2013-04-30 2015-12-16 三星电子株式会社 在便携终端中生成图像数据的装置和方法
CN111081199A (zh) * 2014-04-22 2020-04-28 谷歌有限责任公司 选择用于显示的时间分布的全景图像
CN111081199B (zh) * 2014-04-22 2022-08-16 谷歌有限责任公司 选择用于显示的时间分布的全景图像
US11860923B2 (en) 2014-04-22 2024-01-02 Google Llc Providing a thumbnail image that follows a main image
CN104243851A (zh) * 2014-09-28 2014-12-24 联想(北京)有限公司 图像生成方法和电子设备
CN104243851B (zh) * 2014-09-28 2017-11-03 联想(北京)有限公司 图像生成方法和电子设备
CN108293107A (zh) * 2015-12-02 2018-07-17 佳能株式会社 显示处理装置、显示处理方法和用于执行显示处理方法的计算机可读介质

Also Published As

Publication number Publication date
US20090290013A1 (en) 2009-11-26
CN101588451B (zh) 2014-12-24
EP2128868A3 (en) 2010-05-26
EP2282313A1 (en) 2011-02-09
EP2128868A2 (en) 2009-12-02
US20130195419A1 (en) 2013-08-01
US8350892B2 (en) 2013-01-08

Similar Documents

Publication Publication Date Title
CN101588451B (zh) 图像拾取设备和方法、再现控制设备和方法
TWI399082B (zh) Display control device, display control method and program
CN101931752B (zh) 摄像装置、以及对焦方法
US20080181460A1 (en) Imaging apparatus and imaging method
JP4479829B2 (ja) 撮像装置及び撮像方法
US20020028014A1 (en) Parallax image capturing apparatus and parallax image processing apparatus
JP4732303B2 (ja) 撮像装置
US8767096B2 (en) Image processing method and apparatus
JP5200821B2 (ja) 撮像装置及びそのプログラム
JP3931393B2 (ja) カメラ一体型ビデオレコーダおよび撮影方法
JP2015053741A (ja) 画像再生装置
CN102572232B (zh) 摄像装置以及摄像方法
JP4862926B2 (ja) 再生制御装置及び再生制御方法並びにプログラム
JP2004248171A (ja) 動画記録装置、動画再生装置、及び動画記録再生装置
JP2010237911A (ja) 電子機器
JP4665826B2 (ja) 撮像装置および画像処理プログラム
JP3667065B2 (ja) 撮像記録装置及びその制御方法
JP2009094741A (ja) 撮像装置、撮像方法及びプログラム
KR101480407B1 (ko) 디지털 영상 처리 장치, 이의 제어 방법 및 상기 제어방법을 기록한 기록 매체
JP2000299800A (ja) 撮像方法及び装置並びに記憶媒体
JP2012029119A (ja) 表示制御装置、カメラ、および、表示装置
JP5041050B2 (ja) 撮像装置および画像処理プログラム
JP3059773B2 (ja) 電子スチルカメラの寸法表示システム
JP2009212867A (ja) 撮影画像処理装置、撮影制御プログラム及び撮影制御方法
JP2009021893A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141224

Termination date: 20150416

EXPY Termination of patent right or utility model