CN105141933A - 具有子像素分辨率的薄式照相机 - Google Patents

具有子像素分辨率的薄式照相机 Download PDF

Info

Publication number
CN105141933A
CN105141933A CN201510594311.XA CN201510594311A CN105141933A CN 105141933 A CN105141933 A CN 105141933A CN 201510594311 A CN201510594311 A CN 201510594311A CN 105141933 A CN105141933 A CN 105141933A
Authority
CN
China
Prior art keywords
camera
pixel
sub
lens
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510594311.XA
Other languages
English (en)
Other versions
CN105141933B (zh
Inventor
迈克尔·R·费尔德曼
罗伯特·泰科斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DigitalOptics Corp East
Original Assignee
Tessera North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/763,396 external-priority patent/US7405761B2/en
Application filed by Tessera North America Inc filed Critical Tessera North America Inc
Priority claimed from CN200580008795.XA external-priority patent/CN1934872B/zh
Publication of CN105141933A publication Critical patent/CN105141933A/zh
Application granted granted Critical
Publication of CN105141933B publication Critical patent/CN105141933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0043—Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/52—RGB geometrical arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses

Abstract

一种彩色照相机包括：至少三个子照相机，每个子照相机包括：成像透镜，滤色片，以及检测器阵列。该彩色照相机将来自三个子照相机的图像组合在一起形成多色复合图像，其中该三个子照相机包括总共N个检测器和总共X个不同色组，其中第一色组的信号的第一数目小于N/X，而第二色组的信号的第二数目大于N/X，从三个子照相机的至少两个输出第二色组信号，其中第二色组的复合图像的分辨率高于单独子照相机的分辨率和复合图像的分辨率。可以使同样色组的相应图像关于彼此顺序移位，或者同时移位。

Description

具有子像素分辨率的薄式照相机
本申请是申请号为200580008795.X、申请日为2005年1月26日、发明名称为“具有子像素分辨率的薄式照相机”的专利申请的分案申请。
技术领域
本发明涉及一种薄式照相机。具体地说，本发明涉及一种采用滤色片和/或具有增大的视角的薄式照相机。
背景技术
图1A所示的现有照相机10包括：透镜12，其焦距为f；检测器阵列14，其具有多个像素。为了实现彩色成像，设置了具有某种模式、典型地其绿色滤色片通常比其红色或者蓝色滤色片多的滤色片阵列15。图1B示出滤色片阵列15的例子。该滤色片阵列15中的每个滤色片对应于检测器阵列14内的检测器或者像素。然而，这种照相机较厚。
实现具有足够高分辨率的薄式照相机的一种方法是缩放现有照相机，例如，其透镜的焦距为f的f/1照相机的成像系统。假定在x方向焦平面上具有nx个像素和大小pX的传感器，而在y方向焦平面上具有ny个大小为py的像素。因此，在x方向，分辨率被定义为1/px，而在y方向，分辨率被定义为1/py。如果可以利用要求的缩放比降低px和py，则可以使nx和ny保持相等，如上所述，因此，可以减小f，同时维持分辨率不变。然而，可用性和/或者当前传感器的价格限制了这样减小像素的尺寸。此外，这种缩小的系统内没有足够的电源。
另一种解决方案是采用复眼捕像，其透镜的大小取决于要求的照相机的厚度。复眼内每个透镜对应于多个像素，同时，选择复眼，以使各透镜之间的间距不是像素之间间距的整数倍。因此，各透镜分别盯着不同的漂移图像。通常，复眼捕像系统中采用的透镜的分辨率低，例如，具有等于或者大于每个像素的面积的PSF。通过将来自多个照相机的图像组合在一起，可以实现比单独的子照相机的分辨率高的分辨率。关于该解决方案，图1C所示的滤色片阵列15’具有用于每个透镜的滤色片。对每种颜色应用多个透镜，因此，将每种颜色的图像组合在一起。然而，采用复眼捕像计算工作集中，并且对于整个复合图像，难以实现等于或者接近传感器阵列内的像素数目的分辨率。
发明内容
因此，本发明涉及一种薄式照相机，它基本上克服了因为现有技术的局限性和缺陷存在的一个或者多个问题。
通过提供一种彩色照相机可以实现本发明的优点和特征，该彩色照相机包括：至少三个子照相机，每个子照相机包括：成像透镜、滤色片以及检测器阵列。将来自至少三个子照相机的图像组合在一起形成多色复合图像。该至少三个子照相机包括总共N个检测器和总共X个不同色组，其中第一色组信号的第一数目小于N/X，而第二色组信号的第二数目大于N/X，该至少三个子照相机中的至少两个子照相机输出第二色组信号，其中第二色组复合图像的分辨率高于单独的子照相机的分辨率，而且第一色组的复合图像的分辨率不高于单独的子照相机的分辨率。
与色组相关的滤色片基本相同。使第一子照相机输出的第二色组的第一图像相对于第二子照相机输出的第二色组的第二图像移位。第一子照相机包括用于使第一图像移位的装置。用于使第一图像移位的装置包括位于成像透镜与检测器阵列之间的孔径。用于使第一图像移位的装置包括用于使第一子照相机的成像透镜的中心从第二子照相机的成像透镜偏离检测器阵列中的检测器尺寸的非整数倍的量的装置。用于使第一图像移位的装置包括用于使第一子照相机的成像透镜的中心沿第一方向从第二子照相机的成像透镜偏离检测器阵列中的检测器尺寸的非整数倍的装置以及位于成像透镜与检测器阵列之间用于沿着第二方向屏蔽光的孔径。
该彩色照相机可以包括用于在子照相机内顺序移位图像的装置。用于顺序移位的装置包括压控液体透镜。
在每个成像透镜的顶部设置与色组相关的滤色片。每个子照相机可以进一步包括位于成像透镜与检测器阵列之间的另一滤色片。该彩色照相机可以进一步包括位于相邻成像透镜之间的屏蔽元件。该屏蔽元件可以是锥形的，其较宽部分靠近成像透镜，而向着检测器阵列越来越窄。每个成像透镜可以分别包括位于基底的第一表面上的折射元件和另一个位于该基底的第二表面上的透镜元件。另一透镜元件可以是衍射元件。每个成像透镜可以分别包括位于第一基底的第一表面上的折射元件和另一个位于第二基底的第二表面上的透镜元件。可以将第一和第二基底固定在一起。第一色组图像的分辨率基本上可以等于子照相机的分辨率。第二色组可以包括绿色光或者亮度信息。每个子照相机可以分别与一个色组相关。
通过提供一种彩色照相机可以实现本发明的优点和特征，该彩色照相机包括：可电控透镜；至少三个色组；成像透镜；检测器阵列，其用于从成像透镜接收至少三个色组的图像；以及处理器，该处理器从检测器阵列接收电信号，顺序提供对可电控透镜施加的控制信号，以使该检测器阵列上的图像移位，从而根据来自检测器阵列的电信号形成复合图像。
该处理器可以改变并顺序提供控制信号，直到达到要求的复合图像分辨率。第二色组可以包括亮度信息，而第一色组可以包括色度信息。
通过提供一种彩色照相机可以实现本发明的优点和特征，该彩色照相机包括：至少三个子照相机，每个子照相机分别包括：成像透镜、滤色片以及检测器阵列。该彩色照相机还将来自至少三个子照相机的图像组合在一起形成多色复合图像，该彩色照相机进一步包括至少一个位于第一检测器关于到用于基本上接收同样波长的相应第二检测器的光路径中的不同光学元件，从而使多色复合图像的分辨率提高到高于单独的子照相机的分辨率。
该不同光学元件可以是用于屏蔽第一检测器内的光的掩模，其中第一检测器的掩模的形状与第二检测器的掩模的形状不同，第二检测器可以没有掩模。第一和第二子照相机具有基本相同的滤色片，而且第一和第二检测器分别位于第一和第二子照相机内。第一和第二子照相机可基本上仅透射绿色光或者仅发送亮度信息。第一和第二子照相机可以互相相邻。
通过提供一种彩色照相机可以实现本发明的优点和特征，该彩色照相机包括：至少三个子照相机，每个子照相机分别包括：成像透镜、滤色片以及检测器阵列。该彩色照相机可以将来自至少三个子照相机的图像组合在一起形成多色复合图像，该至少三个子照相机中的至少两个子照相机的每一个产生具有基本相同色谱的图像(至少两个具有基本相同色谱且在其间存在不同的图像)，从而提供具有基本相同色谱的复合图像的分辨率高于各子照相机的分辨率，不具有该基本相同色谱的彩色图像的分辨率低于该复合图像的分辨率。
附图说明
通过参考附图详细说明本发明实施例，本发明的上述以及其他特征和优点对于本技术领域内的技术人员显而易见。
图1A是现有照相机的成像系统的示意性侧视图；
图1B是用于图1A所示现有照相机的现有滤色片阵列的平面图；
图1C是另一种现有滤色片阵列的平面图；
图2A是根据本发明实施例的照相机内的成像系统的透视图；
图2B至2D是根据本发明实施例的滤色片的平面图；
图2E是根据本发明实施例的微型照相机内采用的宏像素/微像素的示意性分解侧视图；
图3A和3B是根据本发明其他实施例的立另外的滤色片的平面图；
图4A-4D是根据本发明的系统内的不同屏蔽单元的示意性侧视图；
图5是包括位于各透镜附近的掩模的本发明实施例的示意性侧视图；
图6是本发明又一个实施例的示意性侧视图；
图7A是用于本发明的专用透镜系统的示意性侧视图；
图7B是图7A所示透镜系统的示意性透视图；
图8A是根据本发明实施例的子照相机排列的示意性顶视图；
图8B是图8A所示子照相机的移位图像的示意性顶视图；以及
图9是用于本发明的照相机的液体透镜的示意性侧视图。
具体实施方式
下面将参考附图更全面说明本发明，附图示出本发明的优选实施例。然而，可以以不同的方式实现本发明，而不应该认为本发明仅限于在此描述的实施例。相反，提供这些实施例是为了使该公开更彻底和全面，并将本发明原理完全传达给本技术领域内的技术人员。在附图中，为了清楚起见，对各层和区域的厚度进行了放大。还应该明白，在称一层位于另一层或者基底“上”时，它可以直接位于另一层或者基底之上，也可以存在中间层。此外，还应该明白，在称一层位于另一层“下”时，它可以直接位于下面，也可以存在一个或者多个中间层。此外，还应该明白，在称一层位于两层“之间”时，它可以是两层之间的唯一层，也可以存在一个或者多个中间层。在该说明书中，同样的参考编号表示同样的单元。
成像系统中使用的参数是系统的f/#，其中f/#＝f/D，其中f是焦距，而D是透镜孔径的大小。在制造薄式照相机的过程中，尽管对现有照相机保持相同的f/#，但是在f减小时，需要D的补偿性降低。
图2A示出根据本发明实施例的薄式照相机的一般结构。薄式照相机20包括：成像透镜阵列(ILA)22、滤色片25以及检测器阵列24。检测器阵列24可以与现有照相机中的检测器阵列相同，而且可以包括微透镜阵列，其中微透镜与每个像素对应，以改善填充率。如图2A示出的特定例子所示，在现有单个透镜的焦距减半时，D也被减半，因此，F#保持不变。为了与现有照相机具有相同视场，采用2×2阵列的透镜22a至22d，同时，每个透镜分别对准传感器平面面积的四分之一。透镜22a至22d、滤色片25a至25d以及检测器阵列24的相应部分的每种组合构成子照相机。因此，对于图2A所示的实施例，总共有四个子照相机。将分别来自四个子照相机的每一个的图像提供到处理器30，在处理器30以公知的方式将它们组合在一起，以形成复合彩色图像。可以将滤色片25设置在照相机前面与传感器平面之间的任意位置。
在此，几种因素的组合决定阵列中的透镜或者子照相机的数目，而不仅仅是薄度的影响。首先，通常，所使用的透镜越多，照相机越薄。然而，本发明实施例的特征是实现复合图像等于图像传感器内的像素总数，或者与图像传感器内的像素总数可比较的分辨率，而无需进行大量信号计算处理过程。为了实现该目的，光学上的点分布函数(PSF)优选地小于传感器上的像素的间距。所使用的透镜越多，越难以恢复传感器的整个分辨率。例如，如果传感器含有一百万个像素，假定使用2×2的ILA，则来自每个子照相机的图像的分辨率是250,000像素。然而，本发明实施例的特征是以一百万或者接近一百万的分辨率产生复合图像，这意味着，分辨率约提高了四倍。对于2×2的ILA，透镜的尺寸和子照相机的相应厚度是现有单透镜照相机的一半，而与复眼照相机相比，计算要直接得多。最后，可以在ILA与检测器之间设置固体光路径，即，它们之间没有气隙。这样在其折射率高于空气的材料内聚焦，而且ILA的每个透镜的衍射受限点的尺寸被减小。
图2B-2D示出要采用的滤色片25的典型实施例。滤色片25可以具有对应于每个透镜22a至22d的不同滤色片25a至25d，如图2B所示。具体地说，滤色片25a可以透射红色(R)光，滤色片25b和25c可以透射绿色(G)光，而滤色片25D可以透射蓝色(B)光。由于每个透镜分别捕获整个图像，所以通过组合来自每个子照相机的图像，可以获得复合图像。复合图像的分辨率高于单独的子照相机的分辨率。例如，在现有的一兆像素中，即，一百万像素中，照相机具有250,000蓝色像素、250,000红色像素和500,000绿色像素。每个像素分别采样该图像的不同部分发出的光。然而，通常，通过进行内插产生一百万个完整的彩色像素。如果每个照相机上的每个像素均相同，则该信息存在250,000红色像素，250,000蓝色像素和500,000绿色像素，对于每个绿色子照相机250,000个绿色像素。因此，对于红色和蓝色，与现有的一兆像素照相机具有同样多的单独信息采样，但是对于绿色，比现有的一兆像素照相机的单独信息采样少，因为两个绿色子照相机相同。
在本发明的一个实施例中，通过在检测器平面附近设置孔径，将两个绿色照相机互相区别开。通过在该像素的不同位置设置孔径，这两个绿色子照相机采样该图像的不同部分，因此，产生500,000个信息采样，而非250,000个信息采样。还有几种方式可以这样增加信息。允许两个绿色照相机内不同组采样的任意方法可以这样增加信息。其他技术包括，在一个关于其他照相机稍许移位的绿色照相机的传感器平面上产生图像，而且组合使用孔径和移像。
如果采用孔径，则实现此的一种方法是利用典型CMOS图像传感器内固有的自然光屏蔽层。CMOS图像传感器通常具有嵌入式电路系统，它们屏蔽入射到每个像素上的光的主要部分。例如，每个像素25％至70％的面积通常被该电路系统屏蔽。在现有照相机中，通常，利用微透镜阵列(MLA)提高每个像素捕获光的效率。在现有方法中，MLA中透镜之间的间隙等于CMOS传感器芯片上像素的间隙，即，对于每个像素存在一个微透镜。该方法通常可以使每个像素的光捕获效率约提高75-85％。根据本发明实施例，实现光屏蔽孔径的一种方式是在含有绿色滤色片的子照相机内仅采用CMOS传感器芯片而不采用微透镜。只要对于各像素，两个绿色图像不具有相同的记录，则两个绿色照相机将采样处于不同位置的图像，即，这两个绿色照相机产生不同的数据。如果关于像素，两个绿色照相机的图像的确具有相同的记录，则在图像传感器芯片上修改电路设计，使得在第一绿色子照相机内与在第二绿色子照相机内，该电路系统屏蔽不同区域内的光。
除了利用集成在CMOS芯片上的层屏蔽部分光之外，还可以利用特定MLA使每个像素检测到的部分图像移位。例如，可以这样设计MLA，以致每个微透镜分别稍许偏离每个像素的活动区的中心。在这种情况下，该图像的稍许不同部分聚焦在这两个绿色照相机的传感器的活动区上。
请注意，MLA可以对一个照相机提供一个移位，而对另一个照相机提供不同的移位。或者，子照相机内的每个微透镜可以对每个像素提供稍许不同的移位，从而对于要求的物距范围内的整个物距范围，保证两个绿色子照相机内的相应绿色像素接收不同的信号。
因此，最终结果是采用四个子照相机，即，一个子照相机是红色的，一个子照相机是蓝色的，而其他两个子照相机是绿色的。因此，在形成复合图像时，复合图像的红色和蓝色分辨率与该子照相机相同。然而，提高绿色复合图像的分辨率，以超过单独的照相机的分辨率，这样将来自这两个单独照相机的信息组合在一起形成较高分辨率的复合图像。
如上所述，不需要提高红色和蓝色子照相机的分辨率。然而，在某些情况下，对绿色、红色和蓝色照相机采用如上所述的孔径和/或移像，例如，对红色和蓝色子照相机在稍许不同位置采样图像是有利的。
由于每个透镜捕获整个图像，所以对于全色，可以将这些彩色图像组合在一起，同时其分辨率是现有滤色片/像素排列的分辨率的两倍，即，简单地采用Bayer模式。
作为选择的，如图2C所示，可以对每个透镜22a-22d分配不同的图形化滤色片25aa至25dd，每个透镜分别与4×4滤色片阵列相关。由于R和B滤色片的位置处于4×4阵列的不同象限，而且每个透镜捕获整个图像，所以可以获得彩色图像。此外，由于存在两倍的G滤色片，其占据每个象限两次。
作为另一种选择，如图2D所示，可以采用现有的滤色片R-G-B滤色片图形，其中每个像素具有互相相关的滤色片。在这种情况下，如果每个照相机捕获传感器平面上的相同图像，则对于每个照相机，需要R、G和B滤色片的位置处于不同位置。在图2B-2D所示的任意实施例中，四分之一的像素产生N/4个红色采样点，四分之一的像素在该图像内产生N/4个蓝色采样，而一半的像素产生N/2个绿色采样。可以采用上面任意一种方法保证N/2个绿色采样基本独立。
在上面的实施例中，存在四个照相机。在第一实施例中，每个子照相机图像仅具有一个颜色。在另外两个实施例中，每个子照相机存在多个滤色片。然而，在所有实施例中，对于复合图像中的每个像素，存在四种相应像素采样，一个蓝色、一个红色和两个绿色。在所有这些方法中，这些像素采样的每一个源于不同的子照相机。在第一种方法中，所有红色像素源于一个子照相机。在其他方法中，对于不同的像素，分别从不同的子照相机获得红色像素信息。在成像范围相对接近照相机，而物距的目标范围相当大时，一个优点是对每个子照相机提供多种颜色。根据物体离开照相机的距离，传感器上的图像存在稍许移位。在某些图像位置，对于特定区域，两个绿色照相机的信号可能大致相同。如果情况如此，则从更多的照相机获得绿色图像可以提高图像的分辨率。
图2B-2D所示的任意滤色片均可以与像素的掩模组合在一起，如图2E所示。例如，这种掩模可以具有nxny个大小为dxdy的宏像素34，其中每个传感器36对应一个宏像素34。每个宏像素34用作滤色片，而且具有特征32。每个宏像素位于ILA22和包括多个传感器36的检测器阵列24(如图2A所示)之间。宏像素尺寸dxdy可以等于或者大于该像素或者传感器尺寸pxpy。通过每个宏像素透射的全部或者大部分光被引导到相应传感器。在宏像素上，每个宏像素的透射率可能变化。通过将该宏像素划分为微像素，可以描述透射率的变化，每个微像素的透射率可以是一致的。每个宏像素34具有m个大小为q的微像素32。更一般地说，在x方向有mx个大小为qx的微像素32，而在y方向有my个大小为qy的微像素。因此，入射到每个传感器36上的功率等于相应宏像素34上的所有微像素32上的每个微像素32上的功率乘以微像素的透射率的总和。
每个微像素32可以是打开的，也可以是闭合的，即，透射率是1或者0，而且仅每个宏像素34中的mx×my个微像素32之一可以是打开的。对于这种情况，考虑到mx＝my＝10，所以对每个宏像素34给定100个微像素32。此外，考虑到与现有照相机具有相同的传感器尺寸，即，20×20微米，而且f/1透镜具有400微米聚焦。因此，该透镜的大小也是400微米，例如，如果它是球形的，则该透镜具有400微米的直径，而如果它是方形的，则该透镜具有400微米的宽度。由于要阵列排列该照相机，所以希望将传感器元件36的尺寸限制在与透镜的尺寸大致相同的范围内，以致在该阵列内的各透镜之间不存在死区。这样在直径方面将传感器阵列的尺寸限制在接近400微米，因此，传感器36的数目被限制为20×20的阵列。在这种情况下，该照相机的分辨率等于1/qx×1/qy。然而，结果是采样的图像，即，该图像含有200×200像素图像的20×20采样。
通过形成微照相机阵列，可以得到其余像素，每个微照相机分别包括微透镜22a、多个传感器36以及多个具有特征32的宏像素34。x方向上的微透镜的数目I可以与y方向上的不同，即，Ix和Iy可以不同。宏像素34可以位于微照相机的图像平面上。选择的该像素的尺寸px、py以及图像平面上的图像的尺寸确定宏像素34和传感器36的数目nx、ny。所有这些元件可以是单一器件，其中单独的微透镜22定义该微照相机30。尽管对于每个宏像素，上面的例子具有大小为q的打开的微像素，但是只要存在用于观看该图像的每个部分的照相机的nxny个传感器，其中滤色片具有要求的最小特征尺寸q的特征，则可以实现要求的分辨率。通过组合上面的滤色片，所需的子像素是如上所述提高分辨率所需子像素的一半。
作为一种选择，为了使每个宏像素具有移位的单一微像素，可以对每个宏像素打开多个孔或者微像素。如上所述，在打开微像素阵列内的所有微像素时，不屏蔽到宏像素的光。如果仅打开一个微像素，则在相应宏像素上可以实现要求的分辨率。因此，微照相机可以以各种方式分解该图像，只要捕获了每个宏像素的所有信息。每个宏像素的尺寸与每个微像素的尺寸之比可以与该薄式照相机内的微照相机的数目成正比。某些微像素阵列允许宏像素内的所有光通过，这样获得该宏像素光强的平均值。通常，大多数宏像素至少有一半微像素是打开的。此外，灰度级方法可以对每个微像素指定在各微像素之间不同的透射率。因此，不将该宏像素称作打开的和闭合的，该宏像素可以接收一些程度的透射。例如，在大多数宏像素中，至少20％的微像素具有高于0.4的透射率。
对于小f/#透镜，在要求的视野内，难以提供衍射限制图像。在这种情况下，有时比较容易使光聚焦在曲面上。以这种方式，可以将透镜阵列的背面蚀刻为以每个透镜为中心的曲面。或者，以接近曲面的一系列分离的环的方式蚀刻该背面。然后，在该曲面或者其他非平面上设置孔。在该曲面或者其他非平面上设置孔有助于保证在大区域内衍射限制该图像。
图3A和3B示出用于实现彩色图像的其他变换例。假定采用四个透镜，滤色片35可以包括区域35a至35d。在图3A所示的实施例中，在每个像素区内至少提供两种颜色。区域35a透射所有光，即，没有滤色片，区域35b透射红色和绿色，区域35c透射蓝色和绿色，区域35d透射红色和蓝色。可以删除区域35d，因为由其他区域实现绿色为主色。如果采用全部四个区域，则仅通过从区域35a的相应像素减去区域35c内的像素的功率，确定红色值。同样，还可以获得其他颜色的值。因此，实现全色仅需要三个透镜和相关滤色片，同时保持绿色为主色。这样还可以增加入射到检测器平面上的光量。例如，利用现有滤色片，透射25％的红色光、25％的蓝色光和50％的绿色光。利用上述三个滤色片，透射约67％的红色光、67％的蓝色光和100％的绿色光。如果每个检测器上入射相同量的功率，则可以屏蔽大多数透射滤色片中的某些光，以如上所述实现移位，同时使检测器具有同样的增益。
另一个变换实施例采用图3B所示的滤色片37，该滤色片37采用由联合图像专家组(JPEG)建立的格式。此外，假定使用四个透镜，则滤色片37可以包括区域37a至37d。如图3B所示，两个区域35a、35d具有Y滤色片，区域35b具有R滤色片且区域35c具有B滤色片。根据JPEG标准，YUV滤色片根据下面的等式(1)透射：
Y＝0.299R+0.58G+0.114B
U＝B-Y
V＝R-Y(1)
因此，图3B所示的滤色片37可以确定YUV分量。Y滤色片透射的信号作为亮度。如果需要透射更多的光，则可以使Y滤色片透射的光的比例保持不变，同时在其余滤色片保持不变的情况下，通过几乎所有的绿色光、约0.51的红色光以及约0.2的蓝色光。
通常，JPEG编码具有较高的Y采样数目。该事实可以用于提高照相机的分辨率。例如，通过在不同的Y区域上提供不同的信息，可以改进分辨率。通过屏蔽某些光、使图像移位或者其组合，可以提供这种不同信息。如果ILA的点分布函数(PSF)小于像素尺寸，则通过使Y区域之一的光聚焦在检测器阵列的平面中的金属或者其他不透明材料上，以屏蔽某些光，这导致两个Y区域的图像之间的不同。这也可以通过删除与每个像素相关的微透镜，从而接收变更的图像来实现。为了获得移位图像，可以使ILA内的适当透镜，或者用于该检测器的微透镜移位，即，偏轴。因此，Y图像的分辨率确定复合图像的分辨率，而其他彩色图像具有较低分辨率。此外，由于与其他滤色片相比，Y滤色片允许通过更多的功率，所以对于该滤色片，可以屏蔽光，同时使检测器阵列上的功率均衡。
对于红色、蓝色和绿色配置，可以对绿色滤色片采用同样的方法。此外，可以在两个Y区域内采用移位和/或屏蔽。此外，利用上述孔径可以实现屏蔽。最后，可以利用蓝色图像和红色图像的彼此移位提高这些图像的分辨率。
增加ILA内的小透镜的数目意味着串扰成为更严重的问题。可以利用位于透镜本身之间的或者位于透镜与检测器平面之间的、用于使光与各个透镜隔离的屏蔽元件，将该串扰降低到最小，如图4A-4D所示。这种屏蔽元件可以是不透明或吸光性的。这些屏蔽元件可以附加到该系统内的现有挡板上，或者代替其。尽管保持检测器尺寸不变，但是可以减小透镜尺寸，以保持f/#不变，而且透镜之间的空间可以包括如图4A、4B和4D所示的屏蔽元件。除了减小聚焦并保持该系统的f/#不变之外，利用具有低填充率的较小透镜(例如，小于该传感器的面积的70％的所有透镜的通光孔径的面积之和)还可以降低串扰、增大视野。尽管透镜的填充率小于100％，但是该检测器仍具有100％的填充率。
如图4A所示，在检测器阵列44上，屏蔽元件46位于ILA的透镜42之间。这样可以使较小的透镜用于相同的检测器阵列44。注意，在检测器阵列44内，感测区域不是连续的，即，在各感测区域之间存在死区。屏蔽元件46防止杂散光照射在检测器阵列44上。
如图4B所示，锥形屏蔽元件50位于相邻透镜42之间，而且位于透镜42与检测器平面44之间。这些锥形屏蔽元件50可以延伸到检测器平面44，以尽可能多地屏蔽串扰，而不会不必要地屏蔽需要的光。
如图4C所示，即使在透镜42不分离时，仍可以利用具有高纵横比而且靠近检测器平面44的屏蔽元件52降低串扰。这尤其可以用于屏蔽偏轴照射。
如图4D所示，在用于在检测器平面44成像的光学系统内，透镜42可以仅是一个元件。例如，透镜可以形成在基底60上，其中其它光学元件64，例如，衍射或者折射光学元件位于基底60的背面。此外，或者作为一种选择，还可以设置含有光学元件的其它基底。此外，屏蔽元件可以包括第一屏蔽部分64和第二屏蔽部分66。在此，与检测器平面44相比，第一屏蔽部分64更靠近透镜42，而且第一屏蔽部分64比第二屏蔽部分66厚，第二屏蔽部分66更靠近检测器平面44。在这种情况下，可以利用不同于图4B所示结构的锥形结构将串扰降低到最小。
除了在基底60的背面具有另一光学元件，或者代替位于基底60的背面上的另一光学元件，如上所述，可以在该平面上设置掩模68，如图5所示。因为它们在同一个基底60上，可以轻而易举地使透镜42与掩模62对准。可以采用包括用于在检测器平面44上成像的其他光学元件72的附加基底70。在此，由于掩模没有位于光学元件72与检测器平面44之间，所以光学元件72的质量可以不好，例如，具有像差，同时采集所有光。与使掩模68对准检测器平面44相比，可以非常轻而易举地在同一个基底60上使掩模68对准透镜42。此外，这样还降低了透镜42与检测器平面44之间的对准要求。
图6示出用于降低串扰的实施例的另一个例子。在此，ILA的透镜42覆盖对应于位于ILA与检测器平面44之间的滤色片84的滤色片82。换句话说，滤色片82的单独滤色片82a、82b与滤色片84的单独滤色片84a、84b匹配。假定相邻滤色片透射不同颜色，通过对位于到子照相机的输入端的颜色和位于ILA与检测器平面44之间的颜色进行滤色，降低串扰。滤色片82不必位于透镜42的顶部，而且可以位于它们的下面，只要其可以屏蔽进入ILA的一个透镜的光进入ILA的另一个透镜的光径。此外，滤色片84可以直接位于该检测器上，或者位于MLA之前或者之后。
图7A和7B示出用于本发明的ILA的透镜的具体例子。在图7A和7B内，不同的光径对应于来自物体的不同场点(fieldpoint)。第一基底110具有第一折射面112，它使输入其内的光准直。第一基底的第二表面114可以是平面，而且可以在其上包括红外滤色片115。第二基底120的第一表面122可以在其上具有衍射元件123，它对色差和像差进行校正。如果每个子照相机具有单一的滤色片，则单一的衍射元件123可以用于每个子照相机。第二表面124可以具有用于使光线聚焦的第二折射面。第三基底130可以在其中具有折射凹面132。凹面132加宽像场，以致所有像点聚焦在同一个平面135上，从而在检测器阵列24上成像。
在上述实施例中，为了提高分辨率，两个绿色子照相机的成像过程应该接收不同的图像。如果物体位于无穷远，则零频率像素位于每个透镜的中心。因此，为了实现要求的像移，可以使ILA内的各透镜相对彼此移位像素的整数倍加1/2个像素。换句话说，如下给出ILA内的相邻透镜的中心到中心的间距P：
P＝(N+1/2)*X(2)
其中x是像素间隙，而N是整数。例如，如果ILA内的每个透镜的直径为1mm，x是10微米，而n选择150，因此，中心到中心的间距P是1.505mm。
如果物体不位于无穷远，则位于透镜之一的中心下面的图像像素不位于相邻透镜的中心下面。相反，它移位数量s，下式给出s：
s＝P*di/do(3)
其中di是像距，对于大多数应用，约等于透镜的聚焦，即，在R＝do/di大于10时，并且do是物距。在焦距是2mm，而且假定像素间隙x是10微米时，对于从无穷远到约3m距离的物距，像移s保持小于像素的十分之一。然而，如果像素间隙x降低到3微米，则在物距是3时，s是1/3像素的三分之一。
尽管图像位于子照相机像素上的相对不同的位置，但是根据该物距，在产生复合图像时，不出现组合错误像素方面的问题。可以利用相对简单的图像处理算法确定由不同子照相机产生相关图像所需的移位量。然而，在像移较接近像素的整数倍，而非整数加1/2倍的物体位置，这样的内插成为问题，因为这种移位导致图像之间的偏差小，或者没有偏差。
如果需要宽物距范围，则保证具有相同或者类似滤色片的照相机产生不同图像的一种方式是在其光径上设置不同的光学元件。例如，可以在检测器平面上采用孔径，即，光屏蔽区。例如，图8B示出保证两个绿色子照相机G1和G2上具有不同信号的一种方法。在该实施例中，G1子照相机没有孔径。因此，G1照相机的MLA几乎聚焦传感器平面上入射到像素的活动区上的传感器像素上的所有光。在G2照相机上，屏蔽每个像素上的部分光。在图8B所示的例子中，孔径140屏蔽位于每个像素左半部分的光。此外，在y方向，互相之间非常靠近布置G1照相机和G2照相机的透镜中心。即，使y方向上的透镜中心的中心坐标少量移位，例如，对于x＝3微米，移位0.5像素，或者1.5微米。由于y移位如此小，所以在非常宽的物距范围内，y方向上的图像位置的移位也非常小。例如，如果y移位是1/3像素，则根据等式(3)，只要R>4，则从R＝4到R＝无穷远移位s的变化小于1/2像素。因此，对于宽物距范围，可以保持在y方向具有已知几分之一像素的移位，从而保证两个绿色照相机采样位于不同y位置的图像。这样保证可以利用两个绿色照相机进行成像以提高y方向的分辨率的性能。在图8B中，G2照相机内的像素145表示该产生的移位。
此外，为了提高x方向上的分辨率，在G2照相机上利用孔径屏蔽引到在G2照相机的每个像素的左侧上的光。随着物距的改变，两个子照相机上的图像在x方向上的相对移位也发生变化。利用一个子照相机上的孔径，而不利用另一个子照相机上的孔径，或者利用两个子照相机上不同形状的孔径，对于x方向上的任意移位，只要确定了相对移位，就可以提高x方向上的分辨率。例如，如果两个照相机上的信号一致，则通过使G1照相机上的信号减去G2照相机上的信号，可以确定每个像素左侧的信号，这是因为G2信号本身返回每个像素右半部分的平均值。如果图像移位1/2像素，则G2信号返回每个像素的左半部分，而且减法运算产生每个像素的右半部分。如果图像移位1/4像素，则G2信号范围位于G1信号的采样之间的中点的信号。如果图像移位3/4像素，则在x方向，G1和G2信号的中心对准。然而，通过减去相应G1像素和G2像素和利用内插算法，可以再一次提高分辨率。例如，对于第i像素，如果G2信号减去G1信号，则结果是左1/4像素和右1/4像素的和。通过使左1/4像素值接近于先前像素的右1/4像素值，或者其最靠近的相邻采样的加权平均数相同，可以确定右1/4像素值。
该实施例保证在x方向和y方向，G1子照相机和G2子照相机内的每个像素的中心位于不同位置。例如，如果在G1子照相机内存在N/4个像素，而在G2子照相机内存在N/4个像素，则存在N/2个唯一绿色图像。例如，在图8A中，可以沿y方向偏移红色和蓝色照相机R、B的透镜。可能产生不同物距导致整数倍像素移位的上述问题。然而，由于较高的分辨率通常在绿色比在红色和蓝色明显，所以不用关注分辨率的这种降低。如果如此，则同样可以在红色子照相机或者蓝色子照相机采用孔径。此外，在采用结合图3B描述的Y、U、V子照相机时，也可以采用上述解决方案。
保证不同图像的另一种解决方案是对整个照相机20采用液体透镜150，如图9所示。液体透镜150包括透明的导电液体152，通过对它施加电压V接通它。利用弱液体透镜，即，聚焦能力小的液体透镜，可以利用该液体透镜微调照相机的焦距。随着液体透镜150的焦距发生变化，照相机20的组合焦距也发生变化，从而实现自动对焦。由于照相机20的子照相机的透镜偏离该液体透镜的中心，所以液体透镜焦距的微小变化均使传感器阵列上的图像位置发生移位。因此，如果处于两个子照相机产生相同图像的物距，则可以施加电压，以使该图像的位置发生位移。
此外，或者作为一种选择，通过利用液体透镜从子照相机的每个像素产生多个信号，可以获得高得多的分辨率。例如，采样了初始图像后，可以对液体透镜150施加电压，以使该图像位移1/4像素。然后，再采样该图像。可以重复进行位移和采样，以对每个传感器产生要求数目的采样。例如，通过进一步位移1/4像素和3/4像素，可以获得4个采样。利用采用Bayer滤色片图形的单一子照相机，还可以以后者的方式使用液体透镜150，其中该液体透镜的中心在一个或者两个方向相对于该子照相机发生偏移。因此，不是同时实现，而是顺序实现为了提高分辨率采用的移位。
在此对本发明的实施例进行了说明，而且尽管采用了特定术语，但是仅以一般意义和说明性意义使用和解释它们，而没有限制性意义。例如，尽管全篇采用了现有的红色、绿色和蓝色或者YUV的三个彩色分量，但是可以采用可以实现全色成像的任意适当三个彩色分量。此外，尽管对ILA描述了圆形透镜，但是也可以采用具有较高填充率、允许较高装填密度的其他形状，例如，六角形透镜。此外，尽管为了在子照相机上提供具有相同颜色的不同图像，描述了不同孔径，但是也可以采用提供该差异的其他光学元件。例如，对于不同的子照相机，像素本身的活动区的形状可以不同。因此，本技术领域内的普通技术人员明白，在不脱离下面的权利要求所述的本发明实质范围的情况下，可以在形式和细节方面进行各种修改。

Claims (1)

1.一种彩色照相机，其中，组合器包括至少一个不同光学元件，相对于接收基本同样波长的相应第二检测器，该至少一个不同光学元件位于第一检测器的光路径中，从而使多色复合图像的分辨率提高到高于单独的子照相机的分辨率，其中该不同光学元件是用于在第一检测器内屏蔽光的掩模，其中第一检测器的掩模的形状与第二检测器的掩模不同。
CN201510594311.XA 2004-01-26 2005-01-26 具有子像素分辨率的薄式照相机 Active CN105141933B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US10/763,396 US7405761B2 (en) 2003-10-01 2004-01-26 Thin camera having sub-pixel resolution
US10/763,396 2004-01-26
US56027304P 2004-04-08 2004-04-08
US60/560,273 2004-04-08
US10/949,807 US7773143B2 (en) 2004-04-08 2004-09-27 Thin color camera having sub-pixel resolution
US10/949,807 2004-09-27
CN200580008795.XA CN1934872B (zh) 2004-01-26 2005-01-26 具有子像素分辨率的薄式照相机

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200580008795.XA Division CN1934872B (zh) 2004-01-26 2005-01-26 具有子像素分辨率的薄式照相机

Publications (2)

Publication Number Publication Date
CN105141933A true CN105141933A (zh) 2015-12-09
CN105141933B CN105141933B (zh) 2018-12-04

Family

ID=35060146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510594311.XA Active CN105141933B (zh) 2004-01-26 2005-01-26 具有子像素分辨率的薄式照相机

Country Status (2)

Country Link
US (1) US7773143B2 (zh)
CN (1) CN105141933B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112904313A (zh) * 2021-01-26 2021-06-04 光为科技(广州)有限公司 用于抑制LiDAR设备环境光的方法、系统及电子电路

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961989B2 (en) * 2001-10-23 2011-06-14 Tessera North America, Inc. Optical chassis, camera having an optical chassis, and associated methods
US7224856B2 (en) * 2001-10-23 2007-05-29 Digital Optics Corporation Wafer based optical chassis and associated methods
US7522341B2 (en) * 2005-07-12 2009-04-21 Micron Technology, Inc. Sharing of microlenses among pixels in image sensors
US7924483B2 (en) * 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
US20070263114A1 (en) * 2006-05-01 2007-11-15 Microalign Technologies, Inc. Ultra-thin digital imaging device of high resolution for mobile electronic devices and method of imaging
US20070177004A1 (en) * 2006-06-08 2007-08-02 Timo Kolehmainen Image creating method and imaging device
US20080165257A1 (en) * 2007-01-05 2008-07-10 Micron Technology, Inc. Configurable pixel array system and method
US8319846B2 (en) * 2007-01-11 2012-11-27 Raytheon Company Video camera system using multiple image sensors
US7812869B2 (en) * 2007-05-11 2010-10-12 Aptina Imaging Corporation Configurable pixel array system and method
US20090051790A1 (en) * 2007-08-21 2009-02-26 Micron Technology, Inc. De-parallax methods and apparatuses for lateral sensor arrays
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP5262823B2 (ja) 2009-02-23 2013-08-14 ソニー株式会社 固体撮像装置および電子機器
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
EP2569935B1 (en) 2010-05-12 2016-12-28 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2014519741A (ja) 2011-05-11 2014-08-14 ペリカン イメージング コーポレイション アレイカメラ画像データを伝送および受信するためのシステムおよび方法
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US20130010109A1 (en) * 2011-07-08 2013-01-10 Asia Optical Co., Inc. Trail camera
US8866951B2 (en) * 2011-08-24 2014-10-21 Aptina Imaging Corporation Super-resolution imaging systems
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
EP2677734A3 (en) * 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
US9100635B2 (en) 2012-06-28 2015-08-04 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays and optic arrays
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9077879B2 (en) * 2013-01-09 2015-07-07 Aac Acoustic Technologies (Shenzhen) Co., Ltd. Array camera
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9220462B2 (en) * 2013-05-24 2015-12-29 Toshiba America Electronic Components, Inc. Imaging sensor and method for biometric mapping of facial skin
CN109120823B (zh) * 2013-08-01 2020-07-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
US10366506B2 (en) 2014-11-07 2019-07-30 Lamina Systems, Inc. Hyperacuity system and methods for real time and analog detection and kinematic state tracking
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10038854B1 (en) * 2015-08-14 2018-07-31 X Development Llc Imaging-based tactile sensor with multi-lens array
US9829698B2 (en) 2015-08-31 2017-11-28 Panasonic Corporation Endoscope
US9651534B1 (en) * 2015-12-02 2017-05-16 Sani-Hawk Optical Solutions LLC Optical chemical test systems and methods
KR102646437B1 (ko) * 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
JP6809542B2 (ja) * 2017-01-31 2021-01-06 株式会社ニコン 撮像素子および撮像装置
CN110463194B (zh) * 2017-03-27 2022-01-25 索尼公司 图像处理装置和图像处理方法以及图像捕获装置
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10687033B2 (en) 2018-09-24 2020-06-16 Google Llc Color imaging system
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269010A (ja) * 1993-03-13 1994-09-22 Victor Co Of Japan Ltd 色分解光学系，撮像方法，及び撮像装置
US6108036A (en) * 1996-03-25 2000-08-22 Sharp Kabushiki Kaisha Imaging apparatus having a spatial filter and image shifting mechanism controller based on an image mode
US20010043229A1 (en) * 2000-05-10 2001-11-22 Nec Corporation Method, system and record medium for generating wide-area high-resolution image
US20020181126A1 (en) * 1998-06-30 2002-12-05 Kimihiko Nishioka Variable optical-property element

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57102281U (zh) * 1980-12-16 1982-06-23
US4804249A (en) * 1986-12-24 1989-02-14 Honeywell Inc. Optical filter for incoherent imaging systems
JP2921163B2 (ja) * 1991-04-08 1999-07-19 キヤノン株式会社 光学的ローパスフィルターを有した撮像装置
US5355222A (en) * 1992-05-15 1994-10-11 Precision Tracking Fm, Inc. Optical receiver for area location system
US5757423A (en) * 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
JPH08172635A (ja) * 1994-12-16 1996-07-02 Minolta Co Ltd 撮像装置
JP3275010B2 (ja) * 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US5671073A (en) * 1995-02-15 1997-09-23 California Institute Of Technology Holographic storage using shift multiplexing
US6137535A (en) * 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
KR100216672B1 (ko) * 1996-12-30 1999-09-01 김영환 칼라 필터 어레이 및 그 신호 처리 회로
US6366319B1 (en) * 1997-07-03 2002-04-02 Photronics Corp. Subtractive color processing system for digital imaging
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
US6069738A (en) * 1998-05-27 2000-05-30 University Technology Corporation Apparatus and methods for extending depth of field in image projection systems
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
IL133243A0 (en) * 1999-03-30 2001-03-19 Univ Ramot A method and system for super resolution
US6727521B2 (en) * 2000-09-25 2004-04-27 Foveon, Inc. Vertical color filter detector group and array
JP3821614B2 (ja) * 1999-08-20 2006-09-13 独立行政法人科学技術振興機構 画像入力装置
US7375757B1 (en) * 1999-09-03 2008-05-20 Sony Corporation Imaging element, imaging device, camera module and camera system
AU2001253547A1 (en) * 2000-05-23 2001-12-03 Atmel Corporation Integrated ic chip package for electronic image sensor die
WO2001099431A2 (en) 2000-06-16 2001-12-27 University Technology Corporation Method and apparatus for increasing resolution in digital imaging system by offsetting pixels
US6417950B1 (en) * 2000-08-28 2002-07-09 University Technology Corporation Three-color imaging on each pixel for increased resolution
US6414296B1 (en) * 2000-09-21 2002-07-02 Imation Corp. Multiple pixel reading of holographic data including a position error calculation
US7262799B2 (en) 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
US7034866B1 (en) * 2000-11-22 2006-04-25 Koninklijke Philips Electronics N.V. Combined display-camera for an image processing system
JP2002252338A (ja) 2000-12-18 2002-09-06 Canon Inc 撮像装置及び撮像システム
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
US6642504B2 (en) 2001-03-21 2003-11-04 The Regents Of The University Of Colorado High speed confocal microscope
EP3388784B1 (en) * 2001-05-04 2019-07-17 Vexcel Imaging GmbH Method and large format camera for acquiring a large format image of a large area object
US6826322B2 (en) * 2001-06-04 2004-11-30 Agility Communications, Inc. Astigmatism correcting optical coupler
KR20040044858A (ko) 2001-09-07 2004-05-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 카메라 및 이미지 원근 수정 및 회전과 스태거링 수정을가진 이미지 장치
WO2004010686A1 (en) * 2002-07-18 2004-01-29 Koninklijke Philips Electronics N.V. Camera module, holder for use in a camera module, camera system and method of manufacturing a camera module
AU2003255926A1 (en) * 2002-09-09 2004-03-29 Koninklijke Philips Electronics N.V. Optoelectronic semiconductor device and method of manufacturing such a device
KR100774775B1 (ko) * 2002-09-17 2007-11-07 앤터온 비.브이. 카메라 디바이스, 카메라 디바이스 제조 방법, 웨이퍼스케일 패키지 및 광학 어셈블리
US7405761B2 (en) * 2003-10-01 2008-07-29 Tessera North America, Inc. Thin camera having sub-pixel resolution
JP2007510291A (ja) 2003-10-27 2007-04-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラモジュール及びこのようなカメラモジュールの製造方法
US7453510B2 (en) * 2003-12-11 2008-11-18 Nokia Corporation Imaging device
WO2005109861A1 (en) * 2004-05-04 2005-11-17 Tessera, Inc. Compact lens turret assembly

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269010A (ja) * 1993-03-13 1994-09-22 Victor Co Of Japan Ltd 色分解光学系，撮像方法，及び撮像装置
US6108036A (en) * 1996-03-25 2000-08-22 Sharp Kabushiki Kaisha Imaging apparatus having a spatial filter and image shifting mechanism controller based on an image mode
US20020181126A1 (en) * 1998-06-30 2002-12-05 Kimihiko Nishioka Variable optical-property element
US20010043229A1 (en) * 2000-05-10 2001-11-22 Nec Corporation Method, system and record medium for generating wide-area high-resolution image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112904313A (zh) * 2021-01-26 2021-06-04 光为科技(广州)有限公司 用于抑制LiDAR设备环境光的方法、系统及电子电路

Also Published As

Publication number Publication date
US7773143B2 (en) 2010-08-10
US20050225654A1 (en) 2005-10-13
CN105141933B (zh) 2018-12-04

Similar Documents

Publication Publication Date Title
CN1934872B (zh) 具有子像素分辨率的薄式照相机
CN105141933A (zh) 具有子像素分辨率的薄式照相机
JP3884617B2 (ja) 光電子カメラ
KR102390672B1 (ko) 이면 조사형 촬상 소자, 그 제조 방법 및 촬상 장치
CN206759600U (zh) 成像系统
US8988582B2 (en) Multi-channel image sensors
KR100871564B1 (ko) 카메라 모듈
CN100403545C (zh) 固体摄像元件及其设计支持方法及摄像装置
US7679041B2 (en) Electronic imaging device with photosensor arrays
JP4740018B2 (ja) 固体撮像装置、カメラおよび信号処理方法
JP5503458B2 (ja) 固体撮像素子および撮像装置
JP6016396B2 (ja) 撮像素子および撮像装置
CN104681572A (zh) 固态成像装置和电子设备
WO2005081020A1 (ja) 光学機器およびビームスプリッター
WO2014034149A1 (ja) 固体撮像素子および撮像装置
CN109981939A (zh) 成像系统
CN109474818A (zh) 一种图像传感器以及成像模组
JP2016225658A (ja) 撮像素子および撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant