CN1898945B - 具有亮度校正功能的图像拾取设备以及校正图像亮度的方法 - Google Patents

具有亮度校正功能的图像拾取设备以及校正图像亮度的方法 Download PDF

Info

Publication number
CN1898945B
CN1898945B CN2005800012900A CN200580001290A CN1898945B CN 1898945 B CN1898945 B CN 1898945B CN 2005800012900 A CN2005800012900 A CN 2005800012900A CN 200580001290 A CN200580001290 A CN 200580001290A CN 1898945 B CN1898945 B CN 1898945B
Authority
CN
China
Prior art keywords
image pick
luminance distribution
image
view data
correcting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800012900A
Other languages
English (en)
Other versions
CN1898945A (zh
Inventor
加藤芳幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN1898945A publication Critical patent/CN1898945A/zh
Application granted granted Critical
Publication of CN1898945B publication Critical patent/CN1898945B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Abstract

一种图像拾取设备,包括直方图产生单元(55),其产生表示在图像拍摄期间获得的数字图像数据(RAW数据)的亮度分布的直方图,以及表改变单元(56),其参照基于直方图的目标亮度值计算校正量,并依照校正量改变伽马查找表(52)的层次校正信息。伽马校正单元(53)使用改变的层次校正信息校正图像数据的层次以产生其亮度依照目标亮度值校正的拍摄图像。

Description

具有亮度校正功能的图像拾取设备以及校正图像亮度的方法
发明领域
本发明涉及一种诸如数字相机的图像拾取设备。更具体的说,本发明涉及一种具有亮度校正功能的图像拾取设备,该亮度校正功能用于校正图像的亮度,本发明还涉及一种在图像拾取设备中使用的校正图像亮度的方法。
技术背景
数字相机包括用于在拍摄图像期间补偿缺乏光能的闪光灯。然而由于闪光灯闪光的范围相对较短,在拍摄较远的场景的图像或是广角图像的时候,闪光灯可能不能发出足够的光量。
由于近来数字相机的尺寸不断减小,装在相机中的闪光灯也不断变小。不仅是小闪光灯发出较少的光量,而且由于图像拾取元件单元的尺寸减小,相机的灵敏度也降低。这些原因使得甚至在使用闪光灯的时候也存在光能短缺,因此就使得常常不能形成具有所需亮度的图像。
常规地说来,在拍摄图像的时候控制曝光作为校正图像亮度的方法。例如,下面的技术是公知的。这样控制光阑/快门机构,使得在最大Y信号(亮度信号)变为CCD动态范围约70%到100%的时候,得到曝光量。这样可以优化曝光,以明亮地拍摄明亮对象的图像,并且黑暗地拍摄黑暗对象的图像。
然而,上述方法仅仅是曝光的校正,且在拍摄图像前的曝光状态下使用光阑/快门机构简单调整图像的亮度。因此不能校正拍摄图像的图像亮度,诸如这样的对象的图像,在对象被拍摄的时候没有来自闪光灯的闪光到达对象。
有一种校正拍摄图像亮度的方法,其使用结合到个人计算机等中的特定软件。然而在此方法中,用户需要将图像采集到计算机中,在计算机屏幕上确认拍摄图像的亮度,并通过预定操作对其进行精细的调整。即,用户需要执行非常复杂的操作。
发明内容
依照本发明的第一方面,提供了一种图像拾取设备,包括:
图像拾取装置,用于将通过透镜从对象每个部分接收的光转换成对应于光强的数字数据,并输出作为图像数据的数字数据;
校正表,其中存储有对应于图像拾取装置的转换特性的层次校正信息;
校正量计算装置,用于依照从图像拾取装置输出的图像数据的亮度分布和预设目标亮度分布之间的差,来计算校正量;
产生装置,用于基于校正表中存储的层次校正信息以及校正量计算装置计算的校正量,来产生新的层次校正信息;
表改变装置,用于将校正表中存储的层次校正信息改变成产生装置产生的新的层次校正信息;
校正装置,用于基于表改变装置获得的新层次校正信息,校正图像拾取装置输出的图像数据的层次,以依照图像拾取装置的转换特性和预设目标亮度分布来校正图像数据的亮度,由此产生拍摄的图像;以及
记录装置,用于记录从校正装置获得的拍摄图像。
依照本发明的第二方面,提供了一种图像拾取设备,包括:
图像拾取装置,用于将通过透镜从对象每个部分接收的光转换成对应于光强的数字数据,并将数字数据作为图像数据输出;
校正表,其中存储有给定的层次校正信息;
直方图产生装置,用于产生表示图像拾取装置输出的图像数据的亮度分布的直方图;
指定装置,用于在直方图产生装置产生的直方图的亮度分布中,指定对应于最大亮度的点;
计算装置,用于计算放大率,使得指定装置指定的点变为对应于直方图中预设最大亮度的目标点;
表改变装置,在放大率大于一的时候,基于计算装置计算的放大率,改变校正表中存储的层次校正信息;
校正装置,用于基于表改变装置获得的层次校正信息,校正图像数据的层次,以产生依照目标点来校正其亮度的拍摄图像;
记录装置,用于记录校正装置产生的拍摄图像。
依照本发明的第三方面,提供了一种图像拾取设备,包括:
图像拾取装置,用于将通过透镜从对象每个部分接收的光转换成对应于光强的数字数据,并将数字数据作为图像数据输出;
闪光发射装置用于发射闪光;
校正装置,用于产生拍摄图像,其层次这样校正,在图像数据的亮度分布比预设目标亮度分布更暗、且使用从闪光发射装置发射的闪光来拾取图像数据的时候,使得图像拾取装置输出的图像数据的亮度分布变为等于预设的目标亮度分布;以及
记录装置,用于记录由校正装置产生的拍摄图像。
依照本发明的第四方面,提供了一种图像拾取设备,包括:
图像拾取装置,用于将通过透镜从对象每个部分接收的光转换成对应于光强的数字数据,并将数字数据作为图像数据输出;
校正表,其中存储有特定的层次校正信息;
直方图产生装置,用于对R、G和B的每个产生表示图像拾取装置输出的图像数据的亮度分布的直方图;
校正量计算装置,用于指定部分直方图的特定百分比,该直方图是直方图产生装置对于R、G和B的每个而产生的,选择该部分的最高值,并基于选择的值和目标亮度值来计算校正量;
表改变装置,依照校正量计算装置计算的校正量改变校正表中的层次校正信息;以及
校正装置,用于基于表改变装置获得的层次校正信息来校正图像数据的层次,以产生依照目标值来校正其亮度的拍摄图像。
附图简述
图1A和1B是示出依照本发明实施例的图像拾取设备的外观的透视图,其中以数字相机作为例子,图1A示出该设备的前面,且图1B示出其背面;
图2是示出依照本发明实施例的数字相机的电路配置的框图;
图3是依照本发明实施例的数字相机中包括的图像处理电路的功能框图;
图4是示出依照本发明实施例的数字相机拍摄图像期间包括亮度校正操作的操作流程图;
图5A到5C中的每个图示出依照本发明实施例的数字相机中RAW数据的直方图的例子,该图示出R数据、G数据和B数据的每个的亮度分布;以及
图6是描述依照本发明实施例的数字相机中伽马曲线的特性和输入范围的改变。
发明详述
将参照附图描述依照本发明的实施例。
图1A和1B是示出依照本发明第一实施例的图像拾取设备的外观的透视图,其中以数字相机作为例子。图1A示出该设备的前面,且图1B示出其背面。
数字相机1在薄的、近似长方形的机身2的前面包括图像拍摄透镜3、自定时灯4、光学取景窗5、闪光发射单元6和麦克风单元7。在前面的右端一侧,设置有电源键8和快门键9。
电源键8是导通/断开电源的键。快门键9是表示图像拍摄定时的键。
数字相机1的背面上具有图像拍摄模式(R)键10,播放模式(P)键11,光学取景器12,扬声器单元13,近拍键14,闪光键15,菜单键16,环形键17,设置键18,显示单元19等。
如果从断电状态操作图像拍摄模式键10,数字相机就自动导通并进入用于静止图像的图像拍摄模式。如果其从通电状态重复操作,数字相机就循环地进入静止图像模式和运动图像模式。该运动图像模式是拍摄运动图像的模式,并且尤其是拍摄伴有声音的运动图像的模式。
快门键9对于静止图像和运动图像模式是共用的。在静止图像模式中,在按下快门键9的时候拍摄静止图像。在运动图像模式中,在按下快门键9的时候开始拍摄运动图像,并且在再次按下快门键9的时候其图像拍摄完成。
如果播放模式键11从断电状态操作,数字相机就自动导通并进入播放模式。
在静止图像模式中,近拍键14在正常图像拍摄和近距离图像拍摄彼此切换的时候进行操作。在切换到闪光发射单元6的发光模式的时候闪光键15进行工作。操作菜单键16以从各种菜单项目中选择一个。环形键17是包括上、下、右和左项目选择键的整体键。设置键位于环形键17的中心,并且可以进行操作以设定选择的项目。
显示单元19配置为具有背光的彩色液晶显示面板。在图像拍摄模式中,显示单元19用作电子取景器以显示过程图像(throughimage)。在播放模式中,其播放并显示选择的图像等。
尽管未示出,数字相机1在其底部具有存储卡插槽,用于安装/拆除作为记录介质使用的存储卡,以及作为串行接口连接器的通用串行总线(USB)连接器,用于将该设备连接到外部个人计算机等。
图2是示出数字相机1的电路的框图。
数字相机1还包括透镜光学系统22,该透镜光学系统包括聚焦透镜和变焦透镜(均未示出),其组成图像拍摄透镜3。该透镜光学系统22由马达21驱动,使得其可以在预定范围内沿光轴移动。电荷耦合器件(CCD)23设置为图像拾取元件,相对于光轴位于透镜光学系统22的后面。CCD 23通过图像拍摄透镜3从对象的各个部分接收光,并输出对应于接收光强度的电信号。
在作为基本模式的记录模式中,CCD 23是由定时产生器(TG)24和驱动器25驱动的,以输出一帧光电转换信号,其对应于为每个固定时间段形成的光学图像。光电转换信号是模拟信号,并且是对于RGB的每个原色分量进行增益控制的。随后,由采样保持电路26采样保持该信号,并通过A/D转换器27转换成数字数据。
此后,图像处理电路28执行的图像处理包括像素插值以及γ校正,以产生数字亮度信号Y以及色差信号U和V(Cb,Cr),并输出这些信号到直接存储器访问(DMA)控制器29中。
DMA控制器29使用来自图像处理电路28的复合同步信号、存储器写能信号以及时钟信号,将数字亮度信号Y和色差信号U和V写入其中包括的缓存器。DMA控制器29经过DRAM接口(I/F)30,将这些信号DMA传送到用作缓存存储器的DRAM 31。
控制单元32形成为微型计算机,包括CPU、存储将由CPU执行的操作程序的ROM、以及用作工作存储器的RAM。控制单元32控制数字相机1的整体操作。在将亮度信号Y和色差信号U和V利用DMA传送到DRAM 31之后,控制单元32经过DRAM接口30从DRAM 31读取这些信号,并将这些信号经过VRAM控制器33写入VRAM 34。
数字视频编码器35周期性地经过VRAM控制器33从VRAM 34读取亮度和色差信号,基于这些信号产生视频信号,并在显示单元19上显示这些信号。
如上所述,显示单元19用作在拍摄图像的时候的监视显示器(电子取景器)。其基于从数字视频编码器35获得的视频信号执行显示,由此基于当前从VRAM控制器33获得的图像数据实时显示图像。
在显示单元19实时显示当前监视图像的时候,如果在用户想要拍摄例如静态图像的时候按下快门键9,就产生触发信号。
响应于触发信号,控制单元32中断从CCD 23到DRAM 31的路径,以在DMA传送对应于一帧和当前从CCD 23读取的亮度和色差信号到DRAM 31之后立即采取(assume)记录保存状态。
在记录保存状态中,控制单元32以Y、Cb和Cr分量的单位,并以由8×8像素形成的每个基本块的单位,经由DRAM接口30从DRAM 31读取对应于一帧的亮度和色差信号。随后,控制单元32将读取的数据写入联合图像编码专家组(JPEG)电路37,并使用自适应离散余弦变换(ADCT)、霍夫曼编码作为熵编码等,在其中压缩数据。
控制单元32从JPEG电路37读取得到的编码数据并将其写入记录存储器38,作为对应于一幅图像的数据文件。存储器38包括可拆卸插入的存储卡作为记录介质,以及内置的存储器。对于一帧完成了亮度和色差信号压缩并将压缩数据写入存储器38,该控制单元32再次激活从CCD 23到DRAM 31的路径。
声音处理单元39,USB接口(I/F)40和闪光驱动单元41也连接到控制单元32。
声音处理单元39包括诸如PCM声源的声源电路。在声音记录中,单元39将从麦克风单元(MIC)7提供的声音信号转换成数字数据,并以特定的数据文件格式压缩数据,诸如MP3(MPEG-1音频层3),以创建声音数据文件并将其发送至存储器38。在声音再现中,单元39解压缩从存储器38读取的声音数据文件,将其变成模拟数据并将其通过设置在数字相机1背面的扬声器单元(SP)13输出。
例如在图像数据在数字相机1和诸如个人计算机的另一个信息终端之间传送的时候,USB接口40控制通信,其中该个人计算机通过电缆经由USB连接器连接到数字相机。在图像拍摄期间,闪光驱动单元41对闪光灯的大容量电容(未示出)充电,并使得闪光发射单元6基于控制单元32的控制而闪光。
键输入部分36不仅包括上述快门键9,还包括电源键8、图像拍摄模式键10,播放模式键11,近距键14,闪光键15,菜单键16、环形键17和设置键18。在这些键中的任意一个被操作的时候,产生的信号直接发送到控制单元32。
为了拍摄运动图像而不是静态图像,在按下快门键9的时候,JPEG电路37使用例如运动JPEG(联合图像专家组)压缩运动图像的数据,并在存储器38中存储压缩的数据。在再次按下快门键9的时候,完成运动图像的记录。
另外,在作为基本模式的播放模式中,控制单元32有选择地从存储器38读取图像数据,且JPEG电路37通过与在记录模式中用于压缩数据相反的过程将该数据扩展。经由DRAM接口30,在DRAM31中保存扩展数据之后,控制单元32使得DRAM 31的内容经由VRAM控制器33存储在VRAM 34中,并且从VRAM 34周期性的读取图像数据以产生视频信号并在显示单元19上进行播放。
如果所选的图像数据不是静态图像而是运动图像,构成运动图像的多帧的静态图像数据项目按照时间序列播放并显示。在完成了所有静态图像数据项目的再现的时候,直到提供下一个再现指令的时候就显示打头的静态图像数据项目。
图3是图像处理电路28的功能框图。为了简单描述电路28和DRAM31之间的数据流,例如就从图3中省略图2所示的DRAM控制器29和DRAM接口(I/F)30。
在图3中,在拍摄图像期间,CCD输出表示经由采样保持电路26和A/D转换器27从CCD 23输出的数字图像数据。在本实施例中,由于A/D转换器27是10位,所以10位数字图像数据就输入到图像处理电路28中。这种原始数字图像数据此后称作RAW数据。该RAW数据一度保存在用作缓冲存储器的DRAM 31的图像区域中,并且随后从中读取,并提供给图像处理电路28以在其中处理。
RAW数据可以在图像处理电路28中直接处理而不在DRAM 31的图像区域中保存。DRAM 31可以用作为缓冲存储器的SDRAM等取代。本发明并不特定限于这种配置。
图像处理电路28由单片LSI形成,并包括作为基本元件的白平衡处理单元(WB处理单元)51,其以特定WB增益增加RAW数据,伽马查找表(伽马LUT)52,其中设置从10位到8位的伽马曲线,伽马校正单元53,其参照伽马查找表52校正由WB增益增加的RAW数据的层次,以及YUV转换单元54,其YUV转换校正了其层次的RAW数据。
此外,图像处理电路28包括直方图产生单元55以及表改变单元56。这些单元55和56是依照本发明实施例实现亮度校正的部件。
直方图产生单元55对于RAW数据的R、G和B的每个产生代表亮度分布的直方图。表改变单元56比较单元55产生的直方图和预定目标值以计算亮度校正量,并依照亮度校正的量改变伽马查找表52。
图像处理电路28的处理可以通过控制单元32由软件执行。然而,由于通过软件需要时间来执行整个处理,至少包括白平衡处理单元51、伽马查找表52、伽马校正单元53和YUV转换单元54的基本部件最好由硬件制成。
将描述依照本发明实施例的图像拾取设备的操作。
图4是示出在数字相机1的图像拍摄期间,包括亮度校正操作的操作流程的流程图。使用作为结合在数字相机1中的微处理器的控制单元32,通过依照程序中描述的过程通过控制各个电路来执行这个操作。
首先,在拍摄静态图像的时候,控制单元32设置诸如快门速度和f数的参数以调整曝光,随后在按下快门9的时候的定时执行图像拍摄操作,并从CCD 23通过采样保持电路26和A/D转换器27获得作为RAW数据的数字图像(步骤S11)。这个RAW数据经由图像处理电路28一度保存在DRAM 31的图像区域中。
控制单元32基于下面的条件,确定亮度校正是不是必要的(步骤S12)。
假设准备了可以由例如用户在屏幕菜单上任意设置的“亮度校正模式”。在“亮度校正模式”设置为打开的状态,控制单元32确定亮度校正是必须的,并在其设置为关闭的状态(条件1)时,确定亮度校正不是必须的。换句话说,依照用户对于模式的任意设置确定亮度校正。
在诸如夜晚的黑暗环境中使用闪光发射功能拍摄图像的时候,很有可能由于缺少光能使得拍摄的照片将变得很暗;因此控制单元32确定亮度校正是必须的(条件2)。在此情况下,希望基于条件1的“亮度校正”已经设置的前提下,在使用闪光拍摄照片时校正亮度。
用于连续拍摄图像的“连续曝光模式”需要高速操作。由于此校正需要较长时间完成,因此希望禁止亮度校正。在打开状态中设置“连续模式”的时候(条件3),控制单元32确定亮度校正不是必须的。
如果控制单元32基于上述条件1到3确定亮度校正不是必须的(步骤S12中的否),其将DRAM 31中的RAW数据发送到图像处理单元28,以处理正常图像而不进行亮度校正,并且因此产生亮度信号Y和色差信号U和V(步骤S21)。
首先,更具体的,通过白平衡增益(WB增益)对于R、G和B的每个,白平衡处理单元51增加从DRAM 31读出的RAW数据以调整控制信号。随后,伽马校正单元53参照伽马查找表52校正RAW数据的层次。在此时,表52存储预先设置为标准值的预定层次校正信息(伽马曲线)(参见图6中“1.0倍”标准曲线)。在后面将要描述的,在亮度校正中,伽马查找表52的层次校正信息(伽马曲线)随校正量而不同。
伽马校正单元53输出校正了其层次的8位图像数据。YUV转换单元54转换图像数据为表示亮度信息的亮度信号Y,以及表示颜色信息的色差信号U和V(Cb、Cr),并将这些信号提供给DRAM 31的图像区域。
在上述图像处理之后,控制单元32从DRAM 31读取亮度信号和色差信号,并将其发送到JPEG电路37。随后,单元32以特定格式压缩这些信号并将其存储在存储器38中作为拍摄图像(步骤S22)。
另外,如果控制单元32确定亮度校正是必须的(步骤S12中的是),就执行下面的过程。在本实施例中,亮度校正由图3所示的图像处理电路28中的硬件执行。
首先,控制单元32从DRAM 31读取RAW数据并将其提供给图像处理电路28中的直方图产生单元55以对于R、G和B的每个产生表示亮度分布的直方图(步骤S13),其中该RAW数据是从CCD 23获得的数字图像数据。在此情况下,所需要的并不是所有的像素数据,而是依照操作速度可以删除一些像素的数据。尽管通过电路中的硬件执行亮度校正,这也可以用软件来执行。
图5A至5C是示出RAW数据的直方图例子的图。更具体的,图5A示出R数据的亮度分布,图5B示出G数据的亮度分布,且图5C示出B数据的亮度分布。在这些图中,亮度用10位数字值表示(1024个值)而左侧是“黑”右侧是“白”。
对于RAW数据的R、G和B的每个积累直方图的高亮度一侧存在的分布量,以探测与定义为适当量的高亮度率对应的等级。例如,对应于3%高亮度率的区域(图5A到5C中的每个阴影区域)定义为适当的亮度量,由此对RAW数据的R、G和B的每个探测3%区域的峰值等级(R峰值、G峰值、B峰值)(步骤S14)。
对于RAW数据不考虑白平衡的设置。直方图产生单元55由此以WB增益(wb_r_gain,wb_g_gain,wb_b_gain)对于R、G和B增加RAW数据的峰值等级,以在白平衡处理之后获得下面的峰值等级(R-PEAK_WB,G-PEAK_WB,B-PEAK_WB)(步骤S15)。
R-PEAK_WB=R-PEAK×wb_r_gain
G-PEAK_WB=G-PEAK×wb_g_gain
B-PEAK_WB=B-PEAK×wb_b_gain
为了基于R、G和B中最亮的彩色分量来校正亮度,表改变单元56选择步骤S15获得的最大的一个峰值等级(MOST_PEAK)(步骤S16)。
假设在图5中,R-PEAK_WB等于547,G-PEAK_WB等于541且B-PEAK_WB等于543,R数据的“547”被选为MOST_PEAK。
目标等级(TARGET_PEAK)在伽马校正R数据之前确定(步骤S17)。为了使得当前R数据的3%区域更亮,如虚线箭头所示预设这样做的目标等级。可以预设目标等级作为固定值或者由用户自由设置。优选的是,考虑到随后的伽马校正,固定值(例如900)稍微小于最大值“1023”。
假设在用户自由设置目标等级的时候,他或是她按下菜单键16以显示“目标等级”的设置屏幕,并输入设置屏幕上从0到1023的范围内的任意数值作为目标等级。在此情况下,可以将固定值显示为默认值,且根据默认值随意改变。
如果如上所述设置亮度目标等级,表改变单元56获得下面的校正放大率(ASSIST_RATIO),使得在步骤S16获得的峰值到达目标等级(步骤S18)。
ASSIST_RATIO=TARGET_LEVEL/MOST_PEAK
控制单元32确定在步骤S18获得的校正放大率(ASSIST_RATIO)是否大于一(步骤S19)。如果不大于一(步骤S19中的否),在亮度分布中就没有问题,且因此不进行亮度校正而执行上述正常图像处理(步骤S21)。
如果校正放大率大于一(步骤S19中的是),就意味着缺少亮度。因此,表改变单元56依照校正放大率(ASSIST_RATIO)改变伽马查找表52(步骤S20)。
更具体的,如图6所示,改变伽马查找表52,其中该方向为使用预设的1.0倍伽马曲线(层次校正信息)作为标准,依照诸如1.5倍和2.0倍的校正放大率使得其输入范围变窄。例如在1.5倍伽马曲线中,在输入值为a1时,输出值为b2,其表示比输出值b1更亮的图像在标准曲线中。
图6仅示出1.5倍伽马曲线和2.0倍伽马曲线。实际上,可以依照校正放大率以无级的方式(in stepless fashion)改变曲线。在此情况中,可以限制校正放大率的最大值。如果将4.0倍的值设置为限制值,可以防止校正放大率显著超过限制值。
假设不变化的表值(标准:1.0倍)是NORMAL_TABLE(n)且改变的表值是ASSIST_TABLE(n),就给定下面的等式:
ASSIST_TABLE(n)=ASSIST_RATIO×NORMAL_TABLE(n),其中n是表中所有的值,即0到1023。然而在改变的表中,当n超过作为8位输出的最大值“255”的时候,就将其截止并输出为“255”。
此后,RAW数据的RGB图像是使用改变的伽马查找表52来处理的(步骤S21),以产生其亮度已经依照目标等级校正过的图像数据。这个图像数据是YUV转换的,随后由JPEG电路37以特定格式压缩并在存储器38中记录为拍摄图像(步骤S22)。
当拍摄图像缺少亮度的时候,其可以使用自动亮度校正而记录。甚至在由于缺少闪光灯的光能使得黑暗地拍摄物体的时候,可以容易地获得与使用足够闪光灯量拍摄的图像具有一样亮度的图像。
亮度校正造成这样一种问题,即噪声依照亮度校正的量而放大。并不是总是执行亮度校正,而仅仅是在基于上述条件1到3,控制单元确定必要的时候执行。因此,就可以阻止由于不必要的校正而产生的图像质量恶化。
通过选择预先准备好的多个伽马表中的一个,有这样一种控制图像数据亮度的方法。然而,这种方法需要对应于表的数量的存储器容量。由于可以预先准备的表数量是有限的,因此不能依照各种场景以无级的方式精细地校正亮度。
在依照本实施例的方法中,只预先准备了一种参考伽马曲线(退化校正信息),以及依照基于参考伽马曲线的校正量,通过适当操作获得的新的伽马曲线(退化校正信息)。伽马表的数量仅为一,就产生下面的优点。可以降低存储器容量,且依照各种场景可以以无级的方式精细地校正亮度。
如果具有图像拍摄模式的设备可以由用户任意设置为比如对比模式,用户必须依照用户设置的模式改变伽马曲线。还是在此情况下,伽马表基于与该模式对应的伽马曲线而改变,并且因此可以在改变伽马表之前和之后维持曲线之间的相对关系。然而,通过选择多个表中的一个来校正亮度的方法中这种关系不能保持。
在前述的实施例中,通过图3所示的图像处理电路28中的硬件来执行亮度校正。如果这种亮度校正是编成程序的,就可以在用作微处理器的控制单元32中利用软件执行。
假设前述实施例中图像数据的亮度在其高亮度方向校正;然而,可以使用同样的方法在其低亮度方向校正。更具体的,在图5中,从低亮度一侧探测到图像数据的R、G和B每个的3%区域的的峰值,且将最高峰值与接近于零的目标等级相比较,以获得校正量。依照校正量,图6中示出的参考伽马曲线在相反方向变化。因此,可以将图像数据的黑暗部分更加黑暗地记录。
本发明并不限于数字相机,而可以用于具有数字相机作为图像拾取设备的所有电子设备,诸如具有相机的便携电话。尤其是,本发明对于小尺寸的设备尤其有效,其中该图像拾取设备比较小,且只能包括小尺寸的闪光,诸如具有相机的便携电话。
依照上述的本实施例,不需要多个校正表,但是通过在拍摄图像期间立即有效地执行层次校正和亮度校正,以及通过在个人计算机等中控制读取的拍摄图像的亮度的复杂操作,可以记录高质量的拍摄图像。
当对应于最大亮度的图像数据的直方图的部分没有达到预设目标亮度的时候,图像数据的亮度可以依照目标亮度而自动校正,且可以避免由于不必要校正造成的缺点。
通过自动补偿在拍摄图像期间的闪光光能缺少,可以获得明亮的图像。
通过关注R、G和B的最重要的颜色元素,可以校正图像的亮度。
本领域技术人员可以很容易的理解其他的优点和变化。因此,本发明更广阔的方面并不限于这里示出和描述的具体细节和代表性的实施例。因此,不背离所附权利要求和等同物限定的总体发明构思的精神和范围,可以作出各种改变。

Claims (15)

1.一种图像拾取设备,包括:
图像拾取装置(23),用于获取对象的图像并输出图像数据;
闪光发射装置(6),用于根据该图像拾取装置(23)在获取图像时的指示发射闪光;
校正装置(53),用于如果该图像拾取装置(23)输出的图像数据的亮度分布不同于预设目标亮度分布,则进行层次校正,使得该图像数据的亮度分布变为等于该预设目标亮度分布;以及
校正记录装置(54),用于在预定存储器(38)中记录由该校正装置(53)对该图像拾取装置(23)获取的图像数据进行层次校正所获得的图像数据;
其特征在于该图像拾取设备还包括控制装置(32),用于如果该图像拾取装置(23)输出的图像数据的亮度分布比预设目标亮度分布更暗,即使该闪光发射装置(6)发射闪光,使该校正装置(53)执行第一层次校正,以便向更多亮度的方向改变该亮度分布。
2.根据权利要求1的图像拾取设备,其特征在于,在该闪光发射装置(6)不发射闪光的情况下,即使该图像拾取装置(23)输出的图像数据的亮度分布比该预设目标亮度分布更暗,该控制装置(32)控制该校正装置(53)不执行该第一层次校正。
3.根据权利要求1的图像拾取设备,其特征在于,如果该图像拾取装置(23)输出的图像数据的亮度分布比该预设目标亮度分布更亮而且与该闪光发射装置(6)的闪光发射无关,则该控制装置(32)控制该校正装置(53)不执行该第一层次校正。
4.根据权利要求1的图像拾取设备,其特征在于,如果在该图像拾取装置(23)输出的图像数据的亮度分布比该预设目标亮度分布更亮,或是如果该图像数据不是与从该闪光发射装置(6)发射闪光同时获取的图像数据,该控制装置(32)使该校正装置(53)不执行该第一层次校正,而是执行对应于该图像拾取装置(23)的转换特性的第二层次校正。
5.根据权利要求1的图像拾取设备,还包括:
校正表(52),其中存储有对应于该图像拾取装置(23)的转换特性的层次校正信息;
该图像拾取装置(23)将通过透镜从对象每个部分输入的光转换成对应于光强的数字数据,并输出该数字数据作为图像数据;
校正量计算装置(56),用于依照从该图像拾取装置(23)输出的图像数据的亮度分布和预设目标亮度分布之间的差异,来计算校正量;
产生装置(56),用于基于该校正表(52)中存储的该层次校正信息以及该校正量计算装置(56)计算的校正量,来产生新的层次校正信息;
表改变装置(56),用于将该校正表(52)中存储的层次校正信息改变成该产生装置(56)产生的新的层次校正信息;
该校正装置(53)执行第二层次校正,通过基于该校正表(52)中存储的层次校正信息,对该图像拾取装置(23)输出的图像数据进行层次校正,从而校正对应于该图像拾取装置(23)的转换特性的亮度分布;以及
其特征在于,如果从该图像拾取装置(23)输出的图像数据的亮度分布比预设目标亮度分布更暗,即使该闪光发射装置(6)发射闪光,该控制装置(32)通过使该表改变装置(56)将该校正表(52)中存储的层次校正信息改变成该产生装置(56)产生的新的层次校正信息,使该校正装置(53)同时执行第一层次校正和第二层次校正。
6.根据权利要求5的图像拾取设备,还包括:
直方图产生装置(55),用于产生表示从该图像拾取装置(23)输出的图像数据的亮度分布的直方图;以及
指定装置(56),用于指定由该直方图产生装置(55)所产生的直方图的特定百分比的部分,
其特征在于,该校正量计算装置(56)基于该指定装置(56)指定的部分的值以及目标亮度值,来计算该校正量。
7.根据权利要求5的图像拾取设备,还包括:
直方图产生装置(55),用于产生表示从该图像拾取装置(23)输出的图像数据的亮度分布的直方图;以及
指定装置(56),用于在该直方图产生装置(55)产生的直方图的亮度分布中,指定对应于特定亮度的点,
其特征在于,该校正量计算装置(56)依照该指定装置(56)指定的点以及该直方图上预设目标点之间的差异,来计算作为该校正量的放大率,以及
该产生装置(56)改变该校正表(52)中存储的层次校正信息,依照该校正量计算装置(56)计算的放大率,使得该层次校正信息作为整体移动,由此产生新的层次校正信息,其中完全地保持由没有改变的该层次校正信息表示的伽马曲线。
8.根据权利要求7的图像拾取设备,其特征在于,该指定装置(56)在该直方图产生装置(55)产生的直方图表示的亮度分布中,指定对应于最大亮度的点,
该校正量计算装置(56)计算作为该校正量的放大率,使得该指定装置(56)指定的点改变为对应于该直方图上预设最大亮度的目标点,以及
在该放大率大于一的时候,该表改变装置(56)改变该校正表(52)中存储的层次校正信息。
9.根据权利要求8的图像拾取设备,其特征在于,该校正表(52)以对应于输入值的输出值的形式存储该层次校正信息,以及
该产生装置(56)改变该校正表(52)中存储的该输出值,从而移动与其对应的该输入值,以产生新的层次校正信息。
10.根据权利要求1的图像拾取设备,还包括确定装置(32),用于基于预定条件确定是否需要亮度校正,
其特征在于,在该确定装置(32)确定该亮度校正是必要的时候,该控制装置(32)使该表改变装置(56)执行该第一层次校正。
11.根据权利要求10的图像拾取设备,还包括模式设置装置(36),用于设置其中执行该亮度校正的特定模式,
其特征在于,在激活该特定模式的时候,该确定装置(32)确定该亮度校正是必要的。
12.根据权利要求10的图像拾取设备,还包括模式设置装置(36),用于设置连续拍摄图像的连续曝光模式,
其特征在于,该确定装置(32)在该模式设置装置(36)设定该连续模式的时候,确定该亮度校正不是必要的。
13.根据权利要求7的图像拾取设备,其特征在于:
该直方图产生装置(55)对R、G和B的每个产生表示该图像拾取装置(23)获得的图像数据的亮度分布的直方图;
该指定装置(56)指定该直方图的特定百分比的部分,其中该直方图是由该直方图产生装置(55)对于R、G和B的每个而产生的;以及
该校正量计算装置(56)选择对应于R、G和B的每个的该指定部分的最高值,并基于该选择的值和目标亮度值计算校正量。
14.根据权利要求13的图像拾取设备,还包括增益控制装置(51),用于以特定增益倍增该直方图产生装置(55)对R、G和B的每个而产生的直方图的该部分的值,
其特征在于,该校正量计算装置(56)从该增益控制装置(51)获得的值中选择最高值,并基于该选择值和目标亮度值计算校正量。
15.一种在图像拾取设备中校正亮度的方法,包括;
图像拾取步骤(23,26,27,S11),用于获取对象的图像并输出图像数据;
闪光发射步骤(6,41,S11),用于根据在该图像拾取步骤中获取图像时的指示发射闪光;
校正步骤(52,53,56,55,S21),用于如果在该图像拾取步骤中输出的图像数据的亮度分布不同于预设目标亮度分布,则进行层次校正,使得该图像数据的亮度分布变为等于该预设目标亮度分布;以及
校正记录步骤(28,54,31,S22),用于在预定存储器(38)中记录在该校正步骤中对该图像拾取步骤中获取的图像数据进行层次校正所获得的图像数据;
其特征在于还包括控制步骤(32,S12),用于如果在该图像拾取步骤中输出的图像数据的亮度分布比预设目标亮度分布更暗,即使在该闪光发射步骤中发射闪光,使第一层次校正在该校正步骤中执行,以向更多亮度的方向改变该亮度分布。
CN2005800012900A 2004-07-30 2005-07-29 具有亮度校正功能的图像拾取设备以及校正图像亮度的方法 Expired - Fee Related CN1898945B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP224738/2004 2004-07-30
JP2004224738A JP4466261B2 (ja) 2004-07-30 2004-07-30 撮像装置、明るさ補正方法及びプログラム
PCT/JP2005/014375 WO2006011687A2 (en) 2004-07-30 2005-07-29 Image pickup device with brightness correcting function and method of correcting brightness of image

Publications (2)

Publication Number Publication Date
CN1898945A CN1898945A (zh) 2007-01-17
CN1898945B true CN1898945B (zh) 2011-01-12

Family

ID=35500877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800012900A Expired - Fee Related CN1898945B (zh) 2004-07-30 2005-07-29 具有亮度校正功能的图像拾取设备以及校正图像亮度的方法

Country Status (8)

Country Link
US (1) US7486836B2 (zh)
EP (1) EP1779647A2 (zh)
JP (1) JP4466261B2 (zh)
KR (1) KR100809181B1 (zh)
CN (1) CN1898945B (zh)
HK (1) HK1098616A1 (zh)
TW (1) TWI293846B (zh)
WO (1) WO2006011687A2 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100372364C (zh) * 2005-11-28 2008-02-27 华为技术有限公司 一种视频信号采集设备
KR100782826B1 (ko) * 2005-12-10 2007-12-06 삼성전자주식회사 영상 획득 장치 및 방법과 그 방법을 수행하는 프로그램이기록된 기록매체
JP4867365B2 (ja) * 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
KR101244912B1 (ko) * 2006-05-29 2013-03-18 삼성전자주식회사 디지털 영상 처리기에서 감마 보정 장치 및 방법
CN101047869B (zh) * 2006-06-15 2011-04-27 华为技术有限公司 一种视频通信伽玛特性的校正方法和装置
WO2008004439A1 (fr) * 2006-07-06 2008-01-10 Nikon Corporation Dispositif d'évaluation de caractéristiques de correction de gradation, dispositif de traitement d'image, procédé d'évaluation de caractéristiques de correction de gradation, procédé de traitement d'image, programme d'évaluation de caractéristiques de cor
CN100518333C (zh) * 2006-08-23 2009-07-22 华为技术有限公司 一种视频通信伽玛特性的校正方法和装置
JP4992507B2 (ja) * 2007-03-28 2012-08-08 ソニー株式会社 撮像装置、映像信号処理装置及び映像信号処理方法
JP5103984B2 (ja) * 2007-03-29 2012-12-19 株式会社ニコン 画像処理装置、撮像装置、および画像処理プログラム
JP4402710B2 (ja) * 2007-09-18 2010-01-20 オリンパス株式会社 撮像装置
JP5034820B2 (ja) * 2007-09-21 2012-09-26 セイコーエプソン株式会社 画像処理装置、画像処理プログラム
KR101397036B1 (ko) 2007-11-30 2014-05-20 엘지전자 주식회사 영상기기의 영상 신호 출력 방법 및 그 방법을 채용한영상기기
JP5117217B2 (ja) * 2008-02-15 2013-01-16 オリンパス株式会社 撮像システム及び画像処理方法並びに画像処理プログラム
JP2010141454A (ja) * 2008-12-10 2010-06-24 Sanyo Electric Co Ltd 画像処理装置
JP4735742B2 (ja) * 2008-12-18 2011-07-27 カシオ計算機株式会社 撮像装置、ストロボ画像生成方法、および、プログラム
TWI382752B (zh) * 2008-12-19 2013-01-11 Hon Hai Prec Ind Co Ltd 攝像裝置及其補光方法
JP4818393B2 (ja) * 2009-05-07 2011-11-16 キヤノン株式会社 画像処理方法および画像処理装置
JP4803284B2 (ja) * 2009-07-08 2011-10-26 カシオ計算機株式会社 画像処理装置、及び画像処理プログラム
CN101873429B (zh) * 2010-04-16 2012-09-05 杭州海康威视软件有限公司 图像对比度的处理方法及装置
JP5968068B2 (ja) * 2011-05-24 2016-08-10 キヤノン株式会社 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体
EP2807627A4 (en) * 2011-12-29 2015-12-09 Intel Corp SIMPLIFICATION OF LOCAL CONTRAST COMPENSATION USING A WEIGHTED CONVERSION TABLE
CN104038704B (zh) * 2014-06-12 2018-08-07 小米科技有限责任公司 逆光人像场景的拍摄处理方法及装置
JP6121058B2 (ja) * 2014-09-08 2017-04-26 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
KR101694621B1 (ko) * 2015-05-22 2017-01-09 한국광기술원 이미지 센서의 자동 노출 조절정보를 이용한 밝기 추정장치 및 방법
JP2017139678A (ja) * 2016-02-05 2017-08-10 Necプラットフォームズ株式会社 画像データ変換装置、画像データ変換方法、画像データ変換用プログラム、pos端末装置、及びサーバ
TWI588587B (zh) * 2016-03-21 2017-06-21 鈺立微電子股份有限公司 影像擷取裝置及其操作方法
CN106161979B (zh) * 2016-07-29 2017-08-25 广东欧珀移动通信有限公司 高动态范围图像拍摄方法、装置和终端设备
JP6361776B2 (ja) * 2016-09-02 2018-07-25 カシオ計算機株式会社 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
EP3291173A1 (en) * 2016-09-02 2018-03-07 Casio Computer Co., Ltd. Diagnosis assisting device, image processing method in diagnosis assisting device, and program
EP3729996A4 (en) * 2017-12-22 2022-01-26 LSK Finetex Co.,Ltd. THIN FILM MASK PACK WITH EXCELLENT WEARING FEEL, ELECTRIC CONDUCTIVITY AND ANTIBACTERIAL PROPERTY AND MANUFACTURING PROCESS THEREOF
CN109272459B (zh) 2018-08-20 2020-12-01 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108900819B (zh) * 2018-08-20 2020-09-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109146814B (zh) 2018-08-20 2021-02-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109672829B (zh) * 2019-01-04 2021-02-02 Oppo广东移动通信有限公司 图像亮度的调整方法、装置、存储介质及终端
CN110493539B (zh) * 2019-08-19 2021-03-23 Oppo广东移动通信有限公司 自动曝光处理方法、处理装置和电子设备
CN111402147B (zh) * 2020-02-26 2023-04-07 浙江大华技术股份有限公司 视频图像处理方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002237995A (ja) * 2001-02-09 2002-08-23 Olympus Optical Co Ltd 電子カメラ
US6462835B1 (en) * 1998-07-15 2002-10-08 Kodak Polychrome Graphics, Llc Imaging system and method
US6463172B1 (en) * 1998-02-27 2002-10-08 Canon Kabushiki Kaisha Image processing method and apparatus
JP2003179809A (ja) * 2001-12-10 2003-06-27 Sony Corp カメラ装置及びその信号処理方法
JP2003219205A (ja) * 2002-01-24 2003-07-31 Sony Corp 撮像装置、表示装置、画像記録装置および画質補正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07274062A (ja) 1994-03-31 1995-10-20 Ricoh Co Ltd 自動露出制御装置
JP4069333B2 (ja) 1996-11-13 2008-04-02 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
US6583820B1 (en) * 1997-03-17 2003-06-24 Konica Corporation Controlling method and apparatus for an electronic camera
TW518882B (en) * 2000-03-27 2003-01-21 Hitachi Ltd Liquid crystal display device for displaying video data
JP3992177B2 (ja) * 2001-11-29 2007-10-17 株式会社リコー 画像処理装置、画像処理方法及びコンピュータ・プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463172B1 (en) * 1998-02-27 2002-10-08 Canon Kabushiki Kaisha Image processing method and apparatus
US6462835B1 (en) * 1998-07-15 2002-10-08 Kodak Polychrome Graphics, Llc Imaging system and method
JP2002237995A (ja) * 2001-02-09 2002-08-23 Olympus Optical Co Ltd 電子カメラ
JP2003179809A (ja) * 2001-12-10 2003-06-27 Sony Corp カメラ装置及びその信号処理方法
JP2003219205A (ja) * 2002-01-24 2003-07-31 Sony Corp 撮像装置、表示装置、画像記録装置および画質補正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全文.

Also Published As

Publication number Publication date
JP4466261B2 (ja) 2010-05-26
WO2006011687A2 (en) 2006-02-02
TWI293846B (en) 2008-02-21
JP2006050014A (ja) 2006-02-16
US20060023273A1 (en) 2006-02-02
HK1098616A1 (en) 2007-07-20
US7486836B2 (en) 2009-02-03
EP1779647A2 (en) 2007-05-02
CN1898945A (zh) 2007-01-17
KR20060079248A (ko) 2006-07-05
WO2006011687A3 (en) 2006-03-30
TW200610389A (en) 2006-03-16
KR100809181B1 (ko) 2008-03-03

Similar Documents

Publication Publication Date Title
CN1898945B (zh) 具有亮度校正功能的图像拾取设备以及校正图像亮度的方法
US7733383B2 (en) Image capture apparatus with a color property control function and image capture program
US6100928A (en) Digital camera with variable gain to offset exposure error
US8081242B2 (en) Imaging apparatus and imaging method
US6882754B2 (en) Image signal processor with adaptive noise reduction and an image signal processing method therefor
EP1100262A1 (en) Imaging device and method
US20080186387A1 (en) Imaging apparatus having moving image shooting function
US20070132878A1 (en) Digital camera system
US7167203B1 (en) Digital camera having controller for reducing occurrences of blur in displayed images
JP2009003011A (ja) 画像表示装置、撮像装置、画像再生装置、及び画像表示方法
US8319864B2 (en) Imaging apparatus and imaging method
US8144216B2 (en) Imaging apparatus and imaging method
US20100128142A1 (en) Image processing apparatus, image processing method, and storage medium storing image processing program
US7071987B1 (en) Digital camera having automatic exposure control for different photographing modes
JP3999321B2 (ja) 電子カメラ
US20220270221A1 (en) Image processing apparatus and control method thereof
JP2000278598A (ja) デジタルカメラおよび記録媒体
JP2001285703A (ja) 電子カメラ
US20030081954A1 (en) Digital camera
US7580063B2 (en) Digital camera for outputting image correction information
JP2000307941A (ja) デジタルカメラ
JP4887680B2 (ja) ホワイトバランス調整装置、及びホワイトバランス調整方法
JP2006238369A (ja) ディジタルカメラ、カスタムホワイトバランス値設定方法、撮像制御方法及び撮像制御プログラム
JP2006074710A (ja) デジタルカメラ及びカメラシステム
JP2001169152A (ja) 電子カメラ、電子カメラの表示状態調整方法、および記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1098616

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1098616

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110112

Termination date: 20210729

CF01 Termination of patent right due to non-payment of annual fee