CN103597821B - 图像拾取设备和信号值校正方法 - Google Patents
图像拾取设备和信号值校正方法 Download PDFInfo
- Publication number
- CN103597821B CN103597821B CN201280026632.4A CN201280026632A CN103597821B CN 103597821 B CN103597821 B CN 103597821B CN 201280026632 A CN201280026632 A CN 201280026632A CN 103597821 B CN103597821 B CN 103597821B
- Authority
- CN
- China
- Prior art keywords
- correction coefficient
- pixel
- image pick
- signal value
- colour filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 claims abstract description 289
- 230000035945 sensitivity Effects 0.000 claims description 103
- 239000003086 colorant Substances 0.000 claims description 64
- 239000000203 mixture Substances 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 43
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 36
- 230000008859 change Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 239000013256 coordination polymer Substances 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004040 coloring Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000006227 byproduct Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- NNBFNNNWANBMTI-UHFFFAOYSA-M brilliant green Chemical compound OS([O-])(=O)=O.C1=CC(N(CC)CC)=CC=C1C(C=1C=CC=CC=1)=C1C=CC(=[N+](CC)CC)C=C1 NNBFNNNWANBMTI-UHFFFAOYSA-M 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
在根据本发明的图像拾取设备和信号值校正方法的一个方面中,仅通过在存储装置中存储与图像拾取元件的滤色器的颜色相对应的第一校正系数,和与像素对于图像拾取元件的特定电路元件的位置的相对位置相对应的第二校正系数,对于每个像素选择第一校正系数和第二校正系数的适当组合,并且关于每个像素的信号值利用其执行计算。
Description
技术领域
本发明涉及一种图像拾取设备和一种信号值校正方法,通过简单的配置使得能够快速地并且准确地校正由用于图像拾取元件的滤色器的颜色阵列引起的信号值的变化和由其中多像素共享特定电路元件的结构引起的信号值的变化。
背景技术
CMOS(互补金属氧化物半导体)图像拾取元件呈现低功耗,并且在诸如数字照相机和移动电话的各种便携式图像拾取设备中使用。
在CMOS图像拾取元件中,其中多像素共享单一放大器的技术被广泛地用作用于减小衬底上所需的晶体管的数目的技术。
特别地,具有Bayer(拜耳)阵列(GR/BG)滤色器和以2×2像素为基础共享单一放大器的共享结构的图像拾取元件呈现良好的匹配,因为Bayer阵列(2×2)的重复周期等于放大器共享结构(2×2)的重复周期,并且因此,该图像拾取元件被非常普遍地使用。
PTL1公开了一种其中根据放大器共享图案为多个行使用垂线校正参数执行校正的配置。
PTL2描述了一种通过以垂直2×水平2像素为基础共享放大器而实现了空间节约的CMOS图像拾取元件。
PTL3公开了一种配置,其中围绕感兴趣的像素的四个像素分别具有颜色混合校正参数,从而响应于由每一个像素的孔隙的非对称性引起的、颜色混合率的逐像素差异。
引用列表
专利文献
PTL1
日本专利申请特开No.2008-288649
PTL2
日本专利申请特开No.2000-78474
PTL3
日本专利申请特开No.2007-142697
发明内容
技术问题
在图像拾取元件中,典型地存在以下问题,即,由于存在由滤色器的颜色(例如,RGB)的差异引起的灵敏度比率,拾取的图像的图像质量劣化。进而,还存在以下问题,即,因为即使在相同颜色像素之间也在图像拾取表面中分布着不同的灵敏度比率,所以在拾取的图像的周边部分上的着色或者固定图案噪声出现。因此,通过将图像拾取表面划分成多个区域并且将每一个像素的信号值(输出值)乘以在用于每一个区域的像素之间的灵敏度比率的倒数,能够校正由滤色器的颜色引起的、在像素之间的灵敏度比率。
在带有放大器共享结构的CMOS图像拾取元件中,即使在相同区域中的相同颜色像素之间,也取决于像素对于共享放大器的相对位置而发生信号值的差异。即,存在以下问题,即,在位于对于共享放大器的不同的相对位置的像素之间,灵敏度取决于衬底布局等的差异改变,从而对于图像再现性造成不利的影响。随着像素尺寸的精细化,这个问题已经变得更加显著。
因此,能够设想一种思想,即,预先存储校正系数,其数目(MN×MN)对应于滤色器的基本阵列图案的重复周期(M×M)和放大器共享结构的重复周期(N×N)的最小公倍数,从它们之中为每一个像素选择适当的校正系数,并且将每一个像素的信号值乘以选择的校正系数,从而校正由用于图像拾取元件的滤色器的颜色阵列引起的信号值的变化和由其中多像素共享特定电路元件的结构引起的信号值的变化这两者。
然而,虽然如果滤色器被以2×2的Bayer阵列布置并且放大器共享结构是2×2四像素正方形阵列则仅仅要求四个校正系数,但是例如,如果滤色器阵列是3×3或者6×6阵列,则校正系数(MN×MN)的数目变得巨大。因此,存在校正处理时间和电路尺寸增加的问题。
因为光屏蔽像素的使用,在PTL1中描述的配置不能被应用于校正由放大器共享结构的光学特性的变化引起的、在像素之间的灵敏度比率。
在PTL2和PTL3中描述的配置导致以下问题,即,当滤色器的重复布置周期不同于放大器共享结构的重复布置周期时,校正系数巨大地增加。
另外,因为在Bayer阵列中,绿色(G)像素被以格子图案(棋盘图案)布置并且红色(R)和蓝色(B)像素被以行顺序布置,所以存在以下问题,即,通过超过对于颜色的再现带的高频信号的折叠(folding)和对于颜色的相位偏差,发生低频着色(颜色云纹)。因此,期望一种即便滤色器阵列是除了Bayer阵列之外的阵列也能够准确地并且容易地校正灵敏度比率的配置。
已经鉴于这种情况实现了本发明,并且本发明的目的在于提供一种图像拾取设备和一种信号值校正方法,通过简单的配置使得能够快速地并且准确地校正由用于图像拾取元件的滤色器的颜色阵列引起的信号值的变化和由其中多像素共享特定电路元件的结构引起的信号值的变化。
解决问题的方案
为了实现该目的,本发明提供一种图像拾取设备,该图像拾取设备包括图像拾取元件,在该图像拾取元件中,多个滤色器被分别地布置于在水平方向和竖直方向上二维排列的多个像素上,每一个像素包括光电转换元件;存储用于校正图像拾取元件的每一个像素的信号值的信息的存储装置;和使用存储在存储装置中的信息校正图像拾取元件的每一个像素的信号值的校正装置,其中图像拾取元件的该多个像素以多像素为基础共享特定电路元件;图像拾取元件的该多个滤色器被如此布置,使得基本阵列图案在水平方向和竖直方向上重复,该基本阵列图案混合地包括三种或者更多颜色类型的滤色器并且具有与包括特定电路元件和多像素的共享结构图案的布置周期不同的布置周期;该存储装置存储多个第一校正系数和多个第二校正系数,该多个第一校正系数分别与图像拾取元件的多个滤色器的颜色相对应,该多个第二校正系数分别与像素对于图像拾取元件的特定电路元件的位置的多个相对位置相对应;并且当校正装置针对图像拾取元件的多个像素的每一个并且校正每一个感兴趣的像素的信号值时,该校正装置从存储在存储装置中的多个第一校正系数选择对应于在感兴趣的像素上的滤色器的颜色的第一校正系数,从存储在存储装置中的多个第二校正系数选择对应于感兴趣的像素的相对位置的第二校正系数,并且关于感兴趣的像素的信号值利用选择的第一校正系数和选择的第二校正系数执行计算。
即,仅仅通过在存储装置中存储对应于图像拾取元件的滤色器的颜色的第一校正系数和对应于像素对于图像拾取元件的特定电路元件的位置的相对位置的第二校正系数,为每一个像素选择了第一校正系数和第二校正系数的适当的组合,并且利用该组合关于每一个像素的信号值执行计算。因此,利用必要的最小数目的校正系数,能够快速地并且准确地校正由用于图像拾取元件的滤色器的颜色阵列引起的信号值的变化和由其中多像素共享特定电路元件的结构引起的信号值的变化。
在一个实施例中,存储装置存储用于校正在像素之间的灵敏度比率的灵敏度比率校正系数,和用于校正在邻近于每一个像素的相邻像素上的滤色器的颜色混合的颜色混合校正系数,灵敏度比率校正系数和颜色混合校正系数包括第一校正系数和第二校正系数。校正装置关于感兴趣的像素的信号值利用用于灵敏度比率校正系数和颜色混合校正系数中的一个的第一校正系数和第二校正系数执行计算,并且然后关于计算结果利用用于灵敏度比率校正系数和颜色混合校正系数中的另一个的第一校正系数和第二校正系数执行计算。即,作为第一步校正,关于每一个感兴趣的像素的信号值利用用于灵敏度比率校正系数和颜色混合校正系数中的一个(例如用于灵敏度比率校正系数)的第一校正系数和第二校正系数执行计算,并且然后作为第二步校正,关于计算结果利用用于灵敏度比率校正系数和颜色混合校正系数中的另一个(例如用于颜色混合校正系数)的第一校正系数和第二校正系数执行计算。因此,能够比传统图像拾取设备更加准确地校正像素的信号值。
在一个实施例中,该图像拾取设备进一步包括计算第二校正系数的校正系数计算装置,该校正系数计算装置通过在具有对于特定电路元件的位置不同的相对位置的像素之间比较信号值来计算第二校正系数,其中存储装置存储由校正系数计算装置计算的第二校正系数。即,能够与用于由滤色器的因素引起的灵敏度比率的校正系数相分离地确定用于由放大器共享结构的因素引起的灵敏度比率的校正系数。
在一个实施例中,在由图像拾取元件产生的拾取图像的整个或者一部分中,校正系数计算装置通过对于特定电路元件的位置的每一个相对位置遍及多个共享结构图案计算多个相同颜色像素的信号值的平均值,并且在相互不同的相对位置之间比较平均值,来计算第二校正系数。即,能够容易地根据拍摄环境的改变诸如镜头更换引起的入射角的改变来调整灵敏度比率校正系数。
在一个实施例中,图像拾取元件包括基本阵列图案的白色滤色器,并且校正系数计算装置通过遍及多个基本阵列图案对与白色滤色器相对应的像素的信号值求平均来计算第二校正系数。即,能够通过利用白色像素的良好的灵敏度而准确地确定校正系数。
进而,本发明提供一种用于校正图像拾取元件的每一个像素的信号值的信号值校正方法,在该图像拾取元件中,多个滤色器被分别地布置于在水平方向和竖直方向上二维排列的多个像素上,每一个像素包括光电转换元件,其中图像拾取元件的该多个像素以多像素为基础共享特定电路元件;图像拾取元件的该多个滤色器被如此布置,使得基本阵列图案在水平方向和竖直方向上重复,该基本阵列图案混合地包括三种或者更多颜色类型的滤色器并且具有与包括特定电路元件和多像素的共享结构图案的布置周期不同的布置周期;并且该方法包括预先在存储器件中存储多个第一校正系数和多个第二校正系数,该多个第一校正系数分别与图像拾取元件的多个滤色器的颜色相对应,该多个第二校正系数分别与像素对于图像拾取元件的特定电路元件的位置的多个相对位置相对应;并且,当针对图像拾取元件的多个像素的每一个并且校正每一个感兴趣的像素的信号值时,从多个第一校正系数中选择对应于在感兴趣的像素上的滤色器的颜色的第一校正系数,从多个第二校正系数中选择对应于感兴趣的像素的相对位置的第二校正系数,并且关于感兴趣的像素的信号值,利用选择的第一校正系数和选择的第二校正系数执行计算。
本发明的有利效果
根据本发明,通过简单的配置,能够快速地并且准确地校正由用于图像拾取元件的滤色器的颜色阵列引起的信号值的变化和由其中多像素共享特定电路元件的结构引起的信号值的变化。
附图简要说明
{图1}图1是示出根据第一实施例的示例性图像拾取设备的总体配置的框图;
{图2}图2是示出根据第一实施例的示例性图像拾取元件的一部分的概略图;
{图3}图3是示出图像拾取元件的示例性滤色器阵列的图;
{图4}图4是示出根据第一实施例的示例性灵敏度校正过程的流程的流程图;
{图5}图5是示出根据第一实施例的示例性颜色混合校正过程的流程的流程图;
{图6}图6是示出根据第二实施例的示例性图像拾取元件的一部分的概略图;
{图7}图7是示出根据第三实施例的示例性图像拾取设备的总体配置的框图;
{图8}图8是示出根据第三实施例的示例性图像拾取元件的一部分的概略图;
{图9}图9是示出根据第三实施例的示例性颜色混合校正过程的流程的流程图;
{图10}图10是示出根据第四实施例的示例性图像拾取元件的一部分的概略图;
{图11}图11是示出根据第四实施例的示例性图像拾取设备的总体配置的框图;
{图12}图12是示出根据第四实施例的示例性颜色混合校正过程的流程的流程图;
{图13}图13是示出另一个示例性共享结构图案的图表;
{图14}图14是示出根据第一示例的滤色器阵列的图表;
{图15}图15是用于解释在根据第一示例的滤色器阵列中的基本阵列图案的解释性图;
{图16}图16是示出根据第二示例的滤色器阵列的图。
具体实施方式
在下文中,参考附图详细描述本发明的实施例。
<第一实施例>
图1是示出根据本发明第一实施例的示例性图像拾取设备的总体配置的框图。这里,图像拾取设备的示例不限于独立的照相机,而是能够包括各种信息设备和电设备,诸如配备照相机的移动电话、配备照相机的智能电话、配备照相机的平板计算机和配备照相机的音乐播放器。
图像拾取设备100包括:拍摄镜头10,用于从入射物光形成物像;光圈11;图像拾取元件12,用于拾取由拍摄镜头10形成的物像;机械快门14,用于通过打开和关闭用于物光的光路13而在图像拾取元件12的蔽光状态和曝光状态之间切换,光路13从拍摄镜头10延伸到图像拾取元件12;图像输入控制器19,用于向存储器20输入从图像拾取元件12输出的图像信号;存储器20,用于暂时存储数字图像信号;图像信号处理电路22,用于为暂时存储在存储器20中的数字图像信号执行预定的数字信号处理;压缩处理电路24,用于为数字图像信号执行压缩处理和扩展处理;介质控制器26,用于执行数字图像数据的输入和输出;记录介质27,通过介质控制器26的控制将压缩的数字图像信号作为拾取的图像记录到记录介质27;指令输入单元29,向其输入各种指令;马达驱动器30,用于驱动拍摄镜头10;马达驱动器31,用于驱动光圈11;和马达驱动器34,用于驱动机械快门14。
图像拾取元件12由CMOS(互补金属氧化物半导体)图像拾取元件构成。作为图像拾取元件12的一部分的特殊2×2像素的结构概略地在图2中示出。这个图像拾取元件12具有下述配置,其中多个滤色器64分别地布置在多个像素62上,像素62每一个包括光电转换元件并且在水平方向x和竖直方向y上二维地排列。多个像素62以2×2像素为基础作为特定电路元件共享放大器66(放大元件)。如在图3中所示,多个滤色器64被布置为使得由3×3像素构成并且其中三种或者更多颜色类型的滤色器64(在该实施例中,三个颜色R、G和B)被混合布置的基本阵列图案BP在水平方向x和竖直方向y上重复。共享结构图案CP由共享放大器66的2×2像素构成。作为基本阵列图案BP中的阵列数目(3×3)和共享结构图案CP中的阵列数目(2×2)的最小公倍数的阵列数目是6×6。在图中,附图标记EP被用于6×6扩展图案。在扩展图案EP中,滤色器的颜色和对于共享放大器66的相对位置的组合数目是36。
图像拾取元件12包括用于将从图像拾取区域12a输出的模拟图像信号转换成数字图像信号的AD转换单元18,和用于产生图像拾取区域12a的图像拾取时序的时序发生器32。
由拍摄镜头10在图像拾取元件12上形成的物像被构成图像拾取元件12的像素62的光电转换元件取决于入射光的量而转换成信号电荷。基于根据CPU50的指令从时序发生器32给出的驱动脉冲,取决于信号电荷的量,在每一个光电转换元件中积聚的信号电荷作为电压信号(图像信号)被顺序地从图像拾取元件12读出。将被从图像拾取元件12读出的图像信号是对应于图像拾取元件12的滤色器阵列的图像信号R、G和B。
通过图像输入控制器19的控制,从图像拾取元件12输出的数字图像信号被暂时地存储在存储器20中。对于暂时存储的数字图像信号,图像信号处理电路22执行各种数字信号处理,诸如白平衡校正、伽马校正、产生亮度信号和色差信号、轮廓校正,和颜色校正。在压缩处理电路24进行符合于JPEG标准等的压缩处理之后,对其执行这种数字信号处理的图像信号被介质控制器26记录在诸如存储器卡的记录介质27中。
图像拾取设备100包括:校正系数存储单元40,用于存储用于校正图像拾取元件12的每一个像素的信号值的校正系数;灵敏度校正单元42,用于使用存储在校正系数存储单元40中的校正系数执行灵敏度校正;颜色混合校正单元44,用于使用存储在校正系数存储单元40中的校正系数执行颜色混合校正;和CPU50,用于控制图像拾取设备100的每一个单元。校正系数存储单元40例如由非易失存储器构成。灵敏度校正单元42和颜色混合校正单元44中的每一个例如由算术电路构成。可以在CPU50中包括灵敏度校正单元42和颜色混合校正单元44。
校正系数存储单元40存储分别对应于图像拾取元件12的多个滤色器64的颜色的多个第一校正系数,和分别对应于像素62对于图像拾取元件12的共享放大器66的位置的多个相对位置的多个第二校正系数。在该实施例中,校正系数存储单元40由非易失存储器构成。作为该多个第一校正系数,根据该实施例的校正系数存储单元40存储与图像拾取元件12的滤色器64的、在谱特性方面相互不同的类型一样多的第一校正系数。进而,作为多个第二校正系数,根据该实施例的校正系数存储单元40存储与在图像拾取元件12的共享结构图案CP的一个单元中存在的像素一样多的第二校正系数。
CPU50控制灵敏度校正单元42和颜色混合校正单元44,并且由此控制从图像拾取元件12的每一个像素输出的信号值的校正。
[根据本发明的信号值校正的原理]
接着,描述根据本发明的信号值校正的原理。
当针对图像拾取元件12的多个像素62中的每一个并且校正每一个感兴趣的像素的信号值时,灵敏度校正单元42和颜色混合校正单元44从存储在校正系数存储单元40中的多个第一校正系数选择对应于在感兴趣的像素上的滤色器64的颜色的第一校正系数,从存储在校正系数存储单元40中的多个第二校正系数选择对应于感兴趣的像素对于共享放大器66的相对位置的第二校正系数,并且关于感兴趣的像素的信号值利用选择的第一校正系数和选择的第二校正系数执行计算。因此,利用必要的最小数目的校正系数,能够快速地并且准确地校正由用于图像拾取元件12的滤色器64的颜色阵列引起的信号值的变化和由其中多像素共享放大器66的结构引起的信号值的变化。
作为信号值校正的第一步骤,灵敏度校正单元42关于感兴趣的像素的信号值利用用于灵敏度比率校正系数的第一和第二校正系数执行计算。作为信号值校正的第二步骤,关于灵敏度校正单元42的计算结果,颜色混合校正单元44利用用于颜色混合校正系数的第一和第二校正系数执行计算。因此,能够比传统图像拾取设备更加准确地校正像素的信号值。作为信号值校正的第一步骤,颜色混合校正单元44可以关于感兴趣的像素的信号值利用用于颜色混合校正系数的第一和第二校正系数执行计算,并且然后作为信号值校正的第二步骤,灵敏度校正单元42可以关于颜色混合校正单元44的计算结果利用用于灵敏度比率校正系数的第一和第二校正系数执行计算。
[根据第一实施例的示例性信号值校正]
图4是示出根据第一实施例的示例性灵敏度比率校正处理的流程的流程图。根据处于图1中的CPU50控制下的程序执行该处理。CPU50针对图像拾取元件12的多个像素中的每一个并且利用灵敏度校正单元42校正在像素之间的灵敏度比率。
首先,CPU50确定感兴趣的像素是否处于校正覆盖范围内(步骤S2)。校正覆盖范围例如是有效像素区域,这并非限制性的。在处于校正覆盖范围内的情形中,执行步骤S4至S12。
CPU50获取感兴趣的像素的颜色信息(步骤S4)。在该实施例中,图像拾取元件12包括带有三个颜色R、G和B的滤色器,并且CPU50获取有关R、G和B的滤色器中的哪一个处于感兴趣的像素上的信息。每一个像素的颜色信息例如被存储在存储器20中,并且从那里获取颜色信息。
从存储在校正系数存储单元40中的多个第一灵敏度比率校正系数A_r、A_g和A_b,灵敏度校正单元42选择与在感兴趣的像素上的滤色器的颜色相对应的校正系数,并且将其设定为A_center(步骤S6)。这里,A_r、A_g和A_b是对应于滤色器的颜色的校正系数,并且在该实施例中是分别对应于R、G和B的校正系数。即,在存储在校正系数存储单元40中的A_r、A_g和A_b中,从校正系数存储单元40获取用于对应于感兴趣的像素的滤色器的颜色的校正系数。
接着,对于感兴趣的像素,CPU50获取对于共享放大器66的位置的相对位置信息(步骤S8)。在该实施例中,单一共享放大器66由2×2四个像素(左上、右上、左下和右下)共享,并且CPU50获取有关左上、右上、左下和右下中的哪一个位置是感兴趣的像素相对于共享放大器66的位置的信息。例如,相对位置信息作为有关像素对于共享放大器66的相对位置的信息被存储在校正系数存储单元40中。
从存储在校正系数存储单元40中的第二灵敏度比率校正系数B_ul、B_ur、B_ll和B_lr,灵敏度校正单元42选择与感兴趣的像素对于共享放大器66的相对位置相对应的一个,并且将其设定为B_center(步骤S10)。这里,作为与感兴趣的像素对于共享放大器66的相对位置相对应的校正系数的B_ul、B_ur、B_ll和B_lr是在相对于对应共享放大器66,感兴趣的像素分别是左上像素、右上像素、左下像素和右下像素的情形中的灵敏度比率校正系数。
接着,灵敏度校正单元42执行灵敏度比率校正(步骤S12)。在该实施例中,执行以下公式。
X'=X*A_center*B_center
这里,X代表在灵敏度比率校正之前每一个像素的信号值,X'代表在灵敏度比率校正之后每一个像素的信号值,并且“*”代表乘法。即,灵敏度校正单元42将感兴趣的像素的信号值乘以对应于滤色器的颜色的第一灵敏度比率校正系数A_center,和对应于对于共享放大器66的位置的相对位置的第二灵敏度比率校正系数B_center。
在执行步骤S4至S12之后,CPU50确定感兴趣的像素是否是在校正覆盖范围中的最后像素(步骤S14)。该处理在不是最后像素的情形中返回步骤S2,并且在是最后像素的情形中结束。
在感兴趣的像素不处于校正覆盖范围内的情形中(在步骤S2中,否),CPU50将下一个像素设定为感兴趣的像素(步骤S16)。
图5是示出根据第一实施例的示例性颜色混合校正处理的流程的流程图。根据处于在图1中的CPU50的控制下的程序执行该处理。CPU50针对图像拾取元件12的多个像素中的每一个,并且利用颜色混合校正单元44校正在与每一个感兴趣的像素相邻的像素上的滤色器的颜色混合。
首先,CPU50确定感兴趣的像素是否处于校正覆盖范围内(步骤S22)。在处于校正覆盖范围内的情形中,CPU50执行步骤S24至S34。
CPU50获取与感兴趣的像素向上相邻的像素(上像素)的颜色信息(步骤S24)。即,CPU50获取有关R、G和B的滤色器中的哪一个处于上像素上的信息。每一个像素的颜色信息被存储在例如存储器20中,并且CPU50从那里获取颜色信息。
从存储在校正系数存储单元40中的多个第一颜色混合校正系数C_r、C_g和C_b,颜色混合校正单元44选择与处于上像素上的滤色器的颜色相对应的校正系数,并且将其设定为C_up(步骤S26)。这里,C_r、C_g和C_b是对应于滤色器的颜色的校正系数,并且在该实施例中分别是对应于R、G和B的校正系数。即,颜色混合校正单元44从校正系数存储单元40获取在存储在校正系数存储单元40中的C_r、C_g和C_b中用于对应于上像素的滤色器的颜色的校正系数。
接着,对于与感兴趣的像素向上相邻的像素(上像素),颜色混合校正单元44获取对于共享放大器66的位置的相对位置信息(步骤S28)。在该实施例中,颜色混合校正单元44获取有关左上、右上、左下和右下中的哪一个位置是上像素相对于共享放大器66的位置的信息。
接着,从存储在校正系数存储单元40中的第二颜色混合校正系数D_ul、D_ur、D_ll和D_lr,CPU50选择与上像素对于共享放大器66的相对位置(左上、右上、左下或者右下)相对应的校正系数,并且将其设定为D_up(步骤S30)。这里,D_ul、D_ur、D_ll和D_lr是与上像素到由上像素和其它像素共享的共享放大器66(在某些情形中,这个共享放大器66不同于用于感兴趣的像素的共享放大器66)的相对位置相对应的校正系数,并且分别是在上像素是相对于用于上像素的共享放大器66的左上像素、右上像素、左下像素和右下像素的情形中的颜色混合校正系数。
类似于用于上像素的C_up和D_up,CPU50选择用于关于感兴趣的像素的下像素(向下相邻像素)、左像素(向左相邻像素)和右像素(向右相邻像素)的颜色混合校正系数(步骤S32)。
CPU50将与下像素的颜色相对应的校正系数设定为C_down,将与下像素对于共享放大器66的相对位置相对应的校正系数设定为D_down,将与左像素的颜色相对应的校正系数设定为C_left,将与左像素对于共享放大器66的相对位置相对应的校正系数设定为D_left,将与右像素的颜色相对应的校正系数设定为C_right,并且将与右像素对于共享放大器66的相对位置相对应的校正系数设定为D_right。
接着,颜色混合校正单元44执行颜色校正(步骤S34)。在该实施例中,执行以下公式。
X''=X'-X_up*C_up*D_up-X_down*C_down*D_down-X_left*C_left*D_left-X_right*C_right*D_right
这里,X'代表在灵敏度比率校正之后感兴趣的像素(目标像素)的信号值,X_up代表上像素的信号值,X_down代表下像素的信号值,X_left代表左像素的信号值,X_right代表右像素的信号值,X''代表在颜色混合校正之后感兴趣的像素(目标像素)的信号值,并且“*”代表乘法。
即,颜色混合校正单元44从在灵敏度比率校正之后的目标像素信号值X'减去通过将上像素信号值X_up乘以颜色混合校正系数C_up和D_up给出的乘积、通过将下像素信号值X_down乘以颜色混合校正系数C_down和D_down给出的乘积、通过将左像素信号值X_left乘以颜色混合校正系数C_left和D_left给出的乘积,和通过将右像素信号值X_right乘以颜色混合校正系数C_right和D_right给出的乘积。由此,颜色混合校正单元44从目标像素的信号值移除了颜色混合分量。
在执行步骤S14至S34之后,CPU50确定感兴趣的像素是否是在校正覆盖范围中的最后像素(步骤S36)。该处理在不是最后像素的情形中返回步骤S22,并且在是最后像素的情形中结束。
在感兴趣的像素不处于校正覆盖范围内的情形中(在步骤S22中,否),CPU50将下一个像素设定为感兴趣的像素(步骤S38)。
参考图4和5,已经作为一个示例描述了在灵敏度比率校正之后执行颜色混合校正的情形。然而,本发明不特别地限制于这种情形,并且可以在颜色混合校正之后执行灵敏度比率校正。
<第二实施例>
图6是示出根据第二实施例的示例性图像拾取元件12的一部分的概略图。在根据该实施例的图像拾取元件12中,在滤色器的基本阵列图案BP(Bayer阵列)中的阵列数目是3×3,并且在用于共享放大器66的共享结构图案CP中的阵列数目是2×2。因此,作为在滤色器的基本阵列图案BP中的阵列数目(3×3)和在共享结构图案CP中的阵列数目(2×2)的最小公倍数的阵列数目是6×6。在图中,附图标记EP用于6×6扩展图案。在扩展图案EP中,滤色器的颜色和对于共享放大器66的相对位置的组合的数目是36,并且如果不应用本发明,则需要管理36种类型的校正系数。
能够类似于图4所示过程执行灵敏度比率校正。能够类似于图5所示过程执行颜色混合校正。
在本发明中,与滤色器的颜色相对应的校正系数和与像素对于共享放大器66的相对位置相对应的校正系数被存储在校正系数存储单元40中,并且关于每一个像素的信号值执行利用这些校正系数的计算。即,因为滤色器的颜色存在3种类型(R、G和B)并且对于共享放大器66的相对位置存在9种类型(左上、顶部、右上、左、中心、右、左下、底部和右下),所以当仅仅执行灵敏度比率校正时,将预先存储的校正系数存在仅12(=3+9)种类型。即使当类似于第一实施例执行灵敏度比率校正和颜色混合校正这两者时,校正系数也仅存在小的类型数目。
<第三实施例>
图7是示出根据第三实施例的示例性图像拾取设备的框图。图像拾取设备100包括灵敏度校正系数计算单元46,用于计算用来校正由放大器共享结构引起的灵敏度差异的灵敏度校正系数。其它构成元件与图1所示第一实施例中的构成元件相同,并且省略了其说明。
根据该实施例的灵敏度校正系数计算单元46通过对于共享放大器66的位置的每一个相对位置遍及多个共享结构图案计算多个相同颜色像素的信号值的平均值,并且在相互不同的相对位置之间比较计算的平均值,来计算用于校正由放大器共享结构引起的灵敏度差异的灵敏度比率校正系数(第二灵敏度比率校正系数)。
图8是示出根据第三实施例的示例性图像拾取元件12的一部分的概略图,并且示出通过对于共享放大器66的相对位置分组多个G像素的方式。在图中,位于共享放大器66的左上处的像素K1被分组成A组(左上像素组)、位于右上处的像素K2被分组成B组(右上像素组)、位于左下处的像素K3被分组成C组(左下像素组),并且位于右下处的像素K4被分组成D组(右下像素组)。
图9是示出根据第三实施例的示例性校正处理的流程的流程图。根据处于在图1中的CPU50的控制下的程序执行该处理。
首先,CPU50指定第一区域(步骤S40)。
灵敏度校正系数计算单元46对于在指定区域中A组(左上像素组)、B组(右上像素组)、C组(左下像素组)和D组(右下像素组)中的每一个像素组求G(绿色)像素的信号值的平均,并且分别将它们设定为A_ave、B_ave、C_ave和D_ave(步骤S42)。
接着,灵敏度校正系数计算单元46计算用于校正由B、C和D组的放大器共享结构引起的灵敏度比率的校正系数A_ave/B_ave、A_ave/C_ave和A_ave/D_ave(步骤S44)。即,在该实施例中,灵敏度校正系数计算单元46将在A组(左上像素组)中的信号值的平均值定义为标准灵敏度,并且计算在组之间的灵敏度比率的倒数作为校正系数。
接着,CPU50确定指定区域是否是最后区域(步骤S46),并且,在不是最后区域的情形中(在步骤S46中,否),将下一个区域设定为指定区域以重复步骤S42至S44(步骤S48)。
在确定在所有的指定区域中的灵敏度比率校正系数之后,CPU50执行灵敏度比率校正(步骤S50)。这个灵敏度比率校正与已经先前参考图4描述的根据第一实施例的处理相同,并且这里省略其说明。图5所示根据第一实施例的颜色混合校正可以被一起地执行。
虽然在以上说明中基于G(绿色)像素的信号值确定灵敏度比率校正系数,但是可以基于带有另一种颜色诸如R(红色)的像素的信号值确定灵敏度比率校正系数。
根据该实施例,能够从用于校正由滤色器引起的灵敏度的变化的校正系数(颜色混合)分开地计算用于校正由放大器共享结构引起的灵敏度的变化的校正系数(放大器共享灵敏度比率校正系数)。
进而,能够从拍摄的图像确定由放大器共享引起的灵敏度比率校正系数。这允许不再需要预先准备校正表格以及对于由变焦操作、镜头更换等导致的光学条件的改变作出调整。
<第四实施例>
图10是示出根据第四实施例的示例性图像拾取元件的主要部分的概略图。在根据该实施例的图像拾取元件12中,放大器共享结构是2×2阵列,并且滤色器的基本阵列是3×3阵列。在图中,附图标记“R”标记红色滤色器和像素,附图标记“G”标记绿色滤色器和像素,附图标记“B”标记蓝色滤色器和像素,并且附图标记“W”标记白色滤色器和像素。即,根据该实施例的图像拾取元件12包括白色像素。带有白色像素的图像拾取元件12w能够呈现比不带白色像素的图像拾取元件12更高的灵敏度,并且因此具有亮度噪声降低的效果。
在该实施例中,因为共享放大器66的共享结构图案由2×2像素构造,所以对于共享放大器66的相对位置存在四种类型。
图11是包括在图10中的图像拾取元件12的示例性图像拾取设备100的框图。图像拾取设备100类似于在图7中的图像拾取设备100包括灵敏度校正系数计算单元46,但是不同于图7所示根据第三实施例的图像拾取设备100之处在于,灵敏度校正系数计算单元46在其中包括白色像素信号值获取部46w,用于从存储在存储器20中的拾取图像获取白色像素的信号值。以下,仅仅描述与第三实施例的差异。
图12是示出根据第四实施例的示例性校正处理的流程的流程图。根据处于在图11中的CPU50控制下的程序执行该处理。
首先,CPU50指定第一区域(步骤S60)。
接着,灵敏度校正系数计算单元46从存储在存储器20中的拾取图像获取白色像素的信号值,并且对于在指定区域中的A至D组(四个组)的每一个像素组求W(白色)像素的信号值的平均,并且分别将它们设定为A_ave、B_ave、C_ave和D_ave(步骤S62)。A至D组分别是左上像素组、右上像素组、左下像素组和右下像素组。
接着,灵敏度校正系数计算单元46计算用于由B至D组的放大器共享结构引起的灵敏度比率的校正系数A_ave/B_ave、A_ave/C_ave和A_ave/D_ave(步骤S64)。
接着,CPU50确定指定区域是否是在校正覆盖范围中的最后区域(步骤S66),并且,在不是最后区域的情形中(在步骤S66中,否),将下一个区域设定为指定区域以重复步骤S62至S64(步骤S68)。
在确定在所有的指定区域中的灵敏度比率校正系数之后,CPU50执行灵敏度比率校正(步骤S70)。这个灵敏度比率校正与已经先前参考图4描述的根据第一实施例的处理相同,并且这里省略其说明。可以一起执行根据图5所示的第一实施例的颜色混合校正。
白色像素能够被视为基本等价于未在其上设置滤色器的像素,并且产生仅仅由放大器共享结构引起的灵敏度比率。因此,能够准确地分离由滤色器引起的灵敏度比率和由放大器共享结构引起的灵敏度比率。另外,因为白色像素具有比在其上设置滤色器的像素更高的灵敏度,所以易于确保校正系数的准确度。
在本发明中,“白色滤色器”不被特别地限制于滤色器呈现白色颜色的情形和未设置滤色器的情形(无滤色器的情形)。“白色滤色器”的示例包括无彩色滤色器。“白色滤色器”可以是相对于可见光(例如,具有80%或者更大的透射率)大致透明的滤色器。
虽然已经在以上示例中描述了白色像素被用作颜色像素中的一个的情形,但是可以通过稀疏(thinning)来减小白色像素的数目。在该情形中,能够缩短计算时间。
<共享结构图案的变化>
在以上第一至第四实施例中,如在图3、图6等中所示,已经作为一个示例描述了其中重复布置相同类型的共享结构图案CP的图像拾取元件12。然而,本发明不限于这种情形。容许其中像素布置图案不同的多个类型的共享结构图案被重复布置的图像拾取元件12。
图13示出其中像素布置图案不同的多个类型(多个集合)的共享结构图案CP1和CP2被重复布置的示例性图像拾取元件12的一部分。在图13中,“R”、“B”和“G”指示滤色器的颜色分别是红色、蓝色和绿色。第一共享结构图案CP1包括左上像素R11、左中像素G12、左下像素R13和右上像素G21。第二共享结构图案CP2包括左上像素B22、左中像素G23、左下像素B24和右下像素G34。然后,像素布置图案不同的两种类型的共享结构图案CP1和CP2被在水平方向x和竖直方向y上重复布置。
灵敏度校正单元42和颜色混合校正单元44对于该多种类型的共享结构图案CP1和CP2中的每一种取决于像素62对于共享放大器66的相对位置执行信号值的校正。
在本发明中,不同的共享结构图案的类型的数目不限于两个集合。
[滤色器阵列的各种示例]
以下,详细描述滤色器阵列的各种示例。
(滤色器阵列的第一示例)
在图14中示出根据第一示例的滤色器阵列。
图14示出设置在图像拾取元件12中的滤色器64的阵列(在下文中,被称作“滤色器阵列”)的一个示例。在每一个像素上,布置红色(R)、绿色(G)和蓝色(B)这三种类型的原色滤色器中的任何一个。
这里,包括光电转换元件的像素62被滤色器64隐藏并且放大器66也被滤色器64隐藏,从而实际上不能看到放大器66,但是在图14中,放大器66被透视地绘出以便区别关于放大器66的共享结构。
图14所示滤色器阵列具有以下第一至第三特征。
(第一特征)在图14所示滤色器阵列中,其中三种颜色类型(R、G和B)的滤色器64以正方形阵列(在该示例中,水平六个滤色器和竖直六个滤色器)混合布置的基本阵列图案BP(由粗边界框示出的图案)在水平方向x和竖直方向y上重复布置。即,在这个滤色器阵列中,R、G和B的每一个滤色器(R滤色器、G滤色器和B滤色器)被以预定周期布置。
因此,R滤色器、G滤色器和B滤色器被以预定周期布置,并且因此,当执行从图像拾取元件读出的R、G和B信号的同步(插值)处理(所谓的去马赛克处理)时,能够根据重复图案执行该处理。
(第二特征)与由共享放大器66和2×2像素构成的共享结构CP的布置周期(2×2)相比较,基本阵列图案BP的布置周期(6×6)在水平方向x和竖直方向y上都是三重的。基本阵列图案BP在其中包括至少一个同色正方形阵列图案GP,同色正方形阵列图案GP由分别对应于放大器共享结构(共享正方形阵列图案)中的2×2像素并且具有相同颜色的2×2滤色器64构成。即,基本阵列图案BP在其中包括其位置在水平方向x和竖直方向y上都与放大器共享结构中的2×2像素的位置一致的2×2滤色器(在同色正方形阵列图案中的GP滤色器)。
因此,基本阵列图案BP在其中包括同色正方形阵列图案GP中的滤色器,其位置在水平方向x和竖直方向y上都与共享结构中的2×2像素的位置一致,并且因此,能够容易基于对应于同色正方形阵列图案GP的2×2像素的信号值检测由放大器共享结构引起的灵敏度差异。
将描述第三特征。在图14中,如果关注基本阵列图案BP中的多种颜色(R、G和B)中的每一种,则对于每一种颜色,一个或者多个滤色器在基本阵列图案BP中被在水平方向x和竖直方向y上布置在每一行上。例如,关于“G”滤色器(在下文中,仅仅被称作“G”),一个或者多个滤色器在基本阵列图案BP中被布置在水平方向上x=0至5的每一行上和竖直方向上y=0至5的每一行上。类似地,关于“R”滤色器(在下文中,仅仅被称作“R”),一个或者多个滤色器在基本阵列图案BP中被布置在水平上方向x=0至5的每一行上和竖直方向上y=0至5的每一行上。类似地,关于“B”滤色器(在下文中,仅仅被称作“B”),一个或者多个滤色器在基本阵列图案BP中被布置在水平方向上x=0至5的每一行上和竖直上方向上y=0到5的每一行上。通过这个特征,能够抑制颜色云纹(假彩色)。
将描述第四特征。在图14中,在多个滤色器中,如果关注多种颜色(R、G和B)中的每一种,则存在这样的行,即,带有相同颜色的滤色器在水平方向x和竖直方向y上都以两种或者更多类型的布置间隔布置在同一行上。例如,如果关注y=0的水平行(在图中最高的水平行)上的“G”,则在坐标(0,0)处的“G”和坐标(2,0)处的“G”之间的间隔是两个像素,并且在坐标(2,0)处的“G”和坐标(3,0)处的“G”之间的间隔是一个像素。对于y=2、3和5的水平行同样如此。如果关注在y=1的水平行(图中的第二顶部水平行)上的“B”,则在坐标(0,1)处的“B”和坐标(2,1)处的“B”之间的间隔是两个像素,并且在坐标(2,1)处的“B”和坐标(6,1)处的“B”之间的间隔是四个像素。如果关注在y=1的同一水平行上的“R”,则在坐标(3,1)处的“R”和坐标(5,1)处的“R”之间的间隔是两个像素,并且在坐标(5,1)处的“R”和坐标(9,1)处的“R”之间的间隔是四个像素。对于y=4的水平行同样如此。而且,如果关注在竖直行上的每一种颜色,也同样如此。这种行至少以不大于基本阵列图案BP的重复周期(在水平方向x上六个像素,在竖直方向上六个像素)的间隔在水平方向x和竖直方向y上都存在。通过这个特征,能够以周期的图案抑制几何噪声的发生。
将描述第五特征。在基本阵列图案BP中,对应于亮度像素的G滤色器被如此布置,使得在水平方向、竖直方向和对角方向(NE和NW)中的每一个方向上包括一部分,该部分包括两个或者更多相继的G滤色器。
因为对应于亮度像素的G滤色器在水平、竖直和对角(NE和NW)方向上布置在滤色器阵列的行上,所以能够在不取决于高频发生的方向的情况下增强在高频区域中同步处理(去马赛克处理)的再现准确度。
将描述第六特征。在图14中,当在邻近于第一同色滤色器(在相对于放大器66的左上处的“G”)的多个滤色器(从12点钟方向顺时针,BRGGGBRG)、邻近于第二同色滤色器(在相对于放大器66的右上处的“G”)的多个滤色器(从3点钟方向顺时针,BRGGGBRG)、邻近于第三同色滤色器(在相对于放大器66的左下处的“G”)的多个滤色器(从6点钟方向顺时针,BRGGGBRG),和邻近于第四同色滤色器(在相对于放大器66的右下处的“G”)的多个滤色器(从9点钟方向顺时针,BRGGGBRG)之中,将构成同色正方形阵列图案GP的每一个滤色器64定义为第k个同色滤色器(k代表指定相对于放大器66的位置的、从1到4的整数)时,对于每一种颜色(两个R、四个G和两个B)的颜色组合(RGB)和数目是公共的。在该示例中,无论关注哪一个同色滤色器,相邻滤色器在相同的同色正方形阵列图案中都按照顺时针次序:BRGGGBRG来布置。即,任何同色滤色器均被在公共颜色阵列中布置的滤色器所包围。
图15示出与图14所示基本阵列图案BP被分隔成3×3像素的四个集合的状态有关的图。如在图15中所示,基本阵列图案BP能够被视为其中被实线框包围的3×3像素的A阵列,和被虚线框包围的3×3像素的B阵列在水平方向和竖直方向上交替布置的阵列。在A阵列和B阵列中的每一个中,作为亮度像素的G滤色器被布置在四个角部处、中心处和两条对角线上。在A阵列中,越过中心处的G滤色器,B滤色器在水平方向上排列并且R滤色器在竖直方向上排列。在另一方面,在B阵列中,越过中心处的G滤色器,R滤色器在水平方向上排列并且B滤色器在竖直方向上排列。即,在A阵列和B阵列中,在R滤色器和B滤色器之间的位置关系颠倒,但是其它布置是共同的。
图14所示基本阵列图案BP关于基本阵列图案的中心(在四个G滤色器中的中心)是点对称的。而且,如在图15中所示,在基本阵列图案中的A阵列和B阵列中的每一个关于中心处的G滤色器是点对称的,并且是上下和左右对称的(线对称的)。进而,如在图14中所示,G滤色器在滤色器阵列中被布置在每一条对角线(NE和NW)上,并且因此,图像拾取元件12的滤色器阵列具有使得能够进一步增强在高频区域中同步处理的再现准确度的特征。
(滤色器阵列的第二示例)
图16示出图像拾取元件的滤色器阵列的第二示例。
如在图16中所示,这个滤色器阵列包括是7×7像素的正方形阵列图案(由粗边界框示出的图案)的基本阵列图案BP,并且这个基本阵列图案BP在水平方向和竖直方向上重复布置。即,在这个滤色器阵列中,类似于根据图14所示第一示例的滤色器阵列,R、G和B中的每一个滤色器(R滤色器、G滤色器和B滤色器)以预定的周期布置(第一特征)。
基本阵列图案BP在其中包括其位置在水平方向x和竖直方向y上与放大器共享结构中的2×2像素的位置一致的2×2滤色器(同色正方形阵列图案GP中的滤色器)(第二特征)。
然而,在根据该示例的基本阵列图案BP中,奇数个滤色器在水平方向x和竖直方向y上这两者布置。由此,2×2G的同色图案被如此布置,使得在水平方向x和竖直方向y上,位置彼此偏离了奇数个像素(在该示例中,一个像素)。
2×2同色图案中的四个像素可以被布置成在水平方向x和竖直方向y上都偏离。即,2×2同色图案中的四个像素仅需要被布置为使得它们处于(2n,2m)、(2n+1,2m)、(2n,2m+1)和(2n+1,2m+1)这四个类型的位置。换言之,2×2的四个同色滤色器仅需要相对于放大器66处于四个不同的位置处。
因此,多个同色正方形阵列图案GP被布置成彼此偏离了奇数个像素,并且因此,能够提供基本阵列图案BP,其每一个必要包括与其中共享放大器66的共享结构图案(在图2中CP)匹配的一个或者多个同色正方形阵列图案GP。通过测量同色正方形阵列图案GP中的每一个像素的信号值,能够充分地测量并且校正由像素相对于放大器66的位置引起的特性的变化。
在以上示例中,已经描述了带有原色RGB的三种颜色类型的滤色器,或者RGBW的四种颜色类型的滤色器的图像拾取元件。然而,本发明不限于此,并且能够被应用于带有具有三原色RGB和另一种颜色(例如,翠绿色(E))的四种颜色类型的滤色器的图像拾取元件。
另外,本发明能够被应用于带有四种颜色类型的补色滤色器的图像拾取元件,四种颜色类型的互补滤色器具有青色(C)、洋红色(M)和黄色(Y)以及G,青色(C)、洋红色(M)和黄色(Y)是对于原色RGB的补色。
至此,已经作为一个示例描述了多像素仅仅共享放大器(放大元件)的情形。然而,显然本发明能够被应用于另一个电路元件的情形,如果该电路元件包括引起灵敏度差异的共享结构的话。在本发明中也理解在这种情形中的灵敏度校正。
仅仅在图中示出了基本阵列图案BP由6×6滤色器或者7×7滤色器构成的情形。然而,显然还容许其它滤色器数目(8×8、9×9…)。进而,基本阵列图案中的滤色器阵列不限于N×N正方形阵列,并且本发明能够被应用于带有N×M阵列的基本阵列图案。这里,鉴于在拍摄运动图像时便于诸如同步处理(去马赛克处理)和稀疏处理的图像处理,优选的是N和M是10或者更小。
本发明不限于在说明书中描述的示例和在图中示出的示例,并且当然可以在不偏离本发明的精神的情况下实现各种设计修改和改进。
附图标记列表
10...拍摄镜头
12...图像拾取元件
40...校正系数存储单元
42...灵敏度校正单元
44...颜色混合校正单元
46...灵敏度校正系数计算单元
50...CPU
62...像素
64...滤色器
66...放大器
100...图像拾取设备
Claims (13)
1.一种图像拾取设备,所述图像拾取设备包括:图像拾取元件,在所述图像拾取元件中,多个滤色器被分别布置于在水平方向和竖直方向上二维排列的多个像素上,所述像素的每一个包括光电转换元件;存储装置,所述存储装置存储用于校正所述图像拾取元件的所述像素的每一个的信号值的信息;和校正装置,所述校正装置使用存储在所述存储装置中的所述信息来校正所述图像拾取元件的所述像素的每一个的所述信号值,
其中所述图像拾取元件的所述多个像素以多像素为基础共享特定电路元件;
所述图像拾取元件的所述多个滤色器被如此布置,使得基本阵列图案在水平方向和竖直方向上重复,所述基本阵列图案混合地包括三种或者更多颜色类型的所述滤色器并且具有与包括所述特定电路元件和所述多像素的共享结构图案的布置周期不同的布置周期;
所述存储装置存储多个第一校正系数和多个第二校正系数,所述多个第一校正系数分别与所述图像拾取元件的所述多个滤色器的颜色相对应,所述多个第二校正系数分别与所述像素到所述图像拾取元件的所述特定电路元件的位置的多个相对位置相对应;并且
当所述校正装置针对所述图像拾取元件的所述多个像素的每一个并且校正每一个感兴趣的像素的信号值时,所述校正装置从存储在所述存储装置中的所述多个第一校正系数中选择与在所述感兴趣的像素上的所述滤色器的颜色相对应的第一校正系数,从存储在所述存储装置中的所述多个第二校正系数中选择与所述感兴趣的像素的所述相对位置相对应的第二校正系数,并且关于所述感兴趣的像素的所述信号值,利用选择的第一校正系数和选择的第二校正系数执行计算,
其中所述存储装置存储用于校正在所述像素之间的灵敏度比率的灵敏度比率校正系数、和用于校正在邻近于每一个像素的相邻像素上的所述滤色器的颜色混合的颜色混合校正系数,所述灵敏度比率校正系数和所述颜色混合校正系数包括所述第一校正系数和所述第二校正系数。
2.根据权利要求1所述的图像拾取设备,其中所述校正装置关于所述感兴趣的像素的所述信号值利用用于所述灵敏度比率校正系数和所述颜色混合校正系数中的一个的所述第一校正系数和所述第二校正系数执行计算,并且然后关于计算结果,利用用于所述灵敏度比率校正系数和所述颜色混合校正系数中的另一个的所述第一校正系数和所述第二校正系数执行计算。
3.根据权利要求1或者2所述的图像拾取设备,其中,作为所述多个第一校正系数,所述存储装置存储与所述图像拾取元件的所述滤色器的类型一样多的第一校正系数,在光谱特性方面,所述滤色器的类型是相互不同的。
4.根据权利要求1或2所述的图像拾取设备,其中,作为所述多个第二校正系数,所述存储装置存储与在所述图像拾取元件的所述共享结构图案的一个单元中存在的像素一样多的第二校正系数。
5.根据权利要求1或2所述的图像拾取设备,进一步包括计算所述第二校正系数的校正系数计算装置,所述校正系数计算装置通过在具有对于所述特定电路元件的位置不同的相对位置的像素之间比较所述信号值来计算所述第二校正系数,
其中所述存储装置存储由所述校正系数计算装置计算的所述第二校正系数。
6.根据权利要求5所述的图像拾取设备,其中,在由所述图像拾取元件产生的拾取图像的整个或者一部分中,所述校正系数计算装置通过对于所述特定电路元件的位置的所述相对位置的每一个遍及多个所述共享结构图案计算多个相同颜色像素的所述信号值的平均值,并且在相互不同的所述相对位置之间比较所述平均值,来计算所述第二校正系数。
7.根据权利要求6所述的图像拾取设备,其中所述图像拾取元件包括所述基本阵列图案的白色滤色器,并且
所述校正系数计算装置通过遍及多个所述基本阵列图案对与所述白色滤色器相对应的所述像素的所述信号值求平均,来计算所述第二校正系数。
8.根据权利要求1或2所述的图像拾取设备,其中多个类型的所述共享结构图案在所述图像拾取元件中重复布置,所述多个类型的共享结构图案在所述像素的布置图案方面是相互不同的,并且
所述校正装置对于所述多个类型的共享结构图案中的每一个取决于所述像素对于所述特定电路元件的位置的所述相对位置来校正所述信号值。
9.一种信号值校正方法,用于校正图像拾取元件的每一个像素的信号值,在所述图像拾取元件中,多个滤色器被分别布置于在水平方向和竖直方向上二维排列的多个像素上,所述像素的每一个包括光电转换元件,
其中所述图像拾取元件的所述多个像素以多像素为基础共享特定电路元件;
所述图像拾取元件的所述多个滤色器被如此布置,使得基本阵列图案在水平方向和竖直方向上重复,所述基本阵列图案混合地包括三种或者更多颜色类型的所述滤色器并且具有与包括所述特定电路元件和所述多像素的共享结构图案的布置周期不同的布置周期;并且
所述方法包括,预先在存储器件中存储多个第一校正系数和多个第二校正系数,所述多个第一校正系数分别与所述图像拾取元件的所述多个滤色器的颜色相对应,所述多个第二校正系数分别与所述像素对于所述图像拾取元件的所述特定电路元件的位置的多个相对位置相对应;并且当针对所述图像拾取元件的所述多个像素的每一个并且校正每一个感兴趣的像素的所述信号值时,从所述多个第一校正系数中选择与在所述感兴趣的像素上的所述滤色器的颜色相对应的第一校正系数,从所述多个第二校正系数中选择与所述感兴趣的像素的所述相对位置相对应的第二校正系数,并且关于所述感兴趣的像素的所述信号值,利用选择的第一校正系数和选择的第二校正系数执行计算,
所述方法包括在所述存储器件中存储用于校正在所述像素之间的灵敏度比率的灵敏度比率校正系数、和用于校正在邻近于每一个像素的相邻像素上的所述滤色器的颜色混合的颜色混合校正系数,所述灵敏度比率校正系数和所述颜色混合校正系数包括所述第一校正系数和所述第二校正系数。
10.根据权利要求9所述的信号值校正方法,其中所述方法包括
关于所述感兴趣的像素的所述信号值,利用用于所述灵敏度比率校正系数和所述颜色混合校正系数中的一个的所述第一校正系数和所述第二校正系数执行计算,并且然后关于计算结果,利用用于所述灵敏度比率校正系数和所述颜色混合校正系数中的另一个的所述第一校正系数和所述第二校正系数执行计算。
11.根据权利要求9或者10所述的信号值校正方法,其中所述方法包括通过在具有不同的对于所述特定电路元件的位置的相对位置的像素之间比较信号值来计算所述第二校正系数,并且在所述存储器件中存储计算的所述第二校正系数。
12.根据权利要求11所述的信号值校正方法,其中,在由所述图像拾取元件产生的拾取图像的整个或者一部分中,所述方法包括通过对于所述特定电路元件的位置的所述相对位置的每一个遍及多个所述共享结构图案计算多个相同颜色像素的信号值的平均值,并且在相互不同的所述相对位置之间比较平均值,来计算所述第二校正系数。
13.根据权利要求12所述的信号值校正方法,其中所述图像拾取元件包括所述基本阵列图案的白色滤色器,并且
所述方法包括通过遍及多个所述基本阵列图案对与所述白色滤色器相对应的所述像素的所述信号值求平均,来计算所述第二校正系数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-155136 | 2011-07-13 | ||
JP2011155136 | 2011-07-13 | ||
PCT/JP2012/065833 WO2013008598A1 (ja) | 2011-07-13 | 2012-06-21 | 撮像装置及び信号量補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103597821A CN103597821A (zh) | 2014-02-19 |
CN103597821B true CN103597821B (zh) | 2015-11-25 |
Family
ID=47505896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280026632.4A Expired - Fee Related CN103597821B (zh) | 2011-07-13 | 2012-06-21 | 图像拾取设备和信号值校正方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8780239B2 (zh) |
EP (1) | EP2733944B1 (zh) |
JP (1) | JP5486737B2 (zh) |
CN (1) | CN103597821B (zh) |
BR (1) | BR112014000041A2 (zh) |
WO (1) | WO2013008598A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012147515A1 (ja) * | 2011-04-28 | 2012-11-01 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
CN104429061B (zh) * | 2012-07-06 | 2016-04-13 | 富士胶片株式会社 | 彩色摄像元件和摄像装置 |
CN103854556B (zh) * | 2014-02-19 | 2016-05-18 | 北京京东方显示技术有限公司 | 基色子像素的电压补偿装置及方法、显示装置 |
JP6369233B2 (ja) | 2014-09-01 | 2018-08-08 | ソニー株式会社 | 固体撮像素子及びその信号処理方法、並びに電子機器 |
EP3270586A4 (en) * | 2015-03-12 | 2018-09-26 | Olympus Corporation | Image processing device, image processing method, and program |
US10514335B2 (en) * | 2017-09-08 | 2019-12-24 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Systems and methods for optical spectrometer calibration |
CN108305883A (zh) * | 2018-01-30 | 2018-07-20 | 德淮半导体有限公司 | 图像传感器 |
CN110365923A (zh) * | 2018-04-09 | 2019-10-22 | 印象认知(北京)科技有限公司 | 一种图像传感器 |
CN112087559B (zh) * | 2019-06-13 | 2021-11-30 | 华为技术有限公司 | 图像传感器、图像拍摄装置和方法 |
KR20210156553A (ko) * | 2020-06-18 | 2021-12-27 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
KR102661114B1 (ko) * | 2020-11-10 | 2024-04-25 | 삼성전자주식회사 | 카메라 모듈 검사 장치, 카메라 모듈 검사 방법 및 이미지 생성 장치 |
CN113936589B (zh) * | 2021-10-26 | 2022-09-30 | 卡莱特云科技股份有限公司 | 一种虚拟像素亮色度校正方法及装置 |
CN113936590B (zh) * | 2021-10-26 | 2022-09-16 | 卡莱特云科技股份有限公司 | 基于虚拟像素led显示屏的亮度校正方法、装置及显示系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6992714B1 (en) * | 1999-05-31 | 2006-01-31 | Canon Kabushiki Kaisha | Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement |
CN101437166A (zh) * | 2007-11-13 | 2009-05-20 | 索尼株式会社 | 图像拾取装置,修正被捕获的图像数据的方法和程序 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3697073B2 (ja) * | 1998-08-05 | 2005-09-21 | キヤノン株式会社 | 撮像装置及びそれを用いた撮像システム |
US6956605B1 (en) | 1998-08-05 | 2005-10-18 | Canon Kabushiki Kaisha | Image pickup apparatus |
JP3559714B2 (ja) | 1998-09-02 | 2004-09-02 | キヤノン株式会社 | 撮像装置およびそれを用いた撮像システム |
US6734906B1 (en) | 1998-09-02 | 2004-05-11 | Canon Kabushiki Kaisha | Image pickup apparatus with photoelectric conversion portions arranged two dimensionally |
JP2001292453A (ja) * | 2000-04-07 | 2001-10-19 | Canon Inc | カラー撮像装置及びそれを用いた撮像システム |
US7667764B2 (en) * | 2004-06-04 | 2010-02-23 | Konica Minolta Holdings, Inc. | Image sensing apparatus |
US20060119724A1 (en) * | 2004-12-02 | 2006-06-08 | Fuji Photo Film Co., Ltd. | Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method |
JP4724414B2 (ja) * | 2004-12-02 | 2011-07-13 | 富士フイルム株式会社 | 撮像装置、デジタルカメラ、及びカラー画像データ生成方法 |
JP4389865B2 (ja) * | 2005-11-17 | 2009-12-24 | ソニー株式会社 | 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置 |
JP4289419B2 (ja) * | 2007-05-07 | 2009-07-01 | ソニー株式会社 | 撮像装置、欠陥画素補正装置およびこれらにおける処理方法ならびにプログラム |
JP2008288649A (ja) | 2007-05-15 | 2008-11-27 | Sony Corp | 撮像装置および撮像データ補正方法 |
KR100976284B1 (ko) * | 2007-06-07 | 2010-08-16 | 가부시끼가이샤 도시바 | 촬상 장치 |
US7745779B2 (en) * | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
JP5311916B2 (ja) * | 2008-07-31 | 2013-10-09 | 株式会社エルモ社 | 撮像装置 |
JP5438579B2 (ja) * | 2010-03-29 | 2014-03-12 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
-
2012
- 2012-06-21 JP JP2013523874A patent/JP5486737B2/ja not_active Expired - Fee Related
- 2012-06-21 BR BR112014000041A patent/BR112014000041A2/pt not_active IP Right Cessation
- 2012-06-21 WO PCT/JP2012/065833 patent/WO2013008598A1/ja active Application Filing
- 2012-06-21 EP EP12811293.5A patent/EP2733944B1/en not_active Not-in-force
- 2012-06-21 CN CN201280026632.4A patent/CN103597821B/zh not_active Expired - Fee Related
-
2013
- 2013-12-12 US US14/104,723 patent/US8780239B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6992714B1 (en) * | 1999-05-31 | 2006-01-31 | Canon Kabushiki Kaisha | Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement |
CN101437166A (zh) * | 2007-11-13 | 2009-05-20 | 索尼株式会社 | 图像拾取装置,修正被捕获的图像数据的方法和程序 |
Also Published As
Publication number | Publication date |
---|---|
WO2013008598A1 (ja) | 2013-01-17 |
BR112014000041A2 (pt) | 2017-02-07 |
JPWO2013008598A1 (ja) | 2015-02-23 |
JP5486737B2 (ja) | 2014-05-07 |
EP2733944A1 (en) | 2014-05-21 |
US8780239B2 (en) | 2014-07-15 |
CN103597821A (zh) | 2014-02-19 |
EP2733944B1 (en) | 2016-08-03 |
US20140104465A1 (en) | 2014-04-17 |
EP2733944A4 (en) | 2015-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103597821B (zh) | 图像拾取设备和信号值校正方法 | |
CN103650487B (zh) | 图像拾取设备、图像拾取元件,和用于校正灵敏度差异的方法 | |
CN102959958B (zh) | 彩色成像设备 | |
US8704922B2 (en) | Mosaic image processing method | |
CN102870405B (zh) | 彩色成像元件 | |
CN104412580B (zh) | 彩色摄像元件以及摄像装置 | |
US9159758B2 (en) | Color imaging element and imaging device | |
CN104412581B (zh) | 彩色摄像元件及摄像装置 | |
US9324749B2 (en) | Color imaging element and imaging device | |
US9036061B2 (en) | Color imaging apparatus | |
JPWO2014006930A1 (ja) | カラー撮像素子および撮像装置 | |
CN103416067A (zh) | 摄像装置及摄像程序 | |
CN104412582A (zh) | 彩色摄像元件和摄像装置 | |
CN103621070B (zh) | 摄像装置及摄像装置的控制方法 | |
CN103430552B (zh) | 摄像装置 | |
CN104025575B (zh) | 摄像装置及摄像装置的控制方法 | |
JP4119565B2 (ja) | カラー撮像素子及びカラー撮像装置 | |
JP2000253413A (ja) | 撮像素子及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151125 Termination date: 20210621 |
|
CF01 | Termination of patent right due to non-payment of annual fee |