CN102640500A

CN102640500A - 图像处理设备

Info

Publication number: CN102640500A
Application number: CN2009801627421A
Authority: CN
Inventors: 平井信也
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-04
Filing date: 2009-12-04
Publication date: 2012-08-15
Anticipated expiration: 2029-12-04
Also published as: WO2011067850A1; GB2488283A; KR101391161B1; DE112009005418B4; JP5591261B2; RU2519829C2; KR20120098802A; JPWO2011067850A1; GB201209769D0; GB2488283B; CN102640500B; DE112009005418T5; US8508625B2; US20110134292A1; BR112012013067A2; RU2012127768A

Abstract

设置频带处理电路和亮度/颜色生成电路，频带处理电路从图像信号生成多个频带的图像信号并且对多个频带的图像信号进行合成来抑制噪声，亮度/颜色生成电路生成抑制了混叠信号的亮度信号。在频带处理电路要进行合成的多个频带的图像信号中，频带最高的图像信号包括亮度/颜色生成电路所生成的抑制了混叠信号的亮度信号。

Description

图像处理设备

技术领域

本发明涉及抑制在图像信号中生成的混叠信号的图像处理。

背景技术

诸如CCD传感器和CMO S传感器等的摄像元件包括各种类型的颜色滤波器。这种颜色滤波器的典型例子包括具有原色(红色、绿色和蓝色)或者互补色(青色、品红色和黄色)的组合的颜色滤波器。

图13是示出摄像元件的原色拜尔排列的图。在包括四个像素的矩阵中，与红色(R)相对应的像素和与蓝色(B)相对应的像素被对角配置，以及在剩余两个像素中配置与绿色(G1和G2)相对应的像素。重复该配置图案。

当被摄体包括超过摄像元件的分辨能力的高频成分时，由于高频成分的影响而在摄像元件所生成的图像信号中生成混叠信号。因此，提出了用于抑制混叠信号的生成的各种方法。

例如，为了抑制混叠信号的生成，提出了不使用图13所示的原色拜尔排列中与R和B像素相对应的信号，而仅使用与G(G1和G2)像素相对应的信号来生成亮度信号的方法。

首先，在通过对从摄像元件的原色拜尔排列输出的信号进行数字化而获得的与R、G和B像素相对应的信号中，将除了与G像素相对应的信号以外的信号的值确定为0。接着，进行垂直低通滤波器(V-LPF)处理以限制垂直方向上的频带，以及进行水平低通滤波器(H-LPF)处理以限制水平方向上的频带。由此，在像素中生成通过使用与G像素相对应的信号进行插值后的信号，并获得与G像素相对应的亮度信号。之后，将通过该方法获得的信号称为“第一亮度信号”。

可选地，可以将除了与R像素相对应的信号以外的信号的值确定为0，并且可以同样进行V-LPF处理和H-LPF处理以生成与R像素相对应的亮度信号。此外，可以将除了与B像素相对应的信号以外的信号的值确定为0，并且可以同样进行V-LPF处理和H-LPF处理以生成与B像素相对应的亮度信号。然后，可以将R亮度信号和B亮度信号加到G亮度信号，并且可以将所生成的信号确定为第一亮度信号。

此外，为了抑制混叠信号的生成，提出了使用图13所示的原色拜尔排列中包括的所有颜色信号来生成亮度信号的方法。

使用与所有颜色的像素相对应的信号，即通过对从具有原色拜尔排列的摄像元件输出的信号进行数字化而获得的与R、G和B像素相对应的信号，在不区别信号的颜色的情况下，用于进行限制垂直方向上的频带的V-LPF处理和用于限制水平方向上的频带的H-LPF处理。以这种方式，新获得信号。之后，将通过该方法获得的信号称为“第二亮度信号”。

图14是示出第一亮度信号和第二亮度信号的可以分辨的空间频率的特性的图。

x轴表示水平(H)方向上的频率空间，以及y轴表示垂直(V)方向上的频率空间。离原点的位置越远，空间频率越高。

仅使用与G像素相对应的信号所生成的第一亮度信号在水平和垂直方向上的分辨率的极限等于G像素的排列的奈奎斯特频率(π/2)。然而，由于在倾斜方向上存在不包括G像素的行，因而倾斜方向上的极限分辨率频率小于水平方向和垂直方向上的极限分辨率频率。因此，图14所示的菱形的区域1501与可以分辨的空间频率相对应。

由于在R、G和B亮度信号中，仅使用与G像素相对应的信号所生成的G亮度信号具有最高的分辨率，因而这对于通过对R、G和B亮度信号进行合成来生成第一亮度信号的情况是相同的。

另一方面，由于使用与所有颜色的像素相对应的信号来生成第二亮度信号，因而当被摄体是非彩色时，图14所示的正方形区域1502与可以分辨的空间频率相对应。与第一亮度信号不同，由于所有行还在倾斜方向上具有彩色像素，因而倾斜方向上的可以分辨的空间频率高于第一亮度信号的可以分辨的空间频率。然而，当读取被摄体时，例如忽略从除R像素以外的像素输出的信号，因此，仅获得区域1503中的分辨率，该分辨率是在非彩色被摄体的情况下所获得的分辨率的四分之一。

为了抑制图像信号中包括的混叠信号的生成，提出了考虑了这种第一亮度信号和第二亮度信号的特性的用于生成亮度信号的方法。

例如，提出了用于通过根据关于被摄体是黑白被摄体还是彩色被摄体的判断而改变第一亮度信号和第二亮度信号的混合率来生成亮度信号的方法(参考专利文献1)。

此外，提出了用于通过根据关于被摄体是否具有如图14所示的倾斜方向上的高相关性的判断而改变第一亮度信号和第二亮度信号的混合率来生成亮度信号的方法(参考专利文献2)。

然而，尽管这些方法在抑制混叠信号的生成方面具有优点，但不抑制其它噪声信号。

例如，近年来，摄像元件的像素已经小型化。因此，在一些情况下，噪声由于小型化后的像素而增大。尽管提出了通过进行信号处理来抑制噪声的生成的各种方法，但已广泛知道抑制噪声的生成会导致图像的模糊的事实。

为了避免这个问题，已知用于通过将图像信号分割成多个频率成分来抑制噪声的生成的方法(参考专利文献3)。此外，已知用于生成缩小后的图像信号并将缩小后的图像信号和原始信号进行合成以抑制噪声的生成的方法(参考专利文献4)。

例如，对所输入的图像信号进行缩小处理，以使得生成包括比输入图像的频率成分低的频率成分的缩小图像。然后，从具有低频成分的缩小图像信号检测边缘强度，并且根据边缘强度获得要保持边缘成分的区域。之后，在将各种权重应用至区域的情况下将原始图像信号和具有低频成分的缩小图像信号进行合成，以使得在要保持边缘成分的区域中包括的图像不模糊，从而生成另一图像信号。

引用列表

专利文献

专利文献1：日本特开2003-348609

专利文献2：日本特开2008-072377

专利文献3：日本特开2008-015741

专利文献4：日本特开2009-199104

发明内容

发明要解决的问题

然而，用于通过对具有多个频带的图像信号进行合成来抑制噪声的生成的该方法中未考虑混叠信号。

当使用诸如原色拜尔排列的单板传感器时，通过在带分割时进行下采样(downsample)处理，在没有进行插值的情况下，各像素具有所有颜色信号。

以下说明其原因。这里将说明对水平方向上的一半像素进行下采样处理的情况。

假定在特定行中顺次排列颜色滤波器R、G、R、G等。在该行中，当仅关注R信号时，通过下采样处理将原本每隔一个像素排列的R信号变为每个像素的R信号。此外，当仅关注G信号时，通过下采样处理将原本每隔一个像素排列的G信号变为每个像素的G信号。注意，在对G信号所进行的下采样处理中，通过使用相邻的像素值计算平均值来获得值，以使得G信号的重心位置与R信号的重心位置相对应。如上所述，通过进行下采样处理，在没有插值的情况下在相同的像素位置生成R、G和B所有的颜色信号。以下，将在相同的像素位置生成多种类型的信号的该处理称为“同时化”。

由于对进行了下采样处理的图像信号进行同时化，因而应当对原始图像信号进行同时化以将原始图像信号与进行了下采样处理的图像信号进行合成。然而，与为了抑制噪声的生成所进行的下采样处理无关，当对原始图像信号进行同时化时，可能将原始图像信号中包括的混叠信号重叠在合成后的图像信号上。

考虑上述问题做出本发明，并且本发明的目的是提供以下图像处理设备，该图像处理设备通过将输入信号分割成多个频带来进行噪声处理并且能够抑制由摄像元件所进行的采样生成的图像信号中包括的混叠信号的生成。

用于解决问题的方案

为了解决上述问题，根据本申请的权利要求1的本发明提供一种图像处理设备，包括：生成部件，用于接收图像信号，并且从该图像信号生成不同频带的多个图像信号；合成部件，用于对所述生成部件所生成的所述多个图像信号进行合成；第一亮度信号生成部件，用于接收包括具有第一颜色信号的多个颜色信号的图像信号，并且使用通过利用所述第一颜色信号对与所述第一颜色信号不对应的像素进行插值而获得的图像信号来生成第一亮度信号；第二亮度信号生成部件，用于接收包括具有所述第一颜色信号的多个颜色信号的图像信号，并且在不区别该多个颜色信号的情况下使用该多个颜色信号来生成第二亮度信号；以及亮度混合部件，用于通过对所述第一亮度信号和所述第二亮度信号进行合成、或者通过选择所述第一亮度信号和所述第二亮度信号之一来生成亮度信号，其中，在所述合成部件要进行合成的所述多个图像信号中频带最高的图像信号包括所述亮度混合部件所生成的亮度信号。

同样，为了解决上述问题，根据本申请的权利要求7的本发明提供一种图像处理方法，包括：生成步骤，用于接收图像信号，并且从该图像信号生成不同频带的多个图像信号；合成步骤，用于对在所述生成步骤中所生成的所述多个图像信号进行合成；第一亮度信号生成步骤，用于接收包括具有第一颜色信号的多个颜色信号的图像信号，并且使用通过利用所述第一颜色信号对与所述第一颜色信号不对应的像素进行插值而获得的图像信号来生成第一亮度信号；第二亮度信号生成步骤，用于接收包括具有所述第一颜色信号的多个颜色信号的图像信号，并且在不区别该多个颜色信号的情况下使用该多个颜色信号来生成第二亮度信号；以及亮度混合步骤，用于通过对所述第一亮度信号和所述第二亮度信号进行合成、或者通过选择所述第一亮度信号和所述第二亮度信号之一来生成亮度信号，其中，在所述合成步骤中要进行合成的所述多个图像信号中频带最高的图像信号包括在所述亮度混合步骤中所生成的亮度信号。

发明的效果

如上所述，根据本发明，可以在执行通过将图像信号分割成多个频带来抑制噪声的处理的同时抑制混叠信号的生成。

附图说明

图1是示意性示出根据本发明实施例的数字静态照相机的结构的图。

图2是示出根据本发明第一实施例的图像处理电路105的结构的一部分的图。

图3是示出图2所示的图像处理电路105所进行的处理的流程图。

图4是示出图2所示的第一亮度信号生成电路204所进行的生成第一亮度信号Ya的处理的图。

图5是示出图2所示的第二亮度信号生成电路205所进行的生成第二亮度信号Yb的处理的图。

图6是示出根据饱和度S获得的第一亮度信号的混合率α的图。

图7是示出放大电路212所进行的上采样(upsample)处理的图。

图8是示出合成率计算电路209所进行的边缘检测所使用的滤波器系数的图。

图9是示出针对边缘成分的高频层图像信号的混合率β的图。

图10是示出根据本发明第二实施例的图像处理电路105的结构的一部分的图。

图11是示出图10所示的图像处理电路105所进行的处理的流程图。

图12是示出根据本发明第三实施例的图像处理电路105的结构的一部分的图。

图13是示出摄像元件的原色拜尔排列的图。

图15是示出通过下采样处理使得各像素具有所有颜色信号的情况的图。

具体实施方式

第一实施例

图1是示意性示出根据本发明实施例的数字静态照相机的结构的图。除了数字静态照相机以外还可以通过数字摄像机和个人计算机来实现本发明，只要装置可以对图像信号进行图像处理即可。

在图1中，光学系统101包括具有变焦透镜和调焦透镜的透镜单元、光圈装置和快门装置。光学系统101控制要供给至摄像元件102的被摄体图像的倍率和聚焦位置、以及光量。摄像元件102与诸如CCD(电荷耦合装置)传感器和CMOS(互补金属氧化物半导体)传感器等的光电转换元件相对应，并通过将被摄体图像转换成电信号来生成图像信号。在本实施例中，摄像元件102由CCD传感器构成。

预处理电路103包括CDS(相关双采样)电路和放大电路。CDS电路用于抑制摄像元件102所生成的图像信号中的暗电流的生成，以及放大电路用于对从CDS电路输出的图像信号进行放大。A/D转换器104将从预处理电路103输出的图像信号转换成数字图像信号。

图像处理电路105对图像信号进行白平衡处理、噪声抑制处理、灰度转换处理和轮廓校正处理以将图像信号转换成要输出的亮度信号Y以及色差信号U和V。此外，图像处理电路105根据图像信号来计算被摄体的亮度值和表示被摄体的聚焦状态的聚焦值。图像处理电路105还可以对从记录介质109读取的图像信号和从A/D转换器104输出的图像信号进行相同的图像处理。控制电路106控制根据本实施例的数字静态照相机中包括的各种电路以控制数字静态照相机的操作。控制电路106还根据从图像处理电路105处理后的图像信号获得的亮度值或从操作构件110供给的指示来对光学系统101和摄像元件102进行驱动控制。

显示存储器107临时存储与要在显示装置108中显示的图像相对应的图像信号。显示装置108包括液晶显示器或电致发光显示器，并使用摄像元件102所生成的图像信号或从记录介质109读取的图像信号来显示图像。显示装置108在适当情况下更新并显示从摄像元件102连续读取的图像信号以用作电子取景器。显示装置108不仅可以显示图像还可以显示数字静态照相机的状态、用户所选择的或者照相机所确定的快门速度、光圈值、包括感光度信息的文本信息以及表示图像处理电路105所测量得到的亮度分布的图。记录介质109可以从数字静态照相机拆卸，或者可以安装在数字静态照相机中。

当从用户将指示供给至数字静态照相机时对操作构件110进行操作。总线111用于在图像处理电路105、控制电路106、显示存储器107和记录介质109之间传送图像信号。

接着，将说明根据本实施例的数字静态照相机的摄像时所进行的操作的例子。

当用户操作操作构件110以使得供给用于开始摄像准备的指示时，控制电路106开始控制电路的操作。

摄像元件102对从光学系统101供给的被摄体图像进行光电转换以生成模拟图像信号。A/D转换器104对处理电路103处理后的模拟图像信号进行数字化。图像处理电路105对从A/D转换器104输出的图像信号进行白平衡处理、噪声抑制处理、灰度转换处理和轮廓校正处理。

将图像处理电路105处理后的图像信号供给至显示存储器107并且将其作为图像显示在显示装置108中。如上所述，摄像元件102连续生成图像信号，并且显示装置108在适当情况下使用所读取的连续的图像信号来实时更新和显示被摄体图像以用作电子取景器。

重复进行该处理直到用户对操作构件110中包括的快门按钮进行操作为止。当用户操作快门按钮时，控制电路106根据图像处理电路105所获得的亮度值和聚焦值来再次控制光学系统101的操作并且进行静止图像的拍摄。图像处理电路105对与静止图像相对应的图像信号进行包括噪声抑制处理的各种图像处理。然后，记录介质109记录从图像处理电路105输出的图像信号。

这里，将详细说明作为本发明的特征的图像处理电路105所进行的噪声抑制处理。图2是示出图像处理电路105的结构的一部分的图。

图像处理电路105包括白平衡电路201、亮度/颜色生成电路202和频带处理电路203。亮度/颜色生成电路202包括第一亮度信号生成电路204、第二亮度信号生成电路205、亮度混合电路206和颜色生成电路207。频带处理电路203包括噪声抑制电路208、合成率计算电路209、缩小电路210、噪声抑制电路211、放大电路212和图像合成电路213。

图3是示出图像处理电路105中包括的白平衡电路201、亮度/颜色生成电路202和频带处理电路203所进行的处理的流程图。当接收到从A/D转换器104输出的图像信号时，图像处理电路105进行图3所示的流程图中包括的处理。

在步骤S301中，白平衡电路201对从A/D转换器104供给的图像信号进行白平衡处理。这里，图像信号具有RAW格式，以及各像素具有与R、G或B相对应的颜色信号。白平衡电路201计算各颜色信号的增益系数以使得相对于被认作为白色被摄体的被摄体的R、G和B的信号水平基本相等。注意，可以利用一般的方法进行增益系数的计算，因此，省略对其的详细说明。

在步骤S302中，第一亮度信号生成电路204生成第一亮度信号Ya。图4是示出第一亮度信号生成电路204所进行的生成第一亮度信号Ya的处理的图。

如图4所示，第一亮度信号生成电路204接收从白平衡电路201输出的拜尔排列的RAW格式的图像信号，并根据颜色来分离RAW格式的图像信号。具体地，生成包括通过对除G像素以外的像素的信号插入0而获得的G信号的图像信号、包括通过对除R像素以外的像素的信号插入0而获得的R信号的图像信号、和包括通过对除B像素以外的像素的信号插入0而获得的B信号的图像信号。

接着，第一亮度信号生成电路204通过插值处理而生成像素的颜色信号，由此进行同时化。

例如，在包括R信号的图像信号中，假定未进行插值处理的坐标(m,n)处的信号由R(m,n)表示，以及进行了插值处理的坐标(m,n)处的信号由Ra(m,n)表示，通过以下表达式(1)~(4)计算进行了插值处理的信号Ra(m,n)。

Ra(1,1)=R(1,1) (1)

Ra(1,2)={R(1,1)+R(1,3)}/2 (2)

Ra(2,1)={R(1,1)+R(3,1)}/2 (3)

Ra(2,2)={R(1,1)+R(1,3)+R(3,1)+R(3,3)}/4 (4)

在包括B信号的图像信号中，利用同样的方法获得进行了插值处理的信号Ba(m,n)。

此外，在包括G信号的图像信号中，可以通过以下表达式(5)~(8)计算进行了插值处理的信号Ga(m,n)。

Ga(2,2)={G(1,2)+G(3,2)+G(2,1)+G(2,3)}/4 (5)

Ga(2,3)={4×G(2,3)+G(1,2)+G(1,4)+G(3,2)+G(3,4)}/8(6)

Ga(3,2)={4×G(3,2)+G(2,1)+G(2,3)+G(4,1)+G(4,3)}/8(7)

Ga(3,3)={G(2,3)+G(4,3)+G(3,2)+G(3,4)}/4 (8)

这些插值方法仅仅是例子，并且可以使用各种其它公知的插值方法。例如，为了抑制原始信号的高频特性的劣化，可以预先判断被摄体的各个方向上的相关性，并将较大的权重应用至位于相关性最高的方向上的信号，以进行插值处理。

将如上所述获得的Ra、Ga和Ba信号代入以下表达式(9)，以获得坐标(m,n)处的第一亮度信号Ya(m,n)。

Ya(m,n)=0.3×Ra(m,n)+0.6×Ga(m,n)+0.1×Ba(m,n) (9)

然后，第一亮度信号生成电路204将所获得的第一亮度信号Ya供给至亮度混合电路206。

注意，采用使用Ra、Ga和B a信号获得第一亮度信号Ya的情况作为例子来进行了说明。然而，可以使用Ga信号作为第一亮度信号Ya。

在步骤S 303中，第二亮度信号生成电路205生成第二亮度信号Yb。与第一亮度信号Ya不同，在不区别颜色的情况下使用所有颜色的像素信号来生成第二亮度信号Yb。图5是示出第二亮度信号生成电路205所进行的生成第二亮度信号Yb的处理的图。

第二亮度信号生成电路205接收从白平衡电路201输出的图5所示的RAW格式的图像信号。第二亮度信号生成电路205对RAW格式的图像信号进行垂直低通滤波器(V-LPF)处理和水平低通滤波器(H-LPF)处理，以生成第二亮度信号Yb。在V-LPF处理和H-LPF处理中，例如，使用由[1,2,1]表示的滤波器系数。可选地，可以根据图像信号的边缘状态和与周围像素的相关水平来适当改变滤波器方向和滤波器系数。

注意，可以省略要由第二亮度信号生成电路205进行的处理，并且可以使用RAW格式的图像信号作为第二亮度信号Yb。即，第二亮度信号Yb可以通过以下表达式(10)~(13)针对各像素来获得。

Yb(1,1)=R(1,1) (10)

Yb(1,2)=G(1,2) (11)

Yb(2,1)=G(2,1) (12)

Yb(2,2)=B(2,2) (13)

在步骤S304中，亮度混合电路206混合第一亮度信号Ya和第二亮度信号Yb以生成亮度信号Yp。假定亮度信号Yp中第一亮度信号的混合率由α表示，亮度混合电路206通过针对各像素将第一亮度信号Ya和第二亮度信号Yb代入以下表达式(14)来获得针对各像素的亮度信号Yp。

Yp=α×Ya+(1-α)×Yb (14)

注意，在本实施例中，亮度混合电路206根据被摄体的饱和度S来确定亮度信号Yp中第一亮度信号的混合率α。将说明用于获得混合率α的方法。与第一亮度信号生成电路204一样，亮度混合电路206根据颜色来分离RAW格式的图像信号以进行同时化。然后，通过针对各像素将R信号和G信号之间的差的绝对值与B信号和G信号之间的差的绝对值相加来获得针对各像素的饱和度S。

S=|R-G|+|B-G| (15)

亮度混合电路206从未示出的存储器读取根据饱和度S所获得的混合率α。图6是示出根据饱和度S所获得的第一亮度信号的混合率α的图。如图6所示，亮度混合电路206针对具有高饱和度的像素进行控制以获得大的混合率α，即，获得第一亮度信号Ya的大的混合率；而针对具有低饱和度的像素获得小的混合率α，即，获得第二亮度信号Yb的大的混合率。

注意，用于获得第一亮度信号Ya和第二亮度信号Yb之间的混合率的方法不限于此，并且可以将使用R和G信号之间的差的绝对值所获得的混合率与使用B和G信号之间的差的绝对值所获得的混合率相乘，从而确定最终的混合率。可选地，第一亮度信号Ya和第二亮度信号Yb可以不进行相加来合成，而是可以仅选择第一亮度信号Ya和第二亮度信号Yb中具有较高混合率的信号。可选地，当将特定区域判断为在倾斜方向上具有比阈值高的相关性时，可以仅针对该区域使用第二亮度信号Yb。此外，由于第一亮度信号Ya的高频成分中包括的颜色结构比与第二亮度信号Yb的不同，因而当被摄体具有占据被摄体的大区域的特定颜色时，第一亮度信号Ya和第二亮度信号Yb的值显著不同。因此，可以获得第一亮度信号Ya的低频成分和第二亮度信号Yb的高频成分并将其进行合成，从而获得第三亮度信号Yc，并且可以以上述混合率来混合第三亮度信号Yc和第一亮度信号Ya。

在步骤S 305中，颜色生成电路207使用从白平衡电路201输出的RGB信号来生成色差信号Up和Vp。颜色生成电路207通过对RGB信号进行颜色插值处理、伪色去除处理和矩阵转换来生成色差信号Up和Vp。可以使用一般的方法作为用于生成色差信号Up和Vp的方法。由于普遍知道这些方法，因而省略对其的详细说明。

通过进行步骤S301~S305的处理，在亮度/颜色生成电路202中生成色差信号Up和Vp以及抑制了混叠信号的亮度信号Yp，并且将这些信号供给至频带处理电路203。

在步骤S306中，缩小电路210接收亮度混合电路206所生成的亮度信号Yp以及颜色生成电路所生成的色差信号Up和Vp，并使用所接收到的信号生成具有较低频带的图像信号。

缩小电路210对亮度信号Yp以及色差信号Up和Vp使用由[1,2,1]所表示的滤波器系数来进行V-LPF处理和H-LPF处理。然后，缩小电路210对亮度信号Yp以及色差信号Up和Vp进行下采样处理，从而在水平和垂直方向上将像素数减少一半。以这种方式，缩小电路210生成亮度信号Y_low以及色差信号U_low和V_low。

在本实施例中，低频层图像信号的最高频带与高频层图像信号的最高频带的一半相对应，并且高频层图像信号的低频侧的频带与低频层图像信号的频带重叠。

在步骤S 307中，噪声抑制电路208对高频层图像信号进行噪声抑制处理，以及噪声抑制电路211对低频层图像信号进行噪声抑制处理。由于噪声抑制电路208所进行的处理的内容和噪声抑制电路211所进行的处理的内容相同，因而在本实施例中将采用噪声抑制电路208所进行的噪声抑制处理作为例子来进行说明。

噪声抑制电路208使用高频层图像信号的关注像素的亮度信号Yp和以关注像素作为中心的5行和5列的矩阵中包括的周围像素的亮度信号Yp来进行噪声抑制处理。

噪声抑制电路208计算关注像素的亮度信号Yp和周围像素的亮度信号Yp之间的差的绝对值，并将绝对值与阈值进行比较。具体地，假定关注像素的亮度信号Yp由Yp(s,t)表示，周围像素的亮度信号Yp由Yp(i,j)表示，以及阈值由TH_Y表示，如下获得满足表达式(16)的亮度信号Y(i,j)。

|Yp(i,j)-Yp(s,t)|<TH_Y

其中，s-2≤i≤s+2,t-2≤j≤t+2 (16)

在提取满足表达式(16)的亮度信号Y(i,j)之后，将其平均值代入关注像素的亮度信号Yp(s,t)。

此外，假定关注像素的色差信号由Up(s,t)和Vp(s,t)表示，周围像素的值由Up(i,j)和Vp(i,j)表示，以及阈值由TH_C表示，如下获得满足表达式(17)的值Up(i,j)和Vp(i,j)。

|Up(i,j)-Up(s,t)|+|Vp(i,j)-Vp(s,t)|<TH_C

其中，s-2≤i≤s+2,t-2≤j≤t+2 (17)

然后，提取满足表达式(17)的值Up(i,j)和值Vp(i,j)，并且将值Up(i,j)和值Vp(i,j)的平均值分别代入色差信号Up(s,t)和Vp(s,t)。

噪声抑制电路208通过对所有像素进行关于亮度信号Yp以及色差信号Up和Vp的处理来抑制高频层图像信号的噪声。注意，由于不能对位于像素信号的边缘部的像素设置5行和5列的矩阵的范围，因而通过适当地改变用于设置周围像素的方法来对这种像素进行噪声抑制。

噪声抑制电路211还通过对低频层图像信号的亮度信号Y_low以及色差信号U_low和V_low进行同样的处理来抑制低频层图像信号的噪声。然而，用于抑制噪声的方法显然不限于此，并且可以使用用于抑制噪声的其它已知的方法。

然后，将被噪声抑制电路211进行了噪声抑制处理的低频层图像信号供给至放大电路212。放大电路212对经过了噪声抑制处理的低频层图像信号进行上采样处理，以使得低频层图像信号的像素数变得与高频层图像信号的像素数相等。具体地，如图7所示，使低频层图像信号的像素数翻倍，并将新生成的像素的信号设置为0。然后，例如，通过使用周围像素的值对具有值0的像素进行线性插值来将信号分配给所有像素。对亮度信号Y_low以及色差信号U_low和V_low进行该处理。

在步骤S308中，合成率计算电路209计算高频层图像信号和低频层图像信号之间的合成率。具体地，合成率计算电路209使用图8所示的滤波器获得高频层图像信号的亮度信号Yp的像素的边缘成分。然后，合成率计算电路209从未示出的存储器读取与边缘成分相对应的混合率β。图9是示出针对边缘成分的高频层图像信号的混合率β的图。如图9所示，合成率计算电路209对具有高边缘成分的像素分配大的混合率β，以使得高频层图像信号相对于低频层图像信号的混合率变高，而合成率计算电路209对具有低边缘成分的像素分配小的混合率β，以使得低频层图像信号相对于高频层图像信号的混合率变高。

在步骤S 309中，图像合成电路213使用合成率计算电路209所获得的混合率β将高频层图像信号的亮度信号Yp和低频层图像信号Y_low进行合成以获得亮度信号Y。具体地，根据表达式(18)将经过了噪声抑制处理的高频层图像信号的亮度信号Yp和由放大电路212进行了放大处理的低频层图像信号的亮度信号Y_low相加。

Y=β×Yp+(1-β)×Y_low (18)

同样，根据表达式(19)和(20)分别将由噪声抑制电路208进行了噪声抑制处理的高频层图像信号的色差信号Up和Vp以及由放大电路212进行了放大处理的低频层图像信号的色差信号U_low和V_low相加。

U=β×Up+(1-β)×U_low (19)

V=β×Vp+(1-β)×V_low (20)

如上所述，由于采用从预先抑制了混叠信号的生成的图像信号来生成多个频带的图像信号的结构，因而即使在将多个频带的图像信号进行合成的情况下，也可以抑制混叠信号的生成。

注意，在本实施例中，采用仅生成一层的低频层图像信号的结构作为例子来进行说明。然而，结构不限于此。可以设置多个缩小电路210、多个噪声抑制电路211和多个放大电路212从而对不同频带中多个层的低频层图像信号进行噪声抑制处理，之后，可以利用图像合成电路213将低频层图像信号进行合成。

第二实施例

接着将说明本发明的第二实施例。在本实施例中，生成多个频带的图像信号，并对一部分图像信号进行抑制混叠信号的生成的处理。基本结构与第一实施例相同，因此将主要说明不同点。

图10是示出根据本实施例的图像处理电路105的结构的一部分的图。在图10中，具有与图2相同的结构的电路由与图2相同的附图标记表示。本实施例的图像处理电路105包括白平衡电路201、亮度/颜色生成电路202和频带处理电路1003。

频带处理电路1003包括噪声抑制电路208、合成率计算电路209、缩小电路1010、噪声抑制电路211、放大电路212和图像合成电路213。在第一实施例中，通过将亮度信号Yp以及色差信号Up和Vp输入至缩小电路210来生成亮度信号Y_low以及色差信号U_low和V_low。然而，在本实施例中，使用从白平衡电路201输出的RAW格式的RGB信号来生成亮度信号Y_low以及色差信号U_low和V_low，并且仅对高频层图像信号进行抑制混叠信号的生成的处理。

图11是示出图像处理电路105中包括的白平衡电路201、亮度/颜色生成电路202和频带处理电路1003所进行的处理的流程图。

在步骤S1101中，白平衡电路201对从A/D转换器104供给的图像信号进行白平衡处理。

在步骤S1102中，缩小电路1010根据颜色来分离拜尔排列的RAW格式的图像信号。具体地，生成包括通过对除G像素以外的像素的信号插入0而获得的G信号的图像信号、包括通过对除R像素以外的像素的信号插入0而获得的R信号的图像信号、以及包括通过对除B像素以外的像素的信号插入0而获得的B信号的图像信号。然后，使用例如由[1,2,1]表示的滤波器系数对根据颜色所获得的图像信号进行V-LPF处理和H-LPF处理，从而进行同时化。之后，缩小电路1010对针对各颜色所获得的图像信号，即同时化后的图像信号进行下采样处理，以生成包括在水平和垂直方向上减少了一半的像素数的图像信号。然后，使用经过了下采样处理的图像信号根据表达式(9)进行计算，以生成亮度信号Y_low以及色差信号U_low和V_low。

在步骤S1103中，第一亮度信号生成电路204通过与图3的步骤S302中所进行的处理相同的处理、使用从白平衡电路201输出的拜尔排列的RAW格式的图像信号来生成第一亮度信号Ya。

在步骤S1104中，第二亮度信号生成电路205通过与图3的步骤S303中所进行的处理相同的处理、使用从白平衡电路201输出的拜尔排列的RAW格式的图像信号来生成第二亮度信号Yb。

在步骤S1105中，亮度混合电路206通过与图3的步骤S304中所进行的处理相同的处理来混合第一亮度信号Ya和第二亮度信号Yb以生成亮度信号Yp。

在步骤S1106中，颜色生成电路207通过与图3的步骤S305中所进行的处理相同的处理、使用从白平衡电路201输出的RGB信号来生成色差信号Up和Vp。

在步骤S1107中，噪声抑制电路208对高频层图像信号进行噪声抑制处理，以及噪声抑制电路211对低频层图像信号进行噪声抑制处理。噪声抑制处理与图3的步骤S 307中所进行的处理相同。

在步骤S1108中，合成率计算电路209通过与图3的步骤S308中所进行的处理相同的处理来计算高频层图像信号和低频层图像信号之间的合成率。

在步骤S1109中，图像合成电路213通过与图3的步骤S309中所进行的处理相同的处理、使用合成率计算电路209所获得的混合率β来将高频层图像信号和低频层图像信号进行合成。

如上所述，在本实施例中，尽管对高频层图像信号进行了抑制混叠信号的生成的处理，但不对从缩小电路1010输出的低频层图像信号进行抑制混叠信号的生成的处理。这是因为考虑到在低频层图像信号的生成的过程中，由于对图像信号进行了低通滤波器处理从而使得图像信号平滑化，因而已经抑制了混叠信号的影响。

如上所述，从一个图像信号生成多个频带的图像信号，并预先防止在频带最高的图像信号中生成混叠信号。由此，即使将多个频带的图像信号进行合成，也可以抑制混叠信号的生成。

第三实施例

接着，将说明本发明的第三实施例。在第一实施例中，频带处理电路203生成频带比原始图像信号的频带低的图像信号。然而，本实施例与第一实施例的不同之处在于将原始信号分割成不同频带的多个频率成分。

图12是示出另一图像处理电路105的结构的一部分的图。在图12中，具有与图2所示的电路相同的结构的电路由与图2所示相同的附图标记表示。本实施例的图像处理电路105包括白平衡电路201、亮度/颜色生成电路202和频带处理电路1203。

首先将从亮度/颜色生成电路202输出的抑制了混叠信号的亮度信号Yp以及色差信号Up和Vp供给至频带处理电路1203中包括的LPF 1211和高通滤波器(HPF)1212。

与图2所示的缩小电路210一样，LPF 1211对亮度信号Yp以及色差信号Up和Vp进行V-LPF处理和H-LPF处理，以生成亮度信号Y_low1以及色差信号U_low1和V_low1。例如使用由[1,2,1]表示的滤波器系数来进行V-LPF处理和H-LPF处理。

HPF 1212从亮度信号Yp以及色差信号Up和Vp减去LPF1211所生成的亮度信号Y_low1以及色差信号U_low1和V_low1。结果，HPF 1212提取分别作为亮度信号Yp以及色差信号Up和Vp的高频成分的亮度信号Y_high1以及色差信号U_high1和V_high1。

将亮度信号Y_high1以及色差信号U_high1和V_high1供给至噪声抑制电路1213，噪声抑制电路1213以与图2所示的噪声抑制电路208所使用的方法相同的方法进行噪声抑制处理。此外，将亮度信号Y_high1以及色差信号U_high1和V_high1供给至合成率计算电路1214，合成率计算电路1214以与图2所示的合成率计算电路209所使用的方法相同的方法来计算合成率。

将LPF 1211所生成的亮度信号Y_low1以及色差信号U_low1和V_low1供给至下采样(D S)电路1215。D S电路1215对亮度信号Y_low1以及色差信号U_low1和V_low1进行下采样处理，以使得在水平和垂直方向上将像素数减少一半，以生成亮度信号Yp₂以及色差信号Up₂和Vp₂。

将从DS电路1215输出的亮度信号Yp₂以及色差信号Up₂和Vp₂供给至LPF 1216和HPF 1217。

与图2所示的缩小电路210一样，LPF 1216对亮度信号Yp₂以及色差信号Up₂和Vp₂进行V-LPF处理和H-LPF处理，以生成亮度信号Y_low2以及色差信号U_low2和V_low2。

HPF 1217从D S电路1215所输出的亮度信号Yp₂以及色差信号Up₂和Vp₂减去LPF 1216所生成的亮度信号Y_low2以及色差信号U_low2和V_low2。结果，HPF 1217提取作为亮度信号Yp₂以及色差信号Up₂和Vp₂的高频成分的亮度信号Y_high2以及色差信号U_high2和V_high2。

将亮度信号Y_high2以及色差信号U_high2和V_high2供给至噪声抑制电路1218，噪声抑制电路1218以与图2所示的噪声抑制电路208所使用的方法相同的方法进行噪声抑制处理。此外，将亮度信号Y_high2以及色差信号U_high2和V_high2供给至合成率计算电路1219，合成率计算电路1219以与图2所示的合成率计算电路209所使用的方法相同的方法来计算合成率。

将LPF 1216所生成的亮度信号Y_low2以及色差信号U_low2和V_low2供给至DS电路1220。DS电路1220对亮度信号Y_low2以及色差信号U_low2和V_low2进行下采样处理，以使得在水平和垂直方向上将像素数减少一半，从而生成亮度信号Yp₃以及色差信号Up₃和Vp₃。

将从DS电路1220输出的亮度信号Yp₃以及色差信号Up₃和Vp₃供给至LPF 1221和HPF 1222。

与图2所示的缩小电路210一样，LPF 1221对亮度信号Yp₃以及色差信号Up₃和Vp₃进行V-LPF处理和H-LPF处理，以生成亮度信号Y_low3以及色差信号U_low3和V_low3。

HPF 1222从DS电路1215所输出的亮度信号Yp₃以及色差信号Up₃和Vp₃减去LPF 1221所生成的亮度信号Y_low3以及色差信号U_low3和V_low3。结果，HPF 1222提取作为亮度信号Yp₃以及色差信号Up₃和Vp₃的高频成分的亮度信号Y_high3以及色差信号U_high3和V_high3。

将亮度信号Y_high3以及色差信号U_high3和V_high3供给至噪声抑制电路1223，噪声抑制电路1223以与图2所示的噪声抑制电路208所使用的方法相同的方法进行噪声抑制处理。此外，将亮度信号Y_high3以及色差信号U_high3和V_high3供给至合成率计算电路1224，合成率计算电路1224以与图2所示的合成率计算电路209所使用的方法相同的方法来计算合成率。

将LPF 1221所生成的亮度信号Y_low3以及色差信号U_low3和V_low3供给至DS电路1225。DS电路1225对亮度信号Y_low3以及色差信号U_low3和V_low3进行下采样处理，以使得在水平和垂直方向上将像素数减少一半，从而生成亮度信号Yp₄以及色差信号Up₄和Vp₄。

将亮度信号Yp₄以及色差信号Up₄和Vp₄供给至噪声抑制电路1226，噪声抑制电路1226以与图2所示的噪声抑制电路208所使用的方法相同的方法进行噪声抑制处理。

亮度信号Y_high1、Y_high2、Y_high3和Yp₄的频带不相互重叠，并且亮度信号Y_high1的频带最高，以及亮度信号Y_high2、Y_high3和Yp₄的频带按顺序降低。色差信号U_high1至Up₄以及V_high1至Vp₄同样如此。

放大电路1227对从噪声抑制电路1226输出的信号进行上采样处理，以使得从噪声抑制电路1226输出的信号的像素数变得与从噪声抑制电路1223输出的信号的像素数相等。图像合成电路1228使用合成率计算电路1224所获得的合成率、以与图2所示的图像合成电路213所使用的方法相同的方法来对从放大电路1227输出的信号和从噪声抑制电路1223输出的信号进行合成。

放大电路1229对从图像合成电路1228输出的信号进行上采样处理，以使得从图像合成电路1228输出的信号的像素数变得与从噪声抑制电路1218输出的信号的像素数相等。图像合成电路1230以与图2所示的图像合成电路213所使用的方法相同的方法、使用合成率计算电路1219所获得的合成率来对从放大电路1229输出的信号和从噪声抑制电路1218输出的信号进行合成。

此外，放大电路1231对从图像合成电路1230输出的信号进行上采样处理，以使得从图像合成电路1230输出的信号的像素数变得与从噪声抑制电路1213输出的信号的像素数相等。图像合成电路1232使用合成率计算电路1214所获得的合成率、以与图2所示的图像合成电路213所使用的方法相同的方法来对从放大电路1231输出的信号和从噪声抑制电路1213输出的信号进行合成。

如上所述，由于将预先抑制了混叠信号的图像信号分割成多个频带的图像信号，因而即使将多个频带的图像信号进行合成，也可以抑制混叠信号的生成。

如上所述，在上述实施例中，在要进行合成的多个频带的图像信号中，频带最高的图像信号包括亮度混合电路所生成的亮度信号。利用该结构，由于抑制了频带最高的图像信号的混叠信号的生成，因而即使将图像信号与较低频带的图像信号合成，也很少增大混叠信号的影响。

注意，在上述实施例中，通过对原始图像信号进行缩小来生成低频层图像信号。然而，可以在不对图像信号进行缩小的情况下通过对原始信号进行LPF处理来生成低频层图像信号。

注意，在本发明中，设置亮度混合电路的位置不限于上述实施例，只要要进行合成的多个频带的图像信号中频带最高的图像信号包括亮度混合电路所生成的亮度信号即可。

其它实施例

此外，可以通过执行以下处理来实现本发明。即，可以经由网络或各种存储介质将实现上述实施例的功能的软件(程序)供给至系统或设备，并且系统或设备的计算机(或CPU或MPU等)可以读取并执行该程序。

附图标记列表

201白平衡电路

202亮度/颜色生成电路

203、1003、1203频带处理电路

204第一亮度信号生成电路

205第二亮度信号生成电路

206亮度混合电路

207颜色生成电路

208、211、1213、1218、1223、1226噪声抑制电路

209、1214、1219、1224合成率计算电路

210、1010缩小电路

212、1227、1229、1231放大电路

213、1228、1230、1232图像合成电路

1211、1216、1221低通滤波器(LPF)

1212、1217、1222高通滤波器(HPF)

1215、1220、1225下采样(DS)电路

Claims

1.一种图像处理设备，包括：

生成部件，用于接收图像信号，并且从该图像信号生成不同频带的多个图像信号；

合成部件，用于对所述生成部件所生成的所述多个图像信号进行合成；

第一亮度信号生成部件，用于接收包括具有第一颜色信号的多个颜色信号的图像信号，并且使用通过利用所述第一颜色信号对与所述第一颜色信号不对应的像素进行插值而获得的图像信号来生成第一亮度信号；

第二亮度信号生成部件，用于接收包括具有所述第一颜色信号的多个颜色信号的图像信号，并且在不区别该多个颜色信号的情况下使用该多个颜色信号来生成第二亮度信号；以及

亮度混合部件，用于通过对所述第一亮度信号和所述第二亮度信号进行合成、或者通过选择所述第一亮度信号和所述第二亮度信号之一来生成亮度信号，

其中，在所述合成部件要进行合成的所述多个图像信号中频带最高的图像信号包括所述亮度混合部件所生成的亮度信号。

2.根据权利要求1所述的图像处理设备，其特征在于，所述生成部件接收包括所述亮度混合部件所生成的亮度信号的图像信号。

3.根据权利要求1所述的图像处理设备，其特征在于，所述第一亮度信号生成部件和所述第二亮度信号生成部件接收所述生成部件所生成的所述多个图像信号中频带最高的图像信号。

4.根据权利要求1~3中任一项所述的图像处理设备，其特征在于，所述生成部件生成频带低于所输入的图像信号的频带的图像信号。

5.根据权利要求1~4中任一项所述的图像处理设备，其特征在于，

所述第一亮度信号生成部件和所述第二亮度信号生成部件接收包括由拜尔排列的摄像元件所生成的红色、绿色和蓝色的颜色信号的图像信号，以及

所述第一颜色信号与绿色信号相对应。

6.根据权利要求1~5中任一项所述的图像处理设备，其特征在于，还包括：

噪声抑制部件，用于对所述生成部件所生成的所述多个图像信号进行噪声抑制处理。

7.一种图像处理方法，包括：

生成步骤，用于接收图像信号，并且从该图像信号生成不同频带的多个图像信号；

合成步骤，用于对在所述生成步骤中所生成的所述多个图像信号进行合成；

第一亮度信号生成步骤，用于接收包括具有第一颜色信号的多个颜色信号的图像信号，并且使用通过利用所述第一颜色信号对与所述第一颜色信号不对应的像素进行插值而获得的图像信号来生成第一亮度信号；

第二亮度信号生成步骤，用于接收包括具有所述第一颜色信号的多个颜色信号的图像信号，并且在不区别该多个颜色信号的情况下使用该多个颜色信号来生成第二亮度信号；以及

亮度混合步骤，用于通过对所述第一亮度信号和所述第二亮度信号进行合成、或者通过选择所述第一亮度信号和所述第二亮度信号之一来生成亮度信号，

其中，在所述合成步骤中要进行合成的所述多个图像信号中频带最高的图像信号包括在所述亮度混合步骤中所生成的亮度信号。

8.根据权利要求7所述的图像处理方法，其特征在于，在所述生成步骤中，接收包括在所述亮度混合步骤中所生成的亮度信号的图像信号。

9.根据权利要求8所述的图像处理方法，其特征在于，在所述第一亮度信号生成步骤和所述第二亮度信号生成步骤中，接收在所述生成步骤中所生成的所述多个图像信号中频带最高的图像信号。

10.一种用于使计算机执行根据权利要求7所述的图像处理方法的计算机可读程序。

11.一种存储根据权利要求10所述的程序的存储介质。