CN105227826A - 图像处理装置、图像处理方法、以及图像处理程序 - Google Patents

Abstract

根据一个实施例，一种图像处理装置包括成像元件、透镜以及图像处理器。光朝向成像元件穿过透镜。成像元件与透镜的相对位置是可变的。图像处理器获取第一图像和第二图像。图像处理器通过添加至少一部分第二图像至第一图像来得到第一存储图像。当相对位置在第一范围中时，第一图像通过成像元件被采集。当相对位置在不同于第一范围的第二范围中时，第二图像通过成像元件被采集。还提供一种图像处理方法以及图像处理程序。

Description

图像处理装置、图像处理方法、以及图像处理程序

相关申请的交叉引用

这个申请基于2014年6月30日提交的第2014-135107号日本专利申请，并要求其优先权的权益；其全部内容通过引用被结合于此。

技术领域

在此描述的实施例大体涉及图像处理装置、图像处理方法、以及图像处理程序。

背景技术

一种图像处理方法、一种图像处理装置以及一种图像处理程序例如通过在曝光时改变焦点(聚焦)的位置以及通过处理被采集的图像，来获得全聚焦(all-focused)图像。对于与这种多聚焦位置相对应的图像来说，高质量是令人满意的。

附图说明

图1是显示根据第一实施例的图像处理装置的框图；

图2是显示根据第一实施例的图像处理装置的示意性横截面视图；

图3是显示根据第一实施例的图像处理装置的示意性视图；

图4是显示根据第一实施例的图像处理装置的操作的流程图；

图5是显示用于估计PSF的方法的示意性视图；

图6是显示用于估计PSF的方法的示意性视图；

图7是显示用于估计PSF的方法的示意性视图；

图8是显示PSF的示意性视图；

图9是显示参考实例的图像处理装置的特性的示意性视图；

图10是显示根据第一实施例的图像处理装置的特性的示意性视图；

图11是显示根据第二实施例的图像处理装置的框图；

图12是显示根据第二实施例的图像处理装置的操作的流程图；

图13是显示根据第三实施例的图像处理装置的框图；

图14A至图14E是显示根据第三实施例的图像处理装置的操作的示意性视图；

图15是显示根据第三实施例的图像处理装置的操作的示意性视图；

图16是显示根据第四实施例的图像处理装置的框图；以及

图17是显示根据实施例的图像处理装置的框图。

具体实施方式

根据一个实施例，一种图像处理装置包括成像元件、透镜以及图像处理器。光朝向成像元件经过透镜。成像元件与透镜的相对位置是可变的。图像处理器获取第一图像和第二图像。图像处理器通过添加第二图像的至少一部分至第一图像来得到第一存储图像。当相对位置在第一范围中时，第一图像通过成像元件被采集。当相对位置在不同于第一范围的第二范围中时，第二图像通过成像元件被采集。

根据一个实施例，公开了一种图像处理方法。该方法包括当成像元件与透镜的相对位置在第一范围中时，获取通过成像元件采集的第一图像。光朝向成像元件经过透镜。该方法包括当相对位置在不同于第一范围的第二范围中时，获取通过成像元件采集的第二图像。该方法包括通过添加至少一部分第二图像至第一图像，得到第一存储图像。

根据一个实施例，公开了一种包括图像处理程序的计算机可读的非临时性存储介质。该程序使得计算机执行处理。该处理包括当成像元件与透镜的相对位置在第一范围中时，获取通过成像元件采集的第一图像。光朝向成像元件经过透镜。该处理包括当相对位置在不同于第一范围的第二范围中时，获取通过成像元件采集的第二图像。该处理包括通过添加至少一部分第二图像至第一图像，得到第一存储图像。

以下将参考附图描述各种实施例。

附图是示意性的或者概念上的；并且各部分的厚度和宽度之间的关系、各部分之间的尺寸的比例等等不是必需与其实际值相同。此外，即使在相同的部分被图解的情况下，附图之间也可以不同地图解尺寸和/或比例。

在本申请的附图和说明书中，与对于在其上描述的附图中描述的部件类似的部件被标记以相同的参考数字，并且适当地省略详细说明。

第一实施例

图1是图解根据第一实施例的图像处理装置的框图。

图2是图解根据第一实施例的图像处理装置的示意性横截面视图。

如图1所示，根据第一实施例的图像处理装置100包括聚焦位置确定单元10(位置确定单元)、成像单元20、以及图像处理器30。如图2所示，成像单元20包括透镜22和成像元件25。

透镜22是朝向成像原件25透射入射光的成像透镜。透镜22相对于成像元件25的相对位置(聚焦位置)是可变的。通过更改在成像单元20中的聚焦位置，对象(subject)可以是焦点对准的，或者焦点可以从对象被移位。

成像单元20采集多个图像。被采集的多个图像时刻被输入至图像处理器30。图像处理器30存储被输入的多个图像，并且基于存储的多个图像来得到输出图像。因此，例如，通过使用多个图像，可以获得其中噪声被抑制的高品质输出图像。

在图1中所示的聚焦位置确定单元10确定透镜22相对于成像元件25的相对位置。成像单元20将聚焦位置更改为所确定的位置，并采集图像。图像处理器30的存储单元32将采集的图像存储在存储器缓冲区中存储的存储图像中。此外，成像单元20将聚焦位置更改至由聚焦位置确定单元10所确定的另一个位置，并采集图像。被采集的图像进一步被附加地存储至存储图像。因此，在实施例中，通过重复聚焦位置的更改并且通过采集，获得图像被添加的存储图像。

存储图像是在整个图像中以相同强度被模糊的图像，并且包括对应于多个不同的聚焦位置的信息。图像处理器30(修复单元33)对于这种存储图像进行模糊移除处理。因此，可以获得高品质的输出图像。其中具有与成像元件彼此不同的距离的对象是焦点对准的图像(例如，全聚焦图像)可以被获得。

在图2中，从成像元件25朝向透镜22的方向被当作Z轴方向。

在实例中，成像区域21和半导体衬底24被设置在成像元件25中。例如，成像区域21被布置在使得在从Z轴方向被观察时、成像区域21和透镜22重叠的位置。

透镜22由透镜保持器23所保持。透镜22的光轴被布置为与Z轴方向对齐。例如，通过被设置在透镜保持器23中的调整机构来调整聚焦位置。

例如，聚焦位置确定单元10和图像处理器30被设置在半导体衬底24中。聚焦位置确定单元10和图像处理器30的至少一部分可以与半导体衬底24分开设置。电路衬底26进一步被设置；并且聚焦位置确定单元10和图像处理器30的至少一部分可以被设置在电路衬底26中。

例如，光电二极管层21a、微透镜层21b、以及滤色镜层21c被设置在成像区域21中。滤色镜层21c被布置在光电二极管层21a和微透镜层21b之间。

被布置在垂直于Z轴方向的平面上的多个光电二极管被设置在光电二极管层21a中。被设置在垂直于Z轴方向的平面中的多个微透镜被设置在微透镜层21b中。被布置在垂直于Z轴方向的平面中的多个滤色镜被设置在滤色镜层21c中。例如，一个滤色镜被设置在一个光电二极管和一个微透镜之间。

图2所示的配置是实例；并且实施例的聚焦位置确定单元10、成像单元20、图像处理器30等等不局限于以上叙述的实例。实施例的各种变形是可能的。例如，成像元件25可以包括诸如CMOS图像传感器、CCD图像传感器等等的通常的成像元件。移动成像元件25的机构可以被用于更改聚焦位置。

图3是图解根据第一实施例的图像处理装置的示意性视图。

这里，聚焦位置v是聚焦位置(透镜22相对于成像元件25的相对位置)。在实例中，聚焦位置v是透镜22的位置。在移动成像元件25的机构被使用的情况下，聚焦位置是成像元件25的位置。

扫描范围Rs是聚焦位置v变化(移动)的范围。扫描范围Rs是聚焦位置v可变的预定范围。随着扫描范围Rs增加，全聚焦图像的深度增加。扫描范围Rs被定义如下。

[公式1]

$v_0\↔v_e\mathrm{...}\left(1\right)$

也就是，聚焦位置v在位置v₀和位置v_e之间是可变的。

图4是图解根据第一实施例的图像处理装置的操作的流程图。

图像处理装置100的图像处理方法包括步骤S10至步骤S17。

在步骤S10中，聚焦位置确定单元10确定采集时的聚焦位置。当聚焦位置是第一位置时，聚焦位置确定单元10确定为进行采集。接下来，在实现如下所述的步骤S11至S15之后，当聚焦位置是第二位置时，在步骤S10中再一次确定为进行采集。第二位置是不同于第一位置的聚焦位置。

图4所示的步骤S10至S15的重复的处理可以被进行作为步骤S11至S15的重复的处理。在这种情况下，在步骤S10中，聚焦位置确定单元10确定在多个聚焦位置采集图像。

聚焦位置的确定的各种变化可以被使用。例如，聚焦位置可以在扫描范围Rs内被随机确定。换句话说，第一位置和第二位置可以是在扫描范围Rs中被随机选择的位置。

扫描范围Rs内的聚焦位置可以根据适当的分割宽度来被确定。换句话说，第一位置和第二位置中的每一个可以是在扫描范围Rs中以均匀间隔布置的多个位置中的至少一个。

对于多个聚焦位置v，有利的是在扫描范围Rs内具有适度的波动。例如，被用作第一位置的聚焦位置使得成像元件25与透镜22的光轴方向中心之间的距离是透镜22的焦距。在这种情况下，成像单元20的焦点对应于无穷远。被用作第二位置的聚焦位置使得成像元件25与透镜22的光轴方向中心之间的距离比透镜22的焦距短。例如，第二位置对应于成像单元20的最短采集距离。输入图像在这样的第一和第二位置之间的多个聚焦位置被采集。在实施例中，多个输入图像可以包括在相同的聚焦位置被采集的输入图像。

在以上叙述的实例中，当采集时，聚焦位置被固定。在实施例中，当曝光时，聚焦位置可以是移动的。例如，当聚焦位置在第一范围中时，成像元件25采集第一图像。第一范围包括第一位置；并且在采集第一图像的同时，聚焦位置在第一范围内被改变。类似地，当聚焦位置在不同于第一范围的第二范围中时，成像元件25采集第二图像。第二范围包括第二位置；并且在采集第二图像的同时，聚焦位置在第二范围内被改变。

在步骤S11中，透镜22(或者成像元件25)被移动至由聚焦位置确定单元10确定的聚焦位置。例如，透镜22被移动至使得聚焦位置是第一位置的位置。

在步骤S12中，成像元件25采集图像。例如，当聚焦位置是第一位置时，成像元件25采集第一图像。在如下所述的步骤S13至S15之后，步骤S10至S12再次被重复；并且当聚焦位置是第二位置时，成像元件25采集第二图像。

这里，在任意聚焦位置v采集的图像(输入图像)的坐标(x,y)处的像素值被定义为I_src(x,y；v)。输入图像的值可以是诸如亮度值的标量或者可以是在彩色图像(例如，RGB或者YUV)中使用的矢量。

在步骤S13中，图像处理器30进行运动估计。在运动估计中，从输入图像至参考图像的运动矢量被检测。这里，参考图像是用作存储的参考的图像。输入图像当中的一个图像可以被用作参考图像。例如，当开始处理时的初始输入图像被用作参考图像。在参考图像的坐标(x,y)的像素值被定义为I_ref(x,y)。

例如，在第一位置采集的第一图像被用作参考图像。随后，在第二位置采集的第二图像被用作输入图像；并且从第二图像至第一图像的运动矢量被检测。运动矢量是取决于第一图像内的对象(物体)的位置与第二图像内的对象的位置之间的差的矢量。

各种方法可以被用于检测运动矢量。例如，块(block)匹配可以被使用。然而，用于检测运动矢量的方法不局限于块匹配。

块匹配是包括将输入图像细分成多个矩形块、并且在对应于每一个块的参考图像中搜索块的方法。一个块的尺寸是M₁乘以M₂。块的位置是(i,j)。平均绝对差(MAD)等等可以被用作用于确定运动的误差函数。

[公式2]

$MAD(i,j,u)=\frac{1}{M_1{M}_2}\underset{0\&le;m<M_1,0\&le;n<M_2}{\&Sigma;}|I_{src}(M_{1}i+m,M_{2}j+n;v)-I_{ref}(M_{1}i+m+u_x,M_{2}j+n+u_y)|\mathrm{...}\left(2\right)$

这里，矢量u＝(u_x,u_y)^T是要被评估的运动矢量。T是转置。

在搜索的范围是-W≤x≤W和-W≤y≤W的矩形区域的情况下，以下块匹配算法确定在位置(i,j)的运动矢量u(i,j)。

[公式3]

$u_{LM}(i,j)=\underset{-W\&le;u_x\&le;W,-W\&le;u_y\&le;W}{\arg \min }MAD(i,j,{\left(u_x,u_y\right)}^T)\mathrm{...}\left(3\right)$

这里，对于u_x和u_y的搜索以最小化误差函数E由公式4所示出。

[公式4]

$\underset{-W\&le;u_x\&le;W,-W\&le;u_y\&le;W}{\arg \min }E\mathrm{...}\left(4\right)$

块内部的运动矢量与块的运动矢量相同。也就是，

[公式5]

u(x，y)：＝u(i，j)···(5)

匹配可以以包括具有以十进制表达的坐标的位置的精度来进行。例如，等距(isometric)线性拟合等等可以被使用。

这里，不可以检测运动矢量，并且，例如，被用于通过诸如MPEG2的视频编码的压缩的运动矢量可以被使用。被解码器解码的运动矢量可以被使用。

当检测运动矢量时，表示整个画面(screen)的运动的参数化运动(parametricmotion)可以被确定。例如，使用Lucas-Kanade方法来确定整个画面的参数化运动。从被确定的参数化运动来确定运动矢量。

参数化运动表示使用参数化的投影的运动。例如，坐标(x,y)的运动可以使用仿射转换被如下表示。

[公式6]

$p(x,y)a=\left[\begin{array}{cccccc}x& y& 1& 0& 0& 0\\ 0& 0& 0& x& y& 1\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ a_3\\ a_4\\ a_5\end{array}\right]\mathrm{...}\left(6\right)$

矢量a＝(a₀,a₁,a₂,a₃,a₄,a₅)^T是表示运动的参数。使用Lucas-Kanade方法，从整个画面估计这种运动的参数。在Lucas-Kanade方法中，实施以下步骤1至4。

步骤1：

梯度

[公式7]

$\&dtri;I_{ref}=(\frac{\&part;I_{ref}}{\&part;x},\frac{\&part;I_{ref}}{\&part;y})\mathrm{...}\left(7\right)$

被计算。

步骤2：

海森(Hessian)矩阵

[公式8]

$H=\underset{x,y}{\&Sigma;}(\&dtri;I_{ref}{\left(p\left(x,y\right)a^{\left(t-1\right)}p\left(x,y\right)\right)}^T(\&dtri;I_{\mathrm{ref}}\left(p\left(x,y\right)a^{\left(t-1\right)}\right)p\left(x,y\right))\mathrm{...}\left(8\right)$

被计算。

步骤3：

[公式9]

$\mathrm{\&Delta;}a=H^{-1}\underset{x,y}{\&Sigma;}{(\&dtri;I_{ref}(p\left(x,y\right)a^{\left(t-1\right)}\left)p\right(x,y\left)\right)}^T\left(I_{src}\right(x,y;v)-I_{ref}(\mathrm{\&rho;}\left(x,y\right)a^{\left(-1\right)}\left)\mathrm{...}\right(9)$

被计算。

步骤4：

更新

[公式10]

a^(t)＝a^(t-1)+Δa···(10)

被计算。重复步骤2至4，直至达到指定数为止。这里，迭代的数目通过上标t表示。

当参数已经被确定时，在任意坐标位置的运动矢量可以通过

[公式11]

u(x，y)＝p(x，y)a-(x，y)^T···(11)

被确定。

同样，例如，对于两个帧中的每一个帧可以计算特征点；并且从特征点之间的关联可以确定参数化运动。

在步骤S14中，图像处理器30在存储器缓冲区中存储输入图像。

存储器缓冲区是用于存储与参考图像对齐(alignedwith)的输入图像的缓冲区。输入图像被存储在存储于存储器缓冲区中的存储图像中。存储图像的分辨率可以与输入图像的分辨率不同。例如，在垂直方向和水平方向上，存储图像的分辨率可以是输入图像的分辨率的2倍、3倍或者4倍。例如，通过增加分辨率，超分辨率效应发生。因此，可以产生高质量的图像。存储图像的分辨率可以低于输入图像的分辨率。

存储图像的坐标是坐标(X,Y)。在存储图像的坐标(X,Y)处的像素值是B(X,Y)。如上所述，存在存储图像的分辨率不同于输入图像的分辨率的情形。因此，当存储时，以输入图像的分辨率所确定的运动矢量的尺度(scale)被变换为对应于存储图像的分辨率。

[公式12]

U(x，y)＝ρu(x，y)···(12)

这里，矢量U(x,y)是经历尺度变换的运动矢量。ρ是输入图像的分辨率与存储图像的分辨率的比。

接下来，输入图像的像素的值I_src(x,y；v)被存储的位置被确定。使用经历尺度变换的运动矢量，在所存储得图像上的存储位置坐标为

[公式13]

$D(x,y)=\mathrm{\&rho;}\left[\begin{array}{c}x\\ y\end{array}\right]+U(x,y)\mathrm{...}\left(13\right)$

这里，ρ是输入图像的分辨率与存储图像的分辨率的比值。

输入图像的像素I_src(x,y；v)被存储在存储图像中。

存储位置坐标是坐标D(x,y)；而坐标D(x,y)可以是十进制的。因此，在存储位置坐标附近的离散坐标(discreteordinate)被确定。

[公式14]

$x=\left[\begin{array}{c}X\\ Y\end{array}\right]=round\left(D\right(x,y\left)\right)\mathrm{...}\left(14\right)$

这里，附近离散坐标由

[公式15]

X＝(X，Y)^T···(15)

表示。

被舍入到最接近的整数的存储位置坐标的每一个成分由

[公式16]

round(D(x，y))···(16)

表示。

通过将输入图像的像素值添加至在附近离散坐标的存储图像，实现如下存储。

[公式17]

B(X，Y)+＝I_src(x，y；v)···(17)

这里，z+＝a表示a被添加至z。

在实施例中，如下所述，当从存储图像获得输出图像时，为存储图像的每一个像素考虑权重。权重被存储在存储权重图像中，存储权重图像被存储在存储权重缓冲区中。存储权重图像的分辨率与存储图像的分辨率相同。在存储权重图像的坐标(X,Y)处的像素值被定义为W(X,Y)。

在步骤S14中，同样实现权重的存储。对于存储图像中的每一个像素，存储的权重被存储在存储权重图像中。也就是，如下被实现。

[公式18]

W(X，Y)+＝1.0···(18)

在实例中,存储图像的每一个像素的存储的权重W(X,Y)对应于对于该像素，输入图像被添加的次数。

当添加输入图像至存储图像时，可以不对于整个输入图像而是对于一部分输入图像进行添加。例如，用户可以指定图像的中心部分等等作为要被处理的区域。在这种情况下，对应于要被处理的区域的输入图像的部分被添加至存储图像。

如上所述，从输入图像至参考图像的运动矢量被估计；并且基于被估计的运动矢量，输入图像被对齐。通过存储被对齐的输入图像，得到存储图像。

例如，通过基于如上所述的从第二图像至第一图像的运动矢量，添加第二图像的至少一部分至第一图像，得到存储图像(第一存储图像)。换句话说，通过基于运动矢量来移动第二图像的位置(图像内的对象的位置)以及将移动之后的第二图像的像素值添加到第一图像的像素值，来得到存储图像。第一存储图像是其中至少一部分第二图像被添加到第一图像的图像；并且其他输入图像可以进一步被添加。

在根据实施例的图像处理的方法中，如图4所示，步骤S10至步骤S14被多次重复。在步骤S15中，确定是否结束重复。在重复不结束的情况下，步骤S10至S14被再次实现。例如，聚焦位置进一步被更改，并且图像被采集。因此，图像处理器30获取包括第一图像和第二图像的多个输入图像。当多个输入图像被采集时，聚焦位置彼此不同。图像处理器30通过添加获取的多个输入图像中的至少一部分而得到第一存储图像。

在步骤S15中，例如，当输入图像被存储规定的次数时，重复结束。在重复结束的情形下，步骤S16被实现。

存储图像是包括不同的多个聚焦位置的信息且在画面中模糊的图像。在步骤S16和步骤S17中，通过在存储图像上实现模糊移除处理而得到输出图像。例如，图像处理器30通过在第一存储图像上实现模糊移除处理而得到输出图像，在第一存储图像中，第一图像和第二图像被附加地存储。在模糊移除处理中，第一存储图像基于对应于第一位置和第二位置的点扩散函数被变换。这里，在输出图像的坐标(X,Y)被定义为O(X,Y)。

权重归一化被进行以得到输出图像O(X,Y)。换句话说，存储图像的像素值除以权重。这是因为存储的权重在存储图像的像素之间是不同的。B(X,Y)除以W(X,Y)。

[公式19]

$O(X,Y)=\frac{B(X,Y)}{W(X,Y)}\mathrm{...}\left(19\right)$

在步骤S16中，存储图像的PSF(点扩散函数，即，模糊函数)被估计。已知在一定范围内扫描聚焦位置时所采集的图像的PSF在画面中是均匀的，而不管对象的深度。(H.Nagahara,S.Kuthirummal,C.Zhou,andS.K.Nayer,"FlexibleDepthofFieldPhotography,"Proc.EuropeanConf.ComputerVision,pp.60-73,2008)。

图5至7是图解用于估计PSF的方法的示意性视图。

首先，将描述通过进行聚焦扫描而采集的图像的PSF。在聚焦扫描中，在通过当曝光时将聚焦位置从近端位置变化至远端位置的一次采集中采集一个图像。在聚焦扫描被进行的情况下，在画面中均匀模糊的图像被采集。

图5显示在聚焦位置v的PSF。例如，孔径宽度可以通过a＝f/f_num被计算，其中，透镜的焦距是f，以及透镜的f数是f_num。当焦点对准时，模糊直径可以被如下计算出，其中，聚焦位置是p，以及一个聚焦位置是V。

[公式20]

$b\left(p\right)=\frac{a}{v}\left|v-p\right|\mathrm{...}\left(20\right)$

模糊直径b(v)随着聚焦位置v远离位置P移动而增加。

例如，考虑图6所示的情形下的PSF。这里，扫描范围Rs从17(mm)至19(mm)。

在这种情况下，当聚焦位置v是位置v71时，对象b71是焦点对准的。这里，对象b71被布置在从成像元件25沿着Z轴方向分开200(mm)的位置。

类似地，对象b72、对象b73、对象b74、以及对象b75分别在聚焦位置v72、聚焦位置v73、聚焦位置v74、以及聚焦位置v75是焦点对准的。成像元件25与对象b72至b75之间沿着Z轴方向的距离分别是450(mm)、750(mm)、1150(mm)、以及2000(mm)。

对于这种情形，在精细地移动聚焦位置v的同时，对于图5描述的每一个位置的PSF被添加。从而做出图7。这里，使得PSF在模糊直径(掩体(pillbox))内被均匀地卷积(convolved)。图7估计了在进行聚焦扫描的同时采集的图像的PSF。在图7中，纵轴是PSF的值；并且横轴是与一个像素的距离Ln。

在图7中，对于聚焦的不同聚焦位置的多个PSF被叠加。也就是，多个PSF(f71至f75)被叠加。F71至f75的PSF是分别对应于对象b71至b75的图像的像素的PSF。因此，PSF彼此交叠；并且可以看出PSF不取决于图像的深度。

对于图5至图7所描述的实例是聚焦位置被连续扫描的聚焦扫描的实例。相反，在实施例中，如上所述，通过重复聚焦位置的更改和采集以及通过附件地存储被采集的多个图像而得到存储图像。实施例是所谓的离散聚焦扫描。图8显示对于聚焦位置的更改是离散的且具有10步的情况下的PSF。虽然图8所示的PSF没有图7所示的PSF平滑，但是可以看出PSF基本上不取决于图像的深度。

在步骤S17中，图像处理器30使用估计的PSF修复来自存储图像的图像。在修复中，例如，维纳滤波(WienerFilter)等等可以被使用。估计的PSF的矩阵表示是矩阵h。

通过将输出图像的傅里叶变换设置成

[公式21]

O(u)···(21)

将修复图像的傅里叶变换设置为

[公式22]，以及

$\hat{O}\left(u\right)\mathrm{...}\left(22\right)$

将PSF的傅里叶变换设置为

[公式23]

H(u)···(23)

维纳滤波可以通过

[公式24]

$\hat{O}\left(u\right)=\frac{O\left(u\right)}{H\left(u\right)}\frac{\left|H\left(u\right)\right|}{\left|H\left(u\right)\right|+\frac{{\mathrm{\&sigma;}}_n^2}{{\mathrm{\&sigma;}}_s^2}}\mathrm{...}\left(24\right)$

计算。

使用逆傅里叶逆变换,修复图像被形成。这里，σ_n ²/σ_s ²是信噪比。

如上所述，通过更改聚焦位置和并进行采集、通过重复聚焦位置的更改和进行采集、以及通过添加图像，高质量的图像可以被获得。例如，在安装在诸如智能手机等等的便携式终端中的相机中，相机的孔径光阑不能被精细地调节；并且存在景深浅的情形。同样在这种相机中，例如，通过使用根据实施例的图像处理方法或者图像处理装置，全聚焦图像可以被获得。

图9是图解参考实例的图像处理装置的特性的示意性视图。

在参考实例的方法中，如在如上所述的聚焦扫描中，当曝光时，聚焦位置被改变(扫描)；在画面中均匀模糊的图像被获取；并且通过在图像上进行模糊移除处理获得全聚焦图像。

图9显示在图像通过聚焦扫描被采集的情况下，电荷Q与时间T之间的关系。图9的纵轴是存储在成像元件的像素中的电荷Q。图9的横轴是时间T。例如，从T＝0到T＝Ts的间隔是扫描时间。在扫描时间内，聚焦位置v(扫描位置)随着时间逝去从v₀变化至v_e；并且图像被采集。在实例中，在扫描时间期间，曝光持续。

与常规对象(例如，室内对象)b76被采集的情况相比，在明亮的对象b77被采集的情况下，电荷在像素(例如，光电二极管)中更迅速地被存储。在明亮的对象b77被采集的情况下，在聚焦位置的扫描完成之前，电荷Q不期望地达到饱和Qsat。当诸如户外对象等等的明亮的对象在聚焦扫描中被采集时，像素迅速地变得饱和；并且存在没有足够的时间用于扫描的情形。

相反地，在实施例中，聚焦位置的更改以及采集被重复。因此，例如，通过将曝光与扫描分离，可以产生全聚焦图像，而不用担心像素的饱和。

图10是图解根据第一实施例的图像处理装置的特性的示意性视图。

同样在图10中纵轴是电荷Q；并且横轴是时间T。图10下方的点图解了当图像被采集时的时刻，以及在这些时刻的聚焦位置v。在扫描时间(从T＝0至T＝Ts)中，在由图中的圆点所示的时刻T1、T2...,Tn进行采集。在这些时刻的聚焦位置彼此不同。在实例中，当曝光时，聚焦位置被固定。然而，在实施例中，当曝光时，聚焦位置可以被移动。

如图10所示，被存储在像素中的电荷对于每一次采集被重置。因此，即使在明亮的对象b77被采集的情况下，像素也不容易变得饱和。例如，甚至明亮的对象的高质量的全聚焦图像也可以被获得。

第二实施例

图11是图解根据第二实施例的图像处理装置的框图。

图12是图解根据第二实施例的图像处理装置的操作的流程图。

如图11所示，与图像处理装置100相比，根据第二实施例的图像处理装置101进一步包括自动聚焦检测器11。自动聚焦检测器11进行相机的自动聚焦(AF)功能。可以使用各种方法来实现自动聚焦。例如，在图像的对比度最大的位置聚焦的对比度AF、通过获取相位差聚焦的相位差AF等等可以被使用。在实施例中，AF方法没有特别地被限制。

如图12所示，除了在第一实施例中描述的步骤S10至步骤S17之外，图像处理装置101的图像处理方法进一步包括步骤S09。

在步骤S09中，任意图像通过自动聚焦功能被聚焦。自动聚焦检测器11检测将焦点对准的聚焦位置。

在步骤S10中，基于通过自动聚焦检测的聚焦位置，扫描范围Rs被设置。扫描范围被如下设置为通过自动聚焦所检测的聚焦位置v_AF的向前和/或向后。

v₀＝v_AF-Δv

v_e＝v_AF+Δv

这里，Δv是预定的向前/向后扫描宽度。在第一实施例中，整个扫描范围Rs是预定的范围。在实施例中，当采集时，扫描范围Rs被动态地确定。

例如，在成像单元20被聚焦在对象上的状态下，聚焦位置被设置为第一位置；并且在第一位置处，输入图像被采集。第一位置被设置为参考；第二位置被设置为第一位置的向前和/或向后；并且输入图像在第二位置进一步被采集。

因此，在第二实施例中，相机的自动聚焦也被组合使用。由于自动聚焦，聚焦位置从焦点对准的位置向前和/或向后扫描。因此，不仅可以获得与所有的深度方向(depthward)对应的全聚焦图像；而且可以获得与任意对象为中心的范围对应的图像。

第三实施例

图13是图解根据第三实施例的图像处理装置的框图。

图14A至图14E以及图15是图解根据第三实施例的图像处理装置的操作的示意性视图。

如图13所示，与根据第一实施例的图像处理装置100相比，在根据第三实施例的图像处理装置102中的存储单元32的处理是不同的。在实施例中，存储单元32包括分割确定单元32a以及合成器32b。

在图14A所示的实例中，对象b71至b75被布置为类似于对于图6中描述的情形。在如图14A所示的实施例中，扫描范围Rs被划分为多个；并且聚焦位置在贯穿扫描范围Rs的划分部中被扫描(划分的扫描)。聚焦位置不是立即贯穿整个扫描范围Rs被扫描。在实例中，扫描范围Rs被划分为第一扫描范围Rs1至第四扫描范围Rs4。例如，对于每一个扫描范围，得到类似于第一实施例的存储图像的存储图像。所得到的多个存储图像被合成；并且通过在合成图像上进行模糊移除处理而获得高质量的输出图像。

其中聚焦位置是可变的范围包括第一扫描范围Rs1和第二扫描范围Rs2。第一扫描范围Rs1包括第一位置P1(第一范围)以及第二位置P2(第二范围)。第二扫描范围Rs2不同于第一扫描范围Rs1，并且包括第三位置P3(第三范围)。

图像处理器30通过添加与第一位置P1对应的第一图像以及与第二位置P2对应的第二图像而得到第一存储图像。

当聚焦位置是第三位置P3(第三范围)时，图像处理器30获取由成像元件25采集的第三图像，得到至少第三图像被添加至其的第二存储图像，并且合成第一存储图像和第二存储图像。因此，通过在合成图像上进行模糊移除处理，获得高质量的输出图像。

在整个扫描范围Rs被划分成K个分割部的情况下，K个分割部中的每一个分割部的中值是

v_k,(k＝1...,K)

其中，k是不大于K的自然数。

为了与分割部相匹配，对于分割部的数目准备存储图像。

B_k(X,Y),(k＝1...,K)

类似地，对于分割部的数目准备存储权重图像。

W_k(X,Y),(k＝1...,K)

聚焦位置v是当采集输入图像时的聚焦位置。分割确定单元32a确定输入图像所属的分割部。输入图像所属的分割部(k-hat)例如通过诸如以下的最近邻搜索被确定。

[公式25]

$\hat{k}=\arg \underset{k}{\min }{(v_k-v)}^2\mathrm{...}\left(25\right)$

这里，对k的搜索以最小化E通过以下表示。

[公式26]

$\arg \underset{k}{\min }E\left(k\right)\mathrm{...}\left(26\right)$

输入图像被存储在与通过分割确定单元32a确定的分割部对应的存储图像中。

[公式27]

$B_{\hat{k}}(X,Y)+=I_{src}(x,y;v)\mathrm{...}\left(27\right)$

这里，z+＝a意指a被添加到z。

类似地，权重被存储在存储权重图像中。

[公式28]

$W_{\hat{k}}(X,Y)+=\mathrm{1.0...}\left(28\right)$

随后，进行权重归一化。也就是，存储图像的像素值除以权重。这是因为存储图像的像素之间存储的权重是不同的。然后，存储输出图像可以如下被计算。

[公式29]

$O_k(X,Y)=\frac{B_k(X,Y)}{W_k(X,Y)},(k=1,\mathrm{...},K)\mathrm{...}\left(29\right)$

因此，多个存储图像(存储输出图像)通过对于每一个分割部被得到而被获得。当存储完成时，存储输出图像被合成器32b所合成。对于合成，例如，足以选择具有最高的频率的部分。也就是，

[公式30]

$\hat{O}(X,Y)=\underset{k}{max}{(\&dtri;O_k(X,Y\left)\right)}^2\mathrm{...}\left(30\right)$

这里，Δ是用于计算图像内部的像素值的梯度的运算符。在最简单的实例中，Δ计算在图像内部垂直方向上设置的像素的像素值之间的差以及在图像内部水平方向上设置的像素的像素值之间的差。使用以上叙述的最优化公式，选择梯度最大的存储输出图像。

图14B显示与第一扫描范围Rs1(第一分割部)对应的存储图像B1的PSF。类似地，图14C至图14E显示与第二至第四扫描范围Rs2至Rs4(第二至第四分割部)对应的存储图像B2至B4的PSF。

在图14B至图14E以及图15中，纵轴是PSF的值；并且横轴是与一个像素的距离Ln。在图14B至图14E以及图15中，类似于图7，多个PSF(f71至f75)被叠加。

例如，在宽扫描范围Rs被使用的情况下，模糊变得显著地焦点未对准。大的模糊被添加至PSF。因此，在PSF的尾部的值变大。相应地，在宽扫描范围Rs被使用的情况下，图像的模糊具有减小的对比度。这使得输出图像的图像质量降低。

相反地，在如图14A至图14E中的实施例中，扫描范围Rs被划分；并且多个存储图像被获取。如在公式(30)中，来自每一个存储图像的最优部分被选择且被合成。因此，例如，由于显著地失焦的图像没有被添加，PSF的形状被显著改善。

例如，在图14B中，与对象b73、b74以及b75对应的PSF具有良好的形状，其中，尾部的值小。因此，对于对象b73至b75，存储图像B1的图像被选择用于存储图像的合成。另一方面，因为对象不存在于与分割部Rs3对应的位置，所以图像在存储图像B3中显著地焦点未对准。对于在图14D显示的PSF，尾部长。存储图像B3不被选择用于存储图像的合成。

如以上叙述的，图15显示存储图像B1至B4被合成的图像的PSF(PSF3)。作为图15中的参考，对于宽扫描范围Rs被使用而没有划分扫描范围Rs的情况，PSF(PSF1)被叠加。与PSF3相比，PSF1的尾部长，其可以引起闪光等等。相反地，尾部的形状通过PSF3的划分的扫描被改善；并且具有更高图像质量的输出图像可以被获得。

第四实施例

图16是图解根据第四实施例的图像处理装置的框图。

如图16所示，在根据第四实施例的图像处理装置103中，图像处理器30进一步包括权重计算器34。另外，图像处理装置103类似于图像处理装置100。

在权重计算器34中，存储的权重根据输入图像的边缘强度被确定。在图像处理装置100中，存储的权重通过公式(18)被确定。相反地，在实施例中，基于图像的边缘强度，使得具有高边缘强度的区域焦点对准；并且存储的权重被增加。使得具有低边缘强度的区域焦点未对准；并且存储的权重被减小。因此，对于焦点对准的图像，权重相对大。因此，类似于划分的扫描，PSF的形状可以被改善；并且具有更高图像质量的图像可以被获得。

例如，拉普拉斯算子(Laplacian)可以被用作在权重计算步骤中计算出的边缘强度。

[公式31]

d(x，y)＝I_src(x，y-1；v)+I_src(x-1，y；v)+I_src(x+1，y；v)+I_src(x，y+1；v)-4I_src(x，y；v)···(31）

这里，d(x,y)是边缘强度。图像的梯度(例如，在没一个像素的像素值的差)等等可以被使用。

作为权重，例如，以下可以被使用。

[公式32]

w(x，y)＝d(x，y)²···(32)

或者，作为权重，以下可以被使用。

[公式33]

w(x，y)＝|d(x，y|···(33)

因此，当边缘强度高时，存储的权重可以被增加。然而，在实施例中，各种数值可以被认为是边缘强度。边缘强度与在输入图像上的阴影(shading)，即，像素值的变化的大小对应。例如，边缘强度对应于一个像素的像素值与布置在该一个像素周围的像素的像素值之间的差。在实施例中，边缘强度不局限于以上叙述的边缘强度。

具有权重的输入图像被存储在如下的存储图像中。

[公式34]

B(X，Y)+＝w(x，y)I_src(x，y；v)···(34)

换句话说，图像处理器30基于输入图像(例如，第一图像)的每一个像素的权重，得到存储图像(第一存储图像)。权重根据输入图像内部的边缘强度确定。

权重被存储在如下的存储权重图像中。

[公式35]

W(X，Y)+＝w(x，y)···(35)

类似于第一实施例的模糊移除的模糊移除在这种存储图像上被进行。因此，高质量图像可以被获得。根据实施例中，与在使用一个存储图像的第三实施例中描述的划分的扫描类似，图像质量可以被增加。

图17是图解根据实施例的图像处理装置的框图。

图17是显示图像处理装置100的硬件配置的框图。图17所示的实例是根据实施例的显示装置的实例，并且不一定与实际的模块相匹配。

图像处理装置100例如包括光学元件(透镜22)、成像元件25、处理电路83、以及存储介质(存储器84)。

与从对象入射的光对应的信号被成像单元(透镜22以及成像元件25)检测。对于聚焦位置检测单元10以及图像处理器30描述的处理通过处理电路83以及存储器84来实现。

存储器84可以包括诸如非临时性ROM、RAM等等的存储装置。诸如HDD、SSD等等的外部存储装置可以被使用。存储器84存储由成像单元检测的信号，即，输入图像。同样，存储图像、存储权重图像、输出图像等等被存储。

存储器84存储使得计算机等等执行根据实施例的图像处理方法的图像处理程序200。例如，在处理电路83中，程序200被读取；并且图像处理被执行。程序200可以被设置为在存储器84中预存储的状态，可以经由外部存储介质或者网络被提供，或者可以适当地被安装。

处理电路83例如可以包括诸如CPU(中央处理单元)等等的控制器、诸如LSI(大规模集成)等等的集成电路、IC(集成电路)芯片组等等。处理电路83以及存储器84可以被设置在一个衬底中，并且处理电路83和存储器84的至少一部分可以被单独设置。集成电路不局限于LSI；并且专用电路或者通用处理器可以被使用。处理电路83以及存储器84可以包括利用常规计算机的硬件配置。根据如上所述的实施例的图像处理装置的每一个部件可以是软件或者硬件。在实施例中，每一个功能块的一部分的处理可以是通过计算机实现的程序。

图像处理装置100可以进一步包括接口85。例如，涉及输出图像的数据经由接口85被输出到外部显示装置等等。有线或者无线的方法可以被用于外部连接。

在实施例中，存储程序200的存储介质可以是计算机可读的非临时性存储介质。存储介质例如可以包括CD-ROM(-R/-RW)、磁光盘、HD(硬盘)、DVD-ROM(-R/-RW/-RAM)、FD(软盘)、闪存、存储卡、记忆棒、其它各种ROM、RAM等等。

根据实施例，提供高质量图像的图像处理装置、图像处理方法、以及图象处理程序可以被提供。

在本申请的说明书中，“垂直”不仅包括绝对的垂直，而且包括，例如，由于制造处理导致的波动等等；并且足以基本上垂直。

在上文中，本发明的实施例参考具体的实例被描述。然而，本发明的实施例不局限于这些具体的实例。例如，本领域技术人员可以从已知技术中适当地选择诸如成像元件、透镜、成像单元、位置确定单元、图像处理器等等的部件的具体的配置来类似地实践本发明；并且在可以获得类似的效果的意义上，这样的实践落入本发明的范畴内。

此外，具体的实例的任意两个以上的部件在技术可行性的程度内可以被结合，并且在本发明的主旨被包括的意义上被包括在本发明的范围内。

此外，由本领域技术人员基于如上所述作为本发明的实施例的图像处理装置、图像处理方法、以及图像处理程序通过适当的设计修改而能实行的所有的图像处理装置、图像处理方法、以及图像处理程序，在本发明的精神被包括的意义上同样落入本发明的范畴内。

在本发明的精神范围内，各种其它变化以及修改可以由本领域技术人员想到，并且，应该理解，这种变化以及修改同样被包括在本发明的范畴内。

虽然某些实施例已经被描述，但是这些实施例只是通过实例的方式来被呈现，并且不旨在限制不发明得范围。实际上，在此描述的新颖的实施例可以以各种其它形式被具体化；此外，在不背离本发明的精神的情况下，可以对在此描述的实施例的形式进行各种省略、替换以及改变。所附权利要求及其等价物旨在覆盖将落入本发明的范围和精神内的这种形式或者修改。

Claims (20)

1.一种图像处理装置，其特征在于，包括：

成像元件；

透镜，光朝向所述成像元件穿过所述透镜，所述成像元件与所述透镜的相对位置是可变的；以及

图像处理器，所述图像处理器获取第一图像和第二图像，并且通过将至少一部分所述第二图像添加至所述第一图像来得到第一存储图像，当所述相对位置在第一范围中时，所述第一图像被所述成像元件采集，当所述相对位置在不同于所述第一范围的第二范围中时，所述第二图像被所述成像元件采集。

2.如权利要求1所述的装置，其特征在于，

所述图像处理器获取包括由所述成像元件采集的所述第一图像和所述第二图像的多个图像，并且通过添加至少一部分所述图像来得到所述第一存储图像，所述相对位置在所述图像的每一次采集之间是不同的。

3.如权利要求1所述的装置，其特征在于，

所述图像处理器根据所述第一图像内的物体的位置与所述第二图像内的所述物体的位置之间的差来计算运动矢量，并且基于所述运动矢量，将所述第二图像添加至所述第一图像。

4.如权利要求1所述的装置，其特征在于，进一步包括

位置确定单元，当所述相对位置在所述第一范围中时，所述位置确定单元确定为进行所述采集。

5.如权利要求1所述的装置，其特征在于，

所述图像处理器通过对所述第一存储图像实行模糊移除处理来得到输出图像。

6.如权利要求1所述的装置，其特征在于，

在所述第一图像的所述采集中，所述相对位置被改变。

7.如权利要求1所述的装置，其特征在于，

当所述相对位置是所述第一范围中的第一位置时，所述第一图像被采集，以及

当所述相对位置是所述第二范围内的第二位置时，所述第二图像被采集。

8.如权利要求7所述的装置，其特征在于，

在所述透镜被聚焦在物体上的状态下，所述第一位置是所述相对位置，以及

使用所述第一位置作为参考，来确定所述第二位置。

9.如权利要求7所述的装置，其特征在于，

所述第一位置是所述成像元件与所述透镜在光轴方向上的中心之间的距离是所述透镜的焦距的所述相对位置，以及

所述第二位置是使得所述中心与所述成像元件之间的所述距离比所述焦距短的所述相对位置。

10.如权利要求7所述的装置，其特征在于，

所述第一位置与所述第二位置中的每一个位置是在范围中以均匀间隔布置的多个位置中的至少一个位置，所述相对位置在所述范围中是可变的。

11.如权利要求1所述的装置，其特征在于，

所述相对位置是可变的范围包括：

第一扫描范围，所述第一扫描范围包括所述第一范围和所述第二范围；和

第二扫描范围，所述第二扫描范围包括第三范围，所述第二扫描范围不同于所述第一扫描范围，

所述图像处理器获取第三图像，并且得到第二存储图像，当所述相对位置在所述第三范围中时，所述第三图像被所述成像元件采集，至少所述第三图像被添加至所述第二存储图像，以及

通过合成所述第一存储图像以及所述第二存储图像，得到所述输出图像。

12.如权利要求1所述的装置，其特征在于，

所述图像处理器基于所述第一图像的每一个像素的权重来得到所述第一存储图像，以及

根据所述第一图像内的边缘强度来确定所述权重。

13.一种图像处理方法，其特征在于，包括：

当成像元件与透镜的相对位置在第一范围中时，获取由所述成像元件采集的第一图像，光朝向所述成像元件穿过所述透镜；

当所述相对位置在不同于所述第一范围的第二范围中时，获取由所述成像元件采集的第二图像；以及

通过将至少一部分所述第二图像添加至所述第一图像，得到第一存储图像。

14.如权利要求13所述的方法，其特征在于，

根据所述第一图像内的物体的位置与所述第二图像内的所述物体的位置之间的差，计算出运动矢量，以及

基于所述运动矢量，通过将所述第二图像添加至所述第一图像，得到所述第一存储图像。

15.如权利要求13所述的方法，其特征在于，

当所述相对位置在所述第一范围中时，确定所述采集要被进行。

16.如权利要求13所述的方法，其特征在于，

通过对所述第一存储图像实行模糊移除处理，得到输出图像。

17.一种计算机可读的非临时性存储介质，包括图像处理程序，所述程序使得计算机执行以下处理：

当所述成像元件与透镜的相对位置在第一范围中时，获取由成像元件采集的第一图像，光朝向所述成像元件穿过所述透镜；

当所述相对位置在不同于所述第一范围的第二范围中时，获取由所述成像元件采集的第二图像；以及

通过将至少一部分所述第二图像添加至所述第一图像，得到第一存储图像。

18.如权利要求1所述的存储介质，其特征在于，

根据所述第一图像内的物体的位置与所述第二图像内的所述物体的位置之间的差，计算出运动矢量，以及

基于所述运动矢量，通过将所述第二图像添加至所述第一图像，得到所述第一存储图像。

19.如权利要求17所述的存储介质，其特征在于，

当所述相对位置在所述第一范围中时，所述程序使得所述计算机执行确定为进行所述采集的处理。

20.如权利要求17所述的存储介质，其特征在于，

所述程序使得所述计算机执行通过对所述第一存储图像实行模糊移除处理来得到输出图像的处理。