CN105594193A - 图像捕捉装置、图像捕捉系统和图像捕捉方法 - Google Patents

Abstract

图像捕捉装置包括：光学系统，对入射光给予像差；图像捕捉单元，将穿过光学系统的光转换为像素，并且捕捉图像；以及逆变换单元，获得第一逆变换滤波器用于恢复由图像捕捉单元捕捉的捕捉图像的每个预定部分的像差，并且通过第一逆变换滤波器对捕捉图像执行第一逆变换处理。

Description

图像捕捉装置、图像捕捉系统和图像捕捉方法

技术领域

本发明涉及图像捕捉装置、图像捕捉系统和图像捕捉方法。

背景技术

近年来，随着信息的数字化的发展，数字化在图像捕捉装置领域也已经有效开发。特别是，在由数字相机代表的图像捕捉装置中，关于图像捕捉表面，由固态图像捕捉设备替代传统胶片。CCD(电荷耦合器件)传感器、CMOS(互补金属氧化物半导体)传感器等被用作固态图像捕捉设备(下文简称为“图像捕捉设备”)。

以此方式，使用图像捕捉设备的图像捕捉装置通过光学系统接受来自被摄体的光，通过由固态图像捕捉设备将其转换为电信号而提取光。这样的图像捕捉装置的示例除了数字相机之外还包括摄像机、条码读取器、移动电话、便携式信息终端(PDA：个人数字助理)和工业相机。

上面提及的图像捕捉装置包括利用光学系统扩展景深的所谓的扩展景深相机(EDoF：扩展景深)。景深指示将远离相机的透镜的距离处的被摄体当作焦点对准(infocus)可接受的、在透镜的光轴方向上的距离范围。

给出光学系统的景深的具体描述。被包括在光学系统中的透镜和相位板(phaseplate)用于向入射在图像捕捉设备上的被摄体的光给出相差并且添加点扩散函数(PSF：点扩散函数)。例如，透镜向入射在图像捕捉设备上的被摄体的光给出球面像差作为像差。光学系统使得由图像捕捉设备捕捉到的图像因像差而模糊，但使得模糊在宽景深中恒定。因此，被光学系统模糊的图像需要以获得MTF(调制传递函数)的预定值的方式被校正。MTF指示描绘用于再现被摄体的对比度的保真程度的、换言之对比度的再现性的数字化值。在该情况下，对由光学系统模糊的图像执行点扩散函数的逆变换处理，以将图像恢复为高清晰度图像。通过利用逆变换滤波器对形成由光学系统模糊的图像的每个像素(下文简称为像素)执行滤波处理来校正图像的模糊，实现逆变换处理。

此外，由图像捕捉设备捕捉到的图像通常包括噪声。相应地，也需要噪声降低处理。作为降低这样捕捉的图像的噪声并且校正模糊用于恢复的装置，提出了包括噪声处理单元和恢复处理单元的装置，该噪声处理单元通过对输入图像执行降低噪声的噪声处理生成噪声处理后的图像，该恢复处理单元对噪声处理后的图像执行降低模糊的恢复处理(专利文献1)。该噪声处理单元配置为基于恢复处理的特性执行噪声处理。

然而，专利文献1中描述的装置具有的问题在于，该装置防止由于噪声处理单元的影响被放大的图像劣化，并且不能从根本上防止噪声的放大。而且，分辨率和噪声量是折衷的关系。因此，还存在的问题是：如果大量地补偿透镜的分辨率，则噪声量增加。

鉴于以上，存在提供恢复作为光学像差的模糊同时抑制噪声的图像捕捉装置、图像捕捉系统和图像捕捉方法的需要。

发明内容

图像捕捉装置包括：光学系统，对入射光给予像差；图像捕捉单元，将穿过光学系统的光转换为像素，并且捕捉图像；以及逆变换单元，获得第一逆变换滤波器，用于恢复由图像捕捉单元捕捉的捕捉图像的每个预定部分的像差，并且通过第一逆变换滤波器对捕捉图像执行第一逆变换处理。

附图说明

图1是例示根据第一实施例的图像捕捉系统的整体配置的示例的图。

图2是例示第一实施例的信息处理装置的配置的示例的图。

图3是例示根据第一实施例的图像捕捉装置的配置的示例的图。

图4是例示根据第一实施例的图像捕捉装置的图像处理单元的配置的示例的图。

图5是例示由图像捕捉设备检测到的图像的示例的图。

图6是例示图像处理单元的图像缓冲器单元的配置的示例的图。

图7是例示将从图像捕捉设备输出的像素输入到图像缓冲器单元中的操作的时序图。

图8是说明功率谱在检测到的图像的区域之间不同的图。

图9是说明整个检测到的图像中的功率谱和最优滤波器的图。

图10是说明在检测到的图像的平坦部分的区域中的功率谱和最优滤波器的图。

图11是说明在检测到的图像的纹理部分的区域中的功率谱和最优滤波器的图。

图12是说明第一实施例的图像处理单元的滤波器处理单元的配置和操作的示例的图。

图13是说明第二实施例的图像处理单元的滤波器处理单元的配置和操作的图。

图14是例示逆变换滤波器的配置的示例的图。

图15是说明由逆变换滤波器对图像执行滤波处理的图。

图16是说明扫描图像中被用于逆变换滤波器的滤波处理的目标的目标部分图像的操作的图。

具体实施方式

在下文中，参考附图给出根据本发明的图像捕捉装置、图像捕捉系统和图像捕捉方法的实施例的详细描述。此外，本发明不受下面的实施例的限制，并且下面的实施例中的部件包括容易由本领域技术人员想到的、实质上相同的、在其被称作的等效物的范围内的部件。另外，可以在不脱离下面的实施例的精神的范围内做出部件的各种省略、替代和改变。

(第一实施例)

<图像捕捉系统的整体配置>

图1是例示根据第一实施例的图像捕捉系统的整体配置的示例的图。参考图1描述该实施例的图像捕捉系统500的配置。

如图1中例示，该实施例的图像捕捉系统500包括图像捕捉装置1和PC2。图像捕捉装置1和PC2通过诸如以太网(注册商标)电缆之类的通信电缆3以能够相互通信的方式连接。

图像捕捉装置1将从被摄体4发射的光转换为电信号以捕捉被摄体4的图像，对关于捕捉的图像(在下文中简称为图像)的信息执行各种处理，并且经由通信电缆3向PC2传送处理后的图像。PC2对从图像捕捉装置1接收到的图像执行预定处理。

例如，图像捕捉装置1捕捉附于生产线上运送的产品的条码的图像，并且向PC2传送条码的图像。PC2从接收到的图像读出关于条码的信息，并且分析该信息。

如图1中例示，图像捕捉系统500是其中图像捕捉装置1和PC2经由通信电缆3传送数据的有线通信方法中的系统，但不限于此。例如，图像捕捉装置1和PC2可以能够以诸如Wi-Fi(注册商标)(无线保真)之类的无线通信方法相互传送数据。

此外，如果在生产线中使用图像捕捉系统500，则PC2可以配置为以能够通信的方式连接到PLC(可编程逻辑控制器)等。在这种情况下，图像捕捉系统500的操作的示例包括下面的操作。图像捕捉装置1捕捉附到生产线上运送的产品的条码的图像，并且向PC2传送条码的图像。PC2从接收到的条码的图像确定生产线上运送的产品的产品编号。如果确定的产品编号不符合在生产线上设置的产品编号，则PC2向PLC传送指示已经对于其确定产品编号的产品是具有不同产品编号的产品的信号。当从PC2接收到指示产品是具有不同产品编号的产品的信号时，PLC从生产线移除该产品，或者控制生产线的操作以开启警报灯并且停止生产线。

<信息处理装置的配置>

图2是例示第一实施例的信息处理装置的配置的示例的图。参考图2描述作为信息处理装置的示例的PC2的配置。

如图2中例示，作为信息处理装置的示例的PC2包括通信单元21、操作单元22、显示单元23、存储单元24、外部存储设备25和控制单元26。以上单元通过总线27连接，并且可以向彼此传送和从彼此接收数据。

通信单元21是经由通信电缆3与图像捕捉装置1通信的设备。通信单元21由诸如NIC(网络接口卡)之类的通信设备实现。通信单元21的通信协议例如由TCP(传输控制协议)/IP(因特网协议)或者UDP(用户数据报协议)/IP实现。

操作单元22是允许用户执行输入操作以使得控制单元26执行预定处理的设备。操作单元22由例如鼠标、键盘、数字小键盘、触摸垫或者触摸屏的输入操作功能实现。

显示单元23是显示由控制单元26执行的应用图像等的设备。显示单元23例如由CRT(阴极射线管)显示器、液晶显示器、等离子显示器或者有机EL(电致发光)显示器实现。

存储单元24是在其中存储在PC2中执行的各种程序、用于在PC中执行的各种处理的数据等的设备。存储单元24由诸如ROM(只读存储器)和RAM(随机存取存储器)之类的存储设备实现。

外部存储设备25是在其中累积和存储图像、程序、字体数据(fontdata)等的存储设备。外部存储设备25由诸如HDD(硬盘驱动)、SSD(固态驱动)、光盘、或磁光盘(MO：磁光盘)之类的存储设备实现。

控制单元26是控制PC2的每个单元的操作的设备。控制单元26例如由CPU(中央处理单元)和ASIC(特定应用集成电路)实现。

<图像捕捉装置的配置>

图3是例示根据第一实施例的图像捕捉装置的配置的示例的图。参考图3描述该实施例的图像捕捉装置1的配置。

如图3例示，图像捕捉装置1包括透镜单元11、图像捕捉设备12、图像处理单元14和通信单元15。

透镜单元11是会聚从被摄体4发射的光并且将图像聚焦在图像捕捉设备12上的单元。透镜单元11由包括一个或者多个透镜的光学系统实现。透镜单元11包括相位板11a和光圈(diaphragm)11b。被摄体4例如是人、要监视的对象、条码、二维码或者字符串。

相位板11a具有对入射在透镜单元11上的光给予像差的功能。作为结果，相位板11a给出向入射在图像捕捉设备12上的光添加点扩散功能的效果，并且使得由图像捕捉设备12捕捉的图像模糊，但是使得该模糊在宽景深中恒定。

光圈11b是自动调节入射在透镜单元11上的光量的组件，并且放置在相位板11a附近。

图像捕捉设备12是将入射在透镜单元11上的来自被摄体的光转换为电信号以捕捉被摄体4的图像并且生成图像的固态图像捕捉设备。图像捕捉设备12输出组成由组成固态图像捕捉设备的检测单元捕捉的图像的像素。图像捕捉设备12例如由CCD传感器或CMOS传感器实现。

图像处理单元14是根据从图像捕捉设备12输出的图像生成已经对其上执行了滤波处理的图像的设备。

通信单元15是经由通信电缆3与PC2通信的设备。通信单元15向PC2传送例如从图像处理单元14输出的图像。通信单元15例如由诸如NIC之类的通信设备实现。通信单元15的通信协议例如由TCP/IP或者UDP/IP实现。

<图像处理单元的配置>

图4是例如根据第一实施例的图像捕捉装置的图像处理单元的配置的示例的图。图5是例示由图像捕捉设备检测到的图像的示例的图。参考图4描述该实施例的图像捕捉装置1的图像处理单元14的配置。

如上面描述，图像捕捉设备12是将入射在透镜单元11上的来自被摄体的光转换为电信号以捕捉被摄体4的图像并且生成图像的固态图像捕捉设备。在下文中，假设图像捕捉设备12形成并且输出VGA图像而给出描述。具体地，假设图像捕捉设备12用X方向上的640个检测元件和Y方向上的480个检测元件检测作为由以640×480的矩阵布置的像素组成的图像的检测到的图像101而给出描述。

由图像捕捉设备12检测到的图像的尺寸被设置为640×480的VGA图像，但不限于此。无须说，图像的尺寸可以不同。

如图4中例示，该实施例的图像处理单元14包括图像缓冲器单元141和滤波器处理单元143。

图像缓冲器单元141是从图像捕捉设备12输出的像素被又被输入到并且缓冲它们的设备。下面在图6和7中描述图像缓冲器单元141的具体配置和操作。

滤波器处理单元143利用下面描述的滤波器电路对从图像缓冲器单元141输出的像素执行预定滤波处理。在该实施例中，以用于对已经通过相位板11a的影响对其给予点扩散函数的模糊图像执行局部校正模糊的逆变换处理的逆变换滤波器作为用于滤波处理的滤波器的示例而给出描述。休眠在图12中描述滤波器处理单元143的具体配置和操作。

<图像缓冲器单元的配置和操作>

图6是例示图像处理单元的图像缓冲器单元的配置的示例的图。图7是例示将从图像捕捉设备输出的像素输入到图像缓冲器单元中的操作的时序图。参考图6和7描述图像处理单元14的图像缓冲器单元141的配置和操作。

如图6例示，图像缓冲器单元141包括寄存器1411a至1411d以及行(line)缓冲器1412a至1412d。从图像捕捉设备12输出的像素从输入部分1410被输入到图像缓冲器单元141中，并且图像缓冲器单元141从输出部分1413a至1413e输出缓冲的像素。按照由图像捕捉设备12检测到的图像的640×480像素，假设X方向上的第X个且Y方向上的第Y个像素为像素(X，Y)。

如图6中例示，寄存器1411a的输入侧连接到输入部分1410和输出部分1413a。寄存器1411a至1411d的输出侧分别连接到行缓冲器1412a至1412d的输入侧。行缓冲器1412a至1412c的输出侧分别连接到寄存器1411b至1411d的输入侧。行缓冲器1412a至1412d的输出侧分别连接到输出部分1413b至1413e。

接下来，参考图7描述由图像捕捉设备12检测到的图像的输出操作。图像捕捉设备12在以X方向上的一个水平行为单位扫描检测到的像素的同时，输出在每个水平行中包括的像素。具体地，图像捕捉设备12依次从X方向上的第一像素到第640像素输出在Y方向上的第一水平行中包括的像素。图像捕捉设备12执行以上操作，以输出直到Y方向上的第480个水平行的水平行中包括的像素。

基于图7中例示的时序图描述以上操作。如图7中例示，当有效帧信号处于开启(on)时，图像捕捉设备12输出一个帧的像素，也就是一个图像的像素。在图像捕捉设备12中，在自从有效信号已经被开启起经过帧开始时段A之后，开启指示允许输出在Y方向上的第一水平行中的像素的有效行信号L1。当有效行信号L1开启时图像捕捉设备12在有效数据时段T期间扫描在Y方向上的第一水平行，并且依次输出第一水平行中包括的X方向上的第一至第640像素(像素(1，1)至(640，1))。在由图像捕捉设备12输出Y方向上的第一水平行中的像素之后，有效行信号L1被关闭。

在图像捕捉设备12中，在自从有效行信号L1已经被开启起经过水平消隐时段B之后，开启指示允许输出Y方向上的第二水平行中的像素的有效行信号L2。当有效行信号L2处于开启时，图像捕捉设备12在有效数据时段T期间扫描Y方向上的第二水平行，并且依次输出在第二水平行中包括的X方向上的第一至第640像素(像素(1，2)至(640，2))。在由图像捕捉设备12输出Y方向上的第二水平行中的像素之后，有效行信号L2被关闭。

图像捕捉设备12执行以上操作，直至当有效行信号L480处于开启时在有效数据时段T时段期间输出Y方向上的第480水平行中包括的X方向上的第一至第640像素(像素(1，480)至(640，480))为止。在图像捕捉设备12中，在自从有效行信号L480已经被关闭起经过帧结束时段C之后，关闭有效帧信号。利用以上操作，由图像捕捉设备12对一帧的像素的输出结束。此外，在图像捕捉设备12中，在自从有效帧信号已经被关闭起经过垂直消隐时段D之后，再次开启有效帧信号，并且下一帧的像素的输出开始。

接下来，参考图6给出在图像缓冲器单元141中的从图像捕捉设备12输出的像素的缓冲处理的描述。从图像捕捉设备12输出的像素从输入部分1410被输入到图像缓冲器单元141中。具体地，按照在Y方向上的第一水平行，首先，图像缓冲器单元141从输出部分1413a输出从图像捕捉设备12输入的像素(1，1)，并且将像素(1，1)存储在寄存器1411a中。

图像缓冲器单元141在下一定时将在寄存器1411a中存储的像素存储在行缓冲器1412a的存储区域1a中。然后，图像缓冲器单元141从输出部分1413a输出下一个从图像捕捉设备12输入的像素(2，1)，并且将像素(2，1)存储在寄存器1411a中。

在下一定时，图像缓冲器单元141将在存储区域1a中存储的像素移动到行缓冲器1412a的存储区域2a以将其存储在那里，并且将在寄存器1411a中存储的像素存储在存储区域1a中。然后，图像缓冲器单元141从输出部分1413a输出下一个从图像捕捉设备12输入的像素(3，1)，并且将像素(3，1)存储在寄存器1411a中。

图像缓冲器单元141重复以上操作，以从输出部分1413a输出从图像捕捉设备12输入的Y方向上的第一水平行的像素。同时，图像缓冲器单元141将Y方向上的第一水平行的第一至第639像素分别存储在行缓冲器1412a的存储区域639a至1a中，并且将第640个像素存储在寄存器1411a中。

接下来，图像缓冲器单元141将行缓冲器1412a的存储区域1a至639a中存储的像素移动到存储区域2a至640a，以将它们存储在那里，并且将寄存器1411a中存储的像素存储在存储区域1a中。图像缓冲器单元141从输出部分1413b输出存储区域640a中存储的像素(1，1)，并且将像素(1，1)存储在寄存器1411b中。按照Y方向上的第二水平行，图像缓冲器单元141从输出部分1413a输出从图像捕捉设备12输入的像素(1，2)，并且将像素(1，2)存储在寄存器1411a中。换言之，图像缓冲器单元141分别从输出部分1413b和1413a输出作为具有相同的X方向值的像素(1，1)和(1，2)。

图像缓冲器单元141在下一定时将在寄存器1411b中存储的像素存储在行缓冲器1412b的存储区域1b中。图像缓冲器单元141将在行缓冲器1412a的存储区域1a至639a中存储的像素移动到存储区域2a至640a，以将它们存储在那里，并且将在寄存器1411a中存储的像素存储在存储区域1a中。图像缓冲器单元141从输出部分1413b输出在存储区域640a中存储的像素(2，1)，并且将像素(2，1)存储在寄存器1411b中。图像缓冲器单元141然后从输出部分1413a输出下一个从图像捕捉设备12输入的像素(2，2)，并且将像素(2，2)存储在寄存器1411a中。

在下一定时，图像缓冲器单元141将在存储区域1b中存储的像素移动到行缓冲器1412b的存储区域2b，以将其存储在那里，并且将寄存器1411b中存储的像素存储在存储区域1b中。图像缓冲器单元141将行缓冲器1412a的存储区域1a至639a中存储的像素移动到存储区域2a至640a，以将它们存储在那里，并且将寄存器1411a中存储的像素存储在存储区域1a中。图像缓冲器单元141从输出部分1413b输出在存储区域640a中存储的像素(3，1)，并且将像素(3，1)存储在寄存器1411b。图像缓冲器141然后从输出部分1413a输出下一从图像捕捉设备12输入的像素(3，2)，并且将像素(3，2)存储在寄存器1411a中。

图像缓冲器单元141重复以上操作，以在相同的定时从输出部分1413a和1413b输出从图像捕捉设备12输入的Y方向上的第一和第二水平行中的像素之中具有相同的X方向值的像素。同时，图像缓冲器单元141将Y方向上的第一水平行中的第一至第639像素分别存储在行缓冲器1412b的存储区域639b至1b中，并且将第640像素存储在寄存器1411b。另外，图像缓冲器单元141将Y方向上的第二水平行中的第一至第639像素分别存储在行缓冲器1412a的存储区域639a至1a中，并且将第640像素存储在寄存器1411a中。

如以上操作中，图像缓冲器单元141将从图像捕捉设备12输入的每个水平行中的像素缓冲在行缓冲器1412a至1412d中。同时，图像缓冲器单元141在相同的定时分别从输出部分1413a至1413e输出具有相同的X方向值的像素，换言之输出像素(X,Y-4)、(X,Y-3)、(X,Y-2)、(X,Y-1)和(X,Y)。

图6例示图像缓冲器单元141的配置的示例。图像缓冲器单元141不限于此配置，而是仅需要具有实现与上面提及的图像缓冲器单元141的缓冲处理类似的效果的配置。

<逆变换滤波器的频率特性R的导出(derivation)>

接下来，给出方法的描述，该方法用于以由作为预定聚焦位置处的光学系统的透镜单元11对一个点收集光斑扩散这样的方式导出用于恢复的逆变换处理的逆变换滤波器的频率特性。也是FIR(有限脉冲响应)滤波器的二维线性滤波器适合于实现上面提及的频率特性。

首先，光学系统对由图像捕捉设备12捕捉的图像的影响的模型由下面公式(1)中描绘的二维卷积运算(卷积运算)的公式来表达。

image_captured(x,y)＝∫∫image_ideal(x-x',y-y')·h(x,y,x',y')dx'dy'(1)

这里，image_captured是通过光学系统检测到的二维被捕捉的图像的像素，image_ideal是代表被摄体4本身的理想图像的像素，并且h指示光学系统的PSF。

在下文中，设想最小化在逆变换处理之后的图像的每个像素与理想图像的每个像素之间的误差的均方差的逆变换滤波器的频率特性的导出，考虑添加到图像处理系统(图像捕捉设备12和图像处理单元14)的噪声的影响。均方差由下面的公式(2)表达。

E[|image_ideal(n)-image_processed(n)|²](2)

这里，E[]指示期望值(均值)，n指示图像上的位置，以及image_processed(n)指示通过对image_captured执行逆变换处理获得的图像的像素。应当考虑到image_captured包含噪声。

依据帕塞瓦尔定理(Parseval'stheorem)，其中由波形x(n)关于n的整个区域保持的所有能量的总和等于波形x(n)关于所有频率分量的能量的傅立叶变换X(ω)的总和，公式(2)通过下面的公式(3)表达为频域中的均方差。

E[|IMAGE_ideal(ω)-IMAGE_processed(ω)|²](3)

这里，IMAGE_ideal(ω)指示image_ideal(n)的频率特性，IMAGE_processed(ω)指示image_processed(n)的频率特性，并且ω指示空间频率。

假定逆变换滤波器的频率特性是R(ω)，发现给出以下公式(4)的最小值的频率特性R(ω)是最佳逆变换滤波器。

E[|IMAGE_ideal(ω)-R(ω)·IMAGE_captured(ω)|²](4)

这里，IMAGE_captured(ω)是的image_captured(n)的频率特性。

在公式(4)中，当表达IMAGE_ideal(ω)＝S(ω)和IMAGE_captured(ω)＝X(ω)，并且由R*对公式(4)求微分以获得公式(4)的最小值时，可以获得以下公式(5)。

$\begin{array}{c}\frac{\&part;E\&lsqb;|S\left(\mathrm{\&omega;}\right)-R(\mathrm{\&omega;})\&CenterDot;X(\mathrm{\&omega;}){|}^2\&rsqb;}{\&part;R^{*}}=\frac{\&part;E\&lsqb;(S\left(\mathrm{\&omega;}\right)-R(\mathrm{\&omega;}\left)X\right(\mathrm{\&omega;}\left)\right){\left(S\right(\mathrm{\&omega;})-R(\mathrm{\&omega;}\left)X\right(\mathrm{\&omega;}\left)\right)}^{*}\&rsqb;}{\&part;R^{*}}=\\ =\frac{\&part;E\&lsqb;S\left(\mathrm{\&omega;}\right)S{\left(\mathrm{\&omega;}\right)}^{*}-S\left(\mathrm{\&omega;}\right){\left(R\right(\mathrm{\&omega;}\left)X\right(\mathrm{\&omega;}\left)\right)}^{*}-R\left(\mathrm{\&omega;}\right)X\left(\mathrm{\&omega;}\right)S{\left(\mathrm{\&omega;}\right)}^{*}-R\left(\mathrm{\&omega;}\right)X\left(\mathrm{\&omega;}\right){\left(R\right(\mathrm{\&omega;}\left)X\right(\mathrm{\&omega;}\left)\right)}^{*}\&rsqb;}{\&part;R^{*}}\\ =\frac{\&part;E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^2-S\left(\mathrm{\&omega;}\right)R{\left(\mathrm{\&omega;}\right)}^{*}X{\left(\mathrm{\&omega;}\right)}^{*}-R(\mathrm{\&omega;}\left)X\right(\mathrm{\&omega;})S{\left(\mathrm{\&omega;}\right)}^{*}+R(\mathrm{\&omega;}\left)\right|X\left(\mathrm{\&omega;}\right){|}^{2}R{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;}{\&part;R^{*}}\\ =\frac{\&part;\{E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^2\&rsqb;R{\left(\mathrm{\&omega;}\right)}^{*}E\&lsqb;S\left(\mathrm{\&omega;}\right)X{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;-R\left(\mathrm{\&omega;}\right)E\&lsqb;X\left(\mathrm{\&omega;}\right)S{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;+R\left(\mathrm{\&omega;}\right)R{\left(\mathrm{\&omega;}\right)}^{*}\left|X\right(\mathrm{\&omega;}\left){|}^2\right\}}{\&part;R^{*}}\\ =R\left(\mathrm{\&omega;}\right)\&CenterDot;E\&lsqb;|X\left(\mathrm{\&omega;}\right){|}^2\&rsqb;-E\&lsqb;S(\mathrm{\&omega;})\&CenterDot;X{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;\end{array}---\left(5\right)$

这里，E[|X(ω)|²]是包括噪声的捕捉图像的功率谱，并且E[S(ω)·X(ω)*]是包含噪声的捕捉图像和理想图像的互功率谱。

假定公式(5)的最右侧是0以获得公式(4)的最小值，可以获得以下公式(6)。

R(ω)·E[|X(ω)|²]-E[S(ω)·X(ω)^*]＝0(6)

可以从公式(6)获得以下公式(7)。

$R\left(\mathrm{\&omega;}\right)=\frac{E\&lsqb;S\left(\mathrm{\&omega;}\right)\&CenterDot;X{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;}{E\&lsqb;|X\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}---\left(7\right)$

基于公式(7)中描绘的频率特性R(ω)的逆变换滤波器是最小化在上面提及的公式(2)中描绘的均方差的最佳滤波器。

这里，当假设噪声的频率特性是W(ω)，h的频率特性是光学系统的PSF是H(ω)，并且在频率空间中描绘上面提及的公式(1)，由下面的公式(8)描绘。

X(ω)＝H(ω)S(ω)+W(ω)(8)

假定噪声的频率特性W(ω)和频率特性S(ω)不相关，则E[S(ω)·W(ω)*]＝0。因此，如果公式(8)被代入上面提及的公式(7)的右侧的分子中，则可以获得下面的公式(9)。

$\begin{array}{c}E\&lsqb;S\left(\mathrm{\&omega;}\right)\&CenterDot;X{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;=E\&lsqb;S\left(\mathrm{\&omega;}\right){\left(H\right(\mathrm{\&omega;}\left)S\right(\mathrm{\&omega;})+W(\mathrm{\&omega;}\left)\right)}^{*}\&rsqb;\\ =E\&lsqb;S\left(\mathrm{\&omega;}\right){\left(H\right(\mathrm{\&omega;}\left)S\right(\mathrm{\&omega;}\left)\right)}^{*}+W{\left(\mathrm{\&omega;}\right)}^{*})\&rsqb;=E\&lsqb;S(\mathrm{\&omega;}\left)\right(S{\left(\mathrm{\&omega;}\right)}^{*}H{\left(\mathrm{\&omega;}\right)}^{*}+W{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;\\ =E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^{2}H{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;+E\&lsqb;S\left(\mathrm{\&omega;}\right)W{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;=E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^{2}H{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;=H{\left(\mathrm{\&omega;}\right)}^{*}\&CenterDot;E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^2\&rsqb;\end{array}---\left(9\right)$

类似地，假定噪声的频率特定W(ω)和频率特性S(ω)不相关，则E[W(ω)·S(ω)*]＝0并且E[S(ω)*·W(ω)]＝0。因此，如果公式(8)被代入上面提及的公式(7)的右侧的分母中，则可以获得下面的公式(10)。

$\begin{array}{c}E\&lsqb;|X\left(\mathrm{\&omega;}\right){|}^2\&rsqb;=E\&lsqb;\left(H\right(\mathrm{\&omega;}\left)S\right(\mathrm{\&omega;})+W(\mathrm{\&omega;}\left)\right){\left(H\right(\mathrm{\&omega;}\left)S\right(\mathrm{\&omega;})+W(\mathrm{\&omega;}\left)\right)}^{*}\&rsqb;\\ =E\&lsqb;H\left(\mathrm{\&omega;}\right)S\left(\mathrm{\&omega;}\right)H{\left(\mathrm{\&omega;}\right)}^{*}S{\left(\mathrm{\&omega;}\right)}^{*}+H\left(\mathrm{\&omega;}\right)S\left(\mathrm{\&omega;}\right)W{\left(\mathrm{\&omega;}\right)}^{*}+W\left(\mathrm{\&omega;}\right)H{\left(\mathrm{\&omega;}\right)}^{*}S{\left(\mathrm{\&omega;}\right)}^{*}+W\left(\mathrm{\&omega;}\right)W{\left(\mathrm{\&omega;}\right)}^{*}\&rsqb;\\ =E\&lsqb;|H\left(\mathrm{\&omega;}\right)S\left(\mathrm{\&omega;}\right){|}^2\&rsqb;+E\&lsqb;W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;=E\&lsqb;|H\left(\mathrm{\&omega;}\right){|}^2|S\left(\mathrm{\&omega;}\right){|}^2\&rsqb;+E\&lsqb;|W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;\\ =\left|H\right(\mathrm{\&omega;}){|}^2\&CenterDot;E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^2\&rsqb;+E\&lsqb;|W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;\end{array}---\left(10\right)$

可以从上面提及的公式(7)、(9)和(10)获得在下面的公式(11)中描绘的频率特性R(ω)。

$R\left(\mathrm{\&omega;}\right)=\frac{H{\left(\mathrm{\&omega;}\right)}^{*}\&CenterDot;E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}{|H\left(\mathrm{\&omega;}\right){|}^2\&CenterDot;E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^2\&rsqb;+E\&lsqb;|W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}---\left(11\right)$

当考虑到图像处理系统的噪声时，基于公式(11)中描绘的频率特性R(ω)的逆变换滤波器是最小化的上面提及的公式(2)中描绘的均方差的最优滤波器。这里，E[|S(ω)|²]是理想图像的功率谱的均值，E[|W(ω)|²]是噪声的功率谱的均值，并且|H(ω)|²是光学系统的功率特性的功率谱。

此外，如果应用在上面提及的公式(11)中描绘的频率特性R(ω)，则当在逆变换处理之后的图像的每个像素与理想图像的每个像素之间的方差在频域被积分式时，可以获得均方差MSE(均方差)的以下公式(12)。

$\begin{array}{c}MSE=\&Integral;|S\left(\mathrm{\&omega;}\right)-R\left(\mathrm{\&omega;}\right)\&CenterDot;X\left(\mathrm{\&omega;}\right){|}^{2}d\mathrm{\&omega;}\\ =\&Integral;|S\left(\mathrm{\&omega;}\right)-R\left(\mathrm{\&omega;}\right)\&CenterDot;\{X\left(\mathrm{\&omega;}\right)S\left(\mathrm{\&omega;}\right)+W\left(\mathrm{\&omega;}\right)\}{|}^{2}d\mathrm{\&omega;}\\ =\&Integral;|(1-R(\mathrm{\&omega;}\left)H\right(\mathrm{\&omega;}\left)\right)S\left(\mathrm{\&omega;}\right)-R\left(\mathrm{\&omega;}\right)W\left(\mathrm{\&omega;}\right){|}^{2}d\mathrm{\&omega;}\\ =\&Integral;\{(1-R(\mathrm{\&omega;}\left)H\right(\mathrm{\&omega;}\left)\right)S\left(\mathrm{\&omega;}\right)-R\left(\mathrm{\&omega;}\right)W\left(\mathrm{\&omega;}\right)\}{\left\{(1-R(\mathrm{\&omega;}\left)H\right(\mathrm{\&omega;}\left)\right)S\right(\mathrm{\&omega;})-R(\mathrm{\&omega;}\left)W\right(\mathrm{\&omega;}\left)\right\}}^{*}d\mathrm{\&omega;}\\ =\&Integral;\{\left(\right|1-R\left(\mathrm{\&omega;}\right)H\left(\mathrm{\&omega;}\right))S\left(\mathrm{\&omega;}\right){|}^2-S(\mathrm{\&omega;})-R{\left(\mathrm{\&omega;}\right)}^{*}W{\left(\mathrm{\&omega;}\right)}^{*}(1-R(\mathrm{\&omega;}\left)H\right(\mathrm{\&omega;}\left)\right)\\ -R\left(\mathrm{\&omega;}\right)W\left(\mathrm{\&omega;}\right)S{\left(\mathrm{\&omega;}\right)}^{*}{(1-R(\mathrm{\&omega;}\left)H\right(\mathrm{\&omega;}\left)\right)}^{*}+\left|R\left(\mathrm{\&omega;}\right)W\right(\mathrm{\&omega;}\left){|}^2\right\}d\mathrm{\&omega;}\\ =\&Integral;\left\{\right|1-R\left(\mathrm{\&omega;}\right)H\left(\mathrm{\&omega;}\right){|}^2|S\left(\mathrm{\&omega;}\right){|}^2+|R\left(\mathrm{\&omega;}\right){|}^2\left|W\right(\mathrm{\&omega;}\left){|}^2\right\}d\mathrm{\&omega;}\end{array}---\left(12\right)$

在以上公式(12)的计算中，如上所述使用噪声的频率特性W(ω)与频率特性S(ω)之间的不相关性。公式(12)的最右侧的第一项指示在逆变换处理之后的图像的、不能被恢复的误差量。第二项指示噪声的误差量。

设计光学系统的频率特性H(ω)，使得公式(12)的积分具有最小值。相应地，能够获得最小化上面提及的公式(4)中描绘的频域中的均方差的光学系统和逆变换滤波器的组合。此外，能够基于帕赛瓦尔定理获得最小化上面提及的公式(2)中描绘的实际空间中的均方差的光学系统和逆变换滤波器的组合。

<关于局部逆变换滤波器的频率特性R’>

图8是说明功率谱在检测到的图像的区域之间不同的图。图9是说明在整个检测到的图像中的功率谱和最优滤波器的图。图10是说明检测到的图像的平坦部分的区域中的功率谱和最优滤波器的图。图11是说明在检测到的图像的纹理部分的区域中的功率谱和最优滤波器的图。参考图8至11给出局部逆变换滤波器的频率特性R’(ω)的描述。

假设已知用于获得上面提及的逆变换滤波器的频率特性R(ω)的公式(11)中的频率特性S(ω)。换言之，其可以被认为是整个理想图像的频率特性。然而，如图8中例示，作为由实际的图像捕捉设备12实际捕捉到的图像的检测到的图像101包含纹理部分101a和与纹理部分101a不同的平坦部分。在上面提及的描述中，已经给出了使用图9(b)中例示的逆变换滤波器的频率特性R(ω)执行滤波处理的操作的描述，通过该滤波处理，基于图9(a)中例示的整个理想图像的已知频率特性S(ω)，在上面提及的公式(12)中描绘的MSE被最小化。当基于频率特性R(ω)执行滤波处理时，可以在整个检测到的图像101中确实地最小化上面提及的公式(12)中描绘的MSE。然而，例如，在作为检测到的图像101中的平坦部分的区域102中，没有谱的部分的空间频率ω的域也被放大，使得不必要的噪声增加。

如图10(a)中例示，假定与理想图像中的区域102对应的局部区域的频率特性是S’(ω)。仅放大其中存在频率特性S’(ω)的谱的空间频率ω的域(低频域)并且给出区域102中的最小MSE的局部逆变换滤波器的频率特性R’(ω)是可以想到的(见图10(b))。

此外，如图11(a)例示，与理想图像中的区域103对应的局部区域的频率特性S’(ω)的谱在包括纹理部分101a的区域103中存在直到空间频率ω的高频域。因此，关于区域103的频率特性S’(ω)，执行直到高频域的放大并且给出区域103中的最小MSE的局部逆变换滤波器的频率特性R’(ω)是可想到的(见图11(b))。

通过以此方式局部地应用逆变换滤波器作为图像滤波处理导出频率特性R'(ω)，能够抑制噪声的放大并且改进图像的纹理的再现性。在下文中，给出局部逆变换滤波器的频率特性R’(ω)和所导出的以简化利用频率特性R’(ω)对滤波处理的计算的频率特性K(ω)的描述。

首先，当用理想图像的局部区域的频率特性S'(ω)替换用以获得在上面提及的公式(11)中描绘的频率特性R(ω)的公式中的频率特性S(ω)时，可以获得给出该局部区域的最小MSE的下面的公式(13)中描绘的频率特性R'(ω)。

$R^{\&prime;}\left(\mathrm{\&omega;}\right)=\frac{H{\left(\mathrm{\&omega;}\right)}^{*}\&CenterDot;E\&lsqb;|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}{|H\left(\mathrm{\&omega;}\right){|}^2\&CenterDot;E\&lsqb;|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2\&rsqb;+E\&lsqb;|W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}---\left(13\right)$

通过获得对于每个检测到的图像和检测到的图像的每个局部区域(每个像素)的频率特性R’(ω)，能够获得局部区域的最小MSE，并且与当基于对于整个检测到的图像共同的频率特性R(ω)通过逆变换滤波器执行滤波处理时相比，能够抑制噪声的增加。其中获得频率特性R’(ω)的局部区域不限于每个像素，而可以是检测到的图像的每个预定像素组(预定部分)。

这里，不能直接从检测到的图像获得公式(13)中的频率特性S’(ω)。相应地，使用上面提及的公式(8)以定义理想图像的局部功率谱的均值E[|S’(ω)|²]，如下面的公式(14)中。

$E\&lsqb;|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2\&rsqb;=E\&lsqb;|\frac{X^{\&prime;}\left(\mathrm{\&omega;}\right)-W\left(\mathrm{\&omega;}\right)}{H\left(\mathrm{\&omega;}\right)}{|}^2\&rsqb;\&ap;E\&lsqb;|\frac{X^{\&prime;}\left(\mathrm{\&omega;}\right)}{H\left(\mathrm{\&omega;}\right)}{|}^2\&rsqb;---\left(14\right)$

这里，X’(ω)是检测到的图像的局部区域(像素)的频率特性。在公式(4)中做出从关系X’(ω)＞＞W(ω)的近似。换言之，假设捕捉的图像的噪声分量足够与像素相比足够小。此外，当使用对频率特性X(ω)给出相对于频率特性S(ω)的最小MSE的逆变换滤波器的频率特性R(ω)时，均值E[|S’(ω)|²]由下面的公式(15)更正确地表达。

E[|S'(ω)|²]≈E[|R(ω)X'(ω)|²](15)

接下来，考虑噪声的模型如下：捕捉的图像的噪声被定义为如在下面的公式(16)中那样，考虑到捕捉的图像的噪声包括无论像素如何都具有恒定幅度的噪声和具有与像素成比例的幅度的噪声。

E[|w(n)|²]＝E[|kx(n)|²+|c|²]＝E[k²|x(n)|²+|c|²](16)

这里，k是具有与检测到的图像的像素成比例的幅度的噪声的比例性(proportionality)的常数，并且c是具有不依赖于检测到的图像的像素的恒定幅度的噪声分量。当公式(16)被变换到频域时，通过帕赛瓦尔定理给出下面的公式(17)。

E[|W(ω)|²]＝E[k²|X(ω)|²+|c|²](17)

当将上面提及的公式(15)和(16)代入公式(13)时，可以获得下面的公式(18)。

$R^{\&prime;}\left(\mathrm{\&omega;}\right)=\frac{H{\left(\mathrm{\&omega;}\right)}^{*}\&CenterDot;E\&lsqb;\left|R\left(\mathrm{\&omega;}\right)X^{\&prime;}\right(\mathrm{\&omega;}){|}^2\&rsqb;}{|H\left(\mathrm{\&omega;}\right){|}^2\&CenterDot;E\&lsqb;|R\left(\mathrm{\&omega;}\right)X^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2\&rsqb;+E\&lsqb;k^2|X\left(\mathrm{\&omega;}\right){|}^2+|c{|}^2\&rsqb;}---\left(18\right)$

这里，k和c可以通过对灰度级图(grayscalechart)的检测到的图像的分析而获得，并且使用它们的值，可以获得给出最小MSE的局部逆变换滤波器的频率特性R’(ω)。

在实际的电路实现方式中，能够通过以像素为基础直接计算局部逆变换滤波器的频率特性R’(ω)来实现上面提及的局部逆变换滤波器，但是获得局部逆变换滤波器的计算负荷大。因而，使用下面的方法以减少计算负荷。下面，省略了作为公式(16)中描绘的具有与检测到的图像的像素成比例的幅度的噪声的分量k²|x(n)|²。然而，可以通过向导出的公式中的噪声的功率谱|W(ω)|²添加相同项而获得相同效果。

首先，公式(13)被变换为如下面的公式(19)中那样。

$R^{\&prime;}\left(\mathrm{\&omega;}\right)=\frac{H{\left(\mathrm{\&omega;}\right)}^{*}}{|H\left(\mathrm{\&omega;}\right){|}^2+E\&lsqb;\frac{|W\left(\mathrm{\&omega;}\right){|}^2}{|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2}\&rsqb;}---\left(19\right)$

假定局部逆变换滤波器的频率特性R’(ω)与逆变换滤波器的频率特性R(ω)的比率是K(ω)。K(ω)由下面的公式(20)表达。

$K\left(\mathrm{\&omega;}\right)=\frac{R^{\&prime;}\left(\mathrm{\&omega;}\right)}{R\left(\mathrm{\&omega;}\right)}=\frac{\frac{|H\left(\mathrm{\&omega;}\right){|}^2}{E\&lsqb;|W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}+E\&lsqb;\frac{1}{|S\left(\mathrm{\&omega;}\right){|}^2}\&rsqb;}{\frac{|H\left(\mathrm{\&omega;}\right){|}^2}{E\&lsqb;|W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}+E\&lsqb;\frac{1}{|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2}\&rsqb;}---\left(20\right)$

考虑到从已经预先获得的频率特性R(ω)获得局部逆变换滤波器的频率特性R’(ω)以及在公式(20)中描绘的K(ω)，可以通过下面的公式(21)获得频率特性R’(ω)。

R'(ω)＝K(ω)R(ω)(21)

换言之，通过与基于已经预先获得的频率特性R(ω)的逆变换滤波器串联地操作基于特性K(ω)的滤波器(在下文中称为校正滤波器)，可以执行与基于频率特性R’(ω)的局部逆变换滤波器等效的滤波处理。

如下面公式(22)中描绘那样定义A(ω)，以简化公式。

$A\left(\mathrm{\&omega;}\right)=\frac{|H\left(\mathrm{\&omega;}\right){|}^2}{E\&lsqb;|W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}---\left(22\right)$

当公式(22)被代入上面提及的公式(20)时，可以通过下面的公式(23)获得校正滤波器的频率特性K(ω)。

$K\left(\mathrm{\&omega;}\right)=\frac{R^{\&prime;}\left(\mathrm{\&omega;}\right)}{R\left(\mathrm{\&omega;}\right)}=\frac{A\left(\mathrm{\&omega;}\right)+E\&lsqb;\frac{1}{|S\left(\mathrm{\&omega;}\right){|}^2}\&rsqb;}{A\left(\mathrm{\&omega;}\right)+E\&lsqb;\frac{1}{|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2}\&rsqb;}---\left(23\right)$

假定噪声大，并且A(ω)<<E[1/|S’(ω)|²]及A(ω)<<E[1/|S(ω)|²]。公式(23)可以被简化并且表达为如下面的公式(24)。

$K\left(\mathrm{\&omega;}\right)=\frac{R^{\&prime;}\left(\mathrm{\&omega;}\right)}{R\left(\mathrm{\&omega;}\right)}=\frac{E\&lsqb;\frac{1}{|S\left(\mathrm{\&omega;}\right){|}^2}\&rsqb;}{E\&lsqb;\frac{1}{|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2}\&rsqb;}=\frac{E\&lsqb;|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}{E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}---\left(24\right)$

另外，假设被摄体的典型光谱是均匀分布，并且E[|S(ω)|²]＝1。公式(24)被进一步简化并且表达为如下面的公式(25)。

$K\left(\mathrm{\&omega;}\right)=\frac{R^{\&prime;}\left(\mathrm{\&omega;}\right)}{R\left(\mathrm{\&omega;}\right)}=E\&lsqb;|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2\&rsqb;---\left(25\right)$

考虑A(ω)<<E[1/|S'(ω)|²]且A(ω)<<E[1/|S(ω)|²]在实践中不成立的情形，也能够引入比例性的常数t，如下面的公式(26)中描绘，并且表达频率特性K(ω)。

$K\left(\mathrm{\&omega;}\right)=\frac{R^{\&prime;}\left(\mathrm{\&omega;}\right)}{R\left(\mathrm{\&omega;}\right)}=t\&CenterDot;E\&lsqb;|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2\&rsqb;---\left(26\right)$

此外，可以通过上面提及的公式(15)获得用于计算校正滤波器的频率特性K(ω)的公式(23)至(26)中的理想图像的局部功率谱的均值E[|S’(ω)|²]。

如上面描述，可以通过将已经预先获得的逆变换滤波器的频率特性R(ω)和由公式(23)至(26)计算出的校正滤波器的频率特性K(ω)相乘，获得局部逆变换滤波器的频率特性R’(ω)。因而，可以降低计算负荷。

<滤波器处理单元的配置和操作>

图12是说明第一实施例的图像处理单元的滤波器处理单元的配置和操作的示例的图。参考图12描述图像处理单元14的滤波器处理单元143的配置和操作。

如图12中例示，滤波器处理单元143包括FT(傅里叶变换)单元1431、乘法器1432_1至1432_50、K计算单元1433、乘法器1434_1至1434_50和IFT(逆傅里叶变换)单元1435。

例如，5×5像素被输入到FT单元1431并且FT单元1431执行傅里叶变换，应用变换到频域。作为结果，FT单元1431将5×5像素(也就是，25个数据)转换为25个复数，并且输出25个实部数据和25个虚部数据(共同表达为数据X’1至X’50)。

乘法器1432_1至1432_50的每个将两个输入数据相乘，并且输出结果。同样应用于乘法器1434_1至1434_50。

K计算单元1433基于上面提及的公式(15)和(23)至(26)中的任一个，从输入频率特性R(ω)和X’(ω)的相乘值，输出校正滤波器的频率特性K(ω)。K计算单元1433可以配置为查阅查找表并且获得频率特性K(ω)，在该查找表中，频率特性K(ω)的值和频率特性R(ω)与X’(ω)相乘值、也就是频率特性S’(ω)相关联。

IFT单元1435执行将从乘法器1434_1至1434_50输出的相乘值(频域中的值)转换为实空间中的值的逆傅里叶变换，并且输出1×1像素。从IFT单元1435输出的像素与通过由逆傅里叶变换滤波器基于频率特性R’(ω)对检测到的图像的5×5像素执行滤波处理而获得的像素对应。

接下来，描述滤波器处理单元143的一系列操作的流程。首先，由图像捕捉设备12捕捉的图像(检测到的图像)由图像缓冲器单元141缓冲，如上面描述。从图像缓冲器单元141输出五个像素。因此，认为5×5像素作为一个单位从图像缓冲器单元141输入到滤波器处理单元143的FT单元1431中。FT单元1431基于输入5×5像素执行傅里叶变换，以变换到频域，将它们转换为25个复数，并且输出作为25个实部数据和25个虚部数据的数据X’1至X’50。

接下来，从FT单元1431输出的数据X’1和与数据X’1对应的并且从逆变换滤波器的频率特性R(ω)导出的滤波器系数R1被输入到乘法器1432_1。乘法器1432_1将数据X’1与滤波器系统R1相乘，并且输出相乘值R1·X’1。类似地，从FT单元1431输出的数据X’2至X’50和滤波器系统R2至R50被输入到乘法器1432_2至1432_50，并且乘法器1432_2至1432_50输出它们的相乘值R2·X’2至R50·X’50。

接下来，K计算单元1433基于上面提及的公式(15)和(23)至(26)中的任一个，分别根据输入的相乘值R1·X’1至R50·X’50计算滤波器系数K1至K50，K1至K50是基于频率特性K(ω)的校正滤波器的系数。

接着，乘法器1434_1将从乘法器1434_1输出的相乘值R1·X’1和从K计算单元1433输出的滤波器系数K1相乘，并且输出数据R1·K1·X’1。类似地，乘法器1434_2至1434_50将从乘法器11434_2至1434_50输出的相乘值R2·X’2至R50·X’50分别与从K计算单元1433输出的滤波器系数K2至K50相乘，并且输出数据R2·K2·X’2至R50·K50·X’50。

IFT单元1435然后执行将从乘法器1434_1至1434_50输出的数据R1·K1·X’1至R50·K50·X’50分别转换为实空间中的值的逆傅里叶变换，并且输出1×1像素。如上面描述，从IFT单元1435输出的像素与如下像素对应：通过使用基于与在检测到的图像的5×5部分图像的像素的中心处的像素对应的频率特性R’(ω)的逆变换滤波器对5×5像素执行滤波处理获得该像素。

如上面描述，对于由图像捕捉设备12捕捉的每个检测到的图像和检测到的图像的每个局部区域(每个像素)获得逆变换滤波器的频率特性R’(ω)。由基于频率特性R’(ω)的逆变换滤波器对于每个局部区域(每个像素)执行滤波处理。因而，可以对于每个局部区域获得最小MSE(均方差)，并且与当由基于对于整个检测到的图像共同的频率特性R(ω)的逆变换滤波器执行滤波处理时相比，可以抑制噪声的增加。

此外，局部逆变换滤波器的频率特性R’(ω)被定义为K(ω)·R(ω)，如上面提及的公式(21)中描绘。通过将基于频率特性R(ω)的逆变换滤波器的处理与基于频率特性K(ω)的校正滤波器的处理分离来配置滤波器电路。另外，基于上面提及的公式(23)至(26)中描绘的公式配置导出频率特性K(ω)的电路。结果，与直接以像素为基础导出频率特性R’(ω)的情形相比，能够降低计算负荷并且简化要实现的滤波器电路。

如在图6和12中描述，图像缓冲器单元141输出五个像素。5×5像素被输入到滤波器处理单元143中，并且滤波器处理单元143利用5×5抽头(tap)执行滤波处理。然而，抽头的数目不限于此。换言之，滤波处理的抽头的数目可以不同，例如，3×3、11×11或者21×21。在这种情形下，滤波器的抽头的数目需要是奇数，以使得在被滤波器的逆变换处理作为目标的、被输入到滤波器处理单元143中的像素组中存在中心像素。

(第二实施例)

针对与根据第一实施例的图像捕捉系统和图像捕捉装置的配置和操作的不同点，描述根据第二实施例的图像捕捉系统和图像捕捉装置。

根据该实施例的图像捕捉系统的配置类似于图1中例示的根据第一实施例的图像捕捉系统500的配置。此外，该实施例的PC的配置类似于图2中例示的配置。此外，该实施例的图像捕捉装置的配置类似于图3中例示的配置。然而，在该实施例中，用下面描述的并且在图13中例示的滤波器处理单元143a替代图4中例示的图像处理单元14的滤波器处理单元143。

<滤波器处理单元的配置和操作>

图13是说明第二实施例的图像处理单元的滤波器处理单元的配置和操作的示例的图。图14是例示逆变换滤波器的配置的示例的图。图15是说明由逆变换滤波器对图像执行滤波处理的图。图16是说明扫描在图像中的作为逆变换滤波器的滤波处理的目标的目标部分图像的操作的图。参考图13至16描述图像处理单元14的滤波器处理单元143a的配置和操作。

如图13中例示，滤波器处理单元143a包括逆滤波器处理单元1436、DCT(离散余弦变换：离散余弦变换)单元1431a、K计算单元1433a、减位(bitdown)单元1437_1至1437_9、乘法器1434a_1至1434a_9和IDCT(逆离散余弦变换：逆离散余弦变换)单元1435a。

例如，5×5像素被输入到逆滤波器处理单元1436中并且逆滤波器处理单元1436通过基于由上面提及的公式(11)导出的频率特性R(ω)的逆变换滤波器执行滤波处理(逆变换处理)。

例如，3×3像素被输入到DCT单元1431a中，并且DCT单元1431a对于已经由逆滤波器处理单元1436对其执行了滤波处理的图像执行离散余弦变换以将其变换到频域中。作为结果，DCT单元1431a将3×3像素、也就是九个数据转换为频域中的九个值，并且输出它们。被输入到DCT单元1431a的3×3像素是已经由逆滤波器处理单元1436通过基于频率特性R(ω)的逆变换滤波器对其执行了滤波处理的像素。相应地，在该实施例中，由DCT单元1431a输出的频域的九个值被表示为相乘值R1·X’1至R9·X’9。

K计算单元1433a基于上面提及的公式(15)和(23)至(26)中的任一个从输入频率特性R(ω)和X’(ω)的相乘值输出校正滤波器的频率特性K(ω)。具体地，K计算单元1433a基于上面提及的公式(15)和(23)至(26)中的任一个分别从输入的相乘值R1·X’1至R9·X’9计算滤波器系数K1至K9，滤波器系数K1至K9是基于频率特性K(ω)的校正滤波器的系数。K计算单元1433a可以配置为通过查阅查找表获得频率特性K(ω)，在该查找表中频率特性K(ω)的值与频率特性R(ω)和X’(ω)的值相关联。

减位单元1437_1至1437_9分别减少从K计算单元1433a输出的滤波器系统K1至K9的量化位速率(quantizationbitrate)。这是因为即使降低量化位速率并且执行校正滤波器的滤波处理，滤波器系数K1至K9对图像的劣化几乎没有任何影响。因此，通过减位单元1437_1至1437_9降低滤波器系数K1至K9的量化位速率，并且相应地，可以降低下游乘法器1434a_1至1434a_9的计算负荷。

乘法器1434a_1至1434a_9的每个将两个输入数据相乘，并且输出结果。

IDCT单元1435a执行将从乘法器1434a_1至1434a_9输出的相乘数(频域中的值)转换为实空间中的值的逆离散余弦变换，并且输出1×1像素。从IDCT单元1435a输出的像素对应于通过由基于频率特性R'(ω)的逆变换滤波器对检测到的图像的5×5像素执行滤波处理而获得的像素。

接下来，描述滤波器处理单元143a的一系列操作的流程图。首先，通过图像缓冲器单元141缓冲由图像捕捉设备12捕捉的图像(检测到的图像)，如上面描述。从图像缓冲器单元141输出五个像素。因此，假设5×5像素作为一个单位从图像缓冲器单元141输入到滤波器处理单元143a的逆滤波器处理单元1436。参考图14至16，给出在逆滤波器处理单元1436中的基于频率特性R(ω)的逆变换滤波器的滤波处理的操作的详细描述。

如图14中例示，用于逆变换处理的滤波器是逆变换滤波器121，其是具有由滤波器系数a11至a15、a21至a25、a31至a35、a41至a45和a51至a55配置的5×5抽头的线性滤波器。此外，假设作为逆变换滤波器121的逆变换处理的目标的图像的一部分为图15中例示的目标部分图像131。目标部分图像131是包括像素A11至A15、A21至A25、A31至A35、A41至A45以及A51至A55的5×5部分图像。

如图15中例示，逆变换滤波器的滤波处理找到通过由逆变换滤波器121对目标部分图像131执行卷积运算而获得的值，换言之，在公式(27)中表达的计算值。卷积运算的计算值是通过对作为位于目标部分图像131的中心处的像素的中心数据执行逆变换处理获得的值。换言之，卷积的计算值是在逆变换处理之后的图像中的、与在逆变换处理之前的图像的中心数据对应的位置处的像素。

接下来，按照逆滤波器处理单元1436的逆变换处理，参考图16描述扫描在图像105中的X方向上的水平行的同时执行逆变换处理的操作的概况。图16(a)例示逆滤波器处理单元1436通过逆变换滤波器121对图像105中的像素(1，1)执行逆变换处理的状态。如图16(a)中例示，具有像素(1，1)作为中心数据的目标部分图像131a以及与图像105重叠的一部分的像素需要执行以像素(1，1)作为中心数据135a的卷积运算。换言之，在目标部分图像131a中需要与图15中例示的目标部分图像131的像素A33至A35、A43至A45和A53至A55对应的像素。

为了这个目的，与像素A33至A35、A43至A45和A53至A55对应的像素必须已经从图像缓冲器单元141的输出部分1413a至1413c输出。在目标部分图像131a中，不与图像105重叠的部分中的像素假设被处理为“0”。

在以上状态下，与图15中例示的卷积运算类似，逆滤波器处理单元1436通过逆变换滤波器121对目标部分图像131a执行卷积运算。逆滤波器处理单元1436输出通过对于作为图像105的目标部分图像131a的中心数据135a的像素(1，1)执行卷积运算而获得的值，作为逆变换处理之后的图像的像素(1，1)。

接下来，如图16(b)中例示，逆滤波器处理单元1436通过沿着X方向移动一个像素来改变卷积运算的目标像素，并且对作为目标部分图像131b的中心数据135b的像素(2，1)执行逆变换处理。逆滤波器处理单元1436然后在沿着X方向上的水平行移动的同时重复卷积运算，并且对作为X方向上的水平行中的最后一个像素的像素(640，1)执行逆变换处理，如图16(c)中例示。如图16(c)中例示，像素(640，1)是目标部分图像131c的中心数据135c。

如上面描述，逆滤波器处理单元1436在沿着X方向上的水平行移动的同时重复卷积运算。当对水平行中的最后一个像素的逆变换处理结束时，逆滤波器处理单元1436类似地对Y方向上的下一水平行执行逆变换处理。

图16(d)至16(f)例示逆滤波器处理单元1436对图像105中Y方向上的第四水平行中的像素执行逆变换处理的状态。图16(d)例示逆滤波器处理单元1436通过逆变换滤波器121对图像105中的像素(1，4)执行逆变换处理的状态。如图16(d)中例示，具有像素(1，4)作为中心数据的目标部分图像131d以及与图像105重叠的部分中的像素需要执行以像素(1，4)作为中心数据135d的卷积运算。在目标部分图像131d中，不与图像105重叠的部分中的像素假设被处理为“0”，如上面描述。

图16(e)例示逆滤波器处理单元1436通过逆变换滤波器121对图像105中的像素(5，4)执行逆变换处理的状态。如图16(e)中例示，具有像素(5，4)作为中心数据135e的整个目标部分图像131e与图像105重叠，并且相应地，逆滤波器处理单元1436可以使用目标部分图像131e中包括的所有像素执行逆变换处理。

然后逆滤波器处理单元1436在沿着X方向上的水平行移动的同时重复卷积运算，并且对作为X方向上的水平行中的最后一个像素的像素(640，4)执行逆变换处理，如图16(f)例示。如图16(f)中例示，像素(640，4)是目标部分图像131f的中心数据135f。

如上面描述，不与图像105重叠的部分中的像素在图像105的目标部分图像中被设置为“0”，目标部分图像作为逆变换滤波器的卷积运算的目标，但不限于此。例如，作为不与图像105重叠的目标部分图像的部分中的像素，可以使用关于目标部分图像的中心数据作为参照折叠与图像105重叠的目标部分图像的部分中的像素的情况下的像素。

具体地，采用图16(a)的目标部分图像131a作为示例给出描述。假设目标部分图像131a的像素的名称类似于图15中例示的目标部分图像131a的那些。在此情况下，目标部分图像131a的不与图像105重叠的部分中的像素是像素A11至A15、A21至A25、A31、A32、A41、A42、A51和A52。此外，目标部分图像131a的与图像105重叠的部分中的像素是像素A33至A35、A43至A45和A53至A55。

此时，对于像素A31、A32、A41、A42、A51和A52，可以通过关于中心数据作为参照折叠目标部分图像131a的与图像105重叠的部分中的像素而分别使用像素A35、A34、A45、A44、A55和A54的值。此外，对于像素A13至A15和A23至A25，可以通过关于中心数据作为参照折叠目标部分图像131a的与图像105重叠的部分中的像素而分别使用像素A53至A55和A43至A45的值。对于像素A11、A12、A21和A22，可以使用在目标部分图像131a的与图像105重叠的部分中的像素之中处于关于中心数据作为参照的点对称位置关系的像素的值，换言之，A55、A54、A45和A44的值。在如上面描述的这种方法中，可以确定目标部分图像的每个像素。

接下来，按照如上所述已经通过逆滤波器处理单元1436对其执行了滤波处理的图像，3×3像素被输入到DCT单元1431a中，DCT单元1431a执行离散余弦变换，以将其变换到频域中，并且输出作为频域中的九个值的相乘值R1·X’1至R9·X’9。以这个方式，虽然第一实施例中在由图12例示的FT单元1431变换到频域之后输出数据的数目是输入数据的数目的两倍，但是输出数据的数目与在由DCT单元1431a进行的到频域的变换中的输入数据的数目相同。因此，可以简化DCT单元1431a的电路下游。自然地，可以替代DCT单元1431a和IDCT单元1435a类似于第一实施例中例示的而使用FT单元和IFT单元。

接下来，K计算单元1433a基于上面提及的公式(15)和(23)至(26)中的任一个，分别从输入的相乘值R1·X’1至R9·X’9计算作为基于频率特性K(ω)的校正滤波器的系数的滤波器系数K1至K9。

接下来，减位单元1437_1至1437_9降低对于分别从K计算单元1433输出的滤波器系数K1至K9的量化位速率，并且输出分别具有降低的量化位速率的滤波器系数K1至K9。

接下来，乘法器1434a_1至1434a_9分别将从DCT单元1431a输出的相乘值R1·X’1至R9·X’9和从减位单元1437_1至1437_9输出的滤波器系数K1至K9相乘，并且分别输出数据R1·K1·X’1至R9·K9·X’9。

IDCT单元1435a然后执行将从乘法器1434a_1至1434a_9输出的数据R1·K1·X’1至R9·K9·X’9分别转换为实空间中的值的逆离散余弦变换，并且输出1×1像素。如上面描述，从IDCT单元1435a输出的像素与通过使用基于与检测到的图像的5×5部分图像的像素的中心处的像素对应的频率特性R’(ω)的逆变换滤波器对5×5像素执行滤波处理获得的像素对应。

如上面描述，通过使用图13中例示的配置作为图像处理单元14的滤波器处理单元143a的配置，可以获得与第一实施例的效果类似的效果。

此外，在图13例示的滤波器处理单元143a中，在由逆滤波器处理单元1436通过基于频率特性R(ω)的逆变换滤波器对检测到的图像的5×5像素执行滤波处理之后，对通过从滤波后的图像减少像素的数目而获得的3×3像素执行DCT单元1431a的校正滤波器下游的滤波处理。换言之，校正滤波器的抽头的数目被设置为小于基于频率特性R(ω)的逆变换滤波器的抽头的数目。这是因为，即使输入到K计算单元1433a中的数据的数目减少以通过K计算单元1433a计算校正滤波器的滤波器系数，也几乎不对图像的劣化有任何影响。从而，可以进一步简化要实现的滤波器电路。

通过减位单元1437_1至1437_9降低由K计算单元1433a输出的滤波器系数的量化位速率。然而，这不是根本的。不是必须要求提供减位单元1437_1至1437_9。此外，也能够将减位单元应用于第一实施例的滤波器处理单元143，并且将它们放置在滤波器处理单元143中的K计算单元1433的下游。

实施例可以在抑制噪声的同时恢复作为光学像差的模糊。

虽然已经为了完整和清楚公开关于具体实施例描述了本发明，但是所附的权利要求并不因此受限，而是将被理解为包含本领域技术人员可以想到的、合理落入本文阐述的基本教导内的所有修改和替代结构。

参考标号列表

1图像捕捉装置

2PC

3通信电缆

4被摄体

11透镜单元

11a相位板

11b光圈

12图像捕捉设备

14图像处理单元

15通信单元

21通信单元

22操作单元

23显示单元

24存储单元

25外部存储设备

26控制单元

27总线

101检测到的图像

101a纹理部分

102,103区域

105图像

121逆变换滤波器

131,131a至131f目标部分图像

135a至135f中心数据

141图像缓冲器单元

143,143a滤波器处理单元

500图像捕捉系统

1410输入单元

1411a至1411d寄存器

1412a至1412d行缓冲器

1413a至1413e输出部分

1431FT单元

1431aDCT单元

1432_1至1432_50乘法器

1433,1433aK计算单元

1434_1至1434_50乘法器

1434a_1至1434a_9乘法器

1435IFT单元

1435aIDCT单元

1436逆滤波器处理单元

1437_1至1437_9减位单元

A帧开始时段

B水平消隐时段

C帧结束时段

D垂直消隐时段

T有效数据时段

引用列表

专利文献

专利文献1：日本专利申请特开第2012-54795号。

Claims (17)

1.一种图像捕捉装置，包括：

光学系统，对入射光给予像差；

图像捕捉单元，将穿过该光学系统的光转换为像素，并且捕捉图像；以及

逆变换单元，获得第一逆变换滤波器用于恢复由该图像捕捉单元捕捉的捕捉图像的每个预定部分的像差，并且通过第一逆变换滤波器对该捕捉图像执行第一逆变换处理。

2.如权利要求1所述的图像捕捉装置，其中，所述第一逆变换滤波器是基于该光学系统的像差和该捕捉图像的每个预定部分中的像素的频率特性而获得的滤波器。

3.如权利要求2所述的图像捕捉装置，其中，所述第一逆变换滤波器是最小化被摄体的理想图像的每个预定部分的像素的频率特性与已经由该逆变换单元执行了第一逆变换处理的输出图像的每个预定部分的像素的频率特性之间的均方差的滤波器。

4.如权利要求2或3所述的图像捕捉装置，其中，所述第一逆变换滤波器是用于对每个捕捉图像和作为该捕捉图像的预定部分的该捕捉图像的每个像素恢复像差的滤波器。

5.如权利要求1至4中的任一项所述的图像捕捉装置，其中，所述第一逆变换滤波器的频率特性R’由下面的公式(1)计算：

$R^{\&prime;}\left(\mathrm{\&omega;}\right)=\frac{H{\left(\mathrm{\&omega;}\right)}^{*}\&CenterDot;E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}{|H\left(\mathrm{\&omega;}\right){|}^2\&CenterDot;E\&lsqb;|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2\&rsqb;+E\&lsqb;|W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}---\left(1\right)$

(R’：第一逆变换滤波器的频率特性，

S’：理想图像的每个局部部分的频率特性，

W：噪声的频率特性，

H：光学系统的点扩散函数的频率特性，以及

ω：空间频率)。

6.如权利要求1至5中的任一项所述的图像捕捉装置，其中，所述第一逆变换滤波器的频率特性是用于恢复整个捕捉图像的像差的第二逆变换滤波器的频率特性与用于校正第二逆变换滤波器的频率特性的校正滤波器的频率特性的乘积。

7.如权利要求6所述的图像捕捉装置，其中，所述校正滤波器的频率特性K由下面的公式(2)计算：

$K\left(\mathrm{\&omega;}\right)==\frac{\frac{|H\left(\mathrm{\&omega;}\right){|}^2}{E\&lsqb;|W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}+E\&lsqb;\frac{1}{|S\left(\mathrm{\&omega;}\right){|}^2}\&rsqb;}{\frac{|H\left(\mathrm{\&omega;}\right){|}^2}{E\&lsqb;|W\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}+E\&lsqb;\frac{1}{|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2}\&rsqb;}---\left(2\right)$

(K：校正滤波器的频率特性，

S：整个理想图像的频率特性，

S’：理想图像的每个局部部分的频率特性，

W：噪声的频率特性，

H：光学系统的点扩散函数的频率特性，以及

ω：空间频率)。

8.如权利要求6所述的图像捕捉装置，其中，所述校正滤波器的频率特性K由下面的公式(3)计算：

$K\left(\mathrm{\&omega;}\right)=\frac{E\&lsqb;|S^{\&prime;}\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}{E\&lsqb;|S\left(\mathrm{\&omega;}\right){|}^2\&rsqb;}---\left(3\right)$

(K：校正滤波器的频率特性，

S：整个理想图像的频率特性，

S’：理想图像的每个局部部分的频率特性，以及

ω：空间频率)。

9.如权利要求6所述的图像捕捉装置，其中，所述校正滤波器的频率特性K由下面的公式(4)计算：

K(ω)＝t·E[|S'(ω)|²](4)

(K：校正滤波器的频率特性，

t：比例性的常数，

S’：理想图像的每个局部部分的频率特性，以及

ω：空间频率)。

10.如权利要求6至9中的任一项所述的图像捕捉装置，其中，理想图像是在捕捉图像上操作用于恢复整个捕捉图像的像差的第二逆变换滤波器的图像。

11.如权利要求6至10中的任一项所述的图像捕捉装置，其中，从查找表导出校正滤波器的频率特性，在该查找表中校正滤波器的频率特性与理想图像的每个预定部分的像素的频率特性相关联。

12.如权利要求6至11中的任一项所述的图像捕捉装置，其中，校正滤波器的滤波处理包括对已经被执行了第一逆变换处理的数据执行离散余弦变换的处理。

13.如权利要求6至12中的任一项所述的图像捕捉装置，其中，校正滤波器的抽头的数目小于第二逆变换滤波器的抽头的数目。

14.如权利要求6至13中的任一项所述的图像捕捉装置，其中，所述逆变换单元通过在实空间的值的计算，基于第二逆变换滤波器执行第二逆变换处理。

15.如权利要求6至13中的任一项所述的图像捕捉装置，其中，所述逆变换单元通过频域中的值的计算，基于第二逆变换滤波器执行第二逆变换处理。

16.一种图像捕捉系统，包括：

根据权利要求1至15中的任一项所述的图像捕捉装置；以及

信息处理装置，包括

通信单元，从所述图像捕捉装置接收已经被执行了第一逆变换处理的输出图像，以及

显示单元，显示输出的图像。

17.一种图像捕捉方法，包括：

对入射光给予像差；

将已经被给予像差的光转换为像素，并且捕捉图像；以及

获得第一逆变换滤波器用于恢复捕捉的图像的每个预定部分的像差，并且通过该第一逆变换滤波器对捕捉的图像执行第一逆变换处理。