CN106791353B - 自动对焦的方法、装置和系统 - Google Patents

Abstract

本发明提供了一种自动对焦的方法、装置和系统。其方法包括：获取人眼瞳孔的瞳孔图像，对瞳孔图像进行图像退化处理，得到退化图像，并根据瞳孔图像和退化图像确定相对参考图像，相对参考图像为瞳孔图像和退化图像的卷积。根据瞳孔图像的最大梯度的归一化值和图像结构相似度确定图像质量评价指标。最后，根据图像质量评价指标控制摄像头进行对焦。其中，图像结构相似度为所述瞳孔图像和所述相对参考图像之间的结构相似度。本发明实施例可以控制摄像头具有良好的对焦效果。

Description

自动对焦的方法、装置和系统

技术领域

本发明涉及人机交互领域，并且更具体地，涉及自动对焦的方法、装置和系统。

背景技术

人眼追踪作为人机交互领域的一项热门技术，吸引了很多科研学者以及工业厂商参与到其中的研究与应用。利用人眼相关视觉信息进行相应的操作控制相比于通过其他肢体或者辅助设备具有一定的便利性。进行人眼追踪的前提是捕捉人眼运动的视频信息。图像的成像效果受到各种环境的影响，例如，高速摄像头下曝光值无法调高导致图像偏暗、图像灰度值偏低或者图像信噪比低。因此，图像的质量直接影响了人眼追踪的效果。自动对焦技术是系统获取清晰图像的重要前提和保障。图像质量评价指标的优劣又对系统的自动对焦技术产生直接影响。

在确定图像质量评价指标时，根据是否拥有参考图像可以分为全参考、半参考和无参考图像质量评价。结合实际情况，无参考图像质量评价的方式更加适合实际工程应用，例如，通过高速摄像头拍摄视频得到的图像曝光值低、信噪比差，导致没有参考图像。目前常用的图像质量评价方法可以分为空域和频域两类。在实际应用过程中进行频域评价虽然具有一定的抗噪性，但需要进行相应的频域变换，计算复杂，会消耗较大的计算量。采用空域评价的方法虽然计算量小，但重用的空间梯度、方差等图像质量评价函数容易受到噪声的影响，抗噪性较差。如何根据系统的实际性能选择合理的图像质量评价指标是实现自动对焦技术的关键。

发明内容

本发明实施例提供一种自动对焦的方法、装置和系统，可以控制摄像头具有良好的对焦效果。

第一方面，提供了一种自动对焦的方法，包括：获取人眼瞳孔的瞳孔图像；对所述瞳孔图像进行图像退化处理，得到退化图像；根据所述瞳孔图像和所述退化图像确定相对参考图像，所述相对参考图像为所述瞳孔图像和所述退化图像的卷积；根据所述瞳孔图像的梯度的归一化值和图像结构相似度确定图像质量评价指标，其中，所述图像结构相似度为所述瞳孔图像和所述相对参考图像之间的结构相似度；根据所述图像质量评价指标控制第一摄像头进行对焦。

本发明实施例通过瞳孔图像的最大梯度的归一化值和图像结构相似度确定图像质量评价指标，并根据图像质量评价指标控制摄像头进行对焦，这种对焦技术可以控制摄像头具有良好的对焦效果。

结合第一方面，在第一方面的一种实现方式中，所述方法还包括：将所述瞳孔图像划分为大小相等的N个块区域，N为正整数；从所述N个块区域中选择K个块区域作为K个瞳孔图像块区域，K为正整数，K≤N；从所述相对参考图像中选择与所述K个瞳孔图像块区域相对应的K个相对参考图像块区域；确定块区域结构相似度，所述块区域结构相似度为所述K个瞳孔图像块区域和所述K个参考图像块区域之间的结构相似度；将所述块区域结构相似度作为所述图像结构相似度。

作为本发明的一个实施例，K的数值可以预先设定，也可以是经验值，还可以根据当前的瞳孔图像来确定。

结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述方法还包括：确定所述瞳孔图像的对比敏感度；根据N和所述瞳孔图像的对比敏感度确定K。

本发明实施例中，当由瞳孔图像确定K值时，可以使得图像质量评价指标与瞳孔图像直接相关联，使得图像质量评价指标更有利于控制器控制摄像头自动对焦。

结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述确定所述瞳孔图像的对比敏感度包括：根据所述瞳孔图像中每个块区域的像素宽度、人眼到所述摄像头的距离、所述瞳孔图像中每个块区域的每个像素点的位置确定每个像素点的空间频率；根据所述每个像素点的空间频率确定所述瞳孔图像的归一化空间频率；根据所述瞳孔图像的归一化空间频率确定所述瞳孔图像的对比敏感度。

结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述每个像素点的空间频率为：

其中,

所述瞳孔图像的归一化空间频率为：

所述瞳孔图像的对比敏感度为：

选取的块区域的数目为：K＝N×P；

a为人眼视角，L表示图像的宽度，D表示人眼到所述摄像头的距离，u,v分别为每个像素点经过频域变换后在频域中的位置的横纵坐标，x′,y′分别为频域图像经过偏移之后的中心位置的横纵坐标，f_min表示空间频率f的最小值，f_max表示空间频率f的最大值。

结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述方法还包括：根据所述瞳孔图像确定所述瞳孔图像的梯度；根据所述瞳孔图像的梯度确定所述瞳孔图像的梯度的归一化值。

本发明实施例中采用图像结构相似度作为图像质量评价指标的因素之一。当仅仅用图像结构相似度作为图像质量评价指标时，瞳孔图像的图像结构相似度的峰值可能不唯一，导致控制器控制摄像头进行自动对焦的效果不理想。本发明实施例中采用瞳孔图像的最大梯度的归一化值作为图像结构相似度的权重，将局部图像的峰值在一定范围内下降，而使得整个图像的峰值更突出。理想的图像质量评价指标为先增后减的曲线，峰值唯一，当图像质量评价指标取峰值时，摄像头所处的位置对焦效果最佳。

本发明实施例中还可以采用其它量作为图像结构相似度的权重。

结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，所述瞳孔图像的梯度的归一化值为所述瞳孔图像的最大梯度的归一化值；其中，所述方法还包括：根据所述瞳孔图像的梯度的最大值确定所述瞳孔图像的最大梯度的归一化值。

结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，以Rect表示所述瞳孔图像，则所述瞳孔图像的梯度为：

所述瞳孔图像的最大梯度的归一化值为：W＝Max/Maxmium，

其中，表示卷积运算，Rb由以下组成：

Max表示所述瞳孔图像的最大梯度，其表达式如下：

Maxmium表示所述瞳孔图像的最大理论梯度。

结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，述获取人眼瞳孔的瞳孔图像包括：控制所述第二摄像头捕捉人物目标；根据所述人物目标确定人的脸部位置；根据人的脸部位置调节所述第一摄像头的云台，使得所述第一摄像头拍摄到人脸图像；对所述人脸图像进行二值化处理，得到处理图像；获取所述处理图像的亮度区域的轮廓；根据所述轮廓的面积确定所述瞳孔图像。

第二方面，提供了一种自动对焦的装置，所述装置包括：获取单元，用于获取人眼瞳孔的瞳孔图像；处理单元，用于对所述获取单元获取的所述瞳孔图像进行图像退化处理，得到退化图像；第一确定单元，用于根据所述获取单元获取的所述瞳孔图像和所述处理单元得到的所述退化图像确定相对参考图像，所述相对参考图像为所述瞳孔图像和所述退化图像的卷积；第二确定单元，用于根据所述瞳孔图像的梯度的归一化值和图像结构相似度确定图像质量评价指标，其中，所述图像结构相似度为所述获取单元得到的瞳孔图像和所述第一确定单元得到的所述相对参考图像之间的结构相似度；对焦单元，用于根据所述第二确定单元得到的所述图像质量评价指标控制第一摄像头进行对焦。

结合第二方面，在第二方面的一种实现方式中，所述装置还包括：划分单元，用于将所述瞳孔图像划分为大小相等的N个块区域，N为正整数；第一选取单元，用于从所述N个块区域中选择K个块区域作为K个瞳孔图像块区域，K为正整数，K≤N；第二选取单元，用于从所述相对参考图像中选择与所述K个瞳孔图像块区域相对应的K个相对参考图像块区域；第三确定单元，用于确定块区域结构相似度，所述块区域结构相似度为所述K个瞳孔图像块区域和所述K个参考图像块区域之间的结构相似度；第四确定单元，用于将所述块区域结构相似度作为所述图像结构相似度。

结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述装置还包括：第五确定单元，用于确定所述瞳孔图像的对比敏感度；第六确定单元，用于根据N和所述瞳孔图像的对比敏感度确定K。

结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述第五确定单元具体用于根据所述瞳孔图像中每个块区域的像素宽度、人眼到所述第一摄像头的距离、所述瞳孔图像中每个块区域的每个像素点的位置确定每个像素点的空间频率，根据所述每个像素点的空间频率确定所述瞳孔图像的归一化空间频率，并根据所述瞳孔图像的归一化空间频率确定所述瞳孔图像的对比敏感度。

结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述每个像素点的空间频率为：

其中,

所述瞳孔图像的归一化空间频率为：

所述瞳孔图像的对比敏感度为：

选取的块区域的数目为：K＝N×P；

a为人眼视角，L表示图像的宽度，D表示人眼到所述第一摄像头的距离，u,v分别为每个像素点经过频域变换后在频域中的位置的横纵坐标，x′,y′分别为频域图像经过偏移之后的中心位置的横纵坐标，f_min表示空间频率f的最小值，f_max表示空间频率f的最大值。

结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述瞳孔图像的梯度的归一化值为所述瞳孔图像的最大梯度的归一化值；其中，所述装置还包括归一化单元，所述归一化单元用于根据所述瞳孔图像的梯度的最大值确定所述瞳孔图像的最大梯度的归一化值。

结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，以Rect表示所述瞳孔图像，则所述瞳孔图像的梯度为：

所述瞳孔图像的最大梯度的归一化值为：W＝Max/Maxmium，

其中，表示卷积运算，Rb由以下组成：

Max表示所述瞳孔图像的最大梯度，其表达式如下：

Maxmium表示所述瞳孔图像的最大理论梯度。

结合第二方面及其上述实现方式，在第二方面的另一种实现方式中，所述获取单元具体用于控制所述第二摄像头捕捉人物目标，并根据所述人物目标确定人的脸部位置，根据人的脸部位置调节所述第一摄像头的云台，使得所述第一摄像头拍摄到人脸图像，对所述人脸图像进行二值化处理，得到处理图像，获取所述处理图像的亮度区域的轮廓，并根据所述轮廓的面积确定所述瞳孔图像。

本发明实施例中控制摄像头自动对焦的装置的相应模块和/或器件的各个操作可以参照第一方面中的方法的各个步骤，在此不再重复。

第三方面，提供了一种自动对焦的系统，包括第一摄像头、第二摄像头和用于控制所述第一摄像头及第二摄像头的自动对焦的装置，其中，所述装置为上述的自动对焦的装置中任意一种。

在本发明的一个实施例中，上述系统可以为人机交互系统或视频监控系统。

上述具体实现方式中，第一摄像头可以为高速摄像头，第二摄像头可以为广角摄像头。本发明实施例对第一摄像头、第二摄像头不进行具体限定。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是可应用本发明实施例的人机交互系统的场景的示意图。

图2是本发明一个实施例的自动对焦的方法的示意性流程图。

图3是本发明一个实施例的自动对焦的装置的框图。

图4是本发明另一实施例的自动对焦的装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

图1是可应用本发明实施例的人机交互系统的场景的示意图。

图1所示的人机交互系统包括第一摄像头11、第二摄像头12和控制器13。控制器13可以用于控制第一摄像头11的自动对焦，换句话说，控制第一摄像头11自动对焦的装置可以为图1中的控制器。其中，控制器13可以与第一摄像头11连接，控制器13还可以与第二摄像头12连接。第一摄像头11和第二摄像头12可以用于拍摄图像，例如拍摄人眼瞳孔14的图像。

在本发明的一个实施例中，第一摄像头可以为高速摄像头，第二摄像头可以为广角摄像头，本发明后面的实施例中以此为例进行示例性说明。应理解，高速摄像头和广角摄像头仅作为本发明中第一摄像头和第二摄像头的一个举例说明，并不对本申请的保护范围构成限定。由于高速摄像头拍摄速度快，其得到的图像曝光值低、信噪比差，导致没有参考图像而很难控制其对焦。而广角摄像头的拍摄范围广，其可以搜索捕捉较大范围的人物目标(还可以在控制器的控制下捕捉移动的人物目标，其拍摄范围更广)，但其拍摄不够清晰准确。通过本发明提供的方法，其通过控制两种(或两组)摄像头的拍摄，可以控制使得整个系统具有良好的对焦效果，进而可快速准确的拍摄到清晰的目标。

在本发明的一个实施例中，广角摄像头可以用于捕捉人物目标，高速摄像头可以用于聚焦人眼区域，拍摄人眼的瞳孔。即，使用广角摄像头对拍摄目标进行粗略搜索定位，再使用高速摄像头进一步精确定位所需的瞳孔图像，这种配合使用广角摄像头和高速摄像头可以更快更准地获取瞳孔图像，能够提高摄像头对焦的效率。

控制器可以对摄像头拍摄到的瞳孔图像进行处理，得到图像质量评价指标，并根据图像质量评价指标控制第一摄像头自动对焦。

本发明实施例可以用于视频监控，通过控制器控制第一摄像头对焦之后，对第一摄像头拍摄的图像进行跟踪监控等。

下面结合图2并以第一摄像头为高速摄像头、第二摄像头为广角摄像头为例对本发明自动对焦的方法进行详细说明。

图2是本发明一个实施例的自动对焦的方法的示意性流程图。图2的方法可以用于视频监控系统，视频监控系统可以包括高速摄像头、广角摄像头和控制器。图2的方法可以由控制器执行，本发明实施例中以控制高速摄像头自动对焦的装置为控制器为例进行示例性说明。下面结合具体实施例详细介绍控制器控制高速摄像头自动对焦的方法。

201，获取人眼瞳孔的瞳孔图像。

控制器可以获取的瞳孔图像，可以是高速摄像头拍摄的，也可以是其它摄像头拍摄得到的。

例如，控制器可以通过下列方法获取高速摄像头拍摄的人眼瞳孔的瞳孔图像：控制广角摄像头捕捉人物目标，并根据人物目标确定人的脸部位置，再根据人的脸部位置调节高速摄像头的云台，使得高速摄像头拍摄到人脸图像，对人脸图像进行二值化处理，得到处理图像，最后获取处理图像的亮度区域的轮廓，根据轮廓的面积确定瞳孔图像。

在本发明的一个实施例中，通过获取高速摄像头拍摄的人眼瞳孔的瞳孔图像确定图像质量评价指标，进而控制高速摄像头自动对焦，这样通过使用高速摄像头自身拍摄的图像计算图像质量评价指标，更有利于对焦的准确性，可以使得高速摄像头具有更好的对焦效果。

在本发明的一个实施例中，控制器可以控制广角摄像头搜素并定位人物目标。当人物目标移动时，广角摄像头可以捕捉到移动中的人物目标，找出人脸区域，以使得后续高速摄像头确定瞳孔图像。这种实现方式不受检测的人物目标移动或姿势改变的影响，从而使得后续根据瞳孔图像得到的图像质量评价指标不受人物目标移动或姿势改变的影响。

控制器可以从人脸图像的视频流中选出一帧图像，并画出图像的灰度直方图hist。控制器可以根据图像的灰度直方图确定对图像进行二值化处理的阈值。

例如，视频获取的图像大小记为R×C，例如，2048×1088，R表示图像的宽度，C表示图像的高度，R和C的单位为像素。根据图像大小的实际情况选取上述图像的灰度直方图与坐标轴之间构成的面积总和的95％处对应的图像的灰度值作为图像二值化处理的阈值T，

T＝N，

上式中i表示图像的灰度值，例如，处理无符号8位灰度图像时，i的取值范围为从0到255。

根据上述得到的图像二值化处理的阈值T，对人脸图像IM(x,y)进行二值化处理。

其中，IM表示获取得到的灰度图像，(x,y)为相应的坐标点位置。

高速摄像头的帧率一般比较大，例如帧率为300fps，此时，图像的曝光值比较低，图像整体的灰度值不高、信噪比差。在对图像进行二值化处理后由于噪声产生的离散干扰点较多，因此需要对图像进行相应的形态学开运算处理。

由于噪声影响可能比较大，经过形态学开运算处理后的人脸图像可能仍然存在一定的干扰点。控制器可以查找处理后图像的轮廓，并根据轮廓的面积的大小确定瞳孔图像的位置，进而根据瞳孔面积确定瞳孔图像。例如，可以应用开源计算机视觉库(Opencomputer vision，Opencv)中的轮廓检测(findcontours)函数用于获取相应的轮廓。对得到的轮廓进行相应的面积判定，如果所有的轮廓面积均很小，而且可以判断得到图像中包括人眼区域的人脸图像，那么可以通过人脸图像的轮廓的面积的大小确定瞳孔图像的位置。如果所有的轮廓面积均很小，且可以判断得到图像中不包括人眼区域的人脸图像，此时返回到视频流中，从视频流中重新选择图像，或者，根据广角摄像头重新定位人脸区域，直至获取瞳孔图像。当判定得到人脸图像的轮廓面积在预设范围内时，认为该轮廓包括瞳孔图像。例如，可以将该轮廓所在的位置确定为瞳孔图像的位置，该位置处的图像即可以视为瞳孔图像。

本发明实施例中的控制器结合广角摄像头、高速摄像头获取人眼瞳孔的瞳孔图像，这样获取的瞳孔图像更为准确，更有利于后续根据瞳孔图像确定图像质量评价指标，从而使得控制器控制高速摄像头的对焦更为精准。

202，对瞳孔图像进行图像退化处理，得到退化图像。

用F(x,y)表示瞳孔图像，对瞳孔图像进行退化处理，得到退化图像S(x,y)。

根据高速摄像头离焦时，图像的模糊原理可知，

其中，M(x,y)为离焦图像，N(x,y)为噪声图像，表示卷积运算，

∫∫S(x,y)dxdy＝1

退化图像可以根据经验使用下列高斯模型来模拟：

203，根据瞳孔图像和退化图像确定相对参考图像。

在实际人眼追踪过程中，由于高速摄像头拍摄到的图像质量较差，无法在进行图像质量评价之前确定出任意一帧清晰的图像作为聚焦与离焦的参考图像，此时采用无参考图像质量评价的方式。

在本发明的一个实施例中，可以根据上述图像离焦的模糊原理，对当前采集到的瞳孔图像进行退化处理，例如，对瞳孔图像进行高斯低通滤波，得到退化图像。控制器可以将瞳孔图像F(x,y)和退化图像S(x,y)的卷积所得的图像作为相对参考图像G(x,y):

204，根据瞳孔图像的梯度的归一化值和图像结构相似度确定图像质量评价指标，其中，图像结构相似度为瞳孔图像和相对参考图像之间的结构相似度。

作为本发明的一个实施例，控制器可以通过下列方式得到瞳孔图像的梯度的归一化值。例如，控制器可以根据瞳孔图像确定瞳孔图像的梯度，并根据瞳孔图像的梯度确定瞳孔图像的梯度的归一化值。

优选地，控制器可以根据瞳孔图像的梯度的最大值确定瞳孔图像的最大梯度的归一化值。

在本发明的一个实施例中，可以通过瞳孔图像的梯度的最大值确定瞳孔图像的最大图像的归一化值，通过这样的归一化值得到的图像质量评价指标峰值尽可能唯一，图像质量评价指标的函数图像曲线升降更明显，有利于高速摄像头更好的实现对焦。

具体地，以Rect表示所述瞳孔图像，则所述瞳孔图像的梯度为：

其中，Rb可以由以下组成：

瞳孔图像的最大梯度的归一化值为：

W＝Max/Maxmium，

Max表示瞳孔图像的最大梯度，其表达式如下：

Maxmium表示瞳孔图像的最大理论梯度。

作为本发明的一个实施例，控制器可以通过下列方式得到上述图像结构相似度。例如，将瞳孔图像划分为大小相等的N个块区域，N为正整数。从N个块区域中选择K个块区域作为K个瞳孔图像块区域，K为正整数，K≤N。从相对参考图像中选择与K个瞳孔图像块区域相对应的K个相对参考图像块区域确定上述块区域结构相似度，其中，块区域结构相似度为K个瞳孔图像块区域和K个参考图像块区域之间的结构相似度。K可以为预设值，也可以为经验值，还可以是根据瞳孔图像确定的数值。

本发明实施例中，通过选择K个瞳孔图像块区域和K个相对参考图像块区域来计算上述块区域结构相似度，K的数值可以预先设定或取经验值，这样可以避免利用整个图像的所有块区域计算区域结构相似度，能够减少计算区域结构相似度的复杂性。

作为本发明的一个实施例，控制器可以通过下列方式根据瞳孔图像确定K的数值。例如，控制器可以确定瞳孔图像的对比敏感度，并根据N和瞳孔图像的对比敏感度确定K。

本发明实施例中通过N和瞳孔图像的对比敏感度确定K，可以尽可能选择合适的K值，这样能够在减少计算区域结构相似度的复杂性的同时保证区域结构相似度尽可能准确。

作为本发明的一个实施例，控制器可以通过下列方式确定瞳孔图像的对比敏感度。例如，控制器可以根据瞳孔图像中每个块区域的像素宽度、人眼到所述高速摄像头的距离、瞳孔图像中每个块区域的每个像素点的位置确定每个像素点的空间频率。根据每个像素点的空间频率确定瞳孔图像的归一化空间频率。并根据瞳孔图像的归一化空间频率确定瞳孔图像的对比敏感度。

当通过瞳孔图像确定得到K值时，图像结构相似度与此时的瞳孔图像直接相关。利用该图像结构相似度得到的图像质量评价指标也与图像直接相关，这样能够根据瞳孔图像更好地控制高速摄像头自动对焦，即对焦效果更好。

具体地，正常的人眼视角在一定的角度范围内只能识别有限周数的光栅。人眼视角a计算的公式为：

上式中L表示图像的宽度，单位为厘米。D表示人眼到高速摄像头的距离。

图像中每个点的经过频域变换之后在频域中的位置为(u,v)，频域图像经过偏移之后的中心坐标为(x′,y′)，则对应每个点的空间频率为：

其中，f_s表示计算得到的瞳孔图像中每个点的空间频率。

控制器可以根据瞳孔图像中每个点的空间频率计算得到瞳孔图像的归一化空间频率ff：

其中，Δf的计算是利用整个图像的x与y方向的空间频率和的平方根，f_min表示空间频率的最小值，f_max表示空间频率的最大值。

控制器可以根据瞳孔图像的归一化空间频率ff计算得到评价瞳孔图像的对比敏感度为：

控制器可以由瞳孔图像的对比敏感度和瞳孔区域的块区域的个数N，计算得出选取的Sobel梯度幅值图像的块区域的K值的数目：

K＝N×P。

控制器得到K值之后，可以从瞳孔图像F(x,y)中选出K个块区域，并从相对参考图像G(x,y)中选出与上述K个块区域相对应的K个块区域，并计算当前图像F(x,y)的K个块区域与G(x,y)的K个区域的块区域结构相似度。以SSIM表示每个块区域的结构相似度，上述块区域结构相似度为K个块区域中每个块区域的结构相似度的和。每个块区域的结构相似度SSIM可以由下列公式得到：

SSIM＝l^αm^βn^γ

上式中l、m和n分别代表灰度值、对比度和结构信息对比度的衡量参数，μ_F、μ_G分别表示F(x,y)和G(x,y)对应块区域的均值，σ_F、σ_G分别表示F(x,y)和G(x,y)对应块区域的标准差，σ_FG表示二值对应块区域的标准协方差。α、β、γ表示每个参数在相似度SSIM结果中的权重大小，α、β、γ可以根据经验得到相应的数值。

在本发明的一个实施例中，可以通过下列方式计算图像F(x,y)基于索贝尔(Sobel)算子的梯度。Sobel算子可以分为水平方向算子hx和垂直方向算子vy。例如：

由图像F(x,y)、hx和vy可以得到水平梯度、垂直梯度和梯度幅值分别为：

控制器在确定K值之后，可以选取F(x,y)中的K个区域。作为本发明的一个实施例，控制器可以根据F(x,y)的梯度幅值确定K个区域的具体位置。例如，控制器可以选择梯度幅值较大的K个区域作为所选择的图像F(x,y)的K个块区域。

控制器在得到块区域结构相似度SSIM之后，可以将块区域结构相似度作为整幅瞳孔图像的图像结构相似度FSSIM：

作为本发明的一个实施例，在得到瞳孔图像的最大梯度的归一化值和图像结构相似度之后，控制器可以根据瞳孔图像的最大梯度的归一化值W和图像结构相似度FSSIM确定图像质量评价指标LSSIM。例如，

LSSIM＝W×FSSIM。

本发明实施例的控制高速摄像头自动对焦的方法具有一定的抗干扰能力，并根据瞳孔图像选择合适的K值，使得在保证一定的抗干扰能力的同时，尽量减小计算量。

205，根据图像质量评价指标控制高速摄像头进行对焦。

控制器在得到图像质量评价指标之后，可以根据图像质量评价指标控制高速摄像头进行对焦。

例如，设定控制高速摄像头自动对焦前的初始位置，高速摄像头当前所处的位置L，摄像头移动步长的最小值S_min，当前设定的移动步长S，初始移动的方向为正方向。

控制器可以调节高速摄像头到上述自动对焦前的初始位置，准备开始自动对焦。沿当前方向以步长S调节高速摄像头的位置，并间隔步长△S记录移动高速摄像头时计算得到的图像质量评价指标和对应的高速摄像头所处的位置。

在本发明第一个实施例中，控制器可以高速摄像头所处的位置为横坐标，以图像质量评价指标为纵坐标时，画出图像质量评价函数。当图像质量评价函数出现图像质量评价指标依次递减，则证明所得到的图像开始离焦，因此停止调节高速摄像头。控制器也可以直接根据记录的图像质量评价指标随高速摄像头所处的位置的变化，得到图像质量评价指标最优时高速摄像头所处的位置。

在本发明的一个实施例中，基于图像质量评价指标控制高速摄像头对焦时，在一定范围内可能出现图像质量评价指标随着高速摄像头所处的位置先增大后减小再增大的情况，控制器可以设定在以若干像素的步长范围内图像质量评价指标仅出现一个峰值时，将该峰值对应的高速摄像头位置确认为控制高速摄像头对焦的位置。当在以若干像素的步长范围内图像质量评价指标出现若干个峰值时，控制器可以重新计算图像质量评价指标，并控制高速摄像头进行对焦。

在高速摄像头移动结束之后立即返回到之前遍历时记录的图像质量评价指标最大值对应的高速摄像头的位置处。此时认为对焦效果最好，对焦结束。

本发明实施例通过瞳孔图像的最大梯度的归一化值和图像结构相似度确定图像质量评价指标，并根据图像质量评价指标控制高速摄像头进行对焦，这种对焦技术可以控制摄像头具有良好的对焦效果。尤其是对于曝光值低或信噪比的红外图像，本发明实施例具有更好的对焦效果。

本发明实施例中的图像质量评价指标依赖于瞳孔图像，不受环境中其它因素的影响，因此，本发明实施例的控制高速摄像头自动对焦的方法具有良好的抗干扰能力。

本发明实施例的控制高速摄像头自动对焦的方法，可以用于视频监控系统，该视频监控系统可以包括高速摄像头、广角摄像头和控制器即可实现高速摄像头的自动对焦，进而快速准确的拍摄到清晰的目标。本发明实施例的设备需求简单，方案简单易行。当利用人眼瞳孔进行图像跟踪时，仅通过跟踪瞳孔的移动即可实现对图像的跟踪，控制器可以通过广角摄像头定位人脸位置后，通过高速摄像头聚焦人眼区域，图像质量评价指标的源图像(例如这里的瞳孔图像)不受检测目标的移动与姿势等的影响。

上文结合图2详细说明用于本发明实施例的自动对焦的方法及具体流程，下面结合图3和图4详细说明用于本发明实施例的自动对焦的装置。

图3是本发明一个实施例的自动对焦的装置的框图。

图3的装置可执行图2流程图中的方法。图3的装置10包括获取单元11、第一确定单元12、第二确定单元13和对焦单元14。图3的控制高速摄像头自动对焦的装置10可以为图1和图2中的控制器。

获取单元11用于获取人眼瞳孔的瞳孔图像。

处理单元12用于对获取单元获取的瞳孔图像进行图像退化处理，得到退化图像。

第一确定单元13用于根据获取单元获取的瞳孔图像和处理单元得到的退化图像确定相对参考图像，相对参考图像为瞳孔图像和退化图像的卷积。

第二确定单元14用于根据瞳孔图像的最大梯度的归一化值和图像结构相似度确定图像质量评价指标，其中，图像结构相似度为获取单元得到的瞳孔图像和第一确定单元得到的相对参考图像之间的结构相似度。

对焦单元15用于根据第二确定单元得到的图像质量评价指标控制第一摄像头进行对焦。

本发明实施例通过瞳孔图像的最大梯度的归一化值和图像结构相似度确定图像质量评价指标，并根据图像质量评价指标控制高速摄像头进行对焦，这种对焦技术可以控制摄像头具有良好的对焦效果。

根据本发明实施例的自动对焦的装置10可对应于本发明实施例自动对焦的方法，并且，该装置10中的各个单元/模块和上述其他操作和/或功能分别为了实现图2中控制器执行的所示方法的相应流程，为了简洁，在此不再赘述。

图4是本发明另一实施例的自动对焦的装置的框图。

图4中自动对焦的装置20可以为图1和图2中的控制器，控制器可以用于控制高速摄像头自动对焦。控制器20可以包括处理器21和存储器22。装置20的各个组件通过总线系统23耦合在一起，其中总线系统23除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图中将各种总线都标为总线系统23。存储器22可以包括只读存储器和随机存取存储器，并向处理器21提供指令和数据。存储器22的一部分还可以包括非易失性随机存取存储器。处理器21可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。

上述本发明实施例揭示的方法可以应用于处理器21中，或者由处理器21实现。在实现过程中，上述方法实施例图2中控制器执行的各步骤可以通过处理器21中的硬件的集成逻辑电路或者软件形式的指令完成。处理器21可以读取存储器22中的信息，结合其硬件完成方法实施例的步骤。

具体地，处理器21可以用于获取人眼瞳孔的瞳孔图像。

处理器21还可以用于对获取的瞳孔图像进行图像退化处理，得到退化图像。

处理器21还可以用于根据获取的瞳孔图像和图像退化处理得到的退化图像确定相对参考图像，相对参考图像为瞳孔图像和退化图像的卷积。

处理器21还可以用于根据瞳孔图像的最大梯度的归一化值和图像结构相似度确定图像质量评价指标，其中，图像结构相似度为瞳孔图像和相对参考图像之间的结构相似度。

处理器21还可以用于根据图像质量评价指标控制第一摄像头进行对焦。

本发明实施例通过瞳孔图像的最大梯度的归一化值和图像结构相似度确定图像质量评价指标，并根据图像质量评价指标控制高速摄像头进行对焦，这种对焦技术可以控制摄像头具有良好的对焦效果。

根据本发明实施例的自动对焦的装置20可对应于本发明实施例自动对焦的方法，并且，该装置20中的各个单元/模块和上述其他操作和/或功能分别为了实现图2中控制器执行的所示方法的相应流程，例如，处理器21可以执行上述方法实施例图2中相应方法的相应流程，为了简洁，在此不再赘述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种自动对焦的方法，其特征在于，包括：

获取人眼瞳孔的瞳孔图像；

对所述瞳孔图像进行图像退化处理，得到退化图像；

根据所述瞳孔图像和所述退化图像确定相对参考图像，所述相对参考图像为所述瞳孔图像和所述退化图像的卷积；

根据所述瞳孔图像的梯度的归一化值和图像结构相似度确定图像质量评价指标，其中，所述图像结构相似度为所述瞳孔图像和所述相对参考图像之间的结构相似度；

根据所述图像质量评价指标控制第一摄像头进行对焦。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述瞳孔图像划分为大小相等的N个块区域，N为正整数；

从所述N个块区域中选择K个块区域作为K个瞳孔图像块区域，K为正整数，K≤N；

从所述相对参考图像中选择与所述K个瞳孔图像块区域相对应的K个相对参考图像块区域；

确定块区域结构相似度，所述块区域结构相似度为所述K个瞳孔图像块区域和所述K个参考图像块区域之间的结构相似度；

将所述块区域结构相似度作为所述图像结构相似度。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

确定所述瞳孔图像的对比敏感度；

根据N和所述瞳孔图像的对比敏感度确定K。

4.根据权利要求3所述的方法，其特征在于，所述确定所述瞳孔图像的对比敏感度包括：

根据所述瞳孔图像中每个块区域的像素宽度、人眼到所述第一摄像头的距离、所述瞳孔图像中每个块区域的每个像素点的位置确定每个像素点的空间频率；

根据所述每个像素点的空间频率确定所述瞳孔图像的归一化空间频率；

根据所述瞳孔图像的归一化空间频率确定所述瞳孔图像的对比敏感度。

5.根据权利要求1所述的方法，其特征在于，所述瞳孔图像的梯度的归一化值为所述瞳孔图像的最大梯度的归一化值；

其中，所述方法还包括：

根据所述瞳孔图像的梯度的最大值确定所述瞳孔图像的最大梯度的归一化值。

6.根据权利要求5所述的方法，其特征在于，

以Rect表示所述瞳孔图像，则所述瞳孔图像的梯度为：

所述瞳孔图像的最大梯度的归一化值为：W＝Max/Maxmium，

其中，表示卷积运算，Rb由以下组成：

Max表示所述瞳孔图像的最大梯度，其表达式如下：

Maxmium表示所述瞳孔图像的最大理论梯度。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述获取人眼瞳孔的瞳孔图像包括：

控制第二摄像头捕捉人物目标；

根据所述人物目标确定人的脸部位置；

根据人的脸部位置调节所述第一摄像头的云台，使得所述第一摄像头拍摄到人脸图像；

对所述人脸图像进行二值化处理，得到处理图像；

获取所述处理图像的亮度区域的轮廓；

根据所述轮廓的面积确定所述瞳孔图像。

8.一种自动对焦的装置，其特征在于，所述装置包括：

获取单元，用于获取人眼瞳孔的瞳孔图像；

处理单元，用于对所述获取单元获取的所述瞳孔图像进行图像退化处理，得到退化图像；

第一确定单元，用于根据所述获取单元获取的所述瞳孔图像和所述处理单元得到的所述退化图像确定相对参考图像，所述相对参考图像为所述瞳孔图像和所述退化图像的卷积；

第二确定单元，用于根据所述瞳孔图像的梯度的归一化值和图像结构相似度确定图像质量评价指标，其中，所述图像结构相似度为所述获取单元得到的瞳孔图像和所述第一确定单元得到的所述相对参考图像之间的结构相似度；

对焦单元，用于根据所述第二确定单元得到的所述图像质量评价指标控制第一摄像头进行对焦。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

划分单元，用于将所述瞳孔图像划分为大小相等的N个块区域，N为正整数；

第一选取单元，用于从所述N个块区域中选择K个块区域作为K个瞳孔图像块区域，K为正整数，K≤N；

第二选取单元，用于从所述相对参考图像中选择与所述K个瞳孔图像块区域相对应的K个相对参考图像块区域；

第三确定单元，用于确定块区域结构相似度，所述块区域结构相似度为所述K个瞳孔图像块区域和所述K个参考图像块区域之间的结构相似度；

第四确定单元，用于将所述块区域结构相似度作为所述图像结构相似度。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

第五确定单元，用于确定所述瞳孔图像的对比敏感度；

第六确定单元，用于根据N和所述瞳孔图像的对比敏感度确定K。

11.根据权利要求10所述的装置，其特征在于，所述第五确定单元具体用于根据所述瞳孔图像中每个块区域的像素宽度、人眼到所述第一摄像头的距离、所述瞳孔图像中每个块区域的每个像素点的位置确定每个像素点的空间频率，根据所述每个像素点的空间频率确定所述瞳孔图像的归一化空间频率，并根据所述瞳孔图像的归一化空间频率确定所述瞳孔图像的对比敏感度。

12.根据权利要求8所述的装置，其特征在于，所述瞳孔图像的梯度的归一化值为所述瞳孔图像的最大梯度的归一化值。

13.根据权利要求12所述的装置，其特征在于，

以Rect表示所述瞳孔图像，则所述瞳孔图像的梯度为：

所述瞳孔图像的最大梯度的归一化值为：W＝Max/Maxmium，

其中，表示卷积运算，Rb由以下组成：

Max表示所述瞳孔图像的最大梯度，其表达式如下：

Maxmium表示所述瞳孔图像的最大理论梯度。

14.根据权利要求8-13任一项所述的装置，其特征在于，所述获取单元具体用于控制第二摄像头捕捉人物目标，并根据所述人物目标确定人的脸部位置，根据人的脸部位置调节所述第一摄像头的云台，使得所述第一摄像头拍摄到人脸图像，对所述人脸图像进行二值化处理，得到处理图像，获取所述处理图像的亮度区域的轮廓，并根据所述轮廓的面积确定所述瞳孔图像。

15.一种自动对焦的系统，其特征在于，所述系统包括第一摄像头、第二摄像头和用于控制所述第一摄像头及第二摄像头的自动对焦的装置，所述自动对焦的装置为权利要求8-14任一项所述的装置。