CN118015033B - 图像处理方法、装置、设备及介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置、设备及介质，包括：获取多张待处理图像；针对多张待处理图像中的每张待处理图像，获取待处理图像的第一边缘梯度信息，以及参考图像的第二边缘梯度信息；基于待处理图像的第一边缘梯度信息和参考图像的第二边缘梯度信息，确定第一梯度图像与第二梯度图像之间的第一结构相似度；基于第一结构相似度，确定待处理图像的质量分数，质量分数用于评估待处理图像的质量。本申请实施例，能够快速准确地评估图像的质量。

Description

图像处理方法、装置、设备及介质

技术领域

本申请属于图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及介质。

背景技术

在图像处理和计算机视觉领域，目标检测是一项重要的技术。然而，在实际应用中，往往存在低质量的图像，例如，模糊、昏暗、花屏等图像，这些低质量的图像会影响到目标检测的准确度。因此，如何快速准确地评估图像的质量，以便过滤掉低质量图像，提升目标检测的准确度是一个亟待解决的技术问题。

发明内容

本申请实施例提供一种图像处理方法、装置、设备及介质，能够快速准确地评估图像的质量。

第一方面，本申请实施例提供一种图像处理方法，方法包括：

获取多张待处理图像；

针对多张待处理图像中的每张待处理图像，获取待处理图像的第一边缘梯度信息，以及参考图像的第二边缘梯度信息，参考图像是基于待处理图像生成的；

基于待处理图像的第一边缘梯度信息和参考图像的第二边缘梯度信息，确定第一梯度图像与第二梯度图像之间的第一结构相似度，第一梯度图像基于待处理图像的第一边缘梯度信息生成，第二梯度图像基于参考图像的第二边缘梯度信息生成；

基于第一结构相似度，确定待处理图像的质量分数，质量分数用于评估待处理图像的质量。

在第一方面的一种可选的实施方式中，在获取参考图像的第二边缘梯度信息之前，方法还包括：

对待处理图像进行高斯模糊处理，得到待处理图像的参考图像。

在第一方面的一种可选的实施方式中，待处理图像包括多个第一像素点，以及每个第一像素点的像素值；

对待处理图像进行高斯模糊处理，得到与待处理图像的参考图像，包括：

针对多个第一像素点中的每个第一像素点，执行如下操作：

确定第一像素点的像素值，以及多个第一像素点中与第一像素点相邻的第二像素点的像素值；

基于预设权重对第一像素点的像素值以及第二像素点的像素值进行加权求和处理，得到第一像素点的目标像素值，以得到待处理图像的参考图像。

在第一方面的一种可选的实施方式中，获取待处理图像的第一边缘梯度信息，以及参考图像的第二边缘梯度信息，包括：

利用索贝尔算子提取待处理图像的第一边缘梯度信息，并利用索贝尔算子提取参考图像的第二边缘梯度信息；

其中，第一边缘梯度信息包括待处理图像的水平方向上的边缘梯度信息，以及待处理图像的垂直方向上的边缘梯度信息；

第二边缘梯度信息包括参考图像的水平方向上的边缘梯度信息，以及参考图像的垂直方向上的边缘梯度信息。

在第一方面的一种可选的实施方式中，基于待处理图像的第一边缘梯度信息和参考图像的第二边缘梯度信息，确定第一梯度图像与第二梯度图像之间的第一结构相似度，包括：

基于待处理图像的第一边缘梯度信息，生成第一梯度图像，并基于参考图像的第二边缘梯度信息，生成第二梯度图像；

确定第一梯度图像中N个第一图像区域，并确定第二梯度图像中N个第二图像区域；

确定N个第一图像区域中第i个第一图像区域与N个第二图像区域中第i个第二图像区域之间的第二结构相似度，i＝1、2……N，得到N个第二结构相似度；

基于第一结构相似度，确定待处理图像的质量分数，包括：

基于N个第二结构相似度，确定待处理图像的质量分数。

在第一方面的一种可选的实施方式中，确定第一梯度图像中N个第一图像区域，并确定第二梯度图像中N个第二图像区域，包括：

划分第一梯度图像，得到M个第一图像区域，并计算M个第一图像区域中每个第一图像区域的第一像素梯度方差；

从M个第一图像区域中筛选得到第一像素梯度方差大于第一预设值的N个第一图像区域；

划分第二梯度图像，得到M个第二图像区域，并计算M个第二图像区域中每个第二图像区域的第二像素梯度方差；

从M个第二图像区域中筛选得到第二像素梯度方差大于第二预设值的N个第二图像区域。

在第一方面的一种可选的实施方式中，确定N个第一图像区域中第i个第一图像区域与N个第二图像区域中第i个第二图像区域之间的第一结构相似度，包括：

其中，为第i个第一图像区域的像素均值，为第i个第二图像区域的像素均值，为第i个第一图像区域的像素方差，为第i个第二图像区域的像素方差，为第i个第一图像区域和第i个第二图像区域之间的像素协方差，C₁、C₂、C₃均为常数。

在第一方面的一种可选的实施方式中，基于N个第二结构相似度，确定待处理图像的质量分数，满足如下公式：

其中，Score为质量分数，i＝1、2……N，SSIM(x_i，y_i)为第i个第一图像区域和第i个第二图像区域之间的第二结构相似度。

第二方面，本申请实施例提供一种图像处理装置，装置包括：

获取模块，用于获取多张待处理图像；

获取模块，还用于针对多张待处理图像中的每张待处理图像，获取待处理图像的第一边缘梯度信息，以及参考图像的第二边缘梯度信息，参考图像是基于待处理图像生成的；

确定模块，用于基于待处理图像的第一边缘梯度信息和参考图像的第二边缘梯度信息，确定第一梯度图像与第二梯度图像之间的第一结构相似度，第一梯度图像基于待处理图像的第一边缘梯度信息生成，第二梯度图像基于参考图像的第二边缘梯度信息生成；

确定模块，还用于基于第一结构相似度，确定待处理图像的质量分数，质量分数用于评估待处理图像的质量。

第三方面，提供一种电子设备，包括：存储器，用于存储计算机程序指令；处理器，用于读取并运行存储器中存储的计算机程序指令，以执行第一方面中任一可选的实施方式提供的图像处理方法。

第四方面，提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面中的任一可选的实施方式提供的图像处理方法。

第五方面，提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序被处理器执行实现第一方面中的任一可选的实施方式提供的图像处理方法。

在本申请实施例中，能够获取多张待处理图像，并针对多张待处理图像中的每张待处理图像，获取待处理图像的第一边缘梯度信息，以及基于待处理图像生成的参考图像的第二边缘梯度信息，基于第一边缘梯度信息和第二边缘梯度信息，确定第一梯度图像和第二梯度图像之间的第一结构相似度，进而能够基于第一结构相似度，确定待处理图像的质量分数。如此，通过获取待处理图像的边缘梯度信息以及基于待处理图像生成的参考图像的边缘梯度信息进行计算对比的方式，不仅减少了计算量，提高了图像质量评估的效率，还保证了质量评估的准确度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的流程示意图；

图2是本申请实施例提供的一种高斯模糊处理前后的图像示意图；

图3是本申请实施例提供的另一种图像处理方法的流程示意图；

图4是本申请实施例提供的一种图像划分的示意图；

图5(a)是本申请实施例提供的一种测试图像的示意图；

图5(b)是本申请实施例提供的一种测试图像的示意图；

图5(c)是本申请实施例提供的一种测试图像的示意图；

图6是本申请实施例提供的一种图像处理装置的结构示意图；

图7是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

在图像处理和计算机视觉领域，目标检测是一项重要的技术。然而，在实际应用中，往往存在低质量的图像，例如，模糊、昏暗、花屏等图像，这些低质量的图像会影响到目标检测的准确度。

为了避免低质量的图像对目标检测准确度的共享，需要对图像进行质量评估，以便过滤掉图像中的低质量图像。然而，传统算法在进行图像质量评估时，大多是通过计算图像的梯度信息，在评估图像梯度变化较小的清晰图像时容易得到较低的分数，进而导致图像质量评估的准确度较低。

另外，梯度信息的计算往往需要一张图像的所有像素点参与计算，这是一个庞大的参数量，在算法进行图像质量评估时会消耗更多的时间，进而导致图像质量评估的效率较低。

因此，如何快速准确地评估图像质量，以便过滤掉低质量图像，提升目标检测的准确度是一个亟待解决的技术问题。

为了解决上述现有技术中图像质量评估的准确度和效率较低的问题，本申请实施例提供一种图像处理方法、装置、设备及介质，能够获取多张待处理图像，并针对多张待处理图像中的每张待处理图像，获取待处理图像的第一边缘梯度信息，以及基于待处理图像生成的参考图像的第二边缘梯度信息，基于第一边缘梯度信息和第二边缘梯度信息，确定第一梯度图像和第二梯度图像之间的第一结构相似度，进而能够基于第一结构相似度，确定待处理图像的质量分数。如此，通过获取待处理图像的边缘梯度信息以及基于待处理图像生成的参考图像的边缘梯度信息进行计算对比的方式，不仅减少了计算量，提高了图像质量评估的效率，还保证了质量评估的准确度。

需要说明的是本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者图像处理装置中用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理方法。

下面结合附图，通过具体的实施例对本申请实施例提供的图像处理方法进行详细说明。

图1是本申请实施例提供的一种图像处理方法的流程示意图。

如图1所示，该图像处理方法的执行主体可以是图像处理装置，该方法具体可以包括以下步骤：

S110，获取多张待处理图像。

其中，上述多张待处理图像可以针对同一场景的多张图像，例如，该多张待处理图像可以是石油石化场景的多张图像，在此不做过多限定。

在一个示例中，图像处理装置能够利用图像采集设备获取某一场景的视频数据，该视频数据可以包括多张图像，图像处理装置能够使用计算机程序(Fast Forward Mpeg，FFmpeg)对上述视频数据进行抽张处理，以得到多张待处理图像，例如，每隔预设时间从上述视频数据中抽取一张图像作为待处理图像。其中，上述涉及到的预设时间可以是基于实际经验或情况预先设置的时间，例如，该预设时间可以为2秒。

S120，针对多张待处理图像中的每张待处理图像，获取待处理图像的第一边缘梯度信息，以及参考图像的第二边缘梯度信息。

其中，上述参考图像可以是基于待处理图像生成的，用于与上述待处理图像形成参照对比，在此不做过多限定。

上述第一边缘梯度信息为待处理图像的边缘部分的梯度信息，相应的，上述第二边缘梯度信息为参考图像的边缘部分的梯度信息，在此不做具体限定。

具体地，图像处理装置在获取多张待处理图像之后，能够针对多张待处理图像中的每张待处理图像，获取该待处理图像的第一边缘梯度信息，以及基于该待处理图像生成的参考图像的第二边缘梯度信息。

S130，基于待处理图像的第一边缘梯度信息和参考图像的第二边缘梯度信息，确定第一梯度图像与第二梯度图像之间的第一结构相似度。

其中，上述第一梯度图像可以基于待处理图像的第一边缘特征梯度信息，上述第二梯度图像可以基于参考图像的第二边缘梯度信息生成。基于此，上述第一结构相似度用于度量第一梯度图像和第二梯度图像之间的相似度，在此不做过多限定。

具体地，图像处理装置能够在获取待处理图像的第一边缘梯度信息，以及参考图像的第二边缘梯度信息之后，能够基于待处理图像的第一边缘梯度信息以及参考图像的第二边缘梯度信息，确定第一梯度图像和第二梯度图像之间的第一结构相似度。

S140，基于第一结构相似度，确定待处理图像的质量分数。

其中，上述质量分数能够用于评估上述待处理图像的质量。

具体地，在得到第一结构相似度之后，图像处理装置能够基于该第一结构相似度，确定待处理图像的质量分数。

在一个实施例中，在上述S140之后，上述涉及到的图像处理方法还可以包括如下步骤：

从多张待处理图像中过滤质量分数低于预设分数阈值的图像，得到目标图像。

其中，预设分数阈值可以是基于实际经验或情况预先设置的阈值，例如，可以是0.6，需要说明的是，在本申请实施例中，质量分数的分数范围可以是[0，1]，在此不做具体限定。

具体地，在针对多张待处理图像中的每张待处理图像，得到该待处理图像的质量分数之后，图像处理装置能够得到与多张待处理图像一一对应的质量分数，即得到多个质量分数，如此，能够从多张待处理图像中过滤掉质量分数低于预设分数阈值的图像，以得到目标图像。

在本申请实施例中，能够获取多张待处理图像，并针对多张待处理图像中的每张待处理图像，获取待处理图像的第一边缘梯度信息，以及基于待处理图像生成的参考图像的第二边缘梯度信息，基于第一边缘梯度信息和第二边缘梯度信息，确定第一梯度图像和第二梯度图像之间的第一结构相似度，进而能够基于第一结构相似度，确定待处理图像的质量分数。如此，通过获取待处理图像的边缘梯度信息以及基于待处理图像生成的参考图像的边缘梯度信息进行计算对比的方式，不仅减少了计算量，提高了图像质量评估的效率，还保证了质量评估的准确度。

在一个实施例中，在获取参考了图像的第二边缘梯度信息之前，上述涉及到的图像处理方法还可以包括如下步骤：

对待处理图像进行高斯模糊处理，得到与待处理图像的参考图像。

具体地，图像处理装置能够在获取多张待处理图像之后，针对多张待处理图像中的每张待处理图像，对该待处理图像进行高斯模糊处理，以得到待处理图像的参考图像。

在该实施例中，能够通过对待处理图像进行高斯模糊处理，以得到待处理图像的参考图像，以便于后续能够对比待处理图像和参考图像得到两者的结构相似度，以准确评估待处理图像的图像质量。

在一个实施例中，上述待处理图像可以包括多个第一像素点，以及每个第一像素点的像素值；

基于此，上述涉及到的对待处理图像进行高斯模糊处理，得到与待处理图像的参考图像的步骤，具体可以包括如下步骤：

针对多个第一像素点中的每个第一像素点，执行如下操作：

确定第一像素点的像素值，以及多个第一像素点中与第一像素点相邻的第二像素点的像素值；

基于预设权重对第一像素点的像素值以及第二像素点的像素值进行加权求和处理，得到第一像素点的目标像素值，以得到待处理图像的参考图像。

其中，第二像素点可以包括至少两个像素点，在此不做过多限定。另外，上述预设权重可以是基于实际经验或情况预先设置的权重，在此不做过多限定。

具体地，图像处理装置能够针对多个第一像素点中的第一像素点，确定该第一像素点的像素值，以及多个第一像素点中与该第一像素点相邻的第二像素点的像素值，进而可以基于预设权重对该第一像素点的像素值以及上述第二像素点的像素值进行加权求和，以得到该第一像素点的目标像素值，如此，能够得到多个第一像素点中每个第一像素点的目标像素值，进而得到待处理图像的参考图像。

需要说明的是，低质量图像经过二次模糊后梯度变化不明显，而高质量图像经过二次模糊后梯度变化明显的特征，基于此，通过对待处理图像使用高斯模糊算法制作可参考图像的方法，使得每张待处理图像都可以通过高斯模糊获得自己的参考图像。具体地，高斯核在高斯模糊中起到了核心的作用。高斯核是一个正方形的像素阵列，其中像素值对应于2D高斯曲线的值。通过高斯函数计算出核内的权重值，高斯核用于图像与正态分布做卷积，实现图像的高斯模糊过程。这个过程可以看作是一个过滤高频信号、保留低频信号的过程。高斯核的大小可以调整，以控制模糊的程度，在本发明中高斯核的大小设置为7*7。具体实施效果如图2高斯模糊前后对比图所示，左图为原图，右图为高斯模糊后的参考图像。

在该实施例中，能够图像中的每个像素点的像素值与邻近像素点的像素值进行加权平均，实现图像的平滑和模糊效果，以便于后续能够对比待处理图像和参考图像得到两者的结构相似度，以准确评估待处理图像的图像质量。

考虑到人眼对于水平和垂直方向的边缘信息最为敏感的特性，在一个实施例中，上述涉及到的获取待处理图像的第一边缘梯度信息，以及参考图像的第二边缘特征信息的步骤，具体可以包括如下步骤：

利用索贝尔算子提取待处理图像的第一边缘梯度信息，并利用索贝尔算子提取参考图像的第二边缘梯度信息；

其中，第一边缘梯度信息可以包括待处理图像的水平方向上的边缘梯度信息，以及待处理图像的垂直方向上的边缘梯度信息；

第二边缘梯度信息可以包括参考图像的水平方向上的边缘梯度信息，以及参考图像的垂直方向上的边缘梯度信息。

具体地，在获取多张待处理图像之后，针对多张图像中的每张图像，图像处理装置能够利用索贝尔算子提取待处理图像的第一边缘梯度信息，并利用索贝尔算子提取参考图像的第二边缘梯度信息。

需要说明的是，上述索贝尔算子包括水平方向的索贝尔算子，具体如表1所示，对于水平方向的索贝尔算子，可以将像素与表1所示的索贝尔算子进行乘法运算后相加的结果表示图像在水平方向上的梯度。另外，上述索贝尔算子还可以包括垂直方向的索贝尔算子，具体如表2所示，对于垂直方向的索贝尔算子，将像素与表2所示的索贝尔算子进行乘法运算后相加的结果表示图像在垂直方向上的梯度。然后将水平方向和垂直方向的梯度信息基于预设权重进行加权组合，得到最终的梯度信息。需要说明的是，上述预设权重可以是基于实际经验或情况预先设置的，例如，这里水平方向的梯度信息和垂直方向的梯度信息对应的权重可以都设置为0.5，这意味着它们被平等地组合在一起。

表1

-1	0	1
			-2	0	2
-1	0	1

表2

-1	-2	-1
			0	0	0
1	2	1

在该实施例中，能够利用索贝尔算子分别提取待处理图像和参考图像的边缘梯度信息，该边缘梯度信息可以包括水平方向的边缘梯度信息以及垂直方向的边缘梯度信息，如此，提高了获取边缘梯度信息的准确度，基于边缘特征信息也便于后续减少计算量，提高了图像质量评估的效率。

在一个实施例中，如图3所示，上述S130具体可以包括如下步骤：

S310，基于待处理图像的第一边缘梯度信息，生成第一梯度图像，并基于参考图像的第二边缘梯度信息，生成第二梯度图像。

具体地，在获取到待处理图像的第一边缘梯度信息以及参考图像的第二边缘梯度信息之后，图像处理装置能够基于待处理图像的第一边缘梯度信息，生成第一梯度图像，并基于参考图像的第二边缘梯度信息，生成第二梯度信息。

S320，确定第一梯度图像中N个第一图像区域，并确定第二梯度图像中N个第二图像区域。

其中，N为大于等于1的正整数，在此不做过多限定。

具体地，在生成第一梯度图像和第二梯度图像之后，图像处理装置能够确定第一梯度图像中N个第一图像区域，并确定第二梯度图像中的N个第一图像区域。

S330，确定N个第一图像区域中第i个第一图像区域与N个第二图像区域中第i个第二图像区域之间的第二结构相似度，得到N个第二结构相似度。

其中，i＝1、2……N。

具体地，图像处理装置能够基于N个第一图像区域中第i个第一图像区域，以及N个第二图像区域中第i个第二图像区域，确定上述第i个第一图像区域与上述第i个第二图像区域之间的第一结构像素度，进而可以得到N个第二结构相似度。

在一个示例中，假设N＝3，则上述N个第一图像区域可以为N¹、N²、N³，上述N个第二图像区域可以是如此，可以通过分别计算N¹和N²和N³和之间的第二结构相似度。

需要说明的是，图像中模糊、遮挡的地方在经过高斯模糊变得更加模糊之后，图像附近的梯度信息不会发生较大的变换。而那些清晰的图像往往附有更多的梯度信息，这导致在图像经过高斯模糊之后，图像变换前后的梯度信息会发生较大变化。基于此，若第二结构相似度越大，第一图像区域和第二图像区域越相似，第一图像区域和第二图像区域之间的梯度变化越不明显，图像质量越低。反之，第二结构相似度越小，第一图像区域和第二图像区域越不相似，第一图像区域和第二图像区域之间的梯度变化越明显，图像质量越高。

在一个实施例中，上述涉及到的S330满足如下公式(1)：

其中，为第i个第一图像区域的像素均值，为第i个第二图像区域的像素均值，为第i个第一图像区域的像素方差，为第i个第二图像区域的像素方差，为第i个第一图像区域和第i个第二图像区域之间的像素协方差，C₁、C₂、C₃均为常数。

另外，C₁＝(k₁L)²、C₂＝(k₂L)²、C₃＝C₂/2，表示三个常数，k₁、k₂默认为0.01、0.03，L为图像像素值范围255。

基于此，上述S140具体可以包括如下步骤：

基于N个第二结构相似度，确定待处理图像的质量分数。

具体地，在得到N个第二结构相似度之后，图像处理装置能够基于该N个第二结构相似度，确定待处理图像的质量分数。

在一个实施例中，上述涉及到的S1401满足如下公式(2)：

其中，Score为质量分数，i＝1、2……N，SSIM(x_i，y_i)为第i个第一图像区域和第i个第二图像区域之间的第二结构相似度。

在该实施例中，能够以图像区域为单位，实现了待处理图像以及基于待处理图像生成的参考图像之间的对比，保证了质量评估的准确度。

在一个实施例中，上述涉及到的S320具体可以包括如下步骤：

划分第一梯度图像，得到M个第一图像区域，并计算M个第一图像区域中每个第一图像区域的第一像素梯度方差；

从M个第一图像区域中筛选得到第一像素梯度方差大于第一预设值的N个第一图像区域；

划分第二梯度图像，得到M个第二图像区域，并计算M个第二图像区域中每个第二图像区域的第二像素梯度方差；

从M个第二图像区域中筛选得到第二像素梯度方差大于第二预设值的N个第二图像区域。

其中，上述第一预设值和第二预设值可以基于实际经验或情况预先设置的数值，在此不做过多限定。另外，上述M为正整数，M大于或等于N。

具体地，图像处理装置能够通过划分第一梯度图像，得到M个第一图像区域，并计算M个第一图像区域中每个第一图像区域的第一像素梯度方差值，进而可以从上述M个第一图像区域中筛选得到第一像素梯度方差大于第一预设值的N个第一图像区域。

并且，图像处理装置能够通过划分第二梯度图像，得到M个第二图像区域，并计算M个第二图像区域中每个第二图像区域的第二像素梯度方差，进而从M个第二图像区域中筛选得到第二像素梯度方差大于第二预设值的N个第二图像区域。

在一个示例中，以第一梯度图像为例，如图4所示，将第一梯度图像划分为5×5个第一图像区域，并计算每个第一图像区域的第一像素梯度方差。进而基于每个第一图像区域的第一像素梯度方差，从5×5个第一图像区域中筛选第一像素梯度方差依次最大的3个第一图像区域。

在该实施例中，能够分别从第一梯度图像和第二梯度图像的多个图像区域中筛选出梯度信息丰富的区域进行后续计算，保证了图像质量评估的准确度。

本申请实施例提供的图像处理方法相较于传统方法，无需额外的参考图像，可以对单张图像进行质量评估，泛化性能更高。经过实验和测试，本申请实施例提供的图像处理方法对图像质量的检验效果基本符合人眼的效果。测试图像如图5中的(a)、(b)和(c)所示，图像质量从左至右按照由高到低的顺序排列，使用本发明的检测方法获取到的图像质量分数分别是0.84、0.33、0.12。这说明本方法对于低质量图像具有一定的检测效果，检测效果基本符合人眼的效果。

基于相同的发明构思，本申请实施例还提供了一种图像处理装置。具体结合图6对本申请实施例提供的图像处理装置进行详细说明。

图6是本申请实施例提供的一种图像处理装置的结构示意图。

如图6所示，该图像处理装置600可以包括：获取模块610和确定模块620。

获取模块610，用于获取多张待处理图像；

获取模块610，还用于针对多张待处理图像中的每张待处理图像，获取待处理图像的第一边缘梯度信息，以及参考图像的第二边缘梯度信息，参考图像是基于待处理图像生成的；

确定模块620，用于基于待处理图像的第一边缘梯度信息和参考图像的第二边缘梯度信息，确定第一梯度图像与第二梯度图像之间的第一结构相似度，第一梯度图像基于待处理图像的第一边缘梯度信息生成，第二梯度图像基于参考图像的第二边缘梯度信息生成；

确定模块620，还用于基于第一结构相似度，确定待处理图像的质量分数，质量分数用于评估待处理图像的质量。

在一个实施例中，上述图像处理装置还可以包括处理模块。

处理模块，用于在获取参考图像的第二边缘梯度信息之前，对待处理图像进行高斯模糊处理，得到待处理图像的参考图像。

在一个实施例中，待处理图像包括多个第一像素点，以及每个第一像素点的像素值；

上述处理模块，具体用于：

针对多个第一像素点中的每个第一像素点，执行如下操作：

确定第一像素点的像素值，以及多个第一像素点中与第一像素点相邻的第二像素点的像素值；

基于预设权重对第一像素点的像素值以及第二像素点的像素值进行加权求和处理，得到第一像素点的目标像素值，以得到待处理图像的参考图像。

在一个实施例中，上述涉及到的获取模块，具体用于：

利用索贝尔算子提取待处理图像的第一边缘梯度信息，并利用索贝尔算子提取参考图像的第二边缘梯度信息；

其中，第一边缘梯度信息包括待处理图像的水平方向上的边缘梯度信息，以及待处理图像的垂直方向上的边缘梯度信息；

第二边缘梯度信息包括参考图像的水平方向上的边缘梯度信息，以及参考图像的垂直方向上的边缘梯度信息。

在一个实施例中，上述确定模块，具体用于：

基于待处理图像的第一边缘梯度信息，生成第一梯度图像，并基于参考图像的第二边缘梯度信息，生成第二梯度图像；

确定第一梯度图像中N个第一图像区域，并确定第二梯度图像中N个第二图像区域；

确定N个第一图像区域中第i个第一图像区域与N个第二图像区域中第i个第二图像区域之间的第二结构相似度，i＝1、2……N，得到N个第二结构相似度；

基于此，上述确定模块，还具体用于：

基于N个第二结构相似度，确定待处理图像的质量分数。

在一个实施例中，上述确定模块，还具体用于：

划分第一梯度图像，得到M个第一图像区域，并计算M个第一图像区域中每个第一图像区域的第一像素梯度方差；

从M个第一图像区域中筛选得到第一像素梯度方差大于第一预设值的N个第一图像区域；

划分第二梯度图像，得到M个第二图像区域，并计算M个第二图像区域中每个第二图像区域的第二像素梯度方差；

从M个第二图像区域中筛选得到第二像素梯度方差大于第二预设值的N个第二图像区域。

在一个实施例中，确定N个第一图像区域中第i个第一图像区域与N个第二图像区域中第i个第二图像区域之间的第一结构相似度，满足如下公式：

其中，为第i个第一图像区域的像素均值，为第i个第二图像区域的像素均值，为第i个第一图像区域的像素方差，为第i个第二图像区域的像素方差，为第i个第一图像区域和第i个第二图像区域之间的像素协方差，C₁、C₂、C₃均为常数。

在一个实施例中，基于N个第二结构相似度，确定待处理图像的质量分数，满足如下公式：

其中，Score为质量分数，i＝1、2……N，SSIM(x_i，y_i)为第i个第一图像区域和第i个第二图像区域之间的第二结构相似度。

在本申请实施例中，能够获取多张待处理图像，并针对多张待处理图像中的每张待处理图像，获取待处理图像的第一边缘梯度信息，以及基于待处理图像生成的参考图像的第二边缘梯度信息，基于第一边缘梯度信息和第二边缘梯度信息，确定第一梯度图像和第二梯度图像之间的第一结构相似度，进而能够基于第一结构相似度，确定待处理图像的质量分数。如此，通过获取待处理图像的边缘梯度信息以及基于待处理图像生成的参考图像的边缘梯度信息进行计算对比的方式，不仅减少了计算量，提高了图像质量评估的效率，还保证了质量评估的准确度。

本申请实施例提供的图像处理装置中的各个模块可以实现图1或图3所示实施例的方法步骤，并能达到与其相应的技术效果，为简洁描述，在此不再赘述。

图7示出了本申请实施例提供的电子设备的硬件结构示意图。

在电子设备可以包括处理器701以及存储有计算机程序指令的存储器702。

具体地，上述处理器701可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在综合网关容灾设备的内部或外部。在特定实施例中，存储器702是非易失性固态存储器。

存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本公开的一方面的方法所描述的操作。

处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现上述实施例中的任意一种图像处理方法。

在一个示例中，电子设备还可包括通信接口703和总线710。其中，如图7所示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。

通信接口703，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线710包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

另外，结合上述实施例中的图像处理方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本申请实施例提供的图像处理方法。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序被处理器执行实现如本申请实施例提供的图像处理方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程图像处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程图像处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：

获取多张待处理图像；

针对所述多张待处理图像中的每张待处理图像，获取所述待处理图像的第一边缘梯度信息，以及参考图像的第二边缘梯度信息，所述参考图像是基于所述待处理图像生成的；

基于所述待处理图像的第一边缘梯度信息和所述参考图像的第二边缘梯度信息，确定第一梯度图像与第二梯度图像之间的第一结构相似度，所述第一梯度图像基于所述待处理图像的第一边缘梯度信息生成，所述第二梯度图像基于所述参考图像的第二边缘梯度信息生成；

基于所述第一结构相似度，确定所述待处理图像的质量分数，所述质量分数用于评估所述待处理图像的质量；

所述基于所述待处理图像的第一边缘梯度信息和所述参考图像的第二边缘梯度信息，确定第一梯度图像与第二梯度图像之间的第一结构相似度，包括：

基于所述待处理图像的第一边缘梯度信息，生成第一梯度图像，并基于所述参考图像的第二边缘梯度信息，生成第二梯度图像；

确定所述第一梯度图像中N个第一图像区域，并确定所述第二梯度图像中N个第二图像区域；

确定N个第一图像区域中第i个第一图像区域与所述N个第二图像区域中第i个第二图像区域之间的第二结构相似度，i＝1、2……N，得到N个第二结构相似度；

所述基于所述第一结构相似度，确定所述待处理图像的质量分数，包括：

基于所述N个第二结构相似度，确定所述待处理图像的质量分数；

所述基于所述N个第二结构相似度，确定所述待处理图像的质量分数，满足如下公式：

其中，Score为质量分数，i＝1、2……N，SSIM(x_i，y_i)为第i个第一图像区域和第i个第二图像区域之间的第二结构相似度。

2.根据权利要求1所述的方法，其特征在于，在获取参考图像的第二边缘梯度信息之前，所述方法还包括：

对所述待处理图像进行高斯模糊处理，得到所述待处理图像的参考图像。

3.根据权利要求2所述的方法，其特征在于，所述待处理图像包括多个第一像素点，以及每个第一像素点的像素值；

所述对所述待处理图像进行高斯模糊处理，得到与所述待处理图像的参考图像，包括：

针对所述多个第一像素点中的每个第一像素点，执行如下操作：

确定所述第一像素点的像素值，以及所述多个第一像素点中与所述第一像素点相邻的第二像素点的像素值；

基于预设权重对所述第一像素点的像素值以及所述第二像素点的像素值进行加权求和处理，得到所述第一像素点的目标像素值，以得到所述待处理图像的参考图像。

4.根据权利要求1所述的方法，其特征在于，获取待处理图像的第一边缘梯度信息，以及参考图像的第二边缘梯度信息，包括：

利用索贝尔算子提取所述待处理图像的第一边缘梯度信息，并利用索贝尔算子提取所述参考图像的第二边缘梯度信息；

其中，所述第一边缘梯度信息包括待处理图像的水平方向上的边缘梯度信息，以及所述待处理图像的垂直方向上的边缘梯度信息；

所述第二边缘梯度信息包括参考图像的水平方向上的边缘梯度信息，以及所述参考图像的垂直方向上的边缘梯度信息。

5.根据权利要求1所述的方法，其特征在于，所述确定第一梯度图像中N个第一图像区域，并确定所述第二梯度图像中N个第二图像区域，包括：

划分所述第一梯度图像，得到M个第一图像区域，并计算所述M个第一图像区域中每个第一图像区域的第一像素梯度方差；

从所述M个第一图像区域中筛选得到第一像素梯度方差大于第一预设值的N个第一图像区域；

划分所述第二梯度图像，得到M个第二图像区域，并计算M个第二图像区域中每个第二图像区域的第二像素梯度方差；

从所述M个第二图像区域中筛选得到第二像素梯度方差大于第二预设值的N个第二图像区域。

6.根据权利要求1所述的方法，其特征在于，所述确定N个第一图像区域中第i个第一图像区域与所述N个第二图像区域中第i个第二图像区域之间的第一结构相似度，满足如下公式：

其中，为第i个第一图像区域的像素均值，为第i个第二图像区域的像素均值，为第i个第一图像区域的像素方差，为第i个第二图像区域的像素方差，为第i个第一图像区域和第i个第二图像区域之间的像素协方差，C₁、C₂、C₃均为常数。

7.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取多张待处理图像；

所述获取模块，还用于针对所述多张待处理图像中的每张待处理图像，获取所述待处理图像的第一边缘梯度信息，以及参考图像的第二边缘梯度信息，所述参考图像是基于所述待处理图像生成的；

确定模块，用于基于所述待处理图像的第一边缘梯度信息和所述参考图像的第二边缘梯度信息，确定第一梯度图像与第二梯度图像之间的第一结构相似度，所述第一梯度图像基于所述待处理图像的第一边缘梯度信息生成，所述第二梯度图像基于所述参考图像的第二边缘梯度信息生成；

所述确定模块，还用于基于所述第一结构相似度，确定所述待处理图像的质量分数，所述质量分数用于评估所述待处理图像的质量；

所述确定模块，具体用于：

基于所述待处理图像的第一边缘梯度信息，生成第一梯度图像，并基于所述参考图像的第二边缘梯度信息，生成第二梯度图像；

确定所述第一梯度图像中N个第一图像区域，并确定所述第二梯度图像中N个第二图像区域；

确定N个第一图像区域中第i个第一图像区域与所述N个第二图像区域中第i个第二图像区域之间的第二结构相似度，i＝1、2……N，得到N个第二结构相似度；

所述确定模块，还具体用于：

基于所述N个第二结构相似度，确定所述待处理图像的质量分数；

所述确定模块，满足如下公式：

其中，Score为质量分数，i＝1、2……N，SSIM(x_i，y_i)为第i个第一图像区域和第i个第二图像区域之间的第二结构相似度。

8.一种电子设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-6任意一项所述的图像处理方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的图像处理方法。