CN111915595A - 图像质量评价方法、图像质量评价模型的训练方法和装置 - Google Patents

Abstract

本发明提供了一种图像质量评价方法、图像质量评价模型的训练方法和装置，该方法包括：获取待处理图像；将该待处理图像输入至预先训练完成的图像质量评价模型中，得到待处理图像在预设的多个质量等级下的评价结果；该图像质量评价模型为使用样本集通过机器学习训练得到的，样本集中的每个样本均包括一个样本图像和该样本图像对应的质量标签分布；该质量标签分布中包括预设的多个质量等级，以及样本图像属于每个质量等级的概率值。该方式通过图像质量评价模型对待处理图像进行质量评价得到图像的质量等级，该图像质量评价模型在训练的过程中可以从样本图像的质量标签分布中学习到图像质量内在的不确定性，进而提高模型质量评价的精度和稳定性。

Description

图像质量评价方法、图像质量评价模型的训练方法和装置

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像质量评价方法、图像质量评价模型的训练方法和装置。

背景技术

智能安防是通过计算机视觉等人工智能技术分析监控摄像头捕捉的图像，并从图像中及时发现特定的人、物以及事件。在智能安防系统中，由于物体距离监控摄像头较远、光照条件恶劣以及摄像头本身成像效果较差等原因，易导致摄像头捕捉到的监控图像清晰度较差且分辨率较低，从而影响智能安防的监控效果。因此，需要对监控图像进行准确的质量评价，并根据评价结果自动调用相应的图像增强算法对监控图像进行增强，以使智能安防系统对增强后的图像进行相应的处理，来提高智能安防的效果。

相关技术中，可以通过训练后的深度学习模型对监控图像进行质量评价。在训练深度学习模型时，需要对训练集中的每个图像标注质量等级标签，通常一个类别的图像对应同一个质量等级标签，然后通过训练集训练深度学习模型，训练完成后将监控图像输入至模型中，可以得到该监控图像对应的质量等级结果，但由于图像质量评价具有很强的主观性，对于同一张图像，不同的人给出的图像质量评价一般是不同的，导致图像质量评价本身具有不确定性，该方式将一个类别的图像归属为一个质量等级，过于绝对化，导致该方式得到的质量评价结果稳定性和精确度较差。

发明内容

本发明的目的在于提供一种图像质量评价方法、图像质量评价模型的训练方法和装置，以提高图像质量评价结果的稳定性和精确度。

第一方面，本发明实施例提供一种图像质量评价方法，该方法包括：获取待处理图像；将待处理图像输入至预先训练完成的图像质量评价模型中，得到待处理图像在预设的多个质量等级下的评价结果；其中，图像质量评价模型为使用样本集通过机器学习训练得到，样本集中的每个样本均包括一个样本图像和样本图像对应的质量标签分布；质量标签分布中包括预设的多个质量等级，以及样本图像属于每个质量等级的概率值。

在可选的实施方式中，针对于样本集中的每个样本图像，当前样本图像的质量标签分布通过下述方式确定：获取当前样本图像对应的多个标注结果；该标注结果用于表示当前样本图像的质量等级；基于多个标注结果和预设的多个质量等级，生成当前样本图像的质量标签分布。

在可选的实施方式中，上述基于多个标注结果和预设的多个质量等级，生成当前样本图像的质量标签分布的步骤，包括：计算多个标注结果对应的质量等级的平均值，得到等级均值；基于等级均值和预设的多个质量等级，确定当前样本图像属于预设的多个质量等级中的每个质量等级的概率值；组合每个质量等级的概率值，得到当前样本图像的质量标签分布。

在可选的实施方式中，上述基于等级均值和预设的多个质量等级，确定当前样本图像属于预设的多个质量等级中的每个质量等级的概率值的步骤，包括：通过下述算式，计算当前样本图像属于预设的多个质量等级中的每个质量等级的概率值：

其中，p_j表示当前样本图像属于预设的多个质量等级中第j个质量等级的概率值；j表示第j个质量等级的等级值；y表示等级均值；Z表示归一化因子；N表示预设的多个质量等级的总数；σ表示预设标准差；exp表示以自然常数e为底的指数函数运算；∑表示求和运算。

在可选的实施方式中，上述图像质量评价模型的权重参数是在机器学习训练过程中根据损失量确定的；其中，损失量表示样本输入至图像质量评价模型后得到的质量评价结果与输入的样本的质量标签分布之间的差异。

在可选的实施方式中，上述损失量通过下述算式确定：

其中，L表示损失量；p_j表示在质量标签分布中，样本图像属于预设的多个质量等级中第j个质量等级的概率值；

表示在质量评价结果中，样本图像属于预设的多个质量等级中第j个质量等级的概率值；N表示预设的多个质量等级的总数；log用于表示对数运算；∑表示求和运算。

第二方面，本发明实施例提供一种图像质量评价模型的训练方法，该方法包括：获取样本集；该样本集中的每个样本均包括一个样本图像和样本图像对应的质量标签分布；每个质量标签分布中包括预设的多个质量等级，以及样本图像属于每个质量等级的概率值；基于样本集对初始模型进行机器学习训练，得到图像质量评价模型。

在可选的实施方式中，上述针对于样本集中的每个样本图像，当前样本图像的质量标签分布通过下述方式确定：获取当前样本图像对应的多个标注结果；标注结果用于表示当前样本图像的质量等级；基于多个标注结果和预设的多个质量等级，生成当前样本图像的质量标签分布。

在可选的实施方式中，上述基于样本集对初始模型进行机器学习训练，得到图像质量评价模型的步骤，包括：基于样本集确定训练样本；将训练样本中的样本图像输入至初始模型中，得到输出结果；根据输出结果和训练样本的质量标签分布，得到损失量；基于损失量调整初始模型的权重参数；继续执行基于样本集确定训练样本的步骤，直到损失量收敛或者达到预设的训练次数，得到图像质量评价模型。

第三方面，本发明实施例提供一种图像质量评价装置，该装置包括：图像获取模块，用于获取待处理图像；质量评价模块，用于将待处理图像输入至预先训练完成的图像质量评价模型中，得到待处理图像在预设的多个质量等级下的评价结果；其中，图像质量评价模型为使用样本集通过机器学习训练得到，样本集中的每个样本均包括一个样本图像和样本图像对应的质量标签分布；质量标签分布中包括预设的多个质量等级，以及样本图像属于每个质量等级的概率值。

第四方面，本发明实施例提供一种图像质量评价模型的训练装置，该装置包括：样本集获取模块，用于获取样本集；样本集中的每个样本均包括一个样本图像和样本图像对应的质量标签分布；每个质量标签分布中包括预设的多个质量等级，以及样本图像属于每个质量等级的概率值；模型训练模块，用于基于样本集对初始模型进行机器学习训练，得到图像质量评价模型。

第五方面，本发明实施例提供一种电子设备，该电子设备包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述图像质量评价方法或上述图像质量评价模型的训练方法。

第六方面，本发明实施例提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述图像质量评价方法或上述图像质量评价模型的训练方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种图像质量评价方法、图像质量评价模型的训练方法和装置，首先获取待处理图像；再将该待处理图像输入至预先训练完成的图像质量评价模型中，得到该待处理图像在预设的多个质量等级下的评价结果。该方式通过图像质量评价模型对待处理图像进行质量评价得到图像的质量等级，该图像质量评价模型使用包含有样本图像和样本图像对应的质量标签分布的样本集通过机器学习训练得到，且该质量标签分布中包括预设的多个质量等级以及样本图像属于每个质量等级的概率值。因而该图像质量评价模型在训练的过程中可以从样本图像的质量标签分布中学习到图像质量内在的不确定性，进而提高模型质量评价的精度和稳定性。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像质量评价方法的流程图；

图2为本发明实施例提供的另一种图像质量评价方法的流程图；

图3为本发明实施例提供的一种图像质量评价模型的网络结构示意图；

图4为本发明实施例提供的一种图像质量评价模型的训练方法的流程图；

图5为本发明实施例提供的一种图像质量评价装置的结构示意图；

图6为本发明实施例提供的一种图像质量评价模型的训练装置的结构示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着监控摄像头的普及以及以深度学习为代表的人工智能技术的发展，智能安防系统在维护社会稳定和保障人民生命财产安全方面发挥了重要作用。智能安防是通过计算机视觉等人工智能技术分析监控摄像头捕捉的图像，及时发现特定的人、物以及事件的技术。为了更加准确地对监控图像进行分析，高分辨率的监控图像获取是必不可少的。但在实际的智能安防系统中，由于物体距离监控摄像头较远、光照条件恶劣以及摄像头本身成像效果较差等原因，易导致摄像头捕捉到的监控图像清晰度较差且分辨率较低，这些低质量的监控图像给目前的计算机视觉技术带来了很大的困难。

相关技术中，通常有两种图像质量评价方法，第一种是传统图像质量评价方法，也即是通过峰值信噪比、结构相似度以及小波变换等方法估计图像质量，但这种方法缺乏图像的高层语义信息，导致该方式得到的质量评价结果的精度较低。

第二种是基于深度学习模型对监控图像进行质量评价的方法。该方法在训练深度学习模型时，需要对训练集中的每个图像标注质量等级标签，通常一个类别的图像对应同一个质量等级标签，然后通过训练集训练深度学习模型；但由于图像质量评价具有很强的主观性，也即是对于同一张图像，不同的人给出的图像质量评价一般是不同的，导致图像质量评价本身具有不确定性。因此，该方式相较于传统图像质量评价算法，可以考虑图像的高层语义信息，但在训练深度学习模型时没有考虑到图像质量评价任务本身存在的不确定性，导致得到的模型的泛化性和稳定性较差，从而使得该方式得到的质量评价结果的精确度较差。

基于上述问题，本发明实施例提供了一种图像质量评价方法、图像质量评价模型的训练方法和装置，该技术可以应用于各种监控场景中的图像分析场景，尤其是对监控图像进行图像质量分析的场景。为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像质量评价方法进行详细介绍，如图1所示，该方法包括如下步骤：

步骤S102，获取待处理图像。

获取图像的方式可以为通过通信连接的照相机、摄像头等设备拍摄后传入，或从存储有已经拍摄完成的待处理的图像的存储设备中获取。

上述待处理图像可以是各种监控场景下的图像，该图像可以是由摄像头或者相机拍摄的。该待处理图像中可以包含有特定的人、物或者事件等，例如，特定的人可以是用户需要监控的目标人物(如，嫌疑犯)；特定的物可以是动物、建筑物或者人身上携带的某个物品等；特定的事件可以是集会、打架或者其他的特定活动等。

步骤S104，将上述待处理图像输入至预先训练完成的图像质量评价模型中，得到该待处理图像在预设的多个质量等级下的评价结果。

上述预设的多个质量等级是研发人员根据需求设置的多个质量等级，该质量等级的范围和数量也根据研发需求设置，例如，可以设置10个质量等级，质量等级为1至10之间的整数；也可以设置100个质量等级，质量等级为1至100之间的整数。上述图像质量评价模型为使用样本集通过机器学习训练得到，该样本集中的每个样本均包括一个样本图像和样本图像对应的质量标签分布；该质量标签分布中包括预设的多个质量等级，以及样本图像属于每个质量等级的概率值。

上述样本集中包含有大量的样本，每个样本中均包含有一个样本图像和该样本图像对应的质量标签分布，该质量标签分布可以是一个向量，该向量中的每个元素代表该样本图像属于预设的多个质量等级下的每个质量等级的概率值。例如，可以设置10个质量等级，质量等级为1至10之间的整数，此时，质量标签分布对应一个10维的向量，向量中的第一个元素代表样本图像的质量等级为1的概率值，第二个元素代表样本图像的质量等级为2的概率值，按照此规律，第十个元素代表样本图像的质量等级为10的概率值，通常质量等级越高表示样本图像的质量越好。

上述图像质量评价模型可以采用深度学习模型或者神经网络模型等。在对图像质量评价模型进行机器学习训练的过程中，需要从样本集中选择样本，再将该样本中的样本图像输入至图像质量评价模型的初始模型中，该初始模型可以对该样本图像进行图像质量评价，并输出该样本图像在预设的多个质量等级下的评价结果，进而通过该评价结果与该样本图像对应的质量标签分布得到损失量，基于该损失量调整初始模型的网络参数(也即是各层网络的权重参数)，继续从样本集中选择样本输入至调整后的初始模型中，得到损失量并基于该损失量调整调整后的初始模型，直到该损失量收敛，得到图像质量评价模型。

不同于其他的图像识别问题，图像质量评价具有很强的主观性，对于同一张图像，不同的人给出的图像质量判断结果一般是不同的，这体现在为了对标注图像的质量等级，一张图像通常需要n(n>10)个人独立地进行标注，最终将n个人的标注结果的平均值作为最终的标注结果。因此，每张图像用一个最终的标识结果作为图像的质量等级标签过于绝对化，难以通过该质量等级标签训练得到精度高的模型，因而本申请采用的质量标签分布可以很好的刻画图像质量等级的不确定性，也即是可以刻画图像属于不同的质量等级的可能性，然后通过该质量标签分布来训练图像质量评价模型，可以使得图像质量评价模型学习到图像质量内在的不确定性，进而提高模型预测的精度和稳定性。

本发明实施例提供的一种图像质量评价方法，首先获取待处理图像；再将该待处理图像输入至预先训练完成的图像质量评价模型中，得到该待处理图像在预设的多个质量等级下的评价结果。该方式通过图像质量评价模型对待处理图像进行质量评价得到图像的质量等级，该图像质量评价模型使用包含有样本图像和样本图像对应的质量标签分布的样本集通过机器学习训练得到，且该质量标签分布中包括预设的多个质量等级以及样本图像属于每个质量等级的概率值。因而该图像质量评价模型在训练的过程中可以从样本图像的质量标签分布中学习到图像质量内在的不确定性，进而提高模型质量评价的精确度和稳定性。

本发明实施例还提供了另一种图像质量评价方法，该方法在上述实施例方法的基础上实现；该方法重点描述获取待处理图像之前，确定图像质量评价模型的权重参数的具体过程(通过下述步骤S202-S206实现)；如图2所示，该方法包括如下步骤：

步骤S202，将从样本集中确定的输入样本，输入至图像质量评价模型中，得到所述输入样本对应的质量评价结果。该输入样本为样本集中的任意一个样本，该输入样本中包含有样本图像，以及该样本图像对应的质量标签分布，该质量标签分布中包括预设的多个质量等级，和该样本图像属于每个质量等级的概率值。

在具体实现时，在模型训练之前，需要确定样本集中每个样本图像对应的质量标签分布。针对于样本集中的每个样本图像，当前样本图像的质量标签分布通过下述步骤10-11确定：

步骤10，获取当前样本图像对应的多个标注结果；该标注结果用于表示当前样本图像的质量等级。

上述当前样本图像为样本集中的任意一张样本图像，样本集中的样本图像可以依次作为当前样本图像，该当前样本图像对应的多个标注结果，可以是预设的n个人分别对当前样本图像的质量等级进行标注后，得到的n个标注结果，这n个人标注的质量等级为预设的多个质量等级中的等级值。

步骤11，基于多个标注结果和预设的多个质量等级，生成当前样本图像的质量标签分布。

在具体实现时，计算多个标注结果对应的质量等级的平均值，得到等级均值；基于等级均值和预设的多个质量等级，确定当前样本图像属于预设的多个质量等级中的每个质量等级的概率值；组合每个质量等级的概率值，得到当前样本图像的质量标签分布。

将多个标注结果对应的质量等级相加后求平均，可以得到等级均值。例如，假设预设的多个质量等级为1至10之间的整数，10代表图像质量最高，1代表图像质量最差，且n个人对当前样本图像的质量等级进行标注，得到n个标注结果

其中，k的取值范围为1到n，

表示第k个人对当前样本图像的标注结果，根据n个标注结果，可以得到等级均值为：

其中，y表示当前样本图像的等级均值，

表示对*进行向下取整。

得到当前样本图像的等级均值后，可以通过下述算式，计算当前样本图像属于预设的多个质量等级中的每个质量等级的概率值：

其中，p_j表示当前样本图像属于预设的多个质量等级中第j个质量等级的概率值；j表示第j个质量等级的等级值；y表示等级均值；Z表示归一化因子，也即是保证预设的多个等级对应的概率值之和为1；N表示预设的多个质量等级的总数；σ表示预设标准差，该预设标注差是人工根据实验效果和经验设定的数值；exp表示以自然常数e为底的指数函数运算；∑表示求和运算。

在具体实现时，将得到的当前样本图像的每个质量等级的概率值进行组合，即可得到当前样本图像的质量标签分布。例如，假设预设的多个质量等级为1至10之间的整数，则质量标签分布P为P＝[p₁,p₂,…,p_j,…,p₁₀]，j＝1,…,10；其中，p₁表示当前样本图像的质量等级为1的概率值，p₂表示当前样本图像的质量等级为2的概率值，p₁₀表示当前样本图像的质量等级为10的概率值。

本实施例中采用的是高斯分布来定义质量标签分布，在一些实施例中也可以通过其他的分布方式定义质量标签分布，例如泊松分布等。质量标签分布在一定程度上刻画了对于样本图像的质量判定的不确定性，通常样本图像的质量等级为等级均值的概率最大，与等级均值相邻近的质量等级的可能性也较大，但小于等级均值对应的概率值，这种图像的质量等级的不确定性的刻画与图像质量任务本身相适应，有利于提高后续的模型训练的精度。

步骤S204，根据上述输入样本对应的质量评价结果和该输入样本对应的质量标签分布，确定损失量；其中该损失量表示输入样本对应的质量评价结果与输入样本的质量标签分布之间的差异。

上述输入样本对应的质量评价结果可以是该输入样本在预设的多个质量等级下、属于每个质量等级的概率值。该质量评价结果中的概率值是可以是归一化后的概率值，也可以是未归一化后的概率值，如果想要将未归一化后的概率值变换为归一化后的概率值，可以在图像质量评价模型的最后加入softmax函数，例如，假设未归一化的质量评价结果为

将

中的每个元素均送入softmax函数中，可以得到概率值归一化后的质量评价结果

其中，

表示归一化后的质量评价结果中的第j个质量等级的概率值；

表示未归一化的质量评价结果中的第j个质量等级的概率值；

表示未归一化的质量评价结果中的第m个质量等级的概率值。

在具体实现时，上述损失量通过下述算式确定：

其中，L表示损失量；p_j表示在质量标签分布中，样本图像属于预设的多个质量等级中第j个质量等级的概率值；

表示在质量评价结果中，样本图像属于预设的多个质量等级中第j个质量等级的概率值；N表示预设的多个质量等级的总数；log用于表示对数运算；∑表示求和运算。

上述损失量的计算算式为机器学习中的Cross Entropy Loss(交叉熵)，由计算损失量L的算式可知，质量标签分布中的每个质量等级对应的概率值，与质量评价结果中相对应的质量等级的概率值越接近，损失量越小，该损失量描述了质量标签分布中的概率值与质量评价结果中的概率值的距离，二者的距离越小，说明二者越接近。

步骤S206，在机器学习训练过程中根据上述损失量，确定图像质量评价模型的权重参数；将权重参数确定后的图像质量评价模型确定为训练完成的图像质量评价模型。该权重参数通常为图像质量评价模型的网络结构中的每个网络参数对应的权重。

在具体实现时，需要根据损失量不断的调整图像质量评价模型的权重参数，直到损失量收敛或者达到指定的训练次数为止；将停止调整权重参数时对应的权重参数确定为图像质量评价模型最终的权重参数。

步骤S208，如果获取到待处理图像，将该待处理图像输入至训练完成的图像质量评价模型中，得到该待处理图像的评价结果。

上述训练完成的图像质量评价模型可以包括特征提取层和输出层；其中，特征提取层用于对待处理图像进行特征提取，得到该待处理图像的特征数据；输出层用于根据特征数据，输出待处理图像的评价结果。该特征提取层包括依次连接的卷积层和激活函数层，该特征提取层可以提取待处理图像的图像特征，以获得图像特征的高层语义信息，为了提高特征提取层的性能，通常该特征提取层包括多组依次连接的卷积层和激活函数层。特征提取层中的激活函数层可以对卷积层输出的图像特征进行函数变换，该变换过程可打破卷积层输入的线性组合，该激活函数层具体可以为Sigmoid函数、tanh函数、Relu函数等。

上述输出层包括至少一个全连接层，该全连接层可以得到指定维数的图像质量的评价结果。在一些实施例中，为了归一化评价结果，可以在输出层中的最后一个全连接层连接一个激活函数层，该激活函数层中可以采用softmax函数。

在具体实现时，图像质量评价模型中包含的特征提取层的个数、每个特征提取层中包含的多组依次连接的卷积层和激活函数层的组数，以及输出层中全连接层的个数，可以根据数据处理的速度和精度确定，通常个数越多或者组数越多，模型的网络结构整体会越深，性能也越好，但是计算速度会有所下降。

如图3所示为包含有4个特征提取层和2个全连接层的图像质量评价模型的网络结构示意图，图3中4个特征提取层分别为Block1、Block2、Block3和Block4；2个全连接层为FC1和FC2，将待处理图像输入至Block1中，依次经过Bloc2、Block3和Block4输出特征数据，将该特征数据输入至FC1中，得到一个维数为c(c的数值根据任务需求设定，通常C值越大效果越好)的特征向量，该特征向量也即是提取到的待处理图像的图像特征，将该图像特征输入到FC2，可以得到待处理图像的评价结果，该评价结果的维数可以与预设的多个质量等级的个数一致。其中，Block4输出的数据的维数通常较大，FC1可以理解为一个降维的过程，也即是将Block4输出的数据降至c维。

在具体实现时，上述步骤S208可以通过下述步骤20-21实现：

步骤20，将待处理图像输入至训练完成的图像质量评价模型中，输出该待处理图像在预设的多个质量等级下的评价结果。

步骤21，从该待处理图像在预设的多个质量等级下的评价结果中，选择概率最大的评价结果对应的质量等级，并将该质量等级作为待处理图像最终的评价结果。

上述图像质量评价方法，该方式利用质量标签分布来刻画图像质量的不确定性，不同于相关技术中采用深度学习模型简单地利用质量等级作为图像的标签的方式，该方法我们利用标签分布作为图像的质量标签来训练图像质量评价模型，使得该图像质量评价模型可以学习到图像质量内在的不确定性，进而提高了图像质量评价模型对图像进行质量评价的精度和稳定性。

针对于上述图像质量评价方法的实施例，本发明实施例还提供了一种图像质量评价模型的训练方法，如图4所示，该方法包括如下步骤：

步骤S402，获取样本集；该样本集中的每个样本均包括一个样本图像和样本图像对应的质量标签分布；每个质量标签分布中包括预设的多个质量等级，以及样本图像属于每个质量等级的概率值。

上述样本集中包含有大量的样本，每个样本中均包含有一个样本图像和该样本图像对应的质量标签分布，该质量标签分布可以是一个向量，该向量中的每个元素代表该样本图像属于预设的多个质量等级下的每个质量等级的概率值。

在具体实现时，可以通过上述步骤10-11，得到样本集合中的每个样本图像对应的质量标签分布，在此不在赘述。

步骤S404，基于样本集对初始模型进行机器学习训练，得到图像质量评价模型。

在具体实现时，上述步骤S304可以通过下述步骤30-33实现：

步骤30，基于样本集确定训练样本。

步骤31，将训练样本中的样本图像输入至初始模型中，得到输出结果。该初始模型可以采用深度学习模型或者神经网络模型等。

步骤32，根据输出结果和训练样本的质量标签分布，得到损失量。

在具体实现时，上述损失量可以通过下述算式确定：

其中，L表示损失量；p_j表示在质量标签分布中，样本图像属于预设的多个质量等级中第j个质量等级的概率值；

表示在输出结果中样本图像属于预设的多个质量等级中第j个质量等级的概率值；N表示预设的多个质量等级的总数；log用于表示对数运算；∑表示求和运算。

步骤33，基于损失量调整初始模型的权重参数；继续执行基于样本集确定训练样本的步骤，直到损失量收敛或者达到预设的训练次数，得到图像质量评价模型。

在具体实现时，上述步骤33可以通过下述步骤40-43得到：

步骤40，计算损失量对初始模型中待更新权重参数的导数

其中，L为损失量；W为待更新权重参数；该待更新权重参数可以为初始模型中的所有参数，也可以为随机从初始模型中确定的部分参数；其中，该更新权重参数也即是初始模型中各层网络的权值。通常可以根据反向传播算法求解待更新权重参数的导数；如果损失量较大，则说明当前的初始模型的识别结果与期望结果相差较多，则求出损失量对初始模型中待更新权重参数的导数，该导数可以作为更新待更新权重参数的依据。

步骤41，更新待更新权重参数，得到更新后的待更新权重参数

其中，α为预设系数，该预设系数为人工预先设定的超参数，可以取值为0.01、0.001等。该过程也可以称为随机梯度下降算法；各个待更新权重参数的导数也可以理解为相对于当前参数，损失量下降最快的方向，通过该方向调整参数，可以使损失量快速降低，使该权重参数收敛。

步骤42，判断更新后的初始模型的参数是否均收敛，如果均收敛，执行基于样本集确定训练样本的步骤；否则执行步骤43。

如果更新后的初始模型的参数不是均收敛，则基于样本集确定新的训练样本，继续执行步骤30-33，直到更新后的初始模型的参数均收敛。

步骤43，将参数更新后的初始模型确定为训练后的图像质量评价模型。

另外，当初始模型经一次训练后，得到损失量时，可以从初始模型的各个权重参数中随机选择一个或多个参数进行上述的更新过程，该方式的模型训练时间较短，算法较快；当然也可以对初始模型中所有参数进行上述的更新过程，该方式的模型训练更加准确。

在具体实现时，可以将样本集中的图像按照预设比例(例如，10:1)划分为用来训练模型的样本集合，以及用来验证模型的样本集合。通过用来验证模型的样本集合可以确定训练后的图像质量评价模型的识别精度；通常可以从用来验证模型的样本集合确定测试样本，该测试样本包含有样本图像，以及该样本图像对应的质量标签分布，将该测试样本输入至训练完成的图像质量评价模型中可以得到质量评价结果，将该质量评价结果与质量标签分布比对，判定该质量评价结果是否正确，继续从用来验证模型的样本集合确定测试样本，直到用来验证模型的样本集合中的所有样本选取完毕；统计每个测试样本对应的测试结果对应的正确性，得到训练后的图像质量评价模型的预测精度。

上述图像质量评价模型的训练方法，首先获取样本集；然后基于该样本集对初始模型进行机器学习训练，得到图像质量评价模型。该方式中的图像质量评价模型可以自动学习与图像质量有关的多层级语义特征，而且该方式可以从样本图像的质量标签分布中学习到图像质量内在的不确定性，进而提高了图像质量评价模型对图像进行质量评价的精确度和稳定性。

对应于上述图像质量评价方法的实施例，本发明实施例还提供了一种图像质量评价装置，如图5所示，该装置包括：

图像获取模块50，用于获取待处理图像。

质量评价模块51，用于将待处理图像输入至预先训练完成的图像质量评价模型中，得到该待处理图像在预设的多个质量等级下的评价结果。

其中，该图像质量评价模型为使用样本集通过机器学习训练得到，该样本集中的每个样本均包括一个样本图像和样本图像对应的质量标签分布；该质量标签分布中包括预设的多个质量等级，以及样本图像属于每个质量等级的概率值。

上述图像质量评价装置，首先获取待处理图像；再将该待处理图像输入至预先训练完成的图像质量评价模型中，得到该待处理图像在预设的多个质量等级下的评价结果。该方式通过图像质量评价模型对待处理图像进行质量评价得到图像的质量等级，该图像质量评价模型使用包含有样本图像和样本图像对应的质量标签分布的样本集通过机器学习训练得到，且该质量标签分布中包括预设的多个质量等级以及样本图像属于每个质量等级的概率值。因而该图像质量评价模型在训练的过程中可以从样本图像的质量标签分布中学习到图像质量内在的不确定性，进而提高模型质量评价的精确度和稳定性。

进一步地，上述装置还包括标签分布生成模块，用于：针对于样本集中的每个样本图像，获取当前样本图像对应的多个标注结果；该标注结果用于表示当前样本图像的质量等级；基于多个标注结果和预设的多个质量等级，生成当前样本图像的质量标签分布。

具体地，上述标签生成模块，用于：计算多个标注结果对应的质量等级的平均值，得到等级均值；基于等级均值和预设的多个质量等级，确定当前样本图像属于预设的多个质量等级中的每个质量等级的概率值；组合每个质量等级的概率值，得到当前样本图像的质量标签分布。

在具体实现时，上述标签生成模块可通过下述算式，计算当前样本图像属于预设的多个质量等级中的每个质量等级的概率值：

其中，p_j表示当前样本图像属于预设的多个质量等级中第j个质量等级的概率值；j表示第j个质量等级的等级值；y表示等级均值；Z表示归一化因子；N表示预设的多个质量等级的总数；σ表示预设标准差；exp表示以自然常数e为底的指数函数运算；∑表示求和运算。

进一步地，上述装置还包括模型参数训练模块，用于：是在机器学习训练过程中，根据损失量确定图像质量评价模型的权重参数；其中，该损失量表示样本输入至图像质量评价模型后得到的质量评价结果与输入的样本的质量标签分布之间的差异。

在具体实现时，上述损失量通过下述算式确定：

其中，L表示损失量；p_j表示在质量标签分布中，样本图像属于预设的多个质量等级中第j个质量等级的概率值；

表示在质量评价结果中，样本图像属于预设的多个质量等级中第j个质量等级的概率值；N表示预设的多个质量等级的总数；log用于表示对数运算；∑表示求和运算。

本发明实施例所提供的图像质量评价装置，其实现原理及产生的技术效果和前述图像质量评价方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

对应于上述图像质量评价模型的训练方法实施例，本发明实施例还提供了一种图像质量评价模型的训练装置，如图6所示，该装置包括：

样本集获取模块60，用于获取样本集；该样本集中的每个样本均包括一个样本图像和样本图像对应的质量标签分布；每个质量标签分布中包括预设的多个质量等级，以及样本图像属于每个质量等级的概率值。

模型训练模块61，用于基于样本集对初始模型进行机器学习训练，得到图像质量评价模型。

上述图像质量评价模型的训练模型，首先获取样本集；然后基于该样本集对初始模型进行机器学习训练，得到图像质量评价模型。该方式中的图像质量评价模型可以自动学习与图像质量有关的多层级语义特征，而且该方式可以从样本图像的质量标签分布中学习到图像质量内在的不确定性，进而提高了图像质量评价模型对图像进行质量评价的精确度和稳定性。

进一步地，上述装置还包括标签生成模块，用于：获取当前样本图像对应的多个标注结果；该标注结果用于表示当前样本图像的质量等级；基于多个标注结果和预设的多个质量等级，生成当前样本图像的质量标签分布。

进一步地，上述模型训练模块61，用于：基于样本集确定训练样本；将训练样本中的样本图像输入至初始模型中，得到输出结果；根据输出结果和训练样本的质量标签分布，得到损失量；基于损失量调整初始模型的权重参数；继续执行基于样本集确定训练样本的步骤，直到损失量收敛或者达到预设的训练次数，得到图像质量评价模型。

本发明实施例所提供的图像质量评价模型的训练装置，其实现原理及产生的技术效果和前述图像质量评价模型的训练方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例还提供了一种电子设备，参见图7所示，该电子设备包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器执行机器可执行指令以实现上述图像质量评价方法或者上述图像质量评价模型的训练方法。

进一步地，图7所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，RandomAccessMemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述图像质量评价方法或者上述图像质量评价模型的训练方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和/或电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种图像质量评价方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像输入至预先训练完成的图像质量评价模型中，得到所述待处理图像在预设的多个质量等级下的评价结果；

其中，所述图像质量评价模型为使用样本集通过机器学习训练得到，所述样本集中的每个样本均包括一个样本图像和所述样本图像对应的质量标签分布；所述质量标签分布中包括预设的多个质量等级，以及所述样本图像属于每个所述质量等级的概率值。

2.根据权利要求1所述的方法，其特征在于，针对于所述样本集中的每个所述样本图像，当前样本图像的质量标签分布通过下述方式确定：

获取所述当前样本图像对应的多个标注结果；所述标注结果用于表示所述当前样本图像的质量等级；

基于所述多个标注结果和所述预设的多个质量等级，生成所述当前样本图像的质量标签分布。

3.根据权利要求2所述的方法，其特征在于，所述基于所述多个标注结果和所述预设的多个质量等级，生成所述当前样本图像的质量标签分布的步骤，包括：

计算所述多个标注结果对应的质量等级的平均值，得到等级均值；

基于所述等级均值和所述预设的多个质量等级，确定所述当前样本图像属于所述预设的多个质量等级中的每个质量等级的概率值；

组合每个质量等级的概率值，得到所述当前样本图像的质量标签分布。

4.根据权利要求3所述的方法，其特征在于，所述基于所述等级均值和所述预设的多个质量等级，确定所述当前样本图像属于所述预设的多个质量等级中的每个质量等级的概率值的步骤，包括：

通过下述算式，计算所述当前样本图像属于预设的多个质量等级中的每个质量等级的概率值：

其中，p_j表示当前样本图像属于预设的多个质量等级中第j个质量等级的概率值；j表示第j个质量等级的等级值；y表示所述等级均值；Z表示归一化因子；N表示预设的多个质量等级的总数；σ表示预设标准差；exp表示以自然常数e为底的指数函数运算；∑表示求和运算。

5.根据权利要求1所述的方法，其特征在于，所述图像质量评价模型的权重参数是在机器学习训练过程中根据损失量确定的；其中，所述损失量表示样本输入至所述图像质量评价模型后得到的质量评价结果与输入的样本的质量标签分布之间的差异。

6.根据权利要求5所述的方法，其特征在于，所述损失量通过下述算式确定：

其中，L表示所述损失量；p_j表示在质量标签分布中，样本图像属于预设的多个质量等级中第j个质量等级的概率值；

表示在质量评价结果中，样本图像属于预设的多个质量等级中第j个质量等级的概率值；N表示预设的多个质量等级的总数；log用于表示对数运算；∑表示求和运算。

7.一种图像质量评价模型的训练方法，其特征在于，所述方法包括：

获取样本集；所述样本集中的每个样本均包括一个样本图像和所述样本图像对应的质量标签分布；每个所述质量标签分布中包括预设的多个质量等级，以及所述样本图像属于每个所述质量等级的概率值；

基于所述样本集对初始模型进行机器学习训练，得到图像质量评价模型。

8.根据权利要求7所述的方法，其特征在于，针对于所述样本集中的每个所述样本图像，当前样本图像的质量标签分布通过下述方式确定：

获取所述当前样本图像对应的多个标注结果；所述标注结果用于表示所述当前样本图像的质量等级；

基于所述多个标注结果和所述预设的多个质量等级，生成所述当前样本图像的质量标签分布。

9.根据权利要求7所述的方法，其特征在于，所述基于所述样本集对初始模型进行机器学习训练，得到图像质量评价模型的步骤，包括：

基于所述样本集确定训练样本；

将所述训练样本中的样本图像输入至所述初始模型中，得到输出结果；

根据所述输出结果和所述训练样本的质量标签分布，得到损失量；

基于所述损失量调整所述初始模型的权重参数；继续执行基于所述样本集确定训练样本的步骤，直到所述损失量收敛或者达到预设的训练次数，得到图像质量评价模型。

10.一种图像质量评价装置，其特征在于，所述装置包括：

图像获取模块，用于获取待处理图像；

质量评价模块，用于将所述待处理图像输入至预先训练完成的图像质量评价模型中，得到所述待处理图像在预设的多个质量等级下的评价结果；

其中，所述图像质量评价模型为使用样本集通过机器学习训练得到，所述样本集中的每个样本均包括一个样本图像和所述样本图像对应的质量标签分布；所述质量标签分布中包括预设的多个质量等级，以及所述样本图像属于每个所述质量等级的概率值。

11.一种图像质量评价模型的训练装置，其特征在于，所述装置包括：

样本集获取模块，用于获取样本集；所述样本集中的每个样本均包括一个样本图像和所述样本图像对应的质量标签分布；每个所述质量标签分布中包括预设的多个质量等级，以及所述样本图像属于每个所述质量等级的概率值；

模型训练模块，用于基于所述样本集对初始模型进行机器学习训练，得到图像质量评价模型。

12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至6任一项所述的图像质量评价方法或权利要求7至9任一项所述的图像质量评价模型的训练方法。

13.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至6任一项所述的图像质量评价方法或权利要求7至9任一项所述的图像质量评价模型的训练方法。

Images