CN108961245A - 基于双通道深度并行卷积网络的图像质量分类方法 - Google Patents

Abstract

本发明公开了一种基于双通道深度并行卷积网络的图像质量分类方法，解决了人工构建质量特征的困难以及卷积神经网络输入归一化丢失图像细节信息的问题。其实现步骤为：选取图像样本；构建训练图像数据集；搭建双通道深度并行卷积网络；对训练数据集进行预处理；训练双通道深度并行卷积网络；对待测试图像进行数据预处理；给出图像质量分类结果。本发明设计了一种新的双通道深度并行卷积网络，双通道分别输入全局图像和局部图像，综合考虑图像的全局信息和细节信息，针对全局图像，设计并行卷积结构，能消除图像语义信息对图像质量分类的影响，实现全面、合理和精细的图像质量分类。广泛应用到计算机视觉、图像美学质量评价中。

Description

基于双通道深度并行卷积网络的图像质量分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像的评价和分类，具体是一种基于双通道深度并行卷积网络的图像质量分类方法。本发明可用于对自然图像的质量进行评价，进一步应用可以用于区分图像的美学质量。

背景技术

目前，随着手机、相机等数码设备的发展和普及，摄影逐渐引起了越来越多的关注和兴趣。由于这些设备的普及，图像的数量也以一种爆发式的速度增长。图像的质量分类是图像处理与图像分析中重要的研究问题，该技术试图利用多种属性特征深入挖掘图像质量相关特性，实现对图像质量的准确分类，提升图像质量评价性能。

典型的图像质量分类方法框架由两部分组成：图像质量特征的提取以及图像质量的分类。根据提取图像质量特征所使用的技术方法，可以将现有图像质量分类方法分为两大类：第一类是基于人工构建特征的图像质量分类方法，将图像质量特征提取和图像质量的分类独立进行，第一步，依据人类对于图像质量评价的经验和一些摄影准则设计底层特征，用这些底层特征表达图像的质量特性人工构建图像质量特征并进行特征的提取。第二步则使用提取到的特征训练分类器实现对图像的质量分类。第二类是基于深度学习的图像质量分类方法，使用端到端的网络结构，网络前端部分采用卷积神经网络进行特征提取，后端则使用全连接层将特征抽象映射为有关图像质量的表示，直接将图像作为输入，输出即为图像质量分类结果，将图像质量特征提取和图像质量分类作为一个有机的整体。

第一类方法的缺点是需要大量的经验和相关背景知识，由于人类图像质量评价行为高度抽象的特性，参考人工经验设计出的图像质量特征效果有限，而且在工程技术层面也有着很高的要求。第二类方法自动从图像中抽取特征，虽然解决了人工设计特征的缺陷，但是现有的深度学习模型没有充分考虑图像语义信息对于图像质量的影响，导致分类准确率不高。

发明内容

本发明的目的在于针对已有技术的不足，提出一种分类准确率更高，消除图像语义信息的基于双通道深度并行卷积网络的图像质量分类方法。

本发明是一种基于双通道深度并行卷积网络的图像质量分类方法，其特征在于，具体包括如下步骤：

(1)选取图像样本：选取图像质量评价相关领域的数据库中的所有图像，作为实验数据，即图像样本，数据库中共有M类不同内容的图像，每一类图像中都包含有高质量图像样本和低质量图像样本；

(2)构建训练数据集：从图像样本中选取训练数据集，对M类图像样本中的每一类都进行随机采样，所有采样得到的样本组成包含M类图像样本的训练数据集，作为网络训练时的输入数据集；

(3)搭建双通道深度并行卷积网络：搭建一个双通道深度并行卷积网络，该网络前端的双通道部分包含两个通道，分别对应图像的全局信息和局部信息，网络后端的合并通道部分将两个通道的输出合并，变为一个通道；并行卷积结构只存在于网络前端的双通道部分中的一个通道中，特点是能够针对不同语义内容的图像分别处理；

(4)对训练数据集进行数据预处理，数据预处理包括两种预处理方式，预处理后得到的图像块作为预处理结果，第一种预处理结果作为双通道深度并行卷积网络第一通道的输入，第二种预处理结果作为双通道深度并行卷积网络第二通道的输入；

(5)训练双通道深度并行卷积网络：

(5a)将经过预处理的训练数据集输入到双通道深度并行卷积网络，网络的输出即为训练数据集的预测质量类别；

(5b)利用交叉熵公式，计算训练数据集的预测质量类别与训练数据集的真实质量类别标签之间的交叉熵；

(5c)将交叉熵值作为双通道深度并行卷积网络的代价值，对网络进行迭代训练，直到网络的代价值不再降低而且达到最大迭代次数时，网络训练完毕，得到训练好的双通道深度并行卷积网络；

(6)对待测试图像进行数据预处理：数据预处理同训练数据集的数据预处理，也包括两种预处理方式，第一种预处理结果作为双通道深度并行卷积网络第一通道的输入，第二种预处理结果作为双通道深度并行卷积网络第二通道的输入；

(7)给出图像质量分类结果：将经过预处理的待测试图像作为双通道深度并行卷积网络的输入，利用训练好的双通道深度并行卷积网络对输入图像进行计算，网络输出即为待测试图像的图像质量类别分类结果。

本发明结合深度学习与图像质量评价等理论技术，设计带有并行卷积结构的双通道深度卷积网络，更加充分的提取了图像的信息，同时消除了图像语义信息对于图像质量的影响，实现对图像质量的评价，提升了分类性能。

本发明与现有技术相比较，具有如下优点：

第一，由于本发明采用了深度卷积网络，可以对图像的质量特征进行自动的提取，克服了人工构建特征过程的复杂性和设计出的特征的片面性，使得本发明具有全面而准确的优点。

第二，由于本发明在深度卷积网络中设计了使用不同语义图像预训练过的并行卷积层，可以消除图像语义内容对于图像质量分类的影响，克服了图像质量评价过程中不同语义图像需要使用不同评价规则的困难，减少了图像质量评价过程的复杂性，使本发明具有对于所有图像具有普遍适用性的优点。

第三，由于本发明所构建的深度卷积网络采用了双通道的输入方式，并且不同的通道对原图像进行不同的处理，使得本发明不仅可以从图像的全局获取图像的质量属性，同时可以保留图像的局部细节信息，解决了深度学习网络在图像质量评价中丢失图像信息的问题，同时从全局角度和局部角度对图像质量进行评价，从而使本发明可以更加全面、合理的对图像的质量进行评价和分类。

附图说明

图1是本发明的流程框图；

图2是本发明的单通道深度卷积网络模型图；

图3是本发明的单通道深度并行卷积网络模型图；

图4是本发明的双通道深度并行卷积网络模型图。

具体实施方式

下面结合附图，对本发明详细描述。

实施例1

由于人工设计特征需要大量的经验和相关背景知识，人工设计图像质量特征比较困难，且设计出的特征较为片面，分类效果有限，而现有的深度学习模型由于没有充分考虑图像语义信息对于图像质量的影响，分类准确率并不高。本发明针对这些问题展开了分析与研究，提出一种基于双通道深度并行卷积网络的图像质量分类方法，参见图1，具体包括如下步骤：

(1)选取图像样本：选取图像质量评价相关领域的数据库中的所有图像，作为实验数据，即图像样本，数据库中共有M类不同内容的图像，每一类图像中都包含有高质量图像样本和低质量图像样本。

实验过程中使用的图像样本数据来自图像质量评价领域的数据库，该数据库共有M类不同内容的图像，每一类图像中都包含有高质量样本和低质量样本。

本发明可以根据图像质量评价的不同要求确定相关的数据库，对应的数据库中的不同内容的图像类别也会有所改变，因此M类是随着图像质量评价的要求和对应的数据库而不同的。不同语义内容的图像在进行质量分类时的评判准则有所区别。

(2)构建训练数据集：从图像样本中选取训练数据集，对M类图像样本中的每一类都进行随机采样，所有采样得到的样本组成包含M类图像样本的训练数据集，作为网络训练时的输入数据集，即训练数据集。

(3)搭建双通道深度并行卷积网络：卷积神经网络能够很好的提取出图像的特征，但是对输入图像的大小有一定的限制，因此需要对初始图像做大小归一化处理，这样做会丢失图像的细节信息，因此本发明提出一种双通道深度并行卷积网络，该网络前端包含两个通道，分别对应图像的全局信息和局部信息，网络后端的合并通道部分将两个通道的输出合并，变为一个通道；对于不同类语义内容的图像，图像质量评判规则不一样，因此普通的一个网络只能用于评价一类语义内容的图像，不能适用于所有类别的图像，本发明提出的并行卷积结构，并行卷积结构只存在于网络前端的双通道部分中的一个通道中，特点是能够针对不同语义内容的图像分别处理，消除图像语义内容对于图像质量分类的影响，克服了图像质量评价过程中不同语义图像需要使用不同评价规则的困难；双通道深度并行卷积网络能够同时利用图像的全局信息和局部信息，利用卷积操作有效的提取出图像的质量特征，从而很好的对图像质量做出评价，并且能够适用于所有类别的图像。

(4)对训练数据集进行数据预处理，数据预处理包括两种预处理方式，经过第一种预处理方式和第二种预处理方式预处理后得到的图像块作为预处理结果，第一种预处理结果作为双通道深度并行卷积网络第一通道的输入，第二种预处理结果作为双通道深度并行卷积网络第二通道的输入。由于深度卷积神经网络对输入图像的大小有一定的限制，因此根据本发明设计的卷积神经网络需要针对输入图像大小的要求，对初始图像做大小归一化处理。

(5)训练步骤(3)中搭建的双通道深度并行卷积网络：

(5a)将步骤(4)中经过预处理的训练数据集输入到双通道深度并行卷积网络，网络的输出即为训练数据集的预测质量类别。

(5b)利用交叉熵公式，计算训练数据集的预测质量类别与训练数据集的真实质量类别标签之间的交叉熵。

(5c)将交叉熵值作为双通道深度并行卷积网络的代价值，对网络进行迭代训练，直到网络的代价值不再降低而且达到最大迭代次数时，网络训练完毕，得到训练好的双通道深度并行卷积网络。

(6)对待测试图像进行数据预处理：数据预处理同训练数据集的数据预处理，也包括两种预处理方式，第一种预处理结果作为双通道深度并行卷积网络第一通道的输入，第二种预处理结果作为双通道深度并行卷积网络第二通道的输入。

(7)给出图像质量分类结果：将经过预处理的待测试图像作为双通道深度并行卷积网络的输入，利用训练好的双通道深度并行卷积网络对输入图像进行计算，网络输出即为待测试图像的图像质量类别分类结果。

实现本发明目的的思路是，通过对搭建的双通道深度并行卷积网络进行训练，得到图像质量评价网络，将原始图像输入到图像质量评价网络，经过图像质量特征提取和图像质量评价，得到图像的质量类别，实现对图像质量的评价和分类。

实施例2

基于双通道深度并行卷积网络的图像质量分类方法同实施例1，步骤(3)中所述的搭建双通道深度并行卷积网络，包括有如下步骤：

(3a)搭建一个七层的单通道深度卷积网络：该单通道深度卷积网络没有并行卷积结构，参见图2，具体结构为：

前四层为依次连接的卷积层，后三层为依次连接的全连接层，第四个卷积层连接到第五层的全连接层。具体是：第一层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第二层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第三层为进行卷积处理的卷积层；第四层为进行卷积处理的卷积层；第五层为全连接层；第六层为全连接层；第七层为全连接层。低层的卷积层从输入图像中提取特征，逐层抽象为高层的语义特征，通过全连接层的非线性映射能力将特征映射为最终的分类结果。

(3b)搭建一个七层的单通道深度并行卷积网络：在另一个七层的单通道深度卷积网络中加入并行卷积结构,搭建一个七层的单通道深度并行卷积网络，参见图3,具体结构为：

第四层为进行并行卷积处理的并行卷积层组，该并行卷积层组的结构为M个并行排列的卷积层，其中的每一个卷积层参数都是相同的，其余层与七层的单通道深度卷积网络的对应层相同。本发明中并行排列的卷积层数M是由图像的类别数决定的，每个卷积层对应一种语义内容的图像，并行卷积结构能够针对不同语义内容的图像分别处理，因此能够消除图像语义内容对于图像质量分类的影响。

(3c)将(3a)中的七层的单通道深度卷积网络和(3b)中的七层的单通道深度并行卷积网络进行合并，搭建成为一个双通道深度并行卷积网络，其中(3b)中的七层的单通道深度并行卷积网络的前五层网络提取出来，作为双通道深度并行卷积网络的第一通道，该通道包含并行卷积结构；(3a)中的单通道深度卷积网络的前五层网络提取出来，作为双通道深度并行卷积网络的第二通道，该通道不包含并行卷积结构；合并通道部分将第一通道的输出和第二通道的输出拼接在一起，送入全连接层，合并为一个通道，具体合并过程如下：

定义双通道深度并行卷积网络的第一通道为七层的单通道深度并行卷积网络的前五层；用于获取图像的全局信息。

定义双通道深度并行卷积网络的第二通道为七层的单通道深度卷积网络的前五层；用于获取图像的局部信息。

合并通道部分，包含两个全连接层，第一个全连接层将两个单通道的第五层的输出进行合并，合并后的结果作为第一个全连接层的输入，输出结果作为第二个全连接层的输入；第二个全连接层接受第一个全连接层的输出，第二个全连接层的输出结果作为双通道深度并行卷积网络最终的分类结果。

网络输入一个256*256大小的图像后，首先经过两种预处理方式，得到两种预处理结果，即两个227*227大小的图像块，第一种预处理结果作为通道1的输入，首先经过两个卷积层，即对应图4上方通道1的前两个卷积层，每个卷积层包含卷积操作，池化操作和局部相应归一化操作，卷积核的大小分别为11*11和5*5，个数分别为96和256，步长分别为4和2，池化操作，策略是最大值降采样，池化大小是3*3，步长是2，局部响应归一化操作特征图的大小和数量没有发生改变，只是将输入的局部区域进行归一化，达到“侧抑制”的效果。再将第二个卷积层输出的特征图经过一个卷积层处理，对应图4上方通道1的第三个卷积层，卷积层包含卷积操作，卷积核的大小为3*3，个数是384个，步长为1。再将第三个卷积层输出的特征图经过一个并行卷积层处理，对应图4上方通道1的并行卷积结构，并行卷积结构包含M个并行排列的卷积层，每个卷积层包含卷积操作，卷积核的大小为3*3，个数都是96个，步长为1，经过处理后就得到M个特征图。将这M个特征图合并，通过一个全连接层，即图4中通道1的第一个全连接层，得到一个特征集合，大小是1000*1*1。由于这些特征是从缩放后的原图像中提取出来的，卷积核能感知的区域相对较大，得到的图像特征更加全面，把这一步提取出的特征称之为图像的全局特征。

第二种预处理结果作为通道2的输入，首先经过两个卷积层，即对应图4下方通道2的前两个卷积层，每个卷积层包含卷积操作，池化操作和局部相应归一化操作，卷积核的大小分别为11*11和5*5，个数分别为96和256，步长分别为4和2，池化操作，策略是最大值降采样，池化大小是3*3，步长是2，局部响应归一化操作特征图的大小和数量没有发生改变，只是将输入的局部区域进行归一化，达到“侧抑制”的效果。再将第二个卷积层输出的特征图经过两个卷积层处理，对应图4下方通道2的后两个卷积层，卷积层包含卷积操作，卷积核的大小都为3*3，个数分别为384和96，步长为1。再将第四个卷积层输出的特征图通过一个全连接层，即图4中通道2的第一个全连接层，得到一个特征集合，大小是1000*1*1。由于这些特征图是从未经缩放的原图像上裁剪出来的一个局部图像块中提取出来的，得到的图像特征包含更多细节信息，把这一步提取出的特征称之为图像的局部特征。

将得到的全局特征和局部特征融合在一起，通过一个全连接层，即图4中的倒数第二个全连接层，得到一个特征集合，大小是1024*1*1。将这个特征经过网络的第七层即一个全连接层，该全连接层的激活函数采用sigmoid函数，训练时输入训练图像，对第七层的输出结果根据交叉熵误差计算公式进行误差计算，通过迭代训练进行网络参数的更新，测试时输入待测试图像，网络输出即为质量分类结果。

实施例3

基于双通道深度并行卷积网络的图像质量分类方法同实施例1-2，步骤(4)和步骤(6)中所述的两种数据预处理方式是指：

第一种预处理方式，首先对训练数据集或待测试图像的尺寸进行调整，将原始大小的训练数据集或待测试图像缩放为256*256大小的图像，然后从缩放后的图像上随机裁剪出一个大小为227*227的图像块，作为双通道深度并行卷积网络第一通道的输入图像。

第二种预处理方式，直接从原始大小的训练数据集或待测试图像上随机裁剪出一个大小为227*227的图像块，作为双通道深度并行卷积网络第二通道的输入图像。

本发明随机裁剪图像块的目的是扩充训练的数据量，因为每次都是从初始图像上随机裁剪一个图像块作为输入，随机性使得每次的图像块都不一样，这样就能将一张图像扩充成多张不一样的图像块，相当于对数据量进行了扩充。由于深度卷积神经网络对输入图像的大小有一定的限制，因此根据设计的卷积神经网络对输入的大小要求，对初始图像做大小归一化处理。本发明将原始图像缩放后的图像代表图像的全局信息，由于缩放会改变图像的分辨率，因此会丢失图像的细节信息，直接从未经缩放的图像上裁剪出来的图像块能够保留更多的局部信息。

实施例4

基于双通道深度并行卷积网络的图像质量分类方法同实施例1-3，步骤(5b)中所述交叉熵公式如下：

其中，C表示训练数据集的交叉熵值，N表示训练数据集中训练样本的总数，∑表示求和操作，x表示训练数据集中的图像，y表示训练数据集中图像的真实质量类别标签，a表示训练数据集中的图像经由双通道深度并行卷积网络计算得到的质量类别。交叉熵刻画的是实际输出与期望输出的距离，也就是交叉熵的值越小，实际输出与期望输出就越接近，网络训练的目的就是最小化训练数据集的预测质量类别与训练数据集的真实质量类别标签之间的交叉熵。

实施例5

基于双通道深度并行卷积网络的图像质量分类方法同实施例1-4，步骤(5)中所述的训练双通道深度并行卷积网络是采用随机梯度下降算法SGD进行网络的迭代训练，调整网络每一层的参数，直至达到最优参数。SGD算法每次只选取一部分样本进行学习，更新模型参数，相比于用全部样本进行学习，每次学习的速度更快。并且不用担心内存瓶颈从而可以利用矩阵运算进行高效计算。相比于用单个样本进行学习，降低了收敛波动性，即降低了参数更新的方差，使得更新更加稳定。训练过程中学习率会随着迭代次数进行改变，使用基于自适应矩阵估计的优化算法Adam中的任意一种进行学习率的改变。Adam算法的特点是不同参数自适应不同学习速率，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。

实施例6

本发明还是一种基于双通道深度并行卷积网络的图像质量分类方法的用途，将基于双通道深度并行卷积网络的图像质量分类方法用在图像的美学质量评价及分类上。随着手机、相机等数码设备的发展和普及，摄影逐渐引起了越来越多的关注和兴趣。由于这些设备的普及，图像的数量也以一种爆发式的速度增长。与此同时，摄影分享平台的建立以及Facebook，微信等社交平台的出现，也促使人们的生活方式发生改变。拍照、分享图片逐渐成为人们日常生活的一部分。种种因素促使图像与人们的生活越来越密不可分。一方面拍照的人希望拍摄出更美的图像，另一方面浏览图片的人也希望可以看到美感更高的图片。由于现阶段图片数量的日益增加以及计算机视觉领域相关技术的快速发展，用户对图片各个方面的质量也有了新的要求，与图片相关的应用不仅需要对用户呈现其感兴趣的内容相关、信息保留完整的图片，更要在此基础上，提供漂亮美观的“高美学质量图片”，因此，图像的美学质量也成为了人们评判图像的重要因素。将本发明用于图像的美学质量评价能够取得更好的分类效果。

本发明基于双通道深度并行卷积网络的图像质量分类方法同实施例1-5，参见图1，通过对搭建的双通道深度并行卷积网络进行训练，得到图像美学质量评价网络，将原始影像输入到图像美学质量评价网络，经过美学特征提取和美学质量评价，得到图像的美学质量类别，实现对图像美学质量的评价，包括有如下步骤，

(1)选取美学图像样本：

输入用于训练的美学图像，这些美学图像应该包含有对应的美学质量类别标签，如高美学质量或者低美学质量，使用美学图像和对应的美学质量类别标签进行监督学习，从而得到美学质量评价网络。

因为是将本发明的方法用于图像的美学质量评价上，因此样本使用美学质量评价领域的CUHKPQ数据库，该数据库包含了17690张从DPChallenge.com网站和业余摄影师获取的照片，共有7类不同内容的图像，分别为“动物”、“植物”、“静态”、“建筑”、“景观”、“人”、“夜景”。选取数据库中的所有图像作为美学图像样本，每一类图像中都包含有高美学质量样本和低美学质量样本。所有图像中高美学质量样本和低美学质量样本的比例为1:3。

(2)生成训练数据集：

分别对7类图像样本进行随机采样，组成不同语义内容的训练数据集。

(3)搭建一个双通道深度并行卷积网络：

(3a)搭建一个七层的单通道深度卷积网络。

(3b)在单通道深度卷积网络中加入并行卷积结构,搭建一个单通道深度并行卷积网络，因为使用的CUHKPQ数据库中包含7类不同类别的图像，因此并行卷积结构中并行排列的卷积层个数也为7。美学质量评价过程中不同语义图像使用不同评价规则，并行卷积结构使用不同语义内容的图像进行预训练，可以消除不同语义内容对于图像美学质量分类的影响，减少了美学质量评价过程的复杂性。

(3c)将(3a)中的单通道深度卷积网络和(3b)中的单通道深度并行卷积网络进行合并搭建一个双通道深度并行卷积网络。由于本发明所构建的深度卷积网络采用了双通道的输入方式，同时输入全局图像和局部图像，因此既可以从图像的全局获取图像的美学属性，又可以保留图像的细节信息，克服了深度学习网络在美学质量评价中丢失图像美学信息的问题。结合图像美学质量的多个角度对图像的美学质量进行评价，使得本发明可以更加全面、合理地评价图像的美学质量。

(4)训练双通道并行深度卷积网络：

(4a)对训练数据集进行两种预处理方式，第一种预处理方式，首先对训练数据集图像的尺寸进行调整，将原始大小的训练数据集图像缩放为256*256大小的图像，然后从缩放后的图像上随机裁剪出一个大小为227*227的图像块。第二种预处理方式，直接从原始大小的训练数据集图像上随机裁剪出一个大小为227*227的图像块。将两种预处理结果输入到双通道深度并行卷积网络中，其中单通道深度并行卷积网络中输入的数据为第一种预处理结果，即调整为固定大小的图像，另一个单通道深度卷积网络中则输入第二种预处理结果，即对原图像进行随机裁剪得到的固定大小的图像块。

(4b)通过双通道并行深度卷积网络计算训练数据集的预测美学类别，然后利用交叉熵公式，计算训练数据集的网络预测美学类别与训练数据集中的图像美学标签之间的交叉熵。

(4c)将交叉熵值作为双通道并行深度卷积网络的代价值，对网络进行迭代训练，直到网络的代价值不再降低而且达到最大迭代次数时，得到训练好的双通道并行深度卷积网络。

(5)评价待测试图像的美学质量类别：

(5a)将所有美学图像样本中除去训练样本外的图片作为待测试图像；

(5b)对待测试图像进行第一种预处理，首先将图像尺寸调整为256*256大小的图像，再从调整后的图像上随机裁剪大小为227*227的图像块。

(5c)对待测试图像进行第二种预处理，从待测试图像上随机裁剪大小为227*227的图像块。

(5d)将(5b)中得到的图像块作为双通道深度并行卷积网络中单通道深度并行卷积网络的输入，将(5c)中得到的图像块作为另一通道的输入，经过本发明双通道深度并行卷积网络的计算，得到输入的待测试图像美学质量类别的预测值。

由于本发明采用了深度卷积网络，可以对图像的美学特征进行自动的提取，克服了基于摄影规则人工构建美学特征过程的困难和所构建特征的片面性，使得本发明能够提取更加全面的美学质量特征，提升美学质量分类的效果。

下面结合应用对本发明进一步说明

实施例7

基于双通道深度并行卷积网络的图像质量分类方法同实施例1-6，参见图1，对本发明的实现步骤及其用途做详细的描述。

首先搭建一个单通道深度卷积网络，在此基础上另外一个搭建单通道深度并行卷积网络，将搭建的两种单通道网络进行合并，得到双通道深度并行卷积网络，通过对双通道深度并行卷积网络进行训练，得到可用于图像质量评价的双通道深度并行卷积网络，将待测试图片输入该网络中，网络的输出即为该待测试图像的质量类别。具体包括如下步骤：

步骤1.选取图像样本。

选取图像质量美学评价相关领域中的CUHKPQ数据库中的所有图像，作为图像样本，数据库中共有7类不同内容的图像，每一类图像中都包含有高质量图像样本和低质量图像样本。

步骤2.构建训练数据集。

对7类图像样本中的每一类都进行随机采样，所有采样得到的样本组成包含7类图像样本的训练数据集。

所述的随机采样是指，分别从7类图像中随机抽取占总量固定比例数量的图片，作为网络训练时的输入数据集。

步骤3.搭建一个七层的单通道深度卷积网络。

参见图2，对搭建的七层单通道深度卷积网络的结构描述如下。

第一层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第二层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第三层为进行卷积处理的卷积层；第四层为进行并行卷积处理的并行卷积层组，该并行卷积层组的结构为7个并行排列的卷积层，其中的每一个卷积层参数都是相同的；第五层为全连接层；第六层为全连接层；第七层为全连接层。

步骤4.搭建一个七层的单通道深度并行卷积网络。

参见图3，对搭建的七层单通道深度并行卷积网络的结构描述如下。

第一层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第二层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第三层为进行卷积处理的卷积层；第四层为进行并行卷积处理的并行卷积层组，该并行卷积层组的结构为M个并行排列的卷积层，其中的每一个卷积层参数都是相同的；第五层为全连接层；第六层为全连接层；第七层为全连接层。

步骤5.搭建一个双通道深度并行卷积网络。

参见图4，对搭建的双通道深度并行卷积网络的结构描述如下。

网络第一通道，共有五层，第一层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第二层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第三层为进行卷积处理的卷积层；第四层为进行并行卷积处理的并行卷积层组，该并行卷积层组的结构为多个并行排列的卷积层，其中的每一个卷积层参数都是相同的；第五层为全连接层；

网络第二通道，共有五层，第一层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第二层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第三层为进行卷积处理的卷积层；第四层为进行卷积处理的卷积层；第五层为全连接层。

合并通道部分，共有两层，第一层为将两个通道的第五层的输出进行合并的全连接层；第二层为全连接层。

步骤6.训练双通道深度并行卷积网络。

先对单通道深度卷积网络进行预训练，然后用训练好的单通道深度卷积网络的部分参数对双通道深度并行卷积网络的部分参数进行初始化，再训练双通道深度并行卷积网络。网络训练时的目标函数为网络输出值与训练数据集中真实质量类别标签之间的交叉熵值。

所述交叉熵公式如下：

其中，C表示训练数据集的交叉熵值，N表示训练数据集中训练样本的总数，∑表示求和操作，x表示训练数据集中的图像，y表示训练数据集中图像的真实质量类别标签，a表示训练数据集中的图像经由网络计算得到的质量类别。

将训练数据集交叉熵值作为单通道深度卷积网络的代价值，分别使用7类不同语义内容的图像对7个结构完全相同的单通道深度卷积网络进行预训练，得到7个训练好的单通道深度卷积网络。

单通道深度卷积网络预训练过程具体步骤如下：

第一步，将训练数据集交叉熵值作为单通道深度卷积网络的代价值，使用7类不同语义内容的图像中的某一类图像作为数据对单通道深度卷积网络进行预训练，直到单通道深度卷积网络的代价值不再降低而且达到最大迭代次数时，得到一个训练好的单通道深度卷积网络，对7类不同语义内容的图像中的每一类图像都进行以上操作，得到7个训练好的单通道深度卷积网络。

第二步，将训练好的7个单通道深度卷积网络的第四个卷积层参数都提取出来，对双通道深度并行卷积网络的并行卷积层组的参数进行初始化。

将训练数据集交叉熵值作为双通道深度并行卷积网络的代价值，对双通道深度并行卷积网络进行迭代训练，双通道深度并行卷积网络训练过程的具体步骤如下：

第一步，对输入的图像采用进行两种不同的预处理：第一种预处理方式，首先对训练数据集图像的尺寸进行调整，将原始大小的训练数据集图像缩放为256*256大小的图像，然后从缩放后的图像上随机裁剪出一个大小为227*227的图像块，作为网络第一通道的输入图像；第二种预处理方式，直接从原始大小的训练数据集图像上随机裁剪出一个大小为227*227的图像块，作为网络第二通道的输入图像。

第二步，将输入图像输入网络中，对双通道深度并行卷积网络进行迭代训练，直到双通道深度并行卷积网络的代价值不再降低而且达到最大迭代次数时，网络训练完毕，得到训练好的双通道深度并行卷积网络。

所述的双通道深度并行卷积网络可以采用随机梯度下降算法SGD进行网络的迭代训练，训练过程中使用基于自适应矩阵估计的优化算法Adam中的任意一种进行学习率的改变。

步骤7.对待测试图像的质量进行评价及分类。

对待测试图像采用进行两种不同的预处理：第一种预处理方式，首先对待测试图像的尺寸进行调整，将原始大小的待测试图像缩放为256*256大小的图像，然后从缩放后的图像上随机裁剪出一个大小为227*227的图像块，作为网络第一通道的输入图像；第二种预处理方式，直接从原始大小的待测试图像上随机裁剪出一个大小为227*227的图像块，作为网络第二通道的输入图像。

将输入图像输入训练好的双通道深度并行卷积网络中，经由网络的计算，得到待测试图像的质量类别。

由于卷积神经网络对于输入图像的大小有限制，需要对输入图像做大小归一化处理，图像的分辨率会改变，因此会丢失部分细节信息，本发明所构建的深度卷积网络采用了双通道的输入方式，两个通道分别输入全局图像和局部图像，使得本发明不仅可以从图像的全局获取图像的质量属性，同时可以从图像的局部区域获取质量属性，保留了图像的局部细节信息，可以更加全面、合理的对图像的质量进行评价和分类。

本发明的效果可以通过以下仿真实验进一步说明。

实施例8

基于双通道深度并行卷积网络的图像质量分类方法同实施例1-7，

仿真实验条件。

本发明的仿真实验在Intel(R)I5-8400 CPU 2.8GHz，GTX1060 Ti，Ubuntu16.04LTS系统下，TensorFlow1.4运行平台上，完成本发明以及在相应数据集上的效果测试实验。

仿真实验内容及其结果分析。

本发明的实验采用CUHKPQ数据集中的7类不同内容的图像作为训练样本进行训练。对训练好的模型进行测试时，使用CUHKPQ数据集中除训练样本外的其余图像作为测试样本。

为了验证加入语义信息对于美学质量评价的影响，使用CUHKPQ数据库训练带有语义信息的双通道卷积神经网络，并测试网络性能。表1将单通道深度卷积网络，双通道深度卷积网络以及带有语义信息的双通道深度并行卷积网络在CUHKPQ数据库上的美学分类结果作了对比，其中MSDLM(Multi-scene Deep Learning Model)为Wang提出的并行卷积网络。

表1网络性能对比实验

由表中数据可以得到，加入语义信息的双通道深度并行卷积网络在各类图像上的分类准确率都有了一定的提高，在Animal，Human，Landscape，Plant，Static五类图像上的准确率有较为显著的提高，对于另外两类Architecture和Night，虽然提升的效果不明显，但也有一定的性能提升。

加入语义信息可以使网络更加准确的对图像的美学质量进行判断。同时，与Wang的方法相比，在Animal，Human，Plant，Static以及总体这六类图像上都有着明显的性能提升，而在Landscape类上也取得了与之相近的效果。在Architecture类的图像上性能相差较多，可能的原因是对数据集进行处理时，旋转图像使得该类图像中引入了太多的噪声，从而使得网络无法学习到正确的美学信息，从而导致性能提升较小。

简而言之，本发明公开的基于双通道深度并行卷积网络的图像质量分类方法，解决了人工构建质量特征的困难以及卷积神经网络输入归一化丢失图像细节信息的问题。其实现步骤为：1.选取图像样本；2.构建训练图像数据集；3.搭建双通道深度并行卷积网络；4.对训练数据集进行数据预处理；5.训练双通道深度并行卷积网络；6.对待测试图像进行数据预处理；7.给出图像质量分类结果。本发明设计了一种新的双通道深度并行卷积网络，该网络的双通道分别输入全局图像和局部图像，综合考虑图像的全局信息和细节信息，同时针对输入的全局图像，设计了一个并行卷积结构，能够消除图像语义信息对图像质量分类的影响，可实现全面、合理和精细的图像质量分类。该方法很容易通过软件实现，本发明可广泛应用推广到计算机视觉、图像美学质量评价中。

Claims (6)

1.一种基于双通道深度并行卷积网络的图像质量分类方法，其特征在于，具体包括如下步骤：

(1)选取图像样本：选取图像质量评价相关领域的数据库中的所有图像，作为实验数据，即图像样本，数据库中共有M类不同内容的图像，每一类图像中都包含有高质量图像样本和低质量图像样本；

(2)构建训练数据集：从图像样本中选取训练数据集，对M类图像样本中的每一类都进行随机采样，所有采样得到的样本组成包含M类图像样本的训练数据集，作为网络训练时的输入数据集；

(3)搭建双通道深度并行卷积网络：搭建一个双通道深度并行卷积网络，该网络前端的双通道部分包含两个通道，分别对应图像的全局信息和局部信息，网络后端的合并通道部分将两个通道的输出合并，变为一个通道；并行卷积结构只存在于网络前端的双通道部分中的一个通道中，特点是能够针对不同语义内容的图像分别处理；

(4)对训练数据集进行数据预处理：数据预处理包括两种预处理方式，预处理后得到的图像块作为预处理结果，第一种预处理结果作为双通道深度并行卷积网络第一通道的输入，第二种预处理结果作为双通道深度并行卷积网络第二通道的输入；

(5)训练双通道深度并行卷积网络：

(5a)将经过预处理的训练数据集输入到双通道深度并行卷积网络，网络的输出即为训练数据集的预测质量类别；

(5b)利用交叉熵公式，计算训练数据集的预测质量类别与训练数据集的真实质量类别标签之间的交叉熵；

(5c)将交叉熵值作为双通道深度并行卷积网络的代价值，对网络进行迭代训练，直到网络的代价值不再降低而且达到最大迭代次数时，网络训练完毕，得到训练好的双通道深度并行卷积网络；

(6)对待测试图像进行数据预处理：数据预处理同训练数据集的数据预处理，也包括两种预处理方式，第一种预处理结果作为双通道深度并行卷积网络第一通道的输入，第二种预处理结果作为双通道深度并行卷积网络第二通道的输入；

(7)给出图像质量分类结果：将经过预处理的待测试图像作为双通道深度并行卷积网络的输入，利用训练好的双通道深度并行卷积网络对输入图像进行计算，网络输出即为待测试图像的图像质量类别分类结果。

2.根据权利要求1所述的基于双通道深度并行卷积网络的图像质量分类方法，其特征在于，步骤(3)中所述的搭建双通道深度并行卷积网络，包括有如下步骤：

(3a)搭建一个七层的单通道深度卷积网络：具体结构为：

第一层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第二层为包含有卷积处理、池化处理和局部响应归一化处理的卷积层；第三层为进行卷积处理的卷积层；第四层为进行卷积处理的卷积层；第五层为全连接层；第六层为全连接层；第七层为全连接层；

(3b)搭建一个七层的单通道深度并行卷积网络：在另一个七层的单通道深度卷积网络中加入并行卷积结构,搭建一个七层的单通道深度并行卷积网络，具体结构为：

第四层为进行并行卷积处理的并行卷积层组，该并行卷积层组的结构为M个并行排列的卷积层，其中的每一个卷积层参数都是相同的，其余层与七层的单通道深度卷积网络的对应层相同；

(3c)将七层的单通道深度卷积网络和七层的单通道深度并行卷积网络进行合并，搭建成为一个双通道深度并行卷积网络，具体合并过程如下：

定义双通道深度并行卷积网络的第一通道为七层的单通道深度并行卷积网络的前五层；用于获取图像的全局信息；

定义双通道深度并行卷积网络的第二通道为七层的单通道深度卷积网络的前五层；用于获取图像的局部信息；

合并通道部分，包含两个全连接层，第一个全连接层将两个单通道的第五层的输出进行合并，合并后的结果作为第一个全连接层的输入，输出结果作为第二个全连接层的输入；第二个全连接层接受第一个全连接层的输出，第二个全连接层的输出结果作为双通道深度并行卷积网络最终的分类结果。

3.根据权利要求1所述的基于双通道深度并行卷积网络的图像质量分类方法，其特征在于，步骤(4)和步骤(6)中所述的两种数据预处理方式是指：

第一种预处理方式，首先对训练数据集或待测试图像的尺寸进行调整，将原始大小的训练数据集或待测试图像缩放为256*256大小的图像，然后从缩放后的图像上随机裁剪出一个大小为227*227的图像块，作为双通道深度并行卷积网络第一通道的输入图像；

第二种预处理方式，直接从原始大小的训练数据集或待测试图像上随机裁剪出一个大小为227*227的图像块，作为双通道深度并行卷积网络第二通道的输入图像。

4.根据权利要求1所述的基于双通道深度并行卷积网络的图像质量分类方法，其特征在于，步骤(5b)中所述交叉熵公式如下：

其中，C表示训练数据集的交叉熵值，N表示训练数据集中训练样本的总数，∑表示求和操作，x表示训练数据集中的图像，y表示训练数据集中图像的真实质量类别标签，a表示训练数据集中的图像经由双通道深度并行卷积网络计算得到的质量类别。

5.根据权利要求1所述的基于双通道深度并行卷积网络的图像质量分类方法，其特征在于，步骤(5)中所述的训练双通道深度并行卷积网络是采用随机梯度下降算法SGD进行网络的迭代训练，训练过程中使用基于自适应矩阵估计的优化算法Adam中的任意一种进行学习率的改变。

6.一种基于双通道深度并行卷积网络的图像质量分类方法的用途，将基于双通道深度并行卷积网络的图像质量分类方法用在图像的美学质量评价及分类上，其特征在于，通过对搭建的双通道深度并行卷积网络进行训练，得到图像美学质量评价网络，将原始图像输入到图像美学质量评价网络，经过美学特征提取和美学质量评价，得到图像的美学质量类别，实现对图像美学质量的评价，包括有如下步骤：

(1)选取美学图像样本：

样本使用美学质量评价领域的CUHKPQ数据库，该数据库共有7类不同内容的图像，每一类图像中都包含有高美学质量样本和低美学质量样本；

(2)生成训练数据集：

分别对7类图像样本进行随机采样，组成不同语义内容的训练数据集；

(3)搭建一个双通道深度并行卷积网络：

(3a)搭建一个七层的单通道深度卷积网络；

(3b)在单通道深度卷积网络中加入并行卷积结构,搭建一个单通道深度并行卷积网络；

(3c)将(3a)中的单通道深度卷积网络和(3b)中的通道深度并行卷积网络进行合并搭建一个双通道深度并行卷积网络；

(4)训练双通道并行深度卷积网络：

(4a)将训练数据集输入到双通道深度并行卷积网络中，其中单通道深度并行卷积网络中输入的数据为调整为固定大小的图像，另一通道中则输入对原图像进行随机裁剪得到的固定大小的图像块，得到训练数据集的网络预测美学类别；

(4b)利用交叉熵公式，计算训练数据集的网络预测美学类别与训练数据集中的图像美学标签之间的交叉熵；

(4c)将交叉熵值作为双通道并行深度卷积网络的代价值，对网络进行迭代训练，直到网络的代价值不再降低而且达到最大迭代次数时，得到训练好的双通道并行深度卷积网络；

(5)评价待测试图像的美学质量类别：

(5a)将7类图像中除去训练样本外的图片作为待测试图像；

(5b)将待测试图像的尺寸调整为256*256大小的图像，从调整后的图像上随机裁剪大小为227*227的图像块；

(5c)从待测试图像上随机裁剪大小为227*227的图像块；

(5d)将(5b)中得到的图像块作为双通道深度并行卷积网络中单通道深度并行卷积网络的输入，将(5c)中得到的图像块作为另一通道的输入，经过网络的计算，得到图像美学质量类别的预测值。