Nothing Special   »   [go: up one dir, main page]

CN114067006B - 一种基于离散余弦变换的屏幕内容图像质量评价方法 - Google Patents

一种基于离散余弦变换的屏幕内容图像质量评价方法 Download PDF

Info

Publication number
CN114067006B
CN114067006B CN202210047067.5A CN202210047067A CN114067006B CN 114067006 B CN114067006 B CN 114067006B CN 202210047067 A CN202210047067 A CN 202210047067A CN 114067006 B CN114067006 B CN 114067006B
Authority
CN
China
Prior art keywords
image
gradient
feature
gray
screen content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210047067.5A
Other languages
English (en)
Other versions
CN114067006A (zh
Inventor
余绍黔
鲁晓海
杨俊丰
刘利枚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Technology
Original Assignee
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Technology filed Critical Hunan University of Technology
Priority to CN202210047067.5A priority Critical patent/CN114067006B/zh
Publication of CN114067006A publication Critical patent/CN114067006A/zh
Application granted granted Critical
Publication of CN114067006B publication Critical patent/CN114067006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开了一种基于离散余弦变换的屏幕内容图像质量评价方法，包括：将失真屏幕内容图像进行色彩空间转换，分离出灰度分量和彩色分量；彩色分量特征提取；灰度分量特征提取；根据彩色分量提取的统计特征、以及灰度分量提取的方向梯度直方图特征、均值特征、梯度特征和方差特征，得到图像特征向量，将图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型；将待测的失真屏幕内容图像输入至训练完成的随机森林模型中，输出失真屏幕内容图像的质量分数；该方法采用无参考的方式将屏幕内容图像的彩色分量和灰度分量相关特征相融合，进而进行高精度图像质量评价。

Description

一种基于离散余弦变换的屏幕内容图像质量评价方法
技术领域
本发明属于无参考的屏幕内容图像质量评价技术领域，尤其涉及一种基于离散余弦变换的屏幕内容图像质量评价方法。
背景技术
图像质量评价方法在优化图像处理系统参数、比较图像处理算法性能优劣、评判图像压缩传输失真程度等方面时具有重要意义。评价方法中无参考型图像质量评价方法由于不需要参考图像，仅根据失真图像就可以评估图像质量，更适用于实际情况中复杂的应用场景。针对屏幕内容图像的无参考评价是当前研究的热点，相比于自然图像，屏幕内容图像有更多的线条和快速变化的边缘，颜色变化较快，一般都以图文并茂的形式出现；且现有的图像质量评价方法均将RGB色彩空间的图像转换成灰度图像，然后提取其空间域或变换域中的统计特征，但在RGB图像灰度化过程中存在计算误差和原数据一致性的丢失，会造成提取的统计特征不能完全反映不同类型的失真图像或不同失真程度的图像。
发明内容
本发明的目的在于克服上述现有技术中提取的统计特征不能完全反映不同类型的失真图像或不同失真程度的图像的不足，提供了一种将屏幕内容图像的彩色分量特征与灰度图像相关特征相融合的高精度图像质量评价方法，具体为一种基于离散余弦变换的屏幕内容图像质量评价方法。
本发明提供了一种基于离散余弦变换的屏幕内容图像质量评价方法，包括：
S1：将失真屏幕内容图像进行色彩空间转换，分离出灰度分量和彩色分量；
S2：彩色分量特征提取，提取彩色分量的去均值对比度归一化系数，进而提取去均值对比度归一化系数的特征，得到统计特征；
S3：灰度分量特征提取，基于灰度分量得到灰度图，对灰度图进行离散余弦变换，得到文本图像和自然图像；根据自然图像得到方向梯度直方图特征和均值特征，根据文本图像得到梯度特征和方差特征；
S4：根据统计特征、方向梯度直方图特征、均值特征、梯度特征和方差特征，得到图像特征向量，采用随机森林算法将图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型；
S5：将待测的失真屏幕内容图像输入至训练完成的随机森林模型中，输出失真屏幕内容图像的质量分数。
优选的，S1中，将彩色的失真屏幕内容图像进行色彩空间转换，由RGB色彩空间转换成YIQ色彩空间，并引入色度信息，通过YIQ色彩空间分离出失真屏幕内容图像的灰度分量和彩色分量，在YIQ色彩空间中，Y通道包括亮度信息，即灰度分量；I通道、Q通道包括色彩饱和度信息，即彩色分量。
优选的，RGB色彩空间与YIQ色彩空间的转换公式为：
Figure 765976DEST_PATH_IMAGE001
。
优选的，S2中，采用广义高斯分布模型对去均值对比度归一化系数进行拟合，通过矩匹配法提取形状参数和均方差，同时提取出去均值对比度归一化系数的峰度特征和偏度特征，根据形状参数、均方差、峰度特征和偏度特征，得到统计特征。
优选的，S3中，得到自然图像和文本图像的过程为：基于灰度分量得到灰度图，并对灰度图进行离散余弦变换，得到离散余弦变换系数，根据空间频率和离散余弦变换系数将灰度图分为高频区域、中频区域和低频区域；高频区域和低频区域包括自然图像区域特征，对高频区域和低频区域进行逆离散余弦变换，得到具有自然图像区域特征的自然图像；中频区域包括文本区域特征，对中频区域进行逆离散余弦变换，得到具有文本区域特征的文本图像。
优选的，S3中，得到方向梯度直方图特征和均值特征的过程为：
首先计算灰度图的高频区域的像素梯度，对灰度图
Figure 347392DEST_PATH_IMAGE002
中一维的水平方向模板
Figure 232172DEST_PATH_IMAGE003
和垂直方向模板
Figure 30364DEST_PATH_IMAGE004
做卷积计算，其次，计算灰度图的高频区域的像素点梯度，计算公式为：
Figure 760422DEST_PATH_IMAGE005
其中，
Figure 898143DEST_PATH_IMAGE006
是灰度图
Figure 688244DEST_PATH_IMAGE002
的高频区域中的点
Figure 239311DEST_PATH_IMAGE007
位置的像素值，
Figure 507481DEST_PATH_IMAGE008
表示水平方向的梯度幅度，
Figure 562025DEST_PATH_IMAGE009
表示垂直方向的梯度幅度，则点
Figure 726290DEST_PATH_IMAGE010
的梯度幅度为：
Figure 734960DEST_PATH_IMAGE011
点
Figure 806821DEST_PATH_IMAGE010
的梯度方向为：
Figure 247029DEST_PATH_IMAGE012
将灰度图
Figure 113354DEST_PATH_IMAGE002
的高频区域分解成多个块，每个块分成多个单元格，将块内每个点的梯度方向按角度分成T个区间，则落在第t个区间的梯度分量可表示为：
Figure 576697DEST_PATH_IMAGE013
在块内第t个区间的梯度强度和为：
Figure 186670DEST_PATH_IMAGE014
其中，
Figure 481385DEST_PATH_IMAGE015
表示块，
Figure 518611DEST_PATH_IMAGE016
表示单元格，t表示第t个区间；
进行块内归一化，得到方向梯度直方图特征，计算公式为：
Figure 265987DEST_PATH_IMAGE017
其中，H表示方向梯度直方图特征，
Figure 882913DEST_PATH_IMAGE018
为
Figure 268020DEST_PATH_IMAGE019
范式,
Figure 7306DEST_PATH_IMAGE020
为正数，h表示梯度强度和；将每个单元格中的方向梯度直方图特征进行连接，生成整幅灰度图
Figure 976399DEST_PATH_IMAGE021
的高频区域的方向梯度直方图特征；
采用平均值计算公式，得到灰度图的低频区域的均值特征，公式为：
Figure 928175DEST_PATH_IMAGE022
其中，M表示灰度图的低频区域的行，N表示灰度图的低频区域的列，
Figure 135165DEST_PATH_IMAGE023
，
Figure 514194DEST_PATH_IMAGE024
。
优选的，S3中，得到梯度特征和方差特征的过程为：
选用Sobel滤波器对灰度图的中频区域进行卷积，得到灰度图的中频区域的梯度特征，公式为：
Figure 236162DEST_PATH_IMAGE025
其中，
Figure 991629DEST_PATH_IMAGE026
表示灰度图的中频区域在位置索引
Figure 849863DEST_PATH_IMAGE027
处的梯度幅值，即梯度特征；
Figure 166837DEST_PATH_IMAGE028
表示卷积运算，
Figure 110523DEST_PATH_IMAGE029
表示图像像素值，
Figure 607363DEST_PATH_IMAGE030
表示Sobel滤波器的水平方向模板，
Figure 320104DEST_PATH_IMAGE031
表示Sobel滤波器的垂直方向模板，且定义如下：
Figure 572094DEST_PATH_IMAGE032
采用方差计算公式，得到方差特征，公式为：
Figure 3075DEST_PATH_IMAGE033
其中，
Figure 303607DEST_PATH_IMAGE034
，M表示灰度图的低频区域的行，N表示灰度图的低频区域的列，
Figure 28111DEST_PATH_IMAGE023
，
Figure 185423DEST_PATH_IMAGE024
。
优选的，S4中，根据统计特征、方向梯度直方图特征、均值特征、梯度特征和方差特征，得到图像特征向量，记为：
Figure 103700DEST_PATH_IMAGE035
其中，
Figure 739081DEST_PATH_IMAGE036
,
Figure 426414DEST_PATH_IMAGE037
分别为彩色分量I、彩色分量Q的形状参数；
Figure 41111DEST_PATH_IMAGE038
,
Figure 181106DEST_PATH_IMAGE039
分别为彩色分量I、彩色分量Q的均方差；
Figure 885756DEST_PATH_IMAGE040
,
Figure 427596DEST_PATH_IMAGE041
分别为彩色分量I、彩色分量Q的峰度特征；
Figure 926711DEST_PATH_IMAGE042
,
Figure 554001DEST_PATH_IMAGE043
分别为彩色分量I、彩色分量Q的偏度特征；
Figure 265605DEST_PATH_IMAGE044
为灰度图的高频区域的方向梯度直方图特征，
Figure 225733DEST_PATH_IMAGE045
为灰度图的低频区域的均值特征，
Figure 895749DEST_PATH_IMAGE046
为灰度图的中频区域的梯度，
Figure 213598DEST_PATH_IMAGE047
分别为灰度图的中频区域的方差特征；
采用随机森林算法将图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型。
优选的，训练随机森林模型的过程为：
步骤1：设置一个训练集，训练集中每个样本具有k维特征；
步骤2：采用自展法从训练集中抽取大小为n的数据集；
步骤3：在数据集中从k维特征中随机选择d维特征，通过决策树模型学习得到一颗决策树；
步骤4：重复执行步骤2、步骤3直至得到G棵决策树；输出训练完成的随机森林模型，记为：
Figure 994472DEST_PATH_IMAGE048
，其中，g表示决策树的序列，
Figure 510904DEST_PATH_IMAGE049
表示第g棵决策树，x表示像素点。
有益效果：本发明提供的这种方法采用无参考的方式将屏幕内容图像的彩色分量和灰度分量相关特征相融合，进而进行高精度图像质量评价，提取出的特征能够反映不同类型的失真图像或不同失真程度的图像；还通过提取自然图像和文本图像，得到方向梯度直方图特征、均值特征、梯度特征和方差特征，与统计特征相融合，得到图像特征向量，进而构建随机森林模型，计算屏幕内容图像的质量分数，适用于图文并茂的屏幕内容图像的质量评价。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施中一种基于离散余弦变换的屏幕内容图像质量评价方法的流程示意图。
具体实施方式
下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供了一种基于离散余弦变换的屏幕内容图像质量评价方法，该方法包括步骤：
S1：将彩色的失真屏幕内容图像进行色彩空间转换，由RGB色彩空间转换成YIQ色彩空间，并引入色度信息，通过YIQ色彩空间分离出失真屏幕内容图像的灰度分量和彩色分量，在YIQ色彩空间中，Y通道包括亮度信息，即灰度分量；I通道、Q通道包括色彩饱和度信息，即彩色分量；I通道表示色彩从橙色到青色的强度，Q通道表示色彩从紫色到黄绿色的强度，
RGB色彩空间与YIQ色彩空间的转换公式为：
Figure 351821DEST_PATH_IMAGE050
。
S2：彩色分量I、彩色分量Q特征提取，提取彩色分量I、彩色分量Q的去均值对比度归一化（MSCN）系数，去均值对比度归一化具有特征统计特性，这些特性很容易被失真改变，因此量化这些改变将有可能预测影响图像的失真类型以及它的感知质量，具体实施时，以大小为M×N的屏幕内容图像的彩色分量I为例，其MSCN系数的计算过程为：
Figure 219283DEST_PATH_IMAGE051
其中，
Figure 803848DEST_PATH_IMAGE023
，
Figure 174787DEST_PATH_IMAGE024
，
Figure 688070DEST_PATH_IMAGE052
为常数，通常取
Figure 511669DEST_PATH_IMAGE053
，为避免图像平坦区域
Figure 634346DEST_PATH_IMAGE054
趋于零时引起不稳定；
Figure 125370DEST_PATH_IMAGE055
和
Figure 308090DEST_PATH_IMAGE054
分别为彩色分量I的均值和方差，其计算公式为：
Figure 884565DEST_PATH_IMAGE056
Figure 810932DEST_PATH_IMAGE057
其中，
Figure 94146DEST_PATH_IMAGE058
是中心对称的高斯权函数，
Figure 713346DEST_PATH_IMAGE059
。
采用广义高斯分布（GGD）模型对去均值对比度归一化（MSCN）系数进行拟合，通过矩匹配法分别提取彩色分量I、彩色分量Q的形状参数和均方差，广义高斯分布（GGD）模型的表达式为：
Figure 13003DEST_PATH_IMAGE060
其中，
Figure 743062DEST_PATH_IMAGE061
Figure 943099DEST_PATH_IMAGE062
为gamma函数：
Figure 733200DEST_PATH_IMAGE063
同时提取出去均值对比度归一化（MSCN）系数的峰度特征（ku）和偏度特征（sk），这样每个分量对应有4个特征（分别为
Figure 753109DEST_PATH_IMAGE064
、
Figure 21279DEST_PATH_IMAGE065
、ku和sk），根据形状参数、均方差、峰度特征和偏度特征，得到8（4×2）维的统计特征，记为：
Figure 341402DEST_PATH_IMAGE066
；
其中，
Figure 36826DEST_PATH_IMAGE036
,
Figure 311074DEST_PATH_IMAGE037
分别为彩色分量I、彩色分量Q的形状参数；
Figure 586198DEST_PATH_IMAGE038
,
Figure 495248DEST_PATH_IMAGE039
分别为彩色分量I、彩色分量Q的均方差；
Figure 627152DEST_PATH_IMAGE040
,
Figure 621653DEST_PATH_IMAGE041
分别为彩色分量I、彩色分量Q的峰度特征；
Figure 762784DEST_PATH_IMAGE042
,
Figure 791920DEST_PATH_IMAGE043
分别为彩色分量I、彩色分量Q的偏度特征。
S3：灰度分量特征提取，基于灰度分量得到灰度图，由于空间对比敏感度函数（Contrast Sensitivity Function,CSF）是人类视觉系统的重要视觉特征，对图像不同的失真有着不同的视觉铭感度，故本实施例对灰度图进行离散余弦变换（DCT），将灰度图分为高频区域、中频区域和低频区域；
具体实施时，首先设灰度图的大小为
Figure 829146DEST_PATH_IMAGE067
，
Figure 576522DEST_PATH_IMAGE068
为灰度图中坐标为
Figure 193449DEST_PATH_IMAGE069
的灰度值，
Figure 578556DEST_PATH_IMAGE070
为离散余弦变换（DCT）后的系数，所有的
Figure 52262DEST_PATH_IMAGE070
系数值构成离散余弦变换系数矩阵，离散余弦变换的公式为：
Figure 21355DEST_PATH_IMAGE071
Figure 238710DEST_PATH_IMAGE072
其中，
Figure 976859DEST_PATH_IMAGE073
；
根据高频区域、中频区域和低频区域，得到文本图像和自然图像；根据自然图像得到方向梯度直方图（HOG）特征和均值特征，根据文本图像得到梯度特征和方差特征；
具体的，由于屏幕内容图像的文本区域和图像区域带给人的视觉感知特性是不同的，特别是当屏幕内容图像遭受失真的时候，因此本实施例将屏幕内容图像分为文字部分和自然图像部分；
具体实施时，得到自然图像和文本图像的过程为：基于灰度分量得到失真屏幕内容图像的灰度图，并对灰度图进行离散余弦变换，得到离散余弦变换系数，根据空间频率和离散余弦变换系数将灰度图分为高频区域、中频区域和低频区域；高频区域和低频区域包括自然图像区域特征，对高频区域和低频区域进行逆离散余弦变换（IDCT），得到具有自然图像区域特征的自然图像；中频区域包括文本区域特征，对中频区域进行逆离散余弦变换（IDCT），得到具有文本区域特征的文本图像；
逆离散余弦变换（IDCT）的公式为：
Figure 824729DEST_PATH_IMAGE074
Figure 281118DEST_PATH_IMAGE075
将不同频域的系数
Figure 302164DEST_PATH_IMAGE076
代入上述公式，则得到相应逆变换分区图像；
得到方向梯度直方图（HOG）特征和均值特征的过程为：
首先计算灰度图的高频区域的像素梯度，对灰度图
Figure 160399DEST_PATH_IMAGE077
中一维的水平方向模板
Figure 477373DEST_PATH_IMAGE078
和垂直方向模板
Figure 358741DEST_PATH_IMAGE079
做卷积计算，其次，计算灰度图的高频区域的像素点梯度，计算公式为：
Figure 917898DEST_PATH_IMAGE080
其中，
Figure 630639DEST_PATH_IMAGE081
是灰度图
Figure 882629DEST_PATH_IMAGE077
的高频区域中的点
Figure 313611DEST_PATH_IMAGE082
位置的像素值，
Figure 614142DEST_PATH_IMAGE083
表示水平方向的梯度幅度，
Figure 181390DEST_PATH_IMAGE084
表示垂直方向的梯度幅度，则点
Figure 338701DEST_PATH_IMAGE069
的梯度幅度为：
Figure 256979DEST_PATH_IMAGE085
点
Figure 659404DEST_PATH_IMAGE069
的梯度方向为：
Figure 346737DEST_PATH_IMAGE086
将灰度图
Figure 878212DEST_PATH_IMAGE077
的高频区域分解成U×V个块（Block），每个块（Block）分成s×s个单元格（Cell），为描述灰度图
Figure 18207DEST_PATH_IMAGE021
的局部特征，对每个块（Block）内的梯度信息进行单独统计，先将块内每个点的梯度方向
Figure 457278DEST_PATH_IMAGE087
按角度分成T个区间，则落在第t个区间的梯度分量可表示为：
Figure 999118DEST_PATH_IMAGE088
在块内第t个区间的梯度强度和为：
Figure 763812DEST_PATH_IMAGE089
其中，
Figure 391102DEST_PATH_IMAGE090
表示块，
Figure 837127DEST_PATH_IMAGE091
表示单元格，t表示第t个区间；
进行块内归一化，得到方向梯度直方图（HOG）特征，计算公式为：
Figure 499052DEST_PATH_IMAGE092
其中，H表示方向梯度直方图（HOG）特征，
Figure 682252DEST_PATH_IMAGE093
为
Figure 796838DEST_PATH_IMAGE019
范式（
Figure 843292DEST_PATH_IMAGE019
范式是指向量中各元素绝对值之和）,h表示梯度强度和，
Figure 359724DEST_PATH_IMAGE020
为较小的正数；将每个单元格（Cell）组合成大的、空间上连通的区域，这样一个块（Block）内全部的单元格（Cell）的特征向量串联起来变得到该块（Block）的方向梯度直方图（HOG）特征，由于单元格（Cell）组合的区间时重叠的， 每个单元格（Cell）的特征会以不同的结果多次出现在最后特征向量中，故需要对其进行归一化，使得归一化后每个方向梯度直方图（HOG）特征可以被其所属的块（Block）、单元格（Cell）和梯度方向区间t唯一确定；将每个单元格（Cell）中的方向梯度直方图（HOG）特征进行连接，生成整幅灰度图
Figure 403903DEST_PATH_IMAGE021
的高频区域的方向梯度直方图（HOG）特征；
均值能够有效表示失真屏幕内容图像整体的信号强度大小，选取平均值作为特征，可有效表示失真屏幕内容图像收到噪声影响下纹理区域的变化情况，故采用平均值计算公式，得到灰度图的低频区域的均值特征，公式为：
Figure 740207DEST_PATH_IMAGE022
其中，M表示灰度图的低频区域的行，N表示灰度图的低频区域的列，
Figure 590351DEST_PATH_IMAGE023
，
Figure 961289DEST_PATH_IMAGE024
；
得到梯度特征和方差特征的过程为：
选用Sobel滤波器对灰度图的中频区域进行卷积，得到灰度图的中频区域的梯度特征，公式为：
Figure 973108DEST_PATH_IMAGE025
其中，
Figure 563751DEST_PATH_IMAGE026
表示灰度图的中频区域在位置索引
Figure 889690DEST_PATH_IMAGE027
处的梯度幅值，即梯度特征；
Figure 380715DEST_PATH_IMAGE028
表示卷积运算，
Figure 829013DEST_PATH_IMAGE029
表示图像像素值，
Figure 139909DEST_PATH_IMAGE030
表示Sobel滤波器的水平方向模板，
Figure 66277DEST_PATH_IMAGE031
表示Sobel滤波器的垂直方向模板，且定义如下：
Figure 615070DEST_PATH_IMAGE032
方差能有效表示数据的离散程度，进而表示失真屏幕内容图像的对比度，且方差值越大则表示对比度越大，不同噪声类型对对比度有着不同程度的影响，进而对结构部分有所影响，故采用方差计算公式，得到方差特征，公式为：
Figure 968691DEST_PATH_IMAGE033
其中，
Figure 32462DEST_PATH_IMAGE034
，M表示灰度图的低频区域的行，N表示灰度图的低频区域的列，
Figure 762520DEST_PATH_IMAGE023
，
Figure 464022DEST_PATH_IMAGE024
。
S4：根据统计特征、方向梯度直方图（HOG）特征、均值特征、梯度特征和方差特征，得到图像特征向量，记为：
Figure 988545DEST_PATH_IMAGE035
其中，
Figure 274032DEST_PATH_IMAGE036
,
Figure 11044DEST_PATH_IMAGE037
分别为彩色分量I、彩色分量Q的形状参数；
Figure 65588DEST_PATH_IMAGE038
,
Figure 761011DEST_PATH_IMAGE039
分别为彩色分量I、彩色分量Q的均方差；
Figure 894315DEST_PATH_IMAGE040
,
Figure 966176DEST_PATH_IMAGE041
分别为彩色分量I、彩色分量Q的峰度特征；
Figure 609647DEST_PATH_IMAGE042
,
Figure 7130DEST_PATH_IMAGE043
分别为彩色分量I、彩色分量Q的偏度特征；
Figure 1631DEST_PATH_IMAGE044
为灰度图的高频区域的方向梯度直方图特征，
Figure 877183DEST_PATH_IMAGE045
为灰度图的低频区域的均值特征，
Figure 640740DEST_PATH_IMAGE046
为灰度图的中频区域的梯度，
Figure 146808DEST_PATH_IMAGE047
分别为灰度图的中频区域的方差特征；
采用随机森林算法将图像特征向量与失真屏幕内容图像的平均意见得分（MOS）值建立回归映射关系，构建随机森林模型，并训练随机森林模型；
其中，训练随机森林模型的过程为：
步骤1：设置一个训练集，训练集记为：
Figure 628604DEST_PATH_IMAGE094
，训练集中每个样本具有k维特征；
步骤2：采用自展法（Bootstrap）从训练集
Figure 543733DEST_PATH_IMAGE095
中抽取大小为n的数据集
Figure 692955DEST_PATH_IMAGE096
；
步骤3：在数据集中从k维特征中随机选择d维特征，通过决策树模型学习得到一颗决策树；
步骤4：重复执行步骤2、步骤3直至得到G棵决策树；输出训练完成的随机森林模型，记为：
Figure 166661DEST_PATH_IMAGE048
，其中，g表示决策树的序列，
Figure 135754DEST_PATH_IMAGE049
表示第g棵决策树，x表示像素点。
S5：将待测的失真屏幕内容图像输入至训练完成的随机森林模型中，输出失真屏幕内容图像的质量分数。
本实施例提供的这种基于离散余弦变换的屏幕内容图像质量评价方法具有以下有益效果：
该方法采用无参考的方式将屏幕内容图像的彩色分量和灰度分量相关特征相融合，进而进行高精度图像质量评价，提取出的特征能够反映不同类型的失真图像或不同失真程度的图像；还通过提取自然图像和文本图像，得到方向梯度直方图特征、均值特征、梯度特征和方差特征，与统计特征相融合，得到图像特征向量，进而构建随机森林模型，计算屏幕内容图像的质量分数，适用于图文并茂的屏幕内容图像的质量评价。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于离散余弦变换的屏幕内容图像质量评价方法，其特征在于，包括：
S1：将失真屏幕内容图像进行色彩空间转换，分离出灰度分量和彩色分量；
S2：彩色分量特征提取，提取彩色分量的去均值对比度归一化系数，进而提取去均值对比度归一化系数的特征，得到统计特征；
S3：灰度分量特征提取，基于灰度分量得到灰度图，对灰度图进行离散余弦变换，得到文本图像和自然图像；根据自然图像得到方向梯度直方图特征和均值特征，根据文本图像得到梯度特征和方差特征；
S4：根据统计特征、方向梯度直方图特征、均值特征、梯度特征和方差特征，得到图像特征向量，采用随机森林算法将图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型；
S5：将待测的失真屏幕内容图像输入至训练完成的随机森林模型中，输出失真屏幕内容图像的质量分数。
2.根据权利要求1所述的一种基于离散余弦变换的屏幕内容图像质量评价方法，其特征在于，S1中，将彩色的失真屏幕内容图像进行色彩空间转换，由RGB色彩空间转换成YIQ色彩空间，并引入色度信息，通过YIQ色彩空间分离出失真屏幕内容图像的灰度分量和彩色分量，在YIQ色彩空间中，Y通道包括亮度信息，即灰度分量；I通道、Q通道包括色彩饱和度信息，即彩色分量。
3.根据权利要求2所述的一种基于离散余弦变换的屏幕内容图像质量评价方法，其特征在于，RGB色彩空间与YIQ色彩空间的转换公式为：
Figure 343176DEST_PATH_IMAGE001
。
4.根据权利要求3所述的一种基于离散余弦变换的屏幕内容图像质量评价方法，其特征在于，S2中，采用广义高斯分布模型对去均值对比度归一化系数进行拟合，通过矩匹配法提取形状参数和均方差，同时提取出去均值对比度归一化系数的峰度特征和偏度特征，根据形状参数、均方差、峰度特征和偏度特征，得到统计特征。
5.根据权利要求4所述的一种基于离散余弦变换的屏幕内容图像质量评价方法，其特征在于，S3中，得到自然图像和文本图像的过程为：基于灰度分量得到失真屏幕内容图像的灰度图，并对灰度图进行离散余弦变换，得到离散余弦变换系数，根据空间频率和离散余弦变换系数将灰度图分为高频区域、中频区域和低频区域；高频区域和低频区域包括自然图像区域特征，对高频区域和低频区域进行逆离散余弦变换，得到具有自然图像区域特征的自然图像；中频区域包括文本区域特征，对中频区域进行逆离散余弦变换，得到具有文本区域特征的文本图像。
6.根据权利要求5所述的一种基于离散余弦变换的屏幕内容图像质量评价方法，其特征在于，S3中，得到方向梯度直方图特征和均值特征的过程为：
首先计算灰度图的高频区域的像素梯度，对灰度图
Figure 81325DEST_PATH_IMAGE002
中一维的水平方向模板
Figure 725932DEST_PATH_IMAGE003
和垂直方向模板
Figure 182322DEST_PATH_IMAGE004
做卷积计算，其次，计算灰度图的高频区域的像素点梯度，计算公式为：
Figure 203367DEST_PATH_IMAGE005
其中，
Figure 61602DEST_PATH_IMAGE006
是灰度图
Figure 611532DEST_PATH_IMAGE002
的高频区域中的点
Figure 56682DEST_PATH_IMAGE007
位置的像素值，
Figure 615839DEST_PATH_IMAGE008
表示水平方向的梯度幅度，
Figure 531843DEST_PATH_IMAGE009
表示垂直方向的梯度幅度，则点
Figure 49412DEST_PATH_IMAGE010
的梯度幅度为：
Figure 480393DEST_PATH_IMAGE011
点
Figure 577662DEST_PATH_IMAGE010
的梯度方向为：
Figure 410489DEST_PATH_IMAGE012
将灰度图
Figure 771063DEST_PATH_IMAGE002
的高频区域分解成多个块，每个块分成多个单元格，将块内每个点的梯度方向按角度分成T个区间，则落在第t个区间的梯度分量可表示为：
Figure 423761DEST_PATH_IMAGE013
在块内第t个区间的梯度强度和为：
Figure 814467DEST_PATH_IMAGE014
其中，
Figure 501800DEST_PATH_IMAGE015
表示块，
Figure 95593DEST_PATH_IMAGE016
表示单元格，t表示第t个区间；
进行块内归一化，得到方向梯度直方图特征，计算公式为：
Figure 235587DEST_PATH_IMAGE017
其中，H表示方向梯度直方图特征，
Figure 877921DEST_PATH_IMAGE018
为
Figure DEST_PATH_IMAGE019
范式,
Figure 950919DEST_PATH_IMAGE020
为正数，h表示梯度强度和；将每个单元格中的方向梯度直方图特征进行连接，生成整幅灰度图
Figure 715613DEST_PATH_IMAGE021
的高频区域的方向梯度直方图特征；
采用平均值计算公式，得到灰度图的低频区域的均值特征，公式为：
Figure 342903DEST_PATH_IMAGE022
其中，M表示灰度图的低频区域的行，N表示灰度图的低频区域的列，
Figure 788928DEST_PATH_IMAGE023
，
Figure 686739DEST_PATH_IMAGE024
。
7.根据权利要求6所述的一种基于离散余弦变换的屏幕内容图像质量评价方法，其特征在于，S3中，得到梯度特征和方差特征的过程为：
选用Sobel滤波器对灰度图的中频区域进行卷积，得到灰度图的中频区域的梯度特征，公式为：
Figure 356755DEST_PATH_IMAGE025
其中，
Figure 736921DEST_PATH_IMAGE026
表示灰度图的中频区域在位置索引
Figure 783374DEST_PATH_IMAGE027
处的梯度幅值，即梯度特征；
Figure 34227DEST_PATH_IMAGE028
表示卷积运算，
Figure 78406DEST_PATH_IMAGE029
表示图像像素值，
Figure 680289DEST_PATH_IMAGE030
表示Sobel滤波器的水平方向模板，
Figure 264854DEST_PATH_IMAGE031
表示Sobel滤波器的垂直方向模板，且定义如下：
Figure 901372DEST_PATH_IMAGE032
采用方差计算公式，得到方差特征，公式为：
Figure 414655DEST_PATH_IMAGE033
其中，
Figure 503834DEST_PATH_IMAGE034
，M表示灰度图的低频区域的行，N表示灰度图的低频区域的列，
Figure 829773DEST_PATH_IMAGE023
，
Figure 55218DEST_PATH_IMAGE024
。
8.根据权利要求7所述的一种基于离散余弦变换的屏幕内容图像质量评价方法，其特征在于，S4中，根据统计特征、方向梯度直方图特征、均值特征、梯度特征和方差特征，得到图像特征向量，记为：
Figure 503517DEST_PATH_IMAGE035
其中，
Figure 79992DEST_PATH_IMAGE036
,
Figure 6359DEST_PATH_IMAGE037
分别为彩色分量I、彩色分量Q的形状参数；
Figure 351890DEST_PATH_IMAGE038
,
Figure 908773DEST_PATH_IMAGE039
分别为彩色分量I、彩色分量Q的均方差；
Figure 706965DEST_PATH_IMAGE040
,
Figure 204068DEST_PATH_IMAGE041
分别为彩色分量I、彩色分量Q的峰度特征；
Figure 404105DEST_PATH_IMAGE042
,
Figure 928627DEST_PATH_IMAGE043
分别为彩色分量I、彩色分量Q的偏度特征；
Figure 214115DEST_PATH_IMAGE044
为灰度图的高频区域的方向梯度直方图特征，
Figure 685548DEST_PATH_IMAGE045
为灰度图的低频区域的均值特征，
Figure 740091DEST_PATH_IMAGE046
为灰度图的中频区域的梯度，
Figure 701094DEST_PATH_IMAGE047
分别为灰度图的中频区域的方差特征；
采用随机森林算法将图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型。
9.根据权利要求8所述的一种基于离散余弦变换的屏幕内容图像质量评价方法，其特征在于，训练随机森林模型的过程为：
步骤1：设置一个训练集，训练集中每个样本具有k维特征；
步骤2：采用自展法从训练集中抽取大小为n的数据集；
步骤3：在数据集中从k维特征中随机选择d维特征，通过决策树模型学习得到一颗决策树；
步骤4：重复执行步骤2、步骤3直至得到G棵决策树；输出训练完成的随机森林模型，记为：
Figure 473878DEST_PATH_IMAGE048
，其中，g表示决策树的序列，
Figure 545739DEST_PATH_IMAGE049
表示第g棵决策树，x表示像素点。
CN202210047067.5A 2022-01-17 2022-01-17 一种基于离散余弦变换的屏幕内容图像质量评价方法 Active CN114067006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210047067.5A CN114067006B (zh) 2022-01-17 2022-01-17 一种基于离散余弦变换的屏幕内容图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210047067.5A CN114067006B (zh) 2022-01-17 2022-01-17 一种基于离散余弦变换的屏幕内容图像质量评价方法

Publications (2)

Publication Number Publication Date
CN114067006A CN114067006A (zh) 2022-02-18
CN114067006B true CN114067006B (zh) 2022-04-08

Family

ID=80231397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210047067.5A Active CN114067006B (zh) 2022-01-17 2022-01-17 一种基于离散余弦变换的屏幕内容图像质量评价方法

Country Status (1)

Country Link
CN (1) CN114067006B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926461A (zh) * 2022-07-19 2022-08-19 湖南工商大学 一种全盲屏幕内容图像质量评价方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049851A (zh) * 2015-07-06 2015-11-11 浙江理工大学 基于色彩感知的通用无参考图像质量评价方法
CN105654142A (zh) * 2016-01-06 2016-06-08 上海大学 基于自然场景统计的无参考立体图像质量评价方法
CN107123122A (zh) * 2017-04-28 2017-09-01 深圳大学 无参考图像质量评价方法及装置
CN107481238A (zh) * 2017-09-20 2017-12-15 众安信息技术服务有限公司 图像质量评估方法及装置
CN107507166A (zh) * 2017-07-21 2017-12-22 华侨大学 一种基于支持向量回归的无参考屏幕图像质量评估方法
CN108171704A (zh) * 2018-01-19 2018-06-15 浙江大学 一种基于激励响应的无参考图像质量评价方法
CN108830823A (zh) * 2018-03-14 2018-11-16 西安理工大学 基于空域结合频域分析的全参考型图像质量评价方法
CN109523506A (zh) * 2018-09-21 2019-03-26 浙江大学 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法
CN109886945A (zh) * 2019-01-18 2019-06-14 嘉兴学院 基于对比度增强的无参考对比度失真图像质量评价方法
CN109978854A (zh) * 2019-03-25 2019-07-05 福州大学 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN110120034A (zh) * 2019-04-16 2019-08-13 西安理工大学 一种与视觉感知相关的图像质量评价方法
CN110400293A (zh) * 2019-07-11 2019-11-01 兰州理工大学 一种基于深度森林分类的无参考图像质量评价方法
CN111047618A (zh) * 2019-12-25 2020-04-21 福州大学 基于多尺度的无参考屏幕内容图像质量评估方法
CN113610862A (zh) * 2021-07-22 2021-11-05 东华理工大学 一种屏幕内容图像质量评估方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997585A (zh) * 2016-01-22 2017-08-01 同方威视技术股份有限公司 成像系统及图像质量评价方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049851A (zh) * 2015-07-06 2015-11-11 浙江理工大学 基于色彩感知的通用无参考图像质量评价方法
CN105654142A (zh) * 2016-01-06 2016-06-08 上海大学 基于自然场景统计的无参考立体图像质量评价方法
CN107123122A (zh) * 2017-04-28 2017-09-01 深圳大学 无参考图像质量评价方法及装置
CN107507166A (zh) * 2017-07-21 2017-12-22 华侨大学 一种基于支持向量回归的无参考屏幕图像质量评估方法
CN107481238A (zh) * 2017-09-20 2017-12-15 众安信息技术服务有限公司 图像质量评估方法及装置
CN108171704A (zh) * 2018-01-19 2018-06-15 浙江大学 一种基于激励响应的无参考图像质量评价方法
CN108830823A (zh) * 2018-03-14 2018-11-16 西安理工大学 基于空域结合频域分析的全参考型图像质量评价方法
CN109523506A (zh) * 2018-09-21 2019-03-26 浙江大学 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法
CN109886945A (zh) * 2019-01-18 2019-06-14 嘉兴学院 基于对比度增强的无参考对比度失真图像质量评价方法
CN109978854A (zh) * 2019-03-25 2019-07-05 福州大学 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN110120034A (zh) * 2019-04-16 2019-08-13 西安理工大学 一种与视觉感知相关的图像质量评价方法
CN110400293A (zh) * 2019-07-11 2019-11-01 兰州理工大学 一种基于深度森林分类的无参考图像质量评价方法
CN111047618A (zh) * 2019-12-25 2020-04-21 福州大学 基于多尺度的无参考屏幕内容图像质量评估方法
CN113610862A (zh) * 2021-07-22 2021-11-05 东华理工大学 一种屏幕内容图像质量评估方法

Also Published As

Publication number Publication date
CN114067006A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN103996192B (zh) 基于高质量自然图像统计量模型的无参考图像质量评价方法
CN110046673A (zh) 基于多特征融合的无参考色调映射图像质量评价方法
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN104361574B (zh) 一种基于稀疏表示的无参考彩色图像质量评价方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN110717892B (zh) 一种色调映射图像质量评价方法
CN110120034B (zh) 一种与视觉感知相关的图像质量评价方法
CN112184672A (zh) 一种无参考图像质量评价方法及系统
CN111062331B (zh) 图像的马赛克检测方法、装置、电子设备及存储介质
CN113192003B (zh) 一种拼接图像质量评价方法
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN105761292A (zh) 一种基于颜色转移和修正的图像着色方法
CN114067006B (zh) 一种基于离散余弦变换的屏幕内容图像质量评价方法
CN112132774A (zh) 一种色调映射图像的质量评价方法
CN112508847A (zh) 一种基于深度特征与结构加权lbp特征的图像质量评价方法
Fu et al. Screen content image quality assessment using Euclidean distance
CN112950479B (zh) 一种图像灰度区域拉伸算法
CN116402802A (zh) 一种基于颜色空间多特征融合的水下图像质量评价方法
CN116563133A (zh) 基于模拟曝光和多尺度融合的低照度彩色图像增强方法
CN115861349A (zh) 基于约简概念结构元素和矩阵序的彩色图像边缘提取方法
CN115564647A (zh) 一种用于图像语义分割的新型超分模块和上采样方法
CN103077396B (zh) 一种彩色图像的向量空间特征点提取方法及装置
CN114219863A (zh) 基于重建开操作的印章检测方法、存储介质及电子设备
CN108171704B (zh) 一种基于激励响应的无参考图像质量评价方法
CN113099215B (zh) 一种卡通图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant