CN114511469A - 一种图像智能降噪先验检测方法 - Google Patents

Abstract

本发明公开了一种图像智能降噪先验检测方法，在降噪流水线的最前端增加先验检测，对输入的图像数据首先进行先验检测处理，处理结果用于后续的降噪和增强处理环节；先验检测处理包括亮度检测、亮度均值矫正、坏点检测、色差检测、边缘检测、噪声检测、运动检测；后续的降噪和增强处理环节包括坏点纠正、空域降噪、色差矫正、时域降噪、去马赛克、平滑和锐化增强。本发明采用硬件和软件资源可复用的架构对降噪和增强过程中需要的图像特征参数进行集中采集和综合计算分析，后续降噪和增强环节需要利用的参数从先验检测装置中读取。

Description

一种图像智能降噪先验检测方法

技术领域

本发明涉及一种数字图像处理方法，尤其涉及一种图像降噪和增强处理方法。

背景技术

数字图像采集是利用摄像头等传感器将光信号转化成电信号并用数字形式进行存储、传输和显示，数字图像处理是将采集的数字图像针对使用目的和场景进行处理优化，其中常见的方法包括：图像增强和复原、图像编码压缩、图像描述等。

噪声在图像上常表现为引起较强视觉效果的孤立像素点或像素块。一般，噪声以无用的信息形式出现，扰乱图像的可观测信息。噪声来源于三个方面：第一，图像采集过程中，图像传感器CCD和CMOS由于受传感器材料属性、工作环境、电子元器件和电路结构等影响，会引入各种噪声，如电阻引起的热噪声、场效应管的沟道热噪声、光子噪声、暗电流噪声、光响应非均匀性噪声。第二，图像信号传输过程中由于传输介质和记录设备等的不完善，数字图像在其传输记录过程中往往会受到多种噪声的污染。第三，在图像处理的某些环节，当输入的对象并不如预想时或者由于算法本身的局限，都会在结果图像中引入噪声。

噪声对肉眼观测图像和机器识别图像都有较大影响，于是降噪和增强装置在图像处理的硬件和软件中具有重要作用。如图1所示，一般的降噪和增强模块包括坏点纠正、空域降噪、色差矫正、时域降噪、去马赛克、平滑和锐化增强等先后环节，构成了降噪流水线。在流水线的每一步环节，都需要先对每一帧图像某种维度的特征的采集和计算，然后根据特征情况采用不同的算法强度，以实现“针对性”、“自适应”的降噪效果。比如，在时域降噪之前，就需要计算本帧图片相对于前一帧图片的运动向量，基于运动向量对本帧图片进行时域降噪，否则就会出现“拖影”等现象，影响降噪效果。

但是，这种在每一个降噪流水线环节分别进行特征检测的做法有较大弊端，第一，因为每一降噪环节都会对图像像素进行改变，当前的某一个环节做的特征检测无法准确描述输入图像的“原始”的信息，而这些信息对于当前环节降噪具有指导意义。第二，不同环节的特征之间可能存在相关关联，分别检测就无法做到整体考虑。第三，每个环节独立做特征检测，意味着每一次都对所有像素进行读取和计算，需要占用较大的硬件和软件资源，无法做到资源复用。

发明内容

发明目的：针对上述现有技术，提出一种图像智能降噪先验检测方法，改进现有方法存在的检测误差、参数孤立、资源利用率低的问题。

技术方案：一种图像智能降噪先验检测方法，对输入的图像数据首先进行先验检测处理，处理结果用于后续的降噪和增强处理环节；所述先验检测处理包括亮度检测、亮度均值矫正、坏点检测、色差检测、边缘检测、噪声检测、运动检测；所述后续的降噪和增强处理环节包括坏点纠正、空域降噪、色差矫正、时域降噪、去马赛克、平滑和锐化增强；

所述亮度检测：遍历所有像素，得到各像素的亮度值以及亮度均值数据；

所述亮度均值矫正：当所述亮度均值大于上限阈值时，将所有像素乘以权值，使得处理后的亮度均值等于上限阈值；当所述亮度均值小于下限阈值时，将所有像素乘以权值，使得处理后的亮度均值等于下限阈值；

所述坏点检测：遍历所有像素，根据各像素和周边8个像素均值的差值进行判断，将差值大于坏点阈值的像素坐标加入疑似坏点集合；所述疑似坏点集合用于所述坏点纠正；

所述色差检测：遍历所有像素，计算各像素和周边四个同色彩像素的标准差；所述色差检测的结果用于所述色差矫正；

所述边缘检测：用边缘检测算子作为滤波核对整帧图片计算，得到边缘信息；所述边缘信息用于所述去马赛克和平滑和锐化增强；

所述噪声检测：第一步：根据边缘检测结果，选定图片的非边缘区域，划分成若干个块；第二步：遍历各个块，计算每一个块的亮度方差；第三步：将其中亮度方差最小的若干个块作为候选块，并对候选块进行排序；第四步：在候选块中选择亮度方差最小的块，以及选择和所述亮度方差最小的块的亮度方差的差值在预设阈值以内的块作为代表块，用来估计噪声；第五步：用代表块中所有块的方差和除以块数，即得到噪声的方差，再求平方根得出噪声的标准差；所述噪声的标准差用于所述空域降噪；

所述运动检测：用于得到处理帧相对于参考帧的运动向量；所述运动向量用于所述时域降噪。

进一步的，所述先验检测处理基于的图像处理芯片被配置有包括流数据处理结构和分块数据处理结构；由控制单元获取数据，根据先验检测对应的算法，所述流数据处理结构用于对一帧像素数据依次进行所述亮度检测、亮度均值矫正、坏点检测、色差检测处理；所述分块数据处理结构用于实现所述边缘检测、噪声检测、运动检测，处理时首先由控制单元将一帧图像分成多个块区，然后对各块进行逐一处理。

有益效果：主流的图像降噪和增强方法在每个处理环节分别进行图像帧的特征检测，为了改进此方法带来的检测误差、参数孤立、资源利用率低问题，本发明提出了一种图像智能降噪先验检测方法，在降噪流水线的最前端增加先验检测，采用硬件和软件资源可复用的架构对降噪和增强过程中需要的图像特征参数进行集中采集和综合计算分析，后续降噪和增强环节需要利用的参数从先验检测结果中读取。

附图说明

图1为现有的降噪流水线示意图；

图2为本发明的降噪流水线示意图；

图3为GRGR/BGBG Bayer格式示意图；

图4为坏点纠正原理图；

图5为空域滤波原理图；

图6为色差矫正原理图；

图7为时域降噪原理图；

图8为亮度均值矫正后效果；

图9为色差检测R、G、B像素点取值示意图；

图10为边缘检测效果图；

图11为流数据处理结构图；

图12为分块数据处理结构图。

具体实施方式

下面结合附图对本发明做更进一步的解释。

本发明的图像智能降噪先验检测方法基于图像处理芯片ISP（Image SignalProcessor）来实现。

在降噪流水线的最前端增加先验检测处理，处理结果用于后续的降噪和增强处理环节。先验检测处理包括亮度检测、亮度均值矫正、坏点检测、色差检测、边缘检测、噪声检测、运动检测。后续的降噪和增强处理环节包括坏点纠正、空域降噪、色差矫正、时域降噪、去马赛克、平滑和锐化增强。

先验检测处理具体为：

亮度检测P1：遍历所有像素P(i,j)，得到各像素的亮度值以及亮度均值数据。亮度均值=所有像素亮度/像素数量。用8bit表示像素的某一个色彩通道的亮度，则亮度范围为0-255。

亮度均值矫正P2：为了让先验检测处理对不同的图片具有普适性，使得过高亮度图片（过曝光）和过低亮度图片（低照度）也能够输出对后续降噪有价值的检测结果，在先验检测处理中实现亮度均值矫正。根据实际测试经验，亮度均值在90-130之间的图片承载信息充分；如果亮度均值处于90-130之间，不做亮度矫正；如果亮度均值低于90，所有像素乘以权值P，使得亮度均值等于90；如果亮度均值大于130，所有像素乘以权值Q，使得亮度均值等于130。如图8所示，左侧为未矫正前的图像，右侧为矫正后的图像，经过亮度均值矫正后的低照度图片呈现更多信息，便于后续检测结果的一致性。

坏点检测P3：遍历所有像素，并计算该像素P(i,j)和周边8个像素均值的差值，将差值大于坏点阈值的像素坐标加入疑似坏点集合DP{}，根据坏点矫正子模块的算法动态调整疑似坏点集合DP{}内的坐标数值。疑似坏点集合DP{}用于坏点纠正。

色差检测P4：遍历所有像素，计算各像素和周边同色彩像素的标准差。其中，绿色像素点取周边四个绿色像素进行比较计算，如图9的左图所示，红色和蓝色像素点取隔像素的上下左右四个同色像素进行比较计算，如图9的右图所示。色差检测的结果用于所述色差矫正。

边缘检测P5：构建边缘检测算子，用边缘检测算子作为滤波核对整帧图片计算，即计算出每一个像素点和右下方像素点之间插值的绝对值，以阈值TH_ed为界对绝对值进行极致化，大于阈值的取255，小于等于阈值的取0，取255的点为边缘信息，如图10所示，左侧为待处理的图像，右侧为边缘检测的结果。边缘信息用于所述去马赛克和平滑和锐化增强。

噪声检测P6：第一步：根据边缘检测结果，选定图片非边缘区域，划分成N*N的M个块，取N=16。第二步：遍历M个块，计算每一个块的亮度方差。第三步：其中亮度方差最小的K个块作为候选块，取K=50，并对候选块进行排序。第四步：在K个候选块中选择亮度方差最小的块，以及选择和亮度方差最小的块的亮度方差的差值在10以内的块，以这些块作为代表块Y，用代表块Y来估计噪声。第五步：用代表块Y中所有块的方差和除以块数即得到噪声的方差，再求平方根便得出噪声的标准差，即噪声强度，方差越大代表噪声强度越高。噪声的标准差用于空域降噪。

运动检测P7：第一步：对处理帧和参考帧分别实施边缘检测P5，得到处理帧特征点S（i,j）和参考帧特征点S’(i,j)。第二步，计算各特征点S（i,j）和S’(i,j)的行坐标和列坐标的差值，将差值集合记为C_k。第三步：统计出C_k集合中出现频率最高的元素C(m,n)，即处理帧相对于参考帧的运动向量。运动向量用于所述时域降噪。

如图2所示，增加了降噪先验检测模块后的降噪流水线包括子模块S1-S9，具体的：

图像输入S1：图像由摄像头采集，格式是Bayer RAW格式，Bayer格式图像是sensor输出的一种原始数据格式，其中每一个像素点只有红R、绿G、蓝B三种颜色中的一种，此处以GRGR/BGBG为例，如图3所示。对于一帧尺寸为W*H的图像来说，Bayer RAW格式的图像有W*H个像素，每个像素用8bit数据来表示，1/2的像素是绿色，1/4像素是红色，1/2像素是蓝色。

先验检测S2：此模块集中采集和计算图像帧的多个维度的特征，为后续的子模块提供处理参数。

坏点纠正S3：图像传感器上每一光线采集的点形成的阵列工艺存在缺陷，或光信号进行转化的过程中出现错误，会造成图像上有些像素的信息有误，这些有缺陷的像素即为图像坏点，该子模块识别坏点并进行矫正。坏点纠正算法如图4所示：第一步，计算像素P(i,j)和周边8个像素均值的差值DIS_DPC。第二步，判断DIS_DPC是否大于TH_DPC，其中TH_DPC为坏点阈值。第三步，如果第二步判断为是，判断P(i,j)的坐标是否在疑似坏点集合DP{}中。第四步，如果第三步判断为是，则P(i,j)为坏点，用邻近同色像素均值替代。第五步，如果第三步判断是否，则P(i,j)坐标加入疑似坏点集合DP{}中。第六步，如果第二步判断为否，则继续计算下一个像素。第四步、第五步结束后，继续计算下一个像素。

空域降噪S4：空域降噪指在一帧图片内，针对噪点不同于图像信息的特征，采用滤波的方式降低噪声的信息量。空域降噪算法如图5所示：第一步，根据噪声检测得到的噪声强度，生成5*5的高斯滤波核W(i,j)，计算所有W(i,j)之和SUM_W。第二步，高斯滤波核和待处理像素P(i,j)所在的5*5窗口像素数据逐个相乘后相加，即SUM_P=P(i,j)*W(i,j)。第三步，P(i,j)滤波后的值为SUM_P/SUM_W。

色差矫正S5：色差表示一个图像系统在某些区域中放置不正确的颜色。色差是由于镜头对不同波长的光有不同的折射率引起的。这意味着各颜色通道的焦距不同，因此色差会产生可见的颜色边纹和颜色模糊。色差校正的算法如图6所示，是通过向心或者离心移动R/G/B的像素来减少彩色条纹，移动的向量取决于色差检测的结果。

时域降噪S6：时域降噪指在连续多帧图片内，针对噪点是随机出现的特征，采用多帧图片的信息加权处理的方法降低噪声在图像中的比重，同时通过运动估计来弥补多帧图像中运动物体带来的信息“差异”。时域降噪算法如图7所示，通过运动检测获取的运动向量，第一步由参考帧和运动向量构建对齐帧，第二步由当前帧和对齐帧像素点加权平均获得降噪结果。

去马赛克S7：恢复Bayer RAW数据中的每一个像素缺失的两个颜色分量，即让每一个像素都具有R、G、B三个颜色亮度值。去马赛克的算法是用周边同颜色点的分量计算出该点的颜色分量，为了让去马赛克过程不破坏图像中的边缘信息，首先需要对边缘信息中包含的像素点三颜色亮度值进行单独计算。

平滑和锐化增强S8：平滑是通过滤波器对图像进行滤波，滤掉高频分量，减少图像噪声，图像变的模糊；锐化是增强高频分量，增加图像的边缘特征，图像变的清晰。其中，根据边缘检测获得的边缘信息，平滑区域为图像中的非边缘像素，锐化区域为图像中的边缘像素。

图像输出S9：输出高质量的RGB格式图像。

为了实现硬件资源的复用，在图像处理芯片ISP中配置有流数据处理结构和分块数据处理结构。

流数据处理结构如图11所示，由控制单元获取数据，根据先验检测对应的算法，流数据处理结构用于对一帧像素数据依次进行亮度检测、亮度均值矫正、坏点检测、色差检测处理，即一帧像素数据一次性“流过”控制单元。需要对外输出的参数存放在亮度值/亮度均值储存单元、亮度均值矫正单元、疑似坏点集合存储单元、色差存储单元中。流数据处理结构对一帧图像数据的一次性计算就可得到多个检测数据。

分块数据处理结构如图12所示，首先由控制单元对一帧图像按固定数量像素分成多个块区，然后对各块进行逐一处理，实现边缘检测、噪声检测、运动检测。需要对外输出的参数存放在边缘信息存储单元和噪声强度存储单元中，参考帧存储单元用于运动检测时存储参考帧数据。分块数据处理结构对一帧图像数据的分块计算来降低对硬件条件的需求。

相较于现有技术，本发明具有如下优点：

1、精简降噪流水线的结构，集中实现图像帧的特征检测。

2、降噪先验检测参数实现亮度统一化、误差小、关联性高，有利于实现高质量降噪。

3、实现硬件资源复用，减少硬件结构，缩短处理时间。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种图像智能降噪先验检测方法，其特征在于，对输入的图像数据首先进行先验检测处理，处理结果用于后续的降噪和增强处理环节；所述先验检测处理包括亮度检测、亮度均值矫正、坏点检测、色差检测、边缘检测、噪声检测、运动检测；所述后续的降噪和增强处理环节包括坏点纠正、空域降噪、色差矫正、时域降噪、去马赛克、平滑和锐化增强；

所述亮度检测：遍历所有像素，得到各像素的亮度值以及亮度均值数据；

所述亮度均值矫正：当所述亮度均值大于上限阈值时，将所有像素乘以权值，使得处理后的亮度均值等于上限阈值；当所述亮度均值小于下限阈值时，将所有像素乘以权值，使得处理后的亮度均值等于下限阈值；

所述坏点检测：遍历所有像素，根据各像素和周边8个像素均值的差值进行判断，将差值大于坏点阈值的像素坐标加入疑似坏点集合；所述疑似坏点集合用于所述坏点纠正；

所述色差检测：遍历所有像素，计算各像素和周边四个同色彩像素的标准差；所述色差检测的结果用于所述色差矫正；

所述边缘检测：用边缘检测算子作为滤波核对整帧图片计算，得到边缘信息；所述边缘信息用于所述去马赛克和平滑和锐化增强；

所述噪声检测：第一步：根据边缘检测结果，选定图片的非边缘区域，划分成若干个块；第二步：遍历各个块，计算每一个块的亮度方差；第三步：将其中亮度方差最小的若干个块作为候选块，并对候选块进行排序；第四步：在候选块中选择亮度方差最小的块，以及选择和所述亮度方差最小的块的亮度方差的差值在预设阈值以内的块作为代表块，用来估计噪声；第五步：用代表块中所有块的方差和除以块数，即得到噪声的方差，再求平方根得出噪声的标准差；所述噪声的标准差用于所述空域降噪；

所述运动检测：用于得到处理帧相对于参考帧的运动向量；所述运动向量用于所述时域降噪。

2.根据权利要求1所述的图像智能降噪先验检测方法，其特征在于，所述先验检测处理基于的图像处理芯片被配置有包括流数据处理结构和分块数据处理结构；由控制单元获取数据，根据先验检测对应的算法，所述流数据处理结构用于对一帧像素数据依次进行所述亮度检测、亮度均值矫正、坏点检测、色差检测处理；所述分块数据处理结构用于实现所述边缘检测、噪声检测、运动检测，处理时首先由控制单元将一帧图像分成多个块区，然后对各块进行逐一处理。

Images