Nothing Special   »   [go: up one dir, main page]

CN105046677B - 一种用于交通视频图像的增强处理方法和装置 - Google Patents

一种用于交通视频图像的增强处理方法和装置 Download PDF

Info

Publication number
CN105046677B
CN105046677B CN201510543024.6A CN201510543024A CN105046677B CN 105046677 B CN105046677 B CN 105046677B CN 201510543024 A CN201510543024 A CN 201510543024A CN 105046677 B CN105046677 B CN 105046677B
Authority
CN
China
Prior art keywords
image
mrow
gtg
noise
msub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510543024.6A
Other languages
English (en)
Other versions
CN105046677A (zh
Inventor
王庚中
王传根
林华根
邱换春
张乾坤
韦勇继
严春早
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI CHAOYUAN INFORMATION TECHNOLOGY Co Ltd
Original Assignee
ANHUI CHAOYUAN INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI CHAOYUAN INFORMATION TECHNOLOGY Co Ltd filed Critical ANHUI CHAOYUAN INFORMATION TECHNOLOGY Co Ltd
Priority to CN201510543024.6A priority Critical patent/CN105046677B/zh
Publication of CN105046677A publication Critical patent/CN105046677A/zh
Application granted granted Critical
Publication of CN105046677B publication Critical patent/CN105046677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种用于交通视频图像的增强处理方法和装置,该方法和装置依据连续视频图像帧间信息来估算噪声强度并指导图像降噪过程,根据提取的局部特征有效数据,引入邻域像素区域对中心像素单元的约束权重,自适应地构造像素单元的灰阶映射关系函数,使得图像噪声抑制更加准确、图像局部细节增强更加明显,从而提高复杂场景尤其低照度环境下视频图像增强方法的有效性。

Description

一种用于交通视频图像的增强处理方法和装置
技术领域
本发明涉及的是视频图像处理的技术领域,尤其涉及的是一种用于交通视频图像的增强处理方法和装置。
背景技术
随着智能交通领域的迅猛发展,视频图像处理技术也逐渐成为研究的热门课题,并得到广泛应用。由于受到复杂多变的成像环境,以及成像设备硬件等因素的干扰,采集的视频图像灰阶分布极易严重不均,导致视频图像质量的衰减。视频图像有时候直接作为司法取证的有效辅助证据,能否较好地呈现图像感兴趣目标的关键细节特征显得尤其重要,比如路面车辆型号,车牌字符、驾驶员以及行人的面部特征等。因此,交通视频图像显得较为特殊。交通摄像机通常采用图像增强方法来改善画质,突显局部关键特征,同时减弱或者剔除无关信息,有针对性地增强图像整体轮廓细节及感兴趣目标的有效特征。
图像增强处理技术属于一种图像分析与处理的主要手段。该方法基本的思想是通过特定数学方法对图像灰阶特征进行分析处理并完成重建,达到改善成像质量的目的。如何在复杂多变的环境下,交通领域摄像机输出视频图像抑制噪声的同时,较好地自适应增强图像局部区域细节特征,成为当前该领域的难点问题之一。
近年来,一些研究者针对图像质量衰减现象提出了诸多图像增强方法。根据图像处理方法的作用空间域不同,可以划分为空域和频域两种处理方法。在多季节变换,全天时工作、光照条件复杂多变等情况下,摄像机视频图像所采用的增强方法,必须要考虑感兴趣目标(如车牌、人脸等)的局部特征增强效果、噪声抑制效果,同时还要具备良好的自适应性。
传统的空域处理直接以像素灰阶作为处理对象,该方法实现简单,可操作性强。常见方法有图像锐化滤波,灰度映射,对比度调整,直方图均衡化等。其中,图像锐化滤波是通过锐化掩膜的方式来增强图像细节。该方法在锐化细节时引入甚至放大了局部噪声。灰度映射和对比度调整是采用映射函数形式来调节图像,采用固定的全局映射关系函数,无法根据图像内容进行自适应。直方图均衡化是图像全部灰阶的像素进行概率统计,然后通过概率累加和来构建灰阶映射曲线,达到灰阶均衡分布的效果,该方法易出现噪声放大以及灰阶过拉伸等问题。图像增强的频域处理是先对整幅图像进行变换操作(如傅氏变换等)到频域,然后在频域进行平滑消噪、曲线映射等处理,最后通过反变换获得处理后图像。由于频域处理计算量复杂、设计成本高,亦不能很好地兼顾图像噪声抑制和图像局部细节的自适应增强。
专利号为CN103020920B,名称为一种低照度图像增强方法,该方法利用亮通道先验和暗通道先验来对灰度和彩色低照度图像进行增强处理,不足之处是不能较好地抑制噪声,也不能根据图像局部细节特征来自适应增强处理。
专利号为CN104574328A,名称为一种基于直方图分割的彩色图像增强方法,该方法属于在直方图均衡化基础上的改进方法,存在的问题是不能解决局部细节增强问题以及噪声对图像增强带来的副作用问题。
发明内容
本发明的目的在于克服现有技术的不足,提供了一种用于交通视频图像的增强处理方法和装置,旨在解决传统图像增强方法存在的暗处噪声抑制欠佳、局部细节增强不明显、局部过增强等问题。
本发明是通过以下技术方案实现的:
本发明提供了一种用于交通视频图像的增强处理方法,包括以下步骤:
步骤S1:利用视频图像采集模块采集视频信息,提取视频信息中的每帧图像,获得连续的多帧图像的数据流;
步骤S2:将步骤S1连续的多帧图像送入存储缓存区,根据图像的通道数依次估算图像每个通道的噪声强度;
步骤S3:交通领域视频图像车辆、行人的局部特征通常作为数字图像取证的关键依据,实际应用案例中,对这些图像目标的边沿细节特征的要求很高,因此,在选取图像滤波器进行噪声消除的时候要注重图像细节边沿特征的保护;目前用于图像降噪处理的二维降噪滤波器通常有均值滤波器,高斯滤波器,双边滤波器等;其中双边滤波器属于领域内比较成熟的技术,双边滤波器的降噪效果受到掩膜窗口大小,空间邻近度因子σd,亮度相似度因子σr的约束;其中:掩膜窗口大小影响邻域加权系数的采样范围,在操作时常选取固定值,比如5×5;空间邻近度因子影响图像平坦区域的降噪强度,取值越大则降噪程度越大;亮度相似度因子约束图像边沿区域降噪强度,该参数也决定了双边滤波器件的边沿保持特性,鉴于其在图像降噪处理时图像边沿保护效果较好,比较合适用来处理细节特征纹理较多的图像;但是通用双边滤波器件一般是采用预置的全局降噪强度参数,不能自适应估计噪声参数;本发明中,利用优化的双边滤波器对当前帧图像I进行去噪处理并获得消噪图像Ibf,具体为:设双边滤波器的掩膜窗口大小为一固定值,将步骤S2估算的图像各通道的噪声强度直接赋值给双边滤波器的空间邻近度因子σd,双边滤波器的亮度相似度因子σr取值为空间邻近度因子σd的2.5倍,从而控制双边滤波器的空间邻近度因子σd和亮度相似度因子σr,使得图像降噪处理程度按照不同照度场景的噪声估算水平自适应调整,防止预置的全局噪声强度引起降噪过度或者降噪不足问题,以达到边沿保持特性和噪声强度自适应估计有效结合的目的;最后,利用该优化的双边滤波器进行去噪处理并获得消噪图像Ibf
步骤S4:根据步骤S3的消噪图像Ibf的R、G、B通道信号,建立亮度图像转换模型并生产亮度图像Y,所述图像亮度转换模型的计算公式为:
式中,wr为R通道系数,wg为G通道系数,wb为B通道系数,全部通道权重系数总和
然后,构建二维高斯内核掩膜系数对提取的亮度图像Y进行加权平滑处理,获得亮度平滑图像Ysmooth,二维高斯内核掩膜系数生成函数为:
式中,i,j表示空间坐标位置,其中(i,j)=(0,0)表示中心点坐标,q表示高斯平滑强弱控制参数;该步主要是创建中心像素单元与局部邻域像素之间的约束关系,以将亮度平滑图像Ysmooth直接作为灰阶局部映射权重系数图像。
步骤S5:使用亮度平滑图像Ysmooth进行局部特征信息的提取并进行特征预处理,拟合出连续灰阶映射表;
步骤S6:以图像通道X像素单元为对象,依据亮度平滑图像Ysmooth,以及连续灰阶映射表LUTtm(k),构造具有局部自适应特性的图像灰阶映射关系函数,其关系式如下:
式中的X代表增强输入图像信号,X∈{R,G,B},λ为增强处理强度,0≤λ≤1,λ从整体上控制图像暗处细节和高亮细节映射强度,防止出现过增强现象;
步骤S7:将消噪图像Ibf的所有通道信号用灰阶映射关系函数LTMF处理,获得增强后图像Iout,输出Iout至视频图像显示模块。
所述步骤S2中,图像噪声强度的估计方法,包括以下步骤:
步骤S201:分别对每个通道上的当前帧图像FrameCur和上帧图像FrameRef进行绝对差值计算,获得绝对差值图像FrameAbs;
步骤S202:对绝对差值图像FrameAbs进行筛选处理,具体为:设置运动判断阈值ThrMotion,如果绝对差值图像FrameAbs的像素单元对应的数值大于运动判断阈值ThrMotion,则将该绝对差值图像FrameAbs的像素单元的绝对差值设置为0,以便消除运动对噪声估计的影响,如果绝对差值图像FrameAbs的像素单元对应的数值小于或等于运动判断阈值ThrMotion,则认为该处的绝对差值是由于视频图像帧间的浮动噪声引起,将该区域标记位为噪声区域,绝对差值作为整幅图像噪声估算的部分参考数值;筛选处理的计算结果标记为当前噪声图像FrameCurNoise,相应地,其上帧噪声图像为FrameRefNoise;
步骤S203:对当前噪声图像FrameCurNoise进行混合加权,以调整其与上帧历史噪声图像的关系,具体为:
FrameCurNoise=FrameCurNoise×Nf+FrameRefNoise×(1-Nf)
其中,Nf为噪声估计平滑因子,0≤Nf≤1;
步骤S204:计算加权后的当前噪声图像FrameCurNoise的平均值,作为噪声强度的索引指标,利用该索引指标查找预置的噪声方差先验表,获得当前图像的噪声强度;
步骤S205:对图像的每个通道进行噪声强度估计后,将当前帧图像FrameCur、当前噪声图像FrameCurNoise送入存储缓存区备份,并覆盖上帧图像FrameRef和上帧噪声图像FrameRefNoise的数据,依次循环。
所述步骤S204中,预置的噪声方差先验表索引指范围归一化至0~255,索引等级为256,计算噪声方差先验表的过程具体为:预先采集不同照度或者噪声强度下的连续N帧静态场景视频图像样本数据,N取值25;针对在不同照度或者噪声强度下选取的连续N帧样本数据,分别按照步骤S201~S204方法依次计算出每帧的噪声强度索引指标并获得平均值NoiseIdxAvg,然后有目的性地使用不同噪声方差的双边滤波器件对当前照度或者噪声下的连续N帧样本数据进行降噪处理,挑选样本处理后的整体峰值信噪比最好的噪声方差作为NoiseIdxAvg对应的索引输出值;这里采集样本图像时尽量使得NoiseIdxAvg均匀分布在索引范围区间,然后线性拟合获得全部索引范围内的噪声方差先验表;
所述步骤S5中,使用亮度平滑图像Ysmooth进行局部特征信息的提取并进行特征预处理,拟合出连续灰阶映射表的方法,包括以下步骤:
步骤S501:将亮度平滑图像Ysmooth的全部灰阶用n比特表示,则灰阶像素总数L=2n,根据亮度平滑图像Ysmooth计算每个灰阶值k的像素总数,并生成图像直方图N(k),这里k=0,1,2,…,L-1;为了更加准确地提取特征信息,消除局部灰阶峰值突变产生的不利影响,这里采用一维低通滤波器LPF对N(k)进行平滑过滤,获得滤波后的直方图Nlpf(k),其中,Nlpf(k)=LPF(N(k));根据灰阶像素总数,计算灰阶k的概率:灰阶k对应的概率累加和为:满足S(L-1)=1;
步骤S502:分别设置灰阶过暗阈值THRlow、灰阶过亮阈值THRhigh、灰阶过窄阈值THRrange
步骤S503:利用灰阶的概率累加和S(k),统计最亮灰阶Lmax,最暗灰阶Lmin,以及灰阶范围Lrange,灰阶范围计算方式为最亮灰阶和最暗灰阶之间的差值;当灰阶THRlow左侧的直方图概率和大于预置0.90判定为灰阶过暗,灰阶THRhigh右侧的直方图概率总和大于预置0.90判定为灰阶过亮,Lrange小于阈值THRrange判定为灰阶过窄;如果三个条件有其一成立,则对灰阶映射表的强度参数δ进行下调处理,所述灰阶映射表的强度取值δ在0-1之间,如果三个条件都不成立,则灰阶映射表的强度参数δ为默认值不变;
步骤S504:依据图像灰阶直方图的表征信息,对全部灰阶直方图进行等距离区域分段标记,区域数为M,满足0≤M≤L,并对标记过的区域灰阶进行概率统计求和;M段区域存在M+1个端点,其端点所对应的数值表示为Ga(m),在Ga(m)不同位置对应的灰阶映射表参数为Gb(m),此处m=0,1,2,…,M;规定起始端点的数值Ga(0)=0,Gb(0)=0,计算m=1,2,…,M时M个标记区域段的灰阶概率比例关系如下:
Gb(m)=(L-1)·(S(Ga(m))-S(Ga(m-1)));
步骤S505:为了避免灰阶映射过拉伸,引入灰阶映射表强度δ来约束灰阶映射表强度,结合Ga(m)与Gb(m)重新加权灰阶映射参数:
Gc(m)=Ga(m)·(1-δ)+Gb(m)·δ;
步骤S506:将Ga(m)作为灰阶映射表输入样本,将Gc(m)作为灰阶映射表输出样本,采用分段线性插值的方法近似拟合并获得连续灰阶映射表LUTtm(k),k=0,1,2,…,L-1。
本发明还提供了一种用于交通视频图像的增强处理装置,包括视频图像采集模块,视频图像增强模块和视频图像显示模块,其中:
视频图像采集模块:用于采集视频信息,并将视频信息发送给视频图像增强模块;
视频图像增强模块:用于将视频图像进行增强处理,获得增强的视频信息,并将增强的视频信息发送给视频图像显示模块,所述视频图像进行增强处理的方法采用如上所述的用于交通视频图像的增强处理方法进行增强处理。
视频图像显示模块:用于显示增强后的视频信息。
本发明相比现有技术具有以下优点:本发明提供了一种用于交通视频图像的增强处理方法和装置,该方法解决了智能交通视频图像增强处理时,出现的暗处噪声过度提升、局部细节(比如道路标示,车牌字符、人的面部特征等)增强不明显、不能局部自适应等突出问题。本发明充分考虑到了交通摄像机成像环境的复杂多变性,对图像质量衰减现象能起到局部自适应增强作用,而且较好呈现交通视频图像道路标示,车辆特征,车牌字符、驾驶员以及行人的面部特征等,同时噪声抑制效果更好,提高了低照度环境下视频图像增强方法的有效性。
附图说明
图1为用于交通视频图像的增强处理装置的结构示意图;
图2为用于交通视频图像的增强处理方法的流程图;
图3为图像噪声强度的估计方法的流程图;
图4为连续灰阶映射表构建方法的流程图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
本实施例提供了一种用于交通视频图像的增强处理装置,其结构如图1所示,包括视频图像采集模块,视频图像增强模块和视频图像显示模块,其中:
视频图像采集模块用于采集视频信息,并将视频信息发送给视频图像增强模块;
视频图像增强模块用于将视频图像进行增强处理,获得增强的视频信息,并将增强的视频信息发送给视频图像显示模块;
视频图像显示模块用于显示增强后的视频信息。
所述增强处理的方法,如图2所示,包括以下步骤:
步骤S1:利用视频图像采集模块采集视频信息,提取视频信息中的每帧图像,获得连续的多帧图像的数据流;
步骤S2:将步骤S1连续的多帧图像送入存储缓存区,根据图像的通道数(如灰度图像为单通道,彩色图像分为R、G、B三个通道)依次估计图像每个通道的噪声强度,图像噪声强度的估计方法,如图3所示,包括以下步骤:
步骤S201:分别对每个通道上的当前帧图像FrameCur和上帧图像FrameRef进行绝对差值计算,获得绝对差值图像FrameAbs;
步骤S202:对绝对差值图像FrameAbs进行筛选处理,具体为:设置运动判断阈值ThrMotion,如果绝对差值图像FrameAbs的像素单元对应的数值大于运动判断阈值ThrMotion,则将该绝对差值图像FrameAbs的像素单元的绝对差值设置为0,以便消除运动对噪声估计的影响,如果绝对差值图像FrameAbs的像素单元对应的数值小于或等于运动判断阈值ThrMotion,则认为该处的绝对差值是由于视频图像帧间的浮动噪声引起,将该区域标记位为噪声区域,绝对差值作为整幅图像噪声估算的部分参考数值;筛选处理的计算结果标记为当前噪声图像FrameCurNoise,相应地,其上帧噪声图像为FrameRefNoise;本实施例中,ThrMotion=25;
步骤S203:对当前噪声图像FrameCurNoise进行混合加权,以调整其与上帧历史噪声图像的关系,具体为:
FrameCurNoise=FrameCurNoise×Nf+FrameRefNoise×(1-Nf)
其中,Nf为噪声估计平滑因子,0≤Nf≤1,本实施例中,Nf取值为0.8;
步骤S204:计算加权后的当前噪声图像FrameCurNoise的平均值,作为噪声强度的索引指标,利用该索引指标查找预置的噪声方差先验表,获得当前图像的噪声强度;所述预置的噪声方差先验表索引指范围归一化至0~255,索引等级为256,计算噪声方差先验表的过程具体为:预先采集不同照度或者噪声强度下的连续N帧静态场景视频图像样本数据,N取值25;针对在不同照度或者噪声强度下选取的连续N帧样本数据,分别按照步骤S201~S204方法依次计算出每帧的噪声强度索引指标并获得平均值NoiseIdxAvg,然后有目的性地使用不同噪声方差的双边滤波器件对当前照度或者噪声下的连续N帧样本数据进行降噪处理,挑选样本处理后的整体峰值信噪比最好的噪声方差作为NoiseIdxAvg对应的索引输出值;这里采集样本图像时尽量使得NoiseIdxAvg均匀分布在索引范围区间,然后线性拟合获得全部索引范围内的噪声方差先验表;
步骤S205:对图像的每个通道进行噪声强度估计后,将当前帧图像FrameCur、当前噪声图像FrameCurNoise送入存储缓存区备份,并覆盖上帧图像FrameRef和上帧噪声图像FrameRefNoise的数据,依次循环。
步骤S3:利用优化的双边滤波器对当前帧图像I进行去噪处理并获得消噪图像Ibf,具体为:设双边滤波器的掩膜窗口大小为5×5,利用步骤S2估算的图像各通道的噪声强度来控制双边滤波器的空间邻近度因子σd以及亮度相似度因子σr,其中,将图像各通道的噪声强度直接赋值给空间邻近度因子σd,亮度相似度因子σr取值为空间邻近度因子σd的2.5倍,使得图像降噪处理程度按照不同照度场景的噪声估算水平自适应调整,防止预置的全局噪声强度引起降噪过度或者降噪不足问题,以达到边沿保持特性和噪声强度自适应估计有效结合的目的;最后,利用该优化的双边滤波器进行去噪处理并获得消噪图像Ibf
步骤S4:根据步骤S3的消噪图像Ibf的R、G、B通道信号,建立图像亮度转换模型,通过消噪图像Ibf的三基色R、G、B图像分量提取亮度图像,获得亮度图像Y,所述图像亮度转换模型的计算公式为:
式中,R通道系数为wr=0.299,G通道系数为wg=0.587,B通道系数为wb=0.114,全部通道权重系数总和
构建二维高斯内核掩膜系数对提取的亮度图像Y进行加权平滑处理,获得亮度平滑图像Ysmooth,二维高斯内核掩膜系数生成函数为:
式中,i,j表示空间坐标位置,其中(i,j)=(0,0)表示中心点坐标,q表示高斯平滑强弱控制参数,本实施例中,q=3,掩膜窗口大小为5×5,该步的滤波平滑主要是创建中心像素单元与局部邻域像素之间的约束关系,这里将亮度平滑图像Ysmooth直接作为灰阶局部映射权重系数图像。
步骤S5:使用亮度平滑图像Ysmooth进行局部特征信息的提取并进行特征预处理,拟合出连续灰阶映射表的方法,如图4所示,包括以下步骤:
步骤S501:将亮度平滑图像Ysmooth的全部灰阶用n比特表示,则灰阶像素总数L=2n,根据亮度平滑图像Ysmooth计算每个灰阶值k的像素总数,并生成图像直方图N(k),这里k=0,1,2,…,L-1;采用一维低通滤波器LPF对N(k)进行平滑过滤,获得滤波后的直方图Nlpf(k),其中,Nlpf(k)=LPF(N(k));根据灰阶像素总数,计算灰阶k的概率:灰阶k对应的概率累加和为:满足S(L-1)=1;本实施例中,一维低通滤波器LPF的掩膜大小为1×5,掩膜Masklpf=[1,2,4,2,1];
步骤S502:分别设置灰阶过暗阈值THRlow、灰阶过亮阈值THRhigh、灰阶过窄阈值THRrange
步骤S503:利用灰阶的概率累加和S(k),统计最亮灰阶Lmax,最暗灰阶Lmin,以及灰阶范围Lrange,灰阶范围计算方式为最亮灰阶和最暗灰阶之间的差值;当灰阶THRlow左侧的直方图概率和大于预置0.90判定为灰阶过暗,灰阶THRhigh右侧的直方图概率总和大于预置0.90判定为灰阶过亮,Lrange小于阈值THRrange判定为灰阶过窄;如果三个条件有其一成立,则对灰阶映射表的强度参数δ进行下调处理,所述灰阶映射表的强度取值δ在0-1之间;本发明实例中THRlow取值15,THRhigh取值220;如果三个条件都不成立,则灰阶映射表的强度参数δ为默认值不变。本实施例中,如果三个条件有其一成立,则将灰阶映射表的强度参数δ进行调整至固定值0.10,如果三个条件都不成立,则保持默认值为0.75不变。
步骤S504:依据图像灰阶直方图的表征信息,对全部灰阶直方图进行等距离区域分段标记,区域数为M,满足0≤M≤L,并对标记过的区域灰阶进行概率统计求和;M段区域存在M+1个端点,其端点所对应的数值表示为Ga(m),在Ga(m)不同位置对应的灰阶映射表参数为Gb(m),此处m=0,1,2,…,M;此处规定起始端点的数值Ga(0)=0,Gb(0)=0,计算m=1,2,…,M时M个标记区域段的灰阶概率比例关系如下:
Gb(m)=(L-1)·(S(Ga(m))-S(Ga(m-1)));
步骤S505:为了避免灰阶映射过拉伸,引入灰阶映射表强度δ来约束灰阶映射表强度,结合Ga(m)与Gb(m)重新加权灰阶映射参数:
Gc(m)=Ga(m)·(1-δ)+Gb(m)·δ;
步骤S506:将Ga(m)作为灰阶映射表输入样本,将Gc(m)作为灰阶映射表输出样本,采用分段线性插值的方法近似拟合并获得连续灰阶映射表LUTtm(k),k=0,1,2,…,L-1。本实施例中M=8,灰阶映射表的强度参数δ=0.75。
步骤S6:以图像通道X像素单元为对象,依据亮度平滑图像Ysmooth,以及连续灰阶映射表LUTtm(k),构造具有局部自适应特性的图像灰阶映射关系函数,其关系式如下:
式中的X代表增强输入图像信号,X∈{R,G,B}。λ为增强处理强度,0≤λ≤1,λ从整体上控制图像暗处细节和高亮细节映射强度,防止出现过增强现象,这里λ=0.95;
步骤S7、将消噪图像Ibf的所有通道信号用灰阶映射关系函数LTMF处理,获得增强后图像Iout,输出Iout至视频图像显示模块。

Claims (5)

1.一种用于交通视频图像的增强处理方法,其特征在于,包括以下步骤:
步骤S1:利用视频图像采集模块采集视频信息,提取视频信息中的每帧图像,获得连续的多帧图像的数据流;
步骤S2:将步骤S1连续的多帧图像送入存储缓存区,根据图像的通道数依次估算图像每个通道的噪声强度;
步骤S3:利用双边滤波器对当前帧图像I进行去噪处理并获得消噪图像Ibf,具体为:设双边滤波器的掩膜窗口大小为一固定值,将步骤S2估算的图像各通道的噪声强度直接赋值给双边滤波器的空间邻近度因子σd,双边滤波器的亮度相似度因子σr取值为空间邻近度因子σd的2.5倍,从而控制双边滤波器的空间邻近度因子σd和亮度相似度因子σr,最后,利用该双边滤波器进行去噪处理并获得消噪图像Ibf
步骤S4:根据步骤S3的消噪图像Ibf的R、G、B通道信号,建立亮度图像转换模型并生产亮度图像Y,所述图像亮度转换模型的计算公式为:
<mrow> <mi>Y</mi> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>w</mi> <mi>s</mi> </msub> </mfrac> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>r</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>R</mi> <mo>+</mo> <msub> <mi>w</mi> <mi>g</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>G</mi> <mo>+</mo> <msub> <mi>w</mi> <mi>b</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>B</mi> <mo>)</mo> </mrow> </mrow>
式中,wr为R通道系数,wg为G通道系数,wb为B通道系数,全部通道权重系数总和
然后,构建二维高斯内核掩膜系数对提取的亮度图像Y进行加权平滑处理,获得亮度平滑图像Ysmooth,二维高斯内核掩膜系数生成函数为:
<mrow> <msub> <mi>Mask</mi> <mrow> <mi>g</mi> <mi>f</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <msup> <mi>&amp;pi;q</mi> <mn>2</mn> </msup> </mrow> </mfrac> <msup> <mi>exp</mi> <mrow> <mo>-</mo> <mfrac> <mrow> <msup> <mi>i</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>j</mi> <mn>2</mn> </msup> </mrow> <mrow> <mn>2</mn> <msup> <mi>q</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mrow> </msup> </mrow>
式中,i,j表示空间坐标位置,其中(i,j)=(0,0)表示中心点坐标,q表示高斯平滑强弱控制参数;
步骤S5:使用亮度平滑图像Ysmooth进行局部特征信息的提取并进行特征预处理,拟合出连续灰阶映射表;
步骤S6:以图像通道X像素单元为对象,依据亮度平滑图像Ysmooth,以及连续灰阶映射表LUTtm(k),构造具有局部自适应特性的图像灰阶映射关系函数,其关系式如下:
<mrow> <mi>L</mi> <mi>T</mi> <mi>M</mi> <mi>F</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>X</mi> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <msub> <mi>LUT</mi> <mrow> <mi>t</mi> <mi>m</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>Y</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mi>&amp;lambda;</mi> <mo>+</mo> <msub> <mi>Y</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;lambda;</mi> <mo>)</mo> </mrow> </mrow> <msub> <mi>Y</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> </mfrac> </mrow>
式中的X代表增强输入图像信号,X∈{R,G,B},λ为增强处理强度,0≤λ≤1,λ从整体上控制图像暗处细节和高亮细节映射强度,防止出现过增强现象;
步骤S7:将消噪图像Ibf的所有通道信号用灰阶映射关系函数LTMF(X)处理,获得增强后图像Iout,输出Iout至视频图像显示模块。
2.根据权利要求1所述的一种用于交通视频图像的增强处理方法,其特征在于,所述步骤S2中,图像噪声强度的估计方法,包括以下步骤:
步骤S201:分别对每个通道上的当前帧图像FrameCur和上帧图像FrameRef进行绝对差值计算,获得绝对差值图像FrameAbs;
步骤S202:对绝对差值图像FrameAbs进行筛选处理,具体为:设置运动判断阈值ThrMotion,如果绝对差值图像FrameAbs的像素单元对应的数值大于运动判断阈值ThrMotion,则将该绝对差值图像FrameAbs的像素单元的绝对差值设置为0,以便消除运动对噪声估计的影响,如果绝对差值图像FrameAbs的像素单元对应的数值小于或等于运动判断阈值ThrMotion,则认为该绝对差值图像FrameAbs的像素单元的绝对差值是由于视频图像帧间的浮动噪声引起,将该绝对差值图像FrameAbs的像素单元组成的区域标记位为噪声区域,绝对差值作为整幅图像噪声估算的部分参考数值;筛选处理的计算结果标记为当前噪声图像FrameCurNoise,相应地,其上帧噪声图像为FrameRefNoise;
步骤S203:对当前噪声图像FrameCurNoise进行混合加权,具体为:
FrameCurNoise=FrameCurNoise×Nf+FrameRefNoise×(1-Nf)
其中,Nf为噪声估计平滑因子,0≤Nf≤1;
步骤S204:计算加权后的当前噪声图像FrameCurNoise的平均值,作为噪声强度的索引指标,利用该索引指标查找预置的噪声方差先验表,获得当前图像的噪声强度;
步骤S205:对图像的每个通道进行噪声强度估计后,将当前帧图像FrameCur、当前噪声图像FrameCurNoise送入存储缓存区备份,并覆盖上帧图像FrameRef和上帧噪声图像FrameRefNoise的数据,依次循环。
3.根据权利要求2所述的一种用于交通视频图像的增强处理方法,其特征在于,所述步骤S204中,预置的噪声方差先验表索引指范围归一化至0~255,索引等级为256,计算噪声方差先验表的过程具体为:预先采集不同照度或者噪声强度下的连续N帧静态场景视频图像样本数据,N取值25;针对在不同照度或者噪声强度下选取的连续N帧样本数据,分别按照步骤S201~S204方法依次计算出每帧的噪声强度索引指标并获得平均值NoiseIdxAvg,然后使用不同噪声方差的双边滤波器件对当前照度或者噪声下的连续N帧样本数据进行降噪处理,挑选样本处理后的整体峰值信噪比最好的噪声方差作为NoiseIdxAvg对应的索引输出值;这里采集样本图像时使得NoiseIdxAvg均匀分布在索引范围区间,然后线性拟合获得全部索引范围内的噪声方差先验表。
4.根据权利要求1所述的一种用于交通视频图像的增强处理方法,其特征在于,所述步骤S5中,使用亮度平滑图像Ysmooth进行局部特征信息的提取并进行特征预处理,拟合出连续灰阶映射表的方法,包括以下步骤:
步骤S501:将亮度平滑图像Ysmooth的全部灰阶用n比特表示,则灰阶像素总数L=2n,根据亮度平滑图像Ysmooth计算每个灰阶值k的像素总数,并生成图像直方图N(k),这里k=0,1,2,…,L-1;采用一维低通滤波器LPF对N(k)进行平滑过滤,获得滤波后的直方图Nlpf(k),其中,Nlpf(k)=LPF(N(k));根据灰阶像素总数,计算灰阶k的概率:灰阶k对应的概率累加和为:满足S(L-1)=1;
步骤S502:分别设置灰阶过暗阈值THRlow、灰阶过亮阈值THRhigh、灰阶过窄阈值THRrange
步骤S503:利用灰阶的概率累加和S(k),统计最亮灰阶Lmax,最暗灰阶Lmin,以及灰阶范围Lrange,灰阶范围计算方式为最亮灰阶和最暗灰阶之间的差值;当灰阶THRlow左侧的直方图概率和大于预置0.90判定为灰阶过暗,灰阶THRhigh右侧的直方图概率总和大于预置0.90判定为灰阶过亮,Lrange小于阈值THRrange判定为灰阶过窄;如果三个条件有其一成立,则对灰阶映射表的强度参数δ进行下调处理,所述灰阶映射表的强度取值δ在0-1之间,如果三个条件都不成立,则灰阶映射表的强度参数δ为默认值不变;
步骤S504:依据图像灰阶直方图的表征信息,对全部灰阶直方图进行等距离区域分段标记,区域数为M,满足0≤M≤L,并对标记过的区域灰阶进行概率统计求和;M段区域存在M+1个端点,其端点所对应的数值表示为Ga(m),在Ga(m)不同位置对应的灰阶映射表参数为Gb(m),此处m=0,1,2,…,M;规定起始端点的数值Ga(0)=0,Gb(0)=0,计算m=1,2,…,M时M个标记区域段的灰阶概率比例关系如下:
<mrow> <msub> <mi>G</mi> <mi>a</mi> </msub> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>r</mi> <mi>o</mi> <mi>u</mi> <mi>n</mi> <mi>d</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>M</mi> </mfrac> <mo>)</mo> </mrow> </mrow>
Gb(m)=(L-1)·(S(Ga(m))-S(Ga(m-1)));
步骤S505:引入灰阶映射表强度δ来约束灰阶映射表强度,结合Ga(m)与Gb(m)重新加权灰阶映射参数:
Gc(m)=Ga(m)·(1-δ)+Gb(m)·δ;
步骤S506:将Ga(m)作为灰阶映射表输入样本,将Gc(m)作为灰阶映射表输出样本,采用分段线性插值的方法近似拟合并获得连续灰阶映射表LUTtm(k),k=0,1,2,…,L-1。
5.一种用于交通视频图像的增强处理装置,其特征在于,包括视频图像采集模块,视频图像增强模块和视频图像显示模块,其中:
视频图像采集模块:用于采集视频信息,并将视频信息发送给视频图像增强模块;
视频图像增强模块:用于将视频图像进行增强处理,获得增强的视频信息,并将增强的视频信息发送给视频图像显示模块,所述视频图像进行增强处理的方法采用如权利要求1~4任一所述的用于交通视频图像的增强处理方法进行增强处理;
视频图像显示模块:用于显示增强后的视频信息。
CN201510543024.6A 2015-08-27 2015-08-27 一种用于交通视频图像的增强处理方法和装置 Active CN105046677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510543024.6A CN105046677B (zh) 2015-08-27 2015-08-27 一种用于交通视频图像的增强处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510543024.6A CN105046677B (zh) 2015-08-27 2015-08-27 一种用于交通视频图像的增强处理方法和装置

Publications (2)

Publication Number Publication Date
CN105046677A CN105046677A (zh) 2015-11-11
CN105046677B true CN105046677B (zh) 2017-12-08

Family

ID=54453196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510543024.6A Active CN105046677B (zh) 2015-08-27 2015-08-27 一种用于交通视频图像的增强处理方法和装置

Country Status (1)

Country Link
CN (1) CN105046677B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110995549A (zh) * 2019-03-19 2020-04-10 王昆 通信组件开关控制系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915763A (zh) * 2015-11-24 2016-08-31 乐视云计算有限公司 视频去噪与细节增强方法及装置
CN105598745A (zh) * 2016-01-07 2016-05-25 林燕萍 一种能够自主作业的数控机床
CN106097259B (zh) * 2016-05-27 2018-11-30 安徽超远信息技术有限公司 一种基于透射率优化技术的雾天图像快速重建方法
CN109308690B (zh) * 2017-07-26 2021-09-21 Tcl科技集团股份有限公司 一种图像亮度均衡方法及终端
CN107844761B (zh) * 2017-10-25 2021-08-10 海信集团有限公司 交通标志的检测方法及装置
CN107770446B (zh) * 2017-10-31 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN107578372B (zh) * 2017-10-31 2020-02-18 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109359593B (zh) * 2018-10-17 2020-07-31 安徽超远信息技术有限公司 一种基于图像局部栅格的雨雪环境画面模糊监测预警方法
CN110390653B (zh) * 2019-07-24 2023-03-31 易诚高科(大连)科技有限公司 一种针对OLED屏的高鲁棒性DeMURA方法
CN110503831A (zh) * 2019-08-28 2019-11-26 上海眼控科技股份有限公司 一种识别驾驶员违法行为的方法及设备
CN111341102B (zh) * 2020-03-02 2021-04-23 北京理工大学 运动基元库构建方法和装置、连接运动基元的方法和装置
CN111932514B (zh) * 2020-08-07 2024-09-27 上海媒智科技有限公司 一种图像噪声水平估计、抑制方法、装置及电子设备
CN112308807A (zh) * 2020-10-19 2021-02-02 泰州锐比特智能科技有限公司 科目类型现场检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840066B1 (en) * 2005-11-15 2010-11-23 University Of Tennessee Research Foundation Method of enhancing a digital image by gray-level grouping
CN102968773A (zh) * 2011-09-01 2013-03-13 伊姆普斯封闭式股份有限公司 降低图像噪声的方法
CN103020920A (zh) * 2013-01-10 2013-04-03 厦门大学 一种低照度图像增强方法
CN104574328A (zh) * 2015-01-06 2015-04-29 北京环境特性研究所 一种基于直方图分割的彩色图像增强方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5284446B2 (ja) * 2011-11-14 2013-09-11 株式会社東芝 画像処理装置、及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840066B1 (en) * 2005-11-15 2010-11-23 University Of Tennessee Research Foundation Method of enhancing a digital image by gray-level grouping
CN102968773A (zh) * 2011-09-01 2013-03-13 伊姆普斯封闭式股份有限公司 降低图像噪声的方法
CN103020920A (zh) * 2013-01-10 2013-04-03 厦门大学 一种低照度图像增强方法
CN104574328A (zh) * 2015-01-06 2015-04-29 北京环境特性研究所 一种基于直方图分割的彩色图像增强方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110995549A (zh) * 2019-03-19 2020-04-10 王昆 通信组件开关控制系统
CN110995549B (zh) * 2019-03-19 2021-09-03 上海越安建筑安装工程有限公司 通信组件开关控制系统

Also Published As

Publication number Publication date
CN105046677A (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN105046677B (zh) 一种用于交通视频图像的增强处理方法和装置
Shi et al. Normalised gamma transformation‐based contrast‐limited adaptive histogram equalisation with colour correction for sand–dust image enhancement
Kim et al. Optimized contrast enhancement for real-time image and video dehazing
CN108765336B (zh) 基于暗亮原色先验与自适应参数优化的图像去雾方法
CN107358585B (zh) 基于分数阶微分及暗原色先验的雾天图像增强方法
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN103679173A (zh) 图像显著区域检测方法
CN111611907B (zh) 一种图像增强的红外目标检测方法
CN104036465A (zh) 基于边缘检测的自适应非局部均值去噪方法
CN108537756A (zh) 基于图像融合的单幅图像去雾方法
CN111899295B (zh) 一种基于深度学习的单目场景深度预测方法
CN102208101A (zh) 一种红外图像的自适应线性变换增强方法
CN109377450A (zh) 一种边缘保护的去噪方法
CN111062293A (zh) 一种基于深度学习的无人机森林火焰识别方法
Sandoub et al. A low‐light image enhancement method based on bright channel prior and maximum colour channel
CN102663682B (zh) 基于感兴趣区域的自适应图像增强方法
CN102999890B (zh) 基于环境因素的图像光线强度动态校正方法
Jeon et al. Low-light image enhancement using inverted image normalized by atmospheric light
CN111311503A (zh) 一种夜晚低亮度图像增强系统
Pan et al. Single-image dehazing via dark channel prior and adaptive threshold
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
CN110349113B (zh) 一种基于暗原色先验改进的自适应图像去雾方法
CN115937019A (zh) 一种lsd二次分割和深度学习相结合的不均匀去雾方法
CN109859138A (zh) 一种基于人眼视觉特性的红外图像增强方法
CN110766634A (zh) 基于引导滤波器的图像划分的方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant