CN109064444B - 基于显著性分析的轨道板病害检测方法 - Google Patents
基于显著性分析的轨道板病害检测方法 Download PDFInfo
- Publication number
- CN109064444B CN109064444B CN201810687093.8A CN201810687093A CN109064444B CN 109064444 B CN109064444 B CN 109064444B CN 201810687093 A CN201810687093 A CN 201810687093A CN 109064444 B CN109064444 B CN 109064444B
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- value
- color
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 43
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000004458 analytical method Methods 0.000 title claims abstract description 14
- 238000012544 monitoring process Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000005286 illumination Methods 0.000 claims abstract description 10
- 230000002123 temporal effect Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 15
- 238000010521 absorption reaction Methods 0.000 claims description 10
- 238000009792 diffusion process Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000035772 mutation Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 4
- 230000007704 transition Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于显著性分析的轨道板病害检测方法,主要包括:(1)、对视频做光照预处理,并融合颜色、亮度、方向特征提取车载视频的空间显著性。(2)一方面对监测期轨道视频做稀疏采样,比较当前监测视频帧与对应的采样视频帧,选取变化较大的视频帧作为可靠帧。另一方面,选取相对上下帧来说,具有突变特征的轨道视频帧,作为可靠帧。(3)、通过融合空间显著性图和时间显著性图得到粗糙的时空显著图处理。对粗糙显著图考虑背景先验、中心先验以及空间紧密度因素,得到改进的时空显著性图。(4)、根据显著图得到轨道病害显著权值,利用权值采用基于显著性加权模型的半监督分类方法对高速铁路轨道病害进行识别分类。本发明可以实时的检测出轨道病害。
Description
技术领域
本发明涉及计算机视觉和图像处理领域,特别涉及一种基于显著性分析的轨道板病害检测方法。
背景技术
高速列车的的的顺利通行依赖着高质量的高速铁路轨道,因此,轨道质量直接关系着运营的安全。但是由于暴露在室外且受到各种环境的影响,高速铁路轨道病害频发。且高速铁路在近几十年才进行大规模投运,因此相关病害检测工作开展相对滞后,多地的病害检测工作甚至仍然需要采用代价较高的人为检测方式。近年来,智能检测系统的不断发展使得智能轨道病害检测方法成为可能。中国采用激光摄像测量技术研发了GJ-6型轨道检测系统,但是这些检测方法对于高速铁路轨道的表层病害检测的识别准确率不高。
目前国内外关于轨道病害检测方法还存在着有待解决的问题:
(1)人为检查以及传统地检测系统不能很好地针对轨道病害特征做出及时地处理,花费大成本得到的结果并不能很好地显示病害结果。
(2)现有检测方法处理视频数据是对每帧视频帧进行检查处理,这样的方法不但复杂度比较高,运行比较耗时,很难应用到实时性要求高的场合,并且不能很好地突出重点病害区域。
发明内容
发明目的:本发明针对现有技术存在的问题,提供一种基于显著性分析的轨道板病害检测方法,该方法利用改进时空显著性图分析并检测轨道病害,并结合显著图对轨道病害进行识别分类。
技术方案:本发明所述的基于显著性分析的轨道板病害检测方法,其特征在于:该方法包括:
(1)获取监测期的轨道板监测视频,并对监测视频进行光照预处理,使得监测视频的光照强度统一;
(2)采用Itti算法从预处理后监测期监测视频帧中提取出颜色、亮度和方向上的特征,并进行融合得到空间显著图;
(3)对历史监测视频进行稀疏采样,并将采样的视频帧与步骤(1)预处理后的监测期监测视频帧进行差异计算,选取差异大于预设阈值的监测期监测视频帧作为可靠帧;
(4)对于步骤(1)预处理后的监测期监测视频,选取其中相对上下帧具有特征突变的帧作为可靠帧;
(5)采用自适应传递方法,根据所有可靠帧计算得到时间显著性值,作为时间显著图;
(6)将空间显著性图和时间显著图融合,得到粗糙时空显著图;
(7)对粗糙时空显著图进行考虑背景先验、中心先验以及空间紧密度因素的图像处理,得到改进时空显著性图;
(8)根据改进时空显著性图得到轨道病害显著权值,利用权值采用基于显著性加权模型的半监督分类方法对高速铁路轨道病害进行识别分类。
进一步的,步骤(1)具体包括:
(1.1)获取轨道板的监测视频;
(1.2)使用OpenCV函数库中的Range函数截取监测视频中每一帧中重点关注位置的图像,忽略底部一些因光照阴影形成的黑暗区域;
(1.3)使用OpenCV函数库中cvEqualizeHist函数将截取图像的直方图均衡化,实现光照强度统一。
进一步的,步骤(3)具体包括:
(3.1)对历史监测视频进行稀疏采样,得到若干历史采样视频帧;
(3.2)将预处理后的监测期监测视频划分为多个视频段,得到视频段集合V={vi|i=1,…,n},n为划分的视频段个数;
(3.3)对于视频段vi,从其所有帧中筛选出显著块;
(3.4)将每一显著块的RGB颜色值投影到一个10×10×10的三维空间颜色模型中,并对所述三维空间颜色模型进行高斯扩散;
(3.5)将三维空间上各点的颜色值形成一个一维向量,将所述一维向量作为当前显著块的颜色分布向量;
(3.6)将属于一个视频帧的所有显著块的颜色分布向量按照顺序组成颜色矩阵,并对所述颜色矩阵采用RPCA进行稀疏低秩矩阵分解,得到稀疏矩阵;
(3.7)将分解得到的稀疏矩阵与每一历史采样视频帧进行偏差值计算,并将偏差值累加,选取偏差累加值ESUM大于预设阈值的视频帧作为视频段vi的可靠帧,i=1,…,n。
进一步的,步骤(3.3)具体包括:
(3.3.1)对于视频段vi,将其每一帧都划分为多个a×a像素的图像块,a为划分的图像块的尺寸,且0<a<10;
(3.3.2)将划分得到的图像块中剔除位于边界的图像块;
(3.3.3)计算步骤(3.3.2)处理后剩余的每一图像块与四个相邻的图像块的平均相关差异值;
(3.3.4)将平均相关差异值大于预设阈值的图像块作为显著块。
进一步的,步骤(3.4)具体包括:
(3.4.1)将RGB颜色模型的R、G、B取值范围0-255分别等分为10个区间,从而形成一个10×10×10的三维空间颜色模型;即形成一个10×10×10的立方体,其共有1000个点。
(3.4.2)将显著块的各像素的RGB颜色值投影到所述三维空间颜色模型中,并对所述投影采用高斯球模型进行三维扩散。
其中,投影的坐标转换公式为:
式中,(Rp,Gp,Bp)为显著块中像素点p的RGB颜色值,(xp,yp,zp)为像素点p投影到三维空间颜色模型中的坐标值,为三维空间颜色模型中坐标(xp,yp,zp)位置上的颜色值,ceil()表示向上取整函数。
其中,因为10×10×10相对于使用显著块个数来说较大,为了防止颜色分布很稀疏的情况,对投影采用高斯球模型进行三维扩散,具体扩散公式为:
式中,Cx,y,z为扩散后坐标(x,y,z)位置上的颜色值,Cpos为投影后位置pos上的颜色值,d表示位置pos与位置(x,y,z)之间的曼哈顿距离。
进一步的,步骤(4)具体包括:
(4.1)获取步骤(1)预处理后的监测期监测视频;
(4.2)对于监测期监测视频的每一帧,按照以下公式分别计算其与上一帧和下一帧的亮度差值、颜色差值和纹理差值:
Li=(l(Pi)-l(Pi-1))+(l(Pi)-l(Pi+1))
Ci=(c(Pi)-c(Pi-1))+(c(Pi)-c(Pi+1))
Ti=(t(Pi)-t(Pi-1))+(t(Pi)-t(Pi+1))
式中,Pi表示当前视频帧,Pi-1、Pi+1分别表示上一帧和下一帧,Li、Ci、Ti分别表示当前视频帧Pi与上一帧和下一帧的亮度差值、颜色差值、纹理差值,l(·)表示视频帧的亮度值,c(·)表示视频帧的颜色值,t(·)表示视频帧的纹理值;
进一步的,步骤(5)具体包括:
(5.2)采用自适应传递的方法,采用下式计算得到每一可靠帧的时间显著性值:
(5.3)所有可靠帧的时间显著性值形成时间显著图。
有益效果:本发明与现有技术相比,其显著优点是:
(1)、本发明提出了一种采用分析视频显著性,从而凸显轨道病害特征,达到智能轨道病害检测的效果。
(2)、本发明改进了传统的视频显著性算法,在保证提取显著病害区域的同时,提高了计算效率以及针对特定轨道病害的检测率。
(3)、本发明中将融合的粗糙时空显图进行优化,考虑背景先验因素、中心先验因素以及空间紧密度因素,得到更加符合人眼关注以及突出病害特征的结果图。
(4)、本发明中提出基于显著性加权模型的半监督分类方法,用以对病害进行识别分类。
附图说明
图1是本发明的一个实施例的流程示意图。
具体实施方式
本实施例提供了一种基于显著性分析的轨道板病害检测方法,如图1所示,该方法包括:
步骤一、获取监测期的轨道板监测视频,并对监测视频进行光照预处理,使得监测视频的光照强度统一。该步骤具体包括:
(1.1)获取轨道板的监测视频;
(1.2)使用OpenCV函数库中的Range函数截取监测视频中每一帧中重点关注位置的图像,忽略底部一些因光照阴影形成的黑暗区域;
(1.3)使用OpenCV函数库中cvEqualizeHist函数将截取图像的直方图均衡化,实现光照强度统一。
步骤二、采用Itti算法从预处理后监测期监测视频帧中提取出颜色、亮度和方向上的特征,并进行融合得到空间显著图。
其主要步骤可以概括为三个主要的模块:
(2.1)局部特征的提取
首先,将输入视频图像表示为9层高斯金字塔。其中第0层为输入图像,1至8层图像由5×5的高斯滤波器对输入图像进行滤波和采样形成,大小分别为输入图像的1/2至1/256的范围。然后,对金字塔每一层分别提取各种亮度特征,亮度I、红色R、绿色G、蓝色B、黄色Y以及四个方向(分别为0°,45°,90°,135°),形成亮度金字塔、色度金字塔以及方向金字塔。其中,对颜色、亮度特征的提取,采用颜色直方图法、亮度直方图法分别反映图像中颜色和亮度的主要分布。
(2.2)多尺度-中心环绕对比度的计算
Itti算法为模拟中心-环绕结构,对各种特征分别在特征金字塔的不同尺度间作差。
假设中心对应于尺度c的特征图像素点(c∈[2,3,4]),周边区域对应于尺度s的特征图像素点(s=c+δ,δ∈[3,4])。由于不同尺度特征图的分辨率不同,因此需要进行插值操作使得两幅图像大小相同后,通过对两幅图像进行点对点作差,这一过程可以用θ表示。I(c,s)代表了亮度特征图,表示亮度的对比度。其他特征类似表达。于是可以得到中心(尺度c)和周围(尺度s)的特征对比度,用以量化中心与周围的局部方向特征对比。
I(c,s)=|I(c)|Θ|I(s)|
(2.3)对比图的融合
为将(2.2)种多个不同尺度和不同特征的特征图进行融合,Itti模型提出一个归一化的函数N(·)。首先对于每幅特征图,将图中的每个像素点的显著值归一化到一个区间[0,M],这样是为了消除因为不同特征的显著值分布的区间不同产生的影响;其次寻找特征图中的全局最大值M,计算所有其他局部最大值的平均值m;最后对特征图中的每个位置乘以(M-m)2。这样就将每幅特征图中潜在的显著区域位置进行了放大,使得那些位置的显著值相对于背景更突出。
先对每个特征的不同尺度的特征图进行归一化处理,形成一幅关于该特征的综合显著图,然后再将不同特征的显著图进行归一化处理获得最最后的视觉显著图。
步骤三、对历史监测视频进行稀疏采样,并将采样的视频帧与步骤(1)预处理后的监测期监测视频帧进行差异计算,选取差异大于预设阈值的监测期监测视频帧作为可靠帧。
本步骤将当前监测视频帧与历史视频同位置帧进行比较,此处采用稀疏采样对监测期视频进行采样,全局考虑轨道病害渐变的特征,对轨道病害具有针对性的处理。另外选取可靠帧可以减少计算量,从而提高计算效率。
本步骤具体包括:
(3.1)对历史监测视频进行稀疏采样,得到若干历史采样视频帧;
(3.2)将预处理后的监测期监测视频划分为多个视频段,得到视频段集合V={vi|i=1,…,n},n为划分的视频段个数;
(3.3)对于视频段vi,从其所有帧中筛选出显著块;
筛选显著块的具体过程为:(3.3.1)对于视频段vi,将其每一帧都划分为多个a×a像素的图像块,a为划分的图像块的尺寸,且0<a<10;本实施例选择a=4。(3.3.2)将划分得到的图像块中剔除位于边界的图像块;(3.3.3)计算步骤(3.3.2)处理后剩余的每一图像块与四个相邻的图像块的平均相关差异值;(3.3.4)将平均相关差异值大于预设阈值的图像块作为显著块。
由于前景将会被包含在显著块中,接下来需要对这些显著快做处理。由于对于一个视频帧序列来说,其前景物体在整个视频序列中一般是不变的,所以他们在颜色空间的变化相对较小。因此,可以认为它们的前景部分颜色分布在整个视频序列中具有低秩的特点。那么,在视频序列中稀疏度较低的视频帧,可以认为其初步结果相对于周围的帧具有更高的准确度。
(3.4)将每一显著块的RGB颜色值投影到一个10×10×10的三维空间颜色模型中,并对所述三维空间颜色模型进行高斯扩散。
步骤(3.4)具体包括:
(3.4.1)将RGB颜色模型的R、G、B取值范围0-255分别等分为10个区间,从而形成一个10×10×10的三维空间颜色模型;即形成一个10×10×10的立方体,其共有1000个点。
(3.4.2)将显著块的各像素的RGB颜色值投影到所述三维空间颜色模型中,并对所述投影采用高斯球模型进行三维扩散。
其中,投影的坐标转换公式为:
式中,(Rp,Gp,Bp)为显著块中像素点p的RGB颜色值,(xp,yp,zp)为像素点p投影到三维空间颜色模型中的坐标值,为三维空间颜色模型中坐标(xp,yp,zp)位置上的颜色值,ceil()表示向上取整函数。
其中,因为10×10×10相对于使用显著块个数来说较大,为了防止颜色分布很稀疏的情况,对投影采用高斯球模型进行三维扩散,具体扩散公式为:
式中,Cx,y,z为扩散后坐标(x,y,z)位置上的颜色值,Cpos为位置pos上的颜色值,d表示位置pos与位置(x,y,z)之间的曼哈顿距离。
(3.5)将三维空间上各点的颜色值形成一个一维向量,将所述一维向量作为当前显著块的颜色分布向量。
其中,因为三维空间颜色为10×10×10的,故而有1000个点,1000个点的统计值形成一个1000的一维向量。
(3.6)将属于一个视频帧的所有显著块的颜色分布向量按照顺序组成颜色矩阵,并对所述颜色矩阵采用RPCA(Robust Principal Component Analysis)进行稀疏低秩矩阵分解,得到稀疏矩阵;
例如,某个视频帧的有显著块3个,分别为K1,K2,K3,其对应的颜色分布向量分别为cl1,cl2,cl3,则形成的颜色矩阵为G=[cl1,cl2,cl3]。
其中,RPCA是矩阵分解方法,矩阵G=A+B,A为低秩部分,B为稀疏部分。
(3.7)将分解得到的稀疏矩阵与每一历史采样视频帧进行偏差值计算,并将偏差值累加,选取偏差累加值ESUM大于预设阈值的视频帧作为视频段vi的可靠帧,i=1,…,n。
步骤四、对于预处理后的监测期监测视频,选取其中相对上下帧具有特征突变的帧作为可靠帧。该步骤具体包括
(4.1)获取步骤(1)预处理后的监测期监测视频;
(4.2)对于监测期监测视频的每一帧,按照以下公式分别计算其与上一帧和下一帧的亮度差值、颜色差值和纹理差值:
Li=(l(Pi)-l(Pi-1))+(l(Pi)-l(Pi+1))
Ci=(c(Pi)-c(Pi-1))+(c(Pi)-c(Pi+1))
Ti=(t(Pi)-t(Pi-1))+(t(Pi)-t(Pi+1))
式中,Pi表示当前视频帧,Pi-1、Pi+1分别表示上一帧和下一帧,Li、Ci、Ti分别表示当前视频帧Pi与上一帧和下一帧的亮度差值、颜色差值、纹理差值,l(·)表示视频帧的亮度值,c(·)表示视频帧的颜色值,t(·)表示视频帧的纹理值;
步骤五、采用自适应传递方法,根据所有可靠帧计算得到时间显著性值,作为时间显著图。具体包括:
(5.2)采用自适应传递的方法,采用下式计算得到每一可靠帧的时间显著性值:
(5.3)所有可靠帧的时间显著性值形成时间显著图。
步骤六、将空间显著性图和时间显著图融合,得到粗糙时空显著图。
步骤七、对粗糙时空显著图进行考虑背景先验、中心先验以及空间紧密度因素的图像处理,得到改进时空显著性图。
(1)背景先验因素:
在处理过程中,通过抑制背景区域是得到准确显著值的一个重要手段。我们可以通过衡量背景区域与其他区域的差异,差异越大显著性越高,反之显著性越低。提出采用马尔科夫吸收链的方法来计算各个超像素的背景先验值,将边缘超像素看作吸收节点,同时计算其他节点的平均吸收时间作为显著值。
马尔科夫过程分析是利用状态间的状态转移概率pij反映系统状态的动态变化,表示从第i个状态经过一步转移到第j状态的概率。以状态转移概率为元素的矩阵称为马尔可夫链的一步状态转移概率矩阵,简称转移矩阵。若pii=1,则称i为吸收状态。那么至少具有一个吸收状态的马尔可夫链被称为吸收链。假设一个吸收链有r个吸收状态,t个转移状态。转移矩阵的标准形式可以表示为:
其中Q∈[0,1]t×t表示转移状态之间的转移概率,R∈[0,1]t×t表示从转移状态到吸收状态的转移概率。0表示r×t的零矩阵,I为吸收状态之间的转移概率,是一个单位矩阵。那么我们可以得到P的基本矩阵为:
N=(I-Q)-1
其中N中的元素nij可被看做链从转移状态i到转移状态j的期望时间,因此,在链中从每个转移状态出发最终到吸收态的期望时间可以表示为:
Y=N×c
其中c表示t维的单位列向量。定义邻近节点i与节点j之间边界的权重为:
wij=exp(-||xi-xj||/δ2)
其中xi与xj分别表示超像素i和j在CIELab空间的特征均值,δ为控制权重的常量。因此我们可以得到关联矩阵A的元素定义:
其中N(i)为与节点i相连接的节点集合。对角阵D表示连接每个节点的权重和,定义为:
D=diag(∑jaij)
因此转移矩阵可以表示为:
P=D-1+A
根据公式N=(I-Q)-1可以推得N值,进而推得每个超像素的平均吸收时间即期望值Sia,即量化背景先验值,从而得到背景先验图。
(2)中心先验因素:
中心先验的一个重要衡量标准在于每个像素相对于中心像素的距离,可以定义如下距离来衡量中心先验的大小:
其中(x0,y0)=(W/2,H/2)表示图像的中心。对于划分成超像素的情况来说,可利用各向同性高斯核函数来计算超像素的位置显著值。
(3)空间紧密度计算:
空间紧密度反映的是超像素在图像的空间分布,通过分布情况来获取显著目标。计算超像素νi的空间紧密度值为Ds(i),公式为
综上三方面的考虑因素,背景先验因素能够很好的抑制背景区域,中心先验因素和空间紧密度可以很好地凸显显著目标的亮度,因此可以将三种考虑因素运用在粗糙时空显著图像处理中,得到最终的时空显著值:
S(i)=norm(Sia*exp(1-norm(Sib+Sic))).
步骤八、根据改进时空显著性图得到轨道病害显著权值,利用权值采用基于显著性加权模型的半监督分类方法对高速铁路轨道病害进行识别分类。
通过之前的分析轨道视频时空显著性,得到了改进的时空显著图。由显著图我们可以对显著性区域进行权值划分,对于显著性高的区域,我们将其分类对比权重也相应调高,则认为在最显著的病害区域应该与已有的类别病害图最为相似。利用训练好的分类器,可识别提取的病害,首先根据待分类病害的颜色直方图、纹理特征、SIFT特征分别计算其在每个类别中的概率p(Y|X);然后,根据概率p(Y|X)进行分类:若该样本在哪一个类别分布函数下的后验概率p(Y|X)最大,它便属于哪一类。
以上所揭露的仅为本发明一种较佳实施例而已,不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (6)
1.一种基于显著性分析的轨道板病害检测方法,其特征在于:该方法包括:
(1)获取监测期的轨道板监测视频,并对监测视频进行光照预处理,使得监测视频的光照强度统一;
(2)采用Itti算法从预处理后监测期监测视频帧中提取出颜色、亮度和方向上的特征,并进行融合得到空间显著图;
(3)对历史监测视频进行稀疏采样,并将采样的视频帧与步骤(1)预处理后的监测期监测视频帧进行差异计算,选取差异大于预设阈值的监测期监测视频帧作为可靠帧;
(4)对于步骤(1)预处理后的监测期监测视频,选取其中相对上下帧具有特征突变的帧作为可靠帧;具体包括:
(4.1)获取步骤(1)预处理后的监测期监测视频;
(4.2)对于监测期监测视频的每一帧,按照以下公式分别计算其与上一帧和下一帧的亮度差值、颜色差值和纹理差值:
Li=(l(Pi)-l(Pi-1))+(l(Pi)-l(Pi+1))
Ci=(c(Pi)-c(Pi-1))+(c(Pi)-c(Pi+1))
Ti=(t(Pi)-t(Pi-1))+(t(Pi)-t(Pi+1))
式中,Pi表示当前视频帧,Pi-1、Pi+1分别表示上一帧和下一帧,Li、Ci、Ti分别表示当前视频帧Pi与上一帧和下一帧的亮度差值、颜色差值、纹理差值,l(·)表示视频帧的亮度值,c(·)表示视频帧的颜色值,t(·)表示视频帧的纹理值;
(5)采用自适应传递方法,根据所有可靠帧计算得到时间显著性值,作为时间显著图;
(6)将空间显著性图和时间显著图融合,得到粗糙时空显著图;
(7)对粗糙时空显著图进行考虑背景先验、中心先验以及空间紧密度因素的图像处理,得到改进时空显著性图,改进时空显著性图中时空显著值S(i)为:
S(i)=norm(Sia*exp(1-norm(Sib+Sic))
Sia为超像素的平均吸收时间,即量化背景先验值,Sib为超像素的位置显著值,Sic为超像素的空间紧密度值;
(8)根据改进时空显著性图得到轨道病害显著权值,利用权值采用基于显著性加权模型的半监督分类方法对高速铁路轨道病害进行识别分类。
2.根据权利要求1所述的基于显著性分析的轨道板病害检测方法,其特征在于:步骤(1)具体包括:
(1.1)获取轨道板的监测视频;
(1.2)使用OpenCV函数库中的Range函数截取监测视频中每一帧中重点关注位置的图像,忽略底部一些因光照阴影形成的黑暗区域;
(1.3)使用OpenCV函数库中cvEqualizeHist函数将截取图像的直方图均衡化,实现光照强度统一。
3.根据权利要求1所述的基于显著性分析的轨道板病害检测方法,其特征在于:步骤(3)具体包括:
(3.1)对历史监测视频进行稀疏采样,得到若干历史采样视频帧;
(3.2)将预处理后的监测期监测视频划分为多个视频段,得到视频段集合V={vi|i=1,…,n},n为划分的视频段个数;
(3.3)对于视频段vi,从其所有帧中筛选出显著块;
(3.4)将每一显著块的RGB颜色值投影到一个10×10×10的三维空间颜色模型中,并对所述三维空间颜色模型进行高斯扩散;
(3.5)将三维空间上各点的颜色值形成一个一维向量,将所述一维向量作为当前显著块的颜色分布向量;
(3.6)将属于一个视频帧的所有显著块的颜色分布向量按照顺序组成颜色矩阵,并对所述颜色矩阵采用RPCA进行稀疏低秩矩阵分解,得到稀疏矩阵;
(3.7)将分解得到的稀疏矩阵与每一历史采样视频帧进行偏差值计算,并将偏差值累加,选取偏差累加值ESUM大于预设阈值的视频帧作为视频段vi的可靠帧,i=1,…,n。
4.根据权利要求3所述的基于显著性分析的轨道板病害检测方法,其特征在于:步骤(3.3)具体包括:
(3.3.1)对于视频段vi,将其每一帧都划分为多个a×a像素的图像块,a为划分的图像块的尺寸,且0<a<10;
(3.3.2)将划分得到的图像块中剔除位于边界的图像块;
(3.3.3)计算步骤(3.3.2)处理后剩余的每一图像块与四个相邻的图像块的平均相关差异值;
(3.3.4)将平均相关差异值大于预设阈值的图像块作为显著块。
5.根据权利要求3所述的基于显著性分析的轨道板病害检测方法,其特征在于:步骤(3.4)具体包括:
(3.4.1)将RGB颜色模型的R、G、B取值范围0-255分别等分为10个区间,从而形成一个10×10×10的三维空间颜色模型;
(3.4.2)将显著块的各像素的RGB颜色值投影到所述三维空间颜色模型中,并对所述投影采用高斯球模型进行三维扩散;
其中,投影的坐标转换公式为:
式中,(Rp,Gp,Bp)为显著块中像素点p的RGB颜色值,(xp,yp,zp)为像素点p投影到三维空间颜色模型中的坐标值,为三维空间颜色模型中坐标(xp,yp,zp)位置上的颜色值,ceil()表示向上取整函数;
其中,三维扩散公式为:
式中,Cx,y,z为扩散后坐标(x,y,z)位置上的颜色值,Cpos为投影后位置pos上颜色值,d表示位置pos与位置(x,y,z)之间的曼哈顿距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810687093.8A CN109064444B (zh) | 2018-06-28 | 2018-06-28 | 基于显著性分析的轨道板病害检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810687093.8A CN109064444B (zh) | 2018-06-28 | 2018-06-28 | 基于显著性分析的轨道板病害检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109064444A CN109064444A (zh) | 2018-12-21 |
CN109064444B true CN109064444B (zh) | 2021-09-28 |
Family
ID=64817728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810687093.8A Active CN109064444B (zh) | 2018-06-28 | 2018-06-28 | 基于显著性分析的轨道板病害检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109064444B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635790A (zh) * | 2019-01-28 | 2019-04-16 | 杭州电子科技大学 | 一种基于3d卷积的行人异常行为识别方法 |
CN110827193B (zh) * | 2019-10-21 | 2023-05-09 | 国家广播电视总局广播电视规划院 | 基于多通道特征的全景视频显著性检测方法 |
CN117953349B (zh) * | 2024-03-22 | 2024-06-11 | 广东海洋大学 | 一种中药材的病虫害检测方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101103378A (zh) * | 2005-01-10 | 2008-01-09 | 汤姆森许可贸易公司 | 用于创建图像的显著图的设备和方法 |
CN103020965A (zh) * | 2012-11-29 | 2013-04-03 | 奇瑞汽车股份有限公司 | 一种基于显著性检测的前景分割方法 |
CN105303571A (zh) * | 2015-10-23 | 2016-02-03 | 苏州大学 | 用于视频处理的时空显著性检测方法 |
CN106611427A (zh) * | 2015-10-21 | 2017-05-03 | 中国人民解放军理工大学 | 基于候选区域融合的视频显著性检测方法 |
-
2018
- 2018-06-28 CN CN201810687093.8A patent/CN109064444B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101103378A (zh) * | 2005-01-10 | 2008-01-09 | 汤姆森许可贸易公司 | 用于创建图像的显著图的设备和方法 |
CN103020965A (zh) * | 2012-11-29 | 2013-04-03 | 奇瑞汽车股份有限公司 | 一种基于显著性检测的前景分割方法 |
CN106611427A (zh) * | 2015-10-21 | 2017-05-03 | 中国人民解放军理工大学 | 基于候选区域融合的视频显著性检测方法 |
CN105303571A (zh) * | 2015-10-23 | 2016-02-03 | 苏州大学 | 用于视频处理的时空显著性检测方法 |
Non-Patent Citations (1)
Title |
---|
融合背景先验与中心先验的显著性目标检测;周帅骏等;《中国图象图形学报》;20170516(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109064444A (zh) | 2018-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110598610B (zh) | 一种基于神经选择注意的目标显著性检测方法 | |
Matsushita et al. | Illumination normalization with time-dependent intrinsic images for video surveillance | |
Dudhane et al. | C^ 2msnet: A novel approach for single image haze removal | |
CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
CN111723693B (zh) | 一种基于小样本学习的人群计数方法 | |
CN105930822A (zh) | 一种人脸抓拍方法及系统 | |
CN115294117B (zh) | Led灯珠的缺陷检测方法及相关装置 | |
CN105139004A (zh) | 基于视频序列的人脸表情识别方法 | |
CN109903339B (zh) | 一种基于多维融合特征的视频群体人物定位检测方法 | |
CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
CN109064444B (zh) | 基于显著性分析的轨道板病害检测方法 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
Wang et al. | Background extraction based on joint gaussian conditional random fields | |
CA3136674A1 (en) | Methods and systems for crack detection using a fully convolutional network | |
CN117975577A (zh) | 一种基于面部动态集成的深度伪造检测方法及系统 | |
Xu et al. | A two-stage progressive shadow removal network | |
Gardziński et al. | Crowd density estimation based on voxel model in multi-view surveillance systems | |
CN117078608B (zh) | 一种基于双掩码引导的高反光皮革表面缺陷检测方法 | |
CN116681687B (zh) | 基于计算机视觉的导线检测方法、装置和计算机设备 | |
Bolten et al. | Evaluation of Deep Learning based 3D-Point-Cloud Processing Techniques for Semantic Segmentation of Neuromorphic Vision Sensor Event-streams. | |
Zhu et al. | Multi-feature fusion algorithm in VR panoramic image detail enhancement processing | |
CN109934103A (zh) | 基于暗通道先验和区域协方差检测图像中显著物体的方法 | |
Zhang et al. | LL-WSOD: Weakly supervised object detection in low-light | |
Zhang et al. | A unified saliency detection framework for visible and infrared images | |
CN111862098A (zh) | 基于光场语义的个体匹配方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |