CN112016558B - 一种基于图像质量的介质能见度识别方法 - Google Patents
一种基于图像质量的介质能见度识别方法 Download PDFInfo
- Publication number
- CN112016558B CN112016558B CN202010868567.6A CN202010868567A CN112016558B CN 112016558 B CN112016558 B CN 112016558B CN 202010868567 A CN202010868567 A CN 202010868567A CN 112016558 B CN112016558 B CN 112016558B
- Authority
- CN
- China
- Prior art keywords
- visibility
- image
- target
- algorithm
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000000306 recurrent effect Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及能见度识别技术领域,提供一种基于图像质量的介质能见度识别方法,包括:通过双目摄像头采集目标物的视频数据,并通过能见度测试仪采集能见度数据,得到两路视频信号和能见度信号;利用目标分割算法从双目摄像头采集的两路视频信号中分别提取目标物的位置;对得到目标物的提取结果,进行特征匹配;利用双目测距算法,得到目标物的距离信息,进而得到目标物检测距离与实际距离的偏差;利用图像质量预测能见度算法对双目摄像头采集的两路视频信号中的每一帧图像,进行图像质量预测能见度预测,预测得到的能见度区间;利用能见度平衡算法,进行最终的能见度预测。本发明能够提高介质能见度识别的准确性以及适应各种环境。
Description
技术领域
本发明涉及能见度识别技术领域,尤其涉及一种基于图像质量的介质能见度识别方法。
背景技术
能见度识别在航空航海、交通运输等方面具有重要意义,恶劣的天气状况、海洋环境会造成各种安全隐患,关系着人民群众的生命财产安全,如若相关部门能准确发布对应的能见度状况,就能帮助各行各业提高管理质量。
常用的能见度识别方法有人工目测法和器测法等。人工目测法通过在每个站点布置专门的观测站来判断能见度,目测法由于只凭人眼分辨和主观判断,导致规范性和客观性较差;器测法通过透射式能见度仪和激光雷达能见度测量仪等设备测量透射率、消光系数等来计算能见度,这些设备价格昂贵,场地要求高,局限性大,因此不能广泛使用。
发明内容
本发明主要解决现有技术的介质能见度识别价格昂贵、适用范围小和识别准确率低等技术问题,提出一种基于图像质量的介质能见度识别方法,以达到提高介质能见度识别的准确性以及适应各种环境的目的。
本发明提供了一种基于图像质量的介质能见度识别方法,包括以下过程:
步骤100,通过双目摄像头采集目标物的视频数据,并通过能见度测试仪采集能见度数据,得到两路视频信号和能见度信号;
步骤200,利用目标分割算法从双目摄像头采集的两路视频信号中分别提取目标物的位置,得到目标物的提取结果;
步骤300,对得到目标物的提取结果,进行特征匹配;
步骤400,利用双目测距算法,得到目标物的距离信息,进而得到目标物检测距离与实际距离的偏差;
步骤500,利用图像质量预测能见度算法对双目摄像头采集的两路视频信号中的每一帧图像,进行图像质量预测能见度预测,预测得到的能见度区间;
步骤600,利用能见度平衡算法,进行最终的能见度预测。
进一步的,步骤200包括以下过程:
步骤201,对视频两路视频信号中的每一帧图像,进行卷积神经网络提取特征;
步骤202,利用区域提取网络进行初步分类与回归;
步骤203,对候选框特征图进行对齐操作;
步骤204,利用卷积神经网络对目标进行分类、回归、分割,得到目标物的提取结果。
进一步的,步骤300包括以下过程:
步骤301,对两个目标物轮廓,进行提取关键点;
步骤302,对得到的关键点,进行定位关键点;
步骤303,根据定位的关键点,确定关键点的特征向量;
步骤304,通过各关键点的特征向量,关键点匹配。
进一步的,步骤400包括以下过程:
步骤401,对双目摄像头进行标定;
步骤402,对双目摄像头进行双目校正;
步骤403,对双目摄像头采集的图像进行双目匹配;
步骤404,计算双目匹配后的图像的深度信息,得到图像中目标物的距离信息。
进一步的,步骤500包括以下过程:
步骤501,对图像进行分割,实现对目标进行识别和定位;
步骤502,根据目标进行识别和定位结果,对图像能见度进行预测,得到图像分类结果。
进一步的,步骤600包括以下过程:
步骤601,构建能见度平衡算法网络结构,所述能见度平衡算法网络结构包括输入层、循环神经网络、全连接层和能见度区间输出层;
步骤602,将能见度依次输入循环神经网络,得到考虑时间序列的结果;
步骤603,将循环神经网络的输出连接一个全连接层,得到该时间序列所对应的能见度区间值。
本发明提供的一种基于图像质量的介质能见度识别方法,利用双目摄像头,全天候捕捉视频影像,利用测距算法得到的目标物检测距离与实际距离的偏差,利用图像质量预测能见度算法得到的能见度区间,并根据以上结果利用能见度平衡算法,进行最终的能见度预测。本发明能够识别当前的介质能见度,对介质能见度识别的准确率高、稳定性高,对常见各种情况的适应性强,不依赖于特定的视频采集设备。本发明的每个点位使用双目摄像头进行视频数据采集。双目摄像头的使用起到了一举多得的效果。两个镜头既可以独立使用,把每个镜头可以当作一个独立的视频信号源,两路信号进行交叉验证,又可以结合使用增加对距离的敏感性。
本发明可以应用在海底能见度识别、港区的大气能见度识别,以及其他需要进行介质能见度识别的场景。在港区的大气能见度识别时,通过对港区应用场景的分析,可以发现,港区面积大、作业区域分布广,因此,识别点位需要根据作业区域进行多点部署。港区内建设相对成熟,地形地貌特征和建筑外观相对稳定。便于在每个点位设定检测参照点,更有利于提高识别的稳定性和准确率。双目摄像头在港区内是多点部署,通过系统的时间戳控制,可以得到同一时间,各个点位的视频数据。同时,视频数据是时间维度上的图像序列,因此,通过本发明的方法可以得到不同时段,不同地点的大气能见度数据,供港口业务人员使用。
附图说明
图1是本发明提供的基于图像质量的介质能见度识别方法的实现流程图;
图2是特征金字塔网络结构的示意图;
图3是自底向上结构的示意图;
图4a-图4e是自底向上结构中每个阶段产生特征图的原理示意图;
图5是区域提取网络结构的示意图;
图6是对特征图进行对齐操作的效果图;
图7是分类、回归、分割网络结构的示意图;
图8是双目测距算法的原理示意图;
图9是双目测距的基本原理示意图;
图10是图像分割网络结构的示意图;
图11是图像能见度预测网络结构的示意图;
图12是能见度平衡算法网络结构的示意图;
图13a-图13b是循环神经网络结构的示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚,下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
图1是本发明提供的基于图像质量的介质能见度识别方法的实现流程图。如图1所示,本发明实施例提供的基于图像质量的介质能见度识别方法,包括:
步骤100,通过双目摄像头采集目标物的视频数据,并通过能见度测试仪采集能见度数据,得到两路视频信号和能见度信号。
由于本发明能见度识别的输出为离散值,即数字区间,如“500米以下”、“500米到1000米”的描述。因此,为了提高检测精度,利用测距算法得到的连续值,即检测距离,如“245.87米”、“1835.64米”的描述,来对其他算法检测出的离散值进行校正。因此需要设置目标参照物。目标参照物的选定原则:位置不变的固定物体;能见度良好的情况下,白天夜晚都能清晰辨认的物体;双目摄像头和目标物之间无遮挡;目标物与双目摄像头之间的距离符合能见度区间的分布,且分布均匀。距离差值100米左右为宜。
步骤200,利用目标分割算法从双目摄像头采集的两路视频信号中分别提取目标物的位置,得到目标物的提取结果。
从双目摄像头两路视频信号中分别提取目标物的位置,目的是防止单路检测出现错误导致后续计算失败。本步骤采用精确的目标分割算法,得到目标物的精确轮廓,能够提取目标物的准确位置,为后续处理做准备。
考虑到双目摄像头的视野(视角和焦距等)不会轻易变化,因此,理论上目标物出现在成像中的位置是固定不变的。但是在实际中,必须考虑到摄像头在风、海浪等作用下会产生晃动,或者其他外力作用下,导致视野发生轻微改变,甚至飞鸟、鱼群等干扰物会出现在视野中等因素,为了增加检测的准确性,在目标分割算法进行处理的时候,会根据先验条件设置视野中的热点区域,并提高热点区域内检测到的目标物的权值。
经过目标分割算法,在双目摄像头的两路视频帧信号中,理论上可以得到两个目标物的“精确轮廓”。此处所说的“精确轮廓”,会受到介质中不同情况的干扰,不同能见度情况下,检测到的“精确轮廓”可能不相同。我们在这个环节容忍这种干扰,因为干扰恰恰是包含了能见度的信息。如果此处没有得到两个“精确轮廓”,则说明该帧数据识别有误,或者由于某些原因导致识别无法正常进行,如某一录视频信号采集异常,或者某个镜头被遮挡。
没有满足上述条件的情况,该帧数据将被丢弃,等待下一帧数据的输入,重新识别。本方法在实际应用时,如果发生多帧连续出现上述情况,则需要进行报警,将视频信号保存,留待业务人员检查。
本步骤的目标分割是图像分析的第一步,是计算机视觉的基础,是图像理解的重要组成部分,同时也是图像处理中最困难的问题之一。所谓图像分割是指根据灰度、颜色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域,使得这些特征在同一区域内表现出一致性或相似性,而在不同区域间表现出明显的不同。简单的说就是在一副图像中,把目标从背景中分离出来。图像分割使得其后的图像分析,目标识别等高级处理阶段所要处理的数据量大大减少,同时又保留有关图像结构特征的信息。
目标分割算法主要分为:基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于深度学习的分割方法等。本步骤采用的目标分割算法的主要过程包括:
步骤201,对视频两路视频信号中的每一帧图像,进行卷积神经网络提取特征。
本步骤考虑图像的清晰度会随着摄像头参数不同而变化,所以采用多尺度特征提取方案,即特征金字塔网络。特征金字塔网络结构如图2所示。
特征金字塔网络分为两部分结构。左侧结构叫自底向上结构,该结构产出不同尺度的特征图,如图上C1到C5。C1到C5分别为不同尺度的特征图,从下至上,特征图尺寸不断变小,也意味着提取的特征维度越来越高。形状呈金字塔型,因此成为特征金字塔网络。右侧结构叫自顶向下结构,分别对应特征金字塔的每一层特征,两个结构间,相同级别的特征处理连接的箭头是横向连接。
这样做的目的是因为尺寸较小的高层特征具有较多语义信息,尺寸较大的低层特征语义信息少但位置信息多,通过这样的连接,每一层的特征图都融合了不同分辨率和不同语义强度的特征,因此在对不同分辨率的物体进行检测时,检测效果可以得到提升。
自底向上结构如图3所示,该网络结构中包含五个阶段,每个阶段用来计算不同尺寸的特征图,其缩放步长为2。每个阶段产生特征图的原理如图4a-图4e所示。我们使用每个阶段输出的C1、C2、C3、C4、C5特征图用于构建特征金字塔网络结构。
自顶向下结构如图2中金字塔网络结构右侧所示。首先对具有更强语义信息的高层特征图进行上采样,得到和低层特征图相同的尺寸。然后,将具有相同尺寸的自底向上和自顶向下结构中的特征图进行横向连接。按元素相加的方式,将两个特征图映射合并。最后,为了减少上采样带来的混叠效应,在每个合并的特征图上附加一个卷积层得到最终的特征图,即P2、P3、P4、P5。
步骤202,利用区域提取网络进行初步分类与回归。
区域提取网络结构如图5所示。基于上述特征金字塔网络得到的特征图P2、P3、P4、P5,首先根据锚框生成规则生成特征图上每个点对应原图的锚框,然后将P2、P3、P4、P5特征图输入到区域提取网络,区域提取网络包含一个卷积层和一个全连接层,最终得到每个锚框的分类、回归结果,具体包含每个锚框的前景、背景分类得分及每个锚框的边界框坐标修正信息。最后根据阈值选取出符合前景得分条件的锚框并进行边界框修正,修正之后的锚框称为候选框。
步骤203,对候选框特征图进行对齐操作。
通过区域提取网络,得到符合得分要求的候选框,并将这些候选框映射回特征图上。根据以下公式得到候选框所对应的特征图层数:
其中,w表示候选框的宽度,h表示候选框的高度,k表示这个候选框所对应的特征层层数,k0是w,h=224时映射的层数,一般取4,即对应着P4层。然后,通过双线性内插的方法获得候选框所对应的特征图,所得到的特征图尺寸是一致的。对特征图进行对齐操作效果如图6所示。
步骤204,利用卷积神经网络对目标进行分类、回归、分割,得到目标物的提取结果。
分类、回归、分割网络结构如图7所示。基于上述所得固定尺寸的候选框特征图,经过分类、回归网络,计算候选框的分类得分和坐标偏移量并对候选框进行边界框修正。经过分割网络,对候选框内的目标进行分割。最终,经过目标分割算法可以得到图像中目标的分类、边界框回归及分割结果,进而得到目标物的提取结果。
步骤300,对得到目标物的提取结果,进行特征匹配。
通过步骤200的目标分割算法,得到了两个目标物轮廓,但是这两个目标物轮廓在不同的视频帧中的位置和角度是不一样的,这一步需要将两个目标物轮廓进行特征匹配。特征匹配算法需要对两个目标物轮廓进行特征比对,找到成像中不同位置的同一物体的同一个点。因为后续的测距算法,必须要根据某个确定的像素点进行计算。在这一环节,为了尽可能保证提取到的是同一个点,会进行多次采样取均值的方法确定最后结果。并记录该点在不同的成像中的像素位置。具体包括以下过程:
步骤301,对两个目标物轮廓,进行提取关键点。
关键点是一些十分突出的不会因光照、尺度、旋转等因素而消失的点,比如角点、边缘点、暗区域的亮点以及亮区域的暗点。本步骤是搜索所有尺度空间上的图像位置。通过高斯微分函数来识别潜在的具有尺度和旋转不变的兴趣点。
步骤302,对得到的关键点,进行定位关键点。
在每个候选的位置上,通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
步骤303,根据定位的关键点,确定关键点的特征向量。
基于图像局部的梯度方向,分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,从而提供对于这些变换的不变性。
步骤304,通过各关键点的特征向量,关键点匹配。
通过各关键点的特征向量,进行两两比较找出相互匹配的若干对特征点,建立物体间特征的对应关系。最终,可通过对应关系计算出关键点之间的距离。
步骤400,利用双目测距算法,得到目标物的距离信息,进而得到目标物检测距离与实际距离的偏差。
双目测距算法的原理图如图8所示。由图8可见,测距算法的误差会受到左右两个相机间距的测量误差、相机焦距的测量误差、相机与目标物的垂直高度差的测量误差等因素的影响。这些误差是不可避免的。但本步骤并不是要测量目标物的精确距离,只是建立实际距离与不同能见度情况影响下的检测距离的关联关系。并且,由于后续由神经网络的存在,可以将本步骤产生的误差通过后续神经网络减少影响。测距算法的输出值为检测距离值(连续值)。双目测距的基本原理如图9所示。本步骤具体包括以下过程:
步骤401,对双目摄像头进行标定。
摄像头由于光学透镜的特性使得成像存在着径向畸变,可由三个参数k1、k2、k3确定,径向畸变公式为:Xdr=X(1+k1×r2+k2×r4+k3×r6),Ydr=Y(1+k1×r2+k2×r4+k3×r6),r2=X2+Y2,式中,(X,Y)是无畸变的图像像素点坐标,(Xdr,Ydr)是畸变后图像像素点坐标;由于装配方面的误差,摄像头的传感器与光学镜头之间并非完全平行,因此成像存在切向畸变,可由两个参数p1、p2确定,切向畸变公式为:Xdt=2p1×X×Y+p2(r2+2×X2)+1,Ydt=2p1(r2+2×Y2)+2p2×X×Y+1,式中,(X,Y)是无畸变的图像像素点坐标,(Xdt,Ydt)是畸变后图像像素点坐标。单个摄像头的定标主要是计算出摄像头的内参(焦距f和成像原点cx、cy,五个畸变参数(一般只需要计算出k1、k2、p1、p2,对于鱼眼镜头等径向畸变特别大的才需要计算k3))以及外参(标定物的世界坐标)。双目摄像头定标不仅要得出每个摄像头的内部参数,还需要通过标定来测量两个摄像头之间的相对位置(即右摄像头相对于左摄像头的旋转矩阵R、平移向量t)。
步骤402,对双目摄像头进行双目校正。
双目校正是根据摄像头定标后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量),分别对左右视图进行消除畸变和行对准,使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号,只需在该行进行一维搜索即可匹配到对应点。
步骤403,对双目摄像头采集的图像进行双目匹配。
双目匹配的作用是把同一场景在左右视图上对应的像点匹配起来,这样做的目的是为了得到视差数据。
步骤404,计算双目匹配后的图像的深度信息,得到图像中目标物的距离信息。
P是待测物体上的某一点,L和R分别是左右相机的光心,点P在两个相机感光器上的成像点分别为p和p′(相机的成像平面经过旋转后放在了镜头前方),f表示相机焦距,b表示两个相机中心距,z表示所求目标物的距离,设p和p′的距离为dis,则
dis=b-(XR-XL)
根据三角形相似原理:
可得:
公式中,焦距f和摄像头中心距b可以通过标定得到,所以只要获得了XR-XL(即,视差d)的值即可得到深度信息。视差值可根据第二个特征匹配算法中的匹配关键点计算得出。最终,经过双目测距算法可以得到图像中目标物的距离信息,进而得到目标物检测距离与实际距离的偏差。
步骤500,利用图像质量预测能见度算法对双目摄像头采集的两路视频信号中的每一帧图像,进行图像质量预测能见度预测,预测得到的能见度区间。
图像质量预测能见度算法是一种利用图像宏观信息来预测能见度的方法,主要是基于图像中介质背景下物体的清晰度、对比度来预测能见度。本环节不能直接接收视频帧信号,而是需要过滤掉图像中的近景高频信息,将介质背景的低频信息提取出来,然后进行图像的分析和预测。为了使本发明能够适应白天和夜晚,并且提高在不同情况下的预测准确率,在该算法的训练过程,需要提供大量视频数据,以及相同时间戳的能见度检测仪的检测数据。本步骤的输出为能见度的区间值(离散值)。本步骤主要分为以下两步:
步骤501,对图像进行分割,实现对目标进行识别和定位。
图像分割网络结构如图10所示。图像经过三个卷积块对其进行特征提取,然后连接两层全连接层,得到图像中目标的分类得分和边界框位置,最后选取出得分最高的作为输出,提取出最有可能存在目标的边界框,从而达到对目标进行识别和定位的目的。
步骤502,根据目标进行识别和定位结果,对图像能见度进行预测,得到图像分类结果。
图像能见度预测网络结构如图11所示。基于上述图像分割结果,可得到预测能见度图像。由于图像场景比较复杂,因此网络结构中包含了三个模块,每个模块都使用了四种不同的卷积核,用来提取图像不同尺度的特征,增加了特征多样性,提高了分类准确率。在每个模块的输出端将提取到的各种特征在通道维度上进行拼接合并,得到多尺度的特征图。最后,经过全连接层对图像进行分类,得到图像分类结果,实现预测得到的能见度区间。
步骤600,利用能见度平衡算法,进行最终的能见度预测。
经过步骤200-步骤500的处理过程,在一帧视频数据中得到了两个与能见度相关的结果:(1)步骤400中利用测距算法得到的目标物检测距离与实际距离的偏差(连续值)。这个偏差的产生跟能见度有很大且直接的关联。(2)步骤500中利用图像质量预测能见度算法得到的能见度区间(离散值)。
对于多个计算结果的平衡策略,传统上通常采用直接取均值,或者排除异常值后取均值的方法。为了进一步提高检测准确率,在本步骤采取多帧结果循环校验的方法。在与能见度变化速度相比的短时间内(如1分钟),按照一定时间间隔(如5秒),取得多帧数据进行计算,按照时间顺序,将每帧的检测结果输入能见度平衡算法,得到最终的能见度区间值。步骤600包括以下过程:
步骤601,构建能见度平衡算法网络结构,所述能见度平衡算法网络结构包括输入层、循环神经网络、全连接层和能见度区间输出层。
能见度平衡算法网络结构如图12所示。如图12所示,所述能见度平衡算法网络结构包括输入层、循环神经网络、全连接层和能见度区间输出层。能见度平衡算法网络按照时间顺序输入能见度,每个时间节点输入的能见度特征长度为3,分别为步骤400中测距算法得到的目标物检测距离与实际距离的偏差、步骤500中图像质量预测能见度算法得到的能见度区间。
步骤602,将能见度依次输入循环神经网络,得到考虑时间序列的结果。
本发明利用能见度平衡算法,能够在时间维度上,对于多次计算结果进行平衡,能够减少单帧计算错误的影响。但是在不同时间戳取得的结果,前后具有一定关联性,即短时间内,能见度的变化不会很剧烈。所以可以利用时间维度,对多个检测数值进行校正。所以能见度平衡首先采用循环神经网络来进行处理。循环神经网络的特点是每一次计算,需要考虑上一次计算的结果,作为先验输入,可实现对后续的计算进行校正的效果。在校正后,得到了不同时间戳的计算结果,再后接一个全连接神经网络,对多次计算结果进行整合,得到最终结果。循环神经网络结构如图13a-图13b所示。所述循环神经网络结构包括:输入层、循环层和输出层。
循环神经网络具有按照输入数据顺序递归学习的特性,因此可用来处理和序列相关的数据。从网络结构可以看出,循环神经网络会记忆之前的信息,并利用之前的信息影响后面结点的输出。也就是说,循环神经网络的隐藏层之间的结点是有连接的,隐藏层的输入不仅包括输入层的输出,还包括上时刻隐藏层的输出。
给定按序列输入的数据X={X1,X2,…,Xt},X的特征长度为c,展开长度为t。循环神经网络的输出ht计算公式为:
ht=tanh(W*Xt+W*ht-1)
其中,W为隐藏层参数,tanh为激活函数。由公式可以看出,t时刻的输出不仅取决于当前时刻的输入Xt,还取决于前一时刻的输出ht-1。
步骤603,将循环神经网络的输出连接一个全连接层,得到该时间序列所对应的能见度区间值。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (3)
1.一种基于图像质量的介质能见度识别方法,其特征在于,包括以下过程:
步骤100,通过双目摄像头采集目标物的视频数据,并通过能见度测试仪采集能见度数据,得到两路视频信号和能见度信号;
步骤200,利用目标分割算法从双目摄像头采集的两路视频信号中分别提取目标物的位置,得到目标物的提取结果;
步骤300,对得到目标物的提取结果,进行特征匹配;
步骤400,利用双目测距算法,得到目标物的距离信息,进而得到目标物检测距离与实际距离的偏差;步骤400包括以下步骤401至步骤404:
步骤401,对双目摄像头进行标定;
步骤402,对双目摄像头进行双目校正;
步骤403,对双目摄像头采集的图像进行双目匹配;
步骤404,计算双目匹配后的图像的深度信息,得到图像中目标物的距离信息;
步骤500,利用图像质量预测能见度算法对双目摄像头采集的两路视频信号中的每一帧图像,进行图像质量预测能见度预测,预测得到的能见度区间;步骤500包括以下步骤501至步骤502:
步骤501,对图像进行分割,实现对目标进行识别和定位;
步骤502,根据目标进行识别和定位结果,对图像能见度进行预测,得到图像分类结果;
步骤600,利用能见度平衡算法,进行最终的能见度预测;步骤600包括以下步骤601至步骤603:
步骤601,构建能见度平衡算法网络结构,所述能见度平衡算法网络结构包括输入层、循环神经网络、全连接层和能见度区间输出层;
步骤602,将能见度依次输入循环神经网络,得到考虑时间序列的结果;
步骤603,将循环神经网络的输出连接一个全连接层,得到该时间序列所对应的能见度区间值。
2.根据权利要求1所述的基于图像质量的介质能见度识别方法,其特征在于,步骤200包括以下过程:
步骤201,对视频两路视频信号中的每一帧图像,进行卷积神经网络提取特征;
步骤202,利用区域提取网络进行初步分类与回归;
步骤203,对候选框特征图进行对齐操作;
步骤204,利用卷积神经网络对目标进行分类、回归、分割,得到目标物的提取结果。
3.根据权利要求1所述的基于图像质量的介质能见度识别方法,其特征在于,步骤300包括以下过程:
步骤301,对两个目标物轮廓,进行提取关键点;
步骤302,对得到的关键点,进行定位关键点;
步骤303,根据定位的关键点,确定关键点的特征向量;
步骤304,通过各关键点的特征向量,关键点匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010868567.6A CN112016558B (zh) | 2020-08-26 | 2020-08-26 | 一种基于图像质量的介质能见度识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010868567.6A CN112016558B (zh) | 2020-08-26 | 2020-08-26 | 一种基于图像质量的介质能见度识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112016558A CN112016558A (zh) | 2020-12-01 |
CN112016558B true CN112016558B (zh) | 2024-05-31 |
Family
ID=73502217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010868567.6A Active CN112016558B (zh) | 2020-08-26 | 2020-08-26 | 一种基于图像质量的介质能见度识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112016558B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538350B (zh) * | 2021-06-29 | 2022-10-04 | 河北深保投资发展有限公司 | 一种基于多摄像头识别基坑深度的方法 |
CN114216613B (zh) * | 2021-12-14 | 2024-06-11 | 浙江浙能技术研究院有限公司 | 一种基于双目摄像头的气体泄漏量测量方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100715140B1 (ko) * | 2006-05-23 | 2007-05-08 | (주)비알유 | 시정 측정 장치 및 그 방법 |
CN104677330A (zh) * | 2013-11-29 | 2015-06-03 | 哈尔滨智晟天诚科技开发有限公司 | 一种小型双目立体视觉测距系统 |
CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
CN110689021A (zh) * | 2019-10-17 | 2020-01-14 | 哈尔滨理工大学 | 一种基于深度学习的低可见度环境下实时目标检测方法 |
CN110849807A (zh) * | 2019-11-22 | 2020-02-28 | 山东交通学院 | 一种基于深度学习的适用于道路能见度的监测方法与系统 |
CN110889398A (zh) * | 2019-12-19 | 2020-03-17 | 南通大学 | 一种基于相似度网络的多模态图像能见度检测方法 |
CN111191629A (zh) * | 2020-01-07 | 2020-05-22 | 中国人民解放军国防科技大学 | 一种基于多目标的图像能见度检测方法 |
CN111383256A (zh) * | 2018-12-29 | 2020-07-07 | 北京市商汤科技开发有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8086006B2 (en) * | 2007-09-21 | 2011-12-27 | Siemens Aktiengesellschaft | Method and system for evaluating image segmentation based on visibility |
-
2020
- 2020-08-26 CN CN202010868567.6A patent/CN112016558B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100715140B1 (ko) * | 2006-05-23 | 2007-05-08 | (주)비알유 | 시정 측정 장치 및 그 방법 |
CN104677330A (zh) * | 2013-11-29 | 2015-06-03 | 哈尔滨智晟天诚科技开发有限公司 | 一种小型双目立体视觉测距系统 |
CN111383256A (zh) * | 2018-12-29 | 2020-07-07 | 北京市商汤科技开发有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
CN110689021A (zh) * | 2019-10-17 | 2020-01-14 | 哈尔滨理工大学 | 一种基于深度学习的低可见度环境下实时目标检测方法 |
CN110849807A (zh) * | 2019-11-22 | 2020-02-28 | 山东交通学院 | 一种基于深度学习的适用于道路能见度的监测方法与系统 |
CN110889398A (zh) * | 2019-12-19 | 2020-03-17 | 南通大学 | 一种基于相似度网络的多模态图像能见度检测方法 |
CN111191629A (zh) * | 2020-01-07 | 2020-05-22 | 中国人民解放军国防科技大学 | 一种基于多目标的图像能见度检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112016558A (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112017243B (zh) | 一种介质能见度识别方法 | |
Koch et al. | Evaluation of cnn-based single-image depth estimation methods | |
CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
CN104574393B (zh) | 一种三维路面裂缝图像生成系统和方法 | |
CN111462128B (zh) | 一种基于多模态光谱图像的像素级图像分割系统及方法 | |
CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
CN109253722B (zh) | 融合语义分割的单目测距系统、方法、设备及存储介质 | |
CN108981672A (zh) | 基于单目机器人与测距传感器结合的舱门实时定位方法 | |
CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
JP6858415B2 (ja) | 海面計測システム、海面計測方法および海面計測プログラム | |
CN110245566B (zh) | 一种基于背景特征的红外目标远距离追踪方法 | |
CN108491810A (zh) | 基于背景建模和双目视觉的车辆限高方法及系统 | |
CN112016558B (zh) | 一种基于图像质量的介质能见度识别方法 | |
CN109341668A (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
CN109657717A (zh) | 一种基于多尺度密集结构特征提取的异源图像匹配方法 | |
CN105787870A (zh) | 一种图形图像拼接融合系统 | |
CN110929782B (zh) | 一种基于正射影像图对比的河道异常检测方法 | |
CN109784229B (zh) | 一种地面建筑物数据融合的复合识别方法 | |
CN112014393B (zh) | 一种基于目标视觉效果的介质能见度识别方法 | |
CN112924037A (zh) | 基于图像配准的红外体温检测系统及检测方法 | |
CN114898144B (zh) | 一种基于相机和毫米波雷达数据的自动对齐方法 | |
CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
CN116758149A (zh) | 一种基于无人机系统的桥梁结构位移检测方法 | |
CN114821035A (zh) | 一种电力设备红外测温设备距离参数识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |