CN114742975A - 一种车载图像铁轨曲线建模方法 - Google Patents
一种车载图像铁轨曲线建模方法 Download PDFInfo
- Publication number
- CN114742975A CN114742975A CN202210649992.5A CN202210649992A CN114742975A CN 114742975 A CN114742975 A CN 114742975A CN 202210649992 A CN202210649992 A CN 202210649992A CN 114742975 A CN114742975 A CN 114742975A
- Authority
- CN
- China
- Prior art keywords
- rail
- parameters
- curve
- point
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 230000014509 gene expression Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 40
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 14
- 229910052742 iron Inorganic materials 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000002250 progressing effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003137 locomotive effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000004925 denaturation Methods 0.000 description 1
- 230000036425 denaturation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Pure & Applied Mathematics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种车载图像铁轨曲线建模方法,所述车载图像铁轨曲线建模方法包括:S1:根据基函数和原始有理贝塞尔曲线模型,建立车载图像的铁轨曲线模型;S2:利用透视投影下的控制参数表达形式,将所述铁轨曲线模型中的参数转换为适用于计算机的参数;S3:根据所述铁轨模型中的参数和所述适用于计算机的参数,利用曲线参数拟合方法,得到关键控制参数;S4:利用所述关键控制参数对神经网络进行训练,得到训练好的神经网络;S5:根据输入车载图像,利用所述训练好的神经网络,得到输入车载图像铁轨曲线模型。本发明能够解决现有模型表达不准确、控制参数计算不精确等技术问题。
Description
技术领域
本发明涉及轨道交通技术领域,具体涉及一种车载图像铁轨曲线建模方法。
背景技术
近年来我国轨道交通领域发展迅速,高速列车、重载机车和城轨地铁都分别取得了重大进步。随着轨道交通运营规模和强度不断增大,其运维检修的天窗期时间不断缩减,传统地轨道交通检修维护方法已不再适用当前形势。在此背景下,利用视觉等传感器对铁路场景实现智能化感知和分析决策,已成为必然的技术选择 。其中,一项重要的轨道交通智能化研究内容即是,用车载前向摄像机观测司机视角下的前方道路区域异常情况。轨道交通车辆辅助驾驶和自动驾驶的一项重要内容,是对车辆运行空间的场景内容进行感知和辨识,从而区分路轨区域、牵引供电设备设施及其他建筑和植被等次要区域。并以此为基础,辨别侵入铁路限界区域的异常人员、车辆、动物物品和行为等情况。作为一种高速度、高运力的交通形式,轨道车辆前方异物和设施状态异常对轨道交通运营安全的危害极大。并且由于轨道交通车辆的运行速度较快,惯性较大,需要及早的发现远方义务,并及时采取措施。
因为铁路场景是典型的人造结构化场景,其内容呈现近大远小的透视趋势,而提取铁轨区域是理解铁路场景内容的重要基础。例如,对于列车尤为重要的远处铁轨(通常为100米以外)在图像中成像占比极小,图像中可能同时存在大量与铁轨无关的人、车、物信息。因此用当前的目标识别方法虽然能够检测到潜在风险,但必须联合铁轨曲线来判断该风险是否成立。另一方面,车载图像中铁轨成像形式特殊,无法用通用的目标检测或图像分割算法精确表达,需要基于其形状特性和透视投影机制建立铁轨曲线的解析表达模型。总体而言,铁轨铺设在地平面上,其主体形状常为直线或圆弧形,并且在直线和转弯处之间有过度曲线。根据我国国家标准可知,铁路形状为二次圆弧形或过度曲线为三次多项式曲线。由于地平面投影到车载相机的成像平面,其变换过程可由单应矩阵描述,并且这些二阶和三阶多项式曲线经单一变化后仍然为二阶或三阶多项式曲线。
对结构化交通场景的路轨区域进行提取,是近年来的热门研究方向。其提取方法分为传统图像方法和基于深度学习的方法。早期研究主要采用传统图像方法,即通过边缘检测滤波等方式分割出车道线区域,然后结合霍夫变换、RANSAC等算法进行车道线检测。这类算法需要人工手动去调滤波算子,根据算法所针对的街道场景特点手动调节参数,工作量大且鲁棒性较差,当行车环境出现明显变化时,车道线的检测效果不佳。检测铁轨的主流方式包括:1)基于霍夫变换的车道线检测;2)基于LSD直线的车道线检测; 3)基于俯视图变换的车道线检测;4)基于拟合的车道线检测;5)基于平行透视灭点的车道线检测。传统图像方法的局限性体现在两方面,首先应用场景受限;霍夫直线检测方法准确但不能做弯道检测,拟合方法可以检测弯道但不稳定,仿射变换可以做多车道检测但在遮挡等情况下干扰严重。其次,透视变换操作会对相机有一些具体的要求,在变换前需要调正图像,而且摄像机的安装和道路本身的倾斜都会影响变换效果。随着深度学习方法兴起,基于深度学习的路轨检测方法具有较高的精度而成为主流。但当前主流研究集中在公路交通中轨道线检测方面。大抵可以分为以下四类:1)基于语义分割的方法,需要辨识路轨区域的像素,再从中拟合曲线参数。2)基于输入图像网格分类的方法,即对于每一行,模型预测最有可能的单元格包含车道标记的一部分。 由于每一行只选择一个单元格,因此对图像中的每个可能的车道重复此过程。该方法的检测速度很快,但精度不高,尤其对远方铁轨的提取精度较差。3)基于预定义锚定区域的方法,该方法需预先定义特定范围,并判别实际路轨与之差异,对S型曲线表述能力弱。
但是,无论是传统的图像处理方法还是近来的深度学习方法,在路轨模型表达的方法选择上,都采用了将路轨的x坐标视为y坐标的显式函数x=f(x)的思路,其中函数通常选择低阶多项式(通常小于等于四阶)或者双曲线函数。这些方法在精度要求不高的公路交通领域尚可,在铁路交通上存在远处铁轨表达准确性不足的问题。具体而言,以多项式表达的铁轨曲线存在如下问题:1)表达形式存在数值计算崩溃的风险,即特殊情况下多项式系数可能存在无穷大的情况,导致计算机的处理过程中出现程序崩溃;2)多项式系数变化与曲线形式变化无直观关联关系,不仅使细微调节困难,而且导致可能同时出现多项式系数的轻微变化导致曲线显著变化,或多项式系数较大变动却曲线变化轻微,最终导致用同样的调节方式难以同时满足多个参数协同调节;3)多项式表达与坐标系相关,即无法保证曲线表达式在图像平移、翻转等简单变化下的表达等变性;4)多项式系数的取值范围是,在数值计算上存在表达难题。
发明内容
本发明的目的在于提供一种车载图像铁轨曲线建模方法,以解决现有模型表达不准确、控制参数计算不精确等技术问题。
本发明解决上述技术问题的技术方案如下:
本发明提供一种车载图像铁轨曲线建模方法,所述车载图像铁轨曲线建模方法包括:
S1:根据基函数和原始有理贝塞尔曲线模型,建立车载图像的铁轨曲线模型;
S2:利用透视投影下的控制参数表达形式,将所述铁轨曲线模型中的参数转换为适用于计算机的参数;
S3:根据所述铁轨曲线模型中的参数和所述适用于计算机的参数,利用曲线参数拟合方法,得到关键控制参数;
S4:利用所述关键控制参数对神经网络进行训练,得到训练好的神经网络;
S5:根据输入车载图像,利用所述训练好的神经网络,得到输入车载图像铁轨曲线模型。
所述基函数为分段函数,且所述基函数为:
可选择地,所述步骤S2包括:
S21:根据左右铁轨控制点之间的相关性,获取透视投影下的图像空间中的定义控制点和定义参数;
S22:根据所述定义控制点和所述定义参数,得到新的定义参数;
S23:将所述新的定义参数作为所述适用于计算机的参数输出。
可选择地,所述步骤S22包括:
S221:获取目标车载监视图像由人工标注的左铁轨线和右铁轨线;
可选择地,所述步骤S22中,所述定义控制点为:
其中,代表第个控制点的坐标,分别表示第个控制点的横坐标和纵坐标,表示转置,是和中点的横坐标,是和之间的欧式距离,是和中点的横坐标,是和中点的横坐标,是和中点的横坐标,是权重,是确定从到的直线上任意点的参数,是确定从到的直线上任意点的参数,和是确定第三和第四控制点y坐标的参数,是是第六个控制点的y坐标,到分别表示左铁轨和右铁轨的第个控制点。
可选择地,所述步骤S3包括:
S32:分别根据左铁轨线的点序列和右铁轨线的点序列,计算左侧铁轨曲线参数化的近似值和右侧铁轨曲线参数化的近似值;
S35:根据所述拟合目标函数对所述新的定义参数的偏导数更新所述定义参数,得到更新后的定义参数;
S36:判断所述更新后的定义参数与上一个定义参数的范数是否小于预设阈值,若是,输出所述更新后的定义参数为所述关键控制参数,否则,利用所述更新后的定义参数对所述预测点坐标进行更新并返回步骤S33。
可选择地,所述步骤S4中,所述神经网络包括特征提取网络模型和预测网络模型,所述特征提取网络模型用于从车载监视图像中提取与铁轨相关的关键特征,所述预测网络模型用于对所述关键特征进行处理,得到曲线控制参数;所述预测网络模型包括依次设置的卷积层、CBAM通道注意力模块、空间注意力模块和全连接层。
本发明具有以下有益效果:
1)本发明采用了参数曲线的方式,可以表达任意斜率的直线和曲线,不存在数值爆炸的问题;
2)本发明的铁轨曲线模型通过4个控制点和一个权重参数来控制形状,调节方式简单直观,有利于计算机算法自动调节;
3)铁轨曲线模型对于图像的平移和翻转等变换是等变的,因此将图像变换之后对应的参数曲线容易获得;
4)控制点的取值范围在图像域内,取值范围有限,有利于精准表达;
5)对远处的铁轨曲线延申趋势的表达符合透视几何约束,具有更高的准确性和可解释性。
附图说明
图1为本发明车载图像铁轨曲线建模方法的流程图;
图2为车载图像采集设备的结构示意图;
图3为本发明神经网络的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
实施例
本发明提供一种车载图像铁轨曲线建模方法,参考图1所示,所述车载图像铁轨曲线建模方法包括:
S1:根据基函数和原始有理贝塞尔曲线模型,建立车载图像的铁轨曲线模型;
在本发明中,针对铁路轨道大部分情况下是直线或圆锥曲线、少数情况下是三阶多项式曲线的情况,采用有理贝塞尔曲线(Rational Bezier Curve)可以准确表达这些曲线,所述有理贝塞尔曲线模型为:
为简化,仅考虑中心处控制点的权重,即令:
由此,可验算得知,各基函数的值为非负且其和恒为1,因此符合基函数条件:
由此可见,该分段函数是固定形式,因此铁路路轨形状模型中的调节参数仅为控制点以及其权重。在本节中暂不区分左右铁轨,因其性质完全相同。若将控制点的权重也视为控制点的新一维坐标,这可将控制点视为齐次坐标之下。
S2:利用透视投影下的控制参数表达形式,将所述铁轨曲线模型中的参数转换为适用于计算机的参数;
可选择地,所述步骤S2包括:
S21:根据左右铁轨控制点之间的相关性,获取透视投影下的图像空间中的定义控制点和定义参数;
S22:根据所述定义控制点和所述定义参数,得到新的定义参数;
所述步骤S22包括:
S221:获取目标车载监视图像由人工标注的左铁轨线和右铁轨线;
S23:将所述新的定义参数作为所述适用于计算机的参数输出。
首先,定义透视投影下的控制参数:
车载视频观测中,机车行进轨道的左右铁轨分别由其控制点和描述。由图像分析不难得知,左右铁轨的控制点和并非相互独立,而是存在相关性。其相关性的本质原因是,左右铁轨在地平面是平行的直线或曲线。而图像中铁轨曲线的控制点是地平面中铁轨曲线控制点在相平面的透视投影。令透视投影下的图像空间中的控制点为。因此,图像中的左右曲线控制点遵循透视原则,其坐标由一系列更低维度的参数所控制。定义参数为
其中,代表第个控制点的坐标,分别表示第个控制点的横坐标和纵坐标,表示转置,是和中点的横坐标,是和之间的欧式距离,是和中点的横坐标,是和中点的横坐标,是和中点的横坐标,因此,刚好是左右铁轨的中轴线曲线控制点横坐标。是前文所述权重。是权重,是确定从到的直线上任意点的参数,是确定从到的直线上任意点的参数,和是确定第三和第四控制点y坐标的参数,是是第六个控制点的y坐标,到分别表示左铁轨和右铁轨的第个控制点。现详细说明的含义。
首先说明和之含义。因为分段函数的起始部分和结束部分皆为直线,即 共线,且共线。因此,可利用此相关性,令,且其中参数和用以生成和。并且,因为左右铁轨平行,故此左右铁轨可共享参数和。在考虑和之后,无需记录和的横纵坐标值,参数量明显减少。
S3:根据所述铁轨曲线模型中的参数和所述适用于计算机的参数,利用曲线参数拟合方法,得到关键控制参数;
可选择地,所述步骤S3包括:
S32:分别根据左铁轨线的点序列和右铁轨线的点序列,计算左侧铁轨曲线参数化的近似值和右侧铁轨曲线参数化的近似值;
S35:根据所述拟合目标函数对所述新的定义参数的偏导数更新所述定义参数,得到更新后的定义参数;
S36:判断所述更新后的定义参数与上一个定义参数的范数是否小于预设阈值,若是,输出所述更新后的定义参数为所述关键控制参数,否则,利用所述更新后的定义参数对所述预测点坐标进行更新并返回步骤S33。
S311:判断所述更新后的定义参数与上一个定义参数的范数是否小于预设阈值,若是,输出所述更新后的定义参数为所述关键控制参数,否则,利用所述更新后的定义参数对所述预测点坐标进行更新并返回步骤S308。
这里,前10个点是以车载图像采集设备为起点,向铁轨远端延伸的前10个点。此外,近处也是车载图像采集设备的部分,参考图2所示。
由参数计算出左右铁轨的控制点和,结合基函数和权重,可得到铁轨曲线的参数化表达式和,将前文计算的和带入,即可得模型的预测点坐标和。由此,将预测点与实际点做比较,其欧氏距离计算均方差误差可得拟合目标函数为:
利用新获取的参数更新参数化向量和,具体做法为,用0到1均分的理想参数化向量带入得到稠密的左右铁轨曲线,将和中每个点与稠密的左右铁轨曲线做欧式距离判断,将最近邻点对应的参数化值赋予和中,得到新的参数化向量和。
S4:利用所述关键控制参数对神经网络进行训练,得到训练好的神经网络;
可选择地,所述步骤S4中,所述神经网络包括特征提取网络模型和预测网络模型,所述特征提取网络模型用于从车载监视图像中提取与铁轨相关的关键特征,所述预测网络模型用于对所述关键特征进行处理,得到曲线控制参数;所述预测网络模型包括依次设置的卷积层、CBAM通道注意力模块、空间注意力模块和全连接层。
具体地,本发明神经网络在拓扑上分为两部分:第一部分是特征提取网络,用以从观测图像中提取与铁轨相关的关键特征,可采用当前主流的若干种主干网络模型,例如VGG16/19、ResNet18/31/50等;第二部分承接先前提取的特征提,是曲线关键参数的预测网络。由于第一部特征提取网络采用的是当前技术领域广泛使用的网络,在此不再赘述,现着重说明第二部分曲线关键控制参数的预测网络结构如下。
需特别说明的是,CBAM注意力模块和全连接网络层可以根据需要重复多次,以提升精度。深度神经网络拓扑的整体结构可参考附录中图3所示。
S5:根据输入车载图像,利用所述训练好的神经网络,得到输入车载图像铁轨曲线模型。
应用于基础规模化铁路巡检和风险筛查,主要由计算机自动化处理功能组成。设备通过读取数字化工业相机的图像数据,再将数据传输给人工标注分析模块,进行以下处理步骤:
在离线训练阶段
1.列车车载的数字化工业相机拍摄大量图像数据,存放到数据中心;
2.数据中心的操作人员查看拍摄图像,并人工用连续点集来标记铁轨区域;
3.根据这些连续点集,数据中心计算机采用本文所述曲线参数拟合方法计算出铁轨曲线参数,即控制点坐标及其权重,并保存到文件;
4.当大量数据完成标注后,工作人员将装配有车载视频数据管理模块的计算机连接至车载视频数据库;
5.从车载视频数据库总读取图像及其参数,作为铁轨曲线检测的人工智能算法模型的输入,对其进行模型训练,如此反复若干次,最终使其具备从图像预测曲线参数的能力。
在在线处理阶段
6.数字工业相机获取车载图像视频,将每帧图像传输给车载的工控计算机。
7.车载工控计算机获取新图像之后,利用内置的人工神经网络算法模块对图像处理,其中人工神经网络的权重从离线训练阶段中预先获取。当图像输入后,从神经网络结构的末端可读取该模型预测的铁轨曲线参数。
8.利用该参数可计算铁轨曲线从图像下边界到天际线无穷远点的所有点,曲线点的坐标值可作为后续的铁轨异物检测或接触网铁轨设备设施巡检的基础依据。
9.人工检视和确认的铁轨图像和曲线参数可进一步加入离线训练的数据,以迭代改进模型预测性能。
在以上各步骤中,系统会以图形化的方式提示人员操作,通过计算机主动参数学习,以减少人员需操作键盘和鼠标的频率,从而提高处理效率和改善用户体验,使枯燥的标注和验证工作变得容易让人接受。本发明是一种针对车载行车监测影像并利用计算机视觉技术进行建模处理的方法,以轨道交通车载监视数据为处理对象,以现有轨道交通运维检修影像设备和计算机及互联网络为基础,不涉及专门设计硬件。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种车载图像铁轨曲线建模方法,其特征在于,所述车载图像铁轨曲线建模方法包括:
S1:根据基函数和原始有理贝塞尔曲线模型,建立车载图像的铁轨曲线模型;
S2:利用透视投影下的控制参数表达形式,将所述铁轨曲线模型中的参数转换为适用于计算机的参数;
S3:根据所述铁轨曲线模型中的参数和所述适用于计算机的参数,利用曲线参数拟合方法,得到关键控制参数;
S4:利用所述关键控制参数对神经网络进行训练,得到训练好的神经网络;
S5:根据输入车载图像,利用所述训练好的神经网络,得到输入车载图像铁轨曲线模型。
4.根据权利要求1所述的车载图像铁轨曲线建模方法,其特征在于,所述步骤S2包括:
S21:根据左右铁轨控制点之间的相关性,获取透视投影下的图像空间中的定义控制点和定义参数;
S22:根据所述定义控制点和所述定义参数,得到新的定义参数;
S23:将所述新的定义参数作为所述适用于计算机的参数输出。
7.根据权利要求6所述的车载图像铁轨曲线建模方法,其特征在于,所述步骤S3包括:
S32:分别根据左铁轨线的点序列和右铁轨线的点序列,计算左侧铁轨曲线参数化的近似值和右侧铁轨曲线参数化的近似值;
S35:根据所述拟合目标函数对所述新的定义参数的偏导数更新所述定义参数,得到更新后的定义参数;
S36:判断所述更新后的定义参数与上一个定义参数的范数是否小于预设阈值,若是,输出所述更新后的定义参数为所述关键控制参数,否则,利用所述更新后的定义参数对所述预测点坐标进行更新并返回步骤S33。
10.根据权利要求1-9中任意一项所述的车载图像铁轨曲线建模方法,其特征在于,
所述步骤S4中,所述神经网络包括特征提取网络模型和预测网络模型,所述特征提取网络模型用于从车载监视图像中提取与铁轨相关的关键特征,所述预测网络模型用于对所述关键特征进行处理,得到曲线控制参数;
所述预测网络模型包括依次设置的卷积层、CBAM通道注意力模块、空间注意力模块和至少一个全连接层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210649992.5A CN114742975B (zh) | 2022-06-10 | 2022-06-10 | 一种车载图像铁轨曲线建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210649992.5A CN114742975B (zh) | 2022-06-10 | 2022-06-10 | 一种车载图像铁轨曲线建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114742975A true CN114742975A (zh) | 2022-07-12 |
CN114742975B CN114742975B (zh) | 2022-09-02 |
Family
ID=82287301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210649992.5A Active CN114742975B (zh) | 2022-06-10 | 2022-06-10 | 一种车载图像铁轨曲线建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114742975B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117854116A (zh) * | 2024-03-08 | 2024-04-09 | 中国海洋大学 | 一种基于贝塞尔曲线的海参原位长度测量方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794286A (zh) * | 2015-04-22 | 2015-07-22 | 杭州映墨科技有限公司 | 一种用于虚拟现实过山车场景的轨道构建和运动计算方法 |
CN108846162A (zh) * | 2018-05-08 | 2018-11-20 | 西北工业大学 | 一种基于bezier曲线的连续推力机动轨道设计方法 |
CN109766889A (zh) * | 2018-11-19 | 2019-05-17 | 浙江众合科技股份有限公司 | 基于曲线拟合的轨道图像识别后处理方法 |
CN110516532A (zh) * | 2019-07-11 | 2019-11-29 | 北京交通大学 | 基于计算机视觉的无人机铁路轨道线路识别方法 |
CN111611862A (zh) * | 2020-04-22 | 2020-09-01 | 浙江众合科技股份有限公司 | 一种基于曲线拟合的地铁轨道半自动标注方法 |
CN112351928A (zh) * | 2018-07-10 | 2021-02-09 | 铁路视像有限公司 | 基于轨道分段的铁路障碍物检测的方法与系统 |
-
2022
- 2022-06-10 CN CN202210649992.5A patent/CN114742975B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794286A (zh) * | 2015-04-22 | 2015-07-22 | 杭州映墨科技有限公司 | 一种用于虚拟现实过山车场景的轨道构建和运动计算方法 |
CN108846162A (zh) * | 2018-05-08 | 2018-11-20 | 西北工业大学 | 一种基于bezier曲线的连续推力机动轨道设计方法 |
CN112351928A (zh) * | 2018-07-10 | 2021-02-09 | 铁路视像有限公司 | 基于轨道分段的铁路障碍物检测的方法与系统 |
CN109766889A (zh) * | 2018-11-19 | 2019-05-17 | 浙江众合科技股份有限公司 | 基于曲线拟合的轨道图像识别后处理方法 |
CN110516532A (zh) * | 2019-07-11 | 2019-11-29 | 北京交通大学 | 基于计算机视觉的无人机铁路轨道线路识别方法 |
CN111611862A (zh) * | 2020-04-22 | 2020-09-01 | 浙江众合科技股份有限公司 | 一种基于曲线拟合的地铁轨道半自动标注方法 |
Non-Patent Citations (2)
Title |
---|
GANG LIANG 等: "Rail Optimization of Noncircular Curve of Crane Turning Based on Quasiquartic Bezier Curve with Three Shape Parameters", 《MATHEMATICAL PROBLEMS IN ENGINEERING》 * |
孙永丽: "基于图像的铁路障碍物自动检测算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117854116A (zh) * | 2024-03-08 | 2024-04-09 | 中国海洋大学 | 一种基于贝塞尔曲线的海参原位长度测量方法 |
CN117854116B (zh) * | 2024-03-08 | 2024-05-17 | 中国海洋大学 | 一种基于贝塞尔曲线的海参原位长度测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114742975B (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111862157B (zh) | 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 | |
He et al. | Obstacle detection of rail transit based on deep learning | |
CN102385690B (zh) | 基于视频图像的目标跟踪方法及系统 | |
CN115995063A (zh) | 作业车辆检测与跟踪方法和系统 | |
CN107742099A (zh) | 一种基于全卷积网络的人群密度估计、人数统计的方法 | |
CN107609486A (zh) | 一种车辆前向防撞预警方法及系统 | |
CN105892471A (zh) | 汽车自动驾驶方法和装置 | |
CN105373135A (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
CN114488194A (zh) | 一种智能驾驶车辆结构化道路下目标检测识别方法 | |
CN105426868A (zh) | 一种基于自适应感兴趣区域的车道检测方法 | |
CN115526864A (zh) | 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法 | |
CN113436217A (zh) | 基于深度学习的无人车环境检测方法 | |
CN117949942B (zh) | 基于雷达数据和视频数据融合的目标跟踪方法及系统 | |
CN107944354A (zh) | 一种基于深度学习的车辆检测方法 | |
CN116109986A (zh) | 一种基于激光雷达和视频技术互补的车辆轨迹提取方法 | |
CN112053385B (zh) | 基于深度强化学习的遥感视频遮挡目标跟踪方法 | |
CN114742975B (zh) | 一种车载图像铁轨曲线建模方法 | |
CN112419289A (zh) | 一种城市地铁轨道扣件缺陷智能检测方法 | |
CN106611147A (zh) | 车辆追踪方法和装置 | |
CN112377332B (zh) | 一种基于计算机视觉的火箭发动机极性测试方法及系统 | |
CN118279320A (zh) | 基于自动提示学习的目标实例分割模型建立方法及其应用 | |
CN117809033A (zh) | 一种多尺度融合的岩渣图像分割方法 | |
CN114842660B (zh) | 一种无人车道路轨迹预测方法、装置和电子设备 | |
Chen et al. | Near real-time situation awareness and anomaly detection for complex railway environment | |
CN111144279A (zh) | 一种智能辅助驾驶中障碍物的识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |