CN117058236A - 一种基于多目视觉系统自切换的目标识别定位方法 - Google Patents
一种基于多目视觉系统自切换的目标识别定位方法 Download PDFInfo
- Publication number
- CN117058236A CN117058236A CN202311043208.7A CN202311043208A CN117058236A CN 117058236 A CN117058236 A CN 117058236A CN 202311043208 A CN202311043208 A CN 202311043208A CN 117058236 A CN117058236 A CN 117058236A
- Authority
- CN
- China
- Prior art keywords
- target
- binocular
- switching
- positioning
- dep
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000013210 evaluation model Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多目视觉系统自切换的目标识别定位方法,通过目标识别算法对待测目标物进行识别感知,并根据双目成像原理获取识别结果的局部深度信息,在目标局部深度信息的基础上求取评价定位精度的单像素偏差影响因子σ、深度信息误差率ε、深度离散程度ξ三个指标,在目标局部图像信息的基础上获取峰值信噪比PSNR、结构相似性SSIM两个评价指标,并建立目标定位评价模型,将定位精度进行量化。根据自主切换逻辑,对目标识别结果与定位精度评价分数依次进行比较,以实现多台不同焦距双目相机的自主切换,从而实现满足近距离与远距离目标的识别与定位需求,克服了低焦距双目相机对远距离目标定位精度低及高焦距双目相机视野小的问题。
Description
技术领域
本申请涉及多目视觉系统技术领域,具体地涉及一种基于多目视觉系统自切换的目标识别定位方法。
背景技术
为提高机器人作业的自主性与智能性,实现对于物体的识别、定位、测量等操作,首先要获取目标的三维信息,相关研究层出不穷,备受国内外学者关注。现有技术中,目标感知及定位装备可分为:激光、雷达、超声波、红外线及机器视觉图像测距等。激光、雷达等主动测距装备虽然能对目标进行快速、准确的无接触定位,但其设备成本较高,受工作原理限制无法对烟雾、水面、火焰等物体进行定位测量。超声波在介质中的传播的距离比较远,穿透性强,成本低,但其传播速度较慢,且当测量较远距离目标时,测量精度难以保证。红外线测距虽然具有传播速度快、响应快速等优点,但其价格较为昂贵,且测距范围短、数据输出不稳定。而机器视觉测距是通过可见光相机传感器获取周围图像信息,利用相机成像原理建立三维关系模型,从而建立从图像坐标到空间坐标之间的转换,获取物体的空间距离。通过多目视觉技术不仅能对目标进行自主识别,并且可对识别到的目标进行空间定位,其范围广、精度可靠、成本较低,被广泛应用于目标感知与定位中。
在现有的目标感知及定位方法中,通过固定式双目相机来获取目标图像信息并进行深度计算已成为一种主流手段,被广泛应用于交通、工业、应急救援等领域。受双目测距原理的限制,低焦距小基线的双目相机视野较大,在远距离测距中目标的像素占比变小,识别难度加大,定位误差随之大幅增加;高焦距大基线双目相机对于远距离目标定位精度较高,但其视野较小,会出现目标在视野之外无法定位的情况。基于以上原因,一对双目相机难以同时实现近距离及远距离目标的精准识别与定位问题,应用范围大幅度受限。
申请号CN202110163869.8的专利公开了一种基于线结构光扫描的巷道多目视觉测量方法及装置,利用巷道内每隔100米固定安装的多组立体双目相机对巷道车位置进行追踪,并结合巷道车上的平台双目相机和激光先扫描测头实现对于每段巷道表面的三维信息测量。该专利使用到了多组固定式立体双目相机,通过固定距离的安装实现对巷道车特定目标的接龙式定位与追踪,受固定式双目相机焦距的限制,每组双目相机只能对特定距离内的目标进行定位,只能通过间隔固定距离安装多组双目的方法实现对于移动目标的定位,大幅度增加了目标定位的成本。
申请号CN202210053723.2的专利公开了一种机器人辅助参与火焰视觉识别与定位的方法,利用已经标定好的摄像头获得视频图像,根据基于火焰颜色模型改进的背景差分法获得疑似火焰动态目标,将融合后的模型输入到训练好的支持向量机(SVM)中;若判定为火焰,再根据识别到火焰的单目、双目或者多目视觉计算疑似火焰的粗定位,指引机器人到达指定位置。该专利提出了通过可见光视觉进行定位的方法,但是只能进行粗略的位置大致范围估计,并且定位范围十分有限,精度无法得到保证。
申请号CN201610255694.2的专利公开了一种火灾监测定位装置及火灾监测定位方法,两个带红外透镜的摄像头空间平齐放置,并固定在金属杆的两端,两个摄像头的镜头中心距为80~120cm,构成摄像头支架,火焰识别及定位是通过火焰识别算法确定火灾发生,并根据摄像头的空间结构计算着火点的位置。该专利仅通过一对双目相机结构对火焰进行识别定位,由于双目相机焦距的限制,无法同时满足近距离与远距离的识别与定位。
申请号202010441103.7的专利提出了一种基于多目视觉系统的人体维度测量方法,搭建三组双目立体视觉系统分别拍摄被测者的彩色图像,并进行语义分割与立体匹配,获得标识点的空间坐标,将所有标记点投影至XOZ平面进行拟合,根据拟合曲线的长度获得被测量区域的维度。该专利通过多组双目相机对人体进行识别定位,无法根据识别定位的结果进行自主的切换以获得更为精准距离信息。
发明内容
针对现有技术存在的不足,本发明目的是提供一种基于多目视觉系统自切换的目标识别定位方法,以解决上述背景技术中提出的问题。
根据本申请的一方面,一种基于多目视觉系统自切换的目标识别定位方法,该方法包括以下步骤:
步骤一、使用低焦距双目相机采集得到实时图像,并对得到的每帧实时图像进行畸变矫正,建立目标检测模型,将畸变矫正后的图像输入目标检测模型中,提取目标局部图像Matt arg et;
步骤二、在提取到目标局部图像Matt arg et后,利用双目相机成像原理并根据SGBM立体匹配算法获取以左相机坐标系为基准各像素点深度信息,各像素点的深度信息用视差图Dep中每个像素的灰度值进行描述,在视差图Dep中找到与待定位目标局部图像Matt arg et所对应的目标局部视差图像Dept arg et;
步骤三、通过双目测距原理求取单像素偏差影响因子σ;
步骤四、获取目标局部视差图像Dept arg et后,通过SGBM立体匹配算法设置,遍历求取目标局部视差图像Dept arg et中的各个像素点的深度数据,获得深度信息误差率ε;
步骤五、通过求取目标区域深度离散程度ξ,来表示目标区域的深度可信度;
步骤六、对目标局部图像信息指标进行求取,输入目标局部图像Matt arg et和目标局部视差图像Dept arg et,分别得到两者的峰值信噪比PSNR与结构相似性SSIM;
步骤七、通过得到的单像素偏差影响因子σ、深度信息误差率ε、深度离散程度ξ、峰值信噪比PSNR、结构相似性SSIM五个指标,求取双目定位评价分数Si;
步骤八、当完成所有对双目相机切换采集并得到双目定位评价分数Si后,则根据视觉系统自切换逻辑,根据各对双目相机的目标识别个数与双目定位评价分数Si选择最优双目相机,并切换至最优双目相机进行后续目标定位处理。
优选地,所述步骤一中,将畸变矫正后的图像输入目标检测模型中进行待定位目标感知,若检测到目标,则保存目标个数,并进行多个目标的像素面积比较,提取像素面积最大的目标局部图像Matt arg et,若没有检测到目标,则判断是否已完成所有对双目相机的评估,根据结果切换至高焦距相机进行评估或进行视觉系统的自主切换。
优选地,所述步骤二中,获取目标局部视差图像Dept arg et的公式为:
Dept arg et.x=Dep.(Matt arg et.x) 公式(1)
Dept arg et.y=Dep.(Matt arg et.y) 公式(2)
式(1)和式(2)中,Dept arg et.x、Dept arg et.y分别为Dept arg et的横坐标和纵坐标,Matt arg et.x、Matt arg et.y分别为Matt arg et的横坐标和纵坐标。
优选地,所述步骤三中,求取单像素偏差影响因子σ的公式为:
式(4)中,Z为待测距离,B为基线长度,f为焦距,μ为相机的像元尺寸,σ为单像素偏差影响因子,即一个像素所对应的测距误差;
求取单像素偏差影响因子σ的公式中的待测距离Z的计算公式为:
式(3)中,Z为待测距离,B为基线长度,f为焦距,Xr-Xl为视差。
优选地,所述步骤四中,获取目标局部视差图像Dept arg et后,通过SGBM立体匹配算法设置,立体匹配误差点均被赋值为固定值10000mm,即火焰目标区间内深度信息错误的数值均为10000mm,遍历求取火焰局部深度图像Dept arg et中的各个像素点的深度数据,获得深度信息误差率ε,其公式如下:
式(5)中,ε为深度信息误差率,deperror为深度信息为10000mm的定位错误像素点,m、n分别为对应目标局部视差图像Dept arg et的横坐标与纵坐标大小。
优选地,所述步骤五中,求取深度离散程度ξ的公式如下:
式(6)中,dep(i,j)为区间内(i,j)像素点的深度值,为区间内像素平均深度值,m、n分别为对应目标局部视差图像Dept arg et的横坐标与纵坐标大小。
优选地,所述步骤六中,求取峰值信噪比PSNR的公式如下:
式(7)和式(8)中,(i,j)为待计算像素点,MSE为均方误差,PSNR描述目标局部图像与对应视差图之间的相似性;
结构相似性SSIM计算公式如下:
式(9)中,x为目标局部图像Matt arg et,y为目标局部视差图像Dept arg et,μx、为x的平均值和标准差,μy、/>为y的平均值和标准差,σxy是x和y的协方差,c1=(k1L)2,c2=(k2L)2用来维持稳定的常数,L是像素值的动态范围,k1=0.01,k2=0.03。
优选地,所述步骤七中,求取双目定位评价分数Si的公式如下:
式(10)中,a为常数项,b、c、d、e、f为五个评价指标的权重,k为目标识别个数,Si为第i对双目相机的双目定位评价分数。
优选地,所述步骤八中,首先判断是否已完成所有对双目相机的切换,若没有完成,则切换到下一对高焦距双目相机从步骤一开始处理;若已经切换完所有对双目相机,则根据视觉系统自切换逻辑,根据各对双目相机的目标识别个数与双目定位评价分数Si选择最优双目相机,并切换至最优双目相机进行后续目标定位处理;
所述视觉系统自切换逻辑步骤为:首先对全部双目相机进行目标识别个数比较,如果识别个数不相同,则切换至目标识别个数最多的双目相机,自切换结束;其次对全部双目相机进行双目定位评价分数比较,切换至双目定位评价分数最高的双目相机,自切换结束;当目标识别个数与双目定位评价分数均相同时,切换至低焦距相机,自切换结束。
本申请的一种基于多目视觉系统自切换的目标识别定位方法,通过多对不同焦距的双目相机系统对目标物体进行识别与定位,同时构建多目视觉系统自主切换逻辑,并建立识别定位结果评价模型,根据切换逻辑与各对相机的评价结果实现多对双目相机的自切换,利用最优的双目相机以获取更为精准的目标定位信息,克服双目定位距离及视野的限制,弥补了单对双目视觉装备固定焦距的限制,克服了低焦距双目相机对远距离目标定位精度低及高焦距双目相机视野小的问题,通过多对双目相机的自主切换,同时满足对近距离目标及远距离目标的精准感知与测距,大幅提高目标识别定位的准确性与效率。
附图说明
图1是根据本发明实施例的整体流程图。
图2是根据本发明实施例的双目成像原理图。
图3是根据本发明实施例的多目视觉系统自主切换逻辑示意图。
图4是根据本发明实施例的多对双目相机切换装置示意图。
具体实施方式
为了使本申请的内容更容易被清楚地理解,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示,一种基于多目视觉系统自切换的目标识别定位方法,该方法包括以下步骤:
步骤一、首先使用低焦距双目相机对抓取实时图像,通过提前标定得到的内外参数对每帧图像进行畸变矫正,以获得畸变矫正后的图像,建立目标检测模型,将畸变矫正后的图像输入目标检测模型中进行待定位目标感知,若检测到目标,则保存目标个数,并进行多个目标的像素面积比较,提取像素面积最大的目标局部图像Mattarget,若没有检测到目标,则判断是否已完成所有对双目相机的评估,根据结果切换至高焦距相机进行评估或进行视觉系统的自主切换。
步骤二、在提取到目标局部图像Mattarget后,利用双目相机成像原理进行立体匹配,根据SGBM立体匹配算法计算以左相机坐标系为基准的各像素点深度信息,各像素点的深度信息可以用视差图Dep中每个像素的灰度值进行描述与计算,在视差图Dep中找到与待定位目标局部图像Mattarget所对应的目标局部视差图像Deptarget,其公式如下:
Deptarget .x=Dep.(Mattarget.x) 公式(1)
Deptarget .y=Dep.(Mattarget.y) 公式(2)
式(1)和式(2)中,Deptarget.x、Deptarget.y分别为Deptarget的横坐标和纵坐标,Mattarget.x、Mattarget.y分别为Mattarget的横坐标和纵坐标。
步骤三、通过双目测距原理求取单像素偏差影响因子σ,由图2所示双目成像原理图可知,空间中一点P(X,Y,Z)的测距计算公式为:
式(3)中,Z为待测距离,B为基线长度,f为焦距,Xr-Xl为视差。
对于不同基线、焦距、距离的双目相机,由相机像元尺寸和测距计算公式,可以得到当图像中误差一个像素时,双目相机对应的测距误差为:
式(4)中,Z为待测距离,B为基线长度,f为焦距,μ为相机的像元尺寸,σ为单像素偏差影响因子,即一个像素所对应的测距误差。
步骤四、获取目标局部视差图像Deptarget后,通过先前的SGBM立体匹配算法设置,立体匹配误差点均被赋值为固定值10000mm,即火焰目标区间内深度信息错误的数值均为10000mm,遍历求取火焰局部深度图像Dept arg et中的各个像素点的深度数据,获得深度信息误差率ε,其公式如下:
式(5)中,ε为深度信息误差率,deperror为深度信息为10000mm的定位错误像素点,m、n分别为对应目标局部视差图像Dept arg et的横坐标与纵坐标大小。
步骤五、目标区域除了大部分目标前景外,还存在小部分地面等后景,目标前景和地面后景的深度信息不一致,前景的深度数据大致在同一范围内,而后景的深度数据则存在较大的偏差。因此通过求取目标区域深度的离散程度,可以表示目标区域的深度可信度,离散程度大说明识别框内的目标深度信息可信度较低,反之表明可信度较高。目标区域深度离散程度ξ的公式如下:
式(6)中,dep(i,j)为区间内(i,j)像素点的深度值,为区间内像素平均深度值,m、n分别为对应目标局部视差图像Dept arg et的横坐标与纵坐标大小。
步骤六、对目标局部图像信息指标进行求取,输入目标局部图像Matt arg et和目标局部视差图像Dept arg et,分别计算两者的峰值信噪比PSNR与结构相似性SSIM,
峰值信噪比PSNR的计算公式如下:
式(7)和式(8)中,(i,j)为待计算像素点,MSE为均方误差,PSNR描述目标局部图像与对应视差图之间的相似性;对于质量优秀的视差图,图像中噪点少、纹理边缘清晰,应与原始图像越相似,其PSNR应越高;反之其PSNR应越低;
结构相似性SSIM计算公式如下:
式(9)中,x为目标局部图像Mattarget,y为目标局部视差图像Deptarget,μx、为x的平均值和标准差,μy、/>为y的平均值和标准差,σxy是x和y的协方差,c1=(k1L)2,c2=(k2L)2用来维持稳定的常数,L是像素值的动态范围,k1=0.01,k2=0.03;结构相似性SSIM分别从亮度、对比度、结构三个方面进行目标局部图像与对应视差图之间的比较,对于质量好的视差图,其SSIM值越高;反之其SSIM值越低。
步骤七、根据以上所获取到的单像素偏差影响因子σ、深度信息误差率ε、深度离散程度ξ、峰值信噪比PSNR、结构相似性SSIM五个指标,构建双目定位精度评价模型,综合求取双目定位评价分数Si,各个指标进行归一化处理,不同焦距双目相机定位评价分数Si公式如下:
式(10)中,a为常数项,b、c、d、e、f为五个评价指标的权重,k为目标识别个数,Si为第i对双目相机的双目定位评价分数。
步骤八、首先判断是否已完成所有对双目相机的切换,若没有完成,则切换到下一对高焦距双目相机从步骤一开始处理;若已经切换完所有对双目相机,则根据视觉系统自切换逻辑,根据各对双目相机的目标识别个数与双目定位评价分数Si选择最优双目相机,并切换至最优双目相机进行后续目标定位处理;
如图3所示,视觉系统自切换逻辑步骤为:首先对全部双目相机进行目标识别个数比较,如果识别个数不相同,则切换至目标识别个数最多的双目相机,自切换结束;其次对全部双目相机进行双目定位评价分数比较,切换至双目定位评价分数最高的双目相机,自切换结束;当目标识别个数与双目定位评价分数均相同时,切换至低焦距相机,自切换结束。
综上,本申请通过目标识别算法对待测目标物进行识别感知,并根据双目成像原理获取识别结果的局部深度信息,在目标局部深度信息的基础上求取评价定位精度的三个指标,在目标局部图像信息的基础上获取两个评价指标,并建立目标定位评价模型,将定位精度进行量化。根据自主切换逻辑,对目标识别结果与定位精度评价分数依次进行比较,以实现多台不同焦距双目相机的自主切换,从而实现满足近距离与远距离目标的识别与定位需求;
通过多对不同焦距的双目相机系统对目标物体进行识别与定位,同时构建多目视觉系统自主切换逻辑,并建立识别定位结果评价模型,根据切换逻辑与各对相机的评价结果实现多对双目相机的自切换,利用最优的双目相机以获取更为精准的目标定位信息,克服双目定位距离及视野的限制,弥补了单对双目视觉装备固定焦距的限制,克服了低焦距双目相机对远距离目标定位精度低及高焦距双目相机视野小的问题,通过多对双目相机的自主切换,同时满足对近距离目标及远距离目标的精准感知与测距,大幅提高目标识别定位的准确性与效率。
需要说明的是,附图4所示的为简易的三对双目相机切换的装置示意图,本发明包括但不局限于所示三对相机的自主切换,双目相机对数可以自由设置,且摆放位置可以与图中所示不同,均在本发明专利的保护范围内。
以上实施例仅用以说明本申请实施例的技术方案,而非对其限制。尽管参照前述实施例对本申请实施例进行了详细的说明,但本领域的普通技术人员应当理解,在不背离本申请权利要求所限定的精神和范围的情况下,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。
Claims (9)
1.一种基于多目视觉系统自切换的目标识别定位方法,其特征在于,
该方法包括以下步骤:
步骤一、使用低焦距双目相机采集得到实时图像,并对得到的每帧实时图像进行畸变矫正,建立目标检测模型,将畸变矫正后的图像输入目标检测模型中,提取目标局部图像Mattarget;
步骤二、在提取到目标局部图像Mattarget后,利用双目相机成像原理并根据SGBM立体匹配算法获取以左相机坐标系为基准各像素点深度信息,各像素点的深度信息用视差图Dep中每个像素的灰度值进行描述,在视差图Dep中找到与待定位目标局部图像Mattarget所对应的目标局部视差图像Deptarget;
步骤三、通过双目测距原理求取单像素偏差影响因子σ;
步骤四、获取目标局部视差图像Deptarget后,通过SGBM立体匹配算法设置,遍历求取目标局部视差图像Deptarget中的各个像素点的深度数据,获得深度信息误差率ε;
步骤五、通过求取目标区域深度离散程度ξ,来表示目标区域的深度可信度;
步骤六、对目标局部图像信息指标进行求取,输入目标局部图像Mattarget和目标局部视差图像Deptarget,分别得到两者的峰值信噪比PSNR与结构相似性SSIM;
步骤七、通过得到的单像素偏差影响因子σ、深度信息误差率ε、深度离散程度ξ、峰值信噪比PSNR、结构相似性SSIM五个指标,求取双目定位评价分数Si;
步骤八、当完成所有对双目相机切换采集并得到双目定位评价分数Si后,则根据视觉系统自切换逻辑,根据各对双目相机的目标识别个数与双目定位评价分数Si选择最优双目相机,并切换至最优双目相机进行后续目标定位处理。
2.根据权利要求1所述的一种基于多目视觉系统自切换的目标识别定位方法,其特征在于,所述步骤一中,将畸变矫正后的图像输入目标检测模型中进行待定位目标感知,若检测到目标,则保存目标个数,并进行多个目标的像素面积比较,提取像素面积最大的目标局部图像Mattarget,若没有检测到目标,则判断是否已完成所有对双目相机的评估,根据结果切换至高焦距相机进行评估或进行视觉系统的自主切换。
3.根据权利要求1所述的一种基于多目视觉系统自切换的目标识别定位方法,其特征在于,所述步骤二中,获取目标局部视差图像Deptarget的公式为:
Deptarget.x=Dep.(Mattarget.x) 公式(1)
Deptarget.y=Dep.(Mattarget.y) 公式(2)
式(1)和式(2)中,Deptarget.x、Deptarget.y分别为Deptarget的横坐标和纵坐标,Mattarget.x、Mattarget.y分别为Mattarget的横坐标和纵坐标。
4.根据权利要求1所述的一种基于多目视觉系统自切换的目标识别定位方法,其特征在于,所述步骤三中,求取单像素偏差影响因子σ的公式为:
式(4)中,Z为待测距离,B为基线长度,f为焦距,μ为相机的像元尺寸,σ为单像素偏差影响因子,即一个像素所对应的测距误差;
求取单像素偏差影响因子σ的公式中的待测距离Z的计算公式为:
式(3)中,Z为待测距离,B为基线长度,f为焦距,Xr-Xl为视差。
5.根据权利要求1所述的一种基于多目视觉系统自切换的目标识别定位方法,其特征在于,所述步骤四中,获取目标局部视差图像Deptarget后,通过SGBM立体匹配算法设置,立体匹配误差点均被赋值为固定值10000mm,即火焰目标区间内深度信息错误的数值均为10000mm,遍历求取火焰局部深度图像Deptarget中的各个像素点的深度数据,获得深度信息误差率ε,其公式如下:
式(5)中,ε为深度信息误差率,deperror为深度信息为10000mm的定位错误像素点,m、n分别为对应目标局部视差图像Deptarget的横坐标与纵坐标大小。
6.根据权利要求1所述的一种基于多目视觉系统自切换的目标识别定位方法,其特征在于,所述步骤五中,求取目标区域深度离散程度ξ的公式如下:
式(6)中,dep(i,j)为区间内(i,j)像素点的深度值,为区间内像素平均深度值,m、n分别为对应目标局部视差图像Deptarget的横坐标与纵坐标大小。
7.根据权利要求1所述的一种基于多目视觉系统自切换的目标识别定位方法,其特征在于,所述步骤六中,求取峰值信噪比PSNR的公式如下:
式(7)和式(8)中,(i,j)为待计算像素点,MSE为均方误差,PSNR描述目标局部图像与对应视差图之间的相似性;
结构相似性SSIM计算公式如下:
式(9)中,x为目标局部图像Mattarget,y为目标局部视差图像Deptarget,μx、为x的平均值和标准差,μy、/>为y的平均值和标准差,σxy是x和y的协方差,c1=(k1L)2,c2=(k2L)2用来维持稳定的常数,L是像素值的动态范围,k1=0.01,k2=0.03。
8.根据权利要求1所述的一种基于多目视觉系统自切换的目标识别定位方法,其特征在于,所述步骤七中,求取双目定位评价分数Si的公式如下:
式(10)中,a为常数项,b、c、d、e、f为五个评价指标的权重,k为目标识别个数,Si为第i对双目相机的双目定位评价分数。
9.根据权利要求1所述的一种基于多目视觉系统自切换的目标识别定位方法,其特征在于,所述步骤八中,首先判断是否已完成所有对双目相机的切换,若没有完成,则切换到下一对高焦距双目相机从步骤一开始处理;若已经切换完所有对双目相机,则根据视觉系统自切换逻辑,根据各对双目相机的目标识别个数与双目定位评价分数Si选择最优双目相机,并切换至最优双目相机进行后续目标定位处理;
所述视觉系统自切换逻辑步骤为:首先对全部双目相机进行目标识别个数比较,如果识别个数不相同,则切换至目标识别个数最多的双目相机,自切换结束;其次对全部双目相机进行双目定位评价分数比较,切换至双目定位评价分数最高的双目相机,自切换结束;当目标识别个数与双目定位评价分数均相同时,切换至低焦距相机,自切换结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311043208.7A CN117058236A (zh) | 2023-08-17 | 2023-08-17 | 一种基于多目视觉系统自切换的目标识别定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311043208.7A CN117058236A (zh) | 2023-08-17 | 2023-08-17 | 一种基于多目视觉系统自切换的目标识别定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117058236A true CN117058236A (zh) | 2023-11-14 |
Family
ID=88654960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311043208.7A Pending CN117058236A (zh) | 2023-08-17 | 2023-08-17 | 一种基于多目视觉系统自切换的目标识别定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117058236A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117934158A (zh) * | 2024-03-13 | 2024-04-26 | 湖南三湘银行股份有限公司 | 一种基于rpa的信贷资料自动审查方法 |
CN118067011A (zh) * | 2024-02-05 | 2024-05-24 | 江苏濠汉信息技术有限公司 | 一种双目视觉自适应变焦测距方法及系统 |
CN118279293A (zh) * | 2024-05-29 | 2024-07-02 | 宝鸡拓普达钛业有限公司 | 基于双目相机的钛合金加工刀尖识别方法及系统 |
-
2023
- 2023-08-17 CN CN202311043208.7A patent/CN117058236A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118067011A (zh) * | 2024-02-05 | 2024-05-24 | 江苏濠汉信息技术有限公司 | 一种双目视觉自适应变焦测距方法及系统 |
CN117934158A (zh) * | 2024-03-13 | 2024-04-26 | 湖南三湘银行股份有限公司 | 一种基于rpa的信贷资料自动审查方法 |
CN118279293A (zh) * | 2024-05-29 | 2024-07-02 | 宝鸡拓普达钛业有限公司 | 基于双目相机的钛合金加工刀尖识别方法及系统 |
CN118279293B (zh) * | 2024-05-29 | 2024-08-20 | 宝鸡拓普达钛业有限公司 | 基于双目相机的钛合金刀具刀尖识别方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN105225482B (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
CN117058236A (zh) | 一种基于多目视觉系统自切换的目标识别定位方法 | |
JP3895238B2 (ja) | 障害物検出装置及びその方法 | |
US10909395B2 (en) | Object detection apparatus | |
CN110334678A (zh) | 一种基于视觉融合的行人检测方法 | |
CN109263637B (zh) | 一种碰撞预测的方法及装置 | |
CN109447908A (zh) | 一种基于立体视觉的钢卷识别定位方法 | |
CN104574393A (zh) | 一种三维路面裂缝图像生成系统和方法 | |
CN106225676B (zh) | 三维测量方法、装置及系统 | |
CN106183995B (zh) | 一种基于立体视觉的可视倒车方法 | |
CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
CN107025657A (zh) | 一种基于视频图像的车辆行为轨迹检测方法 | |
CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
CN109410234A (zh) | 一种基于双目视觉避障的控制方法及控制系统 | |
JP3710548B2 (ja) | 車両検出装置 | |
CN106033614A (zh) | 一种强视差下的移动相机运动目标检测方法 | |
CN116188558B (zh) | 基于双目视觉的立体摄影测量方法 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
Ortigosa et al. | Obstacle-free pathway detection by means of depth maps | |
CN114842340A (zh) | 一种机器人双目立体视觉障碍物感知方法与系统 | |
CN112785647A (zh) | 一种三目立体图像检测方法和系统 | |
CN110487254B (zh) | 一种用于rov的水下目标尺寸快速测量方法 | |
CN117406234A (zh) | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |