CN102289824A - 冷凝器管口图像的平面质心定位方法 - Google Patents
冷凝器管口图像的平面质心定位方法 Download PDFInfo
- Publication number
- CN102289824A CN102289824A CN201110188065XA CN201110188065A CN102289824A CN 102289824 A CN102289824 A CN 102289824A CN 201110188065X A CN201110188065X A CN 201110188065XA CN 201110188065 A CN201110188065 A CN 201110188065A CN 102289824 A CN102289824 A CN 102289824A
- Authority
- CN
- China
- Prior art keywords
- mouth
- pipe
- barycenter
- image
- rectangle frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 230000033001 locomotion Effects 0.000 claims description 50
- 230000008859 change Effects 0.000 claims description 43
- 230000004807 localization Effects 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 31
- 239000000284 extract Substances 0.000 claims description 11
- 238000012946 outsourcing Methods 0.000 claims description 11
- 238000005260 corrosion Methods 0.000 claims description 10
- 230000007797 corrosion Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012552 review Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 19
- 238000004140 cleaning Methods 0.000 description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000004513 sizing Methods 0.000 description 4
- 238000009833 condensation Methods 0.000 description 3
- 230000005494 condensation Effects 0.000 description 3
- 239000000498 cooling water Substances 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 239000012636 effector Substances 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 229910001369 Brass Inorganic materials 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000010951 brass Substances 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 229910000975 Carbon steel Inorganic materials 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 241000973497 Siphonognathus argyrophanes Species 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 239000010962 carbon steel Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000007323 disproportionation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005554 pickling Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000003134 recirculating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000011780 sodium chloride Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种冷凝器管口图像的平面质心定位方法,包括步骤:(1)对摄像机进行标定;(2)控制机器人手眼机构沿摄像机的光轴运动,连续拍摄待清洗管板区域的灰度鸟瞰图,在其中选择清晰的图像进行预处理,得到多个管口和背景呈“黑白”对照的二值图像,待清洗管板区域中的管口呈横纵错列式分布;(3)绘制列像素灰度值累加和曲线S1和行像素灰度值累加和曲线S2;统计S1中“列波谷”处的局部极小值点集的横坐标以及S2中“行波谷”处的局部极小值点集的纵坐标,得到一质心粗略坐标集合;(4)剔除伪质心,完成多目标的质心粗略定位。本发明具有精度高、计算量小的优点。
Description
技术领域
本发明主要涉及图像处理技术领域,尤其涉及一种冷凝器管口图像的平面质心定位方法。
背景技术
我国火力、太阳能及核能发电厂大型机组冷凝器的循环冷却水多采用江河湖海及地下水作补充水,随着自然界水源的水质污染日益严重,且其盐碱度因循环冷却水的浓缩而不断增高,会造成冷凝管内污物堵塞和管道结垢。冷凝管材多为黄铜和碳钢,因循环水处理不当易发生垢下腐蚀、黄铜脱锌腐蚀、电偶腐蚀、应力腐蚀和冲击腐蚀,导致凝汽器冷凝管穿孔、泄露而引发停机事故。冷凝管道结垢腐蚀造成管内真空度下降、换热效率严重降低和汽轮机排汽压力增加,导致发电机组工作效率降低、设备寿命缩短以及运行成本提高。此外,医院、办公大楼及宾馆等公共场所使用的集中空调通风系统因空气中存在灰尘、细菌及病毒微生物,运行一段时间后空调通风管道容易积尘结垢并受到微生物污染,造成通风管道堵塞、环境污染和疾病传播。因此,需要采用经济有效的手段防止循环冷却水系统及通风管道系统的结垢和腐蚀,保持换热管路及通风管道的清洁,提高换热效率,并节约能源,确保公共环境卫生和预防疾病。
采用传统的胶球清洗、酸洗、人工喷枪清洗、刮刀或钻头清洗和高压水枪清洗法清洗冷凝管,因胶球分布不均匀,酸洗剂对冷凝管损害较大,需要停机人工操作,工作环境恶劣而且清洗效率低,都会影响设备的正常运转。为实现高效在线自动化清洗,目前已出现智能移动式冷凝器清洗机器人,可利用声传感器系统搜索并定位目标的大致方位,引导机器人靠近清洗目标,近距离采用光学传感器进行目标识别和定位,采用高压水射流技术,通过视觉伺服系统和运动控制系统的协作,提取管板的图像特征信息并加以处理,指挥清洗臂带动高压水喷枪对准凝汽器管板上的冷凝管口自动喷洗。此外,现有的空调风管清洗机器人能够平稳行走和越障,能实现对风管进行摄像、定量采样、照明、清洗和吹气。
智能移动清洗机器人的机械臂末端安装摄像头,需要实时估计机械臂末端执行器位姿的变化量与图像平面特征变化量之间的特征灵敏度矩阵,即图像雅可比矩阵(Image JaccobinMatrix),并且要计算其逆矩阵。特征抽取精度会影响整个系统的控制精度。现有的管口视觉定位方法主要采用边缘检测和聚类算法提取管口边缘,采样精度固定为边缘级,尚未实现根据图像内管口大小和数目自动调整采样精度。现有的“内接三角形定位法”和“二弦中垂线交点定位法”对边缘的取样点数太少,求出的质心与实际质心的位置误差较大。由于管板位于水室中,水下照明方式为汇聚光照明,管板以照明中心点的光线最强,径向逐渐减弱,导致图像背景区域灰度分布不均匀;且水和水中的浑浊物对光线存在折射、散射和卷积效应,亮度不均产生许多杂散的白亮色团,造成图像信噪比降低,出现伪轮廓、自阴影和噪声。
发明内容
本发明所要解决的技术问题是:针对现有技术存在的问题,本发明提供一种精度高、计算量小,能够准确计算图像包含的完整管口数量,提取管口轮廓,并计算管口质心坐标信息的冷凝器管口图像的平面质心定位方法。
为解决上述技术问题,本发明采用以下技术方案:
一种冷凝器管口图像的平面质心定位方法,其特征在于,所述方法包括以下步骤:
(1)对摄像机进行标定;
(2)控制机器人手眼机构沿摄像机的光轴运动,连续拍摄待清洗管板区域的灰度鸟瞰图,在其中选择清晰的图像进行预处理,得到多个管口和背景呈“黑白”对照的二值图像,所述待清洗管板区域中的管口呈横纵错列式分布;
(3)按“列扫描”所述二值图像中每列的像素灰度值之和,并投影到Y坐标轴,绘制成列像素灰度值累加和曲线S1;统计S1中共N个“列波谷”谷底处的局部极小值点集的横坐标,存入各列管口的质心粗略横坐标向量COL(j);
按“行扫描”所述二值图像中每行的像素灰度值之和,并投影到X坐标轴,绘制成行像素灰度值累加和曲线S2;统计S2中共M个“行波谷”谷底处的局部极小值点集的纵坐标,存入各行管口质心粗略纵坐标向量ROW(i);
得到所有可能的质心粗略坐标对集合(COL(j),ROW(i));
(4)剔除所述(COL(j),ROW(i))中位于背景区域的伪质心,得到各行及各列管口质心的粗略二维坐标集合(CENTER_X(k),CENTER_Y(k)),其中k为管口序号且完成多目标的质心粗略定位。
作为本发明的进一步改进:
上述的方法中,所述对摄像机进行标定,具体包括以下步骤:预先在待清洗管板区域内用固定激光束标识出二个以上标定点,控制机器人手眼机构使摄像机做六次纯平移运动并在每次运动前后拍摄图像,前三次的运动方向互相垂直,后三次的运动方向互相垂直,找出每次标定点在运动前图像中的投影点和在运动后图像中的投影点,并根据标定点在运动后图像中的投影点的位置坐标,在运动前图像中找出相同位置坐标的对应点,在运动前图像中画出运动前投影点与所述对应点的连线;摄像机每次纯平移运动时根据所述二个以上标定点所得的二条以上连线交于同一交点,运动前摄像头的光心到所述交点的矢量方向为摄像机运动方向,得到摄像机六次纯平移运动的六个运动方向,解出摄像机内外参数和畸变参数;根据所述内外参数和畸变参数建立摄像机图像像素坐标与对应的空间点坐标之间的几何关系,从而在拍摄图像时在2D图像平面空间内根据所述几何关系补偿反馈偏差,矫正畸变。
上述的方法中,所述预处理具体包括以下步骤:
(2.1)对所述灰度鸟瞰图像进行自适应中值滤波和直方图均衡化,以去除较大孤立点噪声并提高对比度;
(2.2)对图像进行自适应阈值处理:假设随机像素只属于目标管口区域或者背景区域,求取图像灰度级的离散概率密度函数的归一化直方图,再采用Otsu法选择最大化类间方差的阈值,并将该阈值缩放到合适的范围,使用缩放后的阈值对完成步骤(2.1)后的图像做全局阈值处理;
(2.3)对图像进行形态学处理:假设待处理图像像素集合为F,全局阈值处理后的图像像素集合为A,采用公式(1)对图像进行处理:
使用结构元素B对集合A开操作:即用B对A先腐蚀,再用B对所述腐蚀结果膨胀;使用结果元素C对(AοB)后的结果进行闭操作:即用C对(AοB)先膨胀,再用C对膨胀结果进行腐蚀;公式(1)中,所述B为结构元素,所述C为结果元素。
上述的方法中,所述完成多目标的质心粗略定位后,进行分类质心精确定位,包括以下步骤:
(4.1)在所述二值图像中绘制k个分别包围所述图像中的k个管口的矩形框,锁定管口区域;
(4.2)设number1,number2,number3∈N+(N+为正整数集合),且number1<number2<number3<L,其中L为二值图像中可能的最大管口数;
(4.2.1)当所述二值图像中管口数量时,采用边界取样链码模块在所述矩形框范围内进行管口识别和质心精确定位,即对所述管口区域边界进行网格二次取样,确定管口的边界链码,求取边界链码的近似多边形的顶点的数目、横坐标累加和以及纵坐标累加和,计算相应的算术平均值,作为管口的质心精确坐标;
(4.2.2)当所述二值图像中管口数量时,采用直接提取边界模块在所述矩形框范围内进行管口识别和质心精确定位,即提取管口区域边界,分别求取边界点横坐标的累加和与纵坐标的累加和,计算对应的算术平均值,作为管口的质心精确坐标;
(4.2.3)当所述二值图像中管口数量时,采用区域均值精确定位模块在所述矩形框范围内进行管口识别和质心精确定位,即分别求取管口所在区域点的横坐标累加和纵坐标累加和,求取对应的算术平均值,作为管口的质心精确坐标。
上述的方法中,所述L为10~15,所述number1为3,所述number2为6~8,number3为10~15。
上述的方法中,所述步骤(4.1)具体包括以下步骤:
(4.1.1)求取直线ys1=m与曲线S1中的每个“列波谷”的交点,其中m为图像高度,获得每个“列波谷”的下降侧的起始端点(x_left)p和上升侧的终止端点(x_right)p;将各“列波谷”的两端点横坐标间的区间长度作为图像中各纵列管口的最大横轴径长,存入最大横轴径长向量max(D_a),其中,第p列管口的最大横轴径长为max(D_a)p,即
max(D_a)p=(x_right)p-(x_left)p,p=1,2,...,N 公式(4)
求取直线xs2=n与曲线S2中的各“行波谷”的交点,其中n为图像宽度,获得每个“行波谷”的下降侧的起始端点(y_down)q和上升侧的终止端点(y_up)q;将各“行波谷”的两端点纵坐标之间的区间长度作为图像中各横排管口的最大纵轴径长,存入最大纵轴径长向量max(D_b),其中,第q排管口的最大纵轴径长为max(D_b)q,即
max(D_b)q=(y_up)q-(y_down)q,q=1,2,...,M 公式(5)
(4.1.2)根据得到的最大横轴径长向量max(D_a),并选定一叠加裕量θ,采用下式:
Max_D_a=Max{max(D_a)p|p=1,2,...,N} 公式(6)
rect_width=(1+θ)Max_D_a 公式(7)
计算得到管口图像的外包矩形框的宽度基准值rect_width,其中,Max_D_a为第1列至第N列纵列管口的最大横轴径长;
根据得到的最大纵轴径长向量max(D_b),并选定一叠加裕量σ,采用下式:
Max_D_b=Max{max(D_b)q|q=1,2,...,M} 公式(8)
rect_height=(1+σ)Max_D_b 公式(9)
计算得到管口图像的外包矩形框的高度基准值rect_height,其中,Max_D_b为第1行至第M行横排管口的最大纵轴径长;
(4.1.3)从图像左上角第一个管口起直至右下角最后一个管口,以粗略二维坐标集合(CENTER_X(k),CENTER_Y(k))中的坐标点为中心,分别绘制以rect_width为宽度rect_height为高度的矩形框,按序包围第1~第k个目标管口,锁定管口区域。
上述的方法中,所述叠加裕量θ的取值范围为0.03~0.07,所述叠加裕量σ的取值范围为0.03~0.07。
上述的方法中,(4.2.1.1)从所述二值图像中左上方第1个矩形框开始,即从k=1开始,当前矩形框左上角点为起点,按行列扫描方式遍历矩形框,判断如果当前点超出所在矩形框范围,转步骤(4.2.1.2);否则,转步骤(4.2.1.3);
(4.2.1.3)提取第k个管口的边界,选择间隔合适的网格对边界二次取样,网格线与边界的交点作为二次取样点,按顺时针方式用8方向链码对二次取样点进行编码并存储,计算当前管口边界的二次取样点的横坐标累加和与纵坐标累加和,根据取样点数目计算相应的算术平均值,即得所述第k个管口的质心精确坐标,转步骤(4.2.1.2);
(4.2.1.4)输出所述质心精确坐标并结束。
上述的方法中,所述采用直接提取边界模块在所述矩形框范围内进行管口识别和质心精确定位,具体包括以下步骤:
(4.2.2.1)从所述二值图像中的左上方第1个矩形框开始,即从k=1开始,当前矩形框左上角点为起点,按行列扫描方式遍历矩形框,判断如果当前点超出所在矩形框范围,转步骤(4.2.2.2);否则,转步骤(4.2.2.3);
(4.2.2.3)提取第k个管口的边界并存储各边界点的坐标,分别计算边界点的横坐标的累加和与纵坐标的累加和,计算相应的算术平均值,即得所述第k个管口的质心精确坐标,转步骤(4.2.2.2);
(4.2.2.4)输出所述质心精确坐标并结束。
上述的方法中,所述采用区域均值精确定位模块在所述矩形框范围内进行管口识别和质心精确定位,具体包括以下步骤:
(4.2.3.1)从所述二值图像中的左上方第1个矩形框开始,即从k=1开始,当前矩形框左上角点为起点,按行列扫描方式遍历矩形框,判断如果当前点超出所在矩形框范围,转步骤(4.2.3.2);否则,转步骤(4.2.3.3);
(4.2.3.3)计算第k个管口区域像素个数,分别求出管口像素横坐标累加和与纵坐标累加和,计算相应的算术平均值,即得所述第k个管口的质心精确坐标,转步骤(4.2.3.2);
(4.2.3.4)输出所述质心精确坐标并结束。
与现有技术相比,本发明的优点在于:
1、本发明的冷凝器管口图像的平面质心定位方法,采用分别绘制列像素灰度值累加和曲线以及行像素灰度值累加和曲线,并通过统计“列波谷”和“行波谷”的局部极小值点集坐标,去除伪质心的方法求取质心粗略坐标,管口呈横纵错列式分布的待清洗管板区域,特别适用于正方形错列管口分布,能够快速地获取冷凝器管口图像的平面质心,实现多管口的定位;
2、本发明的冷凝器管口图像的平面质心定位方法,采用外包矩形框将各管口锁定分隔开,再依次对每个矩形框内的管口区域进行处理,能尽量消除背景影响,锁定管口区域的大致范围,避免重复计算;
3、本发明的冷凝器管口图像的平面质心定位方法,根据实际定位的精度要求、管口数目以及管口的横纵径长,自动将管口分为大、中、小三类,对每类管口调用最合适的精度定位模块以确定每个矩形框内的管口质心精确坐标,能提高计算精度,实现定位精度自调整。对面积大、像素多的管口区域提取边界并二次取样,用尽量少的点近似边界形状,网格大小可调整,取样点分布更均匀;对面积适中、像素数目适中的管口区域直接提取边界得到完整的管口轮廓,容易得到各像素的邻接关系,从局部特征分割整体图像,减小计算量并确保定位误差较小;对面积小、像素少的管口区域对所有目标像素坐标累加求和取平均值,最大程度保留管口完整信息,在较多管口情况下确保质心定位的误差最小。
附图说明
图1是本发明总流程示意图;
图2是本发明具体实施例1中的总流程示意图;
图3是本发明具体实施例1中的图像预处理流程示意图;
图4是本发明具体实施例1中的绘制外包矩形框、锁定管口区域流程示意图;
图5是本发明具体实施例1中的分模块精确定位管口质心流程示意图;
图6是本发明具体实施例1中的待清洗区域多管口图像预处理结果示意图;其中,图6(a)为原始256级灰度图;其中图6(b)为经中值滤波后的图像;图6(c)为经自适应阈值化后的图像;图6(d)为经开运算后的图像;图6(e)为经闭运算后的图像;
图7是本发明具体实施例1中的质心粗略定位及绘制外包矩形框处理示意图;其中,图7(a)为行列扫描求像素值之和示意图,图中“行波谷”和“列波谷”极小值对应管口;图7(b)为行像素灰度值累加和曲线S2;图7(c)为列像素灰度值累加和曲线S1;图7(d)为粗略定位的质心位置以及根据最大横纵径长绘制的外包矩形框示意图;
图8是本发明具体实施例1中的直接提取边界模块精确定位质心过程示意图;其中,图8(a)为管口边界二值示意图;图8(b)为边界均值定位质心图像二值示意图;
图9是本发明具体实施例1中的边界二次取样、边界取样链码模块精确定位质心对比示意图;其中,图9(a)为第1个目标管口边界网格链码示意图;图9(b)为边界二次取样点(η=10)示意图;图9(c)为边界二次取样(η=10)的多管口边界样点连接示意图;图9(d)为边界二次取样(η=10)多管口边界样点连线示意图;图9(e)为边界二次取样(η=36)多管口边界样点示意图;图9(f)为边界二次取样(η=36)多管口边界样点连线示意图;图9(g)为边界二次取样(η=36)边界样点连线与管口对比示意图;图9(h)为边界二次取样(η=36)定位管口相对于区域精确定位的质心对比图,其中“X”表示二次取样质心位置质心,图中连线表示定位顺序从左上方第一个管口开始,按列定位。
具体实施方式
以下将结合说明书附图和具体实施例对本发明作进一步详细说明。
如图1、图2、图3、图4、图5所示,本发明的冷凝器管口图像的平面质心定位方法,包括以下步骤:
1、对摄像机进行标定,以消除摄像机镜头的畸变对所摄图像的影响:(参见文献IEEETrans“A self-calibration technique for active vision system”马颂德的基于两组三正交运动的线性方法和《学习OpenCV(中文版)》”)
1.1划分冷凝器管板待清洗区域,用固定激光束在区域四角标识出标定点P1、P2、P3和P4。控制机器人手眼机构(摄像机安装于机器人末端执行器上方,相当于“眼在手上”,一起构成“机器人手眼机构”)使摄像机做六次纯平移运动并在每次运动前后拍摄图像。分别沿机器人坐标系O-XrYrZr的Xr、Yr和Zr三个正交方向作平移运动,从运动控制器获得机器人手眼机构在机器人坐标系下的平移运动量和每次运动时找出运动前点P1在运动前所摄图像I1中的投影点P11和运动后点P1在运动后所摄图像I2中的投影点P12,在I1内找出坐标值等于P12在图像I2内坐标的对应点P12’,画出P12’与P11两点间的连线P11P12’,同理,可得连线P21P22’、P31P32’和P41P42’,每次纯平移运动所得任意二条连线交于同一交点,运动前摄像头的光心到所述交点的矢量方向为摄像机运动方向,根据所述三个运动方向可以得到两个三元线性方程,从而求出末端执行器在摄像机坐标系下的三次平移运动方向
1.3输入图像并调用OpenCV库中的摄像机标定函数cvCalibarateCamera2()处理后,得到畸变系数,函数cvCalibarateCamera2()根据冷凝器待清洗区域的4个角点在多幅图像上的物理坐标,及4个角点的像素坐标,从而解出摄像机外参数矩阵R和T,径向畸变参数k1、k2和切向畸变参数p1、p2。根据所得的内外参数和畸变参数建立摄像机图像像素坐标与对应的空间点坐标之间的几何关系,将图像标识点被映射后的x和y值传递给OpenCV库中用于校正(纠正失真)标定图像的函数cvRemap(),实现在2D图像平面空间计算反馈偏差,矫正畸变效应,将机器人视场中的管板平面映射为鸟瞰图。
2、控制机器人手眼机构沿摄像机的光轴运动,连续拍摄待清洗管板区域的灰度鸟瞰图,在其中选择清晰的图像进行预处理,得到多个管口和背景呈“黑白”对照的二值图像,待清洗管板区域中的管口呈横纵错列式分布;
其中,如图3、图6所示,图像预处理具体包括以下步骤:
2.1对灰度鸟瞰图像进行自适应中值滤波和直方图均衡化,以去除较大孤立点噪声并提高对比度;
2.1.1如图6(a)所示,灰度鸟瞰图像中,目标管口区域以横纵错列方式分布,呈类圆形且灰度较大,背景噪声明显,采用自适应中值滤波,对较大孤立点噪声可有效滤除,同时不出现明显的模糊和失真,结果如图6(b)所示。
2.1.2摄像机和图像传感器负责处理视场的对比度,将视场的光线在图像中曝光。虽然图像传感器在捕获的黑暗区域曝光时间较长,在明亮区域曝光时间较短,但仍可能发生非光源直射的黑暗区域曝光不足、光源直射的明亮区域曝光过饱和的现象。为扩大图像的动态范围,可以利用直方图均衡化拉伸亮度范围,使直方图中灰度级平均值高于原始值,平均亮度增强,直方图在整个亮度标度上显著扩展,增强对比度。
2.2对图像进行自适应阈值处理:假设随机像素只属于目标管口区域或者背景区域,求取图像灰度级的离散概率密度函数的归一化直方图,再采用Otsu法选择最大化类间方差的阈值,并将该阈值缩放到合适的范围,使用缩放后的阈值对完成步骤(2.1)后的图像做全局阈值处理,处理结果如图6(c)所示;
2.3对图像进行形态学处理:由于照明不均匀,全局阈值处理后,图像的管口边界不平滑,有不完整的管口,背景区域还存在噪声,需要进行图像补偿,可以运用连续的开闭运算改善这种情况。开运算可使管口区域的轮廓变光滑,消除细小“毛刺”并使狭窄间断断开;闭运算可使轮廓更光滑,并消除细长的鸿沟和狭窄的间断,填补轮廓线中的断裂。如图6(d)、(e)所示,假设待处理图像像素集合为F,全局阈值处理后的图像像素集合为A,采用公式(1)对图像进行处理:
公式(1)
使用结构元素B对集合A开操作:即用B对A先腐蚀,再用B对腐蚀结果膨胀;使用结果元素C对(AοB)后的结果进行闭操作:即用C对(AοB)先膨胀,再用C对膨胀结果进行腐蚀;公式(1)中,B为结构元素,本实例中,B为一个5×5且值为0的矩阵,C为结果元素,本实例中,C为一个18×18且值为0的圆盘。
3、如图1、图7所示,绘制列像素灰度值累加和曲线S1和行像素灰度值累加和曲线S2,计算得到一质心粗略坐标集合:
3.1如图7(a)所示,假设图像矩阵大小为m×n,其中m表示图像高度,n表示图像宽度。按“列扫描”二值图像中每列的像素灰度值之和,并投影到Y坐标轴,用ys1表示。绘制成列像素灰度值累加和曲线S1;如图7(c)所示,其中S1横坐标j表示列数,且j=1,2,…,n,可以发现:纵向排列的“黑色”管口区域对应于S1的“列波谷”;“全白色”背景所在列的像素灰度值之和为最大max(ys1)(本实施例中,max(ys1)等于图像高度);各纵列管口质心附近的列像素灰度值之和达到局部极小值min(Ys1)(即“列谷底”);纵向排列的管口个数一致,各个“列谷底值”大致相等。
3.2按“行扫描”二值图像中每行的像素灰度值之和,并投影到X坐标轴,用xs2表示,绘制成行像素灰度值累加和曲线S2;如图7(b)所示,S2中纵坐标i表示行数,且i=1,2,…,m,可以发现:横向排列的“黑色”管口区域对应于S2中的“行波谷”;“全白色”背景所在行的像素灰度值之和为最大max(xs2)(本实施例中,max(xs2)等于图像宽度);“行扫描”管口质心附近的行像素灰度值之和达到局部极小值min(Xs2)(即“行谷底值”);横向排列的管口个数越多,相应“行波谷”的“行谷底值”越小;管口个数越少,相应“行波谷”的“行谷底值”越大。
3.3统计S1中共N个“列波谷”处的局部极小值点集的横坐标,存入各列管口的质心粗略横坐标向量COL(j);统计S2中共M个“行波谷”处的局部极小值点集的纵坐标,存入各行管口质心粗略纵坐标向量ROW(i);取局部极小值点时,一般取一个“列波谷”或“行波谷”的谷底的一段曲线,将该段曲线上所有点的坐标的均值作为相应的局部极小值。计算方法如下,设一个“列波谷”谷底处曲线段上的点集的横坐标向量为Xs1(p),其中p=1,2,…,N;设一个“行波谷”谷底处曲线段上的点集的纵坐标向量为Ys2(q),其中q=1,2,…,M;则Xs1(p)、Ys2(q)的计算公式如下所示:
Xs1(p)=[jr+1,jr+2...,jr+w]p 公式(2)
Ys2(q)=[it+1,it+2,...,it+v]q 公式(3)
设纵坐标等于局部极小值min ys1(p)处曲线段的起始点,其横坐标为jr+1,下标r+1表示从第r+1列开始,纵坐标值等于该“列波谷”局部极小值min ys1(p),公式(2)表示将min ys1(p)处谷底的一段曲线上的点对应的所有横坐标jr+1、jr+2…jr+w顺次存入“列波谷”横坐标向量Xs1(p)。设横坐标等于局部极小值min Xs2(q)处曲线段的起始点,其纵坐标为it+1,下标t+1表示从第t+1行开始,横坐标值等于该“行波谷”局部极小值min xs2(q),v为横坐标等于min Xs2(q)处曲线段上的所有点的个数,曲线S2第t+1、t+2…t+v行的横坐标值均为该“行波谷”的局部极小值min Xs2(q),公式(3)表示将min Xs2(q)处谷底的一段曲线上的点对应的所有纵坐标存入“行波谷”纵坐标向量Ys2(q)。
3.4质心粗略横坐标COL(j)取向量Xs1(p)的中值质心粗略纵坐标ROW(i)取向量Ys2(q)的中值组成M×N个坐标对(COL(j),ROW(i)),如图7(d)所示,即所有可能的质心粗略坐标集合。
4、由于管口呈错列式分布(隔一个空位有一个管口),真正管口数目实际为需要判断坐标对(COL(j),ROW(i))是在管口区域还是位于背景区域,位于背景区域的坐标对(COL(j),ROW(i))不是真正的目标管口质心,应作为伪质心予以剔除。
假设图像阈值化后,管口区域像素灰度值为“0”,背景区域像素灰度值为“1”,按列依次计算坐标对(COL(j),ROW(i))处的像素灰度值,值为“1”说明是位于背景区域的伪质心,如图7(a)中“☆”号所示,不保留其坐标值;像素灰度值为“0”的点,取其横坐标值COL(j)存入向量CENTER_X(k),纵坐标值ROW(i)存入向量CENTER_Y(k),得到各行及各列管口质心的粗略二维坐标集合(CENTER_X(k),CENTER_Y(k)),其中k为管口序号且完成多目标的质心粗略定位。
完成多目标的质心粗略定位后,进行分类质心精确定位,包括以下步骤:
4.1在二值图像中绘制k个分别包围图像中的k个管口的矩形框,锁定管口区域;
以多个目标管口的粗略质心坐标为基准可以绘制包含管口区域的外包矩形,这一点是基于图像区域分割的思想:将图像中有意义的特征区域或者需要应用的特征区域提取出来,可以是像素的灰度值、物体轮廓曲线、纹理特征、空间频谱或直方图。本步骤可自动识别图像内的每个目标管口区域并精确定位其质心。
4.1.1如图4所示,根据各列像素灰度值之和曲线S1中“波谷”纵坐标随横坐标的增加满足“先单调递减,后单调递增”的规律,求取直线ys1=m与曲线S1中的每个“列波谷”的交点,其中m为图像高度,获得每个“列波谷”的下降侧的起始端点(x_left)p和上升侧的终止端点(x_right)p;将各“列波谷”的两端点横坐标间的区间长度作为图像中各纵列管口的最大横轴径长,存入最大横轴径长向量max(D_a),其中,第p列管口的最大横轴径长为max(D_a)p,即
max(D_a)p=(x_right)p-(x_left)p,p=1,2,...,N 公式(4)
根据各行像素灰度值之和曲线S2中“波谷”横坐标随纵坐标的增加满足“先单调递减,后单调递增”的规律,求取直线xs2=n与曲线S2中的各“行波谷”的交点,其中n为图像宽度,获得每个“行波谷”的下降侧的起始端点(y_down)q和上升侧的终止端点(y_up)q;将各“行波谷”的两端点纵坐标之间的区间长度作为图像中各横排管口的最大纵轴径长,存入最大纵轴径长向量max(D_b),其中,第q排管口的最大纵轴径长为max(D_b)q,即
max(D_b)q=(y_up)q-(y_down)q,q=1,2,...,M 公式(5)
4.1.2根据得到的最大横轴径长向量max(D_a),并选定一叠加裕量θ(叠加裕量θ的取值范围为0.03~0.07),采用下式:
Max_D_a=Max{max(D_a)p|p=1,2,...,N} 公式(6)
rect_width=(1+θ)Max_D_a 公式(7)
计算得到管口图像的外包矩形框的宽度基准值rect_width,其中,Max_D_a为第1列至第N列纵列管口的最大横轴径长;
根据得到的最大纵轴径长向量max(D_b),并选定一叠加裕量σ(叠加裕量σ的取值范围为0.03~0.07),采用下式:
Max_D_b=Max{max(D_b)q|q=1,2,...,M} 公式(8)
rect_height=(1+σ)Max_D_b 公式(9)
计算得到管口图像的外包矩形框的高度基准值rect_height,其中,Max_D_b为第1行至第M行横排管口的最大纵轴径长;
4.1.3如图7(d)所示,从图像左上角第一个管口起直至右下角最后一个管口,以粗略二维坐标集合(CENTER_X(k),CENTER_Y(k))中的坐标点为中心,分别绘制以rect_width为宽度、rect_height为高度的矩形框,按序包围第1~第k个目标管口,锁定管口区域。经过区域分割后,计算量从整幅图像像素数减少为计算包含管口区域的矩形框所占像素数,该处理可以提高目标精确定位的时间效率,并降低目标管口误检率。
4.2设number1,number2,number3∈N+(N+为正整数集合),且number1<number2<number3<L,其中L为二值图像中可能的最大管口数;另设,实际工况操作下的定位要求相对于区域均值精确定位质心方法允许的最大质心定位误差率为α。当L为10~15时,number1取3,number2取6~8,number3取10~15。能达到定位误差率δ≤α,满足要求。
4.2.1如图5所示,当二值图像中管口数量时,采用边界取样链码模块在矩形框范围内进行管口识别和质心精确定位,即对管口区域边界进行网格二次取样,确定管口的边界链码,求取边界链码的近似多边形的顶点的数目、横坐标累加和以及纵坐标累加和,计算相应的算术平均值,作为管口的质心精确坐标;
4.2.1.1从二值图像中的左上方第1个矩形框开始,即从k=1开始,当前矩形框左上角点(rect_leftup_x(k),rect_leftup_y(k))为起点,按行列扫描方式遍历矩形框,判断如果当前点超出所在矩形框范围,转步骤4.2.1.2;否则,转步骤4.2.1.3;
4.2.1.3提取第k个管口的边界,选择间隔合适的网格对边界二次取样,网格线与边界的交点作为二次取样点,按顺时针方式用8方向链码对二次取样点进行编码(为避免在不同方向采样生成的边界形状不同以及减小图像分辨率对边界差异带来的比例影响,将二次取样网格的方向定为边界的主轴方向(如图9(a)中,从黑点处起始的箭头方向所示),取样点坐标顺序存入二维数组,计算当前管口边界的二次取样点的横坐标累加和subsam_x(k)与纵坐标累加和subsam_y(k),根据取样点数目n_subsam(k)计算相应的算术平均值,即得第k个管口的质心精确坐标(subsam_x(k),subsam_y(k)),转步骤4.2.1.2;
4.2.1.5当前模块结束。
因求取链码需要较大间隔的网格取样,对于图像中管口数目较多的情况,因取样边界点数少,近似多边形与原始管口边界形状差异较为明显,质心定位误差较大,主要用于管口较少的图像分析。网格大小的选取依赖于图像分辨率以及边界的平滑程度,一般选取图像大小的10%-20%为宜。
4.2.2如图5所示,当二值图像中管口数量时,采用直接提取边界模块在矩形框范围内进行管口识别和质心精确定位,即提取管口区域边界,分别求取边界点横坐标的累加和与纵坐标的累加和,计算对应的算术平均值,作为管口的质心精确坐标;
4.2.2.1从二值图像中的左上方第1个矩形框开始,即从k=1开始,当前矩形框左上角点(rect_leftup_x(k),rect_leftup_y(k))为起点,其中,rect_leftup_x(k)=CENTER_X(k)0.5*rect_width,rect_leftup_y(k)=CENTER_y(k)0.5*rect_height;
按行列扫描方式遍历矩形框,判断如果当前点超出所在矩形框范围,转步骤4.2.2.2;否则,转步骤4.2.2.3;
4.2.2.3提取第k个管口的边界并将边界点坐标顺序存入二维单元数组,分别计算边界点的横坐标的累加和bound_sumx(k)与纵坐标的累加和bound_sumy(k)和以及边界点数目n_boun(k),计算相应的算术平均值,即得第k个管口的质心精确坐标(boundary_x(k),boundary_y(k)),转步骤4.2.2.2;
4.2.2.5当前模块结束。
4.2.3如图5所示,当二值图像中管口数量时,采用区域均值精确定位模块在矩形框范围内进行管口识别和质心精确定位,即分别求取管口所在区域点的横坐标累加和纵坐标累加和,求取对应的算术平均值,作为管口的质心精确坐标。
4.2.3.1从二值图像中的左上方第1个矩形框开始,即从k=1开始,当前矩形框左上角点(rect_leftup_x(k),rect_leftup_y(k))为起点,按行列扫描方式遍历矩形框,判断如果当前点超出所在矩形框范围,转步骤4.2.3.2;否则,转步骤4.2.3.3;
4.2.3.2跳到下一个矩形框,即令k=k+1,如果矩形框序号大于总矩形框数,即转步骤4.2.3.4;否则,转步骤4.2.3.3;
4.2.3.3提取第k个管口区域的所有像素坐标顺序存入二维单元数组,计算第k个管口区域像素个数n_pix(k),分别求出管口像素横、纵坐标累加和sum_x(k)和sum_y(k),计算其算术平均值ave_x(k)和ave_x(k),即得第k个管口的质心精确坐标(ave_x(k),ave_x(k)),转步骤4.2.3.2;
4.2.3.4将存放各管口像素坐标的单元数组进行连接,输出管口质心坐标(ave_x(k),ave_x(k)),其中,
4.2.3.5当前模块结束。输出质心精确坐标并结束。
对于特定的冷凝器正方形错列管束分布下,摄像头近距离拍摄管板图像得到的管口数目少、管口区域面积较大并且像质相对清晰,可适当降低对目标管口的采样精度以减小计算量;随着拍摄距离变大,图像内管口数目增多、管口区域面积变小并且像质下降,定位所需的采样精度要相应升高,以提取足够的目标特征信息,确保定位误差率不超过规定误差率,因此采用上述模块法进一步确定质心精确坐标。
表1给出了各管口质心的行列扫描粗略定位、区域精确定位、直接提取边界定位、边界链码定位的质心坐标、取样点数以及相对于精确质心的欧氏距离对比,其中每个管口按粗略定位求得的质心坐标与按区域精确定位求得的质心坐标的误差大约为5.79,粗略定位质心与区域精确定位的质心位置比较接近,能够初步锁定管口位置;区域精确定位质心位置最准确,可将该方法定位的质心坐标作为误差的参照基准值,其缺点是需统计管口区域内所有像素,数据量过大,区域精确定位质心坐标位置如图7(d)内”+”所示;直接提取管口边界定位质心误差不超过2个像素,统计管口边界所有像素,数据量适中,边界如附图8(a)所示,按边界定位质心位置如图8(b)管口内“*”所示。
表1同一图像多管口质心的粗略定位、区域精确定位、直接提取边界定位、边界链码定位的数据对比表
本实施例中,采用链码形式对二次取样的边界数据进行压缩,表2给出了管口边界二次取样定位质心与区域精确定位质心的实验数据对比,包括:网格大小η为2、4、6及36个像素的取样点数、对应的质心坐标及其与区域精确定位质心坐标的欧氏距离数据的对比。由统计数据可分析得到η=2、4、6时,实验结果相对于区域精确质心的欧氏距离定位误差不到3个像素,并且随η的增大,样点数目减少,数据压缩量随之变大;η>6时,误差超过3个像素,不能采纳。二次取样处理过程中,第1个目标管口的边界网格链码如图9(a)所示,图中“→”表示按8方向链码压缩边界数据,采样网格可调整的边界二次取样η=10时的样点图如图9(b)所示,样点连线如图9(c)所示,质心定位如图9(d)所示;η=36时,边界二次取样的样点图如图9(e)所示,边界样点连线如图9(f)所示,样点连线与管口对比如图9(g)所示,管口边界二次取样定位质心与按区域精确定位质心的位置对比,如图9(h)所示,图中“X”表示二次取样定位质心的位置,质心间的连线表示从左上方第一个管口开始,按列定位。由表2及图9(b)~9(h)可知,随边界二次取样网格η的增大,边界样点对边界的拟合度降低,质心定位误差变大。本实例采用直接提取边界或η≤6边界链码定位质心效果均较好,相应的质心坐标定位误差为2个像素。
表2对同一管口图像目标边界二次取样网格大小为2、4、6及36的实验数据对比表
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (10)
1.一种冷凝器管口图像的平面质心定位方法,其特征在于,所述方法包括以下步骤:
(1)对摄像机进行标定;
(2)控制机器人手眼机构沿摄像机的光轴运动,连续拍摄待清洗管板区域的灰度鸟瞰图,在其中选择清晰的图像进行预处理,得到多个管口和背景呈“黑白”对照的二值图像,所述待清洗管板区域中的管口呈横纵错列式分布;
(3)按“列扫描”所述二值图像中每列的像素灰度值之和,并投影到Y坐标轴,绘制成列像素灰度值累加和曲线S1;统计S1中共N个“列波谷”谷底处的局部极小值点集的横坐标,存入各列管口的质心粗略横坐标向量COL(j);
按“行扫描”所述二值图像中每行的像素灰度值之和,并投影到X坐标轴,绘制成行像素灰度值累加和曲线S2;统计S2中共M个“行波谷”谷底处的局部极小值点集的纵坐标,存入各行管口质心粗略纵坐标向量ROW(i);
得到所有可能的质心粗略坐标对集合(COL(j),ROW(i));
2.根据权利要求1所述的冷凝器管口图像的平面质心定位方法,其特征在于,所述对摄像机进行标定,具体包括以下步骤:预先在待清洗管板区域内用固定激光束标识出二个以上标定点,控制机器人手眼机构使摄像机做六次纯平移运动并在每次运动前后拍摄图像,前三次的运动方向互相垂直,后三次的运动方向互相垂直,找出每次标定点在运动前图像中的投影点和在运动后图像中的投影点,并根据标定点在运动后图像中的投影点的位置坐标,在运动前图像中找出相同位置坐标的对应点,在运动前图像中画出运动前投影点与所述对应点的连线;摄像机每次纯平移运动时根据所述二个以上标定点所得的二条以上连线交于同一交点,运动前摄像头的光心到所述交点的矢量方向为摄像机运动方向,得到摄像机六次纯平移运动的六个运动方向,解出摄像机内外参数和畸变参数;根据所述内外参数和畸变参数建立摄像机图像像素坐标与对应的空间点坐标之间的几何关系,从而在拍摄图像时在2D图像平面空间内根据所述几何关系补偿反馈偏差,矫正畸变。
3.根据权利要求1所述的冷凝器管口图像的平面质心定位方法,其特征在于,所述预处理具体包括以下步骤:
(2.1)对所述灰度鸟瞰图像进行自适应中值滤波和直方图均衡化,以去除较大孤立点噪声并提高对比度;
(2.2)对图像进行自适应阈值处理:假设随机像素只属于目标管口区域或者背景区域,求取图像灰度级的离散概率密度函数的归一化直方图,再采用Otsu法选择最大化类间方差的阈值,并将该阈值缩放到合适的范围,使用缩放后的阈值对完成步骤(2.1)后的图像做全局阈值处理;
(2.3)对图像进行形态学处理:假设待处理图像像素集合为F,全局阈值处理后的图像像素集合为A,采用公式(1)对图像进行处理:
使用结构元素B对集合A开操作:即用B对A先腐蚀,再用B对所述腐蚀结果膨胀;使用结果元素C对(AοB)后的结果进行闭操作:即用C对(AοB)先膨胀,再用C对膨胀结果进行腐蚀;公式(1)中,所述B为结构元素,所述C为结果元素。
4.根据权利要求1或2或3所述的冷凝器管口图像的平面质心定位方法,其特征在于,所述完成多目标的质心粗略定位后,进行分类质心精确定位,包括以下步骤:
(4.1)在所述二值图像中绘制k个分别包围所述图像中的k个管口的矩形框,锁定管口区域;
(4.2)设number1,number2,number3∈N+(N+为正整数集合),且number1<number2<number3<L,其中L为二值图像中可能的最大管口数;
(4.2.1)当所述二值图像中管口数量时,采用边界取样链码模块在所述矩形框范围内进行管口识别和质心精确定位,即对所述管口区域边界进行网格二次取样,确定管口的边界链码,求取边界链码的近似多边形的顶点的数目、横坐标累加和以及纵坐标累加和,计算相应的算术平均值,作为管口的质心精确坐标;
(4.2.2)当所述二值图像中管口数量时,采用直接提取边界模块在所述矩形框范围内进行管口识别和质心精确定位,即提取管口区域边界,分别求取边界点横坐标的累加和与纵坐标的累加和,计算对应的算术平均值,作为管口的质心精确坐标;
(4.2.3)当所述二值图像中管口数量时,采用区域均值精确定位模块在所述矩形框范围内进行管口识别和质心精确定位,即分别求取管口所在区域点的横坐标累加和纵坐标累加和,求取对应的算术平均值,作为管口的质心精确坐标。
5.根据权利要求4所述的冷凝器管口图像的平面质心定位方法,其特征在于,所述L为10~15,所述number1为3,所述number2为6~8,number3为10~15。
6.根据权利要求4所述的冷凝器管口图像的平面质心定位方法,其特征在于,所述步骤(4.1)具体包括以下步骤:
(4.1.1)求取直线ys1=m与曲线S1中的每个“列波谷”的交点,其中m为图像高度,获得每个“列波谷”的下降侧的起始端点(x_left)p和上升侧的终止端点(x_right)p;将各“列波谷”的两端点横坐标间的区间长度作为图像中各纵列管口的最大横轴径长,存入最大横轴径长向量max(D_a),其中,第p列管口的最大横轴径长为max(D_a)p,即
max(D_a)p=(x_right)p-(x_left)p,p=1,2,...,N 公式(4)
求取直线xs2=n与曲线S2中的各“行波谷”的交点,其中n为图像宽度,获得每个“行波谷”的下降侧的起始端点(y_down)q和上升侧的终止端点(y_up)q;将各“行波谷”的两端点纵坐标之间的区间长度作为图像中各横排管口的最大纵轴径长,存入最大纵轴径长向量max(D_b),其中,第q排管口的最大纵轴径长为max(D_b)q,即
max(D_b)q=(y_up)q-(y_down)q,q=1,2,...,M 公式(5)
(4.1.2)根据得到的最大横轴径长向量max(D_a),并选定一叠加裕量θ,采用下式:
Max_D_a=Max{max(D_a)p|p=1,2,...,N} 公式(6)
rect_width=(1+θ)Max_D_a 公式(7)
计算得到管口图像的外包矩形框的宽度基准值rect_width,其中,Max_D_a为第1列至第N列纵列管口的最大横轴径长;
根据得到的最大纵轴径长向量max(D_b),并选定一叠加裕量σ,采用下式:
Max_D_b=Max{max(D_b)q|q=1,2,...,M} 公式(8)
rect_height=(1+σ)Max_D_b 公式(9)
计算得到管口图像的外包矩形框的高度基准值rect_height,其中,Max_D_b为第1行至第M行横排管口的最大纵轴径长;
(4.1.3)从图像左上角第一个管口起直至右下角最后一个管口,以粗略二维坐标集合(CENTER_X(k),CENTER_Y(k))中的坐标点为中心,分别绘制以rect_width为宽度、rect_height为高度的矩形框,按序包围第1~第k个目标管口,锁定管口区域。
7.根据权利要求6所述的冷凝器管口图像的平面质心定位方法,其特征在于,所述叠加裕量θ的取值范围为0.03~0.07,所述叠加裕量σ的取值范围为0.03~0.07。
8.根据权利要求4所述的冷凝器管口图像的平面质心定位方法,其特征在于,所述采用边界取样链码模块在所述矩形框范围内进行管口识别和质心精确定位,具体包括以下步骤:
(4.2.1.1)从所述二值图像中的左上方第1个矩形框开始,即从k=1开始,当前矩形框左上角点为起点,按行列扫描方式遍历矩形框,判断如果当前点超出所在矩形框范围,转步骤(4.2.1.2);否则,转步骤(4.2.1.3);
(4.2.1.3)提取第k个管口的边界,选择间隔合适的网格对边界二次取样,网格线与边界的交点作为二次取样点,按顺时针方式用8方向链码对二次取样点进行编码并存储,计算当前管口边界的二次取样点的横坐标累加和与纵坐标累加和,根据取样点数目计算相应的算术平均值,即得所述第k个管口的质心精确坐标,转步骤(4.2.1.2);
(4.2.1.4)输出所述质心精确坐标并结束。
9.根据权利要求4所述的冷凝器管口图像的平面质心定位方法,其特征在于,所述采用直接提取边界模块在所述矩形框范围内进行管口识别和质心精确定位,具体包括以下步骤:
(4.2.2.1)从所述二值图像中的左上方第1个矩形框开始,即从k=1开始,当前矩形框左上角点为起点,按行列扫描方式遍历矩形框,判断如果当前点超出所在矩形框范围,转步骤(4.2.2.2);否则,转步骤(4.2.2.3);
(4.2.2.3)提取第k个管口的边界并存储各边界点的坐标,分别计算边界点的横坐标的累加和与纵坐标的累加和,计算相应的算术平均值,即得所述第k个管口的质心精确坐标,转步骤(4.2.2.2);
(4.2.2.4)输出所述质心精确坐标并结束。
10.根据权利要求4所述的冷凝器管口图像的平面质心定位方法,其特征在于,所述采用区域均值精确定位模块在所述矩形框范围内进行管口识别和质心精确定位,具体包括以下步骤:
(4.2.3.1)从所述二值图像中的左上方第1个矩形框开始,即从k=1开始,当前矩形框左上角点为起点,按行列扫描方式遍历矩形框,判断如果当前点超出所在矩形框范围,转步骤(4.2.3.2);否则,转步骤(4.2.3.3);
(4.2.3.3)计算第k个管口区域像素个数,分别求出管口像素横坐标累加和与纵坐标累加和,计算相应的算术平均值,即得所述第k个管口的质心精确坐标,转步骤(4.2.3.2);
(4.2.3.4)输出所述质心精确坐标并结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110188065 CN102289824B (zh) | 2011-07-06 | 2011-07-06 | 冷凝器管口图像的平面质心定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110188065 CN102289824B (zh) | 2011-07-06 | 2011-07-06 | 冷凝器管口图像的平面质心定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102289824A true CN102289824A (zh) | 2011-12-21 |
CN102289824B CN102289824B (zh) | 2013-04-24 |
Family
ID=45336213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110188065 Expired - Fee Related CN102289824B (zh) | 2011-07-06 | 2011-07-06 | 冷凝器管口图像的平面质心定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102289824B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779342A (zh) * | 2012-06-15 | 2012-11-14 | 江南大学 | 一种音圈马达磁体边缘检测方法 |
CN104748789A (zh) * | 2013-03-18 | 2015-07-01 | 吴昊 | 水环境监测装置 |
CN105893506A (zh) * | 2016-03-30 | 2016-08-24 | 武汉斗鱼网络科技有限公司 | 一种针对列表数据的矩阵旋转方法与装置 |
CN107274407A (zh) * | 2017-08-11 | 2017-10-20 | 长春理工大学 | 钢球精确计数、尺寸识别装置及方法 |
CN108053444A (zh) * | 2018-01-02 | 2018-05-18 | 京东方科技集团股份有限公司 | 瞳孔定位方法及装置、设备和存储介质 |
CN108229392A (zh) * | 2018-01-02 | 2018-06-29 | 京东方科技集团股份有限公司 | 一种瞳孔定位方法、装置、设备和介质 |
CN108535684A (zh) * | 2017-03-06 | 2018-09-14 | 维布络有限公司 | 对空间上分隔的无线发射器进行定位的方法和系统 |
CN110773969A (zh) * | 2019-11-04 | 2020-02-11 | 珠海格力智能装备有限公司 | 空调两器的处理方法及装置 |
CN111062286A (zh) * | 2019-12-09 | 2020-04-24 | 武汉理工光科股份有限公司 | 清管器的跟踪定位方法及系统 |
CN111429443A (zh) * | 2020-03-31 | 2020-07-17 | 中国飞机强度研究所 | 一种红外热成像系统检测图像的缺陷定位方法及装置 |
WO2020252632A1 (zh) * | 2019-06-17 | 2020-12-24 | 西门子(中国)有限公司 | 一种坐标系校准方法、装置和计算机可读介质 |
CN112529961A (zh) * | 2020-12-23 | 2021-03-19 | 武汉联影医疗科技有限公司 | 对象安装方法、装置、系统和存储介质 |
CN112785545A (zh) * | 2019-11-06 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 一种异常灯珠定位方法、装置及存储介质 |
CN113847868A (zh) * | 2021-08-05 | 2021-12-28 | 乐歌人体工学科技股份有限公司 | 一种具有矩形支脚的物料承载装置的定位方法及系统 |
WO2024000295A1 (zh) * | 2022-06-29 | 2024-01-04 | 深圳华大生命科学研究院 | 图像中的点坐标的确定方法和装置及相应设备和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6249602B1 (en) * | 1998-05-28 | 2001-06-19 | Cognex Corporation | Method and apparatus for determining a reference point of an object profile within an image |
CN101354785A (zh) * | 2008-09-04 | 2009-01-28 | 湖南大学 | 一种冷凝器清洗机器人中的视觉精确定位方法 |
CN101359400A (zh) * | 2008-09-17 | 2009-02-04 | 湖南大学 | 一种基于视觉的管口空间位置定位方法 |
-
2011
- 2011-07-06 CN CN 201110188065 patent/CN102289824B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6249602B1 (en) * | 1998-05-28 | 2001-06-19 | Cognex Corporation | Method and apparatus for determining a reference point of an object profile within an image |
CN101354785A (zh) * | 2008-09-04 | 2009-01-28 | 湖南大学 | 一种冷凝器清洗机器人中的视觉精确定位方法 |
CN101359400A (zh) * | 2008-09-17 | 2009-02-04 | 湖南大学 | 一种基于视觉的管口空间位置定位方法 |
Non-Patent Citations (2)
Title |
---|
孙晓玲,等: "基于灰度积分投影和模板方法的人眼定位", 《模式识别与图像处理》, no. 4, 31 December 2007 (2007-12-31) * |
孙程鹏,王耀南: "基于机器视觉的冷凝管管口识别定位研究", 《计算机测量与控制》, vol. 17, no. 8, 31 December 2009 (2009-12-31) * |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102779342A (zh) * | 2012-06-15 | 2012-11-14 | 江南大学 | 一种音圈马达磁体边缘检测方法 |
CN104748789A (zh) * | 2013-03-18 | 2015-07-01 | 吴昊 | 水环境监测装置 |
CN104748790A (zh) * | 2013-03-18 | 2015-07-01 | 吴昊 | 一种水环境监测装置及其工作方法 |
CN104748790B (zh) * | 2013-03-18 | 2017-03-01 | 张文龙 | 一种水环境监测装置及其工作方法 |
CN105893506A (zh) * | 2016-03-30 | 2016-08-24 | 武汉斗鱼网络科技有限公司 | 一种针对列表数据的矩阵旋转方法与装置 |
CN108535684A (zh) * | 2017-03-06 | 2018-09-14 | 维布络有限公司 | 对空间上分隔的无线发射器进行定位的方法和系统 |
CN108535684B (zh) * | 2017-03-06 | 2021-11-05 | 维布络有限公司 | 对空间上分隔的无线发射器进行定位的方法和系统 |
CN107274407A (zh) * | 2017-08-11 | 2017-10-20 | 长春理工大学 | 钢球精确计数、尺寸识别装置及方法 |
CN108053444A (zh) * | 2018-01-02 | 2018-05-18 | 京东方科技集团股份有限公司 | 瞳孔定位方法及装置、设备和存储介质 |
CN108229392A (zh) * | 2018-01-02 | 2018-06-29 | 京东方科技集团股份有限公司 | 一种瞳孔定位方法、装置、设备和介质 |
US10949993B2 (en) | 2018-01-02 | 2021-03-16 | Beijing Boe Optoelectronics Technology Co., Ltd. | Pupil localization method and device, apparatus, and storage medium |
CN108053444B (zh) * | 2018-01-02 | 2021-03-12 | 京东方科技集团股份有限公司 | 瞳孔定位方法及装置、设备和存储介质 |
WO2020252632A1 (zh) * | 2019-06-17 | 2020-12-24 | 西门子(中国)有限公司 | 一种坐标系校准方法、装置和计算机可读介质 |
US11820024B2 (en) | 2019-06-17 | 2023-11-21 | Siemens Ltd., China | Coordinate system calibration method, device, and computer readable medium |
CN110773969A (zh) * | 2019-11-04 | 2020-02-11 | 珠海格力智能装备有限公司 | 空调两器的处理方法及装置 |
CN112785545A (zh) * | 2019-11-06 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 一种异常灯珠定位方法、装置及存储介质 |
CN112785545B (zh) * | 2019-11-06 | 2022-09-16 | 杭州海康威视数字技术股份有限公司 | 一种异常灯珠定位方法、装置及存储介质 |
CN111062286A (zh) * | 2019-12-09 | 2020-04-24 | 武汉理工光科股份有限公司 | 清管器的跟踪定位方法及系统 |
CN111062286B (zh) * | 2019-12-09 | 2023-09-05 | 武汉理工光科股份有限公司 | 清管器的跟踪定位方法及系统 |
CN111429443A (zh) * | 2020-03-31 | 2020-07-17 | 中国飞机强度研究所 | 一种红外热成像系统检测图像的缺陷定位方法及装置 |
CN112529961A (zh) * | 2020-12-23 | 2021-03-19 | 武汉联影医疗科技有限公司 | 对象安装方法、装置、系统和存储介质 |
CN113847868A (zh) * | 2021-08-05 | 2021-12-28 | 乐歌人体工学科技股份有限公司 | 一种具有矩形支脚的物料承载装置的定位方法及系统 |
CN113847868B (zh) * | 2021-08-05 | 2024-04-16 | 乐仓信息科技有限公司 | 一种具有矩形支脚的物料承载装置的定位方法及系统 |
WO2024000295A1 (zh) * | 2022-06-29 | 2024-01-04 | 深圳华大生命科学研究院 | 图像中的点坐标的确定方法和装置及相应设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102289824B (zh) | 2013-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102289824B (zh) | 冷凝器管口图像的平面质心定位方法 | |
CN107833221B (zh) | 一种基于多通道特征融合和机器学习的漏水检测方法 | |
CN102331795B (zh) | 基于光斑识别的控制日光反射装置自动跟踪太阳的方法 | |
CN109800824A (zh) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 | |
CN110619327A (zh) | 一种复杂场景下基于深度学习的实时车牌识别方法 | |
CN101354785B (zh) | 一种冷凝器清洗机器人中的视觉精确定位方法 | |
CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN106952260A (zh) | 一种基于cis图像采集的太阳能电池片缺陷检测系统和方法 | |
CN111753682B (zh) | 一种基于目标检测算法的吊装区域动态监控方法 | |
CN110246151B (zh) | 一种基于深度学习和单目视觉的水下机器人目标跟踪方法 | |
CN104517125B (zh) | 高速物体的图像实时跟踪方法与系统 | |
CN101359400A (zh) | 一种基于视觉的管口空间位置定位方法 | |
WO2022252698A1 (zh) | 一种基于结构光场视频流的缺陷检测方法和装置 | |
CN102842037A (zh) | 一种基于多特征融合的车辆阴影消除方法 | |
CN113962929B (zh) | 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线 | |
CN103049765A (zh) | 一种基于鱼眼相机的判断人群密度和人数的方法 | |
CN1619593A (zh) | 基于多特征信息融合的视频运动目标自适应跟踪方法 | |
CN103955710A (zh) | 类地重力场环境下单目视觉空间识别方法 | |
CN113065486A (zh) | 适用于河道的漂浮物识别方法与系统、设备、介质 | |
CN108320301B (zh) | 一种基于跟踪学习检测的目标跟踪优化方法 | |
WO2023236886A1 (zh) | 一种基于密集光流法的云遮挡预测方法 | |
CN115861768A (zh) | 一种基于改进YOLOv5的金银花目标检测及采摘点定位方法 | |
CN117288168B (zh) | 一种低功耗的无人机城市建筑航拍系统 | |
WO2024077979A1 (zh) | 基于改进的SOLOv2的蘑菇簇轮廓分割和重构方法 | |
Pu et al. | Comparison and Simulation of Deep Learning Detection Algorithms for Floating Objects on the Water Surface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130424 |
|
CF01 | Termination of patent right due to non-payment of annual fee |