CN114049328B - 一种高精度微曲面复光束光学检测方法和系统 - Google Patents
一种高精度微曲面复光束光学检测方法和系统 Download PDFInfo
- Publication number
- CN114049328B CN114049328B CN202111355660.8A CN202111355660A CN114049328B CN 114049328 B CN114049328 B CN 114049328B CN 202111355660 A CN202111355660 A CN 202111355660A CN 114049328 B CN114049328 B CN 114049328B
- Authority
- CN
- China
- Prior art keywords
- measured object
- normal vector
- image
- light beam
- surface normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 230000003287 optical effect Effects 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 140
- 238000000034 method Methods 0.000 claims abstract description 69
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000017105 transposition Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 12
- 238000004458 analytical method Methods 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种高精度微曲面复光束光学检测方法和系统，涉及精密工程测量的技术领域，所述方法包括：向被测物体发射光束，采集被测物体旋转过程中的光束反射图像；对光束反射图像进行预处理，获得预处理图像；根据预处理图像，获得被测物体的旋转方向；根据预处理图像和旋转方向，计算被测物体的表面法向量，获得被测物体的表面法向量RGB图；对表面法向量RGB图进行处理，获得处理后的表面法向量；根据处理后的表面法向量计算被测物体上各点的深度值，组成被测物体的深度图；根据深度图重建被测物体的曲面模型。本发明可以快速、非接触的检测出被测物体的曲面信息，步骤简洁，检测过程自动化，检测效率高，检测结果准确。
Description
技术领域
本发明涉及精密工程测量的技术领域，更具体地，涉及一种高精度微曲面复光束光学检测方法和系统。
背景技术
近年来，工业零器件的超精密加工技术在生物医学、通讯、微电子等高科技领域中的应用越来越广泛，并成为了光电及通讯行业的关键部件。多种多样的应用需求对零件的曲面面形精度也提出了更高的要求。准确测量曲面零件的表面形貌，不但能正确识别加工过程中的变化和缺陷，而且对控制和改进加工方法、研究表面几何特性与使用性能的关系，以及提高加工表面的质量和产品性能都有着重要意义。目前针对零件曲面的测量方法主要包括接触式测量方法和光学非接触式测量方法。接触式测量方法以探针式表面轮廓仪和三坐标测量机为代表，具有直观可靠、操作简单、通用性强的特点，垂直测量范围大，适合于微米或亚微米级工程表面的测量；但在测量速度慢，测量结果受温度变化影响较大。由于触针与被测零件表面接触，会对超精密加工曲面零件表面造成损伤，触针易磨损，并且无法对软性及柔性物体进行测量。光学非接触测量方法主要包括光栅投影方法和干涉测量方法，前者具有测量范围大、测量速度快以及易于在计算机控制下实现自动化测量等特点，可达微米级测量精度，但在测量曲面零件时，多采用喷涂其表面，改变其反射特性为漫反射后进行测量，削弱了光学测量方法的非接触优点；并且光栅投影方法多基于远心光路模型或通过复杂的测量机构来获得相位偏移与被测物体表面形貌间的对应关系，且相位偏移信息的获取需要在对被测物体进行测量前，首先对一实际参考平面进行测量以获取参考相位，通过将其与被测物体表面对应点的相位值相减得到相位偏移，增加了测量复杂度，降低了测量效率。后者作为一种高精度测量方法，广泛应用于高反射面形检测，但通常干涉系统需要单色光源，且设计精密，结构复杂，造价昂贵，影响了干涉测量方法的使用。
现有技术提供了一种高反射自由曲面光栅投影快速非接触测量方法及装置，该方法借助于精密运动控制系统实现被测物体三自由度运动；使用光栅投影装置向被测物体表面投射编码光栅条纹；使用数字相移技术和相位展开算法从变形条纹图中获得被测物体表面的相位分布信息；使用虚拟参考面技术获取参考相位分布；根据相位偏移信息与被测物体表面梯度间的对应关系，恢复出被测物体表面测量区域的三维形貌信息；该发明需要获得相位偏移与被测物体表面形貌间的对应关系，增加了测量复杂度，检测效率低。
发明内容
本发明为克服上述现有技术无法兼顾检测效率和检测精度的缺陷，提供一种高精度微曲面复光束光学检测方法和系统，可以快速、非接触的检测出被测物体的曲面信息，步骤简洁，检测过程自动化，检测效率高，检测结果准确。
为解决上述技术问题，本发明的技术方案如下：
本发明提供了一种高精度微曲面复光束光学检测方法，包括：
S1：向被测物体发射光束，采集被测物体旋转过程中的光束反射图像；
S2：对光束反射图像进行预处理，获得预处理图像；
S3：根据预处理图像，获得被测物体的旋转方向；
S4：根据预处理图像和旋转方向，计算被测物体的表面法向量，获得被测物体的表面法向量RGB图；
S5：对表面法向量RGB图进行处理，获得处理后的表面法向量；
S6：根据处理后的表面法向量计算被测物体上各点的深度值，组成被测物体的深度图；
S7：根据深度图重建被测物体的曲面模型。
优选地，所述步骤S1中，利用位置固定的复光束角度传感器向被测物体发射光束，利用位置固定的CMOS摄像机拍摄被测物体旋转过程中的光束反射图像。
优选地，所述步骤S2中，对光束反射图像进行预处理为：
利用中值滤波器对光束反射图像进行平滑处理。
平滑处理可以有效地减少斑点噪声的干扰，减少噪声的同时又可以较好地保持图像边缘细节信息。中值滤波是通过对邻域内像素按灰度排序的结果决定中心像素的灰度：在光束反射图像上选取一个移动窗口，移动窗口中包含了奇数个像素点，将奇数个像素点的像素值从小到达排序，用所述像素点的像素值中值代替中心点的像素值。
优选地，所述步骤S3中，根据预处理图像，获得被测物体的旋转方向的具体方法为：
在本发明中，复光束角度传感器和CMOS摄像机的位置均是固定的，通过旋转被测物体来采集不同方向的光束反射图像，这存在不同光束照射方向与固定被测物体和旋转被测物体与固定的光束照射方向的一个绝对位置和相对位置关系；将所有预处理图像进行相加处理，发现每张预处理图像上对应光束点的变化呈现围绕某一点旋转的变化规律，与在采集不同方向的光束反射图像时旋转被测物体的规律相符。
对所有预处理图像进行加和处理，形成光束反射的叠加图像；在叠加图像上，每张预处理图像上对应光束点形成一个圆圈；选取位于叠加图像中心的圆圈，利用OpenCV中的moments()函数计算该圆圈的重心，作为该圆圈的圆心；在该圆圈上选择相邻两张预处理图像对应的光束点，结合该圆圈的圆心，利用余弦定理计算两个光束点间的夹角，即方向的改变角度，进而确定被测物体的旋转方向。根据物理和光学知识可知，最中心的光束点受到漫反射影响最小，而离中心越远，受到的影响越大，所以选择位于叠加图像中心的圆圈计算被测物体的旋转方向。
优选地，所述步骤S4中，根据预处理图像和旋转方向，计算被测物体的表面法向量的具体方法为：
被测物体的表面法向量与光束的照射方向、预处理图像的亮度值之间存在以下关系：
I＝KdLNT
式中，I表示预处理图像的亮度值，Kd表示反射率，L表示单位化的光束的照射方向，N表示被测物体的表面法向量，(*)T表示求转置；
则被测物体的预处理图像上任意一点有：
式中，表示第n张预处理图像上位置坐标为(i,j)的像素点的亮度值，表示第n张预处理图像对应的光束照射方向在空间直角坐标系中x轴、y轴、z轴上的方向分量，表示第n张预处理图像上位置坐标为(i,j)的像素点在x轴、y轴、z轴上表面法向量分量。
光束的照射方向与被测物体的旋转方向的存在相对位置关系，被测物体的旋转方向即是光束的照射方向，预处理图像的亮度值I则是预处理图像上具有的数据，根据上述等式可以求解出被测物体的表面法向量。
优选地，所述步骤S5中，对表面法向量RGB图进行处理具体包括：
S5.1：按照空间坐标系XYZ轴三个方向对被测物体的表面法向量RGB图进行分离，获得被测物体的三个单通道图像上表面法向量的数据分布；
S5.2：去除表面法向量中的异常值；
S5.3：根据数据分布的规律，对每个单通道图像上表面法向量进行插值拟合。
工业产品的形状大致上可分为两类或由这两类组成：一类是仅由初等解析曲面组成，大多数机械零件属于这一类；另一类是不能由初等解析曲面组成，而是由复杂方式自由变化的曲线曲面即所谓的自由曲线曲面组成。不能由初等解析曲面组成的，可以将其分解成许多小块，每小块由初等解析曲面组成。在初等解析曲面上，其表面法向量分别会在空间坐标系的XYZ轴三个方向上会呈现一定的规律变化，而求解出来的表面法向量图刚好是被测物体表面法向量在空间坐标系XYZ轴上的映射关系。对被测物体表面法向量RGB图像进行分离，分离得到单通道图像的数据分布，分离出的每个单通道图像的数据分别对应在XYZ轴上的物体表面法向量分布。从分布规律可以进行插值拟合，弥补采集光束反射图像时，被测物体无法完全反射光束造成的少量数据缺失，可以有效提高重建曲面后的精度，减少误差。向被测物体照射光束时，由于被测物体的材料问题，会存在漫反射情况，在图像上会表现为异常值；把漫反射的异常值当做噪声进行处理，在拟合前，去除异常值，确保数据的准确性。
优选地，所述步骤S6中，根据处理后的表面法向量计算被测物体上各点的深度值的具体方法为：
被测物体的表面法向量与被测物体表面的切面垂直，则表面法向量和切面上的任意一条直线垂直；被测物体表面上任意一点(i,j)指向右侧邻域像素和下侧邻域像素的向量均位于经过该点的切面上，则指向右侧邻域像素向量为：
(i+1,j,zi+1,j)-(i,j,zi,j)＝(1,0,zi+1,j-zi,j)
指向右侧邻域像素向量与表面法向量垂直，垂直方程为：
整理为：
指向下侧邻域像素向量与表面法向量垂直，同理可得垂直方程为：
根据右侧邻域像素向量和下侧邻域像素向量的垂直方程，则各点的深度值z表示为：
Mz＝v
式中，M表示矩阵系数，v表示关于表面法向量的矩阵，进而利用最小二乘法求解深度值z。
本发明还提供一种高精度微曲面复光束光学检测系统，包括：
图像采集模块，用于向被测物体发射光束，采集被测物体旋转过程中的光束反射图像；
图像预处理模块，用于对光束反射图像进行预处理，获得预处理图像；
旋转方向计算模块，根据预处理图像，获得被测物体的旋转方向；
法向量计算模块，根据预处理图像和旋转方向，计算被测物体的表面法向量，获得被测物体的表面法向量RGB图；
RGB图处理模块，对表面法向量RGB图进行处理，获得处理后的表面法向量；
深度值计算模块，根据处理后的表面法向量计算被测物体上各点的深度值，组成被测物体的深度图；
曲面重建模块，根据深度图重建被测物体的曲面模型。
优选地，所述图像采集模块为复光束角度传感器；所述复光束角度传感器包括激光器、滤光板、准直器透镜、分束器、柱面透镜、旋转平台、微透镜阵列和CMOS摄像机；
激光器发射光束，光束通过滤光板上的孔洞后，由准直器透镜进行准直；准直后光束经过分束器弯曲后，通过柱面透镜投射到被测物体上，被测物体放置在旋转平台上；被测物体反射的光束通过分束器聚焦在微透镜阵列上，微透镜阵列将反射光束分为多个光束，CMOS摄像机拍摄光束反射图像；旋转平台带动被测物体旋转，CMOS摄像机拍摄被测物体旋转至不同角度的光束反射图像。
经分束器弯曲的光束经过柱面透镜，可以有效消除透镜曲率的影响。
与现有技术相比，本发明技术方案的有益效果是：
(1)现有技术利用标定球进行光源方向标定，切换标定球和被测物体后才可采集光束反射图像，会产生位置误差；切换标定球和被测物体需要人工操作，检测过程自动化程度低；本发明通过旋转被测物体，采集被测物体旋转过程中的光束反射图像，消除了位置误差，提高了光束反射图像的数据准确性，无需人工操作，自动化程度高；
(2)对表面法向量进行处理，弥补了被测物体反射光束时造成的信息缺失，提高了计算深度值的准确性，提高了曲面重建的准确率；
(3)本发明提供的检测方法步骤简单，检测耗时短，效率高，利用现有高精度微曲面复光束光学设备即可完成，成本低，自动化程度高，易于推广。
附图说明
图1为实施例1所述的一种高精度微曲面复光束光学检测方法的流程图；
图2为实施例2所述的被测物体旋转至不同方向角度的光束反射图像；
图3为实施例2所述的所有光束反射图像的叠加图像；
图4为实施例2所述的选取的圆圈；
图5为实施例2所述的选取的圆圈在相邻预处理图像上对应的光束点的变化图；
图6为实施例2所述的被测物体的表面法向量RGB图；
图7为实施例2所述的被测物体表面法向量在三个方向上的数据分布示意图；
图8为实施例2所述的被测物体表面法向量拟合后在三个方向上的数据分布示意图；
图9为实施例3所述的一种高精度微曲面复光束光学检测系统的结构图；
图10为实施例3所述的复光束角度传感器的结构示意图；
图中，1-激光器，2-滤光板，3-准直器透镜，4-分束器，5-柱面透镜，6-旋转平台，7-微透镜阵列，8-CMOS摄像机。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供了一种高精度微曲面复光束光学检测方法，如图1所示，包括：
S1：向被测物体发射光束，采集被测物体旋转过程中的光束反射图像；
S2：对光束反射图像进行预处理，获得预处理图像；
S3：根据预处理图像，获得被测物体的旋转方向；
S4：根据预处理图像和旋转方向，计算被测物体的表面法向量，获得被测物体的表面法向量RGB图；
S5：对表面法向量RGB图进行处理，获得处理后的表面法向量；
S6：根据处理后的表面法向量计算被测物体上各点的深度值，组成被测物体的深度图；
S7：根据深度图重建被测物体的曲面模型。
在实际实施过程中，预先设置被测物体旋转的速度，整个检测方法流程即可自动化实现，步骤简单、检测时间短、效率高；仅旋转被测物体，无需对于光束方向进行标定，计算过程简单，计算结果准确，提高了曲面重建的准确率；对被测物体表面法向量进行处理，计算各点的深度值，可以有效弥补被测物体反射光束时的信息缺失，进一步提高了曲面重建的准确率。
实施例2
本实施例提供了一种高精度微曲面复光束光学检测方法，包括：
S1：向被测物体发射光束，采集被测物体旋转过程中的光束反射图像；
利用位置固定的复光束角度传感器向被测物体发射光束，利用位置固定的CMOS摄像机拍摄被测物体旋转过程中的光束反射图像。如图2所示，为被测物体旋转至不同方向角度的光束反射图像。
传统方法采集被测物体的光束反射图像时，需要利用光源从不同方向发出光束照射被测物体，并且需要先用标定球计算光源光照的近似方向，再将被测物体放在标定球的位置进行光束照射，切换标定球和被测物体的过程中位置会发生变动，导致采集到的光束反射图像存在误差，本实施例则固定发射光线的复光束角度传感器和采集光束反射图像的CMOS摄像机，而是通过旋转被测物体采集光束反射图像，减少了被测物体位置变动的误差。
S2：对光束反射图像进行预处理，获得预处理图像；
利用中值滤波器对光束反射图像进行平滑处理；平滑处理可以有效地减少斑点噪声的干扰，减少噪声的同时又可以较好地保持图像边缘细节信息。中值滤波是通过对邻域内像素按灰度排序的结果决定中心像素的灰度：在光束反射图像上选取一个移动窗口，移动窗口中包含了奇数个像素点，将奇数个像素点的像素值从小到达排序，用所述像素点的像素值中值代替中心点的像素值。
S3：根据预处理图像，获得被测物体的旋转方向；
本实施例中，复光束角度传感器和CMOS摄像机的位置均是固定的，通过旋转被测物体来采集不同方向的光束反射图像，这存在不同光束照射方向与固定被测物体和旋转被测物体与固定的光束照射方向的一个绝对位置和相对位置关系；将所有预处理图像进行相加处理，发现每张预处理图像上对应光束点的变化呈现围绕某一点旋转的变化规律，与在采集不同方向的光束反射图像时旋转被测物体的规律相符。
如图3所示对所有预处理图像进行加和处理，形成光束反射的叠加图像；在叠加图像上，每张预处理图像上对应光束点形成一个圆圈；如图4所示，选取位于叠加图像中心的圆圈，利用OpenCV中的moments()函数计算该圆圈的重心，作为该圆圈的圆心，根据物理和光学知识可知，最中心的光束点受到漫反射影响最小，而离中心越远，受到的影响越大，所以选择位于叠加图像中心的圆圈计算被测物体的旋转方向；如图5所示，为选取的圆圈在相邻预处理图像上对应的光束点的位置变化，在该圆圈上选择相邻两张预处理图像对应的光束点，结合该圆圈的圆心，利用余弦定理计算两个光束点间的夹角，即方向的改变角度，进而确定被测物体的旋转方向。
S4：根据预处理图像和旋转方向，计算被测物体的表面法向量，获得被测物体的表面法向量RGB图；
被测物体的表面法向量与光束的照射方向、预处理图像的亮度值之间存在以下关系：
I＝KdLNT
式中，I表示预处理图像的亮度值，Kd表示反射率，L表示单位化的光束的照射方向，N表示被测物体的表面法向量，(*)T表示求转置；
则被测物体的预处理图像上任意一点有：
式中，表示第n张预处理图像上位置坐标为(i,j)的像素点的亮度值，表示第n张预处理图像对应的光束照射方向在空间直角坐标系中x轴、y轴、z轴上的方向分量，表示第n张预处理图像上位置坐标为(i,j)的像素点在x轴、y轴、z轴上表面法向量分量。
光束的照射方向与被测物体的旋转方向的存在相对位置关系，被测物体的旋转方向即是光束的照射方向，预处理图像的亮度值I则是预处理图像上具有的数据，根据上述等式可以求解出被测物体的表面法向量。如图6所示，为被测物体的表面法向量RGB图。
S5：对表面法向量RGB图进行处理，获得处理后的表面法向量；
具体为：
S5.1：按照空间坐标系XYZ轴三个方向对被测物体的表面法向量RGB图进行分离，获得被测物体的三个单通道图像上表面法向量的数据分布；
S5.2：去除表面法向量中的异常值；
S5.3：根据数据分布的规律，对每个单通道图像上表面法向量进行插值拟合。
工业产品的形状大致上可分为两类或由这两类组成：一类是仅由初等解析曲面组成，大多数机械零件属于这一类；另一类是不能由初等解析曲面组成，而是由复杂方式自由变化的曲线曲面即所谓的自由曲线曲面组成。不能由初等解析曲面组成的，可以将其分解成许多小块，每小块由初等解析曲面组成。在初等解析曲面上，其表面法向量分别会在空间坐标系的XYZ轴三个方向上会呈现一定的规律变化，而求解出来的表面法向量图刚好是被测物体表面法向量在空间坐标系XYZ轴上的映射关系。如图7所示，对被测物体表面法向量RGB图像进行分离，分离得到单通道图像的数据分布，分离出的每个单通道图像的数据分别对应在XYZ轴上的物体表面法向量分布，从左至右分别对应X、Y、Z轴；从分布规律可以进行插值拟合，弥补采集光束反射图像时，被测物体无法完全反射光束造成的少量数据缺失，可以有效提高重建曲面后的精度，减少误差。向被测物体照射光束时，由于被测物体的材料问题，会存在漫反射情况，在图像上会表现为异常值；把漫反射的异常值当做噪声进行处理，在拟合前，去除异常值，如图8所示，为被测物体表面法向量拟合后在三个方向的数据分布图，从左至右分别对应X、Y、Z轴；上述步骤确保数据的准确性，进一步提高了重建曲面的准确率。使用复光束角度传感器采集图像时，发射光束变成点阵光束，再经物体反射，会造成曲面信息缺失；对表面法向量RGB图进行处理时，进行插值拟合，弥补点阵光束引起的信息缺失。
S6：根据处理后的表面法向量计算被测物体上各点的深度值，组成被测物体的深度图；
被测物体的表面法向量与被测物体表面的切面垂直，则表面法向量和切面上的任意一条直线垂直；被测物体表面上任意一点(i,j)指向右侧邻域像素和下侧邻域像素的向量均位于经过该点的切面上，则指向右侧邻域像素向量为：
(i+1,j,zi+1,j)-(i,j,zi,j)＝(1,0,zi+1,j-zi,j)
指向右侧邻域像素向量与表面法向量垂直，垂直方程为：
整理为：
指向下侧邻域像素向量与表面法向量垂直，同理可得垂直方程为：
根据右侧邻域像素向量和下侧邻域像素向量的垂直方程，则各点的深度值z表示为：
Mz＝v
式中，M表示矩阵系数，v表示关于表面法向量的矩阵，进而利用最小二乘法求解出深度值z。
现有的测量方法通过光束经过非球面反射到透镜光路的原理，由CMOS摄像机观察和记录得到的图像数据。通过图像数据计算曲面角差，将其角差用傅里叶级数表示，再根据其角差与曲面轮廓的关系式，对角差做傅里叶逆变换可得到曲面数据信息。该方法在计算物体的曲面角差时，需要手动选择图像数据中的某一行进行计算，具有随机性，不够自动化，效率低的缺点；而本实施例提供的方法则是选取整张图像数据进行处理，由一维数据处理上升到二维数据处理且计算过程自动化，效率高，更符合测量原理。
S7：根据深度图重建被测物体的曲面模型。
在实际实施过程中，旋转被测物体，通过获得不同张数的光束反射图像作为后续过程的数据基础，光束反射图像最少为3幅，最终重建出的被测物体的曲面数值与实际数值进行对比，获得的误差值与下表所示：
| 光束反射图像张数 | 4 | 6 | 12 | 15 | 18 |
| 误差(％) | 22.55 | 17.87 | 3.60 | 1.80 | 0.58 |
| 平均运行时间(s) | 10.11 | 10.20 | 10.57 | 10.72 | 10.86 |
从表中可以看出，获得的被测物体的光束反射图像越多时，重建出的被测物体的曲面与实际被测物体越接近。本实施例可以预先设置被测物体旋转的速度，整个检测方法流程即可自动化实现，步骤简单、检测时间短、效率高；仅旋转被测物体，无需对于光束方向进行标定，计算过程简单，计算结果准确，提高了曲面重建的准确率；计算出被测物体表面法向量后，对表面法向量进行XYZ三个方向做数据分离，之后进行插值拟合，弥补了被测物体反射光束时造成的信息缺失，进一步提高了曲面重建的准确率。
实施例3
本实施例提供一种高精度微曲面复光束光学检测系统，如图9所示，包括：
图像采集模块，用于向被测物体发射光束，采集被测物体旋转过程中的光束反射图像；
图像预处理模块，用于对光束反射图像进行预处理，获得预处理图像；
旋转方向计算模块，根据预处理图像，获得被测物体的旋转方向；
法向量计算模块，根据预处理图像和旋转方向，计算被测物体的表面法向量，获得被测物体的表面法向量RGB图；
RGB图处理模块，对表面法向量RGB图进行处理，获得处理后的表面法向量；
深度值计算模块，根据处理后的表面法向量计算被测物体上各点的深度值，组成被测物体的深度图；
曲面重建模块，根据深度图重建被测物体的曲面模型。
所述图像采集模块为复光束角度传感器；如图10所示，所述复光束角度传感器包括激光器1、滤光板2、准直器透镜3、分束器4、柱面透镜5、旋转平台6、微透镜阵列7和CMOS摄像机8；
激光器1发射光束，光束通过滤光板2上的孔洞后，由准直器透镜3进行准直；准直后光束经过分束器4弯曲后，通过柱面透镜5投射到被测物体上，被测物体放置在旋转平台6上；被测物体反射的光束通过分束器4聚焦在微透镜阵列7上，微透镜阵列7将反射光束分为多个光束，CMOS摄像机8拍摄光束反射图像；旋转平台6带动被测物体旋转，CMOS摄像机8拍摄被测物体旋转至不同角度的光束反射图像。
经分束器4弯曲的光束经过柱面透镜5，可以有效消除透镜曲率的影响。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种高精度微曲面复光束光学检测方法，其特征在于，包括：
S1：向被测物体发射光束，采集被测物体旋转过程中的光束反射图像；
S2：对光束反射图像进行预处理，获得预处理图像；
S3：根据预处理图像，获得被测物体的旋转方向；
S4：根据预处理图像和旋转方向，计算被测物体的表面法向量，获得被测物体的表面法向量RGB图；
根据预处理图像和旋转方向，计算被测物体的表面法向量的具体方法为：
被测物体的表面法向量与光束的照射方向、预处理图像的亮度值之间存在以下关系：
I＝KdLNT
式中，I表示预处理图像的亮度值，Kd表示反射率，L表示单位化的光束的照射方向，N表示被测物体的表面法向量，(*)T表示求转置；光束的照射方向与被测物体的旋转方向的存在相对位置关系，被测物体的旋转方向即是光束的照射方向；
则被测物体的预处理图像上任意一点有：
式中，表示第n张预处理图像上位置坐标为(i,j)的像素点的亮度值，表示第n张预处理图像对应的光束照射方向在空间直角坐标系中x轴、y轴、z轴上的方向分量，表示第n张预处理图像上位置坐标为(i,j)的像素点在x轴、y轴、z轴上表面法向量分量；
S5：对表面法向量RGB图进行处理，获得处理后的表面法向量；
S6：根据处理后的表面法向量计算被测物体上各点的深度值，组成被测物体的深度图；
根据处理后的表面法向量计算被测物体上各点的深度值的具体方法为：
被测物体的表面法向量与被测物体表面的切面垂直，则表面法向量和切面上的任意一条直线垂直；被测物体表面上任意一点(i,j)指向右侧邻域像素和下侧邻域像素的向量均位于经过该点的切面上，则指向右侧邻域像素向量为：
(i+1，j，zi+1，j)-(i，j，zi，j)＝(1，0，zi+1，j-zi，j)
指向右侧邻域像素向量与表面法向量垂直，垂直方程为：
整理为：
指向下侧邻域像素向量与表面法向量垂直，同理可得垂直方程为：
根据右侧邻域像素向量和下侧邻域像素向量的垂直方程，则各点的深度值z表示为：
Mz＝v
式中，M表示矩阵系数，v表示关于表面法向量的矩阵；
S7：根据深度图重建被测物体的曲面模型。
2.根据权利要求1所述的高精度微曲面复光束光学检测方法，其特征在于，所述步骤S1中，利用位置固定的复光束角度传感器向被测物体发射光束。
3.根据权利要求1所述的高精度微曲面复光束光学检测方法，其特征在于，所述步骤S1中，利用位置固定的CMOS摄像机拍摄被测物体旋转过程中的光束反射图像。
4.根据权利要求1所述的高精度微曲面复光束光学检测方法，其特征在于，所述步骤S2中，对光束反射图像进行预处理为：
利用中值滤波器对光束反射图像进行平滑处理。
5.根据权利要求1所述的高精度微曲面复光束光学检测方法，其特征在于，所述步骤S3中，根据预处理图像，获得被测物体的旋转方向的具体方法为：
对所有预处理图像进行加和处理，形成光束反射的叠加图像；在叠加图像上，每张预处理图像上对应光束点形成一个圆圈；选取位于叠加图像中心的圆圈，利用OpenCV中的moments()函数计算该圆圈的重心，作为该圆圈的圆心；在该圆圈上选择相邻两张预处理图像对应的光束点，结合该圆圈的圆心，利用余弦定理计算两个光束点间的夹角，即方向的改变角度，进而确定被测物体的旋转方向。
6.根据权利要求1所述的高精度微曲面复光束光学检测方法，其特征在于，所述步骤S5中，对表面法向量RGB图进行处理具体包括：
S5.1：按照空间坐标系XYZ轴三个方向对被测物体的表面法向量RGB图进行分离，获得被测物体的三个单通道图像上表面法向量的数据分布；
S5.2：去除表面法向量中的异常值；
S5.3：根据数据分布的规律，对每个单通道图像上表面法向量进行插值拟合。
7.一种高精度微曲面复光束光学检测系统，其特征在于，包括：
图像采集模块，用于向被测物体发射光束，采集被测物体旋转过程中的光束反射图像；
图像预处理模块，用于对光束反射图像进行预处理，获得预处理图像；
旋转方向计算模块，根据预处理图像，获得被测物体的旋转方向；
法向量计算模块，根据预处理图像和旋转方向，计算被测物体的表面法向量，获得被测物体的表面法向量RGB图；
根据预处理图像和旋转方向，计算被测物体的表面法向量的具体方法为：
被测物体的表面法向量与光束的照射方向、预处理图像的亮度值之间存在以下关系：
I＝KdLNT
式中，I表示预处理图像的亮度值，Kd表示反射率，L表示单位化的光束的照射方向，N表示被测物体的表面法向量，(*)T表示求转置；光束的照射方向与被测物体的旋转方向的存在相对位置关系，被测物体的旋转方向即是光束的照射方向；
则被测物体的预处理图像上任意一点有：
式中，表示第n张预处理图像上位置坐标为(i，j)的像素点的亮度值，表示第n张预处理图像对应的光束照射方向在空间直角坐标系中x轴、y轴、z轴上的方向分量，表示第n张预处理图像上位置坐标为(i，j)的像素点在x轴、y轴、z轴上表面法向量分量；
RGB图处理模块，对表面法向量RGB图进行处理，获得处理后的表面法向量；
深度值计算模块，根据处理后的表面法向量计算被测物体上各点的深度值，组成被测物体的深度图；
根据处理后的表面法向量计算被测物体上各点的深度值的具体方法为：
被测物体的表面法向量与被测物体表面的切面垂直，则表面法向量和切面上的任意一条直线垂直；被测物体表面上任意一点(i，j)指向右侧邻域像素和下侧邻域像素的向量均位于经过该点的切面上，则指向右侧邻域像素向量为：
(i+1，j，zi+1，j)-(i，j，zi，j)＝(1，0，zi+1，j-zi，j)
指向右侧邻域像素向量与表面法向量垂直，垂直方程为：
整理为：
指向下侧邻域像素向量与表面法向量垂直，同理可得垂直方程为：
根据右侧邻域像素向量和下侧邻域像素向量的垂直方程，则各点的深度值z表示为：
Mz＝v
式中，M表示矩阵系数，v表示关于表面法向量的矩阵；
曲面重建模块，根据深度图重建被测物体的曲面模型。
8.根据权利要求7所述的高精度微曲面复光束光学检测系统，其特征在于，所述图像采集模块为复光束角度传感器；所述复光束角度传感器包括激光器(1)、滤光板(2)、准直器透镜(3)、分束器(4)、柱面透镜(5)、旋转平台(6)、微透镜阵列(7)和CMOS摄像机(8)；
激光器(1)发射光束，光束通过滤光板(2)上的孔洞后，由准直器透镜(3)进行准直；准直后光束经过分束器(4)弯曲后，通过柱面透镜(5)投射到被测物体上，被测物体放置在旋转平台(6)上；被测物体反射的光束通过分束器(4)聚焦在微透镜阵列(7)上，微透镜阵列(7)将反射光束分为多个光束，CMOS摄像机(8)拍摄光束反射图像；旋转平台(6)带动被测物体旋转，CMOS摄像机(8)拍摄被测物体旋转至不同角度的光束反射图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111355660.8A CN114049328B (zh) | 2021-11-16 | 2021-11-16 | 一种高精度微曲面复光束光学检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111355660.8A CN114049328B (zh) | 2021-11-16 | 2021-11-16 | 一种高精度微曲面复光束光学检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114049328A CN114049328A (zh) | 2022-02-15 |
| CN114049328B true CN114049328B (zh) | 2024-10-15 |
Family
ID=80209602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111355660.8A Active CN114049328B (zh) | 2021-11-16 | 2021-11-16 | 一种高精度微曲面复光束光学检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049328B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103453849A (zh) * | 2013-07-18 | 2013-12-18 | 黑龙江科技大学 | 多光学传感器协同的复杂曲面零件三维测量方法与系统 |
| CN110940295A (zh) * | 2019-11-29 | 2020-03-31 | 北京理工大学 | 基于激光散斑极限约束投影的高反射物体测量方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105807579B (zh) * | 2014-12-31 | 2018-10-16 | 上海微电子装备（集团）股份有限公司 | 一种硅片和基板预对准测量装置和方法 |
| DE102017125184A1 (de) * | 2017-10-27 | 2019-05-02 | Valeo Schalter Und Sensoren Gmbh | Freiformspiegel für eine Sendeeinrichtung einer optischen Erfassungsvorrichtung, Sendeeinrichtung, optische Erfassungsvorrichtung, Kraftfahrzeug und Verfahren |
| CN113240603A (zh) * | 2020-12-28 | 2021-08-10 | 武汉纺织大学 | 基于点云数据的三维人体测量系统和测量方法 |
-
2021
- 2021-11-16 CN CN202111355660.8A patent/CN114049328B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103453849A (zh) * | 2013-07-18 | 2013-12-18 | 黑龙江科技大学 | 多光学传感器协同的复杂曲面零件三维测量方法与系统 |
| CN110940295A (zh) * | 2019-11-29 | 2020-03-31 | 北京理工大学 | 基于激光散斑极限约束投影的高反射物体测量方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114049328A (zh) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107525479B (zh) | 识别物体表面点或区域的方法、光学传感器以及存储介质 | |
| EP3783304B1 (en) | Calibration of a triangulation sensor | |
| CN113205593B (zh) | 一种基于点云自适应修复的高反光表面结构光场三维重建方法 | |
| CN114041168A (zh) | 自动化360度密集点对象检验 | |
| US9704232B2 (en) | Stereo vision measurement system and method | |
| EP3388781B1 (en) | System and method for detecting defects in specular or semi-specular surfaces by means of photogrammetric projection | |
| Molleda et al. | An improved 3D imaging system for dimensional quality inspection of rolled products in the metal industry | |
| CN105960569B (zh) | 使用二维图像处理来检查三维物体的方法 | |
| EP2960621B1 (en) | Shape inspection device | |
| CN111336947A (zh) | 一种基于双目点云融合的镜面类物体线激光扫描方法 | |
| Emam et al. | Dimensional deviation measurement of ceramic tiles according to ISO 10545-2 using the machine vision | |
| CN113074660A (zh) | 一种大尺寸透明物体的面型测量方法 | |
| JP2018522240A (ja) | アーチファクトを測定するための方法 | |
| CN114049328B (zh) | 一种高精度微曲面复光束光学检测方法和系统 | |
| JP2015152585A (ja) | 金属表面の形状測定装置及び形状検査装置 | |
| Xu et al. | A robot-assisted back-imaging measurement system for transparent glass | |
| Lee et al. | 3D foot scanner based on 360 degree rotating-type laser triangulation sensor | |
| CN117433447A (zh) | 钢轨扣件三维几何检测系统 | |
| CN114674244B (zh) | 一种同轴正入射散斑偏折术测量方法和装置 | |
| Galan et al. | Shadow identification and height estimation of defects by direct processing of grayscale images | |
| Hinz et al. | A 3d measuring endoscope for use in sheet-bulk metal forming: Design, algorithms, applications and results | |
| Spence et al. | Automotive sheet metal and grid digitizing solutions | |
| JP2018059883A (ja) | 表面検査装置及び表面検査方法 | |
| Lerones et al. | Total quality control for automotive raw foundry brake disks | |
| Middendorf et al. | Fast Measurement of Complex Geometries Using Inverse Fringe |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240828 Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Applicant after: Shenzhen Hengyuan Zhida Information Technology Co.,Ltd. Country or region after: China Address before: 510090 Dongfeng East Road 729, Yuexiu District, Guangzhou City, Guangdong Province Applicant before: GUANGDONG University OF TECHNOLOGY Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240911 Address after: No. 7 Yongchang North Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 100176 Applicant after: Beijing Zhong'an Semiconductor (Beijing) Co.,Ltd. Country or region after: China Address before: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Applicant before: Shenzhen Hengyuan Zhida Information Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |