CN113923358A - 一种飞拍模式下的在线自动对焦方法和系统 - Google Patents
一种飞拍模式下的在线自动对焦方法和系统 Download PDFInfo
- Publication number
- CN113923358A CN113923358A CN202111174787.XA CN202111174787A CN113923358A CN 113923358 A CN113923358 A CN 113923358A CN 202111174787 A CN202111174787 A CN 202111174787A CN 113923358 A CN113923358 A CN 113923358A
- Authority
- CN
- China
- Prior art keywords
- focusing
- image
- definition
- module
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 25
- 230000007547 defect Effects 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 claims description 24
- 238000004519 manufacturing process Methods 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 18
- 239000007788 liquid Substances 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 239000000047 product Substances 0.000 description 70
- 238000003384 imaging method Methods 0.000 description 13
- 238000007689 inspection Methods 0.000 description 10
- 230000007423 decrease Effects 0.000 description 5
- 238000011179 visual inspection Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- OIGNJSKKLXVSLS-VWUMJDOOSA-N prednisolone Chemical compound O=C1C=C[C@]2(C)[C@H]3[C@@H](O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 OIGNJSKKLXVSLS-VWUMJDOOSA-N 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/282—Autofocusing of zoom lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本发明提供了一种飞拍模式下的在线自动对焦方法和系统。包括图像采集模块和在线对焦模块，图像采集模块利用飞拍技术对产品的图像进行采集，在线对焦模块依据对采集图像的清晰度分析作为调焦的控制输入，依据产品的清晰度对图像采集模块的焦距进行调整直至达到相应的清晰度标准，将采集的图像传输至视觉检测模块，视觉检测模块对产品图像进行检测并输出检测结果。其中本发明的有益效果是：减少复杂的机械结构设计，保证拍摄系统的稳定性，又能够通过软件设定调焦值，毫秒范围内快速响应，实现连续作业模式下的在线自动对焦的技术效果。
Description
技术领域
本发明涉及产品检测领域，特别涉及一种飞拍模式下的在线自动对焦方法和系统。
背景技术
工业批量化生产过程中，产品缺陷检测作为工业质检领域的主要应用场景，缺陷检测结果决定影响最终产品的质量。传统的工业质检领域中依赖人工目视检查，人工检测耗时长，易出现主观性偏差，且在质检的过程中容易对产品造成二次损伤。随着深度学习技术的发展，计算机视觉被广泛应用于工业质检领域，通过图像识别技术对产品表面进行缺陷检测。图像采集模块作为机器视觉的输入，是检测系统中的关键因素，图像质量越高，视觉模块处理难度越低，检测结果越好，同时系统的稳定性和可靠性更高。图像清晰度作为衡量图像质量优劣的重要指标，其主要影响因素取决于镜头的选型及对焦的精度。在工业批量化质检过程，产品或机台不平整存在深度信息差导致产品图像易失焦。对焦不准的检测图像往往清晰度低，视觉效果模糊，缺陷信息无法获取，严重干扰缺陷检测效果，因此需要对相机重新对焦。
相机对焦的过程，本质上是对图像清晰度评价的过程。目前对焦方式主要通过主动式对焦和被动式聚焦。主动式对焦解决方案，一类借助对测距源具有较强吸收作用的外界物质，如红外线、激光等等，根据反射确定目标距离，然后调整距离，驱动电机控制产品或相机镜头调节至景深范围内。这种方式，对机械结构的设计及精度要求较为严格，且在检测过程中容易造成产品损坏，对焦难度大，速度慢，产品图像成像质量不稳定，图像清晰度无法保证。此外，对某些产品而言，其成像效果受限于产品本身材质、尺寸、光学系统及工作台平整精度，使用这种机械结构驱动下的图像采集系统，图像质量差，缺陷检测效果无法满足质检要求。
传统离线对焦是根据不同搜索方法驱动电机结构，遍历不同调焦位置获取目标图像，并计算所有图像清晰度选择最优，这种离线式调焦常规搜索方法爬山法、Fibonacci搜索法、曲线拟合法，这几种对焦方式耗时较长，且容易陷入局部最大值。整个搜索过程需要十几帧以上的连续图像才能完成对焦，选取其中质量最佳，清晰度最高的图像作为最终检测输入，不仅对焦效率低，搜索过程长，同时电机驱动机构重复运动多，这种方式仅适用定拍模式下视觉检测。为提高作业效率，目前工业自动化质检大多采用飞拍检测技术，实现高效率批量化生产，传统的定点式对焦技术已无法满足工业批量化质检要求。
专利CN113296242A中公开了一种可实现快速变焦、大景深使用要求的液体透镜辅助调焦的自动对焦成像镜头，通过采用液体透镜结构来快速实现镜头的自动对焦过程，使用镜片数量较少，减少了镜头体积及成本，同时具有较高的分辨率。液体透镜通过改变电压来调节其表面曲率实现对焦功能。专利CN113103215A中通过SCARA机器人做搬运主体，具有速度快，精度高等特点，设备的效率大大提高，将飞拍系统中的相机放置于机器人末端，保证了作业空间的范围，在不影响空间使用的情况下保证了飞拍功能的实现，产品结构简单，小巧，可以满足对C电子、家电、玩具、塑料五金等行业的应用需求，配合高响应相机以及频闪光源控制器，在不停顿拍照的情况下可以实现抓取物的识别和角度的调整，可以实现动态抓取。CN113252007A中以初步设定的飞拍控制参数得到初始图像，并通过多种图像比较算法对初始图像于目标图像的相似度进行评分，然后通过贝叶斯优化器基于飞拍控制参数和评分预测出评分最高时所对应的飞拍控制参数，最后以评分最高时所对应的飞拍控制参数拍摄出用于进行检测的实际图像，由此，能够自动调试出合适的飞拍控制参数，使得拍摄到的实际图像更加接近目标图像，能够节省人力，缩短飞拍周期，提高图像质量，从而提高工件质检效果。但是目前对于飞拍的技术内容中主要是通过对飞拍的相关参数进行调整，但是在产品的检测当中需要保证对产品的图像进行清晰的获取才能保证对产品精确的检测，飞拍与传统的定拍存在较大的差异，需要保证实时对产品图像进行清晰的获取。
发明内容
为了解决上述技术问题，本发明中披露了一种针对检测系统不平整存在深度扰动、机械机构本身误差等导致的失焦，解决了批量化质检过程的空间位置偏移导致的失焦问题在飞拍模式下的在线自动对焦方法和系统，本发明的技术方案是这样实施的：
一种飞拍模式下的在线自动对焦方法，具体包括如下步骤：S1：通过移动飞拍对产品生产线上的产品进行实时的图像采集；S2：对采集的图像进行清晰度评价；S3：依据清晰度评价结果进行在线自动对焦；S4：通过对采集的图像进行缺陷检测，并将缺陷检测结果传输至产线端；其中，在线自动对焦具体包括如下步骤：S3-1：调焦使得将待检测产品位于景深范围内，并处于准确对焦状态；S3-2：在飞拍模式下，获取下一帧待检测产品的图像，计算图像清晰度评价结果，保存当前调焦值；S3-3：计算连续检测过程中相邻图像帧之间清晰度差值；S3-4：根据S3-3中两帧图像清晰度差值判定模糊程度倾向，若当前帧较上一帧更清晰或者模糊程度变化程度在允许范围内，使用当前调焦值，否则根据清晰度差值计算调焦步长值，控制镜头施加调焦值，调焦方向为正；S3-5：继续捕获下一张图像；S3-6：计算微调后的清晰度差值，若清晰度分析结果为清晰倾向，表明当前调焦方向正确，否则反方向施加步长值；S3-7：重复步骤S3-2至S3-6。
优选地，所述图像清晰度的算法包括灰度梯度、统计特征、频域分析或信息熵方法。
优选地，相机和景深之间的约束为
一种飞拍模式下的在线自动对焦系统，根据上述的一种飞拍模式下的在线自动对焦方法，包括图像采集模块、在线对焦模块和视觉检测模块，其中图像采集模块包括液态可调焦镜头和高分辨率相机，所述图像采集模块通过飞拍对产品的图像进行采集，所述在线对焦模块依据清晰度评价对所述液态可调焦镜头的焦距进行调整，所述视觉检测模块对所述图像采集模块中采集的图像进行检测识别，并将检测结果输出。
优选地，还包括运动控制模块，所述运动控制模块包括运动控制机构，所述运动控制机构控制移动飞拍。
优选地，还包括软件系统，所述软件系统中设置所述图像清晰度算法、图像清晰度分析函数以及调焦值，所述软件系统将清晰度评价作为所述在线对焦模块的控制输入。
优选地，还包括硬件控制模块，所述硬件控制模块包括所述运动控制模块。
优选地，还包括人机交互界面，所述人机交互界面对所述软件系统和所述硬件控制模块进行控制。
实施本发明的技术方案可解决现有技术中产品检测系统不平整存在深度扰动、机械机构本身误差等导致的失焦，批量化质检过程的空间位置偏移容易导致的失焦的技术问题；实施本发明的技术方案，通过在产线上直接设置检测平台，在检测平台上设置由液态可调焦镜头和高分辨率相机组成的图像采集模块，依据设置的调焦函数实现自动在线调焦保证对图像进行清晰的获取，将获取的的图像通过视觉缺陷检测模块进行缺陷的检测，将生成的检测结果输出至产线端，可实现减少复杂的机械结构设计，保证拍摄系统的稳定性，又能够通过软件设定调焦值，毫秒范围内快速响应，实现连续作业模式下的在线自动对焦的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
图1为在线自动对焦流程示意图；
图2为系统结构示意图；
图3为在线自动对焦流程示意图；
图4为焦平面与景深成像示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
在优选的实施例1中，如图1所示，一种飞拍模式下的在线自动对焦方法，具体包括如下步骤：S1：通过移动飞拍对产品生产线上的产品进行实时的图像采集；S2：对采集的图像进行清晰度评价；S3：依据清晰度评价结果进行在线自动对焦；S4：通过对采集的图像进行缺陷检测，并将缺陷检测结果传输至产线端；其中，在线自动对焦具体包括如下步骤：S3-1：调焦使得将待检测产品位于景深范围内，并处于准确对焦状态；S3-2：在飞拍模式下，获取下一帧待检测产品的图像，计算图像清晰度评价结果，保存当前调焦值；S3-3：计算连续检测过程中相邻图像帧之间清晰度差值；S3-4：根据S3-3中两帧图像清晰度差值判定模糊程度倾向，若当前帧较上一帧更清晰或者模糊程度变化程度在允许范围内，使用当前调焦值，否则根据清晰度差值计算调焦步长值，控制镜头施加调焦值，调焦方向为正；S3-5：继续捕获下一张图像；S3-6：计算微调后的清晰度差值，若清晰度分析结果为清晰倾向，表明当前调焦方向正确，否则反方向施加步长值；S3-7：重复步骤S3-2至S3-6。
在实施例1中，在飞拍模式下进行自动的在线调焦实现对产线的产品进行快速准确的检测，该方法可以直接针对生产线上的生产的产品进行检测。飞拍技术就是在产品的移动过程当中对产品的图像进行获取，再将获取的图像用于产品缺陷的检测。但是不同于定拍，飞拍的过程当中待拍摄的产品始终处于运动当中，但由于生产线当中会有大量的设备，这些设备会对飞拍的效果产生一定的影响，例如机器的震动等会对产品图像的清晰度产生影响。在实施例1中，通过飞拍的方式进行产品的检测，具体包括如下的步骤：S1：通过移动飞拍对产品生产线上的产品进行实时的图像采集；S2：对采集的图像进行清晰度评价；S3：依据清晰度评价结果进行在线自动对焦，直到得到清晰度满意的图像；S4：通过对采集的图像进行缺陷检测，并将缺陷检测结果传输至产线端。在实施例1中通过清晰度的评价结果实现自动调焦，保证了在飞拍的过程当时始终对产品进行清晰图像的获取。图像清晰度分析，即对图像信息内容进行评价。清晰的高质量图像具有丰富的图像内容及锐利的边缘信息，失焦图像往往边界不清晰，大量细节信息丢失，图像质量较差。对比图像失焦对焦状态下，特征信息的差异性，清晰图像对比度高，边缘梯度明显，包含信息丰富。图像清晰度算法大致分为四类：灰度梯度、统计特征、频域分析和信息熵方法。灰度梯度法依据图像的照片的灰度值对图像的清晰度进行分析。统计特征法通过对图像的对焦以及失焦的图像灰度值的分布进行统计学的直方图分析对图像的清晰度进行分析；信息熵方法通过对图像灰度值的统计实现对商品的图像进行分析。频域分析通过对图像的清晰度以及模糊度进行分量实现对图像的清晰度分析。对于图像清晰度的分析方法可以依据产品的形状颜色等情况选择不同的方法或者设置多种方法依据输出的最优的结果以及最佳的检测效果选择最优的分析结果。在飞拍的过程当中需要依据清晰度实现在线自动调焦，以景深范围为基准，如图4所示，对焦平面的图像清晰，可以得到清晰的像。景深区域外，成像模糊加剧。如箭头所指方向为调焦值变化方向，随着调焦值单方向增加或减少，图像成像清晰度从模糊等级从A到D逐渐模糊，在实际项目应用时，初始状态下产品位于景深范围内，一段时间后，由于检测系统自身不平整存在深度信息偏差，伴随着机械机构本身误差等导致的图像清晰度逐渐降低，最终导致完全失焦。基于该光学特性，通过对上述的图像清晰度的分析方法得到的图像清晰度评价结果作为调焦控制的反馈控制输入，具体的方法可以采用如下：S3-1：初始时调焦使得将待检测产品位于景深范围内，并处于准确对焦状态；S3-2：在飞拍模式下，获取下一帧待检测产品的图像，计算图像清晰度评价结果，保存当前调焦值；S3-3：计算连续检测过程中相邻图像帧之间清晰度差值；S3-4：根据S3-3中两帧图像清晰度差值判定模糊程度倾向，若当前帧较上一帧更清晰或者模糊程度变化程度在允许范围内，使用当前调焦值，否则根据清晰度差值计算调焦步长值，控制镜头施加调焦值，调焦方向为正；S3-5：继续捕获下一张图像；S3-6：计算微调后的清晰度差值，若清晰度分析结果为清晰倾向，表明当前调焦方向正确，否则反方向施加步长值；S3-7：重复步骤S3-2至S3-6。通过上述步骤实现了在飞拍模式下对产品进行清晰的图像获取，保证对产线上的待检测产品的图像进行清晰的获取以此实现对产品进行高效的检测。本方法可以针对不同尺寸、形状以及颜色的产品进行检测，主要对照相机与待测产品之间的具体进行相应的调整就可以实现。实施例1中通过图像检测以及在线焦距的调整相互作用实现在产线中对飞拍的效果产生最低的影响。
在一种优选的实施方式中，图像清晰度的算法包括灰度梯度、统计特征、频域分析或信息熵方法。
在该具体的实施方式中，灰度梯度类方法包括Tenengrad函数、Laplacian函数、Brenner梯度法、方差函数等，这类方法多采用灰度值变化或边缘梯度信息判定图像清晰程度，整幅图像灰度梯度值越大，表明图像越清晰，反之图像模糊。统计特征类方法，根据失焦对焦图像灰度值分布不同做统计学直方图分析。相似地，信息熵方法统计灰度值分布作为图像清晰度指标。频域分析方法包括全频段积分法和阈值积分法，对焦清晰的图像高频分量较多，对焦模糊的图像低频分量较多。在实际应用中根据灵敏度、响应性和一致性选取适当的清晰度评价方法。
在一种优选的实施方式中，相机和景深之间的约束为
在该具体的实施方式中，考虑到产品及工作台的平整度，即使机台平面度精度及准确度达到精密加工程度，并不能保证所有单元产品均在同一平面，超出景深范围的区域成像模糊，特征信息不明确，使得产品位于景深范围内即对焦的过程。景深(Depth offield)与相机镜头具有如下约束：δ为容许弥散圆直径，F为镜头光圈值，f为镜头焦距，M为放大倍率，景深随着放大倍率增大快速下降。传统方案中机构在电机运动过程中对环境干扰较大，图像往往失焦，模糊成像中，成像轻微模糊导致特征信息不完整，严重地，图像特征信息全部丢失。
实施例2
在一个优选的实施例2中，如图2所示，一种飞拍模式下的在线自动对焦系统，根据上述实施例1中的一种飞拍模式下的在线自动对焦方法，包括图像采集模块、在线对焦模块和视觉检测模块，其中图像采集模块包括液态可调焦镜头和高分辨率相机，图像采集模块通过飞拍对产品的图像进行采集，在线对焦模块依据清晰度评价对液态可调焦镜头的焦距进行调整，视觉检测模块对图像采集模块中采集的图像进行检测识别，并将检测结果输出。
在实施例2中，如图2所示，依据实施例1中的一种飞拍模式下的在线对焦方法组成系统，该系统直接设置在产品的生产线上可以直接对生产线上生产的产品进行检测，该系统包括图像采集模块、在线对焦模块以及市局检测模块，图像采集模块包括液态可调焦镜头和高分辨率相机，其中液态可调焦镜头作为一种新型成像器件，具有低功耗、体积小和电控调焦的优势，往往通过离焦和聚焦方式用于获取场景的深度信息。因此，实施例2中采用液态可调焦镜头光学系统和高分辨率相机组成的图像采集系统对目标产品进行飞拍成像，并做图像清晰度分析及在线自动对焦。在线对焦模块依据图像采集模块获得的图像的清晰度分析结果作为输入实现对焦距的在线调整，在线对焦模块中可以选择灰度梯度、统计特征、频域分析或信息熵方法中任一种或者多种的图像清晰度的分析方法，例如液态可调焦镜头和高分辨率相机对产线上的产品进行图像的采集，将采集的图像传输至在线对焦模块，在线对焦模块依据灰度梯度分析法对图像的清晰度进行分析，由于产品与机构之间不存在完全一致的深度信息，如图3所示，在批量化检测中，平台机械运动产生的偏差和产品自身的误差，使得不同时刻t检测产品距相机高度h具有一定的偏差。实际检测过程中，根据产品特点选择合适的图像清晰度分析函数作为自动调焦的反馈输入，根据边缘清晰度或直方图分析获取清晰度，反馈控制液态可调焦镜头调焦。以景深范围为基准，如图4所示，对焦平面的图像清晰，可以得到清晰的像。景深区域外，成像模糊加剧。蓝色箭头所指方向为调焦值变化方向，随着调焦值单方向增加或减少，图像成像清晰度从模糊等级从A到D逐渐模糊，在实际项目应用时，初始状态下产品位于景深范围内，一段时间后，由于检测系统自身不平整存在深度信息偏差，伴随着机械机构本身误差等导致的图像清晰度逐渐降低，最终导致完全失焦。该系统的在线调焦的步骤：
步骤一：初始化工作平台，调焦使得目标位于景深范围内，并处于准确对焦状态，当前帧图像清晰度结果记为F0；
步骤二:飞拍模式下，获取下一帧目标图像，计算图像清晰度评价结果，保存当前调焦值；
步骤三：计算连续检测过程中，相邻图像帧之间清晰度差值ΔF＝Ft-Ft-1；
步骤四：根据步骤三中两帧图像清晰度差值ΔF判定模糊程度倾向，若当前帧较上一帧更清晰或者模糊程度变化程度在允许范围内，使用当前调焦值。否则根据清晰度差值计算调焦步长值ε1，软件控制液态镜头施加调焦值，方向为正；
步骤五：平台继续运行，捕获下一张图像；
步骤六：计算微调后的清晰度差值，若清晰度分析结果为清晰倾向，表明当前调焦方向正确，否则反方向施加步长值ε2；
步骤七：重复步骤二至六。
通过图像采集模块和在线对焦模块可保证对产线上的产品进行快速清晰的图像获取，随后将获取的清晰图像传输至视觉检测模块，视觉检测模块中可以设置相应的产品缺陷检测系统，视觉检测模块可以进行对产品图像进行缺陷检测并具有自我学习和升级的能力，依据检测样本的不断更新可以实现对缺陷数据库的更新，实现对产品的新缺陷可以进行检测和筛选，保证系统的智能化。实施例2中的系统可以设置在检测平台上，检测平台可以直接与产线端进行连接。例如实施例2中的系统设置在美唇仪生产线上，通过飞拍对生产线上的美唇仪的的图像进行获取，美唇仪的图像像素在800*1200时可以实现对美唇仪进行清晰的视觉缺陷检测，因此当美唇仪的图像像素未达到800*1200时，在线对焦模块会对液态可调焦镜头的焦距进行调整直达获取的美唇仪图像达到800*1200时，将相关图像传输至视觉检测模块进行产品缺陷检测，保证可以对产品进行高精度的视觉缺陷检测。
在一种优选的实施方式中，还包括运动控制模块，运动控制模块包括运动控制机构，运动控制机构控制移动飞拍。
在该具体的实施方式中，通过运动控制模块实现对图像采集模块的控制，在对产品图像采集的过程当中，产品在产线上进行快速的移动，因此需要对图像采集模块进行不停的位置的移动，运动控制模块能够很好的对图像采集模块进行控制，保证图像采集模块运动的流畅性以及机动性能。
在一种优选的实施方式中，还包括软件系统，软件系统中设置图像清晰度算法、图像清晰度分析函数以及调焦值，软件系统将清晰度评价作为在线对焦模块的控制输入。
在该具体的实施方式中，在该系统中还设置有软件系统，软件系统控制整个系统中的软件，例如在线对焦模块中的图像清晰度分析法以及图像清晰度分析函数、视觉检测模块中的产品检测软件等，软件系统实现整个系统工作的准确性以及效率性。
在一种优选的实施方式中，还包括硬件控制模块，硬件控制模块包括运动控制模块。
在该具体的实施方式中，硬件控制模块对运动控制模块进行控制，硬件控制模块可以对运动控制模块进行精准的操控。硬件控制模块要具有良好的机动性能，避免对产线上的设备产生干扰，保证该系统具有广泛的应用性。
在一种优选的实施方式中，还包括人机交互界面，人机交互界面对软件系统和硬件控制模块进行控制。
在该具体的实施方式中，人机交互界面实现对软件系统以及硬件控制模块进行准确的控制，实现硬件控制模块和软件系统的完美配合，人机交互界面同时可以实现人为对系统进行精准的操作，可以提高对产品的检测的准确率以及机械操作的准确性。
需要指出的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种飞拍模式下的在线自动对焦方法，其特征在于，具体包括如下步骤：S1：通过移动飞拍对产品生产线上的产品进行实时的图像采集；S2：对采集的图像进行清晰度评价；S3：依据清晰度评价结果进行在线自动对焦；S4：通过对采集的图像进行缺陷检测，并将缺陷检测结果传输至产线端；其中，在线自动对焦具体包括如下步骤：S3-1：调焦使得将待检测产品位于景深范围内，并处于准确对焦状态；S3-2：在飞拍模式下，获取下一帧待检测产品的图像，计算图像清晰度评价结果，保存当前调焦值；S3-3：计算连续检测过程中相邻图像帧之间清晰度差值；S3-4：根据S3-3中两帧图像清晰度差值判定模糊程度倾向，若当前帧较上一帧更清晰或者模糊程度变化程度在允许范围内，使用当前调焦值，否则根据清晰度差值计算调焦步长值，控制镜头施加调焦值，调焦方向为正；S3-5：继续捕获下一张图像；S3-6：计算微调后的清晰度差值，若清晰度分析结果为清晰倾向，表明当前调焦方向正确，否则反方向施加步长值；S3-7：重复步骤S3-2至S3-6。
2.根据权利要求1所述的一种飞拍模式下的在线自动对焦方法，其特征在于：所述图像清晰度的算法包括灰度梯度、统计特征、频域分析或信息熵方法。
3.根据权利要求1所述的一种飞拍模式下的在线自动对焦方法，其特征在于：相机和景深之间的约束为：
4.一种飞拍模式下的在线自动对焦系统，根据权利要求1-3所述的一种飞拍模式下的在线自动对焦方法，其特征在于：包括图像采集模块、在线对焦模块和视觉检测模块，其中图像采集模块包括液态可调焦镜头和高分辨率相机，所述图像采集模块通过飞拍对产品的图像进行采集，所述在线对焦模块依据清晰度评价对所述液态可调焦镜头的焦距进行调整，所述视觉检测模块对所述图像采集模块中采集的图像进行检测识别，并将检测结果输出。
5.根据权利要求4所述的一种飞拍模式下的在线自动对焦系统，其特征在于：还包括运动控制模块，所述运动控制模块包括运动控制机构，所述运动控制机构控制移动飞拍。
6.根据权利要求4所述的一种飞拍模式下的在线自动对焦系统，其特征在于：还包括软件系统，所述软件系统中设置所述图像清晰度算法、图像清晰度分析函数以及调焦值，所述软件系统将清晰度评价作为所述在线对焦模块的控制输入。
7.根据权利要求4所述的一种飞拍模式下的在线自动对焦系统，其特征在于：还包括硬件控制模块，所述硬件控制模块包括所述运动控制模块。
8.根据权利要求4所述的一种飞拍模式下的在线自动对焦系统，其特征在于：还包括人机交互界面，所述人机交互界面对所述软件系统和所述硬件控制模块进行控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111174787.XA CN113923358A (zh) | 2021-10-09 | 2021-10-09 | 一种飞拍模式下的在线自动对焦方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111174787.XA CN113923358A (zh) | 2021-10-09 | 2021-10-09 | 一种飞拍模式下的在线自动对焦方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113923358A true CN113923358A (zh) | 2022-01-11 |
Family
ID=79238454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111174787.XA Pending CN113923358A (zh) | 2021-10-09 | 2021-10-09 | 一种飞拍模式下的在线自动对焦方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113923358A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114754598A (zh) * | 2022-06-14 | 2022-07-15 | 深圳中宝新材科技有限公司 | 一种键合金丝生产线成像系统的功耗降低方法及装置 |
| CN114813794A (zh) * | 2022-02-18 | 2022-07-29 | 成都飞机工业（集团）有限责任公司 | 一种基于机器人的3d打印无损检测方法 |
| CN115484371A (zh) * | 2022-09-13 | 2022-12-16 | 菲特（天津）检测技术有限公司 | 一种图像采集方法、图像采集装置及可读取存储介质 |
| CN115672786A (zh) * | 2022-11-28 | 2023-02-03 | 广州市普理司科技有限公司 | 一种印刷品智能平面检测系统及检测方法 |
| CN117782998A (zh) * | 2024-02-27 | 2024-03-29 | 宁德时代新能源科技股份有限公司 | 电池检测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110069190A1 (en) * | 2009-09-18 | 2011-03-24 | Altek Corporation | Fast focusing method for digital camera |
| CN102707545A (zh) * | 2012-06-21 | 2012-10-03 | 武汉烽火众智数字技术有限责任公司 | 一种基于dff的自动对焦方法 |
| CN106901712A (zh) * | 2017-02-28 | 2017-06-30 | 广州医软智能科技有限公司 | 一种微循环成像装置 |
| CN110392200A (zh) * | 2018-04-20 | 2019-10-29 | 杭州海康威视数字技术股份有限公司 | 自动聚焦的方法和装置 |
| CN110441312A (zh) * | 2019-07-30 | 2019-11-12 | 上海深视信息科技有限公司 | 一种基于多光谱成像的产品表面缺陷检测系统 |
| CN112903694A (zh) * | 2021-01-18 | 2021-06-04 | 苏州华兴源创科技股份有限公司 | 一种飞拍检测系统及方法 |
| WO2021134179A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市大疆创新科技有限公司 | 对焦方法、装置、拍摄设备、可移动平台和存储介质 |
-
2021
- 2021-10-09 CN CN202111174787.XA patent/CN113923358A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110069190A1 (en) * | 2009-09-18 | 2011-03-24 | Altek Corporation | Fast focusing method for digital camera |
| CN102707545A (zh) * | 2012-06-21 | 2012-10-03 | 武汉烽火众智数字技术有限责任公司 | 一种基于dff的自动对焦方法 |
| CN106901712A (zh) * | 2017-02-28 | 2017-06-30 | 广州医软智能科技有限公司 | 一种微循环成像装置 |
| CN110392200A (zh) * | 2018-04-20 | 2019-10-29 | 杭州海康威视数字技术股份有限公司 | 自动聚焦的方法和装置 |
| CN110441312A (zh) * | 2019-07-30 | 2019-11-12 | 上海深视信息科技有限公司 | 一种基于多光谱成像的产品表面缺陷检测系统 |
| WO2021134179A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳市大疆创新科技有限公司 | 对焦方法、装置、拍摄设备、可移动平台和存储介质 |
| CN112903694A (zh) * | 2021-01-18 | 2021-06-04 | 苏州华兴源创科技股份有限公司 | 一种飞拍检测系统及方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114813794A (zh) * | 2022-02-18 | 2022-07-29 | 成都飞机工业（集团）有限责任公司 | 一种基于机器人的3d打印无损检测方法 |
| CN114813794B (zh) * | 2022-02-18 | 2023-10-03 | 成都飞机工业（集团）有限责任公司 | 一种获取机器人3d打印无损检测所需扫描照片的方法 |
| CN114754598A (zh) * | 2022-06-14 | 2022-07-15 | 深圳中宝新材科技有限公司 | 一种键合金丝生产线成像系统的功耗降低方法及装置 |
| CN115484371A (zh) * | 2022-09-13 | 2022-12-16 | 菲特（天津）检测技术有限公司 | 一种图像采集方法、图像采集装置及可读取存储介质 |
| CN115672786A (zh) * | 2022-11-28 | 2023-02-03 | 广州市普理司科技有限公司 | 一种印刷品智能平面检测系统及检测方法 |
| CN117782998A (zh) * | 2024-02-27 | 2024-03-29 | 宁德时代新能源科技股份有限公司 | 电池检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113923358A (zh) | 一种飞拍模式下的在线自动对焦方法和系统 | |
| CN108152869B (zh) | 一种适于仿生视觉快速调焦的小步长调焦方法 | |
| CN109451244B (zh) | 一种基于液体镜头的自动调焦方法及系统 | |
| CN108106603B (zh) | 具有多级扩展景深图像处理的可变焦距透镜系统 | |
| CN105938243B (zh) | 一种tft‑lcd检测中多倍率显微镜快速对焦方法 | |
| US10462351B2 (en) | Fast auto-focus in imaging | |
| CN109521547B (zh) | 一种变步长的自动调焦方法及系统 | |
| CN107529011B (zh) | 一种电动变焦镜头控制方法 | |
| CN104079827B (zh) | 一种光场成像自动重对焦方法 | |
| CN109085113B (zh) | 一种用于宫颈脱落细胞检测装置的自动对焦方法和装置 | |
| CN112203012B (zh) | 一种图像清晰度计算方法、自动聚焦方法及系统 | |
| US10534164B2 (en) | Digital microscope and focusing method thereof | |
| CN111083365B (zh) | 一种最佳焦平面位置快速检测方法及装置 | |
| CN106210520B (zh) | 一种自动调焦电子目镜及系统 | |
| CN108259753A (zh) | 一种基于离焦估计改进爬山法的相机自动调焦方法及装置 | |
| CN104181685A (zh) | 基于显微镜的数字切片自动聚焦装置及其方法 | |
| CN103529543A (zh) | 一种显微镜自动调焦方法 | |
| CN110428463A (zh) | 非球面光学元件离焦模糊定中图像自动提取中心的方法 | |
| CN117970595B (zh) | 一种基于深度学习和图像处理的显微镜自动对焦方法 | |
| CN113747041A (zh) | 一种摄像机对焦方法及基于循环神经网络的对焦方法 | |
| CN106154688A (zh) | 一种自动对焦的方法及装置 | |
| CN114785959B (zh) | 荧光显微镜的自动聚焦方法、装置、存储介质及电子设备 | |
| CN105530429B (zh) | 一种自动聚焦装置及系统 | |
| JP6312410B2 (ja) | アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム | |
| CN113899698A (zh) | 一种面向原位测试平台的实时对焦和居中调整方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 709-3, Building 2, No. 21 Intercity Road, High tech Zone, Suzhou City, Jiangsu Province, 215000 Applicant after: Suzhou Shenshi Information Technology Co.,Ltd. Address before: 200241, room 1027, building B, 555 Dongchuan Road, Shanghai, Minhang District Applicant before: SHANGHAI DEEPSIGHT INFORMATION TECHNOLOGY CO.,LTD. Country or region before: China |
|
| CB02 | Change of applicant information |