CN111753707B - 颗粒状农作物不完善粒检测方法及系统 - Google Patents
颗粒状农作物不完善粒检测方法及系统 Download PDFInfo
- Publication number
- CN111753707B CN111753707B CN202010564912.7A CN202010564912A CN111753707B CN 111753707 B CN111753707 B CN 111753707B CN 202010564912 A CN202010564912 A CN 202010564912A CN 111753707 B CN111753707 B CN 111753707B
- Authority
- CN
- China
- Prior art keywords
- image
- crops
- classification
- features
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013145 classification model Methods 0.000 claims abstract description 38
- 230000002950 deficient Effects 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 20
- 230000010365 information processing Effects 0.000 claims description 17
- 239000002245 particle Substances 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000012216 screening Methods 0.000 abstract description 2
- 235000013339 cereals Nutrition 0.000 description 70
- 241000209140 Triticum Species 0.000 description 42
- 235000021307 Triticum Nutrition 0.000 description 42
- 230000006870 function Effects 0.000 description 17
- 239000008187 granular material Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Agronomy & Crop Science (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Animal Husbandry (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
一种颗粒状农作物不完善粒检测方法及系统，通过对农作物进行规整排列，采集农作物的上下侧图像信息进行预处理后，通过分类模型进行图像分类，从而得到对应的农作物不完善粒分类报告，同时，根据图像分类结果生成相应的不完善粒分拣提示阵列图像，依此进行农作物不完善粒分拣收集；本发明利用基于深度学习的人工智能技术，构建分类模型，提高颗粒状农作物不完善分类结果的准确性、可重复性和泛化性，可用于多种颗粒状农作物的不完善粒检测，极大地缩短了检测员的分拣时间，避免了筛选标准因人而异的缺点，也避免了因检测员工作疲劳导致出错率增加的问题。
Description
技术领域
本发明涉及的是一种图像处理应用领域的技术，具体是一种颗粒状农作物不完善粒检测方法及系统。
背景技术
现有目前颗粒状农作物不完善粒检测主要依靠人工视觉感官检测，耗时长，且随着检测工作时间的增长可能会出现疲劳导致的出错率增高，此外，每个检测员的检测标准存在主观差异，导致同一批次样本检测结果不一致；还有一些研究机构利用传统的图像处理方法，对采集到的不完善粒农作物图片，提取人工设计的特征并进行分析处理，以获得不完善粒分类结果，然而不完善粒的图像特征复杂且区域较小，此外，不同的不完善粒之间，视觉特征差异通常很小，因而此类方法在准确性、可重复性和泛化性上往往难以取得满意的结果。
发明内容
本发明针对现有技术存在的上述不足，提出一种颗粒状农作物不完善粒检测方法及系统，利用基于深度学习的人工智能技术，构建分类模型，提高颗粒状农作物不完善分类结果的准确性、可重复性和泛化性，可用于多种颗粒状农作物的不完善粒检测，极大地缩短了检测员的分拣时间，避免了筛选标准因人而异的缺点，也避免了因检测员工作疲劳导致出错率增加的问题。
本发明是通过以下技术方案实现的：
本发明涉及一种颗粒状农作物不完善粒检测方法，通过对农作物进行规整排列，采集农作物的上下侧图像信息进行预处理后，通过分类模型进行图像分类，从而得到对应的农作物不完善粒分类报告，同时，根据图像分类结果生成相应的不完善粒分拣提示阵列图像，依此进行农作物不完善粒分拣收集。
所述的规整排列是指：将颗粒状的待测农作物整齐、均匀地排放且每一粒农作物之间互相不重叠。
所述的图像采集，通过可以进行X、Y轴方向移动的承载颗粒状农作物的载物台及设置于其上方、下方的相机，来采集每一粒农作物的正反面，即上下侧图像信息。
所述的分类，包括但不限于完善粒和破碎粒、发芽粒、虫蚀粒等不完善粒。
所述的图像分类是指：对预处理后的上下侧方图像经初级特征提取分别得到上下侧初级特征，通过关键区域放大得到关键区域放大图，通过对关键区域放大图进一步提取次级特征得到上下侧次级特征，再对上下侧初级特征和次级特征进行特征融合得到融合特征，最后损失函数单元通过接收的初级特征提取单元、关键区域放大单元、次级特征提取单元和特征融合单元的输出，得出分类损失、中心损失和同粒损失并计算其加权和作为总损失函数，经过若干次反向传播更新训练后最终实现图像分类。
所述的不完善粒分拣提示阵列图像是指：通过不同颜色在图像显示设备上显示出不同标记图像，以此表示不同的完善度类别，显示设备上每个标记图像的类别和位置与每粒农作物的分类结果和位置对应，若干个标记图像构成不完善粒分拣提示阵列图像。
本发明涉及一种实现上述方法的系统，包括：农作物图像采集装置、图像信息处理装置和农作物辅助分拣装置。
所述的农作物图像采集装置与图像信息处理装置相连，所述的图像信息处理装置还与所述的农作物辅助分拣装置相连。
所述的农作物图像采集装置，用于对颗粒状农作物进行规整排列和上下侧方的图像采集，并将采集到的图像传输至图像信息处理装置，农作物图像采集装置包括：用于规整排列待测农作物并能进行X、Y轴方向移动的载物台，分别位于载物台上方和下方的用于采集农作物上下侧图像信息信息的上方相机和下方相机，分别位于载物台上方和下方的用于在图像采集时提供光照的上方光源和下方光源，分别用于控制所述载物台移动的两个步进电机和两对滑杆，用于控制与驱动步进电机的步进电机控制器，用于阻挡外界光线的挡光箱，以及用于给上方光源、下方光源和步进电机控制器供电的供电模块。
所述的图像信息处理装置，用于对接收到的农作物图像进行不完善粒分类，生成农作物不完善粒分类报告，同时生成与之对应的不完善粒分拣提示阵列图像并传输至农作物辅助分拣装置，图像信息处理装置可以是具备图像信息传输和图像信息处理的设备，并能够运行搭载分类模型的程序。
所述的分类模型，包括：一个上下侧方的图像对生成单元、一对相同结构分别用于上下侧图像特征提取的初级特征提取单元、一对相同结构分别用于生成上下侧关键区域放大图的关键区域放大单元、一对相同结构分别用于上下侧关键区域放大图特征提取的次级特征提取单元、分别与两个初级特征提取单元和次级特征提取单元相连的特征融合单元以及分别于两个初级特征提取单元、关键区域放大单元和次级特征提取单元相连的损失函数单元，其中：图像对生成单元生成农作物的上下侧方图像对，并且控制生成的图像对中有一定的概率是同一粒农作物的上下侧方图像对，其他则为某一粒农作物的上侧图像和其他某一粒农作物的下方图像构成的不同粒农作物上下侧方图像对；两个初级特征提取单元以卷积神经网络作为主干框架并进行权重共享，根据上侧或下侧图像分别输出初级特征至关键区域放大单元、特征融合单元和损失函数单元；两个关键区域放大单元对上侧和下侧图像的初级特征分别进行降维后得到注意特征，注意特征一方面输出至损失函数单元，一方面通过得到注意特征相应权重以求其加权和，再进行维度压缩得到对应于上侧和下侧图像的一对注意特征图，将其低于阈值的像素全部置零，得到一对注意特征激活图，将每张注意特征激活图中包含所有非零像素的最小矩形区域提取出，并放大到上下侧方输入图像尺寸，最后与对应的上下侧方图像进行逐像素相乘，得到一对上下侧方关键区域放大图并分别输出至两个次级特征提取单元；两个次级特征提取单元同样以卷积神经网络作为主干框架并进行权重共享，根据上下侧方关键区域放大图输出次级特征至特征融合单元；特征融合单元有两层，其中第一层分为四个全连接层，分别接收到两个初级特征和两个次级特征后得到第一层的四组权重，将其拼接后输出至第二层的全连接层，得到预测值作为所述的特征融合单元的输出并传至损失函数单元；损失函数单元通过拼接初级特征得到同粒损失，通过对相应的初级特征和注意特征进行双线性全局池化分别得到第一中心损失和第二中心损失，通过特征融合单元得到分类损失，计算四个损失的加权和得到总损失函数并对其进行反向传播更新系统参数，测试分类模型时，将特征融合模块的输出值作为输入图像对的对应小麦是否为该分类的预测值。
所述的农作物辅助分拣装置，用于辅助检测员完成颗粒状农作物的不完善粒分拣工作，包括一个可以显示不完善粒分拣提示阵列图像的彩色显示设备。
技术效果
本发明整体解决了现有技术无法对颗粒状农作物进行完善度分类的问题。
与现有技术相比，本发明利用基于深度学习的人工智能技术，构建农作物完善度的分类模型，以实现对待测农作物完善度的分类与统计，模型准确率高，判断速度快，泛化能力强，可重复性高；本发明所述的载物台根据不同品种的颗粒状农作物定制，载物台上槽的大小和形状适配于相应品种的单粒待测农作物，提高了本发明的适用范围；本发明通过可移动的所述上方相机和下方相机，可采集到颗粒状农作物足够丰富的图像信息；本发明将能使颗粒状农作物规整排列的载物台和不完善粒分拣提示阵列图像结合使用，让检测员能对农作物进行快速、高效地分拣。
附图说明
图1和图2为本发明系统示意图；
图3为本发明载物台与显示屏的固定示意图；
图4为本发明系统工作流程示意图；
图5为本发明分类方法示意图；
图6为本发明分类模型结构示意图；
图中：农作物图像采集装置1、图像信息处理装置2、农作物分拣装置3、计算机4、显示屏5、载物台6、上方相机7、下方相机8、上方光源9、下方光源10、X轴步进电机11、Y轴步进电机12、X轴滑杆13、Y轴滑杆14、固定部件15、步进电机控制器16、挡光箱17、供电模块18、支撑柱19、相机控制线20、控制线21、光源控制线22、固定柱23、显示屏连接线24、卡槽25和载物槽26。
具体实施方式
本实施例将以小麦作为待测农作物，进行具体说明。如图1所示，为本实施例涉及一种颗粒状农作物不完善粒检测系统，包括：农作物图像采集装置1、图像信息处理装置2和农作物辅助分拣装置3，其中：农作物图像采集装置1采集并输出待测农作物的图像信息至作为图像信息处理装置2的计算机4，图像信息处理装置2根据图像信息进行分析处理并输出处理结果至作为农作物辅助分拣装置3的显示屏5，农作物辅助分拣装置3进行不完善粒分拣提示阵列图像显示。
如图2所示，所述的农作物图像采集装置1包括：载物台6、上方相机7、下方相机8、上方光源9、下方光源10、X轴步进电机11、Y轴步进电机12、X轴滑杆13、Y轴滑杆14、固定部件15、步进电机控制器16、挡光箱17、供电模块18和支撑柱19，其中：图像信息处理装置2通过相机控制线20分别与上方相机7和下方相机8相连、通过控制线21与步进电机控制器16相连、通过光源控制线22分别与上方光源9和下方光源10相连；供电模块18用于为上方光源9、下方光源10和步进电机控制器18供电；载物台6、上方相机7、下方相机8、上方光源9、下方光源10、X轴步进电机11、Y轴步进电机12、X轴滑杆13和Y轴滑杆14均设置于挡光箱17内部，挡光箱17阻挡了来自农作物图像采集装置1外部的光线，支撑柱19用于支撑挡光箱17。
所述的农作物辅助分拣装置3包括：显示屏5和固定柱23，其中：显示屏5通过显示屏连接线24与计算机4相连。
所述的农作物图像采集装置1与农作物辅助分拣装置3固定连接，如图3所示，在分拣时，检测员通过载物台6的卡槽25和显示屏5的固定柱23，将载物台6固定在显示屏5上。
如图2和图3所示，所述的载物台6是透明的，台面上设有多个用于放置落入其中的麦粒的载物槽26，每个载物槽26的底面积比正常单颗麦粒平放时的横切面面积稍大，每个载物槽26的深度为单颗麦粒平放高度平均值的50％～100％，以使每个载物槽26仅能落入一颗正常大小的麦粒。
优先地，当载物槽26的深太浅，则检测员摇晃载物台6时，已落入载物槽26中的麦粒容易滑出，当深度太深，则一个载物槽26内容易堆叠多颗麦粒。
相邻的载物槽26之间存在间隙，以便检测员摇晃载物台6时，未落入载物槽26的待测小麦可以沿着间隙移动到其他空载物槽26中，也便于检测员倾斜载物台6时，多余的待测麦粒可以沿着间隙移动并堆集在不干扰图像采集的角落位置。
所述的载物台6上进一步设有2个卡槽25一旦显示屏5的2个固定柱23穿过相应卡槽25，载物台6便可固定在显示屏5上，便于检测员进行分拣。
所述的上方相机7和下方相机8分别位于载物台6的上方和下方，并位于垂直于载物台6的同一条直线上，具有足够高的清晰度、足够大的视野，以保证能够采集到具有足够图像信息的待测小麦上下侧图像信息；当接受到开始集采图像的信号时，能够同时对上述的正面和背面图像进行采集，并通过相机控制线20，将采集到的上下侧图像信息传送至计算机4。
所述的载物台6通过两个卡槽25分别于固定部件15和Y轴步进电机12相连，固定部件15又通过Y轴滑杆14与X轴步进电机11相连，当X轴步进电机11或Y轴步进电机12分别在X轴滑杆13和Y轴滑杆14上移动时，可以带动载物台6进行相应的X轴或Y轴方向的移动。
所述的固定部件15共有四个，与所述的卡槽25相连的固定部件15在Y轴方向形成通孔，通孔中穿过Y轴滑杆14，以带动载物台6在Y轴滑杆14上移动，另外三个固定部件15与Y轴滑杆14固定相连且在X轴方向形成通孔，通孔中穿过X轴滑杆13，以带动载物台6在X轴滑杆14上移动。
所述的步进电机控制器16通过控制线21接收计算机4发送的启动指令，X轴步进电机11或Y轴步进电机12接收到步进电机控制器16发送的控制信号后，在相应的X轴滑杆13或Y轴滑杆14上移动，具体来说：计算机4向步进电机控制器16发送启动指令的同时，计算机4还会通过相机控制线22向上方相机7和下方相机8发送开始采集的指令，步进电机控制器16通过控制信号使步进电机带动载物台6进行移动，搭载了分类模型的程序中设定了图像ROI，载物台6的移动规则是载物槽26阵列能在图像ROI中被逐行或逐列扫描采集，同时，还根据不同的载物台6尺寸和载物槽26间隔，步进电机被控制每移动一定距离后暂停移动一次，在暂停期间上方相机7和下方相机8同时采集一次图像后通过相机控制线20传至计算机4，每次移动的距离要保证最终得到的所有ROI中不遗漏也不重复任何一个载物槽26的上下侧图像信息，所有载物槽26的上下侧图像信息都被采集到后，载物台6移动至初始位置，上方相机7和下方相机8停止图像采集和图像传输。
所述的上方光源9和下方光源10分别位于载物台6的上方和下方，在不阻挡上方相机7和下方相机8对待测小麦正面和背面进行图像采集的位置，从载物台6的四周对其进行均匀地光线照射，以保证获得的图像亮度均匀且无影；检测员可以对相应光源的亮度进行控制，计算机4将亮度控制信号通过光源控制线22传至上方光源9或下方光源10，以调整相应光源的亮度。
将本发明用于其他品种农作物的不完善粒分类时，上方相机7和下方相机8的高度，上方光源9和下方光源10的位置、大小和角度，载物槽26的尺寸、形状、数量、排布及载物槽26之间的间隙等也需要根据待测农作物的品种进行相应定制。
如图6所示，本实施例涉及基于上述系统的颗粒状农作物不完善粒检测方法，通过对农作物进行规整排列，采集农作物的上下侧图像信息进行预处理后，通过分类模型进行图像分类，从而得到对应的农作物不完善粒分类报告，同时，根据图像分类结果生成相应的不完善粒分拣提示阵列图像，依此进行农作物不完善粒分拣收集。
所述的分类，包括但不限于完善粒和破碎粒、发芽粒、虫蚀粒等不完善粒。
所述的图像分类是指：预处理后的图像输至图像对生成单元生成上下侧方图像对，经对上下侧方图像经初级特征提取分别得到上下侧初级特征，通过关键区域放大得到关键区域放大图，通过对关键区域放大图进一步提取次级特征得到上下侧次级特征，再对上下侧初级特征和次级特征进行特征融合得到融合特征，最后损失函数单元通过接收的初级特征提取单元、关键区域放大单元、次级特征提取单元和特征融合单元得出第一中心损失、第二中心损失、同粒损失和分类损失并计算其加权和作为总损失函数，经过若干次反向传播更新训练后最终实现图像分类。
所述的图像对生成单元生成农作物的上下侧方图像对，并且控制生成的图像对中有一定的概率是同一粒农作物的上下侧方图像对，其他则为某一粒农作物的上侧图像和其他某一粒农作物的下方图像构成的不同粒农作物上下侧方图像对
所述的初级特征提取，通过相同结构的两个初级特征提取单元分别对上下侧方图像进行特征提取，初级特征提取单元有若干卷积层，每个卷积层由卷积、激活和池化单元顺序连接组成，初级特征提取单元的主干结构可以是VGG、ResNet或DenseNet等主流卷积神经网络结构，两个初级特征提取单元权重共享并分别得到的多张特征图作为各自的输出。
所述的关键区域放大，通过相同结构的两个关键区域放大单元分别对特征图进行处理并获得关键区域放大图，关键区域放大单元包括降维单元、Se模块、注意图模块、关键区域模块和剪裁放大模块，其中：降维模块通过若干个1*1的卷积核进行降维，得到厚度为m的注意特征，注意特征一方面输出至Se模块，另一方面输出至损失函数单元；Se模块的主要作用为SeNet中的Squeeze-and-Excitation block的功能，对注意特征进行卷积核激活操作得到相应权重，计算注意特征加权和后，进行维度压缩得到对应于上侧或下侧图像的注意特征图并输出至注意图模块；注意图模块将通过设定的阈值将注意特征图低于阈值的像素置零，得到注意特征激活图并输出至关键区域模块；关键区域模块将注意特征激活图中包含所有非零像素的最小矩形区域提取出，放大到上下侧方输入图像的尺寸后，与对应的上下侧方图像进行逐像素相乘，得到上或下侧方关键区域放大图。
所述的次级特征提取，与初级特征提取相同地分别对上下侧方关键区域放大图再次进行特征提取，即通过相同结构的两个次级特征提取单元，次级特征提取器的主干结构可以是VGG、ResNet或DenseNet等主流卷积神经网络结构，两个次级特征提取器有各自的输入和输出，其输入分别是对应的所述的关键区域放大单元的输出，两个初级特征提取单元权重共享并分别得到的多张特征图作为各自的输出；
所述的特征融合单元有两层，其中第一层全连接层分为四个部分全连接层，分别接收到2个初级特征和2个次级特征后得到第一层的四个权重，将其拼接后输出至第二层的全连接层，得到预测值
作为所述的特征融合单元的输出并传至损失函数单元。
所述的损失函数单元分为中心损失模块1、中心损失模块2、同粒损失模块和分类损失模块，分别得到第一中心损失Lcenter1、第二中心损失Lcenter2、同粒损失Lsame和分类损失Lclass
所述的中心损失模块1和中心损失模块2结构相同，由双线性全局池化和中心L2正则化组成：分别对各自的初级特征和注意特征进行双线性全局池化得到f1和f1，二者分别由m个一维向量f1k和f2k，k∈(1，2，…，m)组成，再分别对f1k和f2k计算中心向量ck的L2正则化并分别求和得到第一中心损失
和第二中心损失
ck的初始值设为0，在同一次迭代训练中ck分别在第一中心模块和第二中心模块中按照此式进行先后更新cnewk＝ck+μ·(fk-ck)，其中μ为设置的更新系数，在第一中心模块中fk为fk，在第二中心模块中fk为f2k。
所述的同粒损失模块由拼接模块和全连接层组成：拼接模块对两对初级特征进行特征拼接并输出至全连接层得到预测结果
再计算交叉熵得到
其中x为上下侧图像信息对的真实标签，当所述的图像对生成单元生成同一粒小麦的上下侧图像信息对时x为1，否则为0。
所述的分类损失模块通过对特征融合单元的输出进行交叉熵计算得到分类损失
其中：y为真实分类标签，
为预测分类标签。
所述的加权总损失函数L＝α(Lcenter1+Lcenter2)+x(βLsame+Lclass)，其中：α和β分别是设置的权重系数，得到加权总损失函数后，对所述的分类模型进行反向传播更新其可学习参数，在测试分类模型时，只需计算
即可得到输入图像对的对应小麦是否为该分类的预测值。
对于每一种类别，训练得到对应的分类模型以判断测试时输入的图像对是否为该类别，如完善粒分类模型用于判断测试时输入的图像对对应的小麦是否为完善粒，破碎粒分类模型用于判断测试时输入的图像对对应的小麦是否为破碎粒，以此类推。
所述的反向传播更新训练，训练集包括了多对小麦的单粒上下侧图像信息及其标签信息，标签至少包括对应图像中小麦的颗粒编号、分类信息和该图像是正面或反面的标记信息。
测试分类模型时，将特征融合模块的输出值
作为输入图像对的对应小麦是否为该分类的预测值。
所述的不完善粒分拣提示阵列图像是指：通过不同颜色在图像显示设备上显示出不同标记图像，以此表示不同的类别，显示设备上每个标记图像的类别和位置与每粒农作物的分类结果和位置对应，若干个标记图像构成不完善粒分拣提示阵列图像。
所述的图像标记的编码策略可以采用但不限于以下几种方式：不同的分类选项可以对应不同颜色，也可以对应不同的图案，还可以用不同频率的图像闪烁提示。
所述的颗粒状农作物不完善粒检测方法，具体包括以下步骤：
1)检测员在计算机4上搭载了所述的分类模型的程序中选择本批次待检测农作物的品种为小麦，并选择本批次需要的分类选项，包括完善粒、破碎粒、发芽粒和虫蚀粒等，每个分类选项对应一种分类模型，分别对应为完善粒分类模型、破碎粒分类模型、发芽粒分类模型和虫蚀粒分类模型等，每种所述的分类模型判断输入的待测小麦图像是否为该模型的对应分类；
2)检测员启动分类模型并对步进电机控制器16发出启动指令，获取上方相机7和下方相机8采集到的图像，每张正面小图像中都对应某个载物槽26的正面图像，每张反面小图像中都对应该载物槽26的背面图像，背面图像是下方相机8透过载物台6获取；
3)对采集到的图像进行预处理，预处理包括用于画面亮度均匀的同态滤波、背景噪点滤波、无小麦图像对剔除与图像畸变校正；
4)开始图像分类，当本批次的分类选项中包括完善粒选项，则本批次所有图像对通过分类模型后，结束对判断为“是”的图像对的分类，所有判断为“否”的剩余图像对依次通过其他所选的分类模型；当本批次的分类选项中不包括完善粒选项，则本批次所有图像对依次通过所选的分类模型；
5)生成本批次分类报告及与之对应的不完善粒分拣提示阵列图像并传输至显示屏5，报告包括每一种类别的小麦粒数及其占本批次小麦总粒数的比重；
6)检测员选择是否让程序进行下一批次待测小麦分类：若检测员选择是，则程序进入步骤1)，若则生成本轮分类报告，分类报告除了包含各批次的完善度分类报告之外，还包含该轮全部所选分类的粒数及其占本轮总粒数的比重。
如图4所示，本实施例涉及基于上述颗粒状农作物不完善粒检测方法的具体实现流程，具体包括：
步骤1：检测员将颗粒状农作物不完善粒智能检测系统的电源打开，取出用于对小麦进行分类的载物台6，将待测小麦倾洒在载物台6的上台面上；
步骤2：手动摇晃载物台6，清理杂质，使每个载物槽26中都至多有一粒待测小麦落入，当存在多余的待测小麦，可将载物台6略微倾斜或使用塑料刮板、软毛刷等辅助工具，使其全部堆集到不干扰图像采集的载物台6台面角落位置；
当载物槽26中落入了不止一颗待测小麦，可以用镊子将其夹取出，放到其他空载物槽26或载物台6的台面边角；为了提高效率，应尽可能让每个载物槽26中都落入一颗待测小麦；
步骤3：将载物台6固定在挡光箱中17，打开计算机4搭载分类模型的的程序，进行程序的相关设置和操作；
步骤4：完成图像分类后，农作物辅助分拣装置3根据所述的图像信息处理装置2的图像编码，在显示屏5上，按照与载物槽26相同大小、形状及排布的方式，显示每个载物槽26对应的待测小麦的分类标记图像，分类标记图像共同构成所述的不完善粒分拣提示阵列图像；
步骤5：检测员通过载物台6的卡槽25和显示屏5的固定柱23，将载物台6固定在显示屏5上，使每个载物槽26与其相应的分类标记图像一一重合对应，显示屏5上不完善粒分拣提示阵列图像的光穿过透明的载物槽26而被检测员观察到，检测员据此对载物台6上的相应位置的小麦进行分拣；
步骤6：检测员按需对相应的分类报告与图像进行保存；
步骤7：当载物台6上还有待测小麦，则返回步骤2，否则结束本次对待测小麦的不完善粒检测。
经过具体实际实验，两个2000万像素、1英寸感光元件的工业相机作为上、下侧相机，分别距离透明亚克力载物台6上平面和下平面12cm，载物台6的载物槽26为14行*30列，横向距离为21cm，纵向距离为14cm，计算机4为带有2080Ti显卡的i7台式机，DenseNet169作为初级特征提取单元，ResNet34作为次级特征提取单元，降维模块的m设为10，按照上述采样方式对黑麦进行完善粒、破碎粒、黑尖粒和发芽粒各200粒的上下侧图像信息采集，每种类别的图像对按照3:1按的比例进行分类模型的训练和测试，均达到95％的分类准确率和99％的重复率，对每粒黑麦的平均分类耗时为约0.09s，同时，在1K的普通彩色显示屏5上对上述四种分类用白、绿、黑和红色作为颜色标记进行辅助分拣。
与现有技术相比，本发明的对颗粒状农作物的分类耗时短，对每粒黑麦的平均分类耗时为约0.09s，检测员对一粒黑麦进行分类的平均耗时为1s；本发明对颗粒状农作物的分类准确率高，对小麦的分类准确率达到95％，而以Vgg、ResNet和DenseNet作为分类模型，其分类准确率均未达到90％；本发明图像分类的可重复性强，可以达到99％的重复率，而以Vgg、ResNet和DenseNet作为分类模型，其分类结果重复率均未达到90％；本发明的图像分类的泛化能力强，对于完善粒、破碎粒、黑尖粒和发芽粒四种类别，在测试阶段的分类结果准确率均达到95％以上，而以Vgg、ResNet和DenseNet作为分类模型，在训练阶段其分类准确率虽然也能接近这一数值，但在测试阶段，准确率最高的、基于DenseNet的正常粒分类模型仅有89％的分类准确率，且对于黑尖粒和发芽粒等识别较为困难的类别，这些分类模型的分类准确率存在明显下降；本发明的采样方式能够采集到每粒小麦更多的图像信息，若将每粒小麦近似看成椭球型，对每粒小麦采集到的图像信息的表面积占整个表面积的比例(以下简称“占比”)能达到99％以上，而在同一采集环境中，将相机固定于载物台6中间的正上方与正下方并将其与载物台6垂直距离调至相机视野能覆盖所有载物槽26的位置进行定点图像采集，则载物台6的四个角落位置的载物槽26的采集占比不足65％；若采用单侧相机采集小麦图像，则采集占比不足50％；本发明的辅助分拣方式较传统人工分拣方式而言，总耗时平均减少了60％以上。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
Claims (6)
1.一种颗粒状农作物不完善粒检测方法，其特征在于，通过规整排列农作物，对农作物的上下侧图像信息进行图像采集，预处理所采集的图像后，通过分类模型进行图像分类，从而得到对应的农作物不完善粒分类报告，同时，根据图像分类结果生成相应的不完善粒分拣提示阵列图像，依此进行农作物不完善粒分拣收集；
所述的分类模型，包括：一个上下侧方的图像对生成单元，一对相同结构分别用于上下侧图像特征提取的初级特征提取单元，一对相同结构分别用于生成上下侧关键区域放大图的关键区域放大单元，一对相同结构分别用于上下侧关键区域放大图特征提取的次级特征提取单元，分别与两个初级特征提取单元和次级特征提取单元相连的特征融合单元以及分别与两个初级特征提取单元、关键区域放大单元和次级特征提取单元相连的损失函数单元，其中：图像对生成单元生成农作物的上下侧方图像对，并且控制生成的图像对中有一定的概率是同一粒农作物的上下侧方图像对，其他则为某一粒农作物的上侧图像和其他某一粒农作物的下方图像构成的不同粒农作物上下侧方图像对；两个初级特征提取单元以卷积神经网络作为主干框架并进行权重共享，根据上侧或下侧图像分别输出初级特征至关键区域放大单元、特征融合单元和损失函数单元；两个关键区域放大单元对上侧和下侧图像的初级特征分别进行降维后得到注意特征，注意特征一方面输出至损失函数单元，一方面通过得到注意特征相应权重以求其加权和，再进行维度压缩得到对应于上侧和下侧图像的一对注意特征图，将其低于阈值的像素全部置零，得到一对注意特征激活图，将每张注意特征激活图中包含所有非零像素的最小矩形区域提取出，并放大到上下侧方输入图像尺寸，最后与对应的上下侧方图像进行逐像素相乘，得到一对上下侧方关键区域放大图并分别输出至两个次级特征提取单元；两个次级特征提取单元同样以卷积神经网络作为主干框架并进行权重共享，根据上下侧方关键区域放大图输出次级特征至特征融合单元；特征融合单元有两层，其中第一层分为四个全连接层，四个全连接层的输入分别为两个初级特征和两个次级特征，在分别接收到两个初级特征和两个次级特征后得到四个输出，将这四个输出拼接后传至第二层的全连接层，得到预测值作为所述的特征融合单元的输出并传至损失函数单元；损失函数单元通过拼接初级特征得到同粒损失，通过对相应的初级特征和注意特征进行双线性全局池化分别得到第一中心损失和第二中心损失，通过特征融合单元得到分类损失，计算四个损失的加权和得到总损失函数并对其进行反向传播更新系统参数，测试分类模型时，将特征融合模块的输出值作为输入图像对的对应农作物是否为该分类的预测值。
2.根据权利要求1所述的颗粒状农作物不完善粒检测方法，其特征是，所述的同粒损失，具体利用交叉熵计算同粒损失
，其中：
为上下侧图像信息对的真实标签，
为预测结果。
3.根据权利要求1所述的颗粒状农作物不完善粒检测方法，其特征是，所述的图像采集，通过能够在X、Y轴方向移动的承载颗粒状农作物的载物台及设置于其上方、下方的相机，来采集每一粒农作物的上下侧图像信息；
所述的图像分类是指：对预处理后的上下侧方图像经初级特征提取分别得到上下侧初级特征，通过关键区域放大得到关键区域放大图，通过对关键区域放大图进一步提取次级特征得到上下侧次级特征，再对上下侧初级特征和次级特征进行特征融合得到融合特征，最后损失函数单元通过接收的初级特征提取单元、关键区域放大单元、次级特征提取单元和特征融合单元的输出，得出分类损失、中心损失和同粒损失并计算其加权和作为总损失函数，经过若干次反向传播更新训练后最终实现图像分类。
4.根据权利要求1所述的颗粒状农作物不完善粒检测方法，其特征是，所述的不完善粒分拣提示阵列图像是指：通过不同颜色在图像显示设备上显示出不同标记图像，以此表示不同的完善度类别，显示设备上每个标记图像的类别和位置与每粒农作物的分类结果和位置对应，若干个标记图像构成不完善粒分拣提示阵列图像。
5.一种实现上述任一权利要求所述方法的颗粒状农作物不完善粒检测系统，其特征在于，包括：农作物图像采集装置、图像信息处理装置和农作物辅助分拣装置，其中：农作物图像采集装置和农作物辅助分拣装置分别与图像信息处理装置相连；农作物图像采集装置对颗粒状农作物进行规整排列和上下侧方的图像采集，并将采集到的图像传输至图像信息处理装置；
所述的农作物图像采集装置包括：用于规整排列待测农作物并能进行X、Y轴方向移动的载物台，分别位于载物台上方和下方的用于采集农作物上下侧图像信息的上方相机和下方相机，分别位于载物台上方和下方的用于在图像采集时提供光照的上方光源和下方光源，分别用于控制所述载物台移动的两个步进电机和两对滑杆，用于控制与驱动步进电机的步进电机控制器，用于阻挡外界光线的挡光箱，以及用于给上方光源、下方光源和步进电机控制器供电的供电模块；
所述的图像信息处理装置对接收到的农作物图像进行不完善粒分类，生成农作物不完善粒分类报告，同时生成与之对应的不完善粒分拣提示阵列图像并传输至农作物辅助分拣装置，图像信息处理装置具备图像信息传输和图像信息处理的设备，并能够运行搭载分类模型的程序；
所述的农作物辅助分拣装置辅助检测员完成颗粒状农作物的不完善粒分拣工作，包括一个显示不完善粒分拣提示阵列图像的彩色显示设备。
6.根据权利要求5所述的颗粒状农作物不完善粒检测系统，其特征是，所述的载物台上的载物槽根据待测颗粒状农作物的尺寸和形状进行定制，且载物台水平移动并让上方相机和下方相机同时采集上下侧图像信息，对采集到的图像取ROI且ROI具体大小根据相机高度和视野范围而定，采集过程中，两个相机镜头中点与ROI中载物槽中点在垂直于载物台所在平面的同一直线上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010564912.7A CN111753707B (zh) | 2020-06-19 | 2020-06-19 | 颗粒状农作物不完善粒检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010564912.7A CN111753707B (zh) | 2020-06-19 | 2020-06-19 | 颗粒状农作物不完善粒检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753707A CN111753707A (zh) | 2020-10-09 |
| CN111753707B true CN111753707B (zh) | 2021-06-29 |
Family
ID=72674873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010564912.7A Active CN111753707B (zh) | 2020-06-19 | 2020-06-19 | 颗粒状农作物不完善粒检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753707B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112697653A (zh) * | 2020-12-10 | 2021-04-23 | 安徽省益丰生态农业科技有限公司 | 一种谷粒图像双面连续循环采集装置 |
| CN112581459B (zh) * | 2020-12-23 | 2024-08-02 | 安徽高哲信息技术有限公司 | 一种农作物分类系统和方法 |
| CN113109240B (zh) * | 2021-04-08 | 2022-09-09 | 国家粮食和物资储备局标准质量中心 | 一种计算机实施的粮食不完善粒测定方法和系统 |
| CN113791008B (zh) * | 2021-08-25 | 2024-03-15 | 安徽高哲信息技术有限公司 | 一种粮食不完善粒检测设备及检测方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102610020B (zh) * | 2012-01-11 | 2014-12-17 | 广州市地下铁道总公司 | 硬币双面图像识别装置及其识别方法 |
| CN103177435B (zh) * | 2013-04-10 | 2015-08-12 | 浙江大学 | 一种基于机器视觉的苹果表面无冗余信息图像处理方法 |
| CN103344648A (zh) * | 2013-07-10 | 2013-10-09 | 鞍钢股份有限公司 | 一种基于gpu的钢板表面质量检测方法及系统 |
| CN107818554B (zh) * | 2016-09-12 | 2023-04-21 | 索尼公司 | 信息处理设备和信息处理方法 |
| US10212410B2 (en) * | 2016-12-21 | 2019-02-19 | Mitsubishi Electric Research Laboratories, Inc. | Systems and methods of fusing multi-angle view HD images based on epipolar geometry and matrix completion |
| CN108802840B (zh) * | 2018-05-31 | 2020-01-24 | 北京迈格斯智能科技有限公司 | 基于人工智能深度学习的自动识别物体的方法及其装置 |
| CN110473179B (zh) * | 2019-07-30 | 2022-03-25 | 上海深视信息科技有限公司 | 一种基于深度学习的薄膜表面缺陷检测方法、系统及设备 |
| CN110598029B (zh) * | 2019-09-06 | 2022-03-22 | 西安电子科技大学 | 基于注意力转移机制的细粒度图像分类方法 |
| CN111008670A (zh) * | 2019-12-20 | 2020-04-14 | 云南大学 | 一种菌类图像识别方法、装置、电子设备及存储介质 |
-
2020
- 2020-06-19 CN CN202010564912.7A patent/CN111753707B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753707A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753707B (zh) | 颗粒状农作物不完善粒检测方法及系统 | |
| US6091842A (en) | Cytological specimen analysis system with slide mapping and generation of viewing path information | |
| CN113240626B (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
| CN110473173A (zh) | 一种基于深度学习语义分割的缺陷检测方法 | |
| CN109182081B (zh) | 一种基于图像处理模型的单细胞分选系统 | |
| CN112990391A (zh) | 基于特征融合的卷积神经网络的缺陷分类识别系统 | |
| CN111289512B (zh) | 一种基于深度卷积神经网络的水稻籽粒碱消值高通量测定方法 | |
| CN109815945B (zh) | 一种基于图像识别的呼吸道检查结果判读系统和方法 | |
| CN114387520A (zh) | 一种用于机器人采摘的密集李子精准检测方法及其系统 | |
| CN114638797A (zh) | 一种基于线阵相机的铜表面缺陷检测方法及装置 | |
| CN111062938A (zh) | 基于机器学习的板材涨塞检测系统和检测方法 | |
| CN114881987A (zh) | 基于改进YOLOv5的热压导光板缺陷可视化检测方法 | |
| JP7379478B2 (ja) | ミルクを分類するためのミルク分析器 | |
| CN113538389B (zh) | 一种鸽蛋品质识别方法 | |
| CN115457026A (zh) | 一种基于改进YOLOv5的纸病检测方法 | |
| CN110619297A (zh) | 一种豆类植物子实图像批量采集识别方法及装置 | |
| CN117455917B (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
| CN116485766A (zh) | 一种基于改进yolox的粮食不完善粒检测和计数方法 | |
| CN115541578B (zh) | 一种高通量超分辨宫颈细胞病理切片快速扫描分析系统 | |
| CN115079393B (zh) | 一种基于10倍物镜的染色体核型分析显微拍摄装置及方法 | |
| CN114839197B (zh) | 一种稻谷损伤检测装置及检测方法 | |
| CN116958073A (zh) | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 | |
| CN116434066A (zh) | 基于深度学习的大豆豆荚考种方法、系统及装置 | |
| CN116912189A (zh) | 基于深度学习的焊点检测方法及系统 | |
| CN115880244A (zh) | 一种齿轮缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |