CN113989251A - 一种矿用煤矸分选智能控制系统及方法 - Google Patents

Abstract

本发明涉及人工智能领域，具体涉及一种矿用煤矸分选智能控制系统及方法，其中，该系统包括：图像采集模块，用于利用位于第一位置的第一相机采集传送带表面的第一图像；图像处理模块，用于利用语义分割网络识别第一图像中的煤和矸石；其中，训练语义分割网络时所用损失函数的构建过程具体为：基于位于第二位置的第二相机获取传送带表面的第二图像，第二图像与第一图像的相似度大于预设相似度阈值；获取采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围；所述目标为煤或矸石；根据第二图像中每个目标的质心是否在所述最大移动范围内构建损失函数。本发明中的语义分割网络分割精度高、泛化能力较强，对使用工况要求较低。

Description

一种矿用煤矸分选智能控制系统及方法

技术领域

本发明涉及人工智能领域，具体涉及一种矿用煤矸分选智能控制系统及方法。

背景技术

煤矸分选的智能化准确识别和定位，进而实现智能控制；目前现有技术通常采用人为分选的方式，但该方式对人力资源造成较大浪费，因此现有技术提出了多种通过图像处理或深度学习实现智能分选的方案，但目前图像处理和深度学习的方式通常通过轮廓或灰度特征进行煤矸分选，泛化能力不强，且受光照因素影响较大，导致在实际应用中准确率并不高。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种矿用煤矸分选智能控制系统及方法，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种矿用煤矸分选智能控制系统，该系统包括：

图像采集模块，用于利用位于第一位置的第一相机采集传送带表面的第一图像；

图像处理模块，用于利用语义分割网络识别第一图像中的煤和矸石；

分选控制模块，用于对识别出的矸石进行定位，使分选装置基于定位信息实现煤矸分选；

其中，训练语义分割网络时所用损失函数的构建过程具体为：

基于位于第二位置的第二相机获取传送带表面的第二图像，第二图像与第一图像的相似度大于预设相似度阈值；

获取采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围；所述目标为煤或矸石；

根据第二图像中每个目标的质心是否在所述最大移动范围内构建损失函数。

进一步地，采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围的获取具体为：

根据该目标所在区域像素点的灰度值和类别值，获取两通道的目标描述图像；像素点的类别值基于语义分割网络的输出结果得到；

基于目标描述图像，生成目标在一个时间间隔内目标质心在第二图像中的单位最大移动范围；所述时间间隔为采集第一图像或第二图像的间隔；

以所述单位最大移动范围为基础，进行范围扩大；其中，基于第一图像和第二图像的采集时间差和所述时间间隔，获取进行范围扩大的次数。

进一步地，所述单位最大移动范围的获取具体为：

利用范围预测网络对所述目标描述图像进行处理，输出单位热力图，单位热力图中的单位高斯热斑表征单位最大移动范围，其中，单位高斯热斑中某一像素的热力值表示目标从第一位置随传送带移动一个时间间隔后处于该像素位置的概率。

进一步地，范围扩大为热斑扩大，其中，一次热斑扩大具体为：

分别以上一次热斑扩大后得到的热斑内的每个点为中心点生成单位高斯热斑，对所有的单位高斯热斑进行融合，得到一次热斑扩大后的热斑。

进一步地，基于进行范围扩大的次数，完成热斑扩大后得到最大热斑，所述最大热斑表征所述最大移动范围。

进一步地，所述损失函数具体为：L＝∑^N _n＝₁(-logH_n)，其中，H_n表示第二图像中第n个目标的质心对应的最大热斑中的热力值，热力值H_n越接近0，表征第n个目标的质心在最大热斑内的概率越小；N表示第二图像中目标的个数。

第二方面，本发明另一个实施例提供了一种矿用煤矸分选智能控制方法，该方法具体包括：

利用位于第一位置的第一相机采集传送带表面的第一图像；利用语义分割网络识别第一图像中的煤和矸石；对识别出的矸石进行定位，使分选装置基于定位信息实现煤矸分选；

其中，训练语义分割网络时所用损失函数的构建过程具体为：

基于位于第二位置的第二相机获取传送带表面的第二图像，第二图像与第一图像的相似度大于预设相似度阈值；

获取采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围；所述目标为煤或矸石；

根据第二图像中每个目标的质心是否在所述最大移动范围内构建损失函数。

本发明实施例至少具有如下有益效果：基于本发明所提出的损失函数进行语义分割网络的训练，可减少光照等外界因素对分割结果的干扰，提高语义分割网络的分割精度，且本发明中的语义分割网络泛化能力较强，对使用工况要求较低。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合较佳实施例，对依据本发明提出的一种矿用煤矸分选智能控制系统及方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例以下面的应用场景为例对本发明进行说明：

该应用场景为：该煤矸分选智能控制场景包括摊煤装置、传送带和分选装置等硬件装置，将煤料放置于传送带起始端，利用摊煤装置将煤料在传送带上摊开为单层，已摊开为单层的煤料通过传送带传输至分选装置处，分选装置用于将矸石和煤分离，实施者可采用击打器、机械手等方式实现分选。

本发明一个实施例提供了一种矿用煤矸分选智能控制系统，该系统包括：

图像采集模块，用于利用位于第一位置的第一相机采集传送带表面的第一图像，利用位于第二位置的第二相机采集传送带表面的第二图像；其中，第一相机靠近传送带起始端，第二相机靠近分选装置；优选地，实施例中第一相机和第二相机为已知位姿且部署于传送带上方以俯视视角同时拍摄传送带表面图像的相机；根据第一图像和第二图像确定传送带输送速度以及煤和矸石的位姿变化信息。

图像处理模块，用于利用语义分割网络识别第一图像中的煤和矸石；具体地，通过语义分割网络将第一图像中的煤像素点、矸石像素点、背景像素点分割出来，得到第一分割图，优选地，实施例中第一分割图中煤像素点的像素值为1、矸石像素点的像素值为2、背景像素点的像素值为0；由于实际场景下光照、煤和矸石自身属性等因素影响，导致在训练集不完备的情况下，所获取的语义分割结果中煤像素点和矸石像素点的语义类别并不准确；其解决方法通常是采集各种工况下足够多的图像进行处理，以确保网络学习到足够的特征，然而该方法需要大量的前期准备工作，且泛化能力仍旧有限，因此本申请采用在线训练的方式对网络参数进行更新，具体地，训练语义分割网络时所用损失函数的构建过程具体为：

(a)基于位于第二位置的第二相机获取传送带表面的第二图像，第二图像与第一图像的相似度大于预设相似度阈值；具体地，第二相机采集得到多帧第二图像，要在多帧第二图像中选出一帧与第一图像的相似度大于预设相似度阈值的第二图像，用于后续过程的处理，具体地：

(i)基于第一分割图提取第一图像中包括的目标，获取每个目标的目标图像：基于第一分割图中获取每个目标的遮罩，其中，所述遮罩与第一分割图等大，遮罩中目标区域像素点像素值为1，其他像素点像素值为0，利用遮罩与第一图像相乘进行每个目标进行提取，得到每个目标的目标图像，所述目标图像中该目标所在区域像素值保持不变，其他像素点像素值变为0。

获取第一图像中每个目标的目标描述图像：基于目标图像，获取目标区域像素点的灰度值和类别值，所述类别值为第一分割图中与目标区域像素点对应的像素点的值，基于目标区域像素点的灰度值和类别值获取该目标对应的两通道的目标描述图像，具体地，第一通道为像素点的灰度值，第二通道为像素点的类别值。

(ii)对于每帧第二图像，获取该帧第二图像每个目标的目标描述图像：利用语义分割网络对第二图像进行分割，得到第二分割图；之后按照步骤(a)的处理过程获取该帧第二图像每个目标的目标描述图像。

(iii)对于第一图像和任意一帧第二图像，分别获取第一图像和所述任意一帧第二图像对应的目标描述图像，得到第一目标描述图像集合和第二目标描述图像集合，通过KM算法对两个图像集合中的目标描述图像进行匹配，匹配时两个目标描述图像之间的权值为所述两个目标描述图像之间的欧式距离的倒数，匹配完成后根据每个图像匹配对中两张图像的欧式距离倒数的均值计算匹配度；第一图像对应的第一目标描述图像集合分别和每一帧第二图像对应的第二目标描述图像集合进行匹配，多次匹配后，得到多个匹配度，匹配度最高时对应的第二图像为最终选出的与第一图像的相似度大于预设相似度阈值的第二图像。

(b)综上可知，第一图像和步骤(a)选出的第二图像分别是位于第一位置的第一相机在第一时刻和位于第二位置的第二相机在第二时刻采集的传送带表面的图像，即第一图像中包括的目标和步骤(a)选出的第二图像中包括的目标是相同的；基于第一图像和步骤(a)选出的与第一图像的相似度大于预设相似度阈值的第二图像，进行损失函数的构建：

(i)获取采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围；所述目标为煤或矸石；具体地：

根据该目标所在区域像素点的灰度值和类别值，获取两通道的目标描述图像；像素点的类别值基于语义分割网络的输出结果得到；基于目标描述图像，生成目标在一个时间间隔内目标质心在第二图像中的单位最大移动范围；所述时间间隔为相机采集第一图像或第二图像的间隔；以所述单位最大移动范围为基础，进行范围扩大；其中，基于第一图像和第二图像的采集时间差和所述时间间隔，获取进行范围扩大的次数，具体地，基于第一时刻和第二时刻获取采集时间差，进行范围扩大的次数为第一时刻与第二时间之间第一相机采集第一图像的帧数或第二相机采集第二图像的帧数。

其中，所述单位最大移动范围的获取具体为：利用范围预测网络对所述目标描述图像进行处理，输出单位热力图，单位热力图中的单位高斯热斑表征单位最大移动范围，获取目标质心在第一图像中的图像位置，则目标质心的图像位置是单位热力图中单位高斯热斑的中心点，其中，单位高斯热斑中某一像素的热力值表示目标从第一位置随传送带移动一个时间间隔后处于该像素位置的概率；优选地，单位高斯热斑为圆形热斑或椭圆形热斑。

优选地，范围预测网络包括范围预测编码器和范围预测解码器。训练范围预测网络所用训练样本数据和标签数据的获取具体为：获取多个目标的目标描述图像作为训练样本数据；本发明默认目标从第一位置随传送带移动一个时间间隔后质心在单位最大移动范围内每个位置的概率的分布为二维高斯分布，因此，标签数据的获取方法为：对于每个训练样本数据对应的目标，将该目标放置在传送带上的起始位置开始传送，传送过程中获取第一图像和第二图像，基于目标质心在第二图像中的位置，进行多次实验，统计获取目标从第一位置随传送带移动一个时间间隔后质心在图像中每个位置的概率，得到一个概率分布图，则与该概率分布图最接近的二维高斯分布为该训练样本数据对应的标签数据。需要注意，此处先验为煤和矸石在传送带上传输时会出现由于其自身震动或传送带震动导致的位置偏移，而煤和矸石由于自身密度不同，在相同形状下对应的二维高斯分布不同；因此，本发明中获得的采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围，是第一图像中每个目标从第一位置移动到第二位置这一移动过程中目标质心的最大移动范围。

其中，范围扩大为热斑扩大，其中，一次热斑扩大具体为：分别以上一次热斑扩大后得到的热斑内的每个点为中心点生成单位高斯热斑，具体地，以每个点为中心点生成的单位高斯热斑为上一次热斑扩大后得到的热斑内的每个点的单位最大移动范围，也即当目标质心位于该点时，目标质心的单位最大移动范围；对所有的单位高斯热斑进行融合，得到一次热斑扩大后的热斑。基于进行范围扩大的次数，完成热斑扩大后得到最大热斑，所述最大热斑表征所述最大移动范围。需要注意的是，对所有单位高斯热斑进行融合时，热力值的融合方法为：对于上一次热斑扩大后得到的热斑内的每个点，以该点为中心点生成单位高斯热斑，热斑重合区域内每个像素点的像素值为上一次范围扩大后得到的热斑中该像素点的热力值与新生成的单位高斯热斑中该像素点的像素值的乘积；若重合区域中的一个像素点被多个新生成的单位高斯热斑包含，则根据上一次范围扩大后得到的热斑中该像素点的热力值与每个包含该像素点的单位高斯热斑中该像素点的像素值可得到多个乘积，多个乘积的和为该像素点对应的融合热力值；非重合区域内像素点的热力值为相应的单位高斯热斑中对应像素点的值；需要注意，一次热斑扩大后得到的热斑中像素点的热力值需要进行归一化处理。

需要注意，首次进行热斑扩大时，分别以范围预测网络输出的单位热力图中单位高斯热斑的每个点为中心点生成新的单位高斯热斑，对所有的单位高斯热斑进行融合，得到首次热斑扩大后的热斑。

(ii)根据第二图像中每个目标的质心是否在所述最大移动范围内构建损失函数：L＝∑_n ^N＝₁(-logH_n)，其中，H_n表示第二图像中第n个目标的质心对应的最大热斑中的热力值，热力值H_n越接近0，表征第n个目标的质心在最大热斑内的概率越小，此时-logH_n的值极大，说明语义分割网络对该目标进行分类时存在分类错误；N表示第二图像中目标的个数。

分选控制模块，用于对识别出的矸石进行定位，使分选装置基于定位信息实现煤矸分选；具体地，根据第一相机与第二相机之间的实际距离以及第一图像和第二图像的采集时间差，可得到传送带的传送速度，根据第二图像获取矸石的位置信息，基于矸石的位置信息、传送带的传送速度、第二相机与分选装置间的距离，生成分选控制指令，并传输给分选装置，控制分选装置将矸石从煤块中剔除，实现煤矸分选。

基于与上述系统实施例相同的发明构思，本发明一个实施例提供了一种矿用煤矸分选智能控制方法，该方法包括：

利用位于第一位置的第一相机采集传送带表面的第一图像；利用语义分割网络识别第一图像中的煤和矸石；对识别出的矸石进行定位，使分选装置基于定位信息实现煤矸分选；

其中，训练语义分割网络时所用损失函数的构建过程具体为：

基于位于第二位置的第二相机获取传送带表面的第二图像，第二图像与第一图像的相似度大于预设相似度阈值；

获取采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围；所述目标为煤或矸石；

根据第二图像中每个目标的质心是否在所述最大移动范围内构建损失函数。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种矿用煤矸分选智能控制系统，其特征在于，该系统包括：

图像采集模块，用于利用位于第一位置的第一相机采集传送带表面的第一图像；

图像处理模块，用于利用语义分割网络识别第一图像中的煤和矸石；

分选控制模块，用于对识别出的矸石进行定位，使分选装置基于定位信息实现煤矸分选；

其中，训练语义分割网络时所用损失函数的构建过程具体为：

基于位于第二位置的第二相机获取传送带表面的第二图像，第二图像与第一图像的相似度大于预设相似度阈值；

获取采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围；所述目标为煤或矸石；

根据第二图像中每个目标的质心是否在所述最大移动范围内构建损失函数。

2.如权利要求1所述的系统，其特征在于，采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围的获取具体为：

根据该目标所在区域像素点的灰度值和类别值，获取两通道的目标描述图像；像素点的类别值基于语义分割网络的输出结果得到；

基于目标描述图像，生成目标在一个时间间隔内目标质心在第二图像中的单位最大移动范围；所述时间间隔为采集第一图像或第二图像的间隔；

以所述单位最大移动范围为基础，进行范围扩大；其中，基于第一图像和第二图像的采集时间差和所述时间间隔，获取进行范围扩大的次数。

3.如权利要求2所述的系统，其特征在于，所述单位最大移动范围的获取具体为：

利用范围预测网络对所述目标描述图像进行处理，输出单位热力图，单位热力图中的单位高斯热斑表征单位最大移动范围，其中，单位高斯热斑中某一像素的热力值表示目标从第一位置随传送带移动一个时间间隔后处于该像素位置的概率。

4.如权利要求3所述的系统，其特征在于，范围扩大为热斑扩大，其中，一次热斑扩大具体为：

分别以上一次热斑扩大后得到的热斑内的每个点为中心点生成单位高斯热斑，对所有的单位高斯热斑进行融合，得到一次热斑扩大后的热斑。

5.如权利要求4所述的系统，其特征在于，基于进行范围扩大的次数，完成热斑扩大后得到最大热斑，所述最大热斑表征所述最大移动范围。

6.如权利要求1所述的系统，其特征在于，所述损失函数具体为：L＝∑^N _n＝1(-logH_n)，其中，H_n表示第二图像中第n个目标的质心对应的最大热斑中的热力值，热力值H_n越接近0，表征第n个目标的质心在最大热斑内的概率越小；N表示第二图像中目标的个数。

7.一种矿用煤矸分选智能控制方法，其特征在于，该方法包括：

利用位于第一位置的第一相机采集传送带表面的第一图像；利用语义分割网络识别第一图像中的煤和矸石；对识别出的矸石进行定位，使分选装置基于定位信息实现煤矸分选；

其中，训练语义分割网络时所用损失函数的构建过程具体为：

基于位于第二位置的第二相机获取传送带表面的第二图像，第二图像与第一图像的相似度大于预设相似度阈值；

获取采集到第二图像时第一图像中每个目标的质心在第二图像中的最大移动范围；所述目标为煤或矸石；

根据第二图像中每个目标的质心是否在所述最大移动范围内构建损失函数。