Nothing Special   »   [go: up one dir, main page]

CN114821725A - 一种基于神经网络的矿工人脸识别系统 - Google Patents

一种基于神经网络的矿工人脸识别系统 Download PDF

Info

Publication number
CN114821725A
CN114821725A CN202210460972.3A CN202210460972A CN114821725A CN 114821725 A CN114821725 A CN 114821725A CN 202210460972 A CN202210460972 A CN 202210460972A CN 114821725 A CN114821725 A CN 114821725A
Authority
CN
China
Prior art keywords
face
miner
module
image
feature vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210460972.3A
Other languages
English (en)
Inventor
刘晓阳
王地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202210460972.3A priority Critical patent/CN114821725A/zh
Publication of CN114821725A publication Critical patent/CN114821725A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种基于神经网络的矿工人脸识别系统，本系统包括：矿工信息采集模块、考勤识别模块、矿工资料存储模块。本系统通过双边滤波和Retinex融合的图像预处理算法实现矿工人脸图像的增强和去噪，并通过SSD目标检测网络可以准确检测出图像中的人脸位置。在检测到人脸位置后，通过基于混合注意力机制改进的ResNet‑18特征提取网络进行后续的人脸特征提取工作，该网络能够提取出具有高度可辨识性的人脸特征向量。最后通过得到特征向量与数据库中存储的人脸信息进行余弦相似度计算，得到考勤数据。相较于传统的RFID考勤系统，本系统避免了一人多卡的问题，有效提高了对矿工的识别准确率，而且通过基于神经网络的人脸识别算法使得系统更加便捷和高效。

Description

一种基于神经网络的矿工人脸识别系统
技术领域
本发明涉及人脸识别技术领域，具体为一种基于神经网络的矿工人脸识别系统。
背景技术
在现代科学技术的发展下，人脸识别技术逐步被应用在矿井考勤管理系统，它是通过对高分辨率摄像机拍摄到的图像进行分析，从中检索人脸信息，然后提取出面部特征，并与数据库中的人脸信息进行匹配比对，从而确定打卡员工的身份。该技术能够实现入井员工的自动识别，便于管理人员对井下作业情况有一个全面的认识，有效地防止了多卡进井的舞弊，为煤矿管理者提供及时的预防措施，减少事故的发生，对于提高生产安全有着重要意义。
但是，在煤矿环境中，人脸识别算法面临着诸多难点如光线较弱、粉尘遮挡、面部表情等，导致识别的准确率降低。因此，本发明针对上述问题，提出了一种基于神经网络的矿工人脸识别系统，以推动煤矿安全人脸识别技术的发展和创新。
发明内容
本发明的目的在于提供一种基于神经网络的矿工人脸识别系统，以解决目前煤矿环境的低光照、遮挡多、表情姿态等问题，以提高考勤系统的准确性。
为了达到上述目的，本发明提供一种矿工人脸识别系统，包括：
矿工信息采集模块，用于调取摄像头来采集矿工人脸图像，以及获取矿工的工号和姓名；
考勤识别模块，用于根据摄像头采集到的人脸信息与数据库中的人脸数据进行比对识别，输出打卡人员的个人信息并签到记录；
矿工资料存储模块，用于保存矿工的日常考勤记录，以及对人脸特征提取模块提取出来的人脸特征向量与矿工信息采集模块获取的矿工的工号和姓名进行存储。
进一步的，在上述系统中，矿工信息采集模块还包括：
人脸图像增强模块，用于使用双边滤波和Retinex融合的图像预处理算法，对采集到的人脸图像进行增强并去除冗余噪声，然后将增强后的图像送入到考勤识别模块。
进一步的，在上述系统中，考勤识别模块还包括：
人脸位置检测模块，用于将增强后的人脸图像输入到预训练好的SSD目标检测网络，以实现图像中的人脸位置检测，并将检测到的人脸图像裁剪下来；
人脸特征提取模块，用于将裁剪下来的人脸图像输入到预训练好的基于注意力机制的ResNet-18特征提取网络，以实现人脸特征的提取工作；
人脸特征匹配模块，用于将提取出的特征向量与数据库中已标记的人脸特征向量进行比对识别，通过计算两者间的余弦相似度进行判断，若大于阈值0.6则考勤成功允许入井，并将人脸特征向量存送入到矿工资料存储模块进行保存，反之则拒绝入井。
本发明通过改进的图像预处理算法对采集到人脸图像进行增强和去噪处理，然后通过SSD目标检测网络实现人脸部分的检测和裁剪，再利用基于注意力机制改进的ResNet-18特征提取网络进行人脸特征的提取工作，最后通过计算提取特征向量与数据库已标记人脸特征向量间的余弦相似度实现矿工的考勤识别。
本发明通过改进的图像预处理算法可以有效增强人脸图像的质量，降低井下低照度、煤尘等干扰因素的影响，并且利用注意力机制强化了ResNet-18网络的特征提取能力，充分提高了人脸识别的准确率，而且避免了传统考勤方式的弊端，是一种便捷、高效的考勤系统。
附图说明
图1是本发明所述的矿工人脸识别系统的结构框图。
图2是本发明所述的人脸图像增强模块的流程图。
图3是本发明所述的人脸位置检测模块的流程图。
图4是本发明所述的人脸特征提取模块的流程图。
图5是本发明所述的人脸特征匹配模块的流程图。
具体实施方式
为了更好的解释本发明，下面将结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供一种基于神经网络的矿工人脸识别系统，包括：
矿工信息采集模块，用于调取摄像头来采集矿工人脸图像，以及获取矿工的工号和姓名；
考勤识别模块，用于根据摄像头采集到的人脸信息与数据库中的人脸数据进行比对识别，输出打卡人员的个人信息并签到记录；
矿工资料存储模块，用于保存矿工的日常考勤记录，以及对人脸特征提取模块提取出来的人脸特征向量与矿工信息采集模块获取的矿工的工号和姓名进行存储。
所述矿工信息采集模块还包括：
人脸图像增强模块，用于使用双边滤波和Retinex融合的图像预处理算法，对采集到的人脸图像进行增强并去除冗余噪声，然后将增强后的图像送入到考勤识别模块，
具体的，图2为本发明实例提供的人脸图像增强模块流程图，如图2所示，包括以下步骤1-步骤4所描述的技术方案。
步骤1，将摄像头采集到的人脸图像作为输入图像，进行对数域变换，然后作为输出。
步骤2，通过双边滤波滤除人脸图像中的低频分量即光照分量，余下的反射分量作为输出，从而达到分离光照分量与反射分量的目的。
步骤3，将反射分量与颜色恢复度因子进行加权点乘，然后作为输出。
步骤4，将点乘结果进行指数域变换，得到最后的输出图像，将增强后的人脸图像送入到考勤识别模块。
所述考勤识别模块还包括：
人脸位置检测模块，用于将增强后的人脸图像输入到在LFW大型人脸数据集上进行过预训练的SSD目标检测网络，训练网络所使用的损失函数为SoftMax，该函数能够让网络获得良好的分类能力。然后通过VGG-16基础网络中的特征金字塔得到不同尺度的特征图，然后在不同尺度的特征图上生成不同大小的默认先验框，接着通过类别置信度阈值滤除不属于人脸类的先验框，并通过NMS算法过滤掉多余的先验框，最后剩下的先验框即为检测到的目标矿工人脸，将其裁剪出来送入到人脸特征提取模块。
具体的，图3为本发明实例提供的人脸位置检测模块流程图，如图3所示，包括以下步骤5-步骤9所描述的技术方案。
步骤5，将输入图像送入到预训练的SSD目标检测网络，通过VGG-16基础网络中的特征金字塔得到不同尺度的特征图。
步骤6，在不同尺度的特征图上生成不同大小的默认先验框。
步骤7，通过类别置信度阈值(本发明阈值取0.5)滤除不属于人脸类的先验框即去除背景框。
步骤8，通过NMS算法滤除多余的先验框，包括以下步骤q1-步骤q3。
步骤q1，在所有边界框的集合B中筛选出最大类别分数的边界框M；
步骤q2，将M从集合B中移至最终结果集合D；
步骤q3，在B中，将与M的IoU值大于阈值F(本发明阈值取0.6)的其余边界框移除。
步骤q4，重复q1至q3，直至B中的边界框都被移除。
步骤9，将检测到的目标矿工人脸裁剪出来，送入到人脸特征提取模块。
人脸特征提取模块，用于将裁剪下来的人脸图像输入到在大型矿工人脸数据集上进行过预训练的基于注意力机制的ResNet-18特征提取网络，该网络共包含三层原始卷积块，和两层插入混合注意力模块(CBAM)的改进卷积块，CBAM能够让网络更加关注人脸图像中重要的特征信息，从而让网络提取出的特征图包含更丰富的语义内容，训练网络所用的损失函数为ArcFace，该函数能够进一步增强网络的聚类能力，达到增大类间距离，减小类内距离的目的，实现提高人脸分类模型精度的效果。
具体的，图4为本发明实例提供的人脸特征提取模块流程图，如图4所示，包括以下步骤10-步骤15所描述的技术方案。
步骤10，将输入图像送入到预训练好的插入CBAM模块的ResNet-18特征提取网络，首先经过第一层卷积块conv1，得到大小为112×112×64的特征图，送入到下一层卷积块。
步骤11，输入上一层输出的特征图，经过第二层卷积块conv2，得到大小为56×56×64的特征图，送入到下一层卷积块。
步骤12，输入上一层输出的特征图，经过第三层卷积块conv3，得到大小为28×28×128的特征图，送入到下一层卷积块。
步骤13，输入上一层输出的特征图，经过第四层卷积块conv4_CBAM，该层卷积块加入了CBAM模块，得到大小为14×14×256的特征图，送入到下一层卷积块。
步骤14，输入上一层输出的特征图，经过第五层卷积块conv5_CBAM，该层卷积块加入了CBAM模块，得到大小为7×7×512的特征图，送入到FC层。
步骤15，输入上一层输出的特征图，经过最大值池化和全连接层，得到大小为1×1×1000的人脸特征向量，送入到人脸特征匹配模块。
人脸特征匹配模块，用于将提取出的特征向量与数据库中已标记的人脸特征向量进行比对识别，通过计算二者间的余弦相似度进行判断，若大于阈值0.6则考勤成功允许入井，并将人脸特征向量存送入到矿工资料存储模块进行保存，反之则拒绝入井。
具体的，图5为本发明实例提供的人脸特征匹配模块流程图，如图5所示，包括以下步骤16-步骤18所描述的技术方案。
步骤16，计算输入的特征向量与数据库已标记的特征向量间的余弦相似度。
步骤17，计算结果进行阈值判断(阈值取0.6)。
步骤18，若大于阈值，则认为是相同人员考勤打卡成功，并允许入井，然后将本次提取的人脸特征向量输入到矿工资料存储模块中的数据库进行保存；若小于阈值，则认为是不同人员考勤打卡失败，拒绝入井。
以上所述仅为本发明的实施例，上述实施例以及实施例中的具体参数仅是用于明确描述本发明的实施流程，而不是因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同结构或流程变换，或直接或间接运用在其它相关的技术领域，均应包含在本发明所附权利要求的保护范围内。

Claims (5)

1.一种基于神经网络的矿工人脸识别系统，其特征在于，包括：
矿工信息采集模块，用于调取摄像头来采集矿工人脸图像，以及获取矿工的工号和姓名；
考勤识别模块，用于根据摄像头采集到的人脸信息与数据库中的人脸数据进行比对识别，输出打卡人员的个人信息并签到记录；
矿工资料存储模块，用于保存矿工的日常考勤记录，以及对人脸特征提取模块提取出来的人脸特征向量与矿工信息采集模块获取的矿工的工号和姓名进行存储。
2.如权利要求1所述的矿工人脸识别系统，其特征在于，还包括：
人脸图像增强模块，用于使用双边滤波和Retinex融合的图像预处理算法，对采集到的人脸图像进行增强并去除冗余噪声，然后将增强后的图像送入到考勤识别模块。
3.如权利要求1所述的矿工人脸识别系统，其特征在于，还包括：
人脸位置检测模块，用于将增强后的人脸图像输入到预训练好的SSD目标检测网络，以实现图像中的人脸位置检测，并将检测到的人脸图像裁剪下来。
4.如权利要求1所述的矿工人脸识别系统，其特征在于，还包括：
人脸特征提取模块，用于将裁剪下来的人脸图像输入到预训练好的基于注意力机制的ResNet-18特征提取网络，以实现人脸特征的提取工作。
5.如权利要求1所述的矿工人脸识别系统，其特征在于，还包括：
人脸特征匹配模块，用于将提取出的特征向量与数据库中已标记的人脸特征向量进行比对识别，通过计算两者间的余弦相似度进行判断，若大于阈值0.6则考勤成功允许入井，并将人脸特征向量存送入到矿工资料存储模块进行保存，反之则拒绝入井。
CN202210460972.3A 2022-04-28 2022-04-28 一种基于神经网络的矿工人脸识别系统 Pending CN114821725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210460972.3A CN114821725A (zh) 2022-04-28 2022-04-28 一种基于神经网络的矿工人脸识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210460972.3A CN114821725A (zh) 2022-04-28 2022-04-28 一种基于神经网络的矿工人脸识别系统

Publications (1)

Publication Number Publication Date
CN114821725A true CN114821725A (zh) 2022-07-29

Family

ID=82508561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210460972.3A Pending CN114821725A (zh) 2022-04-28 2022-04-28 一种基于神经网络的矿工人脸识别系统

Country Status (1)

Country Link
CN (1) CN114821725A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116680622A (zh) * 2023-08-03 2023-09-01 西安核音智言科技有限公司 一种基于残差lstm网络的煤矿出井人员预测方法
CN117218783A (zh) * 2023-09-12 2023-12-12 广东云百科技有限公司 物联网安全管理系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116680622A (zh) * 2023-08-03 2023-09-01 西安核音智言科技有限公司 一种基于残差lstm网络的煤矿出井人员预测方法
CN116680622B (zh) * 2023-08-03 2023-10-20 西安核音智言科技有限公司 一种基于残差lstm网络的煤矿出井人员预测方法
CN117218783A (zh) * 2023-09-12 2023-12-12 广东云百科技有限公司 物联网安全管理系统及方法

Similar Documents

Publication Publication Date Title
Asghar et al. Copy-move and splicing image forgery detection and localization techniques: a review
Pourshahabi et al. Offline handwritten signature identification and verification using contourlet transform
CN108664996A (zh) 一种基于深度学习的古文字识别方法及系统
CN105678612A (zh) 移动端原始凭证电子化智能填单系统及方法
CN109446345A (zh) 核电文件校验处理方法以及系统
CN114821725A (zh) 一种基于神经网络的矿工人脸识别系统
CN109376717A (zh) 人脸对比的身份识别方法、装置、电子设备及存储介质
WO2019144416A1 (zh) 信息处理方法、系统、云处理设备以及计算机程序产品
Kalunga et al. Development of fingerprint biometrics verification and vetting management system
SP et al. Automatic Number Plate Recognition System for Entry and Exit Management
CN110222660B (zh) 一种基于动态与静态特征融合的签名鉴伪方法及系统
CN104463091A (zh) 一种基于图像lgbp特征子向量的人脸图像识别方法
Pinthong et al. The License Plate Recognition system for tracking stolen vehicles
CN117558011B (zh) 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法
CN114140025A (zh) 面向多模态数据的车险欺诈行为预测系统、方法和装置
Thaiparnit et al. Tracking vehicles system based on license plate recognition
CN114596439A (zh) 一种基于图像的车险智能定损及核损方法、装置和电子设备
CN114663899A (zh) 金融票据的处理方法、装置、设备及介质
CN105718972A (zh) 一种信息智能采集方法
Soma et al. An automated fraud detection of hall ticket in an offline examination system using ANN classifier
Piekarczyk et al. Hierarchical Graph-Grammar Model for Secure and Efficient Handwritten Signatures Classification.
Girinath et al. Automatic Number Plate Detection using Deep Learning
Rani et al. Recognition of High-Security Registration Plate for Indian Vehicles
CN115035332B (zh) 基于图像识别的抗原检测结果认证方法
Yuan et al. Study on forensic image retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination