Nothing Special   »   [go: up one dir, main page]

CN113052064B - 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法 - Google Patents

基于面部朝向、面部表情及瞳孔追踪的注意力检测方法 Download PDF

Info

Publication number
CN113052064B
CN113052064B CN202110310469.5A CN202110310469A CN113052064B CN 113052064 B CN113052064 B CN 113052064B CN 202110310469 A CN202110310469 A CN 202110310469A CN 113052064 B CN113052064 B CN 113052064B
Authority
CN
China
Prior art keywords
face
image
pupil
parameter
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110310469.5A
Other languages
English (en)
Other versions
CN113052064A (zh
Inventor
姜文强
汪明浩
刘川贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Seektruth Data Technology Service Co ltd
Original Assignee
Beijing Seektruth Data Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Seektruth Data Technology Service Co ltd filed Critical Beijing Seektruth Data Technology Service Co ltd
Priority to CN202110310469.5A priority Critical patent/CN113052064B/zh
Publication of CN113052064A publication Critical patent/CN113052064A/zh
Application granted granted Critical
Publication of CN113052064B publication Critical patent/CN113052064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，涉及风险评估技术领域，该方法包括提取出被评估者的人脸图像；确定人脸图像中的关键点坐标；依据关键点坐标、相机内参数矩阵和相机畸变参数确定被评估者的面部朝向角度；提取出被评估者的眼部区域图像；确定出被评估者的眼睛瞳孔位置；基于眼部区域图像和眼睛瞳孔位置确定出瞳孔偏转度参数；根据人脸图像的各像素点的像素值确定出表征积极/消极程度的第一表情参数和表征清醒/困倦程度的第二表情参数；基于面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数确定出与被评估者对应的注意力参数。本申请实施例提供的方法能够对被评估者的注意力进行准确评估。

Description

基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
技术领域
本文件涉及风险评估技术领域，尤其涉及一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法。
背景技术
注意力检测常常被广泛应用于各个领域，如在交通驾驶过程中驾驶员的注意力检测、教学过程中学生的注意力检测以及刑侦审讯环节中用于欺诈行为识别的注意力检测等。
目前，对于注意力的检测大都是基于被检测者面部朝向来进行检测分析的。然而，面部朝向仅能够反映被检测者关注某一事物的可能，往往并不能准确反映被监检测的注意力。
因此，如何提供一种有效的方案以提高注意力检测的准确性，已成为现有技术中一亟待解决的问题。
发明内容
本申请实施例提供一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，用以解决现有技术存在的注意力检测的准确性低的问题。
为解决上述技术问题，本申请实施例是这样实现的：
本申请实施例提供了一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，包括：
获取包含被评估者头像的目标图像帧；
从所述目标图像帧中提取出所述被评估者的人脸图像；
对所述人脸图像的像素值进行归一化处理；
将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到所述人脸图像中的多个关键点坐标，所述多个关键点坐标中包括眼部轮廓坐标；
依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度；
基于所述眼部轮廓坐标从所述人脸图像中提取出所述被评估者的眼部区域图像；
依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置；
基于所述眼部区域图像和所述眼睛瞳孔位置确定出所述被评估者的瞳孔偏转度参数；
将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与所述被评估者对应的第一表情参数和第二表情参数，所述第一表情参数表征所述被评估者的积极/消极程度，所述第二表情参数表征所述被评估者的清醒/困倦程度；
基于所述面部朝向角度、所述瞳孔偏转度参数、所述第一表情参数和所述第二表情参数确定出与所述被评估者对应的注意力参数，所述注意力参数表征所述被评估者的注意力集中程度。
可选的，所述目标图像帧的格式为RGB格式，所述从所述目标图像帧中提取出所述被评估者的人脸图像，包括：
将所述目标图像帧的图像通道顺序转换为RGB；
将图像通道顺序转换为RGB后的所述目标图像帧缩放至第一指定尺寸；
将缩放至第一指定尺寸大小的所述目标图像帧进行归一化处理；
将归一化处理的所述目标图像帧的各像素点的像素值所构成的矩阵作为预先训练的人脸检测模型的输入进行运算，得到人脸边界点坐标；
基于所述人脸边界点坐标从所述目标图像帧中提取出所述人脸图像。
可选的，所述人脸边界点坐标包括第一边界点坐标和第二边界点坐标，所述基于所述人脸边界点坐标从所述目标图像帧中提取出所述人脸图像，包括：
以所述第一边界点坐标和所述第二边界点坐标为对角，从所述目标图像帧中提取出矩形的所述人脸图像。
可选的，所述方法还包括：
将所述人脸图像缩放至第二指定尺寸；
所述对所述人脸图像的像素值进行归一化处理，包括：
对缩放至第二指定尺寸的所述人脸图像的像素值进行归一化处理。
可选的，所述依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度，包括：
依据所述多个关键点坐标、所述预置相机内参数矩阵和所述预置相机畸变参数，确定出与所述多个关键点坐标一一对应的多个头部三维关键点基准坐标；
根据所述预置相机内参数矩阵、所述预置相机畸变参数、目标关键点坐标和目标头部三维关键点基准坐标，确定出相机的旋转向量和变换向量；
将所述旋转向量转换为旋转矩阵；
将所述旋转矩阵与所述变换向量拼接，得到姿态矩阵；
分解所述姿态矩阵，得到所述被评估者的面部朝向角度；
其中，所述目标关键点坐标为所述多个关键点坐标中的其中一个，所述目标头部三维关键点基准坐标为与所述目标关键点坐标对应的头部三维关键点基准坐标。
可选的，所述依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置，包括：
确定出所述目标图像帧所对应的人脸图像中，瞳孔占比处于预设比值范围的第一人脸图像，瞳孔占比为眼睛瞳孔区域占眼部区域的比值；
当第一人脸图像的数量达到预设数量时，求各第一人脸图像的瞳孔占比的均值；
查找出各第一人脸图像的瞳孔占比中，与所述均值最接近的目标瞳孔占比；
选取所述目标瞳孔占比所对应的第一人脸图像最为目标人脸图像；
将所述目标人脸图像中的眼睛瞳孔区域的中心作为瞳孔位置。
可选的，所述确定出所述目标图像帧所对应的人脸图像中，瞳孔占比处于预设比值范围的第一人脸图像，包括：
基于所述目标图像帧所对应人脸图像中的眼部轮廓坐标，求出外接矩形区域；
对所述外接矩阵区域向外扩张指定个像素；
对扩张后的所述外接矩阵区域双边滤波后进行腐蚀操作，得到腐蚀后的图像；
对腐蚀后的图像进行二值化处理，得到二值化图像；
对所述二值化图像向内收缩所述指定个像素，得到收缩后的图像；
计算所述收缩后的图像中非零像素值的占比，得到人脸图像的瞳孔占比；
将瞳孔占比处于所述预设比值范围的人脸图像作为所述第一人脸图像。
本申请实施例采用的上述技术方案能够达到以下有益效果：
通过确定被评估者的面部朝向角度、被评估者的瞳孔偏转度参数、表征被评估者的积极/消极程度的第一表情参数以及表征被评估者的清醒/困倦程度的第二表情参数，然后基于面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数确定出与被评估者对应的注意力参数。如此，能够从不同维度与注意力有关联的参数综合考虑进行注意力检测，从而能够对被评估者的注意力集中程度进行准确评估，且鲁棒性高。
附图说明
此处所说明的附图用来提供对本文件的进一步理解，构成本文件的一部分，本文件的示意性实施例及其说明用于解释本文件，并不构成对本文件的不当限定。在附图中：
图1为本申请一个实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测方法的流程示意图。
图2为本申请一个实施例提供的电子设备的结构示意图。
图3为本申请一个实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测装置的结构示意图。
具体实施方式
为使本文件的目的、技术方案和优点更加清楚，下面将结合本文件具体实施例及相应的附图对本文件技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本文件一部分实施例，而不是全部的实施例。基于本文件中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文件保护的范围。
为了确保注意力的评估准确性，本申请实施例提供了一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，该基于面部朝向、面部表情及瞳孔追踪的注意力检测方法能够对注意力集中程度进行准确评估，且鲁棒性高。
下面将对本申请实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测方法进行详细说明。
本申请实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测方法可应用于用户终端，所述用户终端可以是，但不限于个人电脑、智能手机、平板电脑、膝上型便携计算机、个人数字助理等。
可以理解，所述执行主体并不构成对本申请实施例的限定。
可选地，该基于面部朝向、面部表情及瞳孔追踪的注意力检测方法的流程如图1所示，可以包括如下步骤：
步骤S101，获取包含被评估者头像的目标图像帧。
其中，该目标图像帧可以是通过相机获取到的视频，也可以是通过相机拍摄到的图片，该目标图像帧可以包括一帧或多帧图像，本申请实施例中不做具体限定。
步骤S102，从目标图像帧中提取出被评估者的人脸图像。
若目标图像帧为一帧图像，则可直接根据目标图像帧提取出被评估者的人脸图像。若目标图像帧包括多帧图像，则从目标图像帧中提取被评估者的人脸图像时，可以对多帧图像中的每一帧进行提取，得到与多帧图像一一对应的多张人脸图像，也可以是对多帧图像中其中一帧进行提取，得到一张人脸图像，还可以是每间隔一定帧数从多帧图像中选取一帧进行提取，得到多张人脸图像，本申请实施例中不做具体限定。
所述目标图像帧的格式不限，以目标图像帧为一帧RGB格式的图像为例，从目标图像帧中提取出被评估者的人脸图像可以包括如下步骤：
步骤S1021，将目标图像帧的图像通道顺序转换为RGB。
步骤S1022，将图像通道顺序转换为RGB后的目标图像帧缩放至第一指定尺寸。
所述第一指定尺寸可根据后续用于确定人脸边界点坐标的人脸检测模型确定，例如人脸检测模型的输入为一300*300的矩阵，则该第一指定尺寸可以是300*300像素大小。
步骤S1023，将缩放至第一指定尺寸大小的目标图像帧进行归一化处理。
具体的，可以将缩放至第一指定尺寸大小的目标图像帧中，每个像素点的像素值减去127.5，然后再除以127.5，从而使得像素值分布在[-1,1]的区间内。以便于用于后续运算。
步骤S1024，将归一化处理的目标图像帧的各像素点的像素值所构成的矩阵作为预先训练的人脸检测模型的输入进行运算，得到人脸边界点坐标。
本申请实施例中，预先建立有用于人脸检测的人脸检测模型。进行归一化处理后，可以将归一化处理的目标图像帧中各像素点的像素值作为矩阵中的一个值，构建出一个矩阵。然后将该矩阵作为预先训练的人脸检测模型的输入进行运算，得到人脸边界点坐标。
例如，归一化处理的目标图像帧为一300*300像素大小的图像帧，则构建的矩阵为一300*300的矩阵。
步骤S1025，基于人脸边界点坐标从目标图像帧中提取出人脸图像。
本申请实施例中，人脸边界点坐标包括第一边界点坐标和第二边界点坐标，在提取人脸图像时可以以第一边界点坐标和第二边界点坐标为对角，从目标图像帧中提取出矩形的人脸图像。
例如，第一边界点坐标为(X_min，Y_min)，第二边界点坐标为(X_max，Y_max)，则可将目标图像帧中横坐标范围为X_min至X_max，纵坐标范围为Y_min至Y_max的矩形区域图像作为人脸图像。
步骤S103，对人脸图像的像素值进行归一化处理。
具体的，可以将人脸图像中各像素点的像素值除以256，使得归一化后的人脸图像中各像素点的像素值分布在[0,1]的区间内，以便于用于后续计算人脸图像中的关键点坐标。
进一步的，在对人脸图像的像素值进行归一化处理之前，还可以将人脸图像缩放至第二指定尺寸，该第二指定尺寸可根据后续用于计算人脸图像中的关键点坐标的人脸关键点检测模型确定。例如，人脸关键点检测模型的输入要求为一112*112的矩阵，则该第二指定尺寸可以是112*112像素大小。
步骤S104，将归一化处理后的人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到人脸图像中的多个关键点坐标。
本申请实施例中，预先训练有用于计算人脸关键点坐标的人脸关键点检测模型，其中人脸关键点可以是，但不限于人脸上的眼部、耳朵、鼻子等区域。
在计算人脸关键点坐标时，可将归一化处理的人脸图像的各像素点的像素值作为矩阵中的一个值，构建出一矩阵。然后将该矩阵作为预先训练的人脸关键点检测模型的输入进行运算，得到人脸图像中的多个关键点坐标。
其中，该多个关键点坐标中包括有眼部轮廓坐标。
步骤S105，依据多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出被评估者的面部朝向角度。
其中，预置相机内参数矩阵是指该获取目标图像帧的相机的内参数矩阵，预置相机畸变参数为该获取目标图像帧的相机的畸变参数。预置相机内参数矩阵和预置相机畸变参数为预先设定的，不同厂家的相机可设置不同。
本申请实施例中，确定被评估者的面部朝向角度可以包括如下步骤：
步骤S1051，依据多个关键点坐标、预置相机内参数矩阵和所述预置相机畸变参数，确定出与多个关键点坐标一一对应的多个头部三维关键点基准坐标。
本申请实施例中，可通过opencv确定出头部三维关键点基准坐标，为现有技术，本申请实施例中不做具体说明。
步骤S1052，根据预置相机内参数矩阵、预置相机畸变参数、目标关键点坐标和目标头部三维关键点基准坐标，确定出相机的旋转向量和变换向量。
其中，目标关键点坐标为多个关键点坐标中的其中一个，目标头部三维关键点基准坐标为与目标关键点坐标对应的头部三维关键点基准坐标。
具体的，可使用函数solvepnp接收目标关键点坐标和目标头部三维关键点基准坐标，以及预置相机内参数矩阵和预置相机畸变参数进行反推，得到相机的旋转向量和变换向量。
步骤S1053，将旋转向量转换为旋转矩阵。
转换时可使用函数Rodrigues将旋转向量转换为旋转矩阵，本申请实施例中不做具体说明。
步骤S1054，将旋转矩阵与变换向量拼接，得到姿态矩阵。
例如，旋转矩阵为一3*3的矩阵，变换向量为一3维向量，则拼接得到的姿态矩阵为一3*4的矩阵。
步骤S1055，分解姿态矩阵，得到被评估者的面部朝向角度。
其中，面部朝向角度包括俯仰角度、偏航角度和翻滚角度。
步骤S106，基于眼部轮廓坐标从人脸图像中提取出被评估者的眼部区域图像。
本申请实施例中，可设置人脸图像中每个像素点所对应坐标的坐标索引，在得到眼部轮廓坐标后，可根据眼部轮廓坐标的坐标索引进行粗剪裁，得到被评估者的眼部区域图像。其中，眼部轮廓坐标的坐标索引包括左眼轮廓坐标的坐标索引和右眼轮廓坐标的坐标索引，得到的眼部区域图像包括左眼区域图像和右眼区域图像。
步骤S107，依据眼部区域图像确定出被评估者的眼睛瞳孔位置。
本申请实施例中，确定被评估者的眼睛瞳孔位置可以包括如下步骤：
步骤S1071，确定出目标图像帧所对应的人脸图像中，瞳孔占比处于预设比值范围的第一人脸图像。
其中，瞳孔占比为眼睛瞳孔区域占眼部区域的比值。
具体的，可以每间隔一定的帧数从目标图像帧选择一帧图像所对应人脸图像，并根据其眼部轮廓坐标求出相应的外接矩形区域。
例如，该一定的帧数为5帧，则可以首先选取目标图像帧中的第5帧图像，并根据第5帧图像所对应人脸图像中的眼部轮廓坐标求出相应的外接矩形区域。
然后对求出的外接矩阵区域向外扩张指定个像素，例如向外扩张5个像素。对扩张后的外接矩阵区域双边滤波后进行腐蚀操作，得到腐蚀后的图像。然后再对对腐蚀后的图像进行二值化处理，得到二值化图像。并对二值化图像向内收缩指定个像素，得到收缩后的图像，其中收缩的像素数量与向外扩张的像素数量相同。计算收缩后的图像中非零像素值的占比，得到人脸图像的瞳孔占比。如果人脸图像的瞳孔占比处于预设比值范围，则将该人脸图像作为第一人脸图像，否则间隔一定帧数(如5帧)从目标图像帧选择一帧图像来计算人脸图像的瞳孔占比。
其中，该预设比值范围可以根据普通人的瞳孔占眼部区域比值来确定。例如，普通人的瞳孔占眼部区域比值为0.46-0.50，则该预设比值范围可以为0.46-0.50。
步骤S1072，当第一人脸图像的数量达到预设数量时，求各第一人脸图像的瞳孔占比的均值。
每确定出一个第一人脸图像后，可判断一次第一人脸图像的数量是否达到预设数量，如果没有达到则间隔一定帧数继续从目标图像帧选择一帧图像来计算人脸图像的瞳孔占比，直到第一人脸图像的数量达到预设数量。其中，该预设数量可根据实际情况设定。
当第一人脸图像的数量达到预设数量时，求各第一人脸图像的瞳孔占比的均值。
步骤S1073，查找出各第一人脸图像的瞳孔占比中，与均值最接近的目标瞳孔占比。
每个第一人脸图像对应一个瞳孔占比，在求出各第一人脸图像的瞳孔占比的均值后，可从各个第一人脸图像对应的瞳孔占比中，找出一个与该均值最接近的瞳孔占比作为目标瞳孔占比。
步骤S1074，选取目标瞳孔占比所对应的第一人脸图像最为目标人脸图像。
步骤S1075，将目标人脸图像中的眼睛瞳孔区域的中心作为瞳孔位置。
步骤S108，基于眼部区域图像和所述眼睛瞳孔位置确定出被评估者的瞳孔偏转度参数。
其中，瞳孔偏转度参数可以是瞳孔向左/右偏转的距离，也可以是瞳孔向左/右偏转的比例等，本申请实施例中不做具体限定。
具体的，可根据眼部区域的关键点坐标和瞳孔位置所对应的坐标计算出眼睛的两侧眼角与瞳孔的距离，然后根据两侧眼角与瞳孔的距离确定出被评估者的瞳孔偏转度参数。
步骤S109，将归一化处理后的人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与被评估者对应的第一表情参数和第二表情参数。
本申请实施例中，预先训练有用于面部情绪识别的面部情绪识别模型，在对人脸图像的像素值进行归一化处理后，可将归一化处理后的人脸图像的各像素点的像素值作为矩阵中的一个值，构建出一矩阵，然后就该矩阵作为预先训练的面部情绪识别模型的输入进行运算，得到与被评估者对应的第一表情参数和第二表情参数。其中，第一表情参数表征被评估者的积极/消极程度，第二表情参数表征被评估者的清醒/困倦程度。
步骤S110，基于面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数确定出与被评估者对应的注意力参数。
其中，注意力参数表征所述被评估者的注意力集中程度。
面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数均能在一定程度上反应被评估者是否注意力集中。因此，在确定与被评估者对应的注意力参数时，可对面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数分别赋予一得分，然后根据面部朝向角度、瞳孔偏转度参数、第一表情参数以及第二表情参数对应的得分之和确定出被评估者对应的最终得分，从而根据最终得分得到被评估者的注意力集中程度。
具体的，面部朝向角度的总分可设置为100，面部朝向角度对应的得分可表示为SS＝100-pitch*a-yaw*b-roll*c，其中pitch表示面部朝向角度中俯仰角度的度数，yaw表示面部朝向角度中偏航角度的度数，roll表示面部朝向角度中翻滚角度的度数。当pitch的绝对值小于等于15时，a的取值为0.8，当pitch的绝对值大于15时，a的取值为1.5。当yaw的绝对值小于等于15时，b的取值为0.8，当yaw的绝对值大于15时，b的取值为1.5。当当roll的绝对值小于等于15时，c的取值为0.8，当roll的绝对值大于15时，c的取值为1.5
瞳孔偏转度参数对应的得分，可以取左眼的瞳孔偏转度参数所对应得分与右眼的瞳孔偏转度参数所对应得分中的最小值。其中，左眼的瞳孔偏转度参数所对应得分可表示为ELS＝100-abs((1-LR))*50，LR表示左眼的瞳孔偏转度参数。右眼的瞳孔偏转度参数所对应得分可表示为ERS＝100-abs((1-RR))*50，RR表示右眼的瞳孔偏转度参数。瞳孔偏转度参数对应的得分记为EMS，EMS为ELS与ERS中的最小值。
第一表情参数表征被评估者的积极/消极程度，其中第一表情参数大于0表示积极状态，小于0表示消极状态，记为V。第二表情参数表征被评估者的清醒/困倦程度，其中第二表情参数大于0表示清醒状态，小于0表示困倦状态，记为A。第一表情参数对应的得分可表示为SV＝10*(1+V)，第二表情参数对应的得分可表示为SA＝10*(1+A)。
被评估者对应的最终得分FS＝(SS+EMS+SA+SV)/200。被评估者对应的最终得分FS表征被评估者的注意力集中程度，其中最终得分FS越大表示被评估者的注意力越集中。
本申请实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，通过确定被评估者的面部朝向角度、被评估者的瞳孔偏转度参数、表征被评估者的积极/消极程度的第一表情参数以及表征被评估者的清醒/困倦程度的第二表情参数，然后基于面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数确定出与被评估者对应的注意力参数。如此，能够从不同维度与注意力有关联的参数综合考虑进行注意力检测，从而能够对被评估者的注意力集中程度进行准确评估，且鲁棒性高。
图2是本申请的一个实施例电子设备的结构示意图。请参考图2，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成基于面部朝向、面部表情及瞳孔追踪的注意力检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取包含被评估者头像的目标图像帧；
从所述目标图像帧中提取出所述被评估者的人脸图像；
对所述人脸图像的像素值进行归一化处理；
将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到所述人脸图像中的多个关键点坐标，所述多个关键点坐标中包括眼部轮廓坐标；
依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度；
基于所述眼部轮廓坐标从所述人脸图像中提取出所述被评估者的眼部区域图像；
依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置；
基于所述眼部区域图像和所述眼睛瞳孔位置确定出所述被评估者的瞳孔偏转度参数；
将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与所述被评估者对应的第一表情参数和第二表情参数，所述第一表情参数表征所述被评估者的积极/消极程度，所述第二表情参数表征所述被评估者的清醒/困倦程度；
基于所述面部朝向角度、所述瞳孔偏转度参数、所述第一表情参数和所述第二表情参数确定出与所述被评估者对应的注意力参数，所述注意力参数表征所述被评估者的注意力集中程度。
上述如本申请图2所示实施例揭示的基于面部朝向、面部表情及瞳孔追踪的注意力检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1所示实施例的方法，并实现基于面部朝向、面部表情及瞳孔追踪的注意力检测装置在图1所示实施例的功能，本申请实施例在此不再赘述。
当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下操作：
获取包含被评估者头像的目标图像帧；
从所述目标图像帧中提取出所述被评估者的人脸图像；
对所述人脸图像的像素值进行归一化处理；
将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到所述人脸图像中的多个关键点坐标，所述多个关键点坐标中包括眼部轮廓坐标；
依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度；
基于所述眼部轮廓坐标从所述人脸图像中提取出所述被评估者的眼部区域图像；
依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置；
基于所述眼部区域图像和所述眼睛瞳孔位置确定出所述被评估者的瞳孔偏转度参数；
将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与所述被评估者对应的第一表情参数和第二表情参数，所述第一表情参数表征所述被评估者的积极/消极程度，所述第二表情参数表征所述被评估者的清醒/困倦程度；
基于所述面部朝向角度、所述瞳孔偏转度参数、所述第一表情参数和所述第二表情参数确定出与所述被评估者对应的注意力参数，所述注意力参数表征所述被评估者的注意力集中程度。
图3是本申请的一个实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测装置的结构示意图。请参考图3，在一种软件实施方式中，提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测装置可包括：
获取模块，用于获取包含被评估者头像的目标图像帧；
第一提取模块，用于从所述目标图像帧中提取出所述被评估者的人脸图像；
归一化模块，用于对所述人脸图像的像素值进行归一化处理；
第一运算模块，用于将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到所述人脸图像中的多个关键点坐标，所述多个关键点坐标中包括眼部轮廓坐标；
第一确定模块，用于依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度；
第二提取模块，用于基于所述眼部轮廓坐标从所述人脸图像中提取出所述被评估者的眼部区域图像；
第二确定模块，用于依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置；
第三确定模块，用于基于所述眼部区域图像和所述眼睛瞳孔位置确定出所述被评估者的瞳孔偏转度参数；
第二运算模块，用于将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与所述被评估者对应的第一表情参数和第二表情参数，所述第一表情参数表征所述被评估者的积极/消极程度，所述第二表情参数表征所述被评估者的清醒/困倦程度；
第四确定模块，用于基于所述面部朝向角度、所述瞳孔偏转度参数、所述第一表情参数和所述第二表情参数确定出与所述被评估者对应的注意力参数，所述注意力参数表征所述被评估者的注意力集中程度。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (7)

1.一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，其特征在于，包括：
获取包含被评估者头像的目标图像帧；
从所述目标图像帧中提取出所述被评估者的人脸图像；
对所述人脸图像的像素值进行归一化处理；
将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到所述人脸图像中的多个关键点坐标，所述多个关键点坐标中包括眼部轮廓坐标；
依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度；
基于所述眼部轮廓坐标从所述人脸图像中提取出所述被评估者的眼部区域图像；
依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置；
基于所述眼部区域图像和所述眼睛瞳孔位置确定出所述被评估者的瞳孔偏转度参数；
将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与所述被评估者对应的第一表情参数和第二表情参数，所述第一表情参数表征所述被评估者的积极/消极程度，所述第二表情参数表征所述被评估者的清醒/困倦程度；
基于所述面部朝向角度、所述瞳孔偏转度参数、所述第一表情参数和所述第二表情参数确定出与所述被评估者对应的注意力参数，所述注意力参数表征所述被评估者的注意力集中程度。
2.根据权利要求1所述的方法，其特征在于，所述目标图像帧的格式为RGB格式，所述从所述目标图像帧中提取出所述被评估者的人脸图像，包括：
将所述目标图像帧的图像通道顺序转换为RGB；
将图像通道顺序转换为RGB后的所述目标图像帧缩放至第一指定尺寸；
将缩放至第一指定尺寸大小的所述目标图像帧进行归一化处理；
将归一化处理的所述目标图像帧的各像素点的像素值所构成的矩阵作为预先训练的人脸检测模型的输入进行运算，得到人脸边界点坐标；
基于所述人脸边界点坐标从所述目标图像帧中提取出所述人脸图像。
3.根据权利要求2所述的方法，其特征在于，所述人脸边界点坐标包括第一边界点坐标和第二边界点坐标，所述基于所述人脸边界点坐标从所述目标图像帧中提取出所述人脸图像，包括：
以所述第一边界点坐标和所述第二边界点坐标为对角，从所述目标图像帧中提取出矩形的所述人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述人脸图像缩放至第二指定尺寸；
所述对所述人脸图像的像素值进行归一化处理，包括：
对缩放至第二指定尺寸的所述人脸图像的像素值进行归一化处理。
5.根据权利要求1所述的方法，其特征在于，所述依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度，包括：
依据所述多个关键点坐标、所述预置相机内参数矩阵和所述预置相机畸变参数，确定出与所述多个关键点坐标一一对应的多个头部三维关键点基准坐标；
根据所述预置相机内参数矩阵、所述预置相机畸变参数、目标关键点坐标和目标头部三维关键点基准坐标，确定出相机的旋转向量和变换向量；
将所述旋转向量转换为旋转矩阵；
将所述旋转矩阵与所述变换向量拼接，得到姿态矩阵；
分解所述姿态矩阵，得到所述被评估者的面部朝向角度；
其中，所述目标关键点坐标为所述多个关键点坐标中的其中一个，所述目标头部三维关键点基准坐标为与所述目标关键点坐标对应的头部三维关键点基准坐标。
6.根据权利要求1所述的方法，其特征在于，所述依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置，包括：
确定出所述目标图像帧所对应的人脸图像中，瞳孔占比处于预设比值范围的第一人脸图像，瞳孔占比为眼睛瞳孔区域占眼部区域的比值；
当第一人脸图像的数量达到预设数量时，求各第一人脸图像的瞳孔占比的均值；
查找出各第一人脸图像的瞳孔占比中，与所述均值最接近的目标瞳孔占比；
选取所述目标瞳孔占比所对应的第一人脸图像最为目标人脸图像；
将所述目标人脸图像中的眼睛瞳孔区域的中心作为瞳孔位置。
7.根据权利要求6所述的方法，其特征在于，所述确定出所述目标图像帧所对应的人脸图像中，瞳孔占比处于预设比值范围的第一人脸图像，包括：
基于所述目标图像帧所对应人脸图像中的眼部轮廓坐标，求出外接矩形区域；
对所述外接矩形区域向外扩张指定个像素；
对扩张后的所述外接矩形区域双边滤波后进行腐蚀操作，得到腐蚀后的图像；
对腐蚀后的图像进行二值化处理，得到二值化图像；
对所述二值化图像向内收缩所述指定个像素，得到收缩后的图像；
计算所述收缩后的图像中非零像素值的占比，得到人脸图像的瞳孔占比；
将瞳孔占比处于所述预设比值范围的人脸图像作为所述第一人脸图像。
CN202110310469.5A 2021-03-23 2021-03-23 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法 Active CN113052064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110310469.5A CN113052064B (zh) 2021-03-23 2021-03-23 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110310469.5A CN113052064B (zh) 2021-03-23 2021-03-23 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法

Publications (2)

Publication Number Publication Date
CN113052064A CN113052064A (zh) 2021-06-29
CN113052064B true CN113052064B (zh) 2024-04-02

Family

ID=76514596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110310469.5A Active CN113052064B (zh) 2021-03-23 2021-03-23 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法

Country Status (1)

Country Link
CN (1) CN113052064B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283978B (zh) * 2021-05-06 2024-05-10 北京思图场景数据科技服务有限公司 基于生物基础与行为特征及业务特征的金融风险评估方法
CN113537084A (zh) * 2021-07-20 2021-10-22 广州虎牙科技有限公司 一种姿态参数估算方法、装置、电子设备及计算机可读存储介质
CN113838086B (zh) * 2021-08-23 2024-03-22 广东电网有限责任公司 注意力评估测试方法、装置、电子设备及存储介质
CN116705212A (zh) * 2023-06-16 2023-09-05 元惟(深圳)科技有限公司 基于物联网的心理测评方法及系统
CN117101017B (zh) * 2023-10-08 2024-09-03 广州中科智慧健康产业科技有限公司 基于生物反馈的个性化光疗房调节方法及系统

Citations (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259833A (ja) * 1999-03-08 2000-09-22 Toshiba Corp 顔画像処理装置及びその処理方法
JP2002282210A (ja) * 2001-03-27 2002-10-02 Japan Science & Technology Corp 視線検出方法及びその装置
JP2007268164A (ja) * 2006-03-31 2007-10-18 National Univ Corp Shizuoka Univ 視線移動検出方法及び視線移動検出装置
CN101593352A (zh) * 2009-06-12 2009-12-02 浙江大学 基于面部朝向和视觉焦点的驾驶安全监测系统
JP2010282339A (ja) * 2009-06-03 2010-12-16 Seiko Epson Corp 目における瞳の位置を補正する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置
KR20110102073A (ko) * 2010-03-10 2011-09-16 홍익대학교 산학협력단 얼굴 인식 시스템에서의 위조 검출 방법
JP2012186821A (ja) * 2012-04-18 2012-09-27 Toshiba Corp 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法
US8401248B1 (en) * 2008-12-30 2013-03-19 Videomining Corporation Method and system for measuring emotional and attentional response to dynamic digital media content
CN104013414A (zh) * 2014-04-30 2014-09-03 南京车锐信息科技有限公司 一种基于移动智能手机的驾驶员疲劳检测系统
WO2015154882A1 (en) * 2014-04-11 2015-10-15 The Eye Tribe Aps Systems and methods of eye tracking calibration
KR20160036375A (ko) * 2014-09-25 2016-04-04 백석대학교산학협력단 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법
WO2016143759A1 (ja) * 2015-03-06 2016-09-15 株式会社 脳機能研究所 感情推定装置及び感情推定方法
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
WO2017107957A1 (zh) * 2015-12-22 2017-06-29 中兴通讯股份有限公司 人脸图像的检索方法及装置
US9775512B1 (en) * 2014-03-19 2017-10-03 Christopher W. Tyler Binocular eye tracking from video frame sequences
EP3225154A2 (en) * 2016-03-31 2017-10-04 Fujitsu Limited Gaze detection apparatus and gaze detection method
WO2018033143A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
CN107909057A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2018142388A1 (en) * 2017-02-05 2018-08-09 Bioeye Ltd. A method for pupil detection for cognitive monitoring, analysis, and biofeedback-based treatment and training
CN108921061A (zh) * 2018-06-20 2018-11-30 腾讯科技（深圳）有限公司 一种表情识别方法、装置和设备
CN109271914A (zh) * 2018-09-07 2019-01-25 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN109446892A (zh) * 2018-09-14 2019-03-08 杭州宇泛智能科技有限公司 基于深度神经网络的人眼注意力定位方法及系统
CN109446880A (zh) * 2018-09-05 2019-03-08 广州维纳斯家居股份有限公司 智能用户参与度评价方法、装置、智能升降桌及存储介质
CN109902630A (zh) * 2019-03-01 2019-06-18 上海像我信息科技有限公司 一种注意力判断方法、装置、系统、设备和存储介质
CN109902553A (zh) * 2019-01-03 2019-06-18 杭州电子科技大学 一种基于面部像素差的多角度的人脸对齐方法
CN110147744A (zh) * 2019-05-09 2019-08-20 腾讯科技（深圳）有限公司 一种人脸图像质量评估方法、装置及终端
WO2019184125A1 (zh) * 2018-03-30 2019-10-03 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN110363133A (zh) * 2019-07-10 2019-10-22 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
CN110705500A (zh) * 2019-10-12 2020-01-17 深圳创新奇智科技有限公司 基于深度学习的人员工作图像的注意力检测方法及系统
WO2020034902A1 (zh) * 2018-08-11 2020-02-20 昆山美卓智能科技有限公司 具有状态监控功能的智能桌、监控系统服务器及监控方法
WO2020042345A1 (zh) * 2018-08-28 2020-03-05 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
WO2020062960A1 (zh) * 2018-09-29 2020-04-02 北京市商汤科技开发有限公司 神经网络训练、视线追踪方法和装置及电子设备
CN110969061A (zh) * 2018-09-29 2020-04-07 北京市商汤科技开发有限公司 神经网络训练、视线检测方法和装置及电子设备
CN111046744A (zh) * 2019-11-21 2020-04-21 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111507592A (zh) * 2020-04-08 2020-08-07 山东大学 一种面向服刑人员的主动改造行为的评估方法
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质
WO2020186883A1 (zh) * 2019-03-18 2020-09-24 北京市商汤科技开发有限公司 注视区域检测及神经网络训练的方法、装置和设备
CN111862287A (zh) * 2020-07-20 2020-10-30 广州市百果园信息技术有限公司 眼部纹理图像生成方法、纹理贴图方法、装置和电子设备
CN111914783A (zh) * 2020-08-10 2020-11-10 深圳市视美泰技术股份有限公司 人脸偏转角度的确定方法、装置、计算机设备及介质
CN111933275A (zh) * 2020-07-17 2020-11-13 兰州大学 一种基于眼动与面部表情的抑郁评估系统
WO2020231401A1 (en) * 2019-05-13 2020-11-19 Huawei Technologies Co., Ltd. A neural network for head pose and gaze estimation using photorealistic synthetic data
CN112149641A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 监控驾驶状态的方法、装置、设备和存储介质
KR102198360B1 (ko) * 2019-10-24 2021-01-04 광운대학교 산학협력단 얼굴 영상 기반의 시선 추적 시스템 및 방법
CN112329699A (zh) * 2020-11-19 2021-02-05 北京中科虹星科技有限公司 一种像素级精度的人眼注视点定位方法
CN112381061A (zh) * 2020-12-04 2021-02-19 中国科学院大学 一种面部表情识别方法及系统
CN112446322A (zh) * 2020-11-24 2021-03-05 杭州网易云音乐科技有限公司 眼球特征检测方法、装置、设备及计算机可读存储介质
CN112464865A (zh) * 2020-12-08 2021-03-09 北京理工大学 一种基于像素和几何混合特征的人脸表情识别方法
WO2021047185A1 (zh) * 2019-09-12 2021-03-18 深圳壹账通智能科技有限公司 基于人脸识别的监测方法、装置、存储介质及计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US10762335B2 (en) * 2017-05-16 2020-09-01 Apple Inc. Attention detection
US11393252B2 (en) * 2019-05-01 2022-07-19 Accenture Global Solutions Limited Emotion sensing artificial intelligence

Patent Citations (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259833A (ja) * 1999-03-08 2000-09-22 Toshiba Corp 顔画像処理装置及びその処理方法
JP2002282210A (ja) * 2001-03-27 2002-10-02 Japan Science & Technology Corp 視線検出方法及びその装置
JP2007268164A (ja) * 2006-03-31 2007-10-18 National Univ Corp Shizuoka Univ 視線移動検出方法及び視線移動検出装置
US8401248B1 (en) * 2008-12-30 2013-03-19 Videomining Corporation Method and system for measuring emotional and attentional response to dynamic digital media content
JP2010282339A (ja) * 2009-06-03 2010-12-16 Seiko Epson Corp 目における瞳の位置を補正する画像処理装置、画像処理方法、画像処理プログラム、および、印刷装置
CN101593352A (zh) * 2009-06-12 2009-12-02 浙江大学 基于面部朝向和视觉焦点的驾驶安全监测系统
KR20110102073A (ko) * 2010-03-10 2011-09-16 홍익대학교 산학협력단 얼굴 인식 시스템에서의 위조 검출 방법
JP2012186821A (ja) * 2012-04-18 2012-09-27 Toshiba Corp 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法
US9775512B1 (en) * 2014-03-19 2017-10-03 Christopher W. Tyler Binocular eye tracking from video frame sequences
WO2015154882A1 (en) * 2014-04-11 2015-10-15 The Eye Tribe Aps Systems and methods of eye tracking calibration
CN104013414A (zh) * 2014-04-30 2014-09-03 南京车锐信息科技有限公司 一种基于移动智能手机的驾驶员疲劳检测系统
KR20160036375A (ko) * 2014-09-25 2016-04-04 백석대학교산학협력단 모바일 장치에서 블록 대비도와 대칭성을 이용한 고속 눈 검출 방법
WO2016143759A1 (ja) * 2015-03-06 2016-09-15 株式会社 脳機能研究所 感情推定装置及び感情推定方法
WO2017107957A1 (zh) * 2015-12-22 2017-06-29 中兴通讯股份有限公司 人脸图像的检索方法及装置
EP3225154A2 (en) * 2016-03-31 2017-10-04 Fujitsu Limited Gaze detection apparatus and gaze detection method
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及系统
WO2018033143A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
WO2018142388A1 (en) * 2017-02-05 2018-08-09 Bioeye Ltd. A method for pupil detection for cognitive monitoring, analysis, and biofeedback-based treatment and training
CN107909057A (zh) * 2017-11-30 2018-04-13 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2019184125A1 (zh) * 2018-03-30 2019-10-03 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN108921061A (zh) * 2018-06-20 2018-11-30 腾讯科技（深圳）有限公司 一种表情识别方法、装置和设备
WO2020034902A1 (zh) * 2018-08-11 2020-02-20 昆山美卓智能科技有限公司 具有状态监控功能的智能桌、监控系统服务器及监控方法
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
WO2020042345A1 (zh) * 2018-08-28 2020-03-05 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN109446880A (zh) * 2018-09-05 2019-03-08 广州维纳斯家居股份有限公司 智能用户参与度评价方法、装置、智能升降桌及存储介质
CN109271914A (zh) * 2018-09-07 2019-01-25 百度在线网络技术（北京）有限公司 检测视线落点的方法、装置、存储介质和终端设备
CN109446892A (zh) * 2018-09-14 2019-03-08 杭州宇泛智能科技有限公司 基于深度神经网络的人眼注意力定位方法及系统
CN110969061A (zh) * 2018-09-29 2020-04-07 北京市商汤科技开发有限公司 神经网络训练、视线检测方法和装置及电子设备
WO2020062960A1 (zh) * 2018-09-29 2020-04-02 北京市商汤科技开发有限公司 神经网络训练、视线追踪方法和装置及电子设备
CN109902553A (zh) * 2019-01-03 2019-06-18 杭州电子科技大学 一种基于面部像素差的多角度的人脸对齐方法
CN109902630A (zh) * 2019-03-01 2019-06-18 上海像我信息科技有限公司 一种注意力判断方法、装置、系统、设备和存储介质
WO2020186883A1 (zh) * 2019-03-18 2020-09-24 北京市商汤科技开发有限公司 注视区域检测及神经网络训练的方法、装置和设备
CN110147744A (zh) * 2019-05-09 2019-08-20 腾讯科技（深圳）有限公司 一种人脸图像质量评估方法、装置及终端
WO2020231401A1 (en) * 2019-05-13 2020-11-19 Huawei Technologies Co., Ltd. A neural network for head pose and gaze estimation using photorealistic synthetic data
CN110363133A (zh) * 2019-07-10 2019-10-22 广州市百果园信息技术有限公司 一种视线检测和视频处理的方法、装置、设备和存储介质
WO2021047185A1 (zh) * 2019-09-12 2021-03-18 深圳壹账通智能科技有限公司 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN110705500A (zh) * 2019-10-12 2020-01-17 深圳创新奇智科技有限公司 基于深度学习的人员工作图像的注意力检测方法及系统
KR102198360B1 (ko) * 2019-10-24 2021-01-04 광운대학교 산학협력단 얼굴 영상 기반의 시선 추적 시스템 및 방법
CN111046744A (zh) * 2019-11-21 2020-04-21 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111507592A (zh) * 2020-04-08 2020-08-07 山东大学 一种面向服刑人员的主动改造行为的评估方法
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质
CN111933275A (zh) * 2020-07-17 2020-11-13 兰州大学 一种基于眼动与面部表情的抑郁评估系统
CN111862287A (zh) * 2020-07-20 2020-10-30 广州市百果园信息技术有限公司 眼部纹理图像生成方法、纹理贴图方法、装置和电子设备
CN111914783A (zh) * 2020-08-10 2020-11-10 深圳市视美泰技术股份有限公司 人脸偏转角度的确定方法、装置、计算机设备及介质
CN112149641A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 监控驾驶状态的方法、装置、设备和存储介质
CN112329699A (zh) * 2020-11-19 2021-02-05 北京中科虹星科技有限公司 一种像素级精度的人眼注视点定位方法
CN112446322A (zh) * 2020-11-24 2021-03-05 杭州网易云音乐科技有限公司 眼球特征检测方法、装置、设备及计算机可读存储介质
CN112381061A (zh) * 2020-12-04 2021-02-19 中国科学院大学 一种面部表情识别方法及系统
CN112464865A (zh) * 2020-12-08 2021-03-09 北京理工大学 一种基于像素和几何混合特征的人脸表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Attention decrease detection based on video analysis in e-learning;Wang, Liying;《Transactions on Edutainment XIV》;20181231;166-179 *
基于多维度信息融合的学生在线学习投入度研究;吴慧婷;《中国博士学位论文全文数据库 社会科学II辑》;20210115(第1期);H127-22 *

Also Published As

Publication number Publication date
CN113052064A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN113052064B (zh) 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法
US10395103B2 (en) Object detection method, object detection apparatus, and program
US9552642B2 (en) Apparatus and method for tracking object using feature descriptor, and apparatus and method for removing garbage feature
CN112348778B (zh) 一种物体识别方法、装置、终端设备及存储介质
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN112991349B (zh) 图像处理方法、装置、设备和存储介质
CN112085701A (zh) 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN110751012A (zh) 目标检测评估方法、装置、电子设备及存储介质
CN110738204A (zh) 一种证件区域定位的方法及装置
EP4459575A1 (en) Liveness detection method, device and apparatus, and storage medium
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
EP2998928B1 (en) Apparatus and method for extracting high watermark image from continuously photographed images
CN113129298B (zh) 文本图像的清晰度识别方法
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN108960246B (zh) 一种用于图像识别的二值化处理装置及方法
JP7294454B2 (ja) オブジェクト検出方法及びオブジェクト検出装置
WO2020244076A1 (zh) 人脸识别方法、装置、电子设备及存储介质
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
CN115841672A (zh) 文字检测识别方法、装置及设备
CN110348377B (zh) 一种指纹识别方法及设备
US10832076B2 (en) Method and image processing entity for applying a convolutional neural network to an image
CN112308812A (zh) 一种检测图片清晰度的方法、终端和存储介质
US9652878B2 (en) Electronic device and method for adjusting page
CN114743264B (zh) 拍摄行为检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant