Nothing Special   »   [go: up one dir, main page]

CN112686231B - 动态手势识别方法、装置、可读存储介质及计算机设备 - Google Patents

动态手势识别方法、装置、可读存储介质及计算机设备 Download PDF

Info

Publication number
CN112686231B
CN112686231B CN202110273657.5A CN202110273657A CN112686231B CN 112686231 B CN112686231 B CN 112686231B CN 202110273657 A CN202110273657 A CN 202110273657A CN 112686231 B CN112686231 B CN 112686231B
Authority
CN
China
Prior art keywords
moment
hand
circumscribed rectangle
minimum circumscribed
skin area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110273657.5A
Other languages
English (en)
Other versions
CN112686231A (zh
Inventor
毛凤辉
郭振民
熊斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Institute Co Ltd
Original Assignee
Nanchang Virtual Reality Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Institute Co Ltd filed Critical Nanchang Virtual Reality Institute Co Ltd
Priority to CN202110273657.5A priority Critical patent/CN112686231B/zh
Publication of CN112686231A publication Critical patent/CN112686231A/zh
Application granted granted Critical
Publication of CN112686231B publication Critical patent/CN112686231B/zh
Priority to JP2023576238A priority patent/JP2024508566A/ja
Priority to PCT/CN2021/100113 priority patent/WO2022193453A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种动态手势识别方法、系统、可读存储介质及计算机设备，该方法包括：通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；根据第二时刻以及第一时刻对应的最小外接矩形的图形信息，计算两时刻对应的最小外接矩形之间的中心距离以及斜率；通过皮肤检测算法，分割出目标图像的手部皮肤区域，并结合深度图，分别计算出第二时刻以及第一时刻对应的手部皮肤区域平均深度值；根据中心距离、斜率、两时刻对应的手部皮肤区域平均深度值判定手势运动方向及其对应方向上运动量的大小。本发明能够解决现有技术只能判定二维平面上的移动方向、计算过程复杂、手势识别实时性低的问题。

Description

动态手势识别方法、装置、可读存储介质及计算机设备
技术领域
本发明涉及计算机技术领域，特别是涉及一种动态手势识别方法、装置、可读存储介质及计算机设备。
背景技术
手势识别是人机交互的重要手段，在VR（Virtual Reality，虚拟现实技术）人机交互中，用户可以通过虚拟手势识别，进行音量大小的调节或者其他虚拟移动按键的控制。
现有技术中主要通过对图像进行网格化，利用皮肤检测算法标记每个网格中有无手部、二值化图像，再通过二值图像逻辑运算得到手部运动方向，该方法只能判定二维平面上的移动方向，此外，也有基于Tower算法来进行手势识别，其计算过程非常复杂，运算量超大，降低了手势识别的实时性。
发明内容
为此，本发明的一个目的在于提出一种动态手势识别方法，以解决现有技术只能判定二维平面上的移动方向、计算过程复杂、手势识别实时性低的问题。
本发明提供一种动态手势识别方法，所述方法包括：
通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；
根据第二时刻对应的最小外接矩形的图形信息和第一时刻对应的最小外接矩形的图形信息，计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率，所述第一时刻与所述第二时刻为相邻的时刻；
通过皮肤检测算法，分割出所述目标图像的手部皮肤区域，并结合深度图，分别计算出所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值；
根据所述中心距离、所述斜率、所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值判定手势运动方向及其对应方向上运动量的大小。
根据本发明提供的动态手势识别方法，通过皮肤检测算法，结合深度图得到相邻两时刻的手部皮肤区域平均深度值，能够从立体空间判定手部运动的方向及其运动大小，实现定性定量的分析手势运动。本发明通过第一时刻和第二时刻对应的最小外接矩形之间的中心距离斜率、以及相邻两时刻的手部皮肤区域平均深度值进行手势判断，计算过程更加简单，实时性更强。
另外，根据本发明上述的动态手势识别方法，还可以具有如下附加的技术特征：
进一步地，通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息的步骤具体包括：
获取RGB摄像头采集到的含有手部的RGB图像；
将所述RGB图像输入到已经训练好的所述手部检测深度学习模型中进行手部目标检测；
根据所述手部目标检测的检测结果，得到手部区域最小外接矩形的图形信息，所述图形信息包括最小外接矩形左上角顶点坐标、矩形的宽和高。
进一步地，根据第二时刻对应的最小外接矩形的图形信息和第一时刻对应的最小外接矩形的图形信息，计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率的步骤中，采用下式计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率：
Figure 827642DEST_PATH_IMAGE001
Figure 794461DEST_PATH_IMAGE002
Figure 159583DEST_PATH_IMAGE003
Figure 375801DEST_PATH_IMAGE004
其中，(px1, py1)表示所述第一时刻对应的最小外接矩形左上角顶点坐标，w1、h1分别表示所述第一时刻对应的最小外接矩形的宽和高，(pcx1, pcy1)表示所述第一时刻对应的最小外接矩形中心点的坐标，(px2, py2)表示所述第二时刻对应的最小外接矩形左上角顶点坐标，w2、h2分别表示所述第二时刻对应的最小外接矩形的宽和高，(pcx2, pcy2)表示所述第二时刻对应的最小外接矩形中心点的坐标，d表示所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离，k表示所述第二时刻对应的最小外接矩形的中心点与所述第一时刻对应的最小外接矩形的中心点之间的斜率。
进一步地，通过皮肤检测算法，分割出所述目标图像的手部皮肤区域，并结合深度图，分别计算出所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值的步骤具体包括：
将所述RGB图像换到YCrCb空间，通过椭圆皮肤检测算法，对最小外接矩形内的皮肤进行检测，分割出所述目标图像的手部皮肤区域；
结合对应的深度图，采用下式计算所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值；
Figure 727148DEST_PATH_IMAGE005
Figure 673107DEST_PATH_IMAGE006
其中，de1表示所述第一时刻对应的手部皮肤区域中每个像素对应的深度值，dv1表示所述第一时刻对应的手部皮肤区域平均深度值，de2表示所述第二时刻对应的手部皮肤区域中每个像素对应的深度值，dv2表示所述第二时刻对应的手部皮肤区域平均深度值，N表示手部皮肤像素点个数。
进一步地，根据所述中心距离、所述斜率、所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值判定手势运动方向及其对应方向上运动量的大小的步骤具体包括：
若d小于或等于阈值thr1，则判定手部在uvz坐标系中在水平方向上没有运动；
若d大于所述阈值thr1，且pcx1= pcx2，则判定手部在所述uvz坐标系中只朝v方向运动，运动量yv=pcy2-pcy1；
若d大于所述阈值thr1，且pcy1= pcy2，则判定手部在所述uvz坐标系中只朝u方向运动，运动量xv=pcx2-pcx1；
若d大于所述阈值thr1，且pcx1≠pcx2，pcy1≠pcy2，则判定手部在所述uvz坐标系中朝uv方向运动，沿u方向运动的运动分量xv= pcx2- pcx1，沿v方向运动的运动分量yv= pcy2-pcy1；
其中，手部在所述uvz坐标系中，沿z方向运动的运动分量zv=dv2-dv1。
本发明的另一个目的在于提出一种动态手势识别装置，以解决现有技术只能判定二维平面上的移动方向、计算过程复杂、手势识别实时性低的问题。
本发明提供一种动态手势识别装置，包括：
检测模块，用于通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；
第一计算模块，用于根据第二时刻对应的最小外接矩形的图形信息和第一时刻对应的最小外接矩形的图形信息，计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率，所述第一时刻与所述第二时刻为相邻的时刻；
第二计算模块，用于通过皮肤检测算法，分割出所述目标图像的手部皮肤区域，并结合深度图，分别计算出所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值；
判定模块，用于根据所述中心距离、所述斜率、所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值判定手势运动方向及其对应方向上运动量的大小。
根据本发明提供的动态手势识别装置，通过皮肤检测算法，结合深度图得到相邻两时刻的手部皮肤区域平均深度值，能够从立体空间判定手部运动的方向及其运动大小，实现定性定量的分析手势运动。本发明通过第一时刻和第二时刻对应的最小外接矩形之间的中心距离斜率、以及相邻两时刻的手部皮肤区域平均深度值进行手势判断，计算过程更加简单，实时性更强。
另外，根据本发明上述的动态手势识别装置，还可以具有如下附加的技术特征：
进一步地，所述检测模块具体用于：
获取RGB摄像头采集到的含有手部的RGB图像；
将所述RGB图像输入到已经训练好的所述手部检测深度学习模型中进行手部目标检测；
根据所述手部目标检测的检测结果，得到手部区域最小外接矩形的图形信息，所述图形信息包括最小外接矩形左上角顶点坐标、矩形的宽和高。
进一步地，所述第一计算模块具体用于采用下式计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率：
Figure 84497DEST_PATH_IMAGE001
Figure 850327DEST_PATH_IMAGE002
Figure 739786DEST_PATH_IMAGE003
Figure 477935DEST_PATH_IMAGE004
其中，(px1, py1)表示所述第一时刻对应的最小外接矩形左上角顶点坐标，w1、h1分别表示所述第一时刻对应的最小外接矩形的宽和高，(pcx1, pcy1)表示所述第一时刻对应的最小外接矩形中心点的坐标，(px2, py2)表示所述第二时刻对应的最小外接矩形左上角顶点坐标，w2、h2分别表示所述第二时刻对应的最小外接矩形的宽和高，(pcx2, pcy2)表示所述第二时刻对应的最小外接矩形中心点的坐标，d表示所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离，k表示所述第二时刻对应的最小外接矩形的中心点与所述第一时刻对应的最小外接矩形的中心点之间的斜率。
进一步地，所述第二计算模块具体用于：
将所述RGB图像换到YCrCb空间，通过椭圆皮肤检测算法，对最小外接矩形内的皮肤进行检测，分割出所述目标图像的手部皮肤区域；
结合对应的深度图，采用下式计算所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值；
Figure 919280DEST_PATH_IMAGE005
Figure 313353DEST_PATH_IMAGE006
其中，de1表示所述第一时刻对应的手部皮肤区域中每个像素对应的深度值，dv1表示所述第一时刻对应的手部皮肤区域平均深度值，de2表示所述第二时刻对应的手部皮肤区域中每个像素对应的深度值，dv2表示所述第二时刻对应的手部皮肤区域平均深度值，N表示手部皮肤像素点个数。
进一步地，所述判定模块具体用于：
若d小于或等于阈值thr1，则判定手部在uvz坐标系中在水平方向上没有运动；
若d大于所述阈值thr1，且pcx1= pcx2，则判定手部在所述uvz坐标系中只朝v方向运动，运动量yv=pcy2-pcy1；
若d大于所述阈值thr1，且pcy1= pcy2，则判定手部在所述uvz坐标系中只朝u方向运动，运动量xv=pcx2-pcx1；
若d大于所述阈值thr1，且pcx1≠pcx2，pcy1≠pcy2，则判定手部在所述uvz坐标系中朝uv方向运动，沿u方向运动的运动分量xv= pcx2- pcx1，沿v方向运动的运动分量yv= pcy2-pcy1；
其中，手部在所述uvz坐标系中，沿z方向运动的运动分量zv=dv2-dv1。
本发明还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明还提出一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一实施例的动态手势识别方法的流程图；
图2是图1中步骤S101的详细流程图；
图3是根据本发明另一实施例的动态手势识别装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明一实施例提出的动态手势识别方法，包括步骤S101~S104。
S101，通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息。
其中，请参阅图2，步骤S101具体包括：
S1011，获取RGB摄像头采集到的含有手部的RGB图像。
S1012，将所述RGB图像输入到已经训练好的所述手部检测深度学习模型中进行手部目标检测。
S1013，根据所述手部目标检测的检测结果，得到手部区域最小外接矩形的图形信息，所述图形信息包括最小外接矩形左上角顶点坐标，矩形的宽和高。
其中，最小外接矩形左上角顶点坐标可以用（px, py）表示，矩形的宽和高分别用w和h表示，单位为pix。
S102，根据第二时刻对应的最小外接矩形的图形信息和第一时刻对应的最小外接矩形的图形信息，计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率，所述第一时刻与所述第二时刻为相邻的时刻。
其中，第二时刻例如是t时刻，第一时刻例如是t-1时刻，即第一时刻是第二时刻的上一时刻。
其中，具体采用下式计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率：
Figure 803240DEST_PATH_IMAGE001
Figure 458212DEST_PATH_IMAGE002
Figure 945825DEST_PATH_IMAGE003
Figure 951827DEST_PATH_IMAGE004
其中，(px1, py1)表示所述第一时刻对应的最小外接矩形左上角顶点坐标，w1、h1分别表示所述第一时刻对应的最小外接矩形的宽和高，单位为pix，(pcx1, pcy1)表示所述第一时刻对应的最小外接矩形中心点的坐标，(px2, py2)表示所述第二时刻对应的最小外接矩形左上角顶点坐标，w2、h2分别表示所述第二时刻对应的最小外接矩形的宽和高，单位为pix，(pcx2, pcy2)表示所述第二时刻对应的最小外接矩形中心点的坐标，d表示所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离，单位为pix，k表示所述第二时刻对应的最小外接矩形的中心点与所述第一时刻对应的最小外接矩形的中心点之间的斜率。
S103，通过皮肤检测算法，分割出所述目标图像的手部皮肤区域，并结合深度图，分别计算出所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值。
其中，将所述RGB图像换到YCrCb空间，通过椭圆皮肤检测算法，对最小外接矩形内的皮肤进行检测，分割出所述目标图像的手部皮肤区域；
结合对应的深度图，采用下式计算所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值；
Figure 245405DEST_PATH_IMAGE005
Figure 630250DEST_PATH_IMAGE006
其中，de1表示所述第一时刻对应的手部皮肤区域中每个像素对应的深度值，单位为mm，dv1表示所述第一时刻对应的手部皮肤区域平均深度值，单位为mm，de2表示所述第二时刻对应的手部皮肤区域中每个像素对应的深度值，单位为mm，dv2表示所述第二时刻对应的手部皮肤区域平均深度值，单位为mm，N表示手部皮肤像素点个数。
S104，根据所述中心距离、所述斜率、所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值判定手势运动方向及其对应方向上运动量的大小。
具体的，若d小于或等于阈值thr1，则判定手部在uvz坐标系中在水平方向（即uvz坐标系中的uv方向））上没有运动；
若d大于所述阈值thr1，且pcx1= pcx2，则判定手部在所述uvz坐标系中只朝v方向运动，运动量yv=pcy2-pcy1（单位pix），相减结果的正负表示运动方向；
若d大于所述阈值thr1，且pcy1= pcy2，则判定手部在所述uvz坐标系中只朝u方向运动，运动量xv=pcx2-pcx1（单位pix），相减结果的正负表示运动方向；
若d大于所述阈值thr1，且pcx1≠pcx2，pcy1≠pcy2，则判定手部在所述uvz坐标系中朝uv方向运动，沿u方向运动的运动分量xv= pcx2- pcx1（单位pix），沿v方向运动的运动分量yv=pcy2- pcy1（单位pix）；
其中，手部在所述uvz坐标系中，沿z方向运动的运动分量zv=dv2-dv1（单位mm），如果zv小于或等于阈值thr2，说明在z方向没有运动，如果zv大于阈值thr2，则运动分量取dv2-dv1，相减结果的正负表示手部z轴方向的运动方向。
综上，根据本实施例提供的动态手势识别方法，通过皮肤检测算法，结合深度图得到相邻两时刻的手部皮肤区域平均深度值，能够从立体空间判定手部运动的方向及其运动大小，实现定性定量的分析手势运动。本发明通过第一时刻和第二时刻对应的最小外接矩形之间的中心距离斜率、以及相邻两时刻的手部皮肤区域平均深度值进行手势判断，计算过程更加简单，实时性更强。
请参阅图3，本发明另一实施例提出的动态手势识别装置，包括：
检测模块，用于通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；
第一计算模块，用于根据第二时刻对应的最小外接矩形的图形信息和第一时刻对应的最小外接矩形的图形信息，计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率，所述第一时刻与所述第二时刻为相邻的时刻；
第二计算模块，用于通过皮肤检测算法，分割出所述目标图像的手部皮肤区域，并结合深度图，分别计算出所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值；
判定模块，用于根据所述中心距离、所述斜率、所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值判定手势运动方向及其对应方向上运动量的大小。
本实施例中，所述检测模块具体用于：
获取RGB摄像头采集到的含有手部的RGB图像；
将所述RGB图像输入到已经训练好的所述手部检测深度学习模型中进行手部目标检测；
根据所述手部目标检测的检测结果，得到手部区域最小外接矩形的图形信息，所述图形信息包括最小外接矩形左上角顶点坐标、矩形的宽和高。
本实施例中，所述第一计算模块具体用于采用下式计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率：
Figure 85503DEST_PATH_IMAGE001
Figure 578801DEST_PATH_IMAGE002
Figure 348174DEST_PATH_IMAGE003
Figure 243317DEST_PATH_IMAGE004
其中，(px1, py1)表示所述第一时刻对应的最小外接矩形左上角顶点坐标，w1、h1分别表示所述第一时刻对应的最小外接矩形的宽和高，(pcx1, pcy1)表示所述第一时刻对应的最小外接矩形中心点的坐标，(px2, py2)表示所述第二时刻对应的最小外接矩形左上角顶点坐标，w2、h2分别表示所述第二时刻对应的最小外接矩形的宽和高，(pcx2, pcy2)表示所述第二时刻对应的最小外接矩形中心点的坐标，d表示所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离，k表示所述第二时刻对应的最小外接矩形的中心点与所述第一时刻对应的最小外接矩形的中心点之间的斜率。
本实施例中，所述第二计算模块具体用于：
将所述RGB图像换到YCrCb空间，通过椭圆皮肤检测算法，对最小外接矩形内的皮肤进行检测，分割出所述目标图像的手部皮肤区域；
结合对应的深度图，采用下式计算所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值；
Figure 869471DEST_PATH_IMAGE005
Figure 459852DEST_PATH_IMAGE006
其中，de1表示所述第一时刻对应的手部皮肤区域中每个像素对应的深度值，dv1表示所述第一时刻对应的手部皮肤区域平均深度值，de2表示所述第二时刻对应的手部皮肤区域中每个像素对应的深度值，dv2表示所述第二时刻对应的手部皮肤区域平均深度值，N表示手部皮肤像素点个数。
本实施例中，所述判定模块具体用于：
若d小于或等于阈值thr1，则判定手部在uvz坐标系中在水平方向上没有运动；
若d大于所述阈值thr1，且pcx1= pcx2，则判定手部在所述uvz坐标系中只朝v方向运动，运动量yv=pcy2-pcy1；
若d大于所述阈值thr1，且pcy1= pcy2，则判定手部在所述uvz坐标系中只朝u方向运动，运动量xv=pcx2-pcx1；
若d大于所述阈值thr1，且pcx1≠pcx2，pcy1≠pcy2，则判定手部在所述uvz坐标系中朝uv方向运动，沿u方向运动的运动分量xv= pcx2- pcx1，沿v方向运动的运动分量yv= pcy2-pcy1；
其中，手部在所述uvz坐标系中，沿z方向运动的运动分量zv=dv2-dv1。
根据本实施例提供的动态手势识别装置，通过皮肤检测算法，结合深度图得到相邻两时刻的手部皮肤区域平均深度值，能够从立体空间判定手部运动的方向及其运动大小，实现定性定量的分析手势运动。本发明通过第一时刻和第二时刻对应的最小外接矩形之间的中心距离斜率、以及相邻两时刻的手部皮肤区域平均深度值进行手势判断，计算过程更加简单，实时性更强。
此外，本发明的实施例还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
此外，本发明的实施例还提出一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种动态手势识别方法，其特征在于，所述方法包括：
通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；
根据第二时刻对应的最小外接矩形的图形信息和第一时刻对应的最小外接矩形的图形信息，计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率，所述第一时刻与所述第二时刻为相邻的时刻；
通过皮肤检测算法，分割出所述目标图像的手部皮肤区域，并结合深度图，分别计算出所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值；
根据所述中心距离、所述斜率、所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值判定手势运动方向及其对应方向上运动量的大小；
根据第二时刻对应的最小外接矩形的图形信息和第一时刻对应的最小外接矩形的图形信息，计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率的步骤中，采用下式计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率：
Figure 909446DEST_PATH_IMAGE001
Figure 33391DEST_PATH_IMAGE002
Figure 631863DEST_PATH_IMAGE003
Figure 39710DEST_PATH_IMAGE004
其中，(px1, py1)表示所述第一时刻对应的最小外接矩形左上角顶点坐标，w1、h1分别表示所述第一时刻对应的最小外接矩形的宽和高，(pcx1, pcy1)表示所述第一时刻对应的最小外接矩形中心点的坐标，(px2, py2)表示所述第二时刻对应的最小外接矩形左上角顶点坐标，w2、h2分别表示所述第二时刻对应的最小外接矩形的宽和高，(pcx2, pcy2)表示所述第二时刻对应的最小外接矩形中心点的坐标，d表示所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离，k表示所述第二时刻对应的最小外接矩形的中心点与所述第一时刻对应的最小外接矩形的中心点之间的斜率；
根据所述中心距离、所述斜率、所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值判定手势运动方向及其对应方向上运动量的大小的步骤具体包括：
若d小于或等于阈值thr1，则判定手部在uvz坐标系中在水平方向上没有运动；
若d大于所述阈值thr1，且pcx1= pcx2，则判定手部在所述uvz坐标系中只朝v方向运动，运动量yv=pcy2-pcy1；
若d大于所述阈值thr1，且pcy1= pcy2，则判定手部在所述uvz坐标系中只朝u方向运动，运动量xv=pcx2-pcx1；
若d大于所述阈值thr1，且pcx1≠pcx2，pcy1≠pcy2，则判定手部在所述uvz坐标系中朝uv方向运动，沿u方向运动的运动分量xv= pcx2- pcx1，沿v方向运动的运动分量yv= pcy2- pcy1；
其中，手部在所述uvz坐标系中，沿z方向运动的运动分量zv=dv2-dv1。
2.根据权利要求1所述的动态手势识别方法，其特征在于，通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息的步骤具体包括：
获取RGB摄像头采集到的含有手部的RGB图像；
将所述RGB图像输入到已经训练好的所述手部检测深度学习模型中进行手部目标检测；
根据所述手部目标检测的检测结果，得到手部区域最小外接矩形的图形信息，所述图形信息包括最小外接矩形左上角顶点坐标、矩形的宽和高。
3.根据权利要求2所述的动态手势识别方法，其特征在于，通过皮肤检测算法，分割出所述目标图像的手部皮肤区域，并结合深度图，分别计算出所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值的步骤具体包括：
将所述RGB图像换到YCrCb空间，通过椭圆皮肤检测算法，对最小外接矩形内的皮肤进行检测，分割出所述目标图像的手部皮肤区域；
结合对应的深度图，采用下式计算所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值；
Figure 331015DEST_PATH_IMAGE005
Figure 863627DEST_PATH_IMAGE006
其中，de1表示所述第一时刻对应的手部皮肤区域中每个像素对应的深度值，dv1表示所述第一时刻对应的手部皮肤区域平均深度值，de2表示所述第二时刻对应的手部皮肤区域中每个像素对应的深度值，dv2表示所述第二时刻对应的手部皮肤区域平均深度值，N表示手部皮肤像素点个数。
4.一种动态手势识别装置，其特征在于，所述装置包括：
检测模块，用于通过训练好的手部检测深度学习模型对目标图像进行手部目标检测，以得到手部区域最小外接矩形的图形信息；
第一计算模块，用于根据第二时刻对应的最小外接矩形的图形信息和第一时刻对应的最小外接矩形的图形信息，计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率，所述第一时刻与所述第二时刻为相邻的时刻；
第二计算模块，用于通过皮肤检测算法，分割出所述目标图像的手部皮肤区域，并结合深度图，分别计算出所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值；
判定模块，用于根据所述中心距离、所述斜率、所述第二时刻对应的手部皮肤区域平均深度值以及所述第一时刻对应的手部皮肤区域平均深度值判定手势运动方向及其对应方向上运动量的大小；
所述第一计算模块具体用于采用下式计算所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离以及斜率：
Figure 905270DEST_PATH_IMAGE001
Figure 42990DEST_PATH_IMAGE002
Figure 364250DEST_PATH_IMAGE003
Figure 587421DEST_PATH_IMAGE007
其中，(px1, py1)表示所述第一时刻对应的最小外接矩形左上角顶点坐标，w1、h1分别表示所述第一时刻对应的最小外接矩形的宽和高，(pcx1, pcy1)表示所述第一时刻对应的最小外接矩形中心点的坐标，(px2, py2)表示所述第二时刻对应的最小外接矩形左上角顶点坐标，w2、h2分别表示所述第二时刻对应的最小外接矩形的宽和高，(pcx2, pcy2)表示所述第二时刻对应的最小外接矩形中心点的坐标，d表示所述第二时刻对应的最小外接矩形与所述第一时刻对应的最小外接矩形之间的中心距离，k表示所述第二时刻对应的最小外接矩形的中心点与所述第一时刻对应的最小外接矩形的中心点之间的斜率；
所述判定模块具体用于：
若d小于或等于阈值thr1，则判定手部在uvz坐标系中在水平方向上没有运动；
若d大于所述阈值thr1，且pcx1= pcx2，则判定手部在所述uvz坐标系中只朝v方向运动，运动量yv=pcy2-pcy1；
若d大于所述阈值thr1，且pcy1= pcy2，则判定手部在所述uvz坐标系中只朝u方向运动，运动量xv=pcx2-pcx1；
若d大于所述阈值thr1，且pcx1≠pcx2，pcy1≠pcy2，则判定手部在所述uvz坐标系中朝uv方向运动，沿u方向运动的运动分量xv= pcx2- pcx1，沿v方向运动的运动分量yv= pcy2- pcy1；
其中，手部在所述uvz坐标系中，沿z方向运动的运动分量zv=dv2-dv1。
5.根据权利要求4所述的动态手势识别装置，其特征在于，所述检测模块具体用于：
获取RGB摄像头采集到的含有手部的RGB图像；
将所述RGB图像输入到已经训练好的所述手部检测深度学习模型中进行手部目标检测；
根据所述手部目标检测的检测结果，得到手部区域最小外接矩形的图形信息，所述图形信息包括最小外接矩形左上角顶点坐标、矩形的宽和高。
6.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3任意一项所述的方法。
7.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任意一项所述的方法。
CN202110273657.5A 2021-03-15 2021-03-15 动态手势识别方法、装置、可读存储介质及计算机设备 Active CN112686231B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110273657.5A CN112686231B (zh) 2021-03-15 2021-03-15 动态手势识别方法、装置、可读存储介质及计算机设备
JP2023576238A JP2024508566A (ja) 2021-03-15 2021-06-15 動的ジェスチャー認識方法、装置、可読記憶媒体及びコンピュータ機器
PCT/CN2021/100113 WO2022193453A1 (zh) 2021-03-15 2021-06-15 动态手势识别方法、装置、可读存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110273657.5A CN112686231B (zh) 2021-03-15 2021-03-15 动态手势识别方法、装置、可读存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN112686231A CN112686231A (zh) 2021-04-20
CN112686231B true CN112686231B (zh) 2021-06-01

Family

ID=75455520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110273657.5A Active CN112686231B (zh) 2021-03-15 2021-03-15 动态手势识别方法、装置、可读存储介质及计算机设备

Country Status (3)

Country Link
JP (1) JP2024508566A (zh)
CN (1) CN112686231B (zh)
WO (1) WO2022193453A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686231B (zh) * 2021-03-15 2021-06-01 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及计算机设备
CN113128435B (zh) * 2021-04-27 2022-11-22 南昌虚拟现实研究院股份有限公司 图像中手部区域分割方法、装置、介质及计算机设备
CN114627561B (zh) * 2022-05-16 2022-09-23 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509074A (zh) * 2011-10-18 2012-06-20 Tcl集团股份有限公司 一种目标识别方法和设备
CN103793056A (zh) * 2014-01-26 2014-05-14 华南理工大学 基于距离向量的空中手势漫游控制方法
CN103839040A (zh) * 2012-11-27 2014-06-04 株式会社理光 基于深度图像的手势识别方法和装置
CN104301699A (zh) * 2013-07-16 2015-01-21 浙江大华技术股份有限公司 一种图像处理方法及装置
CN106547356A (zh) * 2016-11-17 2017-03-29 科大讯飞股份有限公司 智能交互方法和装置
CN109598198A (zh) * 2018-10-31 2019-04-09 深圳市商汤科技有限公司 用于识别手势移动方向的方法、装置、介质、程序及设备
CN111815754A (zh) * 2019-04-12 2020-10-23 Oppo广东移动通信有限公司 一种三维信息确定方法、三维信息确定装置及终端设备
CN112464824A (zh) * 2020-11-30 2021-03-09 无锡威莱斯电子有限公司 一种基于3d数据的手部特征分析及手势识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101616926B1 (ko) * 2009-09-22 2016-05-02 삼성전자주식회사 영상 처리 장치 및 방법
TWI636395B (zh) * 2016-11-10 2018-09-21 財團法人金屬工業研究發展中心 基於深度值之手勢操作方法及其系統
CN106557173B (zh) * 2016-11-29 2019-10-18 重庆重智机器人研究院有限公司 动态手势识别方法及装置
US10354129B2 (en) * 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
CN109145803B (zh) * 2018-08-14 2022-07-22 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
CN111652017B (zh) * 2019-03-27 2023-06-23 上海铼锶信息技术有限公司 一种动态手势识别方法及系统
CN112686231B (zh) * 2021-03-15 2021-06-01 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509074A (zh) * 2011-10-18 2012-06-20 Tcl集团股份有限公司 一种目标识别方法和设备
CN103839040A (zh) * 2012-11-27 2014-06-04 株式会社理光 基于深度图像的手势识别方法和装置
CN104301699A (zh) * 2013-07-16 2015-01-21 浙江大华技术股份有限公司 一种图像处理方法及装置
CN103793056A (zh) * 2014-01-26 2014-05-14 华南理工大学 基于距离向量的空中手势漫游控制方法
CN106547356A (zh) * 2016-11-17 2017-03-29 科大讯飞股份有限公司 智能交互方法和装置
CN109598198A (zh) * 2018-10-31 2019-04-09 深圳市商汤科技有限公司 用于识别手势移动方向的方法、装置、介质、程序及设备
CN111815754A (zh) * 2019-04-12 2020-10-23 Oppo广东移动通信有限公司 一种三维信息确定方法、三维信息确定装置及终端设备
CN112464824A (zh) * 2020-11-30 2021-03-09 无锡威莱斯电子有限公司 一种基于3d数据的手部特征分析及手势识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Deep attention network for joint hand gesture localization and recognition using static RGB-D images;YuanLi等;《Information Sciences》;20180531;第441卷;第66-78页 *
Real-Time Hand Tracking Under Occlusion from an Egocentric RGB-D Sensor;Franziska Mueller等;《2017 IEEE International Conference on Computer Vision Workshops (ICCVW)》;20180123;第1284-1293页 *
基于Kinect的手势识别技术在人机交互中的应用研究;陈一新;《中国硕士学位论文全文数据库信息科技辑》;20160115;I138-510 *
基于RGB-D图像的手势识别方法研究;何溢文;《中国硕士学位论文全文数据库信息科技辑》;20190115;I138-3835 *
手势交互中的手势识别算法及交互参数研究;佴威至;《中国博士学位论文全文数据库信息科技辑》;20190915;I138-51 *

Also Published As

Publication number Publication date
WO2022193453A1 (zh) 2022-09-22
JP2024508566A (ja) 2024-02-27
CN112686231A (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN112686231B (zh) 动态手势识别方法、装置、可读存储介质及计算机设备
US8970696B2 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
US9207858B2 (en) Method and apparatus for drawing and erasing calligraphic ink objects on a display surface
EP3620981A1 (en) Object detection method, device, apparatus and computer-readable storage medium
US11169614B2 (en) Gesture detection method, gesture processing device, and computer readable storage medium
CN106774936B (zh) 人机交互方法及系统
US9740364B2 (en) Computer with graphical user interface for interaction
US20130050076A1 (en) Method of recognizing a control command based on finger motion and mobile device using the same
CN104049760B (zh) 一种人机交互命令的获取方法及系统
CN111091123A (zh) 文本区域检测方法及设备
WO2012109636A2 (en) Angular contact geometry
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
CN112733823B (zh) 手势姿态识别关键帧提取方法、装置及可读存储介质
CN111814905A (zh) 目标检测方法、装置、计算机设备和存储介质
US9349038B2 (en) Method and apparatus for estimating position of head, computer readable storage medium thereof
CN113538623B (zh) 确定目标图像的方法、装置、电子设备及存储介质
CN111160173A (zh) 一种基于机器人的手势识别方法及机器人
CN109325387B (zh) 图像处理方法、装置、电子设备
Cao et al. Real-time dynamic gesture recognition and hand servo tracking using PTZ camera
US20120299837A1 (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features
CN113836977B (zh) 目标检测方法、装置、电子设备及存储介质
CN114418848A (zh) 视频处理方法、装置、存储介质及电子设备
CN112860109A (zh) 一种触控输入装置、方法、电子设备及可读存储介质
CN113128435B (zh) 图像中手部区域分割方法、装置、介质及计算机设备
WO2024021049A1 (zh) 一种文本转换方法、装置、存储介质及交互设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant