CN110546679B - 识别装置、识别系统，识别方法以及存储介质 - Google Patents

Abstract

识别装置(100)具有存储部、第一识别部、第二识别部以及第三识别部。存储部存储第一识别器，该第一识别器将包含于图像信息的人物的特征和表示人物的身体有可能朝向的方向的范围的第一范围按每个特征建立对应。存储部存储第二识别器和关节位置辞典，该第二识别器将包含于距离信息的人物的特征和表示人物的身体有可能朝向的方向的范围的第二范围按每个特征建立对应，该关节位置辞典将人物的身体朝向的方向和人物的关节位置建立对应。第一识别部获取对象者的图像信息，并基于图像信息的特征和第一识别器来确定针对对象者的图像信息的第一范围。第二识别部获取对象者的距离信息，并基于距离信息的特征和第二识别器来确定针对对象者的距离信息的第二范围。第三识别部基于由第一识别部确定出的第一范围和由第二识别部确定出的第二范围来确定对象者的身体朝向的方向，并基于确定出的方向和关节位置辞典来识别对象者的骨骼。

Description

识别装置、识别系统，识别方法以及存储介质

技术领域

本发明涉及识别装置等。

背景技术

近年来，有基于由距离传感器感测的结果的距离数据(距离图像)或者RGB(RedGreen Blue)图像来创建基于机器学习的辞典，并使用创建的辞典来识别人体的骨骼的技术。

图29是表示以往的骨骼识别系统的一个例子的图。在图29所示的例子中，通过使用距离传感器5a进行感测，从而获取包括对象者6a的距离数据5b，并使用距离数据5b和辞典5c来估计对象者6a的骨骼位置6b。辞典5c预先进行机器学习。

此处，在识别人体的骨骼的情况下，前提是在学习时学习成为识别对象的所有动作，所以如果例如要使用单一的辞典来识别如体操比赛那样复杂、大范围的动作，则识别精度会降低。

作为防止识别精度的降低的技术，有以往技术1。以往技术1是与面部的特征点识别有关的技术。面部的特征点是表示眼睛、鼻子、嘴的位置等的点。以往技术1根据正面、右、左等方向来分割学习数据，并利用分割成的各学习数据进行面部特征点的学习。以下，使用图30以及图31，对以往技术1的一个例子进行说明。

图30是表示根据以往技术1的面部特征点的学习例子的图。根据以往技术1的特征点的学习使用表示预先根据面部的方向分类的图像、和该图像中的面部特征点的教师数据，在每个方向上独立地进行机器学习。由此，限定所输入的面部图像的方向来识别特征点。

在图30所示的例子中，通过使用朝左学习图像和面部特征点的教师数据1a来学习朝左面部图像的特征点，从而获得朝左用识别器2a。通过使用朝向正面学习图像和面部特征点的教师数据1b来学习朝向正面面部图像的特征点，从而获得朝向正面用识别器2b。通过使用朝右学习图像和面部特征点的教师数据1c来学习朝右面部图像的特征点，从而获得朝右用识别器2c。

图31是表示根据以往技术1的特征点的识别处理的图。如图31所示，以往技术1中若接受面部图像3a，则基于面部方向识别器4来识别面部图像3a的方向。以往技术1通过基于方向的识别结果来选择识别器2a～2c中的任意一个识别器，并使用选择出的识别器来识别面部图像3a的特征点，从而获得识别结果3b。这样，在以往技术1中，通过根据面部图像的方向分开使用识别器，从而提高特征点的识别精度。

专利文献1:日本特开2012－000165号公报

专利文献2:日本特开2014－136137号公报

然而，在上述的以往技术中，存在人体的骨骼识别的精度较低这个问题。

例如，在以往技术1中，使用面部方向识别器4来识别面部图像3a的方向，但对于以往技术1中所说明那样的对象进行复杂的运动的情况，难以与面部图像同样地识别场景。若无法精度良好地识别场景，则无法使用最适合的辞典，结果识别精度降低。

发明内容

本发明是鉴于上述而完成的，其目的在于提供能够提高人体的骨骼识别的精度的装置。

在第一方案中，识别装置具有存储部、第一识别部、第二识别部以及第三识别部。存储部存储第一识别器，该第一识别器将包含于图像信息的人物的特征和表示人物的身体有可能朝向的方向的范围的第一范围按每个特征建立对应。存储部存储第二识别器和关节位置辞典，该第二识别器将包含于距离信息的人物的特征和表示人物的身体有可能朝向的方向的范围的第二范围按每个特征建立对应，该关节位置辞典将人物的身体朝向的方向和人物的关节位置建立对应。第一识别部获取对象者的图像信息，并基于图像信息的特征和第一识别器来确定针对对象者的图像信息的第一范围。第二识别部获取对象者的距离信息，并基于距离信息的特征和第二识别器来确定针对对象者的距离信息的第二范围。第三识别部基于由第一识别部确定出的第一范围和由第二识别部确定出的第二范围来确定对象者的身体朝向的方向，并基于确定出的方向和关节位置辞典来识别对象者的骨骼。

能够提高人体的骨骼识别的精度。

附图说明

图1是表示在本实施例1中处理的人的方向的定义例子的图。

图2是表示在本实施例1中处理的方向的识别单位、识别范围、学习范围的一个例子的图(1)。

图3是表示在本实施例1中处理的方向的识别单位、识别范围、学习范围的一个例子的图(2)。

图4是表示本实施例1的识别系统的一个例子的图。

图5是表示RGB图像数据以及距离数据的一个例子的图。

图6是表示本实施例1的识别装置的结构的功能框图。

图7是表示方向概率保持表的数据结构的一个例子的图。

图8是表示人方向队列的数据结构的一个例子的图。

图9是用于对学习部的处理的一个例子进行说明的图。

图10是表示第一识别结果的一个例子的图。

图11是表示规则库的一个例子的图。

图12是表示第二识别结果的一个例子的图。

图13是表示容易搞错的人方向的一个例子的图。

图14是用于对对角方向追加处理的一个例子进行说明的图(1)。

图15是用于对对角方向追加处理的一个例子进行说明的图(2)。

图16是用于对滤波处理的一个例子进行说明的图(1)。

图17是用于对滤波处理的一个例子进行说明的图(2)。

图18是用于对人方向识别处理的一个例子进行说明的图。

图19是用于对骨骼识别处理的一个例子进行说明的图。

图20是表示本实施例1的识别装置的处理步骤的流程图。

图21是表示对角方向追加处理的处理步骤的流程图。

图22是表示移动方向计算处理的处理步骤的流程图。

图23是表示滤波处理的处理步骤的流程图。

图24是表示人方向计算处理的处理步骤的流程图。

图25是表示倒立方向的分割定义例子的图。

图26是表示在本实施例2中处理的方向的识别单位、识别范围、学习范围的一个例子的图(1)。

图27是表示在本实施例2中处理的方向的识别单位、识别范围、学习范围的一个例子的图(2)。

图28是表示实现与识别装置同样的功能的计算机的硬件构成的一个例子的图。

图29是表示以往的骨骼识别系统的一个例子的图。

图30是表示根据以往技术1的面部特征点的学习例子的图。

图31是表示根据以往技术1的特征点的识别处理的图。

具体实施方式

以下，基于附图，详细地对本发明所涉及的识别装置、识别系统、识别方法以及识别程序的实施例进行说明。此外，并不是通过该实施例限定本发明。

实施例1

图1是表示在本实施例1中处理的人的方向的定义例子的图。如图1所示，将与地面垂直的直线作为轴，以人朝向正面的情况设为0°。将人朝向左面的情况设为90°。将人朝向后面的情况设为180°。将人朝向右面的情况设为270°。在本实施例1中，按以90°为单位进行4分割而成的每个单位识别方向来进行骨骼识别。例如，将315°～45°设为正面，将45°～135°设为左面，将135°～225°设为后面，将225°～315°设为右面。

图2以及图3是表示在本实施例1中处理的方向的识别单位、识别范围、学习范围的一个例子的图。例如，识别装置在识别人方向时在较窄的范围中进行识别，在估计关节位置时，在结合多个各识别单位而成的较宽范围使用学习的结果。图3表示方向识别时的识别单位例子。识别装置在进行方向识别的时刻以30°为单位进行学习、识别，并以90°为单位汇总其结果，最终确定为正面的组G1、左面的组G2、后面的组G3、右面的组G4的任意一个。

如图2所示，识别装置按照识别范围A1的单位确定方向。例如，识别范围A1的单位与在图3中所说明的各组G1～G4的单位(以90°为单位)对应。另外，在识别时的实际的人的方向为4分割的边界附近的情况下，识别装置使用学习范围A2的数据来进行学习，以防止骨骼识别时的精度降低。例如，学习范围A2为相对于识别范围A1向右30°向左30°较宽的150°的范围。

图4是表示本实施例1的识别系统的一个例子的图。如图4所示，该识别系统具有RGB(Red Green Blue)相机10a、距离传感器10b以及识别装置100。识别装置100与RGB相机10a以及距离传感器10b连接。

RGB相机10a是拍摄包含于拍摄范围的图像(RGB图像)的相机。RGB相机10a将拍摄到的图像的信息输出至识别装置100。在以下的说明中，将RGB相机10a拍摄到的图像的信息记载为“RGB图像数据”。

距离传感器10b是计测从距离传感器10b的设置位置到距离传感器10b的拍摄范围所包含的对象者6a上的各观测点为止的距离的传感器。距离传感器10b是示出表示各观测点的三维坐标的距离数据(距离图像)，并将生成的距离数据输出至识别装置100。

图5是表示RGB图像数据以及距离数据的一个例子的图。例如，RGB图像数据11a将像素值(RGB值)与各坐标建立对应。距离数据11b将三维坐标或从距离传感器10b到与坐标对应的距离与各坐标建立对应。

识别装置100是通过使用基于RGB图像数据11a的人方向的识别结果和基于距离数据11b的人方向的识别结果，从而确定更可能的人方向，并使用与确定出的人方向对应的辞典俩进行对象者6a的骨骼识别的装置。

图6是表示本实施例1的识别装置的结构的功能框图。如图6所示，该识别装置100具有输入部110、显示部120、存储部130以及控制部140。另外，识别装置100与RGB相机10a以及距离传感器10b连接。

输入部110是用于对识别装置100输入各种信息的输入装置。例如，输入部110相当于键盘、鼠标、触摸面板等。

显示部120是对从控制部140输出的信息进行显示的显示装置。例如，显示部120相当于液晶显示器、触摸面板等。

存储部130具有第一识别器131、第二识别器132、方向概率保持表133、人方向队列134以及骨骼辞典数据135。存储部130相当于RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)、闪存(Flash Memory)等半导体存储器元件、HDD(Hard Disk Drive：硬盘驱动器)等存储装置。

第一识别器131是基于RGB图像数据11a来识别对象者6a的身体的方向的识别器的信息。在以下的说明中，适当地将人物(对象者6a)的身体的方向记载为“人方向”。例如，第一识别器131将预先学习的RGB图像数据的人物的特征量和人方向建立对应。

第二识别器132是基于距离数据11b来识别对象者6a的人方向的识别器的信息。例如，第二识别器132将预先学习的距离数据的人物的特征量和人方向建立对应。

方向概率保持表133是将被分割成与对象者有关的识别单位的各方向和概率值建立对应的表格。图7是表示方向概率保持表的数据结构的一个例子的图。如图7所示，方向概率保持表133包括第一概率保持表133a和第二概率保持表133b。

第一概率保持表133a是保存后述的第一识别部142的识别结果的表格。第二概率保持表133b是保存后述的第二识别部143的识别结果的表格。第一概率保持表133a以及第二概率保持表133b将方向和概率值建立对应。例如，以作为图2中所说明的识别单位的30°单位划分方向。概率值是表示人方向是相应的方向的可能性的值，概率值越高，表示更可能。

人方向队列134是保持由后述的第三识别部145确定的人方向的过去的历史的队列。图8是表示人方向队列的数据结构的一个例子的图。如图8所示，该人方向队列134按顺序记录各人方向。例如，每当第三识别部145确定人方向时，便从上到下依次将人方向保存至人方向队列134。

骨骼辞典数据135是将人方向和与该人方向对应的人物的关节位置建立对应的信息。例如，连接人物的关节位置的数据与人物的骨骼对应。

返回到图6的说明。控制部140具有学习部141、第一识别部142、第二识别部143、移动估计部144以及第三识别部145。控制部140能够通过CPU(Central Processing Unit：中央处理器)、MPU(Micro Processing Unit：微处理器)等来实现。另外，控制部140也能够通过ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(FieldProgrammable Gate Array：现场可编程逻辑门阵列)等硬连线逻辑来实现。

例如，学习部141在学习阶段进行动作。第一识别部142、第二识别部143、移动估计部144、第三识别部145在识别阶段进行动作。

学习部141是在学习阶段中生成第一识别器131以及第二识别器132的处理部。图9是用于对学习部的处理的一个例子进行说明的图。首先，对学习部141生成第一识别器131的处理的一个例子进行说明。学习部141获取学习图像数据20a。学习图像数据20a包括多个RGB图像数据21a。对各RGB图像数据21a赋予教师标签。教师标签是唯一地识别RGB图像数据21a所包含的人物的人方向的信息，成为“正面”、“左面”、“后面”、“右面”中的任意一种的人方向。此外，教师标签可以是直接表示图3那样的人方向范围的信息，也可以是表示RGB图像数据21a所包含的人物的方向的角度值本身。

学习部141基于被赋予了教师标签“正面”的多个RGB图像数据21a来进行机器学习，提取人方向“正面”的特征量。学习部141将人方向“正面”和人方向“正面”的特征量建立对应，并登记至第一识别器131。学习部141对于被赋予了其它教师标签“左面”、“后面”、“右面”的多个RGB图像数据21a，也同样地进行机器学习。学习部141将人方向“左面”、“后面”、“右面”的各特征量与人方向“左面”、“后面”、“右面”建立对应，并登记至第一识别器131。

对学习部141生成第二识别器132的处理的一个例子进行说明。学习部141获取学习距离数据20b。学习距离数据20b包括多个距离数据21b。对各距离数据21b赋予教师标签。教师标签是唯一地识别距离数据21b所包含的人物的方向的信息，成为“正面”、“左面”、“后面”、“右面”中的任意一种的人方向。此外，教师标签可以是直接表示图3那样的人方向范围的信息，也可以是表示距离数据21b所包含的人物的方向的角度值本身。

学习部141基于被赋予了教师标签“正面”的多个距离数据21b来进行机器学习，提取人方向“正面”的特征量。学习部141将人方向“正面”和人方向“正面”的特征量建立对应，并登记至第二识别器132。学习部141对于被赋予了其它教师标签“左面”、“后面”、“右面”的多个距离数据21a，也同样地进行机器学习。学习部141将人方向“左面”、“后面”、“右面”的各特征量与人方向“左面”、“后面”、“右面”建立对应，并登记至第二识别器132。

在上述的说明中，对学习部141在学习阶段中生成第一识别器131以及第二识别器132的情况进行了说明，但并不限于此。例如，识别装置100也可以预先将第一识别器131、第二识别器132保存至存储部130。另外，学习部141也可以使用深度学习等来求出各人方向的特征量，并生成第一识别器131、第二识别器132。

第一识别部142是在识别阶段中从RGB相机10a获取RGB图像数据11a，并基于第一识别器131来识别对象者6a的人方向的处理部。在以下的说明中，将第一识别部142识别人方向的处理记载为“第一识别处理”。第一识别部142将第一识别处理的识别结果保存至第一概率保持表133a。将第一识别处理的识别结果记载为“第一识别结果”。

对第一识别处理的一个例子进行说明。第一识别部142对RGB图像数据11a的特征量和第一识别器131所包含的“正面”、“左面”、“后面”、“右面”的特征量进行比较，并基于类似程度等来确定每个人方向的概率值。该每个人方向的概率值成为第一识别结果。此外，对于使用直接表示人方向范围的信息来学习的情况，也同样地确定概率值，在学习了表示人方向的角度值的情况下，通过将包括识别结果的角度的人方向的概率设为1来确定概率值。另外，也可以事先使用多个不同的学习数据集来创建多个识别器，并通过使用每个识别器所识别出的结果的多数决定，确定每个人方向的概率值。

图10是表示第一识别结果的一个例子的图。此处，作为一个例子，用颜色的浓淡表示第一识别结果142a的概率值的大小，颜色越浓，则表示概率值越大。在图10所示的例子中，表示人方向有可能包含在90°～300°的范围中。例如，用数值表示第一识别结果142a成为图7的第一概率保持表133a。

此处，作为一个例子，对第一识别部142对RGB图像数据11a和第一识别器131进行比较，执行第一识别处理的情况进行了说明，但也可以基于使用了颜色信息的规则库来判定人方向。图11是表示规则库的一个例子的图。如图11所示，规则库150根据制服的前后、下半身的颜色的位置关系，判别对象者6a的人方向。

例如，在制服的前后、下半身的颜色的位置关系与图像151对应的情况下，人方向为“正面”。在制服的前后，下半身的颜色的位置关系与图像152对应的情况下，人方向为“左面”。在制服的前后、下半身的颜色的位置关系与图像153对应的情况下，人方向为“后面”。在制服的前后、下半身的颜色的位置关系与图像154对应的情况下，人方向为“右面”。此外，规则库150也可以有图像151～154以外的其它变更的图像，也可以将其它变更的图像和人方向建立对应。

第二识别部143是在识别阶段中从距离传感器10b获取距离数据11b，并基于第二识别器132来识别对象者6a的人方向的处理部。在以下的说明中，将第二识别部143识别人方向的处理记载为“第二识别处理”。第二识别部143将第二识别处理的识别结果保存至第二概率保持表133b。将第二识别处理的识别结果记载为“第二识别结果”。

对第二识别处理的一个例子进行说明。第二识别部143对距离数据11b的特征量和第二识别器132所包含的“正面”、“左面”、“后面”、“右面”的特征量进行比较，并基于类似程度等基，确定每个人方向的概率值。对于使用直接表示人方向范围的信息进行学习的情况，也同样地确定概率值，学习了表示人方向的角度值的情况下，通过将包括识别结果的角度的人方向的概率设为1来确定概率值。另外，也可以事先使用多个不同的学习数据集来创建多个识别器，并通过使用每个识别器识别出的结果的多数决定来确定每种人方向的概率值。该每个人方向的概率值成为第二识别结果。在使用了距离数据11b的人方向的识别中，与上述的第一识别处理相比较，可以一定程度上准确地识别人方向。

图12是表示第二识别结果的一个例子的图。此处，作为一个例子，用颜色的浓淡表示第二识别结果143a的概率值的大小，颜色越浓，则表示概率值越大。在图12所示的例子中，表示人方向有可能包含在0°～60°的范围中。例如，用数值表示第二识别结果143a成为图7的第二概率保持表133b。

此处，由于人物的形状类似对角方向的三维形状，所以人方向的识别有可能搞错。图13是表示容易搞错的人方向的一个例子的图。如图13所示，由于正面(0°)和脊背(180°)、右(270°)和左(90°)的组类似三维形状，所以第二识别处理的第二识别结果有可能错误。

因此，第二识别部143在执行第二识别处理后，执行对角方向追加处理。图14以及图15是用于对对角方向追加处理的一个例子进行说明的图。第二识别部143通过对第二识别结果143a的对角线上的范围也设定同样的概率值，从而生成第二识别结果143b。如图14所示，第二识别部143将第二识别结果143a的方向“60°”、“30°”、“0°”的概率值分别设定为方向“240°”、“210°”、“180°”的概率值。

即，第二识别部143访问方向概率保持表133，更新第二概率保持表133b。例如，如图15所示，第二识别部143将方向“60°”、“30°”、“0°”的概率值分别设定为方向“240°”、“210°”、“180°”的概率值。由此，第二概率保持表133b被更新为第二概率保持表133b’。

返回到图6的说明。移动估计部144是基于人方向队列134来估计移动方向以及移动距离的处理部。移动估计部144将估计结果输出至第三识别部145。

对移动估计部144估计“移动方向”的处理的一个例子进行说明。估计的移动方向为右旋转或左旋转。移动估计部144参照人方向队列134，读出连续2帧的方向。作为一个例子，将读出的2帧的方向中较旧的一帧的方向设为第一方向，将较新的一帧的方向设为第二方向。在从第一方向到第二方向的旋转方向为右方向的情况下，移动估计部144将移动方向估计为“右旋转”。在从第一方向到第二方向的旋转方向为左方向的情况下，移动估计部144将移动方向估计为“左旋转”。此外，移动估计部144也可以反复执行上述处理，并通过多数决定估计移动方向。

对移动估计部144估计“移动距离”的处理的一个例子进行说明。此处的移动距离为表示在连续2帧间，人方向变化了多少角度的信息。参照人方向队列134，读出连续2帧的方向。移动估计部144将连续的2帧的各方向的差分估计为移动距离。此外，移动估计部144也可以反复执行上述处理，计算各移动距离的平均值，将平均值估计为移动距离。

第三识别部145基于方向概率保持表133以及移动估计部144的估计结果来确定最可能的对象者6a的人方向。第三识别部145基于确定出的人方向和骨骼辞典数据135来识别对象者6a的骨骼。例如，第三识别部145依次执行滤波处理、人方向识别处理、骨骼识别处理。

对第三识别部145执行的滤波处理的一个例子进行说明。图16以及图17是用于对滤波处理的一个例子进行说明的图。首先，第三识别部145基于前帧的方向、移动方向、移动距离来设定滤波范围。第三识别部145将与以“前帧的方向为起点”、“在移动方向上移动距离+30°”、“在与移动方向相反方向上移动距离”对应的范围设为滤波范围。第三识别部145从人方向队列134获取前帧的方向的信息。

例如，如果将前帧的方向设为“0°”、将移动方向设为“右旋转”，将移动距离设为“60°”，则滤波范围成为图16所示的滤波范围F1。

第三识别部145在确定滤波范围后，对滤波范围F1和第二概率保持表133b进行比较，将不包含在滤波范围F1中的方向的概率值设定为“零”。使用图17进行说明。例如，如果将前帧的方向设为“300°”，将移动方向设为“右旋转”，将移动距离设为“60°”，则滤波范围成为F2。因此，第三识别部145通过将第二识别结果133b’(第二识别结果143b)的各方向中的“180°、210°”的概率值设定为零，从而获得滤波识别结果143c。

对第三识别部145执行的人方向识别处理的一个例子进行说明。图18是用于对人方向识别处理的一个例子进行说明的图。第三识别部145对第一识别结果142a(第一概率保持表133a)和滤波识别结果143c进行比较。

第三识别部145针对双方存在概率值的方向，留下较大的一方的概率值。第三识别部145将双方不存在概率值的方向的概率值设定为零。通过执行该处理，从而第三识别部145生成中间识别结果144d。在图18所示的例子中，中间识别结果144d的方向0°以及30°的概率值成为滤波识别结果143c的方向0°以及30°的概率值，其它方向的概率值成为零。

第三识别部145参照中间识别结果144d的各方向的概率值，将概率值最大的方向确定为对象者6a的人方向。例如，在图18的确定结果144e所示的例子中，人方向确定为“30°”。

对第三识别部145执行的骨骼识别处理的一个例子进行说明。图19是用于对骨骼识别处理的一个例子进行说明的图。如图19所示，第三识别部145通过从骨骼辞典数据135获取与由确定结果144e确定出的人方向对应的关节位置的信息，并进行对象者6a的关节位置估计，从而估计骨骼位置6b。

第三识别部145基于骨骼位置6b来确定对象者6a的更准确的人方向。例如，第三识别部145获取骨骼位值6b所包含的两肩、脊柱中央的3点的三维坐标，并计算由3点确定的法线矢量。第三识别部145计算将法线矢量投影到XZ平面(地板面)所得的投影矢量。第三识别部145计算投影矢量和正面方向矢量的角度。第三识别部145对计算出的角度和识别单位进行比较，确定最终的人方向。在图19的最终结果144f所示的例子中，将人方向60°设为最终的人方向。第三识别部145将最终的人方向的信息登记至人方向队列134。

在识别阶段中，上述的第一识别部142、第二识别部143、移动估计部144、第三识别部145每当从RGB相机10a以及距离传感器10b获取RGB图像数据、距离数据时，便反复执行上述处理。

接下来，对本实施例1的识别装置100的处理步骤的一个例子进行说明。图20是表示本实施例1的识别装置的处理步骤的流程图。如图20所示，该识别装置100的第一识别部142从RGB相机10a获取RGB图像数据11a(步骤S101a)。第一识别部141执行第一识别处理(步骤S102a)。第一识别部142将第一识别结果保存至方向概率保持表133(步骤S103a)。

另一方面，识别装置100的第二识别部143从距离传感器10b获取距离数据11b(步骤S101b)。第二识别部143执行第二识别处理(步骤S102b)。第二识别部143执行对角方向追加处理(步骤S103b)。识别装置100的移动估计部144执行移动方向计算处理(步骤S104b)。识别装置100的第三识别部145执行滤波处理(步骤S105b)。

第三识别部145基于第一识别结果以及经过滤波处理的第二识别结果来决定人方向(步骤S106)。第三识别部145基于决定的人方向和骨骼辞典数据来估计关节位置(步骤S107)。

第三识别部145输出关节位置(步骤S108)，执行人方向计算处理(步骤S109)。第三识别部145将人方向保存至人方向队列134(步骤S110)。识别装置100在继续处理的情况下(步骤S111：是)，移至步骤S101a、S101b。识别装置100在不继续处理的情况下(步骤S111：否)，结束处理。

对图20的步骤S103b所示的对角方向追加处理的一个例子进行说明。图21是表示对角方向追加处理的处理步骤的流程图。如图21所示，识别装置100的第二识别部143读出方向概率保持表133(第二概率保持表133b)(步骤S201)，选择未选择的方向(步骤S202)。

第二识别部143在选择出的方向的概率值是0的情况下(步骤S203：是)，移至步骤S205。另一方面，第二识别部143在选择出的方向的概率值不是0的情况下(步骤S203：否)，在临时保存表的对角方向保存概率值(步骤S204)。

第二识别部143在未完成全部方向的确认的情况下(步骤S205：否)，移至步骤S202。另一方面，第二识别部143在完成全部方向的确认的情况下，通过将临时保存表的概率值与方向概率保持表133(第二概率保持表133b)相加来更新方向概率保持表133(步骤S206)。

对图20的步骤S104b所示的移动方向计算处理的一个例子进行说明。图22是表示移动方向计算处理的处理步骤的流程图。如图22所示，识别装置100的移动估计部144将方向变量初始化为零(步骤S301)。移动估计部144从人方向队列134读出连续2帧的人方向(步骤S302)。

移动估计部144从角度检测出旋转方向(步骤S303)。在是右旋转的情况下(步骤S304：是)，移动估计部144通过“方向变量－差分/30”更新方向变量(步骤S306)。此处，差分与连续的帧的人方向的差分对应。

在不是右方向的情况下(步骤S304：否)，移动估计部144通过“方向变量+差分/30”更新方向变量(步骤S305)。

移动估计部144判定是否确认完成人方向队列134的全部值(步骤S307)。移动估计部144在未确认完成人方向队列134的全部值的情况下(步骤S308：否)，移至步骤S302。

另一方面，移动估计部144在确认完成人方向队列134的全部值的情况下(步骤S308：是)，移至步骤S309。移动估计部144在方向变量为正的情况下输出为右旋转，在方向变量为负的情况下输出为左旋转(步骤S309)。

对图20的步骤S105b所示的滤波处理的一个例子进行说明。图23是表示滤波处理的处理步骤的流程图。如图23所示，第三识别部145从人方向队列134读出前帧的人方向(步骤S401)。

第三识别部145根据另外求出的移动方向和前帧来决定滤波范围(步骤S402)。第三识别部145确认方向概率保持表133(第二概率保持表133b’)的一个要素(步骤S403)。

第三识别部145在方向是滤波范围内的情况下(步骤S404：是)，移至步骤S406。第三识别部145在方向不是滤波范围内的情况下(步骤S404：否)，将该方向的概率值设定为零(步骤S405)。

第三识别部145在未完成全部方向的确认的情况下(步骤S406：否)，移至步骤S403。另一方面，第三识别部145在完成全部方向的确认的情况下(步骤S406：是)，结束滤波处理。

对图20的步骤S109所示的人方向计算处理的一个例子进行说明。图24是表示人方向计算处理的处理步骤的流程图。如图24所示，第三识别部145从骨骼估计结果获取两肩、脊柱中央这3点的三维坐标(步骤S501)。

第三识别部145计算由3点决定的平面的法线矢量(步骤S502)。第三识别部145将法线矢量投影到XZ平面(地板面)(步骤S503)。第三识别部145计算投影的矢量和正面方向矢量的角度(步骤S504)。第三识别部145基于角度来判定人方向(步骤S505)。

接下来，对本实施例1的识别装置100的效果进行说明。识别装置100能够以基于RGB图像数据的人方向的范围和基于距离数据的人方向的范围为基础，确定更可能的人方向，并基于确定出的人方向来执行骨骼识别，所以能够提高人体的骨骼识别的精度。例如，通过不仅使用距离数据，还使用基于RGB图像数据的识别结果，由此对于距离图像中成为相似的形状而较难判断的对角方向的角度，通过颜色信息、面部检测等技术，能够以高的概率识别方向。

例如，在仅将以往技术1应用于以往的骨骼识别系统的情况下，想到基于人方向，利用相应的关节位置数据进行骨骼识别的参考技术。该参考技术的前提是精度良好地判定人方向，若不能正确地进行人方向的判定，则骨骼识别的精度降低。例如，在对象者6a的人方向为“正面”的情况下，优选使用与人方向“正面”对应的关节位置来进行骨骼识别。然而，由于人物的正面以及后面、右面以及左面，容易搞错，所以若错误地将人方向判定为“后面”，则使用与人方向“后面”对应的关节位置来进行骨骼识别，无法获得正确的结果。

与此相对，本实施例1的识别装置100对于基于距离数据的人方向的范围，除了基于第二识别器132的人方向的范围之外，还追加对角方向的范围，来进行最终的人方向的判定。这样，通过追加对角方向的候补，从而获得即使在最初的方向识别中弄错方向的情况下也获得正确的结果的可能性变高这个效果。特别是如体操比赛那样朝向包括前后左右，也包括上下的各种方向那样的情况下，容易产生错误，所以容易获得效果。

另外，本实施例1的识别装置100基于过去的人方向的历史来确定对象者6a的移动方向以及移动距离，设定成为对象者6a的移动范围的滤波范围，除去不包含在滤波范围中的人方向。因此，能够精度更加良好地判定人方向。即，通过反馈根据最终的骨骼识别结果求出的方向，成为基于移动方向、距离的滤波的起点的前帧位置的精度提高，其结果得到滤波结果的精度也提高这样的效果。这是因为与使用了需要使用全部的方向的数据来学习的距离图像、RGB的方向识别相比，在骨骼估计中，使用通过较窄的范围的学习数据学习的结果，所以骨骼的位置和根据骨骼的位置求出的方向的精度变高。

另外，识别装置100通过缩小识别单位，扩大识别范围，由此即使方向的识别略微有误，也使用较宽的范围的学习结果，所以与在较窄的范围分别进行学习的情况相比，能够提高精度。

此外，在本实施例1中，作为一个例子，第二识别部143执行对角方向追加处理来修正第二识别结果，但也可以通过跳过对角方向追加处理而减少处理负荷。

实施例2

接下来，作为本实施例2，对识别装置100的其它处理进行说明。在上述的实施例1中，识别装置100也可以在判定人方向的情况下，还追加倒立方向。例如，倒立方向与以水平方向为轴的对象者的旋转方向对应。

图25是表示倒立方向的分割定义例子的图。如图25所示，将对象者的头朝上直立的状态设为“0°”，将朝向正下方的状态设为“90°”。另外，将对象者倒立且头朝下的状态设为“180°”，将朝向正上方的状态设为“270°”。

图26以及图27是表示在本实施例2中处理的方向的识别单位、识别范围、学习范围的一个例子的图。如图26所示，识别装置100也针对倒立方向，设定识别单位、识别范围、学习范围。例如，将识别单位设为30°单位，按以180°为单位进行2分割的单位(识别范围B1)识别方向。另外，识别装置100使用学习范围B2的数据进行学习，以防止骨骼识别时的精度降低。例如，学习范围B2设为相对于识别范围B1向上方向宽30°的210°的范围。

如图27所示，识别装置100确定为人物的头朝上的组G5、和人物的头朝下的组G6的任意一个组。

第一识别器131将在图3等中所说明的人方向“正面”、“左面”、“后面”，“右面”基础上追加了倒立方向“朝上”、“朝下”的人方向、和RGB图像数据的人物的特征量建立对应。第一识别部142对RGB图像数据11a和第一识别器131进行比较，识别人方向“正面”、“左面”、“后面”、“右面”和人物的倒立方向“朝上”、“朝下”。

第二识别器132将在图3等中所说明的人方向“正面”、“左面”、“后面”、“右面”的基础上追加了倒立方向“朝上”、“朝下”的人方向、和距离数据的人物的特征量建立对应。第二识别部143对距离数据11b和第二识别器132进行比较，识别人方向“正面”、“左面”、“后面”、“右面”、和人物的倒立方向“朝上”、“朝下”。另外，第二识别器132对人物的倒立方向“朝上”、“朝下”的识别结果执行对角方向追加处理。

移动估计部144与求出人方向“正面”、“左面”、“后面”、“右面”的移动方向、移动距离的处理相同地估计倒立方向的移动方向、移动距离。

第三识别部145对人物的倒立方向执行滤波处理、人方向识别处理，确定最终的人物的倒立方向。第三识别部145从骨骼辞典数据135获取最终决定的人方向、与人物的倒立方向对应的关节位置的信息，识别对象者6a的骨骼。骨骼辞典数据135事先保持与人方向“正面”、“左面”、“后面”、“右面”和人物的倒立方向“朝上”、“向下”的组合对应的关节位置的信息。

如上述那样，识别装置100通过在判定人方向的情况下，还追加倒立方向进行处理，从而对于进行复杂的动作的情况，也能够更精度良好地进行骨骼识别。

接着，对本实施例1、2所示的利用系统例子进行说明。例如，对于成为识别装置100的输出结果的骨骼识别结果，能够如下述那样利用。例如，通过使用骨骼(三维关节坐标)以帧为单位计算各关节的角度，能够进行裁判的评分辅助。能够使用由关节坐标决定的手脚的位置实时识别正在进行什么技术并通过广播等实时进行显示。通过在训练时将关节角度、动作数值化，能够进行训练的辅助等。

接下来，对实现与上述实施例所示的识别装置100同样的功能的计算机的硬件构成的一个例子进行说明。图28是表示实现与识别装置同样的功能的计算机的硬件构成的一个例子的图。

如图28所示，计算机300具有执行各种运算处理的CPU301、接受来自用户的数据的输入的输入装置302以及显示器303。另外，计算机300具有从存储介质读取程序等的读取装置304、以及经由有线或者无线网络与其它计算机之间进行数据的授受的接口装置305。例如，接口装置305与RGB相机10a、距离传感器10b等连接。另外，计算机300具有暂时存储各种信息的RAM306和硬盘装置307。而且，各装置301～307与总线308连接。

硬盘装置307具有第一识别程序307a、第二识别程序307b、移动估计程序307c、第三识别程序307d。CPU301读出第一识别程序307a、第二识别程序307b、移动估计程序307c、第三识别程序307d并展开至RAM306。

第一识别程序307a作为第一识别工序306a发挥作用。第二识别程序307b作为第二识别工序306b发挥作用。移动估计程序307c作为移动估计工序306c发挥作用。第三识别程序307d作为第三识别工序306d发挥作用。

第一识别工序306a的处理与第一识别部142的处理对应。第二识别工序306b的处理与第二识别部143的处理对应。移动估计工序306c的处理与移动估计部144的处理对应。第三识别工序306d的处理与第三识别部145d的处理对应。

此外，对于各程序306a～307d，未必从最初存储于硬盘装置307。例如，使插入计算机300的软盘(FD)、CD－ROM、DVD光盘、光磁盘、IC卡等“便携式物理介质”存储各程序。而且，计算机300也可以读出各程序306a～307d来执行。

附图标记的说明

10a RGB相机

10b 距离传感器

100 识别装置

Claims (13)

1.一种识别装置，其特征在于，具有：

存储部，存储第一识别器、第二识别器以及关节位置辞典，上述第一识别器将包含于图像信息的人物的特征和表示上述人物的身体有可能朝向的方向的范围的第一范围按每个特征建立对应，上述第二识别器将包含于距离信息的人物的特征和表示上述人物的身体有可能朝向的方向的范围的第二范围按每个特征建立对应，上述关节位置辞典将人物的身体朝向的方向和人物的关节位置建立对应，

第一识别部，获取对象者的图像信息，并基于上述图像信息的特征和上述第一识别器来确定针对上述对象者的图像信息的第一范围；

第二识别部，获取上述对象者的距离信息，并基于上述距离信息的特征和上述第二识别器来确定针对上述对象者的距离信息的第二范围；以及

第三识别部，基于由上述第一识别部确定出的第一范围和由上述第二识别部确定出的第二范围来确定对象者的身体朝向的方向，并基于确定出的方向和上述关节位置辞典来识别上述对象者的骨骼。

2.根据权利要求1所述的识别装置，其特征在于，

还具有移动估计部，该移动估计部基于保持过去确定出的上述对象者的身体朝向的方向的信息的队列，来估计上述对象者的身体的移动方向以及移动距离，上述第三识别部将确定出的第二范围的对角方向的范围加到上述第二范围，上述第三识别部基于上述移动方向、上述移动距离、上述第一范围、上述第二范围来确定上述对象者的身体朝向的方向。

3.根据权利要求2所述的识别装置，其特征在于，

上述第三识别部每当识别上述对象者的骨骼时，根据上述对象者的骨骼来确定上述对象者的身体朝向的方向，并将确定出的结果保存至上述队列。

4.根据权利要求1、2或者3所述的识别装置，其特征在于，

上述人物的身体的方向是以垂直方向为轴的旋转方向或者以水平方向为轴的旋转方向。

5.一种识别系统，是具有拍摄装置、距离传感器以及识别装置的识别系统，其特征在于，

上述拍摄装置将对象者的图像信息输出至上述识别装置，

上述距离传感器将到对象者的距离信息输出至上述识别装置，

上述识别装置具有：

存储部，存储第一识别器、第二识别器以及关节位置辞典，上述第一识别器将包含于图像信息的人物的特征和表示上述人物的身体有可能朝向的方向的范围的第一范围按每个特征建立对应，上述第二识别器将包含于上述距离信息的人物的特征和表示上述人物的身体有可能朝向的方向的范围的第二范围按每个特征建立对应，上述关节位置辞典将人物的身体朝向的方向和人物的关节位置建立对应；

第一识别部，从上述拍摄装置获取图像信息，并基于上述图像信息的特征和上述第一识别器来确定针对上述对象者的图像信息的第一范围；

第二识别部，从上述距离传感器获取对象者的距离信息，并基于上述距离信息的特征和上述第二识别器来确定针对上述对象者的距离信息的第二范围；以及

第三识别部，基于由上述第一识别部确定出的第一范围和由上述第二识别部确定出的第二范围来确定对象者的身体朝向的方向，并基于确定出的方向和上述关节位置辞典来识别上述对象者的骨骼。

6.一种识别方法，是计算机执行的识别方法，其特征在于，

上述计算机具有存储装置，上述存储装置存储第一识别器、第二识别器以及关节位置辞典，上述第一识别器将包含于图像信息的人物的特征和表示上述人物的身体有可能朝向的方向的范围的第一范围按每个特征建立对应，上述第二识别器将包含于距离信息的人物的特征和表示上述人物的身体有可能朝向的方向的范围的第二范围按每个特征建立对应，上述关节位置辞典将人物的身体朝向的方向和人物的关节位置建立对应，

上述计算机执行如下的处理：

获取对象者的图像信息，并基于上述图像信息的特征和上述第一识别器来确定针对上述对象者的图像信息的第一范围；

获取上述对象者的距离信息，并基于上述距离信息的特征和上述第二识别器来确定针对上述对象者的距离信息的第二范围；以及

基于上述第一范围和上述第二范围来确定对象者的身体朝向的方向，并基于确定出的方向和上述关节位置辞典来识别上述对象者的骨骼。

7.根据权利要求6所述的识别方法，其特征在于，

还执行基于保持过去确定出的上述对象者的身体朝向的方向的信息的队列，来估计上述对象者的身体的移动方向以及移动距离的处理，还执行识别上述骨骼，将第二范围的对角方向的范围加到上述第二范围，并基于上述移动方向、上述移动距离、上述第一范围、上述第二范围来确定上述对象者的身体朝向的方向的处理。

8.根据权利要求7所述的识别方法，其特征在于，

在识别上述骨骼的处理中，每当识别上述对象者的骨骼时，根据上述对象者的骨骼来确定上述对象者的身体朝向的方向，并将确定出的结果保存至上述队列。

9.根据权利要求6、7或者8所述的识别方法，其特征在于，

上述人物的身体的方向是以垂直方向为轴的旋转方向或者以水平方向为轴的旋转方向。

10.一种存储介质，储存识别程序，其特征在于，

所述识别程序使具有存储装置的计算机执行如下的处理，其中，上述存储装置存储将包含于图像信息的人物的特征和表示上述人物的身体有可能朝向的方向的范围的第一范围按每个特征建立对应的第一识别器、将包含于距离信息的人物的特征和表示上述人物的身体有可能朝向的方向的范围的第二范围按每个特征建立对应的第二识别器、以及将人物的身体朝向的方向和人物的关节位置建立对应的关节位置辞典，

上述计算机执行如下的处理：

获取对象者的图像信息，并基于上述图像信息的特征和上述第一识别器来确定针对上述对象者的图像信息的第一范围；

获取上述对象者的距离信息，并基于上述距离信息的特征和上述第二识别器来确定针对上述对象者的距离信息的第二范围；以及

基于上述第一范围和上述第二范围来确定对象者的身体朝向的方向，并基于确定出的方向和上述关节位置辞典来识别上述对象者的骨骼。

11.根据权利要求10所述的存储介质，其特征在于，

还执行基于保持过去确定出的上述对象者的身体朝向的方向的信息的队列，来估计上述对象者的身体的移动方向以及移动距离的处理，还执行识别上述骨骼，并将第二范围的对角方向的范围加到上述第二范围，基于上述移动方向、上述移动距离、上述第一范围、上述第二范围来确定上述对象者的身体朝向的方向的处理。

12.根据权利要求11所述的存储介质，其特征在于，

在识别上述骨骼的处理中，每当识别上述对象者的骨骼时，根据上述对象者的骨骼来确定上述对象者的身体朝向的方向，并将确定出的结果保存至上述队列。

13.根据权利要求10、11或者12所述的存储介质，其特征在于，

上述人物的身体的方向是以垂直方向为轴的旋转方向或者以水平方向为轴的旋转方向。

Images