CN111164603A - 姿势识别系统、图像修正程序以及图像修正方法 - Google Patents

Abstract

本发明即使在与学习时不同的环境的距离图像中也能够识别被拍摄体的部位。姿势识别系统(1)具有传感器(10)和识别装置(100)。传感器具有拍摄部。拍摄部以根据与被拍摄体的距离而被控制的视场角对包括到被拍摄体的距离的信息的距离图像进行拍摄。识别装置具有获取部(131)、修正部(132)、生成部(133)以及输出控制部(134)。获取部从传感器获取距离图像、和传感器拍摄距离图像时的视场角。修正部根据第一分辨率与第二分辨率的比率对获取到的距离图像进行修正，其中，该第一分辨率对应于被拍摄体的姿势的识别处理中的学习模型的学习用距离图像的拍摄时的视场角，该第二分辨率对应于获取到的视场角。生成部使用修正后的距离图像和学习模型，来生成表示被拍摄体的部位的部位标签图像。输出控制部基于部位标签来输出表示被拍摄体的姿势的骨骼信息。

Description

姿势识别系统、图像修正程序以及图像修正方法

技术领域

本发明涉及姿势识别系统、图像修正程序以及图像修正方法。

背景技术

以往，有基于对到人物的距离进行测定的距离传感器(以下，也称为深度传感器。)输出的距离图像(以下，也称为深度图像。)来识别人物的姿势或动作的装置。该装置例如基于从1台距离传感器输出的距离图像对人物的部位进行标签分类。接下来，该装置基于进行了标签分类的各部位来提取具有三维的骨骼位置的骨骼模型。之后，该装置基于提取出的骨骼模型来识别人物的姿势或动作。

另外，距离传感器例如是使用激光来测定到测定对象的距离的被称为激光雷达装置、LIDAR(Laser Imaging Detection and Ranging)的装置。距离传感器具有投光单元，该投光单元例如通过MEMS(Micro Electro Mechanical Systems：微机电系统)反射镜二维扫描并照射来自例如以一定的定时发光的激光源的激光。另外，距离传感器具有受光单元，该受光单元针对投光单元对激光的扫描，通过光检测器检测来自测定对象的反射光，并针对每个扫描位置计算到测定对象的距离。

距离传感器针对包括测定对象的规定的范围对激光例如进行光栅扫描，所以在从距离传感器起某个距离下的测定范围内，激光的取样点(测距点)的间隔，换句话说，取样密度是一定的。距距离传感器的距离越近则测定范围内的取样密度越密，距距离传感器的距离越远则测定范围内的取样密度越稀疏。即，人物的分辨率，换句话说，取样密度根据从距离传感器到作为测定对象的人物的距离而改变。换句话说，距距离传感器的距离较远的人物的分辨率降低。

专利文献1:美国专利申请公开第2010/0197390号说明书

与此相对，考虑根据距距离传感器的距离以及方位角度，以取样密度为一定以上的方式变更激光的扫描角度范围的宽度。换句话说，距离传感器通过根据检测到的人物的距离将作为激光的扫描范围的视场角缩小到仅人物的周边，从而不管从距离传感器到人物的距离是近还是远都能够维持相同的分辨率。即，距离传感器能够根据被拍摄体与距离传感器的距离来控制分辨率。例如，即使在被拍摄体较远的情况下，距离传感器也能够拍摄高分辨率的距离图像。然而，由于视场角伴随着分辨率的控制而改变，所以有时无法良好地进行使用了学习模型的被拍摄体的部位的识别。

发明内容

在一个方面，提供即使在与学习时不同的环境的距离图像中也能够识别被拍摄体的部位的姿势识别系统、图像修正程序以及图像修正方法。

在一个方式中，姿势识别系统具有传感器和识别装置。传感器具有拍摄部。拍摄部以根据与被拍摄体的距离而被控制的视场角对包括到上述被拍摄体的距离的信息的距离图像进行拍摄。识别装置具有获取部、修正部、生成部以及输出控制部。获取部从上述传感器获取上述距离图像、和该传感器拍摄该距离图像时的视场角。修正部根据第一分辨率与第二分辨率的比率对获取到的上述距离图像进行修正，该第一分辨率对应于使用了学习模型的上述被拍摄体的姿势的识别处理中的该学习模型的学习用距离图像的拍摄时的视场角，该第二分辨率对应于获取到的上述视场角。生成部使用修正后的上述距离图像和上述学习模型来生成通过部位标签表示上述被拍摄体的部位的部位标签图像。输出控制部基于所生成的上述部位标签图像中的上述部位标签来识别上述被拍摄体的骨骼，并输出表示该被拍摄体的姿势的骨骼信息。

即使在与学习时不同的环境的距离图像中也能够识别被拍摄体的部位。

附图说明

图1是表示实施例的姿势识别系统的结构的一个例子的图。

图2是表示人物的分辨率根据距离而不同的情况下的一个例子的图。

图3是表示根据距离来控制激光的视场角的情况下的一个例子的图。

图4是表示视场角不同的情况下的部位识别的差异的一个例子的图。

图5是表示实施例的识别装置的结构的一个例子的框图。

图6是表示Z值与角度分辨率的关系的一个例子的图。

图7是表示Z值的修正的一个例子的图。

图8是调节的一个例子的图。

图9是表示在Z值的修正时修正了不适当的方向的角度分辨率的情况下的调节的一个例子的图。

图10是表示部位标签图像的一个例子的图。

图11是表示实施例的识别处理的一个例子的流程图。

图12是表示修正处理的一个例子的流程图。

图13是表示执行图像修正程序的计算机的一个例子的图。

具体实施方式

以下，基于附图，详细地对本申请公开的姿势识别系统、图像修正程序以及图像修正方法的实施例进行说明。此外，公开技术并不被本实施例限定。另外，以下的实施例也可以不矛盾的范围中适当地组合。

实施例

图1是表示实施例的姿势识别系统的结构的一个例子的图。图1所示的姿势识别系统1具有距离传感器10和识别装置100。此外，在姿势识别系统1中，没有对距离传感器10的数量进行限定，可以具有任意的数量的距离传感器10。距离传感器10与识别装置100之间通过有线或者无线相互可通信地连接。

姿势识别系统1通过距离传感器10测定作为被拍摄体的人物5，识别装置100基于测定结果来识别人物5的姿势等的系统的一个例子。

距离传感器10例如是使用激光来测定到测定对象的距离的被称为激光雷达装置或LIDAR的装置。距离传感器10例如使用红外线激光等针对每个像素测定(感测)对象物的距离，例如输出横320×纵240像素的距离图像。在距离图像中，各像素包括到对象物的距离。换句话说，距离图像是表示从距离传感器(深度传感器)10观察的被拍摄体的深度的深度图像。另外，距离传感器10输出测定时，即距离图像拍摄时的视场角。距离传感器10例如测定处于大概到15m的距离的对象物(被拍摄体)的距离。在本实施例中，对象物成为人物5。此外，距离传感器10例如可以使设置方向旋转90°，来输出横200×纵320像素的距离图像。即，距离传感器10具有拍摄部，该拍摄部能够根据与作为被拍摄体的人物5的距离来控制视场角，并对包括到被拍摄体的距离的信息的距离图像进行拍摄。另外，距离传感器10具有通信部，该通信部将拍摄距离图像时的视场角、和拍摄到的距离图像发送至识别装置100。

此处，使用图2至图4，对距离传感器10的视场角以及分辨率进行说明。图2是表示人物的分辨率根据距离而不同的情况下的一个例子的图。如图2的距离图像20、21所示，例如在体操比赛的情况下，到作为被拍摄体的人物的距离根据项目而不同。在距离图像20和距离图像21中，取样点22的数量相同。然而，如放大了距离图像21的人物附近的距离图像21a所示，在距离图像20和距离图像21中，与人物对应的取样点的数量不同。即，在距离图像20中，人物的分辨率较高，但在距离图像21中，人物的分辨率变低。在人物的分辨率较低的情况下，有时部位或姿势的识别产生问题。

图3是表示根据距离来控制激光的视场角的情况下的一个例子的图。如图3所示，在距距离传感器10较近的位置的人物5a所对应的距离图像23、和距距离传感器10较远的位置的人物5b所对应的距离图像24中，如果视场角相同，则人物5b的分辨率降低。与此相对，如果距离传感器10检测到人物5b(步骤S11)，则根据距离而控制为缩小视场角(步骤S12)，对与距离图像23中的人物5a的分辨率相同的分辨率的距离图像24a进行拍摄。距离传感器10例如在距离图像23被拍摄的距离将视场角控制为横向36°、纵向28°。另一方面，距离传感器10例如在距离图像24a被拍摄的距离将视场角控制为横向18°、纵向14°。即，距离传感器10根据到被拍摄体的距离随时间使视场角变化。由此，不管与被拍摄体的距离近还是远，距离传感器10都能够维持相同的分辨率。

图4是表示视场角不同的情况下的部位识别的差异的一个例子的图。通过图3的视场角的控制，即使从距离传感器10到被拍摄体的距离不同，也能够维持相同的分辨率，但如果变更视场角，则成为角度分辨率不同的距离图像。例如，图4的距离图像25和距离图像26是视场角不同的距离图像，在使用识别器来进行部位识别的情况下，在人物5d和人物5e中，识别结果有时不同。例如假设，从人物5d的头部的某个像素向右移动4像素、向下移动5像素后的位置的像素25a是左臂，但从人物5e的头部的某个像素向右移动4像素、向下移动5像素后的位置的像素26a是背景部分。该情况下，在距离图像25和距离图像26中，即使使用利用相同的学习模型的识别器，作为部位识别的结果的部位标签也不同。因此，如果学习模型的距离图像的视场角和拍摄到的距离图像的视场角不同，则部位识别的识别率降低。

返回到图1的说明，距离传感器10以根据与作为被拍摄体的人物5的距离而被控制的视场角对包括到被拍摄体的距离的信息的距离图像进行拍摄。识别装置100从距离传感器10获取距离图像、和距离传感器10拍摄距离图像时的视场角。识别装置100根据第一分辨率与第二分辨率的比率对获取到的距离图像进行修正，该第一分辨率对应于使用了学习模型的被拍摄体的姿势的识别处理中的该学习模型的学习用距离图像的拍摄时的视场角对应，该第二分辨率对应于获取到的视场角对应。识别装置100使用修正后的距离图像和学习模型来生成通过部位标签表示被拍摄体的部位的部位标签图像。识别装置100基于所生成的部位标签图像中的部位标签来识别被拍摄体的骨骼，并输出表示该被拍摄体的姿势的骨骼信息。由此，姿势识别系统1即使在与学习时不同的环境的距离图像中也能够识别被拍摄体的部位。

接下来，使用图5，对识别装置100的功能构成进行说明。图5是表示实施例的识别装置的结构的一个例子的框图。如图5所示，识别装置100具有通信部110、显示部111、操作部112、存储部120以及控制部130。此外，识别装置100除了图5所示的功能部以外还可以具有已知的计算机具有的各种功能部，例如各种输入设备、声音输出设备等功能部。作为识别装置100的一个例子，能够采用可移动型的个人计算机等。此外，不仅上述的可移动型的个人计算机，识别装置100还能够采用固定型的个人计算机。

通信部110例如通过NIC(Network Interface Card：网卡)等来实现。通信部110是通过有线或者无线与距离传感器10连接，并管理与距离传感器10之间信息的通信的通信接口。

显示部111是用于显示各种信息的显示设备。显示部111例如作为显示设备通过液晶显示器等来实现。显示部111对从控制部130输入的显示画面等各种画面进行显示。

操作部112是从识别装置100的用户接受各种操作的输入设备。操作部112例如作为输入设备而通过键盘、鼠标等来实现。操作部112将由用户输入的操作作为操作信息输出至控制部130。此外，操作部112也可以作为输入设备而通过触摸面板等来实现，显示部111的显示设备和操作部112的输入设备也可以一体化。

存储部120例如通过RAM(Random Access Memory：随机存取存储器)、闪存等半导体存储器元件、硬盘、光盘等存储装置来实现。存储部120具有识别器存储部121和技能数据库122。另外，存储部120存储在控制部130的处理中所使用的信息。此外，在以下的说明中，有时将数据库表示为DB。

识别器存储部121存储为了从距离图像获得部位标签图像而使用的学习模型。即，识别器存储部121是为了从距离图像获得部位标签图像而使用的多类识别器(以下，也称为识别器。)的一个例子。另外，识别器存储部121将学习模型的学习用距离图像的拍摄时的视场角与学习模型(识别器)建立对应地进行存储。此外，识别器存储部121也可以将距离图像和人物的关节位置的信息(骨骼库信息)建立对应地进行存储作为学习模型。另外，人物的关节位置的信息是表示被拍摄体的姿势的骨骼信息。此外，通过对各种距离图像进行机器学习来生成识别器存储部121的学习模型(识别器)。该情况下，作为机器学习的算法，例如可以使用随机森林或深度学习。另外，进行机器学习的距离图像不仅是实际拍摄的距离图像，还可以使用利用三维CG(Computer Graphics：计算机图形)所生成的针对被拍摄体的距离图像。

技能DB122将表示被拍摄体的姿势的骨骼信息例如和体操比赛的技能以及得分建立对应地进行存储。技能DB122例如将鞍马、吊环、跳马之类的各比赛的技能以及各技能的技术点和骨骼信息建立对应地进行存储。

控制部130例如通过由CPU(Central Processing Unit：中央处理器)、MPU(MicroProcessing Unit：微处理器)等将RAM作为作业区域来执行内部的存储装置中存储的程序来实现。另外，控制部13例如也可以通过ASIC(Application Specific IntegratedCircuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等集成电路来实现。

控制部130具有获取部131、修正部132、生成部133以及输出控制部134，实现或者执行以下说明的信息处理的功能或作用。即，控制部130的各处理部执行识别处理。此外，控制部130的内部结构并不限于图5所示的结构，只要是进行后述的信息处理的结构则也可以是其它结构。

获取部131经由通信部110从距离传感器10接收并获取视场角以及距离图像。获取部131将获取到的视场角以及距离图像输出至修正部132。

即，获取部131获取成为使用了基于第一距离图像的学习模型的识别处理的对象的、包括从距离传感器10到被拍摄体的距离的信息的第二距离图像、和距离传感器10中的第二距离图像的拍摄时的视场角。

若从获取部131输入视场角以及距离图像，则修正部132对距离图像执行预处理。修正部132进行噪声除去以及背景除去作为预处理。修正部132例如进行移动平均等平滑化从距离图像除去噪声。接下来，修正部132基于预先不存在作为被拍摄体的人物5时所拍摄到的距离图像，换句话说基于背景信息，从进行了噪声除去的距离图像除去背景的物体。

若对距离图像的预处理结束，则修正部132参照识别器存储部121，获取学习模型的学习用距离图像的拍摄时的视场角。修正部132基于获取到的学习用距离图像的拍摄时的视场角来计算第一角度分辨率(第一分辨率)。此外，角度分辨率能够通过视场角/(横向或者纵向的像素数)来计算。

修正部132基于获取到的距离图像的视场角来计算第二角度分辨率(第二分辨率)。修正部132判定计算出的第一角度分辨率和第二角度分辨率是否不同。修正部132在判定为第一角度分辨率和第二角度分辨率一致的情况下，不进行修正而输出至距离图像生成部133。

修正部132在判定为第一角度分辨率和第二角度分辨率不同的情况下，计算获取到的距离图像的Z值的修正量。此处，Z值是指将距离图像的距离的信息变换成由x、y、z的正交坐标的坐标轴表示的坐标值而得的值中从距离传感器10朝向被拍摄体的方向亦即z轴的值。修正部132利用计算出的修正量对获取到的距离图像的全部像素中存在距离的信息的像素的Z值进行修正。修正量成为用于使对于学习用距离图像的第一角度分辨率和距离图像的第二角度分辨率，横向以及纵向的差中绝对值大的方向的第二角度分辨率与相同的方向的第一角度分辨率一致的量。

此处，使用图6以及图7，对Z值的修正进行说明。图6是表示Z值和角度分辨率的关系的一个例子的图。如图6所示，假设被拍摄体的拍摄时的横向(x轴向)的值为x，Z轴向的值为7m(7000mm)，第二角度分辨率为0.11。如果将该距离图像修正为学习用拍摄图像的第一角度分辨率的0.14，则将修正后的被拍摄体的横向的值求出为x，将Z轴向的值求出为z，将第一角度分辨率求出为0.14作为z即可。计算过程成为下述的式(1)～(6)。此外，f为焦距。

x：7000＝0.11：f···(1)

x＝(7000x0.11)/f···(2)

x：z＝0.14：f···(3)

z＝(xxf)/0.14···(4)

z＝(((7000×0.11)/f)×f)/0.14···(5)

z＝(7000×0.11)/0.14···(6)

即，变换后的Z值能够用下述的式(7)表示。

变换后的Z值＝(到被拍摄体的Z值×拍摄时的角度分辨率)/学习时的角度分辨率···(7)

图7是表示Z值的修正的一个例子的图。图7的状况假设为从学习时的距离传感器10到被拍摄体的Z值：Z1＝5m，横向的第一角度分辨率：w1＝0.14，纵向的第一角度分辨率：h1＝0.12。另外，假设从拍摄时的距离传感器10到被拍摄体(人物5f)的Z值：Z2＝7m，横向的第二角度分辨率：w2＝0.11，纵向的第二角度分辨率：h2＝0.12。此外，到被拍摄体的Z值例如可以使用被拍摄体的重心的Z值，或可以使用到被拍摄体的Z值的平均值。

修正部132计算(w2-w1)和(h2-h1)。在图7的例子中，(w2-w1)＝(0.11-0.14)＝-0.03，(h2-h1)＝(0.12-0.12)＝0。修正部132计算使绝对值大的方向的第二角度分辨率w2与第一角度分辨率w1一致的Z值。修正部132基于式(7)计算为修正后的Z值：Z2’＝5500mm＝5.5m。修正部132在接近的方向上计算为7-5.5＝1.5m作为Z值的修正量。此外，Z值的修正后的其它方向的第二角度分辨率通过将以一致的方向的修正后的第二角度分辨率/第一角度分辨率求出的放大率乘以修正前的其它方向的第二角度分辨率来求出。换句话说，求出为w2’＝0.14，h2’＝(0.14/0.11)×0.12＝0.153。此外，在修正后的距离图像中，与被拍摄体对应的取样点的数量与拍摄时的数量一致。修正部132进行Z值的修正后，进行坐标变换，以从由x、y、z表示的坐标轴变换为由视场角以及距离表示的距离图像。

换言之，修正部132将第一距离图像的距离的信息以及第二距离图像的距离的信息变换为坐标值。另外，修正部132以从第一距离图像的传感器朝向被拍摄体的方向的坐标轴的值为基准，对从第二距离图像的传感器朝向被拍摄体的方向的坐标轴的值进行修正。

接下来，修正部132针对进行了Z值的修正的距离图像，判定第一角度分辨率和第二角度分辨率的纵横比是否不同。修正部132在判定为第一角度分辨率和第二角度分辨率的纵横比相同的情况下，将对Z值进行了修正的距离图像输出至生成部133。

修正部132在判定为第一角度分辨率和第二角度分辨率的纵横比不同的情况下，计算对Z值进行了修正的距离图像的调节方向以及放大率。修正部132基于计算出的调节方向以及放大率来调节对Z值进行了修正的距离图像。修正部132将调节后的距离图像输出至生成部133。

此处，使用图8，说明针对对Z值进行了修正的距离图像的调节进行说明。图8是表示调节的一个例子的图。如图8所示，在Z值修正后的距离图像中，纵向的第二角度分辨率为h2’＝0.153。与此相对，学习时的纵向的第一角度分辨率为h1＝0.12。另一方面，在Z值修正后的距离图像中，横向的第二角度分辨率为w2’＝0.14，与学习时的横向的第一角度分辨率w1一致。因此，修正部132将调节方向设为纵向，将放大率计算为h2’/h1＝0.153/0.12＝1.275。在调节后的距离图像中，Z值为Z2’，纵向的第二角度分辨率为h2”＝0.12。另外，在调节后的距离图像中，与被拍摄体(人物5f)对应的取样点的数变多。即，在作为像素间距相同的图像观察的情况下，看起来沿调节后的方向延伸。

此外，使用图9，对在Z值的修正时，计算Z值以使(w2－w1)和(h2－h1)中绝对值大的方向的第二角度分辨率与学习用距离图像的第一角度分辨率一致的理由进行说明。此外，获取为学习用距离图像的距离图像的状况与图7的例子相同。图9是表示在Z值的修正时对不适当的方向的角度分辨率进行了修正的情况下的调节的一个例子的图。在图9中，与图7不同，假设计算使绝对值小的方向的第二角度分辨率与学习用距离图像的第一角度分辨率一致的Z值。因此，由于h2＝h1，所以修正部132不进行Z值的修正。

修正部132若在该状态下计算调节方向以及放大率，则调节方向为横向，放大率为0.11/0.14＝0.786。在调节后的距离图像中，横向的第二角度分辨率为h2”’＝0.14。然而，由于放大率为小于1的值，所以在调节后的距离图像中，与被拍摄体(人物5f)对应的取样点减少。换句话说，在图9的例子中，针对通过距离传感器10控制视场角来维持分辨率的距离图像，利用修正算法使分辨率降低，由此不能够实现即使在与学习时不同的环境的距离图像中也识别被拍摄体的部位这个目的。因此，在Z值的修正时，要求使(w2－w1)和(h2－h1)中绝对值大的方向的第二角度分辨率与学习用距离图像的第一角度分辨率一致。

换言之，修正部132根据第一分辨率与第二分辨率的比率对获取到的距离图像进行修正，该第一分辨率对应于使用了学习模型的被拍摄体的姿势的识别处理中的该学习模型的学习用距离图像的拍摄时的视场角，该第二分辨率对应于获取到的视场角。即，修正部132根据与第一距离图像的拍摄时的视场角对应的第一分辨率和与第二距离图像的拍摄时的视场角对应的第二分辨率的比率对第二距离图像进行修正。另外，修正部132将第二距离图像中的纵向以及横向中第一分辨率与第二分辨率的差大的方向的第二分辨率修正为与差大的方向的第一分辨率一致。另外，修正部132在第一分辨率下的纵横比和第二分辨率下的纵横比不同的情况下，对第二距离图像进行修正，以使第二分辨率下的纵横比和第一分辨率下的纵横比相同。

返回到图5的说明，从修正部132向生成部133输入未修正的距离图像、对Z值进行了修正的距离图像以及调节后的距离图像中的任意一个。生成部133若被输入任意一个距离图像，则参照识别器存储部121，基于输入的距离图像使用识别器来生成部位标签图像。即，生成部133使用修正后的距离图像和学习模型来生成通过部位标签表示被拍摄体的部位的部位标签图像。生成部133将所生成的部位标签图像输出至输出控制部134。

图10是表示部位标签图像的一个例子的图。如图10所示，部位标签图像27基于针对距离图像的每个像素识别出部位的部位标签，以相同的部位，例如右上臂、左大腿部之类的形式表现表示相同的部位的像素。

返回到图5的说明，若从生成部133输入部位标签图像，则输出控制部134基于部位标签图像的部位标签来生成表示被拍摄体的姿势的骨骼信息。输出控制部134例如从部位标签图像提取各关节部位的边界像素。输出控制部134求出提取的各关节部位的边界像素的重心，并将重心的坐标决定为关节坐标。即，输出控制部134决定作为被拍摄体的人物5的骨骼的三维位置，并生成表示被拍摄体的姿势的骨骼信息。此外，输出控制部134也可以从生成部133获取距离图像，使用识别器存储部121中存储的将距离图像和人物的关节位置的信息建立对应的学习模型，来生成骨骼信息。

输出控制部134参照技能DB122，基于骨骼信息来识别技能。另外，输出控制部134获取识别出的技能的得分。输出控制部134将识别出的技能以及得分例如输出至显示部111并使其显示。

此外，输出控制部134可以将所生成的骨骼信息例如输出至与距离图像或由相机拍摄到的拍摄图像进行拟合的处理部或处理装置。换句话说，输出控制部134能够将生成的骨骼信息作为骨骼模型例如输出为能够利用于CG动画。并且，输出控制部134也可以将所生成的骨骼信息例如加工成特定的格式，并输出至未图示的外部存储装置等。此外，输出控制部134还可以基于所生成的骨骼信息来生成三维模型，并输出至显示部111进行显示。

换言之，输出控制部134基于所生成的部位标签图像中的部位标签来识别被拍摄体的骨骼，并输出表示该被拍摄体的姿势的骨骼信息。

接下来，对实施例的姿势识别系统1中的识别装置100的动作进行说明。图11是表示实施例的识别处理的一个例子的流程图。

识别装置100的获取部131从距离传感器10接收并获取视场角以及距离图像(步骤S1)。获取部131将获取到的视场角以及距离图像输出至修正部132。

若从获取部131输入视场角以及距离图像，则修正部132对距离图像执行预处理(步骤S2)。若对距离图像的预处理结束，则修正部132执行修正处理(步骤S3)。

此处，使用图12，对修正处理进行说明。图12是表示修正处理的一个例子的流程图。

修正部132参照识别器存储部121，获取学习模型的学习用距离图像的拍摄时的视场角。修正部132基于获取到的学习用距离图像的拍摄时的视场角来计算第一角度分辨率(步骤S31)。另外，修正部132基于获取到的距离图像的视场角来计算第二角度分辨率(步骤S32)。

修正部132判定计算出的第一角度分辨率和第二角度分辨率是否不同(步骤S33)。修正部132在判定为第一角度分辨率和第二角度分辨率一致的情况下(步骤S33：否定)，不进行修正而将距离图像输出至生成部133，返回到原处理。

修正部132在判定为第一角度分辨率和第二角度分辨率不同的情况下(步骤S33：肯定)，计算获取到的距离图像的Z值的修正量(步骤S34)。修正部132利用计算出的修正量对获取到的距离图像的全部像素中存在距离的信息的像素的Z值进行修正(步骤S35)。

修正部132针对进行了Z值的修正的距离图像，判定第一角度分辨率和第二角度分辨率的纵横比是否不同(步骤S36)。修正部132在判定为第一角度分辨率和第二角度分辨率的纵横比相同的情况下(步骤S36：否定)，将对Z值进行了修正的距离图像输出至生成部133，返回到原处理。

修正部132在判定为第一角度分辨率和第二角度分辨率的纵横比不同的情况下(步骤S36：肯定)，计算对Z值进行了修正的距离图像的调节方向以及放大率(步骤S37)。修正部132基于计算出的调节方向以及放大率来调节对Z值进行了修正的距离图像(步骤S38)。修正部132将调节后的距离图像输出至生成部133，返回到原处理。

返回到图11的说明，从修正部132向生成部133输入未修正的距离图像、对Z值进行了修正的距离图像以及调节后的距离图像中的任意一个。生成部133若被输入任意一个距离图像，则参照识别器存储部121，基于所输入的距离图像使用识别器来生成部位标签图像(步骤S4)。生成部133将所生成的部位标签图像输出至输出控制部134。

若从生成部133输入部位标签图像，则输出控制部134基于部位标签图像的部位标签来生成表示被拍摄体的姿势的骨骼信息(步骤S5)。输出控制部134参照技能DB122，基于骨骼信息来识别技能(步骤S6)。另外，输出控制部134获取识别出的技能的得分。输出控制部134将识别出的技能以及得分例如输出至显示部111并使其显示(步骤S7)。由此，识别装置100即使在与学习时不同的环境的距离图像中也能够识别被拍摄体的部位。即，识别装置100能够提高被拍摄体的姿势识别的精度。

这样，姿势识别系统1具有距离传感器10和识别装置100。距离传感器10以根据与被拍摄体的距离而被控制的视场角对包括到被拍摄体的距离的信息的距离图像进行拍摄。识别装置100从距离传感器10获取距离图像、和该距离传感器10拍摄该距离图像时的视场角。识别装置100根据第一分辨率与第二分辨率的比率对获取到的距离图像进行修正，该第一分辨率对应于使用了学习模型的被拍摄体的姿势的识别处理中的该学习模型的学习用距离图像的拍摄时的视场角，该第二分辨率对应于获取到的视场角。识别装置100使用修正后的距离图像和学习模型来生成通过部位标签表示被拍摄体的部位的部位标签图像。识别装置100基于所生成的部位标签图像中的部位标签来识别被拍摄体的骨骼，并输出表示该被拍摄体的姿势的骨骼信息。其结果，姿势识别系统1即使在与学习时不同的环境的距离图像中也能够识别被拍摄体的部位。即，姿势识别系统1能够提高被拍摄体的姿势识别的精度。

另外，识别装置100获取成为使用了基于第一距离图像的学习模型的识别处理的对象的、包括从距离传感器10到被拍摄体的距离的信息的第二距离图像、和距离传感器10中的第二距离图像的拍摄时的视场角。另外，识别装置100根据与第一距离图像的拍摄时的视场角对应的第一分辨率和与第二距离图像的拍摄时的视场角对应的第二分辨率的比率对第二距离图像进行修正。其结果，识别装置100即使在与学习时不同的环境的距离图像中也能够识别被拍摄体的部位。

另外，识别装置100使用修正后的第二距离图像和学习模型来生成通过部位标签表示被拍摄体的部位的部位标签图像。另外，识别装置100基于所生成的部位标签图像中的部位标签来识别被拍摄体的骨骼，并输出表示该被拍摄体的姿势的骨骼信息。其结果识别装置100能够提高被拍摄体的姿势识别的精度。

另外，识别装置100将第一距离图像的距离的信息以及第二距离图像的距离的信息变换为坐标值。另外，识别装置100以从第一距离图像的距离传感器10朝向被拍摄体的方向的坐标轴的值为基准，对从第二距离图像的距离传感器10朝向被拍摄体的方向的坐标轴的值进行修正。其结果识别装置100即使修正为与学习用距离图像相同的角度分辨率，也能够维持拍摄到的距离图像的分辨率。

另外，识别装置100将第二距离图像中的纵向以及横向中第一分辨率与第二分辨率的差大的方向的第二分辨率修正为与差大的方向的第一分辨率一致。其结果识别装置100能够维持拍摄到的距离图像的分辨率。

另外，识别装置100在第一分辨率下的纵横比和第二分辨率下的纵横比不同的情况下，对第二距离图像进行修正，以使第二分辨率隙的纵横比与第一分辨率下的纵横比相同。其结果识别装置100能够维持拍摄到的距离图像的分辨率。

此外，在上述实施例中，测定进行体操比赛的人物5来进行部位或姿势的识别，但并不限于此。例如，也可以应用于花样滑冰等其它评分比赛、康复训练中的动作的验证、棒球、高尔夫球、篮球的罚球等姿势的分析、工厂的在线作业中的对新人的指导辅助等。在对新人的指导辅助中，例如列举对老手和新人的姿势或手的动的方法的差进行显示。作为显示方法，能够使进行成为样本的动作的人物和成为验证对象的人物重叠显示，或并排显示。

另外，在上述实施例中，对被拍摄体为一人的情况进行了说明，但并不限于此。例如，对于篮球、女子艺术体操团体等多人的情况，也只要设定覆盖全员的视场角来拍摄距离拍摄即可。

另外，图示的各部的各构成要素并不一定要求物理性的如图示那样构成。即，各部的分散、整合的具体方式并不限定于图示内容，能够根据各种的负荷、使用状况等，以任意单位，对其全部或者一部分进行功能性的或者物理性的分散、整合而构成。例如，可以将生成部133和输出控制部134整合。另外，图示的各处理并不限定于上述的顺序，可以在不使处理内容矛盾的范围中同时实施，也可以更换顺序来实施。

并且，由各装置进行的各种处理功能的全部或者任意的一部分可以在CPU(或者MPU、MCU等微型计算机GPU)上执行。另外，当然各种处理功能的全部或者任意的一部分在由CPU(或者MPU、MCU等微型计算机GPU)解析执行的程序上，或者在使用有线逻辑的硬件上执行。

然而，上述的实施例中所说明的各种的处理能够通过由计算机执行预先准备的程序来实现。并且，以下，对执行具有与上述的实施例同样的功能的程序的计算机的一个例子进行说明。图13是表示执行图像修正程序的计算机的一个例子的图。

如图13所示，计算机200具有执行各种运算处理的CPU201、接受数据输入的输入装置202以及监视器203。另外，计算机200可以从存储介质读取程序等的介质读取装置204、用于与各种装置连接的接口装置205以及用于通过有线或者无线与距离传感器10、其它信息处理装置等连接的通信装置206。另外，计算机200具有暂时存储各种信息的RAM207、和硬盘装置208。另外，各装置201～208与总线209连接。

在硬盘装置208中存储具有与图5所示的获取部131、修正部132、生成部133以及输出控制部134的各处理部同样的功能的图像修正程序。另外，在硬盘装置208在存储用于实现识别器存储部121、技能DB122以及图像修正程序的各种数据。输入装置202例如从计算机200的用户接受操作信息等的各种信息的输入。监视器203例如对计算机200的用户显示显示画面等各种画面。接口装置205例如连接打印装置等。通信装置206例如具有与图5所示的通信部110同样的功能，并与距离传感器10或它信息处理装置连接，与距离传感器10或其它信息处理装置交换各种信息。

CPU201通过读出硬盘装置208中存储中各程序并展开至RAM207并执行，来进行各种处理。另外，这些程序能够使计算机200作为图5所示的获取部131、修正部132、生成部133以及输出控制部134发挥作用。

此外，上述的图像修正程序述的识别程序不一定需要存储在硬盘装置208中。例如，计算机200可以读出存储在计算机200可读取的存储介质中的程序并执行。计算机200可读取的存储介质例如对应于CD－ROM、DVD(Digital Versatile Disc)、USB(UniversalSerial Bus：通用串行总线)存储器等可移动型记录介质、闪存等半导体存储器、硬盘驱动器等。另外，也可以使与公用线路、因特网、LAN等连接的装置存储该图像修正程序，计算机200从它们读出图像修正程序并执行。

附图标记的说明

1 姿势识别系统

10 距离传感器

100 识别装置

110 通信部

111 显示部

112 操作部

120 存储部

121 识别器存储部

122 技能DB

130 控制部

131 获取部

132 修正部

133 生成部

134 输出控制部

Claims (7)

1.一种姿势识别系统，是具有传感器和识别装置的姿势识别系统，其特征在于，

上述传感器具有拍摄部，上述拍摄部以根据与被拍摄体的距离而被控制的视场角对包括到上述被拍摄体的距离的信息的距离图像进行拍摄，

上述识别装置具有：

获取部，从上述传感器获取上述距离图像、和该传感器拍摄该距离图像时的视场角；

修正部，根据第一分辨率与第二分辨率的比率对获取到的上述距离图像进行修正，上述第一分辨率对应于使用了学习模型的上述被拍摄体的姿势的识别处理中的该学习模型的学习用距离图像的拍摄时的视场角，上述第二分辨率对应于获取到的上述视场角；

生成部，使用修正后的上述距离图像和上述学习模型来生成通过部位标签表示上述被拍摄体的部位的部位标签图像；以及

输出控制部，基于所生成的上述部位标签图像中的上述部位标签来识别上述被拍摄体的骨骼，并输出表示该被拍摄体的姿势的骨骼信息。

2.一种图像修正程序，其特征在于，

使计算机执行如下的处理：

获取成为使用了基于第一距离图像的学习模型的识别处理的对象的、包括从传感器到被拍摄体的距离的信息的第二距离图像、和上述传感器中的上述第二距离图像的拍摄时的视场角；以及

根据与上述第一距离图像的拍摄时的视场角对应的第一分辨率和与上述第二距离图像的拍摄时的视场角对应的第二分辨率的比率对上述第二距离图像进行修正。

3.根据权利要求2所述的图像修正程序，其特征在于，

使计算机执行如下的处理：

使用修正后的上述第二距离图像和上述学习模型来生成通过部位标签表示上述被拍摄体的部位的部位标签图像；以及

基于所生成的上述部位标签图像中的上述部位标签来识别上述被拍摄体的骨骼，并输出表示该被拍摄体的姿势的骨骼信息。

4.根据权利要求2或者3所述的图像修正程序，其特征在于，

在上述修正的处理中，将上述第一距离图像的距离的信息以及上述第二距离图像的距离的信息变换为坐标值，并以从上述第一距离图像的传感器朝向被拍摄体的方向的坐标轴的值为基准，对从上述第二距离图像的传感器朝向被拍摄体的方向的坐标轴的值进行修正。

5.根据权利要求4所述的图像修正程序，其特征在于，

在上述修正的处理中，将上述第二距离图像中的纵向以及横向中上述第一分辨率与上述第二分辨率的差大的方向的第二分辨率修正为与上述差大的方向的第一分辨率一致。

6.根据权利要求4所述的图像修正程序，其特征在于，

在上述修正的处理中，在上述第一分辨率下的纵横比和上述第二分辨率下的纵横比不同的情况下，对上述第二距离图像进行修正，以使上述第二分辨率下的纵横比和上述第一分辨率下的纵横比相同。

7.一种图像修正方法，其特征在于，

计算机执行如下的处理：

获取成为使用了基于第一距离图像的学习模型的识别处理的对象的、包括从传感器到被拍摄体的距离的信息的第二距离图像、和上述传感器中的上述第二距离图像的拍摄时的视场角；以及

根据与上述第一距离图像的拍摄时的视场角对应的第一分辨率和与上述第二距离图像的拍摄时的视场角对应的第二分辨率的比率对上述第二距离图像进行修正。

Images