CN113836991A - 动作识别系统、动作识别方法及存储介质 - Google Patents
动作识别系统、动作识别方法及存储介质 Download PDFInfo
- Publication number
- CN113836991A CN113836991A CN202110513205.XA CN202110513205A CN113836991A CN 113836991 A CN113836991 A CN 113836991A CN 202110513205 A CN202110513205 A CN 202110513205A CN 113836991 A CN113836991 A CN 113836991A
- Authority
- CN
- China
- Prior art keywords
- motion
- operator
- bone data
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 230
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 137
- 230000009471 action Effects 0.000 claims abstract description 27
- 210000000323 shoulder joint Anatomy 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 230000036544 posture Effects 0.000 description 81
- 230000008569 process Effects 0.000 description 17
- 230000009467 reduction Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 210000001624 hip Anatomy 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000004197 pelvis Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本发明提供能提高识别前倾姿势的操作人员的动作时的精度的动作识别系统、动作识别方法及存储介质。动作识别系统具备：获取部，获取与操作人员的动作相关的时间序列信息；数据生成部，获取包含时间序列信息中的操作的经过时间、表示与经过时间对应的单独动作的信息以及从时间序列信息中提取出的骨骼数据的动作信息，并生成缩小骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离而得到的第二骨骼数据，并且生成将动作信息中的骨骼数据替换为第二骨骼数据而得的第二动作信息；以及学习部，基于第二动作信息，训练输出示出操作人员的动作的信息的模型作为动作识别用模型，操作人员的动作属于单独动作中的任一动作。
Description
技术领域
本发明涉及动作识别系统、方法及程序。
背景技术
目前，在工厂等的生产线上设置照相机或传感器等，基于由它们得到的操作人员的动作信息，分析并评价操作人员的动作。例如，在专利文献1中，通过动作捕捉等获取操作人员的关节部位的坐标，并比较将这些坐标代入规定的判别式而得到的值与阈值，由此提取操作人员的动作，并对提取出的动作判断有无脱离标准操作的标准外操作。
专利文献1：国际公开第2018/131630号
在实际的操作现场中，除了挺身的标准姿势之外，还存在以使头部或肩膀等上半身向前方挺起或前屈的所谓前倾姿势等各种姿势进行操作的人员。操作人员的姿势因个人的特性和操作工序而不同，大多不与熟练度或标准外操作相关。因此，期望一种能够与操作人员的姿势无关地高精度识别操作人员的动作的系统。
但是，在专利文献1中，没有考虑操作人员在操作时的姿势。因此，在专利文献1中，对于前倾姿势的操作人员，有可能获取比实际身高低的关节部位的坐标。在这种情况下，如果使用以标准姿势为前提而设定的阈值进行分析，则有可能难以准确地判断有无标准外操作。
这里，在专利文献1中，在分析操作人员的动作时，比较使学习内容记录部预先学习的操作内容(学习数据)与操作人员的动作内容，来识别操作人员的操作内容。如果要基于这样的学习数据来高精度地识别操作人员的动作，则除了标准姿势的操作人员的数据之外，还需要学习前倾姿势的操作人员的数据。但是，并不清楚全体操作人员中以何种程度的比例包含前倾姿势的操作人员。另外，前倾的程度也根据个人的特性和操作工序而不同。为此，难以收集前倾姿势的操作人员的数据。
发明内容
因此，本发明提供对于前倾姿势的操作人员也能够提高动作识别时的精度的动作识别系统、方法及程序。
本公开的一方面所涉及的动作识别系统具备：获取部，获取与操作人员的动作相关的时间序列信息；数据生成部，获取包含所述时间序列信息中的操作的经过时间、表示与该经过时间对应的单独动作的信息以及从所述时间序列信息中提取出的骨骼数据的动作信息，并生成缩小所述骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离而得到的第二骨骼数据，并且生成将所述动作信息中的所述骨骼数据替换为所述第二骨骼数据而得到的第二动作信息；以及学习部，基于所述第二动作信息，训练模型作为动作识别用模型，所述模型输出示出所述操作人员的动作的信息，所述操作人员的动作属于单独动作中的任一动作。
根据该方面，例如通过缩小标准姿势的操作人员的骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离，能够生成前倾姿势的操作人员的骨骼数据，并根据包含该前倾姿势的操作人员的骨骼数据的第二动作信息，训练动作识别用的学习模型。
在上述方面中，也可以是，所述学习部还基于所述动作信息训练所述模型。
根据该方面，学习部能够基于包含标准姿势的操作人员的骨骼数据的动作信息、以及包含前倾姿势的操作人员的骨骼数据的第二动作信息，训练动作识别用的模型。
在上述方面中，也可以是，还具备动作识别部，所述动作识别部将由所述获取部获取到的与识别对象的操作人员相关的时间序列信息所对应的骨骼数据输入到通过所述学习部训练得到的学习完成模型，并基于从该学习完成模型输出的示出属于单独动作中的任一动作的所述识别对象的操作人员的动作的信息，来识别所述识别对象的操作人员的动作。
根据上述方面，能够利用使用包含标准姿势的操作人员的骨骼数据的动作信息、以及包含前倾姿势的操作人员的骨骼数据的第二动作信息训练得到的学习完成模型识别作为识别对象的操作人员的动作是否属于单独动作中的任一动作。
在上述方面中，也可以是，在所述骨骼数据的坐标中将铅直向上设为正时，所述数据生成部通过从所述骨骼数据中包含的所述多个身体部位中上半身所包括的特定身体部位的坐标的铅直方向分量中减去将任意系数与作为基准的身体部位之间的长度相乘而得到的值，来生成所述第二骨骼数据。
根据该方面，例如在将铅直向上设为正时，通过从标准姿势的操作人员的骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位的坐标的铅直方向分量中减去将任意系数与作为基准的身体部位之间的长度相乘而得到的值，能够生成前倾姿势的操作人员的骨骼数据。
在上述方面中，所述特定身体部位也可以是头部、右和左肩关节以及颈关节中的至少任一部位，作为所述基准的身体部位之间的长度也可以是右肩关节与左肩关节之间的长度。
根据该方面，例如能够使用标准姿势的操作人员的骨骼数据中包含的头部、右和左肩关节以及颈关节中的至少任一部位的坐标、以及右肩关节与左肩关节之间的长度，来生成前倾姿势的操作人员的骨骼数据。
本公开的其它方面所涉及的动作识别方法由处理器执行，所述动作识别方法包括：获取与操作人员的动作相关的时间序列信息；获取包含所述时间序列信息中的操作的经过时间、表示与该经过时间对应的单独动作的信息以及从所述时间序列信息中提取出的骨骼数据的动作信息，并生成缩小所述骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离而得到的第二骨骼数据，并且生成将所述动作信息中的所述骨骼数据替换为所述第二骨骼数据而得到的第二动作信息；以及基于所述第二动作信息，训练模型作为动作识别用模型，所述模型输出示出所述操作人员的动作的信息，所述操作人员的动作属于单独动作中的任一动作。
根据该方面，例如通过缩小标准姿势的操作人员的骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离，能够生成前倾姿势的操作人员的骨骼数据，并根据包含该前倾姿势的操作人员的骨骼数据的第二动作信息，训练动作识别用的学习模型。
本公开的其它方面所涉及的动作识别程序使计算机作为获取部、数据生成部以及学习部发挥功能，所述获取部获取与操作人员的动作相关的时间序列信息，所述数据生成部获取包含所述时间序列信息中的操作的经过时间、表示与该经过时间对应的单独动作的信息以及从所述时间序列信息中提取出的骨骼数据的动作信息，并生成缩小所述骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离而得到的第二骨骼数据，并且生成将所述动作信息中的所述骨骼数据替换为第二骨骼数据而得到的第二动作信息，所述学习部基于所述第二动作信息，训练模型作为动作识别用模型，所述模型输出示出所述操作人员的动作的信息，所述操作人员的动作属于单独动作中的任一动作。
根据该方面，例如通过缩小标准姿势的操作人员的骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离，能够生成前倾姿势的操作人员的骨骼数据，并根据包含该前倾姿势的操作人员的骨骼数据的第二动作信息，训练动作识别用的学习模型。
发明效果
根据本发明，能够提供可提高识别前倾姿势的操作人员的动作时的精度的动作识别系统、方法及程序。
附图说明
图1是举例示出本发明的实施方式所涉及的动作识别系统的概要的图。
图2是举例示出动作识别系统及动作识别装置的功能构成的图。
图3是示出存储在动作识别装置中的动作信息的一个例子的图。
图4是举例示出骨骼数据的图。
图5是举例示出动作识别装置的硬件构成的图。
图6是用于对动作识别装置的动作的一个例子进行说明的流程图。
图7是用于对图6所示的缩小处理的步骤进行说明的流程图。
附图标记说明
10动作识别装置；10a CPU；10b RAM；10c ROM；10d通信装置；10e输入装置；10f显示装置；11获取部；12数据生成部；13学习部；14动作识别部；19存储部；19a动态影像；19b动作信息；19c学习完成模型；20a、20b、20c图像传感器；100动作识别系统；A操作人员；R操作区域。
具体实施方式
以下，基于附图对本发明的一方面所涉及的实施方式(以下表述为“本实施方式”。)进行说明。需要注意的是，在各图中，带有同一附图标记的部分具有相同或相似的结构。
§1应用例
首先，使用图1对应用本发明的场景的一个例子进行说明。本实施方式所涉及的动作识别系统100通过图像传感器20a、20b、20c拍摄在某操作区域R进行的操作人员A的动作，获取到该所拍摄的动态影像的动作识别装置10使用学习完成模型识别操作人员A的动作。
学习完成模型是以将包含标准姿势的操作人员的骨骼数据和用于前倾姿势的操作人员而生成的骨骼数据等的动作信息以及动态影像作为输入，并将表示操作人员的动作的信息作为输出的方式进行训练得到的动作识别用的模型。
这里，在操作人员的骨骼数据中，除了以挺身的标准姿势(以下也表述为“标准姿势”)进行操作的操作人员的骨骼数据之外，还包含以使头部、肩膀等上半身向前方挺起或前屈的所谓前倾的姿势(以下也表述为“前倾姿势”)进行操作的操作人员的骨骼数据等。如后所述，学习时输入的前倾姿势的操作人员的骨骼数据由标准姿势的操作人员的骨骼数据生成。
由此，除了标准姿势的操作人员的骨骼数据之外，还能够使动作识别用的模型训练前倾姿势的操作人员的骨骼数据。因此，根据本实施方式所涉及的动作识别装置10，不仅对于标准姿势的操作人员，对于前倾姿势的操作人员，也能够提高动作识别时的精度。
§2构成例
[功能构成]
下面，参照图2，对本实施方式所涉及的动作识别系统100及动作识别装置10的功能构成的一个例子进行说明。动作识别系统100具备三台图像传感器20a、20b、20c和动作识别装置10。以下，在不需要特别区分记载三台图像传感器20a、20b、20c的情况下，记载为图像传感器20。作为功能性构成，动作识别装置10例如具有获取部11、数据生成部12、学习部13、动作识别部14及存储部19。存储部19例如存储动态影像19a、动作信息19b及学习完成模型19c。
这里，在本实施方式中，对动作识别装置10具有训练动作识别用的模型的功能(学习模式)和识别操作人员的动作的功能(动作识别模式)的情况进行说明，但也可以将各个功能分散设置在独立的单独的装置中。
下面，依次对动作识别系统100及动作识别装置10具有的各功能构成的详细情况进行说明。
<图像传感器>
图像传感器20例如是通用的照相机，拍摄包括操作人员A在操作区域R进行动作的场景的动态影像。作为功能性构成，图像传感器20例如具有检测部。检测部检测操作人员A的动作，并将示出该动作的动态影像作为时间序列信息输出。
这里，时间序列信息并不限于动态影像。例如，也可以是与通过能够代替图像传感器20而具备的动作捕捉测定的示出操作人员A的动作的坐标相关的信息。
各图像传感器20a、20b、20c以能够拍摄操作区域R的整个区域及操作人员A的全身的方式进行配置。在这种情况下，例如各图像传感器20a、20b、20c可以分别配置成能够拍摄操作区域R的整个区域及操作人员A的全身，各图像传感器20a、20b、20c也可以分别配置成能够拍摄操作区域R及操作人员A的一部分，并通过将各自的动态影像合在一起而覆盖操作区域R的整个区域及操作人员A的全身。另外，各图像传感器20a、20b、20c也可以以各自不同的倍率拍摄操作区域R及操作人员A。图像传感器20不需要具备三台，只要具备至少一台以上即可。
<获取部>
获取部11从图像传感器20获取与操作人员A进行的动作相关的时间序列信息(在本实施方式中是动态影像)。由获取部11获取到的时间序列信息被传送到存储部19，并作为动态影像19a进行存储。
<数据生成部>
作为学习模式时的功能及动作识别模式时的共同的功能，数据生成部12从动态影像19a的图像中提取示出操作人员的骨骼的动作的骨骼数据。骨骼数据可以通过与多个身体部位分别对应的坐标(x，y)来表示。在本实施方式中，对坐标为二维坐标(x，y)的情况进行说明，但在三维坐标(x，y，z)的情况下也同样能够适用。另外，也可以除了坐标值之外还附加示出坐标值的可靠度的信息。在学习模式时，骨骼数据被传送到存储部19，作为动作信息19b的一部分进行存储。另一方面，在动作识别模式时，骨骼数据被输入到后述的学习完成模型中。
另外，作为学习模式时的功能，数据生成部12获取包含动态影像中的操作的经过时间、表示与经过时间对应的单独动作的信息以及从动态影像中提取出的骨骼数据的动作信息19b。
参照图3对动作信息19b进行说明。动作信息19b例如构成为包括经过时间项目、动作项目及骨骼数据项目作为数据项目。经过时间项目以作为操作对象的全部工序中最先的工序开始的时间为基准，保存从作为该基准的时间起的经过时间。经过时间的间隔可以任意设定，例如可以设定为以动态影像的帧为单位，也可以诸如每隔1秒等设定为每隔规定时间。
动作项目保存示出操作人员的动作属于作为识别对象的单独动作(后述)中的哪一动作的信息。作为单独动作，例如有把持、搬运、调整。把持被定义为将手移动到操作对象并抓住的动作，搬运被定义为将操作对象移动到目标场所的动作，调整被定义为将操作过渡到目标状态的动作。
各单独动作中例如包括如下的动作。把持包括壳体嵌合工序中抓住基座和盖的动作、螺丝紧固工序中抓住电动螺丝刀的动作。搬运包括壳体嵌合工序中将盖送至基座的动作、螺丝紧固工序中将电动螺丝刀送至螺纹牙的动作。调整包括壳体嵌合工序中将钩嵌合的动作、螺丝紧固工序中用电动螺丝刀紧固螺丝的动作。
动作信息19b的骨骼数据项目保存与经过时间对应的从动态影像中提取出的骨骼数据。
图3所示的开头行的动作信息是基于从最先的工序开始起经过1秒的时间点的动态影像的动作信息。在该动作信息中保存有示出操作人员的动作属于单独动作中的把持的信息和从该时间点的动态影像中提取出的骨骼数据。另外，图3所示的最终行的动作信息是基于从最先的工序开始起经过2分53秒的时间点的动态影像的动作信息。在该动作信息中保存有示出操作人员的动作属于单独动作中的调整的信息和从该时间点的动态影像中提取出的骨骼数据。
另外，作为学习模式时的功能，数据生成部12基于标准姿势的操作人员的骨骼数据，执行用于生成前倾姿势的操作人员的骨骼数据(第二骨骼数据)的缩小处理。缩小处理是缩小骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离的处理。进而，数据生成部12通过将动作信息19b中的骨骼数据替换为新生成的前倾姿势的骨骼数据，来新生成前倾姿势的动作信息19b(第二动作信息)。
这里，上半身所包括的身体部位例如包括头部、颈关节、右和左肩关节、腰部、骨盆部等。如图4所示，作为缩小对象的身体部位间的距离包括由坐标a与坐标b的差分表示的头部与颈关节的距离、由坐标c1与坐标d及坐标c2与坐标d的差分分别表示的右和左肩关节与腰关节的距离、由坐标b与坐标e的差分表示的颈关节与骨盆部的距离等。需要指出，这些各坐标表示为相对于规定的基准部位的相对坐标。
前倾姿势的骨骼数据可以通过在图4所示的骨骼数据的坐标中将铅直向上设为正时，从上半身的特定坐标的铅直方向分量中减去将任意系数与作为基准的身体部位之间的长度相乘而得到的值来生成。作为基准的身体部位之间的长度例如可以使用右肩关节与左肩关节之间的长度、即所谓的肩宽。
肩宽L可以使用右和左肩关节的坐标c1(xc1，yc1)、c2(xc2，yc2)，通过下式(1)计算。
L＝|xc1-xc2| …(1)
或者也可以通过下式(2)计算肩宽L。
作为前倾姿势的一个例子，在降低骨骼数据中的头的位置的情况下，如下式(3)所示，对头部的坐标a(xa，ya)进行从铅直方向分量ya中减去肩宽L与缩小率α相乘而得到的值αL的处理。
ya'＝ya-αL …(3)
其中，在将铅直向上设为正时，0<α<1。在骨骼数据的坐标中铅直向下为正时，-1<α<0即可。
如此，通过将原来的骨骼数据中的头部的坐标a的铅直方向分量ya替换为根据式(3)计算出的值ya'，从而能够生成头的位置降低的前倾姿势的骨骼数据。
作为前倾姿势的其它例子，在降低骨骼数据中的肩的位置的情况下，对于头部的坐标a(xa，ya)、颈关节的坐标b(xb，yb)以及右和左肩关节的坐标c1(xc1，yc1)、c2(xc2，yc2)，与式(3)同样地进行从各铅直方向分量中减去肩宽L与缩小率α相乘而得到的值αL的处理。也就是说，通过将原来的骨骼数据中的坐标a、b、c1、c2的铅直方向分量ya、yb、yc1、yc2分别替换为经过该运算而得到的值ya-αL、yb-αL、yc1-αL、yc2-αL，从而能够生成肩的位置降低的前倾姿势的骨骼数据。
作为前倾姿势的另外一个其它例子，在整体缩短骨骼数据中的上半身的长度的情况下，对于头部的坐标a(xa，ya)、颈关节的坐标b(xb，yb)、右和左肩关节的坐标c1(xc1，yc1)、c2(xc2，yc2)、以及腰部的坐标e(xe，ye)，与式(3)同样地进行从各铅直方向分量中减去肩宽L与缩小率α相乘而得到的值αL的处理。也就是说，通过将原来的骨骼数据中的坐标a、b、c1、c2、e的铅直方向分量ya、yb、yc1、yc2、ye分别替换为经过该运算而得到的值ya-αL、yb-αL、yc1-αL、yc2-αL、ye-αL，从而能够生成上半身的长度短的前倾姿势的骨骼数据。
数据生成部12可以进一步包括进行用于调整从动态影像中提取出的骨骼数据的调整处理的调整部。数据生成部12所包括的调整部在执行上述缩小处理之前执行调整处理。该调整处理例如包括骨骼数据的时间序列补全处理、身高(体格)的标准化处理、骨骼数据的时间序列平滑化处理、骨骼数据的移位处理及噪声赋予处理。下面对调整处理所包括的各处理进行说明。
骨骼数据的时间序列补全处理是基于时间上位于前后的其它骨骼数据补全骨骼数据中产生的缺失数据的处理。缺失数据例如可能在由于操作人员的姿势等而被隐藏的无法推测的部位产生。
身高(体格)的标准化处理例如是为了吸收在男女之间等产生的体格差异而基于体形对骨骼数据进行标准化的处理。作为标准化处理，例如通过用躯体的长度(例如从鼻子到腰的长度)除骨骼数据而能生成标准化数据。
骨骼数据的时间序列平滑化处理是除去对应于骨骼数据在时间轴方向的变化的噪声的处理。作为平滑化处理，例如通过对骨骼数据实施高斯滤波处理而能生成平滑化数据。
骨骼数据的移位处理是通过使骨骼数据的原点对齐，使起点统一，来抑制动作偏差，使动作的特征容易识别的处理。例如，以使颈关节位于原点的方式使骨骼数据整体平行移动，来生成移位后的骨骼数据。
噪声赋予处理是通过对骨骼数据加噪声，使骨骼数据虚拟增加的处理。对骨骼数据施加的噪声例如可以通过随机产生可能适合作为骨骼数据的范围内的值来生成。
<学习部>
图2所示的学习部13是学习模式时的功能。学习部13基于动作信息19b生成(训练)动作识别用的模型，该模型输出示出属于单独动作中的任一动作的操作人员的动作的信息。训练模型的动作信息19b包含基于标准姿势的操作人员的动态影像生成的标准姿势的动作信息19b以及包含通过上述缩小处理生成的前倾姿势的操作人员用骨骼数据的动作信息19b。使模型学习各个动作信息19b的顺序不限。需要注意的是，标准姿势的操作人员的骨骼数据优选在训练模型之前预先实施上述调整处理。
通过使学习部13学习得到的模型被传送到存储部19，并作为学习完成模型19c进行存储。
<动作识别部>
动作识别部14是动作识别模式时的功能。动作识别部14将作为识别对象的操作人员的动态影像19a输入到学习完成模型19c中，并基于从学习完成模型19c输出的示出属于单独动作中的任一动作的操作人员的动作的信息，来识别操作人员的动作。在识别操作人员的动作时，例如可以使用ST-GCN(Spatial Temporal Graph Convolutional Networks：时空图卷积网络)等公知的动作识别方法。
需要指出，在向学习完成模型19c输入动态影像19a时，也可以对根据该动态影像生成的骨骼数据实施上述的时间序列补全处理、标准化处理、时间序列平滑化处理及移位处理。
[硬件构成]
下面，使用图5对本实施方式所涉及的动作识别装置10的硬件构成的一个例子进行说明。动作识别装置10具有相当于运算装置的CPU(Central Processing Unit：中央处理单元)10a、相当于存储部19的RAM(Random Access Memory：随机存取存储器)10b、相当于存储部19的ROM(Read only Memory：只读存储器)10c、通信装置10d、输入装置10e和显示装置10f。这些各构成经由总线以能够相互收发数据的方式连接。需要注意的是，在本实施方式中，对动作识别装置10由一台计算机构成的情况进行说明，但动作识别装置10也可以使用多台计算机实现。
CPU10a作为执行存储在RAM10b或ROM10c中的程序、并进行数据的运算、加工的控制部发挥功能。CPU10a从输入装置10e、通信装置10d接收各种输入数据，将对输入数据进行运算的结果显示在显示装置10f上，或者保存在RAM10b、ROM10c中。
RAM10b例如由半导体存储元件构成，存储可改写的数据。ROM10c例如由半导体存储元件构成，存储可读出而不可改写的数据。
通信装置10d是将动作识别装置10与外部设备连接的接口。通信装置10d例如通过LAN(Local Area Network：局域网)、因特网等通信网络与图像传感器20连接，从图像传感器20接收动态影像。
输入装置10e是接收来自用户的数据输入的接口，例如可以包括键盘、鼠标及触摸面板。
显示装置10f是视觉地显示CPU10a的运算结果等的接口，例如可以由LCD(LiquidCrystal Display：液晶显示器)构成。
程序可以存储在RAM10b、ROM10c等计算机可读存储介质中来提供，也可以经由通过通信装置10d连接的通信网络来提供。动作识别装置10通过CPU10a执行程序，从而进行图2所示的获取部11、数据生成部12、学习部13及动作识别部14的动作。需要指出，这些物理性构成只是例示，也可以未必是独立的构成。例如，动作识别装置10也可以具备CPU10a和RAM10b、ROM10c一体化的LSI(Large-Scale Integration：大规模集成电路)。
§3动作例
图6是示出本实施方式所涉及的动作识别装置10的动作的一个例子的流程图。该动作是生成前倾姿势的操作人员用骨骼数据，并使用该骨骼数据训练动作识别用模型时的动作。
首先，数据生成部12从存储部19获取动作信息19b(步骤S101)。该动作信息19b是基于对标准姿势的操作人员进行拍摄而得到的动态影像所生成的。因此，在动作信息19b的骨骼数据项目中保存有标准姿势的操作人员的骨骼数据。
接着，数据生成部12执行缩小骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离的缩小处理(步骤S102)。关于该缩小处理的步骤，后面将进行叙述。
接着，学习部13基于包含在上述步骤S102中进行缩小处理后的骨骼数据的动作信息19b，训练动作识别用模型，该模型输出示出属于单独动作中的任一动作的操作人员的动作的信息(步骤S103)。然后，结束本动作。
参照图7，对在上述步骤S102中执行的缩小处理的步骤进行说明。
首先，数据生成部12按帧单位获取从例如帧数为F的动态影像19a的图像中提取出的骨骼数据(步骤S201)。也就是说，数据生成部12获取F具的骨骼数据。
接着，数据生成部12从一具骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位的坐标的铅直方向分量中减去将任意系数与作为基准的身体部位间的长度相乘而得到的值(步骤S202)。作为具体例，在生成头的位置降低的前倾姿势的骨骼数据的情况下，如图4所示，从头部的坐标a(xa，ya)的铅直方向分量ya中减去肩宽L与缩小率α相乘而得到的值αL(参照式(3))。该运算后的坐标a'(xa，ya-αL)作为该帧的骨骼数据中的头部的坐标保存在动作信息19b的骨骼数据项目中。在生成肩的位置降低的前倾姿势的骨骼数据的情况下，对头部的坐标a、颈关节的坐标b、以及右和左肩关节的坐标c1、c2的各铅直方向分量进行同样的运算。另外，在生成上半身的长度短的前倾姿势的骨骼数据的情况下，对头部的坐标a、颈关节的坐标b、右和左肩关节的坐标c1、c2、以及腰部的坐标e的各铅直方向分量进行同样的运算。需要注意的是，不管怎样，在骨骼数据的坐标中，在铅直向上为正的情况下，0<α<1，在铅直向下为正的情况下，-1<α<0。
接着，数据生成部12判定是否对全部F具骨骼数据进行了上述步骤S202的运算(步骤S203)。在该判定为“否”的情况下，将处理转移到上述步骤S202，在该判定为“是”的情况下，结束该缩小处理。
如上所述，根据本实施方式所涉及的动作识别装置10，例如通过缩小标准姿势的操作人员的骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离，能够生成前倾姿势的操作人员的骨骼数据。然后，能够使用该前倾姿势的操作人员的骨骼数据训练动作识别用的学习模型。因此，能够提高识别前倾姿势的操作人员的动作时的精度。
需要注意的是，本发明并不限于上述实施方式，在不脱离本发明的主旨的范围内，能够以其它各种方式进行实施。例如，在上述实施方式中，基于标准姿势的操作人员的骨骼数据生成了前倾姿势的操作人员用的骨骼数据，但并不限于此。也可以基于前倾姿势的操作人员的骨骼数据生成前倾程度不同的其它前倾姿势的操作人员的骨骼数据。或者，也可以基于前倾姿势的操作人员的骨骼数据扩大上半身所包括的特定身体部位间的铅直方向距离，从而来生成标准姿势的操作人员的骨骼数据。
另外，在上述实施方式中，使用基于标准姿势的操作人员的动态影像生成的动作信息19b以及包含通过缩小处理生成的前倾姿势的操作人员用的骨骼数据的动作信息19b，来训练动作识别用模型，但不限定于此。也可以使用基于前倾姿势的操作人员的动态影像生成的动作信息19b、包含通过对前倾姿势的操作人员的骨骼数据的进一步的缩小处理而生成的前倾姿势的操作人员用的骨骼数据的动作信息19b，来训练动作识别用模型。或者，也可以使用基于前倾姿势的操作人员的动态影像生成的动作信息19b、包含通过上述扩大处理而生成的标准姿势的操作人员用的骨骼数据的动作信息19b，来训练动作识别用模型。
本发明的实施方式也可以如以下的附录这样进行记载。但是，本发明的实施方式并不限定于以下的附录所记载的方式。另外，本发明的实施方式也可以是替换或组合了附录间的记载的方式。
[附录1]
一种动作识别系统(100)，具备：
获取部(11)，获取与操作人员的动作相关的时间序列信息；
数据生成部(12)，获取包含所述时间序列信息中的操作的经过时间、表示与该经过时间对应的单独动作的信息以及从所述时间序列信息中提取出的骨骼数据的动作信息，并生成缩小所述骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离而得到的第二骨骼数据，并且生成将所述动作信息中的所述骨骼数据替换为所述第二骨骼数据而得到的第二动作信息；以及
学习部(13)，基于所述第二动作信息，训练模型作为动作识别用模型，所述模型输出示出所述操作人员的动作的信息，所述操作人员的动作属于单独动作中的任一动作。
[附录2]
根据附录1所述的动作识别系统(100)，其中，
所述学习部(13)还基于所述动作信息训练所述模型。
[附录3]
根据附录1或2所述的动作识别系统(100)，其中，
所述动作识别系统(100)还具备动作识别部(14)，所述动作识别部(14)将由所述获取部(11)获取到的与识别对象的操作人员相关的时间序列信息所对应的骨骼数据输入到通过所述学习部(13)训练得到的学习完成模型，并基于从该学习完成模型输出的示出属于单独动作中的任一动作的所述识别对象的操作人员的动作的信息，来识别所述识别对象的操作人员的动作。
[附录4]
根据附录1至3中任一项所述的动作识别系统(100)，其中，
在所述骨骼数据的坐标中将铅直向上设为正时，所述数据生成部(12)通过从所述骨骼数据中包含的所述多个身体部位中的上半身所包括的特定身体部位的坐标的铅直方向分量中减去将任意系数与作为基准的身体部位之间的长度相乘而得到的值，来生成所述第二骨骼数据。
[附录5]
根据附录4所述的动作识别系统(100)，其中，
所述特定身体部位是头部、右和左肩关节以及颈关节中的至少任一部位，
作为所述基准的身体部位之间的长度是右肩关节与左肩关节之间的长度。
[附录6]
一种方法，由处理器执行，包括：
获取与操作人员的动作相关的时间序列信息；
获取包含所述时间序列信息中的操作的经过时间、表示与该经过时间对应的单独动作的信息以及从所述时间序列信息中提取出的骨骼数据的动作信息，并生成缩小所述骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离而得到的第二骨骼数据，并且生成将所述动作信息中的所述骨骼数据替换为所述第二骨骼数据而得到的第二动作信息；以及
基于所述第二动作信息，训练模型作为动作识别用模型，所述模型输出示出所述操作人员的动作的信息，所述操作人员的动作属于单独动作中的任一动作。
[附录7]
一种程序，使计算机作为获取部(11)、数据生成部(12)以及学习部(13)发挥功能，
获取部(11)获取与操作人员的动作相关的时间序列信息，
数据生成部(12)获取包含所述时间序列信息中的操作的经过时间、表示与该经过时间对应的单独动作的信息以及从所述时间序列信息中提取出的骨骼数据的动作信息，并生成缩小所述骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离而得到的第二骨骼数据，并且生成将所述动作信息中的所述骨骼数据替换为所述第二骨骼数据而得到的第二动作信息，
学习部(13)基于所述第二动作信息，训练模型作为动作识别用模型，所述模型输出示出所述操作人员的动作的信息，所述操作人员的动作属于单独动作中的任一动作。
Claims (7)
1.一种动作识别系统，具备：
获取部，获取与操作人员的动作相关的时间序列信息；
数据生成部，获取包含所述时间序列信息中的操作的经过时间、表示与该经过时间对应的单独动作的信息以及从所述时间序列信息中提取出的骨骼数据的动作信息，并生成缩小所述骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离而得到的第二骨骼数据，并且生成将所述动作信息中的所述骨骼数据替换为所述第二骨骼数据而得到的第二动作信息；以及
学习部，基于所述第二动作信息，训练模型作为动作识别用模型，所述模型输出示出所述操作人员的动作的信息，所述操作人员的动作属于单独动作中的任一动作。
2.根据权利要求1所述的动作识别系统，其中，
所述学习部还基于所述动作信息训练所述模型。
3.根据权利要求1或2所述的动作识别系统，其中，
所述动作识别系统还具备动作识别部，所述动作识别部将由所述获取部获取到的与识别对象的操作人员相关的时间序列信息所对应的骨骼数据输入到通过所述学习部训练得到的学习完成模型，并基于从该学习完成模型输出的示出属于单独动作中的任一动作的所述识别对象的操作人员的动作的信息，来识别所述识别对象的操作人员的动作。
4.根据权利要求1或2所述的动作识别系统，其中，
在所述骨骼数据的坐标中将铅直向上设为正时，所述数据生成部通过从所述骨骼数据中包含的所述多个身体部位中上半身所包括的特定身体部位的坐标的铅直方向分量中减去将任意系数与作为基准的身体部位之间的长度相乘而得到的值，来生成所述第二骨骼数据。
5.根据权利要求4所述的动作识别系统，其中，
所述特定身体部位是头部、右和左肩关节以及颈关节中的至少任一部位，
作为所述基准的身体部位之间的长度是右肩关节与左肩关节之间的长度。
6.一种动作识别方法，由处理器执行，所述动作识别方法包括：
获取与操作人员的动作相关的时间序列信息；
获取包含所述时间序列信息中的操作的经过时间、表示与该经过时间对应的单独动作的信息以及从所述时间序列信息中提取出的骨骼数据的动作信息，并生成缩小所述骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离而得到的第二骨骼数据，并且生成将所述动作信息中的所述骨骼数据替换为所述第二骨骼数据而得到的第二动作信息；以及
基于所述第二动作信息，训练模型作为动作识别用模型，所述模型输出示出所述操作人员的动作的信息，所述操作人员的动作属于单独动作中的任一动作。
7.一种存储介质，存储有程序，所述程序使计算机作为获取部、数据生成部以及学习部发挥功能，
所述获取部获取与操作人员的动作相关的时间序列信息，
所述数据生成部获取包含所述时间序列信息中的操作的经过时间、表示与该经过时间对应的单独动作的信息以及从所述时间序列信息中提取出的骨骼数据的动作信息，并生成缩小所述骨骼数据中包含的多个身体部位中上半身所包括的特定身体部位间的铅直方向距离而得到的第二骨骼数据，并且生成将所述动作信息中的所述骨骼数据替换为所述第二骨骼数据而得到的第二动作信息，
所述学习部基于所述第二动作信息，训练模型作为动作识别用模型，所述模型输出示出所述操作人员的动作的信息，所述操作人员的动作属于单独动作中的任一动作。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-109095 | 2020-06-24 | ||
| JP2020109095A JP2022006708A (ja) | 2020-06-24 | 2020-06-24 | 動作認識システム、方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113836991A true CN113836991A (zh) | 2021-12-24 |
| CN113836991B CN113836991B (zh) | 2024-05-31 |
Family
ID=78962473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110513205.XA Active CN113836991B (zh) | 2020-06-24 | 2021-05-11 | 动作识别系统、动作识别方法及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2022006708A (zh) |
| CN (1) | CN113836991B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102578864B1 (ko) * | 2023-06-07 | 2023-09-14 | 주식회사 성원 | 철강 제조 작업자의 모션 데이터를 이용한 인공신경망 학습 장치 및 방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130182958A1 (en) * | 2012-01-13 | 2013-07-18 | Samsung Electronics Co., Ltd. | Apparatus and method for analyzing body part association |
| US20150185731A1 (en) * | 2013-12-26 | 2015-07-02 | Hyundai Motor Company | Work-in-process inspection system using motion detection, and method thereof |
| WO2018131630A1 (ja) * | 2017-01-13 | 2018-07-19 | 三菱電機株式会社 | 作業分析装置および作業分析方法 |
| US20190251341A1 (en) * | 2017-12-08 | 2019-08-15 | Huawei Technologies Co., Ltd. | Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium |
| CN110490034A (zh) * | 2018-05-14 | 2019-11-22 | 欧姆龙株式会社 | 动作分析装置、动作分析方法、记录介质和动作分析系统 |
| CN111316283A (zh) * | 2017-10-31 | 2020-06-19 | Sk电信有限公司 | 姿势识别方法及装置 |
-
2020
- 2020-06-24 JP JP2020109095A patent/JP2022006708A/ja active Pending
-
2021
- 2021-05-11 CN CN202110513205.XA patent/CN113836991B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130182958A1 (en) * | 2012-01-13 | 2013-07-18 | Samsung Electronics Co., Ltd. | Apparatus and method for analyzing body part association |
| US20150185731A1 (en) * | 2013-12-26 | 2015-07-02 | Hyundai Motor Company | Work-in-process inspection system using motion detection, and method thereof |
| WO2018131630A1 (ja) * | 2017-01-13 | 2018-07-19 | 三菱電機株式会社 | 作業分析装置および作業分析方法 |
| CN111316283A (zh) * | 2017-10-31 | 2020-06-19 | Sk电信有限公司 | 姿势识别方法及装置 |
| US20190251341A1 (en) * | 2017-12-08 | 2019-08-15 | Huawei Technologies Co., Ltd. | Skeleton Posture Determining Method and Apparatus, and Computer Readable Storage Medium |
| CN110490034A (zh) * | 2018-05-14 | 2019-11-22 | 欧姆龙株式会社 | 动作分析装置、动作分析方法、记录介质和动作分析系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113836991B (zh) | 2024-05-31 |
| JP2022006708A (ja) | 2022-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20100208038A1 (en) | Method and system for gesture recognition | |
| Mehrizi et al. | Predicting 3-D lower back joint load in lifting: A deep pose estimation approach | |
| JP5699697B2 (ja) | ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法 | |
| CN113850113A (zh) | 动作识别系统、方法及存储介质 | |
| CN114333046A (zh) | 舞蹈动作评分方法、装置、设备和存储介质 | |
| CN110991292A (zh) | 动作识别比对方法、系统、计算机存储介质和电子装置 | |
| CN113836991B (zh) | 动作识别系统、动作识别方法及存储介质 | |
| CN113544738A (zh) | 人体测量数据便携式获取设备和收集人体测量数据的方法 | |
| CN116580169B (zh) | 一种数字人驱动方法及装置、电子设备和存储介质 | |
| JP2000268161A (ja) | 実時間表情検出装置 | |
| JP7339604B2 (ja) | 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム | |
| JP2022006885A (ja) | 動作認識装置、動作認識方法及び動作認識プログラム | |
| CN118176530A (zh) | 行动辨识方法、行动辨识装置以及行动辨识程序 | |
| CN111767886A (zh) | 一种基于移动机器人的动捕跟踪方法 | |
| Tiwari et al. | Deep learning approach for generating 2D pose estimation from video for motion capture animation | |
| US20230049305A1 (en) | Information processing device, program, and method | |
| JP6877072B1 (ja) | 領域抽出装置、領域抽出方法、及び領域抽出プログラム | |
| EP4216171A1 (en) | Information processing device and information processing method | |
| WO2022239291A1 (ja) | 物体検知装置及び方法 | |
| RU2789286C2 (ru) | Портативное устройство получения антропометрических данных и способ сбора антропометрических данных | |
| JP2022108129A (ja) | 特定動作検出装置 | |
| JP2023120848A (ja) | 設定プログラム、検出プログラム、設定方法および設定装置 | |
| JP2024118272A (ja) | 学習装置、推論装置、学習方法、推論方法 | |
| Wang et al. | A Human Body Posture Identification Algorithm Based on Kinect | |
| JP2022189456A (ja) | 行動認識プログラム、行動認識方法および情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |