Nothing Special   »   [go: up one dir, main page]

JP7339604B2 - 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム - Google Patents

動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム Download PDF

Info

Publication number
JP7339604B2
JP7339604B2 JP2019204983A JP2019204983A JP7339604B2 JP 7339604 B2 JP7339604 B2 JP 7339604B2 JP 2019204983 A JP2019204983 A JP 2019204983A JP 2019204983 A JP2019204983 A JP 2019204983A JP 7339604 B2 JP7339604 B2 JP 7339604B2
Authority
JP
Japan
Prior art keywords
motion
worker
motion recognition
body part
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019204983A
Other languages
English (en)
Other versions
JP2021077230A (ja
Inventor
洋貴 和田
健太 西行
佑治 水野
雅 宮崎
タンニー 王
嘉一 森
エンドリ ラマ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019204983A priority Critical patent/JP7339604B2/ja
Priority to CN202011083785.5A priority patent/CN112861596A/zh
Priority to US17/070,886 priority patent/US11443558B2/en
Publication of JP2021077230A publication Critical patent/JP2021077230A/ja
Application granted granted Critical
Publication of JP7339604B2 publication Critical patent/JP7339604B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、動作認識装置、動作認識方法、動作認識プログラム及び動作認識システムに関する。
従来、人物の動作を認識する技術として、対象となる人物が全体としてどのような動作を行っているのかを認識するものが多い。例えば、下記特許文献１では、手話を行う場合に、手指の動作と頭部等の手指以外の動作とを認識し、それらの動作によって表現された手話文を日本語に翻訳している。また、下記特許文献２では、道具を把持した手が取り得る動作と、道具を把持していない手が取り得る動作とを認識し、対象となる人物が道具を把持した状態で行った動作を認識している。
特開２００３－５０６６３号公報 特開２０１３－４５３５１号公報
ところで、工場等で行われる手組み作業では、例えば、右手で物を掴みながら左手でスイッチを入れる等のように、身体の部位ごとに異なる動作を同時に行いながら作業を進めることがある。このような作業を評価する場合に、身体の部位ごとに行われる動作を個別に認識して評価することができれば、例えば、異なる動作を同時に行う巧みな技能を評価することが可能となる。
しかしながら、特許文献１、２は、身体の部位ごとに行われる動作を一体として捉え、その動作全体を評価等の対象として認識することにとどまり、身体の部位ごとに行われる動作を個別に認識することはできない。
そこで、本発明は、身体の部位ごとに行われる動作を個別に認識することができる動作認識装置、動作認識方法、動作認識プログラム及び動作認識システムを提供する。
本開示の一態様に係る動作認識装置は、作業者の動作に関する時系列情報を取得する取得部と、個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成する動作認識部と、前記生成された前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に並べて表示する表示部と、を備える。
この態様によれば、個別の動作を定めた動作情報及び作業者の動作に関する時系列情報に基づいて、個別の動作のいずれかに該当する作業者の動作を身体部位ごとに認識し、その認識した動作に対応する個別の動作の開始時間及び終了時間を含む動作認識結果を身体部位別に生成することができ、さらに、身体部位別の動作認識結果を、時系列に比較できるように、並べて表示することができる。
上記態様において、前記動作情報及び前記時系列情報を入力とし、前記個別の動作のいずれかに該当する前記作業者の動作を示す情報を出力とする学習済モデルを、さらに備え、前記動作認識部は、前記動作情報及び前記時系列情報を前記学習済モデルに入力し、当該学習済モデルから出力される前記個別の動作のいずれかに該当する前記作業者の動作を示す情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識することとしてもよい。
この態様によれば、作業者の動作を認識する際に、動作情報及び時系列情報を学習済モデルに入力し、学習済モデルから出力される、個別の動作のいずれかに該当する作業者の動作を示す情報に基づいて、個別の動作のいずれかに該当する作業者の動作を、身体部位ごとに認識することができる。
上記態様において、前記動作認識部は、前記作業者の身体部位ごとに認識した前記作業者の動作それぞれの前記開始時間及び前記終了時間を算定し、当該算定した開始時間及び終了時間を前記個別の動作に対応付けることで、前記動作認識結果を生成することとしてもよい。
この態様によれば、動作認識結果を生成する際に、作業者の身体部位ごとに認識した作業者の動作それぞれの開始時間及び終了時間を算定し、その算定した開始時間及び終了時間を個別の動作に対応付けて、動作認識結果を生成することができる。
上記態様において、前記時系列情報は、画像センサにより出力される動画であり、前記動作認識部は、前記動画に基づいて、前記作業者の骨格を抽出し、当該抽出した前記骨格の動きに基づいて、前記個別の動作のいずれかに該当する前記作業者の動作を、当該作業者の身体部位ごとに認識することとしてもよい。
この態様によれば、作業者の動作を認識する際に、画像センサにより出力される動画に基づいて、作業者の骨格を抽出し、その抽出した骨格の動きに基づいて、個別の動作のいずれかに該当する作業者の動作を、身体部位ごとに認識することができる。
上記態様において、前記時系列情報は、画像センサにより出力される動画であり、前記動作認識部は、動画像から、前記作業者の動きの特徴量を抽出し、当該抽出した前記特徴量に基づいて、前記個別の動作のいずれかに該当する前記作業者の動作を、当該作業者の身体部位ごとに認識することとしてもよい。
この態様によれば、作業者の動作を認識する際に、画像センサにより出力される動画の画像から、作業者の動きの特徴量を抽出し、その抽出した動きの特徴量に基づいて、個別の動作のいずれかに該当する作業者の動作を、身体部位ごとに認識することができる。
上記態様において、前記作業者の身体部位には、前記作業者の右手、左手及び目が含まれることとしてもよい。
この態様によれば、個別の動作のいずれかに該当する作業者の動作を、右手、左手及び目ごとに認識し、その認識した動作に対応する動作認識結果を右手、左手及び目ごとに生成し、それらの動作認識結果を時系列に比較できるように、並べて表示することができる。
本開示の他の態様に係る動作認識方法は、作業者の動作に関する時系列情報を取得することと、個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成することと、前記生成した前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に並べて表示することと、を含む。
この態様によれば、個別の動作を定めた動作情報及び作業者の動作に関する時系列情報に基づいて、個別の動作のいずれかに該当する作業者の動作を身体部位ごとに認識し、その認識した動作に対応する個別の動作の開始時間及び終了時間を含む動作認識結果を身体部位別に生成することができ、さらに、身体部位別の動作認識結果を、時系列に比較できるように、並べて表示することができる。
本開示の他の態様に係る動作認識プログラムは、コンピュータを、作業者の動作に関する時系列情報を取得する取得部、個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成する動作認識部、前記生成された前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に並べて表示する表示部、として機能させる。
この態様によれば、個別の動作を定めた動作情報及び作業者の動作に関する時系列情報に基づいて、個別の動作のいずれかに該当する作業者の動作を身体部位ごとに認識し、その認識した動作に対応する個別の動作の開始時間及び終了時間を含む動作認識結果を身体部位別に生成することができ、さらに、身体部位別の動作認識結果を、時系列に比較できるように、並べて表示することができる。
本開示の他の態様に係る動作認識システムは、センサと動作認識装置とを備える動作認識システムであって、前記センサは、作業者の動作を検知して当該動作に関する時系列情報を出力する検知部を、備え、前記動作認識装置は、前記時系列情報を取得する取得部と、個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成する動作認識部と、前記生成された前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に並べて表示する表示部と、を備える。
この態様によれば、個別の動作を定めた動作情報及び作業者の動作に関する時系列情報に基づいて、個別の動作のいずれかに該当する作業者の動作を身体部位ごとに認識し、その認識した動作に対応する個別の動作の開始時間及び終了時間を含む動作認識結果を身体部位別に生成することができ、さらに、身体部位別の動作認識結果を、時系列に比較できるように、並べて表示することができる。
本発明によれば、身体の部位ごとに行われる動作を個別に認識することができる動作認識装置、動作認識方法、動作認識プログラム及び動作認識システムを提供することができる。
本発明の実施形態に係る動作認識システムの概要を例示する図である。 本実施形態に係る動作認識システムの機能構成を例示する図である。 本実施形態に係る動作認識装置に記憶される動作情報の一例を示す図である。 （Ａ）、（Ｂ）は、本実施形態に係る動作認識装置に記憶される動作認識結果情報の一例を示す図である。 身体部位別の動作認識結果を時系列に並べて表示する一例を示す図である。 （Ａ）、（Ｂ）は、身体部位別の動作認識結果を説明するための図である。 本実施形態に係る動作認識装置のハードウェア構成を例示する図である。 本実施形態に係る動作認識装置により実行される動作認識処理のフローチャートである。
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。本実施形態に係る動作認識システム１００は、ある作業領域Ｒで行われる作業者Ａの動作を画像センサ２０ａ、２０ｂ、２０ｃで撮影し、その撮影した動画を取得した動作認識装置１０が、作業者Ａの身体部位ごとに動作を認識し、認識した結果を身体部位ごとに時系列に並べて表示するものである。
本実施形態では、作業者Ａの身体部位として、右手、左手及び目を用いて説明するが、作業者Ａの身体部位は、これに限定されない。例えば、頭、右手の指、左手の指、右脚、左脚等を作業者Ａの身体部位として用いることとしてもよい。
作業者Ａの動作には、例えば、各部品箱Ｒａ、Ｒｂ、Ｒｃに収容されている部品を視認する動作、視認した部品を把持する動作、把持した部品を作業スペースＲｄに運搬する動作、作業スペースＲｄに運搬した部品を組み立てる等の部品を調整する動作、及び完成品を収納場所Ｒｅに収納する動作等を含むことができる。
動作認識装置１０が認識対象とする個別の動作は、予め動作情報として記憶させておく。動作認識装置１０は、動作情報と動画とに基づいて、作業者Ａの身体部位ごとに、個別の動作のいずれかに該当する作業者Ａの動作を認識する。そして、動作認識装置１０は、認識した作業者Ａの動作に対応する個別の動作を開始した時間及び終了した時間を含む動作認識結果情報を、作業者Ａの身体部位別に生成する。さらに、動作認識装置１０は、生成した動作認識結果情報に基づいて、身体部位別の動作認識結果を時系列で比較できるように、並べて表示する。
これにより、本実施形態に係る動作認識装置１０によれば、作業者Ａの身体部位ごとに行われる動作を個別に認識し、さらに身体部位別の動作認識結果を時系列に並べて表示することができる。
§２ 構成例
［機能構成］
次に、図２を用いて、本実施形態に係る動作認識システム１００の機能構成について、その一例を説明する。動作認識システム１００は、三台の画像センサ２０ａ、２０ｂ、２０ｃと、動作認識装置１０とを備える。以下において、三台の画像センサ２０ａ、２０ｂ、２０ｃを特に区別して記載する必要がない場合には、画像センサ２０と記載する。動作認識装置１０は、機能的な構成として、例えば、取得部１１、動作認識部１２、表示部１３、学習部１４及び記憶部１９を有する。記憶部１９は、例えば、動画１９ａ、動作情報１９ｂ、動作認識結果情報１９ｃ及び学習済モデル１９ｄを記憶する。各機能構成の詳細を、以下に順次記載する。
＜画像センサ＞
画像センサ２０は、例えば、汎用のカメラであり、作業者Ａが作業領域Ｒで動作を行っている場面を含む動画を撮影する。画像センサ２０は、機能的な構成として、例えば、検知部を有する。検知部は、作業者Ａの動作を検知し、その動作を示す動画を時系列情報として出力する。
ここで、時系列情報は、動画に限定されない。例えば、画像センサ２０の替わりに備えるモーションキャプチャによって測定される作業者Ａの動作を示す座標値に関する情報であったり、画像センサ２０の替わりに備える加速度センサやジャイロセンサを作業者Ａに装着させることによって測定される作業者Ａの動作を示す情報であったり、画像センサ２０の替わりに作業領域Ｒに配置した光電センサによって検知される特定エリアへのＩＮ又はＯＵＴの状態から推測される作業者Ａの動作を示す情報であったりしてもよい。
各画像センサ２０ａ、２０ｂ、２０ｃは、作業領域Ｒの全域及び作業者Ａの全身を撮影できるように配置される。例えば、各画像センサ２０ａ、２０ｂ、２０ｃのそれぞれが、作業領域Ｒの全域及び作業者Ａの全身を撮影できるように配置されてもよいし、各画像センサ２０ａ、２０ｂ、２０ｃのそれぞれが、作業領域Ｒ及び作業者Ａの一部分を撮影し、それぞれの動画を合わせることで作業領域Ｒの全域及び作業者Ａの全身をカバーできるように配置されてもよい。また、各画像センサ２０ａ、２０ｂ、２０ｃが、それぞれ異なる倍率で作業領域Ｒ及び作業者Ａを撮影することとしてもよい。画像センサ２０は、三台備える必要はなく、少なくとも一台以上備えることとすればよい。
＜取得部＞
取得部１１は、作業者Ａが行った動作に関する時系列情報（本実施形態では動画）を画像センサ２０から取得する。取得部１１が取得した時系列情報は、記憶部１９に伝送され、動画１９ａとして記憶される。
＜動作認識部＞
動作認識部１２は、個別の動作を定めた動作情報１９ｂ及び動画１９ａに基づいて、上述した作業者Ａの身体部位ごとに、動作情報１９ｂに設定された個別の動作のいずれかに該当する作業者Ａの動作を認識する。
図３を参照して、動作情報１９ｂの一例について説明する。同図に示す動作情報１９ｂには、個別の動作として、例示的に、視認、把持、運搬、調整という四つの動作が設定されている。
この動作情報１９ｂにおいて、視認は、対象を認識する動作として定義され、把持は、手を対象に移動して把持する動作として定義され、運搬は、対象を目的地に移動する動作として定義され、調整は、目標状態に移行する動作として定義されている。
視認動作に該当する要素として、ＤＩＰ挿入工程に含まれる動作のうち、部品を探る動作、部品の極性を確認する動作、及び部品挿入穴を確認する動作が設定され、ケース嵌合工程に含まれる動作のうち、ベースとカバーを確認する動作、及びフックを確認する動作が設定され、はんだ付け工程に含まれる動作のうち、はんだコテを見る動作、ランドの位置を確認する動作、及びランドへのはんだの濡れ具合を確認する動作が設定され、ネジ締め工程に含まれる動作のうち、電動ドライバーを見る動作、及びネジ山の位置を確認する動作が設定されている。
把持動作に該当する要素として、ＤＩＰ挿入工程に含まれる動作のうち、部品を掴む動作が設定され、ケース嵌合工程に含まれる動作のうち、ベースとカバーを掴む動作が設定され、はんだ付け工程に含まれる動作のうち、はんだコテを掴む動作が設定され、ネジ締め工程に含まれる動作のうち、電動ドライバーを掴む動作が設定されている。
運搬動作に該当する要素として、ＤＩＰ挿入工程に含まれる動作のうち、部品を運ぶ動作が設定され、ケース嵌合工程に含まれる動作のうち、ベースにカバーを運ぶ動作が設定され、はんだ付け工程に含まれる動作のうち、ランドにはんだコテを運ぶ動作、及びはんだ糸をはんだコテの先端に運ぶ動作が設定され、ネジ締め工程に含まれる動作のうち、電動ドライバーをネジ山まで運ぶ動作が設定されている。
調整動作に該当する要素として、ＤＩＰ挿入工程に含まれる動作のうち、部品を挿入する動作が設定され、ケース嵌合工程に含まれる動作のうち、フックを嵌合する動作が設定され、はんだ付け工程に含まれる動作のうち、ランドにはんだコテを当てる動作、及びはんだ糸をはんだコテの先端に当てる動作が設定され、ネジ締め工程に含まれる動作のうち、電動ドライバーでネジを締める動作が設定されている。
なお、図３は、視認、把持、運搬、調整の各動作を個別の動作に設定した場合の動作情報１９ｂを例示したものであるが、個別の動作として設定する動作は、これら各動作に限定されない。個別の動作に設定する動作は、作業者Ａが行う作業の内容に合わせて適宜定めることができる。例えば、上記四つの動作のうち、視認動作に替えて、完成品を収納場所に収納する収納動作を個別の動作に設定することとしてもよい。
また、図３に例示する動作の要素一つ一つを、個別の動作として設定することもできる。この場合、図３に例示する動作の要素のうち、動画１９ａに基づいて、動作の開始時点と動作の終了時点とを判別できる要素に限定して、個別の動作に設定することが好ましい。
図２の説明に戻る。動作認識部１２は、動作情報１９ｂに設定された個別の動作のいずれかに該当する作業者Ａの動作を、身体部位別に認識した場合に、認識した作業者Ａの動作に対応する個別の動作の開始時間及びその個別の動作の終了時間をそれぞれ算定する。開始時間及び終了時間は、例えば、作業対象となる全工程のうち最初の工程が開始された時間を基準とし、その基準とした時間からの経過時間を算出することで定めることができる。そして、動作認識部１２は、算定した開始時間及び終了時間を個別の動作に対応付けることで、身体部位別の動作認識結果を生成する。動作認識部１２が生成した身体部位別の動作認識結果は、記憶部１９に伝送され、動作認識結果情報１９ｃとして記憶される。
図４を参照して、動作認識結果情報１９ｃについて説明する。図４（Ａ）は、作業者Ａの左手の動作認識結果情報１９ｃを例示したものであり、図４（Ｂ）は、作業者Ａの右手の動作認識結果情報１９ｃを例示したものである。
図４（Ａ）に例示する左手の動作認識結果情報１９ｃは、最初の工程が開始されてから１２秒までは、作業者Ａの左手の動作が、個別の動作のいずれにも該当しないと認識され、１２秒から１３秒までの間は、作業者Ａの左手の動作が、個別の動作のうち、把持動作に該当すると認識され、１３秒から１５秒までの間は、作業者Ａの左手の動作が、個別の動作のうち、運搬動作に該当すると認識されたことを示している。
図４（Ｂ）に例示する右手の動作認識結果情報１９ｃは、最初の工程が開始されてから１０秒までは、作業者Ａの右手の動作が、個別の動作のいずれにも該当しないと認識され、１０秒から１１秒までの間は、作業者Ａの右手の動作が、個別の動作のうち、把持動作に該当すると認識され、１１秒から１２秒までの間は、作業者Ａの右手の動作が、個別の動作のうち、運搬動作に該当すると認識されたことを示している。
図２の説明に戻る。動作認識部１２は、個別の動作のいずれかに該当する作業者Ａの動作を認識する際に、学習済モデル１９ｄを利用することができる。この学習済モデル１９ｄは、動作情報１９ｂ及び動画１９ａを入力とし、個別の動作のいずれかに該当する作業者Ａの動作を示す情報を出力とする学習済モデルであり、学習部１４により生成される。学習済モデル１９ｄは、例えば、以下の（ａ）又は（ｂ）の方法により学習させることができる。
（ａ）担当者が動画１９ａを目視で確認しながら、個別の動作に該当する動作を特定し、その特定した動作の開始時間又は終了時間を身体部位ごとに定義した教師データを作成する。学習部１４は、動作情報１９ｂ及び動画１９ａに加え、教師データを学習済モデル１９ｄに入力することで、身体部位ごとの個別の動作と動画１９ａに含まれる身体部位ごとの動作との対応関係を、学習済モデル１９ｄに学習させる。
（ｂ）学習部１４は、動画１９ａの画像（動画像）が急激に変化する変化点を、個別の動作を開始又は終了する候補点として抽出する。担当者が動画１９ａを目視で確認しながら、抽出された候補点ごとに、個別の動作に該当する動作の開始時間又は終了時間とその動作を行う身体部位とを定義していくことで、教師データを作成する。学習部１４は、動作情報１９ｂ及び動画１９ａに加え、教師データを学習済モデル１９ｄに入力することで、身体部位ごとの個別の動作と動画１９ａに含まれる身体部位ごとの動作との対応関係を、学習済モデル１９ｄに学習させる。
動作認識部１２は、動作情報１９ｂ及び動画１９ａを、上記のように学習させた学習済モデル１９ｄに入力し、学習済モデル１９ｄから出力される個別の動作のいずれかに該当する作業者Ａの動作を示す情報に基づいて、作業者Ａの身体部位ごとに、個別の動作のいずれかに該当する作業者Ａの動作を認識する。
動作認識部１２は、動画１９ａに基づいて、作業者Ａの身体部位ごとの動作を認識する際に、例えば、以下の（ア）又は（イ）の手法を用いて認識することができる。
（ア）動画１９ａの画像から、作業者Ａの骨格の動きを示す骨格データを抽出し、その抽出した骨格データに基づいて、作業者Ａの身体部位ごとの動作を認識する。画像から抽出した骨格データに基づいて動作を認識する手法として、例えば、ＳＴ－ＧＣＮ（Spatial Temporal Graph Convolutional Networks）等の公知の動作認識手法を用いることができる。
（イ）動画１９ａの画像から、作業者Ａの動きの特徴量を抽出し、その抽出した動きの特徴量に基づいて、作業者Ａの身体部位ごとの動作を認識する。画像から動きの特徴量を抽出する手法として、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Feature）等の公知の特徴量抽出手法を用いることができる。
動作認識部１２が、動作を認識する間隔は、任意に設定することができ、例えば、動画のフレームレート単位に認識することとしてもよいし、１秒ごと等のように所定時間ごとに認識することとしてもよい。
＜表示部＞
表示部１３は、動作認識結果情報１９ｃに基づいて、身体部位別の動作認識結果を時系列に並べて表示する。図５に、身体部位別の動作認識結果を時系列に並べて表示したグラフを例示する。同図には、身体部位の動作として、右手及び左手の動作が認識され、その認識結果が時系列に並べて表示されている。横軸が時間の経過を表し、上段が右手の動作状態、下段が左手の動作状態を表している。
図５では、個別の動作として、把持、運搬、調整及び収納の各動作が認識されている。把持及び運搬は、主に右手で行われ、調整及び収納は、主に両手で行われていることがわかる。
図６に、初心者と熟練者の両手の動作状態をそれぞれグラフで表した図を例示する。図６（Ａ）は、初心者の右手及び左手の動作状態を時系列に並べて表示した図である。図６（Ｂ）は、熟練者の右手及び左手の動作状態を時系列に並べて表示した図である。図６（Ａ）、（Ｂ）では、個別の動作として、把持、運搬、調整及び収納の各動作が認識されている。
図６（Ａ）の初心者は、図６（Ｂ）の熟練者と比較して、作業のリズムがばらばらであり、両手が共に作業を行っていない時間があることがわかる。さらに、図６（Ａ）のグラフの一部を拡大した拡大図ＥＡを見ると、初心者は、右手と左手とを使って作業を行っているものの、拡大図ＥＡ中の両矢印で示す区間のように、右手と左手とが共に動作していない時間、つまり無駄な時間が発生していることがわかる。
他方、図６（Ｂ）の熟練者は、図６（Ａ）の初心者と比較して、作業のリズムが一定であり、右手で常に作業を行っていることがわかる。さらに、図６（Ｂ）のグラフの一部を拡大した拡大図ＥＢを見ると、熟練者は、両手を使って作業を行っている時間が多く、拡大図ＥＢ中の両矢印で示す区間のように、右手と左手とで別々の動作が行われ、作業時間が短縮されていることがわかる。
［ハードウェア構成］
次に、図７を用いて、本実施形態に係る動作認識装置１０のハードウェア構成について、その一例を説明する。動作認識装置１０は、演算装置に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部１９に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部１９に相当するＲＯＭ（Read only Memory）１０ｃと、通信装置１０ｄと、入力装置１０ｅと、表示部１３に相当する表示装置１０ｆとを有する。これらの各構成は、バスを介して相互にデータを送受信できるように接続される。なお、本実施形態では動作認識装置１０が一台のコンピュータで構成される場合について説明するが、動作認識装置１０は、複数のコンピュータを用いて実現されてもよい。
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムを実行し、データの演算や加工を行う制御部として機能する。ＣＰＵ１０ａは、入力装置１０ｅや通信装置１０ｄから種々の入力データを受信し、入力データを演算した結果を表示装置１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。本実施形態におけるＣＰＵ１０ａは、動画に基づいて、作業者の身体部位ごとの動作を認識し、認識した結果を身体部位ごとに時系列に並べて表示するプログラム（動作認識プログラム）を実行する。
ＲＡＭ１０ｂは、例えば半導体記憶素子で構成され、書き換え可能なデータを記憶する。ＲＯＭ１０ｃは、例えば半導体記憶素子で構成され、読み出し可能かつ書き換え不可能なデータを記憶する。
通信装置１０ｄは、動作認識装置１０を外部機器に接続するインターフェースである。通信装置１０ｄは、例えば、画像センサ２０とＬＡＮ（Local Area Network）やインターネット等の通信ネットワークにより接続され、画像センサ２０から動画を受信する。
入力装置１０ｅは、ユーザからデータの入力を受け付けるインターフェースであり、例えば、キーボード、マウス及びタッチパネルを含むことができる。
表示装置１０ｆは、ＣＰＵ１０ａによる演算結果等を視覚的に表示するインターフェースであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成することができる。
動作認識プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信装置１０ｄにより接続される通信ネットワークを介して提供されてもよい。動作認識装置１０は、ＣＰＵ１０ａが動作認識プログラムを実行することで、図２に示す取得部１１、動作認識部１２、表示部１３及び学習部１４の動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、動作認識装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃとが一体化したＬＳＩ（Large-Scale Integration）を備えることとしてもよい。
§３ 動作例
図８は、本実施形態に係る動作認識装置１０により実行される動作認識処理の一例を示すフローチャートである。
最初に、動作認識装置１０の取得部１１は、作業者Ａが行った動作に関する時系列情報である動画を画像センサ２０から取得する（ステップＳ１０１）。この取得した動画は、動画１９ａとして記憶部１９に記憶される。
続いて、動作認識装置１０の動作認識部１２は、動作情報１９ｂ及び動画１９ａを、学習済モデル１９ｄに入力し、学習済モデル１９ｄから出力される個別の動作に該当する作業者Ａの動作を示す情報に基づいて、個別の動作に該当する作業者Ａの動作を認識し、認識した作業者Ａの動作に対応する動作認識結果を、身体部位ごとに生成する（ステップＳ１０２）。この生成した動作認識結果は、動作認識結果情報１９ｃとして記憶部１９に記憶される。
続いて、動作認識装置１０の表示部１３は、動作認識結果情報１９ｃに基づいて、身体部位別の動作認識結果を時系列に比較できるように、並べて表示する（ステップＳ１０３）。そして、動作認識処理を終了する。
前述したように、本実施形態に係る動作認識装置１０によれば、動作情報１９ｂ及び動画１９ａに基づいて、個別の動作のいずれかに該当する作業者の動作を身体部位ごとに認識し、その認識した動作に対応する動作認識結果情報１９ｃを身体部位別に生成することができる。さらに、本実施形態に係る動作認識装置１０によれば、生成した動作認識結果情報１９ｃに基づいて、身体部位別の動作認識結果を、時系列に比較できるように、並べて表示することができる。
本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。
［付記１］
作業者の動作に関する時系列情報を取得する取得部（１１）と、
個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成する動作認識部（１２）と、
前記生成された前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に、並べて表示する表示部（１３）と、
を備える動作認識装置（１０）。
［付記２］
前記動作情報及び前記時系列情報を入力とし、前記個別の動作のいずれかに該当する前記作業者の動作を示す情報を出力とする学習済モデル（１９ｄ）を、さらに備え、
前記動作認識部（１２）は、前記動作情報及び前記時系列情報を前記学習済モデル（１９ｄ）に入力し、当該学習済モデル（１９ｄ）から出力される前記個別の動作のいずれかに該当する前記作業者の動作を示す情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識する、
付記１記載の動作認識装置（１０）。
［付記３］
前記動作認識部（１２）は、前記作業者の身体部位ごとに認識した前記作業者の動作それぞれの前記開始時間及び前記終了時間を算定し、当該算定した開始時間及び終了時間を前記個別の動作に対応付けることで、前記動作認識結果を生成する、
付記１又は２記載の動作認識装置（１０）。
［付記４］
前記時系列情報は、画像センサ（２０ａ）により出力される動画であり、
前記動作認識部（１２）は、前記動画に基づいて、前記作業者の骨格を抽出し、当該抽出した前記骨格の動きに基づいて、前記個別の動作のいずれかに該当する前記作業者の動作を、当該作業者の身体部位ごとに認識する、
付記１から３のいずれか一項に記載の動作認識装置（１０）。
［付記５］
前記時系列情報は、画像センサ（２０ａ）により出力される動画であり、
前記動作認識部（１２）は、動画像から、前記作業者の動きの特徴量を抽出し、当該抽出した前記特徴量に基づいて、前記個別の動作のいずれかに該当する前記作業者の動作を、当該作業者の身体部位ごとに認識する、
付記１から３のいずれか一項に記載の動作認識装置（１０）。
［付記６］
前記作業者の身体部位には、前記作業者の右手、左手及び目が含まれる、
付記１から５のいずれか一項に記載の動作認識装置（１０）。
［付記７］
作業者の動作に関する時系列情報を取得することと、
個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成することと、
前記生成した前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列で比較できるように、並べて表示することと、
を含む動作認識方法。
［付記８］
コンピュータを、
作業者の動作に関する時系列情報を取得する取得部（１１）、
個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成する動作認識部（１２）、
前記生成された前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に、並べて表示する表示部（１３）、
として機能させる動作認識プログラム。
［付記９］
センサ（２０ａ、２０ｂ、２０ｃ）と動作認識装置（１０）とを備える動作認識システム（１００）であって、
前記センサ（２０ａ、２０ｂ、２０ｃ）は、
作業者の動作を検知して当該動作に関する時系列情報を出力する検知部を、備え、
前記動作認識装置（１０）は、
前記時系列情報を取得する取得部（１１）と、
個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成する動作認識部（１２）と、
前記生成された前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に、並べて表示する表示部（１３）と、を備える、
動作認識システム（１００）。
１０…動作認識装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信装置、１０ｅ…入力装置、１０ｆ…表示装置、１１…取得部、１２…動作認識部、１３…表示部、１４…学習部、１９…記憶部、１９ａ…動画、１９ｂ…動作情報、１９ｃ…動作認識結果情報、１９ｄ…学習済モデル、２０ａ，２０ｂ，２０ｃ…画像センサ、１００…動作認識システム、Ａ…作業者、Ｒ…作業領域、Ｒａ，Ｒｂ，Ｒｃ…部品箱、Ｒｄ…作業スペース、Ｒｅ…完成品収納場所

Claims (9)

  1. 作業者の動作に関する時系列情報を取得する取得部と、
    個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成する動作認識部と、
    前記生成された前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に並べて表示する表示部と、
    を備える動作認識装置。
  2. 前記動作情報及び前記時系列情報を入力とし、前記個別の動作のいずれかに該当する前記作業者の動作を示す情報を出力とする学習済モデルを、さらに備え、
    前記動作認識部は、前記動作情報及び前記時系列情報を前記学習済モデルに入力し、当該学習済モデルから出力される前記個別の動作のいずれかに該当する前記作業者の動作を示す情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識する、
    請求項１記載の動作認識装置。
  3. 前記動作認識部は、前記作業者の身体部位ごとに認識した前記作業者の動作それぞれの前記開始時間及び前記終了時間を算定し、当該算定した開始時間及び終了時間を前記個別の動作に対応付けることで、前記動作認識結果を生成する、
    請求項１又は２記載の動作認識装置。
  4. 前記時系列情報は、画像センサにより出力される動画であり、
    前記動作認識部は、前記動画に基づいて、前記作業者の骨格を抽出し、当該抽出した前記骨格の動きに基づいて、前記個別の動作のいずれかに該当する前記作業者の動作を、当該作業者の身体部位ごとに認識する、
    請求項１から３のいずれか一項に記載の動作認識装置。
  5. 前記時系列情報は、画像センサにより出力される動画であり、
    前記動作認識部は、動画像から、前記作業者の動きの特徴量を抽出し、当該抽出した前記特徴量に基づいて、前記個別の動作のいずれかに該当する前記作業者の動作を、当該作業者の身体部位ごとに認識する、
    請求項１から３のいずれか一項に記載の動作認識装置。
  6. 前記作業者の身体部位には、前記作業者の右手、左手及び目が含まれる、
    請求項１から５のいずれか一項に記載の動作認識装置。
  7. 作業者の動作に関する時系列情報を取得することと、
    個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成することと、
    前記生成した前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に並べて表示することと、
    を含む動作認識方法。
  8. コンピュータを、
    作業者の動作に関する時系列情報を取得する取得部、
    個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成する動作認識部、
    前記生成された前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に並べて表示する表示部、
    として機能させる動作認識プログラム。
  9. センサと動作認識装置とを備える動作認識システムであって、
    前記センサは、
    作業者の動作を検知して当該動作に関する時系列情報を出力する検知部を、備え、
    前記動作認識装置は、
    前記時系列情報を取得する取得部と、
    個別の動作を定めた動作情報及び前記時系列情報に基づいて、前記作業者の身体部位ごとに、前記個別の動作のいずれかに該当する前記作業者の動作を認識し、当該認識した前記作業者の動作に対応する前記個別の動作の開始時間及び終了時間を含む動作認識結果を、前記作業者の身体部位別に生成する動作認識部と、
    前記生成された前記動作認識結果に基づいて、前記身体部位別の前記動作認識結果を時系列に並べて表示する表示部と、を備える、
    動作認識システム。
JP2019204983A 2019-11-12 2019-11-12 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム Active JP7339604B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019204983A JP7339604B2 (ja) 2019-11-12 2019-11-12 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
CN202011083785.5A CN112861596A (zh) 2019-11-12 2020-10-12 动作识别装置、动作识别方法、存储介质及动作识别系统
US17/070,886 US11443558B2 (en) 2019-11-12 2020-10-14 Hand-eye, body part motion recognition and chronologically aligned display of recognized body parts

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019204983A JP7339604B2 (ja) 2019-11-12 2019-11-12 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム

Publications (2)

Publication Number Publication Date
JP2021077230A JP2021077230A (ja) 2021-05-20
JP7339604B2 true JP7339604B2 (ja) 2023-09-06

Family

ID=75846682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019204983A Active JP7339604B2 (ja) 2019-11-12 2019-11-12 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム

Country Status (3)

Country Link
US (1) US11443558B2 (ja)
JP (1) JP7339604B2 (ja)
CN (1) CN112861596A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387069B1 (ja) * 2022-02-04 2023-11-27 三菱電機株式会社 機械学習装置、熟練行動判定装置、機械学習方法、及び機械学習プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143358A1 (en) 2009-10-27 2012-06-07 Harmonix Music Systems, Inc. Movement based recognition and evaluation
JP2012181736A (ja) 2011-03-02 2012-09-20 Panasonic Corp 姿勢推定装置、姿勢推定システム、および姿勢推定方法
JP2013088730A (ja) 2011-10-21 2013-05-13 Toyota Motor East Japan Inc 技能習得支援システム及び技能習得支援方法
JP2019040421A (ja) 2017-08-25 2019-03-14 株式会社東芝 検出システムおよび検出方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3949913B2 (ja) 2001-08-06 2007-07-25 株式会社日立製作所 手話文認識装置およびユーザインタフェース
JP2007094619A (ja) * 2005-09-28 2007-04-12 Omron Corp 認識装置および方法、記録媒体、並びに、プログラム。
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US9358456B1 (en) * 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US9604142B2 (en) * 2010-08-26 2017-03-28 Blast Motion Inc. Portable wireless mobile device motion capture data mining system and method
JP5904730B2 (ja) 2011-08-25 2016-04-20 キヤノン株式会社 動作認識装置および動作認識方法
JP5862143B2 (ja) * 2011-09-15 2016-02-16 オムロン株式会社 ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
US10223580B2 (en) * 2013-03-26 2019-03-05 Disney Enterprises, Inc. Methods and systems for action recognition using poselet keyframes
US9858678B2 (en) * 2013-06-12 2018-01-02 Agency For Science, Technology And Research Method and system for human motion recognition
KR101711488B1 (ko) * 2015-01-28 2017-03-03 한국전자통신연구원 동작 기반 인터랙티브 서비스 방법 및 시스템
US11940550B2 (en) * 2015-07-17 2024-03-26 Origin Wireless, Inc. Method, apparatus, and system for wireless monitoring to ensure security
AU2016343813A1 (en) * 2015-10-29 2018-05-10 Sharp Fluidics Llc Systems and methods for data capture in an operating room
US10063560B2 (en) * 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication
CA3042535C (en) * 2016-11-03 2022-05-17 Zimmer, Inc. Augmented reality therapeutic movement display and gesture analyzer
US10943136B1 (en) * 2017-01-19 2021-03-09 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating a vehicle driver signature
CN110770688B (zh) * 2017-06-12 2024-08-02 索尼公司 信息处理系统、信息处理方法及程序
JP2019032593A (ja) * 2017-08-04 2019-02-28 オリンパス株式会社 撮影システム、撮影装置、および撮影方法
US10695611B2 (en) * 2017-08-14 2020-06-30 AssessLink LLC Physical education kinematic motor skills testing system
US10679044B2 (en) * 2018-03-23 2020-06-09 Microsoft Technology Licensing, Llc Human action data set generation in a machine learning system
WO2019220436A2 (en) * 2018-05-14 2019-11-21 BrainVu Ltd. Driver predictive mental response profile and application to automated vehicle brain interface control
US10706584B1 (en) * 2018-05-18 2020-07-07 Facebook Technologies, Llc Hand tracking using a passive camera system
KR102152717B1 (ko) * 2018-08-28 2020-09-07 한국전자통신연구원 휴먼 행동 인식 장치 및 방법
JP7103078B2 (ja) * 2018-08-31 2022-07-20 オムロン株式会社 作業支援装置、作業支援方法及び作業支援プログラム
US10860845B2 (en) * 2018-10-22 2020-12-08 Robert Bosch Gmbh Method and system for automatic repetitive step and cycle detection for manual assembly line operations
US11087577B2 (en) * 2018-12-14 2021-08-10 Johnson Controls Tyco IP Holdings LLP Systems and methods of secure pin code entry
CA3143228A1 (en) * 2019-06-21 2020-12-24 Flex Artificial Intelligence Inc. Method and system for measuring and analyzing body movement, positioning and posture
KR102306392B1 (ko) * 2019-08-19 2021-09-30 한국과학기술연구원 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치
US10956724B1 (en) * 2019-09-10 2021-03-23 Facebook Technologies, Llc Utilizing a hybrid model to recognize fast and precise hand inputs in a virtual environment
CN110705390A (zh) * 2019-09-17 2020-01-17 平安科技（深圳）有限公司 基于lstm的形体姿态识别方法、装置及存储介质
JP7385826B2 (ja) * 2019-11-08 2023-11-24 オムロン株式会社 動作分析装置、動作分析方法及び動作分析プログラム
WO2021178250A1 (en) * 2020-03-02 2021-09-10 DeepHow Corp. System and method for capturing, indexing and extracting digital workflow from videos using artificial intelligence
US20210287433A1 (en) * 2020-03-10 2021-09-16 Sony Corporation Providing a 2-dimensional dataset from 2-dimensional and 3-dimensional computer vision techniques
CN111460238B (zh) * 2020-04-03 2023-05-12 广东高驰运动科技股份有限公司 利用智能手表记录路亚钓鱼数据的方法及智能手表

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143358A1 (en) 2009-10-27 2012-06-07 Harmonix Music Systems, Inc. Movement based recognition and evaluation
JP2012181736A (ja) 2011-03-02 2012-09-20 Panasonic Corp 姿勢推定装置、姿勢推定システム、および姿勢推定方法
JP2013088730A (ja) 2011-10-21 2013-05-13 Toyota Motor East Japan Inc 技能習得支援システム及び技能習得支援方法
JP2019040421A (ja) 2017-08-25 2019-03-14 株式会社東芝 検出システムおよび検出方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yasuyo KOTAKE et al.，Evaluating Worker's Proficiency from Body and Eye Movements in Manufacturing Operations，2018 IEEE International Conference on Systems, Man, and Cybernetics(SMC)，日本，IEEE，2018年10月，pp.1451-1456
鶴田泰士他，顔及び手領域による身振り認識システム，第５９回（平成１１年後期）全国大会講演論文集（２），日本，社団法人情報処理学会，1999年09月28日，pp.2-191～2-192

Also Published As

Publication number Publication date
CN112861596A (zh) 2021-05-28
US11443558B2 (en) 2022-09-13
JP2021077230A (ja) 2021-05-20
US20210142049A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
US11403882B2 (en) Scoring metric for physical activity performance and tracking
JP7561319B2 (ja) 動作認識システム、方法及びプログラム
US20210286983A1 (en) Estimation method, and computer-readable recording medium recording estimation program
CN114529639A (zh) 一种生成虚拟形象动画的方法、装置、设备及存储介质
CN104914989A (zh) 姿势辨识装置以及姿势辨识装置的控制方法
Moutinho et al. Deep learning-based human action recognition to leverage context awareness in collaborative assembly
CN117523659A (zh) 基于骨架的多特征多流实时动作识别方法、装置和介质
JP7393720B2 (ja) 技能評価装置、技能評価方法及び技能評価プログラム
JP7339604B2 (ja) 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
CN112416126B (zh) 页面滚动控制方法和装置、存储介质及电子设备
JP7061272B2 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
JP7137150B2 (ja) 動作分析装置、動作分析方法及び動作分析プログラム
CN116740618A (zh) 一种运动视频动作评估方法、系统、计算机设备及介质
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
CN113836991B (zh) 动作识别系统、动作识别方法及存储介质
JP7385825B2 (ja) 動作分析装置、動作分析方法及び動作分析プログラム
JP2022006885A (ja) 動作認識装置、動作認識方法及び動作認識プログラム
JP7211495B2 (ja) 教師データ生成装置
WO2020194386A1 (ja) 情報処理装置、判定出力方法、及び判定出力プログラム
JP2009110239A (ja) 作業動作分析システム及び作業動作分析方法
WO2022153597A1 (ja) 作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラム
US20230237843A1 (en) Information processing device
KR102191337B1 (ko) 감정인식을 위한 비디오 데이터 구축 방법 및 시스템
JP7211496B2 (ja) 教師データ生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230808

R150 Certificate of patent or registration of utility model

Ref document number: 7339604

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150