Nothing Special   »   [go: up one dir, main page]

JP5550124B2 - 入力装置、機器、入力方法およびプログラム - Google Patents

入力装置、機器、入力方法およびプログラム Download PDF

Info

Publication number
JP5550124B2
JP5550124B2 JP2012180912A JP2012180912A JP5550124B2 JP 5550124 B2 JP5550124 B2 JP 5550124B2 JP 2012180912 A JP2012180912 A JP 2012180912A JP 2012180912 A JP2012180912 A JP 2012180912A JP 5550124 B2 JP5550124 B2 JP 5550124B2
Authority
JP
Japan
Prior art keywords
body motion
command
coordinates
predetermined
predetermined body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012180912A
Other languages
English (en)
Other versions
JP2014038513A (ja
Inventor
尊文 黒河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC System Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012180912A priority Critical patent/JP5550124B2/ja
Application filed by NEC System Technologies Ltd filed Critical NEC System Technologies Ltd
Priority to US14/422,127 priority patent/US9965041B2/en
Priority to EP13879456.5A priority patent/EP2887317A4/en
Priority to CA2882005A priority patent/CA2882005A1/en
Priority to PCT/JP2013/071872 priority patent/WO2014027659A1/ja
Priority to KR1020157003797A priority patent/KR20150034257A/ko
Priority to CN201380044002.4A priority patent/CN104584078A/zh
Priority to TW102129619A priority patent/TWI526877B/zh
Priority to TW105100351A priority patent/TWI574177B/zh
Publication of JP2014038513A publication Critical patent/JP2014038513A/ja
Application granted granted Critical
Publication of JP5550124B2 publication Critical patent/JP5550124B2/ja
Priority to IL237223A priority patent/IL237223A0/en
Priority to HK15107955.1A priority patent/HK1207462A1/xx
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、機器の操作部を直に操作しないユーザの身体動作から、機器を操作する、または機器の機能を実行させるコマンド情報を生成する入力装置、機器、入力方法およびプログラムに関する。
カメラで撮影した画像を用い、機器の操作部を直に操作しないユーザの身体動作によって、機器の遠隔操作を可能にするコマンド入力技術がある。
特許文献１には、簡単なジェスチャによる情報選択操作でもロバスト性の高いユーザインタフェースを実現した情報処理装置が開示されている。
特許文献２には、省電力化を実現しつつ、ポスチャやジェスチャによる操作を高い精度で検出する画像処理装置が開示されている。
特許文献３には、カメラにより得られる画像を利用してジェスチャを安定して認識するジェスチャ認識装置が開示されている。
特許文献４には、操作者の撮像画像を解析して操作者が手の動きで示した操作情報を機器へ入力する操作情報入力装置において、手の円軌道の動きを正確に検出・認識できるアルゴリズムを提供し、信頼性の高い操作情報入力を実現する操作情報入力装置が開示されている。
特許文献５には、 ユーザの手の動きなどに基づくコマンド入力を実現する装置および方法が開示されている。
特開２０１１−２５３２９２号公報 特開２０１１−２２１６７２号公報 特開２０１１−０７６２５５号公報 特開２００７−１７２５７７号公報 特開２００７−０３４５２５号公報
特許文献１〜５に示すような技術では、手の動きのパターンマッチングや、手の軌跡情報により形状を認識し、各身体動作の軌跡の形状にコマンドを割り当てる。しかし、コマンドの数を増やす場合には、身体動作の軌跡の形状パターンを増やす必要があり、操作体系が複雑になり操作者にとって操作が煩雑になるという課題があった。また、身体動作の軌跡の形状パターンを増やすことにより、形状の認識率が低下するといった課題もあった。
本発明は、上記事情に鑑みてなされたものであり、カメラ画像を用い、ユーザの身体動作で機器の遠隔操作を可能にするコマンド入力技術に関して、１つの身体動作の軌跡形状に複数のコマンドを割り振ることを可能にすることを目的とする。
本発明の第１の観点に係るにかかる入力装置は、
ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置であって、
カメラが撮影した画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
を備え、
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする。
本発明の第２の観点に係るにかかる機器は、
機能を実行する機能部を備え、ユーザが身体部分を動かす身体動作から、前記機能を実行させるコマンド情報を生成する機器であって、
カメラが撮影した画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機能を実行させるコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
を備え、
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする。
本発明の第３の観点に係るにかかる入力方法は、
ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置が実行する、
カメラが撮影した画像を取得する画像取得ステップと、
前記画像取得ステップで取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析ステップと、
前記画像解析ステップで抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出ステップと、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定ステップと、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出ステップと、
記憶手段が記憶する、前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と前記機器を操作するコマンドとを対応付けたコマンド対応表を参照し、前記身体動作判定ステップで検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出ステップで検出した前記所定の身体動作の開始座標に対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成ステップと、
を備え、
前記開始座標検出ステップで前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成ステップでは、前記身体動作判定ステップで検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出ステップで前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする。
本発明の第４の観点に係るにかかるプログラムは、コンピュータを、
カメラが撮影した画像を取得する画像取得手段、
前記画像取得手段が取得した前記画像を解析し、ユーザの身体部分の画像領域を抽出する画像解析手段、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、対象の機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段、および、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成するコマンド生成手段、
として機能させ、
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする。
本発明によれば、カメラ画像を用い、ユーザの身体動作で機器の遠隔操作を可能にするコマンド入力技術に関して、１つの身体動作の軌跡形状に複数のコマンドを割り振ることが可能となる。
本発明の実施の形態に係る入力装置の構成例を示すブロック図である。 実施の形態に係る入力装置の動作の一例を示すフローチャートである。 実施の形態に係るサークルジェスチャの例を示す図である。 実施の形態に係るコマンド対応表の一例を示す図である。 実施の形態に係る入力装置のハードウェア構成の一例を示すブロック図である。
以下、この発明の実施の形態について説明する。
図１は、本発明の実施の形態に係る入力装置の構成例を示すブロック図である。実施の形態に係る入力装置１は、画像取得部１１と、画像解析部１２と、座標抽出部１３と、記憶部１４と、身体動作判定部１５と、開始座標検出部１６と、コマンド生成部１７と、で構成される。入力装置１は、対象の機器を操作するコマンドを示すコマンド情報を生成し、対象の機器に送信する。あるいは、入力装置１は、機器に内蔵されてもよい。
画像取得部１１は、カメラに接続され、カメラが撮影した画像を受信する。あるいは、画像取得部１１は、カメラを備え、カメラが撮影した画像を取得する。ユーザが撮影されている向きを認識できるように、カメラの向きは固定されている。画像取得部１１は、取得した画像を画像解析部１２に送る。また、画像取得部１１は、取得した画像を記憶部１４に記憶させる。
画像解析部１２は、画像取得部１１から受け取った画像と、記憶部１４が記憶する過去の画像とを解析し、被写体が動いている画像領域（以下、動き領域という）を抽出する。画像解析部１２は、パターンマッチングなどにより、動き領域から手を検出し、手の画像領域を抽出する。画像解析部１２は抽出した手の画像領域を示す手領域情報を座標抽出部１３に送る。
また、動き領域の抽出方法はこれに限らず、カメラが固定されており、ユーザ以外の被写体が動かないとすれば、ユーザが写っていない画像（動きのない画像）をあらかじめ記憶し、これと比較することで動き領域を抽出してもよい。あるいは、取得した画像を時系列で比較し、前後で一致しない座標を動き領域に含んでもよい。また、画像解析部１２は、パターンマッチングなどにより、画像から手を検出し、直接手の画像領域を抽出してもよい。
座標抽出部１３は、画像解析部１２から受け取った手領域情報が示す手の画像領域から、特徴点の座標を抽出する。本実施の形態では、特徴点の座標は、手の重心を示す座標である。座標抽出部１３は、抽出した手の重心を示す座標から手の動き量および方向を算出し、手の動きを示す身体動作情報を生成する。座標抽出部１３は、生成した身体動作情報を記憶部１４に記憶させる。
なお、特徴点の座標は、手の重心を示す座標に限らず、たとえば１本だけ立てた指の指先の座標や、縦の長さの中心線と横の長さの中心線との交点など、手の画像領域に含まれる他の特徴点の座標でもよい。
記憶部１４は、画像取得部１１から受け取った画像を記憶する。また、記憶部１４は、座標抽出部１３から受け取った身体動作情報を記憶する。
身体動作判定部１５は、記憶部１４が記憶する身体動作情報に基づいて、サークルジェスチャが行われたか否かを判定する。サークルジェスチャとは、手で概略の円を描く身体動作である。サークルジェスチャであるか否かは、たとえば、身体動作情報が示す手の動きが、あらかじめ記憶する円軌道パターンに該当するか否かで判定する。
なお、身体動作判定部１５が判定する身体動作は、サークルジェスチャに限らず、中央の座標を検出可能な軌跡形状の身体動作であればよい。特に、円や三角や四角など、閉じた軌跡形状の身体動作であれば、開始座標と中央の座標の位置関係をユーザが認識しやすい。中央の座標とは、たとえば、重心や、内心・外心、中点、縦の長さの中心線と横の長さの中心線との交点など、身体動作の軌跡形状のほぼ中央に位置する点の座標である。
サークルジェスチャが行われたと判定した場合、身体動作判定部１５は、身体動作情報に基づいて、サークルジェスチャの軌跡形状の中央の座標を検出する。本実施の形態では、中央の座標は、サークルの重心を示す座標である。身体動作判定部１５は、検出したサークルの重心の座標を示す重心座標情報を開始座標検出部１６に送る。
開始座標検出部１６は、身体動作判定部１５から重心座標情報を受け取ると、記憶部１４が記憶する身体動作情報に基づいて、サークルジェスチャの開始座標を検出する。開始座標検出部１６は、検出したサークルジェスチャの開始座標を示す開始座標情報と、重心座標情報とをコマンド生成部１７に送る。
開始座標検出部１６は、検出したサークルジェスチャの開始座標を記憶部１４に記憶させることとし、サークルジェスチャの開始座標を検出できなかった場合、前回検出したサークルジェスチャの開始座標を示す開始座標情報を利用してもよい。
記憶部１４は、開始座標情報および重心座標情報の位置関係と、対象の機器を操作するコマンドを示すコマンド情報とを対応付けたコマンド対応表をあらかじめ記憶している。
コマンド生成部１７は、開始座標検出部１６から受け取った開始座標情報および重心座標情報と、記憶部１４が記憶するコマンド対応表とを照合し、入力されたコマンドを特定する。コマンド生成部１７は、特定したコマンドを示すコマンド情報を生成し、対象の機器に送信する。入力装置１が機器に内蔵される場合は、コマンド生成部１７は、機器の機能を実行する機能部にコマンド情報を送る。
画像解析部１２などが、記憶部１４が記憶する過去の画像や身体動作情報を利用しない場合、コマンド生成部１７は、コマンド情報を対象の機器に送信すると、記憶部１４が記憶する画像や身体動作情報を削除してもよい。
身体動作判定部１５が判定する身体動作が、閉じた軌跡形状の身体動作である場合には、身体動作判定部１５は、さらに、身体動作情報に基づいて、身体動作の軌跡の方向を検出してもよい。この場合、コマンド対応表では、開始座標情報および重心座標情報の位置関係と、身体動作の軌跡の方向と、対象の機器を操作するコマンドとを対応付ける。コマンド生成部１７は、開始座標検出部１６から受け取った開始座標情報および重心座標情報と、身体動作の軌跡の方向と、記憶部１４が記憶するコマンド対応表とを照合し、入力されたコマンドを特定する。これによれば、コマンドを対応付ける要素に身体動作の軌跡の方向を加えることにより組み合わせの数が増え、１つの身体動作の軌跡形状にさらに多くのコマンドを割り振ることが可能となる。
図２は、実施の形態に係る入力装置の動作の一例を示すフローチャートである。図２の処理は、入力装置１の電源がＯＮになると開始する。
画像取得部１１が、カメラの撮影画像を取得した場合（ステップＳ１１；ＹＥＳ）、画像解析部１２は、画像取得部１１から受け取った画像と、記憶部１４が記憶する過去の画像と比較し、動き領域を抽出する（ステップＳ１２）。カメラの撮影画像を取得しない場合（ステップＳ１１；ＮＯ）、Ｓ１１を繰り返す。
たとえば、カメラが人の動きを検知する人感センサを備え、人の動きを検知するとカメラが起動して撮影を開始し、画像取得部１１はカメラの撮影画像を取得する。あるいは、ユーザがカメラを起動させると、カメラは撮影を開始し、画像取得部１１はカメラの撮影画像を取得する。また、画像取得部１１は、入力装置１の電源がＯＮになっている間、常に画像を取得してもよい。
画像解析部１２は、動き領域から手を検出し、手の画像領域を抽出する（ステップＳ１３）。画像解析部１２は抽出した手の画像領域を示す手領域情報を座標抽出部１３に送る。座標抽出部１３は、画像解析部１２から受け取った手領域情報が示す手の画像領域から、手の重心を示す座標を抽出する（ステップＳ１４）。
座標抽出部１３は、抽出した手の重心を示す座標から手の動き量および方向を算出し、身体動作情報を生成する（ステップＳ１５）。座標抽出部１３は、生成した身体動作情報を記憶部１４に記憶させる。
身体動作判定部１５は、記憶部１４が記憶する身体動作情報から、手の動きがサークルジェスチャであるか否かを判定する（ステップＳ１６）。サークルジェスチャでなかった場合（ステップＳ１６；ＮＯ）、ステップＳ１１に戻り、ステップＳ１１〜ステップＳ１６を繰り返す。
サークルジェスチャであった場合（ステップＳ１６；ＹＥＳ）、身体動作判定部１５は、記憶部１４が記憶する身体動作情報に基づいて、サークルジェスチャのサークルの重心の座標を検出する（ステップＳ１７）。身体動作判定部１５は、抽出したサークルの重心の座標を示す重心座標情報を開始座標検出部１６に送る。
開始座標検出部１６は、身体動作判定部１５から重心座標情報を受け取ると、記憶部１４が記憶する身体動作情報に基づいて、サークルジェスチャの開始座標を検出する（ステップＳ１８）。
サークルジェスチャの開始座標を検出した場合（ステップＳ１８；ＹＥＳ）、開始座標検出部１６は、今回検出したサークルジェスチャの開始座標を示す開始座標情報と、重心座標情報とをコマンド生成部１７に送る。開始座標検出部１６は、検出したサークルジェスチャの開始座標を記憶部１４に記憶させる。コマンド生成部１７は、開始座標情報および重心座標情報に基づいて、今回検出したサークルジェスチャの開始座標とサークルの重心座標との位置関係を比較する（ステップＳ１９）。
サークルジェスチャの開始座標を検出できなかった場合（ステップＳ１８；ＮＯ）、開始座標検出部１６は、前回検出したサークルジェスチャの開始座標を示す開始座標情報と、重心座標情報とをコマンド生成部１７に送る。コマンド生成部１７は、開始座標情報および重心座標情報に基づいて、前回検出したサークルジェスチャの開始座標とサークルの重心座標との位置関係を比較する（ステップＳ２０）。
コマンド生成部１７は、サークルジェスチャの開始座標とサークルの重心座標との位置関係と、記憶部１４が記憶するコマンド対応表を照合し、どのコマンドが入力されたかを特定する（ステップＳ２１）。コマンド生成部１７は、特定したコマンドを示すコマンド情報を生成し、対象の機器に送信する（ステップＳ２２）。
入力装置１の電源がＯＦＦになっていなければ（ステップＳ２３；ＮＯ）、ステップＳ１１に戻り、ステップＳ１１〜ステップＳ２２を繰り返す。入力装置１の電源がＯＦＦになると（ステップＳ２３；ＹＥＳ）、処理を終了する。
なお、サークルジェスチャの開始座標を検出できなかった場合（ステップＳ１８；ＮＯ）、ステップＳ２３に移行してもよい。この場合、開始座標検出部１６は、検出したサークルジェスチャの開始座標を記憶部１４に記憶させなくてもよい。
図３は、実施の形態に係るサークルジェスチャの例を示す図である。入力装置１は、同じ円を描く身体動作の軌跡形状であっても、サークルの重心座標Ｇと、サークルジェスチャの開始座標Ｓとの位置関係によって異なる身体動作として認識する。図３の例では、開始座標Ｓが重心座標Ｇの下のサークルジェスチャ、開始座標Ｓが重心座標Ｇの左のサークルジェスチャ、開始座標Ｓが重心座標Ｇの上のサークルジェスチャ、開始座標Ｓが重心座標Ｇの右のサークルジェスチャ、を示している。
図４は、実施の形態に係るコマンド対応表の一例を示す図である。図４では、対象の機器がテレビである場合の例を示す。図３の４つのサークルジェスチャに、それぞれ「音量を大きく」、「チャンネルを進める」、「音量を小さく」、「チャンネルを戻す」、といったテレビを操作するコマンドを対応付けられている。
たとえば、ユーザが次のチャンネルに進めたい場合は、図３に示す、開始座標Ｓが重心座標Ｇの左にあるサークルジェスチャを行えばよい。この操作について、図２のフローチャートを参照して説明する。
ユーザが、開始座標Ｓが重心座標Ｇの左にあるサークルジェスチャを行うと、画像取得部１１は、カメラの撮影画像を取得し（ステップＳ１１；ＹＥＳ）、画像解析部１２は、画像取得部１１から受け取った画像と、記憶部１４が記憶する過去の画像と比較し、動き領域を抽出する（ステップＳ１２）。画像解析部１２は、動き領域から手を検出し、手の画像領域を抽出する（ステップＳ１３）。
座標抽出部１３は、画像解析部１２が抽出した手の画像領域から手の重心を示す座標を抽出し（ステップＳ１４）、手の動きを示す身体動作情報を生成する（ステップＳ１５）。身体動作判定部１５は、身体動作情報から、手の動きがサークルジェスチャであると判定し（ステップＳ１６；ＹＥＳ）、サークルジェスチャのサークルの重心座標Ｇを検出する（ステップＳ１７）。
開始座標検出部１６は、身体動作情報に基づいて、サークルジェスチャの開始座標Ｓを検出する（ステップＳ１８；ＹＥＳ）。コマンド生成部１７は、今回検出したサークルジェスチャの開始座標Ｓとサークルの重心座標Ｇとの位置関係を比較し（ステップＳ１９）、「開始座標Ｓが重心座標Ｇの左」という位置関係と、図４に示すコマンド対応表を照合し、「チャンネルを進める」というコマンドを特定する（ステップＳ２１）。コマンド生成部１７は、「チャンネルを進める」というコマンドを示すコマンド情報を生成し、テレビに送信する（ステップＳ２２）。
テレビは、「チャンネルを進める」というコマンドを示すコマンド情報を受信すると、「チャンネルを進める」というコマンドを実行する。このように、ユーザは、遠隔操作でテレビのチャンネルを次のチャンネルに進めることができる。
本実施の形態の入力装置１によれば、カメラ画像を用い、ユーザの身体動作で機器の遠隔操作を可能にするコマンド入力技術に関して、身体動作の軌跡形状の中央の座標と、身体動作の開始座標との位置関係によって、異なる身体動作として認識することで、１つの身体動作の軌跡形状に複数のコマンドを割り振ることが可能となる。
実施の形態では、機器の操作部を直に操作しないユーザの身体動作として、手を動かす身体動作を認識しているが、本発明はこれに限らない。たとえば、ユーザの頭や顔などを認識して、首を振る、うなずく、頭を回すなどの身体動作を認識してもよいし、足を使った身体動作を認識してもよい。あるいは、全身を使った身体動作を認識してもよい。
図５は、実施の形態に係る入力装置のハードウェア構成の一例を示すブロック図である。
制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム３９に従って、画像解析部１２、座標抽出部１３、身体動作判定部１５、開始座標検出部１６およびコマンド生成部１７の各処理を実行する。
主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、入力装置１の処理を制御部３１に行わせるためのプログラムをあらかじめ記憶し、また、制御部３１の指示に従って、このプログラムが記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。記憶部１４は、外部記憶部３３に構成される。
入力部３４は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入力装置１がカメラと接続される場合は、入力部３４はカメラと接続し、画像取得部１１として機能する。なお、入力装置１がカメラを内蔵する場合は、入力部３４に代えてカメラを備える。
通信部３５は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースなどで構成され、コマンド生成部１７として機能する。
図１に示す画像取得部１１、画像解析部１２、座標抽出１３、身体動作判定部１５、開始座標検出部１６およびコマンド生成部１７の処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、入力部３４および通信部３５を資源として用いて処理することによって実行する。
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
制御部３１、主記憶部３２、外部記憶部３３、内部バス３０などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する入力装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで入力装置１を構成してもよい。
また、入力装置１の機能を、ＯＳとアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置であって、
カメラが撮影した画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
を備えることを特徴とする入力装置。
（付記２）
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする付記１に記載の入力装置。
（付記３）
前記所定の身体動作は、閉じた軌跡を描く身体動作であって、
前記コマンド対応表は、前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記所定の身体動作の軌跡の方向と、前記機器を操作する前記コマンドとを対応付けており、
前記身体動作判定手段は、前記所定の身体動作が行われたと判定した場合、さらに、前記所定の身体動作の軌跡の方向を検出し、
前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記身体動作判定手段が検出した前記所定の身体動作の軌跡の方向と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成する
ことを特徴とする付記１または２に記載の入力装置。
（付記４）
前記所定の身体動作の軌跡形状の中央の座標は、前記軌跡で囲まれる図形の重心の座標であることを特徴とする付記１ないし３のいずれかに記載の入力装置。
（付記５）
機能を実行する機能部を備え、ユーザが身体部分を動かす身体動作から、前記機能を実行させるコマンド情報を生成する機器であって、
カメラが撮影した画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機能を実行させるコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
を備えることを特徴とする機器。
（付記６）
ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置が実行する、
カメラが撮影した画像を取得する画像取得ステップと、
前記画像取得ステップで取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析ステップと、
前記画像解析ステップで抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出ステップと、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定ステップと、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出ステップと、
記憶手段が記憶する、前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と前記機器を操作するコマンドとを対応付けたコマンド対応表を参照し、前記身体動作判定ステップで検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出ステップで検出した前記所定の身体動作の開始座標に対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成ステップと、
を備えることを特徴とする入力方法。
（付記７）
コンピュータを、
カメラが撮影した画像を取得する画像取得手段、
前記画像取得手段が取得した前記画像を解析し、ユーザの身体部分の画像領域を抽出する画像解析手段、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、対象の機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段、および、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成するコマンド生成手段、
として機能させることを特徴とするプログラム。
１ 入力装置
１１ 画像取得部
１２ 画像解析部
１３ 座標抽出部
１４ 記憶部
１５ 身体動作判定部
１６ 開始座標検出部
１７ コマンド生成部
３１ 制御部
３２ 主記憶部
３３ 外部記憶部
３４ 入力部
３５ 通信部
３９ 制御プログラム

Claims (6)

  1. ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置であって、
    カメラが撮影した画像を取得する画像取得手段と、
    前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
    前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
    前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
    前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
    前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
    前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
    を備え、
    前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする入力装置。
  2. 前記所定の身体動作は、閉じた軌跡を描く身体動作であって、
    前記コマンド対応表は、前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記所定の身体動作の軌跡の方向と、前記機器を操作する前記コマンドとを対応付けており、
    前記身体動作判定手段は、前記所定の身体動作が行われたと判定した場合、さらに、前記所定の身体動作の軌跡の方向を検出し、
    前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記身体動作判定手段が検出した前記所定の身体動作の軌跡の方向と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成する
    ことを特徴とする請求項１に記載の入力装置。
  3. 前記所定の身体動作の軌跡形状の中央の座標は、前記軌跡で囲まれる図形の重心の座標であることを特徴とする請求項１または２に記載の入力装置。
  4. 機能を実行する機能部を備え、ユーザが身体部分を動かす身体動作から、前記機能を実行させるコマンド情報を生成する機器であって、
    カメラが撮影した画像を取得する画像取得手段と、
    前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
    前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
    前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
    前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
    前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機能を実行させるコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
    前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
    を備え、
    前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする機器。
  5. ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置が実行する、
    カメラが撮影した画像を取得する画像取得ステップと、
    前記画像取得ステップで取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析ステップと、
    前記画像解析ステップで抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出ステップと、
    前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定ステップと、
    前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出ステップと、
    記憶手段が記憶する、前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と前記機器を操作するコマンドとを対応付けたコマンド対応表を参照し、前記身体動作判定ステップで検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出ステップで検出した前記所定の身体動作の開始座標に対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成ステップと、
    を備え、
    前記開始座標検出ステップで前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成ステップでは、前記身体動作判定ステップで検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出ステップで前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする入力方法。
  6. コンピュータを、
    カメラが撮影した画像を取得する画像取得手段、
    前記画像取得手段が取得した前記画像を解析し、ユーザの身体部分の画像領域を抽出する画像解析手段、
    前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段、
    前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段、
    前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段、
    前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、対象の機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段、および、
    前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成するコマンド生成手段、
    として機能させ、
    前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とするプログラム。
JP2012180912A 2012-08-17 2012-08-17 入力装置、機器、入力方法およびプログラム Active JP5550124B2 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2012180912A JP5550124B2 (ja) 2012-08-17 2012-08-17 入力装置、機器、入力方法およびプログラム
EP13879456.5A EP2887317A4 (en) 2012-08-17 2013-08-13 INPUT DEVICE, APPARATUS, INPUT METHOD, AND RECORDING MEDIUM
CA2882005A CA2882005A1 (en) 2012-08-17 2013-08-13 Input device, apparatus, input method, and recording medium
PCT/JP2013/071872 WO2014027659A1 (ja) 2012-08-17 2013-08-13 入力装置、機器、入力方法および記録媒体
KR1020157003797A KR20150034257A (ko) 2012-08-17 2013-08-13 입력 장치, 기기, 입력 방법 및 기록 매체
CN201380044002.4A CN104584078A (zh) 2012-08-17 2013-08-13 输入设备、装置、输入方法和记录介质
US14/422,127 US9965041B2 (en) 2012-08-17 2013-08-13 Input device, apparatus, input method, and recording medium
TW102129619A TWI526877B (zh) 2012-08-17 2013-08-19 Input device, machine, input method and recording medium
TW105100351A TWI574177B (zh) 2012-08-17 2013-08-19 Input device, machine, input method and recording medium
IL237223A IL237223A0 (en) 2012-08-17 2015-02-15 Input device, system, input method and recording means
HK15107955.1A HK1207462A1 (en) 2012-08-17 2015-08-18 Input device, apparatus, input method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012180912A JP5550124B2 (ja) 2012-08-17 2012-08-17 入力装置、機器、入力方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2014038513A JP2014038513A (ja) 2014-02-27
JP5550124B2 true JP5550124B2 (ja) 2014-07-16

Family

ID=50286605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012180912A Active JP5550124B2 (ja) 2012-08-17 2012-08-17 入力装置、機器、入力方法およびプログラム

Country Status (10)

Country Link
US (1) US9965041B2 (ja)
EP (1) EP2887317A4 (ja)
JP (1) JP5550124B2 (ja)
KR (1) KR20150034257A (ja)
CN (1) CN104584078A (ja)
CA (1) CA2882005A1 (ja)
HK (1) HK1207462A1 (ja)
IL (1) IL237223A0 (ja)
TW (2) TWI526877B (ja)
WO (1) WO2014027659A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430046B2 (en) * 2014-01-16 2016-08-30 Denso International America, Inc. Gesture based image capturing system for vehicle
WO2015122163A1 (ja) * 2014-02-14 2015-08-20 日本電気株式会社 映像処理システム
JP6524619B2 (ja) * 2014-08-18 2019-06-05 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム
JP2018085575A (ja) * 2016-11-21 2018-05-31 カシオ計算機株式会社 画像処理装置、解析システム、画像処理方法及びプログラム
US10341648B1 (en) * 2017-09-20 2019-07-02 Amazon Technologies, Inc. Automated detection of problem indicators in video of display output
CN108509107A (zh) * 2018-03-26 2018-09-07 百度在线网络技术（北京）有限公司 应用功能信息显示方法、装置及终端设备
JP2019168394A (ja) * 2018-03-26 2019-10-03 株式会社エクォス・リサーチ 身体向推定装置および身体向推定プログラム
KR102491207B1 (ko) * 2018-03-29 2023-01-25 주식회사 네틱스 멀티 터치 인식 장치 및 방법
JP7471999B2 (ja) 2020-11-09 2024-04-22 株式会社Ｎｔｔドコモ 情報処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3585357B2 (ja) * 1997-11-19 2004-11-04 シャープ株式会社 情報処理装置及び方法並びに情報処理プログラムを記録した記録媒体
JP2007034525A (ja) 2005-07-25 2007-02-08 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2007172577A (ja) 2005-11-25 2007-07-05 Victor Co Of Japan Ltd 操作情報入力装置
CA2591808A1 (en) 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
JP5217505B2 (ja) * 2008-02-29 2013-06-19 富士通株式会社 画像表示処理装置、画像表示処理方法および画像表示処理プログラム
WO2010038822A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
JP5464416B2 (ja) * 2008-10-31 2014-04-09 ソニー株式会社 入力装置および方法、並びにプログラム
JP4702475B2 (ja) * 2008-12-25 2011-06-15 ソニー株式会社 入力装置、ハンドヘルド装置及び制御方法
US8823749B2 (en) * 2009-06-10 2014-09-02 Qualcomm Incorporated User interface methods providing continuous zoom functionality
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
JP5617246B2 (ja) 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
US8422034B2 (en) 2010-04-21 2013-04-16 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
KR20120068253A (ko) * 2010-12-17 2012-06-27 삼성전자주식회사 사용자 인터페이스의 반응 제공 방법 및 장치

Also Published As

Publication number Publication date
EP2887317A4 (en) 2016-11-09
US20150193001A1 (en) 2015-07-09
JP2014038513A (ja) 2014-02-27
EP2887317A1 (en) 2015-06-24
CA2882005A1 (en) 2014-02-20
IL237223A0 (en) 2015-04-30
US9965041B2 (en) 2018-05-08
WO2014027659A1 (ja) 2014-02-20
TW201614430A (en) 2016-04-16
TWI526877B (zh) 2016-03-21
TWI574177B (zh) 2017-03-11
KR20150034257A (ko) 2015-04-02
CN104584078A (zh) 2015-04-29
HK1207462A1 (en) 2016-01-29
TW201428545A (zh) 2014-07-16

Similar Documents

Publication Publication Date Title
JP5550124B2 (ja) 入力装置、機器、入力方法およびプログラム
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP2022036143A (ja) 物体追跡システム、物体追跡装置、および物体追跡方法
EP2843510A2 (en) Method and computer-readable recording medium for recognizing an object using captured images
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US20120163661A1 (en) Apparatus and method for recognizing multi-user interactions
US20210329175A1 (en) Image processing system, image processing method, and program
CN108781252B (zh) 一种图像拍摄方法及装置
JPWO2013114806A1 (ja) 生体認証装置及び生体認証方法
CN105242888B (zh) 一种系统控制方法及电子设备
US20150220159A1 (en) System and method for control of a device based on user identification
JP6325659B2 (ja) 操作画面表示装置、操作画面表示方法およびプログラム
JP2007241833A (ja) 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体
JP7009904B2 (ja) 端末装置、情報処理システム、情報処理方法及びプログラム
US9727145B2 (en) Detecting device and detecting method
JP5756762B2 (ja) ジェスチャ認識装置及びそのプログラム
JP2016525235A (ja) 文字入力のための方法及びデバイス
KR20120132337A (ko) 음성 인식을 이용하는 사용자 인터페이스 제어 장치 및 방법
US20150071494A1 (en) Method and apparatus for processing images
KR101286750B1 (ko) 제스처를 이용한 패스워드 판단시스템
KR101068281B1 (ko) 후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법
US9761009B2 (en) Motion tracking device control systems and methods
US20150103205A1 (en) Method of controlling digital apparatus and image capture method by recognition of hand shape, and apparatus therefor
JP5713655B2 (ja) 映像処理装置、映像処理方法及びプログラム
US11340706B2 (en) Gesture recognition based on depth information and computer vision

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140515

R150 Certificate of patent or registration of utility model

Ref document number: 5550124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350