Nothing Special   »   [go: up one dir, main page]

JP2017520049A - ジェスチャ認識のための画像マトリクスを生成するためのモジュール、システムおよび方法 - Google Patents

ジェスチャ認識のための画像マトリクスを生成するためのモジュール、システムおよび方法 Download PDF

Info

Publication number
JP2017520049A
JP2017520049A JP2016571091A JP2016571091A JP2017520049A JP 2017520049 A JP2017520049 A JP 2017520049A JP 2016571091 A JP2016571091 A JP 2016571091A JP 2016571091 A JP2016571091 A JP 2016571091A JP 2017520049 A JP2017520049 A JP 2017520049A
Authority
JP
Japan
Prior art keywords
image
data signal
module
projection
image line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016571091A
Other languages
English (en)
Other versions
JP6423013B2 (ja
Inventor
エーラート アレクサンダー
エーラート アレクサンダー
フィッシャー フランク
フィッシャー フランク
ディトリヒ ニクラス
ディトリヒ ニクラス
シュミット フェリックス
シュミット フェリックス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2017520049A publication Critical patent/JP2017520049A/ja
Application granted granted Critical
Publication of JP6423013B2 publication Critical patent/JP6423013B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本発明は、ジェスチャ認識のための画像マトリクスを生成するためのモジュールに関する。モジュールは少なくとも、レーザプロジェクタモジュールの少なくとも1つの同期データ信号を入力するための第1のデータ入力手段と、光センサモジュールの画像データ信号を入力するための第2のデータ入力手段と、メモリ手段と、メモリ制御手段とを備えており、メモリ制御手段は、画像データ信号の画像データを前記少なくとも1つの同期データ信号に依存して画像マトリクスとしてメモリ手段に記憶するように構成されており、メモリ制御手段は、少なくとも1つの同期データ信号によって伝送された画像ライン方向情報に依存して、画像データから画像マトリクスを生成するように構成されている。

Description

本発明は、請求項1の上位概念に記載のジェスチャ認識のための画像マトリクスを生成するためのモジュールに関する。本発明はさらに、ジェスチャ認識のための画像マトリクスを生成するためのシステムおよび方法にも関する。
かかる装置は周知である。たとえば、レーザプロジェクタと感光センサとを用いることにより、レーザプロジェクタによって投影されるシーンの画像を生成することが公知である。この画像はたとえば、レーザプロジェクタの光の中で行われるジェスチャを認識するために使用される。しかし、レーザプロジェクタによって生成される投影画像の画質を向上させる必要がある場合には、この公知のレーザプロジェクタは、比較的複雑な構成としなければならない。
発明の開示
本発明の課題は、投影画像の画質が改善され、なおかつ構成の複雑性が比較的低くなった、ジェスチャ認識のための画像マトリクスを生成するためのモジュール、システムおよび方法を実現することである。
独立請求項に記載の、ジェスチャ認識のための画像マトリクスを生成するための本発明のモジュール、本発明のシステムおよび本発明の方法は、従来技術と比較して、レーザプロジェクタによって比較的高い画質の投影画像を生成する場合であっても、少なくとも1つの同期データ信号により伝送される画像ライン方向情報に依存して画像データから画像マトリクスの生成を行うことにより、画像マトリクスに基づくジェスチャの認識を可能にできるという利点を奏する。画質を向上させるためには、レーザプロジェクタはとりわけ、インタレース方式を用いるために構成されている。ここで、本発明において「インタレース方式」とは、互いに直接連続する投影画像の最初ないしは第1の画像ラインの各描画方向を互い違いにすることを意味する。モジュールによって画像ライン方向情報が使用されることにより、レーザプロジェクタによってインタレース方式が実施される場合に、行われたジェスチャの動き方向を区別できるという利点が奏される。有利には、画像マトリクスは強度マトリクスであり、とりわけラスタグラフィックスである。かかるマトリクスでは、投影画像の各画素にそれぞれ強度値が一義的に対応付けられている。さらに有利には、少なくとも1つの同期データ信号を用いて画像ライン方向情報を伝送することにより、構成の複雑性が比較的低いシステムが実現される。とりわけ、上述の少なくとも1つの同期データ信号は、簡単な同期データ信号を使用することによって複数の異なるイベント(たとえばフレームスタート奇数、フレームスタート偶数および/またはラインスタート等)が伝送されるように、レーザの放射方向についての情報とラインの描画方向についての情報(画像ライン方向情報)を符号化した形態で含む。とりわけ、描画方向についての情報(画像ライン方向情報)を簡単に伝送し、レーザの放射方向についての詳細な角度表示を必要とせず、インタレース方式で動作するレーザプロジェクタの場合にジェスチャ認識を行えるように、画像マトリクスは生成される。
従属請求項と、図面を参照した以下の記載内容とから、本発明の有利な実施形態や発展形態を導き出すことができる。
有利な一実施形態では、画像ライン方向情報は、レーザプロジェクタモジュールによって投影される投影画像の画像ラインの描画方向に関するものである。この画像ラインは特に、投影画像の最初の画像ラインである。
かかる実施形態により、本発明では、行われたジェスチャの動き方向を、画像ライン方向情報に依存する画像マトリクスの生成に基づいて区別することができるという利点が奏される。
他の有利な一実施形態では、上述の少なくとも1つの同期データ信号は、投影画像に関する垂直同期データ信号と、当該投影画像の1つの画像ラインに関する水平同期データ信号とを含む。
かかる実施形態により、本発明では、投影画像の各画像ラインごとに画像ライン方向情報をモジュールへ供給できるという利点が奏される。特に、水平同期データ信号が画像ライン方向情報を含む。
他の有利な一実施形態ではモジュールは、垂直同期データ信号を水平同期データ信号と同期させるための同期手段を備えている。
かかる実施形態により、本発明では、モジュールとレーザプロジェクタモジュールとを互いに依存せずに、とりわけ非同期で動作できるという利点が奏される。というのも、モジュールにおいて垂直同期データ信号と水平同期データ信号との同期が行われるからである。
他の1つの有利な実施形態では、モジュールは、メモリ手段に画像マトリクスとして記憶された画像データに依存してジェスチャ認識を行うためのジェスチャ認識手段を備えている。
かかる実施形態により、本発明では、インタレース方式で動作するレーザプロジェクタであってもジェスチャ認識を比較的高信頼性で行うことができるようにすべく、ジェスチャ認識を行うために、メモリ手段に記憶された画像マトリクスにアクセスできるという利点が奏される。
‐とりわけ本発明のシステムの‐有利な一実施形態では、レーザプロジェクタモジュールは、互いに連続する投影画像の投影時に最初の画像ラインの描画方向を互い違いにするように構成されている。
かかる実施形態により、本発明では、比較的高い画質を達成し、なおかつ高信頼性のジェスチャ認識を実現すべく、レーザプロジェクタによってインタレース方式が実施されるように、当該レーザプロジェクタを構成できるという利点が奏される。
‐とりわけ本発明の方法の‐有利な一実施形態では、第4のステップにおいて上述の少なくとも1つの同期データ信号を本発明のモジュールへ伝送し、第5のステップにおいて画像データ信号の画像データを当該モジュールのメモリ制御手段によって、当該少なくとも1つの同期データ信号に依存して画像マトリクスの形態でメモリ手段に記憶し、メモリ制御手段によって当該画像データから、画像ライン方向情報に依存して画像マトリクスを生成する。
かかる実施形態により、本発明では、投影画像の画質を向上させ、なおかつ構成の複雑性を比較的小さくできるという利点が奏される。少なくとも1つの同期データ信号により伝送された画像ライン方向情報に依存する、画像データからの画像マトリクスの生成に基づいて、レーザプロジェクタによって比較的高画質で生成される投影画像であっても、(とりわけ画像マトリクスの解析による)ジェスチャの認識が実現される。
‐とりわけ本発明の方法の‐他の有利な一実施形態では、第6のステップにおいてレーザプロジェクタにより、投影レーザビームを用いて、別の描画方向において別の投影画像の別の画像ラインを投影し、第7のステップにおいて、別の画像データ信号が、当該別の画像ラインに関する別の画像データを含むように、光センサモジュールによって当該別の画像データ信号を生成し、第8のステップにおいて、少なくとも1つの別の同期データ信号が、当該別の画像ラインの別の描画方向に関する別の画像ライン方向情報を有するように、レーザプロジェクタモジュールによって当該少なくとも1つの別の同期データ信号を生成する。その際には特に、第9のステップにおいて、メモリ制御手段により、上述の別の画像ライン方向情報に依存して前記別の画像データから別の画像マトリクスを生成する。
かかる実施形態により、本発明では、投影画像の画質を比較的高画質とし、なおかつ、行われたジェスチャの動き方向を区別できるようにすべく、レーザプロジェクタがインタレース方式を実施できるように構成できるという利点が奏される。
‐とりわけ本発明の方法の‐他の有利な一実施形態では、画像ラインは投影画像の最初の画像ラインであり、別の画像ラインは別の投影画像の最初の画像ラインである。ここで、この別の投影画像が前記投影画像の直後に投影される場合、当該別の画像ラインの別の描画方向が当該画像ラインの描画方向に対して逆方向となるように、当該画像ラインと当該別の画像ラインとを投影する。
かかる実施形態により、本発明では、投影画像の画質が比較的高くても高信頼性のジェスチャ認識を実現できるという利点が奏される。
図面に本発明の実施例を示しており、以下の記載にてこれらの実施例を詳細に説明する。
本発明の一実施形態の方法により生成された投影画像を示す概略図である。 本発明の一実施形態のシステムを示す概略図である。 本発明の一実施形態のシステムにより生成された同期データ信号を示す概略図である。 本発明の一実施形態の方法を示す概略図である。 本発明の一実施形態の方法において使用されるパラメータセットを示す概略図である。
本発明の実施形態
異なる図において同一の構成要素には、常に同一の符号を付している。したがって、同一の構成要素については通常、1回のみ言及ないしは説明する。
図1は、本発明の一実施形態の方法により生成された投影画像50を示す概略図である。本方法では、本発明のシステム(たとえば図2に示されたシステム)のレーザプロジェクタ10の投影レーザビーム2を用いて、投影画像50が走査線方式で投影面3に投影される。投影に際しては、投影画像50の最初の画像ライン51が描画方向101において(図中では左側から右側に向かって)描画され、かつ、その次に当該投影画像50の各2つの直接連続する画像ライン51,52が実質的に互いに逆の描画方向101,102に(たとえば逆平行の描画方向101,101に)描画されるように、投影レーザビーム2を動かす。投影画像50を投影した後、上述の投影レーザビーム2を用いて、別の投影画像50’が走査線方式で投影面3に投影される。その際に特に有利なのは、インタレース方式を実施することである。具体的には、この別の投影画像50’の別の最初の画像ライン51’を、先行して(直前に)投影された投影画像50の最初の画像ライン51の描画方向101と実質的に逆方向(逆平行)である別の描画方向101’において(図中では右側から左側に向かって)描画するように、投影レーザビーム2を動かす。別の投影画像50’の投影に際しても、この別の投影画像50’の各2つの直接連続する別の画像ライン51’,52’が、実質的に互いに逆方向(逆平行)の別の描画方向101’,102’において描画される。
図2に、本発明の一実施形態のシステム1を概略的に示す。この実施形態は実質的に、他の実施形態と同一である。システム1は、レーザプロジェクタモジュール10と、光センサモジュール20と、本発明のモジュール30とを備えている。
レーザプロジェクタモジュール10は、投影レーザビーム2を用いて、当該投影レーザビーム2を(図中では左側から右側に向かって)動かすことにより、投影画像の画像ライン51を‐同図にて示されているように‐描画方向101において描画して、投影画像50を走査線方式で投影面3に投影するように構成されている。オブジェクト4‐たとえば手‐を光路上に保持すると、投影レーザビーム2はこのオブジェクト4において反射され、これにより反射信号2’が生成される。レーザプロジェクタモジュール10はさらに、少なくとも1つの同期データ信号11,12を生成するようにも構成されている。この少なくとも1つの同期データ信号11,12はレーザプロジェクタモジュール10によって、画像ライン方向情報を有するように形成される。有利には同期データ信号11,12は、垂直同期データ信号11と水平同期データ信号12とを含む。
光センサモジュール20は、投影画像50の投影中に反射信号2’を検出するように構成されている。その際には、この検出された反射信号2’に依存して画像データ信号が‐具体的には特に、強度値を有する強度データストリームが‐生成される。たとえば、光センサモジュール20は感光センサ21‐たとえばフォトダイオード21‐および/または、画像データ信号を生成するためのセンサ回路手段22を備えている。この画像データ信号はたとえば、デジタル画像データ信号またはアナログ画像データ信号である(その際には、画像データ信号はたとえば、モジュール30においてデジタル変換される)。レーザプロジェクタ10の前方にてシーンの2次元の画像マトリクスを生成するために、画像データ信号の画像データ(以下「測定データ」ともいう)使用できるようにするためには、画像データ信号の画像データを、とりわけ各対応する座標に割り当てる。フォトダイオードは確かに、とりわけ、反射された光(反射信号2’)の強度を測定するように構成されているが、有利には、この反射された光がどの方向から来たのかについての情報を出力しない。この情報は本発明では、レーザプロジェクタ10の少なくとも1つの同期データ信号11,12から得られる。
システム1はさらに、ジェスチャ認識のための画像マトリクスを生成するためのモジュール30‐とりわけ画像生成モジュール30‐を備えている。モジュール30は、レーザプロジェクタモジュール10の少なくとも1つの同期データ信号を入力するための少なくとも1つの第1のデータ入力手段31‐たとえば、レーザプロジェクタモジュール10と通信を行うための第1の通信インタフェース、またはプロセッサ入力部‐を備えている。その際には、少なくとも1つの同期データ信号はレーザプロジェクタモジュール10から第1のデータ伝送手段41を介してモジュール30へ伝送される。たとえば、少なくとも1つの同期データ信号11,12(の水平同期データ信号12および垂直同期データ信号11)をシリアル伝送する場合には、データ伝送手段41はデータ線路を1つ(のみ)備えており、または、少なくとも1つの同期データ信号11,12(の水平同期データ信号12および垂直同期データ信号11)をパラレル伝送する場合には、データ伝送手段41はデータ線路を2つ(のみ)備えている。モジュール30はさらに、光センサモジュール20の画像データ信号を入力するための第2のデータ入力手段32‐たとえば、光センサモジュール20と通信するための第2の通信インタフェース、またはプロセッサ入力部‐も備えている。
さらに、モジュール30はメモリ手段33‐たとえば作業メモリないしはランダムアクセスメモリ(RAM)‐とメモリ制御手段34‐たとえば、作業メモリコントローラ(RAMコントローラ)の機能を備えた状態オートマトンとを備えている。本発明では、メモリ制御手段34をとりわけ、「状態機械」とも称する。メモリ制御手段34は、画像データ信号の画像データを少なくとも1つの同期データ信号11,12に依存して画像マトリクスとして(具体的には特に、ラスタ形式で記憶される強度値マトリクスとして)メモリ手段33に記憶するように構成されている。その際には、とりわけ画像データが各画像ライン51,52,51’,52’の描画方向101,102,101’,102’に依存せずに画像マトリクスに(配列されて)記憶されるように、少なくとも1つの同期データ信号11,12を用いて伝送された画像ライン方向情報に依存して画像マトリクスを画像データから生成ないしは構成する。
モジュール30はさらに、垂直同期データ信号11と水平同期データ信号12とを同期させるための同期手段35、および、画像マトリクスとしてメモリ手段33に記憶された画像データに依存してジェスチャ認識を行うためのジェスチャ認識手段36も備えている。
レーザプロジェクタ10とモジュール30(とりわけ画像生成モジュール30)とは、有利には別個の機器として実現されている。その際には、少なくとも1つの同期データ信号11,12の伝送は、通信インタフェースとして構成されたデータ入力手段31を介して行われる。これに代えて、レーザプロジェクタ10と画像生成モジュール30とを1つの電気機器1に統合する。その際には、データ入力手段31はたとえばプロセッサ入力部である。
図3に、本発明の一実施形態のシステム1によって生成される同期データ信号11,12,11’,12’を概略的に示す。この実施形態は実質的に、他の実施形態と同一である。本実施形態では、少なくとも1つの(外部の)同期データ信号11,12は、(外部の)垂直同期データ信号11(vSync)と(外部の)水平同期データ信号12(hSync)とを含む。たとえば、レーザプロジェクタ10が他のプロセッサクロック制御によって動作する場合には、(外部の)垂直同期データ信号11および水平同期データ信号12をモジュール30は時間シフトで得ることができる。よって有利には、少なくとも1つの同期データ信号11,12をまず最初に画像生成モジュール30において同期させる‐具体的には、少なくとも1つの別の(内部の)同期データ信号11’,12’(すなわち、別の(内部の)垂直同期データ信号11’および別の(内部の)水平同期データ信号12’)が生成されるように、モジュール30において垂直同期データ信号11を水平同期データ信号12と同期させる。有利には同期手段35(とりわけ同期ブロック)は、シフトレジスタを使用して少なくとも1つの(外部の)同期データ信号11,12から、同期した(内部の)垂直同期データ信号11’と水平同期データ信号12’とを生成するように、モジュール30に実装される。有利にはこのことは、第1のクロック周期中(符号201参照)の垂直同期データ信号11または水平同期データ信号12の上昇エッジのときに他方の同期データ信号の値が1クロック周期だけ後に(符号202参照)制御値として検査されることにより、たとえば1つの投影画像50に関連する複数の異なるイベントないしは事例を区別できるようにすることによって実現される。図3には、かかるイベントないしは事例を4つ示しており、(同図の左側部分には)事例ないしはイベントごとに1つの外部の垂直同期データ信号11と1つの外部の水平同期データ信号12とを示しており、(同図の右側部分には)事例ないしはイベントごとに、(シフトレジスタにおいて生成された)1つの内部の垂直同期データ信号11’と(シフトレジスタにおいて生成された)1つの外部の水平同期データ信号12’とを示している。
最初の第1の事例(図中の最初のライン)は、(たとえば投影画像50の)画像スタートに関するものであり、この画像スタートでは、最初ないしは第1の画像ライン51が描画方向101において(たとえば左側から右側に向かって)描画される。第2の事例(図中の第2のライン)は、(たとえば別の投影画像50’の)画像スタートに関するものであり、この画像スタートでは、別の最初ないしは第1の画像ライン51’が(逆平行の)別の描画方向101’において(たとえば右側から左側に向かって)描画される。第3の事例(第3のライン)は、ラインスタートに関するものである。第4の事例(第4のライン)は、描画方向101,102,101’,102’の方向を示すために水平同期データ信号12(hSync)を用いた場合のものであり、これは特に、ラインスタートを示さない。
(内部の)水平同期データ信号12’および/または垂直同期データ信号11’‐ここでは「内部同期データ信号」ともいう‐は、投影レーザビーム2の描画方向101,101’に即して測定データ(画像データ信号の画像データ)をモジュール30のメモリ手段33に書き込むために用いられる。有利にはかかるステップは、(とりわけ、RAMコントローラの機能を備えた状態オートマトンとして構成された)メモリ制御手段34によって行われる。その際に有利なのは、画像データを描画方向101,101’に依存せずに配列して記憶すべく、メモリ手段33において、1つの投影画像50の連続する画像ライン51,52の各画像データを前後に並べて格納するように、メモリ制御手段34によって測定値がメモリ手段33に記憶されることである。
図4に、本発明の一実施形態の方法を概略的に示す。この実施形態は実質的に、他の実施形態と同一であり、同図では、メモリ制御手段34の状態遷移図(とりわけ、測定データ‐RAMコントローラ34の状態遷移図)を示している。有利には、1つの投影画像50,50’ごとに(すなわち1フレームごとに)メモリ制御手段34をスタートさせる。有利には、画像データ信号の画像データはメモリ制御手段34によってメモリ手段33に(とりわけリングバッファに)書き込まれる。有利には、モジュール30の、ジェスチャ認識プログラムを行うためのジェスチャ認識手段36は、ジェスチャ認識用のジェスチャ認識プログラムによってリングバッファへのアクセスがなされるように構成されている。有利には、ジェスチャ認識のために新規の画像マトリクスが要求されると直ちに、ジェスチャ認識プログラムによってスタート信号(符号311参照)がメモリ制御手段34へ伝送される。さらには、特にメモリ手段33内に存在するデータ画像(すなわち画像マトリクス)をたとえばスクリーン上(図示されていない)に表示するため、かかるデータ画像を画像メモリ(これも図示されていない)に複製される。
有利には、メモリ制御手段34によって、画像マトリクスを生成するための、以下説明する方法の各ステップを行う。スタート信号が‐とりわけジェスチャ認識手段36によって‐受信されると(符号311参照)、メモリ制御手段34はまず最初に、第1の方法状態310(基本状態)から第2の方法状態320(メモリ複製)へ移行し、この第2の方法状態320において、複製プロセスが終了するまで(符号321によって示されている)、メモリ手段33から画像マトリクスの画像データを画像メモリに複製する。
次に、メモリ制御手段34は第3の方法状態330(vSync監視)に移行し、(内部の)垂直同期データ信号11’がアクティブ状態を示しているか否かが検査される。画像スタートがあった場合(vSyncアクティブ、符号331参照)には、(内部の)水平同期データ信号12’に依存して(画像ライン51に関連する)描画方向101が検出され、変数に否定値が割り当てられ、ピクセルメモリアドレスは“0”にセットされる。
次に、メモリ制御手段34は第4の方法状態340(hSync監視)に移行し、画像ラインをカウントし、方向変数を交代する。ラインオフセットに達し、かつライン飛び越しが無かった場合には、メモリ制御手段34は第5の方法状態350(ピクセルオフセットまで待機)に移行する。
第5の方法状態350(ピクセルオフセットまで待機)では、ピクセルをカウントし、ピクセルオフセット値に達した場合には(符号351参照)、メモリ制御手段34は第6の方法状態360(ライン書き込み)に移行する。第6の方法状態360では画像データラインをメモリ手段33に記憶し、この第6の方法状態360においてピクセルをカウントし、ピクセル値を記憶し、ピクセルメモリアドレスを増分する。画像幅に達し、かつライン数が画像高さより少ない場合には、メモリ制御手段34は第4の方法状態340(hSync監視)に移行し、そうでない場合には第1の状態310(基本状態)をとる。
図5に、本発明の一実施形態の方法において使用されるパラメータセットを概略的に示す。この実施形態は実質的に、他の実施形態と同一である。スタート信号を受信し、かつ、バッファないしはメモリ手段33に記憶された画像マトリクスの画像データが画像メモリに複製されると、メモリ制御手段34は新規の測定データないしは画像データを画像マトリクスとして記憶することを開始する。上述の複数の異なる状態310,320,330,340,350,360はとりわけ、メモリ制御手段34が投影画像50の任意にコンフィギュレーション構成可能な画像断片をメモリ手段33に書き込むように構成されている。かかる画像断片は、図5に示されたパラメータセットにより定義される。同図では、光センサモジュール20の画像データ信号(符号5参照)と、画像マトリクスで記憶された画像データ(符号6)とを示している。たとえばパラメータセットは、画像高さ401、ラインオフセット401’、画像幅402、ピクセルオフセット402’、 垂直同期データ信号11’および水平同期データ信号12’を含む。たとえば、画像マトリクスの解像度は調整可能である。その際には、垂直方向における解像度の調整はライン飛び越しにより行われ(たとえば符号500参照)、水平方向における解像度の調整は、測定データのデジタル変換時のサンプリングデータのコンフィギュレーション設定により行われる。
図3に、本発明の一実施形態のシステム1によって生成される同期データ信号11,12,11’,12’を概略的に示す。この実施形態は実質的に、他の実施形態と同一である。本実施形態では、少なくとも1つの(外部の)同期データ信号11,12は、(外部の)垂直同期データ信号11(vSync)と(外部の)水平同期データ信号12(hSync)とを含む。たとえば、レーザプロジェクタ10が他のプロセッサクロック制御によって動作する場合には、(外部の)垂直同期データ信号11および水平同期データ信号12をモジュール30は時間シフトで得ることができる。よって有利には、少なくとも1つの同期データ信号11,12をまず最初に画像生成モジュール30において同期させる‐具体的には、少なくとも1つの別の(内部の)同期データ信号11’,12’(すなわち、別の(内部の)垂直同期データ信号11’および別の(内部の)水平同期データ信号12’)が生成されるように、モジュール30において垂直同期データ信号11を水平同期データ信号12と同期させる。有利には同期手段35(とりわけ同期ブロック)は、シフトレジスタを使用して少なくとも1つの(外部の)同期データ信号11,12から、同期した(内部の)垂直同期データ信号11’と水平同期データ信号12’とを生成するように、モジュール30に実装される。有利にはこのことは、第1のクロック周期中(符号201参照)の垂直同期データ信号11または水平同期データ信号12の上昇エッジのときに他方の同期データ信号の値が1クロック周期だけ後に(符号202参照)制御値として検査されることにより、たとえば1つの投影画像50に関連する複数の異なるイベントないしは事例を区別できるようにすることによって実現される。図3には、かかるイベントないしは事例を4つ示しており、(同図の左側部分には)事例ないしはイベントごとに1つの外部の垂直同期データ信号11と1つの外部の水平同期データ信号12とを示しており、(同図の右側部分には)事例ないしはイベントごとに、(シフトレジスタにおいて生成された)1つの内部の垂直同期データ信号11’と(シフトレジスタにおいて生成された)1つの内部の水平同期データ信号12’とを示している。

Claims (11)

  1. ジェスチャ認識のための画像マトリクスを生成するためのモジュール(30)であって、
    前記モジュール(30)は少なくとも、レーザプロジェクタモジュール(10)の少なくとも1つの同期データ信号を入力するための第1のデータ入力手段(31)と、光センサモジュール(20)の画像データ信号を入力するための第2のデータ入力手段(32)と、メモリ手段(33)と、メモリ制御手段(34)とを備えており、
    前記メモリ制御手段(34)は、前記画像データ信号の画像データを前記少なくとも1つの同期データ信号に依存して画像マトリクスとして前記メモリ手段(33)に記憶するように構成されている、モジュール(30)において、
    前記メモリ制御手段(34)は、前記少なくとも1つの同期データ信号によって伝送された画像ライン方向情報に依存して、前記画像データから前記画像マトリクスを生成するように構成されている
    ことを特徴とするモジュール(30)。
  2. 前記画像ライン方向情報は、前記レーザプロジェクタモジュール(10)によって投影される、投影画像(50)の画像ライン(51)の描画方向(101,101’)に関するものであり、
    前記画像ライン(51)はとりわけ、前記投影画像(50)の最初の画像ラインである、
    請求項1記載のモジュール(30)。
  3. 前記少なくとも1つの同期データ信号は、前記投影画像(50)に関する垂直同期データ信号と、当該投影画像(50)の画像ライン(51)に関する水平同期データ信号とを含む、
    請求項1または2記載のモジュール(30)。
  4. 前記モジュール(30)は、前記垂直同期データ信号を前記水平同期データ信号と同期させるための同期手段(35)を備えている、
    請求項1から3までのいずれか1項記載のモジュール(30)。
  5. 前記モジュール(30)は、前記メモリ手段(33)に前記画像マトリクスとして記憶された画像データに依存してジェスチャ認識を行うためのジェスチャ認識手段(36)を備えている、
    請求項1から4までのいずれか1項記載のモジュール(30)。
  6. ジェスチャ認識のための画像マトリクスを生成するためのシステム(1)であって、
    前記システム(1)は、レーザプロジェクタモジュール(10)と、光センサモジュール(20)と、請求項1から5までのいずれか1項記載のモジュール(30)とを備えており、
    前記レーザプロジェクタモジュール(10)は、少なくとも1つの同期データ信号を生成するように構成されており、
    前記光センサモジュール(20)は、画像データ信号を生成するように構成されており、
    前記少なくとも1つの同期データ信号は画像ライン方向情報を有するように、前記レーザプロジェクタモジュール(10)によって形成される
    ことを特徴とするシステム(1)。
  7. 前記レーザプロジェクタモジュール(10)は、複数の連続する投影画像(50,50’)を投影する場合、最初の画像ライン(51,51’)の描画方向(101,101’)を互い違いにするように構成されている、
    請求項6記載のシステム(1)。
  8. ジェスチャ認識のための画像マトリクスを生成する方法であって、
    第1のステップにおいて、レーザプロジェクタ(10)によって投影レーザビーム(2)を用いて、描画方向(101)において投影画像(50)の画像ライン(51)を投影し、
    第2のステップにおいて、光センサモジュール(20)により、前記投影レーザビーム(2)の反射により生成された反射信号(2’)を検出し、当該光センサモジュール(20)によって、画像データ信号が、前記画像ライン(51)に関する画像データを含むように、検出された前記反射信号(2’)に依存して当該画像データ信号を生成し、
    第3のステップにおいて、前記レーザプロジェクタモジュール(10)により、少なくとも1つの同期データ信号が、前記画像ライン(51)の描画方向(101)に関する画像ライン方向情報を有するように、当該少なくとも1つの同期データ信号を生成する
    ことを特徴とする方法。
  9. 第4のステップにおいて、前記少なくとも1つの同期データ信号を、請求項1から5までのいずれか1項記載のモジュール(30)へ伝送し、
    第5のステップにおいて、前記モジュール(30)のメモリ制御手段(34)によって、前記画像データ信号の画像データを前記少なくとも1つの同期データ信号に依存して、画像マトリクスの形態でメモリ手段(33)に記憶し、
    前記画像マトリクスは、メモリ制御手段(34)によって、前記画像ライン方向情報に依存して前記画像データから生成されるものである、
    請求項8記載の方法。
  10. 第6のステップにおいて、前記レーザプロジェクタ(10)により、前記投影レーザビーム(2)を用いて、別の描画方向(101’)において別の投影画像(50)の別の画像ライン(51’)を投影し、
    第7のステップにおいて、前記光センサモジュール(20)により、別の画像データ信号が前記別の画像ライン(51’)に関する別の画像データを含むように、当該別の画像データ信号を生成し、
    第8のステップにおいて、少なくとも1つの別の同期データ信号が、前記別の画像ライン(51’)の別の描画方向(101’)に関する別の画像ライン方向情報を有するように、前記レーザプロジェクタモジュール(10)によって当該少なくとも1つの別の同期データ信号を生成し、
    とりわけ、第9のステップにおいて、メモリ制御手段(34)によって、前記別の画像ライン方向情報に依存して前記別の画像データから別の画像マトリクスを生成する、
    請求項8または9記載の方法。
  11. 前記画像ライン(51)は前記投影画像(50)の最初の画像ラインであり、前記別の画像ライン(51’)は前記別の投影画像(50’)の最初の画像ラインであり、
    前記別の投影画像(50’)を前記投影画像(50)の直後に投影する場合、前記別の画像ライン(51’)の別の描画方向(101’)が、前記画像ライン(51)の描画方向(101)とは逆方向となるように、前記画像ライン(51)および前記別の画像ライン(51’)を投影する、
    請求項10記載の方法。
JP2016571091A 2014-06-03 2015-04-07 ジェスチャ認識のための画像マトリクスを生成するためのモジュール、システムおよび方法 Active JP6423013B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014210399.1 2014-06-03
DE102014210399.1A DE102014210399A1 (de) 2014-06-03 2014-06-03 Modul, System und Verfahren für die Erzeugung einer Bildmatrix zur Gestenerkennung
PCT/EP2015/057457 WO2015185247A1 (de) 2014-06-03 2015-04-07 Modul, system und verfahren für die erzeugung einer bildmatrix zur gestenerkennung

Publications (2)

Publication Number Publication Date
JP2017520049A true JP2017520049A (ja) 2017-07-20
JP6423013B2 JP6423013B2 (ja) 2018-11-14

Family

ID=53015763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016571091A Active JP6423013B2 (ja) 2014-06-03 2015-04-07 ジェスチャ認識のための画像マトリクスを生成するためのモジュール、システムおよび方法

Country Status (5)

Country Link
JP (1) JP6423013B2 (ja)
KR (1) KR102254564B1 (ja)
CN (1) CN106415450B (ja)
DE (1) DE102014210399A1 (ja)
WO (1) WO2015185247A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016215746A1 (de) 2016-08-23 2018-03-01 Robert Bosch Gmbh Projektor mit berührungsfreier Steuerung
US10943079B2 (en) 2017-07-27 2021-03-09 Robert Bosch Gmbh Device for implementing a detection function and method for operating such a device
CN111540448A (zh) * 2020-04-20 2020-08-14 深圳市华智信息科技有限公司 用户行为的智能检测方法、电子装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10177449A (ja) * 1996-10-18 1998-06-30 Toshiba Corp 情報入力装置及び情報入力方法及び補正データ生成装置及び固体撮像装置
US20060055672A1 (en) * 2004-09-16 2006-03-16 Martin Krocker Input control for apparatuses
JP2010008614A (ja) * 2008-06-25 2010-01-14 Panasonic Electric Works Co Ltd 投影型表示装置及びそれに用いられる表示方法
JP2011514566A (ja) * 2007-12-29 2011-05-06 マイクロビジョン,インク. 走査ビームディスプレイのための入力装置
JP2013525923A (ja) * 2010-04-30 2013-06-20 コーニング インコーポレイテッド インタラクティブスクリーン用途のためのレーザ走査式プロジェクタ装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8456506B2 (en) * 2004-08-03 2013-06-04 Applied Minds, Llc Systems and methods for enhancing teleconferencing collaboration
DE102004047960A1 (de) * 2004-10-01 2006-04-06 Siemens Ag Strahlprojektions-Anzeigeeinrichtung und Verfahren zum Betreiben einer Strahlprojektions-Anzeigeeinrichtung
JP4612853B2 (ja) * 2005-03-29 2011-01-12 キヤノン株式会社 指示位置認識装置及びそれを有する情報入力装置
KR20110071349A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
DE102010018083B4 (de) * 2010-04-23 2013-05-08 Tridelity Ag Gleichzeitige Wiedergabe einer Mehrzahl von Bildern mittels einer zweidimensionalen Bilddarstellungs-Matrix
JP5408026B2 (ja) * 2010-04-28 2014-02-05 セイコーエプソン株式会社 位置検出機能付き機器
JP2011257338A (ja) * 2010-06-11 2011-12-22 Seiko Epson Corp 光学式位置検出装置および位置検出機能付き表示装置
CN102096469B (zh) * 2011-01-21 2012-04-18 中科芯集成电路股份有限公司 一种多功能手势互动系统
CN103310233B (zh) * 2013-06-28 2016-03-23 青岛科技大学 同类行为多视图间相似度挖掘方法及行为识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10177449A (ja) * 1996-10-18 1998-06-30 Toshiba Corp 情報入力装置及び情報入力方法及び補正データ生成装置及び固体撮像装置
US20060055672A1 (en) * 2004-09-16 2006-03-16 Martin Krocker Input control for apparatuses
JP2011514566A (ja) * 2007-12-29 2011-05-06 マイクロビジョン,インク. 走査ビームディスプレイのための入力装置
JP2010008614A (ja) * 2008-06-25 2010-01-14 Panasonic Electric Works Co Ltd 投影型表示装置及びそれに用いられる表示方法
JP2013525923A (ja) * 2010-04-30 2013-06-20 コーニング インコーポレイテッド インタラクティブスクリーン用途のためのレーザ走査式プロジェクタ装置

Also Published As

Publication number Publication date
CN106415450B (zh) 2020-12-08
JP6423013B2 (ja) 2018-11-14
CN106415450A (zh) 2017-02-15
DE102014210399A1 (de) 2015-12-03
WO2015185247A1 (de) 2015-12-10
KR20170012549A (ko) 2017-02-02
KR102254564B1 (ko) 2021-05-21

Similar Documents

Publication Publication Date Title
US12108177B2 (en) Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US7564501B2 (en) Projection system, projector, method of controlling projectors and program therefor
JP5917116B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
US10129471B2 (en) Method, apparatus and system for detecting location of laser point on screen
JP2019082680A (ja) 3次元ディスプレイ装置のキャリブレーション方法、装置及び動作方法
JP6423013B2 (ja) ジェスチャ認識のための画像マトリクスを生成するためのモジュール、システムおよび方法
JP2015119277A5 (ja)
CN104660944A (zh) 图像投影装置及图像投影方法
US10171781B2 (en) Projection apparatus, method for controlling the same, and projection system
JP2011182026A (ja) 画像処理装置、画像表示システム、画像抽出装置
US11743437B2 (en) Projection adjustment program and projection adjustment method
JP2006277085A (ja) 光学式ポインティング制御装置及び該装置を用いたポインティングシステム
JP6182739B2 (ja) 投影装置及び投影方法
JP2005130360A (ja) 画像表示における歪補正機能を有する画像表示装置
JP2012163371A (ja) 情報処理装置、情報処理方法
US20170034492A1 (en) Control apparatus and method
US10712841B2 (en) Display control device, display control system, display control method, and storage medium having stored thereon display control program
JP2010034799A (ja) 画像処理装置、画像処理方法、及び、プログラム
KR100331238B1 (ko) 전화면 전송 방식의 영상센서에서 정지 또는 이동 중인물체의 영상을 발생할 수 있도록 제어하는 영상 발생 제어장치 및 그 방법
JP2015154213A (ja) プロジェクタ装置、および投影方法
CN109889691B (zh) 一种扫描成像的同步方法及同步系统
EP1458189A2 (en) Video signal processing apparatus
US10778893B2 (en) Detection device, display device and detection method
JP3435221B2 (ja) カーソル表示装置
WO2019207922A1 (ja) 表示撮像装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180822

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181017

R150 Certificate of patent or registration of utility model

Ref document number: 6423013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250