JP4829855B2 - 画像投影装置及びその制御方法 - Google Patents

Description

本発明は画像を投影する画像投影装置及びその制御方法に関し、特には投影画像を画像投影装置を操作するためのユーザインタフェースとして利用可能な画像投影装置及びその制御方法に関する。

従来、プロジェクタを代表とする画像投影装置は、コンピュータやメディアプレイヤー等の出力する映像を投影して視聴に供する目的で、会議室や店舗はもとより、家庭内でも用いられている。
従来のプロジェクタは、大画面に投影することを目的としているため、比較的大型であり、天井に固定したり、机や床に置いたりして使用する形態のものが多い。

このようなプロジェクタの操作は、本体に設けられた各種のボタンや、プロジェクタの付属品として提供されたリモコンを用いて行うのが一般的である。
一方、４、５人程度の少人数で画像を鑑賞するために、小型の画像投影装置を携帯電話機に内蔵させることが提案されている（特許文献１参照）。

特開２００５−２３６７４６

携帯電話機に内蔵された画像投影装置を用いて映像を投影する際には、携帯電話機を手で持って保持していることが想定される。そして、例えば画像を切り替えたり、画像投影装置の設定を変更したりといったように、投影中に画像投影装置を操作する必要が生じたとする。

この場合、一般的に携帯電話機で採用されているような、電話機が有するボタンやキーを用いて操作することが考えられる。しかしながら、携帯電話機を手に持ちながら投影している状態でボタンやキーを操作すると、投影場所が変動したり、投影画像の大きさが変動したりして、使い勝手が良くないであろう。

また、携帯電話に対し、画像投影装置を操作するためのリモコンを別途提供することは現実的ではない。
この様に、従来は、画像投影装置が例えば手持ちで用いる程度に小型化された場合まで考慮して、ユーザ操作を容易にするための提案がなされていなかった。

本発明はこのような課題を解決するためになされたものであり、ユーザ操作が容易な画像投影装置及びその制御方法を提供することを目的とする。

上述の目的は、画像投影装置であって、入力画像を投影面に投影する投影手段と、投影面の、投影手段によって投影された入力画像を含む範囲を撮像した撮像画像を取得する取得手段と、撮像画像と入力画像の差分画像を生成する生成手段と、生成手段が異なる時刻に生成した複数の差分画像から、投影面における画像投影装置に関する操作をするための操作物体に対応する領域を検出する検出手段と、を有し、前記取得手段は、第１の時刻および当該第１の時刻から所定時間経過した第２の時刻に、前記撮像画像を取得し、前記生成手段は、前記第１の時刻に取得された前記撮像画像と前記第１の時刻の前記入力画像の差分画像と、前記第２の時刻に取得された前記撮像画像と前記第２の時刻の前記入力画像の差分画像とを生成し、前記検出手段は、前記第１の時刻に取得された前記撮像画像と前記第１の時刻の前記入力画像の差分画像と、前記第２の時刻に取得された前記撮像画像と前記第２の時刻の前記入力画像の差分画像とに基づいて、前記投影面における前記操作物体に対応する領域を検出する第１の検出動作を行い、前記第１の検出動作において、前記操作物体に対応する領域が検出されたことに応じて、前記操作物体に対応する領域の形状の特徴量情報をメモリに記憶し、前記メモリに記憶された特徴量情報に基づいて、前記生成手段が生成した前記撮像画像と前記入力画像の差分画像中の前記検出された前記操作物体に対応する領域の形状と類似度が高いと見なされる領域を、前記操作物体に対応する領域として検出する第２の検出動作を開始することを特徴とする画像投影装置によって達成される。

このような構成により、本発明によれば、たとえ小型化されても操作が容易な画像投影装置及びその制御方法を実現できる。

以下、図面を参照して本発明の好適かつ例示的な実施形態について詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像投影装置１００の概略構成例を示すブロック図である。

画像投影装置１００において、端子１０１から入力された画像信号は、ＧＵＩオーバーレイ部１１３を経由してプロジェクタ部１０２に入力され、図示しない投影面（スクリーン、机上等）に投影される。カメラ部１０３はプロジェクタ部１０２から投影中の画像（投影画像）を含む投影面の画像を動画像として撮影する。

図５（Ａ）に、本実施形態の画像投影装置１００を用いた投影及び撮影の状況を示す。プロジェクタ部１０２の光学系から投影された投影画像１２１は机の天板などの投影面１２０に投影され、同時にカメラ部１０３では投影面１２０の、投影画像１２１を含む範囲１２２を撮影している。

図５（Ｂ）〜（Ｄ）は本実施形態の画像投影装置１００をユーザが操作する方法を模式的に示す図である。本実施形態の画像投影装置１００は、投影画像上でのユーザ指示を検出し、検出したユーザ指示に基づいて画像投影装置１００が動作する。

図５（Ｂ）は投影画像１２１を真上から見た状態を示している。そして、本実施形態の画像投影装置１００は、図５（Ｃ）に示すように、画像投影装置１００を操作するためのＧＵＩ１２３を投影画像１２１の上に重畳表示させる。ＧＵＩ１２３には、ボタン１１６〜１１８が含まれており、ユーザはボタン１１６〜１１８のいずれかを手１１４で指し示すことにより、ボタン１１６〜１１８に対応した操作を指示することができる。ＧＵＩ１２３は、例えば投影画像中に手が存在することを検出したことにより表示するように構成することができる。

図５（Ｄ）に示すように、ＧＵＩを操作する手の特定位置（例えば指先）がボタン１１８上に置かれたことを検出すると、ボタン１１８に対応した操作が指示されたものとして、画像投影装置１００が動作する。

以下、このような操作を実現するための具体的な動作について説明する。
端子１０１から入力された画像信号は、プロジェクタ部１０２から投影されるとともに投影画像除去部１０４に供給される。

投影画像除去部１０４では、カメラ部１０３によって撮影された画像と、プロジェクタ部１０２からの投影画像すなわち端子１０１からの入力画像を比較することによって撮影画像から投影中の画像成分を除去する。投影画像除去部１０４は、投影画像の除去精度を向上させるため、カメラ部１０３からカメラ特性情報を受け取るとともに投影画像と撮影画像との比較結果によりカメラ部１０３の制御を行う。また投影画像除去部１０４は、やはり投影画像の除去精度を向上させるため、プロジェクタ部１０２からプロジェクタ特性情報を受け取るとともに投影画像と撮影画像との比較結果によりプロジェクタ部１０２およびカメラ部１０３の制御を行う。具体的には、例えばプロジェクタの特性情報の一例である色温度情報などを用いて、カメラのホワイトバランス制御を行うことができる。これら制御について説明する。

図２は、本実施形態の画像投影装置１００における投影画像除去部１０４の構成例を示すブロック図である。端子２０１からはプロジェクタ部１０２が投影中の入力画像（ＧＵＩオーバーレイ部１１３の出力）、端子２０２からはカメラ部１０３が撮影中の画像（カメラ撮影画像）が入力される。

入力画像補正部２０５は、
・端子２０３を介してプロジェクタ部１０２から供給されるプロジェクタ特性情報（例えば色温度情報）、
・比較回路２０８による補正後の入力画像と補正後のカメラ撮影画像の差分画像、及び
・プロジェクタフィードバック部２１１から供給される補正情報、
に基づき、差分画像中の補正後の入力画像成分の残差が最小となるよう、入力画像信号を補正する。この補正としては例えばプロジェクタの固有及び現在の設定による色特性をキャンセルするような補正がある。

一方、撮影画像補正部２０６は、
・端子２０４から供給されるカメラ特性情報、
・比較回路２０８による補正後の入力画像と補正後のカメラ撮影画像の差分画像、及び
・カメラフィードバック部２１２から供給される補正情報
に基づき、差分画像中の入力画像成分の残差が最小となるよう、撮影画像信号を補正する。

この補正としては例えば、
・カメラの固有及び現在の設定による色特性、
・明るさの補正、
・図８（Ａ）に示すような、投影による幾何学歪みの補正（実線で示す台形領域８０１から点線で示す長方形領域８０２への補正）、
・図８（Ｂ）に示されるような、撮影画角の不一致を除去するための投影画角領域の切り出し及び拡大処理（実線で示す撮影範囲の画像８０３から、点線で示す範囲８０４の画像への拡大）、
などが含まれる。

本実施形態では説明のため入力画像補正部２０５と撮影画像補正部２０６は別になっているが、撮影画像補正部２０６に入力画像補正部２０５の処理も行わせることにより、回路規模を削減することも可能である。
カメラ時間遅延補償部２０７は入力画像がプロジェクタ部１０２によって投影され、カメラ部１０３によって撮影される経路での時間遅延を補償する。

比較回路２０８では補正後の入力画像と補正後のカメラ撮影画像を比較して差分をとり、残差成分およびノイズ成分の影響を抑制するため、閾値処理部２０９によって所定の閾値以上の信号を取り出す。これによって投影画像中の動きや形状による誤検出を抑制した投影画像の除去を実現できる。閾値処理部２０９の出力が、撮影画像から入力画像すなわち投影画像を除去した結果として、動体領域検出部１０５へ供給される。

プロジェクタフィードバック部２１１は、補正後の入力画像と補正後のカメラ撮影画像からプロジェクタ部１０２の動作を最適化するための補正情報を端子２１３からプロジェクタ部１０２へ出力する。この補正情報としては、例えば図８（Ａ）に示された投影歪みをプロジェクタ側にて補正するための情報などが考えられる。

カメラフィードバック部２１２は補正後の入力画像と補正後のカメラ撮影画像からカメラ部１０３の動作を最適化するための補正情報を端子２１４からカメラ部１０３へ出力する。この補正情報としては例えば、図７に示す投影画角７０２と撮影画角７０１の関係を、カメラのズーム倍率を可変して修正するための情報などが考えられる。つまり、撮影画角７０１≧投影画角７０２となるように補正するための情報である。

なお、ここで説明した入力画像及び撮像画像の補正に関する処理は、画像投影装置の起動時におけるキャリブレーション処理の一部として実行し、その後は行わないようにしてもよい。あるいは、定期的に実行してもよいし、ユーザの指示に基づいて実行しても良い。補正処理を行わない期間は、入力画像補正部２０５、撮影画像補正部２０６はそれぞれ入力画像と撮影画像を補正せずに比較回路２８０へ供給する。また、プロジェクタフィードバック部２１１及びカメラフィードバック部２１２は、補正情報を出力しない。

図１に戻り、動体領域検出部１０５は、投影画像除去後の撮影画像から動体とみなされる領域を検出する。本実施形態では図５（Ｂ）、（Ｃ）、（Ｄ）で示したように、手指の領域を検出する。

図３は、本実施形態の画像投影装置１００における動体領域検出部１０５の構成例を示すブロック図である。
端子３０１には投影画像除去部１０４から、投影画像除去後の撮影画像が入力される。投影画像除去後の撮影画像はメモリ３０３に書き込まれる。メモリ３０３は少なくとも２フレーム（画面）分の撮像画像を記憶可能に構成されている。

差分回路３０２において、入力された投影画像除去後の撮影画像と、メモリ３０３によって所定期間遅延された過去の投影画像除去後の撮影画像との差分画像を生成する。そして、差分画像を閾値処理部３０４へ供給する。つまり、差分回路３０２は、投影画像除去部１０４が異なる時間に生成した複数の差分画像の差分画像を生成する。

閾値処理部３０４は、ノイズ成分を除去するため、所定の閾値以上の信号のみを時間的変化成分として取り出し、有意領域判定部３０５へ供給する。

有意領域判定部３０５は、時間的変化成分中の孤立点（孤立画素）などを除いた閉領域を有意領域として判定し、有意領域に関する情報（領域を特定する情報）を、端子３０６より出力する。孤立点を除いた閉領域を有意領域と判定することにより、背景中の模様などを動体と誤検出する確率を抑制することができる。

図４は本実施形態の画像投影装置１００における動体領域検出部１０５の別の構成例を示すブロック図である。
図３の構成例では、動体の検出間隔Ｔと動体の動きの関係によっては動体領域検出によって所望の動体（ここでは手指）が検出できなくなる期間が生じることがある。そのため、図４の構成例では、動体が検出された直前の画像を背景画像（動体のない状態の画像）として保持する。これにより、検出された動体が途中で静止した場合でも、有意領域の判定が可能である。この構成は例えば静止画再生のように、入力画像すなわち投影画像に動きがない場合に特に有効である。

端子４０１には投影画像除去部１０４から、投影画像除去後の撮影画像が入力される。投影画像除去後の撮影画像は、閉状態のスイッチ４０７を通じてメモリ４０３に書き込まれる。メモリ４０３は撮像画像を記憶可能に構成され、差分回路４０２に供給された過去の撮影画像について、有意領域判定部４０５の判定が終了するまでは保持するように構成される。

差分回路４０２において、入力された投影画像除去後の撮影画像と、メモリ４０３によって所定期間遅延された過去の投影画像除去後の撮影画像との差分をとる。そして、差分を閾値処理部４０４へ供給する。
閾値処理部４０４は、ノイズ成分を除去するため、所定の閾値以上の信号のみを時間的変化成分として取り出し、有意領域判定部４０５へ供給する。

有意領域判定部４０５は、有意領域判定部３０５と同様にして有意領域を判定し、有意領域に関する情報（閉領域を特定する情報）を、端子４０６より出力する。さらに、有意領域判定部４０５は、有意領域として判定された閉領域が存在する場合に、スイッチ４０７を開くように制御する。これにより、メモリ４０３への新たな撮像画像の書込みが行われないようにして、有意領域の検出に用いられた、動体が含まれていない画像が背景画像としてメモリ４０３に保持されるようにする。

なお、動体領域検出部１０５の有効領域を限定することによって、カメラぶれによる画像フレーム端での不要な動き誤検出を防止することも可能である。

図９に動体領域検出部１０５の有効領域の例を示す。
領域Ａ ９０１は、画像の周囲に隣接した領域であり、特に画像投影装置１００を手持ちしている場合に、カメラぶれによって撮影領域に含まれて動体の誤検出を引き起こす可能性がある領域と考えられる。そのため、閉領域を有意領域と判定する閾値を画像周辺部以外の領域Ｂ ９０２に適用する閾値より高くすることができる。あるいは、領域Ａ ９０１については閉領域の検出範囲外とし、領域Ｂ ９０２のみから閉領域の検出を行うようにしてもよい。
このような有効領域の設定によって、カメラぶれを原因とする有意領域の誤検出を抑制することができる。

図１に戻り、ホットスポット座標検出部１０６は、動体領域検出部１０５によって検出された有意領域から、ＧＵＩの操作を判定するための特定部位（ホットスポットと呼ぶ）の座標を検出する。本実施形態では、有意領域から手指の先端と判定される部位を検出し、その座標（ホットスポット座標）を検出する。この検出を行う具体的な手法については、領域先端部検出や、円形領域検出による指先検出手法として周知の技術を利用可能であるため、ここでは詳細な説明を省略する。ホットスポット座標検出部１０６で検出されたホットスポット座標は、ホットスポット動き検出部１０７、ホットスポット座標メモリ１０８、及びコマンドデコード部１０９へ供給される。

オーバーレイＧＵＩ制御部１１１は、端子１１２から供給される機器動作モード情報とホットスポット座標検出部１０６の検出結果に基づいて、画像投影装置１００を操作するためのＧＵＩ（操作ＧＵＩ）の表示位置を決定する。機器動作モード情報は、例えば機器のシステムコントローラー（またはモードコントローラー）から与えられるＰＬＡＹ、ＳＴＯＰといった動作状態などである。機器動作モード情報に基づいて、動作状態に合わせた形状のＧＵＩを表示することができる。オーバーレイＧＵＩ制御部１１１は、機器動作モード情報に合わせたＧＵＩとホットスポットの位置関係から、オーバーレイ表示すべきＧＵＩ画像と表示位置を決定し、ＧＵＩオーバーレイ部１１３に出力する。オーバーレイＧＵＩ制御部１１１は、例えば、検出されたホットスポット位置に対して操作しやすい位置を表示位置として決定する。具体的には、例えば表示直後に手の陰にならず、画面からはみ出ない近傍位置などを表示位置として決定することができる。

また、ＧＵＩオーバーレイ部１１３は、オーバーレイＧＵＩ制御部１１１からの表示位置とＧＵＩ画像に応じて、予め用意された操作ＧＵＩの画像をプロジェクタ部１０２から投影される画像に重畳してプロジェクタ部１０２へ供給する。これにより、投影画像に操作ＧＵＩの画像がオーバーレイ表示（重畳表示）される。

例えば図５（Ｃ）に示したように、ユーザの手の領域が動体領域検出部１０５によって有意領域として検出され、ホットスポット座標検出部１０６によって指先の座標がホットスポット座標として検出された時点で操作ＧＵＩの表示を行うことができる。

ホットスポット動き検出部１０７では、ホットスポット座標検出部１０６で検出されたホットスポット座標を、ホットスポット座標メモリ１０８に記憶された過去の座標位置履歴と比較することにより、ホットスポットの動きを検出する。ホットスポット動き検出部１０７は、検出したホットスポットの動きに関する情報（例えば、動きの種類（円運動、直線運動など）を示す情報）をコマンドデコード部１０９へ出力する。

コマンドデコード部１０９は、
・ホットスポット座標検出部１０６で検出されたホットスポット座標、
・ホットスポット動き検出部１０７から供給されるホットスポットの動きに関する情報、
・オーバーレイＧＵＩ制御部１１１から供給されるＧＵＩ表示位置情報、
から、ユーザが操作ＧＵＩに行った操作を判別し、対応する機器制御コマンドを生成してシステム制御部１１０へ出力する。

システム制御部１１０は、図示しない構成要素を制御し、機器制御コマンドに応じた処理を行う。例えば、投影画像の切り替えコマンドであれば、図示しない記憶装置から次に表示すべき画像データを読み出し、端子１０１を通じてＧＵＩオーバーレイ部１１３へ供給する。

コマンドデコード部１０９における操作の判定例としては、以下のようなものが考えられる。
例えば図５（Ｄ）において、操作ＧＵＩ上の特定エリア上で、ホットスポット座標が例えば円を描くような特定ジェスチャーに相当するホットスポット動き情報が検出された場合、その特定エリアに割り当てられた操作が指示されたと判定する。
また、静止画再生機能などにおいて動体領域検出部１０５に図４の構成をとる場合は、対象物が静止した状態でもホットスポット座標検出が可能である。そのため、特定エリア上で所定時間ホットスポットが静止した場合に、その特定エリアに割り当てられた操作が指示されたと判定することもできる。
いずれの場合も、コマンドデコード部１０９は、判定した操作に応じた機器制御コマンドを生成し、システム制御部１１０へ出力する。

図６は、本実施形態の画像投影装置１００のユーザ操作検出動作を模式的に説明する図である。
図６の例において、入力画像６０１すなわち投影画像はフェイスマークであり、背景となる投影面には星型の模様がある。そのため、撮像画像６０２には、フェイスマークと星形の模様の両方が含まれる。検出間隔Ｔは検出処理の間隔に相当し、図３のメモリ３０３への書き込み間隔によって決定する。図６の例では、検出間隔Ｔの経過後に、操作ＧＵＩを操作する物体としての手がカメラ部１０３の撮影範囲に入ってくるものとする。

なお、図６には図示していないが、操作ＧＵＩが重畳表示されている場合には、入力画像６０１に操作ＧＵＩの画像が含まれている。

図６のＳ１では、投影画像除去部１０４において、撮像画像６０２から入力画像６０１（すなわち投影画像）を除去する。この処理により得られる差分画像６０３には、入力画像６０１に操作ＧＵＩの画像が含まれているかどうかと関わらず、星型の背景模様のみが含まれる。また、検出間隔Ｔ後の画像についても、同様に処理する。すなわち、撮影画像６０４から入力画像６０１を除去する。ここで得られる画像６０５には、入力画像６０１に操作ＧＵＩの画像が含まれているかどうかと関わらず、撮像領域に入ってきたユーザの手６０６と、星形の模様が含まれる。

Ｓ２では、検出間隔Ｔだけ時間的に離間した、２枚の投影画像除去後の差分画像６０３及び６０５を動体領域検出部１０５で比較し、動体領域を検出する。この処理により、投影画像および時間変化が無い背景模様が除去され、手６０６のみが含まれた画像６０８が得られる。これにより、手６０６の領域が有意領域、即ち動体領域と判定される。

Ｓ３では、Ｓ２で動体領域と判定された領域のうち、操作ＧＵＩの操作検出に用いる特定部位（ここでは指先とする）の座標を、ホットスポット座標検出部１０６でホットスポット座標６０７として検出する。

Ｓ４では、Ｓ３で検出されたホットスポット座標６０７の時間的変化から、ホットスポット動き検出部１０７によってホットスポットの動きを検出する。

Ｓ５では、コマンドデコード部１０９が、操作ＧＵＩ６０９が表示されている場合には、操作ＧＵＩ６０９の表示位置と、Ｓ４で検出されたホットスポットの動き及び座標とから、ユーザが指示した操作を特定し、対応する機器操作コマンドを出力する。

以上説明したように、本実施形態によれば、画像投影装置自身のキーやボタンを用いずに、投影画像上に重畳表示されるユーザインタフェース画像を用いて画像投影装置の操作を行うことができる。そのため、画像投影装置を手で持ちながら投影を行うような場合であっても、投影画像を揺らしたりゆがめたりする可能性を抑制しながら画像投影装置の操作を行うことができる。従って、携帯電話のような小型機器に特に好適に適用することができる。また、ユーザインタフェース画像を操作するための物体、例えば手の検出を、撮像画像間の差分に基づいて行うため、処理が容易であり、また赤外線カメラのような特殊な撮像装置を用いる必要がない。特に、昨今の携帯電話は既にカメラを内蔵しているので、新たにカメラを付加することなく、既存のカメラを流用することができる。

また、ユーザインタフェース画像を操作するための物体（操作物体）が検出されない状態の撮像画像を背景画像として保持しておくことにより、より確実に操作物体を検出することが可能になる。

（第２の実施形態）
図１０は、本発明の第２の実施形態に係る画像投影装置の概略構成例を示すブロック図である。図１０において、図１と同じ構成には同じ参照数字を付し、重複する説明を省略する。
図１と図１０との比較から明らかなように、本実施形態の画像投影装置１０００は、動体領域検出部１０５に代わり、特定形状領域検出部１０１４及び特定形状メモリ１０１５を設けた点を特徴とする。従って、以下ではこの特徴構成について重点的に説明する。

特定形状領域検出部１０１４は、投影画像除去部１０４が出力する投影画像除去後の撮影画像から、特定形状メモリ１０１５に記憶される特定形状と類似度が高いとみなされる領域を検出する。本実施形態では、例えば図５（Ｃ）及び（Ｄ）に示したような手の形状の形状特徴量情報が特定形状の情報として特定形状メモリ１０１５に記憶されているものとする。そして、特定形状領域検出部１０１４は、手の形状の形状特徴量情報に基づき、手の形状と類似度が高いとみなされる領域を特定形状領域として検出する。そして、ホットスポット座標検出部１０６は、検出された特定形状領域の特定部位をホットスポットとして検出し、その座標（ホットスポット座標）を検出する。

図１１に本実施形態の画像投影装置１０００における特定形状領域検出部１０１４の構成例を示す。
端子１１０１には投影画像除去部１０４から投影画像除去後の撮影画像が入力される。空間フィルタ部１１０２では、ランダムノイズ成分除去のため所定の平滑化処理を行う。形状検出部１１０３では端子１１０４を介して特定形状メモリ１０１５から取得した形状特徴量情報に基づき、投影画像除去後の撮影画像中の特定形状領域を検出し、検出した特定形状領域を特定する情報を端子１１０５から出力する。

形状検出部１１０３における特定形状領域の検出方法に特に制限はなく、例えば、輝度レベル、色相等を用いた領域分割と、形状の回転や拡大縮小に依存しない形状特徴量との比較による周知の領域検出アルゴリズムを用いることができる。

ホットスポット座標検出部１０６では、特定形状領域検出部１０１４が検出した特定形状領域から、操作ＧＵＩに対する操作を判別するために用いる特定部位、例えば指先をホットスポットとして検出し、その位置（ホットスポット座標）を検出する。第１の実施形態と同様、この検出を行う具体的な手法については、領域先端部検出や、円形領域検出による指先検出手法として周知の技術を利用可能であるため、ここでは詳細な説明を省略する。
他の構成要素の処理については第１の実施形態で説明した通りであるため、説明を省略する。

図１２は、本実施形態の画像投影装置１０００のユーザ操作検出動作を模式的に説明する図である。
本実施形態では、特定形状領域を検出するため、投影面に存在する模様などを誤検出する可能性が低い。そのため、第１の実施形態のように、投影画像を除去した２枚の撮像画像間の差分を取る必要がない。

図１２の例においても、入力画像６０１すなわち投影画像はフェイスマークであり、背景となる投影面には星型の模様がある。そのため、撮像画像６０２には、フェイスマークと星形の模様の両方が含まれる。なお、図１２には図示していないが、操作ＧＵＩが重畳表示されている場合には、入力画像６０１に操作ＧＵＩの画像が含まれている。
図１２の例では、当初から操作物体としての手６０６が撮影範囲に存在している（すなわち、撮像画像６０２に含まれる）点で図６の例と異なる。

図１２のＳ１１では、投影画像除去部１０４において、撮像画像６０２から入力画像６０１（すなわち投影画像）を除去する。この処理により得られる差分画像６０３には、入力画像６０１に操作ＧＵＩの画像が含まれているかどうかと関わらず、星型の背景模様と手６０６が含まれる。

Ｓ１２では、特定形状領域検出部１０１４が、投影画像除去部１０４が出力する、投影画像を除去した撮像画像から、特定形状の領域を検出する。本実施形態では特定形状領域として手形状の領域を検出するため、手６０６の領域が検出される。

Ｓ１３では、Ｓ１２で特定形状領域として検出された領域のうち、操作ＧＵＩに対する操作を判別するために用いる特定部位（ここでは指先とする）の座標を、ホットスポット座標検出部１０６でホットスポット座標６０７として検出する。

Ｓ１４では、Ｓ１３で検出されたホットスポット座標６０７の時間的変化から、ホットスポット動き検出部１０７によってホットスポットの動きを検出する。

Ｓ１５では、コマンドデコード部１０９が、操作ＧＵＩ６０９が表示されている場合には、操作ＧＵＩ６０９の表示位置と、Ｓ１４で検出されたホットスポットの動き及び座標とから、ユーザが指示した操作を特定し、対応する機器操作コマンドを出力する。

以上説明したように、本実施形態によれば、第１の実施形態の効果に加え、特定形状領域を検出する構成としたことにより、検出間隔Ｔだけ時間的に離間した、入力画像を除去した撮像画像間の差分を求める必要がない。そのため、より簡便な構成とすることができる。

（第３の実施形態）
図１３は、本発明の第３の実施形態に係る画像投影装置の概略構成例を示す図である。図１３において、図１又は図１０と同じ構成には同じ参照数字を付し、重複する説明を省略する。

図１３から明らかなように、本実施形態の画像投影装置１３００は、動体領域検出部１０５と、特定形状領域検出部１０１４及び特定形状メモリ１０１５の両方を有する。そして、検出制御部１３１７の制御により、第１の実施形態と同様の動体領域検出と、第２の実施形態と同様の特定形状領域の検出とを適応的かつ選択的に用いることを特徴とする。従って、以下ではこの特徴構成について重点的に説明する。

動体領域検出部１０５は、投影画像除去部１０４が出力する投影画像除去後の撮影画像から、動体とみなされる有意領域を検出する。動体領域検出部１０５の構成は図３を用いて第１実施形態で説明した通りだが、実施形態では有意領域が検出された場合、検出制御部１３１７の制御により、有意領域を特定する情報としての形状特徴量を特定形状メモリ１０１５に記憶する。

一方、特定形状領域検出部１０１４は、第２の実施形態で説明したように、投影画像除去後の撮影画像から、特定形状メモリ１０１５に記憶される特定形状の形状特徴量に基づき、特定形状と類似度が高いとみなされる領域を検出する。本実施形態ではここで用いる形状特徴量に、有意領域が検出された場合にはその有意領域の形状特徴量を用いて特定形状領域を検出する。つまり、動体領域検出部１０５で検出された有意領域の形状を特定形状として以後の特定形状領域検出が行われる。
特定形状領域検出部１０１４についても、第２実施形態で説明したとおりであるため省略する。

検出制御部１３１７は、動体領域検出部１０５の検出結果と、特定形状領域検出部１０１４の検出結果によってスイッチ１３１６を切り替え、ホットスポット座標検出部１０６へ供給する領域情報を選択する。

すなわち、検出制御部１３１７は、図５（Ｂ）に示すように、操作物体の領域が検出されていない状態では動体領域検出部１０５の出力を選択するようにスイッチ１３１６を切り替える。また、検出制御部１３１７は、図５（Ｃ）に示すように操作物体の領域が検出される状態となった場合には、特定形状領域検出部１０１４の出力を選択するようにスイッチ１３１６を切り替える。また、この際、検出制御部１３１７は、動体領域検出部１０５に対し、検出した動体領域（有意領域）の形状特徴量を特定形状メモリ１０１５へ書き込むように指示する。

その後、特定形状領域検出部１０１４において特定形状領域が検出できなくなった場合、検出制御部１３１７は特定形状メモリ１０１５をクリアするとともに、動体領域検出部１０５の出力を選択するようにスイッチ１３１６を切り替える。

検出された操作物体の領域をこのような適応的な選択処理により追尾することによって動きが静止した状態でもホットスポットの検出が可能となる。また動かない背景模様による誤検出も防止できる。
ホットスポット座標検出部１０６以降の処理は上述したとおりであるため、説明を省略する。

上述した本実施形態の画像投影装置の動作について、図１４に示すフローチャートを用いてさらに詳細に説明する。当初、スイッチ１３１６は動体領域検出部１０５の出力を選択するように制御されている。

Ｓ１４０２で検出制御部１３１７は、特定形状メモリ１０１５をクリアする。
Ｓ１４０４で動体領域検出部１０５は、第１の実施形態で説明したようにして動体領域（有意領域）の検出を行う。

Ｓ１４０５でホットスポット座標検出部１０６は、動体領域検出部１０５が検出した動体領域で、有意なホットスポット（例えば指先と見なされる部位）を検出可能かどうかを判定する。ホットスポット座標検出部１０６は、判定結果を検出制御部１３１７へ通知する。ホットスポット座標検出部１０６で有意なホットスポットの検出ができなければ、Ｓ１４０４に戻って動体領域検出部１０５での検出処理を継続する。なお、ホットスポット座標検出部１０６で有意なホットスポットが検出できない間、検出制御部１３１７はスイッチ１３１６を動体領域検出部１０５の出力を選択する状態に維持する。

一方、Ｓ１４０５において、ホットスポット座標検出部１０６で有意なホットスポットの検出ができた場合、Ｓ１４０６で、検出制御部１３１７は、動体領域検出部１０５に対し、検出した動体領域の形状特徴量を特定形状メモリ１０１５へ登録するように指示する。また、検出制御部１３１７は、スイッチ１３１６を特定形状領域検出部１０１４の出力を選択するように切り替える。

Ｓ１４０９では、特定形状領域検出部１０１４が、特定形状メモリ１０１５に動体領域検出部１０５が登録した形状特徴量を用いて、第２の実施形態で説明したように特定形状領域を検出する。

Ｓ１４１０で検出制御部１３１７は、特定形状領域検出部１０１４における検出結果を判定し、特定形状領域が検出できなかった場合には処理をＳ１４０２に戻して、動体領域検出モードに移行する。この際、検出制御部１３１７は、動体領域検出部１０５の出力を選択するようにスイッチ１３１６を切り替える。

一方、特定形状領域検出部１０１４で特定形状領域が検出できた場合、Ｓ１４１１でホットスポット座標検出部１０６は、検出された特定形状領域からホットスポット検出及びその座標の検出を行う。

Ｓ１４１２ではホットスポット座標検出部１０６が検出したホットスポット座標の動きをホットスポット動き検出部１０７において検出する。Ｓ１４１３ではコマンドデコード部１０９において、ホットスポットの動きや操作ＧＵＩの表示位置に基づきユーザ操作を判定し、判定結果に応じて機器制御コマンドを発行してシステム制御部１１０へ出力する。
そして、以後はＳ１４０９からの処理を繰り返す。

以上説明したように、本実施形態によれば、第１及び第２のの実施形態の効果に加え、実際の撮像画像から検出された有意領域の形状を用いて特定形状領域の検出を行うので、より精度の良い特定形状領域の検出を行うことができるという効果を有する。また、動体領域の検出と、特定形状の検出を適応的に切り替えて用いることで、様々な状態において適切にユーザ操作を検出及び判定することができる。

（他の実施形態）
なお、上述の実施形態ではいずれも、操作ＧＵＩの操作に用いられる操作物体が手である場合について説明した。しかし、例えばユーザが直接手で操作ＧＵＩを操作しない場合であっても、本発明を適用可能である。例えば、ペンや指示棒などを用いてユーザが操作ＧＵＩの操作を行う場合には、手の代わりにペンや指示棒を操作物体として取り扱うことができる。例えば、ペンや指示棒の形状特徴量を用いて特定形状領域を検出し、ペンや指示棒の先端を特定部位（ホットスポット）として検出するように構成すればよい。このように、本発明は本質的に、操作物体の形状や位置の検出方法はどのようなものであっても良い。

また、コマンドデコード部１０９は、操作ＧＵＩの位置情報を用いずにユーザ操作を判定しても良い。例えば、ホットスポットが円運動している場合など、ホットスポットの特定の動き自体をコマンドとして判定しても良い。具体的には、ホットスポットの円運動を操作ＧＵＩの表示コマンドとして判定することができる。
なお、ホットスポットが所定時間以上動かない場合も、ここで言う「ホットスポットの特定の動き」と見なす、即ちユーザ操作と判定することができる。

このように、操作ＧＵＩと独立してユーザ操作を判定する場合、ユーザはジェスチャーによって画像投影装置を操作することが出来るため、操作ＧＵＩの画像によって入力画像が見えづらくなることがない。また、操作ＧＵＩの特定の領域ではなく、投影画像上の任意の場所でジェスチャーを行えばよいので、操作時の自由度が高いという利点がある。

なお、操作ＧＵＩを利用したユーザ操作の判定と、ホットスポットの位置情報（座標及びその時間的変化）のみに基づくユーザ操作の判定とは、組み合わせて実行可能である事は言うまでもない。例えば、操作ＧＵＩの表示操作についてはホットスポットの位置情報にのみ基づくユーザ操作の判定を行い、操作ＧＵＩを表示した後は、操作ＧＵＩの表示位置とホットスポットの位置情報の両方に基づいたユーザ操作の判定を行うことができる。

また、上述の実施形態では、画像投影装置がカメラ部を備えた構成について説明したが、投影画像を含んだ投影面の撮像画像が取得できれば、カメラ部を備えなくてもよい。

本発明の第１の実施形態に係る画像投影装置１００の概略構成例を示すブロック図である。 本発明の第１の実施形態に係る画像投影装置１００における投影画像除去部１０４の構成例を示すブロック図である。 本発明の第１の実施形態に係る画像投影装置１００における動体領域検出部１０５の構成例を示すブロック図である。 本発明の第１の実施形態に係る画像投影装置１００における動体領域検出部１０５の別の構成例を示すブロック図である。 本発明の第１の実施形態に係る画像投影装置の使用時の状態を模式的に示す図である。 本発明の第１の実施形態に係る画像投影装置１００のユーザ操作検出動作を模式的に説明する図である。 本発明の第１の実施形態に係る画像投影装置１００におけるカメラフィードバック部２１２が出力する補正情報の例を説明する図である。 本発明の第１の実施形態に係る画像投影装置１００における撮像画像補正部２０６の補正処理の例を示す図である。 本発明の第１の実施形態に係る画像投影装置１００における動体領域検出部１０５の有効領域の設定例を示す図である。 本発明の第２の実施形態に係る画像投影装置１０００の概略構成例を示すブロック図である。 本発明の第２の実施形態に係る画像投影装置１０００における特定形状領域検出部１０１４の構成例を示すブロック図である。 本発明の第２の実施形態に係る画像投影装置１０００のユーザ操作検出動作を模式的に説明する図である。 本発明の第３の実施形態に係る画像投影装置１３００の概略構成例を示すブロック図である。 本発明の第３の実施形態に係る画像投影装置１３００の動作を説明するフローチャートである。

Claims (12)

1. 入力画像を投影面に投影する投影手段と、
   前記投影面の、前記投影手段によって投影された前記入力画像を含む範囲を撮像した撮像画像を取得する取得手段と、
   前記撮像画像と前記入力画像の差分画像を生成する生成手段と、
   前記生成手段が異なる時刻に生成した複数の前記差分画像から、前記投影面における前記画像投影装置に関する操作をするための操作物体に対応する領域を検出する検出手段と、を有し、
   前記取得手段は、第１の時刻および当該第１の時刻から所定時間経過した第２の時刻に、前記撮像画像を取得し、
   前記生成手段は、前記第１の時刻に取得された前記撮像画像と前記第１の時刻の前記入力画像の差分画像と、前記第２の時刻に取得された前記撮像画像と前記第２の時刻の前記入力画像の差分画像とを生成し、
   前記検出手段は、
   前記第１の時刻に取得された前記撮像画像と前記第１の時刻の前記入力画像の差分画像と、前記第２の時刻に取得された前記撮像画像と前記第２の時刻の前記入力画像の差分画像とに基づいて、前記投影面における前記操作物体に対応する領域を検出する第１の検出動作を行い、
   前記第１の検出動作において、前記操作物体に対応する領域が検出されたことに応じて、前記操作物体に対応する領域の形状の特徴量情報をメモリに記憶し、前記メモリに記憶された特徴量情報に基づいて、前記生成手段が生成した前記撮像画像と前記入力画像の差分画像中の前記検出された前記操作物体に対応する領域の形状と類似度が高いと見なされる領域を、前記操作物体に対応する領域として検出する第２の検出動作を開始することを特徴とする画像投影装置。
2. 前記検出手段は、前記第２の検出動作において、前記生成手段が生成した前記撮像画像と前記入力画像の差分画像中の前記検出された前記操作物体に対応する領域の形状と類似度が高いと見なされる領域が検出されなくなったことに応じて、前記第１の検出動作を開始することを特徴とする請求項１記載の画像投影装置。
3. 前記検出手段は、前記第１の検出動作を開始するとともに、前記第２の検出動作を停止させることを特徴とする請求項２記載の画像投影装置。
4. 前記検出手段は、前記第１の検出動作を開始するとともに、前記第２の検出動作を停止させ、さらに、前記メモリに記憶された特徴量情報をクリアすることを特徴とする請求項３記載の画像投影装置。
5. 前記検出手段は、前記第２の検出動作を開始するとともに、前記第１の検出動作を停止させることを特徴とする請求項１から４のいずれか１項記載の画像投影装置。
6. 前記検出手段は、前記第１の検出動作において、前記第１の時刻に取得された前記撮像画像と前記第１の時刻の前記入力画像の差分画像と、前記第２の時刻に取得された前記撮像画像と前記第２の時刻の前記入力画像の差分画像の、孤立画素を除いた閉領域を、前記投影面における前記操作物体に対応する領域をとして検出することを特徴とする請求項１から５のいずれか１項記載の画像投影装置。
7. 前記検出手段は、前記第１の検出動作において、前記投影面の、前記投影手段によって投影された前記入力画像を含む範囲の内側であって、当該投影された前記入力画像を含む範囲よりも小さい範囲において、前記投影面における前記操作物体に対応する領域を検出することを特徴とする請求項１から６のいずれか１項記載の画像投影装置。
8. 前記検出手段は、前記第１の検出動作において、前記操作物体に対応する領域が検出されなかった際の前記生成手段からの差分画像を記憶させる記憶手段を有することを特徴とする請求項１から７のいずれか１項記載の画像投影装置。
9. 前記検出手段が検出した前記操作物体に対応する領域の、特定部位の位置に関する情報を検出する座標検出手段と、
   前記座標検出手段が検出した前記特定部位の位置に関する情報に基づいて、前記操作物体による操作を判定する判定手段と、
   をさらに有することを特徴とする請求項１から８のいずれか１項に記載の画像投影装置。
10. 前記判定手段が判定した操作に対応した前記画像投影装置の動作を制御する制御手段をさらに有することを特徴とする請求項９記載の画像投影装置。
11. 前記画像投影装置に関する操作をするためのユーザインタフェース画像が重畳した前記入力画像を前記投影手段に供給するオーバーレイ手段をさらに有し、
    前記判定手段は、前記座標検出手段が検出した前記特定部位の位置に関する情報と、前記ユーザインタフェース画像の位置に関する情報とに基づいて、前記操作物体による前記画像投影装置の操作を判定することを特徴とする請求項９又は１０記載の画像投影装置。
12. 入力画像を投影面に投影する投影手段と、前記投影面の、前記投影手段によって投影された前記入力画像を含む範囲を撮像した撮像画像を取得する取得手段と、前記撮像画像と前記入力画像の差分画像を生成する生成手段と、前記生成手段が異なる時刻に生成した複数の前記差分画像から、前記投影面における前記画像投影装置に関する操作をするための操作物体に対応する領域を検出する検出手段と、を有する画像投影装置の制御方法であって、
    前記取得手段が、第１の時刻および当該第１の時刻から所定時間経過した第２の時刻に、前記撮像画像を取得する工程と、
    前記生成手段が、前記第１の時刻に取得された前記撮像画像と前記第１の時刻の前記入力画像の差分画像と、前記第２の時刻に取得された前記撮像画像と前記第２の時刻の前記入力画像の差分画像とを生成する工程と、
    前記検出手段が、
    前記第１の時刻に取得された前記撮像画像と前記第１の時刻の前記入力画像の差分画像と、前記第２の時刻に取得された前記撮像画像と前記第２の時刻の前記入力画像の差分画像とに基づいて、前記投影面における前記操作物体に対応する領域を検出する第１の検出動作を行い、
    前記第１の検出動作において、前記操作物体に対応する領域が検出されたことに応じて、前記操作物体に対応する領域の形状の特徴量情報をメモリに記憶し、前記メモリに記憶された特徴量情報に基づいて、前記生成手段が生成した前記撮像画像と前記入力画像の差分画像中の前記検出された前記操作物体に対応する領域の形状と類似度が高いと見なされる領域を、前記操作物体に対応する領域として検出する第２の検出動作を開始する工程とを有することを特徴とする画像投影装置の制御方法。

Images