JP6784944B2

JP6784944B2 - 投影制御装置、マーカ検出方法及びプログラム

Info

Publication number: JP6784944B2
Application number: JP2018057994A
Authority: JP
Inventors: 小林　正樹; 正樹小林
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2018-03-26
Filing date: 2018-03-26
Publication date: 2020-11-18
Anticipated expiration: 2038-03-26
Also published as: US20190295277A1; US10891750B2; JP2019169914A

Description

本発明は、投影制御装置、マーカ検出方法及びプログラムに関する。

画像を投影する投影装置において、壁等の投影面に色、柄、歪み等が有る場合に、投影装置が投影した画像を正しい色や形状で表示するための技術が提案されている（例えば特許文献１）。

国際公開第２００７／０７２６９５号

上記特許文献に記載された技術を含め、投影装置の投影範囲における色の再現状態を正確に把握して投影画像を補正するためには、投影装置が投影面上に投影した画像の色情報を取得するための手段を備える必要がある。この場合、投影装置の位置と投影画像の鑑賞者の位置とが異なると、撮影部を有する投影装置が、投影画像を撮影しても鑑賞者の位置を反映して画像を補正することが困難な場合がある。

そこで、画像の色情報を正確に取得する手段として、当該投影装置のユーザが使用するデジタルカメラ等、別体の撮影装置が考えられる。一般的なデジタルカメラにより投影画像を撮影することで投影装置の色補正が実行できれば、簡易で正確に投影装置の初期設定が実現できる。

しかしながら、画像の補正をより正確に行うには複数枚の補正用の画像パターンを投影装置により連続して投影させ、その複数の画像パターンをデジタルカメラにより撮影させる必要がある。これらの投影画像をデジタルカメラで手持ちの状態で撮影すると、デジタルカメラ自体の撮影位置が安定しておらず、手ぶれの発生も懸念される。

本発明は、以上の点に鑑み、複数の補正用画像の位置合わせを容易にした投影制御装置、マーカ検出方法及びプログラムを提供することを目的とする。

本発明の一の投影制御装置は、第１の多角形と、前記第１の多角形の内側に配置される第２の多角形と、を含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を、撮影装置に撮影されるように投影する投影部を備え、前記第１の多角形の少なくとも一つの辺が前記第２の多角形の各辺と非平行であり、前記第２の多角形の頂点数は、前記第１の多角形の頂点数以下である、ことを特徴とする。
本発明の他の投影制御装置は、第１の多角形と、前記第１の多角形の内側に配置される第２の多角形と、を含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を、撮影装置に撮影されるように投影する投影部を備え、前記第１の多角形の少なくとも一つの辺が前記第２の多角形の各辺と非平行であり、前記第１の多角形は枠状に形成され、前記第２の多角形は前記第１の多角形と同色に塗りつぶされて形成される、ことを特徴とする。

本発明のマーカ検出方法は、第１の多角形と、前記第１の多角形の内側に配置される第２の多角形とを含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を投影制御装置により投影する工程と、複数の前記補正用画像を撮影装置により撮影する工程と、前記マーカを検出させる工程と、を含み、前記第１の多角形の少なくとも一つの辺は、前記第２の多角形の各辺と非平行であり、前記マーカを検出させる工程は、前記撮影装置が撮影した前記補正用画像の輪郭を抽出する工程と、抽出された輪郭から選択した第１処理対象の輪郭の頂点数が予め定めた第１条件であった場合に、前記第１処理対象の輪郭よりも内側の輪郭を抽出する工程と、前記内側の輪郭から選択した第２処理対象の輪郭の頂点数が予め定めた第２条件であった場合に、前記第１処理対象の輪郭の面積と、前記第２処理対象の輪郭の面積との比率を求める工程と、前記比率が予め定めた範囲である場合に前記第１処理対象と前記第２処理対象の各輪郭を前記マーカとして求める工程と、を含む、ことを特徴とする。

本発明のプログラムは、コンピュータが実行するプログラムであって、前記コンピュータを、第１の多角形と、前記第１の多角形の内側に配置される第２の多角形とを含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を投影させる手段、複数の前記補正用画像を撮影させる手段、及び、前記マーカを検出させる手段、として機能させ、前記第１の多角形の少なくとも一つの辺は、前記第２の多角形の各辺と非平行であり、前記マーカを検出させる手段は、前記撮影装置が撮影した前記補正用画像の輪郭を抽出する手段と、抽出された輪郭から選択した第１処理対象の輪郭の頂点数が予め定めた第１条件であった場合に、前記第１処理対象の輪郭よりも内側の輪郭を抽出する手段と、前記内側の輪郭から選択した第２処理対象の輪郭の頂点数が予め定めた第２条件であった場合に、前記第１処理対象の輪郭の面積と、前記第２処理対象の輪郭の面積との比率を求める手段と、前記比率が予め定めた範囲である場合に前記第１処理対象と前記第２処理対象の各輪郭を前記マーカとして求める手段と、を含む、ことを特徴とする。

本発明によれば、複数の補正用画像の位置合わせを容易にした投影制御装置、マーカ検出方法及びプログラムを提供することができる。

本発明の実施形態に係る投影システムの概要を示す図である。本発明の実施形態に係る投影システムの構成を示す図である。本発明の実施形態に係る補正用画像を示す図であり、（ａ）〜（ｃ）は被測定物の色補正用の補正画像であり、（ｄ）〜（ｆ）は被測定物の歪み補正用の補正画像である。本発明の実施形態に係るマーカの構成を示す図である。本発明の実施形態に係る輪郭情報テーブルの構成を示す図である。本発明の実施形態に係るマーカ検出プログラムのフローチャート図である。本発明の実施形態に係る撮影装置の処理する画像を示し、（ａ）は撮影装置が撮影した第１の補正用画像を示し、（ｂ）は第１の補正用画像の輪郭抽出を行った後の画像を示し、（ｃ）は抽出したマーカ部分の輪郭の拡大図である。

以下、本発明を実施するための形態について述べる。図１は投影システム１の概要を示す図である。投影システム１は、カーテンや壁等の投影対象物３０の投影面３１に画像を投影する投影装置１０（投影制御装置）と、投影面３１に投影された画像を撮影するデジタルカメラやカメラ付き携帯電話、等の撮影装置２０とを有する。なお、撮影装置２０としては、携帯用の画像入力機能付きデジタル機器であれば良く、ビデオカメラ、スマートフォン（高機能携帯電話），タブレット端末等でも良い。本実施形態では投影対象物３０としてカーテンを示している。投影対象物３０は図示しないレール等に吊支され、主として横方向に沿った表面に波状のうねりを有している。また投影面３１には色や模様が形成されている。

投影装置１０は、撮影装置２０と異なる位置に配置される。図１の投影装置１０は、投影面３１に対して左側に配置され、画像を斜めの方向から投影している。撮影装置２０は、投影面３１に対して略正面等、投影面３１に投影された画像を鑑賞するユーザの位置に配置される。従って、撮影装置２０が撮影した画像とユーザが視認する画像とは、画角が略一致するように構成することができる。撮影装置２０はユーザによって把持されてもよい。

投影システム１の動作の概要について説明する。投影装置１０により投影される投影画像は、投影されたままの状態では、投影面３１の形状・模様等の影響や、投影装置１０の投影方向とユーザの視線方向との差の影響により、ユーザの視点からは元の画像データとは異なる色や形状で観測される。そこで、本実施形態では、ユーザが、ユーザの視点から好適に投影画像を視認可能なように、処理部１２が画像データの補正を行う。投影装置１０が後述する補正用画像１１１を投影面３１に投影すると、撮影装置２０は投影された補正用画像１１１を撮影する。撮影装置２０は、投影装置１０が投影した補正用画像１１１と、撮影装置２０が撮影した撮影画像６０における補正用画像１１１と、のずれに基づいて、画像補正情報を求めて、投影装置１０に対して有線又は無線の通信を介して送信する。上述の処理により、投影装置１０は、画像補正情報に基づいて基の画像データが、観測者であるユーザにとって意図された態様で視認されるように、画像を投影することができる。

図２は投影システム１の構成を示す図である。投影装置１０は、記憶部１１、処理部１２、投影部１３、操作部１４、通信部１５、音声処理部１６を備え、各々内部バスにより接続されている。記憶部１１は、例えば、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）やＳＲＡＭ（ＳｔａｔｉｃＲａｎｄａｍＡｃｃｅｓｓＭｅｍｏｒｙ）で構成される。記憶部１１は、図示しない鑑賞用の画像データ、この画像データを補正するための補正用画像１１１、及び投影装置１０の制御プログラム１１２等を記憶する。

処理部１２は、記憶部１１に記憶される制御プログラム１１２を読み出し、投影装置１０を統括して制御する。また、処理部１２には画像補正処理部１２１が含まれる。画像補正処理部１２１は、記憶部１１から補正用画像１１１を取得して投影部１３に送信する。また画像補正処理部１２１は、撮影装置２０から受信した画像補正情報２５ａに基づいて記憶部１１に記憶された鑑賞用の画像データを補正し、補正後の変換された画像を投影部１３に送信する。

投影部１３は、画像補正処理部１２１を含む処理部１２から送られてきた補正用画像１１１のデータ或いは鑑賞用の画像データを、予め設定した画像フォーマットに従ったフレームレートで投影する。投影部１３は、一つのフレーム内で画素毎に異なる色の光を出射することにより画像を形成する。画素毎の色は、複数の異なる波長帯域の光を時分割で出射することにより表現することができる。本実施形態の投影装置１０は、投影部１３をＤＬＰ（登録商標）（ＤｉｇｉｔａｌＬｉｇｈｔＰｒｏｃｅｓｓｉｎｇ）プロジェクタの投影部として構成しているが、液晶プロジェクタ等の他の方式としてもよい。投影部１３から送信された画像は、図１の投影面３１に投影される。

操作部１４は、投影装置１０の筐体に備える操作キー等から操作信号を受け付けて、その操作信号を、バスを介して処理部１２に送信する。処理部１２は、操作部１４からの操作信号に応じて投影処理等の各種の機能を実行する。

通信部１５は、図示しないリモートコントローラからの赤外線変調信号等による操作信号を受信し、その操作信号を処理部１２に送信する。また、通信部１５は撮影装置２０の通信部２５とデータの送受信を行うことができる。また、通信部１５は、外部入力端子を備えることができ、外部機器から鑑賞用の画像データを入力させることができる。投影装置１０の通信部１５による撮影装置２０の通信部２５との通信は、有線又は無線により行うことができる。

音声処理部１６は、ＰＣＭ音源などの音源回路を備え、スピーカ１７を駆動して音を拡散放音させる。音声処理部１６は、投影する画像データに音声信号が含まれていた場合、投影動作時にその音声信号をアナログ変換してスピーカ１７を介して音を出力する。

撮影装置２０は、撮影部２１、処理部２２、入出力制御部２３、記憶部２４、通信部２５を備え、各々内部バスにより接続される。撮影部２１は、図１の投影面３１に投影される画像を撮影する。

処理部２２は、撮影装置２０を制御する機能を有する。処理部２２には測定処理部２２１が含まれる。測定処理部２２１は、撮影部２１により撮影された補正用画像１１１を含む撮影画像６０を解析する。測定処理部２２１は、補正用画像１１１の解析結果を画像補正情報２５ａとして通信部２５を介して投影装置１０に送信する。

入出力制御部２３は、ユーザが操作ボタン２３１から入力した操作指示を受け付けて処理部２２へ送信する。表示装置２３２は、入出力制御部２３から出力された画像を表示させる画面や表示灯等である。

記憶部２４は、輪郭情報テーブル２４１や撮影装置２０の制御プログラムを記憶する。制御プログラムにはマーカ検出プログラム２４２が含まれる。また、記憶部２４は、撮影部２１が撮影した撮影画像６０を記憶する。

次に、図３（ａ）乃至図３（ｆ）に基づいて、投影装置１０の記憶部１１に記憶される補正用画像１１１について説明する。補正用画像１１１ａ〜１１１ｆは、投影モードに応じたアスペクト比の矩形状の画像とすることができ、本図では全体を横長の矩形形状としている。各補正用画像１１１ａ〜１１１ｆは画像全体の四隅に画像位置識別用のマーカ４１を有し、その他の領域を測定領域４２としている。

図４は、各補正用画像１１１ａ〜１１１ｆのマーカ４１の構成を示す図である。マーカ４１は、第１の多角形４３と、この第１の多角形４３の内側に配置される第２の多角形４４とにより構成される。第１の多角形４３は、対向する辺が各々平行且つ同一長さで各内角が９０度である正四角形に形成される。第１の多角形４３の各辺は、外側の縁辺４３１ａ〜４３１ｄと内側の縁辺４３２ａ〜４３２ｄとにより黒に彩色された所定の幅を有し、縁辺４３２ａ〜４３２ｄに囲われる第１の多角形４３の内側は白に彩色される。外側の縁辺４３１ａ〜４３１ｄで区切られる第１の多角形４３の外側は、補正用画像１１１の測定領域４２（図３参照）に応じた色で彩色される。第２の多角形４４は、第１の多角形４３の内側の縁辺４３２ａ〜４３２ｄに囲われた領域に形成される。第２の多角形４４は、各縁辺４４１ａ〜４４１ｃが同一長さの正三角形に形成される。第２の多角形４４の各縁辺４４１ａ〜４４１ｃに囲われる内部は、第１の多角形と同色の黒に彩色される。本実施形態では、第１の多角形４３の縁辺４３２ａ〜４３２ｄと、第２の多角形４４の縁辺４４１ａ〜４４１ｃを撮影装置２０に検出させて、マーカ４１を特定する。

第１の多角形４３の上下の縁辺４３１ａ，４３１ｂ，４３２ａ，４３２ｂは、第２の多角形４４の下側の縁辺４４１ｃと平行に配置される。また、第１の多角形４３の各縁辺４３１ａ〜４３１ｄ，４３２ａ〜４３２ｄは、第２の多角形４４の左右の縁辺４４１ａ，４４１ｂと非平行となるように形成される。このように、マーカ４１は、第１の多角形４３と第２の多角形４４とが異なる頂点数を有しながら、第１の多角形４３の少なくとも一つの辺が、第２の多角形４４の各辺と非平行となるように形成され、第１の多角形４３の上記一つの辺と異なる他の辺が、第２の多角形４４の何れかの辺と平行に形成される。

図３（ａ）〜（ｃ）は投影面３１の色補正用の補正用画像１１１ａ〜１１１ｃである。補正用画像１１１ａ、補正用画像１１１ｂ及び補正用画像１１１ｃは、略全面の測定領域４２を各々黒色、灰色及び白色としている。投影装置１０は、補正用画像１１１ａ〜１１１ｃを投影面３１に投影して撮影装置２０に撮影させ、撮影装置２０に投影面３１に形成される模様や投影面３１の歪みに起因した色の変化を検出させる。

図３（ｄ）〜（ｆ）は投影対象物３０に投影された画像の歪み補正用の補正用画像１１１ｄ〜１１１ｆである。補正用画像１１１ｄ、補正用画像１１１ｅ及び補正用画像１１１ｆは、略全面の測定領域４２に略正方形の白の四角形及び黒の四角形を縦方向及び横方向に交互に配置した市松模様を有する。補正用画像１１１ｄ〜１１１ｆは、市松模様の大きさによる異なる分解能で投影面３１の歪みを検出することができる。投影装置１０は、補正用画像１１１ｄ〜１１１ｆを投影面３１に投影して撮影装置２０に撮影させる。撮影装置２０は、複数の補正用画像１１１ｄ〜１１１ｆを組み合わせて投影面３１全体の歪みを検出することができる。

図５は輪郭情報テーブル２４１の構成を示す図である。輪郭情報テーブル２４１は、輪郭番号５１と、下位階層輪郭個数５２と、下位階層輪郭番号５３とを対応して記憶する。各データの取得方法については図６のフローチャート図で後述する。輪郭番号５１は、輪郭抽出処理（図６のステップＳ２０）で抽出される輪郭毎に設定される識別番号である。下位階層輪郭個数５２は、輪郭番号５１に対応する輪郭が閉領域であった場合に、その輪郭の一つ内側の階層に、いくつの輪郭が包含されるかを示している。下位階層輪郭番号５３は、下位階層輪郭個数５２でカウントされる各輪郭に設定された識別番号である。このように、輪郭情報テーブル２４１は、各輪郭の階層構成を記憶することができる。

次に、補正用画像１１１ａ〜１１１ｆを使用したマーカ検出方法について概説する。まず、図２の投影装置１０の画像補正処理部１２１は、記憶部１１に記憶された補正用画像１１１（１１１ａ〜１１１ｆ）を取得する。画像補正処理部１２１は取得した補正用画像１１１を予め定めた順番で投影部１３へ送信する。投影部１３は受信した補正用画像１１１を投影面３１に投影する。本実施形態では、投影装置１０は、黒色の補正用画像１１１ａ、灰色の補正用画像１１１ｂ、白色の補正用画像１１１ｃ、大型の市松模様の補正用画像１１１ｄ、中型の市松模様の補正用画像１１１ｅ、及び小型の市松模様の補正用画像１１１ｆを、順に投影する。この際、サイズの異なる市松模様の各補正用画像１１１ｄ、１１１ｅ、１１１ｆの四角形の角部は、投影時に互いに重ならない位置になっている。

撮影装置２０は、投影面３１に投影された複数の補正用画像１１１ａ〜１１１ｆを時分割で撮影する。このとき、撮影装置２０は、図１に示すように投影された補正用画像１１１より広い範囲を撮影して、図７（ａ）に示す撮影画像６０ａを取得する。撮影画像６０ａは、補正用画像１１１ａを撮影したときの画像であり、補正用画像１１１ａと、補正用画像１１１ａの周囲の外部領域６０ａ１とを含む。なお撮影画像６０ａの例では、周辺環境を比較的暗くしているため、外部領域６０ａ１は測定領域４２と略同等の黒色の領域として取得される。また、補正用画像１１１が投影された２点鎖線で示す領域内には、投影面３１に形成された模様３１ａがマーカ４１とともに撮影されている。撮影した各補正用画像１１１ａ〜１１１ｆに対応する撮影画像６０ａ〜６０ｆは、記憶部２４に記憶される。本実施形態では、各撮影画像６０ａ〜６０ｆ内のマーカ４１の位置を検出して、時分割で投影及び撮影された複数の補正用画像１１１ａ〜１１１ｆの位置ずれを検出してオフセット補正する。図３に示した補正用画像１１１ａ〜１１１ｆは、いずれも画像の四隅の同じ位置にマーカ４１が配置されているため、測定処理部２２１は、各補正用画像１１１ａ〜１１１ｆ間のマーカ４１の位置ずれを検出することにより、補正用画像１１１ａ〜１１１ｆの平行成分及び回転成分の位置ずれを検出する。次に、マーカ４１の検出処理について説明する。

図６は測定処理部２２１（処理部２２）が実行するマーカ検出プログラムのフローチャート図である。本図では図７（ａ）の撮影画像６０ａを処理する例について説明するが、補正用画像１１１ｂ〜１１１ｆを撮影した撮影画像６０ｂ〜６０ｆについても同様に処理することができる。測定処理部２２１は、まず、記憶部２４に記憶された撮影画像６０ａを読み込む。ステップＳ１０で、測定処理部２２１は、撮影画像６０ａを適宜の方法により２値化する撮影画像変換処理を行う。

ステップＳ２０で、測定処理部２２１は、ステップＳ１０で変換した２値化画像から階層情報を持った輪郭抽出処理を行う。輪郭抽出処理は、例えば、ＯｐｅｎＣＶライブラリのｆｉｎｄＣｏｎｔｏｕｒｓ関数を用いて行うことができる。具体例として、測定処理部２２１は、２値化画像の黒画素と白画素の境界を輪郭として検出する。図７（ｂ）は、輪郭抽出処理の結果を視覚化した輪郭抽出画像６１ａを示している。本図の例では、マーカ４１に対応する８個の輪郭７１１〜７１８と、模様３１ａに対応する５個の輪郭７２１〜７２５が抽出される様子を示している。測定処理部２２１は、検出した輪郭に、例えば輪郭抽出画像６１ａの外側から順に識別情報として輪郭番号を設定する。本図では、撮影範囲７１０内の輪郭７１１〜７１４に対し、順に輪郭番号ａ１〜ａ４が設定される。輪郭７１１〜７１４の各内側に抽出された輪郭７１５〜７１８に対しても、順に輪郭番号ａ６〜ａ９が設定される。また、輪郭７２１に対しては輪郭番号ａ５が設定され、輪郭７２２〜７２５に対しては輪郭番号ａ１０〜ａ１３が設定される。

また、測定処理部２２１は、各輪郭７１１〜７１８，７２１〜７２５の階層の情報として、下位階層輪郭の個数と、下位階層の輪郭番号を、輪郭情報テーブル２４１の下位階層輪郭個数５２及び下位階層輪郭番号５３として対応して記憶する。これにより、ある輪郭が他の輪郭による閉じられた領域内に入れ子状に配置される場合の内外の位置関係を把握することができる。

ステップＳ３０で、測定処理部２２１は、マーカ検出のための処理がされていない未処理の輪郭が有るか判定する。測定処理部２２１は、未処理の輪郭が有る場合（Ｓ３０，ＹＥＳ）ステップＳ４０の処理に進み、未処理の輪郭が無い場合（Ｓ３０，ＮＯ）処理を終了する。測定処理部２２１は、初期状態では輪郭７１１〜７１８，７２１〜７２５の処理が行われていないため（Ｓ３０，ＹＥＳ）、ステップＳ４０の処理に進む。

ステップＳ４０で、測定処理部２２１は、処理対象の輪郭Ｃ０（第１処理対象）を決定する。測定処理部２２１は、例えば、輪郭情報テーブル２４１から、輪郭番号５１のうち最も数字の値の小さい輪郭番号の輪郭を、処理対象の輪郭Ｃ０として決定する。輪郭抽出画像６１ａの例では、初期状態の場合、測定処理部２２１により、輪郭番号５１の中から最も数字の小さい輪郭番号５１「ａ１」の輪郭７１１が、処理対象の輪郭Ｃ０として抽出される。

ステップＳ５０で、測定処理部２２１は、抽出された輪郭Ｃ０に対して、閉領域の設定が可能な直線近似処理を行う。直線近似処理は、例えばＯｐｅｎＣＶライブラリのａｐｐｒｏｘＰｏｌｙＤＰ関数を用いて行うことができる。図７（ｃ）は、ステップＳ１０〜Ｓ４０で抽出した輪郭７１１及び輪郭７１５の拡大図である。処理対象の輪郭Ｃ０が輪郭７１１の場合、４つの線分７１１ａ〜７１１ｄで閉じられた四角形状に直線近似される。

ステップＳ６０で、測定処理部２２１は、輪郭Ｃ０が頂点数「４」の閉じた線分であるか（第１条件）判定する。測定処理部２２１は、輪郭Ｃ０が頂点数「４」であると判定した場合（Ｓ６０，ＹＥＳ）ステップＳ７０の処理に進み、輪郭Ｃ０が頂点数「４」であると判定しない場合（Ｓ６０，ＮＯ）ステップＳ３０の処理に戻る。処理対象の輪郭Ｃ０が輪郭７１１である場合、頂点数は「４」であるため（Ｓ６０，ＹＥＳ）処理はステップＳ７０へ進む。

ステップＳ７０で、測定処理部２２１は、処理対象である輪郭Ｃ０の内側の一つ下位の階層の輪郭を抽出する。例えば、処理対象の輪郭Ｃ０が輪郭７１１である場合、測定処理部２２１は、図５の輪郭情報テーブル２４１を参照し、輪郭番号５１「ａ１」に対応する下位階層輪郭個数５２が「１」以上であるか判定し、「１」以上であれば輪郭番号５１「ａ１」に対応する下位階層輪郭番号５３「ａ６」の輪郭７１５を抽出する。なお、輪郭番号５１「ａ５」のように複数の下位階層輪郭番号５３が記憶されている場合は、複数の下位階層輪郭番号が抽出される。また、下位階層輪郭個数５２が「０」である場合は下位階層の輪郭番号は抽出されない。

ステップＳ８０で、測定処理部２２１は、ステップＳ７０で抽出した輪郭の中に未処理の輪郭が有るか判定する。測定処理部２２１は、未処理の輪郭が有ると判定した場合（Ｓ８０，ＹＥＳ）ステップＳ９０の処理に進み、未処理の輪郭が有ると判定しない場合（Ｓ８０，ＮＯ）ステップＳ３０の処理へ戻る。

ステップＳ９０で、測定処理部２２１は、輪郭Ｃ０の内側にあるステップＳ７０で抽出された輪郭のうち、未処理の輪郭の中から処理対象の輪郭Ｃ１（第２処理対象）を決定する。処理対象の輪郭Ｃ１として、未処理の輪郭から最も輪郭番号の小さい輪郭を選択することができる。例えば、ステップＳ７０で輪郭７１１の内側にある下位階層輪郭番号５３「ａ６」の輪郭７１５が抽出され、処理が行われていない場合は、輪郭７１５が処理対象の輪郭Ｃ１として決定される。

ステップＳ１００で、測定処理部２２１は、ステップＳ９０で決定した輪郭Ｃ１に対して、閉領域の設定が可能な直線近似処理を行う。直線近似処理は、ステップＳ５０と同様に、ＯｐｅｎＣＶライブラリのａｐｐｒｏｘＰｏｌｙＤＰ関数を用いて行うことができる。処理対象の輪郭Ｃ１が輪郭７１５であれば、図７（ｃ）に示す３つの線分７１５ａ〜７１５ｃで閉じられた３角形に直線近似される。

ステップＳ１１０で、測定処理部２２１は、輪郭Ｃ１が頂点数「３」の閉じた線分であるか（第２条件）判定する。測定処理部２２１は、輪郭Ｃ１が頂点数「３」であると判定した場合（Ｓ１１０，ＹＥＳ）ステップＳ１２０の処理に進み、輪郭Ｃ１が頂点数「３」であると判定しない場合（Ｓ１１０，Ｎ）ステップＳ８０の処理に戻る。処理対象の輪郭Ｃ１が輪郭７１５である場合、頂点数は「３」であるため（Ｓ１１０，ＹＥＳ）、処理はステップＳ１２０へ進む。

ステップＳ１２０で、測定処理部２２１は、輪郭Ｃ０の面積Ｓ０と輪郭Ｃ１の面積Ｓ１を各々算出する。輪郭Ｃ０が輪郭７１１であり、輪郭Ｃ１が輪郭７１５である例では、ステップＳ１２０で、頂点数「４」の輪郭７１１（輪郭Ｃ０）の面積Ｓ０と、頂点数「３」の輪郭７１５（輪郭Ｃ１）の面積Ｓ１が算出される。

ステップＳ１３０で、測定処理部２２１は、面積Ｓ０を面積Ｓ１で除算した値（面積Ｓ０と面積Ｓ１との比率）が、予め定めた最小面積比Ｒｍｉｎより大きく且つ最大面積比Ｒｍａｘより小さいか判定する。測定処理部２２１は、面積Ｓ０を面積Ｓ１で除算した値が、最小面積比Ｒｍｉｎより大きく且つ最大面積比Ｒｍａｘより小さい場合（Ｓ１３０，ＹＥＳ）ステップＳ１４０の処理に進む。一方、測定処理部２２１は、面積Ｓ０を面積Ｓ１で除算した値が、最小面積比Ｒｍｉｎ以下又は最大面積比Ｒｍａｘ以上の場合（Ｓ１３０，ＮＯ）ステップＳ８０の処理に戻る。最小面積比Ｒｍｉｎと最大面積比Ｒｍａｘの範囲は、マーカデザイン上の四角形の面積と、三角形の面積を基に、撮影装置２０による撮影能力や計測誤差を加味して定めることができる。

ステップＳ１４０で、測定処理部２２１は、現在選択されている輪郭Ｃ０と輪郭Ｃ１の組み合わせを、マーカ候補として抽出し、記憶部２４に記憶する。

なお、ステップＳ４０〜Ｓ６０において処理対象の輪郭Ｃ０が図７（ｂ）に示すマーカ４１とは無関係の輪郭７２１（輪郭番号「ａ５」）である場合、頂点数が「４」であることから、処理はステップＳ７０に進む。ステップＳ７０〜Ｓ９０では輪郭番号５１「ａ５」に対応する下位階層輪郭番号５３から輪郭Ｃ１として輪郭番号「ａ１０」又は「ａ１１」に対応する輪郭７２２又は輪郭７２３が抽出されるが、輪郭７２２及び輪郭７２３はいずれも頂点数が「３」ではないため（Ｓ１１０，ＮＯ）、輪郭７２１と、輪郭７２２又は輪郭７２３との組み合わせはマーカ候補からは除かれることになる。

同様に、ステップＳ４０〜Ｓ６０の処理対象の輪郭Ｃ０が輪郭７２２又は輪郭７２３であっても、それらの内側に配置された輪郭７２４及び輪郭７２５が頂点数「３」ではないため（Ｓ１１０，ＮＯ）、輪郭７２２と輪郭７２４との組み合わせ、及び輪郭７２３と輪郭７２５との組み合わせは、マーカ候補からは除かれることになる。

以上のステップＳ３０〜Ｓ１４０により、図７（ｂ）の輪郭抽出画像６１ａからは、マーカ候補として、輪郭７１１と輪郭７１５の組み合わせ、輪郭７１２と輪郭７１６の組み合わせ、輪郭７１３と輪郭７１７の組み合わせ、及び輪郭７１４と輪郭７１８の組み合わせがマーカ４１の候補として抽出される。測定処理部２２１は、抽出された４つのマーカ候補を投影装置１０が投影したマーカ４１として判定することができる。

測定処理部２２１は、補正用画像１１１ｂ〜１１１ｆを撮影した残りの撮影画像６０ｂ〜６０ｆについても同様にステップＳ１０〜Ｓ１４０のマーカ検出処理を行う。これにより、各撮影画像６０ａ〜６０ｆ内の補正用画像１１１ａ〜１１１ｆのずれがマーカ４１の位置を一致させてオフセット補正される。

各撮影画像６０ａ〜６０ｆのマーカ４１位置を検出した後、撮影装置２０は、撮影画像６０ｄ〜６０ｆにより、市松模様の交点（角部）の座標を検出して、投影装置１０が投影した補正用画像１１１ａ〜１１１ｆの歪み度合いを求めることができる。また、撮影装置２０は、撮影画像６０ａ〜６０ｃにより、撮影画像６０ｄ〜６０ｆと組み合わせて、投影面３１の位置毎の色の変化を求めることができる。測定処理部２２１は、これらの情報を画像補正情報２５ａとして、通信部２５を介して投影装置１０へ送信する。これにより、投影装置１０は、鑑賞用の画像データを画像補正処理部１２１で補正して、意図された画像がユーザに視認できるように投影することができる。

なお、図６の処理の後に、ステップＳ１０〜Ｓ１４０で抽出したマーカ候補を、別途の判定手段により更に絞り込み、画像位置識別用のマーカ４１と判定する構成としてもよい。例えば、測定処理部２２１は、ステップＳ１４０でマーカ候補として抽出された輪郭Ｃ０及び輪郭Ｃ１の組み合わせ（例えば輪郭７１１及び輪郭７１５）を最終的に補正用画像１１１ａ〜１１１ｆ間の画像位置調整に使用するか判定することができる。判定方法としては、以下の（１）線分長さによる判定や、（２）線分の傾きによる判定を用いることができる。

（１）線分長さによる判定
線分長さによる判定では、測定処理部２２１は、まず、輪郭７１１及び輪郭７１５の各線分７１１ａ〜７１１ｄ，７１５ａ〜７１５ｃの長さを算出する。測定処理部２２１は、各線分７１１ａ〜７１１ｄ，７１５ａ〜７１５ｃの長さが予め定めた閾値範囲である場合にマーカとして判定することができる。線分７１１ａ〜７１１ｄと線分７１５ａ〜７１５ｃとに適用される閾値範囲はそれぞれ異なる範囲に設定することができる。各線分７１１ａ〜７１１ｄ，７１５ａ〜７１５ｃに適用される閾値範囲は、輪郭７１１や輪郭７１５で各々異なっていてもよい。なお、線分長さによる判定では、各線分７１１ａ〜７１１ｄ，７１５ａ〜７１５ｃの相対的な長さに基づいて閾値範囲を定めてもよい。

（２）線分の傾きによる判定
線分の傾きによる判定では、測定処理部２２１は、各線分７１１ａ〜７１１ｄ，７１５ａ〜７１５ｃの傾きが予め定めた閾値範囲内である場合にマーカ４１として判定することができる。各線分７１１ａ〜７１１ｄ，７１５ａ〜７１５ｃに適用される閾値範囲は、各々異なっていてもよい。また、閾値範囲は、ある線分の特定の他の線分との相対的な傾きにより定めることができる。例えば、第１の多角形４３の一つの線分は、少なくとも第２の多角形４４の各線分と平行でない場合に、マーカであると判定することができる。図７（ｃ）の例では、第１の多角形４３の輪郭７１１の一つの線分７１１ａ，７１１ｂと、第２の多角形４４の輪郭７１５の線分７１５ｃとは略平行であるが、第１の多角形４３の輪郭７１１の一つの線分７１１ｃ，７１１ｄと、第２の多角形４４の輪郭７１５の線分７１５ａ〜７１５ｃとは平行な関係に無いため、輪郭７１１と輪郭７１５の組み合わせがマーカであると判定することができる。

また、上述した線分長さによる判定と線分の傾きによる判定を組み合わせて、画像位置調整用のマーカとして使用するか判定を行ってもよい。

以上のように、マーカを抽出すれば、補正用画像１１１に配置した数と異なる数のマーカ候補が抽出された場合や、撮影画像のマーカ４１が不鮮明な位置や形状で検出された場合、そのマーカ候補を取り除くことができる。このようにマーカ４１の検出精度を高めて補正用画像１１１間の位置補正の精度を向上させることができる。

なお、第２の多角形４４の頂点数を、第１の多角形４３の頂点数以下とした構成として、第１の多角形を四角形とし、第２の多角形を第１の多角形より小さい相似の四角形で所定の角度だけ傾けた（例えば４５°回転）構成としてもよい。また、第１の多角形４３及び第２の多角形４４は各々図４に示した正多角形に限らず不等辺多角形とすることができる。

また、第２の多角形４４は、第１の多角形４３の中に複数配置してもよい。例えば、第１の多角形４３を四角形とし、その四角形の中に第２の多角形４４である三角形を複数配置してもよい。或いは、マーカ４１は、第１の多角形の内側の第２の多角形の内側に、更に多角形を含めた２重以上の入れ子状に形成してもよい。

また、抽出された第１の多角形４３と第２の多角形４４をマーカ４１候補として絞り込む条件としては、面積Ｓ０と面積Ｓ１との比率による判定、線分長さによる判定、及び線分の傾きによる判定のいずれか一つ又は複数を組み合わせて行うことができる。

また、本実施形態では、撮影装置２０がマーカ検出プログラム２４２を備えて図６のマーカ検出処理を実行する例について説明したが、マーカ検出プログラム２４２は、投影装置１０に記憶されており、撮影装置２０が撮影した撮影画像６０を投影装置１０に送信することで、投影装置１０が図６のマーカ検出処理を実行してもよい。

また、本実施形態では、第１の多角形４３を黒色の枠状で内部を白色に形成し、第２の多角形４４を黒色に形成したが、第１の多角形４３を白色の枠状で内部を黒色に形成し、第２の多角形４４を白色に形成してもよい。

以上説明したように、本発明の実施形態の投影制御装置は、第１の多角形４３と、第１の多角形４３の内側に配置される第２の多角形４４とを含む画像位置識別用のマーカ４１を予め定めた位置に配した補正用画像１１１を、撮影装置２０に撮影されるように投影する投影部１３を備える。そして、第１の多角形４３の少なくとも一つの辺は、第２の多角形４４の各辺と非平行とした。

そのため、繰り返しパターンが形成される投影面３１の模様等と区別することが比較的容易となり、マーカ検出処理の誤検出を少なくして検出精度を向上させることができる。よって、複数の補正用画像１１１の位置合わせを容易とすることができる。

また、第２の多角形４４の頂点数が第１の多角形４３の頂点数以下である投影制御装置は、マーカの構成を単純としつつ第２の多角形４４の判定処理を第１の多角形４３の判定処理と同等以下にして、マーカ検出処理の負荷を低減することができる。

また、第１の多角形４３が四角形状であり、第２の多角形４４が三角形状である投影制御装置は、マーカ４１を構成する形状の組み合わせが単純であるため形状検出処理が簡単になり、処理能力の低い装置を用いる等プログラムの実装環境の自由度を増やすことができる。

また、第１の多角形４３が枠状に形成され、第２の多角形４４が第１の多角形４３と同色に塗りつぶされて形成される投影制御装置は、マーカ判定処理の際に、第２の多角形４４内に更なる輪郭が抽出させることを防いで第２の多角形４４の輪郭が判定された後に更に下位層の輪郭判定を行う必要が無くなり、輪郭抽出処理の負荷を低減させることができる。

また、第１の多角形４３の一つの辺と異なる他の辺が第２の多角形４４の何れかの辺と平行である投影制御装置は、第１の多角形４３と第２の多角形４４の共通性を減らし、マーカ４１の誤検出を更に低減させることができる。

また、マーカ４１を検出させる工程は、補正用画像１１１の輪郭を抽出する工程と、抽出された輪郭から選択した第１処理対象の輪郭の頂点数が予め定めた第１条件であった場合に、第１処理対象の輪郭よりも内側の輪郭を抽出する工程と、内側の輪郭から選択した第２処理対象の輪郭の頂点数が予め定めた第２条件であった場合に、第１処理対象の輪郭の面積と、第２処理対象の輪郭の面積との比率を求める工程と、その比率が予め定めた範囲である場合に第１処理対象と第２処理対象の各輪郭を前記マーカとして求める工程と、を含む。これにより、マーカは投影面３１の模様と区別することが比較的容易であるため、マーカ検出処理のエラーやリトライ等によるマーカ検出の処理負担を低減させることができる。

なお、以上説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願出願の最初の特許請求の範囲に記載された発明を付記する。
［１］第１の多角形と、前記第１の多角形の内側に配置される第２の多角形と、を含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を、撮影装置に撮影されるように投影する投影部を備え、
前記第１の多角形の少なくとも一つの辺が前記第２の多角形の各辺と非平行である、
ことを特徴とする投影装置。
［２］前記第２の多角形の頂点数は、前記第１の多角形の頂点数以下であることを特徴とする上記［１］に記載の投影装置。
［３］前記第１の多角形は四角形状であり、
前記第２の多角形は三角形状である、
ことを特徴とする上記［１］又は上記［２］に記載の投影装置。
［４］前記第１の多角形は枠状に形成され、
前記第２の多角形は前記第１の多角形と同色に塗りつぶされて形成される、
ことを特徴とする上記［１］乃至上記［３］の何れかに記載の投影装置。
［５］前記第１の多角形の前記一つの辺と異なる他の辺は、前記第２の多角形の何れかの辺と平行であることを特徴とする上記［１］乃至上記［４］の何れかに記載の投影装置。
［６］第１の多角形と、前記第１の多角形の内側に配置される第２の多角形とを含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を投影装置により投影する工程と、
複数の前記補正用画像を撮影装置により撮影する工程と、
前記マーカを検出させる工程と、
を含み
前記第１の多角形の少なくとも一つの辺は、前記第２の多角形の各辺と非平行である、
ことを特徴とするマーカ検出方法。
［７］前記マーカを検出させる工程は、
前記撮影装置が撮影した前記補正用画像の輪郭を抽出する工程と、
抽出された輪郭から選択した第１処理対象の輪郭の頂点数が予め定めた第１条件であった場合に、前記第１処理対象の輪郭よりも内側の輪郭を抽出する工程と、
前記内側の輪郭から選択した第２処理対象の輪郭の頂点数が予め定めた第２条件であった場合に、前記第１処理対象の輪郭の面積と、前記第２処理対象の輪郭の面積との比率を求める工程と、
前記比率が予め定めた範囲である場合に前記第１処理対象と前記第２処理対象の各輪郭を前記マーカとして求める工程と、
を含むことを特徴とする上記［６］に記載のマーカ検出方法。
［８］コンピュータが実行するプログラムであって、前記コンピュータを、
第１の多角形と、前記第１の多角形の内側に配置される第２の多角形とを含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を投影させる手段、
複数の前記補正用画像を撮影させる手段、及び、
前記マーカを検出させる手段、
として機能させ、
前記第１の多角形の少なくとも一つの辺は、前記第２の多角形の各辺と非平行である、
ことを特徴とするプログラム。

１投影システム１０投影装置
１１記憶部１２処理部
１３投影部１４操作部
１５通信部１６音声処理部
１７スピーカ２０撮影装置
２１撮影部２２処理部
２３入出力制御部２４記憶部
２５通信部２５ａ画像補正情報
３０投影対象物３１投影面
４１マーカ４２測定領域
４３第１の多角形４４第２の多角形
５１輪郭番号５２下位階層輪郭個数
５３下位階層輪郭番号６０撮影画像
６０ａ〜６０ｆ撮影画像６０ａ１外部領域
６１ａ輪郭抽出画像１１１補正用画像
１１１ａ〜１１１ｆ補正用画像１１２制御プログラム
１２１画像補正処理部２２１測定処理部
２３１操作ボタン２３２表示装置
２４１輪郭情報テーブル２４２マーカ検出プログラム
４３１ａ〜４３１ｄ縁辺４３２ａ〜４３２ｄ縁辺
４４１ａ〜４４１ｃ縁辺７１０撮影範囲
７１１〜７１８輪郭７１１ａ〜７１１ｄ線分
７１５ａ〜７１５ｃ線分
Ｃ０輪郭Ｃ１輪郭
Ｒｍａｘ最大面積比Ｒｍｉｎ最小面積比
Ｓ０面積Ｓ１面積

Claims

第１の多角形と、前記第１の多角形の内側に配置される第２の多角形と、を含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を、撮影装置に撮影されるように投影する投影部を備え、
前記第１の多角形の少なくとも一つの辺が前記第２の多角形の各辺と非平行であり、
前記第２の多角形の頂点数は、前記第１の多角形の頂点数以下である、
ことを特徴とする投影制御装置。
前記第１の多角形は枠状に形成され、
前記第２の多角形は前記第１の多角形と同色に塗りつぶされて形成される、
ことを特徴とする請求項１に記載の投影制御装置。
第１の多角形と、前記第１の多角形の内側に配置される第２の多角形と、を含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を、撮影装置に撮影されるように投影する投影部を備え、
前記第１の多角形の少なくとも一つの辺が前記第２の多角形の各辺と非平行であり、
前記第１の多角形は枠状に形成され、
前記第２の多角形は前記第１の多角形と同色に塗りつぶされて形成される、
ことを特徴とする投影制御装置。
前記第２の多角形の頂点数は、前記第１の多角形の頂点数以下であることを特徴とする請求項３に記載の投影制御装置。
前記第１の多角形は四角形状であり、
前記第２の多角形は三角形状である、
ことを特徴とする請求項１乃至請求項４の何れかに記載の投影制御装置。
前記第１の多角形の前記一つの辺と異なる他の辺は、前記第２の多角形の何れかの辺と平行であることを特徴とする請求項１乃至請求項５の何れかに記載の投影制御装置。
第１の多角形と、前記第１の多角形の内側に配置される第２の多角形とを含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を投影制御装置により投影する工程と、
複数の前記補正用画像を撮影装置により撮影する工程と、
前記マーカを検出させる工程と、
を含み、
前記第１の多角形の少なくとも一つの辺は、前記第２の多角形の各辺と非平行であり、
前記マーカを検出させる工程は、
前記撮影装置が撮影した前記補正用画像の輪郭を抽出する工程と、
抽出された輪郭から選択した第１処理対象の輪郭の頂点数が予め定めた第１条件であった場合に、前記第１処理対象の輪郭よりも内側の輪郭を抽出する工程と、
前記内側の輪郭から選択した第２処理対象の輪郭の頂点数が予め定めた第２条件であった場合に、前記第１処理対象の輪郭の面積と、前記第２処理対象の輪郭の面積との比率を求める工程と、
前記比率が予め定めた範囲である場合に前記第１処理対象と前記第２処理対象の各輪郭を前記マーカとして求める工程と、
を含む、
ことを特徴とするマーカ検出方法。
コンピュータが実行するプログラムであって、前記コンピュータを、
第１の多角形と、前記第１の多角形の内側に配置される第２の多角形とを含む画像位置識別用のマーカを予め定めた位置に配した補正用画像を投影させる手段、
複数の前記補正用画像を撮影させる手段、及び、
前記マーカを検出させる手段、
として機能させ、
前記第１の多角形の少なくとも一つの辺は、前記第２の多角形の各辺と非平行であり、
前記マーカを検出させる手段は、
前記撮影装置が撮影した前記補正用画像の輪郭を抽出する手段と、
抽出された輪郭から選択した第１処理対象の輪郭の頂点数が予め定めた第１条件であった場合に、前記第１処理対象の輪郭よりも内側の輪郭を抽出する手段と、
前記内側の輪郭から選択した第２処理対象の輪郭の頂点数が予め定めた第２条件であった場合に、前記第１処理対象の輪郭の面積と、前記第２処理対象の輪郭の面積との比率を求める手段と、
前記比率が予め定めた範囲である場合に前記第１処理対象と前記第２処理対象の各輪郭を前記マーカとして求める手段と、
を含む、
ことを特徴とするプログラム。