JP2011182077A - 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法 - Google Patents

Abstract

【課題】被投写面上の測定用パターンと、投写したプロジェクターとの対応情報を簡便に取得する。
【解決手段】本発明の補正情報算出装置６は、被投写面９上での画素の位置とプロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出する。識別図形を複数のプロジェクターの各々から投写したときに被投写面９上に配列される複数の識別図形を撮影した撮影画像の中の複数の識別パターンの配列における各識別図形の相対位置と、複数のプロジェクターによる複数の投写領域の配列における各投写領域の相対位置と各投写領域に投写するプロジェクターとの対応関係を示す配置情報と、を比較して、被投写面上の各識別パターンと各識別パターンを投写したプロジェクターとの対応関係を示す対応情報を求める対応情報決定部６２を備えている
【選択図】図３

Description

本発明は、補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法に関する。

従来から、画像表示装置の１つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。近年、複数のプロジェクターを用いて画像を表示する画像表示システムが提案されている。この画像表示システムは、複数のプロジェクターの各々に部分画像を投写させ、複数の部分画像の全体で１つの画像を表示する。

部分画像の歪や相対位置のずれを補正するには、例えば以下の処理を行う。まず、特徴点を含んだ測定用パターンを表示させ、表示された測定用パターンを撮影する。そして、測定用パターンを示す画像データ上での特徴点の位置と、測定用パターンを撮影した撮影画像の中の特徴点の位置との対応関係に基づいて、画素の位置の補正量を示す補正情報をプロジェクターごとに求める。視聴者向けの画像（以下、コンテンツ画像という）を表示するときに、この画像を示す画像データを上記の補正情報に基づいて補正し、補正した画像データに基づいて部分画像を表示させる。

上記の補正処理を行うには、被投写面上の測定用パターンと、この測定用パターンを投写したプロジェクターとの対応情報を求める必要がある（例えば、特許文献１参照）。特許文献１では、複数のプロジェクターで互いに異なる識別情報を含んだ識別画像を、各プロジェクターから投写させている。投写された識別画像を撮影した撮影画像の中の識別画像に基づいて、プロジェクターと、このプロジェクターによる投写領域との対応付けを行っている。

特開２００９−０８６４８５号公報

特許文献１の技術にあっては、使用するプロジェクターの台数分の識別パターンが必要となるので、使用可能なプロジェクターの数が予め用意した識別パターンの数に制限されてしまう。また、識別パターンの数を増やそうとすると、識別パターンが複雑な形状になってしまう。識別パターンが複雑な形状であると、撮影画像から識別パターンを検出する処理が複雑になるおそれや、検出の失敗等に起因して処理のロバスト性が低下するおそれがある。

本発明は、上記の事情に鑑み成されたものであって、被投写面上の測定用パターンと、この測定用パターンを投写したプロジェクターとの対応情報を簡便に取得して補正情報を算出する補正情報算出装置、画像処理装置、画像表示システム、および画像処理方法を提供することを目的の１つとする。

本発明では、上記の目的を達成するために以下の手段を採用している。
本発明の補正情報算出装置は、画像形成素子を有するプロジェクターから被投写面上の投写領域に投写される画像における画素の位置と、前記画像形成素子における画素の位置との対応関係を示す補正情報を算出する補正情報算出装置であって、識別図形を含んだ識別パターンを複数のプロジェクターの各々から投写したときに前記被投写面上に配列される複数の前記識別図形を撮影した撮影画像の中の前記複数の識別パターンの配列における各識別図形の相対位置と、前記複数のプロジェクターによる複数の前記投写領域の配列における各投写領域の相対位置と各投写領域に投写する前記プロジェクターとの対応関係を示す配置情報と、を比較して、前記被投写面上の各識別パターンと各識別パターンを投写した前記プロジェクターとの対応関係を示す対応情報を求める対応情報決定部と、複数の特徴点を含み、各プロジェクターに供給される特徴点パターンの元データに規定された前記複数の特徴点の位置と、該元データに基づいて投写された特徴点パターンを撮影した撮影画像の中の前記複数の特徴点の位置とを前記対応情報に基づいて対応づけて比較することにより、前記補正情報を算出する補正情報演算部と、を備えていることを特徴とする。

このようにすれば、対応情報決定部が撮影画像の中の複数の識別パターンの配列に占める各識別図形の配置と、各投写領域と各投写領域に投写するプロジェクターの対応関係を示す配置情報と、を比較して、被投写面上の各識別パターンと各識別パターンを投写したプロジェクターとの対応関係を示す対応情報を求めるので、対応情報を簡便に取得することができる。識別図形の配列に占める各特徴図形の配置を求めることにより対応情報が得られるので、複数のプロジェクターで識別図形の形状を異ならせる必要が低くなり、端的には同じ識別図形を投写した場合でも対応情報が得られる。したがって、使用するプロジェクターの数が識別図形の種類に制約を受けなくなり、利便性が高められる。補正情報演算部が対応情報決定部により求められた対応情報に基づいて、特徴点パターンの元テータと撮影画像の中の特徴点パターンとを比較することにより、補正情報を算出するので、結果として、補正情報を効率よく算出可能な補正情報算出装置になる。

本発明に係る補正情報算出装置において、前記特徴点パターンおよび前記識別パターンを含んだ測定用パターンを前記複数のプロジェクターの各々が投写したときの前記被投写面上の前記測定用パターンを撮影した撮影画像の中の前記識別パターンを検出する第１パターン検出部と、該撮影画像の中の前記特徴点パターンに含まれる前記複数の特徴点を検出する第２パターン検出部と、を備え、前記対応情報決定部は、前記第１パターン検出部の検出結果に基づいて前記対応情報を求め、前記第２パターン検出部は、該対応情報を用いて前記測定用パターンの元データに規定された前記識別パターンに対する前記特徴点パターンの相対位置を参照して前記特徴点パターンを検出し、前記補正情報演算部は、前記第２パターン検出部の検出結果に基づいて前記補正情報を求めるとよい。

このようにすれば、識別パターンおよび特徴点パターンを含んだ測定用パターンを用いて対応情報を求め、この測定用パターンおよび対応情報を用いて補正情報を求めるので、特徴点パターンを識別パターンと別に投写する場合よりも、投写や撮影に要する手間や時間を減らすことができる。また、第２パターン検出部が、対応情報を用いて特徴点パターンを検出するので、特徴点パターンに含まれる特徴点の検出を失敗する確率が低くなり、特徴点の検出失敗に起因する処理の発散を回避することが可能になる。

本発明に係る補正情報算出装置において、前記配置情報は、前記複数のプロジェクターの配列における各プロジェクターの相対位置と、前記複数の投写領域の配列における該プロジェクターの前記投写領域の相対位置とが一致しているときの、前記複数のプロジェクターの配列における各プロジェクターの相対位置を示す情報であるとよい。

このようにすれば、配置情報を簡便に設定することができ、補正情報を取得するのに必要な手間や時間を減らすことができる。

本発明に係る補正情報算出装置において、前記複数のプロジェクターにより投写される前記識別パターンに含まれる前記識別図形の形状が、前記複数のプロジェクターで同じであるとよい。

上述のように、識別図形の配列における各識別図形の配置を検出することにより対応情報が得られるので、複数のプロジェクターで識別図形の形状が同じであっても対応情報が得られる。このようにすれば、複数のプロジェクターで識別図形の形状が異なる場合と比較して、識別パターンの生成や記憶に要するコストを減らすことができる。また、複数の識別図形の配列に対して、同じアルゴリズムにより識別図形を検出することができ、識別図形を検出する処理を安定的かつ効率的に行うことが可能になる。

本発明に係る補正情報算出装置において、前記識別図形が前記複数の特徴点を含み、前記補正情報演算部は、各プロジェクターにより投写された前記識別パターンを撮影した撮影画像の中の該識別パターンを用いて前記補正情報を算出してもよい。

このようにすれば、補正情報を算出する上で識別図形の他の図形を含んだパターンを用いる必要性が低くなるので、投写されたパターンの解析に要する手間や時間を減らすことができる。

本発明の画像処理装置は、上記の本発明に係る補正情報算出装置と、前記補正情報算出装置により算出された前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正する画像補正部と、
を備えていることを特徴とする。

本発明の補正情報算出装置によれば、補正情報を効率よく取得可能であるので、本発明の画像処理装置は、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを補正可能なものになる。

本発明の画像表示システムは、上記の本発明に係る画像処理装置と、前記画像処理装置により補正された前記補正後の画像データに基づいて画像を投写する複数のプロジェクターと、を備えていることを特徴とする。

本発明の画像処理装置によれば、補正情報を効率よく算出可能であるとともに補正情報により部分画像の歪や相対位置のずれを高精度に補正可能になるので、本発明の画像表示システムは、利便性が高く、しかも高品質な画像を表示可能なものになる。

本発明の画像処理方法は、画像形成素子を有するプロジェクターから被投写面上の投写領域に投写される画像における画素の位置と、前記画像形成素子における画素の位置との対応関係を示す補正情報を算出する補正情報算出ステップと、前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正するステップと、を有し、前記補正情報算出ステップは、識別図形を含んだ識別パターンを複数のプロジェクターの各々から投写したときに前記被投写面上に配列される複数の前記識別図形を撮影した撮影画像の中の前記複数の識別パターンの配列における各識別図形の相対位置、および前記複数のプロジェクターによる複数の前記投写領域の配列における各投写領域の相対位置と各投写領域に投写する前記プロジェクターとの対応関係を示す配置情報を比較して、前記被投写面上の各識別パターンと各識別パターンを投写した前記プロジェクターとの対応関係を示す対応情報を求める処理と、複数の特徴点を含み、各プロジェクターに供給される特徴点パターンの元データに規定された前記複数の特徴点の位置と、該元データに基づいて投写された特徴点パターンを撮影した撮影画像の中の前記複数の特徴点の位置とを前記対応情報に基づいて対応づけて比較することにより、前記補正情報を算出する処理と、を含んでいることを特徴とする。

このようにすれば上述の理由により、対応情報を簡便に取得することができ、補正情報を効率よく算出可能になる。したがって、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを補正可能になる。

本発明の実施形態に係る画像表示システムを示す概略図である。 被投写面上の投写領域の位置関係を示す説明図である。 画像表示システムの構成を示す図である。 測定用パターンの一例を示す説明図である。 コンテンツ画像を表示するまでの処理フローを示す図である。 補正情報の算出方法の一例を示す説明図である。

以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。

図１は、本発明の一実施形態である画像表示システムの概念図、図２は被投写面に投写された画像と投写領域との関係を示す説明図である。

図１に示すように画像表示システム１は、複数のプロジェクター２、画像処理装置３、および撮影装置４を備えている。画像表示システム１は、例えば信号源８から入力された画像データが示すコンテンツ画像Ｐを複数のプロジェクター２で分担して、スクリーンや壁等の被投写面９に投写する。ここでは、複数のプロジェクター２として第１のプロジェクター２１、第２のプロジェクター２２、第３のプロジェクター２３、および第４のプロジェクター２４が設けられているとして説明する。本発明の適用範囲は、複数のプロジェクターを用いるものであれば、プロジェクターの数や配置に限定されない。なお、以下の説明では、複数のプロジェクターの各々から投写された画像を、「部分画像」と称することがある。また、以下の説明では、部分画像を示す画像データを「部分画像データ」と称することがある。

プロジェクター２は、供給された画像データ（ここでは部分画像データ）に基づいて画像（ここでは部分画像）を表示可能なものである。本発明の適用範囲は、プロジェクター２の構成に限定されない。例えば、プロジェクター２は、単板式のプロジェクターであってもよいし、三板式のプロジェクター等の複数の画像形成素子を含んだものであってもよい。また、プロジェクター２は、被投写面９に対して視聴者と同じ側から投写するフロント投写型のものであってもよいし、被投写面９を挟んで視聴者と反対側から投写するリア投写型のものであってもよい。

本実施形態の複数のプロジェクター２は、光源、画像形成素子、および投写光学系を有している。画像形成素子は、二次元的に配列された複数の画素を有するものである。画像形成素子としては、例えば透過型または反射型の液晶ライトバルブや、デジタルミラーデバイス（ＤＭＤ）等が挙げられる。各プロジェクターにおいて、光源から射出された光は、画像形成素子に入射する。画像形成素子は、このプロジェクターへ入力された部分画像データの画素ごとのデータ（以下、画素データという）に基づいて、複数の画素を互いに独立して制御する。画素に入射した光は、画素ごとに変調されて画素データに規定された光量の光になる。複数の画素により変調された光が全体として光学像（画像）になり、この光学像が投写光学系により被投写面９に投写される。ここでは、複数のプロジェクターで、画像形成素子の画素数および画素の配列が一致している。

各プロジェクターが被投写面９上に投写可能な領域である投写領域は、複数のプロジェクター２で異ならせて設定されている。図２に示すように、第１〜第４投写領域Ａ１〜Ａ４は、互いの周縁部が重なり合うように設定されており、全体として全体投写領域を構成している。すなわち、第１〜第４投写領域Ａ１〜Ａ４の各々は、隣接する他の投写領域と重畳された重畳領域Ｐ５を含んでいる。

第１のプロジェクター２１の投写領域（第１投写領域Ａ１）は、第２のプロジェクター２２の投写領域（第２投写領域Ａ２）と被投写面９上の水平方向に並んでいる。この水平方向において、第１投写領域Ａ１の端部は、第２投写領域Ａ２の端部と重ね合わされている。第３のプロジェクター２３による投写領域（第３投写領域Ａ３）と、第４のプロジェクター２４による投写領域（第４投写領域Ａ４）との水平方向の位置関係については、第１、第２投写領域Ａ１、Ａ２の水平方向の位置関係と同様になっている。

第１投写領域Ａ１は、被投写面９上の水平方向と直交する垂直方向に第３投写領域Ａ３と並んでいる。この垂直方向において、第１投写領域Ａ１の端部（周縁部）は第３投写領域Ａ３の端部（周縁部）と重ね合わされている。第２投写領域Ａ２と第４投写領域Ａ４との垂直方向の位置関係については、第１、第３投写領域Ａ１、Ａ３の垂直方向の位置関係と同様になっている。

本実施形態では、図１に示したように複数のプロジェクター２が二次元的に配列されている。複数のプロジェクター２の配列における各プロジェクター２１〜２４の相対位置は、被投写面９上の複数の投写領域の配列における投写領域Ａ１〜Ａ４の相対位置と一致している。ここでいう相対位置は、複数の配列要素（プロジェクターまたは投写領域）が並ぶ配列において、１つの配列要素を基準としたときに基準の配列要素に対する他の配列要素の相対位置関係を意味する。例えば、水平方向に沿ったプロジェクターの相対位置について考えると、第１のプロジェクター２１は第２のプロジェクター２２に対して左側にあり、第２のプロジェクター２２は第１のプロジェクター２１に対して右側にある。このとき、水平方向に沿った投写領域の相対位置は、第１のプロジェクター２１が担当する第１投写領域Ａ１が第２のプロジェクター２２が担当する第２投写領域Ａ２に対して左側にあり、第２のプロジェクター２２が担当する第２投写領域Ａ２が第１のプロジェクター２１が担当する第１投写領域Ａ１に対して右側にある。なお、ここでいう「左側」及び「右側」とは、複数のプロジェクター２を挟んで被投写面９とは反対側から複数のプロジェクター２及び複数の投写領域Ａ１〜Ａ４を見た場合の、各プロジェクター２１〜２４及び複数の投写領域Ａ１〜Ａ４の位置関係を表す。垂直方向においても、各プロジェクターの相対位置と、各プロジェクターの担当する投写領域の相対位置とが反転しないようになっている。

ところで、通常は全体投写領域Ａ０の外形が矩形にならない。これは、第１〜第４のプロジェクター２１〜２４の配置に起因して、第１〜第４投写領域Ａ１〜Ａ４の歪や相対位置のずれを生じるからである。ここでは、全体投写領域Ａ０に収まる略矩形の領域を実際に画像の投写に用いる領域（有効投写領域Ａ）としている。第１〜第４のプロジェクター２１〜２４は、各投写領域のうちで有効投写領域Ａに収まる領域に対して部分画像を投写するようになっている。

例えば、第１のプロジェクター２１から投写された光により、第１投写領域Ａ１のうちで有効投写領域Ａに収まる領域に、第１の部分画像Ｐ１が表示される。以下同様に、第２〜第４のプロジェクター２２〜２４により、第２〜第４の部分画像Ｐ２〜Ｐ４が表示される。第１〜第４の部分画像Ｐ１〜Ｐ４は、互いに端部を重ね合わされて被投写面９上に表示され、全体としてコンテンツ画像Ｐを構成する。

図１の説明に戻り、画像処理装置３は、コンテンツ画像Ｐを示す画像データを例えば信号源８から受け取る。画像処理装置３は、画像データに各種処理（後述する）を施すとともに、画像データに基づいて複数の部分画像データを生成する。各部分画像データは、第１〜第４の部分画像Ｐ１〜Ｐ４のいずれかを示すデータである。画像処理装置３は、第１〜第４のプロジェクター２１〜２４の各々に、各プロジェクターが担当する部分画像を示す部分画像データを供給する。第１〜第４のプロジェクター２１〜２４は、画像処理装置３から入力された部分画像データに基づいて、被投写面９上に第１〜第４の部分画像Ｐ１〜Ｐ４を投写する。

画像処理装置３は、上記の各種処理の１つとして、第１〜第４の部分画像Ｐ１〜Ｐ４の各々の画像歪を補正するとともに、第１〜第４の部分画像Ｐ１〜Ｐ４の相対位置のずれを補正する処理（以下、位置補正処理という）を行う。画像処理装置３は、画像表示システム１の設置時や、画像表示システム１の設置時から所定期間が経過したメンテナンス時等の適宜選択されるタイミングに、位置補正処理に用いる補正情報を算出する。

上記の画像歪の１例として、例えば被投写面９に対する第１〜第４のプロジェクター２１〜２４の各々の投写方向、すなわち垂直方向の仰角や俯角、水平方向の煽り角等に応じて発生する画像歪（例えばキーストン歪）が挙げられる。画像歪の他の例として、例えば布状のスクリーンのたわみ等により、被投写面９が局所的に歪んでいることにより発生する画像歪が挙げられる。
上記の第１〜第４の部分画像Ｐ１〜Ｐ４の相対位置のずれは、第１〜第４のプロジェクター２１〜２４で、例えば、投写方向が一致しないことや相対位置のずれること等に起因する。

本発明に係る画像処理装置は、例えば下記の第１〜第３の態様のように、多様な態様を取りうる。
第１の態様の画像処理装置として、各種処理を行うＡＳＩＣ等の１以上のロジック回路による構成が挙げられる。第１の態様の画像処理装置は、その一部または全部が、第１〜第４のプロジェクター２１〜２４、撮影装置４、信号源８のいずれかと一体化されていてもよい。
第２の態様の画像処理装置として、プログラムが実装されたコンピューターによる構成が挙げられる。すなわち、プログラムにより各種処理をコンピューターに実行させることにより、画像処理装置３の機能を実現することができる。例えば、メモリーやＣＰＵを協働させて各処理における演算を実行させ、演算結果をハードディスクやメモリー等の記憶部に保存しておき、必要に応じて演算結果を読出して他の処理に供することにより、ロジック回路等を用いる場合と同様の処理結果が得られる。なお、第２の態様の画像処理装置３において、各種処理を複数のコンピューターに分担させて行わせるようにしてもよい。 第３の態様の画像処理装置として、各種処理の一部の処理を行うロジック回路と、プログラムにより各種処理の他の処理を行うコンピューターとを組み合わせた構成が挙げられる。

このように、本発明に係る画像処理装置は、各種処理を行う独立した装置としての態様の他に、各種処理の一部を行う複数の機能部の集合としての態様もとりえる。すなわち、複数の機能部が、別体の複数の装置に分かれて設けられており、互いに協働して処理を行う態様であってもよい。

撮影装置４は、全体投写領域Ａ０の全体を含む被投写面９上の領域を撮影した撮影画像を取得可能である。撮影装置４は、例えばＣＣＤカメラ等の二次元イメージセンサーにより構成される。二次元イメージセンサーは、フォトダイオード等からなる複数の受光素子が二次元的に配列された構造を有している。上記の補正情報を算出するときに、撮影装置４は、第１〜第４のプロジェクター２１〜２４の各々により被投写面９に投写された測定用パターンを撮影し、撮影画像を示す撮影画像データを画像処理装置３へ出力する。

本実施形態の撮影装置４は、１回の撮影により全体投写領域Ａ０の全体を撮影可能なように配置されている。複数回の撮影による撮影画像を合わせて全体投写領域Ａ０の全体を撮影する場合と比較して、撮影と撮影の間の撮影装置の移動等による誤差をなくすことができる。全体投写領域Ａ０の寸法やアスペクト比によっては、全体投写領域Ａ０の全体が撮影装置の画角に収まらない場合もありえる。この場合には、撮影装置を三脚等に据えること等により、被投写面９に対する撮影装置の相対位置を略固定した状態で全体投写領域Ａ０を部分ごとに撮影し、２回以上の撮影結果を合わせて全体投写領域Ａ０の全体を撮影した撮影画像を取得してもよい。

以上のように複数のプロジェクター２によりコンテンツ画像Ｐを表示すると、コンテンツ画像Ｐを大画面、高解像度、高輝度で表示にすることができる。例えば、一台のプロジェクターにより表示する場合と比較して、１台のプロジェクターの画素数が同じである条件では、解像度を下げることなく大画面でコンテンツ画像Ｐを表示することができる。また、同じ画面サイズでコンテンツ画像Ｐを表示する条件で比較すると、プロジェクターの数に応じて画素数を増すことができ、高解像度でコンテンツ画像を表示することができる。１台のプロジェクターの出力光量が同じである条件で比較すると、表示に寄与する光の光量をプロジェクターの数に応じて増すことができ、高輝度でコンテンツ画像Ｐを表示することができる。

これらの効果を得るためにプロジェクターの画素数や出力を増す手法と比較すると、各プロジェクターのコストを飛躍的に下げることができるので、プロジェクターの数を加味しても装置コストを低減する効果が期待できる。また、通常時はプロジェクターごとに例えば別の場所（例えば小会議室）に設置して使用し、用途に応じて、例えば大会議室に画像表示システムを構築して、コンテンツ画像を大画面、高解像度、高輝度で表示することも可能である。このように、プロジェクターを単独で使用するか、複数のプロジェクターを組み合わせて使用するかを用途に応じて選択可能になるので、１台のプロジェクターで上記の効果を得ようとする場合と比較して、利便性が高くなる。

また、画像処理装置３により位置補正処理が施された画像データに基づいてコンテンツ画像Ｐが表示されるので、各部分画像の画像歪や複数の部分画像での相対位置のずれが低減される。したがって、画像歪が少なく、しかも部分画像の継ぎ目が認識されにくい状態でコンテンツ画像Ｐを表示することができ、コンテンツ画像Ｐを高品質な画像として表示可能になる。本発明では、上記の補正情報を算出するときに、被投写面上に投写された測定用パターンと、この測定用パターンを投写したプロジェクターとの対応関係を簡便に取得することが可能になっている。これにより、例えば画像表示システムの設置に要する手間や時間を減らすことができ、画像表示システムの利便性を高めることができる。

次に、図３、図４を参照しつつ、本発明に係る画像処理装置３の構成要素について詳しく説明する。図３は、画像処理装置３の機能構成を示す図、図４は、測定用パターンの一例を示す説明図である。

図３に示すように画像処理装置３は、画像制御装置５および補正情報算出装置６を有している。補正情報算出装置６は、被投写面上に投写された測定用パターンと、この測定用パターンを投写したプロジェクターとの対応関係を示す対応情報を求め、対応情報に基づいて補正情報を算出する。画像制御装置５は、各種処理を行うとともに、補正情報を用いて各種処理の１つとして画像データに位置補正処理を施す。本実施形態では、画像制御装置５が、第１のコンピューターの一部として構成されており、補正情報算出装置６が第１のコンピューターと別体の第２のコンピューターのＣＰＵや記憶部等を利用して構成されている。

画像制御装置５は、画像入力部５１、画像保存部５２、画像補正部５３、および画像出力部５４を有している。画像入力部５１は、例えばビデオキャプチャーボード等により構成される。画像入力部５１は、必要に応じて画像制御装置５の外部のＤＶＤプレイヤーや通信機器等の信号源８からコンテンツ画像を受け取る。画像保存部５２は、例えばコンピューターに内蔵あるいは外付されたハードディスク等の記憶装置により構成され、コンテンツ画像Ｐを示す画像データを保存可能である。画像入力部５１へ入力された画像データや、画像保存部５２に保存されている画像データは、コンテンツ画像Ｐを表示するときに画像補正部５３へ出力される。

なお、画像制御装置５は、画像入力部５１と画像保存部５２の一方のみが設けられた構成であってもよい。画像入力部５１から入力された画像データを画像保存部５２に保存しておき、この画像データを適宜読出して画像補正部５３へ入力する構成であってもよい。

画像補正部５３は、その詳細な構成を図示しないが、演算部および記憶部を含んでいる。演算部は、例えばグラフィックス・プロセッシング・ユニット（ＧＰＵ）等により構成される。記憶部は、ビデオメモリー（ＶＲＡＭ）や不揮発メモリー等により構成される。画像補正部５３は、補正情報を参照して、補正後の画像データに基づいてプロジェクター２１〜２４により被投写面９上に投写される画像が補正前の画像データが示す画像と略一致するように、信号源８から入力された画像データを補正する。

演算部は、記憶部を画像バッファ等に利用しつつ、演算部へ入力された画像データにガンマ補正や色調補正等の各種処理を行う。プログラムを用いて、上記のＧＰＵに代えてコンピューターのＣＰＵに演算させることにより、各種処理を行わせるようにしてもよい。なお、画像入力部５１や画像保存部５２から入力された画像データ上での画素の配列が、プロジェクター２の画像形成素子の画素の配列と整合していない場合、例えば、画像データに含まれる画素数が画像形成素子の画素数と異なる場合もありえる。この場合に演算部は、入力された画像データに対して補間処理やレンダリング処理等を施して、補正後の画像データが画像形成素子の画素の配列に整合するように画像データを補正する。これらの処理については、各プロジェクターに処理部を設けておき、プロジェクターごとにこの処理部に処理させてもよい。

演算部は、補正情報を参照して画像データに位置補正処理を施すとともに部分画像データを生成する。補正情報は、上記の記憶部（例えば不揮発メモリー）に記憶されている。補正情報は、被投写面９上での全体投写領域Ａ０（図２参照）に占める各画素の位置と、複数のプロジェクター２の各々の画像形成素子における画素の配列に占める各画素の位置との対応関係を示す情報である。

補正情報は、例えば画像形成素子の画素ごとの値としてテーブル形式で記憶されている。すなわち、テーブル（補正情報）を参照すれば、全体投写領域Ａ０の所定の位置に所定の画素が表示されるようにする上で、各画素データを画像形成素子のいずれの画素へ入力すればよいのか分かる。

演算部は、位置補正処理による補正前の画像データが示す画像、すなわち表示すべきコンテンツ画像が有効投写領域Ａに表示されるように、例えば以下のような処理を行う。演算部は、全体投写領域Ａ０の内側であって有効投写領域Ａの外側の各画素（以下、非表示画素という）について、補正情報により各非表示画素と対応付けられた画像形成素子の各画素に供給するデータを、非表示用のマスクデータ（例えば黒を示すデータ）にする。また、有効投写領域Ａの内側の各画素（以下、表示画素という）について、補正情報により表示画素と対応付けられた画像形成素子の画素に供給するデータを、この表示画素用の画素データとして画像データに規定されたデータにする。このような処理を、各投写領域に含まれる表示画素および非表示画素について行うことにより、各投写領域を担当するプロジェクター用の部分画像データが得られる。画像補正部５３は、演算部により生成された部分画像データを画像出力部５４へ出力する。

画像出力部５４は、複数の外部接続コネクターを有しており、各プロジェクターは各外部接続コネクターに接続されている。各外部接続コネクターには、識別子（ＩＤ）が割り振られている。画像出力部５４は、画像補正部５３から出力された部分画像データを、各部分画像データを担当するプロジェクターへ出力する。各外部接続コネクターを介していずれの部分画像データを出力するかについては、第１のコンピューター上で設定可能になっている。画像出力部５４は、第１のプロジェクター２１が接続されている外部接続コネクターを介して、第１の部分画像Ｐ１を示す部分画像データを出力する。同様に、画像出力部５４は、以下同様に、第２〜第４の部分画像Ｐ２〜Ｐ４を示す部分画像データを第２〜第４のプロジェクター２２〜２４へ出力する。

本実施形態の補正情報算出装置６は、プログラムを用いて上記の第２のコンピューターに所定の処理（後述する）を行わせることにより、その機能を実現する。第２のコンピューターは、画像制御装置５が実装されている第１のコンピューターと別体になっており、例えばバスケーブル等により第１のコンピューターと電気的に接続されている。補正情報算出装置６により補正情報を算出した後に、バスケーブルを介して補正情報を画像制御装置５へ出力した上で、第２のコンピューター（補正情報算出装置６）および撮影装置４を取外した状態で、複数のプロジェクター２および画像制御装置５によりコンテンツ画像Ｐを表示させることも可能である。また、プロジェクター２に位置ずれを生じたときに、第２のコンピューター（補正情報算出装置６）および撮影装置４を再度設置して、補正情報を再度算出し、補正情報を更新することも可能である。

補正情報算出装置６は、機能ブロックとして補正情報演算部６１、対応情報決定部６２、記憶部６３、第１パターン検出部６４、および第２パターン検出部６５を有している。
記憶部６３は、第２のコンピューターのハードディスクやメモリーにより構成される。本実施形態の記憶部６３には、補正情報の算出に用いる測定用パターンを示す測定用画像データ（元データ）が記憶されている。測定用画像データは、第１のコンピューターの記憶部やその他の記憶部に記憶されていてもよい。

図４に示すように測定用パターンＤ１０は、識別パターンとしての第１パターンＤ１０１、および特徴点パターンとしての第２パターンＤ１０２を含んだ画像である。本実施形態では、第１〜第４のプロジェクター２１〜２４のいずれに対しても同じ測定用パターンＤ１０を示す測定用画像データが供給されるようになっている。そのため、複数のプロジェクター２により投写される識別パターンに含まれる識別図形の形状が、複数のプロジェクター２で同じである。

測定用パターンＤ１０は、ｉ方向およびｊ方向に配列された画素の配列により構成されている。測定用パターンを示す画像データ（以下、測定用画像データという）は、各プロジェクターに供給された段階で画像形成素子の画素の配列に整合した形式になっている。例えば、画像形成素子の画素の配列が１９２０×１０８０個である場合に、測定用画像データは、ｉ方向に１９２０個の画素が並ぶとともにｊ方向に１０８０の画素が並ぶ画像の画像データとしてプロジェクターに供給される。

本例の第１パターンＤ１０１は、１つの矩形状の識別図形により構成されている。この識別図形が図２に示した重畳領域Ａ５と重複しない領域に投写されるように、測定用パターンＤ１０に占める第１パターンＤ１０１の位置が設定されている。具体的には、重畳領域Ａ５のオーバーラップ量の設定値を加味して、測定用パターンＤ１０に占める第１パターンＤ１０１の位置および寸法を設定されている。オーバーラップ量は、一対の投写領域を所定の方向（例えば、水平方向）に並べたときに、この所定の方向における１つの投写領域の幅と、一対の投写領域が互いに重なり合う領域の幅との比率等により表される。本例の識別図形は、測定用パターンＤ１０の中央付近に配置されており、識別図形の内側に測定用パターンの中心点が位置するように、上記の測定用画像データが設定されている。

本例の第２パターンＤ１０２は、複数のドット形状（スポット形状）の特徴図形により構成されており、複数の特徴図形により規定される特徴点を４つ以上含んでいる。本例では、第２パターンＤ１０２を構成する複数の特徴図形が、第１パターンＤ１０１の外側に配置されている。特徴図形とは、エッジ検出処理やパターン認証処理等の画像処理技術により検出可能な形状や輝度分布の図形であり、特徴図形を検出したときに特徴図形を代表する点を特徴点として求めることが可能な図形である。

例えば、特徴図形がドット形状である場合には、上記の画像処理技術によりドット形状の輪郭または輝度分布を検出することにより、ドット形状の中心点が求まり、中心点を特徴点とすることができる。特徴図形が矩形状である場合には、その中心点をドット形状と同様に特徴点として用いることができる他に、４つの頂点をそれぞれ特徴点として用いることができる。つまり、矩形の各辺に相当する線分をハフ変換等により検出することができ、検出した線分の交点である４つの頂点を、それぞれ特徴点として求めることができる。すなわち、第１パターンＤ１０１は、４つの特徴点を含む特徴図形として用いることもできる。

第１パターンＤ１０１を構成する識別図形は、第２パターンＤ１０２を構成する特徴図形よりも上記の画像処理技術により検出しやすい図形に設定するとよい。一般に検出対象の図形は、大判になるほどすなわち測定用パターンに対する特徴図形の寸法の比率が大きくなるほど検出しやすくなる。また、検出対象の図形が、単純形状（例えば矩形や円形）であるほど、またエッジでの明るさのジャンプが顕著であるほど検出しやすくなる。本例では、識別図形が特徴図形よりも大判になっており、検出しやすい図形になっている。

第１のプロジェクター２１により投写された測定用パターンＤ１０は、第１投写領域Ａ１に投写測定用パターンＴ１１を表示する。投写測定用パターンＴ１１は、第１パターンＤ１０１に相当する第１投写パターンＴ１１１、および第２パターンＤ１０２に相当する第２投写パターンＴ１１２を含んでいる。同様に、第２〜第４のプロジェクターにより投写された測定用パターンＤ１０は、第２〜第４投写領域Ａ２〜Ａ４に投写測定用パターンＴ１２〜Ｔ１４を表示する。投写測定用パターンＴ１２〜Ｔ１４は、第１パターンＤ１０１に相当する第１投写パターンＴ１２１、Ｔ１３１、Ｔ１４１、および第２パターンＤ１０２に相当する第２投写パターンＴ１２２、Ｔ１３２、Ｔ１４２を含んでいる。

図３の説明に戻り補正情報演算部６１、対応情報決定部６２、第１パターン検出部６４、および第２パターン検出部６５は、第２のコンピューターのＣＰＵおよびメモリー等により構成される。補正情報演算部６１は、特徴点パターンの元データに規定された複数の特徴点の位置と、元データに基づいて投写された特徴点パターンを撮影した撮影画像の中の複数の特徴点の位置とを対応情報に基づいて対応づけて比較することにより、補正情報を算出する。補正情報演算部６１は、補正情報を算出するときに、記憶部６３に記憶されている測定用画像データを読出して直接的にまたは間接的に各プロジェクターへ出力する。ここでは、補正情報演算部６１が、測定用画像データを画像制御装置５の画像補正部５３へ出力する。測定用画像データは、画像制御装置５を介して間接的に各プロジェクターへ出力される。画像制御装置５は、必要に応じて、測定用画像データを画像形成素子の画素の配列に整合する形式に補正する。第１〜第４のプロジェクター２１〜２４は、供給された測定用画像データに基づいて、被投写面９に測定用パターンを投写する。

第１パターン検出部６４は、被投写面９上に投写された測定パターンを撮影した撮影画像を示す撮影画像データを受け取る。第１パターン検出部６４は、例えばエッジ処理やパターン認証処理等を撮影画像データに施して、撮影画像に写っている測定用パターン（以下、撮影パターンという）を検出する。第１パターン検出部６４は、検出した撮影パターンを示す画像データを記憶部６３に格納する。撮影パターンは、プロジェクターの数（ここでは４つ）に応じた数の識別図形を含んでいる。第１パターン検出部６４は、撮影パターンに含まれている各識別図形を検出し、検出した識別図形の配列を示すデータ（以下では、「識別図形の配列情報」と称することがある）を対応情報決定部６２に出力する。本実施形態の第１パターン検出部６４は、ハフ変換を利用して矩形状の識別図形の４つの頂点を検出し、撮影パターンに占める４つの頂点の位置を示すデータの組を各識別図形の配列情報として出力する。このように、第１パターン検出部６４は、特徴点パターンおよび識別パターンを含んだ測定用パターンを複数のプロジェクター２の各々が投写したときの被投写面９上の測定用パターンを撮影した撮影画像の中の識別パターンを検出している。

対応情報決定部６２は、プロジェクターの配置情報を受け取り、第１パターン検出部６４から出力された識別図形の配列情報と比較し、被投写面上の各識別パターンと各識別パターンを投写したプロジェクターとの対応関係を示す対応情報を求める。上記の配置情報は、第１〜第４投写領域Ａ１〜Ａ４の配列における各投写領域の相対位置と、各投写領域に投写するプロジェクターとの対応関係を示す情報である。配置情報は、各プロジェクターに関する情報として、各プロジェクターが担当する投写領域の水平方向の相対位置と垂直方向の相対位置を含んでいる。

例えば、投写領域の配列のうちで角に位置する投写領域（例えば第１投写領域Ａ１）を基準とし、各プロジェクターが担当する投写領域の水平方向の相対位置をＨ、垂直方向の相対位置をＶとする。各プロジェクターに関する配置情報を（Ｈ，Ｖ）で表すと、第１のプロジェクター２１に関する配置情報は（１，１）、第２のプロジェクター２２に関する配置情報は（２，１）、第３のプロジェクター２３に関する配置情報は（１，２）、第４のプロジェクター２４に関する配置情報は（２，２）となる。

配置情報は、例えば複数のプロジェクター２を設置するときに、ユーザーが第２のコンピューターの入力デバイスやモニター装置を利用して入力するようになっている。例えば、対応情報決定部６２は、画像出力部５４の外部接続コネクターの一覧を第２のコンピューターのモニターに表示させ、ユーザーは、各外部接続コネクターに接続されているプロジェクターに関する配置情報を入力する。対応情報決定部６２は、外部接続コネクターのＩＤと、この外部接続コネクターに接続されているプロジェクターが担当する投写領域の複数の投写領域の配列における相対位置を示すデータを関連づけて配置情報とし、この配置情報を記憶部６３等に格納する。

対応情報決定部６２は、配置情報と、第１パターン検出部６４から出力された識別図形の配列情報とを用いて、撮影パターン内の各識別図形と各識別図形を投写したプロジェクターとの対応関係を求める。詳しくは、対応情報決定部６２は、識別図形の配列情報を参照して被投写面上の水平方向、垂直方向に相当する撮影パターン上の２方向にて、各識別図形が何番目に並んでいるかを求める。ここでは、上述した第１投写領域Ａ１を基準とした相対位置について説明する。撮影パターン上での水平方向での各識別図形の相対位置をｈ、垂直方向の相対位置をｖとし、これらの組を（ｈ，ｖ）で表す。

対応情報決定部６２は、例えば（ｈ，ｖ）＝（１，１）に配置されている識別図形が、配置情報にて（Ｈ，Ｖ）＝（１，１）に配置されているプロジェクター（ここでは第１のプロジェクター２１）から投写されたと判定する。同様にして、識別図形の配列における各識別図形の相対位置と、投写領域の配列における相対位置が同じである投写領域について、この投写領域を担当するプロジェクターとして配置情報により規定されているプロジェクターを検索する。対応情報決定部６２は、各識別図形を対象として、対象の識別図形を投写したプロジェクターに対応する外部接続コネクターのＩＤと、対象の識別図形とを関連づけるデータを対応情報として求める。対応情報決定部６２は、対応情報を第２パターン検出部６５へ出力する。

第２パターン検出部６５は、撮影画像の中の特徴点パターンに含まれる複数の特徴点を検出する。第２パターン検出部６５は、第１パターン検出部６４により検出された撮影パターンを示す画像データを記憶部６３から読み出す。第２パターン検出部６５は、第１パターン検出部６４から出力された識別図形の配列情報を参照し、各識別図形が投写された投写領域の撮影パターン上での範囲を推定する。第２パターン検出部６５は、推定した各投写領域の範囲の内側を探索して特徴図形を検出し、検出された各特徴図形に規定される特徴点の撮影パターン上での位置を求める。第２パターン検出部６５は、求めた各特徴点の位置を対象の特徴点が属する投写領域ごとのデータとして補正情報演算部６１に出力する。

なお、測定用画像データに規定されている識別図形に対する各特徴図形の相対位置を用いて、例えば第２パターン検出部６５に撮影パターン上での各特徴図形の概位置を推定させてもよい。推定した概位置の周囲を解析して各特徴図形を検出させると、演算負荷を増すことなく精査させることができ、特徴図形を高精度に検出することが可能になる。また、いずれかの特徴図形について検出に失敗したときに、この特徴図形の概位置として推定した値を用いて、この特徴図形に規定される特徴点の位置を例えば第２パターン検出部６５に算出させてもよい。これにより、特徴図形の検出失敗による処理の発散を回避することができる。

補正情報演算部６１は、第２パターン検出部６５により検出された特徴点の位置と、測定用画像データ上での特徴点の位置とを比較して、補正情報を算出する。第２パターン検出部６５により検出された特徴点の位置が投写領域ごとのデータとして出力されており、各投写領域と各プロジェクターとの対応関係が既知であるので、各プロジェクター用の補正情報が得られる。補正情報演算部６１は、算出した補正情報を画像制御装置５へ出力する。画像制御装置５は、補正情報算出装置６から出力された補正情報を画像補正部５３の記憶部に格納し、補正情報を更新する。

図５は、コンテンツ画像Ｐを表示するまでの処理フローを示すフローチャートである。ここでは、画像表示システム１の設置時に補正情報を算出する例について説明する。なお、下記のステップＳ５〜Ｓ８の処理を行うことにより、本発明に係る画像処理方法の一態様を行うことができる。また、ステップＳ５〜Ｓ７の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る補正情報算出装置の機能を実現することができる。ステップＳ５〜Ｓ８の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る画像処理装置の機能を実現することもできる。

図５に示すように、まず、被投写面９に対して複数のプロジェクター２を配置し、必要に応じて各プロジェクターの配置を粗調整する（ステップＳ１）。ステップＳ１では、例えば、第１〜第４のプロジェクター２１〜２４の各々から、各プロジェクターの投写領域（以下、部分投写領域という）の輪郭を示す配置用ガイドを被投写面９に投写させる。そして、配置用ガイドを参照しつつ各プロジェクターを移動させて、全体投写領域Ａ０に占める各投写領域の位置を粗調整する。そして、プロジェクターを配置した後に、上述したプロジェクターの配置情報を入力する。

本実施形態では、複数のプロジェクター２の配列における各プロジェクターの相対位置と、複数の投写領域の配列において各プロジェクターが担当する投写領域の相対位置とが一致するように、各プロジェクターを配置する。プロジェクターの配列を投写領域の配列と同様にすることにより、プロジェクターと投写領域との対応関係を把握しやすくなり、また投写方向の違いに起因する部分画像の歪の程度ばらつきを減らすこともできる。

なお、配置情報の入力は、ステップＳ６よりも前であれば、いずれのタイミングで行ってもよい。例えば、プロジェクターを設置するよりも前に配置情報を入力しておいてもよい。また、オーバーラップ量の設定値に規定される重畳領域の輪郭を示すガイドを、上記の配置用ガイドの一部として投写させてもよい。画像表示システム１の設置後、例えば画像表示システム１のメンテナンス時に補正情報を算出する場合には、上記のステップＳ１を省くこともできる。

次いで、補正情報算出装置６の補正情報演算部６１は、各プロジェクター用の測定用パターンを示す測定用画像データを対象となるプロジェクターに供給する（ステップＳ２）。第１〜第４のプロジェクター２１〜２４の各々に、供給された測定用画像データに基づいて測定用パターンを被投写面９に投写させる（ステップＳ３）。ここでは、第１〜第４のプロジェクター２１〜２４で並行して測定用パターンを投写させる。

次いで、撮影装置４は、被投写面９上の投写測定用パターンＴ１１〜Ｔ１４を含んだ領域を撮影する（ステップＳ４）。
次いで、補正情報算出装置６の第１パターン検出部６４は、撮影装置４により撮影された撮影画像の中の測定用パターン（撮影パターン）を検出し、また撮影パターンの中の識別図形（第１パターン）を検出する（ステップＳ５）。第１パターン検出部６４は、検出した各識別図形の配置を示す情報を対応情報決定部６２に出力する。

次いで、補正情報算出装置６の対応情報決定部６２は、ユーザーが入力したプロジェクターの配置情報を受け取り、第１パターン検出部６４から出力されたデータと比較して、対応情報を求める（ステップＳ６）。

次いで、補正情報算出装置６の第２パターン検出部６５は、対応情報決定部６２から出力された対応情報を用いて、撮影パターン上での各投写領域の範囲を推定する。第２パターン検出部６５は、推定した各投写領域の範囲内に含まれる各特徴図形（第２パターン）を検出し、検出した各特徴図形に規定される特徴点の位置を、投写領域ごとのデータとして出力する（ステップＳ７）。

次いで、補正情報算出装置６の補正情報演算部６１は、第２パターン検出部６５から出力された撮影パターン上での特徴点の位置と、測定用画像データに規定された特徴点の位置とを比較して、補正情報を算出する（ステップＳ８）。補正情報の算出方法としては、各プロジェクターの画像形成素子での画素の位置と、被投写面９上での画素の位置との対応関係を示す情報が得られる方法であれば、特に限定されない。例えば、補正情報の算出方法として下記の２つの方法が挙げられる。

第１の方法では、補正情報演算部６１が、測定用画像データに規定された測定用パターンを撮影パターンに変換する射影変換を求める。この射影変換により画像データ上の各画素の座標（ｉ，ｊ）を変換して、画素ごとのデータのテーブルとして補正情報を算出する。なお、撮影パターンを測定用画像データに規定された測定用パターンに変換する射影変換を求める場合でも、画像形成素子上での画素の座標と、被投写面での画素の位置との対応関係を示す補正情報が得られる。

図６は、補正情報の算出方法の一例を示す説明図である。図６には、測定画像用データに規定された測定用パターンＤの一部と、画像データ上での撮影パターンＴとを概念的に図示している。図６において、符号Ｄ１〜Ｄ４は、測定用パターンＤに含まれる特徴点を示す。特徴点Ｄ１〜Ｄ４は、各特徴点を順に結んだ線が領域Ｄ５の輪郭をなすように選択される。図６において、符号Ｔ１〜Ｔ４は、撮影パターンＴに含まれる特徴点を示す。特徴点Ｔ１〜Ｔ４は、投写された測定用パターンＤにおける特徴点Ｄ１〜Ｄ４に相当する特徴点である。特徴点Ｔ１〜Ｔ４を順に結んだ線は領域Ｔ５の輪郭をなしている。

射影変換の変換式は、下記の式（１）、式（２）で表すことができる。式（１）、式（２）において、（ｘ，ｙ）は変換前の任意の点のｉｊ座標（ｉ，ｊ）を示し、（Ｘ，Ｙ）はこの点の変換先のｉｊ座標（ｉ，ｊ）を示す。ａ〜ｈは変換係数を示し、ａ〜ｈを求めることにより、１つの射影変換が求まる。
Ｘ＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）・・・（１）
Ｙ＝（ｄｘ＋ｅｙ＋ｆ）／（ｇｘ＋ｈｙ＋１）・・・（２）

特徴点Ｄ１〜Ｄ４の各々の座標は、測定用画像データに規定されるので既知である。特徴点Ｔ１〜Ｔ４の各々の座標は、撮影パターンＴから特徴点を検出することにより、既知になっている。式（１）、式（２）の（ｘ，ｙ）に特徴点Ｄ１の座標を代入し、（Ｘ，Ｙ）に特徴点Ｔ１の座標を代入すると、ａ〜ｈの関係式が２つ得られる。同様に特徴点Ｄ２、Ｔ２の組、特徴点Ｄ３、Ｔ３の組、特徴点Ｄ４、Ｔ４の組のそれぞれの座標を代入することにより、ａ〜ｈの８つの未知数に対して８つの関係式が得られる。この８元１次方程式を解くことにより、領域Ｄ５を領域Ｔ５に変換する射影変換のａ〜ｈが得られる。得られた射影変換に対して、領域Ｄ５の周上および内側に含まれる各画素の座標を（ｘ，ｙ）に代入することにより、領域Ｄ５の各画素と１対１で対応する領域Ｔ５での各画素の座標が求まる。

ここでは、測定用パターンに含まれる特徴点から特徴点Ｄ１〜Ｄ４を選択して、測定用パターンＤの一部をなす領域Ｄ５に対する射影変換を求める。そして、異なる特徴点を特徴点Ｄ１〜Ｄ４として選択することにより、領域Ｄ５を異ならせて射影変換を求める。得られた射影変換を用いて、上述のようにして領域Ｄ５の各画素と１対１で対応する領域Ｔ５での各画素の座標を求める。以下同様にして測定用パターンの部分ごとの射影変換を求め、測定用パターンの各画素の座標と、画素ごとに対応する撮影パターンの画素の座標を求める。測定用パターンの各画素の座標は、プロジェクターの画像形成素子における画素の位置と対応関係がある。また、撮影パターンの画素の座標は、被投写面での画素の位置と対応関係がある。したがって、結果的に画像形成素子上での画素の座標と、被投写面での画素の位置との対応関係を示す補正情報が得られる。

例えば、画像形成素子の各画素の座標に対して上記の射影変換を行うことにより、被投写面９上での画素（以下、変換画素という）の座標が求まる。変換画素の座標の最大値や最小値を参照することにより、有効投写領域Ａの範囲が自動または手動で設定される。そして、有効投写領域Ａの中に、コンテンツ画像の形式や画素数に応じた画素（表示画素）の配列を配置するものとして、被投写面９上での各表示画素の座標を上記の有効投写領域Ａの範囲の設定値から求める。表示画素の座標が変換画素の座標からずれる場合には、表示画素の周囲に位置する変換画素に供給される画素データを用いて表示画素の画素データを補間により求めるべく、周囲の変換画素と表示画素との距離に応じた補間の重み付けを示す補間係数を求めておいてもよい。この補間係数は表示画素ごとの固定値になるので、補正情報の一部として保存しておくとよい。

第２の方法では、撮影パターンを測定用画像データに規定された測定用パターンに変換する射影変換（第１の方法での射影変換の逆変換）を求める。また、例えば撮影パターンに含まれる特徴点の位置を用いて全体投写領域Ａ０の範囲を推定し、有効投写領域Ａの範囲を自動または手動で設定する。そして、有効投写領域Ａの中に、コンテンツ画像の形式や画素数に応じた表示画素の配列を配置するものとして、被投写面９上での各表示画素の座標を上記の有効投写領域Ａの範囲の設定値から求める。得られた各表示画素の座標を射影変換により変換することにより、被投写面Ｓ上での各表示画素に対応する画像形成素子上の画素（以下、変調単位という）の位置が求まる。得られた変調単位の位置が、実際の変調単位の位置と整合しない場合、すなわち変調単位に２以上の表示画素が対応する場合には、必要に応じて各変調単位に入力される画素データを補間により求めるべく、補間係数を求めておいてもよい。上述のように、求めた補間係数は補正情報の一部として保存しておくとよい。

図５の説明に戻り、コンテンツ画像Ｐを表示するときに画像制御装置５は、コンテンツ画像Ｐを示す画像データに基づいて各プロジェクター用の部分画像データを作成するとともに、画像データに対して補正情報を用いて位置補正処理を施す（ステップＳ９）。

次いで、画像処理装置３は、位置補正処理の補正後の部分画像データを、対象となるプロジェクターに供給する。第１〜第４のプロジェクター２１〜２４の各々は、供給された部分画像データに基づいて部分画像を投写する（ステップＳ１０）。このようにして、第１〜第４の部分画像Ｐ１〜Ｐ４からなるコンテンツ画像Ｐが表示される。

本実施形態の補正情報算出装置６にあっては、ユーザーの入力による配置情報を対応情報決定部６２が参照して、各識別図形と識別図形を投写したプロジェクターとの対応関係を示す対応情報を求めるので、対応情報を簡便に取得することができる。すなわち、識別図形の配列を検出できれば対応情報が得られるので、識別図形を投写したプロジェクターを識別する情報を識別図形に持たせる必要性が低くなり、単純形状の識別図形を採用可能になる。また、複数の投写領域ごとに識別図形の形状を異ならせる必要性が低くなる。したがって、識別図形の検出する上で複雑な処理を行う必要性が低くなり、対応情報を効率よく取得可能になる。補正情報演算部が、対応情報に基づいて補正情報を算出するので、結果として、補正情報を効率よく算出可能な補正情報算出装置６になる。

本実施形態では、第１パターン検出部６４により検出された識別図形の位置に基づいて、この識別図形が投写されている投写領域の撮影パターン上での範囲を推定し、推定された範囲内で投写領域ごとに特徴点の位置を求めている。したがって、複数の投写領域に対して同一形状の特徴図形を投写した場合でも特徴図形がいずれの投写領域に属するかを判別しやすくなり、例えば他の投写領域に属する特徴図形を検出してしまうことによる処理の発散を回避することができる。

本実施形態の画像処理装置３は、補正情報算出装置６により補正情報を効率よく取得可能であるので、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを補正可能になっている。
本実施形態の画像表示システム１は、補正情報を効率よく算出可能であるとともに補正情報により部分画像の歪や相対位置のずれを高精度に補正可能であるので、利便性が高く、しかも高品質な画像を表示可能なものになっている。
本実施形態の画像処理方法よれば、対応情報を簡便に取得することができ、補正情報を効率よく算出可能になる。したがって、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを補正可能になる。

なお、本発明の技術範囲は下記の実施形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で多様な変形が可能である。例えば、上記の実施形態では識別パターンと特徴点パターンとを含んだ測定用パターンを用いているが、識別パターンに含まれる特徴点を補正情報の算出に用いて特徴点パターンを省くこともできる。このようにすれば、簡便な処理により、少なくとも複数の部分画像での相対位置のずれを補正することができる。この手法は、例えば被投写面のたるみ等による局所的な歪が小さい場合等の、部分画像の局所的な歪が小さい場合に特に有効である。また、特徴点パターンを、識別パターンとは別に投写してもよい。

１・・・画像表示システム、２・・・プロジェクター、３・・・画像処理装置、
４・・・撮影装置、５・・・画像制御装置、６・・・補正情報算出装置、
８・・・信号源、９・・・被投写面、２１・・・第１のプロジェクター、
２２・・・第２のプロジェクター、２３・・・第３のプロジェクター、
２４・・・第４のプロジェクター、５１・・・画像入力部、５２・・・画像保存部、
５３・・・画像補正部、５４・・・画像出力部、６１・・・補正情報演算部、
６２・・・対応情報決定部、６３・・・記憶部、６４・・・第１パターン検出部、
６５・・・第２パターン検出部、Ａ・・・有効投写領域、Ａ０・・・全体投写領域、
Ａ１・・・第１投写領域、Ａ２・・・第２投写領域、Ａ３・・・第３投写領域、
Ａ４・・・第４投写領域、Ｄ・・・測定用パターン、Ｄ１〜Ｄ４・・・特徴点、
Ｄ５・・・領域、Ｄ１０１・・・第１パターン（識別パターン）、
Ｄ１０２・・・第２パターン（特徴点パターン）、Ｐ・・・コンテンツ画像、
Ｐ１・・・第１の部分画像、Ｐ２・・・第４の部分画像、Ｐ３・・・第３の部分画像、
Ｐ４・・・第４の部分画像、Ｐ５・・・重畳領域、Ｓ１〜Ｓ１０・・・ステップ、
Ｔ・・・撮影パターン、Ｔ１〜Ｔ５・・・特徴点、Ｄ１０・・・測定用パターン、
Ｔ１１〜Ｔ１４・・・投写測定用パターン、
Ｔ１１１、Ｔ１２１、Ｔ１３１、Ｔ１４１・・・第１投写パターン、
Ｔ１１２、Ｔ１２２、Ｔ１３２、Ｔ１４２・・・第２投写パターン

Claims (8)

1. 画像形成素子を有するプロジェクターから被投写面上の投写領域に投写される画像における画素の位置と、前記画像形成素子における画素の位置との対応関係を示す補正情報を算出する補正情報算出装置であって、
   識別図形を含んだ識別パターンを複数のプロジェクターの各々から投写したときに前記被投写面上に配列される複数の前記識別図形を撮影した撮影画像の中の前記複数の識別パターンの配列における各識別図形の相対位置と、前記複数のプロジェクターによる複数の前記投写領域の配列における各投写領域の相対位置と各投写領域に投写する前記プロジェクターとの対応関係を示す配置情報と、を比較して、前記被投写面上の各識別パターンと各識別パターンを投写した前記プロジェクターとの対応関係を示す対応情報を求める対応情報決定部と、
   複数の特徴点を含み、各プロジェクターに供給される特徴点パターンの元データに規定された前記複数の特徴点の位置と、該元データに基づいて投写された特徴点パターンを撮影した撮影画像の中の前記複数の特徴点の位置とを前記対応情報に基づいて対応づけて比較することにより、前記補正情報を算出する補正情報演算部と、
   を備えていることを特徴とする補正情報算出装置。
2. 前記特徴点パターンおよび前記識別パターンを含んだ測定用パターンを前記複数のプロジェクターの各々が投写したときの前記被投写面上の前記測定用パターンを撮影した撮影画像の中の前記識別パターンを検出する第１パターン検出部と、
   該撮影画像の中の前記特徴点パターンに含まれる前記複数の特徴点を検出する第２パターン検出部と、
   を備え、
   前記対応情報決定部は、前記第１パターン検出部の検出結果に基づいて前記対応情報を求め、前記第２パターン検出部は、該対応情報を用いて前記測定用パターンの元データに規定された前記識別パターンに対する前記特徴点パターンの相対位置を参照して前記特徴点パターンを検出し、前記補正情報演算部は、前記第２パターン検出部の検出結果に基づいて前記補正情報を求めることを特徴とする請求項１に記載の補正情報算出装置。
3. 前記配置情報は、前記複数のプロジェクターの配列における各プロジェクターの相対位置と、前記複数の投写領域の配列における該プロジェクターの前記投写領域の相対位置とが一致しているときの、前記複数のプロジェクターの配列における各プロジェクターの相対位置を示す情報であることを特徴とする請求項１または請求項２に記載の補正情報算出装置。
4. 前記複数のプロジェクターにより投写される前記識別パターンに含まれる前記識別図形の形状が、前記複数のプロジェクターで同じであることを特徴とする請求項１から請求項３のいずれか一項に記載の補正情報算出装置。
5. 前記識別図形が前記複数の特徴点を含み、
   前記補正情報演算部は、各プロジェクターにより投写された前記識別パターンを撮影した撮影画像の中の該識別パターンを用いて前記補正情報を算出することを特徴とする請求項１、請求項３、請求項４のいずれか一項に記載の補正情報算出装置。
6. 請求項１から請求項５のいずれか一項に記載の補正情報算出装置と、
   前記補正情報算出装置により算出された前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正する画像補正部と、
   を備えていることを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置と、
   前記画像処理装置により補正された前記補正後の画像データに基づいて画像を投写する複数のプロジェクターと、
   を備えていることを特徴とする画像表示システム。
8. 画像形成素子を有するプロジェクターから被投写面上の投写領域に投写される画像における画素の位置と、前記画像形成素子における画素の位置との対応関係を示す補正情報を算出する補正情報算出ステップと、
   前記補正情報を参照して、補正後の画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正するステップと、
   を有し、
   前記補正情報算出ステップは、識別図形を含んだ識別パターンを複数のプロジェクターの各々から投写したときに前記被投写面上に配列される複数の前記識別図形を撮影した撮影画像の中の前記複数の識別パターンの配列における各識別図形の相対位置、および前記複数のプロジェクターによる複数の前記投写領域の配列における各投写領域の相対位置と各投写領域に投写する前記プロジェクターとの対応関係を示す配置情報を比較して、前記被投写面上の各識別パターンと各識別パターンを投写した前記プロジェクターとの対応関係を示す対応情報を求める処理と、
   複数の特徴点を含み、各プロジェクターに供給される特徴点パターンの元データに規定された前記複数の特徴点の位置と、該元データに基づいて投写された特徴点パターンを撮影した撮影画像の中の前記複数の特徴点の位置とを前記対応情報に基づいて対応づけて比較することにより、前記補正情報を算出する処理と、
   を含んでいることを特徴とする画像処理方法。

Images