JP6299124B2 - 投影システム、画像処理装置、投影方法およびプログラム - Google Patents

Description

本発明は、投影システム、画像処理装置、投影方法およびプログラムに関する。本発明は、より詳細には、複数の投影手段により投影体上に像を投影するための投影システム、該投影システムを構成する画像処理装置、該投影システムで実行される投影方法、および該画像処理装置を実現するためのプログラムに関する。

従来、複数のプロジェクタからの投影像を互いに重複領域を持たせながら並べて、１つの高解像度な画像をスクリーン上に投影するマルチ・プロジェクション技術が注目を集めている。

上述したマルチ・プロジェクション技術に関しては、例えば、特許第３９０８２５５号（特許文献１）が知られている。特許文献１の画像投影システムでは、予め座標位置が既知である４つ以上の特徴点を有する基準画像を各プロジェクタからスクリーンに投影する。ここで、基準画像は、例えば一定間隔に輝点や十字を並べた格子模様等既知の画像である。そして、デジタルカメラにより撮像した基準画像中の上記特徴点の位置を検出し、その検出された各プロジェクタの４つ以上の特徴点の位置に基づき、各プロジェクタ毎の投影画像を変形し、かつ重複領域を検出してブレンディング処理を施す。この変形およびブレンディング処理された画像を複数のプロジェクタから互いに重複領域を持たせつつスクリーン上に並べて投影することによって、１つの高解像度な画像として投影される。

上述したマルチ・プロジェクションを行う場合、投影画像の位置合わせおよびスケール合わせのため、各プロジェクタから基準画像を順次または同時に投影し、撮像することを要する。しかしながら、基準画像を順次各プロジェクタから投影し、複数回で撮影する従来技術の方法では、カメラを三脚などで固定しなければならず、かつ、全プロジェクタの投影範囲が画角内に収まるように撮像する必要があった。したがって、三脚などの機材が必要となり利便性が低下してしまう点で、充分なものではなかった。また、プロジェクタ数が増大してくると、全プロジェクタの投影範囲を一度に画角内に収めて撮影することが困難になる場合があった。例えば、廊下の壁にマルチ・プロジェクションする場合などである。

これに対して、基準画像をプロジェクタから同時に投影し、撮影する従来技術の方法では、同時に投影するプロジェクタの基準画像における輝点や十字などの構造化パターンが重なりあってしまう。このため、画像処理でこれらのパターンの帰属を判断しなければならない。このとき、プロジェクタ間でパターンが癒着してしまった場合は、分離したり、パターンの帰属を判定したりすることが困難となる。

また、特許第３４９７８０５号公報（特許文献２）は、分割撮像により、上述した画角内に全プロジェクタの投影範囲を収めずに校正する技術を開示する。しかしながら、特許文献２で分割撮像した画像を統合するためには、分割撮像する際のカメラの位置、向きを正確にコントロールする必要があり、このカメラ制御には専用の位置制御装置が必要となる。したがって、特許文献２の分割撮像の従来技術は、校正の簡便性、コストの点で充分なものではなかった。また、構造化パターンが重なり合う問題については、上記特許文献２では触れられていない。

また、撮影方向や撮影位置をずらしながら分割撮像を行う場合は、位置を正確に制御することに加え、カメラのレンズ歪みを補正しておく必要がある。例えば、撮影位置をずらしながら撮像された画像間において、共通する被写体は、レンズの異なる位置で撮像されるので、それぞれの画像で歪み方が異なる。このため、レンズ歪みの補正のための作業負荷が増えるか、または、使用できるカメラへの制約が大きくなってしまう点で充分なものではなかった。また、投影されるスクリーンの平坦度が高いことも求められる。スクリーンに凹凸があると、撮影方向や撮影位置をずらしながら撮像された画像間において、視差に基づいて共通する被写体の位置がずれてしまう。このため、スクリーンの平坦度に対する制約が大きくなり、または、画質が劣化してしまうという問題があった。このような、レンズ歪み補正やスクリーンの平坦度に関する問題については、上記特許文献２では触れられていない。

複数のプロジェクタにより重ねて投影体上に像を投影するスタック投影の際に、構造化パターンが重なり合ったまま同時に投影して撮像し、後処理で分離する技術としては、特開２０１２−４７８４９号公報（特許文献３）が知られている。特許文献３の従来技術では、プロジェクタごとにＲ，Ｇ，Ｂなど波長域を変えたパターンを投影したり、偏光特性を変えたパターンを投影したりして、波長および偏光特性に基づいて事後的に重畳したパターンを分離する方法が開示されている。しかしながら、波長域を変えたパターンを投影する方法では、プロジェクタのＲ、Ｇ、Ｂの波長域とカメラのＲ、Ｇ，Ｂの波長域とは通常一致しないので、通常のカメラを使って独立な色信号として分離することは、容易ではなかった。偏光特性を変えたパターンを投影する方法では、専用の撮像装置が必要となりコストが増大するという問題があった。

その他、特開２０１１−１８２０７６号公報（特許文献４）は、パターン同士が重ならないように、パターン配置を工夫して、互いに位相をずらした複数種類のパターンを複数のプロジェクタで同時に投影し、撮影する方法を開示する。しかしながら、パターン抽出精度を確保するには、ある程度の大きさのパターンを投影する必要がある。その一方で、位置合わせの精度向上のためにパターンの空間的な密度を上げたい場合パターン間隔は狭くする必要がある。また、近年登場している超短焦点プロジェクタでは、スクリーンの至近距離から投影するので、フォーカスやわずかな設置条件、スクリーンの微妙な凹凸により投影像が非線形に歪みやすい。これらの理由から、パターン同士の重なりを回避して複数のプロジェクタで同時に投影し、撮影する方法には限界があった。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、複数の投影手段により投影体上に像を投影するための投影システムにおいて、分割撮像にて校正する場合に、撮像手段のレンズ歪みや視差に基づくズレを含めて考慮した複数の投影手段から投影する画像の補正条件を、緩和された条件下で求めることができる投影システム、画像処理装置、投影方法およびプログラムを提供することを目的とする。

本発明では、上記課題を解決するために、複数の投影手段により投影体上に像を投影するための投影システムであって、下記特徴を有する投影システムを提供する。本投影システムは、複数の校正用撮像画像を準備する画像準備手段と、上記複数の校正用撮像画像の各々から、少なくとも１つの投影手段の投影像の歪みを示す格子点の組を抽出する格子点抽出手段と、上記複数の校正用撮像画像のうちの異なる撮像範囲で撮像された複数の画像間で、共通して抽出された注目の投影手段の格子点の組各々が、共通する座標系上となるように変換する格子点変換手段と、注目の投影手段に対し、共通する座標系上の格子点の組複数に基づいて、合成された格子点の組を生成する格子点合成手段と、合成された格子点の組に基づいて、注目の投影手段に対する補正係数を計算する補正係数計算手段とを含む。

上記構成により、複数の投影手段により投影体上に像を投影するための投影システムにおいて、分割撮像にて校正する場合に、撮像手段のレンズ歪みや視差に基づくズレを含めて考慮した複数の投影手段から投影する画像の補正条件を、緩和された条件下で求めることができる。

本実施形態によるプロジェクション・システムの全体構成を示す概略図。 本実施形態によるプロジェクション・システムの機能ブロック図。 本実施形態によるプロジェクション・システムで用いられる２種類の校正用画像を例示する図。 本実施形態による校正用シーン選択部が順次選択する校正用投影シーンおよびその撮影方法を説明する図。 異なる撮像範囲で撮像された画像間で生じるレンズ歪みの影響を説明する図。 異なる視点から撮像された画像間で生じるスクリーンの凹凸の影響を説明する図。 本実施形態による格子点抽出統合処理、各種補正係数の計算処理および補正係数に基づく補正処理の全体的な処理の流れを示すフローチャート。 本実施形態による格子点抽出統合部が実行する、格子点抽出統合処理を示すフローチャート（１／２）。 本実施形態による格子点抽出統合部が実行する、格子点抽出統合処理を示すフローチャート（２／２）。 各校正用投影シーンを撮影して準備された６つの校正用撮像画像と、これらの撮像画像間各々で求められる射影変換について説明する図。 注目プロジェクタについての格子点の区分けの仕方を説明する図。 異なる撮像範囲での校正用撮像画像に基づく複数組の格子点を合成する処理を説明する図。 注目のプロジェクタの格子点について、異なる撮像範囲での校正用撮像画像に基づく複数組の格子点座標を用いたブレンディング方法を説明する図。 統合座標系上に統合された各プロジェクタの格子点座標の集合を模式的に示す図。 本実施形態による補正係数算出部が実行する、幾何補正係数の計算処理を示すフローチャート。 統合された格子点座標各々を用いた線形外挿による投影範囲の外周座標の計算方法を示す図。 統一された座標系上における４つのプロジェクタの投影範囲、補正後投影目標領域および投影コンテンツ画像を説明する図。 プロジェクタ・メモリ上の各座標と、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の座標との対応付けを説明する図。 本実施形態による補正係数算出部が実行する、ブレンディング係数の計算処理を示すフローチャート。 プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図。 （Ａ）幾何補正係数および（Ｂ）ブレンディング係数のデータ構造を例示する図。 本実施形態による補正処理部が実行する、補正係数に基づく補正処理を説明する図。 変形例の実施形態として（Ａ）横３列×縦２列の６つのプロジェクタを用いてマルチ・プロジェクションする場合について説明する図、および（Ｂ）変形例の実施形態で用いられる校正用画像を示す図。 変形例の実施形態において、（Ａ）構成される校正用投影シーン、その撮影方法およびその統合方法、並びに（Ｂ）校正用投影シーンで構成される木構造を説明する図（１／２）。 変形例の実施形態において、（Ａ）構成される校正用投影シーン、その撮影方法およびその統合方法、並びに（Ｂ）校正用投影シーンで構成される木構造を説明する図（２／２）。 本実施形態による画像処理装置を構成する汎用コンピュータ装置のハードウェア構成を示す図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、投影システムの一例として、投影手段である複数のプロジェクタと、撮像手段である１つのカメラと、全体制御を行う画像処理装置とを含むプロジェクション・システムを用いて説明する。

（全体構成）
図１は、本実施形態によるプロジェクション・システム１００の全体構成を示す概略図である。図１に示すプロジェクション・システム１００は、システムの全体制御を行う画像処理装置１１０と、複数のプロジェクタ１５０と、カメラ１６０とを含み構成される。なお、説明する実施形態では、プロジェクション・システム１００は、４台のプロジェクタ１５０ａ〜１５０ｄの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆる大画面のマルチ・プロジェクションに対応した構成とされている。

画像処理装置１１０は、典型的には、パーソナル・コンピュータ、ワークステーションなどの汎用コンピュータとして構成される。なお、画像処理装置１１０は、汎用コンピュータに限定されるものではなく、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１５０に組み込まれてもよい。

プロジェクタ１５０は、それぞれ、液晶方式、ＣＲＴ（Cathode Ray Tube）方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などを採用する投影装置である。カメラ１６０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサと、イメージセンサの受光領域上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１６０は、ＷＥＢカメラ、デジタル・スチル・カメラ、デジタル・ビデオ・カメラなどの専用デバイスとして構成されてもよいし、あるいは、スマートフォン端末やタブレット端末などの汎用デバイスに組み込まれたデバイスとして構成されてもよい。

本プロジェクション・システム１００においては、投影面を提供する投影体であるスクリーン１０２が設置されている。プロジェクタ１５０は、それぞれ、投影中心の位置をずらしながらスクリーン１０２上に投影するように設置されている。画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｄに投影させる複数の投影画像を生成し、対応するプロジェクタ１５０各々に投影画像各々を出力する。プロジェクタ１５０は、それぞれ、画像処理装置１１０から入力される投影画像をスクリーン１０２上に投影する。スクリーン１０２上には、図１に示すように、複数のプロジェクタ１５０ａ〜１５０ｄ各々からの複数の投影像１０４ａ〜１０４ｄが投影されている。この複数の投影像１０４ａ〜１０４ｄは、投影面上で重なり合わせられて、単一の投影像１０６に合成される。

プロジェクション・システム１００は、投影モード中、上述したように複数のプロジェクタ１５０ａ〜１５０ｄを用いて単一の投影像１０６を投影するが、上述した投影モード前に、通常、校正処理が行われる。図１に示すカメラ１６０は、この校正処理の際に用いられる。画像処理装置１１０は、校正モード中、複数のプロジェクタ１５０それぞれに校正用画像を出力し、スクリーン１０２上に校正用投影像を投影させる。そして、所定のプロジェクタ１５０により投影されたスクリーン１０２上の投影像１０４がカメラ１６０の画角内に入るように、カメラ視点および視野が設定され、複数回の校正用の撮影が行われることになる。

カメラ１６０で撮像された撮像画像（以下、校正用投影像が写り込んだ撮像画像を校正用撮像画像と参照する。）は、それぞれ、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ（Universal Serial Bus）などの無線接続、または有線ＵＳＢや有線ＬＡＮなどの有線接続を介して、画像処理装置１１０へ送信される。あるいは、カメラ１６０で撮像された校正用撮像画像は、ＳＤカードやコンパクトフラッシュ（登録商標）などのリムーバブル・メディアを介して、画像処理装置１１０で読み取られる。

画像処理装置１１０は、入力された複数の校正用撮像画像を用いて、複数のプロジェクタ１５０ａ〜１５０ｄの投影像各々の位置合わせ、スケール合わせ、歪み補正、および重複領域の輝度調整などを行うための各種補正係数を計算する。画像処理装置１１０は、投影モード中、計算された各種補正係数に基づき、プロジェクタ１５０ａ〜１５０ｄ各々に投影させるための補正された投影画像を生成する。以下、図２〜図６を参照しながら、各種補正係数の計算処理および補正係数に基づく補正処理について説明する。

（機能構成）
図２は、本実施形態によるプロジェクション・システム１００の機能ブロック図である。図２に示すシステム１００は、画像処理装置１１０上で動作する複数の機能ブロックを含む。画像処理装置１１０は、コンテンツ格納部１１２と、プロジェクタ毎の補正処理部１１４ａ〜１１４ｄと、プロジェクタ毎の投影画像出力部１１６ａ〜１１６ｄと、プロジェクタ毎の切替部１２２ａ〜１２２ｄとを含み構成される。画像処理装置１１０は、さらに、校正用画像格納部１１８と、校正用シーン選択部１２０と、校正用撮像画像入力部１２４と、格子点抽出統合部１３０と、補正係数算出部１４０とを含み構成される。

コンテンツ格納部１１２は、単一の投影像１０６として投影する対象であるコンテンツ画像を格納する。コンテンツ格納部１１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。なお、投影対象となるコンテンツ画像は、プレゼンテーションなどのアプリケーションでファイルを実行した場合の表示画面として与えられてもよいし、静止画像ファイルとして与えられてもよいし、動画ファイル中の任意のタイミングのフレームとして与えられてもよい。また、コンテンツ画像は、オペレーティング・システムの実行により生成する画面、外部入力される映像として与えられてもよい。以下、説明の便宜上、静止画像としてコンテンツ画像が与えられた場合を一例に説明する。

補正処理部１１４ａ〜１１４ｄは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｄに対応して設けられている。補正処理部１１４は、それぞれ、コンテンツ格納部１１２からコンテンツ画像を読み出し、補正処理を施し、対応するプロジェクタ用の投影画像を生成する。なお、補正処理部１１４それぞれが実行する処理については詳細を後述する。

投影画像出力部１１６ａ〜１１６ｄは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｄに対応して設けられている。投影画像出力部１１６は、それぞれ、対応するプロジェクタ１５０に接続されるディスプレイ出力を含み構成され、接続されるプロジェクタに対し、切替部１２２で選択された入力画像を映像出力する。

切替部１２２ａ〜１２２ｄは、当該システム１００の動作モードに応じて、画像のフローを切り替える。コンテンツ画像を投影する投影モード中は、切替部１２２は、補正処理部１１４の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、それぞれ、対応する補正処理部１１４によるコンテンツ画像に基づく処理結果を映像出力する。一方、校正モード中は、切替部１２２は、後述する校正用シーン選択部１２０の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、それぞれ、校正用シーン選択部１２０で選択して出力された校正用画像を映像出力する。

校正用画像格納部１１８は、校正モード中にプロジェクタ１５０から投影させるための校正用画像を格納する。校正用画像格納部１１８は、ＨＤＤ、ＳＳＤ、着脱可能なリムーバブル・メディアの記憶領域として構成される。校正画像は、典型的には、事前に準備された静止画像として与えられる。

ここで、校正用画像は、投影像の格子点を規定する格子パターンおよび投影像の位置合わせ点を規定する位置合わせパターンの両方もしくは一方を含むものである。図３は、本実施形態によるプロジェクション・システム１００で用いられる２種類の校正用画像を例示する図である。図３（Ａ）は、位置合わせパターン２０２および格子パターン２０６の両方を含む第１校正用画像２００を例示する。図３（Ｂ）は、位置合わせパターン２１２のみを含む第２校正用画像２１０を例示する。

格子パターン２０６は、プロジェクタ・メモリ上の座標を規定するものであり、任意の図形要素が所定の規則で配置されてなす模様として構成される。スクリーン１０２上に投影された格子パターン２０６を撮像し、その格子点を抽出することにより、投影像の台形歪みや局所的な歪みを検出することができる。図３（Ａ）に例示する第１校正用画像２００では、格子パターン２０６は、プロジェクタ１５０の全投影領域を横に１０ブロック、縦に７ブロックに分割し、そのうちの中央の８×５ブロックに黒地上に白ベタの円２０４を格子状に並べたものが用いられている。

位置合わせパターン２０２，２１２は、校正用に撮像した画像間での投影像の基準位置（位置合わせ点）を規定するものであり、複数の任意の図形要素が所定の位置に配置されて構成される。スクリーン１０２上に投影された共通の位置合わせパターン２０２，２１２を収めて複数回撮像することにより、複数の撮像画像間で、位置合わせを行うことができる。

位置合わせパターン２０２，２１２は、好適には、図３（Ａ）および図３（Ｂ）に示すように、格子パターン２０６が配置された領域（格子パターンが含まれるとしたら配置される領域）の外側の位置に配置されたマーカを含む。マーカを格子パターン２０６の外側に設けることにより、位置合わせパターンと、格子パターンとが重ならないように投影することが容易となる。

図３を参照しながら具体的なパターンについて説明したが、格子パターン２０６および位置合わせパターン２０２，２１２は、特に限定されるものではない。格子パターンとしては、図３（Ａ）のような背景に対してコントラストを有する円形状を２次元に配列した水玉模様のほか、ドット模様、市松模様、格子模様など、種々の模様を用いることがきる。プロジェクタ１５０の全投影領域の分割方法も上述した態様に限定されるものではなく、要求される精度や画像処理装置１１０の性能に応じて、領域の分割数や領域の分割方法を決定すればよい。位置合わせパターンのマーカの形状も、円形など任意の図形要素としてよいし、マーカの数も、少なくとも４点あればよい。なお、位置合わせのためのマーカ数を多くすることにより、位置合わせ精度を向上させることができる。

ここで、再び図２を参照する。本実施形態による校正処理では、複数回に分けて、プロジェクタ１５０各々の投影像の幾何歪みを検出するための格子パターンの撮像が行われ、位置合わせパターンにより複数の撮像結果が統合される。校正用シーン選択部１２０は、上述した校正用画像格納部１１８から各校正用画像を読み出し、複数のプロジェクタ１５０ａ〜１５０ｄ各々に対し、適切な校正用画像を選択して出力する。校正用シーン選択部１２０は、複数のプロジェクタ１５０の投影像の位置関係を把握しており、全体として過不足なく各プロジェクタ１５０の校正結果が得られるように校正用画像が校正処理の各段階に応じて選択される。各校正処理の段階における、１以上のプロジェクタ１５０で投影させる校正用画像を含み構成されるシーンを、以下、校正用投影シーンと参照する。

校正用シーン選択部１２０により、プロジェクタ１５０各々から、校正用投影シーンに応じた校正用画像が投影される。このとき、ユーザは、カメラ１６０を用いて、校正用投影シーン毎に、投影された校正用投影像が画角に収まるようにして撮影を行う。校正用撮像画像入力部１２４は、カメラ１６０からの無線接続、有線接続、リムーバブル・メディアを介して各撮像画像の入力を受けて、複数の校正用撮像画像を準備する。

なお、少なくとも１つの校正用投影シーンにおいては、ユーザは、スクリーンに対して正対して撮影することが求められる。説明する実施形態では、１回目の撮像が、水準器などを用いてスクリーンに対して正対して行われるものとする。このスクリーン１０２に正対して撮像された校正用撮像画像を基準にして結果の統合が行われる。なお、２枚目以降の各撮像時には、正対から大きく外れない範囲で、スクリーンの撮像対象の２台分の投影像を撮像することが好ましい。

図４は、校正用シーン選択部１２０が順次選択する校正用投影シーンおよびその撮像方法を説明する図である。図１に示すような４台のプロジェクタ１５０ａ〜１５０ｄを用いる実施形態においては、図４に示す態様で校正用投影シーンを構成し、校正用撮像画像を準備することができる。

図４に示すように、説明する実施形態では、６回の撮像に対応した６個の校正用投影シーンが準備される。第１の校正用投影シーン（撮像１枚目）では、第１プロジェクタ１５０ａが図３（Ａ）に示す第１校正用画像２００を投影し、第２プロジェクタ１５０ｂが図３（Ｂ）に示す第２校正用画像２１０を投影する。このとき、第３および第４プロジェクタ１５０ｃ、１５０ｄは何も投影しない。この第１の校正用投影シーンにおいては、ユーザは、第１および第２プロジェクタ１５０ａ，１５０ｂの投影像２３１ａ，２３１ｂをカメラ１６０の視野に収めて撮影を行うことになる。

第２の校正用投影シーン（撮像２枚目）では、第１のシーンとは反対に、第１プロジェクタ１５０ａが図３（Ｂ）に示す第２校正用画像２１０を投影し、第２プロジェクタ１５０ｂが図３（Ａ）に示す第１校正用画像２００を投影する。このとき、第３および第４プロジェクタ１５０ｃ、１５０ｄは、第１のシーン同様に何も投影しない。第２の校正用投影シーンにおいては、ユーザは、第１のシーンと略同一の撮像範囲で撮像を行うことになる。

ここで、略同一の撮像範囲で撮像するとは、同じプロジェクタの投影範囲が、撮像画面内において概ね同じ構図、位置で写りこむように、カメラの視点、向きおよび画角を変えずに撮像することをいう。第２のシーンについていうと、第１および第２プロジェクタ１５０ａ，１５０ｂの投影像２３２ａ，２３２ｂが、撮像画像内において第１のシーンと概ね同じ構図、位置、大きさで映り込むように撮像が行われている。なお、ユーザが同じ構図での撮像を意図し、手持ちで撮像した場合に生じ得る程度のカメラの視点、向きおよび画角のズレは許容される。

第３の校正用投影シーン（撮像３枚目）以降は、投影像の配列において、隣接する２つのプロジェクタ１５０の組み合わせを変更しながら、組み合わせ毎に、第１校正用画像２００および第２校正用画像２１０を入れ替えて投影する２組のシーンを準備する。結果として、隣接する２つのプロジェクタ１５０の組み合わせの数に２組をかけた数だけの校正用投影シーンが準備される。

図４に示すように、４台のプロジェクタを用いる場合は、第１と第２プロジェクタ、第２と第３プロジェクタ、および第３と第４プロジェクタの３つの組み合わせについてそれぞれ２組、合計６つの校正用投影シーンが準備される。各校正用投影シーンの撮影では、図４に示すように、上記組み合わせにかかる隣接する２つのプロジェクタ１５０の投影範囲が収まるように、カメラ１８０の撮影位置を移動し、組み合わせ間で異なる撮影範囲にずらしながら行われる。

ここで、異なる撮像範囲で撮像するとは、カメラ１６０の撮像範囲内に投影範囲が入るプロジェクタの組み合わせが変化する程度にカメラの視点または向きの両方または一方を変えて撮像することをいう。なお、ユーザが同じ構図での撮像を意図し、手持ちで撮像する場合に生じ得る程度のカメラの視点、向きおよび画角のズレによっては、実質的な撮像範囲は変化しない。

なお、図４を参照して、投影像を水平方向に並べる４台のプロジェクタ１５０ａ〜１５０ｄに対応した６個の校正用投影シーンについて説明した。Ｎ（Ｎ≧３）台のプロジェクタ１５０に対し一般化すると、下記のように組み合わせの数（Ｎ−１）×２組の校正用投影シーンを構成すればよい。

すなわち、２ｎ−１（１≦ｎ≦Ｎ−１）番目の校正用投影シーンでは、投影像の配列において、隣接するプロジェクタのうちの一方（ｎ台目）が図３（Ａ）に示すような位置合わせパターンおよび格子パターンを含む校正用画像（１台目は位置合わせパターンを必ずしも含むことを要さない。）を投影する。そして、上記隣接するプロジェクタのうちの他方（ｎ＋１台目）は、図３（Ｂ）に示すような位置合わせパターンのみを含む校正用画像を投影するように構成される。これに対して、２ｎ（１≦ｎ≦Ｎ−１）番目の校正用投影シーンは、投影像の配列において、隣接するプロジェクタのうちの上記他方（ｎ＋１台目）が図３（Ａ）に示すような位置合わせパターンおよび格子パターンを含む校正用画像を投影するように構成される。

上述した態様では、カメラ１６０が一度の撮影で収める範囲が最大でも２台分の投影範囲となるので、台数Ｎが増大したとしても、スクリーン１０２に対する奥行きの制約が緩和される。なお、投影像を垂直方向に並べる場合についても同様である。

ここで、再び図２を参照する。格子点抽出統合部１３０は、上記校正用投影シーンに対応して校正用撮像画像入力部１２４で準備された各校正用撮像画像から、写り込んだ格子パターンの格子点を抽出する。ここでは、各校正用撮像画像と、上述した校正用投影シーンとが対応付けられて、校正用撮像画像入力部１２４に与えられているものとする。格子点抽出統合部１３０は、より詳細には、特徴点抽出部１３２と、格子点変換部１３４と、格子点合成部１３６とを含み構成される。

特徴点抽出部１３２は、準備された複数の校正用撮像画像各々から特徴点を抽出する。ここで抽出される特徴点は、投影像の歪みを検出するための格子パターンに対応する格子点と、校正用画像間の位置合わせのための位置合わせパターンに対応する位置合わせ点とを含み得る。特徴点抽出部１３２は、本実施形態における格子点抽出手段および位置合わせ点抽出手段を構成する。

以下、図５および図６を参照しながら、カメラ１６０のレンズ歪みやカメラ１６０の視線の方向の差に起因した、上記投影像の歪みを示す格子点への影響を検討する。図５は、異なる撮像範囲で撮像された画像間で生じるレンズ歪みの影響を説明する図である。カメラ１６０のレンズ歪みが充分に校正されていない場合は、各撮像画像は、レンズ歪みの影響を受ける。この像の歪みは、図５に示すように、撮像画像上での位置に依存する。

撮像１枚目および撮像２枚目の校正用撮像画像間では、撮像範囲が略同一であるため、例えば第２プロジェクタ１５０ｂの投影像に注目すると、その投影像２３１ｂおよび２３２ｂが受ける歪みは概ね同じである。一方、撮像範囲が異なる撮像２枚目と、撮像３枚目との間では、注目する第２プロジェクタの投影像２３２ｂと投影像２３３ｂとは、レンズの異なる位置で撮像されるので、レンズ歪みに応じた異なる歪みを受ける。

格子点は、各プロジェクタ１５０の投影像の歪みを補正するために利用されるので、複数のプロジェクタ１５０間で重なる投影領域の歪みの補正については、プロジェクタ１５０間で整合させることが望ましい。さもなければ、像のズレを生じさせるからである。

上記撮像２枚目の投影像２３２ｂから抽出された第２プロジェクタ１５０ｂの格子点は、略同一の撮像範囲で撮像された撮像１枚目の左隣の第１プロジェクタ１５０ａの投影像２３１ａの格子点とはよい親和性を示す。これは、重複する部分で同じ歪みを受けているためである。したがって、この撮像２枚目の投影像２３２ｂから抽出される格子点に基づいて幾何歪みを補正すれば、第２プロジェクタ１５０ｂの投影像は、撮像１枚目の投影像２３１ａから抽出される格子点に基づいて補正された第１プロジェクタ１５０ａの投影像とのずれが小さくなる。

これに対して、異なる撮像範囲で撮像される撮像４枚目の投影像２３４ｃから抽出される右隣の第３プロジェクタ１５０ｃの格子点との関係については、状況が異なる。この場合、上記撮像２枚目の投影像２３２ｂから抽出される第２プロジェクタ１５０ｂの格子点は、異なる撮像範囲で撮像された撮像４枚目における右隣の第３プロジェクタ１５０ｃの投影像２３４ｃの格子点とは、重複する部分で異なる歪みを受けるため、比較的に良好な親和性を示さなくなる。

図６は、異なる視点から撮像された画像間で生じるスクリーンの凹凸の影響を説明する図である。図６（Ａ）に示すように平面スクリーン上に像が投影されている場合は、図６（Ｃ）のように正対して観察した場合の見え方と、図６（Ｄ）のように斜めから観察した場合の見え方とは、平面変換の関係にある。しかしながら、図６（Ｂ）に示すように、凸凹のあるスクリーン上に像が投影されている場合は状況が異なる。この場合、図６（Ｄ）のように斜めから観察した場合は、平面上にある模様（図では灰色の円）と、該平面から外れた部分にある模様（図では凸部の白色の円）とは、異なる変形をする。このため、凸部の白色の円は、平面上にある模様（図では灰色の円）に合わせて平面変換で予測される位置からずれた位置に観察されることになる。

したがって、凸凹のあるスクリーンの場合において、上記撮像２枚目の第２プロジェクタ１５０ｂの投影像２３２ｂから抽出される格子点は、異なる視点から撮像された撮像４枚目の右隣の第３プロジェクタ１５０ｃの投影像２３４ｃの格子点とは、良好な親和性を示さなくなる。

つまり、撮像２枚目の第２プロジェクタ１５０ｂの格子点を採用した場合は、第１プロジェクタ１５０ａの投影像とのズレを小さくできるが、第３プロジェクタ１５０ｃの投影像とのズレが大きくなってしまう。反対に、撮像３枚目の第２プロジェクタ１５０ｂの格子点を採用した場合は、第３プロジェクタ１５０ｃの投影像とのズレを小さくできるが、第１プロジェクタ１５０ａの投影像とのズレが大きくなる。

前者のレンズ歪みに関しては、レンズ歪み補正を施せばよいが、校正に用いるカメラ１６０に対する制約が大きくなる。すなわち、事前にレンズ歪みパラメータが計測されたカメラを用いるか、またはカメラのレンズ歪みパラメータを現場で計測するという追加の手間を生じさせる。一方、レンズ歪みパラメータの計測作業を省こうとすると、レンズ歪みパラメータが未知であるため、精度高く校正作業が行えず、画質を低下させてしまう。後者の視差による歪みに関しては、平面度の低いスクリーンでは像がずれて画質を低下させてしまう。

そこで、本実施形態では、投影像の配列において両隣に、異なる撮像範囲で分割撮像されるプロジェクタがある注目のプロジェクタについては、異なる撮像範囲で撮像された複数の校正用撮像画像から抽出した複数組の格子点を用いて補正を行う構成を採用する。

格子点変換部１３４は、上記合成の前処理として、両隣にプロジェクタがあり、該両隣が分割撮像される注目のプロジェクタ１５０を処理対象とし、上記異なる撮像範囲での複数組の格子点（この段階では、各格子点は各々の校正用撮像画像の座標系上の点である。）を、共通した座標系上に変換する。座標の変換は、上述した位置合わせ点に基づいて行う。

例えば、図４に示す例では、両隣に異なる撮像範囲で分割撮像される第１と第３プロジェクタ１５０ａ、１５０ｃがある第２プロジェクタ１５０ｂの格子パターンを含む投影像は、２枚目と３枚目の校正用撮像画像に共通して写り込んでいる。この第２プロジェクタ１５０ｂの２枚目の撮像画像における格子点の組と、３枚目の撮像画像における格子点の組とが処理対象となる。

注目する第２プロジェクタ１５０ｂの２枚目の撮像画像上の格子点は、例えば１枚目と２枚目の撮像画像で共通して写り込んでいる第２プロジェクタ１５０ｂの位置合わせパターンに基づいて、１枚目の撮像画像の座標系上に変換される。３枚目の撮像画像上の格子点も同様に、１枚目と３枚目の撮像画像で共通して写り込んでいる第２プロジェクタの位置合わせパターンに基づいて、１枚目の撮像画像の座標系上に変換される。こうして、共通する座標系上の格子点の２組が得られる。両隣が分割撮像される第２と第４プロジェクタ１５０ｂ、１５０ｄがあり、４枚目と５枚目の撮像画像間で共通して格子パターンが写り込んでいる第３プロジェクタ１５０ｃについても同様である。

格子点合成部１３６は、格子点変換部１３４により共通座標系上に変換された上記異なる撮像範囲での撮像に基づく複数組の格子点を合成して、注目のプロジェクタ１５０に対し、合成された格子点の組を生成する。なお、格子点の合成処理の詳細は、後述する。

格子点抽出統合部１３０は、すべてのプロジェクタ１５０の格子点の組を、統合された単一の座標系上に変換する。すべてのプロジェクタ１５０の格子点の組は、上記合成されたプロジェクタの格子点の組（例えば２台目および３台目のもの）と、片方にのみプロジェクタが隣接している、合成されていないプロジェクタの格子点の組（例えば１台目および４台目のもの）とを含む。統合された単一の座標系（以下、統合座標系と参照する。）としては、説明する実施形態では、スクリーン１０２に正対して撮像された１枚目の校正用撮像画像の座標系である。

補正係数算出部１４０は、統合座標系上の各プロジェクタ１５０毎の格子点の組に基づいて、補正処理部１１４ａ〜１１４ｂに対し設定する各種補正係数を計算する。補正係数算出部１４０は、より詳細には、幾何学的な補正係数を計算する幾何補正係数計算部１４２と、投影像のブレンディングの補正係数を算出するブレンディング係数計算部１４４とを含む。

幾何補正係数計算部１４２は、統合座標系上の格子点に基づいて、上記複数のプロジェクタ１５０各々から投影する投影画像を与えるプロジェクタ毎の幾何補正係数を計算する。幾何補正係数は、位置合わせ、スケール合わせ、歪み補正などの幾何学的な補正を織り込んだ補正係数である。

ブレンディング係数計算部１４４は、複数のプロジェクタ１５０各々に対し、注目するプロジェクタの投影像と、この注目するプロジェクタに隣接するプロジェクタ各々の投影像との間の重複領域を検出する。ブレンディング係数計算部１４４は、重複領域の検出結果に基づき、これらの投影像の重ね合わせを調整するブレンディング係数を計算する。このプロジェクタ毎のブレンディング係数により、スクリーン１０２上における複数のプロジェクタ１５０の投影像が重なる部分において、画像が滑らかに合成される。

補正処理部１１４は、それぞれ、幾何補正係数計算部１４２およびブレンディング係数計算部１４４によって計算された各種補正係数に基づき、コンテンツ画像からプロジェクタ毎の投影画像を生成する。

なお、図２に示す実施形態では、各機能部１１２〜１４４が単一の画像処理装置１１０上で実現されるものとして説明したが、プロジェクション・システム１００の実施形態は、図２に示すものに限定されるものではない。他の実施形態では、台数の増加に伴う画像処理装置に集中する負荷を軽減するため、補正処理部１１４ａ〜１１４ｄ各々をプロジェクタ１５０ａ〜１５０ｄ各々上で実現してもよい。さらに他の実施形態では、各機能部１１２〜１４４を複数の画像処理装置上に分散実装してもよいし、すべての機能部１１２〜１４４をいずれかのプロジェクタ１５０上で実装してもよいし、画像処理装置１１０の機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。さらに、他の実施形態では、格子点抽出統合部１３０および補正係数算出部１４０の機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。

（全体処理フロー）
以下、図７を参照しながら、格子点抽出統合処理、各種補正係数の計算処理および補正係数に基づく補正処理の全体的な流れについて説明する。図７は、本実施形態による格子点抽出処理、各種補正係数の計算処理および補正係数に基づく補正処理の全体的な処理の流れを示すフローチャートである。図７に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。

ステップＳ１０１では、画像処理装置１１０は、まず、処理対象を識別する変数ｎを１に設定し、マルチ・プロジェクションに参加させるプロジェクタ１５０の台数Ｎを設定する。ステップＳ１０２では、ｎ台目のプロジェクタから第１校正用画像（格子パターンおよび位置合わせパターンを含む。）を出力させ、ｎ＋１台目のプロジェクタから第２校正用画像（位置合わせパターンのみを含む。）を出力させ、２ｎ−１番目の校正用投影シーンを投影する。ここで、ユーザは、例えば画像処理装置１１０が行うガイダンスに従い、カメラ１６０の画角に投影中のｎ台目およびｎ＋１台目の校正用画像が収まるように撮影を行う。ステップＳ１０３では、ユーザからの明示的な、あるいは所定時間の経過などによる暗黙的な、次へ処理を進める旨の指示を待ち受ける（ＮＯの間）。

ステップＳ１０３で、次への指示があった場合（ＹＥＳ）は、ステップＳ１０４へ処理が進められる。ステップＳ１０４では、ｎ台目のプロジェクタから第２校正用画像（位置合わせパターンのみ）を出力させ、ｎ＋１台目のプロジェクタから第１校正用画像（格子パターンおよび位置合わせパターンを含む。）を出力させ、２ｎ番目の校正用投影シーンを投影する。ステップＳ１０５では、ユーザからの明示的なまたは暗黙的な次へ処理を進める旨の指示を待ち受ける（ＮＯの間）。

ステップＳ１０５で、次への指示があった場合（ＹＥＳ）は、ステップＳ１０６へ処理が進められる。ステップＳ１０６では、処理対象の変数ｎが、組み合わせの数Ｎ−１に達したか否かを判定する。ステップＳ１０６で、まだＮ−１に達してないと判定された場合（ＮＯ）は、ステップＳ１０７へ処理を分岐させて、変数ｎを１だけ増分し、ステップＳ１０２へ処理を戻す。ステップＳ１０６で、組み合わせの数Ｎ−１に達したと判定された場合（ＹＥＳ）は、ステップＳ１０８へ処理が分岐される。

ステップＳ１０８では、画像処理装置１１０は、カメラ１６０からの複数の校正用撮像画像の入力をまとめて受けて、ステップＳ１０９へ処理を進める。なお、ここでは、一括で複数の校正用撮像画像の入力を受けるものとして説明するが、撮像毎に順次、校正用撮像画像の入力を受けてもよい。

ステップＳ１０９では、詳細を後述するが、画像処理装置１１０は、上記格子点抽出統合部１３０により、格子点抽出統合処理を実行する。ステップＳ１０９における格子点抽出統合処理では、各校正用撮影画像からの特徴点の抽出、複数組の格子点の共通座標系への変換、複数組の格子点の合成、すべての格子点の組の統合座標系への統合が行われる。ステップＳ１１０では、詳細を後述するが、画像処理装置１１０は、統合座標系上の各プロジェクタの格子点座標に基づき、各プロジェクタの幾何補正係数を計算する。ステップＳ１１１では、詳細を後述するが、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。

ステップＳ１１２では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ１１０およびステップＳ１１１で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。ステップＳ１１３では、画像処理装置１１０は、切替部１２２に対し、補正処理部１１４の出力に、投影画像出力部１１６の入力を切り替えさせて、投影モードに移行する。

画像処理装置１１０は、ステップＳ１１４で、コンテンツ画像を読み出し、ステップＳ１１５で、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。ステップＳ１１６では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させる。

ステップＳ１１７では、画像処理装置１１０は、ユーザからの投影モードの終了指示を受け付けたか否かを判定する。ステップＳ１１７で、投影モードの終了指示を受け付けていないと判定された場合（ＮＯ）は、ステップＳ１１４へ処理をループさせ、投影画像を更新する。動画であれば次のフレームに対する処理へ進められる。ステップＳ１１７で、投影モードの終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ１１８へ処理を分岐させ、本処理を終了する。

（格子点抽出統合処理）
以下、図８〜図１４を参照しながら、各プロジェクタの格子点抽出統合処理の詳細について説明する。図８および図９は、本実施形態による格子点抽出統合部１３０が実行する格子点抽出統合処理を示すフローチャートである。図８に示す処理は、図７に示したステップＳ１０９で呼び出されて、ステップＳ２００から開始される。

ステップＳ２０１では、特徴点抽出部１３２は、準備された複数の校正用撮像画像各々から、各々の撮像画像座標系におけるプロジェクタの投影像の円形状の重心座標を格子点座標（小数点精度）として抽出する。円形状の重心座標は、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって計算することができる。格子点座標は、図３（Ａ）に示す格子パターンでは、８×５の全格子点についての（ｘ，ｙ）座標の配列として計算される。以下、ｊ枚目の校正用撮像画像におけるｉ台目のプロジェクタの格子点座標をＬ_ｉ，ｊで表す。

ステップＳ２０２では、特徴点抽出部１３２は、複数の校正用撮像画像各々から、各々の撮像画像座標系におけるプロジェクタ各々の投影像の矩形マーカの重心座標を位置合わせ点座標として抽出する。矩形マーカの重心座標も同様に、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって計算することができる。

図４に示した態様について、より具体的に説明すると、６枚の校正用撮像画像から、各々の画像の座標系にて、２台目〜４台目のプロジェクタの合計８組の矩形マーカの重心座標が検出される。２台目のプロジェクタ１５０ｂのマーカは１枚目〜３枚目の校正用撮像画像で３回、３台目のマーカは３枚目〜５枚目の校正用撮像画像で３回、４台目のマーカは５枚目〜６枚目の校正用撮像画像で２回写り込んでいるので、それぞれ検出される。

Ｎ（Ｎ≧３）台のプロジェクタ１５０に対し一般化して説明すると、下記のようになる。すなわち、２ｎ−１番目の校正用撮像画像からは、隣接するプロジェクタのうちの一方（ｎ台目）の位置合わせ点および格子点を抽出（なお、１台目は位置合わせパターンを必ずしも抽出することを要さない。）し、上記隣接するプロジェクタのうちの他方（ｎ＋１台目）の位置合わせ点も抽出する。これに対して、２ｎ番目の校正用撮像画像からは、隣接するプロジェクタのうちの上記他方（ｎ＋１台目）の位置合わせ点および格子点を抽出する。

なお、１つの校正用撮像画像において、プロジェクタの円パターンと、プロジェクタの４つの位置合わせ矩形マーカとは、互いの位置関係を利用して識別することができる。図４に示すように校正用投影シーンが構成される場合は、２ｎ−１番目のシーンでは、左側にｎ台目の円パターンが存在し、２ｎ番目のシーンでは、右側にｎ＋１台目の円パターンが存在する。

また、どのシーンにおいても、円パターンの外側に矩形マーカが存在し、左右の隣接プロジェクタの８つの矩形マーカは、左側プロジェクタの左側２つの矩形マーカ、右側プロジェクタの左側２つの矩形マーカ、左側プロジェクタの右側２つの矩形マーカ、そして右側プロジェクタの右側２つの矩形マーカの順に存在する。このような、各校正用投影シーンにおいて定義される位置関係に基づいて、各々の円パターンおよび矩形マーカを簡便に識別することができる。なお、位置関係以外にも、例えば、投影する矩形マーカの色や形をプロジェクタ毎に変更することによって、撮像された矩形マーカの色や形を識別し、これら識別された特徴に基づいて判別を行ってもよい。

ステップＳ２０３では、格子点抽出統合部１３０は、処理対象を識別する変数ｎを１で初期化する。ステップＳ２０４では、格子点変換部１３４は、２ｎ枚目の校正用撮像画像上のｎ＋１台目のプロジェクタの格子点座標Ｌ_{ｎ＋１，２ｎ}を、射影変換により、２ｎ−１枚目の撮像画像の座標系上に変換し、格子点座標Ｌ_{ｎ＋１，２ｎ→２ｎ−１}を計算する。以下、ｊ枚目の校正用撮像画像から抽出され、ｋ枚目の撮像画像の座標系上に変換されたｉ台目のプロジェクタの格子点座標をＬ_{ｉ，ｊ→ｋ}で表す。ここでの射影変換は、２ｎ枚目の撮像画像の座標系から２ｎ−１枚目の撮像画像の座標系上へ変換するものである。

ここで、２ｎ枚目の撮像画像の座標系から２ｎ−１枚目の撮像画像の座標系上へ変換する射影変換をＨ_{２ｎ→２ｎ−１}で表す。射影変換Ｈ_{２ｎ→２ｎ−１}の係数は、２ｎ枚目および２ｎ−１枚目の校正用撮像画像で共通して写っているｎ＋１台目のプロジェクタの位置合わせ点の組に基づいて求めることができる。

ステップＳ２０５では、格子点変換部１３４は、２ｎ＋１枚目の撮像画像上のｎ＋１台目のプロジェクタの格子点座標Ｌ_{ｎ＋１，２ｎ＋１}を、射影変換Ｈ_{２ｎ＋１→２ｎ−１}により、２ｎ−１枚目の撮像画像の座標系上に変換し、格子点座標Ｌ_{ｎ＋１，２ｎ＋１→２ｎ−１}を計算する。ここでの射影変換Ｈ_{２ｎ＋１→２ｎ−１}の係数は、２ｎ＋１枚目および２ｎ−１枚目の校正用撮像画像で共通して写っているｎ＋１台目のプロジェクタの位置合わせ点の組に基づいて求めることができる。

図１０は、図４に示す態様において、各校正用投影シーンを撮影して準備された６枚の校正用撮像画像と、これらの撮像画像間各々で求められる射影変換について説明する図である。図１０に示すように、１枚目および２枚目の撮像画像の対について、撮像画像間で共通する第２プロジェクタ１５０ｂの投影像２３１ｂ，２３２ｂの矩形マーカ（実線の○で示されている。）の位置合わせ点座標の対が求められている。この場合、格子点変換部１３４は、この位置合わせ点座標の対に基づき、２枚目の撮像画像の座標系から１枚目の座標系へ変換する射影変換Ｈ_２→１の係数を計算する。同様に、１枚目および３枚目の校正用撮像画像の対について、第２プロジェクタ１５０ｂの投影像２３１ｂ，２３３ｂの矩形マーカ（実線の○で示されている。）の位置合わせ点座標の対に基づき、３枚目の撮像画像の座標系から１枚目の座標系へ変換する射影変換Ｈ_３→１の係数が計算される。

なお、３枚目および４枚目の撮像画像の対、および、３枚目および５枚目の撮像画像の対において、撮像画像間で共通する第３プロジェクタ１５０ｃの投影像２３３ｃ、２３４ｃ、２３５ｃについても、同様である。

射影変換の変換式は、下記式（１）で表され、下記式（１）の分母を払って整理すると、下記式（２）で表す一次多項式に展開することができる。

上記式（１）および（２）中、ｘ，ｙは、変換前の平面座標を表し、ｕ，ｖは、変換後の平面座標を表し、ａ〜ｈの８つの係数は、射影変換係数を表す。上記式において、未知パラメータである８つの射影変換係数を算出するためには、最低でも８個の連立方程式を要するが、上述した２枚の校正用撮像画像における４つの位置合わせの対応点があれば、８個の変換式を生成することができる。この４つの矩形マーカの対応点から生成された８つの連立方程式を解くことにより、射影変換係数ａ〜ｈを求めることができる。

ステップＳ２０６では、格子点合成部１３６は、注目するｎ＋１台目のプロジェクタの格子点を所定領域毎に区分けする。より具体的には、ｎ＋１台目のプロジェクタの格子点のうち、（１）投影像の配列において隣接する一方のｎ台目のプロジェクタの投影範囲と重複する領域に含まれるものと、（２）他方のｎ＋２台目のプロジェクタの投影範囲と重複する領域に含まれるものと、（３）両重複領域のいずれにも含まれないｎ＋１台目のプロジェクタ単独の投影領域に含まれるものとが判別される。

図１１は、格子点の区分けの仕方を説明する図である。注目するｎ＋１台目のプロジェクタの格子点が、左隣のｎ台目のプロジェクタとの重複領域（ｎ，ｎ＋１）に含まれるか否かは、以下のようにして判定することができる。まず、２ｎ−１枚目の撮像画像におけるｎ台目のプロジェクタの格子点座標から外挿して求めた外周で囲まれた領域（図１１において実線で示す。）を求める。そして、該領域内に、射影変換Ｈ_{２ｎ→２ｎ−１}で変換されたｎ＋１台目のプロジェクタ１５０の格子点座標Ｌ_{ｎ＋１，２ｎ→２ｎ−１}が含まれるか否かを判定する。

これに対し、右隣のｎ＋２台目のプロジェクタとの重複領域（ｎ＋１，ｎ＋２）に含まれるか否かは、以下のようにして判定することができる。２ｎ＋２枚目の撮像画像のｎ＋２台目のプロジェクタの格子点座標を射影変換Ｈ_{２ｎ＋２→２ｎ＋１}により変換した座標から外挿して求められる外周で囲まれた領域（図１１において点線で示す。）を求める。そして、該領域内に、２ｎ＋１枚目の撮像画像のｎ＋１台目のプロジェクタの格子点座標Ｌ_{ｎ＋１，２ｎ＋１}が含まれるか否かを判定する。外周で囲まれた領域の求め方は、図１６を参照して後述する。

ステップＳ２０７〜ステップＳ２１２のループでは、注目するｎ＋１台目のプロジェクタの各格子点について、ステップＳ２０７でした区分けに基づいて、合成された格子点の座標値を求める。図１２は、異なる撮像範囲での校正用撮像画像に基づく複数組の格子点を合成する処理を説明する図である。ステップＳ２０８では、格子点合成部１２６は、上記区分けに基づいて処理を分岐させる。

ステップＳ２０８で、処理対象の格子点が（１）ｎ台目のプロジェクタとの重複領域（ｎ，ｎ＋１）に含まれると判定された場合は、ステップＳ２０９へ処理が分岐される。ステップＳ２０９では、格子点合成部１３６は、上記ｎ台目の投影範囲に重なるｎ＋１台目の格子点に対し、上記ステップＳ２０４で算出された格子点座標Ｌ_{ｎ＋１，２ｎ→２ｎ−１}を格子点座標Ｌ_{ｎ＋１，２ｎ−１}として採用する。これは、２ｎ−１枚目の撮像画像に基づく左隣のｎ台目のプロジェクタの格子点に対し、略同一の撮像範囲である２ｎ枚目の撮像画像に基づく格子点座標Ｌ_{ｎ＋１，２ｎ→２ｎ−１}の方が、異なる撮像範囲である２ｎ＋１枚目の撮像画像に基づく格子点座標Ｌ_{ｎ＋１，２ｎ＋１→２ｎ−１}よりもズレが少ないためである。

ステップＳ２０８で、処理対象の格子点が（２）ｎ＋２台目のプロジェクタとの重複領域（ｎ＋１，ｎ＋２）に含まれると判定された場合は、ステップＳ２１０へ処理が分岐される。ステップＳ２１０では、格子点合成部１３６は、上記ｎ＋２台目の投影範囲に重なる格子点に対し、上記ステップＳ２０５で算出された格子点座標Ｌ_{ｎ＋１，２ｎ＋１→２ｎ−１}を格子点Ｌ_{ｎ＋１，２ｎ−１}として採用する。これは、２ｎ＋２枚目の撮像画像に基づく右側のｎ＋２台目のプロジェクタの格子点に対し、略同一の撮像範囲である２ｎ＋１枚目の撮像画像に基づく格子点座標Ｌ_{ｎ＋１，２ｎ＋１→２ｎ−１}の方が、異なる撮像範囲である２ｎ枚目の撮像画像に基づく格子点座標Ｌ_{ｎ＋１，２ｎ→２ｎ−１}よりもズレが少ないためである。

ステップＳ２０８で、処理対象の格子点が（３）上記ｎ台目およびｎ＋２台目のプロジェクタの両投影範囲との重複領域（ｎ，ｎ＋１），（ｎ＋１，ｎ＋２）のいずれにも含まれないと判定された場合は、ステップＳ２１１へ処理が進められる。ステップＳ２１１では、格子点合成部１３６は、両投影範囲いずれにも重ならない格子点に対し、上記ステップＳ２０４で算出された組の対応する格子点座標Ｌ_{ｎ＋１，２ｎ→２ｎ−１}と、上記ステップＳ２０５で算出された組の対応する格子点座標Ｌ_{ｎ＋１，２ｎ＋１→２ｎ−１}とをブレンディングし、ｎ＋１台目のプロジェクタの格子点Ｌ_{ｎ＋１，２ｎ−１}を計算する。

図１３は、ｎ＋１台目のプロジェクタの格子点について、異なる撮像範囲での校正用撮像画像に基づく複数組の格子点座標を用いたブレンディング方法を説明する図である。図１３に示すように、ｎ＋１台目のプロジェクタ単独の投影領域に含まれる格子点については、重複領域（ｎ，ｎ＋１）で採用される組の対応する格子点座標Ｌ_{ｎ＋１，２ｎ→２ｎ−１}と、重複領域（ｎ＋１，ｎ＋２）で採用される組の対応する格子点座標Ｌ_{ｎ＋１，２ｎ＋１→２ｎ−１}とをブレンディングした値を用いることができる。ブレンディングは、歪みの無い状態での格子点の水平位置に応じた重みづけで線形に行うことができる。このように上記重複領域の格子点の間で滑らかに変化するようにブレンディング処理を行うことにより、歪み方の急激な変化が抑制される。また、わずかな歪みが残ったとしても、単独投影領域であるので、複数のプロジェクタの像が相対的にずれることによる画質の劣化も起こらない。

なお、説明する実施形態では、歪みの無い状態での格子点の水平位置に応じて線形にブレンディングするものとして説明したが、ブレンディングの関数形は特に限定されるものではない。左側の重複領域の格子点座標Ｌ_{ｎ＋１，２ｎ→２ｎ−１}と、右側の重複領域の格子点座標Ｌ_{ｎ＋１，２ｎ＋１→２ｎ−１}とを矛盾なく滑らかにつなげられればよい。

ステップＳ２０７〜ステップＳ２１２のループでは、ｎ＋１台目のプロジェクタのすべての格子点について処理完了すると、ポイントＡを介して、図９に示すステップＳ２１３へと処理が進められる。ステップＳ２１３では、格子点抽出統合部１３０は、上記共通座標系２ｎ−１が１であるか否かを判定する。ステップＳ２１３で、上記共通座標系２ｎ−１が１であると判定された場合（２ｎ−１＞１？ＮＯ）は、ｎ＋１台目のプロジェクタの格子点Ｌ_{ｎ＋１，２ｎ−１}がすでに基準となる１枚目の画像座標系上であるので、そのまま、ステップＳ２１５へ処理を進める。

一方、上記共通座標系２ｎ−１が１ではないと判定された場合（２ｎ−１＞１？ＹＥＳ）は、ステップＳ２１４へ処理が分岐される。ステップＳ２１４では、格子点抽出統合部１３０は、ｎ＋１台目の格子点座標Ｌ_{ｎ＋１，２ｎ−１}を、１以上の射影変換を適用して、１枚目の撮像画像の座標系上の格子点Ｌ_{ｎ＋１，１}を計算し、ステップＳ２１５へ処理を進める。図１０に示すように、例えば３枚目の撮像画像の座標系上で合成された３台目の格子点座標Ｌ_３，３は、射影変換Ｈ_３→１により、１枚目の格子点座標Ｌ_３，１に変換される。

ステップＳ２１５では、格子点抽出統合部１３０は、処理対象を特定する変数ｎが、両側にプロジェクタがある最後のプロジェクタを示すＮ−２に達しているか否かに応じて、処理を分岐させる。ステップＳ２１５で、ｎがＮ−２に達していないと判定された場合（ｎ＝Ｎ−２？ＮＯ）は、ステップＳ２１６で、変数ｎを１だけ増分させて、ポイントＢを介して、ステップ２０４へ処理をループさせる。この場合、両側にプロジェクタがある次の注目するプロジェクタについて処理が繰り返される。

一方、ステップＳ２１５で、ｎがＮ−２に達したと判定された場合（ｎ＝Ｎ−２？ＹＥＳ）は、ステップＳ２１７へ処理を分岐させる。ステップＳ２０７およびステップＳ２０８では、最後のプロジェクタの格子点を求めるための処理を行う。ステップＳ２０７では、格子点抽出統合部１３０は、２ｎ＋２枚目の校正用撮像画像上のｎ＋２台目のプロジェクタの格子点座標Ｌ_{ｎ＋２，２ｎ＋２}を、射影変換Ｈ_{２ｎ＋２→２ｎ＋１}により、２ｎ＋１枚目の撮像画像の座標系上に変換し、格子点座標Ｌ_{ｎ＋２，２ｎ＋１}を計算する。最後のＮ台目のプロジェクタの格子点は、片側（左側）にしか重複領域はないので、合成されない。ステップＳ２１８では、格子点抽出統合部１３０は、ｎ＋２台目の格子点座標Ｌ_{ｎ＋２，２ｎ＋１}を、１以上の射影変換を適用して、１枚目の撮像画像の座標系上の格子点Ｌ_{ｎ＋２，１}を計算し、ステップＳ２１５で本処理を終了させる。図１０に示すように、Ｎ＝４，ｎ＝２の場合、例えば５枚目の撮像画像の座標系上に変換された４台目のプロジェクタの格子点座標Ｌ_４，５は、射影変換Ｈ_５→３および射影変換Ｈ_３→１により、１枚目の格子点座標Ｌ_４，１に変換される。

以上のようにして、すべてのプロジェクタ１５０ａ〜１５０ｄの格子点座標が、スクリーンに正対して撮影された１枚目の校正用撮像画像の座標系に変換、統合され、格子点位置座標Ｌ_１，１〜Ｌ_４，１が算出される。なお、説明する実施形態においては、異なる撮像範囲で撮像された複数の校正用撮像画像間で共通する座標系に変換した後、格子点を合成し、単一の統合座標系へ変換するものとして説明した。しかしながら、変換の順序は、特に限定されるものではなく、他の実施形態では、単一の統合座標系へ変換した後に格子点の合成が行われてもよい。

図１４は、統合座標系３００上に統合された各プロジェクタの格子点座標の集合を模式的に示す図である。図１４に示すように、各プロジェクタの格子点座標の集合３０２ａ，３０２ｂ，３０２ｃ，３０２ｄは、それぞれ、１枚目の校正用撮像画像の座標系３００上に変換され、統合されている。なお、図１４には、撮像された複数のプロジェクタ１５０ａ〜１５０ｄの円形状が重ね合わせて表現されているが、画像自体は重ね合わせる必要はない。

（幾何補正係数の計算）
以下、図１５〜図１８および図２１（Ａ）を参照しながら、各プロジェクタの幾何補正係数の計算処理の詳細について説明する。幾何補正係数計算部１４２は、配列の両端のプロジェクタ１５０ａ，１５０ｄの単独の格子点の組および、中間のプロジェクタ１５０ｂ，１５０ｃの合成された格子点の組に基づいて、各プロジェクタに対する幾何補正係数を計算する。

図１５は、本実施形態による幾何補正係数計算部１４２が実行する幾何補正係数の計算処理を示すフローチャートである。図１５に示す処理は、図７に示したステップＳ１１０で呼び出されて、ステップＳ３００から開始される。

ステップＳ３０１では、幾何補正係数計算部１４２は、プロジェクタ１５０各々について、統合座標系上の格子点座標各々を線形に外挿し、投影可能領域（以下、投影範囲と参照する。）の外周座標を計算する。

図１６は、統合された格子点座標各々を用いた線形外挿による投影範囲の外周座標の計算方法を示す図である。図１６（Ａ）は、プロジェクタ・メモリ上の左上隅の４つの格子点を示し、図１６（Ｂ）は、統合座標系上の対応する４つの格子点を示す。図１６（Ａ）に示すように、プロジェクタ・メモリ上の外周座標（４隅および４辺上の格子点）は、外周部に位置する４つの格子点（例えばＰ００_Ｐ〜Ｐ１１_Ｐ）の四辺形パッチを外挿する位置（格子点間距離の例えば１．５倍の距離の位置）に定められる。

統合座標系における各プロジェクタの投影範囲に対応する外周画素の座標（４隅および４辺上の格子点）は、図１６（Ｂ）に示すように、外周部に位置する各４つの格子点座標から線形に外挿することによって計算することができる。同様に、外周座標以外のプロジェクタ・メモリ上の任意の座標点に対応する統合座標系上の点も、近傍の４点の格子点座標を線形に内挿または外挿して求めることができる。

ここで、プロジェクタ・メモリ上の任意の座標点Ｑ_Ｐが、プロジェクタ・メモリ上での座標位置が近傍にある４つの格子点Ｐ００_Ｐ，Ｐ１０_Ｐ，Ｐ０１_Ｐ，Ｐ１１_Ｐにおいて、ｘ軸方向にｔ:１−ｔ（０＜ｔ＜１）で、ｙ軸方向にｓ：１−ｓ（０＜ｓ＜１）で内分する点だとする。すると、座標点Ｑ_Ｐに対応する統合座標系上の点Ｑ_Ｃは、対応する４つの格子点Ｐ００_Ｃ，Ｐ１０_Ｃ，Ｐ０１_Ｃ，Ｐ１１_Ｃの座標ベクトルから、下記式（３）を用いて計算することができる。外挿する点の場合は、上記ｔおよびｓに対し、−１．５＜ｔ＜０、−１．５＜ｓ＜０の範囲を設定して下記式（３）を用いて計算することができる。

画像全体では非線形な幾何歪みが生じ得るが、ここでは、その一部である２×２の格子点で構成される四辺形パッチは、サイズが充分に小さく、その範囲および外周に向かって所定量外挿した範囲では、線形な幾何歪みだと見なせるためである。なお、他の実施形態では、隣接する４つの格子点のペアを用いて求められる射影変換により、プロジェクタ・メモリ上の点Ｑ_Ｐを統合座標系上での対応点Ｑ_Ｃに対応付けてもよい。

上述した線形的な外挿をプロジェクタ毎に行うことにより、４つのプロジェクタ１５０ａ〜１５０ｄの投影範囲（つまり全面白画像を投影して映る範囲である。）が統合座標系上で検出される。図１７（Ａ）には、統合座標系３００上において検出された４つのプロジェクタの投影範囲３０４ａ〜３０４ｄが表されている。第１プロジェクタ１５０ａの投影範囲３０４ａは、実線の白線で示され、第２プロジェクタ１５０ｂの投影範囲３０４ｂは、破線の白線で示される。第３プロジェクタ１５０ｃの投影範囲３０４ｃは、２点鎖線の白線で示され、第４プロジェクタ１５０ｄの投影範囲３０４ｄは、１点鎖線の白線で示されている。

再び図１５を参照すると、ステップＳ３０２では、幾何補正係数計算部１４２は、統合座標系において、すべてのプロジェクタの投影範囲の論理和（ＯＲ）を求めて、コンテンツ画像をマップするための補正後投影目標領域を上記論理和の領域内に設定する。補正後投影目標領域は、コンテンツ画像を、そのアスペクト比を保って、すべてのプロジェクタの投影範囲３０４ａ〜３０４ｄの論理和となる領域内に最大の大きさでマップするように設定される。

統合座標系上で各投影範囲の４隅の点が既知であり、これらを結ぶ４つの辺（上辺、下辺、左辺、右辺）も、それぞれ格子点幅で線形区分された形で求まり、それらの存在範囲も把握される。したがって、統合座標系上での４つのプロジェクタの投影範囲３０４ａ〜３０４ｄの上辺３０６Ｔ、および下辺３０６Ｂで挟まれた範囲、同じく左辺３０６Ｌ、右辺３０６Ｒで挟まれた範囲に、４つの論理和の領域内に取り得る矩形範囲が定まる。

補正後投影目標領域３１０は、図１７（Ａ）の点線で示した矩形領域のように、４辺３０６Ｔ，３０６Ｂ，３０６Ｌ，３０６Ｒの矩形範囲内にコンテンツ画像のアスペクト比（例えばＭ：Ｎ）を保って最大サイズで割り付けられた領域となる。図１７（Ａ）の例示では、若干縦方向に余りがあるので、上下に余白が設けられて、補正後投影目標領域がセンタリングされている。そして、図１７（Ｂ）に示すように、この補正後投影目標領域３１０に、投影すべきコンテンツ画像３２０が貼り付けられることになる。

再び図１５を参照すると、ステップＳ３０３〜ステップＳ３０７のループでは、プロジェクタ毎に、ステップＳ３０４〜ステップＳ３０６で示す各処理が実行され、複数のプロジェクタ各々の幾何補正係数が求められる。ステップＳ３０４では、幾何補正係数計算部１４２は、統合座標系上の格子点座標を、元のコンテンツ画像の座標系に変換する。以下、統合座標系上で補正後投影目標領域３１０に貼り付けられるコンテンツ画像を「投影コンテンツ画像」と参照し、その元となるオリジナルのコンテンツ画像を「等倍コンテンツ画像」と参照する。

ステップＳ３０５では、幾何補正係数計算部１４２は、プロジェクタ・メモリ上の格子点座標を、統合座標系を経由して、等倍コンテンツ画像の座標系の画素位置に対応付ける。ステップＳ３０６では、幾何補正係数計算部１４２は、プロジェクタ・メモリ上の整数画素座標を、共通座標系を経由して、等倍コンテンツ画像の座標系の画素位置へ線形補間により対応付ける。

ステップＳ３０３〜ステップＳ３０７で示す各処理で計算される幾何補正係数は、図１８に示すように、プロジェクタ・メモリ３３０上の各座標を、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置に対応付けるものである。

図１８に示すプロジェクタ・メモリ３３０ａの１つの格子点Ｐ４２_Ｐを代表して説明すると、プロジェクタ・メモリ３３０上の格子点Ｐ４２_Ｐに対しては、統合座標系３００上の対応点Ｐ４２_Ｃ（Ｘ_Ｐ４２Ｃ，Ｙ_Ｐ４２Ｃ）が抽出されている。そして、補正後投影目標領域３１０にコンテンツ画像がマップされるため、図１８に示すように、統合座標系３００上の座標位置Ｐ４２_Ｃに対しては、さらに、等倍コンテンツ画像上での対応する画素位置Ｐ４２_ｍ（Ｘ_Ｐ４２ｍ，Ｙ_Ｐ４２ｍ）が定まる。

等倍コンテンツ画像上での対応する画素位置Ｐ４２_ｍ（Ｘ_Ｐ４２ｍ，Ｙ_Ｐ４２ｍ）は、統合座標系３００上の対応点Ｐ４２_Ｃの座標（Ｘ_Ｐ４２Ｃ，Ｙ_Ｐ４２Ｃ）から、以下式（４）で計算することができる。下記式（４）中、座標（Ｘ_０，Ｙ_０）は、統合座標系上での投影コンテンツ画像の左上の原点の座標であり、Ｒは、コンテンツ画像の変倍率を表す。なお、ここでは、説明の便宜上、等倍コンテンツ画像を、所定の変倍率Ｒで、そのまま補正後投影目標領域３１０にマップするものとしているが、コンテンツの統合座標系上へのマップの仕方は特に限定されるものではない。

プロジェクタ・メモリ上の格子点Ｐ４２_Ｐ以外のすべての格子点Ｐｉｊ_Ｐについても同様に、等倍コンテンツ画像上での対応する画素位置が計算される。プロジェクタ・メモリ上の格子点以外の任意の座標については、図１６を参照して説明した同様の方法により、近傍の２×２格子点のコンテンツ画像上での対応する画素位置を線形に補間（内挿または周辺部では外挿）することによって、等倍コンテンツ画像上での対応する画素位置を計算することができる。これにより、プロジェクタ・メモリ３３０ａ上の所定領域３３２ａの画素に対し、コンテンツ画像３２０における第１プロジェクタ１５０ａが担当する領域３２２ａの画素位置が対応付けられる。

図２１（Ａ）は、ステップＳ３０３〜ステップＳ３０７の処理で計算される１つのプロジェクタの幾何補正係数のデータ構造を例示する。図２１（Ａ）に示すように、こうして求めたプロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置が、幾何補正係数となる。

ステップＳ３０３〜ステップＳ３０７のループがプロジェクタ台数分だけ繰り返され、すべてのプロジェクタについて、プロジェクタ・メモリ上の整数画素座標と等倍コンテンツ画像の座標系との対応付けが完了すると、ステップＳ３０８に進められる。ステップＳ３０８では、本処理を終了し、図７に示した呼び出し元へ処理が戻される。これにより、すべてのプロジェクタ１５０ａ〜１５０ｄそれぞれのための幾何補正係数が準備される。

（ブレンディング係数の計算）
以下、図１９、図２０および図２１（Ｂ）を参照しながら、各プロジェクタのブレンディング係数の計算処理の詳細について説明する。図１９は、本実施形態によるブレンディング係数計算部１４４が実行するブレンディング係数の計算処理を示すフローチャートである。図１９に示す処理は、図７に示したステップＳ１１１で呼び出されて、ステップＳ４００から開始される。ステップＳ４０１〜ステップＳ４１３のループでは、注目するプロジェクタ毎に、ステップＳ４０２〜ステップＳ４１２で示す各処理が実行され、複数のプロジェクタ１５０ａ〜１５０ｄ各々のブレンディング係数が求められる。

ステップＳ４０２では、ブレンディング係数計算部１４４は、統合座標系３００において、注目プロジェクタと、該注目プロジェクタの隣接プロジェクタとの投影範囲の外周座標に基づき、これらの重複領域を検出する。図２０は、プロジェクタ・メモリ３３０上の各座標に対するブレンディング係数の対応付けを説明する図である。図２０に示すように、統合座標系３００での補正後投影目標領域３１０の最上辺においては、左原点（○）から右方向へ探索することにより、第１プロジェクタ１５０ａと第２プロジェクタ１５０ｂとの重複領域の開始点（●）および終了点（◎）が検出される。他の水平ラインについても同様に重複領域の開始点および終了点が検出される。

再び図１９を参照すると、ステップＳ４０２では、ブレンディング係数計算部１４４は、まず、共通座標系の各座標に対するブレンディング係数を０で初期化する。ステップＳ４０４〜ステップＳ４１１のループでは、統合座標系の水平ライン（補正後投影目標領域に対応する部分のみでよい。）毎に、ステップＳ４０５〜ステップＳ４１０で示す各処理が実行される。ステップＳ４０５〜ステップＳ４１０で示す各処理により、統合座標系上の各座標位置に対し、ブレンディング係数の中間結果が割り当てられる。

ステップＳ４０５では、注目する水平ラインにおいて、上述した投影範囲の外周座標と、検出された重複領域とに基づき、当該プロジェクタの投影範囲の開始点および終了点、並びに隣接プロジェクタとの重複領域の開始点および終了点を設定する。

ステップＳ４０６〜ステップＳ４１０のループでは、統合座標系の水平ラインの各画素毎（投影範囲内のみ）に、ステップＳ４０７〜ステップＳ４０９で示す処理が実行される。ステップＳ４０７〜ステップＳ４０９で示す処理により、水平ラインにおける統合座標系上の各画素毎にブレンディング係数が決定される。

ステップＳ４０７では、ブレンディング係数計算部１４４は、注目する画素が重複領域に該当するか否かに応じて処理を分岐させる。ステップＳ４０７で、重複領域に該当しないと判定された場合（ＮＯ）は、ステップＳ４０８へ処理が進められる。この場合は、重複しない単独の投影範囲に対応する画素であるため、ステップＳ４０８では、ブレンディング係数計算部１４４は、ブレンディング係数を最大値１に決定する。一方、ステップＳ４０７で、重複領域に該当すると判定された場合（ＹＥＳ）は、ステップＳ４０９へ処理が進められる。この場合は、隣接プロジェクタと重複する領域に対応する画素であるため、ステップＳ４０９では、ブレンディング係数計算部１４４は、ブレンディング係数を所定の関係式に従って計算する。プロジェクタの入出力特性の逆補正を一旦施して線形になるように補正した上で、両側のプロジェクタからの光量が合計して１となるように重み付けを行う。

具体的には、図２０の下段のグラフで第１プロジェクタについて示すように、原点（○）から、重複領域の開始点(●)までの範囲の画素に対しては、上記ステップＳ４０８でブレンディング係数が最大１に決定される。一方、重複領域の開始点(●)から終了点（◎）までの範囲の画素に対しては、上記ステップＳ４０９で、開始点（●)からの水平距離に応じて、実際の明るさが線形に１．０から０へ徐々に落ちていくように、プロジェクタの入出力特性の逆補正をかけたブレンディング係数を算出する。

ステップＳ４０４〜ステップＳ４１１のループにより、統合座標系における整数画素各々に対しブレンディング係数の中間結果が決定される。投影範囲以外の領域については、ステップＳ３０３の初期化により０が設定されている。統合座標系のすべての水平ラインについての処理が完了すると、ステップＳ４１２へ処理が進められる。補正後投影目標領域以外の水平ラインについては、ステップＳ４０３の初期化により各画素に０が設定されている。

ステップＳ４１２では、ブレンディング係数計算部１４４は、プロジェクタ・メモリ上の整数画素座標各々に対し、図２１（Ａ）に示すデータ構造によって対応付けられる統合座標系の座標（小数点）の最近傍の整数画素に割り当てられたブレンディング係数を対応付ける。図２１（Ｂ）は、ステップＳ４０２〜ステップＳ４１２の処理で計算された１つのプロジェクタのブレンディング係数のデータ構造を例示する。図２１（Ｂ）に示すように、プロジェクタ・メモリの全画素に対するブレンディング係数が求められる。

ステップＳ４０１〜ステップＳ４１３のループで、すべてプロジェクタについての処理が完了すると、ステップＳ４１４で本処理を終了し、図８に示した呼び出し元へ処理が戻される。上述した処理により、複数のプロジェクタ１５０ａ〜１５０ｄの各々に対して、プロジェクタ・メモリの全画素分のブレンディング係数が得られることになる。

（補正処理）
以下、図２１および図２２を参照しながら、上記補正係数に基づく補正処理の詳細について説明する。図２２は、上記補正係数に基づく補正処理を説明する図である。上述した幾何補正係数計算部１４２で算出された各プロジェクタの幾何補正係数と、上述したブレンディング係数計算部１４４で算出された各プロジェクタのブレンディング係数とが、図７に示したステップＳ１１２で、各補正処理部１１４に設定される。

補正処理部１１４は、上述した幾何補正係数計算部１４２での処理により、図１７（Ａ）に示す対応付けデータを読み出す。補正処理部１１４は、プロジェクタ・メモリの画素毎の参照すべき等倍コンテンツ画像上の画素位置（小数点数）に基づき、投影すべき等倍コンテンツ画像から、バイリニア、バイキュービックなどの画素補間方法によって中間画像を生成する。補正処理部１１４は、さらに、生成された中間画像のＲ，Ｇ，Ｂ各色の画素値に対し、図１７（Ｂ）の対応付けデータにより対応付けられるブレンディング係数を乗じ、最終的な投影画像を生成する。

図２２には、４台のプロジェクタ１５０ａ〜１５０ｄについて、補正処理部１１４ａ〜１１４ｄによりコンテンツ画像から最終的に得られた投影画像３５０ａ〜３５０ｄが示されている。図２２に示すように、投影モード中、これらの投影画像３５０ａ〜３５０ｄが、４台のプロジェクタ１５０ａ〜１５０ｄから投影される。投影画像３５０は、対応するプロジェクタ１５０が担当すべきコンテンツ画像の部分に対し各種補正がかけられたものである。このため、投影画像３５０ａ〜３５０ｄの投影像は、投影面上で好適に重なり合わせられて、単一の投影像３５２に合成される。

（校正用シーン選択部の変形例）
以下、図２３〜図２５を参照しながら、変形例の実施形態について説明する。上述までの説明では、水平方向（垂直方向も同様である。）に投影像を一列に並べてマルチ・プロジェクションを行う場合について説明した。図２３〜図２５は、２次元格子状に投影像を並べたマルチ・プロジェクションに一般化して説明するものである。なお、図２３〜図２５を参照して説明する変形例では、図２３（Ａ）に示すように、横３列×縦２列の６つのプロジェクタを用いて、横２列×縦２列の組み合わせ毎に、水平方向にずらした撮像範囲４１０，４２０に収めて校正用の撮像を行う場合を一例に説明する。

この変形例の実施形態においても、校正用シーン選択部１２０は、校正用画像格納部１１８から各校正用画像を読み出し、複数のプロジェクタ１５０各々に対し、適切な校正用画像を選択して出力する。この変形例の実施形態においては、校正用画像は、図２３（Ｂ）に示す格子パターンのみを含む第１校正用画像Ｃｉと、位置合わせパターンのみを含む第２校正用画像Ａｉとの２種類がある。第３の校正用画像も用いられるが、第１および第２校正用画像Ｃｉ，Ａｉを合成して得られる校正用画像Ｃｉ＋Ａｉとして提供される。

校正用シーン選択部１２０は、複数のプロジェクタｉ（ｉ＝１，…，Ｎ：説明する例ではＮ＝６である。）の投影像の位置関係を把握しており、全体として過不足なく各プロジェクタ１５０の校正結果を得るため、下記（Ａ）〜（Ｅ）の条件が満たされるように、複数の校正用投影シーンを準備する。

第１の条件（Ａ）は、投影像の配列において、隣接するプロジェクタ１５０が同一シーンで同時に格子パターンを投影しないという条件である。つまり、あるシーンにおいて、あるプロジェクタｉから格子パターンＣｉが投影される場合は、該プロジェクタｉに隣接する８個のプロジェクタの格子パターンは投影されない。第１の条件（Ａ）を満たすように複数の校正用投影シーンを準備することにより、隣接するプロジェクタの格子パターン同士の重なり合いが防止される。

第２の条件（Ｂ）は、複数の校正用投影シーン全体として、マルチ・プロジェクションに参加するすべてのプロジェクタの格子パターンＣｉ（ｉ＝１，…，Ｎ：説明する例ではＮ＝６である。）が少なくとも１つ含まれるという条件である。第２の条件（Ｂ）を満たすように複数の校正用投影シーンを準備することにより、すべてのプロジェクタｉの投影像に対する歪み補正が行われることが保証される。

第３の条件（Ｃ）は、ひとつの校正用投影シーンが、他の校正用投影シーンの少なくとも１つとの間で共通するプロジェクタｉから投影される位置合わせパターンＡｉを含むという条件である。第４の条件（Ｄ）は、第３の条件（Ｃ）を前提として、複数の校正用投影シーン全体として、シーン間で共通する位置合わせパターンＡｉに基づきシーンを接続した場合に、校正用投影シーンをノードとし、上記接続をリンクとして、木構造が形成されるという条件である。

校正用投影シーンをノードとし、上記接続をリンクとして木構造が形成されるということは、ルートとなる１つのシーンを撮像した校正用撮像画像の座標系に統合できることを意味する。したがって、第３の条件（Ｃ）および第４の条件（Ｄ）を満たすように複数の校正用投影シーンを準備することにより、すべてのシーンで撮像した校正用撮像画像の座標を、単一の統合座標系に統合できることが保証される。

第５の条件（Ｅ）は、複数の校正用投影シーンが、投影像の配列において両隣に、異なる撮像範囲で分割撮像がなされるプロジェクタが存在するプロジェクタを注目プロジェクタとし、注目プロジェクタの投影範囲が共通して含まれる上記異なる撮像範囲での複数回の撮像に対応して、それぞれで該注目のプロジェクタが格子パターンを投影している複数のシーンを含むという条件である。第５の条件（Ｅ）を満たすことにより、投影像の配列において両隣に、異なる撮像範囲で分割撮像されるプロジェクタが存在するプロジェクタに対し、それぞれ両隣のプロジェクタの格子点とのずれが小さい格子点の複数組が準備されることが保証される。

図２４および図２５は、上記（Ａ）〜（Ｅ）の条件が満たされるように構成された校正用投影シーン、その撮影方法およびその統合方法を説明する図である。図２４（Ａ）および図２５（Ａ）は、図２３に示す異なる撮像範囲４１０，４２０毎の４回ずつの校正用投影シーンに対応している。図２４（Ｂ）および図２５（Ｂ）は、図２４（Ａ）および図２５（Ａ）に示す校正用投影シーンによって構成される木構造を説明する図である。

図２４では、図２３に示す撮像範囲４１０での４回の撮像に対応した４個の校正用投影シーンが準備される。この４つの校正用投影シーンでは、第２プロジェクタの位置合わせパターンＡ２と、第４プロジェクタの位置合わせパターンＡ４と、第５プロジェクタの位置合わせパターンＡ５とにより、各撮像画像４５１〜４５４がリンクされ、ひとつの木構造Ｔ１が形成されている。

図２５では、図２３に示す撮像範囲４２０での４回の撮像に対応した４個の校正用投影シーンが準備される。この４つの校正用投影シーンは、第３プロジェクタの位置合わせパターンＡ３と、第５プロジェクタの位置合わせパターンＡ５と、第６プロジェクタの位置合わせパターンＡ６とにより各撮像画像４５５〜４５８がリンクされ、部分的な木構造Ｔ２が形成されている。

図２４に示すシーンと、図２５に示すシーンとは、第２プロジェクタの位置合わせパターンＡ２が共通して投影されるシーンを含む。このため、図２４に示すシーンに対応する木構造Ｔ１と、図２５に示すシーンに対応する木構造Ｔ２とは、さらに、リンクＡ２を介して接続され、全体として木構造Ｔ０を形成している。なお、図２３〜図２５に示す例では、第５プロジェクタの位置合わせパターンＡ５も共通して投影されるシーンがあるが、ここでは、位置合わせパターンＡ２および位置合わせパターンＡ５のいずれかに基づくリンクがあればよい。

図２３〜図２５に示す変形例では、各校正用投影シーンでは、隣接するプロジェクタから格子パターンが同時に投影されておらず、上記第１の条件（Ａ）が満たされている。また、複数の校正用投影シーン全体として、格子パターンＣｉ（ｉ＝１〜６）が少なくとも１つずつ含まれており、上記第２の条件（Ｂ）が満たされている。さらに、Ａ２，Ａ４，Ａ５、Ａ３およびＡ６で示すシーン間で共通する位置合わせパターンにより、８つの校正用投影シーン（撮像画像４５１〜４５８に対応する。）が、木構造Ｔ０を構成しており、第３の条件（Ｃ）および第４の条件（Ｄ）が満たされている。

さらに、本変形例では、図２３（Ａ）に示すように、投影像の配列で両隣に異なる撮像範囲で分割撮像されるプロジェクタが存在し、これらとの重複領域を有する第２プロジェクタについては、複数のシーン（校正用撮像画像４５２，４５５に対応する。）で格子パターンを投影する。第５プロジェクタについても、同様に、それぞれで第５プロジェクタが格子パターンを投影する複数のシーン（校正用撮像画像４５４，４５７に対応する。）が含まれる。よって、上記第５の条件（Ｅ）が満たされている。

また、図２３〜図２５に示す変形例では、略同一の撮像範囲での複数回の撮像に対応する複数のシーン（例えば図２４（Ａ）や図２５（Ｂ）に示すシーン）が、少なくとも部分的な木構造（例えばＴ１，Ｔ２）を構成するように構成されている。このように校正用投影シーンを構成することにより、略同一の撮影範囲で分割撮像されるプロジェクタ間の格子点の整合性を向上させることができる。

また、図２３〜図２５に示す変形例では、略同一の撮像範囲での複数回の撮像に対応する複数のシーン全体として、略同一の撮像範囲に投影範囲が含まれるすべてのプロジェクタが、格子パターンを１つずつ投影するように構成されている。このように校正用投影シーンを構成することにより、撮影回数に対して、画角内に収めるべきプロジェクタの台数を少なくすることができ、効率的な校正作業が可能となる。

（ハードウェア構成）
以下、図２６を参照しながら、上述までの実施形態における画像処理装置１１０のハードウェア構成について説明する。画像処理装置１１０は、典型的には、汎用コンピュータ装置として構成される。図２６は、本実施形態による汎用コンピュータ装置のハードウェア構成を示す図である。

汎用コンピュータ装置１１０は、デスクトップ型のパーソナル・コンピュータ、ワークステーションなどとして構成されている。図２６に示す汎用コンピュータ装置１１０は、ＣＰＵ（Central Processing Unit）１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、サウスブリッジ１６とを含む。サウスブリッジ１６は、上記ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担う。

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ（Random Access Memory）１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、アナログＲＧＢ、ＨＤＭＩ（High-Definition Multimedia Interface；ＨＤＭＩおよびHigh-Definition Multimedia Interfaceは登録商標または商標である）、ＤＶＩ（Digital Visual Interface）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などの映像出力インタフェースを介してディスプレイ５０や上記プロジェクタ１５０に接続される。

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ１３９４、ＵＳＢ（Universal Serial Bus）ポート２８、補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などであり、コンピュータ装置を制御するためのＯＳ、上記機能部を実現するためのプログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、汎用コンピュータ装置１１０を有線および無線でネットワークに接続させるインタフェース機器である。

ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力装置が接続されてもよく、操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による汎用コンピュータ装置１１０は、補助記憶装置３０からプログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。なお、プロジェクタ１５０およびカメラ１６０については、特に説明を行わないが、同様に、ＣＰＵおよびＲＡＭ等などのハードウェアや、特定の用途に応じたハードウェアを備えている。

（まとめ）
以上説明した実施形態の構成により、投影像の配列において両隣に異なる撮像範囲で分割撮像されるプロジェクタを有する注目のプロジェクタに対し、分割撮像される両隣のプロジェクタの格子点とのずれが少ない格子点の組を合成したものを用いて補正係数を計算することができる。ひいては、得られる単一の像における隣接するプロジェクタでの投影像の重複領域のレンズ歪みや視差に起因した画質の劣化を好適に防止することができる。このため、レンズ歪みの補正のための追加の作業負荷が軽減され、または、使用できるカメラへの制約が緩和される。さらに、スクリーンの平坦度に対する制約も緩和される。よって、緩和された条件下で、低コストで簡便に、複数のプロジェクタに対する補正条件を求めることができる。

また、注目のプロジェクタの両隣のプロジェクタとの重複領域の間にある単独投影領域に含まれる格子点については、両重複領域で用いられる組の対応する格子点をブレンディングした値が用いられる。このため、歪み方の急激な変化が抑制され、ひいては、滑らかな単一の像が得られる。

また、隣接するプロジェクタ同士でのプロジェクタ・メモリ（出力画像）の座標系を規定し、投影像の歪みを検出するための格子パターンの重なりを回避することが容易となる。ひいては、パターン分離のための画像処理を必要とする場合に比較して、精度良くパターン抽出を行うことができ、高精度な幾何補正およびブレンディング補正が可能となる。

また、位置合わせパターンのマーカを格子パターンの外側に設けることにより、位置合わせパターンと、格子パターンとが重ならないように投影することが容易となる。このため、複数回に分けて分割撮像した校正用撮像画像間の格子点座標同士の統合を高精度に行うことができる。さらに、位置合わせパターンを使用して分割撮像した校正用撮像画像を統合できるため、分割撮像中の三脚でのカメラ固定が不要であり、また、正確にカメラ位置、向きを制御する専用機材も必要がない。ひいては、より緩和された条件下で、低コストで簡便に、複数のプロジェクタに対する補正条件を求められるようになる。

また、シーンの構成を工夫することにより、複数のプロジェクタの格子パターンを分割撮像できるので、マルチ・プロジェクションの画面数が増大しても、カメラによる撮像時の奥行きの制約等を軽減することができる。

以上説明したように、本発明の実施形態によれば、複数の投影手段により投影体上に像を投影するための投影システムにおいて、分割撮像にて校正する場合に、撮像手段のレンズ歪みや視差に基づくズレを含めて考慮した複数の投影手段から投影する画像の補正条件を、緩和された条件下で求めることができる投影システム、画像処理装置、投影方法およびプログラムを提供することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（VHSIC（Very High Speed Integrated Circuits） Hardware Description Language））、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…プロジェクション・システム、１０２…スクリーン、１０４…投影像、１１０…画像処理装置、１１２…コンテンツ格納部、１１４…補正処理部、１１６…投影画像出力部、１１８…校正用画像格納部、１２０…校正用シーン選択部、１２２…切替部、１２４…校正用撮像画像入力部、１３０…格子点抽出統合部、１３２…特徴点抽出部、１３４…格子点変換部、１３６…格子点合成部、１４０…補正係数算出部、１４２…幾何補正係数計算部、１４４…ブレンディング係数計算部、１５０…プロジェクタ、１６０…カメラ、２００，２１０…校正用画像、２０２，２１２…位置合わせパターン、２０４…円、２０６…格子パターン、２３１〜２３６…投影像、３００…統合座標系、３０２…集合、３０４…投影範囲、３０６…辺、３１０…補正後投影目標領域、３２０…投影コンテンツ画像、３３０…プロジェクタ・メモリ、３５０…投影像、３５２…単一の投影像、４０１〜４０６…投影範囲、４１０，４２０…投影範囲、４５１〜４５８…校正用撮像画像、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス

特許第３９０８２５５号公報 特許第３４９７８０５号公報 特開２０１２−４７８４９号公報 特開２０１１−１８２０７６号公報

Claims (4)

1. 複数の投影手段により投影体上に像を投影するための投影システムであって、
   複数の校正用撮像画像を準備する画像準備手段と、
   前記複数の校正用撮像画像の各々から、少なくとも１つの投影手段の投影像の歪みを示す格子点の組を抽出する格子点抽出手段と、
   前記複数の校正用撮像画像のうちの異なる撮像範囲で撮像された複数の画像間で、共通して抽出された注目の投影手段の格子点の組各々を、共通する座標系上に変換する格子点変換手段と、
   前記注目の投影手段に対し、前記共通する座標系上の格子点の組複数に基づいて、合成された格子点の組を生成する格子点合成手段と、
   前記合成された格子点の組に基づいて、前記注目の投影手段に対する補正係数を計算する補正係数計算手段と
   を含む、投影システム。
2. 複数の投影手段を用いた投影を行うための画像処理装置であって、
   複数の校正用撮像画像を準備する画像準備手段と、
   前記複数の校正用撮像画像の各々から、少なくとも１つの投影手段の投影像の歪みを示す格子点の組を抽出する格子点抽出手段と、
   前記複数の校正用撮像画像のうちの異なる撮像範囲で撮像された複数の画像間で、共通して抽出された注目の投影手段の格子点の組各々を、共通する座標系上に変換する格子点変換手段と、
   前記注目の投影手段に対し、前記共通する座標系上の格子点の組複数に基づいて、合成された格子点の組を生成する格子点合成手段と、
   前記合成された格子点の組に基づいて、前記注目の投影手段に対する補正係数を計算する補正係数計算手段と
   を含む、画像処理装置。
3. 複数の投影手段により投影体上に像を投影するための投影方法であって、
   コンピュータが、複数の校正用撮像画像を準備するステップと、
   コンピュータが、前記複数の校正用撮像画像の各々から、少なくとも１つの投影手段の投影像の歪みを示す格子点の組を抽出するステップと、
   コンピュータが、前記複数の校正用撮像画像のうちの異なる撮像範囲で撮像された複数の画像間で、共通して抽出された注目の投影手段の格子点の組各々を、共通する座標系上に変換するステップと、
   コンピュータが、前記注目の投影手段に対し、前記共通する座標系上の格子点の組複数に基づいて、合成された格子点の組を生成するステップと、
   コンピュータが、前記合成された格子点の組に基づいて、前記注目の投影手段に対する補正係数を計算するステップと
   を含む、投影方法。
4. 複数の投影手段を用いた投影を行うための画像処理装置を実現するためのプログラムであって、コンピュータを、
   複数の校正用撮像画像を準備する画像準備手段、
   前記複数の校正用撮像画像の各々から、少なくとも１つの投影手段の投影像の歪みを示す格子点の組を抽出する格子点抽出手段、
   前記複数の校正用撮像画像のうちの異なる撮像範囲で撮像された複数の画像間で、共通して抽出された注目の投影手段の格子点の組各々を、共通する座標系上に変換する格子点変換手段、
   前記注目の投影手段に対し、前記共通する座標系上の格子点の組複数に基づいて、合成された格子点の組を生成する格子点合成手段、および
   前記合成された格子点の組に基づいて、前記注目の投影手段に対する補正係数を計算する補正係数計算手段
   として機能させるためのプログラム。