JP2015060012A - 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム - Google Patents

Abstract

【課題】スクリーンやディスプレイを斜め方向から見た場合の画像の歪みを抑制可能とする。【解決手段】画像補正装置は、表示装置により表示媒体に表示させるための、予め指定されたパターンを含む第１のパターン画像を取得する。また、画像補正装置は、第１のパターン画像が表示部により表示媒体に表示された画像を表示媒体の正面を除いた所望の位置から撮像装置で撮像して得られた撮像画像を第２のパターン画像として取得する。画像補正装置は、第１のパターン画像と第２のパターン画像とを比較して、比較結果に応じて対象画像を変形させる。【選択図】図３

Description

本発明は、画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システムに関する。

近年では、プロジェクタ装置の性能の向上などにより、より高精細な画像をより大きなスクリーンに投射可能となっている。特許文献１には、複数に分割して無線送信された画像を、複数のプロジェクタを使って大画面に合成する技術が開示されている。また、近年では、デジタルデータによる映像や情報を表示する電子看板と呼ばれる広告媒体（デジタルサイネージ）も普及している。

従来の、プロジェクタ装置による画像の投射は、投射画像をスクリーンの正面から見ることを想定して行われるのが一般的である。デジタルサイネージによる画像の表示についても同様に、ディスプレイの正面から見たときに、正しく画像が見えるように行われる。

ところが、例えば、プロジェクタ装置が投射するスクリーンの端側にいるユーザからは、スクリーンを斜め方向から見ることになり、スクリーンに投射された投射画像が歪んだ形状として見えてしまうという問題点があった。すなわち、スクリーンの端側にいるユーザは、当該ユーザから見てスクリーンの手前側から奥に向けてサイズが徐々に小さくなる画像を見ることになる。これは、スクリーンに対して当該ユーザとは逆の端側にいる他のユーザについても同様である。また、このユーザ位置に応じて投射画像が歪んで見える現象は、投射画像が大きくなるほど、より顕著に現れる。

デジタルサイネージにおいても同様の問題が発生する。例えば、通路の脇に一定間隔で並ぶ柱のそれぞれに、通路の方向に対向してディスプレイを設ける場合について考える。この場合、通路を歩くユーザは、ディスプレイを常に斜めから見ることになり、ディスプレイ上の画像が歪んで見えてしまう。ディスプレイに表示される画像を正しい形状で見るためには、ユーザは、一々ディスプレイの正面に移動する必要がある。

本発明は、上記に鑑みてなされたものであって、スクリーンやディスプレイを斜め方向から見た場合の画像の歪みを抑制可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、表示装置と、撮像装置と、画像処理装置とを含む画像処理システムであって、表示装置は、画像を表示媒体に表示させる表示部を備え、撮像装置は、被写体を撮像した撮像画像を出力する撮像部を備え、画像処理装置は、表示部により表示媒体に表示させるための、予め指定されたパターンを含む第１のパターン画像を取得する第１取得部と、第１のパターン画像が表示部により表示媒体に表示された画像を表示媒体の正面を除いた所望の位置から撮像装置で撮像して得られた撮像画像を第２のパターン画像として取得する第２取得部と、第１のパターン画像と第２のパターン画像とを比較して、比較結果に応じて対象画像を変形させる画像処理部とを備えることを特徴とする。

本発明によれば、スクリーンやディスプレイを斜め方向から見た場合の画像の歪みを抑制可能となるという効果を奏する。

図１は、第１の実施形態に適用可能な環境を概略的に説明するための図である。 図２は、スクリーンの左端側、中央部分および右端側からスクリーンを見た場合の、投射画像の見え方の例を示す図である。 図３は、第１の実施形態に係る画像処理システムの一例の構成を示すブロック図である。 図４は、第１の実施形態に係るプロジェクタ装置の機能を説明するための一例の機能ブロック図である。 図５は、第１の実施形態に係るＰＣの機能を説明するための一例の機能ブロック図である。 図６は、第１の実施形態に係るカメラの機能を説明するための一例の機能ブロック図である。 図７は、第１の実施形態に係る画像補正装置の機能を説明するための一例の機能ブロック図である。 図８は、第１の実施形態に係る理想パターン画像および校正用パターン画像を説明するための図である。 図９は、第１の実施形態に係る画像処理の一例の手順を示すシーケンス図である。 図１０は、第２の実施形態の概要について説明するための図である。 図１１は、第２の実施形態の概要について説明するための図である。 図１２は、第２の実施形態の概要について説明するための図である。 図１３は、第２の実施形態に係る画像処理システムの一例の構成を示すブロック図である。 図１４は、第２の実施形態に係る理想パターン画像および校正用パターン画像の例を示す図である。 図１５は、第２の実施形態の応用例による表示システムの一例の構成を示す図である。 図１６は、各実施形態に適用可能な補正情報算出部の構成の例を示すブロック図である。 図１７は、各実施形態に適用可能なパターン処理の流れを示すフローチャートである。 図１８は、各実施形態に適用可能なＳｏｂｅｌフィルタの一例を示す図である。 図１９は、各実施形態に適用可能な輝度勾配方向と方向コードとの対応関係を示す図である。 図２０は、各実施形態に適用可能なエッジ除外の処理の流れを示すフロー図である。 図２１は、各実施形態に適用可能な方向コードと非最大抑制閾値の対応関係の例を示す図である。 図２２は、各実施形態に適用可能なエッジ細線化処理が実施された後の、１つのパターン要素である円周辺の画素に割り当てられた方向コードの例を示す図である。 図２３は、各実施形態に適用可能な方向コードごとの図地分離閾値を算出する式の例を示す図である。 図２４は、各実施形態に適用可能な図地評価値を算出する処理の例を示すフローチャートである。 図２５は、各実施形態に適用可能なパターン要素を構成する画素毎に図地評価値が割り当てられた状態を示した図である。 図２６は、各実施形態に適用可能な画素を二値化処理した後の状態を示す図である。 図２７は、各実施形態に適用可能なラベリング処理がなされた画素連結成分を示す図である。

以下に添付図面を参照して、画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システムの実施形態を詳細に説明する。

（第１の実施形態）
第１の実施形態について説明する。第１の実施形態は、例えばスクリーンに投射された投射画像を撮像して後に用いる場合などに、投射画像を撮像した撮像画像に基づき、撮像画像内の投射画像を正しい形状に補正する補正情報を求め、この補正情報を用いて、投射画像を撮像した撮像画像を補正するものである。

図１を用いて、第１の実施形態に適用可能な環境について概略的に説明する。ここで、図１に例示されるように、図示されないプロジェクタ装置から、プロジェクタ装置の正面に設置されたスクリーン（図示しない）に対して矩形の投射画像１０００を投射する場合を考える。

スクリーンの前に、左から座席Ａ＃１〜Ａ＃７が設置されているものとする。図２は、座席Ａ＃１〜Ａ＃７のうちスクリーンの左端側の座席Ａ＃１、中央部分の座席Ａ＃４および右端側の座席Ａ＃７の位置からスクリーンを見た場合の、投射画像１０００の見え方の例を示す。

座席Ａ＃１の位置（スクリーンの左端側）から見た場合、矩形の投射画像１０００は、図２（ａ）の左側に例示されるように、スクリーンの右端側に向けて垂直方向および水平方向のサイズが縮んだ台形状の画像１００１に見える。この場合、座席Ａ＃１の位置からスクリーン上の画像１００１を撮像し、撮像画像を変形させることで、元の矩形の画像に近い形状の画像１００１’を得ることができる（図２（ａ）の右側参照）。

同様に、座席Ａ＃７の位置（スクリーンの右端側）から見た場合、矩形の投射画像１０００は、図２（ｃ）の左側に例示されるように、スクリーンの左端側に向けて垂直方向および水平方向のサイズが縮んだ台形状の画像１００３に見える。この場合、座席Ａ＃７の位置からスクリーン上の画像１００３を撮像し、撮像画像を変形させることで、元の矩形の画像に近い形状の画像１００３’を得ることができる（図２（ｃ）の右側参照）。

一方、スクリーンの中央付近から見た場合、投射画像１０００は、図２（ｂ）の左側に画像１００２として示されるように、矩形のまま形状が変化しない。この場合は、座席Ａ＃４の位置からスクリーン上の画像１００２を撮像した撮像画像を変形させる必要は無い（図２（ｂ）参照）。

第１の実施形態では、上述した画像１００１から画像１００１’への変形、および、画像１００３から画像１００３’への変形を行う。

（第１の実施形態によるシステム構成）
図３は、第１の実施形態に係る画像処理システムの一例の構成を示す。プロジェクタ装置（ＰＪ）３０は、例えばパーソナルコンピュータ（ＰＣ）２０から出力された投射画像データが供給され、供給された投射画像データに基づき画像を投射してスクリーン１０上に投射画像を得る。

このとき、スクリーン１０に投射された投射画像は、ＰＣ２０から出力された画像と略同一の形状となっているものとする。例えば、プロジェクタ装置３０をスクリーン１０の正面の略中央位置に設置して画像を投射することで、元の画像に対して歪みの少ない投射画像を得ることができる。これに限らず、スクリーン１０とプロジェクタ装置３０との位置関係に応じて、投射する画像の形状をキーストン補正などで予め補正しておいてもよい。

カメラ４０は、プロジェクタ装置３０からスクリーン１０に投射された投射画像を、ユーザの位置から撮像する。カメラ４０は、投射画像を撮像して得られた撮像画像データを、例えばパーソナルコンピュータ（ＰＣ）による画像補正装置５０に供給する。画像補正装置５０には、ＰＣ２０から投射画像データも供給される。画像補正装置５０は、カメラ４０から供給された撮像画像データと、ＰＣ２０から供給された、当該撮像画像データに対応する投射画像データとを比較して、撮像画像データに含まれる投射画像の形状を、投射画像データによる画像の形状に変形するような補正情報を求める。

ユーザは、補正情報を求めた条件と同一の条件下でプロジェクタ装置３０からスクリーン１０に投射した投射画像を撮像し、撮像した画像を、画像補正装置５０により求めた係数で変形させる。これにより、ユーザがスクリーン１０の中央部正面以外にいる場合であっても、ユーザ位置から台形状に歪んで見えるスクリーン１０上の画像を、元の矩形状の画像に戻して保存などすることができる。

図４は、第１の実施形態に係るプロジェクタ装置３０の機能を説明するための一例の機能ブロック図である。プロジェクタ装置３０は、投射部３０１と通信部３０２とを有する。通信部３０２は、ＰＣ２０など、外部の機器と通信を行い、投射に用いる投射画像データを取得する。投射部３０１は、画像処理部、光源、光変調部および光学系を含み、通信部３０１で取得された投射画像データで光源からの光を変調し、光学系を介して外部に射出する。

図５は、第１の実施形態に係るＰＣ２０の機能を説明するための一例の機能ブロック図である。ＰＣ２０は、一般的なコンピュータ装置を用いることができ、記憶部２０１と通信部２０２とを有する。記憶部２０１は、プロジェクタ装置３０に投射させるための投射画像データが記憶される。通信部２０２は、プロジェクタ装置３０と通信を行い、記憶部２０１に記憶される投射画像データをプロジェクタ装置３０に転送する。また、通信部２０２は、画像補正装置５０とも通信を行い、投射画像データを画像補正装置５０に転送する。

図６は、第１の実施形態に係るカメラ４０の機能を説明するための一例の機能ブロック図である。カメラ４０は、一般的なディジタルカメラを用いることができ、撮像部４０１と、画像処理部４０２と、記憶部４０３と、通信部４０４とを有する。撮像部４０１は、ＣＣＤ(Charge Coupled Device)などによる撮像素子と、被写体からの光を撮像素子に導く撮像光学系とを含み、被写体を撮像して撮像画像データを出力する。画像処理部４０２は、撮像部４０１から出力された撮像画像データに、γ補正処理、ホワイトバランス調整など所定の画像処理を施す。また、画像処理部４０２は、撮像画像データに対して圧縮符号化処理などデータ量削減処理を施してもよい。記憶部４０３は、画像処理部４０２で画像処理を施された撮像画像を記憶する。通信部４０４は、記憶部４０３に記憶された撮像画像データを外部に出力する。

図７は、第１の実施形態に係る画像補正装置５０の機能を説明するための一例の機能ブロック図である。画像補正装置５０は、通信部５０１と、補正情報算出部５０２と、記憶部５０３と、補正部５０４とを有する。画像補正装置５０は、一般的なコンピュータ装置を用いることができ、この場合、少なくとも補正情報算出部５０２および補正部５０４は、ＣＰＵ(Central Processing Unit)上で動作するプログラムにより構成される。

通信部５０１は、カメラ４０の通信部４０４と通信し、撮像画像データを取得する。また、通信部５０１は、ＰＣ２０の通信部２０２と通信し、投射画像データを取得する。記憶部５０３は、通信部５０１が取得した撮像画像データおよび投射画像データを記憶する。補正情報算出部５０２は、記憶部５０３に記憶される撮像画像データおよび投射画像データを用いて、撮像画像データによる画像に含まれる投射画像の歪みを補正するための補正情報を算出する。補正部５０４は、補正情報算出部５０２で算出された補正情報を用いて、記憶部５０３に記憶される撮像画像データを補正または変形させる。

補正情報算出部５０２と補正部５０４とで、各実施形態に係る、表示媒体に表示させる対象となる対象画像の変形または補正を行う画像処理部を構成する。

なお、図３では、カメラ４０、画像補正装置５０、ＰＣ２０およびプロジェクタ装置３０がそれぞれ独立したハードウェアで構成されるように示したが、これはこの例に限定されない。例えば、カメラ４０と画像補正装置５０とが１の筐体で実現されていてもよい。また、プロジェクタ装置３０とＰＣ２０とが１の筐体を１の筐体で実現することもできるし、プロジェクタ装置３０と画像補正装置５０とＰＣ２０とを１の筐体で実現させてもよい。

（第１の実施形態による補正処理）
次に、第１の実施形態による補正処理について説明する。第１の実施形態では、補正後の目標とする理想パターン画像を投射画像としてスクリーン１０に投射する。この理想パターン画像が投射されたスクリーン１０をカメラ４０で撮像し、撮像画像として補正の対象とする校正用パターン画像を得る。画像補正装置５０は、理想パターン画像と校正用パターン画像とを比較して、校正用パターン画像の形状を理想パターン画像の形状に補正または変形するための補正情報を算出する。

図８を用いて、第１の実施形態に係る理想パターン画像および校正用パターン画像について説明する。図８（ａ）は、理想パターン画像２０００の例を示す。図８（ａ）の例では、理想パターン画像２０００は、矩形の格子状に配置されたマーカ２００１、２００１、…を含む。なお、理想パターン画像２０００の構成は、この図８（ａ）の例に限定されず、各マーカ２００１、２００１、…の配置は、任意であってよい。

図８（ｂ）は、校正用パターン画像２０１０の例を示す。校正用パターン画像２０１０は、理想パターン画像２０００をプロジェクタ装置３０でスクリーン１０に投射された投射画像を、ユーザの位置からカメラ４０で撮像した撮像画像に含まれる画像である。この例では、上述した図１における座席Ａ＃１に対応する、スクリーン１０に対して左端側の位置で、スクリーン１０上の投射画像を撮像している。

この場合、校正用パターン画像２０１０は、図８（ｂ）に例示されるように、画像の左端側から右端側に向けて垂直方向および水平方向のサイズが縮んだ、台形状に歪んだ画像となる。したがって、理想パターン画像２０００上の各マーカ２００１、２００１、…は、図８（ｂ）にマーカ２００１’、２００１’、…として例示されるように、画像の左端側から右端側に向けて、垂直方向および水平方向に順次間隔が狭められて校正用パターン画像２０１０に配置される。

画像補正装置５０において、補正情報算出部５０２は、校正用パターン画像２０１０上の各マーカ２００１’、２００１’、…の位置（座標）を後述する方法により算出し、既知の理想パターン画像２０００上の各マーカ２００１、２００１、…の位置（座標）と比較する。補正情報算出部５０２は、この比較により、各マーカ２００１、２００１、…に対する各マーカ２００１’、２００１’、…の位置のズレを補正情報としてそれぞれ求める。補正部５０４は、求めた補正情報に基づき、線形変換および線形補間など既知の手法を用いて、記憶部５０３に記憶される、同様にスクリーン１０を撮像した他の撮像画像データを補正する。

図９は、第１の実施形態に係る画像処理の一例の手順を示すシーケンス図である。なお、図９において、ＰＣ２０および画像補正装置５０がそれぞれ「ＰＣ＃１」および「ＰＣ＃２」として記載されている。この図９のシーケンスの実行に先立って、ＰＣ２０の記憶部２０１と、画像補正装置５０の記憶部５０３に、理想パターン画像２０００を投射するための投射画像データ（理想パターン投射画像データと呼ぶ）が予め記憶されているものとする。さらに、画像補正装置５０の記憶部５０３には、理想パターン投射画像データにおける各マーカ２００１、２００１、…の座標情報も予め記憶される。

先ず、ＰＣ２０は、プロジェクタ装置３０に対して理想パターン投射画像データを送信する（ステップＳ１０）。プロジェクタ装置３０は、ＰＣ２０から送信された理想パターン投射画像データによる投射画像をスクリーン１０に投射する（ステップＳ１１）。スクリーン１０には、理想パターン画像２０００が投射画像として投射されることになる。

カメラ４０は、スクリーン１０に投射される理想パターン画像２０００を撮像する。ここで撮像された画像は、理想パターン画像２０００が台形状に歪んだ校正用パターン画像２０１０である。カメラ４０は、この校正用パターン画像２０１０による撮像画像データ（校正用パターン撮像画像データと呼ぶ）に必要に応じてデータ量削減処理を施し（ステップＳ１３）、画像補正装置５０に送信する（ステップＳ１４）。画像補正装置５０は、校正用パターン撮像画像データを後述する手法で解析して、校正用パターン画像２０１０に含まれる各マーカ２００１’、２００１’、…の座標を求める。そして、各マーカ２００１’、２００１’、…の座標を、記憶部５０３に記憶される理想パターン画像２０００における各マーカ２００１、２００１、…の各座標と比較して、補正情報を算出する（ステップＳ１５）。算出された補正情報は、例えば記憶部５０３に記憶される。

ＰＣ２０からプロジェクタ装置３０に対して、実際にプレゼンテーションなどに用いるコンテンツ画像の画像データ（コンテンツ画像データと呼ぶ）が送信される（ステップＳ１６）。プロジェクタ装置３０は、ＰＣ２０から送信されたコンテンツ画像データによる投射画像をスクリーン１０に投射する（ステップＳ１７）。

カメラ４０は、スクリーン１０に投射されるコンテンツ画像による投射画像（コンテンツ投射画像と呼ぶ）を撮像する（ステップＳ１８）。ここで撮像されたコンテンツ投射画像は、コンテンツ画像が台形状に歪んだ画像となる。カメラ４０は、このコンテンツ投射画像による撮像画像データ（コンテンツ撮像画像データと呼ぶ）を画像補正装置５０に送信する（ステップＳ１９）。

画像補正装置５０において、補正部５０４は、ステップＳ１５で求めた補正情報に基づき、線形変換や線形補間など既知の手法を用いて、ステップＳ１９でカメラ４０から送信されたコンテンツ撮像画像データを補正する（ステップＳ２０）。コンテンツ撮像画像データが補正された画像データは、次のステップＳ２１で、例えは画像補正装置５０に接続されるディスプレイに表示される。この補正後の画像データを、カメラ４０に転送してもよい（ステップＳ２２）。

以上説明したように、第１の実施形態によれば、理想パターン画像２０００をスクリーン１０に投射させた投射画像をユーザの位置から撮像し、理想パターン画像２０００と、理想パターン画像２０００を撮像した校正用パターン画像２０１０とを用いて、校正用パターン画像２０１０の形状を理想パターン画像２０００の形状に補正する補正情報を求める。そして、この補正情報を用いて、スクリーン１０に投射されたコンテンツ画像を撮像した撮像画像を補正する。そのため、スクリーン１０を斜め方向から臨む位置からスクリーン１０を撮像した撮像画像を、投射する元の画像と同等の形状の画像に補正することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、スクリーンやディスプレイといった表示媒体の正面以外の所定位置から当該表示媒体を見た場合に正常な形状で画像が見えるように、予め歪ませた画像を生成して、当該表示媒体に表示させる。

図１０〜図１２を用いて、第２の実施形態の概要について説明する。図１０に例示されるように、例えばユーザ３００２が通行することが想定された通路３００３に平行且つ通路３００３の右側に、ディスプレイ３０００₁、３０００₂、３０００₃および３０００₄がそれぞれ設けられた柱が一定間隔で建てられているものとする。なお、各ディスプレイ３０００₁、３０００₂、３０００₃および３０００₄は、ＬＣＤ(Liquid Crystal Display)などを用いた表示媒体である。また、各ディスプレイ３０００₁、３０００₂、３０００₃および３０００₄の各表示面は、ユーザ３００２が通路３００３を進むと想定される方向に対向して設けられる。すなわち、各ディスプレイ３０００₁、３０００₂、３０００₃および３０００₄の各表示面は、ユーザ３００２の進行方向として想定される方向に対向し、且つ、想定されるユーザ３００２の動線と交わらないように配置される。

なお、図１０の例では、各ディスプレイ３０００₁、３０００₂、３０００₃および３０００₄の各表示面が互いに平行になるように配置されているが、これはこの例に限定されない。各ディスプレイ３０００₁、３０００₂、３０００₃および３０００₄の各表示面が向く方向は、区区であってもよい。

ここで、例えばディスプレイ３０００₁には、図１１（ａ）に示されるように、矩形の画像３０１０が表示されているものとする。この状態で、ユーザ３００２が図１０に示す位置からディスプレイ３０００₁を右方向に見る場合を考える。この場合、ディスプレイ３０００₁は、図１１（ｂ）に示されるように、手前側（左端側）から右端側に向けて、垂直方向および水平方向のサイズが縮んだ台形状に見え、画像３０１０も同様に、ユーザ３００２には、台形状に歪んだ画像３０１０’として見える。

そこで、第２の実施形態では、図１２（ａ）に示されるように、元の矩形の画像を逆方向に予め歪ませた画像３０１１、すなわち、左端側から右端側に向けて垂直方向および水平方向のサイズが伸びた台形状に予め歪ませた画像３０１１をディスプレイ３０００₁に表示させる。こうすることで、ユーザ３００２は、所定の位置で斜め方向からディスプレイ３０００₁を見た場合に、図１２（ｂ）に例示されるような、画像３０１１が矩形に変形した画像３０１１’を見ることができる。

（第２の実施形態によるシステム構成）
図１３は、第２の実施形態に係る画像処理システムの一例の構成を示す。なお、図１３において、上述した図３と共通する部分には同一の符号を付して、詳細な説明を省略する。

図１３において、ディスプレイ３０００は、例えばＬＣＤ(Liquid Crystal Display)を用いた表示媒体であって、外部から供給される表示画像データに従い画像を表示する。画像出力装置６０は、記憶部と通信部とを有し、記憶部に記憶される画像データや、外部から通信部を介して供給される画像データを、表示画像データとしてディスプレイ３０００に供給する。また、画像出力装置６０は、表示画像データを、通信部を介して画像補正装置５０に送信することもできる。

第２の実施形態では、図１２（ａ）に示した予め台形状に歪ませた画像を理想パターン画像として生成する。そして、校正用パターン画像として用意される、ディスプレイ３０００に本来表示させる矩形の画像を、理想パターン画像の形状になるように変形させてから、ディスプレイ３０００に表示させる。

図１４を用いて、第２の実施形態による理想パターン画像の生成方法について説明する。先ず、図１４（ａ）に例示されるように、画像出力装置６０により、ディスプレイ３０００に対して、図８（ａ）を用いて説明した理想パターン画像２０００と同様な、矩形の格子上に配置されたマーカ２００１、２００１、…を含むパターン画像２０００を表示させる。ここでは、パターン画像２０００は、ディスプレイ３０００の有効表示領域全面を用いて表示されるものとする。

そして、カメラ４０を用いて、所望の位置からこのディスプレイ３０００を撮像する。例えばカメラ４０がディスプレイ３０００の左端側から右端方向にディスプレイ３０００を臨む方向でディスプレイ３０００を撮像した場合、カメラ４０に撮像された画像は、図１４（ｂ）に例示されるように、上述の図８（ｂ）で説明した校正用パターン画像２０１０と同様な、画像の左端側から右端側に向けて垂直方向および水平方向のサイズが縮んだ、台形状に歪んだパターン画像２０１０となる。

図１４（ｂ）におけるパターン画像２０１０は、ディスプレイ３０００の全面を用いて表示されている。そのため、ディスプレイ３０００に対して表示可能な、パターン画像２０１０を撮像したカメラ４０の位置から見た場合に矩形に見える見かけの矩形画像の最大サイズは、図１４（ｃ）に例示されるように、カメラ４０の位置から見た場合の、ディスプレイ３０００におけるカメラ４０位置と対向する辺（この例では右端）の見かけのサイズＬによって規定される。ここで、見かけのサイズとは、カメラ４０で撮像された撮像画像上のサイズを意味する。

図１４（ｃ）において、斜線を付して示した矩形領域３１２０は、図１２（ｂ）の画像３０１１’に対応し、カメラ４０の位置からカメラ４０の撮像方向に向けてディスプレイ３０００を見たときに、矩形に見える画像領域となる。この矩形領域３１２０は、実際には、すなわち、ディスプレイ３０００を正面、中央部付近から見た場合には、図１４（ｄ）に領域３１３０として例示されるような、左端側から右端側に向けて、垂直方向および水平方向のサイズが拡がった、台形状に歪んだ形状となる。第２の実施形態では、矩形の画像を、この台形状に歪んだ領域３１３０の形状に予め変形させて、画像出力装置６０からディスプレイ３０００に表示させる。

より具体的に説明する。先ず、画像出力装置６０より、ディスプレイ３０００に対して図１４（ａ）の矩形のパターン画像２０００を表示させ、これを、所望の位置からカメラ４０で撮像し、図１４（ｂ）の台形状に歪んだパターン画像２０１０を得る。このパターン画像２０１０の撮像画像データがカメラ４０から画像補正装置５０に供給される。

また、画像補正装置５０に対して、画像出力装置６０からパターン画像２０００を表示させる表示画像データと、パターン画像２０００上の各マーカ２００１、２００１、…の座標が供給される。画像出力装置６０は、画像補正装置５０に対してパターン画像２０００を供給せず、各マーカ２００１、２００１、…の座標のみを供給してもよい。

画像補正装置５０において、補正情報算出部５０２は、後述する方法に従い撮像画像データから各マーカ２００１’、２００１’、…の座標を算出する。そして、算出された各座標と、パターン画像２０００の各マーカ２００１の座標とを比較し、比較結果に基づき、パターン画像２０１０の右端の見かけのサイズＬと、左端の見かけのサイズＬ₀とを求める。そして、サイズＬおよびサイズＬ₀をそれぞれ左端のおよび右端の垂直方向のサイズとし、水平方向のサイズをパターン２０００のサイズと同一とする台形状の領域３１３０を生成する。

なお、サイズＬおよびサイズＬ₀は、撮像画像データにおける画素単位の座標情報に基づき求めることができる。

さらに、補正情報算出部５０２は、領域３１３０に対して各マーカ３１４０、３１４０、…を配置する。一例として、図１４（ｄ）の例では、左端側および右端側にそれぞれ垂直方向に並ぶ各マーカ３１４０、３１４０、…の水平方向の位置は、それぞれパターン画像２０００の対応する各マーカ２００１、２００１、…の水平方向の位置と対応させる。各マーカ３１４０、３１４０、…の垂直方向の位置は、それぞれパターン画像２０００の対応する各マーカ２００１、２００１、…の垂直方向の位置を、サイズＬおよびＬ₀との比（Ｌ／Ｌ₀）に応じて変更した位置とする。

他の各マーカ３１４０、３１４０、…については、水平方向の位置を、例えば、パターン画像２０１０における各マーカ２００１’、２００１’、…の水平方向の間隔ｄ₁、ｄ₂およびｄ₃の比に応じて決める。一例として、図１４（ｃ）に示されるように、パターン画像２０１０における各マーカ２００１’、２００１’、…の水平方向の間隔が、左端側から間隔ｄ₁、ｄ₂およびｄ₃であるものとする。また、領域３１３０における各マーカ３１４０、３１４０、…の間隔が、左端側から間隔ｅ₁、ｅ₂およびｅ₃であるものとする。

このとき、各マーカ３１４０、３１４０、…は、その間隔ｅ₁、ｅ₂およびｅ₃と、間隔ｄ₁、ｄ₂およびｄ₃との関係が、下記の式（１）で示される関係になるように水平方向の位置を決定することが考えられる。
ｅ₁：ｅ₂：ｅ₃＝ｄ₃：ｄ₂：ｄ₁ …（１）

補正情報算出部５０２は、パターン画像２０００の各マーカ２００１、２１１０、…の座標と、上述のようにして求められた領域３１３０の各マーカ３１４０、３１４０、…の座標とを比較して、補正情報を算出する。この場合、補正情報算出部５０２は、パターン画像２０００による矩形の画像を、領域３１３０による台形状の画像に補正する補正情報を算出する。すなわち、この第２の実施形態においては、矩形のパターン画像２０００が補正対象の校正用パターン画像となり、台形状の領域３１３０の画像が理想パターン画像となる。

画像補正装置５０は、例えば記憶部５０３に、画像出力装置６０がディスプレイ３０００に表示するための矩形の表示画像データを予め記憶しているものとする。これに限らず、当該表示画像データは、外部から通信部５０１を介して画像補正装置５０に供給されるようにしてもよい。画像補正装置５０において、補正部５０４は、記憶部５０３に記憶される表示画像データを、補正情報に基づき補正する。

表示画像データが補正された補正済み表示画像データは、画像補正装置５０から画像出力装置６０に供給される。画像出力装置６０は、画像補正装置５０から供給された補正済み表示画像データを、ディスプレイ３０００に表示する。これにより、ディスプレイ３０００には、図１２（ａ）を用いて説明したような、予め台形状に歪ませられた画像が表示され、ユーザは、所定位置でこの画像を見ることで、図１２（ｂ）に示したように、恰も矩形の画像が表示されているかのように見ることができる。

（第２の実施形態の応用例）
次に、第２の実施形態の応用例について説明する。図１５は、第２の実施形態の応用例による表示システムの一例の構成を示す。図１５（ａ）に一例が示されるように、所定位置のユーザ３００２がディスプレイ３０００₁、３０００₂および３０００₃を見たときに、各ディスプレイ３０００₁、３０００₂および３０００₃が水平方向に連なって見える状況を考える。

なお、図１５（ａ）では、理解が容易なように各ディスプレイ３０００₁、３０００₂および３０００₃を通路３００３に対して順次ずらして配置しているが、これはこの例に限られない。各ディスプレイ３０００₁、３０００₂および３０００₃は、例えば、図１０に示したように、通路３００３に平行に配置してもよい。

このような場合において、１の画像３２００を３分割し、分割したそれぞれの画像を各ディスプレイ３０００₁、３０００₂および３０００₃に表示させる。このとき、各ディスプレイ３０００₁、３０００₂および３０００₃に対して上述した校正用パターン画像３１１０を表示させ、想定されるユーザ３００２の位置から各ディスプレイ３０００₁、３０００₂および３０００₃をそれぞれカメラ４０で撮像する。

次に、画像補正装置５０は、校正用パターン画像２０００を表示させた各ディスプレイ３０００₁、３０００₂および３０００₃を撮像した各撮像画像から上述した方法で求めた各領域３１３０の画像を、各ディスプレイ３０００₁、３０００₂および３０００₃それぞれの理想パターン画像として用いて各補正情報を算出する。画像補正装置５０は、算出された各補正情報を用いて、画像３２００を３分割した各画像を補正し、各ディスプレイ３０００₁、３０００₂および３０００₃とカメラ４０との位置関係に応じて、左端側から右端側に向けて、サイズが垂直方向および水平方向に拡がった台形に歪んだ３の画像を得る。

この補正情報に基づく補正により歪ませた３の画像を、各ディスプレイ３０００₁、３０００₂および３０００₃にそれぞれ表示させる。所定位置のユーザ３００２は、各ディスプレイ３０００₁、３０００₂および３０００₃を見ることで、図１５（ｂ）に例示されるように、恰も矩形の画像３２０１₁、３２０１₂および３２０１₃が連なって、元の画像３２００を再構成しているように見ることができる。

（各実施形態に適用可能な補正情報の算出方法について）
次に、各実施形態に適用可能な補正情報の算出方法について説明する。この補正情報を算出するためには、例えば図８の例において、マーカ２００１、２００１、…が配置された理想パターン画像２０００を撮像した校正用パターン画像２０１０から、各マーカ２００１、２００１、…に対応する各マーカ２００１’、２００１’、…の位置を求める必要がある。

各マーカ２００１’、２００１’、…の位置が求められたら、求めた各マーカ２００１’、２００１’、…の位置と、理想パターン画像２０００における既知の各マーカ２００１、２００１、…の位置との差分を求める。この求めた差分に基づき、校正用パターン画像２０１０の各画素の、理想パターン画像２０００の各画素に対する位置の差分を線形変換などを用いて求める。そして、求めた画素毎の位置の差分に基づき、校正用パターン画像２０１０を理想パターン画像２０００に変形させる際に用いる線形補間などの係数を求める。この求めた係数を適用した例えば線形補間により、実際にスクリーン１０や各ディスプレイ３０００₁、３０００₂、…に表示させるための画像を変形させる。

以下、校正用パターン画像２０１０の各マーカ２００１’、２００１’、…の位置を求める方法について説明する。

図１６は、画像補正装置５０における補正情報算出部５０２および記憶部５０３の一例の構成を、より詳細に示す。図１６に示されるように、補正情報算出部５０２は、入力部１００、抽出部１０１、評価部１０２、二値化処理部１０３（二値化判定部）、連結成分抽出部１０４、パターン変換部１０５およびエッジ除外部１０６を備えている。なお、以下に示すこれらの各部位の機能は、ソフトウェアによって実現されても、電子回路などのハードウェアにより実現されていてよい。

また、記憶部５０３は、入力画像バッファ１２１、エッジ方向コードバッファ１２２、図地評価値バッファ１２３、二値画像バッファ１２４およびラベリング結果バッファ１２５の各バッファ領域を含む。

入力部１００は、カメラ４０により撮影されたパターン画像が入力される。入力されたパターン画像は、以降入力画像として、記憶部５０３の入力画像バッファ１２１に記憶される。なお、入力画像バッファ１２１に記憶される入力画像は、撮影されたデータそのものでなくともよく、サイズ変換や、色補正などの画像処理を施されたものであってもよい。各実施形態においては、入力画像は、撮影された画像における各パターン要素の画素の輝度を０（黒）〜２５５（白）の範囲で持つ、グレースケール画像に変換される。以下、入力された入力画像は図１７において示されるパターン処理を実施されて歪みを校正するための校正用のパターン画像が生成される。このように生成された校正用のパターン画像と、もともとの歪みのないパターン画像とを比較することにより、歪み補正処理のための補正値が算出される。

図１７を用いて、処理の流れを概略的に説明する。先ず、ステップＳ１で、補正情報算出部５０２の抽出部１０１は、入力画像におけるエッジ画素、各画素のエッジ強度、及びエッジ画素の勾配方向をそれぞれ抽出するエッジ抽出フィルタを適用する。次に、ステップＳ２で、抽出部１０１は、各画素毎に算出した勾配方向θの値に基づき、画素毎に割り当てられる方向コードの値を決定する。次に、ステップＳ３で、補正情報算出部５０２のエッジ除外部１０６は、エッジのノイズ除去のためのエッジ細線化処理を行う。

次に、ステップＳ４で、補正情報算出部５０２の評価部１０２は、方向コードが割り当てられた画素のうち、方向コードに応じて画素に対応して定められる閾値Ｑ(ｘ，ｙ)を決定する図地分離閾値決定処理を行う。次に、ステップＳ５で、評価部１０２は、後述する画素Ｐ(ｘ，ｙ)が前景画素か、背景画素かを判定するための値である図地評価値Ｃ(ｘ，ｙ)を算出する図地評価値算出処理を行う。次に、ステップＳ６で、補正情報算出部５０２の二値化処理部１０３は、二値化処理を実施する。次に、ステップＳ７で、補正情報算出部５０２の連結成分抽出部１０４は、二値画像Ｂ(ｘ，ｙ)のうち前景画素に対して上下左右に隣り合う図画素同士を１つのグループとして統合するラベリング処理を行う。

以下、上述の各ステップＳ１〜ステップＳ７について、より詳細に説明する。ステップＳ１で、抽出部１０１は、入力画像バッファ１２１から入力画像を取得し、入力画像におけるエッジ画素、各画素のエッジ強度、及びエッジ画素の勾配方向をそれぞれ抽出するエッジ抽出フィルタを適用する。抽出部１０１は、入力画像を構成する各画素Ｐ(ｘ，ｙ)（０＜＝Ｘ＜＝Ｍ−１、０＜＝Ｙ＜＝Ｎ−１）に対して、図１８に示すＳｏｂｅｌフィルタを適用することで、以下の式１に基づき各画素Ｐ(ｘ，ｙ)と対応するエッジ強度Ｅ(ｘ，ｙ)と勾配方向θ(ｘ，ｙ)とを以下の式（２）および式（３）に基づき、算出する。
Ｅ(ｘ，ｙ)＝｛Ｓｘ(ｘ，ｙ)²＋Ｓｙ(ｘ，ｙ)²｝^1/2 …（２）
θ(ｘ，ｙ)＝arctan(Ｓｘ(ｘ，ｙ)／Ｓｙ(ｘ，ｙ)) …（３）

なお、Ｓｘ(ｘ，ｙ)およびＳｙ(ｘ，ｙ)は、下記の式（４）および式（５）で求められる。
Ｓｘ(ｘ，ｙ)＝Ｐ(ｘ＋１，ｙ−１)−Ｐ(ｘ−１，ｙ−１)＋２×｛Ｐ(ｘ＋１，ｙ)−Ｐ(ｘ−１，ｙ)｝＋Ｐ(ｘ＋１，ｙ＋１)−Ｐ(ｘ−１，ｙ＋１) …（４）
Ｓｙ(ｘ，ｙ)＝Ｐ(ｘ−１，ｙ＋１)−Ｐ(ｘ−１，ｙ−１)＋２×｛Ｐ(ｘ，ｙ＋１)−Ｐ(ｘ，ｙ−１)｝＋Ｐ(ｘ＋１，ｙ＋１)−Ｐ(ｘ＋１，ｙ−１) …（５）

ステップＳ２で、抽出部１０１は、各画素ごとに算出した勾配方向θの値に基づき、図１９を参照して、画素ごとに割り当てられる方向コードの値を決定する。図１９における輝度勾配方向の角度は、一般的な画像処理手法に従い、画像の左上隅を原点とし、垂直下向きを正のｙ軸方向、時計回りを正の角度とする座標系を用いる。

図１９に示されるように、θ(ｘ，ｙ)の値が６７．５度以上、又は−６７．５度以下の場合は、方向コードとして画素にＤ(ｘ，ｙ)＝１が割り当てられる。「１」は、垂直であることを示す方向コードである。また、θ(ｘ，ｙ)の値が２２．５度より大きく、６７．５度より小さい場合は、方向コードとして画素にＤ(ｘ，ｙ)＝２が割り当てられる。「２」は、方向が右下がりであることを示す方向コードである。θ(ｘ，ｙ)の値が−２２．５度以上であり、２２．５度以下の場合は、方向コードとして画素にＤ(ｘ，ｙ)＝３が割り当てられる。「３」は、水平であることを示す方向コードである。θ(ｘ，ｙ)の値が−６７．５度より大きく−２２．５度より小さい場合は、方向コードとして画素にＤ(ｘ，ｙ)＝４が割り当てられる。「４」は、勾配方向が右上がりであることを示す方向コードである。これらの方向コードＤ(ｘ，ｙ)は、画素Ｐ(ｘ，ｙ)それぞれに対応付けられて、記憶部５０３のエッジ方向コードバッファ１２２に記憶される。なお、方向コードが付与されるのは、エッジ画素として抽出された画素のみであることから、エッジ画素ではない画素には方向コードとしては「０」が割り当てられる。

ステップＳ３で、エッジ除外部１０６は、エッジのノイズ除去のためのエッジ細線化処理を行う。具体的な処理の流れを図２０を用いて説明する。図２０に示されるように、まず、エッジ除外部１０６は、ステップＳ１０１で、ある座標(ｘ，ｙ)の画素を選択し、この画素Ｐ(ｘ，ｙ)のエッジ強度Ｅ(ｘ，ｙ)が予め定められた所定の閾値Ｔ１（第３閾値に相当）以下であるか否かを判定する。Ｅ(ｘ，ｙ)が予め定められた所定の閾値Ｔ１以下であると判定された場合、処理がステップＳ１０２に移行され、エッジ除外部１０６は、Ｐ(ｘ，ｙ)の方向コードであるＤ(ｘ，ｙ)を０とする。ここでは、以降の処理で方向コードが「０」でないものをエッジとして認識して処理を行うため、方向コードを０とすることで、その画素がエッジとして除外されることとなる。なお、方向コードではなく、エッジ強度Ｅ(ｘ，ｙ)に基づいて、以降の処理を行う場合は、Ｅ(ｘ，ｙ)を０とする処理を代わりに行ってもよい。

一方、ステップＳ１０１で、Ｅ(ｘ，ｙ)が予め定められた所定の閾値Ｔ１より大きいと判定された場合、処理がステップＳ１０３に移行され、エッジ除外部１０６は、ついでエッジ強度Ｅ(ｘ，ｙ)が所定の閾値Ｔ２(ｘ，ｙ)以下であるか否かを判定する。閾値Ｔ２は、エッジ強度Ｅ(ｘ，ｙ)が勾配方向に沿って隣接する画素のうちで最大であるか否かを判定するための非最大抑制閾値であり、図２１に示す式に基づき算出される。

図２１に示されるように、方向コードがＤ(ｘ，ｙ)＝１の場合は、閾値Ｔ２はＭａｘ｛Ｅ(ｘ，ｙ＋１)，Ｅ(ｘ，ｙ−１)｝により求められる。Ｍａｘ｛Ａ，Ｂ｝は、Ａ，Ｂのうち大きい値を取得する関数である。この式の場合、上下に隣接する画像のうち輝度勾配の強さが大きい方の値が取得される。方向コードがＤ(ｘ，ｙ)＝２の場合は、閾値Ｔ２はＭａｘ｛Ｅ(ｘ＋１，ｙ＋１)，Ｅ(ｘ−１，ｙ−１)｝により求められる。この式の場合、右下と左上方向に隣接する画像のうち輝度勾配の強さが大きい方の値が取得される。方向コードがＤ(ｘ，ｙ)＝３の場合は、閾値Ｔ２はＭａｘ｛Ｅ(ｘ＋１，ｙ)，Ｅ(ｘ−１，ｙ)｝により求められる。この式の場合、左右方向に隣接する画像のうち輝度勾配の強さが大きい方の値が取得される。方向コードがＤ(ｘ，ｙ)＝４の場合は、閾値Ｔ２はＭａｘ｛Ｅ(ｘ−１，ｙ＋１)，Ｅ(ｘ＋１，ｙ−１)｝により求められる。この式の場合、左下と右上方向に隣接する画像のうちエッジ強度が大きい方の値が取得される。

エッジ除外部１０６は、ステップＳ１０３で、上述のように算出された閾値Ｔ２を用いて判定を行い、エッジ強度Ｅ(ｘ，ｙ)が所定の閾値Ｔ２(ｘ，ｙ)以下である場合、処理をステップＳ１０２に移行させ、Ｐ(ｘ，ｙ)の方向コードであるＤ(ｘ，ｙ)を０とする(ステップＳ１０２)。ステップＳ１０３で、一方、Ｅ(ｘ，ｙ)が所定の閾値Ｔ２(ｘ，ｙ)より大きいと判定した場合、エッジ除外部１０６は処理を行わず処理を終了する。以上の処理を通じて、画素のエッジが細線化される。図２２は、エッジ細線化処理が実施された後の、１つのパターン要素である円周辺の画素に割り当てられた方向コードを示した図である。

図２２に示されるように、各画素のうち、エッジ強度の小さい画素や、エッジの勾配方向において最大値となっていない画素は、方向コードが０となるため、円形の輪郭に沿って、「０」でない方向コードを割り当てられた幅１のエッジの線分が示されるようになる。

次に、ステップＳ４で、評価部１０２は、方向コードが割り当てられた画素のうち、方向コードに応じて画素に対応して定められる閾値Ｑ(ｘ，ｙ)を決定する図地分離閾値決定処理を行う。図地分離閾値とは、画素が前景画素(図画素)と、背景画素(地画素)とのいずれであるかを判別するための閾値である。

図２２において、方向コードが０でない画素は、輝度勾配方向において輝度勾配の強度が最大となっていることから、勾配方向において隣接する２つの画素Ｐ(ｘ，ｙ)は輝度が大きく乖離しており、一方が前景画素、他方が背景画素となっている。したがって、本実施形態では、隣接する２つの画素Ｐ(ｘ，ｙ)の輝度の中間値を図地分離閾値とすることで、画素が背景画素と前景画素のいずれであるかを判別できるようにする。

なお、ここでは、閾値Ｑ(ｘ，ｙ)は各画素ごとに算出されているが、例えば画素をいくつかのグループに区分し、所属するグループの画素の輝度の平均値から、画素の閾値Ｑ(ｘ，ｙ)を算出する方法も採りえる。その場合、同じグループに属する画素においては、共通の閾値Ｑ(ｘ，ｙ)を有することとなる。図２３は、方向コードごとの図地分離閾値を算出する式をまとめた表である。

図２３に示されるように、方向コードＤ(ｘ，ｙ)が１の画素Ｐ(ｘ，ｙ)の場合、図地分離閾値Ｑ(ｘ，ｙ)は、｛Ｐ(ｘ，ｙ−１)＋Ｐ(ｘ，ｙ＋１)｝／２で示される、上下の隣接する２つの画素の中間輝度となる。また、方向コードＤ(ｘ，ｙ)が２の画素Ｐ(ｘ，ｙ)の場合、図地分離閾値Ｑ(ｘ，ｙ)は、｛Ｐ(ｘ−１，ｙ−１)＋Ｐ(ｘ＋１，ｙ＋１)｝／２で示される、左上と右下の隣接する２つの画素の中間輝度となる。また、方向コードＤ(ｘ，ｙ)が３の画素Ｐ(ｘ，ｙ)の場合、図地分離閾値Ｑ(ｘ，ｙ)は、｛Ｐ(ｘ−１，ｙ)＋Ｐ(ｘ＋１，ｙ)｝／２で示される、左と右の隣接する２つの画素の中間輝度となる。また、方向コードＤ(ｘ，ｙ)が４の画素Ｐ(ｘ，ｙ)の場合、図地分離閾値Ｑ(ｘ，ｙ)は、｛Ｐ(ｘ＋１，ｙ−１)＋Ｐ(ｘ−１，ｙ＋１)｝／２で示される、左下と右上の隣接する２つの画素の中間輝度となる。

次に、ステップＳ５で、続いて、評価部１０２は、画素Ｐ(ｘ，ｙ)が前景画素か、背景画素かを判定するための値である図地評価値Ｃ(ｘ，ｙ)を算出する図地評価値算出処理を行う。以下、上述のように算出された図地分離閾値Ｑ(ｘ，ｙ)を用いて、画素Ｐ(ｘ，ｙ)が前景画素か、背景画素かを判定するための値である図地評価値Ｃ(ｘ，ｙ)を算出する処理の流れを図２４により説明する。

図２４に示されるように、まず評価部１０２は、ステップＳ２０１で、図地評価値Ｃ(ｘ，ｙ)を初期化する。また、評価部１０２は、注目画素（方向コードが０ではない画素のうちの１つ）を選択するポインタであるｎの値を１に初期化するとともに、ｒの値にパターン要素である円の半径を代入する。本実施形態においては、画素Ｐ(ｘ，ｙ)を評価する際に、画素Ｐ(ｘ，ｙ)だけではなく、その近傍領域までを含めた範囲を対象に、図地分離閾値Ｑ(ｘ，ｙ)による評価を行う。

図２２で示した、パターン要素の輪郭付近だけが前景画素か背景画素であるかの評価を受けた場合、パターン要素の中心部は評価を受けられないことになってしまう。したがってパターン要素サイズ（ここでは円半径）を反映した領域を近傍領域とすることが望ましい。本実施形態では、パターン要素である円の半径ｒを用い、始点：(ｘ０−ｒ，ｙ０−ｒ)〜終点：(ｘ０＋ｒ，ｙ０＋ｒ)で定められる矩形領域を近傍領域とする。なお近傍領域の設定は、注目画素を中心として上下左右に円の半径ｒに等しい広がりを持つ矩形領域に限定されるものではない。例えば円と同じ面積となるような一辺長さ（＝π^1/2×ｒ）を持つ矩形領域や、１．５×ｒに等しい半径を持つ円形領域等を近傍領域と設定することができる。

次に、ステップＳ２０２で、評価部１０２は、注目画素をｎ番目の画素に設定する。次のステップＳ２０３で、評価部１０２は、代表座標のＹ座標を注目画素のｙ０からｒを減算した座標とし、次のステップＳ２０４で、代表座標のＸ座標を注目画素のｘ０からｒを減算した座標とする。そして、評価部１０２は、次のステップＳ２０５で、近傍領域に属する画素Ｐ(ｘ，ｙ)の輝度が図地分離閾値Ｑ(ｘ０,ｙ０)よりも小さいか否かを判定する。画素Ｐ(ｘ，ｙ)の輝度が図地分離閾値Ｑ(ｘ０,ｙ０)よりも小さい（暗い）と判定された場合、処理がステップＳ２０６に移行され、画素Ｐ(ｘ，ｙ)と対応する図地評価値Ｃ(ｘ，ｙ)が１カウントアップされる。画素Ｐ(ｘ，ｙ)の輝度が図地分離閾値Ｑ(ｘ０,ｙ０)よりも大きい（明るい）と判定された場合、処理がステップＳ２０７に移行される。

ステップＳ２０７で、座標Ｘが近傍領域において最も大きいＸ座標であるｘ０＋ｒであるか否かが判定される。座標Ｘが近傍領域において最も大きいＸ座標であるｘ０＋ｒでないと判定された場合、処理がステップＳ２０８に移行され、評価部１０２はＸを１加算して処理をステップＳ２０５に戻し、次の座標についての図地評価値Ｃ(ｘ，ｙ)を計測する。

一方、座標Ｘが近傍領域において最も大きいＸ座標であるｘ０＋ｒであると判定された場合、処理をステップＳ２０９に移行させ、座標Ｙが近傍領域において最も大きいＹ座標であるｙ０＋ｒであるか否かが判定される。座標ｙが近傍領域において最も大きいＹ座標であるｙ０＋ｒでないと判定された場合、処理をステップＳ２１０に移行させ、評価部１０２はＹを１加算して処理をステップＳ２０４に戻し、次の座標についての図地評価値Ｃ(ｘ，ｙ)を計測する。

一方、座標Ｙが近傍領域において最も大きいＹ座標であるｙ０＋ｒであると判定された場合、処理をステップＳ２１１に移行させ、注目画素がまだ残っているか否かの判定が行われる。注目画素がまだ残っていると判定された場合、処理をステップＳ２１２に移行させ、評価部１０２はｎを１加算して、処理をステップＳ２０２に戻す。一方、注目画素が残っていないと判定された場合、一連の処理が終了される。

図２５は、以上の処理を経てパターン要素を構成する画素毎に図地評価値Ｃ(ｘ，ｙ)が割り当てられた状態を示した図である。このように、各々の円の内部領域にある画素に対する図地評価値Ｃ(ｘ，ｙ)が高くなる。円の内部領域側においては、方向コードが０ではないそれぞれの画素において、近傍領域の範囲に入ることから、結果として評価値の値が高くなるためである。評価部１０２は、各画素に割り当てた図地評価値Ｃ(ｘ，ｙ)の値を図地評価値バッファ１２３に記憶する。

ステップＳ６で、二値化処理部１０３は、二値化処理を実施する。二値化処理部１０３は、図地評価値バッファ１２３に記憶された図地評価値Ｃ(ｘ，ｙ)とあらかじめ定められた正の閾値Ｔ３（第２閾値に相当）を用いて、次式（６）および式（７）に従って二値画像Ｂ(ｘ，ｙ)を算出する。
Ｃ(ｘ，ｙ)＜Ｔ３ ならば Ｂ(ｘ，ｙ)＝０ …（６）
Ｃ(ｘ，ｙ)≧Ｔ３ ならば Ｂ(ｘ，ｙ)＝１ …（７）

閾値Ｔ３＝４を用いて二値化した結果を図２６に示す。以下ではＢ(ｘ，ｙ)＝０にあたる画素を「背景画素」、Ｂ(ｘ，ｙ)＝１にあたる画素を「前景画素」と呼ぶ。図２６に示されるように、パターン要素の円形にそって、前景画素と認識される画素が配置されている。二値化したＢ(ｘ，ｙ)の値は、座標とともに二値画像バッファ１２４に記憶される。

ステップＳ７で、連結成分抽出部１０４は、二値画像Ｂ(ｘ，ｙ)のうち前景画素に対して上下左右に隣り合う図画素同士を１つのグループとして統合するラベリング処理を行う。二値画像に対するラベリング処理としては、既存のラベリング方法を用いる。ここでは、図２６において、「１」で示される画素が、全て連結されて１つの円形のパターン要素の形状に対応する連結成分が抽出される。

ラベリングによって各々固有のラベルを付けられた図画素連結成分が得られる。図２７に示すように、個々の図画素連結成分が１つの円に対応すると考えられるので、第ｉ番目の図画素連結成分を第ｉ番目のパターン要素（円）として出力する。出力されるラベリング結果は、ラベリング結果バッファ１２５に記憶される。

なお、この際に実際に図画素連結成分を画像データとして生成する必要はなく、各画素が連結されていることをデータとして取り扱うことができる状態になっていればよい。その際、１つの円の代表座標(ｘｃ，ｙｃ）として、ここでは、その円に対応する図画素連結成分の外接矩形の始点：(ｘｓ，ｙｓ）と終点：(ｘｅ，ｙｅ)との中点を用いることとする。代表座標（ｘｃ，ｙｃ)は以下の式（８）および式（９）により算出される。
ｘｃ＝(ｘｓ＋ｘｅ)／２ …（８）
ｙｃ＝(ｙｓ＋ｙｅ)／２ …（９）

そして、パターン変換部１０５は、生成された画素連結成分をそれぞれパターン要素として変換し、パターン要素により構成される校正用のパターン画像が取得される。こうして１枚の入力画像をもとに、パターン画像を構成するパターン要素の円が画素連結成分として抽出され、それぞれの円の代表座標が取得される。このようにして取得された校正用パターン画像と、理想パターン画像との差分を算出し、表示画像に対する補正情報を得る。

なお、上述の実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

１０ スクリーン
２０ ＰＣ
３０ プロジェクタ装置
４０ カメラ
５０ 画像補正装置
６０ 画像出力装置
５０２ 補正情報算出部
５０４ 補正部
２０００，３１００ 理想パターン画像
２００１，２００１’，３１０１，３１０２ マーカ
２０１０，３１１０ 校正用パターン画像
３０００，３０００₁，３０００₂，３０００₃，３０００₄ ディスプレイ

特開２００６−２８４９９０号公報

Claims (9)

1. 表示装置と、撮像装置と、画像処理装置とを含む画像処理システムであって、
   前記表示装置は、
   画像を表示媒体に表示させる表示部を備え、
   前記撮像装置は、
   被写体を撮像した撮像画像を出力する撮像部を備え、
   前記画像処理装置は、
   前記表示部により前記表示媒体に表示させるための、予め指定されたパターンを含む第１のパターン画像を取得する第１取得部と、
   前記第１のパターン画像が前記表示部により前記表示媒体に表示された画像を該表示媒体の正面を除いた所望の位置から前記撮像装置で撮像して得られた前記撮像画像を第２のパターン画像として取得する第２取得部と、
   前記第１のパターン画像と前記第２のパターン画像とを比較して、比較結果に応じて対象画像を変形させる画像処理部と
   を備える
   ことを特徴とする画像処理システム。
2. 前記対象画像は、前記撮像部により前記表示部に表示される画像を撮像した撮像画像であって、
   前記画像処理部は、
   前記第２のパターン画像の形状を前記第１のパターン画像の形状に変形させる処理を、前記対象画像に施す
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記対象画像は、前記表示部に表示させるための矩形形状の画像であって、
   前記画像処理部は、
   前記第２のパターン画像に基づく形状を前記第１のパターン画像の形状に変形させる処理を、前記対象画像に施し、
   前記表示部は、
   前記画像処理部により変形された前記対象画像を前記表示媒体に表示させる
   ことを特徴とする請求項１に記載の画像処理システム。
4. 前記表示媒体は、
   表示面が、人の進行方向として想定される方向に対向し、且つ、想定される該人の動線に交わらないように設置される
   ことを特徴とする請求項３に記載の画像処理システム。
5. 前記表示媒体は、第１の表示媒体および第２の表示媒体を含み、
   前記第１の表示媒体および前記第２の表示媒体は、各表示面が、所定位置の人が見たときに互いに連なって見えるように設置され、
   前記表示装置は、
   前記第１の表示媒体および前記第２の表示媒体に対し、１の画像を分割した画像をそれぞれ表示させる
   ことを特徴とする請求項３に記載の画像処理システム。
6. 表示媒体に表示させるための、予め指定されたパターンを含む第１のパターン画像を取得する第１取得部と、
   前記第１のパターン画像が前記表示媒体に表示された画像を該表示媒体の正面を除いた所望の位置から撮像して得られた撮像画像を第２のパターン画像として取得する第２取得部と、
   前記第１のパターン画像と前記第２のパターン画像とを比較して、比較結果に応じて対象画像を変形させる画像処理部と
   を備える
   ことを特徴とする画像処理装置。
7. 表示媒体に表示させるための、予め指定されたパターンを含む第１のパターン画像を取得する第１取得ステップと、
   前記第１のパターン画像が前記表示媒体に表示された画像を該表示媒体の正面を除いた所望の位置から撮像して得られた撮像画像を第２のパターン画像として取得する第２取得ステップと、
   前記第１のパターン画像と前記第２のパターン画像とを比較して、比較結果に応じて対象画像を変形させる画像処理ステップと
   を備える
   ことを特徴とする画像処理方法。
8. 表示媒体に表示させるための、予め指定されたパターンを含む第１のパターン画像を取得する第１取得ステップと、
   前記第１のパターン画像が前記表示媒体に表示された画像を該表示媒体の正面を除いた所望の位置から撮像して得られた撮像画像を第２のパターン画像として取得する第２取得ステップと、
   前記第１のパターン画像と前記第２のパターン画像とを比較して、比較結果に応じて対象画像を変形させる画像処理ステップと
   をコンピュータに実行させるための画像処理プログラム。
9. 画像を表示媒体に表示させる表示部を備える表示装置を含み、
   前記表示部は、
   前記表示部により前記表示媒体に表示させるための、予め指定されたパターンを含む第１のパターン画像と、該第１のパターン画像が前記表示部により前記表示媒体に表示された画像を該表示媒体の正面を除いた所望の位置から撮像装置で撮像して得られた前記撮像画像を第２のパターン画像とを比較して、比較結果に応じて対象画像を変形させた画像を前記表示媒体に表示させる
   ことを特徴とする表示システム。

Images