JP2015206950A - 情報処理装置、情報処理方法、プログラム、調整装置、及び画像表示システム - Google Patents

Abstract

【課題】投射画像の投射位置を高精度に調整することが可能となる情報処理装置、情報処理方法及びプログラム等を提供すること。
【解決手段】所定の画素サイズを有する複数の画素の各々の出力値を取得する取得部と、明部と暗部との境界となる１以上の境界を含む第１のパターン画像を第１の投射装置により投射させ、画素サイズよりも小さい距離を移動単位として、１以上の境界に対応する１以上の対応境界を含む第２のパターン画像を第２の投射装置により投射させる投射制御部とを有する。また情報処理装置は、投射された第１のパターン画像の境界が結像する所定の１以上の基準画素の出力値を基準値として記憶する記憶部と、第１のパターン画像の投射が停止された後に上記の移動単位で投射位置を移動させながら投射された第２のパターン画像における基準画素の出力値と、記憶された基準値とを、投射位置の移動ごとに比較して投射位置を調整する調整部とを有する。
【選択図】図４

Description

本技術は、複数の投射画像の位置を調整するための情報処理装置、情報処理方法、プログラム、調整装置、及び画像表示システムに関する。

従来、複数のプロジェクタによりスクリーン上に複数の画像を投射する技術が用いられている。例えば複数の視差画像を投射することで立体画像を表示する技術や、同じ画像を重ねて投射することで高輝度の画像を表示する技術が知られている。また複数の画像を並べて投射することで大画面での表示が可能となる。

特許文献１に記載の画像投射位置調整装置では、２つの異なるプロジェクタから異なる色のテストパターンが互いに重なり合うように投射される。そして投射された２つのテストパターンがカメラにより撮影され、撮影画像内の色情報の変化をもとに投射位置が調整されている（例えば特許文献１の段落［００４３］−［００６１］図５等）。

特開２０１４−１０２６４号公報

このように複数の画像が投射される際の投射位置を高精度に調整することが求められている。

以上のような事情に鑑み、本技術の目的は、投射画像の投射位置を高精度に調整することが可能となる情報処理装置、情報処理方法、プログラム、調整装置、及び画像表示システムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、投射制御部と、記憶部と、調整部とを具備する。
前記取得部は、所定の画素サイズを有する複数の画素を含む撮像素子から前記複数の画素の各々の出力値を取得する。
前記投射制御部は、明部と暗部との境界となる１以上の境界を含む第１のパターン画像を第１の投射装置により投射させることが可能であり、前記所定の画素サイズよりも小さい距離を投射位置の移動単位として、前記１以上の境界に対応する１以上の対応境界を含む第２のパターン画像を第２の投射装置により投射させることが可能である。
前記記憶部は、前記第１の投射装置により投射された前記第１のパターン画像を撮影する前記撮像素子から取得された、前記境界が結像する所定の１以上の基準画素の出力値を基準値として記憶する。
前記調整部は、前記第１のパターン画像の投射が停止された後に前記第２の投射装置により前記移動単位で前記投射位置を移動させながら投射された前記第２のパターン画像を撮影した前記撮像素子から取得された前記所定の基準画素の出力値と、前記記憶された基準値とを、前記投射位置の移動ごとに比較して前記投射位置を調整する。

本技術では、画素サイズよりも小さい距離を移動単位として投射位置を移動させながら第２のパターン画像が投射される。そしてその際に撮像素子から基準画素の出力値が取得される。第２のパターン画像の対応境界が基準画素に結像される際には、基準画素に結像される明部の大きさの変位に応じて出力値が変位する。従って基準画素の出力値と基準値とを比較することで、第１のパターン画像の境界と、第２のパターン画像の対応境界とを基準として、高精度に投射位置を調整することができる。

前記１以上の境界は、第１の方向に延在する第１の境界を有してもよい。この場合、前記１以上の対応境界は、前記第１の方向に延在する第１の対応境界を有してもよい。また前記投射制御部は、前記第１の方向に直交する第２の方向に沿って前記投射位置を前記移動単位で移動させることが可能であってもよい。
これにより第２の方向において高精度に投射位置を調整することが可能となる。

前記１以上の境界は、前記第２の方向に延在する第２の境界を有し、
前記１以上の対応境界は、前記第１の方向に延在する第２の対応境界を有し、
前記投射制御部は、前記第１及び前記第２の方向の各々に沿って、前記投射位置を前記移動単位で移動させることが可能である
情報処理装置。
これにより第１及び第２の方向において高精度に投射位置を調整することが可能となる。

前記１以上の基準画素は、前記第１の境界が結像する第１の基準画素と、前記第２の境界が結像する第２の基準画素とを有してもよい。この場合、前記第１及び前記第２の基準画素は、前記第１の境界と前記第２の境界との交点を調整ポイントとして、当該調整ポイントが結像される画素を基準として設定されてもよい。
これにより調整ポイントを基準として高精度に投射位置を調整することが可能となる。

前記第１のパターン画像は、前記第１及び前記第２の方向の各々に沿って前記明部及び前記暗部が交互に配置されたチェッカーパターンであってもよい。この場合、前記第１の基準画素は、前記チェッカーパターンの交点が結像する画素から第１の方向に沿って互いに異なる向きに所定の画素分離れた２つの画素であってもよい。また前記第２の基準画素は、前記チェッカーパターンの交点が結像する画素から第２の方向に沿って互いに異なる向きに所定の画素分離れた２つの画素であってもよい。
このようにチェッカーパターンが有する複数の交点をそれぞれ調整ポイントとして、各調整ポイントを基準として４つの基準画素が設定される。これにより高精度に投射位置を調整することができる。

前記第２のパターン画像は、前記第１のパターン画像と同じ画像であってもよい。
これにより第１の投射装置からの投射画像と、第２の投射装置からの投射画像とを、高い精度で重ねあわせることができる。

本技術の一形態に係る情報処理方法は、所定の画素サイズを有する複数の画素を含む撮像素子から前記複数の画素の各々の出力値を取得することが可能なコンピュータによる情報処理方法であって、
明部と暗部との境界となる１以上の境界を含む第１のパターン画像を第１の投射装置により投射させることを含む。
前記第１の投射装置により投射された前記第１のパターン画像を撮影する前記撮像素子から取得した、前記境界が結像する所定の１以上の基準画素の出力値が基準値として記憶される。
前記第１のパターン画像の投射を停止させた後に、前記所定の画素サイズよりも小さい距離を投射位置の移動単位として、前記１以上の境界に対応する１以上の対応境界を含む第２のパターン画像が、前記投射位置を移動させながら第２の投射装置により投射される。
前記投射された前記第２のパターン画像を撮影した前記撮像素子から取得した前記所定の基準画素の出力値と、前記記憶された基準値とが、前記投射位置の移動ごとに比較されることで前記投射位置が調整される。

本技術の一形態に係るプログラムは、所定の画素サイズを有する複数の画素を含む撮像素子から前記複数の画素の各々の出力値を取得することが可能なコンピュータに、以下のステップを実行させる。
明部と暗部との境界となる１以上の境界を含む第１のパターン画像を第１の投射装置により投射させるステップ。
前記第１の投射装置により投射された前記第１のパターン画像を撮影する前記撮像素子から取得された、前記境界が結像する所定の１以上の基準画素の出力値を基準値として記憶するステップ。
前記第１のパターン画像の投射を停止させた後に、前記所定の画素サイズよりも小さい距離を投射位置の移動単位として、前記１以上の境界に対応する１以上の対応境界を含む第２のパターン画像を、前記投射位置を移動させながら第２の投射装置により投射させるステップ。
前記投射された前記第２のパターン画像を撮影した前記撮像素子から取得された前記所定の基準画素の出力値と、前記記憶された基準値とを、前記投射位置の移動ごとに比較して前記投射位置を調整するステップ。

本技術の一形態に係る調整装置は、撮像素子と、投射制御部と、記憶部と、調整部とを具備する。
前記撮像素子は、所定の画素サイズを有する複数の画素を含む。
前記投射制御部は、明部と暗部との境界となる１以上の境界を含む第１のパターン画像を第１の投射装置により投射させることが可能であり、前記所定の画素サイズよりも小さい距離を投射位置の移動単位として、前記１以上の境界に対応する１以上の対応境界を含む第２のパターン画像を第２の投射装置により投射させることが可能である。
前記記憶部は、前記第１の投射装置により投射された前記第１のパターン画像を撮影する前記撮像素子から出力された、前記境界が結像する所定の１以上の基準画素の出力値を基準値として記憶する。
前記調整部は、前記第１のパターン画像の投射が停止された後に前記第２の投射装置により前記移動単位で前記投射位置を移動させながら投射された前記第２のパターン画像を撮影した前記撮像素子から出力された前記所定の基準画素の出力値と、前記記憶された基準値とを、前記投射位置の移動ごとに比較して前記投射位置を調整する。

本技術の一形態に係る画像表示システムは、投射部と、前記撮像素子と、前記投射制御部と、前記記憶部と、前記調整部とを具備する。
前記投射部は、画像を投射可能な第１の投射装置及び第２の投射装置を有する。

以上のように、本技術によれば、投射画像の投射位置を高精度に調整することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の一実施形態に係る画像表示システムの構成例を示す概略図である。 画像処理装置、基準プロジェクタ、及び調整プロジェクタの各動作例を示すシーケンス図である。 画像処理装置、基準プロジェクタ、及び調整プロジェクタの各動作例を示すシーケンス図である。 画像処理装置２０の動作例を示すフローチャートである。 画像処理装置２０の動作例を示すフローチャートである。 ウィンドウパターンの構成例を示す概略図である。 ウィンドウパターンの一部を拡大した拡大図である。 調整用チェッカーパターンの構成例を示す概略図である。 調整画素の検出を説明するための拡大図である。 １以上の基準画素の検出を説明するための拡大図である。 本実施形態に係る画歪調整の概要を説明するための図である。 本実施形態に係る画歪調整の概要を説明するための図である。 本実施形態に係る画歪調整の概要を説明するための図である。 画素サイズよりも小さい移動単位にて投射位置を移動させた場合における出力値について説明するための図である。 本技術を用いた投射位置の調整の他の例を説明するための概略図である。 本技術を用いた投射位置の調整の他の例を説明するための概略図である。 本技術に係る調整用のパターン画像の他の構成例を示す概略図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［画像表示システムの構成］
図１は、本技術の一実施形態に係る画像表示システムの構成例を示す概略図である。画像表示システム１００は、スクリーン１等に画像を投射可能な複数のプロジェクタ（投射装置）１０と、各プロジェクタ１０の動作を制御可能な画像処理装置（調整装置）２０と、各プロジェクタ１０に投射対象となる画像の情報を含む映像信号を供給する映像供給装置３０とを有する。映像供給装置３０は、静止画像及び動画像の両方を含む映像信号を各プロジェクタ１０に供給可能である。

プロジェクタ１０は、例えばプレゼンテーション用、もしくはデジタルシネマ用のプロジェクタとして用いられる。プロジェクタ１０は、図示しない光源と、映像信号をもとに光源からの光を変調する光変調素子と、光変調素子により変調された変調光（画像）を投射する投射部とを有する（いずれも不図示）。光源としては、例えばＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の固体光源が用いられる。光変調素子としては、例えば液晶パネルやデジタルマイクロミラーデバイス（ＤＭＤ）等が用いられる。

本実施形態では、複数のプロジェクタ１０の各々からカラー画像１１が投射される。複数の画像１１が所定の投射位置で同時に投射されることで、例えば立体画像の表示、高輝度の画像の表示、あるいは大画面での画像表示が実現される。なお全てのプロジェクタ１０から常に同時に画像が表示される場合に限定されない。

本実施形態では、同じ機種のプロジェクタ１０が複数並べられて使用される。各プロジェクタ１０は、いわゆる４Ｋハイビジョンや８Ｋスーパーハイビジョンと呼ばれる高解像度の画像を表示可能である。そして電気的補正ブロックとして１／４ピクセル単位で画像１１の投射位置を制御することが可能である。すなわち１／４ピクセル単位を移動単位として投射位置を移動させることができる。投射位置を移動させるための具体的な構成や方法は限定されない。

複数のプロジェクタ１０により、本実施形態に係る投射部１２が実現される。投射部１２の具体的な構成は上記したものに限定されず適宜設定されてよい。各プロジェクタ１０の具体的な構成、投射される画像１１の解像度、投射位置の制御の移動単位等も適宜設定されてよい。複数のプロジェクタ１０内に異なる機種のプロジェクタが含まれてもよい。また画像１１を投射する投射装置として、プロジェクタ１０以外の装置が用いられてもよい。

映像供給装置３０は、例えばＰＣ（Personal Computer）により実現可能である。映像供給装置３０内には、映像信号を記憶して各プロジェクタ１０に送信するメディアサーバ３１が構成されている。また映像供給装置３０には、本技術で用いられる投射位置の調整用のパターン画像等が、その他の映像信号のソース３２として格納されている。調整用のパターン画像は、各プロジェクタ１０に内蔵されていてもよい。

映像供給装置３０の具体的な構成は限定されない。映像を供給するための方法や構成、プロジェクタ１０との接続形態や通信方法等は、適宜設定されてよい。例えばネットワーク等を介して各装置が接続されてもよい。

画像処理装置２０は、プロジェクタ１０により投射された画像１１を撮影するカメラ（撮像装置）２１と、ユーザの操作を受け付ける操作部２２と、撮像された画像１１や種々のパラメータ等を記憶する記憶部２３と、種々の制御及び演算を実行する制御部２４とを有する。

カメラ２１は、所定の画素サイズ（ピクセルサイズ）を有する複数の画素を含む撮像素子を有する（いずれも不図示）。撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサが用いられる。

本技術では、カメラ２１として、画素サイズが投射位置の移動単位よりも大きいものが用いられる。逆に言うと、投射画像１１を撮影する撮像素子の画素サイズよりも小さい距離を移動単位として、投射位置の移動が実行される。従って複数回の移動が実行されることで、その移動量が、撮像素子の画素サイズに等しくなる、あるいは画素サイズを超えることになる。

典型的には、カメラ２１として、プロジェクタ１０の解像度よりも小さい解像度のカメラが用いられる。例えば４Ｋの画像を投射可能なプロジェクタ１０に対して、１９２０×１０８０（pixel）の解像度を有するＨＤカメラが用いられる。本技術では、このような解像度が小さいカメラ２１を用いて、高解像度の投射画像１１の投射位置を高精度に調整することが可能となる。なおプロジェクタ１０とカメラ２１との解像度が上記した関係である場合に限定されず、撮像素子の画素サイズよりも小さい距離で投射位置が調整される場合には、本技術を適用可能である。

またカメラ２１の解像度がプロジェクタ１０の解像度よりも高く、撮像素子上に結像された投射画像の移動単位よりカメラ２１の本来の画素サイズが小さい場合でも、複数の画素を疑似的に１画素とみなすことにより、本技術を適用することが可能である。例えば複数の画素の出力を合算することで、これらを疑似的に１画素とみなすことができる。この場合、疑似的に１画素とみなされた画素のサイズが本技術に係る画素サイズとなる。

なお本開示では、カラー画像１１を形成する単位となる１つの画素（単位画素）を基準として説明を行う。単位画素を構成する副画素（サブピクセル）からの出力値を用いて本技術が実行されてもよい。

操作部２２は、例えば液晶、ＥＬ（Electro-Luminescence）等を用いた表示デバイスからなるディスプレイ２６と、これと一体的に構成されたタッチパネル２７とを有する。

記憶部２３は、例えばＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）等からなり、フレームメモリとして機能する。また記憶部８０には、撮像素子から出力された複数の画素の各々の出力値が記憶される。

制御部２４は、画像処理装置２０内の各ブロックの動作を制御する。また制御部２４は、所定のコマンドを各プロジェクタ１０に出力することで、各プロジェクタ１０の動作を制御することが可能である。なお画像処理装置２０と各プロジェクタ１０との接続形態や通信方法は限定されない。また各プロジェクタ１０の動作を制御するための構成や方法も限定されない。

制御部２４は、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ等を有し、ＣＰＵがＲＯＭに予め記録されているプログラムをＲＡＭにロードして実行することにより、所定の処理が実行される。またＣＰＵが所定のプログラムを実行することで、所定の機能ブロックが実現される。制御部２４の具体的な構成は限定されず、任意のハードウェア及びソフトウェアが用いられてよい。本実施形態では、制御部２４により、取得部、投射制御部、及び調整部が実現される。

プログラムは、例えば記録媒体を介してインストールされてもよいし、グローバルネットワーク等を介してインストールされてもよい。またプログラムは、時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

［画像表示システムの動作］
画像表示システム１００の動作として、主に投射位置の調整について説明する。図２及び図３は、画像処理装置２０、基準プロジェクタ（Reference Projector）１５、及び調整プロジェクタ（Adjustment Projector）１６の各動作例を示すシーケンス図である。図４及び図５は、画像処理装置２０の動作例を示すフローチャートである。

本技術では、２つのプロジェクタ１０のうちの一方が基準プロジェクタ１５に設定され、他方が調整プロジェクタ１６に設定される。そして基準プロジェクタ１５により投射された投射画像１１に対して、調整プロジェクタ１６の投射画像１１の投射位置が調整される。なお基準プロジェクタ１５及び調整プロジェクタ１６は、本実施形態において、第１の投射装置及び第２の投射装置にそれぞれ相当する。

複数のプロジェクタ１０に対して、基準プロジェクタ１５及び調整プロジェクタ１６をどのように設定するかは任意に定められてよい。例えば１つのプロジェクタ１５を基準プロジェクタとして設定し、その他のプロジェクタ１０が調整プロジェクタ１６として設定される。あるいは、基準プロジェクタ１５及び調整プロジェクタ１６のペアが順次選択されてもよい。互いの調整位置を調整し合うことが必要な２つプロジェクタ１０に対して、いずれか一方が基準プロジェクタ１５として設定され、他方が調整プロジェクタ１６として設定されればよい。

まず基準プロジェクタ１５によりホワイトフラットパターンが表示される（ステップ１０１）。ホワイトフラットパターンは、全ての画素が白色で表示されたパターン画像である。なお調整プロジェクタ１６からのテストパターンの投射は停止される（ステップ１０２）。

スクリーン１に投射されたホワイトフラットパターンを基準として、制御部２４により、カメラ２１のズーム（画角）が調整される（ステップ１０３）。典型的には、基準プロジェクタ１５からの投射画像の全体が撮影範囲に含まれるように、ズームが調整される。ズームを調整するためにホワイトフラットパターンとは異なるパターン画像が用いられてもよい。

基準プロジェクタ１５によりチェッカーパターンが表示される（ステップ１０４）。当該チェッカーパターンを基準として、制御部２４によりカメラ２１のフォーカスが調整される（ステップ１０５）。フォーカスの調整方法等は限定されず、またフォーカス調整用のパターン画像も限定されない。

基準プロジェクタ１５により再びホワイトフラットパターンが表示される（ステップ１０６）。当該ホワイトフラットパターンを基準として、制御部２４により、カメラ２１のホワイトバランスが調整される（ステップ１０７）。ホワイトバランスを調整するために他のパターン画像が投射されてもよい。

基準プロジェクタ１５によりグリーンフラットパターンが表示される（ステップ１０８）。グリーンフラットパターンは、全ての画素が緑色で表示されたパターン画像である。グリーンフラットパターンを基準として、制御部２４により、カメラ２１のアイリスが調整される（ステップ１０９）。アイリスを調整するために他のパターン画像が投射されてもよい。

基準プロジェクタ１５によりウィンドウパターンが表示される（ステップ１１０）。ウィンドウパターンは、基準プロジェクタ１５により投射される画像内の特定の位置を画像処理装置２０が検出するためのパターン画像である。

図６は、ウィンドウパターン４０の構成例を示す概略図である。図７は、ウィンドウパターン４０の一部を拡大した拡大図である。図７では、拡大した部分が矩形状で図示されているが、もちろんその外側にもパターン画像が続いている。このことは以下に示す拡大図でも同様である。

本実施形態では、ウィンドウパターン４０として、中央に矩形状のウィンドウ４１を有するパターン画像が表示される。ウィンドウ４１の内部４２は白色で表示され、ウィンドウ４１の外部４３は黒色で表示される（図中では、濃いグレーで図示されている）。

ウィンドウパターン４０を撮影した撮影画像をもとに、ウィンドウ４１の左上の端部４４が検出される（ステップ１１１）。図７では、ウィンドウパターン４０を撮影する撮像素子の複数の画素２８が模式的に図示されている。この複数の画素２８のうちの、ウィンドウ４１の左上の端部４４が結像する画素が検出される。これは複数の画素２８の各々の出力値から検出可能である。以下のこの画素を端部対応画素３５と記載する。

基準プロジェクタ１５により調整用チェッカーパターン（第１のパターン画像）が表示される（ステップ１１２）。調整用チェッカーパターンは、基準プロジェクタ１５及び調整プロジェクタ１６の投射位置を調整するために投射されるパターン画像である。

図８は、調整用チェッカーパターンの構成例を示す概略図である。調整用チェッカーパターン５０は、複数の明部５１と、複数の暗部５２と、１以上の境界５３とを有する。明部５１は緑色で表示され、暗部５２は黒色で表示される。明部５１と暗部５２との間が１以上の境界５３となる。

図８に示すように、本実施形態では、調整用チェッカーパターン５０は、ｘ軸方向（第１の方向）及びｙ軸方向（第２の方向）の各々に沿って明部５１及び暗部５２が交互に配置されてなる。明部５１及び暗部５２の各形状やサイズ、配置位置等は適宜設定されてよい。

また１以上の境界５３のうち、ｘ軸方向に延在する境界は第１の境界５３ａとなり、ｙ軸方向に延在する境界は第２の境界５３ｂとなる。投射制御部として機能する制御部２４は、ｘ軸及びｙ軸方向の各々に沿って、各プロジェクタ１０の投射位置をでそれぞれ移動させることが可能である。

ｘ軸方向に延在する第１の境界５３ａと、ｙ軸方向に延在する第２の境界５３ｂとの交点は、調整ポイント５５として設定される。調整ポイント５５は、投射位置の調整の基準となるポイントである。基準プロジェクタ１５により調整用チェッカーパターン５０が表示される際には、図８に示すように、調整ポイント５５を示す枠５６等が重畳して表示されてもよい。これによりユーザがどのポイントを基準として調整が行われるかを把握することができる。なお調整用チェッカーパターン内の交点の全てが調整ポイント５５として設定されてもよいし、一部の交点が調整ポイント５５として設定されてもよい。

調整用チェッカーパターン５０を撮影した撮影画像をもとに、調整用チェッカーパターン５０内の調整ポイント５５の全点が検出される（ステップ１１３、図４のステップ２０１）。すなわち複数の画素２８のうちの調整ポイント５５が結像する画素（以下調整画素と記載する）が検出される。

図９は、調整画素の検出を説明するための拡大図である。調整画素６０の検出は、ステップ１１１にて検出されたウィンドウ４１の左上の端部４４に対応する端部対応画素３５をもとに実行される。例えば図８に示す中央の調整ポイント５５ａを検出する際には、端部対応画素３５の右下に向けて、各画素２８の出力値をもとに、調整画素６０が検出される。

例えば端部対応画素３５からｘ軸方向に沿って、出力値が緑色に対応する出力値（以下高出力値と記載する）と黒色に対応する出力値（以下低出力値と記載する）の間となる画素が検出される。当該画素からｙ軸方向に沿って、さらに出力値が変位する画素が調整画素６０として検出される。その他の方法により調整画素が検出されてもよい。

図６に示すウィンドウパターン４０は、調整画素６０の検出のために適宜その形状等が設定されてよい。例えば調整用チェッカーパターン５０において、境界５３上ではない位置、すなわち明部５１又は暗部５２内に含まれる位置が特定可能なように、ウィンドウパターン４０が設定される。また投射画像１１内の位置が特定可能であるのならばウィンドウパターン４０以外のパターン画像が用いられてもよい。

なおウィンドウパターン４０等のパターン画像が用いられず、調整用チェッカーパターン５０から直接調整ポイント５５が結像する調整画素６０が検出されてもよい。一方で、ウィンドウパターン４０が用いられることで、調整画素６０の検出精度を向上させることができる。

調整画素６０を基準として、調整用チェッカーパターン５０内の境界５３が結像する１以上の基準画素が検出される（ステップ１１４、ステップ２０２）。図１０は、１以上の基準画素６５の検出を説明するための拡大図である。本実施形態では、調整画素６０を点対称の中心として、調整画素６０から一定の画素分上下左右に離れた画素２８が基準画素６５として検出される。

１以上の基準画素６５は、第１の境界５３ａが結像する第１の基準画素６５ａと、第２の境界５３ｂが結像する第２の基準画素６５ｂとを有する。図１０に示すように、第１の基準画素６５ａは、調整画素６０からｘ軸方向に沿って互いに異なる向きに所定の画素分離れた２つの画素２８からなる。また第２の基準画素６５ｂは、調整画素６０からｙ軸方向に沿って互いに異なる向きに所定の画素分離れた２つの画素２８からなる。従って調整画素６０を点対称の中心として、４つの基準画素６５が設定されることになる。１以上の基準画素６５は、全ての調整画素６０に対して同様に設定される。また調整画素６０からの距離は適宜設定されてもよい。

またステップ１１４及びステップ２０２では、１以上の基準画素６５からの出力値が測定される。測定された出力値は、基準値として記憶部２３に記憶される。

基準プロジェクタ１５による調整用チェッカーパターン５０の投射が停止される（ステップ１１５）。そして投射位置の調整が実行される（ステップ１１６、ステップ２０３）。以下、投射位置の調整の概要を説明するが、当該調整を画歪調整と記載する場合がある。

図１１−図１４は、本実施形態に係る画歪調整の概要を説明するための図である。以下では、説明を分かりやすくするために、略中央に１つの交点を有する調整用チェッカーパターン５０が用いられるとする。すなわち当該チェッカーパターン５０が基準プロジェクタ１５により表示され（破線で図示）、調整ポイント５５に対応する調整画素６０を基準として、４つの基準画素６５が設定されたとする。

その後、調整用チェッカーパターン５０の投射が停止され、調整プロジェクタ１６により、同じ調整用チェッカーパターン７０（第２のパターン画像）が表示される（実線で表示）。この調整用チェッカーパターン７０内のｘ軸方向に延在する境界が、第１の対応境界７３ａに相当する。またｙ軸方向に延在する境界が、第２の対応境界７３ｂに相当する。すなわち基準プロジェクタ１５により表示される調整用チェッカーパターン５０内の第１及び第２の境界５３ａ及び５３ｂと同じ位置にある境界は、調整プロジェクタ１６により表示される調整用チェッカーパターン７０において第１及び第２の対応境界７３ａ及び７３ｂとなる。

調整用チェッカーパターン７０は、撮像素子の画素サイズＳよりも小さい移動単位で投射位置を移動されながら投射される（図１１の矢印Ａ参照）。この際、調整用チェッカーパターン７０を撮影する撮像素子から取得された４つの基準画素６５の各出力値と、記憶部２３に記憶された４つの基準値がそれぞれ比較される。そしてその比較結果をもとに、投射位置の調整が実行される。この処理は、調整部として機能する制御部２４により実行される。

例えば図１２に示す拡大図のように、調整ポイント７５がずれた位置となるように、調整プロジェクタ１６により調整用チェッカーパターン７０が投射されたとする。この際２つの第１の基準画素６５ａと、２つの第２の基準画素６５ｂの各出力値は、以下のようになる。
右側の第１の基準画素６５ａ…低出力値
左側の第１の基準画素６５ａ…高出力値
上側の第２の基準画素６５ｂ…高出力値
下側の第２の基準画素６５ｂ…低出力値

この結果をもとに、調整用チェッカーパターン７０を移動させる方向を検出することが可能である。図１２に示す例では、投射位置の移動方向として左上へ向かう方向が算出可能である。その方向に投射位置を移動させることで、図１３に示すように、第１の対応境界７３ａが、２つの第１の基準画素６５ａ内に結像される位置に移動される位置に移動される。また第２の対応境界７３ｂが、２つの第２の基準画素６５ｂ内に結像される位置に移動される。なお１方向への調整が終了してからもう一方の方向への調整が実行されてもよい。その場合、第１及び第２の対応境界７３ａ及び７３ｂのいずれかがまず基準画素６５に結像される位置に移動される。

投射位置の移動単位は、画素サイズＳよりも小さいので、基準画素６５に対応境界７３が結像される位置の中で、さらに投射位置の調整が必要となる。本実施形態では、各基準画素６５の出力値が記憶部２３に記憶された基準値に近づくように、投射位置が調整される。このように基準値を基準とした投射位置の調整が可能となる。

図１４は、画素サイズＳよりも小さい移動単位にて投射位置を移動させた場合における出力値について説明するための図である。例えば図１４Ａに示すように、ｘ軸方向でのサイズが画素サイズＳよりも小さいライン画像Ｌを画素２８（１）から画素２８（４）まで移動させるとする。この場合図１４Ｂに示すように、ライン画像Ｌの移動にともなう画素の出力値は不安定となり、出力値からライン画像Ｌの位置を特定することは非常に難しい。

一方図１４Ｃに示すように、画素サイズＳよりも大きいブロック画像Ｂをｘ軸方向に沿って画素２８（１）から画素２８（４）まで移動させるとする。この場合、結像されるブロック画像Ｂの面積分値が、画素からの出力値として測定可能となる。すなわちブロック画像Ｂの移動量と、ブロック画像Ｂが進入する画素からの出力値とが、略リニアな関係となる。

本発明者は、このブロック画像の移動量と単一画素の出力値との相関性を新たに見出し、これをもとに、記憶部２３に記憶された基準値を参照しながら調整用チェッカーパターン７０を移動させる、本技術に係る投射位置の調整を考案した。出力値の傾きを安定させることで、記憶された基準値をもとに高精度の位置調整が可能となる。これにより撮像素子の画素サイズＳよりも小さい微小単位にて高精度に投射位置の調整が可能となる。

調整用チェッカーパターン５０（７０）の明部５１及び暗部５２のサイズは、画素サイズＳよりも大きいことが条件となるが、チェッカーパターンを形成することにより、その条件はほぼ満たされることになる。

図８に示す調整用チェックパターン５０には、複数の調整ポイント５５が設定されている。図４のステップ２０４に示すように、全調整ポイント５５にて調整が実行される。これにより高い精度での画歪調整が可能となる。なお調整ポイント５５の数は限定されない。

図３のステップ１１６内、及び図５のフローチャートを参照して、投射位置の調整の他の例を説明する。まず調整プロジェクタ１６により調整用チェッカーパターン７０が表示される（ステップ１１７）。４つの基準画素６５の各出力値が測定され（ステップ１１８、ステップ３０１）、投射位置の移動方向が算出される（ステップ１１９、ステップ３０２）。

本例では、移動方向が算出される際に、画歪調整値が設定される。画歪調整値は、予め設定された値であり、所定の値から１未満の値に所定の規則に従って減少していく値である。例えば１２８から順に半分となる値（１２８、６４、３２…１）のような値が用いられる。画歪調整値の設定方法は限定されない。

ステップ３０３にて、画歪調整値が１未満であるか否かが判定される。当該判定がＮｏの場合には、上下方向のいずれかを正の向きとして、また左右方向のいずれかを正の向きとして、画歪調整値に符号をつけた値が、画歪調整コマンドとして調整プロジェクタ１６に出力される（ステップ１２０、ステップ３０４）。当該画歪調整コマンド値をもとに、投射位置が調整される（ステップ１２１）。例えば上下方向において上向きをプラスとして、＋１２８のコマンド値が出力された場合には、投射位置が上向きに（移動単位×１２８）分の距離で移動される。以下、画歪調整値が１未満に収束するまで当該処理が繰り返される。このような処理により、演算量を抑えつつも高い精度で画歪を調整することが可能となる。

以上、本技術では、画素サイズＳよりも小さい距離を移動単位として投射位置を移動させながら調整用チェックパターン７０が投射される。そしてその際に撮像素子から基準画素６５の出力値が取得される。調整用チェックパターン７０の対応境界７３が基準画素６５に結像される際には、基準画素６５に結像される明部５１の大きさの変位に応じて出力値が変位する。従って基準画素６５の出力値と記憶部２３に記憶された基準値とを比較することで、境界５３及び対応境界７３を基準として、高精度に投射位置を調整することができる。

例えば上記した特許文献１等に記載の技術が用いられる場合、原理的にカメラの解像度以上の精度で位置調整を行うことが難しい。また一般的なカメラはベイヤ配列カラーフィルタの構造上、色の解像度が輝度の解像度と比較して１／２となるため、位置調整精度がカメラの撮像素子のスペックに大きく依存してしまう。このため、例えば複数の投射装置の画像をタイリングして擬似的に投射画像の解像度を増やした場合に調整精度を保てず、スケーラブルに対応できない問題がある。また、仮にカメラをズームして擬似的に解像度を上げた場合、複数の調整ポイントごとに調整を繰返すこととなり調整時間が長くなったり、調整ポイントの探索のためにシステムが煩雑になる問題がある。

これに対し本技術では、カメラ２１の解像度以上の精度で投射位置を調整することが可能であり、カメラ２１の解像度に依存しない高精度な調整が可能である。また調整ポイント５５ごとにズームを行うことが不要であり、調整用チェックパターン５０及び７０の全域を一括撮影するだけで、画像内の複数の調整ポイント５５の位置調整が可能となる。この結果、調整時間の短縮を図ることができる。なおカメラ２１の解像度が小さくなるほど、面積分値のサンプリングポイントが多くなるので、調整精度が向上することも起こり得る。

また調整ポイント５５を点対称の中心として、上下左右に離れた境界部分を検出対象とすることで、上下左右における調整方向を同時に検出することができる。これにより処理時間のさらなる短縮を図ることができる。

また上記した特許文献１等では、２つの画像が同時に投射され、それらの画像の重なり具合をもとに位置調整が実行される。この場合、画像同士が重なり合うことでノイズ等が発生してしまい、正確な位置調整が難しくなることが考えられる。本技術では、基準プロジェクタ１５による調整用チェックパターン５０の投射が停止された後に、調整プロジェクタ１６により調整用チェックパターン７０が投射される。そして当該調整用チェックパターン７０を移動させることで投射位置の調整が実行される。すなわち画像を重なり合わせて表示する必要がないので、ノイズ等の問題が発生することもなく、高い調整精度を実現させることができる。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

図１５は、本技術を用いた投射位置の調整の他の例を説明するための概略図である。上記では、２つの画像を同じ位置に重ねあわせる場合を例にして投射位置の調整を説明した。これに限定されず、図１５に示すように、２つの画像が接続される場合にも本技術は適用可能である。

図１５に示すように基準プロジェクタ（Projector1）により投射された投射画像８１の右端ののりしろ領域８２と、調整プロジェクタ（Projector2）により投射された投射画像８３の左端ののりしろ領域８４とが重ね合わされるとする。この場合、各のりしろ領域８２及び８４にチェッカーパターンがそれぞれ設定された第１のパターン画像８５及び第２のパターン画像８６が用いられればよい。もちろん画像全体にチェッカーパターンが形成され、位置を合わせられる調整ポイントが適宜選択されてもよい。

接続される画像の数は限定されず、図１６に示すように、４つの画像９０が接続されてもよい。この場合にも、のりしろ領域９１にチェッカーパターンを設定することで、本技術を適用して高精度に画像を接続することができる。また４Ｋや８Ｋの高解像度の画像が接続される場合でも、接続部分をズームする必要はなく、全域を一括撮影することで、容易に投射位置を調整することができる。

図１７は、本技術に係る調整用のパターン画像の他の構成例を示す概略図である。このパターン画像９５は、ｙ軸方向に延在する境界９６のみを有する。例えば一方向のみの調整が必要な場合等では、当該調整方向に直交する方向に延在する境界を少なくとも含むパターン画像が用いられればよい。図１７に示すパターン画像９５を用いることで、ｘ軸方向における位置調整が可能となる。

チェッカーパターンの明部及び暗部の色は限定されず、境界にて輝度が変化するパターン画像が適宜用いられてよい。なお明部を白色で表示する場合には、レジストレーションのずれが発生する可能性があるが、上記したように明部を緑色で表示することでそのような問題を回避することができる。

基準プロジェクタにより投射される第１のパターン画像と、調整プロジェクタにより投射される第２のパターン画像とが全く同じ画像である場合に限られない。例えば調整ポイントの近傍に含まれない、調整処理に関係のない部分が互いに異なっていても問題ない。

投射位置の調整の終了後に、各調整ポイントにおける誤差が一覧で表示されてもよい。これにより調整精度を把握することが可能となる。また基準プロジェクタと調整プロジェクタとを入れ替えて再度調整処理が実行されてもよい。これにより撮像素子のノイズ等による測定誤差の影響を軽減させることができる。

図１に示す画像処理装置が、互いに独立して機能するカメラと、これに接続されたＰＣ等のコンピュータとにより実現されてもよい。この場合ＰＣ等が、本技術に係る取得部、投射制御部、記憶部、及び調整部を含む、本技術に係る情報処理装置として機能する。

なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。

なお、本技術は以下のような構成も採ることができる。
（１）所定の画素サイズを有する複数の画素を含む撮像素子から前記複数の画素の各々の出力値を取得する取得部と、
明部と暗部との境界となる１以上の境界を含む第１のパターン画像を第１の投射装置により投射させることが可能であり、前記所定の画素サイズよりも小さい距離を投射位置の移動単位として、前記１以上の境界に対応する１以上の対応境界を含む第２のパターン画像を第２の投射装置により投射させることが可能である投射制御部と、
前記第１の投射装置により投射された前記第１のパターン画像を撮影する前記撮像素子から取得された、前記境界が結像する所定の１以上の基準画素の出力値を基準値として記憶する記憶部と、
前記第１のパターン画像の投射が停止された後に前記第２の投射装置により前記移動単位で前記投射位置を移動させながら投射された前記第２のパターン画像を撮影した前記撮像素子から取得された前記所定の基準画素の出力値と、前記記憶された基準値とを、前記投射位置の移動ごとに比較して前記投射位置を調整する調整部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記１以上の境界は、第１の方向に延在する第１の境界を有し、
前記１以上の対応境界は、前記第１の方向に延在する第１の対応境界を有し、
前記投射制御部は、前記第１の方向に直交する第２の方向に沿って前記投射位置を前記移動単位で移動させることが可能である
情報処理装置。
（３）（２）に記載の情報処理装置であって、
前記１以上の境界は、前記第２の方向に延在する第２の境界を有し、
前記１以上の対応境界は、前記第１の方向に延在する第２の対応境界を有し、
前記投射制御部は、前記第１及び前記第２の方向の各々に沿って、前記投射位置を前記移動単位で移動させることが可能である
情報処理装置。
（４）（３）に記載の情報処理装置であって、
前記１以上の基準画素は、前記第１の境界が結像する第１の基準画素と、前記第２の境界が結像する第２の基準画素とを有し、
前記第１及び前記第２の基準画素は、前記第１の境界と前記第２の境界との交点を調整ポイントとして、当該調整ポイントが結像される画素を基準として設定される
情報処理装置。
（５）（４）に記載の情報処理装置であって、
前記第１のパターン画像は、前記第１及び前記第２の方向の各々に沿って前記明部及び前記暗部が交互に配置されたチェッカーパターンであり、
前記第１の基準画素は、前記チェッカーパターンの交点が結像する画素から第１の方向に沿って互いに異なる向きに所定の画素分離れた２つの画素であり、
前記第２の基準画素は、前記チェッカーパターンの交点が結像する画素から第２の方向に沿って互いに異なる向きに所定の画素分離れた２つの画素である
情報処理装置。
（６）（１）から（５）のうちいずれか１つに記載の情報処理装置であって、
前記第２のパターン画像は、前記第１のパターン画像と同じ画像である
情報処理装置。

Ｓ…画素サイズ
１０…プロジェクタ
１１…画像
１２…投射部
１５…基準プロジェクタ
１６…調整プロジェクタ
２０…画像処理装置
２１…カメラ（撮像装置）
２３…記憶部
２４…制御部
２８…複数の画素
５０、７０…調整用チェッカーパターン
５１…明部
５２…暗部
５３…境界
５５…調整ポイント
６０…調整画素
６５…基準画素
７３…対応境界
１００…画像表示システム

Claims (10)

1. 所定の画素サイズを有する複数の画素を含む撮像素子から前記複数の画素の各々の出力値を取得する取得部と、
   明部と暗部との境界となる１以上の境界を含む第１のパターン画像を第１の投射装置により投射させることが可能であり、前記所定の画素サイズよりも小さい距離を投射位置の移動単位として、前記１以上の境界に対応する１以上の対応境界を含む第２のパターン画像を第２の投射装置により投射させることが可能である投射制御部と、
   前記第１の投射装置により投射された前記第１のパターン画像を撮影する前記撮像素子から取得された、前記境界が結像する所定の１以上の基準画素の出力値を基準値として記憶する記憶部と、
   前記第１のパターン画像の投射が停止された後に前記第２の投射装置により前記移動単位で前記投射位置を移動させながら投射された前記第２のパターン画像を撮影した前記撮像素子から取得された前記所定の基準画素の出力値と、前記記憶された基準値とを、前記投射位置の移動ごとに比較して前記投射位置を調整する調整部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記１以上の境界は、第１の方向に延在する第１の境界を有し、
   前記１以上の対応境界は、前記第１の方向に延在する第１の対応境界を有し、
   前記投射制御部は、前記第１の方向に直交する第２の方向に沿って前記投射位置を前記移動単位で移動させることが可能である
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記１以上の境界は、前記第２の方向に延在する第２の境界を有し、
   前記１以上の対応境界は、前記第１の方向に延在する第２の対応境界を有し、
   前記投射制御部は、前記第１及び前記第２の方向の各々に沿って、前記投射位置を前記移動単位で移動させることが可能である
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記１以上の基準画素は、前記第１の境界が結像する第１の基準画素と、前記第２の境界が結像する第２の基準画素とを有し、
   前記第１及び前記第２の基準画素は、前記第１の境界と前記第２の境界との交点を調整ポイントとして、当該調整ポイントが結像される画素を基準として設定される
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記第１のパターン画像は、前記第１及び前記第２の方向の各々に沿って前記明部及び前記暗部が交互に配置されたチェッカーパターンであり、
   前記第１の基準画素は、前記チェッカーパターンの交点が結像する画素から第１の方向に沿って互いに異なる向きに所定の画素分離れた２つの画素であり、
   前記第２の基準画素は、前記チェッカーパターンの交点が結像する画素から第２の方向に沿って互いに異なる向きに所定の画素分離れた２つの画素である
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記第２のパターン画像は、前記第１のパターン画像と同じ画像である
   情報処理装置。
7. 所定の画素サイズを有する複数の画素を含む撮像素子から前記複数の画素の各々の出力値を取得することが可能なコンピュータが、
   明部と暗部との境界となる１以上の境界を含む第１のパターン画像を第１の投射装置により投射させ、
   前記第１の投射装置により投射された前記第１のパターン画像を撮影する前記撮像素子から取得した、前記境界が結像する所定の１以上の基準画素の出力値を基準値として記憶し、
   前記第１のパターン画像の投射を停止させた後に、前記所定の画素サイズよりも小さい距離を投射位置の移動単位として、前記１以上の境界に対応する１以上の対応境界を含む第２のパターン画像を、前記投射位置を移動させながら第２の投射装置により投射させ、
   前記投射された前記第２のパターン画像を撮影した前記撮像素子から取得した前記所定の基準画素の出力値と、前記記憶された基準値とを、前記投射位置の移動ごとに比較して前記投射位置を調整する
   情報処理方法。
8. 所定の画素サイズを有する複数の画素を含む撮像素子から前記複数の画素の各々の出力値を取得することが可能なコンピュータに、
   明部と暗部との境界となる１以上の境界を含む第１のパターン画像を第１の投射装置により投射させるステップと、
   前記第１の投射装置により投射された前記第１のパターン画像を撮影する前記撮像素子から取得された、前記境界が結像する所定の１以上の基準画素の出力値を基準値として記憶するステップと、
   前記第１のパターン画像の投射を停止させた後に、前記所定の画素サイズよりも小さい距離を投射位置の移動単位として、前記１以上の境界に対応する１以上の対応境界を含む第２のパターン画像を、前記投射位置を移動させながら第２の投射装置により投射させるステップと、
   前記投射された前記第２のパターン画像を撮影した前記撮像素子から取得された前記所定の基準画素の出力値と、前記記憶された基準値とを、前記投射位置の移動ごとに比較して前記投射位置を調整するステップと
   を実行させるプログラム。
9. 所定の画素サイズを有する複数の画素を含む撮像素子と、
   明部と暗部との境界となる１以上の境界を含む第１のパターン画像を第１の投射装置により投射させることが可能であり、前記所定の画素サイズよりも小さい距離を投射位置の移動単位として、前記１以上の境界に対応する１以上の対応境界を含む第２のパターン画像を第２の投射装置により投射させることが可能である投射制御部と、
   前記第１の投射装置により投射された前記第１のパターン画像を撮影する前記撮像素子から出力された、前記境界が結像する所定の１以上の基準画素の出力値を基準値として記憶する記憶部と、
   前記第１のパターン画像の投射が停止された後に前記第２の投射装置により前記移動単位で前記投射位置を移動させながら投射された前記第２のパターン画像を撮影した前記撮像素子から出力された前記所定の基準画素の出力値と、前記記憶された基準値とを、前記投射位置の移動ごとに比較して前記投射位置を調整する調整部と
   を具備する調整装置。
10. 画像を投射可能な第１の投射装置及び第２の投射装置を有する投射部と、
    所定の画素サイズを有する複数の画素を含む撮像素子と、
    明部と暗部との境界となる１以上の境界を含む第１のパターン画像を前記第１の投射装置により投射させることが可能であり、前記所定の画素サイズよりも小さい距離を投射位置の移動単位として、前記１以上の境界に対応する１以上の対応境界を含む第２のパターン画像を前記第２の投射装置により投射させることが可能である投射制御部と、
    前記第１の投射装置により投射された前記第１のパターン画像を撮影する前記撮像素子から出力された、前記境界が結像する所定の１以上の基準画素の出力値を基準値として記憶する記憶部と、
    前記第１のパターン画像の投射が停止された後に前記第２の投射装置により前記移動単位で前記投射位置を移動させながら投射された前記第２のパターン画像を撮影した前記撮像素子から出力された前記所定の基準画素の出力値と、前記記憶された基準値とを、前記投射位置の移動ごとに比較して前記投射位置を調整する調整部と
    を具備する画像表示システム。