WO2019082820A1

WO2019082820A1 - カメラシステム

Info

Publication number: WO2019082820A1
Application number: PCT/JP2018/039053
Authority: WO
Inventors: 征志中田
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2017-10-26
Filing date: 2018-10-19
Publication date: 2019-05-02
Also published as: JP2019080223A; US20210058604A1; US11297299B2

Abstract

カメラシステム５０６は、互いに異なる方向を撮像する複数台のカメラ５６２を備える。カメラシステム５０６は、複数台のカメラ５６２を所定方向へ回動させる。複数台のカメラ５６２は、回動する間も、予め定められた特定領域５６４をいずれかのカメラが撮像するように構成される。カメラシステム５０６は、特定領域５６４を撮像した複数の画像に基づいて、特定領域５６４に存在する物体の視差情報を取得する。

Description

カメラシステム

　本発明は、カメラシステムに関する。

　ヘッドマウントディスプレイ等における立体視のための、視差のついた画像（以下「視差画像とも呼ぶ。」）を得る手法として、複数台のカメラで同一の被写体を撮像することにより視差画像を生成する手法が知られている。また、１台のカメラを回転させることにより視差画像を生成する手法も知られている。

特開２０１７－１６４３１号公報

　しかし、複数台のカメラで同一の被写体を撮像する場合、複数台のカメラを同一方向へ向けて並べる必要があり、装置サイズが大きくなるという課題があった。また、１台のカメラを回転させて視差画像を生成する場合、動く物体の視差を取得することが難しいという課題があった。

　本発明はこうした課題に鑑みてなされたものであり、１つの目的は、好適な３次元画像を提供するための改善された技術を提供することである。

　上記課題を解決するために、本発明のある態様のカメラシステムは、互いに異なる方向を同時に撮像する複数台のカメラと、複数台のカメラを所定方向へ回動させる駆動部と、視差取得部と、を備える。複数台のカメラは、回動する間も、予め定められた特定の領域をいずれかのカメラが撮像するように構成され、視差取得部は、特定の領域を撮像した複数の画像に基づいて、特定の領域に存在する物体の視差情報を取得する。

　本発明の別の態様もまた、カメラシステムである。このカメラシステムは、同一の被写体を異なる角度から同時に撮像する複数台のカメラと、複数台のカメラを所定方向へ回動させ、複数台のカメラの位置を変化させる駆動部と、ヘッドマウントディスプレイの姿勢を検出する姿勢検出部と、複数台のカメラのうち姿勢検出部により検出されたヘッドマウントディスプレイの姿勢に対応する位置のカメラにより撮像された画像に基づいて、ヘッドマウントディスプレイに表示させる画像を生成する生成部と、を備える。

　なお、以上の構成要素の任意の組合せ、本発明の表現を、装置、方法、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、好適な３次元画像の提供を支援することができる。

関連技術における撮像装置の構成を概念的に示す図である。関連技術の撮像装置が備える画素の構造例を示す図である。関連技術の撮像素子における画素配列を例示する図である。関連技術におけるイメージセンサの構造の概略を示す図である。関連技術において、位相差により距離情報を取得する原理を説明するための図である。関連技術で取得される画像と焦点距離の関係を説明するための図である。図６のケースにおける焦点距離と位相差の関係を模式的に示す図である。関連技術における画像処理部の機能ブロックを示す図である。関連技術の画像処理部における撮影画像の変遷を模式的に示す図である。関連技術における画像処理部が、撮影された画像から各種データを生成、出力する処理手順を示すフローチャートである。関連技術における偏光子とフォトダイオードの位置的関係を説明するための図である。関連技術における撮像面上の異なる位置における偏光子のワイヤ配列を模式的に示す図である。関連技術において偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。関連技術において偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。関連技術において、偏光子を設ける画素値における偏光子のバリエーションを示す図である。関連技術において、一画素に設けるフォトダイオードのバリエーションを示す図である。関連技術において、撮像装置をステレオカメラで構成したときの、システムの機能ブロックの構成を示す図である。関連技術において、被写体情報生成部が左右視点の距離画像を統合する処理を説明するための図である。関連技術において、撮像装置を移動させながら撮影することにより、３次元空間における被写体の状態情報を取得する手法を説明するための図である。関連技術における、偏光の位相差を利用して合焦する機能を有する撮像装置の機能ブロックを示す図である。第１実施例のエンタテインメントシステムの構成を示す図である。図２１のカメラシステムにおけるカメラの配置態様を示す図である。図２１のカメラシステム５０６の機能構成を示すブロック図である。画像合成の例を示す図である。変形例３におけるデータの流れを示す概念図である。図２６（ａ）と図２６（ｂ）は、変形例１０のカメラシステムにおけるカメラの配置態様を示す図である。第２実施例のカメラシステムにおけるカメラの配置態様を示す図である。第３実施例のカメラシステムにおけるカメラの配置態様を示す図である。カメラが回動した状態を模式的に示す図である。

　（関連技術）
　図１は、本実施の形態における撮像装置の構成を概念的に示す図である。撮像装置１２は、結像光学系１４、絞り１８、撮像素子２０、および画像処理部２２を含む。結像光学系１４は被写体の像を撮像素子２０の撮像面に結像させる合焦レンズを含む一般的な構成を有する。なお図では１枚のレンズで代表させて示している。絞り１８は開口部を有し、その口径を変化させることにより、入射する光の量を調整する一般的な構成を有する。

　撮像素子２０は画素の２次元配列を含み、入射した光の強さを電荷に変換して画像処理部２２に出力する。本実施の形態における画素は少なくとも、マイクロレンズ、偏光子、フォトダイオードを一体的に積層させた構造を有する。ここで１つのマイクロレンズに対し複数のフォトダイオードを設けることにより、入射光を２つの画像に分割してなる位相差画像を取得する。以後の説明では１つのマイクロレンズに対応する領域を１つの画素領域とする。

　つまり１画素に対し複数のフォトダイオードを設ける。なおフォトダイオードは入射した光の強度を電荷に変換する機構の代表例であるが、本実施の形態をこれに限る趣旨ではない。すなわちフォトダイオードの代わりにいかなる光電変換機構を採用しても、本実施の形態を同様に実現でき、光を電荷に変換する１単位の機構を各フォトダイオードの代わりに用いることができる。また偏光子は全ての画素に設けてもよいし、一部の画素に離散的に設けてもよい。

　画像処理部２２は、撮像素子２０から出力された光の輝度の２次元分布を用いて画像処理を行い、一般的なカラー画像と、被写体までの距離を画素値として表した距離画像を生成する。なお撮像装置１２にはさらに、ユーザによる操作手段と、操作内容に応じて撮影動作や撮影条件の調整動作などを実行する機構が設けられていてよい。また撮像装置１２は、ゲーム機など外部の情報処理装置と、有線または無線により通信を確立し、生成したデータを送信したりデータ送信要求などの制御信号を受信したりする機構を有していてよい。ただしこれらの機構は一般的な撮像装置と同様でよいため説明は省略する。

　図２は撮像装置１２が備える画素の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。また同図では隣接した２画素分の断面構造を例示している。画素１１０はマイクロレンズ層１１２、カラーフィルタ層１１４、偏光子層１１６、および光電変換層１１８を含む。マイクロレンズ層１１２は画素ごとに設けられ、絞り１８を経て入射した光を集光する。

　カラーフィルタ層１１４は、画素ごとに異なる色の光を透過する。偏光子層１１６は、複数の線状の導体部材、例えばタングステンやアルミなどの部材（ワイヤ）を入射光の波長より小さい間隔でストライプ状に配列させたワイヤグリッド型偏光子を含む。マイクロレンズ層１１２により集光されカラーフィルタ層１１４を透過した光が偏光子層１１６に入射すると、偏光子のラインと平行な方向の偏光成分は反射され、垂直な偏光成分のみが透過する。

　透過した偏光成分を光電変換層１１８で電荷に変換することにより偏光輝度が取得される。図示するようなワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２－８００６５号公報などに開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。なお同図では偏光子として、図面の奥行き方向に伸張するワイヤの断面を表しているが、偏光子の主軸角度は４通りとし、それに応じてワイヤの向きも異なる。

　また図示するように偏光子層１１６には、画素によって偏光子を備える領域と備えない領域があってよい。偏光子を設けない領域では、カラーフィルタ層１１４を透過した光がそのまま光電変換層１１８に入射する。光電変換層１１８は一般的なフォトダイオードを含み、入射した光を電荷として出力する。上述したように本実施の形態では、１つのマイクロレンズに対しフォトダイオードを複数設けることにより、合焦レンズの異なる領域を透過した光を別々に電荷に変換する。

　そのようにして検出した光の位相差に基づき焦点検出を行う技術は位相差オートフォーカスの一手法として実用化されている（例えば特開２０１３－１０６１９４号公報参照）。本実施の形態では当該位相差を利用して被写体までの距離を取得する。１画素に設けた複数のフォトダイオードによる検出値を合計すれば、一般的な撮像装置における１画素分の輝度が得られる。すなわち図２に示した画素の構成によれば、一般的なカラー画像、距離画像、偏光画像を同時に得ることができる。

　図３は、撮像素子２０における画素配列を例示している。同図は撮像素子２０の一部の領域を上面から見たときの各層の組み合わせを模式的に示しており、縦長の長方形が１つのフォトダイオード（例えばフォトダイオード１２０）を示している。左右２つのフォトダイオードの対が１画素（例えば画素１２２）に対応する。またカラーフィルタ層１１４におけるカラーフィルタはベイヤ配列とし、画素ごとに赤、緑、青のいずれかの光を検出する。図ではそれぞれ「Ｒ」、「Ｇ」、「Ｂ」の文字で示している。

　また太線枠で示した画素１２４ａ、１２４ｂには偏光子を設ける。これらの画素１２４ａ、１２４ｂにおける太い斜線は偏光子を構成するワイヤを示している。すなわち画素１２４ａ、１２４ｂは、異なる主軸角度の偏光子を備えている。図では主軸角度が互いに直交する２種類の偏光子が例示されているが、さらに別の画素を利用して、４５°おきの主軸角度を有する４種類の偏光子を設ける。

　各偏光子は、ワイヤの方向に直交する方向の偏光成分を透過する。これにより下層に設けたフォトダイオードは、４５°おきの４方向の偏光成分の輝度を表す電荷を出力する。当該画素から偏光輝度のみを得る場合は、１画素に設けた２つのフォトダイオードからの検出値を合計してよい。ベイヤ配列においては緑（Ｇ）に割り当てられる画素の密度が最も高いため、この例では、偏光子を設ける画素を緑の画素としている。

　これにより、偏光子を設ける画素を比較的近接させることができ、同じ色の複数方位の偏光輝度を高い分解能で得ることができる。これを偏光方位ごとに分離して補間することにより４方向の偏光画像が得られる。当該偏光画像を利用すれば、被写体表面の法線ベクトルを求めることができる。法線ベクトルは被写体表面の微小面積の傾斜を表していため、これを利用すれば、位相差に基づき取得される、特徴点における距離値を補間できる。同じ撮像装置１２による同一視点の撮影画像から、位相差による距離値と法線ベクトルが同時に得られるため、位置合わせ等の必要なく正確な補間を実現できる。

　なお画像表示などの目的でカラー画像を用いることがない場合、画素１１０からカラーフィルタ層１１４を除いた構成としてもよい。この場合、輝度画像、距離画像、および法線画像を得ることができる。あるいはカラーフィルタを、シアンやマゼンダなどの染料系フィルタとしてもよい。また図３に示した配列はあくまで例示であり、本実施の形態の画素配列をこれに限る趣旨ではない。例えば偏光子を設ける画素の密度をさらに高くしてもよいし、全ての画素に偏光子を設けてもよい。

　図４は本実施の形態におけるイメージセンサの構造の概略を示している。イメージセンサ１７０は画素部１７２と、周辺回路としての行走査部１７４、水平選択部１７６、列走査部１８０、制御部１７８を含む。画素部１７２は図２で示したような画素をマトリクス状に配列させてなる。

　光電変換層１１８における各フォトダイオードは、行ごとに行走査部１７４、列ごとに水平選択部１７６および列走査部１８０に接続されている。行走査部１７４はシフトレジスタやアドレスデコーダなどによって構成され、各画素を行単位で駆動する。行走査部１７４によって選択走査された画素から出力される信号は水平選択部１７６に供給される。水平選択部１７６は、アンプや水平選択スイッチなどによって構成される。

　列走査部１８０はシフトレジスタやアドレスデコーダなどによって構成され、水平選択部１７６の各水平選択スイッチを操作しつつ順番に駆動する。列走査部１８０による選択走査により、水平選択部１７６に供給された各画素からの信号が外部へ出力される。制御部１７８は、タイミング信号を生成し、水平選択部１７６および列走査部１８０などの駆動タイミングを制御する。

　本実施の形態のある態様では、偏光子を含む画素と含まない画素が存在する。この場合、偏光子を含む画素は入射光の一部を反射するため、偏光子を含まない画素よりフォトダイオードに到達する光の強度が小さくなる。また、偏光子を含む画素と含まない画素とでは、前者の方が得られる情報が多くなる。これらのことを考慮し、図示するような周辺回路を偏光子の有無によって２つに分け、データ読み出しのタイミングや間隔を独立に制御できるようにしてもよい。

　例えば偏光子を含む画素のフレームレートを小さくし、電荷の蓄積時間を他の画素より長くすることにより、画像平面全体で同レベルの輝度が得られるようにする。このようにすると、偏光子の有無にかかわらず画像全体を均一に扱える。あるいは逆に、偏光子を含む画素のフレームレートを高くしてもよい。この場合、高レートで出力される偏光の輝度分布を用いて、法線ベクトルの分布を高い頻度で求めることにより、被写体の面の動きの検出感度を上げることができる。データ読み出しのタイミングをどのように制御するかは、後段の処理内容や求められる検出感度などに応じて決定してよい。

　図５は、位相差により距離情報を取得する原理を説明するための図である。同図は被写体１３０からの光が、結像光学系１４の合焦レンズ１３２を経て撮像素子２０の撮像面１３４に入射する経路を、撮像空間の上側から見た状態を示している。状態（ａ）、（ｂ）、（ｃ）は、撮像面１３４から被写体１３０までの距離が異なり、状態（ｂ）における被写体１３０が、ピントが合った位置、すなわちピント面１３８にあるとする。

　つまり状態（ｂ）では、図示するように、被写体１３０の一点から出た光が、撮像面１３４において一点に結像する。したがって被写体１３０の一点は１つの画素に対応し、１画素に２つのフォトダイオードを設けても、それらにより検出される光束は被写体１３０の略同一の点からのものである。一方、被写体１３０が状態（ａ）のようにピント面１３８より奥にあったり、状態（ｃ）のようにピント面１３８より手前にあったりすると、光が一点に結像する位置が撮像面１３４からずれる。

　その結果、合焦レンズ１３２を左右（図の上下）に２分割してなる領域のどちらを通過したかで、その光束を捉える画素にずれが生じる。図の右側に拡大して示すように、マイクロレンズ１３６を透過した光のうち図の上側からの光は図の下側のフォトダイオード１３８ｂを介して、図の下側からの光は図の上側のフォトダイオード１３８ａを介して検出される。以後、フォトダイオードの対のうち、撮像面から見て左側のフォトダイオード（例えばフォトダイオード１３８ａ）を左フォトダイオード、右側のフォトダイオード（例えばフォトダイオード１３８ｂ）を右フォトダイオードとも呼ぶ。

　結果として、各画素のうち左フォトダイオードにより検出された輝度のみを抽出してなる画像と、右フォトダイオードにより検出された輝度のみを抽出してなる画像とでは、光束を捉える画素のずれに応じたずれが生じる。当該ずれ量は、被写体１３０とピント面１３８との距離に依存する。また被写体１３０がピント面１３８より撮像面１３４に近いか遠いかで、ずれる方向が逆転する。以後、左フォトダイオードおよび右フォトダイオードにより検出された輝度をそれぞれ画素値とする２つの画像を「位相差画像」、両者における同じ被写体の像のずれ量を「位相差」と呼ぶ。

　図６は、本実施の形態で取得される画像と焦点距離の関係を説明するための図である。同図は、顔と立方体が存在する空間を撮影したときの位相差画像を模式的に示しており、左右の画像のうち左が左フォトダイオードにより検出された画像、右が右フォトダイオードにより検出された画像である。このうち（ａ）は、顔に焦点が合っている場合である。この場合、顔の像は位相差画像の双方において左端からＢの距離にあり位相差が生じていない。一方、立方体の像には（Ａ’－Ａ）の位相差が生じている。（ｂ）は立方体に焦点が合っている場合である。この場合、立方体の像は位相差画像の双方において画像の左端からＡの距離にあり位相差が生じていない。一方、顔の像にはＢ’－Ｂの位相差が生じている。

　上述のとおり、被写体が焦点距離より近いか遠いかでずれる方向が逆になるため、位相差は負の値をとり得る。図７は、図６のケースにおける焦点距離と位相差の関係を模式的に示している。図の実線は顔の位相差、破線は立方体の位相差を、焦点距離に対する変化として示している。ただし実際には光学系の様々な要因により、位相差の特性は図示するものに限らない。焦点距離がＦ１のとき、図６の（ａ）で示したように顔の位相差は０であり、立方体にはＡ’－Ａの位相差が生じる。焦点距離がＦ２のときは、図６の（ｂ）で示したように立方体の位相差は０であり、顔にはＢ’－Ｂの位相差が生じる。

　すなわち被写体までの距離が固定値のとき、焦点距離によって位相差が一意に定まる。換言すれば、焦点距離と位相差が定まれば、被写体までの距離を特定できる。焦点距離は、一般的な撮像装置における合焦機能と同様に取得できる。また焦点距離（ピント面）からの被写体の距離と位相差との関係は、既知の距離にある被写体を実際に撮影した画像から実験的に求めたものをテーブルとして準備しておく。これにより、観測された位相差に基づきピント面からの距離を求め、さらに焦点距離を加算することで、撮像面から被写体までの距離を算出できる。

　次に、偏光画像から法線ベクトルを得る手法について説明する。複数方向の偏光成分の画像を利用して被写体の様々な情報を取得する技術は従来、研究が進められている。被写体表面の法線ベクトルを求める方法についても、例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization", IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開２００９－５８５３３号公報などに開示されており、本実施の形態ではそれらを適宜採用してよい。以下、概要を説明する。

　まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θ_ｐｏｌに対し次の式のように変化する。

　ここでＩ_ｍａｘ、Ｉ_ｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θ_ｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θ_ｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θ_ｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉ_ｍａｘ、Ｉ_ｍｉｎ、φを求めることができる。そのように求めたＩ_ｍａｘ、Ｉ_ｍｉｎを用いて、次の式により偏光度ρが求められる。

　対象物表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式１において最小輝度Ｉ_ｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉ_ｍａｘを与える主軸角度である。

　天頂角θは、鏡面反射の場合の偏光度ρ_ｓ、拡散反射の場合の偏光度ρ_ｄと、それぞれ次のような関係にある。

　ここでｎは対象物の屈折率である。式２で得られる偏光度ρを式３のρ_ｓ、ρ_ｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）は次のように得られる。

　このように偏光画像の各画素が表す輝度Ｉと偏光子の主軸角度θ_ｐｏｌとの関係から、当該画素に写る対象物の法線ベクトルが求められ、像全体として法線ベクトル分布を得ることができる。例えばゲームのコントローラなど対象物を限定できる態様においては、その色や材質に基づき鏡面反射と拡散反射のうち適切なモデルを採用することにより、より高い精度で法線を求めることができる。一方、鏡面反射と拡散反射を分離する手法が様々に提案されているため、そのような技術を適用してより厳密に法線を求めてもよい。

　図８は、本実施の形態における画像処理部２２の機能ブロックを示している。同図及び後述する図１７、図２０に示す各機能ブロックは、ハードウェア的には、撮像素子、各種演算回路、マイクロプロセッサ、バッファメモリなどの構成で実現でき、ソフトウェア的には、メモリに格納されるプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　画像処理部２２は、撮像素子２０から輝度の２次元データを取得し所定の前処理を実施する画素値取得部３２、実際の焦点距離を取得する焦点距離取得部３０、位相差に基づき距離画像を生成する特徴点距離取得部３４、複数方位の偏光輝度から法線画像を生成する法線画像生成部３６、位相差に基づく距離値を、法線ベクトルを用いて補完し距離画像を生成する距離画像生成部３８、画素値の欠陥を補正する欠陥補正部４０、デモザイク処理によりカラー画像を生成するカラー画像生成部４２、および、距離画像とカラー画像のデータを出力する出力部４４を備える。

　画素値取得部３２は、撮像素子２０が検出した輝度信号を２次元データとして取得し、Ａ／Ｄ変換、クランプ処理など所定の前処理を施す。焦点距離取得部３０は、撮像装置２が備える図示しない合焦機能などにおいて取得されている焦点距離をメモリから読み出す。焦点距離の調整が可能な環境においては、焦点距離が変化する都度、そのデータを読み出す。焦点距離を固定とする装置においては、その設定値を初期に取得しておく。

　特徴点距離取得部３４は、位相差検出部４６、距離値取得部４８、および距離対応テーブル５０を含む。位相差検出部４６は、画素値取得部３２が取得した画素値のうち、左フォトダイオードおよび右フォトダイオードにより検出された画素値を分離して位相差画像を生成する。このとき、ベイヤ配列のまま全ての画素を処理対象としてもよいし、緑の画素のみを処理対象とするなどでもよい。そして両者の特徴点を抽出し、被写体における同じ特徴点を表す位置を特定することにより、特徴点ごとに位相差を取得する。

　距離対応テーブル５０は、ピント面からの距離と位相差とを対応づけた距離対応テーブルを格納する。距離値取得部４８は、位相差検出部４６が取得した位相差に基づき距離対応テーブルを参照し、位相差に対応する距離値を取得する。そして焦点距離取得部３０から取得した焦点距離に加算することにより、撮像面からの距離の絶対値を特徴点ごとに取得する。

　法線画像生成部３６は、画素値取得部３２が取得した画素値のうち、偏光子を備えた画素の値を抽出し、さらに偏光子の主軸角度ごとに分離、補間することにより、複数方位の偏光画像を生成する。このとき、一つの画素に設けられた２つのフォトダイオードによる検出値を合計して１つの画素値とする。また各方位の偏光輝度を補間することにより、画像平面上の同じ位置座標に対し複数方位の偏光輝度を取得する。そして方位に対する偏光輝度の変化に基づき、式１から式４を用いて法線ベクトルを算出する。

　法線画像生成部３６は、画素ごとに得られた法線ベクトルの３要素を画素値とする法線画像を生成する。この画像は基本的には、撮影画像と同じ解像度を持つことができる。一方、法線ベクトルや後段の距離画像に求められる解像度によっては、撮影画像より低い解像度で法線画像を生成してもよい。

　距離画像生成部３８は、特徴点距離取得部３４が生成した、特徴点に対する距離値を、法線画像生成部３６が生成した法線画像を用いて補完することにより、被写体表面の距離を画素値として表した距離画像を生成する。すなわち特徴点距離取得部３４は、位相差が判明するような被写体の像の輪郭や表面の模様などの特徴点については距離値を取得できるものの、単色で滑らかな物体表面など特徴点が抽出しづらい領域の距離を算出することが難しい。

　一方、法線画像生成部３６は、物体表面の傾きを微小面積ごとに詳細に取得できる。したがって、特徴点距離取得部３４が取得した特徴点における距離値を始点として、法線画像生成部３６が取得した法線ベクトルに基づく傾斜を順次与えていくことで、法線ベクトルを得たのと同様の解像度で距離を求めることができる。欠陥補正部４０は、画素値取得部３２が取得した画素値のうち、偏光子を備える画素の画素値を補正する。

　偏光子を備える画素は、偏光子の主軸角度と同じ方位の偏光成分を反射するため、フォトダイオードへ到達する光は、撮像面へ入射した光より強度が低くなっている。したがって当該画素の輝度を、周囲の画素と同程度のレベルになるように補正することで、カラー画像の一部の画素が黒点となるのを防ぐ。補正処理として、周辺の画素値を用いて補間してもよいし、偏光子による光量の低下割合を実験などにより求めておき、それに基づく定数を該当する画素値に乗算するようにしてもよい。なお欠陥補正部４０においても、一対のフォトダイオードによる検出値を合計し１つの画素値として扱う。

　カラー画像生成部４２は、欠陥補正後の画像をデモザイク処理することにより、１画素が色の３要素の値を有するカラー画像を生成する。すなわち図３で示すようなベイヤ配列で得られている画素値を色ごとに補間することで、全ての画素が３要素を有するようにする。この処理には一般的なデモザイクの手法を適用できる。出力部４４は、少なくとも距離画像生成部３８が生成した距離画像のデータと、カラー画像生成部４２が生成したカラー画像のデータを取得し、順次外部の装置に送信する。

　あるいは出力部４４は、メモリや記録媒体などにそれらのデータを一旦格納し、ユーザ操作などに応じた適切なタイミングで外部の装置に送信したり、ユーザが持ち出したりできるようにしてもよい。本実施の形態では、同程度の解像度でカラー画像と距離画像を同時に取得できるため、それらを用いて様々な情報処理を精度よく行える。例えば被写体の３次元空間での位置が、その色と共に判明するため、それらを一旦、仮想空間に配置し、ヘッドマウントディスプレイを装着したユーザの視点に応じて表示画像を再構成できる。このとき左視点用の画像と右視点用の画像を生成し、ヘッドマウントディスプレイの表示画面を２分割してなる左右の領域に表示すれば、仮想現実や拡張現実を実現できる。

　なお出力部４４は、法線画像生成部３６が生成した法線画像をさらに出力してもよい。法線の情報は被写体の像そのものより高い感度で被写体の姿勢の変化を表すため、動き検出に用いることができる。なお図示するように撮像装置１２の画像処理部２２において、カラー画像とともに距離画像を生成できるようにすると、それを用いて各種処理を実施する情報処理装置の負荷を抑えられるとともに、当該装置での消費電力を抑えることができる。

　一方、距離画像生成部３８や、特徴点距離取得部３４、法線画像生成部３６の少なくともいずれかを、撮像装置１２以外の情報処理装置に設けるようにしてもよい。あるいは図示するような機能の少なくとも一部の機能を有するロジック回路を画素配列の下層に設け、積層型のイメージセンサとしてもよい。これにより、当該イメージセンサ内で多くの画像処理が完結するため、処理を高速化できるとともに、後段の処理が軽量化され大型の演算器を設ける必要がなくなる。

　図９は、画像処理部２２における撮影画像の変遷を模式的に示している。まず画素値取得部３２は画像２２０のような撮影画像のデータを取得する。図示する例では被写体として立方体が写っている。取得するデータは厳密には、左フォトダイオードおよび右フォトダイオードにより検出した、自然光あるいは偏光の輝度の情報を含む。特徴点距離取得部３４は上述のとおり特徴点の位相差を取得し、それと焦点距離とから特徴点に対する距離値のデータ２２２を生成する。

　図示するデータ２２２は、距離値が小さいほど高い輝度とし、距離値が得られない箇所は最低輝度とする距離画像の形式で表している。この場合、被写体である立方体のうち輝度勾配の高いエッジ部分が特徴点として抽出され、さらに位相差画像における位相差が判明する部分のみ、距離値を得ることができる。図３で示すように、一対のフォトダイオードを、１画素の領域に対し左右に配置すると、位相差は画像平面の水平方向に表れる。そのためデータ２２２に示すように、水平方向のエッジについては正確な位相差が特定できず、距離値も不定となる。

　一方、法線画像生成部３６は、複数方位の偏光画像を用いて法線画像２２４を生成する。図では立方体表面の法線ベクトルの分布の一部を矢印で示しているが、実際には法線ベクトルを画素単位で求めることができる。距離画像生成部３８は、位相差に基づく距離値のデータ２２２で得られているエッジ部分の距離を始点として、法線ベクトルに基づく表面の傾斜を画素単位で適用していく。その結果、データ２２２におけるエッジの間が平面であることや、距離値が得られなかった水平方向のエッジ部分を含めた表面の距離値が判明する。

　これにより、立方体表面のうち撮影画像として見えている部分について、ワールド座標系における位置情報２２６を取得することができる。距離画像生成部３８は、このような３次元空間での被写体表面の位置座標に係る情報を生成してもよいし、画像平面に距離値を表した距離画像を生成してもよい。

　次に、これまで述べた構成によって実現できる画像処理部２２の動作について説明する。図１０は、本実施の形態における画像処理部２２が、撮影された画像から各種データを生成、出力する処理手順を示すフローチャートである。まず画素値取得部３２は、撮像素子２０から、各フォトダイオードにより検出された輝度のデータを取得する（Ｓ１０）。得られた輝度データは、特徴点距離取得部３４、法線画像生成部３６、欠陥補正部４０に供給される。

　特徴点距離取得部３４は、左フォトダイオードおよび右フォトダイオードにより検出された輝度を分離して位相差画像を生成し、特徴点の対応をとることで位相差を取得する（Ｓ１４）。そして位相差と焦点距離に基づき特徴点を構成する画素に対する距離値を特定する（Ｓ１６）。法線画像生成部３６は、偏光を検出している画素の値を抽出するとともにそれを偏光子の主軸角度ごとに分離し補間することで、複数方位の偏光画像を生成する（Ｓ１８）。そして同じ位置における偏光輝度の方位依存性を取得することにより、法線ベクトルを画素ごと、あるいはそれより大きい単位で算出し、法線画像を生成する（Ｓ２０）。

　距離画像生成部３８は、位相差によって距離値が求められない箇所について、法線画像を用いて距離値を求めることにより、距離値が補完された距離画像を生成する（Ｓ２２）。一方、欠陥補正部４０は、偏光を検出している画素の輝度レベルを、その他の画素と同レベルとなるように増幅させる欠陥補正を行う（Ｓ２４）。カラー画像生成部４２は、補正されたベイヤ配列の画像をデモザイク処理することによりカラー画像を生成する（Ｓ２６）。

　出力部４４は、カラー画像と距離画像のデータを順次、外部の装置あるいはメモリなどに出力する（Ｓ２８）。このとき同時に法線画像のデータも出力してよい。出力先の装置からの要求に従って出力対象を切り替えてもよい。ユーザ操作などにより撮影やデータ出力を終了させる必要がなければ、Ｓ１０からＳ２８までの処理を画像フレーム単位で繰り返す（Ｓ３０のＮ）。処理を終了させる必要が生じたら全ての処理を終了させる（Ｓ３０のＹ）。

　なお距離画像生成部３８がＳ２２において距離画像を生成する際は、所定数の複数の画像フレームに対し生成した距離画像を蓄積し、それらを平均化したデータをその時点での距離画像として、当該複数の画像フレームに対応する時間間隔で出力するようにしてもよい。これにより、１つの画像フレームから生成した距離画像に含まれるノイズ成分の割合を軽減でき、精度の高い距離画像を出力できる。距離画像を蓄積するフレーム数は、求められる精度や時間分解能などに鑑み実験などにより最適値を求めておく。あるいは実際の撮影画像の輝度レベルなどに応じて、フレーム数を適応的に変化させてもよい。

　本実施の形態の撮像素子には、一対のフォトダイオードの上層に偏光子を設けた構造が含まれる。位相差を正確に求めるには一対のフォトダイオードで同等の輝度レベルを検出していることが前提となるが、偏光子のレイアウトによってはそのバランスが崩れることが考えられる。図１１は、偏光子とフォトダイオードの位置的関係を説明するための図である。図は偏光子層２３０ａ、２３０ｂ、２３０ｃとフォトダイオードの対２３２ａ、２３２ｂ、２３２ｃの積層構造の断面と、上面から見たそれらの位置関係２３４ａ、２３４ｂ、２３４ｃを示している。

　まず（ａ）のように偏光子層２３０ａに偏光子を設けない画素の場合、入射光が損失なくフォトダイオードに到達する。したがってフォトダイオードの対により検出する輝度レベルは同等である。（ｂ）や（ｃ）のように偏光子層２３０ｂ、２３０ｃに偏光子が存在する画素では、偏光子のワイヤでの反射によりフォトダイオードに到達する光は入射光の５割ほどになる。２つのフォトダイオードによる検出値を合計して画素値とし、カラー画像を生成する際は、上述のとおり所定値を乗算したり周囲の検出値を用いて補間したりすることにより、周囲の画素と同等の輝度レベルにできる。

　一方、（ｂ）のように偏光子のワイヤ配列が、画素の縦方向の中心線２３６に対し非対称となっていると、一対のフォトダイオード２３２ｂに相対するワイヤによる被覆面積が左右で異なってしまう。これにより、一対のフォトダイオード間で検出感度に差が生じることになる。このような画素を含めて位相差画像を生成すると、正確に位相差を検出できない可能性がある。ワイヤの面積比に基づく所定値を、感度が低い方のフォトダイオードによる検出値に乗算することによりレベルを均質化することも考えられるが、ノイズをも増幅してしまい位相差の精度が向上するとは限らない。

　したがって（ｃ）に示すように、画素の縦方向の中心線２３６に対し対称となるように偏光子のワイヤを配列させることが望ましい。これにより、１つの画素内でフォトダイオードにより検出される輝度レベルへの偏光子による影響を軽減できる。偏光子による光の検出感度差は、撮像素子２０の面内における画素の位置によっても生じる。図１２は、撮像面上の異なる位置における偏光子のワイヤ配列を模式的に示している。

　上段の側面図に示すように、撮像素子２０中心近傍の画素２４０ａでは、光がほぼ垂直に入射する一方、中心からの距離が大きくなるほど入射角度（ＣＲＡ；チーフレイアングル）が大きくなる。そのため周辺部ほど偏光子のワイヤによる実効的な遮蔽効果が大きくなり、光が入射しづらくなる結果、中心部と比較し光の検出感度が低くなる。このことは、上述した位相差画像における輝度レベルのバランスのみならず、偏光を用いた法線画像や、偏光輝度を補正して生成するカラー画像においても面内分布を生じさせる。

　そのため好適には、撮像素子２０上の位置によって偏光子の形状を変化させ、フォトダイオードにおける検出感度を均一にする。図示する例では中心部の画素２４０ａと比較し、周辺部の画素２４０ｂ、２４０ｃの偏光子のワイヤの幅を細くすることで入射光の損失を少なくしている。実際には中心部からの距離に応じてワイヤ幅を徐々に細くしていく。あるいは中心からの距離に応じてワイヤ高を低くしたり、幅と高さの双方を変化させたりしてもよい。

　またはワイヤの配列全体を、中心線に対し線対称に微小量だけシフトさせてもよい。例えば撮像素子２０上の左側の画素２４０ｂはワイヤ配列全体を左側へ、右側の画素２４０ｃはワイヤ配列全体を右側へシフトさせる。このようにしても光の入射量を角度に応じて高めることができる。ワイヤの幅、高さ、配列のシフト量は、実際の撮影画像において面内分布を最小限とするように値を最適化する。この際、図１１で説明したように、一対のフォトダイオードの感度差も最小となるようにする。

　これまで述べた態様では、全てのフォトダイオードによる検出値を個々に読み出し、画像処理部２２において必要なデータを抽出したり補間したりした。この場合、一般的な画素値と比較し、データの読み出しに多くの時間を要し、フレームレートに制約が生じることが考えられる。そのため、読み出し単位を偏光子の有無によって異ならせ、読み出しに要する時間を短縮することが考えられる。図１３、図１４は、偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。

　図１３の場合、偏光子を設けない画素２６０については、２つのフォトダイオードによる検出値を合算し、画素単位の値２６４として読み出す。一方、偏光子を設けた画素２６２については、２つのフォトダイオードによる検出値をそれぞれ読み出す。それらのデータは画素値取得部３２を経て各機能ブロックに供給される。偏光子を設けない画素２６０における合算された検出値はそのままカラー画像の生成に用いることができる（Ｓ５０）。

　偏光子を設けた画素２６２に対する２つのフォトダイオードのそれぞれにより検出された値は位相差画像の生成に用いる（Ｓ５２）。またこの段階で各検出値を合算し、画素単位の値２６６とすることで（Ｓ５４）、偏光画像の生成に用いたり、カラー画像における当該画素のカラー値の決定に用いたりする（Ｓ５６、Ｓ５８）。この場合、偏光子を設けた画素のみから、偏光情報と位相差情報を取得することになる。偏光子を設けた画素２６２の割合が低く、かつ比較的照度が高い環境においては、図示するような経路とすることにより、精度をある程度保ちつつ読み出し時間を削減でき、高速化を実現できる。

　図１４の場合、偏光子を設けない画素２６０については、２つのフォトダイオードによる検出値をそれぞれ読み出す。一方、偏光子を設けた画素２６２については、２つのフォトダイオードによる検出値を合算し、画素単位の値２６８として読み出す。それらのデータは画素値取得部３２を経て各機能ブロックに供給される。偏光子を設けない画素２６０に対する２つのフォトダイオードのそれぞれにより検出された値は位相差画像の生成に用いる（Ｓ６０）。またこの段階で各検出値を合算し、画素単位の値２７０とすることで（Ｓ６２）、カラー画像の生成に用いる（Ｓ６４）。

　偏光子を設けた画素２６２における合算された検出値はそのまま偏光画像の生成に用いたり、カラー画像における当該画素のカラー値の決定に用いたりする（Ｓ６６、Ｓ６８）。この場合、位相差情報は偏光子を設けた画素以外から取得することになる。この場合、図１３の場合と比較し位相差情報の感度を上げることができるため、照度が低い環境でも精度を維持することができる。このように偏光子の有無によって読み出し単位を異ならせることにより、必要な情報を取得しつつ読み出し時間を削減できる。

　なお求められる情報の種類や精度、解像度によっては、図１３、図１４で示した処理を全て行わなくてもよい。例えば偏光子を設けた画素の値はカラー画像の生成には用いず、偏光子のない周囲の画素値を補間するようにしてもよい。また各種データに必要な精度や解像度、周囲の照明環境、処理時間の制限などに応じて、読み出し単位やデータ生成の経路を最適化してよい。照度を計測したりデータ伝送のための通信環境を計測したりして、その結果に応じて切り替えてもよい。

　図１５は、偏光子を設ける画素値における偏光子のバリエーションを示している。まず（ａ）に示す４種類の画素は、これまで述べたように１画素に対し１つの主軸角度の偏光子を設けている。そして主軸角度を４５°おきに異ならせることにより、図示するような４種類の画素となる。これらの画素を等間隔、あるいは近接させて撮像素子２０に配置する。偏光子を設ける画素を分散させると、反射によって輝度レベルが低くなる画素も分散するため、偏光子を設けない画素によって位相差画像やカラー画像を生成した場合に、補間によって精度よく穴を埋めることができる。

　一方、図示するような４種類の画素を２行２列の４画素などに近接させて配置すると、方位による偏光輝度の変化をほぼ同じ位置で正確に取得できるため、法線ベクトルの精度を高めることができる。（ｂ）に示す４種類の画素は、フォトダイオードの対の片方に対応する領域のみに、４方向の主軸角度の偏光子を設けている。この場合、偏光子のない状態での輝度を同じ画素領域の他方のフォトダイオードから取得できるため、偏光子によって低くなった輝度レベルを正確に増幅させることができる。

　このようにすると位相差も比較的正確に取得できるため、撮像素子２０の全体を（ｂ）に示すような画素で構成することも考えられる。また（ｃ）に示す画素は、フォトダイオードの対に対応する領域のそれぞれに、主軸角度の異なる偏光子を設けている。図示する例では、主軸角度が９０°異なる偏光子をそれぞれ対とする２種類の画素を示している。

　位相差から距離値を取得する処理は、左右のフォトダイオードによる検出値の分布を比較することを基本としている。一方、偏光情報から法線ベクトルを取得する処理は、主軸角度が異なる偏光子を透過してなる光の検出値を比較する処理を含む。そのため（ｃ）に示すような偏光子とすると、左右のフォトダイオードによる検出値を比較する点において、位相差を取得する処理と法線を取得する処理を共通化できるため、駆動回路をより単純化できる。

　図１６は、一画素に設けるフォトダイオードのバリエーションを示している。これまで述べた例では、画素領域を縦方向に２分割した左右の領域に、フォトダイオードを１つずつ配置した。この場合、位相差は画像平面の水平方向のみに表れる。そのため図９で説明したように、水平方向のエッジなど一部の特徴点については位相差が不定となり距離値を得ることができない。そこで図示するように、１つの画素（例えば画素２８０）を縦横双方向に２分割してなる４つの領域に、フォトダイオードを１つずつ配置してもよい。

　この場合、縦に隣接する２つのフォトダイオードによる検出値を合算すれば、これまで述べた左フォトダイオード、右フォトダイオードと同じ位相差画像が得られ、水平方向成分の位相差を取得できる。一方、横に隣接する２つのフォトダイオードによる検出値を合算すれば、上側のフォトダイオードと下側のフォトダイオードで位相差画像が得られ、垂直方向成分の位相差を取得できる。結果として、特徴点の方向によらず距離値を求めることができる。

　なお図示する例では、各画素に１つの主軸角度の偏光子を設けているが、図１５に示したように、フォトダイオード単位で偏光子の主軸角度を異ならせたり、偏光子の有無を制御したりしてもよい。また偏光子のない画素についても、同様に４分割した領域ごとにフォトダイオードを設けてよい。そのような偏光子のない画素とある画素とを周期的に配置してもよい。

　またカラーフィルタについても、画素内で同じ色としてもよいし、フォトダイオードごとに色を異ならせてもよい。このほか、横方向に２分割した上下の領域に１つずつフォトダイオードを設けてもよいし、画素領域を２行２列より細かく分割し、それぞれの領域にフォトダイオードを配置してもよい。

　撮像装置１２の変形例として、これまで述べた構成を有する撮像装置を２つ設け、ステレオカメラとして実現させてもよい。図１７は、撮像装置をステレオカメラで構成したときの、システムの機能ブロックの構成を示している。このシステムは、撮像装置３００と情報処理装置３０２を含む。

　撮像装置３００は、第１撮像部１２ａ、第２撮像部１２ｂを備える。第１撮像部１２ａ、第２撮像部１２ｂはそれぞれ図１で示した撮像装置１２に対応し、それらを所定の間隔を有するように左右に配置することで撮像装置３００とする。以後の説明では第１撮像部１２ａを左視点、第２撮像部１２ｂを右視点のカメラとする。第１撮像部１２ａ、第２撮像部１２ｂはそれぞれが、図８で示した機能を有する画像処理部を備える。したがって撮像装置３００の第１撮像部１２ａからは左視点の距離画像とカラー画像のデータが、第２撮像部１２ｂからは右視点の距離画像とカラー画像のデータが出力される。

　情報処理装置３０２は、撮像装置３００から画像のデータを取得する画像データ取得部３０４、それらを統合して被写体の位置や姿勢に係る総合的な情報を生成する被写体情報生成部３０６、およびその情報を用いて出力データを生成する出力データ生成部３０８を備える。画像データ取得部３０４は、少なくとも左右の視点のそれぞれに対し取得された距離画像とカラー画像のデータを撮像装置３００から取得する。

　被写体情報生成部３０６は、撮像装置３００から取得した距離画像を統合することにより、被写体の位置、姿勢、形状などに係る最終的な情報を生成する。すなわち被写体のうち第１撮像部１２ａ、第２撮像部１２ｂの一方の視点からは見えない部分について、他方の距離画像を用いてデータを補填することにより、距離が不定の部分を最小限にする。被写体情報生成部３０６はさらに、左右視点のカラー画像あるいは左右視点の輝度画像を用いて三角測量の原理により別途、距離画像を生成し統合してもよい。

　出力データ生成部３０８は、左右視点のカラー画像と距離画像を用いて表示画像など出力すべきデータを生成する。表示画像を生成する場合は、出力時にリニアマトリックス（カラーマトリックス）やガンマ補正など一般的な処理を施し表示装置に出力する。図１８は、被写体情報生成部３０６が左右視点の距離画像を統合する処理を説明するための図である。同図上段に示すように、２つの立方体３２２ａ、３２２ｂが存在する３次元空間３２０を左右の視点Ｌ、Ｒから撮影すると、左視点画像３２４ａおよび右視点画像３２４ｂが得られる。

　第１撮像部１２ａおよび第２撮像部１２ｂが単独で距離値を取得できる領域は、それぞれ左視点画像３２４ａおよび右視点画像３２４ｂに像として表れる部分に限られる。図示する例では、立方体３２２ｂの左側面は左視点Ｌからのみ見え、立方体３２２ａの右側面は右視点Ｒからのみ見えるため、それらの距離値はどちらか一方の距離画像のみに含まれる。したがって被写体情報生成部３０６は、一方の距離画像で値が得られていない被写体上の領域に、他方の距離画像の値を当てはめることで、距離値が不定の領域を削減する。

　その結果、３次元空間３２０により近いモデル空間を再現することができる。つまり被写体情報生成部３０６は、複数視点の距離画像を統合することにより、視点が１つに限定されないワールド座標系での被写体の位置に係る情報を生成できる。当該位置は、被写体表面の微少領域ごとに得られるため、結果として被写体の姿勢や形状についても求めていることになる。

　なお両視点から見える領域については、２つの距離値が得られているため、それらの平均値を距離値とするなどにより精度を高めることができる。さらに被写体情報生成部３０６は、左右視点のカラー画像を用いて自らも距離画像を生成し、その結果をさらに統合してもよい。この場合、両視点から見える領域についてさらに距離値が得られるため、結果として当該領域については３つの距離値が得られることになる。それらの平均値を距離値とすれば、より精度を高めることができる。ただし要求される精度によっては、カラー画像を用いた距離画像の生成を省略することで処理時間を短縮できる。

　なお被写体情報生成部３０６は、さらに別の手段により距離値の穴を埋めたり、精度をさらに高めたりしてもよい。例えばニューラルネットワークを用いた機械学習としてディープラーニング（深層学習）の技術が実用化されつつある。これを利用し、カラー画像における色やその変化、像の形状などから、距離値やその変化を導出できるように、被写体情報生成部３０６に学習させる。そして実際に取得されたカラー画像を用いて、撮像装置の視点から見えない領域の距離値を推定したり、見えている領域の距離値を補正して精度を高めたりしてもよい。

　この手法は単眼の撮像装置１２が出力する距離画像のデータに対しても同様の効果を発揮するため、撮像装置１２と接続した図示しない情報処理装置に同機能を有する被写体情報生成部を設けてもよい。この機能は、撮像装置の視点が限定されている場合や輝度が十分でない撮影環境などにおいて、距離値が得られる領域を広げたり精度を高めたりするのに特に有効である。なお被写体情報生成部３０６を含む情報処理装置３０２の機能や、撮像装置３００の一部の機能を、ネットワークに接続されている他の装置に設けたり、複数の装置で分担させたりして演算を行わせてもよい。このとき情報処理装置３０２や図示しない表示装置は、その結果を順次取得し、それに応じて適宜自らの処理を行ったり画像を表示したりしてもよい。

　また図１７で示したように、撮像装置３００をステレオカメラとすることで、単眼の撮像装置では見えない領域の距離値を得ることができる。これを発展させ、撮像装置１２を可動とすることで、距離値が得られる領域をさらに拡張させてもよい。図１９は、撮像装置１２を移動させながら撮影することにより、３次元空間における被写体の位置、姿勢、形状などの状態情報を取得する手法を説明するための図である。

　図示する例は、被写体である立方体を中心とする円軌道で撮像装置１２を移動させる様子を示している。ここで撮像装置１２には加速度センサを設け、撮影時刻、撮影画像、および３次元空間での撮像装置１２の位置や姿勢を対応づけて記録していく。そして所定レートの各撮影時刻における視点に対し得られるカラー画像と距離画像に基づき、図１８の３次元空間３２０のようなモデル空間を、取得されたデータで埋めていく。このような処理は撮像装置１２内部の距離画像生成部３８で実施してもよいし、情報処理装置３０２の被写体情報生成部３０６で実施してもよい。

　撮像装置１２の内部で実施するようにすると、情報処理装置３０２の処理の負荷を軽減でき、処理時間の増大を抑えられる。なお撮像装置１２の移動のさせ方は図示するものに限らない。例えば最終的に表示させたい画像に対する仮想視点の可動範囲と対応する範囲に限定して撮像装置１２を移動させてもよい。あるいは撮像装置１２を自転させることにより全方位に対し撮影画像を得るようにしてもよい。またこのように撮像装置１２を移動させながら取得したデータのうち、距離値については特徴点に対する値のみを蓄積していくなどの工夫によって、メモリ消費を抑えることができる。

　あるいは撮像装置１２を移動させる代わりに、３つ以上の撮影画像を配置させても同様の情報を得ることができる。この場合も図示するのと同様に、光軸が被写体近傍に収束するように複数の撮像装置１２を向き合うように設置する。あるいはそれとは逆向きに、光軸が外側に発散するように撮像装置１２を設置してもよい、これらの場合は、同時刻におけるカラー画像と距離画像が複数の視野で得られるため、それらをスティッチング処理によりつなぎ合わせて広角の情報としてもよい。このとき、設置した複数の撮像装置のうちの一部のみ、図８で示した機能ブロックを有する撮像装置１２としてもよい。

　例えば実空間において特に詳細な情報を得たい被写体を撮影する撮像装置のみ、距離画像を生成する機能を設け、それ以外の撮像装置はカラー画像のみを生成する。このようにすることで、例えば広いスタジアムの様子を全方位に渡り撮影しつつ、競技者などメインの被写体については位置や姿勢を詳細に求めることができる。これにより、加工や仮想オブジェクトの重畳など後段の処理を高精度に行うなど、処理リソースを必要な対象に集中させることができる。

　本実施の形態の撮像素子の構成によれば、偏光子を透過した光を２つのフォトダイオードにより検出するため、偏光画像の位相差を取得することができる。これを利用すると、位相差を用いた合焦機能の精度を高めることができる。図２０は、偏光の位相差を利用して合焦する機能を有する撮像装置の機能ブロックを示している。撮像装置４００は、各フォトダイオードによる検出値を取得する画素値取得部４０２、偏光子を設けた画素の２つフォトダイオードによる検出値から偏光画像の位相差を検出する偏光位相差検出部４０４、および偏光の位相差に基づきレンズの位置を調整し適切な位置に合焦させる合焦部４０６を備える。

　画素値取得部４０２は、少なくとも偏光子を備えた画素におけるフォトダイオードによる検出値を読み出し、Ａ／Ｄ変換やクランプ処理など所定の前処理を実施する。偏光位相差検出部４０４は、左フォトダイオードおよび右フォトダイオードにより検出される偏光輝度分布を分離し、それぞれに対し４方位の偏光画像を生成する。そして式２を用いて得られる偏光度を画像平面に表した偏光度画像、あるいは偏光度から得られる法線ベクトルを画像平面に表した法線画像を、位相差画像として生成する。図にはそのようにして生成された、偏光を用いた位相差画像４１０ａ、４１０ｂを示している。

　また図の下段には、一般的な自然光の位相差画像４１２ａ、４１２ｂを比較用に示している。図示する例では円板状の被写体が写っている。被写体の表面が単色で比較的滑らかな形状の場合、一般的な自然光の位相差画像４１２ａ、４１２ｂでは、被写体の輪郭線が特徴点として得られる一方、被写体表面については情報が乏しい。照明によっては被写体表面に凹凸があっても輝度の変化が小さく特徴点として捉えられないこともある。そのためこれらの画像４１２ａ、４１２ｂの特徴点の位置を矢印に示すように特定し、その位相差から合焦させる場合、情報の乏しさから正確な調整ができないことが考えられる。

　一方、偏光度あるいは法線ベクトルを表した位相差画像４１０ａ、４１０ｂは、被写体表面の起伏を表すため、自然光の画像より形状に対する感度が高く、照明の影響を受けにくい。そのため、見かけは一様な像であっても、図示するように形状に応じた変化が画像として表れる。したがって、矢印で示すように位相差の根拠となる特徴点の位置がより多く得られる。これらの位置関係を統合して位相差を導出し、それに基づき合焦処理を行えば、より正確かつ迅速な調整を実現できる。

　合焦部４０６は一般的な合焦処理と同様、位相差に基づきレンズの適切な位置を導出し調整を実施する。なお図示した撮像装置４００は、合焦機能のみに着目した機能ブロックを示しているが、図８で示した画像処理部２２と組み合わせることにより、高精度に合焦させてなる輝度データに基づく距離画像やカラー画像を出力できるようにしてもよい。

　以上述べた本実施の形態によれば、撮像素子として、１つのマイクロレンズに対し複数のフォトダイオードを設けるとともに、少なくとも一部のマイクロレンズとフォトダイオードの中間層に、偏光子を設けた構造とする。これにより偏光画像と位相差画像を同時に取得できる。そして位相差に基づき被写体の特徴点における距離を求め、偏光から得られる法線ベクトルを用いて特徴点の間の距離を補完することにより、単眼カメラでありながら撮影画像の広い領域に対し距離値を得ることができる。

　一般的なステレオカメラを用いた測距技術では、一方の視点の画像に写っていても他方の視点の画像に写っていない被写体上の面については距離が不定になってしまう。本実施の形態の上記手法によれば、撮影画像に写っていれば距離を導出できるため、場合によってはステレオカメラを用いるより多くの距離データが得られる。このためステレオカメラの代わりとして用いることができ、測距機能を有する撮像装置を小型化できる。

　また、そのような撮像装置をステレオカメラとして実現すれば、左右の撮影画像の結果を統合できるため、さらに広い範囲の距離値が得られ、３次元空間における被写体の位置や姿勢を精度よく再現できる。さらに左右視点のカラー画像を用いて従来どおり距離画像を求め統合することにより、距離情報の精度をより向上させることができる。これらの手法は赤外光など特定の波長帯の光に依存しないため、屋外などでも同様に情報を得ることができる。

　また偏光子を設ける画素と設けない画素を適切に制御できるため、従来通りの輝度レベルでカラー画像や位相差画像を生成することができる。これにより、後段の処理が制限されるといったことなくあらゆる情報処理への応用が可能である。また、位相差に基づく距離値の取得、偏光に基づく法線画像の生成、および、それらを統合して距離画像を生成する処理は基本的に、画像平面の行単位あるいは数行単位で行えるため、ラインバッファを用いることにより撮像装置内の演算回路で実装できる。そのため各種データを用いた情報処理や表示処理を行う装置と機能を分担でき、高いフレームレートでの撮影や表示に対応させることができる。

　さらに偏光の位相差を取得できるため、自然光の画像では特徴点として抽出されないような起伏の乏しい被写体表面であっても、形状の変化を特徴点として高い感度で抽出できる。したがって位相差の根拠となる情報を多く得ることができ、従来の合焦機能の精度をより高めることができる。なおステレオカメラとして実現する場合も、偏光度画像や法線画像を利用することにより、自然光の輝度画像より多くの特徴点が得られるため、左右視点の画像から対応点を取得することによる距離画像の生成精度も高めることができる。

　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　例えば本実施の形態ではフォトダイオードを用いたが、光を電荷に変換する機構であれば、検出主体はフォトダイオードに限らない。例えば一部、または全てのフォトダイオードを、有機光電変換膜としてもよい。例えば国際公開２０１４／１５６６５９号などに記載される公知技術を用いて、有機光電変換膜の材料や構造を適宜決定することができる。

　また、赤外線など所定の波長帯の光を照射することによる測距技術と組み合わせてもよい。すなわち撮像装置１２に参照光を照射する機構を設け、フォトダイオードによってその反射光を検出する。参照光をランダムなパターンで照射することにより、特徴点の乏しい被写体表面でも特徴点を作り出すことができる。画像処理部における処理は本実施の形態と同様であるが、位相差の根拠となる特徴点が多いため、位相差に基づく距離値を、より多くの箇所で取得できる。したがって法線ベクトルを用いた補完の精度が向上し、より正確に距離の情報を得ることができる。撮像装置１２にさらに照度センサを設け、照度が所定値より低い場合に参照光を照射するようにして、照度低下による解析精度の悪化を防止してもよい。

　さらに本実施の形態における撮像装置は、カラー画像の取得が主たる機能である一般的なカメラで実現してもよいし、撮像機能を有するその他の装置に設けてもよい。例えば高機能携帯電話、携帯端末、パーソナルコンピュータ、カプセル内視鏡、ウェアラブル端末などに設けてもよい。このような装置においてカラー画像を取得する必要がない場合、欠陥補正部４０やカラー画像生成部４２の機能を省略し、距離画像のみを出力するようにしてもよい。この場合、撮像素子のカラーフィルタ層を省略してもよい。

　また本実施の形態の撮像素子は原則として、全ての画素領域を部分領域に分割し、それぞれにフォトダイオードを配置したが、部分領域に分割せず１つのマイクロレンズに対応させて１つのフォトダイオードを設けた画素が含まれていてもよい。例えば偏光子を設けた画素については１つのフォトダイオードを設けてもよい。この場合、位相差画像はその他の画素から取得する。あるいは逆に、偏光子を設けた画素のみ複数のフォトダイオードを設けてもよい。いずれの場合も、本実施の形態で述べた検出値の合算処理を省略して、同様の効果を得ることができる。

　（実施の形態）
　本発明の実施の形態は、上記の関連技術と適宜組み合わせ可能である。以下、本発明の実施の形態として第１～第３実施例を説明する。

　（第１実施例）
　第１実施例のカメラシステムの概要を説明する。ヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）において立体視を実現させるための視差画像を得る手法として、複数台のカメラで同一の被写体（空間を含む）を撮像することにより視差画像を生成する手法が知られている。また、１台のカメラを回転させることにより視差画像を生成する手法も知られている。

　しかし、複数台のカメラで同一の被写体を撮像する場合、複数台のカメラを同一方向へ向けて並べる必要があり、サイズが大きくなるという課題がある。特に、カメラの光学サイズが大きい場合や広角を撮像する場合に、サイズの問題は顕著になる。また、１台のカメラを回転させて視差画像を生成する場合、動きのある物体（以下「動体」とも呼ぶ。）の視差を取得することが難しいという課題がある。物体が動くだけでなく、カメラ自身が動く（回転する）からである。また、横方向（言い換えれば水平方向）の視差のみ取得可能なカメラが多く、ＨＭＤを装着したユーザが頭を横にすると立体視が崩れてしまうこともあった。

　第１実施例のカメラシステムでは、３６０度の周囲空間を撮像可能なカメラである３６０度カメラを上下２段に重ねる。これにより、縦方向の視差が取得可能になる。また、第１実施例のカメラシステムでは、上段のカメラと下段のカメラのそれぞれを異なる態様で常時回動させる。これにより、横方向の視差が取得可能になるとともに、動体の視差が取得可能になる。

　図２１は、第１実施例のエンタテインメントシステムの構成を示す。エンタテインメントシステム５００は、ユーザの頭部に装着されるＨＭＤ５０２と、ゲーム装置５０４と、カメラシステム５０６を備える。カメラシステム５０６とゲーム装置５０４は、ＬＡＮ・ＷＡＮ・インターネット等の通信網５０８を介して接続される。ＨＭＤ５０２とゲーム装置５０４は、ＨＤＭＩ（登録商標）等を介して接続されてもよい。

　ゲーム装置５０４は、ＨＭＤ５０２におけるコンテンツの表示を制御する情報処理装置である。第１実施例では、ゲーム装置５０４は、ＨＭＤ５０２の姿勢（言い換えればユーザの視線方向）を公知の手法で検出し、ＨＭＤ５０２の姿勢を示す姿勢情報をカメラシステム５０６へ送信する。ゲーム装置５０４は、ＨＭＤ５０２の姿勢に応じた視差画像をカメラシステム５０６から受信し、その視差画像をＨＭＤ５０２へ送信して表示させる。

　カメラシステム５０６は、複数台のカメラ（例えばビデオカメラ）を備え、ＨＭＤ５０２の姿勢に応じた視差画像を生成するデータ処理システムである。図２２は、図２１のカメラシステム５０６におけるカメラの配置態様を示す。同図は、カメラシステム５０６を上方から見た外観を模式的に示している。カメラシステム５０６は、第１撮像部５１０と、高さ方向で第１撮像部５１０の下に設置された第２撮像部５１２を備える。

　第１撮像部５１０は、３６０度の周囲空間を撮像可能なように設置された複数のビデオカメラ（図２２では８台のカメラ５１４）を含む。同様に、第２撮像部５１２も、３６０度の周囲空間を撮像可能なように設置された複数のビデオカメラ（図２２では８台のカメラ５１６）を含む。すなわち、カメラシステム５０６は、３６０度カメラを上下２段に重ねた構成である。

　カメラシステム５０６では、第１撮像部５１０（すなわち複数のカメラ５１４）を常時水平方向に回動させ、かつ、第２撮像部５１２（すなわち複数のカメラ５１６）も常時水平方向に回動させる。図２２では、第１撮像部５１０の回動方向を実線の矢印付き円弧で示している（上から見て時計回り）。また、第２撮像部５１２の回動方向を破線の矢印付き円弧で示している（上から見て反時計回り）。

　第１撮像部５１０における複数のカメラ１４は、互いに異なる方向を撮像するように設置される。第２撮像部５１２における複数のカメラ５１６も同様である。隣接するカメラ同士は、画角が重ならないように構成されてもよい。カメラの回動により横方向の視差を取得可能であり、同一の被写体を複数のカメラで撮像する必要がないからである。これにより、広角の画像を得る場合でも、カメラシステム５０６のサイズを抑制できる。

　また、第１撮像部５１０は、予め定められた特定の領域を少なくとも１つのカメラ５１４が撮像するように構成され、第２撮像部５１２も、上記特定の領域を少なくとも１つのカメラ５１６が撮像するように構成される。これにより、上記特定の領域の視差情報を常時取得可能になる。上記特定の領域は、ＨＭＤ５０２に表示させるべき空間領域、または、ＨＭＤ５０２に表示されうる空間領域であってもよい。なお、第１実施例の第１撮像部５１０および第２撮像部５１２は３６０度カメラであるため、上記特定の領域に限らず全方位の視差情報が取得可能である。一部の方位のみ撮像するカメラシステム５０６については第２実施例として後述する。

　図２３は、図２１のカメラシステム５０６の機能構成を示すブロック図である。カメラシステム５０６は、図２２に関連して説明した第１撮像部５１０および第２撮像部５１２と、駆動部５２０と、撮像画像取得部５２２と、視差取得部５２４と、距離取得部５２６と、姿勢検出部５２８と、ＨＭＤ画像生成部５３０と、画像出力部５３２を備える。

　本明細書のブロック図において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　例えば、カメラシステム５０６は、単体のデータ処理装置により実現されてもよく、複数のデータ処理装置が連携することにより実現されてもよい。また、図２３の複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラムが、カメラシステム５０６のストレージにインストールされてもよい。カメラシステム５０６のＣＰＵは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより、各機能ブロックの機能を発揮してもよい。

　駆動部５２０は、第１撮像部５１０（すなわち複数台のカメラ５１４）と、第２撮像部５１２（すなわち複数台のカメラ５１６）の少なくとも一方を所定方向へ回動させ、第１撮像部５１０と第２撮像部５１２の両方を回動させる場合、両者を異なる態様で回動させる。上記の異なる態様は、回動方向が異なることと、回動速度が異なることの少なくとも一方を含む。

　実施例では、図２２で示したように、駆動部５２０は、第１撮像部５１０と第２撮像部５１２を同一速度で回動させる一方、両者を反対方向に回動させる。回動速度に制限はなく、例えば、１秒で１周（角速度＝２Π（ｒａｄ／秒））でもよく、２秒で１周（角速度＝Π（ｒａｄ／秒））でもよい。

　撮像画像取得部５２２は、第１撮像部５１０から出力されたデータであり、第１撮像部５１０により撮像された画像のデータ（例えば画素値）を取得する。また、撮像画像取得部５２２は、第２撮像部５１２から出力されたデータであり、第２撮像部５１２により撮像された画像のデータを取得する。

　視差取得部５２４は、カメラシステム５０６の周囲空間における特定の領域を撮像した複数の画像に基づいて、その特定の領域に存在する物体の視差情報を取得する。既述したように、第１撮像部５１０および第２撮像部５１２は３６０度カメラであるため、全方位を常時撮像する。視差取得部５２４は、周囲空間を複数の領域に分割し、それら複数の領域のそれぞれにおける視差情報を取得してもよい。視差取得部５２４は、カメラシステム５０６の周囲空間に存在する静止物体と動体の両方の視差情報を取得する。

　ここで、カメラシステム５０６の周囲空間に存在する静止物体については、回動する１つの撮像部（例えば第１撮像部５１０と第２撮像部５１２の一方）により複数の時点で撮像された当該静止物体を含む複数の画像を比較することにより、撮像部の回動に伴って生じた当該静止物体の視差を導出できる。撮像部の回動に伴って生じた静止物体の視差は、当該撮像部から当該静止物体までの距離に基づく視差とも言える。

　一方、カメラシステム５０６の周囲空間を移動する被写体（動体）は、被写体自身の動きがあるため、回動する１つの撮像部により複数の時点で撮像された複数の画像を比較しても、当該撮像部から当該被写体までの距離に基づく視差を求めることはできない。そこで、実施例の視差取得部５２４は、第１撮像部５１０により撮像された画像と、第２撮像部５１２により撮像された画像の両方から検出された同一の被写体の移動量を比較することにより、当該被写体自身の動きの影響を排除した視差情報を取得する。

　動体の視差情報を取得する方法を説明する。ここでは、第１撮像部５１０の特定のカメラ（カメラ５１４と呼ぶ。）と、第２撮像部５１２の特定のカメラ（カメラ５１６と呼ぶ。）が、カメラシステム５０６の周囲空間に存在する同一の動体を撮像したとする。第１撮像部５１０のカメラ５１４で得られる時間軸方向での視差（「Ａ」と呼ぶ。）は、映像出力の時間軸方向の差分であり、既知の値である。同様に、第２撮像部５１２のカメラ５１６で得られる時間軸方向での視差（「Ｂ」と呼ぶ。）も、映像出力の時間軸方向の差分であり、既知の値である。

　変形例として、カメラシステム５０６は、第１撮像部５１０の移動量（回動量）を検出する第１のジャイロセンサを備えてもよく、第２撮像部５１２の移動量（回動量）を検出する第２のジャイロセンサを備えてもよい。この場合、視差取得部５２４は、第１のジャイロセンサの出力値に応じて、第１撮像部５１０のカメラ５１４で得られる時間軸方向での視差（Ａ）を計算してもよい。同様に、視差取得部５２４は、第２のジャイロセンサの出力値に応じて、第２撮像部５１２のカメラ５１６で得られる時間軸方向での視差（Ｂ）を計算してもよい。これにより、ジャイロセンサで計測された実際の回動量に基づいて、被写体の視差を求めることができる。

　別の変形例として、視差取得部５２４は、第１撮像部５１０のカメラ５１４で得られた複数の画像間の両方に映る同一被写体を検出し、複数の画像間での上記被写体の位置の差異を計測することで、時間軸方向での視差（Ａ）を導出してもよい。同様に、視差取得部５２４は、第２撮像部５１２のカメラ５１６で得られた複数の画像間の両方に映る同一被写体を検出し、複数の画像間での上記被写体の位置の差異を計測することで、時間軸方向での視差（Ｂ）を導出してもよい。

　次に、第１撮像部５１０の回動に伴い発生する視差であり、言い換えれば、第１撮像部５１０のカメラ５１４から被写体までの距離に伴う視差を「ｄｘ」とする。第１実施例では、第１撮像部５１０と第２撮像部５１２は、回動速度が同一で回動方向が反対である。そのため、第２撮像部５１２の回動に伴い発生する視差であり、言い換えれば、第２撮像部５１２のカメラ５１６から被写体までの距離に伴う視差は「－ｄｘ」となる。また、被写体の動作（周囲空間における移動）に伴う視差を「ｄｙ」とする。

　この場合、以下の式１と式２が成立する。
　Ａ　＝　ｄｘ＋ｄｙ　　・・・（式１）
　Ｂ　＝　－ｄｘ＋ｄｙ　・・・（式２）
　式１と式２の差をとると、Ａ－Ｂ　＝　２ｄｘとなる。ＡとＢは既知であるため、ｄｘが求まる。すなわち、被写体自身の動作に伴う視差（ｄｙ）を排除した、カメラから被写体までの距離に基づく視差を導出できる。

　既述したが、第１撮像部５１０と第２撮像部５１２は、回動方向が同一で回動速度が異なってもよく、また、一方のみが回動してもよい。第１撮像部５１０のカメラ５１４から被写体までの距離に伴う視差を「ｄｘ」とする場合、第２撮像部５１２のカメラ５１６から被写体までの距離に伴う視差は、「ｒｄｘ」（ｒは実数）が許容される。上記の式１、式２で示したように、ｄｙの成分が消去されるからである。

　また、視差取得部５２４は、第１撮像部５１０により撮像された画像と、第２撮像部５１２により撮像された画像とに基づいて、縦方向（言い換えれば高さ方向）の視差を取得する。

　距離取得部５２６は、視差取得部５２４により取得された、第１撮像部５１０と第２撮像部５１２の少なくとも一方の回動に伴って生じた視差の情報に基づいて、カメラ５１４（またはカメラ５１６）から被写体までの距離を取得する。距離取得部５２６は、カメラシステム５０６の周囲空間を分割した複数の領域のそれぞれについて、距離取得部５２６により取得された各被写体の視差情報に基づく三角測量により、各被写体までの距離（言い換えれば深度）を計測してもよい。

　姿勢検出部５２８は、ＨＭＤ５０２の姿勢（言い換えればユーザの視線方向）を検出する。実施例では、姿勢検出部５２８は、ゲーム装置５０４から送信された、ＨＭＤ５０２の姿勢を示す姿勢情報を取得する。姿勢検出部５２８は、姿勢情報が示すＨＭＤ５０２の姿勢をＨＭＤ画像生成部５３０に渡す。

　ＨＭＤ画像生成部５３０は、ＨＭＤ５０２に表示させるべき視差画像（例えば右目用画像と左目用画像であり、以下「表示用画像」とも呼ぶ。）を生成する。例えば、ＨＭＤ画像生成部５３０は、距離取得部５２６により取得された、カメラシステム５０６の周囲空間に存在する各物体までの距離に基づいて、カメラシステム５０６の周囲空間（実施例では周囲３６０度）の様子を示すパノラマ画像を一旦生成してもよい。ＨＭＤ画像生成部５３０は、生成したパノラマ画像から、姿勢検出部５２８により検出されたＨＭＤ５０２の姿勢（言い換えればユーザの視線方向）に合致する領域の画像を表示用画像として抽出してもよい。

　また、ＨＭＤ画像生成部５３０は、ＨＭＤ５０２の姿勢が、ユーザの頭部が横になったことを示す場合、視差取得部５２４により取得された縦方向の視差に基づいて、表示用画像を生成する。例えば、第１撮像部５１０のカメラ５１４と、第２撮像部５１２のカメラ５１６との距離が、瞳孔間距離（例えば６０ミリ～６４ミリ程度）に設定された場合、ＨＭＤ画像生成部５３０は、第１撮像部５１０および第２撮像部５１２の出力画像を９０度回転させた画像を、右目用画像および左目用画像として生成してもよい。

　画像出力部５３２は、ＨＭＤ画像生成部５３０により生成された表示用画像をゲーム装置５０４へ送信し、ゲーム装置５０４を介して、当該表示用画像をＨＭＤ５０２に表示させる。変形例として、ＨＭＤ画像生成部５３０は、３６０度のパノラマ画像を生成し、画像出力部５３２は、そのパノラマ画像をゲーム装置５０４へ提供してもよい。この場合、ゲーム装置５０４が、パノラマ画像から、ＨＭＤ５０２の姿勢に応じた領域を抽出して表示用画像を生成し、ＨＭＤ５０２に表示させてもよい。

　以上の構成によるカメラシステム５０６の動作を説明する。
　ユーザは、カメラシステム５０６の撮像画像をＨＭＤ５０２に表示させるアプリケーション（例えばライブコンテンツ視聴アプリケーション）をゲーム装置５０４で起動し、自身の頭部にＨＭＤ５０２を装着する。ゲーム装置５０４は、カメラシステム５０６と通信を開始し、ＨＭＤ５０２の現在の姿勢を示す姿勢情報をカメラシステム５０６へ繰り返し送信する。

　カメラシステム５０６の駆動部５２０は、第１撮像部５１０の複数のカメラ５１４と、第２撮像部５１２の複数のカメラ５１６のそれぞれを互い異なる態様で回動させる。撮像画像取得部５２２は、第１撮像部５１０から順次出力される複数の画像を取得し、また、第２撮像部５１２から順次出力される複数の画像を取得する。視差取得部５２４は、撮像画像取得部５２２により取得された複数の画像に基づいて、カメラシステム５０６の周囲空間に存在する静止物体と動体それぞれの視差（具体的にはカメラから各被写体までの距離に基づく視差）を取得する。

　距離取得部５２６は、視差取得部５２４により取得された各被写体の視差に基づいて、カメラから各被写体までの距離を示す深度情報を生成する。姿勢検出部５２８は、ゲーム装置５０４から送信された姿勢情報を受信する。ＨＭＤ画像生成部５３０は、距離取得部５２６により生成された深度情報に基づいて、カメラシステム５０６の周囲空間の様子を示すパノラマ画像を生成し、姿勢情報が示すユーザの視線方向に対応する領域の画像を表示用画像としてパノラマ画像から抽出する。

　画像出力部５３２は、表示用画像をゲーム装置５０４へ送信する。ゲーム装置５０４は、カメラシステム５０６から受信した表示用画像をＨＭＤ５０２へ送信して表示させる。以降、上記の処理が繰り返され、ユーザは、カメラシステム５０６からライブ配信される映像を視聴する。

　第１実施例のカメラシステム５０６によると、異なる方向を撮像する複数のカメラの組を上下に配置し、各組を異なる態様で回動させる。これにより、カメラシステムのサイズ肥大化を回避しつつ、広角画像を取得できる。また、横方向の視差だけでなく縦方向の視差を取得できる。また、動体の視差を精度よく取得できる。

　以上、本発明を第１実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を示す。

　変形例１を説明する。カメラシステム５０６の第１撮像部５１０と第２撮像部５１２は、異なるカラーフィルタまたは異なる有機光電変換膜を有してもよい。この結果、第１撮像部５１０と第２撮像部５１２は、互いに異なる色彩の画像を生成してもよい。第１撮像部５１０と第２撮像部５１２は、合計して４つ以上の波長帯の光強度に基づく画像を生成してもよい。例えば、第１撮像部５１０は、ＲＧＢ画像を生成する一方、第２撮像部５１２は、ＲＧＢ以外の波長帯（例えば赤外線領域、紫外線領域等）の光強度に基づく画像を生成してもよい。

　変形例１によると、被写体から入射する光について、マルチスペクトルのデータを取得でき、言い換えれば、４つ以上の波長帯の光強度を取得できる。マルチスペクトルデータを使用することで、光源推定（例えば太陽、ＬＥＤ、蛍光灯の何れであるかの識別）の精度を高めることができる。また、被写体が何であるか、または何に属するものかの識別（例えば水とアルコールの識別）の精度を高めることができる。

　変形例２を説明する。ＨＭＤ画像生成部５３０は、第１撮像部５１０により撮像された画像と、第２撮像部５１２により撮像された画像とを合成することによりＨＭＤ５０２に表示させる画像の画質を向上させてもよい。ＨＭＤ画像生成部５３０は、第１撮像部５１０により撮像された画像と、第２撮像部５１２により撮像された画像の両方に含まれる基準物体（同一の静止物体等）に基づくパターンマッチングにより両者の画像を合成してもよい。

　ここで、ＨＭＤ画像生成部５３０は、第１撮像部５１０により撮像された画像と、第２撮像部５１２により撮像された画像について、カラーマトリクスを用いて両者の画像の色を合わせ、または、双方の画像のデータを所定比率で合成（アルファブレンド等）することにより色を合わせる調整部を含んでもよい。ＨＭＤ画像生成部５３０は、第１撮像部５１０により撮像された画像と、第２撮像部５１２により撮像された画像について、（１）パターンマッチングにより双方の画像における画素の対応関係を特定し、（２）調整部により双方の画像の色を合わせ、（３）双方の画像を合成してもよい。変形例２は、変形例１と組み合わせることも好適である。

　変形例３を説明する。図２４は、第１撮像部５１０の複数のカメラ５１４、および、第２撮像部５１２の複数のカメラ５１６について、各カメラに搭載される撮像素子を模式的に示す。ここでは撮像素子５４０は、積層型イメージセンサとし、第１層５４２と第２層５４４を備える。第１層５４２は、複数の画素が配置され、光を受光し光電変換する画素領域５４６を含む。第２層５４４は、画素領域５４６を制御する制御回路５４８と、画素領域５４６から出力された画素データをデジタル処理するロジック回路５５０を含む

　ロジック回路５５０は、画素の信号を蓄積可能なメモリ５５２を含む。メモリ５５２は、出力用の画像（例えば複数個の画素に対応する複数個のＲＧＢデータ）を生成するためのデータであって、画素領域５４６から読み出されたデータを記憶する。図２５は、変形例３におけるデータの流れを示す概念図である。制御回路５４８またはロジック回路５５０は、予め定められた画像の出力レート（例えば３０ｆｐｓ（frames per second））より速いレート（例えば１０００ｆｐｓ）で、画素領域５４６からデータを読み出してメモリ５５２に格納する。

　ロジック回路５５０は、予め定められた画像の出力レート（例えば３０ｆｐｓ）にしたがって、メモリ５５２に記憶されたデータから出力用の画像を生成し、出力インタフェース（例えばＭＩＰＩ（Mobile Industry Processor Interface）（登録商標））へ出力する。変形例３の構成によると、画素領域５４６からロジック回路５５０のメモリ５５２へ高速にデータを読み出すため、カメラが動くことに伴い画像がブレてしまうこと、言い換えれば、画像がボケてしまうことを抑制できる。また、変形例３の構成によると、フォーカルプレーン現象（すなわち１フレーム内の歪み）を防止できるだけでなく、ロジック回路５５０の中で、各々のフレームの移動量を補正でき、補正した状態で、蓄積加算する処理を実行できる。このように、移動量補正および加算処理等を施した映像を、ロジック回路５５０から出力インタフェースへ出力することができる。

　変形例４を説明する。カメラシステム５０６は、図２４に記載した構成の撮像素子５４０（すなわち積層型イメージセンサ）を含んでもよい。ここで、第１撮像部５１０と第２撮像部５１２は、画素領域５４６とロジック回路５５０の組み合わせにより実現されてもよい。また、撮像画像取得部５２２、視差取得部５２４は、制御回路５４８とロジック回路５５０の組み合わせにより実現されてもよい。

　変形例４では、メモリ５５２は、出力用の画像（映像）を蓄積してもよい。撮像画像取得部５２２は、時間軸方向に複数の撮像画像をメモリ５５２に格納し、視差取得部５２４は、メモリ５５２に記憶された複数の画像間での視差を導出してもよい。撮像素子５４０は、画像データとともに視差情報を出力してもよい。この態様によると、撮像素子において視差を導出するため、撮像素子以降の後段の画像処理を軽量化、高速化できる。

　変形例５を説明する。カメラシステム５０６のフレーム出力レートが３０ｆｐｓの場合、一般的には、約３３ミリ秒ごとに画像を生成することになるが、その間にもカメラシステム５０６のカメラは回動するため、画像がブレてしまう可能性がある。そこで、カメラシステム５０６は、１フレームの画像を構成する時分割された画素領域のデータを読み出し、言い換えれば、１フレームの画像を細かく分割して撮像素子から複数回読み出し、読み出したデータを、カメラの移動量に基づいて補正してもよい。カメラシステム５０６は、或るタイミングで補正した補正したデータを、それより前のタイミングで補正したデータに加算していくことで、１フレームの画像を生成してもよい。

　例えば、第１撮像部５１０は、画素値取得部、補正部、画像生成部、出力部を備えてもよい。画素値取得部は、第１撮像部５１０の各カメラの撮像素子から、短時間のうちに（例えば１ミリ秒程度）、画素領域の画素データ（ここでは座標値と画素値の組み合わせ）を取得することを繰り返す。例えば、画素領域が画素データを３０ミリ秒蓄積する場合、１ミリ秒蓄積された時点で画素取得部が画素データを読み出してメモリへ格納することを３０回繰り返し、メモリに格納された画素データを画像生成部が加算することで３０ミリ秒蓄積した画素データに基づく画像を生成してもよい。

　補正部は、画素値取得部により取得された画素領域の画素値について、第１撮像部５１０の複数のカメラ５１４の既知の移動量に基づいて、当該画素値に対応する座標値を補正する。例えば、補正部は、ある画素値に対応付けられた座標値を、第１撮像部５１０の回動方向とは逆方向に平行移動させた値に変更してもよい。画像生成部は、異なる複数のタイミングで読み出されて補正部により補正された画素データ（座標値と画素値の組み合わせ）を、補正後の座標値を基に合成する。これにより、画素生成部は、１フレーム分の画像（「撮像画像」と呼ぶ。）を生成する。

　出力部は、画像生成部により生成された撮像画像を出力する。以降、撮像画像は、撮像画像取得部５２２により取得され、実施例に記載の処理が実行される。第２撮像部５１２の構成も第１撮像部５１０と同様であってよい。変形例５によると、カメラが動くことによる画像（映像）の品質の低下を抑制できる。例えば、単純に３０ミリ秒蓄積された画素データを読み出すのではなく、１ミリ秒等の短時間で繰り返し画素データを読み出すことにより、カメラの移動によるブレの影響を受けにくくなる。また、短時間で読み出されたデータのそれぞれをカメラの移動量に基づいて補正することで、画素データの加算によるブレの発生を抑制できる。

　変形例６を説明する。関連技術にも一部記載したが、カメラシステム５０６は、赤外線による所定パターンの参照光をカメラシステム５０６の周囲空間（言い換えればカメラシステム５０６による被写体）へ照射する照射部をさらに備えてもよい。第１撮像部５１０および第２撮像部５１２の撮像素子（例えば赤外受光画素）は、参照光に対する周囲空間からの反射光を検出してもよい。なお、参照光はランダムなパターンで照射してもよい。

　視差取得部５２４は、赤外領域の反射光のパターンに基づいて被写体の視差を取得し、距離取得部５２６は、その視差から被写体までの距離を求めてもよい。この態様によると、特徴点が乏しい被写体（例えば平坦な被写体）であっても特徴点を作り出すことができ、距離を精度よく検出できる。

　変形例７を説明する。第１撮像部５１０と第２撮像部５１２の少なくとも一方の画素配列内に、レンズ（例えばマイクロレンズ）を透過した光のうち所定方位の偏光成分を透過させる偏光子を設けてもよい。例えば、第１撮像部５１０と第２撮像部５１２の少なくとも一方は、関連技術の図１に示すように、結像光学系１４、絞り１８、撮像素子２０を含んでもよい。撮像素子２０は、画素の２次元配列を含んでもよく、この画素は、マイクロレンズ、偏光子、フォトダイオードを一体的に積層させた構造を有してもよい。

　複数種類の主軸角度を有する複数種類の偏光子が、複数の撮像部（もしくは単一の撮像部内の画素単位）に設けられてもよい。この変形例によると、偏光画像（もしくは複数方向に対応する複数種類の偏光画像）を得ることができる。これにより、偏光画像を利用して被写体表面の法線ベクトルを求めることができる。変形例６に記載の技術は、屋外での撮影に比較的弱いが、変形例７の技術は、屋外での撮影にも強い。

　変形例７に関連する変形例８を説明する。第１撮像部５１０と第２撮像部５１２の少なくとも１つに、レンズ（例えばマイクロレンズ）を透過した光を電荷に変換する単位である光電変換部（例えばフォトダイオード）を含む画素の配列を設けてもよい。そして、その配列において、１つのレンズに対応する画素領域を分割してなる複数の部分領域のそれぞれに上記光電変換部を設けてもよい。関連技術に記載したように、１つのマイクロレンズに対し複数のフォトダイオードを設けることにより、入射光を２つの画像に分割してなる位相差画像を取得することができる。

　光電変換部が設けられた第１撮像部５１０（および／または第２撮像部５１２）は、位相差画像のペアを１つ以上生成してもよい。視差取得部５２４は、ペアとなった２つの位相差画像間での同じ被写体の像のずれ量（関連技術の「位相差」）を視差として検出してもよい。また、距離取得部５２６は、位相差画像が示す位相差を利用して、被写体までの距離を取得してもよい。このように、被写体の視差と深度を撮像部においても求めることにより、被写体の視差と深度を推定する精度を高めることができる。

　変形例９を説明する。カメラシステム５０６とゲーム装置５０４との間には、サーバが介在してもよい。サーバは、ゲーム装置５０４から送信された姿勢情報を受信して、カメラシステム５０６へ転送するとともに、カメラシステム５０６から送信された表示用画像を受信して、ゲーム装置５０４へ転送する中継処理を実行してもよい。また、サーバは、カメラシステム５０６により予め生成された複数の表示用画像を記憶してもよい。サーバは、ゲーム装置５０４から姿勢情報を受信した場合に、ＨＭＤ５０２の姿勢に対応する表示用画像をゲーム装置５０４へ送信してもよい。

　変形例１０を説明する。図２６（ａ）と図２６（ｂ）は、変形例１０のカメラシステム５０６におけるカメラの配置態様を示す図である。図２６（ａ）はカメラシステム５０６を上から見た構成を模式的に示し、図２６（ｂ）はカメラシステム５０６を横から見た構成を模式的に示している。カメラシステム５０６は、第１実施例の第１撮像部５１０に対応する全天周カメラ５７４と、第１実施例の第２撮像部５１２に対応する撮像部５７０を備える。なお、全天周カメラ５７４と撮像部５７０の上下は逆でも構わない。

　全天周カメラ５７４は、カメラシステム５０６の周囲３６０度の空間を撮像する。全天周カメラ５７４は、全天球カメラとも言え、全方位カメラとも言える。全天周カメラ５７４は、回動してもよく、固定でもよい。全天周カメラ５７４が固定の場合も、撮像部５７０の複数のカメラ５７２が時計回りもしくは反時計回りに回動することにより、変形例１０のカメラシステム５０６は、第１実施例のカメラシステム５０６と同様の効果を奏する。例えば、動体の視差情報および深度情報を取得することができる。

　（第２実施例）
　第２実施例のエンタテインメントシステム５００の構成は、第１実施例のエンタテインメントシステム５００と同様である（図２１）。第２実施例のカメラシステム５０６の機能構成も、第１実施例のカメラシステム５０６と同様である（図２３）。ただし、第２実施例のカメラシステム５０６は、周囲空間（３６０度）のうち一部の空間のみを撮像する点、および、複数のカメラが一段のみ設けられた点で、第１実施例のカメラシステム５０６と異なる。以下、第１実施例で説明済みの内容は適宜省略する。

　図２７は、第２実施例のカメラシステム５０６におけるカメラの配置態様を示す。同図は、カメラシステム５０６を上方から見た外観を模式的に示している。カメラシステム５０６は撮像部５６０を備える。撮像部５６０は、水平に配置された複数のビデオカメラ（図２７では３台のカメラ５６２）を含む。

　カメラシステム５０６の駆動部５２０は、撮像部５６０（すなわち複数のカメラ５６２）を常時水平方向に回動させる。駆動部５２０は、撮像部５６０の回動方向として、実線で示す右回りと破線で示す左回りを交互に切り替える。ただし、駆動部５２０は、カメラシステム５０６の周囲空間のうちＨＭＤ５０２で表示対象となる特定の空間領域である特定領域５６４を、少なくとも１台のカメラ５６２が撮像可能な範囲で撮像部５６０を回動させる。言い換えれば。駆動部５２０は、１台のカメラ５６２の画角、または、複数台のカメラ５６２により形成される画角に特定領域５６４が収まる範囲で撮像部５６０を回動させる。

　カメラシステム５０６の視差取得部５２４は、第１実施例と同様に、１つもしくは複数のカメラ５６２により撮像された複数の画像に基づいて、特定領域５６４に存在する被写体の視差情報を取得する。第２実施例のカメラシステム５０６では、縦方向の視差を取得することはできないが、カメラシステムのサイズ肥大化を回避しつつ、比較的広角の画像を取得できる。また、静止物体の横方向の視差を取得できる。

　第２実施例において、ＨＭＤ画像生成部５３０は、撮像部５６０（すなわち複数のカメラ５６２）の移動量、または、特定領域５６４に存在する静止物体に基づいて、複数の画像の視点を一致させるよう複数の画像の少なくとも１つを補正してもよい。これにより、ＨＭＤ画像生成部５３０は、撮像部５６０の回動に伴って特定領域５６４の画像にズレが生じることを回避し、固定視点から見た特定領域５６４の時系列の画像（すなわち映像）を表示用画像として生成することができる。

　例えば、ＨＭＤ画像生成部５３０は、同一のカメラ５６２または複数のカメラ５６２により異なるタイミングで撮像された、特定領域５６４の様子を示す複数の画像について、少なくとも１つの画像の画素値の座標を変換してもよい。例えば、ＨＭＤ画像生成部５３０は、少なくとも１つの画像の画素値の座標を、撮像部５６０の既知の移動量（もしくはジャイロセンサ等により検知された移動量）に基づいて変換することにより、複数の画像の視点を合わせてもよい。また、特定領域５６４に存在する静止物体（柱等）が既知である場合、複数の画像間で静止物体の位置が整合するように、少なくとも一方の画像の画素値の座標を変換してもよい。

　また、第２実施例のカメラシステム５０６は、動く被写体を検出する動体検出部（不図示）をさらに備えてもよい。動体検出部は、上記のＨＭＤ画像生成部５３０と同様に、撮像部５６０（すなわち複数のカメラ５６２）の移動量、または、特定領域５６４に存在する静止物体に基づいて、複数の画像の視点を一致させるよう複数の画像の少なくとも１つを補正してもよい。動体検出部は、視点を一致させた複数の画像のデータを比較し、画像間での差分を、特定領域５６４に存在する動体として検出してもよい。

　視差取得部５２４は、動体検出部の検出結果を使用して、カメラシステム５０６の周囲空間における視差情報を取得してもよい。また、ＨＭＤ画像生成部５３０は、動体検出部により補正された画像を使用して表示用画像を生成してもよい。この態様によると、カメラシステム５０６の周囲空間に存在する動体の検出精度を向上することができる。

　以上、本発明を第２実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　（第３実施例）
　第３実施例のエンタテインメントシステム５００の構成は、第１実施例のエンタテインメントシステム５００と同様である（図２１）。第３実施例のカメラシステム５０６の機能構成も、第１実施例のカメラシステム５０６と同様である（図２３）。ただし、第３実施例のカメラシステム５０６は、複数のカメラの回動態様が第１実施例のカメラシステム５０６と異なる。以下、第１実施例で説明済みの内容は適宜省略する。

　図２８は、第３実施例のカメラシステム５０６におけるカメラの配置態様を示す。同図は、カメラシステム５０６を正面側（言い換えれば被写体側）から見た外観を模式的に示している。カメラシステム５０６は、第１撮像部５１０と第２撮像部５１２を備える。第１撮像部５１０は、カメラシステム５０６の外周側に設けられたカメラ５１４ａ、カメラ５１４ｂ、カメラ５１４ｃ、カメラ５１４ｄ（総称する場合「カメラ５１４」と呼ぶ。）を含む。第２撮像部５１２は、カメラシステム５０６の内周側に設けられたカメラ５１６ａ、カメラ５１６ｂ、カメラ５１６ｃ、カメラ５１６ｄ（総称する場合「カメラ５１６」と呼ぶ。）を含む。

　第１撮像部５１０の複数のカメラ５１４は、ＨＭＤ５０２で表示対象となる特定の空間領域（特定の方向とも言え、以下、図２７で示した「特定領域５６４」と呼ぶ。）にレンズを向け、特定領域５６４に存在する被写体を異なる角度から同時に撮像する。同様に、第２撮像部５１２の複数のカメラ５１６も、特定領域５６４にレンズを向け、特定領域５６４に存在する被写体を異なる角度から同時に撮像する。すなわち、カメラシステム５０６に設けられた複数のカメラは、同一の被写体を異なる角度から撮像する。

　なお、カメラシステム５０６に含まれる複数のカメラは、光軸方向（言い換えれば撮像対象となる方向）が同じになるように設置されてもよい。または、複数のカメラのうち少なくとも１つのカメラは、当該カメラの光軸方向が他のカメラの光軸方向と異なるように設置されてもよい。例えば、第１撮像部５１０のカメラ（カメラシステム５０６の外側のカメラ）と、第２撮像部５１２のカメラ（カメラシステム５０６の内側のカメラ）は、光軸方向が異なるように設置されてもよい。

　カメラシステム５０６の駆動部５２０は、第１撮像部５１０の複数のカメラ５１４と、第２撮像部５１２の複数のカメラ５１６を常時上下方向に回動させる。言い換えれば、駆動部５２０は、複数のカメラ５１４を時計回り、もしくは反時計回りに回動させ、同様に、複数のカメラ５１６を時計回り、もしくは反時計回りに回動させる。図２８の例では、駆動部５２０は、第１撮像部５１０の複数のカメラ５１４を時計回りに回動させ、第２撮像部５１２の複数のカメラ５１６を反時計回りに回動させる。

　図２９は、カメラが回動した状態を模式的に示す。同図は、図２８の状態から、第１撮像部５１０の複数のカメラ５１４が時計回りに４５度回動し、第２撮像部５１２の複数のカメラ５１６が反時計回りに４５度回動した状態を示している。

　変形例として、第１撮像部５１０と第２撮像部５１２の一方が静止してもよく、両方が同一方向に回動してもよい。また、第１撮像部５１０と第２撮像部５１２のカメラのサイズには制限はなく、第１撮像部５１０と第２撮像部５１２は、大小様々な光学サイズのカメラを備えてもよい。

　第３実施例のカメラシステム５０６は、姿勢検出部５２８により検出されたＨＭＤ５０２の姿勢に対応する位置のカメラにより撮像された画像に基づいて、ＨＭＤ５０２に表示させる画像を生成する。

　具体的には、カメラシステム５０６の視差取得部５２４は、姿勢検出部５２８により検出されたＨＭＤ５０２の姿勢に対応する位置の複数のカメラにより撮像された画像に基づいて視差情報を取得する。例えば、カメラシステム５０６が図２８で示す状態である場合に、ＨＭＤ５０２の姿勢が通常の前向きの場合（すなわちユーザの頭部が傾いていない場合）、視差取得部５２４は、カメラ５１４ｂによる撮像画像と、カメラ５１４ｄによる撮像画像とに基づいて、特定領域５６４の視差情報を取得してもよい。

　また、カメラシステム５０６が図２９で示す状態である場合に、ＨＭＤ５０２の姿勢が横向きの場合（すなわちユーザの頭部が横に傾けられた場合）、視差取得部５２４は、カメラ５１６ａによる撮像画像と、カメラ５１６ｃによる撮像画像とに基づいて、特定領域５６４の視差情報を取得してもよい。また、カメラシステム５０６が図２９で示す状態である場合に、ＨＭＤ５０２の姿勢が右斜めの場合（すなわちユーザの頭部が右斜めに傾けられた場合）、視差取得部５２４は、カメラ５１４ａによる撮像画像と、カメラ５１４ｃによる撮像画像とに基づいて、特定領域５６４の視差情報を取得してもよい。

　カメラシステム５０６のＨＭＤ画像生成部５３０は、第１実施例と同様に、視差取得部５２４により取得された視差情報に基づいて表示用画像を生成する。第３実施例のカメラシステム５０６によると、ユーザの動きに追従した好適な視差情報を得ることができる。また、カメラシステム５０６のカメラが回動することにより、ユーザがとりうる多くの姿勢に整合する視差情報を得ることができる。これにより、ＨＭＤ５０２を装着したユーザが頭部を動かした場合の映像体験を一層正確なものにできる。

　以上、本発明を第３実施例をもとに説明した。この実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　上述した実施例および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

　５０６　カメラシステム、　５１０　第１撮像部、　５１２　第２撮像部、　５２０　駆動部、　５２２　撮像画像取得部、　５２４　視差取得部、　５２６　距離取得部、　５２８　姿勢検出部、　５３０　ＨＭＤ画像生成部、　５３２　画像出力部。

　本発明は、複数台のカメラを含むシステムに適用できる。

Claims

　互いに異なる方向を同時に撮像する複数台のカメラと、
　前記複数台のカメラを所定方向へ回動させる駆動部と、
　視差取得部と、
　を備え、
　前記複数台のカメラは、回動する間も、予め定められた特定の領域をいずれかのカメラが撮像するように構成され、
　前記視差取得部は、前記特定の領域を撮像した複数の画像に基づいて、前記特定の領域に存在する物体の視差情報を取得することを特徴とするカメラシステム。
　複数台のカメラを含む第１撮像部と、
　複数台のカメラを含む第２撮像部と、
　をさらに備え、
　前記第１撮像部と前記第２撮像部は、高さ方向に重ねられており、
　前記駆動部は、前記第１撮像部の複数台のカメラと、前記第２撮像部の複数台のカメラの少なくとも一方を回動させ、前記第１撮像部の複数台のカメラと、前記第２撮像部の複数台のカメラの両方を回動させる場合、両者を異なる方向または異なる速度で回動させることを特徴とする請求項１に記載のカメラシステム。
　前記視差取得部は、前記第１撮像部により撮像された画像と、前記第２撮像部により撮像された画像の両方から検出された同一の被写体の移動量を比較することにより、前記第１撮像部と前記第２撮像部の少なくとも一方の回動に伴って生じた前記被写体の視差の情報を取得することを特徴とする請求項２に記載のカメラシステム。
　前記回動に伴って生じた視差の情報に基づいて、カメラから前記被写体までの距離を取得する距離取得部をさらに備えることを特徴とする請求項３に記載のカメラシステム。
　前記第１撮像部と前記第２撮像部は、異なるカラーフィルタまたは異なる有機光電変換膜を有することを特徴とする請求項２から４のいずれかに記載のカメラシステム。
　前記第１撮像部により撮像された画像と、前記第２撮像部により撮像された画像について、カラーマトリクスを用いることにより双方の画像の色を合わせ、または、双方の画像のデータを合成することにより色を合わせる調整部をさらに備えることを特徴とする請求項２または５に記載のカメラシステム。
　前記複数台のカメラに含まれる撮像素子は、出力用の画像を生成するためのデータであって、画素領域から読み出されたデータを記憶するメモリを含み、
　前記撮像素子は、画像の出力レートより速く、前記画素領域からデータを読み出して前記メモリに格納することを特徴とする請求項１から６のいずれかに記載のカメラシステム。
　前記複数台のカメラの移動量を検出するセンサをさらに備え、
　前記視差取得部は、前記センサにより検出された前記移動量に基づいて、前記視差情報を取得することを特徴とする請求項１から７のいずれかに記載のカメラシステム。
　１フレームの画像を構成する時分割された画素領域のデータを読み出し、読み出したデータを前記複数台のカメラの移動量に基づき補正し、補正後のデータを別のタイミングで読み出した画素のデータに加算することにより、前記１フレームの画像を生成する生成部をさらに備えることを特徴とする請求項１に記載のカメラシステム。
　前記複数台のカメラの移動量、または、前記特定の領域に存在する静止物体に基づいて、前記複数の画像の視点を一致させるよう前記複数の画像の少なくとも１つを補正することにより、固定視点から見た前記特定の領域の映像を生成する生成部をさらに備えることを特徴とする請求項１に記載のカメラシステム。
　前記視差取得部は、前記複数台のカメラの移動量、または、前記特定の領域に存在する静止物体に基づいて、前記複数の画像の視点を一致させるよう前記複数の画像の少なくとも１つを補正することにより、前記特定の領域に存在する動体を検出する検出部をさらに備えることを特徴とする請求項１または１０に記載のカメラシステム。
　前記複数台のカメラは、同一の被写体を異なる角度から同時に撮像するものであり、
　ヘッドマウントディスプレイの姿勢を検出する姿勢検出部と、
　前記複数台のカメラのうち前記姿勢検出部により検出された前記ヘッドマウントディスプレイの姿勢に対応する位置のカメラにより撮像された画像に基づいて、前記ヘッドマウントディスプレイに表示させる画像を生成する生成部と、
　をさらに備えることを特徴とする請求項１に記載のカメラシステム。
　同一の被写体を異なる角度から同時に撮像する複数台のカメラと、
　前記複数台のカメラを所定方向へ回動させ、前記複数台のカメラの位置を変化させる駆動部と、
　ヘッドマウントディスプレイの姿勢を検出する姿勢検出部と、
　前記複数台のカメラのうち前記姿勢検出部により検出された前記ヘッドマウントディスプレイの姿勢に対応する位置のカメラにより撮像された画像に基づいて、前記ヘッドマウントディスプレイに表示させる画像を生成する生成部と、
　を備えることを特徴とするカメラシステム。