JP2011082921A - 撮像装置及び撮像システム - Google Patents

Abstract

【課題】太陽を撮像したことによるスミアの不適正な補正を回避でき、違和感のない３次元画像を得ることができる撮像装置及び撮像システムを提供する。
【解決手段】複数の撮像部を備え、３次元撮像が可能な撮像装置であって、
複数の撮像部のそれぞれから取得した画像を合成して３次元画像を作成する３次元画像生成手段と、３次元画像が第１の画像と第２の画像とで合成されるものとし、第１の画像及び第２の画像にスミアが検出された場合、スミアのレベルをスミア量とし、該スミア量と第１の閾値と比較し、第１の画像と第２の画像との間でのスミアの視差を第２の閾値と比較し、スミア量が第１の閾値以上で、且つ、視差が第２の閾値以下のときに、スミアの光源を太陽であると特定するスミア光源特定手段を備える。
【選択図】図４

Description

本発明は、３次元画像の撮像が可能な撮像装置及び撮像システムに関する。

撮像部には、通常の２次元画像を撮像可能な撮像装置と同様に、ＣＣＤが用いられる。ＣＣＤは、受光した入射光を光電変換することで信号電荷を生成するイメージセンサである。ＣＣＤで高輝度の被写体を撮像すると、光電変換によって過剰な信号電荷が生成されることに起因して、スミアが発生する。ＣＣＤは、複数の画素のそれぞれで生成された信号電荷を垂直電荷転送路に読出し、該垂直電荷転送路に沿って転送する構成である。スミアは、垂直電荷転送路の延設された垂直方向に強い相関を持つため、画像上では筋状の欠陥として視認される。

スミアを補正する手段としては、ＣＣＤにおいて複数の画素が設けられた有効画素部とは別にＯＢ（オプティカルブラック）領域を設け、ＯＢ領域で検出したスミア成分を有効画素部で検出した信号電荷からリダクション処理する方法がある。

現在、撮像装置としては、２次元画像と３次元画像の撮像が可能な撮像装置がある。３次元画像の撮像を行なう場合は、視差を有する２つの撮像部で同一の被写体を撮像し、それぞれの撮像部で撮像された画像を合成して立体感のある３次元画像を生成する。

特開２００６−２７９２３９号公報

３次元画像が撮像可能な撮像装置は、２つの撮像部のうち一方又は両方で画像にスミアが生じる可能性がある。
２つの撮像部の一方の画像にスミアが生じたときは、異なる２つの画像を合成した３次元画像が違和感のあるものとなる。
２つの撮像部の両方の画像にスミアが生じたときは、一方の撮像部の画像のスミアと他方の画像のスミアとでは視差に応じて位置がずれるため、この位置のずれを考慮して両方の画像のスミアを補正しなければ、３次元画像が違和感のあるものとなる問題がある。

高輝度の被写体の中でも特に太陽を撮像した場合には、ＣＣＤのＯＢ領域で検出するスミア成分の信号が飽和してしまい、スミア補正すると補正箇所が黒沈みした状態となり、不適正な補正となってしまう。このように、スミア補正が正確に行うことができないときには、２つの画像が異なるものとなってしまうため、違和感のない３次元画像を生成することができなくなる。

上記特許文献１は、複数のカメラを有するステレオカメラであって、太陽を撮像した場合に、２つの画像のスミアの位置が一致するようにカメラパラメータを算出するものである。しかし、太陽の撮像に起因するスミアの補正を行うときに生じうる不適正な補正については考慮されていない。

本発明は、太陽を撮像したことによるスミアの不適正な補正を回避でき、違和感のない３次元画像を得ることができる撮像装置及び撮像システムを提供する。

本発明の上記目的は、複数の撮像部を備え、３次元撮像が可能な撮像装置であって、
前記複数の撮像部のそれぞれから取得した画像を合成して３次元画像を作成する３次元画像生成手段と、
前記３次元画像が第１の画像と第２の画像とで合成されるものとし、前記第１の画像及び前記第２の画像にスミアが検出された場合、前記スミアのレベルをスミア量とし、該スミア量と第１の閾値と比較し、前記第１の画像と前記第２の画像との間での前記スミアの視差を第２の閾値と比較し、前記スミア量が前記第１の閾値以上で、かつ、前記視差が前記第２の閾値以下のときに、前記スミアの光源を太陽であると特定するスミア光源特定手段を備える撮像装置によって達成される。

この撮像装置は、複数の撮像部で取得した画像にスミアが生じている場合、スミア量と、画像間のスミアの視差に基づいて、スミアの光源が太陽か否かを判断する。太陽を光源とするスミアはスミア補正が困難である。このため、スミアの光源が太陽である場合には、スミア補正を行わないようにすることで、不適正な補正によって画質が劣化することを回避できる。

本発明によれば、太陽を撮像したことによるスミアの不適正な補正を回避でき、違和感のない３次元画像を得ることができる撮像装置及び撮像システムを提供できる。

撮像装置の一例であるデジタルカメラの概略構成を示す図である。 立体視表示の仕組みを説明する図である。 固体撮像素子の概略構成を示した図である。 画像を表示した例を示す図である。 撮像装置の３次元画像を撮像するときの処理の手順を示すフローチャートである。 他の処理の手順を示すフローチャートである。 他の処理の手順を示すフローチャートである。 撮像装置が動画撮像モードで撮像するときの処理の手順を示すフローチャートである。 撮像装置を複数備える撮像システムの一例を示す図である。

図１は、撮像装置の一例であるデジタルカメラの概略構成を示す図である。撮像装置は、デジタルカメラに限らず、例えば、ビデオカメラやカメラ付き携帯電話機であってもよい。

撮像装置は２つの撮像部を備える。２つの撮像部は、水平方向に人間の両眼の間隔以上の距離を隔てて設けられている。２つの撮像部は、右眼撮像系と左眼撮像系とを含む。右眼撮像系にはレンズ群１Ｒと、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型の固体撮像素子５Ｒと、この両者の間に設けられた絞り２Ｒと、赤外線カットフィルタ３Ｒと、光学ローパスフィルタ４Ｒとが含まれる。左眼撮像系にはレンズ群１Ｌと、ＣＣＤ型の固体撮像素子５Ｌと、この両者の間に設けられた絞り２Ｌと、赤外線カットフィルタ３Ｌと、光学ローパスフィルタ４Ｌとが含まれる。図１に示すデジタルカメラは、同一被写体を右眼撮像系及び左眼撮像系のそれぞれの視点から撮像可能である。撮像部は複数あってもよい。

レンズ群１Ｒ，１Ｌには、それぞれ、ズーム位置を調整するためのズームレンズと、フォーカス位置を調整するためのフォーカスレンズ等が含まれている。このズームレンズとフォーカスレンズは、右眼撮像系と左眼撮像系とで同期して移動するようになっている。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、所定のプログラムによって動作するプロセッサを主体に構成されている。システム制御部１１は、レンズ駆動部８を制御してレンズ群１Ｒ，１Ｌのフォーカスレンズ位置やズームレンズ位置の調整を行ったり、絞り駆動部９を介し絞り２Ｒ，２Ｌの開口量を制御して露光量調整を行ったりする。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５Ｒ，５Ｌを駆動し、レンズ群１Ｒ，１Ｌを通して撮像した被写体画像を撮像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５Ｒの出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６Ｒと、このアナログ信号処理部６Ｒから出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換回路７Ｒと、固体撮像素子５Ｌの出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６Ｌと、このアナログ信号処理部６Ｌから出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換回路７Ｌとを備え、これらはシステム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７Ｒ，７Ｌから出力される撮像信号にそれぞれ所定のデジタル信号処理（補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等）を行って画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、画像データに基づく画像を立体視可能に表示する表示部２３が接続される表示制御部２２とを備え、これらは、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

表示部２３は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、撮影時には、表示部２３に固体撮像素子５Ｒ，５Ｌで捉えた画像がスルー画として連続的に表示され、電子ファインダ等として利用される。

図２は、立体視表示の仕組みを説明する図である。表示部２３に表示される立体画像の表示領域は、右眼用短冊画像表示領域２４Ｒと左眼用短冊画像表示領域２４Ｌとから構成されている。右眼用短冊画像表示領域２４Ｒ及び左眼用短冊画像表示領域２４Ｌは、それぞれ図２中ｙ軸方向に細長い短冊形状をしており、図２中ｘ軸方向に交互に配置される。

表示部２３は、例えば液晶パネルであり、右眼用短冊画像表示領域２４Ｒと左眼用短冊画像表示領域２４Ｌとで、光の出射方向を異なる方向に制御することで、立体視を可能にしている。

図２では、表示部２４を視認する者の右眼ＥＲには、表示部２３の右眼用短冊画像表示領域２４Ｒに表示された右眼用短冊画像が入射されるように光の出射方向が制御される。また、表示部２４を視認する者の左眼ＥＬには、表示部２３の左眼用短冊画像表示領域２４Ｌに表示された左眼用短冊画像が入射されるように光の出射方向が制御される。すると、表示部２４を視認する者の右眼ＥＲは右眼用短冊画像のみを、表示部２４を視認する者の左眼ＥＬは左眼用短冊画像のみを見ることになり、これら右眼用短冊画像の集合である右眼用画像及び左眼用短冊画像の集合である左眼用画像による左右視差により立体感のある３次元画像を視認することが可能となる。この構成により、表示部２３は、右眼用画像と左眼用画像から３次元画像を表示することができる。

なお、このような構成以外に、表示部２３として通常の液晶パネルを用い、その表示面にレンチキュラーレンズを貼り付けることで、３次元画像の表示を可能にしてもよい。

図３は、図１に示したデジタルカメラにおける固体撮像素子の概略構成を示した図である。なお、固体撮像素子５Ｌの構成は固体撮像素子５Ｒと同一である。

図３に示した固体撮像素子５Ｒは、シリコン等の半導体基板５００に形成された画素領域５０、水平電荷転送路５３、及び出力部５４を備える。画素領域５０は、有効画素部５１及びＯＢ部５２を備える。

画素領域５０には、フォトダイオード等の光電変換素子を水平方向に複数並べたラインが、水平方向に直交する垂直方向に複数配列されている。

画素領域５０の各光電変換素子で発生した電荷は、画素領域５０内の図示しない垂直電荷転送路に読み出され、ここで垂直方向に転送される。垂直電荷転送路を転送されてきた１ライン分の電荷は、水平電荷転送路５３によって水平方向に転送される。水平電荷転送路５３の終端にはフローティングディフュージョアンプ（ＦＤＡ）等の、電荷をその電荷量に比例した電圧信号（以下、撮像信号ともいう）に変換して出力する出力部５４が設けられ、水平方向に転送されてきた電荷がこの出力部５４で電圧信号に変換されて外部に出力される。

ＯＢ部５２は、画素領域５０の水平電荷転送路５３側の端部にある数ラインを遮光した領域である。ＯＢ部５２に形成された各光電変換素子が、垂直電荷転送路に溢れ出したスミア電荷に応じたスミアを検出するためのスミア検出領域を形成する。なお、スミアは、垂直電荷転送路に溢れ出した電荷に応じた信号であるため、ＯＢ部５２は、光電変換素子を省略した構成、つまり、垂直電荷転送路だけが存在している構成であってもよい。

有効画素部５１は、ＯＢ部５２にある光電変換素子以外の光電変換素子が形成された領域である。有効画素部５１の各光電変換素子上方の遮光膜には開口が形成されており、ここから被写体からの光が入射するようになっている。

ＯＢ部５２は、有効画素部で発生したスミアのレベルをスミア量として検出する。スミアについては後述する。

図４は、図１に示したデジタルカメラにおける固体撮像素子５Ｒと固体撮像素子５Ｌのそれぞれで撮像して得られる画像を示した図である。図４Ａの符号４０Ｌは、固体撮像素子５Ｌで撮像して得られた画像を示している。図４Ｂの符号４０Ｒは、固体撮像素子５Ｒで撮像して得られた画像を示している。図４Ａ及び図４Ｂの各画像の下側には、画像の位置に対するスミア量が示されている。

図４Ａ及び図４Ｂでは、同一の被写体を室内から撮像したときを想定しており、手前側の物体（例えばテレビ）と、物体の背後に外光が差し込む窓が写っており、窓には太陽が写り込んでいる状態である。画像４０Ｌでは、太陽４２Ｌを表示した部分を含め、上下にスジ状のスミアが発生している。画像４０Ｒでは、太陽４２Ｒを表示した部分を含め、上下にスジ状のスミアが発生している。

図４Ａの画像の被写体は該画像の左端を基準として、物体が距離Ａｌに位置し、スミアが生じた位置がＢｌに位置し、窓の左端がＣｌに位置する。図４Ｂの画像の被写体は該画像の左端を基準として、物体が距離Ａｒに位置し、スミアが生じた位置がＢｒに位置し、窓の左端がＣｒに位置する。

図４Ａ及び図４Ｂの画像において位置に対するスミア量は、太陽４２Ｌが写っている量が著しく高く、次に、窓に相応する部分が、他の部分より僅かに高くなる。

左右の画像同士を比較すると、物体の位置Ａｌ，Ａｒがそれぞれ異なり、窓の位置Ｃｌ，Ｃｒがそれぞれ異なる。物体と窓は、それぞれ撮像装置から近距離にあるため、視差が生じているためである。一方で、太陽の位置Ｂｌ，Ｂｒはほぼ等しい。これは、太陽は、窓や物体と比べると撮像装置から非常に遠距離にあるといえるため、左右で視差がほとんど生じないためである。

画像４０Ｌ，４０Ｒを参照すると、太陽を光源としたときのスミアについては次のことがいえる。
（１）スミア量が他のスミア量に比べると顕著に高くなる。
（２）左右の画像同士で、スミアの視差が生じない、又は、非常に小さい。

撮像装置は、３次元画像を撮像する際に、左右の画像にスミアがある場合に、スミアの光源が太陽であるか否かを判断し、判断の結果に基づいて以後の撮像処理を行う。撮像時の処理の手順を以下で例をあげて説明する。

図５は、撮像装置の３次元画像を撮像するときの処理の手順を示すフローチャートである。

最初に、ステップＳ１１で、撮像装置が２つの撮像部で被写体の撮像を行い、各撮像部から画像を得る。そして、手順をステップＳ１２へ進める。

ステップＳ１２で、左右の画像のスミアの位置とスミア量をＯＢ部によって検出する。そして、検出されたスミア量を所定の閾値（第１の閾値）と比較し、大きいか否か判断する。また、左右の画像のスミアの視差が所定の閾値（第２の閾値）と比較し、小さいか否かを判断する。判断の結果、スミア量が第１の閾値以上であり、かつ、スミアの視差が第２の閾値より小さいときには、スミアの光源が太陽であると特定する。そして、ステップＳ１３に進む。スミア量が第１の閾値未満の場合、若しくは、スミアの視差が第２の閾値より大きい場合、又は、いずれの場合にも該当する場合には、ステップＳ１４に進む。

ステップＳ１３では、スミア量が大きい部分、つまり、太陽によってスミア量が大きくなっている部分をスミア補正の対象から除外する。ここで、太陽を光源としてスミアが生じている部分以外の領域は、スミア補正適用領域とする。そして、ステップＳ１４に進む。

ステップＳ１４では、有効画素部５１のうちスミアが発生した画素部の信号から、ＯＢ部で検出したスミア量を示す信号を減算することでスミアを補正する。ここで、太陽によってスミアが発生した部分は、ステップＳ１３でスミア補正適用領域から除外されているため、スミア補正がされない。

太陽を光源とするスミアをスミア補正の対象がから除外することで、次のような効果がある。被写体として高い輝度の太陽を撮像した場合、固体撮像素子の各画素部で信号がレベルを超えてしまうことや飽和レベルに近くなり、スミア信号を除去する補正を行うことが非常に困難になる。これはＯＢ部のスミア成分の出力が非常に大きくなり、通常の信号量がなくなってしまい、仮にこのスミア成分をスミアの位置に対応する画素部の出力から減算すると、補正後にスミア部分が黒く沈んでしまう現象が生じるためである。一方で、他の部分では、ＯＢ部で通常レベルのスミア成分が検出されるため、スミア補正は正常に実行される。このため、太陽を光源とするスミアをスミア補正の対象がから除外することで、高い輝度値の画素部ではスミア補正による不適正な補正が行われることを回避するとともに、他の部分のみにスミア補正を行うことができる。こうして、左右の画像の画質を高めることができる。

次に、撮像装置の３次元画像を撮像するときの別の処理の手順を説明する。図６は、撮像装置の３次元画像を撮像するときの処理の手順を示すフローチャートである。

最初に、ステップＳ２１で、撮像装置が２つの撮像部で被写体の撮像を行い、各撮像部から画像を得る。そして、手順をステップＳ２２へ進める。

ステップＳ２２で、左右の画像のスミアの位置とスミア量をＯＢ部によって検出する。そして、検出されたスミア量を所定の閾値（第１の閾値）と比較し、大きいか否か判断する。また、左右の画像のスミアの視差が所定の閾値（第２の閾値）と比較し、小さいか否かを判断する。判断の結果、スミア量が第１の閾値以上であり、かつ、スミアの視差が第２の閾値より小さいときには、スミアの光源が太陽であると特定する。そして、ステップＳ２３に進む。スミア量が第１の閾値未満の場合、若しくは、スミアの視差が第２の閾値より大きい場合、又は、いずれの場合にも該当する場合には、ステップＳ２５に進む。

ステップＳ２３では、スミア量が大きい部分、つまり、太陽によってスミア量が大きくなっている部分をスミア補正の対象から除外する設定がなされる。ここで、太陽を光源としてスミアが生じている部分以外の領域は、スミア補正適用領域に設定される。そして、ステップＳ２４に進む。

ステップＳ２４では、上記ステップＳ２３でスミア補正の対象から除外した有効画素部に対しては、スミア補正のノイズリダクション処理の対象からも除外する設定がなされる。そして、ステップＳ２５に進む。スミア補正がなされない部分では、補正によるＳ／Ｎの劣化が生じないので、ノイズリダクション処理が必要ない。

ステップＳ２５では、有効画素部５１のうちスミアが発生した画素部の信号から、ＯＢ部で検出したスミア量を示す信号を減算することによってスミア補正がなされる。ここで、太陽によってスミアが発生した部分は、ステップＳ２３でスミア補正適用領域から除外されているため、スミア補正がなされない。

ステップＳ２６では、スミア補正によって劣化するＳ／Ｎを補うため、ステップＳ２５でスミア補正が実行された部分のみにノイズリダクション処理が実行される。ノイズリダクション処理の一例としては、ローパスフィルタ演算することで画像全体の帯域を落とす処理が挙げられる。ここで、太陽を撮像した部分には、スミア補正を行わないため、その部分にはノイズリダクション処理を行う必要がないため、かかる部分をノイズリダクション処理の対象から除外する。

こうすれば、太陽を光源とするスミアをスミア補正の対象がから除外することで、高い輝度値の画素部ではスミア補正による不適正な補正が行われることを回避できる。また、スミア補正によるＳ／Ｎの劣化をノイズリダクション処理によって補うことで、スミア補正の効果を最適化することができる。

太陽を光源とするスミアは、急峻なエッジを有し、境界部分に偽信号による色付きや固定パターンノイズが発生することがある。これは単板ＣＣＤの画像からカラーの画像への補間演算（同時化演算）処理を行う際に発生する。このような場合、ローパスフィルタ演算のような簡便なノイズリダクション処理を施すと、かえって偽信号やノイズ領域が増加して画質が劣化する原因となる。上記手順では、太陽のスミアにはスミア補正及びノイズリダクション処理をいずれも行わないことで、このような不具合を避けることができる。

図７は、撮像装置の３次元画像を撮像するときの処理の手順を示すフローチャートである。

最初に、ステップＳ３１で、撮像装置が２つの撮像部で被写体の撮像を行い、各撮像部から画像を得る。そして、手順をステップＳ３２へ進める。

ステップＳ３２で、左右の画像のスミアの位置とスミア量をＯＢ部５２によって検出する。そして、検出されたスミア量を所定の閾値（第１の閾値）と比較し、大きいか否か判断する。また、左右の画像のスミアの視差が所定の閾値（第２の閾値）と比較し、小さいか否かを判断する。判断の結果、スミア量が第１の閾値以上であり、かつ、スミアの視差が第２の閾値より小さいときには、スミアの光源が太陽であると特定する。そして、ステップＳ３３に進む。スミア量が第１の閾値未満の場合、若しくは、スミアの視差が第２の閾値より大きい場合、又は、いずれの場合にも該当する場合には、ステップＳ３５に進む。

ステップＳ３３では、撮像部の絞り又は撮像部の出力のアンプゲインを調整し、画像の輝度値を調整することで、スミア補正が実行不可能であることを示す通知画像を生成する。撮像部の絞りは絞り駆動部９によって制御することができる。撮像部の絞りは、他の制御手段によって制御してもよい。撮像部の出力のアンプゲインは、各撮像部の出力をアナログ信号処理部６Ｒ，Ｒ６Ｌで制御することができる。アンプゲインの制御は他の制御手段によって制御してもよい。

撮像部の絞り又は撮像部の出力のアンプゲインを調整することで、例えば、入射光量を故意に増大させて画像全体を飽和させることで、白飛びさせた画像を生成し、この画像を通知画像としてもよい。ユーザは、この通知画像を表示部２３でスルー画として視認することができる。そして、ユーザは、現在の画角では被写体に太陽が含まれているためスミア補正が不可能であることを認識することができ、画角の変更などが促される。

ステップＳ３４では、ステップＳ３２で被写体に太陽が含まれているという判断の結果をうけ、スミア補正を中止する。

ステップＳ３５では、ステップＳ３２で被写体に太陽が含まれているという判断の結果をうけ、有効画素部全体に対してスミア補正を実行する。なお、スミア補正後、有効画素部全体に対して上述したノイズリダクション処理を実行してもよい。

図８は、撮像装置が動画撮像モードで撮像するときの処理の手順を示すフローチャートである。動画撮像モードでは、２つの撮像部から得られる画像を合成した画像を１つのフレームとし、所定の時間に連続する複数のフレームを生成する動作を行う。

最初に、ステップＳ４１で、動画撮像モードを開始する。動画撮像モードは、ユーザの操作部１４への指示によって開始される。

ステップＳ４２では、前フレームでは太陽が被写体に含まれるか否かを判断する。

ここでは、所定の時間にＮ（１、２、・・・Ｎ−１、Ｎ）個のフレームを取得する場合を想定する。ここでは、ｎ（＜Ｎ）番目のフレームを判断して手順であるとすると、前フレームというのは、ｎ−１番目のフレームに相当する。

動画撮像モードでは、時間の変化とともにユーザが画角を変更することで、フレームごとに被写体の位置が変化することが考えられる。すると、前フレームに太陽が被写体として写り込んでいても、以降のフレームでは例えば他の被写体に遮られることで太陽が被写体として写り込まなくなることが考えられる。

ステップＳ４２では、前フレームの被写体に太陽が含まれると判断されるときには、処理の手順をステップＳ４３に進め、太陽が含まれないと判断されるときには、処理の手順をステップＳ４５に進める。

ステップＳ４３では、２つの撮像部それぞれから得られる画像のうち、いずれか一方にのみ太陽が存在しているのか否かを判別する。そして、一方の画像にのみ太陽が存在している場合には、ステップＳ４４に進む。

ステップＳ４４では、一方の画像に含まれるスミアデータを他方の画像に重畳する。スミアデータには、被写体に太陽が含まれる画像のスミアのスミア量と位置を示す情報を含むものである。スミアデータの重畳は、一方の画像に含まれるスミアデータを、他方の画像のスミアにする部分にスミアデータを加算演算する処理である。

２つの撮像部の画像間では、被写体の視差に応じて一方の画像にのみ太陽が写り込み、他方の画像には太陽が写り込まなくなることが考えられる。例えば、図４に示す画像の被写体を想定すると、一方の画像では太陽が撮像装置との間にある窓枠や他の物体煮によって遮られ、画像上に写らなくなることが考えられる。このとき、太陽が写り込んだ画像ではスミアが生じ、写り込んでいない画像ではスミアが生じない。すると、一方の画像にのみ太陽が写り込む場合には、左右の画像で相関性が低くなるため、自然な３次元画像を生成できなくなる虞がある。そこで、このような場合に、ステップＳ４４のように、一方の画像のスミア成分を他方の画像に重畳することで、２つの画像の相関性を高めることができ、違和感のない３次元画像を生成できる。

その後、ステップＳ４５に進み、動画撮像モードの実行を続けるか否かを判別し、実行を継続する場合には、ステップＳ４２の前に処理の手順を戻す。また、動画撮像モードを終了する場合には処理の手順を終了する。

ステップＳ４２で、前フレームに太陽が被写体として写り込んでいないと判断した場合には、上述のステップＳ４３及びステップＳ４４の処理を行うことなくステップＳ４５に進む。

この撮像装置によれば、動画撮像モード時に、２つの撮像部それぞれから得られる画像の被写体から太陽が何らかの理由で写り込まなくなった場合でも、動画を表示部２３などで表示するさいに、ちらつくような違和感がない。

図９は、撮像装置を複数備える撮像システムの一例を示す図である。このような撮像システムは、監視用や計測用に設定するカメラとして適用される。
撮像システムは、複数の撮像装置を保持する撮像本体１０２を備えている。複数の撮像装置は、それぞれの撮像範囲が異なるように、撮像本体１０２にも請けられている。ここでは、撮像本体１０２がｙ方向に見た形状であり、該撮像本体１０２の外周面に等間隔で８つの撮像装置が設けられている。撮像装置は２つの撮像部１０１Ｌ，１０１Ｒを備えている。撮像部１０１Ｌ，１０１Ｒは、ｘ―ｚ平面に対して平行方向に人間の両眼の間隔以上の距離を隔てて設けられている。また、撮像装置は、撮像本体１０２を図中矢印Ｒで示す方向に回転させることで、撮像部１０１Ｌ，１０１Ｒの撮像範囲を変更することができる。撮像装置のそれぞれの構成は、図１の撮像装置と同じである。

撮像システムは、複数の撮像装置のそれぞれから取得した左右の画像を処理する撮像データ処理部を備えている。撮像データ処理部は、各撮像装置に設けられた各制御部を用いる。

撮像システムは、スミアの光源が太陽であると特定した場合に、該スミアを撮像した撮像装置を特定し、この撮像装置から得られる画像にスミア補正が有効ではないことを示す情報を付加する。すると、スミア補正が有効ではないことを示す情報が付加された画像は、他の処理を実行する際に、スミアの影響で信頼性が低いものと判断することができ、この画像を他の画像と区別して削除などの処理を行うことができる。

一部の撮像装置でのみ太陽光を長時間撮影すると、該撮像装置の特性を劣化させる原因となる。そこで、撮像システムは、上記のようにどの撮像装置が太陽を撮像しているかを判断し、撮像装置の位置を変えるように制御してもよい。撮像装置の位置の制御は、例えば図９に示すように、撮像本体１０２を矢印Ｒ方向に回転させてもよい。こうすることで、太陽光の撮像に起因する負担が一部の撮像装置に集中することがないように制御できる。

本明細書は下記事項を含む。
（１）複数の撮像部を備え、３次元撮像が可能な撮像装置であって、
前記複数の撮像部のそれぞれから取得した画像を合成して３次元画像を作成する３次元画像生成手段と、
前記３次元画像が第１の画像と第２の画像とで合成されるものとし、前記第１の画像及び前記第２の画像にスミアが検出された場合、前記スミアのレベルをスミア量とし、該スミア量と第１の閾値と比較し、前記第１の画像と前記第２の画像との間での前記スミアの視差を第２の閾値と比較し、前記スミア量が前記第１の閾値以上で、かつ、前記視差が前記第２の閾値以下のときに、前記スミアの光源を太陽であると特定するスミア光源特定手段を備える撮像装置。
（２）上記（１）に記載の撮像装置であって、
前記スミアの光源が太陽であると特定された場合に、前記スミアをスミア補正の対象から除外するスミア補正判定手段を備える撮像装置。
（３）上記（２）に記載の撮像装置であって、
前記複数の撮像部それぞれが固体撮像素子を有し、前記固体撮像素子が複数の画素部が配列された有効画素部と前記複数の画素部で発生した前記スミアの前記スミア量を検出するスミア検出領域とを含み、
前記スミア検出領域のうち前記スミア補正判定手段によってスミア補正の対象とされた領域に対応する前記有効画素部に対して前記スミア量を減算するスミア補正手段を備える撮像装置。
（４）上記（２）に記載の撮像装置であって、
前記スミア検出領域のうち前記スミア補正判定手段によってスミア補正の対象とされた領域に対応する前記有効画素部に対してノイズリダクション処理を行うノイズリダクション手段を備える撮像装置。
（５）上記（２）に記載の撮像装置であって、
前記第１の画像及び前記第２の画像から合成されるスルー画を表示する表示部と、
前記複数の撮像部の絞りを制御する絞り制御手段と
前記複数の撮像部からの出力のゲインを制御するゲイン制御手段とを有し、
前記スミア補正判定手段で前記スミアをスミア補正の対象から除外した場合、前記絞り制御手段及び前記ゲイン制御手段の少なくとも一方の制御によって前記第１の画像及び前記第２の画像の輝度値を調整することでスミア補正が実行不可能であることを示す通知画像を生成し、前記通知画像を前記表示部に表示する撮像装置。
（６）上記（１）に記載の撮像装置であって、
前記第１の画像及び前記第２の画像を合成した画像を１つのフレームとし、所定の時間に連続する複数のフレームを生成する動画撮像モードにおいて、
前記スミア光源特定手段によって、前記スミアの光源が太陽であると特定された後で、第１の画像に前記スミアが存在しないフレームでは、第２の画像の前記スミアの前記スミア量と位置を示すスミアデータを抽出し、該スミアデータを前記第１の画像に重畳する撮像装置。
（７）上記（１）から（６）のいずれか１つに記載の撮像装置を複数備えた撮像システムであって、
前記複数の撮像装置の撮像範囲が異なるように前記複数の撮像装置それぞれを保持する撮像本体と、
前記複数の撮像装置のそれぞれから前記第１の画像及び前記第２の画像を取得可能な撮像データ処理部と、
前記スミアの光源が太陽であると特定された場合に、該スミアを含む前記第１の画像及び前記第２の画像にスミア補正が有効ではないことを示す情報を付加する撮像システム。

５Ｒ，５Ｌ 固体撮像素子
１１ システム制御部
４２Ｌ，４２Ｒ 太陽
１００ 撮像システム

Claims (7)

1. 複数の撮像部を備え、３次元撮像が可能な撮像装置であって、
   前記複数の撮像部のそれぞれから取得した画像を合成して３次元画像を作成する３次元画像生成手段と、
   前記３次元画像が第１の画像と第２の画像とで合成されるものとし、前記第１の画像及び前記第２の画像にスミアが検出された場合、前記スミアのレベルをスミア量とし、該スミア量と第１の閾値と比較し、前記第１の画像と前記第２の画像との間での前記スミアの視差を第２の閾値と比較し、前記スミア量が前記第１の閾値以上で、且つ、前記視差が前記第２の閾値以下のときに、前記スミアの光源を太陽であると特定するスミア光源特定手段を備える撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記スミアの光源が太陽であると特定された場合に、前記スミアをスミア補正の対象から除外するスミア補正判定手段を備える撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記複数の撮像部それぞれが固体撮像素子を有し、前記固体撮像素子が複数の画素部が配列された有効画素部と前記複数の画素部で発生した前記スミアの前記スミア量を検出するスミア検出領域とを含み、
   前記スミア検出領域のうち前記スミア補正判定手段によってスミア補正の対象とされた領域に対応する前記有効画素部に対して前記スミア量を減算するスミア補正手段を備える撮像装置。
4. 請求項２に記載の撮像装置であって、
   前記スミア検出領域のうち前記スミア補正判定手段によってスミア補正の対象とされた領域に対応する前記有効画素部に対してノイズリダクション処理を行うノイズリダクション手段を備える撮像装置。
5. 請求項２に記載の撮像装置であって、
   前記第１の画像及び前記第２の画像から合成されるスルー画を表示する表示部と、
   前記複数の撮像部の絞りを制御する絞り制御手段と
   前記複数の撮像部からの出力のゲインを制御するゲイン制御手段とを有し、
   前記スミア補正判定手段で前記スミアをスミア補正の対象から除外した場合、前記絞り制御手段及び前記ゲイン制御手段の少なくとも一方の制御によって前記第１の画像及び前記第２の画像の輝度値を調整することでスミア補正が実行不可能であることを示す通知画像を生成し、前記通知画像を前記表示部に表示する撮像装置。
6. 請求項１に記載の撮像装置であって、
   前記第１の画像及び前記第２の画像を合成した画像を１つのフレームとし、所定の時間に連続する複数のフレームを生成する動画撮像モードにおいて、
   前記スミア光源特定手段によって、前記スミアの光源が太陽であると特定された後で、第１の画像に前記スミアが存在しないフレームでは、第２の画像の前記スミアの前記スミア量と位置を示すスミアデータを抽出し、該スミアデータを前記第１の画像に重畳する撮像装置。
7. 請求項１から６のいずれか１つに記載の撮像装置を複数備えた撮像システムであって、
   前記複数の撮像装置の撮像範囲が異なるように前記複数の撮像装置それぞれを保持する撮像本体と、
   前記複数の撮像装置のそれぞれから前記第１の画像及び前記第２の画像を取得可能な撮像データ処理部と、
   前記スミアの光源が太陽であると特定された場合に、該スミアを含む前記第１の画像及び前記第２の画像にスミア補正が有効ではないことを示す情報を付加する撮像システム。

Images