JP2013037294A - 撮像装置 - Google Patents

Abstract

【課題】装置を大型化させることなく、位相差情報と画質の高い平面画像とを同時に取得可能な撮像装置を提供する。
【解決手段】ＲＧＢ画像を生成するカラーの撮像素子と、被写体像を結像する撮像光学系と、撮影光束の光路上に配設されていて、第１の部分瞳を通過しようとするＢの光を遮断しＲ、Ｇの光を通過させる第１の帯域制限と、第２の部分瞳を通過しようとするＲの光を遮断しＢ、Ｇの光を通過させる第２の帯域制限と、を行う帯域制限フィルタと、Ｒ画像とＢ画像の位相差量を演算する距離演算部３９と、演算された位相差量に基づき色ズレ補正を行い平面画像を生成する色画像生成部３７と、距離演算部３９による位相差量の演算と色画像生成部３７による平面画像の生成とを並列して行わせるように制御する並列処理制御部４６と、を備えた撮像装置。
【選択図】図４１

Description

本発明は、撮像素子から得られた画像に基づき、位相差情報と平面画像とを取得し得る撮像装置に関する。

従来より、平面画像と位相差情報と立体画像との内の２つ以上を同時に取得する様々な技術が提案されている。

例えば特開２００９−１４７６６５号公報には、撮像素子の一部の画素上に瞳分割を行い得るような遮光膜を形成して焦点検出用画素とし、焦点検出用画素から得られた画像から位相差を取得し、スプリット画像を生成すると共に、平面画像も生成する技術が記載されている。

また、特開２００１−３３０７６７号公報には、撮影レンズおよび撮像素子を介して得た平面画像を用いてＡＦ評価値を取得しコントラストＡＦを行うとともに、撮影レンズとは別の光路上に位相差を取得する測距部を配置して位相差ＡＦを行う測距装置が記載されている。そして、このような構成において、コントラストＡＦと位相差ＡＦとを適切に切り替えて、高速なＡＦシステムを実現するようにしている。

さらに、特開２００４−２８９６８１号公報には、複数の撮像装置を設けて、視差のある立体画像を取得すると同時に、何れか１つの撮像装置から得られた画像を平面画像とすることにより、１回の撮像で平面画像と立体画像とを取得する技術が記載されている。

ところで、特開平４−２５１２３９号公報には、該公報の図７に示すような分光特性（青色とオレンジ色）の部分瞳を設け、異なる部分瞳から視差がある複数の画像を同時に取得して、立体視画像を作成する技術が記載されている。あるいは、偏光の異なる部分瞳を設けて、異なる部分瞳から視差がある複数の画像を取得し、立体画像を作成する技術も記載されている。

また、特開２００１−１６６１１号公報には、第１の開口部を通過した第１の画像と第２の開口部を通過した第２の画像とのズレ量を取得して、レンズの公式により距離情報を演算する技術が記載されている。

特開２００９−１４７６６５号公報 特開２００１−３３０７６７号公報 特開２００４−２８９６８１号公報 特開平４−２５１２３９号公報 特開２００１−１６６１１号公報

しかしながら、上記特開２００９−１４７６６５号公報に記載の技術は、撮像素子上に焦点検出用画素を設ける構成であるために、焦点検出用画素からは平面画像の情報を取得することができず、近傍の画素から補間する等が必要になるために、画質の低下を招くことになる。

また、上記特開２００１−３３０７６７号公報に記載の技術は、位相差情報を取得するのに外部測距用のデバイスを使用しているために、装置の大型化や高価格化を招くことになる。

同様に、上記特開２００４−２８９６８１号公報に記載の技術は、立体画像を取得するのに複数の撮像装置が必要となるために、装置の大型化や高価格化を招くことになる。

本発明は上記事情に鑑みてなされたものであり、装置を大型化させることなく、位相差情報と画質の高い平面画像とを同時に取得可能な撮像装置を提供することを目的としている。

上記の目的を達成するために、本発明の一態様による撮像装置は、複数の波長帯域の光をそれぞれ受光して光電変換し、第１の帯域の第１の画像と第２の帯域の第２の画像と第３の帯域の第３の画像とを生成するカラーの撮像素子と、被写体像を前記撮像素子に結像する撮像光学系と、前記撮像光学系を経て前記撮像素子に至る撮影光束の光路上に配設されていて、前記撮像光学系の瞳領域の一部である第１の領域を通過しようとする撮影光束中の前記第１の帯域の光を遮断し前記第２の帯域および前記第３の帯域の光を通過させる第１の帯域制限と、前記撮像光学系の瞳領域の他の一部である第２の領域を通過しようとする撮影光束中の第２の帯域の光を遮断し前記第１の帯域および前記第３の帯域の光を通過させる第２の帯域制限と、を行う帯域制限フィルタと、前記第１の画像と前記第２の画像との位相差量を演算する距離演算部と、前記距離演算部により演算された位相差量に基づき、前記第１の画像のボケの重心位置を前記第３の画像のボケの重心位置に近接させることにより該第３の画像に対する該第１の画像の第１の位置ズレを補正するとともに、前記第２の画像のボケの重心位置を前記第３の画像のボケの重心位置に近接させることにより該第３の画像に対する該第２の画像の第２の位置ズレを補正し、位置ズレが補正された平面画像を生成する平面画像生成部と、前記距離演算部による位相差量の演算と、前記平面画像生成部による平面画像の生成と、を並列して行わせるように制御する並列処理制御部と、を具備したものである。

本発明の撮像装置によれば、装置を大型化させることなく、位相差情報と画質の高い平面画像とを同時に取得することが可能となる。

本発明の実施形態に係る３Ｄ実施例１における撮像装置の構成を示すブロック図。 上記実施形態に係る３Ｄ実施例１における撮像素子の画素配列を説明するための図。 上記実施形態に係る３Ｄ実施例１における帯域制限フィルタの一構成例を説明するための図。 上記実施形態に係る３Ｄ実施例１において、合焦位置にある被写体を撮像するときの被写体光束集光の様子を示す平面図。 上記実施形態に係る３Ｄ実施例１において、合焦位置よりも近距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図。 上記実施形態に係る３Ｄ実施例１において、合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を示す図。 上記実施形態に係る３Ｄ実施例１において、合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図。 上記実施形態に係る３Ｄ実施例１において、合焦位置よりも遠距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図。 上記実施形態に係る３Ｄ実施例１において、合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を示す図。 上記実施形態に係る３Ｄ実施例１において、合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図。 上記実施形態に係る３Ｄ実施例１において、合焦位置とそれよりも近距離および遠距離にある被写体を撮像したときの画像の様子を示す図。 上記実施形態に係る３Ｄ実施例１における帯域制限フィルタの第１の変形例を示す図。 上記実施形態に係る３Ｄ実施例１における帯域制限フィルタの第２の変形例を示す図。 上記実施形態に係る３Ｄ実施例１における帯域制限フィルタの第３の変形例を示す図。 上記実施形態に係る３Ｄ実施例１における帯域制限フィルタの第４の変形例を示す図。 上記実施形態に係る３Ｄ実施例１において、カラー化処理後のボケ形状の概要を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１のカラー化処理において、合焦位置よりも遠距離側にある被写体のＲ画像に対して適用されるＲ用フィルタの形状を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１のカラー化処理において、合焦位置よりも遠距離側にある被写体のＢ画像に対して適用されるＢ用フィルタの形状を示す図。 上記実施形態に係る３Ｄ実施例１において、２Ｄ実施例１の変形例のカラー化処理における合焦位置よりも遠距離側にある被写体のＲ画像およびＢ画像のシフトの様子を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１の変形例のカラー化処理においてＲ画像およびＢ画像に対して適用されるフィルタの形状を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１において、横方向の標準偏差を大きくした楕円型ガウシアンフィルタの形状を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１において、縦方向の標準偏差を小さくした楕円型ガウシアンフィルタの形状を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１において、色画像生成部により行われるカラー化処理を示すフローチャート。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例１における画像処理装置の構成を示すブロック図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、色画像生成部により行われるカラー化処理の概要を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、位相差検出を行う際にＲ画像およびＢ画像に設定する部分領域を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、オリジナルＲ画像のボケ拡散部分領域をＲコピー画像にコピー加算する様子を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、オリジナルＢ画像のボケ拡散部分領域をＢコピー画像にコピー加算する様子を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、位相差量に応じてボケ拡散部分領域のサイズを変更する例を示す線図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例２において、色画像生成部により行われるカラー化処理を示すフローチャート。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例３において、位相差量に応じた各色のＰＳＦのテーブルの概要を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例３において、色画像生成部により行われるカラー化処理の概要を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例３において、色画像生成部により行われるボケ量コントロールを伴うカラー化処理の概要を示す図。 上記実施形態に係る３Ｄ実施例１の２Ｄ実施例３において、色画像生成部により行われるカラー化処理を示すフローチャート。 上記実施形態に係る３Ｄ実施例１において、カラー化処理後の２次元画像から左目画像および右目画像を生成する様子を示す図。 上記実施形態に係る３Ｄ実施例１において、ステレオ画像生成部による立体視画像の生成処理を示すフローチャート。 上記実施形態に係る３Ｄ実施例２の立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から左目画像を生成する際のシフトの様子を示す図。 上記実施形態に係る３Ｄ実施例２の立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から右目画像を生成する際のシフトの様子を示す図。 上記実施形態に係る３Ｄ実施例２において、シフト後の左目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図。 上記実施形態に係る３Ｄ実施例２において、シフト後の右目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図。 本発明の実施形態１の撮像装置における画像処理部およびシステムコントローラの詳細な構成を示すブロック図。 上記実施形態１において、画角表示モードにおける表示部の画面の表示例を示す図。 上記実施形態１において、合焦画像表示モードにおける拡大表示前の表示部の画面の表示例を示す図。 上記実施形態１において、合焦画像表示モードにおける拡大表示後の表示部の画面の表示例を示す図。 上記実施形態１において、同時表示モードにおける表示部の画面の表示例を示す図。 本発明の実施形態２の撮像装置における画像処理部およびシステムコントローラの詳細な構成を示すブロック図。 上記実施形態２において、ＡＦアシスト制御部の制御に基づいて行われるＡＦ動作を示すフローチャート。 本発明の実施形態３において、ＡＦアシスト制御部の制御に基づいて行われるＡＦ動作を示すフローチャート。 本発明の実施形態４の撮像装置における画像処理部およびシステムコントローラの詳細な構成を示すブロック図。

以下、図面を参照して本発明の実施の形態を説明する。

まず、図１から図４０を参照して、本発明の各実施形態に係る技術について説明する。ここに、図１から図３６を参照して３次元立体視画像に係る３Ｄ実施例１を、図３７から図４０を参照して３次元立体視画像に係る３Ｄ実施例２を、それぞれ説明する。また、平面画像に関しては、３Ｄ実施例１中において、２Ｄ実施例１〜２Ｄ実施例３として説明する。
［３Ｄ実施例１］

図１から図３６は本発明の実施形態に係る３Ｄ実施例１を示したものであり、図１は撮像装置の構成を示すブロック図である。

本３Ｄ実施例１の撮像装置は、例えばデジタルスチルカメラとして構成されている。ただし、ここではデジタルスチルカメラを例に挙げているが、撮像装置は、カラー撮像素子を備え、撮像機能を有する装置であればどのようなものでも良く、幾つかの例を挙げれば、上述したデジタルスチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付携帯情報端末（カメラ付ＰＤＡ）、カメラ付パーソナルコンピュータ、監視カメラ、内視鏡などである。

撮像装置は、レンズユニット１と、このレンズユニット１がレンズマウントを介して着脱自在に取り付けられる本体部であるボディユニット２と、を備えている。なお、ここではレンズユニット１が着脱式である場合を例に挙げて説明するが、勿論、着脱式でなくても構わない。

レンズユニット１は、レンズ１０と絞り１１とを含む撮像光学系９と、帯域制限フィルタ１２と、レンズ制御部１４と、レンズ側通信コネクタ１５と、を備えている。

ボディユニット２は、シャッタ２１と、撮像素子２２と、撮像回路２３と、撮像駆動部２４と、画像処理部２５と、画像メモリ２６と、表示部２７と、インターフェース（ＩＦ）２８と、システムコントローラ３０と、センサ部３１と、操作部３２と、ストロボ制御回路３３と、ストロボ３４と、ボディ側通信コネクタ３５と、を備えている。なお、図１のボディユニット２内には記録媒体２９も記載されているが、この記録媒体２９は撮像装置に対して着脱自在な例えばメモリカード（スマートメディア、ＳＤカード、ｘＤピクチャーカード等）で構成されているために、撮像装置に固有の構成でなくても構わない。

まず、レンズユニット１における撮像光学系９は、被写体像を撮像素子２２に結像するためのものである。この撮像光学系９のレンズ１０は、焦点調節を行うためのフォーカスレンズを備えて構成されている。レンズ１０は、一般的には複数枚のレンズで構成されることが多いが、図１においては簡単のために１枚のレンズのみを図示している。

撮像光学系９の絞り１１は、レンズ１０を通過する被写体光束の通過範囲を規制することにより、撮像素子２２上に結像される被写体像の明るさを調節するためのものである。

帯域制限フィルタ１２は、撮像光学系９を経て撮像素子２２に至る撮影光束の光路上（望ましくは、撮像光学系９の絞り１１の位置またはその近傍）に配設されており、撮像光学系９の瞳領域の一部である第１の領域を通過しようとする撮影光束中の第１の帯域の光を遮断し第２の帯域および第３の帯域の光を通過させる第１の帯域制限と、撮像光学系９の瞳領域の他の一部である第２の領域を通過しようとする撮影光束中の第２の帯域の光を遮断し第１の帯域および第３の帯域の光を通過させる第２の帯域制限と、を行うフィルタである。

ここに、図３は帯域制限フィルタ１２の一構成例を説明するための図である。この図３に示す構成例の帯域制限フィルタ１２は、撮像光学系９の瞳領域が、第１の領域と第２の領域とに２分されたものとなっている。すなわち、帯域制限フィルタ１２は、撮像装置を標準姿勢（いわゆる、カメラを通常の横位置に構えた姿勢）として撮像素子２２から見たときに、左半分がＧ（緑）成分およびＲ（赤）成分を通過させＢ（青）成分を遮断する（すなわち、Ｂ（青）成分は第１の帯域と第２の帯域との内の一方の帯域である）ＲＧフィルタ１２ｒ、右半分がＧ成分およびＢ成分を通過させＲ成分を遮断する（すなわち、Ｒ成分は第１の帯域と第２の帯域との内の他方の帯域である）ＧＢフィルタ１２ｂとなっている。従って、帯域制限フィルタ１２は、撮像光学系９の絞り１１の開口を通過する光に含まれるＧ成分を全て通過させ（すなわち、Ｇ成分は第３の帯域である）、Ｒ成分を開口の半分の領域だけ通過させ、Ｂ成分を開口の残り半分の領域だけ通過させる。なお、帯域制限フィルタ１２のＲＧＢ各分光透過特性が、撮像素子２２にオンチップで構成されている素子フィルタ（図２参照）のＲＧＢ各分光透過特性と異なると、ＲＧフィルタ１２ｒとＧＢフィルタ１２ｂの空間位置の相違に基づいて得られる画像から後述するように取得する位置情報の精度が低下したり、分光特性のミスマッチによる光量ロスが発生したりすることになる。従って、帯域制限フィルタ１２の分光透過特性は、撮像素子２２の素子フィルタの分光透過特性と、同一または可能な限り近似していることが望ましい。また、帯域制限フィルタ１２の他の構成例については、後で図１２〜図１５等を参照して説明する。

レンズ制御部１４は、レンズユニット１の制御を行うものである。すなわち、レンズ制御部１４は、レンズ側通信コネクタ１５およびボディ側通信コネクタ３５を介してシステムコントローラ３０から受信した指令に基づき、レンズ１０内のフォーカスレンズを駆動して合焦させたり、絞り１１を駆動して絞り開口径を変更させたりするものである。

レンズ側通信コネクタ１５は、レンズユニット１とボディユニット２とがレンズマウントにより結合されてボディ側通信コネクタ３５と接続されることにより、レンズ制御部１４とシステムコントローラ３０との間の通信を可能にするコネクタである。

次に、ボディユニット２におけるシャッタ２１は、レンズ１０から撮像素子２２に到達する被写体光束の通過時間を規制することにより、撮像素子２２の露光時間を調節するための光学シャッタである。なお、ここでは光学シャッタを用いているが、光学シャッタに代えて、または光学シャッタに加えて、撮像素子２２による素子シャッタ（電子シャッタ）を用いるようにしても構わない。

撮像素子２２は、撮像光学系９により結像される被写体像を、複数の波長帯（例えば、ＲＧＢが挙げられるが、これに限るものではない）光毎にそれぞれ受光して光電変換し、電気信号として出力するカラー撮像素子であり、例えば、ＣＣＤやＣＭＯＳ等として構成されている。ここに、カラー撮像素子の構成としては、オンチップの素子カラーフィルタを備えた単板の撮像素子でも良いし、ＲＧＢ各色光への色分解を行うダイクロイックプリズムを用いた３板式であっても良いし、同一の画素位置で半導体の深さ方向位置に応じてＲＧＢの撮像情報を取得可能な方式の撮像素子であっても良いし、複数の波長帯光の撮像情報を取得可能であればどのようなものでも構わない。

例えば、図２を参照して、一般的なデジタルスチルカメラに用いられることが多い単板のカラー撮像素子の構成例を説明する。ここに、図２は撮像素子２２の画素配列を説明するための図である。本３Ｄ実施例１においては、オンチップで搭載される素子カラーフィルタが透過する複数の波長帯光はＲ、Ｇ、およびＢとなっており、この図２に示すように、原色ベイヤー配列の単板カラー撮像素子が構成されている。従って、撮像素子２２がこの図２に示したような構成である場合には、１画素に付き１色の色成分のみが得られることになるために、画像処理部２５においてデモザイキング処理を行い１画素につきＲＧＢの３色が揃ったカラー画像を生成するようになっている。

撮像回路２３は、撮像素子２２から出力される画像信号を増幅（ゲイン調整）したり、撮像素子２２がアナログ撮像素子であってアナログの画像信号を出力する場合には、Ａ／Ｄ変換してデジタル画像信号（以下では「画像情報」ともいう）を生成したりするものである（撮像素子２２がデジタル撮像素子である場合には、撮像回路２３に入力される時点で既にデジタルとなっているためにＡ／Ｄ変換は行わない）。撮像回路２３は、後述するように撮像駆動部２４で切り換えられた撮像モードに対応するフォーマットで、画像信号を画像処理部２５へ出力する。

撮像駆動部２４は、システムコントローラ３０の指令に基づいて、撮像素子２２および撮像回路２３にタイミング信号および電力を供給して、撮像素子に露光、読出、素子シャッタ等を行わせるとともに、撮像素子２２の動作に同期させて撮像回路２３によるゲイン調整およびＡ／Ｄ変換を実行させるように制御するものである。また、この撮像駆動部２４は、撮像素子２２の撮像モードを切り換える制御も行う。

画像処理部２５は、ＷＢ（ホワイトバランス）調整、黒レベルの補正、γ補正、欠陥画素の補正、デモザイキング、画像情報の色情報の変換処理、画像情報の画素数変換処理、等のデジタル画像処理を行うものである。この画像処理部２５は、さらに、色間補正部３６と、平面画像生成部たる色画像生成部３７と、ステレオ画像生成部４０と、を備えている。

上述したように、帯域制限フィルタ１２は通過させる光の帯域（色）によって、撮像光学系９の瞳領域における通過領域を制限しているために、通過する光は、帯域によって明るさが異なることになる。色間補正部３６は、このような帯域間（色間）の明るさの違いを補正するためのものである。この帯域間（色間）の明るさの違いの補正は、簡易的には、帯域毎の通過領域の面積に応じて補正することが考えられるが、画像の中心よりも周辺の方が光量が低下する傾向があることを考慮して、撮像光学系９の光学特性に応じたより詳細な補正を行うようにしても勿論構わない。このときには、撮像装置内で補正値を算出するに限るものではなく、テーブルデータ等として補正値を保持するようにしても構わない。具体例として、帯域制限フィルタ１２が図３に示したように構成されている場合には、ＲとＢはＧの半分の通過光量となるために、Ｒの色信号とＢの色信号を２倍にする処理を簡易的な色間補正として行うことが考えられる（同様に、後述する図１２〜図１５の構成の場合には、それぞれの帯域毎の通過領域の面積に応じて補正することになる）。このような処理を行うことにより、光量バランスの点においては図３の帯域制限フィルタ１２が挿入されていない撮像装置と同様な画像として扱うことが可能となり、各種機能（例えば画像生成処理など）を利用することが可能となる。

色画像生成部３７は、カラー画像情報を形成するためのデジタル処理であるカラー化の処理を行うものである。図３に示したような帯域制限フィルタ１２を用いた場合には、Ｒ画像とＢ画像とに空間的な位置ズレが発生することがあるために、この空間的な位置ズレを補正するのが色画像生成部３７が行うカラー化処理の一例である。

まず、各色画像の空間的な位置ズレについて、図４〜図１１を参照して説明する。ここに、図４は合焦位置にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図５は合焦位置よりも近距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図６は合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を示す図、図７は合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図、図８は合焦位置よりも遠距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図９は合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を示す図、図１０は合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図、図１１は合焦位置とそれよりも近距離および遠距離にある被写体を撮像したときの画像の様子を示す図である。なお、ボケ形状の説明に際しては、絞り１１の開口が円形状である場合を例に挙げて説明する。

被写体ＯＢＪｃが合焦位置にあるときには、被写体ＯＢＪｃ上の１点から放射された光は、図４に示すように、帯域制限フィルタ１２全体を通過するＧ成分も、帯域制限フィルタ１２の半分のＲＧフィルタ１２ｒのみを通過するＲ成分も、帯域制限フィルタ１２の他の半分のＧＢフィルタ１２ｂのみを通過するＢ成分も、撮像素子２２上の１点に集光され、点像ＩＭＧｒｇｂを形成するために、上述したような通過領域の面積に応じた光量の相違はあるものの、色間に位置ズレは発生しない。従って、合焦位置にある被写体ＯＢＪｃを撮像したときには、図１１に示すように、色にじみのない被写体像ＩＭＧｒｇｂが結像される。

これに対して、被写体ＯＢＪｎが例えば合焦位置よりも近距離側にある場合には、被写体ＯＢＪｎ上の１点から放射された光により、図５〜図７に示すように、Ｇ成分については円形ボケをなす被写体像ＩＭＧｇが形成され、Ｒ成分については左半分の半円形ボケをなす被写体像ＩＭＧｒが形成され、Ｂ成分については右半分の半円形ボケをなす被写体像ＩＭＧｂが形成される。従って、合焦位置よりも近距離側にある被写体ＯＢＪｎを撮像したときには、図１１に示すように、Ｒ成分の被写体像ＩＭＧｒが左側にずれ、Ｂ成分の被写体像ＩＭＧｂが右側にずれたボケ画像が形成され、このボケ画像におけるＲ成分とＢ成分の左右位置は、撮像素子２２から見たときの帯域制限フィルタ１２におけるＲ成分透過領域（ＲＧフィルタ１２ｒ）とＢ成分透過領域（ＧＢフィルタ１２ｂ）の左右位置と同じである（なお、図１１においてはズレを強調して示しており、実際に生じているボケ形状の図示は省略している（下記遠距離側の場合も同様））。そして、被写体ＯＢＪｎが合焦位置から近距離側へ離れるほど、ボケが大きくなって、Ｒ成分の被写体像ＩＭＧｒの重心位置とＢ成分の被写体像ＩＭＧｂの重心位置との離間距離が大きくなることになる。なお、Ｇ成分の被写体像ＩＭＧｇについては、図６、図７に示すように、Ｒ成分の被写体像ＩＭＧｒとＢ成分の被写体像ＩＭＧｂとにまたがったボケ画像となる。このＧ成分の被写体像ＩＭＧｇは、帯域制限フィルタ１２を使用しない場合のボケ画像と同じ情報になるために、上述した色画像生成部３７が行うカラー化処理における標準画像として使用することが可能である。

一方、被写体ＯＢＪｆが例えば合焦位置よりも遠距離側にある場合には、被写体ＯＢＪｆ上の１点から放射された光により、図８〜図１０に示すように、Ｇ成分については円形ボケをなす被写体像ＩＭＧｇが形成され、Ｒ成分については右半分の半円形ボケをなす被写体像ＩＭＧｒが形成され、Ｂ成分については左半分の半円形ボケをなす被写体像ＩＭＧｂが形成される。従って、合焦位置よりも遠距離側にある被写体ＯＢＪｆを撮像したときには、図１１に示すように、Ｒ成分の被写体像ＩＭＧｒが右側にずれ、Ｂ成分の被写体像ＩＭＧｂが左側にずれたボケ画像が形成され、このボケ画像におけるＲ成分とＢ成分の左右位置は、撮像素子２２から見たときの帯域制限フィルタ１２におけるＲ成分透過領域（ＲＧフィルタ１２ｒ）とＢ成分透過領域（ＧＢフィルタ１２ｂ）の左右位置と逆である。そして、被写体ＯＢＪｆが合焦位置から遠距離側へ離れるほど、ボケが大きくなって、Ｒ成分の被写体像ＩＭＧｒの重心位置とＢ成分の被写体像ＩＭＧｂの重心位置との離間距離が大きくなることになる。なお、Ｇ成分の被写体像が、Ｒ成分の被写体像ＩＭＧｒとＢ成分の被写体像ＩＭＧｂとにまたがったボケ画像となる（図９、図１０参照）のは、この遠距離側においても同様である。そして、遠距離側においても、Ｇ成分の被写体像ＩＭＧｇは、帯域制限フィルタ１２を使用しない場合のボケ画像と同じ情報になるために、上述した色画像生成部３７が行うカラー化処理における標準画像として使用することが可能である。

図１の説明に戻って、そこで色画像生成部３７は、カラー化処理として、図２に示すようなベイヤー配列における画素数が最も多くかつ輝度信号に対する寄与が最も大きいＧ成分の画像を標準画像として、Ｒ成分の画像およびＢ成分の画像の各色ズレを補正する処理を、後で詳しく説明するように行うようになっている。このように、絞り１１の開口全域の情報を取得可能なＧ色を基準として画像を生成することにより、観賞に耐え得る高品質な画像を得ることが可能となる。

ステレオ画像生成部４０は、撮像素子２２から取得された１枚の画像データに基づいて、後述する距離演算部３９により演算された位相差量に基づき、第２の画像および第３の画像のボケの重心位置を第１の画像のボケの重心位置の方向へ移動させた一の片目用カラー画像（左目画像と右目画像との何れか一方）を生成するとともに、第１の画像および第３の画像のボケの重心位置を第２の画像のボケの重心位置の方向へ移動させた他の片目用カラー画像（左目画像と右目画像との何れか他方）を生成することにより、カラーの立体視画像を生成するものである。このステレオ画像生成部４０の処理については、後で詳しく説明する。

画像メモリ２６は、高速な書き込みや読み出しが可能なメモリであり、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）により構成されていて、画像処理用のワークエリアとして使用されるとともに、システムコントローラ３０のワークエリアとしても使用される。例えば、画像メモリ２６は、画像処理部２５により処理された最終的な画像を記憶するだけでなく、画像処理部２５による複数の処理過程における各中間画像も適宜記憶する。

表示部２７は、ＬＣＤ等を有して構成されていて、画像処理部２５により表示用に処理された画像（記録媒体２９から読み出されて画像処理部２５により表示用に処理された画像も含む）を表示するものである。具体的には、この表示部２７は、ライブビュー画像の表示、静止画像記録時の確認表示、記録媒体２９から読み出した静止画像または動画像の再生表示、等を行う。また、本３Ｄ実施例１においては、表示部２７は、立体視画像を表示可能に構成されているものとする。

インターフェース（ＩＦ）２８は、記録媒体２９を着脱可能に接続するものであり、記録媒体２９へ記録する情報の伝達、および記録媒体２９から読み出した情報の伝達を行う。

記録媒体２９は、画像処理部２５により記録用に処理された画像や、該画像に関連する各種データを記録するものであり、上述したように例えばメモリカード等として構成されている。

センサ部３１は、例えば、撮像装置のブレを検出するための加速度センサ等で構成される手振れセンサ、撮像素子２２の温度を測定するための温度センサ、撮像装置周辺の明るさを測定するための明るさセンサ、等を含んでいる。このセンサ部３１による検出結果はシステムコントローラ３０に入力される。ここに、手振れセンサによる検出結果は撮像素子２２やレンズ１０を駆動して手振れ補正を行ったり、画像処理による手振れ補正を行ったりするために用いられる。また、温度センサによる検出結果は撮像駆動部２４による駆動クロックの制御や撮像素子２２から得られる画像中のノイズ量を推定するのに用いられる。さらに、明るさセンサによる検出結果は、例えば、周囲の明るさに応じて表示部２７の輝度を適正に制御するために用いられる。

操作部３２は、撮像装置の電源をオン／オフするための電源スイッチ、静止画像や動画像等の撮像動作を指示入力するための２段式の押圧ボタンでなるレリーズボタン、撮像モード等を変更するためのモードボタン、選択項目や数値などを変更するのに用いられる十字キー、等を含んでいる。この操作部３２の操作により発生した信号は、システムコントローラ３０に入力される。

ストロボ制御回路３３は、システムコントローラ３０の指令に基づいて、ストロボ３４の発光量や発光タイミングを制御するものである。

ストロボ３４は、ストロボ制御回路３３の制御により、被写体へ照明光を照射する発光源である。

ボディ側通信コネクタ３５は、上述したように、レンズユニット１とボディユニット２とがレンズマウントにより結合されてレンズ側通信コネクタ１５と接続されることにより、レンズ制御部１４とシステムコントローラ３０との間の通信を可能にするコネクタである。

システムコントローラ３０は、このボディユニット２の制御を行うとともに、レンズ制御部１４を介してレンズユニット１の制御も行うものであり、この撮像装置を統合的に制御する制御部である。このシステムコントローラ３０は、図示しないフラッシュメモリ等の不揮発性メモリから撮像装置の基本制御プログラムを読み出して、操作部３２からの入力に応じて、撮像装置全体を制御するようになっている。

例えば、システムコントローラ３０は、レンズ制御部１４を介して絞り１１の絞り調整を制御したり、シャッタ２１を制御して駆動したり、センサ部３１の加速度センサによる検出結果に基づいて図示しない手振れ補正機構を制御駆動して手振れ補正を行ったり、等を行う。さらに、システムコントローラ３０は、操作部３２のモードボタンからの入力に応じて、撮像装置のモード設定（静止画像を撮像するための静止画モード、動画像を撮像するための動画モード、立体視画像を撮像するための３Ｄモード等の設定）を行うものとなっている。

さらに、システムコントローラ３０は、コントラストＡＦ制御部３８と、距離演算部３９とを備え、コントラストＡＦ制御部３８によりＡＦ制御を行わせ、あるいは、距離演算部３９により算出された距離情報に基づきレンズユニット１を制御してＡＦを行うものである。

コントラストＡＦ制御部３８は、画像処理部２５から出力される画像信号（この画像信号は、輝度成分を含む割合が高いＧ画像であっても良いし、後述するカラー化処理により色ずれが補正された画像に係る輝度信号画像であっても構わない）からコントラスト値（ＡＦ評価値ともいう）を生成し、レンズ制御部１４を介してレンズ１０内のフォーカスレンズを制御するものである。すなわち、コントラストＡＦ制御部３８は、画像信号にフィルタ、例えばハイパスフィルタを作用させて高周波成分を抽出し、コントラスト値とする。そして、コントラストＡＦ制御部３８は、フォーカスレンズ位置を異ならせてコントラスト値を取得し、コントラスト値が大きくなる方向へフォーカスレンズを移動させて、さらにコントラスト値を取得する。このような処理を繰り返して行うことにより、最大のコントラスト値が得られるフォーカスレンズ位置（合焦位置）へフォーカスレンズを駆動するように制御するものである。

次に、距離演算部３９は、撮像素子２２から得られた、第１の帯域の第１の画像と第２の帯域の第２の画像との位相差量を演算し、演算した位相差量に基づき、被写体までの距離を演算するものである。具体的には、距離演算部３９は、図７、図１０、図１１等に示したようなＲ成分とＢ成分とのズレ量から、レンズの公式により距離情報を演算する。

すなわち、距離演算部３９は、撮像画像として得られたＲＧＢ各色の成分の内の、Ｒ成分とＢ成分とを抽出する。そして、Ｒ成分とＢ成分とに相関演算を行うことにより、Ｒ成分の画像とＢ成分の画像とに生じているズレの方向とズレの大きさとを算出する（ただしこれに限定されるものではなく、Ｒ画像とＧ画像との間、またはＢ画像とＧ画像との間に生じているズレの方向とズレの大きさとを算出することも不可能ではない）。

ここに、例えば図３に示したような帯域制限フィルタ１２を用いる場合には、図５〜図１１を参照して説明したように、被写体が合焦位置よりも近いか遠いかによって、画像におけるＲ成分とＢ成分のズレの方向が逆になる。従って、ズレの方向は、着目する被写体が合焦位置よりも近いか遠いかを判別するための情報となる。

また、合焦位置から近距離側または遠距離側へ離れれば離れるほど、Ｒ成分とＢ成分のズレの大きさが大きくなる。従って、ズレの大きさは、着目する被写体が合焦位置からどの程度の距離だけ離れているかを判定するための情報となる。

こうして、距離演算部３９は、算出したズレの方向とズレの大きさとに基づいて、着目する被写体が、合焦位置よりも近い側または遠い側へ、どの程度の距離だけ離れているかを算出するようになっている。

距離演算部３９は、操作部３２からの入力に基づき、または撮像装置の基本制御プログラムに基づき、システムコントローラ３０により決定された距離演算領域（例えば、撮像画像の全領域、あるいは撮像画像における距離情報を取得したい一部の領域）について、上述したような距離演算を行う。このような、ズレ量を取得して距離情報を演算する技術は、例えば上記特開２００１−１６６１１号公報に記載された技術を用いることができる。

距離演算部３９により取得された距離情報は、例えばオートフォーカス（ＡＦ）に利用することができる。

すなわち、距離演算部３９によりＲ成分とＢ成分のズレに基づく距離情報を取得し、取得した距離情報に基づきシステムコントローラ３０がレンズ制御部１４を介してレンズ１０のフォーカスレンズを駆動するＡＦ、すなわち位相差ＡＦを行うことができる。これにより、１枚の撮像画像に基づいて、高速なＡＦが可能となる。

ただし、システムコントローラ３０内には上述したように距離演算部３９とコントラストＡＦ制御部３８とが設けられているために、ＡＦ制御を距離演算部３９による算出結果に基づいて行っても良いが、コントラストＡＦ制御部３８により行っても構わない。

ここに、コントラストＡＦ制御部３８によるコントラストＡＦは合焦精度が高い反面、複数枚の撮像画像が必要になるために、合焦速度が早いとはいえない課題がある。一方、距離演算部３９による被写体距離の算出は、１枚の撮像画像に基づいて行うことができるために、合焦速度が早い反面、合焦精度はコントラストＡＦよりも劣ることがある。

そこで、コントラストＡＦ制御部３８内に設けられているＡＦアシスト制御部３８ａが、コントラストＡＦ制御部３８と距離演算部３９とを組み合わせてＡＦを行わせるようにしても良い。すなわち、帯域制限フィルタ１２を介して取得した画像のＲ成分とＢ成分のズレに基づく距離演算を、距離演算部３９に行わせて、被写体が現在のフォーカス位置よりも遠距離側にあるのか、あるいは近距離側にあるのかを取得する。あるいはさらに、被写体が現在のフォーカス位置から離れている距離を取得する。次に、ＡＦアシスト制御部３８ａは、取得した遠距離側または近距離側へ（取得した距離の分だけ）フォーカスレンズを駆動し、コントラストＡＦを行わせるようにコントラストＡＦ制御部３８を制御する。このような処理を行うことにより、早い合焦速度で高い合焦精度を得ることが可能となる。

また、撮像素子２２から得られたＲ画像とＢ画像とは、例えばステレオ立体視画像（３Ｄ画像）として用いることができる。

３Ｄ画像は、左側の瞳からの画像を左目で観察し、右側の瞳からの画像を右目で観察できれば良い。このような３Ｄ画像の観察方式として、従来よりアナグリフ方式が知られている（上述した特開平４−２５１２３９号公報も参照）。このアナグリフ方式は、一般に、赤色の左目画像と青色の右目画像とを生成して両方を表示し、左目側に赤色透過フィルタ、右目側に青色透過フィルタを配置したアナグリフ用の赤青メガネを用いてこの画像を観察することにより、モノクロの立体視画像を観察可能とする方式である。

そこで本３Ｄ実施例１においては、標準姿勢の撮像素子２２から得られたＲ画像とＢ画像（色画像生成部３７における、Ｒ成分とＢ成分の位置ズレを補正するカラー化処理を行わない画像）を、このアナグリフ方式の赤青メガネで観察すればそのまま立体視が可能となるように構成している。すなわち、図３を参照して説明したように、撮像装置を標準姿勢とすると、帯域制限フィルタ１２のＲＧフィルタ１２ｒが撮像素子２２から被写体を見たときの左側に配置され、ＧＢフィルタ１２ｂが右側に配置されるように構成している。これにより赤青メガネをかければ、左側のＲＧフィルタ１２ｒを透過したＲ成分光が左目のみにより観察され、右側のＧＢフィルタ１２ｂを透過したＢ成分光が右目のみにより観察されて、立体視が可能となる。

また、本３Ｄ実施例１においては、上述したように、ステレオ画像生成部４０により、アナグリフ方式ではない、カラーの立体視画像を生成することもできるようになっている。

次に、図１２〜図１５を参照して、帯域制限フィルタ１２の変形例について説明する。

まず、図１２は帯域制限フィルタ１２の第１の変形例を示す図である。

図１２に示す帯域制限フィルタ１２は、撮像光学系９の瞳領域が、第１の領域と第２の領域との間に第１の帯域制限および第２の帯域制限の両方を受ける撮影光束が通過する領域が挟まれる構成となっている。すなわち、図３に示した帯域制限フィルタ１２は、撮像装置を標準姿勢にして撮像素子２２から見たときに、左半分がＲＧフィルタ１２ｒ、右半分がＧＢフィルタ１２ｂであった。これに対して、この図１２に示す帯域制限フィルタ１２は、左側のＲＧフィルタ１２ｒと右側のＧＢフィルタ１２ｂとの間に、Ｇ成分のみを通過させるＧフィルタ１２ｇを配置したものとなっている。

このような構成においても、撮像光学系９の絞り１１の開口を通過する光に含まれるＧ成分が全て通過するのは図３の帯域制限フィルタ１２と同様である。ただし、ＲＧフィルタ１２ｒとＧＢフィルタ１２ｂとが離間して配置されているために、非合焦位置にある被写体の撮像素子２２上における像の、Ｒ成分とＢ成分の位置ズレがより明瞭化されるために、距離演算部３９による距離演算精度が向上する利点がある。従って、高い精度の距離情報を得たい場合には、この図１２に示すような構成の帯域制限フィルタ１２を用いると良い。

また、図１３は帯域制限フィルタ１２の第２の変形例を示す図である。

この図１３に示す帯域制限フィルタ１２は、撮像光学系９の瞳領域が、第１の領域と第２の領域との間に帯域制限を受けない撮影光束が通過する領域が挟まれる構成となっている。すなわち、帯域制限フィルタ１２は、左側のＲＧフィルタ１２ｒと右側のＧＢフィルタ１２ｂとの間に、ＲＧＢ全色の成分（つまり、白色光Ｗ）を通過させるＷフィルタ１２ｗを配置したものとなっている。

このような構成においても、撮像光学系９の絞り１１の開口を通過する光に含まれるＧ成分が全て通過するのは図３の帯域制限フィルタ１２と同様である。これに対して、Ｒ成分はＲＧフィルタ１２ｒおよびＷフィルタ１２ｗを通過する一方で、ＧＢフィルタ１２ｂに遮断される。同様に、Ｂ成分はＧＢフィルタ１２ｂおよびＷフィルタ１２ｗを通過する一方で、ＲＧフィルタ１２ｒに遮断される。

このような構成によれば、Ｗフィルタ１２ｗの部分についてはＧ成分のみでなく、Ｒ成分およびＢ成分も透過されるために、帯域制限フィルタ１２を透過するＲ成分およびＢ成分の光量が増加し、明るい撮像画像を取得することができる利点がある（ただし、距離演算部３９により算出される距離情報は精度が低下する可能性がある）。従って、距離情報としてはそれ程高い精度は必要でない場合に用いると、必要な効果を得られるとともに、例えば明るい高品位の３Ｄ画像を取得することが可能となる。

さらに、図１４は帯域制限フィルタ１２の第３の変形例を示す図である。

この図１４に示す帯域制限フィルタ１２は、第１の領域と第２の領域とが、撮像装置が標準姿勢であるときの上下方向位置および左右方向位置を異ならせて配置されたものとなっている。すなわち、帯域制限フィルタ１２は、例えば円形をなすフィルタを十字状に４分割して、左下（グラフにおける第３象限）にＲＧフィルタ１２ｒ、右上（グラフにおける第１象限）にＧＢフィルタ１２ｂを配置するとともに、左上（グラフにおける第２象限）に第１のＧフィルタ１２ｇ１を、右下（グラフにおける第４象限）に第２のＧフィルタ１２ｇ２を、それぞれ配置したものとなっている。

なお、図１４に示した帯域制限フィルタにより、取得される位相差の方向は斜め４５度の方向の位相差である。この位相差情報を用いて、後の色画像生成部によりカラー化処理を行った後、ステレオ画像生成部においてステレオ画像生成を行う。その際、色画像生成部においてカラー化処理を行う場合には、通常の帯域制限フィルタ（図１４に示した帯域制限フィルタ以外のフィルタ例）では水平方向の位相差を利用していたところを、斜め４５度の位相差方向でカラー化処理を行う。そして、ステレオ画像生成部において、ステレオ画像生成処理を行う場合には、通常の水平方向の位相差を利用してステレオ画像の生成処理を行う（水平方向の位相差は、斜め４５度の位相差の水平成分だけを抽出すれば、容易に取得可能である）。このようにすることで、帯域制限フィルタで取得される位相差が斜め方向の場合でも、人が見た上で自然な水平方向に位相差を持つステレオ画像を生成することが出来ることになる。

上述した図３、図１２、図１３に示したような帯域制限フィルタ１２の構成の場合には、垂直方向のエッジを有する被写体の距離情報取得は容易であるが、水平方向のエッジを有する被写体の距離情報取得は困難となる。これに対して、この図１４に示したような帯域制限フィルタ１２の構成を採用すれば、垂直方向のエッジを有する被写体と、水平方向のエッジを有する被写体と、の何れに対しても、距離情報を容易に取得することができる利点がある。このようにＲＧフィルタ１２ｒとＧＢフィルタ１２ｂの水平方向位置および垂直方向位置を異ならせることにより、距離情報取得における被写体エッジの方向依存性（特に、水平／垂直方向依存性）を改善することが可能となる。

なお、帯域制限フィルタ１２が図１２〜図１４等に示すように構成されている場合でも、Ｒ画像とＢ画像のズレ量の大きさや、後述するようなボケのＰＳＦの形状が変化するだけであるために、下記に説明するような色画像生成部３７におけるＲ成分とＢ成分の位置ズレを補正するカラー化処理を同様に適用して、色ズレの補正された画像を生成することができる。

続いて、図１５は帯域制限フィルタ１２の第４の変形例を示す図である。

図３や図１２〜図１４に示した帯域制限フィルタ１２は通常のカラーフィルタであったが、この図１５に示す帯域制限フィルタ１２は、色選択透過素子１８により構成したものとなっている。

ここに、色選択透過素子１８は、色（波長）に対応して偏光透過軸を回転可能な部材と、例えばＬＣＤのような偏光透過軸の回転する／しないを選択制御可能な部材と、を複数組み合わせることにより実現された、色分布を変更可能な素子である。この色選択透過素子１８は、具体例としては、西暦２０００年４月にＳＩＤ２０００において「SID ’00 Digest, Vol. 31, p. 92」として開示されたようなカラーリンク社のカラースイッチが挙げられる。

この色選択透過素子１８は、撮像装置を標準姿勢（横位置）にして撮像素子２２から見たときに、左半分が第１色選択透過素子１８Ｌ、右半分が第２色選択透過素子１８Ｒとして構成されている。ここに、第１色選択透過素子１８Ｌは、Ｇ成分およびＲ成分を通過させＢ成分を遮断するＲＧ状態と、ＲＧＢ全成分（Ｗ）を通過させるＷ状態と、を選択的に取り得るようになっている。また、第２色選択透過素子１８Ｒは、Ｇ成分およびＢ成分を通過させＲ成分を遮断するＧＢ状態と、ＲＧＢ全成分（Ｗ）を通過させるＷ状態と、を選択的に取り得るようになっている。これら第１色選択透過素子１８Ｌと第２色選択透過素子１８Ｒとは、図示しない色選択駆動部により各独立に駆動されるようになっていて、第１色選択透過素子１８ＬにＲＧ状態を取らせ、かつ第２色選択透過素子１８ＲにＧＢ状態を取らせることにより、図３に示した帯域制限フィルタ１２と同様の機能を果たすことができる。

さらに、構成を別のものに変更すれば、色選択透過素子１８が図１２〜図１４に示した帯域制限フィルタ１２と同様の機能を果たすようにすることも可能であるし、さらに他の構成の帯域制限フィルタ１２を構成することもできる。

次に、色画像生成部３７において行われる、各色画像同士のずれ（色ズレ）を補正するためのカラー化処理について説明する。
［２Ｄ実施例１］

まず、図１６〜図２４は、カラー化処理の２Ｄ実施例１を示す図である。

図３に示した帯域制限フィルタ１２を用いて、合焦位置よりも遠距離側にある被写体を撮影したときには図７に示すようなボケが形成され、合焦位置よりも近距離側にある被写体を撮影したときには図１０に示すようなボケが形成される。

カラー化処理は、これら図７または図１０に示したような形状のボケを、図１６に示すような形状のボケに補正するための処理である。ここに、図１６は、カラー化処理後のボケ形状の概要を示す図である。

以下では、説明を簡単にするために、被写体が合焦位置よりも遠距離側にある場合（図１０に示す場合）を例に挙げて説明するが、被写体が合焦位置よりも近距離側にある場合には、図７を図１０と比較すれば分かるように、Ｒ画像のボケとＢ画像のボケの形状や位置が左右反対になるだけであるために、以下の処理を適宜変更すれば同様に適用することが可能である。

図１７は２Ｄ実施例１のカラー化処理において合焦位置よりも遠距離側にある被写体のＲ画像に対して適用されるＲ用フィルタの形状を示す図、図１８は２Ｄ実施例１のカラー化処理において合焦位置よりも遠距離側にある被写体のＢ画像に対して適用されるＢ用フィルタの形状を示す図である。

このカラー化処理は、色ズレの補正およびボケ形状の補正を、フィルタリング処理（フィルタカーネルを画像に畳み込み演算する処理）により行うものとなっている。すなわち、Ｒ画像に対してＲ用のフィルタリング処理を行うことにより、Ｒ画像のボケの形状および重心位置を、標準画像であるＧ画像のボケの形状および重心位置に近似させるとともに、Ｂ画像に対してＢ用のフィルタリング処理を行うことにより、Ｂ画像のボケの形状および重心位置を、標準画像であるＧ画像のボケの形状および重心位置に近似させる処理となっている。ここに、重心位置を近似させるのは色ズレを補正するためであり、ボケの形状を近似させるのは各色毎にボケの形状が異なるのを補正してカラー画像におけるボケを自然な形状のボケとするためである。

特に、ここでは、Ｒ画像およびＢ画像のボケの形状を、標準画像であるＧ画像のボケの形状に合わせているが、その理由としては、Ｇ画像のボケが円形状をしており自然なボケであること、Ｇ画像のボケの大きさがＲ画像およびＢ画像のボケの大きさよりも大きいために、Ｒ画像およびＢ画像のボケ形状をＧ画像のボケ形状に合わせる方が処理が容易であること、等が挙げられる。

図１７に示すＲ用フィルタカーネルは、Ｒ画像に畳み込み演算するためのものであり、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このＲ用フィルタカーネルは、ガウシアンフィルタのフィルタ係数のピーク（フィルタ係数の重心位置にほぼ対応する）が、カーネル中心の位置（カーネルの上下を２等分する横ラインＣｈと、カーネルの左右を２等分する縦ラインでありＧ画像のボケ形状の重心を通る縦ラインＣｇとが交差する位置）から、Ｇの画像とＲの画像の間の位相差分ずれた位置（横ラインＣｈと、Ｒ画像のボケ形状の重心を通る縦ラインＣｒとが交差する位置）にあるフィルタ形状となっている。

図１８に示すＢ用フィルタカーネルは、Ｂ画像に畳み込み演算するためのものであり、Ｒ用フィルタカーネルと同様に、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このＢ用フィルタカーネルは、ガウシアンフィルタのフィルタ係数のピーク（フィルタ係数の重心位置にほぼ対応する）が、カーネル中心の位置（横ラインＣｈと縦ラインＣｇとが交差する位置）から、Ｇの画像とＢの画像の間の位相差分ずれた位置（横ラインＣｈと、Ｂ画像のボケ形状の重心を通る縦ラインＣｂとが交差する位置）にあるフィルタ形状となっている。

このようなフィルタ形状のＲ用フィルタカーネルおよびＢ用フィルタカーネルをＲ画像およびＢ画像にそれぞれ作用させることにより、色ズレの補正と、ボケ形状の補正と、を同時に行うことが可能となっている。

次に、図１９および図２０を参照して、カラー化処理の変形例を説明する。ここに、図１９は２Ｄ実施例１の変形例のカラー化処理における合焦位置よりも遠距離側にある被写体のＲ画像およびＢ画像のシフトの様子を示す図、図２０は２Ｄ実施例１の変形例のカラー化処理においてＲ画像およびＢ画像に対して適用されるフィルタの形状を示す図である。

この例のカラー化処理は、色ズレの補正を平行移動（シフト）により行い、ボケ形状の補正をフィルタリング処理により行うものとなっている。

すなわちまず、図１０に示すＲ画像に対して位相差に応じたＲ用のシフト処理を行うことにより、図１９に示すようにＲ画像の重心位置を標準画像であるＧ画像のボケの重心位置に近似させるとともに、図１０に示すＢ画像に対して位相差に応じたＢ用のシフト処理を行うことにより、図１９に示すようにＢ画像の重心位置を標準画像であるＧ画像の重心位置に近似させる。

その後に、Ｒ画像およびＢ画像に対して図２０に示すような同一のフィルタリング処理を行うことにより、Ｒ画像およびＢ画像のボケの形状を、標準画像であるＧ画像のボケの形状に近似させるようになっている（図１６参照）。

ここに、図２０に示すフィルタカーネルは、Ｒ画像およびＢ画像に畳み込み演算するためのものであり、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このフィルタカーネルは、ガウシアンフィルタのフィルタ係数のピーク（フィルタ係数の重心位置に対応する）が、カーネル中心の位置（横ラインＣｈと縦ラインＣｇとが交差する位置）にあるフィルタ形状となっている。

ただし、ここでは図３に示したような、第１の領域と第２の領域とが左右対称の帯域制限フィルタ１２を想定しているために、Ｒ画像およびＢ画像に対して同一のフィルタリング処理を行っているが、第１の領域と第２の領域とが非対称である場合には、Ｒ画像とＢ画像とに対して異なるフィルタリング処理を行うようにしても良いことは勿論である。

また、上述ではボケフィルタとしてガウシアンフィルタ（円型ガウシアンフィルタ）を例に挙げているが、勿論これに限定されるものではない。例えば図３に示したフィルタ形状の場合には、図７や図１０に示したように、Ｒ画像およびＢ画像に発生するボケは縦方向の半月状（すなわち、円形よりも横方向に短い形状）となる。従って、横方向（より一般には、位相差が生じている方向）を長軸方向とする、図２１や図２２等に示すような楕円型ガウシアンフィルタを用いれば、より高精度にボケを円形状に近づける補正処理を行うことが可能となる。ここに、図２１は２Ｄ実施例１において横方向の標準偏差を大きくした楕円型ガウシアンフィルタの形状を示す図、図２２は２Ｄ実施例１において縦方向の標準偏差を小さくした楕円型ガウシアンフィルタの形状を示す図である。なお、図２１および図２２には図２０に対応したフィルタカーネルの中心にフィルタ係数のピーク（フィルタ係数の重心位置に対応する）が位置する例を示したが、図１７や図１８に対応させる場合には、フィルタカーネルの中心からフィルタ係数のピーク（フィルタ係数の重心位置にほぼ対応する）をずらすことは勿論である。

さらに、ボケフィルタは、円型ガウシアンフィルタや楕円型ガウシアンフィルタに限るものでないことも勿論であり、Ｒ画像やＢ画像のボケ形状を、Ｇ画像のボケ形状に近似することができるようなボケフィルタであれば、広く適用することが可能である。

次に、図２３は、２Ｄ実施例１において色画像生成部３７により行われるカラー化処理を示すフローチャートである。

（ステップＳ１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のＲＧＢ画像（つまり、Ｒ画像、Ｇ画像、およびＢ画像）の読み込みを行う。次に、Ｒ画像のコピーであるＲコピー画像と、Ｂ画像のコピーであるＢコピー画像と、を作成する。

（ステップＳ２）
続いて、位相差検出を行うための注目画素を設定する。ここでは、注目画素を、Ｒ画像とＢ画像との内の何れか一方、ここでは例えばＲ画像に設定する。

（ステップＳ３）
ステップＳ２で設定された注目画素に対する位相差を検出する。この位相差の検出は、注目画素を中心位置に含む部分領域をＲ画像に設定して基準画像とし、Ｂ画像に同一サイズの部分領域を設定して参照画像として（図２６等参照）、参照画像の位置を位相差が発生している方向にずらしながら距離演算部３９において基準画像と参照画像との間で相関演算を行い、最も相関値が高いと判定された参照画像と基準画像との間の位置ズレ量（なお、位置ズレ量の符号が位置ズレの方向の情報を与える）を位相差量とする。

なお、部分領域は任意のサイズに設定することができるが、安定的に位相差を検出するためには縦横それぞれ３０［ピクセル］以上の部分領域を利用することが好ましく、一例としては５１×５１［ピクセル］の領域が挙げられる。

そして、距離演算部３９における相関演算は、具体的には、例えばＺＮＣＣ演算、あるいは予めフィルタ処理が施された画像に対するＳＡＤ演算などの処理により行う。

まず、ＺＮＣＣによる相関演算は、以下の数式１に基づき行う。
［数１］

ここに、ＩはＲ画像の部分領域、ＴはＢ画像の部分領域（Ｉと同一サイズの部分領域）、Ｉ（バー）はＩの平均値、Ｔ（バー）はＴの平均値、Ｍは部分領域の横幅［ピクセル］、Ｎは部分領域の縦幅［ピクセル］である。この数式１に基づきＺＮＣＣ演算を行い、その結果の絶対値｜ＲZNCC｜を相関演算の結果として得られた相関値とする。

また、予めフィルタ処理が施された画像に対するＳＡＤ演算を行う場合は、はじめにＲ画像およびＢ画像に対してソーベルフィルタなどに代表される微分フィルタや、ＬＯＧフィルタなどのバンドパスフィルタなどのフィルタリング処理を施しておく。そしてその後に、以下の数式２に示すＳＡＤ演算により相関演算を行う。
［数２］

ここに、Ｉ’はフィルタリング処理が施された後のＲ画像の部分領域、Ｔ’はフィルタリング処理が施された後のＢ画像の部分領域（Ｉ’と同一サイズの部分領域）、Ｍは部分領域の横幅［ピクセル］、Ｎは部分領域の縦幅［ピクセル］である。この場合には、ＲSADが相関演算の結果得られた相関値である。

（ステップＳ４）
画像内における全ての注目画素に対する位相差検出処理が完了したか否かを判定する。そして、完了するまで、注目画素の位置をずらしながらステップＳ２およびステップＳ３の処理を繰り返して行う。ここに、画像内における全ての注目画素とは、画像内において位相差検出可能な全ての画素のことを指している。なお、位相差検出不可能な画素については、検出を行わないままとするか、あるいは周囲の注目画素の検出結果に基づいて補間等を行って位相差量を算出するかすれば良い。

（ステップＳ５）
次に、補正処理を行うための注目画素を、位相差量が求められた画素に対して設定する。ここに、注目画素の画素位置は、Ｒ画像とＢ画像とで同一の（つまり共通の）画素位置である。なお、以下では補正処理として、図１７および図１８を参照して説明したように、平行移動（シフト）を伴わないフィルタのみを用いたカラー化処理を行う場合について説明する。

（ステップＳ６）
注目画素の位相差量に応じて、Ｒ画像にフィルタリング処理を行うためのＲ画像用フィルタの形状を取得する。ここに、位相差量とＲ画像用のフィルタ形状との関係は、例えば以下の表１に示すようなテーブルとして、撮像装置内に予め保持されている。この表１に示す例では、フィルタ形状を決定するのは、フィルタカーネルの大きさ、フィルタカーネル中心からのガウシアンフィルタのずれ、ガウシアンフィルタの標準偏差σ（この標準偏差σは、ボケフィルタのボケの広がり度合いを示している）である。従って、注目画素の位相差量に基づきテーブル参照を行うことにより、Ｒ画像用フィルタの形状を取得することができる。
［表１］

（ステップＳ７）
次に、Ｒ画像における注目画素とその近傍の画素とでなる近傍領域に対してフィルタリング処理を行い、注目画素におけるフィルタ出力値を取得する。そして、取得したフィルタ出力値を、Ｒコピー画像の注目画素位置にコピーして、Ｒコピー画像を更新する。

（ステップＳ８）
注目画素の位相差量に応じて、Ｂ画像にフィルタリング処理を行うためのＢ画像用フィルタの形状を取得する。ここに、位相差量とＢ画像用のフィルタ形状との関係は、例えば以下の表２に示すようなテーブルとして、撮像装置内に予め保持されている。この表２に示す例においても、フィルタ形状を決定するのは、フィルタカーネルの大きさ、フィルタカーネル中心からのガウシアンフィルタのずれ、ガウシアンフィルタの標準偏差σである。従って、注目画素の位相差量に基づきテーブル参照を行うことにより、Ｂ画像用フィルタの形状を取得することができる。
［表２］

（ステップＳ９）
次に、Ｂ画像における注目画素とその近傍の画素とでなる近傍領域に対してフィルタリング処理を行い、注目画素におけるフィルタ出力値を取得する。そして、取得したフィルタ出力値を、Ｂコピー画像の注目画素位置にコピーして、Ｂコピー画像を更新する。

（ステップＳ１０）
画像内における全ての注目画素に対するフィルタリング処理が完了したか否かを判定する。そして、処理が完了するまで、注目画素の位置をずらしながらステップＳ５〜Ｓ９の処理を繰り返して行う。

こうして、全ての注目画素に対するフィルタリング処理が完了したと判定された場合には、Ｒコピー画像およびＢコピー画像をＲ画像およびＢ画像に対する補正画像として出力し、このカラー化処理を終了する。

なお、ステップＳ６やステップＳ８において、円型ガウシアンフィルタを用いるのに代えて、図２１や図２２等に示したような楕円型ガウシアンフィルタを用いる場合は、楕円形ガウシアンフィルタの標準偏差値をｘ方向とｙ方向とで別々に設定すると良いために、撮像装置内に保持するフィルタ形状に関するパラメータテーブルは、フィルタカーネル中心からのずれを除いて、例えば以下の表３に示すようになる。
［表３］

ここに記載は省略したが、ステップＳ６において楕円型ガウシアンフィルタを用いる場合のフィルタカーネル中心からのずれは例えば表１と同様、ステップＳ８において楕円型ガウシアンフィルタを用いる場合のフィルタカーネル中心からのずれは例えば表２と同様とすれば良い。

さらに、上述では表１や表２を参照して、テーブルを用いて位相差量に応じたフィルタの形状を取得する例を説明したが、これに限るものでもない。例えば、フィルタの形状を決定するための各パラメータと位相差量との対応関係を例えば数式等として保持しておいて、位相差量を数式に代入して、演算等によりフィルタの形状を決定するようにしても構わない。

なお、帯域制限フィルタ１２を介して撮影した画像から位相差を検出する処理および色ズレを補正するカラー化処理は、必ずしも撮像装置という形態において行う必要はなく、撮像装置とは別途の画像処理装置４１（例えば、画像処理プログラムを実行するコンピュータなど）において行うようにしても構わない。

図２４は２Ｄ実施例１における画像処理装置４１の構成を示すブロック図である。

この画像処理装置４１は、図１に示した撮像装置のボディユニット２から、撮像機構に係る図示しないレンズマウント、シャッタ２１、撮像素子２２、撮像回路２３、撮像駆動部２４や、レンズユニット１のＡＦ制御に係るコントラストＡＦ制御部３８（ＡＦアシスト制御部３８ａを含む）、レンズユニット１との通信に係るボディ側通信コネクタ３５、被写体の照明に係るストロボ制御回路３３およびストロボ３４、撮像装置の状態を取得するためのセンサ部３１などを取り除き、インターフェース（ＩＦ）２８から入力された情報を記録するための記録部４２をさらに設けたものとなっている。この記録部４２は、インターフェース２８を介して入力し記録した情報を、画像処理部２５へ出力するようになっている。なお、画像処理部２５から記録部４２へ情報を記録することも可能である。そして、記録部４２は、インターフェース２８とともに、システムコントローラ３０Ａ（コントラストＡＦ制御部３８を取り除いたことに伴い、システムコントローラの符号を３０Ａとしている）により制御されるようになっている。また、撮像に係るレリーズボタン等も不要であるために、操作部の符号を３２Ａとしている。

また、画像処理装置４１における一連の処理は、例えば次のように行う。まず、帯域制限フィルタ１２を備えた撮像装置を用いて、画像を撮影し、撮像回路２３から出力されたままのＲＡＷ画像として記録媒体２９に記録する。さらに、帯域制限フィルタ１２の形状等に係る情報や、撮像光学系９のレンズデータ等も記録媒体２９に併せて記録する。

次に、この記録媒体２９を画像処理装置４１のインターフェース２８に接続して、画像および各種情報を記録部４２に記録する。記録が終了したら、記録媒体２９はインターフェース２８から取り外しても構わない。

その後は、記録部４２に記録されている画像および各種情報を読み出して、上述した撮像装置と同様にして、距離演算部３９による位相差の演算を行ったり、色画像生成部３７による色ズレを補正するカラー化処理を行ったり、後述するようなステレオ画像生成部４０による立体視画像の生成処理を行ったりする。

こうして、画像処理装置４１により処理されたカラー化後の画像や立体視画像は、再び記録部４２に記録される。また、記録部４２に記録されたカラー化後の画像や立体視画像は、表示部に表示されたり、インターフェース２８を介して外部機器に送信されたりする。こうして、外部機器においては、カラー化後の画像や立体視画像を様々な用途に利用することができる。

このようなカラー化処理の２Ｄ実施例１によれば、ボケフィルタ自体を用いることにより、またはボケフィルタを用いる前に平行移動（シフト）することにより、Ｒ画像およびＢ画像の重心位置を、標準画像であるＧ画像の重心位置に近似させているために、色ずれが軽減された鑑賞用としてより好ましい画像を得ることができる。

このときさらに、ボケフィルタにより、Ｒ画像およびＢ画像のボケ形状を、標準画像であるＧ画像のボケ形状に近似させているために、自然なボケ形状の、鑑賞用としてより好ましい画像を得ることができる。
［２Ｄ実施例２］

図２５から図３０はカラー化処理の２Ｄ実施例２を示したものであり、図２５は２Ｄ実施例２において色画像生成部３７により行われるカラー化処理の概要を示す図である。

この２Ｄ実施例２において、上述の２Ｄ実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本２Ｄ実施例は、色画像生成部３７におけるカラー化処理を上述した２Ｄ実施例１とは異ならせたものとなっている。すなわち、上述した２Ｄ実施例１は、色ズレの補正を、ボケフィルタを用いて行っていたが、本２Ｄ実施例は画像のコピー加算処理により行うものとなっている。

図２５を参照して、被写体が合焦位置よりも遠距離側にある場合の、本２Ｄ実施例におけるカラー化処理の概念を説明する。

被写体が合焦位置よりも遠距離側にある場合には、図１０に示したように、Ｒ画像のボケは、Ｇ画像のボケの左半分が欠けた形状であり、Ｂ画像のボケは、Ｇ画像のボケの右半分が欠けた形状である。

そこで、図２５に示すように、Ｒ画像のボケをＧ画像のボケに近似させるために、Ｒ画像のボケを、Ｒ画像のボケの欠損部分へコピー加算し、Ｂ画像のボケを、Ｂ画像のボケの欠損部分へコピー加算するようにしたものである。

コピー加算する部分領域の形状は、Ｒ画像およびＢ画像におけるボケの欠損部分の各形状と合致することが望ましいが、ここでは処理を簡単にするために、矩形状（例えば正方形状）の領域としている。

Ｇ画像における円形状をなすボケ拡散領域の中に、ボケ拡散部分領域Ｇ１と、ボケ拡散部分領域Ｇ２と、を示している。ここに、ボケ拡散部分領域Ｇ１とボケ拡散部分領域Ｇ２とは、Ｇ画像の円形状をなすボケ拡散領域の重心を通る縦ラインＣｇに対して左右対称の位置に、同一の大きさとして配置されている。また、部分領域Ｇ１，Ｇ２の大きさは、色ズレ補正の機能を果たすことを考慮すると、円形状をなすボケ拡散領域の半径程度の大きさであることが望ましい。

一方、Ｒ画像に対して示したボケ拡散部分領域Ｒ１は、ボケ拡散部分領域Ｇ２と同じ大きさで同一位置の領域である。そして、Ｒ画像のボケ拡散領域には、ボケ拡散部分領域Ｇ１と同じ大きさで同一位置のボケ拡散部分領域Ｒ２が不足している。

同様に、Ｂ画像に対して示したボケ拡散部分領域Ｂ１は、ボケ拡散部分領域Ｇ１と同じ大きさで同一位置の領域である。そして、Ｂ画像のボケ拡散領域には、ボケ拡散部分領域Ｇ２と同じ大きさで同一位置のボケ拡散部分領域Ｂ２が不足している。

そこで、Ｒ画像のボケ拡散部分領域Ｒ１を、ボケ拡散部分領域Ｇ２を移動させたときにボケ拡散部分領域Ｇ１に完全に重なる移動量（例えば、円形状をなすボケ拡散領域の半径程度の移動量になると考えられる）だけ移動させて、（後述するように、Ｒ画像のコピーであるＲコピー画像に対して）コピー加算することにより、Ｒ画像のボケ拡散部分領域Ｒ２を生成する。このボケ拡散部分領域Ｒ２は、Ｇ画像のボケ拡散部分領域Ｇ１（あるいはＢ画像のボケ拡散部分領域Ｂ１）に相当する領域となる。

同様に、Ｂ画像のボケ拡散部分領域Ｂ１を、ボケ拡散部分領域Ｇ１を移動させたときにボケ拡散部分領域Ｇ２に完全に重なる移動量（同上）だけ移動させて、（後述するように、Ｂ画像のコピーであるＢコピー画像に対して）コピー加算することにより、Ｂ画像のボケ拡散部分領域Ｂ２を生成する。このボケ拡散部分領域Ｂ２は、Ｇ画像のボケ拡散部分領域Ｇ２（あるいはＲ画像のボケ拡散部分領域Ｒ１）に相当する領域となる。

このような処理により、Ｒ画像およびＢ画像においてそれぞれ不足しているボケ拡散部分領域を補うことができ、その結果としてＧ画像、Ｒ画像、Ｂ画像のボケ拡散領域を近似させることができる。そして、これにより、Ｒ画像のボケ拡散領域の重心はＧ画像のボケ拡散領域の重心に近接し、Ｂ画像のボケ拡散領域の重心はＧ画像のボケ拡散領域の重心に近接することになる。

このような処理を、Ｒ画像およびＢ画像の全体に対して行うことにより、色ずれが補正されたカラー画像を得ることができる。

次に、図２６は２Ｄ実施例２において位相差検出を行う際にＲ画像およびＢ画像に設定する部分領域を示す図、図２７は２Ｄ実施例２においてオリジナルＲ画像のボケ拡散部分領域をＲコピー画像にコピー加算する様子を示す図、図２８は２Ｄ実施例２においてオリジナルＢ画像のボケ拡散部分領域をＢコピー画像にコピー加算する様子を示す図、図２９は２Ｄ実施例２において位相差量に応じてボケ拡散部分領域のサイズを変更する例を示す線図、図３０は２Ｄ実施例２において色画像生成部３７により行われるカラー化処理を示すフローチャートである。図２６〜図２９を適宜参照しながら、図３０に沿って説明する。

（ステップＳ２１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のＲＧＢ画像（つまり、Ｒ画像、Ｇ画像、およびＢ画像）の読み込みを行う。ここで、入力画像がベイヤー画像である場合には、事前に画像処理部２５においてデモザイキング処理を行っておくものとする。

次に、Ｒ画像とＢ画像との位相差を補正するのに、Ｒ画像およびＢ画像自体を使用するのに代えて、色差Ｃｒ，Ｃｂを用いることにする。これは、一般的な被写体においては、ＲＧＢ画像よりも色差画像の方が画素値の変動が滑らかであるために、補正処理を安定して行うことができる利点があるためである（ただし、Ｒ画像およびＢ画像をそのまま用いても構わない。この場合には以下の処理において、Ｃｒ→Ｒ,Ｃｂ→Ｂの読み替えを行えば良い）。

すなわち、例えば下記の数式３に基づき、Ｒ画像とＧ画像との色差量を計算して色差画像であるＣｒ画像を生成するとともに、Ｂ画像とＧ画像との色差量を計算して色差画像であるＣｂ画像を生成する。
［数３］
Ｃｒ＝Ｒ−Ｇ
Ｃｂ＝Ｂ−Ｇ

なお、ＲＧＢ信号から色差信号Ｃｒ，Ｃｂ（および輝度信号Ｙ）を算出するその他の演算方法としては、
［数４］
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
が広く知られているために、数式３に代えて、数式４を用いても構わない。

次に、オリジナルのＣｒ画像Ｃｒ０のコピー画像であるＣｒコピー画像Ｃｒ１（図２７参照）と、オリジナルのＣｂ画像Ｃｂ０のコピー画像であるＣｂコピー画像Ｃｂ１（図２８参照）と、を作成する。さらに、Ｃｒコピー画像Ｃｒ１およびＣｂコピー画像Ｃｂ１と同一サイズの、Ｃｒカウント画像およびＣｂカウント画像を生成する（ここに、これらのカウント画像は、画素値の初期値を、全画素について１としておく）。

（ステップＳ２２）
続いて、位相差検出を行うための部分領域を設定する。ここでは、部分領域を、Ｒ画像とＢ画像との内の何れか一方、ここでは例えばＲ画像に設定する。

（ステップＳ２３）
ステップＳ２２で設定された部分領域に対する位相差を検出する。この位相差の検出は、Ｒ画像に設定した部分領域を基準画像とし、Ｂ画像における基準画像と同一サイズの部分領域を参照画像として、上述したステップＳ３と同様の処理を図２６に示すように行うことにより、Ｒ画像とＢ画像の間で位相差検出を行う。

（ステップＳ２４）
ステップＳ２３の処理により得られた位相差量に基づいて、Ｇ画像の円形ボケの半径（または、Ｒ画像およびＢ画像の半円ボケの半径ということもできる）を取得する。ここに、位相差量とＧ画像のボケ半径との関係は、テーブルや数式等として撮像装置内に予め保持されている。従って、位相差量に基づいて、テーブル参照したり、数式を用いた演算を行ったりすることにより、ボケ半径を取得することができる。なお、このステップＳ２４の処理を省略して、ステップＳ２３において取得した位相差量をボケ半径に代えて用いる簡易的な方法を適用しても構わない。この場合には、位相差量とボケ半径との関係を撮像装置内に予め保持しておく必要はない。

（ステップＳ２５）
次に、オリジナルのＣｒ画像Ｃｒ０から部分領域を読み出して、ステップＳ２３で検出した位相差量に応じた所定量だけずらしてから、Ｃｒコピー画像Ｃｒ１にコピー加算する。ここに、部分領域をずらす所定量は、ずらす方向も含む量であり、その大きさは例えばステップＳ２４において取得したボケ半径とする。上述したステップＳ２１においてＣｒコピー画像Ｃｒ１を作成したのは、コピー加算により画素値が変化しているＣｒコピー画像Ｃｒ１とは別に、オリジナルのＣｒ画像Ｃｒ０を保持しておく必要があるためである（Ｃｂコピー画像Ｃｂ１についても同様）。ただし、部分領域を例えばラスタスキャンの順序でシーケンシャルに処理する代わりに、並列動作により処理する場合などには、コピー画像を用意する必要は必ずしもない。

（ステップＳ２６）
続いて、Ｃｒカウント画像の「ステップＳ２５においてコピー加算処理を行った位置」の領域に、加算された回数が分かるように＋１を加算する。このＣｒカウント画像は、後段のステップＳ３０において、画素値の正規化処理を行うために利用する。

（ステップＳ２７）
また、オリジナルのＣｂ画像Ｃｂ０における「ステップＳ２５においてＣｒコピー画像Ｃｒ１にコピーした位置」と同一の位置から部分領域を読み出して、Ｃｂコピー画像Ｃｂ１の「ステップＳ２５においてオリジナルのＣｒ画像Ｃｒ０からコピー元のデータを取得した位置」にコピー加算する。これにより、Ｃｂ画像をずらす所定量は、Ｃｒ画像をずらす所定量と絶対値が同じで向きが逆となる。

（ステップＳ２８）
そして、Ｃｂカウント画像の「ステップＳ２５においてオリジナルのＣｒ画像Ｃｒ０からコピー元のデータを取得した位置」（つまり、ステップＳ２７においてコピー加算処理を行った位置）の領域に、加算された回数が分かるように＋１を加算する。このＣｂカウント画像も、後段のステップＳ３０において、画素値の正規化処理を行うために利用する。

なお、上述したステップＳ２５やステップＳ２７においては、コピー加算処理を画像の部分領域毎に行っているが、この部分領域は、ステップＳ２３において位相差検出処理を行った部分領域と同一であっても良い一方で、位相差検出処理とは異なる大きさの部分領域としても構わない。

また、コピー加算処理に用いる部分領域の大きさは、画像全体で一定（すなわち、グローバルな大きさ）としても構わないが、画像内に設定する各部分領域毎に異ならせても（すなわち、ローカルな大きさとしても）良い。

例えば、ステップＳ２５〜Ｓ２８で用いる部分領域の大きさを、ステップＳ２３において検出された位相差量に応じて、図２９に示すように変化させても良い。

この図２９に示す例では、位相差量が０である場合に、部分領域の縦サイズおよび横サイズは共に１となり、部分領域は１画素となる。なお、この場合には、位相差量が０であるために上述したコピー加算処理も行わないことになり、実質的に何の処理も行わないことになる。従って、位相差量が０であるか否かに応じて処理を分岐させて、位相差量が０であるときには何の処理も行わないようにしても良い。

また、図２９に示す例では、位相差量に比例して、部分領域の大きさが大きくなるように構成されている。このときの直線の傾きは、光学系の構成に応じて適切に設定することになるために、図２９には具体的なスケールを示していない。

なお、図２９には、位相差量と部分領域の大きさとの関係が比例関係となる例を示しているが、勿論、比例関係とするに限るものではなく、例えば主観的な画質の評価に応じて位相差量に対する部分領域の大きさが適切となるように設計しても良い。

また、点光源からの光線がボケとなるときの拡散量（ＰＳＦ（Point Spread Function：点広がり関数）の点拡がりの量）は、ボケが発生している領域内において均一であるとは限らず、例えばボケの周辺部においては中央部よりも拡散量が少ない（つまり、輝度が低い）ことなどが考えられる。そこで、上述したような部分領域のコピー加算を行うときに、ボケの拡散量に応じた重み係数を乗算するようにしても良い。例えば、部分領域の周辺部の各画素には１／２の重み係数を乗算し、部分領域の中央部の各画素には１の重み係数を乗算してから、コピー加算を行うなどである。このときには、ステップＳ２６およびステップＳ２８におけるカウント画像も、部分領域の周辺部については１／２を加算し、部分領域の中央部については１を加算することになる。

（ステップＳ２９）
その後、画像内における全ての部分領域に対する処理が完了したか否かを判定する。そして、処理が完了するまで、部分領域の位置をずらしながらステップＳ２２〜Ｓ２８の処理を繰り返して行う。ここに、部分領域をずらすときのステップは任意の値を設定可能であるが、部分領域の幅よりも小さい値であることが好ましい。

（ステップＳ３０）
こうして、ステップＳ２９において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、Ｃｒコピー画像の画素値をＣｒカウント画像の画素値で割ることにより正規化されたＣｒコピー画像を得るとともに、Ｃｂコピー画像の画素値をＣｂカウント画像の画素値で割ることにより正規化されたＣｂコピー画像を得る。

（ステップＳ３１）
そして、Ｇ画像（またはＹ画像）と、ステップＳ３０において正規化されたＣｒコピー画像およびＣｂコピー画像と、を用いて、Ｒ画像、Ｂ画像、Ｇ画像を生成する。ここに、色差画像の算出に数式３を用いた場合には、
［数５］
Ｒ＝Ｃｒ＋Ｇ
Ｂ＝Ｃｂ＋Ｇ
を用いてＲ画像およびＢ画像を生成する（なお、Ｇ画像は、ステップＳ２２におけるＧ画像をそのまま用いる）。

また、色差画像の算出に数式４を用いた場合には、
［数６］
Ｒ＝Ｙ＋１．４０２００Ｃｒ
Ｇ＝Ｙ−０．７１４１４Ｃｒ−０．３４４１４Ｃｂ
Ｂ＝Ｙ ＋１．７７２００Ｃｂ
を用いてＲ画像、Ｂ画像、Ｇ画像を生成する。

このステップＳ３１において算出されたＲＧＢ画像が、色画像生成部３７におけるカラー化処理により得られた画像となる。

このようなカラー化処理の２Ｄ実施例２によれば、画像のコピー加算処理により色ズレの補正を行うことにより、上述した２Ｄ実施例１とほぼ同様の効果を奏することができる。

また、コピー加算を行う場合には、フィルタリング処理の場合よりも処理負荷を軽減することが可能となる利点がある。従って、処理回路の低コスト化や、低消費電力化を図ることもできる。
［２Ｄ実施例３］

図３１から図３４はカラー化処理の２Ｄ実施例３を示したものであり、図３１は２Ｄ実施例３において位相差量に応じた各色のＰＳＦのテーブルの概要を示す図、図３２は２Ｄ実施例３において色画像生成部３７により行われるカラー化処理の概要を示す図、図３３は２Ｄ実施例３において色画像生成部３７により行われるボケ量コントロールを伴うカラー化処理の概要を示す図、図３４は２Ｄ実施例３において色画像生成部３７により行われるカラー化処理を示すフローチャートである。

この２Ｄ実施例３において、上述の２Ｄ実施例１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本２Ｄ実施例は、色画像生成部３７におけるカラー化処理を上述した２Ｄ実施例１，２と異ならせたものとなっている。すなわち、本２Ｄ実施例は、カラー化処理を、ぼけた画像をぼけていない画像に復元する復元処理（逆フィルタリング処理）と、復元されたぼけていない画像を被写体距離に応じた円形のボケ形状が得られるようにするフィルタリング処理と、を組み合わせることにより行うものとなっている。

図３に示したような帯域制限フィルタ１２を用いた場合には、位相差量に応じて、ＲＧＢ各色のＰＳＦは、図３１に示すように変化する。なお、この図３１において、点光源からの光が到達しない暗部にはハッチングを付している。

例えば、Ｒ画像のＰＳＦであるＰＳＦｒは、位相差量の絶対値が大きくなるほど、大きな半月形状を示し、位相差量が０、つまり合焦位置においては１点に収束する。さらに、合焦位置よりも近距離である場合には図３１の上半分に示すように左半月形状であるが、合焦位置よりも遠距離である場合には図３１の下半分に示すように右半月形状となる。

同様に、Ｂ画像のＰＳＦであるＰＳＦｂは、位相差量の絶対値が大きくなるほど、大きな半月形状を示し、位相差量が０、つまり合焦位置においては１点に収束する。さらに、合焦位置よりも近距離である場合には図３１の上半分に示すように右半月形状であるが、合焦位置よりも遠距離である場合には図３１の下半分に示すように左半月形状となる。

さらに、Ｇ画像のＰＳＦであるＰＳＦｇは、位相差量の絶対値が大きくなるほど、大きな満月形状を示し、位相差量が０、つまり合焦位置においては１点に収束する。また、ＰＳＦｇは、１点に収束したときを除いて、合焦位置よりも近距離であるか遠距離であるかに関わらず、常に満月形状である。

この図３１に示したような、位相差量に応じた各色のＰＳＦのテーブルが、例えば色画像生成部３７内の図示しない不揮発性メモリに予め記憶されているものとする（ただし、図１に示したようなレンズ交換式の撮像装置の場合には、レンズ制御部１４内に記憶されているテーブルを、通信により受信して用いても勿論構わない）。

このようなＰＳＦを用いた復元処理およびフィルタリング処理について、図３２を参照して説明する。この図３２は、被写体が合焦位置よりも遠距離である場合の例であるが、被写体が合焦位置よりも近距離である場合にも同様の処理を適用することができる。

まず、Ｒ画像にＰＳＦｒの逆演算（右肩の−１が逆演算であることを示している。以下同様。）を行うことにより、右半円形状のボケを、点光源が１点に収束するボケのない像（復元第１画像と復元第２画像との何れか一方）に変換する。同様に、Ｂ画像にＰＳＦｂの逆演算を行うことにより、左半円形状のボケを、点光源が１点に収束するボケのない像（復元第１画像と復元第２画像との何れか他方）に変換する。このような処理により、Ｒ画像およびＢ画像の復元処理を行う。

次に、復元処理されたＲ画像および復元処理されたＢ画像に対して、Ｇ画像に対するＰＳＦであるＰＳＦｇをそれぞれ作用させる。これにより、Ｒ画像およびＢ画像に、Ｇ画像と同様の満月形状のボケが生成される。

具体的な処理は、次のようにして行う。

まず、ある画素位置におけるＲ画像のボケのＰＳＦがＰｒ１、Ｂ画像の同一画素位置におけるボケのＰＳＦがＰｂ１、Ｇ画像の同一画素位置におけるボケのＰＳＦがＰｇ１であるとする。ボケのＰＳＦは、図３１に示したように、Ｒ画像とＢ画像との間の位相差に応じて異なり、位相差は基本的に画素位置毎に異なるために、ＰＳＦは各画素位置毎に決定されるものとなる。また、ＰＳＦは、着目画素位置を中心として、近傍の複数画素を含む部分領域に対して定義されているものとする（図３１参照）。

処理を開始すると、着目画素に対して求められた位相差を取得し、図３１に示したようなテーブルを参照することにより、Ｒ画像における着目画素を中心としたＰＳＦであるＰｒ１と、Ｂ画像における同一位置の着目画素を中心としたＰＳＦであるＰｂ１と、Ｇ画像における同一位置の着目画素を中心としたＰＳＦであるＰｇ１と、を取得する。

次に、取得したＰｒ１、Ｐｂ１、およびＰｇ１と、Ｒ画像における着目画素を中心とする部分領域ｒと、Ｂ画像における着目画素を中心とする部分領域ｂと、に対して次の数式７に示すように、２次元フーリエ変換ＦＦＴ２を行い、各変換後の値ＰＲ１，ＰＢ１，ＰＧ１，Ｒ，Ｂを得る。
［数７］
ＰＲ１＝ＦＦＴ２（Ｐｒ１）
ＰＢ１＝ＦＦＴ２（Ｐｂ１）
ＰＧ１＝ＦＦＴ２（Ｐｇ１）
Ｒ ＝ＦＦＴ２（ｒ）
Ｂ ＝ＦＦＴ２（ｂ）

次に、下記の数式８に示すように、ＲをＰＲ１で除算し、ＢをＰＢ１で除算することにより復元処理を行い、さらにそれぞれにＰＧ１を乗算することによりフィルタリング処理を行って、その結果に２次元逆フーリエ変換ＩＦＦＴ２を施し、Ｇ画像と同様のボケが得られたＲ画像ｒ’およびＢ画像ｂ’を算出する。
［数８］
ｒ’＝ＩＦＦＴ２（Ｒ×ＰＧ１／ＰＲ１）
ｂ’＝ＩＦＦＴ２（Ｂ×ＰＧ１／ＰＢ１）

なお、数式８の逆フィルタリング処理による復元処理をより安定的にするために、以下の数式９のように復元処理の復元量を制御しても構わないものとする（ウィナーフィルターの方式）。
［数９］
ｒ’＝ＩＦＦＴ２（Ｒ×ＰＧ１／ＰＲ１×｜ＰＲ１｜^2／（｜ＰＲ１｜^2＋Γ））
ｂ’＝ＩＦＦＴ２（Ｂ×ＰＧ１／ＰＢ１×｜ＰＢ１｜^2／（｜ＰＢ１｜^2＋Γ））
ここに、数式９における記号「^2」は２乗を表し（以下同様）、ΓはＰＲ１、ＰＢ１の形状に応じて適切に設定される任意の定数である。

この数式９のような処理を採用することにより、復元処理時のノイズの増幅が抑制され、より好ましいＲ画像、Ｂ画像を生成することができる。

なお、Γの設定方法として、例えばＰＲ１の周波数係数の絶対値｜ＰＲ１｜、｜ＰＢ１｜と、この絶対値｜ＰＲ１｜、｜ＰＢ１｜に対するΓの好ましい値との関係を撮像装置内に予め保持しておき、この関係に基づいて周波数係数毎にΓを指定する方法が考えられる。また、その他の方法としては、撮像装置の各種パラメータ（ＩＳＯ値、焦点距離、開口値など）に基づいて、画像に含まれるノイズ量を推定し、推定したノイズ量に応じてΓを変化させる構成（例えば、ＩＳＯ２００の場合Γ＝０．０１とし、ＩＳＯ８００の場合Γ＝０．０４とするなど）を採用しても構わない。

上述したような復元処理およびフィルタリング処理は、画像の部分領域毎に行い、ある部分領域で補正処理が完了したら、次に位置を少しずらして部分領域を指定し、指定した部分領域に対して再び同様の復元処理およびフィルタリング処理を行う。このような処理を繰り返して行うことにより、復元処理およびフィルタリング処理を画像の全領域に対して行う。その後、重複して処理された画素位置に関しては、その画素位置で処理された複数の補正画素値の総和を補正回数で割って平均化することにより、正規化された補正画像を得る。

なお、復元処理およびフィルタリング処理を行う部分領域の大きさは、ボケの形状よりも大きいことが好ましい。従って、ボケの大きさに応じて、部分領域の大きさを適応的に変化させることが考えられる。あるいは、位相差に応じてボケの形状がどの範囲で変化するかが予め分かっている場合には、そのボケの最大サイズ以上の部分領域を固定的に用いるようにしても良い。

次に、図３４を参照して、色画像生成部３７により行われる上述したような復元処理およびフィルタリング処理によるカラー化処理の流れについて説明する。

（ステップＳ４１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のＲＧＢ画像（つまり、Ｒ画像、Ｇ画像、およびＢ画像）の読み込みを行う。次に、Ｒ画像のコピーであるＲコピー画像と、Ｂ画像のコピーであるＢコピー画像と、を作成する。

続いて、Ｒコピー画像およびＢコピー画像と同一サイズの、Ｒカウント画像およびＢカウント画像を生成する（ここに、これらのカウント画像は、画素値の初期値を、全画素について１としておく）。

（ステップＳ４２）
続いて、位相差検出を行うための部分領域を設定する。ここでは、部分領域を、Ｒ画像とＢ画像との内の何れか一方、ここでは例えばＲ画像に設定する。

（ステップＳ４３）
ステップＳ４２で設定された部分領域に対する位相差を検出する。この位相差の検出は、Ｒ画像に設定した部分領域を基準画像とし、Ｂ画像における基準画像と同一サイズの部分領域を参照画像として、上述したステップＳ３と同様の処理を図２６に示したように行うことにより、Ｒ画像とＢ画像の間で位相差検出を行う。

（ステップＳ４４）
ステップＳ４３の処理により得られた位相差量に基づいて、Ｇ画像の円形ボケの半径（または、Ｒ画像およびＢ画像の半円ボケの半径ということもできる）を、上述したステップＳ２４と同様にして取得する。

（ステップＳ４５）
次に、オリジナルのＲ画像に対して、上述したステップＳ４２で指定した部分領域に対して、上述したような復元処理およびフィルタリング処理を行う。こうして得られた処理結果を、Ｒコピー画像におけるオリジナルのＲ画像の部分領域と同位置にコピー加算する。なお、ここでは、カラー化処理を行うための部分領域を、位相差検出を行うための部分領域と同一とする例について説明するが、勿論異なる領域を設定しても構わないし、上述したように、検出された位相差に応じた適応的な大きさの部分領域としても良い（後述するＢ画像についても同様）。

（ステップＳ４６）
続いて、Ｒカウント画像の「ステップＳ４２で指定した部分領域」に、加算された回数が分かるように＋１を加算する。このＲカウント画像は、後段のステップＳ５０において、画素値の正規化処理を行うために利用する。

（ステップＳ４７）
また、オリジナルのＢ画像に対して、上述したステップＳ４２で指定した部分領域に対して、上述したような復元処理およびフィルタリング処理を行う。こうして得られた処理結果を、Ｂコピー画像におけるオリジナルのＢ画像の部分領域と同位置にコピー加算する。

（ステップＳ４８）
そして、Ｂカウント画像の「ステップＳ４２で指定した部分領域」に、加算された回数が分かるように１を加算する。このＢカウント画像も、後段のステップＳ５０において、画素値の正規化処理を行うために利用する。

（ステップＳ４９）
その後、画像内における全ての部分領域に対する処理が完了したか否かを判定する。そして、処理が完了するまで、部分領域の位置をずらしながらステップＳ４２〜Ｓ４８の処理を繰り返して行う。ここに、部分領域をずらすときのステップは任意の値を設定可能であるが、部分領域の幅よりも小さい値であることが好ましい。

（ステップＳ５０）
こうして、ステップＳ４９において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、Ｒコピー画像の画素値をＲカウント画像の画素値で割ることにより正規化されたＲコピー画像を得るとともに、Ｂコピー画像の画素値をＢカウント画像の画素値で割ることにより正規化されたＢコピー画像を得る。このステップＳ５０において算出されたＲＧＢ画像が、色画像生成部３７におけるカラー化処理により得られた画像となる。

こうして、ステップＳ５０の処理が終了したところで、この図３４に示す処理を終了する。

なお、上述では、フーリエ変換を利用して実空間から周波数空間へ変換した後に、復元処理およびフィルタリング処理を行っている。しかし、これに限るものではなく、実空間における（例えばＭＡＰ推定処理などの）復元処理やフィルタリング処理を適用しても構わない。

また、上述ではＲ画像およびＢ画像のボケ形状をＧ画像のボケ形状に整合させる処理を行っているが、これに加えて、ボケ量コントロールを行うようにしても構わない。

この場合には、図３３に示すように、まず、Ｒ画像にＰＳＦｒの逆演算を、Ｂ画像にＰＳＦｂの逆演算を、それぞれ行うとともに、さらに、Ｇ画像にＰＳＦｇの逆演算を行うことにより円形状のボケを点光源が１点に収束するボケのない像（復元第３画像）に変換する。これにより、Ｒ画像、Ｂ画像、およびＧ画像の復元が行われる。

次に、復元処理されたＲ画像、Ｂ画像、およびＧ画像に対して、Ｇ画像に対する所望のＰＳＦであるＰＳＦ’ｇをそれぞれ作用させる。これにより、Ｒ画像、Ｂ画像、およびＧ画像に、所望の大きさの満月形状のボケを生成し、ボケ量コントロールを行うことができる。

具体的には、図３１に示したようなテーブルを参照することにより、Ｇ画像における同一位置の着目画素を中心としたＰＳＦとして、所望のＰｇ１’をさらに取得しておく。

次に、上述した数式７の処理に加えて、さらに、取得したＰｇ１’と、Ｇ画像における着目画素を中心とする部分領域ｇと、に対して次の数式１０に示すように、２次元フーリエ変換ＦＦＴ２を行い、各変換後の値ＰＧ１’，Ｇを得る。
［数１０］
ＰＧ１’＝ＦＦＴ２（Ｐｇ１’）
Ｇ ＝ＦＦＴ２（ｇ）

そして、下記の数式１１に示すように、ＲをＰＲ１で除算し、ＢをＰＢ１で除算し、ＧをＰＧ１で除算することにより復元処理を行い、さらにそれぞれにＰＧ１’を乗算することによりフィルタリング処理を行って、その結果に２次元逆フーリエ変換ＩＦＦＴ２を施し、所望のボケ量のボケが得られたＲ画像ｒ”、Ｂ画像ｂ”、およびＧ画像ｇ”を算出する。
［数１１］
ｒ”＝ＩＦＦＴ２（Ｒ×ＰＧ１’／ＰＲ１）
ｂ”＝ＩＦＦＴ２（Ｂ×ＰＧ１’／ＰＢ１）
ｇ”＝ＩＦＦＴ２（Ｇ×ＰＧ１’／ＰＧ１）

なお、上述した数式９と同様に、数式１１に代えて、次の数式１２に示すようなウィナーフィルターの方式を採用しても構わない。
［数１２］
ｒ”＝ＩＦＦＴ２（Ｒ×ＰＧ１’／ＰＲ１×｜ＰＲ１｜^2／（｜ＰＲ１｜^2＋Γ））
ｂ”＝ＩＦＦＴ２（Ｂ×ＰＧ１’／ＰＢ１×｜ＰＢ１｜^2／（｜ＰＢ１｜^2＋Γ））
ｇ”＝ＩＦＦＴ２（Ｇ×ＰＧ１’／ＰＧ１×｜ＰＧ１｜^2／（｜ＰＧ１｜^2＋Γ））
ここに、ΓはＰＲ１、ＰＢ１、ＰＧ１の形状に応じて適切に設定される任意の定数である。

このようなカラー化処理の２Ｄ実施例３によれば、ＰＳＦを用いた復元処理およびフィルタリング処理による色ズレ補正を行うことにより、上述した２Ｄ実施例１，２とほぼ同様の効果を奏することができる。

さらに、Ｇ画像についても復元処理を行い、その後にＧ画像に対する任意のＰＳＦを用いたフィルタリング処理をＲ画像、Ｂ画像、およびＧ画像に対して行えば、ＲＧＢカラー画像のボケ量を所望にコントロールすることも可能となる。

上述した２Ｄ実施例１〜３の何れかの処理を行うことにより、色ズレのない２次元画像が生成される。本３Ｄ実施例のステレオ画像生成部４０は、この色ズレのない２次元画像と、位相差情報とに基づいて、カラーの立体視画像（３Ｄ画像）を生成するものとなっている。

図３５はカラー化処理後の２次元画像から左目画像および右目画像を生成する様子を示す図、図３６はステレオ画像生成部４０による立体視画像の生成処理を示すフローチャートである。

（ステップＳ６１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、カラー化処理により色ズレが補正されたカラー画像ＲＧＢ０（図３５参照）の読み込みを行う。次に、処理対象となる画像の各部分領域に対応する位相差量の情報を予め用意しておく。ここに位相差量の情報は、２Ｄ実施例１〜３の何れかのカラー化処理において既に取得されているために、この情報を用いるものとする（ただし、位相差量が取得されていない画素がある場合（例えば、デモザイキング前の画像に基づき位相差量が取得された場合や、位相差量を取得することができなかった画素が存在した場合など）には、補間処理等を行うことにより、全画素についての位相差量を生成しておく）。さらに、左目画像ＲＧＢ−Ｌおよび右目画像ＲＧＢ−Ｒと、左目カウント画像および右目カウント画像とを生成する（ここに、これら４つの各画像は、画素値の初期値を、全画素について０としておく）。

（ステップＳ６２）
次に、色ズレが補正されたカラー画像ＲＧＢ０に、図３５に示すように部分領域を設定する。この部分領域の大きさは、位相差量の計測に利用した部分領域と同サイズであってもよいが、任意の大きさであっても構わない。例えば、図２９を参照して説明したのと同様に、位相差量に応じて（例えば、比例して）部分領域の大きさが大きくなるようにしても構わない。

（ステップＳ６３）
続いて、ステップＳ６１において予め用意しておいた位相差量の情報から、ステップＳ６２において設定した部分領域に対応する位相差量を取得する。

（ステップＳ６４）
そして、Ｒ画像とＢ画像との間に生じている位相差量（位相差の方向および位相差の大きさ）に応じて、カラー画像ＲＧＢ０の部分領域を、左目画像ＲＧＢ−Ｌ内の位相差量の２分の１だけずらした部分領域にコピー加算する（図３５参照）。

（ステップＳ６５）
さらに、左目カウント画像の「ステップＳ６４でコピー加算された部分領域」と同一領域における各画素の画素値に、＋１を加算する。この左目カウント画像は、後段のステップＳ６９において、画素値の正規化処理を行うために利用する。

（ステップＳ６６）
同様に、Ｒ画像とＢ画像との間に生じている位相差量に応じて、カラー画像ＲＧＢ０の部分領域を、右目画像ＲＧＢ−Ｒ内の位相差量の２分の１だけステップＳ６４とは逆方向にずらした部分領域にコピー加算する（図３５参照）。

（ステップＳ６７）
さらに同様に、右目カウント画像の「ステップＳ６６でコピー加算された部分領域」と同一領域における各画素の画素値に、＋１を加算する。この右目カウント画像は、後段のステップＳ６９において、画素値の正規化処理を行うために利用する。

（ステップＳ６８）
その後、カラー画像ＲＧＢ０内における全ての部分領域に対する処理が完了したか否かを判定する。そして、処理が完了するまで、部分領域の位置をずらしながらステップＳ６２〜Ｓ６７の処理を繰り返して行う。ここに、部分領域をずらすときのステップは任意の値を設定可能であるが、部分領域の幅よりも小さい値であること（すなわち、部分領域が重複しながら順次設定されていくこと）が好ましい。具体例を挙げれば、サイズが５１×５１［ピクセル］である部分領域に対して、１０［ピクセル］ずつずらしながら部分領域を設定する等が挙げられる。ただし、重複しなければならないものではなく、タイルを敷き詰めるように設定しても構わない（例えばサイズが５１×５１［ピクセル］の部分領域に対して、５１［ピクセル］ずつずらしながら部分領域を設定するなど）。

（ステップＳ６９）
こうして、ステップＳ６８において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、左目画像ＲＧＢ−Ｌの画素値を左目カウント画像の画素値で割ることにより正規化された左目画像を得るとともに、右目画像ＲＧＢ−Ｒの画素値を右目カウント画像の画素値で割ることにより正規化された右目画像を得る。なお、この処理を終えたところで、画素値が与えられていない画素が残っている場合には、補間処理を行って該画素の画素値を与えるものとする。

こうして、ステップＳ６９の処理が終了したところで、この図３４に示す処理を終了する。

なお、上述では、カラー画像ＲＧＢ０の部分領域を左目画像ＲＧＢ−Ｌおよび右目画像ＲＧＢ−Ｒへコピー加算する際に、位相差量の２分の１だけ部分領域をずらしているが、これは、位相差量の２分の１であることが実際に観測された立体視画像の視差量に忠実であり好ましいためである。しかし、これに限るものではない。例えば、取得された位相差量に１よりも大きい所定の定数を乗算した値を補正された位相差量として用いれば、立体感をより際立たせた立体視画像を生成することができる。また、取得された位相差量に１よりも小さい所定の定数を乗算した値を補正された位相差量として用いれば、立体感をより抑制した立体視画像を生成することができる。このような位相差量に乗算する所定の定数は、立体視画像を表示部２７に表示しながら、表示された画像を見たユーザが撮像装置の操作部３２を操作することにより、好みに応じて調整することができるようにしても良い（ＧＵＩを介したユーザによる所望の調整）。あるいは、撮影対象である被写体に応じて（例えば、被写体が人物であるか否かや、被写体までの距離、構図などに応じて）、適切な立体感が得られるようにシステムコントローラ３０が自動的に設定するようにしても良い。

このような３Ｄ実施例１によれば、帯域によって撮像光学系の異なる瞳領域を通過した光により撮影された画像から、鑑賞用として好ましいカラーの立体視画像を得ることができる。

さらに、本３Ｄ実施例１においてはカラー化処理を行った結果を利用してカラーの立体視画像を生成するようにしているために、処理過程で得られるカラー化処理後の画像を保存しておけば、立体視画像と色ズレの低減されたカラー化後の画像とを両方とも取得し、所望に観察することができる利点がある。
［３Ｄ実施例２］

図３７から図４０は本発明の実施形態に係る３Ｄ実施例２を示したものであり、図３７は立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から左目画像を生成する際のシフトの様子を示す図、図３８は立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から右目画像を生成する際のシフトの様子を示す図、図３９はシフト後の左目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図、図４０はシフト後の右目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図である。

この３Ｄ実施例２において、上述の３Ｄ実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

上述した３Ｄ実施例１は、色画像生成部３７によるカラー化処理の結果を利用して立体視画像を生成するものであったが、本３Ｄ実施例２は、カラー化処理の結果を要することなく立体視画像を生成するようにしたものである。

以下においても説明を簡単にするために、被写体が合焦位置よりも遠距離側にある場合を例に挙げて説明するが、被写体が合焦位置よりも近距離側にある場合でも以下の処理を適宜変更すれば同様に適用することが可能である。

まず、図３に示したような帯域制限フィルタ１２を用いた場合には、被写体が合焦位置よりも遠距離側にあると、各色画像のボケは図１０に示すようになる。

図３を見れば分かるように、ＲＧフィルタ１２ｒは左目側に位置し、ＧＢフィルタ１２ｂは右目側に位置している。従って、図１０に示すＲ成分の被写体像ＩＭＧｒの重心位置Ｃｒが左目画像における各色成分の重心位置となるべき位置であり、図１０に示すＢ成分の被写体像ＩＭＧｂの重心位置Ｃｂが右目画像における各色成分の重心位置となるべき位置である。

そこでまず、図２６を参照して説明したように、位相差量の検出を行う。

そして、左目画像を生成する際には、図３７に示すように、Ｂ成分の被写体像ＩＭＧｂを位相差量だけ移動（シフト）させて重心位置をＲ成分の被写体像ＩＭＧｒの重心位置Ｃｒに一致（あるいは近接）させ、Ｇ成分の被写体像ＩＭＧｇを位相差量の１／２だけ移動させて重心位置をＲ成分の被写体像ＩＭＧｒの重心位置Ｃｒに一致（あるいは近接）させる。

同様に、右目画像を生成する際には、図３８に示すように、Ｒ成分の被写体像ＩＭＧｒを位相差量だけ移動（シフト）させて重心位置をＢ成分の被写体像ＩＭＧｂの重心位置Ｃｂに一致（あるいは近接）させ、Ｇ成分の被写体像ＩＭＧｇを位相差量の１／２だけ移動させて重心位置をＢ成分の被写体像ＩＭＧｂの重心位置Ｃｂに一致（あるいは近接）させる。

こうして、図３７、図３８に示したシフトが行われた後のカラー画像が、シフトカラー画像である。

次に、シフト後の左目画像におけるＲ画像およびＢ画像に対して、例えば図２０に示したような円型ガウシアンフィルタ、あるいは図２１や図２２に示したような楕円型ガウシアンフィルタ等のフィルタカーネルを有するボケフィルタを作用させることにより、図３９に示すように、ボケ形状をＧ画像に近似させる。

さらに、シフト後の右目画像におけるＲ画像およびＢ画像に対して、左目画像と同様の図２０に示したような円型ガウシアンフィルタ、あるいは図２１や図２２に示したような楕円型ガウシアンフィルタ等のフィルタカーネルを有するボケフィルタを作用させることにより、図４０に示すように、ボケ形状をＧ画像に近似させる。

なお、楕円型ガウシアンフィルタを用いる場合に、例えば表３に示したように、位相差に応じてフィルタ形状を変化させながらフィルタリング処理を行うことは、上述と同様である。

また、ここではＲ画像およびＢ画像のボケ形状をＧ画像のボケ形状に近似させるためにボケフィルタを用いる例を説明したが、カラー化処理の２Ｄ実施例３に対して図３１〜図３４を参照して説明したのとほぼ同様に、復元処理とフィルタリング処理とを組み合わせることにより、ボケの形状を近似させ、あるいはさらにボケの大きさをコントロールするようにしても構わない。

さらに、本３Ｄ実施例２においても、シフトさせる移動量を、補正された位相差量（位相差量に所定の定数を乗算した値）に基づき大きくしたり小さくしたりするようにして、立体感をより際立たせたり、立体感をより抑制したりしても構わない。

このような３Ｄ実施例２によれば、上述した３Ｄ実施例１とほぼ同様の効果を奏するとともに、カラー化処理を行う必要がないために、立体視画像のみを取得したい場合に処理の負荷を軽減することが可能となる。
［実施形態１］

図４１から図４５は本発明の実施形態１を示したものであり、図４１は撮像装置における画像処理部２５およびシステムコントローラ３０の詳細な構成を示すブロック図である。

本実施形態の画像処理部２５は、上述した色間補正部３６と、平面画像生成部である上述した色画像生成部３７と、スプリット画像生成部４５と、を備えており、並列処理可能なＤＳＰ（デジタル・シグナル・プロセッサ）などにより構成されている。なお、本実施形態においてはステレオ画像生成部４０は省略している。

また、システムコントローラ３０は、上述したコントラストＡＦ制御部３８と、位相差計測部である上述した距離演算部３９と、並列処理制御部４６と、画像表示切替部４７と、を備えている。なお、本実施形態においてはＡＦアシスト制御部３８ａは省略しているが、設けても構わない。

色間補正部３６により帯域間（色間）の明るさの違いを補正された画像データ（１回の撮像により得られた１枚の画像に係る画像データ）は、色画像生成部３７とスプリット画像生成部４５とにそれぞれ並列に入力される。

色画像生成部３７は、入力された画像データの色ズレを上述したように補正して、カラーの平面画像データを生成する。この色画像生成部３７が平面画像データを生成する際には、上述したように、距離演算部３９により演算される位相差情報（位相差量）が必要である。

一方、スプリット画像生成部４５は、入力された画像データに基づいてスプリット画像を作成する。ここにスプリット画像は、合焦位置からのズレ量に応じたズレが生じた２重像である。スプリット画像生成部４５は、例えば、撮像されたＲＧＢ画像をそれぞれデモザイキング（ベイヤ補間）することによりカラーのスプリット画像を生成する。あるいは、スプリット画像生成部４５は、Ｒ画像とＢ画像とをデモザイキングした後に、対応する画素位置毎に画素値を加算（あるいは平均）して、加算（あるいは平均）後の画像データをモノクロのスプリット画像とするようにしても良い。さらにあるいは、図示はしないが、上述したような位相差を強調する技術（位相差量に１よりも大きい所定の定数を乗算した値を補正された位相差量とする技術）を用いて、合焦位置からのズレ量がより明確に分かるようなスプリット画像を生成するようにしても良い。

並列処理制御部４６は、距離演算部３９による位相差量の演算と、色画像生成部３７による平面画像の生成と、を並列して（つまり同時的に）行わせるとともに、さらに、スプリット画像生成部４５によるスプリット画像の生成も並列して（同時的に）行わせるものである。ここに、平面画像の生成には位相差情報が必要であるが、平面画像の生成と位相差情報の算出とは、共に、例えば画像に対してラスタスキャンの順序でシーケンシャルに行われる。そこで、画像全体に対する位相差量の演算が終了するのを待つことなく、平面画像の生成を並列的に行うようにしている。また、スプリット画像の生成については、位相差情報を不要とする生成方法を採用する場合には、位相差量の演算および平面画像の生成とは独立して並列処理され、位相差情報（あるいはさらに平面画像）を必要とする生成方法を採用する場合には、位相差量の演算（あるいはさらに平面画像の生成）とリンクしながら並列処理される。

画像メモリ２６は、色画像生成部３７により生成され画像処理部２５において表示用のフォーマットに変換された平面画像データと、スプリット画像生成部４５により生成され画像処理部２５において表示用のフォーマットに変換されたスプリット画像データと、を同時に記憶する。

画像表示切替部４７は、画像メモリ２６に記憶された平面画像データとスプリット画像データとの何れか一方、または両方を表示部２７に表示させるように切り替えを行うものである。

次に、図４２〜図４５を参照して、画像表示切替部４７により切り替えられる表示の例を説明する。まず、図４２は画角表示モードにおける表示部２７の画面２７ａの表示例を示す図である。

この画角表示モードでは、画像メモリ２６に記憶された平面画像データを表示部２７の画面２７ａに表示する。この平面画像表示モードは、例えば画角を確認する際に設定されるが、これに限定されるものではない。

次に、図４３は合焦画像表示モードにおける拡大表示前の表示部２７の画面２７ａの表示例を示す図、図４４は合焦画像表示モードにおける拡大表示後の表示部２７の画面２７ａの表示例を示す図である。

この合焦画像表示モードでは、画像メモリ２６に記憶されたスプリット画像データを表示部２７の画面２７ａに表示する。画面２７ａに表示されるスプリット画像は、合焦位置にある被写体ＯＢＪｃは２重像とはならず、合焦位置よりも遠距離側または近距離側にある被写体ＯＢＪｆ，ＯＢＪｎが、合焦位置からのズレ量に応じて２重像となる。従って、注目被写体が合焦しているか否かを容易に確認することが可能である。すなわち、この合焦画像表示モードは、例えば合焦を確認する際に設定されるが、これに限定されるものではない。

ここに、スプリット画像の表示としては、図４３に示すようにスプリット画像データをそのまま表示しても良いが、図４４に示すように注目被写体を含む領域（図４３に示す拡大エリアＥＡ）を予め拡大して表示するようにしても良いし、合焦するまでは図４３に示す表示態様を取り、合焦した後に図４４に示すような表示態様に自動的に移行するようにしても構わない。このときの自動拡大の技術としては、例えば特開２００８−１１６８４４号公報に記載されたような技術を用いることができる。拡大表示を行えば、ピントをより詳細に確認することができる利点がある。なお、図４３に示す拡大エリアＥＡは、大きさや中心位置を手動で所望に設定することができるようにしても構わないし、顔認識やパターン認識等の結果に基づき自動設定するようにしても良い。また、顔認識やパターン認識等の結果に基づき自動設定する場合には、被写体の動きに合わせて自動追従するようにしても良い。

さらに、図４５は同時表示モードにおける表示部２７の画面２７ａの表示例を示す図である。

この同時表示モードでは、画像メモリ２６に記憶された平面画像データおよびスプリット画像データを表示部２７の画面２７ａに同時に表示する。図４５に示す例においては、平面画像をエリアＡ１に、拡大したスプリット画像をエリアＡ２に、左右に並べて表示しているが、上下に並べても良いし、主要被写体に重ならないようにしながら一部を重畳させて表示しても良いし、表示態様が限定されるものではない。このような同時表示モードにより、画角の確認と合焦の確認とを同時に行うことができる。

なお、上述では３つの表示モードの例を説明したが、これらに限るものではなく、その他の表示モードをとるようにしても構わない。

このような実施形態１によれば、１回の撮影で得られた１枚の画像から、スプリット画像と平面画像との両方を生成することができ、画角の確認と合焦の確認とを所望に行うことが可能となる。これにより、本実施形態の構成は、例えばマニュアルフォーカスモードに好適である。

さらに、並列処理制御部４６が、距離演算部３９による位相差量の演算と、色画像生成部３７による平面画像の生成と、を並列して行わせるように制御しているために、ライブビューにおける表示時間の遅延を極力短縮して、リアルタイム性を高めることができる。加えて、並列処理制御部４６は、スプリット画像生成部４５によるスプリット画像の生成も並列して行わせるように制御しているために、スプリット画像の表示のリアルタイム性も高めることができる。

こうして、本実施形態の撮像装置によれば、装置を大型化させることなく、位相差情報と画質の高い平面画像とを同時に取得することが可能となる。
［実施形態２］

図４６および図４７は本発明の実施形態２を示したものであり、図４６は撮像装置における画像処理部２５およびシステムコントローラ３０の詳細な構成を示すブロック図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の画像処理部２５は、上述した色間補正部３６と、平面画像生成部である上述した色画像生成部３７と、を備えている。

また、システムコントローラ３０は、位相差ＡＦ制御部を兼ねており、上述したコントラストＡＦ制御部３８と、位相差計測部である上述した距離演算部３９と、並列処理制御部４６と、を備えている。なお、本実施形態においては、コントラストＡＦ制御部３８はＡＦアシスト制御部３８ａを備えたものとなっている。

このＡＦアシスト制御部３８ａは、上述したように、コントラストＡＦ制御部３８と距離演算部３９とを組み合わせてＡＦを行わせることにより、高い精度の合焦を短時間に行うことができるように制御するものである。

すなわち、通常のコントラストＡＦのみの場合には、フォーカス位置を移動しながらＡＦ評価値（コントラスト値）を繰り返して取得し、そのピーク位置（ＡＦ評価値が極大値をとる位置）を探索して合焦位置とするために、複数フレームの画像データを繰り返して取得するのに時間を要し、上述したように、ＡＦ速度が早いとはいえない課題がある（ただし、上述したように、合焦精度は比較的高いという利点もある）。

そこで、本実施形態では、距離演算部３９の計測結果に基づいてフォーカスレンズの粗調整を行い、短時間（極限的には１ショット）で合焦位置へ近接（極限的には合焦位置に一致）させ、その後に（必要に応じて）コントラストＡＦによるレンズ微調整を行うことにより、合焦時間の短縮と合焦精度の向上との両立を図るようにしたもの（いわゆる、ハイブリットＡＦとしたもの）である。

さらに、並列処理制御部４６は、距離演算部３９による位相差量の演算と、色画像生成部３７による平面画像の生成と、を並列して（つまり同時的に）行わせるものである。

なお、図４６に示した構成においては、コントラストＡＦ制御部３８内にＡＦアシスト制御部３８ａを設けたが、勿論このような構成に限るものではなく、ＡＦアシスト制御部３８ａがコントラストＡＦ制御部３８や距離演算部３９を含むように構成しても良いし、ＡＦアシスト制御部３８ａをコントラストＡＦ制御部３８や距離演算部３９とは独立して設けるようにしても構わない。

次に、図４７はＡＦアシスト制御部３８ａの制御に基づいて行われるＡＦ動作を示すフローチャートである。

この処理を開始すると、まず、１枚目の画像を取得する（ステップＳ７１）。

そして、取得した１枚目の画像のＲ成分とＢ成分のズレに基づいて、距離演算部３９が上述したように位相差情報を生成する（ステップＳ７２）。

システムコントローラ３０は、位相差ＡＦ制御部として機能して、距離演算部３９で計測された位相差情報と、レンズの焦点距離と、絞り値（Ｆ値）とに基づいて、レンズ駆動量を算出してレンズ制御部１４へ送信する。レンズ制御部１４は、送信されたレンズ駆動量に基づいてフォーカスレンズを合焦位置へ大まかに近接させるレンズ粗調整を行う（ステップＳ７３）。

次に、２枚目の画像を取得して（ステップＳ７４）、取得した２枚目の画像に基づき距離演算部３９が上述したように位相差情報を生成する（ステップＳ７５）。

続いて、ＡＦアシスト制御部３８ａは、生成した位相差量の絶対値が、位相差ＡＦを行うかコントラストＡＦを行うかを判定するための所定の閾値以下であるか否かを判定する（ステップＳ７６）。

ここで、所定の閾値よりも大きいと判定された場合には、引き続き位相差ＡＦを行った方が良いと判定されて、ステップＳ７３へ戻って、ステップＳ７５において生成した位相差情報に基づくレンズ粗調整を行い、ステップＳ７４において次の画像を取得し、ステップＳ７５において位相差情報を生成する処理を行う。

こうして、ステップＳ７３からステップＳ７６の処理を１回以上繰り返した後に、ステップＳ７６において所定の閾値以下であると判定された場合には、コントラストＡＦの処理へ進む。

すなわち、まず、ステップＳ７４において取得した画像と、ステップＳ７５において生成された位相差情報と、に基づいて色画像生成部３７が平面画像を生成し（ステップＳ７７）、生成された平面画像に基づきコントラストＡＦ制御部３８がコントラストＡＦのＡＦ評価値を取得する（ステップＳ７８）。

コントラストＡＦを行うためには、フォーカスレンズの位置を異ならせて取得した複数のＡＦ評価値が必要であるために、フォーカスレンズを所定量だけ駆動して、次の画像を取得する（ステップＳ７９）。

そして、取得した画像に基づいて、距離演算部３９による位相差情報の生成と、色画像生成部３７による平面画像の生成と、を並列に行う（ステップＳ８０）。

次に、ＡＦアシスト制御部３８ａは、ステップＳ８０において生成した位相差情報の絶対値が、上述したステップＳ７６において判定に用いた所定の閾値以下であるか否かを判定する（ステップＳ８１）。

ここで、所定の閾値よりも大きいと判定された場合には、再び位相差ＡＦを行った方が良いと判定されてステップＳ７３へ戻り、上述したような処理を繰り返して行う。

一方、所定の閾値以下であると判定された場合には、ステップＳ８０において生成された平面画像に基づきコントラストＡＦ制御部３８がコントラストＡＦのＡＦ評価値を取得する（ステップＳ８２）。

そして、複数のレンズ位置に対するＡＦ評価値に基づいて、コントラストＡＦ制御部３８が、現在のレンズ位置がＡＦ評価値が極大値をとる合焦位置であるか否かを判定する（ステップＳ８３）。

ここでまだ合焦位置には至っていないと判定された場合には、複数のレンズ位置に対するＡＦ評価値に基づいて（あるいはさらに、位相差ＡＦにおけるレンズの駆動方向や駆動量に基づいて）、コントラストＡＦ制御部３８がレンズ駆動量を算出し、算出されたレンズ駆動量に基づきレンズ制御部１４がレンズ微調整を行う（ステップＳ８４）。

その後、ステップＳ７９へ戻って次の画像を取得し、上述したような処理を繰り返して行う。こうして、ステップＳ８３において合焦位置になったと判定された場合には、この処理を終了する。

なお、上述したステップＳ８１の判定に代えて、またはステップＳ８１の判定に加えて、ステップＳ８２において取得した最新フレームに係るＡＦ評価値が、１フレーム過去に係るＡＦ評価値から所定％（例えば１５％）以上変化しているか否かをステップＳ８２とステップＳ８３との間において判定し、所定％以上変化していると判定された場合には、ＡＦアシスト制御部３８ａの制御に基づき、ステップＳ７３の処理へ移行して位相差ＡＦを再び行うようにしても構わない。

このような実施形態２によれば、並列処理制御部４６が、１回の撮影で得られた１枚の画像から、距離演算部３９による位相差量の演算と、色画像生成部３７による平面画像の生成と、を並列して行わせるように制御しているために、位相差ＡＦとコントラストＡＦとを組み合わせたＡＦ（すなわち、高速で高精度なＡＦ）をより短時間に行うことが可能となる。このように本実施形態の構成は、オートフォーカスモードに好適となっている。そして、外部測距センサ等を不要とすることができるために、撮像装置の小型化や低価格化を図ることができる。

こうして、本実施形態の撮像装置によれば、装置を大型化させることなく、位相差情報と画質の高い平面画像とを同時に取得することが可能となる。

なお、実施形態１の構成と実施形態２（あるいは後述する実施形態３）の構成とを両方備えて、フォーカスモードがマニュアルフォーカスモードに設定されているときには実施形態１の作用を行い、フォーカスモードがオートフォーカスモードに設定されているときには実施形態２（あるいは実施形態３）の作用を行うようにしても良い。
［実施形態３］

図４８は本発明の実施形態３を示したものであり、ＡＦアシスト制御部３８ａの制御に基づいて行われるＡＦ動作を示すフローチャートである。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態における撮像装置の構成は、図１および上述した実施形態２の図４６に示した構成と基本的に同様である。

ただし、並列処理制御部４６は、距離演算部３９による位相差量の演算と、色画像生成部３７による平面画像の生成およびコントラストＡＦ制御部３８によるＡＦ評価値の算出と、を並列して（つまり同時的に）行わせるものとなってる。

次に、図４８を参照して、本実施形態のＡＦ動作について説明する。

この処理を開始すると、まず、１枚目の画像を取得する（ステップＳ９１）。

そして、取得した１枚目の画像に基づいて上述したように位相差情報を生成する（ステップＳ９２）。

このとき、ステップＳ９２の処理と並列して、取得した１枚目の画像に基づいて、色画像生成部３７が平面画像を生成する（ステップＳ９３）。この平面画像の生成に必要な位相差情報は、並列して行われているステップＳ９２の処理から転送される。

さらに、ステップＳ９２の処理と並列して、ステップＳ９３において生成された平面画像に基づき、コントラストＡＦ制御部３８がコントラストＡＦのＡＦ評価値を取得する（ステップＳ９４）。

そして、ステップＳ９２において生成された位相差情報に基づいて、位相差ＡＦによるレンズ粗調整を行う（ステップＳ９５）。

続いて、次の画像を取得して（ステップＳ９６）、上述したステップＳ９２と同様に位相差情報を生成するとともに（ステップＳ９７）、ステップＳ９７の処理と並列して、平面画像の生成（ステップＳ９８）と、ＡＦ評価値の取得（ステップＳ９９）と、を行う。ここに、ステップＳ９８の平面画像の生成に必要な位相差情報は、上述と同様に、並列して行われているステップＳ９７の処理から転送される。

続いて、ＡＦアシスト制御部３８ａは、ステップＳ９７において生成した位相差量の絶対値が、位相差ＡＦを行うかコントラストＡＦを行うかを判定するための所定の閾値以下であるか否かを判定する（ステップＳ１００）。

ここで、所定の閾値よりも大きいと判定された場合には、上述したステップＳ７３と同様にレンズ粗調整を行う（ステップＳ１０１）。

また、ステップＳ１００において所定の閾値以下であると判定された場合には、ステップＳ９４またはステップＳ９９において取得されたＡＦ評価値に基づいて、現在のレンズ位置がＡＦ評価値が極大値をとる合焦位置であるか否かを判定する（ステップＳ１０２）。

ここでまだ合焦位置には至っていないと判定された場合には、上述したステップＳ８４と同様に、コントラストＡＦによるレンズ微調整を行う（ステップＳ１０３）。

ステップＳ１０１またはステップＳ１０３の処理を行ったら、その後はステップＳ９６へ戻って、上述したような処理を繰り返して行う。

こうして、ステップＳ１０２において合焦位置になったと判定された場合には、この処理を終了する。

なお、上述したステップＳ１００の判定に代えて、またはステップＳ１００の判定に加えて、ステップＳ９９において取得した最新フレームに係るＡＦ評価値が、１フレーム過去に係るＡＦ評価値から所定％（例えば１５％）以上変化しているか否かを、ステップＳ９７およびステップＳ９９とステップＳ１００との間、ステップＳ１００とステップＳ１０１との間、またはステップＳ１００とステップＳ１０２との間などにおいて判定し、ＡＦアシスト制御部３８ａの制御に基づき、所定％以上変化していると判定された場合にはステップＳ１０１の処理へ向かう分岐へ進み、所定％未満である場合にはステップＳ１０２の処理へ向かう分岐へ進むようにしても構わない。

また、ＡＦ評価値を求める技術や、コントラストＡＦと位相差ＡＦとを切り替える技術は、一般的な技術（例えば、特開２０１０−１３９９４２号公報や上述した特開２００１−３３０７６７号公報に記載されたような技術）を適用することが可能である。

このような実施形態３によれば、上述した実施形態２とほぼ同様の効果を奏するとともに、さらに、色画像生成部３７により生成された平面画像に基づくコントラストＡＦ制御部３８によるＡＦ評価値の算出を、距離演算部３９による位相差量の演算と並列して行うようにしたために、位相差ＡＦとコントラストＡＦの処理の切替を高速に行うことが可能となり、より一層高速なＡＦ機能を実現することが可能となる。なお、本実施形態の構成がオートフォーカスモードに好適であるのは、上述した実施形態２と同様である。
［実施形態４］

図４９は本発明の実施形態４を示したものであり、撮像装置における画像処理部２５およびシステムコントローラ３０の詳細な構成を示すブロック図である。

この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の画像処理部２５は、上述した色間補正部３６と、平面画像生成部である上述した色画像生成部３７と、上述したスプリット画像生成部４５と、上述したステレオ画像生成部４０と、を備えている。

また、システムコントローラ３０は、上述したコントラストＡＦ制御部３８と、位相差計測部である上述した距離演算部３９と、上述した並列処理制御部４６と、上述した画像表示切替部４７と、を備えている。なお、本実施形態においてはＡＦアシスト制御部３８ａは省略しているが、設けても構わない。

こうして本実施形態の構成は、上述した実施形態１の構成に、ステレオ画像生成部４０を加えたものとなっている。

さらに、本実施形態の並列処理制御部４６は、距離演算部３９による位相差量の演算と、色画像生成部３７による平面画像の生成と、スプリット画像生成部４５によるスプリット画像の生成と、を並列して（つまり同時的に）行わせるとともに、さらに、ステレオ画像生成部４０によるカラーの立体視画像の生成も並列して（同時的に）行わせるものである。なお、立体視画像の生成には位相差情報が必要であり、上述した３Ｄ実施例１ではさらに平面画像が必要となるが、画像に対して例えばラスタスキャンの順序でシーケンシャルに行われるこれらの処理が終了するのを待つことなく、立体視画像の生成を並列的に行うのは上述と同様である。

また、画像メモリ２６は、平面画像データとスプリット画像データとを同時に記憶するとともに、さらにステレオ画像生成部４０により生成され画像処理部２５において表示用のフォーマットに変換されたカラーの立体視画像データを同時に記憶する。

そして、画像表示切替部４７は、画像メモリ２６に記憶された平面画像データとスプリット画像データと立体視画像データとの内の少なくとも１つを表示部２７に表示させるように切り替えを行うものである。

ただし、上述では平面画像とスプリット画像と立体視画像との３画像を同時に生成して記憶しているが、システムコントローラ３０が、撮像装置に対して設定されている各種のモードや状態に応じて、何れか１以上の画像を選択して生成させ記憶させるようにしても良い。

このような実施形態４によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、１回の撮影で得られた１枚の画像から、スプリット画像と平面画像と立体視画像とを生成することができ、画角の確認と合焦の確認と被写体の立体視観察とを所望に行うことが可能となる。そして、立体視画像の生成も並列して行っているために、例えば立体視のライブビューのリアルタイム性を高めることも可能となる。

こうして、複数の撮影に係る画像を必要とすることなく、すなわち、複数の撮像装置による同時撮影や、１つの撮影装置による複数回の撮影などを必要とすることなく、１回の撮影で得られた１枚の画像から、平面画像とステレオ画像とを同時に生成することが可能となる。従って、専用の大型装置が不要であり、複数回撮影を行う手間等も省くことができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズユニット
２…ボディユニット
９…撮像光学系
１０…レンズ（フォーカスレンズを含む）
１１…絞り
１２…帯域制限フィルタ
１２ｂ…ＧＢフィルタ
１２ｒ…ＲＧフィルタ
１２ｇ，１２ｇ１，１２ｇ２…Ｇフィルタ
１２ｗ…Ｗフィルタ
１４…レンズ制御部
１５…レンズ側通信コネクタ
１８…色選択透過素子
１８Ｌ…第１色選択透過素子
１８Ｒ…第２色選択透過素子
２１…シャッタ
２２…撮像素子（カラーの撮像素子）
２３…撮像回路
２４…撮像駆動部
２５…画像処理部
２６…画像メモリ
２７…表示部
２７ａ…画面
２８…インターフェース（ＩＦ）
２９…記録媒体
３０，３０Ａ…システムコントローラ（位相差ＡＦ制御部）
３１…センサ部
３２，３２Ａ…操作部
３３…ストロボ制御回路
３４…ストロボ
３５…ボディ側通信コネクタ
３６…色間補正部
３７…色画像生成部（平面画像生成部）
３８…コントラストＡＦ制御部
３８ａ…ＡＦアシスト制御部
３９…距離演算部（位相差計測部）
４０…ステレオ画像生成部
４１…画像処理装置
４２…記録部
４５…スプリット画像生成部
４６…並列処理制御部
４７…画像表示切替部

Claims (8)

1. 複数の波長帯域の光をそれぞれ受光して光電変換し、第１の帯域の第１の画像と第２の帯域の第２の画像と第３の帯域の第３の画像とを生成するカラーの撮像素子と、
   被写体像を前記撮像素子に結像する撮像光学系と、
   前記撮像光学系を経て前記撮像素子に至る撮影光束の光路上に配設されていて、前記撮像光学系の瞳領域の一部である第１の領域を通過しようとする撮影光束中の前記第１の帯域の光を遮断し前記第２の帯域および前記第３の帯域の光を通過させる第１の帯域制限と、前記撮像光学系の瞳領域の他の一部である第２の領域を通過しようとする撮影光束中の第２の帯域の光を遮断し前記第１の帯域および前記第３の帯域の光を通過させる第２の帯域制限と、を行う帯域制限フィルタと、
   前記第１の画像と前記第２の画像との位相差量を演算する距離演算部と、
   前記距離演算部により演算された位相差量に基づき、前記第１の画像のボケの重心位置を前記第３の画像のボケの重心位置に近接させることにより該第３の画像に対する該第１の画像の第１の位置ズレを補正するとともに、前記第２の画像のボケの重心位置を前記第３の画像のボケの重心位置に近接させることにより該第３の画像に対する該第２の画像の第２の位置ズレを補正し、位置ズレが補正された平面画像を生成する平面画像生成部と、
   前記距離演算部による位相差量の演算と、前記平面画像生成部による平面画像の生成と、を並列して行わせるように制御する並列処理制御部と、
   を具備したことを特徴とする撮像装置。
2. 少なくとも前記第１の画像と前記第２の画像とに基づいて、非合焦位置の被写体部分にずれが生じているスプリット画像を生成するスプリット画像生成部をさらに具備し、
   前記並列処理制御部は、前記距離演算部による位相差量の演算と、前記平面画像生成部による平面画像の生成と、を並列して行わせるとともに、さらに、前記スプリット画像生成部によるスプリット画像の生成も並列して行わせるものであることを特徴とする請求項１に記載の撮像装置。
3. 画像を表示する表示部と、
   前記表示部に前記平面画像を表示させる第１の表示制御と、該表示部に前記スプリット画像を表示させる第２の表示制御と、を切り替える表示制御部と、
   をさらに具備したことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像光学系は焦点調節用のフォーカスレンズを含み、
   前記フォーカスレンズを駆動するレンズ制御部と、
   前記距離演算部により演算された位相差量に基づき前記レンズ制御部に前記フォーカスレンズを駆動させ位相差ＡＦを行う位相差ＡＦ制御部と、
   をさらに具備したことを特徴とする請求項１に記載の撮像装置。
5. 前記平面画像生成部により生成された平面画像に基づき、コントラストを示すＡＦ評価値を算出し、算出したＡＦ評価値が極大値をとるように前記レンズ制御部に前記フォーカスレンズを駆動させ、コントラストＡＦを行うコントラストＡＦ制御部をさらに具備したことを特徴とする請求項４に記載の撮像装置。
6. 前記距離演算部により演算された位相差量の絶対値が、所定の閾値よりも大きい場合には、前記位相差ＡＦ制御部に位相差ＡＦを行わせ、該所定の閾値以下である場合には、前記コントラストＡＦ制御部にコントラストＡＦを行わせるように制御するＡＦアシスト制御部をさらに具備したことを特徴とする請求項５に記載の撮像装置。
7. 前記並列処理制御部は、前記距離演算部による位相差量の演算と、前記平面画像生成部による平面画像の生成およびＡＦ評価値の算出と、を並列して行わせるものであることを特徴とする請求項６に記載の撮像装置。
8. 前記距離演算部により演算された位相差量に基づき、前記第２の画像および前記第３の画像のボケの重心位置を前記第１の画像のボケの重心位置の方向へ移動させた一の片目用カラー画像を生成するとともに、前記第１の画像および前記第３の画像のボケの重心位置を前記第２の画像のボケの重心位置の方向へ移動させた他の片目用カラー画像を生成することにより、カラーの立体視画像を生成するステレオ画像生成部をさらに具備し、
   前記並列処理制御部は、前記距離演算部による位相差量の演算と、前記平面画像生成部による平面画像の生成と、を並列して行わせるとともに、さらに、前記ステレオ画像生成部によるカラーの立体視画像の生成も並列して行わせるものであることを特徴とする請求項１に記載の撮像装置。

Images