JP6678504B2 - 撮像装置及びその制御方法、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関し、特に光学系の異なる瞳領域を通過した光束に基づく一対の像信号を用いて焦点検出及び被写体追尾を行う技術に関する。

従来より、マイクロレンズにより瞳分割された画素を有する撮像素子により得られた像信号の位相差に基づいて焦点検出を行う技術が知られている（特許文献１）。特許文献１では、瞳分割された各画素がマイクロレンズを介して結像光学系の異なる瞳領域を通過した光束を受光する。また、複数の像信号を加算することで画像信号を得ることができる。

上記のような位相差方式の焦点検出においては、焦点調節用にどのくらいの量の像信号を読み出して演算処理を行うかを決めることは検出精度や処理速度の面で非常に重要な要素となる。また、像信号を全て取り込もうとすると、画素が２分割された撮像素子では撮像画像用の２倍のデータ量となり、後段の処理回路に多大な負荷をかけることになる。

そこで、撮像素子において焦点調節用の距離情報取得領域を任意に設定可能とし、撮像素子からの画像信号の読み出し時間を短縮する撮像装置が提案されている（特許文献２）。また、焦点調節用の距離情報取得領域から得た画像信号を用いて、画像中の被写体の距離の分布（距離マップ）を生成可能な撮像装置が提案されている（特許文献３）。特許文献３の距離マップを用いることで、画像中における主被写体とそれ以外の被写体の距離情報が得られ、例えば被写体ごとにホワイトバランスを調整するといった、画像処理を施すことができる。

特開２００７−３２５１３９号公報 特開２０１２−１５５０９５号公報 特開２０１４−０７４８９１号公報

しかしながら、上記従来技術において、信号処理等に係るシステム負荷や電力消費を軽減するために距離情報取得領域を間引くように設定した場合、画素信号の読み出し量が減少し、被写体検出精度が低下してしまう可能性がある。

本発明は、上記課題に鑑みてなされ、その目的は、信号読み出し量を減少させても被写体検出精度の低下を抑えることができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、前記撮像素子の光電変換部から信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を読み出す読み出し手段と、前記読み出し手段により前記撮像素子から視差が異なる信号を読み出すラインを可変に制御する読み出し制御手段と、前記読み出し手段により前記視差が異なる信号を読み出すラインから読み出された前記視差が異なる信号を用いて被写体の深さに対応する情報である深さ情報を取得する情報取得手段と、前記画像信号と前記深さ情報と前記視差が異なる信号を読み出すラインの情報とを関連付けた画像情報を記録媒体に記録する記録手段と、を有する。

本発明によれば、信号読み出し量を減少させても被写体検出精度の低下を抑えることができる。

本実施形態の撮像装置の構成を示すブロック図。 本実施形態の撮像素子の画素配置を模式的に示す図。 撮影レンズの射出瞳から出る光束と画素との関係を模式的に示す図。 本実施形態の撮像素子の構成図。 本実施形態の撮像素子の単位画素の回路構成図（ａ）、撮像素子の各単位画素列の読み出し回路の構成図（ｂ）、および撮像素子の画素配列に対して設定される測距枠を示す図（ｃ）。 本実施形態の撮像素子の単位画素行の読み出し動作のタイミングチャート。 画像情報のデータ構成図。 位相補間前の画像情報を説明する概念図。 本実施形態の位相差補間処理を示すフローチャート。 位相補間後の位相差を説明する概念図。 実施形態２の撮像装置の構成を示すブロック図。 実施形態３の撮像装置の構成を示すブロック図。 本実施形態の背景を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［背景の説明］まず、図１３を参照して、本実施形態の背景について具体的に説明する。

図１３は、画像撮影中のＡＦ制御時に、撮像画面に任意に設定された、焦点調節及び被写体検出（距離マップデータ作成）に必要となる距離情報取得領域及びその距離マップを例示している。

図１３（ａ）は、撮像画面全体に距離情報取得領域を設定した場合の画像信号を例示している。図１３（ａ）において、１３００は主被写体、１３０１は主被写体以外の被写体、１３０２は距離情報取得領域を示している。

図１３（ｂ）は、図１３（ａ）の距離情報取得領域１３０２から得られた距離マップを例示している。１３０３は主被写体１３００の距離、１３０４は主被写体以外の被写体１３０１の距離を表している。

図１３（ｃ）は、システム負荷や消費電力を軽減するために撮像画面に離散的に間引くように設定された距離情報取得領域を例示している。図１３（ｃ）において距離情報を用いて主被写体１３００を検出するためには主被写体周辺の状況を判断する必要がある。このため画面全体が俯瞰できるように距離情報取得領域を設定する必要がある。よって、図示のように距離情報取得領域１３０７が画面全体に離散的に設定される。

図１３（ｄ）は、図１３（ｃ）の距離情報取得領域１３０７から得られた距離マップを例示している。黒塗り部１３０８は距離情報取得領域外であるため距離情報が取得できないことを表している。主被写体１３００、主被写体以外の被写体１３０１の距離１３０９、１３１０は離散的にしか得られない。この場合、距離情報取得領域外１３０８の分だけ画素からの信号読み出し量が減少してしまうため、被写体の検出精度が低下してしまう可能性がある。

そこで、本実施形態では、距離情報取得領域を離散的に間引くように設定した場合であっても、被写体検出精度の低下を抑えることができるようにしたものである。

［実施形態１］
本実施形態では、撮像装置を、位相差方式のオートフォーカス（ＡＦ）機能並びに被写体検出機能（主被写体追尾機能）を有するデジタルビデオカメラにより実現した例について説明するが、携帯電話の一種であるスマートフォンやタブレット端末などの電子機器にも適用可能である。

＜装置構成＞
以下に、図１を参照して、本実施形態の撮像装置１００の構成について説明する。

図１において、光学系１は、ズームレンズ、フォーカスレンズ、絞りを含む。光学系駆動部２は、後述するＡＦ制御部８から出力される光学系駆動情報に基づいて光学系１を制御する。撮像素子３は、ＣＭＯＳなどの光電変換素子を備え、光学系１により受光面に結像された被写体像を電気信号に変換して画像信号を出力する。

信号読み出し制御部４は、ＡＦ制御部８により制御されて、後述する測距部６からの被写体の距離情報に基づいて撮像素子３を駆動し画像信号の読み出しを制御する。また、信号読み出し制御部４は、撮像素子３から画像信号を読み出す際の被写体の距離情報の取得領域に関する情報（以下、領域情報）を記録部１０に出力する。なお、本実施形態の撮像素子３は、光学系１の異なる瞳領域を通過した光束をそれぞれ受光し、瞳分割された画像信号を出力する複数の画素部を有する。そして、信号読み出し制御部４からの駆動パルスによって瞳分割された各画素から視差が異なる画像信号（Ａ像信号、Ｂ像信号）を個別に読み出すことができる。撮像素子３の回路構成は、図２から図６を用いて後述する。

測距部６は、撮像素子３からの画像信号（Ａ像信号、Ｂ像信号）に基づき、ＡＦ制御及び被写体検出に用いられる距離情報（深さ情報、距離マップデータ）を算出し、信号読み出し制御部４、ＡＦ制御部８、記録部１０に出力する。

ＡＦ制御部８は、システム制御部１３により制御されて、位相差方式のＡＦ制御を行う。ＡＦ制御部８は、測距部６からの距離情報を取得し、光学系駆動部２に制御信号を出力する。

信号処理部９は、撮像素子３からの像信号を加算した画像信号を生成し、所定の信号処理を施して表示用あるいは記録用の画像信号を出力する。また、信号処理部９は、生成された画像信号に対して、色変換、ホワイトバランス補正、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行い、記録部１０や表示部１１に表示用あるいは記録用の画像信号を出力する。

記録部１０は信号処理部９により生成された画像信号を記録したり、既に記録された画像が読み出されるメモリーカードやハードディスクなどである。また、記録部１０は、信号処理部９により処理された画像信号と、信号読み出し制御部４からの領域情報と、測距部６からの距離情報を関連付けた画像情報を記録する。

距離情報補間部１４は、記録部１０に記録されている画像情報に基づいて、距離情報取得領域以外の間引き設定された領域の距離情報を補間する。なお、距離情報補間部１４の具体的な処理については後述する。

表示部１１は信号処理部９により生成された画像や各種メニュー画面などを表示する液晶パネル（ＬＣＤ）などである。操作部１２は、ユーザ操作を受け付ける各種スイッチ（ＡＦオン／オフ、ズームなど）であり、ユーザからの指示をシステム制御部１３に送出する。

システム制御部１３は、撮像装置１００の各種機能を統括して制御するための、ＣＰＵ、ＲＡＭ、ＲＯＭや、専用の回路などを含む。ＣＰＵは、不揮発性メモリであるＲＯＭに格納されたプログラムをワークメモリとしてのＲＡＭに展開し実行することで、後述する制御シーケンスを実行する。

＜撮像素子の構成＞
図２は撮像素子３の画素配置を示す模式図である。単位画素２００が行列状に配列されており、各単位画素２００に対してＲ（Ｒｅｄ）／Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー状に配置されている。また、各単位画素２００内にはそれぞれ副画素ａ、副画素ｂが配置されており、フォトダイオード（以下、ＰＤ）２０１ａ、２０１ｂがそれぞれの副画素ａ、ｂに配置されている。副画素ａ、ｂから出力される各々の撮像信号は焦点検出に利用され、副画素ａ、副画素ｂから出力される撮像信号を加算した信号であるａ／ｂ合成信号は画像生成用に利用される。

図３は、光学系１の異なる射出瞳から出る光束と単位画素２００との関係を示しており、図２と同様の部分については、同じ符号を付している。

図３に示すように、カラーフィルタ３０１とマイクロレンズ３０２とが、各々の単位画素２００上に形成されている。レンズの射出瞳３０３を通過した光は、光軸３０４を中心として単位画素２００に入射する。射出瞳３０３の一部の領域である瞳領域３０５を通過する光束は、マイクロレンズ３０２を通って、副画素ａで受光される。一方、射出瞳３０３の他の一部の領域である瞳領域３０６を通過する光束は、マイクロレンズ３０２を通って、副画素ｂで受光される。したがって、副画素ａと副画素ｂは、それぞれ、光学系１の射出瞳３０３の別々の瞳領域３０５、３０６の光を受光している。このため、副画素ａの出力信号（Ａ像信号）と副画素ｂの出力信号（Ｂ像信号）を比較することで（撮像面）位相差方式の焦点検出が可能となる。

図４は、撮像素子３の回路構成を示している。画素領域ＰＡには、単位画素２００がｐ１１〜ｐｋｎのように行列状（ｎ行×ｋ列）に配置されている。ここで、単位画素２００の構成を、図５（ａ）を用いて説明する。図５（ａ）は、撮像素子の単位画素の回路構成を示す図である。

図５（ａ）において、前述した副画素ａ、ｂのＰＤ（光電変換部）５０１ａ、５０１ｂに入射した光信号が、ＰＤ５０１ａ、５０１ｂによって光電変換され、露光量に応じた電荷がＰＤ５０１ａ、５０１ｂに蓄積される。転送ゲート５０２ａ、５０２ｂのゲートに印加する信号ｔｘａ、ｔｘｂをそれぞれＨｉｇｈレベルにすることで、ＰＤ５０１ａ、５０１ｂに蓄積されている電荷がＦＤ（フローティングディフュージョン）部５０３に転送される（電荷転送）。ＦＤ部５０３は、フローティングディフュージョンアンプ５０４（以下ＦＤアンプと表す）のゲートに接続されており、ＰＤ５０１ａ、５０１ｂから転送されてきた電荷量がＦＤアンプ５０４によって電圧量に変換される。

ＦＤ部５０３をリセットするためのＦＤリセットスイッチ５０５のゲートに印加する信号ｒｅｓをＨｉｇｈレベルとすることにより、ＦＤ部５０３がリセットされる。また、ＰＤ５０１ａ、５０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ、ｔｘｂとを同時にＨｉｇｈレベルとする。これにより、転送ゲート５０２ａ、５０２ｂ及びＦＤリセットスイッチ５０５の両方がＯＮ状態となり、ＦＤ部５０３経由でＰＤ５０１ａ、５０１ｂがリセットされる。画素選択スイッチ５０６のゲートに印加する信号ｓｅｌをＨｉｇｈレベルとすることにより、ＦＤアンプ５０４によって電圧に変換された画素信号が単位画素２００の出力ｖｏｕｔに出力される。

図４に示すように、垂直走査回路４０１は、前述の単位画素２００の各スイッチを制御するｒｅｓ、ｔｘａ、ｔｘｂ、ｓｅｌといった駆動信号を各単位画素２００に供給する。これらの駆動信号ｒｅｓ、ｔｘａ、ｔｘｂ、ｓｅｌは、行毎において共通となっている。各単位画素２００の出力ｖｏｕｔは、列毎に垂直出力線４０２を介して列共通読出し回路４０３に接続されている。

ここで、列共通読出し回路４０３の構成を、図５（ｂ）を用いて説明する。

垂直出力線４０２は、単位画素２００の列毎に設けられ、１列分の単位画素２００の出力ｖｏｕｔが接続されている。垂直出力線４０２には電流源４０４が接続されており、電流源４０４と、垂直出力線４０２に接続された単位画素２００のＦＤアンプ５０４とによってソースフォロワ回路が構成される。

図５（ｂ）において、クランプ容量６０１はＣ１の容量を有しており、フィードバック容量６０２はＣ２の容量を有しており、演算増幅器６０３は、基準電源Ｖｒｅｆに接続された非反転入力端子を有している。スイッチ６０４はフィードバック容量６０２の両端をショートさせるためのものであり、スイッチ６０４は信号ｃｆｓによって制御される。

転送スイッチ６０５〜６０８は、それぞれ単位画素２００から読み出される信号を各信号保持容量６０９〜６１２に転送するためのものである。後述する読み出し動作によって、第１のＳ信号保持容量６０９には、副画素ａから出力される画素信号Ｓａが記憶される。また、第２のＳ信号保持容量６１１には、副画素ａから出力される信号と副画素ｂから出力される信号とを合成（加算）した信号であるａ／ｂ合成信号Ｓａｂが記憶される。また、第１のＮ信号保持容量６１０及び第２のＮ信号保持容量６１２には、単位画素２００のノイズ信号Ｎがそれぞれ記憶される。各信号保持容量６０９〜６１２は、それぞれ列共通読出し回路４０３の出力ｖｓａ、ｖｎａ、ｖｓｂ、ｖｎｂに接続されている。

列共通読出し回路４０３の出力ｖｓａ、ｖｎａには、それぞれ水平転送スイッチ４０５、４０６が接続されている。水平転送スイッチ４０５、４０６は、水平走査回路４１１の出力信号ｈａ＊（＊は列番号）によって制御される。

また、列共通読出し回路４０３の出力ｖｓｂ、ｖｎｂには、それぞれ水平転送スイッチ４０７、４０８が接続されている。水平転送スイッチ４０７、４０８は、水平走査回路４１１の出力信号ｈｂ＊（＊は列番号）によって制御される。水平出力線４０９、４１０は差動増幅器４１４の入力に接続されており、差動増幅器４１４ではＳ信号とＮ信号の差分をとると同時に所定のゲインをかけ、最終的な出力信号を出力端子４１５へ出力する。

水平出力線リセットスイッチ４１２、４１３のゲートに印加する信号ｃｈｒｅｓをＨｉｇｈにすると、水平出力線リセットスイッチ４１２、４１３がＯＮとなり、各水平出力線４０９、４１０がリセット電圧Ｖｃｈｒｅｓにリセットされる。

以下、Ａ像信号及びＢ像信号の読み出し動作と、Ａ像信号とＢ像信号の合成信号であるＡ＋Ｂ像信号の読み出し動作について説明する。

図５（ｃ）は、撮像素子３の画素領域ＰＡに設定される焦点調節用の距離情報取得領域と被写体検出用の距離情報取得領域との関係を示している。測距枠６２０は、ＡＦ制御部８からの領域情報によって測距部６により設定される。

ｋ列×ｎ行の画素で構成される画素領域ＰＡにおいて、点線で示す領域が測距枠６２０である。斜線部で示す距離情報取得領域Ｒ１に含まれる単位画素の行（画素ライン）からは、Ａ像信号及びＡ＋Ｂ像信号が読み出され、画像の生成、焦点検出及び被写体検出に使用される。距離情報取得領域Ｒ１以外の領域Ｒ２に含まれる単位画素の行（画素ライン）からは、Ａ像信号とＢ像信号の加算信号のみが読み出され、画像生成のみに使用される。

なお、図５（ｃ）に示すように、画素領域の垂直方向に複数の領域Ｒ１を設定した場合、各領域Ｒ１における単位画素２００の行の数を互いに異ならせて設定してもよい。

次に、撮像素子３の読み出し動作について図６（ａ）を用いて説明する。図６（ａ）は、前述の領域Ｒ２の各行に対して行われる読み出し動作のタイミングチャートである。

まず、信号ｃｆｓをＨｉｇｈレベルにしてスイッチ６０４をＯＮすることにより、演算増幅器６０３をバッファ状態にする。次に、信号ｓｅｌをＨｉｇｈレベルにして単位画素の画素選択スイッチ５０６をＯＮにする。その後、信号ｒｅｓをＬｏｗレベルにしてＦＤリセットスイッチ５０５をＯＦＦにし、ＦＤ部５０３のリセットを開放する。

続いて信号ｃｆｓをＬｏｗレベルに戻してスイッチ６０４をＯＦＦにした後、信号ｔｎａ、ｔｎｂをＨｉｇｈレベルにして、転送スイッチ６０６、６０８を介して第１のＮ信号保持容量６１０及び第２のＮ信号保持容量６１２にノイズ信号Ｎを記憶する。

次いで、信号ｔｎａ、ｔｎｂをＬｏｗにし、転送スイッチ６０６、６０８をＯＦＦにする。その後、信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ６０７をＯＮにすると共に、信号ｔｘａ及びｔｘｂをＨｉｇｈレベルにすることで転送ゲート５０２ａと５０２ｂをＯＮにする。この動作により、副画素ａのＰＤ５０１ａに蓄積されていた電荷信号及び副画素ｂのＰＤ５０１ｂに蓄積された電荷信号を合成した信号が、ＦＤアンプ５０４、画素選択スイッチ５０６を介して垂直出力線４０２へ出力される。垂直出力線４０２の信号は、クランプ容量６０１の容量Ｃ１とフィードバック容量６０２の容量Ｃ２との容量比に応じたゲインで演算増幅器６０３により増幅され、転送スイッチ６０７を介して第２のＳ信号保持容量６１１へ記憶される（ａ／ｂ合成信号Ｓａｂ）。転送ゲート５０２ａ及び５０２ｂと、転送スイッチ６０７とを順次ＯＦＦにした後、信号ｒｅｓをＨｉｇｈレベルにしてＦＤリセットスイッチ５０５をＯＮにし、ＦＤ部５０３をリセットする。

次に、水平走査回路４１１の出力ｈｂ１がＨｉｇｈレベルになることにより、水平転送スイッチ４０７、４０８がＯＮされる。これにより、第２のＳ信号保持容量７１１、第２のＮ信号保持容量７１２の信号が水平出力線４０９、４１０と差動増幅器４１４を介して出力端子４１５に出力される。水平走査回路４１１は、各列の選択信号ｈｂ１、ｈｂ２、・・・、ｈｂｋを順次Ｈｉｇｈにすることにより、１行分のａ／ｂ合成信号（Ａ＋Ｂ像信号）を出力する。尚、信号ｈｂ１〜ｈｂｋによって各列の信号が読み出される間には、信号ｃｈｒｅｓをＨｉｇｈレベルにすることで水平出力線リセットスイッチ４１２、４１３をＯＮし、一旦、水平出力線４０９、４１０をリセット電圧Ｖｃｈｒｅｓのレベルにリセットする。

以上が、領域Ｒ２における単位画素の各行の読み出し動作である。これにより、Ａ＋Ｂ像信号が読み出されることになる。

続いて、領域Ｒ１の各行の読み出し動作について図６（ｂ）、図６（ｃ）を用いて説明する。図６（ｂ）は、Ａ像信号が読み出されるまでの動作のタイミングチャートである。信号ｃｆｓをＨｉｇｈレベルにすることから始まり、信号ｔｎａ、ｔｎｂをＬｏｗにして第１のＮ信号保持容量６１０及び第２のＮ信号保持容量６１２にＮ信号を記憶するまでの動作は、図６（ａ）で説明した動作と同様である。

ノイズ信号Ｎの記憶が終了すると、信号ｔｓａをＨｉｇｈレベルにして転送スイッチ６０５をＯＮにすると共に、信号ｔｘａをＨｉｇｈレベルにすることで転送ゲート５０２ａをＯＮする。このような動作によって、副画素ａのＰＤ５０１ａに蓄積されていた信号が、ＦＤアンプ５０４及び画素選択スイッチ５０６を介して垂直出力線４０２へ出力される。垂直出力線４０２の信号は、演算増幅器６０３において、クランプ容量６０１の容量Ｃ１とフィードバック容量６０２の容量Ｃ２との容量比に応じたゲインで増幅され、転送スイッチ６０５を介して第１のＳ信号保持容量６０９に記憶される（画素信号Ｓａ）。

次に、水平走査回路４１１の出力ｈａ１がＨｉｇｈレベルになることにより、水平転送スイッチ４０５、４０６がＯＮされる。これにより、第１のＳ信号保持容量６０９、第１のＮ信号保持容量６１０の信号が水平出力線４０９、４１０と差動増幅器４１４とを介して出力端子４１５に出力される。水平走査回路４１１は、各列の選択信号ｈａ１、ｈａ２、・・・、ｈａｋを順次Ｈｉｇｈにすることにより、１行分の副画素ａの信号（Ａ像信号）を出力する。

信号ｒｅｓはＬｏｗレベルのままで、信号ｓｅｌはＨｉｇｈレベルのままで、Ａ像信号の読み出しを終了する。これにより、ＦＤ部５０３上のＡ像信号はリセットされず保持されることになる。

Ａ像信号の読み出しが終了すると、続けて図６（ｃ）に示すＡ＋Ｂ像信号の読み出し動作へと移る。信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ６０７をＯＮすると共に、信号ｔｘａ及びｔｘｂをＨｉｇｈレベルにすることで転送ゲート５０２ａと５０２ｂとをＯＮにする。このような動作により、副画素ｂのＰＤ５０２ｂに蓄積されていた信号がＦＤ部５０３に保持されていた副画素ａの信号と加算され、加算された信号がＦＤアンプ５０４、画素選択スイッチ５０６を介して垂直出力線４０２へ出力される。これ以降の部分は、図６（ａ）を用いて説明した領域Ｒ２の動作と同じである。

以上により、領域Ｒ１における各行の読み出し動作が終了する。これにより、領域Ｒ１では、Ａ像信号の読み出しとＡ＋Ｂ像信号の読み出しが行われ、Ａ像信号とＡ＋Ｂ像信号が順次読み出されることになる。

＜撮影動作＞
次に、上述した構成を有する撮像装置１００による画像撮影時の動作について説明する。

まず、光学系１は、光学系駆動部２からの駆動信号により、絞りとレンズを駆動して、適正な明るさに設定された被写体像を撮像素子３の受光面に結像させる。撮像素子３は、信号読み出し制御部４からの駆動パルスにより駆動され、被写体像を光電変換により電気信号に変換して画像信号として出力する。

信号読み出し制御部４は、測距部６からの距離情報５に応じた駆動パルスにより、上述した読み出し動作によって領域Ｒ１からＡ像信号の読み出しとＡ＋Ｂ像信号の読み出しを行い、領域Ｒ２からＡ＋Ｂ像信号の読み出しを行う。このようにＡ像信号を一部の領域で読み出すことで処理負荷を軽減している。さらに、ＡＦ制御部８は、Ａ像信号を読み出した領域Ｒ１では、Ａ＋Ｂ像信号からＡ像信号を差し引くことでＢ像信号を取得し、Ａ像信号とＢ像信号を用いてＡＦ制御を行う。なお、領域Ｒ１からＡ像信号とＢ像信号を個別に読み出すと共に、領域Ｒ１以外の領域Ｒ２からＡ＋Ｂ像信号を読み出すことでＡＦ制御を行ってもよい。

測距部６は、信号読み出し制御部４により制御されるＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域から読み出したＡ像信号、およびＡ＋Ｂ像信号からＡ像信号を減算して得られるＢ像信号を用いて被写体の距離情報（深さ情報）を算出する。なお、本実施形態では、距離情報は（撮像面）位相差方式のＡＦを行うための位相差情報（デフォーカス量）である。

ここで、位相差ＡＦの概要について説明する。測距部６は、Ａ像信号から得られる第１焦点検出信号（Ａ像信号）と、Ｂ像信号から得られる第２焦点検出信号を相対的に瞳分割方向にシフトさせ、信号の一致度を表す相関量を算出する。ｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、距離情報取得領域Ｒ１に対応する番号ｋの範囲をＷとし、シフト処理によるシフト量をｓ、シフト量ｓのシフト範囲をτとして、相関量ＣＯＲは、下記式により算出される。

シフト量ｓのシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ番目の第２焦点検出信号Ｂ（ｋ−ｓ）を対応させ減算し、シフト減算信号を生成し、距離情報取得領域に対応する範囲Ｗ内で番号ｋの和をとり、相関量ＣＯＲ（ｓ）を算出する。そして、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐとする。像ずれ量ｐに、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた第１の変換係数Ｋをかけて、デフォーカス量を検出する。

なお、本実施形態では、測距部６が、異なる視差のＡ像信号とＢ像信号から距離情報（位相差情報）を算出する例を示すが、被写体検出用の情報としては、例えば、「距離」に換算されない「深さに対応する情報」としてもよい。「深さに対応する情報」は、例えば、「距離」に換算されるまでの過程で生成されるＡ像信号とＢ像信号の「視差量（像ずれ量）」の情報、「デフォーカス量」の情報、「被写体距離」の情報のうちのいずれの形態であってもよい。そして、本実施形態では、「深さに対応する情報」のうちの「被写体距離」を、被写体検出用として画面全体に分散させて取得する。なお、被写体検出用の「深さに対応する情報」は画像に関連付けて記録してもよい。

本発明は、画像における被写体の深さに対応する情報としてさまざまな実施形態での適用が可能である。つまり、被写体の深さに対応するデータが示す情報（深さ情報）は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の被写体距離や深さの相対関係を表す情報であればよい。

具体的には、撮像素子３は、光学系１の異なる瞳領域を通過する一対の光束が光学像としてそれぞれ結像したものを、対をなす画像信号として複数の光電変換部から出力することができる。対をなす画像信号間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を光学系１や撮像素子３の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。

このように、本実施形態では、測距部６は、像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得すればよい。なお、各マップデータの各データはブロック単位で持っていてもよいし、画素単位で持っていてもよい。この場合、通常の画像データのように最小単位ごとに８ビット程度ビット数を割り当て、距離画像として画像処理や表示、記録などを画像処理と同様に行ってもよい。

ＡＦ制御部８は、位相差方式でＡＦを行う。ＡＦ制御部８は、測距部６からの（相関量が最小となる像ずれ量やデフォーカス量に対応する）距離情報に基づき合焦位置を検出し、被写体を合焦状態にするための光学系駆動情報を光学系駆動部２へ出力する。

信号処理部９は、撮像素子３からの画像信号を輝度信号と色差信号に変換した画像データを生成して記録部１０や表示部１１に出力する。記録部１０及び表示部１１は、信号処理部９により生成された画像データの記録・表示を行う。

記録部１０は、信号処理部９からの輝度信号及び色差信号と、測距部６からの距離情報、信号読み出し制御部４からの領域情報を関連付けて画像情報として記録する。

次に、図７を参照して、本実施形態の記録部１０に記録される画像情報及び距離情報（位相差情報）のデータ構成を説明する。

図７において、９００は画像情報の一例である。画像情報９００は、ヘッダ部７００とデータ部８００で構成される。ヘッダ部７００は、輝度・色差信号の先頭アドレス７１０と、輝度・色差信号のデータサイズ７１１、距離情報の先頭アドレス７２０と、位相差のデータサイズ７２１、距離情報取得領域の先頭アドレス７３０と、距離情報のデータサイズ７３１が記録される。データ部８００は、輝度・色差信号のデータ８１１、距離情報のデータ８２１、距離情報取得領域のデータ８３１が記録される。

このように、画像情報９００のヘッダ部７００の各先頭アドレスとデータサイズを読み出すことで、関連付けられた輝度・色差信号と距離情報と距離取得領域のデータを読み出すことができる。なお、画像情報９００は、輝度・色差信号と、距離情報、距離情報取得領域を関連付けて書き込み、読み出しできる構造であればよく、この構成に限定されるものではない。

＜距離情報補間処理＞
次に、図８〜図１０を参照して、本実施形態の距離情報補間部１４による位相差補間処理について詳細に説明する。

図８は、本実施形態の記録部１０に記録される距離情報（以下、位相差）を補間する前の画像情報（水平５画素、垂直５画素）の概念図である。図８（ａ）は輝度信号ｙ１〜ｙ２５である。図８（ｂ）は色差信号ｕ１、ｖ２〜ｖ２４、ｕ２５である。図８（ｃ）は撮像画面に対して離散的に間引き設定された位相差取得領域Ｌ１、Ｌ３、Ｌ５であり、１行目、３行目、５行目の画素は、瞳分割された画像信号である。なお、本実施形態では、位相差取得領域を行（水平）方向として説明しているが、列（垂直）方向としてもよい。図８（ｄ）は位相差取得領域Ｌ１、Ｌ３、Ｌ５から得られる位相差情報ｄ１〜ｄ５、ｄ１１〜ｄ１５、ｄ２１〜ｄ２５である。なお、ｙ１とｕ１とｄ１、また、ｙ２とｖ２とｄ２、…は、同一位置の信号を示す。

図９は、本実施形態の位相差補間処理を示すフローチャートである。

Ｓ９００では、距離情報補間部１４は、記録部１０から位相差取得領域Ｌと位相差情報ｄを取得する。

Ｓ９０１では、距離情報補間部１４は、位相差取得領域Ｌにおける垂直方向の評価値Ｖ６〜Ｖ１０、Ｖ１６〜Ｖ２０を取得する。垂直方向の評価値は、例えば、Ｖ７の場合、Ｖ７＝｜ｄ２−ｄ１２｜のように上下方向の領域間の位相差の絶対値の差分として求める。

Ｓ９０２では、距離情報補間部１４は、斜め方向１の評価値Ｐ６〜Ｐ１０、Ｐ１６〜Ｐ２０を取得する。斜め方向１の評価値は、例えば、Ｐ７の場合、Ｐ７＝｜ｄ１−ｄ１３｜のように左上と右下の領域間の位相差の絶対値の差分として求める。また、Ｐ６のように必要な位相差が取得できない場合、斜め方向１の評価値Ｐ６＝∞とする。

Ｓ９０３では、距離情報補間部１４は、斜め方向２の評価値Ｔ６〜Ｔ１０、Ｔ１６〜Ｔ２０を取得する。斜め方向２の評価値は、例えば、Ｔ７の場合、Ｔ７＝｜ｄ３−ｄ１１｜のように右上と左下の位相差の絶対値の差分として求める。また、Ｔ６のように必要な位相差が取得できない場合、斜め方向２の評価値Ｔ６＝∞とする。

Ｓ９０４では、距離情報補間部１４は、同一位置における３種類の評価値（垂直方向、斜め方向１、斜め方向２）から、値の小さい２種類の評価値を選択する。

Ｓ９０５では、距離情報補間部１４は、Ｓ９０４で選択された２種類の評価値に基づき、割合α６〜α１０、α１６〜α２０を求める。割合は、例えば、Ｓ９０４により垂直方向の評価値Ｖ７と、斜め方向１の評価値Ｐ７が選択された場合、割合α７は以下の式１を用いて求める。

α７＝（Ｖ７−Ｐ７）／（２×Ｔｈ）＋０．５・・・（１）
この割合α７は、負の場合に垂直方向の割合が強く、正の場合に斜め方向１の割合が強いことを示す。また、Ｔｈはα７が０≦α≦１である（垂直方向と斜め方向１の割合が近似している）と判定する閾値を示し、予め不図示のメモリに設定されている。

Ｓ９０６では、距離情報補間部１４は、割合α６〜α１０、α１６〜α２０に応じて以下の３通りの方法のいずれかを用いて補間した位相差Ｈｄ６〜Ｈｄ１０、Ｈｄ１６〜Ｈｄ２０を求める。ここで、３通りの補間方法について割合α７の例を説明する。
１．（０≦α７≦１）の場合
垂直方向と斜め方向１の割合が近似しているため、以下の式２を用いて、割合α７に応じて垂直方向と斜め方向１を適応的に切り替える。つまり、重みをつけて位相差Ｈｄ７を取得する。

Ｈｄ７＝（α７（ｄ１＋ｄ１３）＋（１−α７）（ｄ２＋ｄ１２））／２・・・（２）
２．（α７＜０）の場合
垂直方向の割合が強いため、以下の式３を用いて垂直方向から位相差Ｈｄ７を取得する。

Ｈｄ７＝（ｄ２＋ｄ１２）／２・・・（３）
３．（α７＞１）の場合
斜め方向１の割合が強いため、以下の式４を用いて水平方向からの位相差Ｈｄ７を取得する。

Ｈｄ７＝（ｄ１＋ｄ１３）／２・・・（４）
Ｓ９０７では、距離情報補間部１４は、Ｓ９０６で得られた位相差Ｈｄ６〜Ｈｄ１０、Ｈｄ１６〜Ｈｄ２０を用いて記録部１０の画像情報を更新し、処理を終了する。ここでは、距離情報補間部１４は、Ｓ９０６で得られた位相差Ｈｄ６〜Ｈｄ１０、Ｈｄ１６〜Ｈｄ２０を位相差取得領域Ｌ１、Ｌ３、Ｌ５以外の領域Ｌ２、Ｌ４の位置情報と関連付けて記録部１０に記録する。

図１０は、記録部１０に記録されている画像情報を更新した後（位相差補間後）の位相差情報を例示している。図１０は図８（ｄ）の補間前の離散的な位相差情報ｄ１〜ｄ５、ｄ１１〜ｄ１５、ｄ２１〜ｄ２５に、位相差取得領域Ｌ１、Ｌ３、Ｌ５以外の領域Ｌ２、Ｌ４の位相差Ｈｄ６〜Ｈｄ１０、Ｈｄ１６〜Ｈｄ２０が補間され、追加されていることを示している。

以上のように、本実施形態によれば、記録部１０に関連付けて記録されている位相差取得領域と位相差情報とを用いて位相差取得領域外の位相差情報が得られない領域の位相差を補間することができる。

なお、本実施形態では位相差取得領域を１行おきに設定していたが、複数画行ごとに設定した場合も同様に、公知の線形補間、適応補間を用いて補間することができる。また、本実施形態では、位相差取得領域を１行おきに設定していたが、全行に設定してもよく、そうすることで、補間することなく、全ての画素について位相差を取得することができる。

さらに、ＡＦ制御部８の光学系駆動情報に応じて位相差取得領域を選択してもよい。特に、駆動量が微小（主被写体と合焦）の場合は全行設定して位相差情報を取得し、その他の場合は任意の位相差取得領域を設定することで、動的に切り替えることができる。

また、本実施形態では、位相差取得領域と位相差情報とに基づいて位相差取得領域外の位相差情報が得られない領域の距離情報を補間する場合について説明したが、位相差情報が得られない領域の距離情報を取得できればよく、本実施形態に限定されるものではない。例えば、特開２０１４−１５０５２１号公報に記載されたように、位相差取得領域と位相差情報と輝度・色差信号を用いることで距離情報の解像度を高めることができる。

［実施形態２］次に、実施形態２について説明する。

図１１は、実施形態２の撮像装置１００の構成を示している。なお、実施形態２において、実施形態１と同様の要素には同一の符号付して説明を省略する。

実施形態２の撮像装置は、距離情報補間部１４に代えて通信部１５を有している。通信部１５は、有線通信または無線通信により、外部装置との間で記録部１０に記録されている画像信号と画像情報を送受信することができる。まず、通信部１５は補間前の位相差を含む画像情報を外部装置に送信する。補間前の位相差を含む画像情報を受信した外部装置は、前述した位相差補間処理を行い、補間後の位相差を含む画像情報を撮像装置１００に送信する。撮像装置１００は、通信部１５を介して画像情報を受信すると、補間後の位相差を含む画像情報を記録部１０に記録する。

このように撮像装置１００を外部装置と通信可能に構成することで、外部装置に位相差補間処理を実行させることができるため、距離情報補間部１４が不要となり、撮像装置１００の記憶容量の消費を軽減することができる。

［実施形態３］次に、実施形態３について説明する。

図１２は、実施形態３の撮像装置１００の構成を示している。なお、実施形態３において、実施形態１と同様の要素には同一の符号付して説明を省略する。

実施形態３の撮像装置は、距離情報補間部１４が、信号処理部９で処理された画像信号と、信号読み出し制御部４からの位相差取得領域と、測距部６からの位相差情報とを取得し、これらの情報に基づいて位相差取得領域外の位相差情報が得られない領域の距離情報を補間する。距離情報補間部１４は、補間後の位相差を記録部１０に出力し、記録部１０は信号処理部９で処理された画像信号と、信号読み出し制御部４からの位相差取得領域と、距離情報補間部１４により得られた位相差情報とを関連付けて画像情報として記録する。

このように構成することで、位相差補間処理のための画像情報の読み出し、書き込みが不要となり、処理時間を短縮することができる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…光学系、２…光学系駆動部、３…撮像素子、４…信号読み出し制御部、６…測距部、８…ＡＦ制御部、９…信号処理部、１０…記録部、１１…表示部、１２…操作部、１３…システム制御部、１４…距離情報補間部、１５…通信部

Claims (12)

1. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
   前記撮像素子の光電変換部から信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を読み出す読み出し手段と、
   前記読み出し手段により前記撮像素子から視差が異なる信号を読み出すラインを可変に制御する読み出し制御手段と、
   前記読み出し手段により前記視差が異なる信号を読み出すラインから読み出された前記視差が異なる信号を用いて被写体の深さに対応する情報である深さ情報を取得する情報取得手段と、
   前記画像信号と前記深さ情報と前記視差が異なる信号を読み出すラインの情報とを関連付けた画像情報を記録媒体に記録する記録手段と、を有することを特徴とする撮像装置。
2. 前記記録媒体に記録されている深さ情報を補間することにより、前記視差が異なる信号を読み出すライン外であって前記視差が異なる信号が得られない領域の同じ位置における深さ情報を求める補間手段をさらに有することを特徴とする請求項１に記載の撮像装置。
3. 前記補間手段は、線形補間により前記深さ情報を補間することを特徴とする請求項２に記載の撮像装置。
4. 前記補間手段は、前記視差が異なる信号を読み出すラインにおける深さ情報の垂直方向の画素の差分、斜め方向の画素の差分を求め、その差分に基づいて適応的に前記深さ情報を補間することを特徴とする請求項３に記載の撮像装置。
5. 前記補間手段は、前記視差が異なる信号の解像度を高くすることで前記深さ情報を補間することを特徴とする請求項２ないし４のいずれか１項に記載の撮像装置。
6. 前記情報取得手段により取得された深さ情報に基づいて被写体の合焦状態を判定し、当該被写体を合焦状態にするように焦点調節を行う焦点調節手段をさらに有し、
   前記読み出し制御手段は、前記焦点調節手段により光学系を駆動するための駆動情報に基づいて前記視差が異なる信号を読み出すラインを制御することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 前記読み出し制御手段は、前記駆動情報が微小の場合には画面全体を前記視差が異なる信号を読み出すラインに設定することを特徴とする請求項６に記載の撮像装置。
8. 外部装置と通信する通信手段をさらに有し、
   前記通信手段は、前記記録媒体に記録されている画像情報を前記外部装置に送信し、前記外部装置により求められた画像情報を受信することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
9. 前記補間手段は、前記読み出し手段により読み出された視差が異なる信号と、前記読み出し制御手段により得られる前記視差が異なる信号を読み出すラインの情報と、前記情報取得手段により得られた深さ情報とに基づいて、前記視差が異なる信号を読み出すライン外であって前記視差が異なる信号が得られない領域における深さ情報を求め、
   前記記録手段により、前記画像信号と前記補間手段により得られた深さ情報とが前記視差が異なる信号と前記視差が異なる信号を読み出すライン外の位置情報とに関連付けられて前記記録媒体に記録されることを特徴とする請求項２ないし５のいずれか１項に記載の撮像装置。
10. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
    前記撮像素子の光電変換部から信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を読み出す読み出し手段と、
    前記読み出し手段により前記撮像素子から視差が異なる信号を読み出すラインを可変に制御する読み出し制御手段と、を有する撮像装置の制御方法であって、
    前記読み出し手段により前記視差が異なる信号を読み出すラインから読み出された前記視差が異なる信号を用いて被写体の深さに対応する情報である深さ情報を取得するステップと、
    前記画像信号と前記深さ情報と前記視差が異なる信号を読み出すラインの情報とを関連付けた画像情報を記録媒体に記録するステップと、を有することを特徴とする撮像装置の制御方法。
11. 請求項１０に記載された制御方法を、撮像装置のコンピュータに実行させるためのプログラム。
12. 請求項１０に記載された制御方法を、撮像装置のコンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。

Images