JP6723735B2 - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、撮像画像と位相差情報とを取得可能な撮像素子を備えた撮像装置において、撮像画像から検出した被写体に対する位相差情報を取得する技術に関する。

上記のような撮像装置として、特許文献１には、撮像画像を生成するための出力を読み出せる撮像用画素とフォーカス動作に用いる位相差情報を得るための出力を読み出せる位相差検出用画素とをそれぞれ複数有する撮像素子を備えた撮像装置が開示されている。このような撮像装置においては、フォーカス動作の高速化および合焦精度の向上のために、撮像用画素と位相差検出用画素とから同時に出力を読み出すことが望ましい。

ただし、高解像度化や高フレームレート化に対応するために高画素化した撮像素子において撮像用画素と位相差検出用画素からの同時読み出しを可能とすると、撮像素子に設ける信号読み出し用の端子数が膨大となる。この結果、端子を含めた撮像素子の大型化が問題となる。また、出力を読み出す位相差検出用画素の数が増加することで、消費電力の増加も問題となる。

このような問題に対して、特許文献１にて開示されているように撮像用画素の出力から顔等の特定被写体を検出し、撮像画像内の特定被写体が存在する領域に含まれる位相差検出用画素のみから出力を読み出すようにしてもよい。

特開２０１４−１３７５６７号公報

しかしながら、撮像画像において特定被写体が占める割合が大きいと、撮像素子において位相差検出用画素から出力を読み出すべき領域が大きくなり、その領域内の位相差検出用画素の数が撮像素子から読み出し可能な最大画素数（画素ライン数）を超える。この結果、出力を読み出すべき全ての位相差検出用画素から出力を読み出しきれず、必要な位相差情報を取得することができない。

本発明は、撮像画像において被写体が大きくても、必要な位相差情報を取得することができるようにした画像処理装置およびこれを備えた撮像装置等を提供する。

本発明の一側面としての画像処理装置は、撮像素子の複数の光電変換部からの出力を用いて撮像画像を生成し、複数の光電変換部の一部である複数の特定光電変換部からの出力を用いて位相差情報を取得する。選択手段は、被写体の画像サイズが所定サイズより小さい場合は特定光電変換部を撮像画像における被写体が含まれる領域に応じて選択する。一方、被写体の画像サイズが所定サイズより大きい場合は、複数の特定光電変換部を複数の特定光電変換部群に分け、複数回の撮像における該撮像ごとに異なる特定光電変換部群を選択することを特徴とする。

なお、複数の光電変換部を有する撮像素子と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

さらに、上記画像処理装置によって行われる画像処理方法、及び、コンピュータに、上記画像処理装置が行う動作（画像処理）を実行させるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、撮像画像における被写体の画像サイズが大きくても、撮像素子から必要な位相差情報を良好に取得することができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１の撮像装置が備える撮像素子の１画素の構成を示す図。 実施例１の撮像装置における顔領域の大きさに応じた位相差情報取得領域を示す図。 上記顔領域の大きさに応じた位相差情報取得領域を示す別の図。 実施例１の撮像装置で行われる処理を示すフローチャート。 本発明の実施例２である撮像装置における位相差情報取得領域からのフレーム分割読み出しを示す図。 実施例２の撮像装置で行われる処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１であるデジタルカメラやビデオカメラ等の撮像装置の構成を示している。撮像レンズ（撮像レンズ）１は、不図示の被写体からの光を結像させる。撮像素子２は、ＣＭＯＳセンサ等により構成され、撮像レンズ１により形成された被写体像を光電変換する。

図２（Ａ）に示すように、撮像素子２の１つの画素は、１つのマイクロレンズＭＬと、複数の光電変換部、すなわち第１の光電変換部Ｌおよび第２の光電変換部Ｒとを含む。そして、このように構成された画素が、図２（Ｂ）に示すように複数、２次元配置されている。

撮像素子２には不図示の読み出し回路が設けられている。読み出し回路は、複数の画素のそれぞれの第１および第２の光電変換部Ｌ，Ｒの出力信号を加算して読み出す加算読み出しと、第１の光電変換部Ｌの出力信号を単独で読み出す独立読み出しとを行うことができる。加算読み出しされた出力信号（加算出力：以下、Ｌ＋Ｒ信号という）は読み出し回路に設けられたＡ／Ｄ変換部にてデジタル信号に変換された後、現像処理部３と位相差情報算出部４とに供給される。また、独立読み出しされた第１の出力としての出力信号（以下、Ｌ信号という）はＡ／Ｄ変換部にてデジタル信号に変換された後、位相差情報算出部４に供給される。

画像生成手段としての現像処理部３は、入力されたＬ＋Ｒ信号（ＲＡＷデータ）に対して、画素補間処理、色補正処理等の現像処理を行って撮像画像を生成する。撮像画像は、顔検出部５と眼検出部６とに出力される。

位相差情報取得手段としての位相差情報算出部４は、入力されたＬ＋Ｒ信号（以下、Ｌ＋Ｒ画像ともいう）から、同じく入力されたＬ信号（以下、Ｌ画像ともいう）を減算することにより差分出力としてのＲ信号（以下、Ｒ画像ともいう）を生成する。そして、Ｌ画像とＲ画像に対して相関演算を行うことでこれらの像ずれ量としての位相差を示す位相差情報を算出する。位相差情報は、撮像レンズ１のデフォーカス量の算出に用いられる。該デフォーカス量に基づいて撮像レンズ１のフォーカスレンズの位置制御を行うことで、撮像レンズ１を被写体に対して合焦した状態とすることができる。また、位相差情報から被写体までの距離の情報を取得することも可能である。

なお、本実施例では、撮像素子２の第１の光電変換部Ｌの出力信号を独立読み出しする場合について説明するが、第２の光電変換部Ｒの出力信号を独立読み出しできるようにしてもよい。この場合、位相差情報算出部４は、Ｌ＋Ｒ画像からＲ画像（第１の出力）を減算することによりＬ画像（差分出力）を生成する。

顔検出部５は、現像処理部３から入力された撮像画像内において顔（第１の被写体）を検出可能である。顔を検出した場合は、その顔を含む画像領域（以下、顔領域という）の情報を顔検出ライン測定部７および眼検出部６に出力する。また、顔検出部５は、撮像画像における顔領域の垂直方向での上端位置および下端位置を示す情報（以下、垂直顔位置情報という）をＣＰＵ８に出力する。

サイズ検出手段としての顔検出ライン測定部７は、入力された顔領域の情報から、該顔領域に垂直方向において含まれる画素ライン数（顔の画像サイズ：以下、顔ライン数という）Ｌｆを測定（検出）する。そして、測定した顔ライン数Ｌｆの情報をＣＰＵ８に出力する。

眼検出部６は、現像処理部３から出力された撮像画像と顔検出部５から入力された顔領域の情報とを用いて、撮像画像における上記顔の一部である眼（第２の被写体）を検出可能である。そして、眼を含む画像領域（以下、眼領域という）の垂直方向で上端位置および下端位置を示す情報（以下、垂直眼位置情報という）をＣＰＵ８に出力する。なお、眼領域に垂直方向にて含まれる画素ライン数は、顔ライン数Ｌｆより少ない。顔検出部５と眼検出部６とにより被写体検出手段が構成される。

ＣＰＵ８には、上述したように、顔検出部５から入力された垂直顔位置情報と、眼検出部６から入力された垂直眼位置情報と、顔検出ライン測定部７から入力された顔ライン数Ｌｆの情報とが入力される。選択手段としてのＣＰＵ８は、顔ライン数Ｌｆと所定の基準ライン数（所定サイズ）Ｌｃとを比較する。基準ライン数Ｌｃは、撮像素子２において同時に読み出し可能な垂直方向での最大画素ライン数に応じて設定された画素ライン数であり、最大画素ライン数自体であってもよいし、最大画素ライン数に対して余裕を設けた画素ライン数であってもよい。

顔ライン数Ｌｆが基準ライン数Ｌｃより小さい場合（Ｌｆ＜Ｌｃ）は、ＣＰＵ８は、垂直顔位置情報が示す顔領域の上端位置から下端位置までの垂直画像領域に対応する撮像素子２上の垂直画素領域に含まれる複数の画素を選択（設定）する。ここで選択された複数の画素からはＬ信号が独立読み出しされる。つまり、ＣＰＵ８は、撮像素子２のうち出力信号が独立読み出しされる複数の第１の光電変換部（特定光電変換部）Ｌを選択する。以下の説明において、Ｌ信号が独立読み出しされる画素を含む垂直画素領域を、位相差取得画素領域という。

一方、顔ライン数Ｌｆが基準ライン数Ｌｃより大きい場合（Ｌｆ＞Ｌｃ）は、ＣＰＵ８は、垂直眼位置情報が示す眼領域の上端位置から下端位置までの垂直画像領域に対応する撮像素子２上の位相差取得画素領域に含まれる複数の画素を選択（設定）する。つまり、撮像素子２のうち出力信号が独立読み出しされる複数の第１の光電変換部（特定光電変換部）Ｌを選択する。この際、ＣＰＵ８は、Ｌｃよりも少ないライン数の第１の光電変換部（特定光電変換部）Ｌを選択する。

現像処理部３、位相差情報算出部４、顔検出部５、眼検出部６、顔検出ライン測定部７およびＣＰＵ８により画像処理装置が構成される。

図３（Ａ）〜（Ｃ）および図４を用いて、顔ライン数Ｌｆが基準ライン数Ｌｃより小さい場合と大きい場合の位相差取得画素領域について説明する。これらの図には、４Ｋ×２Ｋ（４０９６画素×２１６０画素ライン）の撮像画像を示し、顔領域（顔検出枠）をＦで、眼領域をＥで示している。また、撮像画像上に、撮像素子２上の位相差取得画素領域Ａを灰色で示している。なお、ここでは基準ライン数Ｌｃを３００ラインに設定している。

図３（Ａ）では、顔ライン数Ｌｆが２１６ラインである。このため、Ｌｆ＜Ｌｃとなる。この場合、顔領域Ｆに応じた（すなわち２１６ラインまたはそれに近い）位相差取得画素領域（つまりは特定光電変換部）Ａが撮像素子２において選択される。

図３（Ｂ）では、顔ライン数Ｌｆが２７０ラインである。このため、Ｌｆ＜Ｌｃとなる。この場合も顔領域Ｆに応じた（すなわち２７０ラインまたはそれに近い）位相差取得画素領域Ａが撮像素子２において選択される。

図３（Ｃ）では、顔ライン数Ｌｆが１０８０ラインである。このため、Ｌｆ＞Ｌｃとなる。この場合は、図３（Ｃ）に示すように顔領域Ｆに応じた位相差取得画素領域Ａが撮像素子２上で選択されるのではなく、図４に示す位相差取得画素領域Ａが選択される。すなわち、Ｌｃより小さい２００ラインの眼領域Ｅに応じた（つまりは２００ラインまたはそれに近い）位相差取得画素領域Ａが選択される。

次に、ＣＰＵ８が行う画像処理を、図５に示すフローチャートを用いて説明する。コンピュータとしてのＣＰＵ８は、コンピュータプログラムである画像処理プログラムに従って本画像処理を実行する。

ステップ１０００において、ＣＰＵ８は、撮像素子２に光電変換動作（撮像動作）を開始させる。

次にステップ１００１では、ＣＰＵ８は、現像処理部３を制御して撮像素子２から出力されたＬ＋Ｒ信号から撮像画像を生成させ、顔検出部５に顔の検出（被写体検出処理）を行わせる。

次にステップ１００２では、ＣＰＵ８は、眼検出部６に、撮像画像内の眼の検出（被写体検出処理）を行わせる。

次にステップ１００３では、ＣＰＵ８は、ステップ１００１での顔検出の結果、撮像画像内に顔が検出されたか否かを判定する。顔が検出されなかった場合は、ＣＰＵ８は、予め初期値として設定された位相差取得画素領域（基準位相差取得画素領域）を設定する。そして、ステップ１０１０にて、ＣＰＵ８は、撮像素子２に対してステップ１００３で設定された位相差取得画素領域を選択する。一方、顔が検出された場合は、ＣＰＵ８はステップ１００５に進む。

ステップ１００５では、ＣＰＵ８は、顔検出ライン測定部７に顔ライン数Ｌｆの測定（サイズ検出処理）を行わせる。そして、ステップ１００６では、ＣＰＵ８は、顔検出ライン測定部７から得られた顔ライン数Ｌｆを基準ライン数Ｌｃと比較する。ステップ１００７において、ＣＰＵ８は、顔ライン数Ｌｆが基準ライン数Ｌｃより小さい場合はステップ１００８に進み、顔ライン数Ｌｆが基準ライン数Ｌｃより大きい（または基準ライン数Ｌｃと等しい）場合はステップ１００９に進む。

ステップ１００８では、ＣＰＵ８は、前述したように顔検出部５からの顔位置情報が示す顔領域の上端位置から下端位置までの垂直画像領域に応じた位相差取得画素領域を設定する。

一方、ステップ１００９では、ＣＰＵ８は、前述したように眼検出部６からの垂直眼位置情報が示す眼領域の上端位置から下端位置までの垂直画像領域に応じた位相差取得画素領域を設定する。

そして、ステップ１０１０にて、ＣＰＵ８は、撮像素子２に対してステップ１００８または１００９で設定された位相差取得画素領域を選択する。ステップ１００８〜１０１０が選択処理に相当する。この後、ＣＰＵ８はステップ１００１に戻る。

以上説明したように、本実施例では、撮像画像に含まれる顔の画像サイズである顔ライン数が基準ライン数より小さい場合は、複数の特定光電変換部である第１の光電変換部Ｌを顔領域に応じて選択する。また、顔ライン数が基準ライン数より大きい場合は、複数の特定光電変換部である第１の光電変換部Ｌを眼領域に応じて選択する。これにより、撮像画像内での顔のサイズが基準ライン数より大きい場合に出力信号を読み出すべき全ての第１の光電変換部Ｌから出力信号を読み出しきれず、必要な位相差情報を取得することができないという不都合を回避することができる。しかも、必要な位相差情報を眼領域に応じて選択された第１の光電変換部Ｌから取得することができる。

なお、ＣＰＵ８は、撮像装置における記録フレームレートに応じて基準ライン数Ｌｃを変更してもよい。例えば、記録フレームレートが低い場合にこれが高い場合に比べて基準ライン数Ｌｃを高く設定することで、顔領域に応じた第１の光電変換部Ｌが優先的に選択されるようにすることができる。

次に、本発明の実施例２について説明する。本実施例では、撮像画像内での顔ライン数Ｌｆが基準ライン数Ｌｃより大きい場合に、顔領域に応じて選択した複数の第１の光電変換部Ｌの出力信号を時分割で読み出す。なお、撮像装置の構成は実施例１（図１）と同じであり、共通する構成要素には実施例１と同符号を付す。

本実施例では、撮像素子２の撮像／読み出しフレームレートが１２０ｆｐｓ（１秒あたり１２０フレーム）であり、撮像装置の記録フレームレートが６０ｆｐｓ（１秒あたり６０フレーム）である場合について説明する。つまり、撮像素子２は１秒間に１２０フレームのＬ＋Ｒ信号を読み出す能力を備えているが、撮像画像の記録は１秒間に６０フレームで行う。

このため、撮像画像内での顔ライン数Ｌｆが基準ライン数Ｌｃより大きい場合には、以下のように撮像素子２からの信号読み出しを行う。図６に示すように、まず、１フレーム目（１回目の撮像）では、撮像素子２の全画素からＬ＋Ｒ信号を読み出す。またこれと同時に、顔領域に応じて選択された位相差取得画素領域のうち上側半分（上側Ｌ／２ライン）の領域の画素、つまりは１つの特定光電変換部群としての第１の光電変換部ＬからＬ信号を読み出す。次に、２フレーム目（２回目の撮像）では、Ｌ＋Ｒ信号は読み出さずに、位相差取得画素領域のうち下側半分（下側Ｌ／２ライン）の領域の画素、つまりはもう１つの特定光電変換部群としての第１の光電変換部ＬからＬ信号を読み出す。以後はこれらの動作を交互に繰り返す。これにより、顔領域が大きい（顔ライン数Ｌｆが基準ライン数Ｌｃより大きい）場合でも、２フレームの期間で該顔領域からの位相差情報を良好に取得することができる。

なお、位相差取得画素領域（複数の特定光電変換部）の分割数は、顔ライン数Ｌｆの基準ライン数Ｌｃに対する差に応じて設定すればよく、Ｌｆ／２＞Ｌｃであるような場合には、３つ以上に分割してもよい。

本実施例においてＣＰＵ８が行う画像処理を、図７に示すフローチャートを用いて説明する。コンピュータとしてのＣＰＵ８は、コンピュータプログラムである画像処理プログラムに従って本画像処理を実行する。

ステップ１０１１において、ＣＰＵ８は、撮像素子２に光電変換動作（撮像動作）を開始させる。この際、撮像／読み出しフレームレートを１２０ｆｐｓとする。

ステップ１００１〜１００７までの処理は、実施例１（図５）におけるステップ１００１〜１００７と同じである。また、ステップ１００７において顔ライン数Ｌｆ２が基準ライン数Ｌｃより小さいと判定した場合にも、実施例１と同様に、ステップ１００８にてＣＰＵ８は顔領域に応じた位相差取得画素領域を設定する。そして、ステップ１０１０にて、ＣＰＵ８は、撮像素子２に対してステップ１００８で設定された位相差取得画素領域を選択する。

一方、ステップ１００７において顔ライン数Ｌｆ２が基準ライン数Ｌｃより大きいと判定した場合には、ＣＰＵ８はステップ１０１２に進む。ステップ１０１２では、ＣＰＵ８は、１フレーム目に対して、顔領域に応じた位相差取得画素領域のうち垂直方向において２分割した上半分の領域（上Ｌ／２領域）を設定する。そして、ステップ１０１３において、ＣＰＵ８は、撮像素子２に対してステップ１０１２で設定された上Ｌ／２領域を選択する。

次にステップ１０１４では、ＣＰＵ８は、２フレーム目に対して、顔領域に応じた位相差取得画素領域のうち垂直方向において２分割した下半分の領域（下Ｌ／２領域）を設定する。そして、ステップ１０１５において、ＣＰＵ８は、撮像素子２に対してステップ１０１４で設定された下Ｌ／２領域を選択する。ステップ１０１２〜１０１４が選択処理に相当する。この後、ＣＰＵ８はステップ１００１に戻る。

以上説明したように、本実施例では、撮像画像に含まれる顔の画像サイズである顔ライン数が基準ライン数より小さい場合は、複数の特定光電変換部である第１の光電変換部Ｌを顔領域に応じて選択する。また、顔ライン数が基準ライン数より大きい場合は、複数の特定光電変換部である第１の光電変換部Ｌを複数の群（特定光電変換部群）に分割する。そして、複数回の撮像における該撮像ごとに異なる第１の光電変換部Ｌの群を選択する。これにより、撮像画像内での顔のサイズが基準ライン数より大きい場合に出力信号を読み出すべき全ての第１の光電変換部Ｌから出力信号を読み出しきれず、必要な位相差情報を取得することができないという不都合を回避することができる。

なお、上記実施例では、位相差情報算出部４が、第１の光電変換部の第１の出力と、第１および第２の光電変換部の加算出力から第１の出力を減算して得られる差分出力とを用いて位相差情報を算出する場合について説明した。しかし、第１の光電変換部からの第１の出力と第２の光電変換部からの第２の出力とを用いて位相差情報を取得するようにしてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

２ 撮像素子
３ 現像処理部
４ 位相差情報算出部
５ 顔検出部
６ 眼検出部
７ 顔検出ライン測定部
８ ＣＰＵ

Claims (7)

1. 複数の光電変換部を有する撮像素子を備えた撮像装置に用いられる画像処理装置であって、
   前記複数の光電変換部からの出力を用いて撮像画像を生成する画像生成手段と、
   前記複数の光電変換部の一部である複数の特定光電変換部からの出力を用いて位相差情報を取得する位相差情報取得手段と、
   前記撮像画像に含まれる被写体を検出する被写体検出手段と、
   検出された前記被写体の画像サイズを検出するサイズ検出手段と、
   前記複数の特定光電変換部を選択する選択手段とを有し、
   前記選択手段は、
   前記被写体の画像サイズが所定サイズより小さい場合は前記特定光電変換部を前記撮像画像における前記被写体が含まれる領域に応じて選択し、
   前記被写体の前記画像サイズが前記所定サイズより大きい場合は、前記複数の特定光電変換部を複数の特定光電変換部群に分け、複数回の撮像における該撮像ごとに異なる前記特定光電変換部群を選択することを特徴とする画像処理装置。
2. 前記画像サイズおよび前記所定サイズは、画素ライン数であることを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記所定サイズを、前記撮像装置の記録フレームレートに応じて変更することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮像素子は、それぞれが前記光電変換部である第１の光電変換部および第２の光電変換部を含む複数の画素を有し、
   前記画像生成手段は、前記第１および第２の光電変換部からの加算出力を用いて前記撮像画像を生成し、
   前記位相差情報取得手段は、
   前記第１の光電変換部からの第１の出力と前記第２の光電変換部からの第２の出力とを用いて、または、前記第１の出力と前記加算出力から前記第１の出力を減算して得られる差分出力とを用いて前記位相差情報を取得することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 複数の光電変換部を有する撮像素子と、
   請求項１から４のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
6. 複数の光電変換部を有する撮像素子を備えた撮像装置に用いられる画像処理方法であって、
   前記複数の光電変換部からの出力を用いて撮像画像を生成するステップと、
   前記複数の光電変換部の一部である複数の特定光電変換部からの出力を用いて位相差情報を取得するステップと、
   前記撮像画像に含まれる被写体を検出するステップと、
   検出された前記被写体の画像サイズを検出するステップと、
   前記複数の特定光電変換部を選択するステップとを有し、
   前記選択するステップにおいて、
   前記被写体の画像サイズが所定サイズより小さい場合は前記特定光電変換部を前記撮像画像における前記被写体が含まれる領域に応じて選択し、
   前記被写体の前記画像サイズが前記所定サイズより大きい場合は、前記複数の特定光電変換部を複数の特定光電変換部群に分け、複数回の撮像における該撮像ごとに異なる前記特定光電変換部群を選択することを特徴とする画像処理方法。
7. 複数の光電変換部を有する撮像素子を備えた撮像装置においてコンピュータに画像処理を実行させるコンピュータプログラムであって、
   前記画像処理は、
   前記複数の光電変換部からの出力を用いて撮像画像を生成する処理と、
   前記複数の光電変換部の一部である複数の特定光電変換部からの出力を用いて位相差情報を取得する処理と、
   前記撮像画像に含まれる被写体を検出する被写体検出処理と、
   検出された前記被写体の画像サイズを検出するサイズ検出処理と、
   前記複数の特定光電変換部を選択する選択処理とを含み、
   前記選択処理において、
   前記被写体の画像サイズが所定サイズより小さい場合は前記特定光電変換部を前記撮像画像における前記被写体が含まれる領域に応じて選択し、
   前記被写体の前記画像サイズが前記所定サイズより大きい場合は、前記複数の特定光電変換部を複数の特定光電変換部群に分け、複数回の撮像における該撮像ごとに異なる前記特定光電変換部群を選択することを特徴とする画像処理プログラム。