JP6516014B2 - 撮像装置および画像処理装置 - Google Patents

Description

本発明は、撮像装置および画像処理装置に関する。

画面の領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている（特許文献１参照）。しかしながら、撮像条件が異なる領域でそれぞれ生成された画像データを用いる場合において、撮像条件が同じ領域で生成された画像データを用いる場合と同様にすることができないという問題があった。

日本国特開２００６−１９７１９２号公報

本発明の第１の態様によると、撮像装置は、光電変換された電荷により生成された信号を出力する第１画素と、光電変換された電荷により生成された信号を出力する、前記第１画素とは異なる第２画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域のうち、前記第１画素が配置された第１領域の撮像条件と、前記撮像領域のうち、前記第２画素が配置された前記第１領域とは異なる第２領域の撮像条件と、を設定する設定部と、前記設定部により第１撮像条件に設定された前記第１領域の前記第１画素の補間に用いる画素を、前記設定部により前記第１撮像条件とは異なる第２撮像条件に設定された前記第２領域の前記第２画素と、前記設定部により前記第２撮像条件とは異なる第３撮像条件に設定された前記第２領域の前記第２画素と、のうちから選択する選択部と、前記選択部により選択された前記第２画素から出力された信号により補間された、前記第１撮像条件に設定された前記第１領域の前記第１画素から出力された信号を用いて前記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える。
本発明の第２の態様によると、撮像装置は、光電変換された電荷により生成された信号を出力する第１画素と、光電変換された電荷により生成された信号を出力する前記第１画素とは異なる第２画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域のうち、前記第１画素が配置された第１領域の撮像条件と、前記撮像領域のうち、前記第２画素が配置された前記第１領域とは異なる第２領域の撮像条件と、を設定する設定部と、前記設定部により第１撮像条件に設定された前記第１領域の前記第１画素から出力された信号の信号処理に用いる画素を、前記設定部により前記第１撮像条件とは異なる第２撮像条件に設定された前記第２領域の前記第２画素と、前記設定部により前記第２撮像条件とは異なる第３撮像条件に設定された前記第２領域の前記第２画素と、のうちから選択する選択部と、前記選択部により選択された前記第２画素から出力された信号により信号処理された、前記第１撮像条件に設定された前記第１領域の前記第１画素から出力された信号を用いて前記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える。
本発明の第３の態様によると、画像処理装置は、第１撮像条件に設定された、撮像素子の撮像領域のうち、第１領域に配置された第１画素の補間に用いる画素を、前記第１撮像条件とは異なる第２撮像条件に設定された、前記撮像領域のうち、第２領域に配置された第２画素と、前記第２撮像条件とは異なる第３撮像条件に設定された前記第２領域に配置された前記第２画素と、のうちから選択する選択部と、前記選択部により選択された前記第２画素から出力された信号により補間された、前記第１撮像条件に設定された前記第１領域の前記第１画素から出力された信号を用いて前記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える。
本発明の第４の態様によると、画像処理装置は、第１撮像条件に設定された、撮像素子の撮像領域のうち、第１領域に配置された第１画素から出力された信号の信号処理に用いる画素を、前記第１撮像条件とは異なる第２撮像条件に設定された前記撮像領域のうち、第２領域に配置された第２画素と、前記第２撮像条件とは異なる第３撮像条件に設定された前記第２領域に配置された前記第２画素と、のうちから選択する選択部と、前記選択部により選択された前記第２画素から出力された信号により信号処理された、前記第１撮像条件に設定された前記第１領域の前記第１画素から出力された信号を用いて前記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える。
本発明の第５の態様によると、撮像装置は、光電変換された電荷により生成された信号を出力する第１画素と、光電変換された電荷により生成された信号を出力する、前記第１画素とは異なる第２画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、前記撮像領域のうち前記第１画素が配置された第１領域と、前記撮像領域のうち前記第２画素が配置された前記第１領域とは異なる第２領域と、に異なる撮像条件を設定可能な設定部と、前記設定部により第１撮像条件に設定された前記第１領域の前記第１画素と、前記設定部により前記第１撮像条件とは異なる第２撮像条件が設定された前記第２領域の前記第２画素と、の出力により生成された画像信号のうちの前記第１画素の信号を、前記設定部により第３撮像条件に設定された前記第１領域の前記第１画素と、前記第３撮像条件に設定された前記第２領域の前記第２画素と、の出力により生成された画像信号の少なくとも一部を用いて補間した信号を用いて前記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える。

実施の形態によるカメラの構成を例示するブロック図である。 積層型の撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域における回路を説明する図である。 カメラの撮像素子に結像される被写体の像を模式的に示す図である。 撮像条件の設定画面を例示する図である。 図７（ａ）はライブビュー画像における第１領域の境界付近を例示する図、図７（ｂ）は境界付近を拡大した図、図７（ｃ）は注目画素および参照画素の拡大図、図７（ｄ）は処理用画像データにおける対応参照画素の拡大図である。 図８（ａ）は画素から出力された光電変換信号の並びを例示する図、図８（９）はＧ色成分の画像データの補間を説明する図、図８（ｃ）は補間後のＧ色成分の画像データを例示する図である。 図９（ａ）は図８（ａ）からＲ色成分の画像データを抽出した図、図９（ｂ）は色差成分Ｃｒの補間を説明する図、図９（ｃ）は色差成分Ｃｒの画像データの補間を説明する図である。 図１０（ａ）は図８（ａ）からＢ色成分の画像データを抽出した図、図１０（ｂ）は色差成分Ｃｂの補間を説明する図、図１０（ｃ）は色差成分Ｃｂの画像データの補間を説明する図である。 撮像面における焦点検出用画素の位置を例示する図である。 焦点検出画素ラインの一部の領域を拡大した図である。 フォーカスポイントを拡大した図である。 図１４（ａ）は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１４（ｂ）は、ライブビュー画像および探索範囲を例示する図である。 ライブビュー画像のための画像データの撮像のタイミングと、処理用画像データの撮像のタイミングとの関係について例示する図であり、図１５（ａ）はライブビュー画像と処理用画像データとを交互に撮像する場合を例示し、図１５（ｂ）はライブビュー画像の表示の開始に際して処理用画像データを撮像する場合を例示し、図１５（ｃ）はライブビュー画像の表示終了に際して処理用画像データを撮像する場合を例示する図である。 領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。 図１７（ａ）〜図１７（ｃ）は、撮像素子の撮像面における第１領域および第２領域の配置を例示する図である。 変形例２によるカメラの構成を例示するブロック図である。 変形例６による撮像システムの構成を例示するブロック図である。 モバイル機器へのプログラムの供給を説明する図である。

本実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。カメラ１（図１）は、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。画像処理部３３は、撮像条件が異なる領域においてそれぞれ適切な処理を行う。このようなカメラ１の詳細について、図面を参照して説明する。

＜カメラの説明＞
図１は、一実施の形態によるカメラ１の構成を例示するブロック図である。図１において、カメラ１は、撮像光学系３１と、撮像部３２と、画像処理部３３と、制御部３４と、表示部３５と、操作部材３６と、記録部３７とを有する。

撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、撮像素子３２ａおよび駆動部３２ｂを含み、撮像光学系３１によって結像された被写体の像を光電変換する。撮像部３２は、撮像素子３２ａにおける撮像面の全域において同じ条件で撮像したり、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部３２の詳細については後述する。駆動部３２ｂは、撮像素子３２ａに蓄積制御を行わせるために必要な駆動信号を生成する。撮像部３２に対する電荷蓄積時間などの撮像指示は、制御部３４から駆動部３２ｂへ送信される。

画像処理部３３は、入力部３３ａと、処理部３３ｂとを含む。入力部３３ａには、撮像部３２によって取得された画像データが入力される。処理部３３ｂは、異なる領域間において撮像条件を異ならせて本撮像を行った場合に、本画像データとは別に撮像された画像データを用いて、本画像データに対して所定の画像処理を行い、画像を生成する。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減（Noise reduction）処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。

制御部３４は、例えばＣＰＵによって構成され、カメラ１による全体の動作を制御する。例えば、制御部３４は、撮像部３２で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子３２ａの電荷蓄積時間（露光時間）、撮像光学系３１の絞り値、ＩＳＯ感度等の露出条件を決定して駆動部３２ｂへ指示する。また、カメラ１に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部３３へ指示する。被写体要素の検出については後述する。

制御部３４には、物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、ＡＦ演算部３４ｄとが含まれる。これらは、制御部３４が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをＡＳＩＣ等により構成しても構わない。

物体検出部３４ａは、公知の物体認識処理を行うことにより、撮像部３２によって取得された画像から、人物（人物の顔）、犬、猫などの動物（動物の顔）、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの、被写体要素を検出する。設定部３４ｂは、撮像部３２による撮像画面を、上述のように検出した被写体要素を含む複数の領域に分割する。

設定部３４ｂはさらに、複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件（電荷蓄積時間、ゲイン、ＩＳＯ感度、フレームレート等）と、上記画像処理条件（例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等）とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。

撮像制御部３４ｃは、設定部３４ｂによって領域ごとに設定された撮像条件を適用して撮像部３２（撮像素子３２ａ）、画像処理部３３を制御する。これにより、撮像部３２に対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部３３に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば１０００画素でもよいし、１画素でもよい。また、領域間で画素の数が異なっていてもよい。

ＡＦ演算部３４ｄは、撮像画面の所定の位置（フォーカスポイントと呼ぶ）において、対応する被写体に対してフォーカスを合わせる自動焦点調節（オートフォーカス：ＡＦ）動作を制御する。ＡＦ演算部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を送る。ＡＦ演算部３４ｄが自動焦点調節のために行う処理は、焦点検出処理とも呼ばれる。焦点検出処理の詳細については後述する。

表示部３５は、画像処理部３３によって生成された画像や画像処理された画像、記録部３７によって読み出された画像などを再生表示する。表示部３５は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。

操作部材３６は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材３６は、各操作に対応する操作信号を制御部３４へ送出する。操作部材３６には、表示部３５の表示面に設けられたタッチ操作部材も含まれる。

記録部３７は、制御部３４からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部３７は、制御部３４からの指示に応じて記録媒体に記録されている画像データを読み出す。

＜積層型の撮像素子の説明＞
上述した撮像素子３２ａの一例として積層型の撮像素子１００について説明する。図２は、撮像素子１００の断面図である。撮像素子１００は、撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とを備える。撮像チップ１１１は、信号処理チップ１１２に積層されている。信号処理チップ１１２は、メモリチップ１１３に積層されている。撮像チップ１１１および信号処理チップ１１２、信号処理チップ１１２およびメモリチップ１１３は、それぞれ接続部１０９により電気的に接続されている。接続部１０９は、例えばバンプや電極である。撮像チップ１１１は、被写体からの光像を撮像して画像データを生成する。撮像チップ１１１は、画像データを撮像チップ１１１から信号処理チップ１１２へ出力する。信号処理チップ１１２は、撮像チップ１１１から出力された画像データに対して信号処理を施す。メモリチップ１１３は、複数のメモリを有し、画像データを記憶する。なお、撮像素子１００は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子１００が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子１００とは別に設けていてもよい。

図２に示すように、入射光は、主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１１は、例えば、ＣＭＯＳイメージセンサである。撮像チップ１１１は、具体的には、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ１１１は、マイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８を有する。撮像チップ１１１は、Ｚ軸プラス方向に向かってマイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８の順に配置されている。

マイクロレンズ層１０１は、複数のマイクロレンズＬを有する。マイクロレンズＬは、入射した光を後述する光電変換部１０４に集光する。カラーフィルタ層１０２は、複数のカラーフィルタＦを有する。カラーフィルタ層１０２は、分光特性の異なる複数種類のカラーフィルタＦを有する。カラーフィルタ層１０２は、具体的には、主に赤色成分の光を透過させる分光特性の第１フィルタ（Ｒ）と、主に緑色成分の光を透過させる分光特性の第２フィルタ（Ｇｂ、Ｇｒ）と、主に青色成分の光を透過させる分光特性の第３フィルタ（Ｂ）と、を有する。カラーフィルタ層１０２は、例えば、ベイヤー配列により第１フィルタ、第２フィルタおよび第３フィルタが配置されている。パッシベーション層１０３は、窒化膜や酸化膜で構成され、半導体層１０６を保護する。

半導体層１０６は、光電変換部１０４および読出回路１０５を有する。半導体層１０６は、光の入射面である第１面１０６ａと第１面１０６ａの反対側の第２面１０６ｂとの間に複数の光電変換部１０４を有する。半導体層１０６は、光電変換部１０４がＸ軸方向およびＹ軸方向に複数配列されている。光電変換部１０４は、光を電荷に変換する光電変換機能を有する。また、光電変換部１０４は、光電変換信号による電荷を蓄積する。光電変換部１０４は、例えば、フォトダイオードである。半導体層１０６は、光電変換部１０４よりも第２面１０６ｂ側に読出回路１０５を有する。半導体層１０６は、読出回路１０５がＸ軸方向およびＹ軸方向に複数配列されている。読出回路１０５は、複数のトランジスタにより構成され、光電変換部１０４によって光電変換された電荷により生成される画像データを読み出して配線層１０８へ出力する。

配線層１０８は、複数の金属層を有する。金属層は、例えば、Ａｌ配線、Ｃｕ配線等である。配線層１０８は、読出回路１０５により読み出された画像データが出力される。画像データは、接続部１０９を介して配線層１０８から信号処理チップ１１２へ出力される。

なお、接続部１０９は、光電変換部１０４ごとに設けられていてもよい。また、接続部１０９は、複数の光電変換部１０４ごとに設けられていてもよい。接続部１０９が複数の光電変換部１０４ごとに設けられている場合、接続部１０９のピッチは、光電変換部１０４のピッチよりも大きくてもよい。また、接続部１０９は、光電変換部１０４が配置されている領域の周辺領域に設けられていてもよい。

信号処理チップ１１２は、複数の信号処理回路を有する。信号処理回路は、撮像チップ１１１から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路等である。信号処理回路は、光電変換部１０４ごとに設けられていてもよい。

また、信号処理回路は、複数の光電変換部１０４ごとに設けられていてもよい。信号処理チップ１１２は、複数の貫通電極１１０を有する。貫通電極１１０は、例えばシリコン貫通電極である。貫通電極１１０は、信号処理チップ１１２に設けられた回路を互いに接続する。貫通電極１１０は、撮像チップ１１１の周辺領域、メモリチップ１１３にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ１１１に設けてもよい。例えば、アナログ／デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ１１１に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ１１２に設けてもよい。

メモリチップ１１３は、複数の記憶部を有する。記憶部は、信号処理チップ１１２で信号処理が施された画像データを記憶する。記憶部は、例えば、ＤＲＡＭ等の揮発性メモリである。記憶部は、光電変換部１０４ごとに設けられていてもよい。また、記憶部は、複数の光電変換部１０４ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。

図３は、撮像チップ１１１の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１１を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上の画素がマトリックス状に配列されている。図３の例では、隣接する２画素×２画素の４画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×３２画素でもよいし、それ以上でもそれ以下でもよく、１画素であってもよい。

画素領域の部分拡大図に示すように、図３の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタＦとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタＦとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタＦとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施の形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域１３１となる。上述したように、１つの単位領域１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、1ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域１３１、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。

図４は、単位領域１３１における回路を説明する図である。図４の例では、隣接する２画素×２画素の４画素により一つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、１０００画素以上でもよいし、最小１画素でもよい。単位領域１３１の二次元的な位置を符号Ａ〜Ｄにより示す。

単位領域１３１に含まれる画素のリセットトランジスタ（ＲＳＴ）は、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄに対しても、リセットトランジスタをオンオフするための専用のリセット配線３３０が設けられている。

単位領域１３１に含まれる画素の転送トランジスタ（ＴＸ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄに対しても、転送トランジスタをオンオフするための専用の転送配線３３２が設けられている。

さらに、単位領域１３１に含まれる画素の選択トランジスタ（ＳＥＬ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄに対しても、選択トランジスタをオンオフするための専用の選択配線３３６が設けられている。

なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１１側に設けられてもよいし、信号処理チップ１１２側に設けられてもよい。

単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｄに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｄの光電変換信号を共通の出力配線３０８を介して出力することができる。

ここで、単位領域１３１に含まれる画素Ａから画素Ｄについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図４の例では「ＡＢＣＤ」の順序で光電変換信号が出力される。

このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ１１１において一部のブロックに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域１３１を休ませることにより、撮像チップ１１１の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ１１１の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。

上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１１、信号処理チップ１１２およびメモリチップ１１３を積層しているので、これら出力配線３０８に接続部１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜撮像素子のブロック制御＞
本実施の形態では、撮像素子３２ａにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部３４（撮像制御部３４ｃ）は、上記複数の領域を上記ブロックに対応させて、領域ごとに設定された撮像条件で撮像を行わせる。

図５は、カメラ１の撮像素子３２ａに結像される被写体の像を模式的に示す図である。カメラ１は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。ライブビュー画像は、所定のフレームレート（例えば６０ｆｐｓ）で繰り返し撮像するモニタ用画像のことをいう。

制御部３４は、設定部３４ｂにより領域を分割する前は、撮像チップ１１１の全域（すなわち撮像画面の全体）に同一の撮像条件を設定する。同一の撮像条件とは、撮像画面の全体に共通の撮像条件を設定することをいい、例えばアペックス値で０．３段程度に満たないばらつきがあるとしても同じとみなす。撮像チップ１１１の全域で同一に設定する撮像条件は、被写体輝度の測光値に応じた露出条件、またはユーザーによって手動設定された露出条件に基づいて決定する。

図５において、撮像チップ１１１の撮像面に、人物６１ａと、自動車６２ａと、バッグ６３ａと、山６４ａと、雲６５ａ、６６ａとを含む像が結像されている。人物６１ａは、バッグ６３ａを両手で抱えている。人物６１ａの右後方に、自動車６２ａが止まっている。

＜領域の分割＞
制御部３４は、ライブビュー画像に基づき、以下のようにライブビュー画像の画面を複数の領域に分割する。先ず、物体検出部３４ａによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図５の例では、物体検出部３４ａが、人物６１ａと、自動車６２ａと、バッグ６３ａと、山６４ａと、雲６５ａと、雲６６ａとを被写体要素として検出する。

次に、設定部３４ｂによって、ライブビュー画像の画面を、上記被写体要素を含む領域に分割する。本実施の形態では、人物６１ａを含む領域を第１領域６１とし、自動車６２ａを含む領域を第２領域６２とし、バッグ６３ａを含む領域を第３領域６３とし、山６４ａを含む領域を第４領域６４とし、雲６５ａを含む第５領域を領域６５とし、雲６６ａを含む領域を第６領域６６として説明する。

＜ブロックごとの撮像条件の設定＞
制御部３４は、設定部３４ｂによって画面を複数の領域に分割すると、図６に例示するような設定画面を表示部３５に表示させる。図６において、ライブビュー画像６０ａが表示され、ライブビュー画像６０ａの右側に撮像条件の設定画面７０が表示される。

設定画面７０には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード（ＴＶ）、ゲイン（ＩＳＯ）が挙げられている。フレームレートは、１秒間に取得するライブビュー画像やカメラ１により録画される動画像のフレーム数である。ゲインは、ＩＳＯ感度である。撮像条件の設定項目は、図６に例示した他にも適宜加えて構わない。全ての設定項目が設定画面７０の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。

本実施の形態において、制御部３４は、設定部３４ｂによって分割された領域のうち、ユーザーによって選択された領域を撮像条件の設定（変更）の対象にする。例えば、タッチ操作が可能なカメラ１において、ユーザーは、ライブビュー画像６０ａが表示されている表示部３５の表示面上で、撮像条件を設定（変更）したい主要被写体の表示位置をタップ操作する。制御部３４は、例えば人物６１ａの表示位置がタップ操作された場合に、ライブビュー画像６０ａにおいて人物６１ａを含む領域６１を撮像条件の設定（変更）対象領域にするとともに、領域６１の輪郭を強調して表示させる。

図６において、輪郭を強調して表示（太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等）する領域６１は、撮像条件の設定（変更）の対象となる領域を示す。図６の例では、領域６１の輪郭を強調したライブビュー画像６０ａが表示されているものとする。この場合は、領域６１が、撮像条件の設定（変更）の対象である。例えば、タッチ操作が可能なカメラ１において、ユーザーによってシャッタースピード（ＴＶ）の表示７１がタップ操作されると、制御部３４は、強調して表示されている領域（領域６１）に対するシャッタースピードの現設定値を画面内に表示させる（符号６８）。
以降の説明では、タッチ操作を前提としてカメラ１の説明を行うが、操作部材３６を構成するボタン等の操作により、撮像条件の設定（変更）を行うようにしてもよい。

シャッタースピード（ＴＶ）の上アイコン７１ａまたは下アイコン７１ｂがユーザーによってタップ操作されると、設定部３４ｂは、シャッタースピードの表示６８を現設定値から上記タップ操作に応じて増減させるとともに、強調して表示されている領域（領域６１）に対応する撮像素子３２ａの単位領域１３１（図３）の撮像条件を、上記タップ操作に応じて変更するように撮像部３２（図１）へ指示を送る。決定アイコン７２は、設定された撮像条件を確定させるための操作アイコンである。設定部３４ｂは、フレームレートやゲイン（ＩＳＯ）の設定（変更）についても、シャッタースピード（ＴＶ）の設定（変更）の場合と同様に行う。

なお、設定部３４ｂは、ユーザーの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部３４ｂは、ユーザーの操作に基づかずに、制御部３４の判断により撮像条件を設定するようにしてもよい。例えば、画像における最大輝度または最小輝度である被写体要素を含む領域において、白とびまたは黒つぶれが生じている場合、設定部３４ｂは、制御部３４の判断により、白とびまたは黒つぶれを解消するように撮像条件を設定するようにしてもよい。
強調表示されていない領域（領域６１以外の他の領域）については、設定されている撮像条件が維持される。

制御部３４は、撮像条件の設定（変更）の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部３４は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部３４は、撮像条件の設定（変更）の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。

以上説明したように、領域ごとの撮像条件が設定された後に、操作部材３６を構成する不図示のレリーズボタン、または撮像開始を指示する表示（レリーズアイコン）が操作されると、制御部３４が撮像部３２を制御することにより、上記分割された領域に対してそれぞれ設定されている撮像条件で撮像（本撮像）を行わせる。なお、以下の説明では、分割された領域をそれぞれ第1領域６１〜第６領域６６（図７（ａ）参照）とし、第1領域６１〜第６領域６６に第１撮像条件〜第６撮像条件が設定されるものとする。そして、画像処理部３３は、撮像部３２によって取得された画像データに対して画像処理を行う。この画像データは、記録部３７に記録される画像データであり、以後、本画像データと呼ぶ。なお、撮像部３２は、本画像データを取得する際に、本画像データに対して画像処理を行ったり、本画像データの撮像のための各種の検出処理や設定処理を行う際に用いる画像データ（以下、処理用画像データと呼ぶ）を本画像データとは異なるタイミングで取得する。また、画像処理の詳細については説明を後述する。

＜処理用画像データ＞
処理用画像データは、本画像データにおいて、ある領域（たとえば第１領域６１）のうち他の領域と境界をなす境界付近の領域（以下、境界部と呼ぶ）に含まれる注目画素に対して画像処理を施す際に使用される。また、処理用画像データは、焦点検出処理、被写体検出処理、撮像条件設定処理の際に使用される。制御部３４の設定部３４ｂは、第１領域６１をよりも広い領域を、第１領域６１のための処理用画像データ（以後、第１処理用画像データと呼ぶ）を撮像するための領域（以下、処理用撮像領域と呼ぶ）として撮像素子３２ａに設定する。この場合、設定部３４ｂは、たとえば撮像素子３２ａの撮像面の全領域を、処理用撮像領域として設定する。さらに、設定部３４ｂは、第１処理用画像データの撮像条件として、第１領域６１に設定された撮像条件である第１撮像条件を設定する。同様に、設定部３４ｂは、第２〜第６処理用画像データのための処理用撮像領域を、それぞれ撮像素子３２ａの撮像面の全領域に設定する。設定部３４ｂは、第２〜第６処理用画像データのそれぞれに対する撮像条件として、第２領域６２〜第６領域６６に設定された各撮像条件をそれぞれ設定する。
なお、処理用画像データを撮像するためのタイミングについては、説明を後述する。
以下、処理用画像データを、画像処理に用いる場合と、焦点検出処理に用いる場合と、被写体検出処理に用いる場合と、露出条件設定処理に用いる場合と、に分けて説明を行う。

１．画像処理に用いる場合
処理用画像データを画像処理に用いる場合について説明する。画像処理部３３の処理部３３ｂは、分割した領域間で異なる撮像条件を適用して取得された本画像データに対する画像処理が所定の画像処理である場合において、領域の境界部に位置する本画像データに対して処理用画像データを用いて画像処理を行う。所定の画像処理は、画像において処理対象とする注目位置のデータを、注目位置の周囲（以後、注目範囲と呼ぶ）の複数の参照位置のデータを参照して算出する処理であり、例えば、画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理などが該当する。

画像処理は、分割した領域間で撮像条件が異なることに起因して、画像処理後の画像に現れる違和感を緩和するために行われる。一般に、注目位置が、分割した領域の境界部に位置する場合、注目範囲の複数の参照位置には、注目位置のデータと同じ撮像条件が適用されたデータと、注目位置のデータと異なる撮像条件が適用されたデータとが混在する場合がある。本実施の形態では、異なる撮像条件が適用された参照位置のデータをそのまま参照して注目位置のデータを算出するよりも、同じ撮像条件が適用された参照位置のデータを参照して注目位置のデータを算出する方が好ましいという考え方に基づき、以下のように画像処理を行う。

図７（ａ）は、ライブビュー画像６０ａにおける第１領域６１と第１領域６１が境界をなす第４領域６４とを含む所定範囲８０を例示する図である。本例では、少なくとも人物を含む第１領域６１に第１撮像条件が設定され、山を含む第４領域６４に第４撮像条件がそれぞれ設定されているものとする。図７（ｂ）は、図７（ａ）の所定範囲８０を拡大した図である。第１撮像条件が設定された第１領域６１に対応する撮像素子３２ａ上の画素からの画像データを白地で示し、第４撮像条件が設定された第４領域６４に対応する撮像素子３２ａ上の画素からの画像データを網掛けで示す。図７（ｂ）では、第１領域６１上であって、第１領域６１と第４領域６４との境界８１の近傍部分、すなわち境界部に注目画素Ｐからの画像データが位置する。注目画素Ｐを中心とする注目範囲９０（例えば３×３画素）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素Ｐｒとする。図７（ｃ）は、注目画素Ｐおよび参照画素Ｐｒ１〜Ｐｒ８の拡大図である。注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む参照画素Ｐｒ１〜Ｐｒ８の位置が参照位置である。なお、以下の説明では、参照画素を総称する場合には符号Ｐｒを付与する。

画像処理部３３の処理部３３ｂは、参照画素Ｐｒの画像データをそのまま使用して画像処理を行う。すなわち、処理部３３ｂは、注目画素Ｐの全ての参照画素Ｐｒの全てのデータを用いて補間等の画像処理等を行う。しかしながら、注目画素Ｐにおいて撮像時に適用された第１撮像条件と、注目画素Ｐの周囲の参照画素Ｐｒにおいて撮像時に適用された第４撮像条件とが異なる場合には、処理部３３ｂは、本画像データ上の第４撮像条件の画像データを用いないようにする。図７（ｃ）において、第１撮像条件が設定された注目画素Ｐおよび参照画素Ｐｒ１〜Ｐｒ６から出力される画像データを白地で示し、第４撮像条件が設定された参照画素Ｐｒ７およびＰｒ８から出力される画像データを斜線で示す。本実施の形態では、処理部３３ｂは、第４撮像条件の画像データ、すなわち斜線で示す参照画素Ｐｒ７、Ｐｒ８から出力された画像データを画像処理に用いないようにする。さらに、処理部３３ｂは、第４撮像条件で撮像された本画像データの参照画素Ｐｒ７、Ｐｒ８の画像データに代えて、第１撮像条件が設定されて生成された第１処理用画像データの参照画素Ｐｒ７、Ｐｒ８の画像データを画像処理に用いる。

図７（ｄ）は、第１処理用画像データのうち、図７（ｃ）に示す本画像データの注目画素Ｐおよび参照画素Ｐｒと対応する画素、すなわち撮像素子３２ａの撮像面上での座標値が同一の画素からの画像データを示す。第１処理用画像データが第１撮像条件で撮像されているので、図７（ｄ）では注目画素Ｐと参照画素Ｐｒから出力された画素データを白地で示す。処理部３３ｂは、本画像データ中の参照画素Ｐｒ７、Ｐｒ８の画像データに代えて、第１処理用画像データ中の参照画素Ｐｒ７、Ｐｒ８の画像データを選択する。処理部３３ｂは、本画像データ中の参照画素Ｐｒ１〜Ｐｒ６の画像データと、第1処理用画像データ中の参照画素Ｐｒ７、Ｐｒ８とを参照して、本画像データの注目画素Ｐの画像データを算出する。すなわち、処理部３３ｂは、同一の撮像条件が設定されて撮像された異なる画像データを用いて、注目画素Ｐの画像データを算出する。

第１撮像条件と第４撮像条件とが異なる場合の例を以下に示す。
（例１）
第１撮像条件と第４撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で第４撮像条件のＩＳＯ感度が８００の場合を例に挙げる。本画像データのうち注目画素Ｐは第１撮像条件（ＩＳＯ感度１００）で取得されている。この場合、画像処理部３３の処理部３３ｂは、参照画素Ｐｒのうち第１撮像条件で取得された本画像データの参照画素Ｐｒ１〜Ｐｒ６の画像データと、ＩＳＯ感度が１００で取得された第１処理用画像データの参照画素Ｐｒ７、Ｐｒ８（図７（ｄ））の画像データとを使用して画像処理を行う。処理部３３ｂは、第１撮像条件で取得された参照画素Ｐｒのうち第４撮像条件（ＩＳＯ感度８００）で取得された参照画素Ｐｒ７、Ｐｒ８の画像データを使用しない。

（例２）
第１撮像条件と第４撮像条件との間で、シャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第４撮像条件のシャッター速度が１／１００秒の場合を例に挙げる。本画像データのうち注目画素Ｐは第１撮像条件（シャッター速度１／１０００秒）で取得されている。この場合、画像処理部３３の処理部３３ｂは、参照画素Ｐｒのうちシャッター速度１／１０００秒で取得された本画像データの参照画素Ｐｒ１〜Ｐｒ６の画像データと、シャッター速度が１／１０００秒で取得された第１処理用画像データの参照画素Ｐｒ７、Ｐｒ８の画像データを使用して画像処理を行う。処理部３３ｂは、第４撮像条件（シャッター速度１／１００秒）で取得された本画像データの参照画素Ｐｒ７、Ｐｒ８の画像データを使用しない。

（例３）
第１撮像条件と第４撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第４撮像条件のフレームレートが６０ｆｐｓの場合を例に挙げる。本画像データのうち注目画素Ｐは第１撮像条件（３０ｆｐｓ）で取得されている。この場合、画像処理部３３の処理部３３ｂは、参照画素Ｐｒのうち３０ｆｐｓで取得された本画像データの参照画素Ｐｒ１〜Ｐｒ６の画像データと、３０ｆｐｓで取得された第１処理用画像データの参照画素Ｐｒ７、Ｐｒ８の画像データを使用して画像処理を行う。処理部３３ｂは、第４撮像条件（６０ｆｐｓ）で取得された本画像データの参照画素Ｐｒ７、Ｐｒ８の画像データを使用しない。

一方、画像処理部３３の処理部３３ｂは、注目画素Ｐにおいて撮像時に適用された第１撮像条件と、注目画素Ｐの周囲の全参照画素Ｐｒにおいて適用された撮像条件とが同一である場合には、第１撮像条件で取得された参照画素Ｐｒのデータを画像処理に用いる。すなわち、処理部３３ｂは、参照画素Ｐｒのデータをそのまま画像処理に用いる。
なお、上述したように、撮像条件に多少の差異があっても同一の撮像条件とみなす。

なお、処理部３３ｂは、第１撮像条件で取得された注目画素Ｐの画像データに対して、第１撮像条件で取得された参照画素Ｐｒの画像データと、第１撮像条件で取得された第１処理用画像データの参照画素Ｐｒの画像データとを用いて画像処理を行うものに限定されない。たとえば、処理部３３ｂは、第１撮像条件で取得された注目画素Ｐの画像データに対して、本画像データの参照画素Ｐｒ１〜Ｐｒ８の画像データを用いず、第１処理用画像データの参照画素Ｐｒ１〜Ｐｒ８の画像データを用いて画像処理を行っても良い。すなわち、処理部３３ｂは、注目画素Ｐが撮像された際に設定された撮像条件と同一の撮像条件にて撮像された参照画素Ｐｒの画像データを用いて、注目画素Ｐの画像データに対して画像処理を施せば良い。

＜画像処理の例示＞
処理用画像データを用いて行われる画像処理について例示する。
（１）撮像画素欠陥補正処理
本実施の形態において、撮像画素欠陥補正処理は、撮像時に行う画像処理の１つである。一般に、固体撮像素子である撮像素子１００は、製造過程や製造後において画素欠陥が生じ、異常なレベルのデータを出力する場合がある。そこで、画像処理部３３の処理部３３ｂは、画素欠陥が生じた撮像画素から出力された画像データに対して画像処理を施すことにより、画素欠陥が生じた撮像画素の位置における画像データを目立たないようにする。

撮像画素欠陥補正処理の一例を説明する。画像処理部３３の処理部３３ｂの）は、例えば、本画像データにおいてあらかじめ不揮発性メモリ（不図示）に記録されている画素欠陥の位置の画素を注目画素Ｐ（処理対象画素）とし、注目画素Ｐを中心とする注目範囲９０（例えば３×３画素）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素Ｐｒとする。

画像処理部３３の処理部３３ｂは、参照画素Ｐｒにおける画像データの最大値、最小値を算出し、注目画素Ｐから出力された画像データがこれら最大値または最小値を超えるときは注目画素Ｐから出力された画像データを上記最大値または最小値で置き換えるMax,Minフィルタ処理を行う。このような処理を、不揮発性メモリ（不図示）に位置情報が記録されている全ての画素欠陥が生じた撮像画素からの画像データに対して行う。

本実施の形態において、画像処理部３３の処理部３３ｂは、撮像時に注目画素Ｐに適用された撮像条件（図７の例では第１撮像条件）と異なる撮像条件が適用された画素が上記参照画素Ｐｒ（図７のＰｒ７、Ｐｒ８）に含まれる場合に、第１処理用画像データの参照画素Ｐｒ（図７のＰｒ７、Ｐｒ８）の画像データを選択する。その後、画像処理部３３の生成部３３ｃが、本画像データの参照画素Ｐｒ１〜Ｐｒ６の画像データと第１処理用画像データの参照画素Ｐｒ７、Ｐｒ８の画像データとを用いて上述したMax,Minフィルタ処理を行う。

（２）色補間処理
本実施の形態において、色補間処理は、撮像時に行う画像処理の１つである。図３に例示したように、撮像素子３２ａの撮像チップ１１１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒがベイヤー配列されている。画像処理部３３の処理部３３ｂは、各画素位置において配置されたカラーフィルタＦの色成分と異なる色成分の画像データが不足するので、周辺の画素位置の画像データを参照して不足する色成分の画像データを生成する色補間処理を行う。

色補間処理の一例を説明する。図８（ａ）は、撮像素子３２ａから出力された画像データの並びを例示する図である。各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有する。
＜Ｇ色補間＞
Ｇ色補間を行う画像処理部３３の処理部３３ｂは、Ｒ色成分およびＢ色成分の位置を順番に注目位置として、注目位置の周囲の参照位置の４つのＧ色成分の画像データを参照して注目位置におけるＧ色成分の画像データを生成する。例えば、図８（ｂ）の太枠（２行目２列目）で示す注目位置においてＧ色成分の画像データを生成する場合、注目位置の近傍に位置する４つのＧ色成分の画像データＧ１〜Ｇ４を参照する。画像処理部３３（生成部３３ｃ）は、例えば（ａＧ１＋ｂＧ２＋ｃＧ３＋ｄＧ４）／４を、注目位置におけるＧ色成分の画像データとする。なお、ａ〜ｄは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

図８（ａ）〜図８（ｃ）において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第１撮像条件とは異なる撮像条件が適用されているものとする。画像処理部３３の処理部３３ｂは、図８（ｂ）において斜線で示したＧ色成分の画像データＧ４に対応する参照位置に、注目位置に適用された第１撮像条件と異なる撮像条件が適用されているので、画像データＧ４については第１処理用画像データの参照画素Ｐｒの画像データを用いる。こうして、画像処理部３３の処理部３３ｂは全て第１撮像条件が適用された参照画素Ｇ１〜Ｇ４の画像データを用いて、注目位置におけるＧ色成分の画像データを算出する。

画像処理部３３の処理部３３ｂは、図８（ａ）におけるＢ色成分の位置およびＲ色成分の位置においてそれぞれＧ色成分の画像データを生成することにより、図８（ｃ）に示すように、各画素位置においてＧ色成分の画像データを得ることができる。

＜Ｒ色補間＞
図９（ａ）は、図８（ａ）からＲ色成分の画像データを抽出した図である。画像処理部３３の処理部３３ｂは、図８（ｃ）に示すＧ色成分の画像データと図９（ａ）に示すＲ色成分の画像データとに基づいて図９（ｂ）に示す色差成分Ｃｒの画像データを算出する。

画像処理部３３の処理部３３ｂは、例えば図９（ｂ）の太枠（２行目２列目）で示す注目位置において色差成分Ｃｒの画像データを生成する場合、注目位置の近傍に位置する４つの色差成分の画像データＣｒ１〜Ｃｒ４を参照する。画像処理部３３（処理部３３ｂ）は、例えば（ｅＣｒ１＋ｆＣｒ２＋ｇＣｒ３＋ｈＣｒ４）／４を、注目位置における色差成分Ｃｒの画像データとする。なお、ｅ〜ｈは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

同様に、画像処理部３３の処理部３３ｂは、例えば図９（ｃ）の太枠（２行目３列目）で示す注目位置において色差成分Ｃｒの画像データを生成する場合、注目位置の近傍に位置する４つの色差成分の画像データＣｒ２、Ｃｒ４〜Ｃｒ６を参照する。画像処理部３３の処理部３３ｂは、例えば（ｑＣｒ２＋ｒＣｒ４＋ｓＣｒ５＋ｔＣｒ６）／４を、注目位置における色差成分Ｃｒの画像データとする。なお、ｑ〜ｔは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、全画素について色差成分Ｃｒの画像データが生成される。

図９（ａ）〜図９（ｃ）において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第１撮像条件とは異なる撮像条件が適用されているものとする。図９（ｂ）において斜線で示した色差成分Ｃｒの画像データＣｒ２に対応する参照位置に、注目位置（２行目２列目）に適用された第１撮像条件と異なる撮像条件が適用されている。画像処理部３３（処理部３３ｂ）は、画像データＣｒ２については第１処理用画像データの参照画素Ｐｒの画像データを用いる。その後、画像処理部３３の処理部３３ｂが注目位置における色差成分Ｃｒの画像データを算出する。
また、図９（ｃ）において斜線で示した色差成分Ｃｒの画像データＣｒ４およびＣｒ５に対応する参照位置に、注目位置（２行目３列目）に適用された撮像条件とは異なる第１撮像条件が適用されている。画像処理部３３（処理部３３ｂ）は、画像データＣｒ４およびＣｒ５については、処理用画像データの参照画素Ｐｒの画像データを用いる。その後、画像処理部３３の処理部３３ｂが注目位置における色差成分Ｃｒの画像データを算出する。

画像処理部３３の処理部３３ｂは、各画素位置において色差成分Ｃｒの画像データを得たのち、各画素位置に対応させて図８（ｃ）に示すＧ色成分の画像データを加算することにより、各画素位置においてＲ色成分の画像データを得ることができる。

＜Ｂ色補間＞
図１０（ａ）は、図８（ａ）からＢ色成分の画像データを抽出した図である。画像処理部３３の処理部３３ｂは、図８（ｃ）に示すＧ色成分の画像データと図１０（ａ）に示すＢ色成分の画像データとに基づいて図１０（ｂ）に示す色差成分Ｃｂの画像データを算出する。

画像処理部３３の処理部３３ｂは、例えば図１０（ｂ）の太枠（３行目３列目）で示す注目位置において色差成分Ｃｂの画像データを生成する場合、注目位置の近傍に位置する４つの色差成分の画像データＣｂ１〜Ｃｂ４を参照する。画像処理部３３の処理部３３ｂは、例えば（ｕＣｂ１＋ｖＣｂ２＋ｗＣｂ３＋ｘＣｂ４）／４を、注目位置における色差成分Ｃｂの画像データとする。なお、ｕ〜ｘは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。

同様に、画像処理部３３の処理部３３ｂは、例えば図１０（ｃ）の太枠（３行目４列目）で示す注目位置において色差成分Ｃｂの画像データを生成する場合、注目位置の近傍に位置する４つの色差成分の画像データＣｂ２、Ｃｂ４〜Ｃｂ６を参照する。画像処理部３３の処理部３３ｂは、例えば（ｙＣｂ２＋ｚＣｂ４＋αＣｂ５＋βＣｂ６）／４を、注目位置における色差成分Ｃｂの画像データとする。なお、ｙ、ｚ、α、βは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、全画素について色差成分Ｃｂの画像データが生成される。

図１０（ａ）〜図１０（ｃ）において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第１撮像条件とは異なる撮像条件が適用されているものとする。画像処理部３３の処理部３３ｂは、図１０（ｂ）において斜線で示した色差成分Ｃｂの画像データＣｂ１およびＣｂ３に対応する参照位置に、注目位置（３行目３列目）に適用された撮像条件と異なる第１撮像条件が適用されているので、データＣｂ１およびＣｂ３については、処理用画像データの参照画素Ｐｒの画像データを用いる。その後、画像処理部３３の生成部３３ｃが注目位置における色差成分Ｃｂの画像データを算出する。
図１０（ｃ）において注目位置（３行目４列目）における色差成分Ｃｂの画像データを算出する場合、注目位置の近傍に位置する４つの色差成分の画像データＣｂ２、Ｃｂ４〜Ｃｂ６に対応する参照位置には、注目位置と同じ撮像条件が適用されている。画像処理部３３の生成部３３ｃは、注目位置における色差成分Ｃｂの画像データを算出する。

画像処理部３３の処理部３３ｂは、各画素位置において色差成分Ｃｂの画像データを得たのち、各画素位置に対応させて図８（ｃ）に示すＧ色成分の画像データを加算することにより、各画素位置においてＢ色成分の画像データを得ることができる。

（３）輪郭強調処理
輪郭強調処理の一例を説明する。画像処理部３３の処理部３３ｂは、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ^２−１)個の参照画素の位置が参照位置である。
なお、カーネルサイズはＮ×Ｍ画素であってもよい。

画像処理部３３の処理部３３ｂは、注目画素Ｐにおけるデータを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。

本実施の形態において、画像処理部３３の処理部３３ｂは、注目画素Ｐに適用された第１撮像条件と異なる撮像条件が適用された画素が上記参照画素Ｐｒに含まれる場合に、第１撮像条件とは異なる撮像条件が適用された画素については第１処理用画像データの参照画素Ｐｒの画像データを用いる。その後、画像処理部３３の生成部３３ｃが上述した線型フィルタ処理を行う。

（４）ノイズ低減処理
ノイズ低減処理の一例を説明する。画像処理部３３の処理部３３ｂは、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ^２−１)個の参照画素の位置が参照位置である。
なお、カーネルサイズはＮ×Ｍ画素であってもよい。

画像処理部３３の処理部３３ｂは、注目画素Ｐにおけるデータを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。

本実施の形態において、画像処理部３３の処理部３３ｂは、撮像時に注目画素Ｐに適用された第１撮像条件と異なる撮像条件が適用された画素が上記参照画素Ｐｒに含まれる場合に、第１撮像条件とは異なる撮像条件が適用された画素については第１処理用画像データの参照画素Ｐｒの画像データを用いる。その後、画像処理部３３の処理部３３ｂが上述した線型フィルタ処理を行う。

なお、上記の説明では、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定するものとして説明したが、本実施の形態はこの例に限定されない。設定部３４ｂは、撮像素子３２ａの撮像面の一部の領域を処理用撮像領域として設定しても良い。たとえば、設定部３４ｂは、本画像データの第１領域６１に対応する領域を処理用撮像領域として設定し、第１撮像条件を適用する。この場合、設定部３４ｂは、第１領域６１とこの第１領域６１の外周よりも例えば所定の画素数程度外側に広げた外側領域を処理用撮像領域として設定する。処理部３３ｂは、第１領域６１に対応する処理用撮像領域以外の領域については、第２領域６２〜第６領域６６のそれぞれに対応させて撮像素子３２ａの撮像面で領域を分割し、第２撮像条件〜第６撮像条件を適用する。換言すると、設定部３４ｂは、第１撮像条件が設定された領域と他の撮像条件が設定された領域とを含む撮像面上の処理用撮像領域に第１撮像条件を適用し、処理用撮像領域以外の領域には第１撮像条件とは異なる撮像条件を適用する。
なお、第２〜第６処理用画像データのそれぞれについても、設定部３４ｂは、同様に第２領域６２〜第６領域６６よりも広い領域として設定された処理用撮像領域を用いて撮像部３２に撮像させる。

または、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定して撮像された画像データから、本画像データに設定された各領域とその各領域の上述の外側領域とに関する画像データを抽出して各処理用画像データとしても良い。たとえば、設定部３４ｂは、第１撮像条件が設定され、撮像素子３２ａの撮像面の全領域を用いて撮像された画像データから、本画像データの第１領域６１とその第１領域６１の外側領域とから抽出した画像データを第１処理画像データとして生成する。第２処理用画像データ〜第６処理用画像データについても、設定部３４ｂは、第２撮像条件〜第６撮像条件が適用されて撮像面の全領域を用いて撮像されたそれぞれの画像データから、第２領域６２〜第６領域６６に対応する領域からの画像データをそれぞれ抽出して処理用画像データとすれば良い。

また、設定部３４ｂは、本画像データに設定された各領域に対応させて処理用撮像領域を設定するものに限定されない。撮像素子３２ａの撮像面の一部の領域に予め処理用撮像領域が設定されていても良い。たとえば、撮像素子３２ａの撮像面の中央部付近に処理用撮像領域が設定されている場合には、ポートレートのように人物を画面の中央に位置させて撮像する際に、主要な被写体が位置する可能性が高い領域で処理用画像データを生成させることができる。この場合、処理用撮像領域の大きさはユーザーの操作に基づいて変更可能としても良いし、予め設定された大きさで固定としても良い。

２．焦点検出処理を行う場合
処理用画像データを焦点検出処理に用いる場合について説明する。設定部３４ｂは、撮像素子３２ａの撮像面の全領域に同一の撮像条件が設定されて撮像された処理用画像データを用いて焦点検出処理を行う。ＡＦ動作のフォーカスポイント、すなわち焦点検出エリアが、撮像条件の異なる第１および第２領域に分断されている場合、ＡＦ演算部３４ｄによる焦点検出処理の精度が低下する虞があるためである。例えば、画像において像ズレ量（位相差）を検出する焦点検出用の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて像ズレ量（位相差）の検出を行うよりも、撮像条件の相違による画像データ間の差異の無い画像データを用いて像ズレ量（位相差）の検出を行う方が好ましいという考え方に基づき、処理用画像データを用いた焦点検出処理を行う。

＜焦点検出処理の例示＞
本実施の形態のＡＦ動作は、例えば、撮像画面における複数のフォーカスポイントの中からユーザーが選んだフォーカスポイントに対応する被写体にフォーカスを合わせる。制御部３４のＡＦ演算部３４ｄは、撮像光学系３１の異なる瞳領域を通過した光束による複数の被写体像の像ズレ量（位相差）を検出することにより、撮像光学系３１のデフォーカス量を算出する。制御部３４のＡＦ演算部３４ｄは、デフォーカス量をゼロ（許容値以下）にする位置、すなわち合焦位置へ、撮像光学系３１のフォーカスレンズを移動させる。

図１１は、撮像素子３２ａの撮像面における焦点検出用画素の位置を例示する図である。本実施の形態では、撮像チップ１１１のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図１１の例では、１５本の焦点検出画素ライン１６０が所定の間隔で設けられる。焦点検出画素ライン１６０を構成する焦点検出用画素は、焦点検出用の光電変換信号を出力する。撮像チップ１１１において焦点検出画素ライン１６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、ライブビュー画像や記録用の光電変換信号を出力する。

図１２は、図１１に示すフォーカスポイント８０Ａに対応する上記焦点検出画素ライン１６０の一部の領域を拡大した図である。図１２において、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂと、焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２とが例示される。赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂは、上述したベイヤー配列の規則にしたがって配される。

赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系３１（図１）の射出瞳を通る光束を受光する。すなわち、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。
なお、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂの受光領域（マスク開口部）の形状は四角形に限定されず、例えば円形であってもよい。

焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素Ｓ１は、図１２において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ１の受光部に到達する。一方、焦点検出用画素Ｓ２は、図１２において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ２の受光部に到達する。このように、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２は、撮像光学系３１（図１）の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。

なお、撮像チップ１１１における焦点検出画素ライン１６０の位置は、図１１に例示した位置に限定されない。また、焦点検出画素ライン１６０の数についても、図１１の例に限定されるものではない。さらに、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素Ｒ、撮像用画素Ｇ、撮像用画素Ｂにおける四角形状受光領域（マスク開口部）を横方向に分割した長方形状としてもよい。

また、撮像チップ１１１における焦点検出画素ライン１６０は、撮像チップ１１１のＹ軸方向（鉛直方向）に沿って焦点検出用画素を並べて設けたものであってもよい。図１２のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。

なお、図１２の例では、焦点検出用画素Ｓ１、Ｓ２がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる１ＰＤ構造を説明した。この代わりに、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる２ＰＤ構造にしてもよい。２ＰＤ構造にすることにより、焦点検出用画素から得られた光電変換信号を記録用の光電変換信号として用いることが可能になる。

制御部３４のＡＦ演算部３４ｄは、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２から出力される焦点検出用の光電変換信号に基づいて、撮像光学系３１（図１）の異なる領域を通る一対の光束による一対の像の像ズレ量（位相差）を検出する。そして、像ズレ量（位相差）に基づいてデフォーカス量を演算する。このような瞳分割位相差方式によるデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。

フォーカスポイント８０Ａ（図１１）は、図７（ａ）に例示したライブビュー画像６０ａにおいて、第１領域６１の所定範囲８０に対応する位置に、ユーザーによって選ばれているものとする。図１３は、フォーカスポイント８０Ａを拡大した図である。白地の画素は第１撮像条件が設定されていることを示し、網掛けの画素は第４撮像条件が設定されていることを示す。図１３において枠１７０で囲む位置は、焦点検出画素ライン１６０（図１１）に対応する。

制御部３４のＡＦ演算部３４ｄは、通常、枠１７０で示す焦点検出用画素による画像データをそのまま用いて焦点検出処理を行う。しかしながら、枠１７０で囲む画像データに、第１撮像条件が適用された画像データと第４撮像条件が適用された画像データが混在する場合には、制御部３４のＡＦ演算部３４ｄは、第１撮像条件が適用された第１処理用画像データを用いて焦点検出処理を行う。この場合、制御部３４のＡＦ演算部３４ｄは、第１処理用画像データのうち、枠１７０に囲まれた範囲に対応する画像データを用いる。

第１撮像条件と第４撮像条件とが異なる場合の例を以下に示す。
（例１）
第１撮像条件と第４撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で第４撮像条件のＩＳＯ感度が８００の場合を例に挙げる。枠１７０で囲む画像データの一部は第１撮像条件（ＩＳＯ感度１００）で取得され、残りは第４撮像条件（ＩＳＯ感度８００）で取得されている。この場合、制御部３４のＡＦ演算部３４ｄは、第１撮像条件が適用された第１処理用画像データのうちの枠１７０に囲まれた範囲に対応する画像データを用いて焦点検出処理を行う。

（例２）
第１撮像条件と第４撮像条件との間で、シャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第４撮像条件のシャッター速度が１／１００秒の場合を例に挙げる。枠１７０で囲む画像データの一部は第１撮像条件（シャッター速度１／１０００秒）で取得され、残りは第４撮像条件（シャッター速度１／１００秒）で取得されている。この場合、制御部３４のＡＦ演算部３４ｄは、第１撮像条件（シャッター速度１／１０００秒）が適用された第１処理用画像データのうちの枠１７０に囲まれた範囲に対応する画像データを用いて焦点検出処理を行う。

（例３）
第１撮像条件と第４撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第４撮像条件のフレームレートが６０ｆｐｓの場合を例に挙げる。枠１７０で囲む画像データの一部は第１撮像条件（３０ｆｐｓ）で取得され、残りは第４撮像条件（６０ｆｐｓ）で取得されている。この場合、制御部３４のＡＦ演算部３４ｄは、第１撮像条件（３０ｆｐｓ）が適用された第１処理用画像データのうちの枠１７０に囲まれた範囲に対応する画像データを用いて焦点検出処理を行う。

一方、制御部３４のＡＦ演算部３４ｄは、枠１７０で囲む画像データにおいて適用された撮像条件が同一である場合には処理用画像データを用いなくて良い。つまり、制御部３４のＡＦ演算部３４ｄは、枠１７０で示す焦点検出用画素による画像データをそのまま用いて焦点検出処理を行う。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。

以上の説明では、瞳分割位相差方式を用いた焦点検出処理を例示したが、被写体像のコントラストの大小に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるコントラスト検出方式の場合も同様に行うことができる。

コントラスト検出方式を用いる場合、制御部３４は、撮像光学系３１のフォーカスレンズを移動させながら、フォーカスレンズのそれぞれの位置において、フォーカスポイントに対応する撮像素子３２ａの撮像用画素から出力された画像データに基づいて公知の焦点評価値演算を行う。そして、焦点評価値を最大にするフォーカスレンズの位置を合焦位置として求める。

制御部３４は、通常、フォーカスポイントに対応する撮像用画素から出力された画像データをそのまま用いて焦点評価値演算を行う。しかしながら、フォーカスポイントに対応する画像データに、第１撮像条件が適用された画像データと第１撮像条件とは異なる撮像条件が適用された画像データが混在する場合には、制御部３４が、第１撮像条件が適用された第１処理用画像データを用いて、焦点評価値演算を行う。

なお、上記の説明では、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定するものとして説明したが、本実施の形態はこの例に限定されない。設定部３４ｂは、撮像素子３２ａの撮像面の一部の領域を処理用撮像領域として設定しても良い。たとえば、設定部３４ｂは、枠１７０を包含する範囲や、フォーカスポイントを包含する範囲に対応する領域や、撮像素子３２ａの撮像面の中央部付近を処理用撮像領域として設定する。
または、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定して撮像された画像データから、枠１７０を包含する範囲や、フォーカスポイントを包含する範囲に対応する領域を抽出して各処理用画像データとしても良い。

３．被写体検出処理を行う場合
図１４（ａ）は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１４（ｂ）は、ライブビュー画像６０（ａ）および探索範囲１９０を例示する図である。制御部３４の物体検出部３４ａは、ライブビュー画像から対象物（例えば、図５の被写体要素の一つであるバッグ６３ａ）を検出する。制御部３４の物体検出部３４ａは、対象物を検出する範囲をライブビュー画像６０ａの全範囲としてもよいが、検出処理を軽くするために、ライブビュー画像６０ａの一部を探索範囲１９０としてもよい。

制御部３４の物体検出部３４ａは、探索範囲１９０が撮像条件の異なる複数の領域で分断される場合、撮像素子３２ａの全領域に同一の撮像条件が設定されて撮像された処理用画像データを用いて被写体検出処理を行う。
一般に、被写体要素の検出に用いる探索範囲１９０が、２つの領域の境界を含む場合、探索範囲１９０の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて被写体要素の検出を行うよりも、探索範囲１９０内に撮像条件の相違による画像データ間の差異が無い画像データを用いて被写体要素の検出を行う方が好ましいという考え方に基づき、処理用画像データを使用した被写体検出処理を行う。

図５に例示したライブビュー画像６０ａにおいて、人物６１ａの持ち物であるバッグ６３ａを検出する場合を説明する。制御部３４の物体検出部３４ａは、人物６１ａを含む領域の近傍に探索範囲１９０を設定する。なお、人物６１ａを含む第１領域６１を探索範囲に設定してもよい。なお、上述したように、第３領域６３には第３撮像条件が設定されている。

制御部３４の物体検出部３４ａは、探索範囲１９０が撮像条件の異なる２つの領域によって分断されていない場合には、探索範囲１９０を構成する画像データをそのまま用いて被写体検出処理を行う。しかしながら、仮に、探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第３撮像条件が適用された画像データが混在する場合には、制御部３４の物体検出部３４ａは、処理用画像データを用いる。この場合、制御部３４の被写体検出部３４ａは，バッグ６３ａに対応する第３領域６３に適用された第３撮像条件にて撮像された第３処理用画像データを用いて被写体検出処理を行う。なお、設定された撮像条件は、焦点検出処理を行う場合として上述した（例１）〜（例３）と同様である。

上述した探索範囲１９０の画像データを、人物の顔のような特定被写体を検出するために用いる探索範囲や、撮像シーンの判定に用いる領域に対して適用してもよい。
また、上述した探索範囲１９０の画像データに対してテンプレート画像を用いたパターンマッチング法に用いる探索範囲に限らず、画像の色やエッジなどに基づく特徴量を検出する際の探索範囲においても同様に適用してよい。

また、ライブビュー画像のように取得時刻が異なる複数フレームの画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得されたフレーム画像における追尾対象物と類似する領域を後から取得されたフレーム画像から探索する移動体の追尾処理に適用してもよい。この場合において、制御部３４は、後から取得されたフレーム画像に設定する探索範囲において、異なる撮像条件が混在して適用された場合には、制御部３４は処理用画像データのうちの探索範囲の画像データを用いて追尾処理を行う。

さらにまた、取得時刻が異なる複数フレームの画像データを用いて公知の動きベクトルを検出する場合も同様である。制御部３４は、画像データのうち、動きベクトルの検出に用いる検出領域において、異なる撮像条件が混在して適用された場合には、処理用画像データのうちの、動きベクトルの検出に用いる検出領域の画像データを用いて動きベクトルを検出する。

なお、上記の説明では、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定するものとして説明したが、本実施の形態はこの例に限定されない。設定部３４ｂは、撮像素子３２ａの撮像面の一部の領域を処理用撮像領域として設定しても良い。たとえば、設定部３４ｂは、探索範囲１９０を包含する範囲や、動きベクトルの検出に用いる検出範囲を包含する範囲に対応する領域や、撮像素子３２ａの撮像面の中央部付近を処理用撮像領域として設定する。
または、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定して撮像された画像データから、探索範囲１９０を包含する範囲や、動きベクトルの検出に用いる検出範囲を包含する範囲を抽出して各処理用画像データを生成しても良い。

４．撮像条件を設定する場合
制御部３４の設定部３４ｂは、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、領域の境界付近に位置する画像データについては、処理用画像データを用いる。例えば、撮像画面の中央部に設定された測光範囲に、分割された領域の境界を含む場合、測光範囲の画像データの中に異なる撮像条件が適用された画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された画像データをそのまま用いて露出演算処理を行うよりも、撮像条件の相違による画像データ間の差異が無い画像データを用いて露出演算処理を行う方が好ましいという考え方に基づき、処理用画像データを使用した露出演算処理を行う。

制御部３４の設定部３４ｂは、測光範囲が撮像条件の異なる複数の領域によって分断されていない場合には、測光範囲を構成する画像データをそのまま用いて露出演算処理を行う。しかしながら、仮に、測光範囲の画像データに、第１撮像条件が適用された画像データと第４撮像条件が適用された画像データが混在する場合（たとえば図７の境界部８０を含む領域）には、制御部３４の設定部３４ｂは、処理用画像データを用いる。この場合、制御部３４の設定部３４ｂは，第１領域６１に適用された第１撮像条件にて撮像された第１処理用画像データを用いて露出演算処理を行う。なお、設定された撮像条件は、焦点検出処理を行う場合として上述した（例１）〜（例３）と同様である。

上述した露出演算処理を行う際の測光範囲に限らず、ホワイトバランス調整値を決定する際に行う測光（測色）範囲や、撮影補助光を発する光源による撮影補助光の発光要否を決定する際に行う測光範囲、さらには、上記光源による撮影補助光の発光量を決定する際に行う測光範囲においても同様である。

また、撮像画面を分割した領域間で、画像信号の読み出し解像度を異ならせる場合において、領域ごとの読み出し解像度を決定する際に行う撮像シーンの判定に用いる領域に対しても同様に扱うことができる。

なお、上記の説明では、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定するものとして説明したが、本実施の形態はこの例に限定されない。設定部３４ｂは、撮像素子３２ａの撮像面の一部の領域を処理用撮像領域として設定しても良い。たとえば、設定部３４ｂは、測光範囲を包含する範囲に対応する領域や、撮像素子３２ａの撮像面の中央部付近を処理用撮像領域として設定する。
または、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定して撮像された画像データから、測光範囲を包含する範囲する範囲を抽出して各処理用画像データを生成しても良い。

上述した各種処理の際に使用される処理用画像データを生成するタイミングについて説明する。以下、画像処理に用いる処理用画像データを生成するタイミングと、焦点検出処理、被写体検出処理および露出条件設定処理（以下、検出・設定処理と呼ぶ）に用いる処理用画像データを生成するタイミングとに分けて、説明を行う。

＜画像処理に用いる処理用画像データの生成＞
撮像制御部３４ｃは、撮像部３２に本画像データを撮像させるタイミングとは異なるタイミングにて処理用画像データを撮像させる。本実施の形態では、撮像制御部３４ｃは、ライブビュー画像の表示の際、または、操作部材３６の操作の際に撮像部３２に処理用画像データを撮像させる。さらに、撮像制御部３４ｃは、処理用画像データの撮像を指示する際に、設定部３４ｂによって処理用画像データに設定される撮像条件についての情報を出力する。以下、ライブビュー画像の表示の際での処理用画像データの撮像と、操作部材３６の操作のときの処理用画像データの撮像とに分けて説明を行う。

（１）ライブビュー画像の表示時
撮像制御部３４ｃは、ユーザーによりライブビュー画像の表示開始を指示する操作が行われた後、撮像部３２に処理用画像データの撮像を行わせる。この場合、撮像制御部３４ｃは、ライブビュー画像の表示中に、所定の周期ごとに、撮像部３２に処理用画像データを撮像させる。たとえば、撮像制御部３４ｃは、ライブビュー画像のフレームレートのうち、たとえば偶数フレームを撮像させるタイミングや、１０フレームのライブビュー画像を撮像した次のタイミングでは、ライブビュー画像の撮像の指示に代えて、処理用画像データの撮像を指示する信号を撮像部３２に出力する。
このとき、撮像制御部３４ｃは、撮像部３２に、設定部３４ｂにより設定された撮像条件にて処理用画像データを撮像させる。

図１５を用いて、ライブビュー画像のための画像データの撮像のタイミングと、処理用画像データの撮像のタイミングとの関係について例示する。図１５（ａ）は、ライブビュー画像の撮像と、処理用画像データの撮像とを１フレームおきに交互に行う場合を示す。なお、ユーザーの操作により第１領域６１〜第３領域６３（図７（ａ））に対して第１撮像条件〜第３撮像条件が設定されたものとする。このとき、本画像データの第１領域６１〜第３領域６３のそれぞれに対する処理に用いるため、第１撮像条件が設定された第１処理用画像データＤ１と、第２撮像条件が設定された第２処理用画像データＤ２と、第３撮像条件が設定された第３処理用画像データＤ３とが撮像される。

撮像制御部３４ｃは、撮像部３２に第Ｎフレームのライブビュー画像ＬＶ１の撮像を指示し、制御部３４は撮像により得られたライブビュー画像ＬＶ１を表示部３５に表示させる。第Ｎ＋１フレームの撮像のタイミングにおいては、撮像制御部３４ｃは、撮像部３２に第１撮像条件を適用した第１処理用画像データＤ１の撮像を指示する。撮像制御部３４ｃは、撮像された第１処理用画像データＤ１を所定の記録媒体（不図示）に記録する。この場合、制御部３４は、第Ｎ＋１フレームのライブビュー画像として、第Ｎフレームの撮像のタイミングで撮像されたライブビュー画像ＬＶ１を表示部３５に表示させる。すなわち、前フレームのライブビュー画像ＬＶ１の表示を継続させる。

第Ｎ＋２フレームのライブビュー画像ＬＶ２の撮像のタイミングでは、撮像制御部３４ｃは、撮像部３２に第Ｎ＋２フレームのライブビュー画像ＬＶ２の撮像を指示する。制御部３４は、表示部３５のライブビュー画像ＬＶ１の表示から、第Ｎ＋２フレームの撮像により得られたライブビュー画像ＬＶ２の表示に切り替える。第Ｎ＋３フレームの撮像のタイミングにおいては、撮像制御部３４ｃは、撮像部３２に第２撮像条件を適用した第２処理用画像データＤ２を撮像させ、撮像された第２処理用画像データＤ２を記録する。この場合も、制御部３４は、第Ｎ＋３フレームのライブビュー画像として、第Ｎ＋２フレームの撮像のタイミングで撮像されたライブビュー画像ＬＶ２の表示部３５への表示を継続させる。

第Ｎ＋４フレームでは、第Ｎ、第Ｎ＋２フレームの場合と同様に、撮像制御部３４ｃは、撮像部３２にライブビュー画像ＬＶ３を撮像させ、制御部３４は、撮像されたライブビュー画像ＬＶ３を表示部３５に表示させる。第Ｎ＋５フレームでは、撮像制御部３４ｃは、撮像部３２に第３撮像条件が適用された第３処理用画像データＤ３の撮像を行わせる。このとき制御部３４は、同様に第Ｎ＋４フレームでのライブビュー画像ＬＶ３の表示を表示部３５上で継続させる。以後のフレームでは、制御部３４は、第Ｎ〜第Ｎ＋５フレームでの処理を繰り返し行わせる。

なお、設定部３４ｂが、物体検出部３４ａの検出結果やＡＦ演算部３４ｄの演算結果に基づいて撮像条件を変更する場合には、撮像制御部３４ｃは、処理用画像データを撮像させるタイミング（図１５（ａ）の第Ｎ＋１，Ｎ＋３、Ｎ＋５フレーム）で新たに設定された撮像条件を適用させて、撮像部３２に撮像を行わせればよい。

なお、撮像制御部３４ｃは、ライブビュー画像の表示を開始する前に処理用画像データを撮像部３２に撮像させても良い。たとえば、ユーザーによりカメラ１の電源がオンされたタイミングや、ライブビュー画像の表示開始を指示する操作が行われた場合に、撮像部３２に処理用画像データの撮像を指示する信号を出力する。撮像制御部３４ｃは、第１〜第３処理用画像データの撮像が終了すると、ライブビュー画像の撮像を撮像部３２に指示する。

たとえば、図１５（ｂ）に示すように、撮像制御部３４ｃは、第１〜第３フレームを撮像するタイミングにて、第１撮像条件の第１処理用画像データＤ１、第２撮像条件の第２処理用画像データＤ２、第３撮像条件の第３処理用画像データＤ３をそれぞれ撮像させる。第４フレーム以降、撮像制御部３４ｃは、ライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３、…を撮像させ、制御部３４は表示部３５にライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３、…を順次表示させる。

また、撮像制御部３４ｃは、ライブビュー画像の表示中にユーザーがライブビュー画像の表示を終了する操作を行ったタイミングで撮像部３２に処理用画像データを撮像させても良い。すなわち、操作部材３６からライブビュー画像の表示の終了を指示する操作に対応する操作信号を入力すると、撮像制御部３４ｃが撮像部３２にライブビュー画像の撮像終了を指示する信号を出力する。撮像部３２がライブビュー画像の撮像を終了すると、撮像制御部３２ｃは、処理用画像データの撮像を指示する信号を撮像部３２に出力する。

たとえば、図１５（ｃ）に示すように、第Ｎフレームでライブビュー画像の表示を終了する操作が行われた場合、撮像制御部３４ｃは、第Ｎ＋１〜第Ｎ＋３フレームにて第１撮像条件の第１処理用画像データＤ１、第２撮像条件の第２処理用画像データＤ２、第３撮像条件の第３処理用画像データＤ３をそれぞれ撮像させる。この場合、制御部３４は、第Ｎ＋１〜第Ｎ＋３フレームの期間中、第Ｎフレームで撮像されたライブビュー画像ＬＶ１を表示部３５に表示させても良いし、ライブビュー画像の表示を行わなくても良い。

また、ライブビュー画像の全てのフレームについて、撮像制御部３４ｃは、処理用画像データを撮像させても良い。この場合、設定部３４ｂは、各フレームごとに異なる撮像条件を撮像素子３２ａの撮像面の全領域に設定する。制御部３４は、生成された処理用画像データをライブビュー画像として表示部３５に表示する。

ライブビュー画像を表示中に、撮像中の画像の構図に変化が生じた場合に、撮像制御部３４ｃは、処理用画像データを撮像させても良い。たとえば、制御部３４（設定部３４ｂ）がライブビュー画像に基づいて検出した被写体要素の位置が、前フレームで検出された被写体要素の位置と比較して所定の距離以上ずれている場合に、撮像制御部３４ｃは、処理用画像データの撮像を指示すれば良い。

（２）操作部材３６の操作
処理用画像データを撮像させるための操作部材３６の操作としては、ユーザーによるレリーズボタンの半押し、すなわち撮像の準備を指示する操作や、レリーズボタンの全押し操作、すなわち本撮像の指示をする操作などが挙げられる。

（２−１）レリーズボタンの半押し
ユーザーによりレリーズボタンの半押し操作、すなわち撮像の準備を指示する操作が行われると、操作部材３６から操作信号が出力される。この操作信号は、ユーザーによりレリーズボタンが半押し操作されている期間中、操作部材３６から出力される。制御部３４の撮像制御部３４ｃは、撮像の準備を指示する操作の開始に対応する操作信号を操作部材３６から入力すると、撮像部３２に処理用画像データの撮像を指示する信号を出力する。すなわち、ユーザーにより撮像の準備を指示する操作の開始に応じて、撮像部３２は処理用画像データを撮像する。

なお、撮像制御部３４ｃは、ユーザーによるレリーズボタンの操作が、たとえば半押し操作から全押し操作に移行することにより終了したタイミングで撮像部３２に処理用画像データを撮像させても良い。すなわち、操作部材３６から撮像の準備を指示する操作に対応する操作信号を入力しなくなったタイミングにて、撮像制御部３６ｃが撮像を指示する信号を撮像部３２に出力しても良い。

また、撮像制御部３４ｃは、ユーザーによるレリーズボタンの半押し操作が行われている間、撮像部３２に処理用画像データを撮像させても良い。この場合、撮像制御部３４ｃは、所定の周期ごとに撮像を指示する信号を撮像部３２に出力することができる。これにより、ユーザーによりレリーズボタンの半押し操作が行われている間は、処理用画像データを撮像することができる。または、撮像制御部３４ｃは、ライブビュー画像を撮像するタイミングに合わせて撮像を指示する信号を撮像部３２に出力しても良い。この場合、撮像制御部３４ｃは、ライブビュー画像のフレームレートのうち、たとえば偶数フレームを撮像させるタイミングや、１０フレームのライブビュー画像を撮像した次のタイミングでは処理用画像データの撮像を指示する信号を撮像部３２に出力すれば良い。
また、ライブビュー画像の表示中に処理用画像データが撮像されている場合には、レリーズボタンの半押し操作に基づいた処理用画像データの撮像を行わなくても良い。

（２−２）レリーズボタンの全押し操作
ユーザーによりレリーズボタンの全押し操作、すなわち本撮像を指示する操作が行われると、操作部材３６から操作信号が出力される。制御部３４の撮像制御部３４ｃは、本撮像を指示する操作に対応する操作信号を操作部材３６から入力すると、撮像部３２に本撮像を指示する信号を出力する。本撮像により本画像データの撮像が行われた後、撮像制御部３４ｃは、処理用画像データの撮像を指示する信号を出力する。すなわち、ユーザーにより撮像を指示する操作が行われた後、撮像部３２は本撮像により本画像データの撮像を行ってから処理用画像データを撮像する。
なお、撮像制御部３４ｃは、撮像部３２に本画像データを撮像する前に処理用画像データを撮像させても良い。また、ライブビュー画像の表示中に処理用画像データが撮像されている場合には、レリーズボタンの半押し操作に基づいた処理用画像データの撮像を行わなくても良い。

なお、処理用画像データを撮像するための操作部材３６の操作は、レリーズボタンの半押し操作や全押し操作に限定されない。たとえば、レリーズボタンの操作以外の撮像に関連する操作がユーザーにより行われた場合に、撮像制御部３４ｃが処理用画像データの撮像を指示しても良い。撮像に関連する操作としては、たとえば、撮像倍率を変更する操作、絞りを変更する操作、焦点調節に関する操作（たとえばフォーカスポイントの選択）等がある。変更の操作が終了し新たな設定が確定すると、撮像制御部３４ｃは、撮像部３２に処理用画像データを撮像させる。これにより、新たな設定の下で本撮像を行う場合であっても、本撮像と同様な条件で撮像された処理用画像データを生成できる。

なお、メニュー画面上に対して操作が行われている場合に、撮像制御部３４ｃは、処理用画像データを撮像させても良い。メニュー画面から撮像に関連する操作が行われている場合、本撮像のために新たな設定が行われる可能性が高いからである。この場合、メニュー画面が開かれている期間中、撮像部３２は処理用画像データの撮像を行う。処理用画像データの撮像は、所定の周期ごとに行われても良いし、ライブビュー画像を撮像する際のフレームレートにて撮像されても良い。

撮像に関連しない操作、たとえば画像を再生表示するための操作や再生表示中の操作や時計合わせのための操作が行われている場合には、撮像制御部３４ｃは、処理用画像データの撮像を指示する信号を出力しない。すなわち、撮像制御部３４ｃは、撮像部３２に処理用画像データの撮像を行わせない。これにより、本撮像のための新たな設定が行われる可能性が低い、もしくは本撮像が行われる可能性が低い場合に、処理用画像データを撮像しないようにすることができる。

また、操作部材３６が処理用画像データの撮像を指示するための専用ボタンを有する場合には、ユーザーにより専用ボタンが操作されると、撮像制御部３４ｃが撮像部３２に処理用画像データの撮像を指示する。ユーザーが専用ボタンを操作している間は操作部材３６が操作信号を出力し続ける構成を有する場合には、撮像制御部３４ｃは、専用ボタンの操作が行われている期間中、所定の周期ごとに撮像部３２に処理用画像データを撮像させても良いし、専用ボタンの操作が終了した時点で処理用画像データを撮像させても良い。これにより、ユーザーが所望するタイミングで処理用画像データを撮像することができる。
また、カメラ１の電源がオンされた場合に、撮像制御部３４ｃが撮像部３２に処理用画像データの撮像を指示しても良い。

本実施の形態のカメラ１では、例示した各方式の全てを適用して処理用画像データを撮像しても良いし、少なくとも１つの方式を行っても良いし、各方式からユーザーにより選択された方式を行っても良い。ユーザーによる選択は、たとえば、表示部３５に表示されたメニュー画面から行うことができる。

＜検出・設定処理に用いる処理用画像データの生成＞
撮像制御部３４ｃは、上述した画像処理に用いる処理用画像データを生成するタイミングと同様の各種のタイミングにて検出・設定処理に用いる処理用画像データを撮像させる。すなわち、同一の画像データを、検出・設定処理に用いる処理用画像データとしても、画像処理に用いる処理用画像データとしても用いることができる。以下、画像処理に用いる処理用画像データを生成するタイミングとは異なるタイミングにて、検出・設定処理にもちいる処理用画像データを生成する場合を説明する。

ユーザーによりレリーズボタンの全押し操作が行われた場合には、撮像制御部３４ｃは、撮像部３２に本画像データの撮像を行わせる前に、処理用画像データの撮像を行わせる。この場合、本撮像の直前に撮像された最新の処理用画像データを用いて検出した結果や、設定した結果を本撮像に反映させることができる。

撮像に関連しない操作、たとえば画像を再生表示するための操作や再生表示中の操作や時計合わせのための操作が行われている場合であっても、撮像制御部３４ｃは処理用画像データを撮像させる。この場合、撮像制御部３４ｃは、１フレームの処理用画像データを生成させても良いし、複数フレームの処理用画像データを生成させても良い。

なお、以上の説明では、処理用画像データを、画像処理、焦点検出処理、被写体検出処理および露出設定処理に用いる場合を例に挙げたが、全ての処理に処理用画像データを用いるものに限定されず、上記の処理の少なくとも１つの処理に用いられるものは本実施の形態に含まれる。処理用画像データを何れの処理に用いるかは、ユーザーが表示部３５に表示されるメニュー画面から選択、決定可能に構成されていれば良い。

＜フローチャートの説明＞
図１６は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ１のメインスイッチがオン操作されると、制御部３４は、図１６に示す処理を実行するプログラムを起動させる。ステップＳ１０において、制御部３４は、表示部３５にライブビュー表示を開始させて、ステップＳ２０へ進む。

具体的には、制御部３４が撮像部３２へライブビュー画像の取得開始を指示し、取得されたライブビュー画像を逐次表示部３５に表示させる。上述したように、この時点では撮像チップ１１１の全域、すなわち画面の全体に同一の撮像条件が設定されている。
なお、ライブビュー表示中にＡＦ動作を行う設定がなされている場合、制御部３４のＡＦ演算部３４ｄは、焦点検出処理を行うことにより、所定のフォーカスポイントに対応する被写体要素にフォーカスを合わせるＡＦ動作を制御する。
また、ライブビュー表示中にＡＦ動作を行う設定がなされていない場合、制御部３４のＡＦ演算部３４ｄは、後にＡＦ動作が指示された時点でＡＦ動作を行う。

ステップＳ２０において、制御部３４の物体検出部３４ａは、ライブビュー画像から被写体要素を検出してステップＳ３０へ進む。ステップＳ３０において、制御部３４の設定部３４ｂは、ライブビュー画像の画面を、被写体要素を含む領域に分割してステップＳ４０へ進む。

ステップＳ４０において、制御部３４は表示部３５に領域の表示を行う。制御部３４は、図６に例示したように、分割された領域のうちの撮像条件の設定（変更）の対象となる領域を強調表示させる。また、制御部３４は、撮像条件の設定画面７０を表示部３５に表示させてステップＳ５０へ進む。
なお、制御部３４は、ユーザーの指で表示画面上の他の主要被写体の表示位置がタップ操作された場合は、その主要被写体を含む領域を撮像条件の設定（変更）の対象となる領域に変更して強調表示させる。

ステップＳ５０において、制御部３４は、ＡＦ動作が必要か否かを判定する。制御部３４は、例えば、被写体が動いたことによって焦点調節状態が変化した場合や、ユーザー操作によってフォーカスポイントの位置が変更された場合、またはユーザー操作によってＡＦ動作の実行が指示された場合に、ステップＳ５０を肯定判定してステップＳ７０へ進む。制御部３４は、焦点調節状態が変化せず、ユーザー操作によりフォーカスポイントの位置が変更されず、ユーザー操作によってＡＦ動作の実行も指示されない場合には、ステップＳ５０を否定判定してステップ６０へ進む。

ステップＳ７０において、制御部３４は、ＡＦ動作を行わせてステップＳ４０へ戻る。ステップＳ４０へ戻った制御部３４は、ＡＦ動作後に取得されるライブビュー画像に基づき、上述した処理と同様の処理を繰り返す。

ステップＳ６０において、制御部３４の設定部３４ｂは、ユーザー操作に応じて、強調して表示されている領域に対する撮像条件を設定してステップＳ８０へ進む。すなわち、複数の領域ごとに撮像条件を設定する。なお、ステップＳ６０におけるユーザー操作に応じた表示部３５の表示遷移や撮像条件の設定については、上述したとおりである。

ステップＳ８０において、制御部３４は、ライブビュー画像の表示中に処理用画像データの撮像を行うか否か判定する。ライブビュー画像の表示中に処理用画像データの撮像を行う設定がされている場合には、ステップＳ８０が肯定判定されてステップＳ９０へ進む。ライブビュー画像の表示中に処理用画像データの撮像を行う設定がされていない場合には、ステップＳ８０が否定判定されて後述するステップＳ１００へ進む。

ステップＳ９０では、制御部３４の撮像制御部３４ｃは、撮像部３２にライブビュー画像の撮像中に、所定の周期にて、設定された撮像条件ごとに処理用画像データの撮像を行うように指示してステップＳ１００へ進む。なお、このとき撮像された処理用画像データは、記憶媒体（不図示）に記憶される。ステップＳ１００では、制御部３４は、撮像指示の有無を判定する。制御部３４は、操作部材３６を構成するレリーズボタン、または撮像を指示する表示アイコンが操作された場合、ステップＳ１００を肯定判定してステップＳ１１０へ進む。制御部３４は、撮像指示が行われない場合には、ステップＳ１００を否定判定してステップＳ６０へ戻る。

ステップＳ１１０において、制御部３４は、処理用画像データと本画像データとの撮像処理を行う。すなわち、撮像制御部３４ｃは、ステップＳ６０にて設定された異なる撮像条件ごとに処理用画像データを撮像させるとともに、ステップＳ６０において上記領域ごとに設定された撮像条件で本撮像するように撮像素子３２ａを制御して本画像データを取得しステップＳ１２０へ進む。なお、検出・設定処理に用いる処理用画像データを撮像する場合には、本画像データの撮像の前に処理用画像データの撮像を行う。また、ステップＳ９０にて処理用画像データが撮像されている場合には、ステップＳ１１０で処理用画像データの撮像を行わなくても良い。

ステップＳ１２０において、制御部３４の撮像制御部３４ｃは画像処理部３３へ指示を送り、上記撮像によって得られた本画像データに対してステップＳ９０またはステップＳ１１０で得た処理用画像データを用いて所定の画像処理を行わせてステップＳ１３０へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。

ステップＳ１３０において、制御部３４は記録部３７へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップＳ１４０へ進む。
ステップＳ１４０において、制御部３４は、終了操作が行われたか否かを判断する。制御部３４は、終了操作が行われた場合にステップＳ１４０を肯定判定して図１６による処理を終了する。制御部３４は、終了操作が行われない場合には、ステップＳ１４０を否定判定してステップＳ２０へ戻る。ステップＳ２０へ戻った場合、制御部３４は、上述した処理を繰り返す。

なお、上述した例は、ステップＳ６０で設定した撮像条件で本撮像を行い、本画像データに対してステップＳ９０またはＳ１１０で得られた処理用画像データを用いて処理を行うものであった。しかし、ライブビュー画像の撮像の際に各領域に異なる撮像条件を設定する場合には、焦点検出処理、被写体検出処理や撮像条件設定処理は、ステップＳ９０にてライブビュー画像の表示中に得られた処理用画像データに基づいて行われる。

以上の説明では、撮像素子３２ａとして積層型の撮像素子１００を例示したが、撮像素子（撮像チップ１１１）における複数のブロックごとに撮像条件を設定可能であれば、必ずしも積層型の撮像素子として構成する必要はない。

上述した一実施の形態によれば、次の作用効果が得られる。
（１）カメラ１は、入力部３３ａと処理部３３ｂとを備える。入力部３３ａは、撮像部３２の撮像面の第１領域に第１撮像条件を設定するとともに、撮像面の第２領域に第１撮像条件とは異なる第２撮像条件を設定することにより撮像された本画像データと、第１領域および第２領域に第３撮像条件を設定することにより撮像された処理用画像データとを入力する。処理部３３ｂは、本画像データのうち、第１領域に対応する第１部分画像データに対して、処理用画像データを用いて画像処理を施す。これにより、カメラ１は、撮像条件が異なる各領域で、それぞれ適切に画像を生成できる。すなわち、各領域で生成された画像データから適切に本画像データを生成できる。たとえば、領域ごとの撮像条件の違いによって、生成される本画像データに表れる不連続性や違和感を抑制することができる。

（２）処理部３３ｂは、第１部分画像データのうち第１領域と第２領域と境界部８０に対応する境界部データに対して、処理用画像データを用いて画像処理を施す。これにより、カメラ１は、撮像条件が異なる領域でそれぞれ生成された画像データを用いて適切に画像処理を行うことができる。例えば、領域の境界における撮像条件の違いによって、画像処理後の本画像データに現れる不連続性や違和感を抑制することができる。

（３）処理部３３ｂは、処理用画像データのうち少なくとも第２領域に対応する画像データを用いて、本画像データの境界部データに対して画像処理を施す。これにより、カメラ１は、撮像条件が異なる領域でそれぞれ生成された画像データを用いて適切に画像処理を行うことができる。例えば、領域の境界における撮像条件の違いによって、画像処理後の本画像データに現れる不連続性や違和感を抑制することができる。

（４）処理部３３ｂは、本画像データの境界部８０のデータの注目画素Ｐに対して注目画素Ｐの周辺の参照画素Ｐｒであって第１領域および第２領域に対応する参照画素Ｐｒを用いて画像処理を施す際に、第２領域に対応する参照画素Ｐｒについては、本画像データにおける参照画素Ｐｒの位置に対応する位置の処理用画像データを画像処理に用いる。これにより、カメラ１は、撮像条件が異なる領域でそれぞれ生成された画像データを用いて適切に画像処理を行うことができる。例えば、領域の境界における撮像条件の違いによって、画像処理後の本画像データに現れる不連続性や違和感を抑制することができる。

（５）処理部３３ｂは、本画像データのうち第１領域に対応する参照画素Ｐｒについては、参照画素Ｐｒの位置の本画像データを更に画像処理に用いる。これにより、カメラ１は、撮像条件が異なる領域でそれぞれ生成された画像データを用いて適切に画像処理を行うことができる。

（６）処理部３３ｂは、本画像データのうち第１領域に対応する参照画素Ｐｒについては、本画像データにおける参照画素Ｐｒの位置に対応する位置の処理用画像データを更に画像処理に用いる。これにより、カメラ１は、撮像条件が異なる領域でそれぞれ生成された画像データを用いて適切に画像処理を行うことができる。例えば、領域の境界における撮像条件の違いによって、画像処理後の画像に現れる不連続性や違和感を抑制することができる。

（７）撮像制御部３４ｃは、撮像部３２による本撮像を行うタイミングと処理用画像データの撮像を行うタイミングとを制御する。これにより、本画像データの画像処理に用いる処理用画像データの取得が可能になる。

（８）撮像制御部３４ｃは、撮像部３２に、ライブビュー画像の撮像のフレーム間に処理用画像データの撮像を行わせて、少なくとも１フレームの処理用画像データを撮像させる。ライブビュー画像の撮像中に処理用画像データを撮像しておくことにより、本画像データの撮像の際に処理用画像データを用いた適切な画像処理が可能になる。

（９）撮像制御部３４ｃは、撮像準備状態において撮像部３２にライブビュー画像の撮像を開始させる前、または、撮像部３２にライブビュー画像の撮像を開始させた後でライブビュー画像の撮像を所定フレーム数行うごとに、処理用画像データの撮像を行わせて少なくとも１フレームの処理用画像データを撮像させる。ライブビュー画像の撮像中に処理用画像データを撮像しておくことにより、本画像データの撮像の際に処理用画像データを用いた適切な画像処理が可能になる。

（１０）撮像制御部３４ｃは、本撮像を指示する操作があったとき、撮像部３２が本撮像を行う前、または本撮像を行った後に、少なくとも１フレームの処理用画像データを撮像部３２に撮像させる。ライブビュー画像の撮像から本撮像に移行する段階で処理用画像データを撮像して、本画像データの撮像の際に処理用画像データを用いた適切な画像処理が可能になる。本撮像のあとに処理用画像データを撮像する場合には、シャッターチャンスを逃すことなく本撮像を行うことができる。

（１１）撮像制御部３４ｃは、撮像部３２による本撮像が終了した後、表示部３５が再びライブビュー画像を表示する前に、少なくとも１フレームの処理用画像データを撮像部３２に撮像させる。これにより、新たな本撮像に備えて処理用画像データを準備しておくことができる。

（１２）撮像制御部３４ｃは、本撮像の準備の指示および本撮像の指示を含む撮像に関連する指示の操作があったときに、撮像部３２に処理用画像データの撮像を行わせる。これにより、本撮像の際に撮像条件が現状と変更される可能性が高い場合に、予め処理用画像データを撮像しておくことで、本画像データの撮像の際に処理用画像データを用いた適切な画像処理が可能になる。

（１３）撮像制御部３４ｃは、本撮像の準備を指示する操作が行われている間に、少なくとも１フレームの処理用画像データを撮像部３２に撮像させる。これにより、本撮像の前に処理用画像データを撮像して、本画像データの撮像の際に処理用画像データを用いた適切な画像処理が可能になる。

（１４）撮像制御部３４ｃは、本撮像を指示する操作があったとき、撮像部３２が本撮像を行う前、または本撮像の後に、少なくとも１フレームの処理用画像データを撮像部３２に撮像させる。これにより、本撮像の前に処理用画像データを撮像して、本画像データの撮像の際に処理用画像データを用いた適切な画像処理が可能になる。本撮像のあとに処理用画像データを撮像する場合には、シャッターチャンスを逃すことなく本撮像を行うことができる。

（１５）撮像制御部３４ｃは、処理用画像データの撮像を指示する操作があったとき、撮像部３２に少なくとも１フレームの処理用画像データを撮像させる。これにより、ユーザーが、撮像条件が変わる可能性が高いと判断した場合などのように、ユーザーが所望するタイミングにて専用ボタンを操作することにより、本画像データへの画像処理に適した処理用画像データを撮像しておくことができる。

（１６）撮像部３２は、撮像面の一部の領域で処理用画像データの撮像を行う。これにより、本画像データのうちの画像処理が必要となる領域に対して、処理用画像データを取得できる。

（１７）撮像部３２は、撮像面の中央部、または指示された位置の領域で処理用画像データの撮像を行う。これにより、本画像データのうちの画像処理が必要となる領域に対して、処理用画像データを取得できる。

（１８）撮像部３２は、処理用画像データの撮像を複数フレーム行う場合に、撮像条件を、複数フレームにおいて共通、または異ならせる。これにより、分割した複数の領域間で撮像条件が異なる場合であっても、それぞれ領域に用いる処理用画像データを撮像することができる。

（１９）設定部３４ｂは、撮像条件を処理用画像データの複数フレームにおいて異ならせる場合、複数フレームのうちの前フレームにおいて取得された処理用画像データに基づき次フレームの撮像条件を決定する。これにより、ライブビュー画像の表示中に撮像条件が変化する場合であっても、画像処理に適した処理用画像データを撮像することができる。

（２０）設定部３４ｂは、撮像条件を指定する操作があったときは、指定された撮像条件を設定して処理用画像データの撮像を行わせる。これにより、ユーザーが所望する撮像条件が適用される本画像データに対して、画像処理に適した処理用画像データを撮像することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１）
図１７（ａ）〜図１７（ｃ）は、撮像素子３２ａの撮像面における第１領域および第２領域の配置を例示する図である。図１７（ａ）の例によれば、第１領域は偶数列によって構成され、第２領域は奇数列によって構成される。すなわち、撮像面が偶数列と奇数列とに分割されている。

図１７（ｂ）の例によれば、第１領域は奇数行によって構成され、第２領域は偶数行によって構成される。すなわち、撮像面が奇数行と偶数行とに分割されている。
図１７（ｃ）の例によれば、第１領域は、奇数列における偶数行のブロックと、偶数列における奇数行のブロックとによって構成される。また、第２領域は、偶数列における偶数行のブロックと、奇数列における奇数行のブロックとによって構成される。すなわち、撮像面が市松模様状に分割されている。第１領域には、第１撮像条件が設定され、第２領域には第１撮像条件とは異なる第２撮像条件が設定される。

図１７（ａ）〜図１７（ｃ）のいずれの場合も、１フレームの撮像を行った撮像素子３２ａから読み出した光電変換信号によって、第１領域から読み出した光電変換信号に基づく第１画像および第２領域から読み出した光電変換信号に基づく第２画像がそれぞれ生成される。変形例１によれば、第１画像および第２画像は同じ画角で撮像され、共通の被写体像を含む。

変形例１において、制御部３４は、第１画像を表示用として用いるとともに、第２画像を処理用画像データとして用いる。具体的には、制御部３４は、第１画像をライブビュー画像として表示部３５に表示させる。また、制御部３４は、第２画像を処理用画像データとして使用する。すなわち、処理部３３ｂによって第２画像を用いて画像処理を行わせ、物体検出部３４ａによって第２画像を用いて被写体検出処理を行わせ、ＡＦ演算部３４ｄによって第２画像を用いて焦点検出処理を行わせ、設定部３４ｂによって第２画像を用いて露出演算処理を行わせる。

なお、第１画像を取得する領域と第２画像を取得する領域とをフレームごとに変更しても良い。たとえば、第Ｎフレームでは第１領域からの第１画像をライブビュー画像とし、第２領域からの第２画像を処理用画像データとして撮像し、第Ｎ＋１フレームでは、第１画像を処理用画像データとし、第２画像をライブビュー画像として撮像し、以後のフレームではこの動作を繰り返しても良い。

１．一例として、制御部３４は、ライブビュー画像を第１撮像条件で撮像し、その第１撮像条件を、表示部３５による表示に適した条件に設定する。第１撮像条件は、撮像画面の全体で同一にする。一方、制御部３４は、処理用画像データを第２撮像条件で撮像し、その第２撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定する。第２撮像条件も、撮像画面の全体で同一にする。
なお、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、制御部３４は、第２領域に設定する第２撮像条件をフレームごとに異ならせてもよい。例えば、１フレーム目の第２撮像条件を焦点検出処理に適した条件とし、２フレーム目の第２撮像条件を被写体検出処理に適した条件とし、３フレーム目の第２撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける第２撮像条件は撮像画面の全体で同一にする。

２．他の一例として、制御部３４は、第１撮像条件を撮像画面において異ならせてもよい。制御部３４の設定部３４ｂは、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第１撮像条件を設定する。一方、制御部３４は、第２撮像条件を撮像画面の全体で同一にする。制御部３４は、第２撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定するが、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第２領域に設定する撮像条件をフレームごとに異ならせてもよい。

３．また、他の一例として、制御部３４は、第１撮像条件を撮像画面の全体で同一とする一方で、第２撮像条件を撮像画面において異ならせてもよい。例えば、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第２撮像条件を設定する。この場合においても、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第２領域に設定する撮像条件をフレームごとに異ならせてもよい。

４．さらにまた、他の一例として、制御部３４は、第１撮像条件を撮像画面において異ならせるとともに、第２撮像条件を撮像画面において異ならせる。例えば、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第１撮像条件を設定しつつ、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第２撮像条件を設定する。

図１７（ａ）〜図１７（ｃ）において、第１領域と第２領域との面積比を異ならせてもよい。制御部３４は、例えば、ユーザーによる操作または制御部３４の判断に基づき、第１領域の比率を第２領域よりも高く設定したり、第１領域と第２領域の比率を図１７（ａ）〜図１７（ｃ）に例示したように同等に設定したり、第１領域の比率を第２領域よりも低く設定したりする。第１領域と第２領域とで面積比を異ならせることにより、第１画像を第２画像に比べて高精細にしたり、第１画像および第２画像の解像度を同等にしたり、第２画像を第１画像に比べて高精細にしたりすることができる。

たとえば図１７（ｃ）の太線で囲んだ領域Ｘにおいて、第２領域のブロックからの画像信号を加算平均することにより、第１画像を第２画像と比べて高精細にする。これにより、撮像条件の変化に伴い処理用撮像領域を拡大または縮小させた場合と同等の画像データを得ることができる。

（変形例２）
上記実施の形態では、制御部３４の設定部３４ｂがライブビュー画像に基づき被写体要素を検出し、ライブビュー画像の画面を、被写体要素を含む領域に分割する例を説明した。変形例２において、制御部３４は、撮像素子３２ａと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき領域を分割してもよい。

図１８は変形例２の要部構成を示すブロック図である。カメラ１は、図１に示す実施の形態における構成に加えて、測光用センサ３８を備える。制御部３４は、測光用センサ３８からの出力信号に基づき、前景と背景とに分割する。具体的には、撮像素子３２ｂによって取得されたライブビュー画像を、測光用センサ３８からの出力信号から前景と判断した領域に対応する前景領域と、測光用センサ３８からの出力信号から背景と判断した領域に対応する背景領域とに分割する。

制御部３４はさらに、前景領域に対して、図１７（ａ）〜図１７（ｃ）に例示したように、撮像素子３２ａの撮像面に第１領域および第２領域を配置する。一方、制御部３４は、背景領域に対して、撮像素子３２ａの撮像面に第１領域のみを配置する。制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。

変形例２によれば、測光用センサ３８からの出力信号を用いることにより、撮像素子３２ｂによって取得されたライブビュー画像の領域分割を行うことができる。また、前景領域に対しては、表示用の第１画像と検出用の第２画像とを得ることができ、背景領域に対しては、表示用の第１画像のみを得ることができる。ライブビュー画像の表示中に被写体の撮像環境が変化した場合であっても、測光用センサ３８からの出力を用いて領域分割を行うことにより前景領域と背景領域とを新たに設定し直すことができる。なお、測光用センサ３８で被写体の撮像環境を検出する例に限定されず、たとえばカメラ１に加わる加速度を検出する加速度センサ等の出力に基づいて、被写体の撮像環境に応じた領域分割を行っても良い。

（変形例３）
変形例３においては、画像処理部３３が、上述した画像処理（例えば、ノイズ低減処理）において、被写体要素の輪郭を損なわないようにする。一般に、ノイズ低減を行う場合は平滑化フィルタ処理が採用される。平滑化フィルタを用いる場合、ノイズ低減効果の一方で被写体要素の境界がぼける場合がある。

そこで、画像処理部３３の処理部３３ｂは、例えば、ノイズ低減処理に加えて、またはノイズ低減処理とともに、コントラスト調整処理を行うことによって上記被写体要素の境界のぼけを補う。変形例３において、画像処理部３３の処理部３３ｂは、濃度変換（階調変換）曲線として、Ｓの字を描くようなカーブを設定する（いわゆるＳ字変換）。画像処理部３３の処理部３３ｂは、Ｓ字変換を用いたコントラスト調整を行うことにより、明るいデータと暗いデータの階調部分をそれぞれ引き伸ばして明るいデータ(および暗いデータ)の階調数をそれぞれ増やすとともに、中間階調の画像データを圧縮して階調数を減らす。これにより、画像の明るさが中程度の画像データの数が減り、明るい／暗いのいずれかに分類されるデータが増える結果として、被写体要素の境界のぼけを補うことができる。
変形例３によれば、画像の明暗をくっきりさせることによって、被写体要素の境界のぼけを補うことができる。

（変形例４）
画像処理部３３を複数備え、画像処理を並列処理してもよい。例えば、撮像部３２の領域Ａで撮像された画像データに対して画像処理をしながら、撮像部３２の領域Ｂで撮像された画像データに対して画像処理を行う。複数の画像処理部３３は、同じ画像処理を行ってもよいし、異なる画像処理を行ってもよい。すなわち、領域Ａおよび領域Ｂの画像データに対して同じパラメータ等を適用して同様の画像処理をしたり、領域Ａおよび領域Ｂの画像データに対して異なるパラメータ等を適用して異なる画像処理をしたりすることができる。

画像処理部３３の数を複数備える場合において、第１撮像条件が適用されたデータに対して一つの画像処理部によって画像処理を行い、第２撮像条件が適用されたデータに対して他の画像処理部によって画像処理を行ってもよい。画像処理部の数は上記２つに限られず、例えば、設定され得る撮像条件の数と同数を設けるようにしてもよい。すなわち、異なる撮像条件が適用された領域ごとに、それぞれの画像処理部が画像処理を担当する。変形例４によれば、領域ごとの異なる撮像条件による撮像と、上記領域ごとに得られる画像の画像データに対する画像処理とを並行して進行させることができる。

（変形例５）
上述した説明では、カメラ１を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機２５０（図２０）や、タブレット端末などのモバイル機器によって構成してもよい。

（変形例６）
上述した実施の形態では、撮像部３２と制御部３４とを単一の電子機器として構成したカメラ１を例に説明した。この代わりに、例えば、撮像部３２と制御部３４とを分離して設け、制御部３４から通信を介して撮像部３２を制御する撮像システム１Ｂを構成してもよい。
以下、撮像部３２を備えた撮像装置１００１を、制御部３４を備えた制御装置１００２から制御する例を説明する。

図１９は、変形例６に係る撮像システム１Ｂの構成を例示するブロック図である。図１９において、撮像システム１Ｂは、撮像装置１００１と、表示装置１００２とによって構成される。撮像装置１００１は、上記実施の形態で説明した撮像光学系３１と撮像部３２とに加えて、第１通信部１００３を備える。また、表示装置１００２は、上記実施の形態で説明した画像処理部３３、制御部３４、表示部３５、操作部材３６および記録部３７に加えて、第２通信部１００４を備える。

第１通信部１００３および第２通信部１００４は、例えば周知の無線通信技術や光通信技術等により、双方向の画像データ通信を行うことができる。
なお、撮像装置１００１と表示装置１００２とを有線ケーブルにより有線接続し、第１通信部１００３および第２通信部１００４が双方向の画像データ通信を行う構成にしてもよい。

撮像システム１Ｂは、制御部３４が、第２通信部１００４および第１通信部１００３を介したデータ通信を行うことにより、撮像部３２に対する制御を行う。例えば、撮像装置１００１と表示装置１００２との間で所定の制御データを送受信することにより、表示装置１００２は、上述したように画像に基づいて、画面を複数の領域に分割したり、分割した領域ごとに異なる撮像条件を設定したり、各々の領域で光電変換された光電変換信号を読み出したりする。

変形例６によれば、撮像装置１００１側で取得され、表示装置１００２へ送信されたライブビュー画像が表示装置１００２の表示部３５に表示されるので、ユーザーは、撮像装置１００１から離れた位置にある表示装置１００２から、遠隔操作を行うことができる。
表示装置１００２は、例えば、スマートフォンのような高機能携帯電話機２５０によって構成することができる。また、撮像装置１００１は、上述した積層型の撮像素子１００を備える電子機器によって構成することができる。
なお、表示装置１００２の制御部３４に物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、ＡＦ演算部３４ｄとを設ける例を説明したが、物体検出部３４ａ、設定部３４ｂ、撮像制御部３４ｃ、およびＡＦ演算部３４ｄの一部について、撮像装置１００１に設けるようにしてもよい。

（変形例７）
上述したカメラ１、高機能携帯電話機２５０、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図２０に例示するように、プログラムを格納したパーソナルコンピュータ２０５から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。

パーソナルコンピュータ２０５に対するプログラムの供給は、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４をパーソナルコンピュータ２０５にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２０５へローディングしてもよい。通信回線２０１を経由する場合は、当該通信回線に接続されたサーバー２０２のストレージ装置２０３などにプログラムを格納しておく。

また、通信回線２０１に接続された無線ＬＡＮのアクセスポイント（不図示）を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体２０４Ｂをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

上述した実施の形態および変形例は、以下のような撮像装置および画像処理装置も含む。
（１−１） 光電変換された電荷により生成された信号を出力する第１画素と、光電変換された電荷により生成された信号を出力する、上記第１画素とは異なる第２画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域のうち、上記第１画素が配置された第１領域の撮像条件と、上記撮像領域のうち、上記第２画素が配置された上記第１領域とは異なる第２領域の撮像条件と、を設定する設定部と、上記設定部により第１撮像条件に設定された上記第１領域の上記第１画素の補間に用いる画素を、上記設定部により上記第１撮像条件とは異なる第２撮像条件に設定された上記第２領域の上記第２画素と、上記設定部により上記第２撮像条件とは異なる第３撮像条件に設定された上記第２領域の上記第２画素と、のうちから選択する選択部と、上記選択部により選択された上記第２画素から出力された信号により補間された、上記第１撮像条件に設定された上記第１領域の上記第１画素から出力された信号を用いて上記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える撮像装置。
（１−２） 上記選択部は、上記設定部により上記第１撮像条件に設定された上記第１領域の上記第１画素の補間に用いる画素を、上記第１撮像条件と上記第２撮像条件との差と、上記第１撮像条件と上記第３撮像条件との差と、により、上記設定部により上記第２撮像条件に設定された上記第２領域の上記第２画素と、上記設定部により上記第３撮像条件に設定された上記第２領域の上記第２画素と、のうちから選択する（１−１）に記載の撮像装置。
（１−３） 上記選択部は、上記設定部により上記第１撮像条件に設定された上記第１領域の上記第１画素の補間に用いる画素を、上記第１撮像条件と上記第２撮像条件と、上記第１撮像条件と上記第３撮像条件と、のうち、差が小さい撮像条件に設定された上記第２領域の上記第２画素を選択する（１−２）に記載の撮像装置。
（１−４） 上記選択部は、上記設定部により上記第１撮像条件に設定された上記第１領域の上記第１画素の補間に用いる画素を、上記第１撮像条件と上記第２撮像条件との相違と、上記第１撮像条件と上記第３撮像条件との相違と、により、上記設定部により上記第２撮像条件に設定された上記第２領域の上記第２画素と、上記設定部により上記第３撮像条件に設定された上記第２領域の上記第２画素と、のうちから選択する（１−１）に記載の撮像装置。
（１−５） 上記選択部は、上記設定部により上記第１撮像条件に設定された上記第１領域の上記第１画素の補間に用いる画素を、上記第１撮像条件と上記第２撮像条件と、上記第１撮像条件と上記第３撮像条件と、のうち、相違が小さい撮像条件に設定された上記第２領域の上記第２画素を選択する（１−４）に記載の撮像装置。
（１−６） 上記第２画素から出力された信号を記憶する記憶部を備え、上記設定部は、上記第２領域に上記第２撮像条件を設定する前に、上記第２領域を上記第３撮像条件に設定し、上記記憶部は、上記設定部により上記第３撮像条件に設定された上記第２領域の上記第２画素から出力された信号を記憶する（１−１）から（１−５）のいずれかに記載の撮像装置。
（１−７） 上記設定部は、上記第２領域に上記第３撮像条件を設定した後に、上記第１領域に上記第１撮像条件を設定する（１−６）に記載の撮像装置。
（１−８） 上記第２画素から出力された信号を記憶する記憶部を備え、上記設定部は、上記第２領域に上記第２撮像条件を設定した後に、上記第２領域を上記第３撮像条件に設定し、上記記憶部は、上記設定部により上記第２撮像条件に設定された上記第２領域の上記第２画素から出力された信号を記憶する（１−１）から（１−５）のいずれかに記載の撮像装置。
（１−９） 上記設定部は、上記第２領域に上記第３撮像条件を設定する前に、上記第１領域に上記第１撮像条件を設定する（１−８）に記載の撮像装置。
（１−１０） 上記第１画素は、第１分光特性のフィルタを介して入射した光を光電変換する第１光電変換部を有し、上記第２画素は、上記第１分光特性とは異なる第２分光特性のフィルタを介して入射した光を光電変換する第２光電変換部を有する（１−１）から（１−９）のいずれかに記載の撮像装置。
（１−１１） 上記第１領域は、複数の上記第１画素が配置され、上記第２領域は、複数の上記第２画素が配置されている（１−１）から（１−１０）のいずれかに記載の撮像装置。
（１−１２） 上記第１領域は、単数の上記第１画素が配置され、上記第２領域は、単数の上記第２画素が配置されている（１−１）から（１−１０）のいずれかに記載の撮像装置。
（１−１３） 光電変換された電荷により生成された信号を出力する第１画素と、光電変換された電荷により生成された信号を出力する、上記第１画素とは異なる第２画素と、が配置された領域であって被写体を撮像する第１撮像領域を有する第１撮像素子と、光電変換された電荷により生成された信号を出力する第３画素が配置された領域であって被写体を撮像する第２撮像領域を有する、上記第１撮像素子とは異なる第２撮像素子と、上記第１画素の補間に用いる画素を、上記第２画素と上記第３画素とのうちから選択する選択部と、上記選択部により選択された画素から出力された信号により補間された、上記第１画素から出力された信号を用いて上記第１撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える撮像装置。
（１−１４） 上記第１撮像領域のうち、上記第１画素が配置された第１領域の撮像条件と、上記第１撮像領域のうち、上記第２画素が配置された、上記第１領域とは異なる第２領域の撮像条件と、上記第３画素が配置された上記第２撮像領域の撮像条件と、を設定する設定部を備える（１−１３）に記載の撮像装置。
（１−１５） 上記選択部は、上記設定部により第１撮像条件に設定された上記第１領域の上記第１画素の補間に用いる画素を、上記設定部により上記第１撮像条件とは異なる第２撮像条件に設定された上記第２領域の上記第２画素と、上記設定部により上記第２撮像条件とは異なる第３撮像条件に設定された上記第２撮像領域の上記第３画素と、のうちから選択する（１−１４）に記載の撮像装置。
（１−１６） 上記選択部は、上記設定部により上記第１撮像条件に設定された上記第１領域の上記第１画素の補間に用いる画素を、上記第１撮像条件と上記第２撮像条件との差と、上記第１撮像条件と上記第３撮像条件との差と、により、上記設定部により上記第２撮像条件に設定された上記第２領域の上記第２画素と、上記設定部により上記第３撮像条件に設定された上記第２撮像領域の上記第３画素と、のうちから選択する（１−１５）に記載の撮像装置。
（１−１７） 上記選択部は、上記設定部により上記第１撮像条件に設定された上記第１領域の上記第１画素の補間に用いる画素を、上記第１撮像条件と上記第２撮像条件と、上記第１撮像条件と上記第３撮像条件と、のうち、差が小さい撮像条件に設定された、上記設定部により上記第２撮像条件に設定された上記第２領域の上記第２画素と、上記設定部により上記第３撮像条件に設定された上記第２撮像領域の上記第３画素と、のうちから選択する（１−１６）に記載の撮像装置。
（１−１８） 上記選択部は、上記設定部により上記第１撮像条件に設定された上記第１領域の上記第１画素の補間に用いる画素を、上記第１撮像条件と上記第２撮像条件との相違と、上記第１撮像条件と上記第３撮像条件との相違と、により、上記設定部により上記第２撮像条件に設定された上記第２領域の上記第２画素と、上記設定部により上記第３撮像条件に設定された上記第２撮像領域の上記第３画素と、のうちから選択する（１−１５）に記載の撮像装置。
（１−１９） 上記選択部は、上記設定部により上記第１撮像条件に設定された上記第１領域の上記第１画素の補間に用いる画素を、上記第１撮像条件と上記第２撮像条件と、上記第１撮像条件と上記第３撮像条件と、のうち、相違が小さい撮像条件に設定された、上記設定部により上記第２撮像条件に設定された上記第２領域の上記第２画素と、上記設定部により上記第３撮像条件に設定された上記第２撮像領域の上記第３画素と、のうちから選択する（１−１８）に記載の撮像装置。
（１−２０） 上記第１画素は、第１分光特性のフィルタを介して入射した光を光電変換する第１光電変換部を有し、上記第２画素及び上記第３画素は、上記第１分光特性とは異なる第２分光特性のフィルタを介して入射した光を光電変換する第２光電変換部を有する（１−１３）から（１−１９）のいずれかに記載の撮像装置。
（１−２１） 上記第１領域は、複数の上記第１画素が配置され、上記第２領域は、複数の上記第２画素が配置されている（１−１３）から（１−２０）のいずれかに記載の撮像装置。
（１−２２） 上記第１領域は、単数の上記第１画素が配置され、上記第２領域は、単数の上記第２画素が配置されている（１−１３）から（１−２０）のいずれかに記載の撮像装置。
（１−２３） 光電変換された電荷により生成された信号を出力する第１画素と、光電変換された電荷により生成された信号を出力する上記第１画素とは異なる第２画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、上記撮像領域のうち、上記第１画素が配置された第１領域の撮像条件と、上記撮像領域のうち、上記第２画素が配置された上記第１領域とは異なる第２領域の撮像条件と、を設定する設定部と、上記設定部により第１撮像条件に設定された上記第１領域の上記第１画素から出力された信号の信号処理に用いる画素を、上記設定部により上記第１撮像条件とは異なる第２撮像条件に設定された上記第２領域の上記第２画素と、上記設定部により上記第２撮像条件とは異なる第３撮像条件に設定された上記第２領域の上記第２画素と、のうちから選択する選択部と、上記選択部により選択された上記第２画素から出力された信号により信号処理された、上記第１撮像条件に設定された上記第１領域の上記第１画素から出力された信号を用いて上記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える撮像装置。
（１−２４） 光電変換された電荷により信号を生成する第１画素と、光電変換された電荷により信号を生成する、上記第１画素とは異なる第２画素と、が配置された領域であって被写体を撮像する第１撮像領域を有する第１撮像素子と、光電変換された電荷により信号を生成する第３画素が配置された領域であって被写体を撮像する第２撮像領域を有する、上記第１撮像素子とは異なる第２撮像素子と、上記第１画素から出力された信号の信号処理に用いる画素を、上記第２画素と上記第３画素とのうちから選択する選択部と、上記選択部により選択された画素から出力された信号により信号処理された、上記第１画素から出力された信号を用いて上記第１撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える撮像装置。
（１−２５） 第１撮像条件に設定された、撮像素子の撮像領域のうち、第１領域に配置された第１画素の補間に用いる画素を、上記第１撮像条件とは異なる第２撮像条件に設定された、上記撮像領域のうち、第２領域に配置された第２画素と、上記第２撮像条件とは異なる第３撮像条件に設定された上記第２領域に配置された上記第２画素と、のうちから選択する選択部と、上記選択部により選択された上記第２画素から出力された信号により補間された、上記第１撮像条件に設定された上記第１領域の上記第１画素から出力された信号を用いて上記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える画像処理装置。
（１−２６） 第１撮像素子の第１撮像領域に配置された第１画素の補間に用いる画素を、上記第１撮像領域に配置された、上記第１画素とは異なる第２画素と、上記第１撮像素子とは異なる第２撮像素子の第２撮像領域に配置された第３画素と、のうちから選択する選択部と、上記選択部により選択された画素から出力された信号により補間された、上記第１画素から出力された信号を用いて上記第１撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える画像処理装置。
（１−２７） 第１撮像条件に設定された、撮像素子の撮像領域のうち、第１領域に配置された第１画素から出力された信号の信号処理に用いる画素を、上記第１撮像条件とは異なる第２撮像条件に設定された上記撮像領域のうち、第２領域に配置された第２画素と、上記第２撮像条件とは異なる第３撮像条件に設定された上記第２領域に配置された上記第２画素と、のうちから選択する選択部と、上記選択部により選択された上記第２画素から出力された信号により信号処理された、上記第１撮像条件に設定された上記第１領域の上記第１画素から出力された信号を用いて上記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える画像処理装置。
（１−２８） 第１撮像素子の第１撮像領域に配置された第１画素から出力された信号の信号処理に用いる画素を、上記第１撮像領域に配置された、上記第１画素とは異なる第２画素と、上記第１撮像素子とは異なる第２撮像素子の第２撮像領域に配置された第３画素と、のうちから選択する選択部と、上記選択部により選択された画素から出力された信号により信号処理された、上記第１画素から出力された信号を用いて上記第１撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、を備える画像処理装置。

また、上述した実施の形態および変形例は、以下のような画像処理装置および撮像装置も含む。
（２−１） 撮像部の撮像面の第１領域に第１撮像条件を設定するとともに、上記撮像面の第２領域に上記第１撮像条件とは異なる第２撮像条件を設定することにより撮像された第１画像データと、上記第１領域および上記第２領域に第３撮像条件を設定することにより撮像された第２画像データとを入力する入力部と、上記第１画像データのうち、上記第１領域に対応する第１部分画像データに対して、上記第２画像データを用いて画像処理を施す処理部と、を備える画像処理装置。
（２−２） （２−１）に記載の画像処理装置において、上記処理部は、上記第１部分画像データのうち上記第１領域と上記第２領域と境界部に対応する境界部データに対して、上記第２画像データを用いて上記画像処理を施す画像処理装置。
（２−３） （２−２）に記載の画像処理装置において、上記処理部は、上記第２画像データのうち少なくとも上記第２領域に対応する第２部分画像データを用いて、上記第１部分画像データの上記境界部データに対して上記画像処理を施す画像処理装置。
（２−４） （２−３）に記載の画像処理装置において、上記処理部は、上記第１画像データの上記境界部データの画素に対して上記画素の周辺の参照画素であって上記第１領域および上記第２領域に対応する上記参照画素を用いて上記画像処理を施す際に、上記第２領域に対応する上記参照画素については、上記第１画像データにおける上記参照画素の位置に対応する位置の上記第２部分画像データを上記画像処理に用いる画像処理装置。
（２−５） （２−４）に記載の画像処理装置において、上記処理部は、上記第１画像データのうち上記第１領域に対応する上記参照画素については、上記参照画素の位置の上記第１部分画像データを更に上記画像処理に用いる画像処理装置。
（２−６） （２−４）に記載の画像処理装置において、上記処理部は、上記第１画像データのうち上記第１領域に対応する上記参照画素については、上記第１画像データにおける上記参照画素の位置に対応する位置の上記第２画像データを更に上記画像処理に用いる画像処理装置。
（２−７） （２−１）乃至（２−６）の何れかに記載の画像処理装置において、上記第３撮像条件は上記第１撮像条件に等しい画像処理装置。
（２−８） （２−１）乃至（２−７）の何れかに記載の画像処理装置において、上記撮像部は複数の撮像画素を有し、上記処理部は、少なくとも撮像画素欠陥補正処理、色補正処理、輪郭強調処理、またはノイズ低減処理を上記画像処理として施す画像処理装置。
（２−９） 撮像面の第１領域に第１撮像条件を設定するとともに、上記撮像面の第２領域に上記第１撮像条件とは異なる第２撮像条件を設定することにより第１撮像を行って第１画像データを撮像し、上記第１領域および上記第２領域に第３撮像条件を設定することにより第２撮像を行って第２画像データを撮像する撮像部と、上記第１画像データのうち上記第１領域に対応する第１部分画像データに対して、上記第２画像データを用いて画像処理を施す処理部と、を備える撮像装置。
（２−１０） （２−９）に記載の撮像装置において、上記処理部は、上記処理部は、上記第１部分画像データのうち上記第１領域と上記第２領域と境界部に対応する境界部データに対して、上記第２画像データを用いて上記画像処理を施す撮像装置。
（２−１１） （２−１０）に記載の撮像装置において、上記処理部は、上記第２画像データのうち少なくとも上記第２領域に対応する第２部分画像データを用いて、上記第１部分画像データの上記境界部データに対して上記画像処理を施す撮像装置。
（２−１２） （２−１１）に記載の撮像装置において、上記処理部は、上記処理部は、上記第１画像データの上記境界部データの画素に対して上記画素の周辺の参照画素であって上記第１領域および上記第２領域に対応する上記参照画素を用いて上記画像処理を施す際に、上記第２領域に対応する上記参照画素については、上記第１画像データにおける上記参照画素の位置に対応する位置の上記第２部分画像データを上記画像処理に用いる撮像装置。
（２−１３） （２−１２）に記載の撮像装置において、上記処理部は、上記第１画像データのうち上記第１領域に対応する上記参照画素については、上記参照画素の位置の上記第１部分画像データを更に上記画像処理に用いる撮像装置。
（２−１４） （２−１２）に記載の撮像装置において、上記処理部は、上記第１画像データのうち上記第１領域に対応する上記参照画素については、上記第１画像データにおける上記参照画素の位置に対応する位置の上記第２画像データを更に上記画像処理に用いる撮像装置。
（２−１５） （２−９）乃至（２−１４）の何れかに記載の撮像装置において、上記第３撮像条件は上記第１撮像条件に等しい撮像装置。
（２−１６） （２−９）乃至（２−１５）の何れかに記載の撮像装置において、上記処理部は、少なくとも上記撮像部が有する撮像画素の欠陥補正処理、色補正処理、輪郭強調処理、またはノイズ低減処理を上記画像処理として施す撮像装置。
（２−１７） （２−９）乃至（２−１６）の何れかに記載の撮像装置において、上記撮像部による上記第１撮像を行うタイミングと上記第２撮像を行うタイミングとを制御する制御部をさらに備える撮像装置。
（２−１８） （２−１７）に記載の撮像装置において、上記撮像部により撮像された画像データに基づく画像を表示部に表示させる表示処理部をさらに備え、上記撮像部は、撮像準備状態において複数フレームの上記画像データを撮像する第３撮像を行い、上記表示処理部は、上記第３撮像にて撮像された上記複数フレームの画像を上記表示部に表示させる撮像装置。
（２−１９） （２−１８）に記載の撮像装置において、上記制御部は、上記撮像部に、上記第３撮像のフレーム間に上記第２撮像を行わせて、少なくとも１フレームの上記第２画像データを撮像させる撮像装置。
（２−２０） （２−１９）に記載の撮像装置において、上記制御部は、上記撮像準備状態において上記撮像部に上記第３撮像を開始させる前、または、上記撮像部に上記第３撮像を開始させた後で上記第３撮像を所定フレーム数行うごとに、上記第２撮像を行わせて少なくとも１フレームの上記第２画像データを撮像させる撮像装置。
（２−２１） （２−１９）に記載の撮像装置において、上記制御部は、上記第１撮像を指示する操作があったとき、上記撮像部が上記第１撮像を行う前、または上記第１撮像を行った後に、少なくとも１フレームの上記第２画像データを上記撮像部に撮像させる撮像装置。
（２−２２） （２−２１）に記載の撮像装置において、上記制御部は、上記撮像部による上記第１撮像が終了した後、上記表示処理部が上記第３撮像で撮像される上記複数フレームの画像を上記表示部に表示させる前に、少なくとも１フレームの上記第２画像データを上記撮像部に撮像させる撮像装置。
（２−２３） （２−１７）乃至（２−２１）の何れかに記載の撮像装置において、上記制御部は、上記第１撮像の準備の指示および上記第１撮像の指示を含む撮像に関連する指示の操作があったときに、上記撮像部に上記第２撮像を行わせて上記第２画像データを撮像させる撮像装置。
（２−２４） （２−２３）に記載の撮像装置において、上記制御部は、上記第１撮像の準備を指示する操作が行われている間に、少なくとも１フレームの上記第２画像データを上記撮像部に撮像させる撮像装置。
（２−２５） （２−２３）に記載の撮像装置において、上記制御部は、上記第１撮像を指示する操作があったとき、上記撮像部が上記第１撮像を行う前、または上記第１撮像の後に、少なくとも１フレームの上記第２画像データを上記撮像部に撮像させる撮像装置。
（２−２６） （２−１７）乃至（２−２５）の何れかに記載の撮像装置において、上記制御部は、上記第２画像データの撮像を指示する操作があったとき、上記撮像部に上記第２撮像を行わせて少なくとも１フレームの上記第２画像データを撮像させる撮像装置。
（２−２７） （２−１７）乃至（２−２６）の何れかに記載の撮像装置において、上記撮像部が被写体を撮像する際の環境の変化を検出する検出部をさらに備え、上記制御部は、上記検出部の出力に基づいて上記撮像する被写体の環境に変化が生じている場合には、上記撮像部に上記第２画像データを撮像させる撮像装置。
（２−２８） （２−１１）乃至（２−２６）の何れかに記載の撮像装置において、上記撮像部は、上記撮像面の一部の領域で上記第２画像データの撮像を行う撮像装置。
（２−２９） （２−２８）に記載の撮像装置において、上記撮像部は、上記撮像面の中央部、または指示された位置の領域で上記第２画像データの撮像を行う撮像装置。
（２−３０） （２−１１）乃至（２−２８）の何れかに記載の撮像装置において、上記撮像部は、上記第２撮像を複数フレーム行う場合に、上記第３撮像条件を、上記複数フレームにおいて共通、または異ならせる撮像装置。
（２−３１） （２−３０）に記載の撮像装置において、上記撮像部は、上記第３撮像条件を上記複数フレームにおいて異ならせる場合、上記複数フレームのうちの前フレームにおいて取得された上記第２画像データに基づいて設定した上記第３撮像条件により次フレームの上記第２画像データを撮像する撮像装置。
（２−３２） （２−１１）乃至（２−３１）の何れかに記載の撮像装置において、上記撮像部は、撮像条件を指定する操作があったときは、上記指定された撮像条件を上記第３撮像条件として設定して上記第２画像データの撮像を行う撮像装置。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１５年第１９５１３７号（２０１５年９月３０日出願）

１ …カメラ
１Ｂ…撮像システム
３２…撮像部
３２ａ、１００…撮像素子
３３…画像処理部
３３ａ…入力部
３３ｂ…処理部
３４…制御部
３４ａ…物体検出部
３４ｂ…設定部
３４ｃ…撮像制御部
３４ｄ…ＡＦ演算部
３５…表示部
３８…測光用センサ
９０…注目範囲
１００…積層型撮像素子
１００１…撮像装置
１００２…表示装置
Ｐ…注目画素
Ｐｒ…参照画素

Claims (18)

1. 光電変換された電荷により生成された信号を出力する第１画素と、光電変換された電荷により生成された信号を出力する、前記第１画素とは異なる第２画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、
   前記撮像領域のうち、前記第１画素が配置された第１領域の撮像条件と、前記撮像領域のうち、前記第２画素が配置された前記第１領域とは異なる第２領域の撮像条件と、を設定する設定部と、
   前記設定部により第１撮像条件に設定された前記第１領域の前記第１画素の補間に用いる画素を、前記設定部により前記第１撮像条件とは異なる第２撮像条件に設定された前記第２領域の前記第２画素と、前記設定部により前記第２撮像条件とは異なる第３撮像条件に設定された前記第２領域の前記第２画素と、のうちから選択する選択部と、
   前記選択部により選択された前記第２画素から出力された信号により補間された、前記第１撮像条件に設定された前記第１領域の前記第１画素から出力された信号を用いて前記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、
   を備える撮像装置。
2. 前記選択部は、前記設定部により前記第１撮像条件に設定された前記第１領域の前記第１画素の補間に用いる画素を、前記第１撮像条件と前記第２撮像条件との差と、前記第１撮像条件と前記第３撮像条件との差と、により、前記設定部により前記第２撮像条件に設定された前記第２領域の前記第２画素と、前記設定部により前記第３撮像条件に設定された前記第２領域の前記第２画素と、のうちから選択する請求項１に記載の撮像装置。
3. 前記選択部は、前記設定部により前記第１撮像条件に設定された前記第１領域の前記第１画素の補間に用いる画素を、前記第１撮像条件と前記第２撮像条件と、前記第１撮像条件と前記第３撮像条件と、のうち、差が小さい撮像条件に設定された前記第２領域の前記第２画素を選択する請求項２に記載の撮像装置。
4. 前記選択部は、前記設定部により前記第１撮像条件に設定された前記第１領域の前記第１画素の補間に用いる画素を、前記第１撮像条件と前記第２撮像条件との相違と、前記第１撮像条件と前記第３撮像条件との相違と、により、前記設定部により前記第２撮像条件に設定された前記第２領域の前記第２画素と、前記設定部により前記第３撮像条件に設定された前記第２領域の前記第２画素と、のうちから選択する請求項１に記載の撮像装置。
5. 前記選択部は、前記設定部により前記第１撮像条件に設定された前記第１領域の前記第１画素の補間に用いる画素を、前記第１撮像条件と前記第２撮像条件と、前記第１撮像条件と前記第３撮像条件と、のうち、相違が小さい撮像条件に設定された前記第２領域の前記第２画素を選択する請求項４に記載の撮像装置。
6. 前記第２画素から出力された信号を記憶する記憶部を備え、
   前記設定部は、前記第２領域に前記第２撮像条件を設定する前に、前記第２領域を前記第３撮像条件に設定し、
   前記記憶部は、前記設定部により前記第３撮像条件に設定された前記第２領域の前記第２画素から出力された信号を記憶する請求項１から請求項５のいずれか一項に記載の撮像装置。
7. 前記設定部は、前記第２領域に前記第３撮像条件を設定した後に、前記第１領域に前記第１撮像条件を設定する請求項６に記載の撮像装置。
8. 前記第２画素から出力された信号を記憶する記憶部を備え、
   前記設定部は、前記第２領域に前記第２撮像条件を設定した後に、前記第２領域を前記第３撮像条件に設定し、
   前記記憶部は、前記設定部により前記第２撮像条件に設定された前記第２領域の前記第２画素から出力された信号を記憶する請求項１から請求項５のいずれか一項に記載の撮像装置。
9. 前記設定部は、前記第２領域に前記第３撮像条件を設定する前に、前記第１領域に前記第１撮像条件を設定する請求項８に記載の撮像装置。
10. 前記第１画素は、第１分光特性のフィルタを介して入射した光を光電変換する第１光電変換部を有し、
    前記第２画素は、前記第１分光特性とは異なる第２分光特性のフィルタを介して入射した光を光電変換する第２光電変換部を有する請求項１から請求項９のいずれか一項に記載の撮像装置。
11. 前記第１領域は、複数の前記第１画素が配置され、
    前記第２領域は、複数の前記第２画素が配置されている請求項１から請求項１０のいずれか一項に記載の撮像装置。
12. 前記第１領域は、単数の前記第１画素が配置され、
    前記第２領域は、単数の前記第２画素が配置されている請求項１から請求項１０のいずれか一項に記載の撮像装置。
13. 光電変換された電荷により生成された信号を出力する第１画素と、光電変換された電荷により生成された信号を出力する前記第１画素とは異なる第２画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、
    前記撮像領域のうち、前記第１画素が配置された第１領域の撮像条件と、前記撮像領域のうち、前記第２画素が配置された前記第１領域とは異なる第２領域の撮像条件と、を設定する設定部と、
    前記設定部により第１撮像条件に設定された前記第１領域の前記第１画素から出力された信号の信号処理に用いる画素を、前記設定部により前記第１撮像条件とは異なる第２撮像条件に設定された前記第２領域の前記第２画素と、前記設定部により前記第２撮像条件とは異なる第３撮像条件に設定された前記第２領域の前記第２画素と、のうちから選択する選択部と、
    前記選択部により選択された前記第２画素から出力された信号により信号処理された、前記第１撮像条件に設定された前記第１領域の前記第１画素から出力された信号を用いて前記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、
    を備える撮像装置。
14. 第１撮像条件に設定された、撮像素子の撮像領域のうち、第１領域に配置された第１画素の補間に用いる画素を、前記第１撮像条件とは異なる第２撮像条件に設定された、前記撮像領域のうち、第２領域に配置された第２画素と、前記第２撮像条件とは異なる第３撮像条件に設定された前記第２領域に配置された前記第２画素と、のうちから選択する選択部と、
    前記選択部により選択された前記第２画素から出力された信号により補間された、前記第１撮像条件に設定された前記第１領域の前記第１画素から出力された信号を用いて前記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、
    を備える画像処理装置。
15. 第１撮像条件に設定された、撮像素子の撮像領域のうち、第１領域に配置された第１画素から出力された信号の信号処理に用いる画素を、前記第１撮像条件とは異なる第２撮像条件に設定された前記撮像領域のうち、第２領域に配置された第２画素と、前記第２撮像条件とは異なる第３撮像条件に設定された前記第２領域に配置された前記第２画素と、のうちから選択する選択部と、
    前記選択部により選択された前記第２画素から出力された信号により信号処理された、前記第１撮像条件に設定された前記第１領域の前記第１画素から出力された信号を用いて前記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、
    を備える画像処理装置。
16. 光電変換された電荷により生成された信号を出力する第１画素と、光電変換された電荷により生成された信号を出力する、前記第１画素とは異なる第２画素と、が配置された領域であって被写体を撮像する撮像領域を有する撮像素子と、
    前記撮像領域のうち前記第１画素が配置された第１領域と、前記撮像領域のうち前記第２画素が配置された前記第１領域とは異なる第２領域と、に異なる撮像条件を設定可能な設定部と、
    前記設定部により第１撮像条件に設定された前記第１領域の前記第１画素と、前記設定部により前記第１撮像条件とは異なる第２撮像条件が設定された前記第２領域の前記第２画素と、の出力により生成された画像信号のうちの前記第１画素の信号を、前記設定部により第３撮像条件に設定された前記第１領域の前記第１画素と、前記第３撮像条件に設定された前記第２領域の前記第２画素と、の出力により生成された画像信号の少なくとも一部を用いて補間した信号を用いて前記撮像領域で撮像された被写体の少なくとも一部の画像を生成する生成部と、
    を備える撮像装置。
17. 前記第３撮像条件に設定された前記第１領域の前記第１画素と、前記第３撮像条件に設定された前記第２領域の前記第２画素と、の出力により生成された画像信号は、前記第１撮像条件に設定された前記第１領域の前記第１画素と、前記第２撮像条件が設定された前記第２領域の前記第２画素と、の出力により生成された画像信号よりも前に生成されている請求項１６に記載の撮像装置。
18. 前記第３撮像条件に設定された前記第１領域の前記第１画素と、前記第３撮像条件に設定された前記第２領域の前記第２画素と、の出力により生成された画像信号は、前記第１撮像条件に設定された前記第１領域の前記第１画素と、前記第２撮像条件が設定された前記第２領域の前記第２画素と、の出力により生成された画像信号よりも後に生成されている請求項１６に記載の撮像装置。
    

Images