JP4170131B2

JP4170131B2 - 撮像制御方法および撮像制御装置

Info

Publication number: JP4170131B2
Application number: JP2003108136A
Authority: JP
Inventors: 仁山下; 泉三宅; 直基久保
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-04-11
Filing date: 2003-04-11
Publication date: 2008-10-22
Anticipated expiration: 2023-04-11
Also published as: JP2004320147A

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子により撮像される被写界の撮像信号を用いて、該被写界を撮像するための撮像制御を行う撮像制御方法および撮像制御装置に係り、とくに露出調整と焦点調節との撮像制御を行う撮像制御方法および撮像制御装置に関するものである。
【０００２】
【従来の技術】
近年、被写界を撮影してその撮像画像をディジタル信号で記憶し、また出力するディジタルカメラでは、固体撮像素子にて撮像されて出力される撮像信号の高域周波数成分を用いて、撮像レンズによって結像される被写界像のピントを自動的に合わせたり、撮像信号の出力レベルに基づいて被写界を測光し、撮影の際の露出値を決定する自動調節機能が備えられている。
【０００３】
CCD撮像素子やCMOS型固体撮像素子では、それぞれ画像を構成する画素の数が多い高画素の撮像素子を採用したカメラが好評を得ている。このような撮像素子ではチップ面積を画素数の増大に応じて単純に拡大することができないため、同一チップ面積で比較すると画素を形成する受光部分の面積が画素数の増大につれて相対的に小さくなる。
【０００４】
その反面、被写界をより忠実に再現したいという要求があり、高画素密度による高精細画像に加えてさらに広ダイナミックレンジの階調性豊かな画像を得ることが期待されている。
【０００５】
実際の本撮影の際には、前述の自動調節機能により、自動露出調整(AE)を先に行って適切な露出値を得てから本撮像し、適正露出にて撮影された撮像信号の高周波成分（コントラスト成分）を撮像レンズを移動させながら撮像したコマの撮像画像についてそれぞれ算出し、コントラスト成分が最大となる位置に撮像レンズを移動させて撮像素子の撮像面に被写界像を結像させる。このような撮像調節方式では、夜景や室内等の暗い場所から太陽光下の明るさの場所までの照度条件下での撮影に対応するために、測光時に露光条件を複数回分割して受光する必要があった。これにより、測光専用の広ダイナミックレンジの測光素子を廃し、また撮像素子をこのように利用することで、撮像画面内の状況に応じて適切な評価を加味した各種特性の評価測光を精度良く行うことが可能となる。また、自動焦点調節(AF)時には、撮像レンズの位置を変更しながらそれぞれ複数の位置（AFポジション）にて撮像した撮像信号に基づいて高コントラストが得られるレンズ位置を合焦位置と判断してピント調整を制御する。
【０００６】
広ダイナミックレンジの画像を得る固体撮像素子については、たとえば、特許文献１に記載されている。特許文献１における固体撮像装置の第１の受光素子群に含まれる受光素子は、第２の受光素子群に含まれる受光素子に対して、各受光素子の幾何学的な形状の中心が互いに行方向および／または受光素子のピッチの半分に相当する距離だけずれて配置された、いわゆるハニカム配列したものであった。
【０００７】
また、特許文献２では、フォトダイオード部を２つの領域に分割し、スイッチング素子により受光面積を切り換えて２段階の感度切り換えを行う固体撮像装置が開示されている。
【０００８】
特許文献３では、各受光部を感度が異なる複数の受光領域に分割し、同感度の受光領域の生成電荷を垂直転送レジスタで混合して転送し、感度の異なる受光領域の信号電荷を複数の水平転送レジスタでそれぞれ別々に水平転送する固体撮像装置が開示されている。
【０００９】
【特許文献１】
特開2000-125209号公報
【特許文献２】
特開平5-207376号公報
【特許文献３】
特開平9-205589号公報。
【００１０】
【発明が解決しようとする課題】
このように従来は、複数段階の露光により撮像された画像信号に基づいて露出を調整し、調整された露出にてさらに複数のAFポジションにて撮像して画像信号を複数獲得し、それら画像信号を使用して自動焦点調節を行うという複数の段階を経る必要があった。
【００１１】
自動露出調整のための測光を行う際には、撮像素子への受光量をシャッタ速度と絞り等によって複数段階の露光量を与えて複数コマを撮像することにより、撮像素子にて生成される信号電荷の飽和状態を防ぎ、飽和状態が少なく設定されて撮像された撮像信号の信号レベルに基づいて、被写界の輝度状態を判断して、本撮像の際の最適露出値を決定することができるとともに、決定された露出値であらためて複数のAFポジションにて撮像した複数コマの撮像信号に基づいて、被写界のコントラスト成分を抽出し、これに基づいて、本撮像の際の撮像レンズのレンズ位置を制御する手順が必要であった。
【００１２】
このため、これら露出調整および焦点調節に多くの時間を要するので、シャッタレリーズ操作後にこれら撮像調整を行って実際に本撮影が行われるまでのタイムラグが大きくなるという問題があった。上記刊行物１〜３では、これらの課題および解決手段については考慮されていなかった。
【００１３】
本発明はこのような従来技術の欠点を解消し、自動露出調整および自動焦点調節を行う撮像調節における処理時間を短縮することのできる撮像制御方法および撮像制御装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は上述の課題を解決するために、相対的に広い面積を有して高感度の第１の画素を形成する主感光部と、主感光部に隣接し相対的に狭い面積を有し低感度の第２の画素を形成する副感光部とが一つの組画素として形成され、複数の組画素が半導体基板上の受光領域に組画素の画素ピッチの二分の一ずつ水平および垂直走査方向にずらしてそれぞれ配置された固体撮像素子を用意し、固体撮像素子を駆動して被写界を連続して複数フレーム分撮像し、第１の画素にて生成される信号電荷に応じた第１の画像信号と、第２の画素にて生成される信号電荷に応じた第２の画像信号とを固体撮像素子から読み出し、同一のフレームで読み出される第１の画素および第２の画素のそれぞれの画像信号を利用して、自動露出調整と自動焦点調節と含む撮像調節を併行して行うことを特徴とする。
【００１５】
この場合、自動露出調整には第１の画像信号を使用し、自動焦点調節には第２の画像信号を使用するとよい。
【００１６】
また、垂直走査方向に隣接する第１の画素について、一つおきのライン毎に第１の画像信号を読み出すとよい。
【００１７】
また、垂直走査方向に隣接する第２の画素について、一つおきのライン毎に第２の画像信号を読み出すとよい。
【００１８】
また、自動露出調整および自動焦点調節の完了後にさらに、自動露出調整にて決定される露出値に制御して被写界を撮像し、撮像した画像信号のうち使用する画像信号を第１の画素からの第１の画像信号に切り換え、第１の画像信号を使用して自動焦点調節にて調節された位置よりもさらに高精度にフォーカス位置を合わせ込むとよい。
【００１９】
この高精度にフォーカス位置を合わせ込む際に、第２の画素からの第２の画像信号の読み出しを停止させるとよい。
【００２０】
さらに高精度にフォーカス位置を合わせ込む際に、撮像レンズの移動範囲を自動焦点調節にて制御したフォーカス位置に応じて制限するとよい。
【００２１】
また、撮像調節の際に、露光条件を異ならせて複数段階のレンジに切り換えて被写界を撮像し、露光条件の異なる状態で撮像した画像信号のうち第２の画素からの第２の画像信号を露光条件に応じてレベル補正し、補正された第２の画像信号に基づいて自動焦点調節のためのコントラスト情報を算出し、コントラスト情報に応じた位置に撮像レンズの位置を制御するとよい。
【００２２】
また、本発明は上述の課題を解決するために、自動露出調整および自動焦点調節を含む撮像調節を行う撮像制御装置において、この装置は、自動焦点調節を行うために被写界に対して方向に移動してフォーカス位置を制御可能な撮像レンズと、相対的に広い面積を有して高感度の第１の画素を形成する主感光部と主感光部に隣接し相対的に狭い面積を有し低感度の第２の画素を形成する副感光部とが一つの組画素として形成され、複数の組画素が半導体基板上の受光領域に組画素のピッチの二分の一ずつ水平および垂直走査方向にずらしてそれぞれ配置された固体撮像素子と、撮像レンズと固体撮像素子との間に配設され、撮像レンズを介して入射される光束を遮光および開放するシャッタ手段と、固体撮像素子から出力される画像信号を処理する信号処理手段と、自動露出調整および自動焦点調節を制御する制御手段とを含み、制御手段は、固体撮像素子を駆動する手段と、露光量を制御する手段と、撮像レンズのフォーカスを制御する手段とを含み、第１の画像信号に基づいて自動露出調整の制御を行うとともに、自動露出調整制御と併行して第２の画像信号に基づいて自動焦点調節の制御を行うことを特徴とする。
【００２３】
この場合、制御手段は、自動露出調整および自動焦点調節の完了後にさらに、自動露出調整にて決定される露出値に制御して被写界を撮像し、撮像した画像信号のうち第１の画像信号を使用して自動焦点調節にて調節された位置よりもさらに高精度にフォーカス位置を合わせ込むとよい。
【００２４】
また、固体撮像素子は、第１の画素と第２の画素との受光面積比が３対１以上であるとよい。
【００２５】
また、固体撮像素子は、第１の画素にて生成される信号電荷に応じた第１の画像信号と、第２の画素にて生成される信号電荷に応じた第２の画像信号とを、それぞれ独立して出力するとよい。
【００２６】
【発明の実施の形態】
次に添付図面を参照して本発明による撮像制御方法および撮像制御装置の実施例を詳細に説明する。
【００２７】
図２を参照すると本実施例におけるディジタルカメラのブロック図が示され、ディジタルカメラ10は、撮像レンズ12、シャッタユニット14および固体撮像素子(CCD) 16によって撮像される被写界の撮像信号を処理して、カラー画像またはモノクロ画像を表わす画像データを生成する撮像装置である。このカメラ10は、被写界を撮像し、高解像度の撮像画像をたとえば静止画符号化処理してメモリカード等の記憶装置に記録する静止画モードと、自動露出調整(AE)および自動焦点調節(AF)を行う撮像調節モードと、さらに、フレーミングやピント等の確認を行うとともにその撮像画像を順次出力する動画モードとを有する。
【００２８】
本実施例では、本カメラ10が起動すると動画モードが設定され、操作部26に備えられたレリーズスイッチが半押しされてその第１ストローク(S1)が検出されると撮像調節モードに移行し、その後、さらに全押しされて第２ストローク(S2)が検出されると静止画モードが設定される。また、動画モードは、操作に応じて手動設定および解除することができ、また、露出と焦点とはそれぞれ任意に手動操作で合わせることもできる。
【００２９】
ディジタルカメラ10は、撮像調節モードにおいて、二次元配列された複数の画素を有する固体撮像素子16の出力信号に基づいて、自動焦点調節(AF)および自動露出調整(AE)等の撮像調節を行なう。カメラ10の自動露出調整機能は、撮像調節モードにおいて固体撮像素子16からの出力信号を処理し、その処理結果に基づいて被写界の輝度レベルを測定し、その測光結果に従ってシャッタ速度および絞り値の組み合わせによる露出値(EV)を制御する。本実施例における固体撮像素子16は、フォトダイオード(PD)にて形成される各画素のそれぞれを大小の高感度画素および低感度画素に分割して感度差を与えた受光素子を備えるイメージセンサである。
【００３０】
撮像レンズ12と固体撮像素子16との間に配置されたシャッタユニット14には、固体撮像素子16を遮光する機械式シャッタと光量を調節する絞りとが備えられ、機械式シャッタは、露光の開始前に開放し露光の終了時に閉じて露光時間つまりシャッタ速度を制御する。なお、実質的な露光の開始タイミングは本実施例では電子シャッタ制御により行う。また、絞りは、撮像レンズ12を介して入射し固体撮像素子16の撮像面に到達する光量を可変に制限して露光量を調節する。
【００３１】
撮像レンズ12の焦点調節に係わるレンズ位置（AFポジション）などはレンズ駆動部20に備えられるドライバ回路と移送機構とにより制御および駆動される。レンズ駆動部20は、中央処理装置(CPU) 22に接続され、中央処理装置22から供給されるAF情報に従って撮像レンズ12のAFポジションを制御する。また、機械式シャッタおよび絞りは、シャッタ駆動部24に備えられる電磁機構によって駆動される。
【００３２】
シャッタ駆動部24は、固体撮像素子16の出力26に接続された信号処理回路28内のタイミング信号生成回路(TG)30から供給されるAE情報に応じたタイミングでその動作が制御される。このAE情報は、固体撮像素子16を駆動する垂直ドライバ32にも供給されている。垂直ドライバ32は、固体撮像素子16の主として垂直方向の走査を駆動する駆動回路であり、固体撮像素子16における信号電荷の生成および不要電荷の掃き出しなどを制御し、生成した信号電荷の垂直転送をAE情報に応じて制御する電子シャッタ制御機能を有する。また、垂直ドライバ32は、とくに撮像調節モードにおいて、固体撮像素子16の垂直走査方向に対する１ラインおきに高感度画素と低感度画素とを切り替えて信号電荷を読み出す機能を有し、さらに、高感度画素のみの読み出し駆動と、低感度画素のみの読み出し駆動とを独立して個別に行うこと機能をも有している。
【００３３】
また、カメラ10の自動焦点調節機能(AF)は、固体撮像素子16の出力信号に基づいて、所望の被写体が撮像レンズ12を介して固体撮像素子16の撮像面に合焦するように撮像レンズ12を移動させてフォーカスを制御する。この撮像調節機能は、操作者による第１ストローク(S1)押下のレリーズ操作に応動して実行され、撮像調節動作が完了した後、レリーズスイッチの第２ストローク(S2)検出で静止画像を得るための本撮影動作が行われるが、これに限らず、撮像調節処理制御の短縮化に伴って、レリーズスイッチへの一操作の全押しのみでこれら撮像調節と本撮影動作とを順次行うように構成することができる。
【００３４】
ディジタルカメラ10は、静止画モードに移行すると、撮像される１コマもしくは複数コマの静止画像を処理し、その処理画像データを圧縮符号化し、または非圧縮にて不図示の記憶装置に装着される情報記録媒体に記録する。
【００３５】
ディジタルカメラ10は、高感度画素および低感度画素の特有な画素構成を有する固体撮像素子16を駆動して、自動焦点調整(AF)と自動露出調整(AE)とを実質的に同時に行うことにより、撮像調節時間の短縮化を図っている。
【００３６】
詳しくは、図３に固体撮像素子16の撮像面の画素配置および垂直転送路(VCCD)の一部分を示すように、固体撮像素子16は、高感度画素(PD_L)として相対的に大きな受光面積を有する高感度の大受光領域と、低感度画素(PD_S)として相対的に小さな受光面積を有し高感度画素(PD_L)に隣接し高感度画素と共に四辺形の一部領域の形状として配置された低感度の小受光領域とを一組のフォトダイオードによる組画素(PD)とし、一組の組画素(PD)をそれぞれ垂直走査方向および水平走査方向に組画素間隔の二分の一ピッチ分ずらしてハニカム状に複数配置している。実施例では各高感度画素(PD_L)と低感度画素(PD_S)とを組み合わせた画素分割状態の組画素(PD)を全体として四辺形に形成し四辺形の各辺を水平および垂直走査方向に対してほぼ45度傾くようにして配置しているが、これに限らず、組画素(PD)の形状は、たとえば図９に示すように全体として五角形以上の六角形および八角形でもよく、また、多角形に限らず円形でもよい。図９に示す構成例では、組画素(PD)の二つの頂角を低感度画素(PD_S)側に含むように形成している。また、図10に示すように、高感度画素(PD_L)および低感度画素(PD_S)のそれぞれの形状は、組画素(PD)の一つの頂角を低感度画素(PD_S)側に含むようにして画素分割した形状としてもよい。これら画素分割の面積は、たとえば、高感度の高感度画素(PD_L)と低感度の低感度画素(PD_S)とで３対１程度かそれ以上の面積比、たとえば４対１ないし６対１等にて形成すると、自動露出調整(AE)および自動焦点調節(AF)の同時処理に必要な感度差を高感度画素(PD_L)および低感度画素(PD_S)に生じさせることができる。
【００３７】
図４を参照すると、同図には、固体撮像素子16への入射光量に対する出力信号レベルの一例が示されている。図示するように、入射光量が増加してくると、まず高感度画素(PD_L)における信号電荷が早く飽和状態となって以降の出力レベルは飽和レベル一定となるが、低感度画素(PD_S)では感度が低いために高感度画素(PD_L)に遅れて出力レベルが上昇する。飽和レベルになる状態の入射光量では、高感度画素(PD_L)の出力を自動焦点調節に使用できない場合であっても、低感度画素(PD_S)の出力を使用すると、同図において傾きのあるすべての入力光量の範囲において自動焦点調節に使用可能な出力を得ることができる。このように高感度画素(PD_L)ではダイナミックレンジが狭くてすぐに飽和状態になるに対して、逆に低感度画素(PD_S)ではダイナミックレンジが広い出力が得られる。したがって本実施例では、輝度差の幅広い被写界に対して、測光レンジを４段階の測光条件(AE(a)〜AE(d))に分割してレンジ切り替えを行って露出量を可変に設定し、複数段階に露出させた高感度画素(PD_L)からの出力を用いて測光し自動露出調整(AE)を行うとともに、それぞれ同時に露出される低感度画素(PD_S)からの出力を利用して自動焦点調節(AF)のためのコントラスト情報をそれぞれ算出して、撮像レンズ12の制御位置を求めてゆく。測光条件の切り替えに応じた高感度画素(PD_L)のダイナミックレンジを図５に示し、また、図６には、低感度画素(PD_S)のダイナミックレンジを示す。
【００３８】
図３に戻って、固体撮像素子16の各組画素(PD)には、RGB原色カラーフィルタがGストライプ状に配置され、またR/B市松状に配置されている。各組画素(PD)のさらに上方の表面側には、受光率を向上させるマイクロレンズが配置されて集光効率を向上させている。カラーフィルタの色配列例を、同図の高感度画素側に記した文字"R","G","B"でそれぞれ示す。これら各色のカラーフィルタは、高感度画素(PD_L)に隣接して一つの組画素(PD)を形成する低感度画素(PD_S)にもそれぞれ対応する同色成分のフィルタが配置されている。なお"R"はレッド成分、"G"はグリーン成分、"B"はブルー成分のカラーフィルタであることを示す。色配列は本実施例に限定されず、また、他の色成分としてたとえば補色型のカラーフィルタを使用してもよい。また、低感度の低感度画素(PD_S)には、透過率の高いG成分の色フィルタを配置し、高感度の高感度画素(PD_L)には、透過率の低いR成分およびB成分の色フィルタを配置してもよく、この場合、R成分およびB成分の高感度画素(PD_L)を２分の１組画素ピッチずつ水平および垂直走査方向にそれぞれずらして配置すると、解像度向上の点および感度差の補償の点から有利である。
【００３９】
固体撮像素子16の各組画素(PD)の間隙には、各受光領域にて生成される信号電荷を垂直走査方向に転送するための垂直転送路(VCCD)が各組画素(PD)の周囲に沿ってジグザグ状に配設されている。垂直転送路(VCCD)は電荷結合素子にて構成される。各高感度画素(PD_L)と各低感度画素(PD_S)とはそれぞれ、図の右側にて垂直転送路(VCCD)に向かい合う部分に不図示の転送ゲートが形成されている。
【００４０】
各画素にて生成される信号電荷は、垂直ドライバ32から供給されるシフトパルスに応動して右方側の垂直転送路(VCCD)に転送ゲートを介して読み出される。垂直転送路(VCCD)の上方には転送電極が積層して配設されており、転送電極に印加する電位を変化させて、各画素に転送ゲートを介して接続される垂直転送路を、たとえば４つのポテンシャル領域(VCCD(1)〜VCCD(4))に変化させて、各画素から垂直転送路(VCCD)にシフトされた信号電荷を不図示の水平転送路方向に転送する。なお、低感度画素ラインの読み出しと、高感度画素ラインの読み出しとをフィールド毎に別々に行う際には各組画素(PD)に隣接するポテンシャル領域(VCCD(1)〜VCCD(4))を一組の領域とするように転送電極の電位を制御し、各組画素単位の間隔でポテンシャル井戸を移動させることもできる。この場合、読み出し画素間隔が広がるので信号電荷の転送速度をより高速にすることができる。
【００４１】
信号電荷の転送方向の垂直転送路(VCCD)の一端には不図示の水平転送路が配設され、水平転送路は、信号処理回路28内の水平ドライバ34から供給される転送パルスに応動して、複数の垂直転送路(VCCD)から転送される信号電荷を受け取って信号電荷を水平走査方向に転送する電荷結合素子である。水平転送路の転送先には不図示の出力アンプが備えられ、水平転送路から移送されてくる信号電荷をその電荷量に応じた電気信号として読み出して出力26に出力する。
【００４２】
このように、これら高感度画素(PD_L)の受光信号と低感度画素(PD_S)の受光信号とは、信号処理回路28および垂直ドライバ32から固体撮像素子16に供給される駆動信号に応動して別々に独立して読み出すことができる。本実施例における撮像調節では、同一露出期間に各受光領域にて生成されて固体撮像素子16から読み出した電気信号を測光および焦点調節の双方でほぼ同一タイミングにて使用し、測光処理と焦点調節処理とを併行して行う。
【００４３】
信号処理回路28は、固体撮像素子16の出力26に接続される相関二重サンプリング回路(CDS) 36と、自動利得可変増幅回路(AGC/WB) 38と、アナログ・ディジタル変換回路(ADC) 40とを有し、ADC 40の出力42は、ディジタル信号処理装置(DSP) 44に接続されている。信号処理回路28はさらに、前述のタイミング信号生成回路(TG) 30と、水平ドライバ34と、ディジタル・アナログ変換回路(DAC) 46とを備えている。
【００４４】
ディジタル信号処理装置(DSP) 44は、入力信号に対してガンマ補正を行い、また輝度および色差からなるYC信号に変換するガンマ補正／YC処理回路50と、積算回路52とを含み、それぞれ入力42に入力されるディジタル画像信号を演算処理する信号プロセッサである。本実施例に特有な機能として、ガンマ補正／YC処理回路50は、高感度画素(PD_L)および低感度画素(PD_S)を使用した画素形成処理機能を有し、これら組画素(PD)を一つの画素としてダイナミックレンジの広い値を算出するともに、各画素位置における各色成分の値を算出して、各画素位置でのRGB成分それぞれの画素値を算出する。また、低感度画素部分には色フィルタを配置せずに固体撮像素子16を形成して、輝度信号を主として低感度画素(PD_S)から得るように信号処理することもできる。ガンマ補正／YC処理回路50の出力54は、たとえば、圧縮符号化回路等を有する記録装置に接続され、処理された画像信号を情報記憶媒体に記録したり、また、画像信号を他の装置に通信路を介して伝送する。
【００４５】
積算回路52は、撮像調節モード時に入力される画像信号を撮像領域中の所定の領域ごとに積算することにより、画面内を複数ブロックに分割したブロック毎の輝度情報を得る。積算回路52はさらに、画像信号の高域輝度成分を抽出する機能を有し、焦点調節にて使用されるコントラスト情報を生成する。なお、積算回路52は、ガンマ補正／YC処理回路50にて生成される輝度信号Ｙを入力してコントラスト情報を生成してもよい。
【００４６】
積算回路52の出力56はメモリ60に接続され、メモリ60は、入力される輝度情報をブロック毎に記憶し、また、入力されるコントラスト情報をブロック毎に記憶する。メモリ60には、撮像レンズ12の複数のAFポジションにて撮像した画像信号から生成した各位置毎のコントラスト情報を格納する記憶領域を有する。メモリ60は、接続線62を介して接続された中央処理装置(CPU) 22からの要求に応じて、記憶情報を出力62に出力する。
【００４７】
中央処理装置(CPU) 22は、本カメラ10全体の動作を制御する制御回路であり、有利には、制御プログラムに従って演算処理を行う演算回路と、プログラムおよび各種データを格納する記憶回路と、情報の入出力を司る入出力回路とを含むコンピュータ回路にて形成される。中央処理装置22は、前述の静止画モードと撮像調節モードと動画モードとを操作に応じてそれぞれ設定し、各モードに応じた制御を行うとともに、本撮影を行うために必要な情報を生成する。
【００４８】
とくに、撮像調節モードにおける中央処理装置(CPU) 22は、露出値の異なる測光条件に切り替えて段階露出を行うことにより、輝度差の大きな被写界に対して精度よく測光を行うレンジ分割測光機能を有する。
【００４９】
詳しくは中央処理装置(CPU) 22は、撮像調節モードにおいて、図５に示す光量AE(a)に対応する測光条件(a)にて撮像した撮像信号と、続いて、光量AE(b)に対応する測光条件(b)にて撮像した撮像信号と、光量AE(c)に対応する測光条件(c)にて撮像した撮像信号と、続いて、光量AE(d)に対応する測光条件(d)にて撮像した撮像信号とを順次使用して、それぞれの条件(a)〜条件(d)のうち、どの測光条件が適切であるか否かを、たとえば撮像信号の信号レベルに基づいてその飽和状態に応じて判断する。中央処理装置22は、最適な測光条件を決定するとその測光条件にて撮像した撮像信号に基づいて、被写体に対する露出値を決定して、以降その露出値に応じて撮像するように各部を制御する。
【００５０】
これら測光条件の決定と露出値の決定は、固体撮像素子16の高感度画素(PD_L)にて生成される信号電荷に応じた撮像信号を使用して行われる。なお図示の例では、所望の主要被写体の明るさをポイントＰで示すと、光量AE(c)の範囲で測光条件(c)の範囲での測光判断が最も適切な測光処理となり、光量AE(a),(b)の範囲の測光条件(a),(b)の範囲では露出過多と判断され、また光量AE(d)に対応する測光条件(d)の範囲では露出アンダーと判断される。実施例では、このような測光レンジを切り替えて適切な測光レンジを決定し、適切な測光レンジを選択して被写界を精度よく再測光する。測光レンジの切り替えは、シャッタユニット14に対する機械式シャッタの閉成タイミングと絞り値を制御し、さらに電子シャッタの開始タイミングを制御する電子シャッタ制御によって行われる。
【００５１】
さらに中央処理装置22は、他方の低感度画素(PD_S)にて生成される信号電荷に応じた撮像信号を使用して焦点調節を制御する機能を有する。図６に示す低感度画素(PD_S)の光量対測光条件の対応のうち、低感度の低感度画素(PD_S)からの撮像信号はダイナミックレンジが広いため、すべての測光条件にて撮像した場合においても焦点調節を行うためのコントラスト情報を得ることができる。なお、低感度画素(PD_S)からの撮像信号は信号レベル自体は低出力レベルであるため信号処理回路28内の自動利得可変増幅回路(AGC/WB) 38にて低感度画素(PD_S)からの撮像信号に対して感度補正用の増幅を施した後の撮像信号を使用してコントラスト情報を生成する。
【００５２】
中央処理装置(CPU) 22は、ブロック毎のコントラスト情報に基づいて、撮像レンズ12の合焦位置を制御するAF評価値を決定する。このAF評価値は、被写界の絵柄、さらには撮像画面内の特定のブロックを重点的に評価する測光モード等の条件に応じて決定される。この際、中央処理装置22は、決定したAF評価値を各測光条件(a)〜(d)に応じて修正して、被写界に適切な山登りカーブを求める機能を有している。
【００５３】
中央処理装置(CPU) 22は、固体撮像素子16に対する駆動を、露出が終了（機械式シャッタの閉成後）した後に、高感度画素ライン、低感度画素ラインとを２つのフィールドで読み出す。
【００５４】
詳しくは図７に示すように、中央処理装置(CPU) 22は、撮像調節モードにおいて、低感度画素ラインの信号電荷を垂直転送路にシフトする際、図中矢印で示すように、それぞれ垂直走査方向に配置した組画素(PD)について１ラインおきの組画素内の低感度画素(PD_S)についてシフトさせ、垂直転送路(VCCD)で高速転送させる。高感度画素ラインの信号電荷を垂直転送路(VCCD)にシフトする際も同様に、中央処理装置22は、図８に矢印で示すように、それぞれ垂直走査方向に配置した組画素(PD)について１つおき間隔の組画素内の高感度画素(PD_L)についてシフトさせ、垂直転送路(VCCD)で高速転送させる。これら図７および図８では、１ラインおきに高感度画素(PD_L)および低感度画素(PD_S)を別々に読み出す信号電荷の読み出しを高感度画素(PD_L)および低感度画素(PD_S)で別々に図示しているが、高感度画素(PD_L)と低感度画素(PD_S)とをフィールド毎別々に垂直転送路(VCCD)にシフトして読み出してもよいし、高感度画素(PD_L)および低感度画素(PD_S)ともに一度に垂直転送路(VCCD)にシフトして読み出してもよい。
【００５５】
この同一の露光時間にてそれぞれの受光素子で受光して生成された信号電荷による撮像出力を使用して、自動露出調整(AE)と自動焦点調節(AF)とを同時に制御してゆく。詳しくは、ディジタルカメラ10は、図11に示すフローチャートに従って動作する。レリーズスイッチの第１ストローク(S1)が検出されると撮像調整モードが設定されて、ステップ100において、中央処理装置22は、自動露出調整処理と自動焦点調節処理とを併行処理により実行する。
【００５６】
図１において、一垂直走査期間の１フレームを規定する垂直同期信号(VD)の期間ごとの測光条件(a)〜(d)のタイミングでは、それぞれ、撮像レンズ12のAFポジションが近距離に焦点が合う最近端位置から遠距離に焦点が合う最遠端（無限遠）位置に各垂直走査期間(VD)毎に複数位置に移動制御されて、その各AFポジションにて撮像された高感度画素(PD_L)と低感度画素(PD_S)とによるそれぞれの撮像信号が固体撮像素子16から出力される。
【００５７】
図１に示す例では図５および図６に示した被写体の明るさＰに対応して、光量AE(c)をカバーする測光条件AE(c)による測光が適正な測光値が得られる状態を示している。図１にも示したように、高感度画素出力と同一の垂直走査期間に出力される低感度画素出力とを使用して、一方の高感度画素(PD_L)は自動露出調整(AE)で使用し、他方の低感度画素(PD_S)を自動焦点調節(AF)で使用している。こうして、AE情報を生成し出力しながらAF情報としてコントラスト情報を生成することができる。
【００５８】
なお本実施例では、AFポジションを４点のレンズ位置にて説明しているが、これに限らず、たとえば撮像レンズ12の焦点距離および撮影時の被写界深度、要求されるピント精度および許容されるAF速度などの条件に応じて、AFポジションを８〜16点に設定したり、さらに32点程度にAFポジションを設定したりして、各AFポジションにおけるコントラスト情報を生成するとよい。
【００５９】
低感度画素(PD_S)から読み出される撮像信号のレベルは、たとえば自動利得可変増幅回路(AGC/WB) 38にて感度補正されるとともに、積算回路52にて算出されるコントラスト情報を中央処理装置22は、各AFポジションに対応する測光条件にしたがってAF評価値が補正される。これにより、たとえば図12に示すように、測光条件AE(a)〜(d)に対応して算出されたAF評価値が、それぞれAE(a2)〜AE(d2)の値に補正されて、AFポジションに応じた山登りカーブが得られる。
【００６０】
こうして、測光条件(c)による測光値を使用して露出が自動調整され、山登りカーブにて求められるAF評価値の最大値に基づいて撮像レンズ12の位置、つまりAFポジションが決定されて、それぞれ、絞り、シャッタ速度およびピントが撮像信号に基づいて自動制御される。
【００６１】
図11に戻ってステップ102に進み、この状態にてレリーズスイッチの第２ストローク(S2)のオン状態が検出されると、本撮像を行う静止画モードが設定される（ステップ104）。静止画モードでは、決定された露出値にて固体撮像素子16が露光され、露出完了にて機械式シャッタが閉成される。
【００６２】
次いでステップ106に進むと、高感度画素(PD_L)および低感度画素(PD_S)にて生成された信号電荷がそれぞれ転送ゲートにより垂直転送路(VCCD)にシフトされ、さらに垂直転送される。複数の垂直転送路(VCCD)から移送された信号電荷はさらに水平転送路にて出力アンプ側に転送され、出力アンプから撮像信号として出力26に出力される。
【００６３】
ステップ108において信号処理回路28ではこの撮像信号26を相関二重サンプルし、利得可変に増幅して色バランスを調節するなどの信号処理を施し、アナログ・ディジタル変換回路40で所定のディジタル信号に変換する。ディジタルに変換された画像信号は、接続線42を介してディジタル信号処理装置(DSP) 44に入力され、ガンマ補正／YC処理回路50にてガンマ補正された後、輝度(Y)および色差(C)で表されるYC信号に変換される。変換されたYC信号は、出力54に接続される記録装置に入力されると、圧縮符号化したYC信号が記憶媒体に記録される（ステップ110）。
【００６４】
次に、図13を参照すると、撮像調節モードにおいて、自動焦点調節(AF)をより高精度に制御する実施例が示されている。本実施例では、図１に示した第１の実施例で説明したように低感度画素(PD_S)から得られる撮像信号を使用してAFポジションを求めた後、本第２の実施例ではさらに、合焦の得られるAFポジションをさらに絞り込む際に使用する撮像信号を高感度画素(PD_L)からの撮像信号に切り替えて、より高精度の焦点調節を行う。
【００６５】
第２の実施例におけるディジタルカメラ10は、図２に示したブロック図と同様の構成に加えてさらに、中央処理装置(CPU) 22に上述したようなAFポジションを絞り込む自動焦点調節(AF)のための追加機能を備えている。また、カメラ10に備えられる固体撮像素子16の画素配列等の構成についても図３に示した第１の実施例と同様の構成でよい。
【００６６】
詳しくは、中央処理装置(CPU) 22は、撮像調節モードにおいて、測光が確定し自動露出調整(AE)によって露出値を制御し、低感度画素(PD_S)を使用する自動焦点調節(AF)によってフォーカスを合わせ込んだ後さらに撮像して第２段階目の自動焦点調節(AF)を行う。中央処理装置22は、それまで自動焦点調節のために使用していた低感度画素出力を高感度画素出力に切り替えるように固体撮像素子16に対する駆動を切り替える。この場合、中央処理装置22は、低感度画素(PD_S)の読み出しを停止し、高感度画素(PD_L)に対応する撮像信号のみを固体撮像素子16から読み出すように垂直ドライバ32および信号処理回路28を制御することで、高感度画素(PD_L)のみの撮像信号を高速に固体撮像素子16から出力させることができる。
【００６７】
また、中央処理装置(CPU) 22は、撮像レンズ12の焦点移動範囲（AFサーチ範囲）を、低感度画素使用の自動焦点調節(AF)の際に焦点位置を移動させた範囲よりも狭い範囲の移動に制限し、その移動範囲内で撮像される撮像信号を使用して、コントラスト情報を算出し、AF評価値の最大値を高精度に絞り込むことができる。この場合、低感度画素(PD_S)を使用した第１段階目の自動焦点調節(AF)によって合わせ込んだレンズ位置を中心とする前後移動方向の所定範囲を、高感度画素(PD_L)からの撮像信号を利用する第２回目の焦点調節時に撮像レンズ12を移動させるAFポジションの範囲として制限するとよい。
【００６８】
その様子を図14に示す。図示するように、低感度画素(PD_S)からの撮像信号を使用して算出した各AFポジションにおけるAF評価値(AE/AF(a)〜AE/AF(d))でAF評価値の最大値を粗い間隔にて予測し、予測した最大値が得られる範囲に対応するレンズ位置を所定幅設定し、本実施例では自動露出調整(AE)後に、設定した所定幅以内で撮像レンズ12を移動させるAFサーチを更に行って、その撮像レンズ12の移動中に複数フレーム撮像した高感度画素(PD_L)からの撮像信号に基づいて、それぞれAFポジションにおけるAF評価値(AF(e)〜AF(h))を算出する。精細なAF評価値ピークは、これら更なるAF評価値(AF(e)〜AF(h))を使用して絞り込まれ、より正確な合焦位置に合わせ込むことができる。したがって、高感度画素出力を使用する第２段階目の自動焦点調節時には、最近端から最遠端（無限遠位置）までのAFサーチを必ずしも行わなわずに、より正確な位置にフォーカスを合わせ込むことができ、高速化と高精度化とが実現される。
【００６９】
この場合、高感度画素(PD_L)のみならず、低感度画素(PD_S)をも含めた一組の組画素単位で各組画素(PD)を間引き読み出しするように垂直ドライバ32と水平ドライバ34とを制御して、組画素(PD)によるコントラスト情報を算出することもできる。
【００７０】
【発明の効果】
このように本発明によれば、それぞれ感度差を有する高感度画素と低感度画素とのそれぞれの撮像出力を利用して、自動露出調整(AE)と自動焦点調節(AF)とを同時に併行して行うことができ、これら撮像調節のために要する時間を短縮化することができるから、たとえば、シャッタータイムラグを短くすることができる。また、このようにして短縮化した撮像調節の次の段階にてより精密な撮像調節を行うことができる。この場合、第２段階目の自動焦点調節(AF)において特に、フォーカスを高精度に合わせ込むことができる。この場合さらに、撮像レンズの移動範囲を第１段階目の自動焦点調節(AF)における制御位置近傍に制限して、高精度な焦点調節を行う際に、焦点調節に要する時間をより短縮化することができる。
【図面の簡単な説明】
【図１】本発明が適用されたディジタルカメラの実施例における測光条件毎に変化する固体撮像素子の高感度画素および低感度画素からの撮像出力と自動焦点調節(AF)の状態とを示すタイミングチャートである。
【図２】本発明が適用されたディジタルカメラの一実施例を示すブロック図である。
【図３】実施例における固体撮像素子の画素配列と垂直転送路との一部を示す図である。
【図４】固体撮像素子の高感度画素および低感度画素の入力光量に応じた出力レベルを示す図である。
【図５】固体撮像素子の測光条件AE(a)〜(d)に応じた高感度画素のダイナミックレンジを示す図である。
【図６】固体撮像素子の低感度画素のダイナミックレンジを示す図である。
【図７】固体撮像素子の低感度画素ラインの読み出し状態を示す図である。
【図８】固体撮像素子の高感度画素ラインの読み出し状態を示す図である。
【図９】固体撮像素子の高感度画素形状および低感度画素形状の他の構成例を示す図である。
【図１０】固体撮像素子の高感度画素形状および低感度画素形状のさらに他の構成例を示す図である。
【図１１】実施例におけるディジタルカメラの動作を示すフローチャートである。
【図１２】実施例におけるディジタルカメラのAFポジションに応じたAF評価値とその山登りカーブとを示す図である。
【図１３】本発明が適用された他の実施例における測光条件毎に変化する固体撮像素子の高感度画素および低感度画素からの撮像出力と、露出制御および調節動作とを示すタイミングチャートである。
【図１４】図１３に示した他の実施例におけるディジタルカメラのAFポジションに応じたAF評価値とその山登りカーブとを示す図である。
【符号の説明】
10 ディジタルカメラ
12 撮像レンズ
14 シャッタユニット
22 中央処理装置(CPU)
28 信号処理回路
44 ディジタル信号処理装置(DSP)
52 積算回路
60 メモリ
PD フォトダイオード
PD_L 高感度画素
PD_S 低感度画素
VCCD 垂直転送路

Claims

相対的に高感度の第１の画素と、相対的に低感度の第２の画素とを同数かつ前記第１の画素および前記第２の画素が均等に配置された固体撮像素子を駆動して被写界を連続して複数フレーム分撮像し、
前記第１の画素にて生成される信号電荷に応じた第１の画像信号と、前記第２の画素にて生成される信号電荷に応じた第２の画像信号とを前記固体撮像素子から読み出し、
同一のフレームで独立して読み出される第１の画像信号を用いた自動露出調整と、前記第２の画像信号を用いた自動焦点調節とを併行して行うことを特徴とする撮像制御方法。
請求項１に記載の撮像制御方法において、該方法は、前記自動露出調整および前記自動焦点調節の完了後にさらに、
前記自動露出調整にて決定される露出値に制御して被写界を撮像し、
該撮像した画像信号のうち使用する画像信号を第１の画素からの第１の画像信号に切り換え、該第１の画像信号を使用して前記自動焦点調節にて調節された位置よりもさらに高精度にフォーカス位置を合わせ込むことを特徴とする撮像制御方法。
請求項２に記載の撮像制御方法において、該方法は、前記高精度にフォーカス位置を合わせ込む際に、前記第２の画素からの第２の画像信号の読み出しを停止させることを特徴とする撮像制御方法。
請求項２に記載の撮像制御方法において、該方法は、前記高精度にフォーカス位置を合わせ込む際に、撮像レンズの移動範囲を前記自動焦点調節にて制御したフォーカス位置に応じて制限することを特徴とする撮像制御方法。
請求項１に記載の撮像制御方法において、該方法は、
前記撮像調節の際に、露光条件を異ならせて複数段階のレンジに切り換えて被写界を撮像し、
前記露光条件の異なる状態で撮像した画像信号のうち前記第２の画素からの第２の画像信号を前記露光条件に応じてレベル補正し、該補正された第２の画像信号に基づいて前記自動焦点調節のためのコントラスト情報を算出し、該コントラスト情報に応じた位置に撮像レンズの位置を制御することを特徴とする撮像制御方法。
自動露出調整および自動焦点調節を含む撮像調節を行う撮像制御装置において、該装置は、
前記自動焦点調節を行うために被写界に対して前後方向に移動してフォーカス位置を制御可能な撮像レンズと、
相対的に高感度の第１の画素と、相対的に低感度の第２の画素とを同数かつ前記第１の画素および前記第２の画素が均等に配置された固体撮像素子と、
前記撮像レンズと前記固体撮像素子との間に配設され、前記撮像レンズを介して入射される光束を遮光および開放するシャッタ手段と、
前記固体撮像素子から出力される画像信号を処理する信号処理手段と、
前記自動露出調整および前記自動焦点調節を制御する制御手段とを含み、
前記制御手段は、前記固体撮像素子を駆動する手段と、露光量を制御する手段と、前記撮像レンズのフォーカスを制御する手段とを含み、前記固体撮像素子を駆動して被写界を連続して複数フレーム分撮像し、前記第１の画素にて生成される信号電荷に応じた第１の画像信号と、前記第２の画素にて生成される信号電荷に応じた第２の画像信号とを前記固体撮像素子から読み出し、同一のフレームで独立して読み出される第１の画像信号を用いた自動露出調整と、前記第２の画像信号を用いた自動焦点調節とを併行して行うことを特徴とする撮像制御装置。
請求項６に記載の撮像制御装置において、前記制御手段は、前記自動露出調整および前記自動焦点調節の完了後にさらに、前記自動露出調整にて決定される露出値に制御して被写界を撮像し、該撮像した画像信号のうち第１の画像信号を使用して前記自動焦点調節にて調節された位置よりもさらに高精度にフォーカス位置を合わせ込むことを特徴とする撮像制御装置。
請求項７に記載の撮像制御装置において、前記制御手段は、前記高精度にフォーカス位置を合わせ込む際に、前記第２の画素からの第２の画像信号の読み出しを停止させることを特徴とする撮像制御装置。
請求項７に記載の撮像制御装置において、前記制御手段は、前記高精度にフォーカス位置を合わせ込む際に、撮像レンズの移動範囲を前記自動焦点調節にて制御したフォーカス位置に応じて制限することを特徴とする撮像制御装置。
請求項６に記載の撮像制御装置において、前記制御手段は、前記撮像調節の際に、露光条件を異ならせて複数段階のレンジに切り換えて被写界を撮像し、前記露光条件の異なる状態で撮像した画像信号のうち前記第２の画素からの第２の画像信号を前記露光条件に応じてレベル補正し、該補正された第２の画像信号に基づいて前記自動焦点調節のためのコントラスト情報を算出し、該コントラスト情報に応じた位置に撮像レンズの位置を制御することを特徴とする撮像制御装置。