JP2011146889A - 撮像装置 - Google Patents

Abstract

【課題】画像生成時における撮影用撮像素子および焦点検出兼画像表示用撮像素子の感度の低下を防ぎ、高い解像度の画像を生成する。
【解決手段】撮像装置は、被写体像を撮像して、輝度情報を含み、色情報を含まない第１画像信号を出力する第１撮像素子と、被写体像を撮像して、少なくとも色情報と焦点調節状態に関する情報とを含み、第１画像信号よりも解像度が低い第２画像信号を出力する第２撮像素子と、第１画像信号と第２画像信号とに基づいて、画像データを生成する画像生成手段とを備える。
【選択図】図２

Description

本発明は、撮像装置に関する。

従来から、撮影用撮像素子と、焦点検出兼画像表示用撮像素子とを、ハーフミラーを介して異なる経路上に配置した撮像装置が知られている（たとえば特許文献１）。

特開２００８−１５７５４号公報

しかしながら、撮影用撮像素子と焦点検出兼画像表示用撮像素子とはカラーフィルタを備える必要があるため、画像生成時における撮像素子の感度が低くなり、生成される画像の解像度が低下するという問題がある。

請求項１に記載の発明による撮像装置は、被写体像を撮像して、輝度情報を含み、色情報を含まない第１画像信号を出力する第１撮像素子と、被写体像を撮像して、少なくとも色情報と焦点調節状態に関する情報とを含み、第１画像信号よりも解像度が低い第２画像信号を出力する第２撮像素子と、第１画像信号と前記第２画像信号とに基づいて、画像データを生成する画像生成手段とを備えることを特徴とする。

本発明によれば、輝度情報を含み、色情報を含まない第1画像信号と、少なくとも色情報と焦点調節状態に関する情報とを含み、第１画像信号よりも解像度が低い第２画像信号とに基づいて画像データを生成するので、解像度の低下を防ぐことができる。

本発明の実施の形態によるデジタルカメラの要部構成を説明する図 実施の形態のデジタルカメラの制御系の構成を説明する図 実施の形態のデジタルカメラにおける撮像素子の画素配列の一例を説明する図 画像生成部の構成を説明する図 実施の形態によるデジタルカメラの動作を説明するフローチャート 実施の形態によるデジタルカメラの動作を説明するフローチャート 実施の形態によるデジタルカメラの動作を説明するフローチャート 実施の形態によるデジタルカメラの動作を説明するフローチャート 変形例による第２撮像素子のカラーフィルタ配列を例示する図 変形例による第２撮像素子の画素配列の一例を示す図

図面を参照して、本発明による一実施の形態におけるカメラを説明する。本実施の形態によるカメラは、２つの異なる撮像素子から出力されたそれぞれの画像信号を用いて、異なる解像度の画像データを生成可能となるように構成されている。

図１はデジタルカメラ１の要部構成を示す図である。デジタルカメラ１のボディに、撮影レンズＬ１を備える交換レンズ２が着脱可能に装着されている。デジタルカメラ１のボディ側には、ハーフミラー１０、第１撮像素子１１および第２撮像素子１２が設けられている。

図２は交換レンズ２が装着されたデジタルカメラ１の制御系のブロック図である。図２において、図１に示した構成要素には同一の符号を付して説明する。図２のブロック図に示すように、デジタルカメラ１は、焦点調節レンズを含む撮影レンズＬ１、ハーフミラー１０、第１撮像素子１１、第２撮像素子１２、制御回路１３、ＬＣＤ駆動回路１４、メイン表示器１５、操作部１６およびメモリカードインタフェース１７を備えている。

図１を参照して説明すると、撮影レンズＬ１を通過してデジタルカメラ１に入射した被写体光の一部は、ハーフミラー１０の半透過領域を通過して第１撮像素子１１へ導かれ、その撮像面上に被写体像が結像する。また撮影レンズＬ１を介して入射した被写体光の他の一部はハーフミラー１０により反射されて、第２撮像素子１２へ導かれ、その撮像面上に被写体像が結像する。

図２を参照して制御系について詳細に説明する。
第１撮像素子１１は、二次元状に多数配列された（２ｍ×２ｎ）個の画素を有する、たとえばＣＣＤやＣＭＯＳ等の光電変換素子である。第１撮像素子１１は、撮影レンズＬ１を介して受光した被写体光をその強度に応じた画像信号に変換し、後述する制御回路１３が出力するタイミング信号に応じて、高解像度の画像信号（以後、第１画像信号と呼ぶ）を出力する。なお、第１撮像素子１１の詳細については説明を後述する。

第２撮像素子１２は、二次元状に多数配列された（ｍ×ｎ）個の画素を有する、たとえばＣＣＤやＣＭＯＳ等の光電変換素子である。第２撮像素子１２は、撮影レンズＬ１を介して受光した被写体光をその強度に応じた画像信号に変換し、後述する制御回路１３が出力するタイミング信号に応じて、第１画像信号よりも低解像度の画像信号（以後、第２画像信号と呼ぶ）を出力する。第２撮像素子１２の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。第２撮像素子１２がカラーフィルタを通して被写体像を撮像するため、第２撮像素子１２から出力される画像信号はＲＧＢ表色系の色情報を有する。なお、第２撮像素子１２の画素配列の詳細については説明を後述する。

制御回路１３は図示しないＣＰＵ、ＲＯＭおよびＲＡＭ等を備え、デジタルカメラ１の各構成要素を制御したり、各種のデータ処理を実行する演算回路である。制御回路１３は、第１撮像素子１１および第２撮像素子１２にタイミング信号を出力して駆動タイミングを制御する。また、制御回路１３は、第２撮像素子１２から出力された第２画像信号に基づいて算出された対の光像に応じた焦点検出信号を用いて、撮影レンズＬ１の焦点調節状態を検出、すなわちデフォーカス量を算出する。そして、制御回路１３は、検出したデフォーカス量に基づいて、不図示のレンズ駆動部を介して撮影レンズＬ１を合焦位置へ駆動させる。さらに、制御回路１３は、第２撮像素子１２から出力された第２画像信号を用いて露出演算を行って撮影条件（シャッタ秒時、絞り値）を決定したり、ホワイトバランス制御に用いるＲ／Ｇゲイン、Ｂ／Ｇゲインを算出する。

制御回路１３は、画像生成部１３１、画像処理部１３２および記録制御部１３３を有する。画像生成部１３１は、第１撮像素子１１および第２撮像素子１２から入力した第１および第２画像信号に基づいて、解像度の異なる画像信号を生成する。なお、画像生成部１３１の詳細については後述する。画像処理部１３２は、画像生成部１３１により生成された画像信号に対して、ホワイトバランス処理、ガンマ補正処理、色補間処理、輪郭強調、ビネット補正などの画像処理を施して画像データを生成する。そして、画像処理部１３２は、画像処理を施して生成した画像データに対してＪＰＥＧ圧縮処理を実行する。さらに、記録制御部１３３は、画像処理部１３２により圧縮された画像データに基づいて、たとえばＥＸＩＦ形式の画像ファイルを生成し、メモリカードインタフェース１７を介してメモリカード２０に記録する。

メモリカードインタフェース１７は、メモリカード２０が着脱可能なインタフェースである。メモリカードインタフェース１７は、制御回路１３の制御に基づいて、画像データをメモリカード２０に書き込んだり、メモリカード２０に記録されている画像データを読み出す。メモリカード２０はコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。

ＬＣＤ駆動回路１４は、制御回路１３の命令に基づいてメイン表示器１５を駆動する回路である。メイン表示器１５は、再生モードにおいて、メモリカード２０に記録されている画像データに基づいて制御回路１３で作成された表示データの表示を行う。メイン表示器１５は、いわゆるライブビュー画像を表示するように構成されている。ライブビューとは、レリーズ前に第２撮像素子１２で撮像した画像をリアルタイムにメイン表示器１５に表示する表示形態である。また、メイン表示器１５には、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。メニュー画面に表示される設定内容として、撮影画像の画質を設定するための画質モードがある。画質モードにおいては、たとえばファイン（高画質）、ノーマル（中画質）、ベーシック（低画質）などの画質が設定可能である。

操作部１６は、ユーザの操作を受け付けるスイッチである。操作部１６には、電源スイッチ、レリーズボタン、その他の設定メニューの表示切換スイッチ、設定メニュー決定ボタンなどが含まれる。また、操作部１６により、撮影モードとして静止画撮影モードや動画撮影モード、上記のライブビュー画像を表示するためのライブビューモードの設定が可能である。

次に、図３を参照しながら、第１撮像素子１１および第２撮像素子１２について詳細に説明する。なお、図３は、第１撮像素子１１および第２撮像素子１２の撮像面の画素配列を表す平面図である。また、図３においては、図面の水平方向を画素行方向、図面の垂直方向を画素列方向とする。図３（ａ）に示すように、第１撮像素子１１には、たとえば矩形形状を有する複数の画素１１Ｐが二次元配列されている。それぞれの画素１１Ｐは、光電変換部１１１とマイクロレンズ１１２とを有しているが、カラーフィルタを備えていない。その結果、第１撮像素子１１から出力される第１画像信号は、色情報を含まず、白黒の輝度情報を含む。したがって、光電変換部１１１は、マイクロレンズ１１２を介して入射した被写体光束を受光して、色情報を含まない、すなわち輝度情報を含む第１画像信号を出力する。また、画素１１Ｐがカラーフィルタを備えていないので、光電変換部１１１は高感度で被写体光束を受光することができる。

第１撮像素子１１の画素１１Ｐは、後述する第２撮像素子１２の画素や従来からの技術で用いられている撮像素子が有する画素よりも、水平・垂直方向の大きさがそれぞれ１／２となるように形成されている。すなわち、画素１１Ｐは、第２撮像素子１２の画素や従来技術による画素と比べて、面積が１／４となる。その結果、第１撮像素子１１が有する画素１１Ｐの数は増加することになり、第１撮像素子１１は高解像度（２ｍ×２ｎ）の第１画像信号を出力することができる。

図３（ｂ）は、第２撮像素子１２の撮像面の画素配列を示す。第２撮像素子１２には、画素１２ＰＡと画素１２ＰＢとが二次元状に規則的に配列されている。画素１２ＰＡは、光電変換部１２１Ａとマイクロレンズ１２２Ａとを有する。光電変換部１２１Ａはマイクロレンズ１２２Ａの垂直二等分線に右辺を隣接する長方形状を有する。画素１２ＰＢは、光電変換部１２１Ｂとマイクロレンズ１２２Ｂとを有する。光電変換部１２１Ｂはマイクロレンズ１２２Ｂの垂直二等分線に左辺を隣接する長方形状を有する。

光電変換部１２１Ａおよび１２１Ｂは、マイクロレンズ１２２Ａおよび１２２Ｂを重ね合わせて表示した場合に左右水平方向に並列となり、マイクロレンズ１２２Ａおよび１２２Ｂの垂直二等分線に対して対称な形状をしている。第２撮像素子１２の各画素行には、画素１２ＰＡと画素１２ＰＢとが水平方向（光電変換部１２１Ａおよび１２１Ｂの並び方向）に交互に配置される。そして、それぞれの画素行は、垂直方向に１行おきに１画素ずらして配置される。

第２撮像素子１２の撮像面には、互いに隣接しあう４つの画素に対して１色のカラーフィルタが配置される。図３（ｂ）に示すように、２つの画素１２ＰＡと２つの画素１２ＰＢとを含む破線で囲まれた領域ＲＧ（斜線領域）にはＧ（緑）色のカラーフィルタが設けられる。同様に、領域ＲＢ（横線領域）にはＢ（青）色のカラーフィルタが設けられ、領域ＲＲ（縦線領域）にはＲ（赤）色のカラーフィルタが設けられる。その結果、図３（ｂ）に示すように第２撮像素子１２では、Ｒ，Ｇ，Ｂのそれぞれのカラーフィルタがベイヤー配列となるように設けられる。したがって、第２撮像素子１２から出力される第２画像信号は、Ｒ，Ｇ，Ｂの色情報を含む。

第２撮像素子１２の画素１２ＰＡおよび１２ＰＢは、上述したように、第１撮像素子１１の画素１１Ｐよりも、水平・垂直方向に２倍の大きさを有する。すなわち画素１２ＰＡおよび１２ＰＢは、それぞれ画素１１Ｐの４倍の面積を有する。したがって、第２撮像素子１２は、第１撮像素子１１が出力する第１画素信号よりも解像度が低い、（ｍ×ｎ）画素の第２画像信号を出力することになる。なお、第２撮像素子１２は、各画素の開口面積が大きいので、カラーフィルタの影響を受けることはあっても、高感度で被写体光を受光できる。

次に、画像生成部１３１が異なる解像度の画像信号を生成する処理について説明する。画像生成部１３１は、ユーザにより設定された撮影モードや画質モードで設定された画質等に応じて、高解像度の画像信号、中解像度の画像信号、低解像度の画像信号およびら一ビュー画像用の低解像度の画像信号のいずれかを生成する。また、画像生成部１３１は、第２撮像素子１２から出力された画像信号を用いて、撮影レンズＬ１の焦点検出のための焦点検出信号を生成する。図４に示すように、画像生成部１３１は、輝度信号生成部１３１ａ、色差信号生成部１３１ｂ、第１解像度変換部１３１ｃ、高解像度画像信号生成部１３１ｄ、第２解像度変換部１３１ｅ、中解像度画像信号生成部１３１ｆ、低解像度画像信号生成部１３１ｇ、加算部１３１ｈおよび焦点検出信号生成部１３１ｉを機能的に備える。

画像生成部１３１による画像信号生成処理について説明する。画像信号生成処理には第１処理、第２処理、第３処理、第４処理および第５処理が含まれる。第１処理は、高画質の静止画データを生成するための解像度の高い画像信号を生成する処理である。なお、第１処理により生成された画像信号を用いて、たとえば８メガピクセルや１０メガピクセルの画像データが生成されるものとする。第２処理は、中画質の静止画データまたは動画像データを生成するための中解像度の画像信号を生成するための処理である。なお、第２処理により生成された画像信号を用いて、たとえば２メガピクセルの画像データが生成されるものとする。第３処理は、低画質の静止画データを生成するための低解像度の画像信号を生成するための処理である。なお、第３処理により生成された画像信号を用いて、たとえばＶＧＡ（６４０画素×４８０画素）の画像データが生成されるものとする。第４処理は、露出演算、ホワイトバランス制御のためのゲイン算出、およびライブビュー画像用の表示用画像データを生成するための低解像度の画像信号を生成する処理である。第５処理は、焦点検出信号を生成する処理である。

第１処理、第２処理および第３処理は、第１撮像素子１１から出力された第１画像信号および第２撮像素子１２から出力された第２画像信号を用いて、画像生成部１３１により行われる。この場合、第１撮像素子１１および第２撮像素子１２は、ユーザによるレリーズボタンの全押し操作に応じて操作部１６から全押し操作信号が出力され制御回路１３からタイミング信号を入力すると、第１画像信号および第２画像信号をそれぞれ出力する。

第４処理および第５処理は、第２撮像素子１２からから出力された第２画像信号を用いて、画像生成部１３１により行われる。第４処理の場合には、第２撮像素子１２は、ユーザのレリーズボタン半押し操作された場合、またはユーザによりライブビューモードが設定されて制御回路１３からタイミング信号を入力すると、第２画像信号を出力する。また、第５処理の場合には、第２撮像素子１２は、ユーザによるレリーズボタンの半押し操作に応じて操作部１６から半押し操作信号が出力され制御回路１３からタイミング信号を入力すると、第２画像信号を出力する。なお、第４処理および第５処理の際には、制御回路１３は第１撮像素子１１にタイミング信号を出力しない。すなわち、制御回路１３はライブビューモード時および撮影準備時には第１撮像素子１１による画像信号の出力を禁止させる。以下、第１〜第５処理のそれぞれの処理に分けて説明する。

（１）第１処理（高解像度の画像信号生成処理）
ユーザによりデジタルカメラ１の撮影モードが静止画撮影モードに設定され、かつ画質モードがファイン（高画質）に設定されている場合には、第１画像信号および第２画像信号を用いて、画像生成部１３１は第１処理を行って高解像度の画像信号を生成する。輝度信号生成部１３１ａは、第１撮像素子１１から出力された（２ｍ×２ｎ）画素の第１画像信号を用いて、第１画像信号と同解像度、すなわち高解像度の輝度信号（以後、第１輝度信号）Ｙ１を生成する。色差信号生成部１３１ｂは、第２撮像素子１２のそれぞれから出力された（ｍ×ｎ）画素の第２画像信号に含まれる色情報を用いて、第２画像信号と同解像度であって第１輝度信号よりも低解像度の、すなわち（ｍ×ｎ）画素の色差信号（第１色差信号）Ｃｒ１、Ｃｂ１を生成する。

第１解像度変換部１３１ｃは、色差信号生成部１３１ｂから入力した第１色差信号Ｃｒ１、Ｃｂ１をアップサンプル（例えば、１つの画素の出力を複数に分割して複数画素分の出力に見せかける処理）して、第１輝度信号の解像度と同解像度、すなわち（２ｍ×２ｎ）画素の高解像度の色差信号（第２色差信号）Ｃｒ２、Ｃｂ２を生成する。高解像度信号生成部１３１ｄは、輝度信号変換部１３１ａから出力された第１輝度信号Ｙ１と、第１解像度変換部１３１ｃから出力された第２色差信号Ｃｒ２、Ｃｂ２とを合成する。その結果、高解像度の第１画像信号と同一の解像度、すなわち（２ｍ×２ｎ）画素の高解像度の画像信号（輝度色差信号ＹＣ１）が画像生成部１３１により生成される。上述のようにして生成された高解像度の画像信号ＹＣ１は、画像処理部１３２により上述した各種の画像処理が施されて、静止画データとして生成され、記録制御部１３３により、ＥＸＩＦ形式の画像ファイルとしてメモリカード２０に記録される。

（２）第２処理（中解像度の画像信号生成処理）
ユーザにより静止画撮影モードに設定され、かつ画質モードがノーマル（中画質）に設定されている場合、または動画撮影モードが設定されている場合、画像生成部１３１は、第１画像信号および第２画像信号を用いて第２処理を行い、中解像度の画像信号を生成する。第２解像度変換部１３１ｅは、輝度信号生成部１３１ａにより生成された（２ｍ×２ｎ）画素の第１輝度信号Ｙ１を、水平・垂直方向にダウンサンプル（たとえば画素加算）することにより、第１輝度信号Ｙ１よりも低解像度である(ｍ×ｎ)画素の輝度信号（以後、第２輝度信号）Ｙ２を生成する。このとき、第２解像度変換部１３１ｅは、たとえば２画素分に相当する第１輝度信号Ｙ１を加算する。

色差信号生成部１３１ｂは、第２撮像素子１２のそれぞれから出力された第２画像信号に含まれる色情報を用いて、第２画像信号と同解像度である(ｍ×ｎ)画素の第１色差信号Ｃｒ１、Ｃｂ１を生成して中解像度画像生成部１３１ｆへ出力する。中解像度信号生成部１３１ｆは、第２解像度変換部１３１ｅから出力された第２輝度信号Ｙ２と、色差信号生成部１３１ｂから出力された第１色差信号Ｃｒ１、Ｃｂ１とを合成する。その結果、第２画像信号の解像度と同解像度の（ｍ×ｎ）画素、すなわち中解像度の画像信号（輝度色差信号ＹＣ２）が画像生成部１３１により生成される。上述のようにして生成された中解像度の画像信号ＹＣ２は、画像処理部１３２により上述した各種の画像処理が施されて、動画像データとして生成され、記録制御部１３３により、ＥＸＩＦ形式の画像ファイルとしてメモリカード２０に記録される。

（３）第３処理（低解像度の画像信号生成処理）
ユーザにより静止画撮影モードに設定され、かつ画質モードがベーシック（低画質）に設定されている場合、第１画像信号および第２画像信号を用いて、画像生成部１３１は第３処理を行って、低解像度の画像信号を生成する。第２解像度変換部１３１ｅは、輝度信号生成部１３１ａにより生成された第１輝度信号Ｙ１を、水平・垂直方向にダウンサンプル（たとえば画素加算）することにより、第１輝度信号Ｙ１や第２輝度信号Ｙ２よりも低解像度である、(ｍ／２×ｎ／２)画素の輝度信号（以後、第３輝度信号Ｙ３）を生成する。このとき、第２解像度変換部１３１ｅは、たとえば４画素分に相当する第１輝度信号を加算する。

色差信号生成部１３１ｂは、第２撮像素子１２のそれぞれから出力された第２画像信号に含まれる色情報を用いて、第２画像信号と同解像度の（ｍ×ｎ）画素の第１色差信号Ｃｒ１、Ｃｂ１を生成して第１解像度変換部１３１ｃへ出力する。第１解像度変換部１３１ｃは、色差信号生成部１３１ｂから入力した第１色差信号Ｃｒ１、Ｃｂ１をダウンサンプルして、第３輝度信号Ｙ３の解像度と同解像度、すなわち（ｍ／２×ｎ／２）画素の低解像度の色差信号（第３色差信号）Ｃｒ３、Ｃｂ３を生成する。低解像度信号生成部１３１ｇは、第２解像度変換部１３１ｅから出力された第３輝度信号Ｙ３と、第１解像度変換部１３１ｃから出力された第３色差信号Ｃｒ３、Ｃｂ３とを合成する。その結果、（ｍ／２×ｎ／２）画素の低解像度の画像信号（輝度色差信号ＹＣ３）が画像生成部１３１により生成される。上述のようにして生成された低解像度の画像信号ＹＣ３は、画像処理部１３２により上述した各種の画像処理が施されて、動画像データとして生成され、記録制御部１３３により、ＥＸＩＦ形式の画像ファイルとしてメモリカード２０に記録される。

（４）第４処理（低解像度の画像信号生成処理）
ユーザによりレリーズボタンが半押し操作された場合、またはユーザによりライブビューモードが設定された場合、第２画像信号を用いて、画像生成部１３１は第４処理を行って、低解像度の画像信号を生成する。この画像信号は、上述したように露出演算、ホワイトバランスゲインの算出およびライブビュー画像用の表示用画像データの生成に用いられる。画像生成部１３１の加算部１３１ｈは、水平・垂直方向に互いに隣接する４画素、すなわち同一色のカラーフィルタが設けられた画素から出力された第２画像信号を加算（単純加算）して、低解像度の画像信号（ＲＧＢベイヤー信号）を生成する。上述のようにして生成された低解像度の画像信号は、画像処理部１３２により上述した各種の画像処理が施されて、表示用画像データとしてＬＣＤ駆動回路１４へ出力される。その結果、表示用画像データに対応するライブビュー画像がメイン表示器１５に表示される。

なお、ライブビューモードが設定されている場合は、制御回路１３は所定周期（たとえば１／３０［ｓ］）ごとに第２撮像素子１２へタイミング信号を出力して第２画像信号を出力させる。そして、画像生成部１３１は、上記の所定周期ごとに逐次入力される第２画像信号を用いて低解像度の画像信号を作成する。その結果、ライブビュー画像は上記の所定周期ごとに逐次更新されてメイン表示器１５に表示される。

（５）第５処理（焦点検出信号の生成処理）
ユーザによりレリーズボタンの半押し操作が行われた場合、第２画像信号を用いて、画像生成部１３１は第５処理を行って、焦点検出信号を生成する。焦点検出信号生成部１３１ｉは、焦点検出エリアに対応する位置に配置された第２撮像素子１２の画素１２Ｐから出力された第２画素信号を用いて焦点検出信号を生成する。制御回路１３は、生成された焦点検出信号を用いてデフォーカス量を算出して、撮影レンズＬ１の焦点調節状態を検出する。なお、焦点検出信号生成部１３１ｉは、画素１２ＰＡおよび１２ＰＢに設けられたカラーフィルタの色ごとに、画素１２ＰＡおよび１２ＰＢから出力された第２画像信号に異なるゲインを掛けて焦点検出信号を生成してもよい。すなわち、焦点検出信号部１３１ｉは、Ｇ色のカラーフィルタが設けられた画素から出力された第２画像信号と、Ｒ色のカラーフィルタが設けられた画素から出力された第２画像信号と、Ｂ色のカラーフィルタが設けられた画素から出力された第２画像信号とに対して、それぞれ異なるゲインを乗じる。

図５〜図８に示すフローチャートを参照して、実施の形態によるデジタルカメラ１の動作を説明する。図５のフローチャートは第１処理での動作を示し、図６のフローチャートは第２処理での動作を示し、図７のフローチャートは第３処理での動作を示し、図８のフローチャートは第４処理での動作を示す。図５〜図８の処理を行うプログラムは制御回路１３内の図示しないメモリに格納されている。図５〜図７の処理を行うプログラムは、ユーザによるレリーズボタンの半押し操作に応じて制御部１６から半押し操作信号が入力されると、制御回路１３により起動され、実行される。図８の処理を行うプログラムは、ユーザによりライブビューモードが設定されると制御回路１３により起動され、実行される。

まず、図５のフローチャートを用いて、第１処理における動作を説明する。ステップＳ１０１では、第２撮像素子１２のみへタイミング信号を出力して、（ｍ×ｎ）画素の第２画像信号を出力させる。ステップＳ１０２では、ステップＳ１０１で出力された第２画像信号を用いて、焦点検出信号およびＲＧＢベイヤー信号を生成する。ステップＳ１０３では、ステップＳ１０２で生成した焦点検出信号を用いて、撮影レンズＬ１の焦点調節レンズを駆動して合焦位置へ駆動させる。ステップＳ１０４では、ステップＳ１０２で生成されたＲＧＢベイヤー信号を用いて、露出演算およびホワイトバランスゲインを算出して、露出制御およびホワイトバランス制御を行う。

ステップＳ１０５では、ステップＳ１０２で生成されたＲＧＢベイヤー信号を用いて表示用画像データを生成して、ＬＣＤ駆動回路１４へ出力し、対応する画像をメイン表示器１５に表示させる。ステップＳ１０６では、ステップＳ１０３における焦点調節レンズの合焦位置への駆動、ステップＳ１０４における露出制御およびホワイトバランス制御が終了したか否かを判定する。上記各処理が終了した場合は、ステップＳ１０６が肯定判定されてステップＳ１０７へ進む。上記の処理が終了していない場合は、ステップＳ１０６が否定判定されてステップＳ１０３へ戻る。

ステップＳ１０７では、ユーザによりレリーズボタンが全押し操作されたか否かを判定する。操作部１６から全押し操作信号を入力した場合は、ステップＳ１０７が肯定判定されてステップＳ１０８へ進む。操作部１６から全押し操作信号を入力しない場合は、ステップＳ１０７が否定判定されて後述するステップＳ１１６へ進む。

ステップＳ１０８では、第1撮像素子１１へタイミング信号を出力して、（２ｍ×２ｎ）画素の第１画像信号を出力させる。ステップＳ１０９では、第１画像信号を用いて（２ｍ×２ｎ）画素の第１輝度信号Ｙ１を生成する。ステップＳ１１０では、第２撮像素子１２のみへタイミング信号を出力して、（ｍ×ｎ）画素の第２画像信号を出力させる。ステップＳ１１１では、ステップＳ１１０で出力された第２画像信号を用いて、ＲＧＢベイヤー信号を生成し、表示用画像データを生成する。そして、表示用画像データをＬＣＤ駆動回路１４へ出力して、対応する画像をメイン表示器１５へ表示させる。

ステップＳ１１２では、ステップＳ１１０で出力された第２画像信号を用いて、（ｍ×ｎ）画素の第１色差信号Ｃｒ１、Ｃｂ１を生成してステップＳ１１３へ進む。ステップＳ１１３では、第１色差信号Ｃｒ１、Ｃｂ１をアップサンプルして、（２ｍ×２ｎ）画素の第２色差信号Ｃｒ２、Ｃｂ２を生成する。ステップＳ１１４では、ステップＳ１０９で生成した第１輝度信号Ｙ１とステップＳ１１３で生成した第２色差信号Ｃｒ２、Ｃｂ２とを用いて画像信号ＹＣ１を生成してステップＳ１１５へ進む。ステップＳ１１５では、画像信号ＹＣ１を用いて画像データを生成する。そして、生成した画像データから画像ファイルを生成して、メモリカード２０へ記録して処理を終了する。

ステップＳ１０７が否定判定されるとステップＳ１１６へ進み、ユーザによりレリーズボタンが半押し操作されているか否かを判定する。操作部１６から半押し操作されている場合は、ステップＳ１１６が肯定判定されてステップＳ１０７へ戻る。操作部１６から半押し操作信号を入力しない場合は、ステップＳ１１６が否定判定されて処理を終了する。

次に、図６のフローチャートを用いて、第２処理における動作を説明する。ステップＳ２０１（第２撮像素子へタイミング信号出力、第２画像信号入力）からステップＳ２０９（第１輝度信号Ｙ１生成）までの各処理は、図５のステップＳ１０１（第２撮像素子へタイミング信号出力、第２画像信号入力）からステップＳ１０９（第１輝度信号Ｙ１生成）までの各処理と同様である。ステップＳ２１０では、ステップＳ２０９で生成された第１輝度信号Ｙ１をダウンサンプルして、（ｍ×ｎ）画素の第２輝度信号Ｙ２を生成する。

ステップＳ２１１（第２撮像素子へタイミング信号出力、第２画像信号入力）からステップＳ２１３（第１色差信号Ｃｒ１、Ｃｂ１生成）までの各処理は、図５のステップＳ１１０（第２撮像素子へタイミング信号出力、第２画像信号入力）からステップＳ１１２（第１色差信号Ｃｒ１、Ｃｂ１生成）までの各処理と同様である。ステップＳ２１４では、ステップＳ２１０で生成された第２輝度信号Ｙ２と、ステップＳ２１３で生成された第１色差信号Ｃｒ１、Ｃｂ１とを用いて、（ｍ×ｎ）画素の画像信号ＹＣ２を生成する。ステップＳ２１５（画像データ生成、記録）およびステップＳ２１６（レリーズ半押し判定）の各処理は、図５のステップＳ１１５（画像データ生成、記録）およびステップＳ１１６（レリーズ半押し判定）の各処理と同様である。

続いて、図７のフローチャートを用いて、第３処理における動作を説明する。ステップＳ３０１（第２撮像素子へタイミング信号出力、第２画像信号入力）からステップＳ３０９（第１輝度信号Ｙ１生成）までの各処理は、図５のステップＳ１０１（第２撮像素子へタイミング信号出力、第２画像信号入力）からステップＳ１０９（第１輝度信号Ｙ１生成）までの各処理と同様である。ステップＳ３１０では、ステップＳ３０９で生成された第１輝度信号Ｙ１をダウンサンプルして、（ｍ／２×ｎ／２）画素の第３輝度信号Ｙ３を生成する。

ステップＳ３１１（第２撮像素子へタイミング信号出力、第２画像信号入力）からステップＳ３１３（第１色差信号Ｃｒ１、Ｃｂ１生成）までの各処理は、図５のステップＳ１１０（第２撮像素子へタイミング信号出力、第２画像信号入力）からステップＳ１１２（第１色差信号Ｃｒ１、Ｃｂ１生成）までの各処理と同様である。ステップＳ３１４では、ステップＳ３１３で生成された第１色差信号Ｃｒ１、Ｃｂ１をダウンサンプルして、（ｍ／２×ｎ／２）画素の第３色差信号Ｃｒ３、Ｃｂ３を生成する。ステップＳ３１５では、ステップＳ３１０で生成された第３輝度信号Ｙ３と、ステップＳ３１４で生成された第３色差信号Ｃｒ３、Ｃｂ３とを用いて、（ｍ／２×ｎ／２）画素の画像信号ＹＣ３を生成する。ステップＳ３１６（画像データ生成、記録）およびステップＳ３１７（レリーズ半押し判定）の各処理は、図５のステップＳ１１５（画像データ生成、記録）およびステップＳ１１６（レリーズ半押し判定）の各処理と同様である。

最後に、図８のフローチャートを用いて、第４処理における動作を説明する。ステップＳ４０１（第２撮像素子へタイミング信号出力、第２画像信号入力）からステップＳ４０６（合焦、露出制御、ホワイトバランス制御終了判定）までの各処理は、図５のステップＳ１０１（第２撮像素子へタイミング信号出力、第２画像信号入力）からステップＳ１０６（合焦、露出制御、ホワイトバランス制御終了判定）までの各処理と同様である。ステップＳ４０７（第２撮像素子へタイミング信号出力、第２画像信号入力）およびステップＳ４０８（ＲＧＢベイヤー信号生成、メイン表示器へ画像表示）の各処理は、図１のステップＳ１１０（第２撮像素子へタイミング信号出力、第２画像信号入力）およびステップＳ１１１（ＲＧＢベイヤー信号生成、メイン表示器へ画像表示）の各処理と同様である。

ステップＳ４０９では、ユーザによりライブビューモードが終了されたか否かを判定する。ライブビューモードが終了された場合、すなわちユーザによりレリーズボタンが半押し操作された場合や、再生モードが設定された場合は、ステップＳ４０９が肯定判定されて処理を終了する。ライブビューモードが終了されていない場合は、ステップＳ４０９が否定判定されてステップＳ４０７へ戻る。

以上で説明した実施の形態のデジタルカメラによれば、以下の作用効果が得られる。
（１）第１撮像素子１１は、被写体像を撮像して、輝度情報を含み、色情報を含まない第１画像信号を出力する。第２撮像素子１２は、被写体像を撮像して、少なくとも色情報と焦点調節状態に関する情報とを含み、第１画像信号よりも解像度が低い第２画像信号を出力する。そして、画像生成部１３１は、第１画像信号と第２画像信号とに基づいて、所定の解像度よりも高解像度の画像データを生成する。したがって、撮影用および焦点検出用に用いられる第２撮像素子１２にカラーフィルタが設けられた場合であっても、解像度の高い画像信号を得ることできるので、画像の高画質化に寄与する。

（２）画像生成部１３１は、第２撮像素子１２により出力された第２画像信号にアップサンプル処理を施し、処理後の第２画像信号と、第１撮像素子１１により出力された第１画像信号とを合成して画像信号Ｙ１を生成するようにした。その結果、高解像度の第１画像信号と同解像度の画像信号ＹＣ１が生成される。さらに、画像生成部１３１は、第１撮像素子１１により出力された第１画像信号にダウンサンプル処理を施し、処理後の第１画像信号と、第２撮像素子１２により出力された第２画像信号とを合成して画像信号ＹＣ２を生成するようにした。その結果、第２画像信号の解像度と同解像度の画像信号ＹＣ２が生成される。したがって、画像生成部１３１は、ユーザによる撮影モードや画質等の設定に応じて、異なる解像度の画像信号を生成できる。

（３）画像生成部１３１は、さらに、第２撮像素子１２から出力された第２画像信号のみを用いて、所定の解像度よりも低い解像度でメイン表示器１５へ表示するための表示用画像データを生成するようにした。したがって、ライブビュー画像等のように、所定の周期で画像を逐次更新して表示する場合には、第１撮像素子１１から第１画像信号の出力を禁止させた状態で表示用画像データを生成できるので、処理負荷を低減させることができる。

（４）第１撮像素子１１には、カラーフィルタを設けないようにした。その結果、第１撮像素子１１を構成する各画素１１Ｐの受光感度を向上させることができるので、第１画像信号の高解像度化に寄与する。

以上で説明した実施の形態のデジタルカメラを、以下のように変形できる。
（１）静止画撮影モードで連写撮影を行う場合、連写速度に応じて画像生成部１３１が生成する画像信号の解像度を異ならせてもよい。たとえば、１秒当たり５コマ以上の画像データを生成する高速連写の場合は、画像生成部１３１は第１画像信号と第２画像信号とを用いて第３処理により低解像度の画像信号を生成する。すなわち、画像生成部１３１は、処理時間が短い第３処理により画像信号を生成することで、連写速度を維持する。また、連写速度が１秒あたり５コマ未満の画像データを生成する低速連写の場合は、画像生成部１３１は、実施の形態での動画撮影モードの場合と同様に、第２処理により中解像度の画像信号を生成する。

（２）動画撮影モードの場合に画像生成部１３１は中解像度の画像信号を生成するものとしたが、動画撮影モードに設定されている場合でも画質モードにより設定された画質に応じて、画像生成部１３１が生成する画像信号の解像度を異ならせてもよい。たとえば、動画撮影モードにおいて、画質モードがベーシック（低画質）に設定されている場合は、画像生成部１３１は第１画像信号と第２画像信号とを用いて第３処理により低解像度の画像信号を生成する。画質モードがノーマル（中画質）に設定されている場合は、画像生成部１３１は、実施の形態での動画撮影モードの場合と同様に、第２処理により中解像度の画像信号を生成する。

（３）動画撮影モードで動画像データが生成されている場合に、デジタルカメラ１のバッテリの残容量が所定の閾値以下となった場合、画像生成部１３１は第４処理により画像信号を生成してもよい。この場合、デジタルカメラ１は、各部に電力を供給するためのバッテリおよびバッテリ電圧検出回路（不図示）を備えている。バッテリ電圧検出回路は、バッテリが有する電力残容量を常時計測する。計測結果である残容量信号は、図示しないＡ／Ｄ変換回路を介して制御回路１３へ出力される。制御回路１３は、入力した残容量信号に基づいて、バッテリの残容量と予め設定された閾値（たとえば全容量の４５パーセント）とを比較する。

制御回路１３によりバッテリの残容量が上記の閾値以下と判定されると、制御回路１３は、第１撮像素子１１へのタイミング信号の出力を禁止し、第２撮像素子１２にのみタイミング信号を出力する。そして、画像作成部１３１は、第２撮像素子１２から入力した第２画像信号を用いて、第４処理により画像信号を作成する。その結果、第１撮像素子１１による第１画像信号の出力が禁止されるとともに、画像生成部１３１は処理負荷が少ない第４処理で画像信号を生成するので、省電力化に寄与できる。

（４）第２撮像素子１２におけるカラーフィルタの配置は、図３（ｂ）に示す２×２画素のベイヤー配列に限定されない。たとえば、図８（ａ）に示すように、第２撮像素子１２の画素行方向に同一色のカラーフィルタを設けるようにしてもよい。この場合、Ｒ，Ｇ，Ｂの各色のカラーフィルタは、２画素行ごとの間隔で設けられる。または、図８（ｂ）に示すように、一対の画素１２ＰＡおよび１２ＰＢの２画素に同一色のカラーフィルタを設けるようにしてもよい。この場合、Ｒ，Ｇ，Ｂの各色のカラーフィルタは、１×２画素のベイヤー配列となるように設けられる。

（５）第２撮像素子１２の画素の配置は、図３（ｂ）に示す配置に限定されない。たとえば、図１０に示すように第２撮像素子１２の画素のうち、一部の互いに隣接する４つの画素、すなわち同一色のカラーフィルタが設けられる画素１２ＰＡおよび１２ＰＢの配置を他の画素の配置と異ならせてもよい。この場合、画素１２ＰＡおよび１２ＰＢを構成する光電変換部１２１Ａおよび１２１Ｂの長辺を画素行方向と平行となるように配置すればよい。

（６）デジタルカメラ１は、レンズ交換式のものに代えて、レンズ固定式のものであってもよい。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

１１・・・第１撮像素子、１２・・・第２撮像素子、
１３・・・制御回路、１３１・・・画像生成部、
１３２・・・画像処理部

Claims (10)

1. 被写体像を撮像して、輝度情報を含み、色情報を含まない第１画像信号を出力する第１撮像素子と、
   前記被写体像を撮像して、少なくとも色情報と焦点調節状態に関する情報とを含み、前記第１画像信号よりも解像度が低い第２画像信号を出力する第２撮像素子と、
   前記第１画像信号と前記第２画像信号とに基づいて、画像データを生成する画像生成手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画像生成手段は、所定の解像度よりも高い解像度で前記画像データを生成することを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記画像生成手段は、第１の解像度を有する第１画像データと、前記第１の解像度よりも低い第２の解像度を有する第２画像データとの一方を生成し、
   前記第１および前記第２画像データは記録媒体への記録するための記録用画像データであることを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記画像生成手段は、前記第２撮像素子により出力された前記第２画像信号にアップサンプル処理を施し、処理後の前記第２画像信号と、前記第１撮像素子により出力された前記第１画像信号とを合成して前記第１画像データを生成することを特徴とする撮像装置。
5. 請求項３または４に記載の撮像装置において、
   前記画像生成手段は、前記第１撮像素子により出力された前記第１画像信号にダウンサンプル処理を施し、処理後の前記第１画像信号と、前記第２撮像素子により出力された前記第２画像信号とを合成して前記第２画像データを生成することを特徴とする撮像装置。
6. 請求項１乃至５のいずれか一項に記載の撮像装置において、
   前記第２撮像素子は行列状に配置された複数の画素を有し、
   前記複数の画素は、前記複数の画素のうち互いに隣接し合う４画素から同一の前記色情報を出力するベイヤー配列であることを特徴とする撮像装置。
7. 請求項１乃至５のいずれか一項に記載の撮像装置において、
   前記第２撮像素子は行列状に配置された複数の画素を有し、
   前記複数の画素は、前記複数の画素のうち互いに隣接し合う２画素から同一の前記色情報を出力するベイヤー配列であることを特徴とする撮像装置。
8. 請求項１乃至５のいずれか一項に記載の撮像装置において、
   前記第２撮像素子は行列状に配置された複数の画素を有し、
   前記複数の画素のうち、同一の画素行に含まれる前記画素は同一の前記色情報を出力することを特徴とする撮像装置。
9. 請求項１乃至８のいずれか一項に記載の撮像装置において、
   前記画像生成手段は、さらに、前記第２撮像素子から出力された第２画像信号のみを用いて、所定の解像度よりも低い解像度で表示器へ表示するための表示用画像データを生成することを特徴とする撮像装置。
10. 請求項１乃至９のいずれか一項に記載の撮像装置において、
    前記第１撮像素子は、カラーフィルタを備えないことを特徴とする撮像装置。

Images