JP2010183173A - 撮像装置及びそのスルー画像表示方法 - Google Patents

Abstract

【課題】フレームレートの低下及び消費電力の増大を抑制しながら、同一被写体に対し複数種類のスルー画像を表示させることが可能な撮像装置を提供する。
【解決手段】被写体を撮像し、撮像によって得られる撮像信号から画像データを生成し、画像データに基づくスルー画像を表示部２３に表示する処理を繰り返し行うスルー画撮影モードを有するデジタルカメラであって、被写体を撮像するための固体撮像素子５と、スルー画撮影モード時に行われる１回の撮像によって固体撮像素子５から出力される撮像信号を２つのグループに分割したときの各グループの撮像信号に対し、グループ毎に異なる画像処理を施して２個の画像データを生成するスルー画処理部２６と、２個の画像データの各々に基づく２個のスルー画像を含む画面を表示部２３に表示する制御を行う表示制御部２２とを備える。
【選択図】図５

Description

本発明は、撮像装置及びそのスルー画像表示方法に関する。

デジタルカメラ等の撮像装置には、撮影を行うための撮影モードに設定すると、撮影処理、表示用画像データの生成、生成した表示用画像データに基づく画像のモニタへの表示という一連の作業を繰り返し行うことで、所謂スルー画像（ライブビュー画像）をモニタに表示する機能が搭載されている。そして、ユーザは表示されたスルー画像によってフレーミングや撮影状態を確認しながら、撮影を行うことができる。

また、撮像装置には、ホワイトバランスや彩度、階調等の画像処理パラメータを変えて撮影することができる機能も搭載されている。例えば、被写体を赤（Ｒ）緑（Ｇ）青（Ｂ）で表現するスタンダードモード、被写体をセピアで表現するセピアモード、被写体を白黒で表現する白黒モード、被写体を特定の銀塩フィルムで撮影した場合と同様に表現することのできるフィルムモード等、露出等の撮影条件が同じであっても画像処理が異なる様々なモード（以下、画像処理モードという）が設定可能となっている。

このように、多くの画像処理モードが設定可能になっているため、シーンによってどの画像処理モードにすれば良いのかを迷うことがある。そこで、従来、撮影によって得られる画像データに複数の異なる画像処理を施し、この異なる画像処理が各々施された複数のスルー画像をモニタにマルチ画面表示させる撮像装置が提案されている（特許文献１，２参照）。この撮像装置によれば、異なる画像処理で得られる画像の比較が可能となるため、シーンに適した画像処理モードの選択が容易となる。

図１３は、特許文献１，２で開示されているような撮像装置の構成例と画像生成のタイミングチャート例を示した図である。この撮像装置では、撮像制御部の制御によって行われた撮影によって撮像センサから得られた点順次の撮像信号（ＲＡＷデータ）をＳＤＲＡＭ等のメモリに記録した後、このＲＡＷデータに対して画像処理パラメータを変えて複数回（ここでは２回とする）の画像処理を順次行い、各画像処理によって得られた画像データ（画像１、画像２）を合成して画面データを生成後、この画面データに基づく画面をモニタに表示させることで、２つのスルー画像をモニタに表示する。

特許文献１，２に記載の構成では、１つの画面を表示するために、ＲＡＷデータに対する画像処理を２回行う必要がある。このため、スルー画像を１つだけ表示する一般的な構成と比較すると、画像処理量が単純に２倍になる。この画像処理量の増大は、モニタに表示させるスルー画像の数に比例し、３つや４つのスルー画像を表示させようとすると、画像処理量は上記一般的な構成の３倍、４倍になってしまう。この結果、画像処理量の増大によって消費電力が増大する。特に、撮像センサの多画素化により、ＲＡＷデータのサイズが大きくなると、消費電力の増大は更に懸念される。また、多画素化により、撮像センサの駆動周波数も高くなっており、これによって消費電力も増えている。このため、スルー画像を複数表示できる機能を搭載してしまうと、消費電力の増大がより顕著となってしまう。

複数のスルー画像を表示する別の方法として、図１４に示すように、表示用画像データの生成をパイプライン処理で行うスルー画処理部を複数設け、ＲＡＷデータに対して複数の画像処理を同時に施す方法が考えられる。しかし、この方法では、スルー画処理部を複数設けることによるコスト増、消費電力の増加、装置規模の拡大等が懸念される。

また、複数のスルー画像を表示する更に別の方法として、図１５に示すように、スルー画処理部を１つとし、このスルー画処理部において１フレーム毎に画像処理を変更して画像１と画像２を１フレーム毎に交互に生成する方法が考えられる。この方法によれば、スルー画処理部が１つのため、コスト増、消費電力の増加、装置規模の拡大等の懸念はない。しかし、画像１と画像２の撮像タイミングに差があるため、動いている被写体があった場合には、画像１と画像２とで被写体が異なる画像となってしまい、正確な比較が難しくなる。また、画像１と画像２のいずれも１フレームずつ間引かれた画像が表示されることになるため、２つのスルー画像の各々のフレームレートが低下し、滑らかな表示が難しい。

特開２００８−２１１８４３号公報 特開２００７−２７４５８１号公報

本発明は、上記事情に鑑みてなされたものであり、フレームレートの低下及び消費電力の増大を抑制しながら、同一被写体に対し複数種類のスルー画像を表示させることが可能な撮像装置及び撮像装置のスルー画像表示方法を提供することを目的とする。

本発明の撮像装置は、被写体を撮像し、前記撮像によって得られる撮像信号から画像データを生成し、前記画像データに基づくスルー画像を表示部に表示する処理を繰り返し行うスルー画撮影モードを有する撮像装置であって、被写体を撮像するための固体撮像素子と、前記スルー画撮影モード時に行われる１回の撮像によって前記固体撮像素子から出力される撮像信号をｎ個（ｎは２以上の自然数）のグループに分割したときの各グループの撮像信号に対し、グループ毎に異なる画像処理を施してｎ個の画像データを生成する画像データ生成手段と、前記ｎ個の画像データの各々に基づくｎ個のスルー画像を含む画面を表示部に表示する制御を行う表示制御手段とを備える。

本発明の撮像装置のスルー画像表示方法は、固体撮像素子により被写体を撮像し、前記撮像によって得られる撮像信号から画像データを生成し、前記画像データに基づくスルー画像を表示部に表示する処理を繰り返し行うスルー画撮影モードを有する撮像装置のスルー画像表示方法であって、前記スルー画撮影モード時に行われる１回の撮像によって前記固体撮像素子から出力される撮像信号をｎ個（ｎは２以上の自然数）のグループに分割したときの各グループの撮像信号に対し、グループ毎に異なる画像処理を施してｎ個の画像データを生成する画像データ生成ステップと、前記ｎ個の画像データの各々に基づくｎ個のスルー画像を含む画面を表示部に表示する制御を行う表示制御ステップとを備える。

ここでいうスルー画像とは、前述のように静止画の撮影動作を行う前に、撮影し表示する動画のことであり、ユーザがそれを見ながらフレーミングを行って画角を決めたり、撮影状態を確認したりするためのものである。

本発明によれば、フレームレートの低下及び消費電力の増大を抑制しながら、同一被写体に対し複数種類のスルー画像を表示させることが可能な撮像装置及び撮像装置のスルー画像表示方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図 図１に示す固体撮像素子の概略構成を示した部分平面模式図 マルチ画面モード設定画面例を示した図 スルー画撮影モード時に固体撮像素子から出力されてくる撮像信号を示した図 図１に示すスルー画処理部の詳細構成を示したブロック図 図５に示すＷＢ調整部によるホワイトバランス調整処理を説明するための図 図５に示すγ処理部によるγ補正処理を説明するための図 図５に示す補間処理部による補間処理を説明するための図 図５に示すリサイズ処理部による水平リサイズ処理を説明するための図 図５に示すリサイズ処理部による垂直リサイズ処理を説明するための図 図１に示すデジタルカメラの動作を説明するためのフローチャート スルー画像のマルチ画面表示例を示した図 従来の撮像装置の構成例及びタイミングチャート例を示す図 従来の撮像装置の構成例を示す図 従来の撮像装置の構成例及びタイミングチャート例を示す図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示す図である。
図示するデジタルカメラの撮像系は、撮影レンズ１と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の被写体を撮像するための固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御し、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体画像を撮像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの撮像信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、ホワイトバランス調整、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、測光データを積算しデジタル信号処理部１７が行うホワイトバランス補正のゲインを求める積算部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２とを備え、これらは、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図１のデジタルカメラは、固体撮像素子５により被写体を撮像し、この撮像によって固体撮像素子５から得られる撮像信号からデジタル信号処理部１７により画像データを生成し、この画像データに基づく画像（以下、スルー画像という）を表示部２３に表示する一連の処理を繰り返し行うスルー画撮影モードを有している。デジタルカメラが撮影を行うための撮影モードに設定されると、このスルー画撮影モードに移行し、表示部２３にはスルー画像が表示されるようになっている。これにより、表示部２３をファインダとして利用することができる。

デジタル信号処理部１７には、スルー画撮影モード時に、このスルー画像を表示するための画像データを生成するスルー画処理部２６が含まれている。スルー画処理部２６の構成については後述する。

図２は、図１に示す固体撮像素子５の概略構成を示した部分平面模式図である。図２に示すように、
固体撮像素子５は、基板上の行方向とこれに直交する列方向に二次元状（図の例では正方格子状）に配列された複数の光電変換素子５１を有する。各光電変換素子５１の受光面上にはカラーフィルタが設けられており、このカラーフィルタの配列はベイヤー配列となっている。図２において“Ｒ”を付した光電変換素子５１（以下、Ｒ光電変換素子５１という）は、受光面上に赤色（Ｒ）の光を透過するカラーフィルタを設けたものとなっている。図２において“Ｇ”を付した光電変換素子５１（以下、Ｇ光電変換素子５１という）は、受光面上に緑色（Ｇ）の光を透過するカラーフィルタを設けたものとなっている。図２において“Ｂ”を付した光電変換素子５１（以下、Ｂ光電変換素子５１という）は、受光面上に青色（Ｂ）の光を透過するカラーフィルタを設けたものとなっている。

各光電変換素子５１で発生した信号電荷に応じた撮像信号は、図示しないＣＣＤ及びアンプで構成されたＣＣＤ読み出し回路やＣＭＯＳ回路等の公知の回路によって固体撮像素子５の外部に読み出されるようになっている。

以下の説明では、Ｒ光電変換素子５１から得られる撮像信号をＲ信号、Ｇ光電変換素子５１から得られる撮像信号をＧ信号、Ｂ光電変換素子５１から得られる撮像信号をＢ信号という。

図１のデジタルカメラには、露出等の撮影条件は変えずに、撮像信号に対する画像処理内容を変更して撮影することができる機能も搭載されている。例えば、標準的な画像処理を施すスタンダードモードと、被写体をセピアで表現するための画像処理を施すセピアモードと、被写体を特定の銀塩フィルムで撮影した場合と同様に表現することのできる画像処理を施す３つのフィルムモードとの計５つの画像処理モードが設定可能となっている。この画像処理モードは２つ以上設定可能であれば良く、５つには限らない。

また、図１のデジタルカメラには、スルー画撮影モード時に複数の画像処理モードの各々で撮影を行ったときに得られる画像を比較することができるマルチ画面モードも搭載されている。このマルチ画面モードは、例えばスタンダードモードとセピアモードとを比較したい場合に、スタンダードモードで撮影したときに得られるスルー画像と、セピアモードで撮影したときに得られるスルー画像とを含むマルチ画面を表示部２３にすることで、シーンに合った画像処理モードの選択を容易にするためのモードである。図１のデジタルカメラでは、５つの画像処理モードのうちの２つの画像処理モードを選択して比較できるようにしている。

マルチ画面モードは、デジタルカメラの操作部１４に設けられた専用のボタンによる操作や、スルー画撮影モード時に表示部２３に表示されるアイコンの操作によって設定可能である。図３は、マルチ画面モード設定時の表示画面例を示した図である。図３には、スタンダードモード、セピアモード、“フィルム１”モード、“フィルム２”モード、“フィルム３”モードの、このデジタルカメラで設定可能な５つの画像処理モードに対応するアイコンが表示されている。ユーザは、この画面が表示された状態で、操作部１４の操作により、比較をしたい２つの画像処理モードに対応するアイコンの選択を行う。システム制御部１１は、選択された画像処理モードをデジタル信号処理部１７に通知する。

デジタル信号処理部１７に含まれるスルー画処理部２６は、マルチ画面モード時、１回の撮像によって固体撮像素子５から出力される撮像信号を２つのグループに分割したときの各グループの撮像信号に対し、グループ毎に異なる画像処理を施して２つの画像データを生成する。

この２つのグループの分割パターンは、異なるグループの撮像信号が２個おきにスルー画処理部２６に入力されるようなパターンとなるように予め設定されている。例えば、図４に示したように、８行×８列の撮像信号（図中の“Ｒ”はＲ信号、“Ｇ”はＧ信号、“Ｂ”はＢ信号を示す）が、図中の左上から右下に向かう矢印で示したような順序で固体撮像素子５から出力されてくるものとする。この場合、１列，２列，５列，６列の撮像信号を第一グループとし、それ以外の３列，４列，７列，８列の撮像信号を第二グループとする。このようにすることで、スルー画処理部２６には、２個おきに異なるグループの撮像信号が入力されてくるようになる。以下では、図４に示した例で撮像信号が固体撮像素子５から出力されてくるものとして説明を行う。

図５は、スルー画処理部２６の詳細構成を示したブロック図である。

スルー画処理部２６に入力されてきた撮像信号は、まず、ホワイトバランス調整部１７ａに入力される。ホワイトバランス調整部１７ａは、入力された撮像信号に所定のホワイトバランスゲインを乗じることでホワイトバランス調整処理を行い、処理後の撮像信号を出力する処理を行う。

ホワイトバランスゲインには、Ｒ信号用のゲインとＧ信号用のゲインとＢ信号用のゲインとが含まれる。また、このホワイトバランスゲインは、上記５つの画像処理モードのそれぞれに対応して５つのパターンが用意されている。５パターンのホワイトバランスゲインは、例えばスルー画処理部２６内のメモリに記憶されている。

ホワイトバランス調整部１７ａにはセレクタ２６ａが接続されており、このセレクタ２６ａにより、２パターンのホワイトバランスゲインを切り替えられるようになっている。セレクタ２６ａには、システム制御部１１から通知された、マルチ画面モード設定時に選択された２つの画像処理モード（以下では、スタンダードモードと“フィルム１”モードとする）で用いられる２パターンのホワイトバランスゲインが入力される。

図６は、ホワイトバランス調整部１７ａによるホワイトバランス調整処理を説明するための図である。
図６中の入力信号の各ブロックは、ホワイトバランス調整部１７ａに入力されてくる撮像信号を示している。また、入力信号のＲ，Ｇ，Ｂの表記は、それぞれ、Ｒ信号、Ｇ信号、Ｂ信号であることを示している。各入力信号の下のブロックが、該入力信号に乗じるホワイトバランスゲインであり、その下のブロックが、ホワイトバランス調整後の撮像信号を示している。

図６に示したように、ホワイトバランス調整部１７ａは、第一グループの撮像信号に対しては、スタンダードモードで用いるパターンのホワイトバランスゲイン（Ｒ−Ｇａｉｎ１，Ｇ−Ｇａｉｎ１）を用いてホワイトバランス調整処理を行い、第二グループの撮像信号に対しては、“フィルム１”モードで用いるパターンのホワイトバランスゲイン（Ｒ−Ｇａｉｎ２，Ｇ−Ｇａｉｎ２）を用いてホワイトバランス調整処理を行う。なお、図６では、第二グループの撮像信号の処理後の表記を小文字にしてある。

このデジタルカメラでは、第一のグループと第二のグループが２つの撮像信号おきに交互に入力されてくるように分割パターンを設定している。このため、ホワイトバランス調整部１７ａは、撮像信号の入力が開始されてから、２つの撮像信号に対するホワイトバランス調整処理を終了する毎に、ホワイトバランスゲインのパターンを別のパターンに切り替えることで、第一のグループと第二のグループとで異なるホワイトバランス処理を行うことができる。

ホワイトバランス調整部１７ａから出力された撮像信号はγ処理部１７ｂに入力される。γ処理部１７ｂは、入力された撮像信号に所定のγ値を用いてγ補正処理を行い、処理後の撮像信号を出力する。γ値には、Ｒ信号用γ値とＧ信号用γ値とＢ信号用γ値とが含まれる。また、このγ値は、上記５つの画像処理モードのそれぞれに対応して５つのパターンが用意されている。５パターンのγ値は、例えばスルー画処理部２６内のメモリに記憶されている。

γ処理部１７ｂにはセレクタ２６ｂが接続されており、このセレクタ２６ｂにより、２パターンのγ値を切り替えられるようになっている。セレクタ２６ｂには、システム制御部１１から通知された、マルチ画面モード設定時に選択された２つの画像処理モード（スタンダードモードと“フィルム１”モード）で用いられる２パターンのγ値が入力される。

図７は、γ処理部１７ｂによるγ補正処理を説明するための図である。
図７中の入力信号の各ブロックは、γ処理部１７ｂに入力されてくる撮像信号を示している。各入力信号の下のブロックが、該入力信号のγ補正に用いるγ値であり、その下のブロックが、γ補正処理後の撮像信号を示している。

図７に示したように、γ処理部１７ｂは、第一グループの撮像信号に対しては、スタンダードモードで用いるパターンのγ値（Ｒ−γ値１，Ｇ−γ値１）を用いてγ補正処理を行い、第二グループの撮像信号に対しては、“フィルム１”モードで用いるパターンのγ値（Ｒ−γ値２，Ｇ−γ値２）を用いてγ補正処理を行う。

このデジタルカメラでは、第一のグループと第二のグループが２つの撮像信号おきに交互に入力されてくるように分割パターンを設定している。このため、γ処理部１７ｂは、撮像信号の入力が開始されてから、２つの撮像信号に対するγ補正処理を終了する毎に、γ値のパターンを別のパターンに切り替えることで、第一グループと第二グループとで異なるγ補正処理を行うことができる。

γ処理部１７ｂから出力された撮像信号は補間処理部１７ｃに入力される。補間処理部１７ｃは、入力された撮像信号のサンプリングポイントに、該撮像信号の色成分以外の色成分の撮像信号を、周囲の撮像信号を用いて補間する補間処理を行う。

図８は、補間処理部１７ｃによる補間処理を説明するための図である。
補間処理部１７ｃでは、複数ライン分の撮像信号を用いて補間処理を行う。図８に示したように、補間処理部１７ｃは、第一グループの撮像信号のサンプリングポイントに対しては、その撮像信号の周囲にある第一グループの撮像信号を用いて撮像信号を補間する。同様に、第二グループの撮像信号のサンプリングポイントに対しては、その撮像信号の周囲にある第二グループの撮像信号を用いて撮像信号を補間する。

補間後のデータは図８の各入力信号の下に示したようになる。入力信号のうち、Ｒ信号のサンプリングポイントにはＧ信号とＢ信号が補間され、Ｇ信号のサンプリングポイントにはＲ信号とＢ信号が補間されて、第一グループの各撮像信号のサンプリングポイントに対し、Ｒ信号とＧ信号とＢ信号からなるＲＧＢ画素データが生成される。同様に、入力信号のうち、ｒ信号のサンプリングポイントにはｇ信号とｂ信号が補間され、ｇ信号のサンプリングポイントにはｒ信号とｂ信号が補間され、第二グループの各撮像信号のサンプリングポイントに対し、ｒ信号とｇ信号とｂ信号からなるｒｇｂ画素データが生成される。

生成された各画素データは、該画素データに対応する撮像信号の入力順と同じ順番でＹＣ変換部１７ｄに入力される。ＹＣ変換部１７ｄは、入力された画素データに含まれる信号を輝度信号Ｙと色差信号ＣからなるＹＣ信号に変換して出力する。

ＹＣ変換部１７ｄから出力されたＹＣ信号はリサイズ処理部１７ｅに入力される。リサイズ処理部１７ｅには、水平リサイズ処理部と垂直リサイズ処理部が含まれる。ＹＣ変換部１７ｄから出力されたＹＣ信号は、まず、水平リサイズ処理部で水平リサイズ処理が行われる。

図９は、水平リサイズ処理を説明するための図である。図９では、ＲＧＢ画素データから変換後のＹＣ信号を（Ｙ，ＣＢ，ＣＲ）の３つのブロックで示し、ｒｇｂ画素データから変換後のＹＣ信号を（ｙ，ｃｂ，ｃｒ）の３つのブロックで示している。図９に示したように、水平リサイズ処理部には、ＲＧＢ画素データから変換後のＹＣ信号と、ｒｇｂ画素データから変換後のＹＣ信号とが２つずつ交互に入力されてくる。

水平リサイズ処理部では、入力されたＹＣ信号と、その次に入力されてくる同一グループのＹＣ信号との平均を求めて、水平方向に並ぶ２つのＹＣ信号のサンプリングポイントの重心位置にＹＣ信号を補間生成することで、水平リサイズ処理を行う。平均演算処理は、同一グループのＹＣ信号が２つ揃った時点で順次行うものとする。このため、図９に示したように、平均演算処理は第一グループと第二グループで交互に行われ、水平リサイズ処理後は、第一グループのＹＣ信号と、第二グループのＹＣ信号とが交互に出力される。

水平リサイズ処理が終わると、垂直リサイズ処理部にて垂直リサイズ処理が行われる。垂直リサイズ処理部には、図１０（ａ）に示したように、ラインバッファ２７，２８，２９と、補間処理部３０とが含まれる。

垂直リサイズ処理部では、ラインバッファ２７，２８，２９をリングバッファとして使用し、ラインバッファ２７は書き込みに使用し、他のラインバッファ２８，２９を使用して垂直リサイズ処理を行う。

垂直リサイズ処理部は、まず、第一グループのＹＣ信号と第二グループのＹＣ信号が混在する入力データから、第一グループのＹＣ信号と第二グループのＹＣ信号を分離する（図１０（ｂ））。この時点で、第一グループのＹＣ信号で構成される第一の画像データと、第二グループのＹＣ信号で構成される第二の画像データとが生成された状態となる。

垂直リサイズ処理部は、第一の画像データと第二の画像データのそれぞれに対し、垂直リサイズ処理を順次行う。具体的には、隣接２ライン分のＹＣ信号をラインバッファ２８，２９にそれぞれ書き込み、垂直方向に隣接する２つのＹＣ信号の平均を補間処理部３０が演算し、垂直方向に並ぶ２つのＹＣ信号のサンプリングポイントの重心位置にＹＣ信号を補間生成することで、垂直リサイズ処理を行う。

垂直リサイズ後の第一の画像データと第二の画像データは彩度処理部１７ｆに順次入力される。彩度処理部１７ｆは、入力された画像データに、所定の彩度調整パラメータを用いて彩度調整処理を行う。彩度調整パラメータは、上記５つの画像処理モードのそれぞれに対応して５つのパターンが用意されている。５パターンの彩度調整パラメータは、例えばスルー画処理部２６内のメモリに記憶されている。

彩度処理部１７ｆにはセレクタ２６ｃが接続されており、このセレクタ２６ｃにより、２パターンの彩度調整パラメータを切り替えられるようになっている。セレクタ２６ｃには、システム制御部１１から通知された、マルチ画面モード設定時に選択された２つの画像処理モード（スタンダードモードと“フィルム１”モード）で用いられる２パターンの彩度調整パラメータが入力される。

彩度処理部１７ｆは、第一の画像データに対しては、スタンダードモードで用いるパターンの彩度調整パラメータを用いて彩度調整を行い、第二の画像データに対しては、“フィルム１”モードで用いるパターンの彩度調整パラメータを用いて彩度調整を行う。

彩度調整がなされた第一の画像データと第二の画像データは出力部１７ｇから表示制御部２２へと出力され、ここで、第一の画像データに基づくスルー画像と第二の画像データに基づくスルー画像とを含む画面の表示部２３への表示制御が行われる。

なお、スルー画撮影モードで且つマルチ画面モードが設定されていないとき、スルー画処理部２６は、ユーザにより設定された又は予め設定された画像処理モードに応じたパラメータをセレクタ２６ａ，２６ｂ，２６ｃに入力し、ユーザにより設定された又は予め設定された画像処理モードに応じた画像処理を撮像信号に施す。そして、１つの画像データを生成して、これを表示制御部２２へと出力する。これにより、１つのスルー画像のみを含む画面が表示部２３に表示される。

次に、以上のように構成されたデジタルカメラの動作を説明する。図１１は、デジタルカメラの動作を説明するためのフローチャートである。

操作部１４が操作されて撮影モードが設定されると、スルー画撮影モードに移行し、システム制御部１１の制御により、固体撮像素子５による被写体の撮像、スルー画処理部２６による画像データの生成、該画像データに基づくスルー画像の表示といった一連のスルー画処理が繰り返し行われる（ステップＳ１）。なお、スルー画撮影モードの初期設定では、画像処理モードとしてスタンダードモードが予め設定されているものとする。

この状態から撮影指示がなされた場合（ステップＳ２：ＹＥＳ）、システム制御部１１の制御により、被写体の撮像処理が実施される（ステップＳ１０）。そして、この撮像処理によって固体撮像素子５から出力された撮像信号にスタンダードモードにしたがった画像処理がデジタル信号処理部１７により施されて画像データが生成される。生成された画像データは圧縮されて記録媒体２１に記録される（ステップＳ１１）。ステップＳ１１の後は、ステップＳ１へと戻り、撮影待機状態となる。

撮影待機状態において撮影指示がなされず（ステップＳ２：ＮＯ）、マルチ画面モードへの移行指示がなされた場合（ステップＳ３：ＹＥＳ）、システム制御部１１によりスルー画処理が停止され、図３に示したようなマルチ画面モード設定画面が表示部２３に表示される（ステップＳ４）。

そして、ユーザにより２つのアイコンが選択されると、選択されたアイコンに対応する画像処理モードがシステム制御部１１により仮設定される（ステップＳ５）。その後、システム制御部１１の制御によってスルー画処理が再開され（ステップＳ６）、表示部２３には、図１２に示したようなマルチ画面が表示される（ステップＳ７）。

図１２に示したように、表示部２３には、スタンダードモードによるスルー画像と、“フィルム１”モードによるスルー画像とがマルチ画面表示される。図１２の例では、２つのスルー画像を、その一部が重なるようにして表示させるものとしている。このマルチ画面は、確認用の画面であるため、スルー画像の一部が重なっていても、それほど問題にはならない。むしろ、このようにすることで、それぞれのスルー画像の表示サイズを大きくすることができるため、確認がしやすくなり、使い勝手を向上させることができる。勿論、２つのスルー画像を重ならないように並べて表示させる方式を採用しても良い。

図１２に示すマルチ画面では、操作部１４によるキー操作やタッチ操作により、表示されているスルー画像のいずれかを選択することができるようになっている。図１２では、“フィルム１”モードが選択されている状態を示しており、選択されているスルー画像はハイライト表示されると共に、最前面へ出てくるようになっている。

ユーザの操作により、いずれかのスルー画像が選択され、その選択が確定されると（ステップＳ８：ＹＥＳ）、選択されたスルー画像に対応する画像処理モードがシステム制御部１１により本設定され（ステップＳ９）、スルー画処理が再開される（ステップＳ１）。スルー画処理再開後、スルー画処理部２６では、本設定された画像処理モードにしたがって画像処理が施され、本設定された画像処理モードに対応するスルー画像だけが表示部２３に表示される。

そして、この状態で撮影指示がなされた場合（ステップＳ２：ＹＥＳ）、ステップ１０に移行し、本設定された画像処理モードにしたがった画像処理がデジタル信号処理部１７により施されて画像データが生成される。生成された画像データは圧縮されて記録媒体２１に記録される（ステップＳ１１）。ステップＳ１１の後は、ステップＳ１へと戻り、再び撮影待機状態となる。

以上のように、このデジタルカメラは、１回の撮像によって得られる撮像信号を２つのグループとして扱い、このグループ毎に異なる画像処理を行って２つの画像データを生成している。このため、１回の撮像によって得られる撮像信号の全体に対し画像処理を２回行って２個の画像データを生成する特許文献１，２記載の装置と比べて、画像処理量を減らすことができる。

例えば、１回の撮像によって得られる撮像信号を１００万個とした場合、図１のデジタルカメラでは、５０万個の撮像信号に対する画像処理を２回行うのに対し、特許文献１，２記載の装置は、１００万個の撮像信号に対する画像処理を２回行うことになる。このため、単純計算で画像処理量を半分にすることができ、１つのスルー画像を表示する一般的な装置と同等の処理量で２つのスルー画像を表示させることが可能となり、消費電力の増大を抑えながら、マルチ画面モードという便利な機能を追加することができる。

また、マルチ画面表示される２つのスルー画像は同時刻に撮像されたものであるため、動いている被写体があった場合でも、２つのスルー画像に変化は生じず、スルー画像同士の正確な比較が可能となる。また、２つのスルー画像は１回の撮像で生成されるため、フレームレートの低下を抑えることができ、滑らかな表示が可能となる。

また、このデジタルカメラの補間処理部１７ｃ、ＹＣ変換部１７ｄ、リサイズ処理部１７ｅが行う処理は、マルチ画面モードと非マルチ画面モードとで処理内容をソフト的に変更するだけで済む。つまり、１つのスルー画像を表示可能な一般的な構成のデジタルカメラに対し、画像処理モード毎の信号処理パラメータを記憶するメモリと、２つの撮像信号単位で信号処理パラメータをセレクトするセレクタ２６ａ，２６ｂと、画像データ単位で信号処理パラメータをセレクトするセレクタ２６ｃとを追加するだけで、マルチ画面モードを実現することができる。このため、回路量の増大を抑えることができ、低コスト化、小型化が可能となる。

また、このデジタルカメラによれば、撮像信号に対する画像処理をパイプライン処理で行うことが可能なため、固体撮像素子５から出力されてくる全ての撮像信号を記憶するための領域を設ける必要がなく、コスト削減、装置面積の縮小を図ることができる。また、固体撮像素子５から撮像信号を読み出しながら画像処理を並行して行うことができるため、撮像が行われてからマルチ画面が表示されるまでの時間を短縮することができ、意図しない撮影が行われるのを防ぐことができる。

なお、以上の説明では、固体撮像素子５から出力されてくる撮像信号をメモリに記録することなく、スルー画処理部２６に直接入力する構成としたが、これに限らない。例えば、スルー画撮影モード時に１回の撮像で固体撮像素子５から出力されてくる全ての撮像信号をメインメモリ１６等のメモリに一旦記録し、記録した撮像信号を２つのグループに分割する。そして、一方のグループを読み出し、画像処理を施して１つ目の画像データを生成し、次に、他方のグループを読み出して、画像処理を施して２つ目の画像データを生成する。このように、各グループに対し、スルー画処理部２６が別々に画像処理を施して２つの画像データを生成する構成であっても良い。この構成であっても、画像処理量は単純計算で特許文献１，２記載の装置の半分にすることができ、低消費電力化を充分に図ることが可能である。また、スルー画処理部２６の補間処理部１７ｃ、ＹＣ変換部１７ｄ、リサイズ処理部１７ｅが行う処理をグループ毎に変更する必要がなくなるため、処理プログラムが簡略化される。

また、以上の説明では、マルチ画面に表示させるスルー画像の数（ｎとする）を２つに固定したが、このｎの値は２以上（ただし、ｎの値の上限はカメラで設定可能な画像処理モードの総数）であれば良く、また、ユーザによってｎの値を変更可能としても良い。この場合、図３に示す設定画面上で選択可能な画像処理モードの上限を５個とし、選択されたモードの数をｎに設定する。そして、スルー画処理部２６が、マルチ画面モード時、１回の撮像によって固体撮像素子５から出力される撮像信号をｎ個のグループに分割したときの各グループの撮像信号に対し、グループ毎に異なる画像処理を施してｎ個の画像データを生成すれば良い。セレクタ２６ａ，セレクタ２６ｂ，セレクタ２６ｃには、５パターンのパラメータを全て入力できるようにしておき、選択された画像処理モードに対応するｎパターンのパラメータのみを切り替え出力するようにしておけば良い。

このときの分割パターンは、ｎ＝２と時と同様に、異なるグループの撮像信号が２個おきにスルー画処理部２６に入力されるようなパターンとなるように予め設定しておけば良い。例えば、ｎ＝３のときは、図４において、１列，２列，７列，８列・・・の撮像信号を第一グループとし、３列，４列，９列，１０列・・・の撮像信号を第二グループとし、５列，６列，１１列，１２列・・・の撮像信号を第三グループといったように、２列おきに異なるグループとなるように設定する。このようにすることで、スルー画処理部２６には、２個おきに異なるグループの撮像信号が入力されてくるようになる。

また、以上の説明では、彩度調整を、第一の画像データと第二の画像データに分離してから行っているが、ホワイトバランス調整処理やγ補正処理と同様、第一グループの撮像信号と第二グループの撮像信号とが混在した状態で行っても良い。例えば、γ処理部１７ｂと補間処理部１７ｃの間に彩度処理部１７ｆを設け、２つの撮像信号の処理が終わる毎に彩度調整パラメータを切り替えることで、第一のグループと第二のグループとで異なる彩度調整を行うようにしても良い。

また、上述した分割パターンとしては、図４において、１行，２行，５行，６行の撮像信号を第一グループとし、それ以外の３行，４行，７行，８行の撮像信号を第二グループとする例も考えられる。このようにすることで、スルー画処理部２６には、１６個おきに異なるグループの撮像信号が入力されてくるようになる。この分割パターンの場合は、ホワイトバランス調整部１７ａ及びγ処理部１７ｂにおいて、１６個の撮像信号の処理が終わる毎にパラメータを切り替えることで、第一のグループと第二のグループとで異なる信号処理を施すことが可能となる。

また、以上の説明では、固体撮像素子５の各光電変換素子上にカラーフィルタを設けたカラー撮像素子を例にしたが、カラーフィルタを設けないモノクロ撮像素子であっても良い。この場合の分割パターンは、異なるグループの撮像信号がＭ個（Ｍは１以上の自然数）おきにスルー画処理部２６に入力されるようなパターンとなるように予め設定しておけば良い。例えば、ｎ＝２のときは、図４において、奇数列の撮像信号を第一グループとし、偶数列の撮像信号を第二グループとするといったように、１列おきに異なるグループとなるように設定する。このようにすることで、スルー画処理部２６には、１個おきに異なるグループの撮像信号が入力されてくるようになる。

また、上述した構成は、ビデオカメラやカメラ付き携帯電話機等にも適用可能である。また、固体撮像素子５のフィルタ配列や光電変換素子配列は図２に示したものに限らず、様々なものを採用することができる。

以上説明したように、本明細書には次の事項が開示されている。

開示された撮像装置は、被写体を撮像し、前記撮像によって得られる撮像信号から画像データを生成し、前記画像データに基づくスルー画像を表示部に表示する処理を繰り返し行うスルー画撮影モードを有する撮像装置であって、被写体を撮像するための固体撮像素子と、前記スルー画撮影モード時に行われる１回の撮像によって前記固体撮像素子から出力される撮像信号をｎ個（ｎは２以上の自然数）のグループに分割したときの各グループの撮像信号に対し、グループ毎に異なる画像処理を施してｎ個の画像データを生成する画像データ生成手段と、前記ｎ個の画像データの各々に基づくｎ個のスルー画像を含む画面を表示部に表示する制御を行う表示制御手段とを備える。

この構成によれば、１回の撮像によって得られる撮像信号を分割したグループ毎に異なる画像処理を行ってｎ個の画像データを生成しているため、１回の撮像によって得られる撮像信号全体に対して画像処理をｎ回行ってｎ個の画像データを生成する特許文献１，２記載の装置と比べて、画像処理量をほぼ半分に減らすことができる。また、ｎ個のスルー画像は同時刻に撮像されたものであるため、動いている被写体があった場合でも、ｎ個のスルー画像に変化は生じず、スルー画像同士の正確な比較が可能となる。また、ｎ個のスルー画像は１回の撮像で生成されるため、フレームレートの低下を抑えることができ、滑らかな表示が可能となる。

開示された撮像装置は、前記画像データ生成手段には前記撮像信号が前記固体撮像素子からの出力順に順次入力され、異なるグループの前記撮像信号が所定個おきに前記画像データ生成手段に入力されるように、前記ｎ個のグループの分割パターンは設定されており、前記画像データ生成手段は、入力された前記撮像信号に所定の信号処理パラメータを用いて信号処理を行う信号処理手段を含み、前記信号処理手段は、前記所定個の前記撮像信号に対する信号処理が終了する毎に、前記信号処理パラメータを次に入力されてくる前記撮像信号のグループに応じたものに切り替えて前記信号処理を行う。

この構成により、複数グループの撮像信号が混在している入力信号に対し、信号処理パラメータを切り替えるだけで、各グループに異なる画像処理を施すことができ、パイプライン処理が可能となる。このため、固体撮像素子から出力されてくる全ての撮像信号を記憶するための領域を設ける必要がなく、コスト削減、装置面積の縮小を図ることができる。また、固体撮像素子から撮像信号を読み出しながら画像処理を並行して行うことができるため、撮像が行われてから画面が表示されるまでの時間を短縮することができる。この結果、意図しない撮像が行われるのを防ぐことができる。

開示された撮像装置は、前記信号処理パラメータが、ホワイトバランスゲイン、γ値、及び彩度のいずれかである。

開示された撮像装置は、撮影条件は同一で前記画像処理が異なる複数種類のモードを有し、前記複数種類のモードの中から外部操作によって選択された前記モードの数を前記ｎに設定し、設定された前記ｎ個のグループの各々に対して行うべき前記画像処理を、前記選択されたモードに応じて設定する設定手段を備える。

この構成により、撮影結果を確認したいモードを任意に選択することで、選択したモードでの撮影結果を表示部上で確認することができる。

開示された撮像装置は、前記表示部に表示された前記ｎ個のスルー画像の中から外部操作に応じて選択されたスルー画像に対応する前記モードを設定するモード設定手段を備える。

この構成により、気に入ったスルー画像を選択するだけで、そのスルー画像を得るためのモードを簡単に設定することができる。

開示された撮像装置は、前記表示制御手段が、前記ｎ個のスルー画像を画面上でそれぞれの一部が重なるように表示する制御を行う。

この構成により、個々のスルー画像の表示サイズを大きくすることが可能となり、スルー画像の確認がしやすくなる。

開示された撮像装置のスルー画像表示方法は、固体撮像素子により被写体を撮像し、前記撮像によって得られる撮像信号から画像データを生成し、前記画像データに基づくスルー画像を表示部に表示する処理を繰り返し行うスルー画撮影モードを有する撮像装置のスルー画像表示方法であって、前記スルー画撮影モード時に行われる１回の撮像によって前記固体撮像素子から出力される撮像信号をｎ個（ｎは２以上の自然数）のグループに分割したときの各グループの撮像信号に対し、グループ毎に異なる画像処理を施してｎ個の画像データを生成する画像データ生成ステップと、前記ｎ個の画像データの各々に基づくｎ個のスルー画像を含む画面を表示部に表示する制御を行う表示制御ステップとを備える。

開示された撮像装置のスルー画像表示方法は、前記画像データ生成ステップが、前記固体撮像素子からの出力順に順次入力されてくる前記撮像信号に所定の信号処理パラメータを用いて信号処理を行う信号処理ステップを含み、異なるグループの前記撮像信号が所定個おきに入力されるように、前記ｎ個のグループの分割パターンは設定されており、前記信号処理ステップでは、前記所定個の前記撮像信号に対する信号処理が終了する毎に、前記信号処理パラメータを次に入力されてくる前記撮像信号のグループに応じたものに切り替えて前記信号処理を行う。

開示された撮像装置のスルー画像表示方法は、前記信号処理パラメータが、ホワイトバランスゲイン、γ値、及び彩度のいずれかである。

開示された撮像装置のスルー画像表示方法は、撮影条件は同一で前記画像処理が異なる複数種類のモードの中から外部操作によって選択された前記モードの数を前記ｎに設定し、設定された前記ｎ個のグループの各々に対して行うべき前記画像処理を、前記選択されたモードに応じて設定する。

開示された撮像装置のスルー画像表示方法は、前記表示部に表示された前記ｎ個のスルー画像の中から外部操作に応じて選択されたスルー画像に対応する前記モードを設定するモード設定ステップとを備える。

開示された撮像装置のスルー画像表示方法は、前記表示制御ステップでは、前記ｎ個のスルー画像を画面上でそれぞれの一部が重なるように表示する制御を行う。

５ 固体撮像素子
２２ 表示制御部
２３ 表示部
２６ スルー画処理部

Claims (12)

1. 被写体を撮像し、前記撮像によって得られる撮像信号から画像データを生成し、前記画像データに基づくスルー画像を表示部に表示する処理を繰り返し行うスルー画撮影モードを有する撮像装置であって、
   被写体を撮像するための固体撮像素子と、
   前記スルー画撮影モード時に行われる１回の撮像によって前記固体撮像素子から出力される撮像信号をｎ個（ｎは２以上の自然数）のグループに分割したときの各グループの撮像信号に対し、グループ毎に異なる画像処理を施してｎ個の画像データを生成する画像データ生成手段と、
   前記ｎ個の画像データの各々に基づくｎ個のスルー画像を含む画面を表示部に表示する制御を行う表示制御手段とを備える撮像装置。
2. 請求項１記載の撮像装置であって、
   前記画像データ生成手段には前記撮像信号が前記固体撮像素子からの出力順に順次入力され、
   異なるグループの前記撮像信号が所定個おきに前記画像データ生成手段に入力されるように、前記ｎ個のグループの分割パターンは設定されており、
   前記画像データ生成手段は、入力された前記撮像信号に所定の信号処理パラメータを用いて信号処理を行う信号処理手段を含み、
   前記信号処理手段は、前記所定個の前記撮像信号に対する信号処理が終了する毎に、前記信号処理パラメータを次に入力されてくる前記撮像信号のグループに応じたものに切り替えて前記信号処理を行う撮像装置。
3. 請求項２記載の撮像装置であって、
   前記信号処理パラメータが、ホワイトバランスゲイン、γ値、及び彩度のいずれかである撮像装置。
4. 請求項１〜３のいずれか１項記載の撮像装置であって、
   撮影条件は同一で前記画像処理が異なる複数種類のモードを有し、
   前記複数種類のモードの中から外部操作によって選択された前記モードの数を前記ｎに設定し、設定された前記ｎ個のグループの各々に対して行うべき前記画像処理を、前記選択されたモードに応じて設定する設定手段を備える撮像装置。
5. 請求項４記載の撮像装置であって、
   前記表示部に表示された前記ｎ個のスルー画像の中から外部操作に応じて選択されたスルー画像に対応する前記モードを設定するモード設定手段を備える撮像装置。
6. 請求項１〜５のいずれか１項記載の撮像装置であって、
   前記表示制御手段が、前記ｎ個のスルー画像を画面上でそれぞれの一部が重なるように表示する制御を行う撮像装置。
7. 固体撮像素子により被写体を撮像し、前記撮像によって得られる撮像信号から画像データを生成し、前記画像データに基づくスルー画像を表示部に表示する処理を繰り返し行うスルー画撮影モードを有する撮像装置のスルー画像表示方法であって、
   前記スルー画撮影モード時に行われる１回の撮像によって前記固体撮像素子から出力される撮像信号をｎ個（ｎは２以上の自然数）のグループに分割したときの各グループの撮像信号に対し、グループ毎に異なる画像処理を施してｎ個の画像データを生成する画像データ生成ステップと、
   前記ｎ個の画像データの各々に基づくｎ個のスルー画像を含む画面を表示部に表示する制御を行う表示制御ステップとを備える撮像装置のスルー画像表示方法。
8. 請求項７記載の撮像装置のスルー画像表示方法であって、
   前記画像データ生成ステップが、前記固体撮像素子からの出力順に順次入力されてくる前記撮像信号に所定の信号処理パラメータを用いて信号処理を行う信号処理ステップを含み、
   異なるグループの前記撮像信号が所定個おきに入力されるように、前記ｎ個のグループの分割パターンは設定されており、
   前記信号処理ステップでは、前記所定個の前記撮像信号に対する信号処理が終了する毎に、前記信号処理パラメータを次に入力されてくる前記撮像信号のグループに応じたものに切り替えて前記信号処理を行う撮像装置のスルー画像表示方法。
9. 請求項８記載の撮像装置のスルー画像表示方法であって、
   前記信号処理パラメータが、ホワイトバランスゲイン、γ値、及び彩度のいずれかであるスルー画像表示方法。
10. 請求項７〜９のいずれか１項記載の撮像装置のスルー画像表示方法であって、
    撮影条件は同一で前記画像処理が異なる複数種類のモードの中から外部操作によって選択された前記モードの数を前記ｎに設定し、設定された前記ｎ個のグループの各々に対して行うべき前記画像処理を、前記選択されたモードに応じて設定する撮像装置のスルー画像表示方法。
11. 請求項１０記載の撮像装置のスルー画像表示方法であって、
    前記表示部に表示された前記ｎ個のスルー画像の中から外部操作に応じて選択されたスルー画像に対応する前記モードを設定するモード設定ステップとを備える撮像装置のスルー画像表示方法。
12. 請求項７〜１１のいずれか１項記載の撮像装置のスルー画像表示方法であって、
    前記表示制御ステップでは、前記ｎ個のスルー画像を画面上でそれぞれの一部が重なるように表示する制御を行う撮像装置のスルー画像表示方法。

Images