以下、本発明の一実施の形態を図に従って説明する。
(第1の実施の形態)
図1は、各実施の形態に共通するデジタルカメラ1の概略的回路構成を示すブロック図である。このデジタルカメラ1は、撮影制御手段101を備えており、この撮影制御手段101は、ズーム制御/AF制御部102、露出設定手段103、加算読出しモード制御部104、感度/利得制御手段105、補間処理制御手段106、及び補間倍率設定手段107を有している。ズーム制御/AF制御部102には、測距手段/合焦検出手段108からの出力と撮影条件の設定手段110からの出力とが与えられ、露出設定手段103には、測光手段109からの測光信号と前記撮影条件の設定手段110からの出力とが与えられる。また、加算読出しモード制御部104には、ズーム制御/AF制御部102、露出設定手段103、撮影モードの選択手段111、感度/利得制御手段105、及び画像サイズ/印刷用紙サイズの選択手段112からの出力が与えられる。感度/利得制御手段105には、前記撮影条件の設定手段110からの出力が与えられ、補間倍率設定手段107には、画像サイズ/印刷用紙サイズの選択手段112からの出力が与えられる。
一方、撮影光学系120の光軸上には、絞り121、シャッター122及び撮像手段123が配置されている。撮影光学系120は光学系駆動部124により駆動され、絞り121は絞り駆動部125により、シャッター122はシャッター駆動部126により、撮像手段123はCCD駆動回路127により、それぞれ駆動される。CCD駆動回路127は、通常読出し駆動&走査信号と、画素加算読出し駆動&走査信号と切り替える切替器128を有している。そして、前記光学系駆動部124はズーム制御/AF制御部102により制御され、絞り駆動部125とシャッター駆動部126とは、露出設定手段103からの信号に基づき動作し、CCD駆動回路127は、加算読出しモード制御部104により切替器128を制御される。
信号処理回路129は、撮像手段123からのアナログ信号を処理するとともにデジタル信号に変換する処理等を行う回路であり、CDS130、Amp131、ADC132、WB(ホワイトバランス)制御部133、画素補間処理手段134、輪郭強調処理部135、カラー補間部136、γ補正部137、カラーマトリックス138、及び前記画素補間処理手段134と輪郭強調処理部135とを切り替える切替器139を有している。そして、信号処理回路129は、その全体的な動作をCCD駆動回路127により制御され、Amp131は前記感度/利得制御手段105により制御され、切替器139は補間処理制御手段106により制御され、画素補間処理手段134は補間倍率設定手段107により設定される補間倍率に従って画素補間処理を実行する。また、この信号処理回路129からのデジタル画像データは、画像バッファメモリ140を介して、画像圧縮/符号化手段141に与えられ圧縮及び符号化された後、画像記録手段142に記録されるように構成されている。
図2は、デジタルカメラ1の具体的回路構成を示すブロック図である。図において、操作部23は、後述するフローチャートに示す各種モードを設定するための設定キーやレリーズ釦等のキー群等で構成され、これらキー群の操作情報は、入力回路24を介して、制御部25に入力される。制御部25は、CPU及びその周辺回路と、CPUの作業用メモリであるRAM等から構成されるマイクロコンピュータであり、各部を制御する。
この制御部25には、表示メモリ26、表示駆動ブロック27、画像バッファメモリ28、画像信号処理部29、圧縮符号化/伸長復号化部30、静止画/動画画像メモリ31、プログラムメモリ32、データメモリ33、メモリIF34、外部I/Oインターフェース35、通信制御ブロック36、電源制御ブロック37及び撮影制御部38が接続されている。表示メモリ26には、表示部14に表示される各種表示データが一時的に記憶される。表示駆動ブロック27は、前記表示部14を駆動し、画像バッファメモリ28は、画像データを処理する際等において一時的に格納する。
画像信号処理部29は、後述する撮像素子から制御部25が取り込んだ画像信号に対する各種処理を実行するDSPからなる。圧縮符号化/伸長復号化部30は、この画像信号処理部で処理された画像データを記録時には伸長処理し、記録した画像データを再生する際には伸長復号化する。静止画/動画画像メモリ31は、レリーズ釦の操作により撮像された画像データ(静止画像データ)を記録保存する。
プログラムメモリ32には、後述するフローチャートに示す制御部25の制御プログラムを格納しているとともに、AE、AF、AWB制御用のプログラムや、撮影時の適正な露出値(EV)に対応する絞り値(F)とシャッター速度との組み合わせを示すプログラム線図を構成するプログラムAEデータ、EV値表等が格納されている。データメモリ33は各種データが予め格納されているとともに画像データ以外の他のデータを格納する。メモリIF34は、着脱自在な外部メモリ媒体39に接続されている。外部I/Oインターフェース35は、USBコネクタ40に接続され、通信制御ブロック36は無線LAN等送受信部41を介してアンテナ42に接続され、電源制御ブロック37には、電池43が接続されている。電池43からの電力は電源制御ブロック37及び制御部25を介して各部に供給される。
前記撮影制御部38には、前記ストロボ6の照射角を駆動する照射各駆動部44、照射を駆動するストロボ照明駆動部45とが接続されているとともに、測光、測距センサ46の受光角を駆動する受光角駆動部47、測光、測距センサ46から色温度を検出して出力する色温度検出部48、測光データを検出して出力する測光部49及び測距データを検出して出力する測距部50が接続されている。さらに前記撮影制御部38には、垂直方向の角速度を検出する第1角速度センサ16と水平方向の角加速度を検出する第2角速度センサ17が各々角速度検出部51、52、積分器53、54を介して接続されている。
一方、ズームレンズユニット55には、前記回動式ミラー18、レンズ群19及びCCD等で構成される撮像素子20が配置されているとともに、この回動式ミラー18を回転駆動する駆動機構56、前記レンズ群19中に介挿された絞り57が設けられており、また、撮像素子20の前面にはシャッター58が配置されている。
また、前記撮影制御部38には、電動ミラーY方向駆動部59、電動ミラーX方向駆動部60、フォーカスレンズ駆動部61、ズームレンズ駆動部62、絞り駆動部63、シャッター駆動部64、映像信号処理部65及びタイミング制御&ドライバ66が接続されている。電動ミラーY方向駆動部59は、駆動機構56を駆動して回動式ミラー18を上下方向に回動させるものであり、電動ミラーX方向駆動部60は左右方向に回動させるものである。つまり、本実施の形態に係るデジタルカメラ1は、角速度検出部51、52及び積分器53、54を介して、第1及び第2の角速度センサ16、17から入力される垂直方向及び水平方向の角速度に基づき、回動式ミラー18を回動することにより、撮影光軸を一定に保持するように制御する光学式手ブレ補正機能を有している。
フォーカスレンズ駆動部61は、レンズ群19中のフォーカスレンズを駆動するものであり、ズームレンズ駆動部62は、ズーム操作キー9の操作に応じて被写体像を拡大または縮小すべくレンズ群19中のズームレンズを駆動するものである。また、絞り駆動部63は前記絞り57を駆動するものであり、シャッター駆動部64は前記シャッター58を駆動するものである。前記映像信号処理部65は、撮像素子20からのアナログ信号をデジタル信号に変換するA/D回路及びこのA/D回路からのデジタル撮像信号を保持するCDSと、CDSから撮像信号を供給されるアナログアンプであるゲイン調整アンプ(AGC)等からなる。
図3は、本実施の形態の処理手順を示すフローチャートである。制御部25はプログラムメモリ32に格納されているプログラムに基づき、このフローチャートに示すような処理を実行する。先ず、ユーザーによる操作部23での操作により、撮影モードが設定されているか否かを判断する(ステップS101)。撮影モードが設定されていない場合には、撮影設定モードが設定されたか否かを判断し(ステップS102)、撮影モードと撮影設定モードの何れも設定されていない場合には、その他のモード処理に移行する(ステップS103)。
また、撮影設定モードが設定された場合には、自動切換えの設定が選択されたか否かを判断する(ステップS104)。すなわち、図4に示すように、操作部23でMENUキー及びカーソルキー(△▽)を操作して「撮影設定」モードを選択すると(ステップS102;YES)、表示部14に同図(a−1)に示すような撮影設定メニュー画面を表示する。このメニュー画面において、「ブレ軽減撮影」を選択すると、前記自動切換えの設定が選択されたことになり、前記ステップS104がYESとなって、同図(a−2)に示すブレ軽減撮影の設定メニューに移行する。
そして、自動切換えの設定が選択された場合には、ユーザーによる操作部23での操作に応じ、オート撮影モードにおいて、ブレ軽減撮影に自動切り換えするか否か(ON/OFF)の設定を行う(ステップS105)。つまり、図4(a−1)のブレ軽減撮影の背手値メニューには、「ON」「OFF」が他の選択肢とともに表示されている。そして、この選択肢の中から「ON」が選択されれば自動切り換えONが設定され、「OFF」が選択されれば自動切り換えOFFが設定される。
また、ステップS104で自動切換えの設定が選択されていないと判断された場合には、切換え条件の設定が選択されたか否かを判断する(ステップS106)。切換え条件の設定が選択された場合には、ユーザーの操作に応じて、ブレ軽減撮影に自動切換えする撮影条件等を選択して設定する(ステップS107)。
すなわち、ステップS104で自動切換えの設定が選択されていないと判断された場合には、図4(b−1)に示す撮影設定メニューが表示部14に表示されている。このメニュー画面から「ブレ軽減撮影のカスタム設定」を選択すると、切換え条件の設定が選択されことになり、ステップS106がYESとなって、同図(b−2)のブレ軽減撮影のカスタム設定メニューの表示に移行する。このメニュー画面において、「画素加算切替条件の設定」を選択すると、同図(b−3)のブレ軽減撮影への切り換え条件の設定メニュー画面に遷移する。
このブレ軽減撮影への切り換え条件の設定メニュー画面は、「撮影シーンに応じて」「露出時間時応じて」「被写体の輝度に応じて」「被写体の速度に応じて」「焦点距離に応じて」「マクロ撮影の場合」等の選択肢で構成されている。そして、この選択肢からいずれかを選択すると、例えば「撮影シーンに応じて」を選択すると、同図(b−4)の撮影シーンに応じた切り替え設定画面に遷移する。この状態で、「OFF」「オート」・・・等の撮影条件に応じた切り換え条件を選択することにより、前記ステップS107の処理が実行されて、ブレ軽減撮影に自動切換えする撮影条件等を選択して設定されることとなる。
なお、ステップS106で切換え条件の設定が選択されていないと判断された場合には、その他の設定処理を実行する(ステップS108)。
一方、撮影モードが設定されている場合には、ユーザーによる操作部23での操作により入力された撮影条件、オート撮影モード、マニュアル撮影モード、各撮影モードにおけるシャッター速度等の各種撮影条件、後述するブレ軽減撮影又は増感撮影モード等の撮影条件を設定するとともに、ユーザーによる操作部23での操作に基づく用紙サイズ又は画像サイズを選択する(ステップS109)。また、ズーム処理、AF処理を実行し(ステップS110)、被写体像のスルー画像を表示部14に表示させる(ステップS111)。したがって、ユーザーはこの表示部14に表示されたスルー画像を見ながら、このデジタルカメラ1の向きを調整する等してシャッターチャンスを伺う。
一方、制御部25は、レリーズ釦が押されて撮影指示がなされたか否かを判断し(ステップS112)、押されない場合には、ユーザーにより操作部23で操作されたキーに応じたその他のキー処理を実行する(ステップS113)。そして、レリーズ釦が押されて撮影指示があると、測光処理、WB処理を行って(ステップS114)、これにより得られた測光値と前記ステップS109で設定された撮影条件とに応じて、露出条件を設定する(ステップS115)。
次に、オート撮影モードが設定されているか否かを判断し(ステップS116)、設定されている場合には自動切り換えONか否かを判断する(ステップS117)。すなわち、前記ステップS105での処理により、「オート撮影モードでブレ軽減撮影に自動切換えする」が「ON」となっているか否かを判断する。そして、「OFF」となっている場合には、ステップS118の処理を実行することなくステップS119に進む。「ON」となっている場合には、設定された所定の撮影条件か否かを判断する(ステップS118)。つまり、前記ステップS107でユーザーにより設定されたブレ軽減撮影に自動切換えする撮影条件であるか否かを判断する。
そして、ユーザーにより設定されたブレ軽減撮影に自動切換えする撮影条件でない場合には、撮像素子20の全画素の撮像信号電荷を順に読み出す通常読み出しモードで撮像素子20を駆動する(ステップS119)。これと同時に、撮影条件に応じて露出/撮影動作を開始し(ステップS120)、このステップS120での処理により、シャッター58が開いて撮像素子20が露出状態となる。引き続き、シャッター速度に応じた露出時間が終了したか否かを判断し(ステップS121)、露出時間が終了となった時点で露出/撮影動作を停止させてシャッター58を閉じる(ステップS122)。しかる後に、この撮影により取得した取得画像サイズが前記ステップS109で選択された画像サイズよりも大きいか否かを判断する(ステップS123)。「取得画像サイズ>設定画像サイズ」であって、取得画像サイズが設定画像サイズよりも大きい場合には、間引きあるいはリサイズ圧縮処理を実行する(ステップS124)。
一方、前記ステップS116での判断の結果、オート撮影モードが設定されておらずマニュアル撮影モード等の他の撮影モードが設定されている場合には、ステップS116からステップS125に進む。そして、前記ステップS109での処理により、ブレ軽減撮影又は増感撮影モードが設定されているか否かを判断し(ステップS125)、ブレ軽減撮影又は増感撮影モードが設定されてない場合には、その他の撮影モード処理に移行する(ステップS126)。
ブレ軽減撮影又は増感撮影モードが設定されている場合(ステップS125;YES)、及び前記ステップS118がYESであって、前記ステップS107でユーザーにより設定されたブレ軽減撮影に自動切換えする撮影条件である場合には、前記ステップS114の測光処理で得られている測光値と、ステップS109で設定された撮影条件とに応じて、撮像素子20の画素加算倍率を算出するとともに、露出時間を再設定する(ステップS127)。
次に、撮像素子20の垂直方向及び水平方向の同色同士の画素の撮像信号電荷を加算して読み出す垂直&水平加算読み出しモードに切り替えて、撮像素子20を駆動する(ステップS129)。これと同時に、撮影条件に応じて露出/撮影動作を開始し(ステップS129)、このステップS129での処理により、シャッター58が開いて撮像素子20が露出状態となる。引き続き、シャッター速度に応じた露出時間が終了したか否かを判断し(ステップS130)、露出時間が終了となるまで、露出/撮影動作(ステップS129)を継続する。
ここで、垂直&水平加算読み出しモードにおいて露出/撮影動作が行われることにより、撮像素子20において、同じ列の互いに離れた同色の画素の信号電荷を垂直転送CCDから水平転送CCDに移すときに混合加算するとともに、同じ行の互いに離れた同色フィルターの画素の信号電荷を水平転送CCD内で加算して読み出す。したがって、複数行分の信号を一度に出力できるのでフレームレート速度を速くでき、垂直&水平の加算数に応じて高速フレームレートで高解像度の動画撮影を行い得る。これを静止画撮影に応用すると、垂直2画素及び水平2画素の4画素加算読み出しにより、画素数は垂直1/2×水平1/2=1/4の画素となるが、必要な露光量も約1/4で適正露出に相当する撮影画像を得ることができるので、約4倍に増感して撮影できることになる。すなわち、同一条件の被写体で適正露出を得るに必要な露出時間を略1/4に短縮できるので、手ブレや被写体ブレによる像ブレの発生を軽減して撮影することができる。
そして、ステップS130の判断がYESとなり、露出時間が終了となった時点で露出/撮影動作を停止させてシャッター58を閉じる(ステップS131)。しかる後に、この撮影により取得した取得画像サイズが前記ステップS109で選択された画像サイズよりも小さいか否かを判断する(ステップS132)。そして、「取得画像サイズ<設定画像サイズ」であって、取得画像サイズが設定画像サイズよりも小さい場合には、画素補間処理を実行し(ステップS133)、そうでない場合には前記ステップS123に進む。
そして、このステップS133、ステップS123又はステップS124のいずれかに続くステップS134では、撮影画像を圧縮、符号化し、この圧縮、符号化した撮影画像を外部メモリ媒体39に記録する(ステップS135)。さらに、撮影画像を表示部14にレビュー表示する(ステップS136)。
したがって、ブレ軽減撮影又は増感撮影モードが設定されている場合は無論のこと、オート撮影モードが設定されている場合にも、手ブレや被写体ブレによる像ブレが生じやすい所定の撮影条件の場合には、画素加算読み出し処理によるブレ軽減の為の増感撮影モードに切り替えて撮影し、垂直加算数×水平加算数に応じて、増感効果により必要な露出時間を短くできるので、手ブレによる像ブレだけでなく、被写体の動きによる像ブレ(動体ブレ)を軽減して撮影できるので、子供やペットの撮影、スポーツシーンの撮影など、被写体ブレが生じやすい撮影に有効となる。
図5は、前記ステップS119で実行される通常読み出しモードと、ステップS128で実行される垂直&水平加算読み出しモードの動作例を示す図である。同図において(a)は、前記通常読み出しモードとして実行される全画素読み出しモードであって、数分の1秒と低速だが、全画素を高解像度で読み出す。(b)フレーム読み出しモード、(c)高速ドラフトモード、(d)4/16ライン読み出し&垂直画素加算モード、(e)4/18ライン読み出し&水平画素加算モードは、ステップS128で実行される垂直&水平加算読み出しモードの動作例であり、(c)高速ドラフトモードは、8ライン中の2ラインのみ読み出し、1/30など高速で全エリアを走査する。
垂直方向の画素加算読み出し動作については、例えば特開平9−55952号公報に記載されているような垂直2画素周期の繰り返し配置の色フィルタを有し、垂直加算読み出しを可能とした固体撮像装置における垂直方向の画素加算読み出しによって、垂直方向に2画素離れた同色の信号電荷を垂直転送レジスタ内で加算した信号を得ることができる。同様に、水平方向の画素加算読み出しについても、特開平11−234569号公報、特開平11−234688号公報、特開2000−115643号公報等に記載された撮像装置における水平読み出し動作と同様に、水平方向の同一行の互いに異なる列の同色フィルタの画素同士を水平転送CCD上で加算して読み出すことで行える。垂直方向と水平方向の画素加算を組み合わせて、例えば、垂直2画素加算×水平2画素加算=4画素加算読み出し、垂直3画素加算×水平3画素加算=9画素加算読み出し、・・・など加算数を変えて行うこともできる。
次に、水平方向の画素加算読み出し動作について、特開2000−115643号公報に記載された固体撮像素子を例に、以下に概略を説明する。図6(a)に、通常読み出しモードでの駆動信号のタイムチャートを、同図(b)に水平加算読み出しモードでの駆動信号のタイムチャートを、図7に水平画素加算読み出し時の信号電荷の状態の動作例を、それぞれ示す。この固体撮像素子では、垂直レジスタと水平レジスタとの間の転送ゲート部を有し、この転送ゲート部において、第1相及び第2相の転送電荷が、垂直レジスタの一定の列毎に互い違いに配置され、垂直レジスタの転送電極及び転送ゲート部の転送電極が2層構造で形成され、垂直レジスタの一定の列単位毎に別々に信号電荷を水平レジスタへ転送することができるので、この間水平レジスタ動作させて別々に転送した信号電荷を水平レジスタ内で混合することができる。
また、垂直レジスタ内での転送数が垂直レジスタ列に関して周期的に異なるように電荷転送を行い、同一行の互いに離れた同色の画素の信号電荷を順番に垂直レジスタから水平レジスタへ転送し、先に水平レジスタへ転送した画素の信号電荷を水平レジスタ内で転送した後、後から水平レジスタへ転送した同色の画素の信号電荷と加算する。同じ行の互いに離れた同色の画素の信号電荷を水平レジスタ内で加算できる。
通常読み出し動作では、垂直CCDレジスタの入力端子tV1〜tV4には、図6(a)に示すような4相駆動パルスφV1〜φV4を印加し、入力端子tV′1〜tV′4には、別の4相駆動パルスφV′1〜φV′4を印加する。駆動パルスφV′1〜φV′4を印加する電極群は、駆動パルスφV1〜φV4を印加する電極群に比べ2倍の回数の転送を行う。
したがって、駆動パルスφV1〜φV4を印加する電極群から駆動パルスφV′1〜φV′4を印加する電極群への信号電荷が順次送られるのに対し、駆動パルスφV′1〜φV′4を印加する電極群では信号電荷のパケットと空パケットが存在するように信号電荷が水平CCDレジスタ方向に転送されることとなる。
今、第2の転送期間T3を経て駆動パルスφV1〜φV4を印加する電極群から駆動パルスφV′1〜φV′4を印加する電極群へj行目の電荷が転送されたとする。一方、駆動パルスφV1〜φV4を印加する電極群は、第2の転送期間T3の他に第1の転送期間T2があるため、水平CCDレジスタ[1]、[2]と垂直CCDレジスタ[3]、[4]のパケット数の違いは吸収され、水平走査期間T1に蓄積されたj行目の信号電荷を水平CCDレジスタに転送することができる。
すなわち、水平ブランキング期間HBLKの第1転送期間T2において、垂直CCDレジスタ[1]、[2]におけるj番目の信号電荷が水平CCDレジスタに転送され、垂直CCDレジスタ[3]、[4]におけるj行目の信号電荷が水平CCDレジスタの最終段へと1パケット分垂直転送される。次いで、第2の転送期間T3において、垂直CCDレジスタ[3]、[4]のJ番目の信号電荷が水平CCDレジスタへ転送されるとともに、垂直CCDレジスタ[1]、[2]、[3]、[4]のj−1行目の信号電荷が垂直CCDレジスタへ転送されることとなる。したがって、通常読み出し動作では、1行目の信号電荷が順次出力されることとなる。
水平画素加算動作では、垂直CCDレジスタの入力端子tV1〜tV4に、図6(b)に示すような4相駆動パルスφV1〜φV4を印加し、入力端子tV′1〜tV′4に、4相駆動パルスφV′1〜φV′4を印加する。また、垂直CCDレジスタには、2相駆動パルスφH1及びφH2を印加する。
図7の信号電荷の状態と図6(b)の駆動パルスとを対応して説明すると、
1)先ず、図6(b)の水平走査期間T1の終了時が図7(A)に相当する。
2)次に、図7(B)に示すように、水平ブランキング期間HBLKのうちの第1の期間T2において、垂直CCDレジスタ[1]、[2]の信号電荷が水平CCDレジスタへ転送されるとともに、垂直CCDレジスタ[3]、[4]の信号電荷が垂直CCDレジスタへの最終段へ垂直転送される。
3)次に、図7(C)に示すように、第2の期間T2において、水平CCDレジスタで2パケット分の転送が行われ、同一行の2画素列方向に離れた信号電荷同士が同一列に移動される。
4)次に、図7(D)に示すように、第3の期間T4において、垂直転送により垂直CCDレジスタ[3]、[4]の最終段の信号電荷が水平CCDレジスタへ転送され、先に水平CCDレジスタに転送された垂直CCDレジスタ[1]、[2]の信号に加算される。すなわち、水平CCDレジスタ内で同一行の2画素だけ列方向に離れた信号電荷同士が加算される。同時に、水平CCDレジスタの空パケットに垂直CCDレジスタ[1]、[2]から次の行の信号電荷が転送される。
5)さらに、図7(E)に示すように、第4の期間T5において、水平CCDレジスタ内で2パケット分の転送が行われ、前記次の行の2画素列方向に離れた信号電荷同士が同一列に移動される。
6)次いで、図7(F)に示すように、第5の期間T6において、垂直転送により垂直CCDレジスタ[1]、[2]の信号電荷に加算される。
すなわち、水平CCDレジスタ内で前記次の行の2画素だけ列方向に離れた信号電荷同士が加算される。この結果、水平CCDレジスタに水平方向に2画素加算された信号電荷が2行分、蓄積されることとなる。したがって、水平走査期間T1において、水平CCDレジスタを2相駆動し、水平走査を1回行うことで、2桁分の信号がCCD固体撮像素子の出力端より出力される。このような、カラーCCD固体撮像素子に水平2画素周期の色フィルタを用いるときは、各々の行の画素の偶数列同士、奇数列同士が同一色になるので、混合しても混色が発生しない。また、水平方向に2画素離れた信号電荷同士を加算混合することで、水平方向のデータレートを1/2に削減できる。これにより高速に動作を行うことができる。また、画像領域の画素全体の信号に対し混合を行うため、水平方向のデータ数を1/2にしても画角は変わらない。
以上、水平方向N2画素加算について説明したが、水平2画素以上の加算についても可能である。また、前述の垂直方向の画素加算読み出し動作と組み合わせることにより、垂直2画素×水平2画素加算=4画素加算読み出しなど、垂直方向と水平方向の加算数をともに切り替えて各種加算倍率の読み出し走査が行える。勿論、前記特開2000−115643号公報記載の固体撮像素子とは、転送路や転送ゲート電極の構成などが異なる構成の撮像素子を用いて、垂直&水平画素加算読み出しができるようにしても構わない。
(第2の実施の形態)
図8は、本発明の第2の実施の形態における処理手順を示すフローチャートである。先ず、ユーザーによる操作部23での操作により、オート撮影モード又はブレ軽減撮影モードが設定されているか否かを判断する(ステップS201)。オート撮影モード又はブレ軽減撮影モードが設定されていない場合には、その他の撮影モード処理に移行する(ステップS202)。
また、オート撮影モード又はブレ軽減撮影モードが設定されている場合には、シャッター速度等の撮影条件を設定するとともに、ユーザーによる操作部23での操作に応じて、用紙サイズ又は画像サイズを選択する(ステップS203)。また、ズーム処理、AF処理を実行し、レンズ焦点距離情報(f)を読み込み(ステップS204)、被写体像のスルー画像を表示部14に表示させる(ステップS205)。したがって、ユーザはこの表示部14に表示されたスルー画像を見ながら、このデジタルカメラ1の向きを調整する等してシャッターチャンスを伺う。
一方、制御部25は、レリーズ釦が押されて撮影指示がなされたか否かを判断し(ステップS206)、押されない場合には、ユーザーにより操作部23で操作されたキーに応じたその他のキー処理を実行する(ステップS207)。そして、レリーズ釦が押されて撮影指示があると、測光処理、WB処理を行って(ステップS208)、これにより得られた測光値と前記ステップS203で設定された撮影条件とに応じて、露出条件を設定する(ステップS209)。
次に、
(1)前記ステップS204で読み込んだ焦点距離(f)が所定以上であるか否か(ステップS210)
(2)マクロ撮影であるか否か(ステップS211)
(3)前記ステップS208で得られた測光値が所定値未満であるか否か(ステップS212)
(4)測光値が所定値未満である場合においてストロボ強制OFFとなっているか否か(ステップS213)
(5)前記ステップS214で設定した設定露出時間が所定時間を超えるか否か(ステップS214)
(6)前記ステップS208でのWB処理によるWB設定が電球又は蛍光灯(屋内証明)であるか否か(ステップS215)
を判断する。
そして、これら(1)〜(6)判断がすべてNOであった場合には、撮像素子20の全画素の撮像信号電荷を順に読み出す通常読み出しモードで撮像素子20を駆動する(ステップS216)。これと同時に、撮影条件に応じて露出/撮影動作を開始し(ステップS217)、このステップS217での処理により、シャッター58が開いて撮像素子20が露出状態となる。引き続き、シャッター速度に応じた露出時間が終了したか否かを判断し(ステップS218)、露出時間が終了となった時点で露出/撮影動作を停止させてシャッター58を閉じる(ステップS219)。しかる後に、この撮影により取得した取得画像サイズが前記ステップS203で選択された画像サイズよりも大きいか否かを判断する(ステップS220)。そして、「取得画像サイズ>設定画像サイズ」であって、取得画像サイズが設定画像サイズよりも大きい場合には、間引きあるいはリサイズ圧縮処理を実行する(ステップS221)。
一方、(1)〜(6)判断の少なくとも一つがYESであった場合には、前記ステップS208の測光処理で得られている測光値と、前記ステップS203で設定された撮影条件とに応じて、撮像素子20の画素加算倍率を算出するとともに、露出時間を再設定する(ステップS222)。
次に、撮像素子20の垂直方向及び水平方向の同色同士の画素の撮像信号電荷を加算して読み出す垂直&水平加算読み出しモードに切り替えて、撮像素子20を駆動する(ステップS223)。これと同時に、撮影条件に応じて露出/撮影動作を開始し(ステップS224)、このステップS224での処理により、シャッター58が開いて撮像素子20が露出状態となる。引き続き、シャッター速度に応じた露出時間が終了したか否かを判断し(ステップS225)、露出時間が終了となるまで、露出/撮影動作(ステップS224)を継続する。
そして、ステップS225の判断がYESとなり、露出時間が終了となった時点で露出/撮影動作を停止させてシャッター58を閉じる(ステップS226)。しかる後に、この撮影により取得した取得画像サイズが前記ステップS203で選択された画像サイズよりも小さいか否かを判断する(ステップS227)。そして、「取得画像サイズ<設定画像サイズ」であって、取得画像サイズが設定画像サイズよりも小さい場合には、画素補間処理を実行し(ステップS228)、そうでない場合には前記ステップS220に進む。
そして、このステップS228、ステップS220又はステップS221のいずれかに続くステップS229では、撮影画像を圧縮、符号化し、この圧縮、符号化した撮影画像を外部メモリ媒体39に記録する(ステップS230)。さらに、撮影画像をレビュー表示する(ステップS231)。
したがって、本実施の形態においては、(1)〜(6)判断の少なくとも一つがYESであった場合である手ブレが生じやすい撮影条件の場合に、自動的にブレ軽減の為の増感モードに切り替えて、画素加算読み出しによる増感処理によって、実効的な露出時間を短くすることができるので、手ブレによる像ブレを軽減して撮影することができる。また、ノイズが少なく、所望の画像サイズより小さくなる場合にのみ画素補間処理を行うことから、所望の画像サイズも確実に得られる。
なお、本実施の形態においては、所定の撮影条件として、前記(1)〜(6)を判断すし、少なくとも一つがYESであった場合、画素加算読み出しを行うようにしたが、下記に示す(a)(b)(c)の条件であってもよい。
(a)撮像レンズの焦点距離が所定値より長い焦点距離の場合、又は、
(b)マクロ(近接撮影)モードの場合、又は、
(c)手ブレ量又は像ブレ量を検出し、検出された手ブレ量又は像ブレ量が、所定の手ブレ量又は像ブレ量より大きくなると判断される場合。
あるいは、「オート撮影モード」又は「ブレ軽減撮影モード」のような撮影モードにおいて、被写体の状態が所定条件の場合には、「画素加算読み出しによる撮影モード」に自動的に切り替え、かつ、露出時間を加算数に応じて再設定して撮影するとともに、記録画像サイズが設定画像サイズよりも小さくなる場合には、撮影画像データに画素補間処理を行ってから記録するように生後する。
所定の被写体とは、例えば
(d)測光センサや撮像信号から検出される露光値や被写体輝度が所定の値より低く、かつ、ストロボ発光が強制OFFにされている場合、又は、
(e)測光値に基づき自動露出設定された露出時間(シャッター速度)、又はマニュアル露出設定による露出時間(シャッター速度)が、所定の露出時間より長い(遅い)場合、又は、
(f)被写体の移動速度あるいは被写体移動に伴う被写体像の緯度右側を検出若しくは入力し、設定された露出時間における被写体移動による像移動量が所定値又は許容錯乱円径より大きくなると判断された場合、又は、
(g)ホワイトバランスの設定状態、若しくは、色温度検出による自動ホワイトバランス制御の検出状態により、蛍光灯やタングステン電球による証明やそれら相当の色温度に設定されている場合など、暗い室内や電灯照明下の被写体と判断された場合、
などである。
以上のような被写体の状態や撮影条件では、暗い被写体若しくは被写体の輝度が低くて、適正露出条件における露出時間(シャッター速度)が長く(遅く)なりやすいので、手ブレとともに被写体ブレも生じやすい。あるいは、露出時間に対して被写体の移動速度が速いため、被写体ブレが生じやすい。このような被写体の動きによる像ブレ(動体ブレ)が生じやすい撮影条件の場合にも、自動的にブレ軽減の為の増感撮影モードに切り替えて、画素加算読み出しによる増感処理によって、撮影感度を増感するとともに、手ブレだけでなく被写体ブレ(動体ブレ)による像ブレをも軽減して撮影することができる。
(第3の実施の形態)
図9及び図10は、本発明の第3の実施の形態を示すものである。この実施の形態は、撮影シーン別のプログラム撮影モード、若しくは撮影シーンや撮影方法を説明文と代表例のサンプル画像とを付して表示したメニューから選択できるようにしたモード(BS(ベストショット)モード)において、設定された撮影シーンに応じて、手ブレや被写体ブレが生じやすいと判断されるような所定の撮影シーンが設定されている場合には、画素加算読み出しによるブレ軽減撮影/増感撮影に自動的に切り替えるように制御するものである。
すなわち、図9のフローチャートに示すように、ユーザーによる操作部23での操作により、オート撮影モード又は撮影シーン別プログラムモードが設定されているか否かを判断する(ステップS301)。オート撮影モード又は撮影シーン別プログラムモードが設定されていない場合には、その他の撮影モード処理に移行する(ステップS302)。
また、オート撮影モード又は撮影シーン別プログラムモードが設定されている場合には、シャッター速度等の撮影条件を設定するとともに、ユーザーによる操作部23での操作に応じて、撮影シーンを設定し、用紙サイズ又は画像サイズを選択する(ステップS303)。つまり、図10(A)〜(F)に示すように、表示部14にユーザーによる操作部23での操作に応じて、撮影シーンとその説明文代表例のサンプル画像を切替表示し、いずれかの撮影シーンが選択されたならば、これを設定する。
なお、図10(A)〜(F)に好適な撮影シーン別プログラムは、予めプログラムメモリ32に格納されている。また、(A)は子供の撮影、(B)はペットの撮影、(C)はキャンドルライト(屋内)での撮影、(D)はパーティ(屋内)での撮影、(E)はスポーツの撮影、(F)は花などの近接撮影に各々好適な撮影シーン別プログラムに対応する。
次に、ズーム処理、AF処理を実行し(ステップS304)、被写体像のスルー画像を表示部14に表示させる(ステップS305)。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し(ステップS306)、押されない場合には、ユーザーにより操作部23で操作されたキーに応じたその他のキー処理を実行する(ステップS307)。そして、レリーズ釦が押されて撮影指示があると、測光処理、WB処理を行って(ステップS308)、これにより得られた測光値と前記ステップS303で設定された撮影条件とに応じて、露出条件を設定する(ステップS309)。
次に、前記ステップS303で設定された撮影シーン(BSモードが)が、
(1)子供、ペットの撮影シーン(ステップS310)
(2)キャンドルライト(屋内)の撮影シーン(ステップS311)
(3)パーティ(屋内)の撮影シーン(ステップS312)
(4)スポーツの撮影シーン(ステップS313)
(5)花などの近接撮影(ステップS314)
であるか否かを判断する。
そして、これら(1)〜(5)判断がすべてNOであった場合には、つまり、設定されたシーンが「子供、ペットの撮影シーン」「キャンドルライト(屋内)の撮影シーン」「」パーティ(屋内)の撮影シーン」「スポーツの撮影シーン」「花などの近接撮影」のいずれでもなく、他のシーンである場合には、撮像素子20の全画素の撮像信号電荷を順に読み出す通常読み出しモードで撮像素子20を駆動する(ステップS315)。これと同時に、設定されたシーンと、撮影条件に応じて露出/撮影動作を開始し(ステップS316)、このステップS316での処理により、シャッター58が開いて撮像素子20が露出状態となる。引き続き、シャッター速度に応じた露出時間が終了したか否かを判断し(ステップS317)、露出時間が終了となった時点で露出/撮影動作を停止させてシャッター58を閉じる(ステップS318)。しかる後に、この撮影により取得した取得画像サイズが前記ステップS303で選択された画像サイズよりも大きいか否かを判断する(ステップS319)。そして、「取得画像サイズ>設定画像サイズ」であって、取得画像サイズが設定画像サイズよりも大きい場合には、間引きあるいはリサイズ圧縮処理を実行する(ステップS320)。
一方、(1)〜(5)判断のいずれかがYESであった場合には、前記ステップS308の測光処理で得られている測光値と、前記ステップS303で設定された撮影条件、及び撮影シーンに応じて、撮像素子20の画素加算倍率を算出するとともに、露出時間を再設定する(ステップS321)。
次に、撮像素子20の垂直方向及び水平方向の同色同士の画素の撮像信号電荷を加算して読み出す垂直&水平加算読み出しモードに切り替えて、撮像素子20を駆動する(ステップS322)。これと同時に、設定された撮影シーンと、設定撮影条件に応じて露出/撮影動作を開始し(ステップS323)、このステップS323での処理により、シャッター58が開いて撮像素子20が露出状態となる。引き続き、シャッター速度に応じた露出時間が終了したか否かを判断し(ステップS324)、露出時間が終了となるまで、露出/撮影動作(ステップS323)を継続する。
そして、ステップS324の判断がYESとなり、露出時間が終了となった時点で露出/撮影動作を停止させてシャッター58を閉じる(ステップS325)。しかる後に、この撮影により取得した取得画像サイズが前記ステップS303で選択された画像サイズよりも小さいか否かを判断する(ステップS326)。「取得画像サイズ<設定画像サイズ」であって、取得画像サイズが設定画像サイズよりも小さい場合には、画素補間処理を実行し(ステップS327)、そうでない場合には前記ステップS319に進む。
そして、このステップS327、ステップS319又はステップS320のいずれかに続くステップS328では、撮影画像を圧縮、符号化し、この圧縮、符号化した撮影画像を外部メモリ媒体39に記録する(ステップS329)。さらに、撮影画像をレビュー表示する(ステップS330)。
したがって、本実施の形態によれば、被写体が暗かったり、露出時間が長くなったり、手ブレや動体ブレが生じやすいような撮影シーンや増感処理が必要な撮影シーンの場合には、自動的に画素加算読み出しによるブレ軽減撮影若しくは増感撮影に切り替えて撮影するように制御するので、前述した第1の実施の形態のように、設定モード等D細かく設定したりする必要がなく、ユーザー所望の撮影シーンやユーザーが選択した被写体のシーンに応じて、必要な場合には自動的に、手ブレや同他ブレによる像ブレを軽減したり増感撮影することができる。ユーザーは、撮影シーンを選択するだけで、容易に、また必要な場合にのみ自動的に像ブレを軽減したり増感撮影することができる。
なお、本実施の形態においては、加算読み出しモードで撮像素子を駆動するシーンとして、図10(A)〜(F)を示したが、これに限ることなく、夜景の撮影シーン(暗い被写体だが、遠景なのでストロボ消灯で撮影したいシーン)、夜景の人物と背景の撮影シーン(近景も、ストロボの届かない遠景も、一緒に撮影したい)、花火の撮影シーン(増感したいが、ノイズ発生を押さえたい撮影シーン)など、暗い被写体で露出時間が長くなるので、三脚などで固定して撮影するのが基本だが、撮影感度を上げると増大するノイズの発生も押さえて撮影したいシーンなどでも、(ISO相当感度など)撮影感度をそれほど上げずに、画素加算読み出しにより増感撮影に自動的に切り替えて撮影するようにしてもよい。また、ブレ軽減撮影専用や高感度撮影専用の撮影シーンプログラムを設けるようにしてもよい。
また、前記各撮影シーンにおいては、設定された撮影シーン毎の撮影制御プログラムに応じて、露出プログラムの選択や、測光方法、焦点制御方法、ストロボの点灯/消灯/オートなど、その他の撮影条件の設定や、輪郭強調処理やカラーフィルタ処理等を自動的に設定したり、ISO相当感度など撮影感度アップによる増感撮影と組み合わせたりして、画素加算読み出しによるブレ軽減撮影/増感撮影を行ってもよい。また、設定された撮影シーンに応じて、画素加算読み出しによる撮影の加算数(加算倍率)やその限度範囲、若しくは、画素補間処理の倍率や限度範囲などを自動的に切り替えるのが好ましい。また、撮影シーンに応じて、撮影感度アップと画素加算読み出しによる増感処理との配分比率を切り替えるようにしてもよい。撮影シーンの設定は、ユーザーがモードスイッチやメニュー操作で選択したシーンでも、あるいは、カメラの制御回路においTげ、撮影条件や被写体輝度や色調の分布や、被写体距離、構図配置などからシーン判別する撮影プログラム等により設定されたシーンであっても構わない。
(第4の実施の形態)
図11〜図13は、本発明の第4の実施の形態を示すものである。この実施の形態は、設定された所望の印刷用紙の種別又は印刷用紙サイズ(寸法)、若しくは、設定された画像サイズ(縦×横の画素数)に相応する印刷用紙サイズ(寸法)に応じて、所定のブレ量又は像ブレ量など、許容できるブレ量を設定し、検出されたブレ量又は像ブレ量が、所定のブレ量又は像ブレ量より大きい場合には、自動的に画素加算読み出しモードに切り替えて撮像素子を駆動し、画素加算読み出しによるブレ軽減のための増感撮影処理を行い、設定された露出時間を画素加算数に応じて短縮された露出時間に設定して撮影するように制御する。また、撮影画像の画像サイズが設定された画像サイズよりも小さくなる場合には、撮影画像データに画素補間処理を行ってから記録できるように制御するものである。
先ず、図11のフローチャートに示すように、ユーザーによる操作部23での操作により、オート撮影モード又はブレ軽減撮影モードが設定されているか否かを判断する(ステップS401)。オート撮影モード又はブレ軽減撮影モードが設定されていない場合には、その他の撮影モード処理に移行する(ステップS402)。また、オート撮影モード又はブレ軽減撮影モードが設定されている場合には、シャッター速度等の撮影条件を設定するとともに、ユーザーによる操作部23での操作に応じて、用紙サイズ又は画像サイズを選択する(ステップS403)。
次に、ズーム処理、AF処理を実行し(ステップS404)、被写体像のスルー画像を表示部14に表示させる(ステップS405)。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し(ステップS406)、押されない場合には、ユーザーにより操作部23で操作されたキーに応じたその他のキー処理を実行する(ステップS407)。そして、レリーズ釦が押されて撮影指示があると、測光処理、WB処理を行って(ステップS408)、これにより得られた測光値と前記ステップS403で設定された撮影条件とに応じて、露出条件を設定する(ステップS409)。
さらに、前記選択された印刷用紙又は画像サイズと、前記ステップS409で得られた露出時間に応じて、許容ブレ量、許容ブレ速度等を算出し(ステップS410)、かつ、当該デジタルカメラ1におけるブレ量若しくは像ブレ量を検出する(ステップS411)。次に、これらステップS410で算出された許容ブレ量、許容ブレ速度等と、ステップS411で検出されたブレ量若しくは像ブレ量に基づき、
(1)設定露出時間における像ブレ量>所定の像ブレ量(ステップS412)
(2)像移動速度>所定の移動速度(ステップS413)
(3)ブレ量(角度)>所定のブレ量(ステップS414)
(4)ブレ角速度>所定のブレ角度(ステップS415)
であるか否かを判断する。
そして、これら(1)〜(4)判断がすべてNOであった場合には、つまり設定露出時間における像ブレ量、像移動速度、ブレ量(角度)、ブレ角速度が全て許容値以下である場合には、撮像素子20の全画素の撮像信号電荷を順に読み出す通常読み出しモードで撮像素子20を駆動する(ステップS416)。これと同時に、設定されたシーンと、撮影条件に応じて露出/撮影動作を開始し(ステップS417)、このステップS417での処理により、シャッター58が開いて撮像素子20が露出状態となる。引き続き、シャッター速度に応じた露出時間が終了したか否かを判断し(ステップS418)、露出時間が終了となった時点で露出/撮影動作を停止させてシャッター58を閉じる(ステップS419)。しかる後に、この撮影により取得した取得画像サイズが前記ステップS403で選択された画像サイズよりも大きいか否かを判断する(ステップS420)。そして、「取得画像サイズ>設定画像サイズ」であって、取得画像サイズが設定画像サイズよりも大きい場合には、間引きあるいはリサイズ圧縮処理を実行する(ステップS421)。
一方、(1)〜(4)判断のいずれかがYESであった場合には、前記ステップS408の測光処理で得られている測光値と、前記ステップS403で設定された撮影条件に応じて、撮像素子20の画素加算倍率を算出するとともに、露出時間を再設定する(ステップS422)。
次に、撮像素子20の垂直方向及び水平方向の同色同士の画素の撮像信号電荷を加算して読み出す垂直&水平加算読み出しモードに切り替えて、撮像素子20を駆動する(ステップS423)。これと同時に、設定された撮影シーンと、設定撮影条件に応じて露出/撮影動作を開始し(ステップS424)、このステップS424での処理により、シャッター58が開いて撮像素子20が露出状態となる。引き続き、シャッター速度に応じた露出時間が終了したか否かを判断し(ステップS425)、露出時間が終了となるまで、露出/撮影動作(ステップS424)を継続する。
そして、ステップS425の判断がYESとなり、露出時間が終了となった時点で露出/撮影動作を停止させてシャッター58を閉じる(ステップS426)。しかる後に、この撮影により取得した取得画像サイズが前記ステップS403で選択された画像サイズよりも小さいか否かを判断する(ステップS427)。「取得画像サイズ<設定画像サイズ」であって、取得画像サイズが設定画像サイズよりも小さい場合には、画素補間処理を実行し(ステップS427)、そうでない場合には前記ステップS420に進む。
そして、このステップS428、ステップS420又はステップS421のいずれかに続くステップS429では、撮影画像を圧縮、符号化し、この圧縮、符号化した撮影画像を外部メモリ媒体39に記録する(ステップS430)。さらに、撮影画像をレビュー表示する(ステップS431)。
なお、本実施の形態においては、ステップS410において、選択された印刷用紙又は画像サイズと露出時間に応じて、許容ブレ量、許容ブレ速度等の許容値を算出するようにしたが、印刷用紙や画像サイズに応じて、一定の許容値を自動的に設定するようにしてもよい。
図12は、前記ステップS410で実行される許容像ブレ量(像変位量)、許容像ブレ速度(像移動速度)、許容ブレ量(角度)、許容ブレ角速度等の算出手順を示すフローチャートである。先ず、設定された印刷用紙のサイズ(対角S)、撮像サイズ(対角Y)を読み込む(ステップS451)。次に、印刷された画像が当該用紙の対角相当距離から観察されるものであるか否かを判断する(ステップS452)。そうであるならば、下記例示次式を用いて、撮像サイズYに応じて、許容ボケ量(許容錯乱円径)δを設定する(ステップS453)。
(例)許容ボケδ=Y×tan(2′40″)
また、ステップS452の判断がNOであって、一定の明視距離から観察されるものでるならば、下記例示次式を用いて、印刷用紙サイズSと撮影サイズYに応じて、許容ボケ量(許容錯乱円径)δを設定する(ステップS454)。
(例)許容ボケδ=(Y/S)×250[mm]tan(2′40″)
次に、設定露出時間(T)、レンズ焦点距離情報(f)を読み込み(ステップS455)、下記例示次式を用い、許容ボケδと、レンズ焦点距離f、設定露出時間T(秒)に応じて、許容像ブレ量、許容ブレ量(又は被写体の見かけの移動速度)、許容ブレ角速度(又は被写体の見かけの移動速度)を算出する。
(例)
許容ブレ量(像変位量)=δB≒δ、
許容像ブレ速度(像移動速度)VB=δB/T≒δ/T、
許容ブレ量(角度)θS=2×tan−1(δB/2f)、
許容ブレ角速度ωS=θS/T
図13は、印刷用紙サイズとその許容ボケと許容ブレの計算例をそれぞれ示す図である。印刷用紙の種別又は印刷用紙のサイズ(寸法)を選択すると、プリンタ装置の印刷解像度(dpi)や画像モニター装置の表示解像度などに応じて、必要な解像度が得られる画像サイズ(横×縦の画素数)を計算して決定できる。逆に、画像サイズを選択すると、例えば200dpiや300dpi等、印刷装置の印刷解像度(dpi)に応じて、十分な解像度となる印刷用紙サイズの限度などを計算して決定できる。
例えば、印刷用紙サイズから十分な画像サイズを算出するには、
(a)フチ無し印刷の場合には、
横(又は縦の)画像サイズ=横(または縦の)用紙寸法(mm)×印刷解像度(dpi)÷25.4(mm/inch)、あるいは、
(b)上下左右にフチ(余白)付き印刷の場合には、
横(又は縦の)画像サイズ={横(または縦の)用紙寸法(mm)−2×余白寸法(mm}×印刷解像度(dpi)÷25.4(mm/inch)、などで求めることができる。逆も同様である。
また、許容できる像ブレ量などは、例えば、許容ボケ(許容錯乱円径)の大きさを基準に算出することができる。35mm判の銀塩フィルムでは、許容ボケは約0.033mmなどが利用されるが、デジタルカメラのCCDなど撮像素子の場合や、プリントサイズを変えた場合の許容ボケには、いくつかの考え方がある。一般に、肉眼で細かなものを見分けられる能力は角度にして1分(1′)程度とされるが、写真など連続して調子が変化している対象では、少し緩めの角度2〜3分(2′〜3′)程度とされ、これより小さいものはボケていることが分からず、シャープに見えると言われる。
1)これを基準に考えると、肉眼の明視距離25cm離れた距離から写真や印画紙を観察するとき、0.15〜0.22mm(250mm×tan(2′)〜250mm)×tan(3′)程度のボケまでは人間の眼にはボケていると気付かないこととなる。
2)一方、写真はその大きさに応じて、例えば、用紙の対角寸法に相当する距離から眺めるのが自然だという考え方もある。これを基準に、対角が27cmと明視距離に近い八つ切り判の印画紙では、約0.2mmのボケまでは許され、35mm判から八つ切り判への引き伸ばし倍率は6倍であるからとして、002÷6=0.033mmが、一般的な35mm判(36×24mm)フィルムの許容ボケ(許容錯乱円径、Permissible Circle of Confusion)として採用されている。
この2)の方法では、逆に、用紙サイズや引き伸ばし倍率に拘わらす、フィルムや撮像素子のサイズに相応して、所定の角度(2′〜3′)以内の許容錯乱円径であればよく、換算には便利であるが、印刷用紙や引き伸ばし倍率が大きい場合ほど、荒いピントやボケ、ブレでも許されることとなる。
また、
1)印刷用紙によらず用紙サイズ(対角)に相当する距離だけ離れて観察するときの許容ボケが所定値(例えば、35mmに相当する角度=0°02′40″)以下となるように設定する場合には、
画像面上の許容錯乱円径δ[mm]
={画像サイズ対角(Y)/印刷用紙サイズ対角(S)}×印刷用紙サイズ対角S[mm]×tan(2′40″)、
=画像サイズ対角(Y)[mm]×tan(2′40″)として算出して、許容ブレを設定できる。
2)また、どの用紙サイズの場合も、一定の明視距離(約25cm)から観察する場合には、撮像面上の許容錯乱円径δ[mm]
={画像サイズ対角(Y)/印刷用紙サイズ対角(S)}×明視距離(250mm)×tan(2′40″)、
として算出して、これを基準に許容ブレを設定できる。
3)あるいは、許容錯乱円径δ[mm]をユーザーが所望かつ任意の値に設定してもよい。
また、許容できる像ブレ量δBは前記の許容錯乱円径δに略等しいとすると、許容できる移動速度VB、許容ブレ量(又は被写体の見かけ上の移動角度)θS、及び、露出時間Tにおける許容ブレ角速度(又は被写体の見かけ上の移動角速度)ωSは、前記で算出された撮像面上の許容ボケ(許容錯乱円径)δ[mm]と、撮影レンズ焦点距離f[mm]、設定露出時間T[秒]とから、
許容ブレ量(像の変位量)δB≒δ、
許容像移動速度VB=δB/T≒δ/T、
許容ブレ量(又は被写体の見かけ上の移動角度)θS=2×tan−1(δB/2f)、
許容ブレ角速度(又は被写体の見かけ上の移動角速度)ωS=θS/T、
などと算出して設定することができる。
あるいは、マクロ撮影などで、被写体距離Lが分かる場合には、被写体範囲X=画像サイズY×L/fとなるので、
被写体ブレまたはカメラブレの許容変位XB=許容像ブレ量δB×L/f、
許容できる被写体の移動速度VB=XB/T≒δB×L/(f×T)、
等として算出できる。
これらを、本実施の形態における印刷用紙に応じた所定のブレ量若しくは像ブレ量として設定して、画素加算読み出しによるブレ軽減撮影・増感撮影モードへの切替条件の判断を行えばよい。
しかして、本実施の形態では、ユーザー所望の印刷用紙サイズまたは画像サイズに応じて、許容像ブレ量や許容ブレ量などを設定して、それに応じて、画素加算読み出しによるブレ軽減撮影モードへの切替条件を設定するので、観賞時のサイズに合わせてブレの目立たない必要十分なブレ軽減撮影が行えるので、補間処理などによる画質劣化なども最小限に抑えることができる。
(第5の実施の形態)
図14は、本発明の第5の実施の形態における処理手順を示すフローチャートである。先ず、ユーザーによる操作部23での操作により、ブレ軽減撮影モード又は増感撮影モードが設定されているか否かを判断する(ステップS501)。ブレ軽減撮影モード又は増感撮影モードが設定されていない場合には、その他の撮影モード処理に移行する(ステップS502)。また、ユーザーによる操作部23での操作に応じて、画像サイズ(x,y)、又は、所望の印刷用紙サイズを選択し(ステップS503)、選択画像サイズ、又は、用紙サイズに最適な画像サイズに設定する(ステップS504)。さらに、シャッター速度等の撮影条件を設定するとともに、撮影条件に応じて画素加算数(M×N)を選択する(ステップS505)。
また、下記式を用いて読み出し画像サイズ(横)X′及び読み出し画像サイズ(縦)Y′を算出する(ステップS506)。
読み出し画像サイズ(横)X′=撮影画像サイズ(横)X÷横加算数M、
読み出し画像サイズ(縦)Y′=撮影画像サイズ(縦)Y÷縦加算数N
次に、読み出し画像サイズ(X′,Y′)が設定画像サイズ(x,y)以上であるか否かを判断し(ステップS507)、読み出し画像サイズ(X′,Y′)≧設定画像サイズ(x,y)である場合には、撮像素子20の垂直方向及び水平方向の同色同士の画素の撮像信号電荷を加算して読み出す垂直&水平加算読み出しモードを設定して、撮像素子20を駆動するとともに、画素加算数(M,N)を設定する(ステップS508)。また、加算数(M×N)に応じて、露出時間を再設定する(ステップS509)。そして、再設定された露出時間や設定撮影条件に応じて露出/撮影動作を行うとともに、画素加算読み出し処理を実行する(ステップS510)。
一方、ステップS507での判断がNOであって、読み出し画像サイズ(X′,Y′)<設定画像サイズ(x,y)である場合には、警告表示を行って画像サイズが不足又は補間処理が必要の旨を表示するとともに(ステップS511)、補間処理を行うか否か(Yes/No)の入力要求プロンプトを表示し、入力待ちの状態にする(ステップS512)。このステップS511及びS512での処理により、図15(A)(B)に例示するような画面が表示部14に表示される。
この状態で、「Yes」の補間処理OKの入力があったか否かを判断する(ステップS513)。あった場合には、撮像素子20の垂直方向及び水平方向の同色同士の画素の撮像信号電荷を加算して読み出す垂直&水平加算読み出しモードを設定して、撮像素子20を駆動するとともに、画素加算数(M,N)を設定する(ステップS514)。また、加算数(M×N)に応じて、露出時間を再設定する(ステップS515)。そして、再設定された露出時間や設定撮影条件に応じて露出/撮影動作を行うとともに、画素加算読み出し処理を実行し(ステップS516)、しかる後に、画素補間処理を実行する(ステップS517)。
他方、ステップS513の判断がNOであって、補間処理OKの入力がなかった場合には、画素加算数を低減(M←M−1,N←N−1)、又は、画像サイズ(x,y)を1段小さいサイズに設定する(ステップS518)。また、このサイズダウンにより、M≦1,N≦1、又は最小画像サイズになってしまったか否かを判断する(ステップS519)。M≦1,N≦1、又は最小画像サイズになっていない場合には、X′=X÷M、Y′=Y÷Nにより読み出し画像サイズ(X′,Y′)を演算し(ステップS520)、この演算結果による読み出し画像サイズ(X′,Y′)が設定画像サイズ(x,y)以上であるか否かを判断する(ステップS521)。そして、読み出し画像サイズ(X′,Y′)≧設定画像サイズ(x,y)である場合には、前述したステップS508に進む。
しかし、読み出し画像サイズ(X′,Y′)<設定画像サイズ(x,y)である場合には、ステップS518からの処理を繰り返す。そのか結果、M≦1,N≦1、又は最小画像サイズになってしまった場合には(ステップS519;YES)、撮像素子20の全画素の撮像信号電荷を順に読み出す通常読み出しモード(加算無し)に設定し(ステップS522)、通常露出時間に設定して(ステップS523)、設定された露出時間や設定撮影条件に応じて露出/撮影動作を行うとともに、通常読み出し処理を実行する(ステップS524」)。そして、このステップS524、ステップS510又はステップS517のいずれかに続くステップS525では、撮影画像を圧縮、符号化し、この圧縮、符号化した撮影画像を外部メモリ媒体39に記録する(ステップS526)。
したがって、本実施の形態によれば、画素加算読み出しに切り替えてブレ軽減/増感撮影を行う場合に、
1)加算読み出しにより記録画像サイズが設定された画像サイズより小さいサイズに縮小される場合には、予め記録画像サイズが設定画像サイズよりも小さくなってしまう旨の警告をし、画素読み出し撮影を行うか否かをユーザーに問い合わせるプロンプト(入力要求)表示を行い、OK(肯定返答)の入力があった場合には加算読み出しモードで撮影し、NO(否定返答)の入力があった場合には、通常読み出しモードで撮影することができる。
2)又は、画素加算読み出しモードで撮影を行う場合、ユーザー設定の画像サイズを得るために補間処理が必要になる場合には、予め、画素補間処理を行う必要がある旨を警告し、画素補間処理を実行するか否かをユーザーに問い合わせるプロンプト表示を行い、OKの返答入力があった場合には、加算読み出しモードで撮影した画像データに画素補間処理を施して設定画像サイズに拡大変換してから記録することができる。NOの返答入力があった場合には、画素補間処理が不要になるまで加算数を低減して撮影するように制御し、又は、画素補間が不要になるまで記録サイズを小さく設定し直して撮影するように制御して、画素補間処理を行わないでも所望の増感撮影ができる。
よって、画像サイズの縮小や、画素補間処理による画質劣化のリスクを確認した上で撮影することができ、ユーザーは、増感撮影するが画素補間による画質劣化を嫌う場合には、補間処理を回避して撮影することもできる。
(第6の実施の形態)
図16は、本発明の第6の実施の形態における処理手順を示すフローチャートである。この実施の形態は、画素加算読み出しに切り替えてブレ軽減/増感撮影を行う場合に、撮像画像サイズと設定画像サイズの比に応じて、画素加算数の限度を算出する。また、補間処理OKの場合には、その加算数の限度が大きくなるように設定し、加算数が限度を超える場合には加算数を低減して、画素加算数が限度内の範囲で画素加算読み出しによる撮影を行えるようにしたものである。
先ず、ユーザーによる操作部23での操作により、ブレ軽減撮影モード又は増感撮影モードが設定されているか否かを判断する(ステップS601)。ブレ軽減撮影モード又は増感撮影モードが設定されていない場合には、その他の撮影モード処理に移行する(ステップS602)。また、ブレ軽減撮影モード又は増感撮影モードが設定されている場合には、ユーザーによる操作部23での操作に応じて、画像サイズ(x,y)、又は、所望の印刷用紙サイズを選択し(ステップS603)、これら選択画像サイズ、又は、用紙サイズに最適な画像サイズに設定する(ステップS604)。
次に、下記式を用いて加算限度(横)Mmaxと加算限度(縦)Nmaxとを算出する(ステップS605)。
加算限度(横)Mmax=撮像画像サイズ横(X)÷設定画像サイズ横(x)
加算限度(縦)Nmax=撮像画像サイズ縦(Y)÷設定画像サイズ縦(y)
また、ユーザーによる操作部23での操作により、予め画素補間処理はON(使用可)に設定されているか否かを判断し(ステップS606)、ON(使用可)となっていない場合には、ステップS607の処理を行うことなくステップS608に進む。また、ON(使用可)となっている場合には、加算限度(横)Mmaxと加算限度(縦)Nmaxとを、各々これらよりも大きい「α*Mmax」と「α*Nmax」に変更する(ステップS607)。
引き続き、ズーム処理、AF処理を実行し(ステップS608)、被写体像のスルー画像を表示部14に表示させる(ステップS609)。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し(ステップS610)、押されない場合には、ユーザーにより操作部23で操作されたキーに応じたその他のキー処理を実行する(ステップS611)。そして、レリーズ釦が押されて撮影指示があると、測光処理、WB処理を行って(ステップS612)、これにより得られた測光値に応じて、露光時間Tなどの露出条件を設定する(ステップS613)。さらに、測光値や露出条件、設定感度などの撮影条件に応じて加算数(M,N:整数)を選択する(ステップS614)。
次に、この選択した加算数M、Nと前記ステップS607で設定した加算限度Mmax,Nmaxとを比較し、加算数M≦Mmax、かつ、加算数N≦Nmaxであるか否かを判断する(ステップS615)。この判断がNOであって、選択された加算数が加算限度を超えている場合には、ステップS615からステップS618に進み、加算数を1低減する(ステップS618)。また、この画素加算数を低減した結果、M、Nの値が1以下となってしまったか否かを判断し(ステップS619)、1以下となってしまった場合には、撮像素子20の全画素の撮像信号電荷を順に読み出す通常読み出しモード、つまり「M=N=1」である画素加算無しで撮像素子20を駆動し(ステップS620)、後述するステップS621に進む。しかし、ステップS619の判断がNOであって、M、Nの値(整数)が1を超える値である場合には、ステップS615に戻る。
そして、加算数M≦Mmax、かつ、加算数N≦Nmaxとなって、このステップS615の判断がYESとなり、選択された加算数が加算限度以下である場合には、「T/(M*N)」により加算数M、Nに応じて、露出時間を再設定する(ステップS616)。そして、撮像素子20の垂直方向及び水平方向の同色同士の画素の撮像信号電荷を加算して読み出す垂直&水平加算読み出しモードに切り替えて、撮像素子20を駆動する(ステップS617)。これと同時に、定撮影条件に応じて露出/撮影動作を開始し(ステップS621)、このステップS621での処理により、シャッター58が開いて撮像素子20が露出状態となる。引き続き、シャッター速度に応じた露出時間が終了したか否かを判断し(ステップS622)、露出時間が終了となるまで、露出/撮影動作(ステップS621)を継続する。
そして、ステップS622の判断がYESとなり、露出時間が終了となった時点で露出/撮影動作を停止させてシャッター58を閉じる(ステップS623)。しかる後に、前記ステップS620又はステップS617での駆動により読み出された読み出し画像サイズ、つまり読み出し画像サイズ(X÷M、Y÷N)が前記設定画像サイズ(x,y)以下であるか否かを判断する(ステップS625)。この判断がNOであって、読み出し画像サイズ(X÷M、Y÷N)が設定画像サイズ(x,y)を超える場合には、画素補間する必要はないことから、ステップS625の処理を行うことなく、ステップS626に進む。
しかし、ステップS624の判断がYESであって、読み出し画像サイズ(X÷M、Y÷N)が設定画像サイズ(x,y)以下である場合には、ユーザーが設定した設定画像サイズの画像を生成すべく、画素補間処理を実行する(ステップS625)。しかる後に、撮影画像を圧縮、符号化し(ステップS626)、この圧縮、符号化した撮影画像を外部メモリ媒体39に記録する(ステップS627)。
したがって、本実施の形態によれば、設定画像サイズが確実に確保できるように、かつ、画像劣化を伴う画素補間処理をできるだけ行わずに、ブレ軽減撮影や増感撮影を行うことができる。
(第7の実施の形態)
図17は、本発明の第7実施の形態における処理手順を示すフローチャートである。この実施の形態は、設定された露出時間(シャッター速度)が所定値よりも長い(遅い)場合には、設定された(ISO相当感度)撮像感度が、所定の感度より低く設定されている時には、先ず撮像感度を順次上げて、露出時間が所定値以下に短く(シャッター速度が速く)なるように再設定するようにしたものである。また、(ノイズが目立たない撮像感度の限度など)所定の感度まで上げても、露出時間が所定値よりも長くなる場合には、「画素加算読み出しによる撮影モード」に切り替えるとともに、加算倍率に応じて露出時間が短くなるように再設定するようにしたものである。
先ず、ユーザーによる操作部23での操作により、オート撮影モード又はブレ軽減撮影モードが設定されているか否かを判断する(ステップS701)。オート撮影モード又はブレ軽減撮影モードが設定されていない場合には、その他の撮影モード処理に移行する(ステップS702)。また、オート撮影モード又はブレ軽減撮影モードが設定されている場合には、撮影条件を設定するとともに、ユーザーによる操作部23での操作に応じて、画像サイズを選択する(ステップS703)。
次に、ズーム処理、AF処理を実行し(ステップS704)、被写体像のスルー画像を表示部14に表示させる(ステップS705)。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し(ステップS706)、押されない場合には、ユーザーにより操作部23で操作されたキーに応じたその他のキー処理を実行する(ステップS707)。そして、レリーズ釦が押されて撮影指示があると、測光処理、WB処理を行って(ステップS708)、これにより得られた測光値と前記ステップS703で設定された撮影条件とに応じて、露出条件を設定する(ステップS709)。また、このステップS709での処理により設定された設定露出時間が所定時間以下であるか否かを判断する(ステップS710)。この判断の結果、設定露出時間≦所定時間である場合には、当該設定露出時間ではブレが生ずる可能性が少なくブレ軽減撮影を行う必要がないと判断する。したがって、撮像素子20の全画素の撮像信号電荷を順に読み出す通常読み出しモードで撮像素子20を駆動して(ステップS714)、露出/撮影処理を行う(ステップS715)。
しかし、ステップS710での判断の結果、設定露出時間が所定時間を超える場合には、ブレが生ずる可能性が多いものと判断する。したがって、先ず撮影感度値Svを一段上げ、シャッター速度Tvを一段下げる(一段速くする)(ステップS711)。そして、このステップS711での処理により一段上げた撮影感度が所定感度以下であるか否かを判断する(ステップS712)。つまり、感度を上げると、露出時間(シャッター速度)は短くできるが、これに伴ってノイズが発生することから、ノイズの目立たない所定感度以下であるか否かを判断するのである。
そして、ノイズの目立たない所定感度以下である場合には、前記一段上げた(速くした)設定露出時間がブレが生ずる可能性が少ない所定時間以下であるか否かを判断する(ステップS713)。このステップS712とS713の判断がともにYESとなって、撮影感度≦所定感度、かつ、設定露出時間≦所定時間となった場合には、つまりノイズの目立たない所定感度以下であって、かつ、ブレが生ずる可能性が少ない露出時間である場合には、前述したステップS714に進む。したがって、この場合には、撮像素子20の全画素の撮像信号電荷を順に読み出す通常読み出しモードで撮像素子20を駆動されることとなり、このように通常読み出しモードで撮影を行っても、ノイズの目立たない、かつ、ブレのない画像を撮影することができる。
また、ステップS713の判断がNOであって、設定露出時間が所定時間を超える場合には、未だブレが発生する可能性が高いことから、ステップS711に戻って、再度撮影感度値Svを一段上げ、シャッター速度Tvを一段下げる(テップS711)。そして、その結果、一段上げた撮影感度が所定感度を超えてしまうと、露出時間が短くなることによりブレの発生は防止できても、撮影感度が所定感度を超えたことよりノイズの発生が顕著となる。したがって、通常読み出しモードで撮影を行っても、ブレはないがノイズのある画像となることが明らかとなる。したがって、この場合には、ステップS712がNOとなることにより、ステップS712からステップS716に進む。
そして、前記ステップS711での処理より上げられた撮影感度値Sv、及びシャッター速度値TvをステップS711での処理以前の状態に戻す(ステップS716)。したがって、ステップS711の処理が1回行われて、撮影感度値Sv、及びシャッター速度値Tvが一段上げられている場合には、これらを一段下げる。次に、撮像素子20の垂直方向及び水平方向の同色同士の画素の撮像信号電荷を加算して読み出す垂直&水平加算読み出しモードを設定し、このとき増感度(加算数)を1〜2段上げ、シャッター速度Tvも1〜2段上げる(ステップS717)。そして、この上げた加算数が所定の加算数以下である否かを判断する(ステップS718)。
つまり、加算数が多くなればなるほど画像サイズは小さくなる。よって、画像サイズが極端に小さくならないように、加算数が加算数以下である否かを判断する。そして、加算数≦所定の加算数であれば、加算数に余裕があり、更に加算数を増加しても画像サイズが極端に小さくなることはない。よって、さらに前記ステップS717で上げた(速くした)シャッター速度Tvが示す設定露出時間が、所定時間以下であるか否かを判断し(ステップS719)、所定時間を超える場合にはブレの発生する可能性があることからステップS717に戻る。
そして、ステップS718とステップS719の判断がともにYESである場合、つまり、加算数≦所定の加算数、かつ、設定露出時間≦所定時間である場合には、ステップS721に進む。一方、ステップS718の判断がNOであった場合、つまり設定露出時間を所定時間以下にすべく、加算数を増加した結果、加算数が多くが画像サイズが極端に小さくなってしまう場合には、ステップS720に進む。そして、前記ステップS716での処理とは逆に、増感度(加算数)を1〜2段下げ、シャッター速度Tvも1〜2段下げ、増感度(加算数)、シャッター速度値Tvを戻して(ステップS720)、ステップS721に進む。
前記ステップS719及び前記ステップS720のいずれかに続くこのステップS71においては、撮像素子20の垂直方向及び水平方向の同色同士の画素の撮像信号電荷を加算して読み出す垂直&水平加算読み出しモードに切り替えて(ステップS71)、撮像素子20を駆動し、露出/撮影処理を行う(ステップS722)。
したがって、本実施の形態によれば、撮影感度と画素加算とを組み合わせて露出時間を短くしてブレ軽減撮影し、感度アップによるノイズ発生を抑えるとともに、画素加算により画像サイズが小さくなることも、できる限り軽減することができる。
なお、ステップS712においては、撮影感度を一定の所定感度と比較するようにしたが、この所定感度をユーザーが任意に設定できるようにしてもよい。
(その他の実施の形態)
図18は、本発明のその他の実施の形態に係るデジタルカメラ2の概略的回路構成を示すブロック図である。このデジタルカメラ2は、露出設定手段201、感度設定手段202、画素加算読み出し切替制御手段203、及び補間倍率設定手段204を有している。露出設定手段201には、測光センサ205からの出力と撮影条件の設定手段206からの出力とが与えられ、感度設定手段202には、撮影条件の設定手段206からの出力が与えられる。画素加算読み出し切替制御手段203には、露出設定手段201、感度設定手段202、撮影モードの選択手段207、及び画像サイズ/用紙サイズの選択手段208からの出力が各々与えられ、補間倍率設定手段204には、画素加算読み出し切替制御手段203及び画像サイズ/用紙サイズの選択手段208からの出力が各々与えられる。
一方、撮影光学系209の光軸上には、絞り210、シャッター211及び撮像素子212が配置されている。絞り210は絞り駆動部213により、シャッター211はシャッター駆動部214により、撮像素子207はCCD駆動&タイミング制御部215により、それぞれ駆動される。そして、前記絞り駆動部213とシャッター駆動部214とは、露出設定手段201からの信号に基づき動作する。
信号処理回路216は、前記CCD駆動&タイミング制御部215を有する一方、撮像素子212からのアナログ信号を処理するとともにデジタル信号に変換する処理等を行う回路であり、CDS217、Amp218、ADC219、WB制御部220、画素加算処理部221、画素補間処理部222、カラー補間部223、γ補正部224、カラーマトリックス225、及び前記画素加算処理部221を経由する系とこれを迂回する系とを切り替える切替器226を有している。そして、Amp218は前記感度設定手段202に制御され、画素補間処理部222と切替器226とは、前記画素加算読み出し切替制御手段203により制御され、画素補間処理部222は前記補間倍率設定手段204により設定される補間倍率に従って画素補間する。また、この信号処理回路216からのデジタル画像データは、画像バッファメモリ227を介して、画像圧縮/符号化手段228に与えられ圧縮及び符号化された後、画像記録手段に記録されるように構成されている。
したがって、この実施の形態においては、前述した実施の形態のような画像素子212からの電荷読出し時の画素加算処理の代わりに、撮影後の画像データに対して、画像処理により画素加算合成を行うことができる。すなわち、図18に示すように、カラー補間処理等を行う前の(カラーフィルタの)ベアラー配列のままの撮像原画像データの段階で、近隣の同一色(R、G、Bなど)フィルタに相当する4画素ないし9画素など、複数の同色の画素同士を加算合成する。これにより、露出時間が短い画像データでも、(m×n)画素の加算合成により、画像サイズは1/(m×n)と小さくなるが、輝度データを(m×n)倍に増感できる。よって、原理的には感度を略(m×n)倍に上げることに相当する効果があり、逆に露出時間に関してはこれを短くできる。また、この場合に、露出時間の不足量に応じて、画素加算する画素数(m×n)を順次増やして画素加算処理するように制御してもよい。