Nothing Special   »   [go: up one dir, main page]

JP2014044345A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2014044345A
JP2014044345A JP2012187127A JP2012187127A JP2014044345A JP 2014044345 A JP2014044345 A JP 2014044345A JP 2012187127 A JP2012187127 A JP 2012187127A JP 2012187127 A JP2012187127 A JP 2012187127A JP 2014044345 A JP2014044345 A JP 2014044345A
Authority
JP
Japan
Prior art keywords
image
strobe
imaging
distance
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012187127A
Other languages
English (en)
Inventor
Manabu Yamada
学 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2012187127A priority Critical patent/JP2014044345A/ja
Priority to US13/974,267 priority patent/US20140063287A1/en
Priority to CN201310382217.9A priority patent/CN103685875A/zh
Publication of JP2014044345A publication Critical patent/JP2014044345A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

【課題】ストロボから異なる距離にある複数の被写体を撮影する場合にも適正な明るさとすることを可能とする撮像装置を提供すること。
【解決手段】制御装置(システム制御装置20)は、ストロボ23を照射して撮影する際に、ストロボ照射影響度判断機能で判断した分割ブロックごとのストロボ照射影響度に応じて、分割増幅機能で分割したブロックごとにかけるデジタルゲインの値を決定するようになっている。
【選択図】図3

Description

本発明は、撮像装置に関し、詳細には、ストロボ調光制御機能を有する撮像装置に関する。
従来より、カメラ等の撮像装置において、外光だけで撮影を行うと主被写体が露光不足となる場合に、露光量を補うために補助光を発光して撮影するストロボ撮影を行うことがある。
しかし、ストロボによる照射の影響は、ストロボから近いほど強く、ストロボから遠いほど弱くなるため、例えば主被写体が適正な明るさになったとしても背景は暗くなったり、撮影したい主要被写体が複数ある場合に、主要被写体それぞれのストロボからの距離が一定でない場合、どれかひとつの主要被写体のみが適正な明るさとなり、他の主要被写体が適正な明るさにならない。
このような問題に対処するため、撮影したい複数の被写体の距離差を算出し、距離差が小さければストロボ光を大きめにし、距離差が大きければストロボ光を小さめにしてゲインをかけることで光量を補うようにした撮像装置が知られている(例えば、特許文献1参照)。この撮像装置では、複数の被写体を撮影する際に、被写体間の距離差が大きいほどストロボを発光したときにストロボの影響度が被写体ごとに異なり、輝度差が生じやすいことから、被写体間の距離差が小さいときにはストロボ光を大きめにし、被写体間の距離差が大きいときにはストロボ光を小さめにして画像に一様に大きめのゲインをかけることで明るさが適正な画像を得る手法を提案している。
しかし、従来の撮像装置では、被写体間の距離差が大きいときはストロボ光を小さくせざるをえず、全体的にゲインも高めになるため、全体としてノイズ感の強い画像になりやすく、ストロボから距離の異なる複数の被写体をストロボ光により撮影する場合に適正な明るさとするのが難しいものであった。
そこで、この発明は、ストロボから異なる距離にある複数の被写体を撮影する場合にも適正な明るさとすることを可能とする撮像装置を提供することを目的とするものである。
この目的を達成するため、この発明は、被写体を撮像する撮像素子と、前記被写体に照明光を照射させるストロボと、前記撮像素子の出力信号から撮像画像の前記被写体の光量が露光不足である場合に、前記ストロボを発光制御させて前記被写体に照明光を照射させる制御装置を、備える撮像装置であって、前記制御装置は、前記撮像画像を格子状の複数のエリアに分割して前記分割した各ブロックごとにデジタルゲインをかけることができる分割増幅機能と、前記分割増幅機能と同様に格子状に分割したブロックごとにストロボの照射影響度を判断するストロボ照射影響度判断機能と、を有し、前記ストロボを照射して撮影する際に、前記ストロボ照射影響度判断機能で判断した分割ブロックごとのストロボ照射影響度に応じて、前記分割増幅機能で分割したブロックごとにかけるデジタルゲインの値を決定することを特徴とする。
このように、撮像領域を格子状のブロックに分割し、各ブロックのストロボ発光による影響度を算出し、算出された影響度に応じたゲインを各ブロックごとでかけるようにすることで、ストロボから異なる距離にある複数の被写体を撮影する場合にも適正な明るさとすることができる。
(a)は本発明の実施形態1に係る撮像装置の一例としてのデジタルスチルカメラを示す正面図、(b)は(a)のデジタルスチルカメラの上面図、(c)は(a)のデジタルスチルカメラの背面図である。 図1(a),図1(b),図1(c)に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。 図2のシステム制御装置のより詳細なブロック図である。 (a)はデジタルカメラから異なる距離にある複数の被写体が適正な明るさの撮影画像を示し、(b)は(a)の複数の被写体をストロボ撮影したときの撮影画像の説明図である。 (a)はデジタルカメラから異なる距離にある複数の被写体が適正な明るさの撮影画像を示し、(b)は(a)の撮影画像を格子状のブロックに分けて各ブロックにゲイン値を設定した例を示す説明図である。 図5(b)の複数のブロックにおけるゲインの算出の説明図である。 ストロボ影響度とゲインとの関係を示す説明図である。 ストロボからの距離とゲインとの関係を示したゲイン特性線図である。 ストロボ影響度の判断および、このストロボ影響度に基づいたゲインの設定の説明のフローチャートである。 一つの専用のレンズを測距用として有する補助撮像光学系が設けられたデジタルカメラの正面側の外観図である。 図10のデジタルカメラの背面側の外観図である。 図10のデジタルカメラの概略内部構造図を示す説明図である。、 図12の主光学系である撮像レンズをAFレンズに兼用する場合の光学系の説明図である。 図13の主光学系の撮像レンズとAFレンズによる測距の説明図である。 図13のCMOSセンサの出力信号とAFレンズからの光束を受光する受光センサの出力信号を測距に用いる場合の説明図である。 二つのAFレンズを測距用の補助撮像光学系として有するデジタルカメラ1の正面側の外観図である。 図16のデジタルカメラの概略内部構造図を示した説明図である。 図16,図17の測距用の補助撮像光学系を有する測距の説明図である。 被写体までの距離とストロボ影響度の判断および、このストロボ影響度に基づいたゲインの設定の説明のフローチャートである。
以下、本発明に係る撮像装置の実施の形態を図面に基づいて説明する。
(実施例1)
[構成]
図1(a)は本発明の実施形態1に係る撮像装置の一例としてのデジタルスチルカメラ(以下、「デジタルカメラ」という)を示す正面図、図1(b)は図1(a)のデジタルスチルカメラの上面図、図1(c)は図1(a)のデジタルスチルカメラの背面図である。また、図2は、図1(a),図1(b),図1(c)に示したデジタルカメラ内の制御回路(システム構成)の概要を示すブロック図である。
<デジタルカメラの外観構成>
図1(a),(b),(c)に示すように、本実施形態に係るデジタルカメラ1はカメラ本体1aを有する。このカメラ本体1aの上面側には、レリーズボタン(シャッタボタン、シャッタスイッチ)2、電源ボタン(電源スイッチ)3、撮影・再生切替ダイアル4が設けられている。
また、図1(a)に示すように、カメラ本体1aの正面(前面)側には、撮像レンズユニットである鏡胴ユニット5、ストロボ発光部(フラッシュ)6、光学ファインダ7、測距用の補助撮像光学系8が設けられている。
更に、図1(c)に示すように、カメラ本体1aの背面側には、液晶モニタ(表示部)9、前記光学ファインダ7の接眼レンズ部7a、広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11、メニュー(MENU)ボタン12、確定ボタン(OKボタン)13等が設けられている。
また、カメラ本体1aの側面内部には、図1(c)に示すように、撮影した画像データを保存するための図2のメモリカード14を収納するメモリカード収納部15が設けられている。
<デジタルカメラ1の撮像システム>
図2はデジタルカメラ1の撮像システムを示したもので、この撮像システムはシステム制御部としてのシステム制御装置(システム制御回路)20を有する。このシステム制御装置20には、デジタル信号処理IC等が用いられている。
このシステム制御装置20は、デジタルカラー画像信号(デジタルRGB画像信号)を処理する画像処理回路(画像処理部)としての信号処理部20aと、この信号処理部20aや各部の制御を行う演算制御回路(CPU即ちメイン制御装置)20bを有する。この信号処理部20aには補助撮像光学系8からの測距信号が入力され、演算制御回路20bには操作部21からの操作信号が入力される。
この操作部21としては、上述したレリーズボタン(シャッタボタン)2、電源ボタン3、撮影・再生切替ダイアル4、広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11、メニュー(MENU)ボタン12、確定ボタン(OKボタン)13等の撮像操作に関連したユーザーが操作可能な操作部分がある。
また、撮像システムは、システム制御装置20により駆動制御される液晶モニタ(表示部)9、メモリカード14、光学系駆動部(モータドライバ)22、ストロボ23を有する。このストロボ23は、図1(a)のストロボ発光部6と、このストロボ発光部6に発光電圧を供給するメインコンデンサ24を有する。更に、撮像システムは、データを一次保存するメモリ25、及び通信ドライバ(通信部)26等を有する。
また、撮像システムは、システム制御装置20により駆動制御される鏡胴ユニット5を有する。
<鏡胴ユニット5>
この鏡胴ユニット5は、主要撮像光学系30と、主要撮像光学系30を介して入射する被写体画像を撮像する撮像部31を有する。
この主要撮像光学系30は、ズーム光学系(詳細図示略)を有する撮像レンズ(撮影レンズ)30aと、入射光束制御装置30bを有する。
撮像レンズ30aは、操作部21の広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11等の操作によるズーム時にズーム駆動されるズームレンズ(図示せず)、レリーズボタン2の半押し操作によるフォーカス時にフォーカス駆動されるフォーカスレンズ(図示せず)を有する。これらの図示しないレンズは、フォーカス時、ズーム時および電源ボタン3のON・OFF操作によるカメラの起動・停止時に、機械的および光学的にレンズ位置を変えるようになっている。この電源ボタン3のON操作によるカメラの起動時には撮像レンズ30aが撮像開始初期位置まで進出し、電源ボタン3のOFF操作によるカメラの停止時には撮像レンズ30aが収納位置に収納される位置に縮小する。これらの構成には周知の構成が採用できるので、その詳細な説明は省略する。
このような撮像レンズ30aのズーム駆動、フォーカス駆動、起動・停止時の駆動制御は、メイン制御部(CPU即ちメイン制御装置)としての演算制御回路20bにより動作制御される光学系駆動部(モータドライバ)22により行われる。尚、演算制御回路20bの動作制御は、光学系駆動部(モータドライバ)22は、操作部21の広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11、電源ボタン3等からの操作信号に基づいて実行される。
また、入射光束制御装置30bは、図示を省略した絞りユニットおよびメカシャッタユニットを有する。そして、この絞りユニットは被写体条件に合わせて絞り開口径の変更を行うとともに、シャッタユニットは同時露光による静止画撮影のためのシャッタ開閉動作を行うようになっている。この入射光束制御装置30bの絞りユニットおよびメカシャッタユニットも、光学系駆動部(モータドライバ)22により駆動制御される。この構成にも周知の構成が採用できるので、その詳細な説明は省略している。
撮像部31は、主要撮像光学系30の撮像レンズ30a及び入射光束制御装置(絞り・シャッタユニット)30bを介して入射する被写体画像が受光面上に結像する撮像素子(撮像部)としてのCMOSセンサ(センサ部)32と、CMOSセンサ32の駆動部33と、CMOSセンサ(センサ部)32からの出力をデジタル処理して出力する画像信号出力部34を有する。
CMOSセンサ32は、受光素子が多数2次元にマトリックス配列されていて、被写体光学像が結像されることにより、多数の受光素子に被写体光学像の光量に応じて電荷に変換されて蓄積される。このCMOSセンサ32の多数の受光素子に蓄積された電荷は、駆動部33から与えられる読出し信号のタイミングで画像信号出力部34に出力される。尚、CMOSセンサ32を構成する複数の画素上にRGB原色フィルタ(以下、「RGBフィルタ」という)が配置されており、RGB3原色に対応した電気信号(デジタルRGB画像信号)が出力される。この構成には周知の構成が採用される。
この画像信号出力部34は、CMOSセンサ32から出力される画像信号を相関二重サンプリングして利得制御するCDS/PGA35と、CDS/PGA35の出力をA/D変換(アナログ/デジタル変換)して出力するADC36を有する。このADC36からのデジタルカラー画像信号はシステム制御装置20の信号処理部20aに入力されるようになっている。
<システム制御装置20>
上述したようにシステム制御装置20は、分割増幅機能を有する信号処理部(分割増幅機能)20aと、ストロボ照射影響度判断機能を有する演算制御回路(CPU即ちメイン制御装置)20bを有する。
(信号処理部20a)
この信号処理部20aは、図3に示したように、CMOSセンサ32から画像信号出力部34を介して出力されるRAW−RGBデータを取り込むCMOSインターフェース(以下、「CMOSI/F」という)40と、メモリ(SDRAM)25を制御するメモリコントローラ41と、取り込んだRAW−RGBデータを表示や記録が可能なYUV形式の画像データに変換するYUV変換部42と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部43と、画像データの表示出力を制御する表示出力制御部44と、画像データをJPEG形成などで記録するためのデータ圧縮処理部45と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース(以下、「メディアI/F」という)46を有する。また信号処理部20aは、取り込んだRAW−RGBデータによる撮像画像をゲイン処理等の信号処理のために複数のブロックに分割して、各ブロックごとに信号処理をする分割増幅機能部47を有する。
(演算制御回路20b)
この演算制御回路20bは、操作部21からの操作入力情報に基づき、ROM20cに記憶された制御プログラムに基づいてデジタルカメラ1全体のシステム制御等を行う。
この演算制御回路20bは、被写体までの距離を算出する距離算出部48と、ストロボ照射影響度判断機能部49を有する。
(メモリ25)
メモリ25であるSDRAMには、CMOSI/F40に取り込まれたRAW−RGBデータが保存されると共に、YUV変換部42で変換処理されたYUVデータ(YUV形式の画像データ)が保存され、更に、データ圧縮処理部45で圧縮処理されたJPEG形成などの画像データ等が保存される。
なお、前記YUVデータのYUVは、輝度データ(Y)と、色差(輝度データと青色(B)データの差分(U)と、輝度データと赤色(R)の差分(V))の情報で色を表現する形式である。
[作用]
次に、前記したデジタルカメラ1のモニタリング動作と静止画撮影動作について説明する。
i.基本的撮像動作
このデジタルカメラ1は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
先ず、撮影者が電源ボタン3をONし、撮影・再生切替ダイアル4を撮影モードに設定することで、デジタルカメラ1が記録モードで起動する。電源ボタン3がONされて、撮影・再生切替ダイアル4が撮影モードに設定されたことを制御部が検知すると、制御部である演算制御回路20bはモータドライバ22に制御信号を出力して、鏡胴ユニット5を撮影可能位置に移動させ、かつ、CMOSセンサ32、信号処理部20a、メモリ(SDRAM)25、ROM20c、液晶モニタ(表示部)9等を起動させる。
そして、主要撮像光学系である鏡胴ユニット5の主要撮像光学系30の撮像レンズ30a被写体に向けることにより、主要撮像光学系(撮像レンズ系)30を通して入射される被写体画像がCMOSセンサ32の各画素の受光面上に結像する。そして、CMOSセンサ32の受光素子から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS/PGA35を介してADC(A/D変換部)36に入力され、ADC(A/D変換部)36により12ビット(bit)のRAW−RGBデータに変換する。
このRAW−RGBデータの撮像画像のデータは、信号処理部20aのCMOSインターフェース40に取り込まれてメモリコントローラ41を介してメモリ(SDRAM)25に保存される。
そして、信号処理部(分割増幅機能部)20aは、メモリ(SDRAM)25から読み出したRAW−RGBデータの撮像画像は複数のブロックに分割し、分割されたブロックごとに増幅のためのゲイン(デジタルゲイン)をかける(後述)等、必要な画像処理をかけて、YUV変換部で表示可能な形式であるYUVデータ(YUV信号)に変換した後に、メモリコントローラ41を介してメモリ(SDRAM)25にYUVデータとして保存させる、分割増幅機能を有する。
そして、メモリ(SDRAM)25からメモリコントローラ41を介して読み出したYUVデータは、表示出力制御部44を介して液晶モニタ(LCD)9へ送られ、撮影画像(動画)が表示される。前記した液晶モニタ(LCD)9に撮影画像を表示しているモニタリング時においては、CMOSインターフェース40による画素数の間引き処理により1/30秒の時間で1フレームを読み出している。
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ(LCD)9に撮影画像が表示されているだけで、まだレリーズボタン2が押圧(半押も含む)操作されていない状態である。
この撮影画像の液晶モニタ(LCD)9への表示によって、撮影画像を撮影者が確認することができる。なお、表示出力制御部からTVビデオ信号として出力して、ビデオケーブルを介して外部のTV(テレビ)に撮影画像(動画)を表示することもできる。
そして、信号処理部20aのCMOSインターフェース40は、取り込まれたRAW−RGBデータより、AF(自動合焦)評価値、AE(自動露出)評価値、AWB(オートホワイトバランス)評価値を算出する。
AF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時(合焦検出動作時)には、撮像レンズ系内の各フォーカスレンズ位置におけるAF評価値を取得して、その極大になる点を合焦検出位置としてAF動作が実行される。
AE評価値とAWB評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、CMOSセンサ32の全画素の受光面に対応した画面を256エリアに等分割(水平16分割、垂直16分割)し、それぞれのエリアのRGB積算を算出する。
そして、制御部である演算制御回路20bは、算出されたRGB積算値を読み出し、AE処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件(CMOSセンサ32の電子シャッタ回数、絞りユニットの絞り値等)を設定する。また、AWB処理では、RGBの分布から被写体の光源の色に合わせたAWBの制御値を決定する。このAWB処理により、YUV変換部でYUVデータに変換処理するときのホワイトバランスを合わせる。なお、前記したAE処理とAWB処理は、前記モニタリング時には連続的に行われている。
そして、前記したモニタリング動作時に、レリーズボタン2が押圧(半押しから全押し)操作される静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。
即ち、レリーズボタン2が押圧(半押しから全押し)操作されると、演算制御回路(制御部)20bからモータドライバ22への駆動指令により撮像レンズ系のフォーカスレンズが移動し、例えば、焦点評価値が増加する方向にレンズを動かし、焦点評価値が最大になる位置を合焦位置とするいわゆる山登りAFと称されるコントラスト評価方式のAF動作が実行される。
AF(合焦)対象範囲が無限から至近までの全領域であった場合、主要撮像光学系(撮像レンズ系)30のフォーカスレンズ(図示略)は、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、CMOSインターフェース40で算出されている各フォーカス位置における前記AF評価値を制御部が読み出す。そして、各フォーカス位置のAF評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
そして、前記したAE処理が行われ、露光完了時点で、制御部からモータドライバ22への駆動指令により入射光束制御装置30bのメカシャッタユニットであるシャッタユニット(図示せず)が閉じられ、CMOSセンサ32の受光素子(多数のマトリックス状の画素)から静止画用のアナログRGB画像信号が出力される。そして、前記モニタリング時と同様に、ADC(A/D変換部)36によりRAW−RGBデータに変換される。
そして、このRAW−RGBデータは、信号処理部のCMOSインターフェース40に取り込まれ、YUV変換部42でYUVデータに変換されて、メモリコントローラ41を介してメモリ(SDRAM)25に保存される。また、このYUVデータはメモリ(SDRAM)25から読み出されて、リサイズ処理部43で記録画素数に対応するサイズに変換され、データ圧縮処理部45でJPEG形式等の画像データへと圧縮される。圧縮されたJPEG形式等の画像データは、メモリ(SDRAM)25に書き戻された後にメモリコントローラ41を介してメモリ(SDRAM)25から読み出され、メディアインターフェース46を介してメモリカード14に保存される。
ii.ブロック毎にかけるゲイン(デジタルゲイン)制御
(ii−1).ゲイン設定方法
上述した撮影において、外光だけで撮影を行うと主被写体が露光不足となる場合に、露光量を補うために補助光を発光して撮影するストロボ撮影を行うことがある。このような外光のみによる撮影の露光不足がストロボ発光条件のとき、ストロボ発光に伴い適正な明るさの画像を得るための撮像処理について以下に説明する。
・分割ブロックの中心画素のゲイン設定
図4(a)は適正な明るさの撮影画像を示したものである。また、図4(b)は、ストロボ発光条件の撮像に際して、ストロボから異なる距離にある複数の被写体をストロボ発光で一定の光量の照明光で照明して撮影し、撮影した画像に何らゲイン処理を施さない状態で得られた撮影画像の説明図である。この図4(b)では、被写体が遠くなるほど明るさが暗くなっている。
図5(a)は撮影画像の説明図で、図5(b)は図5(a)の撮影画像を格子状のブロックに分けて各ブロックにゲイン値を設定した例を示す説明図である。
この図5(a)の撮影画像を得るには、撮像画像を複数(多数)の格子状のブロックに分割し、この分割した各ブロックのゲイン値を設定し、設定したゲイン値に基づいてストロボ撮影した撮影画像をゲイン処理する。
このゲイン処理に際して信号処理部20aの分割増幅機能部47は、原則的には撮像画像を複数(多数)の格子状のブロックに分割し、この分割した各ブロックの中心画素の明るさを求め、この求めた中心画素の画素明るさから中心画素のゲイン値を設定する。
・分割ブロックの中心画素の以外の注目画素のゲイン設定
また、信号処理部20aの分割増幅機能部47は、各ブロックにおいて各ブロックの中心画素以外の注目画素のゲインについて求める場合、隣接するブロックの中心画素のゲイン値から線形補間によって算出する。
この際、信号処理部20aの分割増幅機能部47は、注目画素が含まれるブロックをこのブロックの中心画素を中心として4つの象限に分け、注目画素が4つの象限のいずれにあるかで、注目画素が含まれるブロック以外に線形補間に用いる3つのブロックを選択し、選択した3つのブロックの中心画素と注目画素が含まれるブロックの中心画素から、注目画素のゲイン値を線形補間により算出する。
例えば、図6において、注目画素が含まれるブロックをB5としたとき、ブロックB5を中心画素P5を中心として4つの象限I,II,III,IVに分け、注目画素が象限I,II,III,IVのいずれにあるかで、注目画素が含まれるブロック以外に線形補間に用いる3つのブロックを選択させる。そして、注目画素が含まれるブロックの中心画素と選択された3つのブロックの中心画素から注目画素のゲイン値を線形補間により算出する。
P1〜P9は、各ブロックB1〜B9の中心画素を表しているものとする。
いま、P5が注目ブロックにおける中心画素のとき、注目ブロックB5内の注目画素Q1,Q2について考える。
注目画素Q1はブロックB5の象限IIIに位置しているので、注目画素Q1に最も近い他のブロックはB4,B7,B8である。従って、注目画素Q1のブロック中心画素はP4,P5,P7,P8であるため、Q1における明るさ補正ゲインは、この4点における明るさ補正最終ゲインの、Q1との距離による加重平均を求めることで算出する。
同様に、注目画素Q2はブロックB5の象限Iに位置しているので、注目画素Q1に最も近い他のブロックはB2,B3,B6である。従って、注目画素Q2に最も近いブロック中心画素はP2,P3,P5,P6であるため、Q2における明るさ補正最終ゲインは、この4点における明るさ補正最終ゲインの、Q2との距離による加重平均を求めることで算出する。
(ii−2).ストロボ影響度に基づいたゲイン(デジタルゲイン)の設定の制御1
ストロボ撮影をする際、(ii−1)のゲイン設定方法を用いて図7のストロボ影響度に基づいたゲインを設定して、ストロボ撮影した撮影画像のゲイン処理を行うことにより、図5(a)の適正な明るさの画像を得ることができる。
尚、図8は、ストロボからの距離とゲインとの関係を示したゲイン特性線を示したものである。この図8から分かるように、ストロボからの距離が遠いほどゲインが強くなる傾向にある。
この図7,図8および図9に示したフローに基づいて、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49によるストロボ影響度の判断および、このストロボ影響度に基づいたゲインの設定について説明する。
演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、CMOSセンサ32のマトリックス状の画素から得られる画像の光量が低いために、適正な撮影画像が得られない場合、ストロボ23を発光する必要がある。このようなストロボ発光条件のときにユーザーがカメラに対して撮影操作を実行すると、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、まずプリ発光を実施して本発光の光量を算出しようとする。
このストロボ発光条件の場合において、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、撮影操作を受け付けると、まずストロボ23によるプリ発光前の輝度情報をCMOSセンサ32のマトリックス状の画素から得られる撮影画像(画像データ)から求めて、メモリ(SDRAM)25に保存する(S1)。
この輝度情報は、撮像画像を格子状のブロックに分割し、各ブロックごとでブロック内のY値(輝度値)を平均したものである。
その後、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、プリ発光用の発光量と露出制御値を決定し、ストロボ23のプリ発光を実行する(S2)。
そして、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、このストロボ23のプリ発光時に、ストロボ23のプリ発光前と同様にして、ストロボ23のプリ発光による被写体の輝度情報をCMOSセンサ32のマトリックス状の画素から得られる撮影画像(画像データ)から取得して、プリ発光時の輝度情報としてメモリ(SDRAM)25に保存する(S3)。
この後、演算制御回路(CPU)20bは、プリ発光時の輝度情報に基づき、本発光時に必要な発光量を決定する(S4)。
次に、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、プリ発光前とプリ発光時の輝度情報から、ストロボ影響度を算出する(S5)。
ストロボ影響度は、プリ発光時の輝度情報とプリ発光前の輝度情報との差分から、各ブロックごとに求められ、輝度情報の差分が大きいほど、ストロボ影響度が高くなる。
ストロボ影響度を算出すると、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は各ブロックごとにかけるべきゲイン値を算出する(S6)。ここで、かけるべきゲイン値は、図7に示すように、ストロボ影響度が高いほどゲイン値は小さく、ストロボ影響度が低いほどゲイン値が大きくなるように設定する。例えば図5(a)のようなシーンの撮影画像の場合、図5(b)のように撮影画像を格子状の多数のブロックに分割して、分割した各ブロックごとにゲイン値が設定される。
このゲイン値は(ii−1)のゲイン設定処法を用いて設定される。例えば、複数の被写体として複数の顔画像がある範囲では注目画素のゲインを設定し、他の範囲では中心画素のゲインを設定する等のゲイン設定を実行できる。このゲイン設定は、演算制御回路20bにより行われる。
図5(b)のブロックごとに書かれている数値は、ゲインの大きさを表している。ストロボの影響度が低い、すなわち、ストロボからの距離が遠いほど、ゲインが強くなり、手前の人物のブロックはゲインが1倍だが、遠くなるほどゲインが大きくなり、奥の壁ではゲインが5倍となる。
なお、図5においてはブロック分割を簡略化して16×12としているが、実際にはより細かく分割してもよい。
ゲイン値が求まると、S4で決定した発光量で、本発光と静止画露光を実行する(S7)。
画像データは信号処理部でゲインがかけられるが、このとき、S6で算出したゲイン値が、ブロックごとにかけられる(S8)。
信号処理部でその他の画像処理が実行され、画像データはメモリに記録される(S9)。
距離の異なる被写体に対してストロボ撮影を実施すると、通常は図4(b)のように、被写体が遠くなるほどストロボ光が届かず、暗くなってしまうが、このような処理を実施すると、ストロボ影響度に基づいて画像内で適切なゲインがかけられ、図4(a)のように適正な明るさの画像を得ることができる。
(実施例2)
実施例1では測距用の補助撮像光学系による測距に基づくゲイン設定を行っていないが、測距に基づくゲイン設定を行うこともできる。この測距に基づくゲイン設定の実施例を図10〜図18に基づいて説明する。
図10は一つの専用のAFレンズRを測距用として有する補助撮像光学系(AF用光学系)8が設けられたデジタルカメラ1の正面側の外観図、図11は図10のデジタルカメラ1の背面側の外観図である。また、図12は図10のデジタルカメラ1の概略内部構造図を示し、図13は図12の主光学系である撮像レンズ30aをAFレンズに兼用する場合の光学系の説明図である。
更に、図14は図13の主光学系の撮像レンズ30aとAFレンズaf_Lによる測距の説明図、図15は図13のCMOSセンサ32の出力信号とAFレンズaf_Lからの光束を受光する受光センサの出力信号を測距に用いる場合の説明図である。
また、図16は二つのAFレンズR,Lを測距用の補助撮像光学系8として有するデジタルカメラ1の正面側の外観図、図17は図16のデジタルカメラ1の概略内部構造図を示したものである。この補助撮像光学系(AF用光学系)8は、図17に示したように、二つのAFレンズ(AF用補助撮像光学系)L,Rと、この二つのAFレンズaf_L,af_Rからの光束を受光する第1,第2の測距用撮像素子(測距用の第1,第2受光センサ)SL,SRを有する。
ところで、図13では、焦点距離fLの撮像レンズ30aと焦点距離fRのAF専用のAFレンズR、及び、撮影用のCMOSセンサ32と測距用撮像素子SRを用いて、測距を行うようにしている。この図13の撮像レンズ30aを測距に用いる場合には図13の撮像レンズ30aは図17の専用のAFレンズaf_Lと実質的に同じに用いられ、図13のCMOSセンサ32を測距に用いる場合には図13のCMOSセンサ32は図17の第1の測距用撮像素子SLと実質的に同じに用いられる。
この図13の撮像レンズ30aおよびCMOSセンサ32を測距用に用いた場合と、図17の専用のAFレンズaf_L,レンズaf_Rを用いた場合、被写体までの距離を求める方法が少し異なるのみで、被写体までの距離を求めることができるので、図13のCMOSセンサ32を図17の第1の測距用撮像素子SLと同じ符号を付して、先ず図13〜図15によりCMOSセンサ32(L)およびAFレンズR測距を説明する。
尚、図13の撮像レンズ30aは、撮像のための主レンズであり、AFレンズRとは撮像倍率が異なるので、撮像レンズ30aをAFレンズaf_LとしCMOSセンサ32を第1の測距用撮像素子(測距センサ)SLとして説明する際、撮像倍率等を考慮した説明とする。
この図13では、撮像レンズ30aおよびCMOSセンサ32とAFレンズRおよび測距用撮像素子SR等を備える構成が、デジタルカメラ1から被写体までの距離を算出する測距装置Dx1として用いられる。また、図17では、AFレンズaf_L,af_Rおよび第1,第2の測距用撮像素子(測距センサ)SL,SR等を備える補助撮像光学系8の構成が、デジタルカメラ1から被写体までの距離を算出する測距装置Dx2として用いられている。
(1).主光学系の撮像レンズ30a,CMOSセンサ32を測距に用いる場合
この図13において、AFレンズaf_L、af_Rの間隔を基線長Bとし、AFレンズaf_L(撮像レンズ)を介して被写体Oからの光束を受光する撮影用のCMOSセンサ32を測距用の第1の測距用撮像素子SLと、AFレンズRを介して被写体Oからの光束を受光する第2の測距用撮像素子SRとしている。 mは図13のAFレンズaf_L、af_Rの焦点距離fL、fRの比で、
m=fL/fR
fL=m*fR
である。
各AFレンズaf_L,af_Rで測距したい被写体像(図13の被写体Oの像)が基線長Bを基準に夫々dL、dRの位置の第1、第2の測距用撮像素子SL,SRに結像している。この基線長BはAFレンズaf_L(撮像レンズ),af_Rの光学中心間距離である。
ここで、被写体OからAFレンズaf_Lの中心を通る光が第1の測距用撮像素子SLに入射する位置とAFレンズaf_Lの光軸OLとの距離をdLとし、被写体OからAFレンズRの中心を通る光が第2の測距用撮像素子SRに入射する位置とAFレンズRの光軸ORとの距離をdRとすると、距離dL,dRは基線長Bの上に位置している。この基線長Bのうえの距離dL,dRを用いて、第1の測距用撮像素子SLから被写体Oまでの距離Lを求めると、この距離Lは以下の式となる。
L={(B+dL+dR)*m*fR}/(dL+m*dR) ・・・式1
主レンズとは別にfL、fRがfで等しい専用のAF光学系の場合は、式1が
L={(B+dL+dR)*f}/(dL+dR) ・・・式2
となる。
式1においては、左右のレンズの焦点距離すなわちAFレンズaf_L,af_Rの焦点距離が異なっていてもよく、AFレンズaf_Lが撮影用の主レンズと兼用であってもよい。
このように基線長基準での距離dL及びdRを測定することで基線長Bから被写体Oまでの距離Lを知ることができる。
しかも、図13においては第1の測距用撮像素子SLにはCMOSセンサ32を用いているので、第1の測距用撮像素子SLからは図14に示した主画面像50が得られ、第2の測距用撮像素子SRからは図14に示したAF像51が得られる。
この際、図13の被写体Oを例えば図14に示したような立木52とした場合、第1の測距用撮像素子SLには立木の像がAFレンズaf_Lにより被写体像(主要被写体像)として結像され、第2の測距用撮像素子SRには立木の像がAFレンズaf_Lにより被写体像として結像される。そして、第1の測距用撮像素子SLからは図14に示した立木の像52aが主画面像50に被写体像として得られ、第2の測距用撮像素子SRからは図14に示した立木の像(被写体像)52bがAF像51として得られる。
ここで、第1の測距用撮像素子SLに結像される立木の像52aは図11の液晶モニタ9(表示部)に正立像として表示される。
この撮影に際して、撮影者は主画面像50の立木の像52aの中央部を測距するべく、図14のように液晶モニタ9に表示される立木の像52aの中央部が表示部である液晶モニタ9に表示されたAFターゲットマークTmに一致するように、立木の像52aをAFターゲットマークTmに液晶モニタ9の上で設定する。このAFターゲットマークTmは、画像処理により液晶モニタ9に表示させたものである。
尚、AF像は、主画面像(主画面)50の画角とは関係なく得られている。次に主画面像50は、AF像51との一致度合いを調べるために、主レンズ(撮像レンズ)であるAFレンズaf_LとAFレンズaf_Rの焦点距離比で縮小され、縮小主画面像50aにされる。画像の一致度合いは、対象とする2つの画像データの輝度配列の差分の総和によって算出する。この総和を相関値と称する。
この際、縮小主画面像50aの立木の像52aがAF像51のどの位置に当たるか(立木の像52bがある位置)を像データの相関値よって求める。即ち、縮小主画面像50aにおける立木の像52aの位置を特定して、この立木の像52aの位置に対応する位置をAF像51内において、像データの相関値によって求める。この場合の像データは、上述したAFレンズ(撮像レンズ30a)af_Lの光軸OLとAFレンズaf_Rの光軸ORとの距離、AFレンズaf_Lの焦点距離、AFレンズaf_Rの焦点距離、AFレンズaf_L、af_Rの焦点距離比等を用いて求めることができる。
図15は、AF用の被写体像の検出の説明図である。この図15では、図14の第1,第2の測距用撮像素子SL,SRに倒立像として結像される立木の像52a,52b(AF用の被写体像)を見やすくするために、正立させると共に、AFレンズaf_L,af_Rの光軸OL,ORを一致させている。この図15を用いて、実際に第1の測距用撮像素子SLに結像された主画面像50の映像エリアを第2の測距用撮像素子SRに結像されたAF像51内から探す手法について説明でする。
主画面データすなわち主画面像50のデータは、水平座標をx,垂直座標をyとするとYm1[x][y]の2次元配列で表すことができる。この主画面データの値を、AFレンズaf_L(撮像レンズ)を有する主光学系とAFレンズRを有するAF光学系の倍率差として縮小主画面像50aにし、この縮小主画面像50aのデータをYm2[x][y]配列(2次元配列)に格納する。
AF像51のデータは、水平座標をk、垂直画像をlとすると、afY[k][l]配列(2次元配列)で表すことができる。Ym2[x][y]配列の相等の輝度配列がAF像51内のどのエリアにあるか即ちafY像のafY[k][l]配列のどの位置あるかを、afY[k][l]配列のデータとYm2配列[x][y]のデータとを比較走査して探索する。
具体的には、afY[k][l]配列で得られるafY像をYm2配列と同じ大きさのエリア内で求めることで、afY[k][l]配列で得られるafY像とYm2配列で得られる像(画面データ)との相関値を求める。この配列同士の相関値を求める演算を相関演算とする。
この相関値が最も小さいところが、afY像内でYm2と同様の画面データがある個所といえる。
Ym2[x][y]は水平400×垂直300であったとする。
また、afY[k][l]が 900×675とする。
例えば、afY像中でYm2が左上にあったと想定した場合のニ像の相関値は以下で求める。
以下の式1で まず l=0、k=0〜500 で行い、次に l=1、k=0〜500 を行い総和の相関値を求めていく。(k=500の時、縮小主画面像50aと同じ範囲がAF像51の左端になる)
相関値=Σ( |Ym2[x][y]−afY[k+x][l+y] | ) ・・・式3
これを l=0 〜375 まで行う。(l=375の時が縮小主画面像50aと同じ範囲がAF像51の下端になる)
以上により、もしYm2とafY[k][l]配列のデータの一致度が高い場合は、相関値は非常に小さい値になる。
このようにして、主画面像50とは画角の異なるAF像51内で主画面像50と同じ画角範囲を求める。この処理を相関比較とする。
そして、図15に示したように、縮小主画面像50a内で使用者が測距したかった任意の個所が立木の像52aの中央部である場合、縮小主画面像50a内の立木の像52aのコントラストがピークPk1になる部分を第1の測距用撮像素子(測距用の第1受光センサ)SLであるCMOSセンサ32の画像信号から求めることで、立木の像52aをAF像として特定することができる。また、同様に、AF像51のでの立木の像50bのコントラストがピークPk2になる部分をAFセンサRの画像信号から求める。また、その個所の基線長基準に対するdR及びdL‘も分ることになる。
尚、上述の例では、縮小主画面像50aのデータの被写体像(AF像)の位置を求めて、この縮小主画面像50aの被写体像(AF像)の位置に対応する被写 体像をAF像51内で検索して、主画面像50内の任意個所のAF像(被写体像)をAF像51内の個所を特定できるようにしたが、相関値を求める座標を間引いたりしても良い。
更に、縮小主画面像50aの測距したい個所についてだけAF象51内で相関検索して、AF像51内での被写体像の個所を確定しても良い。尚、相関値は画素分解能で行われるため、図15のdR、dL’もAF像の画素の単位となる。dL’については、縮小されたものであるので、縮小倍率分を拡大してdLにする。
(2).二つのAFレンズR,Lを測距に用いる場合
また、上述したように、AFレンズaf_Lに主光学系の撮像レンズ30aを用いず、AF専用の焦点距離も同じ2つの光学系を使用した場合も同様の方式で行える。図16の測距用の補助撮像光学系(AF用光学系、測距装置)8は、図17に示したように、AF専用の焦点距離も同じ2つの光学系として二つのAFレンズaf_L,af_Rを用い、立木の像(被写体)52からの光束を二つのAFレンズaf_L,af_Rを介して図18に示したように測距センサーである第1,第2の測距用撮像素子(測距用の第1,第2受光センサ)SL,SRで受光させるようにしている。
図13,図14では、撮像レンズ30aをAFレンズaf_Lとしているが、図16では図13,図14の撮像レンズ30aに代えて専用のAFレンズaf_Lを設けたものである。この図16では、専用のAFレンズaf_Lと図13,図14のAFレンズaf_Rで測距用の補助撮像光学系(AF用光学系、測距装置)8を構成している。この二つの専用のAFレンズaf_L,af_Rの関係は、図13,図14のAFレンズaf_Lとして用いる撮像レンズ30aとAFレンズaf_Rとの関係と実質的に同じであり、図13,図14と図16では第1,第2の測距用撮像素子(測距用の第1,第2受光センサ)SL,SRの関係も同じである。
このような専用の二つのAFレンズaf_L,af_Rを用いる方式では、図18に示したように、まず主光学系である撮像レンズ30aの主画面像50を補助撮像光学系8との倍率比で縮小した縮小主画面像50aを作成し、その中の測距した個所をAFレンズaf_L,AFレンズaf_RのAF像51L,51Rの立木の像(被写体像)52bL,52bRの夫々から相関演算で求め、dL、dRを測定する。
補助撮像光学系(AF用光学系)8のAFレンズ(AF用補助撮像光学系)af_L,af_Rは比較的焦点深度が大きく設計されている。これに対して主画面像50の深度は大きくないため、主画面像50のぼけが大きい場合は、AF像51L,51Rの立木の像52bL,52bRとの相関精度が悪い、即ち、画像位置が一致する箇所においても相関値が小さくならない場合もある。
主画面像50とAF像51L,51Rとの相関は、AF像51L,51R内の測距したい個所の概略特定までとし、その個所の測距は、焦点深度の大きい、また 焦点距離の同じAF専用のAFレンズaf_L,af_RによるAF像同士すなわち立木の像(被写体像)52bL,52bR同士の相関で求めることも良い。
以上のようにすることで、主画面像50上の任意の位置個所をAF像51L,51R内でも決めることができ、そのAF像51L,51Rの位置の画像データで、AF用光学系の左右2像(立木の像52bL,52bR)の相関比較を行うことでその個所の測距ができる。
これにより、主画面とはパララックス(視差)のあるAF像からでも、主画面の絶対位置に正確にあった測距データを求めることができる。
また、上述した実施例では、主光学系とAF光学系の焦点距離比をmとしたが、縮小主画面の倍率をm付近の数種類作成し、最も相関値が小さい倍率を実倍率として求め、式1に適用することもできる。このようなことで机上設計値ではなく、実画像に即した値を使用し、より正確な測距が可能となる。
(実施例3)
次に、測距情報とストロボ影響度に基づいた図2の演算制御回路(CPU)20bによるゲイン(デジタルゲイン)の設定を図19のフローチャートに基づいて説明する。
先ず、ユーザーがデジタルカメラ1に対して撮影操作を実行すると、図2の演算制御回路(CPU)20bの距離算出部48は第1,第2の測距用撮像素子(測距センサ)SL,SRの出力に基づいてデジタルカメラ1から被写体までの2次元の距離情報を取得する(S21)。
この後、演算制御回路20bの距離算出部48は、ストロボ発光条件の場合、上述したステップS2と同様にプリ発光を実施して本発光の光量を算出しようとする。
そして、演算制御回路(CPU)20bは、撮影操作を受け付けると、プリ発光前の輝度情報をCMOSセンサ32の出力から露出情報として求めてメモリ(SDRAM)25に保存し、プリ発光用の発光量と露出制御値を決定し、ストロボ23のプリ発光を実行する(S22)。
このプリ発光による照明光は被写体に照射されて反射し、この被写体からの反射光による被写体像が撮像レンズ30aを介してCMOSセンサ32に結像される。この際、演算制御回路20bは、CMOSセンサ32の出力から被写体の輝度情報を取得する。この輝度情報は、信号処理部20aの分割増幅機能部47により撮像画像を図5(b)に示したように格子状のブロックB(xi,yi)[i=0,1,2・・・n]に分割して、各ブロックB(xi,yi)ごとでブロック内の複数の画素のY値(輝度値)を平均したものである。
そして、演算制御回路20bは、プリ発光時の輝度情報に基づき、本発光時に必要な発光量を決定する(S23)。
次に、分割増幅機能部47は、ステップS21で取得した2次元の距離情報から、ブロックB(xi,yi)ごとに必要なゲイン値を算出する(S24)。この際、演算制御回路20bのストロボ照射影響度判断機能部49は、プリ発光時の輝度情報とプリ発光前の輝度情報との差分をストロボ影響度として算出する。このストロボ影響度は各ブロックB(xi,yi)ごとに求められ、この輝度情報の差分が大きいほどストロボ影響度が高くなる。
そして、演算制御回路20bのストロボ照射影響度判断機能部49は、ストロボ影響度を算出すると、各ブロックB(xi,yi)ごとにかけるべきゲイン値を算出する(S26)。ここで、かけるべきゲイン値は、図8に示すように、ストロボからの距離の2乗に比例して、距離が遠いほどゲイン値は大きく、距離が近いほどゲイン値は小さくなるように設定する。
このゲイン値が求まると演算制御回路20bは、ステップS23で決定した発光量で、ストロボ23の本発光と静止画露光を実行し(S25)、ストロボ23からの照明光を被写体に照射する。この被写体からの照明光の反射光は、撮像レンズ30aを介してCMOSセンサ32に被写体像を結像させる。これにより、演算制御回路20bは、CMOSセンサ32の出力信号(画像信号)から画像データを取得すると共に、信号処理部20aを駆動制御して、この信号処理部20aにより取得した画像データにゲインをかける。この際、ステップSS24で算出したゲイン値が、ブロックB(xi,yi)ごとにかけられる(S26)。信号処理部20aでその他の画像処理が実行され、画像データはメモリ(SDRAM)25に記録される(S27)。
このような処理を実施すると、信号処理部20aの分割増幅機能部47は、ストロボ照射影響度判断機能部49により求められたストロボ影響度に基づいて、画像内で各ブロック毎に適切なゲインをかけ、距離の異なる複数の被写体において、適正な明るさの画像を得ることができるようにする。
尚、ストロボ撮影による適正な画像を得るため撮影方法を行うものとしては、特許3873157号公報(文献)の電子カメラ装置や特開2009−094997号公報(文献)の撮像装置も知られている。この特許3873157号公報の電子カメラ装置では、複数の被写体に対してそれぞれに最適な発光量を算出し、連続してそれぞれに最適な発光量で発光して撮影し、撮影画像を合成するようにしている。しかし、複数枚撮影するため、合成ずれが発生したり、撮影・合成に時間がかかってしまったり、また、連続して複数回発光するため、ストロボ用に大きめのコンデンサが必要となってしまうので、上述した本願の発明の実施の形態におけるような作用・効果は得られない。また、特開2009−094997号公報の撮像装置では、プリ発光なしの撮像信号とプリ発光ありの撮像信号に基づいて、ストロボ光が寄与するブロックとそうでないブロックに分割し、それぞれで最適なホワイトバランスゲインをかけるようにしている。しかし、このような文献の撮像装置では、画像全体の輝度の差については考慮していないため、必ずしも適正な画像が得られるものではないので、上述した実施例におけるような作用・効果は得られない。
(補足説明1)
以上説明したように、この発明の実施の形態の撮像装置は、被写体を撮像する撮像素子(CMOSセンサ32)と、前記被写体に照明光を照射させるストロボ23と、前記撮像素子(CMOSセンサ32)の出力信号から撮像画像の前記被写体の光量が露光不足である場合に、前記ストロボ23を発光制御させて前記被写体に照明光を照射させる制御装置(システム制御装置20)を、備える。また、前記制御装置(システム制御装置20)は、前記撮像画像を格子状の複数のエリアに分割して前記分割した各ブロックごとにデジタルゲインをかけることができる分割増幅機能と、前記分割増幅機能と同様に格子状に分割したブロックごとにストロボの照射影響度を判断するストロボ照射影響度判断機能と、を有する。しかも、前記制御装置(システム制御装置20)は、前記ストロボ23を照射して撮影する際に、前記ストロボ照射影響度判断機能で判断した分割ブロックごとのストロボ照射影響度に応じて、前記分割増幅機能で分割したブロックごとにかけるデジタルゲインの値を決定するようになっている。
この構成によれば、デジタルゲインをかけることができる分割増幅機能とストロボ照射影響度判断機能により、複数の被写体が異なる距離にいるようなシーンでも、ストロボの効果を均一に得ることができる。
(補足説明1−1)
また、この発明の実施の形態の撮像装置は、被写体を撮像する撮像素子(CMOSセンサ32)と、前記撮像素子(CMOSセンサ32)から出力される撮像画像の画像信号を処理する信号処理部20aと、前記被写体に照明光を照射させるストロボ23と、前記被写体の光量が露光不足である場合に前記ストロボ23を発光制御させて前記被写体に照明光を照射させるメイン制御装置(演算制御回路20b)を、備えることができる。しかも、前記信号処理部20aは前記撮像画像を格子状の複数のエリアに分割して前記分割した各ブロックごとにデジタルゲインをかけることができる分割増幅機能を有し、前記メイン制御装置(演算制御回路20b)は前記分割増幅機能と同様に格子状に分割したブロックごとにストロボの照射影響度を判断するストロボ照射影響度判断機能を有することができる。また、前記メイン制御装置(演算制御回路20b)は、前記ストロボを照射して撮影する際に、前記ストロボ照射影響度判断機能で判断した分割ブロックごとのストロボ照射影響度に応じて、前記分割増幅機能で分割したブロックごとにかけるデジタルゲインの値を決定するようにできる。
この構成によれば、信号処理部20aのデジタルゲインをかけることができる分割増幅機能とメイン制御装置(演算制御回路20b)のストロボ照射影響度判断機能により、複数の被写体が異なる距離にいるようなシーンでも、ストロボの効果を均一に得ることができる。
(補足説明2)
また、この発明の実施の形態の撮像装置において、前記制御装置(システム制御装置20)の前記ストロボ照射影響度判断機能は、ストロボを本発光する前に実施する予備発光時の撮像画像から得られるY値(輝度値)と、予備発光直前の撮像画像から得られるY値(輝度値)とを比較することで、ストロボの影響度を判断する
この構成によれば、複数の被写体が異なる距離にいるようなシーンでも、ストロボの効果を均一に得ることができる。
(補足説明3)
また、この発明の実施の形態の撮像装置は、前記分割ブロックごとに被写体との距離を算出する距離算出手段(距離算出部48)を更に有する。しかも、前記制御装置(システム制御装置20)の前記ストロボ照射影響度判断機能は、前記距離測定手段で測定される分割ブロックごとの被写体との距離に応じてストロボの影響度を判断する。
この構成によれば、複数の被写体が異なる距離にいるようなシーンでも、ストロボの効果を均一に得ることができる。
(補足説明4)
また、この発明の実施の形態の撮像装置において、前記距離算出手段(距離算出部48)は、2次元平面上で測距結果を算出することが可能な測距センサ[図13のCMOSセンサ(測距センサ)32及び測距用撮像素子(測距センサ)R、又は、図17の第1,第2の測距用撮像素子(測距センサ)SL,SR]を使用して距離算出をするようになっている。
この構成によれば、高速・高精度で2次元平面の距離算出を実現する。
(補足説明5)
また、この発明の実施の形態の撮像装置において、前記距離算出手段(距離算出部48)は、コントラストAFを実施して各分割ブロックごとにコントラストピーク位置に基づき距離算出をする。
この構成によれば、低コストで2次元平面の距離算出を実現する。
(補足説明6)
また、この発明の実施の形態の撮像装置において、前記制御装置(システム制御装置20)の前記分割増幅機能は、複数に分割され且つ複数の画素を有する各ブロック(B1〜B9)の中心画素(P1〜P9)にデジタルゲインを設定して各ブロック(B1〜B9)のデジタルゲインとし、各ブロック(B1〜B9)における中心画素(P1〜P9)以外の画素の輝度が隣接する画素間で輝度差が生じないように、各ブロック(B1〜B9)の中心画素(P1〜P9)以外の画素(例えば、ブロックB5のQ1,Q2)のデジタルゲインを隣接するブロック(B1〜B4,B6〜B9)の中心画素(P2〜P4,P7〜P8)のデジタルゲインからの距離に応じて補間して決定される。
この構成によれば、ゲインの変化を滑らかにかけることで、画像に光量差による段差がでないように抑制できる。
1 デジタルカメラ(撮像装置)
20 システム制御装置
20a 信号処理部
20b 演算制御回路(メイン演算制御回路)
21 操作部
23 ストロボ
25 メモリ
30 主要撮像光学系
Dx1 測距装置
Dx2 測距装置(補助撮像光学系)
47 分割増幅機能部
48 距離算出部
49 ストロボ照射影響度判断機能部
50 主画面像
50a 縮小主画面像
51 AF像
52 立木(被写体)
52a 立木の像(被写体像)
52b 立木の像(被写体像)
af_L AFレンズ
af_R AFレンズ
SL 第1の測距用撮像素子(測距用の第1受光センサ)
SR 第2の測距用撮像素子(測距用の第2受光センサ)
P1〜P9 中心画素
B1〜B9 ブロック
Q1,Q2 注目画素(中心画素以外の画素)
特開2011−095403
本発明は、撮像装置に関し、詳細には、ストロボ調光制御機能を有する撮像装置に関する。
従来より、カメラ等の撮像装置において、外光だけで撮影を行うと主被写体が露光不足となる場合に、露光量を補うために補助光を発光して撮影するストロボ撮影を行うことがある。
しかし、ストロボによる照射の影響は、ストロボから近いほど強く、ストロボから遠いほど弱くなるため、例えば主被写体が適正な明るさになったとしても背景は暗くなったり、撮影したい主要被写体が複数ある場合に、主要被写体それぞれのストロボからの距離が一定でない場合、どれかひとつの主要被写体のみが適正な明るさとなり、他の主要被写体が適正な明るさにならない。
このような問題に対処するため、撮影したい複数の被写体の距離差を算出し、距離差が小さければストロボ光を大きめにし、距離差が大きければストロボ光を小さめにしてゲインをかけることで光量を補うようにした撮像装置が知られている(例えば、特許文献1参照)。この撮像装置では、複数の被写体を撮影する際に、被写体間の距離差が大きいほどストロボを発光したときにストロボの影響度が被写体ごとに異なり、輝度差が生じやすいことから、被写体間の距離差が小さいときにはストロボ光を大きめにし、被写体間の距離差が大きいときにはストロボ光を小さめにして画像に一様に大きめのゲインをかけることで明るさが適正な画像を得る手法を提案している。
しかし、従来の撮像装置では、被写体間の距離差が大きいときはストロボ光を小さくせざるをえず、全体的にゲインも高めになるため、全体としてノイズ感の強い画像になりやすく、ストロボから距離の異なる複数の被写体をストロボ光により撮影する場合に適正な明るさとするのが難しいものであった。
そこで、この発明は、ストロボから異なる距離にある複数の被写体を撮影する場合にも適正な明るさとすることを可能とする撮像装置を提供することを目的とするものである。
この目的を達成するため、この発明は、被写体を撮像する撮像素子と、前記被写体に照明光を照射させるストロボと、前記撮像素子上に形成された撮影画像である被写体像が露光不足である場合に、前記ストロボを発光制御させて前記被写体に照明光を照射させる制御装置を、備える撮像装置であって、前記制御装置は、前記撮影画像を格子状の複数のブロックに分割して前記分割した各ブロックごとにデジタルゲインをかける分割増幅機能と、前記分割増幅機能と同様に格子状に分割したブロックごとにストロボの照明光の照射影響度を判断するストロボ照射影響度判断機能と、を有し、前記ストロボの照明光を照射して撮影する際に、前記ストロボ照射影響度判断機能で判断した分割ブロックごとのストロボ照射影響度に応じて、前記分割増幅機能で分割したブロックごとにかけるデジタルゲインの値を決定することを特徴とする。
このように、撮像領域を格子状のブロックに分割し、各ブロックのストロボ発光による影響度を算出し、算出された影響度に応じたゲインを各ブロックごとでかけるようにすることで、ストロボから異なる距離にある複数の被写体を撮影する場合にも適正な明るさとすることができる。
(a)は本発明の実施形態1に係る撮像装置の一例としてのデジタルスチルカメラを示す正面図、(b)は(a)のデジタルスチルカメラの上面図、(c)は(a)のデジタルスチルカメラの背面図である。 図1(a),図1(b),図1(c)に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。 図2のシステム制御装置のより詳細なブロック図である。 (a)はデジタルカメラから異なる距離にある複数の被写体が適正な明るさの撮影画像を示し、(b)は(a)の複数の被写体をストロボ撮影したときの撮影画像の説明図である。 (a)はデジタルカメラから異なる距離にある複数の被写体が適正な明るさの撮影画像を示し、(b)は(a)の撮影画像を格子状のブロックに分けて各ブロックにゲイン値を設定した例を示す説明図である。 図5(b)の複数のブロックにおけるゲインの算出の説明図である。 ストロボ影響度とゲインとの関係を示す説明図である。 ストロボからの距離とゲインとの関係を示したゲイン特性線図である。 ストロボ影響度の判断および、このストロボ影響度に基づいたゲインの設定の説明のフローチャートである。 一つの専用のレンズを測距用として有する補助撮像光学系が設けられたデジタルカメラの正面側の外観図である。 図10のデジタルカメラの背面側の外観図である。 図10のデジタルカメラの概略内部構造図を示す説明図である。 図12の主光学系である撮像レンズをAFレンズに兼用する場合の光学系の説明図である。 図13の主光学系の撮像レンズとAFレンズによる測距の説明図である。 図13のCMOSセンサの出力信号とAFレンズからの光束を受光する受光センサの出力信号を測距に用いる場合の説明図である。 二つのAFレンズを測距用の補助撮像光学系として有するデジタルカメラ1の正面側の外観図である。 図16のデジタルカメラの概略内部構造図を示した説明図である。 図16,図17の測距用の補助撮像光学系を有する測距の説明図である。 被写体までの距離とストロボ影響度の判断および、このストロボ影響度に基づいたゲインの設定の説明のフローチャートである。
以下、本発明に係る撮像装置の実施の形態を図面に基づいて説明する。
(実施例1)
[構成]
図1(a)は本発明の実施形態1に係る撮像装置の一例としてのデジタルスチルカメラ(以下、「デジタルカメラ」という)を示す正面図、図1(b)は図1(a)のデジタルスチルカメラの上面図、図1(c)は図1(a)のデジタルスチルカメラの背面図である
。また、図2は、図1(a),図1(b),図1(c)に示したデジタルカメラ内の制御回路(システム構成)の概要を示すブロック図である。
<デジタルカメラの外観構成>
図1(a),(b),(c)に示すように、本実施形態に係るデジタルカメラ1はカメラ本体1aを有する。このカメラ本体1aの上面側には、レリーズボタン(シャッタボタン、シャッタスイッチ)2、電源ボタン(電源スイッチ)3、撮影・再生切替ダイアル4が設けられている。
また、図1(a)に示すように、カメラ本体1aの正面(前面)側には、撮像レンズユニットである鏡胴ユニット5、ストロボ発光部(フラッシュ)6、光学ファインダ7、測距用の補助撮像光学系8が設けられている。
更に、図1(c)に示すように、カメラ本体1aの背面側には、液晶モニタ(表示部)9、前記光学ファインダ7の接眼レンズ部7a、広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11、メニュー(MENU)ボタン12、確定ボタン(OKボタン)13等が設けられている。
また、カメラ本体1aの側面内部には、図1(c)に示すように、撮影した画像データを保存するための図2のメモリカード14を収納するメモリカード収納部15が設けられている。
<デジタルカメラ1の撮像システム>
図2はデジタルカメラ1の撮像システムを示したもので、この撮像システムはシステム制御部としてのシステム制御装置(システム制御回路)20を有する。このシステム制御装置20には、デジタル信号処理IC等が用いられている。
このシステム制御装置20は、デジタルカラー画像信号(デジタルRGB画像信号)を処理する画像処理回路(画像処理部)としての信号処理部20aと、この信号処理部20aや各部の制御を行う演算制御回路(CPU即ちメイン制御装置)20bを有する。この信号処理部20aには補助撮像光学系8からの測距信号が入力され、演算制御回路20bには操作部21からの操作信号が入力される。
この操作部21としては、上述したレリーズボタン(シャッタボタン)2、電源ボタン3、撮影・再生切替ダイアル4、広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11、メニュー(MENU)ボタン12、確定ボタン(OKボタン)13等の撮像操作に関連したユーザーが操作可能な操作部分がある。
また、撮像システムは、システム制御装置20により駆動制御される液晶モニタ(表示部)9、メモリカード14、光学系駆動部(モータドライバ)22、ストロボ23を有する。このストロボ23は、図1(a)のストロボ発光部6と、このストロボ発光部6に発光電圧を供給するメインコンデンサ24を有する。更に、撮像システムは、データを一次保存するメモリ25、及び通信ドライバ(通信部)26等を有する。
また、撮像システムは、システム制御装置20により駆動制御される鏡胴ユニット5を有する。
<鏡胴ユニット5>
この鏡胴ユニット5は、主要撮像光学系30と、主要撮像光学系30を介して入射する被写体画像を撮像する撮像部31を有する。
この主要撮像光学系30は、ズーム光学系(詳細図示略)を有する撮像レンズ(撮影レンズ)30aと、入射光束制御装置30bを有する。
撮像レンズ30aは、操作部21の広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11等の操作によるズーム時にズーム駆動されるズームレンズ(図示せず)、レリーズボタン2の半押し操作によるフォーカス時にフォーカス駆動されるフォーカスレンズ(図示せず)を有する。これらの図示しないレンズは、フォーカス時、ズーム時および電源ボタン3のON・OFF操作によるカメラの起動・停止時に、機械的および光学的にレンズ位置を変えるようになっている。この電源ボタン3のON操作によるカメラの起動時には撮像レンズ30aが撮像開始初期位置まで進出し、電源ボタン3のOFF操作によるカメラの停止時には撮像レンズ30aが収納位置に収納される位置に縮小する。これらの構成には周知の構成が採用できるので、その詳細な説明は省略する。
このような撮像レンズ30aのズーム駆動、フォーカス駆動、起動・停止時の駆動制御は、メイン制御部(CPU即ちメイン制御装置)としての演算制御回路20bにより動作制御される光学系駆動部(モータドライバ)22により行われる。尚、演算制御回路20bの動作制御は、光学系駆動部(モータドライバ)22は、操作部21の広角側ズーム(W)スイッチ10、望遠側ズーム(T)スイッチ11、電源ボタン3等からの操作信号に基づいて実行される。
また、入射光束制御装置30bは、図示を省略した絞りユニットおよびメカシャッタユニットを有する。そして、この絞りユニットは被写体条件に合わせて絞り開口径の変更を行うとともに、シャッタユニットは同時露光による静止画撮影のためのシャッタ開閉動作を行うようになっている。この入射光束制御装置30bの絞りユニットおよびメカシャッタユニットも、光学系駆動部(モータドライバ)22により駆動制御される。この構成にも周知の構成が採用できるので、その詳細な説明は省略している。
撮像部31は、主要撮像光学系30の撮像レンズ30a及び入射光束制御装置(絞り・シャッタユニット)30bを介して入射する被写体画像が受光面上に結像する撮像素子(撮像部)としてのCMOSセンサ(センサ部)32と、CMOSセンサ32の駆動部33と、CMOSセンサ(センサ部)32からの出力をデジタル処理して出力する画像信号出力部34を有する。
CMOSセンサ32は2次元にマトリックス配列された多数の受光素子を有している。そして、被写体光学像(被写体像)を受光素子のマトリックス配列上に結像させることにより、受光素子被写体光学像の光量に応じて被写体からの光を電荷に変換し、この電荷が各受光素子に蓄積される。このCMOSセンサ32の多数の受光素子に蓄積された電荷は、駆動部33から与えられる読出し信号のタイミングで画像信号出力部34に出力される。尚、CMOSセンサ32を構成する複数の画素上にRGB原色フィルタ(以下、「RGBフィルタ」という)が配置されており、RGB3原色に対応した電気信号(デジタルRGB画像信号)が出力される。この構成には周知の構成が採用される。
この画像信号出力部34は、CMOSセンサ32から出力される画像信号を相関二重サンプリングして利得制御するCDS/PGA35と、CDS/PGA35の出力をA/D変換(アナログ/デジタル変換)して出力するADC36を有する。このADC36からのデジタルカラー画像信号はシステム制御装置20の信号処理部20aに入力されるようになっている。
<システム制御装置20>
上述したようにシステム制御装置20は、分割増幅機能を有する信号処理部(分割増幅機能)20aと、ストロボ照射影響度判断機能を有する演算制御回路(CPU即ちメイン制御装置)20bを有する。
(信号処理部20a)
この信号処理部20aは、図3に示したように、CMOSセンサ32から画像信号出力部34を介して出力されるRAW−RGBデータを取り込むCMOSインターフェース(以下、「CMOSI/F」という)40と、メモリ(SDRAM)25を制御するメモリコントローラ41と、取り込んだRAW−RGBデータを表示や記録が可能なYUV形式の画像データに変換するYUV変換部42と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部43と、画像データの表示出力を制御する表示出力制御部44と、画像データをJPEG形式などで記録するためのデータ圧縮処理部45と、画像データをメモリカードへ書き込み、又はメモリカードに書き込まれた画像データを読み出すメディアインターフェース(以下、「メディアI/F」という)46を有する。また信号処理部20aは、取り込んだRAW−RGBデータによる撮影画像をゲイン処理等の信号処理のために複数のブロックに分割して、各ブロックごとに信号処理をする分割増幅機能部47を有する。
(演算制御回路20b)
この演算制御回路20bは、操作部21からの操作入力情報に基づき、ROM20cに記憶された制御プログラムに基づいてデジタルカメラ1全体のシステム制御等を行う。
この演算制御回路20bは、被写体までの距離を算出する距離算出部48と、ストロボ照射影響度判断機能部49を有する。
(メモリ25)
メモリ25であるSDRAMには、CMOSI/F40に取り込まれたRAW−RGBデータが保存されると共に、YUV変換部42で変換処理されたYUVデータ(YUV形式の画像データ)が保存され、更に、データ圧縮処理部45で圧縮処理されたJPEG形式などの画像データ等が保存される。
なお、前記YUVデータのYUVは、輝度データ(Y)と、色差(輝度データと青色(B)データの差分(U)と、輝度データと赤色(R)の差分(V))の情報で色を表現する形式である。
[作用]
次に、前記したデジタルカメラ1のモニタリング動作と静止画撮影動作について説明する。
i.基本的撮像動作
このデジタルカメラ1は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
先ず、撮影者が電源ボタン3をONし、撮影・再生切替ダイアル4を撮影モードに設定することで、デジタルカメラ1が記録モードで起動する。電源ボタン3がONされて、撮影・再生切替ダイアル4が撮影モードに設定されたことを制御部が検知すると、制御部である演算制御回路20bはモータドライバ22に制御信号を出力して、鏡胴ユニット5を撮影可能位置に移動させ、かつ、CMOSセンサ32、信号処理部20a、メモリ(SDRAM)25、ROM20c、液晶モニタ(表示部)9等を起動させる。
そして、主要撮像光学系である鏡胴ユニット5の主要撮像光学系30の撮像レンズ30a被写体に向けることにより、被写体からの光が主要撮像光学系(撮像レンズ系)30を通して入射され、この主要撮像光学系30を介して形成される被写体像がCMOSセンサ32の各画素の受光面上に結像する。そして、CMOSセンサ32の受光素子から出力される被写体画像に応じた電気信号(アナログRGB画像信号)は、CDS/PGA35を介してADC(A/D変換部)36に入力され、ADC(A/D変換部)36により12ビット(bit)のRAW−RGBデータに変換する。
このRAW−RGBデータの撮影画像のデータは、信号処理部20aのCMOSインターフェース40に取り込まれてメモリコントローラ41を介してメモリ(SDRAM)25に保存される。
そして、信号処理部(分割増幅機能部)20aは、メモリ(SDRAM)25から読み出したRAW−RGBデータの撮影画像は複数のブロックに分割し、分割されたブロックごとに増幅のためのゲイン(デジタルゲイン)をかける(後述)等、必要な画像処理をかけて、YUV変換部42で表示可能な形式であるYUVデータ(YUV信号)に変換した後に、メモリコントローラ41を介してメモリ(SDRAM)25にYUVデータとして保存させる、分割増幅機能を有する。
そして、メモリ(SDRAM)25からメモリコントローラ41を介して読み出したYUVデータは、表示出力制御部44を介して液晶モニタ(LCD)9へ送られ、撮影画像(動画)が表示される。前記した液晶モニタ(LCD)9に撮影画像を表示しているモニタリング時においては、CMOSインターフェース40による画素数の間引き処理により1/30秒の時間で1フレームを読み出している。
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ(LCD)9に撮影画像が表示されているだけで、まだレリーズボタン2が押圧(半押も含む)操作されていない状態である。
この撮影画像の液晶モニタ(LCD)9への表示によって、撮影画像を撮影者が確認することができる。なお、表示出力制御部からTVビデオ信号として出力して、ビデオケーブルを介して外部のTV(テレビ)に撮影画像(動画)を表示することもできる。
そして、信号処理部20aのCMOSインターフェース40は、取り込まれたRAW−RGBデータより、AF(自動合焦)評価値、AE(自動露出)評価値、AWB(オートホワイトバランス)評価値を算出する。
AF評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、AF動作時(合焦検出動作時)には、撮像レンズ系内の各フォーカスレンズ位置におけるAF評価値を取得して、その極大になる点を合焦検出位置としてAF動作が実行される。
AE評価値とAWB評価値は、RAW−RGBデータにおけるRGB値のそれぞれの積分値から算出される。例えば、CMOSセンサ32の全画素の受光面に対応した画面を256エリアに等分割(水平16分割、垂直16分割)し、それぞれのエリアのRGB積算を算出する。
そして、制御部である演算制御回路20bは、算出されたRGB積算値を読み出し、AE処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件(CMOSセンサ32の電子シャッタ回数、絞りユニットの絞り値等)を設定する。また、AWB処理では、RGBの分布から被写体の光源の色に合わせたAWBの制御値を決定する。このAWB処理により、YUV変換部42でYUVデータに変換処理するときのホワイトバランスを合わせる。なお、前記したAE処理とAWB処理は、前記モニタリング時には連続的に行われている。
そして、前記したモニタリング動作時に、レリーズボタン2が押圧(半押しから全押し)操作される静止画撮影動作が開始されると、合焦位置検出動作であるAF動作と静止画記録処理が行われる。
即ち、レリーズボタン2が押圧(半押しから全押し)操作されると、演算制御回路(制御部)20bからモータドライバ22への駆動指令により撮像レンズ系のフォーカスレンズが移動し、例えば、AF評価値(焦点評価値)が増加する方向にレンズを動かし、AF評価値が最大になる位置を合焦位置とするいわゆる山登りAFと称されるコントラスト評価方式のAF動作が実行される。
AF(合焦)対象範囲が無限から至近までの全領域であった場合、主要撮像光学系(撮像レンズ系)30のフォーカスレンズ(図示略)は、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、CMOSインターフェース40で算出されている各フォーカス位置における前記AF評価値を制御部が読み出す。そして、各フォーカス位置のAF評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
そして、前記したAE処理が行われ、露光完了時点で、制御部からモータドライバ22への駆動指令により入射光束制御装置30bのメカシャッタユニットであるシャッタユニット(図示せず)が閉じられ、CMOSセンサ32の受光素子(多数のマトリックス状の画素)から静止画用のアナログRGB画像信号が出力される。そして、前記モニタリング時と同様に、ADC(A/D変換部)36によりRAW−RGBデータに変換される。
そして、このRAW−RGBデータは、信号処理部20aのCMOSインターフェース40に取り込まれ、YUV変換部42でYUVデータに変換されて、メモリコントローラ41を介してメモリ(SDRAM)25に保存される。また、このYUVデータはメモリ(SDRAM)25から読み出されて、リサイズ処理部43で記録画素数に対応するサイズに変換され、データ圧縮処理部45でJPEG形式等の画像データへと圧縮される。圧縮されたJPEG形式等の画像データは、メモリ(SDRAM)25に書き戻された後にメモリコントローラ41を介してメモリ(SDRAM)25から読み出され、メディアインターフェース46を介してメモリカード14に保存される。
ii.ブロック毎にかけるゲイン(デジタルゲイン)制御
(ii−1).ゲイン設定方法
上述した撮影において、外光だけで撮影を行うと主被写体が露光不足となる場合に、露光量を補うために補助光を発光して撮影するストロボ撮影を行うことがある。このような外光のみによる撮影の露光不足がストロボ発光条件のとき、ストロボ発光に伴い適正な明るさの画像を得るための撮像処理について以下に説明する。
・分割ブロックの中心画素のゲイン設定
図4(a)は適正な明るさの撮影画像を示したものである。また、図4(b)は、ストロボ発光条件の撮像に際して、ストロボから異なる距離にある複数の被写体をストロボ発光で一定の光量の照明光で照明して撮影し、撮影した画像に何らゲイン処理を施さない状態で得られた撮影画像の説明図である。この図4(b)では、被写体が遠くなるほど撮影画像である被写体像の明るさが暗くなっている。
図5(a)は撮影画像の説明図で、図5(b)は図5(a)の撮影画像を格子状のブロックに分けて各ブロックにゲイン値を設定した例を示す説明図である。
この図5(a)の撮影画像を得るには、撮影画像を複数(多数)の格子状のブロックに分割し、この分割した各ブロックのゲイン値を設定し、設定したゲイン値に基づいてストロボ撮影した撮影画像をゲイン処理する。
このゲイン処理に際して信号処理部20aの分割増幅機能部47は、原則的には撮影画像を複数(多数)の格子状のブロックに分割し、この分割した各ブロックの中心画素の明るさを求め、この求めた中心画素の画素明るさから中心画素のゲイン値を設定する。
・分割ブロックの中心画素の以外の注目画素のゲイン設定
また、信号処理部20aの分割増幅機能部47は、各ブロックにおいて各ブロックの中心画素以外の注目画素のゲインについて求める場合、注目画素のゲイン値を隣接するブロックの中心画素のゲイン値から線形補間によって算出する。
この際、信号処理部20aの分割増幅機能部47は、注目画素が含まれるブロックをこのブロックの中心画素を中心として4つの象限に分け、注目画素が4つの象限のいずれにあるかで、注目画素が含まれるブロック以外に線形補間に用いる3つのブロックを選択し、選択した3つのブロックの中心画素と注目画素が含まれるブロックの中心画素から、注目画素のゲイン値を線形補間により算出する。
例えば、図6において、注目画素が含まれるブロックをB5としたとき、ブロックB5を中心画素P5を中心として4つの象限I,II,III,IVに分け、注目画素が象限I,II,III,IVのいずれにあるかで、注目画素が含まれるブロック以外に線形補間に用いる3つのブロックを選択させる。そして、注目画素が含まれるブロックの中心画素と選択された3つのブロックの中心画素から注目画素のゲイン値を線形補間により算出する。
P1〜P9は、各ブロックB1〜B9の中心画素を表しているものとする。
いま、P5が注目ブロックにおける中心画素のとき、注目ブロックB5内の注目画素Q1,Q2について考える。
注目画素Q1はブロックB5の象限IIIに位置しているので、注目画素Q1に最も近い他のブロックはB4,B7,B8である。従って、注目画素Q1のブロック中心画素はP4,P5,P7,P8であるため、Q1における明るさ補正ゲインは、この4点における明るさ補正最終ゲインの、Q1との距離による加重平均を求めることで算出する。
同様に、注目画素Q2はブロックB5の象限Iに位置しているので、注目画素Q2に最も近い他のブロックはB2,B3,B6である。従って、注目画素Q2に最も近いブロック中心画素はP2,P3,P5,P6であるため、Q2における明るさ補正最終ゲインは、この4点における明るさ補正最終ゲインの、Q2との距離による加重平均を求めることで算出する。
(ii−2).ストロボ影響度に基づいたゲイン(デジタルゲイン)の設定の制御1
ストロボ撮影をする際、(ii−1)のゲイン設定方法を用いて図7のストロボ影響度に基づいたゲインを設定して、ストロボ撮影した撮影画像のゲイン処理を行うことにより、図5(a)の適正な明るさの画像を得ることができる。
尚、図8は、ストロボからの距離とゲインとの関係を示したゲイン特性線を示したものである。この図8から分かるように、ストロボからの距離が遠いほどゲインが強くなる傾向にある。
この図7,図8および図9に示したフローに基づいて、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49によるストロボ影響度の判断および、このストロボ影響度に基づいたゲインの設定について説明する。
演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、CMOSセンサ32のマトリックス状の画素から得られる画像の光量が低いために、適正な撮影画像が得られない場合、ストロボ23を発光する必要がある。このようなストロボ発光条件のときにユーザーがカメラに対して撮影操作を実行すると、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、まずプリ発光を実施して本発光の光量を算出しようとする。
このストロボ発光条件の場合において、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、撮影操作を受け付けると、まずストロボ23によるプリ発光前の被写体の輝度情報をCMOSセンサ32のマトリックス状の画素から得られる撮影画像(画像データ)から求めて、メモリ(SDRAM)25に保存する(S1)。
この輝度情報は、撮影画像を格子状のブロックに分割し、各ブロックごとでブロック内のY値(輝度値)を平均したものである。
その後、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、プリ発光用の発光量と露出制御値を決定し、ストロボ23のプリ発光を実行する(S2)。
そして、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、このストロボ23のプリ発光時に、ストロボ23のプリ発光前と同様にして、ストロボ23のプリ発光による被写体の輝度情報をCMOSセンサ32のマトリックス状の画素から得られる撮影画像(画像データ)から取得して、プリ発光時の輝度情報としてメモリ(SDRAM)25に保存する(S3)。
この後、演算制御回路(CPU)20bは、プリ発光時の輝度情報に基づき、本発光時に必要な発光量を決定する(S4)。
次に、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は、プリ発光前とプリ発光時の輝度情報から、ストロボ影響度を算出する(S5)。
ストロボ影響度は、プリ発光時の輝度情報とプリ発光前の輝度情報との差分から、各ブロックごとに求められ、輝度情報の差分が大きいほど、ストロボ影響度が高くなる。
ストロボ影響度を算出すると、演算制御回路(CPU)20bのストロボ照射影響度判断機能部49は各ブロックごとにかけるべきゲイン値を算出する(S6)。ここで、かけるべきゲイン値は、図7に示すように、ストロボ影響度が高いほどゲイン値は小さく、ストロボ影響度が低いほどゲイン値が大きくなるように設定する。例えば図5(a)のようなシーンの撮影画像の場合、図5(b)のように撮影画像を格子状の多数のブロックに分割して、分割した各ブロックごとにゲイン値が設定される。
このゲイン値は(ii−1)のゲイン設定処法を用いて設定される。例えば、複数の被写体として複数の顔画像がある範囲では注目画素のゲインを設定し、他の範囲では中心画素のゲインを設定する等のゲイン設定を実行できる。このゲイン設定は、演算制御回路20bにより行われる。
図5(b)のブロックごとに書かれている数値は、ゲインの大きさを表している。ストロボの照明光の影響度が低い、すなわち、ストロボからの距離が遠いほど、ゲインが強くなり、図5(b)から明らかなように、複数のブロックに分割された手前の人物Mbのブロックはゲインが1倍であるが、遠くなるほどゲインが大きくなり、奥の壁ではゲインが5倍となる。
なお、図5においてはブロック分割を簡略化して16×12としているが、実際にはより細かく分割してもよい。
ゲイン値が求まると、S4で決定した発光量で、本発光と静止画露光を実行する(S7)。
画像データは信号処理部20aでゲインがかけられるが、このとき、S6で算出したゲイン値が、ブロックごとにかけられる(S8)。
信号処理部20aでその他の画像処理が実行され、画像データはメモリに記録される(S9)。
距離の異なる被写体に対してストロボ撮影を実施すると、通常は図4(b)のように、被写体が遠くなるほど被写体にストロボ光が届かず、暗くなってしまうが、このような処理を実施すると、ストロボ影響度に基づいて画像内で適切なゲインがかけられ、図4(a)のように適正な明るさの画像を得ることができる。
(実施例2)
実施例1では測距用の補助撮像光学系による測距に基づくゲイン設定を行っていないが、測距に基づくゲイン設定を行うこともできる。この測距に基づくゲイン設定の実施例を図10〜図18に基づいて説明する。
図10は一つの専用のAFレンズRを測距用として有する補助撮像光学系(AF用光学系)8が設けられたデジタルカメラ1の正面側の外観図、図11は図10のデジタルカメラ1の背面側の外観図である。また、図12は図10のデジタルカメラ1の概略内部構造図を示し、図13は図12の主光学系である撮像レンズ30aをAFレンズに兼用する場合の光学系の説明図である。
更に、図14は図13の主光学系の撮像レンズ30a(AFレンズaf_L)とAFレンズaf_Rによる測距の説明図、図15は図13のCMOSセンサ32の出力信号とAFレンズaf_Rからの光束を受光する受光センサの出力信号を測距に用いる場合の説明図である。
また、図16は二つのAFレンズaf_L,af_Rを測距用の補助撮像光学系8として有するデジタルカメラ1の正面側の外観図、図17は図16のデジタルカメラ1の概略内部構造図を示したものである。この補助撮像光学系(AF用光学系)8は、図17に示したように、二つのAFレンズ(AF用補助撮像光学系)af_L,af_Rと、この二つのAFレンズaf_L,af_Rからの光束を受光する第1,第2の測距用撮像素子(測距用の第1,第2受光センサ)SL,SRを有する。
ところで、図13では、焦点距離fLの撮像レンズ30a(AFレンズaf_L)と焦点距離fRのAF専用のAFレンズaf_R、及び、撮影用のCMOSセンサ32と第2の測距用撮像素子SRを用いて、測距を行うようにしている。この図13の撮像レンズ30aを測距に用いる場合には図13の撮像レンズ30aは図17の専用のAFレンズaf_Lと実質的に同じに用いられ、図13のCMOSセンサ32を測距に用いる場合には図13のCMOSセンサ32は図17の第1の測距用撮像素子SLと実質的に同じに用いられる。
この図13の撮像レンズ30a(AFレンズaf_L)およびCMOSセンサ32を測距用に用いた場合と、図17の専用のAFレンズaf_Laf_Rを用いた場合、被写体までの距離を求める方法が少し異なるのみで、被写体までの距離を求めることができるので、図13のCMOSセンサ32を図17の第1の測距用撮像素子SLと同じ符号を付して、先ず図13〜図15によりCMOSセンサ32(L)およびAFレンズaf_Rによる測距を説明する。
尚、図13の撮像レンズ30aは、撮像のための主レンズであり、AFレンズaf_Rとは撮像倍率が異なるので、撮像レンズ30aをAFレンズaf_LとしCMOSセンサ32を第1の測距用撮像素子(測距センサ)SLとして説明する際、撮像倍率等を考慮した説明とする。
この図13では、撮像レンズ30a(AFレンズaf_L)およびCMOSセンサ32とAFレンズaf_Rおよび第2の測距用撮像素子SR等を備える構成が、デジタルカメラ1から被写体までの距離を算出する測距装置Dx1として用いられる。また、図17では、AFレンズaf_L,af_Rおよび第1,第2の測距用撮像素子(測距センサ)SL,SR等を備える補助撮像光学系8の構成が、デジタルカメラ1から被写体までの距離を算出する測距装置Dx2として用いられている。
(1).主光学系の撮像レンズ30a(AFレンズaf_L),CMOSセンサ32を測距に用いる場合
この図13において、撮像レンズ30a(AFレンズaf_LAFレンズaf_Rの間隔を基線長Bとし、撮像レンズ30a(AFレンズaf_Lを介して被写体Oからの光束を受光する撮影用のCMOSセンサ32を測距用の第1の測距用撮像素子SLと、AFレンズaf_Rを介して被写体Oからの光束を受光する第2の測距用撮像素子SRとしている。 mは図13の撮像レンズ30a(AFレンズaf_LAFレンズaf_Rの焦点距離fL、fRの比で、
m=fL/fR
fL=m*fR
である。
撮像レンズ30a(AFレンズaf_LAFレンズaf_Rで測距したい被写体像(図13の被写体Oの像)が基線長Bを基準に夫々dL、dRの位置の第1、第2の測距用撮像素子SL,SRに結像している。この基線長Bは撮像レンズ30a(AFレンズaf_LAFレンズaf_Rの光学中心間距離である。
ここで、被写体Oから撮像レンズ30a(AFレンズaf_Lの中心を通る光が第1の測距用撮像素子SLに入射する位置と撮像レンズ30a(AFレンズaf_Lの光軸OLとの距離をdLとし、被写体OからAFレンズaf_Rの中心を通る光が第2の測距用撮像素子SRに入射する位置とAFレンズRの光軸ORとの距離をdRとすると、図13,図14から明らかなように距離dL,dRは基線長Bの延長上に位置している。この基線長Bの延長上の距離dL,dRを用いて、第1の測距用撮像素子SLから被写体Oまでの距離Lを求めると、この距離Lは以下の式となる。
L={(B+dL+dR)*m*fR}/(dL+m*dR) ・・・式1
主レンズとは別にfL、fRがfで等しい専用のAF光学系の場合は、式1が
L={(B+dL+dR)*f}/(dL+dR) ・・・式2
となる。
式1においては、左右のレンズの焦点距離すなわち撮像レンズ30a(AFレンズaf_LAFレンズaf_Rの焦点距離が異なっていてもよく、AFレンズaf_Lが撮影用の主レンズと兼用であってもよい。
このように基線長基準での距離dL及びdRを測定することで基線長Bから被写体Oまでの距離Lを知ることができる。
しかも、図13においては第1の測距用撮像素子SLにはCMOSセンサ32を用いているので、第1の測距用撮像素子SLからは図14に示した主画面像50が得られ、第2の測距用撮像素子SRからは図14に示したAF像51が得られる。
この際、図13の被写体Oを例えば図14に示したような立木52とした場合、第1の測距用撮像素子SLには立木の像が撮像レンズ30a(AFレンズaf_Lにより被写体像(主要被写体像)として結像され、第2の測距用撮像素子SRには立木の像が撮像レンズ30a(AFレンズaf_Lにより被写体像として結像される。そして、第1の測距用撮像素子SLからは図14に示した立木の像52aが主画面像50に被写体像として得られ、第2の測距用撮像素子SRからは図14に示した立木の像(被写体像)52bがAF像51として得られる。
ここで、第1の測距用撮像素子SLに結像される立木の像52aは図11の液晶モニタ9(表示部)に正立像として表示される。
この撮影に際して、撮影者は主画面像50の立木の像52aの中央部を測距するべく、図14のように液晶モニタ9に表示される立木の像52aの中央部が表示部である液晶モニタ9に表示されたAFターゲットマークTmに一致するように、立木の像52aをAFターゲットマークTmに液晶モニタ9の上で設定する。このAFターゲットマークTmは、画像処理により液晶モニタ9に表示させたものである。
尚、AF像は、主画面像(主画面)50の画角とは関係なく得られている。次に主画面像50は、AF像51との一致度合いを調べるために、主レンズ(撮像レンズ)である撮像レンズ30a(AFレンズaf_LとAFレンズaf_Rの焦点距離比で縮小され、縮小主画面像50aにされる。画像の一致度合いは、対象とする2つの画像データの輝度配列の差分の総和によって算出する。この総和を相関値と称する。
この際、縮小主画面像50aの立木の像52aがAF像51のどの位置に当たるか(立木の像52bがある位置)を像データの相関値よって求める。即ち、縮小主画面像50aにおける立木の像52aの位置を特定して、この立木の像52aの位置に対応する位置をAF像51内において、像データの相関値によって求める。この場合の像データは、上述した撮像レンズ30a(AFレンズaf_Lの光軸OLとAFレンズaf_Rの光軸ORとの距離、AFレンズaf_Lの焦点距離、AFレンズaf_Rの焦点距離、撮像レンズ30a(AFレンズaf_L)、AFレンズaf_Rの焦点距離比等を用いて求めることができる。
図15は、AF用の被写体像の検出の説明図である。この図15では、図14の第1,第2の測距用撮像素子SL,SRに倒立像として結像される立木の像52a,52b(AF用の被写体像)を見やすくするために、正立させると共に、撮像レンズ30a(AFレンズaf_LAFレンズaf_Rの光軸OL,ORを一致させている。この図15を用いて、実際に第1の測距用撮像素子SLに結像された主画面像50の映像エリアを第2の測距用撮像素子SRに結像されたAF像51内から探す手法について説明する。
主画面データすなわち主画面像50のデータは、水平座標をx,垂直座標をyとするとYm1[x][y]の2次元配列で表すことができる。この主画面データの値を、撮像レンズ30a(AFレンズaf_Lを有する主光学系とAFレンズaf_Rを有するAF光学系の倍率差として縮小主画面像50aにし、この縮小主画面像50aのデータをYm2[x][y]配列(2次元配列)に格納する。
AF像51のデータは、水平座標をk、垂直画像をlとすると、afY[k][l]配列(2次元配列)で表すことができる。Ym2[x][y]配列の相等の輝度配列がAF像51内のどのエリアにあるか即ちafY像のafY[k][l]配列のどの位置あるかを、afY[k][l]配列のデータとYm2配列[x][y]のデータとを比較走査して探索する。
具体的には、afY[k][l]配列で得られるafY像をYm2配列と同じ大きさのエリア内で求めることで、afY[k][l]配列で得られるafY像とYm2配列で得られる像(画面データ)との相関値を求める。この配列同士の相関値を求める演算を相関演算とする。
この相関値が最も小さいところが、afY像内でYm2と同様の画面データがある個所といえる。
Ym2[x][y]は水平400×垂直300であったとする。
また、afY[k][l]が 900×675とする。
例えば、afY像中でYm2が左上にあったと想定した場合のニ像の相関値は以下で求める。
以下の式1で まず l=0、k=0〜500 で行い、次に l=1、k=0〜500を行い総和の相関値を求めていく。(k=500の時、縮小主画面像50aと同じ範囲がAF像51の左端になる)
相関値=Σ( |Ym2[x][y]−afY[k+x][l+y] | ) ・・
・式3
これを l=0 〜375 まで行う。(l=375の時が縮小主画面像50aと同じ範囲がAF像51の下端になる)
以上により、もしYm2とafY[k][l]配列のデータの一致度が高い場合は、相関値は非常に小さい値になる。
このようにして、主画面像50とは画角の異なるAF像51内で主画面像50と同じ画角範囲を求める。この処理を相関比較とする。
そして、図15に示したように、縮小主画面像50a内で使用者が測距したかった任意の個所が立木の像52aの中央部である場合、縮小主画面像50a内の立木の像52aのコントラストがピークPk1になる部分を第1の測距用撮像素子(測距用の第1受光センサ)SLであるCMOSセンサ32の画像信号から求めることで、立木の像52aをAF像として特定することができる。また、同様に、AF像51のでの立木の像52bのコントラストがピークPk2になる部分をAFセンサRの画像信号から求める。また、その個所の基線長基準に対するdR及びdL'も分ることになる。
尚、上述の例では、縮小主画面像50aのデータの被写体像(AF像)の位置を求めて、この縮小主画面像50aの被写体像(AF像)の位置に対応する被写体像をAF像51内で検索して、主画面像50内の任意個所のAF像(被写体像)をAF像51内の個所を特定できるようにしたが、相関値を求める座標を間引いたりしても良い。
更に、縮小主画面像50aの測距したい個所についてだけAF象51内で相関検索して、AF像51内での被写体像の個所を確定しても良い。尚、相関値は画素分解能で行われるため、図15のdR、dL'もAF像の画素の単位となる。dL'については、縮小されたものであるので、縮小倍率分を拡大してdLにする。
(2).二つのAFレンズR,Lを測距に用いる場合
また、上述したように、AFレンズaf_Lに主光学系の撮像レンズ30aを用いず、AF専用の焦点距離も同じ2つの光学系を使用した場合も同様の方式で行える。図16の測距用の補助撮像光学系(AF用光学系、測距装置)8は、図17に示したように、AF専用の焦点距離も同じ2つの光学系として二つのAFレンズaf_L,af_Rを用い、立木の像(被写体)52からの光束を二つのAFレンズaf_L,af_Rを介して図18に示したように測距センサーである第1,第2の測距用撮像素子(測距用の第1,第2受光センサ)SL,SRで受光させるようにしている。
図13,図14では、撮像レンズ30aをAFレンズaf_Lとしているが、図16では図13,図14の撮像レンズ30aに代えて専用のAFレンズaf_Lを設けたものである。この図16では、専用のAFレンズaf_Lと図13,図14のAFレンズaf_Rで測距用の補助撮像光学系(AF用光学系、測距装置)8を構成している。この二つの専用のAFレンズaf_L,af_Rの関係は、図13,図14のAFレンズaf_Lとして用いる撮像レンズ30aとAFレンズaf_Rとの関係と実質的に同じであり、図13,図14と図16では第1,第2の測距用撮像素子(測距用の第1,第2受光センサ)SL,SRの関係も同じである。
このような専用の二つのAFレンズaf_L,af_Rを用いる方式では、図18に示したように、まず主光学系である撮像レンズ30aの主画面像50を補助撮像光学系8との倍率比で縮小した縮小主画面像50aを作成し、その中の測距した個所をAFレンズaf_L,AFレンズaf_RのAF像51L,51Rの立木の像(被写体像)52bL,52bRの夫々から相関演算で求め、dL、dRを測定する。
補助撮像光学系(AF用光学系)8のAFレンズ(AF用補助撮像光学系)af_L,af_Rは比較的焦点深度が大きく設計されている。これに対して主画面像50の深度は大きくないため、主画面像50のぼけが大きい場合は、AF像51L,51Rの立木の像52bL,52bRとの相関精度が悪い、即ち、画像位置が一致する箇所においても相関値が小さくならない場合もある。
主画面像50とAF像51L,51Rとの相関は、AF像51L,51R内の測距したい個所の概略特定までとし、その個所の測距は、焦点深度の大きい、また 焦点距離の同じAF専用のAFレンズaf_L,af_RによるAF像同士すなわち立木の像(被写体像)52bL,52bR同士の相関で求めることも良い。
以上のようにすることで、主画面像50上の任意の位置個所をAF像51L,51R内でも決めることができ、そのAF像51L,51Rの位置の画像データで、AF用光学系の左右2像(立木の像52bL,52bR)の相関比較を行うことでその個所の測距ができる。
これにより、主画面とはパララックス(視差)のあるAF像からでも、主画面の絶対位置に正確にあった測距データを求めることができる。
また、上述した実施例では、主光学系とAF光学系の焦点距離比をmとしたが、縮小主画面の倍率をm付近の数種類作成し、最も相関値が小さい倍率を実倍率として求め、式1に適用することもできる。このようなことで机上設計値ではなく、実画像に即した値を使用し、より正確な測距が可能となる。
(実施例3)
次に、測距情報とストロボ影響度に基づいた図2の演算制御回路(CPU)20bによるゲイン(デジタルゲイン)の設定を図19のフローチャートに基づいて説明する。
先ず、ユーザーがデジタルカメラ1に対して撮影操作を実行すると、図2の演算制御回路(CPU)20bの距離算出部48は第1,第2の測距用撮像素子(測距センサ)SL,SRの出力に基づいてデジタルカメラ1から被写体までの2次元の距離情報を取得する(S21)。
この後、演算制御回路20bの距離算出部48は、ストロボ発光条件の場合、上述したステップS2と同様にプリ発光を実施して本発光の光量を算出しようとする。
そして、演算制御回路(CPU)20bは、撮影操作を受け付けると、プリ発光前の輝度情報をCMOSセンサ32の出力から露出情報として求めてメモリ(SDRAM)25に保存し、プリ発光用の発光量と露出制御値を決定し、ストロボ23のプリ発光を実行する(S22)。
このプリ発光による照明光は被写体に照射されて反射し、この被写体からの反射光による被写体像が撮像レンズ30aを介してCMOSセンサ32に結像される。この際、演算制御回路20bは、CMOSセンサ32の出力から被写体の輝度情報を取得する。この輝度情報は、信号処理部20aの分割増幅機能部47により撮影画像を図5(b)に示したように格子状のブロックB(xi,yi)[i=0,1,2・・・n]に分割して、各ブロックB(xi,yi)ごとでブロック内の複数の画素のY値(輝度値)を平均したものである。
そして、演算制御回路20bは、プリ発光時の輝度情報に基づき、本発光時に必要な発光量を決定する(S23)。
次に、分割増幅機能部47は、ステップS21で取得した2次元の距離情報から、ブロックB(xi,yi)ごとに必要なゲイン値を算出する(S24)。この際、演算制御回路20bのストロボ照射影響度判断機能部49は、プリ発光時の輝度情報とプリ発光前の輝度情報との差分をストロボ影響度として算出する。このストロボ影響度は各ブロックB(xi,yi)ごとに求められ、この輝度情報の差分が大きいほどストロボ影響度が高くなる。
そして、演算制御回路20bのストロボ照射影響度判断機能部49は、ストロボ影響度を算出すると、各ブロックB(xi,yi)ごとにかけるべきゲイン値を算出する(S26)。ここで、かけるべきゲイン値は、図8に示すように、ストロボからの距離の2乗に比例して、距離が遠いほどゲイン値は大きく、距離が近いほどゲイン値は小さくなるように設定する。
このゲイン値が求まると演算制御回路20bは、ステップS23で決定した発光量で、ストロボ23の本発光と静止画露光を実行し(S25)、ストロボ23からの照明光を被写体に照射する。この被写体からの照明光の反射光は、撮像レンズ30aを介してCMOSセンサ32に被写体像を結像させる。これにより、演算制御回路20bは、CMOSセンサ32の出力信号(画像信号)から画像データを取得すると共に、信号処理部20aを駆動制御して、この信号処理部20aにより取得した画像データにゲインをかける。この際、ステップS24で算出したゲイン値が、ブロックB(xi,yi)ごとにかけられる(S26)。信号処理部20aでその他の画像処理が実行され、画像データはメモリ(SDRAM)25に記録される(S27)。
このような処理を実施すると、信号処理部20aの分割増幅機能部47は、ストロボ照射影響度判断機能部49により求められたストロボ影響度に基づいて、画像内で各ブロック毎に適切なゲインをかけ、距離の異なる複数の被写体において、適正な明るさの画像を得ることができるようにする。
尚、ストロボ撮影による適正な画像を得るため撮影方法を行うものとしては、特許3873157号公報(文献)の電子カメラ装置や特開2009−094997号公報(文献)の撮像装置も知られている。この特許3873157号公報の電子カメラ装置では、複数の被写体に対してそれぞれに最適な発光量を算出し、連続してそれぞれに最適な発光量で発光して撮影し、撮影画像を合成するようにしている。しかし、複数枚撮影するため、合成ずれが発生したり、撮影・合成に時間がかかってしまったり、また、連続して複数回発光するため、ストロボ用に大きめのコンデンサが必要となってしまうので、上述した本願の発明の実施の形態におけるような作用・効果は得られない。また、特開2009−094997号公報の撮像装置では、プリ発光なしの撮像信号とプリ発光ありの撮像信号に基づいて、ストロボ光が寄与するブロックとそうでないブロックに分割し、それぞれで最適なホワイトバランスゲインをかけるようにしている。しかし、このような文献の撮像装置では、画像全体の輝度の差については考慮していないため、必ずしも適正な画像が得られるものではないので、上述した実施例におけるような作用・効果は得られない。
(補足説明1)
以上説明したように、この発明の実施の形態の撮像装置は、被写体を撮像する撮像素子(CMOSセンサ32)と、前記被写体に照明光を照射させるストロボ23と、前記撮像素子(CMOSセンサ32)上に形成された撮影画像である被写体像が露光不足である場合に、前記ストロボ23を発光制御させて前記被写体に照明光を照射させる制御装置(システム制御装置20)を、備える。また、前記制御装置(システム制御装置20)は、前記撮影画像を格子状の複数のブロックに分割して前記分割した各ブロックごとにデジタルゲインをかける分割増幅機能と、前記分割増幅機能と同様に格子状に分割したブロックごとにストロボの照明光の照射影響度を判断するストロボ照射影響度判断機能と、を有する。しかも、前記制御装置(システム制御装置20)は、前記ストロボ23の照明光を照射して撮影する際に、前記ストロボ照射影響度判断機能で判断した分割ブロックごとのストロボ照射影響度に応じて、前記分割増幅機能で分割したブロックごとにかけるデジタルゲインの値を決定するようになっている。
この構成によれば、デジタルゲインをかけることができる分割増幅機能とストロボ照射影響度判断機能により、複数の被写体が異なる距離にいるようなシーンでも、ストロボの効果を均一に得ることができる。
(補足説明1−1)
また、この発明の実施の形態の撮像装置は、被写体を撮像する撮像素子(CMOSセンサ32)と、前記撮像素子(CMOSセンサ32)から出力される撮影画像の画像信号を処理する信号処理部20aと、前記被写体に照明光を照射させるストロボ23と、前記被写体の光量が露光不足である場合に前記ストロボ23を発光制御させて前記被写体に照明光を照射させるメイン制御装置(演算制御回路20b)を、備えることができる。しかも、前記信号処理部20aは前記撮影画像を格子状の複数のブロックに分割して前記分割した各ブロックごとにデジタルゲインをかけることができる分割増幅機能を有し、前記メイン制御装置(演算制御回路20b)は前記分割増幅機能と同様に格子状に分割したブロックごとにストロボ照射影響度を判断するストロボ照射影響度判断機能を有することができる。また、前記メイン制御装置(演算制御回路20b)は、前記ストロボを照射して撮影する際に、前記ストロボ照射影響度判断機能で判断した分割ブロックごとのストロボ照射影響度に応じて、前記分割増幅機能で分割したブロックごとにかけるデジタルゲインの値を決定するようにできる。
この構成によれば、信号処理部20aのデジタルゲインをかけることができる分割増幅機能とメイン制御装置(演算制御回路20b)のストロボ照射影響度判断機能により、複数の被写体が異なる距離にいるようなシーンでも、ストロボの効果を均一に得ることができる。
(補足説明2)
また、この発明の実施の形態の撮像装置において、前記制御装置(システム制御装置20)の前記ストロボ照射影響度判断機能は、ストロボを本発光する前に実施する予備発光時の撮影画像から得られるY値(輝度値)と、予備発光直前の撮影画像から得られるY値(輝度値)とを比較することで、ストロボ照射の影響度を判断する。
この構成によれば、複数の被写体が異なる距離にいるようなシーンでも、ストロボの効果を均一に得ることができる。
(補足説明3)
また、この発明の実施の形態の撮像装置は、前記分割ブロックごとに被写体との距離を算出する距離算出手段(距離算出部48)を更に有する。しかも、前記制御装置(システム制御装置20)の前記ストロボ照射影響度判断機能は、前記距離測定手段で測定される分割ブロックごとの被写体との距離に応じてストロボ照射の影響度を判断する。
この構成によれば、複数の被写体が異なる距離にいるようなシーンでも、ストロボの効果を均一に得ることができる。
(補足説明4)
また、この発明の実施の形態の撮像装置において、前記距離算出手段(距離算出部48)は、2次元平面上で測距結果を算出することが可能な測距センサ[図13のCMOSセンサ(測距センサ)32及び測距用撮像素子(測距センサ)R、又は、図17の第1,第2の測距用撮像素子(測距センサ)SL,SR]を使用して前記被写体との距離を算出するようになっている。
この構成によれば、高速・高精度で2次元平面の距離算出を実現する。
(補足説明5)
また、この発明の実施の形態の撮像装置において、前記距離算出手段(距離算出部48)は、コントラストAFを実施して各分割ブロックごとに前記被写体像のコントラストピーク位置に基づき前記被写体との距離を算出する
この構成によれば、低コストで2次元平面の距離算出を実現する。
(補足説明6)
また、この発明の実施の形態の撮像装置において、前記制御装置(システム制御装置20)の前記分割増幅機能は、前記被写体像を複数の画素を有するブロックに分割し、各ブロック(B1〜B9)の中心画素(P1〜P9)にデジタルゲインを設定して各ブロック(B1〜B9)のデジタルゲインとし、各ブロック(B1〜B9)における中心画素(P1〜P9)以外の画素の輝度が隣接する画素との間で輝度差が生じないように、各ブロック(B1〜B9)の中心画素(P1〜P9)以外の画素(例えば、ブロックB5のQ1,Q2)のデジタルゲインを隣接するブロック(B1〜B4,B6〜B9)の中心画素(P2〜P4,P7〜P8)のデジタルゲインからの距離に応じて補間して決定される。
この構成によれば、ゲインの変化を滑らかにかけることで、画像に光量差による段差がでないように抑制できる。
1 デジタルカメラ(撮像装置)
20 システム制御装置
20a 信号処理部
20b 演算制御回路(メイン演算制御回路)
21 操作部
23 ストロボ
25 メモリ
30 主要撮像光学系
Dx1 測距装置
Dx2 測距装置(補助撮像光学系)
47 分割増幅機能部
48 距離算出部
49 ストロボ照射影響度判断機能部
50 主画面像
50a 縮小主画面像
51 AF像
52 立木(被写体)
52a 立木の像(被写体像)
52b 立木の像(被写体像)
af_L AFレンズ
af_R AFレンズ
SL 第1の測距用撮像素子(測距用の第1受光センサ)
SR 第2の測距用撮像素子(測距用の第2受光センサ)
P1〜P9 中心画素
B1〜B9 ブロック
Q1,Q2 注目画素(中心画素以外の画素)
特開2011−095403

Claims (6)

  1. 被写体を撮像する撮像素子と、
    前記被写体に照明光を照射させるストロボと、
    前記撮像素子の出力信号から撮像画像の前記被写体の光量が露光不足である場合に、前記ストロボを発光制御させて前記被写体に照明光を照射させる制御装置を、備える撮像装置であって、
    前記制御装置は、
    前記撮像画像を格子状の複数のエリアに分割して前記分割した各ブロックごとにデジタルゲインをかけることができる分割増幅機能と、
    前記分割増幅機能と同様に格子状に分割したブロックごとにストロボの照射影響度を判断するストロボ照射影響度判断機能と、を有し、
    前記ストロボを照射して撮影する際に、前記ストロボ照射影響度判断機能で判断した分割ブロックごとのストロボ照射影響度に応じて、前記分割増幅機能で分割したブロックごとにかけるデジタルゲインの値を決定することを特徴とする撮像装置。
  2. 前記制御装置の前記ストロボ照射影響度判断機能は、ストロボを本発光する前に実施する予備発光時の撮像画像から得られるY値と、予備発光直前の撮像画像から得られるY値とを比較することで、ストロボの影響度を判断することを特徴とする請求項1に記載の撮像装置。
  3. 前記分割ブロックごとに被写体との距離を算出する距離算出手段を更に有し、
    前記制御装置の前記ストロボ照射影響度判断機能は前記距離測定手段で測定される分割ブロックごとの被写体との距離に応じてストロボの影響度を判断することを特徴とする請求項1に記載の撮像装置。
  4. 前記距離算出手段は、2次元平面上で測距結果を算出することが可能な測距センサを使用して距離算出をすることを特徴とする請求項3に記載の撮像装置。
  5. 前記距離算出手段は、コントラストAFを実施して各分割ブロックごとにコントラストピーク位置に基づき距離算出をすることを特徴とする請求項3に記載の撮像装置。
  6. 前記制御装置の前記分割増幅機能は、複数に分割され且つ複数の画素を有する各ブロックの中心画素にデジタルゲインを設定して各ブロックのデジタルゲインとし、各ブロックにおける中心画素以外の画素の輝度が隣接する画素間で輝度差が生じないように、各ブロックの中心画素以外の画素のデジタルゲインを隣接するブロックの中心画素のデジタルゲインからの距離に応じて補間して決定されることを特徴とする請求項1から請求項5のいずれか一つに記載の撮像装置。
JP2012187127A 2012-08-28 2012-08-28 撮像装置 Pending JP2014044345A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012187127A JP2014044345A (ja) 2012-08-28 2012-08-28 撮像装置
US13/974,267 US20140063287A1 (en) 2012-08-28 2013-08-23 Imaging apparatus
CN201310382217.9A CN103685875A (zh) 2012-08-28 2013-08-28 成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012187127A JP2014044345A (ja) 2012-08-28 2012-08-28 撮像装置

Publications (1)

Publication Number Publication Date
JP2014044345A true JP2014044345A (ja) 2014-03-13

Family

ID=50187059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012187127A Pending JP2014044345A (ja) 2012-08-28 2012-08-28 撮像装置

Country Status (3)

Country Link
US (1) US20140063287A1 (ja)
JP (1) JP2014044345A (ja)
CN (1) CN103685875A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020108158A (ja) * 2018-06-14 2020-07-09 株式会社ニコン 電子機器

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
US9179062B1 (en) * 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9218667B2 (en) * 2013-11-25 2015-12-22 International Business Machines Corporation Spherical lighting device with backlighting coronal ring
US9237275B2 (en) * 2013-12-20 2016-01-12 International Business Machines Corporation Flash photography
US20170085768A1 (en) * 2014-05-20 2017-03-23 Philips Lighting Holding B.V. An image capturing system, a kit for an image capturing system, a mobile phone, use of an image capturing system and a method of configuring a color matched light source
CN106576155B (zh) * 2014-07-08 2019-04-16 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
CN104113702B (zh) * 2014-07-25 2018-09-04 北京智谷睿拓技术服务有限公司 闪光控制方法及控制装置、图像采集方法及采集装置
US9609200B2 (en) 2014-09-24 2017-03-28 Panavision International, L.P. Distance measurement device for motion picture camera focus applications
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
CN104796616A (zh) * 2015-04-27 2015-07-22 惠州Tcl移动通信有限公司 一种基于移动终端距离传感器的对焦方法及对焦系统
JP6272387B2 (ja) * 2015-05-29 2018-01-31 キヤノン株式会社 撮像素子および撮像装置
CN106204492B (zh) * 2016-07-13 2020-03-31 合肥埃科光电科技有限公司 基于fpga实现的面阵相机实时平场矫正方法
CN106060404A (zh) * 2016-07-15 2016-10-26 深圳市金立通信设备有限公司 一种拍摄模式选择方法及终端
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10447942B1 (en) * 2018-06-07 2019-10-15 Qualcomm Incorporated Flash control for video capture
CN110740252A (zh) 2018-07-20 2020-01-31 华为技术有限公司 一种图像获取的方法、装置及终端
US11924554B2 (en) 2019-05-31 2024-03-05 Ricoh Company, Ltd. Imaging system which determines an exposure condition based on a detected distance
CN111866373B (zh) * 2020-06-19 2021-12-28 北京小米移动软件有限公司 一种显示拍摄预览图像的方法、装置及介质
EP4013037B1 (en) 2020-12-11 2023-05-03 Axis AB Space mapping illumination in image system
KR20240139314A (ko) * 2023-03-14 2024-09-23 주식회사 엘엑스세미콘 디스플레이 구동 장치 및 이를 포함하는 디스플레이 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394930B2 (en) * 2005-01-07 2008-07-01 Nokia Corporation Automatic white balancing of colour gain values
JP5049490B2 (ja) * 2005-12-19 2012-10-17 イーストマン コダック カンパニー デジタルカメラ、ゲイン算出装置
JP5831033B2 (ja) * 2011-08-16 2015-12-09 リコーイメージング株式会社 撮像装置および距離情報取得方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020108158A (ja) * 2018-06-14 2020-07-09 株式会社ニコン 電子機器

Also Published As

Publication number Publication date
US20140063287A1 (en) 2014-03-06
CN103685875A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
JP2014044345A (ja) 撮像装置
KR100944908B1 (ko) 촬상장치, 포커스 제어방법 및 포커스 제어프로그램을기록한 기록매체
KR101643321B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
US9160919B2 (en) Focus adjustment unit and camera system
US20140071318A1 (en) Imaging apparatus
US8294785B2 (en) Method for adjusting photosensitiveness of digital camera
CN111133378B (zh) 摄像装置、信息获取方法及记录介质
JP5800664B2 (ja) 撮像装置およびその制御方法
JP2015034850A (ja) 撮影装置および撮影方法
CN109387992B (zh) 能够充分确保发光精度的摄像设备及其控制方法
JP5423140B2 (ja) 測光装置及び撮像装置
JP2008199461A (ja) 撮像装置
JP2015225256A (ja) 撮影装置
JP2001255452A (ja) 自動合焦装置、デジタルカメラ、および携帯情報入力装置
JP2005024858A (ja) デジタル一眼レフカメラ
US12100122B2 (en) Image processing apparatus for combining a plurality of images, imaging apparatus, imaging method, and recording medium
JP2005064749A (ja) カメラ
JP6725030B2 (ja) 撮像装置
JP3955080B2 (ja) ディジタル・カメラおよびその動作制御方法
JP7051613B2 (ja) 撮像装置およびその制御方法
JP2005024857A (ja) デジタル一眼レフカメラ
JP2006261928A (ja) 撮像装置及びデジタルカメラ
JP2017192027A (ja) 画像処理装置、画像処理方法、プログラム
JP2014127770A (ja) 撮像装置
JP2024071082A (ja) 撮像装置及びその制御方法とプログラム