JP2008271368A - 撮像装置、撮像方法、露光制御方法、プログラム - Google Patents

Abstract

【課題】設定露光モードにおける白とび解消による撮像画像の画質向上。
【解決手段】ユーザの設定に応じて絞りや長時間露光時間やＰＧＡゲインを調整する設定露光モードでワイドダイナミックレンジ撮像を行う。そして例えば１フィールド期間などの単位期間に得られる長時間露光画像信号と短時間露光画像信号から合成画像信号を生成するが、その合成画像信号について、輝度ヒストグラムを分析する。そしてその結果から短時間露光時間の自動制御を行って、主要被写体以外での白とびを防ぐ。
【選択図】図４

Description

本発明は撮像装置、撮像方法、露光制御方法、プログラムに関し、特に長時間露光画像信号と短時間露光画像とを合成してダイナミックレンジの広い合成画像信号を生成する撮像装置の露光制御に関する。

特開平６−１４１２２９号公報 特開２００２−８４４４９号公報 特開２００４−１２０２０５号公報

従来のＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ（露光過多：overexposure）が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ（露光不足：underexposure）が発生しないように露光量を多くするように、露光量を調節している。

しかしながら、明暗の差が大きいシーンの撮像（逆光撮像、屋内外同時撮像）する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。

この問題を解決するために、フィールド内で二つの異なる電子シャッタスピードを使用したり、フィールドごとに電子シャッタスピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を１枚の画像に合成する方法が既に開発されている（上記特許文献１参照）。
これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置（ワイドダイナミックレンジカメラ）があり、その合成画像の品質を向上させる装置・方法が上記特許文献２，３に開示されている。

ところで、一般に露光制御モードとしては、ユーザ設定に基づいて露光制御を行う露光モードと自動制御としての自動露光（自動露出）モードがある。
なお、以下では説明上、ユーザ設定に基づいて露光制御を行う露光モードを「設定露光モード」といい、「自動露光モード」と区別する。
設定露光モードは、撮像素子部での露光時間、絞り、撮像素子部からの撮像信号に与えるゲインを、撮像したい被写体の状態に合わせて、ユーザーが任意の値に設定するモードである。
自動露光モードは、上記の露光時間、絞り、ゲインを、撮像エリアの輝度の検出結果に応じて、適切な輝度になるように、機器内の制御部（マイクロコンピュータ）が自動的に設定するモードである。

ここで、ワイドダイナミックレンジ撮像の機能を持たない通常のカメラにおいては、露光制御モードを設定露光モードとした場合は、ユーザが、撮像したい被写体（主要被写体）の輝度に合わせて適正露光レベルとなるように、絞り、露光時間、ゲインの調整操作を行うことになる。
その結果、背景などの主要被写体以外の部分で輝度変化が発生したとしても、主要被写体の輝度は変化しないという利点はあるが、一方背景に関しては輝度変化に追従することができないため、輝度の高いものに対しては、飽和して白とびを発生させるといった問題がある。

また、上記特許文献のように２種類の異なる露光量で撮像された画像を合成する方法を改善することにより、ワイドダイナミックレンジカメラの画質の向上を図る技術は提案されているが、露光制御モードが設定露光モードである場合に、ワイドダイナミックレンジ撮像（合成撮像）を行ない、合成画像の画質を向上させる技術は提案されていない。

そこで本発明では、ワイドダイナミックレンジ撮像機能を利用し、設定露光モードの場合の上記問題を解消し、設定露光モードの撮像における画質向上を図ることを目的とする。

本発明の撮像装置は、被写体からの入射光から、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とから成る撮像画像信号を出力する撮像部と、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、上記合成画像信号についての輝度情報を生成する検波部と、ユーザ設定に基づく露光モード（設定露光モード）において、ユーザ設定に応じて上記撮像部の露光制御を行うとともに、上記輝度情報を用いて、上記撮像部の上記短時間露光画像信号に関する自動露光制御を行う制御部とを備える。
また上記検波部は、上記輝度情報として輝度ヒストグラムを生成し、上記制御部は、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記撮像部の上記短時間露光画像信号に関する自動露光制御を行う。
また上記制御部は、現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定する。
或いは上記制御部は、短時間露光時間の収束目標との差分値を算出し、現在の短時間露光時間と上記差分値との演算により新たな短時間露光時間を設定する。
また、上記検波部は、上記輝度ヒストグラムとして、少なくとも輝度レベルを、黒レベル、中間レベル、白レベルに分けて輝度分布を示す情報を生成するとともに、上記制御部は、上記短時間露光時間の設定に、上記中間レベルの情報を用いる。

本発明の撮像方法は、ユーザ設定に基づく露光制御が行われる露光モード（設定露光モード）において、被写体からの入射光から、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とから成る撮像画像信号を出力するステップと、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成するステップと、上記合成画像信号についての輝度情報を生成するステップと、上記輝度情報を用いて上記短時間露光画像信号に関する自動露光制御を行うステップとを備える。

本発明の露光制御方法は、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成して出力する撮像装置の、ユーザ設定に基づく露光制御が行われる設定露光モードでの露光制御方法として、上記合成画像信号についての輝度情報を取得するステップと、上記輝度情報から上記合成画像信号における白とびを検出するステップと、白とびの検出結果に基づいて短時間露光時間を設定するステップと、上記短時間露光時間を用いて上記短時間露光画像に関する露光制御を行うステップとを備える。
また本発明のプログラムは、演算処理装置に上記露光制御方法の各ステップの処理を実行させるプログラムである。

以上の本発明では、設定露光モードでの撮像動作として、例えば１フィールド期間などの単位期間に得られる長時間露光画像信号と短時間露光画像信号から合成画像信号を生成するが、その合成画像信号について、輝度情報、例えば輝度ヒストグラム（頻度分布）を分析する。そしてその結果から短時間露光画像信号に関する自動露光制御を行う。
つまり、設定露光モードの際に、ワイドダイナミックレンジ撮像機能を利用し、得られた合成後の画像の輝度ヒストグラム（頻度分布）に基づいて短時間露光時間（短時間露光用電子シャッター）を可変させて白とびを防ぐ。

本発明によれば、設定露光モードでの撮像の際に、長時間露光画像信号と短時間露光画像信号から生成された合成画像信号について、輝度情報、例えば輝度ヒストグラム（頻度分布）を分析し、その結果から短時間露光画像信号に関する露光制御を行う。これによって設定露光モードにおいて主要被写体以外での白とびを解消することができ、撮像によって得られる画像の画質向上を実現できるという効果がある。
また、この露光制御処理は、あくまで合成画像信号に基づくものであり、合成前の長時間露光画像信号と短時間露光画像信号の処理に依存しない。各種のワイドダイナミックレンジカメラシステムにおいては合成までの処理に各種の違いがあるが、そのような各機種での処理の差異にかかわらず、本発明はワイドダイナミックレンジカメラシステムに広く適用できる。

以下、本発明の実施の形態を次の順序で説明する。
［１．ワイドダイナミックレンジカメラの概要］
［２．撮像装置の構成］
［３．撮像装置の全体動作］
［４．白とび補正処理］
［５．白とび補正処理の他の例］
［６．変形例及びプログラム］

［１．ワイドダイナミックレンジカメラの概要］

本実施の形態の撮像装置１は、ワイドダイナミックレンジカメラとしての撮像装置であり、例えば監視カメラなどとして好適に用いられる。もちろん一般ユーザが通常用いるデジタルスチルカメラ、デジタルビデオカメラなどとしても適用可能である。
ここではまず、ワイドダイナミックレンジカメラについて述べておく。

一般的に使用される撮像装置は、被写体における非常に暗い部分と非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に，屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。

これに対して本例のワイドダイナミックレンジカメラは、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、白とびや黒つぶれの生じない撮像画像を得るようにしている。
図２は、ＣＣＤやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとしての撮像素子部での、１フィールド内の露光時間と蓄積される露光量（電荷量）を示している。
例えば１／６０秒の１フィールド期間において、１／６４秒の長時間露光と、１／２０００秒の短時間露光を行うとする。なお、長時間露光時間と短時間露光時間は可変制御可能である。
この長時間露光と短時間露光を行うことで、１フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そしてこの両画像信号を合成する。

図３は、長時間露光画像信号の入出力輝度特性Ａと、短時間露光画像信号の入出力輝度特性Ｂを示している。
合成処理においては、例えば所定の輝度値を切替ポイントＳＰとする。そして切替ポイントＳＰよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、切替ポイントＳＰよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで双方の画像のレベル合わせを行う。
仮に長時間露光画像と短時間露光画像との露光比が１０：１であるとすると、短時間露光画像の露光は長時間露光画像の１０分の１である。しかし存在する光の量としては短時間露光画像の輝度信号レベルの１０倍は光量がある。したがって短時間露光画像信号に１０を乗算することによりレベルを合わせる。
このように短時間露光画像信号についてゲイン乗算を行い、図に示すように長時間露光画像信号特性とレベルの合った特性ｋＢを得る。
結果として、特性Ａ−ｋＢの合成画像を生成する。即ち合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。

なお、出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像する手法としては、上記のように露光時間の異なる明るい画像と暗い画像とを合成する以外にも各種の手法がある。
例えば画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して画像を再生し、露光条件の異なる１又は２以上の画像を合成する方法もある。
またはプリズムにより入射光を分けて、撮像素子と、透過する光を全波長に渡って減少させる、つまり入射光量を等しく減少させるＮＤフィルタ（Neutral Density Filter：光量調節フィルタ）のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などもある。

これらの手法を採用したワイドダイナミックレンジカメラは、一般的に用いられるビデオカメラのダイナミックレンジよりも非常に広いダイナミックレンジを有し、出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能である。したがって強い外光が差し込む室内，照度差の激しい場所などを撮像する場合に適している。
例えば銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合において撮像することが多いカメラ、特に監視カメラなどに好適となる。

［２．撮像装置の構成］

図１に本例の撮像装置の構成を示す。本例の撮像装置は、撮像光学系１、撮像素子部２，前処理部３、信号処理部４、出力部５、検波部６、タイミングジェネレータ７、光学部品駆動部８、制御部１０、操作部１１を備える。

撮像光学系１は、レンズや不要な波長を除去する光学フィルタ、絞り１ａ等の光学部品を備える。被写体から入射された光は撮像光学系１における各光学部品を介して撮像素子部２に導かれる。
撮像素子部２は、例えばＣＣＤセンサアレイ、ＣＭＯＳセンサアレイなどの固体撮像素子部として構成される。この撮像素子部２は撮像光学系１を介して導かれた光を光電変換し、撮像画像としての電気信号を出力する。本例の場合、撮像素子部２では１フィールド期間に上述した長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。
なお、撮像素子部２は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でもよい。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光と短時間露光を行うことは可能である。
前処理部３は、いわゆるアナログフロントエンドであり、撮像素子部２から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理、Ａ／Ｄ変換処理を行う。そしてこれらの処理を行った長時間露光画像信号と短時間露光画像信号を信号処理部４に供給する。

信号処理部４は、入力される長時間露光画像信号と短時間露光画像信号について図３で述べた合成処理を行う。即ち時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また信号処理部４は合成画像信号に対するガンマ補正処理やホワイトバランス処理も行う。
信号処理部４は、生成した合成画像信号を出力部５及び検波部６に出力する。

出力部５は、信号処理部４からの合成画像信号について、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。
検波部６は、信号処理部４からの合成画像信号についての輝度分析処理を行い、合成画像信号の輝度情報として輝度ヒストグラムの情報を生成し、制御部１０に供給する。

制御部１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを有するマイクロコンピュータ（演算処理装置）によって構成され、撮像装置の全体の動作を制御する。また特に本例においては設定露光モードの際の動作に特徴を有するが、制御部１は設定露光モードとしてのユーザの操作に応じた露光制御と、その設定露光モードでの撮像時における白とび防止のための自動的な露光制御を行う。
制御部１０におけるＲＯＭには、後述する設定露光モードでの露光制御処理を実行させるプログラムが格納されており、該プログラムに基づいて、上記の検波部６から供給される輝度ヒストグラムを用い、必要な演算・制御処理を実行する。

タイミングジェネレータ７は、例えばＣＣＤなどの撮像素子部２に必要な動作パルスを生成する。例えば垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部２に供給する。このタイミングジェネレータ７により撮像素子部２を駆動（電子シャッタ機能）させることが可能となる。
また撮像素子部２の駆動の調整により、図２のような露光時間が相対的に長い長時間露光画像信号と、露光時間が相対的に短い短時間露光画像信号とを出力させることが可能である。また長時間露光画像信号と短時間露光画像信号について、露光時間を可変することも可能である。
光学部品駆動部８は、撮像光学系１における光学部品の駆動を行う。本例に関していえば、少なくとも絞り１ａを駆動し、入射光量を調節するための駆動回路部とされる。

操作部１１はユーザ操作に供されるキーやダイヤル、タッチパッドその他の各種の操作子が設けられている。ユーザは操作部１１により必要な操作入力を行うことができる。
特に本例における設定露光モードの場合は、ユーザは絞り１ａの開口量、撮像素子部2における長時間露光時間、前処理部３のプログラマブルゲインアンプ（ＰＧＡ）のゲインに関する設定操作を、操作部１１により実行できる。
また、ここでは図示していないが、例えば電波や赤外線による無線方式での操作信号の受信部を設け、リモートコントローラを用いた操作により、ユーザが露光設定の操作を実行できるようにしてもよい。もちろんリモートコントローラが有線接続されてリモートコントローラからの操作信号が入力されるようにしてもよい。

［３．撮像装置の全体動作］

以下、本例の撮像装置で実行される露光制御に関する動作を説明する。まずここでは撮像装置が設定露光モードとされた際の、露光制御を含む全体的な撮像動作を述べる。
図４は、１フィールド期間としての一連の動作を示している。撮像中は、この図４の処理が繰り返される。

・ステップＳＴ１、ＳＴ２：ユーザ設定に基づく露光制御処理
設定露光モードの場合、ユーザが例えば操作部１１により操作を行って、主要被写体に対して適切な露光設定を行うことになる。このため、制御部１０は撮像中にステップＳＴ１としてユーザの露光調整の操作を監視しており、ユーザが操作部１１から露光調整の操作を行うと、制御部１０はステップＳＴ２として露光制御を行う。
即ち制御部１０は、ユーザによる絞り１ａ、長時間露光時間、ＰＧＡゲインについての設定操作入力値に基づく制御を行う。この場合、光学部品駆動部８に絞り１ａの駆動を実行させ、またタイミングジェネレータ７に長時間露光時間を指示し、また前処理部３にＰＧＡのゲインを指示する。
この処理により、ユーザは撮像したい被写体の状態に合わせて操作を行うことで、絞り１ａの開口量、長時間露光時間、ＰＧＡゲイン定が、ユーザの求める値に設定される。例えば、長時間露光時間１／１２０秒、絞りＦ８、ゲイン６ｄＢなどというような任意の値に設定される。
なお、これらの３つのパラメータの制御を全て行う他、これらの内の１つ又は２つの制御を行うようにしても良い。
またユーザによる操作方式としては、これら３つのパラメータをそれぞれ個別に指定できるようにしてもよいし、ユーザ操作としては露光量の増大／低減の操作を行うようにし、その操作に応じて制御部１０が絞り１ａ、長時間露光時間、ＰＧＡゲインについての各設定値を算出して制御するようにしてもよい。

・ステップＳＴ３：撮像処理
タイミングジェネレータ７は、異なる二つの電子シャッタースピードを設定することが可能であり、１フィールド期間に図２で述べたような長時間露光と短時間露光を撮像素子部２に実行させる。これにより露光量の違う二つの撮像画像信号が得られる。上記のとおり、長時間露光画像信号と短時間露光画像信号はそれぞれ前処理部３で処理されて信号処理部４に供給される。
なお、長時間露光時間は、ユーザ設定としての露光操作に基づいて調整された露光時間となる。一方、短時間露光時間は、後述するステップＳＴ７で自動制御される露光時間となる。

・ステップＳＴ４：合成処理
信号処理部４は、前処理部３でデジタル化された長時間露光画像信号と短時間露光画像信号を図３で述べた手法で合成し、ダイナミックレンジを拡大させた合成画像信号を生成する。この合成画像信号は、出力部５から例えばモニタディスプレイでの表示のために出力される。

・ステップＳＴ５：輝度ヒストグラム生成処理
合成画像信号は検波部６にも供給される。検波部６は、合成画像信号の輝度ヒストグラムを生成し、それをフィールド毎に制御部１０に送信する。
図５に輝度ヒストグラムの例を示す。この例では、輝度について黒レベルＢから白レベルＷまでを、「Ｂ」「ｍｂ１」「ｍｂ２」「ｍｂ３」「ｍｗ３」「ｍｗ２」「ｍｗ１」「Ｗ」という８段階の輝度に分け、この８段階の各輝度についての１フィールド画像内での割合（％）を示すものとしている。

ステップＳＴ６：白とび補正処理
制御部１０は、検波部６から輝度ヒストグラムを取得する。そして輝度ヒストグラムから合成画像信号における白とびを検出する。さらに、合成画像信号の白とびがなくなるように短時間露光時間を決定する。
白とびの検出は、輝度ヒストグラムの白部分（Ｗ）の比率を検査することで行う。また短時間露光時間は、輝度ヒストグラムの白部分（Ｗ）が一定の割合になる様に設定する。

ステップＳＴ７：短時間露光制御処理
制御部１０は、上記白とび補正処理として決定した短時間露光時間を用いて自動的な露光制御を行う。
即ち上記白とび補正処理で設定された短時間露光時間をタイミングジェネレータ７に指示し、撮像素子部２の短時間露光時間を変化させることとで、短時間露光画像信号について必要な露光量を得る。

［４．白とび補正処理］

上記図４のステップＳＴ６として制御部１０が実行する白とび補正処理を図６に詳細に示す。
制御部１０はステップＦ１００で、検波部６から出力される輝度ヒストグラムを取得する。
そして制御部１０は、ステップＦ１０１で輝度ヒストグラムの白部分（Ｗ）の比率が１０％以上であるか否かを判断する。１０％以上であれば、合成画像信号において白とびが発生していると判断し、ステップＦ１０３に進んで、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔから固定値Ｃｔを減算した値に更新する。つまり、露光量を少なくする方向に更新する。
また、輝度ヒストグラムの白部分（Ｗ）の比率が１０％未満であった場合は、ステップＦ１０２で、白部分（Ｗ）の比率が５％以下であるか否かを判断する。５％以下であれば、ステップＦ１０４に進んで、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔに固定値Ｃｔを加算した値に更新する。つまり露光量を多くする方向に更新する。
ステップＦ１０２で５％以下ではない、つまり白部分（Ｗ）が５〜１０％の範囲であった場合は、適正な露光量であるとしてステップＦ１０５に進み、短時間露光時間Ｔｔを現状のまま維持する。

以上の処理で、目標輝度積算値Ｙｔと短時間露光時間Ｔｔが決定される。そして図４のステップＳＴ７で、上述のように短時間露光時間Ｔｔが用いられて露光制御が行われることになる。
この図６のような白とび補正処理（ＳＴ６）を含む図４の処理がフィールド期間毎に繰り返されることで、合成画像信号において白とびが発生しない露光状態に収束されていく。
なお、図６のステップＦ１０３，Ｆ１０４で、現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定することで、露光量が緩やかにを変化されながら合成画像信号の輝度が調節されることになる。

以上の動作が行われることで本例の撮像装置では、設定露光モードにおける撮像画像の画質を向上させることができる。
上述したように、ワイドダイナミックレンジ撮像機能を持たない通常のカメラにおいて、露光制御モードを設定露光モードとした場合は、ユーザ操作に応じて、撮像したい被写体（主要被写体）の輝度に合わせて適正露光レベルとなるように絞り、露光時間、ゲインを調整することになる。その結果、背景などの主要被写体以外の部分で輝度変化が発生したとしても、主要被写体の輝度は変化しないという利点はあるが、背景に関しては輝度変化に追従することができず輝度の高い部分で白とびを発生させる可能性がある。
本例の撮像装置では、設定露光モードでワイドダイナミックレンジ撮像を行ない、その合成後の画像の輝度ヒストグラム（頻度分布）を分析し、その結果から短時間露光時間をフィードバック制御することで白とびを防ぐ。これにより設定露光モードでの問題を解消することができる。

例えば図７の監視カメラ２０として、本実施の形態の撮像装置を採用した場合を例に挙げて、画質向上効果を説明する。
図７では、銀行などの或る建物３０の室内に監視カメラ２０を設置した状態を示している。この監視カメラ２０により室内の画像が撮像される。例えば室内に居る人物３１が撮像される。さらに、特に屋内に居る人物３１と合わせて、屋外の駐車車両３２も監視したいため、窓ガラス３３から見える屋外の画像も撮像できるように監視カメラ２０が配置されているとする。

このように、室内の人物３１以外にも屋外の駐車車両３２も監視したいので、通常時は監視カメラ２０をワイドダイナミックレンジ撮像で自動露光モードに設定しておく。
例えば室内の照度は８００ルクス、屋外が１０,０００ルクスと輝度差が大きいので、ワイドダイナミックレンジ撮像を行なうことで、室内と屋内で、それぞれ黒つぶれや白とびが発生しないような撮像を行うものである。
また自動露光モードでの処理については詳細は省略するが、自動露光モードの場合、例えば検波部６で得られる輝度ヒストグラムや輝度積算値から、制御部１０が適切な補正量を算出し、絞り１ａの開口量、長時間露光時間、ＰＧＡゲインを自動制御する。

ここで監視カメラ２０のユーザ（操作担当者）が室内に不審な人物３１を発見したとする。ところが、図８（ａ）に示すように撮像される人物の顔が若干暗くなっていたとする。
自動露光モードでワイドダイナミックレンジ撮像した場合、撮像された映像全体を黒つぶれ、白とびがないようにできるが、そのとき人物３１の顔などは、周辺の輝度の影響を受けるので、最も確認しやすい露光状態とは限らない。このため、若干見えずらい状況となることがある。
そこで、ユーザは、不審な人物３１の映像を録画機に残すことを考え、顔が最もよく確認できる状態にするために自動露光モードから設定露光モードに切り替える。
そしてユーザは撮像画像を見ながら操作部１１で露光調整操作を行う。制御部１０はユーザの操作に応じて絞り１ａの開口量、長時間露光時間、ＰＧＡゲインを制御する。ユーザが人物３１の顔を主要被写体として画像を見ながら露光設定を行うことで、人物３１が最もよく確認できる露光状態に調整されることになる。

ここで、このような状況において本実施の形態以外のカメラを使用していた場合の撮像画像を図８（ｂ）に示す。
設定露光モードに切り替えて露光調整を行った場合、ワイドダイナミックレンジ撮像ができない通常のカメラでは、人物３１の顔は鮮明に確認できるが、屋外の駐車車両３２は輝度差が大きいため、図８（ｂ）のように飽和（白とび）してしまい車種を確認することができない。
またワイドダイナミックレンジ撮像が可能なカメラであっても、本例のように輝度変化に追従して短時間露光時間が変化されるものではない場合（短時間露光時間が固定のカメラ場合）、屋外の照度は天候や時間帯で変化することから、屋外が想定よりも高い照度であった場合は図８（ｂ）のように飽和（白とび）してしまい、車種を確認できないことが考えられる。

これに対して監視カメラ２０が本実施の形態の撮像装置であると、設定露光モードにより人物３１に対して適正な露光調整が行われた状態で、上述した処理により、輝度変化に追従して短時間露光時間が自動的に調整される。
このため、図８（ｂ）のような白とびが発生することが防止され、室内と屋外の照度差や、屋外の照度変化に影響を受けることなく、図８（ｃ）のような撮像画像を得ることができる。即ち屋内の不審な人物３１の鮮明な確認と、屋外の駐車車両３２の車種等の確認が可能な画像を得ることができ、設定露光モードを有効に活用することができる。

例えばこのような例でわかるように、本実施の形態によれば、設定露光モードでの撮像時に、合成後の画像の輝度ヒストグラムから白とびが発生していないかどうかを判断し、白とびが発生している場合は、それを解消するように自動露光制御することで、合成後の画質を向上させることが可能となる。
これはモニタディスプレイに出力される映像の画質を向上させていることに等しく、モニタディスプレイを見る利用者の観点での画質向上が可能となるものである。
ワイドダイナミックレンジカメラにおいては、ダイナミックレンジといった数値的な観点も重要であるが、利用者は最終映像の仕上がりを重視する面もあり、最終段階での画像を最適化できることの効果は大きい。

また本例の露光制御の手法によれば、ワイドダイナミックレンジカメラ装置における合成画像を生成する信号処理部４の合成処理方式に関する依存率が極めて低くいため、種々のタイプの信号処理部に対応できる。
また合成のタイミング（１フィールドもしくは２フィールドで二つの異なる露光量の画像を得るのか）にも影響を受けないため、装置全体に対する依存率が下がり、より多くのワイドダイナミックレンジカメラシステムに適応できる。
また、検波部６は合成画像信号を扱うため、１系統の検波部だけがあればよく、長時間露光画像信号と短時間露光画像信号のそれぞれに対して検波部を設ける必要もないため装置全体を簡素化できる利点がある。

［５．白とび補正処理の他の例］

上記実施の形態においては、図４のステップＳＴ６の白とび補正処理の処理例として図６の処理を述べたが、この白とび補正処理の他の例を図９，図１０で説明する。

図９の白とび補正は、輝度ヒストグラムにおける中間レベル部分も短時間露光時間Ｔｔの設定に用いる例である。
図９のステップＦ１００で、輝度ヒストグラムを取得したら、制御部１０は、ステップＦ１００−２として、輝度ヒストグラムのＭ２部が４０％以下であるか否かを判別する。
Ｍ２部とは、図５の輝度ヒストグラムにおける、ｍｗ１部、ｍｗ２部、ｍｗ３部（つまり中間輝度の高輝度側）のことであり、ｍｗ１部、ｍｗ２部、ｍｗ３部の合算値が４０％を越えているか否かを判別する。
このＭ２部となる中間部分の輝度が十分に取れている場合は、白とびを解消することにより、中間輝度部分の輝度を低下させてしまう可能性があるため、補正を行わないようにする。
即ち、Ｍ２部が４０％を越えている場合は、ステップＦ１０５に進み、短時間露光時間Ｔｔは現状の値を維持する。
Ｍ２部が４０％以下であったら、ステップＦ１０１に進む。ステップＦ１０１，Ｆ１０２、Ｆ１０３，Ｆ１０４，Ｆ１０５の処理は図６と同様である。
このような処理によれば、白とびを解消させることで逆に輝度低下領域が発生してしまうような事態を避けることができる。

図１０にさらに他の白とび補正の処理例を示す。
この図１０の処理では、制御部１０はステップＦ１００で輝度ヒストグラムを取得したら、ステップＦ１１０で輝度ヒストグラムにおける白部分（Ｗ）の割合Ｘ％を確認する。
そしてステップＦ１１１で、白部分（Ｗ）の割合を７％にするために必要な短時間露光時間差分値ΔＴを算出する。短時間露光時間差分値ΔＴは、輝度ヒストグラムの白部分（Ｗ）の割合を７％にするために必要な短時間露光時間Ｔｔの補正量としての値であり、これは現在の白部分（Ｗ）の割合Ｘ％から関数Ｆにより求められることとする。また７％は適正な白部分（Ｗ）の割合としての設定値の一例である。
そしてステップＦ５１２で、短時間露光時間Ｔｔを、現在の短時間露光時間Ｔｔに短時間露光時間差分値ΔＴを加算した値に更新する。

このように、短時間露光時間Ｔｔを収束させるための差分値として短時間露光時間差分値ΔＴを算出し、現在の短時間露光時間Ｔｔと短時間露光時間差分値ΔＴとの演算により新たな短時間露光時間Ｔｔを設定することで、１回の処理で収束すべき短時間露光時間Ｔｔを求めるものとなり、白とび補正の収束を早めることができる。

［６．変形例及びプログラム］

以上、実施の形態を説明してきたが、本発明としては多様な変形例が考えられる。
例えば本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至までのモニタリング中に、各フィールド期間で上述のような露光制御（短時間露光時間の制御）を行えばよい。
また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。
もちろん、スキャン方式に限らず、設定露光モードにおいて短時間露光時間の自動制御を行う単位期間としては、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに１回の割合で、図４の輝度ヒストグラム生成処理（ＳＴ５）、白とび補正処理（ＳＴ６）、短時間露光制御処理（ＳＴ７）が行われるような動作例も考えられる。

実施の形態のプログラムは、上述した制御部１０の処理のプログラムである。即ち図４のステップＳＴ６（図６，図９，図１０）の白とび補正処理、及びステップＳＴ７の短時間露光制御処理をマイクロコンピュータ（演算処理装置）である制御部１０に実行させるプログラムである。
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

本発明の実施の形態の撮像装置のブロック図である。 実施の形態の長時間露光と短時間露光の説明図である。 実施の形態の合成処理の説明図である。 実施の形態の撮像装置の動作のフローチャートである。 実施の形態の輝度ヒストグラムの説明図である。 実施の形態の白とび補正処理のフローチャートである。 実施の形態を監視カメラとした場合の配置及び被写体の説明図である。 実施の形態を監視カメラとした場合の画質改善効果の説明図である。 実施の形態の他の白とび補正処理のフローチャートである。 実施の形態の白とび補正処理のさらに他の例のフローチャートである。

符号の説明

１ 撮像光学系、１ａ 絞り、２ 撮像素子部、３ 前処理部、４ 信号処理部、５ 出力部、６ 検波部、７ タイミングジェネレータ、８ 光学部品駆動部、１０ 制御部、１１ 操作部

Claims (8)

1. 被写体からの入射光から、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とから成る撮像画像信号を出力する撮像部と、
   上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、
   上記合成画像信号についての輝度情報を生成する検波部と、
   ユーザ設定に基づく露光モードにおいて、上記ユーザ設定に応じて上記撮像部の露光制御を行うとともに、上記輝度情報を用いて、上記撮像部の上記短時間露光画像信号に関する自動露光制御を行う制御部と、
   を備えたことを特徴とする撮像装置。
2. 上記検波部は、上記輝度情報として輝度ヒストグラムを生成し、
   上記制御部は、上記輝度ヒストグラムから上記合成画像信号における白とびを検出し、検出結果に基づいて短時間露光時間を設定し、該短時間露光時間を用いて上記撮像部の上記短時間露光画像信号に関する自動露光制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 上記制御部は、現在の短時間露光時間と固定値との演算により新たな短時間露光時間を設定することを特徴とする請求項１に記載の撮像装置。
4. 上記制御部は、短時間露光時間の収束目標との差分値を算出し、現在の短時間露光時間と上記差分値との演算により新たな短時間露光時間を設定することを特徴とする請求項１に記載の撮像装置。
5. 上記検波部は、上記輝度ヒストグラムとして、少なくとも輝度レベルを、黒レベル、中間レベル、白レベルに分けて輝度分布を示す情報を生成するとともに、
   上記制御部は、上記短時間露光時間の設定に、上記中間レベルの情報を用いることを特徴とする請求項２に記載の撮像装置。
6. ユーザ設定に基づいて露光制御が行われる露光モードにおいて、被写体からの入射光から、露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号とから成る撮像画像信号を出力するステップと、
   上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成するステップと、
   上記合成画像信号についての輝度情報を生成するステップと、
   上記輝度情報を用いて上記短時間露光画像信号に関する自動露光制御を行うステップと、
   を備えたことを特徴とする撮像方法。
7. 露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成して出力する撮像装置の、ユーザ設定に基づく露光制御が行われる露光モードでの露光制御方法として、
   上記合成画像信号についての輝度情報を取得するステップと、
   上記輝度情報から上記合成画像信号における白とびを検出するステップと、
   白とびの検出結果に基づいて短時間露光時間を設定するステップと、
   上記短時間露光時間を用いて上記短時間露光画像に関する露光制御を行うステップと、
   を備えたことを特徴とする露光制御方法。
8. 露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を得、上記長時間露光画像信号と上記短時間露光画像とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成して出力する撮像装置における、ユーザ設定に基づく露光制御が行われる露光モードでの露光制御のためのプログラムとして、
   上記合成画像信号についての輝度情報を取得するステップと、
   上記輝度情報から上記合成画像信号における白とびを検出するステップと、
   白とびの検出結果に基づいて短時間露光時間を設定するステップと、
   上記短時間露光時間を用いて上記短時間露光画像に関する露光制御を行うステップと、
   を演算処理装置に実行させるプログラム。

Images