JP2019016893A - 画像処理装置およびその制御方法及びプログラム - Google Patents

Abstract

【課題】 ＨＤＲ合成画像における動被写体の不自然なボケを低減させる。【解決手段】 露光時間の異なる複数の画像からＨＤＲ画像を生成する画像処理装置であって、第１の露光時間で撮像した第１の画像と、第１の露光時間よりも短い第２の露光時間で撮像した画像とを入力する入力部と、第２の画像を、第１の露光時間と第２の露光時間の比率に応じた巡回型フィルタを用いてフィルタ処理するフィルタ部と、該フィルタ部によるフィルタ処理後の第２の画像に対して、第１の露光時間と第２の露光時間との露光差に応じた補正を行う補正部と、第１の画像と、補正部による補正後の第２の画像とを合成して、ＨＤＲ画像を生成する生成部とを有する。【選択図】 図２

Description

本発明は露光量の異なる複数の画像を入力し、それらを合成することでＨＤＲ動画を生成する技術に関するものである。

一般的に、デジタルカメラやデジタルビデオカメラなどの撮像装置において用いられるＣＣＤやＣＭＯＳといった撮像センサーのダイナミックレンジは、人間の視覚のそれと比較して狭い。そのため、広いダイナミックレンジを有する撮像シーンを一般的な方法で撮像して得た画像には、黒潰れや白飛びなどが発生してしまう。このようなダイナミックレンジの広いシーン（本明細書ではＨＤＲシーンと称す）を撮像するための手法としては、露光時間の異なる複数枚の画像を撮像し、得られた複数枚の画像を合成することにより、ＨＤＲシーンの画像（以下、ＨＤＲ画像という）を取得する方法が知られている。この方法では、異なる露光時間で撮像した複数枚の画像群を露光時間に基づきゲイン補正を行い、ゲイン補正を行った画像群から、領域ごとに最適な画素を選択することでＨＤＲシーンの画像を生成する。以下、このような処理をＨＤＲ合成と称する。

しかしながら、この方法で動被写体を撮影する場合には、各画像の露光タイミング差がある。さらに、フリッカーなどの光源がある場合には、特に、露光時間の長い画像（以下、長秒画像）に比べて、露光時間の短い画像（以下、短秒画像という）において、フリッカーの影響により、撮影画像の明るさがフレームごとに変化してしまう。そのため、そのまま合成してしまうと多重像などの画質劣化が生じてしまう。

このような課題に対して、被写体の動き量を検出し、検出結果に基づいて、露光時間の短い画像にのみ巡回型フィルタのフィルタ係数を制御することで動被写体に発生する多重像を軽減する方法が知られている（例えば、特許文献１）。

特開２０１４−１１０４８４号公報

従来技術では、動被写体と判定された領域に対しては、巡回型フィルタのフィルタ係数を制御し、過去の画像データの重みを少なく設定することで、動被写体の巡回型フィルタによるボケを軽減する。その一方、動被写体領域以外では、過去の画像データの重みを大きく設定することで、フリッカーによる明るさの変動を低減させる。

しかしながら、このように生成された長秒画像と短秒画像を合成した場合、露光時間差による動体ブレの違いにより、動被写体の動き方向の逆側に不自然なボケが発生してしまうことがある。

本発明はかかる問題に鑑みなされたものであり、露光時間差に応じた巡回フィルタを短秒画像に適用することにより、長秒画像と動体ブレを同程度にすることでＨＤＲ合成後の不自然なボケを低減させる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
露光時間の異なる複数の画像からＨＤＲ画像を生成する画像処理装置であって、
第１の露光時間で撮像した第１の画像と、前記第１の露光時間よりも短い第２の露光時間で撮像した画像とを入力する入力手段と、
前記第２の画像を、前記第１の露光時間と前記第２の露光時間の比率に応じた巡回型フィルタを用いてフィルタ処理するフィルタ手段と、
該フィルタ手段によるフィルタ処理後の前記第２の画像に対して、前記第１の露光時間と前記第２の露光時間との露光差に応じた補正を行う補正手段と、
前記第１の画像と、前記補正手段による補正後の第２の画像とを合成して、ＨＤＲ画像を生成する生成手段とを有する。

本発明によれば、ＨＤＲ合成画像における動被写体の不自然なボケを低減させることが可能になる。

第１の実施形態の全体構成を示すブロック図。 第１の実施形態のフローチャートを示す図。 第１の実施形態の画像処理部の内部処理を示すブロック構成図。 第１の実施形態の巡回フィルタ記憶部に記憶するパラメータの一例を示す図。 第１の実施形態のＨＤＲ合成を説明するための図。 第２の実施形態の画像処理部の内部処理を示すブロック図。 第３の実施形態の巡回フィルタ記憶部に記憶するパラメータの一例を示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
本実施形態が適用する撮像装置は、長秒画像と短秒画像とを１セットとし、例えば６０セット／秒で撮像し、得られた１セットの長秒画像と短秒画像とをＨＤＲ合成処理を行って、６０フレーム／秒のＨＤＲ動画像を撮像する例を説明する。ただし、これらの数値は具体例を示すことで理解を容易にするためであり、あくまで提示である点に注意されたい。

また、ＨＤＲ合成処理の際、長秒画像と短秒画像の露光時間比に応じた巡回型フィルタを選択し、選択した巡回型フィルタ（IIRフィルタ：Infinite Impulse Response フィルタ)を短秒画像にのみ適用する。さらに、短秒画像に対して、長秒画像との露光時間比に応じたゲイン補正（露光差の補正）を行い、これらを用いてＨＤＲ合成処理を行うことでＨＤＲ画像を取得する。

図１は本第１の実施形態が適用する撮像装置１０１のブロック構成図である。光学部１０２はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターから構成され被写体の光情報を集光する。撮像素子部１０３は、光学部１０２にて集光された光情報を電流値へと変換する素子で、カラーフィルタなどと組み合わせることで色情報を取得する。なお、後述から明らかになるが、撮像素子部１０３は長秒画像と短秒画像とを１セットとし、このセットを単位に連続して撮像する。

ＣＰＵ１０４は、各構成の処理すべてに関わり、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０５や、ＲＡＭ（Ｒｏｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０６に格納された命令を順次に読み込み、解釈し、その結果に従って処理を実行する。

また、撮像系制御部１０７は撮像部１０２に対して、フォーカスを合わせる、シャッターを開く、絞りを調整するなどのＣＰＵ１０５から指示された制御を行う。制御部１０８は、撮影ボタン１０９や操作ボタン１１０からのユーザ指示によって、撮影動作の開始及び終了の制御を行う。キャラクタージェネレーション部１１１は文字やグラフィックなどを生成し、表示部１１６に表示する。

Ａ／Ｄ変換部１１２は、撮像部１０２にて検知した被写体の光量を表すアナログ信号をデジタル信号（デジタルデータ）に変換する。画像処理部１１３は上記のデジタル信号の画像データに対して、デベイヤ処理をはじめとする現像処理、さらにはＨＤＲ合成処理等の画像処理を行う。エンコーダ部１１４は、画像処理部１１３で得られた画像データを符号化し、ＭＰＥＧなどのファイルフォーマットのデータを生成処理を行う。

メディアＩ／Ｆ１１５は、ＰＣ／メディア１１７（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカードなど）に画像データを送受信するためのインタフェースである。システムバス１１８はデータを送受信するためのバスである。

図２は、第１の実施形態における全体処理を示すフローチャートであり、図３は画像処理部１１３の詳細構成を示す図である。以下、図２及び図３を用いて説明する。

まず、ステップＳ２０１では、ユーザが操作ボタン１０９を操作して、撮影時のレンズの絞り値、ＩＳＯ感度、長秒露光側の露光時間、及び、短秒露光側の露光時間を設定する。ＣＰＵ１０４は、これらの設定情報を画像処理部１１３内の撮影条件記憶部３０３に記憶する。

ステップＳ２０２にて、ユーザが撮影ボタン１１０を押すことにより、撮影がスタートする。ステップＳ２０３では、巡回型フィルタ選択部３０４が、ステップＳ２０１にて撮影条件記憶部３０３に記憶している撮影条件に応じて、巡回型フィルタ記憶部３０５に記憶している複数の巡回型フィルタの１つを選択する（詳細後述）。

ステップＳ２０４にて、入力部３００が、Ａ／Ｄ変換部１１２を介して露光時間の長い長秒画像３０１を取得する。また、ステップＳ２０５にて、入力部３００が、Ａ／Ｄ変換部１１２を介して露光時間の短い短秒画像３０２を取得する。

ステップＳ２０６にて、巡回型フィルタ処理部３０６はステップＳ２０５にて取得した短秒画像３０２に対して、ステップＳ２０３にて巡回型フィルタ選択部３０４が選択した巡回型フィルタを適用したフィルタ処理を行う。そして、巡回型フィルタ処理部３０６は、フィルタ処理後の短秒画像を巡回型フィルタ適用画像記憶部３０７に記憶する（詳細については、後述する。）。

ステップＳ２０７にて、長秒画像現像処理部３０８は長秒画像３０１に対して現像処理を行う。尚、長秒現像処理部３０８は、入力の長秒画像３０１に対して、ホワイトバランス処理や、デモザイク処理、ノイズリダクション、シャープネスなどの処理を行う。

ステップＳ２０８にて、短秒画像現像処理部３０９は短秒画像３０２に対して現像処理を行う。現像処理は長秒現像処理部３０８と同様の処理となる。

ステップＳ２０９にて、露出補正部３１０が、ステップＳ２０８にて現像した短秒画像に対して、長秒画像との露出差を補正する。具体的には、長秒画像の露光時間をＴＬ、短秒画像の露光時間をＴＳ、巡回フィルタ適用後の短秒画像をＩｓとしたとき、露出補正後の短秒画像Ｉｓ’を次式（１）に従って算出する。

ステップＳ２１０にて、ＨＤＲ合成処理部３１１は、ステップＳ２０７にて現像した長秒画像と、ステップＳ２０９にて露出補正を行った短秒画像とをＨＤＲ合成処理を行い、合成画像を生成する（詳細後述）。

ステップＳ２１１では、ステップＳ２１０にて生成したＨＤＲ合成画像に対して、出力ガンマ処理部３１２にて、出力ガンマ処理を行う。

ステップＳ２１２では、出力部３１４が、ステップＳ２１１にて出力ガンマ処理を行ったＨＤＲ合成画像をメディアＩ／Ｆ１１５を用いてＰＣ／メディア１１７に出力する。

なお、ＨＤＲ動画像を得る場合には、ステップＳ２０４乃至Ｓ２１２を繰り返し実行することになる。

＜巡回型フィルタ選択部の説明＞
ステップＳ２０３における巡回型フィルタ選択部３０４について、説明する。

一般的に巡回型フィルタは、次式（２）のようにあらわすことができる。

ここで、ｎはフレーム番号、ｘは入力画像、ｙは巡回型フィルタ後の画像、ｂは入力画像に対するフィルタ係数、ａは巡回型フィルタ後の画像に対するフィルタ係数である。ＰおよびＱは次元数であり、過去の画像データの参照数である。例えば、Ｐ＝Ｑ＝１の場合、巡回型フィルタ適用後の画像ｙ（ｎ）は次式（３）のようになる。

ここでｗはカットオフ周波数と呼ばれ、ｗが大きい場合には、入力画像に対する重みが大きくなるため、動被写体がボケなくなる。また、ｗが小さい場合には、巡回型フィルタ後の画像データへの重みが大きくなるため、動被写体がぼける。

本実施形態では、短秒画像に対して、長秒画像と同等の動体ブレを付加する。このため、長秒露光と短秒露光の露光時間の比に応じて、Ｐ，Ｑ，ａ，ｂの値を変更する。図４は巡回型フィルタ記憶部３０５に記憶している巡回型フィルタパラメータ（テーブル）の一例であり、長秒露光の露光時間をＴＬ、短秒露光の露光時間をＴＳとすると、巡回型フィルタ選択部３０４は、露光時間比ＴＬ／ＬＳに応じて、Ｐ，Ｑ，ａ［ｎ］，ｂ［ｎ］のパラメータを選択し、使用する巡回型フィルタを決定することになる。

＜巡回型フィルタ処理部＞
次にステップＳ２０６における、巡回型フィルタ処理部３０６の処理について説明する。前述したように、巡回型フィルタ処理は、式（２）のようにして示すことができる。そこで、巡回型フィルタ処理部３０６は、ステップＳ２０３にて選択した巡回型フィルタ係数および巡回型フィルタ適用画像記憶部３０７に記憶している過去のフレームでの処理結果を用いて、着目している短秒画像に対して巡回型フィルタ処理を行う。そして、巡回型フィルタ処理部３０６は、巡回型フィルタ適用後の短秒画像を、巡回フィルタ適用画像記憶部３０７に記憶すると共に、短秒画像現像処理部３０９に供給する。

＜ＨＤＲ合成部＞
ステップＳ２１０における、ＨＤＲ合成処理部３１１によるＨＤＲ合成処理について、図５を用いて説明する。ＨＤＲ合成処理は、次式（４）のように表せる。

ここで、ｘは水平方向の画素の座標値、ｙは垂直方向の画素の座標位置を示す。また、Ｏ（ｘ、ｙ）は合成後の出力画像、Ａは合成マップの画素位置（ｘ、ｙ）での値（合成比率）、Ｉ_s'（ｘ、ｙ）はステップＳ２０９にて露出補正された短秒画像の画素位置（ｘ、ｙ）の値、Ｉ_Lは長秒画像の画素位置（ｘ、ｙ）の値である。また、式４では、１画素当たりのビット数を十分な精度が得られるように増加させて演算する。

ここで、Ａの生成方法について説明する。合成マップＡの生成には、巡回フィルタ適用後の短秒画像Ｉｓの輝度成分を用いる。ここで、輝度成分は、周知のＲＧＢ→Ｙｕｖ変換やＲＧＢ→Ｌａｂ変換を行った際のＹまたはＬを用いれば良い。ＨＤＲ合成処理部３１１は、画像Ｉｓから各画素の輝度成分を求め、平滑化処理を行う。平滑化処理には、たとえば５×５のガウシアンフィルタを用いればよい。

平滑化処理後の輝度成分に対して、図５のように、輝度成分に対して、合成マップの出力値を決定するテーブルを参照する。その結果、各画素における合成マップＡの値が決定する。

図５において、Ａの決定方法は、ＨＤＲ合成パラメータとして、あらかじめ設定した閾値ｔｈ１、ｔｈ２を用いて、輝度がｔｈ１より少なければ出力値は０、ｔｈ２より大きければ出力値は１とし、ｔｈ１とｔｈ２の間は線形補間した結果を用いている。本実施形態では上記のような出力値Ａの決め方をしているが、このような決め方だけでなく、複数の閾値を持って補間しても良いし、他の式を用いてＡの値を決定してもよい。

尚、本実施形態では、露光時間の異なる２つの画像を１セットとして合成画像を生成する例を説明したが、３種類以上の露光時間の異なるセットから１つの合成画像を生成するようにしても構わない。

例えば、露光時間がＴ₁、Ｔ₂、…、Ｔ_n（ただし、Ｔ₁＜Ｔ₂＜…＜Ｔ_nの関係にあるものとする）のｎ枚の画像を１セットとして撮像する場合、最長の露光画像以外の画像に対して、巡回型フィルタを適用する場合のパラメータをＴ_n／Ｔ₁、Ｔ_n／Ｔ₂、…、Ｔ_n／Ｔ_n-1して求め、それぞれに対してフィルタ処理を行って、合成処理を行えば良い。

以上説明したように、本実施例により、短秒画像の動被写体領域に対して、長秒画像と同等の動体ブレを付加することにより、ＨＤＲ合成時の不自然なボケを低減させることができる。

＜その他の実施例＞
上記第１の実施形態では、巡回型フィルタをあらかじめ記憶した巡回フィルタ係数から選択するとしたが、図６に示すように、巡回型フィルタ算出部６０１が撮影条件に応じて、巡回型フィルタ係数を演算により導出する構成にしても構わない。

また、第１の実施形態では、巡回型フィルタの選択に露光時間比を用いたが、それに加え、図７に示すように各露光条件の感度差を更に加味してパラメータを決定しても構わない。なお、感度差に係る情報は、ユーザによる設定により決定し、撮影条件記憶部３０３に格納されるものとする。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…撮像装置、１０２…光学部、１０３…撮像素子部、１０４…ＣＰＵ、１０５…ＲＯＭ、１０６…ＲＡＭ、１０７…撮像系制御部、１０８…制御部、１０９…操作ボタン、１１０…撮影ボタン、１１２…Ａ／Ｄ変換部、１１３…画像処理部、１１４…エンコーダ部、１１５…メディアＩ／Ｆ部

Claims (8)

1. 露光時間の異なる複数の画像からＨＤＲ画像を生成する画像処理装置であって、
   第１の露光時間で撮像した第１の画像と、前記第１の露光時間よりも短い第２の露光時間で撮像した画像とを入力する入力手段と、
   前記第２の画像を、前記第１の露光時間と前記第２の露光時間の比率に応じた巡回型フィルタを用いてフィルタ処理するフィルタ手段と、
   該フィルタ手段によるフィルタ処理後の前記第２の画像に対して、前記第１の露光時間と前記第２の露光時間との露光差に応じた補正を行う補正手段と、
   前記第１の画像と、前記補正手段による補正後の第２の画像とを合成して、ＨＤＲ画像を生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記フィルタ手段は、
   巡回型フィルタの係数を決定するためのテーブルを記憶する記憶手段と、
   前記第１の露光時間と前記第２の露光時間の比率に応じて、前記記憶手段を参照して前記巡回型フィルタを導出するための係数を選択する選択手段と、
   を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記記憶手段は、前記第１の画像と前記第２の画像との感度差に基づくテーブルを記憶し、
   前記選択手段は、前記第１の画像と前記第２の画像との露光時間の比率及び感度差に基づき、前記記憶手段を参照して前記巡回型フィルタを導出するための係数を選択する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記フィルタ手段は、
   前記第１の露光時間と前記第２の露光時間の比率に応じて、巡回型フィルタを算出する手段と
   を含むことを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の画像と前記第２の画像のセットを、連続して撮像する撮像手段を更に有し、
   前記生成手段は、１つのセットから１つのＨＤＲ画像を生成することを繰り返して、ＨＤＲ動画像を生成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記ＨＤＲ画像を符号化する符号化手段を更に有することを特徴とする請求項５に記載の画像処理装置。
7. 露光時間の異なる複数の画像からＨＤＲ画像を生成する画像処理装置の制御方法であって、
   入力手段が、第１の露光時間で撮像した第１の画像と、前記第１の露光時間よりも短い第２の露光時間で撮像した画像とを入力する入力工程と、
   フィルタ手段が、前記第２の画像を、前記第１の露光時間と前記第２の露光時間の比率に応じた巡回型フィルタを用いてフィルタ処理するフィルタ工程と、
   補正手段が、該フィルタ工程によるフィルタ処理後の前記第２の画像に対して、前記第１の露光時間と前記第２の露光時間との露光差に応じた補正を行う補正工程と、
   生成手段が、前記第１の画像と、前記補正工程による補正後の第２の画像とを合成して、ＨＤＲ画像を生成する生成工程と
   を有することを特徴とする画像処理装置の制御方法。
8. コンピュータが読み込み実行することで、前記コンピュータに、請求項７に記載の方法の各工程を実行させるためのプログラム。

Images