JP6173027B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

しかし、短露光画像と長露光画像とを合成するという仕組みから、被写体に動きがあると合成時にずれが生じ、輪郭が二重になるといったアーティファクトが発生するという問題がある。動きに対応してＷＤＲ合成を行う手法として、特許文献１に記載の技術がある。この技術は、露出の異なる２枚の画像から共通領域を見つけ、その位置を補正することで動き補償を行った後に合成するというものである。

特開２０１１−００４３５３号公報

しかしながら、かかる技術は、画像全体に対するグローバルな動きがあった場合には好適な技術であるが、画像を構成する領域に対するローカルな動きには対応できず、不自然なアーティファクトを発生させる。そこで、本発明は、ローカルな動きが存在してもアーティファクトが目立たないＷＤＲ合成画像を得ることが可能な技術を提供する。

本発明のある実施形態によれば、長露光画像と短露光画像とにおいて対応する画素毎の混合比率を示す選択情報から高周波成分を取り除く第１のＬＰＦと、動きを検出して動き検出情報を得る動き検出部と、前記動き検出情報から高周波成分を取り除く第２のＬＰＦと、高周波成分が取り除かれた後の動き検出情報に基づいて、高周波成分が取り除かれる前の選択情報と高周波成分が取り除かれた後の選択情報とのいずれかを画素毎に選択して選択結果を得る選択部と、前記選択結果に基づいて前記長露光画像と前記短露光画像とを合成する合成部と、を備える、画像処理装置が提供される。

かかる構成により、動き領域において短露光画像と長露光画像とを滑らかに接続することが可能となり、ローカルな動きが存在してもアーティファクトが目立たないＷＤＲ合成画像を得ることが可能となる。また、被写体に動きがない画像や、動きのある画像中の非動き領域においては、短露光画像と長露光画像との境界を急峻に切り替えることが可能となり、短露光画像と長露光画像との境界がぼけたりするといった弊害が発生しにくいといった効果も奏し得る。

例えば、前記選択部は、高周波成分が取り除かれた後の動き検出情報から検出された動き領域については高周波成分が取り除かれた後の選択情報を選択し、高周波成分が取り除かれた後の動き検出情報から検出された非動き領域については高周波成分が取り除かれる前の選択情報を選択すればよい。

また、本発明の別の実施形態によれば、長露光画像と短露光画像とにおいて対応する画素ごとの混合比率を示す選択情報から高周波成分を取り除くステップと、動きを検出して動き検出情報を得るステップと、前記動き検出情報から高周波成分を取り除くステップと、高周波成分が取り除かれた後の動き検出情報に基づいて、高周波成分が取り除かれる前の選択情報と高周波成分が取り除かれた後の選択情報とのいずれかを画素毎に選択して選択結果を得るステップと、前記選択結果に基づいて前記長露光画像と前記短露光画像とを合成するステップと、を含む、画像処理方法が提供される。

かかる方法によれば、動き領域において短露光画像と長露光画像とを滑らかに接続することが可能となり、ローカルな動きが存在してもアーティファクトが目立たないＷＤＲ合成画像を得ることが可能となる。また、被写体に動きがない画像や、動きのある画像中の非動き領域においては、短露光画像と長露光画像との境界を急峻に切り替えることが可能となり、短露光画像と長露光画像との境界がぼけたりするといった弊害が発生しにくいといった効果も奏し得る。

以上説明したように、本発明によれば、ローカルな動きが存在してもアーティファクトが目立たないＷＤＲ合成画像を得ることが可能である。

一般的な画像処理装置の機能構成例を示す図である。 一般的なＷＤＲ合成技術における各種情報の例を示す図である。 本発明の実施形態に係る画像処理装置の機能構成例を示す図である。 本発明の実施形態に係るＷＤＲ合成技術における各種情報の例を示す図である。 本発明の実施形態に係る画像処理装置の動作の流れの例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

まず、一般的なＷＤＲ合成技術を実現するための画像処理装置９の機能構成例を図１に示す。画像処理装置９は、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。短露光撮影された短露光画像はメモリ２０に書き込まれる。画像処理装置９は、短露光撮影が終了したら露光設定を変え、長露光撮影を行う。

なお、図１に示した例では、画像処理装置９は、長露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に撮影されてもよい。かかる場合、画像処理装置９は、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有すればよい。

使用画像選択部３０は、センサ１０により検出された長露光画像とメモリ２０から読み出した短露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための選択情報を生成する。合成部６０は、使用画像選択部３０からの選択情報を受け、当該選択情報に基づいて短露光画像と長露光画像とを合成することによりＷＤＲ画像を生成する。

階調変換部７０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理と人間の目で見た情景に近づけるような階調補正とを、合成部６０により生成されたＷＤＲ画像に対して行う。当該圧縮処理と当該階調補正とは、同時に行われてもよいし、異なるタイミングにおいて行われてもよい。

図２は、一般的なＷＤＲ合成技術における、短露光画像、長露光画像、選択情報および合成画像それぞれの例を示す図である。図２に示した短露光画像および長露光画像それぞれは、日中の明るい屋外が見える窓を背景にして屋内を撮影して得られた画像である。手前に映っている人物は左に向かって移動している。

例えば、使用画像選択部３０によって生成される選択情報が長露光画像および短露光画像のいずれを使用するかを示す２値データの集合である場合、図２に示した選択情報のように、長露光画像を使用する領域を黒い領域、短露光画像を使用する領域を白い領域として表すことができる。

続いて、合成部６０は、このようにして生成された選択情報に基づいて、短露光画像および長露光画像を合成する。このようにして合成を行った場合には、図２に示した合成画像のように、明るい窓と動いた人物との境界で合成時に位置ずれが起こり、輪郭が二重になる顕著なアーティファクトを生じるという問題が起こり得る。かかる問題は、選択情報の生成に際してローカルな動きが考慮されておらず、動き領域においてはオブジェクトの位置がずれた画像どうしを合成することに起因する。

そこで、本明細書においては、ローカルな動きが存在してもアーティファクトが目立たないＷＤＲ合成画像を得ることが可能な技術を提案する。

続いて、本発明の実施形態に係る画像処理装置１の機能構成について説明する。図３は、本発明の実施形態に係る画像処理装置１の機能構成を示す図である。図３に示すように、画像処理装置１は、センサ１０、メモリ２０、第一使用画像選択部３１、第二使用画像選択部３２、動き検出部４０、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）１（５１）、ＬＰＦ２（５２）、合成部６０および圧縮部８０を備える。以下、画像処理装置１が備える各機能ブロックの機能について順次詳細に説明する。

画像処理装置１は、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。短露光撮影された短露光画像はメモリ２０に書き込まれる。画像処理装置１は、短露光撮影が終了したら露光設定を変え、長露光撮影を行う。

なお、図３に示した例では、画像処理装置１は、長露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に撮影されてもよい。かかる場合、画像処理装置１は、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

ここで、本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

第一使用画像選択部３１は、センサ１０により検出された長露光画像とメモリ２０から読み出した短露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための選択情報を生成する。短露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

例えば、長露光画像において飽和してしまった領域は短露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては短露光画像を選択すればよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出して輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。

なお、上記したように選択情報は短露光画像および長露光画像のいずれを選択するかを示す２値データの集合であってもよいが、長露光画像および短露光画像それぞれをどの程度の比率で混合するかを示す混合比率の集合であってもよい。例えば、第一使用画像選択部３１は、長露光画像の飽和度合いが強いほど、短露光画像の混合比率を大きくしてもよい。また、第一使用画像選択部３１は、短露光画像または長露光画像の動きが大きいほど、短露光画像の混合比率を大きくしてもよい。短露光画像と長露光画像との混合比率を算出するアルゴリズムも特に限定されない。

以下では、第一使用画像選択部３１が長露光画像と短露光画像とにおいて対応する画素毎の混合比率を示す選択情報を生成し、当該選択情報をＬＰＦ１（５１）および第二使用画像選択部３２に出力する場合を例として説明する。

ＬＰＦ１（５１）は、選択情報から高周波成分を取り除く処理を行う。かかる機能によって、選択情報を大きくぼかし、合成部６０において短露光画像と長露光画像とを合成する際に、短露光画像および長露光画像それぞれの境界を滑らかに接続させることが可能となる。図４に示した「選択情報＋ＬＰＦ１」は、高周波成分が取り除かれた後の選択情報の例を示している。

ＬＰＦ１（５１）からの出力信号のビット精度は、短露光画像および長露光画像それぞれの境界が滑らかに接続されるのに十分に確保されるとよい。選択情報のぼかし方には様々な手法が想定され、特に限定されないが、ぼかしの効果と演算量・回路規模などを考慮してぼかし方が決められるのが望ましい。

動き検出部４０は、動きを検出する。動きの検出手法は特に限定されないが、例えば、長露光画像と短露光画像との差分から動きを検出する手法であってもよいし、複数枚の長露光画像の差分から動きを検出する手法であってもよいし、複数枚の短露光画像の差分から動きを検出する手法であってもよいし、他の手法であってもよい。長露光画像と短露光画像との差分から動きを検出する手法を採用する場合には、そのままでは長露光画像と短露光画像との間で明るさが異なるため、動き検出部４０は、短露光画像に対して露光量に応じたゲインを乗じた上で差分を算出するのがよい。

さらに、動き検出部４０は、検出した動きに基づいて動き領域と非動き領域とを検出して動き検出情報を得る。例えば、動き領域は、動きが閾値よりも大きい領域であり、非動き領域は、動きが閾値よりも小さい領域である。動きが閾値と同一の領域はいずれの領域として検出されてもよい。図４に示した「動き検出情報」を参照すると、動き領域が白い領域、非動き領域が黒い領域として表されている。

ＬＰＦ２（５２）は、動き検出情報から高周波成分を取り除く処理を行う。かかる機能によって、動き検出情報を大きくぼかし、有意な領域を拡大することが可能である。図４に示した「動き検出情報＋ＬＰＦ２」は、高周波成分が取り除かれた後の動き検出情報の例を示している。この例を参照すると、動き検出情報から高周波成分を取り除く処理によって、動き領域が拡大されているのが把握される。

また、ＬＰＦ２（５２）は、動き検出情報から高周波成分を取り除く処理を行うだけではなく、動き検出情報から高周波成分を取り除く処理の結果に対して所定のゲインを乗じてもよい。そうすれば、有意な領域をさらに拡大することが可能である。ＬＰＦ２（５２）からの出力信号のビット精度も、動き領域および非動き領域それぞれの境界が滑らかに接続されるのに十分に確保されるとよい。

第二使用画像選択部３２は、高周波成分が取り除かれた後の動き検出情報に基づいて、高周波成分が取り除かれる前の選択情報と高周波成分が取り除かれた後の選択情報とのいずれかを画素毎に選択して選択結果を得る。例えば、第二使用画像選択部３２は、高周波成分が取り除かれた後の動き検出情報から検出された動き領域については高周波成分が取り除かれた後の選択情報を選択し、高周波成分が取り除かれた後の動き検出情報から検出された非動き領域については高周波成分が取り除かれる前の選択情報を選択すればよい。

図４に示した「選択結果」を参照すると、「動き検出情報＋ＬＰＦ２」に示された動き領域（白い領域）に相当する領域については、高周波成分が取り除かれた後の「選択情報＋ＬＰＦ１」が選択されているのが把握される。また、「動き検出情報＋ＬＰＦ２」に示された非動き領域（黒い領域）に相当する領域については、高周波成分が取り除かれる前の選択情報が選択されているのが把握される。

合成部６０は、第二使用画像選択部３２からの選択結果を受け、当該選択結果に基づいて短露光画像と長露光画像とを合成することによりＷＤＲ画像を生成する。例えば、長露光画像を選択する旨を示す値が「０」であり、短露光画像を選択する旨を示す値が「１」である場合を想定する。かかる場合には、合成部６０は、選択結果を構成する混合比率をαとし、長露光画像と短露光画像とにおいて対応する画素について、α×（短露光画像の画素値）＋（１−α）×（長露光画像の画素値）を算出し、算出結果を合成後の画像（ＷＤＲ画像）とすることができる。なお、合成部６０による合成手法は特に限定されない。

圧縮部８０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理を、合成部６０により生成されたＷＤＲ画像に対して行う。圧縮部８０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、圧縮部８０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

図４に示した「合成画像」は、本発明の実施形態に係る画像処理装置１により出力される合成画像の例である。この例を参照すると、動きのあるオブジェクト（この例では人物）の境界において短露光画像と長露光画像とが滑らかに接続され、アーティファクトが低減された合成画像が得られているのが把握される。また、動き領域においては短露光画像と長露光画像との境界が滑らかに接続されるが、非動き領域においては短露光画像と長露光画像との境界がぼけたりするといった弊害は発生しにくい。

図５は、本発明の実施形態に係る画像処理装置１の動作の流れの例を示す図である。図５を参照しながら、第一使用画像選択部３１によって生成された選択情報がＬＰＦ１（５１）および第二使用画像選択部３２に出力される場合を一例として説明する。図５に示すように、まず、ＬＰＦ１（５１）は、選択情報から高周波成分を取り除く（ステップＳ１）。続いて、動き検出部４０は、動きを検出して動き検出情報を得る（ステップＳ２）。ＬＰＦ２（５２）は、動き検出情報から高周波成分を取り除く（ステップＳ３）。

また、第二使用画像選択部３２は、高周波成分が取り除かれた後の動き検出情報に基づいて、高周波成分が取り除かれる前の選択情報と高周波成分が取り除かれた後の選択情報とのいずれかを画素毎に選択して選択結果を得る（ステップＳ４）。続いて、合成部６０は、選択結果に基づいて長露光画像と短露光画像とを合成する（ステップＳ５）。上記したように、合成画像は、圧縮部８０によって圧縮されるのが望ましい。

本発明の実施形態によれば、長露光画像と短露光画像とにおいて対応する画素毎の混合比率を示す選択情報から高周波成分を取り除くＬＰＦ１（５１）と、動きを検出して動き検出情報を得る動き検出部４０と、動き検出情報から高周波成分を取り除くＬＰＦ２（５２）と、高周波成分が取り除かれた後の動き検出情報に基づいて、高周波成分が取り除かれる前の選択情報と高周波成分が取り除かれた後の選択情報とのいずれかを画素毎に選択して選択結果を得る第二使用画像選択部３２と、選択結果に基づいて長露光画像と短露光画像とを合成する合成部６０と、を備える、画像処理装置１が提供される。

かかる構成により、動き領域において短露光画像と長露光画像とを滑らかに接続することが可能となり、動物体の輪郭が二重に見える顕著なアーティファクトを低減することが可能となる。また、被写体に動きがない画像や、動きのある画像中の非動き領域においては、短露光画像と長露光画像との境界を急峻に切り替えることが可能となり、短露光画像と長露光画像との境界がぼけたりするといった弊害が発生しにくい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１ 画像処理装置
９ 画像処理装置
１０ センサ
２０ メモリ
３０ 使用画像選択部
３１ 第一使用画像選択部
３２ 第二使用画像選択部（選択部）
４０ 検出部
５１ ＬＰＦ１（第１のＬＰＦ）
５２ ＬＰＦ２（第２のＬＰＦ）
６０ 合成部
７０ 階調変換部
８０ 圧縮部

Claims (3)

1. 長露光画像と短露光画像との合成前に前記長露光画像と前記短露光画像とにおいて対応する画素毎の混合比率を示す選択情報から高周波成分を取り除く第１のＬＰＦと、
   動きを検出して動き検出情報を得る動き検出部と、
   前記動き検出情報から高周波成分を取り除く第２のＬＰＦと、
   高周波成分が取り除かれた後の動き検出情報に基づいて、高周波成分が取り除かれる前の選択情報と高周波成分が取り除かれた後の選択情報とのいずれかを画素毎に選択して選択結果を得る選択部と、
   前記選択結果に基づいて前記長露光画像と前記短露光画像とを合成する合成部と、
   を備える、画像処理装置。
2. 前記選択部は、高周波成分が取り除かれた後の動き検出情報から検出された動き領域については高周波成分が取り除かれた後の選択情報を選択し、高周波成分が取り除かれた後の動き検出情報から検出された非動き領域については高周波成分が取り除かれる前の選択情報を選択する、
   請求項１に記載の画像処理装置。
3. 長露光画像と短露光画像との合成前に前記長露光画像と前記短露光画像とにおいて対応する画素ごとの混合比率を示す選択情報から高周波成分を取り除くステップと、
   動きを検出して動き検出情報を得るステップと、
   前記動き検出情報から高周波成分を取り除くステップと、
   高周波成分が取り除かれた後の動き検出情報に基づいて、高周波成分が取り除かれる前の選択情報と高周波成分が取り除かれた後の選択情報とのいずれかを画素毎に選択して選択結果を得るステップと、
   前記選択結果に基づいて前記長露光画像と前記短露光画像とを合成するステップと、
   を含む、画像処理方法。