JP5899633B2 - 画像合成装置、画像合成方法および画像合成プログラム - Google Patents

Description

本発明は、画像合成装置等に関する。

従来、デジタルカメラ等の分野では、ＨＤＲ（High Dynamic Range）合成技術が利用されている。このＨＤＲ合成技術は、同一のシーンにおいて、カメラの露光時間の異なる各画像を合成する。例えば、ＨＤＲ合成技術では、露光時間の短い画像を明るい部分に割り当て、露光時間の長い画像を暗い部分に割り当てることで、各画像を合成する。このような処理を行うことで、カメラのセンサ能力以上のダイナミックレンジを得ることができる。以下の説明において、露光時間の短い画像を短時間露光画像と表記し、露光時間の長い画像を長時間露光画像と表記する。

なお、ＨＤＲ合成技術には、短時間露光画像と長時間露光画像とを撮影する場合に、被写体が移動していると、被写体の移動した部分が多重化されて合成されてしまうという問題があった。この問題を解消するべく、下記のような従来技術が存在する。

この従来技術では、長時間露光画像のうち、輝度が飽和している領域に短時間露光画像を合成する。また、従来技術では、長時間露光画像のうち、移動体の移動した領域に短時間露光画像を合成する。さらに、従来技術では、長時間露光画像と短時間露光画像とを合成する場合に、各画像の境界付近の合成比率を徐々に変化させて合成する。このような合成を行うことで、移動体の移動した部分が多重化されてしまうことを防止することができる。

図１５は、短時間露光画像の一例を示す図である。図１６は、長時間露光画像の一例を示す図である。図１６において、領域１ａは、輝度が飽和している領域である。また、図１６の領域１ｂは、移動体の移動した領域を示す。上記従来技術は、図１６の領域１ａ、１ｂに、図１５の短時間露光画像の該当領域を合成する。図１７は、従来技術の合成結果を示す図である。

特開２００４−２５４１５１号公報

しかしながら、上述した従来技術では、違和感の少ない画像を生成することができないという問題があった。

撮影状況が悪い場合には、カメラのＩＳＯ（International Organization for Standardization）感度を高く設定して画像を撮影するため、短時間露光画像には、多くのノイズ成分が含まれてしまう。このような場合には、従来技術のように、合成比率を徐々に変化させて短時間露光画像と長時間露光画像とを合成したとしても、ノイズ成分の影響を除去しきれず、各画像の境界部分の差異が目立ってしまい、違和感のある画像が生成されてしまう。

図１７に示す例では、領域１ｃにおいて、短時間露光画像に含まれるノイズ成分と長時間露光画像に含まれるノイズ成分との量が異なることに起因して、本来は何もない領域に、車の形をしたゴーストのようなもの（その領域の周囲と比較して、その領域内だけノイズ成分が多い）が画像に現れてしまう。

開示の技術は、上記に鑑みてなされたものであって、違和感の少ない画像を生成することができる画像合成装置、画像合成方法および画像合成プログラムを提供することを目的とする。

開示の画像合成装置は、合成比率判定部と、合成部とを有する。合成比率判定部は、第１の露光時間によってカメラに撮影された第１の画像に含まれるノイズ成分に基づいて、第１の画像と、第１の露光時間と異なる第２の露光時間によってカメラに撮影された第２の画像とを合成する場合の合成比率を判定する。合成部は、合成比率判定部の判定結果に基づいて、第１の画像と第２の画像とを合成する。

画像合成装置の一つの態様によれば、違和感の少ない画像を生成することができるという効果を奏する。

図１は、本実施例にかかる画像合成装置の構成を示す機能ブロック図である。 図２は、ブレンドマスク作成ルールのデータ構造の一例を示す図である。 図３Ａは、ブレンドマスクのデータ構造の一例を示す図である。 図３Ｂは、ブレンドマスクを示す図である。 図４Ａは、移動体動きマスクのデータ構造の一例を示す図である。 図４Ｂは、移動体動きマスクを示す図である。 図５は、合成比率テーブルのデータ構造の一例を示す図である。 図６は、短時間露光画像を拡張する処理を説明するための図である。 図７は、長時間露光画像を拡張する処理を説明するための図である。 図８は、合成マスクのデータ構造の一例を示す図である。 図９は、マスク合成部の処理を示す図である。 図１０は、合成画像の一例を示す図である。 図１１は、本実施例にかかる画像合成装置の処理手順を示すフローチャートである。 図１２は、第２の合成比率テーブルのデータ構造を示す図である。 図１３は、平均値とＩＳＯ感度との対応関係を示す図である。 図１４は、実施例にかかる画像合成装置を構成するコンピュータのハードウェア構成を示す図である。 図１５は、短時間露光画像の一例を示す図である。 図１６は、長時間露光画像の一例を示す図である。 図１７は、従来技術の合成結果を示す図である。

以下に、本願の開示する画像合成装置、画像合成方法および画像合成プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例にかかる画像合成装置の構成について説明する。図１は、本実施例にかかる画像合成装置の構成を示す機能ブロック図である。図１に示すように、画像合成装置１００は、表示部１５、カメラ２０、記憶部１１０、ビット拡張部１２０、ブレンドマスク生成部１３０、合成比率判定部１４０、移動体動きマスク生成部１５０、マスク合成部１６０、αブレンド実行部１７０を有する。

表示部１５は、画像等を表示する表示装置である。例えば、表示部１５は、ディスプレイやモニタなどに対応する。

カメラ２０は、シャッタースピードを変更しつつ、Ｎ枚連続して撮影することで、露光時間の異なる画像をＮ枚撮影する。本実施例では一例として、カメラのＦ値（F number）は、ＩＳＯ感度は一定に設定されているものとする。このＩＳＯ感度は、利用者によって適宜変更される。また、カメラ２０は、２枚連続して画像を撮影するものとする。２枚の画像のうち、露光時間の短い方の画像を、短時間露光画像とし、露光時間の長い方の画像を、長時間露光画像とする。例えば、短時間露光画像は、図１５の画像に対応する。長時間露光画像は、図１６の画像に対応する。

また、短時間露光画像の露光値をＥＶ（Exposure Value）０とし、長時間露光画像の露光値をＥＶ２とする。すなわち、カメラ２０は、長時間露光画像を撮影する場合には、短時間露光画像を撮影する場合よりもＥＶ値で２段階明るくして撮影する。

カメラ２０は、短時間露光画像と長時間露光画像を、ビット拡張部１２０に出力する。例えば、短時間露光画像および長時間露光画像は、１０ｂｉｔのＲＡＷ画像である。このため、短時間露光画像および長時間露光画像は、各画素の輝度を１０ｂｉｔで表す。また、カメラ２０は、ＩＳＯ感度値を合成比率判定部１４０に通知する。

記憶部１１０は、ブレンドマスク作成ルール１１０ａ、ブレンドマスク１１０ｂ、移動体動きマスク１１０ｃ、合成比率テーブル１１０ｄを記憶する記憶装置である。この記憶部１１０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。

ブレンドマスク作成ルール１１０ａは、短時間露光画像を適用する領域、長時間露光画像を適用する領域、短時間露光画像の一部および長時間露光画像の一部を適用する領域を判定する場合に利用される。図２は、ブレンドマスク作成ルールのデータ構造の一例を示す図である。

図２の縦軸は、短時間露光画像と長時間露光画像とを合成する場合の比率を示すものであり、０〜２５５の値をとる。比率が０の場合には、長時間露光画像を利用する割合が１００％となる。比率が２５５の場合には、短時間露光画像を利用する割合が１００％となる。図２の横軸は、輝度の大きさに対応する。

このため、図２に示すブレンドマスク作成ルール１１０ａでは、輝度が５ａの範囲に含まれる場合には、かかる輝度を有する領域に、長時間露光画像を１００％適用することを示す。また、輝度が５ｃの範囲に含まれる場合には、かかる輝度を有する領域に、短時間露光画像を１００％適用することを示す。また、輝度が５ｂの範囲に含まれている場合には、かかる輝度を有する領域に長時間露光画像の一部と、短時間露光画像の一部を適用することを示す。例えば、輝度の値が５ｄの場合には、輝度の値が５ｄとなる領域に、長時間露光画像を５０％、短時間露光画像を５０％適用する。また、輝度が５ｃの範囲に含まれている場合には、かかる輝度を有する領域に短時間露光画像を１００％適用する。

ブレンドマスク１１０ｂは、短時間露光画像と長時間露光画像とを合成する場合に、短時間露光画像および長時間露光画像の比率と、画素とを対応づけたものである。この比率は、図２に示したブレンドマスク作成ルール１１０ａの比率に対応するものである。図３Ａは、ブレンドマスクのデータ構造の一例を示す図である。図３Ａに示すように、このブレンドマスク１１０ｂは、座標と、比率とを対応づけて記憶する。例えば、領域は画素に対応する。

図３Ｂは、ブレンドマスクを示す図である。図３Ｂにおいて、例えば、領域６ａが、短時間露光画像を適用する領域であり、領域６ｂが、長時間露光画像を適用する領域である。

移動体動きマスク１１０ｃは、移動体が移動した領域を定義するものである。図４Ａは、移動体動きマスクのデータ構造の一例を示す図である。図４Ａに示すように、移動体動きマスク１１０ｃは、座標と比率とを対応づけて記憶する。例えば、比率が２５５となる領域には、短時間露光画像を１００％適用する。また、比率が０となる領域には、長時間露光画像を１００％適用する。

図４Ｂは、移動体動きマスクを示す図である。図４Ｂにおいて、例えば、領域７ａが、短時間露光画像を適用する領域であり、領域７ｂが、長時間露光画像を適用する領域である。領域７ｂは、同一シーンにおいて、移動体が移動した領域に対応する。

合成比率テーブル１１０ｄは、カメラのＩＳＯ感度値と、合成比率とを対応づけて記憶するものである。この合成比率は、上記のブレンドマスク１１０ｂと、移動体動きマスク１１０ｃとを合成する場合に利用される比率である。図５は、合成比率テーブルのデータ構造の一例を示す図である。図５に示すように、この合成比率テーブル１１０ｄは、ＩＳＯ感度値と合成比率とを対応づけて記憶する。例えば、ＩＳＯ感度が９９以下の場合には、合成比率が１００％であることを示している。

ビット拡張部１２０は、短時間露光画像と長時間露光画像のビット幅を、１０ｂｉｔから、１２ｂｉｔにビット拡張する処理部である。ビット拡張部１２０は、拡張後の長時間露光画像をブレンドマスク生成部１３０に出力する。また、ビット拡張部１２０は、拡張後の短時間露光画像と拡張後の長時間露光画像を、移動体動きマスク生成部１５０に出力する。

図６は、短時間露光画像を拡張する処理を説明するための図である。図６に示すように、１０ｂｉｔから１２ｂｉｔに拡張すると、画素の値を０〜１０２３の範囲で表していたものが、０〜４０９５の範囲まで拡張される。すなわち、ビット拡張部１２０は、短時間露光画像のデータの幅を４倍にする。また、ビット拡張部１２０は、短時間露光画像の該当する画素の輝度を４倍にする。例えば、拡張前の画素の値が２５５の場合には、拡張後の値を１０２０とする。

図７は、長時間露光画像を拡張する処理を説明するための図である。図７に示すように、１０ｂｉｔから１２ｂｉｔに拡張すると、画素の値を０〜１０２３の範囲で表していたものが、０〜４０９５の範囲まで拡張される。すなわち、ビット拡張部１２０は、短時間露光画像のデータの幅を４倍にする。なお、ビット拡張部１２０は、長時間画像の該当する画素の値をそのままの値とする。例えば、拡張前の画素の値が２５５の場合には、拡張後の値も２５５とする。

ブレンドマスク生成部１３０は、長時間露光画像とブレンドマスク作成ルール１１０ａとを基にして、ブレンドマスク１１０ｂを生成する処理部である。ブレンドマスク生成部１３０が利用する長時間露光画像は、ビット拡張部１２０によりビット拡張されたものを利用する。ブレンドマスク生成部１３０は、長時間露光画像の各画素の値と、ブレンドマスク作成ルール１１０ａとを順次比較して、各画素の比率を順次判定する。例えば、ブレンドマスク生成部１３０は、画素の座標と、比率とを対応づけでブレンドマスク１１０ｂを作成する。

合成比率判定部１４０は、カメラのＩＳＯ感度と、合成比率テーブル１１０ｄとを比較して、合成比率を判定する処理部である。合成比率判定部１４０は、判定した合成比率を、移動体動きマスク生成部１５０、マスク合成部１６０に出力する。例えば、図５に示すように、ＩＳＯ感度値が、９９以下の場合には、合成比率は１００％となる。

移動体動きマスク生成部１５０は、短時間露光画像と長時間露光画像とを基にして、移動体動きマスク１１０ｃを生成する処理部である。移動体動きマスク生成部１５０が利用する短時間露光画像および長時間露光画像は、ビット拡張部１２０によりビット拡張されたものを利用する。移動体動きマスク生成部１５０は、合成比率が０％の場合には、移動体動きマスク１１０ｃを生成する処理を行わない。

移動体動きマスク１１０ｃを生成する処理の一例について説明する。移動体動きマスク生成部１５０は、短時間露光画像と長時間露光画像との差分画像を生成する。移動体動きマスク生成部１５０は、差分画像の差分値が所定の閾値以上となる領域を特定し、特定した領域を、短時間露光画像を適用する領域と判定する。これに対して、移動体動きマスク生成部１５０は、差分画像の差分値が所定の閾値未満となる領域を特定し、特定した領域を、長時間露光画像を適用する領域と判定する。そして、移動体動きマスク生成部１５０は、短時間露光画像を適用する領域の比率を２５５に設定し、長時間露光画像を適用する領域の比率を０に設定することで、移動体動きマスク１１０ｃを設定する。なお、移動体動きマスク生成部１５０は、短時間露光画像の領域と長時間露光画像の領域との境界部分の比率を、０〜２５５の中間値に設定してもよい。

マスク合成部１６０は、合成比率に基づいて、ブレンドマスク１１０ｂと移動体動きマスク１１０ｃとを合成した合成マスクを生成し、合成マスクをαブレンド実行部１７０に出力する処理部である。マスク合成部１６０は、合成比率が０％の場合には、ブレンドマスク１１０ｂを、合成マスクとしてαブレンド実行部１７０に出力する。

マスク合成部１６０が、合成マスクを生成する処理について説明する。マスク合成部１６０は、各座標において、移動体動きマスク１１０ｃの比率に合成比率を乗算した値と、ブレンドマスク１１０ｂの比率の値とを比較して、大きい方の値を該当する座標の比率に設定することで、合成マスクを生成する。マスク合成部１６０は、式（１）に基づいて、合成マスクを生成してもよい。

合成マスクの比率＝ＭＡＸ［被写体動きマスクの比率×合成比率、ブレンドマスクの比率］・・・（１）

例えば、合成比率が５０％、座標（ｘｎ、ｙｎ）のブレンドマスク１１０ｂの比率が２５５、座標（ｘｎ、ｙｎ）の移動体動きマスク１１０ｃの比率が１００とする。この場合には、移動体動きマスク１１０ｃの比率に合成比率を乗算した値は５０となり、ブレンドマスク１１０ｂの比率が２５５となるため、マスク合成部１６０は、合成マスクの座標（ｘｎ、ｙｎ）の比率を２５５とする。マスク合成部１６０は、かかる処理を全ての座標に対して実行する。図８は、合成マスクのデータ構造の一例を示す図である。図８に示すように、合成マスクは、各座標と、比率とを対応づけている。

図９は、マスク合成部の処理を示す図である。図９の画像１０ａは、ブレンドマスクに対応する。画像１０ｂは、合成比率を乗算した移動体動きマスクに対応する。このブレンドマスクの画像１０ａと、移動体動きマスクの画像１０ｂとを、上記の式（１）に基づいて合成すると、合成マスク１０ｃが生成される。

αブレンド実行部１７０は、合成マスクに基づいて、短時間露光画像と長時間露光画像とを合成する処理部である。αブレンド実行部１７０は、合成部の一例である。例えば、αブレンド実行部１７０は、合成した合成画像を表示部１５に出力する。

αブレンド実行部１７０が、短時間露光画像と長時間露光画像とを合成する処理について説明する。例えば、αブレンド実行部１７０は、各座標において、式（２）を適用することで、合成画像を生成する。図１０は、合成画像の一例を示す図である。図１０に示すように、移動体が多重化されているものの、移動体の動きぶれが抑制され、短時間露光画像と長時間露光画像との境界部分が目立つことがない。

合成画像の値＝（短時間露光画像の値×合成マスクの比率＋長時間露光画像の値×（２５５−合成マスクの比率）／２５５）・・・（２）

次に、本実施例にかかる画像合成装置１００の処理手順について説明する。図１１は、本実施例にかかる画像合成装置の処理手順を示すフローチャートである。図１１に示す処理は、例えば、カメラ２０が短時間露光画像と長時間露光画像とを撮影したことを契機にして実行される。図１１に示すように、画像合成装置１００は、短時間露光画像と長時間露光画像とを取得し（ステップＳ１０１）、ビット拡張処理を実行する（ステップＳ１０２）。

画像合成装置１００は、ブレンドマスクを生成し（ステップＳ１０３）、ＩＳＯ感度値を取得する（ステップＳ１０４）。画像合成装置１００は、合成比率を判定し（ステップＳ１０５）、合成比率が０％であるか否かを判定する（ステップＳ１０６）。

画像合成装置１００は、合成比率が０％の場合には（ステップＳ１０６，Ｙｅｓ）、ステップＳ１０９に移行する。一方、画像合成装置１００は、合成比率が０％ではない場合には（ステップＳ１０６，Ｎｏ）、移動体動きマスクを生成する（ステップＳ１０７）。

画像合成装置１００は、マスクを合成して、合成マスクを生成し（ステップＳ１０８）、短時間露光画像と長時間露光画像とを、合成マスクに基づいて合成する（ステップＳ１０９）。

次に、本実施例にかかる画像合成装置１００の効果について説明する。画像合成装置１００は、カメラ２０のＩＳＯ感度値に基づいて、ブレンドマスク１１０ｂと移動体動きマスク１１０ｃとの合成比率を判定する。そして、画像合成装置１００は、合成比率に基づいて合成マスクを生成し、この合成マスクに基づいて、短時間露光画像と長時間露光画像とを合成する。このため、例えば、ＩＳＯ感度が高く、短時間露光画像のノイズ成分が多い場合には、合成比率を下げ、移動体の領域に短時間露光画像が適用される割合を減らし、違和感の少ない合成画像を生成することができる。

また、画像合成装置１００は、ＩＳＯ感度値に応じて、合成比率を決定するため、高度な処理を行うことなくし、画像合成装置１００にかかる負担を軽減させることができる。

ところで、図１に示した合成比率判定部１４０は、ＩＳＯ感度値に基づいて、合成比率を判定したが、これに限定されるものではない。例えば、合成比率判定部１４０は、短時間露光画像と、この短時間露光画像にエッジ保存型のぼかしフィルタを適用した平滑化画像との差分値から、合成比率を判定してもよい。エッジ保存型のぼかしフィルタは、例えば、バイラテラルフィルタやイプシロンフィルタに対応する。

ここで、合成比率判定部１４０のその他の処理について説明する。合成比率判定部１４０は、短時間露光画像に含まれるエッジ成分以外の領域を平滑化することで、平滑化画像を生成する。合成比率判定部１４０は、短時間露光画像と、平滑化画像との差分画像を生成し、画素毎の差分値の平均値を算出する。合成比率判定部１４０は、平均値と、第２の合成比率テーブルとを比較して、合成比率を算出する。この第２の合成比率テーブルは、例えば、記憶部１１０に記憶されているものとする。図１２は、第２の合成比率テーブルのデータ構造を示す図である。

図１２に示すように、この第２の合成比率テーブルは、平均値と合成比率とを対応づけて記憶する。例えば、平均値が０．８以下の場合には、合成比率が１００％であることを示している。なお、平均値とＩＳＯ感度との対応関係は、図１３に示すものとなる。図１３は、平均値とＩＳＯ感度との対応関係を示す図である。

このように、画像合成装置１００は、短時間露光画像と、この短時間露光画像から求めた平滑化画像との差分値から、合成比率を判定する。このため、カメラからＩＳＯ感度値を取得することができなくても、違和感の少ない合成画像を生成することができる。

なお、図１に示した各処理部１２０〜１７０は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、各処理部１２０〜１７０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

また、画像合成装置１００の構成は、図１のものに限定されるものではない。例えば、画像合成装置１００は、カメラ２０、表示部１５を有していなくてもよい。カメラ２０、表示部１５を有していない場合には、画像合成装置１００は、外部のカメラ、表示部に接続する。

ところで、画像合成装置１００は、既存のＰＣ（Personal Computer）などの情報処理装置に、画像合成装置１００の各機能を搭載することによって実現することもできる。

図１４は、実施例にかかる画像合成装置を構成するコンピュータのハードウェア構成を示す図である。図１４に示すように、このコンピュータ２００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、ネットワークを介して他の装置と通信を行うインターフェース装置２０５、画像を撮影するカメラ２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ（Random Access Memory）２０７と、ハードディスク装置２０８とを有する。各装置２０１〜２０８は、バス２０９に接続される。

ハードディスク装置２０８は、合成比率判定プログラム２０８ａ、合成プログラム２０８ｂを記憶する。

ＣＰＵ２０１は、ハードディスク装置２０８に記憶された各プログラム２０８ａ、２０８ｂを読み出して、ＲＡＭ２０７に展開する。これにより、合成比率判定プログラム２０８ａは、合成比率判定プロセス２０７ａとして機能する。合成プログラム２０８ｂは、合成プロセス２０７ｂとして機能する。

例えば、合成比率判定プロセス２０７ａは、図１の合成比率判定部１４０に対応する。合成プロセス２０７ｂは、図１のマスク合成部１６０、αブレンド実行部１７０に対応する。ＣＰＵ２０１は、各プロセス２０７ａ、２０７ｂにより、短時間露光画像と長時間露光画像とを合成する。

なお、上記のプログラム２０８ａ、２０８ｂは、必ずしもハードディスク装置２０８に格納されている必要はない。例えば、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラム２０８ａ、２０８ｂを、コンピュータ２００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続された記憶装置に、各プログラム２０８ａ、２０８ｂを記憶させておいてもよい。この場合、コンピュータ２００がこれらから各プログラム２０８ａ、２０８ｂを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）第１の露光時間によってカメラに撮影された第１の画像に含まれるノイズ成分に基づいて、前記第１の画像と、前記第１の露光時間と異なる第２の露光時間によって前記カメラに撮影された第２の画像とを合成する場合の合成比率を判定する合成比率判定部と、
前記合成比率判定部の判定結果に基づいて、前記第１の画像と前記第２の画像とを合成する合成部と、
を有することを特徴とする画像合成装置。

（付記２）前記合成比率判定部は、前記カメラの感度に基づいて前記合成比率を算出することを特徴とする付記１に記載の画像合成装置。

（付記３）前記合成比率判定部は、前記第１の画像のエッジ部分以外を平滑化した平滑化画像と、前記第１の画像との差分値を算出し、算出した差分値に基づいて前記合成比率を算出することを特徴とする付記１に記載の画像合成装置。

（付記４）コンピュータが実行する画像合成方法であって、
第１の露光時間によってカメラに撮影された第１の画像に含まれるノイズ成分に基づいて、前記第１の画像と、前記第１の露光時間と異なる第２の露光時間によって前記カメラに撮影された第２の画像とを合成する場合の合成比率を判定し、
判定した結果に基づいて、前記第１の画像と前記第２の画像とを合成することを特徴とする画像合成方法。

（付記５）前記カメラの感度に基づいて前記合成比率を算出することを特徴とする付記４に記載の画像合成方法。

（付記６）前記第１の画像のエッジ部分以外を平滑化した平滑化画像と、前記第１の画像との差分値を算出し、算出した差分値に基づいて前記合成比率を算出することを特徴とする付記４に記載の画像合成方法。

（付記７）コンピュータに、
第１の露光時間によってカメラに撮影された第１の画像に含まれるノイズ成分に基づいて、前記第１の画像と、前記第１の露光時間と異なる第２の露光時間によって前記カメラに撮影された第２の画像とを合成する場合の合成比率を判定し、
判定した結果に基づいて、前記第１の画像と前記第２の画像とを合成する処理を実行させる画像合成プログラム。

（付記８）前記カメラの感度に基づいて前記合成比率を算出することを特徴とする付記７に記載の画像合成プログラム。

（付記９）前記第１の画像のエッジ部分以外を平滑化した平滑化画像と、前記第１の画像との差分値を算出し、算出した差分値に基づいて前記合成比率を算出することを特徴とする付記７に記載の画像合成プログラム。

１００ 画像合成装置
１１０ 記憶部
１２０ ビット拡張部
１３０ ブレンドマスク生成部
１４０ 合成比率判定部
１５０ 移動体動きマスク生成部
１６０ マスク合成部
１７０ αブレンド実行部

Claims (6)

1. 第１の露光時間によってカメラに撮影された第１の画像に含まれるノイズ成分に基づいて、前記第１の画像と、前記第１の露光時間よりも長い第２の露光時間によって前記カメラに撮影された第２の画像とを合成する場合の合成比率を判定する場合において、前記ノイズ成分が多い場合には、前記第１の画像の合成比率を下げ、前記第２の画像の合成比率を上げる旨の判定を行い、移動体が移動した領域については、前記第１の画像の合成比率を前記第２の画像の合成比率よりも上げ、前記第１の画像の合成比率について、前記移動体が移動した領域に含まれる前記第１の画像の合成比率および前記ノイズ成分に基づく合成比率を乗算した乗算値と、前記移動体が移動した領域の輝度に基づく前記第１の画像の合成比率とを比較して、大きい方の合成比率を、前記第１の画像の合成比率とする補正を行う合成比率判定部と、
   前記合成比率判定部の処理結果に基づいて、前記第１の画像と前記第２の画像とを合成する合成部と、
   を有することを特徴とする画像合成装置。
2. 前記合成比率判定部は、前記カメラの感度に基づいて前記合成比率を算出することを特徴とする請求項１に記載の画像合成装置。
3. 前記合成比率判定部は、前記第１の画像のエッジ部分以外を平滑化した平滑化画像と、前記第１の画像との差分値を算出し、算出した差分値に基づいて前記合成比率を算出することを特徴とする請求項１に記載の画像合成装置。
4. 前記合成比率判定部は、前記第１の画像の合成比率について、前記移動体が移動した領域に含まれる前記第１の画像の合成比率および前記ノイズ成分に基づく合成比率を乗算した乗算値と、前記移動体が移動した領域における前記第２の画像の輝度に基づく前記第１の画像の合成比率とを比較して、大きい方の合成比率を、前記第１の画像の合成比率とする補正を行うことを特徴とする請求項１に記載の画像合成装置。
5. コンピュータが実行する画像合成方法であって、
   第１の露光時間によってカメラに撮影された第１の画像に含まれるノイズ成分に基づいて、前記第１の画像と、前記第１の露光時間よりも長い第２の露光時間によって前記カメラに撮影された第２の画像とを合成する場合の合成比率を判定する場合において、前記ノイズ成分が多い場合には、前記第１の画像の合成比率を下げ、前記第２の画像の合成比率を上げる旨の判定を行い、移動体が移動した領域については、前記第１の画像の合成比率を前記第２の画像の合成比率よりも上げ、前記第１の画像の合成比率について、前記移動体が移動した領域に含まれる前記第１の画像の合成比率および前記ノイズ成分に基づく合成比率を乗算した乗算値と、前記移動体が移動した領域の輝度に基づく前記第１の画像の合成比率とを比較して、大きい方の合成比率を、前記第１の画像の合成比率とする補正を行い、
   処理した結果に基づいて、前記第１の画像と前記第２の画像とを合成することを特徴とする画像合成方法。
6. コンピュータに、
   第１の露光時間によってカメラに撮影された第１の画像に含まれるノイズ成分に基づいて、前記第１の画像と、前記第１の露光時間よりも長い第２の露光時間によって前記カメラに撮影された第２の画像とを合成する場合の合成比率を判定する場合において、前記ノイズ成分が多い場合には、前記第１の画像の合成比率を下げ、前記第２の画像の合成比率を上げる旨の判定を行い、移動体が移動した領域については、前記第１の画像の合成比率を前記第２の画像の合成比率よりも上げ、前記第１の画像の合成比率について、前記移動体が移動した領域に含まれる前記第１の画像の合成比率および前記ノイズ成分に基づく合成比率を乗算した乗算値と、前記移動体が移動した領域の輝度に基づく前記第１の画像の合成比率とを比較して、大きい方の合成比率を、前記第１の画像の合成比率とする補正を行い、
   処理した結果に基づいて、前記第１の画像と前記第２の画像とを合成する処理を実行させる画像合成プログラム。

Images