JP5098949B2 - 電子カメラおよび画像処理プログラム - Google Patents

Description

本発明は、電子カメラおよび画像処理プログラムに関する。

一般に、動いている被写体（動体）を連続して撮影し、１枚の画像を得る多重露光技術が知られている。例えば、多重露光の方法として、暗室などでカメラのシャッターを開放状態にしておき、ストロボ光を一定間隔で閃光させながら動体を撮影する方法が知られている（例えば、特許文献１参照）。
特許第２７６９７０１号公報

上記従来技術では、暗室など特殊な撮影条件で行わなければならず、容易に動体の合成画像を作成することができないという問題があった。

本発明の目的は、容易に動体の時間変化による動きを１枚の画像の中に合成記録することができる電子カメラおよび画像処理プログラムを提供することである。

本発明に係る電子カメラは、略同一画角で複数枚の画像を連写する撮影部と、前記撮影部が連写した複数枚の画像を一時的に記憶する記憶部と、前記記憶部に記憶された複数枚の画像から動体を検出する動体検出部と、前記動体検出部が検出した動体情報に応じて、撮影画像を所定の分割領域に分割する領域分割部と、前記複数枚の画像のそれぞれにおいて、前記領域分割部が分割した分割領域毎に、前記動体検出部が検出した動体を含む動体画像の分割領域であるか動体を含まない静止体画像の分割領域であるかを判別する領域判別部と、前記複数枚の画像における同一の前記分割領域毎に１つの動体画像の分割領域または静止画像の分割領域を選択する際に、動体画像の分割領域を静止画像の分割領域に優先して選択する画像選択部と、前記画像選択部が選択した動体画像の分割領域と静止画像の分割領域を組み合わせて１枚の画像を生成する画像合成部とを備えることを特徴とする。

また、好ましくは、前記画像選択部は、前記複数枚の画像の中の同一位置の分割領域に動体画像の分割領域が複数枚ある場合は、連写撮影した最後の画像から動体画像の分割領域を選択することを特徴とする。

また、好ましくは、前記領域分割部は、前記動体検出部が検出した動体情報のうち動体のサイズと移動速度の少なくとも１つの条件に応じて、前記所定の分割領域の大きさを可変することを特徴とする。

また、好ましくは、前記画像選択部は、前記静止体画像が同一の分割領域に複数枚存在する場合に、前記複数枚の静止体画像の焦点状態を評価して、最も焦点状態の良い静止画像を選択することを特徴とする。

また、好ましくは、前記動体検出部は、時間的に前後する画像の差分が閾値以上のものを動体として検出することを特徴とする。

また、好ましくは、前記動体検出部は、時間的に前後する画像の差分が閾値以上の領域を動体候補領域として検出し、さらに前記動体候補領域のサイズおよび移動速度の少なくとも１つの条件が閾値以上のものを動体として検出することを特徴とする。

また、好ましくは、前記差分の閾値，前記動体候補領域のサイズおよび移動速度の閾値の少なくとも１つの条件を可変する閾値変更部を更に設けたことを特徴とする。

また、好ましくは、動体画像を選択する時間的順序を設定する順序設定部を更に設け、前記画像選択部は、前記複数枚の画像の中の同一位置の分割領域に動体画像の分割領域が複数枚ある場合は、前記順序設定部で設定された時間的順序に応じて動体画像を選択することを特徴とする。

本発明に係る画像処理プログラムは、略同一画角で連写された複数枚の画像が記憶された記憶媒体から画像データを読み出して画像処理を行うコンピュータの画像処理プログラムであって、前記複数枚の画像から動体を検出する動体検出手順と、前記動体検出手順が検出した動体情報に応じて、撮影画像を所定の分割領域に分割する領域分割手順と、前記複数枚の画像のそれぞれにおいて、前記領域分割手順が分割した分割画像毎に、前記動体検出手順が検出した動体を含む動体画像の分割領域であるか動体を含まない静止画像の分割領域であるかを判別する領域判別手順と、前記複数枚の画像における同一の前記分割領域毎に１つの動体画像の分割領域または静止画像の分割領域を選択する際に、動体画像の分割領域を静止画像の分割領域に優先して選択する画像選択手順と、前記画像選択手順が選択した動体画像の分割領域と静止画像の分割領域を組み合わせて１枚の画像を生成する画像合成手順とを備えることを特徴とする。

本発明によれば、画質の劣化が少なく、動体の時間変化による動きを１枚の画像の中に連続して撮影することができる。

以下、本発明に係る電子カメラおよび画像処理プログラムに関する実施形態について図面を用いて詳しく説明する。

（第１の実施形態）
図１は、第１の実施形態に係る電子カメラ１０１の構成を示すブロック図である。電子カメラ１０１は、レンズ光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）１０５と、Ａ／Ｄ変換部１０６と、画像バッファ１０７と、画像処理部１０８と、制御部１０９と、表示部１１０と、記憶部１１１と、操作部１１２とで構成される。

尚、本実施形態に係る電子カメラ１０１は、操作部１１２に含まれるレリーズボタンの押下毎に１枚の画像を撮影する「通常撮影モード」以外に、１回のレリーズボタンの押下で時間的に連続した複数枚の画像を撮影する「連写撮影モード」を有する。さらに、本実施形態に係る電子カメラ１０１は、「連写撮影モード」で連続撮影した複数枚の画像から動体領域を抽出して合成する「多重露光撮影モード」を有する。

図１において、レンズ光学系１０２に入射された被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。尚、レンズ光学系１０２は、ズームレンズやフォーカスレンズなどのレンズ機構や絞り１０２ａなどを含む。

撮像素子１０４は、受光面に二次元状に配置された光電変換部を有し、受光面に入射された被写体光をその光量に応じた電気信号に変換してＡＦＥ１０５に出力する。

ＡＦＥ１０５は、撮像素子１０４から出力される電気信号のノイズ除去や増幅などを行った後、Ａ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、ＡＦＥ１０５から出力される電気信号をデジタルの画像データに変換し、変換した画像データを画像バッファ１０７に一時的に記憶する。尚、画像バッファ１０７は、連写撮影された複数の画像データも記憶する。

画像処理部１０８は、制御部１０９の指令に応じて、画像バッファ１０７に一時的に記憶された画像データのホワイトバランス処理や色補間処理などを行う。

このようにして、通常撮影モードや連写撮影モードの場合は、レリーズボタンが押下されると、撮影された画像データは画像バッファ１０７に一時的に記憶され、画像処理部１０８で画像処理され、制御部１０９を介して記憶部１１１に保存される。尚、記憶部１１１は、電子カメラ１０１に内蔵の不揮発性メモリであってもよいし、電子カメラ１０１に着脱可能なメモリカードであっても構わない。また、記憶部１１１に保存されている撮影済みの画像データや画像バッファ１０７に一時的に記憶されている画像データは、制御部１０９の指令に応じて、表示部１１０に表示される。

次に、制御部１０９の動作について説明する。尚、制御部１０９は、内部に予め記憶されているプログラムに従って動作する。図１において、制御部１０９は、レンズ制御部１２１と、絞り制御部１２２と、シャッタ制御部１２３と、ＡＦ（自動焦点）制御部１２４と、ＡＥ（自動露光）制御部１２５と、手振れ検出部１２６と、動体検出部１２７と、領域分割部１２８と、領域判別部１２９と、画像選択部１３０と、画像合成部１３１とで構成される。尚、本実施形態では説明が分かり易いように、レンズ制御部１２１，絞り制御部１２２，シャッタ制御部１２３，ＡＦ制御部１２４，ＡＥ制御部１２５，手振れ検出部１２６，動体検出部１２７，領域分割部１２８，領域判別部１２９，画像選択部１３０，画像合成部１３１は、制御部１０９に含めて描いてあるが、制御部１０９とは別のハードウェア回路で構成しても構わない。或いは、動体検出部１２７，領域分割部１２８，領域判別部１２９，画像選択部１３０，画像合成部１３１は、画像処理部１０８に含めても構わないし、いくつかのブロックを統合しても構わない。

撮影者は、操作部１１２の操作ボタン（電源ボタン、レリーズボタン、ズームボタン、撮影モード選択ボタン、カーソルボタンなど）を操作して、電子カメラ１０１を操作する。操作部１１２の操作情報は制御部１０９に入力され、制御部１０９はその操作情報に応じて電子カメラ１０１の各部の動作を制御する。

例えば、制御部１０９は、操作部１１２のズームボタンの操作に応じて、レンズ制御部１２１を介してレンズ光学系１０２のズームレンズの位置を移動させる。同様に、制御部１０９は、絞り制御部１２２を介してレンズ光学系１０２の絞り１０２ａの絞り値を調節する。また、制御部１０９は、シャッタ制御部１２３を介して、シャッタ速度に応じてメカシャッタ１０３を開閉する。

ＡＦ制御部１２４は、画像バッファ１０７に取り込まれた画像の所定位置（ＡＦ測定位置）において山登り方式などの焦点検出方式によってデフォーカス量を算出し、焦点位置を求める。制御部１０９は、ＡＦ制御部１２４が求めた焦点位置に合うように、レンズ制御部１２１を介してレンズ光学系１０２のフォーカスレンズの位置を調節する。

ＡＥ制御部１２５は、画像バッファ１０７に取り込まれた画像の所定位置（ＡＥ測光位置）において測光を行う。制御部１０９は、ＡＥ制御部１２５が求めた測光値に応じて、適正露光になるように、絞り１０２ａの絞り値やメカニカルシャッタ１０３のシャッタ速度などを決定し、絞り制御部１２２やシャッタ制御部１２３に指令する。尚、本実施形態に係る電子カメラ１０１では、メカニカルシャッタ１０３を用いているが、メカニカルシャッタ１０３を開放状態にして、撮像素子１０４の露光時間によってシャッタ速度を制御する電子シャッタを用いても構わない。

ここで、本実施形態では、電子カメラ１０１が「多重露光撮影モード」に設定されている場合は、連写撮影の最初の画像を撮影する時の絞り１０２ａの絞り値やメカニカルシャッタ１０３のシャッタ速度、或いはＡＦＥ１０５に設定される撮影感度や、フォーカスレンズの位置などの撮影条件は、同じ条件に固定される。

手振れ検出部１２６は、電子カメラ１０１の筐体の動きを検出する加速度センサを有し、レリーズボタン押下時の手振れの有無や手振れの度合いを検出する。

動体検出部１２７は、電子カメラ１０１が「多重露光撮影モード」に設定されている場合に、時間的に前後して撮影される２枚の画像間の差分を取る。例えば、図２に示したように、連写撮影される画像２０１と画像２０２の差分を取った後、引き続き画像２０２と画像２０３の差分を取る。ここで、差分を取る場合、２枚の画像の同じ位置の画素の輝度差の絶対値を差分値とし、全画素のそれぞれについて差分値を計算する。そして、差分値が予め設定された閾値以上の画素を判別し、これらの画素を多く含む一塊の領域を動体領域として検出する。また、動体領域を構成する画素数に応じて動体領域のサイズも検出する。さらに、時間的に連続する２枚の画像間の動体領域の特徴点の移動距離と撮影間隔によって動体領域の移動速度も検出する。

このようにして求めた動体領域のサイズや移動速度を用いて、最終的な動体領域を決定する。例えば、差分で検出した動体領域を動体領域候補として検出し、この動体領域候補が予め設定した所定のサイズ（閾値）以上の大きさで、且つ予め設定した所定の移動速度（閾値）以上の速さで移動している場合に最終的な動体領域として検出する。或いは、動体領域のサイズまたは移動速度の少なくとも１つの条件を用いて最終的な動体領域を検出しても構わないし、差分だけで検出した動体領域候補を動体領域としても構わない。尚、本実施形態では、動体領域の検出方法として差分を取る方法について説明したが、動画撮影で利用される動きベクトルを用いて動体領域の検出を行っても構わない。特に動きベクトルを用いる場合は移動速度も同時に求めることができる。或いは、これら以外の方法で動体検出を行っても構わない。

領域分割部１２８は、撮影画像を所定の分割領域に分割する。例えば、図３に示したように、電子カメラ１０１で風景３０１の撮影画角３０２の部分を撮影する場合、撮影画角３０２で撮影される画像Ｐを複数の分割領域に分割する。図３の例では、横方向に４分割、縦方向に３分割された合計１２個の分割領域に分けられる。尚、図３において、Ｐ（１，１）からＰ（３，４）はそれぞれ分割領域を示している。ここで、領域分割部１２８は、動体のサイズや移動速度に応じて分割領域のサイズの目安を決定する。例えば、動体のサイズに対して移動速度が遅い場合は、重複部分が多いので分割領域のサイズを小さくする。また、動体のサイズに対して移動速度が速い場合は、重複部分が少ないので分割領域のサイズを比較的大きくする。尚、いずれの場合でも、分割領域のサイズは小さい方が動体部分を忠実に抽出できるが、分割領域を小さくし過ぎると分割領域の数が多くなるので領域毎に静止画像であるか動体画像であるかを判別する領域判別部１２９，画像選択部１３０および画像合成部１３１の処理量が増加する。そこで、領域分割部１２８は、制御部１０９の処理速度と撮影する画像の解像度とから最適な分割領域のサイズを決定するようにしても構わない。或いは、設定メニューで撮影者が自由に変更できるようにしても構わない。このようにして、制御部１０９の領域分割部１２８は、撮影画像を分割する分割領域のサイズ（または数）を決定する。

領域判別部１２９は、分割領域毎に動体画像であるか静止画像であるかを判定する。例えば、図４（ａ）の画像Ｐ１の場合は、分割領域Ｐ１（２，１）と分割領域Ｐ１（２，２）と分割領域Ｐ１（３，１）と分割領域Ｐ１（３，２）とには、動体３０３が含まれているので、これらの分割領域は動体画像と判定する。逆に、分割領域Ｐ１（１，１）と分割領域Ｐ１（１，２）と分割領域Ｐ１（１，３）と分割領域Ｐ１（１，４）と、分割領域Ｐ１（２，３）と分割領域Ｐ１（２，４）と、分割領域Ｐ１（３，３）と分割領域Ｐ１（３，４）とには、動体３０３が含まれていないので、これらの分割領域は静止画像と判定する。尚、領域判別部１２９の判定の前に、動体検出部１２７は、例えば時間的に前後して撮影された画像Ｐ１と画像Ｐ２との差分を取って、動体３０３を動体領域として認識しているものとする。

次に、画像Ｐ１に続いて撮影された図４（ｂ）の画像Ｐ２の場合、領域判別部１２９は、分割領域Ｐ２（２，２）と分割領域Ｐ２（２，３）と分割領域Ｐ２（３，２）と分割領域Ｐ２（３，３）とに動体３０３が含まれているので、これらの分割領域は動体画像と判定する。逆に、分割領域Ｐ２（１，１）と分割領域Ｐ２（１，２）と分割領域Ｐ２（１，３）と分割領域Ｐ２（１，４）と、分割領域Ｐ２（２，１）と分割領域Ｐ２（２，４）と、分割領域Ｐ２（３，１）と分割領域Ｐ２（３，４）とには、動体３０３が含まれていないので、これらの分割領域は静止画像と判定する。

同様に、画像Ｐ２に続いて撮影された図４（ｃ）の画像Ｐ３の場合、領域判別部１２９は、分割領域Ｐ３（２，３）と分割領域Ｐ３（２，４）と分割領域Ｐ３（３，３）と分割領域Ｐ３（３，４）とに動体３０３が含まれているので、これらの分割領域は動体画像と判定する。逆に、分割領域Ｐ３（１，１）と分割領域Ｐ３（１，２）と分割領域Ｐ３（１，３）と分割領域Ｐ３（１，４）と、分割領域Ｐ３（２，１）と分割領域Ｐ３（２，２）と、分割領域Ｐ３（３，１）と分割領域Ｐ３（３，２）とには、動体３０３が含まれていないので、これらの分割領域は静止画像と判定する。

画像選択部１３０は、領域判別部１２９が動体画像と判定した分割領域を画像Ｐ１，画像Ｐ２および画像Ｐ３のそれぞれから抽出する。例えば、先に説明した図４の例の場合、画像Ｐ１と画像Ｐ２と画像Ｐ３のそれぞれにおいて領域判別部１２９が動体画像と判定した分割領域は、各分割領域の（ｎ，ｍ）を座標とすると、座標（２，１），座標（２，２），座標（２，３），（２，４），座標（３，１），座標（３，２），座標（３，３），座標（３，４）の８つの位置の分割領域となる。

一方、画像選択部１３０は、領域判別部１２９が動体画像と判定しなかった分割領域に複数枚の静止画像が存在する場合は、分割領域毎に最適な１枚の静止画像を選択する。例えば、先に説明した図４の例の場合、画像Ｐ１と画像Ｐ２と画像Ｐ３のそれぞれにおいて領域判別部１２９が動体画像と判定しなかった分割領域は、座標（１，１），座標（１，２），座標（１，３），座標（１，４）の４つの位置の分割領域となる。これらの分割領域には、画像Ｐ１と画像Ｐ２と画像Ｐ３における静止画像の分割領域が重複して存在しているので、画像選択部１３０は、各分割領域毎に最適な１枚の静止画像を選択する。尚、静止画像の選択基準として、例えば、コントラストや画像圧縮処理した時のデータ量、或いは撮影画像毎に手振れ検出部１２６の手振れ度合いなどで評価する。何れの方法を用いた場合でも、最もフォーカス状態が良い（フォーカスが一番合っていると思われる）画像を選択する。ここで、コントラストによる評価方法は、例えば、画素間の差分値を積算した値が最も大きい画像を最もフォーカス状態が良い画像であると判断する。また、画像圧縮処理した時のデータ量による評価方法は、ＪＰＥＧ規格などによる同じ画像圧縮方法で画像データを圧縮した時のデータ量が最も大きいものが最もフォーカス状態が良い画像であると判断する。或いは、手振れ度合いによる評価方法は、手振れ検出部１２６で検出した手振れ度合いが最も小さいもの（手振れが少ないもの）が最もフォーカス状態が良い画像であると判断する。

このようにして、画像選択部１３０は、動体画像の分割領域と、動体を含まない静止画像の分割領域とを選択し、図３に示した１２個の分割領域の全てに対応する動体画像または静止画像が確定する。但し、この段階では、動体を含まない静止画像だけの分割領域は１つだけの静止画像が選択されたが、動体画像の分割領域は、同じ位置の分割領域に重複して存在している。例えば、図４（ａ）の画像Ｐ１において動体画像と判定された分割領域は、座標（２，１），座標（２，２），座標（３，１），座標（３，２）の４つの位置の分割領域であるが、図４（ｂ）の画像Ｐ２において動体画像と判定された分割領域は、座標（２，２），座標（２，３），座標（３，２），座標（３，３）の４つの位置の分割領域なので、画像Ｐ１と画像Ｐ２とにおいて、座標（２，２）と座標（３，２）の２つの位置の分割領域が重複して選択されている。同様に、図４（ｂ）の画像Ｐ２と図４（ｃ）の画像Ｐ３とにおいて、座標（２，３）と座標（３，３）の２つの位置の分割領域が重複して選択されている。ここで、本実施形態では、重複する動体画像の分割領域を重ねる順番が予め設定されているものとする。尚、設定方法は、表示部１１０にメニュー画面を表示して、撮影者が操作部１１２の操作ボタンを操作して設定する。例えば、「時系列降順」または「時系列昇順」などの選択項目をメニュー画面に表示して、操作部１１２のカーソルボタンで選択する。設定内容は記憶部１１１などに保存される。図５（ａ）の場合は、「時系列昇順」に動体画像の分割領域を選択して合成した場合の例で、時間的に後で撮影された動体画像の分割領域が優先して選択されている。この場合は、図５（ｂ）に示すように、時間的に一番古い動体画像の分割領域Ｐ１（２，１）と分割領域Ｐ１（２，２）と分割領域Ｐ１（３，１）と分割領域Ｐ１（３，２）の４つの分割領域において、分割領域Ｐ１（２，２）と分割領域Ｐ１（３，２）は画像Ｐ１より時間的に新しい画像Ｐ２の分割領域Ｐ２（２，２）と分割領域Ｐ２（３，２）が上になる。同様に、画像Ｐ２の分割領域Ｐ２（２，３）と分割領域Ｐ２（３，３）は、画像Ｐ２より時間的に新しい画像Ｐ３の分割領域Ｐ３（２，３）と分割領域Ｐ３（３，３）が上になる。尚、上記の説明では分かり易いように、上に重ねていくような表現を用いたが、実際の処理では、画像選択部１３０は一番上になる分割領域を予め各分割領域毎に１つずつ選択しておく。

尚、本実施形態では、分割領域毎に複数の静止画像の中から最適な１枚の静止画像を選択し、或いは分割領域毎に複数の動体画像の中から記録する順番に応じて１枚の動体画像を選択するようにしたが、単純に連写撮影された最後の画像を選択するようにしても構わない。この場合は、動体画像の分割領域と静止画像の分割領域とを分けた後、同じ位置の分割領域毎に最後に撮影された動体画像または静止画像をそれぞれ選択する。尚、この時、複数枚の画像における同一の分割領域毎に１つの動体画像の分割領域または静止画像の分割領域を選択する際に、動体画像の分割領域を静止画像の分割領域に優先して選択する。このように、処理を単純化することによって処理が簡単になり高速に処理することができる。

画像合成部１３１は、画像選択部１３０が選択したそれぞれの分割領域に対応する動体画像または静止画像をパッチワーク状に組み合わせて合成し、図５（ａ）に示すような１枚の撮影画像Ｐａを作成する。作成された撮影画像Ｐａは、表示部１１０に表示されると共に、記憶部１１１に保存される。このようにして、動体３０３の動きを多重露光したように合成した画像を得ることができる。

次に、本実施形態に係る電子カメラ１０１が「多重露光撮影モード」に設定されている場合の動作について、図６のフローチャートを用いて詳しく説明する。尚、図６のフローチャートは、制御部１０９の内部に予め組み込まれたプログラムに従って動作する。以下、電子カメラ１０１の動作について順に説明する。

（ステップＳ１０１）撮影者は、電子カメラ１０１の操作部１１２に含まれる電源ボタンを押して電源をＯＮする。この状態で、電子カメラ１０１は、レンズ光学系１０２を介して撮像素子１０４で撮影するプレビュー画像を表示部１１０に表示する。撮影者は、このプレビュー画像を見ながら撮影画角や被写体を確認する。尚、プレビュー画像を撮影している時は、メカニカルシャッタ１０３は常に開放状態になっており、電子シャッタによる撮影が行われる。また、プレビュー画像の撮影中、ＡＦ制御部１２４は、予め設定された所定位置で焦点位置を求め、レンズ制御部１２１を介してレンズ光学系１０２のフォーカスレンズの位置を常に調節している。同様に、ＡＥ制御部１２５は、適正露光になるように、露光時間を常に調節している。

（ステップＳ１０２）制御部１０９は、撮影者が電子カメラ１０１の操作部１１２に含まれるレリーズボタンを押下したか否かを判別する。レリーズボタンが押下された場合はステップＳ１０３に進み、レリーズボタンが押下されていない場合はステップＳ１０２の処理を繰り返す。

（ステップＳ１０３）制御部１０９は、シャッタ制御部１２３に指令して、予め設定された所定枚数の連写撮影を行う。尚、連写撮影は、メカニカルシャッタ１０３を開閉して撮影しても構わないし、プレビュー画像のように撮像素子１０４の露光時間を調節する電子シャッタで撮影しても構わない。但し、連写撮影している間は、ＡＦ制御部１２４やＡＥ制御部１２５は動作を一時的に停止し、固定の露出条件、フォーカス位置でほぼ同じ撮影画角（略同一の撮影画角）で撮影される。

（ステップＳ１０４）制御部１０９は、連写撮影された複数枚の撮影画像を画像バッファ１０７に一時的に記憶する。

（ステップＳ１０５）制御部１０９の動体検出部１２７は、図２で説明したように、時間的に前後して撮影される２枚の画像間の差分を算出する。

（ステップＳ１０６）制御部１０９の動体検出部１２７は、先に説明したように、動体領域を構成する画素数に応じて動体領域のサイズや移動速度を求めて動体領域の検出を行う。

（ステップＳ１０７）制御部１０９の領域分割部１２８は、動体領域のサイズや移動速度に応じて、撮影画像を分割する分割領域のサイズ（または数）を決定し設定する。

（ステップＳ１０８）制御部１０９の領域判別部１２９は、ステップＳ１０７で領域分割部１２８が分割した分割領域毎に動体画像であるか静止画像であるかを判定し、連続して撮影された各画像の分割領域毎に判定結果を対応させて画像バッファ１０７または記憶部１１１に一時的に記憶しておく。

（ステップＳ１０９）制御部１０９の画像選択部１３０は、全ての分割領域に対応する１枚の静止画像または動体画像を選択する。例えば、図４（ａ）の画像Ｐ１と、図４（ｂ）の画像Ｐ２と、図４（ｃ）の画像Ｐ３とを用いる場合、分割領域の座標（１，１）の位置には、分割領域Ｐ１（１，１），分割領域Ｐ２（１，１），分割領域Ｐ３（１，１）のいずれかの静止画像を選択する。選択方法は、先に説明したように、例えばコントラストを評価して最もフォーカス状態が良い画像を選択する。同様に、分割領域の座標（１，１）から座標（４，４）までの各位置に最適な画像を選択する。尚、図４の場合は、分割領域の座標（１，１），座標（１，２），座標（１，３）および座標（１，４）の位置には静止画像が選択され、これ以外の分割領域の位置には動体画像が選択される。尚、この時、先に説明したように、動体画像の分割領域は、予め設定された順番に従って選択される。例えば、図７（ａ）の画像Ｐｂは「時系列昇順」に動体画像の分割領域を重ね合わせた場合の例で、時間的に後で撮影された動体画像の分割領域が優先して選択され、上になるように合成される。これに対して、図７（ｂ）の画像Ｐｃは「時系列降順」に動体画像の分割領域を重ね合わせた場合の例で、時間的に前に撮影された動体画像の分割領域が優先して選択され、上になるように合成される。

（ステップＳ１１０）制御部１０９の画像合成部１３１は、ステップＳ１０９で選択した各分割領域に対応する１枚の静止画像または動体画像をパッチワーク状に組み合わせて合成し、図８（ａ）に示すような１枚の撮影画像Ｐｄを作成する。ここで、先に説明した分割領域のサイズが大きい場合と小さい場合の違いについて説明する。図８（ａ）の画像Ｐｄは大きな１２個の分割領域に分けられているが、図８（ｂ）の画像Ｐｅは４３２個（横２４×縦１８）の小さな分割領域に分けられている。図８（ａ）の画像Ｐｄは、点線円３５１，３５２の重なり部分で動体３０３が途切れており、違和感のある合成画像になっているが、図８（ｂ）の画像Ｐｅは、分割領域が小さいので動体３０３の重なりに違和感がなく、きれいな合成画像が得られる。

（ステップＳ１１１）制御部１０９は、ステップ１１０で作成された撮影画像Ｐａを、撮影者の操作に応じて表示部１１０に表示したり、記憶部１１１に保存する。

（ステップＳ１１２）「多重露光撮影モード」における撮影処理を終了する。

尚、本実施形態では、説明を分かり易くするために、撮影画像の中に１つの動体しか存在しない場合について説明したが、複数の動体が存在しても構わない。この場合は、動体検出部１２７は、先に説明したように動体領域のサイズや移動速度によって、複数の動体を検出する。そして、同様に、検出した動体が含まれる分割領域を動体画像として抽出し、先に説明した１つの動体の場合と同様に合成する。

このように、本実施形態に係る電子カメラ１０１は、画質の劣化が少なく、動体の時間変化による動きを１枚の画像の中に連続して記録することができる。特に、従来技術では、暗室など特殊な撮影条件で多重露光を行わなければならず、また自然光の下で多重露光によって撮影する場合は、動体領域または動体が含まれない領域のいずれかの露光条件が最適でなくなってしまい、合成された画像の画質が劣化してしまうという問題があったが、本実施形態に係る電子カメラ１０１は、暗室など特殊な撮影条件で行う必要がなく、自然光の下で多重露光撮影を実現することができる。さらに、動体領域および静止画領域のいずれの領域においても適切な露光条件で撮影された画像を用いて合成するので、高画質な多重露光画像を得ることができる。

尚、本実施形態では、連写撮影された全ての画像を用いるようにしたが、動体検出部１２７が求めた動体部分の移動速度に応じて、画像選択部１３０が選択する動体画像を間引いても構わない。例えば図４の場合、画像Ｐ１と画像Ｐ２と画像Ｐ３の３つの画像からそれぞれ動体画像の分割領域を選択したが、画像Ｐ２を間引いて、画像Ｐ１と画像Ｐ３の２つの画像からのみ動体画像の分割領域を選択する。このような間引き処理は、動体の移動速度が連写速度に対して遅い場合に効果的である。この場合、例えば、画像選択部１３０は、動体検出部１２７が求めた動体部分の移動速度が連写速度に対して速い場合は間引き数を多くし、動体部分の移動速度が連写速度に対して遅い場合は間引き数を少なくする。

また、図６のフローチャートにおいて、ステップＳ１０１からステップＳ１０４の連写撮影の処理を除くステップＳ１０５以降の処理を、パソコンなどのコンピュータで実行する画像処理プログラムとしても構わない。この場合は、連写撮影した複数枚の画像が記憶部１１１に相当するメモリカードに保存されているものとし、そのメモリカードをパソコンに装着して、図６のフローチャートのステップＳ１０５以降の画像処理プログラムを実行する。尚、この場合、パソコンの画像処理プログラムは、ステップＳ１０５の処理において、メモリカードに保存されている連写撮影された画像データを撮影順に読み出して差分を算出する。

このようにして、パソコンなどのコンピュータで実行する画像処理プログラムの場合でも、電子カメラ１０１と同様の効果を得ることができる。尚、画像処理プログラムは、ＣＤなどの記憶媒体に記憶した状態で提供しても構わないし、インターネットなどの通信媒体を介して電子的に配布するようにしても構わない。

本実施形態に係る電子カメラ１０１のブロック図である。 連写撮影画像の差分を説明するための補助図である。 分割領域を説明するための補助図である。 動体領域の判定を説明するための補助図である。 画像合成を説明するための補助図である。 本実施形態に係る電子カメラ１０１の処理を示すフローチャートである。 合成例を示す補助図である。 分割領域のサイズによる違いを説明するための補助図である。

符号の説明

１０１・・・カメラ １０２・・・レンズ光学系
１０３・・・メカニカルシャッタ １０４・・・撮像素子
１０５・・・ＡＦＥ １０６・・・Ａ／Ｄ変換部
１０７・・・画像バッファ １０８・・・画像処理部
１０９・・・制御部 １１０・・・表示部
１１１・・・記憶部 １１２・・・操作部
１２１・・・レンズ制御部 １２２・・・絞り制御部
１２３・・・シャッタ制御部 １２４・・・ＡＦ制御部
１２５・・・ＡＥ制御部 １２６・・・手振れ検出部
１２７・・・動体検出部 １２８・・・領域分割部
１２９・・・領域判別部 １３０・・・画像選択部
１３１・・・画像合成部

Claims (9)

1. 略同一画角で複数枚の画像を連写する撮影部と、
   前記撮影部が連写した複数枚の画像を一時的に記憶する記憶部と、
   前記記憶部に記憶された複数枚の画像から動体を検出する動体検出部と、
   前記動体検出部が検出した動体情報に応じて、撮影画像を所定の分割領域に分割する領域分割部と、
   前記複数枚の画像のそれぞれにおいて、前記領域分割部が分割した分割領域毎に、前記動体検出部が検出した動体を含む動体画像の分割領域であるか動体を含まない静止体画像の分割領域であるかを判別する領域判別部と、
   前記複数枚の画像における同一の前記分割領域毎に１つの動体画像の分割領域または静止画像の分割領域を選択する際に、動体画像の分割領域を静止画像の分割領域に優先して選択する画像選択部と、
   前記画像選択部が選択した動体画像の分割領域と静止画像の分割領域を組み合わせて１枚の画像を生成する画像合成部と
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記画像選択部は、前記複数枚の画像の中の同一位置の分割領域に動体画像の分割領域が複数枚ある場合は、連写撮影した最後の画像から動体画像の分割領域を選択する
   ことを特徴とする電子カメラ。
3. 請求項１または２に記載の電子カメラにおいて、
   前記領域分割部は、前記動体検出部が検出した動体情報のうち動体のサイズと移動速度の少なくとも１つの条件に応じて、前記所定の分割領域の大きさを可変する
   ことを特徴とする電子カメラ。
4. 請求項１から３のいずれか一項に記載の電子カメラにおいて、
   前記画像選択部は、前記静止体画像が同一の分割領域に複数枚存在する場合に、前記複数枚の静止体画像の焦点状態を評価して、最も焦点状態の良い静止画像を選択する
   ことを特徴とする電子カメラ。
5. 請求項１から４のいずれか一項に記載の電子カメラにおいて、
   前記動体検出部は、時間的に前後する画像の差分が閾値以上のものを動体として検出する
   ことを特徴とする電子カメラ。
6. 請求項５に記載の電子カメラにおいて、
   前記動体検出部は、時間的に前後する画像の差分が閾値以上の領域を動体候補領域として検出し、さらに前記動体候補領域のサイズおよび移動速度の少なくとも１つの条件が閾値以上のものを動体として検出する
   ことを特徴とする電子カメラ。
7. 請求項６に記載の電子カメラにおいて、
   前記差分の閾値，前記動体候補領域のサイズおよび移動速度の閾値の少なくとも１つの条件を可変する閾値変更部を更に設けた
   ことを特徴とする電子カメラ。
8. 請求項１から７のいずれか一項に記載の電子カメラにおいて、
   動体画像を選択する時間的順序を設定する順序設定部を更に設け、
   前記画像選択部は、前記複数枚の画像の中の同一位置の分割領域に動体画像の分割領域が複数枚ある場合は、前記順序設定部で設定された時間的順序に応じて動体画像を選択する
   ことを特徴とする電子カメラ。
9. 略同一画角で連写された複数枚の画像が記憶された記憶媒体から画像データを読み出して画像処理を行うコンピュータの画像処理プログラムであって、
   前記複数枚の画像から動体を検出する動体検出手順と、
   前記動体検出手順が検出した動体情報に応じて、撮影画像を所定の分割領域に分割する領域分割手順と、
   前記複数枚の画像のそれぞれにおいて、前記領域分割手順が分割した分割画像毎に、前記動体検出手順が検出した動体を含む動体画像の分割領域であるか動体を含まない静止画像の分割領域であるかを判別する領域判別手順と、
   前記複数枚の画像における同一の前記分割領域毎に１つの動体画像の分割領域または静止画像の分割領域を選択する際に、動体画像の分割領域を静止画像の分割領域に優先して選択する画像選択手順と、
   前記画像選択手順が選択した動体画像の分割領域と静止画像の分割領域を組み合わせて１枚の画像を生成する画像合成手順と
   を備えることを特徴とする画像処理プログラム。

Images