JP6314281B1 - 画像処理方法及び前景領域取得方法 - Google Patents

Abstract

【課題】主被写体の領域である前景領域か否かの判定が画像から検出されるエッジの形態に依存しにくい。
【解決手段】主被写体にピントを合わせた撮像画像であるＪＰ画像及び無限遠にピントを合わせた撮像画像であるＩＮＦ画像のそれぞれにエッジ抽出処理を施す（ステップＳ３）。エッジ抽出処理後のＪＰ画像のブロック積算値とエッジ抽出処理後のＩＮＦ画像のブロック積算値との差分値を取得する（ステップＳ４及びＳ５）。ＪＰ画像に領域分割処理を施す（ステップＳ８）。差分値の大小の傾向を分割領域ごとに評価した結果に基づいて前景領域マップを取得する（ステップＳ６、Ｓ７及びＳ９）。前景領域マップに基づいてＪＰ画像にぼかし処理を施すことで、背景領域がぼけた画像を取得する（ステップＳ１０）。
【選択図】図２

Description

本発明は、画像処理方法及び前景領域取得方法に関する。

従来、撮像画像において検出されたエッジに基づき、主被写体の領域である前景領域を取得する方法が存在する。その一例として、特許文献１では、主被写体にピントを合わせた画像において被写体のエッジを検出する。そして、そのエッジの強度、所定数のエッジにより囲まれる候補領域内に存在する画素数等に応じて主被写体の領域を特定している。

特開２０１３−５８８２３号公報

特許文献１の方法によると、上記の通り、エッジの強度及び所定数のエッジにより囲まれる候補領域内に存在する画素数に応じて主被写体の領域（前景領域）か否かが判定される。しかしながら、このような方法によると、エッジの形状及び分布状況等に応じて、つまり、エッジの形態に応じて候補領域の取得結果が異なったものとなるおそれがある。エッジの形態は、主被写体自体の形状やエッジの検出条件等の検出状況に応じて変動する。したがって、エッジの形態のみに依存したこのような前景領域の判定方法によると、判定結果が安定しないおそれがある。

本発明の目的は、主被写体の領域である前景領域か否かの判定が画像から検出されるエッジの形態に依存しにくい画像処理方法及び前景領域取得方法を提供することにある。

本発明の画像処理方法は、主被写体にピントを合わせた第１の撮像画像及び前記主被写体の位置とは異なる位置にピントを合わせた第２の撮像画像のそれぞれにエッジ抽出処理を施すエッジ抽出ステップと、前記エッジ抽出処理後の前記第１及び第２の撮像画像同士で、互いに同じ位置の画素値又は画素ブロック値の差分値を取得する差分ステップと、前記エッジ抽出処理前の前記第１の撮像画像に基づいて、前記第１の撮像画像中の各被写体の領域をそれぞれ取得する領域取得ステップと、前記領域取得ステップにおいて取得された前記領域ごとに、前記差分ステップにおいて画素又は画素ブロックに関して取得された前記差分値の大小の傾向を評価した結果に基づいて、前記領域取得ステップにおいて取得された前記領域のうち前記主被写体に対応する前景領域がいずれであるかを判定する前景領域判定ステップと、前記前景領域判定ステップの判定結果に基づいて前記前景領域以外の領域がぼけた画像を、少なくとも主被写体にピントを合わせた撮像画像から取得する背景ぼけ画像取得ステップとを備えている。

また、別の観点に係る本発明の前景領域取得方法は、主被写体にピントを合わせた第１の撮像画像及び前記主被写体の位置とは異なる位置にピントを合わせた第２の撮像画像のそれぞれにエッジ抽出処理を施すエッジ抽出ステップと、前記エッジ抽出処理後の前記第１及び第２の撮像画像同士で、互いに同じ位置の画素値又は画素ブロック値の差分値を取得する差分ステップと、前記エッジ抽出処理前の前記第１の撮像画像に基づいて、前記第１の撮像画像中の各被写体の領域をそれぞれ取得する領域取得ステップと、前記領域取得ステップにおいて取得された前記領域ごとに、前記差分ステップにおいて画素又は画素ブロックに関して取得された前記差分値の大小の傾向を評価した結果に基づいて、前記領域取得ステップにおいて取得された前記領域のうち前記主被写体に対応する前景領域がいずれであるかを判定する前景領域判定ステップと、を備えている。

本発明の画像処理方法及び前景領域取得方法によると、主被写体にピントを合わせた撮像画像とそれより遠方にピントを合わせた撮像画像との間で、エッジ抽出処理後の画像における画素値又は画素ブロック値（以下、画素値等とする）の差分値を取得する。例えば、前者の撮像画像の画素値等から後者の撮像画像の画素値等を引いた差分値は、主被写体の領域である前景領域において正の大きい値になる傾向が強いか、負の小さい値になる傾向が弱い。したがって、領域取得ステップにおいて取得された各被写体の領域において差分値の大小の傾向を評価することで前景領域を取得できる。差分値の大小の傾向は、例えば、領域ごとに差分値の傾向を示す評価値を算出し、その評価値と閾値とを領域ごとに比較することで評価してもよい。また、領域同士で評価値を比較することで評価してもよい。領域ごとの差分値の大小の傾向は、撮像画像において抽出されたエッジの形状には依存しにくい。したがって、本発明の画像処理方法及び前景領域取得方法においては、前景領域か否かの判定結果がエッジの形態に依存しにくく、判定結果が安定する。また、本発明の画像処理方法においては、かかる前景領域の取得結果に基づき、前景領域以外の領域にぼかし処理が施されるので、背景となる領域が適切にぼけた画像が取得される。

なお、本発明において、差分値の大小とは、差分値が正の大きい値であったり、差分値が負の小さい値であったりすることをいう。このような大小は、例えば、基準値又は閾値との比較に基づいて評価される。本発明において、差分値の大小の傾向に加え、さらにエッジの形状等も考慮しつつ前景領域を取得してもよい。この場合にも、エッジの形態のみならず、エッジの形態に依存しにくい差分値の大小の傾向にも基づくため、エッジの形態のみに基づく場合と比べ、全体としてエッジの形態に依存しにくい結果が得られる。また、本発明の画素ブロック値は、それぞれが複数の画素値からなる複数の画素ブロックに撮像画像を分けた場合における各画素ブロックの代表値（画素値の積算値、平均値等）を意味する。

また、本発明においては、前記差分ステップにおいて、前記エッジ抽出処理後の前記第１の撮像画像の画素値又は画素ブロック値から前記エッジ抽出処理後の前記第２の撮像画像の画素値又は画素ブロック値が引かれることにより前記差分値が取得され、前記前景領域判定ステップにおいて、前記領域取得ステップにおいて取得された前記領域のうち、前記差分値が正の大きい値となる傾向が強く且つ前記差分値が負の小さい値になる傾向が弱い領域を前記前景領域であると判定することが好ましい。これによると、前景領域における差分値が示す２つの傾向の両方を基準として前景領域であるか否かを判定する。したがって、前景領域が適切に判定されやすい。なお、差分値の傾向は、上記同様に評価されてよい。例えば、差分値が正の大きい値となる傾向を示す評価値として領域内の差分値が正の基準値を超える数を領域ごとに算出する。また、差分値が負の小さい値となる傾向を示す評価値として領域内の差分値が負の基準値を下回る数を領域ごとに算出する。そして、これらの評価値と閾値とを領域ごとに比較することで差分値の傾向を評価してもよい。また、領域同士で評価値を比較することで評価してもよい。

また、本発明においては、前記前景領域判定ステップが、前記差分ステップにおいて取得された前記差分値の大小をＸ１、Ｘ２（＜Ｘ１）及びＸ３（＜Ｘ２）の３段階で示す値である大小評価値を画素又は画素ブロックごとに取得する３値取得ステップと、前記３値取得ステップにおいて取得された大小評価値のうち、Ｘ１及びＸ２の前者又は両方に対応する値を、前記領域取得ステップにおいて取得された前記領域内の画素又は画素ブロックに関して前記領域ごとに積算する第１積算ステップと、前記３値取得ステップにおいて取得された大小評価値のうち、Ｘ３及びＸ２の前者又は両方に対応する値を、前記領域取得ステップにおいて取得された前記領域内の画素又は画素ブロックに関して前記領域ごとに積算する第２積算ステップと、前記第１積算ステップによる積算値と第１閾値とを前記領域ごとに比較する第１比較ステップと、前記第２積算ステップによる積算値と第２閾値とを前記領域ごとに比較する第２比較ステップとを含んでいることが好ましい。これによると、画素又は画素ブロックごとにＸ１〜Ｘ３からなる３値の大小評価値を取得する。そして、第１積算ステップでＸ１及びＸ２の前者又は両方を領域ごとに積算すると共に、第２積算ステップでＸ３及びＸ２の前者又は両方を領域ごとに積算する。第１積算ステップの積算値は、正の値に関する差分値の大小の傾向を示す評価値となる。また、第２積算ステップの積算値は、負の値に関する差分値の大小の傾向を示す評価値となる。したがって、各積算値を閾値と比較することにより、正の値及び負の値の両方に関する差分値の大小の傾向を適切に評価することができる。

また、本発明においては、前記差分ステップが、前記エッジ抽出処理後の前記第１及び第２の撮像画像のそれぞれに関して画素ブロックごとに画素値を積算することで前記画素ブロック値を取得するブロック積算ステップと、前記エッジ抽出処理後の前記第１及び第２の撮像画像同士で、互いに同じ位置の前記画素ブロック値の差分を取ることで前記差分値を取得するブロック差分ステップとを含んでいることが好ましい。これによると、差分値の取得において画素ブロック値を用いる。画素ブロック値は、エッジ抽出処理後の各撮像画像において画素ブロックごとの積算値である。このため、第１の撮像画像と第２の撮像画像との間に画角のずれがある場合に、このずれを画素ブロックの範囲において積算値に吸収することができる。

本発明の一実施形態に係る画像処理方法を実行する撮像装置の概略構成を示す機能ブロック図である。 図１の撮像装置が実行する処理の流れを示すフロー図である。 図１の撮像装置が取得したカラーの撮像画像をグレースケールに変換した画像である。図３（ａ）は主被写体にピントを合わせたＪＰ画像のグレースケール画像を、図３（ｂ）は無限遠にピントを合わせたＩＮＦ画像のグレースケール画像を示す。 図４（ａ）は、図３（ａ）の画像にエッジ抽出処理を施した結果に相当する画像である。図４（ｂ）は、図３（ｂ）の画像にエッジ抽出処理を施した結果に相当する画像である。 図４（ａ）の画像を縦Ｌ個×横Ｌ個からなるブロックに分割した状況を概念的に示す図である。 図４（ａ）及び図４（ｂ）の画像から得られたブロック積算値の差分値に対応する画像である。 図６の画像が示す差分値から得られた３値マップに対応する画像である。 図８（ａ）は、図７の画像が示す３値マップから得られたポジティブマップに対応する画像である。図８（ｂ）は、図７の画像が示す３値マップから得られたネガティブマップに対応する画像である。 図３（ａ）の画像に対応するＪＰ画像から取得された領域分割マップに対応する画像である。 図９に示す領域分割マップから得られた前景領域マップに対応する画像である。 図３（ａ）のＪＰ画像から得られたぼけ画像である。

本発明の一実施形態に係る画像処理方法及び前景領域取得方法を実行する撮像装置１について図面を参照しつつ説明する。撮像装置１は、図１に示すように、ユーザインタフェース部２、撮像制御部３、撮像光学系１０、撮像素子２０及び画像処理部１００を備えている。ユーザインタフェース部２は、ユーザによって操作可能な各種のスイッチ、ボタン、タッチパネル等を含んでいる。撮像光学系１０は、絞り、及び、フォーカスレンズを含む各種のレンズを有する。撮像制御部３は、後述の撮影処理を実行するように撮像光学系１０及び撮像素子２０を制御する。撮像光学系１０は、被写体からの光を撮像素子２０へと導いて、撮像素子２０において結像させる。撮像光学系１０は、レンズの位置を変更すること等により、ピントを変更することができる。例えば、撮像光学系１０は、撮像装置１に対して所定の距離にある被写体にピントを合わせたり、その被写体より遠くの被写体にピントを合わせたり、無限遠にピントを合わせたりすることができる。以下、ピントが合った被写体を主被写体とする。

撮像素子２０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）方式が採用されたイメージセンサである。撮像素子２０は、所定の配列方式で配列されたカラーフィルタと、各カラーフィルタを通じて受光した光の強度に応じたアナログ信号を出力する光電変換素子と、光電変換素子からのアナログ信号の利得を変換する利得変換部と、そのアナログ信号をデジタル信号に変換するＡＤ変換部とを備えている。なお、撮像素子２０として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）方式が採用されたイメージセンサが用いられてもよい。カラーフィルタの配列方式はいずれが採用されてもよい。例えば、ベイヤー（Ｂａｙｅｒ）配列方式が採用されてもよい。ベイヤー配列は、Ｒ（赤）及びＧ（緑）が横方向に交互に並んだ行とＧ（緑）及びＢ（青）が横方向に交互に並んだ行とが縦方向に交互に並んだ配列である。撮像素子２０は、カラーフィルタの配列方式に従ってＲ、Ｇ及びＢの各色の各画素が並んだ画像を示す画像信号を出力する。

画像処理部１００は、撮像素子２０から出力される画像信号に基づいて、画素ごとにＲ、Ｇ及びＢの３色の画素値を有するカラー画像を生成する。例えば、ベイヤー配列に従った画像信号が示す画像の各画素は、Ｒ、Ｇ及びＢのいずれか１色のみの画素である。そこで、画像処理部１００は、目的画素の周辺の画素における画素値に基づいて目的画素の他の２色を補間することで上記カラー画像を生成する。そして、画像処理部１００は、生成したカラー画像に各種の画像処理を施す。この画像処理において、画像処理部１００は、撮像素子２０から出力される画像信号に基づき、画像信号が示す画像において、ピントが合った被写体である主被写体の領域に相当する前景領域を取得する。そして、取得した前景領域に基づき、カラー画像における前景領域以外の領域である背景領域にぼかし処理を施した画像を生成する。これらの画像処理の詳細は後述する。生成された画像はディスプレイ表示として出力される。生成された画像が、印刷用紙への印刷や記録媒体への記録として出力されてもよい。また、画像処理部１００は、撮像素子１０からの画像信号に基づいて各種の制御値を生成する。この制御値は、例えば、撮像制御部３においてフォーカスの調整等に用いられる。

撮像制御部３及び画像処理部１００の各種機能は、ＣＰＵ、メモリなどの記憶用デバイス、各種インタフェースなどからなるハードウェアと、記憶部に記憶されたプログラムデータなどの各種データからなるソフトウェアとが互いに協働することで実現されている。なお、これらの機能は、このようなハードウェア及びソフトウェアの協働による機能にＡＳＩＣ等の専用回路の機能が組み合わされることで実現されてもよい。

以下、撮像装置１が実行する処理の流れについて、図２を参照しつつ説明する。まず、撮像装置１は、ピントを合わせた位置が異なる２枚の撮像画像を取得する撮影処理を実行する（ステップＳ１）。撮影処理においては、まず、撮像制御部３が撮像光学系１０及び撮像素子２０を制御することにより、ピントを合わせた位置が異なる２枚の撮像画像に対応する画像信号を画像処理部１００へと出力させる。２枚の撮像画像は、時間を置くことなく連続的に取得される。したがって、２枚の撮像画像の間で撮像装置１に対する被写体の位置は等しい。そして、画像処理部１００は、撮像素子２０からの画像信号に基づいて２枚のカラー画像を生成する。１枚目のカラー画像（第１の撮像画像）は、撮像装置１による撮影範囲内に存在する複数の被写体のうちのいずれかを主被写体とした画像である。つまり、複数の被写体から選択された主被写体にピントを合わせたカラー画像（以下、ＪＰ画像とする）である。主被写体の選択は、例えば、画像処理部１００からの制御値に基づいて撮像制御部１０がフォーカスを自動調整することによって実行されてもよい。あるいは、ユーザインタフェース部２を介したユーザ入力に従って主被写体が選択されてもよい。また、２枚目の撮像画像（第２の撮像画像）は、無限遠にピントを合わせたカラー画像（以下、ＩＮＦ画像とする）である。以降、ステップＳ２〜Ｓ１０は画像処理部１００による処理である。以下、処理を実行する主体の記載を省略する。

次に、ＪＰ画像及びＩＮＦ画像のそれぞれに前処理が施される（ステップＳ２）。前処理は、ＪＰ画像及びＩＮＦ画像それぞれをグレースケール画像に変換する処理を含む。なお、ステップＳ３以降の処理の高速化のため、ＪＰ画像及びＩＮＦ画像それぞれを縮小する処理が前処理に含まれてもよい。この処理は、グレースケール画像への変換の前後いずれにおいて実行されてもよい。グレースケール画像への変換は、元の画像の各画素においてＲ、Ｇ及びＢの３画素値の線形結合を演算することによって実行される。図３（ａ）はＪＰ画像から変換されたグレースケール画像の一例を、図３（ｂ）はＩＮＦ画像から変換されたグレースケール画像の一例をそれぞれ示す。前者のＪＰ画像は、撮影範囲において撮影位置に比較的近接した位置にあるマネキンの頭部にピントを合わせて撮影された画像である。後者のＩＮＦ画像は、無限遠にピントを合わせて撮影された画像である。

次に、ステップＳ２で生成された２つのグレースケール画像のそれぞれにエッジ抽出処理を施す（ステップＳ３；エッジ抽出ステップ）。これにより、エッジ抽出処理後の２つの画像が取得される。以下、ＪＰ画像にエッジ抽出処理が施された画像をＪＰエッジ抽出画像とする。また、ＩＮＦ画像にエッジ抽出処理が施された画像をＩＮＦエッジ抽出画像とする。エッジ抽出処理は、画素値又は平滑化等が施された後の画素値に適宜のフィルタ演算処理を施すことにより実行される。例えば、このフィルタ演算処理は、注目画素における周辺画素との間の勾配の大きさを算出したり、勾配の発散を算出したりする処理である。エッジ抽出処理にはさまざまなアルゴリズムが用いられてよい。図４（ａ）及び図４（ｂ）は一例としてラプラシアンフィルタを用いた結果を示す。図４（ａ）の画像は、図３（ａ）の画像から得られたＪＰエッジ抽出画像である。図４（ｂ）の画像は、図３（ｂ）の画像から得られたＩＮＦエッジ抽出画像である。いずれの画像においても被写体の輪郭が強調されている。図４（ａ）の画像では、ピントを合わせたマネキンの頭部のエッジがそれ以外の被写体のエッジに比べて強調されている。つまり、ＪＰエッジ抽出画像は、主被写体であるマネキンの頭部の領域において高い階調の画素値を取る画素を含む。図４（ｂ）の画像では、ピントを合わせたマネキンの頭部以外の被写体のエッジがマネキンの頭部のエッジに比べて強調されている。つまり、ＩＮＦエッジ抽出画像は、主被写体以外の領域において高い階調の画素値を取る画素を含む。

次に、ステップＳ３で生成された２つのエッジ抽出画像にブロック積算処理が施される（ステップＳ４；ブロック積算ステップ）。ブロック積算処理は、エッジ抽出画像を複数個のブロック（画素ブロック）に分割すると共に、各ブロック内において画素値を積算する処理である。以下、これによって得られたブロックごとの積算値をブロック積算値（画素ブロック値）とする。各ブロックは、エッジ抽出画像において複数の画素からなる矩形の画像領域に対応する。図５は、一例として、図４（ａ）の画像を縦Ｌ個×横Ｌ個（Ｌ：２以上の自然数）からなるブロックに分割した状況を概念的に示す。Ｌは、ブロックが縦及び横のそれぞれに関して２以上の画素から構成されるような値を有する。また、Ｌは、前景領域の取得に用いられる後述のポジティブマップ及びネガティブマップのサイズでもある。したがって、これらのマップを用いた前景領域の取得が適切になされるような大きさに調整される。画素値の積算においては、ＪＰエッジ抽出画像及びＩＮＦエッジ抽出画像のそれぞれの各ブロックにおいて、そのブロックに属する全ての画素の画素値が足し合わされる。以下、縦Ｌ個×横Ｌ個のブロックに画像を分割した場合のＪＰエッジ抽出画像のブロック積算値をＩｐ（ｉ，ｊ）とし、ＩＮＦエッジ抽出画像のブロック積算値をＩｆ（ｉ，ｊ）とする。ｉは画像の横方向に関するブロックの位置を示し、１≦ｉ≦Ｌを満たす。ｊは画像の縦方向に関するブロックの位置を示し、１≦ｊ≦Ｌを満たす。また、横方向ｉ、縦方向ｊの位置にあるブロックをブロック（ｉ，ｊ）とする。Ｉｐ（ｉ，ｊ）は、ＪＰエッジ抽出画像から取得されるため、前景領域において大きな値を取りやすい。Ｉｆ（ｉ，ｊ）は、ＩＮＦエッジ抽出画像から取得されるため、前景領域以外の領域において大きな値を取りやすい。

次に、ＪＰエッジ抽出画像及びＩＮＦエッジ抽出画像同士で、ステップＳ４において取得されたブロック積算値の差分値が算出される（ステップＳ５；差分ステップ／ブロック差分ステップ）。差分値は、ＪＰエッジ抽出画像のブロックにおける積算値から、ＩＮＦエッジ抽出画像のブロックにおける積算値を、互いに同じ位置にあるブロックに関して引いた差の値である。つまり、ブロック（ｉ，ｊ）における差分値Ｄ（ｉ，ｊ）は次式の通りである：Ｄ（ｉ，ｊ）＝Ｉｐ（ｉ，ｊ）−Ｉｆ（ｉ，ｊ）。図６は、一例として、図４（ａ）及び図４（ｂ）の画像から得られたブロック積算値の差分値に対応する画像を示す。図６の画像は、グレースケールの階調がＤ（ｉ，ｊ）の値の大小を示している。具体的には、図６の画像において、位置（ｉ，ｊ）の画素の色は、白に近いほどＤ（ｉ，ｊ）が正の大きい値であることを示す。また、位置（ｉ，ｊ）の画素の色は、黒に近いほどＤ（ｉ，ｊ）が負の小さい値であることを示す。上記の通り、Ｉｐ（ｉ，ｊ）は前景領域において大きな値を取りやすく、Ｉｆ（ｉ，ｊ）は前景領域以外の領域である背景領域において大きな値を取りやすい。したがって、Ｄ（ｉ，ｊ）は、図６にも示されている通り、前景領域において正の大きい値を取る傾向が強い。また、Ｄ（ｉ，ｊ）は、背景領域において負の小さい値を取る傾向が強い。逆に言えば、Ｄ（ｉ，ｊ）は、前景領域において負の小さい値を取る傾向が弱く、背景領域において正の大きい値を取る傾向が弱い。

次に、ステップＳ５において取得された差分値に基づいて３値マップが取得される（ステップＳ６；３値取得ステップ）。３値マップＭ（ｉ，ｊ）は１、０及び−１のいずれかの値を取る。なお、１、０及び−１の３値は、本発明の大小評価値Ｘ１、Ｘ２及びＸ３の一例である。３値マップＭ（ｉ，ｊ）は、Ｄ（ｉ，ｊ）と閾値Ｔ１及びＴ２（Ｔ１＞０，Ｔ２＜０）との比較に基づく値を有する。具体的には、Ｍ（ｉ，ｊ）は、Ｔ１≦Ｄ（ｉ，ｊ）となる場合には値１を取り、Ｔ２＜Ｄ（ｉ，ｊ）＜Ｔ１となる場合には値０を取り、Ｄ（ｉ，ｊ）≦Ｔ２となる場合には値−１を取る。図７は、一例として、図６の画像が示す差分値から得られた３値マップに対応する画像を示す。図７の画像は、Ｍ（ｉ，ｊ）の値を示す３色の画素から構成されている。具体的には、図７の画像において、位置（ｉ，ｊ）の画素の色が白であることは、Ｍ（ｉ，ｊ）が１であることを示す。また、位置（ｉ，ｊ）の画素の色がグレーであることは、Ｍ（ｉ，ｊ）が０であることを示す。さらに、位置（ｉ，ｊ）の画素の色が黒であることは、Ｍ（ｉ，ｊ）が−１であることを示す。上記の通り、Ｄ（ｉ，ｊ）は、前景領域において正の大きい値を取りやすく且つ負の小さい値を取りにくい。また、Ｄ（ｉ，ｊ）は、背景領域において負の小さい値を取りやすく且つ正の大きい値を取りにくい。したがって、Ｍ（ｉ，ｊ）は、図７にも示されている通り、前景領域において１を取りやすく且つ−１を取りにくい。また、Ｍ（ｉ，ｊ）は、背景領域において−１を取りやすく且つ１を取りにくい。なお、ステップＳ２の前処理においてＪＰ画像及びＩＮＦ画像を縮小する処理が行われた場合には、ステップＳ６の後で３値マップを拡大してＪＰ画像及びＩＮＦ画像の元の大きさに戻す処理が実行される。３値マップの拡大処理の代わりに、ステップＳ７の後で、後述のポジティブマップ及びネガティブマップを同様に拡大する処理が実行されてもよい。

次に、ステップＳ６において取得された３値マップから、ポジティブマップ及びネガティブマップが取得される（ステップＳ７）。ポジティブマップＰ（ｉ，ｊ）は、Ｍ（ｉ，ｊ）が１のときに値１を取り、Ｍ（ｉ，ｊ）が０又は−１のときに値０を取る。また、ネガティブマップＮ（ｉ，ｊ）は、Ｍ（ｉ，ｊ）が−１のときに値１を取り、Ｍ（ｉ，ｊ）が０又は１のときに値０を取る。図８（ａ）及び図８（ｂ）は、一例として、図７の画像が示す３値マップから得られたポジティブマップに対応する画像及びネガティブマップに対応する画像を示す。図８（ａ）及び図８（ｂ）の画像は、Ｐ（ｉ，ｊ）の値及びＮ（ｉ，ｊ）の値を示す２色の画素からそれぞれ構成されている。具体的には、図８（ａ）の画像において位置（ｉ，ｊ）の画素の色が白であることは、Ｐ（ｉ，ｊ）が１であることを示す。位置（ｉ，ｊ）の画素の色が黒であることは、Ｐ（ｉ，ｊ）が０であることを示す。図８（ｂ）の画像において、位置（ｉ，ｊ）の画素の色が白であることは、Ｎ（ｉ，ｊ）が１であることを示す。位置（ｉ，ｊ）の画素の色が黒であることは、Ｎ（ｉ，ｊ）が０であることを示す。上記の通り、Ｍ（ｉ，ｊ）は、前景領域において１を取りやすく、主被写体以外の領域において−１を取りやすい。したがって、Ｐ（ｉ，ｊ）は前景領域において１を取りやすく、背景領域において１を取りにくい。また、Ｎ（ｉ，ｊ）は背景領域において１を取りやすく、前景領域において１を取りにくい。

一方、ステップＳ２〜Ｓ７の処理とは別途、ステップＳ１において取得されたＪＰ画像に基づいて領域分割マップが取得される（ステップＳ８）。領域分割マップは、ＪＰ画像中の各被写体の領域を他の領域から区別可能に示すマップである。領域分割マップは、ＪＰ画像に領域分割処理が施されることで取得される。領域分割処理は、各領域内の画素が明るさ、色、テクスチャ等に関して同じような特徴を持つように複数の領域に画像を分割する処理である。以下、これによって得られた各被写体の領域を分割領域とする。領域分割処理には、分割・統合法や画素結合法等、さまざまなアルゴリズムが用いられてよい。例えば、Ｅｆｆｉｃｉｅｎｔ Ｇｒａｐｈ−ｂａｓｅｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ（P. F. Felzenszwalb and D. P. Huttenlocher, International Journal of Computer Vision, vol. 59, no. 2, 2004）が用いられてもよい。これは、画像において互いに隣接する画素同士をこれらの輝度差に基づいて対応付けていくことによって複数の分割領域を取得する処理である。図９は、一例として、図３（ａ）の画像に対応するＪＰ画像から取得された領域分割マップに対応する画像を示す。図９において階調の共通する複数の画素からなる各領域が領域分割マップにおける各分割領域に対応する。以下、このようにして得られたｍ番目の分割領域をＡｍ（ｍ＝１，２，…，ｎ）で表す。ｎは、取得された分割領域の数である。

次に、ステップＳ７において取得されたポジティブマップ及びネガティブマップと、ステップＳ８において取得された領域分割マップとから、前景領域マップが取得される（ステップＳ９）。前景領域マップは、撮像画像において、前景領域と背景領域とを区別可能に示すマップである。前景領域マップは以下の処理によって取得される。

まず、ステップＳ８において取得された領域分割マップが示す分割領域ごとに、ステップＳ７において取得されたポジティブマップの値が積算される（第１積算ステップ）。積算値Ｓｍの算出は、下記式に示すように、領域分割マップが示す分割領域ごとに、その領域と対応するポジティブマップＰ（ｉ，ｊ）の全ての値を足し合わせることで行われる。分割領域と対応するポジティブマップの値とは、例えば、図８（ａ）の画像と図９の画像とを重ね合わせた際に、図８（ａ）の画像において、図９の画像が示す各分割領域とちょうど重なった領域に含まれる画素が示す値に相当する。Ｐ（ｉ，ｊ）は、Ｄ（ｉ，ｊ）が正の大きい値となる場合に１を取り、それ以外の領域では０を取る。したがって、分割領域ＡｍにおけるＰ（ｉ，ｊ）の積算値であるＳｍは、分割領域ＡｍにおいてＤ（ｉ，ｊ）が正の大きい値を取る傾向の強弱を示す評価値となる。上記の通り、Ｄ（ｉ，ｊ）は前景領域において正の大きい値を取る傾向が強い。このため、Ｓｍは前景領域において、それ以外の領域と比べて大きな値となる。

同様に、ステップＳ８において取得された領域分割マップが示す分割領域ごとに、ステップＳ７において取得されたネガティブマップの値が積算される（第２積算ステップ）。積算値Ｔｍの算出は、下記式に示すように、領域分割マップが示す分割領域ごとに、その領域と対応するポジティブマップＮ（ｉ，ｊ）の全ての値を足し合わせることで行われる。分割領域と対応するネガティブマップの値とは、例えば、図８（ｂ）の画像と図９の画像とを重ね合わせた際に、図８（ｂ）の画像において、図９の画像が示す各分割領域とちょうど重なった領域に含まれる画素が示す値に相当する。Ｎ（ｉ，ｊ）は、Ｄ（ｉ，ｊ）が負の小さい値となる場合に１を取り、それ以外の領域では０を取る。したがって、分割領域ＡｍにおけるＮ（ｉ，ｊ）の積算値であるＴｍは、分割領域ＡｍにおいてＤ（ｉ，ｊ）が負の小さい値を取る傾向の強弱を示す評価値となる。上記の通り、Ｄ（ｉ，ｊ）は前景領域において負の小さい値を取る傾向が弱い。このため、Ｔｍは前景領域において、それ以外の領域と比べて小さな値となる。

次に、分割領域Ａｍ（ｍ＝１，２，…，ｎ）について、ポジティブマップの積算値Ｓｍと第１閾値α（α＞０）とが比較される（第１比較ステップ）と共に、ネガティブマップの積算値Ｔｍと第２閾値β（０＜β＜α）とが比較される（第２比較ステップ）。上記の通り、前景領域においては、Ｓｍが大きな値となり、Ｔｍが小さな値となる。これに基づき、下記２式の両方を満たす分割領域Ａｑ（１≦ｑ≦ｎ）が前景領域であると判定される。そして、領域分割マップに含まれる複数の分割領域のうち、前景領域であると判定された領域とそれ以外の領域とを区別可能に示すマップとして前景領域マップが取得される。図１０は、一例として、図９に示す領域分割マップから得られた前景領域マップに対応する画像を示す。図１０において白色の画素からなる領域が前景領域を、黒色の画素からなる領域が背景領域を示す。図１０の画像は、図９に示す領域分割マップ中、前景領域と判定された特定の領域に対応する領域が白色の画素からなり、それ以外の領域が黒色の画素からなる。

次に、ステップＳ１において取得されたＪＰ画像及びステップＳ９において取得された前景領域マップに基づいて、前景領域がピントの合った領域となり、背景領域がぼけた領域となるぼけ画像を取得する（ステップＳ１０）。具体的には、ＪＰ画像において、背景領域に対応する領域には平滑処理等の適宜のぼかし処理が施される。また、ＪＰ画像の前景領域に対応するピントの合った領域はそのまま用いられる。ぼかし処理が施された背景領域とピントの合った前景領域とが組み合わされることによってぼけ画像が取得される。図１１は、一例として、図３（ａ）のＪＰ画像から得られたぼけ画像を示す。図１１の画像においては、図１０が示す前景領域に対応する領域ではピントが合っている。一方で、図１０が示す背景領域に対応する領域では、前景領域に対応する領域に比べて像がぼけている。なお、ぼけ画像を取得する方法として上記以外の方法が用いられてもよい。例えば、マクロモードの撮影によって取得された、背景領域がぼけた撮像画像が用いられてもよい。この場合、ステップＳ９で取得された前景領域マップに基づき、マクロモードの撮像画像から背景領域が切り取られると共に、切り取られた背景領域がＪＰ画像の前景領域と組み合わされる。これによってぼけ画像が取得される。

以上説明した実施形態によると、エッジ抽出処理後のＪＰ画像のブロック積算値Ｉｐ（ｉ，ｊ）からエッジ抽出処理後のＩＮＦ画像のブロック積算値Ｉｆ（ｉ，ｊ）を引くことで差分値Ｄ（ｉ，ｊ）を取得する。差分値Ｄ（ｉ，ｊ）は、前景領域において正の大きい値になる傾向が強く、且つ、負の小さい値になる傾向が弱い。前者の傾向を、領域分割マップにおける分割領域ごとにポジティブマップの積算値Ｓｍと第１閾値αとの比較によって評価する。そして、後者の傾向を、領域分割マップにおける分割領域ごとにネガティブマップの積算値Ｔｍと第２閾値βとの比較によって評価する。これら両方の評価結果に基づくことで前景領域を適切に評価できる。分割領域ごとの差分値Ｄ（ｉ，ｊ）の傾向は、各分割領域のピントの合い方に依存するのであって、各分割領域の形状には依存しにくい。したがって、本実施形態によると、前景領域か否かの判定結果がエッジの形態に依存しにくく、判定結果が安定する。そして、かかる前景領域の取得結果に基づき、背景領域が適切にぼけた画像が取得される。

また、本実施形態においては、差分値Ｄ（ｉ，ｊ）の取得に当たって、ブロック積算値Ｉｐ（ｉ，ｊ）及びＩｆ（ｉ，ｊ）を用いる。仮に、ＪＰ画像とＩＮＦ画像との間に画角のずれがあるとすると、ＪＰ画像とＩＮＦ画像との間で画像上の位置が互いに等しい画素同士であってもそれらの画素が示す被写体上の位置が互いに異なったものとなるおそれがある。したがって、この場合、例えばＪＰ画像とＩＮＦ画像との間で画像上の位置が等しい画素同士の画素値の差分値を取得したとすると、その差分値は、被写体上の異なる位置における画素値同士の差分値となるおそれがある。これに対し、ブロック積算値は、複数の画素からなるブロック内の画素値を積算した値である。したがって、画角にずれが生じたとしても、そのずれは画素ブロックの範囲において積算値に吸収されやすい。よって、画角のずれが差分値に及ぼす影響を抑制できる。

＜変形例＞
以上は、本発明の好適な実施形態についての説明であるが、本発明は上述の実施形態に限られるものではなく、課題を解決するための手段に記載された範囲の限りにおいて様々な変更が可能なものである。

例えば、上述の実施形態においては、分割領域Ａｍにおける差分値Ｄ（ｉ，ｊ）の大小の傾向が、ポジティブマップの積算値Ｓｍと第１閾値αとの比較と、ネガティブマップの積算値Ｔｍと第２閾値βとの比較とに基づいて評価されている。しかし、Ｓｍ及びＴｍの少なくともいずれかを分割領域同士で比較することで差分値Ｄ（ｉ，ｊ）の大小の傾向が評価されてもよい。この場合、例えば、ある分割領域においてＳｍが全領域の中で比較的大きく、且つ、Ｔｍが全領域の中で比較的小さいときに、その分割領域が前景領域であると判定されてもよい。

また、上述の実施形態においては、分割領域Ａｍにおける差分値Ｄ（ｉ，ｊ）の傾向を示す評価値としてＳｍ及びＴｍが用いられている。しかし、その他の評価値が用いられてもよい。各分割領域におけるＤ（ｉ，ｊ）の平均値、中央値、最頻値、標準偏差等が用いられてもよい。例えば、Ｄ（ｉ，ｊ）の平均値、中央値又は最頻値が正の閾値より大きいときにＤ（ｉ，ｊ）が正の大きい値を取りやすいと評価されてもよい。また、平均値が正の閾値より大きく且つ標準偏差が閾値より小さい場合に、Ｄ（ｉ，ｊ）が正の大きい値を取りやすく且つ負の小さい値を取りにくいと評価されてもよい。

また、上述の実施形態においては、Ｉｐ（ｉ，ｊ）からＩｆ（ｉ，ｊ）が引かれた差分値Ｄ（ｉ，ｊ）が評価に用いられている。しかし、Ｉｆ（ｉ，ｊ）からＩｐ（ｉ，ｊ）が引かれた差分値Ｄ’（ｉ，ｊ）が評価に用いられてもよい。この場合、前景領域におけるＤ’（ｉ，ｊ）の大小の傾向は、Ｄ（ｉ，ｊ）の大小の傾向と逆になる。つまり、前景領域において、Ｄ’（ｉ，ｊ）は負の小さい値となる傾向が強く、正の大きい値となる傾向が弱い。したがって、Ｄ’（ｉ，ｊ）を用いた評価には、Ｄ（ｉ，ｊ）における大小の傾向の評価条件とは異なる評価条件を用いる必要がある。例えば、Ｄ’（ｉ，ｊ）に基づいて次のポジティブマップＰ１（ｉ，ｊ）及びネガティブマップＮ１（ｉ，ｊ）を用いるものとする。ポジティブマップＰ１（ｉ，ｊ）は、Ｄ’（ｉ，ｊ）が正の大きい値を取る場合に１を取り、その他の場合に０を取る。ネガティブマップＮ１（ｉ，ｊ）は、Ｄ’（ｉ，ｊ）が負の小さい値を取る場合に１を取り、その他の場合に０を取る。この場合、前景領域においては、ポジティブマップＰ１（ｉ，ｊ）の分割領域ごとの積算値が小さくなり、ネガティブマップＮ１（ｉ，ｊ）の分割領域ごとの積算値が大きくなる。そこで、ポジティブマップＰ１（ｉ，ｊ）の分割領域ごとの積算値が閾値以下になること、及び、ネガティブマップＮ１（ｉ，ｊ）の分割領域ごとの積算値が閾値以上になることの少なくともいずれかを前景領域であると判定するための条件とする。

また、上述の実施形態においては、Ｉｐ（ｉ，ｊ）及びＩｆ（ｉ，ｊ）として、エッジ抽出処理後の画素値のブロック積算値が用いられている。しかし、Ｉｐ（ｉ，ｊ）及びＩｆ（ｉ，ｊ）の代わりに、エッジ抽出処理後の画素値に関するブロックごとのその他の代表値が用いられてもよい。例えば、ブロック内の画素値の平均値や最頻値、最大値等が用いられてもよい。また、差分値としては、ブロック積算値Ｉｐ（ｉ，ｊ）及びＩｆ（ｉ，ｊ）の差分値ではなく、画素値同士を直接引いた差分値が用いられてもよい。

また、上述の実施形態においては、差分値Ｄ（ｉ，ｊ）の大小の傾向を評価することで前景領域が取得されている。しかし、差分値Ｄ（ｉ，ｊ）又はＤ’（ｉ，ｊ）の大小の傾向を評価することで背景領域が取得されてもよい。背景領域における差分値の大小の傾向は、前景領域における差分値の大小の傾向とは逆になる。したがって、上記とは逆の評価条件に基づくことで、上述の分割領域においていずれが背景領域であるかが判定されてもよい。分割領域において全ての背景領域が取得されることは、残りの領域が前景領域であるという意味で、分割領域において前景領域が取得されることと等価である。したがって、背景領域の取得も本発明における前景領域の取得の範囲内である。

また、上述の実施形態では、Ｄ（ｉ，ｊ）とＴ１及びＴ２との比較に基づき、３値マップＭ（ｉ，ｊ）が１、０及び−１からなる３値を取るものとされている。しかし、３値マップとしては、その他の値を取るものとされてもよい。例えば、３値マップＭ’（ｉ，ｊ）が、Ｘ１＞０、Ｘ２＜Ｘ１、Ｘ３＜Ｘ１を満たすＸ１〜Ｘ３からなる３値を取るものとされてもよい。この場合、分割領域ごとのＰ（ｉ，ｊ）の積算値の代わりに、例えば、分割領域ごとのＸ１の積算値、あるいは、分割領域ごとのＸ１及びＸ２の積算値が用いられる。いずれの積算値も、各分割領域において差分値Ｄ（ｉ，ｊ）が正の大きい値を取る傾向を示すものとなる。具体的には、積算値が大きいほど差分値Ｄ（ｉ，ｊ）が正の大きい値を取りやすい。したがって、例えば、ある分割領域においてこの積算値が閾値を超えた場合に、その領域は、前景領域であると判定するための必要条件の１つを満たすものと取り扱われる。同様に、分割領域ごとのＮ（ｉ，ｊ）の積算値の代わりに、例えば、分割領域ごとのＸ３の積算値、あるいは、分割領域ごとのＸ３及びＸ２の積算値が用いられる。いずれの積算値も、各分割領域において差分値Ｄ（ｉ，ｊ）が負の小さい値を取る傾向を示すものとなる。具体的には、積算値が小さいほど差分値Ｄ（ｉ，ｊ）が負の小さい値を取りやすい。したがって、例えば、ある分割領域において積算値が閾値を下回る場合に、その領域は、前景領域であると判定するための必要条件の１つを満たすものと取り扱われる。

また、上述の実施形態におけるネガティブマップＮ（ｉ，ｊ）は、Ｄ（ｉ，ｊ）が負の大きい値を取る場合に１を取り、それ以外の場合は０を取る。しかし、Ｄ（ｉ，ｊ）が負の大きい値を取る場合に−１を取り、それ以外の場合は０を取るネガティブマップＮ１（ｉ，ｊ）が用いられてもよい。この場合、前景領域であることを判定するための条件として、分割領域ごとのＮ１（ｉ，ｊ）の積算値Ｔ’ｍに関する条件は、上記Ｔｍ≦βの代わりに、Ｔ’ｍ≧−βとなる。

また、上述の実施形態においては、ステップＳ１０のぼけ画像の取得においてステップＳ１で取得されたＪＰ画像が用いられている。しかし、このＪＰ画像とは別のタイミングで取得されたＪＰ画像であって、ステップＳ１で取得されたＪＰ画像と同じ主被写体にピントがあったものが用いられてもよい。例えば、ステップＳ１の直後に再度取得されたＪＰ画像がステップＳ１０において用いられてもよい。

また、上述の実施形態におけるＩＮＦ画像の代わりに、主被写体の位置とは異なる、無限遠ではない位置にピントを合わせた撮像画像が用いられてもよい。例えば、撮像装置1に対して主被写体より遠方であって無限遠ではない位置にピントを合わせた撮像画像ＩＭ１が用いられた場合、エッジ抽出処理後のＪＰ画像の画素値又は画素ブロック値からエッジ抽出処理後の撮像画像ＩＭ１の画素値又は画素ブロック値を引いた差分値は、Ｄ（ｉ，ｊ）と同様の大小の傾向を有する。また、撮像装置１に対して主被写体より近い位置にピントを合わせた撮像画像ＩＭ２が用いられた場合、エッジ抽出処理後のＪＰ画像の画素値からエッジ抽出処理後の撮像画像ＩＭ２の画素値を引いた差分値は、Ｄ（ｉ，ｊ）と同様の大小の傾向を有する。したがって、ＩＮＦ画像以外の撮像画像が用いられた場合にも、上述の実施形態と同様に、差分値の大小の傾向に基づいて前景領域を取得することができる。

なお、上述の実施形態において、図２に示すステップＳ２〜Ｓ１０の処理の全部又は一部をコンピュータに実行させるプログラムは、フレキシブルディスクなどの磁気記録媒体、ＤＶＤ−ＲＯＭなどの光学記録媒体、ハードディスクやＵＳＢメモリなどのコンピュータ読み取りが可能な記録装置等に記録して配布可能である他、インターネットを介したダウンロード等により配布可能である。

１ 撮像装置
２ ユーザインタフェース部
３ 撮像制御部
１０ 撮像光学系
２０ 撮像素子
１００ 画像処理部
Ｄ（ｉ，ｊ） 差分値
Ｉｐ（ｉ，ｊ） エッジ抽出処理後のＪＰ画像のブロック積算値
Ｉｆ（ｉ，ｊ） エッジ抽出処理後のＩＮＦ画像のブロック積算値
Ｍ（ｉ，ｊ） ３値マップ
Ｎ（ｉ，ｊ） ネガティブマップ
Ｐ（ｉ，ｊ） ポジティブマップ
Ｓｍ、Ｔｍ ポジティブマップ・ネガティブマップの積算値
Ｔ１、Ｔ２ 閾値
Ｘ１〜Ｘ３ ３値

Claims (5)

1. 主被写体にピントを合わせた第１の撮像画像及び前記主被写体の位置とは異なる位置にピントを合わせた第２の撮像画像のそれぞれにエッジ抽出処理を施すエッジ抽出ステップと、
   前記エッジ抽出処理後の前記第１及び第２の撮像画像同士で、互いに同じ位置の画素値又は画素ブロック値の差分値を取得する差分ステップと、
   前記エッジ抽出処理前の前記第１の撮像画像に基づいて、前記第１の撮像画像中の各被写体の領域をそれぞれ取得する領域取得ステップと、
   前記領域取得ステップにおいて取得された前記領域ごとに、前記差分ステップにおいて画素又は画素ブロックに関して取得された前記差分値の大小の傾向を評価した結果に基づいて、前記領域取得ステップにおいて取得された前記領域のうち前記主被写体に対応する前景領域がいずれであるかを判定する前景領域判定ステップと、
   前記前景領域判定ステップの判定結果に基づいて前記前景領域以外の領域がぼけた画像を、少なくとも主被写体にピントを合わせた撮像画像から取得する背景ぼけ画像取得ステップとを備えていることを特徴とする画像処理方法。
2. 前記差分ステップにおいて、前記エッジ抽出処理後の前記第１の撮像画像の画素値又は画素ブロック値から前記エッジ抽出処理後の前記第２の撮像画像の画素値又は画素ブロック値が引かれることにより前記差分値が取得され、
   前記前景領域判定ステップにおいて、前記領域取得ステップにおいて取得された前記領域のうち、前記差分値が正の大きい値となる傾向が強く且つ前記差分値が負の小さい値になる傾向が弱い領域を前記前景領域であると判定することを特徴とする請求項１に記載の画像処理方法。
3. 前記前景領域判定ステップが、
   前記差分ステップにおいて取得された前記差分値の大小をＸ１、Ｘ２（＜Ｘ１）及びＸ３（＜Ｘ２）の３段階で示す値である大小評価値を画素又は画素ブロックごとに取得する３値取得ステップと、
   前記３値取得ステップにおいて取得された大小評価値のうち、Ｘ１及びＸ２の前者又は両方に対応する値を、前記領域取得ステップにおいて取得された前記領域内の画素又は画素ブロックに関して前記領域ごとに積算する第１積算ステップと、
   前記３値取得ステップにおいて取得された大小評価値のうち、Ｘ３及びＸ２の前者又は両方に対応する値を、前記領域取得ステップにおいて取得された前記領域内の画素又は画素ブロックに関して前記領域ごとに積算する第２積算ステップと、
   前記第１積算ステップによる積算値と第１閾値とを前記領域ごとに比較する第１比較ステップと、
   前記第２積算ステップによる積算値と第２閾値とを前記領域ごとに比較する第２比較ステップとを含んでいることを特徴とする請求項２に記載の画像処理方法。
4. 前記差分ステップが、
   前記エッジ抽出処理後の前記第１及び第２の撮像画像のそれぞれに関して画素ブロックごとに画素値を積算することで前記画素ブロック値を取得するブロック積算ステップと、
   前記エッジ抽出処理後の前記第１及び第２の撮像画像同士で、互いに同じ位置の前記画素ブロック値の差分を取ることで前記差分値を取得するブロック差分ステップとを含んでいることを特徴とする請求項１〜３のいずれか１項に記載の画像処理方法。
5. 主被写体にピントを合わせた第１の撮像画像及び前記主被写体の位置とは異なる位置にピントを合わせた第２の撮像画像のそれぞれにエッジ抽出処理を施すエッジ抽出ステップと、
   前記エッジ抽出処理後の前記第１及び第２の撮像画像同士で、互いに同じ位置の画素値又は画素ブロック値の差分値を取得する差分ステップと、
   前記エッジ抽出処理前の前記第１の撮像画像に基づいて、前記第１の撮像画像中の各被写体の領域をそれぞれ取得する領域取得ステップと、
   前記領域取得ステップにおいて取得された前記領域ごとに、前記差分ステップにおいて画素又は画素ブロックに関して取得された前記差分値の大小の傾向を評価した結果に基づいて、前記領域取得ステップにおいて取得された前記領域のうち前記主被写体に対応する前景領域がいずれであるかを判定する前景領域判定ステップと、を備えていることを特徴とする前景領域取得方法。