JP6157238B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、撮影された複数の画像を用いて被写体の動きを強調する画像処理を施す画像処理装置、画像処置方法及び画像処理プログラムに関する。

写真撮影の技法の一つとして「流し撮り」が知られている。流し撮りは、被写体の位置が画角に対して固定されるように、撮影者が被写体の動きに合わせてカメラを移動させながら撮影する技法である。流し撮りでは、被写体がぶれずに背景が流れるような効果が生まれることから、被写体のスピード感を強調させた画像を得ることができる。ここで、流し撮りは、通常の撮影よりも長い露光時間で行われることが多い。露光時間が長くなると手ぶれが発生しやすくなる。このため、流し撮りの際に背景だけでなく被写体もぶれてしまうことが多い。

流し撮り時の被写体ぶれを抑える手法の１つとして、流し撮り中に発生した手ぶれに応じて撮像素子又はレンズを機械的に移動させることによって被写体のぶれを抑える手法が考えられる。この場合、通常撮影用とは別個に流し撮り用の手ぶれ補正の制御をすることになり、システムが複雑化しやすい。また、機械的な手ぶれ補正が行われた後でなければ被写体ぶれが発生してしまうので、シャッタボタンを押してから撮影が行われるまでにタイムラグが発生する。このため、撮影者が本来撮影したいと考える構図の画像が得られない可能性がある。

流し撮り時の被写体ぶれを抑える別の手法として、特許文献１の手法が提案されている。特許文献１の手法は、露光時間を短時間にすることで被写体のぶれを抑えた画像を得つつ、この画像を被写体領域と背景領域とに分離し、背景領域の画像が流れるように被写体の動きに応じて背景領域にぼかしの画像処理を施す手法である。

特開２０１１−１１４８２３号公報

特許文献１の手法が有効に機能するのは、被写体の動きが撮影画面に対して平行でありかつ背景の物体間と被写体との奥行きの関係が不変である場合に限られる。実際の流し撮りは、被写体の奥行き方向の動き（被写体が撮影者に迫るような動き等）を伴う状況で行われることも多い。このとき、撮影画面上での背景領域の動きは、必ずしも被写体の動きから一意に決まらない。このため、特許文献１のようを背景に対して一律の「動きぼけ」を適用する手法では、実際には起こりえない不自然なぼけが発生する可能性がある。

本発明は、前記の事情に鑑みてなされたもので、手持ちによる撮影でも被写体及び背景の動きに対する違和感のない画像を簡単に生成できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、被写体を連続的に撮像して複数の画像を取得する撮像部と、前記取得された複数の画像のそれぞれにおける主要被写体の領域と背景被写体の領域とを判定する被写体判定部と、前記取得された複数の画像の中から対象画像を決定する対象画像決定部と、前記対象画像と該対象画像が撮像された時刻と時間的に前後する時刻に撮像された画像との間の少なくとも前記背景被写体の領域の動きベクトルを推定する動きベクトル推定部と、前記推定された動きベクトルに基づき前記対象画像に適用するフィルタを構成するフィルタ構成部と、前記構成されたフィルタを前記対象画像に適用するフィルタ適用部とを具備し、前記対象画像決定部は、前記被写体判定部で判定された前記主要被写体の領域の位置と画面の構図に基づいて決定される理想被写体の領域の位置の位置関係に基づいて前記対象画像を決定する。

前記の目的を達成するために、本発明の第２の態様の画像処理方法は、被写体を連続的に撮像して複数の画像を取得することと、前記取得された複数の画像のそれぞれにおける主要被写体の領域と背景被写体の領域とを判定することと、前記取得された複数の画像の中から対象画像を決定することと、前記対象画像と該対象画像が撮像された時刻と時間的に前後する時刻に撮像された画像との間の少なくとも前記背景被写体の領域の動きベクトルを推定することと、前記推定された動きベクトルに基づき前記対象画像に適用するフィルタを構成することと、前記構成されたフィルタを前記対象画像に適用することとを具備し、前記対象画像を決定することは、前記判定された前記主要被写体の領域の位置と画面の構図に基づいて決定される理想被写体の領域の位置の位置関係に基づいて前記対象画像を決定することを含む。

前記の目的を達成するために、本発明の第３の態様の画像処理プログラムは、被写体を連続的に撮像して複数の画像を取得する機能と、前記取得された複数の画像のそれぞれにおける主要被写体の領域と背景被写体の領域とを判定する機能と、前記取得された複数の画像の中から対象画像を決定する機能と、前記対象画像と該対象画像が撮像された時刻と時間的に前後する時刻に撮像された画像との間の少なくとも前記背景被写体の領域の動きベクトルを推定する機能と、前記推定された動きベクトルに基づき前記対象画像に適用するフィルタを構成する機能と、前記構成されたフィルタを前記対象画像に適用する機能とをコンピュータに実現させるための画像処理プログラムであって、前記対象画像を決定する機能は、前記判定された前記主要被写体の領域の位置と画面の構図に基づいて決定される理想被写体の領域の位置の位置関係に基づいて前記対象画像を決定することを含む。

本発明によれば、手持ちによる撮影でも被写体及び背景の動きに対する違和感のない画像を簡単に生成できる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の第１の実施形態に係る画像処理方法を用いて画像処理を行う画像処理装置の適用例としての撮像装置の一例の構成を示す図である。 本発明の第１の実施形態における撮像装置の撮影動作を示すフローチャートである。 流し撮りによって得られる画像の例を示す図である。 第１の実施形態における連写動作の例を示す図である。 被写体判定の概要を示す図である。 対象画像決定の処理を示すフローチャートである。 三分割法による理想被写体重心位置を表す図である。 連写動作によって得られた３画像に対して算出される実際の主要被写体の領域から算出される重心位置と理想被写体重心位置との関係を示す図である。 動きベクトル推定について説明するための図である。 推定された動きベクトルの例を示す図である。 フィルタカーネルのサイズの設定を示す図である。 構成されたフィルタの例を示す図である。 境界領域について示す図である。 境界領域に対して適用されるフィルタの例を示す図である。 境界領域を設定するための処理を示すフローチャートである。 本発明の第２の実施形態に係る画像処理方法を用いて画像処理を行う画像処理装置の適用例としての撮像装置の一例の構成を示す図である。 本発明の第２の実施形態における撮像装置の撮影動作を示すフローチャートである。 図１８（ａ）は画面内における背景被写体としての動きを推定する領域を示す図であり、図１８（ｂ）は動きベクトルを推定するブロックの構成を示す図である。 被写体判定が行われるシーンの例を示す図である。 図２０（ａ）は撮影モードが流し撮りモードの場合に推定される動きベクトルを示す図であり、図２０（ｂ）は流し撮りモードの場合に推定される動きベクトルを小領域単位で統合することにより得られる動きベクトルを示す図である。 図２１（ａ）は撮影モードが手持ち長時間撮影モードの場合に推定される動きベクトルを示す図であり、図２１（ｂ）は手持ち長時間撮影モードの場合に推定される動きベクトルを小領域単位で統合することにより得られる動きベクトルを示す図である。 本発明の第３の実施形態に係る画像処理方法を用いて画像処理を行う画像処理装置の適用例としての撮像装置の一例の構成を示す図である。 対象画像の選択の際に表示部に表示される内容の具体例を図である。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
［構成］
図１は、第１の実施形態に係る画像処理方法を用いて画像処理を行う画像処理装置の適用例としての撮像装置の一例の構成を示す図である。ここで、図１の実線矢印は、画像の流れを表している。また、図１の破線矢印は、画像以外の制御情報の流れを表している。図１に示す撮像装置１００は、撮像部１０２と、操作部１０４と、撮影条件設定部１０６と、処理制御部１０８と、情報記録部１１０と、画像記憶部１１２と、被写体判定部１１４と、対象画像決定部１１６と、動きベクトル推定部１１８と、フィルタ構成部１２０と、フィルタ適用部１２２とを有している。

撮像部１０２は、レンズ１０２１と、撮像素子１０２２と、撮像制御部１０２３とを有している。レンズ１０２１は、被写体からの光束を撮像素子１０２２の像面に結像させる単一又は複数のレンズである。撮像素子１０２２は、レンズ１０２１を介して像面に入射した光束を、光電変換によって電気信号（画像信号）に変換する。以下、画像信号を、単に画像と言う。撮像制御部１０２３は、撮像素子１０２２の撮像動作を制御する。例えば、撮像制御部１０２３は、撮像素子１０２２の露光時間、感度等を制御することによって撮像素子１０２２の露光量を制御する。また、撮像制御部１０２３は、撮像素子１０２２の連写動作を制御する。さらに、撮像制御部１０２３は、撮像素子１０２２で得られた画像に対して色復元処理（撮像素子１０２２が単板カラーフィルタを有している場合のデモザイキング処理等）、ノイズ低減処理、エッジ強調処理等の画像処理を施す。

操作部１０４は、撮像装置１００の操作のために撮影者によって操作される操作部材である。操作部１０４は、ボタンやスイッチ等の操作部材であってもよいし、タッチパネル等の操作部材であってもよい。操作部１０４の操作により、例えば撮像装置１００の撮影モードが選択される。本実施形態における撮影モードは、例えば「流し撮り」モードと「手持ち長時間撮影」モードとを含む。流し撮りモードは、流し撮りのための撮影モードである。手持ち長時間撮影モードは、撮影者による手持ちでの長時間撮影をするための撮影モードである。

撮影条件設定部１０６は、撮影時の撮影条件を設定する。撮影条件は、例えば撮影時の撮像素子１０２２の露光量に関する条件（例えば、露光時間、感度）と、画像処理に関する条件（例えばノイズ低減処理におけるノイズ低減レベル）と、連写実行時の撮影枚数を含む。これらの撮影条件は、例えば、撮影者が操作部１０４を操作することによる手動操作に従って設定される。また、撮影条件は、例えば本撮影前のライブビューの際に得られる画像における被写体の明るさに基づいて設定されてもよい。ライブビューは、本撮影前に撮像素子１０２２を連続駆動させて得られる画像をリアルタイムに表示部に表示させる動作である。

処理制御部１０８は、情報記録部１１０に記録されたプログラムに従って、撮像装置１００の各ブロックを制御する。例えば、処理制御部１０８は、撮影条件設定部１０６によって設定された撮影条件に従って撮像制御部１０２３を制御する。また、処理制御部１０８は、被写体判定部１１４の動作の開始を指示する。

情報記録部１１０は、例えばフラッシュＲＯＭであり、処理制御部１０８によって実行されるプログラムや画像処理に必要なパラメータ等を記録している。画像記憶部１１２は、例えばＲＡＭであり、撮像部１０２で得られた画像を記憶する。画像記憶部１１２に記憶された画像は、被写体判定部１１４からの指示に応じて読み出される。

被写体判定部１１４は、画像記憶部１１２に記憶された画像における主要被写体の領域と背景被写体の領域とをそれぞれ判定し、主要被写体及び背景被写体の領域情報を表す被写体/背景領域情報（例えば主要被写体の領域と背景被写体の領域とを分けた２値画像）を生成する。対象画像決定部１１６は、被写体判定部１１４からの被写体/背景領域情報に従って、連写動作によって得られた複数の画像のうち、フィルタ適用部１２２においてフィルタが適用される対象である対象画像を決定する。動きベクトル推定部１１８は、連写動作によって得られた複数の画像間での被写体の動きベクトルを推定する。フィルタ構成部１２０は、動きベクトル推定部１１８で推定された動きベクトルに基づき、画像に動きぼけを与えるためのフィルタを構成する。フィルタ適用部１２２は、フィルタ構成部１２０で構成されたフィルタを対象画像に対して適用する。

［動作］
次に、本実施形態に係る撮像装置１００の動作を説明する。図２は、第１の実施形態における撮像装置１００の撮影動作を示すフローチャートである。図２において、撮影条件設定部１０６は、撮影時の撮影条件を設定する（ステップＳ１０１）。撮影条件は、例えば撮影モードに応じて設定される。撮影モードの選択は、例えば撮影者による操作部１０４の操作によってなされる。以下では、流し撮りモードと手持ち長時間撮影モードの何れかが選択されたとする。撮影モードが選択されると、選択された撮影モードの情報は、撮影条件設定部１０６に入力される。撮影条件設定部１０６は、入力された撮影モードの情報に応じて撮影条件を設定する。ステップＳ１０１においては、撮像条件として、撮影枚数、露光時間、感度、ノイズ低減レベル等が設定される。撮影条件の設定の詳細については後で説明する。

撮影条件が設定されると、処理制御部１０８は、撮像制御部１０２３を制御して撮影動作を実行する（ステップＳ１０２）。撮影者は、撮影モードが流し撮りであれば、動いている被写体を追従するように撮像装置１００を動かしながら撮影を行う。また、撮影者は、撮影モードが手持ち長時間撮影であれば撮像装置１００を手持ちで固定して撮影を行う。撮影時の開始後、処理制御部１０８は、ステップＳ１０１で設定された撮影条件でそれぞれの撮影が行われるように撮像制御部１０２３を制御する。撮像制御部１０２３は、設定された露光時間及び感度で撮像素子１０２２による撮像動作を撮影枚数分だけ実行させる。そして、撮像制御部１０２３は、各撮像動作で得られた画像に対して画像処理を施し、画像処理が施された画像を画像記憶部１１２に記憶させる。ここで、画像処理におけるノイズ低減レベルは、撮影条件として設定されたものが用いられる。設定された撮影枚数分の画像を画像記憶部１１２へ記憶させた後、撮像制御部１０２３は、撮影完了の情報を処理制御部１０８に入力する。

撮影完了の情報が入力されると、処理制御部１０８は、被写体判定部１１４に処理開始の指示を出すとともに撮影モードの情報を入力する。処理開始の指示を受けて、被写体判定部１１４は、画像記憶部１１２に記憶された各画像における被写体判定を行う（ステップＳ１０３）。被写体判定部１１４は、画像記憶部１１２に画像の取り出しの指示を出す。画像記憶部１１２は、指示を受け取ると、連写動作に従って記憶された複数の画像を１つずつ取り出して被写体判定部１１４に入力する。画像の入力を受けて、被写体判定部１１４は、入力された画像における主要被写体の領域と背景被写体の領域とをそれぞれ判定し、主要被写体及び背景被写体の領域情報を表す被写体/背景領域情報を生成する。また、被写体判定部１１４は、撮影モードの情報に基づいて動き推定対象領域情報を生成し、生成した動き推定対象領域情報を被写体/背景領域情報に付加する。動き推定対象領域情報は、動きベクトルの推定及びフィルタの適用に際し、主要被写体の領域と背景被写体の領域のどちらを使用するかを示す情報である。動き推定対象領域の情報としては、例えば撮影モードの情報を用いることが可能である。

画像記憶部１１２に記憶された全ての画像についての被写体判定が完了すると、被写体判定部１１４は、入力された各画像と各画像に対応付けられた被写体/背景領域情報を対象画像決定部１１６と動きベクトル推定部１１８とに送る。対象画像決定部１１６は、各画像の被写体/背景領域情報を解析し、入力された画像の中から、フィルタの適用対象とする対象画像を決定し、決定した対象画像を動きベクトル推定部１１８とフィルタ適用部１２２とに送る（ステップＳ１０４）。対象画像の決定手法の詳細については後で説明する。

動きベクトル推定部１１８は、動き推定対象領域の情報に基づいて、対象画像決定部１１６から入力された対象画像と対象画像の撮影時刻に時間的に前後する撮影時刻を有する画像との間の被写体の動きベクトルを推定し、推定した動きベクトルをフィルタ構成部１２０に入力する（ステップＳ１０５）。例えば、流し撮りモードの場合は、撮影者は、動いている主要被写体に対して撮像装置１００を追従させるよう動かす。したがって、画像上で見ると、主要被写体はほぼ静止しており、背景被写体は動いていると考えられる。静止している被写体に対しては動きぼけを付加する必要はない。したがって、流し撮りモードの場合には、背景被写体の領域の動きベクトルが推定されていればよい。勿論、主要被写体の領域の動きベクトルのほうも推定されてよい。一方、手持ち長時間撮影モードの場合、撮影者は、撮像装置１００を手持ちで固定する。この場合、画像上で見ると、主要被写体は動く可能性があり、背景被写体は通常は固定されていると考えられる。したがって、手持ち長時間撮影モードの場合には、主要被写体の領域の動きベクトルが推定されていればよい。勿論、背景被写体の領域の動きベクトルのほうも推定されてよい。また、動きベクトルの推定単位は、画素単位又は複数の近接する画素で構成されるブロック単位（例えば５×５画素等）である。このような動きベクトル推定の詳細については後で説明する。

動きベクトルが入力されると、フィルタ構成部１２０は、動きベクトルに応じてフィルタを構成し、構成したフィルタの情報をフィルタ適用部１２２に入力する（ステップＳ１０６）。フィルタ構成部１２０で構成されるフィルタは、動きベクトル（方向及び大きさ）に応じて画像に平滑化をかける平滑化フィルタである。フィルタは、動きベクトルの推定単位で持たせるようにする。したがって、動きベクトルが推定されていない領域には、フィルタは構成されない。フィルタを構成する処理の詳細については後で詳しく説明する。

フィルタの情報が入力されると、フィルタ適用部１２２は、対象画像決定部１１６で決定された対象画像に対してフィルタ処理（動きぼけ付加）を行う（ステップＳ１０７）。そして、フィルタ適用部１２２は、フィルタ処理後の画像を出力デバイスに出力する（ステップＳ１０８）。出力デバイスとは、例えば画像の表示のためのデバイスであるディスプレイや画像の記録のためのデバイスであるメモリカードである。

［連写動作］
撮影条件の設定及び連写動作についてさらに説明する。図３は、流し撮りによって得られる画像の例を示す図である。図３（ａ）は、理想的な流し撮りによって得られる画像である。主要被写体は手前の車、背景被写体は奥にある木や建物である。流し撮りでは、動いている主要被写体を追従するように撮像装置１００が動かされながら撮影が行われる。ここで、理想的な流し撮りでは、露光中に動いている主要被写体が画像上で静止している。このため、画像上では主要被写体以外の背景被写体が動きによりぼけた状態になる。しかしながら、理想的な流し撮りは熟練した技術をもたない撮影者には困難である。特に、撮影者による手持ちでの流し撮りでは、手ぶれが起きやすい。手ぶれが起きてしまうと、図３（ｂ）に示すように本来はぶれてほしくない主要被写体もぶれてしまう。

本実施形態では、図４に示すようにＳｃｅｎｅ１、Ｓｃｅｎｅ２、Ｓｃｅｎｅ３と連続的に短時間の露光を繰り返して画像を得る。これにより手持ち撮影でも、動いている主要被写体のぶれを大幅に抑制できる。一方で、露光時間を短くした場合、背景被写体の動きが感じられなくなってしまう。背景被写体に関しては、動きベクトルに応じた平滑化を適用することによってぼけを付加する。この処理がステップＳ１０７の処理である。

また、露光時間を短くした場合、画像が暗くなる。画像の明るさを適正なものとする手法の１つとして、撮像素子１０２２の感度（撮像素子１０２２で得られる信号の増幅率）を上げる手法が考えられる。ただし、撮像素子１０２２の感度を上げると画像におけるノイズが目立つようになってしまう。そこで、感度に応じてノイズ低減処理におけるノイズ低減レベルを高めることにより、画像におけるノイズを低減する。

連写動作の撮影条件が自動で設定される場合、ぶれを抑制するために、連写動作における１回の露光時間ｔは極力短く設定される。好ましくは、露光時間は、手ぶれ限界と言われる時間よりも短く設定される。手ぶれ限界は、手ぶれを起こさない限界とされる露光時間の目安であり、１／（レンズの焦点距離（ｍｍ））秒である。この場合レンズの焦点距離は３５ｍｍフィルム換算で定義される。ここで、主要被写体の明るさを撮像装置１００に設定されている適正な明るさとするために必要な露光時間Ｔは、レンズの絞りを固定とすると周知の自動露光量（ＡＥ）演算によって算出される。したがって、撮影枚数Ｎは（Ｔ/ｔ）枚である。しかし１回の露光時間がｔであると、明るさが不足する。この明るさの不足は、感度を上げることによって補われる。すなわち、感度は、（Ｔ/ｔ）倍＝Ｎ倍に設定される。また、ノイズ低減レベルは感度の上昇に応じて設定される。これにより、理想的には、主要被写体の明るさが適正な明るさを有する画像をＮ枚分得ることができる。なお、撮影条件は、撮影者による手動操作によって設定されてもよい。

［被写体判定方法］
被写体判定の方法についてさらに説明する。図５は、ステップＳ１０３の被写体判定の概要を示す図である。本実施形態では、撮像部１０２の連写動作によって画像記憶部１１２に記憶されている一連の画像のそれぞれについて主要被写体と主要被写体以外（背景被写体）とが判定される。判定には、例えば周知の画像認識手法が用いられる。このために、事前に動きを伴うオブジェクト（乗り物、人物、動物等）の画像特徴量が情報記録部１１０に登録されている。判定の際には、連写動作によって得られた各画像から画像特徴量が算出され、この算出した特徴量が予め定めた判定ルールに基づいて各オブジェクトの画像特徴量と比較される。そして、画像特徴量が最も類似しているオブジェクトが画像内の被写体であると判定され、各被写体の領域を示す２値画像が被写体/背景領域情報となる。ここで、情報記録部１１０に登録する画像特徴量は、学習によって逐次更新されるようにしてよい。

図５は、連写動作により得られた複数の画像（Ｓｃｅｎｅ１〜Ｓｃｅｎｅ３の３枚）のそれぞれに対して主要被写体である車（Ｃａｒ）の領域と背景被写体である木（Ｔｒｅｅ）及び家（Ｈｏｕｓｅ）の領域が認識された例を表している。また、図５は、認識された被写体が主要被写体（ｍａｉｎ）か背景被写体（ｂａｃｋ）かが示されている。ここで、主要被写体は、前方に位置している（他の被写体によって隠されていない）又は画像認識における動きを伴うオブジェクトである等の条件に一致するものが採用される。また、本実施形態では、「主要被写体」と「背景被写体」とが区別できればよいので、図５の木（Ｔｒｅｅ）や家（Ｈｏｕｓｅ）が「背景被写体」として一つの領域とみなしてもよい。この場合において、例えば画像における最も前方の被写体を主要被写体とし、その他を背景被写体とするという簡易的な被写体判定であれば、詳細な画像認識手法を用いなくてもよい。

図５に示す画像は、短時間の露光時間かつ高感度でノイズが低減されて得られた画像である。したがって、撮像装置１００や主要被写体の動きによる被写体ぶれの影響が極力抑えられている。故に、被写体ぶれに影響されることがなく、高精度の被写体判定が行われる。

［対象画像決定方法］
対象画像の決定方法についてさらに説明する。図６は、ステップＳ１０４の対象画像決定の処理を示すフローチャートである。図６の例は、画面の構図を決定する際に用いられる三分割法に基づき主要被写体が画面上の理想位置に最も近い位置に存在している画像を対象画像とする例である。

図６において、対象画像決定部１１６は、処理に必要な変数を初期化する（ステップＳ２０１）。具体的には、対象画像決定部１１６は、処理対象の画像枚数を示すＮを画像記憶部１１２に記憶されている画像の枚数（撮影枚数と一致）に、画像の参照順序をカウントするための画像参照カウンタＣを１に、対象画像決定時の基準となる最小重心距離を画像サイズ（画素単位で計算上算出されない大きな値として）に、対象画像となる画像の順番を表す対象画像番号Ｐを０にそれぞれ初期化する。

変数の初期化の後、対象画像決定部１１６は、ステップＳ２０２からのループ処理を実行する。ループ処理の開始として、対象画像決定部１１６は、順序がＣ番目の画像及びＣ番目の画像に対応付けられた被写体/背景領域情報を読み出す（ステップＳ２０２）。続いて、対象画像決定部１１６は、被写体/背景領域情報から、主要被写体の領域における重心位置を算出する（ステップＳ２０３）。重心位置は、例えば画像の画素単位で算出される。

その後、対象画像決定部１１６は、算出した重心位置と予め設定されている複数の理想被写体重心位置との距離をそれぞれ算出する。そして、対象画像決定部１１６は、算出した距離の中で最小となるものをＣ番目の画像に対応した重心距離とする（ステップＳ２０４）。続いて、対象画像決定部１１６は、Ｃ番目の画像に対応した重心距離が最小重心距離よりも短いか否かを判定する（ステップＳ２０５）。Ｃ番目の画像に対応した重心距離が最小重心距離以上である場合、対象画像決定部１１６は、最小重心距離の置き換えを行わない。一方、Ｃ番目の画像に対応した重心距離が最小重心距離よりも短い場合、対象画像決定部１１６は、最小重心距離をＣ番目の画像に対応した重心距離に置き換える。また、対象画像決定部１１６は、対象画像番号Ｐに現在の画像参照カウンタＣの値を設定する（ステップＳ２０６）。そして、対象画像決定部１１６は、次の順序の画像を読み出す準備として、画像参照カウンタＣをインクリメントする（ステップＳ２０７）。

ループ処理の終了判定として、対象画像決定部１１６は、画像参照カウンタＣが処理対象の画像枚数Ｎより大きいか否かを判定する（ステップＳ２０８）。画像参照カウンタＣが処理対象の画像枚数Ｎよりも大きい場合、対象画像決定部１１６は、ループ処理を終了させる。画像参照カウンタＣが処理対象の画像枚数Ｎ以下の場合、対象画像決定部１１６は、ループ処理の開始であるステップＳ２０２に処理を移す。

ループ処理を終了させた後、対象画像決定部１１６は、最小重心距離に対応したＰ番目の画像を処理の対象画像に決定する（ステップ２０９）。

図７は、三分割法による理想被写体重心位置を表す図である。三分割法の場合、画面を３×３に等分割するグリッドラインが設定される。理想被写体重心位置Ｇ０は、グリッドラインが交差している４点である。したがって、主要被写体の領域の重心位置との距離は４点の理想被写体重心位置分だけ算出され、このうち最小となるものがステップＳ２０４のＣ番目の重心距離である。

図８は、連写動作によって得られた３画像（Ｓｃｅｎｅ１、Ｓｃｅｎｅ２、Ｓｃｅｎｅ３）に対して算出される実際の主要被写体の領域から算出される重心位置Ｇ１と理想被写体重心位置Ｇ０との関係を示す図である。図８の例において、各画像の重心距離を比較すると、Ｓｃｅｎｅ２の画像がＧ０とＧ１との距離が最も小さくなる。したがって、Ｓｃｅｎｅ２の画像が対象画像として決定される。

［動きベクトル推定］
動きベクトル推定についてさらに説明する。図９（ａ）は、動きベクトル推定部１１８で設定される動き推定対象のブロックを示す図である。動き推定対象のブロックは、被写体/背景領域情報に付加された動き推定対象領域情報（例えば、撮影モードの情報）に従って設定される。例えば、撮影モードが流し撮りモードの場合、動き推定対象は背景被写体の領域である。したがって、図９（ａ）に示すように、Ｓｃｅｎｅ２の画像における主要被写体の領域（図９（ａ）のｍａｉｎ）以外の背景被写体の領域に対し動きベクトルの推定単位（正方サイズのブロック；例えば５×５画素）が定義される。図９（ｂ）は、動きベクトル推定単位ブロックを実際の画像（Ｓｃｅｎｅ２）に重ねて示した図である。図９（ｂ）で示す主要被写体の領域（図９（ｂ）のｍａｉｎ）以外の各ブロックについて動きベクトルが推定される。動きベクトルは、対象画像である画像Ｓｃｅｎｅ２の撮影時刻よりも時間的に１つ前の撮影時刻に撮影された画像（Ｓｃｅｎｅ１）との間での背景被写体の画像上での移動方向及び移動量である。すなわち、Ｓｃｅｎｅ１の画像における背景被写体がＳｃｅｎｅ２の画像のどの領域に存在しているかをパターンマッチング等の手法を用いて探索することによって両画像の間の背景被写体の領域の動きベクトルを推定することができる。

なお、動きベクトルの推定には、対象画像が撮影された時刻より１つ前の時刻に撮影された画像が最低限必要である。一方で、主要被写体により背景被写体の一部が隠されてしまうことで、対応する背景被写体が探索できずに動きベクトルを推定できない可能性がある。したがって、背景全体についての動きベクトルが推定できるよう、他の時刻の画像、例えば対象画像の撮影時刻よりも１つ後の時刻に撮影された画像（Ｓｃｅｎｅ３）、対象画像の撮影時刻の前の前の撮影時刻に撮影された画像、対象画像の撮影時刻の後の後の撮影時刻に撮影された画像をも使うようにしてよい。多くの画像を使用することで上述の隠れによる影響やノイズ起因による、信頼性の低い動きベクトルを除去することができる。

［動きベクトルからのフィルタ構成方法］
動きベクトルからのフィルタ構成方法についてさらに説明する。例として、図１０に示すようにして動きベクトルが推定されたものとする。このとき、背景被写体である家（ｂａｃｋ１）の一部分（ブロック）と木（ｂａｃｋ２）の一部分に着目する。なお、図１０の例では、撮影者からの距離は、木より家の方が離れているものとする。ここで、撮影者は、画面内を右から左に移動する車（主要被写体）を流し撮りしようとして撮像装置１００をパンニングさせたとする。一般に、撮像装置１００の動きに対する画像上での背景被写体の動きは、距離が近い被写体ほど大きく、距離が遠い被写体ほど小さくなることが知られている。したがって、図１０の例では、家のブロックの動きベクトルの大きさは、木のブロックの動きベクトルの大きさに比べて小さい。また、画面上部にある家のブロックの動きベクトルの方向は右下方向と推定され、画面下部にある木のブロックの動きベクトルの方向は右上方向と推定される。結果として、図１０では家のブロックＢＬ１の動きベクトルはＶ１となり、木のブロックＢＬ２の動きベクトルはＶ２となる。

図１０のようにして得られた動きベクトルを用いて動きぼけを表す平滑化フィルタが構成される。具体的には、動きベクトルの始点を中心とし、動きベクトルの大きさに合わせる形でフィルタのカーネルサイズが決定される。例えば、図１１（ａ）に示すように、家のブロックＢＬ１の動きベクトルが右方向に３ブロック、下方向に１ブロックのベクトルであるとすると、家に対して適用するフィルタのカーネルサイズはブロック数が大きい方向（右方向）のブロック数（３）に基づき７×７（＝３＋３＋１）に決定される。また、図１１（ｂ）に示すように、木のブロックＢＬ２の動きベクトルが右方向に５ブロック、上方向に１ブロックのベクトルであるとすると、木に対して適用するフィルタのカーネルサイズはブロック数が大きい方向（右方向）のブロック数（５）に基づき１１×１１（＝５＋５＋１）に決定される。

フィルタのカーネルサイズが決定したところで動きベクトルが合わせられ、動きベクトルがかかる画素に対してフィルタ要素を持たせるような平滑化フィルタが構成される。図１２（ａ）に示すように、家のブロックＢＬ１に対して適用されるフィルタについては、中心を含んで右下方向の４画素にフィルタ要素を持たせる。また、図１２（ｂ）に示すように、木のブロックＢＬ２に対して適用されるフィルタについては、中心を含んで右上方向の６画素にフィルタ要素を持たせる。平滑化フィルタであるので、総数が１となるようにフィルタ要素が構成される。すなわち、家のブロックＢＬ１に対して適用されるフィルタのフィルタ要素は１/４であり、木のブロックＢＬ２に対して適用されるフィルタのフィルタ要素は１/６である。このようにして構成されたフィルタがブロック内の画素に関するフィルタである。同様の方法を用いて、動きベクトルが推定された全てのブロックに対してフィルタが構成される。これにより、平滑化は、フィルタ要素の配列方向と中心対称の方向について効果を与える。すなわち、家のブロックＢＬ１についてフィルタが適用された場合、左上に動いているような動きぼけが付加される。また、木のブロックＢＬ２についてフィルタが適用された場合、左下に動いているような動きぼけが付加される。

ここで、図１２の例では、複数の画素に対して一律に平滑化がかかるようにフィルタ要素が決められている。これに対し、注目画素に重みをおいた平滑化がかかるようにフィルタ要素が決定されてもよい。この場合、中央から離れるに従ってフィルタ要素の値を小さくする。このようなフィルタが適用された場合、元のパターンがある程度見える形で動いているような動きぼけが付加される。このような動きぼけにより、被写体の動きが強調される。

［フィルタ適用方法］
フィルタの適用方法についてさらに説明する。ここでは、例として主要被写体である車と背景被写体である木との境界におけるフィルタの適用方法について説明する。被写体判定部１１４によって画像における主要被写体の領域と背景被写体の領域がそれぞれ判定されている。しかしながら、主要被写体の領域と背景被写体の領域との境界は必ずしも明確に判定されるとは限らない。また、主要被写体の領域と背景被写体の領域との境界付近で急激に平滑化フィルタが適用されてしまうと、処理後の画像の違和感が大きくなることが考えられる。そこで、本実施形態では、境界付近では平滑化フィルタの効果（フィルタの強度）を主要被写体からの距離に応じて徐々に強めるよう変化させることで画像の違和感を抑制する。例えば図１３（ａ）に示す車と木の境界部に対しては、図１３（ｂ）に示すような該当領域のフィルタカーネルに応じた複数（図では４つ）の境界領域（マージン領域）が設けられる。この複数の境界領域では、カーネルサイズ及びフィルタ要素の値が異なる平滑化フィルタがそれぞれ適用される。そして、境界部を超えた木の領域に対しては図１２（ｂ）で示した平滑化フィルタが適用される。

図１４は、それぞれの境界領域に適用される平滑化フィルタカーネルの構成を示す図である。第１境界領域では、図１４（ａ）に示すように平滑化フィルタのカーネルサイズが３×３に設定される。以降、第２境界領域では図１４（ｂ）に示すように５×５、第３境界領域では図１４（ｃ）に示すように７×７、第４境界領域では図１４（ｄ）に示すように９×９というように主要被写体から離れるに従ってフィルタのカーネルサイズが大きくなる。また、フィルタのカーネルサイズが大きくなるのに従ってフィルタ要素の値も変えていく。これにより被写体から離れるに従ってフィルタの強度が大きくなり、これに伴って平滑化の効果も大きくなる。

図１５は、境界領域を設定するための処理を示すフローチャートである。ここでは、主要被写体の領域に対するモルフォロジ演算を用いて各境界領域が設定される。フィルタ適用部１２２は、処理に必要な変数を初期化する（ステップＳ３０１）。具体的には、フィルタ適用部１２２は、平滑化フィルタの最大サイズを示すＦｓをフィルタ構成部１２０で生成された平滑化フィルタのサイズに、主要被写体の領域を膨張させる回数を示すＣを１に初期化する。また、フィルタ適用部１２２は、主要被写体の領域情報Ｉｍｇにこの領域情報を表す２値画像を設定する。

変数の初期化の後、フィルタ適用部１２２は、ステップＳ３０２からのループ処理を実行する。ループ処理の開始として、フィルタ適用部１２２は、膨張回数Ｃがフィルタの最大サイズに基づく値Ｆｓ/２−１よりも小さいか否かを判定する（ステップＳ３０２）。ＣがＦｓ/２−１よりも小さい場合、フィルタ適用部１２２はステップＳ３０３以降の処理を実行する。ＣがＦｓ/２−１以上である場合し、フィルタ適用部１２２はループ処理を終了させる。図１５の例では、Ｆｓが３×３よりも大きい場合にループ処理が実行される。

フィルタ適用部１２２は、２値画像Ｉｍｇに対してＢｉｎａｒｙのＤｉｌａｔｉｏｎ（膨張）演算を実行し、その結果である２値画像Ｉｍｇ−Ｐｒｃを自身が有する画像バッファに記憶させる（ステップＳ３０３）。Ｄｉｌａｔｉｏｎの構造要素は３×３の８近傍とする。続いて、フィルタ適用部１２２は、画像バッファに記憶された２値画像Ｉｍｇ−ｐｒｃと２値画像Ｉｍｇとの差分を算出する（ステップＳ３０４）。この差分の算出は、直前のＤｉｌａｔｉｏｎ演算で膨張された画素を取り出すために行われる。

続いて、フィルタ適用部１２２は、差分を算出することで取り出された２値の差分画像をＣ番目の境界領域を示す情報として記憶する（ステップＳ３０５）。その後、フィルタ適用部１２２は、２値画像Ｉｍｇを先のＤｉｌａｔｉｏｎ演算で生成された２値画像Ｉｍｇ−Ｐｒｃに置換する（ステップＳ３０６）。このとき、２値画像Ｉｍｇは、主要被写体の領域に対するＣ回の膨張演算画像となる。続いて、フィルタ適用部１２２は、膨張回数Ｃをインクリメントし（ステップＳ３０７）、ステップＳ３０８において処理を戻す。

ループ処理の終了後、フィルタ適用部１２２は、必要な境界領域情報が得られたと判断し、全ての境界領域を示す情報を統合する（ステップＳ３０９）。ここで、図１５の処理の場合、境界領域を示す情報は平滑化フィルタの最大サイズに依存する個数分だけ設定される。実際の適用では、全ての境界領域情報が使用されない場合もある。例えば、家と車の境界部の場合、家に関する平滑化フィルタのサイズは７×７なので図１４（ｂ）で示した第３境界領域及び第４境界領域は使用されない。

以上説明したように第１の実施形態においては主要被写体の領域や背景被写体の領域毎の動きの大きさに応じて平滑化の程度を変えるようにしている。これにより、手ぶれ等の影響を受けることもなく、図３（ａ）で示したような主要被写体がぶれなく、背景被写体のみが動いているようにぼけて動きが強調される画像を生成することができる。処理対象の画像に対してのみに平滑化フィルタを適用すればよく、動きぼけを付加するために画像の合成処理等が不要である。

また、本実施形態では、主要被写体の領域や背景被写体の動きを動きベクトルを推定することによって検出するようにしている。一般に、背景の奥行（被写体距離）に応じて画像間の動きベクトルの大きさが変化するので、動きベクトルを推定すれば別途に奥行情報を算出する必要がなくなる。撮影モードに応じて適切に動きベクトルの推定対象の領域を設定することで自然な動きぼけを少ない計算コストで付加することができる。

さらに、本実施形態では、三分割法によって決定される理想的な重心位置に主要被写体の重心位置がある画像を対象画像に決定するようにしている。これにより、撮影者が望む構図の流し撮りや長時間撮影の画像を得ることができる。なお、図８の例では、実際の主要被写体の重心位置から対象画像を決定している。これに加えて、連写動作中に得られる複数の画像の中で主要被写体の領域の大きさを比較して対象画像を決定してもよい。例えば、連写動作中に得られる画像の中で、主要被写体が画面内で大きくなりつつ画面の所定位置に収まっているような構図の画像を対象画像としてよい。このようにして対象画像を決定することで主要被写体の動きの強調効果を大きくすることができる。

（第２の実施形態）
［構成］
図１６は、第２の実施形態に係る画像処理方法を用いて画像処理を行う撮像装置の一例の構成を示す図である。図１６については、図１と異なる箇所についてのみ説明する。第２の実施形態における動きベクトル推定部１１８は、被写体の区別をせずに画像をブロックに分割してブロックごとの動きベクトルを推定する。そして、動きベクトル推定部１１８で推定された動きベクトルは、フィルタ構成部１２０のみではなく、被写体判定部１２４にも入力される。被写体判定部１２４は、動きベクトル推定部から入力された動きベクトルを用いて被写体の判定を行う。図１６におけるその他の構成は図１と同様である。

［動作］
次に、本実施形態に係る撮像装置１００の動作を説明する。図１７は、第２の実施形態における撮像装置１００の撮影動作を示すフローチャートである。図１７において、第１の実施形態と異なる箇所について説明する。すなわち、図１７におけるステップＳ４０３及びＳ４０４の動作が第１の実施形態と異なっている。ステップＳ４０１、Ｓ４０２、Ｓ４０５からＳ４０８は図２のステップＳ１０１、Ｓ１０２、Ｓ１０４、Ｓ１０６からＳ１０８と同様である。

図１７において、画像記憶部１１２に画像が記憶されると、動きベクトル推定部１１８は、動きベクトルを推定する（ステップＳ４０３）。第２の実施形態における動きベクトル推定部１１８は、主要被写体と背景被写体とを区別せず、画像を単純にブロックに分割した上でブロックごとの動きベクトルを推定する。被写体判定部１２４は、動きベクトル推定部１１８で推定された動きベクトルを用いて被写体判定を行う（ステップＳ４０４）。主要被写体は必ずしも画像の中央に存在しているわけではないが、画像の周辺部全てに存在するわけでもない。そこで、被写体判定部１２４は、画像の周辺部に位置するブロックの動きベクトルを用いて背景被写体の動きを推定する。そして、被写体判定部１２４は、各ブロックについて背景被写体の動きと明らかに異なる箇所を主要被写体として判定する。例えば、撮影モードが流し撮りモードの場合、背景被写体はある程度動きを持つが主要被写体は殆ど動かない又は背景被写体とは異なる動きを表す。また、撮影モードが手持ち長時間撮影モードの場合、背景は殆ど動かない一方で主要被写体が動きを持つ。この状況を踏まえて動きベクトルから被写体を判定する。すなわち、流し撮りモードでは、画像の周辺部の動きのあるブロックは背景被写体と判定される。一方、手持ち長時間撮影モードでは、画像の周辺部の動きのあるブロックは主要被写体と判定される。

被写体判定に関してより具体的に図１８から図２１を用いて説明する。図１８（ａ）は、画面内における背景被写体としての動きを推定する領域を示す。ここでは画面全体を７×７画素の小領域に分割し、小領域単位で主要被写体と背景被写体を判定する。なお、中央の３×３画素の領域は、主要被写体が存在する可能性がある部分を表す。また、図１８（ｂ）は動きベクトルを推定するブロックの構成を示す。ブロックの大きさは、第１の実施形態と同様、例えば５×５画素である。

この条件下において図１９のようなシーンで被写体判定を行う場合、撮影モードによって被写体判定の方法を変えるようにする。例えば撮影モードが流し撮りモードの場合、推定される動きベクトルは図２０（ａ）のようになる。このとき、背景被写体の動きが支配的となる。このとき図１８（ａ）の小領域単位で動きベクトルを（例えば小領域内の動きベクトルの平均をとる等により）統合すると図２０（ｂ）の状態になる。ここで背景被写体の小領域の半分以上は動きベクトルが存在しており、これらの動きベクトルは方向や大きさにおおきなばらつきがない（逆方向や大きさが極端に違うといったものがない）ことから背景被写体の動きに対応するものとして認識される。すなわちこの背景被写体の動きとは異なる部分が主要被写体として判定されることになる。ここでは主要被写体が存在する可能性がある小領域を含めて連結した小領域群（図２０（ｂ）の右下がり対角パターン箇所）を主要被写体領域とする。また撮影モードが手持ち長時間撮影モードの場合、推定される動きベクトルは図２１（ａ）のようになり、背景被写体には動きがない。このとき図１８（ａ）の小領域単位で動きベクトルを統合すると図２１（ｂ）の状態になる。ここで背景被写体の小領域の半分以上は動きベクトルが存在しないことから背景被写体に動きはない、すなわち動きが検出される部分が主要被写体として判定されることになる。ここでは主要被写体が存在する可能性がある小領域を含めて連結した小領域群（図２１（ｂ）の右下がり対角パターン箇所）を主要被写体領域とする。

なお本実施形態では動き推定領域図１８（ａ）と動きベクトル推定ブロック図１８（ｂ）を別々に設定しているが、両者を共用する形をとっても良い。

以上説明したように第２の実施形態においては動きベクトルから主要被写体と背景被写体とを判定するようにしている。これにより、被写体判定部１２４において画像認識の処理を行う必要がない。なお、画像認識処理を併用して被写体判定が行われてもよい。

（第３の実施形態）
［構成］
図２２は、第３の実施形態に係る画像処理方法を用いて画像処理を行う撮像装置の一例の構成を示す図である。図２２については、図１と異なる箇所についてのみ説明する。第３の実施形態においては、撮影者が対象画像を選択することが可能である。このため、第３の実施形態の操作部１０４は、撮影者が対象画像を設定するための操作部材をさらに有する。また、第３の実施形態における撮像装置１００は、対象画像の候補を表示するための表示部１２６も有している。

［動作］
次に、本実施形態に係る撮像装置１００の動作を説明する。本実施形態における対象画像決定部１１６は、対象画像の決定に際し、連写動作によって得られた画像を表示部１２６に例えばサムネイル表示させる。撮影者は、表示部１２６に表示された画像を見てどの画像を出力対象にするかを操作部１０４の操作によって選択する。操作部１０４の操作を受けて、対象画像決定部１１６は、選択された画像に関する情報（サムネイル表示であれば選択された画像のインデックス番号等）を取得し、対象画像を決定する。

表示部１２６に表示される内容の具体例を図２３に示す。サムネイル表示として４枚分の画像が１画面に表示されており、各画像にはインデックス番号をオーバーラップで表示している。この他に操作部１０４によって時間的に前後の画像を表示させたりサムネイル表示枚数を変更させたりすることを可能にする。サムネイル表示の中から対象画像が決定された際には選択された画像のインデックス番号に基づき実際の対象画像が決定される。なお操作部１０４の操作は表示部１２６にタッチパネルを内蔵させて画面をタッチすることで実現させるようにしてもよい。

以上説明したように本実施形態によれば、撮影者が望むシーン及び構図を有する画像に対して動きぼけを付加することができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも処理制御部１０８に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、処理制御部１０８は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…撮像装置、１０２…撮像部、１０４…操作部、１０６…撮影条件設定部、１０８…処理制御部、１１０…情報記録部、１１２…画像記憶部、１１４…被写体判定部、１１６…対象画像決定部、１１８…動きベクトル推定部、１２０…フィルタ構成部、１２２…フィルタ適用部、１２４…被写体判定部、１２６…表示部、１０２１…レンズ、１０２２…撮像素子、１０２３…撮像制御部

Claims (8)

1. 被写体を連続的に撮像して複数の画像を取得する撮像部と、
   前記取得された複数の画像のそれぞれにおける主要被写体の領域と背景被写体の領域とを判定する被写体判定部と、
   前記取得された複数の画像の中から対象画像を決定する対象画像決定部と、
   前記対象画像と該対象画像が撮像された時刻と時間的に前後する時刻に撮像された画像との間の少なくとも前記背景被写体の領域の動きベクトルを推定する動きベクトル推定部と、
   前記推定された動きベクトルに基づき前記対象画像に適用するフィルタを構成するフィルタ構成部と、
   前記構成されたフィルタを前記対象画像に適用するフィルタ適用部と、
   を具備し、
   前記対象画像決定部は、前記被写体判定部で判定された前記主要被写体の領域の位置と画面の構図に基づいて決定される理想被写体の領域の位置の位置関係に基づいて前記対象画像を決定する画像処理装置。
2. 前記動きベクトル推定部は、前記取得された複数の画像をそれぞれ複数のブロックに分割し、該ブロックごとに前記画像の間の動きベクトルを推定し、
   前記被写体判定部は、前記推定された動きベクトルに基づいて前記取得された複数の画像のそれぞれにおける主要被写体の領域と背景被写体の領域とを判定する、
   請求項１に記載の画像処理装置。
3. 前記撮像部は、被写体ぶれが生じない程度に露光時間を短くし、前記露光時間を短くした分だけ感度を高くし、前記感度を高くした分だけノイズ除去処理のノイズ低減レベルを大きくして撮像を実行する請求項１又は２に記載の画像処理装置。
4. 前記フィルタ適用部は、前記被写体判定部で判定された主要被写体の領域と背景被写体の領域との境界にマージン領域を設け、該マージン領域内でのフィルタの強度を前記主要被写体の領域からの距離が遠くなるに応じて大きくするように前記フィルタを構成する請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記被写体判定部は、画像認識により前記主要被写体の領域と前記背景被写体の領域とを判定する請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記被写体判定部は、前記取得された画像をそれぞれ中央部の領域と周辺部の領域とに分割し、前記周辺部の領域の動きベクトルに基づいて前記背景被写体の領域と前記主要被写体の領域とを判定する請求項２に記載の画像処理装置。
7. 被写体を連続的に撮像して複数の画像を取得することと、
   前記取得された複数の画像のそれぞれにおける主要被写体の領域と背景被写体の領域とを判定することと、
   前記取得された複数の画像の中から対象画像を決定することと、
   前記対象画像と該対象画像が撮像された時刻と時間的に前後する時刻に撮像された画像との間の少なくとも前記背景被写体の領域の動きベクトルを推定することと、
   前記推定された動きベクトルに基づき前記対象画像に適用するフィルタを構成することと、
   前記構成されたフィルタを前記対象画像に適用することと、
   を具備し、
   前記対象画像を決定することは、前記判定された前記主要被写体の領域の位置と画面の構図に基づいて決定される理想被写体の領域の位置の位置関係に基づいて前記対象画像を決定することを含む画像処理方法。
8. 被写体を連続的に撮像して複数の画像を取得する機能と、
   前記取得された複数の画像のそれぞれにおける主要被写体の領域と背景被写体の領域とを判定する機能と、
   前記取得された複数の画像の中から対象画像を決定する機能と、
   前記対象画像と該対象画像が撮像された時刻と時間的に前後する時刻に撮像された画像との間の少なくとも前記背景被写体の領域の動きベクトルを推定する機能と、
   前記推定された動きベクトルに基づき前記対象画像に適用するフィルタを構成する機能と、
   前記構成されたフィルタを前記対象画像に適用する機能と、
   をコンピュータに実現させるための画像処理プログラムであって、
   前記対象画像を決定する機能は、前記判定された前記主要被写体の領域の位置と画面の構図に基づいて決定される理想被写体の領域の位置の位置関係に基づいて前記対象画像を決定することを含む画像処理プログラム。

Images