JP5214476B2 - 撮像装置及び画像処理方法並びにプログラム - Google Patents

Description

本発明は、デジタルスチルカメラ等の撮像装置に関し、特に流し撮り機能付きの撮像装置及び流し撮り画像を処理する画像処理方法並びにプログラムに関するものである。

従来より、図１０Ａに示すように、例えば車等の動体Ｄの動きに追従してカメラ１’をパンさせつつ撮影を行うことにより、図１０Ｂの左図に示すように動体（車）Ｄは静止しているが、露出中にカメラ１’が動いた分だけ背景（木）Ｔが流れたスピード感のある画像Ｐを得る、いわゆる流し撮りという撮影技術が知られている。しかしながら動体Ｄの動きに追従してカメラ１’をパンさせることは難易度の高い撮影技術であり、失敗も多く、失敗すると図１０Ｂの右図に示すごとく、背景Ｔは流れるが動体Ｄがブレた画像Ｐになってしまう。

そこで簡単に流し撮りを行うための手法として、カメラ１’をパンしながら連写撮影を行い、図１１Ａに示すように、複数のフレーム画像Ｐ１〜Ｐ４を取得し、取得した複数のフレーム画像Ｐ１〜Ｐ４の中から基準フレーム画像（例えばＰ２）を選択して、この基準フレーム画像Ｐ２の動体Ｄ２の位置に、他のフレーム画像Ｐ１，Ｐ３，Ｐ４の動体Ｄ１〜Ｄ４部分がそれぞれ略一致するようにフレーム画像Ｐ１，Ｐ３，Ｐ４に対して位置合わせ処理を行った後で、複数のフレーム画像Ｐ１〜Ｐ４を合成することにより、動体Ｄとカメラ１’の動きが多少ずれていても、動体Ｄ部分が静止した画像Ｃを得られる方法が提案されている（特許文献１）。

しかしながら特許文献１に記載の方法では、動体Ｄ部分は確かに静止するが、例えば背景Ｔが図１１Ａ中の画像Ｐの左側から右側（水平方向）に並んでいて、動体Ｄが図１１Ａ中の画像Ｐの奥側から手前側に向かって、すなわちカメラ１’に近づく方向に移動している場合には、動体Ｄに対して位置合わせを行うと、図１１Ｂに示すように、位置合わせによって各フレーム画像Ｐ１〜Ｐ４間で画像Ｐの奥側から手前側方向のブレが発生し、図１１Ａに示すように背景Ｔの流れが不連続になってしまう場合がある。これは動体Ｄの移動する方向と、カメラ１’のパン方向とが完全に一致していないことに起因するものであり、背景Ｔが不連続になった場合、画像Ｐは不自然な流れ方になってしまい、画像Ｐのスピード感が損なわれてしまう虞がある。

そこで複数のフレーム画像Ｐ１〜Ｐ４をそれぞれ動体Ｄ部分と背景Ｔ部分とに分割し、動体Ｄ部分のみを複数のフレーム画像Ｐ１〜Ｐ４間で位置合わせしながら合成し、背景Ｔ部分は、動体Ｄの動きベクトルと背景Ｔの動きベクトルとの差分ベクトルの方向と量に応じて背景Ｔにブラシ処理を行うことにより補間画像を作成して合成することで流し撮りの効果を出す方法が提案されている（特許文献２）。

特開２００６−２５３１２号公報 特開２００７−７４０３１号公報

しかしながら特許文献２に記載の方法では、補間画像を作成するための処理時間やメモリの容量等が増大してしまう虞がある。

本発明はかかる事情に鑑みてなされたものであり、処理時間やメモリ容量を増大させることなく効果的な流し撮り画像を取得することができる撮像装置及び画像処理方法並びにプログラムを提供することを目的とするものである。

本発明の撮像装置は、被写体を撮像して画像を取得する撮像手段と、
該撮像手段に複数の画像を連続して取得させる撮像制御手段と、
前記複数の画像から１つの基準画像を選択する基準画像選択手段と、
該基準画像選択手段により選択された基準画像を除く複数の対応画像の各々において動体領域を特定する動体領域特定手段と、
前記複数の画像が流し撮りによって撮影されているときに、前記複数の対応画像の各々を前記基準画像に位置合わせするものであり、前記動体領域特定手段により特定された動体領域が特定されなかった非動体領域よりも位置合わせ量が多くなるように前記位置合わせする位置合わせ手段と、
該位置合わせ手段により位置合わせされた複数の対応画像と前記基準画像とを合成する合成手段とを備えていることを特徴とするものである。

ここで本発明において「位置合わせ量」とは、基準画像中の所定領域と対応画像中の所定領域とを略一致させて位置合わせしたときを１００（％）とし、基準画像中の所定領域と対応画像中の所定領域とを移動させずにそのままの状態で位置合わせしたときを０（％）とする。なお基準画像中の所定領域と対応画像中の所定領域とをずらして一致させたときにはこのずらした量に応じて比率が決定されるものとする。

また本発明において「動体領域」とは、撮像素子における画像の撮像領域のうち、撮像時の撮像素子に対して相対的に動いている被写体が撮像されている領域を意味するものとする。なお、動体領域は、動体のみの領域であってもよく、動体を囲む所定範囲の領域であってもよい。また「非動体領域」とは、画像の撮像領域のうち、動体領域以外の領域を意味するものとする。

また本発明において「連続して取得された複数の画像」とは、通常１回の露光により撮像を行うところを、複数回に分割して露光を行い、複数回の露光にそれぞれ対応して撮像された画像を意味するものとする。

本発明の撮像装置においては、前記動体領域は、前記画像中で予め定められた所定領域であってもよい。

また本発明の撮像装置においては、前記基準画像から特徴点を検出する特徴点検出手段と、
前記複数の対応画像の各々において、前記特徴点検出手段により検出された特徴点に対応する対応点を検出する対応点検出手段を備え、
前記動体領域特定手段が、前記特徴点検出手段により検出された特徴点と前記対応点検出手段により検出された対応点から前記動体領域を特定するものであることが好ましい。

また本発明の撮像装置は、前記非動体領域の位置合わせ量を０にして前記位置合わせを行ってもよい。

本発明の画像処理方法は、流し撮りにより連続して撮像された複数の画像を取得し、
該取得した複数の画像から基準画像を選択し、
該選択した基準画像を除く複数の対応画像の各々において動体領域を特定し、
該特定した動体領域が、特定されなかった非動体領域よりも位置合わせ量が多くなるように、前記複数の対応画像の各々を前記基準画像に位置合わせし、
該位置合わせされた複数の対応画像と前記基準画像とを合成することを特徴とするものである。

また本発明の画像処理方法においては、前記基準画像から特徴点を検出し、
前記複数の対応画像の各々から前記特徴点に対応する対応点を検出し、
該検出した特徴点と対応点から前記動体領域を特定することが好ましい。

また本発明の画像処理方法においては、前記非動体領域の位置合わせ量を０にして前記位置合わせを行うことができる。

本発明のプログラムは、コンピュータに、流し撮りにより連続して撮像された複数の画像を取得し、
該取得した複数の画像から基準画像を選択し、
該選択した基準画像を除く複数の対応画像の各々において動体領域を特定し、
該特定した動体領域が、特定されなかった非動体領域よりも位置合わせ量が多くなるように、前記複数の対応画像の各々を前記基準画像に位置合わせし、
該位置合わせされた複数の対応画像と前記基準画像とを合成することを実行させることを特徴とするものである。

また本発明のプログラムにおいては、コンピュータに、前記基準画像から特徴点を検出し、
前記複数の対応画像の各々から前記特徴点に対応する対応点を検出し、
該検出した特徴点と対応点から前記動体領域を特定することを実行させることが好ましい。

また本発明のプログラムにおいては、コンピュータに、前記非動体領域の位置合わせ量を０にして前記位置合わせを行うことを実行させることができる。

本発明の撮像装置及び画像処理方法並びにプログラムによれば、流し撮りにより連続して撮像された複数の画像を取得し、取得した複数の画像から基準画像を選択し、選択した基準画像を除く複数の対応画像の各々において動体領域を特定し、特定した動体領域が、特定されなかった非動体領域よりも位置合わせ量が多くなるように、複数の対応画像の各々を基準画像に位置合わせし、位置合わせされた複数の対応画像と基準画像とを合成するので、動体領域と非動体領域とを分離して位置合わせすることにより、補間画像を作成する必要がないので、補間画像の作成に要する処理時間や補間画像を記憶するメモリを節約することができて、処理時間やメモリ容量を増大させることなく効果的な流し撮り画像を取得することができる。

本発明の一実施形態による撮像装置を適用したデジタルカメラの外観を示す図（正面側） 本発明の一実施形態による撮像装置を適用したデジタルカメラの外観を示す図（背面側） 本発明の一実施形態による撮像装置を適用したデジタルカメラの内部構成を示す概略ブロック図 図３のデジタルカメラによる撮像処理のフローチャート 図４の撮像処理の概念図 動体領域の特定方法を説明する図 ワーピングを説明する図 所定領域の一例を示す図 本発明の一実施形態による画像処理方法を適用した画像処理のフローチャート 流し撮りを説明するための図 流し撮り画像の成功例と失敗例の一例を示す図 従来の流し撮り画像の取得方法を説明する図 従来の流し撮り画像の問題点を説明する図

以下、図面を参照して本発明の実施形態について説明する。図１および図２は本発明の実施形態による撮像装置を適用したデジタルカメラ１の外観を示す図である。図１および図２に示すように、このデジタルカメラ１の上部には、レリーズボタン２、電源ボタン３およびズームレバー４が備えられている。

レリーズボタン２は、２段階の押下により２種類の動作を指示できる構造となっている。例えば、自動露出調整機能（ＡＥ：Auto Exposure）、自動焦点調節機能（ＡＦ：Auto Focus）を利用した撮影では、デジタルカメラ１は、レリーズボタン２が軽く押下される第１の押下操作（半押しともいう）がなされたときに、露出調整、焦点合わせ等の撮影準備を行う。その状態で、レリーズボタン２が強く押下される第２の押下操作（全押しともいう）がなされると、デジタルカメラ１は露光を開始し、露光により得られた１画面分の画像データを記録メディア３４に記録する。

デジタルカメラ１の背面には、液晶等のモニタ５、撮影モード等の設定に利用されるモードダイヤル６、および後各種操作ボタン８が備えられている。なお、本実施形態においては、撮影を行う撮影モード、および記録メディア３４に記録された画像をモニタ５に再生する再生モード等を設定可能とされている。また、撮影モードとしては通常の撮影を行うための通常撮影モードの他、流し撮り撮影を行うための流し撮りモードが設定可能とされている。

次いで、デジタルカメラ１の内部構成について説明する。図３は本発明の実施形態による撮像装置を適用したデジタルカメラの内部構成を示す概略ブロック図である。図３に示すように本実施形態による撮像装置を適用したデジタルカメラ１は、撮像系（撮像手段）９を有する。

撮像系（撮像手段）９は、被写体にピントを合わせるためのフォーカスレンズ１０ａおよびズーム機能を実現するためのズームレンズ１０ｂからなる撮影レンズ１０を有する。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部１１およびズームレンズ駆動部１２によって光軸方向に移動可能である。フォーカスレンズ駆動部１１は、後述するＡＦ処理部２８からの指示に基づいて、ズームレンズ駆動部１２はズームレバー４の操作に応じたＣＰＵ２２からの指示に基づいて、各々のレンズの移動を制御する。

絞り１４は、複数の絞り羽根からなる。絞り駆動部１５は、ステッピングモータ等小型のモータで、ＡＥ処理部２９から出力される絞り値データに応じて、絞りの開口サイズが目的に適ったサイズになるように絞り羽根の位置を調整する。

シャッタ１６はメカニカルシャッタであり、シャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ処理部２９から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。

シャッタ１６の後方には撮像素子１８を有している。本実施形態においては、ＣＭＯＳタイプの撮像素子１８を用いるものとする。撮像素子１８は、多数の受光素子を２次元的に配列した光電面を有しており、撮影レンズ１０等の光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。撮像素子１８は、撮像素子制御部１９から供給される読み出し信号に同期して、画素毎に蓄積された電荷を１画素ずつアナログ撮影信号として出力する。なお、各画素において電荷の蓄積を開始してから電荷を読み出すまでの時間、すなわち電子シャッタのシャッタスピードは、撮像素子制御部１９から与えられる電子シャッタ駆動信号によって決定される。この露光時間は、後述するＡＥ処理部２９により設定される。また、撮像素子１８は撮像素子制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。

撮像素子１８から読み出されたアナログ撮影信号は、アナログフロントエンド（ＡＦＥ）２０に入力される。ＡＦＥ２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＲＡＷデータである。

タイミングジェネレータ２１は、同期信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、撮像素子制御部１９、およびＡＦＥ２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、撮像素子１８からの電荷の読み出し、およびＡＦＥ２０の処理の同期をとっている。

ＣＰＵ（撮像制御手段）２２は、レリーズボタン２、操作ボタン８およびＡＥ処理部２９等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。なお本実施形態においては、ＣＰＵ２２は、通常撮影モードに設定されている場合には、１回のレリーズボタンの全押し操作に応じて、１回の露光により、撮像素子１８から１回電荷を読み出す撮影を撮像系９に行わせる。一方、流し撮りモードに設定されている場合には、通常１回の電荷の読み出しを行うところを、露光期間中複数回に分割して電荷の読み出しを行う、いわゆる連写を行い、各回において読み出した電荷にそれぞれ対応する複数の画像を取得する。なお、複数の画像は後述するように合成されて合成画像が生成される。なお、流し撮りモードでは、ＡＥ処理部２９は、プレ画像に基づいて設定したシャッタスピード、すなわち露光時間（Ｔ０とする）に基づいて、分割後の露光時間すなわち電荷の読み出し間隔（Ｔとする）および読み出し回数ｎを設定する。

なお、通常撮影モードによる撮影時においては、ＡＥ処理部２９が設定したシャッタスピードによりシャッタ１６が開放して撮像素子１８がシャッタスピードに対応する露光時間Ｔ０露光されて１回の電荷の読み出しが行われる。一方、流し撮りモードによる撮影時においては、レリーズボタンの押下後、設定された読み出し回数ｎの電荷の読み出しが行われるまでの間シャッタ１６は開放とされ、その間、設定された露光時間Ｔの間隔により撮像素子１８から繰り返し電荷が読み出される連写が行われ、複数の画像が取得される。

例えば、分割しての撮影を行わない場合（通常撮影モード時）の露光時間Ｔ０が１／４秒である場合、分割しての撮影を行う場合（流し撮りモード時）の露光時間Ｔ１が１／１６秒であるとすると、流し撮りモード時においては露光時間Ｔ１が１／１６秒の露光が４回行われることとなり、４枚のフレーム画像が取得される。

なお、流し撮りモードでは通常、デジタルカメラ１は図１０Ａに示すようにデジタルカメラ１の位置を固定したまま、動体（車）Ｄの動きに合わせてユーザによって左右（水平方向）に動かしている、すなわちパンしている間に連写されて複数のフレーム画像が取得される。

また、デジタルカメラ１は撮影時において必要なときに発光されるフラッシュ２４を有する。フラッシュ２４は、発光制御部２３によりその発光が制御される。

また、デジタルカメラ１は、ＡＦＥ２０が出力した画像データを、データバス４２を介して他の処理部に転送する画像入力コントローラ２５、および画像入力コントローラ２５から転送された画像データを一時記憶するフレームメモリ２６を備える。

フレームメモリ２６は、画像データに対して後述の各種処理を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ５に表示させたり、再生モード時に記録メディア３４に保存されている画像をモニタ５に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、タイミングジェネレータ２１が発生する同期信号に同期して、所定時間間隔で撮像系９により撮影される。

ＡＦ処理部２８およびＡＥ処理部２９は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ２２が撮像素子１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。

ＡＦ処理部２８は、プレ画像に基づいてフォーカスレンズ１０ａの合焦位置を検出する。合焦位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するＴＴＬ方式を用いる。

ＡＥ処理部２９は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて絞り値およびシャッタスピードを露出設定値として設定して出力する（ＡＥ処理）。具体的にはプレ画像を例えば８×８の６４の測光領域に分割し、各領域の明るさおよびあらかじめ定められて後述する内部メモリ３５に記憶されたプログラム線図に基づいて、シャッタスピードおよび絞り値を設定する。

ＡＷＢ処理部３０は、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。

画像処理部３１は、本画像の画像データに対して、明るさ補正、階調補正、シャープネス補正、および色補正等の画質補正処理、並びにＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影により撮像素子１８から取り込まれ、ＡＦＥ２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データにより表される画像である。

圧縮／伸長処理部３２は、画像処理部３１によって処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。

メディア制御部３３は、不図示のメディアスロットルに着脱自在にセットされた記録メディア３４にアクセスして、画像ファイルの書き込みと読み込みの制御を行う。

記録メディア３４は、各種データを記憶可能な記録媒体であり、磁気的又は光学的記録媒体、半導体メモリ等によって構成されている。

内部メモリ３５は、デジタルカメラ１において設定される各種定数、ルックアップテーブル、およびＣＰＵ２２が実行するプログラム等を記憶する。

基準画像選択部（基準画像選択手段）３６は、流し撮りモードによって撮像系９により連続して取得された複数のフレーム画像から１つの基準画像を選択する。

特徴点検出部（特徴点検出手段）３７は、基準画像選択部３６により選択された基準画像から複数の特徴点を検出する。特徴点は被写体の角部や画像パターン等として特徴を有する点であり、画素信号の勾配情報等に基づいて検出される。特徴点の検出方法としては、例えばＭｏｒａｖｅｃの手法や、Ｈａｒｒｉｓの手法、Ｓｈｉ−Ｔｏｍａｉの手法等を使用することができるが、本発明においては、特徴点を抽出できれば抽出方法は限定しない。

対応点検出部（対応点検出手段）３８は、特徴点検出部３７によって抽出された特徴点が、基準画像選択部３６により選択された基準画像を除く複数の対応画像においてどの位置に移動したかを追従することによって対応点を検出する。対応点は、特徴点の特徴と略一致する点であり、対応点の検出方法としては、例えばＫＬＴ-Ｔｒａｃｋｅｒの手法、ブロックマッチング等を使用することができるが、本発明においては、対応点を検出できれば検出方法は限定しない。

動体領域特定部（動体領域特定手段）３９は、基準画像選択部３６により選択された基準画像を除く複数の対応画像の各々において動体領域を特定する。なお動体領域の特定方法については後で詳細に説明する。

位置合わせ部（位置合わせ手段）４０は、複数の画像が流し撮りによって撮影されているときに、複数の対応画像の各々を基準画像に位置合わせするものであり、本発明において特徴的なのは、特定領域特定部３９により特定された動体領域が特定されなかった非動体領域よりも位置合わせ量が多くなるように位置合わせを行うことである。なおこの位置合わせの方法については後で詳細に説明する。

合成部（合成手段）４１は、位置合わせ部４０により位置合わせされた複数の対応画像と基準画像とを合成して合成画像を生成する。なお、合成は複数の画像について、複数の画像間の対応する画素値を加算することにより行ってもよく、画素値の平均値を算出することにより行ってもよい。なおこの合成方法については後で詳細に説明する。

データバス４２は、各種処理部、フレームメモリ２６およびＣＰＵ２２等に接続されており、画像データおよび各種指示等のやり取りを行う。以上のようにしてデジタルカメラ１は構成されている。

次いで、本実施形態において行われる処理について説明する。図４はデジタルカメラ１による撮像処理のフローチャート、図５は図４の撮像処理の概念図、図６は動体領域の特定方法を説明する図、図７はワーピングを説明する図、図８は所定領域の一例を示す図である。

上記のように構成された本実施形態のデジタルカメラ１は、図４に示すように、先ずＣＰＵ２２が流し撮りモードが設定されているか否かを判別する（ステップＳ１）。流し撮りモードが設定されている場合（ステップＳ１；ＹＥＳ）には、ＣＰＵ２２は、レリーズボタン２が全押しされたか否かを判別し（ステップＳ２）、全押しされていない場合（ステップＳ２；ＮＯ）にはレリーズボタン２が全押しされるまでステップＳ２の処理を繰り返し行う。

一方、ステップＳ２にてレリーズボタン２が全押された場合（ステップＳ２；ＹＥＳ）には、ＣＰＵ２２が撮像系９に複数のフレーム画像を連続して取得させる、いわゆる連写を行わせる（ステップＳ３）。

流し撮りは、動体である車Ｄの動きに追従するようにユーザによってデジタルカメラ１が水平方向にパンされて行われるものであるため、この連写によって得られる複数のフレーム画像は、デジタルカメラ１が水平方向にパンされている間に取得される（図１０Ａ参照）。

例えば図５に示すように、全体の露光時間が１／４秒のときに１／１６秒ずつ４枚のフレーム画像Ｐ１〜Ｐ４に分割して撮影した場合には、ユーザがデジタルカメラ１を水平方向にパンしたことにより非動体である背景の木Ｔ１〜Ｔ４はフレーム画像Ｐ１〜Ｐ４間で水平方向に移動しているが、動体である車Ｄ１〜Ｄ４は少しずつデジタルカメラ１側に近づいてきているため、背景の木Ｔ１〜Ｔ４と車Ｄ１〜Ｄ４の画像中の奥行方向の位置関係がずれてしまっている。

また各フレーム画像Ｐ１〜Ｐ４も露光時間が１／１６秒であるため背景の木Ｔ１〜Ｔ４は、その露光時間分の水平方向のブレが生じてしまっているが、車Ｄ１〜Ｄ４はデジタルカメラ１のパンにより水平方向のブレが小さくなる。

デジタルカメラ１が連写により上記のような複数のフレーム画像Ｐ１〜Ｐ４を取得すると（ステップＳ３）、次に基準画像選択部３６が複数のフレーム画像Ｐ１〜Ｐ４から１つの基準フレーム画像（以下、基準画像という）を選択する（ステップＳ４）。本実施形態では、図５に示すようにフレーム画像Ｐ２を基準画像として選択するが、基準画像の選択方法は特に限定されるものではなく、いずれのフレーム画像を選択してもよい。

基準画像Ｐ２が選択されると（ステップＳ４）、特徴点検出部３７が選択された基準画像Ｐ２から特徴点を検出する（ステップＳ５）。そして次に対応点検出部３８が、基準画像Ｐ２を除く複数の対応フレーム画像（以下、対応画像という）Ｐ１,Ｐ３,Ｐ４の各々において対応点を検出する（ステップＳ６）。

対応点の検出は、図５に示すように、基準画像Ｐ２の特徴点が複数の対応画像Ｐ１,Ｐ３,Ｐ４の各々においてどの位置に移動したかを追従することにより検出される。この追従結果は、図５中の上から２番目の工程に示すように動きベクトルとして表現することができ、矢印の始点が特徴点、終点が対応点を示している。

このようにして対応点が検出されると（ステップＳ６）、次に動体領域特定部３９が動体領域を特定する（ステップＳ７）。ここで本実施形態における動体領域の特定は、対応点の検出結果を用いて行うものとする。上述したように流し撮りを行う場合は、ユーザによって動体である車Ｄに追従するようにデジタルカメラ１がパンされるので、画面中央付近の短い動きベクトルが動体領域である可能性が高く、また水平方向に長い動きベクトルは非動体領域である可能性が高い。従って例えば動きベクトルの水平成分が所定の閾値よりも小さい場合には動体領域の特徴点と判断することができる。

そして動体領域の特徴点を特定すると、図６に示すように、例えば特徴点の周囲の所定矩形範囲を動体領域に設定することで、動体領域のマスク画像を生成し、マスク画像の境界をより滑らかにするために、このマスク画像に対して空間方向の平滑化処理を行い、平滑化処理が行われた領域を図５の上から３番目の工程に示すように動体領域として特定する。なお本実施形態では動体領域の特定を図６に示して上記に説明したように行ったが、対応点検出結果を用いて動体領域を特定する手法は既に数多く提案されているため、上記とは異なる公知の手法を用いてもよい。

上記のようにして動体領域が特定されると（ステップＳ７）、次に位置合わせ部４０が対応点の修正を行う（ステップＳ８）。対応点の修正は、図５の上から４番目の工程に示すように、特定した動体領域の範囲内の動きベクトルはそのままの状態にし、動体領域以外の非動体領域については予め定められた格子点において成分ゼロの動きベクトルを設定する。

なお格子点間隔を小さく設定すると図７の三角形分割における各三角形が小さくなるため、動体領域と非動体領域の境界部分をまたがる三角形を小さくすることができ、ワーピングによる動体領域周辺の歪みを低減することができるが、この場合処理する三角形の数が多くなるため処理に時間を要するので、格子点の設定はユーザが画質と処理時間との関係を考慮して適宜設定変更可能とする。

そして修正された対応点情報つまり修正された動きベクトルを、図７に示すように、対応画像Ｐ１,Ｐ３,Ｐ４については、動体領域の範囲の動きベクトルの終点すなわち対応点を特徴点とし、基準画像Ｐ２については、動体領域の範囲の動きベクトルの始点を特徴点として、それぞれのフレーム画像Ｐ１〜Ｐ４について各特徴点を頂点に持つ三角形で画像全体を分割する。このとき各フレーム画像Ｐ１〜Ｐ４間で対応する特徴点は同じ三角形の同じ頂点となるようにする。なお三角形分割手法としては、Ｄｅｌａｕｎａｙ三角形分割法等の公知の技術を使用することができる。

そして次に位置合わせ部４０は、図７に示すように三角形単位でアフィン変換を行うことにより画像を変形するワーピングを行う（ステップＳ９）。ワーピングは、対応画像Ｐ１,Ｐ３,Ｐ４中の動体領域の特徴点の座標値が、基準画像Ｐ２中の動体領域の特徴点の座標値に一致するように対応画像Ｐ１,Ｐ３,Ｐ４を幾何変換するものであり、よく知られたモーフィングと同様な処理により行うことができる。そして三角形単位でのアフィン変換は、幾何学変換である下記式（１）で表される。

上記式（１）に対応する三角形の３つの頂点の座標（ｘi，ｙi）＝（ｘ'i，ｙ'i）（i＝１，２，３）を代入し、６連立方程式を解くことでａ,ｂ,ｃ,ｄ,ｓ,ｔの６つのパラメータを求めることができる。そして算出したパラメータに基づいて全ての三角形の内部の点つまり各画素をアフィン変換することにより画像を変形してワーピングを終了する。

上記のようにしてワーピングされた対応画像Ｐ１,Ｐ３,Ｐ４は、各々の対応画像Ｐ１,Ｐ３,Ｐ４中の動体領域が基準画像Ｐ２中の動体領域と略一致し、非動体領域は変化していない画像となる。すなわち図５の上から５番目の工程に示すように、非動体領域である背景、例えば木Ｔ１,Ｔ３,Ｔ４の画像中の位置は、各処理前である図５の１番目の工程に示す対応画像Ｐ１,Ｐ３,Ｐ４の木Ｔ１,Ｔ３,Ｔ４の画像中の位置と変わらない、つまり位置合わせ量が０となり、動体領域である車Ｄ１,Ｄ３,Ｄ４の画像中の位置は各処理前である図５の１番目の工程に示す対応画像Ｐ１,Ｐ３,Ｐ４の車Ｄ１,Ｄ３,Ｄ４の位置と略一致する、つまり位置合わせ量が１００％となる。

このように動体領域が非動体領域よりも位置合わせ量が多くなるように対応画像Ｐ１,Ｐ３,Ｐ４を位置合わせする。なお本実施形態では非動体領域は位置合わせ量が０すなわち位置合わせを行っていないので、三角形分割等の処理を省略してもよい。このように処理を省略することにより、処理時間を短縮することが可能になる。

そして動体領域の位置合わせが終了すると（ステップＳ８，９）、次に合成部４１が位置合わせ部４０により位置合わせされた対応画像Ｐ１,Ｐ３,Ｐ４と基準画像Ｐ２とを重ね合わせることにより合成画像Ｃを生成する（ステップＳ１０）。これにより図５の最後の工程に示すように動体である車Ｄは静止するが、非動体である木Ｔ等の背景はデジタルカメラ１の動きのみによってパン方向すなわち水平方向に流れた自然な画像を取得することができる。

一方、ステップＳ１にてＣＰＵ２２が流し撮りモードが設定されておらず、通常の撮影モードが設定されていると判別した場合（ステップＳ１；ＮＯ）には、デジタルカメラ１は１回の露光により撮影を行う通常の撮影を行い、１枚の画像データを取得する（ステップＳ１３）。

そして、圧縮／伸長処理部３２が、合成画像Ｃの画像データ又は通常の撮影により取得した画像データから画像ファイルを生成し（ステップＳ１１）、メディア制御部３３が画像ファイルを記録メディア３４に記録し（ステップＳ１２）、処理を終了する。

このように本実施形態のデジタルカメラ１によれば、流し撮りにより連続して撮像された複数の画像Ｐ１〜Ｐ４を取得し、取得した複数の画像Ｐ１〜Ｐ４から基準画像Ｐ２を選択し、選択した基準画像Ｐ２を除く複数の対応画像Ｐ１,Ｐ３,Ｐ４の各々において動体領域を特定し、特定した動体領域が、特定されなかった非動体領域よりも位置合わせ量が多くなるように、複数の対応画像Ｐ１,Ｐ３,Ｐ４の各々を基準画像Ｐ２に位置合わせし、位置合わせされた複数の対応画像Ｐ１,Ｐ３,Ｐ４と基準画像Ｐ２とを合成するので、動体領域と非動体領域とを分離して位置合わせすることにより、補間画像を作成する必要がないので、補間画像の作成に要する処理時間や補間画像を記憶するメモリを節約することができて、処理時間やメモリ容量を増大させることなく効果的な流し撮り画像を取得することができる。

なお本実施形態では非動体領域の位置合わせ量を０としたが、本発明はこれに限られるものではなく、図５の上から２番目に示される非動体領域の動きベクトルの水平方向（デジタルカメラ１のパン方向）の情報を修正してもよい。このように非動体領域の水平方向の情報を修正して、複数の対応画像Ｐ１,Ｐ３,Ｐ４における非動体領域の各々を基準画像Ｐ２の非動体領域に位置合わせする際に、非動体領域の位置合わせ量が動体領域の位置合わせ量よりも多くならないようにすることにより、合成画像Ｃ中の非動体である背景の流れを変更することができるので、合成画像Ｃにおける車Ｄのスピード感を変えることができる。

また本実施形態では、動体領域特定部３９が対応点検出結果をもといることにより動体領域の特定を行ったが、例えば図８に示すように、例えば予め設定された所定領域Ａを動体領域として特定するようにしてもよい。この場合ユーザが流し撮りを行うスルー画像にはこの所定領域Ａが表示されており、ユーザはこの表示された所定領域Ａ内に動体Ｄが納まるようにデジタルカメラ１をパンして流し撮りを行うようにする。

次に本発明の実施形態による画像処理方法について説明する。図９は本発明の一実施形態による画像処理方法を適用した画像処理のフローチャートである。なお図９は、図４のフローチャートと同様の処理は同じステップ番号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。

本実施形態の画像処理方法は、コンピュータを、上記の基準画像選択部３６、特徴点検出部３７、対応点検出部３８、動体領域特定部３９、位置合わせ部４０、合成部４１に対応する手段として機能させて行う画像処理方法であり、図９に示すように、先ずコンピュータに入力された複数の画像ファイルの画像データが流し撮りによって撮影された画像か否かを判別する（ステップＳ２０）。

複数の画像が流し撮りによって撮影された画像データである場合（ステップＳ２０；ＹＥＳ）には、入力された複数の画像データを取得し（ステップＳ２１）、流し撮りによって撮影された画像データでない場合（ステップＳ２０；ＮＯ）には、流し撮りによって撮影された画像データの画像ファイルが入力されるまでステップＳ２０の処理を繰り返し行う。ここで流し撮りによって撮影された画像データであるか否かの判断は、例えば画像ファイルに付加されたタグの情報により、画像データが通常撮影モードによって撮影されたか、流し撮りモードによって撮影されたかを判断する。

このようにしてデジタルカメラ等によって流し撮りにより連続して撮像された複数の画像を取得して、上述した実施形態のデジタルカメラ１と同様の画像処理を行うことによりデジタルカメラ１と同様の効果を得ることができる。

以上、本発明の実施形態に係るデジタルカメラ１及び画像処理方法について説明したが、コンピュータを、上記の基準画像選択部３６、特徴点検出部３７、対応点検出部３８、動体領域特定部３９、位置合わせ部４０、合成部４１に対応する手段として機能させ、図９に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も本発明の実施形態の１つである。

また本発明の撮像装置及び画像処理方法並びにプログラムは、上述した実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。

１ デジタルカメラ
５ モニタ
９ 撮像系（撮像手段）
２２ ＣＰＵ（撮像制御手段）
３６ 基準画像選択部（基準画像選択手段）
３７ 特徴点検出部（特徴点検出手段）
３８ 対応点検出部（対応点検出手段）
３９ 動体領域特定部（動体領域特定手段）
４０ 位置合わせ部（位置合わせ手段）
４１ 合成部（合成手段）

Claims (13)

1. 被写体を撮像して画像を取得する撮像手段と、
   該撮像手段に複数の画像を連続して取得させる撮像制御手段と、
   前記複数の画像から１つの基準画像を選択する基準画像選択手段と、
   該基準画像選択手段により選択された基準画像を除く複数の対応画像の各々において動体領域を特定する動体領域特定手段と、
   前記複数の画像が、各画像中において背景が流れた状態になる流し撮りによって撮影されているときに、前記複数の対応画像の各々を前記基準画像に位置合わせするものであり、前記動体領域特定手段により特定された動体領域が特定されなかった非動体領域よりも位置合わせ量が多くなるように前記位置合わせする位置合わせ手段と、
   該位置合わせ手段により位置合わせされた複数の対応画像と前記基準画像とを合成する合成手段とを備えていることを特徴とする撮像装置。
2. 前記動体領域は、前記画像中で予め定められた所定領域であることを特徴とする請求項１に記載の撮像装置。
3. 前記基準画像から特徴点を検出する特徴点検出手段と、
   前記複数の対応画像の各々において、前記特徴点検出手段により検出された特徴点に対応する対応点を検出する対応点検出手段を備え、
   前記動体領域特定手段が、前記特徴点検出手段により検出された特徴点と前記対応点検出手段により検出された対応点から前記動体領域を特定するものであることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記特徴点を始点、前記対応点を終点とする動きベクトルを生成し、
   前記動体領域特定手段が、予め設定した所定の閾値よりも前記動きベクトルの成分が小さい領域を前記動体領域として特定するものであることを特徴とする請求項３に記載の撮像装置。
5. 前記位置合わせ手段による前記非動体領域の位置合わせ量が０であることを特徴とする請求項１〜４いずれか１項に記載の撮像装置。
6. 流し撮りにより連続して撮像された、それぞれ背景が流れた状態の複数の画像を取得し、
   該取得した複数の画像から基準画像を選択し、
   該選択した基準画像を除く複数の対応画像の各々において動体領域を特定し、
   該特定した動体領域が、特定されなかった非動体領域よりも位置合わせ量が多くなるように、前記複数の対応画像の各々を前記基準画像に位置合わせし、
   該位置合わせされた複数の対応画像と前記基準画像とを合成することを特徴とする画像処理方法。
7. 前記基準画像から特徴点を検出し、
   前記複数の対応画像の各々から前記特徴点に対応する対応点を検出し、
   該検出した特徴点と対応点から前記動体領域を特定することを特徴とする請求項６に記載の画像処理方法。
8. 前記特徴点を始点、前記対応点を終点とする動きベクトルを生成し、
   予め設定した所定の閾値よりも前記動きベクトルの成分が小さい領域を前記動体領域として特定することを特徴とする請求項７に記載の画像処理方法。
9. 前記非動体領域の位置合わせ量を０にして前記位置合わせを行うことを特徴とする請求項６〜８いずれか１項に記載の画像処理方法。
10. コンピュータに、流し撮りにより連続して撮像された、それぞれ背景が流れた状態の複数の画像を取得し、
    該取得した複数の画像から基準画像を選択し、
    該選択した基準画像を除く複数の対応画像の各々において動体領域を特定し、
    該特定した動体領域が、特定されなかった非動体領域よりも位置合わせ量が多くなるように、前記複数の対応画像の各々を前記基準画像に位置合わせし、
    該位置合わせされた複数の対応画像と前記基準画像とを合成することを実行させることを特徴とするプログラム。
11. コンピュータに、前記基準画像から特徴点を検出し、
    前記複数の対応画像の各々から前記特徴点に対応する対応点を検出し、
    該検出した特徴点と対応点から前記動体領域を特定することを実行させることを特徴とする請求項１０に記載のプログラム。
12. コンピュータに、前記特徴点を始点、前記対応点を終点とする動きベクトルを生成し、
    予め設定した所定の閾値よりも前記動きベクトルの成分が小さい領域を前記動体領域として特定することを実行させることを特徴とする請求項１１に記載のプログラム。
13. コンピュータに、前記非動体領域の位置合わせ量を０にして前記位置合わせを行うことを実行させることを特徴とする請求項１０〜１２いずれか１項に記載のプログラム。

Images