JP2011193443A - 物体追尾装置 - Google Patents

Abstract

【課題】撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を従来のものより高速に追尾することができる物体追尾装置を提供すること。
【解決手段】撮影パラメータを取得する撮影パラメータ取得部３１と、撮影パラメータに基づいて、特定の物体が映された領域を追尾するための追尾領域のサイズを調整する追尾領域調整部３４と、サイズが調整された追尾領域を撮影画像上で移動させながら、この追尾領域における画像の特徴量と、時系列において直前の撮影画像のなかから特定された特定領域における画像の特徴量との類似度に基づいて、撮影画像のなかから特定の物体が映された追尾領域を探索する追尾領域探索部３５とを備える。
【選択図】図２

Description

本発明は、物体追尾装置に関し、特に、撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を追尾する物体追尾装置に関する。

従来、撮影装置から時系列に入力される撮影画像（以下、各撮影画像を「画像フレーム」と記載する。）のなかから特定の物体が映された領域を追尾する場合には、図６に示すように、画像フレームＦ０のなかから追尾対象の領域５０が決められた後、これに続く画像フレームＦ１以降の画像フレームに対して、追尾処理が行われる。

例えば、追尾処理は、図７（ａ）に示す画像フレームＦ０の追尾対象領域５０に対して、図７（ｂ）に示す画像フレームＦ１の追尾結果領域５１を得る。次に、追尾処理は、画像フレームＦ１の追尾結果領域５１を新たな追尾対象領域５１として、次の画像フレームＦ２に対して、実行される。

このとき、追尾対象として特定された物体の移動および姿勢の変化ならびに変形などの影響によって、追尾結果に誤差が含まれてしまうため、追尾対象領域を更新していくにつれて追尾誤差が累積し、図７（ｃ）に示すように、追尾結果領域５２は、最初の画像フレームＦ０で設定した本来の追尾対象領域５３から大きくずれてしまい、追尾が失敗してしまうことになる。また、この追尾誤差によって、追尾領域のサイズが大きくなってしまった場合には、追尾処理が要する計算量は多くなり、処理速度は著しく遅くなってしまう。

このような、物体追尾装置としては、入力された画像フレームに映された物体を追尾し、追尾した結果の動きベクトルを用いて、カメラを駆動制御するトルク量を調整するものがある（例えば、特許文献１参照）。

しかし、特許文献１に開示された従来の技術は、追尾誤差が追尾結果に与える影響を解消することができないといった課題があった。これに対し、物体を追尾した結果に対して、追尾点をユーザに入力させることで、追尾を中断することなく、追尾結果を補正するものも知られている（例えば、特許文献２参照）。

しかしながら、特許文献２に開示された従来の技術は、画像フレームの全領域に渡って追尾結果領域を拡縮させながら追尾領域を探索するため、追尾処理に要する計算量が膨大になり、処理速度が著しく遅くなってしまうといった課題があった。

本発明は、このような従来の課題を解決するためになされたもので、撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を従来のものより高速に追尾することができる物体追尾装置を提供することを目的とする。

本発明の物体追尾装置は、撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を追尾する物体追尾装置において、前記撮影装置から撮影パラメータを取得する撮影パラメータ取得部と、前記撮影パラメータに基づいて、前記特定の物体が映された領域を追尾するための追尾領域のサイズを調整する追尾領域調整部と、前記追尾領域調整部によってサイズが調整された追尾領域を前記撮影画像上で移動させながら、該追尾領域における画像の特徴量と、前記時系列において直前の撮影画像のなかから特定された特定領域における画像の特徴量との類似度に基づいて、前記撮影画像のなかから前記特定の物体が映された追尾領域を探索する追尾領域探索部と、を備えた構成を有している。

この構成により、本発明の物体追尾装置は、撮影パラメータに基づいて、特定の物体が映された領域を追尾するための追尾領域のサイズを調整することにより、画像フレームの全領域に渡って追尾結果領域を拡縮させながら追尾領域を探索する必要がなくなるため、撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を従来のものより高速に追尾することができる。

なお、前記追尾領域調整部は、前記撮影パラメータとして、前記撮影装置の焦点距離および結像距離を用いるようにしてもよい。

この構成により、本発明の物体追尾装置は、撮影装置の焦点距離および結像距離に基づいて、直前に撮影された撮影画像に対する現撮影画像の変倍率を算出することができるため、追尾領域のサイズを調整することができる。

また、前記追尾領域探索部は、画像の輝度および色成分の少なくとも一方の度数分布に基づいて、前記画像の特徴量を算出するようにしてもよい。

この構成により、本発明の物体追尾装置は、追尾領域における画像の特徴量と、直前の撮影画像のなかから特定された特定領域における画像の特徴量との類似度を算出することができる。

また、本発明の物体追尾装置は、前記追尾領域探索部による探索が行われる前に、前記撮影画像のうち少なくとも前記追尾領域に対して、ノイズ除去処理および輝度補正処理の少なくとも一方を前記撮影パラメータに基づいて行う前処理部をさらに備えるようにしてもよい。

この構成により、本発明の物体追尾装置は、ノイズ成分の混入率の差や輝度差の影響により追尾結果に誤差が含まれることを防止し、追尾誤差が累積することを防止することができる。

また、前記前処理部は、前記撮影パラメータとして、前記撮影装置の感度、焦点距離および開口径を用いるようにしてもよい。

この構成により、本発明の物体追尾装置は、ノイズ成分の混入率や輝度に応じた前処理を行うことができる。

また、本発明の物体追尾方法は、撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を追尾する物体追尾装置を用いた物体追尾方法において、前記撮影装置から撮影パラメータを取得する撮影パラメータ取得ステップと、前記撮影パラメータに基づいて、前記特定の物体が映された領域を追尾するための追尾領域のサイズを調整する追尾領域調整ステップと、前記追尾領域調整ステップでサイズが調整された追尾領域を前記撮影画像上で移動させながら、該追尾領域における画像の特徴量と、前記時系列において直前の撮影画像のなかから特定された特定領域における画像の特徴量との類似度に基づいて、前記撮影画像のなかから前記特定の物体が映された追尾領域を探索する追尾領域探索ステップと、を有する。

したがって、本発明の物体追尾方法は、撮影パラメータに基づいて、特定の物体が映された領域を追尾するための追尾領域のサイズを調整することにより、画像フレームの全領域に渡って追尾結果領域を拡縮させながら追尾領域を探索する必要がなくなるため、撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を従来のものより高速に追尾することができる。

また、前記追尾領域調整ステップでは、前記撮影パラメータとして、前記撮影装置の焦点距離および結像距離を用いてもよい。

したがって、本発明の物体追尾方法は、撮影装置の焦点距離および結像距離に基づいて、直前に撮影された撮影画像に対する現撮影画像の変倍率を算出することができるため、追尾領域のサイズを調整することができる。

また、前記追尾領域探索ステップでは、画像の輝度および色成分の少なくとも一方の度数分布に基づいて、前記画像の特徴量を算出してもよい。

したがって、本発明の物体追尾方法は、追尾領域における画像の特徴量と、直前の撮影画像のなかから特定された特定領域における画像の特徴量との類似度を算出することができる。

また、本発明の物体追尾方法は、前記追尾領域探索ステップが実行される前に、前記撮影画像のうち少なくとも前記追尾領域に対して、ノイズ除去処理および輝度補正処理の少なくとも一方を前記撮影パラメータに基づいて行う前処理ステップをさらに有してもよい。

したがって、本発明の物体追尾方法は、ノイズ成分の混入率の差や輝度差の影響により追尾結果に誤差が含まれることを防止し、追尾誤差が累積することを防止することができる。

また、前記前処理ステップでは、前記撮影パラメータとして、前記撮影装置の感度、焦点距離および開口径を用いてもよい。

したがって、本発明の物体追尾方法は、ノイズ成分の混入率や輝度に応じた前処理を行うことができる。

また、本発明の物体追尾プログラムは、撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を追尾する物体追尾装置のコンピュータに実行させる物体追尾プログラムにおいて、前記撮影装置から撮影パラメータを取得する撮影パラメータ取得ステップと、前記撮影パラメータに基づいて、前記特定の物体が映された領域を追尾するための追尾領域のサイズを調整する追尾領域調整ステップと、前記追尾領域調整ステップでサイズが調整された追尾領域を前記撮影画像上で移動させながら、該追尾領域における画像の特徴量と、前記時系列において直前の撮影画像のなかから特定された特定領域における画像の特徴量との類似度に基づいて、前記撮影画像のなかから前記特定の物体が映された追尾領域を探索する追尾領域探索ステップと、を有する。

したがって、本発明の物体追尾プログラムは、コンピュータに、撮影パラメータに基づいて、特定の物体が映された領域を追尾するための追尾領域のサイズを調整させることにより、画像フレームの全領域に渡って追尾結果領域を拡縮させながら追尾領域を探索させる必要をなくしたため、撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を従来のものより高速に追尾することができる。

本発明は、撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を従来のものより高速に追尾することができる物体追尾装置を提供することができる。

本発明の一実施の形態としての物体追尾装置のハードウェア構成図である。 本発明の一実施の形態としての物体追尾装置の機能ブロック図である。 本発明の一実施の形態としての物体追尾装置を構成する前処理部が参照するマップの例を示す概念図である。 本発明の一実施の形態としての物体追尾装置を構成する追尾領域探索部による探索例を示す概念図である。 本発明の一実施の形態としての物体追尾装置の物体追尾動作を説明するためのフローチャートである。 時系列に入力される画像フレームの例を示す概念図である。 従来の追尾処理による追尾結果を示す概念図であり、（ａ）は、画像フレームＦ０の追尾結果を示し、（ｂ）は、画像フレームＦ１の追尾結果を示し、（ｃ）は、画像フレームＦＮの追尾結果を示している。

以下、本発明の実施の形態について、図面を参照して説明する。

図１に示すように、本発明の一実施の形態としての物体追尾装置１は、撮影光学系１１と、メカシャッタ１２と、ＣＣＤ（Charge Coupled Device）１３と、相関２重サンプリング（Correlated Double Sampling、以下、「ＣＤＳ」と記載する。）回路１４と、アナログデジタル変換機（以下、「Ａ／Ｄ変換器」と記載する。）１５と、モータドライバ１６と、タイミング信号発生器１７と、画像処理プロセッサ１８と、ＣＰＵ（Central Processing Unit）１９と、ＲＡＭ（Random Access Memory）２０と、ＲＯＭ（Read Only Memory）２１と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２と、圧縮伸長回路２３と、メモリカード２４と、操作部２５と、液晶ディスプレイ装置（Liquid Crystal Display、以下、「ＬＣＤ」と記載する）２６とを備えている。

メカシャッタ１２は、撮影光学系１１を通してＣＣＤ１３に入射される入射光を遮断することができるようになっている。ＣＣＤ１３は、撮像面を有し、この撮像面に結像された光学像をアナログの画像信号に変換するようになっている。

ＣＤＳ回路１４は、ＣＣＤ１３によって変換されたアナログの画像信号からノイズ成分を除去するようになっている。Ａ／Ｄ変換器１５は、ＣＤＳ回路１４によってノイズ成分が除去されたアナログの画像信号をディジタルの画像信号、すなわち、画像データに変換するようになっている。

モータドライバ１６は、ＣＰＵ１９の指示に基づいて、撮影光学系１１およびメカシャッタ１２を駆動し、撮影光学系１１の位置を変動させたり、メカシャッタ１２を開閉させたりするようになっている。

タイミング信号発生器１７は、ＣＰＵ１９の指示に基づいて、ＣＣＤ１３、ＣＤＳ回路１４およびＡ／Ｄ変換器１５を動作させるためのタイミング信号を発生するようになっている。

画像処理プロセッサ１８は、ＳＤＲＡＭ２２に、画像データを一時的に格納し、ＹＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理および色変換処理などの各種画像処理を画像データに施し、各種画像処理を施した画像データが表す画像をＬＣＤ２６に表示させるようになっている。

ここで、ホワイトバランス処理は、画像データが表す画像の色の濃さを調整する画像処理であり、コントラスト補正処理は、画像データが表す画像のコントラストを調整する画像処理である。また、エッジ強調処理は、画像データが表す画像の鮮鋭度を調整する画像処理であり、色変換処理は、画像データが表す画像の色合いを調整する画像処理である。

ＲＯＭ２１には、当該装置を物体追尾装置１として機能させるためのプログラムが記憶されている。ＣＰＵ１９は、ＲＯＭ２１に記憶されたプログラムをＲＡＭ２０を作業領域として実行することにより、後述するように当該装置を物体追尾装置１として機能させる。

圧縮伸長回路２３は、操作部２５を介して入力された指示に応じて、画像処理プロセッサ１８によって各種画像処理が施された画像データを圧縮して、メモリカード２４に記録するようになっている。また、圧縮伸長回路２３は、メモリカード２４から読み出した画像データを伸張して画像処理プロセッサ１８に出力するようになっている。

操作部２５は、スイッチ、レバーおよびタッチパネル等によって構成されている。ここで、タッチパネルは、ＬＣＤ２６上に設けられる。

図２は、物体追尾装置１の機能ブロックを示している。物体追尾装置１は、撮影装置３０を備え、撮影装置３０から時系列に入力される画像フレームのなかから特定の物体が映された領域を追尾するようになっている。

具体的には、物体追尾装置１は、撮影装置３０の撮影パラメータを取得する撮影パラメータ取得部３１と、画像フレームに前処理を施す前処理部３２と、画像フレームのなかから特定の物体が映された領域を特定するための追尾領域特定部３３と、追尾領域特定部３３によって特定された特定領域に映された物体を追尾するための追尾領域のサイズを調整する追尾領域調整部３４と、画像フレームのなかから特定の物体が映された追尾領域を探索する追尾領域探索部３５と、追尾領域探索部３５の探索結果に基づいて撮影装置３０を制御する撮像制御部３６と、画像フレームに画像処理を施す画像処理部３７と、画像処理が施された画像フレームを出力する画像出力部３８とをさらに備えている。

ここで、撮影装置３０は、撮影光学系１１、メカシャッタ１２、ＣＣＤ１３、ＣＤＳ回路１４、Ａ／Ｄ変換器１５、モータドライバ１６およびタイミング信号発生器１７によって構成される。

本実施の形態において、撮影装置３０は、最初に画像フレームＦ０を取得し、次いで、△ｔの時間をあけて、画像フレームＦ１を取得し、最終的には、Ｎ枚の時系列の画像フレームを取得するものとする。

撮影パラメータ取得部３１は、ＣＰＵ１９によって構成され、ＲＡＭ２０に記憶された撮影パラメータを取得するようになっている。ここで、撮影パラメータには、焦点距離、開口径、Ｆ値、ＩＳＯ感度および結像距離が含まれる。

前処理部３２は、ＣＰＵ１９および画像処理プロセッサ１８によって構成され、撮影パラメータ取得部３１によって取得された撮影パラメータに基づいて、画像フレームに前処理を施すようになっている。本実施の形態において、前処理部３２は、ノイズ除去処理を実行するものとする。

例えば、図３に示すように、撮影装置３０の焦点距離と開口径との関係を表すＦ値と、ＩＳＯ感度との組み合わせにノイズ除去関数が対応付けられたマップがＲＯＭ２１に予め記憶されている。

これらのノイズ除去関数は、Ｆ値とＩＳＯ感度とが相互にそれぞれ異なる状態で同一の物体が撮影された撮影画像に対して、ノイズ成分の混入率の差が略同じになるように定められている。すなわち、Ｆ値が低くなり、ＩＳＯ感度が高くなるにつれて、ノイズ除去強度が高くなるノイズ除去関数が対応付けられている。

図２において、前処理部３２は、撮影パラメータ取得部３１によって取得された撮影パラメータのなかで、画像フレームＦ０が撮影されたときのＦ値とＩＳＯ感度とに対応するノイズ除去関数を用いて、画像フレームＦ０にノイズ除去処理を施すと共に、画像フレームＦ１が撮影されたときのＦ値とＩＳＯ感度とに対応するノイズ除去関数を用いて、画像フレームＦ１にノイズ除去処理を施すようになっている。

同様に、前処理部３２は、画像フレームＦ１に続くフレームに対してもノイズ除去処理を施すことにより、ノイズ成分の混入率の差の影響により追尾結果に誤差が含まれることを防止し、追尾誤差が累積することを防止している。

なお、ノイズ除去処理と同様に、撮影装置３０のＦ値と、ＩＳＯ感度との組み合わせに輝度補正関数がそれぞれ対応付けられたマップをＲＯＭ２１に予め記憶しておき、前処理部３２は、このマップに基づいて、各画像フレームに対して、輝度補正処理を施すようにしてもよい。

この場合には、前処理部３２は、各画像フレームに対して、輝度補正処理を施すことにより、輝度差の影響により追尾結果に誤差が含まれることを防止し、追尾誤差が累積することを防止することができる。

また、撮影装置３０のＦ値と、ＩＳＯ感度との組み合わせにノイズ除去関数と輝度補正関数とがそれぞれ対応付けられたマップをＲＯＭ２１に予め記憶しておき、前処理部３２は、このマップに基づいて、各画像フレームに対して、ノイズ除去処理と輝度補正処理とを施すようにしてもよい。なお、当該マップにおいて、ノイズ除去関数と輝度補正関数とは、１つの関数としてまとめられていてもよい。

追尾領域特定部３３は、ＣＰＵ１９および操作部２５によって構成され、画像フレームのなかから特定の物体が映された特定領域を指定できるようになっている。例えば、追尾領域特定部３３は、画像出力部３８によって出力された画像上で操作部２５を介して矩形で特定された領域を特定領域として特定するようになっている。

なお、追尾領域特定部３３は、画像出力部３８によって出力された画像上の１点を操作部２５を用いて指定させ、指定された１点を含み、他の領域よりコントラストが高い領域を特定領域として抽出してもよい。本実施の形態においては、追尾領域特定部３３によって特定領域が指定された画像フレームが画像フレームＦ０として説明されている。

追尾領域調整部３４は、ＣＰＵ１９によって構成され、撮影パラメータ取得部３１によって取得された撮影パラメータのなかで、焦点距離および結像距離に基づいて、追尾領域特定部３３によって特定された特定領域に映された物体を追尾するための追尾領域のサイズを調整するようになっている。

具体的には、追尾領域調整部３４は、前画像フレームＦ（ｉ−１）が撮影されたときの焦点距離および結像距離と、現画像フレームＦｉが撮影されたときの焦点距離および結像距離とに基づいて、この画像フレーム間の変倍率を算出し、算出した変倍率に基づいて追尾領域のサイズを調整するようになっている。

追尾領域探索部３５は、ＣＰＵ１９によって構成され、図４に示すように、現画像フレームＦｉのなかで、追尾領域調整部３４によってサイズが調整された追尾領域４０を移動させながら、追尾領域特定部３３によって特定された特定領域に映された物体を追尾するようになっている。

具体的には、追尾領域探索部３５は、前画像フレームＦ（ｉ−１）から特定した領域における画像の特徴量と、現画像フレームＦｉの追尾領域における画像の特徴量との類似度が最も高くなる追尾領域を現画像フレームＦｉのなかから探索するようになっている。

本実施の形態において、追尾領域探索部３５は、画像の輝度の度数分布に基づいて、画像の特徴量を算出するようになっている。具体的には、追尾領域探索部３５は、前画像フレームＦ（ｉ−１）から特定した領域における画像の輝度の度数分布ｑ＝［ｑ１，ｑ２，・・・，ｑｎ］と、現画像フレームＦｉの追尾領域における画像の輝度の度数分布ｐ＝［ｐ１，ｐ２，・・・，ｐｎ］とを算出するようになっている。

なお、追尾領域探索部３５は、前画像フレームＦ（ｉ−１）から特定した領域の面積と、現画像フレームＦｉの追尾領域の面積とに基づいて、度数分布ｑ、ｐの少なくとも一方を正規化するようになっている。

そして、追尾領域探索部３５は、以下の式にしたがって類似度Ｓｉｍを算出するようになっている。

追尾領域探索部３５は、算出した類似度Ｓｉｍが最も大きくなる追尾領域を特定するようになっている。

なお、追尾領域探索部３５は、画像の輝度の度数分布に基づいて、画像の特徴量を算出するのに代えて、画像の輝度の色成分（ＹＵＶまたはＲＧＢ）の度数分布に基づいて、画像の特徴量を算出するようにしてもよく、画像の輝度の度数分布と色成分の度数分布との組み合わせに基づいて、画像の特徴量を算出するようにしてもよい。

撮像制御部３６は、ＣＰＵ１９によって構成され、例えば、追尾領域探索部３５によって特定された特定領域に焦点を合わせるように、撮影装置３０の焦点距離を調整するようになっている。画像処理部３７は、画像処理プロセッサ１８によって構成され、上述した各種画像処理を各画像フレームに施し、画像出力部３８に出力させるようになっている。

画像出力部３８は、ＬＣＤ２６、圧縮伸長回路２３およびメモリカード２４によって構成され、画像処理部３７によって各種画像処理が施された画像フレームを圧縮し、メモリカード２４に格納すると共に、当該画像をＬＣＤ２６に表示させるようになっている。

このように構成された物体追尾装置１について、図５を用いてその物体追尾動作を説明する。なお、以下に説明する物体追尾動作は、特定の物体が映された特定領域が追尾領域特定部３３によって特定されたときにスタートする。

まず、撮影装置３０によって最初の画像フレームＦ０が撮影されたときの撮影パラメータに基づいて、画像フレームＦ０に対するノイズ除去処理が前処理部３２によって実行される（ステップＳ１）。

次に、追尾領域探索部３５によって、画像フレームＦ０の特定領域における画像の特徴量が追尾領域探索部３５によって算出される（ステップＳ２）。ここで、次の画像フレームＦｉが撮影装置３０から得られると（ステップＳ３）、この画像フレームＦｉが撮影されたときの撮影パラメータに基づいて、画像フレームＦｉに対するノイズ除去処理が前処理部３２によって実行される（ステップＳ４）。

次に、前画像フレームＦ（ｉ−１）が撮影されたときの撮影パラメータと、当該画像フレームＦｉが撮影されたときの撮影パラメータとに基づいて、前画像フレームＦ（ｉ−１）の特定領域に映された物体を追尾するための追尾領域のサイズが追尾領域調整部３４によって調整される（ステップＳ５）。

次に、追尾領域調整部３４によって調整された追尾領域が移動されながら、当該画像フレームＦｉの追尾領域における特徴量が追尾領域探索部３５によって算出され（ステップＳ６）、算出された当該画像フレームＦｉの追尾領域における画像の特徴量と、前画像フレームＦ（ｉ−１）の特定領域における画像の特徴量に基づいて、これら領域における画像の類似度が追尾領域探索部３５によって算出される（ステップＳ７）。

このような画像フレームＦｉの全域に渡る探索が終了すると、最も類似度が高かった追尾領域が追尾領域探索部３５によって特定領域として特定され（ステップＳ８）、この特定領域に焦点を合わせるように、撮影装置３０の焦点距離が撮像制御部３６によって調整される（ステップＳ９）。

ここで、操作部２５などを介して、物体追尾動作の終了が指示されている場合には、物体追尾動作は、処理を終了し、物体追尾動作の終了が指示されていない場合には、物体追尾動作は、ステップＳ３に戻る（ステップＳ１０）。

なお、上述した物体追尾動作において、ステップＳ９を実行した後に、追尾領域探索部３５は、特定領域を拡縮させながら、この特定領域における画像の特徴量と、前画像フレームの特定領域における画像の特徴量とに基づいて、類似度を算出し、この類似度に基づいて当該画像フレームＦｉの特定領域のサイズを調整するようにしてもよい。

また、上述した物体追尾動作において、ステップＳ９を実行した後に、追尾領域探索部３５は、ＬＣＤ２６に表示される画像上に特定領域を表す矩形画像を表示させるよう画像処理部３７を制御するようにしてもよい。

以上に説明したように、本発明の一実施の形態としての物体追尾装置１は、撮影パラメータに基づいて、特定の物体が映された領域を追尾するための追尾領域のサイズを調整することにより、画像フレームの全領域に渡って追尾結果領域を拡縮させながら追尾領域を探索する必要がなくなるため、撮影装置３０から時系列に入力される撮影画像のなかから特定の物体が映された領域を従来のものより高速に追尾することができる。

１ 物体追尾装置
１１ 撮影光学系
１２ メカシャッタ
１３ ＣＣＤ
１４ ＣＤＳ回路
１５ Ａ／Ｄ変換器
１６ モータドライバ
１７ タイミング信号発生器
１８ 画像処理プロセッサ
１９ ＣＰＵ
２０ ＲＡＭ
２１ ＲＯＭ
２２ ＳＤＲＡＭ
２３ 圧縮伸長回路
２４ メモリカード
２５ 操作部
２６ ＬＣＤ
３０ 撮影装置
３１ 撮影パラメータ取得部
３２ 前処理部
３３ 追尾領域特定部
３４ 追尾領域調整部
３５ 追尾領域探索部
３６ 撮像制御部
３７ 画像処理部
３８ 画像出力部

特開２００８−１５３８７９号公報 特開２００９−０１０４５３号公報

Claims (12)

1. 撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を追尾する物体追尾装置において、
   前記撮影装置から撮影パラメータを取得する撮影パラメータ取得部と、
   前記撮影パラメータに基づいて、前記特定の物体が映された領域を追尾するための追尾領域のサイズを調整する追尾領域調整部と、
   前記追尾領域調整部によってサイズが調整された追尾領域を前記撮影画像上で移動させながら、該追尾領域における画像の特徴量と、前記時系列において直前の撮影画像のなかから特定された特定領域における画像の特徴量との類似度に基づいて、前記撮影画像のなかから前記特定の物体が映された追尾領域を探索する追尾領域探索部と、を備えたことを特徴とする物体追尾装置。
2. 前記追尾領域調整部は、前記撮影パラメータとして、前記撮影装置の焦点距離および結像距離を用いることを特徴とする請求項１に記載の物体追尾装置。
3. 前記追尾領域探索部は、画像の輝度および色成分の少なくとも一方の度数分布に基づいて、前記画像の特徴量を算出することを特徴とする請求項１または請求項２に記載の物体追尾装置。
4. 前記追尾領域探索部による探索が行われる前に、前記撮影画像のうち少なくとも前記追尾領域に対して、ノイズ除去処理および輝度補正処理の少なくとも一方を前記撮影パラメータに基づいて行う前処理部をさらに備えたことを特徴とする請求項１乃至請求項３の何れかに記載の物体追尾装置。
5. 前記前処理部は、前記撮影パラメータとして、前記撮影装置の感度、焦点距離および開口径を用いることを特徴とする請求項４に記載の物体追尾装置。
6. 撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を追尾する物体追尾装置を用いた物体追尾方法において、
   前記撮影装置から撮影パラメータを取得する撮影パラメータ取得ステップと、
   前記撮影パラメータに基づいて、前記特定の物体が映された領域を追尾するための追尾領域のサイズを調整する追尾領域調整ステップと、
   前記追尾領域調整ステップでサイズが調整された追尾領域を前記撮影画像上で移動させながら、該追尾領域における画像の特徴量と、前記時系列において直前の撮影画像のなかから特定された特定領域における画像の特徴量との類似度に基づいて、前記撮影画像のなかから前記特定の物体が映された追尾領域を探索する追尾領域探索ステップと、を有することを特徴とする物体追尾方法。
7. 前記追尾領域調整ステップでは、前記撮影パラメータとして、前記撮影装置の焦点距離および結像距離を用いることを特徴とする請求項６に記載の物体追尾方法。
8. 前記追尾領域探索ステップでは、画像の輝度および色成分の少なくとも一方の度数分布に基づいて、前記画像の特徴量を算出することを特徴とする請求項６または請求項７に記載の物体追尾方法。
9. 前記追尾領域探索ステップが実行される前に、前記撮影画像のうち少なくとも前記追尾領域に対して、ノイズ除去処理および輝度補正処理の少なくとも一方を前記撮影パラメータに基づいて行う前処理ステップをさらに有することを特徴とする請求項６乃至請求項８の何れかに記載の物体追尾方法。
10. 前記前処理ステップでは、前記撮影パラメータとして、前記撮影装置の感度、焦点距離および開口径を用いることを特徴とする請求項９に記載の物体追尾装置。
11. 撮影装置から時系列に入力される撮影画像のなかから特定の物体が映された領域を追尾する物体追尾装置のコンピュータに実行させる物体追尾プログラムにおいて、
    前記撮影装置から撮影パラメータを取得する撮影パラメータ取得ステップと、
    前記撮影パラメータに基づいて、前記特定の物体が映された領域を追尾するための追尾領域のサイズを調整する追尾領域調整ステップと、
    前記追尾領域調整ステップでサイズが調整された追尾領域を前記撮影画像上で移動させながら、該追尾領域における画像の特徴量と、前記時系列において直前の撮影画像のなかから特定された特定領域における画像の特徴量との類似度に基づいて、前記撮影画像のなかから前記特定の物体が映された追尾領域を探索する追尾領域探索ステップと、を有することを特徴とする物体追尾プログラム。
12. 請求項１１に記載の物体追尾プログラムがコンピュータに読み取り可能に記録された記録媒体。

Images