JP2017027363A - 映像処理装置、映像処理方法、及びプログラム - Google Patents

Abstract

【課題】映像フレームの特徴点の追跡精度を向上させる。【解決手段】第１フレームから特徴点を抽出する抽出部と、第２フレームに対して、特徴点を含むブロックとのブロックマッチングを行い、特徴点に対応する追跡点を特定する追跡部と、特徴点に最も類似する第１画素の位置、第１の画素と特徴点との類似度、特徴点に２番目に類似する第２画素の位置、及び第２画素と特徴点との類似度を検出する検出部と、追跡点位置と第１画素の位置とが一致し、かつ第１画素の類似度と第２画素の類似度との差が第１閾値以上の場合、第１条件を満たすと判定する第１判定部と、追跡点と特徴点との類似度と、追跡点の複数の周辺の画素の各々と特徴点との類似度とを算出し、追跡点の類似度と、複数の周辺の画素の各々の類似度との差が、第２閾値以上の場合、第２条件を満たすと判定する第２判定部とを有し、第１条件と第２条件を満たす場合、特徴点が追跡点に対応すると判断する。【選択図】図３

Description

本発明は、映像処理装置、映像処理方法、及びプログラムに関する。

自動車の自立運転等に用いる技術の一つに、自己位置の推定を行う技術（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）があり、ＳＬＡＭを用いて正確に自己位置の推定を行う方法が広く検討されている。ＳＬＡＭでは、カメラ等で撮影された映像データから特徴点を抽出し、かかる特徴点を追跡することにより、自己位置の推定を行う。

特徴点の追跡の手法として、映像のフレーム間の所定の領域の類似度を比較して、特徴点の追跡を行うブロックマッチングが広く知られている。

ブロックマッチングでは、類似度の比較のときの計算誤差により、特徴点の追跡を誤る場合があった。このため、輝度等の画素の属性を用いて、特徴点の追跡の精度を向上させる様々な方法が提案されている（例えば、特許文献１）。

しかし、提案されている方法を用いても、追跡された特徴点の周辺に類似する画素が分布している場合には、特徴点を正確に追跡できないという課題があった。

本発明は、上記の課題を鑑みてされたものであって、映像のフレームの特徴点の追跡の精度を向上させることを目的とする。

本実施形態に係る映像処理装置は、第１の映像のフレームから特徴点を抽出する抽出部と、前記第１の映像のフレームより時間的に後の映像のフレームである第２の映像のフレームの所定の領域に対して、前記第１の映像のフレームの一部であって、前記特徴点を含むブロックとのブロックマッチング処理を行うことにより、前記特徴点に対応する追跡点を特定する追跡部と、前記所定の領域において、前記特徴点に最も類似する第１の画素の位置、該第１の画素と前記特徴点との類似度、前記特徴点に２番目に類似する第２の画素の位置、及び該第２の画素と前記特徴点との類似度を検出する検出部と、前記追跡点の位置と前記第１の画素の位置とが一致し、かつ前記第１の画素の類似度と前記第２の画素の類似度との差が第１の閾値以上である場合、第１の条件を満たすと判定する第１の判定部と、前記追跡点と前記特徴点との類似度と、前記追跡点の複数の周辺の画素の各々と前記特徴点との類似度とを算出し、算出された前記追跡点の類似度と、前記複数の周辺の画素の各々の類似度との差が、第２の閾値以上である場合、第２の条件を満たすと判定する第２の判定部と、を有し、前記第１の条件、及び前記第２の条件を満たす場合、前記追跡部は、前記特徴点が前記追跡点に対応すると判断する。

本実施形態によれば、映像のフレームの特徴点の追跡の精度が向上された映像処理装置、映像処理方法、及びプログラムを提供することが可能となる。

一実施形態に係る映像処理装置の機能ブロック図である。 一実施形態に係る映像処理装置の追跡部の機能ブロック図である。 一実施形態に係る動作手順を示すフローチャートである。 一実施形態に係るブロックマッチングの処理を示す図（その１）である。 一実施形態に係るブロックマッチングの処理を示す図（その２）である。 一実施形態に係るブロックマッチングの処理の計算式を示す図である。 一実施形態に係る第１の判定の動作を説明するための図（その１）である。 一実施形態に係る第１の判定の動作の計算式を示す図（その１）である。 一実施形態に係る第１の判定の動作を説明するための図（その２）である。 一実施形態に係る第１の判定の動作の計算式を示す図（その２）である。 一実施形態に係る第１の判定の動作を説明するための図（その３）である。 一実施形態に係る第１の判定の動作の計算式を示す図（その３）である。 一実施形態に係る第１の判定の動作を説明するための図（その４）である。 一実施形態に係る第１の判定の動作を示すフローチャートである。 一実施形態に係るブロックマッチングの処理を示す図（その３）である。 一実施形態に係る第２の判定の動作を説明するための図である。 一実施形態に係る第２の判定の動作の計算式を示す図である。 一実施形態に係る映像処理装置のハードウェア構成図である。

［第１実施形態］
＜機能構成＞
（１）全体構成
図１を用いて、本実施形態に係る映像処理装置１の機能構成について説明する。映像処理装置１は、撮影部１００と、映像入力部１１０と、映像補正部１２０と、特徴点抽出部１３０と、追跡部１４０と、フレームバッファ１５０と、重複点除去部１６０とを有する。

撮影部１００は、カメラで映像を撮影する。撮影された映像を映像入力部１１０に出力する。カメラは単眼カメラ、ステレオカメラのいずれでもよい。撮影部１００のカメラは、自動車に取り付ける車載カメラでもよい。

映像入力部１１０は、撮影部１００によって撮影された映像の入力を受け付ける。また、映像入力部１１０は、撮影部１００以外から映像の入力を受け付けてもよい。例えば、映像入力部１１０は、記憶媒体に記憶された映像の入力を受け付けてもよいし、ネットワーク経由で映像の入力を受け付けてもよい。

映像補正部１２０は、映像入力部１１０から映像フレームを取得し、かかる映像フレームのひずみを補正する。

特徴点抽出部１３０は、映像フレームの特徴点を抽出する。特徴点とは、例えば、物体の角など、際立って検出できる映像フレーム上の点である。

フレームバッファ１５０は、映像補正部１２０から取得した映像フレームを保存する。フレームバッファ１５０は、追跡部１４０に、映像フレームを送信する。

追跡部１４０は、特徴点抽出部１３０で抽出された特徴点を追跡する。具体的には、追跡部１４０は、特徴点が抽出された映像フレームより時間的に後の映像フレームから、かかる特徴点に対応する追跡点を抽出する。追跡部１４０は、映像補正部１２０から映像フレームを取得する。

追跡部１４０は、特徴点抽出部１３０から、かかる映像フレームにおいて抽出された特徴点に関する情報を取得する。特徴点に関する情報とは、例えば、特徴点における輝度、及び特徴点の映像フレーム内の位置を示す座標情報等である。追跡部１４０は、フレームバッファ１５０から特徴点が抽出された映像フレームより時間的に前の映像フレームを取得する。追跡部１４０は、取得した映像フレーム、及び特徴点に関する情報から、特徴点を追跡する。

追跡部１４０が、時間Ｍにおける映像フレームＦ（Ｍ）で抽出された特徴点を追跡する場合について説明する。

追跡部１４０は、時間Ｍにおける映像フレームＦ（Ｍ）における特徴点に関する情報を特徴点抽出部１３０から取得する。追跡部１４０は、時間Ｍ＋１における映像フレームＦ（Ｍ＋１）を映像補正部１２０から取得する。追跡部１４０は、フレームバッファ１５０より、映像フレームＦ（Ｍ）を取得する。

追跡部１４０は、映像フレームＦ（Ｍ）と、かかる映像フレームにおける特徴点に関する情報とから、映像フレームＦ（Ｍ＋１）における特徴点に対応する追跡点を抽出する。

重複点除去部１６０は、特徴点抽出部１３０で抽出された映像フレームＦ（Ｍ＋１）の特徴点と、追跡部１４０で抽出された映像フレームＦ（Ｍ＋１）の追跡点とが重複する場合に、一方を除去する。

（２）追跡部の構成
図２を用いて、追跡部１４０、及び追跡部１４０と関連する機能部について詳細に説明する。

追跡部１４０は、ブロックマッチング部１４１と、極値検出部１４２と、単一性判定部１４３と、曲面形状判定部１４５とを有する。

特徴点抽出部１３０は、第１の映像のフレームから特徴点を抽出する。

ブロックマッチング部１４１は、かかる第１の映像のフレームより時間的に後の映像のフレームである第２の映像のフレームの所定の領域に対してブロックマッチング処理を行い、特徴点に対応する追跡点を特定する。なお、ブロックマッチング処理を実行する場合、ブロックマッチング部１４１は、第１の映像のフレームの一部であって特徴点を含むブロックを用いる。

極値検出部１４２は、第２の映像のフレームの所定の領域において、特徴点に最も類似する第１の画素の位置、第１の画素と特徴点との類似度、特徴点に２番目に類似する第２の画素の位置、及び第２の画素と特徴点との類似度を検出する。

なお、以下の記述において類似度とは、特徴点に対する類似度を意味する。従って、例えば「画素Ａの類似度」とは、「特徴点と画素Ａとの類似度」を意味する。

なお、極値検出部１４２は、第１の画素と、第２の画素とを検出するときに、画素自体の特徴点との類似度に加えて、かかる画素と特徴点との類似度と、隣接する画素と特徴点との類似度の差を考慮して第１の画素と第２の画素とを検出してもよい。

単一性判定部１４３は、追跡点の位置と第１の画素の位置とが一致し、かつ第１の画素の類似度と第２の画素の類似度との差が第１の閾値以上である場合、第１の条件を満たすと判定する。

曲面形状判定部１４５は、追跡点と特徴点との類似度と、追跡点の周辺の複数の画素の各々と特徴点との類似度とを算出し、算出された追跡点の類似度と、周辺の複数の画素の各々の類似度との差が、第２の閾値以上である場合、第２の条件を満たすと判定する。

追跡部１４０は、第１の条件、及び第２の条件を満たす場合、第１の映像のフレームの特徴点が、第２の映像のフレームにおいて追跡点に対応すると判断する。この場合、追跡部１４０は、第１の映像のフレームの特徴点が、第２の映像のフレームにおいて追跡点に移動したと判断してもよい。

ブロックマッチング処理に加えて、第１の条件、及び第２の条件を満たす場合に、特徴点が追跡点に対応すると判断されるため、映像処理装置１は、追跡点を正確に特定することができる。

なお、ブロックマッチング部１４１は追跡部の一例である。極値検出部１４２は、検出部の一例である。単一性判定部１４３は、第１の判定部の一例である。曲面形状判定部１４５は、第２の判定部の一例である。

第１の画素と、第２の画素とを検出する場合、極値検出部１４２は、第２の映像のフレームの所定の領域において、特徴点と類似する複数の類似画素を検出してもよい。かかる複数の類似画素は隣接する画素より特徴点と類似する。これらの類似画素は極値を有する画素と表現されてもよい。例えば、隣接する８画素よりも特徴点と類似する画素が、極値を有する画素であってもよい。極値検出部１４２は、極値を有する画素の中から第１の画素と第２の画素とを検出してもよい。この場合、特徴点に最も類似する極値を有する画素が第１の画素、特徴点に２番目に類似する極値を有する画素が第２の画素となる。

映像フレームが白黒の映像の場合、特徴点との類似度は、特徴点における輝度と、類似度の算出対象となる画素の輝度との差で表されてもよい。かかる差が小さい画素ほど、特徴点と類似している。

映像フレームがカラーの映像の場合、特徴点との類似度は、特徴点における各色の輝度の合計値と、類似度の算出対象となる画素の輝度の合計値との差で表されてもよい。かかる合計値との差が小さい画素ほど、特徴点と類似している。

ブロックマッチング部１４１は、画素よりも細かい単位である副画素の精度で、ブロックマッチング処理を行い、追跡点を特定してもよい。また、極値検出部１４２は、副画素の精度で、第１の画素と、第２の画素とを検出してもよい。

追跡点が副画素の精度で特定されるため、特徴点に対応する追跡点を正確に特定することができる。

なお、画素はピクセル、副画素はサブピクセルと表現されてもよい。

極値検出部１４２は、隣接する画素の間に存在する副画素と特徴点との類似度を、隣接する画素の周辺の画素の各々と特徴点との類似度から補間してもよい。

例えば、極値検出部１４２は、所定の領域の画素と第１の映像のフレームの所定領域に対応する領域の画素との類似度の変化に基づいて副画素の座標を算出し、かかる座標の副画素と特徴点との類似度を補間してもよい。変化の傾向から副画素の座標を算出する場合、極値検出部１４２は、勾配法を用いて、かかる座標を算出してもよい。なお、「第１の映像のフレームの所定領域に対応する領域の画素」とは、所定の領域の画素と第１の映像のフレームの中で同一の位置にある画素である。

具体的な、補間の手順については後述する。

曲面形状判定部１４５は、追跡点と特徴点との類似度と、周辺の画素と特徴点との類似度とから２次曲面の類似度の分布を形成し、形成された２次曲面の類似度の分布から第２の条件を満たすかを判定してもよい。

例えば、曲面形状判定部１４５は、２次曲面が平坦に近い形状の場合、つまり特徴点と類似している点が周辺の画素と比較して際立っていない場合、第２の条件を満たさないと判断してもよい。これにより、追跡点の誤検出を避けることができる。

２次曲面の分布を表す方程式の２次の係数の少なくとも１つが、第３の閾値以上の場合、曲面形状判定部１４５は、第２の条件を満たすと判定してもよい。かかる２次の係数が大きい程、曲面が際立っており、追跡点が特徴点に対応する可能性が高いためである。

極値検出部１４２は、極値を有する画素を、特徴点と類似する順に並べ、特徴点とＮ番目に類似する極値を有する画素と、特徴点とＮ＋１番目に類似する極値を有する画素との特徴点との類似度の差を算出する。ここでＮは２以上の自然数であり、Ｎ＋１の最大値は第２の映像のフレームの所定の領域に含まれる極値を有する画素の数である。

単一性判定部１４３は、第１の画素の類似度と第２の画素の類似度との差が、第１の閾値以上でない場合であっても、第１の条件を満たすと判定してもよい場合がある。

例えば、第１の画素の類似度と第２の画素の類似度との差が、第２の映像のフレームの所定の領域に含まれる特徴点とＮ番目に類似する極値を有する画素と特徴点とＮ＋１番目に類似する極値を有する画素との間の類似度の差より大きい場合、第１の条件を満たすと判定してもよい。

第１の画素が特徴点と最も類似しかつ、第１の画素と第２の画素との類似度の差が、特徴点とＮ番目に類似する極値を有する画素と特徴点とＮ＋１番目に類似する極値を有する画素との類似度の差よりも大きいため、他の画素よりも特徴点と際立って類似していると判断できるためである。

第１の条件を満たさない場合、映像処理装置１は、第２の映像フレームの所定の領域を拡大した領域において、ブロックマッチング処理と、第１の条件を満たすかの判定を実行してもよい。

なお、「第２の映像フレームの所定の領域」は、第１の探索ウィンドウと呼ばれてもよい。

＜動作手順＞
図３を用いて、本実施形態の動作手順の一例について説明する。

特徴点に対応する追跡点を特定する場合、映像処理装置１は、ブロックマッチング処理、第１の判定の処理、第２の判定の処理の順番で処理を実行する。

ステップＳ３００で、ブロックマッチング部１４１は、ブロックマッチング処理を実行する。ブロックマッチング部１４１は、第１の映像フレームで抽出された特徴点を中心とした任意のサイズの画像を第１の映像フレームから抜き出す。抜き出された画像は、テンプレートパッチと呼ばれてもよい。次に、ブロックマッチング部１４１は、テンプレートパッチを、第２の映像フレームの第１の探索ウィンドウ内で移動させる。

ブロックマッチング部１４１は、テンプレートパッチを第１の探索ウィンドウ内で移動させ、テンプレートパッチと、テンプレートパッチと重複する部分との類似度を計算し、最も類似する位置におけるテンプレートパッチの中心を追跡点とする。具体的な計算方法については後述する。

ブロックマッチング処理が成功した場合（ステップＳ３０１ ＹＥＳ）、ステップＳ３０２に進む。一方、ブロックマッチング処理が成功しなかった場合（ステップＳ３０１ ＮＯ）、ステップＳ３０８に進む。

ステップＳ３０２乃至ステップＳ３０４は、第１の条件の判定の処理の動作手順である。

ステップＳ３０２で、極値検出部１４２は、単一性比較値の計算処理を行う。具体的には、極値検出部１４２は、探索ウィンドウ内の画素と特徴点との類似度を算出する。類似度は、例えば特徴点と探索ウィンドウ内の画素との輝度の差でもよい。この場合、類似度が小さい程、画素は特徴点と類似している。

極値検出部１４２は、周辺の画素よりも類似度が小さい画素を抽出し、極値とする。例えば、極値検出部１４２は、任意の画素と、かかる任意の画素の周辺の８画素とを比較して、極値を抽出してもよい。

探索ウィンドウ内で、最も小さい極値を有する画素が第１の画素であり、２番目に小さい極値を有する画素が第２の画素である。

ステップＳ３０３で、極値検出部１４２は、第１の画素の類似度と第２の画素の類似度とを比較し、類似度の差が、第１の閾値以上か比較する。第１の閾値は、映像処理装置１のユーザが設定可能な値である。例えば、第１の閾値に第１の画素の類似度の１０％、２０％といった値が設定されてもよい。

ステップＳ３０４で、類似度の差が第１の閾値以上であり、かつ第１の画素の位置がブロックマッチングで抽出した追跡点と一致する場合、単一性判定部１４３は、単一性判定が成功したと判定し、ステップＳ３０５に進む（ステップＳ３０４ ＹＥＳ）。「単一性判定が成功したこと」は、「第１の条件を満たす」と表現されてもよい。

一方、類似度の差が第１の閾値以上でない、又は第１の画素の位置が追跡点と一致しない場合、単一性判定部１４３は、単一性判定が失敗したと判定し、ステップＳ３０８に進む（ステップＳ３０８ ＮＯ）。

ステップＳ３０５乃至ステップＳ３０７は、第２の条件の判定の処理の動作手順である。

ステップＳ３０５で、曲面形状判定部１４５は、追跡点と特徴点との類似度と、追跡点の周辺の画素と特徴点との類似度とを算出し、算出された追跡点の類似度と、周辺の画素の類似度とから２次曲面の分布を形成する。

ステップＳ３０６で、曲面形状判定部１４５は、形状が際立っているか判定する。例えば、２次曲面の分布を表す方程式の２次の係数の少なくとも１つ以上が、第３の閾値以上の場合、曲面形状判定部１４５は、形状が際立っていると判定する。

２次の係数が大きい場合には、曲面の形状が平坦ではなく、形状が際立っているためである。２次の係数は周辺の画素の類似度と、追跡点の類似度との差を表している。第３の閾値は、映像処理装置１のユーザが設定可能な値であり、０．１、０．２といった値が設定される。

ステップＳ３０６で、曲面形状判定部１４５が、形状が際立っていると判定した場合、つまり、第２の条件を満たすと判定した場合、ステップＳ３０７に進む。一方、曲面形状判定部１４５が、形状が際立っていないと判定した場合、つまり第２の条件を満たさないと判定した場合、ステップＳ３０８に進む。

ステップＳ３０７に進んだ場合、追跡部１４０は、追跡が成功したと判定する。一方、ステップＳ３０８に進んだ場合、追跡部１４０は、追跡が失敗したと判定する。

なお、映像処理装置１は、ステップＳ３０２及びステップＳ３０３を実行し、第１の画素と、第２の画素とを抽出した後に、ステップＳ３００及びステップＳ３０１のブロックマッチングの処理を実行してもよい。

＜ブロックマッチング処理＞
図４乃至図６を用いて、ブロックマッチング処理について説明する。

図４及び図５は、ブロックマッチングの処理の概要を示す図である。図４の（１）に示すように、ブロックマッチング部１４１は、ｎ枚目の映像のフレーム４１０から特徴点４００を抽出する。ブロックマッチング部１４１は、ｎ枚目の映像のフレーム４１０から特徴点４００を中心にＮ（画素）×Ｎ（画素）のサイズの領域を抜き出しテンプレートパッチ４３０を生成する。

図４の（２）に示すように、ブロックマッチング部１４１は、ｎ枚目以降の映像のフレーム４２０の中のＨ（画素）×Ｗ（画素）のサイズの領域を抜き出し第２の探索ウィンドウ４４０を生成する。

ここで、テンプレートパッチ４３０のサイズ、及び第２の探索ウィンドウ４４０のサイズは映像処理装置１のユーザが設定可能な値である。

図５の（１）に示すように、ブロックマッチング部１４１は、テンプレートパッチ４３０の中心を第２の探索ウィンドウ４４０内で移動させる。つまり、ブロックマッチング部１４１は、ｎ枚目以降の映像のフレーム４２０の中の（Ｈ＋Ｎ）（画素）×（Ｗ＋Ｎ）（画素）のサイズの領域を抜き出し、かかる領域内にテンプレートパッチ４３０を移動させる。この領域は、第１の探索ウィンドウ４５０と表現されてもよい。

ブロックマッチング部１４１は、テンプレートパッチ４３０を、第１の探索ウィンドウ４５０内で移動させ、テンプレートパッチ４３０との重複部分と、テンプレートパッチ４３０との類似度を算出する。

例えば、図５の（１）に示すように、ブロックマッチング部１４１は、テンプレートパッチ４３０を、第１の探索ウィンドウ４５０内で水平方向に移動させてもよい。ブロックマッチング部１４１は、テンプレートパッチ４３０を１画素ずつ、縦、又は横に移動させつつ、テンプレートパッチ４３０と重複部分との類似度を算出する。ブロックマッチング部１４１は、１画素よりも細かい単位である副画素単位で、テンプレートパッチ４３０を縦、又は横に移動させて類似度を算出してもよい。

図６の（式１）に類似度の算出例を示す。テンプレートパッチ４３０内の画素の輝度値の合計値と、重複部分の輝度値の合計値との差Ｅ_ＳＡＤが、最も小さくなる場合、又は所定の閾値よりも小さくなる場合に、ブロックマッチング部１４１は、かかる重複部分の中心が特徴点に対応する追跡点であると判断する。

図５の（２）の例では、テンプレートパッチ４３０の中心がＶｎ（Ｘ、Ｙ）に移動した場合に算出されるＥ_ＳＡＤから、ブロックマッチング部１４１は、Ｖｎ（Ｘ、Ｙ）が追跡点５６０であると判断する。

ブロックマッチング部１４１は、ｎ枚目のフレームの特徴点４００が、ｎ枚目以降の映像のフレーム４２０で追跡点５６０に移動したと判断してもよい。また、ブロックマッチング部１４１は、特徴点が移動の軌跡５７０に沿って移動したと判断してもよい。ブロックマッチング部１４１は、ｎ枚目以降の映像のフレームに繰り返しブロックマッチングの処理を行い、特徴点の移動の軌跡を算出してもよい。特徴点の移動の軌跡は、オプティカルフローと呼ばれてもよい。

上述した実施形態では、テンプレートパッチ４３０の輝度値の合計値と、重複部分の輝度値の合計値との絶対値の差（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）であるＥ_ＳＡＤを用いる場合について説明した。ブロックマッチング部１４１は、その他の方法を用いてブロックマッチングの処理を実行してもよい。例えば、ブロックマッチング部１４１は、テンプレートパッチ４３０と重複部分の輝度値の差の二乗和を算出するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を用いてもよいし、テンプレートパッチ４３０と重複部分の輝度値の相互相関を算出するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を用いてもよい。

映像のフレームがカラーの場合、ブロックマッチング部１４１は、各色の輝度を合計した値を用いて、テンプレートパッチと重複部分との類似度を判断してもよい。

＜第１の条件の判定＞
図７乃至図１５を用いて第１の条件の判定の動作について説明する。

（１）極値の検出方法（その１）
図７と図８を用いて極値を検出する手順について説明する。

極値検出部１４２は、第１の探索ウィンドウ内の各画素と特徴点との類似度を算出する。例えば、極値検出部１４２は、第１の探索ウィンドウ内の各画素と特徴点との輝度の差を算出する。図７の（１）に各画素と特徴点との類似度の分布のグラフの一例を示す。類似度の値が小さい画素ほど、特徴点と類似している。

次に、極値検出部１４２は、算出された特徴点との類似度を用いて極値を有する画素を抽出する。極値を有する画素は、隣接する画素より特徴点と類似している画素である。例えば、図７の（２）において、位置（Ｘ_ｉ，Ｙ_ｉ）の画素と特徴点との類似度Ｒ（Ｘ_ｉ，Ｙ_ｉ）が、周辺の８画素よりも特徴点と類似している場合、極値検出部１４２は、位置（Ｘ_ｉ，Ｙ_ｉ）の画素を極値を有する画素、Ｒ（Ｘ_ｉ，Ｙ_ｉ）をかかる画素の極値と判断する。具体的には、極値検出部１４２は、図８の（式２）を満たす場合、位置（Ｘ_ｉ，Ｙ_ｉ）の画素を極値を有する画素と判断する。

極値検出部１４２は、抽出された極値を有する画素のうち、特徴点と最も類似する極値を有する画素を第１の画素とし、特徴点と２番目に類似する極値を有する画素を第２の画素とする。

図７の（３）に極値となる画素と特徴点との類似度の分布の一例を示す。類似度の値が小さいほど特徴点と類似していることを表している。極値検出部１４２は、類似度の値が最も小さい極値を有する画素７２０と、類似度の値が２番目に小さい極値を有する画素７３０とを検出する。極値検出部１４２は、画素７２０を第１の画素とし、画素７３０を第２の画素とする。

単一性判定部１４３は、第１の画素の位置が、ブロックマッチングの処理で特定された追跡点の位置と同じであり、かつ、第１の画素と特徴点との類似度と第２の画素と特徴点との類似度の差が第１の閾値以上の場合、第１の条件を満たすと判断する。

第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度が十分に離れていない場合には、単一性判定部１４３は、追跡点を誤って抽出する可能性が高い。例えば、探索ウィンドウ内の画像に、縞模様のような、類似する特徴が繰り返し出現する場合、単一性判定部１４３は、特徴点に対応する追跡点を誤って抽出する可能性が高い。

単一性判定部１４３は、第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度の差が第１の閾値以上の場合にのみ第１の画素を追跡点の候補とする。このため、単一性判定部１４３は、適切な追跡点の候補を抽出することができる。

（２）副画素における極値の検出方法
図９を用いて副画素における極値の検出方法について説明する。上述した極値の検出方法においては、画素単位の精度で極値を算出したが、極値検出部１４２は、画素より細かい精度である副画素単位で極値の検出を行ってもよい。

上述した検出方法では、単一性判定部１４３は、中心の画素（Ｘ_ｉ，Ｙ_ｉ）と特徴点との類似度と、周辺の８画素と特徴点との類似度とを比較し、極値を検出している。かかる検出方法では、中心の画素と特徴点との類似度と、略同じ特徴点との類似度を有する画素が周辺８点内の画素に存在した場合、図８の（式２）を満たさない。

図８の（式２）を満たさないときには、画像に特徴がなく追跡点になり得ない場合と、画素の間に極値が存在する場合とがある。図９は、画素の間に極値が存在する場合の一例を示している。図９は、隣接する画素である（Ｘ_ｉ，Ｙ_ｉ）と（Ｘ_ｉ＋１，Ｙ_ｉ）における特徴点との類似度Ｒ（Ｘ_ｉ，Ｙ_ｉ）とＲ（Ｘ_ｉ＋１，Ｙ_ｉ）とが略同じ場合に、副画素（ａ，ｂ）９００において、極値が存在する例を示している。

極値検出部１４２は、画素の精度よりも正確に極値を検出するため、副画素の精度で極値の検出を実行してもよい。

副画素の精度で極値の検出を実行する場合、極値検出部１４２は、中心の画素及び、周辺の画素と特徴点との類似度を補間することにより副画素の精度で極値を検出する。

図９の（３）を用いて、副画素（ａ，ｂ）９００における極値を検出する例について説明する。ここでは、各画素と特徴点との輝度の差Ｌ（以下、輝度の類似度Ｌ）から、副画素（ａ，ｂ）９００と特徴点との輝度の類似度Ｌを補間する例について説明するが、輝度以外の類似度を用いてもよいことは勿論である。

図９の（３）では、画素間の距離はβ（例えば、（Ｘ_ｉ，Ｙ_ｉ）〜（Ｘ_ｉ，Ｙ_ｉ−１））であり、補間対象の副画素（ａ，ｂ）９００の中心の画素（Ｘ_ｉ，Ｙ_ｉ）からの距離がαである場合を示している。

副画素（ａ，ｂ）９００における輝度の類似度Ｌ（ａ，ｂ）は図１０の（式３）から算出される。副画素（ａ，ｂ）９００の周辺の画素における輝度の類似度Ｌを、副画素（ａ，ｂ）９００と各画素との距離により重み付けすることにより、副画素（ａ，ｂ）９００における輝度の類似度が算出される。

（３）勾配法による極値の算出方法
副画素の精度で極値の検出を実行する場合、極値検出部１４２は、勾配法を用いて極値を有する副画素の位置を特定してもよい。

ここでは、ＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ Ｔｏｍａｓｉ）法を用いて副画素の位置を特定する方法について、図１１及び図１２を用いて説明する。

図１１は、Ｎ枚目の映像のフレーム１１００の画像Ｉと、Ｎ＋１枚目の映像のフレーム１１１０の画像Ｊ、画像Ｊ上の第１の探索ウィンドウ１１２０、画像Ｉ上の第１の探索ウィンドウ１１３０、画像Ｉ上の輝度値Ｉ（ｘ，ｙ）１１４０、画像Ｊ上の輝度値Ｊ（ｘ，ｙ）１１５０を表している。

画像Ｉと画像Ｊの各画素の輝度値から、画像Ｊ上の副画素の座標を特定する方法について説明する。

極値検出部１４２は、図１２の（式４）を用いて画像Ｉと画像Ｊの対応する画素における輝度値の差（δＩ_ｋ）を算出する。

極値検出部１４２は、図１２の（式５）を用いて、画像Ｊの第１の探索ウィンドウ１１２０内の各画素における「輝度値の差（δＩ_ｋ）に画像Ｉ、Ｊの各画素を微分した値を乗算した値」であるｂ_ｋを求める。ここで、位置（ｘ，ｙ）で画像Ｉの各画素を微分した値は、Ｉ_ｘ（ｘ，ｙ）で表され、位置（ｘ，ｙ）で画像Ｊの各画素を微分した値は、Ｉ_ｙ（ｘ，ｙ）で表される。

また、極値検出部１４２は、図１２の（式６）を用いて、第１の探索ウィンドウ１１２０内の各画素におけるｘ方向の微分値（Ｉ_ｘ）とｙ方向の微分値（Ｉ_ｙ）とを乗算して算出される２行２列の行列Ｇを算出する。

極値検出部１４２は、図１２の（式７）を用いてｂ_ｋとＧの逆行列とから、（ｘ，ｙ）方向の移動量η^ｋを算出する。

極値検出部１４２は、図１２の（式８）を用いて、副画素の座標を算出する。（式８）は、極値を有する画素の位置からの距離を表しており、ν^ｋの初期値は０である。また、ｋは計算回数を表す。

極値検出部１４２は、所定の回数ν^ｋの算出を繰り返してもよい。例えば、極値検出部１４２は、ν^ｋの算出を２０回程度、繰り返してもよい。或いは、極値検出部１４２は、移動量η^ｋが所定の閾値以下になるまでν^ｋの算出を繰り返してもよい。例えば、極値検出部１４２は、η^ｋが０．０３副画素以下になるまで、ν^ｋの算出を繰り返してもよい。
極値検出部１４２は、算出された位置の副画素と特徴点との類似度を算出する。例えば、極値検出部１４２は、図１０の（式３）を用いてかかる位置の副画素と特徴点との輝度の差を算出してもよい。

極値検出部１４２は、算出された位置の副画素と特徴点との類似度と、画素単位で算出された周辺の極値の候補の画素と特徴点との類似度とを比較し、特徴点により類似する方を極値を有する画素とする。

なお、ＫＬＴ法により副画素の座標を算出する方法について説明したが、その他の方法を用いて副画素の座標を算出してもよい。また、極値検出部１４２が、副画素の座標を算出する範囲は第１の探索ウィンドウ内に限らなくてよい。

Ｎ＋１枚目の映像のフレームにおける副画素の座標を算出する方法について説明したが、Ｎ＋１枚目以降の映像のフレームにおける副画素の座標の算出にも上述した算出方法を適用できる。

（４）極値の検出方法（その２）
上述した極値の検出方法においては、第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度の差が第１の閾値以上でない場合、単一性判定部１４３は、第１の条件を満たさないと判定した。しかし、かかる類似度の差が第１の閾値以上でない場合でも、その他の極値を有する画素と特徴点との類似度によっては、第１の画素が追跡点である可能性がある。このような場合、単一性判定部１４３は、第１の画素を追跡点の候補とする方が好ましい。かかる場合における極値の検出の動作手順について、図１３及び図１４を用いて説明する。

上述したように、単一性判定部１４３は、第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度の差が第１の閾値以上の場合、第１の条件を満たすと判定する。

図１３の（１）は、第１の探索ウィンドウ内の画素の各々と特徴点との類似度を示す分布１３００を示しており、図１３の（２）は、図１３の（１）の分布で示される画素と、かかる画素と特徴点との類似度の関係とを２次元で示す図である。これらの図では、類似度が小さい程、特徴点と類似していることを示している。

図１３の（２）の場合、第１の画素１３１０と特徴点との類似度と、第２の画素１３２０と特徴点との類似度の差１３３０が、第１の閾値以上であるため、単一性判定部１４３は、第１の画素１３１０を追跡点の候補とする。

次に、第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度の差が第１の閾値以上でない場合について説明する。

図１３の（３）は、第１の探索ウィンドウ内の画素の各々と特徴点との類似度を示す分布１３４０であり、図１３の（４）は、図１３の（３）の分布で示される画素と、かかる画素と特徴点との類似度の関係を２次元で示す図である。

図１３の（４）において、第１の画素１３５０、第２の画素１３６０、及び第１の画素１３５０と第２の画素１３６０の特徴点との類似度の差１３５５で示されている。

類似度の差１３５５が、第１の閾値より小さい場合、単一性判定部１４３は、第２の画素１３６０と特徴点と３番目に類似する極値を有する画素１３７０との類似度の差１３６５、及び特徴点と３番目に類似する極値を有する画素１３７０と特徴点と４番目に類似する極値を有する画素１３８０との類似度の差１３７５等を算出する。

次に、単一性判定部１４３は、かかる算出された類似度の差（１３６５、及び１３７５等）と、類似度の差１３５５とを比較する。つまり、単一性判定部１４３は、特徴点にＮ番目に類似する極値を有する画素と特徴点との類似度と、Ｎ＋１番目に類似する極値を有する画素と特徴点との類似度の差（以下、「ＮとＮ＋１との類似度の差」）を算出する。

そして、単一性判定部１４３は、算出されたＮとＮ＋１との類似度の差と、類似度の差１３５５とを比較する（Ｎは２以上の自然数）。

かかる比較の結果、類似度の差１３５５が、ＮとＮ＋１との類似度の差より大きい場合、単一性判定部１４３は、類似度の差１３５５が、第１の閾値より小さい場合であっても、第１の画素１３５０を追跡点の候補とする。

図１４を用いて、単一性判定部１４３の処理フローを説明する。

ステップＳ１４０１において、単一性判定部１４３は、第１の画素と特徴点との類似度と、第２の画素と特徴点との類似度の差が第１の閾値以上であるか否か判定する。かかる類似度の差が第１の閾値以上の場合、ステップＳ１４０４に進む（ステップＳ１４０１ ＹＥＳ）。一方、かかる類似度の差が第１の閾値以上でない場合、ステップＳ１４０２に進む（ステップＳ１４０１ ＮＯ）。

ステップＳ１４０２において、単一性判定部１４３は、第１の画素と特徴点との類似度と第２の画素と特徴点との類似度の差と、ＮとＮ＋１との類似度の差とを比較する。第１の画素と第２の画素の類似度の差が、ＮとＮ＋１との類似度の差より大きい場合、ステップＳ１４０４に進む（ステップＳ１４０２ ＹＥＳ）。一方、第１の画素と第２の画素の類似度の差が、ＮとＮ＋１との類似度の差より大きくない場合、ステップＳ１４０３に進む（ステップＳ１４０２ ＮＯ）。

ステップＳ１４０３で、単一性判定部１４３は、単一性の判定を失敗と判断し、処理を終了する。

ステップＳ１４０４で、第１の画素の位置が、ブロックマッチング処理で特定された追跡点の位置と一致する場合、単一性判定部１４３は、単一性の判定を成功と判断し、処理を終了する。

なお、探索ウィンドウ内に極値を有する画素が１つしか検出されなかったときには、かかる画素の位置が、ブロックマッチングの処理で特定された追跡点の位置と一致する場合に、単一性判定部１４３は、単一性の判定を成功と判断する。

（５）第２の映像フレームの探索ウィンドウの拡大
単一性判定部１４３が単一性の判定を失敗と判断した場合、映像処理装置１は、第２の映像フレームの探索ウィンドウを拡大して、ブロックマッチングの処理、及び第１の条件の判定の処理を行ってもよい。

図１５を用いて、第２の映像フレームの探索ウィンドウを拡大した場合の映像処理装置１の処理内容について説明する。

図１５の（１）は、探索ウィンドウを拡大する前の第２の映像フレーム１５５０における第１の探索ウィンドウ１５３０、第２の探索ウィンドウ１５００、及びテンプレートパッチ１５１０の関係を示す図である。

第２の映像フレーム１５５０は、柵の奥に家が存在する画像を示している。第１及び第２の探索ウィンドウ（１５３０、１５００）が設定されている領域は、柵に対応する部分であり、似たようなパターンが繰り返されている。単一性判定部１４３は、追跡点の候補となる第１の画素を抽出するのは難しい。また、似たようなパターンが繰り返されているため、ブロックマッチング部１４１は、追跡点を誤って特定するおそれがある。

このような場合には、映像処理装置１は、探索ウィンドウを拡大して、ブロックマッチングの処理と、単一性の判定とを実行してもよい。

図１５の（２）は、探索ウィンドウを拡大した場合の一例である。図１５の（２）では、第２の探索ウィンドウ１５００のサイズは一定であるが、映像処理装置１は、第１の探索ウィンドウ１５４０を拡大する。また、映像処理装置１は、第１の探索ウィンドウ内を移動する、テンプレートパッチ１５２０のサイズも拡大する。

テンプレートパッチ１５２０が拡大されることにより、テンプレートパッチ１５２０の第２の映像フレーム１５５０の重複部分が広くなる。これにより、重複部分は、柵以外の部分も含むようになり、テンプレートパッチ１５２０を第１の探索ウィンドウ内で移動した場合に、重複部分とテンプレートパッチ１５２０との類似度を評価する値が変化するため、追跡点を抽出し易くなる。

また、拡大された第１の探索ウィンドウ１５４０は、拡大前よりも変化のある画像であるため、単一性判定部１４３は、最も類似する第１の画素を追跡点の候補と判定し易くなる。

なお、第２の映像のフレームの探索ウィンドウを拡大する場合に、映像処理装置１は、テンプレートパッチ１５１０を拡大しなくてもよい。また、映像処理装置１は、第１の探索ウィンドウと共に、第２の探索ウィンドウのサイズを拡大してもよい。

＜第２の条件の判定＞
（１）曲面形状の算出方法
図１６及び図１７を用いて、曲面形状の算出方法について説明する。曲面形状判定部１４５は、ブロックマッチング処理と、単一性の判定（第１の条件の判定）の処理との結果、抽出された追跡点の候補の画素が追跡点であるかの判定を行う（第２の条件の判定）。

追跡点の候補の画素が追跡点か否かの判定を行うときに、曲面形状判定部１４５は、追跡点の候補の画素が周辺の画素に対して際立った特徴を有するか否かの判定を行う。本実施形態では、曲面形状判定部１４５が、追跡点の候補の画素と特徴点との類似度と、かかる候補の画素の周辺の８画素と特徴点との類似度とを比較し、追跡点か否かの判定を行う。

具体的には、曲面形状判定部１４５は、候補の画素（ｘ，ｙ）とその周辺８画素の位置と、これらの画素と特徴点との類似度から２次曲面の形状を算出する。

図１６の（１）に候補の画素（ｘ，ｙ）と周辺８画素との位置関係を示す。Ｒは各画素と特徴点との類似度を表す。例えば、Ｒは特徴点との輝度の類似度を表してもよい。

図１６の（２）は、候補の画素（ｘ，ｙ）と周辺８画素の位置と類似度の値とから２次曲面を形成した様子を示す図である。図１６の（２）は、候補の画素（ｘ，ｙ）の類似度Ｒ（ｘ，ｙ）を中心に２次曲面を切り出した様子を示している。

２次曲面は、図１７の（式９）から求められる。ここで、ｘの２次の係数ａと、ｙの２次の係数ｃとは、それぞれ（式１０）と（式１１）とから求められる。

ここで、（式１０）は、図１６の（１）の両端の２列の６画素（（ｘ−１，ｙ−１）、（ｘ−１、ｙ）、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ−１）、（ｘ＋１，ｙ）、（ｘ＋１，ｙ＋１））の類似度と、候補の画素（ｘ，ｙ）を含む真ん中の列の３画素（（ｘ，ｙ−１）、（ｘ，ｙ）、（ｘ，ｙ＋１））の類似度の２倍との差を表している。また、（式１１）は、図１６の（１）の上段と下段の２行の６画素（（ｘ−１，ｙ−１）、（ｘ，ｙ−１）、（ｘ＋１，ｙ−１）、（ｘ−１，ｙ＋１）、（ｘ，ｙ＋１）、（ｘ＋１，ｙ＋１））の類似度と、候補の画素（ｘ，ｙ）を含む真ん中の行の３画素（（ｘ−１，ｙ）、（ｘ，ｙ）、（ｘ＋１，ｙ））の類似度の２倍との差を表している。ｘの２次の係数ａと、ｙの２次の係数ｃの値とが第３の閾値より小さい場合、候補の画素（ｘ，ｙ）と周辺の画素の類似度から形成される２次曲面の形状は平坦に近く、候補の画素（ｘ，ｙ）で際立っていない。このため、特徴点に対応する追跡点が正しく特定できていない可能性が高い。この場合には、曲面形状判定部１４５は、第２の条件を満たさないと判定し、映像処理装置１は、追跡点の抽出に失敗したと判断する。

一方、２次の係数ａとｃの少なくともいずれか一方が、第３の閾値より大きい場合、候補の画素（ｘ，ｙ）は周辺の画素に対して、特徴点との類似度が際立っている。このため、曲面形状判定部１４５は、第２の条件を満たすと判定し、映像処理装置１は、追跡点の抽出に成功したと判断する。

ブロックマッチングの処理及び第１の判定の処理が副画素の精度で実行された場合、曲面形状判定部１４５は、追跡点の候補となる副画素から最も近い位置の画素を選択し、かかる画素とその周辺の画素とを用いて、第２の判定の処理を実行してもよい。或いは、曲面形状判定部１４５は、追跡点の候補となる副画素と特徴点との類似度と、周辺の画素と特徴点との類似度とから２次曲面を形成し、第２の判定の処理を実行してもよい。

上述した実施形態では、候補の画素（ｘ，ｙ）と隣接する周辺８画素とから２次曲面の形状を算出しているが、周辺の画素は候補の画素（ｘ，ｙ）と隣接しない画素を含んでもよいことに留意すべきである。例えば、周辺の画素は、候補の画素（ｘ，ｙ）の２画素、又は３画素、隣りまで含んでもよい。

＜ハードウェア構成＞
映像処理装置１は、例えば図１８に示すようなハードウェア構成により実現される。

映像処理装置１は入出力部２０１、外部Ｉ／Ｆ２０３、ＲＡＭ２０４、ＲＯＭ２０５、ＣＰＵ２０６、通信Ｉ／Ｆ２０７、ＨＤＤ２０９、カメラモジュール２１０などを備え、それぞれがバスＢで相互に接続されている。

入出力部２０１は、カメラモジュール２１０で撮影した映像のフレームを表示する。入出力部２０１は、映像処理装置１の状態などを表示する。また、入出力部２０１は、映像処理装置１のユーザから、映像処理装置１の各種設定を受け付けてもよい。

通信Ｉ／Ｆ２０７は、サーバ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等と、有線、又は無線のネットワークを介して通信を行う。映像処理装置１は、通信Ｉ／Ｆ２０７を介して、ＰＣ等の端末から、映像処理装置１に対する指示を受け付けてもよい。

また、ＨＤＤ２０９はプログラムやデータを格納している不揮発性の記憶装置の一例である。格納されるプログラムやデータには映像処理装置１全体を制御する基本ソフトウェアであるＯＳ、ＯＳ上において各種機能を提供するアプリケーションソフトウェアなどがある。なお、映像処理装置１はＨＤＤ２０９に替え、記憶媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤ）を利用するものであってもよい。

外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａなどがある。これにより、映像処理装置１は外部Ｉ／Ｆ２０３を介して記録媒体２０３ａの読み取り及び／又は書き込みを行うことができる。記録媒体２０３ａにはフレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、及びＵＳＢメモリなどがある。

ＲＯＭ２０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ２０５には映像処理装置１の起動時に実行されるＢＩＯＳ、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ２０４はプログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）の一例である。

カメラモジュール２１０は、カメラを有し、ＣＰＵ２０６からの指示に基づいて撮影を行い、撮影された映像データをＲＡＭ２０４等の記憶装置に送信する。ＲＡＭ２０４等の記憶装置は受信した撮影データを記憶し、ＣＰＵ２０６の指示に応じて読み出す。

ＣＰＵ２０６は、ＲＯＭ２０５及びＨＤＤ２０９などの記憶装置からプログラムやデータをＲＡＭ２０４上に読み出し、処理を実行することで、映像処理装置１全体の制御や図１及び図２に示す映像処理装置１の機能を実現する演算装置である。映像処理装置１は図１６に示すハードウェア構成により、上述した各種処理を実現できる。

［その他］
上述した実施形態では、第１の探索ウィンドウ内の画素を用いて、映像処理装置１は、第１の判定処理と、第２の判定処理とを実行しているが、第２の探索ウィンドウ内の画素を用いてこれらの処理を実行してもよい。これにより、映像処理装置１は、第１の判定処理と第２の判定処理の対象となる画素を追跡点の候補の周辺の画素に絞ることができる。

上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、映像処理装置１に供給してもよい。そして、映像処理装置１が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、上述の実施形態が、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は、いずれかの実施の形態を構成することになる。ここで、記憶媒体は、記録媒体または非一時的な記憶媒体である。

また、コンピュータ装置が読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に従って、コンピュータ装置上で動作しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行ってもよい。さらに、その処理によって前述した実施形態の機能が実現されてもよいことは言うまでもない。

以上、本発明の好ましい実施形態について説明したが、本発明はこうした実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 映像処理装置
１１０ 映像入力部
１２０ 映像補正部
１３０ 特徴点抽出部
１４０ 追跡部
１４１ ブロックマッチング部
１４２ 極値検出部
１４３ 単一性判定部
１４５ 曲面形状判定部
１５０ フレームバッファ
１６０ 重複点除去部

特開２００３−０７８８０７号公報

Claims (10)

1. 第１の映像のフレームから特徴点を抽出する抽出部と、
   前記第１の映像のフレームより時間的に後の映像のフレームである第２の映像のフレームの所定の領域に対して、前記第１の映像のフレームの一部であって、前記特徴点を含むブロックとのブロックマッチング処理を行うことにより、前記特徴点に対応する追跡点を特定する追跡部と、
   前記所定の領域において、前記特徴点に最も類似する第１の画素の位置、該第１の画素と前記特徴点との類似度、前記特徴点に２番目に類似する第２の画素の位置、及び該第２の画素と前記特徴点との類似度を検出する検出部と、
   前記追跡点の位置と前記第１の画素の位置とが一致し、かつ前記第１の画素の類似度と前記第２の画素の類似度との差が第１の閾値以上である場合、第１の条件を満たすと判定する第１の判定部と、
   前記追跡点と前記特徴点との類似度と、前記追跡点の複数の周辺の画素の各々と前記特徴点との類似度とを算出し、算出された前記追跡点の類似度と、前記複数の周辺の画素の各々の類似度との差が、第２の閾値以上である場合、第２の条件を満たすと判定する第２の判定部と、を有し、
   前記第１の条件、及び前記第２の条件を満たす場合、前記追跡部は、前記特徴点が前記追跡点に対応すると判断する映像処理装置。
2. 前記検出部は、前記所定の領域において、前記特徴点と類似する複数の類似画素を検出し、前記複数の類似画素は、各々に隣接する画素よりも前記特徴点と類似しており、検出された前記複数の類似画素のうち、最も前記特徴点に類似する画素を前記第１の画素、２番目に前記特徴点に類似する画素を前記第２の画素とする請求項１に記載の映像処理装置。
3. 前記特徴点との類似度は、前記特徴点における輝度と、該類似度の算出対象となる画素の輝度との差で表される請求項１又は２に記載の映像処理装置。
4. 前記特徴点との類似度は、前記特徴点における各色の輝度の合計値と、該類似度の算出対象となる画素の輝度の合計値との差で表される請求項１又は２に記載の映像処理装置。
5. 前記追跡部は、画素よりも細かい単位である副画素の精度で、前記ブロックマッチング処理を行い、前記追跡点を特定し、
   前記検出部は、前記副画素の精度で、前記第１の画素と、前記第２の画素とを検出する請求項１又は２に記載の映像処理装置。
6. 前記検出部は、隣接する画素の間に存在する副画素と前記特徴点との類似度を、前記隣接する画素の周辺の画素の各々と前記特徴点との類似度から補間する請求項５に記載の映像処理装置。
7. 前記検出部は、前記所定の領域の画素と前記第１の映像のフレームの前記所定の領域に対応する領域の画素との類似度の変化に基づいて前記副画素の座標を算出し、該座標における前記特徴点との類似度を補間する請求項６に記載の映像処理装置。
8. 前記第２の判定部は、前記追跡点と前記特徴点との類似度と、前記周辺の画素と前記特徴点との類似度とから２次曲面の類似度の分布を形成し、形成された２次曲面の類似度の分布から前記第２の条件を満たすかを判定する請求項１に記載の映像処理装置。
9. 第１の映像のフレームから特徴点を抽出するステップと、
   前記第１の映像のフレームより時間的に後の映像のフレームである第２の映像のフレームの所定の領域に対して、前記第１の映像のフレームの一部であって、前記特徴点を含むブロックとのブロックマッチング処理を行うことにより、前記特徴点に対応する追跡点を特定するステップと、
   前記所定の領域において、前記特徴点に最も類似する第１の画素の位置、該第１の画素と前記特徴点との類似度、前記特徴点に２番目に類似する第２の画素の位置、及び該第２の画素と前記特徴点との類似度を検出するステップと、
   前記追跡点の位置と前記第１の画素の位置とが一致し、かつ前記第１の画素の類似度と前記第２の画素の類似度との差が第１の閾値以上である場合、第１の条件を満たすと判定するステップと、
   前記追跡点と前記特徴点との類似度と、前記追跡点の複数の周辺の画素の各々と前記特徴点との類似度とを算出し、算出された前記追跡点の類似度と、前記複数の周辺の画素の各々の類似度との差が、第２の閾値以上である場合、第２の条件を満たすと判定するステップと、
   前記第１の条件、及び前記第２の条件を満たす場合、前記特徴点が前記追跡点に対応すると判断するステップと、を有する映像処理方法。
10. 請求項９に記載の映像処理方法を、映像処理装置に実行させるプログラム。

Images