JP5159950B2 - 画像処理装置、方法、プログラム - Google Patents

Description

本発明は、画像処理装置、方法、プログラムに関する。

従来より、撮像装置で人物の顔を撮像して、本人確認を行うシステム（本人確認システム）の普及が進んでおり、入退室管理や端末へのログイン等に使われ始めている。このような本人確認システムでは、パスワードや携帯用カードによって本人確認を行う本人確認システムに比べて、盗難の危険性が無い代わりに、正規のユーザの顔写真を不正に入手してこれを撮像装置の前にかざすことにより写真の人物になりすます「なりすまし」の危険性が存在する。このなりすましを自動的に検出して適切に排除することにより、本人確認システム全体のセキュリティ強度を高めることができる。このようななりすましを検出する方法は数多く提案されている（特許文献１〜２、非特許文献１〜５参照）。それらの方法の中には、受動的（投光したりしない）な単眼の撮像装置に入力された動画像を用いて人物の顔の立体形状を調査して、顔写真によるなりすましを検出する方法がある。この方法は、なりすましを検出するための装置が大掛かりにならずに済み、適用範囲が広いという特長がある。例えば、特許文献１の技術では、撮像した顔の画像であって顔向きの異なる２つの画像に対して顔特徴点を検出し、顔特徴点が形作る形状が平面的であるか３次元的であるかを判定する。

特開２００７−３０４８０１号公報 特登第３８２２４８３号公報

T. Mita, T. Kaneko, and O. Hori. Joint haar-like features for face detection. In Proc. Tenth IEEE International Conference on Computer Vision (ICCV 2005), pp.1619-1626, Beijing, China, October 2005. 三田雄志, 金子敏充, 堀修. 顔検出に適した共起に基づくjoint haar-like 特徴. 電子情報通信学会論文誌, Vol. J89-D-II, No. 8, pp. 1791.1801, August 2006. M. Yuasa, T. Kozakaya, and O. Yamaguchi. An efficient 3d geometrical consistencycriterion for detection of a set of facial feature points. In Proc. IAPR Conf. onMachine Vision Applications (MVA2007), pp. 25.28, Tokyo, Japan, May 2007. 湯浅 真由美、武口 智行、小坂谷 達夫、 山口 修、 「静止画顔認証のための自動顔特徴点検出」 電子情報通信学会技術研究報告, PRMU2006-222, pp.5-10, Feb. 2007. 山田 貢己，中島 朗子，福井 和広、 「因子分解法と部分空間法による顔向き推定」 電子情報通信学会技術研究報告, PRMU2001-194, pp.1-8, Jan. 2002.

しかしながら、特許文献１の技術では、顔特徴点の検出位置に大きな誤差が含まれてしまった場合にも顔特徴点が立体的である、即ち、撮像された顔の画像が顔写真ではなく人物の顔であると判定してしまう恐れがあった。

本発明は、上記に鑑みてなされたものであって、特徴点の検出位置の誤差に対して頑健で且つ高速に、なりすましに関する判定を行うことを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様は、画像処理装置に係る、時系列で撮像された複数の画像を取得する取得部と、前記複数の画像間における変化であって前記複数の画像の各々に含まれる対象物の姿勢を表す角度の変化を示す第１変化ベクトルを計算する第１計算部と、前記対象物の特徴点の座標の変化を示す第２変化ベクトルを計算する第２計算部と、前記第１変化ベクトルと前記第２変化ベクトルとがなすベクトル間角度を計算する第３計算部と、前記ベクトル間角度が予め定められた第１閾値より小さい場合に、前記画像に含まれる対象物が立体的であると判定する判定部とを備える。

本発明によれば、特徴点の検出位置の誤差に対して頑健で且つ高速に、なりすましに関する判定を行うことができる。

第１の実施の形態に係る画像処理装置の構成を示す図。 顔向き角度と鼻孔中点の座標とを時系列で表す図。 顔向き角度の軌跡の一例を表す図。 なりすまし検出処理の手順を表すフローチャートを示す図。 顔向き角度を計算する手順の手順を表すフローチャートを示す図。 第２の実施の形態に係る画像処理装置の構成を示す図。 なりすまし検出処理の手順を表すフローチャートを示す図。 顔向き角度の変位と鼻孔中点の座標の変位とを概念的に示す図。 ４つの顔特徴点を示す図。 異なる顔向き角度における顔の画像と顔中心線上の顔特徴点の座標との関係を説明するための図。 第３の実施の形態に係る画像処理装置の構成を示す図。 なりすまし検出処理の手順を表すフローチャートを示す図。 第４の実施の形態に係る画像処理装置の構成を示す図。 なりすまし検出処理の手順を表すフローチャートを示す図。

[第１の実施の形態]
以下に添付図面を参照して、この発明に係る画像処理装置及び方法の第１の実施の形態を詳細に説明する。まず、画像処理装置のハードウェア構成について説明する。本実施の形態の画像処理装置は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶部と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の補助記憶部と、これらを接続するバスとを備えており、コンピュータを利用したハードウェア構成となっている。また、画像処理装置には、対象物を撮像してその画像を入力するＣＣＤイメージセンサ(Charge Coupled Device Image Sensor)などにより構成される画像入力部と、ユーザの指示入力を受け付けるキーボードやマウス等の操作入力部と、外部装置の通信を制御する通信Ｉ／Ｆ（interface）とが有線又は無線により各々接続される。

対象物は、顔，人物，動物，物体などである。また、画像入力部を介して入力される画像は、コンピュータで処理することが可能なデジタル画像である。平面座標を（ｘ，ｙ）、画素値をｆとすれば、画像をｆ（ｘ，ｙ）と表すことができる。デジタル画像では、ｘ，ｙ，ｆは離散的な値で表される。（ｘ，ｙ）は画像上に配置された標本点であり画素と呼ばれる。例えば，ＶＧＡと呼ばれる「６４０×４８０」画素の画面解像度に対応した画像の場合は、「ｘ＝０，…，６３９，ｙ＝０，…，４７９」という値をとり得る。画像処理を行わせて、画像の特徴点の位置を求めたり、対応点を求めたり、エッジ抽出を行わせたりする場合に求めたい情報は、どの画素かということである場合がある。このときは「点」や「エッジ」の位置とは特定の「画素」を意味する。しかしながら、更に精密に特徴点、対応点、エッジを求めたいときには、サブピクセル推定と呼ばれる方法により画素間の位置を実数値のｘ，ｙで求める場合がある。このときは「点」とは実数値のｘ，ｙで表された位置（ｘ，ｙ）のことであり、特定の１つの画素を表すとは限らない。また、画素値（または濃淡レベル）ｆは、８ビットのモノクロ画像の場合は、「０」から「２５５」までの整数値をとる。ｆが２４ビットのカラー画像の場合は、ＲＧＢそれぞれが「０」から「２５５」までの整数値をとるような３次元のベクトルとして表される。

また、画像の特徴点とは、画像中の対象物の位置決めを行うために用いる点のことであり、通常は１つの画像中に複数の特徴点が設定されて利用される。画素値が空間的に急激に変化する点を画像中から機械的に抽出して特徴点としたり、予め特定の画素値の変化（テクスチャ）が想定される小領域中の特定の点を特徴点としたりすることで設定される。例えば、前者では画素値の変化が極大になる点を用いる場合があり、後者では対象物が人物の顔である場合瞳の中心点を用いる場合がある。機械的に抽出された特徴点は、複数の画像間において特徴点の１対１の対応付けがなされることにより、障害物の検出、物体の運動の推定、物体の個数の推定、物体の形状獲得などを行わせたりすることができる。即ち、機械的に抽出された想定されていない特徴点であっても、その特徴点が別の画像においてどの特徴点に対応しているかということをテンプレートマッチングによって計算したり、設定したりすることにより、有効活用することができるようになる。特定の対象物の中の特定の点であり、特定の画素値の変化（テクスチャ）が予め想定される小領域中の特定の点であるような点を特徴点とする場合は、単一の画像中において特徴点を検出することだけでも有用である。例えば，未知で新規に与えられた画像中から、対象物として人物の顔の特徴点（目の中心，鼻の頂点，口の端点など）を検出することができれば、それだけで人物の存在，位置，姿勢，表情などの情報を得ることができて、有用である。

尚、対象物が人物の顔である場合、画像中の顔を表す領域に含まれる目，鼻，口などを顔部品と呼ぶことがある。例えば、画像に表される顔のうち目を含む小領域を考えたとき、まぶたや瞳などを含む目の領域は顔を構成する部品と捉えて顔部品と呼ぶことができる。これに対して、瞳の中心点，目じり，目頭、左右いずれかの鼻孔、左右の鼻孔中点及び鼻頂点などの位置決めのために利用する点であり顔領域内部又はその近傍の特徴点を顔特徴点と呼ぶことにする。尚、顔以外の対象物の場合も、対象物全体の構成要素である部分を部品と呼び、部品の中の位置決めに用いる特定の点を特徴点と呼ぶことにする。

次に、上述したハードウェア構成において、画像処理装置のＣＰＵが記憶装置や補助記憶部に記憶された画像処理プログラムを実行することにより実現される各種機能について説明する。図１は、画像処理装置５０の構成を示す図である。画像処理装置５０は、取得部５１と、特徴点検出部５２と、角度計算部５３と、第１変化ベクトル計算部６０と、第２変化ベクトル計算部６１と、べクトル間角度計算部６２と、判定部５４とを有する。これら各部は、ＣＰＵが画像処理プログラムを実行したときにＲＡＭなどの主記憶部上で構成されうる。

取得部５１は、画像入力部で時系列で撮像されたフレーム単位の画像を取得する。取得した画像は、不図示の記憶部に格納される。ここでは例えば、取得部５１は、フレーム単位の画像に対して一意に識別可能なフレーム番号と撮像された時刻と共に各画像を取得する。特徴点検出部５２は、取得部５１が取得した画像中から顔特徴点を検出する。具体的には、特徴点検出部５２は、取得部５１が取得した画像で顔を表す領域（顔領域という）を検出し、検出した顔領域において顔特徴点を検出して、画像中の顔の有無や、顔領域の位置を表す座標及びその大きさや、顔特徴点の位置を表す座標や、これらの検出結果の確信度などの情報である特徴点情報を検出結果として出力する。尚、画像上の位置を特定することを「検出する」と表す。顔特徴点の検出には公知の技術を用いれば良い。例えば、非特許文献１，２に示される方法を用いて、顔領域の検出を行い、検出した顔領域の情報を利用して、非特許文献３，４に示される方法を用いて、顔特徴点の検出を行うようにする。尚、画像入力部で撮像された画像上の座標を画像座標という。この画像座標により顔領域の位置や顔特徴点の位置が表される。

角度計算部５３は、特徴点検出部５２が出力した特徴点情報に含まれる顔特徴点の座標を用いて、人物の顔の向き（姿勢）を表す角度（顔向き角度という）を計算する。顔向き角度の計算には公知の技術を用いれば良い。例えば、非特許文献１，５に示される方法を用いて、顔特徴点の座標から顔向き角度を計算する。

第１変化ベクトル計算部６０は、角度計算部５３が計算した顔向き角度を用いて、顔向き角度の時間的な変化を示す変化ベクトルを計算する。第２変化ベクトル計算部６１は特徴点検出部５２が出力した特徴点情報に含まれる顔特徴点の座標を用いて、顔特徴点の座標の時間的な変化を示す変化ベクトルを計算する。ベクトル間角度計算部６２は、第１変化ベクトル計算部６０が計算した変化ベクトルと第２変化ベクトル計算部６１が計算した変化ベクトルとがなすベクトル間角度を計算する。判定部５４は、ベクトル間角度計算部６２が計算したベクトル間角度が予め定められた第１閾値より小さい場合に、取得部５１が取得した画像に撮像されたものが写真ではなく立体的な人物の顔であると判定して、その判定結果を出力する。この判定結果は、例えば、画像に表される顔がいずれの人物の顔であるかを認識する顔認識アプリケーションや、その他、顔の画像を処理する顔画像処理アプリケーションで利用される。

以上のようにして、画像処理装置５０は、画像入力部で撮像された画像に含まれる人物の顔の立体形状を解析して、当該画像に撮像されたものが写真ではなく立体的な人物の顔であるかを判定することにより、なりすましに関する判定を行なう。

ここで、角度計算部５３が顔向き角度を計算する方法の概要について説明する。ｎ行ｍ列の行列Ａの擬似逆行列Ａ＋は式（１）で定義される。「ｎ≦ｍ」のときは上段の式で計算され，「ｎ≧ｍ」のときは下段の式で計算される。Ａが正方行列のときは、擬似逆行列は逆行列に等しい。

３次元ユークリッド空間中のｎ個の点の座標を式（２）のように行列Ｘで表し、回転行列Ｒを式（３）で表す。式（３）中の上付きのＴは転置行列を示す。Ｒを構成する各行を式（４）のようにベクトルＲｉで表す。第ｆフレームの画像における顔向き角度を回転行列Ｒｆで表し、第ｆフレームの画像におけるｎ個の顔特徴点の座標をＸｆとし、基準となる第０フレームの特徴点の座標をＸ０とすると、式（５）の関係がある。更に、第ｆフレームの画像における特徴点の座標Ｘｆが得られたときに、回転行列Ｒｆを求めるには、Ｘｆの擬似逆行列を用いて式（６）によって、即ち、行列の掛け算で求めることができる。式（６）による計算は、ｎが「４」以上ならば最小２乗法による連立線型方程式の解に相当する。

画像から直接得られる特徴点の座標は２次元の画像における座標であるので、その場合に適用できる式を式（２）〜式（６）と同様に記述することができる。２次元上のｎ個の点の座標を式（７）のように行列Ｘ’で表し、回転行列の上２段の部分を式（８）で定義されるＲ’で表すと、第ｆフレームの画像における回転行列Ｒ’ｆは、第ｆフレームのｎ個の特徴点の２次元の座標Ｘ’ｆと、基準となる第０フレームの特徴点の２次元の座標Ｘ０とを用いて、式（９）で表すことができる。

誤差の含んだ特徴点の座標から計算された２×３行列の回転行列Ｒｆ’から顔向き角度を求めるには、「３×３」の完全な形の回転行列を導出し、それから３次元の角度ベクトルを導出し、画像平面内の成分を除外して、２次元の顔向き角度を求める必要がある。

２×３行列の回転行列Ｒｆ’は行ベクトルＲ１と行ベクトルＲ２とで構成される。まずこれらのノルムが「１」になるように式（１０）によって正規化して、行ベクトルＲ’１と行ベクトルＲ’２とを各々求める。次に、これら２つが互いに垂直になるように式（１１），（１２）によってベクトルの方向を修正して行ベクトルＲ’’１と行ベクトルＲ’’２とを各々求める。求まった２つのベクトルは、式（１３）を満たす。ここまでで、完全な形の回転行列の上２行が得られた。

残りの最下行を求めるために、４元数λ０，λ１，λ２，λ３を媒介にした計算を行う。４元数を用いると回転行列Ｒは式（１４）で表される。回転行列Ｒの成分のうちの左上の４つ（Ｒ１１，Ｒ１２，Ｒ２１，Ｒ２２）を用いると、式（１５）〜式（２２）を用いて４元数を計算することができるが、λ１，λ２については符号の不定性が残る。最後にＲ１３の符号と式（１４）の第１行第３列の２（λ１λ３＋λ０λ２）の符号が一致する場合を採用することにより符号の不定性は解消し、一意的に４元数が求まる。求まった４元数と式（１４）を用いて完全な形の３×３の回転行列が求まる。完全な形の３×３の回転行列は、３次元回転運動を表す。

回転行列は３次元の角度ベクトルであるロールφ，ピッチθ，ヨーψで表すことができる。これらの関係は式（２３）で表され、各角度の取りえる範囲は一般性を失わずに式（２４）で表される。θは式（２５）で計算され、φは式（２６）〜式（２８）で計算される。これは、プログラミング言語のＣの場合は、atan2関数を用いて式（２９）で計算される。即ち、式（２４）で表されるφの範囲においては、式（２８）のφをarctan関数で求めようとすると２つの値をとり得るため、cosφとsinφの符号の情報を得るための仕組みである。ψに関しても同様であり、式（３０）に対して、式（３１）のようにatan2関数を用いてψを求める。

カメラ座標における回転行列ＲＣｆを、顔向き角度を表す座標における回転行列ＲＨｆに変換するために、式（３２）〜式（３４）を利用する。カメラ座標について、徐剛、辻三郎著「３次元ビジョン」（共立出版、１９９８）の第２章に基づいて簡単に説明する。「カメラ座標」とは、カメラの光軸をＺ軸にとり、Ｚ軸と垂直に残り２つのＸ軸とＹ軸を設定した３次元座標である。最も単純なカメラモデルである平行射影を用いた場合は、カメラ座標［Ｘ，Ｙ，Ｚ］T とその画像平面上の２次元像の画像座標［ｘ，ｙ］T の間には、［Ｘ，Ｙ］T ＝［ｘ，ｙ］T の関係が成り立つ。ここで，T は転置行列を表す。

次に、本実施の形態においてなりすましに関する判定の原理の概要を説明する。図２は、顔向き角度と顔特徴点としての鼻孔中点の座標とを時系列で表す図である。図２（ａ）は、人物を撮像した場合の顔向き角度と鼻孔中点の座標とを表している。横軸はフレーム番号であり、撮像された時刻の順に並んでいる。縦軸は座標の値である。横方向の顔向き角度を実線と＋印（右向きが正）で表し、縦方向の顔向き角度を破線と×印（上向きが正）で表し、２つの鼻孔中点の位置のｘ座標を点線と＊印で表し、その位置のｙ座標を細かい点線と□印とで表している。横方向の顔向き角度（実線）と鼻孔中点の位置のｘ座標（点線）との動きには相関があり、縦方向の顔向き角度（破線）と鼻孔位置の中点のｙ座標（細かい点線）の動きには相関があることが分かる。また、４つの曲線はほぼ滑らかに連続的に変化している。一方、図２（ｂ）は、写真に含まれる顔の顔向き角度と鼻孔中点の座標とを表している。線種は上側の図と同様である。この図から、４つの曲線の間には特に相関は無く、動きは不連続的で顔向き角度はほぼランダムに変化していることが分かる。

図３は、人物の顔を撮像した画像と顔が含まれる写真を撮像した画像とにおける顔向き角度の軌跡の一例を表す図である。図３(a)は人物の顔を撮像した場合のものであり、図３(b)は顔が含まれる写真を撮像した場合のものである。図３(a)に示されるように、人物の顔の顔向き角度は滑らかに変化し、その顔向き角度の軌跡はある領域内に収まる。一方、図３(b)に示されるように、写真に映った顔の顔向き角度の軌跡は、原点付近を中心とする白色ノイズに似たものとなる。

次に、本実施の形態に係る画像処理装置５０が行うなりすまし検出処理の手順について図４を用いて説明する。ステップＳ１では、画像処理装置５０の取得部５１が、画像入力部が撮像した画像を取得する。ステップＳ２では、特徴点検出部５２が、ステップＳ１で取得された画像から顔特徴点を検出する。ステップＳ２で特徴点が検出されなかった場合（ステップＳ３：ＮＯ）、ステップＳ１に戻る。ステップＳ２で顔特徴点が検出された場合（ステップＳ３：ＹＥＳ）、特徴点検出部５２は、顔領域の位置を表す座標及び大きさと顔特徴点の位置を表す座標の情報である特徴点情報を出力する。ステップＳ４では、角度計算部５３が、特徴点情報に含まれる顔特徴点の座標を用いて、式（７）〜式（３４）を用いて、２次元の顔向き角度を計算する。

ここで、ステップＳ４について図５を用いて更に詳しく説明する。尚、画像処理装置５０は、顔向き角度が「０」となる基準姿勢における顔特徴点の座標である標準的３次元座標Ｘ０を予め設定してその擬似逆行列Ｘ０＋を計算し、これを例えば主記憶部に記憶しておく。ステップＳ４０では、角度計算部５３は、ステップＳ２で検出された顔特徴点の座標を式（７）の２×ｎ行列Ｘ’に代入して、式（９）により回転行列Ｒ’ｆを計算する。ステップＳ４１では、角度計算部５３は、式（１０）〜式（１３）を用いて、回転行列Ｒ’ｆを構成する２つの行ベクトルをＲ’’１とＲ’’２とにする。ステップＳ４２では、角度計算部５３は、式（１４）〜式（２２）を用いて４元数を計算する。符号の不定性はＲ１３の符号で判定して解消する。ステップＳ４３では、角度計算部５３は、ステップＳ４２で計算した４元数と式（１４）とを用いて、カメラ座標における完全な形の回転行列を計算し、これを回転行列ＲＣｆとする。ステップＳ４４では、角度計算部５３は、式（３２）〜式（３４）を用いてカメラ座標の回転行列ＲＣｆを、顔向き角度を表現する座標における回転行列ＲＨｆに変換する。ステップＳ４５では、角度計算部５３は、式（２３）〜式（３１）を用いて、３次元の角度ベクトル（φ，θ，ψ）を計算し、画像平面内の角度に相当するφを除外した（θ，ψ）を２次元の顔向き角度のベクトルとする。以上のようにして、ステップＳ４では角度計算部５３は顔向き角度を計算する。

図４の説明に戻る。ステップＳ５では、第１変化ベクトル計算部６０が、ステップＳ４で計算された顔向き角度を用いて、顔向き角度の時間的変化を示す変化ベクトルを計算する。第２変化ベクトル計算部６１が、ステップＳ３で検出された顔特徴点の座標を用いて、顔特徴点の座標の時間的変化を示す変化ベクトルを計算する。ベクトル間角度計算部６２が、第１変化ベクトル計算部６０が計算した変化ベクトルと第２変化ベクトル計算部６１が計算した変化ベクトルとがなすベクトル間角度を計算する。ステップＳ６では、判定部５４が、ステップＳ５で計算されたベクトル間角度が予め定められた第１閾値より小さいか否かを判定し、ベクトル間角度が第１閾値より小さい場合、ステップＳ１で取得された画像に撮像されたものが写真ではなく立体的な人物の顔であると判定して、その判定結果を出力する。ステップＳ７では、判定部５４が、なりすまし検出処理を終了するか否かを判定し、終了すると判定した場合には処理を終了し、終了しないと判定した場合には、ステップＳ１に戻る。

以上のようにして、画像入力部で撮像された画像に映った人物の顔の立体形状を解析して、当該画像に撮像されたものが写真ではなく立体的な人物の顔であるかを判定することにより、なりすましに関する判定を行う。顔向き角度は複数の特徴点座標によって計算するため特定の一つの特徴点の誤差の影響を受けにくい。また、いくつかある特徴点のうち、鼻孔位置のような安定して検出されやすい特徴点が存在する。従って、誤差の影響を受けにくい顔向き角度から第１変化ベクトルを計算し、鼻孔位置などの安定して検出される特徴点を用いて第２変化ベクトルを計算することができるため、本実施形態の手法は、ある１個の特徴点のノイズの影響を受けにくく、動作が安定していると言える。また、顔認識処理のために取得した特徴点座標を活用して判定を行うことができるので、なりすまし判定のために新たに画像データを処理する方法に比べれば高速に判定することができる。即ち、このような構成によれば、人物の顔の立体形状を解析する際に検出する特徴点のノイズに対して頑健で且つ高速に、なりすましに関する判定を行なうことができる。

[第２の実施の形態]
次に、画像処理装置及び方法の第２の実施の形態について説明する。なお、上述の第１の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。

図６は、本実施の形態に係る画像処理装置５０Ａの構成を示す図である。本実施の形態では、画像処理装置５０Ａは、取得部５１と、特徴点検出部５２と、角度計算部５３と、第１変化ベクトル計算部６０と、第２変化ベクトル計算部６１と、べクトル間角度計算部６２と、判定部５４とに加え、角度情報記憶部５５を有する。

角度情報記憶部５５は、各フレームに対して角度計算部５３が計算した顔向き角度を時系列でフレーム番号と対応付けて記憶する。また、角度情報記憶部５５は、処理対象のフレーム（処理対象フレーム）に対して以下に説明する判定部５４が参照する過去の処理対象フレームであり後述の検索条件に該当するフレーム（該当過去フレームという）のフレーム番号と、時系列上処理対象フレームと該当過去フレームとの間のフレームであり後述の特定条件に該当するフレーム（中間フレームという）のフレーム番号とを記憶する。判定部５４は、角度情報記憶部５５にフレーム毎に記憶された顔向き角度を参照して、該当過去フレームを検索し、中間フレームを特定する。

次に、本実施の形態に係る画像処理装置５０Ａの行うなりすまし検出処理の手順について図７を用いて説明する。ステップＳ１〜Ｓ４は上述の第１の実施の形態と同様である。尚、ステップＳ４では、角度計算部５３は、処理対象フレームに対して顔向き角度を計算した後、これを時系列でフレーム番号と対応付けて角度情報記憶部５５に記憶させる。ステップＳ１０では、判定部５４が、フレーム番号と対応付けられて角度情報記憶部５５に記憶された顔向き角度を参照して、以下の検索条件により該当過去フレームを検索する。検索条件とは、フレームにおいて計算された顔向き角度が、処理対象フレームの顔向き角度との角度差がΔθ以上となることである。このような該当過去フレームがなかった場合にはステップＳ１に戻り、該当過去フレームがあった場合には、ステップＳ１１で、判定部５４が、フレーム番号と対応付けられて角度情報記憶部５５に記憶された顔向き角度を参照して、以下の特定条件により中間フレームを特定する。特定条件とは、時系列上処理対象フレームと該当過去フレームとの間のフレームのうち、フレームにおいて計算された顔向き角度が、処理対象フレームの顔向き角度と該当の過去のフレーム（該当過去フレーム）の顔向き角度との中間の角度に最も近いフレームである。このようにして、判定部５４は、当該処理対象フレームに対する該当過去フレームを検索すると共に中間フレームを特定してこれらのフレーム番号を各々角度情報記憶部５５に記憶させる。

図８は、顔向き角度の変位と鼻孔中点の座標の変位とを概念的に示す図である。顔特徴点を鼻孔中点とし、処理対象フレームにおける顔向き角度をａ０、鼻孔中点の座標をｘ０とすると、当該処理対象フレームから遡って顔向き角度の角度差がΔθ以上になる該当過去フレームの顔向き角度はａ２、鼻孔中点の座標はｘ２となる。処理対象フレームにおける顔向き角度と該当過去フレームにおける顔向き角度との中間の角度に最も近い顔向き角度が計算されたフレームの顔向き角度はａ１、鼻孔中点の座標はｘ１となる。

図７の説明に戻る。ステップＳ５では第１変化ベクトル計算部６０が、ステップＳ１１で計算された顔特徴点における顔向き角度を用いて、顔向き角度の時間的変化を示す変化ベクトルを計算する。第２変化ベクトル計算部６１が、ステップＳ１１で計算された顔特徴点を用いて、顔特徴点の座標の時間的変化を示す変化ベクトルを計算する。ベクトル間角度計算部６２が、第１変化ベクトル計算部６０が計算した変化ベクトルと第２変化ベクトル計算部６１が計算した変化ベクトルとがなすベクトル間角度を計算する。ステップＳ５以降は上述の第１の実施の形態と同様である。

以上のような構成によれば、人物の顔の立体形状を解析する際に検出する特徴点のノイズに対してより頑健で且つ高速に、なりすましに関する判定を行なうことができる。

尚、上述した第１の実施の形態及び第２の実施の形態においては、顔特徴点の座標として、画像座標における座標を用いたが、画像座標から他の座標に変換した相対座標を用いるようにしても良い。例えば、図９に示すように、顔の中心線上にある眉間，目頭中点，鼻頂点，口中点の４つの顔特徴点を用いる場合、眉間の座標が（０，０），口中点の座標が（０，１）となるように、平行移動と回転と拡大（計４自由度）による座標変換を行い、目頭中点と鼻頂点との変換後の相対座標を各々求めることにより、これら４つの特徴点の相対的な位置の動きを効率的に取得することができる。図１０は、異なる顔向き角度における顔の画像と顔中心線上の顔特徴点の座標との関係を説明するための図である。図中の参照番号１１は上向きの顔画像における顔特徴点、１２は左向きの顔画像における顔特徴点、１３は右向きの顔画像における顔特徴点を示す。同図では、写真ではなく実際の人物の顔を撮像装置で撮像した画像の場合には、顔向き角度の変化と同期して、眉間、目頭中点，鼻頂点，口中点の４つの特徴点の相対座標も変化することが示されている。即ち、このような性質を利用して、異なる顔向き角度の複数の画像に対して顔特徴点の相対座標の変化が大きい場合、画像入力部で画像に撮像されたものが写真ではなく立体的な人物の顔であるかを判定することができる。

[第３の実施の形態]
次に、画像処理装置及び方法の第３の実施の形態について説明する。なお、上述の第１の実施の形態又は第２の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。

本実施の形態においては、顔の中心線上にある少なくとも３つの顔特徴点を用い、更に、この顔特徴点の座標として、画像座標から他の座標に変換した相対座標を用いる。図１１は、本実施の形態に係る画像処理装置５０Ｂの構成を示す図である。本実施の形態に係る画像処理装置５０Ｂの構成は、上述の第１の実施の形態に係る画像処理装置５０の構成とは以下の点で異なる。画像処理装置５０Ｂは、取得部５１と、特徴点検出部５２と、角度計算部５３と、第１変化ベクトル計算部６０と、第２変化ベクトル計算部６１と、べクトル間角度計算部６２と、判定部５４とに加え、座標変換部５６と、評価値計算部６３とを更に有する。取得部５１、角度計算部５３、第１変化ベクトル計算部６０及びべクトル間角度計算部６２の構成は第１の実施の形態と同様である。特徴点検出部５２は、上述の第１の実施の形態と同様にして、取得部５１が取得した画像中から顔特徴点を検出する。但し、求めたい特徴点によっては、他の複数の顔特徴点の座標を用いて計算によって求めることもある。例えば、目頭の中点は、左右の目頭の座標の平均位置として求めたり、眉間は左右の眉内端の座標の中点として求めたりすることができる。

座標変換部５６は、特徴点検出部５２が出力した特徴点情報に含まれる顔特徴点の座標を用いて、特定の２個の顔特徴点の座標が（０，０）と（０，１）になるように、平行移動と回転と拡大（計４自由度）による座標変換を行って、変換後の顔特徴点の座標を求め、求めた座標を相対座標として出力する。例えば、図９に示すように、眉間，目頭中点，鼻頂点，口中点の４つの顔特徴点を用いる場合、眉間の座標が（０，０），口中点の座標が（０，１）となるように，平行移動と回転と拡大（計４自由度）による座標変換を行い、目頭中点と鼻頂点との変換後の相対座標を各々求める。相対的な位置の動きについては図１０で説明した通りである。

第２変化ベクトル計算部６１は、座標変換部５６が出力した顔特徴点の相対座標を用いて、顔特徴点の座標の時間的変化を示す変化ベクトルを計算する。評価値計算部６３は、べクトル間角度計算部６２が計算したベクトル間角度が小さいほど大きい値をとるような評価値を計算する。判定部５４は、評価値計算部６３が計算した評価値が予め定められた第３閾値より大きい場合に、取得部５１が取得した画像に撮像されたものが写真ではなく立体的な人物の顔であると判定して、その判定結果を出力する。即ち、判定部５４は、異なる顔向き角度に対して顔特徴点の相対座標の変化が予め定められた第３閾値より大きい場合に、画像入力部で画像に撮像されたものが写真ではなく立体的な人物の顔であると判定する。

次に、本実施の形態に係る画像処理装置５０Ｂの行うなりすまし検出処理の手順について図１２を用いて説明する。ステップＳ１，Ｓ２，Ｓ４は上述の第１の実施の形態と同様である。尚、ステップＳ２では、特徴点検出部５２は、顔領域の位置を表す座標及び大きさと顔特徴点の位置を表す座標の情報を出力する。ステップＳ２０では、座標変換部５６が、ステップＳ２で出力された顔特徴点の座標を用いて、特定の２個の顔特徴点の座標が（０，０）と（０，１）になるように、平行移動と回転と拡大（計４自由度）による座標変換を行い、変換後の顔特徴点の相対座標を出力する。ステップＳ５では、第１変化ベクトル計算部６０が、ステップＳ４で計算された顔向き角度を用いて、顔向き角度の時間的変化を示す変化ベクトルを計算する。第２変化ベクトル計算部６１が、ステップＳ２０で出力された顔特徴点の相対座標を用いて、顔特徴点の座標の時間的変化を示す変化ベクトルを計算する。ベクトル間角度計算部６２が、第１変化ベクトル計算部６０が計算した変化ベクトルと第２変化ベクトル計算部６１が計算した変化ベクトルとがなすベクトル間角度を計算する。ステップＳ２１では、評価値計算部６３が、ステップＳ５で計算されたベクトル間角度が小さいほど大きい値をとるような評価値を計算する。ステップＳ６では、判定部５４が、ステップＳ２１で計算した評価値が予め定められた第３閾値より大きいか否かを判定し、評価値が予め定められた第３閾値より大きい場合に、ステップＳ１で取得された画像に撮像されたものが写真ではなく立体的な人物の顔であると判定して、その判定結果を出力する。ステップＳ７は上述の第１の実施の形態と同様である。

以上のようにして、画像入力部で撮像された画像に映った人物の顔の立体形状を解析する際に、顔特徴点を相対座標に変換し、異なる顔向き角度に対して相対座標の変化が大きい場合に、当該画像に撮像されたものが写真ではなく立体的な人物の顔であると判定する。このような構成によれば、少なくとも３つの顔特徴点を用いてその判別を行うことができる。

[第４の実施の形態]
次に、画像処理装置及び方法の第４の実施の形態について説明する。なお、上述の第１の実施の形態乃至第３の実施の形態と共通する部分については、同一の符号を使用して説明したり、説明を省略したりする。

本実施の形態においては、時刻又は顔特徴点の異なる複数のベクトル間角度を入力とする関数により計算される評価値を用いて、画像入力部で撮像された画像が写真を表すものか立体的な人物の顔を表すものであるかを判定する。図１３は、本実施の形態に係る画像処理装置５０Ｃの構成を示す図である。本実施の形態に係る画像処理装置５０Ｃの構成は、上述の第３の実施の形態に係る画像処理装置５０Ｂの構成とは以下の点で異なる。画像処理装置５０Ｃは、取得部５１と、特徴点検出部５２と、角度計算部５３と、判定部５４と、座標変換部５６とに加え、フレーム評価値計算部５７と、フレーム情報記憶部５８と、時系列評価値計算部６３とを更に有する。取得部５１、特徴点検出部５２、角度計算部５３及び座標変換部５６の構成は第３の実施の形態と同様である。

フレーム情報記憶部５８は、各フレームに対して計算されたフレーム情報の履歴を時系列でフレーム番号と対応付けて記憶する。フレーム情報とは、特徴点検出部５２が出力した特徴点情報と、角度計算部５３が計算した顔向き角度と、座標変換部５６が変換した顔特徴点の相対座標と、後述のフレーム評価値計算部５７が計算した評価値とである。特徴点情報は特徴点検出部５２によって記憶され、顔向き角度は角度計算部５３によって記憶され、顔特徴点の相対座標は座標変換部５６によって記憶され、評価値はフレーム評価値計算部５７によって記憶される。また、フレーム情報記憶部５８は、処理対象のフレーム（処理対象フレーム）に対して以下に説明するフレーム評価値計算部５７が評価値を計算する際に参照する過去の処理対象フレームであり第２の実施の形態と同様の検索条件に該当するフレーム（該当過去フレーム）のフレーム番号と、時系列上処理対象フレームと該当過去フレームとの間のフレームであり第２の実施の形態と同様の特定条件に該当するフレーム（中間フレーム）のフレーム番号とを記憶する。

フレーム評価値計算部５７は、処理対象フレームに対して評価値を計算するものであり、処理対象フレームに対して、角度計算部５３が計算した顔向き角度と、座標変換部５６が変換した顔特徴点の相対座標と、フレーム情報記憶部５８に記憶された該当過去フレームに対するフレーム情報及び中間フレームに対するフレーム情報とを用いて、評価値を計算する。評価値を計算する方法の詳細については後述する。また、フレーム評価値計算部５７は、処理対象フレームに対して計算した評価値をフレーム番号と対応付けてフレーム情報記憶部５８に記憶させる。

時系列評価値計算部６４は、フレーム評価値計算部５７が処理対象フレームに対して計算した評価値と、フレーム情報記憶部５８に記憶された、複数の過去のフレームに対する評価値とを用いて、複数フレームからなる時系列に対する評価値である時系列評価値を計算する。これは同一人物の顔画像がせいぜい緩やかな変化をしながらある一定時間連続して撮影されることで複数の顔画像が取得されていると想定し、これら複数の顔画像からなる一つの時系列に対して人物か写真かを判定するものである。判定部５４は、時系列評価値計算部６４が計算した時系列評価値が予め定められた第４閾値より大きい場合、取得部５１が取得した画像に撮像されたものが立体的な人物の顔であると判定し、時系列評価値が第４閾値以下である場合、取得部５１が取得した画像に撮像されたものが写真であると判定して、その判定結果と時系列評価値とを出力する。

次に、本実施の形態に係る画像処理装置５０Ｃの行うなりすまし検出処理の手順について図１４を用いて説明する。ステップＳ１，Ｓ２，Ｓ４は上述の第１の実施の形態と同様である。尚、ステップＳ２では、特徴点検出部５２は、顔領域の位置を表す座標及び大きさと顔特徴点の位置を表す座標の情報である特徴点情報を出力してこれをフレーム番号と対応付けてフレーム情報記憶部５８に記憶させる。また、ステップＳ４では、角度計算部５３は、処理対象フレームに対して顔向き角度を計算した後、これを時系列でフレーム番号と対応付けて角度情報記憶部５５に記憶させる。ステップＳ３０では、フレーム評価値計算部５７が、フレーム番号と対応付けられてフレーム情報記憶部５８に記憶されたフレーム情報を参照して、上述の検索条件により該当過去フレームを検索する。このような該当過去フレームがなかった場合にはステップＳ１に戻り、該当過去フレームがあった場合には、ステップＳ３１で、フレーム評価値計算部５７が、フレーム番号と対応付けられてフレーム情報記憶部５８にフレーム情報を参照して、上述の特定条件により中間フレームを特定する。このようにして、フレーム評価値計算部５７は、当該処理対象フレームに対する該当過去フレームを検索すると共に中間フレームを特定してこれらのフレーム番号を各々フレーム情報記憶部５８に記憶させる。

ステップＳ３２では、座標変換部５６は、上述の第３の実施の形態と同様にして、処理対象フレームに対する顔特徴点の相対座標を出力し、更にこれをフレーム番号と対応付けてフレーム情報記憶部５８に記憶させる。ステップＳ３３では、フレーム評価値計算部５７が、角度計算部５３が処理対象フレームに対して計算した顔向き角度と、座標変換部５６が処理対象フレームに対して出力した顔特徴点の相対座標と、当該処理対象フレームに対する該当過去フレーム及び中間フレームのそれぞれについて各フレーム番号に対応付けられてフレーム情報記憶部５８に記憶された顔向き角度及び特徴点の相対座標とを用いて、処理対象フレームに対して評価値を計算する。

ここでフレーム評価値計算部５７が評価値を計算する方法について詳細に説明する。本実施の形態では、図８に関し、式（３５），式（３６）に示されるように、処理対象フレームの顔向き角度ベクトルをａ０，処理対象フレームの顔特徴点（目頭中点など）の相対座標のベクトルをｘ０，中間フレームの顔向き角度のベクトルをａ１，中間フレームの顔特徴点の相対座標のベクトルをｘ１，該当過去フレームの顔向き角度のベクトルをａ２，該当過去フレームの顔特徴点の相対座標のベクトルをｘ２とする。顔向き角度の変化ベクトルｕｉを式（３７）で定義し、顔特徴点の相対座標の変化ベクトルｖｉを式（３８）で定義する。更に、顔向き角度の変化ベクトルｕｉと顔特徴点の相対座標の変化ベクトルｖｉのノルムを各々「１」に正規化したベクトルをそれぞれｕ’ｉ，ｖ’ｉとし、それぞれ式（３９），式（４０）で定義する。以上のような定義において、フレーム評価値計算部５７は、顔向き角度の変化ベクトルｕｉが滑らかに変化しているかどうかを示す指標としてｕ’０とｕ’１との内積ｓ１を式（４１）により計算する。また、フレーム評価値計算部５７は、顔特徴点の変化ベクトルｖｉが滑らかに変化しているかどうかを示す指標としてｖ’０とｖ’１との内積ｓ２を式４２により計算する。更に、フレーム評価値計算部５７は、対象物の立体性を示す指標として顔向き角度の変化ベクトルｕｉと顔特徴点の相対座標の変化ベクトルｖｉとの内積を式（４３），式（４４）により２つ計算しｓ３，ｓ４とする。そして、フレーム評価値計算部５７は、予め適切に設定しておいた重みベクトルｗと、内積ｓ１，ｓ２，ｓ３，ｓ４を成分とする特徴量ベクトルｓとの内積を式（４５）により計算して、これを処理対象フレームの評価値とする。この式（４５）に表される、時刻又は顔特徴点の異なる複数のベクトル間角度を入力とする関数により計算される評価値が小さければ、ステップＳ１で取得された画像は写真を表すものである可能性が高い。

図１４の説明に戻る。以上のようにしてステップＳ３３ではフレーム評価値計算部５７は評価値を計算しこれをフレーム情報記憶部５８に記憶させる。ステップＳ３４では、時系列評価値計算部６４が、フレーム評価値計算部５７が処理対象フレームに対して計算した評価値と、処理対象フレーム以外の複数のフレームのそれぞれに対してフレーム情報記憶部５８に記憶されている評価値とを用いて、処理対象フレームの時系列に対する評価値である時系列評価値を計算する。そして、判定部５４が、計算された時系列評価値が予め定められた第４閾値より大きいか否かを判定し、時系列評価値が第４閾値より大きい場合、ステップＳ１で取得された画像に撮像されたものが立体的な人物の顔であると判定し、時系列評価値が第４閾値以下である場合、ステップＳ１で取得された画像に撮像されたものが写真であると判定して、その判定結果と時系列評価値とを出力する。ステップＳ７は上述の第１の実施の形態と同様である。

以上のように、画像入力部で撮像された画像に映った人物の顔の立体形状を解析する際に、時刻又は顔特徴点の異なる複数のベクトル間角度を入力とする関数により計算される評価値を用いることにより、画像に撮像されたものが写真であるか立体的な人物の顔であるかをより正確に判定することができる。

なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に示すような種々の変形が可能である。

上述した各実施の形態において、画像処理装置５０,５０Ａ,５０Ｂ,５０Ｃで実行される各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また当該プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録し、コンピュータで実行可能な複数の命令を含むプログラムを有するコンピュータ読取り可能な記録媒体として提供するように構成しても良い。

上述した第３実施の形態又は第４の実施の形態においても、第１の実施の形態と同様に、判定部５４は、ベクトル間角度を用いて、取得部５１が取得した画像に撮像されたものが写真ではなく立体的な人物の顔であることを判定するようにしても良い。具体的には、判定部５４は、座標変換部５６が出力した顔特徴点の相対座標と、角度計算部５３が計算した顔向き角度とを用いて計算された、顔向き角度の時間的な変化を示す変化ベクトルと、顔特徴点の相対座標の時間的な変化を示す変化ベクトルとがなすベクトル間角度が予め定められた第５閾値より小さい場合、取得部５１が取得した画像に撮像されたものが写真ではなく立体的な人物の顔であると判定して、その判定結果を出力する。

このような構成によっても、最低３個の顔特徴点を用いてなりすましに関する判定を行うことができる。

５０，５０Ａ，５０Ｂ，５０Ｃ 画像処理装置
５１ 取得部
５２ 特徴点検出部
５３ 角度計算部
５４ なりすまし判定部
５５ 角度情報記憶部
５６ 座標変換部
５７ フレーム評価値計算部
５８ フレーム情報記憶部

Claims (9)

1. 時系列で撮像された複数の画像を取得する取得部と、
   前記複数の画像間における変化であって前記複数の画像の各々に含まれる対象物の姿勢を表す角度の変化を示す第１変化ベクトルを計算する第１計算部と、
   前記対象物の特徴点の座標の変化を示す第２変化ベクトルを計算する第２計算部と、
   前記第１変化ベクトルと前記第２変化ベクトルとがなすベクトル間角度を計算する第３計算部と、
   前記ベクトル間角度が予め定められた第１閾値より小さい場合に、前記対象物が立体的であると判定する判定部とを備える
   ことを特徴とする画像処理装置。
2. 前記対象物は、人物の顔であり、
   前記姿勢を表す角度は、予め設定された、前記特徴点の３次元座標で構成された行列の擬似逆行列と、前記画像上の前記特徴点の座標で構成された行列との乗算により求められる回転行列に基づいて求められる顔向き角度であり、
   前記第１計算部は、前記回転行列の時間的変化である３次元回転運動から、画像平面内の１つの成分を除いた残りの２次元ベクトルである前記第１変化ベクトルを計算し、
   前記第２計算部は、左右いずれかの鼻孔、左右の鼻孔中点及び鼻頂点のうち少なくとも１つである前記特徴点の変化を示す前記第２変化ベクトルを計算する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記顔向き角度と前記特徴点とを記憶するフレーム情報記憶部と、
   前記画像の評価値を計算するフレーム評価値計算部と、
   を更に備え、
   前記フレーム評価値計算部は、処理対象の前記画像に対して計算された前記顔向き角度の変化を示す前記第１変化ベクトルの大きさが予め定められた大きさよりも大きくなる前記顔向き角度を、前記フレーム情報記憶部に記憶された複数の前記顔向き角度から特定するとともに、特定された前記顔向き角度に対応する画像を前記複数の画像から特定し、
   前記第１計算部は、前記処理対象の画像の前記顔向き角度と、前記特定された画像の前記顔向き角度との時間的変化である３次元回転運動から、画像平面内の１つの成分を除いた残りの２次元ベクトルである前記第１変化ベクトルを計算する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記対象物の特徴点の座標を少なくとも３つ検出する検出部と、
   ３つの前記特徴点の座標のうち２つの前記特徴点の座標を基準とした残りの１つの前記特徴点の座標の相対座標を計算する第４計算部とを更に備え、
   前記対象物は、人物の顔であり、
   前記姿勢を表す角度は、予め設定された、前記特徴点の３次元座標で構成された行列の擬似逆行列と、前記画像上の前記特徴点の座標で構成された行列との乗算により求められる回転行列に基づいて求められる顔向き角度であり、
   前記判定部は、前記顔向き角度の異なる複数の前記画像における前記特徴点の相対座標の変化が予め定められた第２閾値より大きい場合に、前記画像に含まれる対象物が立体的であると判定する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記検出部は、前記対象物である人物の顔の中心線上にある前記特徴点の座標を少なくとも３つ検出する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第２計算部は、複数の前記画像間における変化であって前記対象物の特徴点の相対座標の変化を示す第２変化ベクトルを計算する
   ことを特徴とする請求項４又は５に記載の画像処理装置。
7. 時刻又は前記特徴点の異なる複数の前記ベクトル間角度を入力とする関数を用いて評価値を計算する評価値計算部を更に備え、
   前記判定部は、前記評価値を用いて、前記画像に含まれる対象物が立体的であるか否かを判定する
   ことを特徴とする請求項４乃至６のいずれか一項に記載の画像処理装置。
8. 取得部と、第１計算部と、第２計算部と、第３計算部と、判定部とを備える画像処理装置で実行される画像処理方法であって、
   前記取得部が、時系列で撮像された複数の画像を取得する取得ステップと、
   前記第１計算部が、前記複数の画像間における変化であって前記複数の画像の各々に含まれる対象物の姿勢を表す角度の変化を示す第１変化ベクトルを計算する第１計算ステップと、
   前記第２計算部が、前記対象物の特徴点の座標の変化を示す第２変化ベクトルを計算する第２計算ステップと、
   前記第３計算部が、前記第１変化ベクトルと前記第２変化ベクトルとがなすベクトル間角度を計算する第３計算ステップと、
   前記判定部が、前記ベクトル間角度が予め定められた第１閾値より小さい場合に、前記画像に含まれる対象物が立体的であると判定する判定ステップとを含む
   ことを特徴とする画像処理方法。
9. コンピュータを、
   時系列で撮像された複数の画像を取得する取得部と、
   前記複数の画像間における変化であって前記複数の画像の各々に含まれる対象物の姿勢を表す角度の変化を示す第１変化ベクトルを計算する第１計算部と、
   前記対象物の特徴点の座標の変化を示す第２変化ベクトルを計算する第２計算部と、
   前記第１変化ベクトルと前記第２変化ベクトルとがなすベクトル間角度を計算する第３計算部と、
   前記ベクトル間角度が予め定められた第１閾値より小さい場合に、前記画像に含まれる対象物が立体的であると判定する判定部として機能させるための画像処理プログラム。

Images