JP5539102B2

JP5539102B2 - 物体検出装置および物体検出方法

Info

Publication number: JP5539102B2
Application number: JP2010183390A
Authority: JP
Inventors: 貫之岩本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-08-18
Filing date: 2010-08-18
Publication date: 2014-07-02
Anticipated expiration: 2030-08-18
Also published as: JP2012043155A

Description

本発明は画像中の物体を検出する装置および方法に関する。

従来、画像中の特定の物体として人体を検出する技術が知られている。例えば、非特許文献１によれば、画像の所定の範囲の輝度勾配ヒストグラムを特徴量とし、Support Vector Machineによる識別を行い、画像中の人物の検出を行う技術が開示されている。しかしながら、非特許文献１に開示される技術では、特定の姿勢の人体の検出には有効であるが、姿勢が変動した場合、検出が困難であるという課題があった。

非特許文献２では、このような課題を解決し、人体の変形を許容した人体検出方法が提案されている。非特許文献２によれば、人体の部位に対応した検出器の検出スコアを、重心との相対位置関係を加味して加算する技術が提案されている。すなわち、まず、人体の各部位に対応した検出器を学習によって得る。次に、人体のサンプル画像に対してそれらの検出器で検出を行い、検出点の人体重心に対する相対位置の確率分布をそれぞれの検出器について学習する。このようにして学習した検出器、および人体重心に対する相対位置の確率分布を用いることにより、画像中から人体を検出する。その検出の際には、まず、対象の画像から、人体各部位の検出スコアを算出する。人体各部位の検出器のスコアを、その検出器からみた人体重心の相対位置に対応するビンに投票する。全ての検出器からの投票を総計し、最終的な人体検出結果を得る。

また同様に、特許文献１に開示される技術も人体の変形を許容した人体検出方法である。特許文献１に開示される技術では、画像から人体部位と考えられる候補を抽出し、それら各候補の部位らしさの確率と、部位候補の配置関係、および、検出対象としての確率の高い部位候補の組合せを選択し、人体らしさを確率的に計算する。

以上のように、非特許文献２や特許文献１に記載の方法では、人体部位の配置関係の学習を行っていた。一方で、非特許文献３に記載の方法では、物体認識において、各部分特徴の幾何学的な配置関係を問わないモデル、いわゆるBoK（Bag of Keypoints）モデルが用いられている。

特開２００５−１６５９２３号公報

Navneet Dalal and Bill Triggs,"Histograms of Oriented Gradients for Human Detection," IEEE Computer Visionand Pattern Recognition, pp. 886-893, 2005年 Lubomir Bourdev and Jitendra Malik,"Poselets: Body Part Detectors Trained Using 3D Human Pose Annotations," IEEEInternational Conference on Computer Vision, 2009年 Gabriella Csurka, Christopher R.Dance, Lixin Fan, Jutta Willamowski, Cedric Bray, "Visual Categorization withBags of Keypoints," In Workshop on Statistical Learning in Computer Vision,European Conference on Computer Vision 2004年 Krystian Mikolajczyk and CordeliaSchmidt, "Scale ＆ Affine Invariant Interest Point Detectors," InternationalJournal of Computer Vision, 60(1), pp.63-86,2004.（非特許文献４は、発明を実施するための形態において参照される） D. Comaniciu, M. Peter, "MeanShift: A Robust Approach Toward Feature Space Analysis," IEEE Transactions onPattern Analysis and Machine Intelligence, Vol.24(5), pp.603-619.（非特許文献５は、発明を実施するための形態において参照される）

しかしながら、上述した特許文献１や非特許文献２の技術のように、人体を各部位に分割し、各部位の相対位置関係を利用する物体検出方法では、以下に述べるように各部位の相対位置関係の学習が煩雑であるという課題があった。

上述のように、非特許文献２に開示される技術では、人体の各部分の位置関係を人体画像の重心を基準とする相対座標系における存在確率分布として記述することで、人体の各部の位置に自由度を持たせている。しかしながら、例えば人体の上体部に関して、人体が正面を向いている場合の存在確率分布と、人体が横を向いている場合の存在確率分布では、関節構造の制約からくる可動域の違いがあるため、異なる分布となる。そのため、非特許文献２では、少なくとも人体の向きごとに、人体各部の存在確率分布を学習しなくてはいけない。

また、特許文献１に開示される技術では、画像から人体部位と考えられる候補を抽出し、それら各候補の部位らしさの確率と、部位候補の配置関係、および、検出対象としての確率の高い部位候補の組合せを選択し、人体らしさを確率的に計算する。したがって、この特許文献１に開示される技術も、上述した非特許文献２に開示される技術と同様に、少なくとも人体の向きごとに、人体部位候補の配置関係の学習をする必要がある。

一方で、非特許文献３にあるような、各部分特徴の幾何学的な配置関係を問わないモデルを用いる物体認識では、人体の向きの違いによって人体各部の存在確率分布を学習する必要はない。しかしながら、人体の各部分は特徴が乏しく、背景が複雑な場合、BoKモデルでは、検出が困難であるという課題がある。

本発明は上記の課題に鑑みてなされたものであり、姿勢変動を伴う対象物について当該対象物を構成する各部の相対位置を考慮せずに、画像中から当該対象物を高い検出率で検出可能にすることを目的とする。

上記の目的を達成するための本発明の一態様による物体検出装置は以下の構成を備える。すなわち、
画像から特定の物体を検出する物体検出装置であって、
特定の物体に関する姿勢パラメータと、画像の部分特徴と、該姿勢パラメータにおいて該部分特徴が画像に存在する確率とを対応付けて記憶する記憶手段と、
前記特定の物体の検出対象の画像より特徴点を検出し、検出した特徴点を含む局所画像を抽出して特徴量を算出することにより部分特徴を取得する取得手段と、
前記検出対象の画像とは無関係に、複数の姿勢パラメータを入力する入力手段と、
前記複数の姿勢パラメータの各々について、前記記憶手段に記憶された確率の大きい順に所定数の部分特徴を選択する選択手段と、
前記取得手段で取得された部分特徴と前記選択手段で選択した部分特徴との相関の度合いを示す照合度を算出する照合手段と、
前記複数の姿勢パラメータに関して前記照合手段により算出された照合度に基づいて、前記検出対象の画像に前記特定の物体が存在するか否かを判定する判定手段とを備える。

本発明によれば、姿勢変動を伴う対象物について当該対象物を構成する各部の相対位置を考慮せずに、画像から当該対象物を高い検出率で検出することができる。

実施形態に係る物体検出装置が対象とする画像の一例を示す図。実施形態に係る物体検出装置による画像処理過程の一例を示す図。実施形態に係る物体検出装置の機能構成例を示すブロック図。実施形態に係る物体検出装置が対象とする物体のパラメータの一例を示す図。（ａ）は対応関係記憶部のデータ構成例を示す図、（ｂ）は部分特徴記憶部のデータ構成例を示す図。実施形態に係る物体検出装置の処理を示すフローチャート。実施形態に係る物体検出装置の処理を示すフローチャート。

以下、添付図面を参照して本発明をその好適な実施形態の一つに従って詳細に説明する。

（概要）
本実施形態に係る物体検出装置は、画像中の特定の物体として人物の検出を行う。以下、図を用いてその一例を示す。なお、本実施形態では、画像中の人物を検出対象物体としているが、本発明はこれに限定されるものではない。例えば、自動車などのように、姿勢をカメラアングルによって規定できる剛体や、バネなどのように変形をパラメータで記述可能な柔軟物体など、ひとつ以上のパラメータによりその姿勢および形状を規定できる物体であれば、これを検出対象物体とすることができる。

図１は、本実施形態における検出対象の画像１００を示す。画像１００において、物体１１０は検出対象となる人物を示す。検出ウィンドウ領域１２０は特定の物体（人物）を検出する対象となる領域を示す。検出ウィンドウ領域１３０は検出ウィンドウ領域１２０とは別の、検出対象となる領域を示す。物体１４０は背景の物体を示す。後述するように、物体検出装置には、人物画像の部分特徴があらかじめ姿勢パラメータと対応付けて学習されている。

図２は、本実施形態における物体検出装置においてあらかじめ学習された部分特徴の例を示す。部分特徴群２１０は人物の各部の部分特徴の模式図である。部分特徴２２１、部分特徴２２２、部分特徴２２３、部分特徴２２４、および部分特徴２２５は、それぞれ部分特徴の模式図である。

物体検出装置は、外部より入力された姿勢パラメータに基づき、部分特徴群２１０より複数の部分特徴、例えば部分特徴２２１、部分特徴２２２、および部分特徴２２３を選択する。このような部分特徴の選択処理は、たとえば、入力された姿勢パラメータにおいて各部分特徴が存在する確率（予め学習により求めておく）に基づいて行われる（詳細は後述する）。選択した部分特徴と、検出ウィンドウ領域１２０において抽出された部分特徴との照合を行い、それぞれの部分特徴の照合度の総和が閾値以上であれば、対応する姿勢パラメータ空間のビンに投票を行う。なお、姿勢パラメータ空間とは、姿勢パラメータのパラメータ数を次元数とした空間であり、複数のビンは、姿勢パラメータ空間を複数の空間に分割することで得られた複数の部分空間に対応する。

再び外部から新たな姿勢パラメータを入力し、新たな姿勢パラメータに基づいて上記処理を繰り返す。すなわち、新たな姿勢パラメータに基づき、部分特徴群２１０より複数の部分特徴、例えば、部分特徴２２１、部分特徴２２４、および部分特徴２２５が選択され、同様に照合と投票が行われる。このように、姿勢パラメータの入力、部分特徴の選択、照合、投票の処理を規定の回数だけ繰り返す。規定の繰り返し回数の後、姿勢パラメータ空間に投票された分布の極値がある閾値を超えた場合、検出ウィンドウ領域１２０に人物が存在すると判定する。また、その人物の姿勢は、その極値に対応する姿勢パラメータで表現される姿勢であると判定する。画像中の他の領域、例えば検出ウィンドウ領域１３０など、に対しても同様の処理を行い、最終的に画像中から全ての人物を検出する。以上の処理について、以下に更に詳細に説明する。

（構成）
図３は本実施形態に係る物体検出装置３００の概略を示す図である。なお、以下に示す各部の機能は、物体検出装置３００が有するＣＰＵ（不図示）がコンピュータ読み取り可能なメモリ（不図示）に格納されたコンピュータプログラムを実行することにより実現される。したがって、パーソナルコンピュータなどの情報処理装置を用いて物体検出装置３００を実現することが可能である。物体検出装置３００において、画像入力部３０１は、例えば、実時間で撮影できるもの（例えばカメラ）でもよいし、画像を光学的に読み取るもの（例えばスキャナ）でもよいし、事前に撮影または読み取った画像を記憶したストレージであってもよい。画像入力部３０１から入力された画像は、特徴量算出部３０２に出力される。

特徴量算出部３０２は、画像入力部３０１より入力された画像の部分の特徴量（部分特徴）を算出する。すなわち、検出対象の画像より特徴点を検出し、検出した特徴点を含む部分画像（特徴点近傍の局所画像）を抽出して特徴量を算出することにより部分特徴が取得される。本実施形態では、この部分特徴として、
・非特許文献４に記載されているような、Harris Corner Detectorなどのコーナー検出器によって検出された特徴点近傍のAffineInvariant Regionの形状を正規化して局所画像を取得し、
・得られた局所画像に対して、非特許文献１に記載のHistograms ofOriented Gradientsを算出したものとする。但し、本実施形態で使用可能な部分特徴は、これに限られるものではなく、その他の周知の画像特徴量算出方法を用いて取得されたものを用いることができる。

姿勢パラメータ入力部３０３は、対象物体の姿勢を表す姿勢パラメータを受け取り、その姿勢パラメータを部分特徴記憶部３０４、部分特徴選択部３０５および対応関係記憶部３０７に出力する。入力される姿勢パラメータとしては、対象物体の学習時には、例えば画像入力部３０１より入力される画像に付与された姿勢アノテーションデータが用いられる。すなわち、姿勢パラメータ入力部３０３は、画像に付与された姿勢アノテーションデータから姿勢パラメータを抽出して、部分特徴記憶部３０４、部分特徴選択部３０５および対応関係記憶部３０７に出力する。また、対象物体の検出時には、姿勢パラメータ入力部３０３は、外部のプログラムにより生成されたデータ、例えばある確率密度に従って発生した乱数などを姿勢パラメータとして用いる。すなわち、姿勢パラメータ入力部３０３は、検出対象の画像とは無関係に複数の姿勢パラメータを入力する。

本実施形態では、検出対象を人体としており、姿勢パラメータは、カメラアングルおよび関節角のデータを含む。図４に対象が人体である場合の姿勢パラメータの例を示す。図４において、角度φ_kは、カメラ４１０におけるカメラアングルを規定するk番目のパラメータを表し、図４では、水平方向に対する傾き（pitch）である。角度θ_jは、人体の姿勢を規定するj番目のパラメータを表し、図４においては、上腕と前腕のなす角度である。なお、カメラアングルが固定されている場合は、上記姿勢パラメータのうちカメラパラメータ（角度φ_k）は不要である。また、上記姿勢パラメータのうち検出対象の特定の物体が変形せず、カメラパラメータのみが変化する場合には、変形に関するパラメータ（角度θ_j）は不要である。

部分特徴記憶部３０４は、特徴量算出部３０２から出力される部分特徴と姿勢パラメータ入力部３０３より出力される姿勢パラメータとを対応付けて記憶する。複数のサンプル画像に対して、特徴量算出部３０２により得られた全ての部分特徴をクラスタリングし、得られたi番目のクラスタをΠ_iとし、クラスタΠ_iの中心の部分特徴をπ_iとする。すなわち、部分特徴π_iは、クラスタΠ_iを代表する部分特徴である。なお、クラスタを代表する部分特徴の決定方法はこれに限られるものではなく、例えば、クラスタに存在する全ての部分特徴の平均を用いてもよい。また、ある部分特徴πとそれに付与された姿勢パラメータθ=(φ₁,φ₂,φ₃,θ₁,θ₂,…,θ_n)の組をx =(π,θ)とする。姿勢パラメータθの下で、クラスタΠ_iに属する部分特徴が表れる確率P(Π_i|θ)を以下の式（１）、（２）に従って算出する。

ここで、n(X)は集合Xに含まれる要素数を、Θ_kは姿勢パラメータ空間のk番目の部分空間をそれぞれ表す。プログラムへの実装では、例えば、Θ_kは姿勢パラメータ空間全体を複数のビンに区切った際のk番目のビンに対応する。すなわち、式（１）の集合X^k _iは、その要素x=(π,θ)の部分特徴πがクラスタΠ_iに含まれ、かつ、姿勢パラメータθがΘ_kに含まれるような集合を表す。部分特徴記憶部３０４は、このi番目のクラスタΠ_iの中心の部分特徴π_iと、式（２）によって算出されるP(Π_i|θ)とを対応付けて、例えば図５の（ｂ）に示すように記憶する。図５の（ｂ）では、例えば１番目のクラスタ（中心の部分特徴π₁）について、各姿勢パラメータθの下で存在する確率ｐ(Π₁|θ)が、欄５０１，５０２等に記録される。このように、部分特徴記憶部３０４には、特定の物体に関する姿勢パラメータ（θ）と、画像の部分特徴（π_iと、該姿勢パラメータにおいて該部分特徴が画像に存在する確率P(Π_i|θ)とが対応付けて記憶される。

部分特徴選択部３０５は、姿勢パラメータ入力部３０３より姿勢パラメータθを受け取り、部分特徴記憶部３０４に記憶されたP(Π_i|θ)に基づき、所定数の（以下、Ｍ個）の部分特徴を選択する。

物体検出仮説生成部３０６は、特徴量算出部３０２によって図１に示す画像の検出ウィンドウ領域１２０から抽出され、算出された部分特徴と、部分特徴選択部３０５によって選択された部分特徴とを照合し、検出対象物体の存在有無の仮説を生成する。特徴量算出部３０２によって抽出され、算出された部分特徴のひとつをπ、とし、その算出された部分特徴全ての集合をＱとする。部分特徴選択部３０５によって選択された部分特徴のひとつをπ’とすると、照合度は、例えば、以下の式（３）により与えられる。式（３）によれば、照合度は、集合Ｑに属する全ての部分特徴において、π’との相関が最大となる場合の相関値として与えられる。すなわち、照合度は、特徴量算出部３０２で取得された部分特徴と部分特徴選択部３０５で選択した部分特徴との相関の度合いを示している。

なお、照合度は式（３）で計算する方法に限らず、例えば、あらかじめπ’に関して学習を行った識別器の尤度で、集合Ｑに属する全ての部分特徴において最大となる値を算出してもよい。物体検出仮説生成部３０６は、部分特徴選択部３０５によって選択されたＭ個の部分特徴全てについて照合度を計算し、その総和を物体検出仮説として出力する。

対応関係記憶部３０７は、物体検出仮説生成部３０６によって生成された物体検出仮説と、姿勢パラメータ入力部３０３より入力された姿勢パラメータを対応づけて記憶する。図５の（ａ）に、対応関係記憶部３０７におけるデータ構成例を示す。図５の（ａ）は、姿勢パラメータに対応する記憶領域を表している。図５の（ａ）に示す例では、姿勢パラメータは、θ₁、θ₂からなる２次元ベクトルで与えられるとしているが、実際の装置では対象物体の姿勢を表現するために必要な次元数のベクトルが用いられる。姿勢パラメータの各要素は、幅Δのビンに区切られている。例えば、図５（ａ）の表の１行２列目のマスには、姿勢パラメータ入力部３０３より入力された姿勢パラメータが、0≦θ₁＜Δ、Δ≦θ₂＜2Δ、の範囲の値である際に、物体検出仮説生成部３０６から出力された値を、全て足し合わせた値が入っている。

検出確定部３０８は、対応関係記憶部３０７に記憶されたデータの極値を求め、それら極値の中である定めた閾値を超え、かつ最大の値となる場合に対象物体が検出されたと判定し、かつその対応する姿勢パラメータを対象物体の姿勢と定める。対応関係記憶部３０７に記憶されたデータの極値を求める方法には例えば非特許文献５に記載のmean shift法などがある。以上が、本実施形態にかかる物体検出装置に関する構成部分である。

（処理）
続いて図６Ａ、図６Ｂに示したフローチャートを用いて、本実施形態の物体検出装置３００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリに格納され、不図示のＣＰＵなどにより読み出され、実行される。まず、正解サンプル画像を用いた、姿勢パラメータと部分特徴の学習を図６ＡのステップＳ６０１乃至Ｓ６０６で行い、次に図６ＢのステップＳ６０７乃至Ｓ６１６で対象画像中の物体検出を行う。なお、例えば、ステップＳ６０１乃至Ｓ６０６を実行する学習処理用のコンピュータ（情報処理装置）と、ステップＳ６０７乃至Ｓ６１６を実行する検出処理用のコンピュータ（情報処理装置）とは同一である必要はない。

まずステップＳ６０１において、画像入力部３０１がポジティブサンプル画像I_p1を読み込む。続いてステップＳ６０２において、姿勢パラメータ入力部３０３がポジティブサンプル画像I_p1に対応する姿勢パラメータθ_p1を読み込む。本処理は学習処理であるので、上述したように、姿勢パラメータ入力部３０３は、ポジティブサンプル画像I_p1に付与された姿勢アノテーションデータから姿勢パラメータθ_p1を読み込む。

続いてステップＳ６０３において、特徴量算出部３０２は、ポジティブサンプル画像I_p1の部分特徴を抽出する。続いてステップＳ６０４において、全てのポジティブサンプルについてステップＳ６０１乃至Ｓ６０３の処理が終了したかを確認する。まだ処理が終了していないポジティブサンプルがあればそのサンプルに関してステップＳ６０１〜Ｓ６０３の処理が行われる。他方、全てのポジティブサンプルについて上記処理が終了していれば、処理はステップＳ６０５へ進む。

ステップＳ６０５において、特徴量算出部３０２は、ステップＳ６０１乃至Ｓ６０４の処理によって得られた全ての部分特徴を、特徴の類似性に基づいてクラスタリングする。そして、i番目のクラスタをΠiとし、そのクラスタを代表する部分特徴を当該クラスタの中心の部分特徴π_iとして、部分特徴記憶部３０４に記憶する。続いてステップＳ６０６において、特徴量算出部３０２は、ステップＳ６０５において求めたクラスタΠ_iに属する部分特徴が姿勢パラメータθの下で現れる確率P(Π_i|θ)を各部分特徴について算出し、部分特徴記憶部３０４に記憶する。

上記のステップＳ６０１乃至Ｓ６０６により、検出対象のポジティブサンプルから、部分特徴と姿勢パラメータの対応関係の学習が完了し、図５の（ｂ）に示したような情報が部分特徴記憶部３０４に記憶される。続いて、Ｓ６０７乃至Ｓ６１６で対象画像中からの特定の物体（本例では人体）の検出を行う。

まず、ステップＳ６０７において、画像入力部３０１は検出対象となる画像を入力する。続いてステップＳ６０８において、特徴量算出部３０２は、ステップＳ６０７において入力された画像の任意の位置に検出対象ウィンドウを設定する。続いてステップＳ６０９において、特徴量算出部３０２は、ステップＳ６０８において設定された検出ウィンドウ内で部分特徴を算出する。

続いてステップＳ６１０において、姿勢パラメータ入力部３０３は、姿勢パラメータθを入力する。対象物体の検出時であるので、姿勢パラメータ入力部３０３は、外部のプログラムにより生成されたデータ、例えば、姿勢の生じやすさなどのある確率密度に従って発生した乱数などを姿勢パラメータとして用いる。続いてステップＳ６１１において、部分特徴選択部３０５は、部分特徴記憶部３０４に記憶されたP(Π_i|θ)に基づき、ステップＳ６１０において入力された姿勢パラメータθに対応する部分特徴をＭ個選択する。例えば、確率の大きい順にＭ個が選択される。続いてステップＳ６１２において、物体検出仮説生成部３０６は、ステップＳ６１０で選択されたＭ個の部分特徴それぞれについて、ステップＳ６０９において算出された部分特徴との照合度（検出スコア）を算出する（式（３））。続いてステップＳ６１３で、物体検出仮説生成部３０６は、ステップＳ６１２において算出されたＭ個の照合度の総和を、ステップＳ６１０において入力された姿勢パラメータθに対応する対応関係記憶部３０７の記憶領域に格納されている値に加算する。

続いてステップＳ６１４において、ステップＳ６１０乃至Ｓ６１３の処理が規定回数繰り返されたかが判定され、完了していなければステップＳ６１０へ処理がもどされる。こうして、上記ステップＳ６１０〜Ｓ６１３の処理が規定回数繰り返される。一方、ステップＳ６１４で規定回数の処理が完了していたら、処理はステップＳ６１５へ進む。ステップＳ６１５において、検出確定部３０８は、対応関係記憶部３０７に記憶されたデータから、物体の存在を判定する。すなわち、検出確定部３０８は、上記加算の結果から閾値を越える極値が存在するかどうかにより物体の存在を判定する。ステップＳ６０８において設定された検出ウィンドウとは異なる領域において検出を行う場合は、再びステップＳ６０８に戻り、検出ウィンドウを新たな場所に設定し、ステップＳ６０９乃至Ｓ６１５の処理を行う（Ｓ６１６でＹＥＳ）。異なる領域について検出を行なわない場合には、本処理を終了する（Ｓ６１６でＮＯ）。

以上の処理によって、対象物体検出処理が終了し、図１の画像より検出対象物体とその姿勢を検出することができる。以上のように、本実施形態では、姿勢パラメータに対応した人体部位特徴の組が選択され、選択された人体部位特徴の幾何学的な配置関係に依らず人体の存在有無の仮説が生成される。このような仮説の生成を、繰り返し処理により複数の姿勢パラメータについて行うことにより複数の仮説が生成され、生成された複数の仮説を統合することで画像中の人体の検出が行われる。すなわち、本実施形態によれば、人体部位の相対位置関係の学習をすることなく、変動姿勢の人体の検出を行うことができる。

なお、上記実施形態では人を検出対象としたが、画像中の任意の物体を検出対象とすることができることは明らかである。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

特定の物体に関する姿勢パラメータと、画像の部分特徴と、該姿勢パラメータにおいて該部分特徴が画像に存在する確率とを対応付けて記憶する記憶手段と、
前記特定の物体の検出対象の画像より特徴点を検出し、検出した特徴点を含む局所画像を抽出して特徴量を算出することにより部分特徴を取得する取得手段と、
前記検出対象の画像とは無関係に、複数の姿勢パラメータを入力する入力手段と、
前記複数の姿勢パラメータの各々について、前記記憶手段に記憶された確率の大きい順に所定数の部分特徴を選択する選択手段と、
前記取得手段で取得された部分特徴と前記選択手段で選択した部分特徴との相関の度合いを示す照合度を算出する照合手段と、
前記複数の姿勢パラメータに関して前記照合手段により算出された照合度に基づいて、前記検出対象の画像に前記特定の物体が存在するか否かを判定する判定手段とを備えることを特徴とする物体検出装置。
前記記憶手段に記憶する情報を生成する学習手段を更に備え、
前記学習手段は、
複数のサンプル画像のアノテーションデータから前記特定の物体の姿勢パラメータを取得し、
前記複数のサンプル画像の各々において、特徴点を検出し、検出した特徴点を含む局所画像を抽出して特徴量を算出することにより部分特徴を取得し、
取得した部分特徴を類似性に基づいてクラスタリングして、各クラスタに属する部分特徴が各姿勢パラメータにおいて存在する確率を算出し、
姿勢パラメータとクラスタの存在する確率と該クラスタを代表する部分特徴とを対応付けて前記記憶手段に記憶させることを特徴とする請求項１に記載の物体検出装置。
前記判定手段は、姿勢パラメータのパラメータ数を次元数とした姿勢パラメータ空間を複数の部分空間に分割し、前記複数の姿勢パラメータに関して前記照合手段で算出された複数の照合度を、前記複数の姿勢パラメータのそれぞれが属する部分空間べつに加算し、該加算の結果、所定の閾値を越える極値が存在する場合に、前記検出対象の画像に前記特定の物体が存在すると判定することを特徴とする請求項１または２に記載の物体検出装置。
前記判定手段は、前記極値が存在する部分空間に対応する姿勢パラメータを、前記検出対象の画像に存在する前記特定の物体の姿勢であると判定することを特徴とする請求項３に記載の物体検出装置。
前記姿勢パラメータは、画像を撮影したカメラのカメラアングルを示すパラメータを含むことを特徴とする請求項１乃至４のいずれか１項に記載の物体検出装置。
前記特定の物体は関節を有し、前記姿勢パラメータは、各関節の関節角を示すパラメータを含むことを特徴とする請求項１乃至５のいずれか１項に記載の物体検出装置。
特定の物体に関する姿勢パラメータと、画像の部分特徴と、該姿勢パラメータにおいて該部分特徴の局所画像が画像に存在する確率とを対応付けて記憶する記憶手段を備えた情報処理装置が、画像から特定の物体を検出する物体検出方法であって、
取得手段が、前記特定の物体の検出対象の画像より局所画像を抽出して部分特徴を取得する取得工程と、
入力手段が、前記検出対象の画像とは無関係に、複数の姿勢パラメータを入力する入力工程と、
選択手段が、前記複数の姿勢パラメータの各々について、前記記憶手段に記憶された確率の大きい順に所定数の部分特徴を選択する選択工程と、
照合手段が、前記取得工程で取得された部分特徴と前記選択工程で選択された部分特徴との相関の度合いを示す照合度を算出する照合工程と、
判定手段が、前記複数の姿勢パラメータに関して前記照合工程で算出された照合度に基づいて、前記検出対象の画像に前記特定の物体が存在するか否かを判定する判定工程とを備えることを特徴とする物体検出方法。
コンピュータを、請求項１乃至６のいずれか１項に記載の物体検出装置の各手段として機能させるためのコンピュータプログラム。
請求項８に記載のコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体。