JP5246946B2 - 全身領域推定装置 - Google Patents

Description

本発明は、カメラで撮影して得られた画像から人物の全身領域を推定する全身領域推定装置に関する。

従来、カメラで撮影して得られた画像から人物の全身領域を推定する場合、連続する画像の差分情報から人物の動いている領域（以下、動き領域という）を検出して、人物の全身領域を抽出する方法がある。

なお、関連する技術として、人物の特徴を利用して全身の領域を特定し、画像のトリミングにおけるユーザ負担を軽減するようにしたものが知られている（例えば特許文献１）。特許文献１には、対象画像における検出された特徴部分の位置に基づき、トリミング範囲の候補を設定し、設定したトリミング範囲の候補を表示する技術が開示されている。この技術によれば、ユーザは、表示されたトリミング範囲の候補の内の１つを選択することによって、画像のトリミングを行うことができる。

特開２００６−２７９６４３号公報

しかしながら、複数の人物が画面上に登場して重なっている場合は、検出した動き領域が結合するため、人物の全身領域を正確に分離抽出することが難しかった。また、動き量や背景との差が小さい場合は動き領域が正確に検出できず、全身領域が欠けてしまうことがあった。

本発明は、係る事情に鑑みてなされたものであり、複数の人物が画面上に重なって登場しているシーンでも各人物の全身領域を正確に分離抽出することができる全身領域推定装置を提供することを目的とする。

本発明の全身領域推定装置は、人物の登場する画像を入力する画像入力手段と、前記画像入力手段で入力された画像から人物の顔の特徴を検出する顔特徴検出手段と、前記顔特徴検出手段で検出された人物の顔の特徴を用いて全身領域を算出する顔特徴利用全身推定手段と、前記顔特徴利用全身推定手段の出力に基づき異なる人物の顔領域と全身領域との重なり情報から画面上の前後判定を行う重なり判定手段と、を備えた。

上記構成によれば、入力された画像から人物の顔の特徴を検出し、その特徴を用いて全身領域を算出する。そして、算出した全身領域に基づき異なる人物の顔領域と全身領域との重なり情報から画面上の前後判定を行う。これにより、複数の人物が画面上に重なって登場しているシーンでも各人物の全身領域を正確に分離抽出することができる。

本発明の全身領域推定装置は、人物の登場する画像を入力する画像入力手段と、前記画像入力手段で入力された画像から人物の顔の特徴を検出する顔特徴検出手段と、予め人物の画面上での全身領域の情報を入力してキャリブレーション情報を作成するキャリブレーション手段と、前記顔特徴検出手段で検出された人物の顔の特徴及び前記キャリブレーション手段で作成されたキャリブレーション情報を用いて全身領域を算出するキャリブレーション情報利用全身推定手段と、前記キャリブレーション情報利用全身推定手段の出力に基づき異なる人物の顔領域と全身領域との重なり情報から画面上の前後判定を行う重なり判定手段と、を備えた。

上記構成によれば、入力された画像から人物の顔の特徴を検出し、人物の顔の特徴及び予め人物の画面上での全身領域の情報を入力して作成したキャリブレーション情報を用いて全身領域を算出する。そして、算出した全身領域に基づき異なる人物の顔領域と全身領域との重なり情報から画面上の前後判定を行う。これにより、複数の人物が画面上に重なって登場しているシーンでも各人物の全身領域を正確に分離抽出することができる。

本発明の全身領域推定装置は、人物の登場する画像を入力する画像入力手段と、前記画像入力手段で入力された画像から人物の顔の特徴を検出する顔特徴検出手段と、前記顔特徴検出手段で検出された人物の顔の特徴を用いて全身領域を算出する顔特徴利用全身推定手段と、予め人物の画面上での全身領域の情報を入力してキャリブレーション情報を作成するキャリブレーション手段と、前記顔特徴検出手段で検出された人物の顔の特徴及び前記キャリブレーション手段で作成されたキャリブレーション情報を用いて全身領域を算出するキャリブレーション情報利用全身推定手段と、前記顔特徴利用全身推定手段と前記キャリブレーション情報利用全身推定手段でそれぞれ算出された全身領域に対して重み付けをして全身領域を決定する全身領域出力手段と、前記全身領域出力手段の出力に基づき異なる人物の顔領域と全身領域との重なり情報から画面上の前後判定を行う重なり判定手段と、を備えた。

上記構成によれば、入力された画像から人物の顔の特徴を検出し、その特徴を用いて全身領域を算出する。また同時に、人物の顔の特徴及び予め人物の画面上での全身領域の情報を入力して作成したキャリブレーション情報を用いて全身領域を算出する。そして、算出された各全身領域に対して重み付けをして全身領域を決定し、決定した全身領域に基づき異なる人物の顔領域と全身領域との重なり情報から画面上の前後判定を行う。これにより、複数の人物が画面上に重なって登場しているシーンでも各人物の全身領域を正確に分離抽出することができる。しかも全身推定を顔特徴利用して行うとともに、キャリブレーション情報を利用して行う２つの側面から行うので、精度のよい全身推定が可能となる。また、推定値に対して重み付けすることで、身長等の個人差による誤差を低減できる。

上記構成において、前記重なり判定手段で判定した前後判定情報を用いて重なっている部分を削除して全身の画像情報を出力する全身サムネイル出力手段を備えた。

上記構成によれば、個々の人物の全身画像情報のみを出力することができる。

本発明は、複数の人物が画面上に重なって登場しているシーンでも各人物の全身領域を正確に分離抽出することができる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る全身領域推定装置の概略構成を示すブロック図である。同図において、本実施の形態の全身領域推定装置１０は、画像入力部１１と、顔特徴検出部１２と、顔特徴利用全身推定部１３と、キャリブレーション部１４と、キャリブレーション情報利用全身推定部１５と、全身領域出力部１６と、重なり判定部１７と、全身サムネイル出力部１８とを備える。

画像入力部１１は、人物の登場する画像を入力する。例えば監視カメラからの画像を入力する。顔特徴検出部１２は、画像入力部１１で入力された画像から人物の顔の特徴を検出する。顔特徴利用全身推定部１３は、顔特徴検出部１２で検出された人物の顔の特徴を用いて全身領域を推定するものであり、予め導出された式即ち多数のサンプルの学習により全身高さと幅を算出する式を用いて、顔特徴検出部１２で検出された顔のサイズと向きから全身の高さと幅を算出する。この場合、顔のサイズが大きいと、全身の高さと幅が大となり、左右の顔向きが大きいと、全身幅が小となる。なお、顔特徴利用全身推定部１３による全身領域推定方式を〈方式１〉と呼ぶ。

キャリブレーション部１４は、予め人物の画面上での全身領域の情報を入力してキャリブレーションパラメータ（キャリブレーション情報）を算出する。キャリブレーションパラメータは公知の方法で算出することができる。図２は、その公知の方法を示すフローチャートである。同図において、まず２枚以上の画像を入力し（ステップＳ１０）、次いで、入力した２枚以上の画像を基に全身包含矩形位置を取得する(ステップＳ１１)。即ち、同一人物に対して全身を包含する矩形位置を２個以上取得する。そして、取得した２個以上の矩形位置に基づいてキャリブレーションパラメータを算出する（ステップＳ１２）。

図１に戻り、キャリブレーション情報利用全身推定部１５は、キャリブレーション部１４で算出されたキャリブレーションパラメータを用いて全身領域を算出するものであり、キャリブレーションパラメータを用いて顔特徴検出部１２で検出された顔の位置に対応する人物の全身高さ、幅の推定値を算出する。ここで、図３は、キャリブレーション部１４で予め入力した全身領域矩形１，２のキャリブレーション情報から画面上の任意の位置に存在する全身推定領域矩形３を推定する方法（公知の方法）を示す概念図である。全身推定領域矩形３の上部中央が頭部位置３Ａとなる。

全身領域矩形１の左上、右上、左下位置をそれぞれＰ１１、Ｐ１２、Ｐ１３、全身領域矩形２の左上、右上、左下位置をそれぞれＰ２１、Ｐ２２、Ｐ２３、推定する全身推定領域矩形３の左上、右上、左下位置をそれぞれＰ３１、Ｐ３２、Ｐ３３とする。また、全身領域矩形１の上部中央を頭部位置１Ａとする。Ｐ１１とＰ２１を通る直線とＰ１２とＰ２２を通る直線の交点Ｃ１２が計算できる。次に全身領域矩形１の頭部位置１Ａと全身推定領域矩形３の頭部位置３Ａを通る直線と、Ｃ１２を通る画面上に水平な直線との交点Ｃ１３が計算できる。交点Ｃ１３はＰ１１とＰ３１を通る直線上にあることから、Ｐ３１の位置が特定され、全身推定領域矩形３の幅が推定される。同様の方式により、Ｐ３３の位置も特定され、全身推定領域矩形３の高さが推定される。ただし、上記の推定はカメラが画面に水平に設置されていると仮定して計算した。なお、キャリブレーション情報利用全身推定部１５による全身領域推定方式を〈方式２〉と呼ぶ。

図１に戻り、全身領域出力部１６は、顔特徴利用全身推定部１３とキャリブレーション情報利用全身推定部１５でそれぞれ算出された全身領域に対して重み付けをして全身の高さ、幅の値を決定する。即ち、顔特徴利用全身推定部１３とキャリブレーション情報利用全身推定部１５でそれぞれ算出された全身領域に対して重み付けをして全身領域を決定する。全身領域に対して重み付けを行うことで、身長等の個人差による誤差を低減できる。

重み付けの仕方は以下の通りである。
〈方式１〉で算出された推定値を、
全身幅：Ｗ１、全身高さ：Ｈ１
〈方式２〉で算出された推定値を、
全身幅：Ｗ２、全身高さ：Ｈ２
とすると、
全身領域を下記の式で決定する。
全身幅：Ｗ＝Ｗ１＋（Ｗ２−Ｗ１）×ａ
全身高さ：Ｈ＝Ｈ１＋（Ｈ２−Ｈ１）×ｂ
ａ、ｂは重み係数で０≦ａ，ｂ≦１の範囲にある。

重なり判定部１７は、全身領域出力部１６の出力に基づき異なる人物の顔領域と全身領域との重なり情報から画面上の前後判定を行う。即ち、重なり判定部１７は、全身領域出力部１６で検出された全身領域が互いに重なっている場合は、顔領域と全身領域の重なりを検出して前後判定を行う。図４は、重なり判定の概念図である。この図では、人物Ａの全身領域５と人物Ｂの顔領域６に重なりがあり、人物Ｂの全身領域８と人物Ａの顔領域７には重なりがなく、人物Ｂが前、人物Ａが後ろと判定される。

全身サムネイル出力部１８は、重なり判定部１７で判定した判定情報を用いて重なっている部分を削除して全身の画像情報を出力する。即ち、全身サムネイル出力部１８は、重なり判定部１７の前後判定で後ろと判定された領域については、重なった部分を削除して全身画像として出力する。なお、図４に示すように、重なり部分９を網掛けにすることで、視覚的に重なりがわかり易くなる。また、全身サムネイル出力部１８から出力される画像情報を保存するようにしても良いし、表示するようにしても良い。

図５は、本実施の形態の全身領域推定装置１０の動作を示すフローチャートである。同図において、まず画像を入力する（ステップＳ２０）。例えば監視カメラからの画像を入力する。次いで、入力した画像から、顔特徴として位置、サイズ、向きを検出する（ステップＳ２１）。顔特徴を検出した後、位置、顔サイズ、向きの情報を利用して〈方式１〉にて全身領域を推定する（ステップＳ２２）。次いで、キャリブレーション情報を利用して〈方式２〉にて全身領域を推定する（ステップＳ２３）。〈方式１〉及び〈方式２〉それぞれで推定した全身領域から全身領域を決定する（ステップＳ２４）。次いで、決定した全身領域から前後重なりを判定する（ステップＳ２５、ステップＳ２６）。この判定で重なりがあれば、重なり領域を削除し（ステップＳ２７）、全身サムネイル画像を出力する（ステップＳ２８）。これに対して、重なりがなければ、そのまま全身サムネイル画像を出力する。

以上のように本実施の形態の全身領域推定装置１０によれば、顔特徴検出部１２が、入力された画像から人物の顔の特徴を検出し、顔特徴利用全身推定部１３が、顔特徴検出部１２で検出された人物の顔の特徴を用いて全身領域を算出する。また同時に、キャリブレーション情報利用全身推定部１５が、顔特徴検出部１２で検出された人物の顔の特徴及びキャリブレーション部１４で算出されたキャリブレーション情報を用いて全身領域を算出する。そして、全身領域出力部１６が、顔特徴利用全身推定部１３で算出された全身領域及びキャリブレーション情報利用全身推定部１５で算出された全身領域に対して重み付けを行って全身領域を決定し、重なり判定部１７が、全身領域出力部１６で決定された全身領域に基づき異なる人物の顔領域と全身領域との重なり情報から画面上の前後判定を行い、全身サムネイル出力部１８が、重なり判定部１７で判定された前後判定情報を用いて重なっている部分を削除して全身の画像情報を出力する。これにより、複数の人物が画面上に重なって登場しているシーンでも各人物の全身領域を正確に分離抽出することができ、しかも全身推定を顔特徴を利用して行うとともに、キャリブレーション情報を利用して行う２つの側面から行うので、精度のよい全身推定が可能となる。また、推定値に対して重み付けすることで、身長等の個人差による誤差を低減できる。

なお、上記実施の形態では、全身推定を顔特徴を利用して行うとともに、キャリブレーション情報を利用して行うようにしたが、いずれか一方だけでも構わない。

本発明は、複数の人物が画面上に重なって登場しているシーンでも、各人物の全身領域を正確に分離抽出することができるといった効果を有し、監視カメラシステムなどへの適用が可能である。

本発明の一実施の形態に係る全身領域推定装置の概略構成を示すブロック図 図１の全身領域推定装置のキャリブレーション部に用いられているキャリブレーションパラメータを算出する公知の方法を示すフローチャート 図１の全身領域推定装置のキャリブレーション情報利用全身推定部による全身推定領域矩形を推定する公知の方法を説明するための図 図１の全身領域推定装置の重なり判定部における重なり判定の概念図 図１の全身領域推定装置の動作を説明するためのフローチャート

１０ 全身領域推定装置
１１ 画像入力部
１２ 顔特徴検出部
１３ 顔特徴利用全身推定部
１４ キャリブレーション部
１５ キャリブレーション情報利用全身推定部
１６ 全身領域出力部
１７ 重なり判定部
１８ 全身サムネイル出力部

Claims (5)

1. 人物の登場する画像を入力する画像入力手段と、
   前記画像入力手段で入力された画像から人物の顔の特徴を検出する顔特徴検出手段と、
   前記顔特徴検出手段で検出された人物の顔の特徴を用いて全身領域を算出する顔特徴利用全身推定手段と、
   前記顔特徴利用全身推定手段の出力に基づき異なる人物の顔領域と前記顔特徴利用全身推定手段で推定された全身領域との重なり情報から画面上の前後判定を行う重なり判定手段と、
   を備え、
   前記重なり判定手段は、第１の人物の全身領域と前記第１の人物とは異なる第２の人物の顔領域に重なりがあり、前記第２の人物の全身領域と前記第１の人物の顔領域には重なりがない場合に、前記第２の人物が前、前記第１の人物が後ろと判定することを特徴とする全身領域推定装置。
2. 人物の登場する画像を入力する画像入力手段と、
   前記画像入力手段で入力された画像から人物の顔の特徴を検出する顔特徴検出手段と、
   予め人物の画面上での全身領域の情報を入力してキャリブレーション情報を作成するキャリブレーション手段と、
   前記顔特徴検出手段で検出された人物の顔の特徴及び前記キャリブレーション手段で作成されたキャリブレーション情報を用いて全身領域を算出するキャリブレーション情報利用全身推定手段と、
   前記キャリブレーション情報利用全身推定手段の出力に基づき異なる人物の顔領域と前記キャリブレーション情報利用全身推定手段で推定された全身領域との重なり情報から画面上の前後判定を行う重なり判定手段とを備え、
   前記重なり判定手段は、第１の人物の全身領域と前記第１の人物とは異なる第２の人物の顔領域に重なりがあり、前記第２の人物の全身領域と前記第１の人物の顔領域には重なりがない場合に、前記第２の人物が前、前記第１の人物が後ろと判定する全身領域推定装置。
3. 人物の登場する画像を入力する画像入力手段と、
   前記画像入力手段で入力された画像から人物の顔の特徴を検出する顔特徴検出手段と、
   前記顔特徴検出手段で検出された人物の顔の特徴を用いて全身領域を算出する顔特徴利用全身推定手段と、
   予め人物の画面上での全身領域の情報を入力してキャリブレーション情報を作成するキャリブレーション手段と、
   前記顔特徴検出手段で検出された人物の顔の特徴及び前記キャリブレーション手段で作成されたキャリブレーション情報を用いて全身領域を算出するキャリブレーション情報利用全身推定手段と、
   前記顔特徴利用全身推定手段と前記キャリブレーション情報利用全身推定手段でそれぞれ算出された全身領域に対して重み付けをして全身領域を決定する全身領域出力手段と、
   前記全身領域出力手段の出力に基づき異なる人物の顔領域と全身領域との重なり情報から画面上の前後判定を行う重なり判定手段と、
   を備えた全身領域推定装置。
4. 前記重なり判定手段で判定した前後判定情報を用いて重なっている部分を削除して全身の画像情報を出力する全身サムネイル出力手段を備えた請求項１乃至請求項３のいずれか一項に記載の全身領域推定装置。
5. コンピュータを用いた全身領域推定方法であって、
   人物の登場する画像を入力する画像入力ステップと、
   前記画像入力ステップで入力された画像から人物の顔の特徴を検出する顔特徴検出ステップと、
   前記顔特徴検出ステップで検出された人物の顔の特徴を用いて全身領域を算出する顔特徴利用全身推定ステップと、
   前記顔特徴利用全身推定ステップの出力に基づき異なる人物の顔領域と前記顔特徴利用全身推定ステップで推定された全身領域との重なり情報から画面上の前後判定を行う重なり判定ステップと、
   を備え、
   前記重なり判定ステップは、第１の人物の全身領域と前記第１の人物とは異なる第２の人物の顔領域に重なりがあり、前記第２の人物の全身領域と前記第１の人物の顔領域には重なりがない場合に、前記第２の人物が前、前記第１の人物が後ろと判定することを特徴とする全身領域推定方法。

Images