WO2006025185A1

WO2006025185A1 - 監視記録装置およびその方法

Info

Publication number: WO2006025185A1
Application number: PCT/JP2005/014387
Authority: WO
Inventors: Yoshiyuki Matsuyama
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-08-31
Filing date: 2005-08-05
Publication date: 2006-03-09
Also published as: USRE45551E1; US8131022B2; JPWO2006025185A1; US20070269082A1; JP5032846B2

Abstract

　監視記録装置（１０）は、監視映像を入力する映像入力部（１２）と、映像入力部（１２）にて入力された監視映像から移動している物体を検出する移動物体検出部（１８）と、移動物体検出部（１８）にて検出された物体から楕円形の輪郭を有する部分を顔画像として検出する顔画像検出部（２０）と、顔画像検出部（２０）にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、検出された顔画像の位置に基づいて判定する同一性判定部（２２）と、同一性判定部（２２）にて同一人物と判定された場合に、記録媒体（１６）に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方の顔画像を選択する保存画像選択部（２２）と、保存画像選択部（２２）にて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に顔画像を検索するための情報を記録媒体（１６）に保存する画像保存部（２４）とを備える。これにより、監視映像から保存に適した画像を検出することができる。

Description

明細書

監視記録装置およびその方法

技術分野

[0001] 本発明は、カメラで人物の動作等を撮影して得られた監視映像を記録する監視記録装置およびその方法に関するものである。

背景技術

[0002] 従来から、監視カメラ等で撮影した監視映像を記録する監視記録装置およびその方法が知られていた。監視記録装置においては、記録した監視映像から効率良く適切な人物画像を検出できることが求められている。人物画像を適切に検索できるようにするために、監視映像から標準的な人物画像を選択して保存する監視記録装置が特開 2003— 46911号公報に開示されている。この特許文献に記載された装置では、人物を検出する場合に標準的な正面顔のテンプレートとのマッチングをとり、マツチングの類似度が最大となったショットの顔画像を保存に適した画像として選択している。別の顔画像の選択方法として、色空間において肌色領域にある画素数の数が最大の画像を保存に適した画像として選択して、る。

発明の開示

発明が解決しょうとする課題

[0003] し力しながら、上記した特許文献には、正面顔のテンプレートのマッチングによって保存する方法が記載されているが、正面以外の顔画像を検出する方法については記載されていない。監視カメラでは、上側力撮影することが多いので、正面以外から撮影した映像からも顔画像を適切に検出できることが望ましい。

[0004] 本発明は、上記背景に鑑み、監視映像カゝら適切な画像を検出し、保存することのできる監視記録装置およびその方法を提供することを目的とする。

課題を解決するための手段

[0005] 本発明の監視記録装置は、監視映像を入力する映像入力部と、映像入力部にて入力された監視映像力移動している物体を検出する移動物体検出部と、移動物体検出部にて検出された物体から楕円形の輪郭を有する部分を顔画像として検出する顔画像検出部と、顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、同一性判定部にて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択部と、保存画像選択部にて選択された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存部とを備えた構成を有する。

[0006] 本発明の別の態様の監視記録装置は、監視映像を入力する映像入力部と、映像入力部にて入力された監視映像力移動している物体を検出する移動物体検出部と、移動物体検出部にて検出された物体から、楕円形の輪郭を有する部分を顔画像として検出する顔画像検出部と、顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物である力否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、同一性判定部にて同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方を選択する保存画像選択部と、保存画像選択部にて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存部とを備えた構成を有する。

[0007] 上記監視記録装置において、画像保存部は、顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と別の人物であると同一性判定部にて判定された場合に、新しく検出された顔画像を監視映像内に新たに現れた人物として記録媒体に保存してもよい。

[0008] 上記監視記録装置において、同一性判定部は、顔画像検出部にて新しく顔画像が検出された位置と前回顔画像が検出された位置との距離が、所定の閾値より小さ Vヽ場合に同一人物であると判定してもよ!/、。

[0009] 上記監視記録装置において、同一性判定部は、顔画像検出部にて複数の顔画像が検出された場合には、前回検出された顔画像に最も近い位置で新しく検出された顔画像が前回検出された顔画像と同一人物であると判定してもよい。

[0010] 上記監視記録装置において、同一性判定部は、前回検出された顔画像が複数ある場合には、新しく検出された顔画像に最も近い位置で前回検出された顔画像が新しく検出された顔画像と同一人物であると判定してもよい。

[0011] 上記監視記録装置において、同一性判定部は、顔画像検出部にて順次検出された顔画像の移動方向を検出し、移動方向の変化を検出した場合に別の人物であると半 IJ定してちよい。

[0012] 上記監視記録装置において、同一性判定部は、顔画像検出部にて顔画像を検出して力新しく顔画像を検出するまでに要した時間が所定の閾値を超えた場合には別の人物であると判定してもよい。

[0013] 上記監視記録装置にお!ヽて、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、顔画像のサイズの大きい方を選択してちよい。

[0014] 上記監視記録装置にお!、て、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、顔画像の輪郭画像各画素の中心位置からの平均距離の大き!/、方を選択してもよ!/ヽ

[0015] 上記監視記録装置にお!、て、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、左右の輝度の平均値の相違が小さい方を選択してもよい。

[0016] 上記監視記録装置にお!、て、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、あらかじめ設定された顔輪郭テンプレートとの類似度が大き!/、方を選択してもよ!/、。

[0017] 上記監視記録装置にお!ヽて、保存画像選択部は、記録媒体に記録された顔画像と顔画像検出部にて新しく検出された顔画像に対し、複数の判定項目のそれぞれにつ、てポイントを付与し、複数の判定項目の総合ポイントの高、方の顔画像を選択してもよい。

[0018] 上記監視記録装置において、保存画像選択部は、顔画像検出部にて新しく検出された顔画像に対し、複数の判定項目のそれぞれについてポイントを付与し、複数の判定項目の総合ポイントが所定の閾値を超えた場合に、検出された顔画像を選択してもよい。

[0019] 本発明の監視記録方法は、監視映像を入力する映像入力ステップと、映像入カステツプにおいて入力された監視映像力移動している物体を検出する移動物体検出ステップと、移動物体検出ステップにおいて検出された物体力楕円形の輪郭を有する部分を顔画像として検出する顔画像検出ステップと、顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物である力否かを、検出された顔画像の位置に基づヽて判定する同一性判定ステップと、同一性判定ステップにおいて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択ステップと、保存画像選択ステップにお!/ヽて選択された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存ステップとを備える。

[0020] 本発明の監視記録方法は、監視映像を入力する映像入力ステップと、映像入カステツプにおいて入力された監視映像力移動している物体を検出する移動物体検出ステップと、移動物体検出ステップにおいて検出された物体から、楕円形の輪郭を有する部分を顔画像として検出する顔画像検出ステップと、顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物である力否かを、それぞれの顔画像の位置に基づ、て判定する同一性判定ステップと、同一性判定ステップにおいて同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方を選択する保存画像選択ステップと、保存画像選択ステップにおいて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存ステップとを備える。

[0021] 以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、請求される発明の範囲を制限することは意図していない。

図面の簡単な説明

[0022] [図 1]図 1は、第 1の実施の形態の監視記録装置を説明するブロック図

[図 2]図 2は、監視映像から顔画像を検出する動作を説明する図

[図 3]図 3は、輪郭画像を説明する図

圆 4]図 4は、検出された顔画像の数が 1個の場合の同一性判定方法を説明する図 [図 5]図 5は、検出された顔画像の数が 1個の場合の同一性判定方法を説明する図

[図 6]図 6は、検出された顔画像の数が複数の場合の同一性判定方法を説明する図

[図 7]図 7は、検出された顔画像の数が複数の場合の同一性判定方法を説明する図

[図 8]図 8は、顔画像の中心位置カゝら輪郭画素の平均距離の算出方法を説明する図

[図 9]図 9は、顔画像の左右輝度差の累積値の算出方法を説明する図

[図 10A]図 10Aは、移動物体検出部で検出された輪郭画像の例を示す図

[図 10B]図 10Bは、前向き用の顔輪郭テンプレートの例を示す図

[図 10C]図 10Cは、後向き用の顔輪郭テンプレートの例を示す図

[図 11]図 11は、移動方向変化を検出した場合の同一性判定方法を説明する図発明を実施するための最良の形態

[0023] 以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。

[0024] 本実施の形態の監視記録装置は、監視映像を入力する映像入力部と、映像入力部にて入力された監視映像力移動している物体を検出する移動物体検出部と、移動物体検出部にて検出された物体から楕円形の輪郭を有する部分を顔画像として検出する顔画像検出部と、顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるカゝ否かを、それぞれの顔画像の位置に基づヽて判定する同一性判定部と、同一性判定部にて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択部と、保存画像選択部にて選択された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存部とを備えた構成を有する。

[0025] この構成により、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらずに、適切に顔画像を検出できる。監視映像から順次検出される顔画像が同一人物の顔画像である場合には、検出された顔画像のうちから、監視画像として最も適した、わゆる「ベストショット」の顔画像を選択して保存することができる。選択された顔画像と共に顔画像を検索するための情報を保存することにより、顔画像を検索するための情報を用いて目的の人物の顔画像を検索することができる。ここで、顔画像を検索するための情報とは、例えば、人物の移動軌跡、監視映像への登場時刻および監視映像からの退場時刻である。この情報は、移動物体検出部、顔画像検出部によって検出された情報力抽出することができる。

[0026] 本実施の形態の別の態様の監視記録装置は、監視映像を入力する映像入力部と、映像入力部にて入力された監視映像カゝら移動してヽる物体を検出する移動物体検出部と、移動物体検出部にて検出された物体から、楕円形の輪郭を有する部分を顔画像として検出する顔画像検出部と、顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物である力否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、同一性判定部にて同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方を選択する保存画像選択部と、保存画像選択部にて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存部とを備えた構成を有する。

[0027] この構成により、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらずに、適切に顔画像を検出できる。監視映像カゝら新しく検出された顔画像がすでに記録媒体に保存されている同一人物の顔画像より監視画像として適して!/ヽる場合に新ヽ顔画像で記録媒体の顔画像を上書きするので、監視画像により適した画像が記録される。この処理を繰り返し行うことにより、監視画像として最も適した、わゆる「ベストショット」の顔画像を保存することができる。選択された顔画像と共に顔画像を検索するための情報を保存することにより、顔画像を検索するための情報を用いて目的の人物の顔画像を検索することができる。

[0028] 上記監視記録装置において、画像保存部は、顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と別の人物であると同一性判定部にて判定された場合に、新しく検出された顔画像を監視映像内に新たに現れた人物として記録媒体に保存してもよい。

[0029] この構成により、別の人物の顔画像を記録媒体に追加できる。

[0030] 上記監視記録装置において、同一性判定部は、顔画像検出部にて新しく顔画像が検出された位置と前回顔画像が検出された位置との距離が、所定の閾値より小さヽ場合に同一人物であると判定してもよ!/、。

[0031] この構成により、新しく検出された顔画像が前回検出された顔画像と同一人物である力否かを精度良く判定できる。

[0032] 上記監視記録装置において、同一性判定部は、顔画像検出部にて複数の顔画像が検出された場合には、前回検出された顔画像に最も近い位置で新しく検出された顔画像が前回検出された顔画像と同一人物であると判定してもよい。

[0033] この構成により、複数の顔画像が検出された場合にも、同一人物の顔画像を適切に選択することができる。

[0034] 上記監視記録装置において、同一性判定部は、前回検出された顔画像が複数ある場合には、新しく検出された顔画像に最も近い位置で前回検出された顔画像が新しく検出された顔画像と同一人物であると判定してもよい。

[0035] この構成により、前回検出された顔画像が複数ある場合にも、同一人物の顔画像を適切に選択することができる。

[0036] 上記監視記録装置において、同一性判定部は、顔画像検出部にて順次検出された顔画像の移動方向を検出し、移動方向の変化を検出した場合に別の人物であると半 IJ定してちよい。

[0037] この構成により、監視映像内に現れた人物を精度良く検出することができる。例えば、 2人の人物が接近して交差した場合に、 2人の人物が同一であるとの誤った検出を回避できる。

[0038] 上記監視記録装置において、同一性判定部は、顔画像検出部にて顔画像を検出して力新しく顔画像を検出するまでに要した時間が所定の閾値を超えた場合には別の人物であると判定してもよい。

[0039] この構成により、監視映像内に現れた人物を精度良く記録することができる。例えば、監視映像端力も人物が消えた後にその付近に新たに人物が登場した場合に、両人物が同一であるとの誤った検出を回避できる。

[0040] 上記監視記録装置にお!ヽて、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、顔画像のサイズの大きい方を選択してちよい。 [0041] この構成により、同一人物についてサイズの大きい顔画像を記録媒体に保存することがでさる。

[0042] 上記監視記録装置にお!ヽて、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、顔画像の輪郭画像各画素の中心位置からの平均距離の大き!/、方を選択してもよ!/、。

[0043] この構成により、同一人物についてサイズの大きい顔画像を記録媒体に保存することがでさる。

[0044] 上記監視記録装置にお!ヽて、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、左右の輝度の平均値の相違が小さい方を選択してもよい。

[0045] この構成により、同一人物について対称性の高い顔画像、すなわち、より正面顔に近、顔画像を記録媒体に保存することができる。

[0046] 上記監視記録装置にお!ヽて、保存画像選択部は、記録媒体に保存された顔画像と顔画像検出部にて新しく検出された顔画像のうち、あらかじめ設定された顔輪郭テンプレートとの類似度が大き!/、方を選択してもよ!/、。

[0047] この構成により、顔輪郭テンプレートに近い顔画像を保存することができる。顔が中心に位置する顔輪郭テンプレートをあら力じめ設定しておけば、顔が中心に位置する顔画像を記録媒体に保存することができる。

[0048] 上記監視記録装置にお!ヽて、保存画像選択部は、記録媒体に記録された顔画像と顔画像検出部にて新しく検出された顔画像に対し、複数の判定項目のそれぞれにつ、てポイントを付与し、複数の判定項目の総合ポイントの高、方の顔画像を選択してもよい。

[0049] この構成により、複数の判定項目から総合的に判定し、最も保存に適した顔画像を記録媒体に保存することができる。

[0050] 上記監視記録装置において、保存画像選択部は、顔画像検出部にて新しく検出された顔画像に対し、複数の判定項目のそれぞれについてポイントを付与し、複数の判定項目の総合ポイントが所定の閾値を超えた場合に、検出された顔画像を選択してもよい。 [0051] この構成により、保存に適した顔画像のうちで、後で検出された顔画像を記録媒体に保存する。監視カメラで撮影した監視映像に現れる人物は、カメラに向かってくる場合が多いので、顔画像は次第に大きくなる。従って、複数の判定項目により所定の閾値を超えるポイントを有する顔画像の中で、後に検出されたサイズの大きい顔画像を記録できる。

[0052] 本実施の形態の監視記録方法は、監視映像を入力する映像入力ステップと、映像入力ステップにおいて入力された監視映像力移動している物体を検出する移動物体検出ステップと、移動物体検出ステップにおいて検出された物体力楕円形の輪郭を有する部分を顔画像として検出する顔画像検出ステップと、顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物である力否かを、検出された顔画像の位置に基づいて判定する同一性判定ステップと、同一性判定ステップにおいて同一人物と判定された複数の顔画像の中力保存する顔画像を選択する保存画像選択ステップと、保存画像選択ステップにお!ヽて選択された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存ステップとを備える。

[0053] この構成により、本実施の形態の監視記録装置と同様に、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらず、横向きや後向きの頭部も顔画像として適切に検出し、保存できる。また、本実施の形態の監視記録装置の各種の構成を、本実施の形態の監視記録方法に適用することも可能である

[0054] 本実施の形態の監視記録方法は、監視映像を入力する映像入力ステップと、映像入力ステップにおいて入力された監視映像力移動している物体を検出する移動物体検出ステップと、移動物体検出ステップにおいて検出された物体から、楕円形の輪郭を有する部分を顔画像として検出する顔画像検出ステップと、顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物である力否かを、それぞれの顔画像の位置に基づいて判定する同一性判定ステップと、同一性判定ステップにおいて同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方を選択する保存画像選択ステップと、保存画像選択ステップにおヽて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に顔画像を検索するための情報を記録媒体に保存する画像保存ステップとを備える。

[0055] この構成により、本実施の形態の監視記録装置と同様に、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらず、横向きや後向きの頭部も顔画像として適切に検出し、保存できる。また、本実施の形態の監視記録装置の各種の構成を、本実施の形態の監視記録方法に適用することも可能である

[0056] 本実施の形態によれば、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらず、横向きや後向きの頭部も顔画像として適切に検出し、保存できる。また、監視映像力順次検出される顔画像が同一人物の顔画像である場合には、検出された顔画像のうちから、監視画像として最も適したいわゆる「ベストショット」の顔画像を選択して保存することができると、うすぐれた効果を有する。

[0057] 以下、本発明の実施の形態の監視記録装置について、図面を用いてさらに詳しく説明する。

[0058] 図 1は、本発明の実施の形態の監視記録装置 10を示す図である。図 1において、本発明の実施の形態の監視記録装置 10は、監視映像を撮影するカメラ等の映像入力部 12と、映像入力部 12にて入力された監視映像を処理する制御部 14と、監視映像力抽出された情報を記録する記録媒体 16とを備える。

[0059] 制御部 14は、映像から移動物体を含む領域 (以下、「動き領域」という） Mと移動物体の輪郭を検出する移動物体検出部 18と、移動物体検出部 18で検出された動き領域 Mから輪郭情報を用いて顔画像 Fの候補を検出する顔画像検出部 20と、顔画像検出部 20で出力された顔の位置情報を用いて、連続検出された顔画像 Fが同一人物か別人物かを判定する同一性判定部 22と、同一性判定部 22で同一人物と判定された場合に、検出された顔画像 Fと記録媒体 16に保存されている同一人物の顔画像 Fのうちから保存に適して、る顔画像 Fを選択する保存画像選択部 24と、保存画像選択部 24にて選択された顔画像 Fを記録媒体 16に保存する画像保存部 26と、記録媒体 16から顔画像 Fに関連する情報を検索キーとして顔画像 Fを検索する人物検索部 28とを有する。検索キーの入力は検索キー入力部 30によって受け付けられ、検索結果は画像出力部 32から出力される。

[0060] 以上のように構成された監視記録装置 10の動作について説明する。まず、映像入力部 12で撮影された監視映像が、制御部 14に入力される。制御部 14の移動物体検出部 18は、入力された監視画像と微小時間前に入力された監視画像カゝら動き領域 Mおよび移動物体の輪郭 Tを検出する。具体的には、移動物体検出部 18は、微小時間前に入力された監視画像と現在入力された監視画像とで対応する画素同士差分をとるフレーム間差分によって差分画像を作成する。本実施の形態では、差分画像を求める方法として、フレーム間差分をとる方法を採用したが他の方法で差分画像を作成してもよい。例えば、あらカゝじめ背景画像を記憶しておき、現在の映像と背景画像との差分をとる背景差分によって差分画像を作成してもよヽ。フレーム間差分と背景差分を組合せて、差分画像を作成してもよい。

[0061] 図 2は、監視映像から顔画像 Fの候補を検出する動作を説明する図である。移動物体検出部 18は、差分画像の存在範囲をラベリングや垂直方向および水平方向に投影したヒストグラム算出等の手法によって検出し、図 2の監視映像画面中から動き領域 Mを検出する。移動物体検出部 18は、差分画像に対して細線化を行い、移動物体の輪郭 Tを抽出して輪郭画像を作成する。これにより、図 3に示すように移動物体の輪郭 Tが検出される。

[0062] 次に、顔画像検出部 20は、移動物体検出部 18で作成された輪郭画像から顔画像 Fを検出する。顔の輪郭 Tfは一般的に楕円形をしているので、楕円ハフ検出方法を用いて輪郭 Tからあらかじめ設定した顔のサイズの楕円位置を特定して、顔画像 Fを検出する。なお、顔画像検出部 20は、ここで用いる楕円として長軸および短軸の長さの異なる複数の楕円を有する。複数のタイプの楕円を有することにより、個人差のある顔画像 Fを精度良く検出することができる。

[0063] 続ヽて、同一性判定部 22では、顔画像検出部 20で検出した顔画像 Fの検出位置と微小時間前に検出した顔画像 Fの位置との対応をとり、検出した顔画像 Fと微小時間前に検出した顔画像 Fとが同一人物の顔画像 Fである力別人物であるかを判定する。ここで、同一性判定部 22の判定方法について、図 4〜図 7を用いて説明する。

[0064] 図 4および図 5は、検出された顔画像の数が 1個の場合の同一性判定方法を説明する図である。同一性判定部 22は、時刻 Tにおける顔画像 F1の中心位置 C1 (T)と微小時間後の時刻 T+tにおける顔画像 F2の中心位置 C2 (T+t)との距離 Lを算出する。同一性判定部 22は、距離 Lがあら力じめ定められた閾値 Lthより小さい場合には、顔画像 F1と顔画像 F2が同一人物であると判定する。図 5に示すように、距離しが閾値 Lthより大きい場合には、顔画像 F1と顔画像 F2が別人物であると判定する。なお、時刻 Tと時刻 T+tとの時間間隔が所定の時間より長ヽ場合には、同一性判定部 22は、距離 Lが閾値 Lthより小さい場合であっても別人物と判定する。

[0065] 図 6および図 7は、複数の顔画像の同一性判定について説明する図である。複数の顔画像が検出された場合、同一性判定部 22は、時刻 Tに検出された顔画像の中心位置と時刻 T+tのすベての顔画像の中心位置との距離を算出し、最も距離の小さな組を検出し、その距離が閾値未満の場合に同一人物と判定する。同一性判定部 2 2は、この判定を時刻 Tのすベての中心位置に対して行って複数の顔画像について判定する。例えば、図 6に示す例では、時刻 Tにおいて顔画像 Fl、 F3が検出され、時刻 T+tにおいて顔画像 F2、 F4が検出されている。この場合、同一性判定部 22は、顔画像 F1の中心位置 CI (T)と顔画像 F2の中心位置 C2 (T+t)、顔画像 F1の中心位置 CI (T)と顔画像 F4中心位置 C4 (T+t)のそれぞれの距離を求める。この結果、中心位置 C1 (T)と中心位置 C2 (T+t)の組の方が距離が小さいので、同一性判定部 22は顔画像 F1と顔画像 F2とが同一人物と判定する。同様に、同一性判定部 22は、顔画像 F3の中心位置 C3 (T)と顔画像 F2の中心位置 C2 (T+t)、顔画像 F3 の中心位置 C3 (T)と顔画像 F4の中心位置 C4 (T+t)のそれぞれの距離を求める。この結果、中心位置 C3 (T)と中心位置 C4 (T+t)の組の方が距離が小さいので、同一性判定部 22は顔画像 F3と顔画像 F4とが同一人物と判定する。

[0066] 図 7は、図 6に示す顔画像 F1〜F4の検出結果に加えて、時刻 T+tに顔画像 F5が検出された例を示す図である。この例の顔画像 F5のように、時刻 Tにおける顔画像 F 1および顔画像 F3の、ずれとも対応しな!、顔画像にっ、ては、同一性判定部 22は、時刻 Tに検出された顔画像とは異なる新たな人物の顔画像と判定する。 [0067] 次に、保存画像選択部 24では、記録媒体 16に保存された顔画像 Fと現在検出した顔画像 Fとを比較して、顔画像 Fのサイズ、顔の向き等の条件に基づいて、保存に適した画像を選択する。具体的には、同一性判定部 22にて、現在検出した画像が微小時間前に検出された画像と同一人物の顔画像 Fであると判定されると、保存画像選択部 24は、その人物の顔画像 Fを記録媒体 16から読み出す。保存画像選択部 24は、以下に説明する複数の判定項目について、記録媒体 16から読み出された顔画像 Fと検出された顔画像 Fとを比較する。保存画像選択部 24は、複数の判定項目のそれぞれについてポイントを付与し、各判定項目のポイントを総合した総合ポイントによって、記録媒体 16から読み出された顔画像 Fと現在検出した顔画像 Fのいずれが保存に適するかを判定する。なお、保存された顔画像 Fの各判定項目についてのポイントを記録媒体 16に保存しておき、保存画像選択部 24は保存されたポイントを記録媒体 16から読み出して、検出された顔画像 Fのポイントと比較してもよい。ここで、複数の判定項目のそれぞれについて、図 2および図 8〜図 10を用いて説明する。

[0068] 第 1の判定項目は、顔画像 Fのサイズである。保存画像選択部 24は、図 2に示す顔画像 Fの幅 Wと高さ Hカゝら顔のサイズを判定する。記録媒体 16に保存された顔画像 Fの楕円ハフ検出領域の幅と高さ、検出された顔画像 Fの楕円ハフ検出領域の幅と高さに応じて、保存された顔画像 F、検出された顔画像 Fのそれぞれにポイント PIを付与する。ポイント P1は、幅 W、高さ Hが大きくなるに従って高いポイントが付与される。

[0069] 第 2の判定項目は、顔画像 F内の顔の輪郭 Tfの大きさである。図 8は、移動物体検出部 18で検出された輪郭画像である。図 8を参照しながら、顔の輪郭 Tfの大きさを算出する方法について説明する。保存画像選択部 24は、顔の輪郭 Tfを構成するそれぞれの画素の顔画像 Fの中心位置 C力もの距離を算出し、その平均値を算出する。顔サイズは、この平均値に比例する。記録媒体 16に保存された顔画像 Fの平均距離と検出された顔画像 Fの輪郭画素の平均距離に応じて、保存された顔画像 F、検出された顔画像 Fのそれぞれにポイント P2を付与する。ポイント P2は、平均距離 Dが大きくなるに従って高、ポイントが付与される。

[0070] 第 3の判定項目は、顔画像 Fに映った顔の向きである。図 9は、顔の向きを検出するために、輝度の左右対称性を求める方法について説明する図である。正面顔は左右の対称性が高いため左右の輝度差は小さぐ横向きになるにつれて左右の対称性が崩れ左右の輝度差が大きくなる傾向を利用して顔の向きを判定する。図 9に示すように、保存画像選択部 24は、顔画像 Fを左右側に分割し、分割された領域をさらに等分割した領域 ALi, ARiの輝度平均 BLi, BRi(i=l, · ··, 4)を算出する。そして、保存画像選択部 24は、左右輝度差累積値 Bsを、

Bs=∑|BLi-BRi|

によって算出する。記録媒体 16に保存された左右輝度差累積値、現在に検出した顔画像 Fの左右輝度差累積値に応じて、保存された顔画像 F、検出された顔画像 F のそれぞれにポイント P3を付与する。ポイント P3は、輝度差累積値 Bsが小さくなるに従って高、ポイントが付与される。

[0071] 第 4の判定項目は、顔画像 F内に映る顔の位置である。図 10A〜図 10Cは、顔が顔画像 F内に適切に位置するか否かを検出するための処理を説明するための図である。図 10Aは移動物体検出部 18で検出された輪郭画像であり、図 10Bおよび図 1 OCは顔輪郭テンプレートである。顔輪郭テンプレートは、頭部から肩までの平均的な輪郭である。図 10Bは前向き用の顔輪郭テンプレート、図 10Cは後向き用の顔輪郭テンプレートである。前向きの場合は、サイズの大きな正面顔を検出できるように、後向きの場合は、頭部を大きく切出すと人物の特徴が判り難いため、少しサイズの小さ Vヽ頭部を検出できるように、それぞれ異なる顔輪郭テンプレートが設定されて、る。

[0072] 保存画像選択部 24は、顔画像 Fが前向きか後ろ向きかを検出し、対応する顔輪郭テンプレートと顔画像 Fの中心位置 Cどうしを重ね合わせ、輪郭画素がテンプレートと一致した場合は + 1、一致しな!、場合は 1を加算して全輪郭画素に対して計算する。記録媒体 16に保存されたマッチング類似度と現在検出した顔輪郭テンプレートとのマッチング類似度に応じて、保存された顔画像 F、検出された顔画像 Fのそれぞれにポイント P4を付与する。ポイント P4は、マッチング類似度が大きくなるに従って高いポイントが付与される。

[0073] 直前に検出した顔画像 Fを現在検出した顔画像 Fで更新するかどうかのベストショット判定は、上記の各判定項目のポイント P1〜P4から決定する。保存画像選択部 24 は、上記したポイント P1〜P4の総和により総合ポイントを求め、総合ポイントの高い方の顔画像を選択する。これにより、複数の判定項目について総合的に判定し、最も保存に適した顔画像 Fを記録媒体 16に保存することができる。

[0074] 次に、図 1に示す画像保存部 26は、保存画像選択部 24にて選択された顔画像 F を記録媒体 16に保存する。保存画像選択部 24では、検出された顔画像 Fと記録媒体 16に保存された保存画像のうちから保存に適した顔画像 Fを選択する。選択された顔画像 Fを記録媒体 16に上書き保存していくことによって、最終的に最も保存に適した顔画像 Fを記録媒体 16に保存することができる。画像保存部 26は、移動物体検出部 18、顔画像検出部 20によって随時検出される情報、例えば、動き領域 Mの位置情報、顔画像 Fの位置情報、人物の監視映像画面への登場時刻および退場時刻、人物の移動方向等を、選択された顔画像 Fと共に記録媒体 16に保存する。

[0075] 人物検索部 28は、画像保存部 26によって保存された各種情報を用いて、録画後に監視映像に登場した人物の検索を行う。例えば、保存画像選択部 24では同一人物に対して保存に適した画像を記録してヽるので、ベストショット顔画像の一覧を表示することで容易にかつ高速に人物の検索が可能になる。時刻による検索、移動方向による検索等の条件を絞った検索も可能になる。

[0076] 本実施の形態の監視記録装置 10によれば、あらかじめ設定された顔のサイズの楕円位置を特定して、楕円形の輪郭を有する部分を顔画像 Fとして検出するので、監視画像を撮影した方向によらずに、適切に顔画像 Fを検出できる。

[0077] 本実施の形態の監視記録装置 10によれば、監視映像から順次検出される顔画像 Fが同一人物の顔画像 Fである場合には、検出された顔画像 Fのうちから、監視画像として最も適した、わゆる「ベストショット」の顔画像 Fを選択して保存することができる。監視映像力正面顔に加えて監視映像に多い上側力のショット、横向きや後向きの頭部も履歴情報として記録できるため、監視システムのセキュリティが向上する。

[0078] 本実施の形態の監視記録装置 10によれば、長時間録画された監視映像から人物の映っている目的のシーンを、高速に検索することができる。

[0079] 以上、本発明の監視記録装置 10について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。 [0080] 上記した実施の形態では、微小時間前に検出された顔画像 Fと現在検出された顔画像 Fの位置に基づいて同一性判定を行った力同一性判定部 22は、顔画像 Fの移動履歴をも考慮して同一性判定を行ってもょヽ。

[0081] 図 11は、同一性判定部 22による同一性判定の方法を説明するための図である。

図 11に示す軌跡を迪つて移動する顔画像 F1〜F6が検出された場合、同一人物が時刻 T+ 3tにおいて方向を変えた可能性と、画面の右側力も左側に向力つて移動する別の人物が交差した場合の可能性とがある。中心位置間の距離のみを用いて同一性判定を行うと、別の人物が交差した場合に別人物を同一人物と判定してしまい、先に検出した人物を検出し損ねてしまう可能性がある。この問題を解決するため、図 11 に示すように、横方向の移動方向変化がない時刻 T〜時刻 T+ 3tまでは上記実施の形態で説明した距離による判定を行ヽ、時刻 T+4tで移動方向変化を検出したときは上記した実施の形態での距離による判定にかかわらず別人物と判定する。すなわち、時刻 T+ 3tにおける顔画像 F4の中心位置 C4と時刻 T+4tにおける顔画像 F5の中心位置 C5との距離が閾値より小さい場合にも、別人物と判定する。

[0082] 上記した実施の形態では、保存画像選択部 24は、記録媒体 16に保存された顔画像 Fと現在検出した顔画像 Fとの比較を行、、複数の判定項目の総合スコアが高ヽ方を保存画像として選択したが、別の判定基準によって保存画像を選択してもよヽ。例えば、総合スコアが所定の閾値以上となった場合はべストショットと判定し、直前まで記録媒体 16に保存されてヽた顔画像 Fを新、ベストショットの顔画像 Fによって更新することとしてもよい。

[0083] 上記した実施の形態では、保存画像選択部 24は、複数の判定項目によって保存する顔画像 Fを選択したが、上記の判定項目をすベて用いる必要はない。本発明は、上記した判定項目の、ずれかを用いて保存画像を選択してもよ、し、上記以外の判定項目によって判定を行ってもよい。

[0084] 以上に現時点で考えられる本発明の好適な実施の形態を説明した力本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。産業上の利用可能性

以上説明したように、本発明は、楕円形の輪郭を有する部分を顔画像として検出するので、監視画像を撮影した方向によらず、横向きや後向きの頭部も顔画像として適切に検出し、保存できるというすぐれた効果を有しカメラで人物の動作を監視する監視記録装置等として有用である。

Claims

請求の範囲

[1] 監視映像を入力する映像入力部と、

前記映像入力部にて入力された監視映像カゝら移動している物体を検出する移動物体検出部と、

前記移動物体検出部にて検出された物体から楕円形の輪郭を有する部分を顔画像として検出する顔画像検出部と、

前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、前記同一性判定部にて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択部と、

前記保存画像選択部にて選択された顔画像と共に前記顔画像を検索するための情報を記録媒体に保存する画像保存部と、

を備えたことを特徴とする監視記録装置。

[2] 監視映像を入力する映像入力部と、

前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定部と、前記同一性判定部にて同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方の顔画像を選択する保存画像選択部と、

前記保存画像選択部にて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に前記顔画像を検索するための情報を前記記録媒体に保存する画像保存部と、

を備えたことを特徴とする監視記録装置。

[3] 前記画像保存部は、前記顔画像検出部にて新しく検出された顔画像が前回検出された顔画像と別の人物であると前記同一性判定部にて判定された場合に、新しく検出された顔画像を監視映像内に新たに現れた人物として前記記録媒体に保存することを特徴とする請求項 2に記載の監視記録装置。

[4] 前記同一性判定部は、前記顔画像検出部にて新しく顔画像が検出された位置と前回顔画像が検出された位置との距離が、所定の閾値より小さい場合に同一人物であると判定することを特徴とする請求項 2に記載の監視記録装置。

[5] 前記同一性判定部は、前記顔画像検出部にて複数の顔画像が検出された場合には、前回検出された顔画像に最も近い位置で新しく検出された顔画像が前回検出された顔画像と同一人物であると判定することを特徴とする請求項 2に記載の監視記録装置。

[6] 前記同一性判定部は、前回検出された顔画像が複数ある場合には、新しく検出された顔画像に最も近い位置で前回検出された顔画像が新しく検出された顔画像と同一人物であると判定することを特徴とする請求項 2に記載の監視記録装置。

[7] 前記同一性判定部は、前記顔画像検出部にて順次検出された顔画像の移動方向を検出し、移動方向の変化を検出した場合に別の人物であると判定することを特徴とする請求項 2に記載の監視記録装置。

[8] 前記同一性判定部は、前記顔画像検出部にて顔画像を検出してカゝら新しく顔画像を検出するまでに要した時間が所定の閾値を超えた場合には別の人物であると判定することを特徴とする請求項 2に記載の監視記録装置。

[9] 前記保存画像選択部は、前記記録媒体に保存された顔画像と前記顔画像検出部にて新しく検出された顔画像のうち、顔画像のサイズの大きい方を選択することを特徴とする請求項 2に記載の監視記録装置。

[10] 前記保存画像選択部は、前記記録媒体に保存された顔画像と前記顔画像検出部にて新しく検出された顔画像のうち、顔画像の輪郭画像各画素の中心位置力ゝらの平均距離の大きい方を選択することを特徴とする請求項 2に記載の監視記録装置。

[11] 前記保存画像選択部は、前記記録媒体に保存された顔画像と前記顔画像検出部にて新しく検出された顔画像のうち、左右の輝度の平均値の相違が小さい方を選択することを特徴とする請求項 2に記載の監視記録装置。

[12] 前記保存画像選択部は、前記記録媒体に保存された顔画像と前記顔画像検出部にて新しく検出された顔画像のうち、あらかじめ設定された顔輪郭テンプレートとの類似度が大きい方を選択することを特徴とする請求項 2に記載の監視記録装置。

[13] 前記保存画像選択部は、前記記録媒体に保存された顔画像と前記顔画像検出部にて新しく検出された顔画像に対し、複数の判定項目のそれぞれについてポイントを付与し、前記複数の判定項目の総合ポイントの高!ヽ方の顔画像を選択することを特徴とする請求項 2に記載の監視記録装置。

[14] 前記保存画像選択部は、前記顔画像検出部にて新しく検出された顔画像に対し、複数の判定項目のそれぞれにつ、てポイントを付与し、前記複数の判定項目の総合ポイントが所定の閾値を超えた場合に、検出された顔画像を選択することを特徴とする請求項 2に記載の監視記録装置。

[15] 監視映像を入力する映像入力ステップと、

前記映像入力ステップにお、て入力された監視映像力も移動して、る物体を検出する移動物体検出ステップと、

前記移動物体検出ステップにおいて検出された物体力楕円形の輪郭を有する部分を顔画像として検出する顔画像検出ステップと、

前記顔画像検出ステップにおいて新しく検出された顔画像が前回検出された顔画像と同一人物であるか否かを、それぞれの顔画像の位置に基づいて判定する同一性判定ステップと、

前記同一性判定ステップにおいて同一人物と判定された複数の顔画像の中から保存する顔画像を選択する保存画像選択ステップと、

前記保存画像選択ステップにおいて選択された顔画像と共に前記顔画像を検索するための情報を記録媒体に保存する画像保存ステップと、

を備えたことを特徴とする監視記録方法。

[16] 監視映像を入力する映像入力ステップと、

前記同一性判定ステップにお、て同一人物と判定された場合に、記録媒体に保存されている同一人物の顔画像と新しく検出された顔画像のうちの一方を選択する保存画像選択ステップと、

前記保存画像選択ステップにおいて新しく検出された顔画像の方が選択された場合に、新しく検出された顔画像と共に前記顔画像を検索するための情報を前記記録媒体に保存する画像保存ステップと、

を備えたことを特徴とする監視記録方法。