JP2020191585A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】映像記録装置に記録時刻から一定時間経過後に古い映像から削除を行う自動削除機能を備えた監視システムにおいて、イベント発生時刻の録画映像のみが保全され、映像を確認する際に必要なイベントに関連する映像が自動消去されてしまうことを防ぐ。【解決手段】ネットワークカメラシステムにおいて、画像解析サーバ１０４は、撮像画像より被写体を検出する検出手段と、特定の被写体と関連する関連被写体を判定する判定手段と、関連被写体が存在する時刻範囲に基づき録画映像の録画保護範囲を決定する決定手段を設けることにより、映像を確認する際に必要なイベントに関連する映像が自動消去されてしまうことを防ぐ。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、多数のネットワークカメラを用いた大規模な監視システムが登場してきている。このような監視システムでは、オフィスや、店舗、ショッピングモール、スタジアム、街頭、地域全体等、広い範囲にネットワークカメラが設置されるようになっており、セキュリティの向上に役立っている。
このような監視システムとして、ネットワークカメラで撮像した画像に対して画像解析及び認識処理を行うことで、画像中の被写体認識を行い、被写体を検出する被写体検出システムが提案されている。被写体検出システムでは、検出すべき特定の被写体の画像をシステムに予め登録しておき、リアルタイムにカメラ映像を解析し検出対象の被写体を検出した際に警報（アラーム）を監視員又は警備員に通知する。被写体検出システムは、検出時に監視モニタへアラーム表示を行うことで、監視員らに通知することができる。このとき監視員らはアラーム通知の原因となったカメラ映像も確認できる。
このような被写体検出システムにつき特許文献１では、ネットワークカメラで撮像した人物の顔画像と、予め登録した要注意人物の顔画像と照合することで、要注意人物であるか否かを判定するシステムが提案されている。

また、このような被写体検出システムではカメラ映像を録画及び保存しておくことにより、監視員や、警備員、施設管理者が問題発生時の映像を遡って確認すること及び証拠映像保全の用途に記録映像を活用することができる。
また、監視システムが大規模化するにつれカメラ台数が増加し、その映像を記録するための記録装置も増強する必要がありコストアップの要因となっている。そのため映像記録装置に記録時刻から一定時間経過後に古い映像から削除を行う自動削除機能を備え、必要な記憶媒体の容量を削減することが実現されている。
特許文献２では、映像信号に関連して発生したイベントの開始日時と終了日時に基づいて映像記録配信装置から長期保存装置に映像データを取り出して保存する技術が提案されている。

特開２０１６−００９２３４号公報 特許第４３４３６７０号公報

上述のようなシステムでは、イベント発生時刻の録画映像のみが保全され、イベントに関連する映像が自動消去されてしまう恐れがある。
そのため、イベント検出された特定人物と接触した人物の足跡を映像で確認したり、特定人物と接近した人物の行方を映像で追ったりする際に映像が消去されてしまっている恐れがある。

本発明の情報処理装置は、撮像画像より被写体を検出する検出手段と、特定の被写体と関連する関連被写体を判定する判定手段と、前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定手段と、を有することを特徴とする。

本発明によれば、映像を確認する際に必要な映像が削除されてしまうことを防ぐことができる。

録画システムのシステム構成の一例を示した図である。 カメラのハードウェア構成の一例を示す図である。 画像解析サーバの機能構成の一例を示す図である。 軌跡管理部が管理する管理情報の一例を示す図である。 録画サーバの機能構成の一例を示す図である。 操作端末の機能構成の一例を示す図である。 被写体情報登録処理の一例を示すフローチャートである。 登録者リストの一例を示す図である。 登録者リスト管理テーブルの構成の一例を示す図である。 録画制御処理の一例を示すフローチャートである。 アラーム設定リストの一例を示す図である。 アラーム表示情報テーブルの一例を示す図である。 カメラ情報テーブルの一例を示す図である。 マップ情報テーブルの一例を示す図である。 アラーム表示処理の一例を示すフローチャートである。 画像録画サーバの録画状態を説明する図である。 変形例の録画制御処理の一例を示すフローチャートである。 録画状態を説明するための図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
図１は、録画システムのシステム構成の一例を示した図である。本実施形態では、録画システムをネットワークカメラシステム１０に適用する。
ネットワークカメラシステム１０は、少なくとも１台のネットワークカメラ（以下、単に「カメラ」ともいう）１０２と、情報処理装置１０３、１０４、１０５と、を備える。情報処理装置１０３は画像録画サーバ、情報処理装置１０４は画像解析サーバ、情報処理装置１０５は操作端末として、それぞれ構成することができる。これらの情報処理装置は、物理的に独立した装置として構成しても、又は、一体的に構成してもよい。
カメラ１０２と情報処理装置１０３、１０４、１０５とは、ネットワーク回線であるＬＡＮ（Local Area Network）１０１によって接続されている。ネットワーク回線はＬＡＮに限定されるものではなく、インターネット、又はＷＡＮ（Wide Area Network）等であってもよい。また、ＬＡＮ１０１への物理的な接続形態は、有線であってもよいし、無線であってもよい。更に、図１において、カメラ１０２及び情報処理装置１０３、１０４、１０５は、１台又は２台がＬＡＮ１０１に接続されているが、接続台数は図１に示す数に限定されない。
カメラ１０２は、所定の画角で監視対象空間内に存在する所定の被写体を撮像する、監視カメラ等の撮像装置である。カメラ１０２は、撮像画像（以下、単に「画像」ともいう。）を、ＬＡＮ１０１を介して各情報処理装置１０３、１０４、１０５へ送信する機能を有する。

画像録画サーバ１０３は、カメラ１０２から送信された撮像画像をＬＡＮ１０１経由で受信して保存、蓄積する。また、画像録画サーバ１０３は、画像解析サーバ１０４及び操作端末１０５から受け付けた要求に応じて保存している撮像画像を各装置に送信する。
また、画像録画サーバ１０３は、画像解析サーバ１０４から受け付けた録画の開始及び終了、録画画像の削除、削除されないよう指定範囲の映像へのロックの設定、指定された時刻以前の録画映像の一括削除等の録画映像の制御機能を有する。
本実施形態では、画像録画サーバ１０３は、カメラ１０２の画像を常時録画しているものとする。また本実施形態での画像録画サーバ１０３の画像を記録するための記憶媒体は有限であるため、画像録画サーバ１０３で定期的に古い画像を削除する定期削除処理が実行される。

画像解析サーバ１０４は、撮像画像から検出すべき被写体の画像等を操作端末１０５からＬＡＮ１０１経由で受信し、被写体検出処理に必要な特徴量を生成し被写体を検出するために用いる特徴情報として保存しておく。
また、画像解析サーバ１０４は、カメラ１０２が撮像した撮像画像をＬＡＮ１０１経由でカメラ１０２から受信して画像解析処理を行い、検出すべき被写体が撮像画像に含まれているかどうかの被写体検出処理を行うことができる。また、画像録画サーバ１０３に記録されている撮像画像をＬＡＮ１０１経由で受信した場合も、画像解析サーバ１０４は、撮像画像について同様に被写体検出処理を行うことができる。
画像解析サーバ１０４は、撮像画像中で検出すべき被写体を検出した場合にはアラーム表示情報を生成し、操作端末１０５に生成したアラーム表示情報を送信する。画像解析サーバ１０４は、アラーム表示情報の送信を、操作端末１０５からの要求に基づき実行してもよい。また、操作端末１０５が検出結果をリアルタイムで受信する設定であれば、画像解析サーバ１０４は、解析結果を解析処理終了毎に操作端末１０５へ送信してもよい。
また、画像解析サーバ１０４は、撮像画像からアラームを生成した際に、アラームを発生させた被写体と関連のある別の被写体を検出し、関連被写体検出の結果に応じて画像解析サーバ１０４への録画制御を行う。

本実施形態の以下の説明では、画像解析サーバ１０４がカメラ１０２の撮像画像を画像録画サーバ１０３経由で受信する場合を想定しているが、カメラ１０２から直接受信する場合も同様にして各種の処理を実行することができる。また、以下の説明では、画像解析サーバ１０４が解析結果及び登録情報を保持する場合を想定しているが、ネットワークを介した他のデータベース、又は操作端末１０５に保存するようにしてもよい。
操作端末１０５は、表示装置（ディスプレイ）を備え、カメラ１０２から受信した撮像画像、画像録画サーバ１０３に記録された画像データの再生及び表示、画像解析サーバ１０４から受信したアラーム表示情報を表示するための表示制御機能を有する。また操作端末１０５は、被写体検出用のユーザインタフェースと入力部とを備え、被写体検出のための画像解析処理に関するパラメータ設定、登録情報の設定、アラーム表示情報の各種パラメータの設定、一括録画削除時刻設定の操作を行うための機能を有する。

次に、各装置の構成について説明する。
図２は、カメラ１０２のハードウェア構成の一例を示す図である。カメラ１０２は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、撮像部２０５、入力部２０６、通信Ｉ／Ｆ２０７、システムバス２０８を含んで構成することができる。これ以外の構成を更に含んでいてもよい。
ＣＰＵ２０１は、カメラ１０２における動作を統括的に制御する制御部であって、システムバス２０８を介して、各構成要素（２０２〜２０７）の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。プログラムは、外部メモリ２０４、又は着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。即ち、ＣＰＵ２０１は、処理の実行に際してＲＯＭ２０２から必要なプログラム等をＲＡＭ２０３にロードし、プログラム等を実行することで各種の機能動作を実現する。

外部メモリ２０４は、例えば、ＣＰＵ２０１がプログラムを用いた処理を行う際に必要な各種データ及び各種情報等を記憶している。また、外部メモリ２０４には、例えば、ＣＰＵ２０１がプログラム等を用いた処理を行うことにより得られた各種データ及び各種情報等が記憶される。撮像部２０５は、被写体の撮像を行って撮像画像を生成する。撮像部２０５は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子、Ａ／Ｄ変換器、現像処理部等を含んで構成することができる。
入力部２０６は電源ボタン及び設定ボタン等から構成され、カメラ１０２の操作者は、入力部２０６を介してカメラ１０２に指示を与えることができる。通信Ｉ／Ｆ２０７は、外部装置（ここでは、情報処理装置１０３）と通信するためのインターフェースである。通信Ｉ／Ｆ２０７は、例えばＬＡＮインターフェースである。システムバス２０８は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４、撮像部２０５、入力部２０６及び通信Ｉ／Ｆ２０７を通信可能に接続する。カメラ１０２の各部の機能は、ＣＰＵ２０１がＲＯＭ２０２、又は外部メモリ２０４に記憶されたプログラムを実行することで実現される。

本実施形態において、情報処理装置１０３から１０５までのそれぞれのハードウェア構成についても、図２（Ａ）に示すハードウェア構成に準ずることができる。但し、その場合には、撮像部２０５に代えて、表示部等のハードウェア構成を具備することができる。ここで、表示部は、液晶ディスプレイ（ＬＣＤ）等のモニタで構成される。また、情報処理装置１０３から１０５までは、入力部２０６として、キーボード及びマウス等のポインティングデバイスを具備し、操作者が情報処理装置に対して指示を与えることができるように構成される。また、外部メモリ２０４は、種々の情報を記憶しておくためのデータベースを含むことができる。

図３は、画像解析サーバ１０４の機能構成の一例を示す図である。画像解析サーバ１０４は、画像取得部３０１、被写体検出部３０２、特徴量取得部３０３、特定被写体情報登録部３０４、特定被写体情報管理部３０５、照合部３０６を備えることができる。更に、画像解析サーバ１０４は、アラーム情報設定部３０７、アラーム情報管理部３０８、アラーム作成部３０９、関連被写体判定部３１０、軌跡管理部３１１、録画制御部３１２、定期削除管理部３１３、通信部３１４を備えることができる。
図３に示す各機能構成要素は、画像解析サーバ１０４のＣＰＵ２０１が対応する処理プログラムを実行することによって実現され得る。但し、図３に示す各要素のうち少なくとも一部を専用のハードウェアで実現するように構成してもよい。この場合、専用のハードウェアは、ＣＰＵ２０１の制御に基づいて動作する。
本実施形態では、図３の各機能を画像解析サーバ１０４内に搭載する場合を説明するが、機能の一部を他の機器に搭載してもよい。例えば、機能の一部をカメラ１０２内に搭載してもよいし、画像録画サーバ１０３を含む他の情報処理装置に搭載してもよい。また、本実施形態においては、画像解析サーバ１０４が被写体として主に人物を検出する場合を説明するが、検出対象となる被写体は人物に限定されるものではない。例えば、車両、又は不審物等の特定の被写体を検出対象とすることもできる。

画像取得部３０１は、カメラ１０２から送信された撮像画像を画像録画サーバ１０３経由で受信し、伸長、復号化して画像（動画像若しくは静止画像）を取得する。画像取得部３０１は、取得した画像を順次、被写体検出部３０２へ送出する。ここで、本実施形態においてカメラ１０２から提供される撮像画像は、静止画であっても動画であってもよい。また、撮像画像の供給元については特に限定するものではない。供給元は、有線、又は無線を介して撮像画像を供給するカメラ１０２、画像録画サーバ１０３、又は、それら以外の他の撮像装置であってもよい。また、画像取得部３０１は、同一の装置内のメモリ（例えば、外部メモリ２０４）から撮像画像を取得するようにしてもよい。以下の説明では、動画像を取得した場合であっても静止画像を取得した場合であっても、画像取得部３０１は、被写体検出部３０２へ１枚の画像を送出する場合について説明する。前者の場合は、１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、１枚の画像が静止画像に相当する。動画像の場合は、各フレームについて同様の処理を繰り返せばよい。
次に、被写体検出部３０２は、画像取得部３０１が受信した撮像画像に対し、照合パターン辞書等を用いて被写体検出処理を実施する。これにより、撮像画像中で被写体（例えば、人物）が含まれる被写体領域（人物領域）が抽出される。特徴量取得部３０３は、被写体検出部３０２で抽出された被写体領域の画像から、所定の演算に基づいて特徴量を抽出する特徴量抽出処理を行う。例えば、被写体として人物が抽出される場合、特徴量として人物の顔の特徴量を抽出することができる。また、顔以外にも上半身、下半身、全身、後姿、着衣等の特徴量を抽出してもよい。又は、人物がかばん、又はバックパック等の荷物を持つことを抽出してもよい。

次に、特定被写体情報登録部３０４は、検出対象とする特定被写体の画像を含む情報を操作端末１０５からＬＡＮ１０１経由で受信し、特定被写体検出処理に必要な特徴量を生成し特定被写体の特徴情報（以下、「特定被写体情報」という）として特定被写体情報管理部３０５に登録する。ここでの特徴量の生成については、特徴量取得部３０３が行う処理と同様に実施することができる。特定被写体情報管理部３０５は、特定被写体情報登録部３０４が生成した登録対象の被写体の特徴量、画像を、登録名、登録時刻等の情報と共に特定被写体情報として管理する。
照合部３０６は、特徴量取得部３０３が取得した特徴量と特定被写体情報管理部３０５が保持及び管理する検出対象の被写体の特徴量とを照合し、類似度を算出する。照合部３０６は、算出した類似度が所定の閾値以上である場合、撮像された被写体は、検出対象の被写体に類似していると判断し、検出対象の特定被写体が検出されたと認識する。

上述のように本実施形態において検出すべき対象である被写体は人物に限定されない。したがって、特定被写体情報登録部３０４は、操作端末１０５から提供された特定被写体画像から、当該被写体を撮像画像において検出するのに有効となる特徴量を抽出する。検出対象が車両であれば、車両を検出可能な車両の形状的特徴、又は車両に固有の識別情報（例えばナンバープレートの番号）を特徴量として抽出することができる。

アラーム情報設定部３０７は、画像解析サーバ１０４での解析処理結果に応じたアラームの通知内容、対象カメラ等のアラーム設定を行う。アラーム情報設定部３０７は、アラーム設定を操作端末１０５からＬＡＮ１０１経由で受信し、アラーム情報管理部３０８へ登録する。アラーム作成部３０９は、検出対象の特定被写体が検出されたことを通知するためのアラーム表示情報をアラーム情報管理部３０８の設定等に基づき作成する。
通信部３１４は、アラーム作成部３０９が作成したアラーム表示情報をＬＡＮ１０１経由で操作端末１０５へ送信する。設定管理部３１５は、画像解析サーバ１０４の設定、画像録画サーバ１０３の設定、映像解析に必要な設定、カメラ設定等映像解析処理及びアラーム作成処理に必要な情報を保持している。

軌跡管理部３１１は、被写体検出部３０２及び照合部３０６で取得する被写体情報を、管理情報として被写体毎に管理する。図４を参照して、軌跡管理部３１１が管理する管理情報の例を説明する。管理情報７０１には、被写体ＩＤ（Object ID）ごとに被写体情報７０２が管理されている。１つの被写体に対する被写体情報７０２には、被写体が検出されたフレーム毎の情報７０３が管理されている。情報７０３には、情報が作成された日時を示すタイムスタンプ（Time Stamp）、検出された被写体の座標位置（Position）、検出された被写体の領域を包含する外接矩形を規定する情報（Bounding box）、被写体のサイズ（size）、被写体の属性(Attribute)が含まれている。但し、情報７０３に含まれる情報はこれらに限らず、如何なる情報を含めてもよい。
例えば被写体の属性(Attribute)は被写体検出部３０２で検出する属性を示しているが、これに限らず、検出した被写体に対して任意の特徴量を抽出し属性を判別するようにして情報７０３へ含めるようにしてもよい。また例えば、被写体として人物が抽出される場合、被写体の特徴として性別推定、年齢推定、物体所持の有無、帽子の有無、着衣の色等を含めるようにしてもよい。また例えば、被写体外接矩形に換え被写体検出部３０２で被写体の輪郭を検出するようにし検出した被写体輪郭を記録することで被写体間の重なり及び距離をより正確に計測することができる。

また、被写体情報７０２には、被写体と関連する被写体に関する情報が管理されている。関連被写体情報７０４には、関連被写体のＩＤ（Relation object ID）、関連情報が作成された日時を示すタイムスタンプ（Time Stamp）、種類（Event type）が含まれている。但し、関連被写体情報７０４に含まれる情報はこれらに限らず、如何なる情報を含めてもよい。
被写体情報７０２の関連被写体のＩＤには、管理情報７０１の被写体ＩＤと関連付けられており、関連被写体ＩＤから関連被写体の情報を参照することができる。
また、軌跡管理部３１１は、対象被写体が照合部３０６の照合処理において特定被写体情報登録部３０４で登録されている特定被写体と判定された場合、被写体情報７０２の特定被写体ID(Member ID)へ判定された特定被写体IDが入力される。
関連被写体判定部３１０は、アラーム作成部３０９でアラーム対象となった被写体について、関連する被写体を軌跡管理部３１１の管理情報７０１に基づいて抽出する。抽出された関連被写体は軌跡管理部３１１の管理情報７０１で関連被写体情報として管理される。
また、関連被写体判定部３１０は、アラーム対象被写体の関連被写体の存在する時間範囲に基づき録画保護範囲を決定する。

定期削除管理部３１３は、画像録画サーバ１０３で保存されている録画映像に対して所定時間経過した古い映像の削除指示を行う。所定時間は操作端末１０５からの入力で設定管理部３１５に設定することができる。
録画制御部３１２は、定期削除管理部３１３からの定期削除情報に基づき画像録画サーバ１０３へ録画制御を行う。また録画制御部３１２は、関連被写体判定部３１０から受信した録画保護範囲に基づき、画像録画サーバ１０３へ録画保護制御を行う。
設定管理部３１５に設定で保存される定期削除情報として、録画経過時間と削除頻度及び時刻がある。本実施形態では、録画経過時間を１週間以上、削除頻度及び時刻を１日毎、午前０時０分とする。この定期削除情報に基づき録画制御部３１２は、毎日午前０時０分に、録画した映像のうち１週間以上経過した範囲を削除する。但しこの定期削除処理において、録画保護範囲が設定されている場合はこの定期削除処理で録画保護範囲は削除されない。

また、定期削除処理において、アラーム発生により録画保護制御が行われた際に、アラーム発生のタイミングにより定期削除が正しく行われない可能性がある。そのため、定期削除処理は録画保護範囲が及ばない程度に数秒等ではなく十分に長い１週間以上経過した範囲等を設定することが望ましい。また、定期削除処理自体もアラーム発生時刻と被らずに処理負荷の低い時間帯（例えば深夜）等に時刻設定しておくことが望ましい。
通信部３１４は、アラーム作成部３０９が作成したアラーム表示情報、定期削除管理部３１３の録画削除情報、関連被写体判定部３１０の録画保護範囲情報をＬＡＮ１０１経由で操作端末１０５へ送信する。
設定管理部３１５は、画像解析サーバ１０４の設定、画像録画サーバ１０３の設定、映像解析に必要な設定、カメラ設定等映像解析処理及びアラーム作成処理に必要な情報を保持している。

図５は、画像録画サーバ１０３の機能構成の一例を示す図である。
画像録画サーバ１０３は、通信部４０１と、記録部４０２と、録画映像制御部４０３とを備える。
通信部４０１は、カメラ１０２から映像データを受信する。また通信部４０１は、画像解析サーバ１０４からアラーム表示情報、録画削除情報、録画保護範囲情報をＬＡＮ１０１経由で受信する。
記録部４０２は、通信部４０１が受信したカメラ映像データを保存及び蓄積する。
録画映像制御部４０３は、通信部４０１が受信した録画削除情報、録画保護範囲情報に基づき記録部４０２で保存している録画映像に対し録画映像制御を行う。

図６は、操作端末１０５の機能構成の一例を示す図である。操作端末１０５は、アラーム受信部５０１と、画像取得部５０２と、設定入力部５０３と、通信部５０４と、表示部５０５とを備える。設定入力部５０３は、検出対象とする被写体の画像を含む被写体に関する情報及びアラーム設定情報を入力する。通信部５０４は、入力された情報をＬＡＮ１０１経由で画像解析サーバ１０４に送信する。アラーム受信部５０１は、画像解析サーバ１０４からアラーム表示情報をＬＡＮ１０１経由で受信する。画像取得部５０２は、受信したアラーム表示情報のアラーム発生時刻の撮像画像、アラーム対象が記録されている範囲の撮像画像、又はアラーム対象の関連被写体が記録されている範囲の撮像画像を画像録画サーバ１０３から取得する。表示部５０５は、受信したアラーム表示情報とアラームに関する撮像画像等とを含むアラーム表示画面をディスプレイに表示し操作者へアラームを通知する。

録画システムの動作の詳細を説明する。まず画像解析サーバ１０４が実行する被写体情報登録処理手順について、図７を参照しながら説明する。
Ｓ６０１では、特定被写体情報登録部３０４は、検出対象となる特定被写体に関する情報が入力されたか否かを判定する。本実施形態では、操作端末１０５から画像解析サーバ１０４に対して情報を入力することができる。操作端末１０５の操作者は、特定被写体情報登録時に、登録しようとする被写体の名称（人物であれば氏名、名称）、被写体画像、被写体に関する記述的情報を含めることができる。例えば、記述的情報には、被写体に関するコメント、被写体が人物である場合には性別、年齢、その他の当該人物に関連する任意の属性情報を含めることができる。被写体画像は、例えば人物の場合には顔画像とすることができ、複数枚数の画像を登録することができる。複数枚の画像を登録することで、人物を検出する精度をより高めることが可能となる。情報が入力された場合、処理はＳ６０２へ進む。

Ｓ６０２では、特定被写体情報登録部３０４は、Ｓ６０１で入力された情報のチェックを行う。入力値のチェックとして、入力された画像に対し特徴量の抽出処理を行う。例えば、検出対象の被写体が人物の場合には、特定被写体情報登録部３０４は、顔検出処理を行って、入力画像に顔画像が含まれるかどうかを判定する。顔画像が含まれる場合には、特定被写体情報登録部３０４は、顔特徴量抽出処理を更に行って、顔特徴量が抽出する。Ｓ６０１において顔画像が複数枚入力された場合には、特定被写体情報登録部３０４は、顔画像ごとに顔特徴量を抽出する。顔特徴量が抽出できる場合には、処理はＳ６０３へ進む。一方、検出対象の被写体の特徴量が抽出できない場合には、入力された情報は、登録するには不十分な情報であるので、処理はＳ６０１に戻る。Ｓ６０３では、特定被写体情報登録部３０４は、Ｓ６０１で入力された被写体画像等の情報と、Ｓ６０２で抽出した特徴量とを関連付けて特定被写体情報管理部３０５に被写体情報として登録する。

ここで、特定被写体情報管理部３０５が管理する被写体情報について説明する。図８は被写体情報として人物情報を登録している登録者リスト８００の一例を示す。登録者リスト８００は、登録者ＩＤ８０１、登録時刻８０２、登録名８０３、特徴量８０４、顔画像８０５、性別８０６、コメント８０７のフィールドを有するが、登録人物に関する更なる情報が登録されていてもよい。
登録者ＩＤ８０１は、登録人物に対して一意に割り当てられる識別情報であり、登録人物と関連付けられた登録情報を識別するために用いることができる。登録時刻８０２は、特定被写体情報管理部３０５に人物情報が登録された時刻を示す。登録名８０３は、登録された人物の指名、名称等が登録される。登録名８０３は、操作端末１０５から被写体情報を画像解析サーバ１０４に登録する際に、端末操作者により入力することができる。同様に顔画像８０５、性別８０６、コメント８０７は端末操作者により入力された内容を登録することができる。特徴量８０４には、登録人物が含まれる画像において、人物を特定するために利用可能な特徴量が登録される。本実施形態では、顔画像８０５から抽出された顔特徴量を登録することができる。また、顔画像以外の他の画像（全身画像、上半身画像、下半身画像、後姿、着衣の画像）が提供される場合にも、それらの画像から抽出された特徴量が登録される。また、提供された他の画像も登録者リスト８００に登録することができる。
このようにして登録者リストを生成することができるが、登録者リストは登録される対象の属性に応じて複数種類を生成することもできる。

図９は、複数種類のリストが生成される場合に、リストを管理するための登録者リスト管理テーブルの構成の一例を示す図である。図９に示すように、図８の一般的な登録人物のリストの他に、例えば要注意人物リスト、又は従業員リストといったリストを作成することもできる。テーブル９００は、これらのリストを識別するための識別情報であるリストＩＤ、リスト名９０２、コメント９０３が登録される。ここで、リストＩＤ００１の登録者リスト１が図８に示した登録者リスト８００に対応している。
登録者リスト８００は、一部の情報が操作端末１０５に保持されてもよい。例えば、登録者ＩＤ８０１、登録時刻８０２、登録名８０３、顔画像８０５、性別８０６、コメント８０７の情報は、操作端末１０５側にもリストとして保持されてもよい。このリストを操作端末１０５側で保持しておくことにより、画像解析サーバ１０４から受信したアラーム表示情報を操作端末１０５の表示装置に表示する際に、検出された被写体の画像を特定してアラーム表示に含めることができる。

次に、画像解析サーバ１０４が実行するアラーム制御、録画制御処理について、図１０のフローチャートを参照しながら説明する。まず、Ｓ１６０１では、画像取得部３０１が、カメラ１０２が撮像した撮像画像を画像録画サーバ１０３経由で受信し、伸長、復号化して画像（動画像又は静止画像）を取得する。画像取得部３０１は、取得した画像を、順次、被写体検出部３０２へ送出する。Ｓ１６０２では、被写体検出部３０２が、照合パターン辞書等を用いて取得した画像から被写体を検出する処理を実施する。ここで検出すべき被写体が特定の人物である場合には、撮像画像から人物領域を抽出する。その場合、被写体検出部３０２は、画像から人物が含まれる領域であって、少なくとも顔特徴量等を抽出可能な領域を検出する機能を有していればよく、人物領域の検出処理はパターン処理に限定されない。

人物領域を検出するための他の手法としては例えば、以下の方法がある。被写体検出部３０２は、所定の大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人物であるか否かの２クラス判別を行う。この判別には、アダブーストを使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別精度を向上させる。また、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。弱判別器はＨＯＧ特徴量で構成されている。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去する。それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人物かどうかの判別を行う。

また、被写体検出部３０２による被写体検出処理においては、必ずしも受信した撮像画像の全体について処理を行う必要はない。例えば、撮像画像のうち特定の領域又は範囲を予め処理対象に定めておき、処理対象の範囲内で被写体が存在するか否かを判定し、被写体を抽出してもよい。また、検出対象とする被写体の最大サイズと最小サイズとに基づく範囲を指定しておき、この範囲から外れた被写体の検出を行わないようにすることもできる。このような処理により、被写体検出処理を高速化することができる。範囲等の指定は、情報処理装置１０４又は操作端末１０５のユーザインタフェースを介して被写体検出部３０２に処理パラメータを設定することにより行うことができる。

Ｓ１６０３では、軌跡管理部３１１が、Ｓ１６０１で取得された被写体から被写体に関する情報を管理情報として被写体単位で軌跡管理部３１１へ記録する。被写体情報は被写体検出部３０２から送信される被写体位置情報を時刻ごとに記録するため被写体の移動軌跡が取得できる。また被写体の外接矩形を管理しているため、同時刻における他の被写体の位置及び外接矩形情報により、被写体間における接近度合い、又は接触を判定することができる。被写体間の接触は、各被写体の外接矩形の重なりの有無により判定を行う。被写体間の接近は、被写体位置又は外接矩形と、他の被写体の被写体位置又は外接矩形との間の距離が所定値以内のときに接近と判定する。被写体間の関連については、被写体外接矩形に換え被写体検出部３０２で被写体の輪郭検出を行い得た被写体輪郭に基づき行うことでより正確に判定することができる。
又は、被写体間が接近又は接触した状態が一定時間以上継続した場合に被写体間で接近又は接触したと判断するようにしてもよい。このように一定時間以上継続した場合のみ判断することにより判断の見逃しは増加するが精度を向上させることができる。また又は、人物の所持する荷物が人物間の接触時に荷物を所持する人物が入れ替わった場合は荷物を受け渡したとして判断できる。
Ｓ１６０３で行った被写体間の接触、又は接近といった判定結果は、関連被写体情報７０４として軌跡管理部３１１へ登録される。

Ｓ１６０４では、特徴量取得部３０３が、Ｓ１６０２で取得した被写体領域画像から特徴量を抽出する抽出処理を行う。例えば、被写体が人物である場合には、特徴量取得部３０３は、被写体領域である人物領域から顔検出処理を行って顔領域を特定し、顔領域から顔特徴量を抽出する。顔検出処理は、画像から目、口等のエッジを検出して人物の顔の特徴部分を検出する処理を行う。即ち、顔検出処理では、顔位置、顔の大きさ、顔の確からしさ等から顔領域を検出する。
Ｓ１６０５では、照合部３０６が、Ｓ１６０４で取得した特徴量と、特定被写体情報管理部３０５に保持されている被写体情報における特徴量とを照合し、類似度を算出する。例えば、検出しようとする被写体が図８に示す登録者リスト１に含まれる人物である場合、照合部３０６は、Ｓ１６０４で取得した特徴量としての顔特徴量と、登録者リスト８００に登録されている各人物の特徴量８０４とを順に比較して、それぞれについて類似度を算出する。

Ｓ１６０６では、照合部３０６が、特定被写体情報管理部３０５に登録されている特定被写体と同一とみなされる被写体が検出されたか否かの判定を行う。判定は、Ｓ１６０５で算出した類似度が所定の類似度閾値以上となるかどうかに基づく。具体的に図８のリストを用いた場合では、登録者リスト８００に登録されている各人物の特徴量８０４と比較して算出された類似度のうち、閾値以上となった特徴量８０４があれば、特徴量８０４に対応する人物が判定対象の撮像画像に写っている人物とみなすことができるので、登録人物が検出されたことになる。一方、類似度が閾値以上となる特徴量８０４が存在しない場合には、撮像画像に写っている人物は、登録人物ではないとみなすことができる。類似度が閾値以上になる人物が複数存在する場合には、照合部３０６は、類似度がより高い人物を選択する。また、複数の登録画像が存在する場合には、照合部３０６は、画像ごとに算出された特徴量との比較を行い、算出された類似度の平均値がより高くなる人物を選択してもよい。
Ｓ１６０６において、照合部３０６が登録被写体を検出したと判定される場合、処理はＳ１６０７に進む。一方、照合部３０６が登録被写体を検出していないと判定される場合、処理はＳ１６１０に進む。Ｓ１６０７では、アラーム作成部３０９が、登録された被写体が検出されたことを操作端末１０５において報知（画面表示）するためのアラーム表示情報の作成を行う。このアラーム表示情報は、アラーム情報管理部３０８で設定された条件を満たす検出結果について生成される。

Ｓ１６０８において、通信部３１４が、Ｓ１６０７で作成したアラーム表示情報を操作端末１０５へ送信する。
Ｓ１６０８における送信では、生成したアラーム表示情報を外部装置である操作端末１０５に送信する場合を記載したが、画像解析サーバ１０４がディスプレイ等の表示装置を有する場合に、表示装置にも表示してもよい。

Ｓ１６０９では、関連被写体判定部３１０が、Ｓ１６０６で検出された被写体について関連被写体の判別処理を行う。
関連被写体判定部３１０は、Ｓ１６０６で検出された特定被写体について、図４における全ての種類（Event type）の関連被写体情報７０４の関連被写体を関連被写体と判断する。
ここで関連被写体は全ての関連被写体情報７０４の関連被写体としたが、関連オブジェクトの種類により特定の条件の関連被写体のみをＳ１６０６で検出された被写体についての関連被写体とするようにしてもよい。
例えば、関連被写体を接触のみと設定する場合は、全ての関連被写体でなく種類（Event type）が接触の関連被写体をＳ１６０６で検出された被写体についての関連被写体とする。
関連とする被写体の設定は操作端末１０５から画像解析サーバ１０４に対して情報を入力することができる。また関連とする被写体の設定は操作端末１０５で保存してもよいし画像解析サーバ１０４で保存するようにしてもよい。
ここで本実施形態においては関連被写体の抽出をＳ１６０３で行うが、Ｓ１６０６で特定被写体を検出したときに特定被写体の関連被写体を関連被写体情報７０４から抽出するようにしてもよい。

Ｓ１６１０で、関連被写体判定部３１０は、抽出した関連被写体の存在する時刻範囲に基づき録画映像に対しての録画保護範囲を決定する。
Ｓ１６１１で、録画制御部３１２は、Ｓ１６１０で決定した録画保護範囲に基づき、画像録画サーバ１０３で録画保護制御を行うための録画制御情報を通信部３１４へ渡す。
また、録画制御部３１２は、定期削除管理部３１３から定期削除情報を受信し、画像録画サーバ１０３で録画定期削除処理を行うための削除制御情報を通信部３１４へ渡す。
画像録画サーバ１０３は、録画映像制御部４０３で、受け取った録画保護範囲情報及び削除制御情報を基に記録部４０２に対して録画映像の保存及び削除処理を行う。
Ｓ１６１２では、録画制御部３１２は、本処理を継続するか否かを判別し、継続する場合はＳ１６０１へ戻り、継続しない場合は本処理を終了する。

次に図１１を参照して、アラーム情報管理部３０８で管理するアラーム設定項目について説明する。図１１はアラーム設定リストであり、アラーム情報管理部３０８で管理するアラーム条件設定の一例である。アラーム設定は画像解析サーバ１０４が保持する情報であり、アラームＩＤ１００１、リストＩＤ１００２、アラーム種別１００３、優先度１００４、対象カメラ１００５、アラーム閾値１００６の項目が含まれる。
アラームＩＤ１００１はアラーム設定に対して一意に割り当てられ、アラームを識別するための識別情報である。リストＩＤ１００２は、アラーム設定が適用されるリストＩＤを示し、図９のリストＩＤ９０１と共通の識別情報が用いられる。図１１の設定では登録者リストＩＤ「００１」の登録者が検出された際はアラームＩＤ「１」が出力される。
アラーム種別１００３には、撮像画像を解析して検出する内容が登録される。本実施形態では人物検出を行っているため設定値として「Human Detection」が設定されている。画像解析サーバ１０４で他の画像解析を行い、その結果をアラームとして通知する場合には、対応する解析種別を設定することができる。例えば画像解析サーバ１０４で人物が侵入禁止エリアに侵入したことを検知し、それをアラームとして出力することもできる。

優先度１００４には、出力するアラームの優先度を示す値が設定される。優先度１００４は、リストＩＤ１００２に登録されるリストの種別に対応付けられている。よって、操作端末１０５上でアラーム表示画面に優先度の表示を含めることで、どのリストに登録されている人物についてアラームが出力されたのかを把握することができる。優先度は、アラームに対する優先度の高低を操作者が認識することを可能とする。例えば、アラームとしての緊急性が高いものほど優先度を高くすることができる。図９に示したリストとの関連では、リストＩＤ９０１が００２の要注意人物リストには優先度Ｈｉｇｈを割り当て、００１の登録者リスト１にはＭｉｄｄｌｅを割り当て、００３の従業員リストにはＬｏｗを割り当てることができる。また、優先度に応じて操作端末１０５側で別の警報装置へ通知する等のシステムを導入することもできる。

対象カメラ１００５には、アラーム生成の対象となるカメラ１０２を特定する値が登録される。ネットワークカメラシステム１０に接続されているカメラ１０２のすべてを対象とする場合は「all」を示す値が登録される。一部のカメラ１０２のみを指定する場合には、カメラを特定するためのカメラＩＤ等を登録することができる。アラーム閾値１００６には、照合部３０６が算出した類似度に基づきアラームを生成する場合に用いるアラーム閾値が登録される。アラーム閾値１００６は、照合部３０６が登録された被写体が検出されたか否かを判定する際に用いる閾値とは異なる。アラーム閾値１００６は、照合部３０６で登録人物と判定された人物について、アラーム生成の有無、アラーム種別の変更等を行うかどうかを判定するために用いられる閾値である。よって、リスト００１、又はリスト００２の人物が検出されたと照合部３０６が判定した場合には、アラーム閾値は０であるので、全てがアラーム生成の対象となる。アラーム閾値１００６を設定することにより、例えば、画像解析処理の設定パラメータは変更せずにアラームの発行制限を行うこと、類似度が高く登録人物の可能性が高い場合に別のアラーム種別のアラーム生成を行うこと等ができる。

図１２は、アラーム表示情報テーブルの一例を示す図である。アラーム表示情報テーブル１１００は画像解析サーバ１０４が保持する情報であり、検出日時１１０１、登録者ＩＤ１１０２、登録名１１０３、アラーム種別１１０４、場所１１０５、カメラＩＤ１１０６、カメラ名１１０７、優先度１１０８、登録リスト名１１０９、類似度１１１０のフィールドを有する。
検出日時１１０１は、カメラ１０２の撮像画像から登録人物が検出された日時である。登録者ＩＤ１１０２は、照合部３０６で検出した人物を識別するための識別情報であり、図８の登録者ＩＤ８０１と対応する値が登録される。登録名１１０３は、照合部３０６で検出した被写体の登録名であり、図８の登録名８０３と対応する値が登録される。アラーム種別は１１０４、アラーム情報管理部３０８の設定条件に基づき作成されたアラームの種類である。場所１１０５は、被写体が検出された画像を撮像したカメラ１０２の設置場所である。カメラＩＤ１１０６は、被写体を検出した画像を撮像したカメラ１０２の識別情報である。カメラ名１１０７は、被写体を検出した画像を撮像したカメラ１０２のカメラ名である。優先度１１０８は、アラーム情報管理部３０８の設定条件に基づき作成されたアラームの優先度である。登録リスト名１１０９は、検出した被写体が含まれるリスト名である。類似度１１１０は、被写体を検出した際に算出した類似度である。
このようなアラーム表示情報は、画像解析サーバ１０４から操作端末１０５へアラーム表示を操作端末１０５で行うための表示情報として送信され、図１５に示すアラーム表示処理手順にしたがって表示される。

次に図１３は、カメラ情報テーブル１２００の一例を示す図である。カメラ情報テーブル１２００は、カメラＩＤ１２０１、カメラ名１２０２、場所１２０３、ＩＰアドレス１２０４、領域１２０５、マップＩＤ１２０６、マップ位置１２０７の項目を有する。カメラＩＤ１２０１には、個々のカメラ１０２を識別する情報が登録される。カメラ名１２０２には、個々のカメラに与えられる名称が登録される。場所１２０３には、カメラが配置される場所を示す情報が登録される。ＩＰアドレス１２０４には、個々のカメラに与えられたＩＰアドレスが登録される。これによりカメラ１０２は外部装置と直接に通信することができる。領域１２０５には、カメラが撮像する領域を示す情報が登録される。マップＩＤ１２０６には、表示情報で用いられるマップ画像を特定するための識別情報が登録される。マップ位置１２０７は、マップＩＤ１２０６により特定されるマップ画像上におけるカメラ相対位置を示す情報が登録される。これらの情報は画像解析サーバ１０４が保持する情報であり、カメラ名１２０２、場所１２０３、領域１２０５、マップ位置１２０７は、操作端末１０５からも変更ができる。また、アラーム作成部３０９は、情報をアラーム作成時に参照し、作成したアラーム表示情報を操作端末１０５へ送信する。

次に図１４は、マップ情報テーブル１４００の一例を示す図である。マップ情報テーブル１４００は、マップＩＤ１４０１、マップ名１４０２、画像データ１４０３の項目を有する。マップＩＤ１４０１は、マップを一意に特定するための識別情報が登録され、カメラ情報テーブル１２００のマップＩＤ１２０６と対応する。マップ名１４０２には、マップの名称が登録される。画像データ１４０３は、マップＩＤで識別されるマップ画像のデータが登録される。本テーブルを参照することにより、マップＩＤが特定されれば、対応するマップ画像を取得することが可能となる。マップ情報テーブル１４００は、画像解析サーバ１０４が保持していてもよいし、操作端末１０５が保持していてもよい。また、両装置がそれぞれ保持していてもよい。

次に、操作端末１０５が実行するアラーム表示処理手順について、図１５のフローチャートを参照しながら説明する。Ｓ１３０１において、操作端末１０５は、画像解析サーバ１０４からアラーム表示情報を受信する。Ｓ１３０２において、操作端末１０５は、操作端末１０５の表示装置にアラーム表示画面を表示するために、Ｓ１３０１で受信したアラーム表示情報を解析する。Ｓ１３０３において、Ｓ１３０２における解析結果に基づき、アラーム表示情報に含める各種の情報を取得する。情報は、画像録画サーバ１０３、又は画像解析サーバ１０４から取得することもできるし、操作端末１０５自体が保持している場合には操作端末１０５が保持する情報を利用することもできる。例えば、操作端末１０５は、検出日時１１０１及びカメラＩＤ１１０６に基づいてアラーム発生時の撮像画像を画像録画サーバ１０３から取得する。また、操作端末１０５は、受信したアラーム表示情報の登録者ＩＤ１１０２に基づき、登録者リストからアラーム表示に含める顔画像を取得する。また、操作端末１０５は、アラーム表示情報のカメラＩＤ１１０６に基づき、カメラ情報テーブル１２００に従いマップＩＤ１２０６及びマップ位置１２０７を取得する。また、操作端末１０５は、取得したマップＩＤ１２０６とマップ情報テーブル１４００とに基づき、対応するマップ画像データを取得する。

Ｓ１３０４では、操作端末１０５は、以上により取得した情報に基づいてアラーム表示画面を操作端末１０５の表示装置上に表示する。アラーム表示画面には、アラーム表示情報に含まれる検出日時、アラーム種別等のテキストデータの他、検出した被写体の画像、被写体が検出された画像をカメラ１０２の位置により、マップ上において被写体が検出された位置を示すマップ画像等を含めることができる。Ｓ１３０４におけるアラーム画面表示では、Ｓ１３０３で取得した情報を全て表示してもよいが、操作者の設定、又は操作に応じて、所定の情報に絞り込んで表示を行ったり、段階的に情報を提供したりするようにしてもよい。
また、アラーム表示情報を画像解析サーバ１０４がディスプレイ等の表示装置に表示する場合には、画像解析サーバ１０４が図１５の処理を実行することができる。

次に、図１６を参照して、画像録画サーバ１０３の録画状態を説明する。
図１６（Ａ）は定期削除管理部３１３の定期削除実行処理前の録画状態を説明するための模式図である。
図１６（Ａ）において、録画バー１５００は画像録画サーバ１０３のカメラ１０２の画像の録画状態を示す録画バーである。録画バー１５００は各時刻における録画の有無を示しており、状態１５１１は、録画データが存在し録画されていることを示す。時刻１５１２が現在時刻を示しており、録画バーの右が新しく左が古い時刻である。状態１５１３は録画データが存在しないことを示している。時刻１５１２よりも未来の状態であるため状態１５１３には録画データは存在しない。

図１６（Ｂ）は定期削除管理部３１３の定期削除実行処理後の録画状態を示す図である。図１６（Ｂ）では説明のため録画制御部３１２の録画保護制御が行われていない状態とする。
図１６（Ｂ）において、時刻１５２３は定期削除が実行された時刻である。本実施形態では、時刻１５２３は、時刻１５１２から１週間前の午前０時０分である。
定期削除管理部３１３の定期削除実行処理により、状態１５２２は録画データが削除されており、状態１５２１は定期削除範囲外であるため録画データは削除されない。
図１６（Ｃ）は録画制御部３１２の録画保護制御が行われた場合の定期削除管理部３１３の定期削除実行処理後の録画状態を示す図である。
図１６（Ｃ）において、時刻１５３２はアラーム作成部３０９によりアラームが発生した時刻である。範囲１５３３は、アラーム発生対象の被写体の追尾時間である。状態１５３１は、アラーム発生対象の被写体の追尾時間が録画保護範囲であるため、定期削除管理部３１３の定期削除実行処理で削除されず録画データが保護される。

図１６（Ｄ）は録画保護範囲を一次関連被写体までとした場合の録画状態を示す図である。
一次関連被写体とは、被写体の被写体情報の関連被写体で管理される被写体である。例えば図４のように被写体（Object:32）の関連被写体は、被写体ＩＤ５１、６０、８５の被写体である。
図１６（Ｄ）において範囲１５４２及び範囲１５４３は、範囲１５３３の被写体と関連する被写体の追尾時間である。よって状態１５４１は、範囲１５４２と範囲１５４３と範囲１５３３を全て含む時間であり定期削除されず画像が保護されている状態である。

図１６（Ｅ）は録画保護範囲を二次関連被写体までとした場合の録画状態を示す図である。
二次関連被写体とは、被写体の関連被写体と関連する被写体である。例えば図４のように被写体（Object:32）の関連被写体ＩＤを５１、６０、８５とする。すると被写体（Object:32）の二次関連被写体とは、被写体ＩＤ：５１、６０、８５が持つ被写体情報の関連被写体情報７０４に記載されている被写体が二次関連被写体となる。
図１６（Ｅ）において範囲１５５２及び範囲１５５３は、範囲１５５１の被写体の二次関連被写体の追尾時間である。よって範囲１５５１は、範囲１５３３の被写体の一次関連被写体及び二次関連被写体の追尾範囲を全て含む時間が録画保護され定期削除から除外される。

図１６（Ｆ）は録画画像品質を関連被写体に応じて変化させて保存することを例示する図である。
範囲１５６２は、特定被写体が存在せず関連被写体又は二次関連被写体のみが存在する時間範囲である。図１６（Ｆ）では１５６１は通常の録画保護処理に加えて録画品質を下げるように変換して保存する。つまり重要度の高いものは高画質で、そうでないものは低画質で保存することで必要な記憶媒体容量を低減することができる。録画品質とは映像のフレームレート、解像度、圧縮率である。又は画面内の領域を被写体の存在する周囲の範囲に絞るようにしてもよい。

本実施形態では、検出イベントに関する関連被写体又は二次関連被写体の映っている映像の範囲を定期削除範囲から除くことで、記憶媒体の容量を抑えつつ検出イベントに関する映像を確認する際に必要な映像が削除されてしまうことを低減することができる。

（変形例）
変形例では、実施形態１と異なる点のみについて説明し、以下で、特に、説明しない限りは、実施形態１と同様であるものとする。
変形例における画像処理システムの動作環境も実施形態１と同じく図２のネットワーク接続構成図を用いる。また、変形例における画像解析サーバ１０４の機能構成も図３に示す図を用いる。
但し変形例では実施形態１と異なり、画像録画サーバ１０３はカメラ１０２の画像を常時録画していない。画像録画サーバ１０３は、アラーム作成部３０９でアラームが作成された場合に録画を開始し、アラームに関する全ての被写体及び関連被写体の追尾が終了したときに録画を停止する。
変形例においても、常時録画でない録画システムにおいても記憶媒体の容量を抑えつつ検出イベントに関する映像を確認する際に必要な映像が記録されていないことを低減することができる。

次に、変形例における画像解析サーバ１０４が実行するアラーム制御、録画制御処理について、図１７のフローチャートを参照しながら説明する。
図１７において、Ｓ１７０１〜Ｓ１７０７は、図１０のＳ１６０１〜Ｓ１６０７の処理と同じである。
Ｓ１７０８では、通信部３１４が、Ｓ１７０７で作成したアラーム表示情報を操作端末１０５へ送信する。更に、通信部３１４は、画像録画サーバ１０３に対して録画開始指示を送信する。
画像録画サーバ１０３は、録画映像制御部４０３で、受け取った録画制御情報を基に記録部４０２に対して録画開始処理を行う。

Ｓ１７０９では、関連被写体判定部３１０が、Ｓ１７０６で検出された被写体について関連被写体の判別処理を行う。関連被写体判別処理はＳ１６０９と同様の処理を行う。
Ｓ１７１０で、関連被写体判定部３１０は、抽出した関連被写体又はＳ１７０７で作成したアラーム対象の被写体又はその関連被写体を追尾中か否かの判定を行う。Ｓ１７１０で何れかの被写体を追尾中であると判定された場合は、関連被写体判定部３１０は、Ｓ１７１２へ進む。Ｓ１７１０で追尾中の被写体はないと判定された場合は、関連被写体判定部３１０は、Ｓ１７１１へ進む。
Ｓ１７１１で、録画制御部３１２は、画像録画サーバ１０３で行っている録画を停止するための録画制御情報を通信部３１４へ渡す。
画像録画サーバ１０３は、録画映像制御部４０３で、受け取った録画制御情報を基に記録部４０２に対して録画停止処理を行う。
Ｓ１７１２では、録画映像制御部４０３は、本処理を継続するか否かを判別し、継続する場合はＳ１７０１へ戻り、継続しない場合は本処理を終了する。

次に、図１８を参照して、画像録画サーバ１０３の録画状態を説明する。
図１８は、録画制御部３１２が録画制御実行後の録画状態を示すための模式図である。
図１８において、１８００は画像録画サーバ１０３のカメラ１０２の画像の録画状態を示す録画バーである。録画バー１８００は各時刻における録画の有無を示す。録画状態１８０５は、録画データが存在し録画されていることを示す。時刻１８０１が現在時刻を示しており、録画バーの右が新しく左が古い時刻である。録画状態１８０６は録画データが存在しないことを示している。
１８０２はアラームが発生したことを示す。範囲１８０３は、アラーム対象被写体が追尾されている範囲を示す。範囲１８０４は、アラーム対象者の関連被写体が追尾されている範囲を示す。

図１８において、録画範囲１０８５は、アラーム発生時刻から録画が開始され、アラーム対象被写体又はアラーム対象被写体の関連被写体の追尾が全て終了した時点（１８０７）で録画が終了していることを示す。また、本変形例は、実施形態１と異なり、アラーム発生時刻から録画を開始するため、アラーム対象被写体の範囲１８０３のアラーム発生１８０２より前の録画はされない。

本変形例では、アラーム発生時から録画を開始するとしたがこの限りではない。例えば、カメラ１０２の撮像画像データに対し、画像録画サーバ１０３のＲＡＭ２０３に撮像時刻から数秒間前までの範囲の画像を常時バッファとしてためておく。そしてアラーム発生時にはＲＡＭ２０３内の画像データを記録部４０２でアラーム発生後の録画データと合わせて保存する。このようにすることでアラーム発生時から数秒前までの画像を保存することができる。
以上説明したとおり、本変形例では、常時録画でない録画システムにおいても記憶媒体の容量を抑えつつ検出イベントに関する映像を確認する際に必要な映像が記録されていないことを低減することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。

１０４ 画像解析サーバ
２０１ ＣＰＵ

Claims (13)

1. 撮像画像より被写体を検出する検出手段と、
   特定の被写体と関連する関連被写体を判定する判定手段と、
   前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定手段と、
   を有することを特徴とする情報処理装置。
2. 前記特定の被写体が検出されたか否かに基づき、前記関連被写体に関する前記録画映像の画像品質を変更する変更手段を更に有することを特徴とする請求項１に記載の情報処理装置。
3. 撮像画像より被写体を検出する検出手段と、
   特定の被写体と関連する関連被写体を判定する判定手段と、
   前記特定の被写体及び前記関連被写体の何れかを追尾中の場合は、録画を継続するよう制御し、前記特定の被写体及び前記関連被写体の何れも追尾中でない場合は、録画を停止するよう制御する制御手段と、
   を有することを特徴とする情報処理装置。
4. 前記検出手段により前記特定の被写体が検出された場合、前記判定手段は、前記関連被写体を判定する請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記判定手段は、前記特定の被写体と接触した被写体を前記関連被写体と判定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記判定手段は、前記特定の被写体と接触し、一定時間以上継続した被写体を前記関連被写体と判定することを特徴とする請求項５に記載の情報処理装置。
7. 前記判定手段は、前記特定の被写体に接近した被写体を前記関連被写体と判定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
8. 前記判定手段は、前記特定の被写体に接近し、一定時間以上継続した被写体を前記関連被写体と判定することを特徴とする請求項７に記載の情報処理装置。
9. 前記判定手段は、前記関連被写体と関連する二次関連被写体を判定し、
   前記決定手段は、前記関連被写体が存在する時刻範囲と、前記二次関連被写体が存在する時刻範囲と、に基づき、録画映像の録画保護範囲を決定する請求項１に記載の情報処理装置。
10. 撮像画像より被写体を検出する検出ステップと、
    特定の被写体と関連する関連被写体を判定する判定ステップと、
    前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定ステップと、
    を含むことを特徴とする情報処理方法。
11. 撮像画像より被写体を検出する検出ステップと、
    特定の被写体と関連する関連被写体を判定する判定ステップと、
    前記特定の被写体、又は前記関連被写体を追尾中の場合は、録画を継続するよう制御し、前記特定の被写体、又は前記関連被写体を追尾中でない場合は、録画を停止するよう制御する制御ステップと、
    を含むことを特徴とする情報処理方法。
12. コンピュータを、
    撮像画像より被写体を検出する検出手段と、
    特定の被写体と関連する関連被写体を判定する判定手段と、
    前記関連被写体が存在する時刻範囲に基づき、録画映像の録画保護範囲を決定する決定手段、
    として機能させるためのプログラム。
13. コンピュータを、
    撮像画像より被写体を検出する検出手段と、
    特定の被写体と関連する関連被写体を判定する判定手段と、
    前記特定の被写体、又は前記関連被写体を追尾中の場合は、録画を継続するよう制御し、前記特定の被写体、又は前記関連被写体を追尾中でない場合は、録画を停止するよう制御する制御手段、
    として機能させるためのプログラム。

Images