JP7018001B2 - 情報処理システム、情報処理システムを制御する方法及びプログラム - Google Patents

Description

本発明は、移動物体が撮影された画像を処理する技術に関する。

近年、凶悪犯罪の増加やセキュリティ意識の向上に伴い、店舗、空港及び道路などの人が集まる場所に、多くの監視カメラが設置されつつある。これらの監視カメラで撮影された映像は、監視レコーダなどの蓄積装置に格納され、必要に応じて閲覧される。また、ＩＰカメラの普及によってネットワーク経由で多数のカメラが接続可能になり、また蓄積装置の大容量化が進んだことも相まって、膨大な量の映像が蓄積されつつある。したがって、従来のように目視で全映像データを確認することは非常に困難になっている。

そこで、大量の映像データの中から、特定の人物や物体が映っている場面を検索して提示するために、様々な類似検索技術が提案されている。ここで、類似検索技術とは、ユーザが指定した検索クエリと類似したデータを対象データ内から探して、その結果を提示する技術を指す。特に、類似画像検索技術とは、画像自体から抽出される色合いや形状、構図等の特徴量を用いて、特徴量間の類似度が大きいデータを検索する技術である。

撮影された画像中の人物を検索するための類似検索技術として、例えば特開２００９－４２８７９号公報（特許文献１）に記載された技術がある。特許文献１には、「複数のカメラが撮像した撮像画像内の人物の特徴量を示す特徴量情報を取得する。取得した特徴量情報に基づいて、第１のカメラで撮像された第１の人物の特徴量と第２のカメラで撮像された第２の人物の特徴量との差異を人物の特徴毎に算出する。算出した特徴量の差異に基づいて、第１の人物を検索する場合の有効度を示す絞込有効度を人物の特徴毎に算出する。」と記載されている。

特開２００９－４２８７９号公報

特許文献１には検索によって得られた多数の画像から効率的に不要な画像を除外することで検索結果を絞り込む方法が記載されている。しかし、人物を撮影した画像を検索クエリとして類似検索する場合に、同一人物の画像であっても、例えば検索クエリとは異なる角度から撮影された画像、検索クエリとは異なる服又は所持品を身に付けた画像等は検索結果として得られない場合がある。最終的に検索結果の絞り込みを行うとしても、その対象として、同一人物である可能性がある人物が撮影された画像が漏れなく得られるように検索を実行しておくことが望ましい。

上記の課題の少なくとも一つを解決するために、本発明は、プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される表示装置と、を有する情報処理システムであって、前記記憶装置は、複数の撮影装置によって撮影された複数の画像を保持し、前記プロセッサは、検索クエリとして移動物体の画像が指定された場合、前記記憶装置に保持された複数の画像を対象として前記指定された画像を検索クエリとする類似検索を実行し、前記表示装置は、前記類似検索の結果として得られた複数の画像を表示し、前記表示装置は、前記検索クエリとして指定された画像を撮影した撮影装置の位置の表示を含む地図の画像を出力し、前記プロセッサは、検索クエリとして移動物体の画像が追加して指定された場合、指定された全ての画像を検索クエリとする類似検索を実行し、前記表示装置は、前記指定された全ての画像を検索クエリとする類似検索の結果として得られた複数の画像を表示するように、表示される画像を更新し、前記表示装置は、前記追加して指定された画像を撮影した撮影装置の位置の表示を追加するように前記地図の画像を更新することを特徴とする。

本発明の一態様によれば、移動物体の検索の網羅性を向上させて、移動物体の追跡を容易にするができる。

上記した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

本発明の実施例の移動物体追跡システムの全体構成を示すブロック図である。 本発明の実施例の移動物体追跡システムのハードウェア構成を示すブロック図である。 本発明の実施例の映像データベースの構成及びデータ例の説明図である。 本発明の実施例のインシデント情報データベースの構成及びデータ例の説明図である。 本発明の実施例の移動物体追跡システムによって出力される検索画面の説明図である。 本発明の実施例の移動物体追跡システムが実行する映像登録処理のフローチャートである。 本発明の実施例の移動物体追跡システムが実行する映像ロード処理のフローチャートである。 本発明の実施例の移動物体追跡システムが実行する移動体検索処理のフローチャートである。 本発明の実施例の移動物体追跡システムが実行するタグ付与処理のフローチャートである。 本発明の実施例の移動物体追跡システムが実行するタグ付与時の移動物体検索処理のフローチャートである。

以下、本発明の実施例の移動物体追跡システムについて、図面に従って説明する。

図１は、本発明の実施例の移動物体追跡システム１００の全体構成を示すブロック図である。

本実施例の移動物体追跡システム１００は、映像記憶装置１０１、映像撮影装置１０２、入力装置１０３、表示装置１０４、およびサーバ計算機１０５を備える情報処理システムである。映像記憶装置１０１は、映像データを保存し、要求に応じて出力する記憶媒体であり、コンピュータ内蔵のハードディスクドライブ、または、ＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）もしくはＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークで接続されたストレージシステムを用いて構成することができる。

映像撮影装置１０２は、映像を撮影して映像データを作成し、それを出力する装置である。

映像記憶装置１０１又は映像撮影装置１０２から出力された画像は、いずれもサーバ計算機１０５の映像入力部１０６（後述）に入力される。移動物体追跡システム１００は、図１に示すように映像記憶装置１０１及び映像撮影装置１０２の両方を備えてもよいが、いずれか一方のみを備えてもよい。移動物体追跡システム１００が映像記憶装置１０１及び映像撮影装置１０２の両方を備える場合、映像入力部１０６への映像データの入力元が必要に応じて映像記憶装置１０１又は映像撮影装置１０２に切り替えられてもよいし、映像撮影装置１０２から出力された映像データが一旦映像記憶装置１０１に記憶され、そこから映像入力部１０６に入力されてもよい。その場合、映像記憶装置１０１は、例えば、映像撮影装置１０２から継続的に入力される映像データを一時的に保持するキャッシュメモリであってもよい。

なお、映像記憶装置１０１に保存される映像データ及び映像撮影装置１０２によって作成される映像データは、撮影された移動物体の追跡に利用できるものである限り、どのような形式のデータであってもよい。例えば、映像撮影装置１０２がアナログカメラ又はＩＰカメラであり、それによって撮影された動画像データが映像データとして出力されてもよいし、そのような映像データが映像記憶装置１０１に記憶されてもよい。あるいは、映像撮影装置１０２がスチルカメラであり、それによって所定の間隔（少なくとも撮影された物体を追跡できる程度の間隔）で撮影された一連の静止画像データが映像データとして出力されてもよいし、そのような映像データが映像記憶装置１０１に記憶されてもよい。

入力装置１０３は、マウス、キーボード、タッチデバイスなど、ユーザの操作をサーバ計算機１０５に伝えるための入力インタフェースである。表示装置１０４は、液晶ディスプレイなどの出力インタフェースであり、サーバ計算機１０５の検索結果の表示、ユーザとの対話的操作などのために用いられる。例えばいわゆるタッチパネル等を用いることによって入力装置１０３と表示装置１０４とが一体化されてもよい。後述する検索画面５０１（図５）は表示装置１０４によって表示され、検索画面中のボタンに対する操作はユーザが入力装置１０３を操作することによって行われる。

サーバ計算機１０５は、入力された映像データから、ユーザに指定された検索条件に基づいて所望の移動物体を追跡する移動物体追跡装置として機能する。具体的には、サーバ計算機１０５は、与えられた映像データの各フレームに含まれる移動物体を追跡し、その移動物体に関する情報を蓄積する。ユーザが蓄積されたフレームから探したい移動物体の検索条件を指定すると、サーバ計算機１０５は、蓄積された情報を用いて画像を検索する。サーバ計算機１０５が扱う映像は、一箇所以上の場所で撮影された定点観測の映像であることを想定している。また、追跡対象の物体は、人物又は車両などの任意の移動物体である。また、人物が運んでいる荷物なども移動物体と見做すことができる。

サーバ計算機１０５は、映像入力部１０６、フレーム登録部１０７、移動物体検知部１０８、移動物体登録部１０９、移動物体追跡部１１０、追跡情報登録部１１１、インシデントデータベース１１２、映像データベース１１３、移動物体指定部１１４、インシデント管理部１１５、及び特徴量検索部１１６を備える。

映像入力部１０６は、映像記憶装置１０１から映像データを読み出すか、又は映像撮影装置１０２によって撮影された映像データを受け取り、それをサーバ計算機１０５内部で使用するデータ形式に変換する。具体的には、映像入力部１０６は、映像（動画データ形式）をフレーム（静止画データ形式）に分解する動画デコード処理を行う。得られたフレームは、フレーム登録部１０７及び移動物体検知部１０８に送られる。なお、映像記憶装置１０１又は映像撮影装置１０２から映像ではなくフレームを取得できる場合は、得られたフレームを使用しても良い。

フレーム登録部１０７は、抽出されたフレームと抽出元の映像の情報を映像データベース１１３に書き込む。映像データベース１１３に記録するデータの詳細については図３の説明として後述する。

移動物体検知部１０８は、映像中の移動物体を検出する。移動物体の検出は、例えば公知の方法など、任意の方法を用いて実現することができる。

移動物体登録部１０９は、検出した移動物体から特徴量を抽出し、抽出した特徴量を映像データベース１１３に登録する。

移動物体追跡部１１０は、前フレームの移動物体との対応付けを行うことによって、移動物体の追跡を行う。移動物体の追跡は、例えば公知の方法など、任意の方法を用いて実現することができる。軌跡情報は、各フレームの移動物体の座標情報と各軌跡にユニークに付与されるＩＤ（追跡ＩＤ）で構成される（図３参照）。

追跡情報登録部１１１は、付与された追跡ＩＤを映像データベース１１３に登録する。

映像データベース１１３は、映像、フレーム、及び移動物体の軌跡情報等を保存するためのデータベースである。映像データベース１１３へのアクセスは、フレーム登録部１０７、移動物体登録部１０９、追跡情報登録部１１１からの登録処理、及び、特徴量検索部１１６からの検索処理の際に発生する。映像データベース１１３の構造について、詳しくは図３の説明として後述する。

インシデントデータベース１１２は、ユーザの追跡オペレーションの際に発生する情報を保存するためのデータベースである。インシデントデータベース１１２へのアクセスは、インシデント管理部１１５からの登録処理、及び、情報取得処理の際に発生する。インシデントデータベース１１２の構造について、詳しくは図４の説明として後述する。

移動物体指定部１１４は、ユーザが指定した移動物体（例えば人物の外接矩形）を入力装置１０３から受け取る。

インシデント管理部１１５は、ユーザのオペレーション開始時にオペレーションのトリガーとなった情報を登録する。例えば、置き去り検知技術を用いて放置荷物を発見した際に、検知したカメラＩＤと検知時刻などをインシデントデータベース１１２に登録する。また、移動物体追跡時にユーザが正しい追跡結果と判断した移動物体にタグを付ける操作を行った場合に、インシデント管理部１１５は、該当する移動物体にタグ情報を付与し、インシデントデータベース１１２に登録する。詳しくは図９及び図１０の説明として後述する。

特徴量検索部１１６は、移動物体から抽出された検索用特徴量と類似する特徴量を映像データベース１１３から検索して、その結果を表示装置１０４に出力する。

図２は、本発明の実施例の移動物体追跡システム１００のハードウェア構成を示すブロック図である。

サーバ計算機１０５は、例えば、相互に接続されたプロセッサ２０１および記憶装置２０２を有する一般的な計算機である。記憶装置２０２は任意の種類の記憶媒体によって構成される。例えば、記憶装置２０２は、半導体メモリ及びハードディスクドライブを含んでもよい。

この例において、図１に示した映像入力部１０６、フレーム登録部１０７、移動物体検知部１０８、移動物体登録部１０９、移動物体追跡部１１０、追跡情報登録部１１１、移動物体指定部１１４、インシデント管理部１１５及び特徴量検索部１１６といった機能部は、プロセッサ２０１が記憶装置２０２に格納された処理プログラム２０３を実行することによって実現される。

言い換えると、この実施例において、上記の各機能部が実行する処理は、実際には、処理プログラム２０３に記述された命令に従うプロセッサ２０１によって実行される。また、インシデントデータベース１１２及び映像データベース１１３は、記憶装置２０２に含まれる。また、表示装置１０４による表示は、プロセッサ２０１が表示のためのデータを生成して表示装置１０４に出力し、表示装置１０４がそのデータに従って表示を行うことによって実行される。

サーバ計算機１０５は、さらに、プロセッサ２０１に接続されたネットワークインターフェース装置（ＮＩＦ）２０４を含む。映像撮影装置１０２は、例えば、ネットワークインターフェース装置２０４を介してサーバ計算機１０５に接続される。映像記憶装置１０１は、ネットワークインターフェース装置２０４を介してサーバ計算機１０５に接続されたＮＡＳ（Network-Attached Storage）またはＳＡＮ（Storage Area Network）であってもよいし、記憶装置２０２に含まれてもよい。

図３は、本発明の実施例の映像データベース１１３の構成及びデータ例の説明図である。ここではテーブル形式の構成例を示すが、データ形式はテーブル形式に限らず、任意でよい。

映像データベース１１３は、図３に示す画像データ管理情報３００、移動物体管理情報３１０、及び、追跡情報管理情報３２０を含む。図３のテーブル構成および各テーブルのフィールド構成は、本発明を実施する上で必要となる構成であり、アプリケーションに応じてテーブル及びフィールドを追加してもよい。

画像データ管理情報３００は、フレームＩＤフィールド３０１、カメラＩＤフィールド３０２、撮影時刻フィールド３０３、及び画像データフィールド３０４を有する。

フレームＩＤフィールド３０１は、映像データから抽出されたフレーム画像データの識別情報（以下、フレームＩＤ）を保持する。

カメラＩＤフィールド３０２は、映像撮影装置１０２の識別情報（以下、カメラＩＤ）を保持する。映像データが映像記憶装置１０１から読み込まれる場合は、カメラＩＤを省略しても良いし、映像ファイルの識別情報（以下、映像ＩＤ）を保持しても良い。

撮影時刻フィールド３０３は、画像が撮影された時刻の情報を保持する。

画像データフィールド３０４は、フレームの静止画像のバイナリデータを保持する。このデータは、検索結果などを表示装置１０４に表示する際に用いられる。画像データフィールド３０４は、オリジナルの画像データだけでなく、サムネイル画像を合わせて保持しても良い。

移動物体管理情報３１０は、移動物体ＩＤフィールド３１１、追跡ＩＤフィールド３１２、フレームＩＤフィールド３１３、矩形座標フィールド３１４、及び、移動物体特徴量３１５を含む。

移動物体ＩＤフィールド３１１は、各フレームから検出された移動物体の識別情報（以下、移動物体ＩＤ）のリストを保持する。ここで、移動物体ＩＤは、移動物体そのものを識別するものではなく、各フレームから検出された移動物体の画像を識別するものである。同一の移動物体の画像が複数のフレームから検出された場合には、それらの移動物体の画像の各々に別の（一意の）移動物体ＩＤが与えられ、それらの移動物体ＩＤが一つの追跡ＩＤに対応付けられる。

追跡ＩＤフィールド３１２は、前述した移動物体ＩＤに対応付けられる追跡ＩＤを保持する。

フレームＩＤフィールド３１３は、各移動物体が検出された元となるフレーム画像のフレームＩＤを保持する。このフレームＩＤは、画像データ管理情報３００のフレームＩＤフィールド３０１に保持されるものと対応する。

矩形座標フィールド３１４は、各フレームから検出された移動物体の画像の当該フレーム画像中に占める範囲を示す矩形座標を保持する。この座標は、例えば、移動物体の外接矩形の「左上隅の水平座標、左上隅の垂直座標、右下隅の水平座標、右下隅の垂直座標」という形式で表現されてもよいし、矩形の左上隅の水平座標、左上隅の垂直座標、幅及び高さによって表現されてもよい。

移動物体特徴量３１５は、画像中の矩形から抽出された特徴量であり、ベクトルデータである。例えば、移動物体特徴量３１５は、色情報や形状情報などでも良いし、Deep Learningを用いて抽出された特徴量でも良い。

追跡情報管理情報３２０は、追跡ＩＤフィールド３２１及び移動物体ＩＤフィールド３２２を有する。

追跡ＩＤフィールド３２１は、移動物体管理情報３１０の追跡ＩＤフィールド３１２に保持されるものと対応する。

移動物体ＩＤフィールド３２２は、同一の追跡ＩＤが付与された移動物体ＩＤのリストを保持する。移動物体ＩＤフィールド３２２は、移動物体管理情報３１０の移動物体ＩＤフィールド３１１に保持されるものと対応する。

例えば、図３に示すように、追跡ＩＤ「１」に対応する移動物体ＩＤフィールド３２２に「１、２、３、４、６、７、８、１２、・・・」が登録されていることは、あるフレームから検出された移動物体ＩＤ「１」によって識別される移動物体の画像と、別のフレームから検出された移動物体ＩＤ「２」によって識別される移動物体の画像と、同様にそれぞれ別のフレームから検出された移動物体ＩＤ「３」、「４」、「６」、「７」、「８」、「１２」、等によって識別される移動物体の画像とが、移動物体追跡部１１０によって相互に対応付けられた（すなわちそれらが同一の移動物体の画像と判定された）ことを意味する。

移動物体を追跡する方法の一例としては、あるフレームから検出された移動物体ＩＤ「１」の画像と、別フレームから検出された移動物体ＩＤ「４」の画像とのそれぞれから画像特徴量を抽出し、画像特徴量の類似度(距離)を算出し、類似度が閾値以上であれば、両画像の移動物体は同一の移動物体と判定し、対応付けを行うという方法が挙げられる。また、ある時刻までのフレームの移動物体の移動方向及び移動速度の情報から、それより後の時刻のフレームにおける移動物体の出現位置を推定し、その推定結果と実際の移動物体の出現位置との距離が所定の基準より小さい場合に、同一の移動物体と判定しても良い。

図４は、本発明の実施例のインシデントデータベース１１２の構成及びデータ例の説明図である。ここではテーブル形式の構成例を示すが、データ形式はテーブル形式に限らず、任意でよい。

インシデントデータベース１１２は、図４に示すインシデント管理情報４００及びタグ管理情報４１０を含む。図４のテーブル構成および各テーブルのフィールド構成は、本発明を実施する上で必要となる構成であり、アプリケーションに応じてテーブル及びフィールドを追加してもよい。

インシデント管理情報４００は、インシデントＩＤフィールド４０１、トリガーカメラＩＤフィールド４０２、トリガー時刻フィールド４０３、オペレーション開始時刻フィールド４０４、オペレーション終了時刻フィールド４０５及びタグＩＤフィールド４０６を有する。

インシデントＩＤフィールド４０１は、検知されたインシデントの識別情報（以下、インシデントＩＤ）を保持する。ここで、インシデントとは、移動物体の検索等のオペレーションの対象となる事象である。例えば、持ち主不明の荷物の存在が検知され、その荷物を置き去った人物を捜すためのオペレーションが行われる場合に、そのような荷物の置き去りがインシデントである。

以下、主に荷物の置き去りを例として説明するが、移動物体追跡システム１００が扱うインシデントはこれに限られない。例えば、何らかの行為が行われたこと、又は、特定の人物が存在したこと等、任意の事象をインシデントとして扱い、それに対して下記の処理を適用することができる。

トリガーカメラＩＤフィールド４０２及びトリガー時刻フィールド４０３は、それぞれ、インシデントの検知のトリガーとなった画像を撮影した映像撮影装置１０２を識別するカメラＩＤ（以下、トリガーカメラＩＤ）、及び、その画像の撮影時刻（以下、トリガー時刻）を保持する。例えば上記のように持ち主不明の荷物の存在が検知された場合、その荷物が最初に発見された画像を撮影した映像撮影装置１０２を識別するカメラＩＤ及び撮影時刻がそれぞれトリガーカメラＩＤフィールド４０２及びトリガー時刻フィールド４０３に保持される。

オペレーション開始時刻フィールド４０４及びオペレーション終了時刻フィールド４０５には、それぞれ、インシデントに対応して実行されたオペレーションの開始時刻及び終了時刻が保持される。例えば上記のように持ち主不明の荷物の存在が検知され、その荷物を置き去った人物を捜索するための画像の検索等のオペレーションが行われた場合、そのオペレーションが開始された時刻及び終了した時刻がそれぞれオペレーション開始時刻フィールド４０４及びオペレーション終了時刻フィールド４０５に保持される。

タグＩＤフィールド４０６には、オペレーションにおいて画像中の移動物体に付与されたタグの識別情報（以下、タグＩＤ）が保持される。

タグ管理情報４１０は、タグＩＤフィールド４１１、インシデントＩＤフィールド４１２、移動物体ＩＤフィールド４１３及びタグ付与時刻フィールド４１４を有する。

タグＩＤフィールド４１１には、各タグを識別するタグＩＤが保持される。このタグＩＤは、インシデント管理情報４００のタグＩＤフィールド４０６に保持されるものと対応する。

インシデントＩＤフィールド４１２には、各タグに対応するインシデントを識別するインシデントＩＤが保持される。このインシデントＩＤは、インシデント管理情報４００のインシデントＩＤフィールド４０１に保持されるものと対応する。

移動物体ＩＤフィールド４１３には、各タグが付与された移動物体を識別する移動物体ＩＤが保持される。この移動物体ＩＤは、移動物体管理情報３１０の移動物体ＩＤフィールド３１１に保持されるものと対応する。

タグ付与時刻フィールド４１４には、各タグが付与された時刻が保持される。

例えば、上記のように持ち主不明の荷物の存在が検知され、そのことに対してインシデントＩＤ「１」が付与され、その荷物を置き去った人物を捜索するオペレーションが開始された場合、そのオペレーションにおいて検索された画像に含まれる移動物体にタグが付与されると、当該タグのＩＤ、当該インシデントのＩＤ「１」、当該移動物体のＩＤ及び当該タグが付与された時刻がそれぞれタグＩＤフィールド４１１、インシデントＩＤフィールド４１２、移動物体ＩＤフィールド４１３及びタグ付与時刻フィールド４１４に保持される。

図５は、本発明の実施例の移動物体追跡システム１００によって出力される検索画面の説明図である。

図５に示す検索画面５０１は、サーバ計算機１０５が生成して表示装置１０４に表示させるものであり、指示エリア５０２、地図エリア５０３、カメラ画像エリア５０４、候補画像エリア５０５、タグ画像エリア５０６、ライブ画像エリア５０７及び検索結果表示エリア５０８を含む。

指示エリア５０２には、トリガーカメラＩＤ５０２Ａ、トリガー時刻５０２Ｂ、ロードボタン５０２Ｃ、報告ボタン５０２Ｄ及び現在時刻５０２Ｅが表示される。

ユーザがトリガーカメラＩＤ５０２Ａ及び時刻５０２Ｂを入力し、ロードボタン５０２Ｃを操作すると、移動物体追跡システム１００は、映像ロード処理を開始する（図７参照）。また、オペレーションが終了した後にユーザが報告ボタン５０２Ｄを操作すると、移動物体追跡システム１００は、実行されたオペレーションに関する報告を作成して出力する。例えば追跡対象の人物が発見されてオペレーションが終了した場合には、そのことを示す報告が作成される。

地図エリア５０３には、移動物体追跡システム１００による追跡の対象となる空間の少なくとも一部の地図が表示される。図５の例では、対象の空間の平面図上に、映像撮影装置１０２の設置位置及びそれぞれの撮影方向が表示されている。

カメラ画像エリア５０４には、トリガーカメラＩＤ及びトリガー時刻が入力され、ロードボタン５０２Ｃが操作されたときにロードされた画像が表示される。トリガーカメラＩＤによって識別される映像撮影装置１０２が、トリガー時刻を含む所定の時間帯（例えばトリガー時刻の５分前から５分後までの１０分間）に撮影したフレームの画像がロードされた場合、それらの画像のいずれかがカメラ画像エリア５０４に表示される。

例えば、トリガー時刻に撮影されたフレームの画像が最初に表示され、その後、ユーザの操作に応じて、ロードされた時間内の任意の時刻のフレームの画像が表示されてもよい。このような操作を可能とするために、カメラ画像エリア５０４は、シークバー、再生ボタン、早送りボタン及び巻き戻しボタンを含んでもよい。さらに、ロードされた時間帯の始点と終点の時刻及びそれぞれの時刻と現在時刻との差分（例えばそれぞれの時刻が現在時刻の何分前であるか）が表示されてもよい。また、表示されるフレームの画像は、移動物体検知部１０８が検知した移動物体の表示、例えば、検知した移動物体の外接矩形の表示を含んでもよい。

候補画像エリア５０５には、カメラ画像エリア５０４に表示されたフレームの画像に含まれる移動物体のうち、ユーザが指定した移動物体の画像が表示される。例えば、カメラ画像エリア５０４に表示された移動物体のいずれかをユーザが指定すると、その移動物体の外接矩形の画像が候補画像エリア５０５に表示され、さらに、ロードされた他の時刻のフレームの画像に含まれるその移動物体と同一の移動物体（すなわちその移動物体と同一の追跡ＩＤが付与された移動物体）の外接矩形の画像が候補画像エリア５０５に表示されてもよい。

タグ画像エリア５０６は、選択画像エリア５０６Ａ、タグ表示エリア５０６Ｂ、タグ付与ボタン５０６Ｃ及び検索ボタン５０６Ｄを含む。選択画像エリア５０６Ａには、候補画像エリア５０５からユーザが選択した画像が表示される。ユーザがタグ付与ボタン５０６Ｃを操作すると、選択した画像の移動物体に新たなタグが付与され、その画像がタグ表示エリア５０６Ｂに表示される。これらの画像は、タグが付与された順に関わらず、撮影時刻の順に並べて表示される。新たにタグが付与された画像が追加された場合には、その撮影時刻に従ってタグ表示エリア５０６Ｂの表示が更新される。

タグ表示エリア５０６Ｂの画像には、付与されたタグの数値がさらに表示されてもよい。図５の例では三つの画像の移動物体にタグが付与され、それぞれに「１」から「３」の数値が表示されている。この数値は、タグが付与された移動物体の画像が撮影された時刻の順を示している。

なお、移動物体の画像にタグが付与された場合には、地図エリア５０３上の、その画像を撮影した映像撮影装置１０２の設置位置に、そのタグの数値を表示してもよい。

ユーザが検索ボタン５０６Ｄを操作すると、タグが付与された画像の特徴量を検索クエリとする類似検索が実行される。タグ表示エリア５０６Ｂにタグが付与された画像が存在しない場合は、選択画像エリア５０６Ａの画像の特徴量を検索クエリとする類似検索が実行されてもよい。

ライブ画像エリア５０７には、トリガーカメラＩＤによって識別される映像撮影装置１０２が現在撮影している映像（ライブ映像）が表示される。例えばインシデントが荷物の置き去りである場合、ユーザは、これを参照することによって、置き去られた荷物の現状を把握することができる。また、ユーザは、カメラＩＤを指定することによって、ライブ画像エリア５０７に表示される映像を任意の映像撮影装置１０２によって撮影されたものに切り替えることができる。

検索結果表示エリア５０８には、実行された検索の結果が表示される。具体的には、タイムライン５０８Ａ上に、検索によって得られた画像の撮影時刻に対応する位置に、検索結果アイコンが表示される。図５の例では、検索結果アイコンとして虫眼鏡のマークが表示されている。また、「１」から「３」の数値のマークは、タグが付与された画像の撮影時刻を示している。これらの数値はタグの数値（すなわち画像の撮影時刻の順を示す数値）である。検索結果として得られた画像に新たにタグが付与された場合には、その画像に対応するアイコンが虫眼鏡のマークからタグの数値を示すマークに変更される。

タイムライン５０８Ａ上には、画像の表示範囲（図５の例では破線の枠）が表示され、その表示範囲内のアイコンに対応する画像が画像表示エリア５０８Ｂに表示される。ユーザは、画像の表示範囲を任意に変更することができ、それによって任意の時刻の検索結果の画像を参照することができる。

各アイコンに対応する画像表示エリア５０８Ｂには、そのアイコンに対応する検索結果の移動物体の外接矩形の画像と、それを含むフレームの画像と、それを撮影した映像撮影装置１０２を識別するカメラＩＤと、その撮影時刻とが表示される。撮影時刻として時刻そのものが表示されてもよいし、現在時刻からの差分（例えば「５分前」等）が表示されてもよい。

例えば、荷物の置き去りというインシデントが現在発生しており、その荷物を置き去った人物の身柄を確保しようとする場合には、現在時刻からの差分（すなわちその画像が撮影されてから現在までの経過時間）を表示することによって、当該人物が現在いる可能性がある範囲を推定して、捜索範囲を絞り込むことが容易になる。一方、映像記憶装置１０１に格納された過去の映像を参照して、過去に発生したインシデントの分析を行うような場合には、撮影時刻が表示された方がよい場合がある。

さらに、ユーザは、検索結果表示エリア５０８内の閾値バー５０８Ｃを操作して、類似検索の際の類似度の閾値を設定することができる。

図６は、本発明の実施例の移動物体追跡システム１００が実行する映像登録処理のフローチャートである。

最初に、映像入力部１０６が、映像記憶装置１０１又は映像撮影装置１０２から入力された映像から複数のフレームを抽出する（ステップＳ６０１）。次に、移動物体追跡システム１００は、抽出されたそれぞれのフレームを対象として、ステップＳ６０３～Ｓ６０８の処理を実行する（ステップＳ６０２、Ｓ６０９）。

最初に、フレーム登録部１０７が、対象のフレームを映像データベース１１３に登録する（ステップＳ６０３）。その結果、画像データ管理情報３００に一つのレコードが追加され、対象のフレームを識別するフレームＩＤ、当該フレームを撮影した映像撮影装置１０２を識別するカメラＩＤ、当該フレームの撮影時刻及び当該フレームの画像データがそれぞれフレームＩＤフィールド３０１、カメラＩＤフィールド３０２、撮影時刻フィールド３０３及び画像データフィールド３０４に保持される。

次に、移動物体検知部１０８が、対象のフレームから移動物体を検知する（ステップＳ６０４）。この検知は、例えば公知の方法など、任意の方法を用いて実現することができるため、詳細な説明を省略する。

次に、移動物体追跡部１１０が、移動物体から特徴量を抽出する（ステップＳ６０５）。ステップＳ６０４において複数の移動物体が検知された場合、移動物体追跡部１１０は、それぞれの移動物体から特徴量を抽出する。

次に、移動物体追跡部１１０は、新しい移動物体が出現したかを判定する（ステップＳ６０６）。例えば、移動物体追跡部１１０は、ステップＳ６０５で抽出された特徴量に基づいて、ステップＳ６０４で対象のフレームから検知された各移動物体が、同じ映像撮影装置１０２で撮影された前の時刻のフレームから検知されたいずれかの移動物体と同一の移動物体であるかを判定してもよい。そして、対象のフレームから検知された移動物体のいずれかが、同じ映像撮影装置１０２で撮影された前の時刻のフレームから検知されたいずれの移動物体とも同一でないと判定した場合、当該移動物体が新たに出現したと判定してもよい。

移動物体追跡部１１０は、新しい移動物体が出現したと判定した場合（ステップＳ６０６：ＹＥＳ）、新しく出現した移動物体に対応する追跡情報をデータベースに登録する（ステップＳ６０７）。具体的には、移動物体追跡部１１０は、追跡情報管理情報３２０に新たなレコードを追加して、その追跡ＩＤフィールド３２１に新たな追跡ＩＤを登録する。一方、移動物体追跡部１１０は、新しい移動物体が出現しなかったと判定した場合（ステップＳ６０６：ＮＯ）、ステップＳ６０７を実行しない。

次に、移動物体登録部１０９が検知された移動物体をデータベースに登録し、追跡情報登録部１１１が追跡情報を更新する（ステップＳ６０８）。具体的には、移動物体登録部１０９は、ステップＳ６０４で検知された各移動物体を識別する移動物体ＩＤ、各移動物体が検知されたフレームを識別するフレームＩＤ、各移動物体のフレームにおける位置及び範囲を示す矩形座標、及び、各移動物体からステップＳ６０５で抽出された特徴量を、それぞれ、移動物体ＩＤフィールド３１１、フレームＩＤフィールド３１３、矩形座標フィールド３１４及び移動物体特徴量フィールド３１５に登録する。

そして、各移動物体が前の時刻のフレームから検知された移動物体と同一であると判定された場合には、移動物体登録部１０９は、それと同一の追跡ＩＤを追跡ＩＤフィールド３１２に登録する。そして、追跡情報登録部１１１は、その追跡ＩＤに対応する追跡情報管理情報３２０の移動物体ＩＤフィールド３２２に、各移動物体を識別する移動物体ＩＤを追加する。

一方、いずれかの移動物体が前の時刻のフレームから検知されたいずれの移動物体とも同一でない（すなわち新たに出現した移動物体である）と判定された場合には、追跡情報登録部１１１は、当該新たに出現した移動物体を識別する移動物体ＩＤを、追跡情報管理情報３２０の、ステップＳ６０７で追加されたレコードの移動物体ＩＤフィールド３２２に登録する。そして、移動物体登録部１０９は、ステップＳ６０７で追加されたレコードの追跡ＩＤフィールド３２１に登録された追跡ＩＤを、当該新たに出現した移動物体に対応する追跡ＩＤフィールド３１２に登録する。

ステップＳ６０１で抽出された全てのフレームについてステップＳ６０３～Ｓ６０８の処理が終了すると、映像登録処理が終了する。

図７は、本発明の実施例の移動物体追跡システム１００が実行する映像ロード処理のフローチャートである。

最初に、ユーザがトリガーカメラＩＤ及びトリガー時刻を移動物体追跡システム１００に入力して（ステップＳ７０１、Ｓ７０２）、ロードボタン５０２Ｃを操作する（ステップＳ７０３）。例えば、ユーザは、入力装置１０３を操作して、図５に示す検索画面５０１の指示エリア５０２にトリガーカメラＩＤ５０２Ａ及びトリガー時刻５０２Ｂを入力し、ロードボタンを押下する。

具体的には、例えば、ユーザがいずれかの映像撮影装置１０２によって撮影された映像を参照して、置き去られた荷物を発見した場合、その映像撮影装置１０２のカメラＩＤ及びその映像の撮影時刻をトリガーカメラＩＤ５０２Ａ及びトリガー時刻５０２Ｂとして入力してもよい。あるいは、ユーザが、当該荷物が置き去られた現場からの通報に従って過去の映像を参照し、置き去られた荷物が撮影された映像を確認した場合、その映像を撮影した映像撮影装置１０２のカメラＩＤ及びその映像の撮影時刻をトリガーカメラＩＤ５０２Ａ及びトリガー時刻５０２Ｂとして入力してもよい。

上記の例ではユーザが手動でトリガーカメラＩＤ５０２Ａ及びトリガー時刻５０２Ｂを入力し、ロードボタンを操作したが、その代わりに、トリガーカメラＩＤ及びトリガー時刻をＵＲＬパラメータとして渡し、それに基づいて自動的にロードを行ってもよい。

次に、特徴量検索部１１６が該当時間帯の画像に関する特徴量を映像データベース１１３からロードする（ステップＳ７０４）。ここでロードされる特徴量は、例えば、カメラＩＤ及び時刻などの情報、画像から抽出した画像特徴量、及び画像自身等の、種々の型のデータを含んでもよい。また、該当時間帯とは、例えばトリガー時刻を基準として決定される所定の長さの時間帯（例えばトリガー時刻の５分前から５分後までの１０分間、など）であってもよいし、ユーザがロードの度に手動で設定した時間帯であってもよい。後者の場合、検索画面５０１が時間帯を設定するためのＧＵＩを含んでもよい。

次に、インシデント管理部１１５がインシデントＩＤを発行する（ステップＳ７０５）。

次に、インシデント管理部１１５は、トリガーカメラＩＤ、トリガー時刻及びオペレーション開始時刻をインシデントデータベース１１２のインシデント管理情報４００に登録する（ステップＳ７０６）。具体的には、インシデント管理部１１５は、インシデント管理情報４００の新たなレコードのインシデントＩＤフィールド４０１にステップＳ７０５で発行したインシデントＩＤを登録し、トリガーカメラＩＤフィールド４０２、トリガー時刻フィールド４０３及びオペレーション開始時刻フィールド４０４にそれぞれ入力されたトリガーカメラＩＤ、入力されたトリガー時刻及び現在時刻を登録する。

以上で映像ロード処理が終了する。

図８は、本発明の実施例の移動物体追跡システム１００が実行する移動体検索処理のフローチャートである。

最初に、ユーザが画像中の移動物体を指定する（ステップＳ８０１）。例えば、ユーザは、検索画面５０１のカメラ画像エリア５０４に表示された画像に含まれる一つ以上の移動物体（例えば人物）の画像からいずれかを選択し、入力装置１０３を操作して当該移動物体の画像を指定する情報を入力してもよい。以下の説明は移動物体の画像として人物画像が指定される例を示すが、人物以外の移動物体の画像が指定された場合も同様の処理が実行される。

次に、ユーザが候補画像中の人物画像を指定する（ステップＳ８０２）。例えば、ユーザは、候補画像エリア５０５に表示された同一人物の複数の外接矩形の画像からいずれかを選択し、入力装置１０３を操作して当該人物を指定する情報を入力してもよい。

次に、ユーザが入力装置１０３を操作してタグ画像エリア５０６中の検索ボタン５０６Ｄを操作する（ステップＳ８０３）。

次に、特徴量検索部１１６が、映像データベース１１３に格納されている画像を対象として、ステップＳ８０２で指定された人物の外接矩形の画像の特徴量を検索クエリとする類似検索を実行する（ステップＳ８０４）。

次に、特徴量検索部１１６が、ステップＳ８０４の検索結果を時刻順に表示装置１０４を介して表示する（ステップＳ８０５）。これによって、例えば、検索結果表示エリア５０８に、類似度が閾値を超えた人物の外接矩形の画像と、その外接矩形を含むフレーム全体の画像との組が、撮影された時刻の順に表示される。

次に、特徴量検索部１１６が、表示装置１０４を介して、タイムライン５０８Ａ上に検索結果アイコンを表示する（ステップＳ８０６）。図５の例では、検索結果表示エリア５０８内のタイムライン５０８Ａ上の、各検索結果の画像が撮影された時刻に対応する位置に、検索結果アイコンとして虫眼鏡のマークが表示される。

以上で移動体検索処理が終了する。

図９は、本発明の実施例の移動物体追跡システム１００が実行するタグ付与処理のフローチャートである。

最初に、ユーザは、画像中の移動物体を指定し（ステップＳ９０１）、続いて、候補画像中の人物画像を指定する（ステップＳ９０２）。これらは、例えば、ステップＳ８０１及びＳ８０２と同様に実行されてもよい。

ユーザは、タグ画像エリア５０６の選択画像エリア５０６Ａに表示されている移動物体にタグを付与するために、入力装置１０３を操作してタグ画像エリア５０６中のタグ付与ボタン５０６Ｃを操作する（ステップＳ９０３）。

次に、インシデント管理部１１５が、タグＩＤを発行する（ステップＳ９０４）。

次に、インシデント管理部１１５が、インシデントデータベース１１２のタグ管理情報４１０に新たなレコードを追加して、そのレコードのタグＩＤフィールド４１１にステップＳ９０４で発行されたタグＩＤを、インシデントＩＤフィールド４１２に図７のステップＳ７０５で発行されたインシデントＩＤを、移動物体ＩＤフィールド４１３にステップＳ９０２で指定された人物画像の移動物体ＩＤを、タグ付与時刻フィールド４１４にステップＳ９０４のタグＩＤが発行された時刻を、それぞれ登録する（ステップＳ９０５）。

次に、インシデント管理部１１５が、インシデントデータベース１１２のインシデント管理情報４００のレコードのうち、インシデントＩＤフィールド４０１に図７のステップＳ７０５で発行されたインシデントＩＤが登録されているレコードのタグＩＤフィールド４０６に、ステップＳ９０４で発行されたタグＩＤを追加する（ステップＳ９０６）。

次に、インシデント管理部１１５が、当該インシデントＩＤに関連するタグが付与された移動物体を撮影時刻の順にソートして、タグの順序を示す数値を再割り当てする。（ステップＳ９０７）。タグの順序は、タグが付与された移動物体の画像の撮影時刻の順序を示す。タグが付与された移動物体の画像の撮影時刻は、タグ管理情報４１０を参照して各タグを識別するタグＩＤに対応する移動物体ＩＤを特定し、移動物体管理情報３１０を参照して各移動物体ＩＤに対応するフレームＩＤを特定し、画像データ管理情報３００を参照して各フレームＩＤに対応する撮影時刻を特定することによって、特定することができる。

次に、インシデント管理部１１５が、表示装置１０４を介して、地図エリア５０３、タグ画像エリア５０６及び検索結果表示エリア５０８にタグを表示する。既にタグが表示されている場合には、その表示が更新される。図５の例では、地図エリア５０３内の、それぞれのタグが付与された移動物体を撮影した映像撮影装置１０２の位置に、それぞれの移動物体の撮影時刻の順序を示す数値が表示される。

また、タグ画像エリア５０６内の、それぞれのタグが付与された移動物体に、それぞれの移動物体の撮影時刻の順序を示す数値が表示される。さらに、検索結果表示エリア５０８にも、タイムライン５０８Ａ上のそれぞれのタグが付与された移動物体が撮影された時刻に相当する位置に、それぞれの移動物体の撮影時刻の順序を示す数値（図５の例では「１」、「２」及び「３」）が表示される。

以上でタグ付与処理が終了する。

図１０は、本発明の実施例の移動物体追跡システム１００が実行するタグ付与時の移動物体検索処理のフローチャートである。

最初に、ユーザは、画像中の移動物体を指定し（ステップＳ１００１）、候補画像中の人物画像を指定し（ステップＳ１００２）、検索ボタン５０６Ｄを操作する（ステップＳ１００３）。これらは、例えば、ステップＳ８０１～Ｓ８０３と同様に実行されてもよい。

次に、特徴量検索部１１６が、映像データベース１１３に格納されている画像を対象として、タグが付与された全ての移動物体の画像の特徴量を検索クエリとする類似検索を実行する（ステップＳ１００４）。例えば、各検索クエリについて、図８のステップ８０４と同様の検索が実行される。

次に、特徴量検索部１１６が、ステップＳ１００４の検索結果を時刻順に表示装置１０４を介して表示する（ステップＳ１００５）。これは、例えば、図８のステップ８０５と同様に実行される。

次に、特徴量検索部１１６が、表示装置１０４を介して、タイムライン５０８Ａ上に検索結果アイコン及びタグアイコンを表示する（ステップＳ１００６）。図５の例では、タイムライン５０８Ａ上の、各検索結果の画像が撮影された時刻に対応する位置に、検索結果アイコンとしてルーペのマークが表示される。さらに、タグが付与された画像（すなわち検索クエリとして使用された画像）が撮影された時刻に対応する位置に、その画像の撮影時刻の順序を示す数値（図５の例では「１」、「２」及び「３」）が表示される。

以上でタグ付与時の移動体検索処理が終了する。

ここで、図５及び図７から図１０を参照して、移動物体追跡システム１００を用いたオペレーションの具体例を説明する。撮影された映像について、図６の処理は終了しているものとする。以下の説明における事例及び数値等は一例であり、本発明を限定するものではない。

ここでは、インシデントとして荷物の置き去りが発生した場合について説明する。例えば、持ち主が不明の荷物が発見されたことが通報された場合、ユーザは、発見場所を撮影した過去の映像を参照して、当該荷物を置き去った人物が撮影されたフレームを特定する。

そして、ユーザは、特定したフレームを撮影した映像撮影装置１０２を識別するカメラＩＤ及びそのフレームの撮影時刻をトリガーカメラＩＤ及びトリガー時刻として移動物体追跡システム１００に入力し（ステップＳ７０１、Ｓ７０２）、ロードボタン５０２Ｃを操作する（ステップＳ７０３）。すると、当該トリガーカメラＩＤで識別される映像撮影装置１０２がトリガー時刻を含む所定の時間（例えばトリガー時刻の５分前から５分後までの１０分間）に撮影したフレームの画像がロードされる（ステップＳ７０４）。

このとき、カメラ画像エリア５０４には、例えば、ロードされた画像のうち、トリガー時刻に撮影されたフレームの画像が表示されてもよいし、ユーザが選択したその前後の任意の時刻の画像が表示されてもよい。例えば、ユーザが、表示されている画像から、荷物を置き去った人物の画像を指定すると（ステップＳ８０１）、ロードされた他のフレームから、指定された画像と同一の追跡ＩＤが付与された画像が抽出され、それらが候補画像エリア５０５に表示される。

ユーザが候補画像エリア５０５に表示された複数の画像のいずれかを選択すると（ステップＳ８０２）、それがタグ画像エリア５０６の選択画像エリア５０６Ａに表示される。そこでユーザが検索ボタン５０６Ｄを操作すると（ステップＳ８０３）、類似検索が実行され（ステップＳ８０４）、その結果が検索結果表示エリア５０８に表示される（ステップＳ８０５、Ｓ８０６）。

ユーザは、検索結果表示エリア５０８に表示された検索結果を参照して、適切な検索結果が得られるように閾値バー５０８Ｃを操作してもよい。ユーザは、適切な検索結果が得られた場合に、タグ付与ボタン５０６Ｃを操作して、そのときに選択画像エリア５０６Ａに表示されている画像にタグを付与してもよい（図９参照）。その画像は、タグの数値と併せて、タグ表示エリア５０６Ｂに表示される。

ここで、ユーザは、候補画像エリア５０５に表示された他の画像をさらに指定することができる（ステップＳ１００２）。その場合、特徴量検索部１１６は、タグが付与された画像と、新たに指定された画像とを検索クエリとした類似検索を実行する（ステップＳ１００４）。表示装置１０４は、実行された類似検索の結果を表示するように、検索画面５０１の表示内容を更新する。

あるいは、ユーザは、例えば検索結果表示エリア５０８に表示された検索結果の画像のいずれかに検索クエリとして使えそうな画像が含まれていると判断した場合に、その画像又はその前後の時刻に撮影された画像を指定してもよい。具体的には、移動物体追跡システム１００は、その画像を撮影した映像撮影装置１０２がその画像の撮影時刻を含む所定の長さの時間（例えばその画像の撮影時刻の５分前から５分後までの１０分間）に撮影した映像をロードして、それに含まれる画像をカメラ画像エリア５０４に表示してもよい。この場合、当該画像からユーザがいずれかの人物の画像を指定すると、その画像と同一の追跡ＩＤが付与された画像が抽出され、それらが候補画像エリア５０５に表示される。以後の処理は上記と同様である。

例えば、最初に指定した画像が人物を正面から撮影した画像であった場合、それを検索クエリとした類似検索によって、同様に正面から撮影された画像が得られやすく、他の方向から撮影された画像は相対的に得られにくくなる。当該人物の服装又は所持品が変更された場合も同様であり、例えば当該人物が荷物を置き去った後に着替えたり、新たに別の荷物を持ち歩いたりした場合には、その後の画像が検索によって得られにくくなる。このため、ユーザは、候補画像又は検索によって得られた画像から、当該人物を異なる方向から撮影した画像、当該人物が別の服を着ている画像又は別の荷物を持っている画像等を発見した場合に、それらを検索クエリに追加することで、漏れのない検索をすることが可能になる。

なお、上記のように複数の画像が検索クエリとして指定された場合、ステップＳ１００４における類似検索は例えば次のように実行される。

すなわち、特徴量検索部１１６は、それぞれの画像の特徴量を検索クエリとした検索を実行して、検索された画像と検索クエリの画像との類似度を示すスコアを算出し、スコアが上位の画像を検索結果として出力してもよい。

あるいは、特徴量検索部１１６は、複数の検索クエリの特徴量の代表値を求めて、その代表値を用いた検索を実行してもよい。例えば、多数の画像が検索クエリとして指定された場合に、特徴量検索部１１６は、それらの画像の特徴量をクラスタリングして、各クラスタの代表値を検索クエリとして検索を実行してもよい。

上記の図５等を参照した説明では、ユーザがロードされた映像に含まれるいずれかの移動物体の画像を指定して検索ボタン５０６Ｄを操作したときに初めて類似検索が実行されるように記載したが、実際には、このような検索の開始が自動化されてもよい。例えば、移動物体追跡システム１００は、映像をロードすると、トリガー時刻の画像をカメラ画像エリア５０４に表示し、その画像に含まれるいずれかの移動物体の画像を自動的に検索クエリとして指定して、類似検索を実行し、その結果を検索結果表示エリア５０８に表示してもよい。

一般には、例えば荷物を置き去った人物を追跡する場合に、その人物の特徴がよく現れている画像をトリガーとして選択すると考えられることから、例えばロードしたトリガー時刻の画像中の最も大きい外接矩形を有する移動物体の画像を自動的に検索クエリとして選択することで、ユーザの作業量を削減することができる。この場合、自動的に指定された移動物体がユーザの望んだものでないことがあり得るが、その場合は、ユーザが改めて対象の移動物体の画像を指定することで、所望の検索結果を得ることができる。

また、ユーザは、検索結果表示エリア５０８に検索結果が表示された後で、閾値バー５０８Ｃを操作して、類似度の閾値を変更してもよい。特徴量検索部１１６は、変更された閾値を用いて類似検索を実行して、その結果を表示装置１０４に出力する。表示装置１０４は、特徴量検索部１１６の検索結果に従って表示内容を更新する。

以上のように、本発明の一形態の情報処理システム（例えば移動物体追跡システム１００）は、プロセッサ（例えばプロセッサ２０１）と、プロセッサに接続される記憶装置（例えば記憶装置２０２）と、プロセッサに接続される表示装置（例えば表示装置１０４）と、を有する。記憶装置は、複数の撮影装置（例えば映像撮影装置１０２）によって撮影された複数の画像を保持する。プロセッサは、検索クエリとして移動物体の画像（例えば候補画像エリア５０５に表示された人物の画像のいずれか）が指定された場合、記憶装置に保持された複数の画像を対象として前記指定された画像を検索クエリとする類似検索を実行する（例えばステップＳ８０４）。そして、プロセッサは、類似検索の結果として得られた複数の画像を表示するためのデータを表示装置に出力し、表示装置は、そのデータに従って画像を表示する（例えばステップＳ８０５）。さらに、プロセッサは、検索クエリとして移動物体の画像が追加して指定された場合、指定された全ての画像を検索クエリとする類似検索を実行する（例えばステップＳ１００４）。そして、プロセッサは、指定された全ての画像を検索クエリとする類似検索の結果として得られた複数の画像を表示するように、表示される画像を更新するためのデータを表示装置に送信し、表示装置は、そのデータに従って表示される画像を更新する（例えばステップＳ１００５）。

これによって、画像からの移動物体の検索の網羅性が向上するため、例えば移動物体の追跡を容易にすることができる。

ここで、表示装置は、類似検索の結果として得られた複数の画像を撮影時刻の順に表示してもよい（例えば画像表示エリア５０８Ｂ）。

これによって、検索された画像に基づく移動物体の追跡が容易になる。

また、表示装置は、類似検索の結果として得られた各画像の撮影時刻を示す情報を表示してもよい（例えば画像表示エリア５０８Ｂ）。

これによって、検索された画像に基づく移動物体の追跡が容易になる。

ここで、各画像の撮影時刻を示す情報は、現在時刻と各画像の撮影時刻との差分であってもよい（例えば画像表示エリア５０８Ｂの「１５秒前」など）。

これによって、検索された画像に基づいて追跡対象の移動物体が現在存在する可能性がある範囲を絞り込むことが容易になる。

また、表示装置は、検索クエリとして指定された画像を撮影した撮影装置の位置の表示を含む地図の画像（例えば地図エリア５０３）を出力し、検索クエリとして移動物体の画像が追加して指定された場合、追加して指定された画像を撮影した撮影装置の位置の表示を追加するように地図の画像を更新してもよい（例えばステップＳ９０８）。

これによって、追跡対象の移動物体所在地の把握が容易になる。

また、プロセッサは、記憶装置に保持された各撮影装置が撮影した画像から移動物体を検知し（例えばステップＳ６０４）、同一の撮影装置が異なる時刻に撮影した画像から検知された移動物体が同一か否かを判定し（例えばステップＳ６０６）、表示装置は、撮影装置の識別情報及び時刻が入力された場合（例えばステップＳ７０１～Ｓ７０３）、前記記憶装置に保持された画像のうち、前記入力された識別情報によって識別される撮影装置が入力された時刻を含む時間帯に撮影した複数の画像から検知された、指定された画像の移動物体と同一の移動物体の複数の画像（例えばステップＳ８０６で表示される候補画像エリア５０５の画像）を表示し、プロセッサは、表示装置が表示した複数の画像の一つ以上が検索クエリとして追加して指定された場合、指定された全ての画像を検索クエリとする類似検索を実行してもよい（例えばステップＳ１００４）。

これによって、ユーザによる適切な検索クエリの追加が容易になり、検索の網羅性が向上する。

また、プロセッサは、類似検索の結果として得られた複数の画像（例えば画像表示エリア５０８Ｂに表示された画像）に含まれるいずれかの移動物体の画像が検索クエリとして追加して指定された場合、指定された全ての画像を検索クエリとする類似検索を実行してもよい（例えばステップＳ１００４）。

これによって、ユーザによる適切な検索クエリの追加が容易になり、検索の網羅性が向上する。

このとき、プロセッサは、記憶装置に保持された各撮影装置が撮影した画像から移動物体を検知し（例えばステップＳ６０４）、同一の撮影装置が異なる時刻に撮影した画像から検知された移動物体が同一か否かを判定し（例えばステップＳ６０６）、表示装置は、類似検索の結果として得られた複数の画像（例えば画像表示エリア５０８Ｂに表示された画像）のいずれかが選択されると、選択された画像を撮影した撮影装置が選択された画像を撮影した時刻を含む時間帯に撮影した複数の画像から検知された、選択された画像の移動物体と同一の移動物体の複数の画像を表示し（例えば、画像表示エリア５０８Ｂに表示された画像が選択された場合の候補画像エリア５０５）、プロセッサは、表示装置が表示した複数の画像の一つ以上が検索クエリとして追加して指定された場合、指定された全ての画像を検索クエリとする類似検索を実行してもよい（例えばステップＳ１００４）。

これによって、ユーザによる適切な検索クエリの追加が容易になり、検索の網羅性が向上する。

また、表示装置は、検索クエリとして指定された全ての画像を、撮影された時刻の順に表示してもよい（例えばステップＳ９０７、Ｓ９０８、タグ表示エリア５０６Ｂ）。

これによって、ユーザが検索クエリとして指定した画像を把握しやすくなるとともに、対象の移動物体の外観が変化した場合（例えば人物の服装又は所持品が変化した場合等）にはその変化の過程を把握しやすくなる。

また、プロセッサは、指定された画像ごとに、その特徴量と記憶装置に保持された画像から検知された移動物体の画像の特徴量との類似度を示すスコアを計算し、スコアが上位の画像を検索結果として出力してもよい（例えばステップＳ１００４）。

これによって、複数の画像が検索クエリとして指定された場合に、適切な検索結果を出力して検索の網羅性を向上させることができる。

また、プロセッサは、指定された複数の画像の特徴量をクラスタリングによって複数のクラスタに分類し、各クラスタの代表値と記憶装置に保持された画像から検知された移動物体の画像の特徴量との類似度を示すスコアを計算し、スコアが上位の画像を検索結果として出力してもよい（例えばステップＳ１００４）。

これによって、多数の画像が検索クエリとして指定された場合にも、計算量の増大を抑えながら、検索の網羅性を向上させることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１００：移動物体追跡システム、１０１：映像記憶装置、１０２：映像撮影装置、１０３：入力装置、１０４：表示装置、１０５：サーバ計算機、１０６：映像入力部、１０７：フレーム登録部、１０８：移動物体検知部、１０９：移動物体登録部、１１０：移動物体追跡部、１１１：追跡情報登録部、１１２：インシデントデータベース、１１３：映像データベース、１１４：移動物体指定部、１１５：インシデント管理部、１１６：特徴量検索部

Claims (12)

1. プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される表示装置と、を有する情報処理システムであって、
   前記記憶装置は、複数の撮影装置によって撮影された複数の画像を保持し、
   前記プロセッサは、検索クエリとして移動物体の画像が指定された場合、前記記憶装置に保持された複数の画像を対象として前記指定された画像を検索クエリとする類似検索を実行し、
   前記表示装置は、前記類似検索の結果として得られた複数の画像を表示し、
   前記表示装置は、前記検索クエリとして指定された画像を撮影した撮影装置の位置の表示を含む地図の画像を出力し、
   前記プロセッサは、検索クエリとして移動物体の画像が追加して指定された場合、指定された全ての画像を検索クエリとする類似検索を実行し、
   前記表示装置は、前記指定された全ての画像を検索クエリとする類似検索の結果として得られた複数の画像を表示するように、表示される画像を更新し、
   前記表示装置は、前記追加して指定された画像を撮影した撮影装置の位置の表示を追加するように前記地図の画像を更新することを特徴とする情報処理システム。
2. 請求項１に記載の情報処理システムであって、
   前記表示装置は、前記類似検索の結果として得られた複数の画像を撮影時刻の順に表示することを特徴とする情報処理システム。
3. 請求項２に記載の情報処理システムであって、
   前記表示装置は、前記類似検索の結果として得られた各画像の撮影時刻を示す情報を表示することを特徴とする情報処理システム。
4. 請求項３に記載の情報処理システムであって、
   前記各画像の撮影時刻を示す情報は、現在時刻と前記各画像の撮影時刻との差分であることを特徴とする情報処理システム。
5. 請求項１に記載の情報処理システムであって、
   前記プロセッサは、
   前記記憶装置に保持された前記各撮影装置が撮影した画像から移動物体を検知し、
   同一の前記撮影装置が異なる時刻に撮影した画像から検知された移動物体が同一か否かを判定し、
   前記表示装置は、前記撮影装置の識別情報及び時刻が入力された場合、前記記憶装置に保持された画像のうち、前記入力された識別情報によって識別される撮影装置が前記入力された時刻を含む時間帯に撮影した複数の画像から検知された、前記指定された画像の移動物体と同一の移動物体の複数の画像を表示し、
   前記プロセッサは、前記表示装置が表示した複数の画像の一つ以上が検索クエリとして追加して指定された場合、指定された全ての画像を検索クエリとする類似検索を実行することを特徴とする情報処理システム。
6. 請求項１に記載の情報処理システムであって、
   前記プロセッサは、前記類似検索の結果として得られた複数の画像に含まれるいずれかの移動物体の画像が検索クエリとして追加して指定された場合、指定された全ての画像を検索クエリとする類似検索を実行することを特徴とする情報処理システム。
7. 請求項６に記載の情報処理システムであって、
   前記プロセッサは、
   前記記憶装置に保持された前記各撮影装置が撮影した画像から移動物体を検知し、
   同一の前記撮影装置が異なる時刻に撮影した画像から検知された移動物体が同一か否かを判定し、
   前記表示装置は、前記類似検索の結果として得られた複数の画像のいずれかが選択されると、選択された画像を撮影した撮影装置が選択された画像を撮影した時刻を含む時間帯に撮影した複数の画像から検知された、前記選択された画像の移動物体と同一の移動物体の複数の画像を表示し、
   前記プロセッサは、前記表示装置が表示した複数の画像の一つ以上が検索クエリとして追加して指定された場合、指定された全ての画像を検索クエリとする類似検索を実行することを特徴とする情報処理システム。
8. 請求項１に記載の情報処理システムであって、
   前記表示装置は、前記検索クエリとして指定された全ての画像を、撮影された時刻の順に表示することを特徴とする情報処理システム。
9. 請求項１に記載の情報処理システムであって、
   前記プロセッサは、指定された画像ごとに、その特徴量と前記記憶装置に保持された画像から検知された移動物体の画像の特徴量との類似度を示すスコアを計算し、前記スコアが上位の画像を検索結果として出力することを特徴とする情報処理システム。
10. 請求項１に記載の情報処理システムであって、
    前記プロセッサは、指定された複数の画像の特徴量をクラスタリングによって複数のクラスタに分類し、各クラスタの代表値と前記記憶装置に保持された画像から検知された移動物体の画像の特徴量との類似度を示すスコアを計算し、前記スコアが上位の画像を検索結果として出力することを特徴とする情報処理システム。
11. プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される表示装置と、を有する情報処理システムを制御する方法であって、
    前記記憶装置は、複数の撮影装置によって撮影された複数の画像を保持し、
    前記方法は、
    前記プロセッサが、検索クエリとして移動物体の画像が指定された場合、前記記憶装置に保持された複数の画像を対象として前記指定された画像を検索クエリとする類似検索を実行する手順と、
    前記表示装置が、前記類似検索の結果として得られた複数の画像を表示する手順と、
    前記表示装置が、前記検索クエリとして指定された画像を撮影した撮影装置の位置の表示を含む地図の画像を出力する手順と、
    検索クエリとして移動物体の画像が追加して指定された場合、前記プロセッサが、指定された全ての画像を検索クエリとする類似検索を実行する手順と、
    前記表示装置が、前記指定された全ての画像を検索クエリとする類似検索の結果として得られた複数の画像を表示するように、表示される画像を更新する手順と、
    前記表示装置が、前記追加して指定された画像を撮影した撮影装置の位置の表示を追加するように前記地図の画像を更新する手順と、を含むことを特徴とする方法。
12. プロセッサと、前記プロセッサに接続される記憶装置と、前記プロセッサに接続される表示装置と、を有する情報処理システムを制御するためのプログラムであって、
    前記記憶装置は、複数の撮影装置によって撮影された複数の画像を保持し、
    前記プログラムは、
    検索クエリとして移動物体の画像が指定された場合、前記記憶装置に保持された複数の画像を対象として前記指定された画像を検索クエリとする類似検索を実行する手順と、
    前記類似検索の結果として得られた複数の画像を表示するためのデータを前記表示装置に出力する手順と、
    前記検索クエリとして指定された画像を撮影した撮影装置の位置の表示を含む地図の画像を出力するためのデータを前記表示装置に出力する手順と、
    検索クエリとして移動物体の画像が追加して指定された場合、指定された全ての画像を検索クエリとする類似検索を実行する手順と、
    前記指定された全ての画像を検索クエリとする類似検索の結果として得られた複数の画像を表示するように、表示される画像を更新するためのデータを前記表示装置に出力する手順と、
    前記追加して指定された画像を撮影した撮影装置の位置の表示を追加するように前記地図の画像を更新するためのデータを前記表示装置に出力する手順と、を前記プロセッサに実行させることを特徴とするプログラム。

Images