JP7103624B2 - データ処理装置、データ処理方法、及び、プログラム - Google Patents

Description

本発明は、データ処理装置、データ処理方法、及び、プログラムに関する。

特許文献１には、指定された人物を画像から検索する検索装置が開示されている。当該検索装置は、複数のフレームを含む画像を取得する第１取得部と、フレームに含まれる複数の人物を抽出し、当該人物を特徴づける第１属性を複数種類抽出する第１抽出部と、ユーザに指定された第１人物から当該人物を特徴づける第２属性を複数種類抽出する第２抽出部と、第２属性の少なくとも１種類を検索条件として、第１人物をフレームから検索する検索部と、検索部で第１人物が検索され、第１属性と第２属性に異なる属性が含まれる場合、異なる属性の少なくとも１種類を検索のための新たな条件として追加する追加部とを有する。

特許文献２及び３には、複数のノードが階層化されたインデックスを生成するインデックス生成装置が開示されている。

特開２０１４－１６９６８号公報 国際公開第２０１４／１０９１２７号 特開２０１５－４９５７４号公報

特許文献１に記載の検索装置は、ユーザに指定された人物の特徴量をキーとして動画データを検索する。当該検索装置を利用する場合、ユーザは、検索する人物を予め特定し、その人物の特徴量を検索装置に与える必要がある。検索対象の人物が特定されていない場合、当該検索装置を利用できない。

なお、テキストデータを分析対象とする場合も同様の問題が発生する。すなわち、検索したい単語や文章が予め特定されている場合、それを検索キーとして検索装置に与えることで、テキストデータから所望の単語や文章を検索できる。しかし、検索したい単語や文章が予め特定されていない場合、検索を実行できない。

また、音声データ、楽曲データ、画像データ、図形データ、指紋データ、生体情報、時系列データ（株価変動時系列データ等）、ファイルアーカイブ、オブジェクトファイル、バイナリデータ等の他のデータを分析対象とする場合も同様の問題が発生する。

本発明は、データから所定の条件を満たす対象を検索するための新たな技術を提供することを課題とする。

本発明によれば、
分析対象のデータを分析し、前記分析対象のデータ内で検出された対象の中から、前記分析対象のデータにおける出現頻度が所定の条件を満たす対象を抽出する抽出手段と、
抽出された前記対象に関する情報を出力する出力手段と、
を有し、
前記データは、同一の場所で所定時間にわたり撮影された動画データであり、
前記抽出手段は、前記分析対象の動画データを分析し、前記分析対象の動画データ内で検出された人物の中から、前記分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する人物抽出手段を有し、
前記人物抽出手段は、
前記分析対象の動画データを、前記所定時間よりも小さい時間幅の複数のタイムウインドウに分割し、前記タイムウインドウごとに、前記分析対象の動画データ内で検出された人物各々が出現しているか判定し、複数の前記タイムウインドウ各々に出現しているか否かの判定結果に基づき、前記出現頻度を算出し、
前記タイムウインドウ各々には複数のフレームが含まれ、
複数の前記タイムウインドウの中の１つである第１のタイムウインドウが含む複数の前記フレームの中の少なくとも１つに出現している人物は、前記第１のタイムウインドウにおいて出現していると判定するデータ処理装置が提供される。

また、本発明によれば、
コンピュータが、
分析対象のデータを分析し、前記分析対象のデータ内で検出された対象の中から、前記分析対象のデータにおける出現頻度が所定の条件を満たす対象を抽出する抽出工程と、
抽出された前記対象に関する情報を出力する出力工程と、
を実行し、
前記データは、同一の場所で所定時間にわたり撮影された動画データであり、
前記抽出工程は、前記分析対象の動画データを分析し、前記分析対象の動画データ内で検出された人物の中から、前記分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する人物抽出工程を含み、
前記人物抽出工程では、
前記分析対象の動画データを、前記所定時間よりも小さい時間幅の複数のタイムウインドウに分割し、前記タイムウインドウごとに、前記分析対象の動画データ内で検出された人物各々が出現しているか判定し、複数の前記タイムウインドウ各々に出現しているか否かの判定結果に基づき、前記出現頻度を算出し、
前記タイムウインドウ各々には複数のフレームが含まれ、
複数の前記タイムウインドウの中の１つである第１のタイムウインドウが含む複数の前記フレームの中の少なくとも１つに出現している人物は、前記第１のタイムウインドウにおいて出現していると判定するデータ処理方法が提供される。

また、本発明によれば、
コンピュータを、
分析対象のデータを分析し、前記分析対象のデータ内で検出された対象の中から、前記分析対象のデータにおける出現頻度が所定の条件を満たす対象を抽出する抽出手段、
抽出された前記対象に関する情報を出力する出力手段、
として機能させ、
前記データは、同一の場所で所定時間にわたり撮影された動画データであり、
前記抽出手段は、前記分析対象の動画データを分析し、前記分析対象の動画データ内で検出された人物の中から、前記分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する人物抽出手段を有し、
前記人物抽出手段は、
前記分析対象の動画データを、前記所定時間よりも小さい時間幅の複数のタイムウインドウに分割し、前記タイムウインドウごとに、前記分析対象の動画データ内で検出された人物各々が出現しているか判定し、複数の前記タイムウインドウ各々に出現しているか否かの判定結果に基づき、前記出現頻度を算出し、
前記タイムウインドウ各々には複数のフレームが含まれ、
複数の前記タイムウインドウの中の１つである第１のタイムウインドウが含む複数の前記フレームの中の少なくとも１つに出現している人物は、前記第１のタイムウインドウにおいて出現していると判定するプログラムが提供される。

本発明によれば、データから所定の条件を満たす対象を検索するための新たな技術が実現される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態の装置のハードウエア構成の一例を示す図である。 本実施形態のデータ処理装置の機能ブロック図の一例である。 本実施形態の分析対象の動画データを説明するための模式図である。 本実施形態の人物抽出部による判定結果を説明するための模式図である。 本実施形態の人物抽出部により生成される情報を説明するための模式図である。 本実施形態の検出人物情報を説明するための模式図である。 本実施形態のインデックスを説明するための模式図である。 本実施形態のデータ処理装置の機能ブロック図の一例である。 本実施形態の出力部による出力情報の一例である。 本実施形態の出力部による出力情報の一例である。 本実施形態の出力部による出力情報の一例である。 本実施形態の分析対象の動画データを説明するための模式図である。 本実施形態の人物抽出部による判定結果を説明するための模式図である。 本実施形態の出力部による出力情報の一例である。 本実施形態のデータ処理装置の処理の流れの一例を示すフローチャートである。 本実施形態のデータ処理装置の機能ブロック図の一例である。

まず、本実施形態の装置（データ処理装置）のハードウエア構成の一例について説明する。図１は、本実施形態の装置のハードウエア構成を例示するブロック図である。図１に示すように、装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路には、様々なモジュールが含まれる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、外部装置や外部サーバ等から情報を取得するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行う。

以下、本実施の形態について説明する。なお、以下の実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。なお、同一の構成要素には同一の符号を付し、適宜説明を省略する。

＜第１の実施形態＞
まず、本実施形態の概要について説明する。本実施形態のデータ処理装置は、同一の場所で所定時間にわたり撮影された動画データを、分析対象の動画データとする。そして、データ処理装置は、分析対象の動画データを分析し、分析対象の動画データ内で検出された人物の中から、分析対象の動画データにおける出現頻度（例：出現回数、出現割合等）が所定の条件（例：所定レベルより高い）を満たす人物を抽出する。そして、抽出された人物に関する情報（例：分析対象の動画データから取得した顔画像）を出力する。

例えば、スリ、痴漢、盗撮等の犯罪を行う犯罪者は、下見のため犯行場所に頻繁に出現したり、犯行対象を探すためその場に不自然なほど長く居続けたりする。本実施形態のデータ処理装置に、犯行場所やその周辺を撮影した動画データを分析対象として与えることで、その場所における出現頻度が高い人物を抽出することができる。

このように、本実施形態のデータ処理装置によれば、検索する人物が特定されておらず、検索する人物の特徴量を装置に与えることができない状況下で、所定の条件を満たす人物（検索対象の人物）を動画データから検索することができる。

次に、本実施形態のデータ処理装置の構成について詳細に説明する。図２は、本実施形態のデータ処理装置１の機能ブロック図の一例を示す。図示するように、データ処理装置１は、人物抽出部（抽出手段）１０と、出力部２０とを有する。

人物抽出部１０は、分析対象の動画データを分析し、分析対象の動画データ内で検出された人物の中から、分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する。

本実施形態の分析対象の動画データは、同一の場所で所定時間にわたり撮影された動画データである。例えば、図３に示すように、所定場所に設置された防犯カメラ２により撮影された動画データが、分析対象の動画データ１００としてデータ処理装置１に入力される。分析対象の動画データ１００は、所定時間Ｔにわたる複数のフレームＦを含む。

人物抽出部１０は、分析対象の動画データ１００を、所定時間Ｔよりも小さい時間幅（例：３０秒、１分、３０分、１時間、１日等）のタイムウインドウ単位で分析する。そして、分析対象の動画データ１００内で検出された人物毎に、複数のタイムウインドウ各々に出現しているか判定する。以下、当該判定処理の一例を説明するが、これに限定されない。

人物抽出部１０は、フレーム毎に人物を検出する。そして、人物抽出部１０は、異なるフレームから検出された人物を、外観の特徴量（例：顔の特徴量）が所定レベル以上類似するもの同士でまとめてグループ化する。これにより、同一人物が複数のフレームから検出されている場合、それらをグループ化することができる。結果、分析対象の動画データ１００内で検出された人物毎に、いずれのフレームに出現しているかを特定可能になる。

そして、人物抽出部１０は、複数のタイムウインドウ各々と各タイムウインドウに含まれるフレームとの関係に基づき、分析対象の動画データ１００内で検出された人物各々が複数のタイムウインドウ各々に出現しているかを判定する。なお、第１のタイムウインドウに含まれる複数のフレームの中の少なくとも１つに出現していた場合、第１のタイムウインドウに出現していたと判定するものとする。

結果、図４に示すような判定結果が得られる。図４に示す判定結果では、分析対象の動画データ内で検出された人物各々を識別する人物ＩＤに対応付けて、複数のタイムウインドウ各々における出現の有無が記録されている。チェックフラグが立っている場合、出現していたことを示す。

人物抽出部１０は、上記判定の結果に基づき、分析対象の動画データ内で検出された人物毎に（人物ＩＤ毎に）出現頻度を算出する。出現頻度は、例えば、出現回数（出現しているタイムウインドウの数）や、出現割合（＝（出現しているタイムウインドウの数）／（分析対象の動画データ１００内におけるタイムウインドウの数））等が考えられる。

出現頻度を算出後、人物抽出部１０は、算出した出現頻度に基づき、所定の条件を満たす人物（人物ＩＤ）を抽出する。所定の条件としては、出現頻度が高いことを表すあらゆる条件を採用できる。例えば、所定の条件は、「出現頻度が所定レベル以上」であってもよい。具体的には、「出現回数が所定回数以上」、「出現割合が所定割合以上」であってもよい。

その他、所定の条件は、「出現頻度が高い方から所定数の人物」であってもよい。具体的には、「出現頻度が高い順にならべたランキングにおいて所定ランク以内」であってもよい。なお、例示した所定の条件は一例であり、これらに限定されない。

図２に戻り、出力部２０は、人物抽出部１０により抽出された人物に関する情報を出力する。出力手段は特段制限されず、ディスプレイ、プリンタ、メーラ等のあらゆる出力装置を介して実現される。

出力部２０は、例えば、分析対象の動画データから取得された各人物の画像（例：顔画像）を、抽出された人物に関する情報として出力することができる。

次に、図１５のフローチャートを用いて、データ処理装置１による処理の流れの一例を説明する。

まず、データ処理装置１は、分析対象の動画データを決定する（Ｓ１０）。例えば、ユーザが、所定の動画ファイルを、分析対象として指定する。すると、データ処理装置１は、当該動画ファイルのすべての動画データを、分析対象とする。その他の例として、ユーザは、所定の動画ファイルにおいて、分析対象の開始位置及び終了位置を指定してもよい。そして、データ処理装置１は、当該動画ファイルの指定された開始位置から指定された終了位置までを、分析対象としてもよい。

その後、人物抽出部１０は、分析対象の動画データを分析し、分析対象の動画データ内で検出された人物の中から、分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する（Ｓ１１）。

すなわち、人物抽出部１０は、分析対象の動画データを、所定のタイムウインドウ単位で分析し、分析対象の動画データ内で検出された人物毎に、複数のタイムウインドウ各々に出現しているか判定する。そして、人物抽出部１０は、判定結果に基づき、分析対象の動画データ内で検出された人物毎に、出現頻度を算出する。次いで、人物抽出部１０は、分析対象の動画データ内で検出された人物の中から、出現頻度が所定の条件を満たす人物を抽出する。

その後、出力部２０は、Ｓ１１で抽出された人物に関する情報を出力する（Ｓ１２）。例えば、出力部２０は、Ｓ１１で抽出された人物の顔画像（分析対象の動画データから取得されたもの）を出力する。

以上説明した本実施形態によれば、検索する人物が特定されておらず、検索する人物の特徴量を装置に与えることができない状況下で、所定の条件（出現頻度が高い）を満たす人物（検索対象の人物）を動画データから検索することができる。

なお、ここでは、「同一の場所で所定時間にわたり撮影された動画データを分析対象の動画データ」とする例を説明したが、「複数の場所で所定時間にわたり撮影された動画データを分析対象の動画データ」とすることもできる。この場合も、同様の処理で、同様の作用効果を実現できる。

ここで、本実施形態の適用例を説明する。例えば、駅、観光地、ショッピングセンター、コンビニエンスストア、スーパー等、人が多く集まり、スリ、痴漢、盗撮、万引き等の犯罪が多発している場所や、このような犯罪が起こり得る場所に設置された防犯カメラにより撮影された動画データを、分析対象としてデータ処理装置１に与える。

すると、データ処理装置１は、分析対象の動画データを分析し、当該動画データ内で検出された人物の中から、当該動画データにおける出現頻度が所定の条件を満たす人物（出現頻度が高い人物）を抽出する。

結果、例えば、犯罪（スリ、痴漢、盗撮、万引き等）の下見のため同じ場所に長く居続けたり、頻繁に同じ場所に出没している人物や、犯罪対象（スリ、痴漢、盗撮等を行う対象）を探すためうろついている人物や、犯罪対象（スリ、痴漢、盗撮等を行う対象）を探すため同じ場所に長く居続けている人物や、犯罪（スリ、痴漢、盗撮、万引き等）のタイミングを待つため同じ場所に長く居続けたり、うろついている人物等が抽出される。

他の適用例として、大型施設や、観光客が多く訪れる場所等に設置された防犯カメラにより撮影された動画データを、分析対象としてデータ処理装置１に与えることで、施設内や観光エリアで道に迷い、あたりをうろついている人を抽出することができる。例えば、抽出した人物の情報を案内係等に提供することで、案内係から当該人への接触が実現される。

その他、ショップに設置された防犯カメラにより撮影された動画データを、分析対象としてデータ処理装置１に与えることで、頻繁にショップに現れる客を抽出することができる。このような客の情報を店員に与えることで、店員は、このような客に対し適切な接客を行うことができる。結果、売上向上等の効果が期待される。

＜第２の実施形態＞
本実施形態では、人物抽出部１０の処理がさらに具体化される。その他の構成は、第１の実施形態と同様である。

本実施形態のデータ処理装置１の機能ブロック図は、図２で示される。図示するように、データ処理装置１は、人物抽出部１０と、出力部２０とを有する。出力部２０の構成は、第１の実施形態と同様である。

人物抽出部１０は、分析対象の動画データ１００をフレーム毎に分析し、各フレームから人物を検出する。画像から人物を検出する手段は、従来技術に準じて実現できるので、ここでの説明は省略する。人物抽出部１０は、すべてのフレームを処理対象として分析し、人物検出を行ってもよいし、間欠的に（例：Ｍフレームおき。Ｍは１以上の整数。）処理対象としてもよい。

人物抽出部１０は、各フレームから検出した人物各々に、検出ＩＤを付与する。同一人物が複数のフレームから検出されている場合、各フレームからの検出毎に検出ＩＤが付与される。

そして、人物抽出部１０は、図５に示すように、検出ＩＤに所定の情報を対応付ける。まず、人物抽出部１０は、各フレームの各人物の画像から外観の特徴（例：顔の特徴）を抽出し、抽出した特徴量を検出ＩＤに対応付ける。また、人物抽出部１０は、検出ＩＤに、いずれのフレームから検出された人物であるかを示すフレームＩＤを対応付ける。人物抽出部１０は、さらに、各フレームの各人物の顔画像のファイルを生成し、検出ＩＤに対応付けてもよい。顔画像のファイルは、各フレームから一部（各人物の顔部分）を切り取ることで生成される。

そして、人物抽出部１０は、異なるフレームから得られた検出ＩＤを、対応付けられている上記特徴量が所定レベル以上類似するもの同士でグループ化する。これにより、同一人物が複数のフレームから検出されている場合、当該複数の検出の検出ＩＤをグループ化することができる。そして、人物抽出部１０は、各グループに、「分析対象の動画データ内で検出された人物」各々を識別する人物ＩＤを付与する。結果、図６に示すような検出人物情報が生成される。図示する検出人物情報は、「分析対象の動画データ内で検出された人物」を識別するための人物ＩＤと、検出ＩＤとを互いに対応付けている。

処理対象のフレームすべてを処理し、図６に示すような検出人物情報が完成した後、人物抽出部１０は、複数のタイムウインドウ各々と各タイムウインドウに含まれるフレームとの関係、図５及び図６に示す情報に基づき、分析対象の動画データ１００内で検出された人物（各人物ＩＤに対応する人物）各々が複数のタイムウインドウの各々に出現しているかを判定する。結果、図４に示すような判定結果が得られる。

その後、人物抽出部１０は、第１の実施形態で説明したように出現頻度を算出し、出現頻度が所定の条件を満たす人物を抽出する。

ここで、人物抽出部１０が、図６に示すような検出人物情報を生成する処理の流れの一例を説明する。なお、当該例はあくまで一例であり、ここで説明するものに限定されない。

人物抽出部１０は、処理対象の複数のフレームの中の１つを最初の処理対象として分析する。そして、人物抽出部１０は、そのフレームから人物を検出すると、検出したすべての人物に検出ＩＤを付与する。そして、図５に示すように、各検出ＩＤに対応付けて、特徴量、フレームＩＤ、顔画像ファイルＩＤ等を対応付ける。

また、人物抽出部１０は、すべての検出ＩＤ各々に対応付けて人物ＩＤを付与し、図６に示すような検出人物情報に登録する。

その後、人物抽出部１０は、次のフレームを処理対象として分析する。そして、人物抽出部１０は、処理対象のフレームから人物を検出すると、検出したすべての人物に検出ＩＤを付与する。そして、図５に示すように、各検出ＩＤに対応付けて、特徴量、フレームＩＤ、顔画像ファイルＩＤ等を対応付ける。

その後、人物抽出部１０は、処理対象のフレームで検出された人物各々が、それ以前に処理したフレームで検出された人物の中のいずれかと外観の特徴量が所定レベル以上類似するか判定する。

例えば、人物抽出部１０は、処理対象のフレームから得られた検出ＩＤと、それ以前に処理したフレームから得られた検出ＩＤとでペアを作成し、ペア毎に、各検出ＩＤに対応付けられている特徴量の類似度を算出する。そして、人物抽出部１０は、類似度が所定レベル以上であるか否かを判定する。

類似度が所定レベル以上である人物がそれ以前に処理したフレームで検出されていない場合、人物抽出部１０は、その人物の検出ＩＤに対応付けて人物ＩＤを付与し、図６に示すような検出人物情報に新たに登録する。

一方、類似度が所定レベル以上である人物がそれ以前に処理したフレームで検出されている場合、人物抽出部１０は、その人物の検出ＩＤを、類似すると判定された検出ＩＤと同じ人物ＩＤに対応付けて、図６に示すような検出人物情報に登録する。

以降、人物抽出部１０は、検出対象のすべてのフレームに対して同様の処理を行う。

ここで、「処理対象のフレームから検出した人物各々がそれ以前に処理したフレームで検出された人物の中のいずれかと外観の特徴量が所定レベル以上類似するか判定する処理の具体例」について説明する。

例えば、それ以前に処理したフレームで検出されたすべての人物（すべての検出ＩＤ）各々と、処理対象のフレームから検出した人物の検出ＩＤとで作成可能な全てのペアを作成し、ペア毎に類似判定を行ってもよい。しかし、このようにした場合、ペアの数が膨大になり、処理速度が低下し得る。

そこで、人物抽出部１０は、例えば、各フレームから検出された人物を図７のようにインデックス化し、当該インデックスを用いて上記判定を行ってもよい。当該インデックスを用いることで、処理速度を高速化できる。当該インデックスの詳細及び生成方法は、特許文献２及び３に開示されている。以下、図７のインデックスの構成及びその利用方法を簡単に説明する。

図７に示すインデックスは、複数のフレーム各々から検出された人物、具体的には検出ＩＤを階層化している。

第３層には、それまでに処理された全てのフレームから得られた全ての検出ＩＤ各々に対応したノードが配置される。そして、第３層に配置された複数のノードは、類似度（図５に示す特徴量の類似度）が所定レベル以上のもの同士でまとめてグループ化される。

第２層には、第３層の複数のグループ各々から選択された１つのノード（代表）が配置され、第３層の当該グループと紐付けられる。第２層に配置された複数のノードは、類似度（図５に示す特徴量の類似度）が所定レベル以上のもの同士でまとめてグループ化される。

なお、第３層のグループ化の類似度の基準（第２の閾値）は、第２層のグループ化の類似度の基準（第１の閾値）よりも高い。第２の閾値が、「処理対象のフレームから検出した人物各々がそれ以前に処理したフレームで検出された人物の中のいずれかと外観の特徴量が所定レベル以上類似するか判定する処理」における「所定レベル」となる。

第１層には、第２層の複数のグループ各々から選択された１つのノード（代表）が配置され、第２層の当該グループと紐付けられる。

処理対象のフレーム以前に処理したフレームで検出された人物の検出ＩＤが、このようにインデックス化される。

次に、当該インデックスを用い、「処理対象のフレームから検出した人物各々がそれ以前に処理したフレームで検出された人物の中のいずれかと外観の特徴量が所定レベル以上類似するか判定する処理」について説明する。

まず、人物抽出部１０は、第１層に位置する複数の検出ＩＤを比較対象とする。人物抽出部１０は、処理対象のフレームから検出された人物の検出ＩＤと、第１層に位置する複数の検出ＩＤ各々とでペアを作成する。そして、人物抽出部１０は、ペア毎に類似度を算出し、算出した類似度が第１の閾値以上であるか判定する。

第１層に、類似度が第１の閾値以上である検出ＩＤが存在しない場合、人物抽出部１０は、処理対象のフレームから検出された当該人物は、それ以前に処理したフレームで検出された人物のいずれとも外観の特徴量が所定レベル以上類似しないと判定する。そして、人物抽出部１０は、処理対象のフレームから検出された当該人物の検出ＩＤに新たな人物ＩＤを対応付け、図６に示す検出人物情報に登録する。

一方、第１層に、類似度が第１の閾値以上である検出ＩＤが存在する場合、人物抽出部１０は、比較対象を第２層に移す。具体的には、「類似度が第１の閾値以上であると判定された第１層の検出ＩＤ」に紐付けられた第２層のグループを、比較対象とする。

そして、人物抽出部１０は、処理対象のフレームから検出された人物の検出ＩＤと、第２層の上記グループに含まれる複数の検出ＩＤ各々とでペアを作成する。そして、人物抽出部１０は、ペア毎に類似度を算出し、算出した類似度が第２の閾値以上であるか判定する。上述の通り、第２の閾値は、第１の閾値よりも高い。

第２層の当該グループに、類似度が第２の閾値以上である検出ＩＤが存在しない場合、人物抽出部１０は、処理対象のフレームから検出された当該人物は、それ以前に処理したフレームで検出された人物のいずれとも外観の特徴量が所定レベル以上類似しないと判定する。そして、人物抽出部１０は、処理対象のフレームから検出された当該人物の検出ＩＤに新たな人物ＩＤを対応付け、図６に示す検出人物情報に登録する。

一方、第２層の当該グループに、類似度が第２の閾値以上である検出ＩＤが存在する場合、人物抽出部１０は、それ以前に処理したフレームで検出された人物の中に、処理対象のフレームから検出された当該人物と外観の特徴量が所定レベル以上類似するものが存在すると判定する。そして、人物抽出部１０は、処理対象のフレームから検出された人物の検出ＩＤを、「類似度が第２の閾値以上であると判定された第２層の検出ＩＤ」と同じ人物ＩＤに対応付けて、図６に示す検出人物情報に登録する。

なお、データ処理装置１は、上記第１の閾値及び第２の閾値を設定するユーザ入力を受付ける手段を有してもよい。そして、人物抽出部１０は、設定値に基づき、上記処理を実行してもよい。

以上説明した本実施形態によれば、第１の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、検索処理を高速化できる。

また、上記類似度の基準を設定できる本実施形態によれば、複数のフレームから抽出された人物を、高精度に、同一人物同士でまとめることができる。当該基準が低すぎると、異なる人物を同一人物と誤判定する可能性が高まる。一方で、当該基準が高すぎると、同一人物を異なる人物と誤判定する可能性が高まる。本実施形態によれば、ユーザは、判定結果を確認しながら、類似度の基準を所望の状態に調整できる。結果、複数のフレームから抽出された人物を、高精度に、同一人物同士でまとめることができる。

＜第３の実施形態＞
本実施形態のデータ処理装置１は、第１の実施形態で説明したタイムウインドウをユーザが設定できる点で、第１及び第２の実施形態と異なる。その他の構成は、第１及び第２の実施形態と同様である。

図８に、本実施形態のデータ処理装置１の機能ブロック図の一例を示す。図示するように、データ処理装置１は、人物抽出部１０と、出力部２０と、入力受付部３０とを有する。出力部２０の構成は、第１及び第２の実施形態と同様である。

入力受付部３０は、タイムウインドウを設定する入力をユーザから受付ける。入力受付部３０は、例えば、タイムウインドウの時間幅（例：３０秒、１分、３０分、１時間、１日等）を設定するユーザ入力を受付けてもよい。

その他、入力受付部３０は、複数のタイムウインドウ各々の開始位置及び終了位置を個別に設定するユーザ入力を受付けてもよい。

人物抽出部１０は、分析対象の動画データを、設定されているタイムウインドウ単位で分析する。そして、人物抽出部１０は、分析対象の動画データ内で検出された人物毎に、複数のタイムウインドウ各々に出現しているか判定し、判定結果に基づき出現頻度を算出する。人物抽出部１０のその他の構成は、第１及び第２の実施形態と同様である。

以上説明した本実施形態によれば、第１及び第２の実施形態と同様な作用効果を実現できる。

また、タイムウインドウをユーザが設定できる本実施形態によれば、ユーザは、タイムウインドウを所望の状態に設定することで、所望の出力結果を得ることができる。

例えば、タイムウインドウの時間幅を所望の状態に設定することで、所望の時間間隔で頻繁に出現している人物の抽出結果を得ることができる。例えば、タイムウインドウの時間幅を１時間に設定することで、１時間毎の出現頻度が高い人物の抽出結果を得ることができる。また、タイムウインドウの時間幅を１日に設定することで、１日毎の出現頻度が高い人物の抽出結果を得ることができる。

その他、複数のタイムウインドウ各々の開始位置及び終了位置を個別に設定することで、所望のタイミングに高頻度で出現している人物の抽出結果を得ることができる。例えば、スリ、痴漢、盗撮等の犯罪が起きた複数のタイミング各々を含むように複数のタイムウインドウを設定することで、犯罪が起きたタイミングに高頻度で出現している人物の抽出結果を得ることができる。

ここで、本実施形態の適用例を説明する。例えば、同様の犯罪（スリ、痴漢、盗撮、万引き等）がある場所で多発した場合、その場所に設置された防犯カメラにより撮影された動画データを、分析対象としてデータ処理装置１に与える。

そして、オペレータは、複数の犯罪各々が起きた犯行時間各々を含むように、複数のタイムウインドウ各々の開始位置及び終了位置を設定する。結果、複数の犯行時間における出現頻度が高い人物（複数の犯行時間に共通して犯行場所に存在した頻度が高い人物）が抽出される。

＜第４の実施形態＞
本実施形態のデータ処理装置１は、出力部２０の構成が、第１乃至第３の実施形態と異なる。その他の構成は、第１乃至第３の実施形態と同様である。

本実施形態のデータ処理装置１の機能ブロック図の一例は、図２又は図８で示される。すなわち、データ処理装置１は、人物抽出部１０と、出力部２０とを有する。データ処理装置１は、さらに、入力受付部３０を有してもよい。人物抽出部１０及び入力受付部３０の構成は、第１乃至第３の実施形態と同様である。

出力部２０は、人物抽出部１０に抽出された人物に関する情報を出力する。第１の実施形態で説明したように、出力部２０は、人物抽出部１０に抽出された人物の顔画像を出力することができる。

その他、出力部２０は、図９に示すような画面を出力してもよい。図示する画面では、人物抽出部１０に抽出された複数の人物が、出現頻度の高い順に縦方向に並べて一覧表示されている。また、人物抽出部１０に抽出された複数の人物各々に対応付けて、互いに異なる複数のフレームから取得された複数の顔画像を横方向に並べて一覧表示している。なお、横方向に一覧表示可能な数を超えるフレームから顔画像が取得されている場合、その中からランダムに所定数の顔画像を抽出し、図９に示すように一覧表示してもよい。

なお、図示しないが、出力部２０は、さらに、人物抽出部１０に抽出された複数の人物各々に対応付けて、分析対象の動画データにおける出現頻度を出力してもよい。

その他、出力部２０は、図１０に示すように、人物抽出部１０に抽出された複数の人物各々に対応付けて、出現頻度の時間変化を示す情報を出力してもよい。図１０に示す例では、人物抽出部１０に抽出された複数の人物各々の顔画像及び出現頻度の時間変化を示すグラフが、出現頻度の高い順に縦方向に並べて一覧表示されている。

出現頻度の時間変化を示すグラフは、横軸に時間をとり、縦軸に出現頻度（出現回数）をとっている。当該グラフは、タイムウインドウの時間幅を１時間とし、１日毎の出現回数（０以上２４以下）の時間変化を示している。なお、当該グラフにおける横軸のメモリ間隔をユーザが設定できてもよい。また、上述したように、タイムウインドウの時間変化をユーザが設定できてもよい。

その他、出力部２０は、図１１に示すように、人物抽出部１０に抽出された複数の人物各々に対応付けて、当該人物の顔画像、及び、複数のタイムウインドウ各々における出現の有無を示してもよい。図示する例では、タイムウインドウの時間幅が１日となっている。タイムウインドウの時間幅を１時間とすると、例えば、「５月４日０時～１時」、「５月４日１時～２時」等、１時間毎のタイムウインドウ各々における出現の有無が示されることとなる。

以上説明した本実施形態によれば、第１乃至第３の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、様々な表示形態で、抽出結果をユーザに提供できる。

例えば、人物抽出部１０に抽出された人物の顔画像を出力することで、ユーザは、出現頻度の高い人物の顔を認識することができる。

また、図９に示すように、人物抽出部１０に抽出された複数の人物を、出現頻度の高い順に並べて一覧表示することで、出願頻度の高い複数の人物をまとめて閲覧できるとともに、そのランキングを容易に把握することができる。

また、図９に示すように、人物抽出部１０に抽出された複数の人物各々に対応付けて、互いに異なる複数のフレームから取得された複数の顔画像を一覧表示することで、当該人物の動きを把握することができる。例えば、背景の違い、顔の向きの違い、明るさの違い等に基づき、その人物が同じ場所に居続けているのか、また、一定の範囲内で動いているのか、等を把握することができる。

また、複数のフレームから取得された複数の顔画像内に異なる人物の顔画像が含まれていないかを確認することで、複数のフレームから抽出した人物を同一人物同士でグループ化する処理の精度を確認することができる。第２の実施形態で説明したように、「類似度の基準をユーザが設定できる手段」をデータ処理装置１が備えている場合、ユーザは、図９に示すような表示を確認しながら、上記類似の基準を調整できる。結果、複数のフレームから抽出された人物を、高精度に、同一人物同士でまとめることが可能となる。

また、人物抽出部１０に抽出された複数の人物各々に対応付けて、分析対象の動画データにおける出現頻度を出力することで、各人物の出現頻度を容易に把握することができる。このような情報に基づき、検索対象の人物を絞り込むことができる。

また、図１０に示すように、人物抽出部１０に抽出された複数の人物各々に対応付けて、出現頻度の時間変化を示す情報を出力することで、各人物の出現パターンを把握することができる。このような情報に基づき、検索対象の人物を絞り込むことができる。タイムウインドウの時間幅や、図示するグラフにおける横軸の目盛間隔を適切に設定することで、所望の情報を得ることができる。

また、図１１に示すように、人物抽出部１０に抽出された複数の人物各々に対応付けて、当該人物の顔画像、及び、複数のタイムウインドウ各々における出現の有無を示すことで、各タイムウインドウにおける出現の有無を容易に把握できる。

＜第５の実施形態＞
まず、本実施形態の概要について説明する。本実施形態のデータ処理装置は、互いに異なる複数の場所で所定時間にわたり撮影された動画データを、分析対象の動画データとする。そして、データ処理装置は、分析対象の動画データを分析し、分析対象の動画データ内で検出された人物の中から、分析対象の動画データにおける出現頻度（例：出現回数、出現割合等）が所定の条件（例：所定レベルより高い）を満たす人物を抽出する。そして、抽出された人物に関する情報（例：分析対象の動画データから取得した顔画像）を出力する。

例えば、複数の場所で関連性の高い犯行が起こった場合、本実施形態のデータ処理装置に、複数の犯行場所各々やその周辺を撮影した複数の動画データ（動画ファイル）を分析対象として与えることで、複数の犯行場所における出現頻度が高い人物を抽出することができる。

このように、本実施形態のデータ処理装置によれば、検索する人物が特定されておらず、検索する人物の特徴量を装置に与えることができない状況下で、所定の条件を満たす人物（検索対象の人物）を動画データから検索することができる。

次に、本実施形態のデータ処理装置の構成について詳細に説明する。本実施形態のデータ処理装置１の機能ブロック図は、図２で示される。図示するように、データ処理装置１は、人物抽出部１０と、出力部２０とを有する。

人物抽出部１０は、分析対象の動画データを分析し、分析対象の動画データ内で検出された人物の中から、分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する。

本実施形態の分析対象の動画データは、互いに異なる複数の場所各々で所定時間にわたり撮影された動画データである。例えば、図１２に示すように、互いに異なる複数の場所各々に設置された防犯カメラ２－１乃至２－Ｎ各々により撮影された子データ（動画データ）が、分析対象の動画データ１００としてデータ処理装置１に入力される。防犯カメラ２－１乃至２－Ｎ各々が撮影した子データ（動画データ）は、所定時間Ｔ_１乃至Ｔ_Ｎにわたる複数のフレームＦを含む。

人物抽出部１０は、分析対象の動画データ内で検出された人物毎に、複数の子データの各々に出現しているか判定し、判定結果に基づき出現頻度を算出する。以下、当該判定処理の一例を説明する。

人物抽出部１０は、複数の子データを含む分析対象の動画データをフレーム毎に分析し、各フレームから人物を検出する。そして、人物抽出部１０は、異なるフレームから検出された人物を、外観の特徴量（例：顔の特徴量）が所定レベル以上類似するもの同士でまとめてグループ化する。これにより、同一人物が複数のフレームから検出されている場合、それらをグループ化することができる。結果、分析対象の動画データ１００内で検出された人物毎に、いずれのフレームに出現しているかを特定可能になる。

そして、人物抽出部１０は、複数の子データ各々と各子データに含まれるフレームとの関係に基づき、分析対象の動画データ１００内で検出された人物各々が複数の子データ各々に出現しているかを判定する。なお、第１の子データに含まれる複数のフレームの中の少なくとも１つに出現していた場合、第１の子データに出現していたと判定するものとする。

結果、図１３に示すような判定結果が得られる。図１３に示す判定結果では、分析対象の動画データ内で検出された人物各々を識別する人物ＩＤに対応付けて、複数の子データ各々における出現の有無が記録されている。チェックフラグが立っている場合、出現していたことを示す。

人物抽出部１０は、上記判定の結果に基づき、分析対象の動画データ内で検出された人物毎に（人物ＩＤ毎に）出現頻度を算出する。出現頻度は、例えば、出現回数（出現している子データの数）や、出現割合（＝（出現している子データの数）／（分析対象の動画データ１００内における子データの数））等が考えられる。

出現頻度を算出後、人物抽出部１０は、算出した出現頻度に基づき、所定の条件を満たす人物（人物ＩＤ）を抽出する。所定の条件としては、出現頻度が高いことを表すあらゆる条件を採用できる。例えば、所定の条件は、「出現頻度が所定レベル以上」であってもよい。具体的には、「出現回数が所定回数以上」、「出現割合が所定割合以上」であってもよい。

その他、所定の条件は、「出現頻度が高い方から所定数の人物」であってもよい。具体的には、「出現頻度が高い順にならべたランキングにおいて所定ランク以内」であってもよい。なお、例示した所定の条件は一例であり、これらに限定されない。

図２に戻り、出力部２０は、人物抽出部１０により抽出された人物に関する情報を出力する。出力手段は特段制限されず、ディスプレイ、プリンタ、メーラ等のあらゆる出力装置を介して実現される。出力部２０による出力例は、第１乃至第４の実施形態と同様である。

その他、出力部２０は、人物抽出部１０に抽出された複数の人物各々が出現した場所、及び、当該人物が出現した場所の数の少なくとも一方を示す情報を出力してもよい。例えば、図１４に示すように、人物抽出部１０に抽出された複数の人物各々に対応付けて、当該人物の顔画像、及び、複数の子データ各々における出現の有無を示してもよい。図示する例では、各子データを識別する情報として、各子データが撮影された場所を識別する情報が表示されている。

なお、本実施形態の人物抽出部１０は、第２の実施形態の人物抽出部１０の構成に準じて処理を実行してもよい。

次に、図１５のフローチャートを用いて、データ処理装置１による処理の流れの一例を説明する。

まず、データ処理装置１は、分析対象の動画データを決定する（Ｓ１０）。例えば、ユーザが、互いに異なる複数の場所各々で撮影された複数の動画ファイルを、分析対象として指定する。すると、データ処理装置１は、当該すべての動画ファイルを、分析対象とする。この場合、動画ファイル各々が、子データとして扱われる。

その他の例として、ユーザは、複数の動画ファイルを指定するとともに、動画ファイルごとに、分析対象の開始位置及び終了位置を指定してもよい。そして、データ処理装置１は、各動画ファイルの指定された開始位置から指定された終了位置までを、分析対象としてもよい。この場合、各動画ファイルの指定された開始位置から指定された終了位置までのデータが、子データとして扱われる。

その後、人物抽出部１０は、分析対象の動画データを分析し、分析対象の動画データ内で検出された人物の中から、分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する（Ｓ１１）。

すなわち、人物抽出部１０は、分析対象の動画データ内で検出された人物毎に、複数の子データ各々に出現しているか判定する。そして、人物抽出部１０は、判定結果に基づき、分析対象の動画データ内で検出された人物毎に、出現頻度を算出する。次いで、人物抽出部１０は、分析対象の動画データ内で検出された人物の中から、出現頻度が所定の条件を満たす人物を抽出する。

その後、出力部２０は、Ｓ１１で抽出された人物に関する情報を出力する（Ｓ１２）。例えば、出力部２０は、Ｓ１１で抽出された人物の顔画像（分析対象の動画データから取得されたもの）を出力する。

以上説明した本実施形態によれば、検索する人物が特定されておらず、検索する人物の特徴量を装置に与えることができない状況下で、所定の条件（出現頻度が高い）を満たす人物（検索対象の人物）を動画データから検索することができる。

ここで、本実施形態の適用例を説明する。例えば、複数の場所で同様の手口の犯罪（放火、スリ、痴漢、盗撮、万引き等）が発生した場合、複数の犯行場所各々に設置された防犯カメラにより撮影された動画データを、分析対象としてデータ処理装置１に与える。

結果、複数の犯行場所における出現頻度が高い人物（複数の犯行場所に共通して存在した割合が高い人物）が抽出される。

＜第６の実施形態＞
まず、本実施形態の概要について説明する。本実施形態のデータ処理装置１は、テキストデータを分析対象とする。そして、データ処理装置１は、テキストデータの中から、複数の単語列を検出する。単語列は、複数の単語の塊であり、例えば、１つの文の中の複数の単語、１つの段落の中の複数の単語、１つの章の中の複数の単語、１つの記事の中の複数の単語、１つのページの中の複数の単語等を、１つの単語列とすることができる。なお、その他のまとまりの中の複数の単語を１つの単語列としてもよい。

複数の単語列を検出した後、データ処理装置１は、類似度が所定レベル以上の単語列をまとめてグループ化する。これにより、同様の話題に関する単語列をグループ化できる。

その後、データ処理装置１は、複数の単語列のグループの中から、分析対象のテキストデータ内における出現頻度が所定のレベル以上である単語列のグループを抽出し、抽出した単語列のグループに関する情報を出力する。

次に、本実施形態のデータ処理装置１の構成について詳細に説明する。本実施形態のデータ処理装置１の機能ブロック図は、図１６で示される。図示するように、データ処理装置１は、単語列抽出部（抽出手段）４０と、出力部２０とを有する。

単語列抽出部４０は、分析対象のテキストデータを分析し、分析対象のテキストデータ内で検出された単語列の中から、分析対象のテキストデータにおける出現頻度が所定の条件を満たす単語列を抽出する。

まず、単語列抽出部４０に分析対象のテキストデータが入力される。分析対象のテキストデータは、例えば、インターネット上のサーバが提供するテキストデータであってもよい。１つ又は複数のサーバから取得されたテキストデータが、分析対象として単語列抽出部４０に入力されてもよい。

サーバの種類は制限されないが、例えば、ソーシャルメディアのサーバであってもよい。この場合、複数の利用者によりアップロードされ、かつ、公開制限されていないテキストデータが、分析対象のテキストデータとして単語列抽出部４０に入力される。

その他、サーバは、最新のニュース等を提供する情報提供サーバであってもよい。この場合、ウェブページとして公開されたニュース等のテキストデータが、分析対象のテキストデータとして単語列抽出部４０に入力される。

例えば、数時間分、数日分、数週間分、数月分、数年分のデータが、分析対象として単語列抽出部４０に入力されてもよい。

なお、分析対象のテキストデータは、インターネット上のデータでなくてもよい。例えば、ユーザにより作成され、ローカルに保存されているテキストデータが、分析対象として単語列抽出部４０に入力されてもよい。

分析対象のテキストデータが入力されると、単語列抽出部４０は、分析対象のテキストデータを分析し、分析対象のテキストデータ内で複数の単語列を検出する。

上述の通り、単語列は複数の単語の塊であり、例えば、１つの文の中の複数の単語、１つの段落の中の複数の単語、１つの章の中の複数の単語、１つの記事の中の複数の単語、１つのページの中の複数の単語等を、１つの単語列とすることができる。なお、その他のまとまりの中の複数の単語を１つの単語列としてもよい。以下で現れるすべての「単語列」に、当該定義が当てはまる。

複数の単語列を検出後、単語列抽出部４０は、類似度が所定レベル以上の単語列をまとめてグループ化する。これにより、同様の話題に関する単語列をグループ化できる。なお、単語列間の類似度の算出は、従来技術に準じて実現できる。

そして、単語列抽出部４０は、単語列のグループ毎に、出現頻度を算出する。出現頻度は、例えば、出現回数（例：各グループの構成メンバー（単語列）の数）として算出される。

その後、単語列抽出部４０は、出現頻度が所定の条件（例：所定レベル以上）を満たす単語列のグループを抽出する。これにより、出現頻度が高く、注目度の高い話題が抽出される。

出力部２０は、抽出された単語列のグループに関する情報を出力する。出力部２０は、抽出された各グループの詳細を把握可能な情報を出力する。例えば、出力部２０は、抽出された各グループに属する複数の単語列の中のいくつかを、出力してもよい。その他、出力部２０は、抽出された各グループに属する複数の単語列に共通して現れる単語を、出力してもよい。

また、出力部２０は、上記情報に加えて、算出された出現頻度を出力してもよい。さらに、単語列抽出部４０に入力されたテキストデータに属性情報（例：アップロード日時、データ作成日時）が対応付けられている場合、出力部２０は、当該属性情報を用いた出力を行ってもよい。例えば、出力部２０は、抽出されたグループ毎に、各グループに属する複数の単語列の出現タイミング（例：アップロード日時、データ作成日時）を集計してもよい。そして、出力部２０は、出現頻度の時間変化を示すグラフを作成して、出力してもよい。また、所定の時間帯毎の出現の有無を示す情報を作成し、出力してもよい。結果、図１０や図１１と同様な表示形態で、抽出結果を出力できる。

以上説明した本実施形態によれば、テキストデータから所定の条件を満たす単語列を検索することができる。例えば、複数のユーザにより作成された複数のテキストデータを分析対象としてデータ処理装置１に与えると、複数のユーザのテキストデータの中で出現頻度の高い話題に関する単語列を抽出することができる。結果、抽出結果を見たユーザは、注目度の高い話題を認識することができる。

なお、本実施形態においても、第２の実施形態で説明した技術を利用できる。

以上、第１乃至第６の実施形態において、動画データ及びテキストデータを分析対象とする例を説明したが、音声データ、楽曲データ、画像データ、図形データ、指紋データ、生体情報、時系列データ（株価変動時系列データ等）、ファイルアーカイブ、オブジェクトファイル、バイナリデータ等の他のデータを分析対象とする場合も、同様の処理により同様の効果が得られる。

すなわち、これらのデータに対して、（１）所定の対象を検出する処理、（２）検出した対象同士の類似度（互いの特徴量の類似度）に基づき、検出した対象をグループ化する処理、（３）グループ化の結果に基づき、各対象の出現頻度を算出する処理、及び、（４）出現頻度が所定の条件を満たす対象を抽出する処理を行うことで、所望の対象（出現頻度が所定の条件を満たす対象）を抽出することができる。

以下、参考形態の例を付記する。
１ 分析対象のデータを分析し、前記分析対象のデータ内で検出された対象の中から、前記分析対象のデータにおける出現頻度が所定の条件を満たす対象を抽出する抽出手段と、
抽出された前記対象に関する情報を出力する出力手段と、
を有するデータ処理装置。
２ １に記載のデータ処理装置において、
前記抽出手段は、分析対象の動画データを分析し、前記分析対象の動画データ内で検出された人物の中から、前記分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する人物抽出手段を有し、
前記出力手段は、抽出された前記人物に関する情報を出力するデータ処理装置。
３ ２に記載のデータ処理装置において、
前記分析対象の動画データは、互いに異なる複数の場所各々で撮影された複数の子データを含み、
前記人物抽出手段は、前記分析対象の動画データ内で検出された人物毎に、複数の前記子データの各々に出現しているか判定し、判定結果に基づき出現頻度を算出するデータ処理装置。
４ ２に記載のデータ処理装置において、
前記分析対象の動画データは、同一の場所で所定時間にわたり撮影された動画データを含み、
前記人物抽出手段は、前記分析対象の動画データを、前記所定時間よりも小さい時間幅のタイムウインドウ単位で分析し、前記分析対象の動画データ内で検出された人物毎に、複数の前記タイムウインドウ各々に出現しているか判定し、判定結果に基づき出現頻度を算出するデータ処理装置。
５ ４に記載のデータ処理装置において、
前記タイムウインドウの時間幅を設定するユーザ入力を受付ける入力受付手段をさらに有するデータ処理装置。
６ ４に記載のデータ処理装置において、
複数の前記タイムウインドウ各々の開始位置及び終了位置を個別に設定するユーザ入力を受付ける入力受付手段をさらに有するデータ処理装置。
７ ２乃至６の中のいずれかに記載のデータ処理装置において、
前記人物抽出手段は、出現頻度が高い方から所定数の人物を抽出するデータ処理装置。
８ ２乃至６の中のいずれかに記載のデータ処理装置において、
前記人物抽出手段は、出現頻度が所定レベル以上の人物を抽出するデータ処理装置。
９ ２乃至８の中のいずれかに記載のデータ処理装置において、
前記出力手段は、前記分析対象の動画データから取得された前記人物の画像を、抽出された前記人物に関する情報として出力するデータ処理装置。
１０ ９に記載のデータ処理装置において、
前記出力手段は、互いに異なる複数のフレームから取得された前記人物の複数の画像を、抽出された前記人物に関する情報として一覧表示するデータ処理装置。
１１ ９又は１０に記載のデータ処理装置において、
前記出力手段は、前記分析対象の動画データにおける出現頻度を、抽出された前記人物に関する情報として出力するデータ処理装置。
１２ ９乃至１１の中のいずれかに記載のデータ処理装置において、
前記出力手段は、抽出された複数の人物各々に関する情報を、出現頻度の高い順に並べて一覧表示するデータ処理装置。
１３ ９乃至１２の中のいずれかに記載のデータ処理装置において、
前記分析対象の動画データは、同一の場所で所定時間にわたり撮影された動画データを含み、
前記出力手段は、出現頻度の時間変化を示す情報を、抽出された前記人物に関する情報として出力するデータ処理装置。
１４ ９乃至１２の中のいずれかに記載のデータ処理装置において、
前記分析対象の動画データは、互いに異なる複数の場所各々で撮影された複数の子データを含み、
前記出力手段は、前記人物が出現した場所、及び、前記人物が出現した場所の数の少なくとも一方を示す情報を、抽出された前記人物に関する情報として出力するデータ処理装置。
１５ ２乃至１４の中のいずれかに記載のデータ処理装置において、
前記人物抽出手段は、処理対象のフレームで検出された人物が、それ以前に処理したフレームで検出された人物と外観の特徴量が所定レベル以上類似するか判定する処理を実行し、
前記処理における前記所定レベルを設定するユーザ入力を受付ける手段をさらに有するデータ処理装置。
１６ １に記載のデータ処理装置において、
前記抽出手段は、分析対象のテキストデータを分析し、前記分析対象のテキストデータ内で検出された単語列の中から、前記分析対象のテキストデータにおける出現頻度が所定の条件を満たす前記単語列を抽出する単語列抽出手段を有し、
前記出力手段は、抽出された前記単語列に関する情報を出力するデータ処理装置。
１７ コンピュータが、
分析対象のデータを分析し、前記分析対象のデータ内で検出された対象の中から、前記分析対象のデータにおける出現頻度が所定の条件を満たす対象を抽出する抽出工程と、
抽出された前記対象に関する情報を出力する出力工程と、
を実行するデータ処理方法。
１７－２ １７に記載のデータ処理方法において、
前記抽出工程は、分析対象の動画データを分析し、前記分析対象の動画データ内で検出された人物の中から、前記分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する人物抽出工程を有し、
前記出力工程では、抽出された前記人物に関する情報を出力するデータ処理方法。
１７－３ １７－２に記載のデータ処理方法において、
前記分析対象の動画データは、互いに異なる複数の場所各々で撮影された複数の子データを含み、
前記人物抽出工程では、前記分析対象の動画データ内で検出された人物毎に、複数の前記子データの各々に出現しているか判定し、判定結果に基づき出現頻度を算出するデータ処理方法。
１７－４ １７－２に記載のデータ処理方法において、
前記分析対象の動画データは、同一の場所で所定時間にわたり撮影された動画データを含み、
前記人物抽出工程では、前記分析対象の動画データを、前記所定時間よりも小さい時間幅のタイムウインドウ単位で分析し、前記分析対象の動画データ内で検出された人物毎に、複数の前記タイムウインドウ各々に出現しているか判定し、判定結果に基づき出現頻度を算出するデータ処理方法。
１７－５ １７－４に記載のデータ処理方法において、
前記コンピュータが、前記タイムウインドウの時間幅を設定するユーザ入力を受付ける入力受付工程をさらに実行するデータ処理方法。
１７－６ １７－４に記載のデータ処理方法において、
前記コンピュータが、複数の前記タイムウインドウ各々の開始位置及び終了位置を個別に設定するユーザ入力を受付ける入力受付工程をさらに実行するデータ処理方法。
１７－７ １７－２乃至１７－６の中のいずれかに記載のデータ処理方法において、
前記人物抽出工程では、出現頻度が高い方から所定数の人物を抽出するデータ処理方法。
１７－８ １７－２乃至１７－６の中のいずれかに記載のデータ処理方法において、
前記人物抽出工程では、出現頻度が所定レベル以上の人物を抽出するデータ処理方法。
１７－９ １７－２乃至１７－８の中のいずれかに記載のデータ処理方法において、
前記出力工程では、前記分析対象の動画データから取得された前記人物の画像を、抽出された前記人物に関する情報として出力するデータ処理方法。
１７－１０ １７－９に記載のデータ処理方法において、
前記出力工程では、互いに異なる複数のフレームから取得された前記人物の複数の画像を、抽出された前記人物に関する情報として一覧表示するデータ処理方法。
１７－１１ １７－９又は１７－１０に記載のデータ処理方法において、
前記出力工程では、前記分析対象の動画データにおける出現頻度を、抽出された前記人物に関する情報として出力するデータ処理方法。
１７－１２ １７－９乃至１７－１１の中のいずれかに記載のデータ処理方法において、
前記出力工程では、抽出された複数の人物各々に関する情報を、出現頻度の高い順に並べて一覧表示するデータ処理方法。
１７－１３ １７－９乃至１７－１２の中のいずれかに記載のデータ処理方法において、
前記分析対象の動画データは、同一の場所で所定時間にわたり撮影された動画データを含み、
前記出力工程では、出現頻度の時間変化を示す情報を、抽出された前記人物に関する情報として出力するデータ処理方法。
１７－１４ １７－９乃至１７－１２の中のいずれかに記載のデータ処理方法において、
前記分析対象の動画データは、互いに異なる複数の場所各々で撮影された複数の子データを含み、
前記出力工程では、前記人物が出現した場所、及び、前記人物が出現した場所の数の少なくとも一方を示す情報を、抽出された前記人物に関する情報として出力するデータ処理方法。
１７－１５ １７－２乃至１７－１４の中のいずれかに記載のデータ処理方法において、
前記人物抽出工程では、処理対象のフレームで検出された人物が、それ以前に処理したフレームで検出された人物と外観の特徴量が所定レベル以上類似するか判定する処理を実行し、
前記コンピュータが、前記処理における前記所定レベルを設定するユーザ入力を受付ける工程をさらに実行するデータ処理方法。
１７－１６ １７に記載のデータ処理方法において、
前記抽出工程では、分析対象のテキストデータを分析し、前記分析対象のテキストデータ内で検出された単語列の中から、前記分析対象のテキストデータにおける出現頻度が所定の条件を満たす前記単語列を抽出する単語列抽出手段を有し、
前記出力手段は、抽出された前記単語列に関する情報を出力するデータ処理方法。
１８ コンピュータを、
分析対象のデータを分析し、前記分析対象のデータ内で検出された対象の中から、前記分析対象のデータにおける出現頻度が所定の条件を満たす対象を抽出する抽出手段、
抽出された前記対象に関する情報を出力する出力手段、
として機能させるためのプログラム。
１８－２ １８に記載のプログラムにおいて、
前記抽出手段を、分析対象の動画データを分析し、前記分析対象の動画データ内で検出された人物の中から、前記分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する人物抽出手段として機能させ、
前記出力手段は、抽出された前記人物に関する情報を出力するプログラム。
１８－３ １８－２に記載のプログラムにおいて、
前記分析対象の動画データは、互いに異なる複数の場所各々で撮影された複数の子データを含み、
前記人物抽出手段は、前記分析対象の動画データ内で検出された人物毎に、複数の前記子データの各々に出現しているか判定し、判定結果に基づき出現頻度を算出するプログラム。
１８－４ １８－２に記載のプログラムにおいて、
前記分析対象の動画データは、同一の場所で所定時間にわたり撮影された動画データを含み、
前記人物抽出手段は、前記分析対象の動画データを、前記所定時間よりも小さい時間幅のタイムウインドウ単位で分析し、前記分析対象の動画データ内で検出された人物毎に、複数の前記タイムウインドウ各々に出現しているか判定し、判定結果に基づき出現頻度を算出するプログラム。
１８－５ １８－４に記載のプログラムにおいて、
前記コンピュータを、前記タイムウインドウの時間幅を設定するユーザ入力を受付ける入力受付手段としてさらに機能させるプログラム。
１８－６ １８－４に記載のプログラムにおいて、
前記コンピュータを、複数の前記タイムウインドウ各々の開始位置及び終了位置を個別に設定するユーザ入力を受付ける入力受付手段としてさらに機能させるプログラム。
１８－７ １８－２乃至１８－６の中のいずれかに記載のプログラムにおいて、
前記人物抽出手段は、出現頻度が高い方から所定数の人物を抽出するプログラム。
１８－８ １８－２乃至１８－６の中のいずれかに記載のプログラムにおいて、
前記人物抽出手段は、出現頻度が所定レベル以上の人物を抽出するプログラム。
１８－９ １８－２乃至１８－８の中のいずれかに記載のプログラムにおいて、
前記出力手段は、前記分析対象の動画データから取得された前記人物の画像を、抽出された前記人物に関する情報として出力するプログラム。
１８－１０ １８－９に記載のプログラムにおいて、
前記出力手段は、互いに異なる複数のフレームから取得された前記人物の複数の画像を、抽出された前記人物に関する情報として一覧表示するプログラム。
１８－１１ １８－９又は１８－１０に記載のプログラムにおいて、
前記出力手段は、前記分析対象の動画データにおける出現頻度を、抽出された前記人物に関する情報として出力するプログラム。
１８－１２ １８－９乃至１８－１１の中のいずれかに記載のプログラムにおいて、
前記出力手段は、抽出された複数の人物各々に関する情報を、出現頻度の高い順に並べて一覧表示するプログラム。
１８－１３ １８－９乃至１８－１２の中のいずれかに記載のプログラムにおいて、
前記分析対象の動画データは、同一の場所で所定時間にわたり撮影された動画データを含み、
前記出力手段は、出現頻度の時間変化を示す情報を、抽出された前記人物に関する情報として出力するプログラム。
１８－１４ １８－９乃至１８－１２の中のいずれかに記載のプログラムにおいて、
前記分析対象の動画データは、互いに異なる複数の場所各々で撮影された複数の子データを含み、
前記出力手段は、前記人物が出現した場所、及び、前記人物が出現した場所の数の少なくとも一方を示す情報を、抽出された前記人物に関する情報として出力するプログラム。
１８－１５ １８－２乃至１８－１４の中のいずれかに記載のプログラムにおいて、
前記人物抽出手段は、処理対象のフレームで検出された人物が、それ以前に処理したフレームで検出された人物と外観の特徴量が所定レベル以上類似するか判定する処理を実行し、
前記コンピュータを、前記処理における前記所定レベルを設定するユーザ入力を受付ける手段としてさらに機能させるプログラム。
１８－１６ １８に記載のプログラムにおいて、
前記抽出手段を、分析対象のテキストデータを分析し、前記分析対象のテキストデータ内で検出された単語列の中から、前記分析対象のテキストデータにおける出現頻度が所定の条件を満たす前記単語列を抽出する単語列抽出手段として機能させ、
前記出力手段は、抽出された前記単語列に関する情報を出力するプログラム。

この出願は、２０１５年１１月６日に出願された日本出願特願２０１５－２１８１６４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (16)

1. 分析対象のデータを分析し、前記分析対象のデータ内で検出された対象の中から、前記分析対象のデータにおける出現頻度が所定の条件を満たす対象を抽出する抽出手段と、
   抽出された前記対象に関する情報を出力する出力手段と、
   を有し、
   前記データは、所定の場所で所定時間にわたり撮影された動画データであり、
   前記抽出手段は、前記分析対象の動画データを分析し、前記分析対象の動画データ内で検出された人物の中から、前記分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する人物抽出手段を有し、
   前記人物抽出手段は、
   前記分析対象の動画データを、前記所定時間よりも小さい時間幅の複数のタイムウインドウに分割し、前記タイムウインドウごとに、前記分析対象の動画データ内で検出された人物各々が出現しているか判定し、複数の前記タイムウインドウ各々に出現しているか否かの判定結果に基づき、前記出現頻度を算出し、
   前記タイムウインドウ各々には複数のフレームが含まれ、
   複数の前記タイムウインドウの中の１つである第１のタイムウインドウが含む複数の前記フレームの中の少なくとも１つに出現している人物は、前記第１のタイムウインドウにおいて出現していると判定するデータ処理装置。
2. 請求項１に記載のデータ処理装置において、
   前記分析対象の動画データは、互いに異なる複数の前記所定の場所各々で所定時間にわたり撮影された複数の子データを含み、
   前記人物抽出手段は、前記分析対象の動画データ内で検出された人物毎に、複数の前記子データの各々に出現しているか判定し、判定結果に基づき出現頻度を算出するデータ処理装置。
3. 請求項１又は２に記載のデータ処理装置において、
   前記タイムウインドウの時間幅を設定するユーザ入力を受付ける入力受付手段をさらに有するデータ処理装置。
4. 請求項１又は２に記載のデータ処理装置において、
   複数の前記タイムウインドウ各々の開始位置及び終了位置を個別に設定するユーザ入力を受付ける入力受付手段をさらに有するデータ処理装置。
5. 請求項１乃至４の中のいずれか１項に記載のデータ処理装置において、
   前記人物抽出手段は、出現頻度が高い方から所定数の人物を抽出するデータ処理装置。
6. 請求項１乃至４の中のいずれか１項に記載のデータ処理装置において、
   前記人物抽出手段は、出現頻度が所定レベル以上の人物を抽出するデータ処理装置。
7. 請求項１乃至６の中のいずれか１項に記載のデータ処理装置において、
   前記出力手段は、前記分析対象の動画データから取得された前記人物の画像を、抽出された前記人物に関する情報として出力するデータ処理装置。
8. 請求項７に記載のデータ処理装置において、
   前記出力手段は、互いに異なる複数のフレームから取得された前記人物の複数の画像を、抽出された前記人物に関する情報として一覧表示するデータ処理装置。
9. 請求項７又は８に記載のデータ処理装置において、
   前記出力手段は、前記分析対象の動画データにおける出現頻度を、抽出された前記人物に関する情報として出力するデータ処理装置。
10. 請求項７乃至９の中のいずれか１項に記載のデータ処理装置において、
    前記出力手段は、抽出された複数の人物各々に関する情報を、出現頻度の高い順に並べて一覧表示するデータ処理装置。
11. 請求項７乃至１０の中のいずれか１項に記載のデータ処理装置において、
    前記分析対象の動画データは、前記所定の場所で所定時間にわたり撮影された動画データを含み、
    前記出力手段は、出現頻度の時間変化を示す情報を、抽出された前記人物に関する情報として出力するデータ処理装置。
12. 請求項７乃至１０の中のいずれか１項に記載のデータ処理装置において、
    前記分析対象の動画データは、互いに異なる複数の前記所定の場所各々で所定時間にわたり撮影された複数の子データを含み、
    前記出力手段は、前記人物が出現した場所、及び、前記人物が出現した場所の数の少なくとも一方を示す情報を、抽出された前記人物に関する情報として出力するデータ処理装置。
13. 請求項１乃至１２の中のいずれか１項に記載のデータ処理装置において、
    前記人物抽出手段は、処理対象のフレームで検出された人物が、それ以前に処理したフレームで検出された人物と外観の特徴量が所定レベル以上類似するか判定する処理を実行し、
    前記処理における前記所定レベルを設定するユーザ入力を受付ける手段をさらに有するデータ処理装置。
14. 請求項１乃至１３の中のいずれか１項に記載のデータ処理装置において、
    前記人物抽出手段は、各人物が出現していると判定された前記タイムウインドウの数を、前記分析対象の動画データに含まれる前記タイムウインドウの数で割った値を、各人物の前出現頻度として算出するデータ処理装置。
15. コンピュータが、
    分析対象のデータを分析し、前記分析対象のデータ内で検出された対象の中から、前記分析対象のデータにおける出現頻度が所定の条件を満たす対象を抽出する抽出工程と、
    抽出された前記対象に関する情報を出力する出力工程と、
    を実行し、
    前記データは、所定の場所で所定時間にわたり撮影された動画データであり、
    前記抽出工程は、前記分析対象の動画データを分析し、前記分析対象の動画データ内で検出された人物の中から、前記分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する人物抽出工程を含み、
    前記人物抽出工程では、
    前記分析対象の動画データを、前記所定時間よりも小さい時間幅の複数のタイムウインドウに分割し、前記タイムウインドウごとに、前記分析対象の動画データ内で検出された人物各々が出現しているか判定し、複数の前記タイムウインドウ各々に出現しているか否かの判定結果に基づき、前記出現頻度を算出し、
    前記タイムウインドウ各々には複数のフレームが含まれ、
    複数の前記タイムウインドウの中の１つである第１のタイムウインドウが含む複数の前記フレームの中の少なくとも１つに出現している人物は、前記第１のタイムウインドウにおいて出現していると判定するデータ処理方法。
16. コンピュータを、
    分析対象のデータを分析し、前記分析対象のデータ内で検出された対象の中から、前記分析対象のデータにおける出現頻度が所定の条件を満たす対象を抽出する抽出手段、
    抽出された前記対象に関する情報を出力する出力手段、
    として機能させ、
    前記データは、所定の場所で所定時間にわたり撮影された動画データであり、
    前記抽出手段は、前記分析対象の動画データを分析し、前記分析対象の動画データ内で検出された人物の中から、前記分析対象の動画データにおける出現頻度が所定の条件を満たす人物を抽出する人物抽出手段を有し、
    前記人物抽出手段は、
    前記分析対象の動画データを、前記所定時間よりも小さい時間幅の複数のタイムウインドウに分割し、前記タイムウインドウごとに、前記分析対象の動画データ内で検出された人物各々が出現しているか判定し、複数の前記タイムウインドウ各々に出現しているか否かの判定結果に基づき、前記出現頻度を算出し、
    前記タイムウインドウ各々には複数のフレームが含まれ、
    複数の前記タイムウインドウの中の１つである第１のタイムウインドウが含む複数の前記フレームの中の少なくとも１つに出現している人物は、前記第１のタイムウインドウにおいて出現していると判定するプログラム。

Images