JP4355227B2 - 内容記述メタデータ作成方法、内容記述メタデータ作成装置、内容記述メタデータ作成プログラム及びそのプログラムを記録した記録媒体 - Google Patents

Description

本発明は、ビデオカメラのような撮影装置が記録した映像フレーム毎に、その内容を記述した内容記述メタデータを作成する内容記述メタデータ作成方法、内容記述メタデータ作成装置、内容記述メタデータ管理プログラム及び内容記述メタデータ作成プログラムを記録した記録媒体に関する。
さらに詳細には、被写体に装着した無線タグなどに付与したＩＤ情報を読み取り、読み取ったＩＤ情報を用いて被写体に関する情報を検索して取得し、取得した被写体に関する情報から内容記述メタデータを、ビデオカメラが記録した映像フレーム毎に作成する内容記述メタデータ作成方法、内容記述メタデータ作成装置、内容記述メタデータ管理プログラム及び内容記述メタデータ作成プログラムを記録した記録媒体に関する。

近年、インターネットで公開されているコンテンツやパーソナルビデオレコーダに記録されたコンテンツの検索を容易に実現するために、コンテンツに対して、その内容を記述した「内容記述メタデータ」または単に「メタデータ」と呼ばれる情報を付与する方法が検討されている。

内容記述メタデータは、セグメントと呼ばれる適当な長さに区切られたコンテンツに、各セグメントの開始時刻や長さとともに、セグメントの内容を記載したものであり、その標準的な記述方法が、Moving Picture Experts Group 7（MPEG−7）で規定されている（非特許文献1を参照）。

MPEG−7は、インターネットなどを介して流通する多量の動画や音声などのマルチメディアコンテンツを効率良く検索するために、コンテンツの内容(例えば、色や形などの特徴)を記述するデータ（内容記述メタデータ）の形式とその記述方法とを規定した技術であり、ISO/IEC JTC1/SC29/WG1により標準化された。正式名称は、マルチメディアコンテンツ記述インタフェース（Multimedia Content Description Interface）という。

また、内容記述メタデータに関連する技術として、特許文献1には、コンテンツを所定の大きさに分割してフレームとし、そのフレームに対応させてコンテンツの付加情報を記述した情報フレームを作成し、コンテンツのフレームと情報フレームとを端末に配信し、端末は受信した情報フレームに記述されている付加情報を、例えば、映像コンテンツを表示する際の説明や効果として利用する技術が提案されている。ここで、情報フレームに記述する付加情報が、前記した内容記述メタデータに相当するものである。
特開２００２−１６３１８６号公報（段落００２２〜００２８、図３〜６） Jose M. Martinez、"MPEG-7 Overview (version 9)"、［ｏｎｌｉｎｅ］、 ２００３月３月、ISO/IEC JTC1/SC29/WG11、［平成１６年１月２６日検索］、 インターネット＜http://www.chiariglione.org/mpeg/standards/mpeg-7/mpeg-7.htm＞

しかし、特許文献１や非特許文献１では、付加情報や内容記述メタデータの作成方法は明確にされていない。例えば、非特許文献１では、付加情報には、データベースに記憶されているデータを用いることとされているが、根源的には、データベースへのデータの入力は人手により行われる。このようなデータの入力作業には多くの時間を要することから、例えば、インターネット上の膨大な量のコンテンツに対応することは非常に困難であり、また、データの入力に伴い人件費等のコストも発生することから、コンテンツへの内容記述メタデータや付加情報の付与の実現を難しいものとしていた。

本発明はこのような問題を鑑みてなされたものであり、人手に頼ることなく、撮影装置が記録した映像フレーム毎に、被写体に関する情報を記述した内容記述メタデータを作成する内容記述メタデータ作成方法、内容記述メタデータ作成装置、内容記述メタデータ作成プログラム及び内容記述メタデータ作成プログラムを記録した記録媒体を提供することを目的とする。

前記した課題を解決するため、本発明では、以下のような方法、装置、プログラム及び記録媒体を用いることとした。
請求項１に記載の発明では、内容記述メタデータ作成方法における、被写体の映像フレームを収集する映像フレーム収集手段が、撮影装置から記録した映像フレームを収集して、内容記述メタデータ作成手段へ送り、さらに、映像フレーム収集手段が、収集した映像フレームから被写体を検出し、検出した被写体の属性をＩＤ情報収集手段へ送り、ＩＤ情報収集手段は、被写体の属性とそれに対応するＩＤ情報を記憶しており、ＩＤ情報収集手段が、被写体に装着された前記ＩＤ情報を記録しているＩＤ情報記録手段からＩＤ情報を収集し、収集したＩＤ情報の中から、映像フレーム収集手段から受信した被写体の属性に基づいて、その被写体の属性に対応するＩＤ情報を選択し、選択したＩＤ情報を内容記述メタデータ作成手段へ送り、被写体に関する情報を記述した内容記述メタデータを作成する内容記述メタデータ作成手段が、映像フレーム収集手段から受信した映像フレームと、ＩＤ情報収集手段から受信したＩＤ情報と、被写体情報管理手段においてＩＤ情報に対応して記録されている被写体に関する情報とを用いて、内容記述メタデータを作成することとした。
請求項２に記載の発明では、内容記述メタデータ作成方法における、被写体の映像フレームを収集する映像フレーム収集手段が、撮影装置から記録した映像フレームを収集して、内容記述メタデータ作成手段へ送り、さらに、映像フレーム収集手段が、収集した映像フレームから被写体を検出し、検出した被写体の属性をＩＤ情報収集手段へ送り、ＩＤ情報収集手段は、被写体の属性とそれに対応するＩＤ情報、および当該ＩＤ情報に対応する被写体に関する情報を記憶しており、ＩＤ情報収集手段が、被写体に装着されたＩＤ情報を記録しているＩＤ情報記録手段からＩＤ情報を収集し、収集したＩＤ情報の中から、映像フレーム収集手段から受信した被写体の属性に基づいて、その被写体の属性に対応するＩＤ情報を選択し、選択したＩＤ情報と当該ＩＤ情報に対応する被写体に関する情報とを内容記述メタデータ作成手段へ送り、内容記述メタデータ作成手段が、映像フレーム収集手段から受信した映像フレームと、ＩＤ情報収集手段から受信した選択したＩＤ情報および当該ＩＤ情報に対応する被写体に関する情報とを用いて、内容記述メタデータを作成することとした。

このようにすることにより内容記述メタデータ作成方法は、被写体に装着されたＩＤ情報記録手段から得たＩＤ情報と、被写体情報管理手段においてＩＤ情報に対応して記録されている被写体に関する情報とから、撮影装置が記録した映像フレーム毎に、被写体に関する情報を記述した内容記述メタデータを作成する。

ここで「映像フレーム」とは、映像コンテンツを分割する単位であり、MPEG-7のセグメントに相当し、開始時刻と時間で規定される。
また、「被写体に関する情報」とは、撮影装置が撮影した被写体が、例えば、人であるか植物であるか、人であるならば性別や年齢など、植物であるならば、その名称や色、大きさ、生息地など、さらには撮影した日時や場所などの情報である。
「ＩＤ情報」とは、被写体を識別するために、被写体に付与された固有の情報である。

請求項３に記載の発明では、内容記述メタデータ作成方法における、内容記述メタデータと映像フレームとを管理する内容記述メタデータ管理手段が、内容記述メタデータ作成手段によって作成された内容記述メタデータを、内容記述メタデータを作成する際に用いた映像フレームに対応させて記録すること、および／または内容記述メタデータを作成する際に用いた映像フレームとともに送信することとした。

このようにすることにより内容記述メタデータ作成方法は、作成した内容記述メタデータを映像フレーム毎に管理し、および／または映像フレームとともに端末へ送信する。

請求項４に記載の発明では、被写体に関する情報をＩＤ情報に対応させて、内容記述メタデータ作成方法における、ＩＤ情報記録手段に記録することとした。

このようにすることにより内容記述メタデータ作成方法は、ＩＤ情報を収集するのと同時に被写体に関する情報を収集する。

請求項５に記載の発明では、内容記述メタデータ作成方法における、ＩＤ情報収集手段が収集したＩＤ情報の中から、または内容記述メタデータ作成手段がＩＤ情報収集手段から受信したＩＤ情報の中から、映像フレームに記録されている被写体に装着されたＩＤ情報記録手段が記録しているＩＤ情報を選択することとした。

このようにすることにより内容記述メタデータ作成方法は、ＩＤ情報収集手段によって、または内容記述メタデータ作成手段によって、映像フレームに記録されている被写体のＩＤ情報を選択する。

請求項６に記載の発明では、映像フレームとＩＤ情報とが、同じ時刻に収集された映像フレームとＩＤ情報であることとした。

このようにすることにより内容記述メタデータ作成方法は、ＩＤ情報収集手段が収集したＩＤ情報の中から、そのＩＤ情報を収集した時刻と同じ時刻に収集された映像フレームに記録されている被写体のＩＤ情報を選択する。

請求項７に記載の発明では、内容記述メタデータ作成方法における、ＩＤ情報記録手段が記録しているＩＤ情報は、無線タグに記録された情報、バーコードに記録された情報、光源を感知するセンサに検出された情報、または例えば、Global Positioning System（以下、「ＧＰＳ」と言う）で用いられるような位置検出装置に検出された位置情報であることとした。

このようにすることにより内容記述メタデータ作成方法は、ＩＤ情報記録手段として、被写体に装着した無線タグ、バーコード、光源を感知するセンサ、またはＧＰＳの位置検出装置を用いる。

請求項８に記載の発明では、内容記述メタデータ作成装置が、撮影装置から記録した映像フレームを収集し、被写体に関する情報を記述した内容記述メタデータを作成する内容記述メタデータ作成手段へ送り、さらに、収集した映像フレームから被写体を検出し、検出した被写体の属性を、被写体のＩＤ情報を収集するＩＤ情報収集手段へ送る映像フレーム収集手段と、被写体の属性とそれに対応するＩＤ情報を記憶しており、被写体に装着されＩＤ情報を記録しているＩＤ情報記録手段からＩＤ情報を収集し、収集したＩＤ情報の中から、映像フレーム収集手段から受信した被写体の属性に基づいて、その被写体の属性に対応するＩＤ情報を選択し、選択したＩＤ情報を内容記述メタデータ作成手段へ送るＩＤ情報収集手段と、映像フレーム収集手段から受信した映像フレームと、ＩＤ情報収集手段から受信したＩＤ情報と、被写体情報管理手段においてＩＤ情報に対応して記録されている被写体に関する情報とを用いて、内容記述メタデータを作成する内容記述メタデータ作成手段とを備えることとした。
請求項９に記載の発明では、内容記述メタデータ作成装置が、撮影装置から記録した映像フレームを収集し、被写体に関する情報を記述した内容記述メタデータを作成する内容記述メタデータ作成手段へ送り、さらに、収集した映像フレームから被写体を検出し、検出した被写体の属性を、被写体のＩＤ情報を収集するＩＤ情報収集手段へ送る映像フレーム収集手段と、被写体の属性とそれに対応するＩＤ情報、および当該ＩＤ情報に対応する被写体に関する情報を記憶しており、被写体に装着されたＩＤ情報を記録しているＩＤ情報記録手段からＩＤ情報を収集し、収集したＩＤ情報の中から、映像フレーム収集手段から受信した被写体の属性に基づいて、その被写体の属性に対応するＩＤ情報を選択し、選択したＩＤ情報と当該ＩＤ情報に対応する被写体に関する情報とを内容記述メタデータ作成手段へ送るＩＤ情報収集手段と、映像フレーム収集手段から受信した映像フレームと、ＩＤ情報収集手段から受信した選択したＩＤ情報および当該ＩＤ情報に対応する被写体に関する情報とを用いて内容記述メタデータを作成する内容記述メタデータ作成手段とを備えることとした。

このようにすることにより内容記述メタデータ作成装置は、被写体に装着されたＩＤ情報記録手段から得たＩＤ情報と、被写体情報管理手段においてＩＤ情報に対応して記録されている被写体に関する情報とから、撮影装置が記録した映像フレーム毎に、被写体に関する情報を記述した内容記述メタデータを作成する。

請求項１０に記載の発明では、内容記述メタデータ作成装置における、内容記述メタデータと映像フレームとを管理する内容記述メタデータ管理手段が、内容記述メタデータ作成手段によって作成された内容記述メタデータを、内容記述メタデータを作成する際に用いた映像フレームに対応させて記録すること、および／または内容記述メタデータを作成する際に用いた映像フレームとともに送信することとした。

このようにすることにより内容記述メタデータ作成装置は、作成した内容記述メタデータを映像フレーム毎に管理し、および／または映像フレームとともに端末へ送信する。

請求項１１に記載の発明では、内容記述メタデータ管理プログラムが、請求項１から請求項７のいずれか一項に記載の内容記述メタデータ作成方法をコンピュータに実行させることとした。

このようにすることにより内容記述メタデータ管理プログラムは、被写体に装着されたＩＤ情報記録機能から得たＩＤ情報と、被写体情報管理機能においてＩＤ情報に対応して記録されている被写体に関する情報とから、撮影装置が記録した映像フレーム毎に、被写体に関する情報を記述した内容記述メタデータを作成する。作成した内容記述メタデータを映像フレーム毎に管理し、および／または映像フレームとともに端末へ送信する。ＩＤ情報を収集するのと同時に被写体に関する情報を収集する。ＩＤ情報収集手段によって、または内容記述メタデータ作成手段によって、撮影装置が撮影した被写体のＩＤ情報を収集する。ＩＤ情報収集手段が収集したＩＤ情報の中から、そのＩＤ情報を収集した時刻と同じ時刻に収集された映像フレームに記録されている被写体のＩＤ情報を選択する。ＩＤ情報記録手段として、被写体に装着した無線タグ、バーコード、光源を感知するセンサ、またはＧＰＳ装置を用いる。

請求項１２に記載の発明では、コンピュータに読み取り可能な記録媒体が、請求項１から請求項７のいずれか一項に記載の内容記述メタデータ作成方法をコンピュータに実行させるプログラムを記録することとした。

このようにすることによりコンピュータは、コンピュータに読み取り可能な記録媒体から内容記述メタデータ管理プログラムロードする。

請求項１，２、請求項８，９に記載の発明によれば、人手に頼ることなく、撮影装置が記録した映像フレーム毎に、被写体に関する情報を記述した内容記述メタデータを作成することが可能となる。その際、データ量の少ない被写体に関する情報を繰り返し用いることにより、よりデータ量の多い内容記述メタデータを、映像フレーム毎に作成することができる。

請求項３、請求項１０に記載の発明によれば、作成した内容記述メタデータを映像フレームに対応させてデータベースに記録して管理し、映像フレームとともに端末へ送信することが可能となる。

請求項４に記載の発明によれば、ＩＤ情報とそれに対応する被写体に関する情報を、一括して収集することが可能となる。

請求項５に記載の発明によれば、映像フレームに記録されている被写体の被写体に関する情報を記述した内容記述メタデータを、記録した映像フレーム毎に作成することが可能となる。

請求項６に記載の発明によれば、ＩＤ情報収集手段が収集したＩＤ情報の中から、ＩＤ情報を収集した時刻と同じ時刻に映像フレーム収集手段が収集した映像フレームに記録されている被写体のＩＤ情報を選択することが可能となる。その結果、映像フレームに対応した内容記述メタデータを作成することが可能となる。

請求項７に記載の発明によれば、ＩＤ情報記録手段として無線タグ、バーコード、光源を感知するセンサ、またはＧＰＳの位置検出装置を利用することができる。また、これらは特別なものではないので、比較的容易に入手することができる。

請求項１１に記載の発明によれば、コンピュータは、内容記述メタデータ作成方法のプログラムを実行することができる。

請求項１２に記載の発明によれば、コンピュータは、記録媒体から内容記述メタデータ作成方法を実行するプログラムをロードして、実行することができる。

本発明の実施形態について、図面を参照しながら詳細に説明する。
[第１の実施形態]
図１は、本発明の第１の実施形態における内容記述メタデータを作成するシステムの構成図である。システムは、被写体を撮影する撮影装置１と、被写体に装着され記録しているＩＤ情報を送信する無線タグ２と、無線タグ２よりＩＤ情報を含む無線信号を受信するアンテナ３と、アンテナ３が受信した無線信号からＩＤ情報を読み出すリーダ４と、リーダ４が読み出したＩＤ情報と撮影装置が記録した映像フレームとを用いて、映像フレーム毎に内容記述メタデータを作成する内容記述メタデータ作成装置５とから構成される。

無線タグ２は、ＩＤ情報記録手段の一形態であり、他のＩＤ情報記録手段であるバーコードや光源を感知するセンサ、またはＧＰＳの位置検出装置を利用することも可能である。

無線タグの場合、被写体にＩＤ情報を記録した無線タグを取り付け、無線によりＩＤ情報を読み出して被写体を識別する。バーコードの場合、被写体にＩＤ情報を記録したバーコードを取り付け、そのバーコードを読むことにより被写体を識別する。光源を感知するセンサの場合、被写体に光源を取り付け、センサがそれを感知してＩＤ情報を出力することにより被写体を識別する。ＧＰＳの位置検出装置の場合、被写体にＧＰＳの位置検出装置（アンテナ）を取り付け、ＧＰＳの位置検出装置が検出した被写体の位置情報を受信することにより被写体を検出する。本実施形態においては、ＩＤ情報記録手段として無線タグを用いて説明する。

図２は、内容記述メタデータ作成装置５の構成図である。本発明に係る内容記述メタデータ作成装置５は、撮影装置１から映像フレームを収集する映像フレーム収集手段５１と、リーダ４からＩＤ情報を収集するＩＤ情報収集手段５２と、被写体に関する情報を記録し管理する被写体情報管理手段５３と、映像フレーム収集手段５１が収集した映像フレームと、ＩＤ情報収集手段５２が収集したＩＤ情報と、被写体情報管理手段５３が管理する被写体に関する情報とから内容記述メタデータを作成する内容記述メタデータ作成手段５４と、内容記述メタデータ作成手段５４が作成した内容記述メタデータを記録して管理し、また送信手段（図示せず）を介して送信する内容記述メタデータ管理手段５５とから構成される。

映像フレーム収集手段５１は、撮影装置１から映像フレームを収集し、映像フレームを収集した時刻（以降、「映像フレーム収集時刻」と言う）とともに、収集した映像フレームを内容記述メタデータ作成手段５４へ送る。また、映像フレーム収集手段５１は、撮影装置１の向き（角度）から、予め用意してある撮影装置の向き（角度）と被写体とを対応させたテーブルを検索して被写体を検出し、または収集した映像フレームから画像処理技術を用いて被写体を検出し、検出した被写体の種類や名称などの属性（以降、「被写体の属性」と言う）を映像フレーム収集時刻とともに、ＩＤ情報収集手段５２へ送る。ここで、「被写体の属性」とは、例えば、図１に記載されている「人物（女性）」、「Ｊａｎｅ」や「樹木」、「ＰｉｎｅＴｒｅｅ」が該当する。

つまり、映像フレーム収集手段５１は、撮影装置１から映像フレームを収集し、内容記述メタデータ作成手段５４へ収集した映像フレームと映像フレーム収集時刻とを送り、ＩＤ情報収集手段５２へ被写体の属性と映像フレーム収集時刻とを送る。

ＩＤ情報収集手段５２は、リーダ４からＩＤ情報を収集し、また映像フレーム収集手段５１から被写体の属性と、映像フレーム収集時刻とを受信する。また、ＩＤ情報収集手段５２は、映像フレーム収集手段５１から受信した映像フレーム収集時刻と同じ時刻に収集したＩＤ情報の中から、映像フレーム収集手段５１から受信した被写体の属性が示す被写体のＩＤ情報を選択し、ＩＤ情報を収集した時刻（以降、「ＩＤ情報収集時刻」と言う）とともに、内容記述メタデータ作成手段５４へ送る。なお、ＩＤ情報収集手段５２には、予め被写体の属性とそれに対応するＩＤ情報とが記録されている。

つまり、ＩＤ情報収集手段５２は、リーダ４からＩＤ情報を収集し、映像フレーム収集手段５１から被写体の属性と映像フレーム収集時刻とを受信し、内容記述メタデータ作成手段５４へ選択したＩＤ情報（以降、「選択ＩＤ情報」と言う）とＩＤ情報収集時刻とを送る。

被写体情報管理手段５３は、予めＩＤ情報に対応させて被写体に関する情報を記録し、それを管理し、検索結果に従って、内容記述メタデータ作成手段５４へ送る。

内容記述メタデータ作成手段５４は、映像フレーム収集手段５１から映像フレームと、その映像フレームを収集した映像フレーム収集時刻とを受信し、ＩＤ情報収集手段５２から選択ＩＤ情報と、その選択ＩＤ情報を収集したＩＤ情報収集時刻とを受信する。また内容記述メタデータ作成手段５４は、映像フレーム収集手段５１から受信した映像フレーム毎に、その映像フレームを収集した映像フレーム収集時刻と同じ時刻であるＩＤ情報収集時刻に収集された選択ＩＤ情報を用いて、被写体情報管理手段５３から被写体に関する情報を検索して取得し、内容記述メタデータを作成する。

内容記述メタデータ管理手段５５は、映像フレームに対応させて、作成した内容記述メタデータを記録し、それを管理する。また、図示しない送信手段を用いて、端末に対して、映像フレームに対応させて、作成した内容記述メタデータを送信する。

次に、図３に示すフローチャートを参照しながら、内容記述メタデータ作成の動作を説明する。図３のフローチャート中の矢印は、各手段間で矢印の向きに処理が移行することを示している。なお、被写体情報管理手段５３には、予め被写体に割り当てられたＩＤ情報に対応させて、被写体に関する情報が記録されている。

＜映像フレーム収集手段での処理＞
撮影者による撮影に伴い、映像フレーム収集手段５１は、撮影装置１から記録した映像フレームを収集し、また、映像フレームを収集した時刻（映像フレーム収集時刻）を、収集した映像フレームに対応させて記録する（ステップＳ１００）。次に、映像フレーム収集手段５１は、撮影装置１の向き（角度）から被写体を検出し、または収集した映像フレームから画像処理技術を用いて被写体を検出する（ステップＳ１０１）。さらに、映像フレーム収集手段５１は、収集した映像フレームと映像フレーム収集時刻とを内容記述メタデータ作成手段５４へ送り（ステップＳ１０２）、検出した被写体の属性と被写体を検出した映像フレームの映像フレーム収集時刻とを対応させて、ＩＤ情報収集手段５２へ送る（ステップＳ１０３）。

＜ＩＤ情報収集手段での処理＞
ＩＤ情報収集手段５２は、ステップＳ１００からステップＳ１０３の処理と並行して、リーダ４からＩＤ情報を収集し、ＩＤ情報を収集した時刻（ＩＤ情報収集時刻）を、収集したＩＤ情報に対応させて記録する（ステップＳ１０４）。映像フレーム収集手段５１から、検出した被写体の属性と被写体を検出した映像フレームの映像フレーム収集時刻とを受信した後、ＩＤ情報収集手段５２は、ＩＤ情報収集時刻と映像フレーム収集時刻とが同じ時刻である収集したＩＤ情報と映像フレーム収集手段５１より受信した被写体の属性とについて、そのＩＤ情報収集時刻に対応するＩＤ情報の中から、その映像フレーム収集時刻に対応する被写体の属性が示す被写体に割り当てられたＩＤ情報を選択する（ステップＳ１０５）。次に、ＩＤ情報収集手段５２は、選択したＩＤ情報（選択ＩＤ情報）とその選択ＩＤ情報を収集したＩＤ情報収集時刻とを、内容記述メタデータ作成手段５４へ送る（ステップＳ１０６）。

＜内容記述メタデータ作成手段での処理＞
内容記述メタデータ作成手段５４は、映像フレーム収集手段５１から受信した映像フレーム収集時刻とＩＤ情報収集手段から受信したＩＤ情報収集時刻とが同じ時刻である、映像フレーム収集手段５１から受信した映像フレームとＩＤ情報収集手段から受信した選択ＩＤ情報とについて、その選択ＩＤ情報を用いて、被写体情報管理手段５３から被写体に関する情報を検索して取得する（ステップＳ１０７）。次に、内容記述メタデータ作成手段５４は、取得した被写体に関する情報を内容記述メタデータの定められた形式で編集し、その映像フレームに対応させて内容記述メタデータ管理手段５５に送る（ステップＳ１０８）。

＜内容記述メタデータ管理手段での処理＞
内容記述メタデータ管理手段５５は、内容記述メタデータ作成手段５４から受信した内容記述メタデータを、映像フレームに対応させて記録し管理する。また、要求に応じて送信手段を介して端末に対して映像フレームに対応させて内容記述メタデータを送信する（ステップＳ１０９）。

映像フレームに対応させて内容記述メタデータを受信端末に向けて送信する方法には、映像フレームと内容記述メタデータの同期をとって同時に送信する方法と、受信端末からの要求に応じて映像フレームと内容記述メタデータをそれぞれ別のタイミングで送信する方法などが可能である。

＜映像フレームと内容記述メタデータとの具体例＞
図４は、映像フレーム収集手段が収集した映像フレームと、内容記述メタデータ作成手段が作成した内容記述メタデータとの対応関係を示す概念図である。図４では、映像フレームとして“フレーム＿（ｉ−２）”から“フレーム＿（ｉ＋２）”までを例示しており、また、内容記述メタデータとして“Ｄｅｓｃ＿（ｉ−２）”から“Ｄｅｓｃ＿（ｉ＋２）”までを例示している。

“ｉ−２〜ｉ＋２”は、映像フレームと内容記述メタデータを収集したタイミング、例えば「時刻」を示している。フレーム＿（ｉ−２）とＤｅｓｃ＿（ｉ−２）、フレーム＿（ｉ−１）とＤｅｓｃ＿（ｉ−１）、フレーム＿（ｉ）とＤｅｓｃ＿（ｉ）、フレーム＿（ｉ＋１）とＤｅｓｃ＿（ｉ＋１）、フレーム＿（ｉ＋２）とＤｅｓｃ＿（ｉ＋２）は、それぞれ同じタイミング（時刻）で収集されたものであり、同期した関係にある。

図４より、例えば、Ｄｅｓｃ＿（ｉ）に記述されている内容記述メタデータのタグ＜Ｏｂｊｅｃｔ＞に記述されているデータから、同じ時刻に収集された映像フレームには、オブジェクト“ｔｒｅｅ”が記録されていることがわかり、また、タグ＜Ｈｅｉｇｈｔ＞とタグ＜／Ｈｅｉｇｈｔ＞に挟まれたデータ“１０ｍ”や、タグ＜ＯｂｊｅｃｔＴｙｐｅ＞とタグ＜／ＯｂｊｅｃｔＴｙｐｅ＞に挟まれたデータ“ｐｉｎｅ ｔｒｅｅ”により、このオブジェクト“ｔｒｅｅ”の種類は、“ｐｉｎｅ ｔｒｅｅ”であり、その高さは、“１０ｍ”であることがわかる。このタグには、内容記述メタデータ内に付加するデータの種類に応じて異なるものを付与することが可能である。

以上、本実施形態によれば、内容記述メタデータ作成装置は、撮影装置で撮影した被写体について記述した内容記述メタデータを、映像フレーム毎に作成することが可能となる。

[第２の実施形態]
第１の実施形態においては、被写体に関する情報は被写体情報管理手段５３にＩＤ情報に対応して記録されており、内容記述メタデータ作成手段５４が、ＩＤ情報を用いて被写体情報管理手段５３から被写体に関する情報を検索して取得し、内容記述メタデータを作成している。

本実施形態においては、被写体に関する情報をＩＤ情報に対応させて無線タグ２、リーダ４、またはＩＤ情報収集手段５２に記録する。このようにすることにより、内容記述メタデータ作成手段５４は、検索を行うことなく、選択ＩＤ情報に対応する被写体に関する情報を得ることができ、それを用いて、内容記述メタデータを作成することができる。

具体的には、被写体に関する情報をＩＤ情報に対応させて無線タグ２、リーダ４、またはＩＤ情報収集手段５２に記録しておき、ＩＤ情報収集手段５２が、収集した全てのＩＤ情報の中から、映像フレーム収集手段５１から受信した被写体の属性が示す被写体に割り当てられたＩＤ情報を選択して、対応する被写体に関する情報とともに内容記述メタデータ作成手段５４へ送り、内容記述メタデータ作成手段５４は、映像フレーム取得手段５１から映像フレームに対応して送られてきた映像フレーム収集時刻と同じ時刻に収集された選択ＩＤ情報に対応する被写体に関する情報を用いて、内容記述メタデータを映像フレーム毎に作成する。

本実施形態によれば、内容記述メタデータ作成装置の内容記述メタデータ作成手段５４は、ＩＤ情報を用いて被写体に関する情報を検索する必要がなくなり、また被写体に関する情報を被写体情報管理手段５３を用いて管理する必要がなくなる。

[第３の実施形態]
第１の実施形態においては、収集した全てのＩＤ情報の中からの被写体に割り当てられたＩＤ情報の選択を、ＩＤ情報収集手段５２が実行することとしていた。本実施形態においては、映像フレーム収集手段５１によって検出された被写体の属性を、ＩＤ情報収集手段５２ではなく内容記述メタデータ作成手段５４へ送ることにより、内容記述メタデータ作成手段５４は、全てのＩＤ情報を収集し、収集した全てのＩＤ情報の中から被写体の属性が示す被写体に割り当てられたＩＤ情報を選択し、被写体に関する情報の検索に用いる。つまり、第１の実施形態においては、ＩＤ情報収集手段５２が行っていたＩＤ情報の選択を、本実施形態においては、内容記述メタデータ作成手段５４が行う。この場合、内容記述メタデータ作成手段５４には、予め、被写体に関する情報とそれに対応するＩＤ情報が記録されている。

本実施形態によれば、内容記述メタデータ作成装置は、映像フレーム収集手段５１からＩＤ情報収集手段５２へ、検出した被写体の属性と映像フレーム収集時刻を送る必要がなくなり、またＩＤ情報収集手段５２においてＩＤ情報の選択を行う必要がなくなることから、ＩＤ情報収集手段５２の負担を軽減することができる。

本発明の第１の実施形態における、内容記述メタデータを作成するシステムの構成図である。 本発明の第１の実施形態における、内容記述メタデータ作成装置の構成図である。 本発明の第１の実施形態における、内容記述メタデータ作成の動作を示すフローチャートである。 本発明の第１の実施形態における、映像フレーム収集手段が収集した映像フレームと、内容記述メタデータ作成手段が作成した内容記述メタデータとの対応関係を示す概念図である。

符号の説明

１ 撮影装置
２ 無線タグ（ＩＤ情報記録手段）
３ アンテナ
４ リーダ
５ 内容記述メタデータ作成装置
５１ 映像フレーム収集手段
５２ ＩＤ情報収集手段
５３ 被写体情報管理手段
５４ 内容記述メタデータ作成手段
５５ 内容記述メタデータ管理手段

Claims (12)

1. 撮影装置が記録した映像フレーム毎に、被写体に関する情報を記述した内容記述メタデータを作成する内容記述メタデータ作成方法であって、
   前記被写体の前記映像フレームを収集する映像フレーム収集手段が、前記撮影装置から前記記録した映像フレームを収集し、前記被写体に関する情報を記述した前記内容記述メタデータを作成する内容記述メタデータ作成手段へ送る手順と、
   前記映像フレーム収集手段が、前記収集した映像フレームから被写体を検出し、前記検出した被写体の属性を、前記被写体のＩＤ情報を収集するＩＤ情報収集手段へ送る手順と、
   前記ＩＤ情報収集手段は、前記被写体の属性とそれに対応するＩＤ情報を記憶しており、
   前記ＩＤ情報収集手段が、前記被写体に装着された前記ＩＤ情報を記録しているＩＤ情報記録手段から前記ＩＤ情報を収集し、前記収集したＩＤ情報の中から、前記映像フレーム収集手段から受信した被写体の属性に基づいて、その被写体の属性に対応するＩＤ情報を選択し、前記選択したＩＤ情報を前記内容記述メタデータ作成手段へ送る手順と、
   前記内容記述メタデータ作成手段が、前記映像フレーム収集手段から受信した前記映像フレームと前記ＩＤ情報収集手段から受信した前記選択したＩＤ情報と、被写体情報管理手段において前記ＩＤ情報に対応して記録されている前記被写体に関する情報とを用いて、前記内容記述メタデータを作成する手順と、
   を実行することを特徴とする内容記述メタデータ作成方法。
2. 撮影装置が記録した映像フレーム毎に、被写体に関する情報を記述した内容記述メタデータを作成する内容記述メタデータ作成方法であって、
   前記被写体の前記映像フレームを収集する映像フレーム収集手段が、前記撮影装置から前記記録した映像フレームを収集し、前記被写体に関する情報を記述した前記内容記述メタデータを作成する内容記述メタデータ作成手段へ送る手順と、
   前記映像フレーム収集手段が、前記収集した映像フレームから被写体を検出し、前記検出した被写体の属性を、前記被写体のＩＤ情報を収集するＩＤ情報収集手段へ送る手順と、
   前記ＩＤ情報収集手段は、前記被写体の属性とそれに対応するＩＤ情報、および当該ＩＤ情報に対応する前記被写体に関する情報を記憶しており、
   前記ＩＤ情報収集手段が、前記被写体に装着された前記ＩＤ情報を記録しているＩＤ情報記録手段から前記ＩＤ情報を収集し、前記収集したＩＤ情報の中から、前記映像フレーム収集手段から受信した被写体の属性に基づいて、その被写体の属性に対応するＩＤ情報を選択し、前記選択したＩＤ情報と当該ＩＤ情報に対応する前記被写体に関する情報とを前記内容記述メタデータ作成手段へ送る手順と、
   前記内容記述メタデータ作成手段が、前記映像フレーム収集手段から受信した前記映像フレームと、前記ＩＤ情報収集手段から受信した前記選択したＩＤ情報および当該ＩＤ情報に対応する前記被写体に関する情報とを用いて前記内容記述メタデータを作成する手順と、
   を実行することを特徴とする内容記述メタデータ作成方法。
3. 前記内容記述メタデータと前記映像フレームとを管理する内容記述メタデータ管理手段が、
   前記内容記述メタデータ作成手段によって作成された前記内容記述メタデータを、前記内容記述メタデータを作成する際に用いた前記映像フレームに対応させて記録すること、および／または前記内容記述メタデータを作成する際に用いた前記映像フレームとともに端末へ送信すること
   を特徴とする請求項１または請求項２に記載の内容記述メタデータ作成方法。
4. 前記被写体に関する情報を前記ＩＤ情報に対応させて、
   前記ＩＤ情報記録手段に記録すること
   を特徴とする請求項１ないし請求項３のいずれか一項に記載の内容記述メタデータ作成方法。
5. 前記ＩＤ情報収集手段が、収集した前記ＩＤ情報の中から、
   または前記内容記述メタデータ作成手段が、前記ＩＤ情報収集手段から受信した前記ＩＤ情報の中から、
   前記映像フレームに記録されている前記被写体に装着された前記ＩＤ情報記録手段が記録している前記ＩＤ情報を選択すること
   を特徴とする請求項１ないし請求項４のいずれか一項に記載の内容記述メタデータ作成方法。
6. 前記映像フレームと前記ＩＤ情報とが、同じ時刻に収集された映像フレームとＩＤ情報であること
   を特徴とする請求項５に記載の内容記述メタデータ作成方法。
7. 前記ＩＤ情報記録手段が記録している前記ＩＤ情報は、
   無線タグに記録された情報、バーコードに記録された情報、光源を感知するセンサに検出された情報、または位置検出装置に検出された位置情報であること
   を特徴とする請求項１ないし請求項６のいずれか一項に記載の内容記述メタデータ作成方法。
8. 撮影装置が記録した映像フレーム毎に、被写体に関する情報を記述した内容記述メタデータを作成する内容記述メタデータ作成装置であって、
   前記撮影装置から前記記録した映像フレームを収集し、前記被写体に関する情報を記述した前記内容記述メタデータを作成する内容記述メタデータ作成手段へ送り、さらに、前記収集した映像フレームから被写体を検出し、前記検出した被写体の属性を、前記被写体のＩＤ情報を収集するＩＤ情報収集手段へ送る映像フレーム収集手段と、
   前記被写体の属性とそれに対応するＩＤ情報を記憶しており、前記被写体に装着された前記ＩＤ情報を記録しているＩＤ情報記録手段から前記ＩＤ情報を収集し、前記収集したＩＤ情報の中から、前記映像フレーム収集手段から受信した被写体の属性に基づいて、その被写体の属性に対応するＩＤ情報を選択し、前記選択したＩＤ情報を前記内容記述メタデータ作成手段へ送る前記ＩＤ情報収集手段と、
   前記映像フレーム収集手段から受信した前記映像フレームと、前記ＩＤ情報収集手段から受信した前記選択したＩＤ情報と、被写体情報管理手段において前記ＩＤ情報に対応して記録されている前記被写体に関する情報とを用いて、前記内容記述メタデータを作成する前記内容記述メタデータ作成手段と、
   を備えることを特徴とする内容記述メタデータ作成装置。
9. 撮影装置が記録した映像フレーム毎に、被写体に関する情報を記述した内容記述メタデータを作成する内容記述メタデータ作成装置であって、
   前記撮影装置から前記記録した映像フレームを収集し、前記被写体に関する情報を記述した前記内容記述メタデータを作成する内容記述メタデータ作成手段へ送り、さらに、前記収集した映像フレームから被写体を検出し、前記検出した被写体の属性を、前記被写体のＩＤ情報を収集するＩＤ情報収集手段へ送る映像フレーム収集手段と、
   前記被写体の属性とそれに対応するＩＤ情報、および当該ＩＤ情報に対応する前記被写体に関する情報を記憶しており、前記被写体に装着された前記ＩＤ情報を記録しているＩＤ情報記録手段から前記ＩＤ情報を収集し、前記収集したＩＤ情報の中から、前記映像フレーム収集手段から受信した被写体の属性に基づいて、その被写体の属性に対応するＩＤ情報を選択し、前記選択したＩＤ情報と当該ＩＤ情報に対応する前記被写体に関する情報とを前記内容記述メタデータ作成手段へ送る前記ＩＤ情報収集手段と、
   前記映像フレーム収集手段から受信した前記映像フレームと、前記ＩＤ情報収集手段から受信した前記選択したＩＤ情報および当該ＩＤ情報に対応する前記被写体に関する情報とを用いて前記内容記述メタデータを作成する前記内容記述メタデータ作成手段と、
   を備えることを特徴とする内容記述メタデータ作成装置。
10. 前記内容記述メタデータと前記映像フレームとを管理する内容記述メタデータ管理手段が、
    前記内容記述メタデータ作成手段によって作成された前記内容記述メタデータを、前記内容記述メタデータを作成する際に用いた前記映像フレームに対応させて記録すること、および／または前記内容記述メタデータを作成する際に用いた前記映像フレームとともに端末へ送信すること
    を特徴とする請求項８または請求項９に記載の内容記述メタデータ作成装置。
11. 請求項１から請求項７のいずれか一項に記載の内容記述メタデータ作成方法をコンピュータに実行させるための内容記述メタデータ作成プログラム。
12. 請求項１から請求項７のいずれか一項に記載の内容記述メタデータ作成方法をコンピュータに実行させるプログラムを記録したコンピュータに読み取り可能な記録媒体。

Images