JP2002132782A

JP2002132782A - マルチメディアデータ管理システム

Info

Publication number: JP2002132782A
Application number: JP2000328776A
Authority: JP
Inventors: Yoshihiro Omori; 善啓大盛; Koji Yamamoto; 晃司山本; Osamu Hori; 修堀
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-10-27
Filing date: 2000-10-27
Publication date: 2002-05-10
Also published as: US20020059303A1

Abstract

(57)【要約】【課題】従来のマルチメディアデータベースでは、検索
見出し、クエリ、スタイルの再利用が難しかったため、
テキストだけの検索結果と比較してはるかに豊富な表現
を持つマルチメディアデータの検索結果をユーザにとっ
て見たい見方で見せることが困難であった。【解決手段】ユーザが検索を指示する画面構成要素であ
る検索見出しと、検索式であるクエリと、検索結果をユ
ーザに分かりやすく提示するために検索結果を変換する
規則であるスタイルと、を対応付けて管理することによ
り、検索見出し、クエリ、スタイルを再利用できるよう
にすることにより、豊富な表現を持つマルチメディアデ
ータの検索結果をユーザの好みの見方で見ることができ
るようになる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本願発明は、静止画、動画、
音声などを検索するマルチメディアデータ管理システム
に係り、ユーザの欲する絞込み検索や類似検索を柔軟に
可能にするマルチメディアデータ管理システムに関す
る。

【０００２】

【従来の技術】マルチメディアデータを扱うデータベー
スとして、ＲＤＢ（リレーショナルデータベース）をマ
ルチメディアデータも扱えるように拡張したもの（「Ｒ
ＤＢ拡張データベース」と呼ぶ）、検索問い合わせ画面
や検索結果表示画面をＧＵＩ上でデザインできるもの
（「ＧＵＩデザインデータベース」と呼ぶ）が挙げられ
る。

【０００３】ＲＤＢ拡張データベースの例としてOracle
社interMediaを挙げることができる。このデータベース
では、静止画、動画、音声などのマルチメディアデータ
をテキストデータと同様に扱うことができる。しかし、
ユーザがデータベースへの問い合わせを要求するＧＵＩ
や、検索結果として出力するマルチメディアデータをさ
まざまな見方でユーザに見せるかは、クライアントプロ
グラムを作りこむ必要があり、カスタマイズした見せ方
に柔軟に対応するには非常に高いコストがかかった。

【０００４】また、ＧＵＩデザインデータベースの例と
して、Lotus 社Notes を挙げることができる。ユーザの
検索要求や検索結果を表示するウインドウにＧＵＩ要素
を配置して、それらの動作をスクリプト言語でプログラ
ムすることにより、マルチメディアデータを含む検索結
果をさまざまな見方で見せることができる。しかし、絞
込み検索や類似検索をするには、スクリプト言語で作り
込む必要があった。Microsoft社のSQL-Server とAccess
の組み合わせも同様の問題点を持つ。

【０００５】

【発明が解決しようとする課題】以上のように、従来の
マルチメディアデータ管理システムでは、検索見出しに
対する動作がスクリプトやプログラムに埋め込まれてお
り、テキストだけの検索結果と比較してはるかに豊富な
表現を持つマルチメディアデータに対して、絞込検索や
類似検索を効率良く実行することが困難であった。

【０００６】

【課題を解決するための手段】前述の課題を解決するた
めに、本願発明は、属性の付加された検索見出しをユー
ザが選択する検索見出し選択部と、選択された属性から
問い合わせ式を動的に生成する問い合わせ式生成部と、
さらに検索結果に属性を付加する検索結果変換部とを有
することにより、絞込み検索や類似検索を効率良く実行
できるようにしたものである。

【０００７】また、本願発明は、検索結果を代表する代
表画像を自動的に生成するため、既にデータベースに記
憶されているマルチメディアデータのみを組み合わせた
検索結果と比較して、ユーザはひと目で検索結果を把握
できるようになる。

【０００８】

【発明の実施の形態】以下、図面を参照して本願発明の
実施形態を説明する。

【０００９】（第１の実施形態）図１は本願発明の第１
実施形態に係るマルチメディアデータ管理システムの概
略構成を示す図であり、図２はこの第１実施形態のマル
チメディアデータ管理システムの表示画面の一例を示す
図である。

【００１０】図１に示すように、この第１実施形態のマ
ルチメディアデータ管理システムは、属性（以下、「検
索見出し属性」と呼ぶ）の付けられたボタンのようなＧ
ＵＩ部品（以下、「検索見出し」と呼ぶ）を用いてユー
ザが検索を指示する検索見出し選択部１と、検索見出し
選択部からの要求によって選択された属性から問い合わ
せ式（以下、「クエリ」と呼ぶ）を動的に生成してデー
タベースへ検索要求するための問合せ式生成部２と、静
止画・動画・音声・テキストなどのマルチメディアデー
タおよびそれらのデータの属性（以下、「データ属性」
と呼ぶ）を記憶し、問合せ式生成部２からのクエリを入
力して属性を検索して結果（以下、「検索結果」と呼
ぶ）を出力するデータベース部３とデータベース部３か
らの検索結果を入力して検索見出し属性を付加する検索
結果変換部４と、検索結果変換部で変換された検索結果
（以下、「変換済み検索結果」と呼ぶ）を入力して例え
ばＷｅｂブラウザなどに表示してユーザに検索結果を提
示する検索結果提示部５と、から構成される。以下、図
２との対応を含めて各部を説明する。

【００１１】検索見出し選択部１は、ユーザの検索指示
を受け付ける。例えば、パソコンの画面上に描かれたボ
タンなどのＧＵＩ部品や、リモコンのボタンや、ユーザ
の体に装着されたセンサで構成される。図２の例では、
画面２１にあるツリー状に配置されたボタンや、画面２
２にある検索結果として表示されたアイコンで構成され
る。

【００１２】問合せ式生成部２は、検索見出し選択部で
受け取った検索指示に対応するクエリを、選択された検
索見出しに付加された検索見出し属性から動的に生成し
てデータベース部３に出力する。例えば、図２の画面を
構成するプログラムの関数として構成される。

【００１３】データベース部３は、動画・静止画・音声
・テキストなどのマルチメディアデータおよびこれらの
データ属性を記憶する。さらに、問合せ式生成部２から
入力したクエリを入力して記憶したデータ属性を検索し
て、検索結果を検索結果変換部４に出力する。例えば、
ＸＭＬデータベースとして構成される。

【００１４】検索結果変換部４は、検索結果を入力して
これに検索見出し属性を付加して検索結果提示部５に出
力する。例えば、図２の画面を構成するプログラムの関
数として構成される。

【００１５】検索結果胎児部５は、属性の付加された検
索結果を画面に表示して検索結果をユーザに提示する。
例えば、図２の画面を構成するＷｅｂブラウザとして構
成される。

【００１６】以下、図２において画面２１に表示された
「ＴＶ１」をユーザが選択して、これに対応するデータ
を検索して画面２２に結果を表示し、処理を例にとり説
明する。

【００１７】図３は、検索見出し選択部１で、検索見出
しと検索見出し属性が対応付けられて記憶される様子を
示す図である。説明のために左側に行番号を付してあ
る。この対応付けはＸＭＬ（Extensible Markup Langua
ge）（http://www.w3.org/参照）で記述され、検索見出
し選択部１に記憶される。

【００１８】画面２１のツリー状のボタンは検索見出し
であり、＜ｎｏｄｅｓ＞タグと＜ｎｏｄｅ＞タグとで定
義されている。＜ｎｏｄｅｓ＞タグおよび＜ｎｏｄｅ＞
タグは、title属性を持ち、ここに画面２１のボタンに
表示する文字列を格納する。＜ｎｏｄｅ＞タグは属性を
定義する＜ｑｕｅｒｙ＞タグを要素として持つことがで
き、検索見出しと検索見出し属性とを対応付ける。

【００１９】＜ｎｏｄｅｓ＞はたとえば画面２１の「テ
レビ」ボタンのようにその下にさらに要素を持つもの
（以下、「枝ツリー」と呼ぶ）を定義する。例えば、画
面２１の「ｒｏｏｔ」ノードは行０１で定義されてお
り、行４５の間にｒｏｏｔノードに含まれる枝ツリーが
記述されている。同様に画面２１の「テレビ」は行０５
から行４４に定義されており、「チャンネル」は行１９
から３５で、「ジャンル」は行３６から行４３で定義さ
れている。これらのノードはすべて枝ノードである。

【００２０】＜ｎｏｄｅ＞タグはその下に要素を持たな
いボタンを定義する。例えば、「すべて」は行１６から
１８で定義されており葉ノードである。同様に「ＴＶ
１」は行２０から行２２で、「ＴＶ４」は行２３から行
２５で、といったように定義されている。

【００２１】＜ｑｕｅｒｙ＞タグは＜ｎｏｄｅ＞タグに
対応する属性を定義する。この例では、属性は＜ｑｕｅ
ｒｙ＞タグで定義されており、＜ｎｏｄｅ＞タグに対応
するクエリの格納されたファイル名を格納する。例え
ば、画面２１の「ＴＶ１」ボタンは、図３の行２０から
行２２で定義されており、行２１によってクエリと対応
付けられる。

【００２２】検索見出し選択部１は、検索見出し対応記
憶部６に記憶された＜ｎｏｄｅｓ＞タグおよび＜ｎｏｄ
ｅ＞タグによるツリー構造を図２に示すようにツリー状
のボタンとして配置する。ユーザが「ＴＶ１」をクリッ
クすると、検索見出し選択部は、問合せ式生成部２に
「ＴＶ１」という文字列と属性である「qt_tv1.xml」と
いうファイル名を渡す。

【００２３】問合せ式生成部２は、属性からクエリを生
成する。この例では、「qt_tv1.xml」というファイルを
読み込んでそれをクエリとし、データベース３にデータ
検索要求を出す。

【００２４】データベース３はマルチメディアデータと
そのデータ属性を記憶する。さらに、ＸＭＬで記述され
たクエリを問合せ式生成部２から入力し、そのクエリに
したがってマルチメディアデータの属性を検索してＸＭ
Ｌで記述された検索結果を検索結果変換部４に出力す
る。

【００２５】図４は、データベース３に記憶されたデー
タ属性の例を示す図である。説明のために左側に行番号
を付してある。データベース３はデータ属性をツリー状
に記憶することができ、図４はこのツリー構造をＸＭＬ
で記述したものである。＜ｒｏｏｔ＞ノードは最上位の
枝であり、その下にすべてのデータ属性が記憶される。
図４の例では、＜ｒｏｏｔ＞ノードの下に５個の＜Ｍｅ
ｄｉａＩｎｆｏｒｍａｔｉｏｎ＞ノードが記憶されてい
る。すなわち、＜ＭｅｄｉａＩｎｆｏｒｍａｔｉｏｎ＞
ノードはひとつのテレビ動画像の属性を表しており、動
画像ファイルの位置（＜ＭｅｉｄａＩｎｓｔａｎｃｅ
＞）、タイトル（＜Ｔｉｔｌｅ＞）、代表画像（＜Ｔｉ
ｔｌｅＩｍａｇｅ＞）、放送局名（＜Ｓｔａｔｉｏｎ
＞）、録画日（＜Ｄａｔｅ＞）が記憶される。例えば、
行０２から行０８はテニスの決勝戦をＴＶから録画した
データを表しており、動画像ファイルが「movie1.as
f」、タイトルが「テニス決勝」、代表画像が「image1.
jpg」、放送局名が「ＴＶ３」、録画日が「２０００年
１０月１５日」である。

【００２６】図５は、クエリの一例を表す図であり、こ
こでは「qt_tv1.xml」として説明する。説明のために左
側に行番号を付してある。この対応付けはＸＭＬで記述
されている。このクエリは＜ｋｆ：ｑｕｅｒｙ＞タグと
＜ｋｆ：ｓｅｌｅｃｔ＞タグと＜ｋｆ：ｆｒｏｍ＞タグ
で構成される。＜ｋｆ：ｑｕｅｒｙ＞タグと＜／ｋｆ：
ｑｕｅｒｙ＞は問い合わせ式の開始と終了を表し、＜ｋ
ｆ：ｓｅｌｅｃｔ＞と＜／ｋｆ：ｓｅｌｅｃｔ＞は検索
結果の出力形式の開始と終了を表し、＜ｋｆ：ｆｒｏｍ
＞と＜／ｋｆ：ｆｒｏｍ＞はデータベース内のどこを検
索するかを表す。

【００２７】図５の例では、行０２から行２１の＜ｋ
ｆ：ｑｕｅｒｙ＞タグによって問い合わせ式を定義して
いる。行０３から行１１の＜ｋｆ：ｓｅｌｅｃｔ＞タグ
は、データベースで検索されるたびに行０４から行１０
が繰り返し出力することを定義している。行１２から行
２０の＜ｋｆ：ｆｒｏｍ＞タグは「path」属性で指定さ
れたデータベース内での位置に、行１３から行１９と同
じ構造のデータがあるかどうかを検索して、ある場合は
「$」で始まる変数に値をバインドする。

【００２８】また、図５の例では、行１７で＜Ｓｔａｔ
ｉｏｎ＞タグのみが固定値で、その他の＜Ｔｉｔｌｅ
＞、＜ＴｉｔｌｅＩｍａｇｅ＞、＜Ｓｔａｔｉｏｎ＞タ
グは変数になっている。この例では＜Ｓｔａｔｉｏｎ＞
タグの値が「ＴＶ１」だから、図４の行０９から行１５
と、行２３から行２９にマッチする。

【００２９】図４の行０９から行１５にマッチした場合
は、＄ＭｅｄｉａＩｎｓｔａｎｃｅに「movie2.asf」、
＄Ｔｉｔｌｅに「月曜ドラマ」、＄ＴｉｔｉｌｅＩｍａ
ｇｅに「image2.jpg」がバインドされる。図４の行２３
から行２９にマッチした場合も同様に動作する。する
と、図５の行０３から行１１で定義された書式で検索結
果が出力される。このようにして出力された検索結果は
図５の行０１と行２２に記述されている＜ｒｅｓｕｌｔ
ｓ＞タグでくくられて出力される。図６は、このように
して検索された、検索結果の一例を表す図である。

【００３０】検索結果変換部４は、図６に示す検索結果
を入力すると、図７に示す変換規則を用いて属性を付加
する。

【００３１】図７は、変換規則の一例を表す図である。
この変換規則はＸＭＬデータをＸＭＬデータに変換する
規則であるＸＳＬＴ（Extensible Stylesheet Language
Transformations）（http://www.w3.org/TR/xslt.html
参照）で記述されている。この例では、図６の検索結果
を代表画像で表示表示するよう変換するときに、この代
表画像に図７の行２６で検索結果に検索見出し属性を付
加している。検索見出し属性としては、検索結果として
得られたタイトル、代表画像名、放送局名、動画ファイ
ル名、記録日を付加する。この変換のプロセスはＸＳＬ
Ｔの規格にしたがったものであれば何でもよく、一般的
なものであるのでここでは省略する。ここで付加した検
索見出し属性は、絞込み検索やる類似検索で使用され
る。図８は、このようにして変換された、変換済み検索
結果の一例であり、ＸＨＴＭＬで記述されている。

【００３２】検索結果提示部５は、図８に示された変換
済み検索結果を入力して、図２の画面２２に表示して、
検索結果をユーザに提示する。画面２２は例えば、Ｗｅ
ｂブラウザで構成される。図１１は、以上の動作をま
とめたフローチャートである。以下にこのフローチャー
トに従って処理の流れを説明する。

【００３３】まず、検索見出し選択部１で、ユーザが検
索見出しを選択すると（ステップＳ１）、問合せ式生成
部２は検索見出しに付加された検索見出し属性からクエ
リを生成してデータベース３に出力する（ステップＳ
２）。データベース３はマルチメディアデータの属性を
検索して検索結果を検索結果変換部４に出力する（ステ
ップＳ３）。検索結果変換部４は検索結果に検索見出し
属性を付加して変換し、検索結果提示部に出力する（ス
テップＳ４）。検索結果提示部５は変換済み検索結果を
入力し、Ｗｅｂブラウザに表示して検索結果をユーザに
提示する（ステップＳ５）。

【００３４】このように、検索見出しや検索結果に検索
見出し属性を付加しておくことにより、検索見出しを選
択したときの動作を柔軟に設定できるようになる。

【００３５】（第１実施形態の変形例）以下に、この第
１実施形態のマルチメディアデータ管理システムに施す
ことのできる変形例を示す。

【００３６】第１実施形態の検索見出し選択部１では、
画面上に配置されたツリー上のボタンを選択したが、検
索見出しはこれに限らずユーザが検索の指示を与えられ
るものであれば何でも良い。たとえば、チェックボック
ス、ラジオボタン、テキストボックスなどのＧＵＩ部品
であっても良いし、あるいは腕に取り付けられた加速度
センサなどを用いて身振りや手振りで検索の指示を与え
ても良い。テキストボックスの場合は、フリーキーワー
ドを入力しても良い。第１実施形態の検索結果変換部
４は、検索見出し属性を付加するだけであったが、検索
結果の見方（以下、「スタイル」という）を選択しても
良い。図９は、検索結果提示部５でユーザがスタイルを
選択する画面の一例を表す図であり、図２の「スタイ
ル」メニューを選択することにより起動する。

【００３７】９１は表示形態を変更する画面であり、こ
の例ではリスト形式、サムネイル形式、カレンダー形
式、規定の形式を選択できる。９１に表示するリスト
は、図３に示す検索見出し対応記憶部に記憶した検索見
出しと対応するスタイルのうち、「type」属性に記述さ
れた表示形態を重複しないように表示する。選択は形式
名をクリックすると選択された形式がハイライトされる
ことにより行う。

【００３８】９２は表示外観を変更する画面であり、こ
の例ではクラシック調、エレガント調、ファンシー調、
カレンダー調、規定を選択することができ、選択はｂ１
と同様の操作で行う。設定が完了すると、「ＯＫ」ボタ
ンを押して選択した「type」属性と「skin」属性を持つ
スタイルを選択する。図９の例では、fancy.xslがスタ
イルとして選択されている。図１０は、図２と同じ検索
結果をカレンダー表示した画面の一例を示す図である。

【００３９】このスタイル選択はユーザが行ったが、ス
タイルの選択方法はこれに限らず、ひとつのスタイルを
選択できる方法であれば何でも良い。また、ユーザの状
況に応じてスタイルを選択しても良い。例えば、ユーザ
が電話を使って検索の指示を与えた場合、ユーザは画像
を見ることはできないから、合成音声を読み上げるスタ
イルを自動的に選択しても良い。

【００４０】第１実施形態では、検索の指示があると毎
回検索を行ったが、過去に実行したクエリと同じクエリ
を実行する場合で、かつ、そのときからデータの更新が
ない場合は、過去にクエリを実行したときの検索結果を
記憶しておいて、それを検索結果として出力しても良
い。

【００４１】図１２はデータ一時記憶を実現するための
概略構成を示す図であり、検索見出し選択部１と問合せ
式生成部２の間、および、データベース部３と検索結果
変換部４の間に、キャッシュ６を追加した構成になって
いる。

【００４２】キャッシュ６は問合せ式生成部から検索見
出しを入力して、過去に同じ検索見出しを入力してかつ
データベースが更新されていない場合は、過去の検索結
果を検索結果変換部４に出力する。そうでない場合は、
検索見出しをデータベース３に出力して検索結果を問合
せ式生成部４に出力する。検索見出しと検索結果は１対
１のテーブル形式で記憶されており、新規に検索を行っ
た場合はテーブルに検索見出しと検索結果の対を追加す
る。データベース３に記憶されるデータが更新された場
合はこのテーブルをクリアする。これにより、高速な検
索が可能になる。特に本発明では、検索見出しは固定で
ある場合が多いので、検索結果の一時記憶を使う機会が
多く有効である。また、検索見出しに使ったタイトル文
字列をテーブルの項目として用いることができるため、
テーブルのサイズを小さくすることができる。

【００４３】第１実施形態の検索見出し選択部１は、一
度にひとつの検索見出しを選択したが、一度に複数の検
索見出しを選択しても良い。例えば、クエリと対応付け
られたボタンと、フリーキーワードを入力するテキスト
ボックスとを組み合わせても良い。この場合、クエリの
中に特殊な変数、例えば$free_keywordを含ませてお
き、問合せ式生成部２で図２の画面２３に入力したテキ
ストと置き換えることにより、フリーキーワード検索を
しても良い。

【００４４】第１実施形態の検索見出し選択部で複数の
検索見出しを使う場合、選択の組み合わせをカウントし
ておいて頻繁に使用する組み合わせを新規の検索見出し
として自動的に登録しても良い。ボタンとフリーキーワ
ードの組み合わせの場合、同じフリーキーワードを入力
した回数をカウントしておいて、例えば１０回を超える
と自動的に新たなボタンとして登録しても良い。この登
録は、検索見出し対応記憶部に検索見出しとクエリを対
応付けて記憶することにより行う。この使用頻度のカウ
ントは、ユーザごとに行っても良い。ユーザの識別は、
例えばプログラム起動時にユーザ名を入力することによ
り行う。これにより、ユーザごとに検索見出しをカスタ
マイズすることができる。

【００４５】第１実施形態の検索見出しは固定であった
が、データベースの内容に応じて動的に生成しても良
い。例えば、図４のデータを例に取ると、あらかじめ全
国の放送局用の検索見出しを用意すると、ユーザが見る
ことのできない放送局用の検索見出しを大量に表示しな
ければならなくなってしまう。そこで、データベース３
に記憶されている放送局名のみを検索見出しとして使用
しても良い。この動的な検索見出しの生成は、例えば検
索見出し選択部１がデータベース３に対して記憶してい
る放送局名のみを返すクエリを発行して、その結果を検
索見出し対応部６に登録すればよい。このとき、クエリ
も動的に生成する。これにより、データベースに記憶さ
れていない余分な検索見出しを表示しなくて済むためユ
ーザの混乱を低減させることができる。

【００４６】（第２実施形態）第１実施形態の検索見出
し選択部１は検索見出しを選択したが、検索結果を選択
しても良い。例えば、図２の画面２２に検索結果として
表示されたテレビ番組の代表画像アイコン２４を選択し
た場合、問い合わせ式生成部はこれに付加された検索見
出し属性から動的にクエリを生成する。

【００４７】ユーザがアイコン２４をクリックすると、
検索見出し選択部１はアイコン２４を選択してこれに付
加された検索見出し属性を問合せ式生成部２に出力す
る。この例の場合、２４に付加された検索見出し属性は
図８の行２６のように記述されている。検索見出し属性
はattribute 属性で定義され、内容はＸＭＬで記述され
た「＜ａｔｔｒｉｂｕｔｅ＞＜Ｔｉｔｌｅ＞１１時のニ
ュース＜／Ｔｉｔｌｅ＞＜ＴｉｔｌｅＩｍａｇｅ＞imag
e4.jpg＜／ＴｉｔｌｅＩｍａｇｅ＞＜Ｓｔａｔｉｏｎ＞
ＴＶ１＜／Ｓｔａｔｉｏｎ＞＜ＭｅｄｉａＩｎｓｔａｎ
ｃｅ＞movie4.asf＜／ＭｅｄｉａＩｎｓｔａｎｃｅ＞＜
Ｄａｔｅ＞2000-10-26＜／Ｄａｔｅ＞＜／ａｔｔｒｉｂ
ｕｔｅ＞」という文字列である。検索見出し属性には、
このほかにも、アイコンに表示された人物の名前、アイ
コンで代表されるＴＶ番組の登場人物名、など、検索見
出しに関する情報であればなんでもよい。アイコンの人
物名や当人物名が選択された場合は同一人物が登場する
ＴＶ番組を類似検索する。

【００４８】問合せ式生成部２は、＜ＴｉｔｌｅＩｍａ
ｇｅ＞タグを検出して、どのような検索をするかをユー
ザに問い合わせる。図１３は検索方法の問い合わせ画面
の一例を示す図である。検索見出し属性から検索方法を
特定して列挙し、その検索方法をリスト表示している。
検索方法の特定は、＜ＴｉｔｌｅＩｍａｇｅ＞ならば画
像の類似検索、といったように、検索見出し属性とを一
対一でテーブルとして持っており、これを用いる。図１
３の１３１は表示形態を変更する画面であり、「同一日
付」が選択された場合、このデータと同一の日付に記録
されたＴＶ画像を検索するクエリを生成する。

【００４９】図１４はこのようにして生成されたクエリ
の一例を示す。図６に示したこの検索結果を生成したク
エリのうち、＜Ｄａｔｅ＞の内容を具体的な日時に置き
換えて、＜Ｓｔａｔｉｏｎ＞の内容を変数に置き換える
ことにより生成している。以下の処理は第１実施形態と
同様に行って検索結果を表示するため、説明を省略す
る。

【００５０】このように、検索見出しや検索結果に検索
見出し属性を付加しておくことにより、絞込検索や類似
検索を柔軟に実行できるようになり、ユーザは欲しい情
報をすぐに検索できるようになる。

【００５１】（第３実施形態）図１５はＸＭＬデータベ
ースにより管理されている映像データより代表画面を自
動的に生成する情報装置及び方法について、説明する図
である。また、処理の流れを説明するフローチャートを
図１６に示す。

【００５２】ステップＳ５１１ではアプリケーション５
００１より、クエリをＸＭＬデータベース５００２に対
して発行する。ＸＭＬデータベース５００２は登録され
ている映像のメタデータ５００３より、該当する映像を
検索し、該当する映像データの在所と代表フレーム番号
を含むＸＭＬデータを出力する。アプリケーション５０
０１はＨＴＭＬの表示機能を持つ、例えば、Ｗｅｂブラ
ウザやＷｅｂブラウザの機能を含んだアプリケーション
である。また、映像データの在所はローカルなディスク
やネットワーク上に置かれているファイルのファイル名
であり、ＵＲＬなどを用いて指定する。また、フレーム
番号とは映像中の特定の１フレームを決定することがで
きるものの総称で、タイムスタンプも含まれる。

【００５３】ステップＳ５１２では受け取ったＸＭＬデ
ータを５００３においてＸＳＬＴにより、ＨＴＭＬに変
換し、アプリケーション５００１に転送する。

【００５４】ステップＳ５１３ではアプリケーション５
００１に転送されたＨＴＭＬデータに記述されている映
像データの在所と代表フレームの番号を代表画面生成プ
ログラム５００５に渡す。

【００５５】ステップＳ５１４では代表画面生成プログ
ラム５００５が映像データの在所に従い、記憶装置５０
０６に格納されている映像データを読み出し、代表フレ
ーム番号によって示される位置のフレームより、代表画
像を作成する。作成された代表画像はアプリケーション
５００１に転送される。このとき、画像データ自体を転
送してもよいし、画像データをファイルに保存し、ファ
イルを参照するために必要なファイル名やＵＲＬを転送
してもよい。

【００５６】ステップＳ５１１において、複数の映像が
クエリに該当した場合はステップＳ５１３とＳ５１４を
該当した映像の数だけ繰り返し、それぞれの映像に対応
する代表画像を生成する。

【００５７】ステップＳ５１５ではアプリケーション５
００１上で、ステップＳ５１２で転送されたＨＴＭＬと
ステップＳ５１４で生成された代表フレームの画像を合
わせて表示する。

【００５８】ステップＳ５１１において、ＸＭＬデータ
ベースより出力される代表フレーム番号は、予め、メタ
データとして映像ごとに対応する代表フレームを登録し
ておく方法や先頭から何フレーム目というように、固定
フレーム番号を用いる方法がある。

【００５９】図１７は代表フレーム番号を記述するため
のメタデータの項目例である。映像データのＵＲＬ５２
０１には対応する映像データの在所がＵＲＬを用いて記
述されている。代表フレーム番号５２０２は映像データ
に対応する代表フレームである。また、キーワード５２
０３は映像データに対応するキーワードである。

【００６０】クエリの内容や登録されている映像のジャ
ンルによってはメタデータに記述された代表フレーム番
号を用いなくても、効果的な代表画面を選択することが
可能である。

【００６１】例えば、メタデータとして、テロップ認識
や音声認識の結果や認識結果より抽出されたキーワード
が登録されており、クエリとして、キーワードを入力し
て所望の映像を検索する場合、該当するテロップや音声
が存在するフレームを代表画像として選択すれば、検索
結果を反映した代表画面を得ることができる。

【００６２】図１８はドラマなど定期的に放送される番
組から、毎回異なる代表フレーム画像を選択する方法に
ついて説明する図である。

【００６３】ドラマなど定期的に放送される番組では冒
頭に５３０１のようなオープニングのタイトルが表示さ
れることが一般的である。この部分から固定されたフレ
ーム番号に従って、代表画像を選択した場合、毎回同じ
画像が得られる。これは、同一の番組について、各話を
一覧表示すると、同一の代表画面が並ぶことになる。そ
こで、５３０２のように本編から代表フレームを選択す
ることによって、各話に対応した個別の代表画像を表示
することができる。

【００６４】本編から代表フレームを選択する方法は図
１７のメタデータの項目例に加えて、あるいは、代表フ
レーム番号５２０２の代わりに、番組の構造情報が記述
されている場合はその構造情報を用いればよい。具体的
には構造情報にオープニングの区間と本編の区間が明示
されている場合、本編から代表画面を選択する。また、
明示されていなくてもショットごとに区間分割されてい
れば、先頭から各ショットを比較して、特徴量の大きく
異なるショットを本編の開始ショットとすればよい。ま
た、区間ごとに分割されていない場合でも、先頭から各
フレームを比較し、特徴量の大きく異なるフレーム以降
を本編と判断できる。

【００６５】図１９はドラマなど定期的に放送される番
組から、毎回異なる代表フレーム画像を選択する別の方
法について説明する図である。

【００６６】ドラマなど定期的に放送される番組では、
５４０１のような次回予告が番組の最後に放送されるこ
とが多い。そこで、前回の放送の次回予告から、代表画
面を選択すれば毎回、異なる代表画面が選択できる。つ
まり、第ｎ話の放送の代表画面に第ｎ−１話の放送に含
まれる次回予告を用いる。この場合、番組開始前に代表
画面を作成することができるため、番組の予約録画時に
予約の段階で、代表画面を作成できるという利点もあ
る。

【００６７】ただし、第１話の放送には前回の放送が存
在しないため、次回予告より代表画面を作成することが
できない。そこで、第１話に対しては５４０２のような
オープニングのタイトルや本編より代表フレームを選択
する。特に第1話に対して、オープニングのタイトルを
代表画面に選択すれば、同一番組の各話を一覧表示する
際に、番組のタイトルと各話の次回予告が表示されるた
め、内容を把握するのに効果的である。

【００６８】次回予告の区間を判断するにはメタデータ
として、次回予告の区間が明示されていれば、それを用
いればよい。また、テロップ認識技術を用いることによ
って、「次回予告」など、次回予告の部分に挿入される
テロップを判別する方法もある。

【００６９】図１５で説明されている代表画面を自動的
に生成する情報装置及び方法は一つの映像データに対し
て、単一の代表画面を生成しているが、複数の代表画面
を生成することも可能である。この場合、メタデータ５
００３に一つの映像データに対して、複数の代表フレー
ムが登録されており、ＸＭＬデータベースに対するクエ
リの結果として、複数の代表フレーム番号を含むＸＭＬ
データが出力される。

【００７０】また、代表画面生成プログラム５００５は
映像データの在所と合わせて、複数の代表フレーム番号
を受け取る。このとき生成される代表画像のフォーマッ
トはアニメーションＧＩＦのように単一の画像データ内
に複数の画像を含む形式であってもよいし、複数の画像
データを生成し、個々に画像を保持してもよい。

【００７１】アニメーションＧＩＦのように単一の画像
データ内に複数の画像を含む形式の場合、アプリケーシ
ョンがこの画像フォーマットに対応していれば、自動的
に代表画面を順次切り換えて表示することができる。ま
た、複数の画像データを生成する場合は、生成された個
々の画像データを順次読み込み、切り換えて表示すれば
よい。

【００７２】図２０は複数の代表フレーム画像を自動生
成するための、メタデータの項目例である。５５０１の
ように複数の代表フレームが記述されており、これらの
代表フレームを用いて代表画像が生成される。

【００７３】また、図２１は複数の代表フレーム番号の
個々に対応したキーワードを記述したメタデータの項目
例である。５６０１のように代表フレーム番号と対応す
るキーワードの対が複数記述されている。

【００７４】図１５で説明されている代表画面を自動的
に生成する情報装置及び方法において、図２１のような
メタデータを用いることによって、キーワードに対応し
た効果的な代表画面を表示することができる。ＸＭＬデ
ータベース５００２に発行されたクエリに対して、該当
するキーワードに対応する代表フレーム番号を含むＸＭ
Ｌデータが出力される。

【００７５】この代表画面選択方法は一つの番組を様々
な視点から分類するときに効果的である。例えば、ドラ
マを俳優ごとに分類する場合、俳優の名前をキーワード
とし、その俳優の登場するフレームを代表フレーム番号
として、メタデータに記述しておく。図１５で説明され
ている情報装置及び方法において、俳優の名前がクエリ
として与えられると、その俳優が登場するフレームの画
像が代表画面として得られる。また、同じドラマに対し
て、異なる俳優の名前がクエリとして与えられると、同
じドラマ内で異なるフレームが代表画面として得られ
る。

【発明の効果】本願発明によれば、ユーザが検索を指示
する画面構成要素である検索見出しと、検索式であるク
エリと、検索結果をユーザに分かりやすく提示するため
に検索結果を変換する規則であるスタイルと、を対応付
けて管理することにより、検索見出し、クエリ、スタイ
ルを再利用できるようにすることにより、豊富な表現を
持つマルチメディアデータの検索結果をユーザの好みの
見方で見ることができるようになる。

【図面の簡単な説明】

【図１】本願発明の第１実施形態に係るマルチメディア
データ管理システムの概略構成を示す図

【図２】本願発明の第１実施形態のマルチメディアデー
タ管理システムの表示画面の一例を示す図

【図３】本願発明の第１実施形態の検索見出し対応記憶
部６で、検索見出し、クエリ、スタイルが対応付けられ
て記憶される様子を示す図

【図４】本願発明の第１実施形態のデータベース３に記
憶された属性の例を示す図

【図５】本願発明の第１実施形態のクエリの一例を表す
図

【図６】本願発明の第１実施形態の検索結果の一例を表
す図

【図７】本願発明の第１実施形態のスタイルの一例を表
す図

【図８】本願発明の第１実施形態の変換済み検索結果の
一例を表す図

【図９】本願発明の第１実施形態の検索結果提示部５で
スタイルの変更を設定する画面の一例を表す図

【図１０】本願発明の第１実施形態の図２と同じ検索結
果をカレンダー表示した画面の一例を示す図

【図１１】本願発明の第１実施形態の動作をまとめたフ
ローチャート

【図１２】本願発明の第１実施形態のデータ一時記憶を
実現するための概略構成を示す図

【図１３】本願発明の第２実施形態の検索方法の問い合
わせ画面の一例を示す図

【図１４】本願発明の第２実施形態の問合せ式生成部で
生成したクエリの一例を示す図

【図１５】本願発明の第３実施形態に係るマルチメディ
アデータ管理システムにより管理されている映像データ
より代表画面を自動的に生成する情報装置及び方法につ
いて説明する図

【図１６】本願発明の第３実施形態の処理の流れを説明
するフローチャートを表す図

【図１７】本願発明の第３実施形態の代表フレーム番号
を記述するためのメタデータの項目例を示す図

【図１８】本願発明の第３実施形態のドラマなど定期的
に放送される番組から、毎回異なる代表フレーム画像を
選択する方法について説明する図

【図１９】本願発明の第３実施形態のドラマなど定期的
に放送される番組から、毎回異なる代表フレーム画像を
選択する別の方法について説明する図

【図２０】本願発明の第３実施形態の複数の代表フレー
ム画像を自動生成するための、メタデータの項目例を示
す図

【図２１】本願発明の第３実施形態の複数の代表フレー
ム番号の個々に対応したキーワードを記述したメタデー
タの項目例を示す図

【符号の説明】

１…検索見出し選択部２…問合せ式生成部３…データベース４…検索結果変換部５…検索結果提示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者堀修神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内Ｆターム(参考） 5B075 ND16 NK24 NK46 PP03 PP13 PQ02 PQ46 5C052 AC08 DD04 DD10

Claims

【特許請求の範囲】

【請求項１】属性の付加された検索見出しをユーザに提
示し、検索見出しを選択させる検索見出し選択手段と、この検索見出し選択手段で選択された検索見出しに付加
された属性から問合せ式を生成する問合せ式生成手段
と、静止画、動画、音声、テキストのうち少なくともひとつ
のメディアのデータと、そのデータの属性とを記憶して
なり、前記問合せ式生成手段によって生成された問合せ
式をもとに属性を検索するデータベース手段と、このデータベース手段による検索結果に属性を付加する
検索結果変換手段と、この検索結果変換手段によって変換された検索結果をユ
ーザに提示する検索結果提示手段とを具備することを特
徴とするマルチメディアデータ管理システム。
【請求項２】前記検索見出しは、ボタン、チェックボッ
クス、ラジオボタン、フリーキーワード入力ボックス、
などのＧＵＩ要素、あるいは、特定の検索を指示する身
振り手振りなどを検出する装置、の少なくともひとつを
含むものであることを特徴とする請求項１記載のマルチ
メディアデータ管理システム。
【請求項３】検索見出しと検索結果変換規則を対応付け
て記憶する検索見出し対応記憶手段を有し、前記検索結果変換手段は、前記検索見出し対応記憶手段
に対応付けられた検索結果変換規則を用いて検索結果を
変換することを特徴とする請求項１記載のマルチメディ
アデータ管理システム。
【請求項４】前記検索結果変換手段は、前記検索見出し
対応記憶手段でクエリと少なくともひとつの検索結果変
換規則が対応付けられている場合に、ユーザの状況に応
じて最適なスタイルを選択できることを特徴とする請求
項３記載のマルチメディアデータ管理システム。
【請求項５】前記検索見出しと検索結果とを対応させて
記憶させておき、前記検索見出し選択手段によって記憶
された検索見出しと同じ検索見出しが指定され、かつデ
ータベースの更新がないときに、対応して記憶された検
索結果を出力するキャッシュ制御手段を具備することを
特徴とする請求項１記載のマルチメディアデータ管理シ
ステム。
【請求項６】前記問合せ式生成手段は、前記検索見出し
選択手段で複数の見出しを選択した場合に、選択された
クエリを結合したものをクエリとして合成するクエリ合
成手段を持つことを特徴とする請求項１記載のマルチメ
ディアデータ管理システム。
【請求項７】前記検索見出し選択手段は、データベース
の内容に応じて動的に属性を付加することを特徴とする
請求項１記載のマルチメディアデータ管理システム。
【請求項８】データベースに記憶された内容から検索結
果を代表する代表画像を生成する代表画像生成手段を有
することを特徴とする請求項１記載のマルチメディアデ
ータ管理システム。
【請求項９】前記代表画像生成手段は、検索する文字列
を、文字認識、テロップ認識、音声認識などで画像を検
索して、代表画像を生成することを特徴とする請求項８
記載のマルチメディアデータ管理システム。
【請求項１０】前記代表画像生成手段は、別の動画の中
に、検索対象の代表画像が含まれるときに、これを代表
画像とすることを特徴とする請求項８記載のマルチメデ
ィアデータ管理システム。
【請求項１１】前記代表画像生成手段は、クエリに含ま
れる文字列を、画像認識、テロップ認識、音声認識し
て、該当する動画の一部を代表画像として生成すること
を特徴とする請求項８記載のマルチメディアデータ管理
システム。