JP4505760B2

JP4505760B2 - 情報処理装置および方法、プログラム、並びに、記録媒体

Info

Publication number: JP4505760B2
Application number: JP2007276769A
Authority: JP
Inventors: 純一荻窪; 慶太白根
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-10-24
Filing date: 2007-10-24
Publication date: 2010-07-21
Anticipated expiration: 2027-10-24
Also published as: US20090110366A1; JP2009104474A

Description

本発明は、情報処理装置および方法、プログラム、並びに、記録媒体に関し、特に、複数の動画像を管理する場合に用いて好適な、情報処理装置および方法、プログラム、並びに、記録媒体に関する。

従来、人や物、または、風景などの被写体を、撮像装置を用いて撮像し、撮像した静止画や動画を、ＪＰＥＧ規格、または、ＭＰＥＧ規格等で圧縮して、撮像装置に内蔵されている内蔵メモリ、撮像装置に対して着脱可能なリムーバブルメディアなどの記録メディアに保存する技術がある。

そして、ユーザは、例えば、パーソナルコンピュータなどを用いて、記録メディアに保存された静止画データや動画データを、ハードディスクや光ディスクなどの大容量記録メディアにまとめて保存する（アーカイブする）することができる。さらに、近年では、ネットワーク技術の進歩により、高帯域回線・高速回線といったブロードバンド回線が普及してきた。ユーザは、このようなブロードバンド回線を利用して、データ量の多い静止画を、電子メールで送信したり、一般的なＷｅｂサイトおよび個人や数人のグループで運営・更新される日記的なＷｅｂサイト（Ｂｌｏｇ：ブログ）、または、動画共有サイトなどに掲載したり、所定のウエブサーバに送信して記録することができる。

ユーザは、上述したような様々な利用形態にあわせて、所謂画像管理ソフトウェアなどを用いて、大容量記録メディアに保存された多数の静止画や動画を、閲覧・検索しやすいように、例えば、撮像日時等で分類分けをするなどして管理することができる。そして、ユーザは、必要に応じて、画像編集ソフトウェアを用いて、目的の静止画や動画を編集したり、検索することができる。

また、所謂番組コンテンツも、地上波デジタル放送・デジタル衛星放送等により提供されたり、ネットワーク配信等により提供され、そのコンテンツ数は、多チャンネル化に伴い、近年、膨大になってきている。ユーザは、例えば、専用のセットトップボックスや、専用のソフトウェアがインストールされたパーソナルコンピュータなどを用いて、それらの番組コンテンツを取得し、ハードディスクや光ディスクなどの大容量記録メディアに記録し、必要に応じて視聴することができるようになされている。

以上のように、静止画データおよび動画データや、録画した番組コンテンツのデータの数が増えるほど、多数のデータの中から特定のデータを検索することが困難になることから、ユーザにとって分かりやすく・使い勝手のよい表示形態に関する技術が提案されている（例えば、特許文献１乃至特許文献３参照）。

ＷＯ２０００／０３３４５５号公報ＷＯ２０００／０３３５７０号公報ＷＯ２０００／０３３５７２号公報

上述したように、多くのコンテンツを扱う場合、例えば、同一のコンテンツを重ねて記録してしまう可能性がある。

例えば、多チャンネルの放送番組から、所定のキーワードに関係する番組コンテンツを自動録画することができるようになされている記録再生装置が用いられている場合、再放送された番組コンテンツを繰り返し録画してしまう可能性がある。

また、動画共有サイトには、複数のユーザが任意に動画をアップロードするようになされているため、番組共有サイトに全く同じコンテンツが複数アップロードされていることがある。

これらのように、同一のコンテンツが複数存在する場合、例えば、撮像日時・録画日時・カテゴリ等のコンテンツに付随する属性情報が全く編集削除等されていなければ、同一コンテンツを検索し、不必要なものを削除することは容易である。しかしながら、属性情報のうちの少なくとも一部が編集削除などされていれば、これらの同一コンテンツを検索することは容易ではない。

また、従来、属性情報を用いず、画像自体の特徴を用いて一致するコンテンツを容易に検索する技術はなく、もし、複雑なパラメータ計算などを用いて一致するコンテンツを検索しようとした場合、もともと同一のコンテンツであっても、いずれかが、例えば、画像サイズや解像度などが変換されてしまったり、異なる方式でのコーデックが施されていたら、画像のパラメータの少なくとも一部は異なった値となってしまうため、このような、内容的には同一であるコンテンツを検索することは容易ではない。

また、個人が保有するコンテンツであっても、動画共有サイトなどにアップロードされたコンテンツであっても、例えば、複数のコンテンツの一部のみを抽出して１つのコンテンツデータとされた場合には、その基となるコンテンツと内容は全く同じであるのに、異なるコンテンツデータとして扱われてしまう。

また、このような、あるコンテンツデータの一部から構成されるコンテンツデータ、または、複数のコンテンツデータの一部を抽出して編集されて生成されたコンテンツデータに基づいて、それらの基となるコンテンツデータを検索することは非常に困難であった。

例えば、編集後のコンテンツを見たユーザが、構成要素となる元のコンテンツの全体を見たいと思っても、元のコンテンツを検索するのは、上述したように、容易ではない。例えば、編集時に、基となるコンテンツデータの記録アドレスやそのメタデータ等を記録しておき、それを用いて検索することができるように、予め作り込んでいけば、基となるコンテンツデータの一部から構成されるコンテンツデータ、または、複数のコンテンツデータの一部を抽出して編集されて生成されたコンテンツデータから、元のコンテンツデータを容易に検索することは可能である。しかしながら、このような作りこみを行わなかった既に編集済みのコンテンツデータと元のコンテンツデータとの関係性を容易にユーザに提示する技術は存在しない。

また、上述したように、コンテンツデータの流通が容易となった現在、著作権法上の問題を抱えた違法コンテンツが広く流通してしまう恐れもある。

例えば、動画共有サイトなどに、著作権の観点から好ましくないと思われる動画がアップロードされてしまうことがある。アップロードされている動画は、上述したように、問題となるコンテンツの一部だけであったり、編集されたものである可能性があるし、例えば、画像サイズや解像度などが変換されてしまったり、異なる方式でのコーデックが施されている可能性もある。したがって、動画共有サイトにおける著作権管理は、最終的に、人がそれらのコンテンツを見て確認する人海戦術に頼らざるを得ない。

具体的には、動画像の一致確認は、例えば、ファイル先頭や、シーンチェンジ点の画像を、自動・半自動・または目視により、確認するようになされており、複数のコンテンツの全体を一度に比較することができる技術は、従来、提案されていない。

また、上述したように、さまざまな目的で、複数のコンテンツの内容を比較したり、全部または一部が一致するコンテンツを検索することが求められているが、コンテンツ相互の一致度などをユーザが直感的に認識できるようなユーザインタフェースは、従来、提案されていなかった。

本発明はこのような状況に鑑みてなされたものであり、複数のコンテンツの全体を一度に比較した場合に、コンテンツ相互の一致度などをユーザが直感的に認識できるようなユーザインタフェースを提供するものである。

本発明の一側面の情報処理装置は、ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定する設定手段と、前記ユーザの操作入力選択が指令された前記動画像に、前記ユーザにより選択されたことを示すフラグを付与するフラグ付与手段と、前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記フラグ付与手段により付与された前記動画像に対応する軌跡を他の軌跡と区別して表示させる表示制御手段とを備える。

前記ユーザの操作入力により、サムネイル画像の表示が指令された場合、前記フラグ付与手段は、前記動画像の、前記ユーザの操作入力により指定された座標に対応するフレームに、前記フラグを付与し、前記表示制御手段は、前記軌跡の前記ユーザにより指定された座標に、前記フレームのサムネイル画像を表示させることができる。

前記ユーザの操作入力により、複数の動画像において内容が一致していると推定される部分の始点の選択を受けた場合、前記フラグ付与手段は、前記動画像の、前記ユーザにより指定された前記始点に対応するフレームに、前記フラグを付与し、前記表示制御手段は、前記軌跡の、前記ユーザにより指定された前記始点に、前記始点に対応するフレームのサムネイル画像を表示させ、前記ユーザの操作入力により、複数の動画像において内容が一致していると推定される部分の終了点の選択を受けた場合、前記フラグ付与手段は、前記動画像の、前記ユーザにより指定された前記終了点に対応するフレームに、前記フラグを付与し、前記表示制御手段は、前記軌跡の、前記ユーザにより指定された前記終了点に、前記終了点に対応するフレームのサムネイル画像を表示させることができる。

前記ユーザの操作入力により、動画像の再生が指令された場合、前記表示制御手段は、前記ユーザの操作入力により選択が指令された前記動画像を、再生表示させることができる。

前記ユーザの操作入力により、前記仮想空間の前記表示軸とする前記パラメータの変更が指令された場合、前記設定手段は、前記ユーザの操作入力により新たに指定されたパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記軌跡の配置位置を決定し、前記表示制御手段は、前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させることができる。

前記ユーザの操作入力により、タイムラインモードへの変更が指令された場合、前記設定手段は、前記フラグ付与手段により付与されたフラグに基づいて、サムネイル画像を表示させるための情報を生成し、前記表示制御手段は、前記設定手段により生成された情報に基づいて、時間軸上に前記サムネイル画像を表示させることができる。

前記ユーザの操作入力により、前記時間軸上における前記サムネイル画像の表示の追加が指令された場合、前記フラグ付与手段は、前記ユーザの操作入力により指定される前記動画像のフレームに、追加表示フラグを付与し、前記表示制御手段は、前記時間軸上における、前記追加表示フラグが付与されたフレームに対応する位置に、前記フレームのサムネイル画像を表示させることができる。

前記設定手段は、さらに、前記動画像に付与されたフラグに基づいて、アンダーラインを表示させるための情報を生成し、前記表示制御手段は、さらに、前記設定手段により生成された情報に基づいて、前記時間軸上における前記サムネイル画像を表示させるとともに、前記アンダーラインを表示させることができる。

前記ユーザの操作入力により、軌跡モードへの変更が指令された場合、前記設定手段は、前記仮想空間の表示軸を設定し、前記軌跡の配置位置を決定し、前記表示制御手段は、前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記動画像に付与されたフラグに応じて、前記軌跡の表示を制御することができる。

本発明の一側面の情報処理方法は、ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定し、前記ユーザの操作入力により選択が指令された前記動画像に、前記ユーザにより選択されたことを示すフラグを付与し、設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、付与された前記動画像に対応する軌跡を他の軌跡と区別して表示させる。
本発明の一側面のプログラムは、コンピュータを、ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定する設定手段と、前記ユーザの操作入力により選択が指令された前記動画像に、前記ユーザにより選択されたことを示すフラグを付与するフラグ付与手段と、前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記フラグ付与手段により付与された前記動画像に対応する軌跡を他の軌跡と区別して表示させる表示制御手段として機能させる。
本発明の一側面の記録媒体には、コンピュータを、ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定する設定手段と、前記ユーザの操作入力により選択が指令された前記動画像に、前記ユーザにより選択されたことを示すフラグを付与するフラグ付与手段と、前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記フラグ付与手段により付与された前記動画像に対応する軌跡を他の軌跡と区別して表示させる表示制御手段として機能させるプログラムが記録される。

本発明の他の側面の情報処理装置は、ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定する設定手段と、前記ユーザの操作入力により前記動画像への注目が指令された前記動画像に、前記ユーザにより注目されたことを示す注目フラグを付与するフラグ付与手段と、前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記フラグ付与手段により前記注目フラグが付与された前記動画像に対応する軌跡を他の軌跡と区別して表示させる表示制御手段とを備える。

本発明の他の側面の情報処理装置は、ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定する設定手段と、前記ユーザの操作入力により、複数の動画像において内容が一致していると推定される部分の始点および終了点の選択を受けた前記動画像の、前記ユーザにより指定された座標に対応するフレームに、前記始点を示す始点フラグおよび前記終了点を示す終了点フラグを付与するフラグ付与手段と、前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記フラグ付与手段により付与された前記始点フラグおよび前記終了点フラグに応じて、前記軌跡の前記始点と前記終了点との間の部分を他の部分と区別して表示させる表示制御手段とを備える。

本発明の他の側面の情報処理方法は、ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定し、前記ユーザの操作入力により、複数の動画像において内容が一致していると推定される部分の始点および終了点の選択を受けた前記動画像の、前記ユーザにより指定された座標に対応するフレームに、前記始点を示す始点フラグおよび前記終了点を示す終了点フラグを付与し、設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、付与された前記始点フラグおよび前記終了点フラグに応じて、前記軌跡の前記始点と前記終了点との間の部分を他の部分と区別して表示させる。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

画像処理装置は、独立した装置であっても良いし、情報処理装置、記録再生装置、セットトップボックスの画像処理を行うブロックであっても良い。

以上のように、本発明の一側面によれば、複数の動画の特徴を示す情報を所定の表示部に表示することができ、特に、３種類のパラメータを空間軸とした仮想的な３次元空間中の軌跡として複数の動画の特徴を示すことができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１に画像処理システム１を示す。画像処理システム１は、大きく分けて、画像処理装置１１と、ＰＣＩバス２１によって画像処理装置１１と接続された、記憶装置１２、ビデオデータ入力装置１３−１乃至１３−ｎ、ドライブ１４、操作コントローラ１５、マウス１６、および、キーボード１７、並びに、ディスプレイ１８、および、スピーカ１９などの外部装置から構成されている。

この画像処理システム１では、記憶装置１２に記録されている、または、ビデオデータ入力装置１３−１乃至１３−ｎやドライブ１４を介して供給された動画コンテンツを解析して、その特徴量を得ることができ、その結果得られた特徴量をメタデータとして登録することができる。また、この画像処理システム１では、記憶装置１２に蓄積された、または、ビデオデータ入力装置１３−１乃至１３−ｎやドライブ１４を介して供給された動画コンテンツのメタデータを用いて、複数の動画コンテンツの特徴を示すことのできるＧＵＩ（graphic user interface）を表示することができるようになされている。ユーザは、表示されたＧＵＩを参照して、複数のコンテンツの関連を知ることができるようになされている。

画像処理装置１１は、マイクロプロセッサ３１、ＧＰＵ（Graphics Processing Unit）３２、ＸＤＲ（Extreme Data Rate）−ＲＡＭ３３、サウスブリッジ３４、ＨＤＤ３５、ＵＳＢインタフェース３６、および、サウンド入出力コーデック３７を含んで構成されている。

画像処理装置１１においては、マイクロプロセッサ３１に対してＧＰＵ３２、ＸＤＲ−ＲＡＭ３３およびサウスブリッジ３４が接続されるとともに、サウスブリッジ３４にＨＤＤ３５、ＵＳＢインタフェース３６、および、サウンド入出力コーデック３７が接続されている。このサウンド入出力コーデック３７にはスピーカ１９が接続されている。また、ＧＰＵ３２にはディスプレイ１８が接続されている。

また、サウスブリッジ３４には、ＰＣＩバス２１を介して、マウス１６、キーボード１７、記憶装置１２、ビデオデータ入力装置１３−１乃至１３−ｎドライブ１４、および、操作コントローラ１５が接続されている。

操作コントローラ１５、マウス１６、および、キーボード１７は、ユーザの操作入力を受け、ＰＣＩバス２１およびサウスブリッジ３４を介して、ユーザの操作入力の内容を示す信号を、マイクロプロセッサ３１に供給する。記憶装置１２は、所定のデータを記録または再生できるようになされている。

ビデオデータ入力装置１３−１乃至１３−ｎには、例えば、ビデオテープレコーダ、光ディスク再生装置、インターネットやＬＡＮ（local area network）などを介して外部の装置と情報の授受を行うことが可能なネットワークインタフェースなどが用いられ、ビデオデータを取得することができるようになされている。

ドライブ１４は、光ディスクや半導体メモリなどのリムーバブルメディアを装着可能であって、リムーバブルメディアに記録されている情報を読み出したり、情報をリムーバブルメディアに記録することができる。

画像処理装置１１のマイクロプロセッサ３１は、ＯＳ（Operating System）等の基本プログラム、および、各種処理を画像処理装置に実行させるためのプログラムを実行する汎用のメインＣＰＵコア５１と、メインＣＰＵコア５１に内部バス５２を介して接続された複数（この場合８個）のＲＩＳＣ（Reduced Instruction Set Computer）タイプの信号処理プロセッサ（以下、これをサブＣＰＵコアと称する）５３−１乃至５３−８と、ＸＤＲ−ＲＡＭ３３に対するメモリコントロールを行うメモリコントローラ５４と、サウスブリッジ３４との間でデータの入出力を管理するＩ／Ｏ（In/Out）コントローラ５５とが１チップに集積されたマルチコア構成でなり、例えば動作周波数４[GHz]を実現している。

すなわち、マイクロプロセッサ３１は、起動時、ＨＤＤ３５に格納された制御プログラムに基づき、ＨＤＤ３５に格納されている必要なアプリケーションプログラムを読み出してＸＤＲ−ＲＡＭ３３に展開し、この後このアプリケーションプログラムおよびオペレータ操作に基づいて必要な制御処理を実行する。

マイクロプロセッサ３１は、例えば、供給される動画像または静止画像に対して、ＭＰＥＧ（Moving Picture Expert Group）、ＪＰＥＧ(Joint Photographic Experts Group)2000、H.264／AVC(Advanced Video Coding)等のコーデック処理を施す役割を担い、コーデック処理に関する物理演算等を行うようになされている。具体的には、マイクロプロセッサ３１は、供給される非圧縮の動画像または静止画像に対するエンコードの結果得られた符号化ストリームを、サウスブリッジ３４を介して、ＨＤＤ３５に供給して記憶させたり、供給される圧縮された動画像または静止画像に対してデコードした結果得られる動画または静止画のコンテンツの再生映像を、ＧＰＵ３２へデータ転送して、ディスプレイ１８に表示させることができる。

特に、マイクロプロセッサ３１では、８個のサブＣＰＵコア５３−１乃至５３−８が、エンコーダユニットを構成するエンコーダの役割をそれぞれ担い、ベースバンド信号を同時並列的にエンコードすることや、８個のサブＣＰＵコア５３−１乃至５３−８が、デコーダユニットを構成するデコーダの役割をそれぞれ担い、圧縮画像信号を同時並列的にデコードすることが可能である。

このように、マイクロプロセッサ３１は、８個のサブＣＰＵコア５３−１乃至５３−８によって同時並列的にエンコード処理やデコード処理を実行することができるようになされている。

また、マイクロプロセッサ３１の８個のサブＣＰＵコア５３−１乃至５３−８は、そのうちの一部がエンコード処理を、他の部分がデコード処理を、同時並列的に実行することも可能である。

また、例えば、ＰＣＩバス２１に、独立したエンコーダまたはデコーダ、もしくは、コーデック処理装置が接続されている場合、マイクロプロセッサ３１の８個のサブＣＰＵコア５３−１乃至５３−８は、サウスブリッジ３４およびＰＣＩバス２１を介して、これらの装置が実行する処理を制御することができるようになされている。これらの装置が複数接続されている場合、または、これらの装置が複数のデコーダまたはエンコーダを含んでいる場合、マイクロプロセッサ３１の８個のサブＣＰＵコア５３−１乃至５３−８は、複数のデコーダまたはエンコーダが実行する処理を、分担して制御することが可能である。

また、メインＣＰＵコア５１は、８個のサブＣＰＵコア５３−１乃至５３−８が行う以外の処理や管理を行うようになされており、サウスブリッジ３４を介してマウス１６、キーボード１７、または、操作コントローラ１５から供給された命令を受け付け、命令に応じた種々の処理を実行する。

また、マイクロプロセッサ３１は、処理されるベースバンド信号または符号化ストリームが有する種々のパラメータを抽出し、これらをメタデータファイルとして、サウスブリッジ３４を介してＨＤＤ３５に登録する処理も実行可能なようになされている。

また、マイクロプロセッサ３１は、抽出されたパラメータを基に、複数のコンテンツの全体の比較をユーザが直感的に行うことができるようなＧＵＩ表示画面の表示に必要な情報を計算し、ＧＰＵ３２に供給する。

すなわち、画像処理装置１１は、複数のコンテンツの全体を一度に比較した場合のコンテンツ相互の一致度などをユーザが直感的に認識できるようなユーザインタフェースを提供するために、軌跡モードとタイムラインモードとの２つのＧＵＩ表示モードを有している。マイクロプロセッサ３１は、軌跡モードとタイムラインモードとの２つのモードに対応するＧＵＩ表示画面を生成するための各種演算を実行し、その結果を、ＧＰＵ３２に供給する。軌跡モードとタイムラインモードとの２つのモードにおける表示画面については、後述する。

また、マイクロプロセッサ３１は、動画コンテンツの映像データおよび音声データのうち音声データに対して音声ミキシング処理を施し、その結果得られた編集音声データを、サウスブリッジ３４およびサウンド入出力コーデック３７を介して、スピーカ１９へ送出することにより、音声信号に基づく音声をスピーカ１９から出力させることもできる。

また、マイクロプロセッサ３１は、ＧＰＵ３２との間を帯域幅の大きなバス３８により接続されており、例えば、最大３０［Gbyte/Sec］の転送速度でデータ転送し得るようになされている。

ＧＰＵ３２は、マイクロプロセッサ３１の制御のもとに、マイクロプロセッサ３１から供給された動画コンテンツの映像データや静止画コンテンツの画像データ、または、ＧＵＩ表示画面を表示させるための情報に対して所定の信号処理を施し、その結果得られた映像データや画像データをディスプレイ１８へ送出して、画像信号をディスプレイ１８へ表示させる。

すなわち、ＧＰＵ３２は、ディスプレイ１８に表示する、例えば、動画コンテンツの再生映像を動かすときのテクスチャの張り込みなどに関する最終的なレンダリング処理に加えて、動画コンテンツの再生映像を構成する各フレーム画像のうちの一部をディスプレイ１８に一度に複数表示するときの座標変換計算処理や、動画コンテンツの再生映像または静止画コンテンツの静止画像に対する拡大・縮小処理等を行う機能を司り、マイクロプロセッサ３１の処理負担を軽減させるようになされている。

ＸＤＲ−ＲＡＭ３３は、例えば、２５６[MByte]の容量を持つメモリであり、帯域幅の大きなバス３９によりマイクロプロセッサ３１のメモリコントローラ５４と接続されており、例えば最大２５．６［Gbyte/Sec］の転送速度でデータ転送し得るようになされている。

サウスブリッジ３４は、マイクロプロセッサ３１のＩ／Ｏコントローラ５５と接続され、マイクロプロセッサ３１と、ＨＤＤ３５、ＵＳＢインタフェース３６、および、サウンド入出力コーデック３７との情報の授受を行う。

ＨＤＤ３５は、ハードディスクにより構成される大容量の記憶部であり、例えば、基本プログラム、制御プログラム、アプリケーションプログラムなどを格納するとともに、これらの実行に必要な情報やパラメータなども格納することができる。また、ＨＤＤ３５には、上述したメタデータも格納される。

ＵＳＢインタフェース３６は、外部の装置とＵＳＢ接続により接続するための入出力インタフェースである。

サウンド入出力コーデック３７は、サウスブリッジ３４を介して供給された音声データを所定の方式でデコードし、スピーカ１９に供給して、音声出力させる。

次に、軌跡モードとタイムラインモードとの２つのモードについて説明する。

まず、図２乃至図１４を参照して、軌跡モードの表示について説明する。

例えば、図２に示されるように、Ｘ軸に「赤色（Ｒ）」、Ｙ軸に「青色（Ｂ）」、Ｚ軸に「輝度」を表示軸のパラメータとする仮想的な３次元の表示空間において、１枚の静止画像データ、または、動画像を構成するフレーム画像データは、それらが有する特徴量に基づいて、いずれかの位置に配置可能である。

なお、図２に示される３次元表示空間では、Ｘ軸の赤色、Ｙ軸の青色、および、Ｚ軸の輝度について、原点からプラス方向だけの象現が用いられているが、Ｘ軸、Ｙ軸およびＺ軸について、原点からマイナス方向をも含めて表示されるようにしてもよい。

図２に示されるように、Ｘ軸にＲ、Ｙ軸にＢ、Ｚ軸に輝度をパラメータとする３次元表示空間においては、画面右下方向にはビデオデータに含まれる赤色レベルの高いピクチャが配置される。また、画面中央上方向にはビデオデータに含まれる輝度レベルの強いピクチャが配置される。また、画面左下方向にはビデオデータに含まれる青色レベルの高いピクチャが配置される。これにより、複数のビデオデータを確認するユーザに対して、複数のビデオデータに含まれる明るさや色成分の大まかな傾向（分布）をイメージとして直感的に認識させ得るようになされている。

この３次元表示空間におけるそれぞれの表示軸（Ｘ軸、Ｙ軸およびＺ軸）を構成するパラメータは、コンテンツを構成するビデオデータの特徴を示す特徴量である。基本的に、特徴量は、同一静止画のピクチャが時間的に継続していない限り、ビデオデータを構成するピクチャ毎に異なる。

そして、このような特徴量を持った複数のピクチャにより構成される動画像データにおいては、複数フレームの間画像が変化しないような特殊な状況を除けば、基本的に、フレームごとに特徴量が異なるため、動画像データの各フレームの特徴量の座標は、このような３次元表示空間を浮遊する。

図３に、Ｘ軸にＣｒ、Ｙ軸にＣｂ、Ｚ軸に輝度Ｙをパラメータとする３次元表示空間において、複数の動画像データの各フレームの特徴量を追っていくことにより描かれた複数のコンテンツの軌跡の例を示す。

画像処理装置１１のマイクロプロセッサ３１は、例えば、記憶装置１２に記録されている、または、ビデオデータ入力装置１３−１乃至１３−ｎやドライブ１４を介して供給されたコンテンツデータの一覧である、図示しないクリップ一覧表示画面を参照したユーザによって選択された１つまたは複数のコンテンツを、記憶装置１２、ビデオデータ入力装置１３−１乃至１３−ｎ、または、ドライブ１４から取得する。そして、マイクロプロセッサ３１は、取得されたコンテンツに、上述したような３次元空間座標に用いられる特徴量により構成されるメタデータが付随されていれば、そのメタデータをＨＤＤ３５に登録し、メタデータがコンテンツにメタデータが付随されていなければ、メタデータを演算して、ＨＤＤ３５に登録する。

そして、マイクロプロセッサ３１は、必要に応じて、コンテンツをデコードするとともに、対応するコンテンツのメタデータをＨＤＤ３５から読み出して、設定されている３次元空間座標の軌跡を描くために必要な演算を実行し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、図３に示されるような３次元空間の軌跡を、ディスプレイ１８に表示させる。

例えば、図４に示されるような軌跡が表示された場合、軌跡（ａ）に対応するコンテンツaと、軌跡（ａ）に部分一致する軌跡（ｂ）に対応するコンテンツｂとにおいて、コンテンツｂはコンテンツaの一部を抽出したものであることが容易に推測できる。

ただし、図４に示される場合では、３次元空間を構成する３つのパラメータにおける比較しか行われていないのと同義である。そこで、３次元空間を構成する３つのパラメータの設定を変更し、異なる３次元軸における３次元空間を表示することができるようにする。

例えば、ユーザが、操作コントローラ１５またはマウス１６などを用いて、３次元空間を構成する３つのパラメータの設定を、図４に示される輝度Y軸、Cb軸、および、Cr軸から、Cb軸、Cr軸、および、ＤＣＴ（Discrete cosine Transform）縦方向周波数軸へ変更することを指令した場合、マイクロプロセッサ３１は、サウスブリッジ３４を介して供給される、ユーザの操作入力に対応する信号に基づいて、新たに設定されたCb軸、Cr軸、ＤＣＴ縦方向周波数軸の３次元空間座標の軌跡を描くために必要な演算を実行し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、図５に示されるようなCb軸、Cr軸、ＤＣＴ縦方向周波数軸の３次元空間の軌跡を、ディスプレイ１８に表示させる。

このようにして、表示される３次元空間座標の軸を変更した結果、図４に示される、軌跡（ａ）と軌跡（ｂ）とに相関がない場合、ユーザは、コンテンツaとコンテンツbとは異なるコンテンツであると推測することができる。

ここで、画像処理装置１１のマイクロプロセッサ３１は、例えば、図６の（Ａ）に示すように、ＲＧＢの各色成分を表すＲ軸、Ｇ軸、およびＢ軸からなる３次元表示空間、図６の（Ｂ）に示すように、輝度レベル軸、Ｒ軸、およびＢ軸からなる３次元表示空間、図６の（Ｃ）に示すように、動き量軸、Ｃｂ軸、およびＣｒ軸からなる３次元表示空間、図６の（Ｄ）に示すように、細かさ情報軸、輝度レベル軸、および色相軸からなる３次元表示空間、図６の（Ｅ）に示すように、Ｒ軸、ＤＣＴ縦周波数軸、およびＤＣＴ横周波数軸からなる３次元表示空間、図６の（Ｆ）に示すようにＤＣＴ縦周波数軸、Ｃｂ軸、およびＣｒ軸からなる３次元表示空間、図６の（Ｇ）に示すようにＨＬＳ空間の各要素であるＬ（Luminance）軸、Ｈ（Hue）軸、およびＳ（Saturation）軸からなる種々の３次元表示空間等を生成するように各表示軸を決定することができる。なお、メタデータファイルに登録される特徴量、すなわち、３次元空間の軸となるパラメータは、これらに限られるものではなく、メタデータファイルに登録された種々の特徴パラメータを表示軸とした３次元表示空間を生成するように決定することが可能である。

具体的には、例えば、フレーム画像の細かさを示すパラメータ軸、動きの大きさを示すパラメータ軸、および、輝度Ｙ軸からなる３次元表示空間、色の分散を示すパラメータ軸、ＤＣＴ縦周波数軸、および、ＤＣＴ横周波数軸からなる３次元表示空間、フレーム画像の細かさを示すパラメータ軸、Ｈ（Hue）軸、およびＳ（Saturation）軸からなる３次元表示空間、ある人の顔との一致度を示すパラメータ軸、Ｃｂ軸、およびＣｒ軸からなる３次元表示空間などを用いて、動画像の特徴量を示す軌跡を描画することが可能である。

ここで、ある人の顔との一致度は、例えば、特開２００６−４００３に記載の発明を用いて求めることができるものであり、このような技術を用いて所定の顔とコンテンツデータの各フレームに現れる顔との一致度を求め、その値（例えば、０％乃至１００％）を、３次元空間のある軸のパラメータとすることができる。

また、映画館で上映されている映画を盗み撮りして得られたビデオデータは、その画枠内に、スクリーン周辺の部分や観客の頭などが黒く写っているため、３次元空間を構成する３つのパラメータに輝度が含まれている場合、元のビデオデータと盗み撮りされて得られたビデオデータとは、輝度以外の２つのコンテンツのパラメータの価は略同じであるが、盗み撮りのビデオデータは黒の部分が多いために、輝度成分のみが低い軌跡を描く。

したがって、図７に示されるような場合、コンテンツｂは、例えば、映画館でコンテンツaを盗み撮りしたデータのうちの一部を抽出したものであるなど、コンテンツaに関連性のあるコンテンツであると推測することができる。

また、同様に、３次元空間を構成する３つのパラメータに輝度が含まれている場合、同一のビデオデータの一方に白かそれに近い色のフレームが施されているとき、それらのビデオデータは、輝度以外のパラメータの値は略同じであるが、フレームありのビデオデータは白の部分が多いために、輝度成分のみが高い軌跡を描くような状況もありうる。

また、複数のコンテンツの一部から構成されている編集されたコンテンツは、複数のコンテンツの軌跡の一部と同じまたは並行した軌跡を有している。具体的には、図８に示されるように、コンテンツ（ｃ）は、コンテンツ（ａ）の一部と、コンテンツ（ｄ）の一部と、コンテンツ(e)の一部とを含んで構成されている。

なお、編集でコンテンツを接続した部分などに発生するシーンチェンジの前後において、コンテンツの特徴量は、上述したような３次元空間において連続性を有さない。そこで、シーンチェンジ前後の連続性を有しない２つの座標は、これらの３次元空間上で、直線で接続されるものとすることができる。そして、シーンチェンジがない、特徴量がなだらかに変化していく部分と、シーンチェンジのために特徴量が大きく変わる部分とでは、それらの軌跡の表示を、例えば、図９に示されるように、実線と点線とすることなどにより、区別可能なようにしても良い。

また、図１０に示されるように、編集されたコンテンツ（ｃ´）の一部は、ある３次元座標系(ここでは、Cb軸，Cr軸，Y軸で構成される３次元座標系)で、コンテンツ（ａ）およびコンテンツ（ｅ）と略同じ軌跡を描くが、他の一部は、図７を用いて説明したようにして、コンテンツ（ｄ）の軌跡に対して輝度方向に平行移動された軌跡である。このように、編集されたコンテンツは、その基となるコンテンツの軌跡と一致しているばかりでなく、その一部が、関連性がある軌跡である場合もある。このような場合、ユーザは、表示される３次元空間の座標を変更したときに、それぞれの対応する軌跡をそのまま把握したいし、また、多くの軌跡が表示されている表示画面上で、一致または関連性を有している軌跡とそうではない軌跡を分かりやすく区別できると好適である。そこで、画像処理装置１１においては、ユーザにより選択された複数の軌跡を、図１０に示されるように、ハイライト表示したり、異なる色で表示することを可能とすると好適である。これにより、例えば、ある編集済みコンテンツに対して、その素材であると推定されるコンテンツをほかのコンテンツと区別して表示させることが可能となる。

このとき、マイクロプロセッサ３１は、操作コントローラ１５、マウス１６、または、キーボード１７から供給されるユーザの操作入力に基づいて、ユーザにより指定されたコンテンツのメタデータに対して、選択コンテンツフラグを付与する。そして、マイクロプロセッサ３１は、選択コンテンツフラグが付与されたメタデータに対応するコンテンツの軌跡を、ハイライト表示させるか、または異なる色を用いて表示させるためのデータを演算し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、図１０に示されるように、ユーザにより選択された軌跡がハイライト表示されているか、または、異なる色で表示されているＧＵＩ表示画面をディスプレイ１８に表示させる。

また、画像処理装置１１においては、唯１つのコンテンツを注目コンテンツとして、他の選択されたコンテンツとは区別可能なように選択・表示することができる。具体的には、例えば、図１０に示されるコンテンツ（ｃ´）の軌跡を、注目コンテンツとして、他の選択されたコンテンツとは更に区別可能なようにして表示させることができる。

このとき、マイクロプロセッサ３１は、操作コントローラ１５、マウス１６、または、キーボード１７から供給されるユーザの操作入力に基づいて、ユーザにより注目コンテンツとして指定されたコンテンツのメタデータに対して、注目コンテンツフラグを付与する。そして、マイクロプロセッサ３１は、注目コンテンツフラグが付与されたメタデータに対応するコンテンツの軌跡を、選択コンテンツと区別可能な表示方法でハイライト表示させるか、または異なる色を用いて表示させるためのデータを演算し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、ユーザにより選択された注目コンテンツに対応する軌跡がほかの選択コンテンツと区別可能なように表示されているＧＵＩ表示画面をディスプレイ１８に表示させる。

また、画像処理装置１１においては、ユーザが、ＧＵＩ表示画面を参照して、２つ以上のコンテンツにおいてその内容が一致していると推定される部分のみを選択し、他の部分とは異なるように表示することができる。具体的には、ユーザが、表示されている３次元座標上において一致されると推定される部分の始点と終了点を、例えば、図１１においてばつ印（×）に示されるようにして選択したとき、始点と終了点との間の軌跡が、それ以外の部分とは区別可能に表示されるものとする。

そのとき、マイクロプロセッサ３１は、操作コントローラ１５、マウス１６、または、キーボード１７から供給されるユーザの操作入力に基づいて、ユーザにより選択されたコンテンツの始点と終了点の座標を得、それを基に、そのコンテンツの始点と終了点に対応するフレーム番号、または、対応するフレームの再生時刻（例えば、該当するコンテンツの開始位置からの相対時刻）などの情報を取得し、対応するメタデータのフレームに、始点フラグおよび終了点フラグを付与するとともに、始点と終了点との間の軌跡が、それ以外の部分とは区別可能に表示させるためのデータを演算し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、ユーザにより指定された始点および終了点との間の軌跡がそれ以外の部分と区別可能なように表示されているＧＵＩ表示画面をディスプレイ１８に表示させる。

また、後述するタイムラインモードにより、異なるコンテンツ間で内容が一致していることが設定されたあと、軌跡モードが実行された場合、内容が一致していると設定された部分については、自動的に、設定された始点および終了点との間の軌跡がそれ以外の部分と区別可能なように表示されるものとする。

すなわち、マイクロプロセッサ３１は、ＨＤＤ３５に登録されたメタデータから、始点フラグおよび終了点フラグが付与されたフレームを抽出し、それらのフレーム間の軌跡がそれ以外の部分と区別することが可能なように、始点フラグおよび終了点フラグが付与されたフレームの座標を演算し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、ユーザにより指定された始点および終了点との間の軌跡がそれ以外の部分と区別可能なように、例えば、異なる色や異なる線種で表示されているＧＵＩ表示画面をディスプレイ１８に表示させる。

また、ＧＰＵ３２は、マイクロプロセッサ３１からデコードされたコンテンツデータの供給も受けるので、軌跡モードにおいては、上述した３次元空間の軌跡とともに、コンテンツデータを表示させることもできる。例えば、図１２に示されるように、３次元空間とともに、ユーザにより選択された軌跡に対応するコンテンツを表示させるための別ウィンドウ７１を設け、別ウィンドウ７１に、選択された軌跡に対応するコンテンツデータを再生表示させるようにしても良い。

また、画像処理装置１１において実行されるコンテンツデータの再生では、再生開始点を軌跡上の所定の点からとすることができるようにしても良い。すなわち、マイクロプロセッサ３１は、対応するコンテンツのメタデータに基づいて、設定されている３次元空間座標の軌跡を描くために必要な演算を実行するので、軌跡の各点が、それぞれのコンテンツデータの再生時刻のどの点に対応するかを認識している。ユーザが、操作コントローラ１５またはマウス１６などを用いて、３次元空間座標の軌跡上の所定の座標を選択した場合、マイクロプロセッサ３１は、サウスブリッジ３４を介して供給される、ユーザの操作入力に対応する信号に基づいて、ユーザにより選択された座標に対応するコンテンツデータの再生開始点を求め、対応する部分からのデコード済みのデータをＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給されたデコード済みのデータを用いて、図１２に示されるように、別ウィンドウ７１に、選択された軌跡に対応するコンテンツデータを、ユーザにより指定された座標に対応するフレームから、ディスプレイ１８に再生表示させる。

また、画像処理装置１１で実行される軌跡モードにおいては、コンテンツデータを構成する各フレーム画像に対応するサムネイル画像を軌跡上の対応する位置に表示させたることが可能である。例えば、コンテンツデータの開始フレームを表示させることにより、軌跡とコンテンツとの関連をユーザが容易に認識できるようにしても良い。また、マイクロプロセッサ３１は、軌跡の各点が、それぞれのコンテンツデータの再生時刻のどの点に対応するかを認識しているので、ユーザが、操作コントローラ１５またはマウス１６などを用いて、３次元空間座標の軌跡上の所定の座標を選択した場合、マイクロプロセッサ３１は、サウスブリッジ３４を介して供給される、ユーザの操作入力に対応する信号に基づいて、ユーザにより選択された座標に対応するフレーム画像データを抽出して、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、図１３に示されるように、ディスプレイ１８に表示されている軌跡上の所定の座標に、サムネイル画像を表示させる。

ユーザは、例えば、複数の軌跡のうち、内容が一致していると推定する部分の開始点および終了点などのフレーム画像に対応するサムネイル画像の表示を指令することなどにより、全てのフレームを確認することなく、それらの内容が一致しているか否かを確認することが可能となる。

このとき、マイクロプロセッサ３１は、操作コントローラ１５またはマウス１６からサウスブリッジ３４を介して供給されるユーザの操作入力に基づいて、対応するコンテンツのメタデータに対して、ユーザにより指定された座標に対応するフレーム画像データに対応するフレームの部分に、サムネイル画像表示フラグを付与する。

また、ユーザにより、既に表示されているサムネイル画像の表示の取り消しが指令された場合、マイクロプロセッサ３１は、操作コントローラ１５またはマウス１６からサウスブリッジ３４を介して供給されるユーザの操作入力に基づいて、対応するコンテンツのメタデータに対して、ユーザにより指定された座標に対応するフレーム画像データに対応するフレームのサムネイル画像表示フラグを消去するとともに、そのサムネイル画像の表示を取り消すための情報を生成して、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、ユーザに指定されたサムネイル画像の表示を取り消す。

このように、ユーザの所望の位置のフレーム画像データに対応するサムネイル画像を表示させることにより、ユーザは、対応する２つの軌跡の内容が本当に一致するものであるか、また、一致する場合は、どの部分が一致しているかを認識することが可能となる。

また、軌跡モードとは、時間軸の関係をなくして、各フレームの特徴量により構成される３次元空間上の軌跡を比較するものである。例えば、図１４に示されるように、もともと連続する動画であるコンテンツ（ａ）と、コンテンツ（ａ）から間欠的にフレームを削除することにより再生時間が短くなるようになされた図中実線で示されるコンテンツ（ｆ）とが３次元空間上に表示された場合のように、例えば、フレームごとに得られた特徴量の連続性の比較では類似が分かりにくいような場合であっても、表示された軌跡を比較することにより、これらのコンテンツ間の関係を、容易に認識することができる。

このように、軌跡モードでは、複数のコンテンツ間の相関関係を、時間軸の関係をなくして認識することができるが、特に、シーンチェンジが発生している場合など、目に見える軌跡の長さと実際のコンテンツの長さが一致しないので、それら１つ１つのコンテンツにおける時間軸とそれぞれのシーンとの位置関係が分かりにくい。また、軌跡モードでは、あるコンテンツとあるコンテンツの一部が一致していることを認識することができても、ぞれぞれのコンテンツの中でどの部分が他のコンテンツのどの部分と一致しているかについては、時間軸が明確ではないため、分かりにくい。

これに対して、タイムラインモードは、時間軸を設定し、複数のコンテンツを同一の時間軸に基づいて表示させるものである。

次に、図１５乃至図２１を参照して、タイムラインモードについて説明する。

タイムラインモードは、基本的には、軌跡モードにおいて、ユーザにより選択された選択コンテンツおよび注目コンテンツを同一の時間軸上に表示するものである。なお、時間軸は、表示対象となるコンテンツのうちの最も長い時間を有するコンテンツを基準とすると好適である。

例えば、上述した軌跡モードにおいて注目コンテンツが図４などで示されていたコンテンツ（ａ）と設定されており、コンテンツ（ａ）に対して、図７で示されていたコンテンツ（ｂ´）、図８などで示されていたコンテンツ（ｃ）、および、上述した図においては示されていないコンテンツＸなどの、複数のコンテンツの一部が一致していると推定されて選択コンテンツとして選択され、ユーザにより、一致部分の始点および終了点が設定されている状態においてタイムラインモードが指令された場合について説明する。

画像処理装置１１のマイクロプロセッサ３１は、ＨＤＤ３５に登録されたメタデータから、注目コンテンツフラグが付与されたコンテンツのメタデータと、選択コンテンツフラグが付与されたメタデータを抽出する。そして、マイクロプロセッサ３１は、抽出されたメタデータから、始点フラグおよび終了点フラグが付与されたフレームのフレーム番号とそのフレームの画像データを抽出するとともに、サムネイル画像表示フラグが付与されたフレーム、および、そのコンテンツの開始フレームおよび終了フレームのフレーム番号と画像データを抽出し、例えば、図１５に示されるように、注目コンテンツとその他のコンテンツの開始時刻を基準とした同一タイムライン上に、それぞれのコンテンツの開始フレームおよび終了フレームのサムネイル画像、軌跡モードにおいて一致しているとされた部分の始点および終了点フレームのサムネイル画像、並びに、軌跡モードにおいて表示されていたサムネイル画像を表示させ、一致していると認識された部分をアンダーラインで示すためのデータを演算し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、図１５に示されるＧＵＩ表示画面をディスプレイ１８に表示させる。ここでは、注目コンテンツであるコンテンツ(a)の一部が、表示されている他のコンテンツの一部と一致している。

また、マイクロプロセッサ３１は、始点フラグおよび終了点フラグが付与されたフレームに基づいて、一致していると推定されている区間のフレーム数を計数し、注目コンテンツに対する他の選択コンテンツの一致率を演算し、ＧＰＵ３２に供給して、図１５に示されるＧＵＩ表示画面に表示させることができる。

また、タイムラインモードにおいて表示されるサムネイル画像の数を増やすことにより、注目コンテンツと選択コンテンツのどの位置からどの位置までが一致しているかを、より直感的に正確に把握できるようにすることができる。

すなわち、マイクロプロセッサ３１は、サムネイル画像表示フラグが付与されたフレームに加えて、所定間隔のフレームを全てサムネイル画像として表示するためのデータを演算し、ＧＰＵ３２に供給し、例えば、図１６に示されるように多くのサムネイル画像が表示されたＧＵＩ画面を、ディスプレイ１８に表示させるものとしても良い。このとき、サムネイル画像を表示するフレーム間隔を、一致していると設定されている部分は狭くし、一致していないと設定されている部分は狭くするようにしても良い。また、それぞれのサムネイルにシーンチェンジが発生している場合、そのシーンチェンジの最初のフレームに対応するサムネイル画像を表示するものとしても良い。マイクロプロセッサ３１は、従来用いられている任意の方法で、それぞれのコンテンツのシーンチェンジ点を検出することができる。

なお、ＨＤＤ３５に登録されているメタデータにおいて、このようにして更に追加して表示されるサムネイル画像に対するサムネイル画像表示フラグも、メタデータに新たに登録される。すなわち、マイクロプロセッサ３１は、所定間隔のフレーム、または、シーンチェンジ後の最初のフレームに対して、サムネイル画像表示フラグを付与し、メタデータを更新する。

また、タイムラインモードの表示画面において、ユーザが、サムネイル画像が表示されていない部分でサムネイル画像の表示の追加を希望する所望のポイントを指定し、その時刻に対応するサムネイル画像を表示させることができるようにしても良い。

このとき、マイクロプロセッサ３１は、操作コントローラ１５、マウス１６、または、キーボード１７から供給されるユーザの操作入力に基づいて、ユーザにより指定されたコンテンツの対応する時刻のフレームに対して、サムネイル画像表示フラグを付与する。そして、マイクロプロセッサ３１は、サムネイル画像表示フラグが付与されたフレームに対応するサムネイル画像を更に表示させるためのデータを演算し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、ユーザが指定した位置にサムネイル画像が更に追加して表示されたＧＵＩ表示画面をディスプレイ１８に表示させる。

なお、このようにして軌跡モードにおける場合から更に追加して表示されるサムネイル画像に対するサムネイル画像表示フラグは、軌跡モードにおいて設定されたサムネイル画像表示フラグと同一のものとしても良いし、区別可能なものとしても良い。区別可能なフラグが付与される場合、一旦タイムラインモードが実行されてサムネイル画像表示フラグが追加されたコンテンツに対して軌跡モードが実行されたとき、軌跡モードにおいては、追加して表示されたサムネイル画像は表示されないが、同一のフラグが付与される場合、一旦タイムラインモードが実行されてサムネイル画像表示フラグが追加されたコンテンツに対して軌跡モードが実行されたとき、軌跡モードにおいても全てのサムネイル画像が表示される。

また、例えば、図１４を用いて説明したように、フレームの一部を間欠的に削除することによりコンテンツの再生時間を短くした場合や、コマーシャル部分を削除した場合などであっても、図１７に示されるように、一致部分を示すアンダーラインや、ユーザが所望する位置を含むサムネイル画像の表示を参照することにより、ユーザは、再生時間の合計は異なるが、その内容は一致していることを容易に推測することが可能である。

また、注目コンテンツや注目コンテンツと対応して表示される選択コンテンツは、変更可能であることは言うまでもない。注目コンテンツや選択コンテンツを変更するには、例えば、軌跡モードにもう一度戻って、選択するコンテンツを変更するものとしても良い。また、注目コンテンツや選択コンテンツを変更するには、新たな選択対象となるコンテンツ、すなわち、ＨＤＤ３５にメタデータが登録されているコンテンツの一覧であるクリップ一覧を異なるウィンドウに表示させて、その中から、所望のコンテンツを選択するものとしても良い。

マイクロプロセッサ３１は、操作コントローラ１５、マウス１６、または、キーボード１７から供給されるユーザの操作入力に基づいて、選択コンテンツフラグまたは注目コンテンツフラグが付与されたメタデータを変更する。そして、マイクロプロセッサ３１は、新たに設定された選択コンテンツフラグまたは注目コンテンツフラグが付与されたコンテンツのメタデータを抽出する。そして、マイクロプロセッサは、抽出されたメタデータから、始点フラグおよび終了点フラグが付与されたフレーム、サムネイル画像表示フラグが付与されたフレーム、および、そのコンテンツの開始フレームおよび終了フレームの画像データを抽出し、図１５を用いて説明した場合と同様に、注目コンテンツとその他のコンテンツの開始時刻を基準とした同一タイムライン上に、それぞれのコンテンツの開始フレームおよび終了フレームのサムネイル画像、一致しているとされた部分の始点および終点フレームのサムネイル画像、並びに、軌跡モードにおいて表示されていたサムネイル画像を表示させ、一致していると認識された部分をアンダーラインで示すためのデータを演算し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、新たに選択された注目コンテンツまたは選択コンテンツのサムネイル画像データがタイムライン上に表示されているＧＵＩ表示画面をディスプレイ１８に表示させる。

また、タイムラインモードにおいても、図１８に示されるように、別ウィンドウにおいて、注目コンテンツを再生表示し、タイムライン上に、その再生位置を示すようにしても良い。

また、図１８に示される場合は、注目コンテンツを上述したコンテンツ（ｃ）とし、コンテンツ（ａ）、コンテンツ（ｄ）およびコンテンツ（ｅ）が選択コンテンツとされている。選択コンテンツそれぞれの一部により構成された編集コンテンツが注目コンテンツであるので、注目コンテンツのアンダーラインは、コンテンツ（ａ）乃至コンテンツ（ｃ）のそれぞれ異なるものに対応付けられる。そこで、このような場合、複数のコンテンツ間で一致していると認識されている部分全てに同一のアンダーラインを表示するのみではなく、対応するアンダーラインを線で結んで表示させたり、アンダーラインに複数の色を用いて、対応するアンダーラインは同色で表示させたり、アンダーラインの線種を複数用いて、対応するアンダーラインは同種のアンダーラインとすることなどにより、ユーザに、いずれのコンテンツのどの部分と、いずれのコンテンツのどの部分が一致するか、対応する部分を容易に認識することができるように表示することができる。

このように表示させる場合、マイクロプロセッサ３１は、対応するメタデータに付与する始点フラグおよび終了点フラグを、それぞれ、一致している箇所ごとに区別して付与するものとすればよい。

また、画像処理装置１１においては、軌跡モードにおいて設定された一致箇所の始点および終了点を、タイムラインモードにおいて修正することができる。

上述したように、ユーザは、タイムライン上の所望の点を選択し、その時点に対応するサムネイル画像の表示を指令することができる。そして、ユーザは、新たに表示されたサムネイル画像を確認し、図１９に示されるように、アンダーラインの長さを変更したり、または、始点または終了点として新たに選択するフレームを選択する操作入力を行う。

マイクロプロセッサ３１は、操作コントローラ１５、マウス１６、または、キーボード１７から供給されるユーザの操作入力に基づいて、対応するメタデータの始点フラグまたは終了点フラグの位置を変更して、メタデータを更新する。そして、マイクロプロセッサ３１は、更新されたメタデータに基づいて、サムネイル画像表示フラグが付与されたフレームを抽出し、それらのフレームに対応するサムネイル画像が表示されるとともに、それらのフレーム間に対応する部分にアンダーラインを示すためのデータを演算し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、し、図２０に示されるように、ユーザの操作入力に基づいて、一致していると推定される部分を示すアンダーラインの長さが修正されたＧＵＩ表示画面をディスプレイ１８に表示させる。

このようにして、ユーザが蓄積しているコンテンツデータ、または、動画共有サイトなどにアップロードされているコンテンツデータのうちの一部が共通している場合、それらの関係性を整理することができれば、無駄なデータを削除したり、または、編集されたコンテンツから、その基となるコンテンツを検索することが容易となる。ユーザは、タイムラインモードにおける表示を参考として、例えば、図２１に示されるように、一部共通しているコンテンツを容易に分類することが可能である。

なお、タイムラインモードにおいては、基本的には、軌跡モードにおいてユーザにより選択された選択コンテンツおよび注目コンテンツを、設定した時間軸上に表示するものとして説明したが、軌跡モードにおけるコンテンツの選択にかかわらず、タイムラインモードにおいて、注目コンテンツおよび選択コンテンツを設定することができるようにしても良いことは言うまでもない。

すなわち、画像処理装置１１においては、例えば、選択対象となるコンテンツ、すなわち、ＨＤＤ３５にメタデータが登録されているコンテンツの一覧であるクリップ一覧を異なるウィンドウに表示させて、その中から、ユーザがタイムラインモードにおいて注目コンテンツ及び選択コンテンツとして表示させたい所望のコンテンツを選択することが可能である。

マイクロプロセッサ３１は、操作コントローラ１５、マウス１６、または、キーボード１７から供給されるユーザの操作入力に基づいて、対応するメタデータに、選択コンテンツフラグまたは注目コンテンツフラグを付与する。そして、マイクロプロセッサ３１は、選択コンテンツフラグまたは注目コンテンツフラグが付与されたコンテンツのメタデータを抽出する。そして、マイクロプロセッサは、抽出されたメタデータに各種フラグが存在するか否かを判断し、各種フラグが存在する場合、メタデータから、始点フラグおよび終了点フラグが付与されたフレーム、サムネイル画像表示フラグが付与されたフレーム、および、そのコンテンツの開始フレームおよび終了フレームの画像データを抽出し、図１５を用いて説明した場合と同様に、注目コンテンツとその他のコンテンツの開始時刻を基準とした同一タイムライン上に、それぞれのコンテンツの開始フレームおよび終了フレームのサムネイル画像、始点フラグおよび終了点フラグが付与されたフレームのサムネイル画像、並びに、軌跡モードにおいて表示されていたサムネイル画像を表示させ、一致していると認識された部分をアンダーラインで示すためのデータを演算し、ＧＰＵ３２に供給する。ＧＰＵ３２は、マイクロプロセッサ３１から供給された情報に基づいて、新たに選択された注目コンテンツまたは選択コンテンツのサムネイル画像データがタイムライン上に表示されているＧＵＩ表示画面をディスプレイ１８に表示させる。

なお、この場合、抽出されたメタデータに、始点フラグおよび終了点フラグが存在しなかった場合、一致部分を示すアンダーラインは表示されない。さらに、抽出されたメタデータにサムネイル画像表示フラグが存在しなかった場合、表示させるサムネイルは、所定時間間隔のフレームに対応するサムネイル画像を表示させるものとしても良いし、シーンチェンジに対応するフレームを表示させるものとしても良い。

このように、画像処理装置１１においては、複数のコンテンツのそれぞれの先頭やシーンチェンジ点の画像を確認しなくても、動画の軌跡を確認することにより、一致の可能性があるか否かの選別の補助となるＧＵＩ表示画面を表示させることが可能である。

具体的には、軌跡モードにおいて、３次元座標軸の設定を変更したり、軌跡モードとタイムラインモードを繰り返して、所望の位置のサムネイル画像を表示させるなどすることにより、パラメータの傾向があっていても、実際は、異なるコンテンツであることを簡単に判別でき、また、内容が同じコンテンツが、編集や、画像サイズの変更または圧縮伸張などの画像処理の繰り返しにより、画像のパラメータが異なってしまった場合であっても、その一致部分を容易に見つけることができる。

これにより、例えば、動画共有サイトにおける著作権管理の手間を少なくすることができる。また、動画共有サイトにユーザがある動画をアップロードする場合、同一内容の動画が既に登録されていないか、容易に判断することができる。また、動画共有サイトを管理する管理者等においても、同様の動画が重なって登録されているとき、それらを整理したり、分類することが可能となる。

また、タイムラインモードの表示を参照して、編集後のコンテンツを構成する各シーンの基となる動画に対して、リンクをはって、例えば、編集されたコンテンツを鑑賞しているユーザが、その部分について更に興味を持った場合、リンクをたどって、編集素材となったコンテンツを視聴することができるようにするなどのサービスを、容易に提供することができる。

また、個人のユーザが多くのコンテンツを記録している場合であっても、同じコンテンツを重なって記録してしまうようなことがあったり、コンテンツを編集し、編集前素材コンテンツと編集後のコンテンツを含めて管理するべきコンテンツ数が膨大になってしまっても、画像処理装置１１において、軌跡モードおよびタイムラインモードにおけるＧＵＩ表示画面を参照することにより、それらのコンテンツの一致する箇所を確認し、容易に分類整理することができる。

次に、図２２は、画像処理装置１１が上述した軌跡モードおよびタイムラインモードの処理を実行するために有する機能について説明するための機能ブロック図である。

図２２に示されるように、コンテンツデータは、記憶装置１２、ビデオデータ入力装置１３-１乃至１３-ｎ、または、ドライブ１４から供給される。そして、メタデータ抽出部１０１、圧縮画像生成部１０３、表示空間制御部１０６、座標および時間軸計算部１０７、および、デコーダ１０８は、マイクロプロセッサ３１により機能するものである。

また、メタデータデータベース１０２およびビデオデータベース１０４は、ＨＤＤ３５の所定の領域である。そして、ユーザの操作入力を取得する操作入力取得部１０５は、操作コントローラ１５、マウス１６、およびキーボード１７に対応し、ディスプレイ１８に表示されるＧＵＩ１００の表示の制御やレンダリングなどを行う画像表示制御部１０９は、ＧＰＵ３２に対応する。

ここでは、ビデオデータを構成している個々のピクチャから特徴パラメータを予めメタデータとして抽出しておき、それを用いてビデオデータを表示する構成について説明するが、ビデオデータを構成している個々のピクチャからメタデータを生成しながら、上述したようなＧＵＩ表示画面を表示するようにしても良いし、取得するコンテンツデータにメタデータが予め付与されている場合は、そのメタデータを用いて、上述したようなＧＵＩ表示画面を表示するようにしても良い。

また、画像処理装置１１は、例えば、取得されたコンテンツデータの特徴パラメータを抽出し、メタデータデータベース１０２に登録するとともに、必要に応じてコンテンツデータを圧縮し、ビデオデータベース１０４に登録する処理を行うのみであってもよいし、他の装置によって生成されたメタデータを用いて、取得されたコンテンツデータに対して、上述したようなＧＵＩ表示画面を表示するのみであってもよい。すなわち、図中メタデータデータベース１０２-ａおよびビデオデータベース１０４−ａより左側に記載された機能と、メタデータデータベース１０２-ｂおよびビデオデータベース１０４−ｂより右側に記載された機能とは、それぞれ、異なる装置において実現されても良い。画像処理装置１１がメタデータの抽出と表示処理とをいずれも実行するようになされている場合、メタデータデータベース１０２-ａおよびメタデータデータベース１０２-ｂは、同一のデータベースであり、ビデオデータベース１０４−ａおよびビデオデータベース１０４−ｂは、同一のデータベースである。

メタデータ抽出部１０１は、コンテンツデータを構成するＡＶデータから種々の特徴量を示す特徴パラメータを抽出し、これらをコンテンツデータに対するメタデータファイルとしてメタデータデータベース（メタデータＤＢ）１０２に登録する。

圧縮画像生成部１０３は、メタデータ抽出部１０１を介して供給されたビデオデータの各ピクチャを圧縮して、ビデオデータベース（ビデオＤＢ）１０４に登録する。また、圧縮画像生成部１０３は、更に、ビデオデータにおける各ピクチャの画素数を所定の割合で間引き、その結果得られる画素数の少ないビデオストリームをビデオＤＢ１０４に登録するようにしても良い。画素数の少ないビデオストリームが予め生成されている場合、上述したサムネイル画像を容易に生成することができ、好適である。

操作入力取得部１０５は、画像表示制御部１０９の処理によりディスプレイ１８への表示が制御された図３乃至図２０を用いて説明したようなＧＵＩ１００を参照したユーザの操作入力を取得し、表示空間制御部１０６に供給する。

表示空間制御部１０６は、ディスプレイ１８に表示されたＧＵＩ１００を参照したユーザの操作入力を、操作入力取得部１０５から取得し、ユーザにより指定された３次元表示空間の生成に用いられる表示軸のパラメータを認識し、必要なメタデータをメタデータデータベース１０２から読み出して座標および時間軸計算部１０７に供給させる。また、表示空間制御部１０６は、軌跡モードの３次元表示空間に対応するコンテンツや、タイムラインモードにおいて表示されるサムネイル画像に対応するコンテンツなどを認識し、ユーザにより選択されたコンテンツ、または、コンテンツの所定の時点に関する情報を、座標および時間軸計算部１０７に供給する。そして、表示空間制御部１０６は、所定のコンテンツのメタデータをメタデータデータベース１０２から読み出して座標および時間軸計算部１０７に供給させたり、所定のコンテンツのデータをビデオデータベース１０４から読み出してデコーダ１０８に供給させる。

座標および時間軸計算部１０７は、軌跡モードにおいて、表示されるそれぞれのコンテンツのメタデータを参照して、表示空間制御部１０６から供給された特徴パラメータを表示空間の表示軸に設定し、特徴パラメータを３次元表示空間内の座標（座標パラメータ）に計算により変換し、変換した座標パラメータの値に応じて３次元表示空間内の軌跡やサムネイル画像の配置位置を決定する。そして、座標および時間軸計算部１０７は、３次元表示空間内に配置されるべき複数の軌跡やサムネイル画像を決定された配置位置に表示させるために必要な情報を画像表示制御部１０９へ供給する。

また、座標および時間軸計算部１０７は、タイムラインモードにおいて、表示されるコンテンツの再生時間などに基づいて、その画面における時間軸を設定し、表示されるそれぞれのコンテンツのメタデータを参照して、サムネイル画像を決定された配置位置に表示させるために必要な情報を画像表示制御部１０９へ供給する。

デコーダ１０８は、ビデオＤＢ１０４から供給されビデオストリームをデコードし、その結果得られるデコード後のビデオデータを画像表示制御部１０９へ送出する。

画像表示制御部１０９は、座標および時間軸計算部１０７から供給された各種情報、および、デコーダ１０８から供給されたビデオデータを用いて、図３乃至図２０を用いて説明したようなＧＵＩ１００のディスプレイ１８への表示を制御する。

次に、図２３は、メタデータ抽出部の更に詳細な機能例について説明するための機能ブロック図である。図２３においては、抽出されるメタデータとして、画像の細かさ、動き、ＤＣＴ縦横方向周波数成分、色成分、音声、および、輝度を例として説明するが、上述したように、抽出可能なメタデータは、この限りではない。

メタデータ抽出部１０１は、細かさ情報算出部１３１、動き検出部１３２、ＤＣＴ縦横周波数成分検出部１３３、色成分検出部１３４、音声検出部１３５、輝度色差検出部１３６などの特徴量の検出手段、および、メタデータファイル生成部１３７によって形成されている。但し、メタデータ抽出部１０１は、これら以外のパラメータの特徴量を抽出するための種々の検出部が設けられていても良い。

細かさ情報算出部１３１は、平均値算出部１５１、差分値演算部１５２、および、積算部１５３から構成されている。

平均値算出部１５１は、ビデオデータの供給を受け、ビデオデータのフレームを順次、注目フレームとし、その注目フレームを、例えば、図２４に示すように、８×８画素のブロックに分割する。さらに、平均値算出部１５１は、注目フレームにおける各ブロックの画素値の平均値を求め、これを差分値演算部１５２へ供給する。

ここで、８×８画素のブロックのラスタスキャン順で、ｋ番目の画素の画素値をＰｋと表した場合、平均値算出部１５１は、画素値の平均値Ｐａｖｅを、次の式（１）を用いて求める。

Ｐａｖｅ＝１／（８×８）×ΣＰｋ・・・（１）

なお、式（１）におけるサメーションΣは、ｋを１から８×８（＝６４）までに変えてのサメーションを表す。

差分値演算部１５２は、平均値算出部１５１と同様に、注目フレームを、８×８画素のブロックに分割し、ブロックの各画素値Ｐｋと、平均値算出部１５１から供給される、そのブロックの画素値の平均値Ｐａｖｅとの差分値の絶対値｜Ｐｋ−Ｐａｖｅ｜を求め、積算部１５３に供給する。

積算部１５３は、差分値演算部１５２から供給されるブロックの各画素について求められた差分値の絶対値｜Ｐｋ−Ｐａｖｅ｜を積算し、積算値Ｑ＝Σ｜Ｐｋ−Ｐａｖｅ｜を求める。ここで、積算値Ｑ＝Σ｜Ｐｋ−Ｐａｖｅ｜におけるサメーションΣは、ｋを、１から８×８（＝６４）までに変えてのサメーションを表す。

さらに、積算部１５３は、注目フレームのすべてのブロックについて得られた積算値Ｑの総和を求め、これを注目フレームの細かさ情報ＱＳ₁としてメタデータファイル生成部１３７へ出力する。

なお、注目フレームについて求められる積算値Ｑの総和は、イントラＡＣ（Intra−AC）と呼ばれるもので、その値が大きいほど、注目フレームにおける画素値にばらつきが大きい。従って、積算値Ｑの総和である細かさ情報ＱＳ₁が大きいほど、注目フレームは細かな（複雑な）画像であるということになる。

動き検出部１３２は、動きベクトル検出部１６１および統計量算出部１６２で構成されている。

動きベクトル検出部１６１は、図２５に示すように、前フレームを１６×１６画素のマクロブロックに分割し、前フレームの各マクロブロックについて、そのマクロブロックに最も類似する注目フレームの１６×１６画素のブロック（以下、類似ブロックという）を検出する。そして、動きベクトル検出部１６１は、マクロブロックの、例えば、左上を始点とすると共に、類似ブロックの左上を終点とするベクトルを、マクロブロックの動きベクトル△Ｆ₀（ｈ，ｖ）として求める。

いま、前フレームの左からｈ番目で、上からｖ番目のマクロブロックの位置をＦ₀（ｈ，ｖ）と表すと共に、マクロブロックＦ₀（ｈ，ｖ）から、そのマクロブロックＦ₀（ｈ，ｖ）の動きベクトル△Ｆ₀（ｈ，ｖ）だけ移動した位置の注目フレームの１６×１６画素のブロック、即ち、類似ブロックの位置をＦ₁（ｈ，ｖ）と表すこととすると、マクロブロックＦ₀（ｈ，ｖ）の動きベクトル△Ｆ₀（ｈ，ｖ）は、次の式（２）で示される。

△Ｆ₀（ｈ，ｖ）＝Ｆ₁（ｈ，ｖ）−Ｆ₀（ｈ，ｖ）・・・（２）

統計量算出部１６２は、前フレームのマクロブロックについて求められた動きベクトルの統計量として、例えば、前フレームにおける全てのマクロブロックの動きベクトル△Ｆ₀（ｈ，ｖ）の大きさ｜△Ｆ₀（ｈ，ｖ）｜の総和Ｄ₀＝Σ｜△Ｆ₀（ｈ，ｖ）｜を求め、この総和Ｄ₀を、注目フレームの動き情報として出力する。

なお、総和Ｄ₀＝Σ｜△Ｆ₀（ｈ，ｖ）｜におけるサメーションΣは、ｈを、１から、前フレームの横方向のマクロブロックの数までに変えると共に、ｖを、１から、前フレームの縦方向のマクロブロックの数までに変えてのサメーションを表す。

ここで、前フレームの各マクロブロックＦ₀（ｈ，ｖ）における動きベクトル△Ｆ₀（ｈ，ｖ）の大きさが大きいと、その和である動き情報Ｄ₀も大きくなる。従って、注目フレームの動き情報Ｄ₀が大きい場合には、注目フレームの画像の動きも大きい（激しい）ということになる。

なお、上述の場合には、前フレームのマクロブロックについて求められた動きベクトルの統計量として、前フレームの全てのマクロブロックにおける動きベクトル△Ｆ₀（ｈ，ｖ）の大きさ｜△Ｆ₀（ｈ，ｖ）｜の総和Ｄ₀＝Σ｜△Ｆ₀（ｈ，ｖ）｜を求めるようにしたが、前フレームのマクロブロックについて求められた動きベクトルの統計量としては、その他、例えば、前フレームのマクロブロックについて求められた動きベクトルの分散を採用することが可能である。

この場合、統計量算出部１６２では、前フレームの全てのマクロブロックにおける動きベクトル△Ｆ₀（ｈ，ｖ）の平均値△ａｖｅが求められ、前フレームの全てのマクロブロックＦ₀（ｈ，ｖ）における動きベクトル△Ｆ₀（ｈ，ｖ）の分散σ０が、例えば、次の式（３）を演算することで求められる。

σ₀＝Σ（△Ｆ₀（ｈ，ｖ）−△ａｖｅ）²・・・（３）

なお、式（３）の分散におけるサメーションΣは、ｈを、１から、前フレームの横方向のマクロブロックの数までに変えると共に、ｖを、１から、前フレームの縦方向のマクロブロックの数までに変えてのサメーションを表す。

この分散σ₀も、総和Ｄ₀と同様に、注目フレームの画像の動きが大きい（激しい）と大きくなる。

なお、動き検出部１３２は、各フレームの画素値の簡略的なヒストグラムを作成し、あるフレームのヒストグラムと前フレームに対するヒストグラムとの差分絶対値和を注目フレームの動き情報としてもよい。

例えば、ビデオデータの画素値が、例えば、０乃至２５５の整数値により表現可能な８ビットで表されるとすると、動き検出部１３２は、図２６に示されるように、所定の画素値の幅で、ｉフレーム目とi+1フレーム目の画素値の簡略的なヒストグラムを作成し、これらのヒストグラムの同一の小範囲における度数同士の差分値の絶対値△（図２６において影を付して示す部分）の総和（差分絶対値和）Σ△を求め、注目フレームの動き情報としてメタデータファイル生成部１３７へ出力する。

ここで、注目フレームの動きが大きい（激しい）場合には、注目フレームの画素値の度数分布は、前フレームの画素値の度数分布と異なるものになる。従って、注目フレームの差分絶対値和Σ△が大きい場合には、注目フレームの画像の動きも大きい（激しい）ということになる。

次に、ＤＣＴ縦横周波数成分検出部１３３は、周波数分析部１７１および縦すじ横すじレベル算出部１７２を含んで構成されている。

図２７は、ＤＣＴ縦横周波数成分検出部１３３の周波数分析部１７１の構成例を示す機能ブロック図である。この周波数分析部１７１は、ＤＣＴ変換部２２１、積算部２２２、および、重み係数算出部２２３から構成されている。

ＤＣＴ変換部２２１には、ビデオデータが供給され、このビデオデータのフレームを、順次、注目フレームとし、注目フレームを、例えば、８×８画素のブロックに分割する。更にＤＣＴ変換部２２１は、注目フレームの各ブロックをＤＣＴ変換し、各ブロックについて得られる８×８個のＤＣＴ係数を積算部２２２へ供給する。

重み係数算出部２２３は、ブロックの８×８個のＤＣＴ係数それぞれに付す重みを求めて積算部２２２へ供給する。積算部２２２は、ＤＣＴ変換部２２１から供給されるブロックの８×８個のＤＣＴ係数それぞれに、重み係数算出部２２３から供給される重みを付して積算することにより積算値を求める。更に積算部２２２は、注目フレームの各ブロックについて求められた積算値の総和を求め、注目フレームの細かさ情報として縦すじ横すじレベル算出部１７２へ送出する。

ここで注目フレームに高周波成分が含まれるほど、積算値Ｖの総和Ｋである細かさ情報は大きくなるので、注目フレームの画像が細かな（複雑な）静止画像であるということになる。

そして、ＤＣＴ縦横周波数成分検出部１３３の縦すじ横すじレベル算出部１７２は、注目フレームのうちエリアＡＲ₁におけるＤＣＴ係数に基づいて縦方向に細かいスジが存在する画像すなわち横方向の周波数が高い画像であることや、注目フレームのうちエリアＡＲ₂におけるＤＣＴ係数に基づいて横方向に細かいスジが存在する画像すなわち縦方向の周波数が高い画像であることを検出するようになされている。

これによりＤＣＴ縦横周波数成分検出部１３３では、周波数分析部１７１で注目フレームの画像が細かな（複雑な）静止画像であるか否かを判別し得ると共に、横方向の周波数及び縦方向の周波数がどのくらいのレベルにあるのかを判別し、それをＤＣＴ縦横周波数成分情報ＦＶＨとしてメタデータファイル生成部１３７へ出力するようになされている。

そして、色成分検出部１３４は、画素ＲＧＢレベル検出部１８１、ＲＧＢレベル統計分散検出部１８２、および、ＨＬＳレベル統計分散検出部１８３から構成されている。

画素ＲＧＢレベル検出部１８１は、ビデオデータの注目フレームにおける各画素のＲＧＢレベルをそれぞれ検出し、その検出結果をＲＧＢレベル統計分散検出部１８２およびＨＬＳレベル統計分散検出部１８３へ送出する。

ＲＧＢレベル統計分散検出部１８２は、画素ＲＧＢレベル検出部１８１から供給された注目フレームにおける各画素のＲＧＢレベルに対する統計及び分散を算出し、注目フレームにおけるＲＧＢの各色成分がどのようなレベルにあるのかを示す統計値や、注目フレームにおける色成分が全体的な色として付されているのか、局所的な色として付されているのかを示す分散値を色成分情報ＣＬ₁としてメタデータファイル生成部１３７へ出力する。

ＨＬＳレベル統計分散検出部１８３は、画素ＲＧＢレベル検出部１８１から供給された注目フレームにおける各画素のＲＧＢレベルを、色相（Hue）、彩度（Saturation）および輝度(Luminance/Lightness)の３つの成分に変換し、これら色相、彩度及び輝度からなる、図２８に示すＨＬＳ空間における各要素の統計及び分散として算出し、その検出結果をＨＬＳ情報ＣＬ₂としてメタデータファイル生成部１３７へ出力するようになされている。

ここでＨＬＳ空間における色相とは、色味を０度乃至３５９度の範囲の角度で表したものであり、０度は赤で、その反対側に位置する１８０度は赤の反対にあたる青緑となる。すなわち、ＨＬＳ空間では反対色を見つけるのも容易である。

ＨＬＳ空間における彩度とは、有彩色が混ざる割合のことであり、特にＨＬＳ空間ではＨＳＶ（色相（Hue）、彩度(Saturation)及び明度（Value））空間とは異なり、純色から彩度が落ちるということは、すなわち灰色になっていくという考え方に基づいているので、灰色に近いと彩度が低く、灰色から遠いと彩度が高いということになる。

ＨＬＳ空間における輝度とは、ＨＳＶ空間のように明度１００％を純色とし、そこからどれだけ明るさが失われるかを示すのとは異なり、輝度０％を黒、輝度１００％を白とし、その中間を純白としたものである。

したがって、ＨＬＳレベル統計分散検出部１８３は、ＲＧＢ空間に比べて色相を一段と分かり易く表現したＨＬＳ情報ＣＬ₂をメタデータファイル生成部１３７へ出力することができる。

音声検出部１３５は、周波数分析部１９１およびレベル検出部１９２から構成されている。

周波数分析部１９１では、ビデオデータの注目フレームに対応したオーディオデータの供給を受けてその周波数を分析し、その周波数帯域をレベル検出部１９２へ通知する。

レベル検出部１９２は、周波数分析部１９１から通知された周波数帯域における音声データのレベルを検出し、その音声レベル情報ＡＬをメタデータファイル生成部１３７へ出力する。

輝度色差検出部１３６は、Ｙ、Ｃｂ、Ｃｒレベル検出部２０１と、Ｙ、Ｃｂ、Ｃｒレベル統計分散検出部２０２とから構成されている。

Ｙ、Ｃｂ、Ｃｒレベル検出部２０１は、ビデオデータの供給を受け、ビデオデータの注目フレームにおける各画素の輝度信号Ｙの輝度レベル、色差信号Ｃｂ、Ｃｒの信号レベルを検出し、これらをＹ、Ｃｂ、Ｃｒレベル統計分散検出部２０２へ供給する。

Ｙ、Ｃｂ、Ｃｒレベル統計分散検出部２０２は、Ｙ、Ｃｂ、Ｃｒレベル検出部２０１から供給された注目フレームにおける各画素の輝度信号Ｙの輝度レベル、色差信号Ｃｂ、Ｃｒの信号レベルに対する統計及び分散を算出し、注目フレームにおける輝度信号Ｙ、色差信号Ｃｂ、Ｃｒがどのようなレベルにあるのかを示す統計値や、注目フレームにおける輝度信号Ｙ、色差信号Ｃｂ、Ｃｒの分散値を色成分情報ＣＬ₃としてメタデータファイル生成部１３７へ出力する。

そして、メタデータファイル生成部１３７は、細かさ情報算出部１３１から得られる細かさ情報ＱＳ₁、動き検出部１３２から得られる注目フレームの動き情報Ｄ₀、ＤＣＴ縦横周波数成分検出部１３３から得られるＤＣＴ縦横周波数成分情報ＦＶＨ、色成分検出部１３４から得られる色成分情報ＣＬ₁やＨＬＳ情報ＣＬ₂、音声検出部１３５から得られる音声レベル情報ＡＬ、及び輝度色差検出部１３６から得られる色成分情報ＣＬ₃を基に、ビデオデータを構成しているピクチャの特徴パラメータまたはビデオデータに対応するオーディオデータの特徴パラメータを、メタデータを含むメタデータファイルとしてそれぞれ生成し、これを出力する。

このメタデータファイルには、例えば、図２９に示すように、コンテンツデータを構成している１フレームから最終フレームまでの複数のピクチャ毎に「タイムコード」、「動き量」、「細かさ」、「赤」、「青」、「緑」、「輝度」、「赤分散」、「緑分散」、「色相」、「飽和度」、「縦スジ」、「横スジ」、「動き分散」および「音声レベル」等の様々な特徴パラメータが登録される。

なお、図２９に示されるメタデータファイルの各特徴パラメータにおける特徴量の値としては、０乃至１の間の正規化された相対値を用いているが、パラメータの値は、これに限るものではなく、例えば、絶対値を用いても良い。また、メタデータファイルの内容としても、上述した特徴パラメータの特徴量に限られるものではない。例えば、上述した軌跡モードにおいて、対応するコンテンツに基づいて、いずれかの特徴量を軸とした空間の軌跡が表示された場合、その３次元空間上の座標値についてもメタデータの一種として登録しておくようにすると好適である。

次に、図３０のフローチャートを参照して、画像処理装置１１が実行する画像認識のためのGUI表示処理について説明する。

ステップＳ１１において、メタデータ抽出部１０１は、コンテンツデータを取得する。

ステップＳ１２において、メタデータ抽出部１０１は、取得されたコンテンツデータにメタデータが付随されているか否かを判断する。

ステップＳ１２において、メタデータが付随されていないと判断された場合、ステップＳ１３において、メタデータ抽出部１０１は、図２３乃至図２８を用いて説明したようにして、コンテンツデータを解析し、たとえば、図２９に示されるようなメタデータを生成する。

ステップＳ１２において、メタデータが付随されていると判断された場合、または、ステップＳ１３の処理の終了後、ステップＳ１４において、メタデータ抽出部１０１は、付随されていた、または、生成したメタデータにより構成されるメタデータファイルをメタデータデータベース１０２に供給する。メタデータデータベース１０２は、供給されたメタデータファイルを、コンテンツデータごとに区別可能なように登録するとともに、コンテンツデータを、圧縮画像生成部１０３に供給する。

ステップＳ１５において、圧縮画像生成部１０３は、供給されたコンテンツデータをビデオデータベース１０４に登録するために、圧縮符号化が必要であるか否かを判断する。

ステップＳ１５において、圧縮符号化が必要であると判断された場合、ステップＳ１６において、圧縮画像生成部１０３は、供給されたコンテンツデータに圧縮符号化を行う。

ステップＳ１５において、圧縮符号化が必要ではないと判断された場合、または、ステップＳ１６の処理の終了後、ステップＳ１７において、圧縮画像生成部１０３は、コンテンツデータをビデオデータベース１０４に供給する。ビデオデータベース１０４は、供給されたコンテンツデータを記憶する。

ステップＳ１８において、圧縮画像生成部１０３は、取得が指令されたコンテンツデータは、全て記録されたか否かを判断する。ステップＳ１８において、取得が指令されたコンテンツデータの記録がまだ終了していないと判断された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。

ステップＳ１８において、取得が指令されたコンテンツデータが全て記録されたと判断された場合、ステップＳ１９において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、軌跡モードの実行が指令されたか否かを判断する。

ステップＳ１９において、軌跡モードの実行が指令されたと判断された場合、ステップＳ２０において、図３１および図３２を用いて後述する軌跡モード実行処理が実行される。

ステップＳ１９において、軌跡モードの実行が指令されていないと判断された場合、ステップＳ２１において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、タイムラインモードの実行が指令されたか否かを判断する。

ステップＳ２１において、タイムラインモードの実行が指令されたと判断された場合、ステップＳ２０において、図３３および図３４を用いて後述するタイムラインモード実行処理が実行される。

ステップＳ２０またはステップＳ２２の処理の終了後、ステップＳ２３において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、モードの変更が指令されたか否かを判断する。ステップＳ２３において、モードの変更が指令されたと判断された場合、処理は、ステップＳ１９に戻り、それ以降の処理が繰り返される。

ステップＳ２３において、モードの変更が指令されていないと判断された場合、ステップＳ２４において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、コンテンツデータの追加記録が指令されたか否かを判断する。ステップＳ２４において、コンテンツデータの追加記録が指令されたと判断された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。

ステップＳ２４において、コンテンツデータの追加記録が指令されていないと判断された場合、ステップＳ２５において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、処理の終了が指令されたか否かを判断する。ステップＳ２５において、処理の終了が指令されていないと判断された場合、処理は、ステップＳ１９に戻り、それ以降の処理が繰り返される。

ステップＳ２５において、処理の終了が指令されたと判断された場合、処理は終了される。

このような処理により、取得されたコンテンツのメタデータが登録され、ユーザの操作入力に基づいて、軌跡モードまたはタイムラインモードが実行される。

次に、図３１および図３２のフローチャートを参照して、図３０のステップＳ２０において実行される、軌跡モード実行処理について説明する。

ステップＳ５１において、表示空間制御部１０６は、初期設定、または、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、３次元空間の座標の設定を取得し、ユーザにより指定された３次元表示空間の生成に用いられる表示軸のパラメータを認識する。

ステップＳ５２において、操作入力取得部１０５は、表示対象となるコンテンツの選択を受け、表示空間制御部１０６に供給する。表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、必要なメタデータをメタデータデータベース１０２から読み出して座標および時間軸計算部１０７に供給させる。

ステップＳ５３において、座標および時間軸計算部１０７は、表示対象となるコンテンツのメタデータを取得する。

ステップＳ５４において、座標および時間軸計算部１０７は、取得されたメタデータに各種フラグが存在するか否かを判断する。

ステップＳ５４において、取得されたメタデータに各種フラグが存在すると判断された場合、ステップＳ５５において、座標および時間軸計算部１０７は、各種フラグを反映させて、表示されるそれぞれのコンテンツのメタデータを参照して、表示空間制御部１０６から供給された特徴パラメータを表示空間の表示軸に設定し、特徴パラメータを３次元表示空間内の座標（座標パラメータ）に計算により変換し、変換した座標パラメータの値に応じて３次元表示空間内の軌跡およびその線種、並びに、サムネイル画像の配置位置を決定する。そして、座標および時間軸計算部１０７は、３次元表示空間内に配置されるべき複数の軌跡やサムネイル画像を決定された配置位置に表示させるために必要な情報を画像表示制御部１０９へ供給する。そして、画像表示制御部１０９は、例えば、図３乃至図１４を用いて説明したような、表示対象となるコンテンツのメタデータに対応する軌跡が３次元空間に表示されているＧＵＩ１００のディスプレイ１８への表示を制御する。

ステップＳ５４において、取得されたメタデータに各種フラグが存在しないと判断された場合、ステップＳ５６において、座標および時間軸計算部１０７は、表示されるそれぞれのコンテンツのメタデータを参照して、表示空間制御部１０６から供給された特徴パラメータを表示空間の表示軸に設定し、特徴パラメータを３次元表示空間内の座標（座標パラメータ）に計算により変換し、変換した座標パラメータの値に応じて３次元表示空間内の軌跡の配置位置を決定する。そして、座標および時間軸計算部１０７は、３次元表示空間内に配置されるべき複数の軌跡を決定された配置位置に表示させるために必要な情報を画像表示制御部１０９へ供給する。そして、画像表示制御部１０９は、例えば、図３を用いて説明したような、表示対象となるコンテンツのメタデータに対応する軌跡が３次元空間に表示されているＧＵＩ１００のディスプレイ１８への表示を制御する。

ステップＳ５５またはステップＳ５６の処理の終了後、ステップＳ５７において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、３次元空間の座標の設定の変更が指令されたか否かを判断する。ステップＳ５７において、３次元空間の座標の設定の変更が指令されたと判断された場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。

ステップＳ５７において、３次元空間の座標の設定の変更が指令されていないと判断された場合、ステップＳ５８において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、表示対象となるコンテンツの変更が指令されたか否かを判断する。ステップＳ５８において、表示対象となるコンテンツの変更が指令されたと判断された場合、処理は、ステップＳ５２に戻り、それ以降の処理が繰り返される。

ステップＳ５８において、表示対象となるコンテンツの変更が指令されていないと判断された場合、ステップＳ５９において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、ＧＵＩ表示画面に表示されているいずれかの軌跡が選択されたか、すなわち、コンテンツの選択が指令されたか否かを判断する。ステップＳ５９において、コンテンツの選択が指令されていないと判断された場合、処理は、後述するステップＳ６２に進む。

ステップＳ５９において、コンテンツの選択が指令されたと判断された場合、ステップＳ６０において、表示空間制御部１０６は、ユーザにより指定されたコンテンツのメタデータに対して、選択コンテンツフラグを付与する。

ステップＳ６１において、表示空間制御部１０６は、ユーザにより指定されたコンテンツを示す情報を、座標および時間軸計算部１０７に供給する。座標および時間軸計算部１０７は、ユーザにより指定されたコンテンツに対応する軌跡の表示を、例えば、ハイライト表示や、異なる色の表示などに変更するための情報を生成し、画像表示制御部１０９に供給する。画像表示制御部１０９は、供給された情報に基づいて、ディスプレイ１８に表示されたＧＵＩ１００の３次元空間におけるユーザにより指定されたコンテンツに対応する軌跡の表示を変更する。

ステップＳ５９において、コンテンツの選択が指令されていないと判断された場合、または、ステップＳ６１の処理の終了後、ステップＳ６２において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、注目コンテンツの選択が指令されたか否かを判断する。ステップＳ６２において、注目コンテンツの選択が指令されていないと判断された場合、処理は、後述するステップＳ６５に進む。

ステップＳ６２において、注目コンテンツの選択が指令されたと判断された場合、ステップＳ６３において、表示空間制御部１０６は、注目コンテンツとして指定されたコンテンツのメタデータに対して、注目コンテンツフラグを付与する。

ステップＳ６４において、表示空間制御部１０６は、ユーザにより指定された注目コンテンツを示す情報を、座標および時間軸計算部１０７に供給する。座標および時間軸計算部１０７は、ユーザにより指定された注目コンテンツに対応する軌跡の表示を、例えば、ハイライト表示や、異なる色の表示など、選択コンテンツとも更に異なる表示方法に変更するための情報を生成し、画像表示制御部１０９に供給する。画像表示制御部１０９は、供給された情報に基づいて、ディスプレイ１８に表示されたＧＵＩ１００の３次元空間におけるユーザにより指定された注目コンテンツに対応する軌跡の表示を変更する。

ステップＳ６２において、注目コンテンツの選択が指令されていないと判断された場合、または、ステップＳ６４の処理の終了後、ステップＳ６５において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、一致していると推定される部分の開始点または終了点の選択を受けたか否かを判断する。ステップＳ６５において、一致していると推定される部分の開始点または終了点の選択を受けていないと判断された場合、処理は、後述するステップＳ６８に進む。

ステップＳ６５において、一致していると推定される部分の開始点または終了点の選択を受けたと判断された場合、ステップＳ６６において、表示空間制御部１０６は、ユーザにより指定された座標に対応するフレームに、始点または終了点を示す始点フラグおよび終了点フラグを付与する。

ステップＳ６７において、表示空間制御部１０６は、一致していると推定される部分の開始点または終了点を示す情報を、座標および時間軸計算部１０７に供給する。座標および時間軸計算部１０７は、ユーザにより指定された一致していると推定される部分の開始点または終了点の座標を演算し、画像表示制御部１０９に供給する。画像表示制御部１０９は、供給された情報に基づいて、ディスプレイ１８に表示されたＧＵＩ１００の３次元空間におけるユーザにより指定された一致していると推定される部分の開始点または終了点に、例えば、ばつ印などをつけたり、その間の軌跡の表示を変更する。

ステップＳ６５において、一致していると推定される部分の開始点または終了点の選択を受けていないと判断された場合、または、ステップＳ６７の処理の終了後、ステップＳ６８において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、サムネイル画像の表示が指令されたか否かを判断する。ステップＳ６８において、サムネイル画像の表示が指令されていないと判断された場合、処理は、後述するステップＳ７１に進む。

ステップＳ６８において、サムネイル画像の表示が指令されたと判断された場合、ステップＳ６９において、表示空間制御部１０６は、ユーザにより指定された座標に対応するフレームに、サムネイル画像表示フラグを付与する。

ステップＳ７０において、表示空間制御部１０６は、ユーザにより指定された座標に対応するフレームを示す情報を、座標および時間軸計算部１０７に供給する。さらに、表示空間制御部１０６は、そのフレームの画像をビデオデータベース１０４から読み出して、デコーダ１０８においてデコードさせ、画像表示制御部１０９に供給させる。座標および時間軸計算部１０７は、ユーザにより指定された座標情報を画像表示制御部１０９に供給する。画像表示制御部１０９は、供給された情報に基づいて、ディスプレイ１８に表示されたＧＵＩ１００の３次元空間におけるユーザにより選択された座標に、対応するフレーム画像データに基づくサムネイル画像を表示させる。

ステップＳ６８において、サムネイル画像の表示が指令されていないと判断された場合、または、ステップＳ７０の処理の終了後、ステップＳ７１において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、動画の再生が指令されたか否かを判断する。ステップＳ７１において、動画の再生が指令されていないと判断された場合、処理は、後述するステップＳ７５に進む。

ステップＳ７１において、動画の再生が指令されたと判断された場合、ステップＳ７２において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、再生開始位置が指令されているか否かを判断する。

ステップＳ７２において、再生開始位置が指令されていると判断された場合、ステップＳ７３において、表示空間制御部１０６は、ユーザにより指定された軌跡の再生開始位置として指定された座標から、その軌跡に対応するコンテンツとその再生開始フレームを演算し、座標および時間軸計算部１０７に供給する。さらに、表示空間制御部１０６は、そのコンテンツの指定された座標に対応するフレーム以降の画像をビデオデータベース１０４から読み出して、デコーダ１０８においてデコードさせ、画像表示制御部１０９に供給させる。座標および時間軸計算部１０７は、別ウィンドウを表示し、指定された軌跡に対応するコンテンツを指定された再生開始位置から再生表示させるための情報を生成して、画像表示制御部１０９に供給する。画像表示制御部１０９は、供給された情報に基づいて、ディスプレイ１８に表示されたＧＵＩ１００に別ウィンドウを表示して、指定された軌跡に対応するコンテンツを指定された再生開始位置から再生表示させる。

ステップＳ７２において、再生開始位置が指令されていないと判断された場合、ステップＳ７４において、表示空間制御部１０６は、ユーザにより指定されたコンテンツを示す情報を、座標および時間軸計算部１０７に供給する。さらに、表示空間制御部１０６は、そのコンテンツの画像を、先頭から、ビデオデータベース１０４から読み出して、デコーダ１０８においてデコードさせ、画像表示制御部１０９に供給させる。座標および時間軸計算部１０７は、別ウィンドウを表示し、指定された軌跡に対応するコンテンツを再生表示させるための情報を生成して、画像表示制御部１０９に供給する。画像表示制御部１０９は、供給された情報に基づいて、ディスプレイ１８に表示されたＧＵＩ１００に別ウィンドウを表示して、指定された軌跡に対応するコンテンツを再生表示させる。

ステップＳ７１において、動画の再生が指令されていないと判断された場合、または、ステップＳ７３もしくはステップＳ７４の処理の終了後、ステップＳ７５において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、操作終了、モードの変更、または、コンテンツの追加記録が指令されたか否かを判断する。

ステップＳ７５において、操作終了、モードの変更、または、コンテンツの追加記録が指令されていないと判断された場合、処理は、ステップＳ５７に戻り、それ以降の処理が繰り返される。ステップＳ７５において、操作終了、モードの変更、または、コンテンツの追加記録が指令されたと判断された場合、処理は、図３０のステップＳ２０に戻り、ステップＳ２３に進む。

このような処理により、図３乃至図１４を用いて説明したような軌跡モードが実行されて、ユーザが所望する特徴パラメータにより軸が構成される仮想的な３次元空間において、それぞれのコンテンツの特徴量に基づいた軌跡が描画されるので、ユーザは、少なくともその一部が一致していると推定されるコンテンツの組み合わせなどを容易に見つけることができ、それらのコンテンツの軌跡の表示を変更させたり、所望の位置にサムネイル画像を表示させたり、一致していると思われる部分の開始点と終了点に挟まれる範囲をそれ以外の部分と区別可能にすることができる。

次に、図３３および図３４のフローチャートを参照して、図３３のステップＳ２２において実行される、タイムラインモード実行処理について説明する。

ステップＳ１０１において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、軌跡モード実行状態からタイムラインモードに変更されたか否かを判断する。

ステップＳ１０１において、軌跡モード実行状態からタイムラインモードに変更されたと判断された場合、ステップＳ１０２において、表示空間制御部１０６は、選択コンテンツフラグおよび注目コンテンツフラグが付与されたコンテンツのメタデータをメタデータデータベース１０２から読み出して座標および時間軸計算部１０７に供給する。座標および時間軸計算部１０７は、選択コンテンツフラグおよび注目コンテンツフラグが付与されたコンテンツのメタデータを取得する。

ステップＳ１０３において、座標および時間軸計算部１０７は、取得されたメタデータから、各種フラグを抽出する。

ステップＳ１０４において、座標および時間軸計算部１０７は、各種フラグに基づいて、アンダーラインおよびサムネイル画像データを表示させるための情報を生成し、画像表示制御部１０９へ供給する。ステップＳ１０４の処理の終了後、処理は、後述するステップＳ１０８に進む。

ステップＳ１０１において、軌跡モード実行状態からタイムラインモードに変更されていないと判断された場合、ステップＳ１０５において、表示空間制御部１０６は、ビデオデータベース１０４に記録されている、タイムラインモードにおいて表示されるコンテンツとして選択可能なコンテンツはいずれであるかを判断し、選択可能なコンテンツの一覧を表示するために必要な情報を画像表示制御部１０９へ供給する。そして、画像表示制御部１０９は、選択可能なコンテンツの一覧をＧＵＩ１００のディスプレイ１８へ表示させる。

ステップＳ１０６において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、選択コンテンツおよび注目コンテンツの入力を受け、その情報を、画像表示制御部１０９へ供給する。

ステップＳ１０７において、表示空間制御部１０６は、選択コンテンツおよび注目コンテンツとしてユーザにより選択されたコンテンツのメタデータに、選択コンテンツフラグおよび注目コンテンツフラグを付与するとともに、これらのコンテンツのメタデータをメタデータデータベース１０２から読み出して座標および時間軸計算部１０７に供給する。座標および時間軸計算部１０７は、選択コンテンツフラグおよび注目コンテンツフラグが付与されたコンテンツのメタデータを取得し、選択されたコンテンツに対応するサムネイル画像データを表示させるための情報を生成し、画像表示制御部１０９へ供給する。

ステップＳ１０４またはステップＳ１０７の処理の終了後、ステップＳ１０８において、画像表示制御部１０９は、例えば、図１５乃至図１７を用いて説明したような、タイムライン上にサムネイル画像データが並べられたＧＵＩ表示画面のディスプレイ１８への表示を制御する。

ステップＳ１０９において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、コンテンツを新たに追加して表示することが指令されたか否かを判断する。ステップＳ１０９において、コンテンツを新たに追加して表示することが指令されていないと判断された場合、処理は、後述するステップＳ１１３に進む。

ステップＳ１０９において、コンテンツを新たに追加して表示することが指令されたと判断された場合、ステップＳ１１０において、表示空間制御部１０６は、ビデオデータベース１０４に記録されているコンテンツのうち、現在表示されていないコンテンツであって、タイムラインモードにおいて表示されるコンテンツとして選択可能なコンテンツはいずれであるかを判断し、選択可能なコンテンツの一覧を表示するために必要な情報を画像表示制御部１０９へ供給する。そして、画像表示制御部１０９は、選択可能なコンテンツの一覧をＧＵＩ１００のディスプレイ１８へ表示させる。

ステップＳ１１１において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、選択されたコンテンツの入力を受け、その情報を、画像表示制御部１０９へ供給する。

ステップＳ１１２において、表示空間制御部１０６は、ユーザにより新たに選択されたコンテンツのメタデータに、選択コンテンツフラグ（または、注目コンテンツフラグ）を付与するとともに、これらのコンテンツのメタデータをメタデータデータベース１０２から読み出して座標および時間軸計算部１０７に供給する。座標および時間軸計算部１０７は、新たに選択されたコンテンツのメタデータを取得し、新たに選択されたコンテンツに対応するサムネイル画像データをタイムラインに追加して表示させるための情報を生成し、画像表示制御部１０９へ供給する。

そして、画像表示制御部１０９は、例えば、図１５乃至図１７を用いて説明したような、ＧＵＩ表示画面のタイムライン上に、新たに選択されたコンテンツのサムネイル画像を追加して表示させる。

ステップＳ１０９において、コンテンツを新たに追加して表示することが指令されていないと判断された場合、または、ステップＳ１１２の処理の終了後、ステップＳ１１３において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、タイムライン上にサムネイル画像の表示を追加する操作入力を受けたか否かを判断する。タイムライン上にサムネイル画像の表示を追加する方法は、例えば、一定間隔ごとにサムネイル画像を追加するものであっても、シーンチェンジ直後のサムネイル画像を表示させるものであっても、タイムライン上でユーザが指定する時刻のサムネイル画像を追加するものであっても良い。ステップＳ１１３において、タイムライン上にサムネイル画像の表示を追加する操作入力を受けていないと判断された場合、処理は、後述するステップＳ１１６に進む。

ステップＳ１１３において、タイムライン上にサムネイル画像の表示を追加する操作入力を受けたと判断された場合、ステップＳ１１４において、表示空間制御部１０６は、サムネイル画像の表示の指令に対応するコンテンツのメタデータに対して、追加して表示されるフレームにサムネイル画像表示フラグを付与して更新する。

ステップＳ１１５において、表示空間制御部１０６は、タイムライン上に所定のサムネイル画像の表示を追加するための情報を座標および時間軸計算部１０７に供給する。さらに、表示空間制御部１０６は、サムネイル画像として追加表示されるフレームの画像をビデオデータベース１０４から読み出して、デコーダ１０８においてデコードさせ、画像表示制御部１０９に供給させる。座標および時間軸計算部１０７は、サムネイル画像を表示させるべきタイムライン上の位置を演算し、その演算結果を画像表示制御部１０９に供給する。画像表示制御部１０９は、供給された情報に基づいて、ディスプレイ１８に表示されたＧＵＩ１００に、対応するフレーム画像データに基づくサムネイル画像を追加して表示させる。

ステップＳ１１３において、タイムライン上にサムネイル画像の表示を追加する操作入力を受けていないと判断された場合、またはステップＳ１１５の処理の終了後、ステップＳ１１６において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、アンダーラインの長さの変更を指令する操作入力を受けたか否かを判断する。ステップＳ１１６において、アンダーラインの長さの変更を指令する操作入力を受けていないと判断された場合、処理は、後述するステップＳ１１９に進む。

ステップＳ１１６において、アンダーラインの長さの変更を指令する操作入力を受けたと判断された場合、ステップＳ１１７において、表示空間制御部１０６は、ユーザの操作入力に基づいて、アンダーラインの長さの変更を指令する操作入力に対応するコンテンツのメタデータにおいて、始点フラグまたは終了点フラグの付与されたフレームを変更し、その情報を、座標および時間軸計算部１０７に供給する。さらに、表示空間制御部１０６は、新たに始点または終了点として指定されたフレームの画像をビデオデータベース１０４から読み出して、デコーダ１０８においてデコードさせ、画像表示制御部１０９に供給させる。

ステップＳ１１８において、座標および時間軸計算部１０７は、ユーザにより指定された始点および終了点に基づいて、画面上のアンダーラインの長さを変更するための演算を実行し、その結果を画像表示制御部１０９に供給する。画像表示制御部１０９は、供給された情報に基づいて、ディスプレイ１８に表示されたアンダーラインの長さを変更させるとともに、新たに始点または終了点として指定されたフレームのサムネイル画像を、タイムライン上の対応する点に表示させる。

ステップＳ１１６において、アンダーラインの長さの変更を指令する操作入力を受けていないと判断された場合、または、ステップＳ１１８の処理の終了後、ステップＳ１１９において、表示空間制御部１０６は、操作入力取得部１０５から供給される、ユーザの操作入力に基づいて、操作終了、モードの変更、または、コンテンツの追加記録が指令されたか否かを判断する。

ステップＳ１１９において、操作終了、モードの変更、または、コンテンツの追加記録が指令されていないと判断された場合、処理は、ステップＳ１０８に戻り、それ以降の処理が繰り返される。ステップＳ１１９において、操作終了、モードの変更、または、コンテンツの追加記録が指令されたと判断された場合、処理は終了される。

このような処理により、図１５乃至図２０を用いて説明したようにして、ライムラインモードが実行されて、複数のコンテンツの一致部分が、それぞれのコンテンツのどの位置にあるのかをユーザが容易に認識したり、それらの一致部分の関連をユーザが容易に認識することができるので、ユーザは、例えば、多くのコンテンツを分類整理するための情報を得ることができる。

また、図３３および図３４のフローチャートでは説明していないが、図１８乃至図２０に示されるように、タイムラインモードにおいても、別ウィンドウで動画像を表示することができるようにしても良いことはいうまでもない。その場合の処理は、図３２のステップＳ７１乃至ステップＳ７４を用いて説明した処理と基本的に同様である。

このように、画像処理装置１１においては、例えば、動画共有サイトで、著作権管理上好ましくない動画を見つけたい場合や、重複したアップロードを検出するためなどに、複数のコンテンツのそれぞれの先頭やシーンチェンジ点の画像を確認しなくても、動画の軌跡をみることにより、一致の可能性があるか否かの選別の補助となるＧＵＩ表示画面を表示させることが可能である。

例えば、２つのコンテンツの内容が一致するか否かを知るためにパラメータの数値の比較を行った場合、上述したように輝度情報のみがずれているようなものを異なるコンテンツであると判別してしまうし、そのようなことを避けるためにパラメータの誤差範囲を広く設定してしまうと、誤検出を多く引き起こしてしまう。これに対して、特に、軌跡モードにおいては、内容が同じコンテンツであっても、編集や、画像サイズの変更または圧縮伸張などの画像処理の繰り返しにより、画像のパラメータが異なってしまった場合においても、それらの内容が一致していることが推定される部分をユーザが容易に発見することができる。また、一方、パラメータの傾向が似通っていても、軌跡モードにおいて３次元座標軸の設定を変更したり、軌跡モードとタイムラインモードを繰り返して、所望の位置のサムネイル画像を表示させるなどすることにより、ユーザは、これらが実際異なるコンテンツである場合、それを簡単に判別することも可能である。

また、管理が必要なコンテンツ数が多くなった場合、同じコンテンツを重なって記録してしまうようなことがあったり、コンテンツを編集し、編集前素材コンテンツと編集後のコンテンツを含めて管理するべきコンテンツ数が膨大になってしまうおそれがある。例えば、２つのコンテンツの内容が一致するか否かを知るためにパラメータの数値の比較を行った場合、全ての組み合わせで数値の一致を見なければならず、計算量が膨大になってしまう。これに対して、画像処理装置１１では、軌跡モードおよびタイムラインモードにおけるＧＵＩ表示画面を参照することにより、一度に複数のコンテンツを比較して、それらのコンテンツの一致する箇所を確認し、容易に分類整理することができる。

また、画像処理装置１１を用いることにより、タイムラインモードの表示を参照して、編集後のコンテンツを構成する各シーンの基となる動画に対して、編集素材となったコンテンツにリンクを張るなどの処理を行い、ユーザが、関連するコンテンツを相互に視聴することができるようにするなどのサービスを、容易に提供することができる。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

この記録媒体は、例えば、図１のドライブ１４に装着されるリムーバブルディスクなど、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク（ＭＤ(Mini-Disc)（商標）を含む）、もしくは半導体メモリなどよりなるパッケージメディアなどにより構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

画像処理装置を含む画像処理システムの構成を示すブロック図である。仮想的な３次元空間について説明するための図である。仮想的な３次元空間に描画される軌跡について説明するための図である。仮想的な３次元空間に描画される軌跡について説明するための図である。仮想的な３次元空間に描画される軌跡について説明するための図である。３次元の空間軸の例について説明するための図である。輝度のみが異なる軌跡について説明するための図である。編集されたコンテンツの軌跡について説明するための図である。編集点における軌跡について説明するための図である。軌跡の選択について説明するための図である。軌跡内の範囲の選択について説明するための図である。動画像の表示について説明するための図である。サムネイル画像の表示について説明するための図である。間引きされたコンテンツの軌跡について説明するための図である。タイムラインモードの表示について説明するための図である。サムネイル画像の追加について説明するための図である。間引きされた画像のタイムラインモードにおける表示について説明するための図である。共通する部分の提示方法について説明するための図である。アンダーラインの変更について説明するための図である。アンダーラインの変更について説明するための図である。コンテンツの分類について説明するための図である。画像処理装置の機能について説明するための機能ブロック図である。図２２のメタデータ抽出部の機能ブロック図である。細かさ情報の算出について説明するための図である。動き検出について説明するための図である。動き検出について説明するための図である。図２３の周波数分析部の機能ブロック図である。ＨＬＳ空間について説明するための図である。メタデータの例を示す図である。画像認識のためのＧＵＩ表示処理について説明するためのフローチャートである。軌跡モード実行処理について説明するためのフローチャートである。軌跡モード実行処理について説明するためのフローチャートである。タイムラインモード実行処理について説明するためのフローチャートである。タイムラインモード実行処理について説明するためのフローチャートである。

符号の説明

１画像処理システム，１１画像処理装置，１２記憶装置，１３ビデオデータ入力装置，１４ドライブ，１５操作コントローラ，１６マウス，１７キーボード，１８ディスプレイ，３１マイクロプロセッサ，３２ＧＰＵ，３５ＨＤＤ，１０１メタデータ抽出部，１０２メタデータデータベース，１０３圧縮画像生成部，１０４ビデオデータベース，１０５操作入力取得部，１０６表示空間制御部，１０７座標および時間軸計算部，１０８デコーダ，１０９画像表示制御部

Claims

ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定する設定手段と、
前記ユーザの操作入力により選択が指令された前記動画像に、前記ユーザにより選択されたことを示すフラグを付与するフラグ付与手段と、
前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記フラグ付与手段により付与された前記動画像に対応する軌跡を他の軌跡と区別して表示させる表示制御手段と
を備える情報処理装置。
前記ユーザの操作入力により、サムネイル画像の表示が指令された場合、
前記フラグ付与手段は、前記動画像の、前記ユーザの操作入力により指定された座標に対応するフレームに、前記フラグを付与し、
前記表示制御手段は、前記軌跡の前記ユーザにより指定された座標に、前記フレームのサムネイル画像を表示させる
請求項１に記載の情報処理装置。
前記ユーザの操作入力により、複数の動画像において内容が一致していると推定される部分の始点の選択を受けた場合、
前記フラグ付与手段は、前記動画像の、前記ユーザにより指定された前記始点に対応するフレームに、前記フラグを付与し、
前記表示制御手段は、前記軌跡の、前記ユーザにより指定された前記始点に、前記始点に対応するフレームのサムネイル画像を表示させ、
前記ユーザの操作入力により、複数の動画像において内容が一致していると推定される部分の終了点の選択を受けた場合、
前記フラグ付与手段は、前記動画像の、前記ユーザにより指定された前記終了点に対応するフレームに、前記フラグを付与し、
前記表示制御手段は、前記軌跡の、前記ユーザにより指定された前記終了点に、前記終了点に対応するフレームのサムネイル画像を表示させる
請求項２に記載の情報処理装置。
前記ユーザの操作入力により、動画像の再生が指令された場合、
前記表示制御手段は、前記ユーザの操作入力により選択が指令された前記動画像を、再生表示させる
請求項１に記載の情報処理装置。
前記ユーザの操作入力により、前記仮想空間の前記表示軸とする前記パラメータの変更が指令された場合、
前記設定手段は、前記ユーザの操作入力により新たに指定されたパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記軌跡の配置位置を決定し、
前記表示制御手段は、前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させる
請求項１に記載の情報処理装置。
前記ユーザの操作入力により、タイムラインモードへの変更が指令された場合、
前記設定手段は、前記フラグ付与手段により付与されたフラグに基づいて、サムネイル画像を表示させるための情報を生成し、
前記表示制御手段は、前記設定手段により生成された情報に基づいて、時間軸上に前記サムネイル画像を表示させる
請求項１に記載の情報処理装置。
前記ユーザの操作入力により、前記時間軸上における前記サムネイル画像の表示の追加が指令された場合、
前記フラグ付与手段は、前記ユーザの操作入力により指定される前記動画像のフレームに、追加表示フラグを付与し、
前記表示制御手段は、前記時間軸上における、前記追加表示フラグが付与されたフレームに対応する位置に、前記フレームのサムネイル画像を表示させる
請求項６に記載の情報処理装置。
前記設定手段は、さらに、前記動画像に付与されたフラグに基づいて、アンダーラインを表示させるための情報を生成し、
前記表示制御手段は、さらに、前記設定手段により生成された情報に基づいて、前記時間軸上における前記サムネイル画像を表示させるとともに、前記アンダーラインを表示させる
請求項６に記載の情報処理装置。
前記ユーザの操作入力により、軌跡モードへの変更が指令された場合、
前記設定手段は、前記仮想空間の表示軸を設定し、前記軌跡の配置位置を決定し、
前記表示制御手段は、前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記動画像に付与されたフラグに応じて、前記軌跡の表示を制御する
請求項６に記載の情報処理装置。
情報処理装置が、
ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定し、
前記ユーザの操作入力により選択が指令された前記動画像に、前記ユーザにより選択されたことを示すフラグを付与し、
設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、付与された前記動画像に対応する軌跡を他の軌跡と区別して表示させる
情報処理方法。
コンピュータを、
ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定する設定手段と、
前記ユーザの操作入力により選択が指令された前記動画像に、前記ユーザにより選択されたことを示すフラグを付与するフラグ付与手段と、
前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記フラグ付与手段により付与された前記動画像に対応する軌跡を他の軌跡と区別して表示させる表示制御手段
として機能させるプログラム。
コンピュータを、
ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定する設定手段と、
前記ユーザの操作入力により選択が指令された前記動画像に、前記ユーザにより選択されたことを示すフラグを付与するフラグ付与手段と、
前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記フラグ付与手段により付与された前記動画像に対応する軌跡を他の軌跡と区別して表示させる表示制御手段
として機能させるプログラムが記録された、コンピュータに読み取り可能な記録媒体。
ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定する設定手段と、
前記ユーザの操作入力により前記動画像への注目が指令された前記動画像に、前記ユーザにより注目されたことを示す注目フラグを付与するフラグ付与手段と、
前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記フラグ付与手段により前記注目フラグが付与された前記動画像に対応する軌跡を他の軌跡と区別して表示させる表示制御手段と
を備える情報処理装置。
ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定する設定手段と、
前記ユーザの操作入力により、複数の動画像において内容が一致していると推定される部分の始点および終了点の選択を受けた前記動画像の、前記ユーザにより指定された座標に対応するフレームに、前記始点を示す始点フラグおよび前記終了点を示す終了点フラグを付与するフラグ付与手段と、
前記設定手段により設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、前記フラグ付与手段により付与された前記始点フラグおよび前記終了点フラグに応じて、前記軌跡の前記始点と前記終了点との間の部分を他の部分と区別して表示させる表示制御手段と
を備える情報処理装置。
情報処理装置が、
ユーザの操作入力により指定された、複数のフレーム又はGOP（Group Of Picture）により構成される動画像の特徴を示す複数のパラメータを仮想空間の表示軸に設定し、前記動画像のフレーム又はGOP毎の前記パラメータの値を前記仮想空間の座標に変換し、前記パラメータの値の変化を示す前記座標の軌跡の配置位置を決定し、
前記ユーザの操作入力により、複数の動画像において内容が一致していると推定される部分の始点および終了点の選択を受けた前記動画像の、前記ユーザにより指定された座標に対応するフレームに、前記始点を示す始点フラグおよび前記終了点を示す終了点フラグを付与し、
設定された前記仮想空間内の前記配置位置に前記軌跡を表示させるとともに、付与された前記始点フラグおよび前記終了点フラグに応じて、前記軌跡の前記始点と前記終了点との間の部分を他の部分と区別して表示させる
情報処理方法。