JP2007323698A - マルチメディアコンテンツ表示装置、方法及びプログラム - Google Patents

Abstract

【課題】目的のコンテンツを容易に検索できるようにする。
【解決手段】代表画像を生成する動画代表画像作成手段と、前記動画代表画像作成手段によって生成された代表画像の中から１つ以上の代表画像をその他のコンテンツの画像と混在させて整列させるコンテンツ整列手段とを有することを特徴とするマルチメディアコンテンツ表示装置等、を提供する。
【選択図】図１

Description

本発明はマルチメディアコンテンツ表示装置、マルチメディアコンテンツ表示方法及びプログラムに関し、特に、動画や静止画などのコンテンツのデータ形式を問わず、一覧してユーザに提示するために用いて好適な技術に関する。

従来、デジタルビデオカメラやデジタルカメラ、パソコンなどに保存された複数のコンテンツ画像データからユーザが所望するコンテンツを選択する場合には、複数の画像データのファイル名や画像のサムネイルを表示する。そして、ユーザがそのファイル名やサムネイル画像から選択することが多かった。即ち、コンテンツの総数が増えれば増えるほど操作端末の能力（画面の大きさやサムネイル画像あるいは画像そのものの再生処理速度）によって全コンテンツを一覧して選択することが困難であった。

また、ユーザが所望するコンテンツの詳細（コンテンツのプロファイル（ファイル名や保存日時など））を正確に知らない場合には、多数のコンテンツから１つを選び出すことは難しかった。また、コンテンツの種類が動画の場合、動画からサムネイルを１枚だけ抽出してそのコンテンツを代表させるだけでは、目的のシーンを含む動画を選び出すことは困難であった。

このような不便を解決するために、例えば、特許文献１に記載の静止画再生装置においては、静止画の全てを次々と高速に再生することにより（パラパラめくり検索）それぞれの静止画情報の概要（静止画情報の構成要素や特定色の出現頻度）を使用者に対して提供する方法が開示されている。これは静止画のみからなるコンテンツ画像を一覧する方法としてこの方法を用いることにより、使用者はあいまいな静止画の概要の記憶だけで目的の静止画情報を検索することを可能とする。

また、特許文献２に記載のディスク再生装置においては、画像情報（動画像情報）を記録したメイントラックとこれらをパラパラと見えるようにするためのあらすじや要約を表わすパラパラ情報を記録したパラパラトラックとを設けている。これにより、所望の実画像情報とその要約の画像情報とを選択的に再生表示する方法が開示されている。

また、特許文献３に記載の画像再生装置においては、複数の動画像について、各々に対応するサムネイルを一覧表示し、そのサムネイルを順に指定（タッチ）することで動画像を連続再生する方法が開示されている。なお、この方法ではその動画像をどのように再生するか（スロー再生、早送り等）を示すシナリオファイルが付随されており、このシナリオファイルに従って連続再生が実行される。

また、特許文献４に記載の画像処理装置においては、動画像中の１シーンとそのシーン内のキーフレームを特定し、キーフレームを含む抽出動画像（サムネイル動画像）を生成し、動画像を代表させる方法が開示されている。

また、特許文献５に記載の動画像編集拾い見装置においては、動画像のシーンチェンジを抽出し、抽出した代表シーンからサムネイル画像を抽出して拾い見の際に各シーンに優先度を付与して表示する方法が開示されている。

特開平６−８６２２２号公報 特開平１０−７４３７６号公報 特開平１０−１０８１２２号公報 特開２０００−２９９８２９号公報 特開２００１−５４０５５号公報

しかし、画像のデータ形式（動画・静止画）が混在して保存されている場合、あるいは分散したストレージ中のコンテンツをデータ形式（動画・静止画）に関わらず一覧する場合、動画からサムネイルを１枚だけ抽出して、静止画のサムネイルと混ぜて一覧表示するだけでは、目的のシーンを含む動画を選び出すことは困難であった。

また、動画からシーンチェンジを特定し複数のサムネイルを抽出して連続に再生することによって、動画中のシーンを選択・特定する方法では、動画と静止画を混在させた環境でコンテンツ一覧から所望のコンテンツを選択することはできなかった。さらに、動画からシーンチェンジを特定し複数のサムネイルを抽出して連続に再生する方法では、ライブ画像（ＴＶのチャンネル等）に対応することができなかった。

また、特許文献１に記載の静止画再生装置においては、対象とするコンテンツが静止画に限られ、動画・静止画が混在するような環境においてパラパラめくり検索を行うことはできなかった。さらに、特許文献２に記載のディスク再生装置においては、動画像情報をパラパラと見えるために事前にパラパラ情報を記録しておく必要があり、コンテンツデータとしてライブ動画像を扱うことができないという問題があった。

また、特許文献３に記載の画像再生装置においては、各動画像を順に連続再生するのみであり、動画像と静止画像が混在した環境において、動画像と静止画像を区別せずに複数コンテンツのサムネイルを一度に再生して見比べることはできなかった。さらに、特許文献４に記載の画像処理装置においては、任意の１つの動画像中においてサムネイル動画像を作成して再生するのみであり、複数のコンテンツに対して、動画静止画に関わらず、各々のサムネイルを混在させて再生し見比べることはできなかった。

また、特許文献５に記載の動画像編集拾い見装置においては、１つの画像コンテンツに対して、複数のサムネイル静止画を生成して拾い見するが、複数の動画コンテンツに対してサムネイル静止画を織り交ぜて再生することはできなかった。

本発明は前述の問題点に鑑み、目的のコンテンツを容易に検索できるようにすることを目的としている。

本発明のマルチメディアコンテンツ表示装置は、代表画像を生成する動画代表画像作成手段と、前記動画代表画像作成手段によって生成された代表画像の中から１つ以上の代表画像をその他のコンテンツの画像と混在させて整列させるコンテンツ整列手段とを有することを特徴とする。

本発明のマルチメディアコンテンツ表示方法は、代表画像を生成する動画代表画像作成工程と、前記動画像作成工程において生成された代表画像の中から１つ以上の代表画像をその他のコンテンツの画像と混在させて整列させるコンテンツ整列工程とを有することを特徴とする。

本発明のプログラムは、前記の方法の各工程をコンピュータにて実施させることを特徴とする。

本発明によれば、マルチメディアコンテンツの種類が動画像である場合には、１つ以上のサムネイル画像を生成し、動画・静止画などのコンテンツの種別に関わらず、サムネイル画像を生成して整列させるようにした。これにより、各々のサムネイル画像の概要（画像情報の構成要素や特定色の出現頻度）を高速に提供することができ、使用者はあいまいな静止画の概要の記憶だけで目的のシーンを含むコンテンツを検索することができる。

（第１の実施形態）
本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態の全体構成の一例を示す概念図である。
図１において、１０１、１０２、１０７はそれぞれ被操作対象のデバイスであり、１つまたはそれ以上のコンテンツを保存可能な、あるいは保存しているストレージを持っている。

１０３、１０６は１つまたはそれ以上のコンテンツを保存することが可能なストレージであり、このストレージに対してもネットワークを介した操作が可能である。１０４はデバイスおよび操作端末、ストレージを接続し、それらの間でデータおよび命令のやり取りを行うためのネットワークである。操作端末１０５は、ネットワーク１０４を通じて操作コマンドを送ることにより、デバイス１０１、１０２、１０７やストレージ１０３、１０６を操作することができる。

図２は、本実施形態における操作端末（マルチメディアコンテンツ表示装置）のハードウェア構成の一例を示すブロック図である。
２０２はＣＰＵであり、各種処理のための演算や論理判断等を行い、バス２０１に接続された各構成要素を制御する。なお、本操作端末には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにつき後述する処理手順を含むＣＰＵ２０２による制御のためのプログラムを格納する。メモリはＲＯＭ２０３であってもよいし外部記憶装置などからプログラムがロードされるＲＡＭ２０４であってもよい。

２０５は、データやプログラムを記憶しておくための不揮発性メモリやハードディスクなどの記憶装置である。２０６は、ユーザからの情報を入力するための入力装置であり、入力装置２０６はマウス、タッチパネル、キーボードなどある。２０８は分析されたデータ出力情報を出力する出力装置であり、ＣＲＴや液晶表示器などの表示装置である。２０７はネットワークＩ／Ｆであり、ネットワークで接続された他のデバイスとのやり取りを行う。

図３は、本実施形態におけるコンテンツ一覧表示処理の一例を示すフローチャートである。図３においてステップＳ３０１からステップＳ３０８は各ステップを表す。
まず、ステップＳ３０１において、コンテンツ一覧表示ルールを取得する。このルールは、コンテンツ一覧方法を使用する装置の立ち上げ時に設定されてもよいし、ユーザによって変更されてもよい。

次に、操作端末はローカルストレージ及びネットワークで繋がったデバイスやストレージに対して、参照可能なコンテンツ一覧を取得する（ステップＳ３０２）。続いて、ステップＳ３０３において、取得したコンテンツ全てに対して処理が終了したか否かを判定する。この判定の結果、処理すべきコンテンツが存在する場合には、ステップＳ３０４へ進み、ステップＳ３０２において取得したコンテンツ一覧から任意のコンテンツを一つ取得する。

次に、ステップＳ３０５において、コンテンツの種類が動画であるか静止画であるかを判定する。この判定の結果、コンテンツの種類が動画であるならば、ステップＳ３０６へ進み、動画コンテンツのサムネイル作成処理を行い、ステップＳ３０３に戻る。この処理の詳細については図４を参照しながら後述する。

一方、ステップＳ３０５の判定の結果、ステップＳ３０４において取得したコンテンツが静止画である場合は、ステップＳ３０７へ進み、静止画コンテンツのサムネイル作成処理を行い、ステップＳ３０３に戻る。この処理の詳細については図５を参照しながら後述する。

一方、ステップＳ３０３の判定の結果、全コンテンツについて処理が終了した場合は、ステップＳ３０８へ進み、高速に複数の静止画（全コンテンツのサムネイル）を再生するコンテンツ一覧パラパラ見処理を行い、コンテンツ一覧表示処理を終了する。ステップＳ３０８におけるコンテンツ一覧パラパラ見再生処理の詳細については図６を参照しながら後述する。

図４は、図３のステップＳ３０６における動画コンテンツのサムネイル作成処理手順の一例を示すフローチャートである。図４において、ステップＳ４０１からステップＳ４０３は各ステップを表す。
まず、ステップＳ４０１において、本実施形態における動画サムネイル作成基準を取得する。この基準はステップＳ３０１において取得されたコンテンツ一覧表示ルールに設定されていてもよいし、全く別の基準として用意されてもよい。動画サムネイル作成基準としては、「ユーザが独自に抽出マークをつけた時点の画像をサムネイルとする」でもよいし、動画像中のシーン特徴に関するものでも良い。また、動画像と共に保存されている付加データ（音声データ、テキストデータ）の特徴に関するものでもよい。

例えば、動画像中のシーン特徴を利用した「シーンチェンジの始めの画像」、「シーンチェンジを抽出し、その代表シーンのキーフレーム」等としてもよい。また、動画像に付加されている音声データを利用した「音声データの音量がある一定値以上である時点での画像」、動画像に付加されている音声データを利用した「動画像中に文字データ（タイトル・字幕等）が存在しないシーン」としてもよい。また、抽出する動画サムネイルの画像数についても設定してもよい。

この場合、画像数を指定してもよいし、最高画像数を指定してそれ以下の画像を抽出するように条件を設定してもよい。また、これらの基準を複数組み合わせてもよいし、また、この基準は、コンテンツ一覧方法を使用する装置の立ち上げ時に設定されてもよいし、ユーザによって変更されてもよい。

ステップＳ４０１で取得された基準に基づいて、ステップＳ４０２において、動画像中からその基準を満たす画像をサムネイル画像として抽出する。このとき１つ以上の任意の複数画像が抽出して作成される。

なお、このとき作成されるサムネイル画像の画素数、サイズ、階調等は、ステップＳ３０１において取得されたコンテンツ一覧表示ルールに設定されているものに従ってもよいし、動画像サムネイル作成基準によって独自に設定されていてもよい。この処理の詳細については図１５を参照しながら後述する。最後にステップＳ４０３において、対象となる動画像から作成されたサムネイル画像をコンテンツ一覧表示処理用メモリに保存して処理を終了する。

図１５は、本実施形態における動画サムネイル画像抽出処理手順の一例を示すフローチャートである。図１５においてステップＳ１５０１からステップＳ１５０７は各ステップを表す。
まず、ステップＳ１５０１において、ステップＳ３０１で取得されたコンテンツ一覧表示ルールに設定されている動画サムネイル作成基準を参照する。

次に、ステップＳ１５０２において、対象となる動画像からこの動画サムネイル作成基準を満たす箇所のタイムスタンプを取得する。例えば、動画サムネイル作成基準に従って、シーンチェンジ部を検出する処理を行い、シーンチェンジに該当する箇所が複数ある場合には、前記タイムスタンプをリストとして保持する。

続いて、ステップＳ１５０３の判定において、取得されたタイムスタンプリスト全てについて処理下か否かを判定する。この判定の結果、前記タイムスタンプリスト中に未処理の物がある場合は、ステップＳ１５０４へ進み、前記タイムスタンプリストからタイムスタンプを１つ取得する。そして、ステップＳ１５０５において、当箇所から静止画像をサムネイル画像として取得する。ここでは、例えば、動画サムネイル作成基準として「シーンチェンジの最初の画像」となっている場合には、その基準に従って、静止画像を切り出す。

次に、ステップＳ１５０６において、本処理の対象となっている動画像中の該当するタイムスタンプ情報を切り出されたサムネイル画像の時間情報として付与する。そして、ステップＳ１５０７において、この静止画像を、対象となって動画像から抽出するサムネイル画像のリストの一つとして追加し、ステップＳ１５０３に戻る。

図５は、図３のステップＳ３０７における静止画コンテンツのサムネイル作成処理手順の一例を示すフローチャートである。図５においてステップＳ５０１からステップＳ５０３は各ステップを表す。
まず、ステップＳ５０１において、本実施形態における静止画サムネイル作成基準を取得する。この基準はステップＳ３０１において取得されたコンテンツ一覧表示ルールに設定されていてもよいし、全く別の基準として用意されてもよい。静止画サムネイル作成基準としては、このとき作成されるサムネイル画像の画素数、サイズ、階調等が考えられる。

次に、ステップＳ５０２において、ステップＳ５０１で取得された基準に基づいて、静止画のサムネイル画像を作成する。そして、ステップＳ５０３において、対象となる静止画像から作成されたサムネイル画像をコンテンツ一覧表示処理用メモリに保存して処理を終了する。

図６は、図３のステップＳ３０８におけるコンテンツ一覧パラパラ見表示処理の一例を示すフローチャートである。図６において、ステップＳ６０１からステップＳ６０４は各ステップを表す。
まず、ステップＳ６０１において、パラパラ見表示ルールを取得する。このルールは、ステップＳ３０１において取得されたコンテンツ一覧表示ルールに設定されていてもよいし、全く別のルールとして用意されてもよい。

パラパラ見ルールには、サムネイル整列ルールとパラパラ見再生間隔ルールが含まれる。サムネイル整列ルールとしては、「静止画のサムネイルに、任意の動画像のサムネイルを複数枚混ぜる（静止画１枚に対して１サムネイル、動画１枚に対してＮ（１以上）枚のサムネイル）」、「静止画のサムネイルに、任意の動画像のサムネイルを１枚混ぜる（静止画１枚に対して１サムネイル、動画１枚に対して１枚のサムネイル）」等が考えられる。一度、全コンテンツについてのパラパラ見を終了した場合には、２順目に選ばれる任意の動画からのサムネイル画像は別の１枚にする」、「サムネイル画像は時系列に並べる」、「サムネイル画像は類似度の高い順に並べる」等が考えられる。なお、これらのルールを１つまた複数組み合わせてサムネイル整列ルールとしてもよい。

また、パラパラ見再生間隔ルールとしては、「１秒あたりＸ秒」あるいは「全コンテンツの再生時間Ｘ秒」のように指定してもよい。また、例えば、パラパラ見再生を指示するボタンなどが用意されている場合には、そのボタンを押下する長さなどによってルールを設定してもよい。

次に、ステップＳ６０２へ進み、ステップＳ６０１において取得されたサムネイル整列ルールに従って、コンテンツ一覧表示処理用メモリに保存されている全コンテンツのサムネイルを整列させてサムネイル画像列を生成する。この処理の詳細については図１６を参照しながら後述する。

次に、ステップＳ６０３において、整列されたサムネイル画像列をステップＳ６０１によって取得されたパラパラ見再生間隔ルールに従って、高速連続再生させる。そして、ステップＳ６０４において、再度、パラパラ見再生を行うかどうかを判定する。この判定の結果、再度パラパラ見再生を行う場合には、ステップＳ６０２に戻って、サムネイル画像列を再度生成する。一方、ステップＳ６０４の判定の結果、パラパラ見再生をこれ以上行わない場合にはコンテンツ一覧パラパラ見処理を終了する。

図１６は、サムネイル画像列生成処理の一例を示すフローチャートである。図１６において、ステップＳ１６０１からステップＳ１６１３各ステップを表す。
まず、ステップＳ１６０１において、サムネイル画像のデフォルト整列ルールを「サムネイル画像を時系列に並べる」と設定する。そして、ステップＳ１６０２において、図６のステップＳ６０１において取得されたサムネイル整列ルールを参照する。

次に、ステップＳ１６０３において、参照したサムネイル整列ルールにサムネイルの混在比率が設定されているかどうかを判定する。この判定の結果、その比率が「静止画：動画＝１：Ｎ」あるいは比率が設定されていない場合は、ステップＳ１６１３進む。そして、コンテンツ一覧表示処理用メモリに保存されている全コンテンツのサムネイルをステップＳ１６０２で参照した「サムネイル画像は時系列に並べる」、「サムネイル画像は類似度の高い順に並べる」等のルールに従って、整列させてサムネイル画像列を生成する。なお、ステップＳ１６０２で参照したルールがなかった場合には、ステップＳ１６０１で設定したデフォルトルールに従って時系列でならべる。

一方、ステップＳ１６０３の判定の結果、その比率が「静止画：動画＝１：１」である場合は、ステップＳ１６０４に進み、コンテンツ一覧表示処理用メモリに保存されている動画サムネイル画像リストを全て取得する。次に、ステップＳ１６０５において、この中から動画サムネイル画像リストを一つ取得する。

次に、ステップＳ１６０６において、動画像について全て終了したか否かを判定する。この判定の結果、終了した場合は、ステップＳ１６１３へ進む。一方、ステップＳ１６０６の判定の結果、終了していない場合は、ステップＳ１６０７に進み、動画サムネイル画像リスト中から既選択チェックマークのない動画サムネイル画像を取得する。

次に、ステップＳ１６０８において、候補となる動画サムネイル画像を取得に成功したか失敗したかを判定する。この判定の結果、候補となる動画サムネイル画像を取得に失敗した場合には、ステップＳ１６０９へ進み、チェック済みのマークを全て解除し、ステップＳ１６０７に戻る。一方、ステップＳ１６０８の判定の結果、候補となる動画サムネイル画像の取得に成功した場合は、ステップＳ１６１０へ進む。

そして、ステップＳ１６１０において、取得した候補となる動画サムネイル画像からルールに従って１枚を取得する。次に、ステップＳ１６１１において、選択された動画サムネイル画像にチェックマークをつける。そして、ステップＳ１６１２において、該選択した動画サムネイル画像を今回の代表サムネイル画像として登録し、ステップＳ１６０５に戻る。

次に、以上の処理について、動画と静止画を同時に撮影できるビデオカメラにおいて、画像のデータ形式（動画・静止画）に関わらずコンテンツの一覧をパラパラ見で表示する場合について具体的に説明する。

図７は、本実施形態における操作端末（デジタルカメラ）の具体的な構成例を示す図である。
図７において、操作端末（デジタルカメラ）７００は、基本的に図２に示されるようなハードウェア構成をしている。操作端末（デジタルカメラ）７００には、操作メニューや撮影した画像を再生する為の表示部７０１が備えられている。これは図２における出力装置２０８に相当する。また、操作コントローラ７０２も備えられており、表示部７０１におけるメニューを選択することができる。これは図２における入力装置２０６に相当する。

動画像や静止画像を撮影するために、カメラシャッター７０７、ファインダー７０９、撮影レンズ７０８などが備えられ、カメラシャッター７０７が押下されることにより、動画像や静止画像を撮影して、データ保存部７１１に保存することができる。このデータ保存部７１１は、図２における記憶装置２０５に相当する。

また、操作端末（デジタルカメラ）７００にはプログラムメモリとデータメモリとを含むメモリ７１６が搭載されており、メモリ７１６には、表示部７０１に表示する内容を制御する処理手順を含むＣＰＵ制御のためのプログラムを格納してある。なお、メモリ７１６は、図２におけるＲＯＭ２０３であってもよいし外部記憶装置などからプログラムがロードされるＲＡＭ２０４であってもよい。

また、メモリ７１６には、本実施形態におけるコンテンツ一覧表示処理において、一時的に使用される画像データなども保存される。なお、操作端末（デジタルカメラ）７００の全ての処理の制御は処理制御部７１０によって行われている。

ここで、操作端末（デジタルカメラ）７００において撮影された静止画像（Ａ）７１２、静止画像（Ｂ）７１３、静止画像（Ｃ）７１４、及び動画像（Ｌ）７１５がデータ保存部７１１に格納されている。例えば、ユーザにより操作端末７００が操作されて、データ保存部７１１に格納されたコンテンツデータから所望するデータを検索している状態であるとする。

データ保存部７１１に格納されたコンテンツデータを再生するために、表示部７０１にデータフォルダメニューを表示させている場合について説明する。具体的には図７に示すように、データフォルダメニューとして、全データ表示メニュー７０３、動画表示メニュー７０４、静止画表示メニュー７０５、データパラパラ再生メニュー７０６が表示されている。

ここで、ユーザにより操作コントローラ７０２が操作されて、全データ表示メニュー７０３が選択されると、データ保存部７１１に格納された全データについて、そのコンテンツデータのプロパティ（ファイル名、撮影日時、サイズ等）がリスト表示されてもよい。また、ユーザにより動画表示メニュー７０４、静止画表示メニュー７０５などが選択された場合には、データ保存部７１１に格納された該当するデータ（動画または静止画）について、そのプロパティ（ファイル名、撮影日時、サイズ等）がリスト表示されてもよい。

また、ユーザにより操作コントローラ７０２が操作されて、データパラパラ再生メニュー７０６が選択されると、図３に示すコンテンツ一覧表示処理を開始する。ここで装置に設定されたコンテンツ一覧表示ルールが図８（ａ）に示すコンテンツ一覧表示ルールＡのようなものであった場合について、コンテンツ一覧表示処理の流れを以下に示す。

まず、ステップＳ３０１において、コンテンツ一覧表示ルールを取得する。図８（ａ）に示すコンテンツ一覧表示ルール８０１によると、デフォルトサムネイル画像８０２は「画素数１００×１００」であり、動画サムネイル作成基準８０３は「シーンチェンジの最初の画像、かつ最大画像数設定なし」である。そして、静止画サムネイル作成基準８０４は「画素数１００×１００」である。また、パラパラ見ルール８０５のうち、サムネイル整列ルール８０６は「静止画１枚、動画Ｎ枚、かつ撮影時間順」であり、パラパラ見再生間隔ルール８０７は「１秒／枚」となっている。

続いて、ステップＳ３０２において、参照可能なコンテンツ一覧を取得する。ここで取得されるコンテンツは、操作端末（デジタルカメラ）７００のデータ保存部７１１に格納されている撮影データ、すなわち静止画像（Ａ）７１２、静止画像（Ｂ）７１３、静止画像（Ｃ）７１４、及び動画像（Ｌ）７１５である。

取得した全コンテンツに対して処理が終了していないので、ステップＳ３０４へ進む。ここで、ステップＳ３０２において取得したコンテンツ一覧の中から、静止画像（Ａ）７１２を取得する。静止画像（Ａ）７１２のコンテンツの種類は静止画であるので、ステップＳ３０５の判定の結果、処理の流れはステップＳ３０７へ進み、静止画コンテンツのサムネイル作成処理を行う。

静止画コンテンツのサムネイル作成処理においては、まずステップＳ５０１において、静止画サムネイル作成基準を取得する。本実施形態において静止画サムネイル作成基準は別に設定されていないとし、ステップＳ３０１において取得されたコンテンツ一覧表示ルール８０１に設定されている静止画サムネイル作成基準（「画素数１００×１００」）を取得する。

この基準に基づいて、ステップＳ５０３において、静止画像（Ａ）７１２の画素数を１００×１００に調整してサムネイルを作成し、メモリ７１６にサムネイル画像（Ａ）７１７として保存し、ステップＳ３０３の判定に戻る。

そして、再びステップＳ３０４において、静止画像（Ｂ）７１３、静止画像（Ｃ）７１４を順に取得し、静止画像（Ａ）７１２についての処理と同様に、サムネイル画像を作成する。そして、メモリ７１６にそれぞれサムネイル画像（Ｂ）７１８、サムネイル画像（Ｃ）７１９として保存してステップＳ３０３の判定に戻る。

ステップＳ３０４において、動画像（Ｌ）７１５が取得された場合には、ステップＳ３０５の判定はステップＳ３０６へ進み、動画コンテンツのサムネイル作成処理を行う。動画コンテンツのサムネイル作成処理においては、まずステップＳ４０１において、動画サムネイル作成基準を取得する。

本実施形態においては、動画サムネイル作成基準は別に設定されていないものとする。よって、ステップＳ３０１において取得されたコンテンツ一覧表示ルール８０１に設定されている動画サムネイル作成基準（「シーンチェンジの最初の画像、かつ最大画像数設定なし」）を取得する。

この基準に基づいて、次にステップＳ４０２において、動画像中からこの基準を満たす画像をサムネイル画像として抽出する。具体的には、まず、ステップＳ１５０１において、ステップＳ３０１で取得されたコンテンツ一覧表示ルールに設定されている動画サムネイル作成基準（「シーンチェンジの最初の画像、かつ最大画像数設定なし」）参照する。そして、ステップＳ１５０２において、対象となる動画像からこの動画サムネイル作成基準を満たす箇所のタイムスタンプを取得する。

図９は、本実施形態における動画像のシーンチェンジ例と作成されたサムネイル画像列の一例を示す図である。
ここでは、例えば、動画像（Ｌ）７１５のシーンチェンジが、図９の構造９０１ようにシーン（１）９０２、シーン（２）９０３、シーン（３）９０４のように示される場合にはシーンチェンジ部を検出する処理を行う。そして、シーンチェンジに該当する箇所が複数あるので、タイムスタンプをリストとして保持する。

続いて、ステップＳ１５０３の判定において、全て終了していないので、ステップＳ１５０４へ進む。そして、ステップＳ１５０４において、前記タイムスタンプリストからタイムスタンプを取得し、ステップＳ１５０５において、該当箇所から静止画像をサムネイル画像として取得する。

ここで、動画サムネイル作成基準として「シーンチェンジの最初の画像」となっているので、その基準に従って、サムネイル画像（Ｌ−１）７２１を切り出す。次に、ステップＳ１５０６において、本処理の対象となっている動画像中の該当するタイムスタンプ情報を切り出されたサムネイル画像（Ｌ−１）７２１の時間情報として付与する。そして、ステップＳ１５０７において、このサムネイル画像を、図７に示すように、対象となって動画像から抽出するサムネイル画像リスト７２０の一つとして追加する。この処理をステップＳ１５０３の判定がＹｅｓとなるまで繰り返す。

このようにして、動画像（Ｌ）７１５のシーンチェンジが図９に示すようにシーン（１）９０２、シーン（２）９０３、シーン（３）９０４のように示される場合には、動画像（Ｌ）７１５のサムネイル画像リスト７２０として、各々のシーンにおける最初の画像である、サムネイル画像（Ｌ−１）７２１、サムネイル画像（Ｌ−２）７２２、サムネイル画像（Ｌ−３）７２３が抽出されることになる。これらの画像をメモリ７１６にそれぞれ保存してステップＳ３０３の判定へ戻る。

次に、ステップＳ３０３において、取得されたコンテンツ一覧全てについて処理を終了したので、処理の流れはステップＳ３０８へ進み、コンテンツ一覧パラパラ見表示処理を行う。コンテンツ一覧パラパラ見表示処理においては、まず、ステップＳ６０１において、パラパラ見表示ルールを取得する。

本実施形態においては、パラパラ見表示ルールは別に設定されていないとし、ステップＳ３０１において取得されたコンテンツ一覧表示ルール８０１に設定されている、パラパラ見ルール８０５を取得する。なお、サムネイル整列ルール８０６は「静止画１枚、動画Ｎ枚、かつ撮影時間順」、パラパラ見再生間隔ルール８０７は「１秒／枚」とする。

続いてステップＳ６０２へ進み、ステップＳ６０１において取得されたサムネイル整列ルール８０６に従って、メモリ７１６に保存されている全コンテンツのサムネイルを整列させてサムネイル画像列を生成する。

ここで、まず、ステップＳ１６０１において、サムネイル画像のデフォルト整列ルールを設定する。続いて、ステップＳ１６０２において、ステップＳ６０１において取得されたサムネイル整列ルール８０６を参照する。

次に、ステップＳ１６０３において、参照したサムネイル整列ルール８０６にサムネイルの混在比率が設定されているかどうかを判定し、その比率は「静止画：動画＝１：Ｎ」であるので、処理の流れはステップＳ１６１３進む。そして、メモリ７１６に保存されている全コンテンツのサムネイルをステップＳ１６０２で参照した「撮影時間順（サムネイル画像は時系列に並べる）」ルールに従って、整列させてサムネイル画像列を生成する。

本実施形態においては、メモリ７１６に保存されている全コンテンツをサムネイル整列ルール８０６に従って整列させた場合、図９に示す時間軸９０５に沿って、各サムネイル画像（サムネイル画像（Ｌ−１）７２１、サムネイル画像（Ｌ−２）７２２、サムネイル画像（Ｌ−３）７２３、静止画（Ａ）７１２、静止画（Ｂ）７１３、静止画（Ｃ）７１４の撮影時間を並べると、図９に示される点９０６〜９１１の順序になる。したがって、サムネイル整列ルール８０６に従って整列させたサムネイル画像列はサムネイル画像列(１)９１２のようになる。

この結果、ステップＳ６０３において整列されたサムネイル画像列をパラパラ見再生間隔ルール８０７に従って、１枚あたり１秒間隔で高速連続再生させて、ステップＳ６０４の判定の結果処理を終了する。

別の例として、装置に設定されたコンテンツ一覧表示ルールが図８（ｂ）に示すようなコンテンツ一覧表示ルール８０８のようなものであった場合について、コンテンツ一覧表示処理の流れを以下に示す。

まず、ステップＳ３０１において、コンテンツ一覧表示ルール８０８を取得する。ここで設定されているコンテンツ一覧表示ルール８０８は、図８（ａ）に示すコンテンツ一覧表示ルール８０１と比べると、パラパラ見ルール８１２中のサムネイル整列ルール８１３が「静止画１枚、動画１枚、毎回別の動画サムネイル画像を選択、撮影時間順」のように異なっている。以降、コンテンツ一覧表示処理の流れは、ステップＳ３０２からステップＳ３０７まではコンテンツ一覧表示ルール８０１が設定されている場合と同様に進む。

ステップＳ３０３において、取得されたコンテンツ一覧全てについて処理を終了すると、処理の流れはステップＳ３０８へ進み、コンテンツ一覧パラパラ見表示処理を行う。本実施形態においては、パラパラ見表示ルールは別に設定されていないとし、ステップＳ３０１において取得されたコンテンツ一覧表示ルール８０８に設定されているパラパラ見ルール８１２を取得する。なお、サムネイル整列ルール８１３は「静止画１枚、動画１枚、毎回別の動画サムネイル画像を選択、撮影時間順」、パラパラ見再生間隔ルール８１４は「１秒／枚」となっている。

続いてステップＳ６０２へ進み、ステップＳ６０１において取得されたサムネイル整列ルール８１３に従って、メモリ７１６に保存されている全コンテンツのサムネイルを整列させてサムネイル画像列を生成する。

ここで、まず、ステップＳ１６０１において、サムネイル画像のデフォルト整列ルールを設定する。続いて、ステップＳ１６０２において、ステップＳ６０１において取得されたサムネイル整列ルール８１３を参照する。そして、ステップＳ１６０３において、その比率が「静止画：動画＝１：１」であるので、処理の流れはステップＳ１６０４へ進み、メモリ７１６に保存されている、動画サムネイル画像リストを全て取得する。ここで取得される動画サムネイル画像リストは動画像（Ｌ）７１５のサムネイル画像リスト７２０のみである。

ステップＳ１６０５において、動画サムネイル画像リスト７２０を取得すると、ステップＳ１６０６において、処理は終了していないと判定するので、ステップＳ１６０７へ進む。そして、この動画サムネイル画像リスト中から既選択チェックマークのない動画サムネイル画像を取得する。現段階ではチェックマークのついている動画像はないので、サムネイル画像（Ｌ−１）７２１、サムネイル画像（Ｌ−２）７２２、サムネイル画像（Ｌ−３）７２３の全てを取得する。

続いて、ステップＳ１６０８の判定によりステップＳ１６１０へ進み、取得した候補となる動画サムネイル画像からルール（撮影時間順）に従って、サムネイル画像（Ｌ−１）７２１の１枚を取得する。そして、ステップＳ１６１１において、選択されたサムネイル画像（Ｌ−１）７２１にチェックマークをつけ、ステップＳ１６１２において、選択したサムネイル画像（Ｌ−１）７２１を今回の代表サムネイル画像として登録する。この後、処理の流れはステップＳ１６０５へ戻る。

本実施形態においては、ステップＳ１６０４において取得される動画サムネイル画像リストは動画像（Ｌ）７１５のサムネイル画像リスト７２０のみである。このため、次はステップＳ１６０６の判定によりステップＳ１６１３へ進む。そして、選択された動画サムネイル画像とメモリ７１６に保存されている他のコンテンツのサムネイルを「撮影時間順（サムネイル画像は時系列に並べる）」ルールに従って、整列させてサムネイル画像列を生成する。

このように、メモリ７１６に保存されている全コンテンツをサムネイル整列ルール８１３に従って整列させた場合、図９に示す時間軸９０５に沿って、サムネイル画像（Ｌ−１）７２１、サムネイル画像（Ｌ−２）７２２、サムネイル画像（Ｌ−３）７２３、静止画（Ａ）７１２、静止画（Ｂ）７１３、静止画（Ｃ）７１４の撮影時間を並べると、図９に示される点９０６〜９０８、９１０の順序になる。サムネイル整列ルール８１３「静止画１枚、動画１枚、毎回別の動画サムネイル画像を選択、撮影時間順」に従って整列させると、１度目にコンテンツ一覧表示を行う場合のサムネイル画像列はサムネイル画像列（２−１）９１３のようになる。

そして、ステップＳ６０３において、整列されたサムネイル画像列をパラパラ見再生間隔ルール８１４に従って、１枚あたり１秒間隔で高速連続再生させる。続いて、ステップＳ６０４の判定において、再度、パラパラ見再生を行うため、ステップＳ６０２へ戻り、サムネイル画像列を生成する。このように処理を繰り返すと、２順目のコンテンツ一覧表示を行う場合のサムネイル画像列はサムネイル画像列（２−２）９１４のようになり、３順目のコンテンツ一覧表示を行う場合のサムネイル画像列はサムネイル画像列（２−３）９１５のようになる。

ここで、４順目になると、ステップＳ１６０７で、既選択チェックのない候補となる動画サムネイル画像を取得に失敗するので、ステップＳ１６０９へ進み、チェック済みのマークを全て解除する。これにより、４順目のコンテンツ一覧表示を行う場合のサムネイル画像列はサムネイル画像列（２−１）９１３のようになる。

以上のように、本実施形態の操作端末においては、動画の撮影と同時に静止画の撮影を行う事が可能な端末においても、動画・静止画などのコンテンツの種別に関わらず、サムネイル画像を時間順などのルールに従って整列させてパラパラ見することができる。これにより、各々のサムネイル画像の概要（画像情報の構成要素や特定色の出現頻度）を高速に提供することができ、使用者はあいまいな画像の概要の記憶だけで目的のコンテンツを検索することができる。また、マルチメディアコンテンツの種類が動画像である場合には、１つ以上複数のサムネイル画像を生成するので、目的のシーンを含む動画像を選び出すことができる。

（第２の実施形態）
本実施形態においては、コンテンツデータがネットワークに繋がれた分散したストレージに保存されている。さらに、あるデバイスはリアルタイムでライブ動画像を撮影・保存することが可能な環境において、画像のデータ形式（動画・静止画）に関わらずコンテンツの一覧をパラパラ見で表示する例を示す。

図１０は、本実施形態におけるコンテンツ一覧表示処理の流れの一例を示すフローチャートである。図１０においてステップＳ１００１からステップＳ１００９は各ステップを表す。図３に示す第１の実施形態のコンテンツ一覧表示処理に比べると、ステップＳ１００５の判定の流れが異なっている。ステップＳ１００１〜Ｓ１００４の処理は、図３のステップＳ３０１〜Ｓ３０４と同様の処理であるため説明を省略する。

ステップＳ１００５において、操作端末は対象としている動画コンテンツがストア動画コンテンツかライブ動画コンテンツか静止画かを判定する。この判定の結果、ストア動画コンテンツについてのサムネイルを作成する場合には、ステップＳ１００６へ進み、ストア動画コンテンツのサムネイル作成処理（動画サムネイル作成処理）を行う。この処理は第１の実施形態における図４に示す処理の流れと同様である。

一方、ステップＳ１００５の判定の結果、静止画コンテンツについてのサムネイルを作成する場合には、ステップＳ１００７へ進み、静止画サムネイル作成処理を行う。この処理は第１の実施形態における図５に示す処理の流れと同様である。

さらに、ステップＳ１００５の判定の結果、サムネイルを作成する動画コンテンツがライブ動画コンテンツである場合には、ステップＳ１００９へ進み、ライブ動画コンテンツのサムネイル作成処理を行う。この処理の詳細については図１１を参照しながら後述する。

また、本実施形態においては、第１の実施形態の図３のステップＳ３０８に相当するステップＳ１００８のコンテンツ一覧パラパラ見表示処理の流れは図１２に示すような流れになる。図１２に示す本実施形態におけるコンテンツ一覧パラパラ見表示処理については後で詳細に説明する。

図１１は、図１０のステップＳ１００９に相当するライブコンテンツのサムネイル作成処理手順の一例を示すフローチャートである。図１１においてステップＳ１１０１からステップＳ１１０５は各ステップを表す。
まず、ステップＳ１１０１において、ライブ動画サムネイル作成基準を取得する。この基準はステップＳ１００１において取得されたコンテンツ一覧表示ルールに設定されていてもよいし、全く別の基準として用意されてもよい。ライブ動画サムネイル作成基準としては、動画像中のシーン特徴に関する物でもよいし、動画像と共に存在する付加データ（音声データ、テキストデータ）の特徴に関するものでもよい。

例えば、ライブ画像のうち「ライブ画像がＴＶ番組のチャンネルである場合、ＣＭ放映時の映像はサムネイルとしない」でもよい。また、抽出する動画サムネイルの画像数についても設定してもよい。この場合、画像数を指定してもよいし、最高画像数を指定してそれ以下の画像を抽出するように条件を設定してもよい。また、これらの基準を複数組み合わせてもよいし、また、この基準は、本実施形態によるコンテンツ一覧方法を使用する装置の立ち上げ時に設定されてもよいし、ユーザによって変更されてもよい。

次に、ステップＳ１１０２へ進み、ライブ動画配信先への接続を試みる。そして、ステップＳ１１０３において、配信先への接続に成功したか否かを判定する。この判定の結果、失敗したならば処理はそのまま終了する。一方、ステップＳ１１０３の判定の結果、配信先への接続に成功したら、ステップＳ１１０４へ進み、ステップＳ１１０１において取得したライブ動画サムネイル作成基準に従って、ライブ動画のサムネイル画像を抽出する。そして、ステップＳ１１０５においてサムネイル画像をコンテンツ一覧表示処理用のメモリに保存して処理を終了する。

図１２は、本実施形態におけるコンテンツ一覧パラパラ見表示処理の手順の一例を示すフローチャートである。図１２においてステップＳ１２０１からステップＳ１２０７は各ステップを表す。本実施形態におけるコンテンツ一覧パラパラ見表示処理は第１の実施形態における図６に示す処理と比べると、ステップＳ１２０２〜Ｓ１２０４の処理が追加されている。なお、ステップＳ１２０５〜Ｓ１２０７は、図６のステップＳ６０２〜Ｓ６０４と同様であるため、詳細な説明は省略する。

コンテンツ一覧パラパラ見表示処理が呼び出されると、第１の実施形態と同様に、ステップＳ１２０１において、パラパラ見表示ルールを取得する。続いて、ステップＳ１２０２において、コンテンツ一覧からコンテンツ種別がライブ動画であるものを検索する。

次に、ステップＳ１２０３において、コンテンツ一覧の中にライブ動画コンテンツがあるかどうかを判定する。この判定の結果、コンテンツ一覧の中にライブ動画が存在しない場合には、ステップＳ１２０５へ進み、第１の実施形態と同様に処理が進められる。一方、ステップＳ１２０３の判定の結果、操作端末が対象とするコンテンツ一覧のなかにライブ動画コンテンツがある場合には、現時点でのライブ動画のサムネイルを作成するためにステップＳ１２０４においてライブ動画サムネイル作成処理を行う。なお、この処理の流れは図１１に示される処理と同様である。

コンテンツ一覧中のライブ動画コンテンツ全てについてサムネイルを作成すると、ステップＳ１２０３の判定において、ライブ動画コンテンツはもうないと判定し、ステップＳ１２０５へ進む。そして、第１の実施形態と同様にサムネイル画像列を生成する。そして、ステップＳ１２０６において、パラパラ見再生処理を行い、ステップＳ１２０７において終了と判定したら処理を終了する。なお、ステップＳ１２０７において、終了でないと判定した場合はステップＳ１２０２に戻る。

図１３は、本実施形態における操作端末（マルチメディアコンテンツ表示装置）及びネットワーク接続されたデバイスの具体的な構成例を示す図である。図１３において、操作端末１３００は基本的に図２に示されるようなハードウェア構成をしているため、ハードウェア構成については説明を省略する。

操作端末（ディスプレイ）１３００には、操作メニューや撮影した画像を再生するための表示部１３０１が備えられている。これは図２における出力装置２０８に相当する。また、操作コントローラ１３０２も備えられており、表示部におけるメニューを選択することができる。これは図２における入力装置２０６に相当する。なお、図１３には図示していないが、図２における記憶装置２０５に相当するデータ保存部を所持するようにしてもよい。

また、操作端末（ディスプレイ）１３００にはプログラムメモリとデータメモリとを含むメモリ１３１７が搭載されている。プログラムメモリには、表示部１３０１に表示する内容を制御する処理手順を含むＣＰＵ２０２による制御のためのプログラムを格納してある。データメモリには、本実施形態におけるコンテンツ一覧表示処理において、一時的に使用される画像データなども保存される。なお、メモリ１３１７は図２におけるＲＯＭ２０３であってもよいし外部記憶装置などからプログラムがロードされるＲＡＭ２０４であってもよい。

ここで、操作端末（ディスプレイ）１３００は、ネットワークを介してデータストレージ１３１８及びＨＤＤレコーダ１３２３と接続されているものとする。データストレージ１３１８は、処理制御部１３１９によって処理が制御され、静止画像（Ａ）１３２０、静止画像（Ｂ）１３２１、静止画像（Ｃ）１３２２がコンテンツデータとして保存されている。

ＨＤＤレコーダ１３２３は、処理制御部１３２５によって処理が制御され、ＴＶチューナ１３２６を介して、チャンネルＣｈ１３２７からライブ画像を取得することができる。また、コンテンツデータとして、動画像（Ｌ）１３２４が格納されている。

ここで、ユーザにより操作端末１３００が操作されて、データストレージ１３１８、ＨＤＤレコーダ１３２３に格納されたコンテンツデータ及びＨＤＤレコーダ１３２３がライブ画像として取得することができるコンテンツから所望するデータを検索する場合について説明する。

図１３においては、ユーザが参照可能なコンテンツデータを再生するために、表示部１３０１にデータフォルダメニューが表示されている状態を示している。データフォルダメニューとして、全データ表示メニュー１３０３、ライブ動画表示メニュー１３０４、（ストア）動画表示メニュー１３０５、静止画表示メニュー１３０６及びデータパラパラ再生メニュー１３０７が表示されている場合について説明する。

なお、ユーザにより操作コントローラ１３０２が操作されて、全データ表示メニュー１３０３が選択されると、参照可能な全データについて、そのコンテンツデータのプロパティ（ファイル名、撮影日時、サイズ等）がリスト表示されてもよい。また、ユーザによりライブ動画表示メニュー１３０４、（ストア）動画表示メニュー１３０５、静止画表示メニュー１３０６などが選択された場合には、該当するデータ（ライブ動画、ストア動画または静止画）について、そのプロパティ（ファイル名、撮影日時、サイズ等）がリスト表示されてもよい。

ユーザにより操作コントローラ１３０２が操作されて、データパラパラ再生メニュー１３０６が選択されると、図１０に示すコンテンツ一覧表示処理を開始する。ここで、装置に設定されたコンテンツ一覧表示ルールが図８（ａ）に示すコンテンツ一覧表示ルール８０１のようなものであった場合について、コンテンツ一覧表示処理の流れを以下に示す。

まず、ステップＳ１００１において、コンテンツ一覧表示ルールを取得する。図８（ａ）に示すコンテンツ一覧表示ルール８０１によると、デフォルトサムネイル画像８０２は「画素数１００×１００」、動画サムネイル作成基準８０３は「シーンチェンジの最初の画像、かつ最大画像数設定なし」、静止画サムネイル作成基準８０４は「画素数１００×１００」、パラパラ見ルール８０５のうち、サムネイル整列ルール８０６は「静止画１枚、動画Ｎ枚、かつ撮影時間順」、パラパラ見再生間隔ルール８０７は「１秒／枚」となっている。

次に、ステップＳ１００２において、参照可能なコンテンツ一覧を取得する。ここで取得されるコンテンツはデータストレージ１３１８に格納されている１３２０静止画像（Ａ）１３２０、静止画像（Ｂ）１３２１、静止画像（Ｃ）１３２２、ＨＤＤレコーダ１３２３に格納されている動画像（Ｌ）１３２４、ＴＶチューナ１３２６を介して、チャンネルＣｈ１３２７から取得することができるライブ画像である。

データストレージ１３１８に格納されている静止画像（Ａ）１３２０、静止画像（Ｂ）１３２１、静止画像（Ｃ）１３２２、ＨＤＤレコーダ１３２３に格納されている動画像（Ｌ）１３２４に関しては、第１の実施形態と同様にサムネイル画像作成処理が行われる。静止画像（Ａ）１３２０、静止画像（Ｂ）１３２１、静止画像（Ｃ）１３２２のサムネイル画像として、サムネイル画像（Ａ）１３０９、サムネイル画像（Ｂ）１３１０、サムネイル画像（Ｃ）１３１１が取得される。また、動画像（Ｌ）１３２４のサムネイル画像１３１２として、サムネイル画像（Ｌ−１）１３１３、サムネイル画像（Ｌ−２）１３１４、サムネイル画像（Ｌ−３）１３１５の３枚のサムネイル画像が取得される。

ここで、ステップＳ１００５の判定の結果、コンテンツ一覧からチャンネルＣｈ１３２７から取得することができるライブ画像に関するサムネイルを作成する場合には、ステップＳ１００９へ進み、ライブコンテンツのサムネイル作成処理を行う。

ライブコンテンツサムネイル作成処理においては、まず、ステップＳ１１０１において、ライブ動画サムネイル作成基準を取得する。本実施形態においては、ライブ動画サムネイル作成基準は別に設定されていないものとする。

次に、ステップＳ１１０２へ進み、ライブ動画配信先への接続を試みる。ステップＳ１１０３において、配信先への接続に成功したと判定すると、ステップＳ１１０４へ進む。そして、ステップＳ１１０４において、ステップＳ１１０１で取得したライブ動画サムネイル作成基準に従って、ライブ動画のサムネイル画像を抽出する。なお、ライブ動画サムネイル作成基準は設定されていないので、接続時のライブ動画をサムネイル画像としてそのまま抽出する。次に、ステップＳ１１０５において、抽出したサムネイル画像をメモリ１３１７にサムネイル画像（Ｃｈ−１）１３１６として保存して処理を終了する。

このように、ライブ動画、ストア動画、静止画のサムネイル画像をコンテンツ一覧表示処理用のメモリ１３１７に保存すると、取得されたコンテンツ一覧全てについて処理を終了する。そして、ステップＳ１００８におけるコンテンツ一覧パラパラ見表示処理を行う。

コンテンツ一覧パラパラ見表示処理においては、まず、ステップＳ１２０１において、パラパラ見表示ルールを取得する。本実施形態においては、パラパラ見表示ルールは別に設定されていないものとする。すなわち、ステップＳ１００１において取得されたコンテンツ一覧表示ルール８０１に設定されているパラパラ見ルール８０５を取得する。なお、サムネイル整列ルール８０６は「静止画１枚、動画Ｎ枚、かつ撮影時間順」であり、パラパラ見再生間隔ルール８０７は「１秒／枚」である。

続いて、ステップＳ１２０２において、コンテンツ一覧からコンテンツ種別がライブ動画であるものを検索する。次に、ステップＳ１２０３の判定において、コンテンツ一覧の中にライブ動画コンテンツがあるので、ステップＳ１２０４に進む。そして、ステップＳ１１０１からステップＳ１１０５の処理を繰り返し、チャンネルＣｈ１３２７から取得することができるライブ画像に関するサムネイルを作成する。

ライブ動画を全て取得したら、ステップＳ１２０３において、ライブ動画はもうないので、ステップＳ１２０５へ進む。そして、ステップＳ６０１において取得されたサムネイル整列ルール８０６の「静止画１枚、動画Ｎ枚、かつ撮影時間順」に従って、コンテンツ一覧表示処理用のメモリ１３１７に保存されている全コンテンツのサムネイルを整列させてサムネイル画像列を生成する。

図１４は、本実施形態における動画像のシーンチェンジ例と作成されたサムネイル画像列の一例を示す図である。
例えば、コンテンツ一覧表示処理用のメモリ１３１７に保存されている全コンテンツをサムネイル整列ルール８０６に従って整列させた場合、図１４に示す時間軸１４０５に沿って、各サムネイル画像であるサムネイル画像（Ｌ−１）１３１３、サムネイル画像（Ｌ−２）１３１４、サムネイル画像（Ｌ−３）１３１５、静止画（Ａ）１３２０、静止画（Ｂ）１３２１、静止画（Ｃ）１３２２、サムネイル画像（Ｃｈ−１）１３１６の撮影時間を並べると、図１４に示される点１４０６〜１４１２の順序になる。

これにより、サムネイル整列ルール８０６の「静止画１枚、動画Ｎ枚、かつ撮影時間順」に従って整列させたサムネイル画像列はサムネイル画像列１４１３のようになる。そして、ステップＳ１２０６において整列されたサムネイル画像列をパラパラ見再生間隔ルール８０７の「１秒／枚」に従って、１枚あたり１秒間隔で高速連続再生させて、ステップＳ１２０７の判定の結果、終了した場合は処理を終了する。

以上のように、本実施形態の操作端末においては、ライブ画像を参照可能なコンテンツとして扱うことが可能な端末においても、動画（ライブ・ストア）・静止画などのコンテンツの種別に関わらず、サムネイル画像を時間順などのルールに従って整列させてパラパラ見することができる。これにより、各々のサムネイル画像の概要（画像情報の構成要素や特定色の出現頻度）を高速に提供することができ、使用者はあいまいな静止画の概要の記憶だけで目的のコンテンツを検索することができる。

また、例えばライブ画像がＴＶのチャンネルからの映像である場合にも、逐次ライブ画像のサムネイルを生成してパラパラ見で再生表示するので、使用者は目的のコンテンツを検索することができる。

（本発明に係る他の実施形態）
前述した本発明の実施形態におけるマルチメディアコンテンツ表示装置を構成する各手段、並びにマルチメディアコンテンツ表示方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３〜６、１０〜１２、１５及び１６に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態における全体構成の一例を示す概念図である。 本発明の第１の実施形態における操作端末のハードウェア構成の一例を示すブロック図である。 本発明の第１の実施形態におけるコンテンツ一覧表示処理の手順の一例を示すフローチャートである。 本発明の第１の実施形態における動画サムネイル作成処理の手順の一例を示すフローチャートである。 本発明の第１の実施形態における静止画サムネイル作成処理の手順の一例を示すフローチャートである。 本発明の第１の実施形態におけるコンテンツ一覧パラパラ表示処理の手順の一例を示すフローチャートである。 本発明の第１の実施形態における操作端末の具体的な構成の一例を示すブロック図である。 本発明の第１の実施形態におけるコンテンツ一覧表示ルールの一例を示す図である。 本発明の第１の実施形態における動画像のシーンチェンジ例及び作成されたサムネイル画像列の一例を示す図である。 本発明の第２の実施形態におけるコンテンツ一覧表示処理の手順の一例を示すフローチャートである。 本発明の第２の実施形態におけるライブ画像サムネイル作成処理の手順の一例を示すフローチャートである。 本発明の第２の実施形態におけるコンテンツ一覧パラパラ見表示処理の手順の一例を示すフローチャートである。 本発明の第２の実施形態における操作端末等の具体的な構成の一例を示すブロック図である。 本発明の第２の実施形態における動画像のシーンチェンジ例及び作成されたサムネイル画像列の一例を示す図である。 本発明の第１の実施形態における動画サムネイル画像抽出処理の手順の一例を示すフローチャートである。 本発明の第１の実施形態におけるサムネイル画像列生成処理の手順の一例を示すフローチャートである。

符号の説明

１０１、１０２、１０７ デバイス
１０３、１０６ ストレージ
１０４ ネットワークあるいはバス
１０５ 操作端末
２０１ バス
２０２ ＣＰＵ
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ 記憶装置
２０６ 入力装置
２０７ ネットワークＩ／Ｆ
２０８ 出力装置
７００ 操作端末
７０１ 表示部
７０２ 操作コントローラ
７０３ 全データ表示メニュー
７０４ 動画表示メニュー
７０５ 静止画表示メニュー
７０６ データパラパラ再生メニュー
７０７ カメラシャッター
７０８ 撮影レンズ
７０９ ファインダー
７１０ 処理制御部
７１１ データ保存部
７１２ 静止画像（Ａ）
７１３ 静止画像（Ｂ）
７１４ 静止画像（Ｃ）
７１５ 動画像（Ｌ）
７１６ メモリ
７１７ サムネイル画像（Ａ）
７１８ サムネイル画像（Ｂ）
７１９ サムネイル画像（Ｃ）
７２０ 動画像（Ｌ）
７２１ サムネイル画像（Ｌ−１）
７２２ サムネイル画像（Ｌ−２）
７２３ サムネイル画像（Ｌ−３）
１３００ 操作端末
１３０１ 表示部
１３０２ 操作コントローラ
１３０３ 全データ表示メニュー
１３０４ ライブ動画像表示メニュー
１３０５ (ストア)動画表示メニュー
１３０６ 静止画表示メニュー
１３０７ データパラパラ再生メニュー
１３１７ メモリ
１３１８ データストレージ
１３２０ 静止画像（Ａ）
１３２１ 静止画像（Ｂ）
１３２２ 静止画像（Ｃ）
１３２３ ＨＤＤレコーダ
１３２４ 動画像（Ｌ）
１３２５ 処理制御部
１３２６ ＴＶチューナ
１３２７ チャンネルＣｈ

Claims (6)

1. 代表画像を生成する動画代表画像作成手段と、
   前記動画代表画像作成手段によって生成された代表画像の中から１つ以上の代表画像をその他のコンテンツの画像と混在させて整列させるコンテンツ整列手段とを有することを特徴とするマルチメディアコンテンツ表示装置。
2. 前記動画代表画像作成手段は、前記代表画像に時間情報を付与する時間情報付与手段を有し、
   前記コンテンツ整列手段は、前記時間情報付与手段によって付与された代表画像の時間情報を元に整列させることを特徴とする請求項１に記載のマルチメディアコンテンツ表示装置。
3. 前記コンテンツ整列手段は、以前に表示した代表画像を記憶する表示コンテンツ記憶手段を有し、再度、代表画像列を生成する場合には前記表示コンテンツ記憶手段によって記憶された以前に表示した代表画像以外を混在させて整列させることを特徴とする請求項１または２に記載のマルチメディアコンテンツ表示装置。
4. 前記動画代表画像作成手段は、ライブ動画像である場合には逐次代表画像を作成し、
   前記コンテンツ整列手段は、前記ライブ動画像からの代表画像を混在させて整列させることを特徴とする請求項１〜３の何れか１項に記載のマルチメディアコンテンツ表示装置。
5. 代表画像を生成する動画代表画像作成工程と、
   前記動画像作成工程において生成された代表画像の中から１つ以上の代表画像をその他のコンテンツの画像と混在させて整列させるコンテンツ整列工程とを有することを特徴とするマルチメディアコンテンツ表示方法。
6. 請求項５に記載の方法の各工程をコンピュータにて実施させることを特徴とするプログラム。

Images