WO2006027880A1 - 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

本発明は、動画像の符号化の単位に関係付けられたピクチャを迅速に再生することができる記録装置および方法、再生装置および方法、記録媒体、並びにプログラムに関する。抽出部５１は、それぞれＧＯＰから、１つのピクチャを抽出する。画素数変換部４０は、画素を間引くことにより、抽出されたピクチャの情報量を削減する。静止画像圧縮部４１は、情報量が削減されたピクチャをＪＰＥＧ方式で符号化する。マイクロコンピュータ３１は、ピクチャが抽出されたＧＯＰに、符号化されたピクチャを関係付けて、動画像を記録するディスク４５への、ＧＯＰに関係付けられたピクチャの記録を制御する。本発明は、データ記録媒体に動画像を記録する記録装置に適用できる。

Description

明 細 書

記録装置および方法、再生装置および方法、記録媒体、並びにプログラ ム 技術分野

[0001] 本発明は記録装置および方法、再生装置および方法、記録媒体、並びにプロダラ ムに関し、特に、動画像をデータ記録媒体に記録するか、データ記録媒体に記録さ れている動画像を再生する記録装置および方法、再生装置および方法、記録媒体、 並びにプログラムに関する。

背景技術

[0002] 動画像をデジタル記録するコンス一マ機器が一般に利用されるようになって久しい 力 近年、その動画像を記録するデータ記録媒体の主流が、テープ力 ディスクに代 わりつつある。ディスクであるデータ記録媒体を利用することにより、動画像 (のデータ )へのランダムアクセスが可能となり、動画像の再生時間における時間軸上の位置が 離れてる画像であっても素早く再生することができるようになる。すなわち、より迅速に 、いわゆる頭出し再生を行ったり、つまみ食いのように、動画像の所望の部分をつな ぎ合わせた、 V、わゆる非破壊編集コンテンツを作ることも簡単になってきた。

[0003] 頭出しや編集のポイントを探すためには、記録されている動画像を再生しなければ ならず、動画像が符号化されている場合、復号しなければ動画像を表示することはで きない。

[0004] ところが、 MPEG (Moving Pictures Experts Group) 2方式のプログラムストリームとし て符号化されている動画像を復号する場合、 GOP (Group of Pictures)を単位として 動画像が符号ィ匕されているので、データストリーム力 復号したい部分を探して、抜き 出して、復号しなければならない。この場合に要求される制御は、複雑で、処理に時 間がかかる。

[0005] このように、符号化されて!/ヽる動画像の、所望のポイントの画像を迅速に行うことは 困難である。

[0006] 一方、符号化されている動画像のデータ記録媒体への記録方式も各種提案されて いる。

[0007] 図 1は、動画像の再生における予め定めた時間を単位として、データ記録媒体の 連続する領域に動画像を記録する記録方式を説明する図である。

[0008] ストリームユニット 11— 1乃至ストリームユニット 11— 6は、動画像の再生における予 め定めた時間に分割された動画像のデータである。ストリームユニット 11 1乃至スト リームユニット 11 6のそれぞれは、データ記録媒体の連続した領域に記録される。

[0009] 図 1で示される記録方式により記録されている動画像をデータ記録媒体から読み出 す場合、ストリームユニット 11— 1乃至ストリームユニット 11— 6のそれぞれは、連続し て読み出される。ストリームユニット 11— 1乃至ストリームユニット 11— 6のうちの 1つを 読み出してから、ストリームユニット 11— 1乃至ストリームユニット 11— 6のうちの他を 読み出す場合には、その間に、シーク時間または回転待ち時間が必要となる。

[0010] 図 2は、従来の編集ポイントの検索表示の処理を説明するフローチャートである。ス テツプ S 11にお 、て、データ記録媒体上の動画像の記録位置を示す管理情報が格 納されている管理情報ファイルが読み出される。ステップ S12において、読み出され た管理情報ファイルを基に、最初のフレームのストリームデータ力 データ記録媒体 であるディスク力も読み出される。

[0011] ステップ S13において、読み出されたストリームデータがバッファに記憶される。ステ ップ S14において、符号ィ匕されているストリームデータが伸張される（復号される）。ス テツプ S 15において、ストリームデータの伸張により得られた動画像データおよび音 声データが後段のノ ッファに記憶される。ステップ S16において、後段のノッファから 動画像データおよび音声データが順次読み出されて、動画像データを基に、動画像 が表示されると共に、音声データを基に、音声が出力される。

[0012] ステップ S17において、ユーザ力も次のポイントへの移動が指示されたか否かが判 定される。ステップ S17において、次のポイントへの移動が指示されていないと判定さ れた場合、動画像の表示および音声の出力が継続されたまま、ステップ S 17に戻り、 判定の処理が繰り返される。

[0013] ステップ S17において、次のポイントへの移動が指示されたと判定された場合、ステ ップ S18に進み、読み出された管理情報ファイルを基に、指示されたポイントのフレ ームのストリームデータ力 データ記録媒体であるディスク力も読み出される。

[0014] ステップ S19において、読み出されたストリームデータがバッファに記憶される。ステ ップ S 20において、符号ィ匕されているストリームデータが伸張される（復号される）。ス テツプ S21において、ストリームデータの伸張により得られた動画像データおよび音 声データが後段のバッファに記憶される。ステップ S22において、後段のバッファから 動画像データおよび音声データが順次読み出されて、動画像データを基に、指示さ れたポイントの動画像が表示されると共に、音声データを基に、指示されたポイントの 音声が出力される。

[0015] 手続きは、ステップ S17に戻り、ユーザからの指示に応じて、データ記録媒体である ディスク力も指示されたポイントのフレームのストリームデータが読み出されて、復号さ れて、動画像を表示させて、音声を出力する処理が繰り返される。

[0016] また、入力された AVストリームカゝら抽出された特徴的な画像を指し示すマークで構 成される ClipMarkを、 AVストリームを管理するための管理情報として生成するととも に、 AVストリーム中の所定の区間の組み合わせを定義する PlayListに対応する再生 区間の中から、ユーザが任意に指定した画像を指し示すマーク力も構成される PlayLi stMarkを生成し、 ClipMark、および PlayListMarkを各々独立したテーブルとして記録 媒体に記録するようにしているものもある（例えば、特許文献 1参照)。

[0017] 特許文献 1 :特開 2002— 158965号公報

発明の開示

発明が解決しょうとする課題

[0018] このように、頭出しや編集のポイントを探す場合、符号化されて 、る動画像を 、ち ヽ ち復号して表示しなければならず、迅速に、表示することは困難であった。その結果 、頭出しや編集のポイントの探索に時間が力かるという問題があった。

[0019] 本願発明はこのような状況に鑑みてなされたものであり、動画像の符号ィ匕の単位で あって、画像力もなる単位に関係付けられた画像を迅速に再生することができるよう にし、その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に知る ことができるようにするものである。

課題を解決するための手段 [0020] 本発明の記録装置は、動画像の符号ィ匕の単位であって、一定の数の画像力もなる 単位から、 1つの画像を抽出する抽出手段と、抽出された画像の情報量を削減する 削減手段と、情報量が削減された画像を所定の符号化方式で符号化する符号ィ匕手 段と、抽出手段において画像が抽出された単位に、符号化された画像を関係付ける 関係付け手段と、動画像を記録するデータ記録媒体への、単位に関係付けられた画 像の記録を制御する記録制御手段とを備えることを特徴とする。

[0021] 関係付け手段は、動画像のトラックに関係付けられるトラックであって、所定のフアイ ル方式におけるトラックに符号ィ匕された画像を配置することにより、単位に符号ィ匕され た画像を関係付けるようにすることができる。

[0022] 関係付け手段は、動画像の単位の再生における時刻の範囲と、符号化された画像 とを対応させることにより、単位に符号化された画像を関係付けるようにすることがで きる。

[0023] 記録制御手段は、再生における予め定めた時間の動画像を、データ記録媒体の 連続する第 1の領域に記録するように、データ記録媒体への動画像の記録を制御す ると共に、データ記録媒体の第 1の領域への動画像の記録が終了した場合、符号ィ匕 された画像のデータ量が所定の閾値を超えたとき、データ記録媒体の連続する第 2 の領域に画像を記録するように、データ記録媒体への画像の記録を制御するように することができる。

[0024] 符号化手段は、画像を静止画像の圧縮符号化方式で符号化するようにすることが できる。

[0025] 符号化手段は、その画像のみで復号ができるように、動画像の圧縮符号化方式で 画像を符号化するようにすることができる。

[0026] 削減手段は、画像の画素を間引くことにより、画像の情報量を削減するようにするこ とがでさる。

[0027] 削減手段は、画像の高周波成分を除去することにより、画像の情報量を削減するよ うにすることができる。

[0028] 本発明の記録方法は、動画像の符号ィ匕の単位であって、一定の数の画像力もなる 単位から、 1つの画像を抽出する抽出ステップと、抽出された画像の情報量を削減す る削減ステップと、情報量が削減された画像を所定の符号ィヒ方式で符号ィヒする符号 ィ匕ステップと、抽出ステップにおいて画像が抽出された単位に、符号化された画像を 関係付ける関係付けステップと、動画像を記録するデータ記録媒体への、単位に関 係付けられた画像の記録を制御する記録制御ステップとを含むことを特徴とする。

[0029] 本発明の第 1の記録媒体のプログラムは、動画像の符号ィ匕の単位であって、一定 の数の画像カゝらなる単位から、 1つの画像を抽出する抽出ステップと、抽出された画 像の情報量を削減する削減ステップと、情報量が削減された画像を所定の符号ィ匕方 式で符号化する符号化ステップと、抽出ステップにお ヽて画像が抽出された単位に、 符号化された画像を関係付ける関係付けステップと、動画像を記録するデータ記録 媒体への、単位に関係付けられた画像の記録を制御する記録制御ステップとを含む ことを特徴とする。

[0030] 本発明の第 1のプログラムは、動画像の符号ィ匕の単位であって、一定の数の画像 力 なる単位から、 1つの画像を抽出する抽出ステップと、抽出された画像の情報量 を削減する削減ステップと、情報量が削減された画像を所定の符号ィヒ方式で符号ィ匕 する符号化ステップと、抽出ステップにおいて画像が抽出された単位に、符号化され た画像を関係付ける関係付けステップと、動画像を記録するデータ記録媒体への、 単位に関係付けられた画像の記録を制御する記録制御ステップとをコンピュータに 実行させることを特徴とする。

[0031] 本発明の再生装置は、動画像が記録されると共に、動画像の符号ィ匕の単位であつ て、一定の数の画像力 なる単位力 抽出され、情報量が削減され、所定の符号ィ匕 方式で符号化され、単位のそれぞれに関係付けられて！/ヽる画像が記録されて！ヽるデ ータ記録媒体からの、ユーザからの指令および動画像の単位との関係に基づぐ画 像の読み出しを制御する読み出し制御手段と、読み出された画像を復号する復号手 段と、復号された画像の表示を制御する表示制御手段とを備えることを特徴とする。

[0032] 読み出し制御手段は、ユーザから早送りまたは巻き戻しが指令された場合、画像の みを読み出しするように、データ記録媒体力 の画像の読み出しを制御するようにす ることがでさる。

[0033] 復号手段は、静止画像の圧縮符号化方式で符号化されて ヽる画像を復号するよう にすることができる。

[0034] 復号手段は、その画像のみで復号ができるように、動画像の圧縮符号化方式で符 号化されて ヽる画像を復号するようにすることができる。

[0035] 本発明の再生方法は、動画像が記録されると共に、動画像の符号ィ匕の単位であつ て、一定の数の画像力 なる単位力 抽出され、情報量が削減され、所定の符号ィ匕 方式で符号化され、単位のそれぞれに関係付けられて！/ヽる画像が記録されて！ヽるデ ータ記録媒体からの、ユーザからの指令および動画像の単位との関係に基づぐ画 像の読み出しを制御する読み出し制御ステップと、読み出された画像を復号する復 号ステップと、復号された画像の表示を制御する表示制御ステップとを含むことを特 徴とする。

[0036] 本発明の第 2の記録媒体のプログラムは、動画像が記録されると共に、動画像の符 号化の単位であって、一定の数の画像力 なる単位力 抽出され、情報量が削減さ れ、所定の符号化方式で符号化され、単位のそれぞれに関係付けられている画像が 記録されて 、るデータ記録媒体からの、ユーザからの指令および動画像の単位との 関係に基づぐ画像の読み出しを制御する読み出し制御ステップと、読み出された画 像を復号する復号ステップと、復号された画像の表示を制御する表示制御ステップと を含むことを特徴とする。

[0037] 本発明の第 2のプログラムは、動画像が記録されると共に、動画像の符号ィ匕の単位 であって、一定の数の画像力 なる単位力 抽出され、情報量が削減され、所定の符 号化方式で符号化され、単位のそれぞれに関係付けられて！/ヽる画像が記録されて ヽ るデータ記録媒体からの、ユーザ力 の指令および動画像の単位との関係に基づく 、画像の読み出しを制御する読み出し制御ステップと、読み出された画像を復号する 復号ステップと、復号された画像の表示を制御する表示制御ステップとをコンビユー タに実行させることを特徴とする。

[0038] 記録装置は、独立した装置であっても良!、し、記録再生装置の記録処理を行うプロ ックであっても良い。再生装置は、独立した装置であっても良いし、記録再生装置の 再生処理を行うブロックであっても良 、。

[0039] 本発明の記録装置および方法、第 1の記録媒体、並びに第 1のプログラムにおいて は、動画像の符号化の単位であって、一定の数の画像からなる単位から、 1つの画 像が抽出され、抽出された画像の情報量が削減され、情報量が削減された画像が所 定の符号化方式で符号化され、画像が抽出された単位に、符号化された画像が関 係付けられ、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の 記録が制御される。

[0040] 本発明の記録装置および方法、第 2の記録媒体、並びに第 2のプログラムにおいて は、動画像が記録されると共に、動画像の符号ィ匕の単位であって、一定の数の画像 力 なる単位力 抽出され、情報量が削減され、所定の符号化方式で符号化され、 単位のそれぞれに関係付けられて 、る画像が記録されて 、るデータ記録媒体からの 、ユーザ力 の指令および動画像の単位との関係に基づぐ画像の読み出しが制御 され、読み出された画像が復号され、復号された画像の表示が制御される。

発明の効果

[0041] 以上のように、第 1の本発明によれば、動画像に応じた画像をデータ記録媒体に記 録させることができる。

[0042] また、第 1の本発明によれば、動画像を再生する場合に、単位に関係付けられた画 像を迅速に再生することができるようになる。その結果、ユーザが、動画像の再生に おける所望の時刻の内容を迅速に知ることができる。

[0043] 第 2の本発明によれば、動画像に応じた画像を再生することができる。

[0044] また、第 2の本発明によれば、単位に関係付けられた画像を迅速に再生することが できるようになる。その結果、ユーザが、動画像の再生における所望の時刻の内容を 迅速に知ることができる。

図面の簡単な説明

[0045] [図 1]従来の記録方式を説明する図である。

[図 2]従来の編集ポイントの検索表示の処理を説明するフローチャートである。

[図 3]本発明の係る記録装置の一実施の形態の構成を示すブロック図である。

[図 4]1つの GOPからの 1つのフレーム（ピクチャ）の抽出を説明する図である。

[図 5]ディスクに記録されたサムネイルデータの一例を示す図である。

[図 6]多重化されている動画像データおよび音声データと、サムネイルデータとの同 期を説明する図である。

[図 7]PLF方式のファイルの例を説明する図である。

[図 8]PLF方式ファイルとは別に、サムネイルデータを格納したファイルを説明する図 である。

[図 9]静止画像パッケージ方式のファイルの例を説明する図である。

[図 10]トラック管理ファイル方式のファイルの例を示す図である。

[図 11]ロケーション関係データファイルの例を示す図である。

圆 12]ロケーションを説明する図である。

[図 13]外部のファイルに格納されたサムネイルデータをさらに参照するロケーション 関係データファイル、およびサムネイルデータを格納した参照されるファイルの例を 示す図である。

[図 14]サムネイルデータが記録されるサムネイルデータ記録領域を説明する図であ る。

[図 15]ストリームユニットにサムネイルデータ 81を隣接して記録する場合の、ディスク への記録の処理を説明する図である。

[図 16]サムネイルデータが記録されるサムネイルデータ記録領域を説明する図であ る。

[図 17]ストリームユニットとは離れた位置に、サムネイルデータをまとめて記録する場 合の、ディスクへの記録の処理を説明する図である。

[図 18]データの変換の処理を説明するフローチャートである。

[図 19]データの記録の処理を説明するフローチャートである。

圆 20]本発明に係る記録再生装置における再生ブロックの一実施の形態の構成を 示すブロック図である。

[図 21]編集ポイントの検索表示の処理を説明するフローチャートである。

[図 22]サムネイルの表示の例を説明する図である。

[図 23]サムネイルデータの読み出しを説明する図である。

[図 24]サムネイルデータの読み出しを説明する図である。

[図 25]早送りをする場合の、バッファメモリに記憶されるサムネイルデータのデータ量 の変化を説明する図である。

[図 26]巻き戻しをする場合の、ノ ッファメモリに記憶されるサムネイルデータのデータ 量の変化を説明する図である。

[図 27]巻き戻しをする場合の、サムネイルデータの読み出しを説明する図である。

[図 28]巻き戻しをする場合の、ノ ッファメモリに記憶されるサムネイルデータのデータ 量の変化の詳細を説明する図である。

[図 29]サムネイルデータの読み出しの処理を説明するフローチャートである。

[図 30]バッファメモリへのサムネイルデータの記憶を説明する図である。

[図 31]バッファメモリへのサムネイルデータの記憶を説明する図である。

[図 32]バッファメモリへのサムネイルデータの記憶を説明する図である。

[図 33]バッファメモリへのサムネイルデータの記憶を説明する図である。

[図 34]バッファメモリへのサムネイルデータの記憶を説明する図である。

[図 35]MPEG2プログラムストリームが記録されているディスクから MPEG2プログラムス トリームを読み出して、 MPEG2プログラムストリームに対応するサムネイルデータを生 成してディスクに記録する、本発明に係る記録再生装置の一実施の形態の構成を示 すブロック図である。

[図 36]1ピクチャ選択復号部の構成を示すブロック図である。

圆 37]解像度変換部の構成を示すブロック図である。

[図 38]JPEG符号ィ匕部の構成を示すブロック図である。

[図 39]サムネイルデータの生成の処理を説明するフローチャートである。

[図 40]MPEG2プログラムストリームが記録されているディスクから MPEG2プログラムス トリームを読み出して、 MPEG2プログラムストリームに対応する、 Iピクチャのストリーム であるサムネイルを生成してディスクに記録する、本発明に係る記録再生装置の一 実施の形態の構成を示すブロック図である。

[図 41]1ピクチャ符号ィ匕部の構成を示すブロック図である。

[図 42]符号量の制御の処理を説明するフローチャートである。

[図 43]VBVのモデルの構成を示すブロック図である。

[図 44]サムネイルのデータ量に制限を設けない場合の VBVのモデルの動きを説明す る図である。

[図 45]サムネイルのデータ量が制限されている場合の VBVのモデルの動きを説明す る図である。

[図 46]MPEG2プログラムストリームが記録されているディスクから MPEG2プログラムス トリームを読み出して、 MPEG2プログラムストリームに対応する、 Iピクチャのストリーム であるサムネイルを生成してディスクに記録する、本発明に係る記録再生装置の一 実施の形態の他の構成を示すブロック図である。

[図 47]1ピクチャ選択復号部の構成を示すブロック図である。

圆 48]周波数特性変換部の構成を示すブロック図である。

圆 49]DCT係数を説明する図である。

[図 50]水平方向フィルタの伝達関数 H (n)および垂直方向フィルタの伝達関数 V(m) を示す図である。

[図 51]1ピクチャ符号ィ匕部の構成を示すブロック図である。

[図 52]サムネイルデータの生成の他の処理を説明するフローチャートである。

[図 53]符号量の制御の他の処理を説明するフローチャートである。

[図 54]JPEG方式により圧縮符号ィ匕されて 、るサムネイルデータを基に、サムネイルを 再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形 態の他の構成を示すブロック図である。

[図 55]JPEG復号部の構成を示すブロック図である。

[図 56]1ピクチャのストリームとして圧縮符号ィ匕されて 、るサムネイルデータを基に、サ ムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの 一実施の形態の他の構成を示すブロック図である。

[図 57]1ピクチャ復号部の構成を示すブロック図である。

[図 58]1ピクチャのストリームとして圧縮符号ィ匕されて 、るサムネイルデータを基に、サ ムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの 一実施の形態のさらに他の構成を示すブロック図である。

符号の説明

31 マイクロコンピュータ， 35 バッファメモリ， 38 動画像圧縮部， 40 画素 数変換部， 41 静止画像圧縮部， 42 音声圧縮部， 43 バッファメモリ， 44 ドライブ， 45 ディスク， 48 ディスク， 51 抽出部， 81 サムネイルデータ， 1 01 PLF方式ファイル， 111 ファイル， 121 静止画像パッケージ方式ファイル，

131 トラック管理ファイル， 141 ロケーション関係データファイル， 151 ロケ一 シヨン関係データファイル， 162 サムネイルデータ記録領域， 203 動画像伸張 部， 204 静止画像伸張部， 205 音声伸張部， 206 画像出力インターフエ一 ス， 302 Iピクチャ選択復号部， 303 解像度変換部， 304 JPEG符号化部， 305 フアイノレフォーマット変換部， 322 Iピクチャ判定部， 323 セレクタ， 324 可変長符号デコーダ， 325 逆量子化部， 326 逆 DCT処理部， 341 ローバ スフィルタ， 342 画素間引部， 381 Iピクチャ符号ィ匕部， 402 視覚パラメータ 検出部， 403 DCT処理部， 404 制御部， 405 量子化部， 406 可変長符 号化部， 407 バッファ， 451 Iピクチャ選択復号部， 452 周波数特性変換部 , 453 Iピクチャ符号ィ匕部， 472 Iピクチャ判定部， 473 セレクタ， 474 可 変長符号デコーダ， 475 逆量子化部， 491 水平方向フィルタ， 492 垂直方 向フィルタ， 501 制御部， 502 量子化部， 503 可変長符号化部， 504 バ ッファ， 521 ファイルフォーマット変換部， 522 JPEG復号部， 561 ファイルフ ォーマット変換部， 562 Iピクチャ復号部， 591 画素間引部

発明を実施するための最良の形態

[0047] 図 3は、本発明の係る記録装置の一実施の形態の構成を示すブロック図である。図 3で示される記録装置は、マイクロコンピュータ 31乃至モードダイアル 46を含むように 構成される。

[0048] マイクロコンピュータ 31は、例えば、 ROM (Read Only Memory)、 RAM (Random Acc ess Memory)、シリアルインターフェース、またはパラレルインターフェースなどを内蔵 する、いわゆる組み込み型のマイクロコンピュータである。マイクロコンピュータ 31は、 所定の制御プログラムを実行して、記録装置の全体を制御する。マイクロコンピュータ 31は、所定の制御プログラムを実行して、ユーザの操作に応じた記録開始停止ボタ ン 32からの信号を基に、記録装置の各部に動作を指示する。マイクロコンピュータ 3 1は、所定の制御プログラムを実行して、ノッファ 43に記憶されているデータのフアイ ル方式を整える。

[0049] 撮影部 33は、レンズや絞りなどの光学系および CCD (Charge Coupled Device)また は CMOS (Complementary Metal-Oxide Semiconductor)センサなどの撮像素子から なり、動画像である被写体の画像を撮影して、撮影の結果得られた動画像の画像信 号を動画像入力インターフェース 34に供給する。動画像入力インターフェース 34は 、撮影部 33とバッファメモリ 35とのインターフェースであり、例えば、撮影部 33から供 給された画像信号をアナログデジタル変換したり、シリアルパラレル変換するなど、画 像信号を所定の方式の動画像の画像データに変換して、その画像データをバッファ メモリ 35に供給する。

[0050] 音声変換部 36は、例えば、マイクロフォンなど力 なり、被写体からの音声またはそ の周囲の音声を取得して、取得した音声に対応する音声信号を音声入力インターフ ース 37に供給する。音声変換部 36から出力される音声信号は、撮影部 33から出 力される画像信号に同期している。音声入力インターフェース 37は、音声変換部 36 とバッファメモリ 35とのインターフェースであり、例えば、音声変換部 36から供給され た音声信号をアナログデジタル変換したり、シリアルパラレル変換するなど、音声信 号を所定の方式の音声データに変換して、その音声データをバッファメモリ 35に供 給する。

[0051] ノ ッファメモリ 35は、例えば、半導体メモリからなり、動画像入力インターフェース 34 から供給された画像データ、および音声入力インターフェース 37から供給された音 声データを一時的に記憶する。ノ ッファメモリ 35は、記憶している画像データを動画 像圧縮部 38および画素数変換部 40に供給する。また、ノ ッファメモリ 35は、記憶し て 、る音声データを音声圧縮部 42に供給する。

[0052] 動画像圧縮部 38は、マイクロコンピュータ 31の制御の基に、バッファメモリ 35から 供給された、動画像の画像データを所定の方式で圧縮符号化して、圧縮符号化され た画像データをマルチプレクサ 39に供給する。例えば、動画像圧縮部 38は、ノ ッフ ァメモリ 35から供給された、動画像の画像データを MPEG2方式で圧縮符号ィ匕して、 圧縮符号化された画像データをマルチプレクサ 39に供給する。

[0053] 画素数変換部 40は、マイクロコンピュータ 31の制御の基に、動画像の画像データ から所定のピクチャ（フレームまたはフィールド）を抽出し、抽出したピクチャの画素数 を変換する。例えば、画素数変換部 40は、抽出したピクチャ力も画素を間引くことに より、ピクチャの画素数を変換する。

[0054] 画素数変換部 40には、抽出部 51が設けられている。抽出部 51は、例えば、図 4で 示されるように、動画像圧縮部 38において MPEG2方式で圧縮符号化される動画像 の画像データのうち、 1つの GOPから 1つのフレーム（ピクチャ）を抽出する。

[0055] より具体的には、例えば、動画像圧縮部 38が、 1秒あたり 30フレームの動画像を、 連続する 15フレーム力もなる GOPを単位として圧縮符号ィ匕する場合、抽出部 51は、 それぞれの GOPを構成する 15のフレームから 1つのフレームを抽出する。

[0056] 例えば、画素数変換部 40は、それぞれの GOPから抽出されたフレーム力も画素を 間引いて画素数を変換する。

[0057] 画像数変換部 40は、画素数を変換した画像データを静止画像圧縮部 41に供給す る。

静止画像圧縮部 41は、マイクロコンピュータ 31の制御の基に、画素数変換部 40から 供給された画像データを、静止画像を圧縮する圧縮符号化方式で符号化する。例え ば、静止画像圧縮部 41は、画素数変換部 40から供給された画像データを、 JPEG 0 oint Photographic Experts Group)方式で符号化する。静止画像圧縮部 41は、符号 化した画像データをサムネイルデータとしてバッファメモリ 43に供給する。

[0058] 音声圧縮部 42は、マイクロコンピュータ 31の制御の基に、ノ ッファメモリ 35から供 給された、音声データを所定の方式で圧縮符号化して、圧縮符号化された音声デー タをマルチプレクサ 39に供給する。音声圧縮部 42から出力される音声データは、動 画像圧縮部 38から出力される画像データに同期している。例えば、音声圧縮部 42 は、バッファメモリ 35から供給された、音声データを AC3 (Audio Code Number 3 (Dol by Digital (商標)）方式で圧縮符号ィ匕して、圧縮符号化された音声データをマルチプ レクサ 39に供給する。

[0059] マルチプレクサ 39は、動画像圧縮部 38から供給された画像データ、および音声圧 縮部 42から供給された音声データを多重化して、多重化された画像データおよび音 声データをバッファメモリ 43に供給する。例えば、マルチプレクサ 39は、画像データ および音声データを MPEG2のシステムストリーム方式として多重化して、多重化によ り生成された、画像データおよび音声データ力もなる MPEG2のシステムストリーム方 式のデータをバッファメモリ 43に供給する。

[0060] ノッファメモリ 43は、マルチプレクサ 39から供給された多重化された画像データお よび音声データ、並びに静止画像圧縮部 41から供給されたサムネイルデータを一時 的に記憶する。

[0061] マイクロコンピュータ 31は、バッファメモリ 43に記憶されているサムネイルデータの 方式を整えて、所定のファイル方式とする。サムネイルデータのファイル方式につい ては、図 7乃至図 13を参照して後述する。

[0062] ドライブ 44は、ノ ッファメモリ 43力ら、多重化された画像データおよび音声データ、 並びに所定のファイル方式とされたサムネイルデータを読み出して、データ記録媒体 の一例であるディスク 45に記録する。ディスク 45は、磁気ディスク、光ディスク、また は光磁気ディスクなどである。

[0063] 図 5は、ディスク 45に記録されたサムネイルデータの一例を示す図である。サムネィ ルデータ 81— 1乃至サムネイルデータ 81— nのそれぞれは、 1つのサムネイルを表 示させるためのデータである。ディスク 45において、 ECC (Error Correction Coding) によりエラー訂正される単位が 12キロバイトであるとした場合、サムネイルデータ 81 1乃至サムネイルデータ 81— nのそれぞれは、 12キロバイト以下に圧縮される。

[0064] ここで、例えば、 ECC (Error Correction Coding)によりエラー訂正されるデータの単 位は、データの記録が管理される単位である、 1つのクラスタに記録される。

[0065] サムネイルデータ 81— 1乃至サムネイルデータ 81— nのそれぞれは、 1つのクラス タに、 ECCによりエラー訂正される単位として、ディスク 45に記録される。この場合、 サムネイルデータ 81—1乃至サムネイルデータ 81—nのいずれかが、 12キロバイト 未満であるとき、 12キロバイト未満であるサムネイルデータ 81— 1乃至サムネイルデ ータ 81 -nのいずれ力には、 12キロバイトとなるように任意にデータ列が付加される。 任意のデータ列の付カ卩により 12キロバイトとされたサムネイルデータ 81— 1乃至サム ネイルデータ 81— nのそれぞれは、 1つのクラスタに、 ECCによりエラー訂正される単 位として、ディスク 45に記録される。 [0066] 例えば、図 5で示す例にお!、て、サムネイルデータ 81— 1は、 12キロバイト未満な ので、 12キロバイトとなるように任意にデータ列が付加され、 12キロノくイトとされたサ ムネイルデータ 81— 1力 1つのクラスタに記録される。

[0067] 例えば、図 5で示す例において、サムネイルデータ 81— nは、 12キロバイトなので、 任意にデータ列は付加されることなぐそのまま、 1つのクラスタに記録される。

[0068] このようにすると、サムネイルデータ 81— 1乃至サムネイルデータ 81— nのうちの 1 つを読み出す場合、 1つのクラスタ力 データを読み出せば良いので、より迅速にデ イスク 45からサムネイルデータ 81— 1乃至サムネイルデータ 81—nを読み出すことが できる。

[0069] 以下、サムネイルデータ 81— 1乃至サムネイルデータ 81— nを個々に区別する必 要がない場合、単にサムネイルデータ 81と称する。

[0070] モードダイアル 46は、ユーザの操作に応じて、記録装置の動作モードを指示する 信号をマイクロコンピュータ 31に供給する。例えば、動作モードを変更することによつ て、記録される画像データの 1つのフレーム（ピクチャ）の画素数を変化させたり、サム ネイルデータを記録する力否かを変更させることができる。

[0071] ドライブ 47は、必要に応じて記録装置に装着される。ドライブ 47は、制御プログラム を記録しているディスク 48からプログラムを読み出して、マイクロコンピュータ 31に供 給する。マイクロコンピュータ 31は、内蔵している書き換え可能な ROMまたは RAMに 、ディスク 48から読み出されたプログラムを記憶させて、そのプログラムを実行する。 ドライブ 47およびディスク 48の機能をドライブ 44およびディスク 45で置き換えることも 可能である。

[0072] 図 6は、多重化されている動画像データおよび音声データと、サムネイルデータとの 同期を説明する図である。図 6において、 MPEGトラックは、動画像データおよび音声 データからなり、サムネイルトラックは、サムネイルデータ力もなる。図 6において、 1つ の四角は、 1つの画像を示す。ここで、トラックとは、一連の画像または音声の系列で ある。

[0073] 例えば、 MPEG2のシステムストリーム方式のデータを構成する動画像データ力 15 のフレーム力 なる GOPを単位として符号化され、サムネイルデータ力 それぞれの GOPのフレームのうちの 1つのフレームから生成される場合、 MPEG2のシステムストリ ームにおける 1つの GOPと、 1つのサムネイルデータとが対応することになる。この場 合、 1つのサムネイルデータは、動画像の再生における、 0. 5秒の時間に対応するこ とになる。

[0074] 図 7乃至図 13を参照して、 1つの GOPに対応付けられたサムネイルデータ 81のフ アイル方式を説明する。

[0075] サムネイルデータ 81のファイル方式として、 Quick Time (商標）ファイルフォーマット を利用することができる。以下、 Quick Time (商標）ファイルフォーマットを QTファイル フォーマットと称する。

[0076] QTファイルフォーマットにお 、て、動画像データ、音声データ、または静止画像デ ータなどがまとめられて、それぞれブロック化され、また、ブロック化された動画像デ ータ、音声データ、または静止画像データなどを管理するための管理情報も、それぞ れまとめてブロック化される。このようなブロックは、基本的なデータの単位であり、アト ムと称される。ブロック化された動画像データ、音声データ、または静止画像データな どは、トラックごとに管理され、その情報はトラックアトムと称される。また、複数のトラッ クをまとめて 1つの動画データとして管理する情報は、ムービーアトムと称される。

[0077] なお、 1つのムービーデータアトムは、 1つのトラックに対応する。

[0078] 図 7は、サムネイルデータ 81を格納する、 QTファイルフォーマットの一例である Playl ist File (PLF)方式のファイルの例を説明する図である。サムネイルデータ 81を格納 する、 PLF方式ファイル 101の先頭には、ファイルのタイプを記述するデータ（図中の ファイルタイプデータ）が配置され、ファイルのタイプを記述するデータの次に、フアイ ルプロファイルを記述するデータ（図中のプロファイルデータ）が配置される。

[0079] 例えば、ファイルのタイプを記述するデータは、 ISO (International Organization for Standardization)の BaseMediaFileFormat(IS014496- 12)の MP4拡張 (IS014496- 14)に 準拠した方式とすることができる。また、例えば、ファイルのプロファイルを記述するデ ータには、 PLF方式であることを示す値が設定される。

[0080] PLF方式ファイル 101にお!/、て、ファイルプロファイルを記述するデータに続 、て、 ムービーアトム（図中の moovで示すデータ）が配置される。図 7のムービーアトムに配 置されるビデオトラックのトラックアトム（図中の trak (vide)で示すデータ）は、サムネィ ルデータ 81の管理情報である。図 7のムービーアトムに配置される MPEG2のシステ ムストリーム（MPEG2プログラムストリーム）トラックのトラックアトム（図中の trak (MPEG 2プログラムストリーム）で示すデータ）は、動画像データおよび音声データが多重化 されている MPEG2のシステムストリームの管理情報である。

[0081] トラックアトムのメディアアトム（図中の mdiaで示すデータ）には、対応するムービー データアトムの圧縮方式、格納場所、表示時間などを管理する管理情報が格納され る。メディアアトムにおけるメディア情報アトム（図中の minfC示すデータ）には、最小 の管理単位であるサンプルに関係する各種の情報が配置される。例えば、 MPEG2の システムストリーム（MPEG2プログラムストリーム）トラックにおいて、サンプルは、 1つ のフレームであり、サムネイルデータ 81のビデオトラックにおいて、サンプルは、 1つ のサムネイルデータ 81である。

[0082] メディア情報アトムにおけるサンプルテーブルアトム（図中の stblで示すデータ）には 、個々のサンプルに関係する各種の情報が配置される。サンプルテーブルアトムに おける時間サンプルアトム（図中の sttsで示すデータ）には、各サンプルと再生におけ る時刻との関係が記述される。サンプルテーブルアトムにおけるサンプルチャンクアト ム（図中の stscで示すデータ）には、サンプルと、そのサンプル力も構成されるチャン クとの関係が記述される。

[0083] ここで、チャンクとは、複数のサンプルの集合よりなるトラックにおけるデータの単位 である。

[0084] また、サンプルテーブルアトムにおけるサンプルサイズアトム（図中の stszで示すデ ータ）には、各サンプルのデータ量が記述される。サンプルテーブルアトムにおける チャンクオフセットアトム（図中の stcoで示すデータ）には、ファイルの先頭を基準にし た各チャンクの位置情報が記述される。

[0085] さらに、 PLF方式ファイル 101には、ムービーデータアトム（図中の mdatで示すデー タ）として、サムネイルデータ 81—1乃至サムネイルデータ 81— nが格納されている。 PLF方式ファイル 101において、サムネイルデータ 81—1乃至サムネイルデータ 81 —nは、順に配置される。 [0086] すなわち、図 7のムービーアトムのトラックアトムの時間サンプルテーブルアトムには

、ムービーデータアトムとしてのサムネイルデータ 81— 1乃至サムネイルデータ 81— nのそれぞれの、再生における時刻が記述される。

[0087] これにより、図 6で示されるように、サムネイルデータ 81— 1乃至サムネイルデータ 8

1— nのそれぞれを、 MPEG2のシステムストリームの 1つの GOPに対応させて、再生 することがでさるよう〖こなる。

[0088] このようにサムネイルデータ 81— 1乃至サムネイルデータ 81— nを PLF方式ファイル

101に格納するようにした場合、ディスク 45に記録されるファイルの数をより少なくす ることがでさる。

[0089] 図 8は、 PLF方式ファイル 101とは別に、サムネイルデータ 81を格納したファイルを 説明する図である。図 8で示されるファイル 111は、 PLF方式ファイル 101から参照さ れる、サムネイルデータ 81— 1乃至サムネイルデータ 81— nを格納するファイルであ る。ファイル 111には、サムネイルデータ 81— 1乃至サムネイルデータ 81— nが順に 配置される。

[0090] この場合、 PLF方式ファイル 101のトラックアトムのメディアインフォメーションアトム（ 図中の minfC示すデータ）には、例えば、ファイル 111の格納場所 (パスおよびフアイ ル名 )など、ファイル 111を参照するための管理情報が格納される。

[0091] これにより、 PLF方式ファイル 101に、ムービーデータアトムとしてサムネイルデータ 81を格納せずに、サムネイルデータ 81を外部の参照される独自の方式のファイル 1 11として記録し、 PLF方式ファイル 101を基に、サムネイルデータ 81を再生すること ができる。この場合においても、 PLF方式ファイル 101〖こは、ファイル 111〖こ格納され て!、るサムネイルデータ 81 1乃至サムネイルデータ 81 nのそれぞれの、再生に おける時刻が記述されるので、図 6で示されるように、サムネイルデータ 81—1乃至サ ムネイルデータ 81— nのそれぞれを、 MPEG2のシステムストリームの 1つの GOPに対 応させて、再生することができる。

[0092] また、 PLF方式のファイル 101によって参照されるファイルとして、静止画像パッケ ージ方式のファイルにサムネイルデータ 81を格納することもできる。

[0093] 図 9は、サムネイルデータ 81を格納する、静止画像パッケージ方式のファイルの例 を説明する図である。静止画像パッケージ方式のファイルである静止画像パッケージ 方式ファイル 121は、 PLF方式のファイル 101と同様のデータ構造であり、図 9におい て、図 7に示す場合と同様のデータには、同様の名前を記載しているので、その説明 は省略する。

[0094] 静止画像パッケージ方式ファイル 121のファイルのプロファイルを記述するデータ には、静止画像パッケージ方式であることを示す値が設定される。

[0095] 静止画像パッケージ方式ファイル 121には、サムネイルデータ 81の管理情報であ る、トラックアトム（図中の trak (vide)で示すデータ）が格納される。静止画像パッケ一 ジ方式ファイル 121は、 PLF方式のファイル 101によって参照されるファイルなので、 静止画像パッケージ方式ファイル 121には、 MPEG2のシステムストリームのトラックァ トムは格内されない。

[0096] 静止画像パッケージ方式ファイル 121におけるトラックアトムは、 PLF方式のファイル 101におけるトラックアトムと同様に記述される。また、静止画像パッケージ方式フアイ ル 121には、ムービーデータアトム（図中の mdatで示すデータ）として、サムネイルデ ータ 81— 1乃至サムネイルデータ 81— nが格納されている。

[0097] さらに、動画像における時間の範囲であるロケーションのそれぞれに、個々に対応 させた複数のメタデータまたは画像データを格納するファイル方式である、ロケーショ ン関係データファイル方式のファイルにサムネイルデータ 81— 1乃至サムネイルデー タ 81—nを格納し、トラックに関係する管理情報を格納するトラック管理ファイル方式 のファイルによって、再生における時刻を記述するようにしてもよい。

[0098] 図 10は、この場合のトラック管理ファイル方式のファイルの例を示す図であり、図 11 は、この場合のロケーション関係データファイル方式のファイルの例を示す図である。

[0099] トラック管理ファイル 131にお!/、てビデオトラックを利用することはできな 、ので、図 10で示されるように、トラック管理ファイル 131における最初のトラックアトム（図中の tr ak (タイムロケーションデータ）で示すデータ）は、図 11で示されるロケーション関係デ 一タファイル 141の管理情報とされ、トラック管理ファイル 131における次のトラックァ トム（図中の trak (MPEG2プログラムストリーム）で示すデータ）は、動画像データおよ び音声データが多重化されている MPEG2のシステムストリームの管理情報とされる。 [0100] ロケーション関係データファイル 141に対するトラックアトムにおいて、サンプルは、 ロケーション関係データファイル 141格納されている、複数のロケーションに対するデ ータのそれぞれである。すなわち、ロケーション関係データファイル 141に対するトラ ックアトムにおける、メディア情報アトム（図中の minfC示すデータ）には、ロケーション 関係データファイル 141における複数のロケーションに対する各データに関する情報 が格納される。ロケーション関係データファイル 141に対するトラックアトムにおける、 メディア情報アトムのサンプルテーブルアトムにおける時間サンプルアトム（図中の stt sで示すデータ）には、サンプルである、ロケーション関係データファイル 141における 複数のロケーションに対するデータのそれぞれと再生における時刻との関係が記述 される。

[0101] 図 11で示されるように、ロケーション関係データファイル 141には、ロケーション毎 にデータが格納される。

[0102] ここで、ロケーションとは、図 12で示されるように、動画像における時間の範囲であり 、複数のロケーションのそれぞれは、他のロケーションと重複することなぐまた、隙間 があくことなぐ順に連続するように配置される。すなわち、ロケーションを順に指定す ることによって、経過する時間の範囲を順に指定することができる。

[0103] トラック管理ファイル 131およびロケーション関係データファイル 141を利用する場 合、 1つのロケーションに、 1つのサムネイル（サムネイルデータ 81)が対応付けられる

[0104] 例えば、図 12で示されるように、最初のロケーション 1には、サムネイル 1 (例えば、 サムネイルデータ 81— 1)が対応付けられ、ロケーション 1の次のロケーション 2には、 サムネイル 2 (例えば、サムネイルデータ 81— 2)が対応付けられ、ロケーション 2の次 のロケーション 3には、サムネイル 3 (例えば、サムネイルデータ 81— 3)が対応付けら れ、同様に、 n番目のロケーション nには、サムネイル n (例えば、サムネイルデータ 81 —n)が対応付けられる。

[0105] 図 11で示されるように、ロケーション関係データファイル 141において、それぞれの ロケーションに対するデータとして、データの順番を示すデータ番号および単位メタ データ (メタデータユニット）が配置されている。単位メタデータには、単位メタデータ のデータ量、記述に利用される言語、メタデータの符号化方式、メタデータのタイプを 識別するデータタイプ識別番号、メタデータとしてのサムネイルデータ 81、およびサ ムネイルデータ 81以外のデータが順に配置される。なお、サムネイルデータ 81の次 に配置される、サムネイルデータ 81以外のデータは、単位メタデータに格納しても、 格納しなくともよい。

[0106] 従って、トラック管理ファイル方式のトラック管理ファイル 131のトラックアトムのメディ ァアトム（図 10中の mdiaで示すデータ）に、例えば、ロケーション関係データファイル 141の格納場所 (パスおよびファイル名）など、ロケーション関係データファイル 141 を参照するための管理情報を格納するようにし、サンプルテーブルアトム（図 10中の s tblで示すデータ）に、ロケーション関係データファイル 141における、ロケーションに 対するデータのそれぞれにつ 、ての情報（例えば、データの番号およびデータの番 号と再生における時刻との関係を示す情報など）を配置するようにすれば、サムネィ ルデータ 81— 1乃至サムネイルデータ 81— nのそれぞれを、ロケーションに対応させ て再生することができるようになる。

[0107] ロケーションを MPEG2のシステムストリームの GOPのそれぞれが再生される時間と すれば、図 6で示されるように、サムネイルデータ 81— 1乃至サムネイルデータ 81— nのそれぞれを、 MPEG2のシステムストリームの 1つの GOPに対応させて、再生するこ とがでさる。

[0108] なお、ロケーション関係データファイル方式のファイルにサムネイルデータ 81を格 納しないで、ロケーション関係データファイル方式のファイルから、外部のファイルに 格納されたサムネイルデータ 81をさらに参照するようにしてもよ!、。

[0109] 図 13は、サムネイルデータ 81を格納しないで、外部のファイルに格納されたサムネ ィルデータ 81をさらに参照するロケーション関係データファイル 151、およびサムネィ ルデータ 81を格納した参照されるファイル 111の例を示す図である。

[0110] ロケーション関係データファイル 151において、それぞれのロケーションに対するデ ータとして、データ番号および単位メタデータ (メタデータユニット）が配置されている 。単位メタデータには、単位メタデータのデータ量、記述に利用される言語、メタデー タの符号化方式、メタデータのタイプを識別するデータタイプ識別番号、メタデータが 順に配置される。ロケーション関係データファイル 151のメタデータは、ファイル 111 のファイル名（パスを含む）、ファイル 111におけるサムネイルデータ 81のそれぞれの オフセット、およびファイル 111におけるサムネイルデータ 81のそれぞれのデータサ ィズからなる。

[0111] メタデータにおけるオフセットは、ファイル 111の先頭から、そのメタデータで参照さ れるサムネイルデータ 81の先頭までのデータ量を示す。メタデータにおけるデータサ ィズは、そのメタデータで参照されるサムネイルデータ 81のデータ量を示す。

[0112] 次に、ディスク 45に記録される MPEG2のシステムストリームおよびサムネイルデータ 81の、ディスク 45上の配置について説明する。

[0113] MPEG2のシステムストリームの動画像の再生における予め定めた時間を単位として 、ディスク 45上の連続する領域に MPEG2のシステムストリームが記録される。

[0114] 図 14のストリームユニット 161— 1乃至ストリームユニット 161— 6は、動画像の再生 における予め定めた 10秒乃至 20秒の時間の MPEG2のシステムストリームの記録単 位である。 MPEG2のシステムストリームは、動画像の再生における予め定めた時間ご とに、 1つの記録単位（例えば、ストリームユニット 161— 1乃至ストリームユニット 161 —6のいずれ力）とされ、ディスク 45に記録される。ストリームユニット 161— 1乃至スト リームユニット 161— 6は、動画像の再生における予め定めた時間に分割された動画 像のデータであるとも言える。

[0115] 以下、ストリームユニット 161— 1乃至ストリームユニット 161— 6を個々に区別する 必要がないとき、単にストリームユニット 161と称する。

[0116] なお、ストリームユニット 161は、ディスク 45において、 1つの連続した領域に記録さ れる。

[0117] 図 14で示されるように、ストリームユニット 161に連続する領域であるサムネイルデ ータ記録領域 162— 1およびサムネイルデータ記録領域 162— 2にサムネイルデー タ 81が記録される。例えば、サムネイルデータ記録領域 162—1およびサムネイルデ ータ記録領域 162— 2は、ディスク 45の物理アドレスにおいて、ストリームユニット 161 の前側に、ストリームユニット 161に隣接して設けられる。

[0118] このようにすることで、サムネイルデータ 81を読み出してから、ストリームユニット 161 を読み出す場合、サムネイルデータ 81を読み出した後に、シーク時間やディスク回 転待ち時間を必要とせずに、即座に、ストリームユニット 161を読み出すことができる 。サムネイルデータ 81を記録する場合のシークの回数または回転待ちの回数を、サ ムネイルデータ 81を記録しな 、場合のシークの回数または回転待ちの回数と同じと することができ、この方式は、ディスク 45がアクセス時間（シークまたは回転待ちの時 間）の比較的長 、光ディスクなどである場合に適した記録方式であると言える。

[0119] 以下、サムネイルデータ記録領域 162— 1およびサムネイルデータ記録領域 162 —2を個々に区別する必要がないとき、単に、サムネイルデータ記録領域 162と称す る。

[0120] 図 15は、ストリームユニット 161にサムネイルデータ 81を隣接して記録する場合の、 ディスク 45への記録の処理を説明する図である。

[0121] バッファメモリ 43には、 MPEG2のシステムストリームを記憶するバッファおよびサム ネイルデータ 81を記憶するバッファが個々に設けられる。例えば、ノッファメモリ 43に おける 2つのバッファは、ハードウェアとして個々に設けるようにしてもよいが、 1つの ハードウェアとしてのバッファメモリ 43上のアドレスを基に、所定のアドレスで領域を 2 つに分割することにより論理的に設けるようにしてもょ 、。

[0122] 図 15の上側は、バッファリングされている、 MPEG2のシステムストリームのデータ量 の時間に対する変化を示し、図 15の下側は、ノ ッファリングされている、サムネイル データ 81のデータ量の時間に対する変化を示す。図 15の縦方向は、データ量を示 し、図 15の横方向は、時間を示す。

[0123] 記録を開始してから所定の時間が経過し、時刻 tlになったとき、ノ ッファリングされ ている、 MPEG2のシステムストリームのデータ量力 システムストリーム記録開始閾値 以上となったので、バッファリングされている、 MPEG2のシステムストリームのディスク 45へのストリームユニット 161— 1としての記録が開始される。時刻 t2において、ストリ ームユニット 161—1の最後まで MPEG2のシステムストリームが記録されたので、時 刻 t2から時刻 t3の期間において、シークする力またはディスクの回転を待機し、時刻 t 3において、次のストリームユニット 161— 2への、バッファリングされている、 MPEG2 のシステムストリームの記録が開始される。 [0124] ストリームユニット 161— 2に MPEG2のシステムストリームが記録されている期間の 最中である、時刻 t4において、ノッファリングされている、サムネイルデータ 81のデー タ量が、サムネイルデータ記録開始閾値以上となったとする。記録装置は、 MPEG2 のシステムストリームをディスク 45に記録している間、サムネイルデータ 81のデータ量 を監視しない。

[0125] 時刻 t5において、ストリームユニット 161— 2の最後まで MPEG2のシステムストリーム が記録されたので、時刻 t5において、記録装置は、ノッファリングされている、サムネ ィルデータ 81のデータ量力 サムネイルデータ記録開始閾値以上となった力否かを 判定する。

[0126] 時刻 t5において、サムネイルデータ 81のデータ量力 サムネイルデータ記録開始 閾値以上となっているので、判定の結果を基に、時刻 t5から時刻 t6の期間において、 シークされるかまたはディスクの回転が待機され、時刻 t6において、サムネイルデータ 記録領域 162— 1への、ノ ッファリングされているサムネイルデータ 81の記録が開始 される。

[0127] なお、図 5を参照して説明したように、サムネイルデータ 81は、 1つのクラスタに、 EC Cによりエラー訂正される単位として、ディスク 45に記録される。この場合、サムネイル データ 81が、 12キロバイト未満であるとき、 12キロバイト未満であるサムネイルデータ 81には、 12キロバイトとなるように任意にデータ列が付加される。

[0128] サムネイルデータ記録領域 162— 1は、 1または複数のクラスタ力もなる、連続した 領域であり、サムネイルデータ記録領域 162— 1には、 1または複数のサムネイルデ ータ 81が記録される。

[0129] 時刻 t7において、サムネイルデータ記録領域 162— 1へのサムネイルデータ 81の 記録が終了したので、サムネイルデータ記録領域 162— 1に続くストリームユニット 16 1—3への、バッファリングされている、 MPEG2のシステムストリームの記録が開始され る。

[0130] 時刻 t8において、ストリームユニット 161— 3の最後まで MPEG2のシステムストリーム が記録されたので、時刻 t8から時刻 t9の期間において、シークする力またはディスク の回転を待機し、時刻 t9において、次のストリームユニット 161— 4への、バッファリン グされている、 MPEG2のシステムストリームの記録が開始される。

[0131] 時刻 tlOにおいて、バッファリングされている、 MPEG2のシステムストリームのデータ 量が 1クラスタ以下になったので、ストリームユニット 161— 4への MPEG2のシステムス トリームの記録が中断され、ノ ッファに MPEG2のシステムストリームがたまるまで待機 される。

[0132] ストリームユニット 161— 4への MPEG2のシステムストリームの記録が中断されてい る期間の最中である、時刻 tilにおいて、ノッファリングされている、サムネイルデータ 81のデータ量力 サムネイルデータ記録開始閾値以上となったとする。記録装置は 、 MPEG2のシステムストリームの記録を中断している間、サムネイルデータ 81のデー タ量を監視しない。

[0133] 時刻 tl2になったとき、バッファリングされている、 MPEG2のシステムストリームのデ ータ量が、システムストリーム記録開始閾値以上となったので、記録が中断されてい たストリームユニット 161— 4への、バッファリングされている、 MPEG2のシステムストリ ームの記録が再開される。

[0134] 時刻 tl3において、ストリームユニット 161— 4の最後まで MPEG2のシステムストリー ムが記録されたとき、記録装置は、ノ ッファリングされている、サムネイルデータ 81の データ量力 サムネイルデータ記録開始閾値以上となった力否かを判定する。

[0135] 時刻 tl3において、サムネイルデータ 81のデータ量力 サムネイルデータ記録開始 閾値以上となっているので、判定の結果を基に、時刻 tl3から時刻 tl4の期間におい て、シークされる力またはディスクの回転が待機され、時刻 tl4において、サムネイル データ記録領域 162— 2への、バッファリングされているサムネイルデータ 81の記録 が開始される。

[0136] 時刻 tl5において、サムネイルデータ記録領域 162— 2へのサムネイルデータ 81の 記録が終了したので、サムネイルデータ記録領域 162— 2に続くストリームユニット 16 1—5への、バッファリングされている、 MPEG2のシステムストリームの記録が開始され る。

[0137] サムネイルデータ記録領域 162— 2にサムネイルデータ 81を記録する場合、サムネ ィルデータ記録領域 162— 1の場合と同様に、 12キロバイト未満であるサムネイルデ ータ 81には、 12キロノくイトとなるように任意にデータ列がパデイングされて、サムネィ ルデータ 81のそれぞれが 1つのクラスタに記録される。サムネイルデータ記録領域 1 62— 2は、 1または複数のクラスタ力もなる、連続した領域であり、サムネイルデータ 記録領域 162— 2には、 1または複数のサムネイルデータ 81が記録される。

[0138] 時刻 tl6において、ストリームユニット 161— 5の最後まで MPEG2のシステムストリー ムが記録されたので、時刻 tl6から時刻 tl7の期間において、シークする力またはディ スクの回転を待機し、時刻 tl7において、次のストリームユニット 161— 6への、バッフ ァリングされている、 MPEG2のシステムストリームの記録が開始される。

[0139] ストリームユニット 161と離れた位置に、サムネイルデータ記録領域 162同士を隣接 して記録することちでさる。

[0140] 図 16は、隣接して記録されているサムネイルデータ記録領域 162の例を示す図で ある。サムネイルデータ記録領域 162— 1乃至サムネイルデータ記録領域 162— 4は 、ストリームユニット 161— 1乃至ストリームユニット 161— (n+ 1)とは離れた位置に、 相互に隣接して設けられる。

[0141] このようにすることで、多数のサムネイルデータ 81をディスク 45から読み出す場合 であっても、シーク時間やディスク回転待ち時間を必要とせずに、即座に、ディスク 4 5から多数のサムネイルデータ 81を読み出すことができる。サムネイルデータ 81を記 録する場合のシークの回数または回転待ちの回数が、サムネイルデータ 81を記録し ない場合のシークの回数または回転待ちの回数に比較して増加する力 サムネイル データ 81を読み出す場合には、複数のサムネイルデータ記録領域 162を連続して 読み出すことができるので、ディスク 45がアクセス時間（シークまたは回転待ちの時 間）の比較的短 、ノ、ードディスクなどである場合に適した記録方式であると言える。

[0142] 図 17は、ストリームユニット 161とは離れた位置に、サムネイルデータ 81をまとめて 記録する場合の、ディスク 45への記録の処理を説明する図である。この場合におい ても、バッファメモリ 43には、 MPEG2のシステムストリームを記憶するバッファおよび サムネイルデータ 81を記憶するバッファが個々に設けられる。

[0143] 図 17の上側は、バッファリングされている、 MPEG2のシステムストリームのデータ量 の時間に対する変化を示し、図 15の下側は、ノ ッファリングされている、サムネイル データ 81のデータ量の時間に対する変化を示す。図 17の縦方向は、データ量を示 し、図 17の横方向は、時間を示す。

[0144] 記録を開始してから所定の時間が経過し、時刻 t31になったとき、ノ ッファリングされ ている、 MPEG2のシステムストリームのデータ量力 システムストリーム記録開始閾値 以上となったので、バッファリングされている、 MPEG2のシステムストリームのディスク 45へのストリームユニット 161— 1としての記録が開始される。時刻 t32において、スト リームユニット 161— 1の最後まで MPEG2のシステムストリームが記録されたので、時 刻 t32から時刻 t33の期間において、シークする力またはディスクの回転を待機し、時 刻 t33において、次のストリームユニット 161— 2への、バッファリングされている、 MPE G2のシステムストリームの記録が開始される。

[0145] ストリームユニット 161— 2に MPEG2のシステムストリームが記録されている期間の 最中である、時刻 t34において、ノッファリングされている、サムネイルデータ 81のデ ータ量が、サムネイルデータ記録開始閾値以上となったとする。記録装置は、 MPEG 2のシステムストリームをディスク 45に記録している間、サムネイルデータ 81のデータ 量を監視しない。

[0146] 時刻 t35において、ストリームユニット 161— 2の最後まで MPEG2のシステムストリー ムが記録されたので、時刻 t35において、記録装置は、バッファリングされている、サ ムネイルデータ 81のデータ量力 サムネイルデータ記録開始閾値以上となった力否 かを判定する。

[0147] 時刻 t35において、サムネイルデータ 81のデータ量力 サムネイルデータ記録開始 閾値以上となっているので、判定の結果を基に、時刻 t35から時刻 t36の期間におい て、シークされ、時刻 t36において、サムネイルデータ記録領域 162— 1への、バッフ ァリングされているサムネイルデータ 81の記録が開始される。

[0148] なお、この場合も、図 5を参照して説明したように、サムネイルデータ 81は、 1つのク ラスタに、 ECCによりエラー訂正される単位として、ディスク 45に記録され、クラスタが パデイングされる。サムネイルデータ記録領域 162— 1は、 1または複数のクラスタか らなる、連続した領域であり、サムネイルデータ記録領域 162— 1には、 1または複数 のサムネイルデータ 81が記録される。 [0149] 時刻 t37において、サムネイルデータ記録領域 162— 1へのサムネイルデータ 81の 記録が終了したので、時刻 t37から時刻 t38の期間において、シークされ、時刻 t38に お！、て、サムネイルデータ記録領域 162— 1と離れた位置のストリームユニット 161 - 3への、バッファリングされている、 MPEG2のシステムストリームの記録が開始される。

[0150] 時刻 t39において、ストリームユニット 161— 3の最後まで MPEG2のシステムストリー ムが記録されたので、時刻 t39から時刻 t40の期間において、シークする力またはディ スクの回転を待機し、時刻 t40において、次のストリームユニット 161— 4への、バッフ ァリングされている、 MPEG2のシステムストリームの記録が開始される。

[0151] 時刻 t41において、バッファリングされている、 MPEG2のシステムストリームのデータ 量が 1クラスタ以下になったので、ストリームユニット 161— 4への MPEG2のシステムス トリームの記録が中断され、ノ ッファに MPEG2のシステムストリームがたまるまで待機 される。

[0152] ストリームユニット 161— 4への MPEG2のシステムストリームの記録が中断されてい る期間の最中である、時刻 t42において、ノッファリングされている、サムネイルデータ 81のデータ量力 サムネイルデータ記録開始閾値以上となったとする。記録装置は 、 MPEG2のシステムストリームの記録を中断している間、サムネイルデータ 81のデー タ量を監視しない。

[0153] 時刻 t43になったとき、バッファリングされている、 MPEG2のシステムストリームのデ ータ量が、システムストリーム記録開始閾値以上となったので、記録が中断されてい たストリームユニット 161— 4への、バッファリングされている、 MPEG2のシステムストリ ームの記録が再開される。

[0154] 時刻 t44において、ストリームユニット 161— 4の最後まで MPEG2のシステムストリー ムが記録されたとき、記録装置は、ノ ッファリングされている、サムネイルデータ 81の データ量力 サムネイルデータ記録開始閾値以上となった力否かを判定する。

[0155] 時刻 t44において、サムネイルデータ 81のデータ量力 サムネイルデータ記録開始 閾値以上となっているので、判定の結果を基に、時刻 t44から時刻 t45の期間におい てシークされ、時刻 t45において、サムネイルデータ記録領域 162— 2への、バッファ リングされているサムネイルデータ 81の記録が開始される。 [0156] 時刻 t46において、サムネイルデータ記録領域 162— 2へのサムネイルデータ 81の 記録が終了したので、時刻 t46から時刻 t47の期間においてシークされ、時刻 t47にお V、て、サムネイルデータ記録領域 162— 2と離れた位置のストリームユニット 161— 5 への、バッファリングされている、 MPEG2のシステムストリームの記録が開始される。

[0157] 時刻 t48において、ストリームユニット 161— 5の最後まで MPEG2のシステムストリー ムが記録されたので、時刻 t48から時刻 t49の期間において、シークする力またはディ スクの回転を待機し、時刻 t49において、次のストリームユニット 161— 6への、バッフ ァリングされている、 MPEG2のシステムストリームの記録が開始される。

[0158] 次に、フローチャートを参照して、記録装置による処理を説明する。

[0159] 図 18は、記録装置によるデータの変換の処理を説明するフローチャートである。ス テツプ S51〖こおいて、動画像圧縮部 38は、 MPEG2方式によって、取得した動画像を 圧縮する。ステップ S52において、音声圧縮部 42は、 AC3方式によって、取得した音 声を圧縮する。

[0160] ステップ S53において、画素数変換部 40の抽出部 51は、ノ ッファメモリ 35に記憶 されている動画像データから、動画像圧縮部 38において圧縮される動画像の 1つの GOPから 1つのピクチャ（フレーム）を抽出する。例えば、動画像圧縮部 38において、 GOPを構成するピクチャ（フレーム）の数が予め定まって 、る場合、その数のピクチャ (フレーム）毎に 1つのピクチャ（フレーム）を抽出する。また、例えば、抽出部 51は、 動画像圧縮部 38からの GOPの境界を示す信号を基に、動画像の 1つの GOPから 1 つのピクチャ（フレーム）を抽出するようにしてもょ 、。

[0161] ステップ S54において、画素数変換部 40は、抽出したフレームの画素数を変換す る。例えば、ステップ S54において、画素数変換部 40は、抽出したフレームの画素の うち、フレームの対して所定の位置の画素を間引くことにより、フレームの画素数を変 換する。より具体的には、ステップ S54において、画素数変換部 40は、抽出したフレ ームの画素のうち、縦 2 X横 2の相互に隣接する 4つの画素の画素値の平均値を算 出して、算出した平均値を 4つの画素に代わる 1つの画素に設定して、 4つの画素か ら 3つの画素を間引くことにより、フレームの画素数を変換する。

[0162] なお、ステップ S54において、画素数変換部 40は、任意の数の画素数からなるフレ ームに変換することができ、変換されたフレームの画素数そのものは、本発明を限定 するものではない。

[0163] ステップ S55において、静止画像圧縮部 41は、画素数を変換したフレームを、 JPE G方式により静止画像として圧縮して、サムネイルデータを生成する。静止画像圧縮 部 41は、生成したサムネイルデータをバッファメモリ 43に記憶させる。

[0164] ステップ S56において、マイクロコンピュータ 31は、圧縮して得られたサムネイルデ ータのファイル方式を整える。例えば、ステップ S56において、マイクロコンピュータ 3 1は、圧縮して得られたサムネイルデータのファイル方式を、 PLF方式、 PLF方式のフ アイル 101から参照されるファイル方式、静止画像パッケージ方式、またはトラック管 理ファイル 131から参照されるロケーション関係データファイル 141とすることができる

[0165] なお、サムネイルデータが他のファイル力 参照されるファイル方式とされた場合に は、マイクロコンピュータ 31は、サムネイルデータを参照するファイルを生成し、生成 したファイルもサムネイルデータとして、ディスク 45に記録される。

[0166] なお、ステップ S51乃至ステップ S55の処理は、動画像圧縮部 38乃至音声圧縮部 42および抽出部 51により実行されると説明した力 制御プログラムを実行するマイク 口コンピュータ 31が、ステップ S51乃至ステップ S55の処理を実行するようにしてもよ い。

[0167] 図 19は、制御プログラムを実行するマイクロコンピュータ 31による、データの記録の 処理を説明するフローチャートである。ステップ S71において、制御プログラムは、バ ッファメモリ 43から記憶して!/、る MPEG2システムストリームのデータ量を取得して、ノ ッファメモリ 43に記憶されている MPEG2システムストリームのデータ量力 予め定めた システムストリーム記録開始閾値以上になった力否かを判定する。

[0168] ステップ S71において、バッファメモリ 43に記憶されている MPEG2システムストリー ムのデータ量がシステムストリーム記録開始閾値以上になっていないと判定された場 合、手続きは、ステップ S71〖こ戻り、 MPEG2システムストリームのデータ量がシステム ストリーム記録開始閾値以上になるまで、判定の処理を繰り返す。

[0169] ステップ S71において、バッファメモリ 43に記憶されている MPEG2システムストリー ムのデータ量がシステムストリーム記録開始閾値以上になったと判定された場合、ス テツプ S72に進み、制御プログラムは、ドライブ 44に、ノ ッファメモリ 43に記憶されて いる MPEG2システムストリームを 1クラスタ分ディスク 45に記録させる。

[0170] ステップ S73において、制御プログラムは、ストリームユニットの終端まで MPEG2シ ステムストリームを記録したか否かを判定し、ストリームユニットの終端まで MPEG2シ ステムストリームを記録していないと判定された場合、ステップ S74に進む。ステップ S 74において、制御プログラムは、バッファメモリ 43に記憶されている MPEG2システム ストリームのデータ量が、 1クラスタ未満になった力否かを判定する。

[0171] ステップ S74において、バッファメモリ 43に記憶されている MPEG2システムストリー ムのデータ量力 1クラスタ未満になっていないと判定された場合、さらにそのストリー ムユニットに MPEG2システムストリームを記録することができるので、ステップ S72に 戻り、クラスタへの MPEG2システムストリームの記録の処理を繰り返す。

[0172] ステップ S72乃至ステップ S74の処理が繰り返されることにより、ストリームユニットの 終端まで MPEG2システムストリームが記録されることになる。

[0173] ステップ S74において、バッファメモリ 43に記憶されている MPEG2システムストリー ムのデータ量力 1クラスタ未満になったと判定された場合、さらにそのストリームュ- ットに MPEG2システムストリームを記録することができないので、ノ ッファメモリ 43に M PEG2システムストリームがたまるまで待機するために、ステップ S71〖こ戻り、上述した 処理を繰り返す。

[0174] なお、ストリームユニットの途中まで MPEG2システムストリームが記録されて、ステツ プ S74の判定のよって、手続きがステップ S71に戻った場合、次に実行されるステツ プ S72の処理においては、途中まで MPEG2システムストリームが記録されたストリー ムユニットに続 、て、 MPEG2システムストリームが記録される。

[0175] 一方、ステップ S73において、ストリームユニットの終端まで MPEG2システムストリー ムを記録したと判定された場合、ステップ S 75に進み、制御プログラムは、サムネイル データのデータ量が、予め定めたサムネイルデータ記録開始閾値以上になったか否 かを判定する。ステップ S75において、サムネイルデータのデータ量がサムネイルデ ータ記録開始閾値以上になったと判定された場合、ステップ S76に進み、制御プロ グラムは、 1つのサムネイルデータ力 ECCによりエラー訂正される単位のデータ量と 同じ、例えば 12キロバイトとなるように、サムネイルデータにパディングする。

[0176] ステップ S77において、制御プログラムは、ドライブ 44に、パディングされた 1つのサ ムネイルデータをディスク 45の 1つのクラスタに記録させる。

[0177] ステップ S78において、制御プログラムは、バッファメモリ 43に記憶されているサム ネイルデータがなくなった力否かを判定し、ノ ッファメモリ 43に記憶されて 、るサムネ ィルデータがなくなって ヽな ヽと判定された場合、さらにサムネイルデータを連続して V、る領域であるサムネイルデータ記録領域 162に記録させるために、ステップ S76に 戻り、サムネイルデータの記録の処理を繰り返す。

[0178] ステップ S78において、バッファメモリ 43に記憶されているサムネイルデータがなく なったと判定された場合、サムネイルデータを記録することはできないので、ステップ S74に進み、ディスク 45に記録できる MPEG2システムストリームがバッファメモリ 43に 記憶されて 、る力否かの判定の処理が実行され、上述した処理が繰り返される。

[0179] ステップ S75において、サムネイルデータのデータ量がサムネイルデータ記録開始 閾値以上になって ヽな ヽと判定された場合、サムネイルデータをディスク 45に記録さ せる必要はないので、ステップ S74に進み、ディスク 45に記録できる MPEG2システム ストリームがバッファメモリ 43に記憶されている力否かの判定の処理が実行され、上 述した処理が繰り返される。

[0180] 以上のように、記録装置によって、ディスク 45に、動画像の符号ィ匕の単位であって 、複数のフレーム (ピクチャ)力もなる単位力も抽出されたフレームに対応するサムネ ィルデータが、抽出された単位に関係付けて記録される。

[0181] 次に、動画像の符号化の単位であって、複数のフレーム（ピクチャ）力もなる単位か ら抽出されたフレームに対応するサムネイルデータ力 抽出された単位に関係付け て記録されているディスク 45から、サムネイルデータを読み出す再生装置について 説明する。

[0182] ディスク 45からサムネイルデータを読み出す再生装置は、図 3を参照して構成を説 明した記録装置に対応する機能を含む記録再生装置として実現することができる。

[0183] 図 20は、図 3を参照して構成を説明した記録装置に対応する機能を含む、本発明 に係る記録再生装置における再生ブロックの一実施の形態の構成を示すブロック図 である。図 3に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省 略する。

[0184] マイクロコンピュータ 31は、所定の制御プログラムを実行して、ユーザの操作に応じ た再生開始停止ボタン 201からの信号を基に、記録再生装置における再生ブロック の各部に動作を指示する。

[0185] ドライブ 44は、マイクロコンピュータ 31の制御の基に、装着されたディスク 45から、 MPEG2システムストリームおよびサムネイルデータを読み出す。ドライブ 44は、読み 出した MPEG2システムストリームおよびサムネイルデータをバッファメモリ 43に記憶さ せる。

[0186] デマルチプレクサ 202は、バッファメモリ 43に記憶されている MPEG2システムストリ ームにおいて多重化されている動画像データと音声データとを分離して、分離した動 画像データを動画像伸張部 203に供給すると共に、分離した音声データを音声伸張 部 205に供給する。

[0187] 動画像伸張部 203は、マイクロコンピュータ 31の制御の基に、デマルチプレクサ 20 2から供給された、動画像データを圧縮符号化する所定の方式で圧縮符号化されて いる動画像データを復号することにより、伸張して、復号した動画像データをバッファ メモリ 35に供給する。例えば、動画像伸張部 203は、 MPEG2方式により圧縮符号ィ匕 されている動画像データを復号し、復号した動画像データ (いわゆる、ベースバンド 動画像データ）をバッファメモリ 35に供給する。

[0188] 静止画像伸張部 204は、マイクロコンピュータ 31の制御の基に、サムネイルデータ を記憶して 、るバッファメモリ 43からサムネイルデータを取得して、静止画像データを 圧縮符号化する所定の方式で圧縮符号化されているサムネイルデータを復号するこ とにより、伸張して、復号したサムネイルデータをバッファメモリ 35に供給する。例え ば、静止画像伸張部 204は、 JPEG方式により圧縮符号ィ匕されているサムネイルデー タを復号して、復号したサムネイルデータをバッファメモリ 35に供給する。

[0189] 音声伸張部 205は、マイクロコンピュータ 31の制御の基に、デマルチプレクサ 202 カゝら供給された、音声データを圧縮符号化する所定の方式で圧縮符号化されて ヽる 音声データを復号することにより、伸張して、復号した音声データをバッファメモリ 35 に供給する。例えば、音声伸張部 205は、 AC3方式により圧縮符号ィ匕されている音 声データを復号し、復号した音声データをバッファメモリ 35に供給する。

[0190] 画像出力インターフェース 206は、バッファメモリ 35と表示部 207とのインターフエ ースであり、例えば、ノ ッファメモリ 35から供給された画像データをパラレルシリアル 変換するなど、画像データを表示部 207が利用することができる所定の方式の画像 データ (画像信号）に変換して、その画像データを表示部 207に供給する。画像出力 インターフェース 206は、表示部 207における画像の表示を制御する。

[0191] 表示部 207は、液晶表示装置または有機 EL (Electro Luminescence)表示装置など 力もなり、画像出力インターフェース 206を介して供給された画像データに基づいて 、動画像および静止画像を表示する。

[0192] 音声出力インターフェース 208は、バッファメモリ 35と音声出力部 209とのインター フェースであり、例えば、ノ ッファメモリ 35から供給された音声データをパラレルシリア ル変換する力、またはデジタルアナログ変換するなど、音声データを音声出力部 20 9が利用することができる所定の方式の音声データ (音声信号）に変換して、その音 声データ (音声信号)を音声出力部 209に供給する。

[0193] 音声出力部 209は、オーディオ増幅器またはラウドスピーカなど力 なり、音声出力 インターフェース 208を介して供給された音声データ (音声信号）に基づいて、音声 を出力する。

[0194] 図 21は、制御プログラムを実行するマイクロコンピュータ 31、静止画像伸張部 204 、および表示部 207による、編集ポイントの検索表示の処理を説明するフローチヤ一 トである。

[0195] ステップ S101において、制御プログラムは、ドライブ 44にディスク 45から管理情報 ファイルを読み出させる。例えば、ステップ S101において、制御プログラムは、ドライ ブ 44に、ディスク 45力ら、外部のファイルに格納されるサムネイルデータ 81を参照す る PLF方式ファイル 101、または図 10の管理情報ファイルであるトラック管理ファイル 131を読み出させる。ドライブ 44は、読み出した管理情報ファイルをバッファメモリ 43 に記憶させる。 [0196] ステップ S102において、制御プログラムは、ノ ッファメモリ 43から取得した管理情 報ファイルを基に、ドライブ 44に、ディスク 45から最初のサムネイルデータ 81から順 にバッファメモリ 43に記憶できるデータ量のサムネイルデータ 81を読み出させる。

[0197] ステップ S103において、制御プログラムは、ドライブ 44に、読み出したサムネイル データ 81をバッファメモリ 43に記憶させる。ステップ S104において、静止画像伸張 部 204は、サムネイルデータ 81を記憶しているバッファメモリ 43からサムネイルデー タ 81を取得して、取得したサムネイルデータ 81を伸張する。例えば、静止画像伸張 部 204は、 JPEG方式で圧縮符号ィ匕されているサムネイルデータ 81を復号することに より、伸張する。

[0198] ステップ S105において、静止画像伸張部 204は、伸張したサムネイルデータ 81を バッファメモリ 35に記憶させる。ステップ S106において、画像出力インターフェース 2 06は、バッファメモリ 35から取得したサムネイルデータ 81を基に、表示部 207に画像 を表示させるように、表示部 207における画像の表示を制御する。

[0199] ステップ S107において、制御プログラムは、ユーザの操作に応じた再生開始停止 ボタン 201からの信号を基に、次のポイントへの移動が指示された力否かを判定する 。ステップ S107において、次のポイントへの移動が指示されていないと判定された場 合、画像の表示が継続されたまま、ステップ S107に戻り、判定の処理が繰り返される

[0200] ステップ S107において、次のポイントへの移動が指示されたと判定された場合、ス テツプ S108に進み、制御プログラムは、読み出された管理情報ファイルを基に、指 示されたポイントの GOPに対応するサムネイルデータ 81を特定する。

[0201] ステップ S 109において、制御プログラムは、特定されたサムネイルデータ 81がバッ ファメモリ 43に記憶されているか否かを判定する。ステップ S 109において、特定され たサムネイルデータ 81がバッファメモリ 43に記憶されて ヽな 、と判定された場合、ス テツプ S110に進み、制御プログラムは、ノ ッファメモリ 43から取得した管理情報ファ ィルを基に、ドライブ 44に、ディスク 45から特定されたサムネイルデータ 81から順に ノ ッファメモリ 43に記憶できるデータ量のサムネイルデータ 81を読み出させる。

[0202] ステップ S110において、制御プログラムは、ドライブ 44に、ディスク 45の 1つのサム ネイルデータ記録領域 162から、複数のサムネイルデータ 81を 1回の処理でまとめて 読み出させることができる。

[0203] なお、図 5を参照して説明したように、任意のデータ列の付カ卩により 12キロバイトとさ れたサムネイルデータ 81は、 1つのクラスタに、 ECCによりエラー訂正される単位とし て、ディスク 45に記録されているので、制御プログラムは、次に読み出そうとするサム ネイルデータ 81が記録されて 、るクラスタの物理アドレスを簡単な演算で算出するこ とができる。これにより、より迅速に、サムネイルデータ 81を読み出すことができるよう になる。

[0204] ステップ SI 11にお!/、て、制御プログラムは、ドライブ 44に、読み出したサムネイル データ 81をバッファメモリ 43に記憶させ、手続きは、ステップ S112に進む。

[0205] ステップ S 109にお!/、て、特定されたサムネイルデータ 81がバッファメモリ 43に記憶 されていると判定された場合、ディスク 45からサムネイルデータ 81を読み出す必要は ないので、ステップ S110およびステップ S111の処理はスキップされて、手続きは、ス テツプ S 112に進む。

[0206] ステップ S112において、静止画像伸張部 204は、サムネイルデータ 81を記憶して V、るバッファメモリ 43からサムネイルデータ 81を取得して、取得したサムネイルデータ 81を伸張する。例えば、静止画像伸張部 204は、 JPEG方式で圧縮符号化されてい るサムネイルデータ 81を復号することにより、伸張する。

[0207] ステップ S113において、静止画像伸張部 204は、伸張したサムネイルデータ 81を ノ ッファメモリ 35に記憶させる。ステップ S114において、表示部 207は、画像出カイ ンターフェース 206を介してバッファメモリ 35から取得したサムネイルデータ 81を基 に、画像を表示させる。

[0208] 手続きは、ステップ S107〖こ戻り、ユーザからの指示に応じて、ディスク 45から指示 されたポイントの GOPに対応するサムネイルデータ 81が読み出されて、復号されて、 画像を表示する処理が繰り返される。

[0209] 以上のように、ディスク 45からサムネイルデータ 81だけを読み出すようにした場合、 より迅速に所望のサムネイルを表示させることができる。また、ディスク 45から MPEG2 システムストリームと共にサムネイルデータ 81を読み出すようにすることができる。 [0210] 例えば、ステップ SI 14の処理において、図 22に示すように、表示部 207は、画面 全体に動画像 231を表示すると共に、画面の一部の領域にサムネイル 232を表示す るようにしてもよい。この場合、例えば、ステップ S 114の処理において、表示部 207 は、通常の速度で再生されるように動画像 231を表示すると共に、画面の一部の領 域に、指示されたポイントの GOPに対応するサムネイル 232を表示する。

[0211] 例えば、早送りまたは巻き戻しがユーザ力 指示された場合には、表示部 207は、 通常の速度で再生されるように動画像 231を表示すると共に、画面の一部の領域に 、早送りまたは巻き戻しされたサムネイル 232を表示する。

[0212] ユーザの指示によって、再生装置は、表示されているサムネイル 232に対応する G OPから動画像 231を表示部 207に表示させることができる。

[0213] このようにすることで、ユーザは、指示されたポイントの GOPに対応するサムネイル 2 32により、動画像の概要を迅速に知ることができると共に、表示されている動画像に より、動画像の詳細な内容を知ることができるようになる。これにより、所望の位置の動 画像の頭出しまたは編集ポイントの位置決めを迅速にすることができる。

[0214] なお、制御プログラムを実行するマイクロコンピュータ 31による、ディスク 45に記録 されているサムネイルデータ 81と動画像データとを同時に読み出す処理を説明する と次のようになる。

[0215] 制御プログラムは、ドライブ 44に、ディスク 45力ら、 MPEG2のシステムストリームの 管理情報ファイルであるトラック管理ファイル 131、およびファイルシステムのファイル 管理情報を読み出させる。制御プログラムは、 MPEG2のシステムストリームの管理情 報ファイルであるトラック管理ファイル 131およびファイルシステムのファイル管理情報 を基に、ドライブ 44に、ディスク 45力ら、ストリームユニット 161を単位として、 MPEG2 のシステムストリームを読み出させる。

[0216] この場合、制御プログラムは、 1つのストリームユニット 161からの MPEG2のシステム ストリームの読み出しが終了するまで、ドライブ 44に、 MPEG2のシステムストリームの 読み出しを継続させ、 1つのストリームユニット 161からの MPEG2のシステムストリーム の読み出しが終了した場合、ノ ッファメモリ 43に記憶されている MPEG2のシステムス トリームのデータ量を算出する。 [0217] 制御プログラムは、 MPEG2のシステムストリームの管理情報ファイルであるトラック管 理ファイル方式のファイルおよびファイルシステムのファイル管理情報を基に、次に 読み出そうとする MPEG2のシステムストリームのデータ量および動画像の再生時間 を取得する。制御プログラムは、 MPEG2のシステムストリームの管理情報ファイルであ るトラック管理ファイル 131、およびファイルシステムのファイル管理情報を基に、次に 読み出そうとする MPEG2のシステムストリームが記録されているストリームユニット 161 の物理アドレス、および次に読み出そうとするサムネイルデータ 81が記録されて 、る サムネイルデータ記録領域 162の物理アドレスを求める。

[0218] 制御プログラムは、現在のバッファメモリ 43に記憶されている MPEG2のシステムスト リームのデータ量、トラック管理ファイル 131、およびファイルシステムのファイル管理 情報を基に、次のストリームユニット 161から MPEG2のシステムストリームを読み出し て、バッファメモリ 43に記憶させた場合の、次のストリームユニット 161から MPEG2の システムストリームを読み出した時点における、ノ ッファメモリ 43に記憶されると予測さ れる MPEG2のシステムストリームのデータ量を算出する。制御プログラムは、算出さ れた予測される MPEG2のシステムストリームのデータ量力 バッファメモリ 43の容量 の上限値を超えるか否かを判定する。

[0219] 予測される MPEG2のシステムストリームのデータ量力 バッファメモリ 43の容量の上 限値を超えると判定された場合、制御プログラムは、ドライブ 44に、ディスク 45のストリ ームユニット 161からの MPEG2のシステムストリームを読み出しを休止させ、ドライブ 4 4に、ディスク 45のサムネイルデータ記録領域 162からサムネイルデータ 81を読み出 させる。そして、サムネイルデータ記録領域 162からのサムネイルデータ 81の読み出 しが終了した場合、制御プログラムは、ドライブ 44に、ディスク 45のストリームユニット 161から MPEG2のシステムストリームを読み出させる。

[0220] 一方、予測される MPEG2のシステムストリームのデータ量力 バッファメモリ 43の容 量の上限値を超えないと判定された場合、制御プログラムは、ドライブ 44に、ディスク 45のストリームユニット 161から MPEG2のシステムストリームを読み出させる。

[0221] このように、ストリームユニット 161が終了する時点で、次に読み出す AMPEG2のシ ステムストリームのストリームユニット 161の読み出しが終了する時点における、バッフ ァメモリ 43に記憶されると予測される MPEG2のシステムストリームのデータ量を求め、 予測されるデータ量に応じて、次に読み出しを行うデータを決めるようにしたので、ド ライブ 44のアクセス回数が減り、ディスク 45からの単位時間あたりのデータ読み出し 量が増え、データ読み出しの効率アップを図ることができる。

[0222] 図 14で示すように、ディスク 45において、ストリームユニット 161— 1乃至ストリーム ユニット 161—6並びにサムネイルデータ記録領域 162— 1およびサムネイルデータ 記録領域 162— 2が記録され、サムネイルデータ記録領域 162— 1がストリームュ- ット 161— 3に隣接し、サムネイルデータ記録領域 162— 2がストリームユニット 161— 6に隣接している場合、サムネイルデータ記録領域 162— 1およびサムネイルデータ 記録領域 162— 2に記録されているサムネイルデータ 81を読み出すとき、図 23で示 されるように、連続した領域であるサムネイルデータ記録領域 162— 1に記録されて いるサムネイルデータ 81が順に読み出されたのち、シークまたはディスク 45の回転 待ちにより、再生装置の図示せぬヘッドがサムネイルデータ記録領域 162— 2に移 動して、連続した領域であるサムネイルデータ記録領域 162— 2に記録されて 、るサ ムネイルデータ 81が順に読み出される。

[0223] 従って、ストリームユニット 161— 1乃至ストリームユニット 161— 6を順に読み出す 場合に比較して、極めて迅速に、サムネイルデータ 81をディスク 45から読み出すこと ができる。

[0224] さらに、図 16で示すように、ディスク 45において、ストリームユニット 161— 1乃至スト リームユニット 161— (n+ 1)およびサムネイルデータ記録領域 162— 1乃至サムネィ ルデータ記録領域 162— 4が記録され、ストリームユニット 161— 1乃至ストリームュ- ット 161— (n+ 1)とは離れた位置に、サムネイルデータ記録領域 162— 1乃至サム ネイルデータ記録領域 162— 4が隣接して記録されて ヽる場合、サムネイルデータ記 録領域 162— 1乃至サムネイルデータ記録領域 162— 4に記録されて ヽるサムネィ ルデータ 81を読み出すとき、図 24で示されるように、シークまたはディスク 45の回転 待ちが発生することなぐ連続した領域であるサムネイルデータ記録領域 162— 1乃 至サムネイルデータ記録領域 162— 4に記録されているサムネイルデータ 81が順に 読み出される。 [0225] 従って、さらに迅速に、サムネイルデータ 81をディスク 45から読み出すことができる

[0226] 図 25は、サムネイルの早送りをする場合の、ノ ッファメモリ 43に記憶されるサムネィ ルデータ 81のデータ量の変化を説明する図である。図 25の縦方向は、データ量を 示し、図 25の横方向は、時間を示す。

[0227] ここで、バッファメモリ 43に記憶されているサムネイルデータ 81のデータ量は、現在 表示されているサムネイルの次のサムネイルを表示させるためのサムネイルデータ 8 1から、画像上の時刻において最も後の（遅い）サムネイルを表示させるためのサムネ ィルデータ 81までのデータの量をいう。

[0228] 早送りの処理が開始された場合、ドライブ 44は、ディスク 45からサムネイルデータ 8 1を読み出して、ノ ッファメモリ 43に記憶させる。ノ ッファメモリ 43に記憶されているサ ムネイルデータ 81のデータ量がサムネイル表示開始閾値以上となった場合、サムネ ィルの表示の処理が開始され、ノ ッファメモリ 43からサムネイルデータ 81が順に読み 出される。

[0229] 1つのサムネイルを表示させるためのサムネイルデータ 81のデータ量は、動画像の データ量に比較して、少ない。また、 1つのサムネイルが 1つの GOPに対応しているの で、画像上の時間あたりのサムネイルデータ 81のデータ量は、より少ない。サムネィ ルの表示の処理が開始されても、表示に使用されるサムネイルデータ 81のデータ量 に比較して、ディスク 45から読み出されて記憶されるサムネイルデータ 81のデータ量 は多い。

[0230] 従って、サムネイルの表示の処理が開始されても、ディスク 45からサムネイルデータ 81を読み出して 、れば、ノ ッファメモリ 43に記憶されるサムネイルデータ 81のデータ 量は時間とともに増加する。

[0231] 例えば、時刻 tlOlにおいて、バッファメモリ 43に記憶されているサムネイルデータ 8 1のデータ量が、バッファメモリ 43に記憶可能なデータ量を示すバッファ上限値に等 しくなつた場合、時刻 tlOlにおいて、ドライブ 44は、ディスク 45からのサムネイルデー タ 81の読み出しを休止する（停止する)。

[0232] ドライブ 44力 ディスク 45からのサムネイルデータ 81の読み出しを休止する（停止 する）と、サムネイルの表示の処理に応じて、バッファメモリ 43に記憶されているサム ネイルデータ 81のデータ量は減少する。

[0233] 例えば、時刻 tl03から時刻 tl04までの期間において、サムネイルの表示を一時停 止すると、この期間において、バッファメモリ 43に記憶されているサムネイルデータ 81 のデータ量は変化しない。

[0234] 時刻 tl04において、より高速な早送りの処理が指示されると、時間当たりに使用さ れるサムネイルデータ 81のデータ量が増加するので、バッファメモリ 43に記憶されて いるサムネイルデータ 81のデータ量はより早く減少する。

[0235] 時刻 tl05において、バッファメモリ 43に記憶されているサムネイルデータ 81のデー タ量が、サムネイルデータ読み出し再開閾値以下になると、ドライブ 44は、ディスク 4 5からのサムネイルデータ 81の読み出しを開始する。時刻 tl05から時刻 tl06までの 期間において、シークされ、ディスク 45の回転が待機されて、時刻 tl06において、図 示せぬヘッドが読み出そうとするサムネイルデータ 81が記録されている位置に到達 すると、ドライブ 44は、ディスク 45からサムネイルデータ 81の読み出しを開始して、読 み出したサムネイルデータ 81をバッファメモリ 43に記憶させる。

[0236] 例えば、時刻 tl07において、バッファメモリ 43に記憶されているサムネイルデータ 8 1のデータ量が、バッファメモリ 43に記憶可能なデータ量を示すバッファ上限値に等 しくなつた場合、ドライブ 44は、ディスク 45からのサムネイルデータ 81の読み出しを 休止する (停止する)。

[0237] 例えば、時刻 tl08から、サムネイルの表示を一時停止すると、これ以後、ノ ッファメ モリ 43に記憶されて 、るサムネイルデータ 81のデータ量は変化しな 、。

[0238] 図 26は、サムネイルの巻き戻しをする場合の、ノ ッファメモリ 43に記憶されるサムネ ィルデータ 81のデータ量の変化を説明する図である。図 26の縦方向は、データ量を 示し、図 26の横方向は、時間を示す。

[0239] ここで、バッファメモリ 43に記憶されているサムネイルデータ 81のデータ量は、現在 表示されているサムネイルの前のサムネイルを表示させるためのサムネイルデータ 8 1から、画像上の時刻において最も前の（早い）サムネイルを表示させるためのサムネ ィルデータ 81までのデータの量をいう。 [0240] 巻き戻しの処理が開始された場合、ドライブ 44は、ディスク 45からサムネイルデー タ 81を読み出して、ノ ッファメモリ 43に記憶させる。ノ ッファメモリ 43に記憶されてい るサムネイルデータ 81のデータ量がサムネイル表示開始閾値以上となった場合、サ ムネイルの表示の処理が開始され、バッファメモリ 43からサムネイルデータ 81が順に 読み出される。

[0241] ここで、巻き戻しをする場合、画像上の時刻の進行に対して逆の順にサムネイルが 表示され、画像上の時刻の進行に対して逆の順にサムネイルデータ 81が必要とされ る。

[0242] 図 27で示されるように、画像上の時刻において最も前のサムネイルのサムネイルデ ータ 81がサムネイルデータ記録領域 162— 1に記録され、画像上の時刻にお 、て、 サムネイルデータ記録領域 162— 1に記録されて!、るサムネイルデータ 81のサムネ ィルの次のサムネイルのサムネイルデータ 81がサムネイルデータ記録領域 162— 2 に記録され、画像上の時刻において、サムネイルデータ記録領域 162— 2に記録さ れているサムネイルデータ 81のサムネイルの次のサムネイルのサムネイルデータ 81 がサムネイルデータ記録領域 162— 3に記録されている場合、ドライブ 44は、デイス ク 45のサムネイルデータ記録領域 162— 3からサムネイルデータ 81を読み出して、 次に、サムネイルデータ記録領域 162— 2まで、シークし、ヘッドがサムネイルデータ 記録領域 162— 2まで到達したとき、サムネイルデータ記録領域 162— 2からサムネ ィルデータ 81を読み出す。さら〖こ、ドライブ 44は、サムネイルデータ記録領域 162— 1まで、シークし、ヘッドがサムネイルデータ記録領域 162— 1まで到達したとき、サム ネイルデータ記録領域 162— 1からサムネイルデータ 81を読み出す。

[0243] 従って、図 28で示されるように、時刻 tl41から時刻 tl42までの期間において、サム ネイルデータ記録領域 162— 3からサムネイルデータ 81が読み出されて、時刻 tl42 において、読み出されたサムネイルデータ 81がバッファメモリ 43に供給されると、時 刻 tl42において、読み出された一定のデータ量のサムネイルデータ 81がバッファメ モリ 43に記憶されることになる。時刻 tl42から時刻 tl43までの期間において、サムネ ィルデータ記録領域 162— 2からサムネイルデータ 81が読み出されて、時刻 tl43に おいて、読み出されたサムネイルデータ 81がバッファメモリ 43に供給されると、時刻 t 143において、読み出された一定のデータ量のサムネイルデータ 81がバッファメモリ 4 3に記憶される。同様に、時刻 tl43から時刻 tl44までの期間において、サムネイルデ ータ記録領域 162— 1からサムネイルデータ 81が読み出されて、時刻 tl44において 、読み出されたサムネイルデータ 81がバッファメモリ 43に供給されると、時刻 tl44に ぉ 、て、読み出された一定のデータ量のサムネイルデータ 81がバッファメモリ 43に

SC fedれる。

[0244] このように、巻き戻しをする場合、ノ ッファメモリ 43に記憶されて 、るサムネイルデー タ 81のデータ量は、時間の経過に対して、階段状に増加することになる。

[0245] 巻き戻しにおいても、表示に使用されるサムネイルデータ 81のデータ量に比較して

、ディスク 45から読み出されるサムネイルデータ 81のデータ量が多い。

[0246] 従って、サムネイルの表示の処理が開始されても、ディスク 45からサムネイルデータ

81を読み出して 、れば、ノ ッファメモリ 43に記憶されるサムネイルデータ 81のデータ 量は時間とともに増加する。

[0247] 例えば、時刻 tl21において、バッファメモリ 43に記憶されているサムネイルデータ 8

1のデータ量が、バッファメモリ 43に記憶可能なデータ量を示すバッファ上限値に等 しくなつた場合、時刻 tl21において、ドライブ 44は、ディスク 45からのサムネイルデー タ 81の読み出しを休止する（停止する)。

[0248] ドライブ 44力 ディスク 45からのサムネイルデータ 81の読み出しを休止する（停止 する）と、サムネイルの表示の処理に応じて、バッファメモリ 43に記憶されているサム ネイルデータ 81のデータ量は減少する。

[0249] 例えば、時刻 tl23から時刻 tl24までの期間において、サムネイルの表示を一時停 止すると、この期間において、バッファメモリ 43に記憶されているサムネイルデータ 81 のデータ量は変化しない。

[0250] 時刻 tl24において、より高速な巻き戻しの処理が指示されると、時間当たりに使用さ れるサムネイルデータ 81のデータ量が増加するので、バッファメモリ 43に記憶されて いるサムネイルデータ 81のデータ量はより早く減少する。

[0251] 時刻 tl25において、バッファメモリ 43に記憶されているサムネイルデータ 81のデー タ量が、サムネイルデータ読み出し再開閾値以下になると、ドライブ 44は、ディスク 4 5からのサムネイルデータ 81の読み出しを開始する。時刻 tl25から時刻 tl26までの 期間において、シークされ、ディスク 45の回転が待機されて、時刻 tl26において、図 示せぬヘッドが読み出そうとするサムネイルデータ 81が記録されている位置に到達 すると、ドライブ 44は、ディスク 45からサムネイルデータ 81の読み出しを開始して、読 み出したサムネイルデータ 81をバッファメモリ 43に記憶させる。

[0252] 例えば、時刻 tl27において、ノ ッファメモリ 43に記憶されているサムネイルデータ 8 1のデータ量が、バッファメモリ 43に記憶可能なデータ量を示すバッファ上限値に等 しくなつた場合、ドライブ 44は、ディスク 45からのサムネイルデータ 81の読み出しを 休止する (停止する)。

[0253] 例えば、時刻 tl28から、サムネイルの表示を一時停止すると、これ以後、ノ ッファメ モリ 43に記憶されて 、るサムネイルデータ 81のデータ量は変化しな 、。

[0254] 図 29は、制御プログラムを実行するマイクロコンピュータ 31による、サムネイルデー タの読み出しの処理を説明するフローチャートである。ステップ S141において、制御 プログラムは、ドライブ 44に、ディスク 45からサムネイルデータ 81を読み出させる。ド ライブ 44は、読み出したサムネイルデータ 81をバッファメモリ 43に記憶させる。

[0255] ステップ S142において、制御プログラムは、バッファメモリ 43に記憶されたサムネィ ルデータ 81のデータ量力 サムネイル表示開始閾値以上になった力否かを判定す る。

[0256] ここで、早送りまたは通常再生の場合、ノ ッファメモリ 43に記憶されているサムネィ ルデータ 81のデータ量とは、現在表示されているサムネイルの次のサムネイルを表 示させるためのサムネイルデータ 81から、画像上の時刻において最も後の（遅い）サ ムネイルを表示させるためのサムネイルデータ 81までのデータの量をいう。また、卷 き戻しの場合、ノッファメモリ 43に記憶されているサムネイルデータ 81のデータ量と は、現在表示されて!、るサムネイルの前のサムネイルを表示させるためのサムネイル データ 81から、画像上の時刻において最も前の（早い）サムネイルを表示させるため のサムネイルデータ 81までのデータの量をいう。

[0257] ステップ S142において、バッファメモリ 43に記憶されたサムネイルデータ 81のデー タ量が、サムネイル表示開始閾値以上になっていないと判定された場合、ステップ S 141に戻り、サムネイルデータの読み出しの処理が繰り返される。

[0258] ステップ S142において、バッファメモリ 43に記憶されたサムネイルデータのデータ 量が、サムネイル表示開始閾値以上になったと判定された場合、静止画像伸張部 2

04は、ノ ッファメモリ 43に記憶されているサムネイルデータ 81を復号して、伸張し、 表示部 207にサムネイルを表示させる。

[0259] ステップ S144において、制御プログラムは、ドライブ 44に、ディスク 45からサムネィ ルデータ 81を読み出させる。ドライブ 44は、読み出したサムネイルデータ 81をバッフ ァメモリ 43に記憶させる。

[0260] ステップ S 145において、制御プログラムは、バッファメモリ 43がいつぱいになった か否かを判定する。すなわち、ステップ S145において、制御プログラムは、ノ ッファメ モリ 43に記憶されたサムネイルデータ 81のデータ量力 バッファメモリ上限値に到達 したか (等しくなつた力 )否かを判定する。

[0261] ステップ S 145にお!/、て、バッファメモリ 43が!、つぱいになって ヽな 、と判定された 場合、手続きは、ステップ S144〖こ戻り、サムネイルデータ 81の読み出しの処理が繰 り返される。

[0262] ステップ S 145において、バッファメモリ 43がいつぱいになったと判定された場合、こ れ以上、バッファメモリ 43にサムネイルデータ 81を記憶させることはできないので、サ ムネイルデータ 81の読み出しを行わずに、ステップ S146に進み、制御プログラムは 、動画像の再生の順にサムネイルが表示されているカゝ否カゝ、すなわち、早送りまたは 通常再生であるか否かを判定する。

[0263] ステップ S146において、動画像の再生の順にサムネイルが表示されていると判定 された場合、すなわち、早送りまたは通常再生なので、ステップ S147に進み、制御 プログラムは、バッファメモリ 43に記憶されているサムネイルデータ 81のうち、現在表 示されているサムネイルの次のサムネイルから、画像上の時刻において最も後の（遅 い）サムネイルまでの、サムネイルデータ 81のデータの量を計算し、ステップ S 149に 進む。

[0264] ステップ S 146にお!/、て、動画像の再生の順にサムネイルが表示されて ヽな 、と判 定された場合、すなわち、巻き戻しなので、ステップ S148に進み、制御プログラムは 、ノッファメモリ 43に記憶されているサムネイルデータ 81のうち、画像上の時刻にお V、て最も前のサムネイルから、現在表示されて!、るサムネイルの前のサムネイルまで の、サムネイルデータ 81のデータの量を計算し、ステップ S 149に進む。

[0265] ステップ S 149において、制御プログラムは、算出されたデータ量がサムネイルデー タ読み出し再開閾値以下であるか否かを判定する。ステップ S149において、算出さ れたデータ量がサムネイルデータ読み出し再開閾値以下でないと判定された場合、 まだ、サムネイルデータ 81を読み出す必要はないので、ステップ S146に戻り、上述 した処理を繰り返す。

[0266] ステップ S149において、算出されたデータ量がサムネイルデータ読み出し再開閾 値以下であると判定された場合、サムネイルデータ 81を読み出す必要があるので、 ステップ S144に戻り、サムネイルデータ 81の読み出しの処理を実行する。

[0267] 以上の処理を図 30乃至図 34を参照して説明する。早送りにおいて、画像上の時 刻 t0におけるサムネイルの表示が指示された場合、制御プログラムは、ドライブ 44に 、画像上において、時刻 tO力も所定の時間 T1だけ遡った時刻（tO-Tl)におけるサム ネイルデータ 81から読み出しを開始するように指示する。

[0268] 以下、適宜、時刻 tにおけるサムネイルデータ 81をサムネイルデータ tと称する。

[0269] 時刻 t0から時間 T1だけ遡った時刻 (t0-Tl)におけるサムネイルデータ (t0-Tl)から 読み出すようにしたのは、巻き戻しの指示があった場合に、即座に、巻き戻しができ るようにするためである。

[0270] ドライブ 44は、ディスク 45力 、サムネイルデータ（tO-Tl)力 画像上の時刻 t0にお けるサムネイルデータ t0までを読み出して、リングバッファであるノッファメモリ 43に記 憶させるとともに、サムネイルデータ toから、時刻 tO力 所定の時間 T1だけ進んだ時 刻（tO+ΤΙ)までのサムネイルデータ (tO+ΤΙ)を読み出して、リングバッファであるバッ ファメモリ 43に記憶させる。図 30中の Aは、ノ ッファメモリ 43に記憶されている、画像 上の時刻 (t0-Tl)カゝら画像上の時刻 t0までに対応するサムネイルデータ 81を便宜的 に示す。図 30中の Bは、バッファメモリ 43に記憶されている、画像上の時刻 t0から画 像上の時刻 (t0+Tl)までに対応するサムネイルデータ 81を便宜的に示す。

[0271] そして、ドライブ 44は、リングバッファであるバッファメモリ 43がいつぱいになるまで、 ディスク 45から、サムネイルデータ 81を読み出して、サムネイルデータ 81をバッファメ モリ 43に記憶させる。図 30中の Cは、ノ ッファメモリ 43に記憶されている、画像上の 時刻 (tO+Tl)から画像上の時刻 (tO+Tn)までに対応するサムネイルデータ 81を便宜 的に示す。

[0272] 早送りが実行されて、画像上の時刻 tnのサムネイルが表示されると、図 31で示され るように、画像上の時刻 t0カゝら画像上の時刻 tnまでに対応するサムネイルデータ 81 が使用されてしまったので (この後の早送りの処理で使用することはできないので）、 ノ ッファメモリ 43に記憶されている、今後早送りの処理で使用することができるサムネ ィルデータ 81は、例えば、サムネイルデータ（t (n+l) )乃至サムネイルデータ（tn+Tl) だけになつてしまう。図 30中の Dは、バッファメモリ 43に記憶されている、画像上の時 刻 tnから画像上の時刻 (tn+Tl)までに対応するサムネイルデータ 81を便宜的に示す

[0273] 今後早送りの処理で使用することができるサムネイルデータ 81のデータ量がサムネ ィルデータ読み出し再開閾値以下になると、図 32で示すように、ドライブ 44は、画像 上の時刻 (tn-Tl)から画像上の時刻 (tn+Tl)までに対応するサムネイルデータ 81に は上書きしな 、ように、リングバッファであるバッファメモリ 43が!、つぱいになるまで、 ディスク 45から、サムネイルデータ (tn+Tl)の次のサムネイルデータ 81を順に読み出 して、読み出したサムネイルデータ 81をバッファメモリ 43に記憶させる。図 30中の E は、ノ ッファメモリ 43に記憶されている、画像上の時刻（tn+Tl+1)からの画像上の時 刻に対応するサムネイルデータ 81を便宜的に示す。

[0274] 一方、巻き戻しにおいて、画像上の時刻 tmのサムネイルが表示され、図 33で示さ れるように、画像上の時刻 までに対応するサムネイルデータ 81が使用されてしまつ た場合、ノ ッファメモリ 43に記憶されている、今後巻き戻しの処理で使用することがで きるサムネイルデータ 81は、例えば、サムネイルデータ（t (m-l) )乃至サムネイルデ ータ（tm-Tl)だけになつてしまう。図 30中の Eは、ノッファメモリ 43に記憶されている 、画像上の時刻 tmから画像上の時刻（tm-Tl)までに対応するサムネイルデータ 81を 便宜的に示す。

[0275] 今後巻き戻しの処理で使用することができるサムネイルデータ 81のデータ量がサム ネイルデータ読み出し再開閾値以下になると、図 34で示すように、ドライブ 44は、画 像上の時刻 (tm+Tl)から画像上の時刻 (tm-Tl)までに対応するサムネイルデータ 8 1には上書きしな 、ように、リングバッファであるバッファメモリ 43が!、つぱいになるま で、ディスク 45力ら、サムネイルデータ（tm-Tl-1)からサムネイルデータ 81を逆に読 み出して、読み出したサムネイルデータ 81をバッファメモリ 43に記憶させる。

[0276] この場合、 1つのサムネイル記録領域 162毎にサムネイルデータ 81が読み出される ので、図 34中の太い矢印で示す順に、サムネイルデータ（tm- T1-1)を含む、図 30 中の Fで示されるサムネイルデータ 81がバッファメモリ 43に記憶され、次に、図 30中 の Fで示されるサムネイルデータ 81の前の Gで示されるサムネイルデータ 81がバッフ ァメモリ 43に記憶される。同様に、画像上の時刻を遡るようにサムネイルデータ 81が ディスク 45から読み出されて、ノ ッファメモリ 43に記憶される。

[0277] 次に、ディスク 45に動画像データが記録されている場合に、その動画像データに 対応するサムネイルを生成してディスク 45に記録するときの記録装置について説明 する。

[0278] 図 35は、 MPEG2プログラムストリームが記録されているディスク 45から MPEG2プロ グラムストリームを読み出して、 MPEG2プログラムストリームに対応するサムネイルデ ータを生成してディスク 45に記録する、本発明に係る記録再生装置の一実施の形態 の構成を示すブロック図である。図 20に示す場合と同様の部分に同一の符号を付し てあり、その説明は適宜省略する。

[0279] マイクロコンピュータ 31は、所定の制御プログラムを実行して、ユーザの操作に応じ た開始停止ボタン 301からの信号を基に、記録再生装置の各部に動作を指示する。

[0280] ドライブ 44は、ディスク 45から MPEG2方式のプログラムストリームを読み出し、読み 出した MPEG2方式のプログラムストリームをバッファメモリ 43に記憶させる。デマルチ プレクサ 202は、バッファメモリ 43に記憶されている MPEG2方式のプログラムストリー ムカら、 MPEG2方式の画像データである MPEG2ビデオエレメンタリストリームと音声 データとを分離する。

[0281] Iピクチャ選択復号部 302は、マイクロコンピュータ 31の制御の基に、デマルチプレ クサ 202にお!/、て分離された MPEG2ビデオエレメンタリストリームのうち、 I (イントラ）ピ クチャを選択して、選択した Iピクチャを復号する。 Iピクチャ選択復号部 302は、復号 したピクチャを解像度変換部 303に供給する。

[0282] 解像度変換部 303は、画素数変換部 40と同様に、マイクロコンピュータ 31の制御 の基に、復号されたピクチャの解像度を変換する。例えば、解像度変換部 303は、抽 出したピクチャ力も画素を間引くことにより、ピクチャの解像度を変換する。

[0283] 解像度変換部 303は、画素数を変換した画像データを JPEG符号化部 304に供給 する。 JPEG符号化部 304は、マイクロコンピュータ 31の制御の基に、解像度変換部 3 03から供給された画像データを、 JPEG方式で符号化する。 JPEG符号化部 304は、 J PEG方式で符号ィ匕した画像データをサムネイルデータとして、ファイルフォーマット変 換部 305に供給する。

[0284] ファイルフォーマット変換部 305は、サムネイルデータのファイル方式を、 PLF方式、 PLF方式のファイル 101から参照されるファイル方式、静止画像パッケージ方式、ま たはトラック管理ファイル 131から参照されるロケーション関係データファイル方式に 変換する。ファイルフォーマット変換部 305は、ファイル方式を変換したサムネイルデ ータをバッファメモリ 43に供給する。

[0285] ここで、ファイルフォーマット変換部 305は、サムネイルの生成が指示された動画像 データの総ての GOPにつ 、て、解像度変換部 303からサムネイルデータが供給され てから、総てのサムネイルデータについて、一時に、 1または所定の数のファイルとな るように、そのサムネイルデータのファイル方式をまとめて変換するようにしてもょ 、。

[0286] ドライブ 44は、ノ ッファメモリ 43に記憶されている、所定のファイル方式に変換され たサムネイルデータをディスク 45に記録する。ファイルフォーマット変換部 305が、サ ムネイルの生成が指示された動画像データの総ての GOPにつ 、て、解像度変換部 3 03からサムネイルデータが供給されてから、総てのサムネイルデータについて、一時 に、 1または所定の数のファイルとなるように、そのサムネイルデータのファイル方式を まとめて変換する場合、ドライブ 44は、まとめてファイル方式が変換されているサムネ ィルデータをディスク 45に記録する。

[0287] 図 36は、 Iピクチャ選択復号部 302の構成を示すブロック図である。ノ ッファ 321は 、デマルチプレクサ 202から供給された、 MPEG2ビデオエレメンタリストリームである M PEG2方式の動画像データを一時的に記憶する。 Iピクチャ判定部 322は、バッファ 3 21に記憶されている、 MPEG2方式の動画像データを構成するそれぞれのピクチャに ついて、例えば、ピクチャヘッダの picture coding typeを参照することにより、 Iピクチャ であるか否かを判定する。

[0288] セレクタ 323は、 Iピクチャ判定部 322から供給される、ピクチャが Iピクチャであるか 否かを示す信号を基に、バッファ 321に記憶されているピクチャのデータを可変長符 号デコーダ 324に供給させる力、またはバッファ 321に記憶されているピクチャのデ ータの可変長符号デコーダ 324への供給を抑制する。具体的には、セレクタ 323は、 Iピクチャ判定部 322から、ピクチャが Iピクチャであることを示す信号が供給された場 合、ノッファ 321に記憶されている Iピクチャであるピクチヤのデータを可変長符号デ コーダ 324に供給させる。セレクタ 323は、 Iピクチャ判定部 322から、ピクチャが Iピク チヤでな!、ことを示す信号が供給された場合、ノ ッファ 321に記憶されて 、る Bピクチ ャまたは Pピクチャであるピクチヤのデータの可変長符号デコーダ 324への供給を抑 制する。

[0289] 可変長符号デコーダ 324は、セレクタ 323を介して、バッファ 321から供給された、 可変長符号化されて 、る Iピクチャのデータを復号して、復号した Iピクチャのデータを 逆量子化部 325に供給する。逆量子化部 325は、復号した Iピクチャのデータの含ま れる係数毎に、所定の値の逆量子化係数を乗算することにより、 Iピクチャのデータを 逆量子化する。逆量子化部 325は、逆量子化して得られた Iピクチャのデータ、すな わち DCT (Discrete Cosine Transform)係数を逆 DCT処理部 326に供給する。

[0290] 逆 DCT処理部 326は、逆量子化部 325から供給された DCT係数を逆 DCT変換す ることにより、圧縮されていない画像データである、いわゆるベースバンド画像データ を生成して、ベースバンド画像データを出力する。

[0291] 図 37は、解像度変換部 303の構成を示すブロック図である。ローノ スフィルタ 341 は、 Iピクチャ選択復号部 302から供給された、ベースバンド画像データカゝら画像の高 周波成分を除去して (帯域を制限して)、画像の高周波成分を除去したベースバンド 画像データを画素間引部 342に供給する。例えば、ローパスフィルタ 341は、縦 2 X 横 2の 4画素について、画素値の平均値を算出して、算出された平均値をその 4画素 の画素値に設定することにより、画像の高周波成分を除去する。

[0292] 画素間引部 342は、画像の高周波成分が除去されたベースバンド画像データから 、画素を間引いて、画素を間引いたベースバンド画像データをサムネイルデータとし て出力する。例えば、画素間引部 342は、ベースバンド画像データの画素を、縦 2 X 横 2の 4画素の組に分けて、それぞれの 4画素から 3つの画素を除去することにより、 ベースバンド画像データから、画素を間引く。

[0293] 図 38は、 JPEG符号化部 304の構成を示すブロック図である。 DCT処理部 361は、 解像度変換部 303から供給されたサムネイルデータを DCT変換し、 DCT変換の結果 得られた DCT係数を量子化部 362に供給する。量子化部 362は、 DCT処理部 361 力 供給された DCT係数を所定の量子化係数により除算することにより、 DCT係数を 量子化し、量子化された DCT係数を可変長符号化部 363に供給する。可変長符号 化部 363は、量子化された DCT係数を可変長符号に符号ィ匕することにより、 JPEG方 式により圧縮されて 、るサムネイルデータを生成して、生成した JPEG方式により圧縮 されて 、るサムネイルデータを出力する。

[0294] 図 39は、サムネイルデータの生成の処理を説明するフローチャートである。ステツ プ S301において、 Iピクチャ選択復号部 302は、ドライブ 44によって、ディスク 45から 読み出された MPEG2プログラムストリームである動画像データのそれぞれの GOPから Iピクチャを抽出する（選択する)。ステップ S302において、 Iピクチャ選択復号部 302 は、抽出した Iピクチャを復号する。

[0295] ステップ S303にお 、て、解像度変換部 303は、復号した Iピクチャの解像度を解像 度を下げるように変換する。ステップ S304において、 JPEG符号化部 304は、解像度 を変換した Iピクチャを JPEG方式で圧縮する。ステップ S305において、ファイルフォ 一マット変換部 305は、 Iピクチャを JPEG方式で圧縮して得られたサムネイルデータ のファイル方式を整えて、ステップ S301〖こ戻り、上述した処理を繰り返す。

[0296] サムネイルデータを Iピクチャのストリームとして生成することもできる。

[0297] 図 40は、 MPEG2プログラムストリームが記録されているディスク 45から MPEG2プロ グラムストリームを読み出して、 MPEG2プログラムストリームに対応する、 Iピクチャのス トリームであるサムネイルを生成してディスク 45に記録する、本発明に係る記録再生 装置の一実施の形態の構成を示すブロック図である。図 35に示す場合と同様の部 分に同一の符号を付してあり、その説明は省略する。

[0298] Iピクチャ符号ィ匕部 381は、解像度変換部 303から供給された、解像度が変換され たベースバンド画像データであるサムネイルデータを Iピクチャとして圧縮符号ィ匕する 。 Iピクチャ符号ィ匕部 381は、 Iピクチャとして圧縮符号ィ匕されたサムネイルデータをフ アイルフォーマット変換部 305に供給する。

[0299] 図 41は、 Iピクチャ符号化部 381の構成を示すブロック図である。ノ ッファ 401は、 解像度変換部 303から供給された、解像度が変換されたベースバンド画像データで あるサムネイルデータを一時的に記憶する。ノ ッファ 401は、記憶しているサムネイル データを視覚パラメータ検出部 402および DCT処理部 403に供給する。

[0300] 視覚パラメータ検出部 402は、ノッファ 401に記憶されているサムネイルデータの 画像の特徴を示す視覚パラメータを検出して、検出した視覚パラメータを制御部 404 に供給する。視覚パラメータは、例えば、 MPEG2 TM (Test Model) 5に規定されてい る、画素値の空間方向の変化を示すアクティビティとすることができる。

[0301] DCT処理部 403は、バッファ 401から供給されたサムネイルデータを DCT変換し、 DCT変換の結果得られた DCT係数を量子化部 405に供給する。

[0302] 制御部 404は、視覚パラメータ検出部 402から供給された視覚パラメータおよびバ ッファ 407に記憶されて 、る圧縮サムネイルデータのデータ量を基に、量子化値を決 定して、量子化値を量子化部 405に供給する。例えば、制御部 404は、 MPEG2 TM5 の規定と同様に、視覚パラメータを基に、高周波成分をより多く含む場合、より粗く量 子化し、高周波成分がより少ない場合、より細力べ量子化するように量子化値を決定 する。また、制御部 404は、ノ ッファ 407に記憶されている圧縮サムネイルデータの データ量を基に、 Iピクチャとして圧縮符号ィ匕されて 、るサムネイルデータのデータ量 が所定の上限を超えないように、量子化値を決定する。

[0303] 量子化部 405は、 DCT処理部 403から供給された DCT係数を、制御部 404から供 給された量子化値により除算することにより、 DCT係数を量子化し、量子化された DC T係数を可変長符号化部 406に供給する。可変長符号化部 406は、量子化された D CT係数を可変長符号に符号ィ匕することにより、 Iピクチャとして圧縮符号化されたサム ネイルデータを生成して、生成した Iピクチャとして圧縮符号ィ匕されたサムネイルデー タをバッファ 407に供給する。

[0304] ノッファ 407は、 Iピクチャとして圧縮符号ィ匕されているサムネイルデータを一時的に 記憶する。ノ ッファ 407は、記憶している Iピクチャとして圧縮符号ィ匕されているサムネ ィルデータを出力する。

[0305] 図 42は、 1つの Iピクチャ毎の制御部 404による符号量の制御の処理を説明するフ ローチャートである。ステップ S321において、制御部 404は、ピクチャに符号の量を 割り当てる。例えば、ステップ S321において、制御部 404は、ピクチャに対する符号 量の目標値ではなぐピクチャに対する符号量の上限と所定のマージンとを考慮した 符号量をピクチャに割り当てる。より具体的には、ステップ S321において、制御部 40 4は、符号量の上限力 マージンを差し引いた値の符号量をピクチャに割り当てる。

[0306] これは、 Iピクチャとして圧縮符号化されたサムネイルデータのデータ量がステップ S 321における設定値を結果として超えてしまうことがあるので、後述するサムネイルの 連続再生における VBVで示される制約を保証するためである。

[0307] ステップ S322において、制御部 404は、ピクチャに割り当てられた符号の量を各マ クロブロックに割り振るように、ピクチャに割り当てられた符号の量を基に、マクロプロ ックに符号の量を割り当てる。

[0308] ステップ S323において、制御部 404は、視覚パラメータを用いて、最終的な量子 化値を決定し、処理は終了する。

[0309] このように、サムネイルデータは、所定の上限値以下のデータ量となるように Iピクチ ャとして圧縮符号ィ匕される。このようにすることで、サムネイルデータを早送り若しくは 巻き戻しなどの特殊再生を行っても、復号においてアンダーフローを生じることなぐ 迅速にサムネイルを再生して、表示することができるようになる。

[0310] この効果を、 VBV (Video Buffering Verifier)のモデルを使用して説明する。 VBVは 、 ISO 13818-2 Annex Cに規定される、エンコーダの出力に接続される仮想的なデコ ーダのモデルであり、このモデルに含まれる VBVバッファに格納されるデータ量に対 する拘束条件によって、ビットストリームに対する制限を規定するものである。 VBVは、 通常、復号側の制約を規定するものであるが、以下、符号ィ匕側に置き換えて説明す る。

[0311] 図 43は、 VBVのモデルの構成を示すブロック図である。符号化器 421は、ピクチャ に対応する符号を VBVバッファ 422に出力する。 VBVバッファ 422は、符号化器 421 力 供給された符号を一時的に記憶し、記憶している符号を出力する。

[0312] ここで、符号化器 421から VBVバッファ 422へは、符号が瞬時に転送されると仮定 する。また、 VBVバッファ 422に符号が記憶されていない場合、 VBVバッファ 422から 符号は出力されず、 VBVバッファ 422に符号が記憶されている場合、 VBVバッファ 42 2から、最大転送レートで符号が出力されると仮定する。

[0313] 図 44は、サムネイルのデータ量に制限を設けない場合の VBVのモデルの動きを説 明する図である。図 44において、縦方向は、 VBVバッファ 422に記憶される符号のデ 一タ量を示し、横方向は、時間を示す。

[0314] 図 44において、時間 Tは、フレームの期間 [秒]を示し、フレームレートの逆数に等 しい。

[0315] VBVバッファ 422が空の状態力も符号ィ匕の処理が開始された時刻 t=0において、符 号化器 421からデータ量 P0の符号力VBVバッファ 422に転送されるので、時刻 t=0に おいて、 VBVバッファ 422に記憶される符号のデータ量は、 P0となる。 VBVバッファ 4 22から、最大の転送レートで符号が出力されるので、 VBVバッファ 422に記憶される 符号のデータ量は、時間の経過とともに減少し、時刻 t=Tにおいて、 VBVバッファ 422 に記憶される符号のデータ量は、 B1となる。同時に、時刻 t=Tにおいて、 P0に比較し てより少ないデータ量であるデータ量 P1の符号が符号化器 421から VBVバッファ 42 2に転送されるので、 VBVバッファ 422に記憶される符号のデータ量は、 B1 + P1まで 瞬時に増加する。

[0316] 同様に、時刻 t=2Tにおいて、 VBVバッファ 422に記憶される符号のデータ量は、 B2 となる。同時に、時刻 t=Tにおいて、 P1とほぼ同じデータ量であるデータ量 P2の符号 が符号化器 421から VBVバッファ 422に転送されるので、 VBVバッファ 422に記憶さ れる符号のデータ量は、 B2 + P2まで瞬時に増加する。

[0317] 時刻 t=Txにおいて、 VBVバッファ 422に記憶される符号のデータ量は、 0となる。 VB Vバッファ 422に記憶される符号のデータ量が 0になると、 VBVバッファ 422は符号を 出力しない。

[0318] 時刻 t=3Tにおいて、 P0に比較してより少なぐ P1に比較してより多いデータ量である データ量 P3の符号が符号化器 421から VBVバッファ 422に転送されるので、 VBVバ ッファ 422に記憶される符号のデータ量は、 P3まで瞬時に増加する。時刻 t=4Tにお いて、 VBVバッファ 422に記憶される符号のデータ量は、 0となり、同時に、 P1とほぼ 同じデータ量であるデータ量 P4の符号が符号化器 421から VBVバッファ 422に転送 されるので、 VBVバッファ 422に記憶される符号のデータ量は、 P4まで瞬時に増加す る。

[0319] このように、符号化器 421から出力される 1つのピクチヤに対する符号の量が変化 すると、アンダーフローまたはオーバーフローが生じる場合がある。

[0320] 例えば、時刻 t=Tおよび時刻 t=2Tにおいて、 P1とほぼ同じデータ量であるデータ量 P4の符号が符号化器 421から VBVバッファ 422に転送された場合、オーバーフロー が発生してしまう。

[0321] 符号化側では、アンダーフローが発生しても、書き込みの待機をさせることができる ので、アンダーフローの発生は許容される力 オーバーフローが発生すると符号が欠 落してしまうので、オーバーフローの発生は許容されな!、。

[0322] このため、符号化において符号化されたデータのデータ量を監視し、符号の量を変 化させるパラメータを用いて、符号ィ匕の処理をフィードバック制御して、オーバーフロ 一を生じさせな 、ようにしなければならな!/、。

[0323] ここで、符号化器 421から VBVバッファ 422に、フレームの期間 Tにおいて、最大転 送レートで出力できるデータ量の符号が常に転送される場合を考える。これは、例え ば、ステップ S321において、制御部 404力 フレームの期間 Tにおいて、最大転送 レートで出力できるデータ量をピクチャに対する符号量の上限として、符号量をピク チヤに割り当てることに相当する。

[0324] VBVバッファ 422から出力される符号の最大転送レートを Rmax[bit/sec]とし、フレー ムレー ¾*ame_rate[frameの数/ sec]とすると、 1フレーム（ピクチャ）当たりのサムネィ ルについて許容されるデータ量である許容最大符号量 lb [bit/frame]は、 Rmax/frame —rateで算出すること力 ²¹ eさる。ここで、 frame— rateは、 NTSし (National Television Syste m Committee)方式または PAL (Phase Alternating (by) Line)方式などテレビジョン放 送の方式により異なる。

[0325] 図 45は、各サムネイルのデータ量力 このように算出された許容最大符号量 lbに等 しい場合の、 VBVのモデルの動きを説明する図である。図 45において、縦方向は、 V BVバッファ 422に記憶される符号のデータ量を示し、横方向は、時間を示す。

[0326] 図 45において、時間 Tは、フレームの期間 [秒]を示し、フレームレートの逆数に等 しい。

[0327] VBVバッファ 422が空の状態力も符号ィ匕の処理が開始された時刻 t=0において、符 号化器 421からデータ量 P0の符号力VBVバッファ 422に転送されるので、時刻 t=0に おいて、 VBVバッファ 422に記憶される符号のデータ量は、 P0 (=許容最大符号量 lb) となる。

VBVバッファ 422から、最大の転送レートで符号が出力されるので、 VBVバッファ 422 に記憶される符号のデータ量は、時間の経過とともに減少し、時刻 t=Tにおいて、 VB Vバッファ 422に記憶される符号のデータ量は、 0となり、同時に、時刻 t=Tにおいて、 P0と同じデータ量であるデータ量 P1の符号が符号化器 421から VBVバッファ 422に 転送されるので、 VBVバッファ 422に記憶される符号のデータ量は、 P1まで瞬時に増 加する。

[0328] VBVバッファ 422力ら、最大の転送レートで符号が出力されるので、 VBVバッファ 4 22に記憶される符号のデータ量は、時間の経過とともに減少し、時刻 t=2Tにおいて 、 VBVバッファ 422に記憶される符号のデータ量は、 0となり、同時に、時刻 t=2Tにお いて、 P0と同じデータ量であるデータ量 P2の符号が符号化器 421から VBVバッファ 4 22に転送されるので、 VBVバッファ 422に記憶される符号のデータ量は、 P2まで瞬 時に増加する。

[0329] 同様に、時刻 t=3T乃至時刻 t=nTにおいて、 VBVバッファ 422に記憶される符号の データ量は、 0となり、同時に、 P0と同じデータ量の符号が符号化器 421から VBVバッ ファ 422に転送されるので、 VBVバッファ 422に記憶される符号のデータ量は、 P0と 同じデータ量まで瞬時に増加する。

[0330] すなわち、符号化器 421から VBVバッファ 422に転送される時刻において、 VBVバ ッファ 422に記憶される符号のデータ量は、最大となり、そのデータ量は、許容最大 符号量 ft)に等しい。

[0331] 図 40で構成が示される記録再生装置においては、許容最大符号量 lb以下になるよ うにサムネイルのデータ量が制限されるので、図 45で示される場合よりも、オーバー フローがより起きにくいと言える。すなわち、図 45は、ノ ッファの占有率が最も高い状 態を示していると言える。

[0332] ここで、再生側につ!、て、サムネイルを変速再生する場合の VBVにつ 、て説明する 。変速再生においては、任意のサムネイル (ピクチャ）力 任意の順に再生されること になる。従って、それぞれのサムネイルのデータ量が変化する場合、大きなデータ量 のサムネイルの再生が連続して要求されるときがある。このような場合には、 VBVバッ ファの占有率が下がり、ときには、 VBVバッファが枯渴して、アンダーフローが生じて しまう恐れがある。その結果、サムネイルの再生が間に合わなくなり、サムネイルの表 示の切り替えがユーザの指示通りに行われなくなってしまう。

[0333] し力しながら、総てのサムネイルのデータ量を許容最大符号量 lb以下とすることによ つて、どのサムネイル力 どの順序で再生されても、 VBVバッファの占有率が一定以 下になることがなぐアンダーフローが生じるおそれがなくなる。その結果、サムネイル の表示の切り替えが、常に、ユーザの指示通りに行われることが保証される。

[0334] 図 46は、 MPEG2のシステムストリームが記録されているディスク 45から MPEG2のシ ステムストリームを読み出して、 MPEG2のシステムストリームに対応する、 Iピクチャのス トリームであるサムネイルを生成してディスク 45に記録する、本発明に係る記録再生 装置の一実施の形態の他の構成を示すブロック図である。図 40に示す場合と同様 の部分に同一の符号を付してあり、その説明は省略する。

[0335] Iピクチャ選択復号部 451は、マイクロコンピュータ 31の制御の基に、デマルチプレ クサ 202にお!/、て分離された MPEG2ビデオエレメンタリストリームのうち、 I (イントラ）ピ クチャを選択して、選択した Iピクチャを DCT係数まで復号する。 Iピクチャ選択復号部 451は、復号した DCT係数を周波数特性変換部 452に供給する。

[0336] 周波数特性変換部 452は、マイクロコンピュータ 31の制御の基に、復号された DCT 係数の周波数特性を変換する。例えば、周波数特性変換部 452は、 DCT係数のうち 、画像の高周波に対応する成分を除去する力、減衰させることにより DCT係数の周波 数特性を変換する。

[0337] 周波数特性変換部 452は、周波数特性を変換した DCT係数を Iピクチャ符号ィ匕部 4 53に供給する。 Iピクチャ符号ィ匕部 453は、周波数特性変換部 452から供給された、 周波数特性を変換した DCT係数を Iピクチャとして圧縮符号ィ匕する。 Iピクチャ符号ィ匕 部 453は、 DCT係数を Iピクチャとして圧縮符号ィ匕して得られたサムネイルデータをフ アイルフォーマット変換部 305に供給する。

[0338] 図 47は、 Iピクチャ選択復号部 451の構成を示すブロック図である。ノ ッファ 471は 、デマルチプレクサ 202から供給された、 MPEG2ビデオエレメンタリストリームである M PEG2方式の動画像データを一時的に記憶する。 Iピクチャ判定部 472は、バッファ 4 71に記憶されている、 MPEG2方式の動画像データを構成するそれぞれのピクチャに ついて、例えば、ピクチャヘッダの picture coding typeを参照することにより、 Iピクチャ であるか否かを判定する。

[0339] セレクタ 473は、 Iピクチャ判定部 472から供給される、ピクチャが Iピクチャであるか 否かを示す信号を基に、バッファ 471に記憶されているピクチャのデータを可変長符 号デコーダ 474に供給させる力、またはバッファ 471に記憶されているピクチャのデ ータの可変長符号デコーダ 474への供給を抑制する。具体的には、セレクタ 473は、 Iピクチャ判定部 472から、ピクチャが Iピクチャであることを示す信号が供給された場 合、ノッファ 471に記憶されて 、る Iピクチャであるピクチヤのデータを可変長符号デ コーダ 474に供給させる。セレクタ 473は、 Iピクチャ判定部 472から、ピクチャが Iピク チヤでな!、ことを示す信号が供給された場合、ノ ッファ 471に記憶されて 、る Bピクチ ャまたは Pピクチャであるピクチヤのデータの可変長符号デコーダ 474への供給を抑 制する。

[0340] 可変長符号デコーダ 474は、セレクタ 473を介して、バッファ 471から供給された、 可変長符号化されて 、る Iピクチャのデータを復号して、復号した Iピクチャのデータを 逆量子化部 475に供給する。逆量子化部 475は、復号した Iピクチャのデータの含ま れる係数毎に、所定の値の逆量子化係数を乗算することにより、 Iピクチャのデータを 逆量子化する。逆量子化部 475は、逆量子化して得られた Iピクチャのデータ、すな わち DCT係数および量子ィ匕スケールを出力する。

[0341] 図 48は、周波数特性変換部 452の構成を示すブロック図である。水平方向フィル タ 491は、 DCT係数のうち、水平方向に並ぶ DCT係数について、高周波成分を除去 するか、減衰させる。

[0342] 図 49で示されるように、 DCT係数は、 2次元に配置され、水平方向の次数 (n)は、 0 乃至 7とされ、垂直方向の次数 (m)は、 0乃至 7とされる。水平方向の次数 (n)のより 大きい DCT係数は、画像のより高い周波数の成分に対応し、垂直方向の次数 (m)の より大き 、DCT係数は、画像のより高 、周波数の成分に対応する。

[0343] 図 50は、水平方向フィルタ 491の伝達関数 H (n)および垂直方向フィルタ 492の伝 達関数 V (m)を示す図である。例えば、水平方向フィルタ 491は、図 50で示される伝 達関数 H (n)を基に、水平方向の次数 (n)のより大きい DCT係数を 0とする力、または その値を小さくして、 DCT係数のうち、水平方向に並ぶ DCT係数について、高周波 成分を除去するか、減衰させる。

[0344] 水平方向フィルタ 491は、水平方向に並ぶ DCT係数について、高周波成分を除去 したか、減衰させた DCT係数を垂直方向フィルタ 492に供給する。

[0345] 垂直方向フィルタ 492は、水平方向フィルタ 491から供給された DCT係数のうち、 垂直方向に並ぶ DCT係数について、高周波成分を除去するか、減衰させて、出力 する。例えば、垂直方向フィルタ 492は、図 50で示される伝達関数 V(m)を基に、水 平方向フィルタ 491から供給された垂直方向の次数 (m)のより大き!/、DCT係数を 0と するか、またはその値を小さくして、 DCT係数のうち、垂直方向に並ぶ DCT係数につ いて、高周波成分を除去するか、減衰させる。

[0346] すなわち、周波数特性変換部 452に入力される DCT係数を d(n,m)とした場合、 d(n, m) X H (n) XV(m)で算出される DCT係数 d'(n,m)力 図 48で構成が示される周波数 特性変換部 452から出力される。これは、 DCT係数が周波数領域の値であるので、 上述した伝達関数を乗算することにより、フィルタリングの処理が可能となるものであ る。

[0347] 換言すれば、 8 X 8の DCT係数〖こ、上述した伝達関数 H (n)および伝達関数 V (m) を乗算することにより、縦 8画素 X横 8画素のブロックに、画像の周波数領域の制限を 力けることができる。

[0348] なお、 Iピクチャ選択復号部 451から出力された量子化スケールは、周波数特性変 換部 452をそのまま通過して、 Iピクチャ符号ィ匕部 453に入力される。

[0349] 図 51は、 Iピクチャ符号ィ匕部 453の構成を示すブロック図である。制御部 501は、周 波数特性変換部 452を介して Iピクチャ選択復号部 451から供給された量子化スケー ルおよびバッファ 504に記憶されている圧縮サムネイルデータのデータ量を基に、量 子化値を決定して、量子化値を量子化部 502に供給する。例えば、制御部 501は、 ノ ッファ 504に記憶されている圧縮サムネイルデータのデータ量を基に、 Iピクチャと して圧縮符号化されて!/ヽるサムネイルデータのデータ量が所定の上限を超えな!/、よ うに、量子化値を決定する。

[0350] 量子化部 502は、周波数特性変換部 452から供給された DCT係数を、制御部 501 力 供給された量子化値により除算することにより、 DCT係数を量子化し、量子化さ れた DCT係数を可変長符号化部 503に供給する。 Iピクチャ符号ィ匕部 453に入力さ れる DCT係数は、高周波成分が除去されるか、減衰させられているので、周波数特 性が変換される前の DCT係数に比較してより小さい値なので、量子化部 502におけ る再量子化において、その値が 0となる DCT係数が増加し、打ち切り次数も低くなる。

[0351] 可変長符号化部 503は、量子化された DCT係数を可変長符号に符号化することに より、 Iピクチャとして圧縮符号ィ匕されたサムネイルデータを生成して、生成した Iピクチ ャとして圧縮符号ィ匕されたサムネイルデータをバッファ 504に供給する。

[0352] ノッファ 504は、 Iピクチャとして圧縮符号ィ匕されているサムネイルデータを一時的に 記憶する。ノ ッファ 504は、記憶している、 Iピクチャとして圧縮符号ィ匕されているサム ネイルデータを出力する。

[0353] Iピクチャ符号ィ匕部 453に入力される DCT係数は、高周波成分が除去されるか、減 衰させられているので、 Iピクチャ符号化部 453は、より少ないデータ量のサムネイル データを出力することができる。

[0354] 図 52は、サムネイルデータの生成の他の処理を説明するフローチャートである。ス テツプ S361において、 Iピクチャ選択復号部 451は、ドライブ 44によって、ディスク 45 力も読み出された MPEG2プログラムストリームである動画像データのそれぞれの GOP 力も Iピクチャを抽出する（選択する）。ステップ S362において、 Iピクチャ選択復号部 451は、抽出した Iピクチャを DCT係数に復号する。

[0355] ステップ S363において、周波数特性変換部 452は、復号された DCT係数の高次 の成分を除去して、 DCT係数の周波数特性を変換する。ステップ S364において、 I ピクチャ符号ィ匕部 453は、周波数特性を変換した DCT係数を Iピクチャとして圧縮符 号化する。

ステップ S365において、ファイルフォーマット変換部 305は、 Iピクチャとして圧縮符 号ィ匕されたサムネイルデータのファイル方式を整えて、ステップ S361〖こ戻り、上述し た処理を繰り返す。

[0356] 図 53は、 1つの Iピクチャ毎の制御部 501による符号量の制御の処理を説明するフ ローチャートである。ステップ S381において、制御部 501は、ピクチャに符号の量を 割り当てる。例えば、ステップ S381において、制御部 501は、ピクチャに対する符号 量の目標値ではなぐピクチャに対する符号量の上限と所定のマージンとを考慮した 符号量をピクチャに割り当てる。より具体的には、ステップ S381において、制御部 50 1は、符号量の上限力 マージンを差し引いた値の符号量をピクチャに割り当てる。

[0357] これは、 Iピクチャとして圧縮符号ィ匕されたサムネイルデータのデータ量がステップ S 321における設定値を結果として超えてしまうことがあるので、上述したようにサムネィ ルの連続再生における VBVで示される制約を保証するためである。

[0358] ステップ S382において、制御部 501は、ピクチャに割り当てられた符号の量を基に 、最終的な量子化値を決定し、マクロブロックに符号の量を割り当て、処理は終了す る。

[0359] 次に、 MPEG2のシステムストリームが記録されているディスク 45力も MPEG2のシス テムストリームを読み出して、 MPEG2のシステムストリームに対応するサムネイルデー タを生成してディスク 45に記録したディスク 45からサムネイルデータを読み出して、 サムネイルを再生する記録再生装置について説明する。

[0360] 図 54は、 JPEG方式により圧縮符号ィ匕されているサムネイルデータ 81を基に、サム ネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一 実施の形態の他の構成を示すブロック図である。図 20に示す場合と同様の部分に 同一の符号を付してあり、その説明は適宜省略する。

[0361] ファイルフォーマット変換部 521は、マイクロコンピュータ 31の制御の基に、ドライブ 44によってディスク 45から読み出され、ノッファメモリ 43に記憶された、 PLF方式、 PL F方式のファイル 101から参照されるファイル方式、静止画像パッケージ方式、トラッ ク管理ファイル 131から参照されるロケーション関係データファイル方式、またはロケ ーシヨン関係データファイル 141から参照されるファイル方式のサムネイルデータ 81 を読み出す。

[0362] ファイルフォーマット変換部 521は、読み出したサムネイルデータ 81のファイル方式 を変換し、ファイル方式を変換したサムネイルデータ 81を JPEG復号部 522に供給す る。例えば、ファイルフォーマット変換部 521は、 PLF方式、 PLF方式のファイル 101 力も参照されるファイル方式、静止画像パッケージ方式、トラック管理ファイル 131か ら参照されるロケーション関係データファイル方式、またはロケーション関係データフ アイル 141から参照されるファイル方式のサムネイルデータ 81から、 JPEG方式で圧 縮符号ィ匕されているサムネイルデータ 81を抽出することにより、サムネイルデータ 81 のファイル方式を変換する。

[0363] JPEG復号部 522は、マイクロコンピュータ 31の制御の基に、ファイルフォーマット変 換部 521から供給された、 JPEG方式で圧縮符号ィ匕されているサムネイルデータ 81を 復号して、復号して得られたベースバンド画像であるサムネイルデータ 81をバッファ メモリ 35に記憶させる。

[0364] 図 55は、 JPEG復号部 522の構成を示すブロック図である。可変長符号デコーダ 54 1は、ファイルフォーマット変換部 521から供給された、可変長符号ィ匕されているサム ネイルデータ 81を復号して、復号したサムネイルデータ 81を逆量子化部 542に供給 する。逆量子化部 542は、復号したサムネイルデータ 81に含まれる係数毎に、所定 の値の逆量子化係数を乗算することにより、サムネイルデータ 81を逆量子化する。逆 量子化部 542は、逆量子化して得られたサムネイルデータ 81、すなわち DCT係数を 逆 DCT処理部 543に供給する。

[0365] 逆 DCT処理部 543は、逆量子化部 542から供給された DCT係数を逆 DCT変換す ることにより、圧縮されていない画像データである、いわゆるベースバンド画像データ を生成して、ベースバンド画像データを出力する。

[0366] 図 56は、 Iピクチャのストリームとして圧縮符号化されているサムネイルデータ 81を 基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブ ロックの一実施の形態の他の構成を示すブロック図である。図 20に示す場合と同様 の部分に同一の符号を付してあり、その説明は適宜省略する。

[0367] ファイルフォーマット変換部 561は、マイクロコンピュータ 31の制御の基に、ドライブ 44によってディスク 45から読み出され、ノッファメモリ 43に記憶された、 PLF方式、 PL F方式のファイル 101から参照されるファイル方式、静止画像パッケージ方式、トラッ ク管理ファイル 131から参照されるロケーション関係データファイル方式、またはロケ ーシヨン関係データファイル 141から参照されるファイル方式のサムネイルデータ 81 を読み出す。

[0368] ファイルフォーマット変換部 561は、読み出したサムネイルデータ 81のファイル方式 を変換し、ファイル方式を変換したサムネイルデータ 81を Iピクチャ復号部 562に供 給する。例えば、ファイルフォーマット変換部 561は、 PLF方式、 PLF方式のファイル 1 01から参照されるファイル方式、静止画像パッケージ方式、トラック管理ファイル 131 力 参照されるロケーション関係データファイル方式、またはロケーション関係データ ファイル 141から参照されるファイル方式のサムネイルデータ 81から、 Iピクチャのスト リームとして圧縮符号ィ匕されているサムネイルデータ 81を抽出することにより、サムネ ィルデータ 81のファイル方式を変換する。

[0369] Iピクチャ復号部 562は、マイクロコンピュータ 31の制御の基に、ファイルフォーマツ ト変換部 561から供給された、 Iピクチャのストリームとして圧縮符号ィ匕されているサム ネイルデータ 81を復号して、復号して得られたベースバンド画像であるサムネイルデ ータ 81をバッファメモリ 35に記憶させる。

[0370] 図 57は、 Iピクチャ復号部 562の構成を示すブロック図である。可変長符号デコー ダ 581は、ファイルフォーマット変換部 561から供給された、可変長符号化されている Iピクチャのデータを復号して、復号した Iピクチャのデータを逆量子化部 582に供給 する。逆量子化部 582は、復号した Iピクチャのデータの含まれる係数毎に、所定の 値の逆量子化係数を乗算することにより、 Iピクチャのデータを逆量子化する。逆量子 化部 582は、逆量子化して得られた Iピクチャのデータ、すなわち DCT係数を逆 DCT 処理部 583に供給する。

[0371] 逆 DCT処理部 583は、逆量子化部 582から供給された DCT係数を逆 DCT変換す ることにより、圧縮されていない画像データである、いわゆるベースバンド画像データ を生成して、ベースバンド画像データを出力する。

[0372] サムネイルデータ 81が、例えば、画像の高周波成分を除去するように周波数特性 が変換され、 Iピクチャのストリームとして圧縮符号ィ匕されている場合、サムネイルの画 素を間引 、て表示するようにしてもょ 、。

[0373] 図 58は、 Iピクチャのストリームとして圧縮符号化されているサムネイルデータ 81を 基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブ ロックの一実施の形態のさらに他の構成を示すブロック図である。図 56に示す場合と 同様の部分に同一の符号を付してあり、その説明は適宜省略する。

[0374] 画素間引部 591は、 Iピクチャ復号部 562から供給された、ベースバンド画像データ としてのサムネイルデータ 81において、サムネイルデータ 81の画素のうち、所定の位 置の画素を間引いて、画素を間引いたサムネイルデータ 81をバッファメモリ 35に記 憶させる。例えば、画素間引部 591は、サムネイルデータ 81の画素を、縦 2 X横 2の 4画素の組に分けて、それぞれの 4画素から 3つの画素を除去することにより、サムネ ィルデータ 81から、画素を間引く。

[0375] サムネイルデータ 81が、画像の高周波成分を除去するように周波数特性が変換さ れ、 Iピクチャのストリームとして圧縮符号ィ匕されている場合、画像のサイズは縮小され ていないので、画素間引部 591が画素を間引くことにより、画像のサイズを小さくする ことができる。

[0376] なお、画像の高周波成分を除去するように周波数特性が変換されて 、るサムネィ ルデータ 81において、折り返しが問題にならない場合には、画素間引部 591は、単 純に画素を間引くだけでよい。折り返しが問題になる場合には、画素間引部 591は、 画素を間引く前に、ローパスフィルタを通して帯域を制限した画像データから、画素 を間引くようにするのが好ましい。

[0377] このように、動画像に応じたピクチャを生成するようにした場合には、動画像に応じ たピクチャをデータ記録媒体に記録することができる。また、動画像の符号化の単位 であって、一定の数のピクチャ力もなる単位から、 1つのピクチャを抽出し、抽出され たピクチャの情報量を削減し、情報量が削減されたピクチャを所定の符号ィ匕方式で 符号化し、ピクチャが抽出された単位に、符号化されたピクチャを関係付け、動画像 を記録するデータ記録媒体への、単位に関係付けられたピクチャの記録を制御する ようにした場合には、動画像を再生する場合に、単位に関係付けられたピクチャを迅 速に再生することができるようになる。その結果、ユーザが、動画像の再生における 所望の時刻の内容を迅速に知ることができる。

[0378] また、データ記録媒体に記録されて!、るピクチャであって、動画像に応じたピクチャ を読み出しするようにした場合には、動画像に応じたピクチャを再生することができる 。また、動画像が記録されると共に、動画像の符号ィ匕の単位であって、一定の数のピ クチャ力 なる単位力 抽出され、情報量が削減され、所定の符号化方式で符号ィ匕 され、単位のそれぞれに関係付けられて 、るピクチャが記録されて 、るデータ記録媒 体からの、ユーザ力 の指令および動画像の単位との関係に基づぐピクチャの読み 出しを制御し、読み出されたピクチャを復号し、復号されたピクチャの表示を制御する ようにした場合には、単位に関係付けられたピクチャを迅速に再生することができるよ うになる。その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に 知ることができる。

[0379] なお、サムネイルを圧縮符号化する方式は、 JPEG方式、 Iピクチャとしての符号ィ匕に 限らず、 JPEG2000またはモーション JPEGなど、個々のサムネイルのデータ量を制御 できる符号ィ匕方式であればよい。また、動画像の符号ィ匕方式は、 MPEG2であると説 明したが、これに限らず、 MPEG4、 MPEG7など他の符号化方式であってもよい。

[0380] 上述した一連の処理は、ハードウェアにより実行させることもできる力 ソフトウェア により実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、 そのソフトウェアを構成するプログラム力 専用のハードウェアに組み込まれているコ ンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行 することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体力もインス トールされる。 [0381] この記録媒体は、図 3、図 20、図 35、図 40、図 46、図 54、図 56、または図 58に示 すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、 プログラムが記録されている、例えば、磁気ディスク (フレキシブルディスクを含む）、 光ディスク（CD- ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Di sc)を含む）、光磁気ディスク (MD(Mini- Disc) (商標）を含む）、若しくは半導体メモリ などよりなるパッケージメディアであるディスク 48により構成されるだけでなぐコンビュ ータに予め組み込まれた状態でユーザに提供される、プログラムが記録されて 、るマ イク口コンピュータに内蔵されている図示せぬ ROMや、図示せぬハードディスクなど で構成される。

[0382] なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデ ムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタ ル衛星放送と 、つた、有線または無線の通信媒体を介してコンピュータにインスト一 ノレされるようにしてちょい。

[0383] また、本明細書にぉ 、て、記録媒体に格納されるプログラムを記述するステップは、 記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に 処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

Claims

請求の範囲

[1] 動画像の符号ィ匕の単位であって、一定の数の画像力もなる単位から、 1つの前記 画像を抽出する抽出手段と、

抽出された前記画像の情報量を削減する削減手段と、

前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化手段 と、

前記抽出手段において前記画像が抽出された前記単位に、符号化された前記画 像を関係付ける関係付け手段と、

前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画 像の記録を制御する記録制御手段と

を備えることを特徴とする記録装置。

[2] 前記関係付け手段は、前記動画像のトラックに関係付けられるトラックであって、所 定のファイル方式におけるトラックに符号ィ匕された前記画像を配置することにより、前 記単位に符号化された前記画像を関係付ける

ことを特徴とする請求項 1に記載の記録装置。

[3] 前記関係付け手段は、前記動画像の前記単位の再生における時刻の範囲と、符 号化された前記画像とを対応させることにより、前記単位に符号化された前記画像を 関係付ける

ことを特徴とする請求項 1に記載の記録装置。

[4] 前記記録制御手段は、

再生における予め定めた時間の前記動画像を、前記データ記録媒体の連続する 第 1の領域に記録するように、前記データ記録媒体への前記動画像の記録を制御す ると共に、

前記データ記録媒体の前記第 1の領域への前記動画像の記録が終了した場合、 符号化された前記画像のデータ量が所定の閾値を超えたとき、前記データ記録媒体 の連続する第 2の領域に前記画像を記録するように、前記データ記録媒体への前記 画像の記録を制御する ことを特徴とする請求項 1に記載の記録装置。

[5] 前記符号化手段は、前記画像を静止画像の圧縮符号化方式で符号化する ことを特徴とする請求項 1に記載の記録装置。

[6] 前記符号化手段は、その前記画像のみで復号ができるように、動画像の圧縮符号 化方式で前記画像を符号化する

ことを特徴とする請求項 1に記載の記録装置。

[7] 前記削減手段は、前記画像の画素を間引くことにより、前記画像の情報量を削減 する

ことを特徴とする請求項 1に記載の記録装置。

[8] 前記削減手段は、前記画像の高周波成分を除去することにより、前記画像の情報 量を削減する

ことを特徴とする請求項 1に記載の記録装置。

[9] 動画像の符号ィ匕の単位であって、一定の数の画像力もなる単位から、 1つの前記 画像を抽出する抽出ステップと、

抽出された前記画像の情報量を削減する削減ステップと、

前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化ステ ップと、 前記抽出ステップにおいて前記画像が抽出された前記単位に、符号化され た前記画像を関係付ける関係付けステップと、

前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画 像の記録を制御する記録制御ステップと

を含むことを特徴とする記録方法。

[10] 動画像の符号ィ匕の単位であって、一定の数の画像力もなる単位から、 1つの前記 画像を抽出する抽出ステップと、

抽出された前記画像の情報量を削減する削減ステップと、

前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化ステ ップと、 前記抽出ステップにおいて前記画像が抽出された前記単位に、符号化され た前記画像を関係付ける関係付けステップと、

前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画 像の記録を制御する記録制御ステップと

を含むことを特徴とする記録処理をコンピュータに実行させるプログラムが記録され ている記録媒体。

[11] 動画像の符号ィ匕の単位であって、一定の数の画像力もなる単位から、 1つの前記 画像を抽出する抽出ステップと、

抽出された前記画像の情報量を削減する削減ステップと、

前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化ステ ップと、 前記抽出ステップにおいて前記画像が抽出された前記単位に、符号化され た前記画像を関係付ける関係付けステップと、

前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画 像の記録を制御する記録制御ステップと

をコンピュータに実行させることを特徴とするプログラム。

[12] 動画像が記録されると共に、前記動画像の符号ィ匕の単位であって、一定の数の画 像力 なる単位力 抽出され、情報量が削減され、所定の符号化方式で符号化され 、前記単位のそれぞれに関係付けられて ヽる前記画像が記録されて ヽるデータ記録 媒体からの、ユーザ力 の指令および前記動画像の前記単位との関係に基づぐ前 記画像の読み出しを制御する読み出し制御手段と、

読み出された前記画像を復号する復号手段と、

復号された前記画像の表示を制御する表示制御手段と

を備えることを特徴とする再生装置。

[13] 前記読み出し制御手段は、前記ユーザから早送りまたは巻き戻しが指令された場 合、前記画像のみを読み出しするように、前記データ記録媒体からの前記画像の読 み出しを制御する

ことを特徴とする請求項 12に記載の再生装置。

[14] 前記復号手段は、静止画像の圧縮符号化方式で符号化されて ヽる前記画像を復 号する

ことを特徴とする請求項 12に記載の再生装置。

[15] 前記復号手段は、その前記画像のみで復号ができるように、動画像の圧縮符号ィ匕 方式で符号化されて ヽる前記画像を復号する

ことを特徴とする請求項 12に記載の再生装置。

[16] 動画像が記録されると共に、前記動画像の符号ィ匕の単位であって、一定の数の画 像力 なる単位力 抽出され、情報量が削減され、所定の符号化方式で符号化され 、前記単位のそれぞれに関係付けられて ヽる前記画像が記録されて ヽるデータ記録 媒体からの、ユーザ力 の指令および前記単位との関係に基づぐ前記画像の読み 出しを制御する読み出し制御ステップと、

読み出された前記画像を復号する復号ステップと、

復号された前記画像の表示を制御する表示制御ステップと

を含むことを特徴とする再生方法。

[17] 動画像が記録されると共に、前記動画像の符号ィ匕の単位であって、一定の数の画 像力 なる単位力 抽出され、情報量が削減され、所定の符号化方式で符号化され 、前記単位のそれぞれに関係付けられて ヽる前記画像が記録されて ヽるデータ記録 媒体からの、ユーザ力 の指令および前記単位との関係に基づぐ前記画像の読み 出しを制御する読み出し制御ステップと、

読み出された前記画像を復号する復号ステップと、

復号された前記画像の表示を制御する表示制御ステップと

を含むことを特徴とする再生処理をコンピュータに実行させるプログラムが記録され ている記録媒体。

[18] 動画像が記録されると共に、前記動画像の符号ィ匕の単位であって、一定の数の画 像力 なる単位力 抽出され、情報量が削減され、所定の符号化方式で符号化され 、前記単位のそれぞれに関係付けられて ヽる前記画像が記録されて ヽるデータ記録 媒体からの、ユーザ力 の指令および前記単位との関係に基づぐ前記画像の読み 出しを制御する読み出し制御ステップと、

読み出された前記画像を復号する復号ステップと、

復号された前記画像の表示を制御する表示制御ステップと

をコンピュータに実行させることを特徴とするプログラム。