JP4221669B2 - 記録装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は記録装置および方法、記録媒体、並びにプログラムに関し、特に、動画像をデータ記録媒体に記録するか、データ記録媒体に記録されている動画像を再生する記録装置および方法、記録媒体、並びにプログラムに関する。

動画像をデジタル記録するコンスーマ機器が一般に利用されるようになって久しいが、近年、その動画像を記録するデータ記録媒体の主流が、テープからディスクに代わりつつある。ディスクであるデータ記録媒体を利用することにより、動画像（のデータ）へのランダムアクセスが可能となり、動画像の再生時間における時間軸上の位置が離れてる画像であっても素早く再生することができるようになる。すなわち、より迅速に、いわゆる頭出し再生を行ったり、つまみ食いのように、動画像の所望の部分をつなぎ合わせた、いわゆる非破壊編集コンテンツを作ることも簡単になってきた。

頭出しや編集のポイントを探すためには、記録されている動画像を再生しなければならず、動画像が符号化されている場合、復号しなければ動画像を表示することはできない。

ところが、MPEG（Moving Pictures Experts Group）２方式のプログラムストリームとして符号化されている動画像を復号する場合、GOP（Group of Pictures）を単位として動画像が符号化されているので、データストリームから復号したい部分を探して、抜き出して、復号しなければならない。この場合に要求される制御は、複雑で、処理に時間がかかる。

このように、符号化されている動画像の、所望のポイントの画像を迅速に行うことは困難である。

一方、符号化されている動画像のデータ記録媒体への記録方式も各種提案されている。

図１は、動画像の再生における予め定めた時間を単位として、データ記録媒体の連続する領域に動画像を記録する記録方式を説明する図である。

ストリームユニット１１−１乃至ストリームユニット１１−６は、動画像の再生における予め定めた時間に分割された動画像のデータである。ストリームユニット１１−１乃至ストリームユニット１１−６のそれぞれは、データ記録媒体の連続した領域に記録される。

図１で示される記録方式により記録されている動画像をデータ記録媒体から読み出す場合、ストリームユニット１１−１乃至ストリームユニット１１−６のそれぞれは、連続して読み出される。ストリームユニット１１−１乃至ストリームユニット１１−６のうちの１つを読み出してから、ストリームユニット１１−１乃至ストリームユニット１１−６のうちの他を読み出す場合には、その間に、シーク時間または回転待ち時間が必要となる。

図２は、従来の編集ポイントの検索表示の処理を説明するフローチャートである。ステップＳ１１において、データ記録媒体上の動画像の記録位置を示す管理情報が格納されている管理情報ファイルが読み出される。ステップＳ１２において、読み出された管理情報ファイルを基に、最初のフレームのストリームデータが、データ記録媒体であるディスクから読み出される。

ステップＳ１３において、読み出されたストリームデータがバッファに記憶される。ステップＳ１４において、符号化されているストリームデータが伸張される（復号される）。ステップＳ１５において、ストリームデータの伸張により得られた動画像データおよび音声データが後段のバッファに記憶される。ステップＳ１６において、後段のバッファから動画像データおよび音声データが順次読み出されて、動画像データを基に、動画像が表示されると共に、音声データを基に、音声が出力される。

ステップＳ１７において、ユーザから次のポイントへの移動が指示されたか否かが判定される。ステップＳ１７において、次のポイントへの移動が指示されていないと判定された場合、動画像の表示および音声の出力が継続されたまま、ステップＳ１７に戻り、判定の処理が繰り返される。

ステップＳ１７において、次のポイントへの移動が指示されたと判定された場合、ステップＳ１８に進み、読み出された管理情報ファイルを基に、指示されたポイントのフレームのストリームデータが、データ記録媒体であるディスクから読み出される。

ステップＳ１９において、読み出されたストリームデータがバッファに記憶される。ステップＳ２０において、符号化されているストリームデータが伸張される（復号される）。ステップＳ２１において、ストリームデータの伸張により得られた動画像データおよび音声データが後段のバッファに記憶される。ステップＳ２２において、後段のバッファから動画像データおよび音声データが順次読み出されて、動画像データを基に、指示されたポイントの動画像が表示されると共に、音声データを基に、指示されたポイントの音声が出力される。

手続きは、ステップＳ１７に戻り、ユーザからの指示に応じて、データ記録媒体であるディスクから指示されたポイントのフレームのストリームデータが読み出されて、復号されて、動画像を表示させて、音声を出力する処理が繰り返される。

また、入力されたＡＶストリームから抽出された特徴的な画像を指し示すマークで構成されるClipMarkを、ＡＶストリームを管理するための管理情報として生成するとともに、ＡＶストリーム中の所定の区間の組み合わせを定義するPlayListに対応する再生区間の中から、ユーザが任意に指定した画像を指し示すマークから構成されるPlayListMarkを生成し、ClipMark、およびPlayListMarkを各々独立したテーブルとして記録媒体に記録するようにしているものもある（例えば、特許文献１参照）。

特開２００２−１５８９６５号公報

このように、頭出しや編集のポイントを探す場合、符号化されている動画像をいちいち復号して表示しなければならず、迅速に、表示することは困難であった。その結果、頭出しや編集のポイントの探索に時間がかかるという問題があった。

本願発明はこのような状況に鑑みてなされたものであり、動画像の符号化の単位であって、画像からなる単位に関係付けられた画像を迅速に再生することができるようにし、その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に知ることができるようにするものである。

本発明の記録装置は、動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの画像を抽出する抽出手段と、抽出された画像の情報量を削減する削減手段と、情報量が削減された画像を所定の符号化方式で符号化する符号化手段と、抽出手段において画像が抽出された単位に、符号化された画像を関係付ける関係付け手段と、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の記録を制御する記録制御手段とを備え、記録制御手段は、再生における予め定めた時間の動画像を、データ記録媒体の連続する第１の領域に記録するように、データ記録媒体への動画像の記録を制御すると共に、データ記録媒体の第１の領域への動画像の記録が終了した場合、符号化された画像のデータ量が所定の閾値を超えたとき、データ記録媒体の連続する第２の領域に画像を記録するように、データ記録媒体への画像の記録を制御することを特徴とする。

本発明の記録方法は、動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの画像を抽出する抽出ステップと、抽出された画像の情報量を削減する削減ステップと、情報量が削減された画像を所定の符号化方式で符号化する符号化ステップと、抽出ステップにおいて画像が抽出された単位に、符号化された画像を関係付ける関係付けステップと、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の記録を制御する記録制御ステップとを含み、記録制御ステップの処理によって、再生における予め定めた時間の動画像を、データ記録媒体の連続する第１の領域に記録するように、データ記録媒体への動画像の記録を制御すると共に、データ記録媒体の第１の領域への動画像の記録が終了した場合、符号化された画像のデータ量が所定の閾値を超えたとき、データ記録媒体の連続する第２の領域に画像を記録するように、データ記録媒体への画像の記録を制御することを特徴とする。

本発明の記録媒体のプログラムは、動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの画像を抽出する抽出ステップと、抽出された画像の情報量を削減する削減ステップと、情報量が削減された画像を所定の符号化方式で符号化する符号化ステップと、抽出ステップにおいて画像が抽出された単位に、符号化された画像を関係付ける関係付けステップと、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の記録を制御する記録制御ステップとを含み、記録制御ステップの処理によって、再生における予め定めた時間の動画像を、データ記録媒体の連続する第１の領域に記録するように、データ記録媒体への動画像の記録を制御すると共に、データ記録媒体の第１の領域への動画像の記録が終了した場合、符号化された画像のデータ量が所定の閾値を超えたとき、データ記録媒体の連続する第２の領域に画像を記録するように、データ記録媒体への画像の記録を制御することを特徴とする。

本発明のプログラムは、動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの画像を抽出する抽出ステップと、抽出された画像の情報量を削減する削減ステップと、情報量が削減された画像を所定の符号化方式で符号化する符号化ステップと、抽出ステップにおいて画像が抽出された単位に、符号化された画像を関係付ける関係付けステップと、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の記録を制御する記録制御ステップとを含み、記録制御ステップの処理によって、再生における予め定めた時間の動画像を、データ記録媒体の連続する第１の領域に記録するように、データ記録媒体への動画像の記録を制御すると共に、データ記録媒体の第１の領域への動画像の記録が終了した場合、符号化された画像のデータ量が所定の閾値を超えたとき、データ記録媒体の連続する第２の領域に画像を記録するように、データ記録媒体への画像の記録を制御する処理をコンピュータに実行させることを特徴とする。

記録装置は、独立した装置であっても良いし、記録再生装置の記録処理を行うブロック
であっても良い。

本発明の記録装置および方法、記録媒体、並びにプログラムにおいては、動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの画像が抽出され、抽出された画像の情報量が削減され、情報量が削減された画像が所定の符号化方式で符号化され、画像が抽出された単位に、符号化された画像が関係付けられ、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の記録が制御され、再生における予め定めた時間の動画像を、データ記録媒体の連続する第１の領域に記録するように、データ記録媒体への動画像の記録が制御され、データ記録媒体の第１の領域への動画像の記録が終了した場合、符号化された画像のデータ量が所定の閾値を超えたとき、データ記録媒体の連続する第２の領域に画像を記録するように、データ記録媒体への画像の記録が制御される。

以上のように、本発明によれば、動画像に応じた画像をデータ記録媒体に記録させることができる。

また、本発明によれば、動画像を再生する場合に、単位に関係付けられた画像を迅速に再生することができるようになる。その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に知ることができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の記録装置は、動画像の符号化の単位であって、一定の数のピクチャからなる単位（例えば、図４のGOP）から、１つのピクチャを抽出する抽出手段（例えば、図３の抽出部５１）と、抽出されたピクチャの情報量を削減する削減手段（例えば、図３の画素数変換部４０）と、情報量が削減されたピクチャを所定の符号化方式で符号化する符号化手段（例えば、図３の静止画像圧縮部４１）と、抽出手段においてピクチャが抽出された単位に、符号化されたピクチャを関係付ける関係付け手段（例えば、図１８のステップＳ５６の処理を実行する図３のマイクロコンピュータ３１）と、動画像を記録するデータ記録媒体（例えば、図３のディスク４５）への、単位に関係付けられたピクチャの記録を制御する記録制御手段（例えば、図１９のステップＳ７７の処理を実行する図３のマイクロコンピュータ３１）とを備え、記録制御手段は、再生における予め定めた時間の動画像を、データ記録媒体の連続する第１の領域に記録するように、データ記録媒体への動画像の記録を制御すると共に、データ記録媒体の第１の領域への動画像の記録が終了した場合、符号化された画像のデータ量が所定の閾値を超えたとき、データ記録媒体の連続する第２の領域に画像を記録するように、データ記録媒体への画像の記録を制御することを特徴とする。

請求項２に記載の記録方法は、動画像の符号化の単位であって、一定の数のピクチャからなる単位（例えば、図４のGOP）から、１つのピクチャを抽出する抽出ステップ（例えば、図１８のステップＳ５３の処理）と、抽出されたピクチャの情報量を削減する削減ステップ（例えば、図１８のステップＳ５４の処理）と、情報量が削減されたピクチャを所定の符号化方式で符号化する符号化ステップ（例えば、図１８のステップＳ５５の処理）と、抽出ステップにおいてピクチャが抽出された単位に、符号化されたピクチャを関係付ける関係付けステップ（例えば、図１８のステップＳ５６の処理）と、動画像を記録するデータ記録媒体（例えば、図３のディスク４５）への、単位に関係付けられたピクチャの記録を制御する記録制御ステップ（例えば、図１９のステップＳ７７の処理）とを含み、記録制御ステップの処理によって、再生における予め定めた時間の動画像を、データ記録媒体の連続する第１の領域に記録するように、データ記録媒体への動画像の記録を制御すると共に、データ記録媒体の第１の領域への動画像の記録が終了した場合、符号化された画像のデータ量が所定の閾値を超えたとき、データ記録媒体の連続する第２の領域に画像を記録するように、データ記録媒体への画像の記録を制御することを特徴とする。

請求項４に記載のプログラムは、動画像の符号化の単位であって、一定の数のピクチャからなる単位（例えば、図４のGOP）から、１つのピクチャを抽出する抽出ステップ（例えば、図１８のステップＳ５３の処理）と、抽出されたピクチャの情報量を削減する削減ステップ（例えば、図１８のステップＳ５４の処理）と、情報量が削減されたピクチャを所定の符号化方式で符号化する符号化ステップ（例えば、図１８のステップＳ５５の処理）と、抽出ステップにおいてピクチャが抽出された単位に、符号化されたピクチャを関係付ける関係付けステップ（例えば、図１８のステップＳ５６の処理）と、動画像を記録するデータ記録媒体（例えば、図３のディスク４５）への、単位に関係付けられたピクチャの記録を制御する記録制御ステップ（例えば、図１９のステップＳ７７の処理）とを含み、記録制御ステップの処理によって、再生における予め定めた時間の動画像を、データ記録媒体の連続する第１の領域に記録するように、データ記録媒体への動画像の記録を制御すると共に、データ記録媒体の第１の領域への動画像の記録が終了した場合、符号化された画像のデータ量が所定の閾値を超えたとき、データ記録媒体の連続する第２の領域に画像を記録するように、データ記録媒体への画像の記録を制御する処理をコンピュータに実行させることを特徴とする。

このプログラムは記録媒体（例えば、図３のディスク４８）に記録することができる。

図３は、本発明の係る記録装置の一実施の形態の構成を示すブロック図である。図３で示される記録装置は、マイクロコンピュータ３１乃至モードダイアル４６を含むように構成される。

マイクロコンピュータ３１は、例えば、ROM（Read Only Memory）、RAM（Random Access Memory）、シリアルインターフェース、またはパラレルインターフェースなどを内蔵する、いわゆる組み込み型のマイクロコンピュータである。マイクロコンピュータ３１は、所定の制御プログラムを実行して、記録装置の全体を制御する。マイクロコンピュータ３１は、所定の制御プログラムを実行して、ユーザの操作に応じた記録開始停止ボタン３２からの信号を基に、記録装置の各部に動作を指示する。マイクロコンピュータ３１は、所定の制御プログラムを実行して、バッファ４３に記憶されているデータのファイル方式を整える。

撮影部３３は、レンズや絞りなどの光学系およびCCD（Charge Coupled Device）またはCMOS（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子からなり、動画像である被写体の画像を撮影して、撮影の結果得られた動画像の画像信号を動画像入力インターフェース３４に供給する。動画像入力インターフェース３４は、撮影部３３とバッファメモリ３５とのインターフェースであり、例えば、撮影部３３から供給された画像信号をアナログデジタル変換したり、シリアルパラレル変換するなど、画像信号を所定の方式の動画像の画像データに変換して、その画像データをバッファメモリ３５に供給する。

音声変換部３６は、例えば、マイクロフォンなどからなり、被写体からの音声またはその周囲の音声を取得して、取得した音声に対応する音声信号を音声入力インターフェース３７に供給する。音声変換部３６から出力される音声信号は、撮影部３３から出力される画像信号に同期している。音声入力インターフェース３７は、音声変換部３６とバッファメモリ３５とのインターフェースであり、例えば、音声変換部３６から供給された音声信号をアナログデジタル変換したり、シリアルパラレル変換するなど、音声信号を所定の方式の音声データに変換して、その音声データをバッファメモリ３５に供給する。

バッファメモリ３５は、例えば、半導体メモリからなり、動画像入力インターフェース３４から供給された画像データ、および音声入力インターフェース３７から供給された音声データを一時的に記憶する。バッファメモリ３５は、記憶している画像データを動画像圧縮部３８および画素数変換部４０に供給する。また、バッファメモリ３５は、記憶している音声データを音声圧縮部４２に供給する。

動画像圧縮部３８は、マイクロコンピュータ３１の制御の基に、バッファメモリ３５から供給された、動画像の画像データを所定の方式で圧縮符号化して、圧縮符号化された画像データをマルチプレクサ３９に供給する。例えば、動画像圧縮部３８は、バッファメモリ３５から供給された、動画像の画像データをMPEG２方式で圧縮符号化して、圧縮符号化された画像データをマルチプレクサ３９に供給する。

画素数変換部４０は、マイクロコンピュータ３１の制御の基に、動画像の画像データから所定のピクチャ（フレームまたはフィールド）を抽出し、抽出したピクチャの画素数を変換する。例えば、画素数変換部４０は、抽出したピクチャから画素を間引くことにより、ピクチャの画素数を変換する。

画素数変換部４０には、抽出部５１が設けられている。抽出部５１は、例えば、図４で示されるように、動画像圧縮部３８においてMPEG２方式で圧縮符号化される動画像の画像データのうち、１つのGOPから１つのフレーム（ピクチャ）を抽出する。

より具体的には、例えば、動画像圧縮部３８が、１秒あたり３０フレームの動画像を、連続する１５フレームからなるGOPを単位として圧縮符号化する場合、抽出部５１は、それぞれのGOPを構成する１５のフレームから１つのフレームを抽出する。

例えば、画素数変換部４０は、それぞれのGOPから抽出されたフレームから画素を間引いて画素数を変換する。

画像数変換部４０は、画素数を変換した画像データを静止画像圧縮部４１に供給する。静止画像圧縮部４１は、マイクロコンピュータ３１の制御の基に、画素数変換部４０から供給された画像データを、静止画像を圧縮する圧縮符号化方式で符号化する。例えば、静止画像圧縮部４１は、画素数変換部４０から供給された画像データを、JPEG（Joint Photographic Experts Group）方式で符号化する。静止画像圧縮部４１は、符号化した画像データをサムネイルデータとしてバッファメモリ４３に供給する。

音声圧縮部４２は、マイクロコンピュータ３１の制御の基に、バッファメモリ３５から供給された、音声データを所定の方式で圧縮符号化して、圧縮符号化された音声データをマルチプレクサ３９に供給する。音声圧縮部４２から出力される音声データは、動画像圧縮部３８から出力される画像データに同期している。例えば、音声圧縮部４２は、バッファメモリ３５から供給された、音声データをAC3（Audio Code Number 3（Dolby Digital（商標））方式で圧縮符号化して、圧縮符号化された音声データをマルチプレクサ３９に供給する。

マルチプレクサ３９は、動画像圧縮部３８から供給された画像データ、および音声圧縮部４２から供給された音声データを多重化して、多重化された画像データおよび音声データをバッファメモリ４３に供給する。例えば、マルチプレクサ３９は、画像データおよび音声データをMPEG２のシステムストリーム方式として多重化して、多重化により生成された、画像データおよび音声データからなるMPEG２のシステムストリーム方式のデータをバッファメモリ４３に供給する。

バッファメモリ４３は、マルチプレクサ３９から供給された多重化された画像データおよび音声データ、並びに静止画像圧縮部４１から供給されたサムネイルデータを一時的に記憶する。

マイクロコンピュータ３１は、バッファメモリ４３に記憶されているサムネイルデータの方式を整えて、所定のファイル方式とする。サムネイルデータのファイル方式については、図７乃至図１３を参照して後述する。

ドライブ４４は、バッファメモリ４３から、多重化された画像データおよび音声データ、並びに所定のファイル方式とされたサムネイルデータを読み出して、データ記録媒体の一例であるディスク４５に記録する。ディスク４５は、磁気ディスク、光ディスク、または光磁気ディスクなどである。

図５は、ディスク４５に記録されたサムネイルデータの一例を示す図である。サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれは、１つのサムネイルを表示させるためのデータである。ディスク４５において、ECC（Error Correction Coding）によりエラー訂正される単位が１２キロバイトであるとした場合、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれは、１２キロバイト以下に圧縮される。

ここで、例えば、ECC（Error Correction Coding）によりエラー訂正されるデータの単位は、データの記録が管理される単位である、１つのクラスタに記録される。

サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれは、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク４５に記録される。この場合、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのいずれかが、１２キロバイト未満であるとき、１２キロバイト未満であるサムネイルデータ８１−１乃至サムネイルデータ８１−ｎのいずれかには、１２キロバイトとなるように任意にデータ列が付加される。任意のデータ列の付加により１２キロバイトとされたサムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれは、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク４５に記録される。

例えば、図５で示す例において、サムネイルデータ８１−１は、１２キロバイト未満なので、１２キロバイトとなるように任意にデータ列が付加され、１２キロバイトとされたサムネイルデータ８１−１が、１つのクラスタに記録される。

例えば、図５で示す例において、サムネイルデータ８１−ｎは、１２キロバイトなので、任意にデータ列は付加されることなく、そのまま、１つのクラスタに記録される。

このようにすると、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのうちの１つを読み出す場合、１つのクラスタからデータを読み出せば良いので、より迅速にディスク４５からサムネイルデータ８１−１乃至サムネイルデータ８１−ｎを読み出すことができる。

以下、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎを個々に区別する必要がない場合、単にサムネイルデータ８１と称する。

モードダイアル４６は、ユーザの操作に応じて、記録装置の動作モードを指示する信号をマイクロコンピュータ３１に供給する。例えば、動作モードを変更することによって、記録される画像データの１つのフレーム（ピクチャ）の画素数を変化させたり、サムネイルデータを記録するか否かを変更させることができる。

ドライブ４７は、必要に応じて記録装置に装着される。ドライブ４７は、制御プログラムを記録しているディスク４８からプログラムを読み出して、マイクロコンピュータ３１に供給する。マイクロコンピュータ３１は、内蔵している書き換え可能なROMまたはRAMに、ディスク４８から読み出されたプログラムを記憶させて、そのプログラムを実行する。ドライブ４７およびディスク４８の機能をドライブ４４およびディスク４５で置き換えることも可能である。

図６は、多重化されている動画像データおよび音声データと、サムネイルデータとの同期を説明する図である。図６において、MPEGトラックは、動画像データおよび音声データからなり、サムネイルトラックは、サムネイルデータからなる。図６において、１つの四角は、１つの画像を示す。ここで、トラックとは、一連の画像または音声の系列である。

例えば、MPEG２のシステムストリーム方式のデータを構成する動画像データが、１５のフレームからなるGOPを単位として符号化され、サムネイルデータが、それぞれのGOPのフレームのうちの１つのフレームから生成される場合、MPEG２のシステムストリームにおける１つのＧＯＰと、１つのサムネイルデータとが対応することになる。この場合、１つのサムネイルデータは、動画像の再生における、０．５秒の時間に対応することになる。

図７乃至図１３を参照して、１つのＧＯＰに対応付けられたサムネイルデータ８１のファイル方式を説明する。

サムネイルデータ８１のファイル方式として、Quick Time（商標）ファイルフォーマットを利用することができる。以下、Quick Time（商標）ファイルフォーマットをQTファイルフォーマットと称する。

QTファイルフォーマットにおいて、動画像データ、音声データ、または静止画像データなどがまとめられて、それぞれブロック化され、また、ブロック化された動画像データ、音声データ、または静止画像データなどを管理するための管理情報も、それぞれまとめてブロック化される。このようなブロックは、基本的なデータの単位であり、アトムと称される。ブロック化された動画像データ、音声データ、または静止画像データなどは、トラックごとに管理され、その情報はトラックアトムと称される。また、複数のトラックをまとめて１つの動画データとして管理する情報は、ムービーアトムと称される。

なお、１つのムービーデータアトムは、１つのトラックに対応する。

図７は、サムネイルデータ８１を格納する、QTファイルフォーマットの一例であるPlaylist File（PLF）方式のファイルの例を説明する図である。サムネイルデータ８１を格納する、PLF方式ファイル１０１の先頭には、ファイルのタイプを記述するデータ（図中のファイルタイプデータ）が配置され、ファイルのタイプを記述するデータの次に、ファイルプロファイルを記述するデータ（図中のプロファイルデータ）が配置される。

例えば、ファイルのタイプを記述するデータは、ISO（International Organization for Standardization）のBaseMediaFileFormat(ISO14496-12)のMP4拡張(ISO14496-14)に準拠した方式とすることができる。また、例えば、ファイルのプロファイルを記述するデータには、PLF方式であることを示す値が設定される。

PLF方式ファイル１０１において、ファイルプロファイルを記述するデータに続いて、ムービーアトム（図中のmoovで示すデータ）が配置される。図７のムービーアトムに配置されるビデオトラックのトラックアトム（図中のtrak（vide）で示すデータ）は、サムネイルデータ８１の管理情報である。図７のムービーアトムに配置されるMPEG２のシステムストリーム（MPEG２プログラムストリーム）トラックのトラックアトム（図中のtrak（MPEG２プログラムストリーム）で示すデータ）は、動画像データおよび音声データが多重化されているMPEG２のシステムストリームの管理情報である。

トラックアトムのメディアアトム（図中のmdiaで示すデータ）には、対応するムービーデータアトムの圧縮方式、格納場所、表示時間などを管理する管理情報が格納される。メディアアトムにおけるメディア情報アトム（図中のminfで示すデータ）には、最小の管理単位であるサンプルに関係する各種の情報が配置される。例えば、MPEG２のシステムストリーム（MPEG２プログラムストリーム）トラックにおいて、サンプルは、１つのフレームであり、サムネイルデータ８１のビデオトラックにおいて、サンプルは、１つのサムネイルデータ８１である。

メディア情報アトムにおけるサンプルテーブルアトム（図中のstblで示すデータ）には、個々のサンプルに関係する各種の情報が配置される。サンプルテーブルアトムにおける時間サンプルアトム（図中のsttsで示すデータ）には、各サンプルと再生における時刻との関係が記述される。サンプルテーブルアトムにおけるサンプルチャンクアトム（図中のstscで示すデータ）には、サンプルと、そのサンプルから構成されるチャンクとの関係が記述される。

ここで、チャンクとは、複数のサンプルの集合よりなるトラックにおけるデータの単位である。

また、サンプルテーブルアトムにおけるサンプルサイズアトム（図中のstszで示すデータ）には、各サンプルのデータ量が記述される。サンプルテーブルアトムにおけるチャンクオフセットアトム（図中のstcoで示すデータ）には、ファイルの先頭を基準にした各チャンクの位置情報が記述される。

さらに、PLF方式ファイル１０１には、ムービーデータアトム（図中のmdatで示すデータ）として、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎが格納されている。PLF方式ファイル１０１において、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎは、順に配置される。

すなわち、図７のムービーアトムのトラックアトムの時間サンプルテーブルアトムには、ムービーデータアトムとしてのサムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれの、再生における時刻が記述される。

これにより、図６で示されるように、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれを、MPEG２のシステムストリームの１つのGOPに対応させて、再生することができるようになる。

このようにサムネイルデータ８１−１乃至サムネイルデータ８１−ｎをPLF方式ファイル１０１に格納するようにした場合、ディスク４５に記録されるファイルの数をより少なくすることができる。

図８は、PLF方式ファイル１０１とは別に、サムネイルデータ８１を格納したファイルを説明する図である。図８で示されるファイル１１１は、PLF方式ファイル１０１から参照される、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎを格納するファイルである。ファイル１１１には、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎが順に配置される。

この場合、PLF方式ファイル１０１のトラックアトムのメディアインフォメーションアトム（図中のminfで示すデータ）には、例えば、ファイル１１１の格納場所（パスおよびファイル名）など、ファイル１１１を参照するための管理情報が格納される。

これにより、PLF方式ファイル１０１に、ムービーデータアトムとしてサムネイルデータ８１を格納せずに、サムネイルデータ８１を外部の参照される独自の方式のファイル１１１として記録し、PLF方式ファイル１０１を基に、サムネイルデータ８１を再生することができる。この場合においても、PLF方式ファイル１０１には、ファイル１１１に格納されているサムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれの、再生における時刻が記述されるので、図６で示されるように、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれを、MPEG２のシステムストリームの１つのGOPに対応させて、再生することができる。

また、PLF方式のファイル１０１によって参照されるファイルとして、静止画像パッケージ方式のファイルにサムネイルデータ８１を格納することもできる。

図９は、サムネイルデータ８１を格納する、静止画像パッケージ方式のファイルの例を説明する図である。静止画像パッケージ方式のファイルである静止画像パッケージ方式ファイル１２１は、PLF方式のファイル１０１と同様のデータ構造であり、図９において、図７に示す場合と同様のデータには、同様の名前を記載しているので、その説明は省略する。

静止画像パッケージ方式ファイル１２１のファイルのプロファイルを記述するデータには、静止画像パッケージ方式であることを示す値が設定される。

静止画像パッケージ方式ファイル１２１には、サムネイルデータ８１の管理情報である、トラックアトム（図中のtrak（vide）で示すデータ）が格納される。静止画像パッケージ方式ファイル１２１は、PLF方式のファイル１０１によって参照されるファイルなので、静止画像パッケージ方式ファイル１２１には、MPEG２のシステムストリームのトラックアトムは格納されない。

静止画像パッケージ方式ファイル１２１におけるトラックアトムは、PLF方式のファイル１０１におけるトラックアトムと同様に記述される。また、静止画像パッケージ方式ファイル１２１には、ムービーデータアトム（図中のmdatで示すデータ）として、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎが格納されている。

さらに、動画像における時間の範囲であるロケーションのそれぞれに、個々に対応させた複数のメタデータまたは画像データを格納するファイル方式である、ロケーション関係データファイル方式のファイルにサムネイルデータ８１−１乃至サムネイルデータ８１−ｎを格納し、トラックに関係する管理情報を格納するトラック管理ファイル方式のファイルによって、再生における時刻を記述するようにしてもよい。

図１０は、この場合のトラック管理ファイル方式のファイルの例を示す図であり、図１１は、この場合のロケーション関係データファイル方式のファイルの例を示す図である。

トラック管理ファイル１３１においてビデオトラックを利用することはできないので、図１０で示されるように、トラック管理ファイル１３１における最初のトラックアトム（図中のtrak（タイムロケーションデータ）で示すデータ）は、図１１で示されるロケーション関係データファイル１４１の管理情報とされ、トラック管理ファイル１３１における次のトラックアトム（図中のtrak（MPEG２プログラムストリーム）で示すデータ）は、動画像データおよび音声データが多重化されているMPEG２のシステムストリームの管理情報とされる。

ロケーション関係データファイル１４１に対するトラックアトムにおいて、サンプルは、ロケーション関係データファイル１４１格納されている、複数のロケーションに対するデータのそれぞれである。すなわち、ロケーション関係データファイル１４１に対するトラックアトムにおける、メディア情報アトム（図中のminfで示すデータ）には、ロケーション関係データファイル１４１における複数のロケーションに対する各データに関する情報が格納される。ロケーション関係データファイル１４１に対するトラックアトムにおける、メディア情報アトムのサンプルテーブルアトムにおける時間サンプルアトム（図中のsttsで示すデータ）には、サンプルである、ロケーション関係データファイル１４１における複数のロケーションに対するデータのそれぞれと再生における時刻との関係が記述される。

図１１で示されるように、ロケーション関係データファイル１４１には、ロケーション毎にデータが格納される。

ここで、ロケーションとは、図１２で示されるように、動画像における時間の範囲であり、複数のロケーションのそれぞれは、他のロケーションと重複することなく、また、隙間があくことなく、順に連続するように配置される。すなわち、ロケーションを順に指定することによって、経過する時間の範囲を順に指定することができる。

トラック管理ファイル１３１およびロケーション関係データファイル１４１を利用する場合、１つのロケーションに、１つのサムネイル（サムネイルデータ８１）が対応付けられる。

例えば、図１２で示されるように、最初のロケーション１には、サムネイル１（例えば、サムネイルデータ８１−１）が対応付けられ、ロケーション１の次のロケーション２には、サムネイル２（例えば、サムネイルデータ８１−２）が対応付けられ、ロケーション２の次のロケーション３には、サムネイル３（例えば、サムネイルデータ８１−３）が対応付けられ、同様に、ｎ番目のロケーションｎには、サムネイルｎ（例えば、サムネイルデータ８１−ｎ）が対応付けられる。

図１１で示されるように、ロケーション関係データファイル１４１において、それぞれのロケーションに対するデータとして、データの順番を示すデータ番号および単位メタデータ（メタデータユニット）が配置されている。単位メタデータには、単位メタデータのデータ量、記述に利用される言語、メタデータの符号化方式、メタデータのタイプを識別するデータタイプ識別番号、メタデータとしてのサムネイルデータ８１、およびサムネイルデータ８１以外のデータが順に配置される。なお、サムネイルデータ８１の次に配置される、サムネイルデータ８１以外のデータは、単位メタデータに格納しても、格納しなくともよい。

従って、トラック管理ファイル方式のトラック管理ファイル１３１のトラックアトムのメディアアトム（図１０中のmdiaで示すデータ）に、例えば、ロケーション関係データファイル１４１の格納場所（パスおよびファイル名）など、ロケーション関係データファイル１４１を参照するための管理情報を格納するようにし、サンプルテーブルアトム（図１０中のstblで示すデータ）に、ロケーション関係データファイル１４１における、ロケーションに対するデータのそれぞれについての情報（例えば、データの番号およびデータの番号と再生における時刻との関係を示す情報など）を配置するようにすれば、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれを、ロケーションに対応させて再生することができるようになる。

ロケーションをMPEG２のシステムストリームのGOPのそれぞれが再生される時間とすれば、図６で示されるように、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれを、MPEG２のシステムストリームの１つのGOPに対応させて、再生することができる。

なお、ロケーション関係データファイル方式のファイルにサムネイルデータ８１を格納しないで、ロケーション関係データファイル方式のファイルから、外部のファイルに格納されたサムネイルデータ８１をさらに参照するようにしてもよい。

図１３は、サムネイルデータ８１を格納しないで、外部のファイルに格納されたサムネイルデータ８１をさらに参照するロケーション関係データファイル１５１、およびサムネイルデータ８１を格納した参照されるファイル１１１の例を示す図である。

ロケーション関係データファイル１５１において、それぞれのロケーションに対するデータとして、データ番号および単位メタデータ（メタデータユニット）が配置されている。単位メタデータには、単位メタデータのデータ量、記述に利用される言語、メタデータの符号化方式、メタデータのタイプを識別するデータタイプ識別番号、メタデータが順に配置される。ロケーション関係データファイル１５１のメタデータは、ファイル１１１のファイル名（パスを含む）、ファイル１１１におけるサムネイルデータ８１のそれぞれのオフセット、およびファイル１１１におけるサムネイルデータ８１のそれぞれのデータサイズからなる。

メタデータにおけるオフセットは、ファイル１１１の先頭から、そのメタデータで参照されるサムネイルデータ８１の先頭までのデータ量を示す。メタデータにおけるデータサイズは、そのメタデータで参照されるサムネイルデータ８１のデータ量を示す。

次に、ディスク４５に記録されるMPEG２のシステムストリームおよびサムネイルデータ８１の、ディスク４５上の配置について説明する。

MPEG２のシステムストリームの動画像の再生における予め定めた時間を単位として、ディスク４５上の連続する領域にMPEG２のシステムストリームが記録される。

図１４のストリームユニット１６１−１乃至ストリームユニット１６１−６は、動画像の再生における予め定めた１０秒乃至２０秒の時間のMPEG２のシステムストリームの記録単位である。MPEG２のシステムストリームは、動画像の再生における予め定めた時間ごとに、１つの記録単位（例えば、ストリームユニット１６１−１乃至ストリームユニット１６１−６のいずれか）とされ、ディスク４５に記録される。ストリームユニット１６１−１乃至ストリームユニット１６１−６は、動画像の再生における予め定めた時間に分割された動画像のデータであるとも言える。

以下、ストリームユニット１６１−１乃至ストリームユニット１６１−６を個々に区別する必要がないとき、単にストリームユニット１６１と称する。

なお、ストリームユニット１６１は、ディスク４５において、１つの連続した領域に記録される。

図１４で示されるように、ストリームユニット１６１に連続する領域であるサムネイルデータ記録領域１６２−１およびサムネイルデータ記録領域１６２−２にサムネイルデータ８１が記録される。例えば、サムネイルデータ記録領域１６２−１およびサムネイルデータ記録領域１６２−２は、ディスク４５の物理アドレスにおいて、ストリームユニット１６１の前側に、ストリームユニット１６１に隣接して設けられる。

このようにすることで、サムネイルデータ８１を読み出してから、ストリームユニット１６１を読み出す場合、サムネイルデータ８１を読み出した後に、シーク時間やディスク回転待ち時間を必要とせずに、即座に、ストリームユニット１６１を読み出すことができる。サムネイルデータ８１を記録する場合のシークの回数または回転待ちの回数を、サムネイルデータ８１を記録しない場合のシークの回数または回転待ちの回数と同じとすることができ、この方式は、ディスク４５がアクセス時間（シークまたは回転待ちの時間）の比較的長い光ディスクなどである場合に適した記録方式であると言える。

以下、サムネイルデータ記録領域１６２−１およびサムネイルデータ記録領域１６２−２を個々に区別する必要がないとき、単に、サムネイルデータ記録領域１６２と称する。

図１５は、ストリームユニット１６１にサムネイルデータ８１を隣接して記録する場合の、ディスク４５への記録の処理を説明する図である。

バッファメモリ４３には、MPEG２のシステムストリームを記憶するバッファおよびサムネイルデータ８１を記憶するバッファが個々に設けられる。例えば、バッファメモリ４３における２つのバッファは、ハードウェアとして個々に設けるようにしてもよいが、１つのハードウェアとしてのバッファメモリ４３上のアドレスを基に、所定のアドレスで領域を２つに分割することにより論理的に設けるようにしてもよい。

図１５の上側は、バッファリングされている、MPEG２のシステムストリームのデータ量の時間に対する変化を示し、図１５の下側は、バッファリングされている、サムネイルデータ８１のデータ量の時間に対する変化を示す。図１５の縦方向は、データ量を示し、図１５の横方向は、時間を示す。

記録を開始してから所定の時間が経過し、時刻t1になったとき、バッファリングされている、MPEG２のシステムストリームのデータ量が、システムストリーム記録開始閾値以上となったので、バッファリングされている、MPEG２のシステムストリームのディスク４５へのストリームユニット１６１−１としての記録が開始される。時刻t2において、ストリームユニット１６１−１の最後までMPEG２のシステムストリームが記録されたので、時刻t2から時刻t3の期間において、シークするかまたはディスクの回転を待機し、時刻t3において、次のストリームユニット１６１−２への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。

ストリームユニット１６１−２にMPEG２のシステムストリームが記録されている期間の最中である、時刻t4において、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったとする。記録装置は、MPEG２のシステムストリームをディスク４５に記録している間、サムネイルデータ８１のデータ量を監視しない。

時刻t5において、ストリームユニット１６１−２の最後までMPEG２のシステムストリームが記録されたので、時刻t5において、記録装置は、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったか否かを判定する。

時刻t5において、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となっているので、判定の結果を基に、時刻t5から時刻t6の期間において、シークされるかまたはディスクの回転が待機され、時刻t6において、サムネイルデータ記録領域１６２−１への、バッファリングされているサムネイルデータ８１の記録が開始される。

なお、図５を参照して説明したように、サムネイルデータ８１は、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク４５に記録される。この場合、サムネイルデータ８１が、１２キロバイト未満であるとき、１２キロバイト未満であるサムネイルデータ８１には、１２キロバイトとなるように任意にデータ列が付加される。

サムネイルデータ記録領域１６２−１は、１または複数のクラスタからなる、連続した領域であり、サムネイルデータ記録領域１６２−１には、１または複数のサムネイルデータ８１が記録される。

時刻t7において、サムネイルデータ記録領域１６２−１へのサムネイルデータ８１の記録が終了したので、サムネイルデータ記録領域１６２−１に続くストリームユニット１６１−３への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。

時刻t8において、ストリームユニット１６１−３の最後までMPEG２のシステムストリームが記録されたので、時刻t8から時刻t9の期間において、シークするかまたはディスクの回転を待機し、時刻t9において、次のストリームユニット１６１−４への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。

時刻t10において、バッファリングされている、MPEG２のシステムストリームのデータ量が１クラスタ以下になったので、ストリームユニット１６１−４へのMPEG２のシステムストリームの記録が中断され、バッファにMPEG２のシステムストリームがたまるまで待機される。

ストリームユニット１６１−４へのMPEG２のシステムストリームの記録が中断されている期間の最中である、時刻t11において、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったとする。記録装置は、MPEG２のシステムストリームの記録を中断している間、サムネイルデータ８１のデータ量を監視しない。

時刻t12になったとき、バッファリングされている、MPEG２のシステムストリームのデータ量が、システムストリーム記録開始閾値以上となったので、記録が中断されていたストリームユニット１６１−４への、バッファリングされている、MPEG２のシステムストリームの記録が再開される。

時刻t13において、ストリームユニット１６１−４の最後までMPEG２のシステムストリームが記録されたとき、記録装置は、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったか否かを判定する。

時刻t13において、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となっているので、判定の結果を基に、時刻t13から時刻t14の期間において、シークされるかまたはディスクの回転が待機され、時刻t14において、サムネイルデータ記録領域１６２−２への、バッファリングされているサムネイルデータ８１の記録が開始される。

時刻t15において、サムネイルデータ記録領域１６２−２へのサムネイルデータ８１の記録が終了したので、サムネイルデータ記録領域１６２−２に続くストリームユニット１６１−５への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。

サムネイルデータ記録領域１６２−２にサムネイルデータ８１を記録する場合、サムネイルデータ記録領域１６２−１の場合と同様に、１２キロバイト未満であるサムネイルデータ８１には、１２キロバイトとなるように任意にデータ列がパディングされて、サムネイルデータ８１のそれぞれが１つのクラスタに記録される。サムネイルデータ記録領域１６２−２は、１または複数のクラスタからなる、連続した領域であり、サムネイルデータ記録領域１６２−２には、１または複数のサムネイルデータ８１が記録される。

時刻t16において、ストリームユニット１６１−５の最後までMPEG２のシステムストリームが記録されたので、時刻t16から時刻t17の期間において、シークするかまたはディスクの回転を待機し、時刻t17において、次のストリームユニット１６１−６への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。

ストリームユニット１６１と離れた位置に、サムネイルデータ記録領域１６２同士を隣接して記録することもできる。

図１６は、隣接して記録されているサムネイルデータ記録領域１６２の例を示す図である。サムネイルデータ記録領域１６２−１乃至サムネイルデータ記録領域１６２−４は、ストリームユニット１６１−１乃至ストリームユニット１６１−（ｎ＋１）とは離れた位置に、相互に隣接して設けられる。

このようにすることで、多数のサムネイルデータ８１をディスク４５から読み出す場合であっても、シーク時間やディスク回転待ち時間を必要とせずに、即座に、ディスク４５から多数のサムネイルデータ８１を読み出すことができる。サムネイルデータ８１を記録する場合のシークの回数または回転待ちの回数が、サムネイルデータ８１を記録しない場合のシークの回数または回転待ちの回数に比較して増加するが、サムネイルデータ８１を読み出す場合には、複数のサムネイルデータ記録領域１６２を連続して読み出すことができるので、ディスク４５がアクセス時間（シークまたは回転待ちの時間）の比較的短いハードディスクなどである場合に適した記録方式であると言える。

図１７は、ストリームユニット１６１とは離れた位置に、サムネイルデータ８１をまとめて記録する場合の、ディスク４５への記録の処理を説明する図である。この場合においても、バッファメモリ４３には、MPEG２のシステムストリームを記憶するバッファおよびサムネイルデータ８１を記憶するバッファが個々に設けられる。

図１７の上側は、バッファリングされている、MPEG２のシステムストリームのデータ量の時間に対する変化を示し、図１５の下側は、バッファリングされている、サムネイルデータ８１のデータ量の時間に対する変化を示す。図１７の縦方向は、データ量を示し、図１７の横方向は、時間を示す。

記録を開始してから所定の時間が経過し、時刻t31になったとき、バッファリングされている、MPEG２のシステムストリームのデータ量が、システムストリーム記録開始閾値以上となったので、バッファリングされている、MPEG２のシステムストリームのディスク４５へのストリームユニット１６１−１としての記録が開始される。時刻t32において、ストリームユニット１６１−１の最後までMPEG２のシステムストリームが記録されたので、時刻t32から時刻t33の期間において、シークするかまたはディスクの回転を待機し、時刻t33において、次のストリームユニット１６１−２への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。

ストリームユニット１６１−２にMPEG２のシステムストリームが記録されている期間の最中である、時刻t34において、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったとする。記録装置は、MPEG２のシステムストリームをディスク４５に記録している間、サムネイルデータ８１のデータ量を監視しない。

時刻t35において、ストリームユニット１６１−２の最後までMPEG２のシステムストリームが記録されたので、時刻t35において、記録装置は、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったか否かを判定する。

時刻t35において、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となっているので、判定の結果を基に、時刻t35から時刻t36の期間において、シークされ、時刻t36において、サムネイルデータ記録領域１６２−１への、バッファリングされているサムネイルデータ８１の記録が開始される。

なお、この場合も、図５を参照して説明したように、サムネイルデータ８１は、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク４５に記録され、クラスタがパディングされる。サムネイルデータ記録領域１６２−１は、１または複数のクラスタからなる、連続した領域であり、サムネイルデータ記録領域１６２−１には、１または複数のサムネイルデータ８１が記録される。

時刻t37において、サムネイルデータ記録領域１６２−１へのサムネイルデータ８１の記録が終了したので、時刻t37から時刻t38の期間において、シークされ、時刻t38において、サムネイルデータ記録領域１６２−１と離れた位置のストリームユニット１６１−３への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。

時刻t39において、ストリームユニット１６１−３の最後までMPEG２のシステムストリームが記録されたので、時刻t39から時刻t40の期間において、シークするかまたはディスクの回転を待機し、時刻t40において、次のストリームユニット１６１−４への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。

時刻t41において、バッファリングされている、MPEG２のシステムストリームのデータ量が１クラスタ以下になったので、ストリームユニット１６１−４へのMPEG２のシステムストリームの記録が中断され、バッファにMPEG２のシステムストリームがたまるまで待機される。

ストリームユニット１６１−４へのMPEG２のシステムストリームの記録が中断されている期間の最中である、時刻t42において、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったとする。記録装置は、MPEG２のシステムストリームの記録を中断している間、サムネイルデータ８１のデータ量を監視しない。

時刻t43になったとき、バッファリングされている、MPEG２のシステムストリームのデータ量が、システムストリーム記録開始閾値以上となったので、記録が中断されていたストリームユニット１６１−４への、バッファリングされている、MPEG２のシステムストリームの記録が再開される。

時刻t44において、ストリームユニット１６１−４の最後までMPEG２のシステムストリームが記録されたとき、記録装置は、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったか否かを判定する。

時刻t44において、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となっているので、判定の結果を基に、時刻t44から時刻t45の期間においてシークされ、時刻t45において、サムネイルデータ記録領域１６２−２への、バッファリングされているサムネイルデータ８１の記録が開始される。

時刻t46において、サムネイルデータ記録領域１６２−２へのサムネイルデータ８１の記録が終了したので、時刻t46から時刻t47の期間においてシークされ、時刻t47において、サムネイルデータ記録領域１６２−２と離れた位置のストリームユニット１６１−５への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。

時刻t48において、ストリームユニット１６１−５の最後までMPEG２のシステムストリームが記録されたので、時刻t48から時刻t49の期間において、シークするかまたはディスクの回転を待機し、時刻t49において、次のストリームユニット１６１−６への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。

次に、フローチャートを参照して、記録装置による処理を説明する。

図１８は、記録装置によるデータの変換の処理を説明するフローチャートである。ステップＳ５１において、動画像圧縮部３８は、MPEG２方式によって、取得した動画像を圧縮する。ステップＳ５２において、音声圧縮部４２は、AC3方式によって、取得した音声を圧縮する。

ステップＳ５３において、画素数変換部４０の抽出部５１は、バッファメモリ３５に記憶されている動画像データから、動画像圧縮部３８において圧縮される動画像の１つのGOPから１つのピクチャ（フレーム）を抽出する。例えば、動画像圧縮部３８において、GOPを構成するピクチャ（フレーム）の数が予め定まっている場合、その数のピクチャ（フレーム）毎に１つのピクチャ（フレーム）を抽出する。また、例えば、抽出部５１は、動画像圧縮部３８からのGOPの境界を示す信号を基に、動画像の１つのGOPから１つのピクチャ（フレーム）を抽出するようにしてもよい。

ステップＳ５４において、画素数変換部４０は、抽出したフレームの画素数を変換する。例えば、ステップＳ５４において、画素数変換部４０は、抽出したフレームの画素のうち、フレームの対して所定の位置の画素を間引くことにより、フレームの画素数を変換する。より具体的には、ステップＳ５４において、画素数変換部４０は、抽出したフレームの画素のうち、縦２×横２の相互に隣接する４つの画素の画素値の平均値を算出して、算出した平均値を４つの画素に代わる１つの画素に設定して、４つの画素から３つの画素を間引くことにより、フレームの画素数を変換する。

なお、ステップＳ５４において、画素数変換部４０は、任意の数の画素数からなるフレームに変換することができ、変換されたフレームの画素数そのものは、本発明を限定するものではない。

ステップＳ５５において、静止画像圧縮部４１は、画素数を変換したフレームを、JPEG方式により静止画像として圧縮して、サムネイルデータを生成する。静止画像圧縮部４１は、生成したサムネイルデータをバッファメモリ４３に記憶させる。

ステップＳ５６において、マイクロコンピュータ３１は、圧縮して得られたサムネイルデータのファイル方式を整える。例えば、ステップＳ５６において、マイクロコンピュータ３１は、圧縮して得られたサムネイルデータのファイル方式を、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、またはトラック管理ファイル１３１から参照されるロケーション関係データファイル１４１とすることができる。

なお、サムネイルデータが他のファイルから参照されるファイル方式とされた場合には、マイクロコンピュータ３１は、サムネイルデータを参照するファイルを生成し、生成したファイルもサムネイルデータとして、ディスク４５に記録される。

なお、ステップＳ５１乃至ステップＳ５５の処理は、動画像圧縮部３８乃至音声圧縮部４２および抽出部５１により実行されると説明したが、制御プログラムを実行するマイクロコンピュータ３１が、ステップＳ５１乃至ステップＳ５５の処理を実行するようにしてもよい。

図１９は、制御プログラムを実行するマイクロコンピュータ３１による、データの記録の処理を説明するフローチャートである。ステップＳ７１において、制御プログラムは、バッファメモリ４３から記憶しているMPEG２システムストリームのデータ量を取得して、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量が、予め定めたシステムストリーム記録開始閾値以上になったか否かを判定する。

ステップＳ７１において、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量がシステムストリーム記録開始閾値以上になっていないと判定された場合、手続きは、ステップＳ７１に戻り、MPEG２システムストリームのデータ量がシステムストリーム記録開始閾値以上になるまで、判定の処理を繰り返す。

ステップＳ７１において、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量がシステムストリーム記録開始閾値以上になったと判定された場合、ステップＳ７２に進み、制御プログラムは、ドライブ４４に、バッファメモリ４３に記憶されているMPEG２システムストリームを１クラスタ分ディスク４５に記録させる。

ステップＳ７３において、制御プログラムは、ストリームユニットの終端までMPEG２システムストリームを記録したか否かを判定し、ストリームユニットの終端までMPEG２システムストリームを記録していないと判定された場合、ステップＳ７４に進む。ステップＳ７４において、制御プログラムは、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量が、１クラスタ未満になったか否かを判定する。

ステップＳ７４において、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量が、１クラスタ未満になっていないと判定された場合、さらにそのストリームユニットにMPEG２システムストリームを記録することができるので、ステップＳ７２に戻り、クラスタへのMPEG２システムストリームの記録の処理を繰り返す。

ステップＳ７２乃至ステップＳ７４の処理が繰り返されることにより、ストリームユニットの終端までMPEG２システムストリームが記録されることになる。

ステップＳ７４において、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量が、１クラスタ未満になったと判定された場合、さらにそのストリームユニットにMPEG２システムストリームを記録することができないので、バッファメモリ４３にMPEG２システムストリームがたまるまで待機するために、ステップＳ７１に戻り、上述した処理を繰り返す。

なお、ストリームユニットの途中までMPEG２システムストリームが記録されて、ステップＳ７４の判定のよって、手続きがステップＳ７１に戻った場合、次に実行されるステップＳ７２の処理においては、途中までMPEG２システムストリームが記録されたストリームユニットに続いて、MPEG２システムストリームが記録される。

一方、ステップＳ７３において、ストリームユニットの終端までMPEG２システムストリームを記録したと判定された場合、ステップＳ７５に進み、制御プログラムは、サムネイルデータのデータ量が、予め定めたサムネイルデータ記録開始閾値以上になったか否かを判定する。ステップＳ７５において、サムネイルデータのデータ量がサムネイルデータ記録開始閾値以上になったと判定された場合、ステップＳ７６に進み、制御プログラムは、１つのサムネイルデータが、ECCによりエラー訂正される単位のデータ量と同じ、例えば１２キロバイトとなるように、サムネイルデータにパディングする。

ステップＳ７７において、制御プログラムは、ドライブ４４に、パディングされた１つのサムネイルデータをディスク４５の１つのクラスタに記録させる。

ステップＳ７８において、制御プログラムは、バッファメモリ４３に記憶されているサムネイルデータがなくなったか否かを判定し、バッファメモリ４３に記憶されているサムネイルデータがなくなっていないと判定された場合、さらにサムネイルデータを連続している領域であるサムネイルデータ記録領域１６２に記録させるために、ステップＳ７６に戻り、サムネイルデータの記録の処理を繰り返す。

ステップＳ７８において、バッファメモリ４３に記憶されているサムネイルデータがなくなったと判定された場合、サムネイルデータを記録することはできないので、ステップＳ７４に進み、ディスク４５に記録できるMPEG２システムストリームがバッファメモリ４３に記憶されているか否かの判定の処理が実行され、上述した処理が繰り返される。

ステップＳ７５において、サムネイルデータのデータ量がサムネイルデータ記録開始閾値以上になっていないと判定された場合、サムネイルデータをディスク４５に記録させる必要はないので、ステップＳ７４に進み、ディスク４５に記録できるMPEG２システムストリームがバッファメモリ４３に記憶されているか否かの判定の処理が実行され、上述した処理が繰り返される。

以上のように、記録装置によって、ディスク４５に、動画像の符号化の単位であって、複数のフレーム（ピクチャ）からなる単位から抽出されたフレームに対応するサムネイルデータが、抽出された単位に関係付けて記録される。

次に、動画像の符号化の単位であって、複数のフレーム（ピクチャ）からなる単位から抽出されたフレームに対応するサムネイルデータが、抽出された単位に関係付けて記録されているディスク４５から、サムネイルデータを読み出す再生装置について説明する。

ディスク４５からサムネイルデータを読み出す再生装置は、図３を参照して構成を説明した記録装置に対応する機能を含む記録再生装置として実現することができる。

図２０は、図３を参照して構成を説明した記録装置に対応する機能を含む、本発明に係る記録再生装置における再生ブロックの一実施の形態の構成を示すブロック図である。図３に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省略する。

マイクロコンピュータ３１は、所定の制御プログラムを実行して、ユーザの操作に応じた再生開始停止ボタン２０１からの信号を基に、記録再生装置における再生ブロックの各部に動作を指示する。

ドライブ４４は、マイクロコンピュータ３１の制御の基に、装着されたディスク４５から、MPEG２システムストリームおよびサムネイルデータを読み出す。ドライブ４４は、読み出したMPEG２システムストリームおよびサムネイルデータをバッファメモリ４３に記憶させる。

デマルチプレクサ２０２は、バッファメモリ４３に記憶されているMPEG２システムストリームにおいて多重化されている動画像データと音声データとを分離して、分離した動画像データを動画像伸張部２０３に供給すると共に、分離した音声データを音声伸張部２０５に供給する。

動画像伸張部２０３は、マイクロコンピュータ３１の制御の基に、デマルチプレクサ２０２から供給された、動画像データを圧縮符号化する所定の方式で圧縮符号化されている動画像データを復号することにより、伸張して、復号した動画像データをバッファメモリ３５に供給する。例えば、動画像伸張部２０３は、MPEG２方式により圧縮符号化されている動画像データを復号し、復号した動画像データ（いわゆる、ベースバンド動画像データ）をバッファメモリ３５に供給する。

静止画像伸張部２０４は、マイクロコンピュータ３１の制御の基に、サムネイルデータを記憶しているバッファメモリ４３からサムネイルデータを取得して、静止画像データを圧縮符号化する所定の方式で圧縮符号化されているサムネイルデータを復号することにより、伸張して、復号したサムネイルデータをバッファメモリ３５に供給する。例えば、静止画像伸張部２０４は、JPEG方式により圧縮符号化されているサムネイルデータを復号して、復号したサムネイルデータをバッファメモリ３５に供給する。

音声伸張部２０５は、マイクロコンピュータ３１の制御の基に、デマルチプレクサ２０２から供給された、音声データを圧縮符号化する所定の方式で圧縮符号化されている音声データを復号することにより、伸張して、復号した音声データをバッファメモリ３５に供給する。例えば、音声伸張部２０５は、AC3方式により圧縮符号化されている音声データを復号し、復号した音声データをバッファメモリ３５に供給する。

画像出力インターフェース２０６は、バッファメモリ３５と表示部２０７とのインターフェースであり、例えば、バッファメモリ３５から供給された画像データをパラレルシリアル変換するなど、画像データを表示部２０７が利用することができる所定の方式の画像データ（画像信号）に変換して、その画像データを表示部２０７に供給する。画像出力インターフェース２０６は、表示部２０７における画像の表示を制御する。

表示部２０７は、液晶表示装置または有機EL（Electro Luminescence）表示装置などからなり、画像出力インターフェース２０６を介して供給された画像データに基づいて、動画像および静止画像を表示する。

音声出力インターフェース２０８は、バッファメモリ３５と音声出力部２０９とのインターフェースであり、例えば、バッファメモリ３５から供給された音声データをパラレルシリアル変換するか、またはデジタルアナログ変換するなど、音声データを音声出力部２０９が利用することができる所定の方式の音声データ（音声信号）に変換して、その音声データ（音声信号）を音声出力部２０９に供給する。

音声出力部２０９は、オーディオ増幅器またはラウドスピーカなどからなり、音声出力インターフェース２０８を介して供給された音声データ（音声信号）に基づいて、音声を出力する。

図２１は、制御プログラムを実行するマイクロコンピュータ３１、静止画像伸張部２０４、および表示部２０７による、編集ポイントの検索表示の処理を説明するフローチャートである。

ステップＳ１０１において、制御プログラムは、ドライブ４４にディスク４５から管理情報ファイルを読み出させる。例えば、ステップＳ１０１において、制御プログラムは、ドライブ４４に、ディスク４５から、外部のファイルに格納されるサムネイルデータ８１を参照するPLF方式ファイル１０１、または図１０の管理情報ファイルであるトラック管理ファイル１３１を読み出させる。ドライブ４４は、読み出した管理情報ファイルをバッファメモリ４３に記憶させる。

ステップＳ１０２において、制御プログラムは、バッファメモリ４３から取得した管理情報ファイルを基に、ドライブ４４に、ディスク４５から最初のサムネイルデータ８１から順にバッファメモリ４３に記憶できるデータ量のサムネイルデータ８１を読み出させる。

ステップＳ１０３において、制御プログラムは、ドライブ４４に、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。ステップＳ１０４において、静止画像伸張部２０４は、サムネイルデータ８１を記憶しているバッファメモリ４３からサムネイルデータ８１を取得して、取得したサムネイルデータ８１を伸張する。例えば、静止画像伸張部２０４は、JPEG方式で圧縮符号化されているサムネイルデータ８１を復号することにより、伸張する。

ステップＳ１０５において、静止画像伸張部２０４は、伸張したサムネイルデータ８１をバッファメモリ３５に記憶させる。ステップＳ１０６において、画像出力インターフェース２０６は、バッファメモリ３５から取得したサムネイルデータ８１を基に、表示部２０７に画像を表示させるように、表示部２０７における画像の表示を制御する。

ステップＳ１０７において、制御プログラムは、ユーザの操作に応じた再生開始停止ボタン２０１からの信号を基に、次のポイントへの移動が指示されたか否かを判定する。ステップＳ１０７において、次のポイントへの移動が指示されていないと判定された場合、画像の表示が継続されたまま、ステップＳ１０７に戻り、判定の処理が繰り返される。

ステップＳ１０７において、次のポイントへの移動が指示されたと判定された場合、ステップＳ１０８に進み、制御プログラムは、読み出された管理情報ファイルを基に、指示されたポイントのGOPに対応するサムネイルデータ８１を特定する。

ステップＳ１０９において、制御プログラムは、特定されたサムネイルデータ８１がバッファメモリ４３に記憶されているか否かを判定する。ステップＳ１０９において、特定されたサムネイルデータ８１がバッファメモリ４３に記憶されていないと判定された場合、ステップＳ１１０に進み、制御プログラムは、バッファメモリ４３から取得した管理情報ファイルを基に、ドライブ４４に、ディスク４５から特定されたサムネイルデータ８１から順にバッファメモリ４３に記憶できるデータ量のサムネイルデータ８１を読み出させる。

ステップＳ１１０において、制御プログラムは、ドライブ４４に、ディスク４５の１つのサムネイルデータ記録領域１６２から、複数のサムネイルデータ８１を１回の処理でまとめて読み出させることができる。

なお、図５を参照して説明したように、任意のデータ列の付加により１２キロバイトとされたサムネイルデータ８１は、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク４５に記録されているので、制御プログラムは、次に読み出そうとするサムネイルデータ８１が記録されているクラスタの物理アドレスを簡単な演算で算出することができる。これにより、より迅速に、サムネイルデータ８１を読み出すことができるようになる。

ステップＳ１１１において、制御プログラムは、ドライブ４４に、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させ、手続きは、ステップＳ１１２に進む。

ステップＳ１０９において、特定されたサムネイルデータ８１がバッファメモリ４３に記憶されていると判定された場合、ディスク４５からサムネイルデータ８１を読み出す必要はないので、ステップＳ１１０およびステップＳ１１１の処理はスキップされて、手続きは、ステップＳ１１２に進む。

ステップＳ１１２において、静止画像伸張部２０４は、サムネイルデータ８１を記憶しているバッファメモリ４３からサムネイルデータ８１を取得して、取得したサムネイルデータ８１を伸張する。例えば、静止画像伸張部２０４は、JPEG方式で圧縮符号化されているサムネイルデータ８１を復号することにより、伸張する。

ステップＳ１１３において、静止画像伸張部２０４は、伸張したサムネイルデータ８１をバッファメモリ３５に記憶させる。ステップＳ１１４において、表示部２０７は、画像出力インターフェース２０６を介してバッファメモリ３５から取得したサムネイルデータ８１を基に、画像を表示させる。

手続きは、ステップＳ１０７に戻り、ユーザからの指示に応じて、ディスク４５から指示されたポイントのGOPに対応するサムネイルデータ８１が読み出されて、復号されて、画像を表示する処理が繰り返される。

以上のように、ディスク４５からサムネイルデータ８１だけを読み出すようにした場合、より迅速に所望のサムネイルを表示させることができる。また、ディスク４５からMPEG２システムストリームと共にサムネイルデータ８１を読み出すようにすることができる。

例えば、ステップＳ１１４の処理において、図２２に示すように、表示部２０７は、画面全体に動画像２３１を表示すると共に、画面の一部の領域にサムネイル２３２を表示するようにしてもよい。この場合、例えば、ステップＳ１１４の処理において、表示部２０７は、通常の速度で再生されるように動画像２３１を表示すると共に、画面の一部の領域に、指示されたポイントのGOPに対応するサムネイル２３２を表示する。

例えば、早送りまたは巻き戻しがユーザから指示された場合には、表示部２０７は、通常の速度で再生されるように動画像２３１を表示すると共に、画面の一部の領域に、早送りまたは巻き戻しされたサムネイル２３２を表示する。

ユーザの指示によって、再生装置は、表示されているサムネイル２３２に対応するGOPから動画像２３１を表示部２０７に表示させることができる。

このようにすることで、ユーザは、指示されたポイントのGOPに対応するサムネイル２３２により、動画像の概要を迅速に知ることができると共に、表示されている動画像により、動画像の詳細な内容を知ることができるようになる。これにより、所望の位置の動画像の頭出しまたは編集ポイントの位置決めを迅速にすることができる。

なお、制御プログラムを実行するマイクロコンピュータ３１による、ディスク４５に記録されているサムネイルデータ８１と動画像データとを同時に読み出す処理を説明すると次のようになる。

制御プログラムは、ドライブ４４に、ディスク４５から、MPEG２のシステムストリームの管理情報ファイルであるトラック管理ファイル１３１、およびファイルシステムのファイル管理情報を読み出させる。制御プログラムは、MPEG２のシステムストリームの管理情報ファイルであるトラック管理ファイル１３１およびファイルシステムのファイル管理情報を基に、ドライブ４４に、ディスク４５から、ストリームユニット１６１を単位として、MPEG２のシステムストリームを読み出させる。

この場合、制御プログラムは、１つのストリームユニット１６１からのMPEG２のシステムストリームの読み出しが終了するまで、ドライブ４４に、MPEG２のシステムストリームの読み出しを継続させ、１つのストリームユニット１６１からのMPEG２のシステムストリームの読み出しが終了した場合、バッファメモリ４３に記憶されているMPEG２のシステムストリームのデータ量を算出する。

制御プログラムは、MPEG２のシステムストリームの管理情報ファイルであるトラック管理ファイル方式のファイルおよびファイルシステムのファイル管理情報を基に、次に読み出そうとするMPEG２のシステムストリームのデータ量および動画像の再生時間を取得する。制御プログラムは、MPEG２のシステムストリームの管理情報ファイルであるトラック管理ファイル１３１、およびファイルシステムのファイル管理情報を基に、次に読み出そうとするMPEG２のシステムストリームが記録されているストリームユニット１６１の物理アドレス、および次に読み出そうとするサムネイルデータ８１が記録されているサムネイルデータ記録領域１６２の物理アドレスを求める。

制御プログラムは、現在のバッファメモリ４３に記憶されているMPEG２のシステムストリームのデータ量、トラック管理ファイル１３１、およびファイルシステムのファイル管理情報を基に、次のストリームユニット１６１からMPEG２のシステムストリームを読み出して、バッファメモリ４３に記憶させた場合の、次のストリームユニット１６１からMPEG２のシステムストリームを読み出した時点における、バッファメモリ４３に記憶されると予測されるMPEG２のシステムストリームのデータ量を算出する。制御プログラムは、算出された予測されるMPEG２のシステムストリームのデータ量が、バッファメモリ４３の容量の上限値を超えるか否かを判定する。

予測されるMPEG２のシステムストリームのデータ量が、バッファメモリ４３の容量の上限値を超えると判定された場合、制御プログラムは、ドライブ４４に、ディスク４５のストリームユニット１６１からのMPEG２のシステムストリームを読み出しを休止させ、ドライブ４４に、ディスク４５のサムネイルデータ記録領域１６２からサムネイルデータ８１を読み出させる。そして、サムネイルデータ記録領域１６２からのサムネイルデータ８１の読み出しが終了した場合、制御プログラムは、ドライブ４４に、ディスク４５のストリームユニット１６１からMPEG２のシステムストリームを読み出させる。

一方、予測されるMPEG２のシステムストリームのデータ量が、バッファメモリ４３の容量の上限値を超えないと判定された場合、制御プログラムは、ドライブ４４に、ディスク４５のストリームユニット１６１からMPEG２のシステムストリームを読み出させる。

このように、ストリームユニット１６１が終了する時点で、次に読み出すＡMPEG２のシステムストリームのストリームユニット１６１の読み出しが終了する時点における、バッファメモリ４３に記憶されると予測されるMPEG２のシステムストリームのデータ量を求め、予測されるデータ量に応じて、次に読み出しを行うデータを決めるようにしたので、ドライブ４４のアクセス回数が減り、ディスク４５からの単位時間あたりのデータ読み出し量が増え、データ読み出しの効率アップを図ることができる。

図１４で示すように、ディスク４５において、ストリームユニット１６１−１乃至ストリームユニット１６１−６並びにサムネイルデータ記録領域１６２−１およびサムネイルデータ記録領域１６２−２が記録され、サムネイルデータ記録領域１６２−１がストリームユニット１６１−３に隣接し、サムネイルデータ記録領域１６２−２がストリームユニット１６１−６に隣接している場合、サムネイルデータ記録領域１６２−１およびサムネイルデータ記録領域１６２−２に記録されているサムネイルデータ８１を読み出すとき、図２３で示されるように、連続した領域であるサムネイルデータ記録領域１６２−１に記録されているサムネイルデータ８１が順に読み出されたのち、シークまたはディスク４５の回転待ちにより、再生装置の図示せぬヘッドがサムネイルデータ記録領域１６２−２に移動して、連続した領域であるサムネイルデータ記録領域１６２−２に記録されているサムネイルデータ８１が順に読み出される。

従って、ストリームユニット１６１−１乃至ストリームユニット１６１−６を順に読み出す場合に比較して、極めて迅速に、サムネイルデータ８１をディスク４５から読み出すことができる。

さらに、図１６で示すように、ディスク４５において、ストリームユニット１６１−１乃至ストリームユニット１６１−（ｎ＋１）およびサムネイルデータ記録領域１６２−１乃至サムネイルデータ記録領域１６２−４が記録され、ストリームユニット１６１−１乃至ストリームユニット１６１−（ｎ＋１）とは離れた位置に、サムネイルデータ記録領域１６２−１乃至サムネイルデータ記録領域１６２−４が隣接して記録されている場合、サムネイルデータ記録領域１６２−１乃至サムネイルデータ記録領域１６２−４に記録されているサムネイルデータ８１を読み出すとき、図２４で示されるように、シークまたはディスク４５の回転待ちが発生することなく、連続した領域であるサムネイルデータ記録領域１６２−１乃至サムネイルデータ記録領域１６２−４に記録されているサムネイルデータ８１が順に読み出される。

従って、さらに迅速に、サムネイルデータ８１をディスク４５から読み出すことができる。

図２５は、サムネイルの早送りをする場合の、バッファメモリ４３に記憶されるサムネイルデータ８１のデータ量の変化を説明する図である。図２５の縦方向は、データ量を示し、図２５の横方向は、時間を示す。

ここで、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は、現在表示されているサムネイルの次のサムネイルを表示させるためのサムネイルデータ８１から、画像上の時刻において最も後の（遅い）サムネイルを表示させるためのサムネイルデータ８１までのデータの量をいう。

早送りの処理が開始された場合、ドライブ４４は、ディスク４５からサムネイルデータ８１を読み出して、バッファメモリ４３に記憶させる。バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量がサムネイル表示開始閾値以上となった場合、サムネイルの表示の処理が開始され、バッファメモリ４３からサムネイルデータ８１が順に読み出される。

１つのサムネイルを表示させるためのサムネイルデータ８１のデータ量は、動画像のデータ量に比較して、少ない。また、１つのサムネイルが１つのGOPに対応しているので、画像上の時間あたりのサムネイルデータ８１のデータ量は、より少ない。サムネイルの表示の処理が開始されても、表示に使用されるサムネイルデータ８１のデータ量に比較して、ディスク４５から読み出されて記憶されるサムネイルデータ８１のデータ量は多い。

従って、サムネイルの表示の処理が開始されても、ディスク４５からサムネイルデータ８１を読み出していれば、バッファメモリ４３に記憶されるサムネイルデータ８１のデータ量は時間とともに増加する。

例えば、時刻t101において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、バッファメモリ４３に記憶可能なデータ量を示すバッファ上限値に等しくなった場合、時刻t101において、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）。

ドライブ４４が、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）と、サムネイルの表示の処理に応じて、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は減少する。

例えば、時刻t103から時刻t104までの期間において、サムネイルの表示を一時停止すると、この期間において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は変化しない。

時刻t104において、より高速な早送りの処理が指示されると、時間当たりに使用されるサムネイルデータ８１のデータ量が増加するので、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量はより早く減少する。

時刻t105において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、サムネイルデータ読み出し再開閾値以下になると、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを開始する。時刻t105から時刻t106までの期間において、シークされ、ディスク４５の回転が待機されて、時刻t106において、図示せぬヘッドが読み出そうとするサムネイルデータ８１が記録されている位置に到達すると、ドライブ４４は、ディスク４５からサムネイルデータ８１の読み出しを開始して、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。

例えば、時刻t107において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、バッファメモリ４３に記憶可能なデータ量を示すバッファ上限値に等しくなった場合、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）。

例えば、時刻t108から、サムネイルの表示を一時停止すると、これ以後、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は変化しない。

図２６は、サムネイルの巻き戻しをする場合の、バッファメモリ４３に記憶されるサムネイルデータ８１のデータ量の変化を説明する図である。図２６の縦方向は、データ量を示し、図２６の横方向は、時間を示す。

ここで、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は、現在表示されているサムネイルの前のサムネイルを表示させるためのサムネイルデータ８１から、画像上の時刻において最も前の（早い）サムネイルを表示させるためのサムネイルデータ８１までのデータの量をいう。

巻き戻しの処理が開始された場合、ドライブ４４は、ディスク４５からサムネイルデータ８１を読み出して、バッファメモリ４３に記憶させる。バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量がサムネイル表示開始閾値以上となった場合、サムネイルの表示の処理が開始され、バッファメモリ４３からサムネイルデータ８１が順に読み出される。

ここで、巻き戻しをする場合、画像上の時刻の進行に対して逆の順にサムネイルが表示され、画像上の時刻の進行に対して逆の順にサムネイルデータ８１が必要とされる。

図２７で示されるように、画像上の時刻において最も前のサムネイルのサムネイルデータ８１がサムネイルデータ記録領域１６２−１に記録され、画像上の時刻において、サムネイルデータ記録領域１６２−１に記録されているサムネイルデータ８１のサムネイルの次のサムネイルのサムネイルデータ８１がサムネイルデータ記録領域１６２−２に記録され、画像上の時刻において、サムネイルデータ記録領域１６２−２に記録されているサムネイルデータ８１のサムネイルの次のサムネイルのサムネイルデータ８１がサムネイルデータ記録領域１６２−３に記録されている場合、ドライブ４４は、ディスク４５のサムネイルデータ記録領域１６２−３からサムネイルデータ８１を読み出して、次に、サムネイルデータ記録領域１６２−２まで、シークし、ヘッドがサムネイルデータ記録領域１６２−２まで到達したとき、サムネイルデータ記録領域１６２−２からサムネイルデータ８１を読み出す。さらに、ドライブ４４は、サムネイルデータ記録領域１６２−１まで、シークし、ヘッドがサムネイルデータ記録領域１６２−１まで到達したとき、サムネイルデータ記録領域１６２−１からサムネイルデータ８１を読み出す。

従って、図２８で示されるように、時刻t141から時刻t142までの期間において、サムネイルデータ記録領域１６２−３からサムネイルデータ８１が読み出されて、時刻t142において、読み出されたサムネイルデータ８１がバッファメモリ４３に供給されると、時刻t142において、読み出された一定のデータ量のサムネイルデータ８１がバッファメモリ４３に記憶されることになる。時刻t142から時刻t143までの期間において、サムネイルデータ記録領域１６２−２からサムネイルデータ８１が読み出されて、時刻t143において、読み出されたサムネイルデータ８１がバッファメモリ４３に供給されると、時刻t143において、読み出された一定のデータ量のサムネイルデータ８１がバッファメモリ４３に記憶される。同様に、時刻t143から時刻t144までの期間において、サムネイルデータ記録領域１６２−１からサムネイルデータ８１が読み出されて、時刻t144において、読み出されたサムネイルデータ８１がバッファメモリ４３に供給されると、時刻t144において、読み出された一定のデータ量のサムネイルデータ８１がバッファメモリ４３に記憶される。

このように、巻き戻しをする場合、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は、時間の経過に対して、階段状に増加することになる。

巻き戻しにおいても、表示に使用されるサムネイルデータ８１のデータ量に比較して、ディスク４５から読み出されるサムネイルデータ８１のデータ量が多い。

従って、サムネイルの表示の処理が開始されても、ディスク４５からサムネイルデータ８１を読み出していれば、バッファメモリ４３に記憶されるサムネイルデータ８１のデータ量は時間とともに増加する。

例えば、時刻t121において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、バッファメモリ４３に記憶可能なデータ量を示すバッファ上限値に等しくなった場合、時刻t121において、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）。

ドライブ４４が、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）と、サムネイルの表示の処理に応じて、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は減少する。

例えば、時刻t123から時刻t124までの期間において、サムネイルの表示を一時停止すると、この期間において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は変化しない。

時刻t124において、より高速な巻き戻しの処理が指示されると、時間当たりに使用されるサムネイルデータ８１のデータ量が増加するので、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量はより早く減少する。

時刻t125において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、サムネイルデータ読み出し再開閾値以下になると、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを開始する。時刻t125から時刻t126までの期間において、シークされ、ディスク４５の回転が待機されて、時刻t126において、図示せぬヘッドが読み出そうとするサムネイルデータ８１が記録されている位置に到達すると、ドライブ４４は、ディスク４５からサムネイルデータ８１の読み出しを開始して、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。

例えば、時刻t127において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、バッファメモリ４３に記憶可能なデータ量を示すバッファ上限値に等しくなった場合、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）。

例えば、時刻t128から、サムネイルの表示を一時停止すると、これ以後、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は変化しない。

図２９は、制御プログラムを実行するマイクロコンピュータ３１による、サムネイルデータの読み出しの処理を説明するフローチャートである。ステップＳ１４１において、制御プログラムは、ドライブ４４に、ディスク４５からサムネイルデータ８１を読み出させる。ドライブ４４は、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。

ステップＳ１４２において、制御プログラムは、バッファメモリ４３に記憶されたサムネイルデータ８１のデータ量が、サムネイル表示開始閾値以上になったか否かを判定する。

ここで、早送りまたは通常再生の場合、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量とは、現在表示されているサムネイルの次のサムネイルを表示させるためのサムネイルデータ８１から、画像上の時刻において最も後の（遅い）サムネイルを表示させるためのサムネイルデータ８１までのデータの量をいう。また、巻き戻しの場合、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量とは、現在表示されているサムネイルの前のサムネイルを表示させるためのサムネイルデータ８１から、画像上の時刻において最も前の（早い）サムネイルを表示させるためのサムネイルデータ８１までのデータの量をいう。

ステップＳ１４２において、バッファメモリ４３に記憶されたサムネイルデータ８１のデータ量が、サムネイル表示開始閾値以上になっていないと判定された場合、ステップＳ１４１に戻り、サムネイルデータの読み出しの処理が繰り返される。

ステップＳ１４２において、バッファメモリ４３に記憶されたサムネイルデータのデータ量が、サムネイル表示開始閾値以上になったと判定された場合、静止画像伸張部２０４は、バッファメモリ４３に記憶されているサムネイルデータ８１を復号して、伸張し、表示部２０７にサムネイルを表示させる。

ステップＳ１４４において、制御プログラムは、ドライブ４４に、ディスク４５からサムネイルデータ８１を読み出させる。ドライブ４４は、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。

ステップＳ１４５において、制御プログラムは、バッファメモリ４３がいっぱいになったか否かを判定する。すなわち、ステップＳ１４５において、制御プログラムは、バッファメモリ４３に記憶されたサムネイルデータ８１のデータ量が、バッファメモリ上限値に到達したか（等しくなったか）否かを判定する。

ステップＳ１４５において、バッファメモリ４３がいっぱいになっていないと判定された場合、手続きは、ステップＳ１４４に戻り、サムネイルデータ８１の読み出しの処理が繰り返される。

ステップＳ１４５において、バッファメモリ４３がいっぱいになったと判定された場合、これ以上、バッファメモリ４３にサムネイルデータ８１を記憶させることはできないので、サムネイルデータ８１の読み出しを行わずに、ステップＳ１４６に進み、制御プログラムは、動画像の再生の順にサムネイルが表示されているか否か、すなわち、早送りまたは通常再生であるか否かを判定する。

ステップＳ１４６において、動画像の再生の順にサムネイルが表示されていると判定された場合、すなわち、早送りまたは通常再生なので、ステップＳ１４７に進み、制御プログラムは、バッファメモリ４３に記憶されているサムネイルデータ８１のうち、現在表示されているサムネイルの次のサムネイルから、画像上の時刻において最も後の（遅い）サムネイルまでの、サムネイルデータ８１のデータの量を計算し、ステップＳ１４９に進む。

ステップＳ１４６において、動画像の再生の順にサムネイルが表示されていないと判定された場合、すなわち、巻き戻しなので、ステップＳ１４８に進み、制御プログラムは、バッファメモリ４３に記憶されているサムネイルデータ８１のうち、画像上の時刻において最も前のサムネイルから、現在表示されているサムネイルの前のサムネイルまでの、サムネイルデータ８１のデータの量を計算し、ステップＳ１４９に進む。

ステップＳ１４９において、制御プログラムは、算出されたデータ量がサムネイルデータ読み出し再開閾値以下であるか否かを判定する。ステップＳ１４９において、算出されたデータ量がサムネイルデータ読み出し再開閾値以下でないと判定された場合、まだ、サムネイルデータ８１を読み出す必要はないので、ステップＳ１４６に戻り、上述した処理を繰り返す。

ステップＳ１４９において、算出されたデータ量がサムネイルデータ読み出し再開閾値以下であると判定された場合、サムネイルデータ８１を読み出す必要があるので、ステップＳ１４４に戻り、サムネイルデータ８１の読み出しの処理を実行する。

以上の処理を図３０乃至図３４を参照して説明する。早送りにおいて、画像上の時刻t0におけるサムネイルの表示が指示された場合、制御プログラムは、ドライブ４４に、画像上において、時刻t0から所定の時間T1だけ遡った時刻（t0-T1）におけるサムネイルデータ８１から読み出しを開始するように指示する。

以下、適宜、時刻tにおけるサムネイルデータ８１をサムネイルデータtと称する。

時刻t0から時間T1だけ遡った時刻（t0-T1）におけるサムネイルデータ（t0-T1）から読み出すようにしたのは、巻き戻しの指示があった場合に、即座に、巻き戻しができるようにするためである。

ドライブ４４は、ディスク４５から、サムネイルデータ（t0-T1）から画像上の時刻t0におけるサムネイルデータt0までを読み出して、リングバッファであるバッファメモリ４３に記憶させるとともに、サムネイルデータt0から、時刻t0から所定の時間T1だけ進んだ時刻（t0+T1）までのサムネイルデータ（t0+T1）を読み出して、リングバッファであるバッファメモリ４３に記憶させる。図３０中のＡは、バッファメモリ４３に記憶されている、画像上の時刻（t0-T1）から画像上の時刻t0までに対応するサムネイルデータ８１を便宜的に示す。図３０中のＢは、バッファメモリ４３に記憶されている、画像上の時刻t0から画像上の時刻（t0+T1）までに対応するサムネイルデータ８１を便宜的に示す。

そして、ドライブ４４は、リングバッファであるバッファメモリ４３がいっぱいになるまで、ディスク４５から、サムネイルデータ８１を読み出して、サムネイルデータ８１をバッファメモリ４３に記憶させる。図３０中のＣは、バッファメモリ４３に記憶されている、画像上の時刻（t0+T1）から画像上の時刻（t0+Tn）までに対応するサムネイルデータ８１を便宜的に示す。

早送りが実行されて、画像上の時刻tnのサムネイルが表示されると、図３１で示されるように、画像上の時刻t0から画像上の時刻tnまでに対応するサムネイルデータ８１が使用されてしまったので（この後の早送りの処理で使用することはできないので）、バッファメモリ４３に記憶されている、今後早送りの処理で使用することができるサムネイルデータ８１は、例えば、サムネイルデータ（t（n+1））乃至サムネイルデータ（tn+T1）だけになってしまう。図３０中のDは、バッファメモリ４３に記憶されている、画像上の時刻tnから画像上の時刻（tn+T1）までに対応するサムネイルデータ８１を便宜的に示す。

今後早送りの処理で使用することができるサムネイルデータ８１のデータ量がサムネイルデータ読み出し再開閾値以下になると、図３２で示すように、ドライブ４４は、画像上の時刻（tn-T1）から画像上の時刻（tn+T1）までに対応するサムネイルデータ８１には上書きしないように、リングバッファであるバッファメモリ４３がいっぱいになるまで、ディスク４５から、サムネイルデータ（tn+T1）の次のサムネイルデータ８１を順に読み出して、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。図３０中のＥは、バッファメモリ４３に記憶されている、画像上の時刻（tn+T1+1）からの画像上の時刻に対応するサムネイルデータ８１を便宜的に示す。

一方、巻き戻しにおいて、画像上の時刻tｍのサムネイルが表示され、図３３で示されるように、画像上の時刻tmまでに対応するサムネイルデータ８１が使用されてしまった場合、バッファメモリ４３に記憶されている、今後巻き戻しの処理で使用することができるサムネイルデータ８１は、例えば、サムネイルデータ（t（m-1））乃至サムネイルデータ（tm-T1）だけになってしまう。図３０中のEは、バッファメモリ４３に記憶されている、画像上の時刻tmから画像上の時刻（tm-T1）までに対応するサムネイルデータ８１を便宜的に示す。

今後巻き戻しの処理で使用することができるサムネイルデータ８１のデータ量がサムネイルデータ読み出し再開閾値以下になると、図３４で示すように、ドライブ４４は、画像上の時刻（tm+T1）から画像上の時刻（tm-T1）までに対応するサムネイルデータ８１には上書きしないように、リングバッファであるバッファメモリ４３がいっぱいになるまで、ディスク４５から、サムネイルデータ（tm-T1-1）からサムネイルデータ８１を逆に読み出して、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。

この場合、１つのサムネイル記録領域１６２毎にサムネイルデータ８１が読み出されるので、図３４中の太い矢印で示す順に、サムネイルデータ（tm-T1-1）を含む、図３０中のＦで示されるサムネイルデータ８１がバッファメモリ４３に記憶され、次に、図３０中のＦで示されるサムネイルデータ８１の前のＧで示されるサムネイルデータ８１がバッファメモリ４３に記憶される。同様に、画像上の時刻を遡るようにサムネイルデータ８１がディスク４５から読み出されて、バッファメモリ４３に記憶される。

次に、ディスク４５に動画像データが記録されている場合に、その動画像データに対応するサムネイルを生成してディスク４５に記録するときの記録装置について説明する。

図３５は、MPEG2プログラムストリームが記録されているディスク４５からMPEG2プログラムストリームを読み出して、MPEG2プログラムストリームに対応するサムネイルデータを生成してディスク４５に記録する、本発明に係る記録再生装置の一実施の形態の構成を示すブロック図である。図２０に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省略する。

マイクロコンピュータ３１は、所定の制御プログラムを実行して、ユーザの操作に応じた開始停止ボタン３０１からの信号を基に、記録再生装置の各部に動作を指示する。

ドライブ４４は、ディスク４５からMPEG2方式のプログラムストリームを読み出し、読み出したMPEG2方式のプログラムストリームをバッファメモリ４３に記憶させる。デマルチプレクサ２０２は、バッファメモリ４３に記憶されているMPEG2方式のプログラムストリームから、MPEG2方式の画像データであるMPEG2ビデオエレメンタリストリームと音声データとを分離する。

Iピクチャ選択復号部３０２は、マイクロコンピュータ３１の制御の基に、デマルチプレクサ２０２において分離されたMPEG2ビデオエレメンタリストリームのうち、I（イントラ）ピクチャを選択して、選択したIピクチャを復号する。Iピクチャ選択復号部３０２は、復号したピクチャを解像度変換部３０３に供給する。

解像度変換部３０３は、画素数変換部４０と同様に、マイクロコンピュータ３１の制御の基に、復号されたピクチャの解像度を変換する。例えば、解像度変換部３０３は、抽出したピクチャから画素を間引くことにより、ピクチャの解像度を変換する。

解像度変換部３０３は、画素数を変換した画像データをJPEG符号化部３０４に供給する。JPEG符号化部３０４は、マイクロコンピュータ３１の制御の基に、解像度変換部３０３から供給された画像データを、JPEG方式で符号化する。JPEG符号化部３０４は、JPEG方式で符号化した画像データをサムネイルデータとして、ファイルフォーマット変換部３０５に供給する。

ファイルフォーマット変換部３０５は、サムネイルデータのファイル方式を、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、またはトラック管理ファイル１３１から参照されるロケーション関係データファイル方式に変換する。ファイルフォーマット変換部３０５は、ファイル方式を変換したサムネイルデータをバッファメモリ４３に供給する。

ここで、ファイルフォーマット変換部３０５は、サムネイルの生成が指示された動画像データの総てのGOPについて、解像度変換部３０３からサムネイルデータが供給されてから、総てのサムネイルデータについて、一時に、１または所定の数のファイルとなるように、そのサムネイルデータのファイル方式をまとめて変換するようにしてもよい。

ドライブ４４は、バッファメモリ４３に記憶されている、所定のファイル方式に変換されたサムネイルデータをディスク４５に記録する。ファイルフォーマット変換部３０５が、サムネイルの生成が指示された動画像データの総てのGOPについて、解像度変換部３０３からサムネイルデータが供給されてから、総てのサムネイルデータについて、一時に、１または所定の数のファイルとなるように、そのサムネイルデータのファイル方式をまとめて変換する場合、ドライブ４４は、まとめてファイル方式が変換されているサムネイルデータをディスク４５に記録する。

図３６は、Iピクチャ選択復号部３０２の構成を示すブロック図である。バッファ３２１は、デマルチプレクサ２０２から供給された、MPEG2ビデオエレメンタリストリームであるMPEG2方式の動画像データを一時的に記憶する。Iピクチャ判定部３２２は、バッファ３２１に記憶されている、MPEG2方式の動画像データを構成するそれぞれのピクチャについて、例えば、ピクチャヘッダのpicture coding typeを参照することにより、Iピクチャであるか否かを判定する。

セレクタ３２３は、Iピクチャ判定部３２２から供給される、ピクチャがIピクチャであるか否かを示す信号を基に、バッファ３２１に記憶されているピクチャのデータを可変長符号デコーダ３２４に供給させるか、またはバッファ３２１に記憶されているピクチャのデータの可変長符号デコーダ３２４への供給を抑制する。具体的には、セレクタ３２３は、Iピクチャ判定部３２２から、ピクチャがIピクチャであることを示す信号が供給された場合、バッファ３２１に記憶されているIピクチャであるピクチャのデータを可変長符号デコーダ３２４に供給させる。セレクタ３２３は、Iピクチャ判定部３２２から、ピクチャがIピクチャでないことを示す信号が供給された場合、バッファ３２１に記憶されているBピクチャまたはPピクチャであるピクチャのデータの可変長符号デコーダ３２４への供給を抑制する。

可変長符号デコーダ３２４は、セレクタ３２３を介して、バッファ３２１から供給された、可変長符号化されているIピクチャのデータを復号して、復号したIピクチャのデータを逆量子化部３２５に供給する。逆量子化部３２５は、復号したIピクチャのデータの含まれる係数毎に、所定の値の逆量子化係数を乗算することにより、Iピクチャのデータを逆量子化する。逆量子化部３２５は、逆量子化して得られたIピクチャのデータ、すなわちDCT（Discrete Cosine Transform）係数を逆DCT処理部３２６に供給する。

逆DCT処理部３２６は、逆量子化部３２５から供給されたDCT係数を逆DCT変換することにより、圧縮されていない画像データである、いわゆるベースバンド画像データを生成して、ベースバンド画像データを出力する。

図３７は、解像度変換部３０３の構成を示すブロック図である。ローパスフィルタ３４１は、Iピクチャ選択復号部３０２から供給された、ベースバンド画像データから画像の高周波成分を除去して（帯域を制限して）、画像の高周波成分を除去したベースバンド画像データを画素間引部３４２に供給する。例えば、ローパスフィルタ３４１は、縦２×横２の４画素について、画素値の平均値を算出して、算出された平均値をその４画素の画素値に設定することにより、画像の高周波成分を除去する。

画素間引部３４２は、画像の高周波成分が除去されたベースバンド画像データから、画素を間引いて、画素を間引いたベースバンド画像データをサムネイルデータとして出力する。例えば、画素間引部３４２は、ベースバンド画像データの画素を、縦２×横２の４画素の組に分けて、それぞれの４画素から３つの画素を除去することにより、ベースバンド画像データから、画素を間引く。

図３８は、JPEG符号化部３０４の構成を示すブロック図である。DCT処理部３６１は、解像度変換部３０３から供給されたサムネイルデータをDCT変換し、DCT変換の結果得られたDCT係数を量子化部３６２に供給する。量子化部３６２は、DCT処理部３６１から供給されたDCT係数を所定の量子化係数により除算することにより、DCT係数を量子化し、量子化されたDCT係数を可変長符号化部３６３に供給する。可変長符号化部３６３は、量子化されたDCT係数を可変長符号に符号化することにより、JPEG方式により圧縮されているサムネイルデータを生成して、生成したJPEG方式により圧縮されているサムネイルデータを出力する。

図３９は、サムネイルデータの生成の処理を説明するフローチャートである。ステップＳ３０１において、Iピクチャ選択復号部３０２は、ドライブ４４によって、ディスク４５から読み出されたMPEG2プログラムストリームである動画像データのそれぞれのGOPからIピクチャを抽出する（選択する）。ステップＳ３０２において、Iピクチャ選択復号部３０２は、抽出したIピクチャを復号する。

ステップＳ３０３において、解像度変換部３０３は、復号したIピクチャの解像度を解像度を下げるように変換する。ステップＳ３０４において、JPEG符号化部３０４は、解像度を変換したIピクチャをJPEG方式で圧縮する。ステップＳ３０５において、ファイルフォーマット変換部３０５は、IピクチャをJPEG方式で圧縮して得られたサムネイルデータのファイル方式を整えて、ステップＳ３０１に戻り、上述した処理を繰り返す。

サムネイルデータをIピクチャのストリームとして生成することもできる。

図４０は、MPEG2プログラムストリームが記録されているディスク４５からMPEG2プログラムストリームを読み出して、MPEG2プログラムストリームに対応する、Iピクチャのストリームであるサムネイルを生成してディスク４５に記録する、本発明に係る記録再生装置の一実施の形態の構成を示すブロック図である。図３５に示す場合と同様の部分に同一の符号を付してあり、その説明は省略する。

Iピクチャ符号化部３８１は、解像度変換部３０３から供給された、解像度が変換されたベースバンド画像データであるサムネイルデータをIピクチャとして圧縮符号化する。Iピクチャ符号化部３８１は、Iピクチャとして圧縮符号化されたサムネイルデータをファイルフォーマット変換部３０５に供給する。

図４１は、Iピクチャ符号化部３８１の構成を示すブロック図である。バッファ４０１は、解像度変換部３０３から供給された、解像度が変換されたベースバンド画像データであるサムネイルデータを一時的に記憶する。バッファ４０１は、記憶しているサムネイルデータを視覚パラメータ検出部４０２およびDCT処理部４０３に供給する。

視覚パラメータ検出部４０２は、バッファ４０１に記憶されているサムネイルデータの画像の特徴を示す視覚パラメータを検出して、検出した視覚パラメータを制御部４０４に供給する。視覚パラメータは、例えば、MPEG2 TM（Test Model）5に規定されている、画素値の空間方向の変化を示すアクティビティとすることができる。

DCT処理部４０３は、バッファ４０１から供給されたサムネイルデータをDCT変換し、DCT変換の結果得られたDCT係数を量子化部４０５に供給する。

制御部４０４は、視覚パラメータ検出部４０２から供給された視覚パラメータおよびバッファ４０７に記憶されている圧縮サムネイルデータのデータ量を基に、量子化値を決定して、量子化値を量子化部４０５に供給する。例えば、制御部４０４は、MPEG2 TM5の規定と同様に、視覚パラメータを基に、高周波成分をより多く含む場合、より粗く量子化し、高周波成分がより少ない場合、より細かく量子化するように量子化値を決定する。また、制御部４０４は、バッファ４０７に記憶されている圧縮サムネイルデータのデータ量を基に、Iピクチャとして圧縮符号化されているサムネイルデータのデータ量が所定の上限を超えないように、量子化値を決定する。

量子化部４０５は、DCT処理部４０３から供給されたDCT係数を、制御部４０４から供給された量子化値により除算することにより、DCT係数を量子化し、量子化されたDCT係数を可変長符号化部４０６に供給する。可変長符号化部４０６は、量子化されたDCT係数を可変長符号に符号化することにより、Iピクチャとして圧縮符号化されたサムネイルデータを生成して、生成したIピクチャとして圧縮符号化されたサムネイルデータをバッファ４０７に供給する。

バッファ４０７は、Iピクチャとして圧縮符号化されているサムネイルデータを一時的に記憶する。バッファ４０７は、記憶しているIピクチャとして圧縮符号化されているサムネイルデータを出力する。

図４２は、１つのIピクチャ毎の制御部４０４による符号量の制御の処理を説明するフローチャートである。ステップＳ３２１において、制御部４０４は、ピクチャに符号の量を割り当てる。例えば、ステップＳ３２１において、制御部４０４は、ピクチャに対する符号量の目標値ではなく、ピクチャに対する符号量の上限と所定のマージンとを考慮した符号量をピクチャに割り当てる。より具体的には、ステップＳ３２１において、制御部４０４は、符号量の上限からマージンを差し引いた値の符号量をピクチャに割り当てる。

これは、Iピクチャとして圧縮符号化されたサムネイルデータのデータ量がステップＳ３２１における設定値を結果として超えてしまうことがあるので、後述するサムネイルの連続再生におけるVBVで示される制約を保証するためである。

ステップＳ３２２において、制御部４０４は、ピクチャに割り当てられた符号の量を各マクロブロックに割り振るように、ピクチャに割り当てられた符号の量を基に、マクロブロックに符号の量を割り当てる。

ステップＳ３２３において、制御部４０４は、視覚パラメータを用いて、最終的な量子化値を決定し、処理は終了する。

このように、サムネイルデータは、所定の上限値以下のデータ量となるようにIピクチャとして圧縮符号化される。このようにすることで、サムネイルデータを早送り若しくは巻き戻しなどの特殊再生を行っても、復号においてアンダーフローを生じることなく、迅速にサムネイルを再生して、表示することができるようになる。

この効果を、VBV（Video Buffering Verifier）のモデルを使用して説明する。VBVは、ISO13818-2 Annex Cに規定される、エンコーダの出力に接続される仮想的なデコーダのモデルであり、このモデルに含まれるVBVバッファに格納されるデータ量に対する拘束条件によって、ビットストリームに対する制限を規定するものである。VBVは、通常、復号側の制約を規定するものであるが、以下、符号化側に置き換えて説明する。

図４３は、VBVのモデルの構成を示すブロック図である。符号化器４２１は、ピクチャに対応する符号をVBVバッファ４２２に出力する。VBVバッファ４２２は、符号化器４２１から供給された符号を一時的に記憶し、記憶している符号を出力する。

ここで、符号化器４２１からVBVバッファ４２２へは、符号が瞬時に転送されると仮定する。また、VBVバッファ４２２に符号が記憶されていない場合、VBVバッファ４２２から符号は出力されず、VBVバッファ４２２に符号が記憶されている場合、VBVバッファ４２２から、最大転送レートで符号が出力されると仮定する。

図４４は、サムネイルのデータ量に制限を設けない場合のVBVのモデルの動きを説明する図である。図４４において、縦方向は、VBVバッファ４２２に記憶される符号のデータ量を示し、横方向は、時間を示す。

図４４において、時間Tは、フレームの期間［秒］を示し、フレームレートの逆数に等しい。

VBVバッファ４２２が空の状態から符号化の処理が開始された時刻t=0において、符号化器４２１からデータ量P0の符号がVBVバッファ４２２に転送されるので、時刻t=0において、VBVバッファ４２２に記憶される符号のデータ量は、P0となる。VBVバッファ４２２から、最大の転送レートで符号が出力されるので、VBVバッファ４２２に記憶される符号のデータ量は、時間の経過とともに減少し、時刻t=Tにおいて、VBVバッファ４２２に記憶される符号のデータ量は、B1となる。同時に、時刻t=Tにおいて、P0に比較してより少ないデータ量であるデータ量P1の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、B1＋P1まで瞬時に増加する。

同様に、時刻t=2Tにおいて、VBVバッファ４２２に記憶される符号のデータ量は、B2となる。同時に、時刻t=Tにおいて、P1とほぼ同じデータ量であるデータ量P2の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、B2＋P2まで瞬時に増加する。

時刻t=Txにおいて、VBVバッファ４２２に記憶される符号のデータ量は、0となる。VBVバッファ４２２に記憶される符号のデータ量が0になると、VBVバッファ４２２は符号を出力しない。

時刻t=3Tにおいて、P0に比較してより少なく、P1に比較してより多いデータ量であるデータ量P3の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、P3まで瞬時に増加する。時刻t=4Tにおいて、VBVバッファ４２２に記憶される符号のデータ量は、0となり、同時に、P1とほぼ同じデータ量であるデータ量P4の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、P4まで瞬時に増加する。

このように、符号化器４２１から出力される１つのピクチャに対する符号の量が変化すると、アンダーフローまたはオーバーフローが生じる場合がある。

例えば、時刻t=Tおよび時刻t=2Tにおいて、P1とほぼ同じデータ量であるデータ量P4の符号が符号化器４２１からVBVバッファ４２２に転送された場合、オーバーフローが発生してしまう。

符号化側では、アンダーフローが発生しても、書き込みの待機をさせることができるので、アンダーフローの発生は許容されるが、オーバーフローが発生すると符号が欠落してしまうので、オーバーフローの発生は許容されない。

このため、符号化において符号化されたデータのデータ量を監視し、符号の量を変化させるパラメータを用いて、符号化の処理をフィードバック制御して、オーバーフローを生じさせないようにしなければならない。

ここで、符号化器４２１からVBVバッファ４２２に、フレームの期間Tにおいて、最大転送レートで出力できるデータ量の符号が常に転送される場合を考える。これは、例えば、ステップＳ３２１において、制御部４０４が、フレームの期間Tにおいて、最大転送レートで出力できるデータ量をピクチャに対する符号量の上限として、符号量をピクチャに割り当てることに相当する。

VBVバッファ４２２から出力される符号の最大転送レートをRmax[bit/sec]とし、フレームレートをframe_rate[frameの数/sec]とすると、１フレーム（ピクチャ）当たりのサムネイルについて許容されるデータ量である許容最大符号量fb［bit/frame］は、Rmax/frame_rateで算出することができる。ここで、frame_rateは、NTSC（National Television System Committee）方式またはPAL（Phase Alternating （by） Line）方式などテレビジョン放送の方式により異なる。

図４５は、各サムネイルのデータ量が、このように算出された許容最大符号量fbに等しい場合の、VBVのモデルの動きを説明する図である。図４５において、縦方向は、VBVバッファ４２２に記憶される符号のデータ量を示し、横方向は、時間を示す。

図４５において、時間Tは、フレームの期間［秒］を示し、フレームレートの逆数に等しい。

VBVバッファ４２２が空の状態から符号化の処理が開始された時刻t=0において、符号化器４２１からデータ量P0の符号がVBVバッファ４２２に転送されるので、時刻t=0において、VBVバッファ４２２に記憶される符号のデータ量は、P0（=許容最大符号量fb）となる。VBVバッファ４２２から、最大の転送レートで符号が出力されるので、VBVバッファ４２２に記憶される符号のデータ量は、時間の経過とともに減少し、時刻t=Tにおいて、VBVバッファ４２２に記憶される符号のデータ量は、0となり、同時に、時刻t=Tにおいて、P0と同じデータ量であるデータ量P1の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、P1まで瞬時に増加する。

VBVバッファ４２２から、最大の転送レートで符号が出力されるので、VBVバッファ４２２に記憶される符号のデータ量は、時間の経過とともに減少し、時刻t=2Tにおいて、VBVバッファ４２２に記憶される符号のデータ量は、0となり、同時に、時刻t=2Tにおいて、P0と同じデータ量であるデータ量P2の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、P2まで瞬時に増加する。

同様に、時刻t=3T乃至時刻t=nTにおいて、VBVバッファ４２２に記憶される符号のデータ量は、0となり、同時に、P0と同じデータ量の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、P0と同じデータ量まで瞬時に増加する。

すなわち、符号化器４２１からVBVバッファ４２２に転送される時刻において、VBVバッファ４２２に記憶される符号のデータ量は、最大となり、そのデータ量は、許容最大符号量fbに等しい。

図４０で構成が示される記録再生装置においては、許容最大符号量fb以下になるようにサムネイルのデータ量が制限されるので、図４５で示される場合よりも、オーバーフローがより起きにくいと言える。すなわち、図４５は、バッファの占有率が最も高い状態を示していると言える。

ここで、再生側について、サムネイルを変速再生する場合のVBVについて説明する。変速再生においては、任意のサムネイル（ピクチャ）が、任意の順に再生されることになる。従って、それぞれのサムネイルのデータ量が変化する場合、大きなデータ量のサムネイルの再生が連続して要求されるときがある。このような場合には、VBVバッファの占有率が下がり、ときには、VBVバッファが枯渇して、アンダーフローが生じてしまう恐れがある。その結果、サムネイルの再生が間に合わなくなり、サムネイルの表示の切り替えがユーザの指示通りに行われなくなってしまう。

しかしながら、総てのサムネイルのデータ量を許容最大符号量fb以下とすることによって、どのサムネイルが、どの順序で再生されても、VBVバッファの占有率が一定以下になることがなく、アンダーフローが生じるおそれがなくなる。その結果、サムネイルの表示の切り替えが、常に、ユーザの指示通りに行われることが保証される。

図４６は、MPEG2のシステムストリームが記録されているディスク４５からMPEG2のシステムストリームを読み出して、MPEG2のシステムストリームに対応する、Iピクチャのストリームであるサムネイルを生成してディスク４５に記録する、本発明に係る記録再生装置の一実施の形態の他の構成を示すブロック図である。図４０に示す場合と同様の部分に同一の符号を付してあり、その説明は省略する。

Iピクチャ選択復号部４５１は、マイクロコンピュータ３１の制御の基に、デマルチプレクサ２０２において分離されたMPEG2ビデオエレメンタリストリームのうち、I（イントラ）ピクチャを選択して、選択したIピクチャをDCT係数まで復号する。Iピクチャ選択復号部４５１は、復号したDCT係数を周波数特性変換部４５２に供給する。

周波数特性変換部４５２は、マイクロコンピュータ３１の制御の基に、復号されたDCT係数の周波数特性を変換する。例えば、周波数特性変換部４５２は、DCT係数のうち、画像の高周波に対応する成分を除去するか、減衰させることによりDCT係数の周波数特性を変換する。

周波数特性変換部４５２は、周波数特性を変換したDCT係数をIピクチャ符号化部４５３に供給する。Iピクチャ符号化部４５３は、周波数特性変換部４５２から供給された、周波数特性を変換したDCT係数をIピクチャとして圧縮符号化する。Iピクチャ符号化部４５３は、DCT係数をIピクチャとして圧縮符号化して得られたサムネイルデータをファイルフォーマット変換部３０５に供給する。

図４７は、Iピクチャ選択復号部４５１の構成を示すブロック図である。バッファ４７１は、デマルチプレクサ２０２から供給された、MPEG2ビデオエレメンタリストリームであるMPEG2方式の動画像データを一時的に記憶する。Iピクチャ判定部４７２は、バッファ４７１に記憶されている、MPEG2方式の動画像データを構成するそれぞれのピクチャについて、例えば、ピクチャヘッダのpicture coding typeを参照することにより、Iピクチャであるか否かを判定する。

セレクタ４７３は、Iピクチャ判定部４７２から供給される、ピクチャがIピクチャであるか否かを示す信号を基に、バッファ４７１に記憶されているピクチャのデータを可変長符号デコーダ４７４に供給させるか、またはバッファ４７１に記憶されているピクチャのデータの可変長符号デコーダ４７４への供給を抑制する。具体的には、セレクタ４７３は、Iピクチャ判定部４７２から、ピクチャがIピクチャであることを示す信号が供給された場合、バッファ４７１に記憶されているIピクチャであるピクチャのデータを可変長符号デコーダ４７４に供給させる。セレクタ４７３は、Iピクチャ判定部４７２から、ピクチャがIピクチャでないことを示す信号が供給された場合、バッファ４７１に記憶されているBピクチャまたはPピクチャであるピクチャのデータの可変長符号デコーダ４７４への供給を抑制する。

可変長符号デコーダ４７４は、セレクタ４７３を介して、バッファ４７１から供給された、可変長符号化されているIピクチャのデータを復号して、復号したIピクチャのデータを逆量子化部４７５に供給する。逆量子化部４７５は、復号したIピクチャのデータの含まれる係数毎に、所定の値の逆量子化係数を乗算することにより、Iピクチャのデータを逆量子化する。逆量子化部４７５は、逆量子化して得られたIピクチャのデータ、すなわちDCT係数および量子化スケールを出力する。

図４８は、周波数特性変換部４５２の構成を示すブロック図である。水平方向フィルタ４９１は、DCT係数のうち、水平方向に並ぶDCT係数について、高周波成分を除去するか、減衰させる。

図４９で示されるように、DCT係数は、２次元に配置され、水平方向の次数（ｎ）は、０乃至７とされ、垂直方向の次数（ｍ）は、０乃至７とされる。水平方向の次数（ｎ）のより大きいDCT係数は、画像のより高い周波数の成分に対応し、垂直方向の次数（ｍ）のより大きいDCT係数は、画像のより高い周波数の成分に対応する。

図５０は、水平方向フィルタ４９１の伝達関数H（n）および垂直方向フィルタ４９２の伝達関数V（m）を示す図である。例えば、水平方向フィルタ４９１は、図５０で示される伝達関数H（n）を基に、水平方向の次数（ｎ）のより大きいDCT係数を０とするか、またはその値を小さくして、DCT係数のうち、水平方向に並ぶDCT係数について、高周波成分を除去するか、減衰させる。

水平方向フィルタ４９１は、水平方向に並ぶDCT係数について、高周波成分を除去したか、減衰させたDCT係数を垂直方向フィルタ４９２に供給する。

垂直方向フィルタ４９２は、水平方向フィルタ４９１から供給されたDCT係数のうち、垂直方向に並ぶDCT係数について、高周波成分を除去するか、減衰させて、出力する。例えば、垂直方向フィルタ４９２は、図５０で示される伝達関数V（m）を基に、水平方向フィルタ４９１から供給された垂直方向の次数（m）のより大きいDCT係数を０とするか、またはその値を小さくして、DCT係数のうち、垂直方向に並ぶDCT係数について、高周波成分を除去するか、減衰させる。

すなわち、周波数特性変換部４５２に入力されるDCT係数をd(n,m)とした場合、d(n,m)×H（n）×V（m）で算出されるDCT係数d'(n,m)が、図４８で構成が示される周波数特性変換部４５２から出力される。これは、DCT係数が周波数領域の値であるので、上述した伝達関数を乗算することにより、フィルタリングの処理が可能となるものである。

換言すれば、８×８のDCT係数に、上述した伝達関数H（n）および伝達関数V（m）を乗算することにより、縦８画素×横８画素のブロックに、画像の周波数領域の制限をかけることができる。

なお、Iピクチャ選択復号部４５１から出力された量子化スケールは、周波数特性変換部４５２をそのまま通過して、Iピクチャ符号化部４５３に入力される。

図５１は、Iピクチャ符号化部４５３の構成を示すブロック図である。制御部５０１は、周波数特性変換部４５２を介してIピクチャ選択復号部４５１から供給された量子化スケールおよびバッファ５０４に記憶されている圧縮サムネイルデータのデータ量を基に、量子化値を決定して、量子化値を量子化部５０２に供給する。例えば、制御部５０１は、バッファ５０４に記憶されている圧縮サムネイルデータのデータ量を基に、Iピクチャとして圧縮符号化されているサムネイルデータのデータ量が所定の上限を超えないように、量子化値を決定する。

量子化部５０２は、周波数特性変換部４５２から供給されたDCT係数を、制御部５０１から供給された量子化値により除算することにより、DCT係数を量子化し、量子化されたDCT係数を可変長符号化部５０３に供給する。Iピクチャ符号化部４５３に入力されるDCT係数は、高周波成分が除去されるか、減衰させられているので、周波数特性が変換される前のDCT係数に比較してより小さい値なので、量子化部５０２における再量子化において、その値が０となるDCT係数が増加し、打ち切り次数も低くなる。

可変長符号化部５０３は、量子化されたDCT係数を可変長符号に符号化することにより、Iピクチャとして圧縮符号化されたサムネイルデータを生成して、生成したIピクチャとして圧縮符号化されたサムネイルデータをバッファ５０４に供給する。

バッファ５０４は、Iピクチャとして圧縮符号化されているサムネイルデータを一時的に記憶する。バッファ５０４は、記憶している、Iピクチャとして圧縮符号化されているサムネイルデータを出力する。

Iピクチャ符号化部４５３に入力されるDCT係数は、高周波成分が除去されるか、減衰させられているので、Iピクチャ符号化部４５３は、より少ないデータ量のサムネイルデータを出力することができる。

図５２は、サムネイルデータの生成の他の処理を説明するフローチャートである。ステップＳ３６１において、Iピクチャ選択復号部４５１は、ドライブ４４によって、ディスク４５から読み出されたMPEG2プログラムストリームである動画像データのそれぞれのGOPからIピクチャを抽出する（選択する）。ステップＳ３６２において、Iピクチャ選択復号部４５１は、抽出したIピクチャをDCT係数に復号する。

ステップＳ３６３において、周波数特性変換部４５２は、復号されたDCT係数の高次の成分を除去して、DCT係数の周波数特性を変換する。ステップＳ３６４において、Iピクチャ符号化部４５３は、周波数特性を変換したDCT係数をIピクチャとして圧縮符号化する。ステップＳ３６５において、ファイルフォーマット変換部３０５は、Iピクチャとして圧縮符号化されたサムネイルデータのファイル方式を整えて、ステップＳ３６１に戻り、上述した処理を繰り返す。

図５３は、１つのIピクチャ毎の制御部５０１による符号量の制御の処理を説明するフローチャートである。ステップＳ３８１において、制御部５０１は、ピクチャに符号の量を割り当てる。例えば、ステップＳ３８１において、制御部５０１は、ピクチャに対する符号量の目標値ではなく、ピクチャに対する符号量の上限と所定のマージンとを考慮した符号量をピクチャに割り当てる。より具体的には、ステップＳ３８１において、制御部５０１は、符号量の上限からマージンを差し引いた値の符号量をピクチャに割り当てる。

これは、Iピクチャとして圧縮符号化されたサムネイルデータのデータ量がステップＳ３２１における設定値を結果として超えてしまうことがあるので、上述したようにサムネイルの連続再生におけるVBVで示される制約を保証するためである。

ステップＳ３８２において、制御部５０１は、ピクチャに割り当てられた符号の量を基に、最終的な量子化値を決定し、マクロブロックに符号の量を割り当て、処理は終了する。

次に、MPEG2のシステムストリームが記録されているディスク４５からMPEG2のシステムストリームを読み出して、MPEG2のシステムストリームに対応するサムネイルデータを生成してディスク４５に記録したディスク４５からサムネイルデータを読み出して、サムネイルを再生する記録再生装置について説明する。

図５４は、JPEG方式により圧縮符号化されているサムネイルデータ８１を基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態の他の構成を示すブロック図である。図２０に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省略する。

ファイルフォーマット変換部５２１は、マイクロコンピュータ３１の制御の基に、ドライブ４４によってディスク４５から読み出され、バッファメモリ４３に記憶された、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、トラック管理ファイル１３１から参照されるロケーション関係データファイル方式、またはロケーション関係データファイル１４１から参照されるファイル方式のサムネイルデータ８１を読み出す。

ファイルフォーマット変換部５２１は、読み出したサムネイルデータ８１のファイル方式を変換し、ファイル方式を変換したサムネイルデータ８１をJPEG復号部５２２に供給する。例えば、ファイルフォーマット変換部５２１は、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、トラック管理ファイル１３１から参照されるロケーション関係データファイル方式、またはロケーション関係データファイル１４１から参照されるファイル方式のサムネイルデータ８１から、JPEG方式で圧縮符号化されているサムネイルデータ８１を抽出することにより、サムネイルデータ８１のファイル方式を変換する。

JPEG復号部５２２は、マイクロコンピュータ３１の制御の基に、ファイルフォーマット変換部５２１から供給された、JPEG方式で圧縮符号化されているサムネイルデータ８１を復号して、復号して得られたベースバンド画像であるサムネイルデータ８１をバッファメモリ３５に記憶させる。

図５５は、JPEG復号部５２２の構成を示すブロック図である。可変長符号デコーダ５４１は、ファイルフォーマット変換部５２１から供給された、可変長符号化されているサムネイルデータ８１を復号して、復号したサムネイルデータ８１を逆量子化部５４２に供給する。逆量子化部５４２は、復号したサムネイルデータ８１に含まれる係数毎に、所定の値の逆量子化係数を乗算することにより、サムネイルデータ８１を逆量子化する。逆量子化部５４２は、逆量子化して得られたサムネイルデータ８１、すなわちDCT係数を逆DCT処理部５４３に供給する。

逆DCT処理部５４３は、逆量子化部５４２から供給されたDCT係数を逆DCT変換することにより、圧縮されていない画像データである、いわゆるベースバンド画像データを生成して、ベースバンド画像データを出力する。

図５６は、Iピクチャのストリームとして圧縮符号化されているサムネイルデータ８１を基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態の他の構成を示すブロック図である。図２０に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省略する。

ファイルフォーマット変換部５６１は、マイクロコンピュータ３１の制御の基に、ドライブ４４によってディスク４５から読み出され、バッファメモリ４３に記憶された、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、トラック管理ファイル１３１から参照されるロケーション関係データファイル方式、またはロケーション関係データファイル１４１から参照されるファイル方式のサムネイルデータ８１を読み出す。

ファイルフォーマット変換部５６１は、読み出したサムネイルデータ８１のファイル方式を変換し、ファイル方式を変換したサムネイルデータ８１をIピクチャ復号部５６２に供給する。例えば、ファイルフォーマット変換部５６１は、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、トラック管理ファイル１３１から参照されるロケーション関係データファイル方式、またはロケーション関係データファイル１４１から参照されるファイル方式のサムネイルデータ８１から、Iピクチャのストリームとして圧縮符号化されているサムネイルデータ８１を抽出することにより、サムネイルデータ８１のファイル方式を変換する。

Iピクチャ復号部５６２は、マイクロコンピュータ３１の制御の基に、ファイルフォーマット変換部５６１から供給された、Iピクチャのストリームとして圧縮符号化されているサムネイルデータ８１を復号して、復号して得られたベースバンド画像であるサムネイルデータ８１をバッファメモリ３５に記憶させる。

図５７は、Iピクチャ復号部５６２の構成を示すブロック図である。可変長符号デコーダ５８１は、ファイルフォーマット変換部５６１から供給された、可変長符号化されているIピクチャのデータを復号して、復号したIピクチャのデータを逆量子化部５８２に供給する。逆量子化部５８２は、復号したIピクチャのデータの含まれる係数毎に、所定の値の逆量子化係数を乗算することにより、Iピクチャのデータを逆量子化する。逆量子化部５８２は、逆量子化して得られたIピクチャのデータ、すなわちDCT係数を逆DCT処理部５８３に供給する。

逆DCT処理部５８３は、逆量子化部５８２から供給されたDCT係数を逆DCT変換することにより、圧縮されていない画像データである、いわゆるベースバンド画像データを生成して、ベースバンド画像データを出力する。

サムネイルデータ８１が、例えば、画像の高周波成分を除去するように周波数特性が変換され、Iピクチャのストリームとして圧縮符号化されている場合、サムネイルの画素を間引いて表示するようにしてもよい。

図５８は、Iピクチャのストリームとして圧縮符号化されているサムネイルデータ８１を基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態のさらに他の構成を示すブロック図である。図５６に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省略する。

画素間引部５９１は、Iピクチャ復号部５６２から供給された、ベースバンド画像データとしてのサムネイルデータ８１において、サムネイルデータ８１の画素のうち、所定の位置の画素を間引いて、画素を間引いたサムネイルデータ８１をバッファメモリ３５に記憶させる。例えば、画素間引部５９１は、サムネイルデータ８１の画素を、縦２×横２の４画素の組に分けて、それぞれの４画素から３つの画素を除去することにより、サムネイルデータ８１から、画素を間引く。

サムネイルデータ８１が、画像の高周波成分を除去するように周波数特性が変換され、Iピクチャのストリームとして圧縮符号化されている場合、画像のサイズは縮小されていないので、画素間引部５９１が画素を間引くことにより、画像のサイズを小さくすることができる。

なお、画像の高周波成分を除去するように周波数特性が変換されているサムネイルデータ８１において、折り返しが問題にならない場合には、画素間引部５９１は、単純に画素を間引くだけでよい。折り返しが問題になる場合には、画素間引部５９１は、画素を間引く前に、ローパスフィルタを通して帯域を制限した画像データから、画素を間引くようにするのが好ましい。

このように、動画像に応じたピクチャを生成するようにした場合には、動画像に応じたピクチャをデータ記録媒体に記録することができる。また、動画像の符号化の単位であって、一定の数のピクチャからなる単位から、１つのピクチャを抽出し、抽出されたピクチャの情報量を削減し、情報量が削減されたピクチャを所定の符号化方式で符号化し、ピクチャが抽出された単位に、符号化されたピクチャを関係付け、動画像を記録するデータ記録媒体への、単位に関係付けられたピクチャの記録を制御するようにした場合には、動画像を再生する場合に、単位に関係付けられたピクチャを迅速に再生することができるようになる。その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に知ることができる。

また、データ記録媒体に記録されているピクチャであって、動画像に応じたピクチャを読み出しするようにした場合には、動画像に応じたピクチャを再生することができる。また、動画像が記録されると共に、動画像の符号化の単位であって、一定の数のピクチャからなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、単位のそれぞれに関係付けられているピクチャが記録されているデータ記録媒体からの、ユーザからの指令および動画像の単位との関係に基づく、ピクチャの読み出しを制御し、読み出されたピクチャを復号し、復号されたピクチャの表示を制御するようにした場合には、単位に関係付けられたピクチャを迅速に再生することができるようになる。その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に知ることができる。

なお、サムネイルを圧縮符号化する方式は、JPEG方式、Iピクチャとしての符号化に限らず、JPEG2000またはモーションJPEGなど、個々のサムネイルのデータ量を制御できる符号化方式であればよい。また、動画像の符号化方式は、MPEG２であると説明したが、これに限らず、MPEG４、MPEG７など他の符号化方式であってもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

この記録媒体は、図３、図２０、図３５、図４０、図４６、図５４、図５６、または図５８に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリなどよりなるパッケージメディアであるディスク４８により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているマイクロコンピュータに内蔵されている図示せぬROMや、図示せぬハードディスクなどで構成される。

なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

従来の記録方式を説明する図である。 従来の編集ポイントの検索表示の処理を説明するフローチャートである。 本発明の係る記録装置の一実施の形態の構成を示すブロック図である。 １つのGOPからの１つのフレーム（ピクチャ）の抽出を説明する図である。 ディスクに記録されたサムネイルデータの一例を示す図である。 多重化されている動画像データおよび音声データと、サムネイルデータとの同期を説明する図である。 PLF方式のファイルの例を説明する図である。 PLF方式ファイルとは別に、サムネイルデータを格納したファイルを説明する図である。 静止画像パッケージ方式のファイルの例を説明する図である。 トラック管理ファイル方式のファイルの例を示す図である。 ロケーション関係データファイルの例を示す図である。 ロケーションを説明する図である。 外部のファイルに格納されたサムネイルデータをさらに参照するロケーション関係データファイル、およびサムネイルデータを格納した参照されるファイルの例を示す図である。 サムネイルデータが記録されるサムネイルデータ記録領域を説明する図である。 ストリームユニットにサムネイルデータ８１を隣接して記録する場合の、ディスクへの記録の処理を説明する図である。 サムネイルデータが記録されるサムネイルデータ記録領域を説明する図である。 ストリームユニットとは離れた位置に、サムネイルデータをまとめて記録する場合の、ディスクへの記録の処理を説明する図である。 データの変換の処理を説明するフローチャートである。 データの記録の処理を説明するフローチャートである。 本発明に係る記録再生装置における再生ブロックの一実施の形態の構成を示すブロック図である。 編集ポイントの検索表示の処理を説明するフローチャートである。 サムネイルの表示の例を説明する図である。 サムネイルデータの読み出しを説明する図である。 サムネイルデータの読み出しを説明する図である。 早送りをする場合の、バッファメモリに記憶されるサムネイルデータのデータ量の変化を説明する図である。 巻き戻しをする場合の、バッファメモリに記憶されるサムネイルデータのデータ量の変化を説明する図である。 巻き戻しをする場合の、サムネイルデータの読み出しを説明する図である。 巻き戻しをする場合の、バッファメモリに記憶されるサムネイルデータのデータ量の変化の詳細を説明する図である。 サムネイルデータの読み出しの処理を説明するフローチャートである。 バッファメモリへのサムネイルデータの記憶を説明する図である。 バッファメモリへのサムネイルデータの記憶を説明する図である。 バッファメモリへのサムネイルデータの記憶を説明する図である。 バッファメモリへのサムネイルデータの記憶を説明する図である。 バッファメモリへのサムネイルデータの記憶を説明する図である。 MPEG2プログラムストリームが記録されているディスクからMPEG2プログラムストリームを読み出して、MPEG2プログラムストリームに対応するサムネイルデータを生成してディスクに記録する、本発明に係る記録再生装置の一実施の形態の構成を示すブロック図である。 Iピクチャ選択復号部の構成を示すブロック図である。 解像度変換部の構成を示すブロック図である。 JPEG符号化部の構成を示すブロック図である。 サムネイルデータの生成の処理を説明するフローチャートである。 MPEG2プログラムストリームが記録されているディスクからMPEG2プログラムストリームを読み出して、MPEG2プログラムストリームに対応する、Iピクチャのストリームであるサムネイルを生成してディスクに記録する、本発明に係る記録再生装置の一実施の形態の構成を示すブロック図である。 Iピクチャ符号化部の構成を示すブロック図である。 符号量の制御の処理を説明するフローチャートである。 VBVのモデルの構成を示すブロック図である。 サムネイルのデータ量に制限を設けない場合のVBVのモデルの動きを説明する図である。 サムネイルのデータ量が制限されている場合のVBVのモデルの動きを説明する図である。 MPEG2プログラムストリームが記録されているディスクからMPEG2プログラムストリームを読み出して、MPEG2プログラムストリームに対応する、Iピクチャのストリームであるサムネイルを生成してディスクに記録する、本発明に係る記録再生装置の一実施の形態の他の構成を示すブロック図である。 Iピクチャ選択復号部の構成を示すブロック図である。 周波数特性変換部の構成を示すブロック図である。 DCT係数を説明する図である。 水平方向フィルタの伝達関数H（n）および垂直方向フィルタの伝達関数V（m）を示す図である。 Iピクチャ符号化部の構成を示すブロック図である。 サムネイルデータの生成の他の処理を説明するフローチャートである。 符号量の制御の他の処理を説明するフローチャートである。 JPEG方式により圧縮符号化されているサムネイルデータを基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態の他の構成を示すブロック図である。 JPEG復号部の構成を示すブロック図である。 Iピクチャのストリームとして圧縮符号化されているサムネイルデータを基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態の他の構成を示すブロック図である。 Iピクチャ復号部の構成を示すブロック図である。 Iピクチャのストリームとして圧縮符号化されているサムネイルデータを基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態のさらに他の構成を示すブロック図である。

符号の説明

３１ マイクロコンピュータ， ３５ バッファメモリ， ３８ 動画像圧縮部， ４０ 画素数変換部， ４１ 静止画像圧縮部， ４２ 音声圧縮部， ４３ バッファメモリ， ４４ ドライブ， ４５ ディスク， ４８ ディスク， ５１ 抽出部， ８１ サムネイルデータ， １０１ PLF方式ファイル， １１１ ファイル， １２１ 静止画像パッケージ方式ファイル， １３１ トラック管理ファイル， １４１ ロケーション関係データファイル， １５１ ロケーション関係データファイル， １６２ サムネイルデータ記録領域， ２０３ 動画像伸張部， ２０４ 静止画像伸張部， ２０５ 音声伸張部， ２０６ 画像出力インターフェース， ３０２ Iピクチャ選択復号部， ３０３ 解像度変換部， ３０４ JPEG符号化部， ３０５ ファイルフォーマット変換部， ３２２ Iピクチャ判定部， ３２３ セレクタ， ３２４ 可変長符号デコーダ， ３２５ 逆量子化部， ３２６ 逆DCT処理部， ３４１ ローパスフィルタ， ３４２ 画素間引部， ３８１ Iピクチャ符号化部， ４０２ 視覚パラメータ検出部， ４０３ DCT処理部， ４０４ 制御部， ４０５ 量子化部， ４０６ 可変長符号化部， ４０７ バッファ， ４５１ Iピクチャ選択復号部， ４５２ 周波数特性変換部， ４５３ Iピクチャ符号化部， ４７２ Iピクチャ判定部， ４７３ セレクタ， ４７４ 可変長符号デコーダ， ４７５ 逆量子化部， ４９１ 水平方向フィルタ， ４９２ 垂直方向フィルタ， ５０１ 制御部， ５０２ 量子化部， ５０３ 可変長符号化部， ５０４ バッファ， ５２１ ファイルフォーマット変換部， ５２２ JPEG復号部， ５６１ ファイルフォーマット変換部， ５６２ Iピクチャ復号部， ５９１ 画素間引部

Claims (4)

1. 動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの前記画像を抽出する抽出手段と、
   抽出された前記画像の情報量を削減する削減手段と、
   前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化手段と、
   前記抽出手段において前記画像が抽出された前記単位に、符号化された前記画像を関係付ける関係付け手段と、
   前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画像の記録を制御する記録制御手段と
   を備え、
   前記記録制御手段は、
   再生における予め定めた時間の前記動画像を、前記データ記録媒体の連続する第１の領域に記録するように、前記データ記録媒体への前記動画像の記録を制御すると共に、
   前記データ記録媒体の前記第１の領域への前記動画像の記録が終了した場合、符号化された前記画像のデータ量が所定の閾値を超えたとき、前記データ記録媒体の連続する第２の領域に前記画像を記録するように、前記データ記録媒体への前記画像の記録を制御する
   ことを特徴とする記録装置。
2. 動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの前記画像を抽出する抽出ステップと、
   抽出された前記画像の情報量を削減する削減ステップと、
   前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化ステップと、
   前記抽出ステップにおいて前記画像が抽出された前記単位に、符号化された前記画像を関係付ける関係付けステップと、
   前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画像の記録を制御する記録制御ステップと
   を含み、
   前記記録制御ステップの処理によって、
   再生における予め定めた時間の前記動画像を、前記データ記録媒体の連続する第１の領域に記録するように、前記データ記録媒体への前記動画像の記録を制御すると共に、
   前記データ記録媒体の前記第１の領域への前記動画像の記録が終了した場合、符号化された前記画像のデータ量が所定の閾値を超えたとき、前記データ記録媒体の連続する第２の領域に前記画像を記録するように、前記データ記録媒体への前記画像の記録を制御する
   ことを特徴とする記録方法。
3. 動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの前記画像を抽出する抽出ステップと、
   抽出された前記画像の情報量を削減する削減ステップと、
   前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化ステップと、
   前記抽出ステップにおいて前記画像が抽出された前記単位に、符号化された前記画像を関係付ける関係付けステップと、
   前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画像の記録を制御する記録制御ステップと
   を含み、
   前記記録制御ステップの処理によって、
   再生における予め定めた時間の前記動画像を、前記データ記録媒体の連続する第１の領域に記録するように、前記データ記録媒体への前記動画像の記録を制御すると共に、
   前記データ記録媒体の前記第１の領域への前記動画像の記録が終了した場合、符号化された前記画像のデータ量が所定の閾値を超えたとき、前記データ記録媒体の連続する第２の領域に前記画像を記録するように、前記データ記録媒体への前記画像の記録を制御する
   ことを特徴とする記録処理をコンピュータに実行させるプログラムが記録されている記録媒体。
4. 動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの前記画像を抽出する抽出ステップと、
   抽出された前記画像の情報量を削減する削減ステップと、
   前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化ステップと、
   前記抽出ステップにおいて前記画像が抽出された前記単位に、符号化された前記画像を関係付ける関係付けステップと、
   前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画像の記録を制御する記録制御ステップと
   を含み、
   前記記録制御ステップの処理によって、
   再生における予め定めた時間の前記動画像を、前記データ記録媒体の連続する第１の領域に記録するように、前記データ記録媒体への前記動画像の記録を制御すると共に、
   前記データ記録媒体の前記第１の領域への前記動画像の記録が終了した場合、符号化された前記画像のデータ量が所定の閾値を超えたとき、前記データ記録媒体の連続する第２の領域に前記画像を記録するように、前記データ記録媒体への前記画像の記録を制御する
   処理をコンピュータに実行させることを特徴とするプログラム。

Images