JP2006304103A - 動画記録装置、および動画記録再生装置 - Google Patents

Abstract

【課題】サムネイル表示の処理負荷を軽減するとともに、処理時間を短縮する動画ファイルを生成する動画記録装置、および動画記録再生装置を得ること。
【解決手段】ＪＰＥＧ符号化部１２は映像信号処理部１０によって生成されたデジタル映像信号にＪＰＥＧ符号化処理を施してサムネイル画像データを生成し、ＭＰＥＧ４符号化部１３はデジタル映像信号にＭＰＥＧ４符号化処理を施して映像ストリームデータを生成し、オーディオ符号化部１４は音声入力部１１によって生成されたデジタル音声信号にオーディオ符号化処理を施して音声ストリームデータを生成する。ファイル生成部１５は、制御部５からサムネイル画像作成指示があった場合、所定の動画ファイルフォーマットに従って、映像ストリームおよび音声ストリームデータを設定するとともに、サムネイル画像データ領域を作成してサムネイル画像データを設定する。
【選択図】 図１

Description

本発明は、サムネイル機能を有する動画記録装置、および動画記録再生装置に関するものである。

近年、デジタルスチールカメラやデジタルビデオカメラなど、ＣＣＤ（Charge Coupled Device）によって捉えた画像や動画をデジタルデータに変換してフラッシュメモリなどの記録媒体に所定のファイルフォーマットの動画ファイルとして記録する動画記録装置や、映像の記録とともに、記録した動画ファイルを再生する動画記録再生装置が普及している。

また、動画記録装置の普及にともなって、動画記録再生装置によって記録された動画ファイルを再生する機能を備えたパーソナルコンピュータやテレビなども普及している。
動画記録装置は、映像を動画ファイルとして記録するが、映像のデータをそのまま記録することは、データ量から考えると現実的ではない。そのため、映像のデータに符号化処理を施してデータを圧縮して記録媒体に記録するようにしている。また、記録媒体に記録するファイルフォーマットも、パーソナルコンピュータや携帯端末、テレビ、動画ビューワーなどと互換性のあるフォーマットを採用するようにしている。

一般的に用いられるデータ圧縮に関する従来技術として、たとえば、非特許文献１および２がある。非特許文献１には、ＭＰＥＧ（Moving Picture coding Experts Group）−４における視聴覚情報と音響情報の多重化／組立てに関する技術が開示されている。また、非特許文献２には、ＭＰＥＧ−４における視覚情報の符号化に関する技術が開示されている。

また、動画を記録するファイルフォーマットに関する従来技術として、たとえば、非特許文献３〜５がある。非特許文献３には、動画および音声データを記録するファイルフォーマットに関する基本技術が開示されている。

また、非特許文献４には、ＭＰ４と呼ばれる動画および音声データを記録するファイルフォーマットに関する技術が開示されている。さらに、非特許文献５には、ＡＳＦ(Advanced Systems Format)ファイルと呼ばれる動画および音声データを記録するファイルフォーマットに関する技術が開示されている。

ＩＳＯ／ＩＥＣ １４４９６−１ ＭＰＥＧ４ Ｓｙｓｔｅｍ ＩＳＯ／ＩＥＣ １４４９６−２ ＭＧＥＧ４ Ｖｉｓｕａｌ ＩＳＯ／ＩＥＣ １４４９６−１２ ＩＳＯ Ｂａｓｅ Ｆｉｌｅ Ｆｏｒｍａｔ ＩＳＯ／ＩＥＣ １４４９６−１４ ＭＰ４ Ｆｉｌｅ Ｆｏｒｍａｔ ＡＳＦ＿Ｓｐｅｃｉｆｉｃａｔｉｏｎ

ところで、動画記録再生装置には、記録した動画ファイルの任意の画面（フレーム）を表示するサムネイル表示機能がある。しかしながら、上記非特許文献１および２に記載のデータ圧縮アルゴリズムの特性、および上記非特許文献３〜４のファイルフォーマットの特性から、サムネイルの表示処理の処理負荷が大きく、処理時間がかかるという問題があった。

具体的には、上記非特許文献１および２に記載のデータ圧縮技術（ＭＰＥＧ−４）では、フレーム間予測符号化、動き補償予測、離散コサイン変換、およびエントロピー符号化によってデータを圧縮している。フレーム間予測符号化では、現フレームの画像と直前に処理した前フレームとの差を取ることにより、差分値の統計的偏りを持たせてエントロピー符号化による符号化量削減効果を高めるようにしている。すなわち、ＭＰＥＧ−４では、フレーム画像のデータ全ての情報を有し単体でフレーム画像を構築できる（Ｉピクチャ）ストリームデータと、前フレームとの差分データのみの情報を有し単体でフレーム画像を構築することができない（ＰピクチャおよびＢピクチャ）ストリームデータとがある。

そのため、ＰピクチャまたはＢピクチャのフレームをサムネイル表示として指定された場合には、そのピクチャから、Ｉピクチャまでの全てのフレームのストリームデータを伸張しなければならないので、サムネイルを表示するまでの処理負荷が大きく、処理時間もかかる。

また、Ｉピクチャは、フレーム全ての情報を有しているので、ビットレートや画素サイズなどの圧縮条件によっては１フレームを構成するストリームデータのデータサイズが大きくなる。しかしながら、非特許文献３および４に記載のＭＰ４ファイルや、非特許文献５に記載のＡＳＦファイルのフォーマットでは、画像データを格納するデータ領域が所定のサイズに分割されているので、データサイズが大きいＩピクチャのストリームデータは、分割されて格納されることが多い。そのため、１フレームの画像を伸張するために、複数のデータ領域からデータを読み出さなければならない。すなわち、ストリームデータの分割回数だけ記憶媒体にアクセスしなければならず、サムネイルを表示する処理時間が長くなる。

たとえば、非特許文献３および４に記載のＭＰ４ファイルの場合、ストリームデータはすべて、コンテンツデータ領域（Ｍｏｖｉｅ Ｄａｔａ Ｂｏｘ）内のチャンクデータに格納される。しかし、チャンクデータのファイル先頭からのオフセットおよびチャンクデータ内に含まれるストリーム数、ストリームサイズ、時間などの情報は、すべてコンテンツデータ領域内以下のSample Description Boxに記載される。また、Sample Description Boxとチャンクデータとは配置先が異なるため、ストリームの情報を取得してからストリームデータを取得するまでの間に、必ず動画ファイルが記憶されている記憶媒体にアクセスしなければならない。

本発明は、上記に鑑みてなされたものであって、サムネイル表示の処理負荷を軽減するとともに、処理時間を短縮する動画ファイルを生成する動画記録装置、および動画記録再生装置を得ることを目的とする。

第２の目的は、コンテンツの内容を明確に示すサムネイル画像を表示することができる動画記録装置、および動画記録再生装置を得ることである。

上述した課題を解決し、目的を達成するために、本発明は、記録すべき映像のデジタル映像信号およびデジタル音声信号から、予め定められた動画ファイルフォーマットの動画ファイルを生成して記憶する動画記録装置において、前記デジタル映像信号に予め定められた第１の符号化処理を施して圧縮した映像ストリームデータを生成する第１の符号化部と、前記デジタル音声信号に予め定められた第２の符号化処理を施して圧縮した音声ストリームデータを生成する第２の符号化部と、前記映像ストリームデータおよび前記音声ストリームデータを前記動画ファイルのビデオストリームおよびオーディオストリームに設定するとともに、前記動画ファイルの中でユーザが任意に作成できるユーザ作成領域にサムネイル画像データ領域を作成し、外部からサムネイル画像の作成の指示を受けた場合、作成したサムネイル画像データ領域に、サムネイル画像として用いるフレームのデジタル映像信号をサムネイル画像データとして設定するファイル生成部と、を備えることを特徴とする。

この発明によれば、記録すべき映像のデジタル映像信号およびデジタル音声信号から、予め定められた動画ファイルフォーマットの動画ファイルを生成する際に、動画ファイルの中でユーザが任意に作成できるユーザ作成領域にサムネイル画像データ領域を作成し、作成したサムネイル画像データ領域に、サムネイル表示時に用いるサムネイル画像のサムネイル画像データを設定するようにしているので、サムネイル表示時に、サムネイル画像データを読み出して表示するだけでよく、デジタル映像信号から生成された映像ストリームデータからサムネイル画像を生成する場合と比較して、サムネイルの表示処理の処理負荷を軽減するとともに、処理時間を短縮することができる。

以下に、本発明にかかる動画記録再生装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１〜図７を参照してこの発明にかかる実施の形態１を説明する。図１は、この発明にかかる実施の形態１の動画記録再生装置の構成を示すブロック図である。図１において、動画記録再生装置は、映像信号処理部１０、音声入力部１１、ＪＰＥＧ符号化部１２（特許請求の範囲でいうところの第３の符号化部）、ＭＰＥＧ４符号化部１３（特許請求の範囲でいうところの第１の符号化部）、オーディオ符号化部１４（特許請求の範囲でいうところの第２の符号化部）、およびファイル生成部１５を有する記録処理部１と、ＪＰＥＧ復号化部２１（特許請求の範囲でいうところの第３の復号化部）、ＭＰＥＧ４復号化部２２（特許請求の範囲でいうところの第１の復号化部）、オーディオ復号化部２３（特許請求の範囲でいうところの第２の復号化部）、表示部２４、および音声出力部２５を有する再生処理部２と、操作部３と、記憶部４と、制御部５とを備えている。

映像信号処理部１０は、記録すべき映像のデジタル映像信号を生成する。具体的には、たとえば、図示しないＣＣＤ（Charge Coupled Device）などによって取り込まれたアナログの映像信号をデジタル信号に変換してデジタル映像信号を生成する。

ＭＰＥＧ４符号化部１３は、映像信号処理部１０によって生成されたデジタル映像信号にＭＰＥＧ４符号化処理を施してデジタル映像信号を圧縮した映像ストリームデータを生成する。ＪＰＥＧ符号化部１２は、映像信号処理部１０によって生成されたデジタル映像信号、またはＭＰＥＧ４復号化部２２によって生成されたデジタル映像信号にＪＰＥＧ符号化処理を施してデジタル映像信号を圧縮したサムネイル表示用のサムネイル画像データを生成する。

音声入力部１１は、記録すべき音声のデジタル音声信号を生成する。具体的には、たとえば、図示しないマイクによって取り込まれたアナログの音声信号をデジタル信号に変換してデジタル音声信号を生成する。

オーディオ符号化部１４は、音声入力部１１によって生成されたデジタル音声信号に予め定められたオーディオ符号化方式による符号化処理を施して、デジタル音声信号を圧縮した音声ストリームデータを生成する。

ファイル生成部１５は、ＪＰＥＧ符号化部１２によって生成されたサムネイル画像データと、ＭＰＥＧ４符号化部１３によって生成された映像ストリームデータと、オーディオ符号化部１４によって生成された音声ストリームデータとから、所定のファイルフォーマットの動画ファイルを生成する。

記憶部４は、たとえば、フラッシュメモリなどの記憶媒体で構成され、ファイル生成部１５が生成した動画ファイルを記憶する。操作部３は、記録開始／終了や、再生開始／終了、サムネイル作成／表示などの指示を受け付ける入力手段として用いられる。

制御部５は、操作部３が受け付けた指示に基づいて動画記録再生装置の各構成要素を統括的に制御する。制御部５は、操作部３を介してサムネイルの画像が指定されると、サムネイル画像作成指示をファイル生成部１５に出力する。また、制御部５は、再生時には、記憶部４が記憶している動画ファイルの映像ストリームデータをＭＰＥＧ４復号化部２２に出力させ、音声ストリームデータをオーディオ復号化部２３に出力させる。制御部５は、サムネイル表示時には、記憶部４が記憶している動画ファイルのサムネイル画像データをＪＰＥＧ復号化部２１に出力させる。

ＭＰＥＧ４復号化部２２は、記憶部４から入力される映像ストリームデータにＭＰＥＧ４復号化処理を施して映像ストリームデータを伸張したデジタル映像信号を生成する。ＪＰＥＧ復号化部２１は、サムネイル画像データにＪＰＥＧ復号化処理を施してサムネイル画像データを伸張したサムネイル画像信号を生成する。

表示部２４は、ＭＰＥＧ４復号化部２２によって生成されたデジタル映像信号や、ＪＰＥＧ復号化部２１によって生成されたサムネイル画像信号に基づいて動画や画像を表示する。

オーディオ復号化部２３は、記憶部４から入力される音声ストリームデータに予め定められたオーディオ復号化処理を施して音声ストリームデータを伸張したデジタル音声信号を生成する。音声出力部２５は、たとえば、スピーカで構成され、オーディオ復号化部２３によって生成されたデジタル音声信号に基づいて音声を出力する。

つぎに、図２、図５、および図６のフローチャートを参照して、この発明にかかる実施の形態１の動画記録再生装置の動作を説明する。まず、図２のフローチャートを参照して動画記録再生装置の記録動作について説明する。

操作部３を介してユーザから記録開始の指示を受けると、制御部５は、記録処理部１の各構成要素に記録開始指示を通知して記録動作を開始させる。また、制御部５は、ＪＰＥＧ符号化部１２が映像信号処理部１０によって生成されたデジタル映像信号を選択するように設定する。

記録開始指示を受けると、映像信号処理部１０は、入力される映像信号からデジタル映像信号を生成し、音声入力部１１は入力される音声信号からデジタル音声信号を生成する（ステップＳ１００，Ｓ１０１）。映像信号処理部１０は、生成したデジタル映像信号をＪＰＥＧ符号化部１２とＭＰＥＧ４符号化部１３とに出力する。音声入力部１１は、生成したデジタル音声信号をオーディオ符号化部１４に出力する。

ＪＰＥＧ符号化部１２は、デジタル映像信号にＪＰＥＧ符号化処理を施してデジタル映像信号を圧縮したサムネイル画像データを生成する（ステップＳ１０２）。ＪＰＥＧ符号化部１２は、生成したサムネイル画像データをファイル生成部１５に出力する。

一方、ＭＰＥＧ４符号化部１３は、映像信号処理部１０によって生成されたデジタル映像信号にＭＰＥＧ４符号化処理を施してデジタル映像信号を圧縮した映像ストリームデータを生成し、オーディオ符号化部１４は、音声入力部１１によって生成されたデジタル音声信号に予め定められたオーディオ符号化方式による符号化処理を施してデジタル音声信号を圧縮した音声ストリームデータを生成する（ステップＳ１０３）。ＭＰＥＧ４符号化部１３は生成した映像ストリームデータをファイル生成部１５に出力し、オーディオ符号化部１４は生成した音声ストリームデータをファイル生成部１５に出力する。

ファイル生成部１５は、サムネイル画像作成指示があるか否かを判定する（ステップＳ１０４）。サムネイル画像作成指示がある場合、ファイル生成部１５は、予め定められたファイルフォーマットに従って、ＪＰＥＧ符号化部１２によって生成されたサムネイル画像データ、ＭＰＥＧ４符号化部１３によって生成された映像ストリームデータ、およびオーディオ符号化部１４によって生成された音声ストリームデータを記憶部４に記憶されている動画ファイルに付加する（ステップＳ１０５）。

一般的に、動画ファイルのファイルフォーマットは、ファイルの管理や再生時に必要なファイル構成に関する情報（ファイル名やファイルフォーマット、データ量など）が設定されるファイルヘッダ領域と、映像ストリームデータおよび音声ストリームデータを設定するデータ領域と、ユーザが任意に作成できるユーザ作成領域とを備えている。ファイル生成部１５は、映像ストリームデータおよび音声ストリームデータを所定のファイルフォーマットに従って設定し、ユーザ作成領域に設けたサムネイル画像領域にサムネイル画像データを設定する。

サムネイル画像作成指示がない場合、ファイル生成部１５は、予め定められたファイルフォーマットに従って、ＭＰＥＧ４符号化部１３によって生成された映像ストリームデータ、およびオーディオ符号化部１４によって生成された音声ストリームデータを記憶部４に記憶されている動画ファイルに付加する（ステップＳ１０６）。

映像信号処理部１０、音声入力部１１、ＪＰＥＧ符号化部１２、ＭＰＥＧ４符号化部１３、オーディオ符号化部１４、およびファイル生成部１５は、上述したステップＳ１０１〜１０６で示した記録動作を、制御部５が操作部３を介して記録終了の指示を受けて各構成要素に記録終了指示を出力するまで繰り返す（ステップＳ１０１〜Ｓ１０７）。

図３は、ファイル生成部１５が、ＡＳＦファイルフォーマットに従って生成する動画ファイルの構成を示す図である。図３において、ＡＳＦファイルフォーマットの動画ファイルは、ファイルの管理や再生時に必要なファイル構成に関する情報が設定されるファイルヘッダ領域３０と、映像ストリームデータおよび音声ストリームデータが設定されるｎ（０＜ｎ、ｎは自然数）個のデータパケット（図中では、Data Packet＃１〜＃ｎ）を有するデータ領域３１というンデックスデータ領域３２とで構成される。

ファイルヘッダ領域３０は、ヘッダーオブジェクト（図中では、Header Object）と、ファイルプロパティオブジェクト（図中では、File Properties Object）と、ユーザデータオブジェクト（図中では、User Data Object）とを有している。ユーザデータオブジェクトは、ユーザが任意に作成できるユーザ作成領域であるので、ＡＳＦファイルフォーマットにおいては、ユーザデータオブジェクトをサムネイル画像データ領域３３として使用する。

サムネイル画像データ領域３３は、サムネイル画像データ領域であることを示す識別子が設定されるＧＵＩＤ３４と、サムネイル画像データ領域のサイズが設定されるオブジェクトサイズ（図中では、ObjectSize）３５と、ｍ（１≦ｍ、ｍは自然数）個のサムネイル画像データが設定されるサムネイルデータ領域３６とで構成される。

データパケット＃１〜＃ｎは、パケットヘッダー（図中では、Packet Header）と、オーディオトリーム（図中では、Audio Stream）および／またはビデオストリーム（図中では、Video Stream）で構成される。

図３に示したＡＳＦファイルフォーマットで動画ファイルを生成する場合、ファイル生成部１５は、一般的なＡＳＦファイルの作成処理に従って、オーディオストリームに音声ストリームデータを設定し、ビデオストリームに映像ストリームデータを設定する。映像ストリームデータはＭＰＥＧ４符号化によって生成されているので、単体でフレーム画像を構築可能なストリームデータと、単体ではフレーム画像を構築できないストリームデータ（前のフレーム画像との差分のみのストリームデータ）とがある。図３においては、データパケット＃１のビデオストリーム＃１とデータパケット＃２のビデオストリーム＃１とには単体でフレーム画像を構築可能な映像ストリームデータが分割して設定され、ビデオストリーム＃２，＃３には、同一データパケット内のビデオストリーム＃１の映像ストリームデータを用いてフレーム画像を構築する映像ストリームデータが設定されている。

また、ファイル生成部１５は、サムネイル画像作成指示があった場合、動画ファイル内にサムネイル画像データ領域３３が存在するか否かを判定する。具体的には、ファイル生成部１５は、サムネイル画像データ領域３３を示す識別子が設定されているＧＵＩＤ３４を検索する。ＧＵＩＤ３４が存在する場合には、追加するサムネイル画像データのサイズ分、データ領域３１およびインデックスデータ領域３２をシフトして、既に設定されているサムネイル画像データと、データ領域３１のデータパケット＃１との間に新たに作成されたサムネイル画像データを挿入する。ファイル生成部１５は、挿入したサムネイル画像データのサイズをオブジェクトサイズ３５に設定されているサイズに加算した値を、オブジェクトサイズ３５に設定する。

ＧＵＩＤ３４が存在しない場合には、ＧＵＩＤ３４およびオブジェクトサイズ３５のサイズと、サムネイル画像データのサイズとを加算した分、データ領域３１およびインデックスデータ領域３２をシフトして、ＧＵＩＤ３４、オブジェクトサイズ３５、およびサムネイルデータ領域３６を生成する。ファイル生成部１５は、ＧＵＩＤ３４にサムネイル画像データ領域３３を示す識別子を設定し、サムネイル画像データ領域３３のサイズをオブジェクトサイズ３５に設定し、サムネイルデータ領域３６にサムネイル画像データを設定する。

図４は、ファイル生成部１５が、ＭＰ４ファイルフォーマットに従って生成する動画ファイルの構成を示す図である。図４において、ＭＰ４ファイルフォーマットの動画ファイルは、ファイルの管理や再生時に必要なファイル構成に関する情報が設定されるファイルヘッダ領域４０と、映像ストリームデータおよび音声ストリームデータが設定されるコンテンツデータ領域４１やユーザオブジェクト領域４２などの複数のオブジェクトで構成される。ＭＰ４においては、コンテンツデータ領域４１の後のユーザオブジェクト領域４２などの複数のオブジェクトを有する領域にユーザが任意に作成できるユーザ作成領域があるので、コンテンツデータ領域４１の後のユーザ作成領域をサムネイル画像データ領域４３として使用する。

ファイルヘッダ領域４０は、ファイルタイプが設定されるファイル識別子領域と、映像コンテンツ情報領域および音声コンテンツ情報領域を有するコンテンツ情報領域とで構成される。映像コンテンツ情報領域および音声コンテンツ情報領域は、それぞれTime To Sample Box、Sample Size Box、Chunk Offset Boxを有するストリーム情報領域で構成される。

コンテンツデータ領域４１は、複数のオーディオストリーム（図中では、Audio Stream）および／またはビデオストリーム（図中では、Video Stream）を有するｎ（０＜ｎ、ｎは自然数）個のチャンクデータ（図中では、Chunk Data）＃１〜＃ｎで構成される。

サムネイル画像データ領域４３は、オブジェクトがサムネイル画像データ領域４３であることを示す識別子が設定されるオブジェクトタイプ（図中では、Object Type）４４と、サムネイル画像データ領域４３のサイズが設定されるオブジェクトサイズ（図中では、ObjectSize）４５と、ｍ（０＜ｍ，ｍは自然数）個のサムネイル画像データが設定されるサムネイルデータ領域４６とで構成される。

図４に示したＭＰ４ファイルフォーマットで動画ファイルを生成する場合、ファイル生成部１５は、一般的なＭＰ４ファイルの作成処理に従って、オーディオストリームに音声ストリームデータを設定し、ビデオストリームに映像ストリームデータを設定する。動画ストリームはＭＰＥＧ４符号化によって生成されているので、単体でフレームを構築可能なストリームデータと、単体ではフレーム画像を構築できないストリームデータ（前のフレーム画像との差分のみのストリームデータ）とがある。図４においては、ビデオストリーム＃１には単体でフレーム画像を構築可能な映像ストリームデータが設定され、ビデオストリーム＃２には、ビデオストリーム＃１の動画を用いてフレーム画像を構築する映像ストリームデータが設定されている。

また、ファイル生成部１５は、サムネイル画像作成指示があった場合、動画ファイルにサムネイル画像データ領域４３が存在するか否かを判定する。具体的には、ファイル生成部１５は、サムネイル画像データ領域４３を示す識別子が設定されているオブジェクトタイプ４４を検索する。オブジェクトタイプ４４が存在する場合には、追加するサムネイル画像データのサイズ分、コンテンツデータ領域４１の後のユーザオブジェクト領域４２などの複数のオブジェクトをシフトして、既に設定されているサムネイル画像データの後ろに新たに作成されたサムネイル画像データを挿入する。ファイル生成部１５は、挿入したサムネイル画像データのサイズをオブジェクトサイズ４５に設定されているサイズに加算した値を、オブジェクトサイズ４５に設定する。

オブジェクトタイプ４４が存在しない場合には、オブジェクトタイプ４４およびオブジェクトサイズ４５のサイズと、サムネイル画像データのサイズとを加算した分、コンテンツデータ領域４１の後のユーザオブジェクト領域４２などの複数のオブジェクトをシフトして、オブジェクトタイプ４４、オブジェクトサイズ４５、およびサムネイルデータ領域４６を生成する。ファイル生成部１５は、オブジェクトタイプ４４にサムネイル画像データ領域４３を示す識別子を設定し、サムネイル画像データ領域４３のサイズをオブジェクトサイズ４５に設定し、サムネイルデータ領域４６にサムネイル画像データを設定する。

つぎに、図５のフローチャートを参照して、動画記録再生装置の再生動作について説明する。操作部３を介してユーザから再生開始の指示を受けると（ステップＳ２００）、制御部５は、再生処理部２の各構成要素と、記録処理部１のＪＰＥＧ符号化部１２およびファイル生成部１５に再生開始指示を通知して再生動作を開始させる。また、制御部５は、ＪＰＥＧ符号化部１２がＭＰＥＧ復号化部２２によって生成されたデジタル映像信号を選択するように設定する。

制御部５は、予め定められた動画ファイルのフォーマットに従って、記憶部４に、動画ファイルのビデオストリームに格納されている映像ストリームデータをＭＰＥＧ４復号化部２２に出力させ、オーディオストリームに格納されている音声ストリームデータをオーディオ復号化部２３に出力させる（ステップＳ２０１）。

具体的には、再生すべき動画ファイルが図３に示したＡＳＦファイルフォーマットの動画ファイルの場合、制御部５は、ファイルヘッダ領域３０およびインデックスデータ領域３２に設定されている情報を用いて一般的なＡＳＦファイルの再生処理によって、記憶部４に、ビデオストリームに設定されている映像ストリームデータをＭＰＥＧ４復号化部２２に出力させ、オーディオストリームに設定されている音声ストリームデータをオーディオ復号化部２３に出力させる。

また、再生すべき動画ファイルが図４に示したＭＰ４ファイルフォーマットの動画ファイルの場合、制御部５は、ファイルヘッダ領域４０に設定されている情報を用いた一般的なＭＰ４ファイル再生処理によって、記憶部４に、ビデオストリームに設定されている映像ストリームデータをＭＰＥＧ４復号化部２２に出力させ、オーディオストリームに設定されている音声ストリームデータをオーディオ復号化部２３に出力させる。

ＭＰＥＧ４復号化部２２は、記憶部４から入力される映像ストリームデータにＭＰＥＧ４復号化処理を施して映像ストリームデータを伸張したデジタル映像信号を生成し、オーディオ復号化部２３は、記憶部４から入力される音声ストリームデータに予め定められたオーディオ復号化方式による復号化処理を施して音声ストリームデータを伸張したデジタル音声信号を生成する（ステップＳ２０２）。ＭＰＥＧ４復号化部２２は生成したデジタル映像信号を表示部２４、およびＪＰＥＧ符号化部１２に出力し、オーディオ復号化部２３は生成したデジタル音声信号を音声出力部２５に出力する。

表示部２４は、デジタル映像信号に基づいて映像を表示し、音声出力部２５は、デジタル音声信号に基づいて音声を出力する（ステップＳ２０３，Ｓ２０４）。

一方、ＪＰＥＧ符号化部１２は、ＭＰＥＧ４復号化部２２から入力されるデジタル映像信号にＪＰＥＧ符号化処理を施してデジタル映像信号を圧縮したサムネイル画像データを生成する（ステップＳ２０５）。ＪＰＥＧ符号化部１２は、生成したサムネイル画像データをファイル生成部１５に出力する。

ファイル生成部１５は、サムネイル画像作成指示があるか否かを判定する（ステップＳ２０６）。サムネイル画像作成指示がある場合、ファイル生成部１５は、ＪＰＥＧ符号化部１２によって生成されたサムネイル画像データを、再生している動画ファイルのファイルフォーマットに従って、動画ファイルにサムネイル画像データを追加する（ステップＳ２０７）。

具体的には、再生している動画ファイルがＡＳＦファイルフォーマットの場合には、上述したように、データ領域３１およびインデックスデータ領域３２をシフトして、ファイルヘッダ領域３０内にサムネイル画像データ領域３３（サムネイル画像データ領域３３が存在する場合には、サムネイル画像データのみ）を挿入する。

また、再生している動画ファイルがＭＰ４ファイルフォーマットの場合には、上述したように、コンテンツデータ領域４１の後のユーザオブジェクト領域４２などの複数のオブジェクトをシフトして、コンテンツデータ領域４１の後にサムネイル画像データ領域４３（サムネイル画像データ領域４３が存在する場合には、サムネイル画像データのみ）を挿入する。

サムネイル画像作成指示がない場合、ファイル生成部１５は、何も処理を行なわない。すなわち、再生している動画ファイルは変更されない。

制御部５、ＭＰＥＧ４復号化部２２、オーディオ復号化部２３、表示部２４、音声出力部２５、ＪＰＥＧ符号化部１２、およびファイル生成部１５は、上述したステップＳ２０１〜Ｓ２０７で示した再生動作を、操作部３を介して再生終了の指示を受けた制御部５が各構成要素に記録終了指示を出力するか、再生すべき動画ファイルのデータがなくなるまで繰り返す（ステップＳ２０１〜Ｓ２０９）。

つぎに、図６のフローチャートを参照して、動画記録再生装置のサムネイル表示動作について説明する。操作部３を介してユーザからサムネイル表示の指示を受けると（ステップＳ３００）、制御部５は、再生処理部２のＪＰＥＧ復号化部２１および表示部２４にサムネイル表示指示を通知してサムネイル表示動作を開始させる。

制御部５は、予め定められた動画ファイルのフォーマットに従って、記憶部４に、動画ファイルのサムネイル画像データ領域に設定されているサムネイル画像データをＪＰＥＧ復号化部２１に出力させる（ステップＳ３０１）。

具体的には、動画ファイルが図３に示したＡＳＦファイルフォーマットの動画ファイルの場合には、制御部５は、ＧＵＩＤ３４によってサムネイル画像データ領域３３を検出し、オブジェクトサイズ４５に設定されているサイズに基づいてサムネイルデータ領域３６に設定されているサムネイル画像データを取得する。

動画ファイルが図４に示したＭＰ４ファイルフォーマットの動画ファイルの場合、制御部５は、オブジェクトタイプ４４によってサムネイル画像データ領域４３を検出し、オブジェクトサイズ４５に設定されているサイズに基づいてサムネイルデータ領域４６に設定されているサムネイル画像データを取得する。

ＪＰＥＧ復号化部２１は、サムネイル画像データにＪＰＥＧ復号化処理を施してサムネイル画像データを伸張したサムネイル画像信号を生成する（ステップＳ３０２）。ＪＰＥＧ復号化部２１は、生成したサムネイル画像信号を表示部２４に出力する。表示部２４は、サムネイル画像信号に基づいてサムネイル画像を表示する（ステップＳ３０３）。

制御部５、ＪＰＥＧ復号化部２１、および表示部２４は、記憶部４に記憶されている動画ファイルのサムネイル画像データを全て表示するまで、上述したステップＳ３０１〜３０３の動作を繰り返す（ステップＳ３０１〜Ｓ３０４）。

図７は、この実施の形態１の動画記録再生装置によって生成したサムネイルの画像と記録した映像との関係を示す図である。図７では、記録開始時と、記録開始から３０分後、および記録開始から６０分後にユーザからサムネイル画像作成の指示を受けた場合、すなわち、３回サムネイル画像作成の指示を受けて、３枚のサムネイル画像データを生成した場合を示している。

以上説明したように、この実施の形態１においては、記録すべき映像のデジタル映像信号およびデジタル音声信号から、予め定められた動画ファイルフォーマットの動画ファイルを生成する際に、動画ファイルの中でユーザが任意に作成できるユーザ作成領域にサムネイル画像データ領域を作成し、作成したサムネイル画像データ領域に、サムネイル表示時に用いるサムネイル画像のサムネイル画像データを設定するようにしているので、サムネイル表示時に、サムネイル画像データを読み出して表示するだけでよく、デジタル映像信号から生成された映像ストリームデータからサムネイル画像を生成する場合と比較して、サムネイルの表示処理の処理負荷を軽減するとともに、処理時間を短縮することができる。

具体的には、ＡＳＦファイルフォーマットの動画ファイルの場合、動画ファイルに設定する際の映像ストリームデータの分割数、およびデータパケットサイズに影響されることなく、サムネイル画像データ領域のみを読み出すだけでサムネイル画像のサムネイル画像データを取得することができるので、サムネイルの表示処理の処理負荷を軽減するとともに、処理時間を短縮することができる。

また、ＭＰ４ファイルフォーマットの動画ファイルの場合、映像ストリームデータのストリームデータ情報が格納されているSample Description Boxの検索および解析、チャンクデータの取得およびストリームの分離を行なう必要がなくなり、サムネイル画像データ領域のみを読み出すだけでサムネイル画像のサムネイル画像データを取得することができるので、サムネイルの表示処理の処理負荷を軽減するとともに、処理時間を短縮することができる。

さらに、この実施の形態１においては、予め定められた動画ファイルフォーマットの動画ファイルの中で、ユーザが任意に作成できるユーザ作成領域にサムネイル画像データ領域を作成するようにしているので、既存の動画ファイルフォーマットを逸脱することなく、互換性を保つことができる。

さらにまた、この実施の形態１においては、外部からの指定によって同一の動画ファイルのサムネイル画像を任意の枚数作成することができるため、長時間の録画の場合、容易に動画ファイルのシーンを検索することができる。

なお、この実施の形態１では、ＭＰＥＧ４符号化によって映像ストリームデータを生成し、ＪＰＥＧ符号化によってサムネイル画像データを生成する場合を例に挙げて説明したが、符号化方式はこれに限るものではないが、サムネイル画像データを生成する符号化方式として、映像ストリームデータを生成する符号化方式よりも画素数が少ない条件の符号化方式を用いることが望ましい。

実施の形態２．
図８を参照してこの発明にかかる実施の形態２を説明する。実施の形態１では、映像ストリームデータを生成するＭＰＥＧ４符号化方式よりも画素数の少ない条件で圧縮可能なＪＰＥＧ符号化方式を用いてデジタル映像信号を圧縮して、サムネイル表示用のサムネイル画像データを生成したが、サムネイル画像データとしてデジタル映像信号をそのまま用いるようにしてもよい。

この場合の動画記録再生装置は、図８に示すように、先の図１に示した実施の形態１の動画記録再生装置の記録処理部１からＪＰＥＧ符号化部１２を削除した記録処理部１ａと、再生処理部２からＪＰＥＧ復号化部２１を削除した再生処理部２ａとで構成される。図１に示した実施の形態１の動画記録再生装置と同じ機能を持つ構成部分には同一符号を付し、重複する説明は省略する。

つぎに、この実施の形態２の動画記録再生装置の動作を説明する。なお、この実施の形態２の動画記録再生装置と、先の実施の形態１の動画記録再生装置との相違点は、サムネイル画像データが圧縮されているか否かであるので、ここでは詳細な説明を省略し、相違点のみを説明する。

まず、記録動作について説明する。記録動作時には、制御部５は、ファイル生成部１５に映像信号処理部１０が生成したデジタル映像信号を選択するように設定し、サムネイル画像作成指示があった場合、ファイル生成部１５は、サムネイル画像データとして映像信号処理部１０が生成したデジタル映像信号を用いる。その他の動作は、先の図２のフローチャートを参照して説明した記録動作の処理の中で、ＪＰＥＧ符号化部１２がデジタル映像信号にＪＰＥＧ符号化処理を施してデジタル映像信号を圧縮したサムネイル画像データを生成するステップＳ１０２を省略した動作となる。

つぎに、再生動作について説明する。制御部５は、ファイル生成部１５に、ＭＰＥＧ４復号化部２２によって生成されたデジタル映像信号を選択するように設定し、サムネイル画像作成指示があった場合、ファイル生成部１５は、サムネイル画像データとしてＭＰＥＧ４復号化部２２が生成したデジタル映像信号を用いる。その他の動作は、先の図５のフローチャートを参照して説明した記録動作の処理の中で、ＪＰＥＧ符号化部１２がデジタル映像信号にＪＰＥＧ符号化処理を施してデジタル映像信号を圧縮したサムネイル画像データを生成するステップＳ２０５を省略した動作となる。

つぎに、サムネイル表示動作について説明する。サムネイル表示動作時には、記憶部４から読み出されたサムネイル画像データを表示部２４が表示するので、先の図６のフローチャートを参照して説明したサムネイル表示動作の処理中で、記憶部４から入力されるサムネイル画像データにＪＰＥＧ復号化処理を施して、サムネイル画像データを伸張したサムネイル画像信号を生成するステップＳ３０２を省略した動作となる。

以上説明したように、この実施の形態２においては、サムネイル画像データとして符号化を施していないデジタル映像信号を用いるようにしているので、サムネイルを表示する際に復号化処理を施す必要が無くなり、サムネイル表示を指示されてからサムネイルを表示するまでの時間を短縮するとともに、処理時間を軽減することができる。

実施の形態３．
図９を用いてこの発明にかかる実施の形態３を説明する。実施の形態１および２では、ファイル生成部１５が生成する動画ファイルフォーマットに従って、ユーザ作成領域にサムネイル画像データ領域を設けるようにしたが、サムネイル画像データ領域をファイルヘッダ領域に設けるようにしてもよい。

たとえば、先の図３に示したＡＳＦファイルフォーマットにおいては、サムネイル画像データ領域３３をファイルヘッダ領域３０内に設けたが、先の図４に示したＭＰ４ファイルフォーマットにおいては、コンテンツデータ領域４１の後にサムネイル画像データ領域４３が設けられている。

ＭＰ４ファイルフォーマットにおいては、ファイルヘッダ領域４０内のコンテンツ情報領域にもユーザ作成領域があるので、図９に示すように、ファイルヘッダ領域４０のコンテンツ情報領域内の音声コンテンツ情報領域の後ろに、サムネイル画像データ領域４３ａを設けてもよい。なお、図９においては、コンテンツデータ領域４１、映像コンテンツ情報領域、および音声コンテンツ情報領域の詳細な構成については、図３と同じであるので省略している。

ファイルヘッダ領域に設定されている情報の解析は、ファイルフォーマットを特定する上で、必ず一番最初に実行される処理である。すなわち、再生処理動作、およびサムネイル表示動作において、制御部５が記憶部４に記憶されている動画ファイルから映像ストリームデータや音声ストリームデータ、サムネイル画像データを出力させる際に、ファイルヘッダ領域に設定されている情報を解析する。その際に、制御部５が、サムネイル画像データ領域の情報を取得しておけば、サムネイル表示の指示を受けてから、動画ファイルからサムネイル画像データ領域を検索する場合と比較して、サムネイル表示を指示されてからサムネイルを表示するまでの時間を短縮することができる。

実施の形態４．
図１０を用いてこの発明にかかる実施の形態４を説明する。実施の形態１〜３では、順次作成される映像ストリームデータ、音声ストリームデータ、およびサムネイル画像データを、ビデオストリーム、オーディオストリーム、およびサムネイル画像データ領域のデータ領域に設定するようにした。そのため、図３に示したサムネイル画像データ領域３３、図４に示したサムネイル画像データ領域４３、または図９に示したサムネイル画像データ領域４３ａにサムネイル画像データを挿入する際に、後続している領域（図３においては複数のデータパケットからなるデータ領域３１およびインデックスデータ領域３２、図４においてはユーザオブジェクト領域４２や複数のオブジェクト領域、図９においてはコンテンツデータ領域４１やユーザオブジェクト領域４２、複数のオブジェクト領域）をシフトする必要があり、サムネイル画像データを含む動画ファイルの生成時の処理負荷が大きく、処理時間もかかるという問題があった。

このような問題を改善するために、サムネイル画像データを記憶部４の作成中の動画ファイルとは異なる領域（ワーク領域）、または、図示しないワークメモリなどに生成しておき、記録終了時、または再生終了時に、合成するようにしてもよい。

すなわち、ファイル生成部１５は、所定のファイルフォーマットに従って、通常の動画ファイルを生成するとともに、サムネイル画像作成指示があった場合には、サムネイル画像を記憶部４のワーク領域、または図示しないワークメモリなどに格納しておく。そして、記録終了指示、または再生終了指示があった場合に、サムネイル画像データ領域に後続する領域をシフトしてサムネイル画像データ領域を挿入し、挿入した画像データ領域に、ワーク領域またはワークメモリに格納したサムネイル画像データを設定する。

また、サムネイル画像データ領域を、動画ファイルの最後尾に付加するようにすれば、サムネイル画像データ領域に後続する領域をシフトする必要が無くなり、サムネイル画像データを含む動画ファイルの生成時の処理負荷を軽減し、処理時間を短縮することができる。

たとえば、ＭＰ４ファイルフォーマットの場合には、コンテンツデータ領域やユーザオブジェクト領域、その他複数のオブジェクト領域がユーザ作成領域であるので、図１０に示すように、ファイル生成部１５は、ファイルヘッダ領域４０、チャンクデータ（図中では、Chunk Data）＃１〜＃ｎを有するコンテンツデータ領域４１、ユーザオブジェクト領域４２や複数のオブジェクトを備える通常のＭＰ４ファイルフォーマットの動画ファイルを記憶部４に作成するとともに、オブジェクトタイプ（図中では、Object Type）４４、オブジェクトサイズ（図中では、Object Size）４５、およびサムネイル画像データ＃１〜＃ｍを有するサムネイルデータ領域４６を備えるサムネイル画像データ領域４３ｂをワーク領域またはワークメモリに作成する。そして、記録終了指示、または再生終了指示があった場合、ファイル生成部１５は、ワーク領域またはワークメモリに作成したサムネイル画像データ領域４３ｂを記憶部４に作成した動画ファイルの最後に追加する。

以上説明したように、この実施の形態４においては、サムネイル画像データを設定するサムネイル画像データ領域を、通常の動画ファイルとは異なる領域に作成しておき、記録／再生終了時に、サムネイル画像データ領域を動画ファイルに挿入するようにしているので、サムネイル画像データを作成するたびに、サムネイル画像データ領域に後続する領域をシフトする必要がなくなり、記憶媒体にアクセスする概数を減らすことができ、サムネイル表示の画像を生成する際の処理負荷を軽減するとともに、処理時間を短縮することができる。

さらに、動画ファイルの最後尾にサムネイル画像データ領域を作成するようにした場合、データをシフトする必要がなくなるので、記憶媒体にアクセスする概数を減らすことができ、サムネイル表示の画像を生成する際の処理負荷を軽減するとともに、処理時間を短縮することができる。

実施の形態５．
図１１を用いてこの発明にかかる実施の形態５を説明する。この発明にかかる実施の形態５の動画記録再生装置は、先の図１に示した実施の形態１の動画記録再生装置、または先の図８に示した実施の形態２の動画記録再生装置とほぼ同じであるが、制御部５、映像信号処理部１０、およびＭＰＥＧ４復号化部２２の動作が異なる。以下は、先の図１に示した動画記録再生装置を例に挙げて説明する。

制御部５は、実施の形態１の機能に加えて、操作部３を介してユーザから入力されるサムネイルの画像の指定とともに入力されるサムネイル画像領域に基づいて、フレーム内の領域情報を生成する。制御部５は、記録動作時にはフレーム内の領域情報を映像信号処理部１０に出力し、再生動作時にはフレーム内の領域情報をＭＰＥＧ４復号化部２２に出力する。

映像信号処理部１０は、入力される映像信号からデジタル映像信号を生成してＭＰＥＧ４符号化部１３に出力するとともに、制御部５から入力されたフレーム内の領域情報内のデジタル映像信号をＪＰＥＧ符号化部１２に出力する。

ＭＰＥＧ４復号化部２２は、記憶部４から入力される映像ストリームデータにＭＰＥＧ４復号化処理を施して映像ストリームデータを伸張したデジタル映像信号を生成して表示部２４に出力するとともに、制御部５から入力されたフレーム内の領域情報内のデジタル映像信号をＪＰＥＧ符号化部１２に出力する。

つぎに、この実施の形態５の動画記録再生装置の動作を説明する。なお、この実施の形態５の動画記録再生装置と、先の実施の形態１の動画記録再生装置との相違点は、実施の形態１の動画記録再生装置ではサムネイルの画像として指定されたフレームからサムネイル画像データを生成するのに対して、この実施の形態５の動画記録再生装置ではサムネイルの画像として指定されたフレームの一部（フレーム内の領域情報内の画像）でサムネイル画像データを作成するかであるので、詳細な説明を省略し、相違点のみを説明する。

まず、記録動作について説明する。制御部５は、ＪＰＥＧ符号化部１２に映像信号処理部１０から入力されるデジタル映像信号を選択するように設定する。制御部５は、操作部３を介してユーザから入力されるサムネイルの画像の指定とともに入力されるサムネイル画像領域に基づいて、フレーム内の領域情報を生成する。たとえば、フレーム内の領域情報は、フレーム内の画素の位置情報などで、フレーム内の領域を確定する情報とする。制御部５は、生成したフレーム内の領域情報を映像信号処理部１０に出力する。

映像信号処理部１０は、入力される映像信号からデジタル映像信号を生成してＭＰＥＧ４符号化部１３に出力するとともに、制御部５から入力されたフレーム内の領域情報内のデジタル映像信号をＪＰＥＧ符号化部１２に出力する。

ＪＰＥＧ符号化部１２は、映像信号処理部１０から入力されるフレーム内の領域情報内のデジタル映像信号にＪＰＥＧ符号化処理を施して、フレーム内の一部を示すサムネイル画像データを生成する。

サムネイル画像作成指示がある場合、ファイル生成部１５は、予め定められたファイルフォーマットに従って、ＪＰＥＧ符号化部１２によって生成されたサムネイル画像データ、ＭＰＥＧ４符号化部１３によって生成された映像ストリームデータ、およびオーディオ符号化部１４によって生成された音声ストリームデータを記憶部４に記憶されている動画ファイルに付加する。

サムネイル画像作成指示がない場合、ファイル生成部１５は、予め定められたファイルフォーマットに従って、ＭＰＥＧ４符号化部１３によって生成された映像ストリームデータ、およびオーディオ符号化部１４によって生成された音声ストリームデータを記憶部４に記憶されている動画ファイルに付加する。

つぎに、再生動作について説明する。制御部５は、ＪＰＥＧ符号化部１２にＭＰＥＧ４復号化部２２によって生成されたデジタル映像信号を選択するように設定する。制御部５は、操作部３を介してユーザから入力されるサムネイルの画像の指定とともに入力されるサムネイル画像領域に基づいて、フレーム内の領域情報を生成する。制御部５は、生成したフレーム内の領域情報をＭＰＥＧ４復号化部２２に出力する。

ＭＰＥＧ４復号化部２２は、記憶部４から入力される映像ストリームデータにＭＰＥＧ４復号化処理を施して映像ストリームデータを伸張したデジタル映像信号を生成して表示部２４に出力するとともに、制御部５から入力されたフレーム内の領域情報内のデジタル映像信号をＪＰＥＧ符号化部１２に出力する。

サムネイル画像作成指示がある場合、ファイル生成部１５は、ＪＰＥＧ符号化部１２によって生成されたサムネイル画像データを、再生している動画ファイルのファイルフォーマットに従って、動画ファイルにサムネイル画像データを追加する。

なお、サムネイル画像表示動作は、実施の形態１と同じであるのでここではその説明を省略する。

図１１は、この実施の形態５の動画記録再生装置によって生成したサムネイルの画像と記録した映像との関係を示す図である。図１１では、記録開始時と、記録開始から３０分後、および記録開始から６０分後にユーザからサムネイル画像作成の指示を受けた場合、すなわち、３回サムネイル画像作成の指示を受けて、３枚のサムネイル画像データを生成した場合を示している。

図１１において、記録開始時には領域５０がサムネイル画像領域と指定されてサムネイル画像５５が生成され、記録開始から３０分後には領域５１がサムネイル画像領域と指定されてサムネイル画像５６が生成され、記録開始から６０分後には領域５２がサムネイル画像領域と指定されてサムネイル画像５７が生成されている。

以上説明したように、この実施の形態５においては、デジタル映像信号が示すフレームの中で、外部から設定された領域の画像、すなわちフレームの一部のサムネイル用デジタル映像信号を生成し、サムネイル用デジタル映像信号にＪＰＥＧ符号化を施して圧縮したサムネイル画像データをサムネイル画像データ領域に設定するようにしているので、シーンと状態を容易に判別することができ、コンテンツ内容を明確に判断することができるサムネイルを表示することができる。

実施の形態６．
図１２および図１３を用いてこの発明にかかる実施の形態６を説明する。実施の形態１〜５の動画記録再生装置の表示部２４において、動画を再生する表示部２４と、動画コンテンツのアスペクト比とが異なることが考えられる。動画を再生する表示部２４と、動画コンテンツのアスペクト比とが異なる場合、たとえば、図１２に示すように、サムネイル画像データのアスペクト比が１６：９であるのに対して、表示部２４のアスペクト比が４：３である場合、表示するサムネイルの領域５８、５９が切れてしまい表示されない。

このような問題を改善するために、この実施の形態５の動画記録再生装置は、図１３に示すように、表示部２４のアスペクト比にあわせたサムネイル画像データを生成してサムネイルを表示する際に画像が切れることを防止するものである。

この実施の形態６の動画記録再生装置は、先の図１に示した実施の形態１の動画記録再生装置、または先の図８に示した実施の形態２の動画記録再生装置とほぼ同じであるが、映像信号処理部１０、およびＭＰＥＧ４復号化部２２の動作が異なる。以下は、先の図１に示した動画記録再生装置を例に挙げて説明する。

動画記録再生装置の記録動作時には、映像信号処理部１０は、入力される映像信号からデジタル映像信号を生成してＭＰＥＧ４符号化部１３に出力するとともに、入力される映像信号から表示部２４のアスペクト比に応じたフレームのデジタル映像信号を生成してＪＰＥＧ符号化部１２に出力する。

また、動画記録再生装置の再生動作時には、ＭＰＥＧ４復号化部２２は、記憶部４から入力される映像ストリームデータにＭＰＥＧ４復号化処理を施して映像ストリームデータを伸張したデジタル映像信号を生成して表示部２４に出力するとともに、生成したデジタル映像信号から、さらに表示部２４のアスペクト比に応じたフレームのデジタル映像信号を生成してＪＰＥＧ符号化部１２に出力する。

これにより、ＪＰＥＧ符号化部１２は、表示部２４のアスペクト比に応じたフレームのデジタル映像信号にＪＰＥＧ符号化処理を施してサムネイル画像データを生成し、ファイル生成部１５は、表示部２４のアスペクト比に応じたサムネイル画像データをサムネイル画像データ領域のデータ領域に設定した動画ファイルを生成する。なお、動画ファイルフォーマットは、先の図３、図４、図９、図１０に示した何れのものであってもかまわない。

以上説明したように、この実施の形態６においては、表示部のアスペクト比に応じたサムネイル画像データを生成するようにしているので、動画を再生する表示部と動画コンテンツのアスペクト比とが異なる場合でも、サムネイルを表示する際に、サムネイルの画像が切れることがなくなり、コンテンツ内容を明確に表示することができる。

実施の形態７．
図１４および図１５を参照してこの発明にかかる実施の形態７を説明する。実施の形態１〜６では、１〜複数のサムネイル画像データを生成して、サムネイルを表示するようにしたが、サムネイル画像データに対応した音声ストリームデータを生成して、サムネイルを表示する際に、音声を出力するようにしてもよい。

具体的には、実施の形態１〜６の動画記録再生装置の記録動作時、または再生動作時に、ユーザが、図示しないマイクを介して、作成するサムネイルに対応する音声信号、たとえば、「ｘｘ時ｙｙ分のドラマです」というような音声信号を入力する。マイクを介して入力される音声信号は、音声入力部１１によってデジタル音声信号に変換され、オーディオ符号化部１４によって符号化され音声ストリームデータとしてファイル生成部１５に入力される。この音声ストリームデータを、ファイル生成部１５は、サムネイル画像データとともに、サムネイル画像データ領域のデータ領域に設定する。

たとえば、ファイル生成部１５が生成する動画ファイルフォーマットが、図３に示したＡＳＦファイルフォーマットである場合には、図１４に示すように、サムネイル画像データ領域３３のサムネイルデータ領域３６には、１回目のサムネイル画像作成指示においてサムネイル画像データ＃１とサムネイル音声データ＃１を設定し、２回目のサムネイル画像作成指示においてサムネイル画像データ＃２とサムネイル音声データ＃２を設定し、ｍ回目のサムネイル画像作成指示においてサムネイル画像データ＃１とサムネイル音声データ＃ｍを設定する。

また、ファイル生成部１５が生成する動画ファイルフォーマットが、図４、図９、図１０に示したＭＰ４ファイルフォーマットである場合も、サムネイル画像データ領域４３，４３ａ、４３ｂのデータ領域に、ＡＳＦファイルフォーマットと同様に、１回目のサムネイル画像作成指示においてサムネイル画像データ＃１とサムネイル音声データ＃１を設定し、２回目のサムネイル画像作成指示においてサムネイル画像データ＃２とサムネイル音声データ＃２を設定し、ｍ回目のサムネイル画像作成指示においてサムネイル画像データ＃１とサムネイル音声データ＃ｍを設定する。

実施の形態１〜６の動画記録再生装置のサムネイル表示動作時には、制御部５は、動画ファイルフォーマットに従って、記憶部４からサムネイル画像データ領域のサムネイル画像データをＪＰＥＧ復号化部２１に出力させるとともに、サムネイル画像データに対応するサムネイル音声データをオーディオ復号化部２３に出力させる。

ＪＰＥＧ復号化部２１は、サムネイル画像データにＪＰＥＧ復号化処理を施してサムネイル画像データを伸張したサムネイル画像信号を生成し、表示部２４は、ＪＰＥＧ復号化部２１によって生成されたサムネイル画像信号を表示する。

一方、オーディオ復号化部２３は、サムネイル音声データに予め定められたオーディオ復号化方式による復号化処理を施してサムネイル音声データを伸張したデジタル音声信号を生成し、音声出力部２５は、デジタル音声信号に基づいて音声を出力する。

図１５は、この実施の形態７の動画記録再生装置によって生成したサムネイルの画像と記録した映像との関係を示す図である。図１５では、記録開始時と、記録開始から３０分後、および記録開始から６０分後にユーザからサムネイル画像作成の指示を受けた場合、すなわち、３回サムネイル画像作成の指示を受けて、３枚のサムネイル画像データを生成した場合を示している。

図１５において、記録開始時のサムネイルの表示には、「ｘｘ時ｙｙ分のドラマです」という音声が出力され、映像開始から３０分後のサムネイルの表示には、「ｘｘ時ｙｙ分のドキュメンタリーです」という音声が出力され、映像開始から６０分後のサムネイルの表示には、「ｘｘ時ｙｙ分のスポーツです」という音声が出力される。

以上説明したように、この実施の形態７においては、サムネイル画像データの作成時に入力された音声から生成した音声ストリームデータを、サムネイル画像データに対応付けて、サムネイル画像データ領域に設定するようにしているので、サムネイルを表示する際に、音声を出力することが可能となり、ユーザは、視覚的にコンテンツのシーンを判断するだけでなく、聴覚的にコンテンツのシーンを判断することができる。

実施の形態８．
図１６を用いてこの発明にかかる実施の形態８を説明する。実施の形態１〜６ではサムネイル画像データ領域のデータ領域にサムネイル画像データを設定し、実施の形態７では、サムネイル画像データ領域のデータ領域に、サムネイル画像データおよびサムネイル音声データを設定したが、さらに、サムネイル画像データを生成した映像のフレーム番号を設定するようにしてもよい。

この場合、先の図１に示した実施の形態１の動画記録再生装置、または先の図８に示した実施の形態２の動画記録再生装置の制御部５が、映像信号処理部１０を監視して入力される映像信号のフレームをカウントしておき、サムネイル画像作成指示とともにフレームのカウント値をフレーム番号としてファイル生成部１５に出力し、ファイル生成部１５がサムネイル画像データとともにフレーム番号を設定するようにすればよい。

具体的には、ＡＳＦファイルフォーマットの場合、ファイル生成部１５は、図３に示したサムネイル画像データ領域３３のサムネイルデータ領域３６に、図１６に示すように、１回目のサムネイル画像作成指示によってサムネイル画像データ＃１に対応するフレーム番号（この場合は「１」）とサムネイル画像データ＃１を設定し、２回目のサムネイル画像作成指示によってサムネイル画像データ＃２に対応するフレーム番号（この場合は「５」）とサムネイル画像データ＃２を設定し、ｍ回目のサムネイル画像作成指示によってサムネイル画像データ＃ｍに対応するフレーム番号（この場合は「１００」）とサムネイル画像データ＃ｍを設定する。

以上説明したように、この実施の形態８においては、記録すべきデジタル映像信号のフレームをカウントしておき、サムネイル画像データを生成する際に用いた記録すべきデジタル映像信号のフレームのカウント値、すなわちフレーム番号をサムネイル画像データに対応付けて、サムネイル画像データ領域に設定するようにしているため、サムネイルを表示した際に、ユーザがサムネイルの画像からの再生を要求した場合に、フレーム番号をインデックスとして用いることができ、頭出しを容易に行なうことができる。

実施の形態９．
図１７を用いてこの発明にかかる実施の形態９を説明する。実施の形態１〜８では、ＡＳＦファイルフォーマットの場合には、サムネイル画像データ領域３３をＧＵＩＤ３４、オブジェクトサイズ３５、およびサムネイル画像データやサムネイル音声データ、サムネイル画像データのフレーム番号を設定するサムネイルデータ領域３６で構成し、ＭＰ４ファイルフォーマットの場合には、サムネイル画像データ領域４３をオブジェクトタイプ４４、オブジェクトサイズ４５、およびサムネイル画像データやサムネイル音声データ、サムネイル画像データのフレーム番号を設定するサムネイルデータ領域４６で構成したが、さらに、サムネイル画像データを生成した際の、サムネイル画像データ生成情報を設定するサムネイル画像データ生成情報領域を備えるようにしてもよい。

具体的には、たとえば、図１に示したＡＳＦファイルフォーマットのサムネイル画像データ領域３３の代わりに、図１７に示したサムネイル画像データ領域３３ａを備える動画ファイルを用いる。図１７に示したサムネイル画像データ領域３３ａは、オブジェクトサイズ３５とサムネイル画像データ＃１〜＃ｍが設定されるサムネイルデータ領域３６との間に、コントラスト情報、白ポイント温度情報、階調特性情報、色特性情報、および圧縮情報などのサムネイル画像作成情報が設定されるサムネイル画像データ生成情報領域３７が追加されている。

この場合、先の図１に示した実施の形態１の動画記録再生装置、または先の図８に示した実施の形態２の動画記録再生装置の制御部５が、映像信号処理部１０を監視して入力される映像信号やＪＰＥＧ符号化部１２のＪＰＥＧ符号化処理に基づいて、コントラスト情報、白ポイント温度情報、階調特性情報、および色特性情報を生成し、生成した各種情報とＪＰＥＧ符号化部１２の圧縮情報とを、サムネイル画像作成指示とともにファイル生成部１５に出力し、ファイル生成部１５が、制御部５からの情報をサムネイル画像データ生成情報領域３７に設定すればよい。

そして、サムネイル表示動作時には、制御部５は、サムネイル画像データ領域３３のサムネイル画像データ生成情報領域３７に設定されているコントラスト情報、白ポイント温度情報、階調特性情報、色特性情報、および圧縮情報を読み出して、これらの情報に基づいてサムネイル画像データから生成されたサムネイル画像信号を表示部２４に表示させる。

以上説明したように、この実施の形態９においては、サムネイル画像データ作成時の入力される映像信号および／またはＪＰＥＧ符号化部のＪＰＥＧ符号化処理に基づいて、コントラスト情報、白ポイント温度情報、階調特性情報、色特性情報、および圧縮情報を含むサムネイル画像データ生成情報を生成し、サムネイル画像データ作成領域内のサムネイル画像データ生成情報領域に設定するようにしているので、サムネイル画像を表示する際に、サムネイル画像データを作成したときと同じ条件でサムネイル画像を表示することができる。

なお、この実施の形態９では、ＡＳＦファイルフォーマットについて説明したが、ＭＰ４ファイルフォーマットのサムネイル画像データ領域内に、コントラスト情報や、白ポイント温度情報、階調特性情報、色特性情報、圧縮情報を含むサムネイル画像データ生成情報領域を備えるようにしてもかまわない。

また、サムネイル画像データ生成情報は、コントラスト情報、白ポイント温度情報、階調特性情報、色特性情報、圧縮情報の少なくとも１つを含んでいればよい。

実施の形態１０．
図１８を参照してこの実施の形態１０を説明する。実施の形態１〜９では、制御部５が操作部３を介してユーザからサムネイル画像の作成の指示を受けると、制御部５が、サムネイル画像作成指示を出力し、ファイル生成部１５はサムネイル画像作成指示によってサムネイル画像データを動画ファイルに設定するようにしたが、サムネイル画像作成指示の有無に関係なく、図１８に示すように、サムネイル画像データ領域３３のサムネイルデータ領域３６に映像信号の全てのフレームの画像データをサムネイル画像データとして設定するようにしてもよい。この場合は、データ量を考えると、実施の形態１の動画記録再生装置を用いて、ＪＰＥＧ符号化部１２によってＪＰＥＦ符号化処理が施されたサムネイル画像データをサムネイルデータ領域３６に設定することが望ましい。

以上説明したように、この実施の形態１０においては、サムネイル画像データ領域に記録すべきデジタル映像信号の全てのフレームのサムネイル画像データをサムネイル画像データ領域に設定するようにしているので、生成する動画ファイルのファイルフォーマットに依存することなく、サムネイル画像データを再生することで動画ファイルに記録されている映像を表示することができ、ユーザは動画ファイルの内容を容易に判別することができる。

以上のように、本発明にかかる動画記録装置、および動画記録再生装置は、動画ファイルを扱う機器に有用であり、特に、デジタルスチールカメラやデジタルビデオカメラ、テレビ、動画ビューワー製品に適している。

この発明にかかる実施の形態１の動画記録再生装置の構成を示すブロック図である。 この発明にかかる実施の形態１の動画記録再生装置の記録動作を説明するためのフローチャートである。 ＡＳＦファイルフォーマットに従って生成した動画ファイルの構成を示す図である ＭＰ４ファイルフォーマットに従って生成した動画ファイルの構成を示す図である。 この発明にかかる実施の形態１の動画記録再生装置の再生動作を説明するためのフローチャートである。 この発明にかかる実施の形態１の動画記録再生装置のサムネイル表示動作を説明するためのフローチャートである。 この発明にかかる実施の形態１の動画記録再生装置によって生成したサムネイルの画像と記録した映像との関係を示す図である。 この発明にかかる実施の形態２の動画記録再生装置の構成を示すブロック図である。 この発明にかかる実施の形態３の動画記録再生装置が生成する動画ファイルの構成を示す図である。 この発明にかかる実施の形態４の動画記録再生装置が生成する動画ファイルの構成を示す図である。 この発明にかかる実施の形態５の動画記録再生装置によって生成したサムネイルの画像と記録した映像との関係を示す図である。 サムネイル画像データのアスペクト比と表示部のアスペクト比とが異なる場合のサムネイルの表示イメージを示す図である。 この発明にかかる実施の形態６の動画記録再生装置が生成したサムネイル画像データを表示部に表示した表示イメージ図である。 この発明にかかる実施の形態７の動画記録再生装置が生成する動画ファイルのサムネイル画像データ領域のデータ領域に設定されるデータを示す図である。 この発明にかかる実施の形態７の動画記録再生装置によって生成したサムネイルの画像と記録した映像との関係を示す図である。 この発明にかかる実施の形態８の動画記録再生装置が生成する動画ファイルのサムネイルデータ領域の構成を示す図である。 この発明にかかる実施の形態９の動画記録再生装置が生成する動画ファイルのサムネイルデータ領域の構成を示す図である。 この発明にかかる実施の形態１０の動画記録再生装置が生成する動画ファイルの構成を示す図である。

符号の説明

１，１ａ 記録処理部
２，２ａ 再生処理部
３ 操作部
４ 記憶部
５ 制御部
１０ 映像信号処理部
１１ 音声入力部
１２ ＪＰＥＧ符号化部
１３ ＭＰＥＧ４符号化部
１４ オーディオ符号化部
１５ ファイル生成部
２１ ＪＰＥＧ復号化部
２２ ＭＰＥＧ４復号化部
２３ オーディオ復号化部
２４ 表示部
２５ 音声出力部
３０，４０ ファイルヘッダ領域
３１，３６，４６ データ領域
３２ インデックスデータ領域
３３，４３，４３ａ，４３ｂ サムネイル画像データ領域
３４ ＧＵＩＤ
３５，４５ オブジェクトサイズ
３７ サムネイル画像データ生成情報領域
４１ コンテンツデータ領域
４２ ユーザオブジェクト領域
４４ オブジェクトタイプ
５０，５１，５２ 領域
５５，５６，５７ サムネイル画像

Claims (13)

1. 記録すべき映像のデジタル映像信号およびデジタル音声信号から、予め定められた動画ファイルフォーマットの動画ファイルを生成して記憶する動画記録装置において、
   前記デジタル映像信号に予め定められた第１の符号化処理を施して圧縮した映像ストリームデータを生成する第１の符号化部と、
   前記デジタル音声信号に予め定められた第２の符号化処理を施して圧縮した音声ストリームデータを生成する第２の符号化部と、
   前記映像ストリームデータおよび前記音声ストリームデータを前記動画ファイルのビデオストリームおよびオーディオストリームに設定するとともに、前記動画ファイルの中でユーザが任意に作成できるユーザ作成領域にサムネイル画像データ領域を作成し、外部からサムネイル画像の作成の指示を受けた場合、作成したサムネイル画像データ領域に、サムネイル画像として用いるフレームのデジタル映像信号をサムネイル画像データとして設定するファイル生成部と、
   を備えることを特徴とする動画記録装置。
2. 前記デジタル映像信号に予め定められた第３の符号化処理を施して圧縮したサムネイル画像データを生成する第３の符号化部、
   をさらに備え、
   前記ファイル生成部は、
   前記第３の符号化部によって生成されたサムネイル画像データをサムネイル画像データ領域に設定すること、
   を特徴とする請求項１に記載の動画記録装置。
3. 前記第３の符号化部の第３の符号化処理を、前記第１の符号化部の第１の符号化処理よりも画素数の少ない条件の符号化処理とすること、
   を特徴とする請求項２に記載の動画記録装置。
4. 前記ファイル生成部は、
   前記サムネイル画像データ領域を、前記動画ファイルのファイルヘッダ領域内、前記ビデオストリームおよび前記オーディオストリームが設定されるデータ領域の後、または前記動画ファイルの最後尾に作成すること、
   を特徴とする請求項１〜３の何れか一つに記載の動画記録装置。
5. 前記ファイル生成部は、
   サムネイル画像データを所定の領域に記憶しておき、記録終了時に、動画ファイルにサムネイル画像データ領域を生成し、生成したサムネイル画像データ領域に、前記所定の領域に記憶しておいたサムネイル画像データを設定すること、
   を特徴とする請求項１〜４の何れか一つに記載の動画記録装置。
6. 前記デジタル映像信号からサムネイル画像データの作成に用いるサムネイル用デジタル映像信号を生成する映像信号処理部、
   をさらに備え、
   前記映像信号処理部は、
   前記デジタル映像信号が示すフレームの中で、外部から設定された領域の画像からサムネイル用デジタル映像信号を生成し、
   前記第３の符号化部、または前記ファイル生成部は、
   前記サムネイル用デジタル映像信号を用いてサムネイル画像データを生成すること、
   を特徴とする請求項１〜５の何れか一つに記載の動画記録装置。
7. 前記映像信号処理部は、
   前記デジタル映像信号が示すフレームのアスペクト比を変更してサムネイル用デジタル映像信号を生成すること、
   を特徴とする請求項１〜６の何れか一つに記載の動画記録装置。
8. 前記ファイル生成部は、
   前記第２の符号化部によって生成された音声ストリームデータの中で、前記サムネイル画像データの作成時に入力された音声に対応する音声ストリームデータを、前記サムネイル画像データとともに前記動画ファイルのサムネイル画像データ領域に設定すること、
   を特徴とする請求項１〜７の何れか一つに記載の動画記録装置。
9. 前記記録すべきデジタル映像信号のフレームをカウントする制御部、
   をさらに備え、
   前記ファイル生成部は、
   前記サムネイル画像データを生成する際に用いた前記記録すべきデジタル映像信号のフレームのカウント値をフレーム番号として、前記サムネイル画像データに対応付けてサムネイル画像データ領域に設定すること、
   を特徴とする請求項１〜８の何れか一つに記載の動画記録装置。
10. 前記制御部は、
    前記記録すべき映像信号および／または前記第３の符号化部の第３の符号化処理に基づいて、コントラスト情報、白ポイント温度情報、階調特性情報、色特性情報、圧縮情報の少なくとも１つを含むサムネイル画像データ生成情報を作成し、
    前記ファイル生成部は、
    前記制御部によって生成されたサムネイル画像データ生成情報を、前記動画ファイルのサムネイル画像データ領域に設定すること、
    を特徴とする請求項９に記載の動画記録装置。
11. 前記ファイル生成部は、
    前記記録すべき映像のデジタル映像信号の全てのフレームのサムネイル画像データを、前記動画ファイルのサムネイル画像データ領域に設定すること、
    を特徴とする請求項１〜１０の何れか一つに記載の動画記録装置。
12. 前記請求項１〜１１の何れか一つに記載の動画記録装置を備える動画記録再生装置であって、
    前記動画記録装置によって生成された動画ファイルのビデオストリームに設定されている映像ストリームデータに第１の復号化処理を施して伸張したデジタル映像信号を生成する第１の復号化部と、
    前記動画記録装置によって生成された動画ファイルのオーディオストリームに設定されている音声ストリームデータに第２の復号化処理を施して伸張したデジタル音声信号を生成する第２の復号化部と、
    前記動画記録装置によって生成された動画ファイルのサムネイル画像データ領域に設定されているサムネイル画像データが符号化されている場合に、前記サムネイル画像データに第３の復号化処理を施して伸張したサムネイル画像信号を生成する第３の復号化部と、
    前記第１の復号化部によって生成されたデジタル映像信号に基づいて映像を表示するとともに、サムネイル表示の指示を受けた場合、前記第３の復号化部によって生成されたサムネイル画像信号に基づいてサムネイルの画像を表示する表示部と、
    前記第２の復号化部によって生成されたデジタル音声信号に基づいて音声を出力する音声出力部と、
    を備えることを特徴とする動画記録再生装置。
13. 前記動画記録装置のファイル生成部は、
    前記表示部が前記第１の復号化部によって生成されたデジタル映像信号に基づいて映像を表示している際に、前記サムネイル画像の作成指示を受けた場合、前記第１の復号化部によって生成されたデジタル映像信号、または前記第３の符号化部が前記第１の復号化部によって生成されたデジタル映像信号に第３の符号化処理を施して圧縮したサムネイル画像データを、前記動画ファイルのサムネイル画像データ領域に設定すること、
    を特徴とする請求項１２に記載の動画記録再生装置。
    

Images