JP4164696B2 - 撮像装置および撮像方法 - Google Patents

Description

この発明は、撮像して得た撮像画像情報を圧縮してディスクなどの記録媒体に記録するようにする撮像装置および撮像方法に関する。

例えば、画像情報およびオーディオ情報等の時系列情報を、ディスク、テープ、半導体メモリなどの記録媒体に記録する場合には、限られた書き込み領域に、より長時間分の時系列情報を書き込むことができるようにするため、一般に、時系列情報は、データ圧縮するようにする。

このデータ圧縮の方法としては、従来から、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が広く利用されている。

ＭＰＥＧ方式では、画像情報については、画像情報の復号再生単位である画像フレーム（あるいは画像フィールド）の情報の相関を利用した予測符号化と、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）を用いたデータ圧縮を行なう。

ＭＰＥＧ方式においては、各フレーム（またはフィールド。以下同様であるが、説明の簡単のため、以下の説明においては、「フレーム」の語のみを使用するものとする）の画像は、圧縮の仕方の違いにより、Ｉピクチャと、Ｐピクチャと、Ｂピクチャとの、３つのタイプに分けられる。

Ｉピクチャは、１フレーム内だけで閉じた圧縮符号化を行なう画像（フレーム内符号化画像）である。Ｐピクチャは、当該画像フレームよりも前の画像フレームとの相関を利用した圧縮符号化を行なう画像（順方向予測符号化画像）である。また、Ｂピクチャは、当該画像フレームの前と後の画像フレームの相関を利用した圧縮符号化を行なう画像（双方向予測符号化画像）である。

そして、ＭＰＥＧ方式においては、記録媒体に対する書き込み／読み出しの単位（読み書き単位）は、複数フレーム分からなるいわゆるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）で構成される。図９にＧＯＰの一例を示す。

図９に示すように、ＭＰＥＧ方式では、ＧＯＰには、Ｉピクチャが、少なくとも１枚必ず含まれるようにされている。ＰピクチャとＢピクチャだけでは、画像の復号ができないからである。このようにＧＯＰにＩピクチャが含まれることにより、ＧＯＰ単位でランダムアクセスが可能となる。

ＩピクチャおよびＰピクチャは、元の画像と同じ順序で符号化処理されるが、Ｂピクチャは、ＩピクチャおよびＰピクチャを先に符号化処理した後、符号化処理するようにする。この符号化の順番を考慮して、ＭＰＥＧエンコーダにおいては、画像の順序が、図９（Ａ）の状態のもとの並び順のものから、図９（Ｂ）に示すように並び換えられ、当該並び換えられた画像情報に対して、圧縮符号化の処理がなされる（特許文献１（特開平８−２１４２６５号公報参照））。

すなわち、図９（Ａ）において矢印で示すように、Ｐピクチャは、前方のＩピクチャあるいはＰピクチャを利用した予測符号化を行なう。また、Ｂピクチャは、前方および後方のＩピクチャまたはＰピクチャに挟まれる２枚分について、それら前方および後方のＩピクチャまたはＰピクチャを利用した予測符号化を行なう。

このようにＢピクチャは、符号化の際に、後方のＩピクチャまたはＰピクチャを利用することになるので、図９（Ｂ）に示すように、当該Ｂピクチャは、それを予測符号化するために用いる後方のＩピクチャまたはＰピクチャよりも後の順序となるように並び換えを行なうものである。

そして、後述するように、圧縮符号化された画像データには、復号再生単位、つまり、ピクチャ単位のデータに、復号再生処理のための管理情報が付加されて、記録媒体に記録される。そして、ＭＰＥＧ方式で圧縮された画像データの再生の際には、復号再生処理のための管理情報が記録データから抽出され、当該管理情報に基づいて、再生されたピクチャ単位の画像出力が制御され、ピクチャの並び順が元に戻される。

上記の特許文献は、次の通りである。
特開平８−２１４２６５号公報参照

ところで、例えば、静止画のみではなく動画も撮影できるデジタルカメラにおいても、データ圧縮方式としてＭＰＥＧ方式が採用されている。デジタルカメラにおいては、撮影時刻のほか、絞り、露出値、ホワイトバランスの状態などの撮影条件を画像情報に付加して、記録媒体に記録することができれば便利である。

特に、画像のフレーム単位での撮影時刻や撮影条件などの付加情報が、各フレームの画像情報に対応して記録されれば、どのようにして当該フレームの画像が撮影されたかを知ることができ、便利である。また、それらのフレーム単位の画像についての付加情報は、画像再生処理や編集処理の際に参照することにより、再生画質の向上が図られたり、また、きめの細かい編集処理が可能になったりするなど、種々の用途への応用が期待される。

しかしながら、ＭＰＥＧ方式の記録データの伝送フォーマットにおいては、画像データやオーディオデータについての付加情報の記録（伝送）についての方策は提案されておらず、どのようにして付加情報を便宜に利用できる状態で付加するかということが技術的な課題となっている。

そして、この場合に、前述のＭＰＥＧ方式のように、復号再生単位としての画像のフレームを、記録媒体に対する読み書き単位であるＧＯＰ内に、複数単位分含むような場合において、復号再生単位の情報のそれぞれについて、付加情報を記録しようとする場合には、各復号再生単位についての付加情報を、どのようにして復号再生単位の情報に対応付けて記録するかということが重要となる。

とりわけ、前述したように、ＭＰＥＧ方式における読み書き単位であるＧＯＰ内のように、符号化処理の際に、フレーム順序が図９（Ｂ）に示すように並び換えられて画像データが記録される場合には、各復号再生単位の情報と、その付加情報との対応がつきにくくなるという問題がある。

この発明は、以上の点にかんがみ、記録媒体に対する読み書き単位内の情報内に、複数の復号再生単位の情報が含まれる場合において、復号再生単位の情報についての付加情報と、記録された復号再生単位の情報との対応が確実に取れるようにした撮像装置および撮像方法および装置を提供することを目的とする。

上記課題を解決するため、この発明による撮像装置は、
撮像素子と、
前記撮像素子に被写体像を結像させるための撮像光学系と、
前記撮像素子からの画像情報をデータ圧縮処理するデータ圧縮手段と、
前記圧縮された前記画像情報を記録媒体に記録する記録手段と、
所定時間内に含まれる前記圧縮された前記画像情報の所定複数の復号再生単位の情報のうち、１または複数の前記復号再生単位に対応する前記画像情報の撮像時の環境を示す付加情報を生成する生成手段と
を有し、
前記記録手段は、
前記付加情報が格納される第１のパック、および、当該付加情報に対応する前記１または複数の前記復号再生単位を含む前記所定複数の前記復号再生単位の情報と当該所定複数の前記復号再生単位の情報のタイムスタンプとが格納された第２のパックを含むデータを、単位として、且つ、記録データの論理配置として前記第２のパックが、対応する前記第１のパックの前または後に配置されるように、前記画像情報を前記記録媒体に記録する
ことを特徴とする。

この発明によれば、例えばＧＯＰに対応する所定複数の復号再生単位の情報および所定複数の復号再生単位の情報のうち、１または複数の復号再生単位に対応する画像情報の撮像時の環境を示す付加情報を含むデータを単位として、記録媒体に記録されるので、所定複数の復号再生単位の情報とその付加情報とを関連付けて再生することが可能になる。

したがって、付加情報を用いて、復号再生単位の撮像画像情報の再生出力品質を向上させたり、編集処理をしたりすることが容易にできるようになる。

この発明によれば、所定複数の復号再生単位の情報とその付加情報とを関連付けて再生することが可能になり、付加情報を用いて、復号再生単位の撮像画像情報の再生出力品質を向上させたり、編集処理をしたりすることが容易にできるようになる。

以下、この発明による撮像装置および撮像方法の実施形態を、記録媒体として例えば光ディスクを用いたデジタルカメラに適用した場合を例にとって、図を参照しながら説明する。

この例では、光ディスクとしてＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）やＤＶＤ−ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅ−Ｒｅｃｏｒｄａｂｌｅ）などの書き込み可能な光ディスクを用いる場合である。そして、データ圧縮方式としては、ＭＰＥＧ２方式が用いられ、記録データは、ＭＰＥＧ２−ＰＳ（ＰＳ；Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）の構成とされる。

図１は、実施形態のデジタルカメラの構成例を示すブロック図である。この例のデジタルカメラは、カメラ部１０と、記録再生処理部２０と、制御部３０とからなる。

制御部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１に対して、システムバス３０２を介して、プログラムＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０３と、ワークエリア用ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０４と、操作入力部３１を接続するための操作入力インターフェース３０５と、表示装置としてのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）３２を接続するためのＬＣＤコントローラ３０６と、メモリ・カード５０を装填するためのメモリ・カードインターフェース３０７と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの通信インターフェース３０８と、時計回路３０９と、Ｉ／Ｏポート３１０，３１１，３１２，３１３，３１４，３１５，３１６とが接続されて構成されている。

ＲＯＭ３０３には、カメラ部１０を制御するためのプログラムや、撮影した画像情報やマイクロホンからの音声情報についての記録制御および再生制御、その他のプログラムが書き込まれている。

操作入力部３１には、撮影モードと再生モードなどの他のモードとを切り換えるモード切り換えキー、ズーム調整キー、露出調整のためのキー、シャッターキー、動画撮影用キー、ホワイトバランス調整用キーなどの複数のキーが設けられている。

ＣＰＵ３０１は、操作入力インターフェース３０５を通じて入力される操作入力部３１からの操作信号を解析して、操作入力部３１のいずれのキーが操作されたかを判別し、その判別結果に応じた制御処理を行なう。

ＬＣＤ３２には、ＣＰＵ３０１の制御の下に、撮影時の画像や撮影条件が表示されると共に、記録媒体から再生された再生画像や付加情報が表示される。

時計回路３０９は、図示を省略した基準クロック信号発生回路からのクロック信号を計測して、年、月、日、時間、分、秒を表わす時間情報を生成する。秒としては、画像のフレーム単位を計数することができるような小数点以下の精度の情報を発生するように、この時計回路３０９は構成されている。

この例のデジタルカメラは、記録データを光ディスク４０（この例では、ＤＶＤ４０）に記録することができるほかに、メモリ・カード５０にも記録できるように構成されている。その場合には、メモリ・カード５０には、メモリ・カードインターフェース３０７を通じて圧縮データが記録される。

通信インターフェース３０８は、例えばこの例のデジタルカメラをパーソナルコンピュータに接続して、記録データやその他のデータのやり取りをする際に用いられる。

カメラ部１０は、カメラ光学系１１と、カメラコントロール部１２と、撮像素子１３と、撮像信号処理部１４と、マイクロホン１５と、入力オーディオ信号処理部１６とから構成される。

カメラ光学系１１は、図示を省略したが、被写体を撮像するためのレンズ群と、絞り調整機構、フォーカス調整機構、ズーム機構、シャッター機構、フラッシュ（ストロボ）機構を備えると共に、手ぶれ補正機構を備えている。

カメラコントロール部１２は、制御部３０のＩ／Ｏポート３１０を通じた制御信号を受けて、カメラ光学系１１に供給する制御信号を生成する。そして、生成した制御信号をカメラ光学系１１に供給して、ズーム制御、シャッター制御、露出制御などの制御を行なう。制御部３０のＩ／Ｏポート３１０を通じた信号には、操作入力部３１でのその時点での操作入力に応じた制御信号だけでなく、操作入力部３１での操作入力に応じて予め設定された撮影条件に基づく制御信号が含まれる。

撮像素子１３は、この例では、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）で構成され、その結像面に、カメラ光学系１１を通じた像が結像される。そして、シャッター操作に応じて制御部３０のＩ／Ｏポート３１１から発生する画像取り込みタイミング信号を受けて、結像面に結像されている被写体像を撮像信号に変換し、撮像信号処理部１４に供給する。

撮像信号処理部１４では、制御部３０のＩ／Ｏポート３１２を通じた制御に基づいて、撮像信号についてのガンマ補正やＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）などの処理を行なうと共に、撮像信号をデジタル信号に変換する処理も行なう。

また、マイクロホン１５により、撮影時の被写体周辺の音声が収集される。そして、このマイクロホン１５からの音声信号が入力オーディオ信号処理部１６に供給される。

入力オーディオ信号処理部１６では、制御部３０のＩ／Ｏポート３１２を通じた制御に基づいて、入力オーディオ信号についての補正やＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）などの処理を行なうと共に、オーディオ信号をデジタル信号に変換する処理も行なう。

図１では、図示を省略したが、この例のデジタルカメラにおいては、外部マイクロホン端子を備え、当該外部マイクロホン端子に外部マイクロホンが接続された場合には、入力オーディオ信号処理部１６には、内蔵マイクロホン１５ではなく、当該外部マイクロホンからのオーディオ信号が供給されるように、自動的に切り換えられるように構成されている。

そして、この例においては、入力オーディオ信号処理部１６でのＡＧＣ処理は、内蔵マイクロホン１５からのオーディオ信号が入力された場合と、外部マイクロホンからのオーディオ信号が入力された場合とでは、その特性の違いを考慮した処理がなされるようにされている。ＡＧＣ処理の切り換えは、入力オーディオ信号処理部１６へのオーディオ信号の入力切り換えに連動して行なわれるように構成されている。

記録再生処理部２０は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２１と、ＤＶＤ信号処理部２２と、書き込み／読み出し部２３と、ビデオ／オーディオ出力処理部２４とからなる。ＤＳＰ２１には、例えばＳＤＲＡＭからなるバッファメモリ２５が接続されている。

ＤＳＰ２１には、撮像信号処理部１４からのデジタル画像信号および入力オーディオ信号処理部１６からのデジタルオーディオ信号が入力されると共に、制御部３０のＩ／Ｏポート３１３を通じて、撮影時の情報が入力される。Ｉ／Ｏポート３１３を通じて入力される撮影時の情報には、フレーム単位の撮影時刻や、撮影条件情報が含まれる。

撮影時刻の情報としては、この例では、時計回路３０９からの時刻情報をその都度読み込んで用いる。しかし、動画の撮影開始時点で、時計回路３０９の時刻情報（撮影開始時刻）を取り込み、それ以降は、前記撮影開始時刻を基準にしたフレーム単位の相対時刻（フレーム番号でもよい）を撮影時刻として用いるようにしても良い。

また、撮影条件情報には、自動的に設定される情報およびユーザーにより設定される情報との両方を含み、例えば、露出制御情報、自動ホワイトバランス調整用情報、デジタルズーム倍率情報、手ぶれ補正情報、Ｆ値（Ｆナンバー）、露出時間、ＡＧＣゲイン値、レンズ焦点距離などの設定情報を含む。

また、この例においては、音声情報の取り込み手段として内蔵マイクロホン１５を使用したか、あるいは外部マイクロホンを使用したかの情報も、撮影時の情報に含められる。

上述した撮影時の情報は、この実施形態では、後述するように、付加情報として画像のフレーム単位に生成されて、記録されるようにされている。

ＤＳＰ２１は、Ｉ／Ｏポート３１３を通じたカメラ情報に基づき、撮像信号処理部１４からのデジタル画像信号について、自動ホワイトバランス制御や、露出補正のための制御、デジタルズーム倍率に応じた制御などを行なう。そして、ＤＳＰ２１は、このような制御が加えられたデジタル画像信号と、入力オーディオ信号処理部１６からのデジタルオーディオ信号とを、ＭＰＥＧ２方式によりデータ圧縮する。

また、ＤＳＰ２１は、入力された撮影時情報について、当該撮影時情報を付加情報として圧縮画像データや圧縮オーディオデータと共に記録するための付加情報処理を行なう。

ＤＳＰ２１は、さらに、圧縮した画像データと、圧縮したオーディオデータと、前述の付加情報とを、多重化して、ＭＰＥＧ−ＰＳフォーマットに従ったデータ列となるようにする処理も行なう。

そして、ＤＳＰ２１からのＭＰＥＧ−ＰＳフォーマットのデータは、Ｉ／Ｏポート３１４を通じて制御部３０の制御を受けるＤＶＤ信号処理部２２の記録信号処理部を通じて書き込み／読み出し部２３に供給され、この書き込み／読み出し部２３により、ＤＶＤ４０に書き込まれる。書き込み／読み出し部２３は、Ｉ／Ｏポート３１６を通じて制御部３０の制御を受ける。

そして、書き込み／読み出し部２３によってＤＶＤ４０から読み出されたデータは、ＤＶＤ信号処理部２２の再生信号処理部を通じてＤＳＰ２１に供給される。

ＤＳＰ２１では、多重化されている圧縮画像データと、圧縮オーディオデータと、付加情報とを分離する。そして、ＤＳＰ２１は、分離された圧縮画像データの圧縮を解凍し、元の並び順のフレーム単位の画像データを再生し、ビデオ／オーディオ出力処理部２４に出力すると共に、分離された圧縮オーディオデータの圧縮を解凍して、オーディオデータを再生し、ビデオ／オーディオ出力処理部２４に出力する。

ビデオ／オーディオ出力処理部２４は、Ｉ／Ｏポート３１５を通じて制御部３０の制御を受けて、出力すべき画像データおよびオーディオデータについての処理をし、デジタルデータとしての画像データおよびオーディオデータは、Ｉ／Ｏポート３１５を通じて制御部３０に供給すると共に、Ｄ／Ａ変換してアナログ信号にした画像信号およびオーディオ信号は、出力端子２６Ｖおよび２６Ａに出力する。Ｉ／Ｏポート３１５を通じて制御部３０に入力された画像データによる再生画像は、ＬＣＤコントローラ３０６の制御に基づいて、ＬＣＤ３２の画面において再生表示される。

［データ圧縮および多重化処理について］
次に、ＤＳＰ２１におけるデータ圧縮および多重化の処理について、図２を参照して、さらに詳細に説明する。

すなわち、ＤＳＰ２１においては、撮像信号処理部１４からの画像データは、前述したように、撮像時の設定条件や制御条件に従って制御処理がなされた後、バッファ２０１を通じてビデオエンコード部２０２に供給される。

ビデオエンコード部２０２では、少なくとも１枚のＩピクチャと、複数枚のＰピクチャおよびＢピクチャからなるＧＯＰを構成し、このＧＯＰを、記録媒体としてのＤＶＤに対する書き込み単位として、圧縮処理するようにする。

すなわち、ビデオエンコード部２０２では、先ず、ピクチャ順並び換え部２０２１において、前述の図９を用いて説明したように、ＧＯＰ内におけるピクチャ順の並び換えを行なう。

そして、次に、圧縮符号化部２０２２において、Ｉピクチャについては、フレーム内符号化処理を行なってデータ圧縮を行ない、Ｐピクチャについては、前方のＩピクチャまたはＰピクチャとの相関を利用したフレーム間予測符号化処理を行なってデータ圧縮を行ない、Ｂピクチャについては、前方および後方のＩピクチャまたはＰピクチャとの相関を利用したフレーム間予測符号化処理を行なってデータ圧縮を行なう。なお、Ｐピクチャについては、フレーム内符号化処理を行なう画像部分も存在する。

以上のようにして、圧縮符号化部２０２２において圧縮符号化処理が行なわれた画像データは、可変長符号化部２０２３においてハフマン符号などを用いた可変長符号化処理が行なわれた後、バッファ２０３を通じてマルチプレックス部（多重化部）２１１に供給される。

また、ＤＳＰ２１においては、入力オーディオ信号処理部１６からのオーディオデータは、撮像タイミングに同期して取り込まれてバッファ２０４を通じてオーディオエンコード部２０５に供給され、所定量のオーディオデータ（オーディオフレームと呼ばれる）を復号再生単位として、圧縮符号化される。圧縮符号化されたオーディオデータは、バッファ２０６を通じてマルチプレックス部２１１に供給される。

さらに、ＤＳＰ２１においては、Ｉ／Ｏポート３１３から入力された撮影時情報は、バッファ２０７を通じて付加情報処理部２０８に供給されて、画像のフレーム単位に付加する付加情報が生成される。そして、生成された付加情報は、バッファ２０９を通じてマルチプレックス部２１１に供給される。

マルチプレックス部２１１では、画像データ、オーディオデータ、付加情報のそれぞれをパケット化して、画像データ、オーディオデータ、付加情報を多重化する。この場合に、１または複数個のパケットデータにパックヘッダを付加してグループ化して、パックを構成する。このマルチプレックス部２１１からの多重化出力データは、ＤＶＤ信号処理部２２に出力され、書き込み／読み出し部２３により、上述したようにして、ＤＶＤ４０に書き込まれる。

そして、画像データとオーディオとの同期を取るために、ＭＰＥＧ方式においては、画像データあるいはオーディオデータの復号再生単位（画像データは、１フレーム単位、オーディオデータでは、オーディオフレーム単位）ごとに、タイムスタンプと呼ばれる管理情報が付加される。

このタイムスタンプの情報は、時刻管理情報発生部２１０からマルチプレックス部２１１に供給される。このタイムスタンプは、ＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ；システム時刻基準参照値）によって時間基準が与えられる。

タイムスタンプは、マルチプレックス部２１１において、パケットの中に復号再生単位の情報の先頭がある場合に、そのパケットヘッダに付加され、パケットの中に復号再生単位の情報の先頭がない場合には付加されない。

タイムスタンプには、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）と、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）との２種類がある。

ＰＴＳは、復号再生単位の情報の再生出力の時刻管理情報である。すなわち、ＰＴＳは、復号再生単位の情報を、いつ再生出力するかの時刻管理情報である。

また、タイムスタンプＤＴＳは、復号再生単位の情報の復号の時刻管理情報である。これは、前述したように、ＭＰＥＧ方式では、ピクチャの並び順を符号化の際に並び換えることにより、再生出力順序と、復号順序とが異なることに対応して設けられたものである。

タイムスタンプＰＴＳとＤＴＳとが異なる場合には、両方のタイムスタンプがパケットヘッダに付加され、一致する場合には、一般にタイムスタンプＰＴＳのみがパケットヘッダに付加される。

以上のように、タイムスタンプＰＴＳは、画像データのフレームの、元の並び順に対応するものであり、かつ、各フレームに１対１に対応する時刻管理情報である。オーディオデータについては、タイムスタンプＤＴＳは付加されず、タイムスタンプＰＴＳのみが付加される。

ところで、この実施形態では、付加情報は、前述したように、画像データの各フレームに対応して発生させるようにしているが、前述したように、ＭＰＥＧ方式においては、フレーム単位の画像情報、つまりピクチャは、符号化処理の際に並び順が変更されることとも相俟って、各フレームについての付加情報と、対応するフレームの画像情報との対応付けについて工夫が必要である。

この実施形態では、上述した時刻管理情報のＰＴＳが、画像データのフレームの、元の並び順に対応するものであり、かつ、各フレームに１対１に対応する時刻管理情報であることを利用して、このＰＴＳを媒介にして、復号再生単位としてのフレーム単位の画像データと、当該画像データについての付加情報との対応を付けるようにする。この対応付けの処理は、マルチプレックス部２１１においてなされる。

以下に、このマルチプレックス部２１１における画像フレームと、付加情報との対応付けのための処理のいくつかの例を説明する。

［画像フレームと付加情報との対応付けの第１の例］
この第１の例は、ＤＶＤ−Ｖｉｄｅｏフォーマットによる記録時の場合である。ＤＶＤ−Ｖｉｄｅｏフォーマットによる光ディスク上における記録データの論理配置は、図３に示すようなものとなる。

すなわち、光ディスクの記録エリアは、図３（Ａ）に示すように、光ディスクの半径方向に見て、最内周側から、順に、リードインエリア、データゾーンエリア、リードアウトエリアに区分けされる。そして、データゾーンエリアに、管理情報および画像データ等のデータが記録される。

データゾーンエリアは、リードインエリア側から、順に、ＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｃ Ｆｏｒｍａｔ）エリア、ＶＭＧ（Ｖｉｄｅｏ ＭａｎａＧｅｒ）エリア、リアルタイムデータ記録エリアに区分けされる。ＵＤＦエリアおよびＶＭＧエリアは、光ディスクに記録された画像データ等のファイルを管理する管理用情報の記録エリアである。ＵＤＦエリアは、ＵＤＦ規格とＩＳＯ９６６０規格をサポートすることにより、コンピュータで光ディスクを読むことができるようにするためのものである。ＶＭＧエリアは、ＤＶＤ管理用情報の記録エリアである。

リアルタイムデータ記録エリアは、画像データやオーディオデータを記録するエリアであり、図３（Ｂ）に示すように、ＶＴＳ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ）と呼ばれるデータ群を単位として、データの記録がなされる。

ＶＴＳは、図３（Ｃ）に示すように、ＶＴＳＩ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ Ｉｎｆｏｒｍａｔｉｏｎ）と、ＶＴＳＭｅｎｕ＿ＶＯＢＳ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｓｅｔ Ｆｏｒ ｔｈｅ ＶＴＳＭｅｎｕ）と、ＶＴＳＴＴ＿ＶＯＢＳ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｓｅｔ Ｆｏｒ Ｔｉｔｌｅｓ ｉｎ ａ ＶＴＳ）と、ＶＴＳＩ＿ＢＵＰ（Ｂａｃｋｕｐ ｏｆ ＶＴＳＩ）とからなる。

ＶＴＳＴＴ＿ＶＯＢＳには、図３（Ｄ）に示すように、ＭＰＥＧ２−ＰＳフォーマットの圧縮データが、ＶＯＢＵ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｕｎｉｔ）と呼ばれる情報ブロックを読み書き単位として記録される。ＶＯＢＵには、画像データは、１ＧＯＰが含まれ、オーディオデータは、当該１ＧＯＰに対応する情報が含まれる。つまり、光ディスクには、１ＧＯＰ単位で読み書きされることに等しい。そして、この実施形態では、後述するように、ＶＯＢＵには、ＧＯＰを構成するフレーム単位の画像データのそれぞれについての付加情報も含まれる。

ＶＴＳＩには、画像データ等の記録位置情報等の管理情報が記録される。また、ＶＴＳＭ＿ＶＯＢＳには、画像データ等のルートメニューが記録される。このＶＴＳＭ＿ＶＯＢＳはオプションである。さらに、ＶＴＳＩ＿ＢＵＰは、ＶＴＳＩのバックアップ情報である。

読み書き単位データＶＯＢＵは、図３（Ｅ）に示すように、複数個のパックＰＣＫから構成される。パックＰＣＫは、１または複数個のパケットからなる。この例では、パックは１パケットからなるものとされている。ＤＶＤ−Ｖｉｄｅｏフォーマットでは、１パックは、２０４８バイト（１セクタに対応）と定められている。

この例の場合の１パックは、図３（Ｆ）に示すようなものとなる。すなわち、パックＰＣＫの先頭はパックヘッダとされる。そして、パックヘッダの次には、パケットヘッダが位置し、パケットヘッダに続いて、画像データやオーディオデータなどからなるパケットデータが位置する。この画像データやオーディオデータのパケットフォーマットは、プライベート１・パケットとされている。

パックヘッダ内には、前述した時間基準の情報ＳＣＲが含まれる。そして、パケットヘッダの先頭は、パケット開始コードとされると共に、このパケットヘッダ内には、ＰＴＳフラグ、ＤＴＳフラグなどのフラグ情報と、タイムスタンプの情報ＰＴＳ、ＤＴＳが含まれる。ＰＴＳフラグ、ＤＴＳフラグは、当該パケット内にタイムスタンプの情報ＰＴＳ，ＤＴＳが含まれるか否かを示すものである。前述したように、タイムスタンプの情報ＰＴＳ，ＤＴＳは、パケット内にピクチャの先頭が含まれる場合に、そのパケットヘッダ内に付加される。

そして、この第１の実施形態では、付加情報は、１フレーム分ごとに１パック（１パケット）を構成する。前述したように、この例では、付加情報のパケットには、対応する画像データのタイムスタンプＰＴＳが含まれる。したがって、この例では、付加情報のパケットは、プライベート１・パケットの形式とされる。この付加情報のパックは、第１の実施形態では、タイムスタンプＰＴＳが付加される画像データのパックの前に多重化するようにする。

この第１の実施形態における多重化の処理を、図４を参照しながら説明する。図４は、１ＧＯＰ分の画像データについて、付加情報と画像データとの多重化処理を説明するための図であり、説明の簡単のために、オーディオデータについての多重化は省略した。この例では、１ＧＯＰは、１５フレーム（１５枚のピクチャ）で構成される。

図４（Ａ）は、バッファ２０１および２０７に入力される画像データと付加情報とを示すものである。Ｂ０，Ｂ１，Ｉ２，Ｂ３，Ｂ４，Ｐ５・・・Ｐ１４は、フレーム単位の画像データをピクチャタイプをも考慮して示したものであり、ＢはＢピクチャを、ＩはＩピクチャを、ＰはＰピクチャを、それぞれ示している。そして、各サフィックス番号は、ピクチャタイプに関係なく、フレーム単位の連続番号を付与したものである。

また、Ａ０〜Ａ１４は、各サフィックス番号の画像フレームについての付加情報を示している。つまり、付加情報Ａ０〜Ａ１４のそれぞれは、サフィックス番号が同一である画像フレームについての付加情報となっている。

図４（Ａ）に示されている画像データは、ビデオエンコード部２０２のピクチャ順並び換え部２０２１において、ピクチャ順の並び換えがなされて、図４（Ｂ）に示すようにされる。これに対して、この例では、付加情報については、並び順は変更されないので、図４（Ｂ）に示す付加情報は、図４（Ａ）に示した付加情報と同じ並び順となっている。したがって、並び順としては、各ピクチャと、それについての付加情報との対応がつきにくくなる。

前述したように、マルチプレックス部２１１では、各ピクチャの画像データには、再生出力の時間管理情報であるタイムスタンプＰＴＳが、そのピクチャの先頭が含まれるパケットのヘッダに含められるようにされている。図４（Ｂ）の各ピクチャの下側に示したタイムスタンプＰＴＳ＃（＃はサフィックス番号で、番号が小さいほど早い時刻となる）は、各ピクチャに対して付加されるタイムスタンプＰＴＳを示している。再生出力は、元のフレーム順であるので、各ピクチャのサフィックス番号とタイムスタンプＰＴＳのサフィックス番号は等しいものとなる。

同様にして、この実施の形態では、マルチプレックス部２１１においては、各ピクチャについての付加情報に対しても、それぞれ同じサフィックス番号のタイムスタンプＰＴＳが付与される。したがって、ピクチャ順が並び換えられても、タイムスタンプＰＴＳを参照することにより、各付加情報がいずれのピクチャについてのものであるかの対応付けをすることが可能になる。

そして、各ピクチャの圧縮画像データは、図４（Ｃ）に示すように、１または複数個のパックとして記録される。図４（Ｃ）で、Ｖ＿ＰＣＫはビデオパック（画像データのパック）を示しており、その末尾のＩ＃、Ｐ＃およびＢ＃は、図４（Ａ），（Ｂ）に示した各ピクチャの圧縮画像データであることを示している。

前述したように、タイムスタンプＰＴＳは、各ピクチャの先頭が含まれるパケットのパケットヘッダに含まれる。この例ではパックには、１パケットが含まれるものとしているので、当該パケットを含むパック内にタイムスタンプＰＴＳが含まれる。

この実施形態では、各付加情報のパックＡＲＩ＿ＰＣＫ＃（＃はサフィックス番号）は、図４（Ｃ）に示すように、タイムスタンプＰＴＳが含まれるビデオパックの直前に多重化される。

なお、ＧＯＰのデータが含まれるＶＯＢＵの先頭のパックＮＶ＿ＰＣＫは、ナビゲーションパックと呼ばれるもので、これには、データサーチインフォメーション（例えばジャンプ時にどのセクタまで飛ぶかを指示する制御情報）などの再生管理情報が含められている。

なお、付加情報には、各フレーム単位の撮影時刻情報（記録時刻情報）と、カメラ設定情報とが含まれる。カメラ設定情報には、前述もしたように、Ｆナンバー、露出時間、露出プログラム、露光補正値、ＡＧＣゲイン値、レンズ焦点距離、フラッシュ、ホワイトバランス調整値、デジタルズーム倍率などの情報が含められている。

上述の第１の例では、ビデオパックＶ＿ＰＣＫのうちのタイムスタンプＰＴＳがパケットヘッダに付加されるパックの直前に１パックずつ多重化するようにしたが、タイムスタンプＰＴＳがパケットヘッダに付加されるパックの直後に１パックずつ多重化するようにしてもよい。

［画像フレームと付加情報との対応付けの第２の例］
上述した第１の例においては、ＧＯＰを構成する１５枚のピクチャのそれぞれについての付加情報のパックＡＲＩ＿ＰＣＫ＃は、ビデオパックＶ＿ＰＣＫのうちのタイムスタンプＰＴＳがパケットヘッダに付加されるパックの直前または直後に１パックずつ多重化するようにしたが、ＶＯＢＵ内の特定の位置に、１５枚のピクチャのそれぞれについての付加情報のパックＡＲＩ＿ＰＣＫ＃をまとめて配置するようにしてもよい。

この第２の例は、その場合の例であり、図５（Ｂ）に示すように、図５（Ａ）に示すＶＯＢＵのそれぞれにおいて、ナビゲーションパックＮＶ＿ＰＣＫの直後に、１５枚のピクチャのそれぞれに対する付加情報のパックＡＲＩ＿ＰＣＫ０〜ＡＲＩ＿ＰＣＫ１４をまとめて配置する。

付加情報のパックＡＲＩ＿ＰＣＫ０〜ＡＲＩ＿ＰＣＫ１４には、それぞれの付加情報が対応しているピクチャに付加されるタイムスタンプＰＴＳと同じタイムスタンプＰＴＳが付加されているのは、第１の例と同様である。

なお、以上の説明では、付加情報のパックＡＲＩ＿ＰＣＫ０〜ＡＲＩ＿ＰＣＫ１４は、ナビゲーションパックＮＶ＿ＰＣＫの直後にまとめて配置するようにしたが、ＶＯＢＵの最後にまとめて配置するようにすることもできるし、また、ＶＯＢＵ内の中間の予め定められた位置に、まとめて配置するようにしてもよい。

［データ分離およびデータ圧縮解凍処理について］
次に、ＤＳＰ２１における画像データ、オーディオデータおよび付加情報の分離処理および画像データとオーディオデータの圧縮解凍処理について、図６を参照して説明する。

書き込み／読み出し部２３によりＤＶＤ４０から、ＶＯＢＵ単位で読み出されたデータは、デ・マルチプレクサ２２１において、画像データパックと、オーディオデータパックと、付加情報パックとに分離される。

デ・マルチプレクサ２２１では、それぞれのパックからパックヘッダおよびパケットヘッダを分離し、それらのヘッダ情報を制御部２２０に供給する。制御部２２０では、ヘッダ情報を解析し、タイムスタンプＰＴＳおよびＤＴＳを抽出して、画像データ、オーディオデータおよび付加情報のデコード処理および再生出力を制御する。

また、デ・マルチプレクサ２２１は、分離した画像データパックから抽出した圧縮画像データは、バッファ２２２を通じてビデオデコーダ部２２５に供給し、分離したオーディオデータパックから抽出した圧縮オーディオデータは、バッファ２２３を通じてオーディオデコーダ部２２６に供給し、分離した付加情報パックから抽出した付加情報はバッファ２２４を通じて付加情報デコーダ部２２７に供給する。

そして、ビデオデコーダ部２２５では、制御部２２０からの制御に従い、タイムスタンプＤＴＳに従った順序で、画像データの圧縮解凍処理を行なって、フレーム単位の画像データを復元し、バッファ２２８に出力する。そして、制御部２２０は、このバッファ２２８から、画像データパックに含まれていたタイムスタンプＰＴＳに従った順序で、フレーム単位の画像データを読み出して、ビデオ信号処理部２３１に供給するように制御する。

また、オーディオデコーダ部２２６では、制御部２２０からの制御に従い、順次にオーディオデータの圧縮解凍処理を行なって、オーディオデータを復元し、バッファ２２９に出力する。そして、制御部２２０は、このバッファ２２９から、オーディオデータパックに含まれていたタイムスタンプＰＴＳに従った順序で、オーディオデータを読み出して、オーディオ信号処理部２３２に供給するように制御する。

さらに、付加情報デコーダ部２２７では、制御部２２０からの制御に従い、フレーム単位の画像データについての付加情報を再生し、バッファ２３０に出力する。この場合、付加情報デコーダ部２２７では、付加情報は、画像データの制御用情報Ａｖと、オーディオデータ制御用情報Ａａと、撮影年月日、時間などの表示用情報Ａｄとを生成して、それぞれバッファ２３０に出力する。

そして、制御部２２０は、このバッファ２３０から、付加情報パックに含まれていたタイムスタンプＰＴＳに従った順序で、フレーム単位の画像データについての付加情報を読み出すが、画像データの制御用情報Ａｖは、ビデオ信号処理部２３１に、オーディオデータ制御用情報Ａａは、オーディオ信号処理部２３２に、表示用情報Ａｄは、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）回路２３３に、それぞれ供給するように制御する。

この場合、タイムスタンプＰＴＳに従ってバッファ２３０からビデオ信号処理部２３１およびオーディオ信号処理部２３２に、画像データの制御用情報Ａｖおよびオーディオデータ制御用情報Ａａが供給されるので、それらの制御用情報ＡｖおよびＡａは、対応するフレームの画像データおよびオーディオデータとなっており、自動的に対応付けがなされている。したがって、画像データおよびオーディオデータについては、対応する制御用情報ＡｖおよびＡａによって、適切な制御処理がなされる。

ビデオ信号処理部２３１では、画像データの制御用情報Ａｖに応じた画像データ処理がなされる。例えば、撮影時のオートホワイトバランス調整に応じた画像データ制御などを行なう。

また、オーディオ信号処理部２３２では、オーディオデータ制御用情報Ａａに応じたオーディオデータ制御処理がなされる。例えば、内蔵マイクロホンで収音した音声か、外部マイクロホンで収音した音声かにより、ＡＧＣ特性が変えられて記録されているので、それに対応した制御処理をするようにする。

表示用情報Ａｄは、撮影年月日、撮影時刻、ズーム倍率などの表示情報であり、ＯＳＤ回路２３３を通じて合成部２３４に供給され、ビデオ信号処理部２３１からの画像データに合成される。この合成部２３４からの画像データがビデオ／オーディオ出力処理部２４を通じて制御部３０に供給され、ＬＣＤ３２の画面に表示される。

前述したように、画像データと付加情報の表示用情報Ａｄとは、対応するフレームのものについては、同一のタイムスタンプＰＴＳに基づいてバッファ２２８および２３０から読み出されて合成されるので、ＬＣＤ３２の画面には、フレーム単位の撮影時刻が正しく表示されるようになる。

［その他の実施形態］
［第１の他の例］
上述の実施形態では、付加情報は、画像フレームのそれぞれに対して１パックとして記録するようにしたが、１個のＶＯＢＵについて、１パック分を付加情報パックＡＲＩ＿ＰＣＫとして、その１パック内に、ＶＯＢＵ内の、この例では１５枚のピクチャ（フレーム）についての付加情報をまとめて記録するようにしてもよい。

図７は、その場合のデータフォーマットの一例を示すものである。すなわち、この例においては、図７（Ａ）に示すＶＯＢＵのそれぞれに対して、図７（Ｂ）に示すように、ナビゲーションパックＮＶ＿ＰＣＫの直後に、１パック分の付加情報のパックＡＲＩ＿ＰＣＫを配置する。

そして、この付加情報のパックＡＲＩ＿ＰＣＫには、各画像フレームについての付加情報とＰＴＳとの組を、ＧＯＰを構成する１５枚の画像フレーム分、含めるようにする。

すなわち、図７（Ｃ）に示すように、各画像フレームについての付加情報のデータＡＲＩ＿ＤＴ＃（＃はフレーム番号）と、その画像フレームに付加されるタイムスタンプＰＴＳ＃とを対応付けた組のデータＡＲＩ＿ＳＥＴ＃を生成する。そして、ＧＯＰを構成する１５枚のフレームについての１５組のデータＡＲＩ＿ＳＥＴ０〜ＡＲＩ＿ＳＥＴ１４を順番に、付加情報パックＡＲＩ＿ＰＣＫ内に含めるようにする。

この例の場合には、付加情報用のパケットＡＲＩ＿ＰＣＫのパケットとしては、前述例と同様に、プライベート１・パケットを使用することができるが、図７（Ｄ）に示すプライベート２・パケットも使用可能である。

この例の場合には、データ再生時には、各組のデータＡＲＩ＿ＳＥＴからＰＴＳを検出し、このＰＴＳを用いて、前述の例と同様に、画像データおよびオーディオデータとの時間合わせをして、付加情報を出力することにより、画像データやオーディオデータの制御用として使用すると共に、画面の表示データとして使用することが可能である。

［第２の他の例］
図４に示した例では、付加情報については、ピクチャ順の並び換えに関係なく、元の時系列順のままとして、タイムスタンプＰＴＳを付加した付加情報パックを、ＰＴＳがパケットヘッダに含まれるビデオパックＶ＿ＰＣＫの前（または後）に付加するようにしたが、付加情報についても、画像データについてのピクチャ順の並び換えに応じて並び換えて、ＰＴＳがパケットヘッダに含まれるビデオパックＶ＿ＰＣＫの前（または後）に付加するようにしてもよい。

この第２の他の例の場合には、ビデオパックＶ＿ＰＣＫと、付加情報のパックＡＲＩ＿ＰＣＫとは、パケットヘッダに含まれるＰＴＳが同一のものが並んで、対応付けが容易になる。

［第３の他の例］
上述の第２の他の例によれば、付加情報のパックＡＲＩ＿ＰＣＫは、その付加情報が対応する画像フレームのビデオパックであって、ＰＴＳがパケットヘッダに含まれるパックの前または後に付加されるので、付加情報と、その付加情報が対応する画像フレームとの対応は、付加情報にＰＴＳが存在しなくても容易に関係付けることができる。

そこで、第３の他の例は、前記第２の他の例と同様に、付加情報のパックＡＲＩ＿ＰＣＫは、その付加情報が対応する画像フレームのビデオパックであって、ＰＴＳがパケットヘッダに含まれるパックの前または後に付加するが、付加情報パックには、ＰＴＳを含めない。したがって、この第３の他の例においては、付加情報のパックのパケットとしては、図７（Ｄ）に示したプライベート２・パケットを用いることができる。

そして、この第３の他の例の場合には、再生時には、それぞれの画像フレームに対応する付加情報を、前記記録位置による対応関係から抽出するようにすると共に、例えば、ビデオパックに付加されているＰＴＳに基づいて、再生出力管理したり、対応する付加情報の順序を並び換えて再生出力したりすることにより、上述と同様にして、復元された再生出力画像データやオーディオデータと対応させて、制御用情報や表示用情報として用いるようにするものである。

［第４の他の例］
この第４の他の例は、図５に示した例の変形例であって、付加情報パックＡＲＩ＿ＰＣＫには、タイムスタンプＰＴＳを含まない場合である。すなわち、この第４の他の例においては、画像データを復元したときには、ＰＴＳにより元のピクチャ順（フレーム順）に戻って再生されることから、このＰＴＳに基づいて画像フレームが再生される順番に、付加情報パックＡＲＩ＿ＰＣＫも並べておくものである。したがって、図５（Ｂ）に示したとおりの並び順で、付加情報パックＡＲＩ＿ＰＣＫが配置される。

そして、この第４の他の例の場合には、再生時には、それぞれの画像フレームに対応する付加情報を、並び順が元に戻されて再生出力される画像フレームに対して、順番に順次に出力するようにすることにより、復元された再生出力画像データやオーディオデータと対応させて、制御用情報や表示用情報として用いることができる。

［第５の他の例］
以上の例は、ＤＶＤ−Ｖｉｄｅｏフォーマットで記録する場合に、この発明を適用した場合であるが、ＤＶＤ−Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ（ＤＶＤ−ＶＲ）フォーマットのおけるＶＯＢＵのデータにも、上述と全く同様に処理して適用することができる。

そして、さらに、ＤＶＤ−ＶＲフォーマットの場合には、図８に示すように、ＶＯＢＵの先頭に配置されるパックＲＤＩ＿ＰＣＫ内のＲＤＩパケットのＲＤＩ・データ領域内に、図７の例と同様の形式の付加情報を配置するようにすることもできる。

［第６の他の例］
以上の例は、いずれも画像フレームのそれぞれについて付加情報を生成して、付加するようにしたが、すべての画像フレームについて付加情報を生成しなくてもよい。

この第６の他の例は、その場合の例であり、この例においては、例えば、２画像フレーム毎の１フレーム、３画像フレーム毎の１フレーム、・・・１５画像フレーム毎の１フレーム・・・のように、所定時間毎の復号再生単位としての画像フレームについて、当該画像フレームについての付加情報を生成し、当該画像フレームについての復号再生処理のための管理情報に関連付けて記録するようにする。

復号再生処理のための管理情報として、前述のタイムスタンプＰＴＳを用いるようにすれば、所定時間毎の復号再生単位としての画像フレームの情報の再生に同期して、当該画像フレームについての付加情報を再生して、利用することが容易である。

なお、例えば付加情報が記録時間の場合においては、付加情報が記録されない画像フレームについての記録時間については、記録されている付加情報としての記録時間から容易に計算により求めることができる。また、付加情報が記録されている画像フレームの近傍の画像フレームについては、当該付加情報をそれらの近傍の画像フレームについての付加情報として利用するようにしても良い。

［その他の変形例］
なお、以上の例は、主として、画像データの１フレーム単位に対して付加情報を付加する場合について説明したが、オーディオデータのフレームを復号再生単位として付加情報を付加する場合にも適用可能である。

この発明による撮像装置の実施形態の構成例を示す図である。 図１におけるデータエンコードおよび多重化処理部分の構成例を説明するための図である。 ＤＶＤ−Ｖｉｄｅｏフォーマットによる光ディスク上の論理配置を示す図である。 この発明による撮像方法の実施形態の要部の一例を説明するための図である。 この発明による撮像方法の実施形態の要部の他の例を説明するための図である。 図１におけるデータ分離処理およびデータデコーダ部分の構成例を説明するための図である。 この発明による撮像方法の実施形態の要部の他の例を説明するための図である。 この発明による撮像方法の実施形態の要部の他の例を説明するための図である。 ＭＰＥＧ方式におけるＧＯＰ内のピクチャの並び換えを説明するための図である。

符号の説明

２０２…ビデオエンコード部、２０２１…ピクチャ順並び換え部、２０２２…圧縮符号化部、２０２３…可変長符号化部、２０８…付加情報処理部、２１１…マルチプレックス部、２２０…制御部、２２１…デ・マルチプレクサ、２２５…ビデオデコーダ部、２２６…オーディオデコーダ部、２２７…付加情報デコーダ部、２３１…ビデオ信号処理部、２３２…オーディオ信号処理部、２３３…ＯＳＤ回路、２３４…合成部

Claims (16)

1. 撮像素子と、
   前記撮像素子に被写体像を結像させるための撮像光学系と、
   前記撮像素子からの画像情報をデータ圧縮処理するデータ圧縮手段と、
   前記圧縮された前記画像情報を記録媒体に記録する記録手段と、
   所定時間内に含まれる前記圧縮された前記画像情報の所定複数の復号再生単位の情報のうち、１または複数の前記復号再生単位に対応する前記画像情報の撮像時の環境を示す付加情報を生成する生成手段と
   を有し、
   前記記録手段は、
   前記付加情報が格納される第１のパック、および、当該付加情報に対応する前記１または複数の前記復号再生単位を含む前記所定複数の前記復号再生単位の情報と当該所定複数の前記復号再生単位の情報のタイムスタンプとが格納された第２のパックを含むデータを、単位として、且つ、記録データの論理配置として前記第２のパックが、対応する前記第１のパックの前または後に配置されるように、前記画像情報を前記記録媒体に記録する
   撮像装置。
2. 請求項１に記載の撮像装置において、
   前記付加情報は、前記撮像素子により画像情報が取得された撮影時刻を含む撮像装置。
3. 請求項１に記載の撮像装置において、
   前記付加情報は、前記撮像素子により画像情報が取得された際の撮影条件情報を含む撮像装置。
4. 請求項１に記載の撮像装置において、
   前記付加情報は、露出制御情報、Ｆナンバー、焦点距離を含む撮像装置。
5. 請求項１に記載の撮像装置において、
   前記付加情報は、前記所定複数の復号再生単位の各々の前記復号再生単位の情報に対応して抽出された複数の付加情報である撮像装置。
6. 請求項１に記載の撮像装置において、
   前記付加情報は、前記所定複数の復号再生単位に含まれる一の前記復号再生単位に対応して抽出された付加情報である撮像装置。
7. 請求項１に記載の撮像装置において、
   前記所定時間内に含まれる前記圧縮された前記画像情報の前記所定複数の復号再生単位の情報は１ＧＯＰに相当し、前記付加情報には前記１ＧＯＰに含まれる１つのピクチャに対応して抽出した付加情報が記録される撮像装置。
8. 請求項１に記載の撮像装置において、
   前記記録媒体に記録された前記所定複数の前記復号再生単位の情報および前記付加情報を含む前記データの単位は、前記記録媒体におけるデータの書き込み／読み出しの単位である読み書き単位である撮像装置。
9. 撮像素子からの画像情報をデータ圧縮処理するデータ圧縮工程と、
   前記データ圧縮工程で圧縮された前記画像情報を記録媒体に記録する記録工程と、
   前記記録工程に先立ち、所定時間内に含まれる前記圧縮された前記画像情報の所定複数の復号再生単位の情報のうち、１または複数の前記復号再生単位に対応する前記画像情報の撮像時の環境を示す付加情報を生成する生成工程と
   を有し、
   前記記録工程においては、
   前記付加情報が格納される第１のパック、および、当該付加情報に対応する前記１または複数の前記復号再生単位を含む前記所定複数の前記復号再生単位の情報と当該所定複数の前記復号再生単位の情報のタイムスタンプとが格納された第２のパックを含むデータを、単位として、且つ、記録データの論理配置として前記第２のパックが、対応する前記第１のパックの前または後に配置されるように、前記画像情報を前記記録媒体に記録する
   撮像方法。
10. 請求項９に記載の撮像方法において、
    前記付加情報は、前記撮像素子により画像情報が取得された撮影時刻を含む撮像方法。
11. 請求項９に記載の撮像方法において、
    前記付加情報は、前記撮像素子により画像情報が取得された際の撮影条件情報を含む撮像方法。
12. 請求項９に記載の撮像方法において、
    前記付加情報は、露出制御情報、Ｆナンバー、焦点距離を含む撮像方法。
13. 請求項９に記載の撮像方法において、
    前記付加情報は、前記所定複数の復号再生単位の各々の前記復号再生単位の情報に対応して抽出された複数の付加情報である撮像方法。
14. 請求項９に記載の撮像方法において、
    前記付加情報は、前記所定複数の復号再生単位に含まれる一の前記復号再生単位に対応して抽出された付加情報である撮像方法。
15. 請求項９に記載の撮像方法において、
    前記所定時間内に含まれる前記圧縮された前記画像情報の前記所定複数の復号再生単位の情報は１ＧＯＰに相当し、前記付加情報には前記１ＧＯＰに含まれる１つのピクチャに対応して抽出した付加情報が記録される撮像方法。
16. 請求項９に記載の撮像方法において、
    前記記録媒体に記録された前記所定複数の前記復号再生単位の情報および前記付加情報を含む前記データの単位は、前記記録媒体におけるデータの書き込み／読み出しの単位である読み書き単位である撮像方法。

Images