図1は、本発明の実施例における映像処理システムの構成を示すブロック図である。本実施例では、映像データを記録媒体に記録するための映像記録装置と、映像及びメタデータを記録するための記録媒体と、メタデータを記録媒体に記録し、変更するためのメタデータ記録装置と、記録媒体に記録された映像データとメタデータを再生するための再生装置とを有する。
このような映像処理システムは、映像制作事業者などを対象とした業務用途や編集を行う民生用途を目的とするシステムであり、講演会、結婚式会場、音楽コンサートや演芸会場での行事の撮影、映像編集などに利用されている。例えば、講演会、結婚式会場において、カメラで取得した映像データは、映像記録装置を介して着脱可能な記録媒体に記録される。その後、編集室内において、他の映像データとともに、この記録媒体に記録された映像データを用いて編集作業が行なわれる。
図1に示すように、本映像処理システムは、映像データを記録媒体に記録するための映像記録装置101と、映像データ及びメタデータを記録するための記録媒体100と、メタデータを記録媒体に記録あるいは変更するためのメタデータ記録装置102と、記録媒体に記録された映像データとメタデータとを再生するための再生装置103とから構成される。本実施例における大きな記録再生処理の流れとしては、まず、映像記録装置101にて映像データを記録媒体に記録し、メタデータ記録装置102にて記録媒体100にメタデータを記録あるいは、記録媒体100に記録済みのメタデータを変更する。次に、再生装置103にて記録媒体100に記録された映像データとメタデータとを再生する。
本実施例では、映像記録媒体100は、半導体メモリやハードディスクドライブや光ディスク等ランダムアクセス可能な媒体であればよい。本実施例では、映像記録媒体100に半導体メモリを用いた例として説明する。半導体メモリは、ファイルとして記録再生可能なようにFAT等のファイルシステムにて管理されていればよい(一般的な技術であるため具体的な説明は省略する)。
本実施例におけるクリップとは、映像データの記録開始から終了までの1連続の記録区間に対応する映像データとメタデータとの総称を指し、メタデータは、クリップに対応付けされる。また、シーンとは、映像制作の企画段階での映像の区切り(場面)を表し、本実施例では、シーンを決定した後に収録を行い、クリップを収録することを想定している。したがって、例えば、同じシーンを繰り返し記録する場合には、1つのシーンに対して複数のクリップが記録される。
映像記録装置101は、記録するための映像データを入力する映像入力手段110と、映像入力手段110にて入力された映像データを記録媒体100に記録するための映像記録手段111とを備える。本実施例では、映像記録装置101は、一般的に制作分野等で使用されている映像記録装置及びカメラレコーダであればよい。本実施例での映像記録装置101においては広く一般的に知られている技術で実現可能であるため具体的な説明は省略する。
メタデータ記録装置102は、記録する映像記述メタデータを入力/選択するための映像記述メタデータ入力手段120と、映像記述メタデータ入力手段120にて入力された映像記述メタデータを記録媒体100に記録する記録形式に変換するための映像記述メタデータ生成手段121と、処理対象指定メタデータを入力及び選択するための処理対象指定メタ入力手段122と、処理対象指定メタ入力手段122にて入力された処理対象指定メタデータを記録する記録形式に変換するとともに、処理対象指定メタデータを生成/変更するための処理対象指定メタ生成手段122と、映像記述メタデータ生成手段121及び処理対象指定メタ生成手段122にて生成されたメタデータを記録媒体100に記録するためのメタデータ記録手段123とを備える。ここで、映像記述メタデータとは、映像に関する記述的なメタデータであり、例えば、クリップ名、クリップ番号、リンクポイント等の映像データに対する属性情報を指す。また、メタデータは、記述的なメタデータ(記述メターデータ)と、構造的なメタデータ(構造メタデータ)とに分類することができる。構造メタデータは、ビデオフォーマット情報や、コーデック情報等の再生に必要な素材の構造を表すメタデータを指す。本実施例では、あらかじめ決められたビデオフォーマット等を用いる例を説明するため構造メタデータを記録しない例を用いて説明するが、適宜、必要に応じて構造メタデータを記録してもよい。さらに、処理対象指定メタデータとは、すべての映像記述メタデータにおいて、映像記述メタデータに関する処理(例えば、検索、表示)を限定するためのメタデータである。また、映像記述メタデータと処理対象指定メタデータとを総称して単にメタデータと呼ぶことにし、処理対象指定メタデータは、適宜、処理対象指定メタと省略する。
本実施例では、メタデータ記録装置102は、例えば、コンピュータ上のプログラムとして開発される。上記プログラムは、コンピュータ上で動作し、記録媒体100に記録されているメタデータを読み出し、新たなメタデータを追記したり、既存のメタデータの内容を変更したりして、記録媒体100に記録する。なお、映像記録装置101とメタデータ記録装置102を1つの装置として実現してもよい。
再生装置103は、記録媒体100に記録されたメタデータを再生するためのメタデータ再生手段132と、メタデータ再生手段132にて再生されたメタデータの中から処理対象指定メタデータを抽出し、再生処理(例えば、表示)する映像記述メタデータを限定するための処理対象指定メタ処理手段131と、処理対象指定メタ処理手段131にて限定された映像記述メタデータを表示するためのメタデータ表示手段130と、記録媒体100に記録された映像データを再生するための映像再生手段133と、映像再生手段133にて再生された映像データを利用者に提示するために映像を表示する映像表示手段134と、映像記述メタデータの再生処理(例えば、表示)対象とする処理対象指定メタデータを選択する処理対象指定メタ選択手段135とを備える。本実施例では、再生装置103は、一般的に広く使用されている映像再生装置(映像再生手段133及び映像表示手段134)に対してメタデータ再生手段132と、対象指定メタ処理手段131とメタデータ表示手段130と処理対象指定メタ選択手段135とを追加する構成とする。映像再生装置(映像再生手段133及び映像表示手段134)に関しては一般的な技術で実現可能であるため具体的な説明は省略する。
以上のように構成された本映像処理システムにおいて、まず、映像記録装置101における映像データの記録の基本的な処理の流れを説明する。
映像記録装置101において、映像入力手段110は、映像データを入力し、入力された映像データを映像記録手段111に提供する。例えば、業務用として一般的に利用されるSMPTE(Society of Motion Picture and Television Engineers)−292Mにて規格化されているHD−SDI(HighDefinition Serial Digitail Interface)を用いて映像データを入力すればよい。
映像記録手段111は、映像入力手段110から提供された映像データに対して映像フィルタ等の映像処理を施した後、映像記録媒体100に映像データを映像データファイルとして記録する。映像記録手段111では、供給された映像データを圧縮符号化することもできる。圧縮符号化方式としては、例えば、広く利用されているMPEG(Moving Picture Experts Group)−2方式や、MPEG−4/AVC(Advanced Video Coding)方式、あるいは業務用のデジタルVTR(Video Tape Recoder)の規格の一つであるSMPTE(Society of Motion Picture and Television Engineers)−314M(DV−Based 25M)規格が挙げられる。なお、本発明は、圧縮符号化方式に依存しないため、どのような圧縮符号化方式でも用いることができる。また、映像記録媒体100に十分な記録容量が確保できる場合には、映像データに対して圧縮符号化を施さなくてもよい。本実施例では、映像データの有効画素の輝度信号と色差信号を順番に並べてファイルとするとする非圧縮ファイル形式にて記録する例として説明する。
次に、メタデータ記録装置102におけるメタデータ記録の基本的な処理の流れを説明する。利用者は、メタデータ入力手段120を介して、クリップ名や操作日時やリンクポイント等の映像記述メタデータを入力する。さらに、メタデータ入力手段120は、入力した映像記述メタデータを映像記述メタデータ生成手段121に提供する。映像記述メタデータ生成手段121は、提供された映像記述メタデータを記録媒体100に記録するための形式に変換し、メタデータ記録手段123に提供する。映像記述メタデータ生成手段121における記録形式についての具体的な説明は後述する。
一方、利用者は、処理対象指定メタ入力手段122を介して、利用者が所望する処理対象指定メタデータを入力する。さらに、処理対象指定メタ入力手段122は、入力された処理対象指定メタデータを処理対象指定メタ生成手段122に提供する。処理対象指定メタ生成手段122は、提供された処理対象指定メタデータを記録媒体100に記録するための形式に変換し、記録形式に変換した処理対象指定メタデータをメタデータ記録手段123に提供する。
メタデータ記録手段123は、メタデータ生成手段121及び処理対象指定メタ生成手段122により記録形式に変換された映像記述メタデータ及び処理対象指定メタデータを記録媒体100に記録する。また、適宜、記録媒体100に記録されるメタデータを読み出し、追加や修正を行う(具体的な説明は後述する)。
次に、記録媒体100における記録形式の一例について説明する。図2に記録媒体100におけるディレクトリ構造の一例を示す。本実施例では、記録媒体100に映像データとしての映像データファイルと、メタデータとしてのメタデータファイルを記録する。したがって、記録媒体100におけるディレクトリ構成は、コンテンツディレクトリ200としての「Content」ディレクトリをトップディレクトリとして、映像データファイルを記録するためのビデオ格納用ディレクトリ201としての「Video」ディレクトリと、メタデータファイルを記録するためのメタデータ格納用ディレクトリ202としての「Meta」ディレクトリとから構成される。ビデオ格納用ディレクトリ201には、例えば、CLIP0001.yuv、CLIP0002.yuv、CLIP0002.yuvといった映像データファイルを格納する。メタデータ格納用ディレクトリ202には、CLIP0001.xml、CLIP0002.xml、CLIP0003.xmlといったメタデータファイルを格納する。メタデータファイルは、例えば、XML(eXtensible Markup Language)形式を利用して記録する。例えば、図8に示すように<ClipContent>と</ClipContent>の間に各メタデータ(項目と内容)が記載される。例えば、「<ClipName>“スピーチシーン”</ClipName>」は、クリップ名が「“スピーチシーン”」であることを表す。メタデータファイルの記録形式(XML形式)についての具体的な説明は後述する。
ここで、ファイル名や拡張子は任意の文字列でよく、コンテンツ管理が容易な方法を用いればよい。本実施例では、上述したようにファイル名に「CLIP」に番号を付与した文字列で、映像データファイルの拡張子を.yuv、メタデータファイルの拡張子を.xmlとして説明する。また、映像データファイルに対応するメタデータファイルのファイル名を同じファイル名(拡張子を除く)とすることで、映像データファイルとメタデータファイルの対応付けを行う。すなわち、例えば、映像データファイルCLIP0001.yuvに対応付けるメタデータのメタデータファイルの名前をCLIP0001.xmlとする。さらに、本実施例では、CLIP0001.yuvとCLIP0001.xmlとして記録されるクリップを「クリップ1」と呼び、同様にCLIP0002.yuvとCLIP0002.xmlとして記録されるクリップを「クリップ2」、CLIP0003.yuvとCLIP0003.xmlとして記録されるクリップを「クリップ3」と呼ぶことにする。
さらに、「Meta」ディレクトリには、シナリオファイル「ScenarioList.xml」と、プレイリストファイル「PlayList.txt」とを含む。これらの詳細は後述する。
次に、再生装置103における基本的な再生処理の流れを説明する。記録媒体100には、映像データファイルとメタデータファイルが記録されており、それぞれの再生動作について説明する。
まず、記録媒体100に記録された映像データファイルは映像再生手段133にて読み出される。映像再生手段133は、読み出された映像データに対して映像処理(例えば、フィルタ処理や、あるいは、圧縮符号化されて記録されている場合には復号化等の処理)を施した後、再生表示手段134に映像データとして提供する。映像表示手段134は、映像再生手段133から提供された映像データを、液晶画面等を用いて利用者に提示する。なお、映像表示手段134の代わりに、映像データを出力する手段(図示せず)を備え、外部の表示手段(例えば、映像モニタ)に接続する方法でもよい。また、映像再生手段133や映像表示手段134における映像再生及び表示する方法や、別の1例として示した外部の表示手段に映像を提示する方法は、一般的に広く知られている技術で実現可能であるため具体的な説明を省略する。
次に、記録媒体100に記録されたメタデータファイルは、メタデータ再生手段132により読み出される。メタデータ再生手段132は、記録形式(例えば、XML形式)を解釈し、メタデータのマトリクスを作成する。ここで、メタデータのマトリクスとは、例えば、図6に示すようなメタデータの項目を縦軸にして、各クリップを横軸にしたようなメタデータのデータベースを指す。また、メタデータ再生手段132は、作成されたメタデータのマトリクスを、処理対象指定メタ処理手段131に供給する。処理対象指定メタ処理手段131は、供給されたメタデータのマトリクスと、処理対象指定メタ選択手段135により選択された処理対象指定メタデータとに基づいて、処理(例えば、表示)される映像記述メタデータを決定する。その後、処理対象指定メタデータと、処理対象として決定した映像記述メタデータとをメタデータ表示手段130に提供する。メタデータ表示手段130は、提供されたメタデータ(処理対象として決定した映像記述メタデータと処理対象指定メタデータ)をGUI(Graphical User Interface)画面上に表示する(例えば、図5)。なお、メタデータ表示手段130の代わりに、例えば、GUI画面を多重した映像データとして出力する手段を備え、外部の表示手段(例えば、映像モニタ)に接続する方法でもよい。また、メタデータ表示手段130におけるメタデータの表示方法や、外部の表示手段にメタデータ表示画面(GUI画面)を多重した映像データを提示する方法は、広く一般的に知られている技術で実現できるので具体的な説明を省略する。なお、処理対象指定メタ選択手段135や処理対象指定メタ処理手段131等の具体的な処理内容及び処理対象指定メタデータの具体的な説明は後述する。
以上、本実施例における映像データとメタデータの基本的な記録再生動作の流れについて説明した。次に、本発明における処理対象指定メタデータと映像記述メタデータとの関連と、これらのメタデータの役割との概要を説明する。
本発明のメタデータ間の関連を示す概念図を図3に示す。図3(1)は、映像記述メタデータをクリップ名としたときのメタデータファイルと、そのメタデータファイルに対応した表示例を示している。例えば、メタデータファイルには、メタデータファイル(1)に示すような構成のメタデータが記録されているとする。すなわち、処理対象指定メタデータを「STEP3」とし、処理対象指定メタデータと映像記述メタデータが関連付けられて記録(例えば、「STEP1」と、クリップ名「“入場シーン1(テイク2)”」)している。ここで、処理対象指定メタデータは、例えば、映像制作工程や制作者等により、あらかじめ文字列と対応付けておく。例えば、図4(1)に示すように映像制作の各工程にしたがって、STEP1、STEP2等に対応付ける。この対応付けの定義と、処理対象指定メタデータと映像記述メタデータを関連付けて記録することとにより、ある工程「STEP1」のときに、メタデータのクリップ名の項目には、「入場シーン1(テイク2)」と記録されたことを示す。なお、処理対象指定メタデータの対応付け(意味づけ)は、適宜制作工程や運用等の用途に合わせて決めればよい。
次に、図3(1)に示すメタデータファイル(1)の場合の再生装置103における表示についての概要を説明する。メタデータファイル(1)に記録されているメタデータは、メタデータ再生手段132を介して読み出され、処理対象指定メタ処理手段131により処理対象指定メタデータと一致するメタデータが表示される。図3(1)の場合には、処理対象指定メタデータが「STEP3」であるクリップ名「“入場シーン1”」が表示される。これは、処理対象指定メタデータが「STEP3」であり、「STEP3」に対応するクリップ名が「“入場シーン1”」であるためである。
図3(2)は、他の映像記述メタデータ(リンクポイント)における表示例である。図3(1)と同様に、処理対象指定メタデータ「STEP2」に関連付けられた映像記述メタデータが表示される。ここで、各リンクポイント(LinkPoint)の先頭の項目(例えば、1番目のリンクポイントにおける「100frames」)は、映像データの先頭からのオフセットを表す。リンクポイントは、例えば、再生装置103において映像データにおける上記オフセット値から再生開始する場合等に利用する(具体的な説明は後述する)。
以上のように構成された本映像処理システムにおいて、映像制作工程を映像データの記録から編集、オーサリングまでの処理の流れを各工程に分けて説明する。
本実施例では、映像記述メタデータの1例として、クリップ名、リンクポイント(LinkPoint)、操作日時の例を説明する。クリップ名は、クリップの名称を表すメタデータであり、リンクポイント(LinkPoint)は、名称と映像データ中の位置を指し示すデータを一組にしたメタデータである。位置を指し示すとは、例えば、映像データファイルの先頭からのフレーム数や、映像データに埋め込まれるタイムコードにより特定のフレーム(映像データ中の特定の時刻)に関連付けられていることである。これは、映像データの1点(通常は1フレーム)を指し示し、利用者の再生指示により任意のリンクポイントに関連付けられた映像データにジャンプして再生する役割がある。また、操作日時は、クリップの記録又はメタデータを記録や変更したときの日付と時刻を表すメタデータである。
なお、映像記述メタデータは、本実施例以外でも同様の効果を発揮する。また、映像制作工程の分類方法も処理対象指定メタデータとして区別できればどのような工程にて分類してもよい。好ましくは、本実施例のように時間軸に基づいて分類する。ここで、例えば、各工程(時間軸)にて作業担当者が別れている場合には、作業担当者毎に処理対象指定メタデータを定義すればよい。
図4に本実施例において1具体例として説明する映像制作工程の流れを示す。本実施例では、映像制作工程は、図4(1)に示すように企画工程、収録工程、仮編集工程、本編集工程、オーサリング工程の順に構成されるものとする。企画工程は、シーン割り等の編集に必要な映像の吟味や収録や編集の計画を立案する工程であり、シナリオ(スケジュール)情報(以下、シナリオデータと呼ぶ)を決定するものとする。ここで、シナリオデータとは、撮影するシーン名や撮影者等のメタデータの入力パターンが記述されたメタデータ郡である。なお、本実施例では、企画工程にてシナリオデータとしてのシーン名を決定する例を説明する。シナリオデータはシナリオファイルとして記録媒体100に記録する。収録工程は、実際に映像データの収録や撮影を行う工程であり、企画工程で決定された計画通りにシーンを収録する。仮編集工程は、収録工程にて収録した映像データや映像ライブラリ等の以前に収録された映像データに対して不要部を削除する等の仮編集(いわいる粗編集)を施す工程である。本編集工程は、仮編集工程にて仮編集された映像データに対して詳細な調整をする工程であり、例えば、カット編集においては、例えば、1フレーム精度で映像データの編集点の調整を行う。オーサリング工程は、本編集工程にて本編集された映像データを納品者等に配布するために配布用記録媒体へ記録あるいは書き込む工程である。例えば、各記録媒体に対応した規格(例えば、光ディスク媒体の1つであるDVDであれば、DVD−Video規格等)に準拠するように変換等を施して、配布用記録媒体への記録を行う。
これらの映像制作における各工程は、一般的な映像制作工程を模式化したものであり、これらの工程の中で映像データと、映像データに関連付けられたメタデータとを利用して編集作業が行われる。なお、適宜、仮編集工程と本編集工程とを総称して編集工程と呼ぶ。なお、編集工程では、一般的にはノンリニア編集装置等の編集装置を用いて、映像データに対して編集や加工(例えば、カット編集、映像効果付加等の映像加工)を行うことが一般的である。しかしながら、本実施例では、映像データの編集や加工方式に依存せず、好ましくは、映像データに加工を施さないことである。本実施例では、映像データの加工はしない例として説明するが、編集工程にて、映像データとメタデータの関連付けを保持できる限りにおいて映像データを適宜加工してもよい。編集装置における映像データ加工については、一般的な技術であるため具体的な説明を省略する。なお、映像制作工程では、前工程に戻る作業(いわいる手戻り作業)が発生する場合もある。これは、例えば、本編集工程にて映像データの不具合が発覚した場合には、使用する映像データを変更して仮編集工程から作業をしなおす場合等が挙げられる。このような場合にも、本発明は、処理対象指定メタデータを変更することにより効率的に制作作業を行える利点がある。
次に、映像制作の各工程における処理をメタデータに着目して具体的に説明する。まず、図4(1)に示すように、企画工程はSTEP1,収録工程はSTEP2、仮編集工程はSTEP3、本編集工程はSTEP4、オーサリング工程はSTEP5といったように映像制作の各工程と処理対象指定メタデータとを対応付ける。なお、映像制作の各工程はより詳細に分けて処理対象指定メタデータと対応付けてもよいし、例えば、映像制作工程により分類するのではなく、担当者等の分類に基づいて処理対象指定メタデータとを対応付けてもよい。図4(2)は、図4(1)の映像制作の各工程における1つのクリップの映像記述メタデータの推移の1例を示す。また、図6に3つのクリップにおけるメタデータ記録構造の1具体例を示す。図6のクリップ1は、図4(2)に示すクリップと対応している。図7は、図6のクリップ1(CLIP0001)のメタデータファイルの1具体例を示す。同様に、図8は、図6のクリップ2(CLIP0002)、図9は、図6のクリップ3(CLIP0003)のメタデータファイルの1具体例を示す。これらの具体例は、オーサリング工程終了後のメタデータファイルの様子を示している。
企画工程におけるシナリオデータとしては、例えば、シーン名と操作日時とが挙げられる。例えば、図4(2)に示す例では、シーン名を「“入場シーン1”」、操作日時(シナリオデータを記録した日時)を2009年2月3日19時12分とする。これは、2009年2月3日19時12分に、シーン名を「“入場シーン1”」とし、シーンデータとして記録したことを表す。このときには、映像データファイルは記録されておらず、メタデータ記録手段124は、シナリオデータのみを作成して、シナリオデータとしてのシナリオファイルを記録媒体100に記録する。ここで、シナリオデータとは、映像記述メタデータの入力を容易にするためのメタデータ郡である。シナリオデータは、各シーンの収録工程以降で必要になる映像記述メタデータを企画工程にて入力し、収録工程以降に、シナリオデータから選択して映像記述メタデータとして記録する目的で利用する。
図10にシナリオファイルの1具体例を示す。本実施例では、シナリオファイルは、例えば、XML形式を利用して記録し、ファイル名をScenarioList.xmlとし、複数のシーンのシナリオデータを1つのシナリオファイルに記録する。図10において<Scenario>と</Scenario>とで囲まれた部分が1つのシーンのシナリオデータに対応する。また、<SceneName>と</SceneName>とに囲まれた部分がシーン名であり、<Date>と</Date>に囲まれた部分が操作日時である。シナリオファイルは、上述の1つのシーンのシナリオデータを複数集めて、<ScenarioList>と</ScenarioList>とで囲む形式とする。なお、シナリオファイルは、1つのシーンのシナリオデータが認識できればXML形式以外でもよく、ファイル名もScenarioList.xml以外でもよい。また、操作日時は、例えば、2009年2月3日19時12分のことを「2009/2/3 19:12」と年、月、日、時(24時間表記)、分の順番に記述する形式とする。
次に、収録工程にて記録されるクリップとシナリオデータのシーンとの対応付けについて説明する。例えば、図10に示す例において、1番目のシーンに対応するシナリオデータ(操作日時:2009/2/319:12、シーン名:“入場シーン1“)は、1番目に記録されたクリップと対応付ける。この対応付けは、どのような方法でもよく、利用者にシナリオデータのシーン名を提示して選択する方法により記録済みクリップとの対応付けを行ってもよい。また、例えば、同じシーンを繰り返して撮影する場合は、シーンを切り替える入力手段(図示せず)と、テイク1、テイク2のようにテイク番号をインクリメントする手段(図示せず)を備えていればよい。
なお、図4(2)の企画工程におけるLinkPoint欄の「None」は、LinkPointが付与されていないことを表す。
企画工程におけるメタデータ記録装置102のシナリオデータ記録処理について具体的に説明する。企画工程では、利用者がメタデータを入力し、入力したメタデータをシナリオデータとしてのシナリオファイルを記録媒体100に記録する。
利用者は、映像記述メタデータ入力手段120に対して、例えば、シーン名(文字列「“入場シーン1”」等)を入力する。映像記述メタデータ入力手段120は、これらの入力された文字列を映像記述メタデータ生成手段121に提供し、例えば、「<ClipName>“入場シーン1”</ClipName>」のようにメタデータ記録形式に変換する。このメタデータ記録形式に変換されたデータは、メタデータ記録手段124にて他の入力されたメタデータとまとめられて図10に示すようなシナリオファイルとして記録媒体100に記録する。
また、LinkPointは、企画工程では映像シーンが記録されておらず、映像シーンを関連付けができない。そのため、本実施例の企画工程では、シナリオデータとしてLinkPointを記録しない。
収録工程における映像記述メタデータとしては、例えば、クリップ名と操作日時とリンクポイント(LinkPoint)とが挙げられる。図4(2)に示す例では、クリップ名については、企画工程のシナリオデータとしてのシーン名「“入場シーン1”」に対して、テイク番号を付加した文字列「“入場シーン1(テイク1)”」と名称変更している。ここで、本実施例では、企画工程におけるシーン名は、記録済みクリップと関連付けられた後、記録クリップのクリップ名に対応付けられる。また、操作日時については、メタデータファイルを記録する日時を記録することとする。また、LinkPointについては、「“収録開始”」、「“収録終了”」のような収録における重要なポイントにLinkPointを付与する。これらは、収録を開始又は終了した時刻に記録した映像データに関連付けられる。例えば、LinkPoint「“収録開始”」は、映像記録装置101における映像データの記録開始から数秒程度(例えば、100フレーム)後の映像データの時刻と関連付け、LinkPoint「“収録終了”」は、映像記録装置101における映像データの記録終了から数秒程度(例えば、100フレーム)前の映像データの時刻と関連付けることにする。これは、所望の映像の前後数秒程度、のりしろ部分を含んで映像データを記録するのが一般的であることによる。このLinkPointにおける関連付けにより、映像データ中の開始点及び終了点への検索(映像フレームへの移動)が容易になる。なお、本実施例では、LinkPointと映像データとの関連付けは、映像記述メタデータとしてのLinkPointに映像データファイルの先頭からのフレーム数を含んで記録して関連付けを行うものとする。例えば、図7に示す例における「<LinkPoint frames=100 word=“収録開始”/>」のように記録する。これは、映像データの先頭から100フレームの位置を「“収録開始”」点とすることを表している。なお、LinkPointにおける先頭からのフレーム数をLinkPointのオフセットと呼ぶことにする。
収録工程におけるメタデータ記録装置102のメタデータ記録処理について具体的に説明する。収録工程では、企画工程にて記録されたシナリオファイルに基づきメタデータファイルを作成する第1のステップと、第1のステップにおいて作成されたメタデータファイルに対して収録工程における新たな映像記述メタデータを追記する第2のステップの処理を行う。
第1のステップでは、企画工程にて記録されたシナリオファイルに記録されているシナリオデータを参照し、映像データとシナリオデータとの関連付けを行い、新たにメタデータファイルを作成する。本実施例では、記録済みの映像データに対してシナリオデータと映像データとを関連付ける方法を説明する。なお、映像記録装置101とメタデータ記録装置102とを1つの装置にて実現して、映像データの記録とともに、映像データとシナリオデータとをファイル名等により関連付けて映像データを記録する方法でもよい(広く一般的に知られている技術で実現可能なため具体的な説明は省略する)。映像記述メタデータ入力手段120は、例えば、図13に示すように、シナリオファイルに記録されている各シーンのシーン名(501)と、映像データのファイル名(502)とを表示する。この表示されたシーン名と映像データのファイル名とをそれぞれ選択し、決定釦503を押下することにより、この選択からシナリオデータと関連付けるクリップを決定する。上述した処理にてシナリオデータと映像データとの関連付を行う。
図14に図4(2)に示す例の収録工程におけるメタデータファイルについての時間的経過の1部分の例を示す。図14(1)は、収録工程における第1のステップ終了後のメタデータファイルの1例である。<ScopeMeta>と</ScopeMeta>とで囲まれる部分は、処理対象指定メタデータを表し、収録工程に対応する処理対象指定メタデータである「STEP1」という文字列を記録する。<STEP1>と</STEP1>とは、処理対象指定メタデータ「STEP1」に対応する映像記述メタデータであることを表す識別子であり、<STEP1>と</STEP1>とで囲まれた部分が処理対象指定メタデータ「STEP1」に対応した映像記述メタデータの内容である。また、<Date>と</Date>とで囲まれた部分は、操作日時であり、収録工程ではメタデータファイルを作成した日時を記録すればよい。なお、操作日時は、Real Time Clock機能を有する集積回路(RTC)を搭載すれば取得可能である。また、<ClipName>と</ClipName>とに囲まれた部分は、映像記述メタデータの1つであるクリップ名を表す。クリップ名の内容は、収録工程では映像データと関連付けされたシーンに対するシナリオデータのシーン名(すなわち、シナリオファイルにおける<SceneName>と</SceneName>とに囲まれた部分)と同一の文字列を記録する。メタデータファイルのファイル名は、シナリオデータと関連付けられた映像データファイルのファイル名に対して拡張子をxmlに変更して生成する。例えば、映像データファイル名がCLIP0001.yuvであれば、メタデータファイル名をCLIP0001.xmlとする。このファイル名により映像データファイルとメタデータファイルとの関連付けを行う。また、本実施例では、第1のステップではLinkPointは記録しない。
第2のステップでは、第1のステップで作成されたメタデータファイルに対して、収録工程における新たな映像記述メタデータを追記する。これらの映像記述メタデータは、収録工程を表す処理対象指定メタデータ「STEP2」に関連付ける。図14(2)は収録工程における第2のステップ終了後のメタデータファイルの1例である。第2のステップでは、<STEP2>と</STEP2>とに囲われた部分を新たに追記する。なお、追記前(すなわち、映像制作における前工程)の映像記述メタデータは、例えば、履歴あるいは次候補として、処理対象指定メタデータと関連付けられて保持される。これは、映像制作工程において手戻りが発生した等、クリップにおけるメタデータの操作履歴として映像制作工程を遡りたい場合や、名称や編集点等の映像記述メタデータの候補が複数ある場合に、処理対象指定メタデータを変更するのみで任意の工程の映像記述メタデータが取得できるため有効である。
第2のステップにおける映像記述メタデータの追記方法を説明する。まず、利用者は、処理対象指定メタ入力手段122を介して、新たな処理対象指定メタデータの入力を行う。処理対象指定メタ入力手段122は、例えば、図5(1)に示すように処理対象指定メタ表示/選択部300を備える構成とする。処理対象指定メタ表示/選択部300は、例えば、図12に示すようにプルダウンメニュー形式にて、該当する処理対象指定メタデータ(例えば、収録工程では「STEP2」)を選択する構成とする。処理対象指定メタ入力手段122は、プルダウン釦401を表示し、利用者の入力よりプルダウン釦401が利用者により押下されると、プルダウンメニュー402を表示して、利用者は、表示された選択肢から処理対象指定メタを入力する。表示される選択肢は、すべての処理対象指定メタデータ(例えば、「STEP1」から「STEP5」まで)を表示すればよい。また、処理対象指定メタデータ入力手段122は、入力した処理対象指定メタデータを処理対象指定メタデータ生成手段123に提供する。処理対象指定メタデータ生成手段123は、処理対象指定メタデータを処理対象指定メタデータ入力手段122にて入力されたデータ(文字列)に変更する。すなわち、例えば、収録工程における第2のステップでは、図14(2)に示す例における<ScopeMeta>と</ScopeMeta>とで囲まれる部分を「STEP1」から「STEP2」に変更する。
映像記述メタデータ入力手段120は、例えば、図5(1)に示すようなメタデータ表示部302を表示する構成とし、利用者は、表示される映像記述メタデータの各項目に対して映像記述メタデータとしての文字列等の入力を行う。映像記述メタデータ生成手段121は、映像記述メタデータ入力手段120により入力された映像記述メタデータを、例えば、各映像記述メタデータに対応した識別子(例えば、クリップ名の例では、<ClipName>と</ClipName>)で囲む等のメタデータ記録形式に変換する。
メタデータ記録手段124は、処理対象指定メタデータ生成手段123にて生成された処理対象指定メタデータ(メタデータ記録形式)と、映像記述メタデータ生成手段121にて生成された映像記述メタデータ郡(メタデータ記録形式)とをまとめて記録媒体100に記録する。これらの映像記述メタデータは、処理対象指定メタデータと関連付けられて記録する。すなわち、図14(2)に示すように、例えば、<STEP2>と</STEP2>とで囲み、映像記述メタデータ郡と処理対象指定メタデータ「STEP2」とを関連付ける。また、本実施例のメタデータ記録手段124は、前工程に対応する映像記述メタデータ(現工程が収録工程「STEP2」であれば、「STEP1」に関連付けられた映像記述メタデータ)に追記する形式とする。すなわち、メタデータ記録手段124は、記録済みのメタデータファイルを読み出し、このメタデータファイルに対して、新たに処理対象指定メタデータに対応する新たな映像記述メタデータを追記する。本実施例では、処理対象指定メタデータとの関連付けを、<STEP2>と</STEP2>とで囲む形式で行っているので、新たなメタデータを容易に追記可能である。
次に、収録工程の第2のステップにおける映像記述メタデータとしてのクリップ名と操作日時とLinkPointとについての処理例を具体的に説明する。収録工程におけるクリップ名については、図14(2)に示すように企画工程のシナリオデータのシーン名としてのクリップ名「“入場シーン1”」とは別に、例えば、テイク番号を付加した文字列「“入場シーン1(テイク1)”」とする。このクリップ名「“入場シーン1(テイク1)”」は、映像記述メタデータ入力手段120を介して利用者が入力する。メタデータ記録手段124は、この映像記述メタデータの1つとしてのクリップ名を処理対象指定メタデータ「STEP2」と関連付ける。すなわち、メタデータファイルにおいて<STEP2>と</STEP2>とで囲まれた部分に記録する。収録工程の第2のステップにおける操作日時については、RTC機能を用いてメタデータファイルを記録する日時を取得して記録すればよい。また、LinkPointの名称については、上述したように、利用者が映像記述メタデータ入力手段120を介して「“収録開始”」、「“収録終了”」という名称を入力する。次に、映像記述メタデータ生成手段121は、入力したLinkPointの名称とオフセットを関連付けて記録形式のデータを生成する。ここで、LinkPointのオフセットは、例えば、それぞれ、記録開始から100フレーム後(映像データの先頭から100フレーム)、記録終了から100フレーム前(記録区間を1100フレームとすると、LinkPointのオフセットは映像データの先頭から1000フレームとなる)とする。なお、メタデータ記録手段124は、収録工程における新たな映像記述メタデータと、処理対象指定メタデータ「STEP2」とを上述してきたように関連付けて記録する。
以上の収録工程の第1のステップ、第2のステップにて収録工程におけるメタデータファイルが完成する。
仮編集工程における映像記述メタデータとしては、例えば、クリップ名と操作日時とLinkPointとが挙げられる。図4(2)に示す例では、クリップ名は、収録工程におけるクリップ名「“入場シーン1(テイク1)”」に対して、候補クリップであることを表す「候補1」を付与して、「“入場シーン1(候補1)”」と名称変更する。これは、例えば、仮編集工程における映像データの確認や不要な区間のカット等により、本クリップが本編集に使用される候補となった場合に上述したような名称変更を行う。また、LinkPointの名称については、編集開始点の候補を「“編集開始(候補1)”」、編集終了点の候補を「“編集終了(候補1)”」という名称として記録することにする。LinkPointのオフセットは、収録工程におけるLinkPointに基づいて、不要な部分を開始点と終了点とで囲まれる範囲外になるようにして映像データに関連付ける位置(オフセット値)を変更する。例えば、映像データにおける必要な区間の先頭フレームのフレーム数をFst_preedit、最終のフレームをFend_preeditとすると、映像データにおける必要な区間(仮編集区間)PreEditは下記の式で表される。
Fst_preedit≦PreEdit ≦Fend_preedit
また、このとき、LinkPoint「“編集開始(候補1)”」のオフセットをFst_preedit、LinkPoint「“編集終了(候補1)”」のオフセットをFend_preeditとすればよい。
また、本クリップが本編集に使用されないことが決まった場合、クリップ名やLinkPoint等の映像記述メタデータを追記しない。このことにより、本工程以降では、不要のクリップであることが判断できる。この場合、図6に示すクリップ2のように本工程以降の工程では、本工程以降に対応する処理対象指定メタデータに関連付けて、映像記述メタデータを記録しなければよい(図6では、Noneと記載している)。
仮編集工程におけるメタデータ記録装置102のメタデータ記録処理について具体的に説明する。仮編集工程では、収録工程にて記録されたメタデータファイルに対して、処理対象指定メタデータ「STEP3」に対応する新たな映像記述メタデータを追記する。利用者は、処理対象指定メタデータ入力手段122に対して工程の変更、すなわち、処理対象指定メタデータの入力と、映像記述メタデータ入力手段120に対して仮編集工程における新たな映像記述メタデータの入力を指示する。処理対象指定メタデータ入力手段122や、処理対象指定メタデータ生成手段123や、映像記述メタデータ入力手段120や、映像記述メタデータ生成手段121や、メタデータ記録手段124の処理は、収録工程における第2のステップと基本的には同様な処理である。処理の違いは、処理対象指定メタデータが「STEP3」になることである。
仮編集工程における映像記述メタデータとしてのクリップ名と操作日時とLinkPointとの処理例を具体的に説明する。クリップ名と操作日時は、処理対象指定メタデータ「STEP3」に関連付けること以外、収録工程の第2のステップにおけるクリップ名と操作日時の処理方法と同じである。また、LinkPointの処理についても基本的な記録処理の流れは同じであるが、オフセットの決定方法やLinkPointの新規追加方法が異なる。
LinkPointの名称は、例えば、「“編集開始(候補1)”」、「“編集終了(候補1)”」という名称に変更する。LinkPointのオフセットは、例えば、記録した映像データの全区間を編集するための素材として利用する(編集素材として採用される)場合には、処理対象指定メタデータ「STEP2」と同じLinkPointのオフセット値にすればよい(例えば、図7に示す例のようにオフセット(frame数の値)を同じ値とする)。ここで、「“編集開始(候補1)”」、「“編集終了(候補1)”」は、それぞれ、処理対象指定メタデータ「STEP2」における「“収録開始”」、「“収録終了”」という名称のLinkPointと対応する。この対応付けは、LinkPointのリストの番号や名称等で関連付けを行えばよい。本実施例では、LinkPointにおいて1番目に記録されている「“収録開始”」と「“編集開始(候補1)”」とを、2番目に記録されている「“収録終了”」と「“編集終了(候補1)”」とを、LinkPointの記録順番と名称に基づいて関連付ける。
また、例えば、記録済みの映像データの全区間を編集素材として利用せずに不要な区間がある場合、映像記述メタデータ生成手段121は、LinkPointのオフセットを、処理対象指定メタデータ「STEP2」と同じLinkPointのオフセット(フレーム値)から変更すればよい。例えば、図9の「“編集開始(候補1)”」の例のようにLinkPointのオフセットを120フレームから125フレームに変更する。メタデータ記録装置102は、好ましくは、該当するLinkPointのオフセット近辺の映像データを再生しながら確認できる構成がよい。また、仮編集工程において複数の編集点の候補がある場合(例えば、図9における「“編集終了(候補2)”」のLinkPointのように)、利用者は、映像記述メタデータ入力手段120にて新規のLinkPointの名称とそのオフセット値を入力し、映像記述メタデータ生成手段121は、上述したような方法で新規作成したLinkPointを追記すればよい。
本編集工程における映像記述メタデータとしては、例えば、クリップ名と操作日時とLinkPointとが挙げられる。図4(2)に示す例では、クリップ名は、例えば、仮編集工程におけるクリップ名「“入場シーン1(候補1)”」に対して、配布する映像データとして決定したクリップであることを表す「決定」を付与して、「“入場シーン1(決定)”」と変更する。これは、例えば、本編集工程における編集作業や映像データの確認において本クリップを配布するための映像データとして決定した場合等に行われる。また、LinkPointの名称は、本編集工程として決定した編集点(編集開始点及び終了点)をそれぞれ「“編集開始(決定)”」、「編集終了(決定)」とする。さらに、LinkPointのオフセットは、仮編集工程におけるLinkPointに基づいて、映像データに関連付ける位置(オフセット値)の調整や変更を行う。ここで、例えば、区間長等を考慮して、配布するための映像データの区間と、「“編集開始(決定)”」と「編集終了(決定)」とで囲まれた区間が一致するようにしておく。
本編集工程におけるメタデータ記録装置102のメタデータ記録処理については、仮編集工程における処理と基本的に同じである。処理の違いは、処理対象指定メタデータが「STEP4」になることである。
オーサリング工程における映像記述メタデータとしては、例えば、クリップ名と操作日時とLinkPointとが挙げられる。図4(2)に示す例では、クリップ名は、例えば、オーサリング工程におけるDVD等の配布用記録媒体に記録する全クリップの順番等により、「“チャプター23/入場“」という名称に変更する。また、LinkPointの名称は、本編集工程において配布用映像データとして決定した編集開始点「“編集開始(決定)”」を「“チャプター23”」と名称変更する。また、LinkPointのオフセットは、例えば、名称と同様に「“編集開始(決定)”」におけるオフセット値と同じ値とする。これは、通常、シーンの終了点と、次のシーンの開始点は連続したフレーム(近傍フレーム)であるため、オーサリング工程におけるLinkPointとしてシーン(クリップ)の開始点のみが適切であることによる。
また、オーサリング工程における別のメタデータ記録方法として、プレイリストを作成する方法が挙げられる。プレイリストとは、映像データの再生順番と、各映像データにおける再生区間を指定するリストである。図11は、プレイリストファイルの1具体例を示している。本実施例では、プレイリストファイルは、カンマを区切り文字とするComma Separated Values(CSV)形式のテキストファイルとし、ファイル名を例えば、PlayList.txtをとする。本実施例のプレイリストファイルは、行で映像データの再生順番を表し、1番目の行に記載される映像データファイルから再生を開始するものとする。各行の1番目は、映像データファイル名を表し、2番目は再生開始点、3番目は再生終了点を表す。再生開始点、再生終了点は、例えば、映像データの先頭フレームからのフレーム数を用いて表し、プレイリストにおける各映像データの先頭フレームからのフレーム数を再生オフセットと呼ぶことにする。
なお、本実施例では、配布用記録媒体を記録媒体100として説明するが、別の記録媒体に記録してもよい。その場合は、映像データやディレクトリ構成等の記録形式を記録媒体100と同じにしてもよいし、例えば、DVD−Video等の規格に従って変換してもよい。
オーサリング工程におけるメタデータ記録装置102のメタデータ記録処理について具体的に説明する。オーサリング工程では、本編集工程で記録されたメタデータファイルに対して配布用の映像記述メタデータを追記し、メタデータファイルと映像データとを配布用記録媒体に書き込む処理を行う。また、オーサリング工程においては、オーサリングの具体例として、プレイリストを記録しない第1のオーサリング方法と、プレイリストをプレイリストファイルとして記録する第2のオーサリング方法の2つのオーサリング方法の例を説明する。
まず、第1のオーサリング方法について説明する。処理対象指定メタデータ入力手段122は、上述した工程における処理と同様に処理対象指定メタデータを「STEP5」に変更する。映像記述メタデータ入力手段120は、例えば、オーサリング対象となる映像データが23番目のチャプターであるとすると、処理対象指定メタデータ「STEP5」と関連付けて「“チャプター23/入場”」というクリップ名を入力する。ここで、チャプターとは、映像の章立ての区切りあり、本実施例では、企画工程におけるシーンと対応する。なお、処理対象指定メタデータ生成手段123と、映像記述メタデータ生成手段121と、メタデータ記録手段124とにおける具体的な処理は仮編集工程等にて説明した処理内容と同様である。また、第1のオーサリング方法においては、映像データから不要な区間を削除することが望ましい。これは、本編集工程(STEP4)におけるLinkPointで囲まれる区間以外の映像データを削除すればよい。これは、本編集工程(処理対象指定メタデータ「STEP4」)におけるLinkPoint「“編集開始(決定)”」と「“編集終了(決定)”」とで囲まれる区間以外の映像データを削除する。映像データの不要な区間の削除は、カット編集等で映像編集装置にて広く一般的に実現されている技術であるので具体的な説明は省略する。
次に、第2のオーサリング方法について説明する。プレイリストファイルは、メタデータ記録手段124において、記録媒体100に記録されているメタデータファイルの本編集工程(処理対象指定メタデータ「STEP4」)におけるLinkPointと、メタデータファイルのファイル名とから作成される。オーサリング工程では、このメタデータファイルには、本編集工程(STEP4)までの映像記述メタデータが記録されている。
メタデータ記録手段124は、読み出したメタデータファイルのファイル名から対応付けられている映像データファイル名を取得する。この映像データファイル名を、プレイリストにおける映像データファイル名としてプレイリストファイルに記録する。この処理を複数のメタデータファイルに対して行い、適宜、ファイル名順や利用者の入力により映像データの再生順番(すなわち、プレイリストの映像データの順番)を決定する。
さらに、メタデータ記録手段124は、上記で読み出したメタデータファイルから、本編集工程(処理対象指定メタデータ「STEP4」)に対応した映像記述メタデータを抽出する。例えば、本実施例では、<STEP4>と</STEP4>とで囲まれた部分の映像記述メタデータを抽出する。次に、この本編集工程(処理対象指定メタデータ「STEP4」)に対応した映像記述メタデータからLinkPointを抽出する。抽出したLinkPointのオフセットを用いて、処理対象の映像データに対するプレイリストにおける再生開始点及び再生終了点の再生オフセットを決定する。例えば、再生開始点の再生オフセットをLinkPoint名称「“編集開始(決定)”」に対応するLinkPointオフセットに、再生終了点の再生オフセットをLinkPoint名称「“編集終了(決定)”」に対応するLinkPointオフセットにする。なお、LinkPointの名称は、第1のオーサリング方法と同様に「“チャプター23”」等に変更してもよい。
メタデータ記録手段124は、以上の処理によりプレイリストを作成し、プレイリストをプレイリストファイルとして記録媒体100に記録する。なお、第2のオーサリング方法では、映像データに対する不要な区間の削除等の編集処理を施す必要がないため、編集処理負荷(すなわち、プレイリストを作成する負荷)が低く、映像制作工程全体に対する編集処理時間も短くなる利点がある。なお、プレイリストファイルは、CSV形式にて記録する例を説明したが、映像データと、それらの再生順番と、再生開始点と、再生終了点とが規定されれば、XML形式等の他の形式でもよい。さらに、プレイリストファイル名は、任意のファイル名でもよい。また、プレイリストを用いた再生動作の詳細は後述する。
次に、再生装置103におけるメタデータの再生処理について、メタデータ再生手段132、処理対象指定メタ処理手段131、メタデータ表示手段130、処理対象指定メタ選択手段135における処理の詳細を具体的に説明する。
まず、メタデータ再生手段132は、記録媒体100に記録されているメタデータファイルを読み出し、例えば、図6に示すような構造であるメタデータのマトリクスを作成する。これは、XML形式のメタデータファイルから、識別子とその識別子に囲まれた部分の文字列を抽出してマトリクス化する。メタデータファイルに記録されている映像記述メタデータは、処理対象指定メタデータにより関連付けられているため、メタデータのマトリクスは、図6に示すように、処理対象指定メタデータ毎に分類される。なお、メタデータマトリクスは、処理対象指定メタ処理手段131に提供され、処理対象指定メタ処理手段131にて保持される。メタデータマトリクスの保持形式は、処理対象指定メタデータに基づいて検索する際に効率的な形式であればよい。
処理対象指定メタ選択手段135は、例えば、図12に示すようなプルダウンメニュー形式を用いて処理対象指定メタデータを選択/入力する。これは、例えば、メタデータ記録装置102における処理対象指定メタ入力手段122と同じ方法とする。なお、処理対象指定メタ選択手段135は、上述した構成により、新たな処理対象指定メタデータを入力するだけでなく、処理対象指定メタデータを変更ことも可能である。これは、利用者が、処理対象指定メタ選択手段135を介して異なる処理対象指定メタデータを入力することで実現する。
処理対象指定メタ処理手段131は、メタデータ再生手段132にて作成されたメタデータのマトリクスの各項目(クリップ名等)と、処理対象指定メタ選択手段135により入力された処理対象指定メタデータとから表示用映像記述メタデータ(すなわち、メタデータ表示手段130に提供して表示するメタデータ)を決定する。これは、図6に示すような処理対象指定メタデータにより分類されたメタデータマトリクスから、処理対象指定メタ選択手段135により入力された処理対象指定メタデータと一致する処理対象指定メタデータに関連付けされた映像記述メタデータを抽出することで実現する。この抽出処理は、メタデータマトリクスが、処理対象指定メタデータと各映像記述メタデータとが関連付けられているため容易に抽出可能である。また、処理対象指定メタ処理手段131は、表示用映像記述メタデータと、処理対象指定メタ選択手段135にて入力された処理対象指定メタデータとをメタデータ表示手段130に提供する。
メタデータ表示手段130は、処理対象指定メタ処理手段131から供給される表示用映像記述メタデータと処理対象指定メタデータとを利用者に対して表示する。これらを、例えば、図5に示すような構成のGUI画面を用いて表示する。図5(1)に示すように、GUI画面は、処理対象指定メタ表示/選択部300と、サムネイル画表示部301、303と、メタデータ表示部302、304とを含む構成とする。処理対象指定メタ表示/選択部300に関する処理対象指定メタデータの表示/選択処理等は、上述しており、ここでの説明は省略する。サムネイル画表示部301、303は、例えば、各クリップにおける映像データの先頭フレームの画像を表示すればよい。また、メタデータ表示部302、304には、処理対象指定メタ処理手段131から供給される表示用映像記述メタデータを表示する。以上の構成により、メタデータ表示部302、304には、処理対象指定メタ表示/選択部300にて選択/表示される処理対象指定メタデータに対応した映像記述メタデータ(すなわち、表示用映像記述メタデータ)が表示される。なお、図5(1)に示す例では、2つのクリップに対して、同じ処理対象メタデータに対応する映像記述メタデータが表示されている例を示している。また、図5(2)は、処理対象指定メタ表示/選択部300にて処理対象指定メタデータを「STEP3」から「STEP4」に変更した場合の表示結果を示している。メタデータ表示部302、304に表示される内容が、処理対象指定メタデータ「STEP4」に対応した表示用映像記述メタデータに変更されていることがわかる。
次に、再生装置103におけるプレイリストファイルに基づく映像再生動作について説明する。記録媒体100に記録されたプレイリストファイルは、映像再生手段133により読み出され、プレイリストファイルに記録されている再生対象の映像データファイルや、その再生順番、各映像データにおける再生区間(再生開始点及び再生終了点)に基づいて、プレイリストに記録された順番に再生される。映像再生手段133は、プレイリストに基づき、プレイリストの記載された区間に対応する映像データを、プレイリストの記載された順番に映像表示手段134に対してフレーム毎に提供する。例えば、記録媒体100に図11に示すプレイリストファイルが記録されていた場合には、1番目に映像データファイル「CLIP0001.yuv」の再生オフセットが100フレームであるフレームから、再生オフセットが1000フレームであるフレームまでの区間に対応する映像データを映像表示手段134に提供する。また、1番目に映像データファイルの再生が終了した後には、プレイリストの2行目に記録されている映像データファイル「CLIP0003.yuv」において、再生オフセットが128フレームであるフレームから、再生オフセットが1028フレームであるフレームまでの区間に対応する映像データを、映像表示手段134に提供する。映像表示手段134は、供給された映像データを利用者に提示する。本実施例では、映像データを非圧縮データとしており、各映像フレームのサイズが固定であるため、再生オフセットから、映像データ中の再生オフセットに対応する映像フレームを容易に特定することができる。これにより、プレイリストに記録される任意の映像データの区間が再生可能である。
なお、プレイリストの別の形式として、映像データにおける再生終了点に対応する映像フレームを再生(表示)しない形式もある。この場合には、再生終了点にける再生オフセットは、再生終了点に対応するLinkPointのオフセットから、再生終了点が再生されるように(例えば、1フレーム分の)値を加えればよい。例えば、上述の例では、再生終了点を1029フレームとすれば、1028フレームまで再生されることになる。また、この場合、再生終了点に対応するLinkPointのオフセットに対して、あらかじめ1フレーム分の値を加えておき、プレイリストの終了点を算出する場合に値を加算しない方法をとってもよい。例えば、映像データにおける必要な区間の先頭フレームのフレーム数をFst_edit、最終のフレームをFend_editとすると、映像データにおける必要な区間(例えば、編集区間)Editは下記の式で表される。
Fst_edit≦Edit <(Fend_edit+1)
また、このとき、プレイリストの開始点に対応するLinkPointのオフセットをFst_edit、終了点に対応するLinkPointのオフセットを(Fend_edit+1)とすればよい。
以上のように、本実施例の映像処理システムによれば、メタデータによる映像データの検索効率や編集効率を飛躍的に向上させることができ、利用者にとって利便性の高い映像処理システムを実現することができる。
なお、メタデータファイルやシナリオファイルを記録する際に、XML形式にて記録する方法を説明したが、例えば、テキスト形式(CSV形式)にて記録する方法や、テキスト形式をバイナリデータ化した形式等で記述しても同様の効果を発揮する。
なお、映像記録装置101、記録媒体100、メタデータ編集装置102、映像再生装置103は、それぞれの装置が1つである例を説明したが、どのような装置構成でもよい。例えば、映像記録装置101とメタデータ編集装置102とを1つの装置としてもよいし、メタデータ記録装置102と映像再生装置103とを1つの装置としてもよいし、すべてを1つの装置として実現してもよい。メタデータ記録装置102と映像再生装置103とを1つの装置とする場合には、メタデータ記録装置102における映像メタデータ入力手段120及び処理対象指定メタ入力手段122と、再生装置103におけるメタデータ表示手段130及び処理対象指定メタ選択手段135とにおける実装を共通化できる利点がある。
なお、記録媒体100は、1つの記録媒体である構成として説明したが、映像データファイルとメタデータファイル等を別々の記録媒体に記録してもよい。
なお、メタデータファイルにおいて、各処理対象指定メタデータ(映像制作の各工程)にて映像記述メタデータを追記する方式を説明したが、適宜、映像記述メタデータを削除してもよい。この場合、メタデータ記録手段124は、削除したい処理対象指定メタデータに対応する映像記述メタデータの所望の項目を削除する。削除処理としては、削除対象とする処理対象指定メタデータに対応した映像記述メタデータを削除すればよい。この場合には、例えば、処理対象指定メタデータ「STEP3」に対応する映像記述メタデータを削除する場合には、<STEP3>と</STEP3>とに囲まれた部分を削除すればよい(識別子も含めて削除する)。また、削除したい処理対象指定メタデータに対応する映像記述メタデータの所望の1つの項目を削除することも可能である。
なお、本実施例では、映像制作の各工程における映像記述メタデータの1例として同一項目(例えば、クリップ名はどの工程においても存在する)を用いて説明したが、映像制作の各工程において新規の項目を追記してもよい。この場合は、新規の項目に対応する識別子を用いればよい。