JP2008124932A - ノンリニア編集装置およびそのプログラム、ならびに、ノンリニア編集装置におけるデータ差し替え方法 - Google Patents

Abstract

【課題】ストリームデータの特定部分を高速に差し替えることが可能なノンリニア編集装置を提供する。
【解決手段】ノンリニア編集装置１は、素材データの各フレームに対してフレーム内符号化を行う符号化手段２３と、この符号化手段で生成された符号化フレームのデータ長が、予め定めた規定データ長となるようにダミーデータを付加するダミーデータ付加手段２４と、変更区間のフレームの相対位置を示す編集データと規定データ長とに基づいて、ダミーデータが付加された符号化フレームで構成されるストリームデータにおいて、変更区間のフレームの絶対位置を探索する変更区間探索手段３１と、その変更区間に対応するフレーム間のストリームデータを、変更用の差し替えデータに差し替える差し替え手段３３と、を備えることを特徴とする。
【選択図】図３

Description

本発明は、映像の素材データを編集するノンリニア編集装置およびそのプログラム、ならびに、ノンリニア編集装置におけるデータ差し替え方法に関する。

近年、映像や音声の編集は、映像等を記録したテープを再生し、所望の箇所を他のテープにコピーするリニア編集から、映像等を、一旦、ハードディスク等の記憶装置にデジタルデータとして書き込み、コンピュータによって編集するノンリニア編集へと移行している。
このノンリニア編集を行うノンリニア編集装置は、記憶装置に記憶してある映像等を、コンピュータ端末のＧＵＩ（Graphical User Interface）上で、操作者が「コピー」、「カット」、「ペースト」等の操作を行うことで、映像等の開始点・終了点からなる編集データを作成する。そして、ノンリニア編集装置は、編集した映像等を再生する際には、この編集データに基づいて、記憶装置から所望の開始点・終了点間の映像等を読み出して出力する。これによって、ノンリニア編集は、リニア編集に比べ、編集にかかる時間を削減することができる。
なお、映像は、ＭＰＥＧ２（Moving Picture Coding Experts Group 2）形式で圧縮符号化されたデータが一般的である。例えば、デジタル高精細映像を記録、再生するＨＤＶ（digital High Definition Video）の規格では、ＭＰＥＧ２のＬｏｎｇＧＯＰ方式が採用されている。

また、従来、ノンリニア編集装置は、映像の素材データを編集する場合、複数のカットを結合することで、例えば、放送用に使用される一本の本編用のストリームデータ（本編ストリームデータ）を生成している。すなわち、従来のノンリニア編集装置は、カット点（開始点・終了点）ごとに素材データを再生することで、一本のストリームデータを生成している。

ここで、図７を参照して、ＭＰＥＧ２の符号化形式について簡単に説明しておく。図７は、ＭＰＥＧ２のストリームデータの構造を示す構成図である。
図７に示すように、ＭＰＥＧ２のストリームデータは、「シーケンス層」、「ＧＯＰ（Group of Picture）層」、「ピクチャ層」、「スライス層」、「マクロブロック層」および「ブロック層」の６層で構成されている。ここで、ＧＯＰは、１個以上のピクチャで構成され、参照画像を用いることなく符号化されたＩピクチャ（フレーム内符号化画像）が含まれている。さらに、ＧＯＰには、時間的に過去に位置するピクチャから予測符号化されたＰピクチャ（フレーム間符号化画像）や、時間的に過去および未来に位置するピクチャから予測符号化されたＢピクチャ（双方向符号化画像）も含まれている。
このように、ＭＰＥＧ２のような予測符号化を行う符号化方式では、ＧＯＰ内の各ピクチャは独立しておらず、原則的には、ピクチャ単位で差し替え等の編集を行うことはできない。そこで、ピクチャを差し替えるときに、ＧＯＰ内のピクチャ構成を変更する技術が開示されている（特許文献１参照）。
特開平０９−２３８３４７号公報

しかし、従来のノンリニア編集装置では、複数のカットを結合して１つの本編ストリームデータ（物理ファイル）を生成するため、編集後に映像の特定部分の差し替え等が発生した場合、再度本編ストリームデータを全編にわたって再生成する必要があり、編集に時間がかかるという問題がある。
また、所望の映像の特定部分を差し替える場合、特許文献１に開示されているＧＯＰ内のピクチャ構成を変更する技術では、差し替えを行うピクチャ（フレーム）を探索するために、ストリームデータの先頭から所望のピクチャを探索しなければならず、差し替えを行う際に時間がかかるという問題がある。

本発明は、以上のような問題を解決するためになされたものであり、ストリームデータの特定部分を差し替える際に、一旦生成した編集後のファイル（本編ストリームデータ）を、再度、全編にわたって再生成することなく編集することが可能なノンリニア編集装置およびそのプログラム、ならびに、ノンリニア編集装置におけるデータ差し替え方法を提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のノンリニア編集装置は、映像の素材データを編集するノンリニア編集装置において、符号化手段と、ダミーデータ付加手段と、記憶手段と、変更区間探索手段と、差し替え手段と、を備える構成とした。

かかる構成において、ノンリニア編集装置は、符号化手段によって、素材データの各フレームに対してフレーム内符号化を行うことで、符号化フレームを生成する。ここで、フレーム内符号化とは、予測符号化と異なり、当該フレーム内のデータのみに基づいて符号化を行うものである。このフレーム内符号化は、例えば、ＭＰＥＧ２符号化方式においては、フレームをマクロブロック単位で符号化することでＩフレーム（ピクチャ）を生成する符号化方式に相当する。これによって、各符号化フレームは、他のフレームから独立して（影響を受けずに）符号化されることになる。

そして、ノンリニア編集装置は、ダミーデータ付加手段によって、符号化手段で生成された符号化フレームのデータ長が、予め定めた規定データ長となるように、符号化フレームにダミーデータを付加する。これによって、符号化フレームのデータ長が、すべて同一の長さに統一されることになる。
そして、ノンリニア編集装置は、ダミーデータが付加された符号化フレームで構成されるストリームデータを記憶手段に記憶しておく。

さらに、ノンリニア編集装置は、変更区間探索手段によって、ストリームデータにおける変更区間のフレームの相対位置を示す編集データと、規定データ長とに基づいて、ストリームデータにおける変更区間のフレームの絶対位置を探索する。この場合、符号化フレームのデータ長が予め定めた規定データ長（固定長）となっているため、規定データ長とフレーム番号とを演算（乗算）することで変更区間のフレームの絶対位置を求めることができる。
そして、ノンリニア編集装置は、差し替え手段によって、変更区間探索手段で探索された変更区間に対応するフレーム間のストリームデータを、変更用の差し替えデータに差し替える。この場合、ストリームデータは、フレームごとに独立して符号化されているため、部分的に差し替えが行われても、変更区間の前後のフレームに影響を与えることがない。

また、請求項２に記載のノンリニア編集装置は、請求項１に記載のノンリニア編集装置において、前記素材データが動き予測符号化方式によって符号化された符号化データであって、前記符号化手段の前段に、前記符号化データから、フレーム単位の画像を生成するフレーム生成手段をさらに備える構成とした。

かかる構成において、ノンリニア編集装置は、フレーム生成手段によって、動き予測符号化方式によって符号化された符号化データを復号することで、フレームごとの画像を生成する。これによって、ＭＰＥＧ２等の動き予測符号化方式によってフレーム間で相互に関連しあって符号化が行われている場合であっても、フレームごとに分離することができる。

さらに、請求項３に記載のノンリニア編集プログラムは、ノンリニア編集装置において、映像の素材データを編集するために、コンピュータを、符号化手段、ダミーデータ付加手段、変更区間探索手段、差し替え手段、として機能させる構成とした。

かかる構成において、ノンリニア編集プログラムは、符号化手段によって、素材データの各フレームに対してフレーム内符号化を行うことで、符号化フレームを生成する。これによって、各符号化フレームは、他のフレームから独立して符号化されることになる。
そして、ノンリニア編集プログラムは、ダミーデータ付加手段によって、符号化手段で生成された符号化フレームのデータ長が、予め定めた規定データ長となるように、符号化フレームにダミーデータを付加する。これによって、符号化フレームのデータ長が、すべて同一の長さに統一されることになる。

そして、ノンリニア編集プログラムは、変更区間探索手段によって、変更区間のフレームの相対位置を示す編集データと、規定データ長とに基づいて、ダミーデータが付加された符号化フレームで構成されるストリームデータにおいて、変更区間のフレームの絶対位置を探索する。
そして、ノンリニア編集プログラムは、差し替え手段によって、変更区間探索手段で探索された変更区間に対応するフレーム間のストリームデータを、変更用の差し替えデータに差し替える。

また、請求項４に記載のノンリニア編集装置におけるデータ差し替え方法は、映像の素材データを編集して生成されるストリームデータに対して、部分的な差し替えを行う方法であって、符号化ステップと、ダミーデータ付加ステップと、変更区間探索ステップと、差し替えステップと、を含む手順とした。

かかる手順において、データ差し替え方法は、符号化ステップにおいて、符号化手段により、素材データの各フレームに対してフレーム内符号化を行うことで、符号化フレームを生成する。これによって、各符号化フレームは、他のフレームから独立して符号化されることになる。
そして、データ差し替え方法は、ダミーデータ付加ステップにおいて、ダミーデータ付加手段により、符号化手段で生成された符号化フレームのデータ長が、予め定めた規定データ長となるように、符号化フレームにダミーデータを付加する。これによって、符号化フレームのデータ長が、すべて同一の長さに統一されることになる。

そして、データ差し替え方法は、変更区間探索ステップにおいて、変更区間探索手段により、変更区間のフレームの相対位置を示す編集データと、規定データ長とに基づいて、ダミーデータが付加された符号化フレームで構成されるストリームデータにおいて、変更区間のフレームの絶対位置を探索する。
そして、データ差し替え方法は、差し替えステップにおいて、差し替え手段により、変更区間探索手段で探索された変更区間に対応するフレーム間のストリームデータを、変更用の差し替えデータに差し替える。

本発明は、以下に示す優れた効果を奏するものである。
請求項１、請求項３または請求項４に記載の発明によれば、ストリームデータの特定部分を差し替える際に、一旦生成した編集後のストリームデータを、再度、全編にわたって再生成することなく差し替えを行うことができる。また、本発明によれば、特定部分のフレームの位置を演算によって求めることができるため、ストリームデータの先頭から所望のフレームを探索する必要がなく、高速に編集作業を行うことができる。

請求項２に記載の発明によれば、動き予測符号化方式によって符号化された符号化データであっても、同一のデータ長のフレームで構成されるストリームデータを生成することで、高速に差し替え編集を行うことができる。

以下、本発明の実施の形態について図面を参照して説明する。
［ノンリニア編集装置の機能概要］
最初に、図１および図２を参照して、ノンリニア編集装置の機能の概要について説明する。図１は、本発明の実施形態に係るノンリニア編集装置において、素材データの各フレームをフレーム内符号化することで、フレームごとに独立したストリームデータを生成する機能を説明するための説明図である。図２は、本発明の実施形態に係るノンリニア編集装置において、フレームごとに独立したストリームデータの特定部分を差し替える機能を説明するための説明図である。

図１に示すように、ノンリニア編集装置１は、映像の素材データを、フレーム内で独立して符号化されたフレーム内符号化画像のみで構成したストリームデータ（本編ストリームデータ）に変換する機能（Ｉフレーム化機能）を有する。
このように変換されたＩフレームは、具体的には、シーケンスヘッダと、ＧＯＰヘッダとが付加されて構成されている。これによって、各フレームは、フレーム内符号化画像として個々に独立した画像になる。なお、ノンリニア編集装置１は、各フレームが同一のデータ長となるようにダミーデータを付加する機能も有している。

また、図２に示すように、ノンリニア編集装置１は、Ｉフレーム化された本編ストリームデータにおいて、特定部分の差し替えを行う機能（差し替え機能）を有する。Ｉフレーム化された本編ストリームデータは、各フレームが独立して符号化されているため、特定部分（例えば、図２中、Ｉ_３〜Ｉ_７のフレーム）の差し替えを行う場合であっても、その前後のフレーム（図２中、Ｉ_２およびＩ_８のフレーム）に影響を与えることがなく、差し替え部分のみの差し替えで、所望の本編ストリームデータが生成されることになる。
以下、本機能を実現するノンリニア編集装置１の構成について具体的に説明する。

［ノンリニア編集装置の構成］
ここでは、図３を参照して、本発明の実施形態に係るノンリニア編集装置の構成について説明する。図３は、本発明の実施形態に係るノンリニア編集装置の構成を示すブロック構成図である。ノンリニア編集装置１は、記憶手段１０と、ストリームデータ生成手段２０と、ストリーム差し替え手段３０とを備えている。なお、ここでは、一般的なノンリニア編集装置に備えられている「コピー」、「カット」、「ペースト」等の編集操作のためのＧＵＩを実現する編集手段や表示手段については図示を省略している。

記憶手段１０は、編集対象となる素材データや、編集後のデータである本編ストリームデータを記憶するものであって、ハードディスク等の一般的な記憶装置である。
なお、素材データは、カメラ撮影され放送番組等に供される元となるデータである。ここでは、素材データは、図示を省略した入力手段を介して、記憶手段１０に記憶されているものとする。また、本編ストリームデータは、複数の素材データが、「コピー」、「カット」、「ペースト」等の操作によって編集され、一本の放送番組用に結合されたデータである。

ストリームデータ生成手段２０は、編集データ（第１編集データ）に基づいて、素材データから、本編ストリームデータを生成するものであって、図１で説明したＩフレーム化機能を実現するものである。ここでは、ストリームデータ生成手段２０は、フレーム画像生成手段２１と、フレーム画像解析手段２２と、符号化手段２３と、ダミーデータ付加手段２４とを備えている。

フレーム画像生成手段（フレーム生成手段）２１は、編集データ（第１編集データ）に基づいて、記憶手段１０に記憶されている（あるいは外部から入力される）素材データから、フレームごとの画像を生成するものである。
ここで、フレーム画像生成手段２１は、外部から素材データを映像信号として入力する場合は、図示を省略したメモリ等にフレーム単位で映像をキャプチャし、フレーム画像を生成する。また、フレーム画像生成手段２１は、素材データがＭＰＥＧ２等の動き予測符号化方式によって符号化されている場合は、フレーム単位で復号することで、フレーム画像を生成する。

また、編集データ（第１編集データ）は、映像の開始点や終了点を示すカット点（イン点、アウト点）、当該映像の所定の映像区間に合成するテキスト、当該映像区間の映像に対する効果（フェード、ワイプ、ディゾルブ等）等を示すデータである。なお、ここでは、編集データを外部から入力することとしているが、ノンリニア編集装置１内の図示を省略した編集手段を介して入力することとしてもよい。

また、ここでは、フレーム画像生成手段２１は、編集データに基づいて、フレームごとに、テキストを合成したり、効果を施したフレームに変換したりすることで、単一のフレーム画像を生成する。このフレーム画像生成手段２１で生成されたフレーム画像は、フレーム画像解析手段２２と、符号化手段２３とに出力される。

フレーム画像解析手段２２は、フレーム画像生成手段２１で生成されたフレーム画像を解析し、符号化手段２３において符号化された際の符号化データ長が、規定データ長以下となるようなエンコードパラメータ（圧縮率）を決定するものである。例えば、フレーム画像解析手段２２は、圧縮率として、ＭＰＥＧ２等で用いられている量子化スケールを用いることができる。なお、ＭＰＥＧ２では、マクロブロック単位でフレームを符号化している。そして、量子化スケールは、各マクロブロックの圧縮率を示し、その値が小さいほど低圧縮率を示し、その値が大きいほど高圧縮率を示している。
このフレーム画像解析手段２２で決定されたエンコードパラメータ（圧縮率；ここでは量子化スケール）は、符号化手段２３に出力される。
なお、フレーム画像解析手段２２において、圧縮率（量子化スケール）を求める手法については、後で具体的に説明を行うこととする。

符号化手段２３は、フレーム画像解析手段２２で解析されたエンコードパラメータ（圧縮率）に基づいて、フレーム画像生成手段２１で生成されたフレーム画像をフレーム内符号化することで符号化フレームを生成するものである。
ここで、符号化方式としてＭＰＥＧ２を用い、圧縮率として量子化スケールがフレーム画像解析手段２２から通知される場合、符号化手段２３は、量子化スケールが小さいほど量子化を細かくし、量子化スケールが大きいほど量子化を粗くして、マクロブロック単位で符号化を行う。これによって、フレーム画像は、他のフレームとは独立して符号化されたフレーム内符号化画像（符号化フレーム）として生成され、個々に差し替えが可能となる。

さらに、符号化手段２３は、符号化方式としてＭＰＥＧ２を用いる場合、符号化フレーム（フレーム内符号化画像、Ｉピクチャ）ごとに、シーケンスヘッダおよびＧＯＰヘッダを付加しておく（図１参照）。これによって、各フレーム内符号化画像は、ＭＰＥＧ２において、１つのＩピクチャが、１つのＧＯＰで管理されることになる。
この符号化手段２３で符号化されたフレーム画像（符号化フレーム）は、ダミーデータ付加手段２４に出力される。

ダミーデータ付加手段２４は、符号化手段２３で符号化された符号化フレームごとに、予め定めた規定データ長と符号化フレームとのデータ長差分のダミーデータを付加するものである。なお、ここで、符号化フレームのデータ長が、規定データ長よりも長い場合は、符号化手段２３にその旨を通知することで、符号化手段２３が圧縮率を設定し直して、再度、符号化を行うこととする。このダミーデータが付加された符号化フレームは、記憶手段１０に本編ストリームデータとして記憶される。なお、このダミーデータとしては、ＭＰＥＧ２等で推奨されている値「０」を使用する。これによって、各フレームは、ダミーデータを含めて同一のデータ長で管理されることになる。

ストリーム差し替え手段３０は、編集データ（第２編集データ）に基づいて、本編ストリームデータの特定部分を他のストリームデータに差し替えるものであって、図２で説明した差し替え機能を実現するものである。ここでは、ストリーム差し替え手段３０は、変更区間探索手段３１と、差し替えデータ生成手段３２と、差し替え手段３３とを備えている。

変更区間探索手段３１は、変更区間のフレームの相対位置を示す編集データ（第２編集データ）に基づいて、本編ストリームデータにおいて変更の対象となる区間（変更区間）のフレームの絶対位置（アドレス）を探索するものである。また、編集データには、本編ストリームデータの変更区間を示す情報以外にも、変更指示内容（レンダリング等）や、変更の元となる素材データのカット点等を示す情報も含まれている。なお、変更区間は、個々のフレームを特定するためのフレーム番号等によって、ストリームデータにおいて相対的に指定されている。

ここで、本編ストリームデータは、フレームごとに同一の規定データ長となっているため、変更区間探索手段３１は、変更区間としてフレーム番号が指示された場合、規定データ長に対してフレーム番号の倍数の演算を行うことで、所望のフレームの位置情報（絶対位置〔アドレス〕）を求めることができる。
例えば、規定データ長をＬ_{ＣＯＮＳＴ}、フレーム番号をＦ_ＮＵＭ（０〜Ｎ）とした場合、フレームの位置情報（アドレス）ＡＤは、以下の（１）式に示すように、規定データ長とフレーム番号との乗算によって求めることができる。

ＡＤ＝Ｆ_ＮＵＭ×Ｌ_{ＣＯＮＳＴ} …（１）式

そして、変更区間探索手段３１は、探索した位置情報（アドレス）を差し替えデータ生成手段３２と、差し替え手段３３とに出力する。さらに、変更区間探索手段３１は、変更指示内容を差し替えデータ生成手段３２に出力する。

差し替えデータ生成手段３２は、編集データで指示された変更指示内容に基づいて、本編ストリームデータの変更区間の差し替えを行うデータ（差し替えデータ）を生成するものである。ここでは、差し替えデータ生成手段３２は、区間映像抽出手段３２ａと、区間映像生成手段３２ｂとを備えている。

区間映像抽出手段３２ａは、記憶手段１０に記憶されている素材データから、変更区間探索手段３１において探索された変更区間に対応する区間映像を抽出するものである。なお、編集データで指示された変更指示内容が、区間映像の差し替えのみである場合、区間映像抽出手段３２ａは、抽出した区間映像（差し替えデータ）を差し替え手段３３に出力する。一方、編集データで指示された変更指示内容が、区間映像に対してレンダリング処理を行う必要がある場合、区間映像抽出手段３２ａは、抽出した区間映像（差し替えデータ）を区間映像生成手段３２ｂに出力する。

区間映像生成手段３２ｂは、変更指示内容に基づいて、区間映像抽出手段３２ａで抽出された区間映像に対して編集を行うことで、差し替えを行う映像（差し替えデータ）を生成するものである。例えば、区間映像生成手段３２ｂは、区間映像に対してテキストを付加する場合、変更指示内容で示される文字列、文字種、表示位置等の情報に基づいて、当該映像にテキストを合成することで、差し替えデータを生成する。
なお、区間映像生成手段３２ｂは、テキスト合成以外にも、変更指示内容に基づいて、区間映像において、フェード、ワイプ、ディゾルブ等のレンダリング処理を行うことで、差し替えデータを生成する。このように生成された差し替えデータは、差し替え手段３３に出力される。

差し替え手段３３は、変更区間探索手段３１で探索された本編ストリームデータの変更区間の映像（区間ストリームデータ）を、差し替えデータ生成手段３２で生成された差し替えデータに差し替えることで、新たな差し替え後の本編ストリームデータを生成するものである。
なお、本編ストリームデータは、フレーム内符号化画像（Ｉピクチャ）のみで構成されているため、変更区間のみを差し替えても、その前後の映像に影響を与えることがない。

以上説明したようにノンリニア編集装置１を構成することで、ノンリニア編集装置１は、素材データをフレーム内符号化画像（Ｉフレーム）のみで構成したストリームデータ（本編ストリームデータ）に変換することができる。さらに、ノンリニア編集装置１は、本編ストリームデータを、フレーム内符号化画像のみで構成することで、本編ストリームデータを再構成することなく、特定部分を差し替えて、新しい本編ストリームデータを生成することができる。

（フレーム画像解析手段が行う圧縮率の決定手法について）
ここで、フレーム画像解析手段２２が行う圧縮率（量子化スケール）の決定手法の一例について、数式を用いて具体的に説明する。ＭＰＥＧ２では、フレームをマクロブロックという１６画素×１６画素のブロックに分割して符号化を行う。また、マクロブロックは、さらに８画素×８画素サイズの４つのサブブロックに分割され、符号化の際に使用される。以下、フレーム画像解析手段２２がマクロブロックごとの量子化スケールを決定する手順（手順１〜手順３）について説明する。

〔手順１：量子化スケールの初期値決定〕
まず、フレーム画像解析手段２２は、符号化対象のフレームの量子化スケールの初期値を決定する。
具体的には、フレーム画像解析手段２２は、ｊ番目のマクロブロックの量子化スケールｍｑｕａｎｔ_ｊを、以下の（２）式により算出する。

なお、Ｑは量子化パラメータ、Ｎ＿ａｃｔ_ｊは正規化係数（正規化アクティビティ）である。
ここで、量子化パラメータＱは、以下の（３）式により算出される。

なお、ｄは１マクロブロックの符号化データ長、ｒは量子化を行う際の係数（リアクションパラメータ）である。
ここで、目標となる規定データ長（目標符号化データ長）をＴ、１フレーム内のマクロブロック数をＭＢ＿ｃｎｔとしたとき、前記（３）式の符号化データ長ｄは、以下の（４）式により算出される。

また、ビットレートをｂｉｔ＿ｒａｔｅ、ピクチャレートをｐｉｃｔｕｒｅ＿ｒａｔｅとしたとき、前記（３）式の係数ｒは、以下の（５）式により算出される。

また、前記（２）式の正規化アクティビティＮ＿ａｃｔ_ｊは、以下の（６）式により算出される。

ここで、ａｖｇ＿ａｃｔは、全マクロブロックのａｃｔ_ｊの平均値である。また、ａｃｔ_ｊは、ｊ番目のマクロブロックの複雑さを示す量であって、以下の（７）式により算出される。

なお、ｍｉｎ（…）は、括弧内の要素の最小値を求める関数である。また、ｖｂｌｋ_ｎは、ｎ番目のサブブロックの複雑さを示す量であって、Ｐ^ｎ _ｋをサブブロックのｋ番目の画素の輝度値としたとき、以下の（８）式により算出される。

なお、Ｐ＿ｍｅａｎ_ｎは、以下の（９）式に示すｎ番目のサブブロックの輝度平均値である。

〔手順２：符号化後の符号化データ長の予測〕
通常、手順１で決定した量子化スケールで符号化を行っても、フレームによっては、符号化後のデータ長が規定データ長に収まらない場合がある。そこで、フレーム画像解析手段２２は、当該フレームに対して処理負荷の低い符号化を行い符号化データ長を試算することで、符号化データ化長の予測を行う。なお、この符号化データ長を試算する手法については種々考えられるが、例えば、フレーム内のマクロブロックを一定間隔で選択し、その選択したマクロブロックのみを符号化することで符号化データ長（予測符号化データ長）の試算を行うことができる。

具体的には、フレーム画像解析手段２２は、フレームの縦横の８ブロックごとにマクロブロックを選択して符号化を行う。この符号化データ長は、全フレームの１／６４の符号化データ長に相当することになるため、フレーム画像解析手段２２は、その符号化データ長を６４倍することで、当該フレーム全体の予測符号化データ長を試算する。

〔手順３：予測符号化データ長の評価〕
手順２の結果、予測符号化データ長が、規定データ長よりも長い場合、実際にフレームを符号化した場合、その符号化データ長は、規定データ長を超過する可能性が高い。そこで、符号化データ長を規定データ長以下とするには、さらに圧縮率を高める必要があるため、フレーム画像解析手段２２は、量子化スケール大きくして前記した手順２の処理を再度行う。
以上の手順（手順１〜手順３）よって、フレーム画像解析手段２２は、符号化データ長が規定データ長以下となると予測される圧縮率（量子化スケール）を求めることができる。

［ノンリニア編集装置の動作］
次に、図４および図５を参照して、本発明の実施形態に係るノンリニア編集装置の動作について説明する。ここでは、本発明のノンリニア編集装置の特徴となる素材データのＩフレーム化機能と、Ｉフレーム化された本編ストリームデータの差し替え機能とを実現する際の動作について説明する。図４は、本発明の実施形態に係るノンリニア編集装置のＩフレーム化機能を実現する際の動作を示すフローチャートである。図５は、本発明の実施形態に係るノンリニア編集装置の差し替え機能を実現する際の動作を示すフローチャートである。

（Ｉフレーム化機能の動作）
最初に、図４を参照（構成については、適宜図３参照）して、ノンリニア編集装置１が素材データをＩフレーム化する動作について説明する。
まず、ノンリニア編集装置１は、フレーム画像生成手段２１によって、素材データから、フレームごとの画像（フレーム画像）を生成する（ステップＳ１）。なお、このとき、フレーム画像生成手段２１は、編集データ（第１編集データ）に基づいて、必要であれば、テキスト合成等の編集を行う。
また、ノンリニア編集装置１は、フレーム画像解析手段２２によって、ステップＳ１で生成されたフレーム画像を解析し、符号化手段２３において符号化された際の符号化データ長が、規定データ長以下となるようなエンコードパラメータ（圧縮率）を決定する（ステップＳ２）。

そして、ノンリニア編集装置１は、符号化手段２３によって、ステップＳ２で決定されたエンコードパラメータ（圧縮率）に基づいて、ステップＳ１で生成されたフレーム画像を符号化する（ステップＳ３；符号化ステップ）。なお、このとき、符号化手段２３は、フレーム画像を、フレーム内で独立して符号化することで符号化フレーム（フレーム内符号化画像、Ｉフレーム）を生成する。
そして、ノンリニア編集装置１は、ダミーデータ付加手段２４によって、ステップＳ３で生成（符号化）された符号化フレームのデータ長が予め定めたデータ長（規定データ長）以下であるか否かを判定する（ステップＳ４）。

ここで、符号化フレームのデータ長が規定データ長よりも長い場合（ステップＳ４でＮｏ）、符号化手段２３が、エンコードパラメータを調節する（ステップＳ５）。なお、このステップＳ５におけるエンコードパラメータの調節によって、圧縮率が高く設定し直されることになる。そして、ノンリニア編集装置１は、ステップＳ３に戻って、再度フレーム画像の符号化を行う。

一方、符号化フレームのデータ長が規定データ長以下である場合（ステップＳ４でＹｅｓ）、ダミーデータ付加手段２４が、符号化フレームに、規定データ長と符号化フレームとのデータ長差分のダミーデータを付加して、出力する（ステップＳ６；ダミーデータ付加ステップ）。このように、ダミーデータを付加することで、各符号化フレームのデータ長が同一の長さに統一されることになる。
なお、生成された符号化フレームが連続して構成されることで、本編ストリームデータとなる。また、この本編ストリームデータの出力先は、ここでは、記憶手段１０とするが、外部に出力することとしてもよい。

そして、ノンリニア編集装置１は、すべてのフレームについての処理が終了したか否かを判定する（ステップＳ７）。そして、すべてのフレームについての処理が終了した場合（ステップＳ７でＹｅｓ）、ノンリニア編集装置１は、動作を終了する。一方、まだ処理が終了していないフレームが存在する場合（ステップＳ７でＮｏ）、ノンリニア編集装置１は、ステップＳ１に戻って、動作を継続する。
以上の動作によって、ノンリニア編集装置１は、素材データから、固定長のフレーム内符号化画像（Ｉフレーム）のみの本編ストリームデータを生成することができる。

（差し替え機能の動作）
次に、図５を参照（構成については、適宜図３参照）して、ノンリニア編集装置１が本編ストリームデータの差し替えを行う動作について説明する。
まず、ノンリニア編集装置１は、変更区間探索手段３１によって、変更指示内容を含んだ編集データ（第２編集データ）に基づいて、本編ストリームデータにおいて変更の対象となる区間（変更区間）、ならびに、当該区間に対応する元の素材データの区間を探索する（ステップＳ２１；変更区間探索ステップ）。

そして、ノンリニア編集装置１は、変更区間が存在する場合（ステップＳ２２でＹｅｓ）、ステップＳ２３以降の差し替え処理を実行する。一方、変更区間が存在しない場合（あるいは、すべての変更が完了した場合；ステップＳ２２でＮｏ）、動作を終了する。
そして、ノンリニア編集装置１は、ステップＳ２２で変更区間が存在すると判断した場合、差し替えデータ生成手段３２によって、編集データで指示された変更指示内容に基づいて、当該変更区間にレンダリングが必要であるか否かを判定する（ステップＳ２３）。

ここで、レンダリングが必要な場合（ステップＳ２３でＹｅｓ）、ノンリニア編集装置１は、区間映像抽出手段３２ａによって、記憶手段１０に記憶されている素材データから、変更区間分の区間映像を抽出し、さらに、区間映像生成手段３２ｂによって、当該区間映像に対して、テキスト合成、フェード、ワイプ、ディゾルブ等のレンダリング処理を行うことで差し替えデータを生成する（ステップＳ２４）。
一方、変更区間にレンダリングが必要でない場合（ステップＳ２３でＮｏ）、ノンリニア編集装置１は、区間映像抽出手段３２ａによって、記憶手段１０に記憶されている素材データから、変更区間分の区間映像を差し替えデータとして抽出する（ステップＳ２５）。

そして、ノンリニア編集装置１は、差し替え手段３３によって、ステップＳ２１で探索された本編ストリームデータの変更区間のストリームデータを、ステップＳ２４またはステップＳ２５で生成された差し替えデータに差し替える（ステップＳ２６；差し替えステップ）。
そして、ノンリニア編集装置１は、ステップＳ１に戻って、変更区間が存在する間、差し替え動作を繰り返す。
以上の動作によって、ノンリニア編集装置１は、本編ストリームデータを素材データに基づいて最初から再生成する必要がなく、部分的な区間映像の差し替えによって、本編ストリームデータを生成することができる。

［ノンリニア編集装置の編集例］
次に、図６を参照（適宜図３参照）して、本発明の実施形態に係るノンリニア編集装置の編集動作を、画面例に対応付けて説明する。図６は、本発明の実施形態に係るノンリニア編集装置の編集動作を説明するための説明図であって、（ａ）は編集時の画面例、（ｂ）は本編ストリームデータの生成手順、（ｃ）は編集後の画面例である。

ノンリニア編集装置１は、編集時に、図６（ａ）に示すようなＧＵＩを有する編集画面を表示する。
この編集画面には、例えば、映像を再生して表示する映像表示領域Ｍ、編集操作を行うための複数の編集ボタンＢ、タイトル、映像、音声を時間軸に対応付けた編集時間軸表示領域Ｌ等が表示される。この図６（ａ）では、ある時間軸において、映像にタイトル（ここでは、「○○さんの家で××の花が咲きました」）を合成した例を示している。
このような編集段階においては、素材データは、図６（ｂ）の（ｂ−１）に示すように、素材データのカット点Ｃごとに管理されることになる。

そして、ノンリニア編集装置１は、図６（ａ）の書き出しボタンＢ_Ｗを押下されることで、図６（ｂ）の（ｂ−２）に示すように、素材データをカット点に基づいて一本化し、すべてのフレームをＩフレーム化した本編ストリームデータを生成する。

ここで、編集後に編集内容に誤りが発見され、本編ストリームデータの再編集を行う必要が生じたとする。ここでは、一例として、タイトルに誤りがあり、「○○さん」が、実際には「△△さん」であったとする。
この場合、図６（ｂ）の（ｂ−３）に示すように、ノンリニア編集装置１には、変更要求タイトルとして「△△さんの家で〜咲きました」が、編集データとして入力される。

その後、ノンリニア編集装置１は、図６（ａ）の差し替えボタンＢ_Ｃを押下されることで、図６（ｂ）の（ｂ−４）に示すように、変更されたタイトルに対応する区間映像のみを差し替えることで本編ストリームデータを再生成する。
これによって、ノンリニア編集装置１は、図６（ｃ）に示すように、タイトルのみを変更した本編ストリームデータを生成する。

以上、本発明の実施形態に係るノンリニア編集装置の構成および動作の例について説明したが、本発明はこれに限定されるものではない。
例えば、ここでは、ノンリニア編集装置１（図３参照）は、フレームを符号化した後に、ダミーデータを付加することで同一のデータ長のＩフレームとして、本編ストリームデータを生成したが、Ｉフレーム化のみを行いダミーデータを付加しないこととしてもよい。この場合、ノンリニア編集装置１は、ダミーデータ付加手段２４を省略して構成する。この場合であっても、ノンリニア編集装置１は、各フレームが独立して符号化されているため、部分的に差し替えを行う場合に、前後のフレームに影響を与えることなく差し替えを行うことができる。ただし、各フレームが同一のデータ長となっていないため、変更区間探索手段３１における変更区間の探索に要する時間を短縮するには、Ｉフレームを同一のデータ長とすることが望ましい。

また、ノンリニア編集装置１は、図示を省略したＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えた一般的なコンピュータで構成することができ、コンピュータを前記した各手段として機能させるノンリニア編集プログラムにより動作させることができる。

本発明の実施形態に係るノンリニア編集装置において、フレームごとに独立したストリームデータを生成する機能を説明するための説明図である。 本発明の実施形態に係るノンリニア編集装置において、フレームごとに独立したストリームデータの特定部分を差し替える機能を説明するための説明図である。 本発明の実施形態に係るノンリニア編集装置の構成を示すブロック構成図である。 本発明の実施形態に係るノンリニア編集装置のＩフレーム化機能を実現する際の動作を示すフローチャートである。 本発明の実施形態に係るノンリニア編集装置の差し替え機能を実現する際の動作を示すフローチャートである。 本発明の実施形態に係るノンリニア編集装置の編集動作を説明するための説明図であって、（ａ）は編集時の画面例、（ｂ）は本編ストリームデータの生成手順、（ｃ）は編集後の画面例である。 ＭＰＥＧ２のストリームデータの構造を示す構成図である。

符号の説明

１ ノンリニア編集装置
１０ 記憶手段
２０ ストリームデータ生成手段
２１ フレーム画像生成手段（フレーム生成手段）
２２ フレーム画像解析手段
２３ 符号化手段
２４ ダミーデータ付加手段
３０ ストリーム差し替え手段
３１ 変更区間探索手段
３２ 差し替えデータ生成手段
３２ａ 区間映像抽出手段
３２ｂ 区間映像生成手段
３３ 差し替え手段

Claims (4)

1. 映像の素材データを編集するノンリニア編集装置において、
   前記素材データの各フレームに対してフレーム内符号化を行うことで、符号化フレームを生成する符号化手段と、
   この符号化手段で生成された符号化フレームのデータ長が、予め定めた規定データ長となるように、前記符号化フレームにダミーデータを付加するダミーデータ付加手段と、
   このダミーデータ付加手段でダミーデータが付加された符号化フレームで構成されるストリームデータを記憶する記憶手段と、
   前記ストリームデータにおける変更区間のフレームの相対位置を示す編集データと、前記規定データ長とに基づいて、前記変更区間のフレームの絶対位置を探索する変更区間探索手段と、
   この変更区間探索手段で探索された変更区間に対応するフレーム間のストリームデータを、変更用の差し替えデータに差し替える差し替え手段と、
   を備えることを特徴とするノンリニア編集装置。
2. 前記素材データは動き予測符号化方式によって符号化された符号化データであって、
   前記符号化手段の前段に、前記符号化データから、フレーム単位の画像を生成するフレーム生成手段をさらに備えることを特徴とする請求項１に記載のノンリニア編集装置。
3. ノンリニア編集装置において、映像の素材データを編集するために、コンピュータを、
   前記素材データの各フレームに対してフレーム内符号化を行うことで、符号化フレームを生成する符号化手段、
   この符号化手段で生成された符号化フレームのデータ長が、予め定めた規定データ長となるように、前記符号化フレームにダミーデータを付加するダミーデータ付加手段、
   変更区間のフレームの相対位置を示す編集データと、前記規定データ長とに基づいて、前記ダミーデータが付加された符号化フレームで構成されるストリームデータにおいて、前記変更区間のフレームの絶対位置を探索する変更区間探索手段、
   この変更区間探索手段で探索された変更区間に対応するフレーム間のストリームデータを、変更用の差し替えデータに差し替える差し替え手段、
   として機能させることを特徴とするノンリニア編集プログラム。
4. 映像の素材データを編集して生成されるストリームデータに対して、部分的な差し替えを行うノンリニア編集装置におけるデータ差し替え方法であって、
   符号化手段によって、前記素材データの各フレームに対してフレーム内符号化を行うことで、符号化フレームを生成する符号化ステップと、
   ダミーデータ付加手段によって、前記符号化フレームのデータ長が、予め定めた規定データ長となるように、前記符号化フレームにダミーデータを付加するダミーデータ付加ステップと、
   変更区間探索手段によって、変更区間のフレームの相対位置を示す編集データと、前記規定データ長とに基づいて、前記ダミーデータが付加された符号化フレームで構成されるストリームデータにおいて、前記変更区間のフレームの絶対位置を探索する変更区間探索ステップと、
   差し替え手段によって、前記変更区間探索手段で探索された変更区間に対応するフレーム間のストリームデータを、変更用の差し替えデータに差し替える差し替えステップと、
   を含むことを特徴とするノンリニア編集装置におけるデータ差し替え方法。

Images