JP2011217272A - 映像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 階層符号化された映像データを外部の再生装置に転送するにあたり、映像データを転送先の再生装置の表示能力に適した解像度で、かつ、全ての画角の映像データを含むように、転送用の映像データを生成する映像処理装置及び映像処理装置の制御方法を提供する。
【解決手段】 基準レイヤよりも解像度の高い高解像度レイヤが存在する場合、基準レイヤ及び高解像度レイヤの画角情報を比較し、基準レイヤよりも画角が広い高解像度レイヤが存在するか否かを判定する（ステップＳ１７）。基準レイヤよりも画角が広い高解像度レイヤが存在する場合、高解像度レイヤに対応する映像データを少なくとも表示解像度以下となるように解像度変換し（ステップＳ１８）、解像度変換された高解像度レイヤに対応する映像データと、高解像度レイヤ以外の複数の解像度レイヤの各々に対応する映像データとを階層符号化する（ステップＳ１９）。
【選択図】 図３

Description

本発明は、画角の異なる複数の映像データを階層符号化した階層符号化映像データを外部の再生装置に転送する映像処理装置及びその制御方法に関するものである。

近年、ハードディスクレコーダ等の録画機器に蓄積した映像データを携帯端末等の再生装置に転送する機能が普及してきている。このような映像データ転送機能では、転送先の再生装置の能力に合った映像データを転送する技術が検討されている。

特許文献１では、転送先の再生装置から表示解像度の情報を取得することで、取得した情報に基づいて映像データを転送先の再生装置に適した解像度に変換する技術が記載されている。

特許文献２では、映像データが転送先の再生装置での再生に適している場合は映像データをそのまま転送し、適していない場合は映像データを再符号化して転送する技術が記載されている。

特開２００１−１３６３７１号公報 特開２００６−０６７５７６号公報

このような映像データ転送機能を用いて、Ｈ．２６４／ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格などに定められた階層符号化技術を用いて階層符号化された映像データを転送する場合も考えられる。

Ｈ．２６４／ＳＶＣ規格で符号化された映像データは、複数の解像度レイヤ（複数の解像度の映像データ）によって構成されている。そのため、Ｈ．２６４／ＳＶＣ規格によって符号化された映像データを外部の再生装置に転送する場合、転送先の再生装置で不要な解像度レイヤを削除することで、転送先の再生装置にマッチした解像度の映像データを転送することが可能である。しかし、Ｈ．２６４／ＳＶＣ規格では、解像度レイヤ毎に異なる画角、すなわち、表示される映像の範囲を設定できるため、解像度と画角が共に異なる複数のレイヤで映像データが階層符号化されているケースがある。このケースにおいて、不要な解像度のレイヤであるからといって、そのレイヤを削除してしまうと、そのレイヤの画角の映像は再生することができなくなる。

つまり、解像度の情報を用いてレイヤを削除して転送すると、削除されるレイヤによっては、転送先の再生装置で再生できる映像データの画角の種類が制限されてしまうという問題が考えられる。

一方、上記問題の解決策として、レイヤを削除することなく、階層符号化された映像データをそのまま外部の再生装置に転送した場合、レイヤの構成によっては、再生装置の表示能力を超えた解像度の映像データまでもが転送されてしまうことがある。このように、階層符号化された映像データをそのまま転送するのは非効率であり、場合によっては再生装置への転送時間の増大や、再生装置の記憶容量を圧迫するという問題を生じさせる。

上述した各特許文献に記載の技術では、こうした課題の解決方法は提案されていない。

そこで本発明は、階層符号化された映像データを外部の再生装置に転送するにあたり、映像データを転送先の再生装置の表示能力に適した解像度で、かつ、全ての画角の映像データを含むように、転送用の映像データを生成する映像処理装置及び映像処理装置の制御方法を提供することを目的とする。

上記目的を達成するために、本発明の映像処理装置は、階層符号化された符号化映像データを通信可能に接続された再生装置に出力する映像処理装置であって、前記再生装置における表示部の表示解像度情報を取得する取得手段と、前記再生装置に転送する符号化映像データに含まれる複数の解像度レイヤの各々に対応する映像データの解像度情報と前記表示解像度情報とを比較し、前記表示解像度と等しい又は前記表示解像度に最も近い解像度を有する映像データに対応する解像度レイヤを基準レイヤとして設定する設定手段と、前記基準レイヤよりも解像度の高い高解像度レイヤが存在するか否かを判定する第１の判定手段と、高解像度レイヤが存在する場合、当該基準レイヤ及び前記高解像度レイヤの画角情報を比較し、前記基準レイヤよりも画角が広い高解像度レイヤが存在するか否かを判定する第２の判定手段と、前記基準レイヤよりも画角が広い高解像度レイヤが存在することが前記第２の判定手段で判定された場合、当該高解像度レイヤに対応する映像データを少なくとも前記表示解像度以下となるように解像度変換処理する変換手段と、前記変換手段で解像度変換処理された高解像度レイヤに対応する映像データと、当該高解像度レイヤ以外の複数の解像度レイヤの各々に対応する映像データとを、階層符号化する符号化手段と、前記符号化手段で符号化された符号化映像データを前記再生装置に出力する出力手段と、を有する。

以上説明したように、本発明によれば、階層符号化された映像データを外部の再生装置に転送するにあたり、映像データを転送先の再生装置の表示能力に適した解像度で、かつ、全ての画角の映像データを含むように、転送用の映像データを生成する。そのため、転送先の再生装置の表示能力に適した解像度で映像データを転送しても、転送先の再生装置で全ての画角の映像を視聴することができる。

本発明の実施例１に係る映像処理装置の概略構成を示すブロック図である。 本発明の実施例１に係るＨ．２６４／ＳＶＣ規格における階層間の画角の設定について説明する図である。 本発明の実施例１に係る映像処理装置における制御を説明するためのフローチャートである。 本発明の実施例１に係るＨ．２６４／ＳＶＣ規格で符号化された映像データの例を示す図である。 本発明の実施例１に係る映像処理装置における再符号化処理について説明するためのフローチャートである。 本発明の実施例１に係るＨ．２６４／ＳＶＣ規格で符号化された映像データのうち、再符号化後の映像データの例を説明する図である。

以下、添付図面を参照して、本発明の実施例を説明する。

以下、本発明の実施例１について図面を参照して説明する。実施例１では、図１に示す映像処理装置１００から外部再生装置２００に対して符号化映像データの転送を行う。映像処理装置１００及び外部再生装置２００では、Ｈ．２６４／ＳＶＣ規格で符号化された符号化映像データを復号し、表示部に表示可能である。

実施例１に適用されるＨ．２６４／ＳＶＣ規格で符号化された符号化映像データは、図４（ｂ）に示すように異なる解像度を有する複数の解像度レイヤによって構成される。さらに、各々の解像度レイヤは、図４（ａ）に示すようにそれぞれ画角が異なる解像度レイヤによって構成することも可能である。

図１を参照して、映像処理装置１００について説明する。受信部１０１は、アンテナ１から放送波を受信・復調し、ＭＰＥＧ−２ ＴＳ形式のコンテンツデータを取得する。取得したコンテンツデータには、Ｈ．２６４／ＳＶＣ規格で符号化された符号化映像データ、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）で符号化された符号化音声データが多重化されている。

また、受信部１０１は、後述するリモコン制御部１１０の指示に基づいて、受信したコンテンツデータを蓄積部１０２に蓄積する。分離部１０３は、受信部１０１が受信したコンテンツデータ、または、蓄積部１０２に蓄積されたコンテンツデータから符号化映像データと符号化音声データとを分離する。分離された符号化映像データは、映像復号部１０４によって復号され、復号された映像をモニタ２に表示する。

分離された符号化音声データは、音声復号部１０５によって復号され、復号された音声がスピーカ３から出力される。

また、分離部１０３は、リモコン制御部１１０の指示に基づいて、蓄積部１０２に蓄積されたコンテンツデータから外部再生装置２００に出力するコンテンツデータを選択し、符号化映像データと符号化音声データとに分離する。分離された符号化映像データは画角判定部１０６に出力され、分離された符号化音声データは多重部１０９に出力される。

画角判定部１０６は、外部再生装置２００から取得する表示解像度情報に基づいて、符号化映像データをレイヤ削除部１０７に出力するか、再符号化部１０８に出力するか、多重部１０９に出力するかを判定する。画角判定部１０６の詳細ついては後述する。

レイヤ削除部１０７は、画角判定部１０６から出力された符号化映像データから、外部再生装置２００の表示解像度よりも高解像度の解像度レイヤを削除する。また、レイヤ削除部１０７は、解像度レイヤが削除された映像データを多重部１０９に出力する。

再符号化部１０８は、画角判定部１０６から出力された映像データの解像度レイヤの解像度が、外部再生装置２００の表示解像度以下になるようにＨ．２６４／ＳＶＣ規格で再符号化する。また、再符号化部１０８は、再符号化された符号化映像データを多重部１０９に出力する。再符号化部１０８での再符号化処理の詳細については後述する。

多重部１０９は、レイヤ削除部１０７、または、再符号化部１０８、または、画角判定部１０６から出力された符号化映像データと、分離部１０３で分離された符号化音声データとを多重化し、外部再生装置２００に出力する。外部再生装置２００と映像処理装置１００は不図示の通信手段で通信可能に接続されている。

リモコン制御部１１０は、リモコン４から受信した制御信号に基づいて、受信部１０１または分離部１０３に対して、コンテンツデータの蓄積や蓄積されたコンテンツデータの再生及び転送等の指示を行う。

画角判定部１０６では、Ｈ．２６４／ＳＶＣ規格で符号化された符号化映像データに含まれる解像度レイヤの画角の違いを判定する。ここで、Ｈ．２６４／ＳＶＣ規格における画角の設定について説明する。

なお、以下の説明において、シーケンス、ピクチャ、スライスとは、映像符号化の単位を示している。シーケンスは動画像全体を示し、ピクチャは動画像中の１枚の画像を示し、スライスはピクチャをさらに細分化したものを示している。

Ｈ．２６４／ＳＶＣ規格では、上位レイヤのピクチャと下位レイヤのピクチャとの端点のずれを設定することによって、解像度レイヤ毎に画角を設定することができる。具体的には、上位レイヤのピクチャと下位レイヤのピクチャとの上下左右のオフセット位置を設定することができる。

図２は、ピクチャＡ（上位レイヤのピクチャ）とピクチャＢ（下位レイヤのピクチャ）とのオフセット情報を示した図である。なお、ピクチャＡはピクチャＢより広い画角が設定されたピクチャである。図２に示すように、ピクチャＡ（上位レイヤのピクチャ）とピクチャＢ（下位レイヤのピクチャ）とのフレーム端点のずれを示したオフセット情報には、次の４つの情報が存在する。なお、以下で説明するオフセット情報は、シーケンス全体の符号化に関わる情報が設定されているシーケンス・パラメータ・セット、または、スライスの符号化に関わる情報が設定されているスライス・ヘッダで設定される。

ＳｃａｌｅｄＲｅｆＬａｙｅｒＬｅｆｔＯｆｆｓｅｔは、ピクチャＡの左上端点からピクチャＢの左上端点までの水平方向のオフセット値である。ＳｃａｌｅｄＲｅｆＬａｙｅｒＴｏｐＯｆｆｓｅｔは、ピクチャＡの左上端点からピクチャＢの左上端点までの垂直方向のオフセット値である。ＳｃａｌｅｄＲｅｆＬａｙｅｒＲｉｇｈｔＯｆｆｓｅｔは、ピクチャＡの右下端点からピクチャＢの右下端点までの水平方向のオフセット値である。ＳｃａｌｅｄＲｅｆＬａｙｅｒＢｏｔｔｏｍＯｆｆｓｅｔは、ピクチャＡの右下端点からピクチャＢの右下端点までの垂直方向のオフセット値である。

オフセット情報が全て０である場合は、ピクチャＡとピクチャＢが同じ画角であることを意味する。オフセット情報の値が全て正の値である場合は、ピクチャＢよりピクチャＡの画角が広いことを意味する。つまり、図２の状態のように、ピクチャＡの画角の中にピクチャＢが包含されている状態である。一方、オフセット情報の値が全て負の値である場合は、ピクチャＢの画角の中にピクチャＡが包含された状態であることを意味する。

画角判定部１０６における画角判定処理では、各オフセット情報に１つでも正の値が含まれている場合に、下位レイヤより上位レイヤの画角が広いと判定する。なお、Ｈ．２６４／ＳＶＣ規格では、下位レイヤの幅の値は上位レイヤの幅の値から左のオフセット値と右のオフセット値を引いた値に等しいと定められている。したがって、上位レイヤの幅の値から下位レイヤの幅の値を引いた値は、左のオフセット値と右のオフセット値とを加算した値と等しい。そのことから、オフセット値が正である場合、上位レイヤの方が大きくなり、オフセット値が負である場合、下位レイヤの方が大きくなる。

画角判定部１０６における画角判定処理について、図３のフローチャートを参照して説明する。

図３のフローチャートでは、図４に示す構成のＨ．２６４／ＳＶＣ規格で符号化された映像データが画角判定部１０６に入力される場合について説明する。

なお、図４（ａ）に示す符号化映像データでは、３２０×１８０画素（レイヤＡ）、１０２４×５７６画素（レイヤＢ）、１９２０×１０８０画素（レイヤＣ）の３種類の解像度レイヤを有する。また、図４（ｂ）に示す符号化映像データも、３２０×１８０画素（レイヤＤ）、１０２４×５７６画素（レイヤＥ）、１９２０×１０８０画素（レイヤＦ）の３種類の解像度レイヤを有する。

図４（ａ）のケースでは、レイヤＢはレイヤＡとの差分の映像データが符号化されており、レイヤＣはレイヤＢとの差分の映像データが符号化されている。また、図４（ｂ）のケースでは、レイヤＥはレイヤＤとの差分の映像データが符号化されており、レイヤＦはレイヤＥとの差分の映像データが符号化されている。

図４（ａ）では、上位の解像度レイヤほど広い画角が設定されており、下位レイヤの画角は上位レイヤの画角内に包含される。すなわち、レイヤＣとレイヤＢとの間のオフセット情報の値は全て正の値であり、レイヤＢとレイヤＡとの間のオフセット情報の値も全て正の値である。このオフセット情報が各解像度レイヤの画角を示す画角情報に相当する。

また、図４（ｂ）では、全ての解像度レイヤで同じ画角が設定されている。すなわち、レイヤＥとレイヤＤとの間のオフセット情報の値は全て０であり、レイヤＦとレイヤＥとの間のオフセット情報の値も全て０である。

ステップＳ１１で画角判定部１０６は、分離部１０３から外部再生装置２００に転送する階層符号化映像データを取得する。

ステップＳ１２で画角判定部１０６は、外部再生装置２００の表示解像度の情報を取得する。例えば、映像処理装置１００と外部再生装置２００がＨＤＭＩで接続されている場合、外部再生装置２００内のメモリに記憶されているＥＤＩＤ（Ｅｘｔｅｎｄｅｄ Ｄｉｓｐｌａｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ）を取得することで、表示解像度の情報が取得できる。

ステップＳ１３で画角判定部１０６は、外部再生装置２００の表示解像度より高い解像度の解像度レイヤがあるか否かを、ステップＳ１１で取得した階層符号化映像データの解像度情報と表示解像度を比較して判定する。階層符号化映像データの解像度情報は、シーケンス全体の符号化に関する情報を保持するヘッダであるＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）に、各レイヤの映像データを構成するフレーム画像データ１枚あたりの画素数が含まれているので、この値を解像度情報として用いる。外部再生装置２００の表示解像度が３８４０×２１６０画素であるとすると、図４（ａ）に示す映像データの例では、外部再生装置２００の表示解像度より高い解像度の高解像度レイヤが存在しないと画角判定部１０６は判定する。また、外部再生装置２００の表示解像度が１０２４×５７６画素であるとすると、図４（ａ）に示す映像データの１９２０×１０８０画素のレイヤＣが表示解像度より高い解像度の高解像度レイヤであるため、画角判定部１０６は表示解像度より高い解像度の高解像度レイヤが存在すると判定する。

ステップＳ１３において、外部再生装置２００の表示解像度より高い解像度の高解像度レイヤが存在することが明らかになった場合、ステップＳ１４の処理に移行する。一方、ステップＳ１３において、外部再生装置２００の表示解像度と同じ解像度の解像度レイヤが存在しないことが明らかになった場合は、画角判定部１０６はステップＳ１１で取得した符号化映像データをそのまま多重部１０９に出力する。

ステップＳ１４では、画角判定部１０６は外部再生装置２００の表示解像度と同じ解像度の解像度レイヤが符号化映像データに含まれているか否かを判定する。外部再生装置２００の表示解像度が１０２４×５７６画素であるとした場合、図４（ａ）に示す映像データの例では、外部再生装置２００の表示解像度と同じ１０２４×５７６画素のレイヤＢが存在する。また、外部再生装置２００の表示解像度が７２０×４８０画素である場合、図４（ａ）に示す映像データの例では、外部再生装置２００の表示解像度と同じ解像度の解像度レイヤが存在しない。

ステップＳ１４において、外部再生装置２００の表示解像度と同じ解像度の解像度レイヤが存在することが明らかになった場合、ステップＳ１５の処理に移行する。一方、外部再生装置２００の表示解像度と同じ解像度の解像度レイヤが存在しないと判定された場合は、ステップＳ２１の処理に移行する。

ステップＳ１５では、画角判定部１０６は外部再生装置２００と同じ解像度の解像度レイヤを基準レイヤとして設定する。外部再生装置２００の表示解像度が１０２４×５７６画素である場合、図４（ａ）に示す映像データの例では、画角判定部１０６は１０２４×５７６画素のレイヤＢを基準レイヤとして設定する。

なお、後述する再符号化処理を行う上で、外部再生装置２００の表示解像度と同等又は表示解像度より１つ高い解像度の高解像度レイヤよりも上位の解像度のレイヤに、表示解像度と同等又は表示解像度より高い解像度の高解像度レイヤであって、表示解像度に最も近い解像度を有する解像度レイヤよりも広い画角を有するレイヤが存在するか否かを判定するための基準とするレイヤを基準レイヤと称している。

ステップＳ１６では、画角判定部１０６は、ステップＳ１５で設定された基準レイヤより上位に位置する解像度レイヤが符号化映像データに含まれているか否かを判定する。図４（ａ）に示す映像データの例では、レイヤＢが基準レイヤであるとすると、レイヤＢより上位にレイヤＣが存在するため、基準レイヤより解像度の高い、上位の高解像度レイヤが存在する。

ステップＳ１６において、基準レイヤより上位の解像度レイヤが存在すると判定された場合、ステップＳ１７に処理を移行する。一方、ステップＳ１６において、基準レイヤより上位の解像度レイヤが存在しないと判定された場合は、画角判定部１０６はステップＳ１１で取得した映像データをそのまま多重部１０９に出力する。

ステップＳ１７では、画角判定部１０６は、基準レイヤより上位の解像度レイヤから、基準レイヤより広い画角が設定された解像度レイヤがあるか否かを判定する。図４（ａ）に示す映像データにおいて基準レイヤがレイヤＢである場合、基準レイヤより上位の解像度レイヤはレイヤＣである。この場合、レイヤＢとレイヤＣとのオフセット情報に正の値が存在するため、基準レイヤより広い画角が設定された解像度レイヤが存在すると判定される。また、図４（ｂ）に示す映像データにおいて基準レイヤがレイヤＥである場合、基準レイヤより上位の解像度レイヤはレイヤＦである。この場合、レイヤＥとレイヤＦとのオフセット情報が全て０であるため、基準レイヤより広い画角が設定された解像度レイヤは存在しないと判定される。

画角判定部１０６は、ステップＳ１７において基準レイヤより広い画角が設定された解像度レイヤが存在すると判定した場合、ステップＳ１８に処理を移行する。一方、ステップＳ１７において基準レイヤより広い画角が設定された解像度レイヤが存在しないと判定した場合は、ステップＳ２０に処理を移行する。

ステップＳ１８では、画角判定部１０６は、ステップＳ１１で取得した符号化映像データを再符号化部１０８に出力するとともに、解像度変換する解像度レイヤの情報を再符号化部１０８に通知する。再符号化部１０８では、符号化映像データに含まれる解像度レイヤの解像度が外部再生装置２００の表示解像度以下になるように、通知された解像度レイヤに対して解像度変換処理を施す。

その後、ステップＳ１９において、解像度変換された解像度レイヤを含む全ての解像度レイヤの映像データをＨ．２６４／ＳＶＣ規格で定められた符号化方式で再符号化する。再符号化部１０８における解像度変換処理及び再符号化処理の詳細については後述する。

ステップＳ２０では、画角判定部１０６は、ステップＳ１１で取得した符号化映像データをレイヤ削除部１０７に出力するとともに、削除する解像度レイヤの情報をレイヤ削除部１０７に通知する。レイヤ削除部１０７では、画角判定部１０６から取得した映像データのうち、基準レイヤより上位の解像度レイヤを削除する。図４（ｂ）に示す映像データの例では、基準レイヤがレイヤＥである場合、レイヤ削除部１０７では図６（ｂ）に示すようにレイヤＥより上位の解像度レイヤＦを映像データから削除した状態とする。

解像度レイヤの削除は、削除対象の解像度レイヤに対応したｄｅｐｅｎｄｅｎｃｙ＿ｉｄがヘッダに含まれているＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットを削除する方法が挙げられる。Ｈ．２６４／ＳＶＣ規格では、解像度レイヤ毎にレイヤの識別情報に相当するｄｅｐｅｎｄｅｎｃｙ＿ｉｄが付加されている。また、符号化データはスライス単位でＮＡＬユニットに格納されており、このＮＡＬユニットのヘッダにｄｅｐｅｎｄｅｎｃｙ＿ｉｄが含まれている。したがって、削除対象の解像度レイヤに対応するｄｅｐｅｎｄｅｎｃｙ＿ｉｄを含むＮＡＬユニットを削除することで、符号化映像データから削除対象の解像度レイヤを削除することが可能となる。

続いて、再符号化部１０８における、Ｈ．２６４／ＳＶＣ規格で符号化された映像データの解像度変換処理及び再符号化処理について、図５のフローチャートを参照して説明する。

図５のフローチャートでは、図４（ａ）に示す映像データを再符号化して図６（ａ）に示す映像データを生成する場合について説明する。なお、図４（ａ）に示す映像データでは、上位の解像度レイヤほど広い画角が設定されている。すなわち、レイヤＣが全景を映した映像であり、レイヤＢがレイヤＣの部分映像、レイヤＡがレイヤＢの部分映像となっている。

ステップＳ３１では、再符号化部１０８は、ステップＳ１１で入力された符号化映像データを復号する。つまり、復号によって、レイヤＡに対応する映像データ、レイヤＢに対応する映像データ及び、レイヤＣに対応する映像データの３つの映像データが生成される。

ステップＳ３２では、再符号化部１０８は、ステップＳ３１で復号した映像データのうち、外部再生装置２００の表示解像度より解像度が高い映像データを、外部再生装置２００と同じ解像度に変換する。外部再生装置２００の表示解像度が１０２４×５７６画素である場合、図４（ａ）に示す映像データの例では、レイヤＣに対応する映像データの解像度を１９２０×１０８０画素から１０２４×５７６画素に変換する。このようにレイヤＣの解像度を変換することで、図６（ａ）に示すようにレイヤＣ’に相当する映像データが生成される。なお、解像度の変換処理にはどのような手法を用いても良い。

ステップＳ３３では、再符号化部１０８は、レイヤＣ’に相当する復号映像データ、レイヤＢに相当する復号映像データ、レイヤＡに相当する復号映像データの全ての復号映像データをＨ．２６４／ＳＶＣ規格で定められた符号化方式で符号化しなおす。その後、再符号化部１０８は、ステップＳ３３で符号化された映像データを多重部１０９に出力する。

以上の処理により、表示解像度と同じ解像度の解像度レイヤを有し、かつ、表示レイヤよりも上位の解像度レイヤがあり、かつ、当該上位レイヤが基準レイヤよりも画角が広いレイヤである場合でも、表示解像度に対応する解像度を上限として生成しなおした階層符号化映像データを生成することができる。

一方、表示解像度と同じ解像度の解像度レイヤが無かった場合には、ステップＳ２１で画角判定部１０６は外部再生装置２００の表示解像度より高い解像度の解像度レイヤであって、表示解像度に最も近い解像度を有する解像度レイヤを基準レイヤとして設定する。外部再生装置２００の表示解像度が７２０×４８０画素である場合、図４（ａ）に示す映像データの例では、画角判定部１０６は、１０２４×５７６画素のレイヤＢを基準レイヤとして設定する。

ステップＳ２２では、画角判定部１０６はステップＳ１６と同様の判定を行う。ステップＳ２２において、基準レイヤより上位の解像度レイヤが存在すると判定された場合、ステップＳ２３に処理を移行する。一方、ステップＳ２２において、基準レイヤより上位の解像度レイヤが存在しないと判定された場合は、ステップＳ２６に処理を移行する。

ステップＳ２３では、画角判定部１０６はステップＳ１７と同様の判定を行う。画角判定部１０６は、ステップＳ２３において基準レイヤより広い画角が設定された解像度レイヤが存在すると判定した場合、ステップＳ２４に処理を移行する。一方、ステップＳ２３において基準レイヤより広い画角が設定された解像度レイヤが存在しないと判定した場合は、ステップＳ２５に処理を移行する。

ステップＳ２４では、画角判定部１０６は、ステップＳ１１で取得した符号化映像データを再符号化部１０８に出力するとともに、解像度変換する解像度レイヤの情報を再符号化部１０８に通知する。再符号化部１０８では、符号化映像データに含まれる解像度レイヤの解像度が外部再生装置２００の表示解像度以下になるように解像度変換する。当該フローでは、ステップＳ２１において表示解像度より高い解像度であって、表示解像度に最も近い解像度を有する解像度レイヤを基準レイヤとしており、かつ、ステップＳ２２において、基準レイヤよりも上位の解像度レイヤがあると判定されている。そのため、ステップＳ２４では基準レイヤと基準レイヤよりも上位の解像度レイヤを全て表示解像度以下となるように解像度変換処理を施す。

その後、ステップＳ２７において、再符号化部１０８はステップＳ１９の処理と同様に、ステップＳ２４において解像度変換された高解像度レイヤと、当該高解像度レイヤ以外の全ての解像度レイヤの映像データを再符号化する。

一方、ステップＳ２２において、画角判定部１０６が基準レイヤよりも上記の解像度レイヤは無いと判定した場合は、外部再生装置２００の表示解像度を超えるのは基準レイヤだけである。したがって、ステップＳ２６で画角判定部１０６は、ステップＳ１１で取得した符号化映像データを再符号化部１０８に出力するとともに、解像度変換する解像度レイヤの情報を再符号化部１０８に通知する。再符号化部１０８では、基準レイヤの解像度が外部再生装置２００の表示解像度以下になるように、通知された解像度レイヤに対して解像度変換処理を施す。

その後、ステップＳ２７において、再符号化部１０８は解像度変換された解像度レイヤを含む全ての解像度レイヤの映像データをＨ．２６４／ＳＶＣ規格で定められた符号化方式で再符号化する。再符号化部１０８は再符号化された符号化映像データを多重部１０９に出力し、多重部１０９は音声データなどと多重化処理を行い、符号化映像データを外部再生装置２００に出力する。

ステップＳ２３において、画角判定部１０６が基準レイヤより広い画角が設定された解像度レイヤが存在しないと判定した場合は、ステップＳ２５に処理を移行する。ステップＳ２５では、レイヤ削除部１０７がステップＳ２０と同様の処理を行い、基準レイヤの上位レイヤを削除する。

その後、処理をステップＳ２６に移行し、以後は上述したステップＳ２６及びステップＳ２７と同様の処理を行う。

以上説明したように、実施例１では、階層符号化された映像データを外部の再生装置に転送するにあたり、映像データを転送先の再生装置の表示能力に適した解像度で、かつ、全ての画角の映像データを含むように、転送用の映像データを生成する。そのため、転送先の再生装置の表示能力に適した解像度で映像データを転送しても、転送先の再生装置で全ての画角の映像を視聴することができる。解像度レイヤ間で異なる画角が設定された映像を外部再生装置に転送する場合でも、外部再生装置の表示能力に合った映像を全ての画角が視聴可能な形態で外部再生装置に転送することができる。

なお、実施例１では、階層符号化方式としてＨ．２６４／ＳＶＣ規格を適用した場合について説明したが、本発明ではこの階層符号化方式に限定されるものではない。

また、実施例１では、放送波から階層符号化映像データを取得する場合について説明したが、インターネットやリムーバブルメディア等から階層符号化映像データを取得することも可能である。

上述した実施例では、画角判定部１０６は、表示解像度と同等の解像度の解像度レイヤが存在しない場合、外部再生装置２００の表示解像度より高い解像度の解像度レイヤであって、表示解像度に最も近い解像度を有する解像度レイヤを基準レイヤとして設定している。しかし、本発明は、表示解像度より低い解像度の解像度レイヤであって、表示解像度に最も近い解像度を有する解像度レイヤを基準レイヤとして設定しても良い。この場合、基準レイヤは表示解像度と同等の解像度になるように解像度変換（アップコンバート）することになり、基準レイヤ及び表示解像度よりも高い解像度を有する解像度レイヤについては、表示解像度と同等の解像度になるように解像度変換（ダウンコンバート）されることになる。

また、画角判定部１０６は、表示解像度と同等の解像度の解像度レイヤが存在しない場合、解像度レイヤのうち、表示解像度との差分が小さい解像度レイヤを基準レイヤとする方法を採用することも可能である。

Claims (6)

1. 階層符号化された符号化映像データを通信可能に接続された再生装置に出力する映像処理装置であって、
   前記再生装置における表示部の表示解像度情報を取得する取得手段と、
   前記再生装置に転送する符号化映像データに含まれる複数の解像度レイヤの各々に対応する映像データの解像度情報と前記表示解像度情報とを比較し、前記表示解像度と等しい又は前記表示解像度に最も近い解像度を有する映像データに対応する解像度レイヤを基準レイヤとして設定する設定手段と、
   前記基準レイヤよりも解像度の高い高解像度レイヤが存在するか否かを判定する第１の判定手段と、
   高解像度レイヤが存在する場合、当該基準レイヤ及び前記高解像度レイヤの画角情報を比較し、前記基準レイヤよりも画角が広い高解像度レイヤが存在するか否かを判定する第２の判定手段と、
   前記基準レイヤよりも画角が広い高解像度レイヤが存在することが前記第２の判定手段で判定された場合、当該高解像度レイヤに対応する映像データを少なくとも前記表示解像度以下となるように解像度変換処理する変換手段と、
   前記変換手段で解像度変換処理された高解像度レイヤに対応する映像データと、当該高解像度レイヤ以外の複数の解像度レイヤの各々に対応する映像データとを、階層符号化する符号化手段と、
   前記符号化手段で符号化された符号化映像データを前記再生装置に出力する出力手段と、
   を有することを特徴とする映像処理装置。
2. 前記第２の判定手段で前記基準レイヤの画角よりも広い画角を有していないと判定された高解像度レイヤを削除する削除手段を有することを特徴とする請求項１に記載の映像処理装置。
3. 前記基準レイヤの解像度が前記表示解像度に最も近い解像度であって、前記表示解像度よりも大きい値の解像度である場合には、前記変換手段は前記基準レイヤの解像度を前記表示解像度以下となるように解像度変換処理することを特徴とする請求項１または２に記載の映像処理装置。
4. 階層符号化された符号化映像データを通信可能に接続された再生装置に出力する映像処理装置の制御方法であって、
   前記再生装置における表示部の表示解像度情報を取得する取得ステップと、
   前記再生装置に転送する符号化映像データに含まれる複数の解像度レイヤの各々に対応する映像データの解像度情報と前記表示解像度情報とを比較し、前記表示解像度と等しい又は前記表示解像度に最も近い解像度を有する映像データに対応する解像度レイヤを基準レイヤとして設定する設定ステップと、
   前記基準レイヤよりも解像度の高い高解像度レイヤが存在するか否かを判定する第１の判定ステップと、
   高解像度レイヤが存在する場合、当該基準レイヤ及び前記高解像度レイヤの画角情報を比較し、前記基準レイヤよりも画角が広い高解像度レイヤが存在するか否かを判定する第２の判定ステップと、
   前記基準レイヤよりも画角が広い高解像度レイヤが存在することが前記第２の判定ステップで判定された場合、当該高解像度レイヤに対応する映像データを少なくとも前記表示解像度以下となるように解像度変換処理する変換ステップと、
   前記変換ステップで解像度変換処理された高解像度レイヤに対応する映像データと、当該高解像度レイヤ以外の複数の解像度レイヤの各々に対応する映像データとを、階層符号化する符号化ステップと、
   前記符号化ステップで符号化された符号化映像データを前記再生装置に出力する出力ステップと、
   を有することを特徴とする映像処理装置の制御方法。
5. 前記第２の判定ステップで前記基準レイヤの画角よりも広い画角を有していないと判定された高解像度レイヤを削除する削除ステップを有することを特徴とする請求項４に記載の映像処理装置の制御方法。
6. 前記基準レイヤの解像度が前記表示解像度に最も近い解像度であって、前記表示解像度よりも大きい値の解像度である場合には、前記変換ステップでは前記基準レイヤの解像度を前記表示解像度以下となるように解像度変換処理することを特徴とする請求項４または５に記載の映像処理装置の制御方法。

Images