JP5977235B2

JP5977235B2 - 映像補間方法

Info

Publication number: JP5977235B2
Application number: JP2013519579A
Authority: JP
Inventors: リー，テミー; ハン，ウ−ジン
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2010-07-09
Filing date: 2011-07-11
Publication date: 2016-08-24
Anticipated expiration: 2031-07-11
Also published as: WO2012005558A3; BR112013000554A2; KR20120005991A; CN103119935A; WO2012005558A2; US9317896B2; US20130156346A1; MY182191A; EP2592833A2; EP2592833A4; CN103119935B; KR101686945B1; JP2013534119A

Description

本発明は、映像を補間する方法及びその装置に係り、さらに詳細には、整数ピクセル間のサブピクセルのピクセル値を補間する方法及びその装置に関する。

映像符号化、復号化方法では、映像を符号化するために１枚のピクチャをマクロブロックに分割する。その後、インター予測（inter prediction）またはイントラ予測（intra prediction）を利用して、それぞれのマクロブロックを予測符号化する。

インター予測は、ピクチャ間の時間的な重複性を除去して映像を圧縮する方法であり、動き予測符号化が代表的な例である。動き予測符号化は、少なくとも１枚の参照ピクチャを利用して、現在ピクチャのブロックをそれぞれ予測する。所定の評価関数を利用して、現在ブロックと最も類似した参照ブロックを所定の検索範囲で検索する。

現在ブロックを、参照ブロックに基づいて予測し、現在ブロックから、予測結果として生成された予測ブロックを減算して生成された残差ブロックを符号化する。このとき、予測をさらに正確に行うために、参照ピクチャの検索範囲に対して補間を行い、整数ピクセルより小さいサブピクセルを生成し、生成されたサブピクセル精度を有する参照ピクチャに基づいてインター予測を行う。

本発明が解決しようとする技術的課題は、整数ピクセル単位のピクセル値間を補間し、サブピクセル単位のピクセル値を生成する映像補間方法及びその装置を提供することである。

本発明の一実施形態によれば、サブピクセルの位置によって、互いに異なる特性を有する複数個の補間フィルタのうち一つをあらかじめ設定し、サブピクセルの位置によって設定された補間フィルタを選択してサブピクセルの補間を行う。

本発明によれば、映像をさらに精密に補間することができ、さらに高い圧縮効率で映像を符号化／復号化することができる。

本発明の一実施形態による映像符号化装置を図示する図面である。本発明の一実施形態による映像復号化装置を図示する図面である。本発明の一実施形態による階層的符号化単位を図示する図面である。本発明の一実施形態による符号化単位に基づいた映像符号化部を図示する図面である。本発明の一実施形態による符号化単位に基づいた映像復号化部を図示する図面である。本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を図示する図面である。本発明の一実施形態による、符号化単位及び変換単位を図示する図面である。本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を図示する図面である。本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を図示する図面である。本発明の一実施形態による映像を補間する装置を図示する図面である。本発明の一実施形態による、サブピクセル補間のための補間フィルタを選択する過程を説明するための参照図である。本発明の一実施形態による整数ピクセルと同一の行または列に位置したサブピクセルを補間する過程について説明するための参照図である。図１０の１／２サブピクセルｊ１０１４の補間過程について説明するための参照図である。図１０の１／４サブピクセルｆ１０１０、１／４サブピクセルｉ１０１３、１／４サブピクセルｋ１０１５及び１／４サブピクセルｎ１０１８の補間過程について説明するための参照図である。図１０の１／４サブピクセルｅ１００９、１／４サブピクセルｇ１０１１、１／４サブピクセルｍ１０１５及び１／４サブピクセルｏ１０１９の補間過程について説明するための参照図である。本発明の一実施形態による映像補間方法を示したフローチャートである。

本発明の一実施形態による映像を補間する方法は、整数ピクセル間のサブピクセルの位置によって、互いに異なる補間フィルタを選択する段階と、前記選択された補間フィルタを利用して、前記サブピクセル位置でのサブピクセル値を生成する段階と、を含むことを特徴とする。

本発明の一実施形態による映像を補間する装置は、整数ピクセル間のサブピクセルの位置によって、互いに異なる補間フィルタを選択する補間フィルタ選択部と、前記選択された補間フィルタを利用して、前記サブピクセル位置でのサブピクセル値を生成する補間部と、を含むことを特徴とする。

本発明の他の実施形態による映像を補間する方法は、整数ピクセルが含まれるブロックの大きさ、及び前記サブピクセルの位置によって、前記整数ピクセル間のサブピクセル補間のための互いに異なる特性を有する補間フィルタをあらかじめ設定し、前記ブロックの大きさ、及び前記サブピクセルの位置によって、補間に利用する補間フィルタを選択する段階と、前記選択された補間フィルタを利用して、前記サブピクセル位置でのサブピクセル値を生成する段階と、を含むことを特徴とする。

本発明の他の実施形態による映像を補間する装置は、整数ピクセルが含まれるブロックの大きさ、及び前記サブピクセルの位置によって、前記整数ピクセル間のサブピクセル補間のための互いに異なる特性を有する補間フィルタをあらかじめ設定し、前記ブロックの大きさ、及び前記サブピクセルの位置によって、補間に利用する補間フィルタを選択する補間フィルタ選択部と、前記選択された補間フィルタを利用して、前記サブピクセル位置でのサブピクセル値を生成する補間部と、を含むことを特徴とする。

以下、図面を参照しつつ、本発明の実施形態について詳細に説明する。

図１は、本発明の一実施形態による映像符号化装置を図示している。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０及び符号化情報符号化部１４０を含む。

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在フレームまたは現在スライスを分割することができる。現在フレームまたは現在スライスを、少なくとも１つの最大符号化単位に分割することができる。

本発明の一実施形態によれば、最大符号化単位及び深度を利用して、符号化単位が表現される。前述のように、最大符号化単位は、現在フレームの符号化単位のうち、大きさが最大である符号化単位を示し、深度は、符号化単位が階層的に縮小された程度を示す。深度が大きくなりながら、符号化単位は、最大符号化単位から最小符号化単位まで縮小され、最大符号化単位の深度は、最小深度に定義され、最小符号化単位の深度は、最大深度に定義される。最大符号化単位は、深度が大きくなるにつれて、深度別符号化単位の大きさは小さくなるので、ｋ深度のサブ符号化単位は、ｋより大きい深度の複数個のサブ符号化単位を含むことができる。

符号化されるフレームの大きさが大きくなるにつれて、さらに大きい単位に映像を符号化すれば、さらに高い映像圧縮率で映像を符号化することができる。しかし、符号化単位を大きくし、その大きさを固定させてしまえば、続けて変わる映像の特性を反映し、効率的に映像を符号化することができない。

例えば、海または空に係わる平坦な領域を符号化するときには、符号化単位を大きくするほど圧縮率が向上するが、人またはビルに係わる複雑な領域を符号化するときには、符号化単位を小さくするほど圧縮率が向上する。

このために、本発明の一実施形態は、フレームまたはスライスごとに異なる大きさの最大映像符号化単位を設定して最大深度を設定する。最大深度は、符号化単位が縮小される最大回数を意味するので、最大深度によって、最大映像符号化単位に含まれた最小符号化単位サイズを可変的に設定することができる。

符号化深度決定部１２０は、最大深度を決定する。最大深度は、Ｒ−Ｄコスト（rate-distortion cost）計算に基づいて決定される。最大深度は、フレームまたはスライスごとに異なるように決定されるか、あるいはそれぞれの最大符号化単位ごとに異なるように決定されもする。決定された最大深度は、符号化情報符号化部１４０に出力され、最大符号化単位別映像データは、映像データ符号化部１３０に出力される。

最大深度は、最大符号化単位に含まれる最小サイズの符号化単位、すなわち、最小符号化単位を意味する。言い換えれば、最大符号化単位は、異なる深度によって異なる大きさのサブ符号化単位に分割される。図８Ａ及び図８Ｂを参照して詳細に後述する。また、最大符号化単位に含まれた異なる大きさのサブ符号化単位は、異なる大きさの処理単位に基づいて、予測または変換される。変換は、空間ドメインのピクセル値を周波数ドメインの係数に変換するものであり、離散コサイン変換（discrete cosine transform）またはＫＬＴ（Karhunen Loever transform）であってもよい。

言い換えれば、映像符号化装置１００は、映像符号化のための複数の処理段階を多様な大きさ及び多様な形態の処理単位に基づいて、遂行することができる。映像データの符号化のためには、予測、変換、エントロピ符号化などの処理段階を経るが、全ての段階にわたって、同一サイズの処理単位が利用されもし、段階別で異なるサイズの処理単位を利用することもできる。

例えば、映像符号化装置１００は、所定の符号化単位を予測するため、符号化単位と異なる処理単位を選択することができる。

符号化単位の大きさが、２Ｎｘ２Ｎ（ただし、Ｎは正の整数）である場合、予測のための処理単位は、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。言い換えれば、符号化単位の高さまたは幅のうち、少なくとも一つを半分にする形態の処理単位を基に、動き予測が行われる。以下、予測の基になる処理単位を「予測単位」とする。

予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよく、特定予測モードは、特定サイズまたは形態の予測単位についてのみ遂行される。例えば、イントラモードは、正方形である２Ｎｘ２Ｎ，ＮｘＮサイズの予測単位についてのみ遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズの予測単位についてのみ遂行される。符号化単位内部に複数の予測単位があれば、それぞれの予測単位について予測を行い、符号化誤差が最小である予測モードが選択される。

また、映像符号化装置１００は、符号化単位と異なる大きさの処理単位に基づいて、映像データを変換することができる。符号化単位の変換のために、符号化単位より小さいか、あるいは同じ大きさのデータ単位を基に変換が行われる。以下、変換の基になる処理単位を「変換単位」とする。

符号化深度決定部１２０は、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して、最大符号化単位に含まれたサブ符号化単位を決定することができる。言い換えれば、最大符号化単位が、いかなる形態の複数のサブ符号化単位に分割されるかを決定することができるが、ここで、複数のサブ符号化単位は、深度によって大きさが異なる。その後、映像データ符号化部１３０は、符号化深度決定部１２０で決定された分割形態に基づいて、最大符号化単位を符号化してビットストリームを出力する。

符号化情報符号化部１４０は、符号化深度決定部１２０で決定された最大符号化単位の符号化モードに係わる情報を符号化する。最大符号化単位の分割形態に係わる情報、最大深度に係わる情報、及び深度別サブ符号化単位の符号化モードに係わる情報を符号化し、ビットストリームを出力する。サブ符号化単位の符号化モードに係わる情報は、サブ符号化単位の予測単位に係わる情報、予測単位別予測モード情報、サブ符号化単位の変換単位に係わる情報などを含んでもよい。

最大符号化単位の分割形態に係わる情報は、それぞれの符号化単位について分割いかんを示す情報であってもよい。例えば、最大符号化単位を分割して符号化する場合、最大符号化単位について分割いかんを示す情報を符号化し、最大符号化単位を分割し、生成されたサブ符号化単位をさらに分割して符号化する場合にも、それぞれのサブ符号化単位について、分割いかんを示す情報を符号化する。分割いかんを示す情報は、分割いかんを示すフラグ情報であってもよい。

最大符号化単位ごとに異なる大きさのサブ符号化単位が存在し、それぞれのサブ符号化単位ごとに、符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。

映像符号化装置１００は、深度が大きくなるにつれて、最大符号化単位の高さ及び幅を半分にし、サブ符号化単位を生成することができる。すなわち、ｋ深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、ｋ＋１深度の符号化単位の大きさは、ＮｘＮである。

従って、一実施形態による映像符号化装置１００は、映像の特性を考慮した最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の分割形態を決定することができる。映像特性を考慮して、可変的に最大符号化単位の大きさを調節し、異なる深度のサブ符号化単位に最大符号化単位を分割して映像を符号化することにより、多様な解像度の映像をさらに効率的に符号化することができる。

図２は、本発明の一実施形態による映像復号化装置を図示している。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を含む。

映像関連データ獲得部２１０は、映像復号化装置２００が受信したビットストリームをパージングし、最大符号化単位別に映像データを獲得し、映像データ復号化部２３０に出力する。映像データ獲得部２１０は、現在フレームまたはスライスに係わるヘッダから、現在フレームまたはスライスの最大符号化単位に係わる情報を抽出することができる。言い換えれば、ビットストリームを最大符号化単位に分割し、映像データ復号化部２３０が、最大符号化単位ごとに映像データを復号化する。

符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングし、現在フレームに係わるヘッダから、最大符号化単位、最大深度、最大符号化単位の分割形態、サブ符号化単位の符号化モードについての情報を抽出する。分割形態及び符号化モードについての情報は、映像データ復号化部２３０に出力される。

最大符号化単位の分割形態に係わる情報は、最大符号化単位に含まれた深度によって異なる大きさのサブ符号化単位に係わる情報を含んでもよい。前述のように、分割形態に係わる情報は、それぞれの符号化単位について符号化された分割いかんを示す情報（例えば、フラグ情報）であってもよい。符号化モードについての情報は、サブ符号化単位別予測単位に係わる情報、予測モードに係わる情報、及び変換単位に係わる情報などを含んでもよい。

映像データ復号化部２３０は、符号化情報抽出部で抽出された情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在フレームを復元する。

最大符号化単位の分割形態に係わる情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化することができる。復号化過程は、イントラ予測過程、動き補償を含むインター予測過程及び逆変換過程を含んでもよい。

映像データ復号化部２３０は、サブ符号化単位の予測のために、サブ符号化単位別予測単位に係わる情報、及び予測モードに係わる情報に基づいて、イントラ予測またはインター予測を行うことができる。また、映像データ復号化部２３０は、サブ符号化単位の変換単位に係わる情報に基づいて、サブ符号化単位ごとに逆変換を行うことができる。

図３は、本発明の一実施形態による階層的符号化単位を図示している。図３を参照すれば、本発明による階層的符号化単位は、幅ｘ高さが６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８及び４ｘ４を含んでもよい。正方形状の符号化単位以外にも、幅ｘ高さが６４ｘ３２、３２ｘ６４、３２ｘ１６、１６ｘ３２、１６ｘ８、８ｘ１６、８ｘ４、４ｘ８である符号化単位が存在する。

図３を参照すれば、解像度が１９２０ｘ１０８０である映像データ３１０について、最大符号化単位の大きさが６４ｘ６４、最大深度が２に設定されている。

解像度が１９２０ｘ１０８０である他の映像データ３２０について、最大符号化単位の大きさが６４ｘ６４、最大深度が４に設定されている。解像度が３５２ｘ２８８であるビデオデータ３３０について、最大符号化単位の大きさが１６ｘ１６、最大深度が２に設定されている。

解像度が高いか、あるいはデータ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、映像データ３３０に比べ、解像度が高い映像データ３１０及び３２０は、最大符号化単位の大きさが６４ｘ６４に選択される。

最大深度は、階層的符号化単位で、全階層数を示す。映像データ３１０の最大深度は、２であるので、映像データ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、深度が増加するにつれて、長軸サイズが３２，１６であるサブ符号化単位まで含んでもよい。

一方、映像データ３３０の最大深度が２であるので、映像データ３３０の符号化単位３３５は、長軸サイズが１６である最大符号化単位から、深度が増加するにつれて、長軸サイズが８，４である符号化単位まで含んでもよい。

映像データ３２０の最大深度が４であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、深度が増加するにつれて、長軸サイズが３２，１６，８，４であるサブ符号化単位まで含んでもよい。深度が増加するほど、さらに小さいサブ符号化単位に基づいて映像を符号化するので、さらに細密な場面を含んでいる映像を符号化するのに適する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部を図示している。
イントラ予測部４１０は、現在フレーム４０５において、イントラモードの予測単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位について、現在フレーム４０５及び参照フレーム４９５を利用して、インター予測及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて残差値が生成され、生成された残差値は、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。

量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、再び残差値に復元され、復元された残差値は、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経てビットストリーム４５５として出力される。

本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて映像符号化過程を処理する。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部を図示している。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部（５３０）を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て残差値に復元される。残差値は、イントラ予測部５５０のイントラ予測の結果、または動き補償部５６０の動き補償の結果と加算され、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループ・フィルタリング部５８０を経て、次の符号化単位または次のフレームの予測に利用される。

本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部４００の構成要素である、パージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて映像復号化過程を処理する。

特に、イントラ予測部５５０、動き補償部５６０は、最大符号化単位及び深度を考慮し、サブ符号化単位内の予測単位及び予測モードを決定し、逆変換部５４０は、変換単位の大きさを考慮して逆変換を行う。

図６は、本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を図示している。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、映像特性を考慮し、符号化／復号化を行うために、階層的な符号化単位を利用する。最大符号化単位及び最大深度は、映像の特性によって適応的に設定されるか、あるいはユーザの要求によって多様に設定される。

本発明の一実施形態による符号化単位の階層構造６００は、最大符号化単位６１０の高さ及び幅が６４であり、最大深度が４である場合を図示している。符号化単位の階層構造６００の縦軸に沿って深度が増加し、深度の増加によって、サブ符号化単位６２０ないし６５０の幅及び高さが縮小される。また、符号化単位の階層構造６００の横軸に沿って、最大符号化単位６１０及びサブ符号化単位６２０ないし６５０の予測単位が図示されている。

最大符号化単位６１０は、深度が０であり、符号化単位の大きさ、すなわち、幅及び高さが６４ｘ６４である。縦軸に沿って深度が増加し、サイズ３２ｘ３２である深度１のサブ符号化単位６２０、サイズ１６ｘ１６である深度２のサブ符号化単位６３０、サイズ８ｘ８である深度３のサブ符号化単位６４０、サイズ４ｘ４である深度４のサブ符号化単位６５０が存在する。サイズ４ｘ４である深度４のサブ符号化単位６５０は、最小符号化単位である。

図６を参照すれば、それぞれの深度別に、横軸に沿って、予測単位の例示が図示されている。すなわち、深度０の最大符号化単位６１０の予測単位は、サイズ６４ｘ６４の符号化単位６１０と同一であるか、あるいはそれより小サイズであるサイズ６４ｘ６４の予測単位６１０、サイズ６４ｘ３２の予測単位６１２、サイズ３２ｘ６４の予測単位６１４、サイズ３２ｘ３２の予測単位６１６であってもよい。

深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０と同一であるか、あるいはそれより小サイズであるサイズ３２ｘ３２の予測単位６２０、サイズ３２ｘ１６の予測単位６２２、サイズ１６ｘ３２の予測単位６２４、サイズ１６ｘ１６の予測単位６２６であってもよい。

深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０と同一であるか、あるいはそれより小サイズであるサイズ１６ｘ１６の予測単位６３０、サイズ１６ｘ８の予測単位６３２、サイズ８ｘ１６の予測単位６３４、サイズ８ｘ８の予測単位６３６であってもよい。

深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０と同一であるか、あるいはそれより小サイズであるサイズ８ｘ８の予測単位６４０、サイズ８ｘ４の予測単位６４２、サイズ４ｘ８の予測単位６４４、サイズ４ｘ４の予測単位６４６であってもよい。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最大深度の符号化単位であり、予測単位は、サイズ４ｘ４の予測単位６５０である。しかし、最大深度の符号化単位であるとして、必ずしも符号化単位と予測単位との大きさが同一であるという必要はなく、他の符号化単位６１０ないし６５と同様に、符号化単位より小サイズの予測単位に分割して予測を行うこともできる。

図７は、本発明の一実施形態による、符号化単位及び変換単位を図示している。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位そのまま符号化するか、あるいは最大符号化単位より小さいか、あるいは同じサブ符号化単位に最大符号化単位を分割して符号化する。符号化過程のうち変換のための変換単位の大きさも、符号化単位及び予測単位と関係なく、最も高い圧縮率のための大きさに選択される。例えば、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して、変換が行われる。

図８Ａ及び図８Ｂは、本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を図示している。

図８Ａは、本発明の一実施形態による符号化単位及び予測単位を図示している。図８Ａの左側は、最大符号化単位８１０を符号化するためで本発明の一実施形態による映像符号化装置１００が選択した分割形態を図示する。映像符号化装置１００は、多様な形態に最大符号化単位８１０を分割し、符号化した後で多様な分割形態の符号化結果をＲ−Ｄコストに基づいて比較し、最適の分割形態を選択する。最大符号化単位８１０をそのまま符号化することが最適である場合には、図８Ａ及び図８Ｂのように、最大符号化単位８１０を分割せずに、最大符号化単位８１０を符号化することもできる。

図８Ａの左側を参照すれば、深度０である最大符号化単位８１０を、深度１以上のサブ符号化単位に分割して符号化する。最大符号化単位８１０を４つの深度１のサブ符号化単位に分割した後、全部または一部の深度１のサブ符号化単位を、さらに深度２のサブ符号化単位に分割する。

深度１のサブ符号化単位のうち、右側上部に位置したサブ符号化単位、及び左側下部に位置したサブ符号化単位が、深度２以上のサブ符号化単位に分割される。深度２以上のサブ符号化単位のうち一部は、さらに深度３以上のサブ符号化単位に分割される。

図８Ｂの右側は、最大符号化単位８１０に係わる予測単位の分割形態を図示している。

図８Ａの右側を参照すれば、最大符号化単位に係わる予測単位８６０は、最大符号化単位８１０と異なるように分割される。言い換えれば、サブ符号化単位それぞれに係わる予測単位は、サブ符号化単位より小さい。

例えば、深度１のサブ符号化単位のうち、右側下部に位置したサブ符号化単位８５４に係わる予測単位は、サブ符号化単位８５４より小さい。深度２のサブ符号化単位８１０４，８１６，８１８，８２８，８５０，８５２のうち、一部サブ符号化単位８１５，８１６，８５０，８５２に係わる予測単位は、サブ符号化単位より小さい。

また、深度３のサブ符号化単位８２２，８３２，８４８に係わる予測単位は、サブ符号化単位より小さい。予測単位は、それぞれのサブ符号化単位を、高さ方向または幅方向に半分にした形態でもあり、高さ方向及び幅方向に４分した形態でもある。

図８Ｂは、本発明の一実施形態による予測単位及び変換単位を図示している。図８Ｂの左側は、図８Ａの右側に図示された最大符号化単位８１０に係わる予測単位の分割形態を図示し、図８Ｂの右側は、最大符号化単位８１０の変換単位の分割形態を図示する。

図８Ｂの右側を参照すれば、変換単位８７の分割形態は、予測単位８６０と異なるように設定される。

例えば、深度１の符号化単位８５４に係わる予測単位が、高さを半分にした形態に選択されても、変換単位は、深度１の符号化単位８５４の大きさと同一サイズに選択される。同様に、深度２の符号化単位８１４，８５０に係わる予測単位が、深度２の符号化単位８１４，８５０の高さを半分にした形態に選択されても、変換単位は、深度２の符号化単位８１４，８５０の本来サイズと同一サイズに選択される。

予測単位よりさらに小サイズに変換単位が選択されもする。例えば、深度２の符号化単位８５２に係わる予測単位が、幅を半分にした形態に選択された場合、変換単位は、予測単位よりさらに小サイズである高さ及び幅を半分にした形態に選択される。

以下、図４の本発明の一実施形態による映像符号化装置４００の動き推定部４２０、動き補償部４２５、及び図５の映像復号化装置５００の動き補償部５５０で遂行される映像補間過程について具体的に説明する。以下の説明で、前述の予測単位は、ブロックと称する。

図９は、本発明の一実施形態による映像を補間する装置を図示している。

映像補間は、低画質の映像を高画質に変換するとき利用される。インターレース（interlace）映像をプログレシブ（progressive）映像に変換するとき利用されたり、低画質の映像をアップサンプリング（up-sampling）し、高画質の映像に変換するときに利用されたりする。また、図４の映像符号化装置４００が映像を符号化するとき、動き推定部４２０及び動き補償部４２５は、補間された参照フレームを利用して、インター予測を行うことができる。参照フレーム４９５を補間して高画質の映像を生成し、高画質の映像に基づいて、動き推定及び補償を行うことにより、インター予測の正確度を高めることができる。同様に、映像復号化装置５００が映像を復号化するときにも、動き補償部５５０は、補間された参照フレームを利用して、動き補償を行うことにより、インター予測の正確度を高めることができる。すなわち、本発明の一実施形態による映像補間装置は、図４の映像符号化装置４００の動き推定部及び動き補償部４２５、図５の動き補償部５５０に含まれるか、あるいはそれらと結合して動作することができる。

図９を参照すれば、本発明の一実施形態による映像補間装置９００は、補間フィルタ選択部９１０及び補間部９２０を含む。

補間フィルタ選択部９１０は、互いに異なる特性を有する複数個の補間フィルタのうち、補間しようとするサブピクセルの位置によって、適用する補間フィルタをあらかじめ設定し、現在補間しようとするサブピクセルの位置によって設定された補間フィルタ情報を出力する。補間フィルタ選択部９１０によって選択されて各サブピクセルに適用される補間フィルタは、互いに異なるタップ（tap）数を有するか、あるいは互いに異なる係数を有するか、あるいは互いに異なる補間方向及び補間形態など多様な特性を有する補間フィルタのうち、あらかじめサブピクセル位置ごとに設定された補間フィルタであってもよい。具体的には、補間フィルタ選択部９１０は、補間されるピクセルが含まれるブロックの大きさによって、適用する補間フィルタをあらかじめ設定し、補間しようとするピクセルが含まれるブロックの大きさによってあらかじめ設定された補間フィルタを適用させる。すなわち、補間フィルタ選択部９１０は、ブロックの大きさによって、互いに異なるタップ数、係数、補間方向及び補間形態を有する複数個の補間フィルタのうち、各サブピクセル位置ごとに適用する補間フィルタをあらかじめ設定し、入力された補間しようとするブロックの大きさ、及びサブピクセルの位置によって設定された補間フィルタに係わる情報を出力する。例えば、補間フィルタ選択部９１０は、ブロックの大きさに比例するタップ数を有し、各サブピクセル位置ごとに、互いに異なる特性を有する補間フィルタをあらかじめ設定し、現在補間しようとするブロックの大きさ及びサブピクセルの位置によって設定された補間フィルタを出力することができる。また、補間フィルタ選択部９１０は、サブピクセル位置ごとに、補間時に、水平方向の周辺ピクセルを利用するか、あるいは垂直方向の周辺ピクセルを利用するか、あるいは対角線方向の周辺ピクセルを利用するか、補間方向をあらかじめ設定することができる。また、補間フィルタ選択部９１０は、サブピクセル位置ごとに、補間時に、一次元形態の補間フィルタを利用するか、あるいは垂直方向及び水平方向の周辺ピクセルを利用する十字形状の補間フィルタを利用するか、あるいは二次元のｍｘｎ（ｍ、ｎは整数）サイズのマスク内に具備された周辺ピクセルを利用する補間フィルタを利用するか、補間形態をあらかじめ設定することができる。

補間部９２０は、選択された補間フィルタを利用して、サブピクセル位置でのサブピクセル値を生成する。

図１０は、本発明の一実施形態による、サブピクセル補間のための補間フィルタを選択する過程について説明するための参照図である。図１０を参照すれば、補間フィルタ選択部９１０は、整数ピクセルＡ１００１、整数ピクセルＢ１００２、整数ピクセルＣ１００３、及び整数ピクセルＤ１００４の間の補間しようとするサブピクセルの位置によって、互いに異なる補間フィルタのうち一つを選択する。前述のように、補間フィルタ選択部９１０は、互いに異なる特性を有する複数個の補間フィルタのうち、補間しようとするサブピクセルの位置によって、適用する補間フィルタをあらかじめ設定し、現在補間しようとするサブピクセルの位置によって設定された補間フィルタ情報を出力することができる。

具体的には、補間フィルタ選択部９１０は、互いに異なるタップ数及び係数、補間方向及び形態を有する複数個の補間フィルタのうち、サブピクセルの位置によって、適用する補間フィルタをあらかじめ設定し、サブピクセルの位置によって、複数個の補間フィルタのうち設定された補間フィルタ選択して出力する。例えば、補間フィルタ選択部９１０は、整数ピクセルＡ１００１と整数ピクセルＢ１００２との間の１／２サブピクセルｂ１００６、または整数ピクセルＡ１００１と整数ピクセルＣ１００３との間の１／２サブピクセルｈ１０１２の補間のための補間フィルタとして、｛８，−４０，１６０，１６０，−４０，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１１，４０，４０，−１１，４，−１｝／６４のような係数を有する８タップ補間フィルタ、｛−１，８，１６，２４，−４８，１６１，１６１，−４８、２４，−１６，８，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち一つをあらかじめ設定して補間フィルタ情報として出力する。また、補間フィルタ選択部９１０は、互いに異なる係数を有する複数個の補間フィルタのうち、整数ピクセルが含まれるブロックの大きさによって、互いに異なるタップ数を有する補間フィルタをあらかじめ設定し、ブロックの大きさによって設定されたタップ数を有する補間フィルタ情報を出力することができる。例えば、補間フィルタ選択部９１０は、現在ブロックの大きさが１６ｘ１６，３２ｘ３２，６４ｘ６４サイズのうち一つを有するとするとき、１６ｘ１６サイズのブロックに含まれたピクセルの補間のためには、６タップ補間フィルタ、３２ｘ３２サイズのブロックに含まれたピクセルの補間のためには８タップ補間フィルタ、６４ｘ６４サイズのブロックに含まれたピクセルの補間のためには１２タップ補間フィルタを設定し、現在ブロックの大きさによって設定された補間フィルタの情報を出力することができる。

また、補間フィルタ選択部９１０は、整数ピクセルＡ１００１と整数ピクセルＢ１００２との間の１／４サブピクセルａ１００５、または整数ピクセルＡ１００１と整数ピクセルＣ１００３との間の１／４サブピクセルｄ１００８の補間のための補間フィルタとして、｛８，−３２，２２４，７２，−２４，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタ、｛−１，５，−１２，２０，−４０，２２９，７６，−３２，１６，−８，４，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち一つを選択する。

同様に、補間フィルタ選択部９１０は、整数ピクセルＡ１００１と整数ピクセルＢ１００２との間の１／４サブピクセルｃ１００７、または整数ピクセルＡ１００１と整数ピクセルＣ１００３との間の１／４サブピクセルｌ１０１６の補間のための補間フィルタとして、１／４サブピクセルａ１００５及びサブピクセルｄ１００８の補間時に利用される補間フィルタ以外に、１／４サブピクセルａ１００５及びサブピクセルｄ１００８の補間時に利用される補間フィルタの係数をミラーリング、すなわち、対称にさせた係数を有する補間フィルタを利用することができる。特に、補間フィルタ選択部９１０は、現在補間される１／４サブピクセルと近い周辺ピクセルの値がさらに多く補間値に反映されるように、｛８，−３２，２２４，７２，−２４，８｝／２５６のような係数を有する６タップ補間フィルタの対称形態である｛８，−２４，７２，２２４，−３２，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタの対称形態である｛１，−５，１７，５８，−１０，４，−１｝／６４のような係数を有する７タップ補間フィルタ、｛−１，５，−１２，２０，−４０，２２９，７６，−３２，１６，−８，４，−１｝／２５６のような係数を有する１２タップ補間フィルタの対称形態である｛−１，４，−８，１６，−３２，７６，２２９，−４０，２０，−１２，５，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち一つをあらかじめ選択し、サブピクセル補間のための補間フィルタとして設定する。

補間フィルタ選択部９１０は、整数ピクセルＡ１００１、整数ピクセルＢ１００２、整数ピクセルＣ１００３及び整数ピクセルＤ１００４の真ん中に位置した１／２サブピクセルｊ１０１４の補間のための補間フィルタとして、｛８，−４０，１６０，１６０，−４０，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１１，４０，４０，−１１，４，−１｝／６４のような係数を有する８タップ補間フィルタ、｛−１，８，１６，２４，−４８，１６１，１６１，−４８，２４，−１６，８，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち一つを選択し、補間フィルタとしてあらかじめ設定することができる。そして、補間部９２０は、選択された補間フィルタを、１／２サブピクセルｊ１０１４と同一の行及び列に位置した１／２サブピクセルに適用し、１／２サブピクセルｊ１０１４のピクセル値を補間する。具体的な１／２サブピクセルｊ１０１４の補間過程については図１２で後述する。

補間フィルタ選択部９１０は、１／２サブピクセルｊ１０１４周辺の１／４サブピクセルｆ１０１０、１／４サブピクセルｉ１０１３、１／４サブピクセルｋ１０１５及び１／４サブピクセルｎ１０１８の補間時に、まず１／２サブピクセルｂ１００６、１／２サブピクセルｈ１０１２のように、整数ピクセル間の１／２サブピクセル補間のための補間フィルタとして、｛８，−４０，１６０，１６０，−４０，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１１，４０，４０，−１１，４，−１｝／６４のような係数を有する８タップ補間フィルタ、｛−１，８，１６，２４，−４８，１６１，１６１，−４８，２４，−１６，８，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち一つを選択し、あらかじめ適用する補間フィルタとして設定する。補間部９２０は、選択された補間フィルタを利用して、１／２サブピクセルを補間する。また、補間フィルタ選択部９１０は、補間部９２０によって補間された１／２サブピクセルに適用する補間フィルタとして、｛８，−３２，２２４，７２，−２４，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１０，５８，１７，−５，１｝のような係数を有する７タップ補間フィルタ、｛−１，５，−１２，２０，−４０，２２９，７６，−３２，１６，−８，４，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち一つを選択し、補間フィルタとして設定する。補間部９２０は、また１／２サブピクセルに選択された補間フィルタを適用し、１／４サブピクセルｆ１０１０、１／４サブピクセルｉ１０１３、１／４サブピクセルｋ１０１５及び１／４サブピクセルｎ１０１８を補間する。１／２サブピクセルｊ１０１４周辺の１／４サブピクセルｆ１０１０、１／４サブピクセルｉ１０１３、１／４サブピクセルｋ１０１５及び１／４サブピクセルｎ１０１８の補間過程については、図１３を参照して後述する。

補間フィルタ選択部９１０は、１／４サブピクセルｅ１００９、１／４サブピクセルｇ１０１１、１／４サブピクセルｍ１０１７及び１／４サブピクセルｏ１０１９の補間のために、｛８，−３２，２２４，７２，−２４，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタ、｛−１，５，−１２，２０，−４０，２２９，７６，−３２，１６，−８，４，−１｝／２５６のような係数を有する１２タップ補間フィルタ中の一つ、または前記補間フィルタの係数を対称にさせた補間フィルタのうち一つを選択し、補間フィルタとして設定する。具体的な補間過程については、図１４を参照して後述する。

図１１は、本発明の一実施形態による整数ピクセルと同一の行または列に位置したサブピクセルを補間する過程について説明するための参照図である。図１１で、サブピクセルａ，ｂ，ｃは、それぞれ図１０のサブピクセルａ，ｂ，ｃに対応する。

まず、１／２サブピクセルｂ１１０の補間過程について説明する。

補間フィルタ選択部９１０は、整数ピクセルＰ_−１１１２１と整数ピクセルＰ_１１１１１との間の１／２サブピクセルｂ１１００の補間のために、｛８，−４０，１６０，１６０，−４０，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１１，４０，４０，−１１，４，−１｝／６４のような係数を有する８タップ補間フィルタ、｛−１，８，１６，２４，−４８，１６１，１６１，−４８，２４，−１６，８，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち、あらかじめ設定された補間フィルタを選択する。１／２サブピクセルｂ１１００の補間のための補間フィルタとして、｛−１，４，−１１，４０，４０，−１１，４，−１｝／６４のような係数を有する８タップ補間フィルタが設定されて選択されたと仮定する。補間部９２０は、選択された補間フィルタを、１／２サブピクセルｂ１１００と同一行に位置した整数ピクセルに適用し、１／２サブピクセルｂ１１００のピクセル値を生成する。すなわち、補間部９２０は、１／２サブピクセルｂ１１００と同一行に位置した左側の整数ピクセル１１２０、及び右側に位置した整数ピクセル１１１０のピクセル値と係数との加重和を計算することにより、１／２サブピクセルｂ１１００のピクセル値を生成する。具体的には、整数ピクセルＰ_−４１１２４ないしＰ_４１１１４のピクセル値が図示されているように、それぞれＰｉの値を有すると仮定する。このような場合、補間部９２０は、次の数式：ｂ＝｛Ｐ_−４＊（−１）＋Ｐ_−３＊４＋Ｐ_−２＊（−１１）＋Ｐ_−１＊４０＋Ｐ_１＊４０＋Ｐ_２＊（−１１）＋Ｐ_３＊４＋Ｐ_４＊（−１｝＞＞ｎ（ｎは整数）の値を計算することにより、１／２サブピクセルｂ１１００のピクセル値を生成する。前記数学式で、「＞＞」は、右側シフト演算子であり、２＾ｎの値で除算を行うことに対応する。ｎの値は、タップ数及び係数を考慮して決定される。前述の図１０の整数ピクセルＡ１００１と整数ピクセルＣ１００３との間の１／２サブピクセルｈ１０１２は、同一列に位置した整数ピクセルを利用するという違いだけ除いて、１／２サブピクセルｂ１１００の補間過程と同一に補間される。

次に、１／４サブピクセルａ１１０１の補間過程について説明する。

補間フィルタ選択部９１０は、１／４サブピクセルａ１１０１の補間のために、｛８，−３２，２２４，７２，−２４，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタ、｛−１，５，−１２，２０，−４０，２２９，７６，−３２，１６，−８，４，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち、あらかじめ設定された補間フィルタを選択する。１／４サブピクセルａ１１０１の補間のための補間フィルタとして、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタが選択されたと仮定する。補間部９２０は、選択された補間フィルタを、１／４サブピクセルａ１１０１と同一行に位置した整数ピクセルに適用し、１／４サブピクセルａ１１０１のピクセル値を生成する。すなわち、補間部９２０は、１／４サブピクセルａ１１０１と同一行に位置した左側の整数ピクセル１１２０、及び右側に位置した整数ピクセル１１１０のピクセル値と係数との加重和を計算することにより、１／４サブピクセルａ１１０１のピクセル値を生成する。ただし、１／４サブピクセルａ１１０１の場合、整数ピクセルであるＰ_−１１１２１とＰ_１１１１１のうち、Ｐ_−１１１２１にさらに近いから、補間部９２０は、現在補間される１／４サブピクセルａ１１０１と近い左側の４個の整数ピクセル１１２１ないし１１２４と、右側の３個の整数ピクセルＰ_１１１１１，Ｐ_２１１１２，Ｐ_３１１１３を、補間に利用する整数ピクセルと決定し、係数との加重和を計算する。具体的には、補間部９２０は、次の数式：ｂ＝｛Ｐ_−４＊（−１）＋Ｐ_−３＊４＋Ｐ_−２＊（−１）＋Ｐ_−１＊５８＋Ｐ_１＊１７＋Ｐ_２＊（−５＋Ｐ_３＊１｝＞＞ｎの値を計算することにより１／４サブピクセルａ１１０１のピクセル値を生成する。

同様に、補間フィルタ選択部９１０は、１／４サブピクセルｃ１１０２の補間のために、｛８，−３２，２２４，７２，−２４，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタ、｛−１，５，−１２，２０，−４０，２２９，７６，−３２，１６，−８，４，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち、あらかじめ設定された補間フィルタを選択して出力する。１／４サブピクセルｃ１１０２の補間のための補間フィルタとして、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタが選択されたと仮定する。補間部９２０は、選択された補間フィルタを、１／４サブピクセルｃ１１０２と同一行に位置した整数ピクセルに適用し、１／４サブピクセルｃ１１０２のピクセル値を生成する。補間部９２０は、現在補間される１／４サブピクセルと近い右側の４個の整数ピクセル１１１１ないし１１１４と、左側の３個の整数ピクセルＰ_−１１１２１，Ｐ_−２１１２２，Ｐ_−３１１２３を補間に利用する整数ピクセルとして決定し、係数との加重和を計算する。このとき、係数は、｛−１，４，−１０，５８，１７，−５，１｝／６４の値を対称にさせた｛１，−５，１７，５８，−１０，４，−１｝／６４を利用することができる。具体的には、補間部９２０は、次の数式：ｂ＝｛Ｐ_−３＊１＋Ｐ_−２＊（−５＋Ｐ_−１＊１７＋Ｐ_１＊５８＋Ｐ_２＊（−１）＋Ｐ_３＊４＋Ｐ_４＊（−１）｝＞＞ｎの値を計算することにより、１／４サブピクセルｃ１１０２のピクセル値を生成する。

前述の図１０の１／４サブピクセルｄ１００８、及び１／４サブピクセルｌ１０１６は、同一列に位置した整数ピクセルを利用するという違いだけ除き、図１１の１／４サブピクセルａ１１０１、及び１／４サブピクセルｃ１１０２の補間過程と同一に補間される。

図１２は、図１０の１／２サブピクセルｊ１０１４の補間過程について説明するための参照図である。

図１２を参照すれば、補間フィルタ選択部９１０は、１／２サブピクセルｊ１２１０の補間のための補間フィルタとして、｛８，−４０，１６０，１６０，−４０，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１１，４０，４０，−１１，４，−１｝／６４のような係数を有する８タップ補間フィルタ、｛−１，８，１６，２４，−４８，１６１，１６１，−４８，２４，−１６，８，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち、あらかじめ設定された補間フィルタを選択して出力する。１／２サブピクセルｊ１２１０の補間フィルタとして、｛−１，４，−１１，４０，４０，−１１，４，−１｝／６４のような係数を有する８タップ補間フィルタが選択されたと仮定する。補間部９２０は、選択された補間フィルタを、１／２サブピクセルｊ１２１０と同一の行及び列に位置した１／２サブピクセルに適用し、１／２サブピクセルｊ１２１０のピクセル値を補間する。具体的には、補間部９２０は、まず、１／２サブピクセルｊ１２１０と同一行の１／２サブピクセルｎｎ，ｍｍ，ｌｌ，ｈ，ｈｈ，ｉｉ，ｊｊ及びｋｋのピクセル値、及び同一列の１／２サブピクセルａａ，ｂｂ，ｃｃ，ｂ，ｄｄ，ｅｅ，ｆｆ，ｇｇを生成する。前述のように、１／２サブピクセルｎｎ，ｍｍ，ｌｌ，ｈ，ｈｈ，ｉｉ，ｊｊ，ｋｋ，ａａ，ｂｂ，ｃｃ，ｂ，ｄｄ，ｅｅ，ｆｆ，ｇｇは、図１０の１／２サブピクセルｂ１００６、及び１／２サブピクセルｈ１０１２と同一の補間過程を介して補間される。補間部９２０は、１／２サブピクセルｊ１２１０と同一の行及び列に位置した１／２サブピクセルと、選択された補間フィルタの係数との加重和を計算することにより、１／２サブピクセルｊ１２１０のピクセル値を生成する。具体的には、補間部９２０は、次の数式：ｊ＝｛｛ａａ＊（−１）＋ｂｂ＊４＋ｃｃ＊（−１）１＋ｂ＊４０＋ｄｄ＊４０＋ｅｅ＊（−１）１＋ｆｆ＊４＋ｇｇ＊（−１）｝＋｛ｎｎ＊（−１）＋ｍｍ＊４＋ｌｌ＊（−１）１＋ｈ＊４０＋ｈｈ＊４０＋ｉｉ＊（−１）１＋ｊｊ＊４＋ｋｋ＊（−１）｝｝＞＞ｎ（ｎは整数）の値を計算することにより、１／２サブピクセルｊ１２１０のピクセル値を生成する。また、補間部９２０は、同一の行及び列に位置した１／２サブピクセルのうち一つだけを選択して係数との加重和を求め、１／２サブピクセルｊ１２１０のピクセル値を生成することもできる。すなわち、補間部９２０は、次の数式：ｊ＝｛ａａ＊（−１）＋ｂｂ＊４＋ｃｃ＊（−１）１＋ｂ＊４０＋ｄｄ＊４０＋ｅｅ＊（−１）１＋ｆｆ＊４＋ｇｇ＊（−１）｝＞＞ｎ、またはｊ＝｛ｎｎ＊（−１）＋ｍｍ＊４＋ｌｌ＊（−１）１＋ｈ＊４０＋ｈｈ＊４０＋ｉｉ＊（−１）１＋ｊｊ＊４＋ｋｋ＊（−１）｝＞＞ｎを計算することにより、１／２サブピクセルｊ１２１０のピクセル値を生成することができる。

図１３は、図１０の１／４サブピクセルｆ１０１０、１／４サブピクセルｉ１０１３、１／４サブピクセルｋ１０１５及び１／４サブピクセルｎ１０１８の補間過程について説明するための参照図である。

まず、図１３を参照して、１／４サブピクセルｆ１３１０の補間過程について説明する。

補間フィルタ選択部９１０は、前述のように、｛８，−３２，２２４，７２，−２４，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタ、｛−１，５，−１２，２０，−４０，２２９，７６，−３２，１６，−８，４，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち、あらかじめ設定された補間フィルタを選択して出力し、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタが選択されたと仮定する。

補間部９２０は、１／４サブピクセルｆ１３１０と同一の列に位置した上側の４個の１／２サブピクセルａａ，ｂｂ，ｃｃ及びｂと、下側の３個の１／２サブピクセルｄｄ，ｅｅ，ｆｆと、選択された係数との加重和を計算することにより、１／４サブピクセルｆ１３１０のピクセル値を生成する。前述のように、１／２サブピクセルｎｎ，ｍｍ，ｌｌ，ｈ，ｈｈ，ｉｉ，ｊｊ，ｋｋ，ａａ，ｂｂ，ｃｃ，ｂ，ｄｄ，ｅｅ，ｆｆ，ｇｇは、図１０の１／２サブピクセルｂ１００６、及び１／２サブピクセルｈ１０１２のように補間される。具体的には、補間部９２０は、次の数式：ｆ＝｛ａａ＊（−１）＋ｂｂ＊４＋ｃｃ＊（−１）＋ｂ＊５８＋ｄｄ＊１７＋ｅｅ＊（−５＋ｆｆ＊１｝＞＞ｎの値を計算することにより、１／４サブピクセルｆ１３１０のピクセル値を生成する。

次に、１／４サブピクセルｎ１３４０の補間過程について説明する。補間フィルタ選択部９１０は、１／４サブピクセルｎ１３４０の補間のために、｛８，−３２，２２４，７２，−２４，８｝／２５６のような係数を有する６タップ補間フィルタ、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタ、｛−１，５，−１２，２０，−４０，２２９，７６，−３２，１６，−８，４，−１｝／２５６のような係数を有する１２タップ補間フィルタのうち、あらかじめ設定された補間フィルタを選択して出力し、｛−１，４，−１０，５８，１７，−５，１｝／６４のような係数を有する７タップ補間フィルタが選択されたと仮定する。

補間部９２０は、選択された補間フィルタを、１／４サブピクセルｎ１３４０と同一の列に位置した上側の３個の１／２サブピクセルｂｂ，ｃｃ及びｂと、下側の４個の１／２サブピクセルｄｄ，ｅｅ，ｆｆ，ｇｇと、選択された係数との加重和を計算することにより、１／４サブピクセルｎ１３１０のピクセル値を生成する。前述のように、係数として、１／４サブピクセルｎ１３４０と近い１／２サブピクセルのピクセル値が補間値にさらに多く反映されるように、｛−１，４，−１０，５８，１７，−５，１｝／６４の値を対称にさせた｛１，−５，１７，５８，−１０，４，−１｝／６４を利用することができる。具体的には、補間部９２０は、次の数式：ｎ＝｛ｂｂ＊１＋ｃｃ＊（−５＋ｂ＊１７＋ｄｄ＊５８＋ｅｅ＊（−１）＋ｆｆ＊４＋ｇｇ＊（−１）｝＞＞ｎの値を計算することにより、１／４サブピクセルｎ１３４０のピクセル値を生成する。

１／４サブピクセルｉ１３２０及び１／４サブピクセルｋ１３３０は、同一行に位置した１／２サブピクセルｎｎ，ｍｍ，ｌｌ，ｈ，ｈｈ，ｉｉ，ｊｊ，ｋｋを利用するという違いだけ除き、図１３の１／４サブピクセルｆ１３１０及び１／４サブピクセルｎ１３４０の補間過程と同一に補間される。

図１４は、図１０の１／４サブピクセルｅ１００９、１／４サブピクセルｇ１０１１，１／４サブピクセルｍ１０１５及び１／４サブピクセルｏ１０１９の補間過程について説明するための参照図である。

まず、図１４を参照して、１／４サブピクセルｅ１４１０の補間過程について説明する。

補間部９２０は、選択された補間フィルタを、１／４サブピクセルｅ１４１０と同一の行及び列に位置した１／４サブピクセルに適用し、１／４サブピクセルｅ１４１０のピクセル値を補間する。具体的には、補間部９２０は、まず、１／４サブピクセルｅ１４１０と同一行の１／４サブピクセルｅ１ないしｅ４、及びｇ１ないしｇ４と、同一列の１／４サブピクセルｅ５ないしｅ８、及びｍ５ないしｍ７を生成する。前述のように、１／４サブピクセルｅ１ないしｅ４、及びｇ１ないしｇ４、ｅ５ないしｅ８、及びｍ５ないしｍ７は、図１０の１／４サブピクセルａ１００５及び１／４サブピクセルｄ１００８のように補間される。補間部９２０は、１／４サブピクセルｅ１４１０と同一の行及び列に位置した１／４サブピクセルと、選択された補間フィルタの係数との加重和を計算することにより、１／４サブピクセルｅ１４１０のピクセル値を生成する。具体的には、補間部９２０は、次の数式：ｅ＝｛｛ｅ８＊（−１）＋ｅ７＊４＋ｅ６＊（−１）＋ｅ５＊５８＋ｍ５＊１７＋ｍ６＊（−５＋ｍ７＊１｝＋｛ｅ４＊（−１）＋ｅ３＊４＋ｅ２＊（−１）＋ｅ１＊５８＋ｇ１＊１７＋ｇ２＊（−５＋ｇ３＊１｝｝＞＞ｎの値を計算することにより、１／４サブピクセルｅ１４１０のピクセル値を生成する。また、補間部９２０は、同一の行及び列に位置した１／４サブピクセルのうち一つだけを選択して係数との加重和を求め、１／４サブピクセルｅ１４１０のピクセル値を生成することができる。すなわち、補間部９２０は、次の数式：ｅ＝｛ｅ８＊（−１）＋ｅ７＊４＋ｅ６＊（−１）＋ｅ５＊５８＋ｍ５＊１７＋ｍ６＊（−５＋ｍ７＊１｝＞＞ｎまたはｅ＝｛ｅ４＊（−１）＋ｅ３＊４＋ｅ２＊（−１）＋ｅ１＊５８＋ｇ１＊１７＋ｇ２＊（−５＋ｇ３＊１｝＞＞ｎを計算することにより、１／４サブピクセルｅ１４１０のピクセル値を生成することができる。

次に、１／４サブピクセルｍ１４３の補間過程について説明する。

補間部９２０は、選択された補間フィルタを、１／４サブピクセルｍ１４３と同一の行及び列に位置した１／４サブピクセルに適用し、１／４サブピクセルｍ１４３のピクセル値を補間する。具体的には、補間部９２０は、まず、１／４サブピクセルｍ１４３と同一行の１／４サブピクセルｍ１ないしｍ４、及びｏ１ないしｏ４と同一の列の１／４サブピクセルｅ５ないしｅ８、及びｍ５ないしｍ７を生成する。

前述のように、１／４サブピクセルｍ１ないしｍ４、及びｏ１ないしｏ４、ｅ５ないしｅ８、及びｍ５ないしｍ７は、図１０の１／４サブピクセルａ１００５、及び１／４サブピクセルｌ１０１６のように補間される。補間部９２０は、１／４サブピクセルｍ１４３と同一の行及び列に位置した１／４サブピクセルと、選択された補間フィルタの係数との加重和を計算することにより１／４サブピクセルｍ１４３のピクセル値を生成する。列方向に加重和を計算するとき、係数として、１／４サブピクセルｍ１４３と近い１／４サブピクセルのピクセル値が補間値にさらに多く反映されるように、｛−１，４，−１０，５８，１７，−５，１｝／６４の値を対称にさせた｛１，−５，１７，５８，−１０，４，−１｝／６４を列方向に適用することができる。具体的には、補間部９２０は、次の数式：ｍ＝｛｛ｅ７＊１＋ｅ６＊（−５）＋ｅ５＊１７＋ｍ５＊５８＋ｍ６＊（−１）＋ｍ７＊４＋ｍ８＊（−１）｝＋｛ｍ４＊（−１）＋ｍ３＊４＋ｍ２＊（−１）＋ｍ１＊５８＋ｏ１＊１７＋ｏ２＊（−５）＋ｏ３＊１｝｝＞＞ｎの値を計算することにより、１／４サブピクセルｍ１４３のピクセル値を生成する。また、補間部９２０は、同一の行及び列に位置した１／４サブピクセルのうち一つだけを選択して係数との加重和を求め、１／４サブピクセルｍ１４３のピクセル値を生成することができる。すなわち、補間部９２０は、次の数式：ｍ＝｛ｅ７＊１＋ｅ６＊（−５）＋ｅ５＊１７＋ｍ５＊５８＋ｍ６＊（−１）＋ｍ７＊４＋ｍ８＊（−１）｝＞＞ｎ、またはｍ＝｛｛ｍ４＊（−１）＋ｍ３＊４＋ｍ２＊（−１）＋ｍ１＊５８＋ｏ１＊１７＋ｏ２＊（−５）＋ｏ３＊１｝＞＞ｎを計算することにより、１／４サブピクセルｍ１４３のピクセル値を生成することができる。

１／４サブピクセルｇ１４２０及び１／４サブピクセルｏ１４４０も、前述の１／４サブピクセルｅ１４１０及び１／４サブピクセルｍ１４３０の補間過程と同様に、同一の行及び列に位置した１／４サブピクセルと、選択された補間フィルタの係数との加重和を利用して、補間される。

図１５は、本発明の一実施形態による映像補間方法を示したフローチャートである。図１５を参照すれば、段階１５１０で、補間フィルタ選択部９１０は、互いに異なる特性を有する複数個の補間フィルタのうち、補間しようとするサブピクセルの位置によって、適用する補間フィルタをあらかじめ設定し、現在補間しようとするサブピクセルの位置によって設定された補間フィルタ情報を出力する。前述のように、補間フィルタ選択部９１０は、サブピクセルの位置によって、互いに異なるタップ数、係数、補間方向及び補間形態を有する補間フィルタをあらかじめ設定し、補間しようとするサブピクセルの位置によって設定された補間フィルタを選択して出力する。

段階１５２０で、補間部９２０は、選択された補間フィルタを利用して、サブピクセル位置でのサブピクセル値を生成する。

本発明の一実施形態によれば、多様な係数及びタップ数、補間方向及び補間形態を有する補間フィルタを適用することができるので、映像特性によって、さらに効率的に補間が可能である。さらに向上した補間ピクチャを利用する場合、動き予測の予測効率が向上して映像の圧縮効率を上昇させることができる。

本発明はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能なコードとして保存されて実行される。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての違いは、本発明に含まれたものであると解釈されなければならないのである。

特表２００５−５３２７２５号公報

Claims

インター予測のための映像を補間する方法において、
整数ピクセル間のサブピクセルの位置によって、互いに異なる補間フィルタを選択する段階と、
前記選択された補間フィルタの係数で構成された補間フィルタを利用して、前記サブピクセルの位置でのサブピクセル値を生成する段階と、を含み、
前記位置は１／４画素位置及び２／４画素位置のうち少なくとも一つを含み、
前記位置が１／４画素位置である時、前記選択された補間フィルタ係数は７つのフィルタ係数｛−１，４，−１０，５８，１７，−５，１｝であり、
前記位置が２／４画素位置である時、前記選択された補間フィルタ係数は８つのフィルタ係数｛−１，４，−１１，４０，４０，−１１，４，−１｝であり、
前記映像は、符号化単位の最大サイズについての情報によって複数の最大符号化単位に分割され、
前記最大符号化単位は、分割情報によって現在深度と下位深度のうち少なくとも一つを含む深度の符号化単位に階層的に分割され、
前記分割情報が前記現在深度で分割されることを示す時、前記現在深度の符号化単位は、周辺符号化単位と独立して、前記下位深度の４つの符号化単位に分割され、
前記分割情報が前記現在深度で分割されないことを示す時、一つ以上の予測単位が前記現在深度の符号化単位から獲得されることを特徴とする映像補間方法。
前記互いに異なる補間フィルタを選択する段階は、
前記サブピクセルの位置によって、互いに異なるタップ数を有する補間フィルタを選択することを特徴とする請求項１に記載の映像補間方法。
前記互いに異なる補間フィルタを選択する段階は、
前記サブピクセルの位置によって、互いに異なるタップ係数を有する補間フィルタを選択することを特徴とする請求項１に記載の映像補間方法。
前記互いに異なる補間フィルタを選択する段階は、
互いに異なる特性を有する複数個の補間フィルタのうち、前記サブピクセルの位置によって、適用する補間フィルタをあらかじめ設定し、前記サブピクセルの位置によって設定された補間フィルタを選択することを特徴とする請求項１に記載の映像補間方法。
前記互いに異なる補間フィルタを選択する段階は、
前記サブピクセルの位置によって、互いに異なる補間方向、または互いに異なる補間形態を有する複数個の補間フィルタのうち、適用する補間フィルタをあらかじめ設定し、前記サブピクセルの位置によって設定された補間フィルタを選択することを特徴とする請求項１に記載の映像補間方法。