JP7229682B2 - ループフィルタ制御装置、画像符号化装置、画像復号装置、及びプログラム - Google Patents

Description

本発明は画像処理技術に関し、特にループフィルタ制御装置、画像符号化装置、画像復号装置、及びプログラムに関する。

近年、２次元画像と共に奥行き情報を容易に取得することができるカメラが増えてきている。代表的なものとして、赤外線センサーを用いたＭｉｃｒｏｓｏｆｔ社製のＫｉｎｅｃｔが挙げられ、将来的には２次元動画像と奥行き情報とがセットになった動画像が飛躍的に増加し、新たなサービスに応用されていくことが予想される。

また、従来の２次元符号化の方式としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５があり、その中に量子化処理によって生じる符号化歪み（ブロック歪み）を低減するデブロッキングフィルタが実装されている（例えば非特許文献１参照）。加えて、デブロッキングフィルタの処理の適用後にサンプルアダプティブオフセット（ＳＡＯ）の処理が行われる。これらはループフィルタと呼ばれ、これらのフィルタを用いることで、視覚的な画質向上を実現でき、また予測画像への画質劣化の伝搬を防ぐことが可能になっている。

また、特許文献１には、２次元動画像に付加された奥行き情報を用いて、デブロッキングフィルタの強度を設定するループフィルタ制御装置が記載されている。具体的には、かかるループフィルタ制御装置は、２つの隣接ブロックに含まれる奥行き情報を用いて、当該２つの隣接ブロックが同一のオブジェクト（被写体）に属するか否かを判定する。そして、同一のオブジェクトに属すると判定した場合、当該２つの隣接ブロックのブロック境界に対するデブロッキングフィルタのフィルタ強度を強くするよう設定する。

また、特許文献２には、視点画像を符号化した際に発生するブロックノイズを目立たなくする画像符号化装置が記載されている。具体的には、奥行き画像について、視点画像を符号化する際の符号化単位に応じた画素値の分布を分析し、この分析結果に基づき、視点画像の符号化時に適用するデブロッキングフィルタのフィルタ強度を決定する。

Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６）， "Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

特開２０１４－１４３５１５号公報 特開２０１３－１１０５３２号公報

しかしながら、特許文献１に記載のループフィルタ制御装置は、２つの隣接ブロックが同一のオブジェクトに属しており、かつ、当該２つの隣接ブロックのブロック境界がエッジ領域である場合であっても、当該ブロック境界に対するデブロッキングフィルタのフィルタ強度を強く設定してしまう。これにより、当該エッジ領域がぼやけて画質の劣化が生じてしまう。

このように、特許文献１に記載のループフィルタ制御装置は、エッジ領域の判定精度を高める点において改善の余地があった。

そこで、本発明は、エッジ領域の判定精度を高めてループフィルタ処理を適切に制御可能としたループフィルタ制御装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

第１の特徴に係るループフィルタ制御装置は、奥行き情報が付加された２次元画像に対してブロック単位で処理を行う画像処理装置のループフィルタを制御するループフィルタ制御装置であって、前記奥行き情報に基づいて、前記２次元画像内のブロック境界がエッジ領域であるか否かを判定する第１エッジ判定部と、前記２次元画像に基づいて、前記ブロック境界がエッジ領域であるか否かを判定する第２エッジ判定部と、前記第１エッジ判定部の判定結果及び前記第２エッジ判定部の判定結果に基づいて、前記２次元画像に対するループフィルタ処理を制御する制御部と、を備えることを要旨とする。

ここでエッジ領域とは、２次元画像中の画素値の変化が大きい領域（すなわち、２次元画像中で画素値が大きく切り替わる領域）をいい、ある程度の長さを有する。例えば、２次元画像中のオブジェクトと背景との境界や、２次元画像中のオブジェクト間の境界がエッジ領域であるが、同一のオブジェクト内にもエッジ領域は存在し得る。

第１の特徴に係るループフィルタ制御装置によれば、奥行き情報に基づいてエッジ判定を行うことにより、例えばオブジェクトと背景との間のエッジ領域を正しく判定できる。また、２次元画像に基づいてエッジ判定を行うことにより、同一オブジェクト内のエッジ領域や、奥行きが同等なオブジェクト間のエッジ領域も正しく判定できるため、エッジ領域の判定精度を高めることが可能である。よって、第１の特徴に係るループフィルタ制御装置は、ループフィルタ処理をより適切に制御できる。

第１の特徴に係るループフィルタ制御装置において、前記ループフィルタ処理は、デブロッキングフィルタ処理を含み、前記制御部は、前記第１エッジ判定部によりエッジ領域ではないと判定され、かつ、前記第２エッジ判定部によりエッジ領域ではないと判定されたブロック境界に対してのみ、前記デブロッキングフィルタ処理を適用するデブロッキングフィルタ制御部を備えてもよい。

かかるループフィルタ制御装置によれば、デブロッキングフィルタ処理を適用すべきブロック境界を適切に限定することができるため、デブロッキングフィルタ処理の演算処理量を削減できる。

第１の特徴に係るループフィルタ制御装置において、前記第２エッジ判定部は、前記第１エッジ判定部によりエッジ領域ではないと判定されたブロック境界に対してのみ、当該ブロック境界がエッジ領域であるか否かを判定してもよい。

かかるループフィルタ制御装置によれば、第２エッジ判定部が全てのブロック境界についてエッジ判定を行うのではなく一部のブロック境界についてのみエッジ判定を行えばよいため、第２エッジ判定部の処理負荷を削減できる。

第１の特徴に係るループフィルタ制御装置において、前記ループフィルタ処理は、サンプルアダプティブオフセット処理を含み、前記制御部は、少なくとも前記第１エッジ判定部の判定結果に基づいて、前記サンプルアダプティブオフセット処理のモードを、エッジオフセット及びバンドオフセットを含む複数のモードの中から選択するモード選択部を備えてもよい。

かかるループフィルタ制御装置によれば、サンプルアダプティブオフセット処理のモードを適切に選択できる。

第２の特徴に係る画像符号化装置は、第１の特徴に係るループフィルタ制御装置を備えることを要旨とする。

第３の特徴に係る画像復号装置は、第１の特徴に係るループフィルタ制御装置を備えることを要旨とする。

第４の特徴に係るプログラムは、コンピュータを第１の特徴に係るループフィルタ制御装置として機能させることを要旨とする。

本発明によれば、エッジ領域の判定精度を高めてループフィルタ処理を適切に制御可能としたループフィルタ制御装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

実施形態に係る画像符号化装置の構成を示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係るデブロッキングフィルタ処理を行うブロック境界を示す図である。 実施形態に係るエッジオフセット処理の一例を示す図である。 実施形態に係るループフィルタ制御部の構成を示す図である。 実施形態に係るループフィルタ制御部の動作例を示す図である。

図面を参照して、一実施形態に係る画像符号化装置及び画像復号装置について説明する。本実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される２次元動画像の符号化及び復号を行う。本実施形態において、かかる２次元動画像には奥行き情報が付加されている。本実施形態に係る画像符号化装置及び画像復号装置のそれぞれは、奥行き情報が付加された２次元画像に対してブロック単位で処理を行う画像処理装置に相当する。

なお、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜１．画像符号化装置の構成＞
図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、ループフィルタ１６０と、ループフィルタ制御部１７０と、メモリ１８０と、予測部１９０とを備える。

ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、分割により得たブロックを減算部１１０に出力する。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位である。ＨＥＶＣ／Ｈ．２６５の場合、ブロック分割部１００は、入力画像を符号化ツリーユニット（ＣＴＵ）というブロックに分割した後、各ＣＴＵを符号化ユニット（ＣＵ）というブロックに分割する。

減算部１１０は、ブロック分割部１００から入力されたブロックと当該ブロックを予測部１９０が予測して得た予測画像（予測ブロック）との間の画素単位での差分を示す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを備える。

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

量子化部１２２は、変換部１２１から入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１２２は、生成した量子化変換係数情報及び量子化制御情報をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。

エントロピー符号化部１３０は、量子化部１２２から入力された量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０には、ループフィルタ１６０からフィルタ処理に関する制御情報が入力され、予測部１９０から予測に関する制御情報が入力される。エントロピー符号化部１３０は、これらの制御情報のエントロピー符号化も行う。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを備える。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１９０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算してブロックを再構成（復号）し、再構成したブロック単位の再構成画像をループフィルタ１６０に出力する。かかる再構成画像は、復号画像（或いはローカル復号画像）と称されることがある。

ループフィルタ１６０は、合成部１５０から入力された再構成画像に対して、後処理としてのフィルタ処理であるループフィルタ処理を行い、当該フィルタ処理後の再構成画像をメモリ１８０に出力する。また、ループフィルタ１６０は、ループフィルタ処理に関する情報をエントロピー符号化部１３０に出力する。

ループフィルタ１６０は、デブロッキングフィルタ処理を行うデブロッキングフィルタ部１６１と、サンプルアダプティブオフセット（ＳＡＯ）処理を行うＳＡＯ部１６２とを備える。デブロッキングフィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減するための処理であって、隣接するブロックの境界における信号のギャップを平滑化する処理である。一方、ＳＡＯ処理は、例えばＨＥＶＣで採用されている画質改善フィルタ処理であって、ブロック内の画素の隣接画素との相対的な関係により各画素をカテゴリ分けし、それぞれのカテゴリについて画質を向上させるためのオフセット値を算出し、同じカテゴリに属する各画素にオフセット値を付与する処理である。ＳＡＯ処理の具体例については後述する。

ループフィルタ制御部１７０は、ループフィルタ１６０を制御するループフィルタ制御装置に相当する。ループフィルタ制御部１７０の詳細については後述する。

メモリ１８０は、ループフィルタ１６０から入力された再構成画像を記憶する。メモリ１８０は、再構成画像をフレーム単位で記憶する。メモリ１８０は、記憶している再構成画像を予測部１９０に出力する。

予測部１９０は、ブロック単位で予測を行う。予測部１９０は、イントラ予測部１９１と、インター予測部１９２と、切替部１９３とを備える。

イントラ予測部１９１は、メモリ１８０に記憶された再構成画像のうち、予測対象のブロックに隣接する復号済み参照画素を参照してイントラ予測画像を生成し、生成したイントラ予測画像を切替部１９３に出力する。また、イントラ予測部１９１は、予め規定された複数のイントラ予測モードの中から、対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。

インター予測部１９２は、メモリ１８０に記憶された再構成画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、予測対象のブロックを予測するインター予測によりインター予測画像を生成し、生成したインター予測画像を切替部１９３に出力する。インター予測部１９２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。

切替部１９３は、イントラ予測部１９１から入力されるイントラ予測画像とインター予測部１９２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

＜２．画像復号装置の構成＞
図２は、本実施形態に係る画像復号装置２の構成を示す図である。

図２に示すように、画像復号装置２は、エントロピー符号復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、ループフィルタ２３０と、ループフィルタ制御部２４０と、メモリ２５０と、予測部２６０とを備える。

エントロピー符号復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー符号復号部２００は、予測（イントラ予測及びインター予測）に関する制御情報を取得し、取得した制御情報を予測部２６０に出力する。さらに、エントロピー符号復号部２００は、ループフィルタ処理に関する制御情報を取得し、取得した制御情報をループフィルタ２３０に出力する。

逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを備える。

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー符号復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２６０から入力された予測画像とを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の再構成画像をループフィルタ２３０に出力する。

ループフィルタ２３０は、エントロピー符号復号部２００から入力された制御情報に基づいて、合成部２２０から入力された再構成画像に対して、画像符号化装置１のループフィルタ１６０が行うループフィルタ処理と同様なループフィルタ処理を行い、当該フィルタ処理後の再構成画像をメモリ２５０に出力する。ループフィルタ２３０は、デブロッキングフィルタ処理を行うデブロッキングフィルタ部２３１と、ＳＡＯ処理を行うＳＡＯ部２３２とを備える。

ループフィルタ制御部２４０は、ループフィルタ２３０を制御するループフィルタ制御装置に相当する。ループフィルタ制御部２４０の詳細については後述する。

メモリ２５０は、ループフィルタ２３０から入力された再構成画像を記憶する。メモリ２５０は、再構成画像をフレーム単位で記憶する。メモリ２５０は、フレーム単位の再構成画像（復号画像）を画像復号装置２の外部に出力する。

予測部２６０は、ブロック単位で予測を行う。予測部２６０は、イントラ予測部２６１と、インター予測部２６２と、切替部２６３とを備える。

イントラ予測部２６１は、メモリ２５０に記憶された再構成画像を参照し、エントロピー符号復号部２００から入力された制御情報に従ってイントラ予測を行うことによりイントラ予測画像を生成し、生成したイントラ予測画像を切替部２６３に出力する。

インター予測部２６２は、メモリ２５０に記憶された再構成画像を参照画像として用いて予測対象のブロックを予測するインター予測を行う。インター予測部２６２は、エントロピー符号復号部２００から入力された制御情報（動きベクトル情報等）に従ってインター予測を行うことによりインター予測画像を生成し、生成したインター予測画像を切替部２６３に出力する。

切替部２６３は、イントラ予測部２６１から入力されるイントラ予測画像とインター予測部２６２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

＜３．デブロッキングフィルタ処理の一例＞
デブロッキングフィルタ処理の一例として、ＨＥＶＣ／Ｈ．２６５におけるデブロッキングフィルタ処理について説明する。ここでは画像符号化装置１のデブロッキングフィルタ部１６１を例に挙げて説明するが、画像復号装置２のデブロッキングフィルタ部２３１も同様な動作を行う。

図３は、デブロッキングフィルタ処理を行うブロック境界を示す図である。図３に示すように、デブロッキングフィルタ部１６１がデブロッキングフィルタ処理を行うブロックサイズは８×８画素である。デブロッキングフィルタ部１６１は、まずブロックごとに平滑化処理の強さを示す境界強度Ｂｓ（Ｂｏｕｎｄａｒｙ Ｓｔｒｅｎｇｔｈ）値を求める。Ｂｓ値は０，１，２のいずれかとする。

表１に、Ｂｓ値を決定する方法を示す。

図３及び表１に示すように、ブロックＰ又はＱがイントラ予測を行うブロックである場合には、Ｂｓ値を２とする。ブロックＰ及びＱがインター予測を行うブロックであり、且つ少なくとも以下の１つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。
・ブロックＰ又はＱが有意な（非ゼロの）直交変換係数を含み、変換ユニットＴＵの境界であること。
・ブロックＰ及びＱの動きベクトルの差の絶対値が１画素以上であること。
・ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。

デブロッキングフィルタ部１６１は、Ｂｓ値が０の場合にはフィルタ処理を行わない。以下、図３に示す垂直ブロック境界を例に説明する。

また、デブロッキングフィルタ処理を行う際には、デブロッキングフィルタ部１６１は、下記の式（１）～（６）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用する。

ここで、閾値β及びｔ_Ｃの値は、隣接するブロックＰとブロックＱの量子化パラメータの平均値Ｑ_ａｖに応じて変わる。

なお、デブロッキングフィルタ部１６１がデブロッキングフィルタ処理を行う場合、その処理量は非常に多い。

＜４．ＳＡＯ処理の一例＞
ＳＡＯ処理の一例として、ＨＥＶＣ／Ｈ．２６５におけるＳＡＯ処理について説明する。ここでは画像符号化装置１のＳＡＯ部１６２を例に挙げて説明するが、画像復号装置２のＳＡＯ部２３２も同様な動作を行う。

ＳＡＯ部１６２は、ＣＴＵ単位でＳＡＯ処理を行い、画素ごとにオフセット値を加算することで画質を向上させる。ＳＡＯには４種類のエッジ方向に応じてオフセットを行うエッジオフセットと、３２種類のバンドに分割した画素値のレンジに対してオフセットをかけるバンドオフセットの２種類のモードがある。ＳＡＯ処理は、ＣＴＵごとに、エッジオフセット、バンドオフセット、又は非適用の切り替えが可能である。

エッジオフセット処理は、ある画素ｃとそれに隣接する２つの画素ｂ、ｃとに応じて、画素ごとに画素値を調整する処理である。かかる隣接２画素の配置については、図４に示すように４つの画素配列の候補（クラス）があり、このクラスから選択される。選択されたクラスに対して、隣接２画素との相対関係によって求められる４種類のカテゴリ（カテゴリ１乃至カテゴリ４）ごとにオフセットの絶対値が４つ与えられる。カテゴリ１及び２は画素値にオフセットを加算するものであり、カテゴリ３及び４は画素値からオフセットを減算するものである。

バンドオフセット処理は、画素値の階調を３２個のバンドに分割し、その中から画素値が連続する４つのバンドに属する画素に対して、バンドごとに設定したオフセット値により画素値を調整する処理である。

エッジオフセットによれば、オフセット値の加減算により画素系列の平滑化処理を行うことになるため、エッジ周辺の変動を抑圧することにより、リンギング歪みを緩和できる。一方、バンドオフセットによれば、特定の連続する階調を補正することにより、グラデーション劣化を緩和できる。各モード（エッジオフセット、バンドオフセット）の選択が高精度に行われることで。更なる画質向上が見込まれる。

＜５．ループフィルタ制御部の構成＞
図５は、本実施形態に係る画像符号化装置１のループフィルタ制御部１７０の構成を示す図である。画像復号装置２のループフィルタ制御部２４０は、画像符号化装置１のループフィルタ制御部１７０と同様な構成を有する。

図５に示すように、ループフィルタ制御部１７０は、第１エッジ判定部１７１と、第２エッジ判定部１７２と、制御部１７３とを備える。

第１エッジ判定部１７１には奥行き情報が入力される。奥行き情報とは、再構成画像中の各オブジェクトまでの距離（奥行き）を画素単位で数値化したものをいう。但し、奥行き情報は、画素単位での奥行きを表す場合に限らず、複数の画素からなるグループ単位での奥行きを表す情報であってもよい。

第１エッジ判定部１７１は、入力された奥行き情報に基づいて、再構成画像内のブロック境界がエッジ領域であるか否かを判定し、判定結果を第２エッジ判定部１７２及び制御部１７３に出力する。ここでエッジ領域とは、画像中の画素値の変化が大きい領域（すなわち、画像中で画素値が大きく切り替わる領域）をいい、ある程度の長さを有する。例えば、画像中のオブジェクトと背景との境界や、画像中のオブジェクト間の境界がエッジ領域であるが、同一のオブジェクト内にもエッジ領域は存在し得る。エッジ領域は画像中に元々存在する境界領域であるため、かかるエッジ領域に対してデブロッキングフィルタ処理を行うと、エッジがぼやけて画質劣化が生じる。

なお、第１エッジ判定部１７１及び第２エッジ判定部１７２のそれぞれは、デブロッキングフィルタ部１６１がデブロッキングフィルタ処理を行うブロックサイズ（８×８画素）と同じサイズのブロックのブロック境界を対象としてエッジ領域を判定する。すなわち、第１エッジ判定部１７１及び第２エッジ判定部１７２がエッジ領域の判定対象とするブロック境界の位置は同じである。

例えば、第１エッジ判定部１７１は、隣接する２つのブロックのブロック境界付近の複数の画素それぞれの奥行き情報に基づいて、当該複数の画素の奥行き情報の変動度合いを算出し、変動度合いが大きい場合に当該２つのブロックのブロック境界がエッジ領域であると判定する。或いは、第１エッジ判定部１７１は、隣接する２つのブロックのそれぞれについて奥行き情報の代表値を求めて、各ブロックの奥行き代表値の差が所定値以上である場合に、当該２つのブロックのブロック境界がエッジ領域であると判定してもよい。第１エッジ判定部１７１は、エッジ領域であると判定したブロック境界の位置を示す情報及び／又はエッジ領域でないと判定したブロック境界の位置を示す情報を第２エッジ判定部１７２及び制御部１７３に出力する。

第２エッジ判定部１７２は、合成部１５０から入力された再構成画像（２次元画像）に基づいて、再構成画像内のブロック境界がエッジ領域であるか否かを判定し、判定結果を制御部１７３に出力する。本実施形態において、第２エッジ判定部１７２は、第１エッジ判定部１７１によりエッジ領域ではないと判定されたブロック境界に対してのみ、当該ブロック境界がエッジ領域であるか否かを判定する。

具体的には、第２エッジ判定部１７２は、隣接する２つのブロックのブロック境界付近の複数の画素それぞれの画素値（輝度値）に基づいて、当該複数の画素の画素値の変動度合いを算出し、変動度合いが大きい場合に当該２つのブロックのブロック境界がエッジ領域であると判定する。例えば、第２エッジ判定部１７２は、下記の式（７）が満たされない場合に、２つのブロックＰ及びＱ（図３参照）のブロック境界がエッジ領域であると判定する。

ここで、閾値βの値は、隣接するブロックＰとブロックＱの量子化パラメータの平均値Ｑ_ａｖに応じて変わる。

そして、第２エッジ判定部１７２は、エッジ領域であると判定したブロック境界の位置を示す情報及び／又はエッジ領域でないと判定したブロック境界の位置を示す情報を第２エッジ判定部１７２及び制御部１７３に出力する。

制御部１７３は、第１エッジ判定部１７１の判定結果及び第２エッジ判定部１７２の判定結果に基づいて、再構成画像に対するループフィルタ処理を制御する。具体的には、制御部１７３は、デブロッキングフィルタ部１６１を制御するデブロッキングフィルタ制御部１７３ａと、ＳＡＯ部１６２におけるモードを選択するＳＡＯモード選択部１７３ｂとを備える。

デブロッキングフィルタ制御部１７３ａは、第１エッジ判定部１７１によりエッジ領域ではないと判定され、かつ、第２エッジ判定部１７２によりエッジ領域ではないと判定されたブロック境界に対してのみ、デブロッキングフィルタ処理を適用する。

すなわち、デブロッキングフィルタ制御部１７３ａは、第１エッジ判定部１７１によりエッジ領域であると判定されたブロック境界に対してデブロッキングフィルタ処理を適用しないようデブロッキングフィルタ部１６１を制御する。また、デブロッキングフィルタ制御部１７３ａは、第２エッジ判定部１７２によりエッジ領域であると判定されたブロック境界に対してデブロッキングフィルタ処理を適用しないようデブロッキングフィルタ部１６１を制御する。

ＳＡＯモード選択部１７３ｂは、少なくとも第１エッジ判定部１７１の判定結果に基づいて、サンプルアダプティブオフセット処理のモードを、エッジオフセット及びバンドオフセットを含む複数のモードの中から選択する。

例えば、ＳＡＯモード選択部１７３ｂは、ＣＴＵ内のブロック境界のうちエッジ領域が占める割合が所定値（例えば、５０％）よりも大きい場合に、当該ＣＴＵに対するＳＡＯ処理のモードとしてエッジオフセットを選択する。一方、ＳＡＯモード選択部１７３ｂは、ＣＴＵ内のブロック境界のうちエッジ領域が占める割合が所定値以下である場合に、当該ＣＴＵに対するＳＡＯ処理のモードとしてバンドオフセットを選択する、又は当該ＣＴＵに対してＳＡＯ処理を適用しないことを選択してもよい。

＜６．ループフィルタ制御部の動作例＞
図６は、本実施形態に係る画像符号化装置１のループフィルタ制御部１７０の動作例を示す図である。画像復号装置２のループフィルタ制御部２４０は、画像符号化装置１のループフィルタ制御部１７０と同様に動作する。

図６に示すように、ステップＳ１において、第１エッジ判定部１７１は、奥行き情報に基づいて、再構成画像（２次元画像）内のブロック境界がエッジ領域であるか否かを判定（取得）し、判定結果を第２エッジ判定部１７２及び制御部１７３に出力する。

制御部１７３のデブロッキングフィルタ制御部１７３ａは、奥行き情報に基づいてブロック境界がエッジ領域と判定された場合（ステップＳ２：ＹＥＳ）、ステップＳ３において、当該ブロック境界に対してデブロッキングフィルタ処理を適用しない（オフする）ようデブロッキングフィルタ部１６１を制御する。

一方、奥行き情報に基づいてブロック境界がエッジ領域と判定されなかった場合（ステップＳ２：ＮＯ）、ステップＳ４において、第２エッジ判定部１７２は、再構成画像（２次元画像）に基づいて当該ブロック境界がエッジ領域であるか否かを判定（検出）し、判定結果を制御部１７３に出力する。

デブロッキングフィルタ制御部１７３ａは、再構成画像に基づいて当該ブロック境界がエッジ領域と判定された場合（ステップＳ５：ＹＥＳ）、ステップＳ３において、当該ブロック境界に対してデブロッキングフィルタ処理を適用しない（オフする）ようデブロッキングフィルタ部１６１を制御する。

一方、再構成画像に基づいて当該ブロック境界がエッジ領域と判定されなかった場合（ステップＳ５：ＮＯ）、ステップＳ６において、デブロッキングフィルタ制御部１７３ａは、当該ブロック境界に対してデブロッキングフィルタ処理を適用する（オンする）ようデブロッキングフィルタ部１６１を制御する。

次に、ステップＳ７において、制御部１７３のＳＡＯモード選択部１７３ｂは、第１エッジ判定部１７１の判定結果に基づいて、ＣＴＵ内のブロック境界のうちエッジ領域が占める割合が所定値（例えば、５０％）よりも大きいか否かを判定する。

ＣＴＵ内のブロック境界のうちエッジ領域が占める割合が所定値（例えば、５０％）よりも大きい場合、ステップＳ８において、ＳＡＯモード選択部１７３ｂは、当該ＣＴＵに対するＳＡＯ処理のモードとしてエッジオフセットを選択する。

一方、エッジオフセットが選択されなかった場合、ステップＳ９において、ＳＡＯモード選択部１７３ｂは、他の判断基準に基づいて、当該ＣＴＵに対するＳＡＯ処理のモードを選択する。例えば、ＳＡＯモード選択部１７３ｂは、第２エッジ判定部１７２の判定結果に基づいて、当該ＣＴＵ内のブロック境界のうちエッジ領域が占める割合が所定値（例えば、５０％）よりも大きいか否かを判定し、所定値よりも大きい場合にはエッジオフセットを選択し（ステップＳ８）、所定値以下である場合にはバンドオフセットを選択する（ステップＳ１０）又はＳＡＯ処理を適用しないことを選択する（ステップＳ１１）。

＜７．実施形態のまとめ＞
上述したように、ループフィルタ制御部１７０は、奥行き情報に基づいて、２次元画像（再構成画像）内のブロック境界がエッジ領域であるか否かを判定する第１エッジ判定部１７１と、２次元画像に基づいて、ブロック境界がエッジ領域であるか否かを判定する第２エッジ判定部１７２と、第１エッジ判定部１７１の判定結果及び第２エッジ判定部１７２の判定結果に基づいて、２次元画像に対するループフィルタ処理を制御する制御部１７３とを備える。

奥行き情報に基づいてエッジ判定を行うことにより、例えばオブジェクトと背景との間のエッジ領域を正しく判定できる。また、２次元画像に基づいてエッジ判定を行うことにより、同一オブジェクト内のエッジ領域や、奥行きが同等なオブジェクト間のエッジ領域も正しく判定できるため、エッジ領域の判定精度を高めることが可能である。よって、ループフィルタ処理をより適切に制御できる。

奥行き情報はオブジェクトの形状を正確に捉えるという特徴があり、その奥行き情報が大きく変化している領域はエッジ領域であるとみなすことができる。オブジェクトと背景との境界のエッジ領域に対しては、奥行き情報に基づくエッジ判定によって正確にエッジ領域を検出し、奥行き情報を用いた方がエッジ領域の検出精度は高くなる。

一方、同一オブジェクト内のエッジ領域に対しては、２次元画像に基づくエッジ判定によって正確にエッジ領域を検出し、奥行き情報を用いるよりも２次元画像を用いた方が高精度であると考えられる。

本実施形態では、奥行き情報に基づきエッジ領域と判定されたブロック境界にはデブロッキングフィルタ処理を適用しない。また、奥行き情報に基づきエッジ領域と判定されなかったブロック境界に対しては、２次元動画像に基づくエッジ判定を行い、このエッジ判定でエッジ領域と判定されたブロック境界にはデブロッキングフィルタ処理を適用しない。そして、奥行き情報に基づくエッジ判定及び２次元動画像に基づくエッジ判定のいずれにおいてもエッジ領域と判定されなかったブロック境界に対してのみデブロッキングフィルタ処理を適用する。これにより、高精度なエッジ領域の検出を実現しつつ、デブロッキングフィルタ処理の演算処理量を削減できる。

さらに、奥行き情報に基づいて取得したエッジ情報をもとにＳＡＯのモードを選択することにより、ＳＡＯのモードを適切に選択できる。

＜８．その他の実施形態＞
上述した実施形態において、ＨＥＶＣ／Ｈ．２６５におけるデブロッキングフィルタ処理及びＳＡＯ処理の例を挙げて説明したが、本発明はＨＥＶＣ／Ｈ．２６５に限定されるものではなく、次世代の画像符号化方式等の他の符号化方式にも適用可能である。

上述した実施形態において、デブロッキングフィルタ制御部１７３ａがデブロッキングフィルタ処理を適用するか否か（すなわち、デブロッキングフィルタＯＮ／ＯＦＦ）を制御する一例について説明したが、デブロッキングフィルタ制御部１７３ａは、強いフィルタ及び弱いフィルタのどちらを適用するかの制御を行ってもよい。

画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路として構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ ：画像符号化装置
２ ：画像復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：ループフィルタ
１６１ ：デブロッキングフィルタ部
１６２ ：ＳＡＯ部
１７０ ：ループフィルタ制御部
１７１ ：第１エッジ判定部
１７２ ：第２エッジ判定部
１７３ ：制御部
１７３ａ ：デブロッキングフィルタ制御部
１７３ｂ ：ＳＡＯモード選択部
１８０ ：メモリ
１９０ ：予測部
１９１ ：イントラ予測部
１９２ ：インター予測部
１９３ ：切替部
２００ ：エントロピー符号復号部
２１０ ：逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：ループフィルタ
２３１ ：デブロッキングフィルタ部
２３２ ：ＳＡＯ部
２４０ ：ループフィルタ制御部
２５０ ：メモリ
２６０ ：予測部
２６１ ：イントラ予測部
２６２ ：インター予測部
２６３ ：切替部

Claims (6)

1. 奥行き情報が付加された２次元画像に対してブロック単位で処理を行う画像処理装置のループフィルタを制御するループフィルタ制御装置であって、
   前記奥行き情報に基づいて、前記２次元画像内のブロック境界がエッジ領域であるか否かを判定する第１エッジ判定部と、
   前記２次元画像に基づいて、前記ブロック境界がエッジ領域であるか否かを判定する第２エッジ判定部と、
   前記第１エッジ判定部の判定結果及び前記第２エッジ判定部の判定結果に基づいて、前記２次元画像に対するループフィルタ処理を制御する制御部と、を備え、
   前記第２エッジ判定部は、前記第１エッジ判定部によりエッジ領域ではないと判定されたブロック境界に対してのみ、当該ブロック境界がエッジ領域であるか否かを判定する
   ことを特徴とするループフィルタ制御装置。
2. 前記ループフィルタ処理は、デブロッキングフィルタ処理を含み、
   前記制御部は、
   前記第１エッジ判定部によりエッジ領域ではないと判定され、かつ、前記第２エッジ判定部によりエッジ領域ではないと判定されたブロック境界に対してのみ、前記デブロッキングフィルタ処理を適用するデブロッキングフィルタ制御部を備える
   ことを特徴とする請求項１に記載のループフィルタ制御装置。
3. 前記ループフィルタ処理は、サンプルアダプティブオフセット処理を含み、
   前記制御部は、
   少なくとも前記第１エッジ判定部の判定結果に基づいて、前記サンプルアダプティブオフセット処理のモードを、エッジオフセット及びバンドオフセットを含む複数のモードの中から選択するモード選択部を備える
   ことを特徴とする請求項１又は２に記載のループフィルタ制御装置。
4. 請求項１に記載のループフィルタ制御装置を備える
   ことを特徴とする画像符号化装置。
5. 請求項１に記載のループフィルタ制御装置を備える
   ことを特徴とする画像復号装置。
6. コンピュータを請求項１に記載のループフィルタ制御装置として機能させる
   ことを特徴とするプログラム。

Images