JP2006157481A - 画像符号化装置及びその方法 - Google Patents

Abstract

【課題】 符号化処理において、複雑な絵柄もぼけ難い復号画像を得られるようにする。
【解決手段】 入力画像を分割してブロックを構成するブロック構成部と、ブロック構成部に大きさが異なる画像を入力可能な入力部と、入力部に入力される画像の大きさを判定する画像サイズ判定部と、画像サイズ判定部で判定された画像の大きさに応じて、ブロック構成部で構成されるブロックのサイズを決定するブロックサイズ決定部とを備える。
【選択図】 図１

Description

本発明は、画像符号化装置及びその方法に関し、特に、ブロック単位で符号化処理を行う画像符号化装置及びその方法において、複数の入力画像サイズに対応して符号化処理を行う為の技術に関する。

動画像を高能率符号化するための技術として、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧ１，２といった符号化方式が実用化されている。各メーカーはこれらの符号化方式を利用して動画データを記録可能としたディジタルビデオカメラ等の撮像装置或いはＤＶＤレコーダーなどを開発し、製品化しており、ユーザーはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に動画像を視聴することが可能となっている。

一方、静止画像を圧縮符号化する技術としてはＪＰＥＧを用いた方式が主流である。ディジタルスチルカメラでは撮影した画像をＪＰＥＧで圧縮し、メモリカード等に記録を行っている。

さらに、上記したＭＰＥＧ２などよりも更なる高圧縮が望める動画像の符号化方式が研究され続けてきて、近年ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）とＩＳＯ（国際標準化機構）によりＨ．２６４／ＭＰＥＧ−４ ｐａｒｔ１０という符号化方式（以下、Ｈ．２６４と称す）が標準化された。Ｈ．２６４は、ＭＰＥＧ２等の従来の符号化方式に比べ、その符号化又は復号化により多くの演算量が要求されるが、より高い符号化効率が実現されることが知られている。Ｈ．２６４の演算処理の構成については、例えば特許文献１に開示されている。

ところで、一般的に、ディジタルスチルカメラで静止画を撮影する場合は、６４０×４８０画素や、１６００×１２００画素といったふうに画素数を選択することで、異なる画素数での静止画記録が可能である。さらに、ディジタルビデオカメラで動画を撮影する場合に関すると、４８０／６０ｉ、７２０／３０Ｐや１０８０／６０ｉなどで選択的に記録可能な製品もある。画素数が異なる複数の入力画像信号を記録処理する撮像装置については、例えば特許文献２に開示されている。

このように、撮像装置を例にした場合だけであっても、そこに入力され記録処理される画像の種類や大きさは様々な場合が考えられる。
特開２００４−５６８２７号公報 特開２００２−３１４８７０号公報

しかしながら、例えばＨ．２６４符号化方式による画像符号化装置を採用した撮像装置を考えた場合、以下のような課題が存在する。

例えば、Ｈ．２６４の符号化時に行われる整数変換処理におけるブロックの大きさが、４×４画素ブロックに固定されているので、撮像装置で扱われる多種多様な入力画像に対応する上での柔軟性に欠けているという問題がある。

さらに、前述の整数変換に関して、同一の入力画像に対して固定値である４×４画素ブロックに直交変換を行う場合と、例えば８×８画素ブロックに直交変換を行う場合とを比較したならば、４×４画素ブロックに直交変換を行う場合の方が、空間周波数分解能が低くなる傾向にあるため、複雑な絵柄の復号画像がぼけ易いという課題がある。

本発明は上記の如き問題点を鑑みてなされたものであり、撮像装置等で用いて好適なＭＰＥＧやＨ．２６４符号化方式またはそれらを拡張させたような画像符号化方式による画像符号化装置及びその方法において、複雑な絵柄もぼけ難い復号画像を得ることを目的とする。

また、本発明の他の目的は、ブロック単位で符号化処理を行う画像符号化装置及びその方法において、入力画像に対して適応的なブロック処理を行うことにより、画質の向上及び効率的な符号化を実現することにある。

上記課題を解決するために、本発明の画像符号化装置は、ブロック単位で符号化処理を行う画像符号化装置において、入力画像を分割してブロックを構成するブロック構成手段と、前記ブロック構成手段に大きさが異なる画像を入力可能な入力手段と、前記入力手段により入力される画像の大きさを判定する画像サイズ判定手段と、前記画像サイズ判定手段により判定された画像の大きさに応じて、前記ブロック構成手段により構成されるブロックのサイズを決定するブロックサイズ決定手段とを備えたことを特徴とする。

さらに、本発明の他の画像符号化装置は、ブロック単位で符号化処理を行う画像符号化装置において、ＨＤ画像データ及びＳＤ画像データを入力可能な入力手段と、前記入力手段により入力された画像データがＨＤ画像であるかＳＤ画像であるかを判定する画像サイズ判定手段と、前記画像サイズ判定手段により判定された結果がＨＤ画像のときとＳＤ画像のときとで、異なるブロックサイズを決定するブロックサイズ決定手段と、前記ブロックサイズ決定手段で決定されたブロックサイズに応じて、前記入力された画像データを分割してブロックを構成するブロック構成手段と、前記ブロック構成手段によって構成されたブロック単位で直交変換を行う直交変換手段と、前記直交変換されたデータを量子化する量子化手段と、前記量子化されたデータを符号化する符号化手段とを備えることを特徴とする。

また、本発明の画像符号化方法は、ブロック単位で符号化処理を行う画像符号化方法において、入力画像を分割してブロックを構成するブロック構成ステップと、大きさが異なる画像を入力可能な入力ステップと、前記入力ステップにより入力される画像の大きさを判定する画像サイズ判定ステップと、前記画像サイズ判定ステップにより判定された画像の大きさに応じて、前記ブロック構成ステップにより構成されるブロックのサイズを決定するブロックサイズ決定ステップとを有することを特徴とする。

さらに、本発明の他の画像符号化方法は、ブロック単位で符号化処理を行う画像符号化方法において、ＨＤ画像データ及びＳＤ画像データを入力可能な入力ステップと、前記入力ステップにより入力された画像データがＨＤ画像であるかＳＤ画像であるかを判定する画像サイズ判定ステップと、前記画像サイズ判定ステップにより判定された結果がＨＤ画像のときとＳＤ画像のときとで、異なるブロックサイズを決定するブロックサイズ決定ステップと、前記ブロックサイズ決定ステップで決定されたブロックサイズに応じて、前記入力された画像データを分割してブロックを構成するブロック構成ステップと、前記ブロック構成ステップによって構成されたブロック単位で直交変換を行う直交変換ステップと、前記直交変換されたデータを量子化する量子化ステップと、前記量子化されたデータを符号化する符号化ステップとを有することを特徴とする。

本発明によれば、符号化時のブロックの大きさが固定されている場合に比べ、特に入力画像のサイズが大きいときであっても、複雑な絵柄の部分がぼけ難い復号画像を得ることができる。そして、ブロックの大きさを可変させて符号化処理することにより、画質の向上及び効率的な符号化を実現できる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

図１は本実施例における、撮像装置等で用いて好適な画像符号化装置のブロック図である。図１において、１０１は入力画像をある大きさに分割しブロックを構成するブロック構成部である。１０２は前記ブロック構成部１０１に入力される入力画像の大きさ（画像サイズ）を判定する画像サイズ判定部である。１０３は前記画像サイズ判定部１０２により判定された入力画像の大きさに応じて、前記ブロック構成部１０１において構成するブロックの大きさを決定するブロックサイズ決定部である。

１０４は４×４画素ブロックに対して離散コサイン変換を行う４×４離散コサイン変換部であり、１０５は８×８画素ブロックに対して離散コサイン変換を行う８×８離散コサイン変換部である。１０６及び１０７は切替スイッチであり、前記ブロックサイズ決定部１０３により決定されたブロックの大きさに応じてブロック分割された入力画像信号を、前記４×４離散コサイン変換部１０４（Ａ側のスイッチの経路）、或いは、前記８×８離散コサイン変換部１０５（Ｂ側のスイッチの経路）のどちらで変換処理するか選択するための選択部である。

１０８は前記４×４離散コサイン変換部１０４もしくは前記８×８離散コサイン変換部１０５の出力である変換係数に対して、量子化を行う量子化部である。１０９は前記量子化部１０８で量子化された変換係数を入力し、エントロピー符号化して符号化データとして出力するエントロピー符号化部である。

以上が図１のブロック図の構成である。ここで、前述した離散コサイン変換について、以下に詳しく説明する。

離散コサイン変換は、直交変換の一種であり、ＭＰＥＧ１や２などにおいて用いられている変換方法である（ＭＰＥＧは８×８画素単位に固定されている）。その詳細を、図１４を参照して説明する。図１４（ａ）が４×４画素ブロックの入力画像であり、図１４（ｂ）が上記４×４画素ブロックに対して離散コサイン変換を行った後に出力される変換係数である。また、図１４（ｃ）が８×８画素ブロックの入力画像であり、図１４（ｄ）が上記８×８画素ブロックに対して離散コサイン変換を行った後に出力される変換係数である。

４×４画素ブロックに対して離散コサイン変換を行った例について図１４（ａ）及び（ｂ）を参照して説明する。Ｘ_{１１〜４４}が入力画像の画素値を示し、Ｙ_{１１〜４４}が離散コサイン変換係数を示す。ここで、Ａ_４を４×４離散コサイン変換行列、Ｘを入力画像信号、Ｙを離散コサイン変換係数の信号とすると、離散コサイン変換は、
［Ｙ］＝［Ａ_４］［Ｘ］［Ａ_４］^Ｔ （式１）
で表わされる。

ここで、

とすれば、

となる。従って、式５及び図１４（ｂ）において、Ｙ_１１、Ｙ_２１、Ｙ_３１、Ｙ_４１の順で垂直方向空間周波数が高い変換係数となり、Ｙ_１１、Ｙ_１２、Ｙ_１３、Ｙ_１４の順で水平方向空間周波数が高い変換係数となる。

図１４（ｃ）及び図１４（ｄ）のように変換する８×８画素ブロックに対するときは、４×４画素のときに比べて変換係数の数が多いため空間周波数分解能が高いと言える。なお、式５の変換係数においてＹ_１１が入力画像のＤＣ成分、Ｙ_１１以外のＹ_１２〜Ｙ_４４が入力画像のＡＣ成分を表す離散コサイン変換係数である。

以上が、離散コサイン変換についての説明である。

続いて、図１の画像符号化装置の動作について説明する。本実施例における画像符号化装置は、入力画像の大きさに応じて適応的に符号化単位であるブロックの大きさを変更して、符号化処理を行うことが可能である。そして、変更可能なブロックの大きさとして４×４画素ブロックと８×８画素ブロックとがある。

また、入力画像として、大きさの異なる、１９２０×１０８０画素のＨｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ画像（以下、ＨＤ画像と称す。）及び７２０×４８０画素のＳｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ画像（以下、ＳＤ画像と称す）に対応する例を説明する。なお、本実施例の画像符号化装置の構成はこれに限ったものではなく、入力画像の大きさはＨＤ画像／ＳＤ画像以外の大きさ（例えば、任意の解像度や画素数）に対応することも可能であり、ブロックの大きさは４×４画素／８×８画素以外（例えば、４×８画素や２×４画素など）にすることも可能である。また、離散コサイン変換の代わりに他の直交変換（例えば、整数変換やアダマール変換など）を用いて同様の機能を実現する変形例も考えられる。

図１において、まず、画像信号が入力されると、画像サイズ判定部１０２により入力画像の大きさが判定される。本構成例では入力画像がＳＤ画像、ＨＤ画像のどちらであるかが判定されることになる。ブロックサイズ決定部１０３は、画像サイズ判定部１０２により判定された結果により、入力画像がＳＤ画像のときはブロックの大きさを４×４画素に決定し、ＨＤ画像のときは８×８画素に決定する。ブロック構成部１０１は、ブロックサイズ決定部１０３により決定されたブロックの大きさに応じて、入力画像を分割してブロックを構成する。

スイッチ１０６及び１０７は、前記ブロックサイズ決定部１０３により決定されたブロックの大きさが４×４画素の場合はＡを選択、つまり、４×４離散コサイン変換部１０４での処理を選択し、８×８画素の場合はＢを選択、つまり、８×８離散コサイン変換部１０５での処理を選択する。スイッチ１０６及び１０７により選択された４×４離散コサイン変換部１０４又は８×８離散コサイン変換部１０５は、それぞれ入力画像における各４×４画素ブロック又は各８×８画素ブロックに対して離散コサイン変換を行い、量子化部１０８に対して離散コサイン変換係数を出力する。量子化部１０８は入力した離散コサイン変換係数を量子化し、エントロピー符号化部１０９によりエントロピー符号化して、符号化データとして出力する。以上が、図１の画像符号化装置の動作説明である。

続いて、離散コサイン変換を行う際のブロックの大きさが圧縮後の画像に及ぼす影響について説明する。

ブロックの大きさはブロック歪みの見え方と、空間周波数分解能に影響を及ぼす。まず、ブロック歪みの見え方について、図２の原画像及び図３の復号画像を参照して説明する。

図２の原画像を圧縮し、伸張した復号画像の一部が図３である場合を考える。画像サイズは７２０×４８０画素のＳＤ画像を例とする。以下、図２の太枠で囲んだ１６×１６画素ブロック２０１に対応する復号画像である１６×１６画素の図３（ａ）及び（ｂ）を参照して説明する。図３（ａ）は４×４画素ブロックとして処理したときの図、図３（ｂ）は８×８画素ブロックとして処理したときの図である。なお、図３（ａ）の太枠８×８画素ブロック内の４×４画素ブロックは、図３（ａ）のように３０１、３０２とする。

ブロック歪みは、量子化によりブロック境界の画素値が不連続になることにより発生する。つまり、ブロック歪みは離散コサイン変換を行ったブロック境界に発生する。その様子を模式的にあらわしたのが図３（ａ）及び（ｂ）の復号画像である。水平、垂直の実線がブロック歪みを表している。図３（ａ）がブロックの大きさが４×４画素のときのブロック歪みを表し、図３（ｂ）がブロックの大きさが８×８画素のときのブロック歪みを表している。図３（ｂ）のブロックの大きさが８×８画素のときの方が、図３（ａ）の４×４画素のときに比べブロック歪みの大きさが大きいと言える。図３（ａ）及び（ｂ）のような、ブロックの大きさを異ならせて圧縮処理した復号画像を、同性能の表示装置を用いて鑑賞したときには、ブロックの大きさが８×８画素のブロック歪みの方が、４×４画素のブロック歪みに比べブロック歪みが視覚的に目立ち易いということが言える。

続いて、空間周波数分解能について図３（ａ）及び（ｂ）を参照して説明する。

図３（ａ）の場合では、４×４離散コサイン変換を行っているため前述のように空間周波数分解能が低い。そのため４×４画素ブロック３０１のような空間周波数が低い平坦な絵柄の復号画像はぼけ難いが、４×４画素ブロック３０２のような空間周波数が高い複雑な絵柄の復号画像はぼけ易くなってしまう。一方、図３（ｂ）の場合では８×８離散コサイン変換を行っているので、空間周波数分解能が高く、ブロックの大きさが図３（ａ）のような４×４画素の場合に比べて、複雑な絵柄の復号画像はぼけ難いと言える。

以上のことより、画像サイズが固定と仮定すると、離散コサイン変換を行うブロックの大きさを大きくするとブロック歪みは視覚的に目立ち易くなるが、複雑な絵柄の復号画像はぼけ難くなり、離散コサイン変換を行うブロックの大きさを小さくするとブロック歪みは視覚的に目立ち難くなるが、複雑な絵柄の復号画像はぼけ易くなるということが言える。

ここで、同一被写体であるが大きさの異なるＳＤ画像とＨＤ画像を圧縮伸張し、同一画像サイズで復号画像を表示する場合について図２、４及び５を参照して説明する。図２はＳＤ原画像であり、図４はＨＤ原画像である。なお、ＨＤ画像の方がＳＤ画像に比べ画素密度が高いことに注意する。

図５（ａ）はＳＤ画像である図２の太枠で囲んだ１６×１６画素ブロック２０１に対応する１６×１６画素の復号画像であり、ブロックの大きさを４×４画素として圧縮伸張を行っている。図５（ｂ）はＨＤ画像である図４の太枠で囲んだ３２×３２画素ブロック４０１に対応する３２×３２画素の復号画像であり、ブロックの大きさを８×８画素として圧縮伸張を行っている。図５（ａ）と（ｂ）のブロック歪みの大きさを比較すると、圧縮伸張時のブロックの大きさは異なるが、画素密度の違いによりブロック歪みの大きさはほぼ同じであると言える。また、周波数分解能を比較するとブロックの大きさが８×８画素である図５（ｂ）の方が、ブロックの大きさが４×４画素である図５（ａ）よりも高いと言える。すなわち、図５（ａ）の太枠で囲んだ４×４画素ブロック５０１と、図５（ｂ）の太枠で囲んだ８×８画素ブロック５０２のような、複雑な絵柄の画像において、ブロック歪みの目立ち具合は同等であるが、ブロックの大きさが８×８画素である図５（ｂ）の方が、ブロックの大きさが４×４画素である図５（ａ）よりもぼけ難いということが言える。

以上のことより、同一被写体の画像を圧縮伸張し、同一画像サイズで復号画像を表示する場合では、ＨＤ画像を圧縮伸張する場合は、ＳＤ画像を圧縮伸張する場合よりブロックの大きさを大きくした方がぼけ難い復号画像が得られるということが言える。このような理由により、本発明の画像符号化装置におけるブロックサイズ決定部１０３は、画像サイズ判定部１０２の判定結果に応じて、入力画像がＳＤ画像のときはブロックの大きさを４×４画素に決定し、ＨＤ画像のときは８×８画素に決定するのである。

次に、これまで述べてきたような、入力画像の画像サイズに応じてブロックの大きさを適応的に変更した上で符号化を行う、本発明の画像符号化装置の処理手順について、図６のフローチャートを参照して説明する。

まず、ステップ６０１において画像を入力する。次にステップ６０２において画像サイズ判定部１０２が入力した画像のサイズ（ＳＤ画像であるかＨＤ画像であるか）を判定する。次にステップ６０３において、ステップ６０２において画像サイズ判定部１０２が判定した結果に応じて、ブロックサイズ決定部１０３は入力画像がＳＤ画像のときはブロックの大きさを４×４画素とし、ＨＤ画像のときはブロックの大きさを８×８画素とするよう決定する。

次にステップ６０４において、ブロックサイズ決定部１０３により決定されたブロックの大きさを判断し、４×４画素のときはステップ６０５に移り、８×８画素のときはステップ６０７へ移る。

次に、ブロックの大きさが４×４画素のときにはステップ６０５において、ブロック構成部１０１はブロックサイズ決定部１０３の結果に従って、入力画像を分割し４×４画素ブロックを構成する。そして、ステップ６０６において、４×４離散コサイン変換部１０４が構成された４×４画素ブロックに対して離散コサイン変換を行う。

一方、ブロックの大きさが８×８画素のときにはステップ６０７において、ブロック構成部１０１はブロックサイズ決定部１０３の結果に従って、入力画像を分割し８×８画素ブロックを構成する。そして、ステップ６０８において、８×８離散コサイン変換部１０５が構成された８×８画素ブロックに対して離散コサイン変換を行う。

ステップ６０６またはステップ６０８において離散コサイン変換された変換係数は、ステップ６０９において量子化部１０８によって量子化され、ステップ６１０においてエントロピー符号化部１０９によってエントロピー符号化され、符号化データとして出力される。これで本フローは終了する。こうして出力された符号化データは不図示の記録再生装置で記録可能となり、これを再生する際に復号することで、復号画像を視聴可能となる。

ここで、ステップ６０２における入力画像サイズの判定処理を、次のように変形しても良い。すなわち、画像サイズ判定部１０２は、ユーザーが指定した画像サイズやモード等に応じて判定するよう構成しても良い。例えば、本発明の画像符号化装置を搭載した撮像装置（ディジタルビデオカメラなど）において、撮影（記録）モード切替スイッチを「ＨＤ画像」にした場合は、これに連動して画像サイズ判定部１０２はＨＤ画像と判定し、撮影モード切替スイッチを「ＳＤ画像」にした場合は、これに連動して画像サイズ判定部１０２はＳＤ画像と判定するように構成しても良い。

このように本実施例によれば、同一被写体の画像を圧縮伸張し、同一画像サイズで復号画像を表示する状況において、入力画像の大きさに応じてブロックの大きさを変更することにより、従来のブロックの大きさが固定されている場合に比べて、特に入力画像のサイズが大きいときでも複雑な絵柄の部分がぼけ難い復号画像を得ることが出来る。このことにより従来の技術に比べて画質の良い画像を得ることができる。

次に、本発明の実施例２について説明する。実施例２における本発明の画像符号化装置は、現行のＨ．２６４符号化方式を拡張させた符号化方式で動画を圧縮符号化する構成が特徴となるものである。

ここで、そのＨ．２６４における画像符号化処理のブロック構成について、図１２のブロック図を参照して説明する。図１２の構成は、減算器１２０１、整数変換部１２０２、量子化部１２０３、エントロピー符号化部１２０４、逆量子化部１２０５、逆整数変換部１２０６、加算器１２０７、フレームメモリ１２０８及び１２１２、イントラ予測部１２０９、スイッチ１２１０及び１２１５、デブロッキングフィルタ１２１１、インター予測部１２１３、動き検出部１２１４から構成され、入力画像データを分割することによりブロックを構成し、ブロック単位にＨ．２６４符号化処理を行って、符号化データを出力する。

続いて、Ｈ．２６４の符号化処理について図１２を参照してさらに説明する。

まず、減算器１２０１は、入力画像データから予測画像データを減算し、画像残差データを出力する。予測画像データの生成については後述する。

整数変換部１２０２は、減算器１２０１から出力された画像残差データを直交変換処理して変換係数を出力する。そして、量子化部１２０３は上記変換係数を所定の量子化パラメータを用いて量子化する。

エントロピー符号化部１２０４は、量子化部１２０３で量子化された変換係数を入力し、これをエントロピー符号化して符号化データとして出力する。

一方、量子化部１２０３で量子化された変換係数は予測画像データの生成にも使われる。逆量子化部１２０５は、量子化部１２０３で量子化された変換係数を逆量子化する。さらに、逆整数変換部１２０６は逆量子化部１２０５で逆量子化された変換係数を逆整数変換し、復号画像残差データとして出力する。加算器１２０７は、復号画像残差データと予測画像データとを加算し、再構成画像データとして出力する。

再構成画像データはフレームメモリ１２０８に記録されるとともに、デブロッキングフィルタ処理を行う場合はデブロッキングフィルタ１２１１を介して、デブロッキングフィルタ処理を行わない場合はデブロッキングフィルタ１２１１を介さずフレームメモリ１２１２に記録される。スイッチ１２１０は、デブロッキングフィルタ処理を行うか行わないか選択する選択部である。再構成画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ１２０８または１２１２に暫くの期間保存される。また、デブロッキングフィルタ１２１１はノイズを除去する為に用いられる。

イントラ予測部１２０９は、フレームメモリ１２０８に記録された再構成画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。また、インター予測部１２１３は、フレームメモリ１２１２に記録された再構成画像データを用いて、動き検出部１２１４によって検出された動きベクトル情報に基づいてフレーム間予測処理を行い、予測画像データを生成する。動き検出部１２１４は入力画像データにおける動きベクトルを検出し、検出した動きベクトル情報をインター予測部１２１３とエントロピー符号化部１２０４へ出力する。

スイッチ１２１５は、イントラ予測、インター予測のどちらを用いるか選択するための選択部である。イントラ予測部１２０９からの出力とインター予測部１２１３からの出力の一方を選択して、選択された予測画像データを減算器１２０１と加算器１２０７へ出力する。以上が図１２に示した構成によるＨ．２６４の符号化処理に関する説明である。

ここで、Ｈ．２６４におけるデブロッキングフィルタについて説明する。Ｈ．２６４符号化方式では、図１２でデブロッキングフィルタ１２１１として示したように、ＭＰＥＧ１や２とは異なり局部復号化された局部復号画像に対してフィルタ処理を行うデブロッキングフィルタを設けることが規定されている。このデブロッキングフィルタ１２１１は、ブロック境界に対して平滑化を行い、復号画像におけるブロック歪みを除去するとともに、動き補償処理により復号画像を参照する画像にブロック歪みが伝播するのを防ぐという目的を有する。より詳しくは、ＩＴＵ−Ｔ Ｈ．２６４／ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｐａｒｔ １０のＩＳＯ／ＩＥＣ １４４９６−１０の文献に記されている。

次に、Ｈ．２６４における整数変換について説明する。ＭＰＥＧ１や２では、８×８画素単位の離散コサイン変換を用いた符号化を行うのに対して、Ｈ．２６４符号化方式では、図１２で整数変換部１２０２として示したように、整数変換を用いた符号化を行う。

以下に、Ｈ．２６４において用いられている整数変換について説明する。前述した離散コサイン変換の式５を変形すると、

のようになる。Ｈ．２６４の整数変換では、

を整数変換行列として用いており、下記の式７を整数変換と規定している。

この整数変換は加算及びシフトにより演算可能となっている。また、

の項については、４×４画素ブロックの成分ごとに異なる量子化処理を行うことで演算を行う。すなわち、整数変換と量子化処理の組み合わせにより直交変換を実現していると言える。より詳しくは、ＩＴＵ−Ｔ Ｈ．２６４／ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｐａｒｔ １０のＩＳＯ／ＩＥＣ １４４９６−１０の文献に記されている。

このような、Ｈ．２６４符号化方式を用いた画像符号化装置を構成した場合であっても、実施例１にて説明したような、入力画像サイズに応じて符号化時のブロックの大きさを変更するといった本発明の構成を適用可能となる。ただし、現行のＨ．２６４においては、整数変換を行うブロックの大きさは４×４画素ブロックに固定されているので、この点を拡張させて少なくとも８×８画素ブロックも処理可能とした場合を前提とする。

入力画像の画像サイズに応じてブロックの大きさを適応的に変更した上で符号化を行う、本発明の画像符号化装置の処理手順について、図１３のフローチャートを参照して説明する。

まず、ステップ１３０１において画像を入力する。次にステップ１３０２において入力画像のサイズ（ＳＤ画像であるかＨＤ画像であるか）を不図示のマイクロコンピュータ等の判定手段で判定する。または、ユーザーが「ＳＤ画像」又は「ＨＤ画像」を選択した指示に従って不図示のマイクロコンピュータで同様に判定しても良い。

次にステップ１３０３において、ステップ１３０２における判定結果に応じて、不図示のマイクロコンピュータ等の設定手段が入力画像がＳＤ画像のときはブロックの大きさを４×４画素とし、ＨＤ画像のときはブロックの大きさを８×８画素とするよう決定する。

次にステップ１３０４において、ステップ１３０３で決定されたブロックの大きさを判断し、４×４画素のときはステップ１３０５に移り、８×８画素のときはステップ１３０７へ移る。

次に、ブロックの大きさが４×４画素のときには、ステップ１３０５において入力画像を分割し４×４画素ブロックを構成した上で、ステップ１３０６において整数変換部１２０２が各４×４画素ブロックに対して整数変換を行う。

一方、ブロックの大きさが８×８画素のときには、ステップ１３０７において入力画像を分割し８×８画素ブロックを構成した上で、ステップ１３０８において整数変換部１２０２が各８×８画素ブロックに対して整数変換を行う。

ステップ１３０６またはステップ１３０８において整数変換された変換係数は、ステップ１３０９において量子化部１２０３によって量子化され、ステップ１３１０においてエントロピー符号化部１２０４によってエントロピー符号化され、符号化データとして出力される。これで本フローは終了する。こうして出力された符号化データは不図示の記録再生装置で記録可能となり、これを再生する際に復号することで、復号画像を視聴可能となる。

このように本実施例によれば、実施例１と同様に、従来のブロックの大きさが固定されている場合に比べて、特に入力画像のサイズが大きいときでも複雑な絵柄の部分がぼけ難い復号画像を得ることが出来る。このことにより従来の技術に比べて画質の良い画像を得ることができる。そして、Ｈ．２６４符号化におけるブロックの大きさを可変させて符号化処理することにより、画質の向上が実現できるとともに、８×８画素に対応することによる符号化処理の効率化も期待できる。

次に、本発明の実施例３について図面を参照しながら説明する。図７は本実施例における、撮像装置等で用いて好適な画像符号化装置のブロック図である。なお、図７の画像符号化装置は、実施例１で説明した図１の画像符号化装置の構成に加えて、構成したブロックの大きさに従ってデブロッキングフィルタの処理を変更する構成を備えたことを特徴としている。なお、図７のブロック図において、図１のブロック図と同じ符号を付してあるブロックに関しては、それぞれ同様の構成及び機能となるものであり、図１で行った説明と重複するのでここでの説明は省略する。

まず、図７の画像符号化装置の構成について説明する。図７において、７０１は入力画像から予測画像を差分する減算器である。７０２は逆量子化部、７０３は４×４画素ブロックに対して逆離散コサイン変換を行う４×４逆離散コサイン変換部、７０４は８×８画素ブロックに対して逆離散コサイン変換を行う８×８逆離散コサイン変換部である。７０５及び７０６はスイッチであり、４×４逆離散コサイン変換部７０３（Ａ側のスイッチの経路）、或いは、８×８逆離散コサイン変換部７０４（Ｂ側のスイッチの経路）を選択する選択部である。

７０７は復号画像の残差データと予測画像とを加算し再構成画像を出力する加算器である。７０８は４×４画素ブロックに対して後述のフィルタ処理を行う４×４デブロッキングフィルタ部であり、７０９は８×８画素ブロックに対して後述のフィルタ処理を行う８×８デブロッキングフィルタ部である。７１０及び７１１はスイッチであり、４×４デブロッキングフィルタ部７０８（Ａ側のスイッチの経路）、或いは、８×８デブロッキングフィルタ部７０９（Ｂ側のスイッチの経路）を選択する選択部である。

７１２は再構成画像を記録するフレームメモリ、７１３はフレーム間予測を行うインター予測部、７１４はフレーム間の動きを検出する動き検出部である。以上が図７の構成である。

続いて、図７の画像符号化装置の動作について説明する。

まず、減算器７０１は入力画像から予測画像を減算し、画像の残差データを出力する。予測画像の生成については後述する。量子化部１０８で量子化された変換係数はエントロピー符号化部１０９でエントロピー符号化されるとともに、逆量子化部７０２において逆量子化される。

スイッチ７０５及び７０６はブロックサイズ決定部１０３により決定されたブロックの大きさに応じて、ブロックが４×４画素の場合はＡを選択、つまり、４×４逆離散コサイン変換部７０３での処理を選択し、８×８画素の場合はＢを選択、つまり、８×８逆離散コサイン変換部７０４での処理を選択するよう動作する。スイッチ７０５及び７０６で選択された４×４逆離散コサイン変換部７０３又は８×８離散コサイン変換部７０４は、それぞれ４×４画素ブロック又は８×８画素ブロックに対して逆離散コサイン変換を行って、復号画像の残差データを出力する。

加算器７０７は、復号画像の残差データと予測画像とを加算し、再構成画像として出力する。

スイッチ７１０及び７１１はブロックサイズ決定部１０３により決定されたブロックの大きさに応じて、ブロックが４×４画素の場合はＡを選択、つまり、４×４デブロッキングフィルタ部７０８での処理を選択し、８×８画素の場合はＢを選択、つまり、８×８デブロッキングフィルタ部７０９での処理を選択するよう動作する。スイッチ７１０及び７１１で選択された４×４デブロッキングフィルタ部７０８又は８×８デブロッキングフィルタ部７０９は、再構成画像データを入力してそれぞれ４×４画素ブロック又は８×８画素ブロックに対してデブロッキングフィルタ処理を行って、フィルタ処理後の再構成画像データをフレームメモリ７１２に記録する。

また、インター予測部７１３は、フレームメモリ７１２に記録された再構成画像データを用いて、動き検出部７１４により検出された動きベクトル情報に基づいてフレーム間予測処理を行い、予測画像を生成する。以上が、図７の画像符号化装置の動作説明である。

続いて、図７の画像符号化装置におけるデブロッキングフィルタ処理について図８、図９、図１０を参照して説明する。ここでは、デブロッキングフィルタ処理として３×３フィルターマスクを用いた平滑化フィルタ処理を行う例について説明する。ただし、デブロッキングフィルタ処理はこのフィルタ処理に限ったものではない。

図８（ａ）のｆ（ｉ，ｊ）はフィルタ処理を行う注目画素値を示し（ｉ及びｊは整数）、フィルタ処理後の注目画素ｆ（ｉ，ｊ）の新しい画素値ｇ（ｉ，ｊ）（図８（ｂ））は、フィルタ処理前の画像における注目画素を取り巻く３×３フィルターマスク上の画素値、すなわち、図８（ａ）のｆ（ｉ−１，ｊ−１），ｆ（ｉ，ｊ−１），ｆ（ｉ＋１，ｊ−１），ｆ（ｉ−１，ｊ），ｆ（ｉ，ｊ），ｆ（ｉ＋１，ｊ），ｆ（ｉ−１，ｊ＋１），ｆ（ｉ，ｊ＋１），およびｆ（ｉ＋１，ｊ＋１）の９個の値を用いて決定される。

続いて、３×３フィルターマスクを用いたフィルタ処理について図９を参照して説明する。なお、図９に示す数字はそれぞれの位置に対応する画素値にかけるフィルタ係数を表す。

図９のような３×３フィルターマスクを用いたフィルタ処理の場合のフィルタ処理後の画素値ｇ（ｉ，ｊ）は、

で表される。このフィルタ処理を行うことにより注目画素と注目画素の周囲の画素値との差分が小さくなる。

続いて、フィルタ処理を行う画素について図１０を参照して説明する。図１０（ａ）及び（ｂ）は１フレームの画像のある部分を拡大したものであり、太線で囲まれた領域がブロックであり、そのブロック内の小さい正方形は１画素を表す。図１０（ａ）はブロックの大きさが８×８画素の場合であり、図１０（ｂ）はブロックの大きさが４×４画素の場合である。ここではブロックの大きさが８×８画素の場合のフィルタ処理について図１０（ａ）を参照して説明する。

図１０（ａ）の網線部で示したある１つの画素を注目画素ｆ（ｉ，ｊ）として前述のフィルタ処理を行う。この処理をすべての網線部の画素、つまり、８×８画素ブロックのブロック境界画素に対して行う。このように８×８画素ブロックのブロック境界画素に対しフィルタ処理を行うことにより、ブロック境界画素値の差分が小さくなりブロック歪みを低減させることができる。ブロックの大きさが４×４画素の場合も同様に図１０（ｂ）の網線部で示したある１つの画素を注目画素ｆ（ｉ，ｊ）として前述のフィルタ処理を行う。

次に、これまで述べてきたような、入力画像の画像サイズに応じてブロックの大きさを適応的に変更した上で符号化し、さらに逆離散コサイン変換やデブロッキングフィルタでの処理も変更されたブロックサイズに応じて変更するといった、本発明の画像符号化装置の処理手順について、図１１のフローチャートを参照して説明する。なお、図１１のフローチャートのうち、図６のフローチャートの各ステップと同符号を付してあるステップに関しては、図６と同様の説明になるので、ここでの説明は省略する。

まず、前述のようにステップ６０１〜ステップ６０９において、入力画像サイズに応じたブロックの大きさが決定され、ブロックの大きさに応じた離散コサイン変換が行われ、量子化が行われる。

そして、ブロックの大きさが４×４画素の場合、ステップ１１０１において逆量子化部７０２は、量子化部１０８によって量子化された変換係数を逆量子化する。次に、ステップ１１０２において、４×４逆離散コサイン変換部７０３によって４×４画素ブロックに対して逆離散コサイン変換が行われ、さらにステップ１１０３において、４×４デブロッキングフィルタ部７０８によって４×４画素ブロック境界に対してデブロッキングフィルタ処理が行われる。

また、ブロックの大きさが８×８画素の場合は、ステップ１１０１において逆量子化部７０２は、量子化部１０８によって量子化された変換係数を逆量子化する。次に、ステップ１１０４において、８×８逆離散コサイン変換部７０４によって８×８画素ブロックに対して逆離散コサイン変換が行われ、さらにステップ１１０５において、８×８デブロッキングフィルタ部７０９によって８×８画素ブロック境界に対してデブロッキングフィルタ処理が行われる。

デブロッキングフィルタ処理が行われた後は、前述したような動作手順でインター予測等が行われ、その結果符号化データが出力されることになる。以上で本フローは終了する。このような符号化処理により出力された符号化データは不図示の記録再生装置で記録可能となり、これを再生する際に復号することで、復号画像を視聴可能となる。

なお、実施例１と同様に、ステップ６０２における入力画像サイズの判定処理を、次のように変形しても良い。すなわち、画像サイズ判定部１０２は、ユーザーが指定した画像サイズに応じて判定するよう構成しても良い。例えば、本発明の画像符号化装置を搭載した撮像装置（ディジタルビデオカメラなど）において、撮影（記録）モード切替スイッチを「ＨＤ画像」にした場合は、これに連動して画像サイズ判定部１０２はＨＤ画像と判定し、撮影モード切替スイッチを「ＳＤ画像」にした場合は、これに連動して画像サイズ判定部１０２はＳＤ画像と判定するように構成しても良い。さらに本実施例では、この判定結果に応じて決定されたブロックサイズに従って、逆離散コサイン変換やデブロッキングフィルタでの処理も前述したように変更されることになる。

このように本実施例によれば、入力画像の大きさに応じてブロックの大きさを変更することにより、従来のブロックの大きさが固定されている場合に比べて、特に入力画像のサイズが大きいときでも複雑な絵柄の部分がぼけ難い復号画像を得ることが出来る。さらに、変更されたブロックの大きさに従って、フィルタ処理を行うブロックの大きさを変更させることにより、ブロック歪みの発生が予想される部分のみに適切なフィルタ処理を行うことができる。これにより効果的にブロック歪みを低減した画質の良い画像を得ることができる。

本発明の実施例１における画像符号化装置のブロック図である。 ７２０×４８０画素のＳＤ原画像を示す図である。 図２のＳＤ原画像の太枠に対応する復号画像を示す図である。 １９２０×１０８０画素のＨＤ原画像を示す図である。 ＳＤ復号画像とＨＤ復号画像を示す図である。 実施例１における画像符号化装置の処理手順を示すフローチャートである。 本発明の実施例３における画像符号化装置のブロック図である。 デブロッキングフィルタ処理の説明図である。 ３×３フィルターマスクの説明図である。 デブロッキングフィルタ処理を行う画素値の説明図である。 実施例３における画像符号化装置の処理手順を示すフローチャートである。 Ｈ．２６４の画像符号化処理に関するブロック図である。 実施例２における画像符号化装置の処理手順を示すフローチャートである。 離散コサイン変換の説明図である。

Claims (17)

1. ブロック単位で符号化処理を行う画像符号化装置において、
   入力画像を分割してブロックを構成するブロック構成手段と、
   前記ブロック構成手段に大きさが異なる画像を入力可能な入力手段と、
   前記入力手段により入力される画像の大きさを判定する画像サイズ判定手段と、
   前記画像サイズ判定手段により判定された画像の大きさに応じて、前記ブロック構成手段により構成されるブロックのサイズを決定するブロックサイズ決定手段とを備えたことを特徴とする画像符号化装置。
2. 前記ブロックサイズ決定手段は、前記画像サイズ判定手段によって判定された画像の大きさが第１のサイズのときは、所定のブロックサイズを決定し、前記画像サイズ判定手段によって判定された画像の大きさが前記第１のサイズよりも大きい第２のサイズのときは、選択可能なブロックサイズのうち前記所定のブロックサイズよりも大きいブロックサイズを決定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記画像サイズ判定手段は、前記入力手段により入力された画像がＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）画像のときは前記第１のサイズと判定し、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像のときは前記第２のサイズと判定することを特徴とする請求項２に記載の画像符号化装置。
4. 前記ブロック構成手段は、前記ブロックサイズ決定手段で決定されたブロックサイズに従って、前記画像サイズ判定手段によって判定された画像の大きさが前記第１のサイズのときは４×４画素のブロックを構成し、前記第２のサイズのときは８×８画素のブロックを構成することを特徴とする請求項２または３に記載の画像符号化装置。
5. さらに、前記ブロック構成手段で構成されるブロックのサイズに応じた直交変換を行う直交変換手段を備えたことを特徴とする請求項１に記載の画像符号化装置。
6. 前記直交変換手段で行う直交変換とは、離散コサイン変換、整数変換、アダマール変換のいずれかであることを特徴とする請求項５に記載の画像符号化装置。
7. 前記直交変換手段は、８×８画素ブロックに対する直交変換、或いは、４×４画素ブロックに対する直交変換を、前記ブロックのサイズに応じて切替えて実行可能であることを特徴とする請求項５又は６に記載の画像符号化装置。
8. さらに、前記ブロック構成手段で構成されるブロックのサイズに応じたフィルタ処理を行うフィルタ手段を備えたことを特徴とする請求項１に記載の画像符号化装置。
9. 前記フィルタ手段は、８×８画素ブロックに対するフィルタ処理、或いは、４×４画素ブロックに対するフィルタ処理を、前記ブロックのサイズに応じて適応的に実行可能であることを特徴とする請求項８に記載の画像符号化装置。
10. 前記フィルタ手段は、前記ブロック構成手段によって構成されたブロックとブロックの境界に平滑化フィルタ処理を行うことを特徴とする請求項８又は９に記載の画像符号化装置。
11. 前記フィルタ手段は、予測画像を生成するための画像データに対してフィルタ処理を行うデブロッキングフィルタであることを特徴とする請求項１０に記載の画像符号化装置。
12. 前記画像サイズ判定手段は、ユーザーが指定した動作モードに応じて、前記入力手段により入力される画像の大きさを判定可能であることを特徴とする請求項１乃至１１のいずれか一項に記載の画像符号化装置。
13. ブロック単位で符号化処理を行う画像符号化装置において、
    ＨＤ画像データ及びＳＤ画像データを入力可能な入力手段と、
    前記入力手段により入力された画像データがＨＤ画像であるかＳＤ画像であるかを判定する画像サイズ判定手段と、
    前記画像サイズ判定手段により判定された結果がＨＤ画像のときとＳＤ画像のときとで、異なるブロックサイズを決定するブロックサイズ決定手段と、
    前記ブロックサイズ決定手段で決定されたブロックサイズに応じて、前記入力された画像データを分割してブロックを構成するブロック構成手段と、
    前記ブロック構成手段によって構成されたブロック単位で直交変換を行う直交変換手段と、
    前記直交変換されたデータを量子化する量子化手段と、
    前記量子化されたデータを符号化する符号化手段とを備えることを特徴とする画像符号化装置。
14. 前記直交変換手段は、前記入力手段により入力された画像データがＨＤ画像のときは８×８画素単位の直交変換を、ＳＤ画像のときは４×４画素単位の直交変換を行うことを特徴とする請求項１３に記載の画像符号化装置。
15. さらに、前記ブロック構成手段で構成されるブロックのサイズに応じたフィルタ処理を行うデブロッキングフィルタを備えたことを特徴とする請求項１３又は１４に記載の画像符号化装置。
16. ブロック単位で符号化処理を行う画像符号化方法において、
    入力画像を分割してブロックを構成するブロック構成ステップと、
    大きさが異なる画像を入力可能な入力ステップと、
    前記入力ステップにより入力される画像の大きさを判定する画像サイズ判定ステップと、
    前記画像サイズ判定ステップにより判定された画像の大きさに応じて、前記ブロック構成ステップにより構成されるブロックのサイズを決定するブロックサイズ決定ステップとを有することを特徴とする画像符号化方法。
17. ブロック単位で符号化処理を行う画像符号化方法において、
    ＨＤ画像データ及びＳＤ画像データを入力可能な入力ステップと、
    前記入力ステップにより入力された画像データがＨＤ画像であるかＳＤ画像であるかを判定する画像サイズ判定ステップと、
    前記画像サイズ判定ステップにより判定された結果がＨＤ画像のときとＳＤ画像のときとで、異なるブロックサイズを決定するブロックサイズ決定ステップと、
    前記ブロックサイズ決定ステップで決定されたブロックサイズに応じて、前記入力された画像データを分割してブロックを構成するブロック構成ステップと、
    前記ブロック構成ステップによって構成されたブロック単位で直交変換を行う直交変換ステップと、
    前記直交変換されたデータを量子化する量子化ステップと、
    前記量子化されたデータを符号化する符号化ステップとを有することを特徴とする画像符号化方法。

Images