JP4701448B2 - 関心領域符号化方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像全体中の人物や物体などの特定の関心領域に対し優先的に符号化のビットレートを割り振ることにより、その関心領域の画質を他領域に比較して高く保持する関心領域符号化方法に関する。
【０００２】
【従来の技術】
画像を効率的に符号化する方法として、画像全体中の人物や物体などの特定の関心領域に対し優先的に符号化のビットレートを割り振ることにより、その関心領域の画質を他領域に比較して高く保持する、ＲＯＩ（Region of Interest：関心領域）と背景などの重要でない情報の非ＲＯＩに分ける方法がある。
【０００３】
この方式の代表例としては、Ｍａｘｓｈｉｆｔ法（第一従来例）とビットプレーン法としてのＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation：第二従来例）とがある。
【０００４】
Ｍａｘｓｈｉｆｔ法（第一従来例）は、ＲＯＩ部分を任意の形で指定し、その部分を可逆圧縮する一方、非ＲＯＩ部分を非可逆圧縮するものである。具体的には、まず原画像に対して既知のウェーブレット変換を行って図１３のようなウェーブレット係数の分布を得た後、これらの分布の中で、非ＲＯＩ部分に想到する係数分布の最も大きなウェーブレット係数の値Ｖｍを求めておく。そして、Ｓ＞＝ｍａｘ（Ｖｍ）となるようなビット数Ｓを求め、ＲＯＩ部分Ａｒ１のウェーブレット係数のみを図１４のように増大する方向へＳビットだけシフトさせる。例えば、Ｖｍの値が十進数で「２５５」（即ち、二進数で「１１１１１１１１」）である場合には、Ｓ＝８ビットであり、またＶｍの値が十進数で「１２８」（即ち、二進数で「１０００００００」）である場合にも同様にＳ＝８ビットであるため、この場合にはＲＯＩ部分Ａｒ１のウェーブレット係数を図１４のように増大する方向へＳ＝８ビットだけシフトさせることになる。これにより、ＲＯＩ部分Ａｒ１については非ＲＯＩ部分に比べて圧縮率を低く設定でき、これによりＲＯＩ部分Ａｒ１について可逆圧縮の圧縮データを得ることが可能となる。この方法によれば、復号化側において、事前にＲＯＩ部分の形状等の定義情報を入手する必要がなく、そのまま復号化するだけでＲＯＩ部分の可逆的な復号を行うことができるので便利である。
【０００５】
また、ビットプレーン法のＥＢＣＯＴ（第二従来例）は、図１５の如く、画像を複数の矩形ブロックＢに分けて、その矩形ブロックＢごとにビットレートの優先度をつけて圧縮するものである。したがって、ＥＢＣＯＴによれば、一部の矩形ブロックＢについて、他の矩形ブロックＢよりもビットレートの高い画像圧縮を行うことができる。
【０００６】
【発明が解決しようとする課題】
Ｍａｘｓｈｉｆｔ法（第一従来例）では、ＲＯＩ部分において可逆圧縮を行っていたため、その部分の圧縮率に一定の限界があり、圧縮された画像ファイルのサイズは全体として比較的大きいものとならざるを得なかった。逆に、Ｍａｘｓｈｉｆｔ法において圧縮率を高めて圧縮された画像ファイルのサイズを小さくするためには、非ＲＯＩ部分のビットレートを大幅に下げなければならず、よって非ＲＯＩ部分の画質がＲＯＩ部分の画質に比べて極めて劣悪なものとなってしまう。
【０００７】
一方、ＥＢＣＯＴでは、矩形ブロックＢ毎にビットレートを変化させているため、復号化側に事前にブロックの座標及び大きさや境界等の定義情報が必要である。
【０００８】
また、ＥＢＣＯＴでは、矩形ブロックＢとしてしかＲＯＩ部分を指定していなかったため、任意の形状のＲＯＩ部分を定義することができず、例えば背景の中の人物の顔のみのビットレートを増大させたい場合などには、その処理が極めて困難にならざるを得ないこととなる。
【０００９】
そこで、この発明の課題は、任意の形状のＲＯＩ部分を非可逆圧縮することにより画像を効率的に符号化することができるとともに、復号化側において事前にＲＯＩ部分の形状や大きさ等の定義情報を入手する必要のない関心領域符号化方法を提供することにある。
【００１０】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、原画像をウェーブレット変換する第一工程と、前記原画像に対して指定された任意の形状の複数のマスク領域を、前記ウェーブレット変換に対応するウェーブレット平面に展開してマスク信号を生成する第二工程と、前記複数のマスク領域及び当該複数のマスク領域以外の非マスク領域に対して圧縮する際の符号量をそれぞれ割り当てる第三工程と、前記第三工程で割り当てられた符号量に応じて量子化及び符号化を行う第四工程とを備え、前記第二工程は、ウェーブレット平面に展開された異なるマスク領域に関する部分同士が重なるときは、重なる部分を優先順位の高いマスク領域に関する部分としてマスク信号を生成し、前記第四工程は、前記複数のマスク領域及び前記非マスク領域に個別に前記量子化及び前記符号化を行い、それぞれの圧縮データを生成するものである。
【００１２】
請求項２に記載の発明は、請求項１に記載の関心領域符号化方法であって、前記第四工程は、前記第一工程においてウェーブレット変換された原画像のウェーブレット係数を前記マスク信号に対応付けて取り出した複数のマスク領域に関する各ウェーブレット係数と、非マスク領域に関するウェーブレット係数とに量子化及び符号化を行うものである。
【００１４】
【発明の実施の形態】
図１はこの発明の一の実施の形態に係る関心領域符号化方法を示すフローチャートである。このフローチャートに沿って、この関心領域符号化方法を説明する。
【００１５】
＜圧縮方法＞
画像の圧縮は、図１中の圧縮装置Ｃｏ側のフローで実行される。
【００１６】
圧縮装置Ｃｏでは、図１の如く、まず原画像であるディジタル式の画像データ１に対してウェーブレット変換を行う。ウェーブレット変換とは、２分割フィルタバンクを使用してローパス側とハイパス側に画像を分けて符号化圧縮を行う変換方法である。ここで、ウェーブレット変換の代表的な方式としては、ウェーブレットパケット木の形態の相違によって、図２及び図３に示したｍａｌｌａｔ型と、図４及び図５に示したｓｐａｃｌｅ型と、図６及び図７に示したｐａｃｋｅｔ型といった複数の種類に区別される。ここでは、これらの中からひとつを選んでウェーブレット変換を行う。尚、図２、図４及び図６は一次元での、図３、図５及び図７は二次元での、それぞれウェーブレット変換の態様を示している。ただし、ウェーブレット変換の展開階層は各図に示した階層数に限定されず任意である。
【００１７】
ここで、図２及び図３に示したｍａｌｌａｔ型は、低い周波数成分（ローパス成分：図２中の相対的に小さなブロックで示した画像及び図３中の「Ｌ」で示したパス参照）が高い周波数成分（ハイパス成分：図２中の相対的に大きなブロックで示した画像及び図３中の「Ｈ」で示したパス参照）より多くの情報を含んでいるという仮定の下に低域通過フィルタのみを繰り返す方式のものである。これに対して、ウェーブレットパケット基底が任意の２進木構造に対応できることから、図４及び図５に示したｓｐａｃｌｅ型では、低い周波数成分（ローパス成分：図４中の相対的に小さなブロックで示した画像及び図５中の「Ｌ」で示したパス参照）だけでなく、高い周波数成分（ハイパス成分：図４中の最大ブロックで示した画像及び図５中の最初の分岐で「Ｈ」で示したパス参照）においても、さらに低い周波数成分（ローパス成分：「Ｌ」）と高い周波数成分（ハイパス成分：「Ｈ」）とに１段だけ展開している。また、図６及び図７に示したｐａｃｋｅｔ型では、短時間フーリエ変換のように、全ての枝において周波数成分（ローパス成分：「Ｌ」）と高い周波数成分（ハイパス成分：「Ｈ」）に展開して完全木構成を採用している。ここでは、これらのいずれの型を選択するかは、コストと容量に基づいて決められたレートを制約とし、復元歪みを最小にする型を選択する。
【００１８】
次に、圧縮装置Ｃｏにおいて、ウェーブレット変換された画像データ２に対して、重要な部分をＲＯＩ部分として指定するためのマスク信号３を与える。例えば、図８のような人物の画像データ（原画像）１において、額より下の顔部分のみをＲＯＩ部分とする場合、図９の白抜き部分に示すように単一のマスク領域４を設定し、これをＲＯＩ部分として指定する。このマスク領域４は、原画像１をディスプレイ装置の画面で見ながら、所謂マウス等のポインティング入力デバイスを用いて原画像１に対応して指定することができる。
【００１９】
尚、図９は、原画像１に対して単一のＲＯＩ部分を指定した例であるが、複数の領域をＲＯＩ部分として指定してもよい。これらは、それぞれ異なったマスク信号３により規定される。尚、全てのＲＯＩ部分についての全てのマスク領域４を除去した残りの部分が非ＲＯＩ部分５（図９）となる。
【００２０】
次に、図１のように複数のマスク信号３が与えられた場合には、その複数のマスク信号３に対して優先順位をつける。この優先順位が高いほど、情報量、例えばビットレートが高くなり、伸張時の損失が少なくなることになる。この際の優先順位としては、「１」「２」…というように数字の昇順で指定を行う。
【００２１】
そして、上述のように選択された型（ｍａｌｌａｔ型／ｓｐａｃｌｅ型／ｐａｃｋｅｔ型）のウェーブレット変換に対応して、マスク領域４をウェーブレット平面に展開してマスク信号３を生成する。
【００２２】
ここで、マスク信号をウェーブレット平面に相当する部分に変換する方法はウェーブレット変換のフィルタのタップ数に依存する。
【００２３】
例えば、図１１のようにウェーブレット変換の演算処理においてリバーシブル（Reversible）５×３フィルタ（分解側のローパスフィルタのタップ数が５タップで分解側のハイパスフィルタのタップ数が３タップであるフィルタ）を適用するものとすると、原画像１の偶数番目（２ｎ番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）７のｎ番目のデータと、ハイパスフィルタ（高域側）８の（ｎ−１）番目及びｎ番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。また、原画像１の奇数番目（２ｎ＋１番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）７のｎ番目及び（ｎ＋１）番目のデータと、ハイパスフィルタ（高域側）８の（ｎ−１）番目、ｎ番目及び（ｎ＋１）番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。尚、図１１は原画像１と最初の階層のウェーブレット平面との対応関係のみを示しているが、より深い階層の展開についても同様の再帰的な展開が行われる。
【００２４】
あるいは、例えば、図１２のようにウェーブレット変換の演算処理においてドビュッシー（Daubechies）９×７フィルタ（分解側のローパスフィルタのタップ数が９タップで分解側のハイパスフィルタのタップ数が７タップであるフィルタ）を適用するものとすると、原画像１の偶数番目（２ｎ番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）７の（ｎ−１）番目、ｎ番目及び（ｎ＋１）番目のデータと、ハイパスフィルタ（高域側）８の（ｎ−２）番目、（ｎ−１）番目、ｎ番目及び（ｎ＋１）番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。また、原画像１の奇数番目（２ｎ＋１番目）の画素データがＲＯＩ部分として指定されている場合には、ローパスフィルタ（低域側）７の（ｎ−１）番目、ｎ番目、（ｎ＋１）番目及び（ｎ＋２）番目のデータと、ハイパスフィルタ（高域側）８の（ｎ−２）番目、（ｎ−１）番目、ｎ番目、（ｎ＋１）番目及び（ｎ＋２）番目のデータとがＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。尚、図１２は原画像１と最初の階層のウェーブレット平面との対応関係のみを示しているが、より深い階層の展開についても同様の再帰的な展開が行われる。
【００２５】
尚、ローパスフィルタ（低域側）７及びハイパスフィルタ（高域側）８において、図１１及び図１２の対応関係について、原画像１の或る画素データとの対応により非ＲＯＩ部分と、且つ原画像１の他の画素データとの対応によりＲＯＩ部分とが重なり合う部分は、ＲＯＩ部分であるものとして、マスク信号をウェーブレット平面に展開する。
【００２６】
図１０中の白抜き部分４ａは、上記のようにしてマスク領域（ＲＯＩ部分）４をｍａｌｌａｔ型のウェーブレット平面に展開した領域（以下「展開マスク領域」と称す）４であり、この展開マスク領域４ａに対応したマスク信号３が生成され、ウェーブレット変換された画像データ２に与えられる。図１０中の符号５ａは非ＲＯＩ部分５がウェーブレット平面に展開された領域（以下「展開非マスク領域」と称す）を示している。そして、マスク領域（ＲＯＩ部分）４同士が重なり合う部分及びマスク領域（ＲＯＩ部分）４と非ＲＯＩ部分５とが重なり合う部分では、いずれか優先順位の高い方をマスク領域（ＲＯＩ部分）４とする一方、低い方を非ＲＯＩ部分５として処理する。
【００２７】
そして、図１において、ウェーブレット変換された画像データ２のウェーブレット係数を、それぞれのマスク信号３に対応付けして取り出していく。
【００２８】
次に、図１０のようにウェーブレット平面上に展開された各マスク領域４ａに対して優先順位をつける。尚、上述のように、原画像１に対して複数のＲＯＩ部分４を設定している場合は、この複数のＲＯＩ部分４毎にウェーブレット平面上に展開された数の展開マスク領域４ａに対して、互いに対応する各マスク領域４ａに対して同等の優先順位をつけ、最終的に全ての展開マスク領域４ａに優先順位を設定する。
【００２９】
ここで、原画像１に対して複数のＲＯＩ部分４を設定している場合において、ウェーブレット平面上のローパスフィルタ（低域側）７を通過した部分については、複数の展開マスク領域４ａが重なり合うことがあり得る。この場合は、その重なり合った部分について、重なり合った複数の展開マスク領域４ａのうち優先順位の高い方の展開マスク領域４ａであるとして優先順位を決定する。
【００３０】
そして、ウェーブレット変換された画像データ２において、どのマスク信号にもかからなかった展開非マスク領域５ａのウェーブレット係数を取り出す。この場合、展開非マスク領域５ａの優先順位は、全ての展開マスク領域４ａよりも低くなり（即ち、数字の昇順で大きな数字が付与される）、そのウェーブレット係数としては例えば「０」の値が採用される。
【００３１】
このようにして、複数のＲＯＩ部分６ａ，６ｂのウェーブレット係数が出力される。尚、このＲＯＩ部分６ａ，６ｂ…及び展開非マスク領域５ａのウェーブレット係数の出力データを、以下に「ＲＯＩ信号」と称することにする。
【００３２】
次に、先に設定した優先順位に応じて、ＲＯＩ部分６ａ，６ｂと展開非マスク領域５ａにそれぞれビット量を割り当てる。
【００３３】
この際のビット量の割り当て方法としては、ＲＯＩ部分６ａ，６ｂの情報量、例えばビット量が可逆圧縮に必要なビット量に満たない値に設定される。具体的に、例えば、まず、画像全体の圧縮率ビット量を決定し、その内、各ＲＯＩ部分６ａ，６ｂ…の優先順位の高いものから順番に所定の割合のビット量を順次割り当て、残りのビット量を展開非マスク領域５ａに割り当てる第１の方法と、各ＲＯＩ部分６ａ，６ｂ…と展開非マスク領域５ａの優先順位に応じて所定の割合で直接ビット量を決定する第２の方法とがあるが、いずれの方法を予め選択しておき、その選択された方法に従って各ＲＯＩ部分６ａ，６ｂ…及び展開非マスク領域５ａのビット量を決定する。この際、上述のように、ＲＯＩ部分６ａ，６ｂのビット量が可逆圧縮に必要なビット量に満たない値に設定される。尚、ＲＯＩ部分６ａ，６ｂのビット量を、可逆圧縮に必要なビット量以上に割り当てるモードと、可逆圧縮に必要なビット量に満たない値に設定するモードとを選択できるようにしてもよい。
【００３４】
そして、各ＲＯＩ部分６ａ，６ｂ…及び展開非マスク領域５ａのＲＯＩ信号に対して量子化処理を行い、それぞれ２値化されたデータ１０ａ，１０ｂ…１０ｚを生成する。尚、この量子化処理の方法としては、ＥＢＣＯＴやＳＰＩＨＴ（Image Compression with Set Partitioning in Hierarchical Trees）等のビットプレーン符号化法と同様の方法で２値化してもよい。
【００３５】
そして、それぞれの２値化されたデータ１０ａ，１０ｂ…１０ｚに対して、ＭＱコーダーやＱＭコーダーなどの算術符号化やハフマン符号化等の所定の方式を用いてエントロピー符号化を行う。
【００３６】
このようにすることで、各ＲＯＩ部分６ａ，６ｂ…及び展開非マスク領域５ａ毎の圧縮データ１１ａ，１１ｂ…１１ｚが生成される。
【００３７】
そして、各圧縮データ１１ａ，１１ｂ…１１ｚを、その優先順位に応じて順番に並べて、例えば所定の経路に送出し、あるいはハードディスクドライブ等の所定の記録媒体に記録する。
【００３８】
＜復号方法＞
画像の復号は、図１中の伸張装置Ｅｘ側のフローで実行される。
【００３９】
伸張装置Ｅｘでは、図１の如く、各圧縮データ１１ａ，１１ｂ…１１ｚを所定の方式に従ってエントロピー復号化し、順次に並べられた順番（即ち、ビットレートの優先順位の高い順番）で、２値化されたデータ２１ａ，２１ｂ…２１ｚを生成する。
【００４０】
次に、それぞれの２値化されたデータ２１ａ，２１ｂ…２１ｚを逆量子化（多値化）して、複数のＲＯＩ信号２２ａ，２２ｂ…２２ｚを生成する。この際、順次に並べられた順番（即ち、ビットレートの優先順位の高い順番）で、逆量子化（多値化）を行い、複数のＲＯＩ信号２２ａ，２２ｂ…２２ｚをビットレートの優先順位の高い順番で生成する。
【００４１】
そして、ウェーブレット平面において、各ＲＯＩ信号２２ａ，２２ｂ…２２ｚを優先順位に応じて、ウェーブレット変換されたウェーブレット係数を合成する。このとき、各ＲＯＩ信号２２ａ，２２ｂ…２２ｚの優先順位は、データが送られて来た順番（即ち、データの並んでいる順番）であるため、与えられた順番に従って順次ウェーブレット係数を合成し、ウェーブレット変換された画像データ２３を形成する。尚、複数のＲＯＩ信号２２ａ，２２ｂ…２２ｚの間で重なり合う部分が発生している場合には、優先順位の高い方を選択する。尚、非ＲＯＩ部分５のウェーブレット係数を「０」の値に設定していた場合は、各ＲＯＩ部分６ａ，６ｂ…及び非ＲＯＩ部分５に対応するＲＯＩ信号２２ａ，２２ｂ…２２ｚの値を加算するだけでよい。
【００４２】
最後に、ウェーブレット変換の型（ｍａｌｌａｔ型／ｓｐａｃｌｅ型／ｐａｃｋｅｔ型）に対応して、逆ウェーブレット変換を行なって画像データ２４を復元する。
【００４３】
以上のように、ウェーブレット平面に相当する部分に変換された任意の形状のＲＯＩ部分６ａ，６ｂ…に対して非可逆圧縮を行っているので、可逆圧縮を行っていたＭａｘｓｈｉｆｔ法（第一従来例）に比べて、圧縮後の画像ファイルのサイズを全体として小さくできる。また、ＥＢＣＯＴ（第二従来例）に比べて、任意の形状のＲＯＩ部分６ａ，６ｂ…を指定でき、例えば背景の中の人物の顔のみのビットレートを増大させたい場合などにおいて、その処理が容易になる。
【００４４】
【発明の効果】
本発明によれば、ＥＢＣＯＴ（第二従来例）に比べて、任意の形状のＲＯＩ部分を指定でき、例えば背景の中の人物の顔のみのビットレートを増大させたい場合などにおいて、その処理が容易になる。
【００４５】
また、本発明によれば、複数の任意の形状のマスク領域を指定した場合にも、それぞれのマスク領域に対して容易に非可逆圧縮を行うことができる。この場合、それぞれのマスク領域に対して個別に符号量を割り当てることで、割り当て符号量の自由な設定が可能となるという効果がある。
【図面の簡単な説明】
【図１】この発明の一の実施の形態に係る関心領域符号化方法を示すフローチャートである。
【図２】ｍａｌｌａｔ型のウェーブレットパケット木を示す図である。
【図３】ｍａｌｌａｔ型のウェーブレット平面を示す図である。
【図４】ｓｐａｃｌｅ型のウェーブレットパケット木を示す図である。
【図５】ｓｐａｃｌｅ型のウェーブレット平面を示す図である。
【図６】ｐａｃｋｅｔ型のウェーブレットパケット木を示す図である。
【図７】ｐａｃｋｅｔ型のウェーブレット平面を示す図である。
【図８】原画像の例を示す図である。
【図９】図８の原画像に対して設定された単一のマスク領域を示す図である。
【図１０】図９のマスク領域をｍａｌｌａｔ型のウェーブレット平面に展開した状態を示す図である。
【図１１】逆ウェーブレット５×３フィルタにおける低域側及び高域側と入力側との間のマスク領域の対応関係を示す図である。
【図１２】逆ウェーブレット９×７フィルタにおける低域側及び高域側と入力側との間のマスク領域の対応関係を示す図である。
【図１３】原画像に対して既知のウェーブレット変換を行った後のウェーブレット係数の分布を示す図である。
【図１４】第一従来例におけるウェーブレット係数の分布を示す図である。
【図１５】第二従来例のＥＢＣＯＴの概念を説明する図である。
【符号の説明】
１ 画像データ（原画像）
１０ａ〜１０ｚ ２値化されたデータ
１１ａ〜１１ｚ 圧縮データ
２ ウェーブレット変換された画像データ
２１ａ〜２１ｚ ２値化されたデータ
２２ａ〜２２ｚ ＲＯＩ信号
３ マスク信号
４，４ａ マスク領域
５，５ａ 非ＲＯＩ部分
６ａ，６ｂ… ＲＯＩ部分
Ｃｏ 圧縮装置
Ｅｘ 伸張装置

Claims (2)

1. 原画像をウェーブレット変換する第一工程と、
   前記原画像に対して指定された任意の形状の複数のマスク領域を、前記ウェーブレット変換に対応するウェーブレット平面に展開してマスク信号を生成する第二工程と、
   前記複数のマスク領域及び当該複数のマスク領域以外の非マスク領域に対して圧縮する際の符号量をそれぞれ割り当てる第三工程と、
   前記第三工程で割り当てられた符号量に応じて量子化及び符号化を行う第四工程と、
   を備え、
   前記第二工程は、ウェーブレット平面に展開された異なるマスク領域に関する部分同士が重なるときは、重なる部分を優先順位の高いマスク領域に関する部分としてマスク信号を生成し、
   前記第四工程は、前記複数のマスク領域及び前記非マスク領域に個別に前記量子化及び前記符号化を行い、それぞれの圧縮データを個別に生成することを特徴とする関心領域符号化方法。
2. 請求項１に記載の関心領域符号化方法であって、
   前記第四工程は、前記第一工程においてウェーブレット変換された原画像のウェーブレット係数を前記マスク信号に対応付けて取り出した複数のマスク領域に関する各ウェーブレット係数と、非マスク領域に関するウェーブレット係数とに量子化及び符号化を行うことを特徴とする関心領域符号化方法。

Images