JPH0265583A - 画像信号の高能率符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、画像信号の高能率符号化装置、特に、予測
符号化装置に関する。

〔発明の概要〕

この発明では、画像信号を１画面より小さなブロックに
分割し、ブロック単位で符号化を行う画像信号の高能率
符号化装置において、符号化の対象である注目ブロック
内又は注目ブロック及び隣接ブロックに、縦パターン又
は横パターンが含まれるかどうかを行方向の画素情報又
は列方向の画素情報と注目ブロックの画素との差に基づ
いて判定し、縦パターンが含まれる時には、行方向の画
素情報と注目ブロックの画素との第１の差を符号化出力
として選択し、横パターンが含まれる時には、列方向の
画素情報と注目ブロックの画素との第２の差を符号化出
力として選択し、縦パターン又は横パターンの何れも含
まれない時には、注目ブロックの代表値と注目ブロック
の画素との第３の差を符号化出力として選択することに
より、圧縮率の向上を図るものである。

〔従来の技術〕

テレビジョン会議システム、テレビジョン電話システム
等で必要とされるディジタル画像信号の冗長度を抑圧す
る高能率符号として、複数の符号化を組み合わせたハイ
ブリッド符号化が良く使用される。その代表的な例は、
Ｄ　ＣＴ　（Ｄｉｓｃｒｅｔｅ　Ｃｏ５１ｎｅ　Ｔｒａ
ｎｓｆｏｒｍ）等の変換符号化と平均値分離符号化或い
は予測符号化（Ｄ　Ｐ　ＣＭ）とを組み合わせたもので
ある。変換符号化では、適当な個数の画素の２次元配列
であるブロックを単位として符号化がなされる。

従って、変換符号化と組み合わせる符号化は、ブロック
を単位としたものが好ましい。平均値分離符号化は、符
号化の対象である注目ブロックの平均値を計算し、注目
ブロック内の画素と平均値との残差を求め、平均値及び
残差を伝送する符号化である。平均値分離符号化は、平
均値を伝送する必要があるため、例えばカラーテレビジ
ボン信号の３個のコンポーネント信号の各々について平
均値を伝送する必要があるので、伝送情報量の圧縮が不
十分であった。

予測符号化としては、１次元の前値予測或いは２次元の
平面予測が知られている。上述のハイブリッド符号化に
適用可能なために、ブロック単位で予測符号化を行う場
合には、注目ブロックの画素と時間的に前のブロック或
いは空間的に隣接するブロックの画素との残差が求めら
れる。予測符号化は、上述の平均値分離符号化のように
、平均値情報を送る必要がない利点がある。

〔発明が解決しようとする課題〕

ブロック単位の予測符号化は、画素単位の予測符号化と
比して、予測値を形成するための復号された画素と注目
画素との距離が大きくなる不利がある。従って、ブロッ
ク間の相関が強くない場合には、圧縮率が低くなるばか
りか、局部的に大きな残差が生じ、復元画像の画質が劣
化する。

従って、この発明の目的は、圧縮率が向上でき、また、
復元画像の画質を向上することができる画像信号の高能
率符号化装置を提供することにある。

〔課題を解決するための手段〕

この発明では、１画面より小なる画素の２次元配列であ
るブロックを単位として、符号化を行うようにした画像
信号の高能率符号化装置において、符号化の対象である
注目ブロック又は注目ブロックと隣接する上下のブロッ
クの少なくとも一方のブロックに含まれる行方向の画素
情報と注目ブロックに含まれる画素との第１の差を求め
る第１の予測符号化回路と、 注目ブロック又は注目ブロックと隣接する左右のブロッ
クの少なくとも一方のブロックに含まれる列方向の画素
情報と注目ブロックに含まれる画素との第２の差を求め
る第２の予測符号化回路と、注目ブロック内の画素と注
目ブロックに関する代表値との第３の差を求める第３の
予測符号化回路と、 第１、第２及び第３の差に基づいて、第１、第２及び第
３の予測符号化の何れかを選択する回路と が備えられている。

〔作用〕

画像のパターンとして、通常、縦線のような縦パターン
又は横線のような横パターンが多く含まれている。縦パ
ターンの場合には、垂直方向に整列した画素同士の相関
が強く、又横パターンの場合には、水平方向に整列した
画素同士の相関が強い。従って、縦パターンの場合では
、注目ブロックの上側又は下側に隣接するブロックの行
方向の画素情報と注目ブロックの各行との第１の残差が
小さくなる。一方、横パターンの場合では、注目ブロッ
クの左側又は右側に隣接するブロックの列方向の画素情
報と注目ブロックの各列との第２の残差が小さくなる。

更に、縦パターン又は横パターンの何れも含まれてない
時には、注目ブロックの代表値例えば平均値と注目ブロ
ック内の画素との第３の残差が小さくなる。

上述の第１、第２及び第３の残差の総和の中で最小の総
和の予測符号化が強い相関を利用したものであり、最適
である。従って、残差の総和が最小の予測符号化が選択
される。このようにして、符号化ビット数が少なくなり
、圧縮率を高くできる。また、残差が大きくなることが
防止され、復元画像の画質の向上が図られる。

〔実施例〕

以下、この発明の一実施例について図面を参照して説明
する。

第１図は、この一実施例のブロックの構成を示す。１画
面（ｌフレーム）の画像信号が第１図に示すように、（
４Ｘ４−１６画素）のブロックに細分化される。ａ　−
ｐが例えば８ビツトの画素の夫々を示し、第１行〜第４
行に対してＲ１−Ｒ４の符号が付され、第１列〜第４列
に対してＣ１〜Ｃ４の符号が付されている。

第２図Ａに示すような縦パターン又は第２図Ｂに示すよ
うな横パターンが一般的に画像内に良く発生するので、
これらのパターンがブロック内に在るかどうかが検出さ
れる。縦パターンの場合では、ブロックの行Ｒ１〜Ｒ４
の画像の間で相関が強く、横パターンの場合では、ブロ
ックの列Ｃ１〜Ｃ４の画像の間で相関が強い。従って、
縦パターンの含まれるブロックでは、行同士の差を求め
、横パターンの含まれるブロックでは、列同士の差を求
めることが差を小さくするために有利である。

ブロック内に縦パターン及び横パターンの何れも含まれ
ない場合には、ブロックの代表値と各画素との差が求め
られる。代表値としては、ブロックの例えば平均値が使
用される。平均値以外にブロックの画素の最大値、最小
値等を使用しても良い。

第３図のフローチャートを参照して、一実施例について
説明する。最初に、第１行Ｒ１とブロック内の他の行Ｒ
２、Ｒ３、Ｒ４との画素毎の第１の差が算出される（ス
テップ１）０例えば第１行Ｒ１と第２行Ｒ２との差は、
（ｅ−ａ、ｆ−ｂ。

ｇ−ｃ、ｈ−ｄ）で求められる。次に、第１の差の総和
が算出され、この総和が記憶される（ステップ２）。

次に、第１列ＣＩとブロック内の他の列Ｃ２、Ｃ３、Ｃ
４との画素毎の第２の差が算出される（ステップ３）０
例えば第１列Ｃ１と第２列Ｃ２との差は、（ｔ）−ａ、
　　ｒ−ｅ、　　Ｊ−ｔｔ　　ｎ−ｍ）で求められる。

次に、第２の差の総和が算出され、この総和が記憶され
る（ステップ４）。

ステップ５では、ブロックの平均値の算出及び平均値の
記憶がなされる。この平均値とブロック内の各画素との
第３の差が算出される（ステップ６）、第３の差の総和
の算出及び総和が記憶される（ステップ７）。

上述の第１の差、第２の差及び第３の差の夫々の総和の
大小関係が検出され、第３の差の総和が最小かどうかが
調べられる（ステップ８）。第３の差の総和が最小でな
い時には、ステップ９に移行し、総和が小さい方の第１
の差又は第２の差を出力する。また、第１の差を出力す
る時には、第１行Ｒ１の画素データを一緒に出力し、第
２の差を出力する時には、第１列ＣＩの画素データを一
緒に出力する。第３の差の総和が最小の時には、ステッ
プ１０ｉ、：ｉ行し、第３の差と平均値データとが出力
される。

上述の一実施例では、残差と共に、第１行Ｒ１、第１列
０１又は平均値のデータを伝送する必要がある。しかし
、縦パターン或いは横パターンのブロックでは、縦方向
或いは横方向の相関が強いので、残差の分布の範囲が狭
くなり、伝送データ量を低減することが可能である。

次に、第４図に示すハイブリッド符号化に好適なこの発
明の他の実施例について説明する６第４図において、１
２は、ディジタル画像信号の入力端子を示す、この人力
ディジタルデータは、ブロツク化回路１３に供給され、
ブロック化回路１３により、データの順序が走査順序か
らブロックの順序に変換される。ブロック化回路１３の
出力信号が予測符号化回路１４に供給される。予測符号
化回路１４では、後述のように、第１の予測符号化、第
２の予測符号化又は第３の予測符号化の何れかが適応的
になされる。

予測符号化回路１４からの残差データがＤＣＴ（Ｄｉｓ
ｃｒｅｔｅ　Ｃｏ５１ｎｅ　Ｔｒａｎｓｆｏｒｌｌ）符
号化回路１５に供給され、ＤＣＴ符号化回路１５の出力
データがフレーム化回路１６に供給される。予測符号化
回路１４で、残差データの他に発生した選択された予測
符号化を識別するための識別データと平均値分離符号化
を選択した時の平均値データとがフレーム化回路１６に
供給される。フレーム化回路１６により、符号化の出力
データが伝送データに変換される。フレーム化回路１６
では、必要に応じて伝送データがエラー訂正符号化の処
理を受ける。

ＤＣＴ符号化回路１５の出力データがＤＣＴ復号化回路
１８に供給され、ＤＣＴ復号化回路１８の出力データが
予測符号復号化回路１９に供給される。予測符号復号化
回路１９には、識別データと平均値データとが供給され
る。予測符号復号化回路１９から得られた復号データが
メモリ２０に貯えられる。メモリ２０に格納されている
復号データが予測値の形成のために、予測符号化回路１
４に供給される。

上述のハイブリッド符号化システムにおける予測符号化
回路１４に対して、この発明が適用される。

即ち、第５図Ａに示すように、画像に縦パターンが含ま
れている時には、注目ブロックとこの注目ブロックの上
側に隣接するブロックとの間の相関が強い。注目ブロッ
クと下側の隣接プロ・ツクとの間でも、同様である。第
６図に示すように、画像に横パターンが含まれている時
には、注目ブロックとこの注目ブロックの左側に隣接す
るプロ・ツクとの間の相関が強い。注目プロ・ツクと右
側の隣接ブロックとの間でも、同様である。

第６図に示すように、水平方向に並ぶ４個のブロック８
１〜Ｂ４とブロックＢ１の下側のブロックＢ５とブロッ
クＢ２の下側で、ブロックＢ５の右側のブロックＢ６の
集合において、ブロックＢ６が注目ブロックの場合につ
いて具体的に説明する。１ブロツクは、（４Ｘ４＝１６
画素）の構成である。ブロック内でのデータの順序は、
ブロックＢ１で矢印で示された順序である。また、ブロ
ックの順序は、Ｂｌ、Ｂ２．Ｂ３．Ｂ４．Ｂ５゜Ｂ６・
・・である。第６図は、１画面の簡略化されたモデルで
あって、実際には、より多数のブロックで１画面が構成
される。

ブロックＢ１から８５迄の符号化がなされ、符号化側に
設けられた復号化回路で復号されたブロックＢｌからブ
ロックＢ５迄の復号データがメモリ２０（第４図参照）
に格納されている。注目ブロックＢ６の符号化は、第１
の残差Ａ１と第２の残差Ａ２と第３の残差Ａ３とを算出
する処理と、各残差の総和を求め、各残差の総和の中で
最小の総和を検出する処理と、最小の総和を生じさせた
残差を選択的に出力する処理とでなされる。

第１の残差Ａ１は、上側のブロックＢ２の第４行の復号
データＸＯ，ＸＩ、Ｘ２．Ｘ３と注目ブロックＢ６の各
行との画素毎の残差である。第２の残差Ａ２は、左側の
ブロックＢ５の第４列の復号データＹＯ，Ｙｌ、Ｙ２．
Ｙ３と注目ブロックＢ６の各列との画素毎の残差である
。第３の残差は、注目ブロックＢ６の１６個の画素の平
均値とブロックＢ６内の各画素との差である。

図示せずも、ブロックＢ６の次のブロックの符号化は、
ブロックＢ３の第４行の復号データＰＯ。

ＰＩ、Ｐ２．Ｐ３とブロックＢ６の第４列の復号データ
ＱＯ，Ｑ１．Ｑ２．Ｑ３とを使用してなされる。

注目ブロックが縦パターンを持つ時には、第１の残差が
最小となり、注目ブロックが横パターンを持つ時には、
第２の残差が最小となり、注目ブロックが縦パターン及
び横パターンを持たない時には、第３の残差が最小とな
る。最小の残差を与える予測符号化方法が選択されると
、符号化出力のビット数が最小とできる。但し、平均値
分離符分化の場合には、ブロックの平均値データを伝送
することが必要であり、伝送データの量が比較的多い。

従って、第３の残差の総和にオフセットを付加すること
により、平均値分離符号化が選択され難くしている。第
７図における縦軸が第３の残差Ａ３の総和であり、横軸
が第１の残差Ａｔの総和又は第２の残差Ａ２の総和であ
る。オフセットを付加しない時には、各総和で定まるグ
ラフ中の点の位置が第７図における破線Ｔｌを挟んで、
上半部にあれば、第１の残差又は第２の残差が選択され
、上記の位置が下半部にあれば、第３の残差が選択され
る。オフセットを付加して、選択の境界の線を実１ａＴ
２に移動させることにより、平均値分離符号化が選）Ｒ
され難くできる。

この発明の他の実施例は、第８図に示すように構成され
ている。第９図は、第８図の構成のタイミングチャート
である。

第８図において、２１で示す入力端子に復号データが供
給され、２２で示す入力端子に注目ブロックのデータ（
入力データ）が供給される。復号データがシフトレジス
タ２３に供給され、シフトレジスタ２３の出力データが
シフトレジスタ２４及び２５に供給される。シフトレジ
スタ２３．２４．２５には、各画素のデータと同期した
クロックＣＫが供給される。

シフトレジスタ２３に対して、クロックイネーブル信号
Ｓｌ（常にローレベル）が供給され、シフトレジスタ２
３により、復号データが１ブロツク分遅延される。この
遅延は、後述のように、ブロックの平均値を算出するた
めの時間と対応している。シフトレジスタ２４は、３ブ
ロツク分の遅延量を有し、シフトレジスタ２４に対して
、クロックイネーブル信号Ｓ２が供給される。シフトレ
ジスタ２４からの出力データＳ４は、注目ブロックＢ６
の上側のブロックＢ２の第４行の復号データ（ＸＯ，Ｘ
ｉ、Ｘ２．Ｘ３）となり、この出力データＳ４がＲＡＭ
２６内に一時的に貯えられる。

ＲＡＭ２６には、ライトイネーブル信号Ｓ３が供給され
、シフトレジスタ２４の出力データＳ４のＲＡＭ２６へ
の書き込みがなされる。ＲＡＭ２６から読み出されたデ
ータＳ５が減算回路２７に減算入力として供給される。

このデータＳ５は、Ｘｏ−Ｘ３を４回繰り返すデータで
ある。

シフトレジスタ２５には、クロックイネーブル信号Ｓ６
が供給され、注目ブロックＢ６の左側のブロックＢ５の
第４列の復号データＹＯ，Ｙｌ。

Ｙ２．Ｙ３がシフトレジスタ２５に取り込まれる。

シフトレジスタ２５の出力データＳ７が減算回２８に減
算入力として供給される。

入力端子２２からの入力データがシフトレジスタ２９及
び加算回路３０に供給される。シフトレジスタ２９は、
シフトレジスタ２３と同様に、入力データを１ブロツク
分遅延させる。

加算回路３０には、フリップフロップ３１からの１２ビ
ツトのデータがフィードバックされる。

フリップフロップ３１は、ｌブロック期間毎にローレベ
ルとなるクリア信号Ｓ８でクリアされる。

フリップフロップ３１の１２ビツトの出力中の下位側の
８ビツトが次段のフリップフロップ３２に供給される。

フリップフロップ３２には、クロックイネーブル信号Ｓ
９が供給される。上位の４ビツトが除去されることによ
り、１ブロツクの画素データの総和の（１／１６）の平
均値データがフリップフロップ３２から得られる。この
平均値データが減算回路３３に対して減算入力として供
給される。

減算回路２７．２８及び３３に対する被減算入力として
、シフトレジスタ２９の出力データが供給される。従っ
て、減算回路２７からは、注目ブロックＢ６の画素デー
タと上側のブロックＢ２の第４行σ復号データＸＯ〜Ｘ
３との第１の残差Ａ１が発生する。減算回路２８からは
、注目ブロックＢ６の画素データと左側のブロックＢ５
の第４列の復号データＹＯ−Ｙ３との第２の残差Ａ２が
発生する。減算回路３３からは、注目ブロックＢ６の画
素データと注目ブロックＢ６の平均値との第３の残差Ａ
３が発生する。

これらの残差Ａｌ、Ａ２及びＡ３がシフトレジスタ４１
，４２．４３を介してセレクタ４４に供給される。シフ
トレジスタ４１．４２．４３は、夫々１ブロック分の遅
延量を有し、常にローレベルのクロックイネーブル信号
ＳＩＯが供給される。

また、注目ブロックＢ６の平均値データが１ブロック分
の遅延量を持つシフトレジスタ４６を介してゲート回路
４７に供給される。セレクタ４４で選択された残差が符
号化出力として、出力端子４５に取り出される。ゲート
回路４７の出力端子４８には、平均値データが取り出さ
れる。

３個の残差の総和が夫々求められ、総和の大小関係が判
別される。残差Ａｌの総和は、フィードバック構成の加
算回路５０とフリップフロップ５１とにより算出され、
総和がフリップフロップ５２に貯えられる。残差Ａ２の
総和は、フィードバック構成の加算回路５３とフリップ
フロップ５４とにより算出され、総和がフリップフロッ
プ５５に貯えられる。残差Ａ３の総和は、フィードバッ
ク構成の加算回路５６とフリップフロップ５７とにより
算出され、総和がフリップフロップ５８に貯えられる。

フリップフロップ５１，５４．５７に対してクロックイ
ネーブル信号Ｓｌｌが供給され、フリップフロップ５２
，５５．５８に対してクロックイネーブル信号Ｓ１２が
供給される。

前述のように、平均値分離符号化が選択され難くするた
めに、端子６０からのオフセットがフリップフロップ５
８の出力データ（残差Ａ３の総和）に対して加算回路５
９で付加される。フリップフロップ５２の出力データが
比較回路６Ｉ及びセレクタ６２に供給され、フリップフ
ロップ５５の出力データが比較回路６１及びセレクタ６
２に供給される。比較回路６１の比較出力がセレクタ６
２及びＲＯＭ６４に供給される。セレクタ６２では、二
つの入力データの中のより小さい方の人力データが選択
される。このセレクタ６２の出力データが比較回路６３
に供給され、セレクタ６２の出力データと加算回路５９
の出力データとが比較される。比較回路６３の比較出力
がＲＯＭ６４に供給される。

ＲＯＭ６４は、比較回路６１及び６３の比較出力から３
個の総和の中で最小のものを示す２ビツトの識別データ
とゲート制御信号とを発生する。

この識別データが出力端子６５及び６６に取り出される
。また、識別データがセレクタ４４に供給され、ゲート
制御信号がゲート回路４７に供給される。セレクタ４４
はて１小の総和を与える残差を選択的に出力する。若し
、平均値と各画素の残差がセレクタ４４により選択され
る時には、ゲート回路４７がゲート制御信号によりオン
とされ、平均値データが出力端子４８に取り出される。

以上の実施例では、注目ブロックの上側のブロックで、
注目ブロックと距離が近い第４行の復号データ並びに注
目ブロックの左側のブロックで、注目ブロックと距離が
近い第４列の復号データを予測のために使用している。

しがしながら、これに限定されるものでなく、隣接ブロ
ックの他の行又は他の列の復号データを予測に使用した
り、隣接ブロックの平均化された行データ又は列データ
を予測に使用しても良い、また、注目ブロックの平均値
以外の最大値、最小値等を代表値としても良い。

〔発明の効果〕

この発明では、符号化の対象である注目ブロックが縦パ
ターン或いは横パターンを持つ場合には、注目ブロック
の画素と最も相関が強いデータを使用して予測符号化を
行うので、残差が小さくなり、符号化ビット数を少なく
できる。然も、縦パターン或いは横パターンを持つ場合
では、識別データ（２ビツト）を送る必要があるガ、平
均値データを伝送する必要がなく、高い圧縮率を達成で
きる。

また、残差が小さくできるので、復元画像の画質の向上
を達成することができる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック構成を示す路線
図、第２図はブロック内のパターンの説明に用いる路線
図、第３図はこの発明の一実施例の説明に用いるフロー
チャート、第４図はこの発明の他の実施例が適用できる
ハイブリッド構成のブロック図、第５図はこの発明の他
の実施例の説明に用いる路線図、第６図はこの発明の他
の実施例のブロック構成の路線図、第７図はこの発明の
他の実施例の符号化方法の選択の説明に用いる路線図、
第８図はこの発明の他の実施例のブロック図、第９図は
この発明の他の実施例の動作説明に用いるタイミングチ
ャートである。 図面における主要な符号の説明 １３ニブロック化回路、１４：予測符号化回路、１５　
：　ＤＣＴ符号化回路、 ２１：復号データの入力端子、 ２２：入力データの入力端子、 ２７：第１の残差Ａｌを発生する減算回路、２８：第２
の残差Ａ２を発生する減算回路、３３：第３の残差Ａ３
を発生する減算回路、４４：セレクタ、４７：ゲート回
路、 ５９：オフセラ１トを付加する加算回路。 代理人　弁理士　杉　浦　正　知 フ゛０・ツク楕止 第６図 ）午号イ乙シ天Ｉ）通（克（ 第７図 Ａ藏Ｕ） Ｑ υ転 〜ン

Claims (1)

1. 【特許請求の範囲】 １画面より小なる画素の２次元配列であるブロックを単
   位として、符号化を行うようにした画像信号の高能率符
   号化装置において、 符号化の対象である注目ブロック又は上記注目ブロック
   と隣接する上下のブロックの少なくとも一方のブロック
   に含まれる行方向の画素情報と上記注目ブロックに含ま
   れる画素との第１の差を求める第１の予測符号化手段と
   、 上記注目ブロック又は上記注目ブロックと隣接する左右
   のブロックの少なくとも一方のブロックに含まれる列方
   向の画素情報と上記注目ブロックに含まれる画素との第
   ２の差を求める第２の予測符号化手段と、 上記注目ブロック内の画素と上記注目ブロックに関する
   代表値との第３の差を求める第３の予測符号化手段と、 上記第１、第２及び第３の差に基づいて、上記第１、第
   ２及び第３の予測符号化の何れかを選択する手段と を備えたことを特徴とする画像信号の高能率符号化装置
   。