Nothing Special   »   [go: up one dir, main page]

JP3431331B2 - 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置 - Google Patents

動画像符号化装置及び動画像伝送装置並びにテレビ会議装置

Info

Publication number
JP3431331B2
JP3431331B2 JP04159295A JP4159295A JP3431331B2 JP 3431331 B2 JP3431331 B2 JP 3431331B2 JP 04159295 A JP04159295 A JP 04159295A JP 4159295 A JP4159295 A JP 4159295A JP 3431331 B2 JP3431331 B2 JP 3431331B2
Authority
JP
Japan
Prior art keywords
image
processing unit
code amount
upper limit
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04159295A
Other languages
English (en)
Other versions
JPH08237657A (ja
Inventor
到 野々村
真一 橋本
祐二 木村
剛裕 山田
和明 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP04159295A priority Critical patent/JP3431331B2/ja
Priority to US08/607,156 priority patent/US5796435A/en
Publication of JPH08237657A publication Critical patent/JPH08237657A/ja
Application granted granted Critical
Publication of JP3431331B2 publication Critical patent/JP3431331B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148Interfacing a video terminal to a particular transmission medium, e.g. ISDN
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、テレビ電話装置、テレ
ビ会議装置、ビデオメ−ル装置等に用いられる動画像デ
ータを圧縮して符号データに変換して通信回線を通して
伝送する動画像符号化装置を含む動画像伝送装置並びに
テレビ会議装置、そのシステムに関する。
【0002】
【従来の技術】動画像データは非常に大きいため、その
蓄積や伝送を行う際には圧縮を行い、蓄積に必要な記憶
装置の記憶容量を減らし、伝送に必要な時間を短縮する
ことが行われている。動画像データを圧縮する国際標準
規格には、ISOで規格化されたMPEG1(Moving Pi
cture Experts Group phase 1)規格やCCITT(現I
TU−T)で規格化されたH.261規格などがあり、
現在はこれらの国際標準規格が広く用いられている。
【0003】次に、この国際標準規格に基づくデータ圧
縮方式の原理について簡単に説明する。前記データ圧縮
方式は、いずれも直交変換を用いた直交変換方式であ
る。この直交変換方式は、画像データに直交変換を施し
て直交変換係数にしたときに、低い空間周波数に対応す
る係数の値が大きくなり、高い空間周波数に対応する係
数の値が小さくなる傾向にあることと、人間の視覚が低
い空間周波数に対して鋭敏であり、高い空間周波数に対
して鈍感であることとを利用して符号化する方式であ
る。
【0004】次に、前述のMPEG1規格に基づく符号
を生成する方式を図1を参照して簡単に説明する。即
ち、MPEG1規格に基づく符号を生成する方式は、上
記直交変換方式において、ブロック分割手段101で
は、入力画像データを8画素×8画素のブロックに分割
して動き補償予測手段102に供給する。動き補償予測
手段102では、ブロック分割手段101から供給され
る4個の輝度ブロックと2個の色差ブロックとを集積し
てマクロブロックを生成し、該マクロブロックとフレー
ムメモリに格納された復号画像データとの間で演算を行
ない、該マクロブロック毎に動きベクトルを生成し、該
ブロック毎に差分ブロックを生成し、該差分ブロックを
直交変換手段103に、該動きベクトルを符号出力手段
106と逆直交変換手段108とに供給する。直交変換
手段103では、動き補償予測手段102から供給され
る差分ブロックに対して直交変換の一種である離散コサ
イン変換(以下、DCTと略す)を施してDCT係数を
得、該DCT係数を量子化手段104に供給する。量子
化手段104では、直交変換手段103から供給される
DCT係数を、量子化スケールと量子化行列の対応する
成分とを乗算して得られた数値を用いて、あるいは固定
値を用いて除算し、得られた量子化係数を可変長符号化
手段105に供給する。可変長符号化手段105では、
量子化手段104から供給される量子化係数を可変長符
号に変換し、該可変長符号を符号出力手段106に供給
する。符号出力手段106は、可変長符号化手段105
から供給される可変長符号と動き補償予測手段102か
ら供給される動きベクトルに復号時に使用する制御情報
等を付加して画像符号データを得、該画像符号データを
外部に出力する。逆量子化手段107では、量子化手段
104から供給される量子化係数を逆量子化して逆量子
化係数を得、該逆量子化係数を逆直交手段108に供給
する。逆直交変換手段108は、逆量子化手段107か
ら供給される逆量子化係数に逆直交変換を施して逆直交
変換係数を得、該逆直交変換係数とフレ−ムメモリ10
9に格納されている復号画像データとを加算して次フレ
ームの符号化時の動き補償予測処理の際に用いる復号画
像データを生成し、該復号画像データをフレームメモリ
109に格納する。なお、加算に用いる復号画像データ
は、動き補償予測手段102から供給される動きベクト
ルに基づいて決定される。以上の手順によってMPEG
1規格に基づく符号を生成することが出来る。
【0005】更に、前述のH.261規格に基づく符号
を生成する方式を、図1を参照して簡単に説明する。即
ち、H.261規格に基づく符号を生成する方式は、上
記直交変換方式において、ブロック分割手段101で
は、入力画像データを8画素ラ8画素のブロックに分割
し、該ブロックを動き補償予測手段102に供給する。
動き補償予測手段102では、ブロック分割手段101
から供給される4個の輝度ブロックと2個の色差ブロッ
クとを集積してマクロブロックを生成し、該マクロブロ
ックとフレ−ムメモリに格納された復号画像データとの
間で演算を行ない、該マクロブロック毎に動きベクトル
を生成し、該ブロック毎に差分ブロックを生成し、該差
分ブロックを直交変換手段103に、該動きベクトルを
符号出力手段106と逆直交変換手段108とに供給す
る。直交変換手段103では、動き補償予測手段102
から供給される差分ブロックに対してDCTを施してD
CT係数を得、該DCT係数を量子化手段104に供給
する。量子化手段104では、直交変換手段103から
供給されるDCT係数を、量子化スケールあるいは固定
値を用いて除算し、得られた量子化係数を可変長符号化
手段105に供給する。可変長符号化手段105では、
量子化手段104から供給される量子化係数を可変長符
号に変換し、該可変長符号を符号出力手段106に供給
する。符号出力手段106は、可変長符号化手段105
から供給される可変長符号と動き補償予測手段102か
ら供給される動きベクトルに復号時に使用する制御情報
等を付加して画像符号データを得、該画像符号データを
外部に出力する。逆量子化手段107では、量子化手段
104から供給される量子化係数を逆量子化して逆量子
化係数を得、該逆量子化係数を逆直交手段108に供給
する。逆直交変換手段108は、逆量子化手段107か
ら供給される逆量子化係数に逆直交変換を施して逆直交
変換係数を得、該逆直交変換係数とフレ−ムメモリ10
9に格納されている復号画像データとを加算して次フレ
ームの符号化時の動き補償予測処理の際に用いる復号画
像データを生成し、該復号画像データをフレームメモリ
109に格納する。なお、加算に用いる復号画像データ
は、動き補償予測手段102から供給される動きベクト
ルに基づいて決定される。以上の手順によってH.26
1規格に基づく符号を生成することが出来る。
【0006】このような手法によって、動画像データを
効率良く圧縮できることが一般に知られている。しか
し、画像の性質に係わらず同じ特性で量子化を行った場
合、急激な階調変化を含む画像を符号化したときには、
高い空間周波数に対応する直交変換係数が粗く量子化さ
れていることに起因して、符号を復号して得られた画像
に視覚的に気になるノイズやぼけが見られるという課題
を有していた。また、逆に階調変化の少ない画像では、
人間の視覚が低い空間周波数に対して鋭敏なことに起因
して、符号を復号して得られた画像にブロック状の歪や
本来存在しない輪郭線が見られたりするという課題を有
していた。また、発生符号量の制御は、画像符号化にお
いて重要である。発生符号量が多すぎることは、符号デ
ータを通信回線を介して伝送するときには伝送時間の増
加によって通信コストの増加を招き、符号データを記憶
装置へ蓄積するときには必要な記憶容量の増加に基づく
記憶装置のコストの増加を招き、また、発生符号量が少
なすぎることは、画質劣化の原因となって望ましくなか
った。このような点を解決するために、第1の従来技術
として、特開平4−170283号公報に記載されてい
るように、ブロック化された画像データに基づいて画像
の内容を推定し、推定結果に基づいて量子化スケール
符号化する空間周波数の上限値とを変更することが知ら
れ、第2の従来技術として、特開平5−276503号
公報に記載されているように、符号データを格納する符
号バッファの占有量と差分ブロックの画像データとに基
づいて量子化スケールを制御することによって発生符号
量を制御することが知られている。
【0007】
【発明が解決しようとする課題】上記第1の従来技術に
おいては、画像の性質に応じた符号化が可能であるが、
発生符号量に対する考慮がなされていないという課題を
有している。また、上記第2の従来技術においては、発
生符号量の制御を量子化スケールの変更のみで行なって
いるために、常に最良の画質を得ることは難しいという
課題を有するものである。
【0008】本発明の目的は、上記従来技術の課題を解
決すべく、外部から入力される要求符号量に近い符号量
での画像符号化という条件の下で、急激な階調変化を含
む画像に対しては急激な階調変化を表現可能にし、階調
変化の少ない画像に対してはブロック歪や偽輪郭の発生
を少なく抑え、国際標準規格に基づいた符号データを生
成することを可能とした動画像符号化装置及び動画像伝
送装置並びにそのシステムを提供することにある。また
本発明の他の目的は、相手端末の要求符号量に近い符号
量での画像符号化という条件下で、急激な階調変化を含
む画像に対しては急激な階調変化を表現可能にし、階調
変化の少ない画像に対してはブロック歪や偽輪郭の発生
を少なく抑え、国際標準規格に基づいた符号データを通
信網を介して相手端末に送信可能とした動画像伝送装置
及びテレビ会議装置並びにそのシステムを提供すること
にある。
【0009】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、量子化スケールと空間周波数の上限値と
の組を画像符号量に応じて複数揃えたパラメータテーブ
ルを備え、要求符号量と符号化された画像符号量との間
の関係から前記パラメータテーブルから量子化スケール
と空間周波数の上限値との組を決定し、直交変換係数を
量子化して量子化係数を得る際、この決定された空間周
波数の上限値以下またはこの上限値より小さい空間周波
数に対応する直交変換係数に対して前記決定された量子
スケールに基づいて量子化処理を行い、更に前記決定
された空間周波数の上限値を超える又はこの上限値以上
の空間周波数に対応する直交変換係数を実質的にゼロに
して量子化係数を得る計算手段を備えたことを特徴とす
る動画像符号化装置である。
【0010】また本発明は、画像データを入力する画像
データ入力手段と、予め量子化スケールと空間周波数の
上限値との組を画像符号量に応じて複数揃えたパラメー
タテーブルを登録した記憶手段と、前記画像データ入力
手段で入力された画像データに対して動き補償予測処理
を行い、この動き補償予測処理で生成される差分ブロッ
クに直交変換を施して直交変換係数を得、要求符号量と
符号化された画像符号量との間の関係から前記パラメー
タテーブルから量子化スケールと空間周波数の上限値と
の組を決定し、この決定された空間周波数の上限値以下
またはこの上限値より小さい空間周波数に対応する前記
直交変換係数に対して前記決定された量子化スケール
基づいて量子化処理を行い、更に前記決定された空間周
波数の上限値を超える又はこの上限値以上の空間周波数
に対応する前記直交変換係数を実質的にゼロにして量子
化係数を得、前記空間周波数の上限値以下またはこの上
限値より小さいときにおいて得られる量子化係数を可変
長符号に変換し、この変換された可変長符号と前記決定
された量子化スケールとに復号時に必要な制御情報等を
加えて画像符号データを生成する計算手段とを備えたこ
とを特徴とする動画像符号化装置である。
【0011】また本発明は、画像データを入力する画像
データ入力手段と、予め量子化スケ ールと空間周波数の
上限値との組を画像符号量に応じて複数揃えたパラメー
タテーブルを登録した記憶手段と、前記画像データ入力
手段で入力された画像データに対して動き補償予測処理
を行い、この動き補償予測処理で生成される差分ブロッ
クに直交変換を施して直交変換係数を得、相手端末の要
求符号量と符号化された画像符号量との間の関係から前
記パラメータテーブルから量子化スケールと空間周波数
の上限値との組を決定し、この決定された空間周波数の
上限値以下またはこの上限値より小さい空間周波数に対
応する前記直交変換係数に対して前記決定された量子化
スケールに基づいて量子化処理を行い、更に前記決定さ
れた空間周波数の上限値を超える又はこの上限値以上の
空間周波数に対応する前記直交変換係数を実質的にゼロ
にして量子化係数を得、前記空間周波数の上限値以下ま
たはこの上限値より小さいときにおいて得られる量子化
係数を可変長符号に変換し、この変換された可変長符号
と前記決定された量子化スケールとに復号時に必要な制
御情報等を加えて画像符号データを生成する計算手段と
を備えた動画像符号化手段を設け、該動画像符号化手段
で生成された画像符号データを記憶する記憶手段を設
け、該記憶手段に記憶された画像符号データを通信網を
介して相手端末に伝送する伝送用計算手段を設けたこと
を特徴とする動画像伝送装置である。
【0012】また本発明は、画像データを入力する画像
データ入力手段と、予め量子化スケールと空間周波数の
上限値との組を画像符号量に応じて複数揃えたパラメー
タテーブルを登録した記憶手段と、前記画像データ入力
手段で入力された画像データに対して動き補償予測処理
を行い、この動き補償予測処理で生成される差分ブロッ
クに直交変換を施して直交変換係数を得、要求符号量と
符号化された画像符号量との間の関係から前記パラメー
タテーブルから量子化スケールと空間周波数の上限値と
の組を決定し、この決定された空間周波数の上限値以下
またはこの上限値より小さい空間周波数に対応する前記
直交変換係数に対して前記決定された量子化スケール
基づいて量子化処理を行い、更に前記決定された空間周
波数の上限値を超える又はこの上限値以上の空間周波数
に対応する前記直交変換係数を実質的にゼロにして量子
化係数を得、前記空間周波数の上限値以下またはこの上
限値より小さいときにおいて得られる量子化係数を可変
長符号に変換し、この変換された可変長符号と前記決定
された量子化スケールとに復号時に必要な制御情報等を
加えて画像符号データを生成する計算手段とを備えた動
画像符号化手段を設け、該動画像符号化手段で生成され
た画像符号データを記憶し、相手端末から伝送されてき
た画像符号データを記憶する記憶手段を設け、復号され
た画像データを表示する表示手段を設け、前記記憶手段
に記憶された画像符号データを通信網を介して相手端末
に伝送し、前記記憶手段に記憶された相手端末から伝送
されてきた画像符号データを復号化して前記表示手段に
表示させるようにする伝送用計算手段を設けたことを特
徴とするテレビ会議装置である。
【0013】また本発明は、画像データを入力する画像
データ入力手段と、予め複数の量子化スケールと複数の
空間周波数の上限値との組を画像符号量に応じて複数揃
えたパラメータテーブルを登録した記憶手段と、前記画
像データ入力手段で入力された画像データに対して動き
補償予測処理を行い、この動き補償予測処理で生成され
る差分ブロックに直交変換を施して直交変換係数を得、
要求符号量と符号化された画像符号量との間の関係から
前記パラメータテーブルから複数の量子化スケールと複
数の空間周波数の上限値との組を決定し、前記差分ブロ
ック又は直交変換係数に基づいて画質の性質を推定し、
この推定された画質の性質に応じて前記決定された組の
中から更に所望の量子化スケールと所望の空間周波数の
上限値を選定し、この選定された所望の空間周波数の上
限値以下またはこの上限値より小さい空間周波数に対応
する前記直交変換係数に対して前記決定された量子化
ケールに基づいて量子化処理を行い、更に前記選定され
た所望の空間周波数の上限値を超える又はこの上限値以
上の空間周波数に対応する前記直交変換係数を実質的に
ゼロにして量子化係数を得、前記所望の空間周波数の上
限値以下またはこの上限値より小さいときにおいて得ら
れる量子化係数を可変長符号に変換し、この変換された
可変長符号と前記選定された量子化スケールとに復号時
に必要な制御情報等を加えて画像符号データを生成する
計算手段とを備えたことを特徴とする動画像符号化装置
である。
【0014】また本発明は、画像データを入力する画像
データ入力手段と、予め複数の量子化スケールと複数の
空間周波数の上限値との組を画像符号量に応じて複数揃
えたパラメータテーブルを登録した記憶手段と、前記画
像データ入力手段で入力された画像データに対して動き
補償予測処理を行い、この動き補償予測処理で生成され
る差分ブロックに直交変換を施して直交変換係数を得、
要求符号量と符号化された画像符号量との間の関係から
前記パラメータテーブルから複数の量子化スケールと複
数の空間周波数の上限値との組を決定し、前記差分ブロ
ック又は直交変換係数に基づいて画質の性質を推定し、
この推定された画質の性質に応じて前記決定された組の
中から更に所望の量子化スケールと所望の空間周波数の
上限値を選定し、この選定された所望の空間周波数の上
限値以下またはこの上限値より小さい空間周波数に対応
する前記直交変換係数に対して前記決定された量子化
ケールに基づいて量子化処理を行い、更に前記選定され
た所望の空間周波数の上限値を超える又はこの上限値以
上の空間周波数に対応する前記直交変換係数を実質的に
ゼロにして量子化係数を得、前記所望の空間周波数の上
限値以下またはこの上限値より小さいときにおいて得ら
れる量子化係数を可変長符号に変換し、この変換された
可変長符号と前記選定された量子化スケールとに復号時
に必要な制御情報等を加えて画像符号データを生成する
計算手段とを備えた動画像符号化手段を設け、該動画像
符号化手段で生成された画像符号データを記憶する記憶
手段を設け、該記憶手段に記憶された画像符号データを
通信網を介して相手端末に伝送する伝送用計算手段を設
けたことを特徴とする動画像伝送装置である。
【0015】また本発明は、画像データを入力する画像
データ入力手段と、予め複数の量子化スケールと複数の
空間周波数の上限値との組を画像符号量に応じて複数揃
えたパラメータテーブルを登録した記憶手段と、前記画
像データ入力手段で入力された画像データに対して動き
補償予測処理を行い、この動き補償予測処理で生成され
る差分ブロックに直交変換を施して直交変換係数を得、
要求符号量と符号化された画像符号量との間の関係から
前記パラメータテーブルから複数の量子化スケールと複
数の空間周波数の上限値との組を決定し、前記差分ブロ
ック又は直交変換係数に基づいて画質の性質を推定し、
この推定された画質の性質に応じて前記決定された組の
中から更に所望の量子化スケールと所望の空間周波数の
上限値を選定し、この選定された所望の空間周波数の上
限値以下またはこの上限値より小さい空間周波数に対応
する前記直交変換係数に対して前記決定された量子化
ケールに基づいて量子化処理を行い、更に前記選定され
た所望の空間周波数の上限値を超える又はこの上限値以
上の空間周波数に対応する前記直交変換係数を実質的に
ゼロにして量子化係数を得、前記所望の空間周波数の上
限値以下またはこの上限値より小さいときにおいて得ら
れる量子化係数を可変長符号に変換し、この変換された
可変長符号と前記選定された量子化スケールとに復号時
に必要な制御情報等を加えて画像符号データを生成する
計算手段とを備えた動画像符号化手段を設け、該動画像
符号化手段で生成された画像符号データを記憶し、相手
端末から伝送されてきた画像符号データを記憶する記憶
手段を設け、復号された画像データを表示する表示手段
を設け、前記記憶手段に記憶された画像符号データを通
信網を介して相手端末に伝送し、前記記憶手段に記憶さ
れた相手端末から伝送されてきた画像符号データを復号
化して前記表示手段に表示させるようにする伝送用計算
手段を設けたことを特徴とするテレビ会議装置である。
【0016】また本発明は、入力画像データをn画素×
n画素のブロックに分割して該ブロックを複数個集積し
てマクロブロックを生成し、該マクロブロックとフレー
ムメモリに格納されている復号画像データとの間で演算
を行なうことにより該マクロブロック毎に動きベクトル
を生成し、更に前記分割されたブロック毎に差分ブロッ
クを生成して動き補償予測を行い、この差分ブロックに
直交変換を施して直交変換係数を得、画像符号量と要求
符号量から所定の関数又は予め登録されたパメータテ
ーブルに基づいて決定された複数の量子化スケールの候
補値と複数の空間周波数の上限値の候補値との組から、
前記差分ブロックまたは直交変換係数に基づいて推定さ
れる画像の性質に応じて、所望の量子化スケールと所望
の空間周波数の上限値との各々を選択し、この選択され
た所望の空間周波数の上限値以下又はこの上限値より小
さいときにおける空間周波数に対応する直交変換係数
を、前記選択された量子化スケールを用いて量子化し、
前記選択された空間周波数の上限値を超えるとき又は該
上限値以上における空間周波数に対応する直交変換係数
を、実質的にゼロにして量子化係数を得、前記選択され
た空間周波数の上限値以下又はこの上限値より小さいと
きにおける量子化係数を可変長符号に変換し、この変換
された可変長符号と前記選択された量子化スケールとに
復号時に必要な制御情報等を加えて画像符号データを生
成する計算手段を備えたことを特徴とする動画像符号化
装置である。
【0017】また本発明は、入力画像データをn画素×
n画素のブロックに分割して該ブロックを複数個集積し
てマクロブロックを生成し、該マクロブロックとフレー
ムメモリに格納されている復号画像データとの間で演算
を行なうことにより該マクロブロック毎に動きベクトル
を生成し、更に前記分割されたブロック毎に差分ブロッ
クを生成して動き補償予測を行い、この差分ブロックに
直交変換を施して直交変換係数を得、画像符号量と要求
符号量から所定の関数又は予め登録されたパメータテ
ーブルに基づいて決定された複数の量子化スケールの候
補値と複数の空間周波数の上限値の候補値との組から、
前記差分ブロックまたは直交変換係数に基づいて推定さ
れる急激な階調変化を含む画像と階調変化の少ない画像
とであるかに応じて、所望の量子化スケールと所望の空
間周波数の上限値との各々を選択し、この選択された所
望の空間周波数の上限値以下又はこの上限値より小さい
ときにおける空間周波数に対応する直交変換係数を、前
記選択された量子化スケールを用いて量子化し、前記選
択された空間周波数の上限値を超えるとき又は該上限値
以上における空間周波数に対応する直交変換係数を、実
質的にゼロにして量子化係数を得、前記選択された空間
周波数の上限値以下又はこの上限値より小さいときにお
ける量子化係数を可変長符号に変換し、この変換された
可変長符号と前記選択された量子化スケールとに復号時
に必要な制御情報等を加えて画像符号データを生成する
計算手段を備えたことを特徴とする動画像符号化装置で
ある。
【0018】また本発明は、前記動画像符号化装置にお
ける前記計算手段において、急激な階調変化を含む画像
と推定した場合には、前記所望の量子化スケールを、複
数の量子化スケールの候補値の内から値の大きいものを
選択し、更に前記所望の空間周波数の上限値を、複数の
符号化する空間周波数の上限値の候補値の内から値の大
きいものを選択し、階調変化の少ない画像と推定した場
合には、前記所望の量子化スケールを、複数の量子化
ケールの候補値の内から値の小さいものを選択し、更に
前記所望の空間周波数の上限値を、複数の符号化する空
間周波数の上限値の候補値の内から値の小さいものを選
択するように構成したことを特徴とする。また本発明
は、前記動画像符号化装置における前記計算手段におい
て、所定の関数又は予め登録されたパメータテーブル
を、階調変化の度合いの異なる複数の動画像に基づいて
得るように構成したことを特徴とする。また本発明は、
前記動画像符号化装置を設け、更に該動画像符号化装置
に備えられた計算機に提供される前記要求符号量を、ネ
ットワークの負荷あるいは該動画像符号化装置を有する
端末の処理能力及び処理負荷を自律検知し、その検知結
果に基づいて決定する手段を設けたことを特徴とする動
画像伝送装置である。また本発明は、前記動画像符号化
装置を設け、更に該動画像符号化装置に備えられた計算
機に提供される前記要求符号量を、画像通信を行なう相
手端末の処理能力や符号量要求値に基づいて決定する手
段を設けたことを特徴とする動画像伝送装置である。ま
た本発明は、前記動画像符号化装置を設け、更に該動画
像符号化装置に備えられた計算機に提供される前記要求
符号量を、前記動画像伝送装置を使用するユーザの操作
に基づいて決定する手段を設けたことを特徴とする動画
像伝送装置である。
【0019】また本発明は、入力画像データをn画素ラ
n画素のブロックに分割する第一のブロック分割手段
と、該ブロック分割手段で分割されたブロックを複数個
集積してマクロブロックを生成し、該マクロブロックと
フレームメモリに格納されている復号画像データとの間
で演算を行なうことにより、該マクロブロックごとに動
きベクトルを生成し、ブロックごとに差分ブロックを生
成する動き補償予測手段と、該差分ブロックに対して直
交変換を施して直交変換係数を得る第一の直交変換手段
と、該直交変換係数から画像の性質を推定し、急激な階
調変化を含む画像と推定した場合には、第一の符号量判
定手段から供給される複数の量子化スケールの候補値の
うちから値の小さいものを選択し、第一の符号量判定手
段から供給される複数の符号化する空間周波数の上限値
の候補値から値の小さいものを選択し、階調変化の少な
い画像と推定した場合には、第一の符号量判定手段から
供給される複数の量子化スケールの候補値のうちから値
の大きいものを選択し、第一の符号量判定手段から供給
される複数の符号化する空間周波数の上限値の候補値か
ら値の大きいものを選択する、第一の画像性質推定手段
と、該画像性質推定手段で選択された、符号化する空間
周波数の上限値以下の空間周波数に対応する直交変換係
数を該画像性質推定手段で選択された量子化スケール
用いて量子化し、該画像性質推定手段で選択された、符
号化する空間周波数の上限値を超える空間周波数に対応
する直交変換係数をゼロにして量子化係数を得る第一の
量子化手段と、該画像性質推定手段で選択された、符号
化する空間周波数の上限値以下の空間周波数に対応する
量子化係数を可変長符号に変換する第一の可変長符号化
手段と、該可変長符号と量子化スケールに復号時に必要
な制御情報等を加えて符号データを出力する第一の符号
出力手段と、該符号出力手段の出力する符号データの量
を計測する第一の符号量計測手段と、該符号量計測手段
により得られた符号量計測値と外部から供給される符号
量要求値からそれぞれ複数の量子化スケールの候補値
と、符号化する空間周波数の上限値の候補値とを決定
し、該候補値を該画像性質判定手段に供給する第一の符
号量判定手段と、量子化手段によって得られた量子化係
数を量子化して、逆量子化系数を得る第一の逆量子化手
段と、該逆量子化手段で得られた逆量子化係数に、逆直
交変換を施して逆直交変換係数を得、該逆直交変換係数
とフレームメモリに格納されている復号画像データとを
加算して新しい復号画像データを生成し、該復号画像デ
ータをフレームメモリに格納する第一の逆直交変換手段
より構成する。
【0020】また本発明は、入力画像データをn画素ラ
n画素のブロックに分割する第二のブロック分割手段
と、該ブロック分割手段で分割されたブロックを複数個
集積してマクロブロックを生成し、該マクロブロックと
フレームメモリに格納されている復号画像データとの間
で演算を行なうことにより、該マクロブロックごとに動
きベクトルを生成し、ブロックごとに差分ブロックを生
成する第二の動き補償予測手段と、該差分ブロックの画
像データから画像の性質を推定し、急激な階調変化を含
む画像と推定した場合には、第二の符号量判定手段から
供給される複数の量子化スケールの候補値のうちから値
の小さいものを選択し、第二の符号量判定手段から供給
される複数の符号化する空間周波数の上限値の候補値か
ら値の小さいものを選択し、階調変化の少ない画像と推
定した場合には、第の符号量判定手段から供給される
複数の量子化スケールの候補値のうちから値の大きいも
のを選択し、第二の符号量判定手段から供給される複数
の符号化する空間周波数の上限値の候補値から値の大き
いものを選択する、第二の画像性質推定手段と、差分ブ
ロックに対して直交変換を施し、該画像性質推定手段で
選択された、符号化する空間周波数の上限値以下の空間
周波数に対応する直交変換係数を求め、該画像性質推定
手段で選択された、符号化する空間周波数の上限値を超
える空間周波数に対応する直交変換係数をゼロにして直
交変換係数を得る第二の直交変換手段と、画像性質推定
手段で選択された、符号化する空間周波数の上限値以下
の空間周波数に対応する直交変換係数を該画像性質推定
手段で決定された量子化スケールを用いて量子化して量
子化係数を得る第二の量子化手段と、画像性質推定手段
で選択された、符号化する空間周波数の上限値以下の空
間周波数に対応する量子化係数を可変長符号に変換する
第二の可変長符号化手段と、該変長符号と量子化スケー
に復号時に必要な制御情報等を加えて符号データを出
力する第二の符号出力手段と、該号出力手段の出力する
符号データの量を計測する第二の符号量計測手段と、該
号量計測手段により得られた符号量計測値と外部から供
給される符号量要求値からそれぞれ複数の量子化スケー
の候補値と、符号化する空間周波数の上限値の候補値
とを決定し、該候補値を該画像性質推定手段に供給する
第二の符号量判定手段と、量子化係数を逆量子化して逆
量子化系数を得る第二の逆量子化手段と、該逆量子化係
数に逆直交変換を施して逆直交変換係数を生成し、該逆
直交変換係数とフレームメモリに格納されている復号画
像データとを加算して新しい復号画像データを生成し、
該復号画像データをフレームメモリに格納する第二の逆
直交変換手段より構成する。
【0021】
【作用】前記構成により、外部から要求符号量を入力
し、、さらに1個あるいは複数個のマクロブロックから
なる画面上の領域毎に画像の内容を推定し、該推定結果
と要求符号量とに基づいて量子化スケールと符号化する
空間周波数の上限値とを設定することにより、要求符号
量に近い画像符号量での符号化という条件の下で、急激
な階調変化を含む画像に対しては符号化する空間周波数
の上限値を高くすることによって急激な階調変化を表現
可能であり、階調変化の少ない画像に対しては量子化を
細かくすることによってブロック歪や偽輪郭の発生を抑
えることが可能であり、かつ画像符号化の国際標準規格
に基づく画像符号を生成することが可能な新規で、且つ
優れた動画像符号化装置及び動画像伝送装置及びテレビ
会議装置並びにそれらのシステムを実現することができ
る。即ち、量子化スケールと空間周波数の上限値との組
を画像符号量に応じて複数揃えたパラメータテーブルを
備えることによって、新規で、且つ優れた動画像符号化
装置及び動画像伝送装置及びテレビ会議装置並びにそれ
らのシステムを実現することができる。
【0022】
【実施例】本発明に係わる動画像符号化装置を含む動画
像伝送装置の実施例をついて図面を用いて説明する。ま
ず、本発明をテレビ会議装置に適用した場合の第一の実
施例について説明する。図2は、本発明に係わる動画像
符号化装置を含む動画像伝送装置をテレビ会議装置に適
用した場合の第一の実施例を示すシステム構成図であ
る。テレビ会議装置30は、カメラ310から撮像され
た動画像も含む画像をA/D変換して符号化処理等を行
う画像CODEC(CODECは、符号器(coder)と復
号器(decoder)の合成語)301と、CRT311の画
面上に表示データに表示するように制御する表示制御部
302と、マイクロホン313から入力されるアナログ
の音声信号に対する音声入力符号化処理及び通信網31
4から受信した音声符号データに対する音声復号化出力
処理を行なう音声CODEC303と、CPU304
と、通信制御部305と、データの入力手段であるKB
D(キーボード)306及びマウス307と、記憶装置
308と、バス309とを備え、通信網314に接続さ
れている。
【0023】このシステムにおいて、図3に示すよう
に、例えばテレビ会議装置30aが、通信網314を介
して接続された相手端末30dと画像及び音声の送受信
を行なう場合の処理の流れを説明する。テレビ会議装置
30において、画像CODEC301、表示制御部30
2、音声CODEC303、通信制御部305、キーボ
ード306、マウス307、記憶装置308、バス30
9を介してのデータ転送は、すべてCPU304が制御
している。上記表示制御部302は、CPU304から
表示データを受け取り、該表示データを表示信号に変換
し、該表示信号をCRT311に出力してCRT311
の画面上に表示データに表示するように制御する部分で
ある。また上記音声CODEC303は、マイクロホン
313から入力されるアナログの音声信号をA/D変換
し、さらに圧縮符号化を行ってデジタルの音声符号デー
タを得る音声入力符号化処理と、通信網314から受信
した音声符号データを復号化してデジタルの音声データ
を得、さらに得られたデジタルの音声データをD/A変
換してアナログの音声信号を得、該音声信号を増幅して
スピーカ312に出力する音声復号化出力処理を行なう
ものである。
【0024】上記テレビ会議装置30aにおけるCPU
304は、通信制御部305を介して、通信網314か
ら相手端末30dが送信する要求符号量(符号量要求
値)520と、画像符号データ518と、音声符号デー
タとを受信し、上記要求符号量(符号量要求値)520
と上記画像符号データ518とを画像CODEC301
に出力し、上記音声符号データを音声CODEC303
にそれぞれ出力する。そして、CPU304は、画像C
ODEC301から、画像符号化処理によって得られた
画像符号データを入力し、音声CODEC303から音
声符号化処理によって得られた音声符号データを入力
し、これら入力された画像符号データ及び該音声符号デ
ータを通信制御部305を介して通信網314に送信す
る。続いて、CPU304は、画像CODEC301か
ら図5及び図13に示す画像復号化処理512によって
得られた復号画像データ513を入力し、この入力され
た画像データを表示制御部302に出力してCRT31
1の画面に表示する。なお、CPU304は、画像CO
DEC301或いは音声CODEC303から入力した
画像符号データ及び音声符号データを、一旦記憶装置3
08に格納した後に、再び該記憶装置308から入力し
て通信網314に送信すること、通信網314から受信
した画像符号データ及び音声符号データや要求符号量
を、一旦記憶装置308に格納した後に、再び該記憶装
置308から入力して画像CODEC301あるいは音
声CODEC303に出力することも可能である。上記
通信制御部305は、通信網314と本テレビ会議装置
の間でのデータ転送の制御を行うものである。上記記憶
装置308は、半導体メモリ、磁気ディスク等の記憶媒
体を用いて構成した記憶装置である。上記通信網314
は、LAN(Local Area Network)
やWAN(Wide Area Network)やA
TM(Asynchronous Transfer
Mode)ネットワーク等で構成されている。
【0025】図3には本発明に係わるシステム構成の一
実施例を示すたものである。即ち、上記テレビ会議装置
30a,30b,30c,30dとサーバ33とPC
(パソコン)31とWS(ワークステーション)32が
通信網314に接続され、上記テレビ会議装置30a,
30b,30c,30dの間及びテレビ会議装置30
a,30b,30c,30dとPC31またはWS32
との間において動画像及び音声を伝送できるように構成
されている。サーバ33は、ネットワーク管理機能を有
する端末である。次に要求符号量を決定して画像COD
EC301内のRAM403に記憶させる方法について
説明する。即ち、第1の方法としてCPU304は、現
時点から過去に遡った過去のある時点までの間に通信網
314上を通過する通信パケットの数をカウントし、こ
のカウントされたパケット数を用いて、例えば予め記憶
装置308に格納して用意されたパラメータテーブルを
参照して要求符号量を決定する。そしてこの決定された
要求符号量を、CPU304は、一旦記憶装置308に
記憶してからまたは直接画像CODEC301内のRA
M403にバスI/F404を介して記憶すると共に音
声CODEC303にも同様に記憶する。
【0026】また第2の方法としてCPU304は、本
テレビ会議装置30のユーザあるいは本テレビ会議装置
30が、相手装置との画像及び音声の送受信開始以前
に、通信網314の伝送容量を調べ、該伝送容量を要求
符号量に換算して要求符号量を決定するか又は該伝送容
量を用いて、例えば予め記憶装置308に格納して用意
されたパラメータテーブルを参照して要求符号量を決定
する。また第3の方法としてCPU304は、画像CO
DEC301からの画像符号データの入力量と通信網3
14への画像符号データの送信量とに基づいて、記憶装
置308に格納されている符号データの量を計算し、該
計算結果に基づいて要求符号量を決定する。また第4の
方法としてCPU304は、相手装置との画像及び音声
の送受信の開始前に、相手装置から、相手装置の画像復
号処理の処理能力を数値化したデータ、相手装置の画像
表示処理の処理能力を数値化したデータ、相手装置の受
信処理の処理能力を数値化したデータを受信し、該デー
タを用いて、例えば予め記憶装置308に格納して用意
されたパラメータテーブルを参照して要求符号量を決定
する。また第5の方法としてCPU304は、記憶装置
308の使用可能な記憶容量を測定し、該測定結果を用
いて、例えば予め記憶装置308に格納して用意された
パラメータテーブルを参照して要求符号量を決定する。
また第6の方法としてCPU304は、通信網314に
接続されている、サーバ等のネットワーク管理機能を有
する端末33にアクセスし、該端末33から通信網31
4を利用してデータの送受信を行なう端末の台数を受信
し、該台数を用いて、パラメータテーブルを参照して要
求符号量を決定する。また第7の方法としてCPU30
4は、本テレビ会議装置を使用するユーザから、要求符
号量の決定に利用可能な数値(例えば、ユーザが要求す
る主観的な画質の評価値等)を、キーボード306やマ
ウス307を介して取り込み、該数値を用いて予め用意
されたパラメータテーブルを参照して要求符号量を決定
する。
【0027】次に、画像CODEC301について図4
を参照して具体的に説明する。図4は画像CODEC3
01の構成図である。画像CODEC301は、画像入
力I/F401と、DSP(Digital Sign
al Processor)402と、RAM(Ran
dom Access Memory)403と、画像
CODECバス40と、バスI/F40とを備え、
バス309に接続されている。該画像CODEC301
の処理アルゴリズムについては、RAM403とCPU
304の間のデータ転送は、CPU304の制御によっ
て実現され、RAM403とCPU304の間のデータ
転送以外の処理は、RAM403に蓄積されたソフトウ
エアをDSP302が実行することによって実現され
る。画像CODEC301におけるDSP302は、カ
メラ310から入力されるアナログの画像信号をA/D
変換して得られた画像データを定められたフォーマット
でRAM403に格納する画像入力処理と、RAM40
3に格納された画像データを画像符号データに変換する
画像符号化処理と、CPU304から入力する、通信網
314から通信制御部305を介して受信した画像符号
データを復号化して画像データに変換する画像復号化処
理とを行なう。なお、画像CODEC301の例えばR
AM403には、前記したように要求符号量がCPU3
04において決定されて記憶されている。またRAM4
03には、KBD(キーボード)306等の入力手段を
用いて図11に示すデータテーブルが格納されている。
【0028】次に画像CODEC301において行なわ
れる画像符号化処理の処理手順について図5を用いて説
明する。即ち、図5は画像符号化処理の処理手順を示す
フローチャートである。RAM403には、カメラ31
0から入力されるアナログの画像信号をA/D変換して
得られた画像データ(動画像データ)500を定められ
たフォーマットで格納されている。まず、DSP402
は、ブロック分割処理501において、RAM403に
格納されている画像データ500を図6に示すようにn
画素×n画素(例えば8画素×8画素)からなるブロッ
クに分割する。図6においては、SIF(Source Input
Format)の一画面の画像データに対して、横方向に例え
ば22個のマクロブロック(2n画素×2n画素、例え
ば16×16画素)で分割し、縦方向に例えば15個の
マクロブロック(MB)(2n画素×2n画素、例えば
16×16画素)で分割される。各マクロブロック(M
B)は、輝度ブロック(Y)(n画素×n画
素、例えば8×8画素)の4個と色差ブロック(Cb)
(n画素×n画素、例えば8×8画素)及び色差ブロッ
ク(Cr)(n画素×n画素、例えば8×8画素)の2
個とを集積して生成される。
【0029】次にDSP402は、動き補償予測処理5
02において、ブロック分割処理501によって順次得
られた輝度ブロック4個と色差ブロック2個とを集積し
てマクロブロックを生成し、順次マクロブロックと復号
画像データの生成処理512においてフレームメモリ
(RAM)403に格納されている復号画像データとの
間で演算を行って、順次該マクロブロック(MB)毎に
動きベクトル513を生成すると共にマクロブロック毎
において輝度ブロック(の順に)、色差ブロッ
ク(Cb)及び色差ブロック(Cr)毎に差分ブロック
515を生成する。次にDSP402は、DCT処理5
03において、上記動き補償予測処理502によって生
成された差分ブロック515に対して直交変換の一種で
ある2次元の離散コサイン変換(2次元DCT(Discret
e Cosine Transform))(離散コサイン関数を使って信
号を変換する。(時間軸を周波数軸に変換するフーリエ
変換(Fourier transform)と同様に、空間軸を周波数
軸に変換すると考えれば良い。))を行ない、直交変換
係数の一種であるDCT係数516を得る。
【0030】次にDSP402が行う画像性質推定処理
504について、図8及び図9を用いて説明する。図8
は、画像性質推定処理504の処理手順を示すフローチ
ャートである。図9は、画像の性質を推定するときに使
用するDCT係数の一例を示した図である。即ち、図8
において、Th2は画像の性質を推定するときに使用す
るDCT係数の絶対値和の閾値、Q1、Q2(Q1>Q
2)は符号量判定処理509で選択した量子化スケー
、F1、F2(F1>F2)は符号量判定処理509
で選択した空間周波数である。そこで、画像性質推定処
理504における絶対値和計算処理601は、DCT処
理503から得られるDCT係数516の内、例えば図
9の斜線に含まれる高い空間周波数に対応するDCT係
数(指定した斜線部の領域における直交変換係数の一種
のDCT係数)の絶対値和を計算する。DCT係数は、
図9の右下にあるDCT係数ほど高い空間周波数に対応
し、図9の左上にあるDCT係数ほど低い空間周波数に
対応する。急激な階調変化を含む画像の場合、高い空間
周波数に対応するDCT係数の絶対値が大きくなる傾向
がある。このように上記絶対値和計算処理601におい
て絶対値和を求めるDCT係数の個数(図9において斜
線部で示される個数、即ち斜線の引き方で個数が変動す
ることになる。)は、実験等により経験的に求めた値を
使用する。即ち、絶対値和を求めるDCT係数の個数
は、KBD306等の入力手段を用いて入力してRAM
403等に書き込むことによって指定される。
【0031】次に、画像性質推定処理504における判
定処理602は、絶対値和を基にDCT係数の絶対値和
の閾値Th2(この閾値Th2も実験等により経験的に
求めた値を使用する。そしてこの閾値Th2は、KBD
306等の入力手段を用いて入力してRAM403等に
書き込むことによって設定される。)と比較することに
よって(絶対値和>Th2であるか否かによって)、急
激な階調変化を含む画像であるか階調変化の少ない画像
であるかを判定し(画像の性質を推定し)、急激な階調
変化を含む画像であればパラメータ選択処理603を、
階調変化の少ない画像であればパラメータ選択処理60
4を実行する。パラメータ選択処理603では、量子化
スケールにQ1を選択し、上限周波数にF1を選択す
る。パラメータ選択処理604では、量子化スケール
Q2を選択し、上限周波数にF2を選択する。なお、上
記閾値Th2は、一つでなく複数設けることも可能であ
り、その場合には設定した閾値の数よりも1多い数の量
子化スケールと空間周波数とをそれぞれパラメータテー
ブル525として用意すればよい。また、上記パラメー
タ選択処理603又は604における量子化スケール
1又はQ2を選択する処理は、マクロブロック(MB)
毎に行なうことが可能であり、上記パラメータ選択処理
603又は604における上限周波数F1又はF2を選
択する処理は、各輝度ブロック(Y)、各色差
ブロック(Cb)(Cr)毎に行なうことが可能であ
る。
【0032】次にDSP402が行う量子化処理505
について説明する。即ち、量子化処理505は、DCT
処理503から得られるDCT係数のうち、画像性質推
定処理504で選択した上限周波数F1又はF2以下の
空間周波数に対応するDCT係数を、量子化行列517
(図7に一例を示す。この量子化行列517もKBD3
06等の入力手段を用いて入力してRAM403等に格
納し、用意されている。即ち、量子化行列517は、シ
ーケンスと呼ばれる1枚あるいは複数枚のフレーム(画
面)の集合ごとに指定可能である。)の対応する成分と
画像性質推定処理504で求めた量子化スケールQ1又
はQ2とを掛け合わせた値を用いて除算して量子化係数
を得、上限周波数F1又はF2を超える空間周波数に対
応するDCT係数については、実質的にゼロとして量子
化係数を得る。即ち、上限周波数F1又はF2を超える
空間周波数に対応するDCT係数については、実質的に
ゼロとして量子化係数を得る。上限周波数F1又はF2
以下の空間周波数に対応するDCT係数については、量
子化行列の対応する成分と画像性質推定処理504で求
めた量子化スケールQ1又はQ2とを掛け合わせた値が
大きな値になれば、該値で除算される関係で粗く量子化
された量子化係数が得られ、量子化行列の対応する成分
と画像性質推定処理504で求めた量子化スケールQ1
又はQ2とを掛け合わせた値が小さくなれば、該値で除
算される関係で細かく量子化された量子化係数が得られ
ることになる。
【0033】次にDSP402は、可変長符号化処理5
06において、量子化処理505から得られる量子化係
数のうち、画像性質推定処理504で選択処理された上
限周波数F1又はF2以下の空間周波数に対応する量子
化係数のみ可変長符号(VLC:Variable Length Code
s)に変換する。それは、量子化処理505において、
上限周波数F1又はF2を超える空間周波数に対応する
DCT係数については、実質的にゼロとして量子化係数
が得られるためである。即ち、上限周波数F1又はF2
を超える空間周波数に対応する量子化係数が実質的にゼ
ロになるために可変長符号も実質的になくなり、符号出
力処理507において無駄な符号データの発生を防ぐこ
とができ、その結果要求符号量(符号量要求値)に容易
にあわせることができる。特に図11に示すように、F
1>F2、Q1>Q2の関係を有するパラメータテーブ
ル525がRAM403に格納されて用意されることに
より次のような作用効果が得られる。即ち、急激な階調
変化を含む画像のとき、高い空間周波数に対応するDC
T係数の絶対値和が閾値Th2より大きくなり(絶対値
和>Th2がYesとなり)、パラメータ選択処理60
3において量子化スケールとしてQ2より大きなQ1が
選択されて粗く量子化されると共に、上限周波数として
F2より著しく大きなF1が選択されてF1以下の急激
な階調変化を含むように量子化係数が得られて可変長符
号に変換されて次に説明する符号出力処理507により
急激な階調変化を表現可能な画像符号データが得られ、
しかも上記Q1とF1との関係で要求符号量(符号量要
求値)を満足させることができる。逆に階調変化の少な
い画像のとき、高い空間周波数に対応するDCT係数の
絶対値和が閾値Th2より小さくなり(絶対値和>Th
2がNoとなり)、パラメータ選択処理604において
量子化スケールとして小さなQ2が選択されて細かく量
子化されると共に、上限周波数として非常に小さなF2
が選択されてF2以下の階調変化の少ないもののみ量子
化係数が得られて可変長符号に変換され、次に説明する
符号出力処理507により細かく量子化された量子化係
数によるブロック歪や偽輪郭の発生の少ない画像符号デ
ータが得られ、しかもQ2とF2との関係で要求符号量
(符号量要求値)を満足させることができる。
【0034】次にDSP402は、符号出力処理507
において、可変長符号化処理506によって得られた可
変長符号と画像性質推定処理504で選択処理した量子
スケールQ1又はQ2及び動き補償予測処理502に
おいて生成された動きベクトル(MBの順方向の動きベ
クトルの水平成分及び垂直成分と前のMBのベクトルと
の差分をフォワードfで表現した可変長符号(VLC)
で符号化され、MBの逆方向の動きベクトルの水平成分
及び垂直成分と前のMBのベクトルとの差分をバックワ
ードfで表現した可変長符号(VLC)で符号化され
る。)514に、復号時に使用する制御情報(画面の水
平サイズ(画像の横の画素数)及び垂直サイズ(画像の
縦のライン数)、画素間隔のアスペクト比(縦横比)、
画面内のマクロブロック数、毎秒のマスロブロック数、
ピクチャレート(画像の表示周期、ビットレート(発生
ビット量に対する制限のためのビットレート、400b
ps単位で切り上げる。)、VBV(Video Buffering V
erifier)バッファサイズ(符号発生量制限用仮想バッフ
ァの大きさVBVを決めるパラメータ)522等を付加
して画像符号データ518とし、該画像符号データ51
8をRAM403に格納する。
【0035】次にDSP402は、符号量計測処理50
8において、画像符号データの量を計測し、符号量計測
値519を得る。次にDSP402が行う符号量判定処
理509の処理手順について、図10及び図11を用い
て説明する。図10は符号量判定処理の処理手順を示す
フローチャートであり、図11はパラメータを選択する
際に参照するためにKBD306等の入力手段を用いて
入力してRAM403等に書き込むことによって格納し
て用意されたパラメータテーブル525の一例である。
このパラメータテーブル525の作成の仕方について
は、後で詳細に説明する。即ち、図10において、Th
1は符号量計測処理508で求めた符号量計測値519
とCPU304から供給されてRAM403に記憶され
た要求符号量(符号量要求値)520との誤差の閾値で
あり、実験等により経験的に求められた値を使用して、
KBD306等の入力手段を用いて入力してRAM40
3等に書き込むことによって設定される。図10及び図
11においてQ1、Q2(Q1>Q2)は量子化スケー
、F1、F2(F1>F2)は空間周波数である。図
11における空間周波数の値は、64個のDCT係数に
対応する64個の空間周波数のうち、最も低いものを1
とし、空間周波数が高くなるに従って1ずつ値を増し、
最も高いものを64としたときの値である。量子化スケ
ールQ1、Q2が小さいとき(Q1が2から20に急激
に増加し、Q2が2から4と変化がないとき)、上限周
波数F1は64から64と変化がなく、一方上限周波数
F2は64から6へと急激に減少する傾向をもってい
る。量子化スケールQ1、Q2が増加するとき(Q1が
20から62に次第に増加し、Q2が4から40に急激
に増加するとき)、上限周波数F1は64から64と変
化がなく、一方上限周波数F2も6から6へと変化がな
い傾向をもっている。量子化スケールQ1、Q2が大き
いとき(Q1が62から62と変化がなく、Q2が40
から40と変化がないとき)、上限周波数F1は64か
ら1へと急激に減少し、一方上限周波数F2も6から1
へと変化する傾向をもっている。
【0036】まず、誤差計算処理801において、要求
符号量(符号量要求値)520に対する符号計測処理5
08で求めた符号量計測値519の誤差を計算する。次
に、判定処理802において、該誤差と閾値Th1とを
基に符号化処理507によって得られた画像符号データ
の符号量519が要求符号量(符号量要求値)520に
近いか否かを判定し、誤差がTh1を超える場合(画像
符号データの符号量と要求符号量との間に相当の差があ
る場合)は処理803を、超えない場合(画像符号デー
タの符号量が要求符号量とほぼ等しい場合)は処理80
4を実行する。判定処理803では、要求符号量(符号
量要求値)と符号化処理507によって得られた画像符
号データの符号量のうち、どちらが多いかを判定し、前
者が多い場合(画像符号データの符号量が要求符号量に
対して充分余裕がある場合)には処理805を、後者が
多い場合(画像符号データの符号量が要求符号量に対し
て多く超えている場合)には処理806を実行する。パ
ラメータ選択処理804においては、符号化処理によっ
て符号量要求値に近い符号量が得られている場合なの
で、現在前回選択したものと同じ量子化スケールQ1、
Q2、上限周波数F1、F2からなる4つのパラメータ
の組を図11に示すパラメータテーブル525から選択
する。パラメータ選択処理805においては、符号化処
理によって符号量要求値より少ない符号量が得られてい
る場合なので、量子化スケールQ1、Q2、上限周波数
F1、F2からなる4つのパラメータの組として、図1
1に示すパラメータテーブル525において、前回と同
じ位置あるいは下に位置する4つのパラメータの組を選
択する。パラメータ選択処理806においては、符号化
処理によって符号量要求値より多い符号量が得られてい
る場合なので、量子化スケールQ1、Q2、上限周波数
F1、F2からなる4つのパラメータの組として、図1
1に示すパラメータテーブル525において、前回と同
じ位置あるいは上に位置する4つのパラメータの組を選
択する。即ち、画像符号データの符号量が要求符号量に
対して多く超える場合には、量子化スケールQ1、Q
2、上限周波数F1、F2からなる4つのパラメータの
組として、図11に示すパラメータテーブル525にお
いて、前回と同じ位置から上方に位置する4つのパラメ
ータの組を選択すれば良い。逆に画像符号データの符号
量が要求符号量に対して充分余裕がある場合には、量子
スケールQ1、Q2、上限周波数F1、F2からなる
4つのパラメータの組として、図11に示すパラメータ
テーブル525において、前回と同じ位置から下方に位
置する4つのパラメータの組を選択すれば良い。
【0037】なお、上記符号量判定処理509は、必ず
しも画像性質推定処理504と同じ回数行う必要はな
く、符号量計測処理508で求めた符号量計測値を加え
合わせ、その加え合わせられた結果の値を用いることに
よって、例えば入力動画像の1フレーム(1画面)毎に
行うようにしても良いことは明らかである。
【0038】次にDSP402は、逆量子化処理510
において、上記量子化処理505によって得られた量子
化係数のうち、画像性質推定処理504で選択された上
限周波数F1又はF2以下の空間周波数に対応する量子
化係数を、量子化行列517の対応する成分と画像性質
推定処理504で選択された量子化スケールQ1又はQ
2とを掛け合わせた値を用いて乗算し、上限周波数F1
又はF2を超える空間周波数に対応する係数は実質的に
ゼロとして逆量子化係数を得る。次にDSP402は、
逆DCT処理511において、逆量子化処理510によ
って得られた逆量子化係数を2次元IDCT(Inve
rse DCT)して逆DCT係数を得る。次にDSP
402は、復号画像データ生成処理512において、上
記逆DCT処理511によって得られる逆DCT係数と
フレームメモリ(RAM)403に格納されている復号
化画像データとを加算して次のフレーム(画面)の符号
化時の動き補償予測処理502の際に用いる新しい復号
化画像データを生成し、該復号化画像データをフレーム
メモリ(RAM)403に格納する。
【0039】以上説明したように第一の実施例によれ
ば、TV会議装置30aにおける画像CODEC301
は、相手端末30dから要求符号量(符号量要求値)を
受信し、この要求符号量と画像符号データを符号量計測
処理508によって計測された符号量計測値との誤差に
応じて予め用意されたパラメータテーブル525から適
切な量子化スケールQ1,Q2と上限周波数F1,F2
との組を選択し、画像性質推定処理504において1個
あるいは複数個のマクロブロック(MB)からなる画面
上の領域毎に画像の内容をDCT係数516を基に上記
選択された量子化スケールQ1,Q2と上限周波数F
1,F2との組から量子化スケールと上限周波数とを設
定することにより、相手端末30dの要求符号量に近い
符号量での画像符号化という条件の下で、急激な階調変
化を含む画像に対しては上限周波数を高くすることによ
って急激な階調変化を表現可能な画像符号データ518
を得、階調変化の少ない画像に対しては量子化を細かく
することによってブロック歪や偽輪郭の発生の少ない画
像符号データ518を得、CPU304がこの画像符号
データ518を通信網314を介して相手端末30dに
伝送可能となり、その結果画像符号化の国際標準規格に
基づいたテレビ会議装置を提供することができる。
【0040】次に、KBD306等の入力手段を用いて
RAM403に格納して用意される図11に示すパラメ
ータテーブル525の作成方法について図12を参照し
て説明する。即ち、図12は、図11に示すパラメータ
テーブル525の作成するために、画像符号化装置(画
像CODEC)等を用いて実験によってパラメータを決
定する実験手順を示すフローチャートである。画像入力
処理1001は、カメラ等の画像撮影手段やVTR等の
画像再生手段によって、アナログの動画像信号を画像符
号化装置に入力する処理である。画像データ蓄積処理1
002は、該動画像信号をA/D変換してデジタルの画
像データを得、該画像データをRAMや磁気ディスクに
蓄積する処理である。符号化パラメータ設定処理100
3は、量子化スケールと上限周波数の値を設定する処理
である。画像符号化処理1004は、該量子化スケール
と該上限周波数を用いて動画像データを符号化し、画像
符号データを得る処理である。画像復号処理1005
は、該画像符号データを復号して画像復号データを得る
処理である。符号化終了判定処理1006は、全ての量
子化スケールと上限周波数の組合せを用いて、画像符号
化が行なわれたか否かを判定する処理である。画像評価
処理1007は、画像符号データを符号量によって複数
のグループに分類し、それぞれのグループ毎に最良の画
質の画像復号データを主観評価等によって決定する処理
である。パラメータテーブル作成処理は1008は、画
像評価処理1007で、最良と評価された画像復号デー
タに対応する量子化スケールと上限周波数の組を全ての
グループについて集め、画像入力処理1001で入力し
た動画像に対応したパラメータテーブル525を作成す
る処理である。以上説明してきた処理1001から処理
1008までの処理を、性質の異なる複数の動画像につ
いて行なうことにより、パラメータテーブル525を作
成することが出来る。
【0041】次に、本発明をテレビ会議装置に適用した
場合の第二の実施例について説明する。第二の実施例の
テレビ会議装置は、画像CODECにおいて行なわれる
画像符号化処理のうち画像性質推定処理以外は、第一の
実施例において説明したテレビ会議装置の構成及び処理
と基本的には同一である。以下、第二の実施例における
画像符号化処理の処理手順について図13を用いて説明
する。即ち、図13は、第二の実施例における画像符号
化処理の処理手順を示すフローチャートである。次に、
DSP402が行う画像性質推定処理600について、
図14及び図15を用いて説明する。DSP402が行
う画像性質推定処理600は、マクロブロック(MB)
毎に行なうことが可能な処理である。図14は画像性質
推定処理600の処理手順を示すフローチャートであ
る。図15(a)は画像の性質の推定に用いる1ブロッ
ク分の画像データの一例を、図15(b)は図15
(a)の画像データについて求めた画素データとその右
隣の画素データとの差分の絶対値を示す図である。
【0042】図14において、Th3は、差分ブロック
の画像データの、隣接する画素間の差分の絶対値和の閾
値、Q1、Q2(Q1>Q2)は符号量判定処理509
で選択した量子化スケール、F1、F2(F1>F2)
は符号量判定処理509で選択した空間周波数である。
まず、絶対値和計算処理601において、動き補償予測
処理502で生成された差分ブロック610に基づいて
その差分ブロックの画像データの隣接する画素間の差分
の絶対値和を計算する。ここで、図15(a)は1ブロ
ック分の画像データの一例であり、図15(b)は図1
5(a)の画像データについて求めた画素データとその
右隣の画素データとの差分の絶対値である。ただし、ブ
ロック内で最も右にある画素データにはブロック内に右
隣の画素データが存在しないため、図15(a)の右端
の8つの画素データについては計算をしていない。急激
な階調変化を含む画像の場合、絶対値和が大きくなる傾
向が存在する。
【0043】次に、判定処理602において、絶対値和
を閾値Th3と比較して該絶対値和を基に、急激な階調
変化を含む画像であるか(絶対値和>Th3がYesで
あるか)、階調変化の少ない画像であるか(絶対値和>
Th3がNoであるか)を判定し、急激な階調変化を含
む画像であれば(絶対値和>Th3がYesであれば)
処理603を、階調変化の少ない画像であれば(絶対値
和>Th3がNoであれば)処理604を実行する。パ
ラメータ選択処理603では、符号量判定処理509に
おいてパラメータテーブル525から選択された量子化
スケールQ1,Q2、上限周波数F1,F2からなる4
つのパラメータの組から量子化スケールとしてQ1を選
択し、上限周波数としてF1を選択する。パラメータ選
択処理604では、符号量判定処理509においてパラ
メータテーブル525から選択された量子化スケール
1,Q2、上限周波数F1,F2からなる4つのパラメ
ータの組から量子化スケールとしてQ2を選択し、上限
周波数としてF2を選択する。なお、上記閾値Th3
も、前述した閾値Th2と同様に、実験等により経験的
に求めた値を使用し、RAM403に格納しておく。ま
た、この閾値Th3は、前述した閾値Th2と同様に、
一つでなく複数設けることも可能であり、その場合には
設定した閾値の数よりも1多い数の量子化スケールと空
間周波数とをそれぞれパラメータテーブル525として
用意すればよい。
【0044】そして、DSP402が行うDCT処理5
03では、第一の実施例と同様に、動き補償予測処理5
02で生成された差分ブロック515に対して2次元D
CT処理を行ない、画像性質推定処理600で選択され
た上限周波数F1又はF2以下の空間周波数に対応する
DCT係数を得る。続いてDSP402が行う量子化処
理1105では、DCT係数のうち、画像性質推定処理
600で選択した上限周波数F1又はF2以下の空間周
波数に対応するDCT係数を、量子化行列517の対応
する成分と画像性質推定処理600で求めた量子化スケ
ールQ1又はQ2とを掛け合わせた値を用いて除算し、
上限周波数F1又はF2を超える空間周波数に対応する
DCT係数は、実質的にゼロとして量子化係数を得る。
続いてDSP402が行う可変長符号化処理506で
は、量子化係数の内、画像性質推定処理600で選択し
た上限周波数F1又はF2以下の空間周波数に対応する
量子化係数のみを可変長符号に変換する。続いてDSP
402が行う符号出力処理507では、可変長符号化処
理506によって得られた可変長符号と画像性質推定処
理600で選択した量子化スケールQ1又はQ2及び動
き補償予測処理502において生成された動きベクトル
514に、復号時に使用する前記制御情報522等を付
加して画像符号データ518とし、該画像符号データを
RAM403に格納する。
【0045】符号量計測処理508では、画像符号デー
タの量を計測し、符号量計測値を得る。そして符号量判
定処理509の処理手順については、図10に示すごと
く、前述した通りである。また逆量子化処理510、逆
DCT処理511、復号画像データ生成処理512につ
いても、第一の実施例と同様に処理される。以上説明し
ように第二の実施例によれば、第一の実施例と同様
に、TV会議装置30aにおける画像CODEC301
は、相手端末30dから要求符号量(符号量要求値)を
受信し、この要求符号量と画像符号データを符号量計測
処理508によって計測された符号量計測値との誤差に
応じて予め用意されたパラメータテーブル525から適
切な量子化スケールQ1,Q2と上限周波数F1,F2
との組を選択し、画像性質推定処理600において1個
あるいは複数個のマクロブロックからなる画面上の領域
毎に画像の内容を差分画像データ610を基に上記選択
された量子化スケールQ1,Q2と上限周波数F1,F
2との組から量子化スケールと上限周波数とを設定する
ことにより、相手端末30dの要求符号量に近い符号量
での画像符号化という条件の下で、急激な階調変化を含
む画像に対しては上限周波数を高くすることによって急
激な階調変化を表現可能な画像符号データ518を得、
階調変化の少ない画像に対しては量子化を細かくするこ
とによってブロック歪や偽輪郭の発生の少ない画像符号
データ518を得、CPU304がこの画像符号データ
518を通信網314を介して相手端末30dに伝送可
能となり、その結果画像符号化の国際標準規格に基づい
たテレビ会議装置を実現することができる。
【0046】従って、第一の実施例、第二の実施例のい
ずれによっても、相手端末の要求符号量に近い符号量で
の画像符号化という条件の下で、急激な階調変化を表現
可能であると共にブロック歪や偽輪郭の発生が少なく、
かつ国際標準に合致した画像符号データを相手端末に送
信可能なテレビ会議装置を実現することができる。な
お、前記実施例は、テレビ会議装置及びそのシステムに
適用した場合について説明したが、テレビ電話装置及び
そのシステム、ビデオメール装置及びそのシステムに適
用することができることは明らかである。
【0047】
【発明の効果】本発明によれば、動画像符号化装置にお
いて、要求符号量に近い符号量での画像符号化という条
件の下で、急激な階調変化を含む動画像に対しては上限
周波数を高くすることによって急激な階調変化を表現可
能とすると共に、階調変化の少ない動画像に対しては量
子化を細かくすることによってブロック歪や偽輪郭の発
生を抑えることが可能となる画像符号データを国際標準
規格に基づいて得ることができる効果を奏する。
【0048】また本発明によれば、動画像符号化装置に
おいて、相手端末の要求符号量に近い符号量での画像符
号化という条件の下で、急激な階調変化を含む動画像に
対しては上限周波数を高くすることによって急激な階調
変化を表現可能とすると共に、階調変化の少ない動画像
に対しては量子化を細かくすることによってブロック歪
や偽輪郭の発生が少なくすることが可能となる画像符号
データを国際標準に合致させて得ることができ、その結
果この画像符号データを相手端末に送信可能となり、優
れたテレビ会議システムを実現することができる効果を
奏する。
【図面の簡単な説明】
【図1】直交変換方式を示すブロック図である。
【図2】本発明に係わるテレビ会議装置の一実施例を示
す構成図である。
【図3】本発明に係わるテレビ会議装置が用いられる全
体のシステムを示す概略構成図である。
【図4】本発明に係わるテレビ会議装置内に設けられた
画像符号化装置(画像CODEC)の具体的構成を示す
図である。
【図5】本発明に係わる画像符号化装置において行う画
像符号化処理の第一の実施例を示すフローチャートであ
る。
【図6】SIF(Source Input Format)の一画面から
マクロブロックを生成する状態を示す図である。
【図7】量子化行列の一例を示す図である。
【図8】本発明に係わる画像符号化装置において行う画
像符号化処理の第一の実施例における画像性質推定処理
の処理手順を示すフローチャートである。
【図9】図8に示す画像性質推定処理において画像の性
質を推定するときに参照するDCT係数の一例を示す図
である。
【図10】本発明に係わる画像符号化装置において行う
画像符号化処理の第一及び第二の実施例における画像符
号量判定処理の処理手順を示すフローチャートである。
【図11】本発明に係わる画像符号化装置において行う
画像符号化処理の第一及び第二の実施例においてパラメ
ータを選択するときに参照するパラメータテーブルの一
例を示す図である。
【図12】図11に示すパラメータテーブルを作成する
ための実験手順を示すフローチャートである。
【図13】本発明に係わる画像符号化装置において行う
画像符号化処理の第二の実施例を示すフローチャートで
ある。
【図14】本発明に係わる画像符号化装置において行う
画像符号化処理の第二の実施例における画像性質推定処
理の処理手順を示すフローチャートである。
【図15】(a)は図14に示す画像性質推定処理にお
いて画像の性質の推定に用いる1ブロック分の画像デー
タの一例を示す図、(b)は(a)の画像データについ
て求めた画素データとその右隣の画素データの差分の絶
対値を示す図である。
【符号の説明】
301…画像CODEC(画像符号化装置)、302…
表示制御部、303…音声CODEC(音声符号化装
置)、304…CPU、305…通信制御部、306…
KBD(キーボード)、307…マウス、308…記憶
装置、309…バス、310…カメラ、311…CR
T、312…スピーカ、313…マイクロホン、314
…通信網、401…画像入力I/F、402…DSP、
403…RAM、404…バスI/F、405…画像C
ODECバス、500…画像データ、501…ブロック
分割処理、502…動き補償予測処理、503…DCT
処理(直交変換処理)、504、600…画像性質推定
処理、505…量子化処理、506…可変長符号化処
理、507…符号出力処理、508…符号量計測処理、
509…符号量判定処理、510…逆量子化処理、51
1…逆DCT処理(逆直交変換処理)、512…復号画
像データ生成処理、516…DCT係数、517…量子
化行列、519…符号量計測値、520…要求符号量
(符号量要求値)、525…パラメータテーブル。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山田 剛裕 神奈川県川崎市麻生区王禅寺1099株式会 社日立製作所システム開発研究所内 (72)発明者 田中 和明 神奈川県横浜市戸塚区戸塚町5030番地株 式会社日立製作所ソフトウェア開発本部 内 (56)参考文献 特開 平4−334270(JP,A) 特開 平3−44269(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68

Claims (14)

    (57)【特許請求の範囲】
  1. 【請求項1】入力された画像データに対してマクロブロ
    ック毎に動きベクトルを生成し、マクロブロック毎に差
    分ブロックを生成して動き補償予測処理を行う動き補償
    予測処理部と、 該動き補償予測処理部でマクロブロック毎に生成された
    差分ブロックに直交変換を施して直交変換係数を得る直
    交変換処理部と、 出力される画像符号データを計測して画像符号量を得る
    符号量計測処理部と、 要求符号量を決定する要求符号量決定部と、 予め、画像の性質に応じた複数の量子化スケールと複数
    の空間周波数の上限値とからなるパラメータの組を画像
    符号量に応じて多数揃えたパラメータテーブルを備え、
    前記要求符号量決定部で決定された要求符号量と前記符
    号量計測処理部で得られる画像符号量との比較結果に応
    じて前記パラメータテーブルに揃えられた前記多数のパ
    ラメータの組から適切なパラメータの組を選択する符号
    量判定処理部と、 前記直交変換処理部から得られるマクロブロック毎の直
    交変換係数又は前記マクロブロック毎に生成された差分
    ブロックを基に画像の性質を推定し、該推定された画像
    の性質に応じて前記符号量判定処理部で選択された適切
    なパラメータの組の中から所望の量子化スケール及び所
    望の空間周波数の上限値を選定する画像性質推定処理部
    と、 該画像性質推定処理部で選定された所望の空間周波数の
    上限値以下又はこの上限値より小さい空間周波数に対応
    する前記直交変換処理部から得られる直交変換係数に対
    して前記画像性質推定処理部で選定された量子化スケー
    ルに基づいて量子化係数を得、更に前記画像性質推定処
    理部で選定された空間周波数の上限値を超える又はこの
    上限値以上の空間周波数に対応する前記直交変換処理部
    から得られる直交変換係数を実質的にゼロにして量子化
    係数を得る量子化処理部と、 該量子化処理部から前記空間周波数の上限値以下又はこ
    の上限値より小さいと きにおいて得られる量子化係数を
    可変長符号に変換する可変長符号化処理部と、 該可変長符号化処理部により変換された可変長符号と前
    記画像性質推定処理部で選定された量子化スケールとに
    復号時に必要な制御情報等を加えて前記画像符号データ
    を生成して出力する符号出力処理部とを備えた計算手段
    を有する ことを特徴とする動画像符号化装置。
  2. 【請求項2】画像データを入力する画像データ入力手段
    を設け 予め画像の性質に応じた複数の量子化スケールと複数の
    空間周波数の上限値とからなるパラメータの組を画像符
    号量に応じて多数揃えたパラメータテーブルを登録した
    記憶手段を設け 前記画像データ入力手段で入力された画像データに対し
    てマクロブロック毎に動きベクトルを生成し、マクロブ
    ロック毎に差分ブロックを生成して動き補償予測処理を
    行う動き補償予測処理部と、該動き補償予測処理部でマ
    クロブロック毎に生成された差分ブロックに直交変換を
    施して直交変換係数を得る直交変換処理部と、出力され
    る画像符号データを計測して画像符号量を得る符号量計
    測処理部と、要求符号量を決定する要求符号量決定部
    と、該要求符号量決定部で決定された要求符号量と前記
    符号量計測処理部から得られる画像符号量との比較結果
    に応じて前記パラメータテーブルに揃えられた前記多数
    のパラメータの組から適切なパラメータの組を選択する
    符号量判定処理部と、前記直交変換処理部から得られる
    マクロブロック毎の直交変換係数又は前記動き補償予測
    処理部でマクロブロック毎に生成された差分ブロックを
    基に画像の性質を推定し、該推定された画像の性質に応
    じて前記符号量判定処理部で選択された適切なパラメー
    タの組の中から所望の量子化スケール及び所望の空間周
    波数の上限値を選定する画像性質推定処理部と、該画像
    性質推定処理部で選定された所望の空間周波数の上限値
    以下又はこの上限値より小さい空間周波数に対応する前
    記直交変換処理部から得られる直交変換係数に対して前
    記画像性質推定処理部で選定された量子化スケールに基
    づいて量子化係数を得、更に前記画像性質推定処理部で
    選定された空間周波数の上限値を超える又はこの上限値
    以上の空間周波数に対応する前記直交変換処理部から得
    られる直交変換係数を実質的にゼロにして量子化係数を
    得る量子化処理部と 、該量子化処理部から前記空間周波
    数の上限値以下又はこの上限値より小さいときにおいて
    得られる量子化係数を可変長符号に変換する可変長符号
    化処理部と、該可変長符号化処理部により変換された可
    変長符号と前記画像性質推定処理部で選定された量子化
    スケールとに復号時に必要な制御情報等を加えて前記画
    像符号データを生成して出力する符号出力処理部とを備
    えた計算手段を設けた ことを特徴とする動画像符号化装
    置。
  3. 【請求項3】入力画像データをn画素×n画素のブロッ
    クに分割して該ブロックを複数個集積してマクロブロッ
    クを生成するブロック分割処理部と、 該ブロック分割処理部で生成されたマクロブロックと復
    号画像データ生成処理部で生成された復号画像データと
    の間で演算を行なうことにより前記マクロブロック毎に
    動きベクトルを生成し、更に前記マクロブロック毎に差
    分ブロックを生成して動き補償予測を行う動き補償予測
    処理部と、 該動き補償予測処理部でマクロブロック毎に生成された
    差分ブロックに直交変換を施して直交変換係数を得る直
    交変換処理部と、 出力される画像符号データを計測して画像符号量を得る
    符号量計測処理部と、 要求符号量を決定する要求符号量決定部と、 該要求符号量決定部で決定された要求符号量と前記符号
    量計測処理部から得られる画像符号量との比較結果から
    所定の関数又は予め登録されたパラメータテーブルに基
    づいて適切な複数の量子化スケールの候補値と複数の空
    間周波数の上限値の候補値との組を選択する符号量判定
    処理部と前記直交変換処理部から得られるマクロブロック毎の直
    交変換係数又は前記動き補償予測処理部でマクロブロッ
    ク毎に生成された差分ブロックを基に画像の性質を推定
    し、該推定された画像の性質に応じて前記符号量判定処
    理部で選択された適切な複数の量子化スケールの候補値
    と複数の空間周波数の上限値の候補値との組の中から所
    望の量子化スケールと所望の空間周波数の上限値の各々
    を選定する画像性質推定処理部と、 該画像性質推定処理部で選定された所望の空間周波数の
    上限値以下又はこの上限値より小さいときにおける空間
    周波数に対応する直交変換係数を、前記画像性 質推定処
    理部で選定された量子化スケールを用いて量子化係数を
    得、前記画像性質推定処理部で選定された空間周波数の
    上限値を超えるとき又は該上限値以上における空間周波
    数に対応する直交変換係数を実質的にゼロにして量子化
    係数を得る量子化処理部と、 該量子化処理部から前記空間周波数の上限値以下又はこ
    の上限値より小さいときにおいて得られる量子化係数を
    可変長符号に変換する可変長符号化処理部と、 該可変長符号化処理部により変換された可変長符号と前
    記画像性質推定処理部で選定された量子化スケールとに
    復号時に必要な制御情報等を加えて前記画像符号データ
    を生成して出力する符号出力処理部とを備えた計算手段
    を有する ことを特徴とする動画像符号化装置。
  4. 【請求項4】前記計算手段の画像性質推定処理部におい
    て、推定される画像の性質として、急激な階調変化を含
    む画像と階調変化の少ない画像とであることを特徴とす
    る請求項1又は2又は3記載の動画像符号化装置
  5. 【請求項5】前記計算手段の画像性質推定処理部におい
    て、指定された個数の前記直交変換係数の絶対値和を計
    算することによって得られる絶対値和が所定の第2の閾
    値より大きいか否かによって前記画像の性質を推定する
    か、又は前記差分ブロックの画像データの隣接する画素
    間の差分の絶対値和を計算することによって得られる絶
    対値和が所定の第3の閾値より大きいか否かによって前
    記画像の性質を推定することを特徴とする請求項1又は
    2又は3記載の動画像符号化装置
  6. 【請求項6】前記計算手段の符号量判定処理部におい
    て、前記要求符号量と前記画像符号量との間の関係が、
    少なくとも、画像符号量が要求符号量に近い場合と、画
    像符号量が要求符号量より少ない場合と、画像符号量が
    要求符号量より多い場合とに分けて適切なパラメータの
    組を選択するように構成したことを特徴とする請求項1
    又は2又は3記載の動画像符号化装置
  7. 【請求項7】請求項1又は2又は3記載の動画像符号化
    装置を設け、更に、前記計算手段の 符号出力処理部で生
    成して出力された画像符号データを記憶する記憶手段
    と、該記憶手段に記憶された画像符号データを通信網を
    介して相手端末に伝送する伝送手段とを設けたことを特
    徴とする動画像伝送装置
  8. 【請求項8】請求項1又は2又は3記載の動画像符号化
    装置を設け、更に 前記計算手段の符号出力処理部で生
    成して出力された画像符号データを記憶し、相手端末か
    ら伝送されてきた画像符号化データを記憶する記憶手段
    と、復号された画像データを表示する表示手段と、前記
    記憶手段に記憶された画像符号データを通信網を介して
    相手端末に伝送する伝送手段と、前記記憶手段に記憶さ
    れた相手端末から伝送されてきた画像符号データを復号
    化して前記表示手段に表示させる表示制御手段とを設け
    たことを特徴とするテレビ会議装置。
  9. 【請求項9】前記計算手段の画像性質推定処理部におい
    て、前記画像の性質として急激な階調変化を含む画像と
    推定した場合には、前記符号量判定処理部で選択された
    適切なパラメータの組から前記所望の量子化スケール及
    び前記所望の空間周波数の上限値として値の大きいもの
    を選定し、前記画像の性質として階調変化の少ない画像
    と推定した場合には、前記符号量判定処理部で選択され
    た適切なパラメータの組から前記所望の量子化スケール
    及び前記所望の空間周波数の上限値として値の小さいも
    のを選定するように構成したことを特徴とする請求項1
    又は2記載の動画像符号化装置
  10. 【請求項10】前記計算手段の画像性質推定処理部にお
    いて、前記画像の性質として急激な階調変化を含む画像
    と推定した場合には、前記所望の量子化スケールとして
    前記符号量判定処理部で選択された複数の量子化スケー
    ルの候補値の内から値の大きいものを選定し、更に前記
    所望の空間周波数の上限値として前記符号量判定処理部
    で選択された複数の空間周波数の上限値の候補値の内か
    ら値の大きいものを選定し、前記画像の性質として階調
    変化の少ない画像と推定した場合には、前記所望の量子
    化スケールとして前記符号量判定処理部で選択された複
    数の量子化スケールの候補値の内から値の小さいものを
    選定し、更に前記所望の空間周波数の上限 値として前記
    符号量判定処理部で選択された複数の空間周波数の上限
    値の候補値の内から値の小さいものを選定するように構
    成したことを特徴とする請求項3記載の動画像符号化装
  11. 【請求項11】前記計算手段の符号量判定処理部におい
    て、前記所定の関数又は予め登録されたパラメータテー
    ブルを、階調変化の度合いの異なる複数の動画像に基づ
    いて得るように構成したことを特徴とする請求項3記載
    の動画像符号化装置
  12. 【請求項12】前記計算手段の要求符号量決定部におい
    て、前記要求符号量を、ネットワークの負荷あるいは
    端末の処理能力及び処理負荷を自律検知し、その検知
    結果に基づいて決定するように構成したことを特徴とす
    請求項1又は2又は3記載の動画像符号化装置
  13. 【請求項13】前記計算手段の要求符号量決定部におい
    て、前記要求符号量を、画像通信を行なう相手端末の処
    理能力や符号量要求値に基づいて決定するように構成し
    ことを特徴とする請求項1又は2又は3記載の動画像
    符号化装置
  14. 【請求項14】前記計算手段の要求符号量決定部におい
    て、前記要求符号量を、使用するユーザの操作に基づい
    て決定するように構成したことを特徴とする請求項1又
    は2又は3記載の動画像符号化装置
JP04159295A 1995-03-01 1995-03-01 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置 Expired - Fee Related JP3431331B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP04159295A JP3431331B2 (ja) 1995-03-01 1995-03-01 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置
US08/607,156 US5796435A (en) 1995-03-01 1996-02-26 Image coding system with adaptive spatial frequency and quantization step and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04159295A JP3431331B2 (ja) 1995-03-01 1995-03-01 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置

Publications (2)

Publication Number Publication Date
JPH08237657A JPH08237657A (ja) 1996-09-13
JP3431331B2 true JP3431331B2 (ja) 2003-07-28

Family

ID=12612692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04159295A Expired - Fee Related JP3431331B2 (ja) 1995-03-01 1995-03-01 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置

Country Status (2)

Country Link
US (1) US5796435A (ja)
JP (1) JP3431331B2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3116994B2 (ja) * 1996-08-29 2000-12-11 富士ゼロックス株式会社 画質予測装置および方法ならびに画質制御装置および方法
JP2923875B2 (ja) * 1997-01-14 1999-07-26 日本電気株式会社 動画像符号化装置
US6229852B1 (en) * 1998-10-26 2001-05-08 Sony Corporation Reduced-memory video decoder for compressed high-definition video data
US6356362B1 (en) * 1998-11-02 2002-03-12 Canon Kabushiki Kaisha Halftoning by enhanced error diffusion
JP4010066B2 (ja) * 1998-11-09 2007-11-21 ソニー株式会社 画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法
US6678411B1 (en) 1999-06-04 2004-01-13 Look Dynamics, Inc. Apparatus and method for characterizing, encoding, storing, and searching images by shape
JP4224176B2 (ja) * 1999-09-02 2009-02-12 東芝テック株式会社 画像入力システム
JP2002165114A (ja) * 2000-09-12 2002-06-07 Matsushita Electric Ind Co Ltd 映像送出装置、映像送出方法および記録媒体、並びに、映像送出プログラム
US7082163B2 (en) 2000-11-20 2006-07-25 Matsushita Electric Industrial Co., Ltd. Picture coding method, picture coding apparatus and image relaying apparatus
DE60238109D1 (de) * 2001-02-19 2010-12-09 Honda Motor Co Ltd Automatisches Zielerkennen mittels Vorlagenvergleich
US6663347B2 (en) * 2001-06-06 2003-12-16 Borgwarner, Inc. Cast titanium compressor wheel
US20030031371A1 (en) * 2001-08-02 2003-02-13 Shinichi Kato Image encoding apparatus and image decoding apparatus
JP4368575B2 (ja) * 2002-04-19 2009-11-18 パナソニック株式会社 可変長復号化方法、可変長復号化装置およびプログラム
WO2004030369A1 (en) * 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US20050254716A1 (en) * 2004-05-11 2005-11-17 Princeton Technology Corporation Method for compressing workload of digital-animation calculation
JP4101225B2 (ja) * 2004-10-19 2008-06-18 キヤノン株式会社 電子機器及び情報処理装置及びそれらの制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4251650B2 (ja) * 2005-03-28 2009-04-08 株式会社カシオ日立モバイルコミュニケーションズ 画像処理装置及びプログラム
US20060239344A1 (en) * 2005-04-25 2006-10-26 Ashish Koul Method and system for rate control in a video encoder
WO2008071028A1 (en) * 2006-12-11 2008-06-19 Thomson Licensing Method of encoding an image and device implementing said method
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
US7988297B2 (en) 2007-10-19 2011-08-02 Look Dynamics, Inc. Non-rigidly coupled, overlapping, non-feedback, optical systems for spatial filtering of fourier transform optical patterns and image shape content characterization
BRPI0904323A2 (pt) * 2008-06-27 2015-06-30 Sony Corp Aparelho e método de processamento de imagem
JPWO2010035378A1 (ja) * 2008-09-29 2012-02-16 パナソニック株式会社 画像符号化装置、画像符号化方法及び撮像システム
CN104104391B (zh) * 2008-12-09 2017-04-26 日本电信电话株式会社 编码方法以及编码装置
JP5045845B2 (ja) * 2009-03-13 2012-10-10 日本電気株式会社 画像識別子抽出装置
JP2010288166A (ja) * 2009-06-15 2010-12-24 Panasonic Corp 動画像符号化装置、放送波記録装置及び、プログラム
EP2445217A1 (en) * 2009-06-19 2012-04-25 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
US8526488B2 (en) 2010-02-09 2013-09-03 Vanguard Software Solutions, Inc. Video sequence encoding system and algorithms
US9232233B2 (en) * 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
CN103918264A (zh) * 2011-11-14 2014-07-09 英特尔公司 用于视频编码中的迭代量化速率控制的程序产品
WO2013074964A1 (en) 2011-11-16 2013-05-23 Vanguard Software Solutions, Inc. Video compression for high efficiency video coding
US9106922B2 (en) 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding
CN117252247A (zh) 2017-09-20 2023-12-19 视觉动力公司 传感器-显示设备
GB2578633B (en) * 2018-11-02 2021-10-13 Advanced Risc Mach Ltd Encoding data arrays

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5046121A (en) * 1989-01-31 1991-09-03 Konica Corporation Image data compression apparatus
US5063608A (en) * 1989-11-03 1991-11-05 Datacube Inc. Adaptive zonal coder
US5107345A (en) * 1990-02-27 1992-04-21 Qualcomm Incorporated Adaptive block size image compression method and system
FR2660139B1 (fr) * 1990-03-23 1995-08-25 France Etat Procede de codage et de transmission a au moins deux niveaux de qualite d'images numeriques appartenant a une sequence d'images, et dispositifs correspondants.
JP2892783B2 (ja) * 1990-07-09 1999-05-17 松下電器産業株式会社 動画像信号の符号化装置
US5510840A (en) * 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
KR0134871B1 (ko) * 1992-07-17 1998-04-22 사또오 후미오 고능률 부호화 복호화 시스템
JP3163830B2 (ja) * 1993-03-29 2001-05-08 ソニー株式会社 画像信号伝送方法及び装置

Also Published As

Publication number Publication date
JPH08237657A (ja) 1996-09-13
US5796435A (en) 1998-08-18

Similar Documents

Publication Publication Date Title
JP3431331B2 (ja) 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置
KR0183688B1 (ko) 영상부호화방법 및 장치
JP3133517B2 (ja) 画像領域検出装置、該画像検出装置を用いた画像符号化装置
US7593464B2 (en) Information processing apparatus and method, and program storage medium
US6721359B1 (en) Method and apparatus for motion compensated video coding
JP3258840B2 (ja) 動画像符号化装置および領域抽出装置
US20060012719A1 (en) System and method for motion prediction in scalable video coding
KR20090123772A (ko) 부호화 장치/복호화 장치, 부호화 방법/복호화 방법 및 기록 매체
EP1158806A1 (en) Motion vector coding
EP1445961B1 (en) Noise estimation method and apparatus based on motion compensation
US20050243917A1 (en) H.263/MPEG video encoder using average histogram difference and method for controlling the same
US7391810B2 (en) High-speed motion estimator and method with variable search window
US6141449A (en) Coding mode determination system
JP2914607B2 (ja) 画像信号復号化装置
KR20020066498A (ko) 동영상 부호화 장치 및 방법
US20070031050A1 (en) Method and apparatus for bit rate control for image encoding
JPH07222173A (ja) 画像処理装置
JP2916027B2 (ja) 画像符号化装置
KR100351568B1 (ko) 움직임 보상 예측 블록의 경계 방향성을 고려한 고압축장치 및 그 방법
JPH06343167A (ja) 動画像圧縮回路
JP2776425B2 (ja) セル廃棄補償画像復号化方式
JPH0955939A (ja) 動画像圧縮方法および装置
JP2003264839A (ja) 符号化動画像データのビットレート変換装置
JPH03124182A (ja) セル廃棄補償画像復号化方式
JPH11196423A (ja) 画像処理装置および方法、並びに提供媒体

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080523

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees