JPH0851599A - 画像情報変換装置 - Google Patents

Abstract

(57)【要約】 【目的】 供給された画像信号を、より解像度の高い画
像信号へ変換することができる。 【構成】 領域分割化回路２へ供給されたＳＤ画像が所
定の領域に分割され、ＡＤＲＣ回路３と遅延回路８へ供
給される。同様にＳＤ画像が供給された領域分割化回路
４は、領域分割化回路２より大きい範囲に領域が分割さ
れ、動きクラス決定回路５へ供給される。クラスコード
発生回路６では、ＡＤＲＣ回路３から領域のパターン
と、動きクラス決定回路５から動きクラスmv-classとが
供給され、統合され最終的なクラスコードclass が発生
する。ＲＯＭテーブル７では、クラスコード発生回路６
から供給されたクラスコードclass に基づいて、係数デ
ータが読み出され、推定演算回路９へ供給される。推定
演算回路９では、供給された係数データと画素値から垂
直補間がなされる。同様に水平補間フィルタ１０におい
て、水平補間が行われ、ＨＤ画像が取り出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば、テレビジョ
ン受像器やビデオテープレコーダ装置等に用いて好適な
画像情報変換装置に関し、特に、外部から供給される通
常の解像度の画像情報を高解像度の画像情報へ変換して
出力するような画像情報変換装置に関する。

【０００２】

【従来の技術】今日において、オーディオ・ビジュアル
指向の高まりから、より高解像度の画像を得ることが出
来るようなテレビジョン受像器の開発が望まれ、この要
望に応えて、いわゆるハイビジョン方式が開発された。
このハイビジョン方式は、いわゆるＮＴＳＣ方式に規定
される走査線数が５２５本なのに対して、２倍以上の１
１２５本となっているうえ、表示画面の縦横比もＮＴＳ
Ｃ方式が３：４に対して、ハイビジョン方式は９：１６
と広角画面になっている。このため、高解像度で臨場感
のある画面を得ることができるようになっている。

【０００３】ここで、このような優れた特性を有するハ
イビジョン方式ではあるが、ＮＴＳＣ方式の映像信号を
そのまま供給しても画像表示を行うことはできない。こ
れは、上述のようなＮＴＳＣ方式とハイビジョン方式と
では規格が異なるためである。このため、ＮＴＳＣ方式
の映像信号に応じた画像をハイビジョン方式で表示しよ
うとする場合、従来は、例えば図９に示すような画像情
報変換装置を用いて映像信号のレート変換を行ってい
た。

【０００４】図９において、従来の画像情報変換装置
は、入力端子４１を介して供給されるＮＴＳＣ方式の映
像信号に対して、水平方向の補間処理を行う水平補間フ
ィルタ４２と、水平方向の補間処理の行われた映像信号
に対して、垂直方向の補間処理を行う垂直補間フィルタ
４３とから構成され、出力端子４４からハイビジョン方
式の映像信号を得ることができる。

【０００５】具体的には、水平補間フィルタ４２は、図
１０に示すような構成を有しており、入力端子４１を介
して供給される映像方式の映像信号は、入力端子５１を
介して第１〜第ｍの乗算器５２〜５２m にそれぞれ供給
される。各乗算器５２は、映像信号に係数データを乗算
して出力する。係数データの乗算された映像信号は、そ
れぞれ第１〜第ｍの加算器５３〜５３m-1 へ供給され
る。各加算器５３〜５３m-1 の間には、それぞれ時間Ｔ
の遅延レジスタ５４〜５４m が設けられる。そして、第
ｍの乗算器５２m から出力された映像信号は、第ｍの遅
延レジスタ５４mにより時間Ｔの遅延が施され、第ｍ−
１の加算器５３m-1 へ供給される。

【０００６】第ｍ−１の加算器５３m-1 は、第ｍの遅延
レジスタ５４m からの時間Ｔの遅延時間の施された映像
信号と、第ｍ−１の乗算器５２m-1 からの映像信号とを
加算処理して出力する。この加算処理の施された映像信
号は、第ｍ−１の遅延レジスタ５４m-1 により再度、時
間Ｔの遅延が施され、図示しない第ｍ−２の加算器５３
m-2 において、同じく図示しない第ｍ−２の乗算器５３
m-2 からの映像信号と加算処理される。水平補間フィル
タ４２は、このようにしてＮＴＳＣ方式の映像信号が出
力端子５５を介して垂直補間フィルタ４３へ供給する。

【０００７】垂直補間フィルタ４３は、上述した水平補
間フィルタ４２と同様の構成を有しており、水平補間処
理の行われた映像信号に対して、垂直方向の画素の補間
を行う。これにより、ＮＴＳＣ方式の映像信号に対し
て、垂直方向の画素の補間が行われる。このような変換
のなされたハイビジョン方式の映像信号は、ハイビジョ
ン受像器へ供給される。これにより、ＮＴＳＣ方式の映
像信号に応じた画像をハイビジョン受像器で表示するこ
とができる。

【０００８】

【発明が解決しようとする課題】しかしながら、上述の
従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を
基にして、単に水平方向、および垂直方向の補間を行っ
ているに過ぎないため、解像度は基となるＮＴＳＣ方式
の映像信号と何ら変わらなかった。特に、通常の動画を
変換対象とした場合、垂直方向の補間は、フィールド内
処理で行うのが一般的であるが、図９に示す画像変換の
場合、画像のフィールド間相関を有していないため、画
像静止部においては、変換ロスのためＮＴＳＣ方式の映
像信号よりむしろ解像度が劣化する欠点があった。

【０００９】これに対し、入力信号である画像信号レベ
ルの３次元（時空間）分布に応じてクラス分割を行い、
クラス毎に予め学習により獲得された予測係数値を格納
した記憶手段を持ち、予測式に基づいた演算により最適
な推定値を出力する、というものがある。

【００１０】この手法は、ＨＤ（High Definition ）画
素を創造する場合、創造するＨＤ画素の近傍にある、垂
直方向に連続する同一フレーム内のＳＤ（Standerd Def
inition ）画素をクラス分割し、それぞれのクラス毎に
予測係数値を学習により獲得することで、画像静止部に
おいてはフレーム内相関、また動き部においてはフィー
ルド内相関を利用して、より真値に近いＨＤ画素を得
る、というような巧妙なものである。

【００１１】例えば、図１１において、ＳＤ画素ｘ₁ 〜
ｘ₆ をクラス分類に用いた場合、ＳＤ画素ｘ₁ 〜ｘ₆ に
対して、２ビットＡＤＲＣを行った結果の量子化データ
がそれぞれ順に３、０、３、０、３、０であった場合、
その部分は動き画像である可能性が極めて高い。すなわ
ち、創造するべきＨＤ画素ｙ周辺の画像は動いている可
能性が高い。そこで、画像信号変換装置では、時間的に
等しいデータの中で空間位置の近いＳＤ画素ｘ₂ とＳＤ
画素ｘ₄ に重きをおいて、ＨＤ画素ｙを創造する。

【００１２】一方、ＳＤ画素ｘ₁ 〜ｘ₆ に対して、２ビ
ットＡＤＲＣを行った結果の量子化データがそれぞれ順
に、３、３、２、２、１、０であった場合、その部分は
静止画像である可能性が高い。そこで、画像信号変換装
置では、時間的位相にかかわらず、空間位置の近いＳＤ
画素ｘ₂ とＳＤ画素ｘ₄ に重きをおいて、ＨＤ画素ｙを
創造する。この際、クラス分類は、動きのある／なし、
のみならず、創造するＨＤ画素近傍の信号波形をも表現
し、それぞれの波形において、最適となるような予測係
数値を出力することも大きな特長である。

【００１３】この手法によれば、静止／動き、の切り換
わりも実際の画像を用いて学習することにより滑らかに
表現できるので、従来の動き適応方式のように静止／動
きの切り換わりによる不自然さの発生を大幅に減少させ
ることができる。

【００１４】しかしながら、上述の手法は、有限個のク
ラス分割により、動き情報と空間内の波形の二つを表現
する必要があり、クラスによっては、本来なら分離する
べきパターンが一つのクラス内に混在してしまう場合が
あった。

【００１５】例えば、上述のＳＤ画素ｘ₁ 〜ｘ₆ に対し
て、２ビットＡＤＲＣを行った結果の量子化コードがそ
れぞれ順に３、０、３、０、３、０であった場合、上述
のように、このパターンの場合その部分が動き画像であ
る確率が極めて高いのであるが、稀に空間的な周波数が
高い場合、動きがなくてもこのようなパターンが出現す
ることがある。この場合は、細かい横縞パターンがそれ
にあたる。このような場合、静止している細かい横縞パ
ターンに対しても動画向けの処理、すなわち時間的に等
しい位相の中で、空間的に近いデータを用いて変換を行
う、しかしながら、これにより解像度が劣化することが
あった。

【００１６】これに対し、特願平５−１７２６１７号に
記載された画像信号変換装置では、３フィールド分のデ
ータを用いて、空間的に同一の位置にあるデータの値を
利用して、クラス分類を行う、というものがある。これ
は、例えば図１２に示すように、ＳＤ画素ｘ₁ 〜ｘ₆ に
加え、ＳＤ画素ｘ₃ と空間的に同一位置にあるＳＤ画素
ｘ₇ をも加えてクラス分類する、というものである。

【００１７】この手法によれば、ＳＤ画素ｘ₁ 〜ｘ₆ を
量子化したデータのパターンによる動き表現に加えＳＤ
画素ｘ₁ とＳＤ画素ｘ₇ を量子化したデータによる動き
表現を利用することが出来る。すなわち、図１２におい
て、ＳＤ画素ｘ₁ とＳＤ画素ｘ₇ の差分値が小さい場合
は、創造するべきＨＤ画素ｙ周辺の画像は静止している
可能性が高い。そこで、上述の画像信号変換装置では、
空間位置の近いＳＤ画素ｘ₁ とＳＤ画素ｘ₂ に重きをお
いて、ＨＤ画素ｙを創造する。一方、ＳＤ画素ｘ₁ とＳ
Ｄ画素ｘ₇ の差分値が大きい場合は、創造するべきＨＤ
画素ｙ周辺の画像は動いている可能性が高い。そこで、
上述の画像信号変換装置では、時間的に近いＳＤ画素ｘ
₃ とＳＤ画素ｘ₄ に重きをおいて、ＨＤ画素ｙを創造す
る。

【００１８】しかしながら、空間的に同一位相にあるＳ
Ｄ画素データが一組だけでは、動きの種類、あるいはノ
イズ等の影響により、誤動作が発生しやすいため、より
性能の向上を求める為には、２組以上の空間的に同一位
相にあるＳＤ画素データを使うことが望ましい。

【００１９】また、すばやい動きが画像中にある場合、
例えば画像中の１フィールドにのみ動きが介入した場
合、上述の手法では、検出が原理的に困難な場合があ
る。すなわち、図１２中の＃（ｋ＋１）フィールドのみ
動き物体が通過した場合、ＳＤ画素ｘ₁ とＳＤ画素ｘ₇
の差分値が小さいため、そのパターンに対しては、静止
寄りの処理がなされることになる。したがって、この意
味からは、空間的に同一位相にあるＳＤ画素データの組
が時間的に異なった組合せで存在することが望ましい。

【００２０】この対策としてクラス分割に用いる画素数
を増やして、クラス数を増加させることにより、復元画
像の品質劣化を低減する、という手法も考えられる。例
えば、ＳＤ画素ｘ₃ と空間的に同一位置にあるＳＤ画素
ｘ₇ 、のみならず、図１３に示すように、ＳＤ画素ｘ₂
と空間的に同一位置にあるＳＤ画素ｘ₈ 、ＳＤ画素ｘ₄
と空間的に同一位置にあるＳＤ画素ｘ₉ を加えるなどと
いう手法が考えられる。この手法によれば、空間的に同
一位相にあるＳＤ画素データの組が増加するため、パタ
ーンによる動き判定の性能は向上する。

【００２１】しかしながら、追加した３画素の量子化を
例えば、他の画素と同様に２ビットＡＤＲＣを行ったと
すると、図１１に示すオリジナルの方式に比べ、クラス
数は６４倍となり、結果的にクラス数が非常に大きなも
のになってしまい、その結果ハードウェア規模の増加を
招き、現実性に乏しい。

【００２２】したがって、この発明の目的は、上述の問
題点を鑑みてなされたものであり、解像度を向上させて
ＮＴＳＣ方式の映像信号をハイビジョン方式の映像信号
へ変換することが出来るような画像情報変換装置を提供
することにある。

【００２３】

【課題を解決するための手段】この発明は、ディジタル
画像信号を、より画素数の多いディジタル画像信号へ変
換するようにした画像情報変換装置において、外部から
供給された画像情報を同一フレーム内データからなる複
数のブロックに分割する第１の画像情報分割手段と、第
１の画像情報分割手段により分割されたブロック毎にレ
ベル分布のパターンが検出され、検出されたパターンに
基づいて、ブロック毎に属するクラスを決定することに
より、クラス検出情報を出力するクラス検出手段と、外
部から供給された画像情報を空間的に同位置の複数のフ
レーム間データからなる複数のブロックに分割する第２
の画像情報分割手段と、第２の画像情報分割手段により
分割されたブロック毎にフレーム間差分の絶対値の平均
値が算出され、予め設定されたしきい値に基づいて、動
きを表すクラスを決定することにより、動きクラス検出
情報を出力する動きクラス検出手段と、クラス検出手段
と動きクラス検出手段の情報を統合して最終的なクラス
を決定するクラスコード発生手段と、外部から供給され
た画像情報を、画像情報よりも高い解像度の画像情報へ
変換するための情報である推定式の係数データがクラス
毎に記憶され、クラスコード発生手段からのクラスに応
じて係数データを出力する係数データ記憶手段と、係数
データ記憶手段からの係数データに応じて、外部から供
給された画像情報が画像情報よりも高い解像度の画像情
報へ変換され、出力する画像変換手段とを有することを
特徴とする画像情報変換装置である。

【００２４】

【作用】この発明に係る画像情報変換装置は、入力ＳＤ
信号を画像情報分割手段により、垂直方向に連続する同
一フレーム内の複数の画素からなる複数の領域に分割さ
れ、それぞれの領域毎に画像情報のレベル分布のパター
ンが検出され、この検出されたパターンに基づいて、そ
の領域の画像情報が属するクラスを決定してクラス検出
情報を出力する。さらに、異なる種類の画像情報分割手
段により、複数のフレーム間データの組合せに分割さ
れ、それぞれの領域毎に空間的に同一位置にあるフレー
ム間差分の絶対値が算出され、予め設定したしきい値に
より動きの程度を示すクラスが決定され、クラス検出情
報が出力される。上述の２つのクラスをクラスコード発
生手段により統合し、最終的なクラスとして出力する。
係数データ記憶手段には、外部から供給された画像情報
を、この画像情報よりも高い解像度の画像情報へ変換す
るための情報である線形推定式の係数データがクラス毎
に記憶されており、この係数データがクラス検出情報に
応じて出力される。そして、画像情報変換手段では、係
数データ記憶手段から供給された係数データに応じて、
外部から供給された画像情報を、外部から供給された画
像情報よりも高い解像度の画像情報へ変換される。

【００２５】

【実施例】以下、この発明に係る画像信号変換装置の一
実施例について図面を参照しながら詳細に説明する。図
１は、この一実施例、すなわち画像信号変換装置の信号
処理の概略的構成を示す。１で示す入力端子は、外部か
ら供給される画像情報として、例えばいわゆるＮＴＳＣ
方式の映像信号がディジタル化されたＳＤ画素として供
給される。

【００２６】この実施例における、ＳＤ画素と創造する
べきＨＤ画素の位置関係は、図２に示す。すなわち、創
造するべきＨＤ画素には、同一フィールド内で見たと
き、ＳＤ画素から近い位置に存在するＨＤ画素ｙ₁ とＳ
Ｄ画素から遠い位置に存在するＨＤ画素ｙ₂ の２種類が
ある。以降、ＳＤ画素から近い位置に存在するＨＤ画素
ｙ₁ を推定するモードをモード１と称し、ＳＤ画素から
遠い位置に存在するＨＤ画素ｙ₂ を推定するモードをモ
ード２と称する。

【００２７】領域分割化回路２では、入力端子１より供
給されたＳＤ画像信号を複数の領域に分割する。この実
施例では、創造するべきＨＤ画素の同一フレーム内の例
えば上下各３画素ずつのＳＤ画素を１画素×６ラインの
計６画素からなる領域に分割する。

【００２８】モード１に関しては、図３におけるＨＤ画
素ｙ₁ に対する、ＳＤ画素ｘ₁ 、ｘ₂ 、ｘ₃ 、ｘ₄ 、ｘ
₅ 、ｘ₆ がその領域にあたる。この領域をブロック１と
呼ぶことにする。モード２に関しては、図４におけるＨ
Ｄ画素ｙ₂ に対する、ＳＤ画素ｘ₁ 、ｘ₂ 、ｘ₃ 、ｘ
₄ 、ｘ₅ 、ｘ₆ がその領域にあたる。この領域をブロッ
ク２と呼ぶことにする。

【００２９】領域分割化回路２によりブロック化された
データが、ＡＤＲＣ回路３、および遅延回路８へ供給さ
れる。遅延回路８は、ＡＤＲＣ回路３、クラスコード発
生回路６、ＲＯＭテーブル７の処理に必要な時間だけデ
ータを遅延させて、推定演算回路９に出力する。

【００３０】ＡＤＲＣ回路３は、領域毎に供給されるＳ
Ｄデータの１次元的、あるいは２次元的なレベル分布の
パターンを検出すると共に、上述のように各領域のデー
タを、例えば８ビットのＳＤデータから２ビットのＳＤ
データへ圧縮するような演算を行うことによりパターン
圧縮データを形成し、このパターン圧縮データをクラス
コード発生回路６へ供給する。

【００３１】本来、ＡＤＲＣ（Adaptive Dynamic Range
Coding ）は、ＶＴＲ（Video TapeRecoder）向け高能
率符号化用に開発された適応的再量子化法であるが、信
号レベルの局所的なパターンを短い語長で効率的に表現
できるので、この発明の実施例では、信号パターンのク
ラス分類のコード発生に使用している。ＡＤＲＣ回路
は、領域内のダイナミックレンジをＤＲ、ビット割当を
ｎ、領域内画素のデータレベルをＬ、再量子化コードを
Ｑ、として以下の式（１）により、領域内の最大値ＭＡ
Ｘと最小値ＭＩＮとの間を指定されたビット長で均等に
分割して再量子化を行う。

【００３２】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （１） ただし、｛ ｝は切り捨て処理を意味する。

【００３３】この実施例では、領域分割化回路２により
分割されたそれぞれ６画素のＳＤデータを各２ビットに
圧縮するものとする。圧縮されたＳＤデータをそれぞれ
ｑ₁〜ｑ₆ とする。

【００３４】一方、入力端子１から供給されたＳＤ画像
信号は、領域分割化回路４にも供給される。領域分割化
回路４においても、供給されたＳＤ画像信号を複数の領
域に分割する。この実施例では、供給されたＳＤ画像信
号から、創造するべきＨＤ画素の前フレーム内の例えば
上下３画素ずつのＳＤ画素を１画素×６ラインの計６画
素からなる領域に分割し、創造するべきＨＤ画素と同一
フレーム内の例えば上下３画素ずつのＳＤ画素を１画素
×６ラインの計６画素からなる領域に分割する。

【００３５】すなわち、モード１に関しては、図５にお
けるＨＤ画素ｙ₁ に対する前フレームのＳＤ画素ｍ₁ 〜
ｍ₆ 、および同一フレームのＳＤ画素ｎ₁ 〜ｎ₆ がその
領域にあたる。モード２に関しては、図６におけるＨＤ
画素ｙ₁ に対する前フレームのＳＤ画素ｍ₁ 〜ｍ₆ 、お
よび同一フレームのＳＤ画素ｎ₁ 〜ｎ₆ がその領域にあ
たる。

【００３６】領域分割回路４により切り出されたデータ
が、動きクラス決定回路５へ供給される。動きクラス決
定回路５では、領域毎に供給されるＳＤデータの差分が
算出され、算出された差分に対して絶対値処理が行われ
る。絶対値処理が行われたＳＤデータの平均値param を
算出し、その平均値param に対してしきい値処理がなさ
れることにより、動きの指標である動きパラメータが算
出され、算出された動きパラメータから動きクラスmv-c
lassが決定される。決定された動きクラスmv-classは、
クラスコード発生回路６へ供給される。具体的には、動
きクラス決定回路５は以下の式（２）により、供給され
るＳＤデータの差分の絶対値の平均値param を算出す
る。

【００３７】

【数１】 ただし、この実施例では、ｎ＝６である。

【００３８】上述の手法で算出したＳＤデータの差分の
絶対値の平均値param が予め設定されたしきい値によ
り、このＳＤデータの差分の絶対値の平均値param を用
いて動きクラスmv-classが決定される。例えば、この実
施例では、動きクラスmv-classを４つ設けるとし、平均
値param と動きクラスmv-classを図７に示すように設定
する。

【００３９】クラスコード発生回路６では、ＡＤＲＣ回
路３から供給されるパラメータ圧縮データ、および動き
クラス決定回路５から供給される動きクラスmv-classに
基づいて以下の式（３）の演算が行われることにより、
そのブロックが属するクラスが検出され、そのクラスを
示すクラスコードclass がＲＯＭテーブル７へ供給され
る。このクラスコードclass は、ＲＯＭテーブル７から
の読み出しアドレスを示す。

【００４０】

【数２】 この実施例では、ｎは６、Ｐは２である。

【００４１】ＲＯＭテーブル７には、ＳＤデータのパタ
ーンとＨＤデータの関係を学習することにより、線形推
定式を用いて、ＳＤデータに対応するＨＤデータを算出
するための係数データが各クラス毎に記憶されている。
これは、線形推定式によりＳＤデータをこの画像情報よ
りも高い解像度の画像情報である、いわゆるハイビジョ
ン方式の規格に合致したＨＤデータへ変換するための情
報である。この実施例においては、係数データは、モー
ド１とモード２で独立に用意される。なお、ＲＯＭテー
ブル７に記憶されている係数データの作成方法について
は後述する。ＲＯＭテーブル７からは、クラスコードcl
ass で示されるアドレスから、そのクラスの係数データ
であるｗ_i （class ）が読み出される。この係数データ
は、推定演算回路９へ供給される。

【００４２】推定演算回路９では、遅延回路８を介し
て、領域分割化回路２から供給されるＳＤデータ、およ
びＲＯＭテーブル７から供給される係数データであるｗ
_i （class ）に基づいて、入力されたＳＤデータに対応
するＨＤデータが算出される。

【００４３】より具体的には、推定演算回路９は、遅延
回路８より供給されたＳＤデータとＲＯＭテーブル７か
ら供給された係数データにより、モード１に関してはブ
ロック１用の係数データを用いて、モード２に関しては
ブロック２の係数データを用いて、係数データであるｗ
_i （class ）に基づいて、それぞれ以下の式（４）に示
す演算を行うことにより、入力されたＳＤデータに対応
するＨＤデータを算出する。作成されたＨＤデータは水
平補間フィルタ１０へ供給される。

【００４４】 ｈｄ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋ｗ₃ ｘ₃ ＋ｗ₄ ｘ₄ ＋ｗ₅ ｘ₅ ＋ｗ₆ ｘ₆ （４）

【００４５】水平補間フィルタ１０は、図９の水平補間
フィルタ４２と同一なもので、補間処理により水平方向
の画素数を２倍にするのもである。水平補間フィルタ１
０の出力は、出力端子１１を介して出力される。この出
力端子１１を介して出力されるＨＤデータは、例えばＨ
Ｄ用のテレビジョン受像器やＨＤ用のビデオテープレコ
ーダ装置等に供給される。

【００４６】このように、ＳＤデータに対応するＨＤデ
ータを推定するための係数データが各クラス毎に予め学
習により求められた上で、ＲＯＭテーブル７に記憶して
おき、入力されるＳＤデータ、およびＲＯＭテーブル７
から読み出された係数データに基づいて演算が行われ、
入力されたＳＤデータに対応するＨＤデータを形成して
出力することにより、入力されるＳＤデータを単に補間
処理したのとは異なり、実際のＨＤデータにより近いデ
ータを出力することが出来る。

【００４７】続いて、ＲＯＭテーブル７に格納される係
数データの作成方法（学習）について図８を用いて説明
する。係数データを学習によって得るためには、まず、
既に知られているＨＤ画像に対応した、ＨＤ画像の１／
４の画素数のＳＤ画像を形成する。具体的には、図８に
示す理想フィルタ回路により、入力端子２１を介して供
給されるＨＤデータの垂直方向の画素が垂直間引きフィ
ルタ２２によりフィールド内の垂直方向の周波数が１／
２になるように間引き処理され、さらに水平間引きフィ
ルタ２３により、ＨＤデータの水平方向の画素が間引き
処理されることにより、ＳＤデータを得る。垂直間引き
フィルタ２３により得られたＳＤデータは、領域分割化
回路２４へ供給される。

【００４８】領域分割化回路２４では、水平間引きフィ
ルタ２３より供給されたＳＤ画像信号を複数の領域に分
割する。具体的には、領域分割化回路２４は、先に説明
した領域分割化回路２と同一の働きをするものである。
この実施例では、領域分割化回路２と同じく、各６画素
からなる領域に分割する。すなわち、モード１に対して
はブロック１の領域の領域分割を行い、モード２に関し
ては、ブロック２の領域分割を行う。この領域毎のＳＤ
データがＡＤＲＣ回路２５、および正規方程式加算回路
２９へ供給される。

【００４９】ＡＤＲＣ回路２５では、領域毎に供給され
るＳＤデータの１次元的、あるいは２次元的なレベル分
布のパターンが検出されると共に、上述のように各領域
の全てのデータ、あるいは一部のデータを、例えば８ビ
ットのＳＤデータから２ビットのＳＤデータに圧縮する
ような演算が行われることによりパターン圧縮データを
形成し、このパターン圧縮データがクラスコード発生回
路２８へ供給される。ＡＤＲＣ回路２５は、先に説明し
たＡＤＲＣ回路３と同一のものである。この実施例で
は、領域分割化回路２４により分割された６画素からな
る各領域のＳＤデータ（図３、図４におけるＳＤ画素ｘ
₁ 〜ｘ₆ ）をＡＤＲＣを行い各２ビットへ圧縮するもの
とする。

【００５０】一方、水平間引きフィルタ２３より供給さ
れたＳＤ画素信号は、領域分割化回路２６にも供給され
る。具体的には、領域分割化回路２６は、先に説明した
領域分割化回路４と同一の働きをするものである。領域
分割化回路２６により切り出されたＳＤデータは、動き
クラス決定回路２７へ供給される。動きクラス決定回路
２７は、具体的には、先に説明した動きクラス決定回路
５と同一の動きをするものである。動きクラス決定回路
２７で決定された動きクラスmv-classは、クラスコード
発生回路２８へ供給される。

【００５１】クラスコード発生回路２８は、先に説明し
たクラスコード発生回路６と同一のものであり、ＡＤＲ
Ｃ回路２５から供給されるパターン圧縮データ、および
動きクラス決定回路２７から供給された動きクラスmv-c
lassに基づいて、式（２）の演算が行われることによ
り、そのブロックの属するクラスが検出され、そのクラ
スを示すクラスコードを出力するものである。クラスコ
ード発生回路２８は、クラスコードを正規方程式加算回
路２９へ出力する。

【００５２】ここで、正規方程式加算回路２９の説明の
ために、複数個のＳＤ画素からＨＤ画素への変換式の学
習とその予測式を用いた信号変換について述べる。以下
に、説明のために学習をより一般化してｎ画素による予
測を行う場合について説明する。ＳＤ画素レベルをそれ
ぞれｘ₁ 、‥‥、ｘ_n として、それぞれにｐビットＡＤ
ＲＣを行った結果の再量子化データをｑ₁ 、‥‥、ｑ_n
とする。

【００５３】このとき、この領域のクラスコードclass
を式（２）で定義する。上述のようにＳＤ画素レベルを
それぞれ、ｘ₁ 、‥‥、ｘ_n とし、ＨＤ画素レベルをｙ
としたとき、クラス毎に係数データｗ₁ 、‥‥、ｗ_n に
よるｎタップの線形推定式を設定する。これを式（５）
に示す。学習前は、ｗ_i が未定係数である。

【００５４】 ｙ＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_n ｘ_n （５）

【００５５】学習は、クラス毎に複数の信号データに対
して行う。データ数がｍの場合、式（５）にしたがっ
て、以下に示す式（６）が設定される。

【００５６】 ｙ_k ＝ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋‥‥＋ｗ_n ｘ_kn （６） （ｋ＝１，２，‥‥ｍ）

【００５７】ｍ＞ｎの場合、係数データｗ_i 、‥‥ｗ_n
は、一意に決まらないので、誤差ベクトルｅの要素を以
下の式（７）で定義して、式（８）を最小にする係数デ
ータを求める。いわゆる、最小自乗法による解法であ
る。

【００５８】 ｅ_k ＝ｙ_k −｛ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋‥‥＋ｗ_n ｘ_kn｝ （７） （ｋ＝１，２，‥‥ｍ）

【００５９】

【数３】

【００６０】ここで、式（８）のｗ_i による偏微分係数
を求める。それは以下の式（９）を`０' にするよう
に、各ｗ_i を求めればよい。

【００６１】

【数４】

【００６２】以下、式（１０）、（１１）のように
Ｘ_ij、Ｙ_i を定義すると、式（９）は、行列を用いて式
（１２）へ書き換えられる。

【００６３】

【数５】

【００６４】

【数６】

【００６５】

【数７】

【００６６】この方程式は、一般に正規方程式と呼ばれ
ている。正規方程式加算回路２９は、クラスコード発生
回路２８から供給されたクラスコードclass 、領域分割
化回路２４より供給されたＳＤ画素ｘ₁ 、‥‥、ｘ_n 、
入力端子２１より供給された、ＳＤデータに対応するＨ
Ｄ画素ｙを用いて、この正規方程式の加算を行う。

【００６７】全ての学習用のデータの入力が終了した
後、正規方程式加算回路２９は、予測係数決定回路３０
に正規方程式データを出力する。予測係数決定回路３０
は、正規方程式を掃き出し法等の一般的な行列解法を用
いて、ｗ_i について解き、予測係数を算出する。予測係
数決定回路３０は、算出された予測係数をメモリ３１に
書き込む。

【００６８】以上のように学習を行った結果、メモリ３
１には、量子化データｑ₁ 、‥‥、ｑ₆ で規定されるパ
ターン毎に、注目ＨＤ画素ｙを推定するための、統計的
にもっとも真値に近い推定が出来る予測係数が格納され
る。このメモリ３１に格納されたテーブルが、上述のよ
うに、この発明の画像信号変換装置において、使用され
るＲＯＭテーブル７である。以上の処理により、線形推
定式により、ＳＤデータからＨＤデータを作成するため
の係数データの学習が終了する。

【００６９】なお、この実施例の説明では、情報圧縮手
段として、ＡＤＲＣを設けることにしたが、これはほん
の一例であり、信号波形のパターンを少ないクラスで表
現できるような情報圧縮手段であれば何を設けるかは自
由であり、例えば、ＤＰＣＭ（予測符号化）、ＶＱ（ベ
クトル量子化）等の圧縮手段を用いても良い。

【００７０】さらに、この実施例の説明では、簡単のた
め、水平方向のアップコンバージョンに水平補間フィル
タ１０を用いたが、この代わりに、水平方向アップコン
バージョン用のＲＯＭを用意し、水平方向のアップコン
バージョンにおいても推定式を用いたこの発明を採るこ
とも勿論可能である。

【００７１】さらに、この実施例の説明では、領域分割
化回路４により、信号波形のパターンを１次元的に分割
して表現したが、２次元的な分割にしても良い。

【００７２】さらに、この実施例の説明では、領域分割
化回路５、および動きクラス決定回路６により、１次元
的に分割したＳＤ画像データを用いて、動きクラスmv-c
lassの決定を行っていたが、領域分割を２次元的な分割
にしても良い。むしろ、２次元的なものにするほうが望
ましい。また、今回は簡単のため、領域分割化回路４に
よる領域分割と領域分割化回路５による領域分割は、類
似の領域分割を行ったが本来これらは全く別個のもので
あり、類似の領域分割を行う必要は全くない。

【００７３】さらに、この実施例の説明では、クラス分
類に使用するＳＤ画素と、線形推定式で用いるＳＤ画素
を同一のものとしたが、これらは必ずしも同一なもので
ある必要はない。異なる画素を使用する場合、クラス分
類に使用するＳＤ画素を線形推定式で用いるＳＤ画素が
包含するような形にするのが望ましく、また追加して使
用する、線形推定式で用いるＳＤ画素は、推定するＨＤ
画素と同一フィールドに属するもののみとすることが望
ましい。

【００７４】

【発明の効果】従来提案されている方式の時空間構造の
クラス分類を行うことによる推定方式は、動きのミスマ
ッチにより推定画像において、破綻が発生することがあ
った。この手法においては、その問題点を軽減するため
には大幅にクラスが増加するという欠点があったが、こ
の発明の手法によれば、クラス数の増加を押さえつつ、
その劣化を大幅に低減することが出来る。

【図面の簡単な説明】

【図１】この発明に係る画像情報変換装置の一実施例の
ブロック図である。

【図２】ＳＤデータとＨＤデータの位置関係を説明する
ための略線図である。

【図３】クラス分割に使用するデータを説明するための
略線図である。

【図４】クラス分割に使用するデータを説明するための
略線図である。

【図５】動きクラス決定に使用するデータを説明するた
めの略線図である。

【図６】動きクラス決定に使用するデータを説明するた
めの略線図である。

【図７】平均値param と動きクラスとの一例の関係を示
す略線図である。

【図８】補正データテーブルを作成する時の説明のため
の略線図である。

【図９】従来の画像情報変換装置のブロック図である。

【図１０】従来の画像情報変換装置の要部の回路図であ
る。

【図１１】従来の時空間クラス分割方式の問題点を説明
するための略線図である。

【図１２】従来の時空間クラス分割方式の問題点を説明
するための略線図である。

【図１３】従来の時空間クラス分割方式の問題点を説明
するための略線図である。

【符号の説明】

２、４ 領域分割化回路 ３ ＡＤＲＣ回路 ５ 動きクラス決定回路 ６ クラスコード発生回路 ７ ＲＯＭテーブル ８ 遅延回路 ９ 推定演算回路 １０ 水平補間フィルタ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ディジタル画像信号を、より画素数の多
   いディジタル画像信号へ変換するようにした画像情報変
   換装置において、 外部から供給された画像情報を同一フレーム内データか
   らなる複数のブロックに分割する第１の画像情報分割手
   段と、 上記第１の画像情報分割手段により分割されたブロック
   毎にレベル分布のパターンが検出され、検出された上記
   パターンに基づいて、上記ブロック毎に属するクラスを
   決定することにより、クラス検出情報を出力するクラス
   検出手段と、 外部から供給された上記画像情報を空間的に同位置の複
   数のフレーム間データからなる複数のブロックに分割す
   る第２の画像情報分割手段と、 上記第２の画像情報分割手段により分割されたブロック
   毎にフレーム間差分の絶対値の平均値が算出され、予め
   設定されたしきい値に基づいて、動きを表すクラスを決
   定することにより、動きクラス検出情報を出力する動き
   クラス検出手段と、 上記クラス検出手段と上記動きクラス検出手段の情報を
   統合して最終的なクラスを決定するクラスコード発生手
   段と、 外部から供給された上記画像情報を、上記画像情報より
   も高い解像度の画像情報へ変換するための情報である推
   定式の係数データが上記クラス毎に記憶され、上記クラ
   スコード発生手段からの上記クラスに応じて上記係数デ
   ータを出力する係数データ記憶手段と、 上記係数データ記憶手段からの上記係数データに応じ
   て、外部から供給された上記画像情報が上記画像情報よ
   りも高い解像度の画像情報へ変換され、出力する画像変
   換手段とを有することを特徴とする画像情報変換装置。
2. 【請求項２】 請求項１に記載の画像情報変換装置にお
   いて、 上記第１の画像情報分割手段において、外部から供給さ
   れた上記画像情報を第１のモード、および／または、第
   ２のモードのブロックへ分割する第１のモード分割手段
   と、 上記第２の画像情報分割手段において、外部から供給さ
   れた上記画像情報を上記第１のモード分割手段より大き
   い範囲から第１のモード、および／または、第２のモー
   ドのブロックへ分割する第２のモード分割手段とを有す
   ることを特徴とする画像情報変換装置。
3. 【請求項３】 請求項１に記載の画像情報変換装置にお
   いて、 上記係数データ発生手段は、クラス毎に上記係数データ
   を格納するメモリ手段を有し、 注目画素の空間的、および／または、時間的に近傍の複
   数の画素の値と上記係数データの線形１次結合によっ
   て、上記注目画素の値を作成した時に、作成された値と
   上記注目画素の真値との誤差を最小とするようなクラス
   毎の上記係数データを予め学習によって求めておくこと
   を特徴とする画像情報変換装置。