JP3946781B2 - 画像情報変換装置及び方法 - Google Patents
画像情報変換装置及び方法 Download PDFInfo
- Publication number
- JP3946781B2 JP3946781B2 JP20593494A JP20593494A JP3946781B2 JP 3946781 B2 JP3946781 B2 JP 3946781B2 JP 20593494 A JP20593494 A JP 20593494A JP 20593494 A JP20593494 A JP 20593494A JP 3946781 B2 JP3946781 B2 JP 3946781B2
- Authority
- JP
- Japan
- Prior art keywords
- image information
- class
- supplied
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は、例えば、テレビジョン受像器やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の解像度の画像情報を高解像度の画像情報へ変換して出力するような画像情報変換装置及び方法に関する。
【０００２】
【従来の技術】
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテレビジョン受像器の開発が望まれ、この要望に応えて、いわゆるハイビジョン方式が開発された。このハイビジョン方式は、いわゆるＮＴＳＣ方式に規定される走査線数が５２５本なのに対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して、ハイビジョン方式は９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることができるようになっている。
【０００３】
ここで、このような優れた特性を有するハイビジョン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようなＮＴＳＣ方式とハイビジョン方式とでは規格が異なるためである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン方式で表示しようとする場合、従来は、例えば図９に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。
【０００４】
図９において、従来の画像情報変換装置は、入力端子４１を介して供給されるＮＴＳＣ方式の映像信号に対して、水平方向の補間処理を行う水平補間フィルタ４２と、水平方向の補間処理の行われた映像信号に対して、垂直方向の補間処理を行う垂直補間フィルタ４３とから構成され、出力端子４４からハイビジョン方式の映像信号を得ることができる。
【０００５】
具体的には、水平補間フィルタ４２は、図１０に示すような構成を有しており、入力端子４１を介して供給される映像方式の映像信号は、入力端子５１を介して第１〜第ｍの乗算器５２〜５２m にそれぞれ供給される。各乗算器５２は、映像信号に係数データを乗算して出力する。係数データの乗算された映像信号は、それぞれ第１〜第ｍの加算器５３〜５３m-1 へ供給される。各加算器５３〜５３m-1 の間には、それぞれ時間Ｔの遅延レジスタ５４〜５４m が設けられる。そして、第ｍの乗算器５２m から出力された映像信号は、第ｍの遅延レジスタ５４m により時間Ｔの遅延が施され、第ｍ−１の加算器５３m-1 へ供給される。
【０００６】
第ｍ−１の加算器５３m-1 は、第ｍの遅延レジスタ５４m からの時間Ｔの遅延時間の施された映像信号と、第ｍ−１の乗算器５２m-1 からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第ｍ−１の遅延レジスタ５４m-1 により再度、時間Ｔの遅延が施され、図示しない第ｍ−２の加算器５３m-2 において、同じく図示しない第ｍ−２の乗算器５３m-2 からの映像信号と加算処理される。水平補間フィルタ４２は、このようにしてＮＴＳＣ方式の映像信号が出力端子５５を介して垂直補間フィルタ４３へ供給する。
【０００７】
垂直補間フィルタ４３は、上述した水平補間フィルタ４２と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間が行われる。このような変換のなされたハイビジョン方式の映像信号は、ハイビジョン受像器へ供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン受像器で表示することができる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述の従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向、および垂直方向の補間を行っているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間は、フィールド内処理で行うのが一般的であるが、図９に示す画像変換の場合、画像のフィールド間相関を有していないため、画像静止部においては、変換ロスのためＮＴＳＣ方式の映像信号よりむしろ解像度が劣化する欠点があった。
【０００９】
これに対し、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する、というものがある。
【００１０】
この手法は、ＨＤ（High Definition ）画素を創造する場合、創造するＨＤ画素の近傍にある、垂直方向に連続する同一フレーム内のＳＤ（Standerd Definition ）画素をクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフレーム内相関、また動き部においてはフィールド内相関を利用して、より真値に近いＨＤ画素を得る、というような巧妙なものである。
【００１１】
例えば、図１１において、ＳＤ画素ｘ1 〜ｘ6 をクラス分類に用いた場合、ＳＤ画素ｘ1 〜ｘ6 に対して、２ビットＡＤＲＣを行った結果の量子化データがそれぞれ順に３、０、３、０、３、０であった場合、その部分は動き画像である可能性が極めて高い。すなわち、創造するべきＨＤ画素ｙ周辺の画像は動いている可能性が高い。そこで、画像信号変換装置では、時間的に等しいデータの中で空間位置の近いＳＤ画素ｘ2 とＳＤ画素ｘ4 に重きをおいて、ＨＤ画素ｙを創造する。
【００１２】
一方、ＳＤ画素ｘ1 〜ｘ6 に対して、２ビットＡＤＲＣを行った結果の量子化データがそれぞれ順に、３、３、２、２、１、０であった場合、その部分は静止画像である可能性が高い。そこで、画像信号変換装置では、時間的位相にかかわらず、空間位置の近いＳＤ画素ｘ2 とＳＤ画素ｘ4 に重きをおいて、ＨＤ画素ｙを創造する。この際、クラス分類は、動きのある／なし、のみならず、創造するＨＤ画素近傍の信号波形をも表現し、それぞれの波形において、最適となるような予測係数値を出力することも大きな特長である。
【００１３】
この手法によれば、静止／動き、の切り換わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り換わりによる不自然さの発生を大幅に減少させることができる。
【００１４】
しかしながら、上述の手法は、有限個のクラス分割により、動き情報と空間内の波形の二つを表現する必要があり、クラスによっては、本来なら分離するべきパターンが一つのクラス内に混在してしまう場合があった。
【００１５】
例えば、上述のＳＤ画素ｘ1 〜ｘ6 に対して、２ビットＡＤＲＣを行った結果の量子化コードがそれぞれ順に３、０、３、０、３、０であった場合、上述のように、このパターンの場合その部分が動き画像である確率が極めて高いのであるが、稀に空間的な周波数が高い場合、動きがなくてもこのようなパターンが出現することがある。この場合は、細かい横縞パターンがそれにあたる。このような場合、静止している細かい横縞パターンに対しても動画向けの処理、すなわち時間的に等しい位相の中で、空間的に近いデータを用いて変換を行う、しかしながら、これにより解像度が劣化することがあった。
【００１６】
これに対し、特願平５−１７２６１７号に記載された画像信号変換装置では、３フィールド分のデータを用いて、空間的に同一の位置にあるデータの値を利用して、クラス分類を行う、というものがある。これは、例えば図１２に示すように、ＳＤ画素ｘ1 〜ｘ6 に加え、ＳＤ画素ｘ3 と空間的に同一位置にあるＳＤ画素ｘ7 をも加えてクラス分類する、というものである。
【００１７】
この手法によれば、ＳＤ画素ｘ1 〜ｘ6 を量子化したデータのパターンによる動き表現に加えＳＤ画素ｘ1 とＳＤ画素ｘ7 を量子化したデータによる動き表現を利用することが出来る。すなわち、図１２において、ＳＤ画素ｘ1 とＳＤ画素ｘ7 の差分値が小さい場合は、創造するべきＨＤ画素ｙ周辺の画像は静止している可能性が高い。そこで、上述の画像信号変換装置では、空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいて、ＨＤ画素ｙを創造する。一方、ＳＤ画素ｘ1 とＳＤ画素ｘ7 の差分値が大きい場合は、創造するべきＨＤ画素ｙ周辺の画像は動いている可能性が高い。そこで、上述の画像信号変換装置では、時間的に近いＳＤ画素ｘ3 とＳＤ画素ｘ4 に重きをおいて、ＨＤ画素ｙを創造する。
【００１８】
しかしながら、空間的に同一位相にあるＳＤ画素データが一組だけでは、動きの種類、あるいはノイズ等の影響により、誤動作が発生しやすいため、より性能の向上を求める為には、２組以上の空間的に同一位相にあるＳＤ画素データを使うことが望ましい。
【００１９】
また、すばやい動きが画像中にある場合、例えば画像中の１フィールドにのみ動きが介入した場合、上述の手法では、検出が原理的に困難な場合がある。すなわち、図１２中の＃（ｋ＋１）フィールドのみ動き物体が通過した場合、ＳＤ画素ｘ1 とＳＤ画素ｘ7 の差分値が小さいため、そのパターンに対しては、静止寄りの処理がなされることになる。したがって、この意味からは、空間的に同一位相にあるＳＤ画素データの組が時間的に異なった組合せで存在することが望ましい。
【００２０】
この対策としてクラス分割に用いる画素数を増やして、クラス数を増加させることにより、復元画像の品質劣化を低減する、という手法も考えられる。例えば、ＳＤ画素ｘ3 と空間的に同一位置にあるＳＤ画素ｘ7 、のみならず、図１３に示すように、ＳＤ画素ｘ2 と空間的に同一位置にあるＳＤ画素ｘ8 、ＳＤ画素ｘ4 と空間的に同一位置にあるＳＤ画素ｘ9 を加えるなどという手法が考えられる。この手法によれば、空間的に同一位相にあるＳＤ画素データの組が増加するため、パターンによる動き判定の性能は向上する。
【００２１】
しかしながら、追加した３画素の量子化を例えば、他の画素と同様に２ビットＡＤＲＣを行ったとすると、図１１に示すオリジナルの方式に比べ、クラス数は６４倍となり、結果的にクラス数が非常に大きなものになってしまい、その結果ハードウェア規模の増加を招き、現実性に乏しい。
【００２２】
したがって、この発明の目的は、上述の問題点を鑑みてなされたものであり、解像度を向上させてＮＴＳＣ方式の映像信号をハイビジョン方式の映像信号へ変換することが出来るような画像情報変換装置及び方法を提供することにある。
【００２３】
【課題を解決するための手段】
請求項１に記載の発明は、ディジタル画像信号を、より高解像度のディジタル画像信号へ変換するようにした画像情報変換装置において、供給された画像情報の同一フレーム内の画素情報のデータを、ブロックに分割する第１の画像情報分割手段と、第１の画像情報分割手段により分割されたブロック毎にレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出手段と、供給された画像情報の空間的に同位置の複数のフレームのデータをブロックに分割する第２の画像情報分割手段と、第２の画像情報分割手段により分割されたブロック毎にフレームの差分データに対して絶対値処理を行い、絶対値和に基づき得られる結果に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出手段と、クラス検出手段と動きクラス検出手段の情報を統合して最終的なクラスを決定するクラスコード発生手段と、供給された画像情報を、画像情報よりも高い解像度の画像情報へ変換するための情報である係数データがクラス毎に記憶され、クラスコード発生手段からのクラスに応じて係数データを出力する係数データ記憶手段と、係数データ記憶手段からの係数データと供給された画像情報との線形一次結合により、供給された画像情報を画像情報よりも高い解像度の画像情報へ変換し、出力する画像変換手段とを有することを特徴とする画像情報変換装置である。
請求項８に記載の発明は、ディジタル画像信号を、より高解像度のディジタル画像信号へ変換するようにした画像情報変換方法において、供給された画像情報の同一フレーム内の画素情報のデータを、ブロックに分割する第１の画像情報分割ステップと、第１の画像情報分割ステップにより分割されたブロック毎にレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出ステップと、供給された画像情報の空間的に同位置の複数のフレームのデータをブロックに分割する第２の画像情報分割ステップと、第２の画像情報分割ステップにより分割されたブロック毎にフレームの差分データに対して絶対値処理を行い、絶対値和に基づき得られる結果に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出ステップと、クラス検出情報と動きクラス検出情報とを統合して最終的なクラスを決定するクラスコード発生ステップと、供給された画像情報を、画像情報よりも高い解像度の画像情報へ変換するための情報である係数データがクラス毎に記憶され、クラスコード発生ステップからのクラスに応じて係数データ記憶手段から係数データを出力するステップと、係数データ記憶手段からの係数データと供給された画像情報との線形一次結合により、供給された画像情報を画像情報よりも高い解像度の画像情報へ変換し、出力する画像変換ステップとを有することを特徴とする画像情報変換方法である。
【００２４】
【作用】
この発明に係る画像情報変換装置は、入力ＳＤ信号を画像情報分割手段により、垂直方向に連続する同一フレーム内の複数の画素からなる複数の領域に分割され、それぞれの領域毎に画像情報のレベル分布のパターンが検出され、この検出されたパターンに基づいて、その領域の画像情報が属するクラスを決定してクラス検出情報を出力する。さらに、異なる種類の画像情報分割手段により、複数のフレーム間データの組合せに分割され、それぞれの領域毎に空間的に同一位置にあるフレーム間差分の絶対値が算出され、予め設定したしきい値により動きの程度を示すクラスが決定され、クラス検出情報が出力される。上述の２つのクラスをクラスコード発生手段により統合し、最終的なクラスとして出力する。係数データ記憶手段には、外部から供給された画像情報を、この画像情報よりも高い解像度の画像情報へ変換するための情報である線形推定式の係数データがクラス毎に記憶されており、この係数データがクラス検出情報に応じて出力される。そして、画像情報変換手段では、係数データ記憶手段から供給された係数データに応じて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報へ変換される。
【００２５】
【実施例】
以下、この発明に係る画像信号変換装置の一実施例について図面を参照しながら詳細に説明する。図１は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。１で示す入力端子は、外部から供給される画像情報として、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化されたＳＤ画素として供給される。
【００２６】
この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図２に示す。すなわち、創造するべきＨＤ画素には、同一フィールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 とＳＤ画素から遠い位置に存在するＨＤ画素ｙ2 の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 を推定するモードをモード１と称し、ＳＤ画素から遠い位置に存在するＨＤ画素ｙ2 を推定するモードをモード２と称する。
【００２７】
領域分割化回路２では、入力端子１より供給されたＳＤ画像信号を複数の領域に分割する。この実施例では、創造するべきＨＤ画素の同一フレーム内の例えば上下各３画素ずつのＳＤ画素を１画素×６ラインの計６画素からなる領域に分割する。
【００２８】
モード１に関しては、図３におけるＨＤ画素ｙ1 に対する、ＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたる。この領域をブロック１と呼ぶことにする。モード２に関しては、図４におけるＨＤ画素ｙ2 に対する、ＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたる。この領域をブロック２と呼ぶことにする。
【００２９】
領域分割化回路２によりブロック化されたデータが、ＡＤＲＣ回路３、および遅延回路８へ供給される。遅延回路８は、ＡＤＲＣ回路３、クラスコード発生回路６、ＲＯＭテーブル７の処理に必要な時間だけデータを遅延させて、推定演算回路９に出力する。
【００３０】
ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出すると共に、上述のように各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータへ圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路６へ供給する。
【００３１】
本来、ＡＤＲＣ（Adaptive Dynamic Range Coding ）は、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱ、として以下の式（１）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００３２】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２ n ／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
【００３３】
この実施例では、領域分割化回路２により分割されたそれぞれ６画素のＳＤデータを各２ビットに圧縮するものとする。圧縮されたＳＤデータをそれぞれｑ1 〜ｑ6 とする。
【００３４】
一方、入力端子１から供給されたＳＤ画像信号は、領域分割化回路４にも供給される。領域分割化回路４においても、供給されたＳＤ画像信号を複数の領域に分割する。この実施例では、供給されたＳＤ画像信号から、創造するべきＨＤ画素の前フレーム内の例えば上下３画素ずつのＳＤ画素を１画素×６ラインの計６画素からなる領域に分割し、創造するべきＨＤ画素と同一フレーム内の例えば上下３画素ずつのＳＤ画素を１画素×６ラインの計６画素からなる領域に分割する。
【００３５】
すなわち、モード１に関しては、図５におけるＨＤ画素ｙ1 に対する前フレームのＳＤ画素ｍ1 〜ｍ6 、および同一フレームのＳＤ画素ｎ1 〜ｎ6 がその領域にあたる。モード２に関しては、図６におけるＨＤ画素ｙ1 に対する前フレームのＳＤ画素ｍ1 〜ｍ6 、および同一フレームのＳＤ画素ｎ1 〜ｎ6 がその領域にあたる。
【００３６】
領域分割回路４により切り出されたデータが、動きクラス決定回路５へ供給される。動きクラス決定回路５では、領域毎に供給されるＳＤデータの差分が算出され、算出された差分に対して絶対値処理が行われる。絶対値処理が行われたＳＤデータの平均値param を算出し、その平均値param に対してしきい値処理がなされることにより、動きの指標である動きパラメータが算出され、算出された動きパラメータから動きクラスmv-classが決定される。決定された動きクラスmv-classは、クラスコード発生回路６へ供給される。具体的には、動きクラス決定回路５は以下の式（２）により、供給されるＳＤデータの差分の絶対値の平均値param を算出する。
【００３７】
【数１】
ただし、この実施例では、ｎ＝６である。
【００３８】
上述の手法で算出したＳＤデータの差分の絶対値の平均値param が予め設定されたしきい値により、このＳＤデータの差分の絶対値の平均値param を用いて動きクラスmv-classが決定される。例えば、この実施例では、動きクラスmv-classを４つ設けるとし、平均値param と動きクラスmv-classを図７に示すように設定する。
【００３９】
クラスコード発生回路６では、ＡＤＲＣ回路３から供給されるパラメータ圧縮データ、および動きクラス決定回路５から供給される動きクラスmv-classに基づいて以下の式（３）の演算が行われることにより、そのブロックが属するクラスが検出され、そのクラスを示すクラスコードclass がＲＯＭテーブル７へ供給される。このクラスコードclass は、ＲＯＭテーブル７からの読み出しアドレスを示す。
【００４０】
【数２】
この実施例では、ｎは６、Ｐは２である。
【００４１】
ＲＯＭテーブル７には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョン方式の規格に合致したＨＤデータへ変換するための情報である。この実施例においては、係数データは、モード１とモード２で独立に用意される。なお、ＲＯＭテーブル７に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル７からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi （class ）が読み出される。この係数データは、推定演算回路９へ供給される。
【００４２】
推定演算回路９では、遅延回路８を介して、領域分割化回路２から供給されるＳＤデータ、およびＲＯＭテーブル７から供給される係数データであるｗi （class ）に基づいて、入力されたＳＤデータに対応するＨＤデータが算出される。
【００４３】
より具体的には、推定演算回路９は、遅延回路８より供給されたＳＤデータとＲＯＭテーブル７から供給された係数データにより、モード１に関してはブロック１用の係数データを用いて、モード２に関してはブロック２の係数データを用いて、係数データであるｗi （class ）に基づいて、それぞれ以下の式（４）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。作成されたＨＤデータは水平補間フィルタ１０へ供給される。
【００４４】
ｈｄ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋ｗ3 ｘ3 ＋ｗ4 ｘ4 ＋ｗ5 ｘ5 ＋ｗ6 ｘ6 （４）
【００４５】
水平補間フィルタ１０は、図９の水平補間フィルタ４２と同一なもので、補間処理により水平方向の画素数を２倍にするのもである。水平補間フィルタ１０の出力は、出力端子１１を介して出力される。この出力端子１１を介して出力されるＨＤデータは、例えばＨＤ用のテレビジョン受像器やＨＤ用のビデオテープレコーダ装置等に供給される。
【００４６】
このように、ＳＤデータに対応するＨＤデータを推定するための係数データが各クラス毎に予め学習により求められた上で、ＲＯＭテーブル７に記憶しておき、入力されるＳＤデータ、およびＲＯＭテーブル７から読み出された係数データに基づいて演算が行われ、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータにより近いデータを出力することが出来る。
【００４７】
続いて、ＲＯＭテーブル７に格納される係数データの作成方法（学習）について図８を用いて説明する。係数データを学習によって得るためには、まず、既に知られているＨＤ画像に対応した、ＨＤ画像の１／４の画素数のＳＤ画像を形成する。具体的には、図８に示す理想フィルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素が垂直間引きフィルタ２２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素が間引き処理されることにより、ＳＤデータを得る。垂直間引きフィルタ２３により得られたＳＤデータは、領域分割化回路２４へ供給される。
【００４８】
領域分割化回路２４では、水平間引きフィルタ２３より供給されたＳＤ画像信号を複数の領域に分割する。具体的には、領域分割化回路２４は、先に説明した領域分割化回路２と同一の働きをするものである。この実施例では、領域分割化回路２と同じく、各６画素からなる領域に分割する。すなわち、モード１に対してはブロック１の領域の領域分割を行い、モード２に関しては、ブロック２の領域分割を行う。この領域毎のＳＤデータがＡＤＲＣ回路２５、および正規方程式加算回路２９へ供給される。
【００４９】
ＡＤＲＣ回路２５では、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンが検出されると共に、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算が行われることによりパターン圧縮データを形成し、このパターン圧縮データがクラスコード発生回路２８へ供給される。ＡＤＲＣ回路２５は、先に説明したＡＤＲＣ回路３と同一のものである。この実施例では、領域分割化回路２４により分割された６画素からなる各領域のＳＤデータ（図３、図４におけるＳＤ画素ｘ1 〜ｘ6 ）をＡＤＲＣを行い各２ビットへ圧縮するものとする。
【００５０】
一方、水平間引きフィルタ２３より供給されたＳＤ画素信号は、領域分割化回路２６にも供給される。具体的には、領域分割化回路２６は、先に説明した領域分割化回路４と同一の働きをするものである。領域分割化回路２６により切り出されたＳＤデータは、動きクラス決定回路２７へ供給される。動きクラス決定回路２７は、具体的には、先に説明した動きクラス決定回路５と同一の動きをするものである。動きクラス決定回路２７で決定された動きクラスmv-classは、クラスコード発生回路２８へ供給される。
【００５１】
クラスコード発生回路２８は、先に説明したクラスコード発生回路６と同一のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データ、および動きクラス決定回路２７から供給された動きクラスmv-classに基づいて、式（２）の演算が行われることにより、そのブロックの属するクラスが検出され、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路２８は、クラスコードを正規方程式加算回路２９へ出力する。
【００５２】
ここで、正規方程式加算回路２９の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために学習をより一般化してｎ画素による予測を行う場合について説明する。ＳＤ画素レベルをそれぞれｘ1 、‥‥、ｘn として、それぞれにｐビットＡＤＲＣを行った結果の再量子化データをｑ1 、‥‥、ｑn とする。
【００５３】
このとき、この領域のクラスコードclass を式（２）で定義する。上述のようにＳＤ画素レベルをそれぞれ、ｘ1 、‥‥、ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを式（５）に示す。学習前は、ｗi が未定係数である。
【００５４】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （５）
【００５５】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（５）にしたがって、以下に示す式（６）が設定される。
【００５６】
【００５７】
ｍ＞ｎの場合、係数データｗi 、‥‥ｗn は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（７）で定義して、式（８）を最小にする係数データを求める。いわゆる、最小自乗法による解法である。
【００５８】
【００５９】
【数３】
【００６０】
ここで、式（８）のｗi による偏微分係数を求める。それは以下の式（９）を
`０' にするように、各ｗi を求めればよい。
【００６１】
【数４】
【００６２】
以下、式（１０）、（１１）のようにＸij、Ｙi を定義すると、式（９）は、行列を用いて式（１２）へ書き換えられる。
【００６３】
【数５】
【００６４】
【数６】
【００６５】
【数７】
【００６６】
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路２９は、クラスコード発生回路２８から供給されたクラスコードclass 、領域分割化回路２４より供給されたＳＤ画素ｘ1 、‥‥、ｘn 、入力端子２１より供給された、ＳＤデータに対応するＨＤ画素ｙを用いて、この正規方程式の加算を行う。
【００６７】
全ての学習用のデータの入力が終了した後、正規方程式加算回路２９は、予測係数決定回路３０に正規方程式データを出力する。予測係数決定回路３０は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定回路３０は、算出された予測係数をメモリ３１に書き込む。
【００６８】
以上のように学習を行った結果、メモリ３１には、量子化データｑ1 、‥‥、ｑ6 で規定されるパターン毎に、注目ＨＤ画素ｙを推定するための、統計的にもっとも真値に近い推定が出来る予測係数が格納される。このメモリ３１に格納されたテーブルが、上述のように、この発明の画像信号変換装置において、使用されるＲＯＭテーブル７である。以上の処理により、線形推定式により、ＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００６９】
なお、この実施例の説明では、情報圧縮手段として、ＡＤＲＣを設けることにしたが、これはほんの一例であり、信号波形のパターンを少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００７０】
さらに、この実施例の説明では、簡単のため、水平方向のアップコンバージョンに水平補間フィルタ１０を用いたが、この代わりに、水平方向アップコンバージョン用のＲＯＭを用意し、水平方向のアップコンバージョンにおいても推定式を用いたこの発明を採ることも勿論可能である。
【００７１】
さらに、この実施例の説明では、領域分割化回路４により、信号波形のパターンを１次元的に分割して表現したが、２次元的な分割にしても良い。
【００７２】
さらに、この実施例の説明では、領域分割化回路５、および動きクラス決定回路６により、１次元的に分割したＳＤ画像データを用いて、動きクラスmv-classの決定を行っていたが、領域分割を２次元的な分割にしても良い。むしろ、２次元的なものにするほうが望ましい。また、今回は簡単のため、領域分割化回路４による領域分割と領域分割化回路５による領域分割は、類似の領域分割を行ったが本来これらは全く別個のものであり、類似の領域分割を行う必要は全くない。
【００７３】
さらに、この実施例の説明では、クラス分類に使用するＳＤ画素と、線形推定式で用いるＳＤ画素を同一のものとしたが、これらは必ずしも同一なものである必要はない。異なる画素を使用する場合、クラス分類に使用するＳＤ画素を線形推定式で用いるＳＤ画素が包含するような形にするのが望ましく、また追加して使用する、線形推定式で用いるＳＤ画素は、推定するＨＤ画素と同一フィールドに属するもののみとすることが望ましい。
【００７４】
【発明の効果】
従来提案されている方式の時空間構造のクラス分類を行うことによる推定方式は、動きのミスマッチにより推定画像において、破綻が発生することがあった。この手法においては、その問題点を軽減するためには大幅にクラスが増加するという欠点があったが、この発明の手法によれば、クラス数の増加を押さえつつ、その劣化を大幅に低減することが出来る。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の一実施例のブロック図である。
【図２】ＳＤデータとＨＤデータの位置関係を説明するための略線図である。
【図３】クラス分割に使用するデータを説明するための略線図である。
【図４】クラス分割に使用するデータを説明するための略線図である。
【図５】動きクラス決定に使用するデータを説明するための略線図である。
【図６】動きクラス決定に使用するデータを説明するための略線図である。
【図７】平均値param と動きクラスとの一例の関係を示す略線図である。
【図８】補正データテーブルを作成する時の説明のための略線図である。
【図９】従来の画像情報変換装置のブロック図である。
【図１０】従来の画像情報変換装置の要部の回路図である。
【図１１】従来の時空間クラス分割方式の問題点を説明するための略線図である。
【図１２】従来の時空間クラス分割方式の問題点を説明するための略線図である。
【図１３】従来の時空間クラス分割方式の問題点を説明するための略線図である。
【符号の説明】
２、４ 領域分割化回路
３ ＡＤＲＣ回路
５ 動きクラス決定回路
６ クラスコード発生回路
７ ＲＯＭテーブル
８ 遅延回路
９ 推定演算回路
１０ 水平補間フィルタ
【産業上の利用分野】
この発明は、例えば、テレビジョン受像器やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の解像度の画像情報を高解像度の画像情報へ変換して出力するような画像情報変換装置及び方法に関する。
【０００２】
【従来の技術】
今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテレビジョン受像器の開発が望まれ、この要望に応えて、いわゆるハイビジョン方式が開発された。このハイビジョン方式は、いわゆるＮＴＳＣ方式に規定される走査線数が５２５本なのに対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して、ハイビジョン方式は９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることができるようになっている。
【０００３】
ここで、このような優れた特性を有するハイビジョン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようなＮＴＳＣ方式とハイビジョン方式とでは規格が異なるためである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン方式で表示しようとする場合、従来は、例えば図９に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。
【０００４】
図９において、従来の画像情報変換装置は、入力端子４１を介して供給されるＮＴＳＣ方式の映像信号に対して、水平方向の補間処理を行う水平補間フィルタ４２と、水平方向の補間処理の行われた映像信号に対して、垂直方向の補間処理を行う垂直補間フィルタ４３とから構成され、出力端子４４からハイビジョン方式の映像信号を得ることができる。
【０００５】
具体的には、水平補間フィルタ４２は、図１０に示すような構成を有しており、入力端子４１を介して供給される映像方式の映像信号は、入力端子５１を介して第１〜第ｍの乗算器５２〜５２m にそれぞれ供給される。各乗算器５２は、映像信号に係数データを乗算して出力する。係数データの乗算された映像信号は、それぞれ第１〜第ｍの加算器５３〜５３m-1 へ供給される。各加算器５３〜５３m-1 の間には、それぞれ時間Ｔの遅延レジスタ５４〜５４m が設けられる。そして、第ｍの乗算器５２m から出力された映像信号は、第ｍの遅延レジスタ５４m により時間Ｔの遅延が施され、第ｍ−１の加算器５３m-1 へ供給される。
【０００６】
第ｍ−１の加算器５３m-1 は、第ｍの遅延レジスタ５４m からの時間Ｔの遅延時間の施された映像信号と、第ｍ−１の乗算器５２m-1 からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第ｍ−１の遅延レジスタ５４m-1 により再度、時間Ｔの遅延が施され、図示しない第ｍ−２の加算器５３m-2 において、同じく図示しない第ｍ−２の乗算器５３m-2 からの映像信号と加算処理される。水平補間フィルタ４２は、このようにしてＮＴＳＣ方式の映像信号が出力端子５５を介して垂直補間フィルタ４３へ供給する。
【０００７】
垂直補間フィルタ４３は、上述した水平補間フィルタ４２と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間が行われる。このような変換のなされたハイビジョン方式の映像信号は、ハイビジョン受像器へ供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン受像器で表示することができる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述の従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向、および垂直方向の補間を行っているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間は、フィールド内処理で行うのが一般的であるが、図９に示す画像変換の場合、画像のフィールド間相関を有していないため、画像静止部においては、変換ロスのためＮＴＳＣ方式の映像信号よりむしろ解像度が劣化する欠点があった。
【０００９】
これに対し、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する、というものがある。
【００１０】
この手法は、ＨＤ（High Definition ）画素を創造する場合、創造するＨＤ画素の近傍にある、垂直方向に連続する同一フレーム内のＳＤ（Standerd Definition ）画素をクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフレーム内相関、また動き部においてはフィールド内相関を利用して、より真値に近いＨＤ画素を得る、というような巧妙なものである。
【００１１】
例えば、図１１において、ＳＤ画素ｘ1 〜ｘ6 をクラス分類に用いた場合、ＳＤ画素ｘ1 〜ｘ6 に対して、２ビットＡＤＲＣを行った結果の量子化データがそれぞれ順に３、０、３、０、３、０であった場合、その部分は動き画像である可能性が極めて高い。すなわち、創造するべきＨＤ画素ｙ周辺の画像は動いている可能性が高い。そこで、画像信号変換装置では、時間的に等しいデータの中で空間位置の近いＳＤ画素ｘ2 とＳＤ画素ｘ4 に重きをおいて、ＨＤ画素ｙを創造する。
【００１２】
一方、ＳＤ画素ｘ1 〜ｘ6 に対して、２ビットＡＤＲＣを行った結果の量子化データがそれぞれ順に、３、３、２、２、１、０であった場合、その部分は静止画像である可能性が高い。そこで、画像信号変換装置では、時間的位相にかかわらず、空間位置の近いＳＤ画素ｘ2 とＳＤ画素ｘ4 に重きをおいて、ＨＤ画素ｙを創造する。この際、クラス分類は、動きのある／なし、のみならず、創造するＨＤ画素近傍の信号波形をも表現し、それぞれの波形において、最適となるような予測係数値を出力することも大きな特長である。
【００１３】
この手法によれば、静止／動き、の切り換わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り換わりによる不自然さの発生を大幅に減少させることができる。
【００１４】
しかしながら、上述の手法は、有限個のクラス分割により、動き情報と空間内の波形の二つを表現する必要があり、クラスによっては、本来なら分離するべきパターンが一つのクラス内に混在してしまう場合があった。
【００１５】
例えば、上述のＳＤ画素ｘ1 〜ｘ6 に対して、２ビットＡＤＲＣを行った結果の量子化コードがそれぞれ順に３、０、３、０、３、０であった場合、上述のように、このパターンの場合その部分が動き画像である確率が極めて高いのであるが、稀に空間的な周波数が高い場合、動きがなくてもこのようなパターンが出現することがある。この場合は、細かい横縞パターンがそれにあたる。このような場合、静止している細かい横縞パターンに対しても動画向けの処理、すなわち時間的に等しい位相の中で、空間的に近いデータを用いて変換を行う、しかしながら、これにより解像度が劣化することがあった。
【００１６】
これに対し、特願平５−１７２６１７号に記載された画像信号変換装置では、３フィールド分のデータを用いて、空間的に同一の位置にあるデータの値を利用して、クラス分類を行う、というものがある。これは、例えば図１２に示すように、ＳＤ画素ｘ1 〜ｘ6 に加え、ＳＤ画素ｘ3 と空間的に同一位置にあるＳＤ画素ｘ7 をも加えてクラス分類する、というものである。
【００１７】
この手法によれば、ＳＤ画素ｘ1 〜ｘ6 を量子化したデータのパターンによる動き表現に加えＳＤ画素ｘ1 とＳＤ画素ｘ7 を量子化したデータによる動き表現を利用することが出来る。すなわち、図１２において、ＳＤ画素ｘ1 とＳＤ画素ｘ7 の差分値が小さい場合は、創造するべきＨＤ画素ｙ周辺の画像は静止している可能性が高い。そこで、上述の画像信号変換装置では、空間位置の近いＳＤ画素ｘ1 とＳＤ画素ｘ2 に重きをおいて、ＨＤ画素ｙを創造する。一方、ＳＤ画素ｘ1 とＳＤ画素ｘ7 の差分値が大きい場合は、創造するべきＨＤ画素ｙ周辺の画像は動いている可能性が高い。そこで、上述の画像信号変換装置では、時間的に近いＳＤ画素ｘ3 とＳＤ画素ｘ4 に重きをおいて、ＨＤ画素ｙを創造する。
【００１８】
しかしながら、空間的に同一位相にあるＳＤ画素データが一組だけでは、動きの種類、あるいはノイズ等の影響により、誤動作が発生しやすいため、より性能の向上を求める為には、２組以上の空間的に同一位相にあるＳＤ画素データを使うことが望ましい。
【００１９】
また、すばやい動きが画像中にある場合、例えば画像中の１フィールドにのみ動きが介入した場合、上述の手法では、検出が原理的に困難な場合がある。すなわち、図１２中の＃（ｋ＋１）フィールドのみ動き物体が通過した場合、ＳＤ画素ｘ1 とＳＤ画素ｘ7 の差分値が小さいため、そのパターンに対しては、静止寄りの処理がなされることになる。したがって、この意味からは、空間的に同一位相にあるＳＤ画素データの組が時間的に異なった組合せで存在することが望ましい。
【００２０】
この対策としてクラス分割に用いる画素数を増やして、クラス数を増加させることにより、復元画像の品質劣化を低減する、という手法も考えられる。例えば、ＳＤ画素ｘ3 と空間的に同一位置にあるＳＤ画素ｘ7 、のみならず、図１３に示すように、ＳＤ画素ｘ2 と空間的に同一位置にあるＳＤ画素ｘ8 、ＳＤ画素ｘ4 と空間的に同一位置にあるＳＤ画素ｘ9 を加えるなどという手法が考えられる。この手法によれば、空間的に同一位相にあるＳＤ画素データの組が増加するため、パターンによる動き判定の性能は向上する。
【００２１】
しかしながら、追加した３画素の量子化を例えば、他の画素と同様に２ビットＡＤＲＣを行ったとすると、図１１に示すオリジナルの方式に比べ、クラス数は６４倍となり、結果的にクラス数が非常に大きなものになってしまい、その結果ハードウェア規模の増加を招き、現実性に乏しい。
【００２２】
したがって、この発明の目的は、上述の問題点を鑑みてなされたものであり、解像度を向上させてＮＴＳＣ方式の映像信号をハイビジョン方式の映像信号へ変換することが出来るような画像情報変換装置及び方法を提供することにある。
【００２３】
【課題を解決するための手段】
請求項１に記載の発明は、ディジタル画像信号を、より高解像度のディジタル画像信号へ変換するようにした画像情報変換装置において、供給された画像情報の同一フレーム内の画素情報のデータを、ブロックに分割する第１の画像情報分割手段と、第１の画像情報分割手段により分割されたブロック毎にレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出手段と、供給された画像情報の空間的に同位置の複数のフレームのデータをブロックに分割する第２の画像情報分割手段と、第２の画像情報分割手段により分割されたブロック毎にフレームの差分データに対して絶対値処理を行い、絶対値和に基づき得られる結果に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出手段と、クラス検出手段と動きクラス検出手段の情報を統合して最終的なクラスを決定するクラスコード発生手段と、供給された画像情報を、画像情報よりも高い解像度の画像情報へ変換するための情報である係数データがクラス毎に記憶され、クラスコード発生手段からのクラスに応じて係数データを出力する係数データ記憶手段と、係数データ記憶手段からの係数データと供給された画像情報との線形一次結合により、供給された画像情報を画像情報よりも高い解像度の画像情報へ変換し、出力する画像変換手段とを有することを特徴とする画像情報変換装置である。
請求項８に記載の発明は、ディジタル画像信号を、より高解像度のディジタル画像信号へ変換するようにした画像情報変換方法において、供給された画像情報の同一フレーム内の画素情報のデータを、ブロックに分割する第１の画像情報分割ステップと、第１の画像情報分割ステップにより分割されたブロック毎にレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出ステップと、供給された画像情報の空間的に同位置の複数のフレームのデータをブロックに分割する第２の画像情報分割ステップと、第２の画像情報分割ステップにより分割されたブロック毎にフレームの差分データに対して絶対値処理を行い、絶対値和に基づき得られる結果に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出ステップと、クラス検出情報と動きクラス検出情報とを統合して最終的なクラスを決定するクラスコード発生ステップと、供給された画像情報を、画像情報よりも高い解像度の画像情報へ変換するための情報である係数データがクラス毎に記憶され、クラスコード発生ステップからのクラスに応じて係数データ記憶手段から係数データを出力するステップと、係数データ記憶手段からの係数データと供給された画像情報との線形一次結合により、供給された画像情報を画像情報よりも高い解像度の画像情報へ変換し、出力する画像変換ステップとを有することを特徴とする画像情報変換方法である。
【００２４】
【作用】
この発明に係る画像情報変換装置は、入力ＳＤ信号を画像情報分割手段により、垂直方向に連続する同一フレーム内の複数の画素からなる複数の領域に分割され、それぞれの領域毎に画像情報のレベル分布のパターンが検出され、この検出されたパターンに基づいて、その領域の画像情報が属するクラスを決定してクラス検出情報を出力する。さらに、異なる種類の画像情報分割手段により、複数のフレーム間データの組合せに分割され、それぞれの領域毎に空間的に同一位置にあるフレーム間差分の絶対値が算出され、予め設定したしきい値により動きの程度を示すクラスが決定され、クラス検出情報が出力される。上述の２つのクラスをクラスコード発生手段により統合し、最終的なクラスとして出力する。係数データ記憶手段には、外部から供給された画像情報を、この画像情報よりも高い解像度の画像情報へ変換するための情報である線形推定式の係数データがクラス毎に記憶されており、この係数データがクラス検出情報に応じて出力される。そして、画像情報変換手段では、係数データ記憶手段から供給された係数データに応じて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報へ変換される。
【００２５】
【実施例】
以下、この発明に係る画像信号変換装置の一実施例について図面を参照しながら詳細に説明する。図１は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。１で示す入力端子は、外部から供給される画像情報として、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化されたＳＤ画素として供給される。
【００２６】
この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図２に示す。すなわち、創造するべきＨＤ画素には、同一フィールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 とＳＤ画素から遠い位置に存在するＨＤ画素ｙ2 の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 を推定するモードをモード１と称し、ＳＤ画素から遠い位置に存在するＨＤ画素ｙ2 を推定するモードをモード２と称する。
【００２７】
領域分割化回路２では、入力端子１より供給されたＳＤ画像信号を複数の領域に分割する。この実施例では、創造するべきＨＤ画素の同一フレーム内の例えば上下各３画素ずつのＳＤ画素を１画素×６ラインの計６画素からなる領域に分割する。
【００２８】
モード１に関しては、図３におけるＨＤ画素ｙ1 に対する、ＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたる。この領域をブロック１と呼ぶことにする。モード２に関しては、図４におけるＨＤ画素ｙ2 に対する、ＳＤ画素ｘ1 、ｘ2 、ｘ3 、ｘ4 、ｘ5 、ｘ6 がその領域にあたる。この領域をブロック２と呼ぶことにする。
【００２９】
領域分割化回路２によりブロック化されたデータが、ＡＤＲＣ回路３、および遅延回路８へ供給される。遅延回路８は、ＡＤＲＣ回路３、クラスコード発生回路６、ＲＯＭテーブル７の処理に必要な時間だけデータを遅延させて、推定演算回路９に出力する。
【００３０】
ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出すると共に、上述のように各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータへ圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路６へ供給する。
【００３１】
本来、ＡＤＲＣ（Adaptive Dynamic Range Coding ）は、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱ、として以下の式（１）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００３２】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２ n ／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
【００３３】
この実施例では、領域分割化回路２により分割されたそれぞれ６画素のＳＤデータを各２ビットに圧縮するものとする。圧縮されたＳＤデータをそれぞれｑ1 〜ｑ6 とする。
【００３４】
一方、入力端子１から供給されたＳＤ画像信号は、領域分割化回路４にも供給される。領域分割化回路４においても、供給されたＳＤ画像信号を複数の領域に分割する。この実施例では、供給されたＳＤ画像信号から、創造するべきＨＤ画素の前フレーム内の例えば上下３画素ずつのＳＤ画素を１画素×６ラインの計６画素からなる領域に分割し、創造するべきＨＤ画素と同一フレーム内の例えば上下３画素ずつのＳＤ画素を１画素×６ラインの計６画素からなる領域に分割する。
【００３５】
すなわち、モード１に関しては、図５におけるＨＤ画素ｙ1 に対する前フレームのＳＤ画素ｍ1 〜ｍ6 、および同一フレームのＳＤ画素ｎ1 〜ｎ6 がその領域にあたる。モード２に関しては、図６におけるＨＤ画素ｙ1 に対する前フレームのＳＤ画素ｍ1 〜ｍ6 、および同一フレームのＳＤ画素ｎ1 〜ｎ6 がその領域にあたる。
【００３６】
領域分割回路４により切り出されたデータが、動きクラス決定回路５へ供給される。動きクラス決定回路５では、領域毎に供給されるＳＤデータの差分が算出され、算出された差分に対して絶対値処理が行われる。絶対値処理が行われたＳＤデータの平均値param を算出し、その平均値param に対してしきい値処理がなされることにより、動きの指標である動きパラメータが算出され、算出された動きパラメータから動きクラスmv-classが決定される。決定された動きクラスmv-classは、クラスコード発生回路６へ供給される。具体的には、動きクラス決定回路５は以下の式（２）により、供給されるＳＤデータの差分の絶対値の平均値param を算出する。
【００３７】
【数１】
【００３８】
上述の手法で算出したＳＤデータの差分の絶対値の平均値param が予め設定されたしきい値により、このＳＤデータの差分の絶対値の平均値param を用いて動きクラスmv-classが決定される。例えば、この実施例では、動きクラスmv-classを４つ設けるとし、平均値param と動きクラスmv-classを図７に示すように設定する。
【００３９】
クラスコード発生回路６では、ＡＤＲＣ回路３から供給されるパラメータ圧縮データ、および動きクラス決定回路５から供給される動きクラスmv-classに基づいて以下の式（３）の演算が行われることにより、そのブロックが属するクラスが検出され、そのクラスを示すクラスコードclass がＲＯＭテーブル７へ供給される。このクラスコードclass は、ＲＯＭテーブル７からの読み出しアドレスを示す。
【００４０】
【数２】
【００４１】
ＲＯＭテーブル７には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョン方式の規格に合致したＨＤデータへ変換するための情報である。この実施例においては、係数データは、モード１とモード２で独立に用意される。なお、ＲＯＭテーブル７に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル７からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi （class ）が読み出される。この係数データは、推定演算回路９へ供給される。
【００４２】
推定演算回路９では、遅延回路８を介して、領域分割化回路２から供給されるＳＤデータ、およびＲＯＭテーブル７から供給される係数データであるｗi （class ）に基づいて、入力されたＳＤデータに対応するＨＤデータが算出される。
【００４３】
より具体的には、推定演算回路９は、遅延回路８より供給されたＳＤデータとＲＯＭテーブル７から供給された係数データにより、モード１に関してはブロック１用の係数データを用いて、モード２に関してはブロック２の係数データを用いて、係数データであるｗi （class ）に基づいて、それぞれ以下の式（４）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。作成されたＨＤデータは水平補間フィルタ１０へ供給される。
【００４４】
ｈｄ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋ｗ3 ｘ3 ＋ｗ4 ｘ4 ＋ｗ5 ｘ5 ＋ｗ6 ｘ6 （４）
【００４５】
水平補間フィルタ１０は、図９の水平補間フィルタ４２と同一なもので、補間処理により水平方向の画素数を２倍にするのもである。水平補間フィルタ１０の出力は、出力端子１１を介して出力される。この出力端子１１を介して出力されるＨＤデータは、例えばＨＤ用のテレビジョン受像器やＨＤ用のビデオテープレコーダ装置等に供給される。
【００４６】
このように、ＳＤデータに対応するＨＤデータを推定するための係数データが各クラス毎に予め学習により求められた上で、ＲＯＭテーブル７に記憶しておき、入力されるＳＤデータ、およびＲＯＭテーブル７から読み出された係数データに基づいて演算が行われ、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータにより近いデータを出力することが出来る。
【００４７】
続いて、ＲＯＭテーブル７に格納される係数データの作成方法（学習）について図８を用いて説明する。係数データを学習によって得るためには、まず、既に知られているＨＤ画像に対応した、ＨＤ画像の１／４の画素数のＳＤ画像を形成する。具体的には、図８に示す理想フィルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素が垂直間引きフィルタ２２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素が間引き処理されることにより、ＳＤデータを得る。垂直間引きフィルタ２３により得られたＳＤデータは、領域分割化回路２４へ供給される。
【００４８】
領域分割化回路２４では、水平間引きフィルタ２３より供給されたＳＤ画像信号を複数の領域に分割する。具体的には、領域分割化回路２４は、先に説明した領域分割化回路２と同一の働きをするものである。この実施例では、領域分割化回路２と同じく、各６画素からなる領域に分割する。すなわち、モード１に対してはブロック１の領域の領域分割を行い、モード２に関しては、ブロック２の領域分割を行う。この領域毎のＳＤデータがＡＤＲＣ回路２５、および正規方程式加算回路２９へ供給される。
【００４９】
ＡＤＲＣ回路２５では、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンが検出されると共に、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算が行われることによりパターン圧縮データを形成し、このパターン圧縮データがクラスコード発生回路２８へ供給される。ＡＤＲＣ回路２５は、先に説明したＡＤＲＣ回路３と同一のものである。この実施例では、領域分割化回路２４により分割された６画素からなる各領域のＳＤデータ（図３、図４におけるＳＤ画素ｘ1 〜ｘ6 ）をＡＤＲＣを行い各２ビットへ圧縮するものとする。
【００５０】
一方、水平間引きフィルタ２３より供給されたＳＤ画素信号は、領域分割化回路２６にも供給される。具体的には、領域分割化回路２６は、先に説明した領域分割化回路４と同一の働きをするものである。領域分割化回路２６により切り出されたＳＤデータは、動きクラス決定回路２７へ供給される。動きクラス決定回路２７は、具体的には、先に説明した動きクラス決定回路５と同一の動きをするものである。動きクラス決定回路２７で決定された動きクラスmv-classは、クラスコード発生回路２８へ供給される。
【００５１】
クラスコード発生回路２８は、先に説明したクラスコード発生回路６と同一のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データ、および動きクラス決定回路２７から供給された動きクラスmv-classに基づいて、式（２）の演算が行われることにより、そのブロックの属するクラスが検出され、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路２８は、クラスコードを正規方程式加算回路２９へ出力する。
【００５２】
ここで、正規方程式加算回路２９の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために学習をより一般化してｎ画素による予測を行う場合について説明する。ＳＤ画素レベルをそれぞれｘ1 、‥‥、ｘn として、それぞれにｐビットＡＤＲＣを行った結果の再量子化データをｑ1 、‥‥、ｑn とする。
【００５３】
このとき、この領域のクラスコードclass を式（２）で定義する。上述のようにＳＤ画素レベルをそれぞれ、ｘ1 、‥‥、ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを式（５）に示す。学習前は、ｗi が未定係数である。
【００５４】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （５）
【００５５】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（５）にしたがって、以下に示す式（６）が設定される。
【００５６】
ｍ＞ｎの場合、係数データｗi 、‥‥ｗn は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（７）で定義して、式（８）を最小にする係数データを求める。いわゆる、最小自乗法による解法である。
【００５８】
【数３】
ここで、式（８）のｗi による偏微分係数を求める。それは以下の式（９）を
`０' にするように、各ｗi を求めればよい。
【００６１】
【数４】
以下、式（１０）、（１１）のようにＸij、Ｙi を定義すると、式（９）は、行列を用いて式（１２）へ書き換えられる。
【００６３】
【数５】
【数６】
【数７】
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路２９は、クラスコード発生回路２８から供給されたクラスコードclass 、領域分割化回路２４より供給されたＳＤ画素ｘ1 、‥‥、ｘn 、入力端子２１より供給された、ＳＤデータに対応するＨＤ画素ｙを用いて、この正規方程式の加算を行う。
【００６７】
全ての学習用のデータの入力が終了した後、正規方程式加算回路２９は、予測係数決定回路３０に正規方程式データを出力する。予測係数決定回路３０は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定回路３０は、算出された予測係数をメモリ３１に書き込む。
【００６８】
以上のように学習を行った結果、メモリ３１には、量子化データｑ1 、‥‥、ｑ6 で規定されるパターン毎に、注目ＨＤ画素ｙを推定するための、統計的にもっとも真値に近い推定が出来る予測係数が格納される。このメモリ３１に格納されたテーブルが、上述のように、この発明の画像信号変換装置において、使用されるＲＯＭテーブル７である。以上の処理により、線形推定式により、ＳＤデータからＨＤデータを作成するための係数データの学習が終了する。
【００６９】
なお、この実施例の説明では、情報圧縮手段として、ＡＤＲＣを設けることにしたが、これはほんの一例であり、信号波形のパターンを少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００７０】
さらに、この実施例の説明では、簡単のため、水平方向のアップコンバージョンに水平補間フィルタ１０を用いたが、この代わりに、水平方向アップコンバージョン用のＲＯＭを用意し、水平方向のアップコンバージョンにおいても推定式を用いたこの発明を採ることも勿論可能である。
【００７１】
さらに、この実施例の説明では、領域分割化回路４により、信号波形のパターンを１次元的に分割して表現したが、２次元的な分割にしても良い。
【００７２】
さらに、この実施例の説明では、領域分割化回路５、および動きクラス決定回路６により、１次元的に分割したＳＤ画像データを用いて、動きクラスmv-classの決定を行っていたが、領域分割を２次元的な分割にしても良い。むしろ、２次元的なものにするほうが望ましい。また、今回は簡単のため、領域分割化回路４による領域分割と領域分割化回路５による領域分割は、類似の領域分割を行ったが本来これらは全く別個のものであり、類似の領域分割を行う必要は全くない。
【００７３】
さらに、この実施例の説明では、クラス分類に使用するＳＤ画素と、線形推定式で用いるＳＤ画素を同一のものとしたが、これらは必ずしも同一なものである必要はない。異なる画素を使用する場合、クラス分類に使用するＳＤ画素を線形推定式で用いるＳＤ画素が包含するような形にするのが望ましく、また追加して使用する、線形推定式で用いるＳＤ画素は、推定するＨＤ画素と同一フィールドに属するもののみとすることが望ましい。
【００７４】
【発明の効果】
従来提案されている方式の時空間構造のクラス分類を行うことによる推定方式は、動きのミスマッチにより推定画像において、破綻が発生することがあった。この手法においては、その問題点を軽減するためには大幅にクラスが増加するという欠点があったが、この発明の手法によれば、クラス数の増加を押さえつつ、その劣化を大幅に低減することが出来る。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の一実施例のブロック図である。
【図２】ＳＤデータとＨＤデータの位置関係を説明するための略線図である。
【図３】クラス分割に使用するデータを説明するための略線図である。
【図４】クラス分割に使用するデータを説明するための略線図である。
【図５】動きクラス決定に使用するデータを説明するための略線図である。
【図６】動きクラス決定に使用するデータを説明するための略線図である。
【図７】平均値param と動きクラスとの一例の関係を示す略線図である。
【図８】補正データテーブルを作成する時の説明のための略線図である。
【図９】従来の画像情報変換装置のブロック図である。
【図１０】従来の画像情報変換装置の要部の回路図である。
【図１１】従来の時空間クラス分割方式の問題点を説明するための略線図である。
【図１２】従来の時空間クラス分割方式の問題点を説明するための略線図である。
【図１３】従来の時空間クラス分割方式の問題点を説明するための略線図である。
【符号の説明】
２、４ 領域分割化回路
３ ＡＤＲＣ回路
５ 動きクラス決定回路
６ クラスコード発生回路
７ ＲＯＭテーブル
８ 遅延回路
９ 推定演算回路
１０ 水平補間フィルタ
Claims (8)
- ディジタル画像信号を、より高解像度のディジタル画像信号へ変換するようにした画像情報変換装置において、
供給された画像情報の同一フレーム内の画素情報のデータを、ブロックに分割する第１の画像情報分割手段と、
上記第１の画像情報分割手段により分割されたブロック毎にレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出手段と、
供給された上記画像情報の空間的に同位置の複数のフレームのデータをブロックに分割する第２の画像情報分割手段と、
上記第２の画像情報分割手段により分割されたブロック毎にフレームの差分データに対して絶対値処理を行い、絶対値和に基づき得られる結果に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出手段と、
上記クラス検出手段と上記動きクラス検出手段の情報を統合して最終的なクラスを決定するクラスコード発生手段と、
供給された上記画像情報を、上記画像情報よりも高い解像度の画像情報へ変換するための情報である係数データが上記クラス毎に記憶され、上記クラスコード発生手段からの上記クラスに応じて上記係数データを出力する係数データ記憶手段と、
上記係数データ記憶手段からの上記係数データと供給された画像情報との線形一次結合により、供給された上記画像情報を上記画像情報よりも高い解像度の画像情報へ変換し、出力する画像変換手段とを有することを特徴とする画像情報変換装置。 - 上記絶対値和に基づき得られる結果とは、上記フレームの差分データの絶対値の平均値であることを特徴とする請求項１に記載の画像情報変換装置。
- 上記第１の画像情報分割手段は、供給された画像情報から生成対象の画像情報が近い位置に存在する場合は第１のモード、遠い位置に存在する場合は第２のモードと決定し、決定された上記第１のモード又は上記第２のモードの生成対象の画像情報の周辺に位置する上記供給された画像情報でなるブロックへ分割し、
上記クラス検出手段は、上記第１の画像情報分割手段からの上記第１および第２のモードの各ブロックのクラス検出情報を出力し、
上記第２の画像情報分割手段は、上記決定された上記第１のモード又は上記第２のモードの生成対象の画像情報の周辺に位置する上記供給された画像情報でなるブロックへ、上記第１の画像情報分割手段より大きい範囲から分割し、
上記動きクラス検出手段は、上記第２の画像情報分割手段からの上記第１および第２のモードの各ブロックの動きクラス検出情報を出力し、
上記クラスコード発生手段は、上記第１および第２のモードの各モードにおける上記クラス検出手段と上記動きクラス検出手段の情報を統合して最終的なクラスを決定し、
上記画像変換手段は、上記第１および第２のモードの各モードの上記最終的なクラスに基づき読み出された係数データに応じて、供給された上記画像情報が上記画像情報よりも高い解像度の画像情報へ変換され、出力することを特徴とする請求項１に記載の画像情報変換装置。 - 上記大きい範囲は、供給された上記画像情報の時空間方向に大きい範囲であることを特徴とする請求項３に記載の画像情報変換装置。
- 上記係数データ記憶手段は、モード毎に独立に用意された係数を格納することを特徴とする請求項１に記載の画像情報変換装置。
- 上記係数データ記憶手段は、クラス毎に上記係数データを格納するメモリ手段を有し、
注目画素の空間的、および／または、時間的に近傍の複数の画素の値と上記係数データの線形１次結合によって、上記注目画素の値を作成した際に、作成された値と上記注目画素の真値との誤差を最小とするようなクラス毎の上記係数データを予め学習によって求めておくことを特徴とする請求項１に記載の画像情報変換装置。 - 上記係数データは、モード毎に学習により求められることを特徴とする請求項１に記載の画像情報変換装置。
- ディジタル画像信号を、より高解像度のディジタル画像信号へ変換するようにした画像情報変換方法において、
供給された画像情報の同一フレーム内の画素情報のデータを、ブロックに分割する第１の画像情報分割ステップと、
上記第１の画像情報分割ステップにより分割されたブロック毎にレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出ステップと、
供給された上記画像情報の空間的に同位置の複数のフレームのデータをブロックに分割する第２の画像情報分割ステップと、
上記第２の画像情報分割ステップにより分割されたブロック毎にフレームの差分データに対して絶対値処理を行い、絶対値和に基づき得られる結果に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出ステップと、
上記クラス検出情報と上記動きクラス検出情報とを統合して最終的なクラスを決定するクラスコード発生ステップと、
供給された上記画像情報を、上記画像情報よりも高い解像度の画像情報へ変換するための情報である係数データが上記クラス毎に記憶され、上記クラスコード発生ステップからの上記クラスに応じて係数データ記憶手段から上記係数データを出力するステップと、
上記係数データ記憶手段からの上記係数データと供給された画像情報との線形一次結合により、供給された上記画像情報を上記画像情報よりも高い解像度の画像情報へ変換し、出力する画像変換ステップとを有することを特徴とする画像情報変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20593494A JP3946781B2 (ja) | 1994-08-08 | 1994-08-08 | 画像情報変換装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20593494A JP3946781B2 (ja) | 1994-08-08 | 1994-08-08 | 画像情報変換装置及び方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004342734A Division JP4001143B2 (ja) | 2004-11-26 | 2004-11-26 | 係数生成装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0851599A JPH0851599A (ja) | 1996-02-20 |
| JP3946781B2 true JP3946781B2 (ja) | 2007-07-18 |
Family
ID=16515156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20593494A Expired - Lifetime JP3946781B2 (ja) | 1994-08-08 | 1994-08-08 | 画像情報変換装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3946781B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1420585B1 (en) * | 1996-05-30 | 2006-05-24 | Sony Corporation | Picture information converting apparatus and method thereof |
| AU719477B2 (en) * | 1996-12-11 | 2000-05-11 | Sony Corporation | Signal converting apparatus and method |
| US6115073A (en) * | 1996-12-11 | 2000-09-05 | Sony Corporation | Signal converting apparatus and method using a class decision circuit |
| CN1129301C (zh) | 1997-05-06 | 2003-11-26 | 索尼公司 | 图像转换设备和图像转换方法 |
| JP2001238185A (ja) * | 2000-02-24 | 2001-08-31 | Sony Corp | 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法 |
| JP4725001B2 (ja) * | 2000-08-07 | 2011-07-13 | ソニー株式会社 | 画像処理装置及び方法、並びに記録媒体 |
| KR100700982B1 (ko) * | 2005-05-24 | 2007-03-29 | 삼성전자주식회사 | 영상처리방법과, 영상처리장치와 이를 포함하는영상처리시스템 및 그 제어방법 |
| JP4241720B2 (ja) * | 2005-11-28 | 2009-03-18 | ソニー株式会社 | 積和演算回路 |
| JP5092575B2 (ja) | 2007-06-22 | 2012-12-05 | ソニー株式会社 | 情報信号処理装置、情報信号処理方法、並びにその処理方法を実行させるためのプログラム |
-
1994
- 1994-08-08 JP JP20593494A patent/JP3946781B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0851599A (ja) | 1996-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3590996B2 (ja) | ディジタル画像信号の階層符号化および復号装置 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3674186B2 (ja) | 画像情報変換装置および方法 | |
| JP4552261B2 (ja) | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP3627291B2 (ja) | ブロック歪み除去装置および方法 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP4001143B2 (ja) | 係数生成装置および方法 | |
| JPH07193789A (ja) | 画像情報変換装置 | |
| JPH1093929A (ja) | 画像情報変換装置および方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JPH06178277A (ja) | 画像情報変換装置 | |
| JP3826434B2 (ja) | 信号変換装置および方法 | |
| JP4552263B2 (ja) | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3767019B2 (ja) | 積和演算回路および方法 | |
| JP3831955B2 (ja) | クラス分類適応処理装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050531 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050726 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050804 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050902 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070412 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100420 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140420 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |