JP4193495B2 - 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びにコンピュータ読み取り可能な記憶媒体およびプログラム - Google Patents

Description

【技術分野】
【０００１】
この発明は、例えば第１の画像信号をこの第１の画像信号の複数の画素データと位相の異なる第２の画像信号に変換する際に使用して好適な画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びにコンピュータ読み取り可能な記憶媒体およびプログラムに関する。
【０００２】
詳しくは、第１の画像信号を第２の画像信号に変換する際に使用される推定式の係数データを複数に階層化された生成式を用いて生成することによって、１ステップ毎の演算処理を圧縮できると共に、ハードウェアの規模縮小および有効利用を図ることができる画像信号処理装置等に係るものである。
【０００３】
フォーマットまたは画像サイズを変換するためには、入力画像信号の画素データとは異なった位相の画素データを求めて出力画像信号を得る必要がある。この場合、変換後のフォーマットまたは画像サイズによって、入力画像信号の画素に対する出力画像信号の画素の位相関係が一義的に決まる。
【０００４】
フォーマット変換の例として、入力画像信号が５２５ｉ信号であって出力画像信号が１０８０ｉ信号である場合を説明する。５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味し、１０８０ｉ信号は、ライン数が１０８０本でインタレース方式の画像信号を意味する。図１６は、５２５ｉ信号と１０８０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０８０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
【０００５】
５２５ｉ信号を１０８０ｉ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の各４×４の画素ブロックに対応して１０８０ｉ信号の９×９の画素ブロックを得る必要がある。
【０００６】
図１７は、５２５ｉ信号と１０８０ｉ信号の画素の垂直方向の位相関係を示している。図中の１０８０ｉ信号の画素（小さな丸）のそれぞれに付された数値は、５２５ｉ信号の画素（大きな丸）からの垂直方向の最短距離を示している。この場合、５２５ｉ信号の垂直方向の画素間隔は１６とされている。図１７では、１０８０ｉ信号の画素のそれぞれに付された数値は、当該画素の５２５ｉ信号の画素に対する垂直方向の位相情報を示すものとなる。
【０００７】
なお、この位相情報は、１０８０ｉ信号の画素が５２５ｉ信号の画素（最短距離にある画素）より上方向にある場合は負の値とされ、また下方向にある場合は正の値とされる。これは、後述するＸＧＡ信号と５２５ｉ信号の垂直方向の位相関係を示す図においても同様である。
【０００８】
図１８は、５２５ｉ信号と１０８０ｉ信号の画素の水平方向の位相関係を示している。図中の１０８０ｉ信号の画素（小さな丸）のそれぞれに付された数値は、５２５ｉ信号の画素（大きな丸）からの水平方向の最短距離を示している。この場合、５２５ｉ信号の水平方向の画素間隔は８とされている。図１８では、１０８０ｉ信号の画素にそれぞれ付された数値は、当該画素の５２５ｉ信号の画素に対する水平方向の位相情報を示すものとなる。
【０００９】
なお、この位相情報は、１０８０ｉ信号の画素が５２５ｉ信号の画素（最短距離にある画素）より左方向にある場合は負の値とされ、また右方向にある場合は正の値とされる。これは、後述するＸＧＡ信号と５２５ｉ信号の水平方向の位相関係を示す図においても同様である。
【００１０】
次に、フォーマット変換の例として、入力画像信号が５２５ｉ信号であって出力画像信号がＸＧＡ信号である場合を説明する。ＸＧＡ信号は解像度１０２４×７６８ドットの表示を行うためのプログレッシブ方式（ノンインタレース方式）の画像信号である。図１９は、５２５ｉ信号とＸＧＡ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットがＸＧＡ信号の画素である。また、５２５ｉ信号に関しては、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
【００１１】
５２５ｉ信号をＸＧＡ信号に変換する場合、奇数、偶数のそれぞれのフィールドにおいて、５２５ｉ信号の各５×５の画素ブロックに対応して１０８０ｉ信号の８×１６の画素ブロックを得る必要がある。
【００１２】
図２０は、５２５ｉ信号とＸＧＡ信号の画素の垂直方向の位相関係を示している。図中のＸＧＡ信号の画素のそれぞれに付された数値は、５２５ｉ信号の画素からの垂直方向の最短距離を示している。この場合、５２５ｉ信号の垂直方向の画素間隔は１６とされている。このようにＸＧＡ信号の画素のそれぞれに付された数値は、当該画素の５２５ｉ信号の画素に対する垂直方向の位相情報を示すものとなる。
【００１３】
図２１は、５２５ｉ信号とＸＧＡ信号の画素の水平方向の位相関係を示している。図中のＸＧＡ信号の画素のそれぞれに付された数値は、５２５ｉ信号の画素からの水平方向の最短距離を示している。この場合、５２５ｉ信号の水平方向の画素間隔は８とされている。このようにＸＧＡ信号の画素のそれぞれに付された数値は、当該画素の５２５ｉ信号の画素に対する水平方向の位相情報を示すものとなる。
【００１４】
画像サイズ変換の例は特に示さないが、上述したフォーマット変換の場合と同様に、入力画像信号の画素に対する出力画像信号の画素の位相関係が一意的に決まる。例えば、画像サイズ（表示画像の拡大倍率）を垂直、水平とも９／４倍にする場合の位相関係は上述した５２５ｉ信号と１０８０ｉ信号の画素の位相関係と同じくなる。
【００１５】
従来、フォーマットまたは画像サイズを変換するために入力画像信号の画素データより出力画像信号の画素データを得る際に、入力画像信号の画素に対する出力画像信号の画素の各位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって出力画像信号の画素データを求めることが提案されている。
【００１６】
上述したように、変換後のフォーマットまたは画像サイズが異なれば、入力画像信号の画素に対する出力画像信号の画素の位相関係は異なったものとなる。そのため、推定式の係数データをメモリに格納しておくものにあっては、種々のフォーマットまたは画像サイズへの変換を行う場合、それぞれのフォーマットまたは画像サイズに対応して係数データをメモリに格納しておく必要がある。さらに、それぞれのフォーマットまたは画像サイズへの変換を行う場合、画質を多段階に調整可能とする場合にはそれぞれの段階に対応して係数データをメモリに格納しておく必要がある。したがって、その場合には、大量の係数データを格納しておくメモリが必要となり、変換装置が高価なものとなる等の不都合がある。
【発明の開示】
【００１７】
そこで、この発明の目的は、種々のフォーマットまたは画像サイズへの変換や画質の多段階の調整を行うために大量の係数データを格納しておくメモリを不要とすることにある。
【００１８】
また、この発明の目的は、係数データを格納しておくメモリを不要とするために推定式によって係数データを生成する際に、１ステップ毎の演算処理を圧縮すると共に、ハードウェアの規模縮小および有効利用を図ることにある。
【００２２】
また、この発明に係る画像信号処理装置は、複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する画像信号処理装置であって、上記第１の画像信号の複数の画素データに対する上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定するパラメータ設定手段と、上記第２の画像信号における注目位置の画素データを算出する際に用いられる係数データを生成するための係数種データが記憶された第１のメモリ手段と、上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成し、該第１係数データと上記第１又は第２のパラメータの他方を演算して上記第１の画像信号と上記第２の画像信号の誤差を最小にする第２係数データを発生する係数データ発生手段と、上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、上記係数データ発生手段で発生された上記第２係数データと上記第１のデータ選択手段で選択された上記複数の第１の画素データとを演算して上記注目位置の画素データを算出して得る演算手段とを備えるものである。
【００２３】
また、この発明に係る画像信号処理方法は、複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する画像信号処理方法であって、上記第１の画像信号の複数の画素データに対する上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、上記第２の画像信号における注目位置の画素データを算出する際に用いられる係数データを生成するための係数種データと上記第１又は第２のパラメータのいずれか一方とを演算して第１係数データを生成し、当該第１係数データと上記第１又は第２のパラメータの他方を演算して上記第１の画像信号と上記第２の画像信号の誤差を最小にする第２係数データを生成し、生成された第２係数データを発生する第２のステップと、上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第３のステップと、上記第２のステップで発生された上記第２係数データと上記第３のステップで選択された上記複数の第１の画素データとを演算して上記注目位置の画素データを算出して得る第４のステップとを備えるものである。
【００２４】
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な記憶媒体は、上述のプログラムを記録したものである。
【００２５】
また、この発明に係る画像表示装置は、複数の画素データからなる第１の画像信号を入力する画像信号入力手段と、上記画像信号入力手段より入力された上記第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換して出力する画像信号処理手段と、上記画像信号処理手段より出力される上記第２の画像信号による画像を画像表示素子に表示する画像表示手段と、上記第１の画像信号の複数の画素データに対する上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定するパラメータ設定手段とを有してなり、上記画像信号処理手段は、上記第２の画像信号における注目位置の画素データを算出する際に用いられる係数データを生成するための係数種データが記憶された第１のメモリ手段と、上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成し、該第１係数データと上記第１又は第２のパラメータの他方を演算して上記第１の画像信号と上記第２の画像信号の誤差を最小にする第２係数データを発生する係数データ発生手段と、上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択するデータ選択手段と、上記係数データ発生手段で発生された上記第２係数データと上記データ選択手段で選択された上記複数の第１の画素データとを演算して上記注目位置の画素データを算出して得る演算手段とを備えるものである。
【００２６】
この発明においては、第２の情報信号に係る複数のパラメータの値が設定される。ここで、情報信号は、例えば画像信号である。情報信号が画像信号である場合、複数のパラメータは、例えば第２の画像信号による画像の画質を決める第１のパラメータと、第２の画像信号における注目位置の位相情報を示す第２のパラメータとからなる。情報信号が画像信号である場合、変換後のフォーマットまたは画像サイズによって入力画像信号の画素に対する出力画像信号の画素の位相関係が一意的に決まる。また、第１の情報信号に基づいて、第２の情報信号における注目位置の周辺に位置する複数の第１の情報データが選択される。
【００２７】
そして、複数のパラメータに対応して、その注目位置の情報データが求められる。すなわち、推定式の係数データを生成するための複数に階層化された生成式を構成する最下層の生成式の係数データが係数種データとしてメモリ手段に記憶されており、この係数種データと、設定された複数のパラメータの値とを用いて、設定された複数のパラメータの値に対応した推定式の係数データが発生され、この係数データと複数の第１の情報データとを用いて、推定式に基づいて注目位置の情報データが生成される。
【００２８】
係数データ発生手段は、例えば、複数に階層化された生成式を構成する各階層の生成式の演算を行うための単一の積和器と、この積和器で第１の階層の生成式の演算を行って得られる当該第１の階層の上位にある第２の階層の生成式の係数データを第２の階層の生成式の演算のために記憶しておく第２のメモリ手段とを有する構成とされる。
【００２９】
このように、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを係数種データを用いて生成するものであり、設定された複数のパラメータに対応した係数データを容易に得ることができ、大量の係数データを格納しておくメモリが不要となる。また、推定式の係数データを複数に階層化された生成式を用いて生成するものであり、１ステップ毎の演算処理を圧縮できると共に、ハードウェアの規模縮小および有効利用を図ることが可能となる。また、複数に階層化された生成式を構成する各階層の生成式が、上位層ほど更新頻度の高いパラメータを含むようにすることで、含まれるパラメータの更新頻度が少ない下位層側の生成式の演算を少なく抑えることが可能となる。
【００３０】
また、この発明に係る係数種データ生成装置は、複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成する装置であって、上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定するパラメータ設定手段と、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、上記データ選択手段で選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための正規方程式を生成する正規方程式生成手段と、上記正規方程式を解いて上記係数データを得る係数データ演算手段と、上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記係数データ演算手段で得られた係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る係数種データ演算手段とを備えるものである。
【００３１】
また、この発明に係る係数種データ生成方法は、複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成する方法であって、上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第２のステップと、上記第２のステップで選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための正規方程式を生成する第３のステップと、上記第３のステップで生成された上記正規方程式を解いて上記係数データを得る第４のステップと、上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記第４のステップで得られた係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る第５のステップとを備えるものである。
【００３２】
また、この発明に係るプログラムは、上述の係数種データ生成方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。
【００３３】
この発明においては、例えば、教師信号として１０５０ｉ信号が使用され、この１０５０ｉ信号が間引き処理されて生徒信号として５２５ｉ信号が得られる。そして、この生徒信号の状態は、設定された複数のパラメータに対応したものとされる。例えば、情報信号が画像信号である場合、複数のパラメータによって、生徒信号の位相シフトやその生徒信号による画像の画質が決められる。
【００３４】
この複数のパラメータに対応した状態の生徒信号から教師信号における注目位置の周辺に位置する複数の情報データが選択される。そして、この複数の情報データおよび教師信号における注目位置の情報データを用いて、未階層状態における生成式の係数データを得るための正規方程式が生成され、この方程式を解くことで未階層状態の生成式の係数データが得られる。そして、この未階層状態における生成式の係数データを用いて、複数に階層化された生成式を構成する最下層の生成式の係数データが係数種データとして得られる。
【００３５】
ここで、係数種データは、第１の情報信号から第２の情報信号に変換する際に使用される推定式の係数データを生成する、複数のパラメータを含む複数に階層化された生成式を構成する最下層の生成式の係数データである。この係数種データを使用することで、複数に階層化された生成式によって、複数のパラメータに対応した係数データを得ることが可能となる。これにより、フォーマットまたはサイズを変換する際、さらには第２の情報信号によって得られる出力の質を変える際に、第２の情報信号における注目位置の位相情報に基づいて係数種データより推定式の係数データを生成し、この係数データを使用してその注目位置の情報データを求めることが可能となる。
【００３６】
また、この発明に係る係数種データ生成装置は、複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成する装置であって、上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定するパラメータ設定手段と、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、上記データ選択手段で選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記パラメータ設定手段で設定されるパラメータの値の組み合わせ毎に、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための第１の正規方程式を生成する第１の正規方程式生成手段と、上記第１の正規方程式を解いて、上記組み合わせ毎に係数データを得る第１の係数データ演算手段と、上記第１の係数データ演算手段で得られた上記組み合わせ毎の係数データから、複数に階層化された生成式の未階層状態における生成式の係数データを得るための第２の正規方程式を生成する第２の正規方程式生成手段と、上記第２の正規方程式を解いて上記未階層状態における生成式の係数データを得る第２の係数データ演算手段と、上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記第２の係数データ演算手段で得られた上記未階層状態における生成式の係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る係数種データ演算手段とを備えるものである。
【００３７】
また、この発明に係る係数種データ生成方法は、複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成する方法であって、上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第２のステップと、上記第２のステップで選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記第１のステップで設定されるパラメータの値の組み合わせ毎に、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための第１の正規方程式を生成する第３のステップと、上記第３のステップで生成された上記第１の正規方程式を解いて、上記組み合わせ毎に係数データを得る第４のステップと、上記第４のステップで得られた上記組み合わせ毎の係数データから、複数に階層化された生成式の未階層状態における生成式の係数データを得るための第２の正規方程式を生成する第５のステップと、上記第５のステップで生成された上記第２の正規方程式を解いて、上記未階層状態における生成式の係数データを得る第６のステップと、上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記第６のステップで得られた上記未階層状態における生成式の係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る第７のステップとを備えるものである。
【００３８】
また、この発明に係るプログラムは、上述の係数種データ生成方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な記憶媒体は、上述のプログラムを記録したものである。
【００３９】
この発明においては、例えば、教師信号として１０５０ｉ信号が使用され、この１０５０ｉ信号が間引き処理されて生徒信号として５２５ｉ信号が得られる。そして、この生徒信号の状態は、設定された複数のパラメータの値に対応したものとされる。例えば、情報信号が画像信号である場合、複数のパラメータの値によって、生徒信号の位相シフトやその生徒信号による画像の画質が決められる。
【００４０】
この複数のパラメータに対応した状態の生徒信号から教師信号における注目位置の周辺に位置する複数の情報データが選択される。そして、この複数の情報データおよび教師信号における注目位置の情報データを用いて、複数のパラメータの値の組み合わせ毎に、推定式の係数データを得るための第１の正規方程式が生成され、この方程式を解くことで、上記組み合わせ毎の推定式の係数データが得られる。
【００４１】
そしてさらに、上記組み合わせ毎の係数データから、未階層状態における生成式の係数データを得るための第２の正規方程式が生成され、この方程式を解くことで未階層状態の生成式の係数データが得られる。そして、この未階層状態における生成式の係数データを用いて、複数に階層化された生成式を構成する最下層の生成式の係数データが係数種データとして得られる。
【００４２】
ここで、係数種データは、第１の情報信号から第２の情報信号に変換する際に使用される推定式の係数データを生成する、複数のパラメータを含む複数に階層化された生成式を構成する最下層の生成式の係数データである。この係数種データを使用することで、複数に階層化された生成式によって、複数のパラメータに対応した係数データを得ることが可能となる。これにより、フォーマットまたはサイズを変換する際、さらには第２の情報信号によって得られる出力の質を変える際に、第２の情報信号における注目位置の位相情報に基づいて係数種データより推定式の係数データを生成し、この係数データを使用してその注目位置の情報データを求めることが可能となる。
【発明を実施するための最良の形態】
【００４３】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号より５２５ｉ信号を得、その５２５ｉ信号を１０８０ｉ信号またはＸＧＡ信号に変換して画像表示をしたり、あるいはその５２５ｉ信号をその画像の一部を任意の倍率で拡大表示するための新たな５２５ｉ信号に変換して画像表示をするものである。
【００４４】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００４５】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って５２５ｉ信号を得るチューナ１０６と、このチューナ１０６より出力される５２５ｉ信号を一時的に保存するためのバッファメモリ１０９とを有している。
【００４６】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存される５２５ｉ信号を入力画像信号Ｖinとし、１０８０ｉ信号またはＸＧＡ信号に変換し、あるいはその５２５ｉ信号をその画像の一部を任意の倍率で拡大表示するための新たな５２５ｉ信号に変換して出力する画像信号処理部１１０と、この画像信号処理部１１０より出力される出力画像信号Ｖoutによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等のフラットパネルディスプレイで構成されている。
【００４７】
図１に示すテレビ受信機１００の動作を説明する。
【００４８】
チューナ１０６より出力される５２５ｉ信号は、バッファメモリ１０９に供給されて一時的に保存される。そして、このバッファメモリ１０９に一時的に記憶された５２５ｉ信号は入力画像信号Ｖinとして画像信号処理部１１０に入力される。
【００４９】
この画像信号処理部１１０では、ユーザのリモコン送信機２００の操作による設定に応じて、入力画像信号Ｖinとしての５２５ｉ信号が、１０８０ｉ信号またはＸＧＡ信号に変換され、あるいはその５２５ｉ信号がその画像の一部を任意の倍率で拡大表示するための新たな５２５ｉ信号に変換される。この画像信号処理部１１０より出力される出力画像信号Ｖoutはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその出力画像信号Ｖoutによる画像が表示される。
【００５０】
また、上述せずも、ユーザは、リモコン送信機２００の操作によって、上述したようにディスプレイ部１１１の画面上に表示される画像の水平および垂直の解像度を連続的になめらかに調整できる。画像信号処理部１１０では、後述するように、出力画像信号Ｖoutを構成する画素データが推定式によって算出される。その際、この推定式の係数データとして、ユーザのリモコン送信機２００の操作によって設定された水平、垂直の解像度を決めるパラメータｇ，ｆの値に対応したものが、これらパラメータｇ，ｆを含む生成式によって生成されて使用される。これにより、画像信号処理部１１０より出力される出力画像信号Ｖoutによる画像の水平、垂直の解像度は、設定されたパラメータｇ，ｆの値に対応したものとなる。
【００５１】
次に、画像信号処理部１１０の詳細を説明する。この画像信号処理部１１０は、バッファメモリ１０９に記憶されている５２５ｉ信号より、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目位置の画素）の周辺に位置する複数の画素データを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００５２】
第１のタップ選択回路１２１は、予測に使用する画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、空間クラス分類に使用する画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きクラス分類に使用する画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属する画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００５３】
また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（複数個）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００５４】
空間クラス検出回路１２４では、例えば、空間クラスタップのデータを、８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、空間クラス検出回路１２４からは、空間クラスタップのデータにそれぞれ対応した圧縮データが空間クラスのクラス情報として出力される。本実施の形態においては、ＡＤＲＣ（Adaptive Dynamic Range Coding）によって、データ圧縮が行われる。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いてもよい。
【００５５】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、上述したデータ圧縮に使用して好適なものである。ＡＤＲＣを使用する場合、空間クラスタップのデータの最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータｋｉに対して、（１）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、（１）式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）＊２^P／ＤＲ］ ・・・（１）
【００５６】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（複数個）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００５７】
この動きクラス検出回路１２５では、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えばクラスタップのデータとして、６個の画素データｍ１〜ｍ６とその１フレーム前の６個の画素データｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。
【００５８】
【数１】

【００５９】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３とされる。
【００６０】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目位置の画素）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【００６１】
このクラス合成回路１２６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータの個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００６２】
【数２】

【００６３】
また、画像信号処理部１１０は、レジスタ１３０〜１３３を有している。後述する後処理回路１２９は、出力画像信号Ｖoutとして、１０８０ｉ信号を出力する場合と、ＸＧＡ信号を出力する場合と、５２５ｉ信号を出力する場合とで、その動作を切り換える必要がある。レジスタ１３０は、後処理回路１２９の動作を指定する動作指定情報を格納するものである。後処理回路１２９は、レジスタ１３０より供給される動作指定情報に従った動作をする。
【００６４】
レジスタ１３１は、第１のタップ選択回路１２１で選択される予測タップのタップ位置情報を格納するものである。第１のタップ選択回路１２１は、レジスタ１３１より供給されるタップ位置情報に従って予測タップを選択する。タップ位置情報は、例えば選択される可能性のある複数の画素に対して番号付けを行い、選択する画素の番号を指定するものである。以下のタップ位置情報においても同様である。
【００６５】
レジスタ１３２は、第２のタップ選択回路１２２で選択される空間クラスタップのタップ位置情報を格納するものである。第２のタップ選択回路１２２は、レジスタ１３２より供給されるタップ位置情報に従って空間クラスタップを選択する。
【００６６】
ここで、レジスタ１３２には、動きが比較的小さい場合のタップ位置情報Ａと、動きが比較的大きい場合のタップ位置情報Ｂとが格納される。これらタップ位置情報Ａ，Ｂのいずれを第２のタップ選択回路１２２に供給するかは、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択される。
【００６７】
すなわち、動きがないか、あるいは動きが小さいためにＭＶ＝０またはＭＶ＝１であるときは、タップ位置情報Ａが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、複数フィールドに跨るものとされる。また、動きが比較的大きいためにＭＶ＝２またはＭＶ＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、図示せずも、作成すべき画素と同一フィールド内の画素のみとされる。
【００６８】
なお、上述したレジスタ１３１にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路１２１に供給されるタップ位置情報が動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択されるようにしてもよい。
【００６９】
レジスタ１３３は、第３のタップ選択回路１２３で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路１２３は、レジスタ１３３より供給されるタップ位置情報に従って動きクラスタップを選択する。
【００７０】
また、画像信号処理部１１０は、情報メモリバンク１３５を有している。この情報メモリバンク１３５には、レジスタ１３０に格納するための動作指定情報と、レジスタ１３１〜１３３に格納するためのタップ位置情報が予め蓄えられている。
【００７１】
ここで、レジスタ１３０に格納するための動作指定情報として、情報メモリバンク１３５には、後処理回路１２９を１０８０ｉ信号を出力するように動作させるための第１の動作指定情報と、後処理回路１２９をＸＧＡ信号を出力するように動作させるための第２の動作指定情報と、後処理回路１２９を５２５ｉ信号を出力するように動作させるための第３の動作指定情報とが予め蓄えられている。
【００７２】
ユーザはリモコン送信機２００を操作することで、１０８０ｉ信号を出力する第１の変換方法か、ＸＧＡ信号を出力する第２の変換方法か、さらには５２５ｉ信号を出力する第３の変換方法かを選択できる。なお、第３の変換方法を選択するとき、ユーザは、さらに表示画像の倍率（画像サイズ）を指定できる。情報メモリバンク１３５にはシステムコントローラ１０１よりその変換方法の選択情報が供給され、この情報メモリバンク１３５よりレジスタ１３０にはその選択情報に従って第１、第２または第３の動作指定情報がロードされる。
【００７３】
また、情報メモリバンク１３５には、レジスタ１３１に格納するための予測タップのタップ位置情報として、第１の変換方法（１０８０ｉ）に対応する第１のタップ位置情報と、第２の変換方法（ＸＧＡ）に対応する第２のタップ位置情報と、第３の変換方法（５２５ｉ）に対応する第３のタップ位置情報が予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３１には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。
【００７４】
なお、情報メモリバンク１３５に、第３の変換方法に対応する第３のタップ位置情報として、表示画像の倍率に対応したタップ位置情報を予め蓄えておき、第３の変換方法が選択された場合に、併せて指定された倍率に対応したタップ位置情報を情報メモリバンク１３５よりレジスタ１３１にロードするようにしてもよい。このことは、後述するレジスタ１３２，１３３へのタップ情報のロードにおいても同様である。
【００７５】
また、情報メモリバンク１３５には、レジスタ１３２に格納するための空間クラスタップのタップ位置情報として、第１の変換方法（１０８０ｉ）に対応する第１のタップ位置情報と、第２の変換方法（ＸＧＡ）に対応する第２のタップ位置情報と、第３の変換方法（５２５ｉ）に対応する第３のタップ位置情報とが予め蓄えられている。第１、第２および第３のタップ位置情報は、それぞれ動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報とからなっている。この情報メモリバンク１３５よりレジスタ１３２には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。
【００７６】
また、情報メモリバンク１３５には、レジスタ１３３に格納するための動きクラスタップのタップ位置情報として、第１の変換方法（１０８０ｉ）に対応する第１のタップ位置情報と、第２の変換方法（ＸＧＡ）に対応する第２のタップ位置情報と、第３の変換方法（５２５ｉ）に対応する第３のタップ位置情報とが予め蓄えられている。この情報メモリバンク１３５よりレジスタ１３３には、上述した変換方法の選択情報に従って第１、第２または第３のタップ位置情報がロードされる。
【００７７】
また、画像信号処理部１１０は、ＲＯＭで構成される下位係数記憶部１３６を有している。この下位係数記憶部１３６には、各クラスの係数種データが予め蓄えられている。この下位係数記憶部１３６には、システムコントローラ１０１より読み出し制御信号ＲＣＳが供給される。この係数種データは、後述する推定予測演算回路１２７で使用される推定式の係数データを生成するための、上位層および下位層に２層化された生成式のうち、下位層の生成式の係数データである。
【００７８】
後述する推定予測演算回路１２７では、予測タップのデータｘｉと、生成式によって生成される係数データＷｉとから、（４）式の推定式によって、作成すべき画素データｙが演算される。第１のタップ選択回路１２１で選択される予測タップが１０個であるとき、（４）式におけるｎは１０となる。
【００７９】
【数３】

【００８０】
そして、この推定式の係数データＷｉ（ｉ＝１〜ｎ）は、例えば（５）式で示されるように、水平解像度ｇ、垂直解像度ｆ、水平位相ｈ、垂直位相ｖをパラメータとする生成式（未階層状態）で表される。この発明では、この（５）式の関係を更に２層化して得られた（６）式で示す上位層の生成式および（７）式で示す下位層の生成式によって、係数データＷｉ（ｉ＝１〜ｎ）が生成される。下位係数記憶部１３６には、下位層の生成式の係数データである係数種データｂ_ij0〜ｂ_ij8（ｉ＝１〜ｎ、ｊ＝０〜８）が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。
【００８１】
なお、（６）式で示す上位層の生成式にはパラメータｈ，ｖが含まれ、（７）式で示す下位層の生成式にはパラメータｇ，ｆが含まれている。この場合、パラメータｈ，ｖは、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の水平方向、垂直方向の位相情報であり、後述するように垂直有効走査期間で頻繁に更新されるが、解像度情報としてのパラメータｇ，ｆはそのように頻繁には更新されない。
【００８２】
このように頻繁に更新されないパラメータで下位層の生成式を構成する。また、同一の生成式中のパラメータは、同じタイミングで更新されるパラメータとする方が望ましい。
【００８３】
【数４】

【００８４】
また、画像信号処理部１１０は、各クラスの係数種データｂ_ij0〜ｂ_ij8およびパラメータｇ，ｆの値とを用い、（７）式によって、クラス毎に、（６）式に示す上位層の生成式の係数データａ_i0〜ａ_i8（ｉ＝１〜ｎ）を生成すると共に、クラス合成回路１２６で得られるクラスコードＣＬに対応したクラスの係数データａ_i0〜ａ_i8およびパラメータｈ，ｖの値とを用い、（６）式によって、当該クラスにおける推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する適応型積和器１３７を有している。この適応型積和器１３７で生成された係数データＷｉは後述する推定予測演算回路１２７に供給される。
【００８５】
この適応型積和器１３７には、システムコントローラ１０１よりパラメータｇ，ｆの値が供給されると共に、後述する位相情報発生回路１３９よりパラメータｈ，ｖの値が供給される。また、この適応型積和器１３７には、システムコントローラ１０１より積和構造情報ＩＮＦが供給され、（７）式の演算を行うときにはその演算を行うための積和構造となり、また（６）式の演算を行うときにはその演算を行うための積和構造となる。本実施の形態においては、（６）式と（７）式は同じ形をしているので、適応型積和器１３７は（７）式の演算を行う場合と（６）式の演算を行う場合とで同一の積和構造となる。
【００８６】
ここで、適応型積和器１３７で、上述したように（７）式によってクラス毎に生成される、（６）式に示す上位層の生成式の係数データａ_i0〜ａ_i8（ｉ＝１〜ｎ）は、ＲＡＭで構成される上位係数記憶部１３８に記憶され、（６）式の演算に備えられる。この上位係数記憶部１３８には、システムコントローラ１０１より書き込み／読み出し制御信号Ｗ／ＲＣＳが供給される。本実施の形態においては、（７）式の演算は出力画像信号Ｖoutの垂直ブランキング期間で行われ、（６）式の演算はその垂直有効走査期間で行われる。
【００８７】
また、画像信号処理部１１０は、システムコントローラ１０１より供給される、変換方法の選択情報および倍率の指定情報に対応した入力画像信号Ｖinと出力画像信号Ｖoutにおける垂直方向、水平方向の各フィールドにおける画素数の対応関係情報ｎ／ｍに基づいて、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の水平方向、垂直方向の位相情報ｈ，ｖを発生させる位相情報発生回路１３９を有している。この位相情報発生回路１３９は例えばＲＯＭテーブルで構成される。
【００８８】
この位相情報発生回路１３９で発生される各画素の水平方向、垂直方向の位相情報ｈ，ｖは、それぞれ画素番号（タップ番号）と関連付けられて、適応型積和器１３７に供給される。なお、位相情報発生回路１３９からは、入力画像信号Ｖinの奇数、偶数のフィールドのそれぞれに対応して位相情報ｈ，ｖが発生される。
【００８９】
例えば、第１の変換方法（１０８０ｉ）が選択される場合、垂直方向に関してｎ／ｍ＝９／４であり、水平方向に関してｎ／ｍは９／４である（図１６参照）。そのため、入力画像信号Ｖinとしての５２５ｉ信号の４×４の画素ブロックに対して出力画像信号Ｖoutとしての１０８０ｉ信号の９×９の画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックは９×９の画素ブロックということになる。
【００９０】
この場合、位相情報発生回路１３９では、この９×９の単位画素ブロック内の各画素について、上述した５２５ｉ信号の４×４の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとする。本実施の形態においては、５２５ｉ信号の垂直方向の画素間隔が１６、水平方向の画素間隔が８とされて、上述の位相情報ｈ，ｖが求められる。これは、第２、第３の変換方法が選択される場合も同様である。
【００９１】
ここで、位相情報ｖに関しては、９×９の単位画素ブロック内の対象画素が最短画素より上方に位置するときは負の値とされ、逆にその対象画素が上述の最短画素より下方に位置するときは正の値とされる。また、位相情報ｈに関しては、その対象画素が最短画素より左方に位置するときは負の値とされ、逆にその対象画素が最短画素より右方に位置するときは正の値とされる。これは、第２、第３の変換方法が選択される場合も同様である。
【００９２】
このように、第１の変換方法（１０８０ｉ）が選択される場合、位相情報発生回路１３９では、奇数、偶数のフィールドのそれぞれに対応して、９×９の単位画素ブロックを構成する８１個の画素のそれぞれについての位相情報ｈ，ｖが発生される。
【００９３】
また例えば、第２の変換方法（ＸＧＡ）が選択される場合、垂直方向に関してｎ／ｍ＝１６／５であり、水平方向に関してｎ／ｍは８／５である（図１９参照）。そのため、入力画像信号Ｖinとしての５２５ｉ信号の５×５の画素ブロックに対して出力画像信号ＶoutとしてのＸＧＡ信号の８×１６の画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックは８×１６の画素ブロックということになる。
【００９４】
この場合、位相情報発生回路１３９では、この８×１６の単位画素ブロック内の各画素について、上述した５２５ｉ信号の５×５の画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとする。
【００９５】
このように、第２の変換方法（ＸＧＡ）が選択される場合、位相情報発生回路１３９では、奇数、偶数のフィールドのそれぞれに対応して、８×１６の単位画素ブロックを構成する１２８個の画素のそれぞれついての位相情報ｈ，ｖが発生される。
【００９６】
また例えば、第３の変換方法（５２５ｉ）が選択される場合、指定された表示画像の倍率（画像サイズ）に応じて垂直方向および水平方向に関するｎ／ｍが一意的に決まる。垂直方向に関してｎ／ｍ＝ｎv／ｍv、水平方向に関してｎ／ｍ＝ｎh／ｍhであるとすると、入力画像信号Ｖinとしての５２５ｉ信号のｍh×ｍvの画素ブロックに対して出力画像信号Ｖoutとしての５２５ｉ信号のｎh×ｎvの画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックはｎh×ｎvの画素ブロックということになる。
【００９７】
この場合、位相情報発生回路１３９では、このｎh×ｎvの単位画素ブロック内の各画素について、上述した入力画像信号Ｖinとしての５２５ｉ信号のｍh×ｍvの画素ブロック内の画素のうち、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとすると共に、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとする。
【００９８】
このように、第３の変換方法（５２５ｉ）が選択される場合、位相情報発生回路１３９では、奇数、偶数のフィールドのそれぞれに対応して、ｎh×ｎvの単位画素ブロックを構成する各画素についての位相情報ｈ，ｖが発生される。
【００９９】
また、画像信号処理部１１０は、適応型積和器１３７で生成される各位相情報ｈ，ｖの係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓを、（８）式によって演算する正規化係数生成回路１４０を有している。ここで生成された正規化係数Ｓは、後述する正規化演算回路１２８に供給されることとなる。
【０１００】
【数５】

【０１０１】
また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータｘｉと、適応型積和器１３７で生成される係数データＷｉとから、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータを演算する推定予測演算回路１２７を有している。
【０１０２】
この推定予測演算回路１２７では、出力画像信号Ｖoutを構成する画素データが単位画素ブロック毎に生成される。すなわち、この推定予測演算回路１２７には、第１のタップ選択回路１２１より単位画素ブロック内の各画素（注目位置の画素）に対応した予測タップのデータｘｉと、適応型積和器１３７よりその単位画素ブロックを構成する各画素に対応した係数データＷｉとが供給され、単位画素ブロックを構成する各画素のデータは、それぞれ個別に上述した（４）式の推定式で演算される。
【０１０３】
例えば、推定予測演算回路１２７では、第１の変換方法（１０８０ｉ）が選択されている場合には、単位画素ブロックを構成する８１個の画素のデータが順次繰り返し生成され、第２の変換方法（ＸＧＡ）が選択されている場合には、単位画素ブロックを構成する１２８個の画素のデータが順次繰り返し生成され、さらに第３の変換方法（５２５ｉ）が選択されている場合には、単位画素ブロックを構成する（ｎh×ｎv）個（ｎh，ｎvは、表示画像の指定倍率によって変化する）の画素データが順次繰り返し生成される。
【０１０４】
また、画像信号処理部１１０は、推定予測演算回路１２７より順次出力される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ₁〜ｙ_P（Ｐは単位ブロックを構成する画素の個数）を、正規化係数演算部１４０で演算され、それぞれの生成に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。上述せずも、適応型積和器１３７で推定式の係数データＷｉを演算して出力する際に丸め処理を行っている。したがって、係数データＷｉは丸め誤差を含むため、この係数データＷｉ（ｉ＝１〜ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算される各画素のデータｙ₁〜ｙ_Pは、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【０１０５】
また、画像信号処理部１１０は、正規化演算回路１２８で正規化されて順次供給される単位画素ブロック内の画素のデータｙ₁′〜ｙ_P′を、第１〜第３の変換方法によって特定されるフォーマットで出力して、出力画像信号Ｖoutを得る後処理回路１２９を有している。すなわち、この後処理回路１２９からは、第１の変換方法が選択されている場合には１０８０ｉ信号が出力され、第２の変換方法が選択されている場合にはＸＧＡ信号が出力され、さらに第３の変換方法が選択されている場合には５２５ｉ信号が出力される。この後処理回路１２９の動作指定情報は、上述したようにレジスタ１３０より供給される。
【０１０６】
次に、画像信号処理部１１０の動作を説明する。
【０１０７】
バッファメモリ１０９に記憶されている入力画像信号Ｖinとしての５２５ｉ信号より、第２のタップ選択回路１２２で、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目位置の画素）の周辺に位置する空間クラスタップのデータ（画素データ）が選択的に取り出される。この場合、第２のタップ選択回路１２２では、レジスタ１３２より供給される、ユーザによって選択された変換方法、および動きクラス検出回路１２５で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１０８】
この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータは空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０１０９】
また、バッファメモリ１０９に記憶されている入力画像信号Ｖinとしての５２５ｉ信号より、第３のタップ選択回路１２３で、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目位置の画素）の周辺に位置する動きクラスタップのデータ（画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１２３では、レジスタ１３３より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１１０】
この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータは動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１１１】
この動き情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動き情報ＭＶと再量子化コードｑｉとから、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック毎にその単位画素ブロック内の各画素（注目位置の画素）が属するクラスを示すクラスコードＣＬが順次得られる（（３）式参照）。
【０１１２】
出力画像信号Ｖoutの垂直ブランキング期間において、適応型積和器１３７では、下位係数記憶部１３６より読み出された各クラスの係数種データｂ_ij0〜ｂ_ij8と、システムコントローラ１０１より供給された解像度情報としてのパラメータｇ，ｆの値とを用い、（７）式によって、クラス毎に、（６）式に示す上位層の生成式の係数データａ_i0〜ａ_i8（ｉ＝１〜ｎ）が生成される。そして、このように適応型積和器１３７でクラス毎に生成される、（６）式に示す上位層の生成式の係数データａ_i0〜ａ_i8（ｉ＝１〜ｎ）は、上位係数記憶部１３８に記憶され、垂直有効走査期間で行われる（６）式の演算に備えられる。
【０１１３】
そして、出力画像信号Ｖoutの垂直有効走査期間において、上述したようにクラス合成回路１２６で順次得られるクラスコードＣＬは、上位係数記憶部１３８に読み出しアドレス情報として供給される。適応型積和器１３７では、この上位係数記憶部１３８より読み出された、クラスコードＣＬに対応したクラスの係数データａ_i0〜ａ_i8と、位相情報発生回路１３９で発生される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の水平方向、垂直方向の位相情報としてのパラメータｈ，ｖの値とを用い、（６）式によって、各画素の位相情報ｈ，ｖに対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）が順次生成される。
【０１１４】
このように適応型積和器１３７で生成された、位相情報発生回路１３９で発生された出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の位相情報ｈ，ｖに対応した係数データＷｉ（ｉ＝１〜ｎ）は、推定予測演算回路１２７に供給される。また、正規化係数演算部１４０では、上述したように適応型積和器１３７で順次生成された各画素の位相情報ｈ，ｖに対応した係数データＷｉ（ｉ＝１〜ｎ）より正規化係数Ｓが演算される。このように正規化係数演算部１４０で演算された正規化係数Ｓは正規化演算回路１２８に供給される。
【０１１５】
また、バッファメモリ１０９に記憶されている入力画像信号Ｖinとしての５２５ｉ信号より、第１のタップ選択回路１２１で、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目位置の画素）の周辺に位置する予測タップのデータ（画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１２１では、レジスタ１３１より供給される、ユーザによって選択された変換方法に対応したタップ位置情報に基づいて、タップの選択が行われる。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【０１１６】
推定予測演算回路１２７では、予測タップのデータｘｉと、適応型積和器１３７で生成された各位相情報ｈ，ｖにおける係数データＷｉとから、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ₁〜ｙ_Pが順次繰り返し演算される（（４）式参照）。そして、この推定予測演算回路１２７より順次出力される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ₁〜ｙ_Pは正規化演算回路１２８に供給される。
【０１１７】
この正規化演算回路１２８には、上述したように正規化係数演算部１４０で演算された正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるデータｙ₁〜ｙ_Pの演算に使用された係数データＷｉに対応した正規化係数Ｓが供給される。正規化演算回路１２８では、推定予測演算回路１２７より出力されるデータｙ₁〜ｙ_Pがそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（（７）式、（６）式参照）で推定式（（４）式参照）の係数データＷｉを求める際の丸め誤差によるデータｙ₁〜ｙ_Pのレベル変動が除去される。
【０１１８】
このように正規化演算回路１２８で正規化されて順次出力される単位画素ブロック内の各画素のデータｙ₁′〜ｙ_P′は後処理回路１２９に供給される。この後処理回路１２９では、データｙ₁′〜ｙ_P′が第１〜第３の変換方法によって特定されるフォーマットで出力され、出力画像信号Ｖoutとして、第１の変換方法が選択されている場合には１０８０ｉ信号が出力され、第２の変換方法が選択されている場合にはＸＧＡ信号が出力され、さらに第３の変換方法が選択されている場合には５２５ｉ信号が出力される。
【０１１９】
図２は、上述した画像信号処理部１１０における各部の演算タイミングを示している。
【０１２０】
すなわち、出力画像信号Ｖoutの垂直ブランキング期間では、適応型積和器１３７で、下位係数記憶部１３６より読み出される各クラスの係数種データｂ_ij0〜ｂ_ij8と、システムコントローラ１０１（図１参照）から供給される解像度情報としてのパラメータｇ，ｆの値とを用いて、下位層の生成式（（７）式）の演算が行われ、クラス毎に、上位層の生成式（（６）式）の係数データａ_i0〜ａ_i8が生成され、このクラス毎の係数データａ_i0〜ａ_i8は上位係数記憶部１３８に記憶される。
【０１２１】
また、出力画像信号Ｖoutの垂直有効走査期間では、適応型積和演算器１３で、上位係数記憶部１３８より読み出される、クラスコードＣＬに対応したクラスの係数データａ_i0〜ａ_i8と、位相情報発生回路１３９で発生される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の位相情報としてのパラメータｈ，ｖの値とを用い、上位層の生成式（（６）式）の演算が行われ、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素にそれぞれ対応した推定式の係数データＷｉが生成される。
【０１２２】
そして、この出力画像信号Ｖoutの垂直有効走査期間では、推定予測演算回路１２７で、上述したように適応型積和器１３７で順次生成される係数データＷｉを用いて、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ₁〜ｙ_Pが演算され、さらに正規化演算回路１２８で、正規化係数Ｓを用いて、各画素のデータｙ₁〜ｙ_Pの正規化が行われて、正規化された各画素のデータｙ₁′〜ｙ_P′が得られる。
【０１２３】
上述したように、適応型積和器１３７では、下位係数記憶部１３６より読み出される各クラスの係数種データｂ_ij0〜ｂ_ij8と、システムコントローラ１０１より供給される解像度情報としてのパラメータｇ，ｆの値と、位相情報発生回路１３９で発生される位相情報としてのパラメータｈ，ｖの値とを用い、クラス合成回路１２６で得られるクラスコードＣＬに対応したクラスに対応し、かつパラメータｇ，ｆ，ｈ，ｖの値に対応した推定式の係数データＷｉが生成され、推定予測演算回路１２７ではこの係数データＷｉを用いて出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ₁〜ｙ_Pが演算される。
【０１２４】
したがって、１０８０ｉ信号やＸＧＡ信号へのフォーマット変換、さらには種々の画像サイズへの変換を行う場合、さらには出力画像信号Ｖoutによる画像の解像度を多段階に調整可能とする場合に、大量の係数データを格納しておくメモリを不要とできる。
【０１２５】
また、適応型積和器１３７では、垂直ブランキング期間で、各クラスの係数種データｂ_ij0〜ｂ_ij8とパラメータｇ，ｆの値とを用い、下位層の生成式（（７）式）によって、クラス毎に、上位層の生成式（（６）式）の係数データａ_i0〜ａ_i8を生成し、その後の垂直有効走査期間で、上位係数記憶部１３８より読み出されるクラスコードＣＬに対応したクラスの係数データａ_i0〜ａ_i8とパラメータｈ，ｖの値とを用い、上位層の生成式によって、当該クラスに対応し、かつパラメータｇ，ｆ，ｈ，ｖの値に対応した推定式の係数データＷｉを生成するものである。
【０１２６】
したがって、適応型積和器１３７における各ステップの演算は、（５）式ではなく、（７）式または（６）式の演算であり、１ステップ毎の演算処理を圧縮でき、ハードウェアの規模縮小を図ることができる。また、（７）式および（６）式の双方の演算を適応型積和器１３７で時分割的に行うものであり、ハードウェアの有効利用を図ることができる。
【０１２７】
また、上位層の生成式（（６）式）にはパラメータｈ，ｖが含まれ、下位層の生成式（（７）式）には、パラメータｇ，ｆが含まれるようにしたので、下位層の生成式（（７）式）演算は垂直ブランキング期間で、上位層の生成式（（６）式）の係数データａ_i0〜ａ_i8を生成する際に行うだけで済み、下位層の生成式の演算を少なく抑えることができる。
【０１２８】
上述したように、下位係数記憶部１３６には、下位層の生成式（（７）式）の係数データである係数種データが、クラス毎に、記憶されている。この係数種データは、予め学習によって生成されたものである。
【０１２９】
この係数種データの生成方法の一例について説明する。この例は、未階層状態の生成式（（５）式）の係数データｗ_i,0〜ｗ_i,80（ｉ＝１〜ｎ）を求め、さらにこの係数データｗ_i,0〜ｗ_i,80を用いて、下位層の生成式（（７）式）の係数データｂ_ij0〜ｂ_ij8（ｉ＝１〜ｎ、ｊ＝０〜８）を求めるものである。
【０１３０】
まず、未階層状態の生成式（（５）式）の係数データｗ_i,0〜ｗ_i,80を求める。ここで、以下の説明のため、ｇ⁰ｆ⁰ｖ⁰ｈ⁰，ｇ⁰ｆ⁰ｖ⁰ｈ¹，ｇ⁰ｆ⁰ｖ⁰ｈ²，・・・，ｇ²ｆ²ｖ²ｈ¹，ｇ²ｆ²ｖ²ｈ²を、それぞれｔ₀，ｔ₁，ｔ₂，・・・，ｔ₇₉，ｔ₈₀と定義する。これにより、（５）式は、（９）式のように書き換えられる。
【０１３１】
【数６】

【０１３２】
最終的に、学習によって未定係数ｗ_i,jを求める。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（４）式および（５）式を用いて、Ｅは（１０）式で表される。ここで、ｘ_ikは生徒画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応する教師画像のｋ番目の画素データを表している。
【０１３３】
【数７】

【０１３４】
最小二乗法による解法では、（１０）式のｗ_i,jによる偏微分が０になるようなｗ_i,jを求める。これは、（１１）式で示される。
【０１３５】
【数８】

【０１３６】
以下、（１２）式、（１３）式のように、Ｘ_i,p,j,q、Ｙ_i,pを定義すると、（１１）式は、行列を用いて（１４）式のように書き換えられる。
【０１３７】
【数９】

【０１３８】
【数１０】

【０１３９】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ_i,jについて解かれ、未階層状態の生成式（（５）式）の係数データｗ_i,0〜ｗ_i,80（ｉ＝１〜ｎ）が算出される。
【０１４０】
図３は、係数データｗ_i,0〜ｗ_i,80の生成方法の概念を示している。
【０１４１】
教師信号としてのＨＤ信号（１０５０ｉ信号）から生徒信号としてのＳＤ信号（５２５ｉ信号）を生成する。図４は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
【０１４２】
この場合、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータｇ，ｆをそれぞれ９段階に可変して、合計８１種類のＳＤ信号を生成する。また、上述したように生成される８１種類のＳＤ信号のそれぞれに対して、その位相を垂直方向に８段階、水平方向に４段階にシフトさせ、合計８１×３２種類のＳＤ信号を生成する。
【０１４３】
図５は、垂直方向への８段階の位相シフト状態Ｖ１〜Ｖ８を示している。ここでは、ＳＤ信号の垂直方向の画素間隔は１６であり、下方向が正の方向とされている。また、「ｏ」は奇数フィールドを、「ｅ」は偶数フィールドを表している。
【０１４４】
Ｖ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。
【０１４５】
Ｖ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。
【０１４６】
図６は、水平方向への４段階の位相シフト状態Ｈ１〜Ｈ４を示している。ここでは、ＳＤ信号の水平方向の画素間隔は８であり、右方向が正の方向とされている。
【０１４７】
Ｈ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、０，−４の位相を持つようになる。Ｈ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、３，−１の位相を持つようになる。Ｈ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、２，−２の位相を持つようになる。さらに、Ｈ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１，−３の位相を持つようになる。
【０１４８】
図７は、上述したように垂直方向に８段階、水平方向に４段階にシフトさせて得られた３２種類のＳＤ信号に関し、ＳＤ信号の画素を中心にした場合のＨＤ信号の画素の位相を示している。すなわち、ＳＤ信号の画素に対して、ＨＤ信号の画素は、図中の●で示す位相（ｈ＝−４、ｖ＝−８〜ｈ＝３、ｖ＝７）を持つようになる。
【０１４９】
図３に戻って、上述したようにＳＤ信号を得る際のパラメータｇ，ｆをそれぞれ９段階に可変すると共に、そのＳＤ信号を垂直方向に８段階、水平方向に４段階にシフトさせて得られた、合計８１×３２種類のＳＤ信号とＨＤ信号との間で学習を行って係数データｗ_i,0〜ｗ_i,80を生成する。
【０１５０】
図８は、上述した概念で係数データｗ_i,0〜ｗ_i,80を生成し、その係数データｗ_i,0〜ｗ_i,80より下位層の生成式（（７）式）の係数データｂ_ij0〜ｂ_ij8を係数種データとして得る係数種データ生成装置１５０の構成を示している。
【０１５１】
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される入力端子１５１と、このＨＤ信号に対して水平および垂直の間引き処理を行って、生徒信号としてのＳＤ信号を得るＳＤ信号生成回路１５２Ａを有している。このＳＤ信号生成回路１５２Ａには、パラメータｇ，ｆが制御信号として供給される。このパラメータｇ，ｆの値に対応して、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域とがそれぞれ９段階に可変される。ここで、フィルタの詳細について、いくつかの例を示す。
【０１５２】
例えば、フィルタを、水平帯域を制限する帯域フィルタと垂直帯域を制限する帯域フィルタとから構成することが考えられる。この場合、図９に示すように、パラメータｇまたはｆの段階的な値に対応した周波数特性を設計し、逆フーリエ変換をすることにより、パラメータｇまたはｆの段階的な値に対応した周波数特性を持つ１次元フィルタを得ることができる。
【０１５３】
また例えば、フィルタを、水平帯域を制限する１次元ガウシアンフィルタと垂直帯域を制限する１次元ガウシアンフィルタとから構成することが考えられる。この１次元ガウシアンフィルタは（１５）式で示される。この場合、パラメータｇまたはｆの段階的な値に対応して標準偏差σの値を段階的に変えることにより、パラメータｇまたはｆの段階的な値に対応した周波数特性を持つ１次元ガウシアンフィルタを得ることができる。
【０１５４】
【数１１】

【０１５５】
また例えば、フィルタを、パラメータｇ，ｆの両方で水平および垂直の周波数特性が決まる２次元フィルタＦ（ｇ，ｆ）で構成することが考えられる。この２次元フィルタの生成方法は、上述した１次元フィルタと同様に、パラメータｇ，ｆの段階的な値に対応した２次元周波数特性を設計し、２次元の逆フーリエ変換をすることにより、パラメータｇ，ｆの段階的な値に対応した２次元周波数特性を持つ２次元フィルタを得ることができる。
【０１５６】
また、図８に戻って、係数種データ生成装置１５０は、ＳＤ信号生成回路１５２Ａで得られたＳＤ信号の位相をシフトする位相シフト回路１５２Ｂを有している。位相シフト回路１５２Ｂには垂直方向および水平方向への位相シフト値を指定するパラメータＨ，Ｖが入力され、この位相シフト回路１５２Ｂでは入力されるＳＤ信号の位相が垂直方向に８段階、水平方向に４段階にシフトされる。
【０１５７】
この位相シフト回路１５２Ｂは、例えばsinｘ／ｘの特性のフィルタで構成されるが、その他の位相シフトが可能な別のフィルタを用いてもよい。他のフィルタ例として、オーバーサンプリングフィルタから欲しい位相だけ抜き出す方法等が挙げられる。
【０１５８】
上述したようにＳＤ信号生成回路１５２ＡではＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域とがそれぞれ９段階に可変され、また位相シフト回路１５２ＢではＳＤ信号生成回路１５２Ａで生成されるＳＤ信号の位相が垂直方向に８段階、水平方向に４段階にシフトされることから、結果として位相シフト回路１５２Ｂからは、８１×３２種類のＳＤ信号が得られることとなる。
【０１５９】
また、係数種データ生成装置１５０は位相シフト回路１５２Ｂより出力されるＳＤ信号より、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。
【０１６０】
これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。これら第１〜第３のタップ選択回路１５３〜１５５で選択されるタップは、タップ選択制御回路１５６からのタップ位置情報によって指定される。また、タップ選択制御回路１５６には後述する動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶが供給される。これにより、第２のタップ選択回路１５４に供給されるタップ位置情報の動きが大きいか小さいかによって異なるようにされる。
【０１６１】
また、係数種データ生成装置１５０は、第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）のレベル分布パターンを検出し、このレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１５７を有している。この空間クラス検出回路１５７は、上述した画像信号処理部１１０の空間クラス検出回路１２４と同様に構成される。この空間クラス検出回路１５７からは、空間クラスタップのデータとしての各ＳＤ画素データ毎の再量子化コードｑｉが空間クラスを示すクラス情報として出力される。
【０１６２】
また、係数種データ生成装置１５０は、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報ＭＶを出力する動きクラス検出回路１５８を有している。この動きクラス検出回路１５８は、上述した画像信号処理部１１０の動きクラス検出回路１２５と同様に構成される。この動きクラス検出回路１５８では、第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）からフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。
【０１６３】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７より出力される空間クラスのクラス情報としての再量子化コードｑｉと、動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶに基づき、ＨＤ信号（１０５０ｉ信号）における注目位置の画素データが属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１５９を有している。このクラス合成回路１５９も、上述した画像信号処理部１１０のクラス合成回路１２６と同様に構成される。
【０１６４】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、フィルタの水平帯域と垂直帯域を可変するパラメータｇ，ｆと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとから、各クラス毎に、係数データｗ_i,0〜ｗ_i,80を得るための正規方程式（（１４）式参照）を生成する正規方程式生成部１６０を有している。
【０１６５】
この場合、１個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成される。その際、ＳＤ信号生成回路１５２Ａへのパラメータｇ，ｆおよび位相シフト回路１５２ＢへのパラメータＨ，Ｖが順次変更されていき、水平および垂直の帯域、並びに水平および垂直の位相シフト値が段階的に変化した８１×３２種類のＳＤ信号が生成されていく。これにより、正規方程式生成部１６０では、パラメータｇ，ｆ，ｈ，ｖの値の各組み合わせに対してそれぞれ多くの学習データが登録された正規方程式が生成される。このように複数種類のＳＤ信号を順次生成して学習データを登録することで、多段階の解像度および任意位相の画素データを得るための係数データｗ_i,0〜ｗ_i,80を求めることが可能となる。
【０１６６】
なお、図示せずも、第１のタップ選択回路１５３の前段に時間合わせ用の遅延回路を配置することで、この第１のタップ選択回路１５３から正規方程式生成部１６０に供給されるＳＤ画素データｘｉのタイミング合わせを行うことができる。
【０１６７】
また、係数種データ生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数データｗ_i,0〜ｗ_i,80を求める係数データ決定部１６１と、この求められた未階層状態の生成式（（５）式）の係数データｗ_i,0〜ｗ_i,80より、クラス毎に、下位層の生成式（（７）式）の係数データｂ_ij0〜ｂ_ij8を求める係数演算部１６２と、この各クラスの係数データｂ_ij0〜ｂ_ij8を係数種データとして記憶する係数種メモリ１６３とを有している。係数データ決定部１６１では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗ_i,0〜ｗ_i,80が求められる。
【０１６８】
図８に示す係数種データ生成装置１５０の動作を説明する。
【０１６９】
入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２Ａで水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。この場合、ＳＤ信号生成回路１５２Ａにはパラメータｇ，ｆが制御信号として供給され、水平および垂直の帯域が段階的に変化した８１種類のＳＤ信号が順次生成されていく。
【０１７０】
また、この８１種類のＳＤ信号が位相シフト回路１５２Ｂに供給され、各ＳＤ信号の位相が垂直方向に８段階、水平方向に４段階にシフトされる（図５，図６参照）。したがって、この位相シフト回路１５２Ｂからは、８１×３２種類のＳＤ信号が順次出力される。
【０１７１】
これら複数種類のＳＤ信号より、第２のタップ選択回路１５４で、ＨＤ信号における注目位置の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１７２】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０１７３】
また、位相シフト回路１５２Ｂより出力される複数種類のＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号における注目位置の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給されるタップ位置情報に基づいて、タップの選択が行われる。
【０１７４】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０１７５】
この動き情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードｑｉとを用いて、ＨＤ信号における注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１７６】
また、位相シフト回路１５２Ｂより出力される複数種類のＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号における注目位置の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給されるタップ位置情報に基づいて、タップの選択が行われる。
【０１７７】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、フィルタの水平帯域と垂直帯域を可変するパラメータｇ，ｆと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとから、正規方程式生成部１６０では、各クラス毎に、係数データｗ_i,0〜ｗ_i,80を生成するための正規方程式（（１４）式参照）が生成される。
【０１７８】
そして、係数データ決定部１６１でその正規方程式が解かれ、クラス毎に、未階層状態の生成式（（５）式）の係数データｗ_i,0〜ｗ_i,80が求められる。さらに、この各クラスの係数データｗ_i,0〜ｗ_i,80が係数演算部１６２に供給される。この係数演算部１６２では、クラス毎に、係数データｗ_i,0〜ｗ_i,80より、上位層の生成式（（６）式）と下位層の生成式（（７）式）との関係に基づいて、下位層の生成式（（７）式）の係数データｂ_ij0〜ｂ_ij8を決定する。その係数データｂ_ij0〜ｂ_ij8は、係数種データとして、クラス別にアドレス分割された係数種メモリ１６３に記憶される。
【０１７９】
このように、図８に示す係数種データ生成装置１５０においては、図１の画像信号処理部１１０の下位係数記憶部１３６に記憶される各クラスの係数種データｂ_ij0〜ｂ_ij8を生成することができる。
【０１８０】
次に、係数種データの生成方法の他の例について説明する。この例は、パラメータｇ，ｆ，ｈ，ｖの値の組み合わせ毎に、（４）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を求め、この各組み合わせの係数データＷｉを用いて、未階層状態の生成式（（５）式）の係数データｗ_i,0〜ｗ_i,80（ｉ＝１〜ｎ）を求め、さらにこの係数データｗ_i,0〜ｗ_i,80を用いて、下位層の生成式（（７）式）の係数データｂ_ij0〜ｂ_ij8（ｉ＝１〜ｎ、ｊ＝０〜８）を求めるものである。
【０１８１】
図１０は、この例における、係数データｗ_i,0〜ｗ_i,80の生成方法の概念を示している。上述した係数種データの生成方法の一例と同様に、ＨＤ信号からＳＤ信号を生成する際に使用するフィルタの水平帯域と垂直帯域を可変するパラメータｇ，ｆをそれぞれ９段階に可変して８１種類のＳＤ信号を得ると共に、この８１種類のＳＤ信号のそれぞれに対してその位相を垂直方向に８段階、水平方向に４段階にシフトさせ、合計８１×３２種類のＳＤ信号を順次生成する。
【０１８２】
そして、各ＳＤ信号とＨＤ信号との間で学習を行って、パラメータｇ，ｆ，ｈ，ｖの組み合わせ毎に、（４）式の推定式の係数データＷｉを生成する。そして、各組み合わせの係数データＷｉを使用して係数種データを生成する。
【０１８３】
まず、推定式の係数データの求め方を説明する。ここでは、（４）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を最小二乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを係数データ、Ｙを予測値として、（１６）式の観測方程式を考える。この（１６）式において、ｍは学習データの数を示し、ｎは予測タップの数を示している。
【０１８４】
【数１２】

【０１８５】
（１６）式の観測方程式により収集されたデータに最小二乗法を適用する。この（１６）式の観測方程式をもとに、（１７）式の残差方程式を考える。
【０１８６】
【数１３】

【０１８７】
（１７）式の残差方程式から、各Ｗiの最確値は、（１８）式のｅ²を最小にする条件が成り立つ場合と考えられる。すなわち、（１９）式の条件を考慮すればよいわけである。
【０１８８】
【数１４】

【０１８９】
つまり、（１９）式のｉに基づくｎ個の条件を考え、これを満たす、Ｗ₁，Ｗ₂，・・・，Ｗ_nを算出すればよい。そこで、（１７）式の残差方程式から、（２０）式が得られる。さらに、（２０）式と（１６）式とから、（２１）式が得られる。
【０１９０】
【数１５】

【０１９１】
そして、（１７）式と（２１）式とから、（２２）式の正規方程式が得られる。
【０１９２】
【数１６】

【０１９３】
（２２）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各Ｗiの最確値を求めることができる。この場合、掃き出し法等を用いて連立方程式を解くことになる。
【０１９４】
次に、パラメータｇ，ｆ，ｈ，ｖの値の組み合わせ毎に生成された（４）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を使用しての、未階層状態の生成式（（５）式）の係数データｗ_i,0〜ｗ_i,80の求め方を説明する。
【０１９５】
あるパラメータｇ，ｆ，ｈ，ｖの値に対応した、あるクラスの推定式の係数データが、ｋ_gfhviとなったとする。ここで、ｉは予測タップの番号である。このｋ_gfhviから、このクラスの未階層状態の生成式の係数データｗ_i,0〜ｗ_i,80を求める。
【０１９６】
係数データＷｉ（ｉ＝１〜ｎ）は、係数種データｗ_i,0〜ｗ_i,80を使って、上述した（５）式で表現される。ここで、係数データＷｉに対して最小二乗法を使用することを考えると、残差は、（２３）式で表される。
【０１９７】
【数１７】

【０１９８】
ここで、ｔ₀，ｔ₁，ｔ₂，・・・，ｔ₇₉，ｔ₈₀は、それぞれｇ⁰ｆ⁰ｖ⁰ｈ⁰，ｇ⁰ｆ⁰ｖ⁰ｈ¹，ｇ⁰ｆ⁰ｖ⁰ｈ²，・・・，ｇ²ｆ²ｖ²ｈ¹，ｇ²ｆ²ｖ²ｈ²である。（２３）式に最小二乗法を作用させると、（２４）式が得られる。
【０１９９】
【数１８】

【０２００】
ここで、Ｘ_j,k，Ｙ_jをそれぞれ（２５）式、（２６）式のように定義すると、（２４）式は（２７）式のように書き換えられる。この（２７）式も正規方程式であり、この式を掃き出し法等の一般解法で解くことにより、係数データｗ_i,0〜ｗ_i,80を算出することができる。
【０２０１】
【数１９】

【０２０２】
図１１は、上述した概念で係数データｗ_i,0〜ｗ_i,80を生成し、その係数データｗ_i,0〜ｗ_i,80より下位層の生成式（（７）式）の係数データｂ_ij0〜ｂ_ij8を得る係数種データ生成装置１５０′の構成を示している。この図１１において、図８と対応する部分には同一符号を付し、その詳細説明は省略する。
【０２０３】
係数種データ生成装置１５０′は、正規方程式生成部１７１を有している。この正規方程式生成部１７１は、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとを用いて、クラス毎に、かつパラメータｇ，ｆ，ｈ，ｖの値の組み合わせ毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（２２）式参照）を生成する。
【０２０４】
この場合、１個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、ＳＤ信号生成回路１５２Ａへのパラメータｇ，ｆおよび位相シフト回路１５２ＢへのパラメータＨ，Ｖが順次変更されていき、水平および垂直の帯域、並びに水平および垂直の位相シフト値が段階的に変化した８１×３２種類のＳＤ信号が生成されていき、ＨＤ信号と各ＳＤ信号との間でそれぞれ学習データの生成が行われる。これにより、正規方程式生成部１７１では、パラメータｇ，ｆ，ｈ，ｖの値の各組み合わせに対応して、クラス毎に、係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０２０５】
また、係数種データ生成装置１５０′は、係数データ決定部１７２および正規方程式生成部１７３を有している。係数データ決定部１７２には、正規方程式生成部１７１で生成された正規方程式のデータが供給される。係数データ決定部１７２は、その正規方程式を解いて、パラメータｇ，ｆ，ｈ，ｖの値の各組み合わせに対応した各クラスの推定式（（４）式）の係数データＷｉを求める。正規方程式生成部１７３は、この係数データＷｉと、フィルタの水平帯域と垂直帯域を可変するパラメータｇ，ｆと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとを使用して、クラス毎に、未階層状態の生成式（（５）式）の係数データｗ_i,0〜ｗ_i,80を得るための正規方程式（（２７）式参照）を生成する。
【０２０６】
また、係数種データ生成装置１５０′は、係数データ決定部１７４、係数演算部１７５および係数種メモリ１６３を有している。係数データ決定部１７４には、正規方程式生成部１７３でクラス毎に生成された正規方程式のデータが供給される。係数データ決定部１７４は、クラス毎に正規方程式を解いて、各クラスの係数データｗ_i,0〜ｗ_i,80を求める。係数演算部１７５は、この求められた未階層状態の生成式（（５）式）の係数データｗ_i,0〜ｗ_i,80より、クラス毎に、上位層の生成式（（６）式）と下位層の生成式（（７）式）の関係に基づいて、下位層の生成式（（７）式）の係数データｂ_ij0〜ｂ_ij8を求める。係数種メモリ１６３は、この各クラスの係数データｂ_ij0〜ｂ_ij8を係数種データとして記憶する。
【０２０７】
図１１に示す係数種データ生成装置１５０′のその他は、図８に示す係数種データ生成装置１５０と同様に構成される。
【０２０８】
図１１に示す係数種データ生成装置１５０′の動作を説明する。
入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が供給され、そしてこのＨＤ信号に対してＳＤ信号生成回路１５２Ａで水平および垂直の間引き処理が行われて生徒信号としてのＳＤ信号（５２５ｉ信号）が生成される。この場合、ＳＤ信号生成回路１５２Ａにはパラメータｇ，ｆが制御信号として供給され、水平および垂直の帯域が段階的に変化した８１種類のＳＤ信号が順次生成されていく。
【０２０９】
また、この８１種類のＳＤ信号が位相シフト回路１５２Ｂに供給され、各ＳＤ信号の位相が垂直方向に８段階、水平方向に４段階にシフトされる（図５、図６参照）。したがって、この位相シフト回路１５２Ｂからは、８１×３２種類のＳＤ信号が順次出力される。
【０２１０】
これら複数種類のＳＤ信号より、第２のタップ選択回路１５４で、ＨＤ信号（１０５０ｉ信号）における注目位置の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、動きクラス検出回路１５８で検出される動きクラスに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０２１１】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑｉが得られる（（１）式参照）。
【０２１２】
また、位相シフト回路１５２Ｂより出力される複数種類のＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号における注目位置の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給されるタップ位置情報に基づいて、タップの選択が行われる。
【０２１３】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラス（主に動きの程度を表すためのクラス分類）のクラス情報ＭＶが得られる。
【０２１４】
この動き情報ＭＶと上述した再量子化コードｑｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードｑｉとから、ＨＤ信号における注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０２１５】
また、位相シフト回路１５２Ｂより出力される複数種類のＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号における注目位置の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給されるタップ位置情報に基づいて、タップの選択が行われる。
【０２１６】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目位置の画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬとから、正規方程式生成部１７１では、パラメータｇ，ｆ，ｈ，ｖの値の各組み合わせに対応して、クラス毎に、推定式（（４）式）の係数データＷｉ（ｉ＝１〜ｎ）を得るための正規方程式（（２２）式参照）が生成される。
【０２１７】
そして、係数データ決定部１７２でその正規方程式が解かれ、パラメータｇ，ｆ，ｈ，ｖの値の各組み合わせに対応した各クラスの係数データＷｉが求められる。正規方程式生成部１７３では、この各クラスの係数データＷｉと、フィルタの水平帯域と垂直帯域を可変するパラメータｇ，ｆと、垂直方向および水平方向への位相シフト値のパラメータＨ，Ｖとから、クラス毎に、係数データｗ_i,0〜ｗ_i,80を得るための正規方程式（（２７）式参照）が生成される。
【０２１８】
そして、係数データ決定部１７４でその正規方程式が解かれ、クラス毎に、未階層状態の生成式（（５）式）の係数データｗ_i,0〜ｗ_i,80が求められる。さらに、この各クラスの係数データｗ_i,0〜ｗ_i,80が係数演算部１７５に供給され、この係数演算部１７５では、クラス毎に、係数データｗ_i,0〜ｗ_i,80より、下位層の生成式（（７）式）の係数データｂ_ij0〜ｂ_ij8が求められ、その係数データｂ_ij0〜ｂ_ij8は係数種データとしてクラス別にアドレス分割された係数種メモリ１６３に記憶される。
【０２１９】
このように、図１１に示す係数種データ生成装置１５０においても、図１の画像信号処理部１１０の下位係数記憶部１３６に記憶される各クラスの係数種データｂ_ij0〜ｂ_ij8を生成することができる。
【０２２０】
なお、図１の画像信号処理部１１０では、係数データＷｉ（ｉ＝１〜ｎ）を生成するために、（５）式の未階層状態の生成式を２層化して得られた（７）式および（６）式を使用したが、階層化は２層化に限らず３層以上に階層化してもよい。
【０２２１】
また、未階層状態の生成式としても、（５）式に限定されるものではなく、さらに次数の異なった多項式や、他の関数で表現される式でも実現可能である。また、生成式に含まれるパラメータに関しても、ｇ，ｆ，ｈ，ｖに限定されるものではなく、これと共にあるいはこれとは別個のパラメータを持つものも同様に構成できる。
【０２２２】
また、下位層の生成式（（７）式）および上位層の生成式（（６）式）の形が同じものを示したが、別の形であってもよい。その場合には、適応型積和器１３７に供給される積和構造情報を変化させることで、この適応型積和器１３７を共通に使用可能となる。またこの場合、適応型積和器１３７は、各層の生成式の演算が可能な最小公倍数的な規模で済む。
【０２２３】
なお、図１の画像信号処理部１１０における処理を、例えば図１２に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０２２４】
まず、図１２に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数種データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０２２５】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（登録商標）ディスク３０６をドライブするディスクドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０２２６】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０２２７】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０２２８】
また、画像信号処理装置３００は、入力画像信号Ｖinとしての５２５ｉ信号を入力するための入力端子３１４と、出力画像信号Ｖoutを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０２２９】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピーディスク３０６で提供するようにしてもよい。
【０２３０】
また、画像信号処理装置３００は、入力画像信号Ｖinとしての５２５ｉ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。
【０２３１】
また、画像信号処理装置３００は、出力画像信号Ｖoutを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０２３２】
図１３のフローチャートを参照して、図１２に示す画像信号処理装置３００における、入力画像信号Ｖinより出力画像信号Ｖoutを得るため処理手順を説明する。
【０２３３】
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、例えば入力端子３１４より装置内に１フレームまたは１フィールド分の入力画像信号Ｖinを入力する。このように入力端子３１４より入力される入力画像信号Ｖinを構成する画素データはＲＡＭ３０３に一時的に格納される。なお、この入力画像信号Ｖinが装置内のハードディスクドライブ３０７に予め記録されている場合には、このハードディスクドライブ３０７からこの入力画像信号Ｖinを読み出し、この入力画像信号Ｖinを構成する画素データをＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３で、入力画像信号Ｖinの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０２３４】
このステップＳＴ５では、ユーザがリモコン送信機２００を操作して設定された水平、垂直の解像度を決めるパラメータｇ，ｆの値を例えばＲＡＭ３０３より取得する。そして、ステップＳＴ６で、取得したパラメータｇ，ｆの値と、各クラスの係数種データを用いて、下位層の生成式（（７）式参照）により、各クラスにおける上位層の生成式（（６）式参照）の係数データを生成し、ＲＡＭ３０３に格納する。
【０２３５】
次に、ステップＳＴ７で、ステップＳＴ２で入力された入力画像信号Ｖinの画素データより、生成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ８で、ステップＳＴ７で取得されたクラスタップの画素データからクラスコードＣＬを生成する。
【０２３６】
次に、ステップＳＴ９で、ユーザがリモコン送信機２００を操作して選択した変換方法（表示画像の倍率も含む）に対応するｎ／ｍの値を用いて、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の位相情報ｈ，ｖを発生する。そして、ステップＳＴ１０で、この単位画素ブロック内の各画素の位相情報ｈ，ｖとステップＳＴ８で生成されたクラスコードＣＬに対応したクラスの上位層の生成式の係数データとを用い、上位層の生成式により、単位画素ブロック内の各画素にそれぞれ対応して、推定式（（４）式参照）の係数データＷｉを生成する。
【０２３７】
次に、ステップＳＴ１１で、ステップＳＴ１０で生成された係数データＷｉとステップＳＴ７で取得された予測タップの画素データを用いて、推定式に基づいて、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータを生成する。そして、ステップＳＴ１２で、ステップＳＴ２で入力された１フレームまたは１フィールド分の入力画像信号Ｖinの画素データの全領域において出力画像信号Ｖoutの画素データを得る処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２に戻り、次のフレームまたはフィールドの入力画像信号Ｖinの入力処理に移る。一方、処理が終了していないときは、ステップＳＴ７に戻って、上述したと同様の処理を繰り返す。
【０２３８】
このように、図１３に示すフローチャートに沿って処理をすることで、入力された入力画像信号Ｖinの画素データを処理して、出力画像信号Ｖoutの画素データを得ることができる。上述したように、このように処理して得られた出力画像信号Ｖoutは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
【０２３９】
また、処理装置の図示は省略するが、図８の係数種データ生成装置１５０における処理を、ソフトウェアで実現することも可能である。
【０２４０】
図１４のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
【０２４１】
まず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、学習に使われる、ＳＤ信号の位相シフト値（例えば、パラメータＨ，Ｖで特定される）を選択する。そして、ステップＳＴ２３で、全ての位相シフト値に対して学習が終わったか否かを判定する。全ての位相シフト値に対して学習が終わっていないときは、ステップＳＴ２４に進む。
【０２４２】
このステップＳＴ２４では、既知のＨＤ画素データをフレーム単位またはフィールド単位で入力する。そして、ステップＳＴ２５で、全てのＨＤ画素データについて処理が終了したか否かを判定する。終了したときは、ステップＳＴ２２に戻って、次の位相シフト値を選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ２６に進む。
【０２４３】
このステップＳＴ２６では、ステップＳＴ２４で入力されたＨＤ画素データより、ステップＳＴ２２で選択された位相シフト値だけ位相シフトされたＳＤ画素データを生成する。そして、ステップＳＴ２７で、ステップＳＴ２６で生成されたＳＤ画素データより、ステップＳＴ２４で入力された各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ２８で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ２４に戻って、次のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ２９に進む。
【０２４４】
このステップＳＴ２９では、ステップＳＴ２７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ３０で、正規方程式（（１４）式参照）を生成する。その後に、ステップＳＴ２７に戻る。
【０２４５】
また、ステップＳＴ２３で、全ての位相シフト値に対して学習が終わったときは、ステップＳＴ３１に進む。このステップＳＴ３１では、正規方程式を掃き出し法等で解くことによって、各クラスにおける未階層状態の生成式（（５）式参照）の係数データｗ_i,0〜ｗ_i,80を算出する。
【０２４６】
そして、ステップＳＴ３２で、係数データｗ_i,0〜ｗ_i,80より、上位層の生成式（（６）式）と下位層の生成式（（７）式）の関係に基づいて、各クラスにおける下位層の生成式（（７）式参照）の係数データｂ_ij0〜ｂ_ij8を決定する。そして、ステップＳＴ３３で、この各クラスにおける係数データｂ_ij0〜ｂ_ij8を係数種データとしてメモリに保存し、その後にステップＳＴ３４で、処理を終了する。
【０２４７】
このように、図１４に示すフローチャートに沿って処理をすることで、図８に示す係数種データ生成装置１５０と同様の手法によって、各クラスの係数種データを得ることができる。
【０２４８】
また、処理装置の図示は省略するが、図１１の係数種データ生成装置１５０′における処理も、ソフトウェアで実現可能である。
【０２４９】
図１５のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
【０２５０】
まず、ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、学習に使われる、ＳＤ信号の位相シフト値（例えば、パラメータＨ，Ｖで特定される）を選択する。そして、ステップＳＴ４３で、全ての位相シフト値に対する係数データの算出処理が終了したか否かを判定する。終了していないときは、ステップＳＴ４４に進む。
【０２５１】
このステップＳＴ４４では、既知のＨＤ画素データをフレーム単位またはフィールド単位で入力する。そして、ステップＳＴ４５で、全てのＨＤ画素データについて処理が終了したか否かを判定する。終了していないときは、ステップＳＴ４６で、ステップＳＴ４４で入力されたＨＤ画素データより、ステップＳＴ４２で選択された位相シフト値だけ位相シフトされたＳＤ画素データを生成する。
【０２５２】
そして、ステップＳＴ４７で、ステップＳＴ４６で生成されたＳＤ画素データより、ステップＳＴ４４で入力された各ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ４８で、生成されたＳＤ画素データの全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ４４に戻って、次のＨＤ画素データの入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ４９に進む。
【０２５３】
このステップＳＴ４９では、ステップＳＴ４７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ５０で、係数データを得るための正規方程式（（２２）式参照）を生成する。その後に、ステップＳＴ４７に戻る。
【０２５４】
上述したステップＳＴ４５で、全てのＨＤ画素データについて処理が終了したときは、ステップＳＴ５１で、ステップＳＴ５０で生成された正規方程式を掃き出し法などで解いて、各クラスの係数データを算出する。その後に、ステップＳＴ４２に戻って、次の位相シフト値を選択して、上述したと同様の処理を繰り返し、次の位相シフト値に対応した、各クラスの係数データを求める。
【０２５５】
また、上述のステップＳＴ４３で、全ての位相シフト値に対する係数データの算出処理が終了したときは、ステップＳＴ５２に進む。このステップＳＴ５２では、全ての位相シフト値に対する係数データから、未階層状態の生成式（（５）式）の係数データを求めるための正規方程式（（２７）式参照）を生成する。
【０２５６】
そして、ステップＳＴ５３で、ステップＳＴ５２で生成された正規方程式を掃き出し法等で解くことによって、各クラスにおける未階層状態の生成式（（５）式参照）の係数データｗ_i,0〜ｗ_i,80を算出する。
【０２５７】
そして、ステップＳＴ５４で、係数データｗ_i,0〜ｗ_i,80より、上位層の生成式（（６）式）と下位層の生成式（（７）式）の関係に基づいて、各クラスにおける下位層の生成式（（７）式参照）の係数データｂ_ij0〜ｂ_ij8を求める。そして、ステップＳＴ５５で、この各クラスにおける係数データｂ_ij0〜ｂ_ij8を係数種データとしてメモリに保存し、その後にステップＳＴ５６で、処理を終了する。
【０２５８】
このように、図１５に示すフローチャートに沿って処理をすることで、図１１に示す係数種データ生成装置１５０′と同様の手法によって、各クラスの係数種データを得ることができる。
【０２５９】
なお、上述実施の形態においては、出力画像信号Ｖoutを生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０２６０】
また、上述実施の形態においては、クラスコードＣＬを検出し、推定予測演算ではこのクラスコードに応じた係数データＷｉを使用するものを示したが、クラスコードＣＬの検出部分を省略したものも考えられる。その場合には、下位係数記憶部１３６に格納される係数種データｂ_ij0〜ｂ_ij8は１種類のみとなる。
【０２６１】
また、上述実施の形態においては、クラスとして空間クラスおよび動きクラスを求めるものを示したが、これらのクラス以外にも、エッジの有無、自己相関の程度など、様々な特徴量に基づいてクラスを求めて使用するようにしてもよい。
【０２６２】
また、上述実施の形態においては、パラメータとして解像度、位相情報を使用しているが、他にも、ノイズ除去の程度などのような画像や音声等の質を示すようなパラメータを使用するものにも、この発明を同様に適用することができる。
【０２６３】
また、上述実施の形態においては、下位層の生成式（（７）式）に含まれるパラメータｇ，ｆを１フィールド期間、あるいは１フレーム期間毎に更新（取得）するものを示したが、パラメータｇ，ｆの更新期間（取得期間）はこれに限定されない。すなわち、各階層の生成式に含まれるパラメータの値を、それぞれ独立に、所定数の情報データを算出する毎に更新（取得）するように構成できる。
【０２６４】
また、上述実施の形態においては、画像信号処理部１１０より出力される出力画像信号Ｖoutをディスプレイ部１１１に供給して、その出力画像信号Ｖoutによる画像を表示するものを示したが、この出力画像信号Ｖoutをビデオテープレコーダなどの記録装置に供給して記録するようにしてもよい。その場合、後処理回路１２９の部分で、記録に最適なデータ構造となるように処理してもよい。
【０２６５】
また、上述実施の形態においては、入力画像信号Ｖinとしての５２５ｉ信号を、出力画像信号Ｖoutとしての１０８０ｉ信号、ＸＧＡ信号、あるいは倍率の異なる表示画像を得るための５２５ｉ信号に変換する例を示したが、この発明はそれに限定されるものでなく、推定式を使用して第１の画像信号を第２の画像信号に変換するその他の場合にも同様に適用できることは勿論である。
【０２６６】
また、上述実地の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
【０２６７】
この発明によれば、第１の情報信号を第２の情報信号に変換する際に使用される推定式の係数データを係数種データを用いて生成するものであり、設定された複数のパラメータに対応した係数データを容易に得ることができ、大量の係数データを格納しておくメモリを不要とできる。
【０２６８】
また、この発明によれば、推定式の係数データを複数に階層化された生成式を用いて生成するものであり、１ステップ毎の演算処理を圧縮できると共に、ハードウェアの規模縮小および有効利用を図ることができる。
【０２６９】
また、この発明によれば、複数に階層化された生成式を構成する各階層の生成式が、上位層ほど更新頻度の高いパラメータを含むようにすることで、含まれるパラメータの更新頻度が少ない下位層側の生成式の演算を少なく抑えることができる。
【産業上の利用可能性】
【０２７０】
以上のように、この発明に係る情報信号処理装置、情報信号処理方法、画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びにコンピュータ読み取り可能な媒体およびプログラムは、５２５ｉ信号を１０８０ｉ信号に変換する場合、５２５ｉ信号をＸＧＡ信号に変換する場合等のようにフォーマットを変換する際、あるいは画像サイズを変換する際に適用して好適なものとなる。
【図面の簡単な説明】
図１は、実施の形態としてのテレビ受信機の構成を示すブロック図である。図２は、画像信号処理部における各部の演算タイミングを説明するための図である。図３は、未階層状態の生成式の係数データｗ_ｉ，０〜ｗ_ｉ，８０の生成方法の一例の概念を示す図である。図４は、５２５ｉ信号（ＳＤ信号）と１０５０ｉ信号（ＨＤ信号）の画素位置関係を示す図である。図５は、垂直方向への８段階の位相シフトを説明するための図である。図６は、水平方向への４段階の位相シフトを説明するための図である。図７は、ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）との位相関係を示す図である。図８は、係数種データ生成装置の構成例を示すブロック図である。図９は、帯域フィルタの周波数特性の一例を示す図である。図１０は、未階層状態の生成式の係数データｗ_ｉ，０〜ｗ_ｉ，８０の生成方法の他の例の概念を示す図である。図１１は、係数種データ生成装置の他の構成例を示すブロック図である。図１２は、ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。図１３は、画像信号処理を示すフローチャートである。図１４は、係数種データ生成処理を示すフローチャートである。図１５は、他の係数種データ生成処理を示すフローチャートである。図１６は、５２５ｉ信号と１０８０ｉ信号の画素位置関係を示す図である。図１７は、５２５ｉ信号と１０８０ｉ信号の画素の垂直方向の位相関係を示す図である。図１８は、５２５ｉ信号と１０８０ｉ信号の画素の水平方向の位相関係を示す図である。図１９は、５２５ｉ信号とＸＧＡ信号の画素位置関係を示す図である。図２０は、５２５ｉ信号とＸＧＡ信号の画素の垂直方向の位相関係を示す図である。図２１は、５２５ｉ信号とＸＧＡ信号の画素の水平方向の位相関係を示す図である。

Claims (33)

1. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する画像信号処理装置であって、
   上記第１の画像信号の複数の画素データに対する上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定するパラメータ設定手段と、
   上記第２の画像信号における注目位置の画素データを算出する際に用いられる係数データを生成するための係数種データが記憶された第１のメモリ手段と、
   上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成し、該第１係数データと上記第１又は第２のパラメータの他方を演算して上記第１の画像信号と上記第２の画像信号の誤差を最小にする第２係数データを発生する係数データ発生手段と、
   上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、
   上記係数データ発生手段で発生された上記第２係数データと上記第１のデータ選択手段で選択された上記複数の第１の画素データとを演算して上記注目位置の画素データを算出して得る演算手段とを備える画像信号処理装置。
2. 上記パラメータ設定手段は、上記演算手段で所定数の画素データを算出する毎に上記第１又は第２のパラメータの値を設定する請求項１に記載の画像信号処理装置。
3. 上記パラメータ設定手段は、上記第１又は第２のパラメータの値を設定する場合に、設定頻度の高いパラメータの設定順序を後にする請求項１に記載の画像信号処理装置。
4. 上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第２の画素データを選択する第２のデータ選択手段と、
   上記第２のデータ選択手段で選択された上記複数の第２の画素データから、少なくとも動きの程度を表す差分値を求め、当該差分値をしきい値判定して上記注目位置の画素データが属するクラスを検出するクラス検出手段とをさらに備え、
   上記第１のメモリ手段には、上記クラス検出手段で検出されるクラス毎に予め求められた上記係数種データが記憶されており、
   上記係数データ発生手段は、上記クラス検出手段で検出されたクラスに対応した上記第１係数データおよび上記パラメータ設定手段で設定された上記第１又は第２のパラメータを演算して上記第２係数データを発生する請求項１に記載の画像信号処理装置。
5. 上記係数データ発生手段は、
   上記第１係数データ及び第２係数データの演算を行うための単一の積和器と、
   上記積和器により演算を行って得られる上記第１係数データを上記第２係数データの演算のために記憶しておく第２のメモリ手段とを有してなる請求項１に記載の画像信号処理装置。
6. 上記係数データ発生手段は、
   上記第２の画像信号の垂直ブランキング期間で、上記第１のメモリ手段に記憶されている係数種データと上記パラメータ設定手段で設定された上記第１パラメータの値とを演算して上記第１パラメータの値に対応した上記第１係数データを生成し、
   上記第２の画像信号の垂直有効走査期間で、上記生成された第１係数データと上記パラメータ設定手段で設定された上記第２パラメータの値とを演算して上記第１パラメータおよび上記第２パラメータの値に対応した上記第２係数データを生成する請求項１に記載の画像信号処理装置。
7. 上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第２の画素データを選択する第２のデータ選択手段と、
   上記第２のデータ選択手段で選択された上記複数の第２の画素データから、少なくとも動きの程度を表す差分値を求め、当該差分値をしきい値判定して上記注目位置の画素データが属するクラスを検出するクラス検出手段とをさらに備え、
   上記第１のメモリ手段には、上記クラス検出手段で検出されるクラス毎に予め求められた上記係数種データが記憶されており、
   上記係数データ発生手段は、
   上記第２の画像信号の垂直ブランキング期間で上記第１のメモリ手段に記憶されている係数種データと上記パラメータ設定手段で設定された上記第１パラメータの値とを演算し、上記クラス検出手段で検出されるクラス毎に上記第１パラメータの値に対応した上記第１係数データを生成し、
   上記第２の画像信号の垂直有効走査期間で、上記生成された各クラスの上記第１係数データのうち、上記クラス検出手段で検出されるクラスの上記第１係数データと、上記パラメータ設定手段で設定された上記第２パラメータの値とを演算し、上記第１パラメータおよび上記第２パラメータの値、並びに上記クラス検出手段で検出されるクラスに対応した上記第２係数データを生成する請求項１に記載の画像信号処理装置。
8. 上記係数データ発生手段で発生される上記第２係数データの総和を求める加算手段と、
   上記演算手段で得られた上記注目位置の画素データを上記加算手段で求められた上記総和で除算して正規化する正規化手段をさらに備える請求項１に記載の画像信号処理装置。
9. 複数の画素データからなる第１の画像信号を入力する画像信号入力手段と、
   上記画像信号入力手段より入力された上記第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換して出力する画像信号処理手段と、
   上記画像信号処理手段より出力される上記第２の画像信号による画像を画像表示素子に表示する画像表示手段と、
   上記第１の画像信号の複数の画素データに対する上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定するパラメータ設定手段とを有してなり、
   上記画像信号処理手段は、
   上記第２の画像信号における注目位置の画素データを算出する際に用いられる係数データを生成するための係数種データが記憶された第１のメモリ手段と、
   上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成し、該第１係数データと上記第１又は第２のパラメータの他方を演算して上記第１の画像信号と上記第２の画像信号の誤差を最小にする第２係数データを発生する係数データ発生手段と、
   上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択するデータ選択手段と、
   上記係数データ発生手段で発生された上記第２係数データと上記データ選択手段で選択された上記複数の第１の画素データとを演算して上記注目位置の画素データを算出して得る演算手段とを備える画像表示装置。
10. 上記パラメータ設定手段は、上記演算手段で所定数の画素データを算出する毎に上記第１又は第２のパラメータの値を設定する請求項９に記載の画像表示装置。
11. 上記パラメータ設定手段は、上記第１又は第２のパラメータの値を設定する場合に、設定頻度の高いパラメータの設定順序を後にする請求項９に記載の画像表示装置。
12. 上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第２の画素データを選択する第２のデータ選択手段と、
    上記第２のデータ選択手段で選択された上記複数の第２の画素データから、少なくとも動きの程度を表す差分値を求め、当該差分値をしきい値判定して上記注目位置の画素データが属するクラスを検出するクラス検出手段とをさらに備え、
    上記第１のメモリ手段には、上記クラス検出手段で検出されるクラス毎に予め求められた上記係数種データが記憶されており、
    上記係数データ発生手段は、上記クラス検出手段で検出されたクラスに対応した上記第１係数データおよび上記パラメータ設定手段で設定された上記第１又は第２のパラメータを演算して上記第２係数データを発生する請求項９に記載の画像表示装置。
13. 上記係数データ発生手段は、
    上記第１係数データ及び第２係数データの演算を行うための単一の積和器と、
    上記積和器により演算を行って得られる上記第１係数データを上記第２係数データの演算のために記憶しておく第２のメモリ手段とを有してなる請求項９に記載の画像表示装置。
14. 上記係数データ発生手段は、
    上記第２の画像信号の垂直ブランキング期間で、上記第１のメモリ手段に記憶されている係数種データと上記パラメータ設定手段で設定された上記第１パラメータの値とを演算して上記第１パラメータの値に対応した上記第１係数データを生成し、
    上記第２の画像信号の垂直有効走査期間で、上記生成された第１係数データと上記パラメータ設定手段で設定された上記第２パラメータの値とを演算して上記第１パラメータおよび上記第２パラメータの値に対応した上記第２係数データを生成する請求項９に記載の画像表示装置。
15. 上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第２の画素データを選択する第２のデータ選択手段と、
    上記第２のデータ選択手段で選択された上記複数の第２の画素データから、少なくとも動きの程度を表す差分値を求め、当該差分値をしきい値判定して上記注目位置の画素データが属するクラスを検出するクラス検出手段とをさらに備え、
    上記第１のメモリ手段には、上記クラス検出手段で検出されるクラス毎に予め求められた上記係数種データが記憶されており、
    上記係数データ発生手段は、
    上記第２の画像信号の垂直ブランキング期間で上記第１のメモリ手段に記憶されている係数種データと上記パラメータ設定手段で設定された上記第１パラメータの値とを演算し、上記クラス検出手段で検出されるクラス毎に上記第１パラメータの値に対応した上記第１係数データを生成し、
    上記第２の画像信号の垂直有効走査期間で、上記生成された各クラスの上記第１係数データのうち、上記クラス検出手段で検出されるクラスの上記第１係数データと、上記パラメータ設定手段で設定された上記第２パラメータの値とを演算し、上記第１パラメータおよび上記第２パラメータの値、並びに上記クラス検出手段で検出されるクラスに対応した上記第２係数データを生成する請求項９に記載の画像表示装置。
16. 上記係数データ発生手段で発生される上記第２係数データの総和を求める加算手段と、
    上記演算手段で得られた上記注目位置の画素データを上記加算手段で求められた上記総和で除算して正規化する正規化手段をさらに備える請求項９に記載の画像表示装置。
17. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する画像信号処理方法であって、
    上記第１の画像信号の複数の画素データに対する上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、
    上記第２の画像信号における注目位置の画素データを算出する際に用いられる係数データを生成するための係数種データと上記第１又は第２のパラメータのいずれか一方とを演算して第１係数データを生成し、当該第１係数データと上記第１又は第２のパラメータの他方を演算して上記第１の画像信号と上記第２の画像信号の誤差を最小にする第２係数データを生成し、生成された第２係数データを発生する第２のステップと、
    上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第１の画素データを選択する第３のステップと、
    上記第２のステップで発生された上記第２係数データと上記第３のステップで選択された上記複数の第１の画素データとを演算して上記注目位置の画素データを算出して得る第４のステップとを備える画像信号処理方法。
18. 上記パラメータの値は、上記第４のステップで所定数の画素データを算出する毎に上記第１又は第２のパラメータの値を設定する請求項１７に記載の画像信号処理方法。
19. 上記第１のステップで、上記第１又は第２のパラメータの値を設定する場合に、設定頻度の高いパラメータの設定順序を後にする請求項１７に記載の画像信号処理方法。
20. 上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第２の画素データを選択する第５のステップと、
    上記第５のステップで選択された上記複数の第２の画素データから、少なくとも動きの程度を表す差分値を求め、当該差分値をしきい値判定して上記注目位置の画素データが属するクラスを検出する第６のステップとをさらに備え、
    上記第２のステップでは、上記第６のステップで検出されたクラスに対応した上記第１係数データおよび上記第１のステップで設定された上記第１又は第２のパラメータを演算して上記第２係数データを生成する請求項１７に記載の画像信号処理方法。
21. 上記第２のステップでは、
    上記第２の画像信号の垂直ブランキング期間で、上記係数種データと上記第１パラメータの値とを演算して上記第１パラメータの値に対応した上記第１係数データを生成し、
    上記第２の画像信号の垂直有効走査期間で、上記生成された第１係数データと上記第２パラメータの値とを演算して上記第１パラメータおよび上記第２パラメータの値に対応した上記第２係数データを生成する請求の範囲第１７項に記載の画像信号処理方法。
22. 上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の第２の画素データを選択する第５のステップと、
    上記第５のステップで選択された上記複数の第２の画素データから、少なくとも動きの程度を表す差分値を求め、当該差分値をしきい値判定して上記注目位置の画素データが属するクラスを検出する第６のステップとをさらに備え、
    上記第２のステップでは、
    上記第２の画像信号の垂直ブランキング期間で各クラスの上記係数種データと上記第１パラメータの値とを演算し、クラス毎に上記第１パラメータの値に対応した上記第１係数データを生成し、
    上記第２の画像信号の垂直有効走査期間で、上記生成された各クラスの上記第１係数データのうち、上記第６のステップで検出されるクラスの上記第１係数データと、上記第２パラメータの値とを演算し、上記第１パラメータおよび上記第２パラメータの値、並びに上記第６のステップで検出されるクラスに対応した上記第２係数データを生成する請求の範囲第１７項に記載の画像信号処理方法。
23. 上記第２のステップで発生される上記第２係数データの総和を求める第７のステップと、
    上記第４のステップで得られた上記注目位置の画素データを上記第７のステップで求められる上記総和で除算して正規化する第８のステップとをさらに備える請求項１７に記載の画像信号処理方法。
24. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換するために、
    上記第１の画像信号の複数の画素データに対する上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、
    上記第２の画像信号における注目位置の画素データを算出する際に用いられる係数データを生成するための係数種データと上記第１又は第２のパラメータのいずれか一方とを演算して第１係数データを生成し、当該第１係数データと上記第１又は第２のパラメータの他方を演算して上記第１の画像信号と上記第２の画像信号の誤差を最小にする第２係数データを生成し、生成された第２係数データを発生する第２のステップと、
    上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第３のステップと、
    上記第２のステップで発生された上記第２係数データと上記第３のステップで選択された上記複数の画素データとを演算して上記注目位置の画素データを算出して得る第４のステップとを有する画像信号処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
25. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換するために、
    上記第１の画像信号の複数の画素データに対する上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、
    上記第２の画像信号における注目位置の画素データを算出する際に用いられる係数データを生成するための係数種データと上記第１又は第２のパラメータのいずれか一方とを演算して第１係数データを生成し、当該第１係数データと上記第１又は第２のパラメータの他方を演算して上記第１の画像信号と上記第２の画像信号の誤差を最小にする第２係数データを生成し、生成された第２係数データを発生する第２のステップと、
    上記第１の画像信号から、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第３のステップと、
    上記第２のステップで発生された上記第２係数データと上記第３のステップで選択された上記複数の画素データとを演算して上記注目位置の画素データを算出して得る第４のステップとを有する画像信号処理方法をコンピュータに実行させるためのプログラム。
26. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成する装置であって、
    上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定するパラメータ設定手段と、
    上記パラメータ設定手段により状態が決められた生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
    上記データ選択手段で選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための正規方程式を生成する正規方程式生成手段と、
    上記正規方程式を解いて上記係数データを得る係数データ演算手段と、
    上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記係数データ演算手段で得られた係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る係数種データ演算手段とを備える係数種データ生成装置。
27. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成する方法であって、
    上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第２のステップと、
    上記第２のステップで選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための正規方程式を生成する第３のステップと、
    上記第３のステップで生成された上記正規方程式を解いて上記係数データを得る第４のステップと、
    上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記第４のステップで得られた係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る第５のステップとを備える係数種データ生成方法。
28. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成するために、
    上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第２のステップと、
    上記第２のステップで選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための正規方程式を生成する第３のステップと、
    上記第３のステップで生成された上記正規方程式を解いて係数データを得る第４のステップと、
    上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記第４のステップで得られた上記係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る第５のステップとを有する係数種データ生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
29. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成するために、
    上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第２のステップと、
    上記第２のステップで選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための正規方程式を生成する第３のステップと、
    上記第３のステップで生成された上記正規方程式を解いて係数データを得る第４のステップと、
    上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記第４のステップで得られた係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る第５のステップとを有する係数種データ生成方法をコンピュータに実行させるためのプログラム。
30. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成する装置であって、
    上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定するパラメータ設定手段と、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択するデータ選択手段と、
    上記データ選択手段で選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記パラメータ設定手段で設定されるパラメータの値の組み合わせ毎に、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための第１の正規方程式を生成する第１の正規方程式生成手段と、
    上記第１の正規方程式を解いて、上記組み合わせ毎に係数データを得る第１の係数データ演算手段と、
    上記第１の係数データ演算手段で得られた上記組み合わせ毎の係数データから、複数に階層化された生成式の未階層状態における生成式の係数データを得るための第２の正規方程式を生成する第２の正規方程式生成手段と、
    上記第２の正規方程式を解いて上記未階層状態における生成式の係数データを得る第２の係数データ演算手段と、
    上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記第２の係数データ演算手段で得られた上記未階層状態における生成式の係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る係数種データ演算手段とを備える係数種データ生成装置。
31. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成する方法であって、
    上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第２のステップと、
    上記第２のステップで選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記第１のステップで設定されるパラメータの値の組み合わせ毎に、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための第１の正規方程式を生成する第３のステップと、
    上記第３のステップで生成された上記第１の正規方程式を解いて、上記組み合わせ毎に係数データを得る第４のステップと、
    上記第４のステップで得られた上記組み合わせ毎の係数データから、複数に階層化された生成式の未階層状態における生成式の係数データを得るための第２の正規方程式を生成する第５のステップと、
    上記第５のステップで生成された上記第２の正規方程式を解いて、上記未階層状態における生成式の係数データを得る第６のステップと、
    上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記第６のステップで得られた上記未階層状態における生成式の係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る第７のステップとを備える係数種データ生成方法。
32. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成するために、
    上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第２のステップと、
    上記第２のステップで選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記第１のステップで設定されるパラメータの値の組み合わせ毎に、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための第１の正規方程式を生成する第３のステップと、
    上記第３のステップで生成された上記第１の正規方程式を解いて、上記組み合わせ毎に係数データを得る第４のステップと、
    上記第４のステップで得られた上記組み合わせ毎の係数データから、複数に階層化された生成式の未階層状態における生成式の係数データを得るための第２の正規方程式を生成する第５のステップと、
    上記第５のステップで生成された上記第２の正規方程式を解いて、上記未階層状態における生成式の係数データを得る第６のステップと、
    上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記第６のステップで得られた上記未階層状態における生成式の係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る第７のステップとを有する係数種データ生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
33. 複数の画素データからなる第１の画像信号を上記第１の画像信号の複数の画素データと位相の異なる複数の画素データを含む第２の画像信号に変換する際に使用される係数データを生成するための係数種データを生成するために、
    上記第２の画像信号に対応した教師信号から上記第１の画像信号に対応した生徒信号の状態を決めるパラメータであって、上記第２の画像信号の質を決定するための第１パラメータ、及び上記第２の画像信号の質の情報から画素間距離を求めて得られ、上記第２の画像信号の複数の画素データの位相関係を一意的に決定するための第２パラメータを設定する第１のステップと、
    上記生徒信号から、上記教師信号における注目位置の周辺に位置する複数の画素データを選択する第２のステップと、
    上記第２のステップで選択された上記複数の画素データおよび上記教師信号における注目位置の画素データを演算して、上記第１のステップで設定されるパラメータの値の組み合わせ毎に、上記生徒信号と上記教師信号の誤差を最小にする係数データを得るための第１の正規方程式を生成する第３のステップと、
    上記第３のステップで生成された上記第１の正規方程式を解いて、上記組み合わせ毎に係数データを得る第４のステップと、
    上記第４のステップで得られた上記組み合わせ毎の係数データから、複数に階層化された生成式の未階層状態における生成式の係数データを得るための第２の正規方程式を生成する第５のステップと、
    上記第５のステップで生成された上記第２の正規方程式を解いて、上記未階層状態における生成式の係数データを得る第６のステップと、
    上記第１又は第２のパラメータのいずれか一方と上記係数種データとを演算して第１係数データを生成する第１階層の生成式と、当該第１階層の生成式により生成された第１係数データと上記第１又は第２のパラメータの他方を演算して第２係数データを生成する第２階層の生成式とを有し、上記第６のステップで得られた上記未階層状態における生成式の係数データより、上記第１階層の生成式と上記第２階層の生成式との関係に基づいて、上記第１階層の生成式の係数データを係数種データとして得る第７のステップとを有する係数種データ生成方法をコンピュータに実行させるためのプログラム。

Images