JP2006060375A - 順次走査変換装置 - Google Patents

Abstract

【課題】フィールド内補間において正確な補間を行うことができ、補間後の画像の画質の向上を図ることができる順次走査変換のプログラム及びその装置を得る。
【解決手段】インターレス方式の映像信号を記憶するフレームメモリ１において補間要素を基準にした補間要素領域を決定する補間領域設定部３と、補間要素に対してメモリ８に予め設定されている方向（Ｄ１、Ｄ２、・・・）とメモリ６の係数ｋｉとから補間要素に対してのその方向Ｄｉの依存量を求める補間方向依存量算出部４と、補間方向依存量算出部４で求められた依存量（Ｄ１、Ｄ２、・・・）を纏めて、この結果から最適な補間方向を決定する補間方向決定部５と、補間方向決定部５で決定された補間方向に基づく画素と画素の平均をフレームメモリ１の補間要素の値とする補間処理部７とを備える。
【選択図】 図１

Description

本発明は、飛越し走査（インターレース走査）の動画像信号等を順次走査（プログレッシブ走査）の動画像信号に変換（ＩＰ変換）するときの補間要素の補間のためのプログラム及び装置に関するものである。

一般に動画像信号は、飛越し走査と順次走査の２種類の走査構造を持つ。飛越し走査は、走査線数が順次走査の走査線数の半分に間引かれている。

また、テレビ放送では飛越し走査が一般的であるが、デジタル放送では順次走査も使われている。パソコン（ＰＣ）用のディスプレイは、細かな文字を表示するため順次走査となっている。

一方、プラズマディスプレイや液晶ディスプレイなど、マトリックス型の表示ドライバをもつものでは、飛越し走査表示は困難なので順次走査表示が行われる。

また、ブラウン管式テレビ受像機で、ＨＤＴＶ（ハイビジョン）の表示系をもつものは、走査線数の少ない現行放送の画像を表示しようとした場合、飛越し走査のままでは偏向周波数が低くなり過ぎるので、２倍の偏向周波数となる順次走査で表示するものが多い。

従来、ＩＰ変換を行うフィールド内での補間手法には、次のようなものがある。

ア） 図１６に示すように上下のライン画素の平均値で補間を行う。

イ） 図１７に示すようにフィールド内の斜め方向の相関を利用して補間を行う（特許文献１）
特開平４−３５５５８１号公報

しかしながら、以上のような背景技術には、次のような不都合がある。

（１）前記（ア）の手法
図１６に示すように、上下画素平均値による補間のみであるため、垂直周波数が高いような画像部分、つまり、垂直方向に変化の激しい画像部分では正確な補間をおこなうことができず、斜線がギザギザになってしまう。

（２）前記（イ）の手法
図１７（ａ）にＤｂ、Ｄｄで示すように、斜め方向の相関の検出が、水平方向に２画素離れた位置で行われる。この手法によれば、同図（ｂ）に示すような水平２画素以上の幅の斜め線の場合は、同図に矢印で示すように斜め線と同方向の相関が小さくなる。従って、正しい補間が可能となる。

しかし、同図（ｃ）に示すような水平２画素未満の幅の斜め線の場合、同図に矢印で示すように斜め線と逆方向の相関が小さくなってしまう。このため、誤った補間が行われてしまうことになる。

そこで、本発明は、以上のような点に着目したもので、フィールド内補間において正確な補間を行うことができ、補間後の画像の画質の向上を図ることができる順次走査変換のプログラム及びその装置を提供することを目的とする。

本発明は、飛び越し走査画像の走査線を補間して順次走査画像に変換する順次走査変換装置において、
前記飛び越し走査画像の補間すべき画素を順次特定し、該特定した補間すべき画素を中心とし、この補間すべき画素に対した所定の画素範囲を順次設定する画素範囲設定手段と、前記画素範囲が設定される毎に、この画素範囲において前記補間すべき画素に対応した補間方向を複数設定する補間方向設定手段と、各前記複数の補間方向に存在する画素同士の差分値を検出し、前記補間すべき画素に対して最も相関する補間方向を検出する補間方向検出手段と、前記補間方向検出手段より検出された補間方向上に位置する前記設定された画素範囲中にある画素の値の平均値を求め、該平均値に前記補間すべき画素の値を置換することで前記順次走査画像に対応した画素を得る置換手段とを備えたことを要旨とする。

以上のように本発明によれば、補間要素に対して最も影響する方向を求めて、この方向に基づく補間を行うので、フィールド内補間において正確な補間を行うことができるという効果が得られる。

＜実施の形態１＞
本実施の形態は、コンピュータ処理によって補間画素を求める処理について説明する。

図１は、本実施の形態の順次走査変換装置の概略構成図である。本実施の形態はソフトウエア（プログラム）で実施する構成を説明する。図１に示すように、本実施の形態の走査線補間方法は、インターレス方式の映像信号を補間する。そして、この映像信号を記憶するフレームメモリ１において、補間要素（単に画素ともいう）を基準にした補間要素領域を決定する補間領域設定部３（画素範囲設定手段ともいう）と、補間要素に対してメモリ８に予め設定されている方向（Ｄ１、Ｄ２、・・・）とメモリ６の係数ｋｉとから補間要素に対してのその方向Ｄｉの依存量を求める補間方向依存量算出部４（補間方向設定手段、差分値算出手段を含む）と、補間方向依存量算出部４で求められた依存量（Ｄ１、Ｄ２、・・・）を纏めて、この結果から最適な補間方向を決定する補間方向決定部５（補間方向検出手段ともいう）と、補間方向決定部５で決定された補間方向に基づく画素と画素の平均をフレームメモリ１の補間要素の値とする補間処理部７（置換手段）とを備えている。このフレームメモリ１の画像データは、表示部２に表示される。

メモリ８の補間方向は、図２に示すように、補間要素の画素（ＩＮ）に対しての角度（Ｄ１、Ｄ２、・・・）を保存している。

また、メモリ６には、補間要素に対しての周辺要素までの距離と係数とが対応させられて記憶されている。

上記のように構成された順次走査変換装置について、以下に説明する。図３は、Ｅが求める補間要素であるとした場合に、この補間要素Ｅの周辺要素（垂直方向、斜め方向）を定義するための説明図である。図３は、補間ラインにＡ、Ｂ、Ｃ・・・・Ｉの周辺要素がある場合に、Ｅを補間要素としている。

図４は、補間要素Ｅに対して方向Ｄ１とした場合の、周辺要素に対しての方向の説明図である。

また、本実施の形態では図５、図６、図７に示すように、画素ライン（補間しないライン）の各画素を定義する。

例えば、図５（ａ）に示すように、補間ラインの画素Ａ、Ｂ、Ｃ、・・・・Ｉの左上の画素に、記号ａを付加して画素Ａａ、Ｂａ、・・・Ｉａとする。

また、図５（ｂ）に示すように、補間ラインの画素Ａ、Ｂ、Ｃ、・・・・Ｉの真上の画素に、記号ｂを付加して画素Ａｂ、Ｂｂ、・・・Ｉｂとする。

さらに、図６（ａ）に示すように、補間ラインの画素Ａ、Ｂ、Ｃ、・・・・Ｉの右上の画素に、記号ｃを付加して画素Ａｃ、Ｂｃ、・・・Ｉｃとする。

また、図６（ｂ）に示すように、補間ラインの画素Ａ、Ｂ、Ｃ、・・・・Ｉの左下の画素に、記号ｄを付加して画素Ａｄ、Ｂｄ、・・・Ｉｄとする。

また、図７（ａ）に示すように、補間ラインの画素Ａ、Ｂ、Ｃ、・・・・Ｉの真下の画素に、記号ｅを付加して画素Ａｅ、Ｂｅ、・・・Ｉｅとする。

また、図７（ｂ）に示すように、補間ラインの画素Ａ、Ｂ、Ｃ、・・・・Ｉの右下の画素に、記号ｆを付加して画素Ａｆ、Ｂｆ、・・・Ｉｆとする。

図８は、本実施の形態の動作を説明するフローチャートである。図１に示す補間領域設定部３は、補間ラインの補間要素Ｅをフレームメモリ１に定義する（Ｓ１）。本実施の形態では、行ｊｄ、列ｉｃの領域を補間要素Ｅとする（図４参照）。

次に、補間領域設定部３は、補間要素Ｅを中心にして領域Ｑｉ（周辺要素を含む領域）を定義する（Ｓ２）。次に、この領域Ｑｉ上において補間要素Ｅを中心とした横３、縦５の画素分の領域Ｐｉを定義する（Ｓ３）。

そして、補間方向依存量算出部４は、メモリ８の方向Ｄｉ（Ｄ１、Ｄ２、・・・・：第１の補間方向ともいう）を読み込み（Ｓ４）、この方向Ｄｉに基づく方向Ｄ１を領域Ｑｉに定義する（Ｓ５）。

例えば、方向Ｄ１（角度）においては、図４に示すように、周辺要素Ａに対してはＤ１Ａの方向を、周辺要素Ｂに対してはＤ１Ｂの方向を、周辺要素Ｃに対してはＤ１Ｃの方向を、・・・・周辺要素Ｉに対してはＤ１Ｉの方向をそれぞれ定義（９つの成分の方向：第２の補間方向ともいう）する。これらの方向の要素は斜め３画素としている。

つまり、Ｄ１Ａは、（ｊａ，ｉａ）、（ｊｂ，ｉｂ）、（ｊｃ，ｉｃ）、Ｄ１Ｂは、（ｊａ，ｉｂ）、（ｊｂ，ｉｃ）、（ｊｃ，ｉｄ）、・・・・Ｄ１Ｆは、（ｊｃ，ｉｃ）、（ｊｄ，ｉｄ）、（ｊｅ，ｉｅ）・・・Ｄ１Ｉは、（ｊｅ，ｉｃ）、（ｊｆ，ｉｄ）、（ｊｇ，ｉｅ）と定義する。

そして、補間方向依存量算出部４は、補間要素Ｅに対してのＤｉ（Ｄ１）の依存量を求める（Ｓ６）。このＤ１の依存量の算出については、詳細に後述する。

次に、補間方向依存量算出部４は、方向ＤｉがＤ５かどうかを判定する（Ｓ７）。ステップＳ７において、方向がＤ５ではないと判定したときは、方向Ｄｉを更新して処理をステップＳ６に戻す（Ｓ８）。

つまり、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５の順でＥに対しての、それぞれの方向の依存量を求めている。

ステップＳ７において、方向Ｄｉが最後の方向Ｄ５と判定したときは、補間方向決定部５がこれらの方向の依存量の内で、相関が最も強い方向の依存量を求める（Ｓ９）。

そして、補間方向決定部５は、相関が最も強い方向の依存量を有する方向を補間方向として決定し、この補間方向の画素値を補間処理部７に渡す（Ｓ１０）。

補間処理部７は、補間方向決定部５で求められた方向の画素値（輝度）と画素値（輝度）との平均を、補間要素Ｅの値とする補間処理を行う（Ｓ１１）。例えば、Ｄ１が最小であると判定したとき（Ｄ１が最も相関が強い）、補間要素Ｅは画素Ｅａと画素Ｅｆとの平均となる。

次に、補間処理部７は全ての補間ラインの補間要素（画素）に対して補間したかどうかを判定し（Ｓ１２）、補間していないときは、次の補間要素（画素）に更新して（Ｓ１３）、ステップＳ１に処理を戻して上記処理を行わせる。

図９は、補間方向Ｄｉの依存量を求めるためのフローチャートである。本実施の形態では、補間方向Ｄ１を代表にして説明する。補間方向依存量算出部４は、補間要素Ｅに対しての補間方向Ｄ１Ａ｛（ｊａ，ｉａ）、（ｊｂ，ｉｂ）、（ｊｃ，ｉｃ）｝の周辺要素Ｍｉ（本実施の形態ではＡ（ｊｂ，ｉｂ））を読み込む（Ｓ２０）。

そして、この周辺要素Ｍｉの左上の画素ａｉ（図５のＡならばＡａ、ＢならばＢａ、・・・ＩならばＩａ）の画素値（輝度又は階調）と右下の画素ｆｉ（図７（ｂ）のＡならばＡｆ、ＢならばＢｆ、・・・・ＩならばＩｆ）の画素値（輝度又は階調）とを読み込む（Ｓ２１）。次に、周辺要素Ｍｉの左上の画素ａｉと右下の画素ｆｉとの画素値（輝度又は階調）との差（差分値）を求める（Ｓ２２ａ）。次に、補間要素からの周辺要素Ｍｉとの距離Ｌｉを求めて（Ｓ２２ｂ）、この距離Ｌｉに対応する係数ｋｉをメモリ６から選択し（Ｓ２２ｃ）、この係数ｋｉと画素値差とを関連させてメモリ（図示せず）に記憶する（Ｓ２３）。ここで、距離Ｌｉの求め方について補充する。

例えば、補間要素Ｅから周辺要素（Ａ〜Ｉ）までの距離を求め、Ｋ０〜Ｋ３（係数ｋ０〜ｋ３）を算出する。この算出は、ＥとＡの距離は３画素（もしくは√５）、ＥとＢの距離は２画素、ＥとＣの距離は３画素（もしくは√５）、ＥとＤの距離は１画素、ＥとＥの距離は０画素、・・・というように算出する。

すなわち、補間方向Ｄ１Ａ、Ｄ１Ｂ、・・・Ｄ１Ｉのそれぞれの差分値と、補間要素に対しての周囲要素Ｍｉの係数ｋｉとが求められることになる。

前述の係数ｋｉは、例えば、最も距離差が小さいときはｋ０、最も距離差があるときはｋ３を選択するのが望ましい。

次に、最後の方向（Ｄ１＝Ｄ１Ｉ）のａｉとｆｉとの差分値及び補間要素に対しての周辺要素までの距離Ｌｉの係数ｋｉを求めたかどうかを判断し（Ｓ２４）、求めていないときはＤ１ｉを次ぎの方向に更新する（Ｓ２５）。例えば、方向Ｄ１ｉをＤ１Ｂ、Ｄ１Ｃ・・・と更新する。次に、この更新したＤ１ｉを設定して処理をステップＳ２１に戻す。

一方、ステップＳ２４において、最後の方向（Ｄ１＝Ｄ１Ｉ）のａｉとｆｉとの差分値、係数ｋｉを求めたと判定したときは、この係数と差分値を乗算することによって、前述の依存量を求める演算を行う（Ｓ２７）。

すなわち、下記の式に示すようにしてＤ１方向のＥに対する依存量を求めている。本実施の形態では各方向にかける係数ｋｉは、予め決めている式で示す。

［数１］
D1 = K3*D1A + K2*D1B + K3*D1C
+K1*D1D + K0*D1E + K1*D1F
+K3*D1G + K2*D1H + K3*D1I
= K3|Aa-Af|+K2|Ba-Bf|+K3|Ca-Cf|
+K1|Da-Df|+K0|Ea-Ef|+K1|Fa-Ff|
+K3|Ga-Gf|+K2|Ha-Hf|+k3|Ia-If|
として求めている。

また、方向Ｄ２は、
［数２］
D2 = K3*D2A + K2*D2B + K3*D2C
+K1*D2D + K0*D2E + K1*D2F
+K3*D2G + K2*D2H + K3*D2I
= K3|(Aa+Ab)/2-(Ae+Af)/2|
+K2|(Ba+Bb)/2-(Be+Bf)/2|+K3|(Ca+Cb)/2-(Ce+Cf)/2|
+K1|(Da+Db)/2-(De+Df)/2|+K0|(Ea+Eb)/2-(Ee+Ef)/2|
+K1|(Fa+Fb)/2-(Fe+Ff)/2|
+K3|(Ga+Gb)/2-(Ge+Gf)/2|+K2|(Ha+Hb)/2-(He+Hf)/2|
+K3|(Ia+Ib)/2-(Ie+If)/2|
方向Ｄ３は、
［数３］
D3 = K3*D3A + K2*D3B + K3*D3C
+K1*D3D + K0*D3E + K1*D3F
+K3*D3G + K2*D3H + K3*D3I
= K3|Ab-Ae|+K2|Bb-Be|+K3|Cb-Ce|
+K1|Db-De|+K0|Eb-Ee|+K1|Fb-Fe|
+K3|Gb-Ge|+K2|Hb-He|+k3|Ib-Ie|
方向Ｄ４は、
［数４］
D4 = K3*D4A + K2*D4B + K3*D4C
+K1*D4D + K0*D4E + K1*D4F
+K3*D4G + K2*D4H + K3*D4I
= K3|(Ab+Ac)/2-(Ad+Ae)/2|+K2|(Bb+Bc)/2-(Bd+Be)/2|
+K3|(Cb+Cc)/2-(Cd+Ce)/2|
+K3|(Db+Dc)/2-(Dd+De)/2|+K0|(Eb+Ec)/2-(Ed+Ee)/2|
+K1|(Fb+Fc)/2-(Fd+Fe)/2|
+K3|(Gb+Gc)/2-(Gd+Ge)/2|+K2|(Hb+Hc)/2-(Hd+He)/2|
+K3|(Ib+Ic)/2-(Id+Ie)/2|
方向Ｄ５は、
［数５］
D5 = K3*D5A + K2*D5B + K3*D5C
+K1*D5D + K0*D5E + K1*D5F
+K3*D5G + K2*D5H + K3*D5I
= K3|Ac-Ad|+K2|Bc-Bd|+K3|Cc-Cd|
+K1|Dc-Dd|+K0|Ec-Ed|+K1|Fc-Fd|
+K3|Gc-Gd|+K2|Hc-Hd|+K3|Ic-Id|
そして、補間方向決定部がD1〜D5のうち最小のものを求め、補間方向を決定する。すなわち、差分値と係数との積が小さい方向が、相関も強い方向となる。例えば、D1が最小であるとき、補間画素Ｅは画素Eaと画素Efの平均となる。

図１０は、実施の形態１の各処理部によって、水平１画素の斜め線におけるフィールド内補間処理の具体例を説明する図である。今回、画素の輝度値を元に、補間方向を決定することにする。白丸の画素の輝度１００、黒丸の画素の輝度を０とすると、輝度０の画素はBf、Ce、De、Ec、Ed、Fb、Gb、Haとなり、それ以外は輝度１００となる（図１１を参照）。このときのD1〜D5の値を求める。

上記の式より、
［数６］
D1 = K3|Aa-Af|+K2|Ba-Bf|+K3|Ca-Cf|
+K1|Da-Df|+K0|Ea-Ef|+K1|Fa-Ff|
+K3|Ga-Gf|+K2|Ha-Hf|+K3|Ia-If|
= K3|100-100|+K2|100-0|+K3|100-100|
+K1|100-100|+K0|100-100|+K1|100-100|
+K3|100-100|+K2|0-100|+K3|100-100|
= 200*K2
同様に
［数７］
D2 = 100*K1 + 100*K2 + 100*K3
D3 = 200*K1 + 200*K3
D4 = 100*K1 + 100*K3
D5 = 0
K0〜K3は、中心画素Ｅからの距離による重み付け係数ｋｉであり、正の値である。そして、D1〜D5を比較すると、D5が最小となり、補間画素Ｅは、画素Ecと画素Edの平均となる。すなわち、水平２画素未満の斜め線であっても適切な補間が行われることになる。

つまり実施の形態１のソフトウエアは、走査画像を第１のメモリに保存し、飛び越し走査における補間ラインの補間要素の画像を画面に表示させる順次走査変換のプログラムにおいて、
コンピュータに、
それぞれ角度が異なる多数の第１の補間方向を第２のメモリに記憶する手段、
前記補間要素に対しての周辺要素までの距離に重み付け係数を対応させて第３のメモリに記憶する手段、
前記第１のメモリに前記走査画像が記憶されたとき、補間ラインにおける前記補間要素を順次、設定する手段、
前記補間要素が設定される毎に、前記第２のメモリの第１の補間方向を順次読み込み、前記補間要素の周辺要素に対して前記読み込んだ第１の補間方向と同方向の第２の補間方向を、前記周辺要素を基準にしてそれぞれ順次、設定する手段、
前記第１の補間方向に基づく第２の補間方向が設定される毎に、該第２の補間方向の前記周辺要素の上下又は左上、右下の画素ラインの画素値を順次抽出する手段、
前記第１の補間方向に基づく前記第２の補間方向の前記画素値が抽出される毎に、この第２の補間方向の両方の画素値の差分値を求めると共に、前記補間要素と前記周辺要素との距離を求め該距離に対応する前記重み付け係数を前記第３のメモリから選択して、この係数と前記第２の補間方向の差分値とを乗算する手段、
前記第１の補間方向に基づく全ての前記第２の補間方向の乗算結果を読み込み、これらを加算し、該加算値を前記補間要素に対しての前記第１の補間方向の依存量として求める手段、
前記多数の第１の補間方向の前記依存量が求められる毎に、これらの第１の補間方向の依存量同士を比較して、値が最も最小の依存量を有する前記第１の補間方向を前記補間要素に対する最適な補間方向とする手段、
前記最適な補間方向の前記上下又は左下、右下の画素値の平均を前記補間要素の補間値とし、該補間値に前記第１のメモリの補間要素を変換する手段
としての機能を実現させるための順次走査変換のプログラムとした技術思想であるともいえる。

＜実施の形態２＞
本実施の形態は、上記の処理をハードウエアで構成した例について説明する。図１２は、本実施の形態の順次走査変換装置の概略構成図である。

図１２に示すように、１フィールドの１ラインの映像信号を入力するための入力端子２０と、フィルタ２３（画素範囲設定手段、補間方向設定手段）と、方向依存量算出部２５（差分値算出手段、補間方向検出手段）と、比較回路２６と、セレクタ２８とを備えている。比較回路２６、セレクタ２８は、補間方向検出手段、置換手段に相当する。

入力端子２０には、１ラインデレイするラインメモリ２１ａ、２１ｂ、２１ｃを直列接続し、ラインメモリ２１ｃの出力をフィルタ２３に接続している。このフィルタ２３は、図２に示すＤ１〜Ｄ５の方向に基づく画素を抽出するフィルタを、それぞれの方向毎に備えている（Ｄ１用フィルタ２３ａ、Ｄ２用フィルタ２３ｂ・・・Ｄ５用フィルタ２３ｅ）。このフィルタ２３には、入力端子２０に入力するラインの映像データと、ラインメモリ２１ａによって１ライン遅延された１ライン分の映像データと、ラインメモリ２１ｂ後の２ライン遅れの映像データ、ラインメモリ２１ｃ後の３ライン遅れの映像データを入力し、図２に示す方向成分に基づく画素を出力する。

Ｄ１フィルタ２３ａは、入力端子２０に入力するラインの映像データの画素値（輝度）と、ラインメモリ２１ａによって１ライン遅延された１ライン分の映像データの画素値（輝度又は階調）と、ラインメモリ２１ｂ後の２ライン遅れの映像データの画素値（輝度又は階調）と、ラインメモリ２１ｃ後の３ライン遅れの映像データの画素値（輝度）を入力し、補間要素の周辺補間画素（Ａ〜Ｉ）についてのＤ１方向の成分の画素を抽出する。

Ｄ２フィルタ２３ｂは、入力端子２０に入力するラインの映像データの画素値（輝度）と、ラインメモリ２１ａによって１ライン遅延された１ライン分の映像データの画素値（輝度）と、ラインメモリ２１ｂ後の２ライン遅れの映像データの画素値（輝度）と、ラインメモリ２１ｃ後の３ライン遅れの映像データの画素値（輝度）を入力し、補間要素の周辺補間画素（Ａ〜Ｉ）についてのＤ２方向の成分の画素を抽出する。

Ｄ３フィルタ２３ｃは、入力端子２０に入力するラインの映像データの画素値（輝度又は階調）と、ラインメモリ２１ａによって１ライン遅延された１ライン分の映像データの画素値（輝度）と、ラインメモリ２１ｂ後の２ライン遅れの映像データの画素値（輝度）と、ラインメモリ２１ｃ後の３ライン遅れの映像データの画素値（輝度）を入力し、補間要素の周辺補間画素（Ａ〜Ｉ）についてのＤ３方向の成分の画素を抽出する。

Ｄ４フィルタ２３ｄは、入力端子２０に入力するラインの映像データの画素値（輝度）と、ラインメモリ２１ａによって１ライン遅延された１ライン分の映像データの画素値（輝度）と、ラインメモリ２１ｂ後の２ライン遅れの映像データの画素値（輝度）と、ラインメモリ２１ｃ後の３ライン遅れの映像データの画素値（輝度）を入力し、補間要素の周辺補間画素（Ａ〜Ｉ）についてのＤ４方向の成分の画素を抽出する。

Ｄ５フィルタ２３ｅは、入力端子２０に入力するラインの映像データの画素値（輝度）と、ラインメモリ２１ａによって１ライン遅延された１ライン分の映像データの画素値（輝度）と、ラインメモリ２１ｂ後の２ライン遅れの映像データの画素値（輝度）と、ラインメモリ２１ｃ後の３ライン遅れの映像データの画素値（輝度）を入力し、補間要素の周辺補間画素（Ａ〜Ｉ）についてのＤ５方向の成分の画素を抽出する。

例えば、Ｄ１用フィルタ２３ａは、図５（ａ）に示す周辺補間画素の左上の画素Ａａ、Ｂａ、・・・Ｉａと、図７（ｂ）に示す周辺補間画素の右下の画素Ａｆ、Ｂｆ、Ｄｆ、Ｅｆ、Ｇｆ、Ｈｆを抽出する。

また、方向依存量算出部２５は、Ｄ１用依存量算出部２５ａ、・・・Ｄ５用依存量算出部２５ｅを有している。

それぞれの依存量算出部が、入力端子２０に入力するラインの映像データの画素値（輝度）と、ラインメモリ２１ａによって１ライン遅延された１ライン分の映像データの画素値（輝度）と、ラインメモリ２１ｂ後の２ライン遅れの映像データの画素値（輝度）と、ラインメモリ２１ｃ後の３ライン遅れの映像データの画素値（輝度）を入力すると共に、対応する方向のフィルタからの抽出された画素値を入力し、それぞれの画素値の差を求めて係数ｋｉを乗算して各方向の依存量を求める。この係数ｋｉは、距離に対応させて保存している。例えば、ＥとＡの距離は３画素（もしくは√５）、ＥとＢの距離は２画素、ＥとＣの距離は３画素（もしくは√５）、ＥとＤの距離は１画素、ＥとＥの距離は０画素、・・・というように算出し、この距離に対応させた係数ｋｉを選択する。

比較回路２６は、方向依存量算出部２５から方向Ｄ１、Ｄ２・・・Ｄ５の依存量を比較し、最も依存している方向を決定してセレクタ２８に出力する。

セレクタ２８は、比較回路２６から出力された方向の最も影響する画素値と画素値との平均を選択し、この選択した画素値を補間要素の画素値として出力する。この画素値は画面のＥの値とされる。

図１３は、フィルタ２３の詳細構成図である。本実施の形態ではＤ１用フィルタ２３ａを例にして説明する。

図１３に示すように、ラインメモリ２１ａとラインメモリ２１ｂとの間のラインは、図１４に示す画素ラインａであり、ラインメモリ２１ｂとラインメモリ２１ｃとの間のラインは、図１４に示す画素ラインｂであり、ラインメモリ２１ｃの後は、図１４に示す画素ラインｃである。

そして、入力端子２０には、ピクセルデレイ３０ａ、３０ｂ・・・３０ｄの順で接続され、ピクセルデレイ３０ａの入力端には、出力端３１ａ（図７（ｂ）のＩｆ用）が接続され、ピクセルデレイ３０ａとピクセルデレイ３０ｂとの間には、出力端３１ｂ（図７（ｂ）のＨｆ用）が接続されている。

また、ピクセルデレイ３０ｂとピクセルデレイ３０ｃとの間には、出力端３１ｃ（図７（ｂ）のＧｆ用）が接続され、ピクセルデレイ３０ｃとピクセルデレイ３０ｄとの間には、出力端３１ｄが接続されている。さらに、ピクセルデレイ３０ｄには、出力端３１ｅ（図６（ｂ）のＧｄ）が接続されている。

一方、ラインメモリ２１ａとラインメモリ２１ｂとの間には、ピクセルデレイ３２ａ、３２ｂ・・・３２ｄの順で接続され、ピクセルデレイ３２ａの入力端には、出力端３３ａ（図７（ｂ）のＦｆ用）が接続され、ピクセルデレイ３２ａとピクセルデレイ３２ｂとの間には、出力端３３ｂ（図７（ｂ）のＥｆ用）が接続されている。

また、ピクセルデレイ３２ｂとピクセルデレイ３２ｃとの間には、出力端３３ｃ（図７（ｂ）のＤｆ用）と出力端３３ｄ（図５（ａ）のＩａ用）が接続され、ピクセルデレイ３２ｃとピクセルデレイ３２ｄとの間には、出力端３３ｅ（図５（ａ）のＨａ用）が接続されている。さらに、ピクセルデレイ３２ｄには、出力端３３ｆ（図５（ａ）のＧａ用）が接続されている。

ラインメモリ２１ｂとラインメモリ２１ｃとの間には、ピクセルデレイ３４ａ、３４ｂ・・・３４ｄの順で接続され、ピクセルデレイ３４ａの入力端には、出力端３５ａ（図７（ｂ）のＣｆ用）が接続され、ピクセルデレイ３４ａとピクセルデレイ３４ｂとの間には、出力端３５ｂ（図７（ｂ）のＢｆ用）が接続されている。

また、ピクセルデレイ３４ｂとピクセルデレイ３４ｃとの間には、出力端３５ｃ（図７（ｂ）のＡｆ用）と出力端３５ｄ（図５（ａ）のＦａ用）が接続され、ピクセルデレイ３４ｃとピクセルデレイ３４ｄとの間には、出力端３５ｅ（図５（ａ）のＥａ用）が接続されている。さらに、ピクセルデレイ３４ｄには、出力端３５ｆ（図５（ａ）のＤａ用）が接続されている。

さらに、ラインメモリ２１ｃにはピクセルデレイ３６ａ、３６ｂ・・・３６ｄの順で接続され、ピクセルデレイ３６ｂとピクセルデレイ３６ｃとの間には、出力端３７ａ（図５（ｂ）のＣａ用）が接続されている。

また、ピクセルデレイ３６ｃとピクセルデレイ３６ｄとの間には、出力端３７ｂ（図５（ｂ）のＢａ用）が接続され、ピクセルデレイ３６ｄには、出力端３７ｃ（図５（ａ）のＡａ）が接続されている。すなわち、図４の方向Ｄ１（Ｄ１Ａ、Ｄ１Ｂ・・・・Ｄ１ｉ）における補間要素に関連する画素が抽出される。

図１５は、Ｄ１用依存量算出部２５ａの概略構成図である。図１５に示すように、差分器４０ａ、４０ｂ、・・・・４０ｉと、係数乗算器４１ａ、４１ｂ、・・・・４１ｉと、加算器４３と、加算器４４と、平均化回路４５とを備えている。

係数乗算器４１ａ（ｋ３用）は、画素値ＡａとＡｆとの差を求める差分器（減算器）４０ａに接続され、出力端が加算器４３に接続されている。

また、係数乗算器４１ｂ（ｋ２用）は、画素値ＢａとＢｆとの差を求める差分器（減算器）４０ｂに接続され、出力端が加算器４３に接続されている。

係数乗算器４１ｃ（ｋ３用）は、画素値ＣａとＣｆとの差を求める差分器（減算器）４０ｃに接続され、出力端が加算器４３に接続されている。

係数乗算器４１ｄ（ｋ１用）は、画素値ＤａとＤｆとの差を求める差分器（減算器）４０ｄに接続され、出力端が加算器４３に接続されている。

係数乗算器４１ｅ（ｋ０用）は、画素値ＥａとＥｆとの差を求める差分器（減算器）４０ｅに接続され、出力端が加算器４３に接続されている。

係数乗算器４１ｆ（ｋ１用）は、画素値ＦａとＦｆとの差を求める差分器（減算器）４０ｆに接続され、出力端が加算器４３に接続されている。

係数乗算器４１ｇ（ｋ３用）は、画素値ＧａとＧｆとの差を求める差分器（減算器）４０ｇに接続され、出力端が加算器４３に接続されている。

係数乗算器４１ｈ（ｋ２用）は、画素値ＨａとＨｆとの差を求める差分器（減算器）４０ｈに接続され、出力端が加算器４３に接続されている。

係数乗算器４１ｉ（ｋ３用）は、画素値ＩａとＩｆとの差を求める差分器（減算器）４０ｉに接続され、出力端が加算器４３に接続されている。

さらに、差分器４０ｅには画素値Ｅａと画素値Ｅｆとを加算する加算器４４が接続され、この加算器４４には平均化回路４５が接続されている。そして、平均化回路４５の出力が、セレクタ２８に接続されている。

すなわち、上記のように構成された順次走査変換装置は、方向Ｄ１においては図１４に示す方向の画素値がＤ１フィルタ２３ａで抽出されて、Ｄ１用依存量算出部２５ａに出力される。

すなわち、図３に示す領域の画像データが１ライン毎に入力すると、ラインメモリ２１ａ、２１ｂ、２１ｃ（３ライン遅延）によって図１４に示すＣラインの画素データが、ピクセルデレイ３６ａ・・・３６ｄ（Ｃラインと称する）に入力する。そして、Ｃラインには、ピクセルデレイ３６ａ、３６ｂの２個あるので、図５（ａ）に示すように、（ｊａ，ｉｄ）、（ｊａ，ｉｅ）は読み込まれないで、ピクセルデレイ３６ｂの出力は（ｊａ，ｉｃ）の画素値Ｃａが出力され、ピクセルデレイ３６ｃによって、（ｊａ，ｉｂ）の画素値Ｂａが出力され、ピクセルデレイ３６ｄによって（ｊａ，ｉａ）の画素値Ａａが出力される。

また、ラインメモリ２１ａ、２１ｂ（２ライン遅れ）によって、図１４に示すｂラインの画素データがピクセルデレイ３４ａ・・・３４ｄ（ｂラインと称する）に入力する。そして、ｂラインには、ピクセルデレイ３４ａの入力端を出力端としているので（ｊｃ，ｉｅ）の画素値Ｃｆが、出力端３５ａに出力される。そして、ピクセルデレイ３４ａによって１ピクセル遅延された（ｊｃ，ｉｄ）の画素値Ｂｆが、出力される。また、ピクセルデレイ３４ｂによって、（ｊｃ，ｉｃ）の画素値Ａｆが出力されると共に、画素値Ｆａが出力される。そして、ピクセルデレイ３４ｃによって（ｊｃ，ｉｂ）の画素値Ｅａが、ピクセルデレイ３４ｄによって（ｊｃ，ｉｃ）の画素値Ｄａが出力される。

一方、ラインメモリ２１ａ（１ライン遅れ）によって、図１４に示すａラインの画素データが、ピクセルデレイ３２ａ・・・３２ｄ（ａラインと称する）に入力する。そして、ａラインには、ピクセルデレイ３２ａの入力端を出力端としているので、（ｊｄ，ｉｅ）の画素値Ｆｆが出力端３３ａに出力される。そして、ピクセルデレイ３２ａによって１ピクセル遅延された（ｊｄ，ｉｄ）の画素値Ｅｆが、出力される。また、ピクセルデレイ３２ｂによって、（ｊｅ，ｉｃ）の画素値Ｄｆが出力されると共に、画素値Ｉａが出力される。そして、ピクセルデレイ３２ｃによって（ｊｄ，ｉｂ）の画素値Ｈａが、ピクセルデレイ３２ｄによって（ｊｅ，ｉａ）の画素値Ｇａが出力される。

また、メモリライン介さない箇所からは、画素値Ｉｆ、Ｈｆ・・・Ｇｄが出力される。

そして、図１５に示すＤ１用依存量算出部２５ａに入力して、それぞれの周辺要素（Ａ〜Ｉ）の右上と左下の画素値が減算され、予め定められている計数が乗算されて、これが加算器４３に入る。

すなわち、実施の形態１と同様に、
［数８］
D1 = K3*D1A + K2*D1B + K3*D1C
+K1*D1D + K0*D1E + K1*D1F
+K3*D1G + K2*D1H + K3*D1I
= K3|Aa-Af|+K2|Ba-Bf|+K3|Ca-Cf|
+K1|Da-Df|+K0|Ea-Ef|+K1|Fa-Ff|
+K3|Ga-Gf|+K2|Ha-Hf|+k3|Ia-If|
として求めていることになる。

また、方向Ｄ２は、
［数９］
D2 = K3*D2A + K2*D2B + K3*D2C
+K1*D2D + K0*D2E + K1*D2F
+K3*D2G + K2*D2H + K3*D2I
= K3|(Aa+Ab)/2-(Ae+Af)/2|
+K2|(Ba+Bb)/2-(Be+Bf)/2|+K3|(Ca+Cb)/2-(Ce+Cf)/2|
+K1|(Da+Db)/2-(De+Df)/2|+K0|(Ea+Eb)/2-(Ee+Ef)/2|
+K1|(Fa+Fb)/2-(Fe+Ff)/2|
+K3|(Ga+Gb)/2-(Ge+Gf)/2|+K2|(Ha+Hb)/2-(He+Hf)/2|
+K3|(Ia+Ib)/2-(Ie+If)/2|
方向Ｄ３は、
［数１０］
D3 = K3*D3A + K2*D3B + K3*D3C
+K1*D3D + K0*D3E + K1*D3F
+K3*D3G + K2*D3H + K3*D3I
= K3|Ab-Ae|+K2|Bb-Be|+K3|Cb-Ce|
+K1|Db-De|+K0|Eb-Ee|+K1|Fb-Fe|
+K3|Gb-Ge|+K2|Hb-He|+k3|Ib-Ie|
方向Ｄ４は、
［数１１］
D4 = K3*D4A + K2*D4B + K3*D4C
+K1*D4D + K0*D4E + K1*D4F
+K3*D4G + K2*D4H + K3*D4I
= K3|(Ab+Ac)/2-(Ad+Ae)/2|+K2|(Bb+Bc)/2-(Bd+Be)/2|
+K3|(Cb+Cc)/2-(Cd+Ce)/2|
+K3|(Db+Dc)/2-(Dd+De)/2|+K0|(Eb+Ec)/2-(Ed+Ee)/2|
+K1|(Fb+Fc)/2-(Fd+Fe)/2|
+K3|(Gb+Gc)/2-(Gd+Ge)/2|+K2|(Hb+Hc)/2-(Hd+He)/2|
+K3|(Ib+Ic)/2-(Id+Ie)/2|
方向Ｄ５は、
［数１２］
D5 = K3*D5A + K2*D5B + K3*D5C
+K1*D5D + K0*D5E + K1*D5F
+K3*D5G + K2*D5H + K3*D5I
= K3|Ac-Ad|+K2|Bc-Bd|+K3|Cc-Cd|
+K1|Dc-Dd|+K0|Ec-Ed|+K1|Fc-Fd|
+K3|Gc-Gd|+K2|Hc-Hd|+K3|Ic-Id|
そして、補間方向決定部がD1〜D5のうち最小のものを求め、補間方向を決定する。たとえばD1が最小であるとき、補間画素Ｅは画素Eaと画素Efの平均となる。 すなわち、実施の形態２は、走査画像を入力して、飛び越し走査における補間ラインの補間要素の画像を画面に表示させる順次走査変換のための装置において、
１水平走査期間を遅延させるラインメモリを前記補間要素の周辺要素ライン分だけ直列接続されたラインメモリ群と、前記補間要素の補間方向毎に設けられ、前記ラインメモリ群からの遅延された複数の画素ラインの各画素値を入力し、この各画素値を前記補間方向に従って順次遅延させることで前記補間要素の周辺要素の前記画素ラインでの上下又は左上、右下の画素値を順次抽出するフィルタ部と、前記補間方向毎に設けられ、それぞれが、前記補間方向が同じ前記フィルタ部から前記周辺要素の画素ラインの前記上下又は前記左上、右下の画素値をそれぞれ読み込み、両方の画素値の差分値を求め、これらの差分値に対して予め決められた重み付け係数をそれぞれ乗算して、それぞれの乗算結果を加算し、これを前記補間要素に対しての前記補間方向の依存量として出力する補間方向依存量算出部と、前記補間方向依存量算出部からの前記多数の補間方向の依存量同士を比較し、最も小さい補間方向を前記補間要素に対する最適な補間方向とする補間方向決定部と、前記最適な補間方向の前記上下又は左下、右下の画素値の平均を前記補間要素の補間値とし、該補間値に前記メモリの補間要素を変換する画素補間部とを備えた順次走査変換のための装置とした技術思想であるともいえる。

本発明は、インターレス方式のテレビジョン信号において、補間信号を生成する走査線補間装置に適用できる。

本発明の実施の形態１の順次走査変換のプログラムの概略構成図である。 同実施の形態１の多数の補間方向を説明する説明図である。 Ｅが求める補間要素とした場合に、この補間要素Ｅの周辺要素（垂直方向、斜め方向）を定義するための説明図である。 補間要素Ｅに対して方向Ｄ１とした場合の周辺要素に対しての方向の説明図である。 周辺要素に対しての画素ラインにおける各画素の定義を説明する説明図である。 周辺要素に対しての画素ラインにおける各画素の定義を説明する説明図である。 周辺要素に対しての画素ラインにおける各画素の定義を説明する説明図である。 同実施の形態１の動作を説明するフローチャートである。 Ｄｉの方向の依存量算出を説明するフローチャートである。 同実施の形態１の各処理部によって水平１画素の斜め線におけるフィールド内補間の具体例を説明する説明図である。 図１０の周辺要素に対しての画素ラインにおける各画素の定義を説明する説明図である。 本発明の実施の形態２の順次走査変換装置の概略構成図である。 同実施の形態２における、フィルタ２３の詳細構成図である。 同実施の形態２のＤ１方向に基づく周辺要素に対しての方向を説明する説明図である。 同実施の形態２における、Ｄ１用依存量算出部２５ａの概略構成図である。 上下ライン画素の平均値での補間を説明する説明図である。 フィールド内の斜め方向の相関を利用しての補間の説明図である。

符号の説明

１ フレームメモリ
３ 補間領域設定部
４ 補間方向依存量算出部
５ 補間方向決定部
７ 補間処理部
２３ フィルタ
２５ 方向依存量算出部
２６ 比較回路
２８ セレクタ

Claims (2)

1. 飛び越し走査画像の走査線を補間して順次走査画像に変換する順次走査変換装置において、
   前記飛び越し走査画像の補間すべき画素を順次特定し、該特定した補間すべき画素を中心とし、この補間すべき画素に対した所定の画素範囲を順次設定する画素範囲設定手段と、
   前記画素範囲が設定される毎に、この画素範囲において前記補間すべき画素に対応した補間方向を複数設定する補間方向設定手段と、
   各前記複数の補間方向に存在する画素同士の差分値を検出し、前記補間すべき画素に対して最も相関する補間方向を検出する補間方向検出手段と、
   前記補間方向検出手段より検出された補間方向上に位置する前記設定された画素範囲中にある画素の値の平均値を求め、該平均値に前記補間すべき画素の値を置換することで前記順次走査画像に対応した画素を得る置換手段と、
   を有することを特徴とする順次走査変換装置。
2. 前記補間方向検出手段は、
   前記差分値が算出される毎に、該差分値に予め決められた重み付け係数を乗算した後加算し、該加算結果同士を比較して前記補間すべき画素に対して最も相関する補間方向を検出することを特徴とする請求項１記載の順次走査変換装置。

Images