JP4359223B2 - 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置 - Google Patents

Description

本発明は、動画の映像信号のフレームレートの変換、特に、フレーム補間を行なう映像補間装置とこれを用いたフレームレート変換装置，映像表示装置に関する。

ビデオ映像信号やパ−ソナルコンピュータ（パソコン）などの映像信号の仕様としては、現在多種多様なものが存在する。一般には、ＶＥＳＡ(Video Electronics Standard Association)により規定されたものが広く知られているが、ＶＥＳＡ規格信号だけでも、数種類ものフレームレートを持つ画像フォーマットが定義されている。これに対し、ＰＤＰ(Plasma Display Panel)やＬＣＤ(Liquid Crystal Display)などの画像表示装置では、一般に、表示する画像フォーマットが固定されている場合が多い。従って、上記のような種々の画像フォーマットの映像信号をこのような画像表示装置に用いるためには、かかる画像フォーマットをかかる画像表示装置に適合したフォーマットに変換することが必要となり、このための装置が望まれる。

動画像のフレームレートを変換する場合、一般に、図１０に示すように、入力された現在のフレーム（以下、現フレームという）１１０３とその１つ前のフレーム１１０１との間に補間フレーム１１０２を内挿することが行なわれ、かかる補間フレーム１１０２はこれら隣接するフレーム１１０１，１１０３から形成される。かかる補間フレーム１１０３の作成方法としては、現フレームを次のフレームまでの間繰り返し内挿していく零次ホールド法や、図１１に示すように、入力端子１２０１から入力されるフレームを、直接補間信号生成部１２０３に供給するとともに、フレームメモリ１２０２で１フレーム遅延して１つ前のフレームとして補間信号生成部１２０３に供給し、補間信号生成部１２０３では、入力端子１２０１からの現フレームとフレームメモリ１２０２からの１つ前のフレームとの隣接する２つのフレームを用いて、これら２つのフレームの相対向する画素同士の輝度値の平均値を補間フレームの画素の輝度値とし、かかる画素からなる補間フレームを作成して出力端子１２０４から出力させる直線補間法などが知られている。なお、隣接する２つのフレーム間にｎ個の補間フレームを内挿する場合、フレームレートはｎ倍に変換される。

また、より高度なフレーム補間方法として、現フレームとその１つ前のフレームとに着目して、フレーム間の動きベクトルを利用した動き補償処理を用いる方法が知られている。この方法では、動きベクトル情報をもとに、フレーム間の動きを特定し、この情報をもとに補間フレームを作成するものである。

このような補間方法において、動きベクトルの精度を高めるために、検索範囲を２段階に分けて動きベクトルを探索する方法や、周囲の動きベクトルとの比較を行なうことにより、不適切な動きベクトルを除去するスムージング処理を行なうなどの手法が提案されている（例えば、特許文献１参照）。
特開平２００２−２７４１４

上記の零次ホールド法は、ハードウェア化が最も簡単な方法ではあるが、フレームの繰り返し部分において、モーションジャダー（ぎこちない動き）が発生し、映像の動きに目立った不自然さが現われるという問題がある。また、直線補間法では、画像のエッジ部分で２重残像妨害が発生し、このため、全体的にボケ感を有する映像になるという問題がある。

さらに、動き補償処理を用いる従来の補間方法では、検索範囲全体にわたりパターンマッチングを行なう必要があることにより、多くの演算量が必要となるし、また、周囲画素間の相関の考慮や時間方向の連続性の考慮も必要であり、このため、演算が非常に複雑になって構成が複雑化，大規模化するという問題もある。

本発明はかかる問題に鑑みてなされたものであって、その目的は、より簡単な回路構成でより精度の高いフレームレートの変換を行なうことができるようにした映像補間装置とこれを用いたフレームレート変換装置，映像表示装置を提供することにある。

上記目的を達成するために、本発明は、映像信号の１つ前のフレームと現フレームとの間に内挿する補間フレームを生成する映像補間装置であって、補間フレーム内の補間位置に関して点対称となる１つ前のフレームの画素と現フレームの画素との組を画素ペアとし、かつ該１つ前のフレームでの該補間フレーム内の補間位置に正対した位置を該１つ前のフレームでの補間位置とし、該現フレームでの該補間フレーム内の補間位置に正対した位置を該現フレームでの補間位置として、該１つ前のフレームでの該画素ペアとなる一方の画素と、該現フレームでの該画素ペアとなる他方の画素よりも該現フレームての補間位置に１つ近い位置の画素との組を第１の拡張画素ペアとし、さらに、該１つ前のフレームでの該画素ペアとなる一方の画素よりも該１つ前のフレームでの補間位置に１つ近い位置の画素と、該現フレームでの画素ペアとなる他方の画素との組を第２の拡張画素ペアとし、
画素ペア，該第１の拡張画素ペア及び該第２の拡張画素ペアの夫々の画素の輝度値の差分を計算し、差分の絶対値が最小となる画素ペア，該第１の拡張画素ペアもしくは該第２の拡張画素ペアを差分最小画素ペアとして、該差分最小画素ペアの画素の位置情報を、補間画素ベクトルとして、算出する差分最小画素ペア算出手段と、補間画素ベクトルを用いて該補間位置の補間画素を生成し、該補間画素からなる補間フレームを生成する補間フレーム生成手段とを備えたものである。

また、最小差分画素ペア算出手段が、１つ前のフレームと現フレーム毎に、前記補間フレーム内の前記補間位置に正対する画素を中心画素とし、該中心画素を中心として水平方向，垂直方向に所定の画素数の検索領域を設定し、画素ペアを、前記補間位置に関して点対称の位置にある該１つ前のフレームの該検索領域内の画素と該現フレームの該検索領域での画素とからなるものとするものである。

また、補間フレーム生成手段は、補間画素ベクトルによる差分最小画素ペアとなる画素の値をもとに補間画素の値を決定し、該補間画素からなる補間フレームを生成するものである。

また、補間画素の値は、前記差分最小画素ペアとなる画素の輝度値に応じた輝度値と色値に応じた色値であるものである。

上記目的を達成するために、本発明は、映像信号の１つ前のフレームと現フレームとの間に内挿する補間フレームを生成する映像補間装置であって、補間フレーム内の補間位置に関して点対称となる１つ前の１フレームの画素と現フレームの画素との組を画素ペアとし、かつ該１つ前のフレームでの該補間フレーム内の補間位置に正対した位置を該１つ前のフレームでの補間位置とし、該現フレームでの該補間フレーム内の補間位置に正対した位置を該現フレームでの補間位置として、該１つ前のフレームでの該画素ペアとなる一方の画素と、該現フレームでの該画素ペアとなる他方の画素よりも該現フレームての補間位置に１つ近い位置の画素との組を第１の拡張画素ペアとし、さらに、該１つ前のフレームでの該画素ペアとなる一方の画素よりも該１つ前のフレームでの補間位置に１つ近い位置の画素と、該現フレームでの画素ペアとなる他方の画素との組を第２の拡張画素ペアとし、該画素ペア，該第１の拡張画素ペア及び第２の拡張画素ペアの夫々の画素のＲ，Ｇ，Ｂ値の差分を計算し、Ｒ，Ｇ，Ｂ毎に、該差分の絶対値が最小となる画素ペア，該第１の拡張画素ペアもしくは第２の拡張画素ペアを差分最小画素ペアとして、該差分最小画素ペアの画素の位置情報を、補間画素ベクトルとして、算出する差分最小画素ペア算出手段と、補間画素ベクトルを用いて該補間位置の補間画素を生成し、該補間画素からなる補間フレームを生成する補間フレーム生成手段とを備えたものである。

また、最小差分画素ペア算出手段は、１つ前のフレームと現フレーム毎に、前記補間フレーム内の前記補間位置に正対する画素を中心画素とし、該中心画素を中心として水平方向，垂直方向に所定の画素数の検索領域を設定し、画素ペアを、前記補間位置に関して点対称の位置にある該１つ前のフレームの該検索領域内の画素と該現フレームの該検索領域での画素とからなるものである。

また、補間フレーム生成手段は、前記差分の絶対値が最も小さい前記補間画素ペアのＲ，Ｇ，Ｂの値の平均値を前記補間位置での補間画素の値として、前記補間フレームを生成するものである。

上記目的を達成するために、本発明は、映像信号の１つ前のフレームと現フレームとの間に内挿する補間フレームを生成する映像補間装置であって、補間フレーム内の補間位置に関して点対称となる１つ前のフレームの画素と現フレームの画素との組を画素ペアとし、かつ該１つ前のフレームでの該補間フレーム内の補間位置に正対した位置を該１つ前のフレームでの補間位置とし、該現フレームでの該補間フレーム内の補間位置に正対した位置を該現フレームでの補間位置として、該１つ前のフレームでの該画素ペアとなる一方の画素と、該現フレームでの該画素ペアとなる他方の画素よりも該現フレームての補間位置に１つ近い位置の画素との組を第１の拡張画素ペアとし、さらに、該１つ前のフレームでの該画素ペアとなる一方の画素よりも該１つ前のフレームでの補間位置に１つ近い位置の画素と、該現フレームでの画素ペアとなる他方の画素との組を第２の拡張画素ペアとし、該画素ペア，該第１の拡張画素ペア及び第２の拡張画素ペアの夫々の画素の輝度値の差分を計算し、該差分の絶対値が小さい方から所定の個数の画素ペア，該第１の拡張画素ペアもしくは第２の拡張画素ペアを候補補間画素ペアとして、該候補補間画素ペアの画素の位置情報を、候補補間画素ベクトルとして、算出する候補補間画素ベクトル算出手段と、１つ前のフレームと該現フレームとからエッジ情報を検出するエッジ検出手段と、エッジ情報をもとに、候補補間画素ベクトル算出手段で検出された候補補間画素ペアのうちの所定のエッジ条件を満たす候補補間画素ペアを、補間画素ペアとして、選択する候補補間画素ベクトル判定手段と、補間画素ベクトル判定手段で選択された該補間画素ペアの補間画素ベクトルを用いて該補間位置の補間画素を生成し、該補間画素からなる補間フレームを生成する補間フレーム生成手段とを備えたものである。

また、候補補間画素ベクトル判定手段で選択される補間画素ペアの補間画素ベクトルの出現数を、該補間画素ベクトルが示す方向毎に判別して、カウントし、該出現数によって支配的な補間画素ベクトルの方向を、グローバルベクトルとして、検出する補間方向ヒストグラム検出手段を設け、候補補間画素ベクトル判定手段は、前記候補補間画素ベクトル算出手段で選択された候補補間画素ペアのうち、前記エッジ条件を満足し、かつ候補補間画素ベクトルの方向が該グローバルベクトルの方向と一致する候補補間画素ペアを補間画素ペアとして選択し、選択した該補間画素ペアの補間画素ベクトルを前記補間フレーム生成手段に供給するものである。

また、補間方向ヒストグラム検出手段は、検出した前記グローバルベクトルをその方向に応じてグループ分けする手段を備え、候補補間画素ベクトル判定手段は、前記グローバルベクトルの方向が属するグルーブに方向が含まれる前記候補補間画素ベクトルを、前記グローバルベクトルに一致した補間画素ベクトルと判定するものである。

また、候補補間画素ベクトル判定手段は、前記エッジ条件を満足し、かつ前記グローバルベクトルの方向と一致する候補補間画素ペアが複数存在するとき、前記補間位置からみたグローバルベクトルの方向での１つ前のフレームまたは現フレームでの画素と前記補間位置に正対する１つ前のフレームまたは現フレームでの中心画素との間の第１の距離を求め、該候補補間画素ベクトルのうちの候補補間画素ペアの画素と該中心画素との距離が該第１の距離に最も近い候補補間画素ペアを前記補間画素ペアとして選択するものである。

上記目的を達成するために、本発明は、映像信号の１つ前のフレームと現フレームとの間に内挿する補間フレームを生成する映像補間装置であって、
１つ前のフレームと現フレームとで、該補間フレーム内の補間位置に関して検索領域を指定する検索領域指定手段と、検索領域指定種段で指定された検索領域内で、補間フレーム内の補間位置に関して点対称となる１つ前のフレームの画素と現フレームの画素との組を画素ペアとし、かつ該１つ前のフレームでの該補間フレーム内の補間位置に正対した位置を該１つ前のフレームでの補間位置とし、該現フレームでの該補間フレーム内の補間位置に正対した位置を該現フレームでの補間位置として、該１つ前のフレームでの該画素ペアとなる一方の画素と、該現フレームでの該画素ペアとなる他方の画素よりも該現フレームての補間位置に１つ近い位置の画素との組を第１の拡張画素ペアとし、さらに、該１つ前のフレームでの該画素ペアとなる一方の画素よりも該１つ前のフレームでの補間位置に１つ近い位置の画素と、該現フレームでの画素ペアとなる他方の画素との組を第２の拡張画素ペアとし、該画素ペア，該第１の拡張画素ペア及び第２の拡張画素ペアの夫々の画素の輝度値の差分を計算し、該差分の絶対値が小さい方から所定の個数の画素ペア，該第１の拡張画素ペアもしくは第２の拡張画素ペアを候補補間画素ペアとして、該候補補間画素ペアの画素の位置情報を、候補補間画素ベクトルとして、算出する候補補間画素ベクトル算出手段と、１つ前のフレームと該現フレームとからエッジ情報を検出するエッジ検出手段と、エッジ情報をもとに、候補補間画素ベクトル算出手段で検出された候補補間画素ペアのうちの所定のエッジ条件を満たす候補補間画素ペアを、補間画素ペアとして、選択する候補補間画素ベクトル判定手段と、補間画素ベクトル判定手段で選択された該補間画素ペアの補間画素ベクトルを用いて該補間位置の補間画素を生成し、該補間画素からなる補間フレームを生成する補間フレーム生成手段と、候補補間画素ベクトル判定手段で選択される補間画素ペアの補間画素ベクトルの出現数を、該補間画素ベクトルが示す方向毎に判別して、カウントし、該出現数によって支配的な補間画素ベクトルの方向を、グローバルベクトルとして、検出する補間方向ヒストグラム検出手段とを設け、検索領域指定手段は、該補間フレームの補間位置から該補間方向ヒストグラム検出手段で検出された該グローバルベクトルの方向に該検索領域を設定するものである。

上記目的を達成するために、本発明によるフレームレート変換装置は、上記映像補間装置で生成された補間フレームを前記１つ前のフレームと前記現フレームとの間に内挿し、前記映像信号のフレームレート変換を行なうものである。

上記目的を達成するために、本発明による映像表示装置は、上記フレームレート変換装置でフレームレート変換された映像信号を映像表示するものである。

本発明によれば、映像信号の１つ前のフレームと現フレームとの間で、補間フレームの補間位置に関し、高い相関がある画素ペアを検出し、かかる画素ペアを用いて補間フレームの補間画素を生成するものであるから、簡単な構成でもってこれらフレーム間での映像の動きも検出できて、この動きに応じた精度の高い補間フレームを生成することができる。

また、エッジ情報や１つ前の補間フレームの動き情報を考慮して次の補間フレームを生成できるので、より精度の高い補間フレームを生成できて、かつ誤検出を抑圧することができ、映像信号の高精度なフレームレート変換を実現することができる。

以下、本発明の実施形態を図面により説明する。

図１は本発明による映像補間装置の第１の実施形態を示すブロック図であって、１は入力端子、２はフレームメモリ、３は遅延調整部、４は最小差分画素ペア算出部、５は補間フレーム生成部、６は出力端子である。

同図において、入力端子１から入力される映像信号のフレームは、現フレームＦ₊₁として、フレームメモリ２と最小差分画素ペア算出部４とに供給される。フレームメモリ２はこの現フレームＦ₊₁を１フレーム期間遅延するものであって、このフレームメモリ２から読み出されるフレームは、入力端子１から入力される現フレームＦ₊₁の１つ前のフレームＦ_-1として、最小差分画素ペア算出部４に供給される。

最小差分画素ペア算出部４では、現フレームＦ₊₁と１つ前のフレームＦ_-1とから補間フレームの画素を生成するための画素ペアの位置情報（以下、補間画素ベクトルという）が検出される。この補間画素ベクトルが補間フレーム生成部５に供給される。補間フレーム生成部５では、この補間画素ベクトルをもとに、遅延調整部３で遅延された供給される現フレームＦ₊₁と１つ前のフレームＦ_-1を処理して補間フレームＦ₀を生成する。この補間フレームＦ₀は出力端子６から出力され、図示しないフレーム補間部に供給されて現フレームＦ₊₁と１つ前のフレームＦ_-1との間に内挿される。

なお、以下の実施形態では説明を省略するが、上記フレーム補間部では、入力されるフレームや生成された補間フレームが時間軸圧縮された後、隣り合う２つの入力フレーム間にこの補間フレームが内挿されるものであり、これにより、映像表示する表示装置に適合したフレームレートに変換された映像信号が得られる。従って、映像補間装置とフレーム補間部とにより、フレームレート変換装置が構成されることになる。また、フレームレート変換装置で補間フレームが内挿されてフレームレート変換された映像信号は、ＰＤＰやＬＣＤなどの映像表示装置に供給されて映像表示が行なわれる。

ここで、最小差分画素ペア算出部４の処理動作について説明する。

図２は１つ前のフレームＦ_-1と現フレームＦ₊₁と補間フレームＦ₀との関係を示す図である。

同図において、補間フレームＦ₀の水平，垂直方向の画素数は入力されるフレーム（即ち、現フレームＦ₊₁や１つ前のフレームＦ_-1：以下、これを、補間フレームに対し、入力フレームという）との画素数に等しい（例えば、ＸＧＡの場合は水平１２８０画素、垂直７６８画素：ここでは、水平方向９画素×垂直方向５画素として図示している）。従って、これらフレームＦ₊₁，Ｆ_-1，Ｆ₀間では、互いに対向する画素Ｐがある。

いま、補間フレームＦ₀での補間画素を補間しようとする位置、即ち、補間位置をＰ₀（ｉ，ｊ）とし、１つ前のフレームＦ_-1でこの補間位置Ｐ₀（ｉ，ｊ）と正対する（なお、フレーム同士を重ねたときに位置が一致する画素同士を、以下、「正対する」という）画素位置をＰ_-1（ｉ，ｊ）、現フレームＦ₊₁でこの補間位置Ｐ₀（ｉ，ｊ）と正対する画素位置をＰ₊₁（ｉ，ｊ）とすると（但し、ｉ，ｊ＝０，１，２，……）、１つ前のフレームＦ_-1でこの画素位置Ｐ_-1（ｉ，ｊ）での画素を中心画素とする水平方向の画素数Ｋ，垂直方向の画素数Ｌの検索領域ＳＡ_-1を設定し（但し、Ｋ，Ｌは３以上の奇数）、現フレームＦ₊₁でこの画素位置Ｐ₊₁（ｉ，ｊ）での画素を中心画素とする水平方向の画素数Ｋ，垂直方向の画素数Ｌの検索領域ＳＡ₊₁を設定する。そして、１つ前のフレームＦ_-1での検索領域ＳＡ_-1内の画素位置Ｐ_-1（ｉ＋ｍ，ｊ＋ｎ）の画素と補間フレームＦ₀での補間位置Ｐ₀（ｉ，ｊ）を介して対向する現フレームＦ₊₁での検索領域ＳＡ₊₁内の画素位置Ｐ₊₁（ｉ−ｍ，ｊ−ｎ）の画素とがペアを構成するものとし、これらをまとめて画素ペアということにする。

図３は図２での１つ前のフレームＦ_-1での検索領域ＳＡ_-1，現フレームＦ₊₁での検索領域ＳＡ₊₁とこれらに対向する補間フレームＦ₀での領域ＳＡ₀とを拡大して示す図である。

同図において、各検索領域ＳＡ_-1，検索領域ＳＡ₊1を夫々水平方向３画素×垂直方向３画素の領域とし、検索領域ＳＡ_-1の画素位置Ｐ_-1（ｉ，ｊ）での画素を、検索領域ＳＡ_-1の左上隅の画素から右下隅の画素まで水平方向に繰り返す順序で、夫々ａ１，ａ２，ａ３，……，ａ９とし、同様に、検索領域ＳＡ₊1の画素位置Ｐ₊1（ｉ，ｊ）での画素も、順にｂ１，ｂ２，ｂ３，……，ｂ９とする。従って、検索領域ＳＡ_-1は画素ａ５を中心に設定されたものであり、検索領域ＳＡ₊1は画素ｂ５を中心に設定されたものである。また、補間フレームＦ₀の領域ＳＡ₀内の補間位置Ｐ₀（ｉ，ｊ）は、検索領域ＳＡ₊1の中心画素ｂ５と検索領域ＳＡ_-1の中心画素ａ５とに正対している。この補間位置Ｐ₀（ｉ，ｊ）での補間画素をｃ５とする。

このような検索領域ＳＡ_-1と検索領域ＳＡ₊1とにおいて、検索領域ＳＡ_-1での画素ａ１は補間フレームＦ₀の領域ＳＡ₀の補間画素ｃ５を介して検索領域ＳＡ₊1の画素ｂ９と対向しており（即ち、画素ａ１と画素ｂ９とは、補間画素ｃ５に関して点対称の位置関係にある）、このような関係にある画素同士の組み合わせを画素ペアというのである。従って、この場合には、
画素ａ１−ｂ９，画素ａ２−ｂ８，画素ａ３−ｂ７，
画素ａ４−ｂ６，画素ａ５−ｂ５，画素ａ６−ｂ４，
画素ａ７−ｂ３，画素ａ８−ｂ２，画素ａ９−ｂ１
の９個の画素ペアが存在することになる。

図１における差分最小ペア算出部４は、まず、各画素ペア毎に、画素ペアを構成する画素の輝度値の差分値を算出し、その差分値の絶対値が最小となる画素ペアを求める。即ち、画素ａ１，ａ２，……，ａ９の輝度値を夫々ａ１，ａ２，……，ａ９とし、画素ｂ１，ｂ２，……，ｂ９の輝度値を夫々ｂ１，ｂ２，……，ｂ９とすると、上記の画素ペアの輝度値の差分の絶対値ΔＹ（ｋ）は（但し、ｋ＝１，２，……，９）、
ΔＹ（１）＝｜ａ１−ｂ９｜， ΔＹ（２）＝｜ａ２−ｂ８｜，
ΔＹ（３）＝｜ａ３−ｂ７｜， ΔＹ（４）＝｜ａ４−ｂ６｜，
ΔＹ（５）＝｜ａ５−ｂ５｜， ΔＹ（６）＝｜ａ６−ｂ４｜，
ΔＹ（７）＝｜ａ７−ｂ３｜， ΔＹ（８）＝｜ａ８−ｂ２｜，
ΔＹ（９）＝｜ａ９−ｂ１｜
（但し、｜Ａ｜は絶対値を表わす。以下同様）
となり、かかる差分の絶対値ΔＹ（ｋ）が最小となる画素ペアを求めて差分最小画素ペアとする。

このようにして、差分最小画素ペアが得られると、この差分最小画素ペアを構成する夫々の画素の位置情報を、補間画素ベクトルとして、補間フレーム生成部５に出力する。

図１に戻って、補間フレーム生成部５は、差分最小ペア算出部４からの補間画素ベクトルをもとに、遅延調整部３で遅延調整された現フレームＦ₊₁と１つ前のフレームＦ_-1とを処理し、補間フレームＦ₀を生成する。なお、遅延調整部３は、差分最小ペア算出部４での処理による遅れに応じて、現フレームＦ₊₁と１つ前のフレームＦ_-1とを遅らし、これら現フレームＦ₊₁と１つ前のフレームＦ_-1とのタイミングを補間画素ベクトルのタイミングに合わせるものである。

ここで、補間画素ベクトルは、差分最小画素ペアを構成する１つ前のフレームＦ_-1での画素が次の現フレームＦ₊₁では、この差分最小画素ペアを構成するこの現フレームＦ₊₁での画素の位置に移動したことを示すものであり、１つ前のフレームＦ_-1から現フレームＦ₊₁への移動方向を表わしている。この移動方向は、補間フレームＦ₀での補間位置Ｐ₀（ｉ，ｊ）を通るものである。図３において、例えば、１つ前のフレームＦ_-1での画素ａ２と現フレームＦ₊₁での画素ｂ８とのペアが差分最小画素ペアとして検出されたものとすると、補間フレームＦ₀での補間位置Ｐ₀（ｉ，ｊ）に対しては、１つ前のフレームＦ_-1での画素ａ２が、現フレームＦ₊₁では、画素ｂ８となったことになり、フレームＦ_-1，Ｆ₊₁間で画素ａから画素ｂ８の方向に移動したことになる。この方向は、補間フレームＦ₀での補間位置Ｐ₀（ｉ，ｊ）を通る。

そこで、補間フレーム生成部５では、遅延調整部３からの１つ前のフレームＦ_-1の画素のうち、補間画素ベクトルをもとに、その差分最小画素ペアを形成する一方の画素を１つ前のフレームＦ_-1から抽出し、また、遅延調整部３からの現フレームＦ₊₁の画素のうち、補間画素ベクトルをもとに、その差分最小画素ペアを形成する他方の画素を現フレームＦ₊₁抽出し、抽出したこれら画素の輝度値及び色値の平均値を求め、これを補間フレームＦ₀の補間位置Ｐ₀（ｉ，ｊ）での補間画素の輝度値，色値とする。なお、補間画素の値（輝度値や色値）を上記の平均値とすることに限らず、例えば、１つ前のフレームＦ_-1と現フレームＦ₊₁の夫々で抽出した上記画素の値を、夫々所望とする重み付けをして、加算した値を補間画素の値としたり、１つ前のフレームＦ_-1と現フレームＦ₊₁とのいずれか一方の画素の値を補間画素の値とするなど、他の方法で補間画素を生成するようにしてもよい。

このようにして、入力端子１から現フレームＦ₊₁が入力されると、その画素毎に、差分最小ペア算出部４で補間画素ベクトルが生成され、補間フレーム生成部５で、この補間画素ベクトルをもとに、遅延調整部３からの１つ前のフレームＦ_-1と現フレームＦ₊₁との画素から補間画素が形成され、補間フレームＦ₀が生成される。

なお、補間フレーム生成部では、上記のように輝度値から求めた補間画素ベクトルをもとに、補間画素Ｐ₀（ｉ，ｊ）の色値も求めるものであるが、これに限るものではなく、入力信号がＲ（赤），Ｇ（緑），Ｂ（青）の色信号である場合には、輝度信号Ｙと色差信号Ｃｂ，Ｃｒとへのマトリクス変換を行ない、夫々毎に補間画素ベクトルを求め、あるいはまた、Ｒ，Ｇ，Ｂ信号毎に補間画素ベクトルを算出し、補間画素の輝度値，色差値を求めるようにしてもよい。

また、輝度値で補間画素ベクトルを算出し、補間フレームはＲ，Ｇ，Ｂ信号から生成するようにしてもよい。

さらに、輝度値，色値毎に補間画素ベクトルを算出し、これらが共に同じ方向を示す場合、この補間画素ベクトルは信頼性が高いとして採用し、これらが全く異なる方向を示す場合には、信頼性が低いとして、求めた補間画素ベクトルは用いず、例えば、直線補間法などの他の方法で補間フレームを作成するようにしてもよい。

以上のように、この実施形態では、小さい回路規模で精度の高い補間フレームを作成することができ、より高精度なフレームレート変換を行なうことができる。

図４は本発明による映像補間装置の第２の実施形態を示すブロック図であって、７は候補補間画素ベクトル算出部、８はエッジ検出部、９は補間画素ベクトル判定部であり、図１に対応する部分には同一符号を付けて重複する説明を省略する。

図１に示す第１の実施形態では、差分最小ペア算出部４で画素ペアを算出するとともに、輝度値の差分の絶対値が最小となる特定の１つの画素ペアを差分最小画素ペアを選択して補間画素ベクトルを生成するものであったが、この第２の実施形態は、算出した画素ペアのうちから輝度値の差分の絶対値が小さい順に複数の画素ペアを選択し、さらに、この選択した複数の画素ペアから、エッジ情報に基づいて、特定の画素ペアを選択して補間画素ベクトルを求めるものである。

図４において、候補補間画素ベクトル算出部７では、図１における差分最小ペア算出部４と同様に、図３で説明したような検出範囲ＳＡでの画素ペアを求め、夫々の輝度値の差分の絶対値を求め、この差分の絶対値の小さい順にＸ個（例えば、１０個など）の画素ペアを候補画素ペアとして選択し、夫々の候補画素ペアの補間画素ベクトルを算出して、候補補間画素ベクトルとして補間ペア判定部９に供給する。

エッジ検出部８には、フレームメモリ２から１つ前のフレームＦ_-1が、入力端子１から現フレームＦ₊₁が、さらに、候補補間画素ベクトル算出部７から検出範囲ＳＡが夫々供給され、これらをもとに、この検索領域ＳＡ中での水平方向のエッジの有無や方向が検出され、エッジ情報として補間画素ベクトル判定回路９に供給される。

補間画素ベクトル判定回路９では、候補補間画素ベクトル算出部７から供給されるＸ個の候補補間画素ベクトルのうち、エッジ検出部８からのエッジ情報による後述のエッジ条件を満たす候補補間画素ベクトルが選択され、補間画素ベクトルとして補間フレーム生成部５に供給される。エッジ条件を満たす候補補間画素ベクトルが複数存在する場合には、より補間位置に近い画素からなる候補画素ペアの候補補間画素ベクトルを選択する。

補間フレーム生成部５では、図１における補間フレーム生成部５と同様、補間画素ベクトル判定回路９で選択された補間画素ベクトルをもとに、遅延調整部３からの１つ前のフレームＦ_-1と現フレームＦ₊₁とを用いて補間フレームＦ₀を生成する。

ここで、補間画素ベクトル判定回路９で用いるエッジ条件について説明する。

図５は候補補間画素ベクトルの差分最小画素ペアを構成する画素に対するエッジの有無を検出する方法の一具体例を示す図である。ここでは、１つ前のフレームＦ_-1の検索領域ＳＡ_-1、あるいは現フレームＦ₊₁の検索領域ＳＡ₊₁を検索領域ＳＡとして示している。

同図において、いま、検索領域ＳＡを水平方向５画素×垂直方向５画素の領域とし、この検索領域ＳＡでのエッジ検出部８の検出処理により、水平方向左から１列目の画素列と２列目の画素列との間に水平エッジＥＧ１が存在し、また、水平方向４列目の画素列と５列目の画素列との間に水平エッジＥＧ２が存在するものとする。また、水平エッジＥＧ１，ＥＧ２との間が輝度レベルが高い領域であり、この高輝度領域の両側が低輝度レベルの領域とする。なお、この検索領域ＳＡの中心画素は画素ａ（２，２）である。

いま、水平方向左から１列目の画素列の最下部の画素ａ（０，４）が候補画素ペアの一方の画素とし、これが判定対象とすると、この判定対象の画素ａ（０，４）について、エッジ条件の１つとして、エッジの有無が判定されるのであるが、その判定方法としては、この判定対象画素ａ（０，４）を通る水平線Ｈ１とこの検索領域ＳＡでの中心画素ａ（２，２）を通る垂直線Ｖと交わる位置の画素ａ（２，４）を求め、画素ａ（０，４）から画素ａ（２，４）までの間（かかる範囲を、以下、補間位置まで水平方向の範囲という）での水平エッジの有無の判定を行なう。この有無の判定は、判定対象画素ａ（０，４）から画素ａ（２，４）までの補間位置までの水平方向の範囲内の画素の位置とエッジ検出部８からのエッジ情報とから行なうことができる。この判定対象画素ａ（０，４）に対しては、これとその右隣りの画素との間に水平エッジＥＧ１が存在するから、「エッジ有り」という判定になる。同様にして、水平方向左から５列目の画素列の最上部の画素ａ（４，０）が候補画素ペアの一方の画素とし、これを判定対象画素すると、上記と同様に、この判定対象画素ａ（４，０）を通る水平線Ｈ２とこの検索領域ＳＡでの中心画素ａ（２，２）を通る垂直線Ｖと交わる位置の画素ａ（２，０）を求め、判定対象画素ａ（４，０）から画素ａ（２，０）までの補間位置までの水平方向の範囲での水平エッジの有無の判定を行なう。この判定対象画素ａ（４，０）に対しては、これとその左隣りの画素との間に水平エッジＥＧ２が存在するから、「エッジ有り」という判定になる。

また、水平方向左から２列目の画素列の下から２番目の画素ａ（１，３）が候補画素ペアの一方の画素とし、これを判定対象画素とすると、上記と同様に処理することにより、その補間範囲までの範囲内に水平エッジはないから、この判定対象画素ａ（１，３）に対しては、「エッジなし」という判定になる。同様にして、水平方向左から４列目の画素列の上から２番目の画素ａ（３，１）が候補画素ペアの一方の画素とし、これを判定対象画素とすると、その補間範囲までの範囲内に水平エッジはないから、この判定対象画素ａ（３，１）に対しては、「エッジなし」という判定になる。

このようにして、１つ前のフレームＦ_-1の検索領域ＳＡ_-1と現フレームＦ₊₁の検索領域ＳＡ₊₁とでの候補画素ペアの夫々の画素について、エッジ条件として、エッジの有無を判定する。

図６は以上のエッジの有無の判定結果を用いた候補画素ペアの選択方法の一具体例を示す図である。

同図において、１つ前のフレームＦ_-1の検索領域ＳＡ_-1での画素ａ２１，ａ１７は夫々図５における画素ａ（０，４），ａ（１，３）に相当し、現フレームＦ₊₁の検索領域ＳＡ₊₁での画素ｂ５，ｂ９は夫々図５における画素ａ（４，０），ａ（３，１）に相当する。また、検索領域ＳＡ_-1，ＳＡ₊₁の図５の検索領域ＳＡに対応する位置に水平エッジＥＧ１，ＥＧ２が存在するものとする。

この場合、検索領域ＳＡ_-1の画素ａ２１と検索領域ＳＡ₊₁の画素ｂ５とは、補間フレームＦ₀の補間位置Ｐ₀に関して点対称の位置関係にあり、選択された候補画素ペアをなしている。この候補画素ペア〔ａ２１‖ｂ５〕に対しては、上記の判定処理により、判定対象画素ａ２１とその右隣りの画素との間の画素間ｃと次の画素間ｄとについて、水平エッジの有無が判定され、画素間ｃに水平エッジＥＧ１があるから、この画素ａ２１に対しては、「エッジ有り」と判定される。判定対象画素ｂ５とその左隣りの画素との間の画素間ａと次の画素間ｄとについて、水平エッジの有無が判定され、画素間ａに水平エッジＥＧ２があるから、この画素ｂ５に対しては、「エッジ有り」と判定される。このように、候補画素ペア〔ａ２１‖ｂ５〕のいずれの画素ａ２１，ｂ５も「エッジ有り」と判定されると、その候補補間画素ベクトルは「採用しない」と判定され、選択されない。

また、検索領域ＳＡ_-1の画素ａ１７と検索領域ＳＡ₊₁の画素ｂ９も、補間フレームＦ₀の補間位置Ｐ₀に関して点対称の位置関係にあり、選択された候補画素ペアをなしている。この候補画素ペア〔ａ１７‖ｂ９〕に対しては、上記の判定処理により、画素間ｆ，ｅで水平エッジの有無が判定され、この場合には、画素ａ１７，ｂ９がともに「エッジなし」と判定されることになるので、エッジがない候補画素ペアに対しては、その候補補間画素ベクトルが「採用する」と判定されて選択される。

このように、候補画素ペアのいずれの画素についても「エッジ有り」という判定がある場合には、この候補画素ペアの候補補間画素ベクトルは候補補間画素ベクトル判定部９で選択されない。

これは、次の理由によるものである。
即ち、図１に示す第１の実施形態のように、検出される画素ペアのうち、その輝度値の差分値の絶対値が最小となる画素ペアを差分最小画素ペアとして選択すると、候補画素ペア〔ａ２１‖ｂ５〕の輝度値の差分値の絶対値が、これら画素ａ２１，ｂ５が低レベル領域に有ることから、候補画素ペア〔ａ１７‖ｂ９〕の輝度値の差分値の絶対値よりも小さくなる場合がある。このような場合には、候補画素ペア〔ａ２１‖ｂ５〕が選択されてその候補補間画素ベクトルが補間フレーム生成部５に供給されて、この候補補間画素ベクトルによって補間フレームＦ₀が生成されてしまうことになる。

このような場合、この候補画素ペア〔ａ２１‖ｂ５〕が選択されたのは、これら画素ａ２１，ｂ５がいずれも低レベル領域に有ったことによる場合もあり、かかる候補画素ペア〔ａ２１‖ｂ５〕から高レベル領域の補間画素が生成されるのは誤っている場合が多い。そして、このような誤って選択された画素ペアで補間画素が生成されると、モーションジャダーなどが発生して画質の劣化を招く可能性もある。

第２の実施形態では、上記のように、エッジ条件をもとに、複数の候補補間画素ベクトルを選択するものであるから、上記のようなエッジ条件を満足しない候補補間画素ベクトルは除かれることになり、フレーム補間に伴う画質の劣化を防止することができる。

ところで、以上の具体例は、候補画素ペアのいずれの画素も「エッジ有り」の判定がなされる場合を示すものであったが、「エッジ有り」の判定を受けても、即ち、判定対象画素から補間位置までの水平方向の範囲内の画素間に水平エッジがあったとしても、唯一であるか（即ち、候補画素ペアで一箇所の画素間でのみ水平エッジが検出される）、複数の画素間で水平エッジが検出されても、全て同じ方向であることを確認し、このエッジ条件を満足する候補画素ペアの候補補間画素ベクトルを選択する。ここで、輝度値が高い方から低い方への向きをエッジの方向という。

例えば、図６において、候補画素ペア〔ａ２１‖ｂ５〕についてみると、画素ａ２１については、画素間ｃに水平エッジＥＧ１があり、画素ｂ５については、画素間ａに水平エッジＥＧ２があり、２つの画素間で水平エッジが検出されることになる。そして、画素間ｃでのエッジ方向は左方向であり、画素間ａでのエッジ方向は右方向となるから、この候補画素ペア〔ａ２１‖ｂ５〕の２つのエッジの方向は異なることになる。従って、かかる候補画素ペア〔ａ２１‖ｂ５〕はエッジ条件を満たしていないことになり、この候補画素ペア〔ａ２１‖ｂ５〕の候補補間画素ベクトルは候補補間画素ベクトル判定部９で選択されないことになる。

また、例えば、図７に示すように、１つ前のフレームＦ_-1の検索領域ＳＡ_-1と現フレームＦ₊₁の検索領域ＳＡ₊₁とで右上がり方向のエッジがあるものとした場合、検索領域ＳＡ_-1での画素ａ２１と検索領域ＳＡ₊₁での画素ｂ５とが候補補間画素ベクトル算出部７で候補画素ペア〔ａ２１‖ｂ５〕として選択されたとすると、その画素ｂ５については、補間位置までの水平方向の範囲内の画素間ａ，ｂで水平エッジの有無が検出され、画素ａ２１についても、補間位置までの水平方向の範囲内の画素間ｃ，ｄで水平エッジの有無が検出される。この場合、画素間ａのみに水平エッジが存在するから、唯一の水平エッジであり、この候補画素ペア〔ａ２１‖ｂ５〕の候補補間画素ベクトルは選択されることになる。また、検索領域ＳＡ_-1での画素ａ１７と検索領域ＳＡ₊₁での画素ｂ９との候補画素ペア〔ａ１７‖ｂ９〕についても、それらに対する画素間ｆ，ｅでの水平エッジの有無が検出される。この場合には、画素間ｅにのみ水平エッジが検出されることになるから、唯一の水平エッジであり、この候補画素ペアの候補補間画素ベクトルが選択される。

即ち、図７において、画素ａ２１と画素ｂ５とが候補画素ペアをなし、また、画素ａ１７と画素ｂ９とが候補画素ペアをなしているものとすると、上記のエッジ判定に基づいて、これら候補画素ペア〔ａ２１‖ｂ５〕，〔ａ１７‖ｂ９〕の候補補間画素ベクトルがともにエッジ条件を満たしているものとして選択されることになる。

但し、このように、エッジ条件を満たす候補補間画素ベクトルが複数検出された場合には、その候補画素ペアの画素が補間位置Ｐ₀、従って、夫々の検索領域ＳＡ_-1，ＳＡ₊₁での中心画素に近い方の候補画素ペアの候補補間画素ベクトルを選択する。上記の場合、候補画素ペア〔ａ１７‖ｂ９〕の候補補間画素ベクトルが、補間フレーム生成部５（図４）で補間フレームを生成するための補間画素ベクトルとして、選択されることになる。

なお、図６において、例えば、エッジＥＧ１，ＥＧ２の一方が存在しない場合には、候補画素ペア〔ａ２１‖ｂ５〕も、水平エッジが１つの画素間にしか存在しないので、唯一となるが、通常、画素ペアの一方の画素が１つのエッジの一方側（即ち、例えば、高レベル領域内）にあり、他方のエッジがこのエッジの他方側（即ち、例えば、低レベル領域内）にある場合には、これら画素の輝度値の差分の絶対値は大きいから、かかる画素ペアが候補補間画素ベクトル算出部７で候補画素ペアとして選択される可能性は少ない。

図８は図４における候補補間画素ベクトル判定部９の以上の補間画素ベクトルの選択動作を示すフローチャートである。

同図において、候補補間画素ベクトル算出部７が選択した上記の差分値の絶対値が小さい順にＸ個の候補画素ペアの候補補間画素ベクトルを取り込み（ステップ１００）、候補補間画素ベクトル毎に、エッジ検出部８で検出されたエッジ情報をもとに、エッジ条件の判定処理を行なう。この判定処理では、補間位置までの水平方向の範囲内に水平エッジがない候補補間画素ベクトルはエッジ条件を満たしているものとし（ステップ１０１）、また、補間位置までの水平方向の範囲内に水平エッジがあっても、この範囲内での１つの画素間にしか存在しない場合（即ち、唯一である場合）、あるいは複数の画素間に水平エッジが存在しても、これら水平エッジが全て同じ方向である場合も、候補補間画素ベクトルはエッジ条件を満たしているものとする（ステップ１０２）。

そして、Ｘ個の候補補間画素ベクトルについてかかるエッジ条件の判定処理が終了し（ステップ１０３）、この判定処理によって１つの候補補間画素ベクトルのみがエッジ条件を満たす判定されて選択されたときには（ステップ１０４）、この選択された候補補間画素ベクトルが、補間画素ベクトルとして、補間フレーム生成部５に供給され、補間フレームＦ₀の生成に用いられる（ステップ１０６）。また、判定処理によって複数の候補補間画素ベクトルがエッジ条件を満たす判定されて選択されたときには（ステップ１０４）、これら候補補間画素ベクトルのうちの、補間フレームＦ₀の補間位置に最も近い候補画素ペアの候補補間画素ベクトル、即ち、候補画素ペアの夫々の画素が該当する１つ前のフレームＦ_-1の検索領域ＳＡ_-1での中心画素や該当する現フレームＦ₊₁の検索領域ＳＡ₊₁での中心画素に最も近い候補画素ペアの候補補間画素ベクトルを選択し（ステップ１０５）、これを、補間フレームを生成するための補間画素ベクトルとして、補間フレーム生成部５に供給する（ステップ１０６）。

以上のように、この第２の実施形態では、複数の候補補間画素ベクトルから補間フレームＦ₀の生成のための補間画素ベクトルの選択の条件として、エッジ条件を追加することにより、より精度の高い補間フレームを作成することができ、より高精度なフレームレート変換を行なうことが可能となる。

図９は本発明による映像補間装置の第３の実施形態を示すブロック図であって、９ａは候補補間画素ベクトル判定部、１０は補間方向ヒストグラム検出部であり、図４に対応する部分には同一符号を付けて重複する説明を省略する。

この第３の実施形態は、一定速度のスクロールなどによる映像画面全体の移動方向も考慮して、補間フレーム生成部５で補間フレームの生成に用いる補間画素ベクトルを選択するものである。

同図において、図４に示す第２の実施形態と同様、候補補間画素ベクトル判定部９ａでは、候補補間画素ベクトル算出部７で選択されたＸ個の候補補間画素ベクトルのうち、エッジ判定部８からのエッジ情報によるエッジ条件に加え、補間方向ヒストグラム検出部１０で検出される映像画面全体の大まかな移動方向（以下、グローバルベクトルという）ＧＶも利用して、補間フレーム生成部５で補間フレーム生成のための補間画素ベクトルを選択する。このグローバルベクトルＧＶは、前回の補間フレームの生成時に候補補間画素ベクトル判定部９ａでこの補間フレームの補間画素毎に選択された補間画素ベクトルをもとに生成される。

即ち、補間方向ヒストグラム検出部１０は、候補補間画素ベクトル判定部９ａが補間画素ベクトルが出力される毎に、これを取り込み、この取り込んだ補間画素ベクトルによって表わされる方向を判別して区分し、その方向の区分毎に補間画素ベクトルの出現数をカウントして、補間フレームでの全補間画素について、方向毎の補間画素ベクトルのヒストグラムを作成する。そして、このヒストグラムから支配的な方向を検出し、この検出した方向をグローバルベクトルＧＶとするものである。

図１０は得られたヒストグラムの一例を模式的に示すものであって、方向を補間画素ベクトルで表わすものである。

即ち、候補補間画素ベクトル判定部９ａで選択される補間画素ベクトルは、そのとき設定された検索領域ＳＡ_-1，ＳＡ₊₁での候補画素ペアの位置情報を表わすものであるから、かかる検索領域ＳＡ_-1，ＳＡ₊₁での映像の移動方向を表わしている。従って、かかる候補画素ペアの検索領域ＳＡ_-1，ＳＡ₊₁のいずれか一方での画素の位置を指定することにより、検索領域ＳＡ_-1，ＳＡ₊₁での映像の移動方向を特定することができる。

図１０はこのように１つ前のフレームＦ_-1での画素の位置でもって検索領域での映像の移動方向を表わしているものであって、ここでは、水平方向１１画素×垂直方向５画素の検索領域とし、画素をＰ（ｉ，ｊ）としている（但し、ｉ＝０，１，２，……，１０、ｊ＝０，１，２，３，４）。この検索領域での中心画素は画素Ｐ（５，２）である。

そして、例えば、画素Ｐ（０，０）は、現フレームＦ₊₁の検索領域ＳＡ₊₁での画素Ｐ（１０，４）と画素ペアになるものであり、この画素ペアが候補補間画素ベクトル判定部９ａで補間画素ベクトルが選択された画素ペアとすると、このときの検索領域での映像の移動は、このときの１つ前のフレームＦ_-1の検索領域ＳＡ_-1での画素Ｐ（０，０）から現フレームＦ₊₁の検索領域ＳＡ₊₁での画素Ｐ（１０，４）への方向ということになる。

従って、候補補間画素ベクトル判定部９ａから出力される補間画素ベクトルをその画素ペア毎にカウントすることにより、例えば、図１０に示すように、補間フレームＦ₀が作成されたときの補間画素ベクトルのヒストグラムが得られることになる。

このヒストグラムにおいて、カウント数（出現頻度）が「５６８７２」の画素（５，３）が最も補間画素ベクトルの出現頻度が高い画素ということになり、このことから、このときの補間フレームを生成するために設定された全ての検索領域での映像の移動方向は１つ前のフレームＦ_-1での画素（５，３）からこれと中心画素Ｐ（５，２）に点対称の位置にある現フレームＦ₊₁での画素Ｐ（５，１）への方向となり、この方向が１つ前のフレームＦ_-1から現フレームＦ₊₁に移ったときの映像全体の移動方向、即ち、グローバルベクトルＧＶとするものである。ここで、この場合の中心画素Ｐ（５，２）の位置を補間位置Ｐ₀といい、また、グローバルベクトルＧＶを規定する画素（５，３）の位置をグローバルＧＶの位置という。

このようにして、補間方向ヒストグラム検出部１０は、補間フレーム生成部５で補間フレームＦ₀が生成されると、グローバルベクトルＧＶを生成して候補補間画素ベクトル判定部９ａに供給する。候補補間画素ベクトル判定部９ａでは、次の補間フレームＦ₀を生成する際の候補補間画素ベクトル９での補間画素ベクトルの選択のために、このグローバルベクトルＧＶを、エッジ判定部８からのエッジ情報とともに用いる。

候補補間画素ベクトル判定回路９では、候補補間画素ベクトル算出部７で次の補間フレームの生成のためにその補間位置毎に算出された差分値の絶対値が小さい順からＸ個の候補補間画素ベクトルのうち、上記の水平エッジ条件を満たし、かつグローバルベクトルＧＶと方向が一致しているものを補間画素ベクトルとして選択し、補間フレーム生成部５に供給し、また、さらに次の補間フレームの作成の際のグローバルベクトルＧＶの作成のために、補間方向ヒストグラム検出部１０にも供給する。

なお、グローバルベクトルによる方向をグループ化し、候補補間画素ベクトルがこのグローバルベクトルＧＶと完全に方向が一致しなくても、この検出されたグローバルベクトルＧＶが含まれるグループの領域に入る候補補間画素ベクトルは、このグローバルベクトルＧＶと方向が一致とみなすようにしてもよい。

図１１はグローバルベクトルＧＶのグループ化の一具体例を示す図であって、この具体例は図１０で示すヒストグラムの領域、即ち、検索領域を水平，垂直方向に２つずつのエリアに分割し、全体として４つのエリアに分割してグループ化するものである。但し、夫々のグループエリアは一部重複するようにしている。

ここで、図示するように、エリア（１）〜（９）を想定すると、
第１のグループは、エリア（１）＋（２）＋（４）＋（５）
第２のグループは、エリア（２）＋（３）＋（５）＋（６）
第３のグループは、エリア（４）＋（５）＋（７）＋（８）
第４のグループは、エリア（５）＋（６）＋（８）＋（９）
とする。即ち、エリア（２）は第１グループと第２グループとで共有され、エリア（４）は第１グループと第３グループとで共有され、エリア（６）は第２グループと第４グループとで共有され、エリア（８）はは第３グループと第４グループとで共有され、エリア（５）は第１〜第４グループで供給される。なお、このエリア（５）は補間位置Ｐ₀のみを含むものであり、従って、補間位置Ｐ₀はいずれのグループにも含まれることになる。

そこで、いま、グローバルベクトルＧＶが第１グループ内にあるとすると、この第１のグループに属する方向の候補補間画素ベクトルがこのグローバルベクトルＧＶに一致すると判定される。

ところで、候補補間画素ベクトル判定部９ａは、上記の水平エッジ条件を満たし、かつグローバルベクトルＧＶと方向が一致している候補補間画素ベクトルが複数存在する場合には、上記第２の実施形態と同様、より補間位置Ｐ₀に近いものを補間画素ベクトルとして選択するようにするか、グローバルベクトルＧＶの位置から補間位置Ｐ₀までの距離（これを、以下、グローバルディスタンスＧＤという）の値に最も近い補間位置Ｐ₀まで距離の候補補間画素ベクトルを選択するようにしてもよい。この場合、補間方向ヒストグラム検出部１０は、グローバルベクトルＧＶを算出するとともに、グローバルディスタンスＧＤも算出する。

このグローバルディスタンスＧＤを用いた補間画素ベクトルのかかる判定方法を図１０で説明すると、図１０での画素Ｐ（ｉ₁，ｊ₁），Ｐ（ｉ₂，ｊ₂）間の距離Ｌを、
Ｌ＝｜ｉ₁−ｉ₂｜＋｜ｊ₁−ｊ₂｜
とすると、補間位置Ｐ₀（５，２）からグローバルベクトルＧＶの位置(５，３）までの距離（グローバルディスタンス）ＧＤは、
ＧＤ＝｜５−５｜＋｜３−２｜＝１
となる。これに対し、例えば、水平エッジ条件を満たし、かつ図１１に示すグループ化でグローバルベクトルＧＶと方向が一致している候補補間画素ベクトルとして、位置（２，２），（３，４）の２つの候補補間画素ベクトルが存在した場合、これら候補補間画素ベクトルの補間位置Ｐ₀からの距離Ｄ１，Ｄ２は夫々、
Ｄ１＝｜２−５｜＋｜２−２｜＝３
Ｄ２＝｜３−５｜＋｜４−２｜＝４
となり、位置（２，２）の候補補間画素ベクトルの方がグローバルディスタンスＧＤに近い距離となるから、この候補補間画素ベクトルが補間画素ベクトルとして選択されることになる。

以上のように、この第３の実施形態では、一定速度のスクロールなどによる映像画面全体の大まかな動き及び大まかな補間距離を知ることにより、補間画素ベクトルの選択精度が大幅に向上し、補間画素ベクトルの誤検出を効果的に抑圧することができる。

図１２は本発明による映像補間装置の第４の実施形態を示すブロック図であって、１１は検索領域指定部であり、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。

同図において、入力端子１からの現フレームＦ₊₁とフレームメモリ２からの１つ前のフレームＦ_-1とは検索領域指定部１１に供給され、補間方向ヒストグラム検出部１０で検出されたグローバルベクトルＧＶをもとに、補間フレームＦ₀での補間画素を生成する補間位置毎にこれら現フレームＦ₊₁と１つ前のフレームＦ_-1との検索領域ＳＡ₊₁，ＳＡ_-1が指定される。この指定された検索領域ＳＡ₊₁，ＳＡ_-1において、図４に示した第２の実施形態と同様、候補補間画素ベクトル算出部７で上記Ｘ個の候補補間画素ベクトルが選ばれ、候補補間画素ベクトル判定部９で、エッジ条件をもとに、これらＸ個の候補補間画素ベクトルの中から１つの補間画素ベクトルが選択される。

図１３は図１２における検索領域指定部１１の処理動作の一具体例を示す図である。

同図において、候補補間画素ベクトル判定部９により、１つ前のフレームＦ_-1には、各画素に対し、検索領域での中心画素となったときに補間画素ベクトルＰＶが得られ、これら補間画素ベクトルＰＶから補間方向ヒストグラム検出部１０で、図１０及び図１１で説明したように、グローバルベクトルＧＶが検出される。このグローバルベクトルＧＶが、次の補間フレームＦ₀の生成のために、検索領域指定部１１に供給される。

検索領域指定部１１では、まず、補間フレームＦ₀の補間画素の補間位置Ｐ₀を中心とする領域ＳＡ₀を想定し、この領域ＳＡ₀に正対する１つ前のフレームＦ_-1、での領域をこのフレームＦ_-1の第１次検索領域ＳＡ_-1とし、また、補間フレームＦ₀の領域ＳＡ₀に正対する現フレームＦ₊₁での領域をこのフレームＦ₊₁の第１次検索領域ＳＡ₊₁とする。そして、これら第１次検索領域ＳＡ_-1，ＳＡ₊₁を夫々上下左右に２つずつ４つの領域に分割する。そして、補間フレームＦ₀での領域ＳＡ₀の中心の補間位置Ｐ₀を通してグローバルベクトルＧＶを設定したときに、このグローバルベクトルＧＶが示す方向及びその逆方向にあるから１つ前のフレームＦ_-1の第１次検索領域ＳＡ_-1での分割領域を第２次検索領域ＳＡ_--1とし、現フレームＦ₊₁の第１次検索領域ＳＡ₊₁での分割領域を第２次検索領域ＳＡ₊₊₁とする。

１つ前のフレームＦ_-1のかかる第２次検索領域ＳＡ_--1と現フレームＦ₊₁のかかる第２次検索領域ＳＡ₊₊₁が候補補間画素ベクトル算出部７に供給され、候補補間画素ベクトル算出部７は、かかる第２次検索領域ＳＡ_--1，ＳＡ₊₊₁で上記Ｘ個の候補補間画素ベクトルを検出する。

なお、ここでは、第１次検索領域ＳＡ_-1，ＳＡ₊₁の分割数を４としたが、これに限るものではないことは明らかである。

以上のように、この第４の実施形態でも、図９で示した第３の実施形態と同様の効果を得ることができ、また、候補補間画素ベクトル算出部７などでの演算量を低減できる。

なお、図１に示す第１の実施形態においても、図１２に示す構成と同様、差分最小ペア算出部４の前段に検索領域指定部１１を設け、また、差分最小ペア算出部４から出力される補間画素ベクトルを用いて上記のようなグローバルベクトルＧＶを検出する補間方向ヒストグラム検出部１０を設け、この第４の実施形態のように、検索領域指定部１１において、このグローバルベクトルＧＶにより、差分最小ペア算出部４で用いる１つ前のフレームＦ_-1と現フレームＦ₊₁での検索領域を特定するようにすることもできる。

図１４は本発明による映像補間装置の第５の実施形態の要部動作を示す図である。この第５の実施形態は先の各実施形態と同様の構成をなしており、この図１４は、この第５の実施形態が図１に示す構成をなしているときには、差分最小ペア算出部４での差分最小画素ペアの検出方法を示すものであり、図４，図９及び図１２のいずれかに示す構成をなしているときには、候補補間画素ベクトル算出部７での候補補間画素ベクトルの検出方法を示すものである。

ここで、図１４は、例えば、図６に示すような、１つ前のフレームＦ_-1の検索領域ＳＡ_-1と補間フレームＦ₀の領域ＳＡ₀と現フレームＦ₊₁の検索領域ＳＡ₊₁との配列を、時間軸ｔ方向から、これら領域が透かして見えるように図示したものであり、〇印で示す検索領域ＳＡ_-1の画素ａと検索領域ＳＡ₊₁の画素ｂとは重なって見えることになる。従って、画素ａ１，ａ２は１つ前のフレームＦ_-1の検索領域ＳＡ_-1での画素であり、ｂ１，ｂ２は現フレームＦ₊₁の検索領域ＳＡ₊₁での画素である。また、Ｐ₀は補間フレームＦ₀での補間位置、あるいは検索領域ＳＡ_-1，ＳＡ₊₁ての中心画素の位置を表わしている。

この第５の実施形態は、映像画面の動き速度にフレーム単位で変化がある場合でも、補間画素ベクトルを精度良く検出でき、誤検出を防止できるようにするものである。

図１４において、画素ａ１と画素ｂ１とは補間位置Ｐ₀に関して点対称の位置にあるから、先の各実施形態での画素ペアに相当する。この画素ペア〔ａ１‖ｂ１〕に対する補間画素ベクトルＰＶ１を実線矢印で示す。差分最小画素ペア算出部４（図１）や候補補間画素ベクトル算出部７（図４，図９あるいは図１２）では、まず、この画素ペア〔ａ１‖ｂ１〕に対する上記差分値の絶対値（以下、絶対差分値という）を算出する。

次に、この画素ペア〔ａ１‖ｂ１〕の一方の画素ａ１と他方の画素ｂ１よりも補間位置Ｐ₀に１つ近い画素ｂ２とのペアを第１の拡張画素ペア〈ａ１‖ｂ２〉とする。一点鎖線の矢印は、この第１の拡張画素ペア〈ａ１‖ｂ２〉の補間画素ベクトルＰＶ２を示す。差分最小画素ペア算出部４や候補補間画素ベクトル算出部７は、この第１の拡張画素ペア〈ａ１‖ｂ２〉の上記差分値の絶対値（第１の拡張絶対差分値）も算出する。

さらに、この画素ペア〔ａ１‖ｂ１〕の他方の画素ｂ１と一方の画素ａ１よりも補間位置Ｐ₀に１つ近い画素ａ２とのペアを第２の拡張画素ペア〈ａ２‖ｂ１〉とする。破線の矢印は、この第２の拡張画素ペア〈ａ２‖ｂ１〉の補間画素ベクトルＰＶ３を示す。差分最小画素ペア算出部４や候補補間画素ベクトル算出部７は、この第２の拡張画素ペア〈ａ２‖ｂ１〉の上記差分値の絶対値（第２の拡張絶対差分値）も算出する。

そして、図１に示す構成の第５の実施形態では、差分最小画素ペア算出部４において、算出した画素ペアと第１，第２の拡張画素ペアとのうちで絶対差分値が最小の画素ペアを選択する。そして、同じ検索領域での補間位置Ｐ₀に点対称な画素のペアに関して同様の算出処理を行なって、夫々のペア毎に絶対差分値が最小の画素ペアを求め、求めた画素ペアのうちで絶対差分値が最小の画素ペアを差分最小画素ペアとするものである。

あるいはまた、検索領域内での補間位置Ｐ₀に関して点対称となる画素ペアの全てについて、上記の拡張画素ペアを求め、これら画素ペアと拡張画素ペアのうちで絶対差分値が最小の画素ペアを差分最小画素ペアとして選択するようにしてもよいが、また、まず、補間位置Ｐ₀に関して点対称となる画素ペアについて差分絶対値が最小となる画素ペアを選択し、次いで、この選択した画素ペアの画素に関して上記の拡張画素ペアを求め、この選択した画素ペアと求めた拡張画素ペアとのうちで差分絶対値が最小となる画素ペアを差分最小画素ペアとして選択するようにしてもよい。

また、図４，図９あるいは図１２に示す構成の第５の実施形態では、候補補間画素ベクトル算出部７において、検索領域内での補間位置Ｐ₀に関して点対称となる画素ペアの全てについて、上記の第１，第２の拡張画素ペアを求め、これら画素ペアと拡張画素ペアとのうちで差分絶対値が小さい方から順に上記Ｘ個の画素ペアを選択し、候補補間画素ベクトルとして候補ベクトル判定部９または９ａに供給する。

このようにして、この第５の実施形態では、補間位置Ｐ₀に関して点対称の位置関係にある画素ペアばかりでなく、１つ前のフレームＦ_-1と現フレームＦ₊₁との間で映像画面の移動速度が変化した場合には、その変化に応じて、補間位置Ｐ₀に関して点対称の位置関係にない画素ペアの補間画素ベクトルも得られるものであり、補間フレームの精度がより向上することになる。

本発明による映像補間装置の第１の実施形態を示すブロック図である。 １つ前のフレームと現フレームと補間フレームとの関係を示す図である。 図２での１つ前のフレームでの検索領域，現フレームでの検索領域とこれらに対向する補間フレームでの領域とを拡大して示す図である。 本発明による映像補間装置の第２の実施形態を示すブロック図である。 図４における候補補間画素ベクトル判定部でのエッジ条件を説明する図である。 図４における候補補間画素ベクトル判定部での判定処理方法の一具体例を示す図である。 図４における候補補間画素ベクトル判定部での判定処理方法の他の具体例を示す図である。 図４における補間フレーム生成部の処理動作を示すフローチャートである。 本発明による映像補間装置の第３の実施形態を示すブロック図である。 図９における補間方向ヒストグラム検出部で生成されるヒストグラムを模式的に示す図である。 図９における補間方向ヒストグラム検出部で検出されるグローバルベクトルのグループ化方法の一具体例を模式的に示す図である。 本発明による映像補間装置の第４の実施形態を示すブロック図である。 図１２における検索領域指定部の動作を示す図である。 本発明による映像補間装置の第５の実施形態の要部の処理動作を示す図である。

符号の説明

１ 入力端子
２ フレームメモリ
３ 遅延調整部
４ 最小差分画素ペア算出部
５ 補間フレーム生成部
６ 出力端子
７ 候補補間画素ベクトル算出部
８ エッジ検出部
９，９ａ 候補補間画素ベクトル判定部
１０ 補間方向ヒストグラム検出部
Ｆ_-1 １つ前のフレーム
Ｆ₀ 補間フレーム
Ｆ₊₁ 現フレーム
ＳＡ_-1 １つ前のフレームの検索領域
ＳＡ₊₁ 現フレームの検索領域
Ｐ₀ 補間位置
ＥＧ１，ＥＧ２ エッジ
ＧＶ グローバルベクトル

Claims (14)

1. 映像信号の１つ前のフレームと現フレームとの間に内挿する補間フレームを生成する映像補間装置であって、
   該１つ前のフレームと該現フレームとで該補間フレーム内の補間位置に正対した位置を中心とする検索領域に関し、
   該補間フレーム内の補間位置に関して点対称となる該１つ前のフレームの画素と該現フレームの画素との組を画素ペアとし、
   かつ該１つ前のフレームでの該補間フレーム内の補間位置に正対した位置を１つ前のフレームでの補間位置とし、該現フレームでの該補間フレーム内の補間位置に正対した位置を該現フレームでの補間位置として、該１つ前のフレームでの該画素ペアとなる一方の画素と、該現フレームでの該画素ペアとなる他方の画素よりも該現フレームての補間位置に１つ近い位置の画素との組を第１の拡張画素ペアとし、さらに、該１つ前のフレームでの該画素ペアとなる一方の画素よりも該１つ前のフレームでの補間位置に１つ近い位置の画素と、該現フレームでの該画素ペアとなる他方の画素との組を第２の拡張画素ペアとし、
   該画素ペア，該第１の拡張画素ペア及び該第２の拡張画素ペアの夫々の画素の輝度値の差分を計算し、該差分の絶対値が最小となる該画素ペア，該第１の拡張画素ペアもしくは該第２の拡張画素ペアを差分最小画素ペアとして、該差分最小画素ペアの画素の位置情報を、補間画素ベクトルとして、算出する差分最小画素ペア算出手段と、
   該補間画素ベクトルを用いて該補間位置の補間画素を生成し、該補間画素からなる補間フレームを生成する補間フレーム生成手段と
   を備えたことを特徴とする映像補間装置。
2. 請求項１において、
   前記最小差分画素ペア算出手段は、
   １つ前のフレームと現フレーム毎に、前記補間フレーム内の前記補間位置に正対する画素を中心画素とし、該中心画素を中心として水平方向，垂直方向に所定の画素数の検索領域を設定し、
   前記画素ペアを、前記補間位置に関して点対称の位置にある該１つ前のフレームの該検索領域内の画素と該現フレームの該検索領域での画素とから設定するとすることを特徴とする映像補間装置。
3. 請求項１において、
   前記補間フレーム生成手段は、前記補間画素ベクトルによる前記差分最小画素ペアとなる画素の値をもとに補間画素の値を決定し、該補間画素からなる補間フレームを生成することを特徴とする映像補間装置。
4. 請求項３において、
   前記補間画素の値は、前記差分最小画素ペアとなる画素の輝度値に応じた輝度値と色値に応じた色値であることを特徴とする映像補間装置。
5. 映像信号の１つ前のフレームと現フレームとの間に内挿する補間フレームを生成する映像補間装置であって、
   該１つ前のフレームと該現フレームとで該補間フレーム内の補間位置に正対した位置を中心とする検索領域に関し、
   該補間フレーム内の補間位置に関して点対称となる該１つ前の１フレームの画素と該現フレームの画素との組を画素ペアとし、
   かつ該１つ前のフレームでの該補間フレーム内の補間位置に正対した位置を１つ前のフレームでの補間位置とし、該現フレームでの該補間フレーム内の補間位置に正対した位置を該現フレームでの補間位置として、該１つ前のフレームでの該画素ペアとなる一方の画素と、該現フレームでの該画素ペアとなる他方の画素よりも該現フレームての補間位置に１つ近い位置の画素との組を第１の拡張画素ペアとし、さらに、該１つ前のフレームでの該画素ペアとなる一方の画素よりも該１つ前のフレームでの補間位置に１つ近い位置の画素と、該現フレームでの該画素ペアとなる他方の画素との組を第２の拡張画素ペアとし、
   該画素ペア，該第１の拡張画素ペア及び該第２の拡張画素ペアの夫々の画素のＲ，Ｇ，Ｂ値の差分を計算し、Ｒ，Ｇ，Ｂ毎に、該差分の絶対値が最小となる画素ペア，該第１の拡張画素ペアもしくは該第２の拡張画素ペアを差分最小画素ペアとして、該差分最小画素ペアの画素の位置情報を、補間画素ベクトルとして、算出する差分最小画素ペア算出手段と、
   該補間画素ベクトルを用いて該補間位置の補間画素を生成し、該補間画素からなる補間フレームを生成する補間フレーム生成手段と
   を備えたことを特徴とする映像補間装置。
6. 請求項５において、
   前記最小差分画素ペア算出手段は、
   １つ前のフレームと現フレーム毎に、前記補間フレーム内の前記補間位置に正対する画素を中心画素とし、該中心画素を中心として水平方向，垂直方向に所定の画素数の検索領域を設定し、
   前記画素ペアを、前記補間位置に関して点対称の位置にある該１つ前のフレームの該検索領域内の画素と該現フレームの該検索領域での画素とから設定することを特徴とする映像補間装置。
7. 請求項５または６において、
   前記補間フレーム生成手段は、前記差分の絶対値が最も小さい前記補間画素ペアのＲ，Ｇ，Ｂの値の平均値を前記補間位置での補間画素の値として、前記補間フレームを生成することを特徴とする映像補間装置。
8. 映像信号の１つ前のフレームと現フレームとの間に内挿する補間フレームを生成する映像補間装置であって、
   該１つ前のフレームと該現フレームとで該補間フレーム内の補間位置に正対した位置を中心とする検索領域に関し、
   該補間フレーム内の補間位置に関して点対称となる該１つ前のフレームの画素と該現フレームの画素との組を画素ペアとし、
   かつ該１つ前のフレームでの該補間フレーム内の補間位置に正対した位置を１つ前のフレームでの補間位置とし、該現フレームでの該補間フレーム内の補間位置に正対した位置を該現フレームでの補間位置として、該１つ前のフレームでの該画素ペアとなる一方の画素と、該現フレームでの該画素ペアとなる他方の画素よりも該現フレームての補間位置に１つ近い位置の画素との組を第１の拡張画素ペアとし、さらに、該１つ前のフレームでの該画素ペアとなる一方の画素よりも該１つ前のフレームでの補間位置に１つ近い位置の画素と、該現フレームでの該画素ペアとなる他方の画素との組を第２の拡張画素ペアとし、
   該画素ペア，該第１の拡張画素ペア及び該第２の拡張画素ペアの夫々の画素の輝度値の差分を計算し、該差分の絶対値が小さい方から所定の個数の画素ペア，該第１の拡張画素ペアもしくは該第２の拡張画素ペアを候補補間画素ペアとして、該候補補間画素ペアの画素の位置情報を、候補補間画素ベクトルとして、算出する候補補間画素ベクトル算出手段と、
   該１つ前のフレームと該現フレームとからエッジ情報を検出するエッジ検出手段と、
   該エッジ情報をもとに、候補補間画素ベクトル算出手段で検出された候補補間画素ペアのうちの所定のエッジ条件を満たす候補補間画素ペアを、補間画素ペアとして、選択する候補補間画素ベクトル判定手段と、
   該補間画素ベクトル判定手段で選択された該補間画素ペアの補間画素ベクトルを用いて該補間位置の補間画素を生成し、該補間画素からなる補間フレームを生成する補間フレーム生成手段と
   を備えたことを特徴とする映像補間装置。
9. 請求項８において、
   前記候補補間画素ベクトル判定手段で選択される補間画素ペアの補間画素ベクトルの出現数を、該補間画素ベクトルが示す方向毎に判別して、カウントし、該出現数によって支配的な補間画素ベクトルの方向を、グローバルベクトルとして、検出する補間方向ヒストグラム検出手段を設け、
   前記候補補間画素ベクトル判定手段は、前記候補補間画素ベクトル算出手段で選択された候補補間画素ペアのうち、前記エッジ条件を満足し、かつ候補補間画素ベクトルの方向が該グローバルベクトルの方向と一致する候補補間画素ペアを補間画素ペアとして選択し、選択した該補間画素ペアの補間画素ベクトルを前記補間フレーム生成手段に供給することを特徴とする映像補間装置。
10. 請求項９において、
    前記補間方向ヒストグラム検出手段は、検出した前記グローバルベクトルをその方向に応じてグループ分けする手段を備え、
    前記候補補間画素ベクトル判定手段は、前記グローバルベクトルの方向が属するグルーブに方向が含まれる前記候補補間画素ベクトルを、前記グローバルベクトルに一致した補間画素ベクトルと判定することを特徴とする映像補間装置。
11. 請求項９または１０において、
    前記候補補間画素ベクトル判定手段は、前記エッジ条件を満足し、かつ前記グローバルベクトルの方向と一致する候補補間画素ペアが複数存在するとき、前記補間位置からみたグローバルベクトルの方向での１つ前のフレームまたは現フレームでの画素と前記補間位置に正対する１つ前のフレームまたは現フレームでの中心画素との間の第１の距離を求め、該候補補間画素ベクトルのうちの候補補間画素ペアの画素と該中心画素との距離が該第１の距離に最も近い候補補間画素ペアを前記補間画素ペアとして選択することを特徴とする映像補間装置。
12. 映像信号の１つ前のフレームと現フレームとの間に内挿する補間フレームを生成する映像補間装置であって、
    １つ前のフレームと現フレームとで、該補間フレーム内の補間位置に関して検索領域を指定する検索領域指定手段と、
    該１つ前のフレームと該現フレームとで該補間フレーム内の補間位置に正対した位置を中心とする指定された該検索領域に関し、
    該検索領域指定手段で指定された該検索領域内で、該補間フレーム内の該補間位置に関して点対称となる該１つ前のフレームの画素と該現フレームの画素との組を画素ペアとし、
    かつ該１つ前のフレームでの該補間フレーム内の補間位置に正対した位置を１つ前のフレームでの補間位置とし、該現フレームでの該補間フレーム内の補間位置に正対した位置を該現フレームでの補間位置として、該１つ前のフレームでの該画素ペアとなる一方の画素と、該現フレームでの該画素ペアとなる他方の画素よりも該現フレームての補間位置に１つ近い位置の画素との組を第１の拡張画素ペアとし、さらに、該１つ前のフレームでの該画素ペアとなる一方の画素よりも該１つ前のフレームでの補間位置に１つ近い位置の画素と、該現フレームでの該画素ペアとなる他方の画素との組を第２の拡張画素ペアとし、
    該画素ペア，該第１の拡張画素ペア及び第２の拡張画素ペアの夫々の画素の輝度値の差分を計算し、該差分の絶対値が小さい方から所定の個数の画素ペア，該第１の拡張画素ペアもしくは第２の拡張画素ペアを候補補間画素ペアとして、該候補補間画素ペアの画素の位置情報を、候補補間画素ベクトルとして、算出する候補補間画素ベクトル算出手段と、
    該１つ前のフレームと該現フレームとからエッジ情報を検出するエッジ検出手段と、
    該エッジ情報をもとに、候補補間画素ベクトル算出手段で検出された候補補間画素ペアのうちの所定のエッジ条件を満たす候補補間画素ペアを、補間画素ペアとして、選択する候補補間画素ベクトル判定手段と、
    該補間画素ベクトル判定手段で選択された該補間画素ペアの補間画素ベクトルを用いて該補間位置の補間画素を生成し、該補間画素からなる補間フレームを生成する補間フレーム生成手段と、
    該候補補間画素ベクトル判定手段で選択される補間画素ペアの補間画素ベクトルの出現数を、該補間画素ベクトルが示す方向毎に判別して、カウントし、該出現数によって支配的な補間画素ベクトルの方向を、グローバルベクトルとして、検出する補間方向ヒストグラム検出手段と
    を設け、
    該検索領域指定手段は、該補間フレームの補間位置から該補間方向ヒストグラム検出手段で検出された該グローバルベクトルの方向に該検索領域を設定することを特徴とする映像補間装置。
13. 請求項１〜１２のいずれか１つに記載の映像補間装置で生成された補間フレームを前記１つ前のフレームと前記現フレームとの間に内挿し、前記映像信号のフレームレート変換を行なうことを特徴とするフレームレート変換装置。
14. 請求項１３記載のフレームレート変換装置でフレームレート変換された映像信号を映像表示することを特徴とする映像表示装置。

Images