Nothing Special   »   [go: up one dir, main page]

JP4795929B2 - 補間方法を決定するプログラム、装置、および方法 - Google Patents

補間方法を決定するプログラム、装置、および方法 Download PDF

Info

Publication number
JP4795929B2
JP4795929B2 JP2006350705A JP2006350705A JP4795929B2 JP 4795929 B2 JP4795929 B2 JP 4795929B2 JP 2006350705 A JP2006350705 A JP 2006350705A JP 2006350705 A JP2006350705 A JP 2006350705A JP 4795929 B2 JP4795929 B2 JP 4795929B2
Authority
JP
Japan
Prior art keywords
pixel
value
interpolation
correlation
correlation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006350705A
Other languages
English (en)
Other versions
JP2008166872A (ja
Inventor
昌平 中潟
幸二 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006350705A priority Critical patent/JP4795929B2/ja
Priority to US11/964,570 priority patent/US8290308B2/en
Priority to CN2007103011756A priority patent/CN101237553B/zh
Publication of JP2008166872A publication Critical patent/JP2008166872A/ja
Application granted granted Critical
Publication of JP4795929B2 publication Critical patent/JP4795929B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、画素を補間する方法を決定する技術に関する。
インターレース形式の画像をプログレッシブ形式に変換するＩＰ変換（インターレース・プログレッシブ変換）や、静止画または動画の拡大処理においては、入力された元の画像にはない画素を補間する必要がある。補間しようとする画素を「対象画素」と呼ぶことにすると、一般に、一つの対象画素に対して複数の画素を選び、それらの複数の画素の画素値に基づいて対象画素の画素値を計算することにより、その対象画素が補間される。
画素を補間するには様々な方法があるが、上記複数の画素をどのように選ぶかという第一の観点と、選んだ複数の画素の画素値から対象画素の画素値をどのように計算するかという第二の観点によって分類することができる。以下では特に、ＩＰ変換において画素を補間する方法について、第一の観点から関連技術を概観する。
ＩＰ変換について説明する前に、まず、インターレース方式とプログレッシブ方式について説明する。動画をディスプレイに表示するための走査方式には、インターレース方式とプログレッシブ方式がある。インターレース方式は、奇数番目の走査線のみの走査と、偶数番目の走査線のみの走査とを交互に繰り返す方式であり、アナログ入力のテレビなどに用いられる。一方、プログレッシブ方式は、全部の走査線を走査する方式であり、パーソナルコンピュータのＣＲＴ（Cathode Ray Tube）ディスプレイなどに用いられる。また、「インターレース」と「プログレッシブ」という名称は、上記の走査方法の違いに応じて作成されたそれぞれの画像の形式の名称としても用いられる。
例えば、フレームレートが３０ｆｐｓの場合、つまり１秒あたりのフレームの数が３０の場合、プログレッシブ画像は、１秒あたり３０枚のフレーム画像からなる動画である。一方、インターレース画像は、二つのフィールドが一つのフレームに対応するため、この場合、１秒あたり６０枚のフィールド画像からなる。一つのフレームに対応する二つのフィールドは、一方が「奇数フィールド」と呼ばれ、他方が「偶数フィールド」と呼ばれる。奇数フィールドのフィールド画像は、奇数番目のラインの画素のデータのみを含み、偶数フィールドのフィールド画像は、偶数番目のラインの画素のデータのみを含む。なお、ディスプレイにおける１本の走査線が、画像における１ラインに対応する。フレームレートが３０ｆｐｓの場合、プログレッシブ画像では、１枚のフレーム画像中のｎライン目と（ｎ＋１）ライン目は同じ時刻に対応するが、インターレース画像では、ｎライン目と（ｎ＋１）ライン目には１／６０秒のずれがある。
以下、画素のデータが存在するラインを「実ライン」、画素のデータが存在しない空白のラインを「補間ライン」と呼ぶことにする。つまり、奇数フィールドでは奇数番目のラインが実ラインで偶数番目のラインが補間ラインであり、偶数フィールドでは逆である。また、実ライン上の画素を「実画素」と呼ぶことにする。
ＩＰ変換は、インターレース画像を入力として受け取り、プログレッシブ画像に変換して出力する処理である。入力されるインターレース画像のフレームレートをｆとすると、１秒あたり２ｆ枚のフィールド画像がある。ＩＰ変換は、補間ライン上の画素を補間する処理である。その結果、各フィールド画像に対応して、すべてのラインの画素のデータが揃った画像が得られる。つまり、フレームレートが２ｆのプログレッシブ画像が得られる。
ＩＰ変換で高画質なプログレッシブ画像を得るには、対象画素付近の動きやエッジの方向を検出し、適切に補間する必要がある。そのような補間を実現する一つの手法に動き適応ＩＰ変換がある。
動き適応ＩＰ変換では、動きを検出した場合は、同じフィールド画像内で対象画素の上下に存在するラインの画素の画素値に基づいて対象画素を補間するフィールド内補間を行う。一方、静止している場合は、対象画素を含むフィールドの前後のフィールド画像で対象画素と同じ位置にある画素の画素値に基づいて対象画素を補間するフィールド間補間を行う。つまり、第一の観点から見ると、動き適応ＩＰ変換の特徴は、動きが検出されたときは同じフィールド内の画素を選択し、動きが検出されなかったときは前後のフィールド内の画素を選択するという点である。
動き適応ＩＰ変換は、動き補償ＩＰ変換のように画素ごとに動きベクトルを求めて補間する手法と比べると、処理量が少ないという利点があるが、補間の精度が劣るという欠点がある。そのため、精度の向上を目的として、様々な手法の動き適応ＩＰ変換が提案されている。
例えば、最も単純な動き適応ＩＰ変換の方法は図２６に示した方法である。この方法では、動きが検出されると、補間すべき対象画素の位置の真上と真下の画素がフィールド内補間に用いられる。以下では、水平方向をｘ座標で表し、垂直方向をｙ座標で表し、各画素を正方形で表す。ｘ座標は、画像の左端では値が０で、右になるほど値が大きくなり、ｙ座標は、画像の上端では値が０で、下になるほど値が大きくなる。図２６では、入力されるインターレース画像はｙ＝０，２，４，６のラインのみを含み、ｙ＝１，３，５の各ラインは補間ラインである。よって、図２６の左側に示したような斜めのエッジをインターレース画像が含む場合、補間後のプログレッシブ画像には、図２６の右側に示したとおり、ジャギーと呼ばれる階段状のギザギザ模様が生じてしまう。
画素の位置を（ｘ，ｙ）なる座標で示すことにすると、例えば（２，３）の画素は、真上の（２，２）にある白い画素と真下の（２，４）にある黒い画素に基づいて補間される。例えば、この二つの画素の画素値の平均値が対象画素の画素値として割り当てられ、対象画素は灰色に補間される。（３，３）の画素も同様にして灰色に補間される。その結果、プログレッシブ画像にはジャギーが生じる。斜めのエッジの他の部分、つまり（０，５）と（１，５）の部分および（４，１）と（５，１）の部分も同様である。
しかし、もし（０，５）と（２，３）と（４，１）の各画素が白く補間され、（１，５）と（３，３）と（５，１）の各画素が黒く補間されていれば、ジャギーがなく、滑らかな斜めのエッジを含むプログレッシブ画像が得られたはずである。つまり、図２６のように単純に真上と真下の画素を用いる方法では、高画質の補間結果が得られないことがある。
そこで、特許文献１〜４などの方法が提案されている。なお、以下の説明では、用語を統一して分かりやすくするために、各文献で使われる用語の一部を変えて説明している。
図２７は、特許文献１に記載の補間方法を説明する図である。この方法では、どの方向にある画素を使って対象画素Ｔを補間するかを決めるときに、対象画素Ｔがあるラインの上下に隣接する二つのライン以外のラインも利用する。
図２７において、対象画素Ｔは（３，３）に位置する。対象画素Ｔを中心として、いくつかの方向についてｙ＝２のライン上の画素とｙ＝４のライン上の画素との相関を計算する。例えば、垂直方向は（３，２）の白い画素と（３，４）の黒い画素の組に対応するの
で、相関は弱い。一方、（５，２）の黒い画素と（１，４）の黒い画素とを結ぶ、矢印で示した右上がりの方向は、最も相関が強い方向として検出される。同様にして、対象画素Ｔの２ライン上の真上の位置（３，１）の参照画素Ｒ１では矢印で示した垂直方向の相関が強く、２ライン下の真下の位置（３，５）の参照画素Ｒ２では矢印で示した左上がりの方向の相関が強いことが検出される。
参照画素Ｒ２について検出された左上がり方向は右上がり方向と反対方向である。特許文献１では、このような反対方向が検出された場合は、対象画素Ｔの周辺で強い相関を有する方向との整合性を考慮して、対象画素Ｔの補間方向を斜め方向ではなく垂直方向としている。なお、「補間方向が垂直方向である」とは、垂直方向に対応する（３，２）と（３，４）に位置する二つの画素の画素値に基づいて対象画素Ｔを補間することを意味する。参照画素Ｒ１と対象画素Ｔで検出された方向が反対方向となる場合も同様である。
図２８は、特許文献２に記載の補間方法を説明する図である。特許文献２の方法でも、対象画素Ｔの２ライン上の真上の位置にある画素が参照画素Ｒとして利用される。この方法では、対象画素Ｔに関する右上がり方向の相関値と参照画素Ｒに関する右上がり方向の相関値を加算して、右上がり方向の相関が計算される。左上がり方向についても同様である。その結果、相関の強い方の方向が、もし所定の閾値よりも強い相関を示していれば、補間方向として選択される。
図２８の例では、右上がり方向の相関は、対象画素Ｔでは弱く、参照画素Ｒでは強い。よって、二つの相関値の和から、右上がり方向の相関は全体として比較的弱いと判断される。また、左上がり方向の相関は、対象画素Ｔでは強く、参照画素Ｒでは弱い。よって、二つの相関値の和から、左上がり方向の相関も全体として比較的弱いと判断される。結局この例では、対象画素Ｔと参照画素Ｒの両者において相関が強い方向である垂直方向が、対象画素Ｔの補間方向として選択される。
図２９は、特許文献３に記載の補間方法を説明する図である。この方法では、画素同士の相関ではなく、複数の画素を含む領域同士の相関に基づいて、補間方向を決めている。例えば、図２９に示したように、３×３＝９画素からなる領域が利用される。
対象画素Ｔを中心とする中心画素領域Ａは、上のラインの３画素と下のラインの３画素が実画素である。同様に、中心画素領域Ａの斜め左上にある周辺画素領域Ｂ１と、中心画素領域Ａの斜め右下にある周辺画素領域Ｂ２も、それぞれ上下のラインが実ラインであり、中央のラインが補間ラインである。図２９には中心画素領域Ａを中心として対称な位置にある二つの周辺画素領域Ｂ１とＢ２のみを図示したが、実際には、中心画素領域Ａの周囲を取り巻くようにして、例えば１０個の周辺画素領域Ｂ１〜Ｂ１０がある。
各領域に対して、その領域に含まれる画素の画素値の重み付け和が計算される。そして、その重み付け和に基づいて、中心画素領域Ａと各周辺画素領域Ｂｊ（ｊ＝１，２，……）との相関が計算される。例えば、周辺画素領域Ｂ１とＢ２を結ぶ左上がり方向の相関は、中心画素領域Ａと周辺画素領域Ｂ１との相関値と、中心画素領域Ａと周辺画素領域Ｂ２との相関値との和である。
このようにして各方向について相関値が計算され、最も相関の強い方向が補間方向として選択される。図２９は、周辺画素領域Ｂ１とＢ２を結ぶ左上がり方向が補間方向として選択された場合の図である。そして、対象画素Ｔの上下のライン上で、対象画素Ｔから補間方向にある二つの画素が選択され、それら二つの画素の画素値に基づいて対象画素Ｔが補間される。
図３０は、特許文献４に記載の補間方法を説明する図である。例えば、対象画素Ｔの右上の画素と左下の画素の相関が強く、対象画素Ｔにおいて最も相関の強い方向として、（１）に示した右上がりの方向が検出されたとする。一方、対象画素Ｔの左右に隣接する参照画素Ｒ１およびＲ２においては、反対に左上がりの方向が最も相関の強い方向として検出されたとする。
このように、対象画素Ｔにおいて最も相関の強い方向として検出された方向が、参照画素Ｒ１またはＲ２において検出された方向と左右が逆の方向の場合、誤検出かもしれない。このような場合、誤った斜めの方向での補間を防ぐために、（２）に示したとおり、対象画素Ｔにおける補間方向を垂直方向に修正する。
ただし、（３）に示した場合は、垂直方向への修正が不適当である。対象画素Ｔについて（１）で検出された右上がりの方向の傾きを有し対象画素Ｔを通る直線Ｌが、対象画素Ｔのある補間ラインの上下の補間ラインと交わる位置の画素を参照画素Ｒ３およびＲ４とする。参照画素Ｒ３またはＲ４において、最も相関の強い方向として直線Ｌの傾きと同じ方向が検出されている場合、（４）に示すように、対象画素Ｔにおける補間方向を元の右上がりの方向に再修正する。
以上説明した方法は、対象画素に対してどの方向にある画素を補間用の画素として選ぶかという点で様々に異なるが、対象画素の周囲の画素を考慮する点は共通である。ところが、そのように対象画素の周囲の画素を考慮しても補間方向を誤りやすい種類の画像がある。
そのような画像の一例は、図３１のように、平坦な背景の上に紐のように細い斜めの線がある画像である。図３１では、白い背景の上に右上がり方向の黒くて細い線がある。例えば、補間ライン上の（３，３）に位置する画素は、この黒い線上にあるので黒く補間されることが望ましい。
（３，３）の画素を対象画素とすると、（４，２）と（２，４）にはともに黒い画素があるので、右上がり方向すなわち黒い線と同じ方向の相関が強い。一方、この黒い線は細いので、ともに白い背景に属する（２，２）と（４，４）の相関も強い。つまり、（３，３）においては、右上がり方向と左上がり方向の双方の相関が、ほぼ同じ強さである。このことは、補間ライン上で黒く補間されるべき他の画素においても同様である。
ところで、一般の画像では、同じ色に見えてもわずかに画素値が異なる場合が多い。よって、そのようなわずかな画素値の違いの結果、例えば（３，３）においては右上がり方向の相関が最も強く、（５，１）においては左上がり方向の相関が最も強い、と検出されるかもしれない。すると、（３，３）では黒い線が正しく補間されるが、（５，１）は背景の色に補間されて、（５，１）で黒い線が途切れてしまう。
つまり、対象画素において最も相関が強い方向にある画素を用いて補間すると、結果的に補間方向を誤り、図３１に示したように線が途切れた汚い画像が生成されてしまう。また、特許文献１〜４などの周囲の画素を考慮する手法を用いても、図３１のような画像では、対象画素において最も相関の強い方向として検出される方向と、周囲の画素で最も相関の強い方向として検出される方向が反対方向なので、補間方向を誤る。
特開２００３−２３０１０９号公報 特開２００５−３４１３３７号公報 特開２００３−１４３５５５号公報 ＷＯ２００４／０１７６３４号公報
上記のように、動き適応ＩＰ変換ではいくつかの手法が提案されているが、補間に用いる画素の選び方には、改善の余地がある。また、どの画素を使ってどのように補間するかという補間方法の決定方法は、動き適応ＩＰ変換に限らず、画素の補間一般に広く適用可能である。
本発明は、入力画像に存在しない画素を補間するための補間方法を、高画質の補間結果を得られるように決定するためのプログラム、装置、および方法を提供することを課題とする。
本発明による画素値の補間方法決定プログラムは、入力画像に存在せず、一直線上に位置する複数の画素のそれぞれの画素値を補間するための補間方法をコンピュータに決定させるプログラムである。前記補間方法決定プログラムは、指定された選択順序方向にしたがって順番に、前記複数の画素のうちの一つの画素を、前記補間方法を決定すべき対象画素として選択する対象画素選択ステップと、指定された複数の相関計算方向のそれぞれについて、前記対象画素から該相関計算方向にある第一の画素の画素値と、該対象画素から該相関計算方向の逆方向にある第二の画素の画素値とに基づいて、前記相関計算方向に対応する局所相関値を計算する局所相関値計算ステップと、前記複数の画素のうち前記選択順序方向にしたがった順番が先頭の画素である先頭画素に対して与えられる値に基づいて、該先頭画素から前記選択順序方向にしたがって逐次的に前記複数の画素のそれぞれに対して計算される相関値である累積相関値を、前記対象画素に対し、前記複数の相関計算方向のそれぞれについて、該相関計算方向に対応する前記局所相関値と、前記対象画素を選択する直前の前記選択ステップで選択した他の画素についての前記累積相関値とに基づいて計算する累積相関値計算ステップと、前記複数の相関計算方向のそれぞれに対応する前記累積相関値に基づいて、前記複数の相関計算方向のうちの一つを選択する方向選択ステップと、前記方向選択ステップで選択した前記相関計算方向に対応する前記局所相関値と前記累積相関値の少なくとも一方に基づいて、前記対象画素の補間のために用いる複数の画素を決定する補間用画素決定ステップと、をコンピュータに実行させる。
本発明による補間方法決定装置は、上記補間方法決定プログラムにしたがって動作する装置であり、本発明による補間方法決定方法は、上記コンピュータが実行する方法である。
本発明によれば、局所相関値だけではなく累積相関値をも考慮して対象画素の補間方法が決定されるので、対象画素の近傍だけではなく、より広い範囲での相関の大域的な傾向を反映した補間を行うことが可能となる。
画像によっては、局所的な相関だけに基づいて補間方法を決定すると不適切な補間が行われてしまうことがある。しかし、本発明によって対象画素の補間方法を決定すれば、相関の大域的な傾向を反映した補間が可能となるので、そのような画像に対しても良好な補間結果が得られる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。説明は、本発明の原理、第一の実施形態、第二の実施形態、変形例の順に行う。
まず、図１と図２を参照して本発明の原理について説明する。図１は、本発明の原理を示す機能ブロック構成図であり、図２は本発明の原理を示すフローチャートである。
図１の補間方法決定装置１００は、画素値を補間するための補間方法を決定する装置であり、格納部１０１、対象画素選択部１０２、局所相関値計算部１０３、累積相関値計算部１０４、方向選択部１０５、補間用画素決定部１０６を備える。
補間方法決定装置１００への入力は、画素の補間を行うべき入力画像であり、入力画像は格納部１０１に格納される。補間方法決定装置１００によって決定された補間方法にしたがって画素を補間することにより、所望の画像が得られる。例えば、入力画像が、ＩＰ変換の対象であるインターレース画像の場合は、補間によってプログレッシブ画像が得られる。あるいは、入力画像が、拡大処理の対象である静止画または動画である場合は、補間によって拡大された画像が得られる。
格納部１０１は、入力画像や、後述の局所相関値および累積相関値を格納する。入力画像が与えられると、補間方法決定装置１００は図２のとおり補間方法決定処理を行う。つまり、ステップＳ１０１〜Ｓ１０６のループを繰り返し実行する。
ステップＳ１０１において、対象画素選択部１０２は、入力画像の中から、補間すべき画素である対象画素を一つずつ順に選択する。
次にステップＳ１０２において、ステップＳ１０１で選択された対象画素についての局所相関値を局所相関値計算部１０３が計算し、格納部１０１に格納する。一つの対象画素につき、複数の方向にそれぞれ対応する複数の局所相関値が計算される。それらの方向を以下では「相関計算方向」と呼ぶ。
次にステップＳ１０３において、ステップＳ１０１で選択された対象画素についての累積相関値を累積相関値計算部１０４が計算し、格納部１０１に格納する。局所相関値と同様に、一つの対象画素につき、複数の相関計算方向のそれぞれに対応する複数の累積相関値が計算される。累積相関値は、以前のループにおけるステップＳ１０３で計算されて格納部１０１に格納されている累積相関値と、直前のステップＳ１０２で計算されて格納部１０１に格納されている局所相関値とに基づいて計算される。
次にステップＳ１０４において、ステップＳ１０３で計算された複数の累積相関値に基づいて、複数の相関値計算方向の中から一つを方向選択部１０５が選択する。例えば、最も相関が強いことを示す値の累積相関値に対応する相関値計算方向が選択される。
次にステップＳ１０５において、対象画素の補間のために用いる複数の画素を補間用画素決定部１０６が決定する。以下では、対象画素の補間のために用いる画素を「補間用画素」と呼ぶ。補間用画素は、ステップＳ１０４で選択された方向に対応する局所相関値または累積相関値の少なくとも一方に基づいて決定される。ステップＳ１０５の決定において、局所相関値と累積相関値の一方のみを利用してもよく、双方を利用してもよい。図１ではこのことを、局所相関値計算部１０３と累積相関値計算部１０４の双方から補間用画素決定部１０６へと向かう２本の点線の矢印により表している。
次にステップＳ１０６において、次に補間すべき画素がまだ残っているか否かを対象画素選択部１０２が判定する。残っていれば判定は「Ｙｅｓ」となり、処理はステップＳ１０１に戻り、残っていなければ判定は「Ｎｏ」となって処理が終了する。
このようにしてステップＳ１０１〜Ｓ１０６が繰り返し実行されることにより、補間すべきすべての画素について、補間用画素が決定される。例えば、入力画像がインターレース画像の場合、そのインターレース画像では、水平な実ラインと水平な補間ラインが交互に並んでいる。よって、例えば「ステップＳ１０１では左から右へ順に対象画素を選択す
る」という順序を予め指定しておくことにより、補間ライン上の全画素が左から右へ順に対象画素として選択され、各対象画素に対して補間用画素が決定される。このように指定された順序を表すための「左から右へ」などの方向を、以下では「選択順序方向」と呼ぶ。ステップＳ１０１〜Ｓ１０６は、選択順序方向にしたがって繰り返し実行されるので、累積相関値も選択順序方向にしたがって累積される。
ところで、上記のとおり、画素を補間する方法は、一つの対象画素に対して複数の補間用画素をどのように選ぶかという第一の観点と、選んだ複数の補間用画素の画素値から対象画素の画素値をどのように計算するかという第二の観点の組み合わせにより分類することができる。上記説明した補間方法決定装置１００の動作は、第一の観点に関するものである。つまり、第二の観点から見て異なる複数の方法の中から、任意の方法を選んで、本発明に適用することが可能である。
例えば、第二の観点から見て最も簡単な方法は、決定された複数の補間用画素の画素値の算術平均を対象画素の画素値として割り当てる方法である。なお、この方法の本発明への適用が意味するのは、「ステップＳ１０５で決定した複数の補間用画素の画素値の算術平均を計算し、計算した値を対象画素の画素値として割り当て、対象画素を補間する」ということである。
なお、図１の機能ブロックのうち格納部１０１は、揮発性メモリや書き換え可能な不揮発性メモリなどのハードウェアにより実現されるが、他の機能ブロックはハードウェア、ソフトウェア、ファームウェア、それらの組み合わせのいずれにより実現してもよい。例えば、各機能ブロックをそれぞれ別個のハードウェアにより実現してもよい。あるいは、複数の機能ブロックを、それらに共通のハードウェアと、それらの機能を実現するソフトウェアとによって実現することも可能である。後述するとおり、補間方法決定装置１００を一般的なコンピュータにより実現することも当然可能である。
次に、本発明の第一の実施形態について図３〜１４を参照して説明する。まず、第一の実施形態における仮定と用語の定義について述べる。
（ａ）第一の実施形態では、ＩＰ変換のために画素の補間を行う。
（ｂ）時刻ｔ＝ｔ１，ｔ２，……，ｔｉ，……のそれぞれにおけるフィールド画像が入力画像として与えられる。例えばフレームレートが３０ｆｐｓの場合、時刻ｔｉと時刻ｔｉ＋１との間は、１／６０秒である。また、時刻ｔｉにおけるフィールド画像を符号Ｆｉにより表す。以下では、入力画像であることを強調するために、上記各時刻に対応するフィールド画像を「入力フィールド画像」も呼ぶこともある。
（ｃ）以下では、時刻ｔ＝ｔｉにおけるフィールド画像Ｆｉ内の画素を補間する場合を例に説明する。また、フィールド画像Ｆｉを「対象フィールド画像」とも呼ぶ。
（ｄ）対象フィールド画像Ｆｉの直前の時刻ｔ＝ｔｉ−１におけるフィールド画像Ｆｉ−１を「先行フィールド画像」と呼び、対象フィールド画像Ｆｉの直後の時刻ｔ＝ｔｉ＋１におけるフィールド画像Ｆｉ＋１を「後続フィールド画像」と呼ぶ。対象フィールド画像Ｆｉが偶数フィールド画像の場合、先行フィールド画像Ｆｉ−１と後続フィールド画像Ｆｉ＋１は奇数フィールド画像である。対象フィールド画像Ｆｉが奇数フィールド画像の場合、先行フィールド画像Ｆｉ−１と後続フィールド画像Ｆｉ＋１は偶数フィールド画像である。
（ｅ）各画素は一つの画素値により表され、画素値は０から１００の範囲の整数であると仮定する。また、画素値０は黒色を表し、画素値１００は白色を表し、その中間の画素値は灰色を表すと仮定する。これらの仮定は、説明を簡素にして分かりやすくするための仮定である。カラー画像を補間する場合については、変形例として後述する。
（ｆ）画像内の画素の位置を座標（ｘ，ｙ）により表す。ｘ軸は水平方向の軸、ｙ軸は垂直方向の軸である。ｘ座標は、画像の左端では値が０で、右になるほど値が大きくなり、
ｙ座標は、画像の上端では値が０で、下になるほど値が大きくなる。また、座標は画素数により表す。よって、各画素の位置を表すｘとｙの値は非負整数である。
（ｇ）時刻ｔｊに対応するフィールド画像Ｆｊ内で（ｘ，ｙ）に位置する実画素の画素値をｐ（ｊ，ｘ，ｙ）により表す。
（ｈ）選択順序方向は、一つの補間ラインについて「左から右へ」という方向である。
（ｉ）全補間ラインについて「上から下へ」という順序で補間方法を決定する。この「上から下へ」という順序は、選択順序方向とは無関係である。
（ｊ）入力画像の大きさ、すなわち個々のフィールド画像の大きさは、水平方向にＮ画素、垂直方向にＭ画素の大きさであると仮定する。つまり、０≦ｘ≦Ｎ−１かつ０≦ｙ≦Ｍ−１である。
次に、図３を参照して、第一の実施形態における画素値補間装置２００の機能ブロック構成を簡単に説明する。図３の各構成要素の機能の詳細は、フローチャートとあわせて後述する。
図３の画素値補間装置２００は、図１の補間方法決定装置１００の具体例の一つである。画素値補間装置２００は画素値の補間方法を決定するだけではなく、決定した方法に基づいて画素値を補間するため、補間方法決定装置１００とは名称が異なる。画素値補間装置２００は、格納部２０１、対象画素選択部２０２、相関値計算部２０３、静動判定部２０６、フィールド内補間部２０７、フィールド間補間部２１１を備える。また、相関値計算部２０３は局所相関値計算部２０４と累積相関値計算部２０５を備え、フィールド内補間部２０７は方向選択部２０８とフィールド内補間用画素決定部２０９とフィールド内補間画素値計算部２１０を備え、フィールド間補間部２１１はフィールド間補間用画素決定部２１２とフィールド間補間画素値計算部２１３を備える。本実施形態では、補間された画像が格納部２０１に格納される。このことを図３では、フィールド内補間画素値計算部２１０とフィールド間補間画素値計算部２１３から格納部２０１へ向かう矢印により表している。
図３の画素値補間装置２００は、図１の補間方法決定装置１００の構成要素の各々を具体化した構成要素を含み、さらに図１にはない構成要素も含む。図１と図３の対応は次のとおりである。
格納部２０１は格納部１０１と同様であり、図３では格納する内容について図１よりも具体的に示した。対象画素選択部２０２は、対象画素選択部１０２に対応し、選択順序方向が具体化されている。局所相関値計算部２０４と累積相関値計算部２０５はそれぞれ局所相関値計算部１０３と累積相関値計算部１０４に対応し、局所相関値や累積相関値の計算式が具体化されている。方向選択部２０８は方向選択部１０５に対応し、選択する基準が具体化されている。フィールド内補間用画素決定部２０９は補間用画素決定部１０６に対応し、補間用画素の決定の仕方が具体化されている。
次に、図４のフローチャートを参照して、第一の実施形態において画素値補間装置２００が行う補間処理について説明する。この補間処理は、画素値の補間方法を決定する補間方法決定処理と、その決定にしたがって画素値を補間する処理を含む。図４の処理は図２の処理を具体化したものである。
ステップＳ２０１において、対象画素選択部２０２が変数ｘとｙを初期化する。変数ｘとｙは、対象画素の座標を示す変数である。つまり、対象画素選択部２０２は変数ｘとｙの値を設定することにより、対象画素を選択している。
上記仮定（ｆ)、（ｈ）、（ｉ）にしたがった動作を実現するために、ステップＳ２０
１では、対象画素選択部２０２がｘに０を代入し、ｙには時刻ｔｉに応じた値のｏｆｓｔを代入する。ｏｆｓｔの値は、時刻ｔｉが偶数フィールドに対応する場合は１、奇数フィールドに対応する場合は０である。つまり、時刻ｔｉが偶数フィールドに対応する場合、補間ラインのｙ座標は奇数なので、奇数の１がｙに代入される。逆に、時刻ｔｉが奇数フィールドに対応する場合、補間ラインのｙ座標は偶数なので、偶数の０がｙに代入される。初期化後、ステップＳ２０２に進む。
ステップＳ２０２〜Ｓ２０９は、二重のループになっている。外側のループは、上から下へ順に１本ずつ補間ラインを処理するためのループであり、仮定（ｉ）に関連する。内側のループは、１本の補間ラインにおいて左から右へ順に１個ずつ対象画素を処理するためのループであり、仮定（ｈ）に関連する。
ステップＳ２０２では、対象画素の位置（ｘ，ｙ）が画像の下端よりも下の位置か否かを対象画素選択部２０２が判定する。仮定（ｉ）と（ｊ）より、ｙとＭを比較すれば判定可能である。判定結果は、ｙ≧Ｍなら「Ｙｅｓ」、ｙ≦Ｍ−１なら「Ｎｏ」となる。判定結果がＹｅｓの場合、すべての補間ラインについて処理が終了したことを意味するので図４の補間処理を終了する。判定結果がＮｏの場合、まだ処理すべき補間ラインが残っていることを意味するのでステップＳ２０３に移行する。
ステップＳ２０３では、対象画素の位置（ｘ，ｙ）が画像の右端よりも右の位置か否かを対象画素選択部２０２が判定する。仮定（ｈ）と（ｊ）より、ｘとＮを比較すれば判定可能である。判定結果は、ｘ≧Ｎなら「Ｙｅｓ」、ｘ≦Ｎ−１なら「Ｎｏ」となる。判定結果がＹｅｓの場合、現在の補間ライン上の全画素について処理が終了したことを意味するので、次の補間ラインに移るためにステップＳ２０９に移行する。判定結果がＮｏの場合、現在の補間ライン上にまだ処理すべき画素が残っていることを意味するのでステップＳ２０４に移行する。
ステップＳ２０４では、（ｘ，ｙ）に位置する対象画素について、相関値計算部２０３が相関値を計算する。具体的には、局所相関値計算部２０４が局所相関値を計算し、累積相関値計算部２０５が累積相関値を計算する。局所相関値と累積相関値はいずれも格納部２０１に格納される。計算方法の詳細は後述する。
ステップＳ２０４に続いて、ステップＳ２０５では、静動判定部２０６が静動判定を行う。つまり、時刻ｔｉにおいて座標（ｘ，ｙ）またはその近傍に動きがあるか否かが判定される。静動判定の具体的な方法は任意である。
一般に、対象フィールド画像Ｆｉ上の座標（ｘ，ｙ）に位置する対象画素についての静動判定には、先行フィールド画像Ｆｉ−１と後続フィールド画像Ｆｉ＋１が利用される。例えば、先行フィールド画像Ｆｉ−１と後続フィールド画像Ｆｉ＋１においてそれぞれ（ｘ，ｙ）に位置する実画素の画素値ｐ１とｐ２を比較することにより、静動判定を行ってもよい。ｐ１とｐ２は、上記（ｇ）の表記法によれば式（１）と（２）により表すことができる。
p1=p(i-1, x, y) (1)
p2=p(i+1, x, y) (2)
例えば、静動判定部２０６は、式（３）により示されるΔpが所定の閾値ｐｔを超える場合は対象画素が動いていると判定し、Δpがｐｔ以下の場合は対象画素が静止していると判定してもよい。
Δp=|p2-p1| (3)
さらに（ｘ，ｙ）の近傍に位置する画素をも静動判定に用いてもよい。なお、上記のように後続フィールド画像Ｆｉ＋１を静動判定に用いる場合、対象フィールド画像Ｆｉについての図４の処理は、時刻ｔｉ＋１に後続フィールド画像Ｆｉ＋１が画素値補間装置２００に入力された後に開始される。また、静動判定のために、先行フィールド画像Ｆｉ−１は、少なくとも図４の処理が終わるまでは、消去せずに格納部２０１に格納しておく必要がある。
静動判定の結果、動いていると判定されたら、すなわち、動きが検出されたら処理はステップＳ２０６に移行し、静止と判定されたらステップＳ２０７に移行する。
ステップＳ２０６は、静動判定で動きが検出された場合の処理である。この場合、対象フィールド画像Ｆｉの内部で対象画素の近傍に位置する画素を利用して補間することが好ましい。よって、ステップＳ２０６では、フィールド内補間部２０７がフィールド内補間により対象画素を補間し、その後ステップＳ２０８に移行する。なお、処理の詳細は図７とあわせて後述する。
ステップＳ２０７は、静動判定で静止と判定された場合の処理である。例えば、ある静動判定の方法によれば、式（３）のΔｐが所定の閾値ｐｔ以下のとき、静止と判定される。この場合、時刻ｔｉ−１からｔｉ＋１の期間中、（ｘ，ｙ）の画素はほとんど画素値が変化しなかったと見なせる。したがって、その期間内に含まれる時刻ｔｉにおける画素値も、ｐ１やｐ２とほぼ同じ値であると見なせる。このことから、ステップＳ２０７では、例えば（ｐ１＋ｐ２）／２、ｐ１、ｐ２、またはｐ１とｐ２を適当な比で内分した値などを、対象画素の画素値として割り当てる処理をフィールド間補間部２１１が行う。
つまり、フィールド間補間用画素決定部２１２は、フィールド間補間に用いる補間用画素として、例えば先行フィールド画像Ｆｉ−１と後続フィールド画像Ｆｉ＋１でそれぞれ（ｘ，ｙ）に位置する二つの実画素を選択し、フィールド間補間画素値計算部２１３がそれら選択された補間用画素の画素値に基づいて、対象画素に割り当てる画素値を計算する。そしてこれらの処理の後、ステップＳ２０８に移行する。
ステップＳ２０８では、対象画素選択部２０２が変数ｘに１を加える。つまり、ステップＳ２０６またはＳ２０７で補間した現在の対象画素の右隣の画素を、新たな対象画素として対象画素選択部２０２が選択する。その後、ステップＳ２０３に戻る。
ステップＳ２０９は１本の補間ラインの終わりに実行され、ここで処理の対象が次の補間ラインに移る。つまり、対象画素選択部２０２がｘに０を代入し、ｙに２を加える。インターレース画像では補間ラインと実ラインが交互に存在するので、ｙに加えるのは１ではなく２である。これにより、次の補間ラインの左端の画素が新たな対象画素として選択される。その後、ステップＳ２０２に戻る。
上記のような処理により、対象フィールド画像Ｆｉに含まれるすべての補間ライン上のすべての画素が補間される。
次に、図５を参照して、図４のステップＳ２０４で計算する局所相関値について説明する。図２のステップＳ１０２に関して説明したように、一つの対象画素につき複数の相関計算方向についての局所相関値が計算される。図５は、複数の相関計算方向の例と、それら相関計算方向に対応する局所相関値の計算方法を示す図である。
局所相関値は、対象画素Ｔを挟んで対称な位置にある、一つ以上の画素からなるグループ同士の相関の強さを示す値である。そして、各グループと対象画素Ｔとの相対的な位置関係は相関計算方向によって定められ、複数の相関計算方向についてそれぞれ局所相関値が計算される。第一の実施形態の場合、各グループは１画素または２画素からなる。また
、グループ同士の相関の強さは、各グループを構成する画素の画素値に基づいて計算される。
図５では、対象フィールド画像Ｆｉの座標（ｘ，ｙ）に位置する画素が対象画素Ｔとして選択された状態とする。図５では、対象画素Ｔと、対象画素Ｔがある補間ライン２２１の上下の二つの実ライン２２０および２２２において対象画素Ｔの近傍に位置する合計１０個の実画素が図示されている。局所相関値は、これらの実画素の画素値に基づいて計算される。また、対象画素Ｔに対して図５では九つの相関計算方向を図示している。まず、説明のための用語と記法を以下のとおり定義する。
・ 九つの相関計算方向をそれぞれ、ｃ方向、ｒ１方向、ｒ２方向、ｒ３方向、ｒ４方向、ｌ１方向、ｌ２方向、ｌ３方向、ｌ４方向という名前で呼ぶ。
・ 補間ライン２２１の上下の実ラインをそれぞれ「上実ライン」、「下実ライン」と呼び、それぞれ符号「２２０」と「２２２」により参照する。
・ 上実ライン２２０の（ｘ−２，ｙ−１），（ｘ−１，ｙ−１），（ｘ，ｙ−１），（ｘ＋１，ｙ−１），（ｘ＋２，ｙ−１）に位置する画素を、それぞれｕ０，ｕ１，ｕ２，ｕ３，ｕ４なる符号で参照する。
・ 下実ライン２２２の（ｘ−２，ｙ＋１），（ｘ−１，ｙ＋１），（ｘ，ｙ＋１），（ｘ＋１，ｙ＋１），（ｘ＋２，ｙ＋１）に位置する画素を、それぞれｄ０，ｄ１，ｄ２，ｄ３，ｄ４なる符号で参照する。
・ 上記の１０個の実画素の画素値は、その画素の符号と同じ符号で表す。例えば、画素ｕ０の画素値は「ｕ０」により表す。したがって、次の式（４）〜（１３）のように定義される。
u0=p(i, x-2, y-1) (4)
u1=p(i, x-1, y-1) (5)
u2=p(i, x, y-1) (6)
u3=p(i, x+1, y-1) (7)
u4=p(i, x+2, y-1) (8)
d0=p(i, x-2, y+1) (9)
d1=p(i, x-1, y+1) (10)
d2=p(i, x, y+1) (11)
d3=p(i, x+1, y+1) (12)
d4=p(i, x+2, y+1) (13)
まずｃ方向について説明する。対象フィールド画像Ｆｉの座標（ｘ，ｙ）に位置する対象画素Ｔの、ｃ方向に対応する局所相関値ｃ（ｉ，ｘ，ｙ）は、式（１４）にしたがって計算される。
c(i, x, y)=|p(i, x, y-1)-p(i, x, y+1)|=|u2-d2| (14)
ｃ方向は真上の方向である。よって、上実ライン２２０上で対象画素Ｔの真上の方向にある画素ｕ２の画素値ｕ２が局所相関値ｃ（ｉ，ｘ，ｙ）の計算に利用される。また、対象画素Ｔを中心として画素ｕ２と対称な位置にある画素ｄ２の画素値ｄ２も局所相関値ｃ（ｉ，ｘ，ｙ）の計算に利用される。画素ｄ２の位置を別の言葉で表すと、下実ライン２２２上で、対象画素Ｔから見て、ｃ方向と逆方向である真下の方向にある画素である。
式（１４）のとおり、ｃ方向に対応する対象画素Ｔの局所相関値ｃ（ｉ，ｘ，ｙ）は、画素値ｕ２と画素値ｄ２の差の絶対値であり、画素ｕ２とｄ２の相関の強さを表している
。なお、この定義から明らかなとおり、相関が強いほど、つまり、相関が大きいほど、局所相関値は小さくなる。
ここで、ある一つの対象フィールド画像Ｆｉ内のある一つの補間ラインに注目すると、ｉとｙの値は一定で、対象画素Ｔを左から右へ順に選択するのにあわせてｘの値のみが変化する。そこで、式（４）から変数ｉとｙを除いた簡略記法を導入し、以下ではｃ方向の局所相関値を式（１５）のｃ（ｘ）により表す。
c(x)=|u2-d2| (15)
次に、ｒ１方向について説明する。ｒ１方向に対応する対象画素Ｔの局所相関値ｒ（ｘ，１）は、式（１６）により計算される。なお、ｒ（ｘ，１）の第二引数の１は、「ｒ１方向」の「１」に対応する。
r(x, 1)=|(u2+u3)/2-(d1+d2)/2| (16)
ｒ１方向は右上方向を表す。「右上方向」という語は、様々な傾きの右上方向を含む広い概念を表すが、ｒ１方向は特定の傾きの右上方向であり、その傾きは「上に１画素、右に０．５画素」という傾きである。上実ライン２２０上で対象画素Ｔのｒ１方向に当たるのは、画素ｕ２とｕ３の境界である。同様に、ｒ１の逆方向は「下に１画素、左に０．５画素」という傾きの左下方向である。そして、下実ライン２２２上で、対象画素Ｔから見てｒ１の逆方向にあるのは、画素ｄ１とｄ２の境界である。
一方、画素ｕ２とｕ３からなるグループを符号「Ｕ２＿３」で参照することにすると、グループＵ２＿３の中点は、上実ライン２２０上で対象画素Ｔのｒ１方向に当たる位置である。また、画素ｄ１とｄ２からなるグループを符号「Ｄ１＿２」で参照することにすると、グループＤ１＿２の中点は、下実ライン２２２上で、対象画素Ｔから見てｒ１の逆方向に当たる位置である。これら二つの中点のｘ方向の距離は１である。「ｒ１方向」という名称の「１」は、この距離１に対応する。
ここで、グループＵ２＿３を表す画素値として、画素値ｕ２とｕ３の平均値を割り当て、グループＤ１＿２を表す画素値として、画素値ｄ１とｄ２の平均値を割り当てることにする。また、それらの画素値もグループと同じ符号で参照することにする。すると、式（１６）の右辺は、画素値Ｕ２＿３とＤ１＿２の差の絶対値を表す。式（１４）に示したように、二つの値の差の絶対値は、その二つの値の相関の強さを示す値として利用することができる。つまり、式（１６）により計算される局所相関値ｒ（ｘ，１）は、グループＵ２＿３とＤ１＿２の相関の強さである。
あるいは、式（１６）は次のように解釈することもできる。画素ｕ２とｕ３の中点に位置し、画素値ｕ２とｕ３の平均の画素値を有する仮想的な画素を仮定する。以下ではこの画素を「仮想画素」と呼び、符号「ｕ２＿３」で参照する。同様に、画素ｄ１とｄ２の中点に位置し、画素値ｄ１とｄ２の平均の画素値を有する仮想画素を仮定する。以下ではこの仮想画素を符号「ｄ１＿２」で参照する。ここで、仮想画素ｕ２＿３とｄ１＿２のそれぞれの画素値を符号ｕ２＿３とｄ１＿２で表すと、上記の仮定から、ｒ１方向に対応する局所相関値ｒ（ｘ，１）は、画素値ｕ２＿３とｄ１＿２の差の絶対値であり、仮想画素ｕ２＿３とｄ１＿２の相関の強さである。
また、上記の仮定より仮想画素ｕ２＿３は座標（ｘ＋０．５，ｙ−１）に位置し、仮想画素ｄ１＿２は座標（ｘ−０．５，ｙ＋１）に位置すると見なせるので、仮想画素ｕ２＿３とｄ１＿２のｘ方向の距離は１である。「ｒ１方向」という名称の「１」は、この距離１に対応する。
以上が式（１６）についての二つの解釈による説明だが、まとめると、以下の式（１７）〜（１９）のように表せる。式（１９）は式（１４）と似た形である。
U2_3=u2_3=(u2+u3)/2 (17)
D1_2=d1_2=(d1+d2)/2 (18)
r(x, 1)=|U2_3-D1_2|=|u2_3-d1_2| (19)
なお、簡略記法を用いない場合は、局所相関値ｒ（ｘ，１）を次の式（２０）により表すことができる。
r(i, x, y, 1)
=|{p(i, x, y-1)+p(i, x+1, y-1)}/2-
{p(i, x-1, y+1)+p(i, x, y+1)}/2| (20)
次にｌ１方向について説明する。ｌ１方向は左上方向を表す。ｌ１方向はｒ１方向と左右対称なので詳しい説明を省略する。ｒ１方向と同様にして局所相関値ｌ（ｘ，１）が式（２１）により定義される。
l(x, 1)=|(u1+u2)/2-(d2+d3)/2| (21)
次にｒ２方向について説明する。ｒ２方向は右上方向を表すが、ｒ１方向よりも傾きが緩やかである。ｒ２方向に対応する対象画素Ｔの局所相関値ｒ（ｘ，２）は式（２２）により計算される。なお、ｒ（ｘ，２）の第二引数の２は、「ｒ２方向」の「２」に対応する。
r(x, 2)=|u3-d1| (22)
ｒ２方向の傾きは「上に１画素、右に１画素」という傾きである。よって、上実ライン２２０上で対象画素Ｔのｒ２方向に当たるのは画素ｕ３である。また、ｒ２方向の逆方向は「下に１画素、左に１画素」という傾きの左下方向である。よって、下実ライン２２２上で、対象画素Ｔから見てｒ２方向の逆方向にあるのは、画素ｄ１である。したがって、ｒ２方向に対応する局所相関値ｒ（ｘ，２）は、式（２２）のとおり画素値ｕ３とｄ１の差の絶対値であり、画素ｕ３とｄ１の相関の強さを表している。また、画素ｕ３とｄ１のｘ方向の距離は（ｘ＋１）−（ｘ−１）＝２である。「ｒ２方向」という名称の「２」はこの距離２を表している。
なお、ｒ（ｘ，２）は、一つの画素ｕ３のみからなるグループＵ３と、一つの画素ｄ１のみからなるグループＤ１との相関である、と解釈することも可能である。
次にｌ２方向について説明すると、ｌ２方向は左上方向を表し、ｒ２方向と左右対称な方向である。よって、詳しい説明は省略するが、局所相関値ｌ（ｘ，２）は式（２３）により定義される。
l(x, 2)=|u1-d3| (23)
次にｒ３方向について説明する。ｒ３方向は右上方向を表すが、ｒ２方向よりもさらに傾きが緩やかである。ｒ３方向に対応する対象画素Ｔの局所相関値ｒ（ｘ，３）は式（２４）により計算される。ｒ（ｘ，３）の第二引数の３は、「ｒ３方向」の「３」に対応する。
r(x, 3)=|(u3+u4)/2-(d0+d1)/2| (24)
ｒ３方向の傾きは「上に１画素、右に１．５画素」という傾きである。よって、上実ライン２２０上で対象画素Ｔのｒ３方向に当たるのは画素ｕ３とｕ４の境界である。そこで、ｒ１方向の場合と同様にして、画素ｕ３とｕ４からなるグループＵ３＿４に、画素値ｕ３とｕ４の平均値を割り当てることにする。あるいは、画素ｕ３とｕ４の中点に位置し、画素値ｕ３とｕ４の平均の画素値を有する仮想画素ｕ３＿４を仮定する。すると、ｒ（ｘ，１）の計算の場合と同様にして、式（２５）が得られる。
U3_4=u3_4=(u3+u4)/2 (25)
また、ｒ３方向の逆方向は「下に１画素、左に１．５画素」という傾きの左下方向である。そして、下実ライン２２２上で、対象画素Ｔから見てｒ３の逆方向にあるのは、画素ｄ０とｄ１の境界である。そこで、ｒ１方向の場合と同様にして、画素ｄ０とｄ１からなるグループＤ０＿１に、画素値ｄ０とｄ１の平均値を割り当てることにする。あるいは、画素ｄ０とｄ１の中点に位置し、画素値ｄ０とｄ１の平均の画素値を有する仮想画素ｄ０＿１を仮定する。すると、ｒ（ｘ，１）の計算の場合と同様にして、式（２６）が得られる。
D0_1=d0_1=(d0+d1)/2 (26)
よって、ｒ３方向に対応する局所相関値ｒ（ｘ，３）は、二つのグループＵ３＿４とＤ０＿１の相関の強さだと解釈することもでき、仮想画素ｕ３＿４とｄ０＿１の相関の強さだと解釈することもできる。
次に、ｌ３方向について説明すると、ｌ３方向は左上方向を表し、ｒ３方向と左右対称な方向である。よって、詳しい説明は省略するが、局所相関値ｌ（ｘ，３）は式（２７）により定義される。
l(x, 3)=|(u0+u1)/2-(d3+d4)/2| (27)
次にｒ４方向について説明する。ｒ４方向は右上方向を表すが、ｒ３方向よりもさらに傾きが緩やかである。ｒ４方向に対応する対象画素Ｔの局所相関値ｒ（ｘ，４）は式（２８）により計算される。なお、ｒ（ｘ，４）の第二引数の４は、「ｒ４方向」の「４」に対応する。
r(x, 4)=|u4-d0| (28)
ｒ４方向の傾きは「上に１画素、右に２画素」という傾きである。よって、上実ライン２２０上で対象画素Ｔのｒ４方向に当たるのは画素ｕ４である。また、ｒ４方向の逆方向は「下に１画素、左に２画素」という傾きの左下方向である。よって、下実ライン２２２上で、対象画素Ｔから見てｒ４方向の逆方向にあるのは、画素ｄ０である。したがって、ｒ４方向に対応する局所相関値ｒ（ｘ，４）は、式（２８）のとおり画素値ｕ４とｄ０の差の絶対値であり、画素ｕ４とｄ０の相関の強さを表している。また、ｒ２方向の場合と同様に、ｒ（ｘ，４）は、画素ｕ４のみからなるグループＵ４と画素ｄ０のみからなるグループＤ０との相関であると解釈することもできる。
次に、ｌ４方向について説明すると、ｌ４方向は左上方向を表し、ｒ４方向と左右対称な方向である。よって、詳しい説明は省略するが、局所相関値ｌ（ｘ，４）は式（２９）により定義される。
l(x, 4)=|u0-d4| (29)
以上、図５を参照して九つの相関計算方向について、それぞれ局所相関値の計算の仕方とその解釈を説明したが、実施形態によって、考慮すべき相関計算方向の数は任意である。式（１４）や（２０）と同様の省略のない記法を使うと、一般化した形で右上方向の場合の局所相関値の式を表すことができる。すなわち、１以上の整数ｍを用いて、以下の式（３０）と（３１）のように表すことができる。左上方向の場合も同様である。
r(i, x, y, 2m-1)
=|{p(i, x+m-1, y-1)+p(i, x+m, y-1)/2-
{p(i, x-m, y+1)+p(i, x-m+1, y+1)}/2| (30)
r(i, x, y, 2m)=|p(i, x+m, y-1)-p(i, x-m, y+1)| (31)
次に、図４のステップＳ２０４で計算する累積相関値について説明する。図２に関して説明したように、累積相関値は、複数の相関計算方向のそれぞれに対応する。つまり、上記で局所相関値を計算したｃ方向、ｒｊ方向、ｌｊ方向（ｊ＝１，２，３，４）のそれぞれについて累積相関値が定義され、計算される。また、累積相関値は、選択順序方向にしたがって累積されることにより計算される。第一の実施形態では、仮定（ｈ）より、選択順序方向は一つの補間ラインについて「左から右へ」という方向である。つまり、選択順序方向はｘ座標の値が増す方向である。
以下では、座標（ｘ，ｙ）に位置する対象画素Ｔについての、ｃ方向に対応する累積相関値をＣ（ｘ）と表し、ｒｊ方向に対応する累積相関値をＲ（ｘ，ｊ）と表し、ｌｊ方向に対応する累積相関値をＬ（ｘ，ｊ）と表す。ここで、ｊは１，２，３，４のいずれかである。なお、局所相関値の場合と同様に、Ｃ（ｘ），Ｒ（ｘ，ｊ），Ｌ（ｘ，ｊ）というのは簡略記法である。つまり、対象フィールド画像Ｆｉとｙ座標が一定の場合に、ｘの変化にのみ注目した記法である。
累積相関値については、まず定義をまとめて示してから説明する。累積相関値は、ｘ＝０のとき式（３２）〜（３４）により定義され、ｘ＞０のとき式（３５）〜（４３）により再帰的に定義される。
C(0)=0 (32)
L(0, j)=BIG (j=1, 2, 3, 4) (33)
R(0, j)=BIG (j=1, 2, 3, 4) (34)
C(x)=min(L(x-1, 1), C(x-1), R(x-1, 1))+c(x) (35)
R(x, 4)=min(R(x-1, 4), R(x-1, 3))+r(x, 4) (36)
R(x, 3)=min(R(x-1, 4), R(x-1, 3), R(x-1, 2))+r(x, 3) (37)
R(x, 2)=min(R(x-1, 3), R(x-1, 2), R(x-1, 1))+r(x, 2) (38)
R(x, 1)=min(R(x-1, 2), R(x-1, 1), C(x-1))+r(x, 1) (39)
L(x, 4)=min(L(x-1, 4), L(x-1, 3))+l(x, 4) (40)
L(x, 3)=min(L(x-1, 4), L(x-1, 3), L(x-1, 2))+l(x, 3) (41)
L(x, 2)=min(L(x-1, 3), L(x-1, 2), L(x-1, 1))+l(x, 2) (42)
L(x, 1)=min(L(x-1, 2), L(x-1, 1), C(x-1))+l(x, 1) (43)
これらの式において、ｍｉｎ（ａ，ｂ）はａ，ｂの最小値を表し、ｍｉｎ（ｃ，ｄ，ｅ）はｃ，ｄ，ｅの最小値を表す。また、ＢＩＧは、累積相関値として実際にありうる値の上限よりも大きな任意の定数である。上記の式を数学的なモデルと見なす場合は、ＢＩＧは無限大に相当する。したがって、ＢＩＧにどのような値を足してもその結果はＢＩＧであると見なし、例えば、次の式（４４）のように計算することにする。
L(1, 2)
=min(L(0, 3), L(0, 2), L(0, 1))+l(1, 2)
=min(BIG, BIG, BIG)+l(1, 2)
=BIG+l(1, 2)
=BIG (44)
次に、累積相関値の意味について説明する。上記の再帰的な定義から分かるように、累積相関値は、（ｘ，ｙ）に位置する対象画素Ｔよりも左側の局所相関値を累積加算して得られる値である。局所相関値は、上記の定義から非負であり、相関が大きいほど値が小さい。よって、局所相関値を累積加算して得られる累積相関値も、非負であり、相関が大きいほど値が小さい。したがって、式（３５）〜（４３）において関数ｍｉｎを用いるのは、二つまたは三つの累積相関値のうちで相関が最大のものを選択することを示し、ＢＩＧは相関が無限小であることを示す。
ここで、対象画素Ｔよりも左側の局所相関値を累積加算することから、対象画素Ｔが画像の左端にある場合、つまりｘ＝０の場合は特別な場合であることが分かる。ｘ＝０の場合、相関計算方向によっては累積相関値の値が計算不能である。図５を参照してこのことを説明する。
図５においてｘ＝０の場合、画素ｕ０，ｕ１，ｄ０，ｄ１が存在しない。例えば、ｒ２方向の局所相関値ｒ（ｘ，２）は、対象画素Ｔから見てｒ２方向にある画素ｕ３と、対象画素Ｔから見てｒ２方向の逆方向にある画素ｄ１との間の相関である。よって、ｘ＝０のとき画素ｄ１が存在しないために局所相関値ｒ（ｘ，２）は計算不能である。ここで、各相関計算方向について定義されるという点で局所相関値と累積相関値は同様である。よって、画素ｄ１が存在しなければ、ｒ２方向について局所相関値も累積相関値も計算不能である。同様の理由で、ｘ＝０においては、ｃ方向以外の方向について累積相関値が計算不能である。
一方、ｃ方向は、ｘ＝０のときに唯一計算可能な方向である。よって、ｃ方向については、例えば、局所相関値ｃ（０）を用いて累積相関値Ｃ（０）を定義してもかまわないが、本実施形態では、式（３２）により累積相関値を計算することに決める。後述するように、累積相関値Ｃ（０）は他のすべての累積相関値に均しく影響するが、累積相関値は大小の比較に用いられるものである。よって、累積相関値Ｃ（０）は式（３２）のように適当な定数に定めても問題がない。また、ｘ＝０のときに計算不能なｒｊ方向およびｌｊ方向（ｊ＝１，２，３，４）については、式（３３）と（３４）により、一律に累積相関値がＢＩＧであることを定義する。
次に、ｘ＞０の場合の式（３５）〜（４３）の意味を説明する。式（３５）〜（４３）はいずれも、現在の対象画素Ｔの一つ左の画素で計算した複数の累積相関値のうちの最小値と、対象画素Ｔの局所相関値の和である点で同じである。また、ある相関計算方向ｄに対応する累積相関値の計算に使われる局所相関値は、同じ相関計算方向ｄに対応する局所相関値である点も、式（３５）〜（４３）に共通である。
ここで、図５に示した九つの相関計算方向を、その傾きの角度にしたがってソートすると、ｌ４方向、ｌ３方向、ｌ２方向、ｌ１方向、ｃ方向、ｒ１方向、ｒ２方向、ｒ３方向、ｒ４方向という順番となる。この順番に注目して式（３５）〜（４３）を見ると、一般に、次のことが成り立つ。すなわち、相関計算方向ｄについての累積相関値の計算において、関数ｍｉｎに引数として与えられる計算済みの累積相関値は、相関計算方向ｄ自体とその前後の相関計算方向に対応する。
例えば、式（４０）はｌ４方向に対応する。ｌ４方向は上記の順番が１番目なので、ｌ４方向よりも順番が前の相関計算方向は存在しない。よって、関数ｍｉｎには、順番が１番目のｌ４方向と２番目のｌ３方向に対応する累積相関値が与えられる。また、式（４１）はｌ３方向に対応する。ｌ３方向は順番が２番目なので、順番がその前後の方向、すなわち１番目のｌ４方向と３番目のｌ２方向に対応する累積相関値が、関数ｍｉｎに引数として与えられる。
つまり、各相関計算方向には、その相関計算方向に対応する累積相関値の計算において考慮すべき相関計算方向が複数対応づけられている。以下、そのように対応づけられた相関計算方向を「関連方向」と呼ぶ。例えば、ｌ４方向の関連方向はｌ４方向とｌ３方向の二つであり、ｃ方向の関連方向はｒ１方向とｃ方向とｌ１方向の三つである。
つまり、式（３５）〜（４３）のそれぞれにおいて、関数ｍｉｎを含む第１項は、次の２点を意味する。
・ 注目している相関計算方向ｄに近い一つ以上の相関計算方向と、相関計算方向ｄ自体とを、関連方向として予め相関計算方向ｄに対応づけておく。
・ 対象画素Ｔの一つ左の画素について、それらの関連方向に対応して計算された複数の累積相関値のうち、最も相関の強い相関計算方向の累積相関値を選択する。
この２点は、直観的には、現在注目している相関計算方向ｄに近い方向に対応する相関が、対象画素Ｔよりも左側において強い傾向か弱い傾向かを表す。ここでは、ある相関計算方向ｄでの相関が強ければ、その相関計算方向ｄに近い別の相関計算方向ｄ’においても、相関が比較的強いことを暗黙に仮定している。
例えば、ある補間ラインにおいて、対象画素Ｔよりも左側では、ｒ１方向の局所相関値が最大となる画素が大多数である場合を考える。この場合、当然、対象画素Ｔよりも左側では、ｒ１方向の相関が強い傾向にある。さらに、ｃ方向やｒ２方向は、ｒ１方向に近いので、対象画素Ｔよりも左側では、ｃ方向やｒ２方向の相関も比較的強い傾向にあると推測される。このような直観的理解を反映したのが式（３５）〜（４３）の再帰的定義である。この例では、ｃ方向やｒ２方向には関連方向としてｒ１方向が対応づけられているため、ｃ方向やｒ２方向に対応する累積相関値の累積加算において、相関の強いｒ１方向の累積相関値が関数ｍｉｎにより選択されて加算される。その結果、Ｃ（ｘ）やＲ（ｘ，２）も、比較的強い相関を表す値、すなわち比較的小さな値となる。
図６は、以上で説明した累積相関値の計算の具体例を説明する図である。図６では、上実ライン２２０と下実ライン２２２の間の補間ライン２２１上の画素に対する累積相関値の計算について例示している。図６は、座標（ｘ−１，ｙ）の対象画素Ｔ１についての累積相関値の計算を示した左列と、座標（ｘ，ｙ）の対象画素Ｔ２についての累積相関値の計算を示した中央列と、累積相関値を定義する式を示した右列とからなる。また、各列は、上から順に、ｒ２方向、ｒ１方向、ｃ方向、ｌ１方向、ｌ２方向の五つの方向についてそれぞれ示している。
図６の左列は、座標（ｘ−１，ｙ）の対象画素Ｔ１について計算済みの累積相関値Ｒ（ｘ−１，２）、Ｒ（ｘ−１，１）、Ｃ（ｘ）、Ｌ（ｘ−１，１）、Ｌ（ｘ−１，２）にそれぞれ対応する計算説明図２３０、２３１、２３２、２３３、２３４を含む。なお、図６では、紙面の都合上、五つの相関計算方向についてのみ示したが、不図示のｒ３方向などについても、局所相関値および累積相関値を計算していると仮定する。また、図６では、紙面の都合上、水平方向すなわちｘ方向に７個の画素のみを図示しているが、実際には、左右両側にさらに画素が存在する。
例えば、式（３８）から明らかなとおり、対象画素Ｔ１についてのｒ２方向に対応する累積相関値Ｒ（ｘ−１，２）は、三つの累積相関値の最小値と、局所相関値ｒ（ｘ−１，２）との和である。局所相関値ｒ（ｘ−１，２）はｒ２方向に対応する。よって、累積相関値Ｒ（ｘ−１，２）の計算説明図２３０において、対象画素Ｔ１を中心としてｒ２方向とその逆方向を向いた両向きの実線矢印Ａ１４により、局所相関値ｒ（ｘ−１，２）を表している。
同様に、累積相関値Ｒ（ｘ−１，１）の計算説明図２３１において、対象画素Ｔ１を中心としてｒ１方向とその逆方向を向いた両向きの実線矢印Ａ１８により、局所相関値ｒ（ｘ−１，１）を表している。
図６の中央列も左列と同様に、五つの相関計算方向に対応する累積相関値の計算説明図２３５〜２３９を示している。中央列では、対象画素Ｔ１の右隣の画素、すなわち座標（ｘ，ｙ）の画素が対象画素Ｔ２である。
例えば、対象画素Ｔ１についてのｒ１方向の累積相関値Ｒ（ｘ，１）の計算を示す計算説明図２３６へは、Ｒ（ｘ−１，２）の計算を示す計算説明図２３０、Ｒ（ｘ−１，１）の計算を示す計算説明図２３１、Ｃ（ｘ−１）の計算を示す計算説明図２３２のそれぞれから太矢印Ａ２４、Ａ２５、Ａ２６が出ている。太矢印Ａ２４、Ａ２５、Ａ２６は、Ｒ（ｘ，１）を定義する式（３９）において、関数ｍｉｎにＲ（ｘ−１，２）、Ｒ（ｘ−１，１）、Ｃ（ｘ−１）の三つが引数として与えられることを示している。また、図６ではこの三つのうちＲ（ｘ−１，１）が最小だと仮定している。よって、３本の太矢印Ａ２４、Ａ２５、Ａ２６のうち、Ｒ（ｘ−１，１）に対応する太矢印Ａ２５のみを実線で示し、他の２本の太矢印Ａ２４とＡ２６は、破線で示した。
累積相関値Ｒ（ｘ，２）の計算を示す計算説明図２３５についても同様である。Ｒ（ｘ−１，１）に対応する計算説明図２３１からの太矢印Ａ２３、Ｒ（ｘ−１，２）に対応する計算説明図２３０からの太矢印Ａ２２、Ｒ（ｘ−１，３）に対応する不図示の計算説明図からの太矢印Ａ２１が、計算説明図２３５へ向かっている。また、図６ではこれら３個の累積相関値のうちＲ（ｘ−１，１）が最小だと仮定している。よって、Ｒ（ｘ−１，１）に対応する太矢印Ａ２３を実線で、太矢印Ａ２１とＡ２２を破線で示した。
上記の仮定のもとでは、式（３８）より、Ｒ（ｘ，２）はＲ（ｘ−１，１）と局所相関値ｒ（ｘ，２）の和である。計算説明図２３５において、対象画素Ｔ２を中心としてｒ２方向とその逆方向を向いた両向きの実線矢印Ａ３５は、ｒ（ｘ，２）を示している。
また、計算説明図２３５には、実線矢印Ａ３５の左側に、両向きの４本の破線矢印が存在する。すなわち、（ｘ−１）に対応する破線矢印Ａ３４、（ｘ−２）に対応する破線矢印Ａ３３、（ｘ−３）に対応する破線矢印Ａ３２、（ｘ−４）に対応する破線矢印Ａ３１が存在する。以下に、これらの破線矢印について説明する。
式（３２）〜（４３）の定義から、累積相関値は、例外的に値がＢＩＧとなる場合を除いて、一つ以上の局所相関値の和であることが明らかである。これらの局所相関値をその累積相関値の「構成要素」と呼ぶことにする。Ｒ（ｘ，２）の計算説明図２３５に存在する破線矢印Ａ３１〜Ａ３４は、Ｒ（ｘ，２）の計算において関数ｍｉｎにより選択されたＲ（ｘ−１，１）の構成要素を表している。
例えば、上記のとおり、Ｒ（ｘ−１，１）には構成要素としてｒ（ｘ−１，１）が含まれ、これは計算説明図２３１において実線矢印Ａ１８により表される。また、この例ではＲ（ｘ，２）はＲ（ｘ−１，１）とｒ（ｘ，２）の和なので、Ｒ（ｘ−１，１）の構成要素のｒ（ｘ−１，１）は、Ｒ（ｘ，２）の構成要素でもある。よって、計算説明図２３５には、計算説明図２３１における実線矢印Ａ１８に対応する破線矢印Ａ３４が存在し、破線矢印Ａ３４がｒ（ｘ−１，１）を示している。すなわち、破線矢印Ａ３４は、座標（ｘ−１，ｙ）を中心としてｒ１方向とその逆方向を向いた両向きの破線矢印である。
同様に、計算説明図２３５における破線矢印Ａ３１、Ａ３２、Ａ３３は、それぞれ計算説明図２３１における破線矢印Ａ１５、Ａ１６、Ａ１７に対応している。つまり、Ｒ（ｘ，２）の計算において関数ｍｉｎにより選ばれたＲ（ｘ−１，１）の構成要素の各々は、Ｒ（ｘ，２）の構成要素でもあるから、計算説明図２３１における破線矢印の向きのパターンが、計算説明図２３５における破線矢印の向きのパターンに引き継がれている。よって、Ｒ（ｘ，２）は構成要素としてｃ（ｘ−４）、ｃ（ｘ−３）、ｒ（ｘ−２，１）、ｒ（ｘ−１，１）、ｒ２（ｘ，２）を含む。これら五つの局所相関値はそれぞれ、計算説明図２３５における破線矢印Ａ３１、破線矢印Ａ３２、破線矢印Ａ３３、破線矢印Ａ３４、実線矢印Ａ３５に対応する。
一方、Ｒ（ｘ−１，２）の計算を示す計算説明図２３０とＲ（ｘ，２）の計算を示す計算説明図２３５とを比較すると、両者ともｒ２方向に対応するものの、破線矢印の向きのパターンは異なる。これは、Ｒ（ｘ，２）の計算において関数ｍｉｎによりＲ（ｘ−１，２）が選ばれなかったためである。
また、関連方向以外の方向の局所相関値が、累積相関値の構成要素として含まれることもある。例えば、Ｒ（ｘ，２）に対応するｒ２方向の関連方向は、ｒ１方向、ｒ２方向、ｒ３方向の三つである。一方、Ｒ（ｘ，２）の計算を示す計算説明図２３５には、ｃ方向に対応する破線矢印Ａ３１とＡ３２がある。
図６の右列は、五つの相関計算方向に対応する累積相関値を定義する式を示している。つまり、上記の式（３８）、（３９）、（３５）、（４３）、（４２）を示している。
以上で、局所相関値と累積相関値の定義と意味を説明したので、次に、実際の計算手順について説明する。図７は、図４のステップＳ２０４で行う相関値計算のフローチャートである。図７は、上記の式で定義された局所相関値と累積相関値を、局所相関値計算部２０４と累積相関値計算部２０５がそれぞれ計算する処理を表す。
なお、図７では、対象フィールド画像Ｆｉにおいて（ｘ，ｙ）に位置する対象画素Ｔについての計算を行うものと仮定して説明する。また、図７ではｘ＞０と仮定している。つまり、正確には、図７は、図４のステップＳ２０４においてｘ＞０の場合のフローチャートである。
ｘ＝０の場合は、局所相関値と累積相関値の定義から明らかなように、例外的な場合である。また、ｘ＝０の場合、ｃ方向以外については局所相関値と累積相関値が計算不能であり、累積相関値計算部２０５は式（３３）や（３４）にしたがって単に累積相関値を所定の値に定めて格納部２０１に格納するだけである。よって、ｘ＝０の場合についてはフローチャートを省略した。
一方、ｘ＞０の場合、図７の処理が実行される。まず、ステップＳ３０１で、局所相関値計算部２０４が変数ｋに−ｎを代入して初期化する。変数ｋは、複数の相関計算方向のうちの一つを指定するための変数である。ｎは、（２ｎ＋１）が相関計算方向の数であるような所定の定数であり、実施形態によって予め決められている正の整数である。なお、相関計算方向として考慮する方向には、必ずｃ方向が含まれること、および右上方向の数と左上方向の数が同数であることが望ましく、図７では暗黙にこのことを前提としている。
例えば、ｒ４方向、ｒ３方向、ｒ２方向、ｒ１方向、ｃ方向、ｌ１方向、ｌ２方向、ｌ３方向、ｌ４方向の九つの方向について考慮する実施形態においては、右上方向と左上方向が四つずつなので、ｎ＝４である。変数ｋの初期化後、ステップＳ３０２に移行する。
ステップＳ３０２〜Ｓ３０５は、変数ｋの値を変えて繰り返し実行されるループである。このループは、各相関計算方向について局所相関値が計算されることを表す。
ステップＳ３０２で、局所相関値計算部２０４はｋがｎより大きいか否かを判定する。ｋがｎより大きければ判定は「Ｙｅｓ」となり、対象画素Ｔについての局所相関値の計算は終了して、ステップＳ３０６に移行する。ｋがｎ以下なら判定は「Ｎｏ」となり、ステップＳ３０３に移行する。
ステップＳ３０３は、図７における局所相関値の表記法について説明しており、実質的には何も行われず、ステップＳ３０４に処理が移行する。図７では、式（４５）〜（４７
）のように定義することによって、（ｘ，ｙ）に位置する対象画素Ｔについての局所相関値を、統一的な表記「ｖ（ｋ）」により表す。例えば、ｖ（−３）＝ｌ（ｘ，３）であり、ｖ（２）＝ｒ（ｘ，２）である。
v(k)=l(x, -k) (k<0) (45)
v(k)=c(x) (k=0) (46)
v(k)=r(x, k) (k>0) (47)
ステップＳ３０３に続くステップＳ３０４において、局所相関値計算部２０４は、現在の変数ｋの値が示す相関計算方向に対応する、対象画素Ｔについての局所相関値ｖ（ｋ）を計算し、格納部２０１に格納する。つまり、局所相関値計算部２０４は、上述した局所相関値の定義にしたがって、対象フィールド画像Ｆｉ内の画素のうち局所相関値の計算に必要な複数の画素の画素値を格納部２０１から読み出し、それらの画素値に基づいて局所相関値を計算し、格納部２０１に格納する。
なお、図３に示したとおり、格納部２０１には入力フィールド画像、局所相関値、累積相関値のそれぞれのデータが格納される。第一の実施形態では、これらのデータは、それぞれ格納部２０１内の所定の領域に格納されるものとするが、データを格納する領域が動的に決められて割り当てられてもよい。
ｖ（ｋ）の計算と格納の後、ステップＳ３０５において、局所相関値計算部２０４は変数ｋに１を加算する。これは、上記の相関計算方向のソート順において隣接する次の相関計算方向を局所相関値計算部２０４が選択することを意味する。加算の後、ステップＳ３０２に戻る。
ステップＳ３０６は、ステップＳ３０２の判定が「Yｅｓ」のとき実行される。ステップＳ３０１〜Ｓ３０５は局所相関値計算部２０４による局所相関値の計算処理であり、ステップＳ３０６〜Ｓ３１４は累積相関値計算部２０５による累積相関値の計算処理である。
ステップＳ３０６で、累積相関値計算部２０５は変数ｋに−ｎを代入して初期化し、ステップＳ３０７に移行する。これは、ステップＳ３０１と同様である。
ステップＳ３０７〜Ｓ３１４は、変数ｋの値を変えて繰り返し実行されるループである。このループは、各相関計算方向について累積相関値が計算されることを表す。
ステップＳ３０７で、累積相関値計算部２０５はｋがｎより大きいか否かを判定する。ｋがｎより大きければ判定は「Ｙｅｓ」となり、対象画素Ｔについての累積相関値の計算は終了して、図７の処理全体が終了する。ｋがｎ以下なら判定は「Ｎｏ」となり、ステップＳ３０８に移行する。
ステップＳ３０８は、図７における累積相関値の表記法について説明しており、実質的には何も行われず、ステップＳ３０９に処理が移行する。図７では、式（４８）〜（５０）のように定義することによって、（ｘ，ｙ）に位置する対象画素Ｔについての累積相関値を、統一的な表記「Ｖ（ｘ，ｋ）」により表す。例えば、Ｖ（−３）＝Ｌ（ｘ，３）であり、Ｖ（ｘ，２）＝Ｒ（ｘ，２）である。
V(x, k)=L(x, -k) (k<0) (48)
V(x, k)=C(x) (k=0) (49)
V(x, k)=R(x, k) (k>0) (50)
ステップＳ３０９〜Ｓ３１３は、ｋの値によって異なる定義に基づいて累積相関値を累積相関値計算部２０５が算出し、格納部２０１に格納するステップである。
ステップＳ３０９において、累積相関値計算部２０５は、変数ｋが−ｎに等しいか否かを判定する。ｋ＝−ｎのとき判定は「Ｙｅｓ」となり、ステップＳ３１０に移行し、ｋ≠−ｎのとき判定は「Ｎｏ」となり、ステップＳ３１１に移行する。
ステップＳ３１０において、累積相関値計算部２０５は、累積相関値Ｖ（ｘ，ｋ）を計算する。ステップＳ３１０が実行されるのはｋ＝−ｎの場合なので、変数ｋにより示される相関計算方向は、相関計算方向のうちで最も傾きの緩やかな左上方向、すなわちｌｎ方向である。ｌｎ方向は、上記の相関計算方向のソート順における順番が１番目の方向である。ｎ＝４の場合の例を示した式（４０）からも明らかなとおり、この場合、関数ｍｉｎに引数として与えられる累積相関値は二つだけである。すなわち、相関計算方向のソート順が１番目と２番目の相関計算方向にそれぞれ対応して（ｘ−１，ｙ）に位置する画素について過去に計算した累積相関値Ｖ（ｘ−１，ｋ）とＶ（ｘ−１，ｋ＋１）が、関数ｍｉｎの引数となる。ステップＳ３１０では式（４０）を一般化した次の式（５１）により、累積相関値Ｖ（ｘ，ｋ）が定義されており、式（５１）に基づいて累積相関値計算部２０５がＶ（ｘ，ｋ）を計算する。
V(x, k)=min(V(x-1, k), V(x-1, k+1))+v(k) (51)
すなわち、過去に計算されて格納部２０１に格納された累積相関値Ｖ（ｘ−１，ｋ）とＶ（ｘ−１，ｋ＋１）を累積相関値計算部２０５が格納部２０１から読み出す。累積相関値計算部２０５は二者のうちの最小値を選択する。なお、上記の「過去に計算されて」とは、具体的には、図４において現在実行中のステップＳ２０４の直前のループで実行されたステップＳ２０４を示す。累積相関値計算部２０５はまた、ステップＳ３０４で計算され格納部２０１に格納された局所相関値ｖ（ｋ）を読み出し、選択した最小値とｖ（ｋ）を加算することによってＶ（ｘ，ｋ）を算出し、格納部２０１に格納する。そして処理はステップＳ３１４に移行する。
ステップＳ３１１において、累積相関値計算部２０５は、変数ｋがｎに等しいか否かを判定する。ｋ＝ｎのとき判定は「Ｙｅｓ」となり、ステップＳ３１２に移行し、ｋ≠ｎのとき判定は「Ｎｏ」となり、ステップＳ３１３に移行する。
ステップＳ３１２において、累積相関値計算部２０５は、累積相関値Ｖ（ｘ，ｋ）を計算する。ステップＳ３１２が実行されるのはｋ＝ｎの場合なので、変数ｋにより示される相関計算方向は、相関計算方向のうちで最も傾きの緩やかな右上方向、すなわちｒｎ方向である。つまり、ステップＳ３１２ではステップＳ３１０と左右対称な相関計算方向について、累積相関値計算部２０５が累積相関値を計算する。その累積相関値は式（５２）で定義される。式（５２）は式（３６）の一般化である。累積相関値計算部２０５の動作はステップＳ３１０と同様なので説明を省略する。ステップＳ３１２の実行後、処理はステップＳ３１４に移行する。
V(x, k)=min(V(x-1, k-1), V(x-1, k))+v(k) (52)
ステップＳ３１３において、累積相関値計算部２０５は、累積相関値Ｖ（ｘ，ｋ）を計算する。ステップＳ３１３が実行されるのは−ｎ＜ｋ＜ｎの場合である。つまり、変数ｋにより示される相関計算方向に対して、三つの関連方向が定義されている。よって、Ｖ（ｘ，ｋ）は式（５３）により定義される。
V(x, k)=min(V(x-1, k-1), V(x-1, k), V(x-1, k+1))+v(k) (53)
式（５３）は式（３５）、（３７）〜（３９）、（４１）〜（４３）の一般化である。累積相関値計算部２０５の動作は、格納部２０１から読み出す累積相関値の数が違う点以外は、ステップＳ３１０と同様なので、説明を省略する。ステップＳ３１３の実行後、処
理はステップＳ３１４に移行する。
ステップＳ３１４において、累積相関値計算部２０５は変数ｋに１を加算する。これは、上記の相関計算方向のソート順において隣接する次の相関計算方向を累積相関値計算部２０５が選択することを意味する。加算の後、ステップＳ３０７に戻る。
以上のようにして図７の処理を相関値計算部２０３が終えると、処理は図４のステップＳ２０５に進む。
ところで、累積相関値は、対象画素よりも左側の相関の傾向を反映する値だが、計算に必要な計算機資源の量はそれほど多くない。つまり、式（５１）〜（５３）に示したように、累積相関値は最小値の選択と加算を行うだけで算出可能である。このように定義された累積相関値は、例えばｘの値や相関計算方向の数にしたがって計算量が指数的に増大するようなことがない。
また、式（５１）〜（５３）から明らかなとおり、第一の実施形態では、座標（ｘ−１，ｙ）の画素についての累積相関値さえ格納部２０１に格納されていれば、座標（ｘ，ｙ）の対象画素についての累積相関値が計算可能である。つまり、座標（ｘ−２，ｙ）の画素やそれよりも左側の画素についての累積相関値が格納部２０１から消去されていても、座標（ｘ，ｙ）の対象画素についての累積相関値は計算可能である。したがって、第一の実施形態は、入力画像の画素数が多くても、累積相関値の計算に必要な格納部２０１の容量が少なくてすむという利点を有する。
次に、図８を参照して、図４のステップＳ２０６の詳細を説明する。図８は第一の実施形態におけるフィールド内補間のフローチャートであり、図４で変数ｘとｙにより設定された座標（ｘ，ｙ）の対象画素についての処理を表す。図８の処理はフィールド内補間部２０７により実行される。ステップＳ４０１〜Ｓ４０５は、対象画素の補間に用いる補間用画素を決定するための処理であり、ステップＳ４０６は対象画素を補間するための処理である。
ステップＳ４０１において、方向選択部２０８が、累積相関値が最小となる相関計算方向ｄｉｒを選択する。図７に示したとおり、累積相関値計算部２０５は（２ｎ＋１）個の相関計算方向について、それぞれ累積相関値を計算済みである。よって、方向選択部２０８はこれら（２ｎ＋１）個の累積相関値のうちで値が最小の累積相関値に対応する相関計算方向を選択する。なお、累積相関値は非負であり、値が小さいほど相関が高いので、「方向選択部２０８は、最も累積相関の高い相関計算方向をｄｉｒとして選択する」とも言える。
また、値が最小の累積相関値が複数ある場合は、それらのうちで最もｃ方向に近い相関計算方向に対応するものを方向選択部２０８が選択する。例えば、（２ｎ＋１）個の累積相関値のうちでｌ２方向に対応するＬ（ｘ，２）とｒ１方向に対応するＲ（ｘ，１）の二つが同じ値で最小だったら、ｒ１方向の方がｌ２方向よりもｃ方向に近いので、ステップＳ４０１ではｒ１方向がｄｉｒとして選択される。ｄｉｒの選択後、ステップＳ４０２に移行する。
ステップＳ４０２において、フィールド内補間用画素決定部２０９が、ｄｉｒに対応する局所相関値ｍｉｎ＿ｒｅｌを取得する。例えば、ｄｉｒがｒ２方向のときｍｉｎ＿ｒｅｌはｒ（ｘ，２）であり、ｄｉｒがｃ方向のときｍｉｎ＿ｒｅｌはｃ（ｘ）であり、ｄｉｒがｌ１方向のときｍｉｎ＿ｒｅｌはｌ（ｘ，１）である。ｍｉｎ＿ｒｅｌの取得後、ステップＳ４０３に移行する。
ステップＳ４０３では、フィールド内補間用画素決定部２０９が、所定の定数ｋとｍｉｎ＿ｒｅｌとの積をｃ（ｘ）と比較し、式（５４）が成立すれば「Ｙｅｓ」と判定し、成立しなければ「Ｎｏ」と判定する。
k・min_rel < c(x) (54)
なお、ここでｋは予め決められた定数であり、１．０から２．０程度の範囲の値であることが好ましい。なお、詳しくは後述するが、上記の２．０は理論的な境界値ではなく、実験によって経験的に得られた概数である。よって、ｋが上記の範囲外の値であってもよい。
ステップＳ４０３の判定が「Ｙｅｓ」のとき、ステップＳ４０４においてフィールド内補間用画素決定部２０９が、フィールド内補間方向をｄｉｒに決定する。ここで、「フィールド内補間方向」とは、対象画素をフィールド内補間するときに利用する複数の補間用画素の位置関係により決まる方向のことである。フィールド内補間方向の決定と補間用画素の決定は同じことを意味する。
つまり、「フィールド内補間方向をｄｉｒに決定する」とは、次の（１ａ）〜（３ａ）を意味する。
（１ａ） 対象画素から見てｄｉｒの方向にある、上実ライン２２０上の、一つ以上の実画素からなるグループを特定する。
（２ａ） 対象画素から見てｄｉｒの逆方向にある、下実ライン２２２上の、一つ以上の実画素からなるグループを特定する。
（３ａ） それら二つのグループに含まれる複数の実画素を、対象画素の補間用画素として決定する。
なお、上記（１ａ）〜（３ａ）は次の（１ｂ）〜（３ｂ）に言い換えることも可能である。
（１ｂ） 対象画素から見てｄｉｒの方向にある、上実ライン２２０上の、一つの実画素または一つの仮想画素を特定する。
（２ｂ） 対象画素から見てｄｉｒの逆方向にある、下実ライン２２２上の、一つの実画素または一つの仮想画素を特定する。
（３ｂ）（１ｂ）と（２ｂ）で特定した二つの実画素、または（１ｂ）と（２ｂ）で特定した二つの仮想画素を、対象画素の補間用画素として決定する。
図６において両向きの破線矢印Ａ１１等により局所相関値に対応する相関計算方向を表すのと同様に、フィールド内補間方向も、以下の図において両向きの矢印により表現することがある。
図５を参照して、ステップＳ４０３で選択される補間用画素について説明する。例えば、ｄｉｒ＝ｒ１のとき、上記（１ａ）では画素ｕ２とｕ３からなるグループＵ２＿３が特定され、（２ａ）では画素ｄ１とｄ２からなるグループＤ１＿２が特定され、（３ａ）では四つの実画素ｕ２、ｕ３、ｄ１、ｄ２が対象画素Ｔの補間用画素として決定される。換言すれば、（１ｂ）では仮想画素ｕ２＿３が特定され、（２ｂ）では仮想画素ｄ１＿２が特定され、（３ｂ）では二つの仮想画素ｕ２＿３、ｄ１＿２が対象画素Ｔの補間用画素として決定される。
同様に、例えばｄｉｒ＝ｒ２のとき、（１ａ）では画素ｕ３のみからなるグループが特定され、（２ａ）では画素ｄ１のみからなるグループが特定され、（３ａ）では二つの実画素ｕ３、ｄ１が対象画素Ｔの補間用画素として決定される。換言すれば、（１ｂ）では画素ｕ３が特定され、（２ｂ）では画素ｄ１が特定され、（３ｂ）では二つの実画素ｕ３
、ｄ１が対象画素Ｔの補間用画素として決定される。
このようにしてフィールド内補間方向がｄｉｒに決定すると、処理はステップＳ４０６に移行する。
一方、ステップＳ４０３の判定が「Ｎｏ」のとき、ステップＳ４０５においてフィールド内補間用画素決定部２０９が、フィールド内補間方向をｃ方向に決定する。つまり、対象画素の真上の画素ｕ２と真下の画素ｄ２が、対象画素の補間用画素として決定される。これは、ステップＳ４０４で説明した（１ａ）〜（３ａ）、（１ｂ）〜（３ｂ）においてｄｉｒ＝ｃと読み変えた動作である。フィールド内補間方向の決定後、処理はステップＳ４０６に移行する。
ステップＳ４０６では、ステップＳ４０４またはＳ４０５で決定されたフィールド内補間方向にしたがって、フィールド内補間画素値計算部２１０が、対象画素のフィールド内補間を行う。すなわち、フィールド内補間画素値計算部２１０は対象画素の画素値を計算する。
ステップＳ４０６における画素値の計算例を、図９を参照して説明する。例えばフィールド内補間方向がｒ２のとき、上記のとおり、対象画素Ｔの補間用画素は画素ｕ３とｄ１の二つである。この場合、フィールド内補間画素値計算部２１０は、式（５５）にしたがって対象画素Ｔの画素値Ｔを計算し、対象画素Ｔをフィールド内補間する。式（５５）は、二つの補間用画素の画素値の平均を表す。
T=(u3+d1)/2 (55)
図９の例では、画素ｕ３とｄ１はいずれも黒いので、式（５５）により画素値Ｔが計算された対象画素Ｔも、黒く補間されている。
また、例えばフィールド内補間方向がｒ１のとき、上記のとおり、対象画素Ｔの補間用画素は画素ｕ２、ｕ３、ｄ１、ｄ２の四つの実画素である。この場合、フィールド内補間画素値計算部２１０は、式（５６）にしたがって対象画素Ｔの画素値Ｔを計算し、対象画素Ｔをフィールド内補間する。式（５６）は、四つの補間用画素の画素値の平均を表す。
T=(u2+u3+d1+d2)/4 (56)
なお、式（１７）および（１８）を使って、式（５６）を式（５７）のように変形することもできる。
T=(u2_3+d1_2)/2 (57)
式（５７）は、対象画素Ｔの補間用画素を二つの仮想画素ｕ２＿３、ｄ１＿２であると見なす、という解釈による式である。式（５７）は、その二つの補間用画素の画素値の平均が、対象画素Ｔの画素値Ｔであることを表す。式（５６）と（５７）は異なる解釈にしたがって異なる形式で表現されているが、実質的な内容は同じである。
以上のようにしてステップＳ４０６で対象画素Ｔがフィールド内補間されると、図８のフィールド内補間処理は終了する。そして、処理は図４に戻って、ステップＳ２０８へ移行する。
なお、図８の処理の意味を補足説明すると、次のとおりである。ステップＳ４０１では累積相関値を考慮し、ステップＳ４０２とＳ４０３では局所相関値を考慮しているので、図８では、局所相関値と累積相関値の双方を考慮したフィールド内補間が行われる。また、ステップＳ４０３〜Ｓ４０５は、実験から経験的に得られた知見を反映している。つまり、ステップＳ４０３〜Ｓ４０５では、補間後の画像の画質向上を目的として、ｃ方向を
フィールド内補間方向として選ばれやすくするバイアスをかけている。
前述のとおり、図２６のように常にｃ方向をフィールド内補間方向とすることはジャギーを発生させ、補間後の画像の画質の劣化につながる。一方、図３１のように斜め方向すなわちｃ方向以外の方向をフィールド内補間方向として対象画素をフィールド内補間すると、フィールド内補間方向が適切であれば高画質の結果が得られるが、適切でないと図２６のジャギーよりもさらに低画質の結果となることがある。このことから、経験的に、高い確信度で適切な方向であると思われる場合にのみ、斜め方向でのフィールド内補間方向を行うことが、画質の向上に有効であることが分かっている。つまり、経験的には、ステップＳ４０１で選択されたｄｉｒが適切なフィールド内補間方向であることの確信度が低ければ、ｄｉｒよりもｃ方向でフィールド内補間をするほうが、画質の劣化を招きにくい。
このように、ｃ方向をフィールド内補間方向として選ばれやすくするバイアスは、本実施形態では、具体的にはステップＳ４０３の式（５４）によって実現されている。本実施形態では、局所相関値は非負であり、値が小さいほど相関が大きいことを示す。よって、上記のバイアスを実現するには、ｋは、１．０より大きくなくてはならない。
例えばｋ＝１．５と仮定すると、式（５４）が成立するのは、相関計算方向ｄｉｒに対応する局所相関値ｍｉｎ＿ｒｅｌが、ｃ方向に対応する局所相関値ｃ（ｘ）の２／３より小さいときである。つまり、ｄｉｒに対応する局所相関がｃ方向に対応する局所相関よりも明らかに大きいときにのみ式（５４）が成立し、両者にそれほど大きな差がない場合は式（５４）が成立しない。ここで、「明らかに大きい」か否かの判断は、具体的にはｋの値による。ｋが極端に大きな値だと、ｍｉｎ＿ｒｅｌとｃ（ｘ）が非負であることから、ステップＳ４０３ではほとんど常に「Ｎｏ」と判定され、ほとんど常にｃ方向がフィールド内補間方向として選択される。よって、ｋの値は実験などにより適切に定めることが望ましい。上記の１．０〜２．０という範囲は、好ましい値の範囲の例である。
また、ステップＳ４０１において、複数の相関計算方向において累積相関値が最小となる場合、それらのうちで最もｃ方向に近い方向をｄｉｒとして選択するが、これも上記のバイアスと類似の考え方による。つまり、計算された累積相関値が同程度であれば、ｃ方向とかけ離れた相関計算方向よりも、ｃ方向に近い相関計算方向のほうが、より高い確信度で累積相関が大きいという考え方による。
以上で第一の実施形態における画素値補間装置２００の動作について説明し終えたが、この動作の流れを模式的に表してまとめたのが図１０である。図１０は、フィールド内補間方向の決定例を表す。
図１０の左側に示したように、この例ではｙ＝１のラインが補間ラインである。この補間ライン上の画素が左から順に対象画素として選択され、補間される。図１０は、座標（０，１）〜（６，１）の七つの対象画素の補間について示している。
図１０の中央に示したように、それぞれの対象画素について複数の相関計算方向に対応する累積相関値が計算される。図１０では紙面の都合上、五つの相関計算方向のみを示した。また、図１０では、ステップＳ４０１のｄｉｒの選択を灰色で示している。例えば、対象画素の座標が（１，１）のとき、この例では、累積相関値Ｒ（１，ｊ）、Ｃ（１）、Ｌ（１，ｊ）（ｊ＝１，２，……）のうちＣ（１）が最小であると仮定している。よって、Ｃ（１）が灰色で示されている。
また、図１０では、どの対象画素に対してもステップＳ２０５で動きが検出されたと仮
定している。よって、各対象画素に対して、このようにして選択されたｄｉｒに基づいて、ステップＳ４０２〜Ｓ４０５にしたがって、実際のフィールド内補間方向が決定される。図１０の右側は、決定されたフィールド内補間方向を両向きの矢印により示している。図１０の中央と右側の比較から分かるとおり、この例では、ステップＳ４０３で「Ｎｏ」と判定された対象画素は存在しない。
次に、図２と図４、７、８との対応について述べる。
図２のステップＳ１０１は、図４において変数ｘとｙへの代入を行うステップＳ２０１、Ｓ２０８、Ｓ２０９に対応する。
図２のステップＳ１０２とＳ１０３は、図４のステップＳ２０４に対応する。より正確には、ステップＳ１０２は図７のステップＳ３０１〜Ｓ３０５に対応し、ステップＳ１０３は図７のステップＳ３０６〜Ｓ３１４に対応する。
図２のステップＳ１０４とＳ１０５は図４のステップＳ２０６に対応する。より正確には、ステップＳ１０４は図８のステップＳ４０１に対応し、ステップＳ１０５は図８のステップＳ４０２〜Ｓ４０５に対応する。
図２のステップＳ１０６は図４のステップＳ２０３に対応し、ステップＳ１０６の「Ｙｅｓ」という判定がステップＳ２０３の「Ｎｏ」という判定に対応する。なお、図２は複数の対象画素について一つの選択順序方向にそって順に補間方法を決定することを表しているため、ステップＳ１０６で「Ｎｏ」と判定されると処理が終了する。例えば、ある水平な一つの補間ライン上の複数の対象画素について、左から右という選択順序方向にそって補間方法を決定する場合、図２はその補間ラインの右端で処理が終了することを表す。一方、図４は、複数の補間ラインについての処理についても表している。よって、図４では、ステップＳ２０３で「Ｙｅｓ」と判定されても処理が終了せず、次の補間ラインに移行するためにステップＳ２０９に移行している。図４は、図２の処理を補間ラインの数だけ繰り返し実行することに相当する。
次に、フィールド内補間を行う際に上記のように累積相関値を利用することの利点について、図１１〜１４を参照して説明する。図１１と１２を参照して一つ目の利点を説明し、図１３と図１４を参照して二つ目の利点を説明する。なお、図１１〜１４においても、上記の（ａ）〜（ｊ）を仮定する。特に、図１１〜１４では数値を使って具体例を説明するために、各画素の画素値を図示してある。上記（ｅ）の仮定から、例えば「１００」と書かれた正方形は、白い画素を示す。
図１１は、局所相関値によりフィールド内補間用画素を決定し補間を行う従来例を説明する図である。また、図１２は、第一の実施形態において累積相関値によりフィールド内補間用画素を決定し補間を行う例を説明する図である。図１１と図１２の入力画像は同じ入力フィールド画像Ｆｉであり、画素値が１００の白の背景に、画素値が０または５の黒の斜めの線がある画像である。
図１１に示した従来の方法は、式（１４）〜（２９）に示した本発明の第一の実施形態と同様の局所相関値を利用するが、累積相関値は利用しない方法である。図１１では、ｌ２方向、ｌ１方向、ｃ方向、ｒ１方向、ｒ２方向の五つの方向のみを相関計算方向として考慮している。また、入力フィールド画像Ｆｉの幅は８画素であり、そのｘ座標は０〜７の範囲である。補間ライン２２１上の８個の画素が左から右へ順に対象画素として選択され、五つの相関計算方向についてそれぞれ局所相関値が計算される。
計算された局所相関値は局所相関値一覧表２４０に示したとおりである。なお、局所相
関値一覧表２４０では小数点以下を四捨五入して示している。局所相関値一覧表２４０の空欄は、定義上、計算不能なことを表す。なお、局所相関値一覧表２４０は説明のための表であり、局所相関値一覧表２４０に示したすべての累積相関値が同時に格納部２０１に格納されているわけではない。図１１の方法では、局所相関値が最も小さく、したがって局所相関が最も大きな方向がフィールド内補間方向に決定される。各対象画素について、五つの相関計算方向のうち最も局所相関値が小さい方向を、局所相関値一覧表２４０内では灰色で示した。
このようにして決定されたフィールド内補間方向を、その方向を表す両向き矢印で示したのが、フィールド内補間方向の説明図２４１である。そして、そのフィールド内補間方向に基づいて補間した結果が、補間済みフィールド画像Ｇｉである。補間済みフィールド画像Ｇｉでは、補間ライン２２１上の８画素は、すべて補間によって画素値が１００の白い画素となる。よって、黒の斜めの線は補間ライン２２１で途切れている。
つまり、ｘ＝３およびｘ＝４の位置にある画素において、正しいフィールド内補間方向であるｒ２方向とは逆のｌ２方向の局所相関が最も強いため、図１１の方法では誤った補間をしてしまう。具体的には、ｒ（３，２）＞ｌ（３，２）なのでｘ＝３においてはｒ２方向よりもｌ２方向の局所相関が強く、ｒ（４，２）＞ｌ（４，２）なのでｘ＝４においてはｒ２方向よりもｌ２方向の局所相関が強い。そのため、ｘ＝３およびｘ＝４の位置にある画素のフィールド内補間方向はｌ２方向となり、これら二つの画素は白く補間される。
一方、図１２は、図１１と同じ入力フィールド画像Ｆｉを、本発明の第一の実施形態の処理によって補間した例を示す。図１２でも図１１と同様に五つの方向のみを相関計算方向として考慮している。また、補間ライン２２１上の８個の画素が左から右へ順に対象画素として選択される点も図１１と同様である。図１１と異なるのは、図１２では画素値補間装置２００が局所相関値だけではなく累積相関値も計算し、累積相関値を利用してフィールド内補間方向を決定する点である。
計算された累積相関値は累積相関値一覧表２４２に示したとおりである。なお、累積相関値一覧表２４２でも小数点以下を四捨五入して示している。累積相関値一覧表２４２の空欄は、値が「ＢＩＧ」である累積相関値を表す。また、累積相関値一覧表２４２において累積相関値同士を結ぶ太線は、図６における太矢印Ａ２３やＡ２５と同様の意味を表す。例えば、式（３９）の定義より、Ｒ（３，１）は次の式（５８）により計算される。
R(3, 1)=min(R(2, 2), R(2, 1), C(2))+r(2, 1)
=min(0, 48, 95)+45
=0+45
=45 (58)
式（５８）において関数ｍｉｎにより選択されるのはＲ（２，２）を表す０という値である。よって、累積相関値一覧表２４２において、Ｒ（２，２）を表す０から、Ｒ（３，１）を表す４５へと、太線が引かれている。
また、累積相関値一覧表２４２内では、各対象画素について、五つの相関計算方向のうち最も累積相関値が小さい方向を、灰色で示した。つまり、灰色の桝目は、図８のステップＳ４０１のｄｉｒに相当する。また、図１２では、例えば式（５４）の定数ｋの値が２だと仮定すると、ｘ＝６以外では、ステップＳ４０３で「Ｎｏ」と判定されることはない。したがって、ｘ＝６以外では、灰色の桝目は、ステップＳ４０４で決定されるフィールド内補間方向を表してもいる。なお、ｘ＝６のとき、ｍｉｎ＿ｒｅｌ＝ｒ（６，１）＝０かつｃ（ｘ）＝０なので、ステップＳ４０３において「Ｎｏ」と判定され、フィールド内
補間方向はｃ方向に決定される。
このようにして決定されたフィールド内補間方向を、その方向を表す両向き矢印で示したのが、フィールド内補間方向の説明図２４３である。そのフィールド内補間方向に基づいて補間した結果が、補間済みフィールド画像Ｇｉである。累積相関値一覧表２４２とフィールド内補間方向の説明図２４３から明らかなとおり、累積相関値を利用することによって、ｘ＝３やｘ＝４において、ｒ２方向の局所相関値は最小にならなくてもｒ２方向の累積相関値が最小となる。つまり、Ｒ（３，２）＜Ｌ（３，２）およびＲ（４，２）＜Ｌ（４，２）が成立する。その結果、ｘ＝３やｘ＝４において、フィールド内補間方向が正しくｒ２方向と決定され、補間済みフィールド画像Ｇｉには、黒い斜めの線が途切れることなく含まれ、良好な画質の画像が得られる。
次に、図１３と図１４を参照して累積相関値を利用することの二つ目の利点を説明する。図１３は、補間誤りが連鎖してしまう従来の補間方法の例である。また、図１４は、図１３と同じ画像を第一の実施形態を変形した補間方法決定処理により処理した場合の図である。
図１３の上段はすべてのラインが実ラインである元画像Ｐを示し、中段は元画像Ｐに対応するインターレース画像Ｉを示し、下段はインターレース画像Ｉの一部分についてのフィールド内補間方向の説明図２４５である。なお、図１３では、説明の便宜上、元画像Ｐに基づいてインターレース画像Ｉが得られたように示した。しかし、実際には元画像Ｐが存在するわけではなく、正しく理想的なＩＰ変換が行われたと仮定した場合にインターレース画像Ｉから得られるはずのプログレッシブ画像が元画像Ｐである。
元画像Ｐは、白っぽい背景に、灰色の逆Ｖ字型のエッジが縦に二つ並んでいる画像であり、その大きさは横１７画素×縦９画素である。インターレース画像Ｉは、この９本のラインを１本おきに間引いた画像である。インターレース画像Ｉには５本の実ラインが含まれ、４本の補間ラインについて補間が必要である。図１３では、上から２本目と３本目の実ラインに注目して説明する。この２本の実ラインと、それらに挟まれた補間ラインからなる部分を「注目部分」と呼ぶことにし、符号「２４４」により参照する。元画像Ｐと比べれば明らかなとおり、注目部分２４４の０≦ｘ≦７の範囲においては、ｒ３方向などの右上方向をフィールド内補間方向とし、８≦ｘ≦１６の範囲においては、ｌ３方向などの左上方向をフィールド内補間方向とすることにより、高画質の結果を得ることができるはずである。
しかし、図１３で説明する従来の方法では、近隣の画素におけるフィールド内補間方向に依存して対象画素のフィールド内補間方向を決定するので、フィールド内補間方向の誤り（以下「補間誤り」と略す）が連鎖的に発生する。この例では、補間ラインを左から右へ順に補間していくので、「近隣の画素」とは、具体的には対象画素よりも左側の画素である。
すなわち、左上方向をフィールド内補間方向とすることが望ましい８≦ｘ≦１６の範囲においても、それよりも左側でフィールド内補間方向として選択された右上方向に依存してフィールド内補間方向が決定される。よって、結果的に、フィールド内補間方向の説明図２４５に示したように、８≦ｘ≦１６の範囲にある対象画素についても、右上方向がフィールド内補間方向とされ、補間誤りが連鎖的に発生する。そして、この連鎖は、図示したとおり８≦ｘ≦１６の範囲にわたって続いている。
つまり、Ｖ字型や逆Ｖ字型のエッジのように、ある位置を境にして、望ましいフィールド内補間方向が大きく変化する画像の場合に、図１３の従来方法では、補間誤りが連鎖す
る場合がある。なぜなら、その境を越えても、以前のフィールド内補間方向の影響を受けてフィールド内補間方向が決定されるからである。例えばその境の近傍のある対象画素において一度補間誤りが発生すると、その補間誤りが広範囲に影響を与え、広範囲で連鎖的に補間誤りが発生する。
一方で、本発明の第一の実施形態による補間方法決定処理では、補間誤りが連鎖しても、その連鎖はある程度の範囲に限られ、補間誤りの連鎖から回復することが可能である。このことを、図１４を参照して説明する。なお、図１４は、第一の実施形態を一部変形した補間方法決定処理に基づく図であるが、変形した点は、画像の右端と左端に関する処理に関する点であり、補間方法の決定に関しては基本的に上述の第一の実施形態と同様である。
図１４の１段目には、図１３の注目部分２４４を、画素値の数字とあわせて示した。上実ライン２２０と下実ライン２２２と、それらに挟まれた補間ライン２２１からなるこの画像を入力フィールド画像Ｆｉとして画素値補間装置２００が受け取り、図４、７、８に示した処理を実行する。なお、図１４の例では、ｌ３方向、ｌ２方向、ｌ１方向、ｃ方向、ｒ１方向、ｒ２方向、ｒ３方向の７方向を相関計算方向として考慮している。
計算された累積相関値は、２段目の累積相関値一覧表２４６に示したとおりである。累積相関値一覧表２４６の表記法は図１２の累積相関値一覧表２４２と同様であり、累積相関値が最小の方向ｄｉｒに対応する桝目は灰色である。
なお、累積相関値一覧表２４６では、Ｌ（１，２）やＲ（１，２）など、上記の累積相関値の定義では値が「ＢＩＧ」になるため空欄となるべき桝目に「１００」や「５０」などの値が記入されている。これは、図１４では第一の実施形態による累積相関値の計算方法の一部を変更したためである。式（４４）に示したように、第一の実施形態の計算方法ではＬ（１，２）＝ＢＩＧである。つまり、画像の左端や右端では、累積相関値のうち、値がＢＩＧとなるものがいくつか存在する。図１４は、値がＢＩＧとなる累積相関値を減らすための変形を行った場合の図である。
つまり、式（３２）〜（４３）では、各相関計算方向に対して二つまたは三つの関連方向が関連付けられているが、図１４の例では、画像の左端や右端において例外的に関連方向の数を増やしている。例えば、ｘ＝１の画素において、ｌ２方向の関連方向は、第一の実施形態と同様のｌ３方向、ｌ２方向、ｌ１方向の３方向に加えて、ｃ方向も含む。このように関連方向を増やすことにより、ｘ＝１の画素においても累積相関値Ｌ（１，２）とＲ（１，２）が計算可能となる。
このように関連方向を増やす変形は、局所相関値を計算可能な相関計算方向については、累積相関値も計算可能なようにするために行ったものである。例えば、ｘ＝１の画素に対しては、ｌ２方向からｒ２方向までの５方向に対応する局所相関値が計算可能であり、上記のようにｘ＝１では例外的に関連方向を増やせば、累積相関値も、ｌ２方向からｒ２方向までの５方向について計算可能となる。しかし、このような変形を行うことは必須ではなく、式（３２）〜（４３）に厳密にしたがって累積相関値を計算してもよいことは無論である。
また、累積相関値一覧表２４６において累積相関値同士を結ぶ太線から明らかなとおり、すべての累積相関値はその構成要素としてＣ（０）を含む。すなわち、累積相関値Ｃ（０）はすべての累積相関値に均しく影響する。よって、累積相関値同士の大小関係に累積相関値Ｃ（０）の具体的な値は影響しない。
３段目に示したフィールド内補間方向の説明図２４７は、決定されたフィールド内補間方向を矢印で示している。図１４では、図８のステップＳ４０３で用いられるｋの値を１．５と仮定している。すると、ｘ＝０，９，１２においてのみ、ステップＳ４０３の判定が「Ｎｏ」となり、フィールド内補間方向がｃ方向に変更される。４段目には、補間の結果を示した。
図１４の例では、７≦ｘ≦１２で不適切なフィールド内補間方向が選択されている。図１３の元画像Ｐを見れば明らかなとおり、６≦ｘ≦９の範囲の下実ライン２２２の画素が表すエッジは、上実ライン２２０には存在しない。よって、この範囲で補間誤りが発生し、その結果ｘ＝１２まで補間誤りが連鎖する。しかし、１３≦ｘ≦１６ではその補間誤りの連鎖から回復して、適切な方向がフィールド内補間方向として選択され、適切に補間されている。
つまり、本発明によれば、例えばｘ＝１３の場合に、ｘ＜１３の範囲では実際にフィールド内補間方向として採用されなかったｌ２方向やｌ３方向についても、その方向に関するｘ＜１３の範囲における相関を、累積相関値を介して考慮することが可能である。例えば、ｘ＝１２においてｌ３方向は選択されなかったが、ｌ３方向に対応するＬ（１２，３）は格納部２０１に保存され、ｘ＝１３の画素を補間するときに参照されて、その結果、ｘ＝１３では適切にｌ３方向がフィールド内補間方向として選択される。
このように、本発明では、以前の画素で選択されなかった方向についても累積相関値を介して考慮しているので、たとえ誤った補間を行っても、それが広範囲にわたって連鎖することは起きにくい。実際に、図１３の元画像Ｐような逆Ｖ字型やＶ字型のエッジが何重にも続く画像の場合に、途中で補間誤りの連鎖から回復することができるか否か、つまり補間誤りをある時点で修正できるか否かによって、出力されるプログレッシブ画像の画質に顕著な違いがある。
次に、本発明の第二の実施形態について図１５〜２４を参照して説明する。第二の実施形態は、静動判定で動きが検出された場合にフィールド内補間ではなく混合補間を行う点で、第一の実施形態と異なる。詳細は後述するが、「混合補間」とは、フィールド内補間とフィールド間補間を組み合わせた補間である。ただし、局所相関値に基づいて累積相関値を計算する点など、第一と第二の実施形態には共通点も多い。また、第一の実施形態で仮定した（ａ）〜（ｊ）を、第二に実施形態でも仮定する。第一と第二の実施形態の差は、本発明の原理を示す図１における補間用画素決定部１０６の差であり、図２におけるステップＳ１０５の差である。
図１５は、本発明の第二の実施形態における画素値補間装置３００の機能ブロック構成図である。図３の画素値補間装置２００と同様に、図１５の画素値補間装置３００も、図１の補間方法決定装置１００の具体例の一つである。画素値補間装置３００は画素値の補間方法を決定するだけではなく、決定した方法に基づいて画素値を補間するため、補間方法決定装置１００とは名称が異なる。ここでは画素値補間装置３００の構成の簡単な説明のみを行い、各構成要素の機能の詳細は後述する。また、以下では、画素値補間装置３００が備える構成要素のうち、図３と同様または類似のものには、図３と同じ符号をつけて参照する。
画素値補間装置３００は、格納部２０１、対象画素選択部２０２、第一空間相関値計算部３０１、時間相関値計算部３０４、静動判定部２０６、混合補間部３０２、フィールド間補間部２１１を備える。
図１５の格納部２０１は図３の格納部２０１と同様である。ただし、第二の実施形態で
は、後述のとおり対象画素の補間のために補間済みのフィールド画像も必要なので、図１５では、補間済みフィールド画像も格納部２０１に格納される点を明示した。なお、図中では、先行フィールド画像Ｆｉ−１を補間して得られた補間済みフィールド画像を符号「Ｇｉ−１」で参照し、対象フィールド画像Ｆｉから得られた、一部の画素のみ補間済みで一部の画素はまだ補間されていない画像を符号「Ｇｉ’」で参照している。なお、画像全体の補間が完了したか否かはあまり重要ではないので、画像Ｇｉ’も、「補間済みフィールド画像」と呼ぶことにする。また、図１５には示していないが、対象フィールド画像Ｆｉのすべての補間ライン上のすべての画素についての補間が完了して得られる補間済みフィールド画像を、以下では符号「Ｇｉ」で参照する。
第一空間相関値計算部３０１は、名称が異なるが機能は図３の相関値計算部２０３と同様であり、局所相関値計算部２０４と累積相関値計算部２０５を備える。混合補間部３０２は、方向選択部２０８、第二空間相関値計算部３０３、フィールド内補間用画素決定部２０９、フィールド内補間画素値計算部２１０、重み係数計算部３０５、混合補間画素値計算部３０６を備える。フィールド間補間部２１１は図３と同様にフィールド間補間用画素決定部２１２とフィールド間補間画素値計算部２１３を備える。
なお、図１５において、混合補間画素値計算部３０６とフィールド間補間画素値計算部２１３から、どの機能ブロックも指さない矢印が出ている。この二つの矢印は、紙面の都合上、このように図示したものだが、意味的には格納部２０１へ向かう矢印である。後述するように、第二の実施形態では、混合補間画素値計算部３０６またはフィールド間補間画素値計算部２１３により対象画素の画素値が計算される。格納部２０１に格納される補間済みフィールド画像のデータは、その計算された画素値のデータを含む。この二つの矢印は、補間済みフィールド画像の格納について表している。
図１５の画素値補間装置３００は、図１の補間方法決定装置１００の構成要素の各々を具体化した構成要素を含み、さらに図１にはない構成要素も含む。図１と図１５の対応は次のとおりである。
格納部２０１は格納部１０１と同様であり、図１５では格納する内容について図１よりも具体的に示した。対象画素選択部２０２は、対象画素選択部１０２に対応し、選択順序方向が具体化されている。局所相関値計算部２０４と累積相関値計算部２０５はそれぞれ局所相関値計算部１０３と累積相関値計算部１０４に対応し、局所相関値や累積相関値の計算式が具体化されている。方向選択部２０８は方向選択部１０５に対応し、選択する基準が具体化されている。フィールド内補間用画素決定部２０９とフィールド間補間用画素決定部２１２が補間用画素決定部１０６に対応し、補間用画素の決定の仕方が具体化されている。
次に、図１６のフローチャートを参照して、第二の実施形態において画素値補間装置３００が行う補間処理について説明する。この補間処理は、画素値の補間方法を決定する補間方法決定処理と、その決定にしたがって画素値を補間する処理を含む。図１６の処理は図２の処理を具体化したものである。また、図１６は、第一の実施形態の図４のフローチャートと同様のステップを含むので、まず図４との共通点から説明する。
図４は、変数ｘとｙの初期化の後、変数ｙに関するループが繰り返し実行され、変数ｙのある一つの値に対して、変数ｘに関するループが繰り返し実行されることを示している。この二重のループ構造は図１６でも同様である。すなわち、図４と図１６では、ステップＳ２０１とＳ５０１、ステップＳ２０２とＳ５０２、ステップＳ２０３とＳ５０３、ステップＳ２０８とＳ５１１、ステップＳ２０９とＳ５１２がそれぞれ対応する。図１６中の上記のステップは、図４中の対応するステップと同様の動作であるため、説明を省略す
る。
すなわち、第一と第二の実施形態の違いは、図４のステップＳ２０４〜Ｓ２０７と、図１６のステップＳ５０４〜Ｓ５１０との違いである。よって、以下ではステップＳ５０４〜Ｓ５１０について説明する。
ステップＳ５０４はステップＳ２０４とほぼ同様である。ステップＳ５０４では、（ｘ，ｙ）に位置する対象画素について、第一空間相関値計算部３０１が空間相関値を計算し、格納部２０１に格納する。ここで、「空間相関値」とは、第一の実施形態で説明した局所相関値と累積相関値を包含する上位概念であり、ステップＳ５０４で計算される空間相関値は、具体的には局所相関値と累積相関値である。すなわち、局所相関値計算部２０４が局所相関値を計算し、累積相関値計算部２０５が累積相関値を計算する。局所相関値と累積相関値の計算方法は、第一の実施形態の場合とまったく同様であり、図７に示したとおりである。
局所相関値は、同一のフィールド画像Ｆｉに含まれる複数の画素の画素値に基づいて計算される。それら複数の画素は異なる位置にあり、位置は空間的な概念である。また、累積相関値は局所相関値を累積することにより計算される。したがって、局所相関値も累積相関値も、ある種の空間的な相関を表していると言える。
なお、第二の実施形態では、後述するように、局所相関値と累積相関値以外の空間相関値も利用する。いずれの空間相関値も、同一のフィールド画像Ｆｉに含まれる、異なる複数の位置の画素の画素値に基づいて計算される、空間的な相関を表す。
局所相関値と累積相関値の計算後、処理はステップＳ５０５に移行する。ステップＳ５０５では、方向選択部２０８が対象画素に対する仮補間方向ｄｉｒを決定する。ここで、「仮補間方向」とは、相関計算方向のうち、累積相関値が最も小さい方向であると定義する。すなわち、ステップＳ５０５では図８のステップＳ４０１と同様の処理が行われる。その後、処理はステップＳ５０６に移行する。
ステップＳ５０６では、第二空間相関値計算部３０３が、補間済みの画素の画素値を考慮した空間相関値ｒｅｌ＿ｘｙおよびｒｅｌ＿ｓｋｅｗを計算する。これらの空間相関値の詳細は後述するが、後述のステップＳ５０９における重み係数の計算に利用される。また、ｒｅｌ＿ｓｋｅｗはｄｉｒに応じて具体的な計算方法が異なる。ｒｅｌ＿ｘｙとｒｅｌ＿ｓｋｅｗの計算後、処理はステップＳ５０７に移行する。
ステップＳ５０７では時間相関値計算部３０４が時間相関値を計算する。「時間相関値」は空間相関値と対になる概念である。時間相関値は、複数のフィールド画像に含まれる複数の画素の画素値に基づいて計算される。複数の異なるフィールド画像は、複数の異なる時刻に対応するので、複数のフィールド画像に含まれる複数の画素の画素値に基づいて計算される相関値は、時間的な相関を表す。時間相関値も空間相関値と同様に広い概念を示す語である。
計算方法の詳細は後述するが、ステップＳ５０７では、具体的にはｒｅｌ＿ｘｔ、ｒｅｌ＿ｙｔ、ｒｅｌ＿ｙｔ２という３種類の時間相関値が計算される。このうち、ｒｅｌ＿ｙｔ２はｄｉｒに応じて具体的な計算方法が異なる。これらの時間相関値を時間相関値計算部３０４が計算すると、処理はステップＳ５０８に移行する。
ステップＳ５０８では、静動判定部２０６が静動判定を行う。静動判定の具体的な処理は図４のステップＳ２０５と同様でもかまわないが、第二の実施形態では、ステップＳ５
０７で算出した時間相関値を利用して静動判定が行われ、時刻ｔｉにおける対象画素の近傍に動きがあるか否かが判定される。
静動判定の結果、動いていると判定されたら、すなわち、動きが検出されたらステップＳ５０９に移行し、静止と判定されたらステップＳ５１０に移行する。
ステップＳ５０９は、静動判定で動きが検出された場合に実行され、フィールド内補間とフィールド間補間を組み合わせた混合補間が行われる。混合補間の詳細は図２３のフローチャートとあわせて後述するが、概要は次のとおりである。
フィールド内補間によって対象画素を補間する場合の画素値が、フィールド内補間用画素決定部２０９とフィールド内補間画素値計算部２１０により計算される。また、フィールド間補間によって対象画素を補間する場合の画素値が、フィールド間補間用画素決定部２１２とフィールド間補間画素値計算部２１３によって計算される。そして、重み係数計算部３０５が、二つの画素値に掛けるべき重み係数を計算し、その重み係数を使って混合補間画素値計算部３０６が二つの画素値の重み付け和を計算して、対象画素を補間する。対象画素の補間後、処理はステップＳ５１１に移行する。
ステップＳ５１０は、静動判定で静止と判定された場合の処理である。ステップＳ５１０では、図４のステップＳ２０７と類似の方法で、フィールド間補間部２１１がフィールド間補間を行う。フィールド間補間の実行後、処理はステップＳ５１１に移行する。
ステップＳ５１１とＳ５１２は前述のとおり、図４と同様である。図１６の処理により、対象フィールド画像Ｆｉに含まれるすべての補間ライン上のすべての画素が補間される。
次に、図１７を参照して、図１６のステップＳ５０６で計算する空間相関値ｒｅｌ＿ｓｋｅｗについて説明する。前記のとおり、ｒｅｌ＿ｓｋｅｗは選択された仮補間方向ｄｉｒによって具体的な計算方法が異なる。方向に応じて計算方法が定義される点で、局所相関値とｒｅｌ＿ｓｋｅｗは似ている。
局所相関値について示した図５と共通の表記を図１７でも利用する。図１７中の上実ライン２２０、補間ライン２２１、下実ライン２２２の位置関係は図５と同様である。また、図１７中の画素ｕ０〜ｕ４、ｄ０〜ｄ４のそれぞれは、実画素であり、対象画素Ｔに対する相対位置は図５と同様である。つまり、これらの画素の画素値ｕ０〜ｕ４、ｄ０〜ｄ４は、式（４）〜（１３）に示したとおりである。なお、図５では九つの相関計算方向について図示したが、図１７では紙面の都合上、ｃ方向、ｌ１方向、ｌ２方向、ｒ１方向、ｒ２方向の五つの方向についてのみ図示している。
局所相関値は実画素の画素値のみを用いて計算されるが、空間相関値ｒｅｌ＿ｓｋｅｗは、補間済みの画素の画素値も考慮して計算される。以下では、補間済みの画素を「補間済み画素」と呼び、その画素値を「補間済み画素値」と呼ぶ。なお、補間済み画素値も画素値の一種なので、単に「画素値」と呼ぶ場合もある。
対象画素Ｔの位置が（ｘ，ｙ）のとき、その左隣の（ｘ−１，ｙ）に位置する補間済み画素を符号「ｍ１」により参照し、画素ｍ１の左隣の（ｘ−２，ｙ）に位置する補間済み画素を符号「ｍ０」により参照することにする。上記の（ｇ）と類似の記法を使って、時刻ｔｊに対応するフィールド画像Ｆｊ内で（ｘ，ｙ）に位置する補間済み画素の補間済み画素値をｑ（ｊ，ｘ，ｙ）で表すことにすれば、補間済み画素値ｍ０とｍ１は式（５９）、（６０）のとおりである。
m0=q(i, x-2, y) (59)
m1=q(i, x-1, y) (60)
ｒｅｌ＿ｓｋｅｗは仮補間方向ｄｉｒに応じて定義され、ｄｉｒ＝ｃのときｒｅｌ＿ｓｋｅｗは式（６１）のとおりである。
rel_skew=α×|u2-d2|+(1-α)×f(|u1-m1|, |d1-m1|) (61)
ここで、αは右辺の第１項と第２項それぞれのｒｅｌ＿ｓｋｅｗに対する寄与を調節する係数であり、０≦α≦１である。経験的には、αが０.５〜０.７５の範囲であることが望ましい。αは、実施形態に応じて値が予め指定された定数でもよく、ユーザに指定させてもよい。
また、ｆは二引数の関数であり、式（６１）では二つの引数はいずれも画素値の差分絶対値である。関数ｆの具体例は、二つの引数の最大値を表す式（６２）や、二つの引数の平均値を表す式（６３）だが、これ以外の関数ｆを用いてもよい。
f(a, b)=max(a, b) (62)
f(a, b)=(a+b)/2 (63)
式（６２）のように関数ｍａｘを用いると、式（６１）において｜ｕ１−ｍ１｜と｜ｄ１−ｍ１｜のうち一方でも大きな値であれば、その大きな値がｒｅｌ＿ｓｋｅｗに反映される。よって、式（６２）は、画素値の差をより敏感にｒｅｌ＿ｓｋｅｗに反映するバイアスを表している。
式（６３）にはそのようなバイアスはなく、中立的である。式（６３）の関数ｆを使うことにより、式（６１）において｜ｕ１−ｍ１｜と｜ｄ１−ｍ１｜は均等にｒｅｌ＿ｓｋｅｗに反映される。
一方、最小値を選択する関数ｍｉｎは、関数ｍａｘと逆のバイアスを表す。理由は後述するが、ｒｅｌ＿ｓｋｅｗは画素値の差を反映した値であることが好ましい。よって、関数ｍｉｎを関数ｆとして用いることは好ましくない。
つまり、式（６１）の第１項（α×｜ｕ２−ｄ２｜）は、対象画素Ｔから見てｃ方向にある上実ライン２２０上の実画素ｕ２と、対象画素Ｔから見てｃ方向の逆方向にある下実ライン２２２上の実画素ｄ２との相関を表す。実画素ｕ２とｄ２の相関が高いほど、第１項の値は小さくなる。
一方、式（６１）の第２項（（１−α)×ｆ（｜ｕ１−ｍ１｜，｜ｄ１−ｍ１｜））は、対象画素Ｔの近傍にあり、第１項で考慮した二つの実画素を結ぶ方向と平行な方向に互いに位置する、実画素と補間済み画素との相関を表す。ｄｉｒ＝ｃの場合、図１７に示したとおり、そのような実画素と補間済み画素の組には、画素ｕ１とｍ１の組と、画素ｄ１とｍ１の組がある。よって、第２項では、この二組について考慮している。
次に、ｄｉｒ＝ｌ１の場合について説明する。ｄｉｒ＝ｌ１のときｒｅｌ＿ｓｋｅｗは式（６４）のとおりである。
rel_skew=α×|u2-d3|+(1-α)×f(|u1-m1|, |d2-m1|) (64)
式（６４）における定数αおよび関数ｆは、式（６１）と同様である。つまり、どの仮補間方向ｄｉｒに対しても、同じ定数αおよび関数ｆを用いて、空間相関値ｒｅｌ＿ｓｋｅｗが定義される。
式（６４）と式（６１）の共通点は、第１項が実画素同士の相関を表し、第２項が実画素と補間済み画素の相関を表す点である。式（６４）と式（６１）の相違点は、ｒｅｌ＿
ｓｋｅｗの計算に用いる画素がどのような位置関係にあるかという点である。
式（６４）の第１項では、実画素ｕ２とｄ３の相関を考慮している。図１７において実画素ｕ２とｄ３を結ぶ両向きの矢印は、図５においてｌ１方向を表す両向きの矢印と平行である。しかし、図１７では、対象画素Ｔから見てｌ１方向にある画素や、対象画素Ｔから見てｌ１方向の逆方向にある画素を考慮しているわけではない点が、図５と異なる。
図１７における実画素ｕ２とｄ３の位置関係は、次の三つの条件をすべて満たす。
・両者とも対象画素Ｔの近傍にある。
・第一の画素は上実ライン２２０上にあり、第二の画素は下実ライン２２２にある。
・第二の画素から見て第一の画素はｌ１方向にある。すなわち、第一の画素から見て第二の画素はｌ１方向の逆方向にある。
換言すれば、ｄｉｒ＝ｌ１のとき、これらの条件をすべて満たす位置関係にある二つの実画素を利用して、ｒｅｌ＿ｓｋｅｗが計算される。第二の実施形態では、上記の三つの条件を満たす二つの実画素の組のうち、画素ｕ２とｄ３の組が使われる。
式（６４）の第２項は、対象画素Ｔの近傍にあり、第１項で考慮したｌ１方向と近い方向の位置関係を有する、実画素と補間済み画素との相関を表す。上記のとおり、相関計算方向を傾きの角度にしたがってソートすると、ｌ１方向の直前と直後はｌ２方向とｃ方向である。よって、第二の実施形態では、ｄｉｒ＝ｌ１のときのｒｅｌ＿ｓｋｅｗの第２項を計算するのに、次の二組の画素を利用する。
・対象画素Ｔの左隣の補間済み画素ｍ１と、補間済み画素ｍ１から見てｃ方向にある上実ライン２２０上の実画素ｕ１の組。
・対象画素Ｔの左隣の補間済み画素ｍ１と、補間済み画素ｍ１から見てｌ２方向の逆方向にある下実ライン２２２上の実画素ｄ２の組。
次にｄｉｒ＝ｒ１の場合を説明する。この場合、ｒｅｌ＿ｓｋｅｗは式（６５）のとおりである。
rel_skew=α×|u3-d2|+(1-α)×f(|u2-m1|, |d1-m1|) (65)
図５で説明した局所相関値と異なり、補間済み画素値を考慮した空間相関値であるｒｅｌ＿ｓｋｅｗの計算は、左右対称ではない。つまり、ｌ１方向とｒ１方向は左右対称な方向だが、ｌ１方向に対応する式（６４）とｒ１方向に対応する式（６５）は左右非対称である。
非対称な理由は、ｒｅｌ＿ｓｋｅｗの計算に補間済み画素を利用するためである。第二の実施形態でも第一の実施形態と同様に、選択順序方向にしたがって順に対象画素が選択され、補間される。つまり、ある一つの補間ライン上では、左から右へ順に対象画素が選択され、補間される。よって、補間ライン２２１上で、補間済み画素は対象画素Ｔの左側にしか存在しない。したがって、ｌ１方向に対応する式（６４）に左右対称な式を定義することはできない。
しかし、ｌ１方向と同様の考え方に基づいて、ｄｉｒ＝ｒ１の場合のｒｅｌ＿ｓｋｅｗを定義することは可能である。式（６５）はそのような定義を表す。
すなわち、式（６５）の第１項は、次の三つの条件をすべて満たす位置関係にある二つの実画素同士の相関を表す。
・両者とも対象画素Ｔの近傍にある。
・第一の画素は上実ライン２２０上にあり、第二の画素は下実ライン２２２にある。
・第二の画素から見て第一の画素はｒ１方向にある。すなわち、第一の画素から見て第二の画素はｒ１方向の逆方向にある。
そして、式（６５）の第２項は、対象画素Ｔの近傍にあり、ｒ１方向と近い方向の位置関係を有する、実画素と補間済み画素との相関を表す。ｒ１方向と近い方向とは、具体的にはｒ２方向とｃ方向である。よって、ｄｉｒ＝ｒ１のときのｒｅｌ＿ｓｋｅｗの第２項の計算には、次の二組の画素が利用される。
・対象画素Ｔの左隣の補間済み画素ｍ１と、補間済み画素ｍ１から見てｒ２方向にある上実ライン２２０上の実画素ｕ２。
・対象画素Ｔの左隣の補間済み画素ｍ１と、補間済み画素ｍ１から見てｃ方向の逆方向にある下実ライン２２２上の実画素ｄ１。
次にｄｉｒ＝ｌ２の場合を説明する。この場合、ｒｅｌ＿ｓｋｅｗは式（６６）のとおりである。
rel_skew=α×|u1-d3|+(1-α)×f(|u0-m1|, |d2-m1|) (66)
式（６６）の第１項も、対象画素Ｔの近傍にある二つの実画素の相関を表している。そして、その二つの実画素は、一方が上実ライン２２０上にあり、他方が下実ライン２２２上にあり、前者が後者から見てｌ２方向にある、という位置関係である。また、第２項は、次の二組の画素を利用して計算される。
・対象画素Ｔの左隣の補間済み画素ｍ１と、補間済み画素ｍ１から見てｌ２方向にある上実ライン２２０上の実画素ｕ０の組。
・対象画素Ｔの左隣の補間済み画素ｍ１と、補間済み画素ｍ１から見てｌ２方向の逆方向にある下実ライン２２２上の実画素ｄ２の組。
次にｄｉｒ＝ｒ２の場合を説明する。この場合、ｒｅｌ＿ｓｋｅｗは式（６７）のとおりである。
rel_skew=α×|u3-d1|+(1-α)×f(|u2-m1|, |d0-m1|) (67)
式（６７）の第１項も、対象画素Ｔの近傍にある二つの実画素の相関を表している。そして、その二つの実画素は、一方が上実ライン２２０上にあり、他方が下実ライン２２２上にあり、前者が後者のから見てｒ２方向にある、という位置関係である。また、第２項は、次の二組の画素を利用して計算される。
・対象画素Ｔの左隣の補間済み画素ｍ１と、補間済み画素ｍ１から見てｒ２方向にある上実ライン２２０上の実画素ｕ２の組。
・対象画素Ｔの左隣の補間済み画素ｍ１と、補間済み画素ｍ１から見てｒ２方向の逆方向にある下実ライン２２２上の実画素ｄ０の組。
以上で、図１７に示した空間相関値ｒｅｌ＿ｓｋｅｗについて説明したが、不図示のｌ３方向、ｌ４方向、ｒ３方向、ｌ４方向についても同様にしてｒｅｌ＿ｓｋｅｗを計算することができる。つまり、ｍを１以上の整数とすると、仮補間方向ｄｉｒに応じて、式（６８）〜（７１）のように一般化して、ｒｅｌ＿ｓｋｅｗを定義することができる。
ｄｉｒ＝ｌｊ，ｊ＝２ｍ−１のとき
rel_skew
=α×|p(i, x-m+1, y-1)-p(i, x+m, y+1)|+
(1-α)×f(|p(i, x-m , y-1)-q(i, x-1, y)|,
|p(i, x+m-1, y+1)-q(i, x-1, y)|) (68)
ｄｉｒ＝ｒｊ，ｊ＝２ｍ−１のとき
rel_skew
=α×|p(i, x+m, y-1)-p(i, x-m+1, y+1)|+
(1-α)×f(|p(i, x+m-1, y-1)-q(i, x-1, y)|,
|p(i, x-m , y+1)-q(i, x-1, y)|) (69)
ｄｉｒ＝ｌｊ，ｊ＝２ｍのとき
rel_skew
=α×|p(i, x-m, y-1)-p(i, x+m, y+1)|+
(1-α)×f(|p(i, x-m-1, y-1)-q(i, x-1, y)|,
|p(i, x+m-1, y+1)-q(i, x-1, y)|) (70)
ｄｉｒ＝ｒｊ，ｊ＝２ｍのとき
rel_skew
=α×|p(i, x+m, y-1)-p(i, x-m, y+1)|+
(1-α)×f(|p(i, x+m-1, y-1)-q(i, x-1, y)|,
|p(i, x-m-1, y+1)-q(i, x-1, y)|) (71)
すなわち、空間相関値ｒｅｌ＿ｓｋｅｗは、仮補間方向ｄｉｒに応じた、対象画素Ｔとの特定の相対位置にある画素同士の相関を表し、少なくとも一つの補間済み画素の補間済み画素値を利用して計算される。
以上説明した空間相関値ｒｅｌ＿ｓｋｅｗは、図１６のステップＳ５０６において、第二空間相関値計算部３０３により計算される。さらに、第二空間相関値計算部３０３はステップＳ５０６で、式（７２）により定義される空間相関値ｒｅｌ＿ｘｙも計算する。
rel_xy=α×|u2-d2|+(1-α)×f(|u1-m1|, |d1-m1|) (72)
式（７２）の右辺は、式（６１）の右辺とまったく同じであり、ｒｅｌ＿ｘｙは、ｄｉｒ＝ｃの場合のｒｅｌ＿ｓｋｅｗに等しい。後述するように、混合補間部３０２内のフィールド内補間用画素決定部２０９が決定するフィールド内補間方向は、仮補間方向ｄｉｒまたはｃ方向である。ｒｅｌ＿ｘｙの計算は、フィールド内補間方向がｃ方向に決定される場合に備えて行われる。
次に、図１８を参照して、補間済み画素ｍ１を考慮して空間相関値ｒｅｌ＿ｓｋｅｗを計算することの利点を説明する。説明の都合上、図１８でも図１３と同様に、すべてのラインが実ラインである元画像Ｐを左側に示し、元画像Ｐに対応するインターレース画像Ｉを中央に示した。右側に示したのは、画素値補間装置３００がインターレース画像Ｉを入力として受け取り、補間ライン２２１上の画素を左から右へ順に選択して補間している様子である。この図では、対象画素Ｔよりも左の画素は既に補間されている。
図１８に示したとおり、元画像Ｐは、背景が明るい灰色で、補間ライン２２１上に細く黒い横線Ｈがある画像である。ところが、この横線Ｈは非常に細いので、補間ライン２２１上にのみ存在し、その上下のラインには存在しない。よって、インターレース画像Ｉにはまったくこの横線Ｈが含まれない。
このようなインターレース画像Ｉに対して、第一の実施形態では、図１８の中央に示したように、補間ライン２２１の上下の実ライン間の相関を考慮した局所相関値と、その局所相関値に基づいた累積相関値のみが計算される。局所相関値には、背景に属する画素同士の強い相関のみが反映され、背景と横線Ｈとの相関は反映されない。
一方、第二の実施形態では、補間済み画素ｍ１を参照するので、画素ｍ１が適切に補間されていれば、空間相関値ｒｅｌ＿ｓｋｅｗは、背景と横線Ｈとの相関をも反映した値となる。図１８の場合は、背景と横線Ｈの画素値に大きな差があるので、ｒｅｌ＿ｓｋｅｗの値もそれに応じて大きくなり、ｒｅｌ＿ｓｋｅｗは、対象画素Ｔの近傍における空間相関が小さいことを適切に示す。以上のとおり、元画像Ｐによっては、補間済み画素ｍ１を
考慮することによって、より適切に空間相関を表す空間相関値が得られる。適切な空間相関値を得ることにより、適切な補間が行われることについては、図２４とあわせて後述する。
次に、時間相関値計算部３０４が図１６のステップＳ５０７で計算する時間相関値について図１９〜２２を参照して説明する。本実施形態では、先行フィールド画像および後続フィールド画像内の実画素に基づいて計算される第一の時間相関値と、先行フィールド画像内の補間済み画素と対象フィールド画像内の実画素とに基づいて計算される第二の時間相関値の双方が利用される。
第一の時間相関値の計算に用いられる実画素は、対象画素の位置に存在する画素である。または、対象画素の位置およびその近傍に存在する複数の実画素を第一の時間相関値の計算に用いてもよい。本実施形態における第一の時間相関値は、具体的にはｒｅｌ＿ｘｔである。
第二に時間相関値の計算に用いられる補間済み画素と実画素の位置は同じであり、その位置は対象画素の位置の近傍である。本実施形態における第二の時間相関値は、具体的にはｒｅｌ＿ｙｔとｒｅｌ＿ｙｔ２である。
次に、時間相関値のうち、ｒｅｌ＿ｘｔとｒｅｌ＿ｙｔについて図１９と図２０を参照して説明する。
図１９は、時刻ｔ＝ｔｉに対応する対象フィールド画像Ｆｉにおいて（ｘ，ｙ）に位置する対象画素Ｔを補間する場合の説明である。図１９には、対象画素Ｔの近傍について、先行フィールド画像Ｆｉ−１、対象フィールド画像Ｆｉ、後続フィールド画像Ｆｉ＋１を示した。図１９では、実ライン上の実画素は実線で示し、補間ライン上の画素は点線で示した。
まず、時間相関値の計算に利用する画素について次のように定義する。
・先行フィールド画像Ｆｉ−１において、対象画素Ｔと同じ位置、すなわち（ｘ，ｙ）に位置する実画素と、その画素値を符号「ｂ」により参照する。
・後続フィールド画像Ｆｉ＋１において、対象画素Ｔと同じ位置、すなわち（ｘ，ｙ）に位置する実画素と、その画素値を符号「ｆ」により参照する。なお、この「ｆ」は式（６１）〜（７２）の関数ｆとは無関係である。
・対象フィールド画像Ｆｉにおいて、対象画素Ｔの上隣、すなわち（ｘ，ｙ−１）に位置する実画素と、その画素値を符号「ｕ」により参照する。
・対象フィールド画像Ｆｉにおいて、対象画素Ｔの下隣、すなわち（ｘ，ｙ＋１）に位置する実画素と、その画素値を符号「ｄ」により参照する。
・先行フィールド画像Ｆｉ−１において、画素ｕと同じ位置、すなわち（ｘ，ｙ−１）に位置する補間済み画素と、その補間済み画素値を符号「ｕ’」により参照する。
・先行フィールド画像Ｆｉ−１において、画素ｄと同じ位置、すなわち（ｘ，ｙ＋１）に位置する補間済み画素と、その補間済み画素値を符号「ｄ’」により参照する。
以上の定義を式で表すと、式（７３）〜（７８）のとおりである。
b=p(i-1, x, y) (73)
f=p(i+1, x, y) (74)
u=p(i, x, y-1) (75)
d=p(i, x, y+1) (76)
u’=q(i-1, x, y-1) (77)
d’=q(i-1, x, y+1) (78)
時間相関値ｒｅｌ＿ｘｔは、対象画素Ｔの位置における先行フィールド画像Ｆｉ−１と後続フィールド画像Ｆｉ＋１との相関であり、式（７９）により定義される。
rel_xt=|f-b| (79)
また、時間相関値ｒｅｌ＿ｙｔは、対象画素Ｔの上下の位置における先行フィールド画像Ｆｉ−１と対象フィールド画像Ｆｉとの相関であり、式（８０）により定義される。
rel_yt=f(|u-u’|, |d-d’|) (80)
画素ｕとｄは対象画素Ｔの近傍にあるので「近傍画素」と呼ぶことにすると、式（８０）は、対象フィールド画像Ｆｉに含まれる近傍画素と、先行フィールド画像Ｆｉ−１中でその近傍画素と同じ位置にある補間済み画素との相関である。
式（８０）の右辺の関数ｆとして、具体的には、例えば式（６２）や（６３）に示した関数を用いることができる。すなわち、式（８０）の関数ｆは、空間相関値ｒｅｌ＿ｓｋｅｗの計算で用いた関数ｆと同様の機能を果たす。例えば、式（６２）で定義される関数ｆを利用することにより、先行フィールド画像Ｆｉ−１と後続フィールド画像Ｆｉ＋１との差をより敏感にｒｅｌ＿ｙｔに反映することができる。
次に、時間相関値ｒｅｌ＿ｘｔに加えてｒｅｌ＿ｙｔを計算する理由を、図２０を参照して説明する。図２０は、縦線が速く動く画像における時間相関値ｒｅｌ＿ｘｔ、ｒｅｌ＿ｙｔの特徴を説明する図である。図２０でも図１９と同様に対象画素を×印で表しており、図２０中の符号ｂ、ｆ、ｕ、ｄ、ｕ’、ｄ’は、図１９と同様の画素を表している。
図２０の例では、明るい灰色の背景の上を、幅が３画素しかない暗い灰色の縦線が、右から左へと移動する。この縦線は非常に速く動く。よって、先行フィールド画像Ｆｉ−１において画素ｕ’、ｂ、ｄ’は背景に相当し、縦線はそれよりも右側にある。縦線は、対象フィールド画像Ｆｉにおいて画素ｕ、対象画素、画素ｄの位置に移動してくる。そして、後続フィールド画像Ｆｉ＋１において縦線は画素ｆよりも左に移動してしまい、画素ｆは背景に相当する。
この場合、画素ｆとｂはともに背景に相当するので、時間相関値ｒｅｌ＿ｘｔは小さな値であり、対象画素の位置において先行フィールド画像Ｆｉ−１と後続フィールド画像Ｆｉ＋１との相関が大きいことを表す。よって、仮に静動判定部２０６がｒｅｌ＿ｘｔのみに基づいて静動判定をするならば、時刻ｔｉの対象画素の位置では静止と判断されてしまう。
しかし、図２０に示すとおり、実際には時刻ｔｉの対象画素の位置には非常に速い動きが存在する。時間相関値ｒｅｌ＿ｙｔは、図２０に示したような動きを検出するためのものである。
ここでは説明を簡単にするために、画素ｕ’とｄ’が適切に補間されたと仮定する。すると、｜ｕ−ｕ’｜と｜ｄ−ｄ’｜の両者とも大きな値となるので、時間相関値ｒｅｌ＿ｙｔも大きな値となる。つまり、ｒｅｌ＿ｙｔは、対象画素の上下の、少なくとも一方の位置において、先行フィールド画像Ｆｉ−１と対象フィールド画像Ｆｉとの相関が小さいことを示す。相関が小さいことから、時刻ｔｉの対象画素の近傍での動きが検出可能である。
ただし、時間相関値としてｒｅｌ＿ｙｔのみを用いるのではなく、ｒｅｌ＿ｘｔとｒｅ
ｌ＿ｙｔの双方を相補的に用いることが望ましい。なぜなら、ｒｅｌ＿ｙｔは、上記のように速い動きを検出可能とするのでｒｅｌ＿ｘｔよりも時間分解能に優れているが、垂直分解能はｒｅｌ＿ｘｔよりも劣るためである。つまり、ｒｅｌ＿ｘｔの計算に用いる画素の広がりは、垂直方向すなわちｙ方向に１画素分しかないが、ｒｅｌ＿ｙｔの計算に用いる画素は、垂直方向に３画素分の範囲に存在する。そのため、ｒｅｌ＿ｙｔの垂直分解能はｒｅｌ＿ｘｔよりも劣る。
次に、時間相関値のうち、ｒｅｌ＿ｙｔ２について図２１Ａ、２１Ｂ、２２を参照して説明する。前記のとおり、ｒｅｌ＿ｙｔ２は仮補間方向ｄｉｒに応じて計算方法が異なる。図２１Ａはｄｉｒ＝ｒ２の場合を示し、図２１Ｂはｄｉｒ＝ｒ３の場合を示す。この二つの場合について順に説明した後、一般的な場合について説明し、その後で、図２２を参照してｒｅｌ＿ｙｔ２の意義を説明する。
図２１Ａは、時刻ｔ＝ｔｉに対応する対象フィールド画像Ｆｉにおいて（ｘ，ｙ）に位置する対象画素Ｔを補間する場合を表す。図１９には、対象画素Ｔの近傍について、先行フィールド画像Ｆｉ−１と対象フィールド画像Ｆｉを示した。
まず、ｄｉｒ＝ｒ２の場合に時間相関値ｒｅｌ＿ｙｔ２の計算に利用する画素について次のように定義する。なお、次の定義において図１９と同じ符号ｕ、ｄ、ｕ'、ｄ'が使われるが、図１９の場合とは別の意味を持っていることに注意されたい。
・対象フィールド画像Ｆｉにおいて、上実ライン上の、対象画素Ｔから見てｒ２方向の位置、すなわち（ｘ＋１，ｙ−１）にある実画素と、その画素値を、符号「ｕ」により参照する。
・対象フィールド画像Ｆｉにおいて、下実ライン上の、対象画素Ｔから見てｒ２方向と逆方向の位置、すなわち（ｘ−１，ｙ＋１）にある実画素と、その画素値を、符号「ｄ」により参照する。
・先行フィールド画像Ｆｉ−１において、画素ｕと同じ位置、すなわち（ｘ＋１，ｙ−１）に位置する補間済み画素と、その補間済み画素値を符号「ｕ’」により参照する。
・先行フィールド画像Ｆｉ−１において、画素ｄと同じ位置、すなわち（ｘ−１，ｙ＋１）に位置する補間済み画素と、その補間済み画素値を符号「ｄ’」により参照する。
以上の定義を式で表すと、式（８１）〜（８４）のとおりである。
u=p(i, x+1, y-1) (81)
d=p(i, x-1, y+1) (82)
u’=q(i-1, x+1, y-1) (83)
d’=q(i-1, x-1, y+1) (84)
このように定義された画素ｕとｄの位置は、図５と比較すれば明らかなとおり、ｒ２方向に対応する。よって、補間済み画素ｕ’とｄ’の位置も、ｒ２方向に対応する。
また、図２１Ａは、先行フィールド画像Ｆｉ−１と対象フィールド画像Ｆｉの一部を、ｘｙｔ座標系を使って３次元的に示した模式図３１０を含む。模式図３１０では、便宜的に各画素を立方体のように表示している。
ｄｉｒ＝ｒ２のときの時間相関値ｒｅｌ＿ｙｔ２は式（８５）のとおりである。ｄｉｒ＝ｒ２の場合、式（８１）〜（８４）で定義された画素値が式（８５）で使われる。
rel_yt2=f(|u-u’|, |d-d’|) (85)
式（８５）における関数ｆとして、例えば式（６２）や（６３）に示した関数を用いる
ことができる。すなわち、式（８５）における関数ｆは式（８０）における関数ｆと同様の機能を果たす。
時間相関値ｒｅｌ＿ｙｔ２は、仮補間方向ｄｉｒに応じた、対象画素Ｔとの特定の相対位置にある画素を用いて計算される点で、空間相関値ｒｅｌ＿ｓｋｅｗに似ている。また、時間相関値ｒｅｌ＿ｙｔ２は、特定の位置における先行フィールド画像Ｆｉ−１と対象フィールド画像Ｆｉとの相関を示す点で、時間相関値ｒｅｌ＿ｙｔに似ている。つまり、ｒｅｌ＿ｙｔと同様に、ｒｅｌ＿ｙｔ２も、対象フィールド画像Ｆｉに含まれる近傍画素と、先行フィールド画像Ｆｉ−１中でその近傍画素と同じ位置にある補間済み画素との相関である。
次に、図２１Ｂを参照して、ｄｉｒ＝ｒ３の場合の時間相関値ｒｅｌ＿ｙｔ２について説明する。図２１Ｂは図２１Ａと似ている点が多いので、共通点については適宜説明を省略する。
まず、ｄｉｒ＝ｒ３の場合に時間相関値ｒｅｌ＿ｙｔ２の計算に利用する画素について、次のように定義する。なお、次の定義において図５などと同様の符号ｕ１、ｕ２、ｄ１、ｄ２が使われるが、図５などとは別の意味を持っていることに注意されたい。
・対象フィールド画像Ｆｉにおいて、上実ライン上の、対象画素Ｔから見てｒ３方向の位置は座標（ｘ＋１．５，ｙ−１）である。この位置を挟んで左右に隣接した二つの画素をそれぞれ、符号「ｕ１」と「ｕ２」により参照する。また、画素と同じ符号で画素値も参照する。すなわち、画素ｕ１は（ｘ＋１，ｙ−１）に位置する実画素であり、画素ｕ２は（ｘ＋２，ｙ−１）に位置する実画素である。
・対象フィールド画像Ｆｉにおいて、下実ライン上の、対象画素Ｔから見てｒ３方向の逆方向の位置は座標（ｘ−１．５，ｙ＋１）である。この位置を挟んで左右に隣接した二つの画素をそれぞれ、符号「ｄ１」と「ｄ２」により参照する。また、画素と同じ符号で画素値も参照する。すなわち、画素ｄ１は（ｘ−２，ｙ＋１）に位置する実画素であり、画素ｄ２は（ｘ−１，ｙ＋１）に位置する実画素である。
・先行フィールド画像Ｆｉ−１において、画素ｕ１と同じ位置、すなわち（ｘ＋１，ｙ−１）に位置する補間済み画素と、その補間済み画素値を符号「ｕ１’」により参照する。
・先行フィールド画像Ｆｉ−１において、画素ｕ２と同じ位置、すなわち（ｘ＋２，ｙ−１）に位置する補間済み画素と、その補間済み画素値を符号「ｕ２’」により参照する。
・先行フィールド画像Ｆｉ−１において、画素ｄ１と同じ位置、すなわち（ｘ−２，ｙ＋１）に位置する補間済み画素と、その補間済み画素値を符号「ｄ１’」により参照する。
・先行フィールド画像Ｆｉ−１において、画素ｄ２と同じ位置、すなわち（ｘ−１，ｙ＋１）に位置する補間済み画素と、その補間済み画素値を符号「ｄ２’」により参照する。
以上の定義を式で表すと、式（８６）〜（９３）のとおりである。
u1=p(i, x+1, y-1) (86)
u2=p(i, x+2, y-1) (87)
d1=p(i, x-2, y+1) (88)
d2=p(i, x-1, y+1) (89)
u1’=q(i-1, x+1, y-1) (90)
u2’=q(i-1, x+2, y-1) (91)
d1’=q(i-1, x-2, y+1) (92)
d2’=q(i-1, x-1, y+1) (93)
このように定義された画素ｕ１、ｕ２、ｄ１、ｄ２の位置は、図５と比較すれば明らかなとおり、ｒ３方向に対応する。よって、補間済み画素ｕ１’、ｕ２’、ｄ１’、ｄ２’の位置も、ｒ３方向に対応する。また、図２１Ａと同様に図２１Ｂも、ｘｙｔ座標系を使った模式図３１１を含む。
ｄｉｒ＝ｒ３のときの時間相関値ｒｅｌ＿ｙｔ２は式（９４）のとおりである。ｄｉｒ＝ｒ３の場合、式（８６）〜（９３）で定義された画素値が式（９４）で使われる。
rel_yt2=f((|u1-u1’|+|u2-u2’|)/2, (|d1-d1’|+|d2-d2’|)/2) (94)
式（９４）における関数ｆは、式（８５）の関数ｆと同一の関数である。
式（９４）から分かるように、ｄｉｒ＝ｒ３のとき、ｒ３方向に対応する特定の四つの位置（ｘ＋１，ｙ−１）、（ｘ＋２，ｙ−１）、（ｘ−２，ｙ＋１）、（ｘ−１，ｙ＋１）について、それぞれ先行フィールド画像Ｆｉ−１と対象フィールド画像Ｆｉとの相関｜ｕ１−ｕ１’｜、｜ｕ２−ｕ２’｜、｜d１−ｄ１’｜、｜ｄ２−ｄ２’｜が計算される。そして、対象画素Ｔの近傍の上実ラインにおける時間的な相関として、本実施形態では、｜ｕ１−ｕ１’｜と｜ｕ２−ｕ２’｜の平均が計算され、関数ｆに第一引数として与えられる。同様に、対象画素Ｔの近傍の下実ラインにおける時間的な相関として、｜d１−ｄ１’｜と｜ｄ２−ｄ２’｜の平均が計算され、関数ｆに第二引数として与えられる。その結果、仮補間方向ｄｉｒに対応する特定の位置における、先行フィールド画像Ｆｉ−１と対象フィールド画像Ｆｉとの相関であるｒｅｌ＿ｙｔ２が計算される。
次に、図２１Ａと図２１Ｂでの説明を一般化して、ｒ２方向やｒ３方向以外の方向についてのｒｅｌ＿ｙｔ２の計算の仕方を説明する。なお、以下ではｍが１以上の整数であるとする。
ｄｉｒ＝ｒｊでありｊ＝２ｍのとき、ｒｅｌ＿ｙｔ２は、式（８１）〜（８４）を次の式（９５）〜（９８）に置き換えて式（８５）により計算される。
u=p(i, x+m, y-1) (95)
d=p(i, x-m, y+1) (96)
u’=q(i-1, x+m, y-1) (97)
d’=q(i-1, x-m, y+1) (98)
同様に、ｄｉｒ＝ｌｊでありｊ＝２ｍのとき、ｒｅｌ＿ｙｔ２は、式（８１）〜（８４）を次の式（９９）〜（１０２）に置き換えて式（８５）により計算される。
u=p(i, x-m, y-1) (99)
d=p(i, x+m, y+1) (100)
u’=q(i-1, x-m, y-1) (101)
d’=q(i-1, x+m, y+1) (102)
ｄｉｒ＝ｒｊでありｊ＝２ｍ−１のとき、ｒｅｌ＿ｙｔ２は、式（８６）〜（９３）を次の式（１０３）〜（１１０）に置き換えて式（９４）により計算される。
u1=p(i, x+m-1, y-1) (103)
u2=p(i, x+m, y-1) (104)
d1=p(i, x-m, y+1) (105)
d2=p(i, x-m+1, y+1) (106)
u1’=q(i-1, x+m-1, y-1) (107)
u2’=q(i-1, x+m, y-1) (108)
d1’=q(i-1, x-m, y+1) (109)
d2’=q(i-1, x-m+1, y+1) (110)
同様に、ｄｉｒ＝ｌｊでありｊ＝２ｍ−１のとき、ｒｅｌ＿ｙｔ２は、式（８６）〜（９３）を次の式（１１１）〜（１１８）に置き換えて式（９４）により計算される。
u1=p(i, x-m, y-1) (111)
u2=p(i, x-m+1, y-1) (112)
d1=p(i, x+m-1, y+1) (113)
d2=p(i, x+m, y+1) (114)
u1’=q(i-1, x-m, y-1) (115)
u2’=q(i-1, x-m+1, y-1) (116)
d1’=q(i-1, x+m-1, y+1) (117)
d2’=q(i-1, x+m, y+1) (118)
なお、図５から明らかなように、ｃ方向は、ｒ０方向と見なすこともでき、ｌ０方向と見なすこともできる。よって、式（９５）〜（９８）においてｍ＝０を代入すれば、ｄｉｒ＝ｃのときのｒｅｌ＿ｙｔ２を式（８５）により計算することができる。
以上の式に基づいて、どの仮補間方向ｄｉｒに対しても時間相関値計算部３０４は時間相関値ｒｅｌ＿ｙｔ２を計算することができる。
次に、ｒｅｌ＿ｙｔ２を計算する理由を、図２２を参照して説明する。図２２は図２０と類似の図である。また、図２２はｄｉｒ＝ｒ２の場合の例であり、符号ｕ、ｄ、ｕ’、ｄ’は図２１Ａと同様の画素を表している。なお、×印で表した対象画素、画素ｂ、画素ｆは、図１９と同様である。
図２２の例では、明るい灰色の背景の上を、幅が３画素しかない暗い灰色の斜めの線が、右から左へと移動する。この斜めの線はｒ２方向と平行であり、非常に速く動く。よって、先行フィールド画像Ｆｉ−１において画素ｕ’、ｂ、ｄ’は背景に相当し、斜めの線はそれよりも右側にある。斜めの線は、対象フィールド画像Ｆｉにおいて画素ｕ、対象画素、画素ｄの位置に移動してくる。そして、後続フィールド画像Ｆｉ＋１において斜めの線は画素ｆよりも左に移動してしまい、画素ｆは背景に相当する。
この場合、画素ｆとｂはともに背景に相当するので、時間相関値ｒｅｌ＿ｘｔは小さな値であり、対象画素の位置において先行フィールド画像Ｆｉ−１と後続フィールド画像Ｆｉ＋１との相関が大きいことを表す。よって、仮に静動判定部２０６がｒｅｌ＿ｘｔのみに基づいて静動判定をするならば、時刻ｔｉの対象画素の位置では静止と判断されてしまう。
しかし、図２２に示すとおり、実際には時刻ｔｉの対象画素の位置には非常に速い動きが存在する。時間相関値ｒｅｌ＿ｙｔ２は、図２２に示したような動きを検出するためのものである。
ここでは説明を簡単にするために、画素ｕ’とｄ’が適切に補間されたと仮定する。すると、｜ｕ−ｕ’｜と｜ｄ−ｄ’｜の両者とも大きな値となるので、時間相関値ｒｅｌ＿ｙｔ２も大きな値となる。この場合、ｒｅｌ＿ｙｔ２は、仮補間方向ｄｉｒに応じて決まる、対象画素の斜め上または斜め下の双方の位置において、先行フィールド画像Ｆｉ−１と対象フィールド画像Ｆｉとの相関が小さいことを示す。相関が小さいことから、時刻ｔｉの対象画素の近傍での動きが検出可能である。
このように、ｒｅｌ＿ｙｔ２はｒｅｌ＿ｙｔと同様の高い時間分解能を有する。一方、ｒｅｌ＿ｙｔと同様にｒｅｌ＿ｙｔ２の垂直分解能はｒｅｌ＿ｘｔよりも劣る。よって、ｒｅｌ＿ｙｔ２もｒｅｌ＿ｘｔと相補的に用いることが望ましい。
次に、図１６のステップＳ５０８で静動判定部２０６が行う静動判定について説明する。静動判定部２０６は、時間相関値計算部３０４から時間相関値ｒｅｌ＿ｘｔ、ｒｅｌ＿ｙｔ、ｒｅｌ＿ｙｔ２を受け取る。静動判定部２０６は、予め決められた閾値ｔｉｍｅｔｈと３種類の時間相関値とをそれぞれ比較し、その結果に基づいて、時刻ｔｉにおいて対象画素の近傍に動きがあるか否かを判定する。具体的には、本実施形態では、式（１１９）〜（１２１）のすべてが成立するときに静動判定部２０６は静止と判定する。
rel_xt < timeth (119)
rel_yt < timeth (120)
rel_yt2 < timeth (121)
一般的に述べるなら、式（１１９）〜（１２１）は、異なるフィールド画像において同じ位置にある画素同士の相関が大きい場合に成立する。すなわち、これらの式は、動きがまったくないか、わずかな動きしかないために、フィールド間の相関が大きい場合に成立する。よって、本実施形態では、式（１１９）〜（１２１）のすべてが成立するときに静止と判定され、それ以外の場合に動きがあると判定される。
なお、式（１１９）〜（１２１）のすべてが成立するという条件は厳しい条件である。このように厳しい条件を設けた理由は、図１６のステップＳ５０８で静止と判定されるとステップＳ５１０でフィールド間補間が行われ、対象フィールド画像Ｆｉ内の画素が補間用画素として利用されないためである。一方、ステップＳ５０８で動きが検出された場合は、フィールド間補間とフィールド内補間の両方の要素を含んだ混合補間がステップＳ５０９で行われる。よって、一方の要素しか含まないステップＳ５１０の処理は、厳しい条件を満たして、フィールド間補間が適切であることの確度が高い場合にのみ、行うようにしている。
また、本実施形態では式（１１９）〜（１２１）のすべてにおいて同じ閾値ｔｉｍｅｔｈを利用しているが、別の実施形態では、時間相関値ごとに異なる閾値とそれぞれ比較してもよい。
次に、図１６のステップＳ５０９で混合補間部３０２が実行する混合補間の詳細を、図２３のフローチャートを参照しながら説明する。図２３は、第一の実施形態におけるフィールド内補間を表す図８と同様の過程を含む。
ステップＳ６０１において、フィールド内補間用画素決定部２０９が、仮補間方向ｄｉｒに対応する局所相関値ｍｉｎ＿ｒｅｌを取得する。これは、図８のステップＳ４０２と同様である。
第一の実施形態では、図８のステップＳ４０２の直前のステップＳ４０１において、累積相関値が最小となる相関計算方向ｄｉｒが既に選択されている。一方、第二の実施形態では、図２３の処理の実行前、すなわち図１６のステップＳ５０５において、累積相関値が最小となる相関計算方向ｄｉｒが仮補間方向として既に選択されている。いずれも、ｄｉｒは累積相関値が最小となる方向である。よって、ステップＳ６０１はステップＳ４０２とまったく同様である。
ステップＳ６０１の後、処理はステップＳ６０２に移行するが、ステップＳ６０２、Ｓ
６０３、Ｓ６０４はそれぞれ、図８のステップＳ４０３、Ｓ４０４、Ｓ４０５と同様なので、説明を省略する。ステップＳ６０３またはＳ６０４の実行後、処理はステップＳ６０５に移行する。
ステップＳ６０５では、フィールド内補間画素値計算部２１０が、図８のステップＳ４０６と同様にして、対象画素をフィールド内補間する場合の画素値ｇ＿ｓを計算する。以後、画素値ｇ＿ｓを「フィールド内補間値」と呼ぶ。
また、ステップＳ６０５では、フィールド間補間部２１１が、対象画素をフィールド間補間する場合の画素値ｇ＿ｔをステップＳ５１０と同様にして計算する。以後、画素値ｇ＿ｔを「フィールド間補間値」と呼ぶ。フィールド内補間値ｇ＿ｓとフィールド間補間値ｇ＿ｔの双方の計算後、処理はステップＳ６０６に移行する。
ステップＳ６０６において、重み係数計算部３０５が重み係数ｗ＿ｔとｗ＿ｓを計算する。重み係数ｗ＿ｔとｗ＿ｓはいずれも、値が０以上１以下であり、両者の和が１となるように定義されている。具体的には、ステップＳ６０３またはＳ６０４において決定されたフィールド内補間方向によって、重み係数ｗ＿ｔとｗ＿ｓの計算方法が異なる。
フィールド間補間方向がｃ方向の場合の重み係数ｗ＿ｔとｗ＿ｓは、それぞれ式（１２２）と（１２３）により定義される。
式（１２２）と（１２３）における「ｋ２」は、予め定められた定数であり、空間相関値の重み係数への寄与を調節する係数である。経験的には、ｋ２の値は通常は１．０が望ましい。
また、式（１２２）と（１２３）における「ε」も、予め定められた定数である。εは、時間相関値と空間相関値がともに０の場合に分母が０になるのを防ぐために足される値である。よって、εには、例えば０．０１などの小さな値が設定される。
重み係数ｗ＿ｔとｗ＿ｓの計算に用いられる時間相関値ｒｅｌ＿ｘｔ、ｒｅｌ＿ｙｔおよび空間相関値ｒｅｌ＿ｘｙは、その定義から非負である。したがって、上記のｋ２とεの意味から当然に、ｋ２とεは非負である。よって、重み係数ｗ＿ｔとｗ＿ｓも非負である。また、定義から明らかに、重み係数ｗ＿ｔとｗ＿ｓの和は１である。
次に、式（１２２）と（１２３）の意味を説明する。上記のとおり、εは計算の都合上導入された定数なので、式の意味を考えるときにはε＝０と仮定してかまわない。また、上記のとおり、ｋ２＝１であることが好ましいのでｋ２＝１と仮定する。この仮定によれば、式（１２２）の重み係数ｗ＿ｔは時間相関値と空間相関値の和に占める空間相関値の割合を示し、式（１２３）の重み係数ｗ＿ｓは時間相関値と空間相関値の和に占める時間
相関値の割合を示すことが理解されるだろう。
続いて、フィールド間補間方向が仮補間方向と同じくｄｉｒである場合の重み係数ｗ＿ｔとｗ＿ｓについて説明する。この場合、重み係数ｗ＿ｔとｗ＿ｓはそれぞれ式（１２４）と（１２５）により定義される。
式（１２４）は、式（１２２）において、空間相関値ｒｅｌ＿ｘｙを空間相関値ｒｅｌ＿ｓｋｅｗに置き換え、時間相関値ｒｅｌ＿ｙｔを時間相関値ｒｅｌ＿ｙｔ２に置き換えて得られる式である。式（１２５）は、式（１２３）において同様の置き換えをすることにより得られる式である。また、ｒｅｌ＿ｓｋｅｗとｒｅｌ＿ｙｔ２も、その定義から非負である。
よって、式（１２４）と（１２５）において、ｋ２やεは上記と同様であり、重み係数ｗ＿ｔとｗ＿ｓは非負である。また、定義から明らかに、この場合も重み係数ｗ＿ｔとｗ＿ｓの和は１である。
ところで、ｃ方向という特定の方向から任意の方向ｄｉｒへの拡張という意味を「一般化」と言うことにすると、上記の説明から明らかなとおり、ｒｅｌ＿ｓｋｅｗはｒｅｌ＿ｘｙの一般化であり、ｒｅｌ＿ｙｔ２はｒｅｌ＿ｙｔの一般化である。よって、式（１２４）と（１２５）は、ｃ方向という特定の方向に対応する式（１２２）と（１２３）を、一般の方向ｄｉｒ用に拡張した式だと見なすことが可能である。よって、式（１２４）の重み係数ｗ＿ｔも時間相関値と空間相関値の和に占める空間相関値の割合を示し、式（１２５）の重み係数ｗ＿ｓも時間相関値と空間相関値の和に占める時間相関値の割合を示すと言うことができる。
以上の式にしたがって重み係数計算部３０５が重み係数ｗ＿ｔとｗ＿ｓを計算すると、処理はステップＳ６０７に移行する。ステップＳ６０７では、混合補間画素値計算部３０６が式（１２６）にしたがって混合補間値ｇ＿ｏｕｔを計算し、その混合補間値ｇ＿ｏｕｔで対象画素を補間する。そして、図２３の処理が終了する。
g_out=w_t・g_t+w_s・g_s (126)
次に、上記の混合補間における、時間相関値および空間相関値と重み係数ｗ＿ｔ、ｗ＿ｓとの関係を、図２４を参照して説明する。図２４の左の表は、時間相関値と空間相関値の値の組み合わせを示し、右の表は、その組み合わせに対応する重み係数の値の大きさを示す。
ｗ＿ｔとｗ＿ｓは非負で、両者の和が１なので、図２４の右の表では、０に近い値を「小」、０．５に近い値を「中」、１に近い値を「大」と表す。
また、第二の実施形態では、時間相関値と空間相関値の双方とも相関が大きいほど値が
小さい。そして、上記のｒｅｌ＿ｘｔ、ｒｅｌ＿ｙｔ、ｒｅｌ＿ｙｔ２、ｒｅｌ＿ｘｙ、ｒｅｌ＿ｓｋｅｗの定義から明らかなとおり、これらの値が取りうる最小値と最大値は共通である。すなわち、その共通の最小値は０である。また、上記（ｅ）の仮定から、画素値は０以上１００以下なので、二つの画素の画素値の差の絶対値は、最大で１００である。よって、上記の共通の最大値はいずれも１００である。よって、以下のことが成り立つ。
時間相関値と空間相関値がともに小さいか、ともに大きい場合、すなわち、双方の値が同程度の場合、式（１２２）〜（１２５）より、重み係数ｗ＿ｔとｗ＿ｓはともに０．５に近い値となる。よって、式（１２６）より、混合補間値g＿ｏｕｔは、フィールド間補間値ｇ＿ｔとフィールド内補間値ｇ＿ｓの平均値に近い値となる。
時間相関値が小さく、空間相関値が大きい場合、すなわち、時間相関が大きく、空間相関が小さい場合、式（１２２）〜（１２５）より、ｗ＿ｔが大きく、ｗ＿ｓが小さい。よって、式（１２６）より、混合補間値g＿ｏｕｔは、フィールド間補間値ｇ＿ｔに近い値となる。つまり、時間相関が大きい場合の混合補間は、フィールド間補間に近い補間である。
一方、時間相関値が大きく、空間相関値が小さい場合、すなわち、時間相関が小さく、空間相関が大きい場合、式（１２２）〜（１２５）より、ｗ＿ｔが小さく、ｗ＿ｓが大きい。よって、式（１２６）より、混合補間値g＿ｏｕｔは、フィールド内補間値ｇ＿ｓに近い値となる。つまり、空間相関が大きい場合の混合補間は、フィールド内補間に近い補間である。
例えば、図１８の例では、空間相関値の一種である局所相関値ｃ（ｘ）、ｒ（ｘ、ｊ）、ｌ（ｘ、ｊ）には反映されない空間相関が、別の空間相関値ｒｅｌ＿ｓｋｅｗには反映される。つまり、図１８の例では、ｒｅｌ＿ｓｋｅｗの値が大きい。よって、図２４より、ｗ＿ｓはｗ＿ｔよりも小さいか、ｗ＿ｔと同程度である。よって、対象画素Ｔに対して、中間的な補間あるいはフィールド間補間に近い補間がなされる。図１８は、フィールド内補間に近い補間が不適切な例であるから、以上より、不適切な補間を防ぐことができたと理解されるだろう。
以上のようにして計算される混合補間値ｇ＿ｏｕｔは、時間的な要素、すなわちフィールド間補間の要素と、空間的な要素、すなわちフィールド内補間の要素をともに含む。そして、時間的な要素と空間的な要素は、時間相関値と空間相関値の大小関係に応じて、重み係数ｗ＿ｔとｗ＿ｓにより重みづけが調節されている。よって、フィールド間補間とフィールド内補間とを二者択一で決定する場合に比べて、混合補間を行う第二の実施形態では、画面のちらつきを防ぐことができ、より自然なプログレッシブ画像を得ることが可能である。
ところで、本発明による補間方法の決定は、図２５のような一般的なコンピュータにより実行されてもよい。図１の補間方法決定装置１００、図３の画素値補間装置２００、図１５の画素値補間装置３００はいずれも、図２５のコンピュータにより実現することができる。すなわち、図２５のコンピュータは、上記のフローチャートに示した処理を行うことにより、補間方法決定装置１００、画素値補間装置２００、または画素値補間装置３００として機能する。
図２５のコンピュータは、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３、通信インターフェイス４０４、入力装置４０５、出力装置４０６、記憶装置４０７、可搬型記憶媒体４１０の駆
動装置４０８を備え、これらのすべてがバス４０９によって接続されている。
また、図２５のコンピュータは通信インターフェイス４０４を介してネットワーク４１１に接続されている。通信インターフェイス４０４は、有線通信用および／または無線通信用のインターフェイスである。ネットワーク４１１は、ＬＡＮ（Local Area Network）やインターネットなど任意のコンピュータネットワークでもよく、テレビ放送網でもよい。ネットワーク４１１がテレビ放送網のとき、通信インターフェイス４０４は、アンテナとチューナーを含む。
入力装置４０５は、例えばマウスなどのポインティングデバイスやキーボードである。出力装置４０６は、例えば液晶ディスプレイやＣＲＴディスプレイなどの表示装置である。例えば、第一または第二の実施形態の処理によってＩＰ変換されて得られたプログレッシブ画像が、出力装置４０６に出力されてもよい。
記憶装置４０７は、ハードディスクなどの磁気ディスク装置でもよく、書き換え可能な不揮発性メモリなど他の種類の記憶装置でもよい。
記憶装置４０７またはＲＯＭ４０２には、本発明によるプログラム、例えば、図４、７、８の処理または図１６、７、２３の処理をコンピュータに実行させるプログラムが格納されている。そのプログラムをＣＰＵ４０１が実行することにより、図２５のコンピュータが補間方法決定装置１００、画素値補間装置２００、画素値補間装置３００のいずれかとして動作する。
また、入力画像のデータは、予め記憶装置４０７に蓄積されていてもよく、ネットワーク４１１と通信インターフェイス４０４を介して画像提供者４１３から送られてきてもよい。あるいは、入力画像のデータを格納した可搬型記憶媒体４１０が駆動装置４０８にセットされて、入力画像のデータがＲＡＭ４０３に読み出されてもよい。なお、入力画像は画像信号により表される静止画でもよく、映像信号により表される動画でもよい。
格納部１０１や２０１はＲＡＭ４０３に相当する。ただし、格納部１０１や２０１の一部をＲＡＭ４０３により実現し、残りの部分を記憶装置４０７により実現することも可能である。なお、図１の格納部１０１以外の機能ブロック、および図３や図１５の格納部２０１以外の機能ブロックは、ＣＰＵ４０１に相当する。
本発明によるプログラムは、プログラム提供者４１２からネットワーク４１１および通信インターフェイス４０４を介して提供され、例えば記憶装置４０７に格納され、ＣＰＵ４０１によって実行されてもよい。また、可搬型記憶媒体４１０に本発明によるプログラムが格納され、可搬型記憶媒体４１０が駆動装置４０８にセットされ、格納されたプログラムがＲＡＭ４０３にロードされてＣＰＵ４０１によって実行されてもよい。可搬型記憶媒体４１０としては、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disk）などの光ディスク、光磁気ディスク、フレキシブルディスクなど様々な形式の記憶媒体を使用することができる。
なお、本発明は上記の実施形態に限られるものではなく、様々に変形可能である。以下にその例をいくつか述べるが、もちろん、以下に述べる以外の変形も可能である。
変形の第一の観点は、カラー画像への適用である。第一および第二の実施形態では、説明を簡単にするため、上記（ｅ）のとおり、各画素が一つの画素値により表されると仮定していた。この仮定は、輝度を画素値とするグレースケールのモノクロ画像の場合に成立する。
カラー画像の場合、各画素は複数の画素値により表される。例えば、一般的なコンピュ
ータのディスプレイで用いられるＲＧＢ表色系では、赤を表すＲ、緑を表すＧ、青を表すＢの三つの画素値により各画素が表される。また、テレビ放送で用いられるＹＣｂＣｒ表色系では、輝度信号Ｙと、二つの色差信号ＣｂおよびＣｒの合計三つの画素値により各画素が表される。
第一および第二の実施形態を例えば次のように変形することにより、入力画像がカラー画像の場合も、本発明によって補間方法を決定することが可能である。
最も簡単な変形例は、補間方法の決定に１種類の画素値のみを用いる方法である。補間方法の決定に用いる画素値は人間の眼の特性に合わせて選択することが望ましい。人間の眼は色の差よりも明るさの差に敏感であり、最も明るさを感じる色は緑色である。よって、ＹＣｂＣｒ表色系の場合には輝度信号Ｙを選択し、ＲＧＢ表色系の場合には緑を表すＧを選択することが好ましい。
以下、ＹＣｂＣｒ表色系の場合を例に説明する。この変形例では、空間相関値や時間相関値の計算、静動判定、フィールド内補間方向の決定、重み係数の計算は、画素値Ｙのみを用いて行われる。対象画素の画素値の計算、つまり第一の実施形態における図８のステップＳ４０６または第二の実施形態における図２３のステップＳ６０５とＳ６０７では、画素値Ｙ、Ｃｂ、Ｃｒのそれぞれについて計算が行われる。
入力画像がカラー画像の場合の別の変形例では、複数種類の画素値のそれぞれについて空間相関値や時間相関値の計算が行われる。例えば、式（１５）の局所相関値ｃ（ｘ）のかわりに、画素値Ｙ、Ｃｂ、Ｃｒにそれぞれ基づいた局所相関値ｃ＿Ｙ（ｘ）、ｃ＿Ｃｂ（ｘ）、ｃ＿Ｃｒ（ｘ）の計算が行われる。そして、この三つの局所相関値のうちの最大値をｃ（ｘ）として選択する。なお、一般には輝度信号Ｙと色差信号Ｃｂ、Ｃｒはビット数が異なる。よって、この例および以下の例では、この三つの局所相関値は、ビット数の違いに応じたスケール変換を行って得られる値であると仮定している。
あるいは、画素値Ｙを画素値ＣｂやＣｒよりも優先的に考慮するために、適当な重み係数ｗ１、ｗ２、ｗ３を予め定めておき、ｗ１・ｃ＿Ｙ（ｘ）とｗ２・ｃ＿Ｃｂ（ｘ）とｗ３・ｃ＿Ｃｒ（ｘ）とを比較してもよい。そして、例えばこのうちのｗ２・ｃ＿Ｃｂ（ｘ）が最大の場合、ｃ＿Ｃｂ（ｘ）の値をｃ（ｘ）として用いてもよい。なお、０＜ｗ２，ｗ３＜ｗ１なる関係を満たす重み係数を用いることにより、画素値Ｙを優先的に考慮することができる。
このようにして計算された局所相関値から累積相関値を計算する方法は、第一および第二の実施形態と同様である。また、上記でｃ＿Ｙ（ｘ）、ｃ＿Ｃｂ（ｘ）、ｃ＿Ｃｒ（ｘ）に基づいてｃ（ｘ）を計算したのと同様にして、他の空間相関値や時間相関値も、複数種類の画素値のそれぞれについての計算に基づいて計算される。その結果を用いた、静動判定、フィールド内補間方向の決定、重み係数の計算は、第一および第二の実施形態と同様である。対象画素の画素値の計算は、複数種類の画素値のそれぞれについて行われる。
変形の第二の観点は、二つの画素の相関の計算方法である。空間相関値や時間相関値は、二つの画素の相関値に基づいて計算されるが、上記では、二つの画素値の差分の絶対値を、二つの画素の相関値として用いている。しかし、例えば、二つの画素値の差分の２乗を二つの画素の相関値として用いてもよく、他の方法で二つの画素の相関を定義してもよい。上記の定義によれば、各種相関値は、相関が大きいほど値が小さいが、相関が大きいほど値が大きくなるような定義を用いてもよい。
変形の第三の観点は、局所相関値の計算に用いる画素の数である。図５に示したとおり、第一および第二の実施形態では、上実ライン２２０上の１画素と下実ライン２２２上の
１画素、または上実ライン２２０上の２画素と下実ライン２２２上の２画素を用いて局所相関値を計算する。しかし、画像のノイズが局所相関値に及ぼす影響を少なくするために、上記の「１画素」を３画素や５画素に拡張し、上記の「２画素」を４画素や６画素に拡張してもよい。
例えば、式（１６）を式（１２７）〜（１２９）のいずれかに置き換えることが、上記の２画素から４画素への拡張に相当する。式（１２９）に示した係数１／８や３／８は一例である。
r(x, 1)=|(u1+u2+u3+u4)/4−(d0+d1+d2+d3)/4| (127)
r(x, 1)=(|u1-d0|+|u2-d1|+|u3-d2|+|u4-d3|)/4 (128)
r(x, 1)=(1/8)|u1-d0|+(3/8)|u2-d1|+(3/8)|u3-d2|+(1/8)|u4-d3| (129)
また、上記は水平方向の拡張だが、垂直方向の拡張も可能である。すなわち、上実ライン２２０よりも上の実ラインや、下実ライン２２２よりも下の実ラインをも考慮して、局所相関値を計算してもよい。例えば、式（１５）を式（１３０）に置き換えてもよく、式（１３０）の右辺の三つの項に、それぞれ適当な重み係数を掛けてもよい。ｃ方向以外の方向についても同様に、上実ライン２２０よりも上の実ラインや、下実ライン２２２よりも下の実ラインをも考慮する拡張をして、局所相関値を定義することが可能である。
c(x)=|p(i, x, y-3)-p(i, x, y-1)|+
|p(i, x, y-1)-p(i, x, y+1)|+
|p(i, x, y+1)-p(i, x, y+3)| (130)
変形の第四の観点は、時間相関値ｒｅｌ＿ｘｔやｒｅｌ＿ｙｔの計算に用いる画素の数である。図１９に示したように、対象画素Ｔの座標が（ｘ，ｙ）のとき、第二の実施形態では、（ｘ，ｙ）に位置する画素の画素値に基づいてｒｅｌ＿ｘｔが計算され、（ｘ，ｙ−１）と（ｘ，ｙ＋１）に位置する画素の画素値に基づいてｒｅｌ＿ｙｔが計算される。つまり、ｒｅｌ＿ｘｔやｒｅｌ＿ｙｔの計算に用いられる画素の水平方向の広がりは、１画素である。この「１画素」を３画素や５画素に拡張してもよい。
例えば、式（７９）を式（１３１）に置き換えることや、式（８０）を式（１３２）に置き換えることが１画素から３画素への拡張に相当する。なお、式（１３１）と（１３２）の関数ｆは、最大値を返す関数や、平均値を返す関数などが好ましい。
rel_xt=f(|p(i-1, x-1, y)-p(i+1, x-1, y)|+
|p(i-1, x, y)-p(i+1, x, y)|+
|p(i-1, x+1, y)-p(i+1, x+1, y)|) (131)
rel_yt=f(|p(i, x-1, y-1)-q(i-1, x-1, y-1)|,
|p(i, x , y-1)-q(i-1, x , y-1)|,
|p(i, x+1, y-1)-q(i-1, x+1, y-1)|,
|p(i, x-1, y+1)-q(i-1, x-1, y+1)|,
|p(i, x , y+1)-q(i-1, x , y+1)|,
|p(i, x+1, y+1)-q(i-1, x+1, y+1)|) (132)
変形の第五の観点は、相関計算方向として考慮する方向の数である。この数は、実施形態に固有の定数でもよく、ユーザが予め指定してもよい。例えば図５には９方向を示したが、相関計算方向として考慮する方向の数は、９より多くても少なくてもよい。しかし、あまり多くの相関計算方向を考慮しても、それほど意味がない。
その理由は、次のとおりである。例えばｒ５方向やｒ６方向などの局所相関値は、式（３０）や（３１）から分かるように、かなり離れた画素間の相関を表す。一般的には、大きく離れた画素間の相関が大きいことは少ない。また、ｒ６方向やｌ６方向は、傾きが緩
やかで、水平に近い。例えば図２６に示したような４５度程度の傾きの模様の場合、ジャギー発生が発生するとジャギーが目立ち、人間の眼には画像が劣化していると感じられる。しかし、水平に近い緩やかな傾きの模様では、従来の方法を用いても、それほど目立つジャギーは発生しない。したがって、緩やかな傾きについて過度に考慮しても、画質向上には寄与しない。
よって、相関計算方向として考慮する方向の数は任意だが、実験などから適切な数を定めることが望ましく、過度に多くの相関計算方向を考慮する必要はない。
変形の第六の観点は、空間相関値ｒｅｌ＿ｓｋｅｗの計算に用いる画素である。上記第三の観点と同様に画素数を増やす拡張をしてｒｅｌ＿ｓｋｅｗを計算してもよい。また、図１７には、相関計算方向ごとにｒｅｌ＿ｓｋｅｗの計算に用いる画素を示したが、図１７は好ましい一例を示したものである。ｒｅｌ＿ｓｋｅｗの計算に用いる画素は、仮補間方向ｄｉｒに応じて、対象画素Ｔとの相対的な位置関係が特定されればよい。その位置関係が図１７の例とは異なる実施形態も可能である。
変形の第七の観点は、累積相関値を累積する方向および範囲である。第一および第二の実施形態では、選択順序方向は「水平に左から右へ」という方向であり、この選択順序方向で指定される順序で、累積相関値も累積されている。しかし、別の実施形態では、選択順序方向が「水平に右から左へ」など、他の方向でもよい。
また、入力画像を複数のブロックに区切って、累積相関値を計算してもよい。つまり、ａｊ≦ｘ≦ｂｊなる範囲を第ｊブロックとして、ブロックごとに補間方法の決定および補間を行ってもよい。この場合、例えば、複数のＣＰＵ４０１を備えるように図２５を変形することにより、複数のブロックについて並列に処理を行うことが可能である。
なお、図１２の累積相関値一覧表２４２に示したように、選択順序方向が「水平に左から右へ」という方向の場合、画像の左端付近および右端付近では累積相関値が計算不能となり、ＢＩＧという値になる。よって、このようにブロックに分割する場合は、隣接する二つのブロックのｘ座標の範囲が重なるように分割することが望ましい。
例えば、図１２に示したように、相関計算方向として５方向を考慮する場合、ブロックの左端の２画素と右端の２画素に対応して、計算不能な累積相関値がある。よって、第ｊブロックとその左隣の第（ｊ−１）ブロックは、ｘ方向に少なくとも２画素分の範囲が重なることが望ましい。ｎ画素分の重なりがあると仮定すると、この例では、第ｊブロックのうち、ａｊ≦ｘ≦ａｊ＋ｎ−１なる範囲については局所相関値と累積相関値の計算のみが行われ、ａｊ＋ｎ≦ｘ≦ｂｊなる範囲については画素の補間も行われる。
変形の第八の観点は、フィールド内補間方向の決定方法である。図８のステップＳ４０３や図２３のステップＳ６０２で参照されるｍｉｎ＿ｒｅｌとｃ（ｘ）はいずれも局所相関値だが、累積相関値に基づいてフィールド内補間方向を決定してもよい。例えば、ステップＳ４０３やＳ６０２において、方向ｄｉｒに対応する累積相関値Ｍｉｎ＿ｒｅｌと累積相関値Ｃ（ｘ）とに基づいた判定を行ってもよい。また、局所相関値と累積相関値の双方を用いて判定を行ってもよい。
変形の第九の観点は、本発明の適用対象である。第一および第二の実施形態では、仮定（ａ）のとおり、ＩＰ変換を適用対象としている。しかし、本発明の原理はＩＰ変換以外にも適用可能である。具体的には、静止画または動画の拡大処理に本発明を適用することもできる。
画像の拡大処理は、既存の画素の間に新たな画素を挿入する処理であるとも言える。つ
まり、拡大後の画像のうち、一部の画素は、元の画像に存在する画素の画素値をそのまま継承した画素であり、残りの画素は、元の画像に存在する複数の画素の画素値に基づいて補間された画素である。よって、本発明をその補間に利用することが可能である。
例えば図５では、補間ライン２２１の上下のラインは実ラインだが、水平方向への拡大をともなう拡大処理では、すべての画素が実画素であるような水平方向のラインは存在しない。よって、対象画素の上隣と下隣の画素がいずれも実画素ではないかもしれない。この場合、例えば、図５で定義した局所相関値ｃ（ｘ）を計算することはできない。つまり、拡大処理に本発明を適用する場合は、実画素の分布に応じて適宜、各種空間相関値や時間相関値の定義を変える必要がある。
例えば、対象画素の位置を（ｘ，ｙ）と仮定し、（ｘ−１，ｙ−ｎ）、（ｘ＋１，ｙ＋ｎ）、（ｘ＋１，ｙ−ｎ）、（ｘ−１，ｙ＋ｎ）にそれぞれ実画素Ｐ１〜Ｐ４が存在すると仮定する。ｎが大きいほど、画素Ｐ１とＰ２を結ぶ方向、および画素Ｐ３とＰ４を結ぶ方向は垂直方向に近い。よって、それらの方向に対応する局所相関により、ｃ方向の局所相関を近似して、例えば式（１５）のかわりに式（１３３）によって局所相関値ｃ（ｘ）を計算してもよい。
c(x)=(|p(i, x-1, y-n)-p(i, x+1, y+n)|+
|p(i, x+1, y-n)-p(i, x-1, y+n)|)/2 (133)
ただし、ｎがあまり大きいと、画素Ｐ１〜Ｐ４と対象画素が離れすぎてしまう。よって、実験により適切なｎの値の範囲を定めることが望ましい。
以上説明したことを概観すれば本発明は以下のような構成を備えるものである。
（付記１）
入力画像に存在せず、一直線上に位置する複数の画素のそれぞれの画素値を補間するための補間方法をコンピュータに決定させる画素値の補間方法決定プログラムであって、
指定された選択順序方向にしたがって順番に、前記複数の画素のうちの一つの画素を、前記補間方法を決定すべき対象画素として選択する対象画素選択ステップと、
指定された複数の相関計算方向のそれぞれについて、前記対象画素から該相関計算方向にある第一の画素の画素値と、該対象画素から該相関計算方向の逆方向にある第二の画素の画素値とに基づいて、前記相関計算方向に対応する局所相関値を計算する局所相関値計算ステップと、
前記複数の画素のうち前記選択順序方向にしたがった順番が先頭の画素である先頭画素に対して与えられる値に基づいて、該先頭画素から前記選択順序方向にしたがって逐次的に前記複数の画素のそれぞれに対して計算される相関値である累積相関値を、前記対象画素に対し、前記複数の相関計算方向のそれぞれについて、該相関計算方向に対応する前記局所相関値と、前記対象画素を選択する直前の前記選択ステップで選択した他の画素についての前記累積相関値とに基づいて計算する累積相関値計算ステップと、
前記複数の相関計算方向のそれぞれに対応する前記累積相関値に基づいて、前記複数の相関計算方向のうちの一つを選択する方向選択ステップと、
前記方向選択ステップで選択した前記相関計算方向に対応する前記局所相関値と前記累積相関値の少なくとも一方に基づいて、前記対象画素の補間のために用いる複数の画素を決定する補間用画素決定ステップと、
をコンピュータに実行させることを特徴とする画素値の補間方法決定プログラム。
（付記２）
前記対象画素と一つの前記相関計算方向の組み合わせに対応する前記第一の画素と前記第二の画素の個数は双方ともＮ≧１なるＮ個であり、
互いに対応する該第一の画素および該第二の画素は、前記対象画素からの距離が等しい位置にある、
ことを特徴とする付記１に記載の画素値の補間方法決定プログラム。
（付記３）
前記複数の相関計算方向の各々には、前記複数の相関計算方向のうち当該相関計算方向と近い一つ以上の相関計算方向および当該相関計算方向自体が関連方向として対応づけられており、
前記累積相関値計算ステップでは、前記相関計算方向の前記関連方向の各々に対応して前記他の画素について計算された複数の前記累積相関値に基づいて、前記対象画素についての前記相関計算方向に対応する前記累積相関値が計算される、
ことを特徴とする付記１に記載の画素値の補間方法決定プログラム。
（付記４）
前記累積相関値計算ステップでは、前記関連方向の各々に対応する複数の前記累積相関値のうち、最も相関が高い前記累積相関値が選択され、選択された該累積相関値と前記局所相関値とから、前記対象画素に対する前記累積相関値が計算される、
ことを特徴とする付記３に記載の画素値の補間方法決定プログラム。
（付記５）
前記方向選択ステップでは、複数の前記累積相関値のうち最も相関が高いことを示す前記累積相関値に対応する前記相関計算方向が選択される、
ことを特徴とする付記１に記載の画素値の補間方法決定プログラム。
（付記６）
前記選択順序方向が前記入力画像の水平方向または垂直方向であって、
前記相関計算方向の一つは前記選択順序方向と直角である、
ことを特徴とする付記１に記載の画素値の補間方法決定プログラム。
（付記７）
前記補間用画素決定ステップの決定は、さらに、前記選択順序方向と直角な前記相関値計算方向に対応する前記局所相関値にも基づく、
ことを特徴とする付記６に記載の画素値の補間方法決定プログラム。
（付記８）
前記入力画像がインターレース形式の動画のフィールド画像であり、
前記選択順序方向は、該フィールド画像に存在しないラインに沿った方向である、
ことを特徴とする付記１に記載の画素値の補間方法決定プログラム。
（付記９）
前記入力画像であって補間方法を決定する対象である対象フィールド画像の直前と直後の時刻にそれぞれ対応する先行フィールド画像および後続フィールド画像において、それぞれ前記対象画素の位置または該位置の近傍に存在する画素の画素値に基づいて第一の時間相関値を計算する第一の時間相関値計算ステップ
をさらに前記コンピュータに実行させることを特徴とする付記８に記載の画素値の補間方法決定プログラム。
（付記１０）
前記対象画素または該対象画素の近傍が静止しているか動いているかを前記第一の時間相関値に基づいて判定する静動判定ステップをさらに前記コンピュータに実行させることを特徴とする付記９に記載の画素値の補間方法決定プログラム。
（付記１１）
前記静動判定ステップで静止と判定された場合に、前記先行フィールド画像または前記後続フィールド画像において前記対象画素と同じ位置にある画素を、前記対象画素の補間に用いる画素として決定するフィールド間補間用画素決定ステップをさらに前記コンピュータに実行させることを特徴とする付記１０に記載の画素値の補間方法決定プログラム。（付記１２）
前記静動判定ステップで動いていると判定された場合に、前記方向選択ステップおよび前記補間用画素決定ステップによって、前記対象画素の補間に用いる前記複数の画素が決定されることを特徴とする付記１０に記載の画素値の補間方法決定プログラム。
（付記１３）
前記補間用画素決定ステップによって前記対象フィールド画像内の複数の画素を決定し、決定した該複数の画素の画素値に基づいてフィールド内補間値を計算するフィールド内補間値計算ステップと、
前記先行フィールド画像において前記対象画素と同じ位置にある画素と、前記後続フィールド画像において前記対象画素と同じ位置にある画素の少なくとも一方の画素値に基づいてフィールド間補間値を計算するフィールド間補間値計算ステップと、
前記フィールド内補間値および前記フィールド間補間値に基づいて前記対象画素に割り当てるべき混合補間値を計算する混合補間値計算ステップと、
をさらに前記コンピュータに実行させることを特徴とする付記９に記載の画素値の補間方法決定プログラム。
（付記１４）
前記混合補間値計算ステップは、
第一の重み係数と第二の重み係数を計算する重み係数計算ステップと、
前記フィールド内補間値と前記第一の重み係数の積と、前記フィールド間補間値と前記第二の重み係数の積との和を、前記混合補間値として計算する重み付け和計算ステップと、
を含むことを特徴とする付記１３に記載の画素値の補間方法決定プログラム。
（付記１５）
前記対象フィールド画像において前記近傍内に存在する近傍画素の画素値と、前記先行フィールド画像において前記近傍画素と同じ位置にあって補間済みの補間済み画素の画素値とに基づいて、第二の時間相関値を計算する第二の時間相関値計算ステップを前記補間方法決定プログラムがさらに前記コンピュータに実行させる、
ことを特徴とする付記１３に記載の画素値の補間方法決定プログラム。
（付記１６）
前記複数の相関計算方向のそれぞれについて、該相関計算方向に対応する複数の前記近傍画素の前記位置が定められ、
前記第二の時間相関値計算ステップでは、前記方向選択ステップで選択された前記相関計算方向に対応する前記第二の時間相関値が計算される、
ことを特徴とする付記１５に記載の画素値の補間方法決定プログラム。
（付記１７）
前記複数の相関計算方向のそれぞれについて、前記対象フィールド画像において該相関計算方向に対応する複数の画素の位置が定められ、
該複数の画素は、前記対象フィールド画像に存在する画素と、前記対象フィールド画像に存在しない画素のうち以前の前記対象画素選択ステップで選択され画素値が補間された画素の双方を含み、
前記複数の画素の前記画素値に基づいて空間相関値を計算する空間相関値ステップを前記補間方法決定プログラムがさらに前記コンピュータに実行させる、
ことを特徴とする付記１３に記載の画素値の補間方法決定プログラム。
（付記１８）
前記入力画像が、拡大すべき画像であり、
前記入力画像に存在せず、拡大された画像に補われるべき複数の画素が、前記対象画素選択ステップにおいて順に選択される、
ことを特徴とする付記１に記載の画素値の補間方法決定プログラム。
（付記１９）
入力画像に存在せず、一直線上に位置する複数の画素のそれぞれの画素値を補間するための補間方法を決定する画素値の補間方法決定装置であって、
指定された選択順序方向にしたがって順番に、前記複数の画素のうちの一つの画素を、前記補間方法を決定すべき対象画素として選択する対象画素選択手段と、
指定された複数の相関計算方向のそれぞれについて、前記対象画素から該相関計算方向
にある第一の画素の画素値と、該対象画素から該相関計算方向の逆方向にある第二の画素の画素値とに基づいて、前記相関計算方向に対応する局所相関値を計算する局所相関値計算手段と、
前記複数の画素のうち前記選択順序方向にしたがった順番が先頭の画素である先頭画素に対して与えられる値に基づいて、該先頭画素から前記選択順序方向にしたがって逐次的に前記複数の画素のそれぞれに対して計算される相関値である累積相関値を格納する格納手段と、
前記複数の相関計算方向のそれぞれについて、該相関計算方向に対応する前記局所相関値と、前記格納手段に格納されている、前記対象画素を選択する直前に選択した他の画素についての前記累積相関値とに基づいて、前記対象画素についての該相関計算方向に対応する前記累積相関値を計算し、前記格納手段に格納する累積相関値計算手段と、
前記複数の相関計算方向のそれぞれに対応する前記累積相関値に基づいて、前記複数の相関計算方向のうちの一つを選択する方向選択手段と、
前記方向選択手段が選択した前記相関計算方向に対応する前記局所相関値と前記累積相関値の少なくとも一方に基づいて、前記対象画素の補間のために用いる複数の画素を決定する補間用画素決定手段と、
を備える画素値の補間方法決定装置。
（付記２０）
入力画像に存在せず、一直線上に位置する複数の画素のそれぞれの画素値を補間するための補間方法をコンピュータが決定する画素値の補間方法決定方法であって、
指定された選択順序方向にしたがって順番に、前記複数の画素のうちの一つの画素を、前記補間方法を決定すべき対象画素として選択する対象画素選択ステップと、
指定された複数の相関計算方向のそれぞれについて、前記対象画素から該相関計算方向にある第一の画素の画素値と、該対象画素から該相関計算方向の逆方向にある第二の画素の画素値とに基づいて、前記相関計算方向に対応する局所相関値を計算する局所相関値計算ステップと、
前記複数の画素のうち前記選択順序方向にしたがった順番が先頭の画素である先頭画素に対して与えられる値に基づいて、該先頭画素から前記選択順序方向にしたがって逐次的に前記複数の画素のそれぞれに対して計算される相関値である累積相関値を、前記対象画素に対し、前記複数の相関計算方向のそれぞれについて、該相関計算方向に対応する前記局所相関値と、前記対象画素を選択する直前の前記選択ステップで選択した他の画素についての前記累積相関値とに基づいて計算する累積相関値計算ステップと、
前記複数の相関計算方向のそれぞれに対応する前記累積相関値に基づいて、前記複数の相関計算方向のうちの一つを選択する方向選択ステップと、
前記方向選択ステップで選択した前記相関計算方向に対応する前記局所相関値と前記累積相関値の少なくとも一方に基づいて、前記対象画素の補間のために用いる複数の画素を決定する補間用画素決定ステップと、
を備えることを特徴とする画素値の補間方法決定方法。
本発明の原理を示す機能ブロック構成図である。 本発明の原理を示すフローチャートである。 第一の実施形態における画素値補間装置の機能ブロック構成図である。 第一の実施形態における補間処理のフローチャートである。 第一の実施形態における局所相関値を説明する図である。 第一の実施形態における累積相関値の計算の具体例を説明する図である。 第一の実施形態における局所相関値と累積相関値の計算のフローチャートである。 第一の実施形態におけるフィールド内補間のフローチャートである。 フィールド内補間による画素値の計算を説明する図である。 フィールド内補間方向の決定例を表す図である。 局所相関値によりフィールド内補間用画素を決定し補間を行う従来例を説明する図である。 第一の実施形態において累積相関値によりフィールド内補間用画素を決定し補間を行う例を説明する図である。 補間誤りが連鎖してしまう従来の補間方法の例である。 図１３と同じ画像を第一の実施形態を変形した補間方法決定処理により処理した場合の図である。 第二の実施形態における画素値補間装置の機能ブロック構成図である。 第二の実施形態における補間処理のフローチャートである。 第二の実施形態における補間済み画素を考慮した空間相関値ｒｅｌ＿ｓｋｅｗの計算法を説明する図である。 補間済み画素を考慮する利点を説明する図である。 第二の実施形態における時間相関値ｒｅｌ＿ｘｔ、ｒｅｌ＿ｙｔを説明する図である。 縦線が速く動く画像における時間相関値ｒｅｌ＿ｘｔ、ｒｅｌ＿ｙｔの特徴を説明する図である。 第二の実施形態における時間相関値ｒｅｌ＿ｙｔ２を説明する図である。 第二の実施形態における時間相関値ｒｅｌ＿ｙｔ２を説明する図である。 斜め線が速く動く画像における時間相関値ｒｅｌ＿ｘｔ、ｒｅｌ＿ｙｔ２の特徴を説明する図である。 第二の実施形態における混合補間のフローチャートである。 時間相関値および空間相関値と重み係数ｗ＿ｔ、ｗ＿ｓとの関係を表す図である。 本発明のプログラムを実行するコンピュータのブロック図である。 従来の補間方法によりジャギーが発生することを説明する図である。 特許文献１に記載の補間方法を説明する図である。 特許文献２に記載の補間方法を説明する図である。 特許文献３に記載の補間方法を説明する図である。 特許文献４に記載の補間方法を説明する図である。 補間方向を誤りやすい画像の例である。
符号の説明
ｕ０〜ｕ４、ｕ、ｕ’、ｄ０〜ｄ４、ｄ、ｄ’、ｍ０、ｍ１ 画素
Ａ 中心画素領域
Ａ１１〜Ａ１３、Ａ１５〜Ａ１７、Ａ３１〜Ａ３４ 破線矢印
Ａ１４、Ａ１８、Ａ３５ 実線矢印
Ａ２１〜Ａ２６ 太矢印
Ｂ１、Ｂ２ 周辺画素領域
Ｆｉ−１ 先行フィールド画像
Ｆｉ 対象フィールド画像
Ｆｉ＋１ 後続フィールド画像
Ｇｉ−１、Ｇｉ、Ｇｉ’ 補間済みフィールド画像
Ｈ 横線
Ｉ インターレース画像
Ｌ 直線
Ｐ 元画像Ｐ
Ｒ１〜Ｒ４ 参照画素
Ｔ、Ｔ１、Ｔ２ 対象画素
１００ 補間方法決定装置
１０１ 格納部
１０２ 対象画素選択部
１０３ 局所相関値計算部
１０４ 累積相関値計算部
１０５ 方向選択部
１０６ 補間用画素決定部
２００ 画素値補間装置
２０１ 格納部
２０２ 対象画素選択部
２０３ 相関値計算部
２０４ 局所相関値計算部
２０５ 累積相関値計算部
２０６ 静動判定部
２０７ フィールド内補間部
２０８ 方向選択部
２０９ フィールド内補間用画素決定部
２１０ フィールド内補間画素値計算部
２１１ フィールド間補間部
２１２ フィールド間補間用画素決定部
２１３ フィールド間補間画素値計算部
２２０ 上実ライン
２２１ 補間ライン
２２２ 下実ライン
２３０〜２３９ 計算説明図
２４０ 局所相関値一覧表
２４１、２４３、２４５、２４７ フィールド内補間方向の説明図
２４２、２４６ 累積相関値一覧表
２４４ 注目部分
３００ 画素値補間装置
３０１ 第一空間相関値計算部
３０２ 混合補間部
３０３ 第二空間相関値計算部
３０４ 時間相関値計算部
３０５ 重み係数計算部
３０６ 混合補間画素値計算部
３１０、３１１ 模式図
４０１ ＣＰＵ
４０２ ＲＯＭ
４０３ ＲＡＭ
４０４ 通信インターフェイス
４０５ 入力装置
４０６ 出力装置
４０７ 記憶装置
４０８ 駆動装置
４０９ バス
４１０ 可搬型記憶媒体
４１１ ネットワーク
４１２ プログラム提供者
４１３ 画像提供者

Claims (7)

  1. 入力画像に存在せず、一直線上に位置する複数の画素のそれぞれの画素値を補間するための補間方法をコンピュータに決定させる画素値の補間方法決定プログラムであって、
    指定された選択順序方向にしたがって順番に、前記複数の画素のうちの一つの画素を、前記補間方法を決定すべき対象画素として選択する対象画素選択ステップと、
    指定された複数の相関計算方向のそれぞれについて、前記対象画素から該相関計算方向にある第一の画素の画素値と、該対象画素から該相関計算方向の逆方向にある第二の画素の画素値とに基づいて、前記相関計算方向に対応する局所相関値を計算する局所相関値計算ステップと、
    前記複数の画素のうち前記選択順序方向にしたがった順番が先頭の画素である先頭画素に対して与えられる値に基づいて、該先頭画素から前記選択順序方向にしたがって逐次的に前記複数の画素のそれぞれに対して計算される相関値である累積相関値を、前記対象画素に対し、前記複数の相関計算方向のそれぞれについて、該相関計算方向に対応する前記局所相関値と、前記対象画素を選択する直前の前記選択ステップで選択した他の画素についての前記累積相関値とに基づいて計算する累積相関値計算ステップと、
    前記複数の相関計算方向のそれぞれに対応する前記累積相関値に基づいて、前記複数の相関計算方向のうちの一つを選択する方向選択ステップと、
    前記方向選択ステップで選択した前記相関計算方向に対応する前記局所相関値と前記累積相関値の少なくとも一方に基づいて、前記対象画素の補間のために用いる複数の画素を決定する補間用画素決定ステップと、
    をコンピュータに実行させることを特徴とする画素値の補間方法決定プログラム。
  2. 前記入力画像がインターレース形式の動画のフィールド画像であり、
    前記選択順序方向は、該フィールド画像に存在しないラインに沿った方向である、
    ことを特徴とする請求項１に記載の画素値の補間方法決定プログラム。
  3. 前記入力画像であって補間方法を決定する対象である対象フィールド画像の直前と直後の時刻にそれぞれ対応する先行フィールド画像および後続フィールド画像において、それぞれ前記対象画素の位置または該位置の近傍に存在する画素の画素値に基づいて第一の時間相関値を計算する第一の時間相関値計算ステップ
    をさらに前記コンピュータに実行させることを特徴とする請求項２に記載の画素値の補間方法決定プログラム。
  4. 前記補間用画素決定ステップによって前記対象フィールド画像内の複数の画素を決定し、決定した該複数の画素の画素値に基づいてフィールド内補間値を計算するフィールド内補間値計算ステップと、
    前記先行フィールド画像において前記対象画素と同じ位置にある画素と、前記後続フィールド画像において前記対象画素と同じ位置にある画素の少なくとも一方の画素値に基づいてフィールド間補間値を計算するフィールド間補間値計算ステップと、
    前記フィールド内補間値および前記フィールド間補間値に基づいて前記対象画素に割り当てるべき混合補間値を計算する混合補間値計算ステップと、
    をさらに前記コンピュータに実行させることを特徴とする請求項３に記載の画素値の補間方法決定プログラム。
  5. 前記対象フィールド画像において前記近傍内に存在する近傍画素の画素値と、前記先行フィールド画像において前記近傍画素と同じ位置にあって補間済みの補間済み画素の画素値とに基づいて、第二の時間相関値を計算する第二の時間相関値計算ステップを前記補間方法決定プログラムがさらに前記コンピュータに実行させる、
    ことを特徴とする請求項４に記載の画素値の補間方法決定プログラム。
  6. 入力画像に存在せず、一直線上に位置する複数の画素のそれぞれの画素値を補間するための補間方法を決定する画素値の補間方法決定装置であって、
    指定された選択順序方向にしたがって順番に、前記複数の画素のうちの一つの画素を、前記補間方法を決定すべき対象画素として選択する対象画素選択手段と、
    指定された複数の相関計算方向のそれぞれについて、前記対象画素から該相関計算方向にある第一の画素の画素値と、該対象画素から該相関計算方向の逆方向にある第二の画素の画素値とに基づいて、前記相関計算方向に対応する局所相関値を計算する局所相関値計算手段と、
    前記複数の画素のうち前記選択順序方向にしたがった順番が先頭の画素である先頭画素に対して与えられる値に基づいて、該先頭画素から前記選択順序方向にしたがって逐次的に前記複数の画素のそれぞれに対して計算される相関値である累積相関値を格納する格納手段と、
    前記複数の相関計算方向のそれぞれについて、該相関計算方向に対応する前記局所相関値と、前記格納手段に格納されている、前記対象画素を選択する直前に選択した他の画素についての前記累積相関値とに基づいて、前記対象画素についての該相関計算方向に対応する前記累積相関値を計算し、前記格納手段に格納する累積相関値計算手段と、
    前記複数の相関計算方向のそれぞれに対応する前記累積相関値に基づいて、前記複数の相関計算方向のうちの一つを選択する方向選択手段と、
    前記方向選択手段が選択した前記相関計算方向に対応する前記局所相関値と前記累積相関値の少なくとも一方に基づいて、前記対象画素の補間のために用いる複数の画素を決定する補間用画素決定手段と、
    を備える画素値の補間方法決定装置。
  7. 入力画像に存在せず、一直線上に位置する複数の画素のそれぞれの画素値を補間するための補間方法をコンピュータが決定する画素値の補間方法決定方法であって、
    指定された選択順序方向にしたがって順番に、前記複数の画素のうちの一つの画素を、前記補間方法を決定すべき対象画素として選択する対象画素選択ステップと、
    指定された複数の相関計算方向のそれぞれについて、前記対象画素から該相関計算方向にある第一の画素の画素値と、該対象画素から該相関計算方向の逆方向にある第二の画素の画素値とに基づいて、前記相関計算方向に対応する局所相関値を計算する局所相関値計算ステップと、
    前記複数の画素のうち前記選択順序方向にしたがった順番が先頭の画素である先頭画素に対して与えられる値に基づいて、該先頭画素から前記選択順序方向にしたがって逐次的に前記複数の画素のそれぞれに対して計算される相関値である累積相関値を、前記対象画素に対し、前記複数の相関計算方向のそれぞれについて、該相関計算方向に対応する前記局所相関値と、前記対象画素を選択する直前の前記選択ステップで選択した他の画素についての前記累積相関値とに基づいて計算する累積相関値計算ステップと、
    前記複数の相関計算方向のそれぞれに対応する前記累積相関値に基づいて、前記複数の相関計算方向のうちの一つを選択する方向選択ステップと、
    前記方向選択ステップで選択した前記相関計算方向に対応する前記局所相関値と前記累積相関値の少なくとも一方に基づいて、前記対象画素の補間のために用いる複数の画素を決定する補間用画素決定ステップと、
    を備えることを特徴とする画素値の補間方法決定方法。
JP2006350705A 2006-12-26 2006-12-26 補間方法を決定するプログラム、装置、および方法 Expired - Fee Related JP4795929B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006350705A JP4795929B2 (ja) 2006-12-26 2006-12-26 補間方法を決定するプログラム、装置、および方法
US11/964,570 US8290308B2 (en) 2006-12-26 2007-12-26 Program, apparatus and method for determining interpolation method
CN2007103011756A CN101237553B (zh) 2006-12-26 2007-12-26 确定插值方法的程序、装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006350705A JP4795929B2 (ja) 2006-12-26 2006-12-26 補間方法を決定するプログラム、装置、および方法

Publications (2)

Publication Number Publication Date
JP2008166872A JP2008166872A (ja) 2008-07-17
JP4795929B2 true JP4795929B2 (ja) 2011-10-19

Family

ID=39617850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006350705A Expired - Fee Related JP4795929B2 (ja) 2006-12-26 2006-12-26 補間方法を決定するプログラム、装置、および方法

Country Status (3)

Country Link
US (1) US8290308B2 (ja)
JP (1) JP4795929B2 (ja)
CN (1) CN101237553B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7865041B1 (en) * 2001-08-09 2011-01-04 Pixelworks, Inc. Artifacts measurement on video decomposable properties by dynamic fuzzy reasoning
US20080110624A1 (en) * 2005-07-15 2008-05-15 Halliburton Energy Services, Inc. Methods for controlling water and particulate production in subterranean wells
WO2010126783A2 (en) * 2009-04-30 2010-11-04 Roman Gitlin Method and apparatus for streamlined implementation of interpolation in multiple dimensions
GB2484071B (en) * 2010-09-23 2013-06-12 Imagination Tech Ltd De-interlacing of video data
TW201216718A (en) * 2010-10-04 2012-04-16 Novatek Microelectronics Corp Image processing apparatus and image processing method
TWI429277B (zh) * 2011-01-31 2014-03-01 Novatek Microelectronics Corp 動態適應性解交錯裝置及方法
JP2012234507A (ja) 2011-04-20 2012-11-29 Sony Corp 画像処理装置および方法、並びにプログラム
US8774508B2 (en) * 2012-02-27 2014-07-08 Denso It Laboratory, Inc. Local feature amount calculating device, method of calculating local feature amount, corresponding point searching apparatus, and method of searching corresponding point
KR101473428B1 (ko) 2012-07-03 2015-01-16 삼성테크윈 주식회사 영상 정합 방법
KR101871945B1 (ko) * 2013-01-17 2018-08-02 한화에어로스페이스 주식회사 영상 처리 장치 및 방법
US10593007B1 (en) 2015-06-11 2020-03-17 Digimarc Corporation Methods and arrangements for configuring industrial inspection systems
CN106604001B (zh) * 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231460B (en) * 1989-05-04 1993-06-30 Sony Corp Spatial interpolation of digital video signals
GB9422018D0 (en) * 1994-10-31 1994-12-21 Vistek Electronics An improved method of estimating motion in a video signal
US6421090B1 (en) * 1999-08-27 2002-07-16 Trident Microsystems, Inc. Motion and edge adaptive deinterlacing
JP4108969B2 (ja) * 2000-12-14 2008-06-25 松下電器産業株式会社 画像角度検出装置およびそれを備えた走査線補間装置
US7171059B1 (en) * 2002-05-23 2007-01-30 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
JP2003143555A (ja) * 2001-11-02 2003-05-16 Matsushita Electric Ind Co Ltd テレビジョン受信機
JP2003230109A (ja) * 2002-02-05 2003-08-15 Mitsubishi Electric Corp 走査線補間方法ならびに走査線変換装置および画像表示装置
US7154556B1 (en) * 2002-03-21 2006-12-26 Pixelworks, Inc. Weighted absolute difference based deinterlace method and apparatus
US7218354B2 (en) * 2002-08-19 2007-05-15 Sony Corporation Image processing device and method, video display device, and recorded information reproduction device
KR100505663B1 (ko) * 2003-01-02 2005-08-03 삼성전자주식회사 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법
JP2004304504A (ja) * 2003-03-31 2004-10-28 Sanyo Electric Co Ltd 画像処理方法、相関方向決定方法、補間方向決定方法
JP4190462B2 (ja) 2004-05-28 2008-12-03 シャープ株式会社 画素補間方向検出装置、画素補間装置、及び映像信号処理装置
JP2006060375A (ja) * 2004-08-18 2006-03-02 Victor Co Of Japan Ltd 順次走査変換装置
US7567294B2 (en) * 2005-03-28 2009-07-28 Intel Corporation Gradient adaptive video de-interlacing

Also Published As

Publication number Publication date
US20080170808A1 (en) 2008-07-17
JP2008166872A (ja) 2008-07-17
CN101237553A (zh) 2008-08-06
US8290308B2 (en) 2012-10-16
CN101237553B (zh) 2011-11-23

Similar Documents

Publication Publication Date Title
JP4795929B2 (ja) 補間方法を決定するプログラム、装置、および方法
US7483040B2 (en) Information processing apparatus, information processing method, recording medium, and program
US8224126B2 (en) Motion compensated temporal interpolation for frame rate conversion of video signals
JP5263565B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US8400370B2 (en) Multiple image display device and image display device
JP4359223B2 (ja) 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置
CN101855912A (zh) 用于图像变换过程的自适应滤波
CN101473346A (zh) 鲁棒的超分辨率视频缩放的方法及装置
JP5743615B2 (ja) 画像処理方法、画像処理装置、集積回路およびプログラム
EP2911382B1 (en) Image processing device and image processing method
JP4524104B2 (ja) 映像の再現品質の向上装置及びその方法
US7548663B2 (en) Intra-field interpolation method and apparatus
US20100039517A1 (en) Film cadence detection
US8218075B2 (en) Method and system for efficient de-interlacing
WO2007051997A1 (en) Scan convertion image filtering
JP4358055B2 (ja) 補間画素生成回路
JP4472597B2 (ja) 画像データ変換方法、その装置及びそのプログラム
KR101235488B1 (ko) 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법
JP2008228251A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2010157877A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP3944524B1 (ja) 画像処理システム
US8494292B2 (en) Image processing apparatus
JP2001094951A (ja) 走査線補間方法
US20050008255A1 (en) Image generation of high quality image from low quality images
JP2004236012A (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110726

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110728

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees