JP2009042482A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】動画像データをより高いフレームレートに変換する画像変換技術を提供する。
【解決手段】入力した１フレームの画像データから、ＬＰＦ１により低周波画像データを生成し、減算器２、加算器３を用いて高周波強調画像データを生成する。入力した着目フレームの低周波画像データはＳｉｚｅＤｏｗｎ部１１にて縮小する。動き検出動き適用部１３は、着目フレームの縮小画像データと、次のフレームの縮小画像データから動き検出、動き適用を行ない、時間的にその中間に位置する縮小画像データを生成する。生成した縮小画像データを、縮小前のサイズにまでＳｉｚｅＵｐ部１４で拡大する。この拡大した画像データをＬＰＦ１５がフィルタ処理し、その結果を、出力用の低周波画像データとして出力する。スイッチ５は、入力フレームのフレームレートの２倍の速度で、高周波強調画像データと、出力用の低周波画像データを交互に出力する。
【選択図】図１

Description

本発明は、動画像データをフレームレートをより高いレートに変換する画像変換技術に関するものである。

従来、テレビジョン等の動画表示装置といえば、ＣＲＴがその代名詞とも言えるものであったが、近年では、所謂、液晶ディスプレイ、プラズマディスプレイ、ＦＥＤディスプレイなどが実用化され、様々なタイプのディスプレイが混在する状況となった。

それぞれのタイプは、表示方法が異なる。例えば、液晶デバイスに基づく表示装置（直視型液晶表示装置、液晶リアプロジェクター、液晶フロントプロジェクター等）におけるスキャンの方法は幾つもある。しかし、何れの場合も、夫々の画素部分ごとに光が出力される期間は、１フレームの表示期間の大半を占める。それ故、このような表示装置はホールド型表示装置と言われる。

一方、例えばＣＲＴやＦＥＤなどにおいては、夫々の画素部分ごとに光が出力されるのは、１フレーム中一回でかつ発光時間はフレームの長さに比べて十分短く、通常はおよそ２ｍｓｅｃ以内である。それ故、これらの表示装置はインパルス型表示装置と言われる。

さらには、所謂プラズマディスプレイ、フィールドシーケンシャルディスプレイなど前記の分類とは異なるタイプの表示装置もある。

夫々のタイプの表示方法は、次に示すような特徴をもっている。

（１）ホールド型表示装置
このタイプの表示装置は、フレーム時間内のほとんどの時間において発光する。そのため光強度の時間的偏りが少ない。このためフリッカーがほとんど観測されない。また、追従視（動画像において、動く部分を視線で追いかける見方）を行うと、フレーム内で発光期間の長さに応じて動きぼけが相対的に大きく観測される。なお、ここで言う「動きぼけ」は、表示デバイスの応答特性に起因するものとは異なるものである。

（２）インパルス型表示装置
このタイプの表示装置は、フレーム期間内で発光する時間が非常に短いので、光強度の時間的偏りが大きい。このためフレームに同期したフリッカーが観測される。しかし、追従視における動きぼけは、ほとんど観測されず、静止している部分とあまり差の無い解像度が得られる。

一般に表示装置における発光の期間は表示方式、表示デバイスごとに異なり上記（１）、（２）は発光期間の長い短いで両極端に位置付けられる。また、それぞれの方式における発光期間（前記ホールド時間に相当）が長いほど、追従視における動きぼけは大きく、発光期間が短いほどに動きぼけは少ない。つまり、発光期間と動きぼけの大きさは概ね比例する。一方、フレームに同期したフリッカーに関しては前記発光期間が長いほど小さく、発光期間が短いほど大きく観測されるものである。すなわちこの両者の要因は、トレードオフの関係にあると言える。

これら２つの課題を同時に解決する方法が、フレーム周波数をＮ倍化することである。実際には多くの場合、Ｎ＝２すなわち倍速化である。フレーム周波数を倍速化することにより、それぞれの倍速フレームにおける発光時間は半分になる。従って動きぼけも約半分になる。一方、フリッカーに関しても例えばもとのフレーム周波数が仮に６０Ｈｚの場合、倍速化して１２０Ｈｚにすることにより、フリッカーの周波数を人間の目の応答特性の範囲外に追いやることができフリッカーは観測されない。

このようにフレーム周波数の倍速化（一般化するとＮ倍化）の効果は大きいのであるが、新たな問題がある。

例えば、もとの画像信号のフレーム周波数が６０Ｈｚの場合、画像の情報は１／６０秒単位に画像が更新される。従って、これを倍速化して１２０Ｈｚの表示を行う場合、必要とする画像の情報が一枚おきに欠落した状態となる。その対策としてまず考えられるのは、例えば倍速であれば同一の画像を２回ずつ表示することである。しかしながら、これではフリッカーは解決できるが、動きぼけに関してはもとの画像と同じである。また、インパルス型の場合は追従視にともなって２重の画像が見えてしまう（以下、この現象を「２重ぼけ」という）。

フレーム周波数を倍速化する方法は主なものとして二つある。

第１の方法は、もとの画像のオブジェクトの動きを検出して２つのフレーム間の画像を推定算出する方法である。一般に動き補償による中間画像作成方法などと言われる。この第１の方法は、特許文献１、２等に開示されている。

第２の方法は、先ず、入力画像に対してフレーム毎にフィルタ処理を行い、動きぼけに大きく関与する空間周波数の高周波成分と、フリッカーに大きく関与する低域周波数成分を分離する。そして、前記高周波成分を一方のサブフレーム（元のフレームに対応する２つの倍速フレームの一方）に集中させ、低周波成分を両方のサブフレーム（元のフレームに対応する２つの倍速フレームの両方）に分配して表示する方法である。

本明細書においては、この第２の方法を「画像を空間周波数で分離してサブフレームに分配して表示する方式」と表現する。

この「画像を空間周波数で分離してサブフレームに分配して表示する方式」としては、特許文献３、４、５として知られている。
特開２００４−１５９２９４号公報 特開２００４−２９７７１９号公報 特開平６−７０２８８号公報 特開２００２−３５１３８２号公報 ＵＳ２００６／０２２７２４９Ａ１

しかしながら、上記の第１、第２の方法には、以下のような問題がある。

先ず、第１の方法であるが、これには２つの課題がある。１つは、動き検出の結果としてのベクトル算出を間違えることがあり、それを修復する手段が無い点である（以下、課題１−１）。もう１つは、画像のサイズに伴って計算量が膨大になる点（以下、課題１−２）である。

一方、第二の方法にも２つの課題がある。１つは、第１サブフレームで表示される画像と第２サブフレームで表示される画像が互いの表示時間差を正しく反映していないため、これにより追従視画像に歪が生ずる点である（課題２−１）。また、２つ目は、一方のサブフレームの画像の一部の成分（実際には空間的高周波成分）を他方のサブフレームに移動させることに起因する問題である。すなわち、この場合、サブフレームが飽和しやすくなり、その結果、実効的なダイナミックレンジが表示装置本来のダイナミックレンジより小さくなるという事である（課題２−２）。

発明は係る問題に鑑みなされたものであり、簡単な構成により、少なくとも上記の各課題を解決する技術を提供しようとするものである。

かかる課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
単位時間当たりｍ個のフレームの動画像データを入力し、単位時間当たり２ｍ個のフレームの動画像データとして出力する画像処理装置であって、
フレームごとに画像データを入力する入力手段と、
前記入力手段で入力した画像データから、少なくとも高周波強調画像データを生成するフィルタ手段と、
前記入力した現フレームと、一つ前に入力したフレームとの間の動きを検出し前記入力した現フレームと、一つ前のフレームの時間的に中間に位置する動き補償した低周波成分画像データを生成するフレーム間補間手段と、
前記一つ前に入力したフレームの前記高周波強調画像データと、前記フレーム間補間手段で作成された低周波成分画像データのそれぞれを２倍速のフレームとして出力する出力手段とを備える。

本発明によれば、簡単な処理で、例えばホールド型表示装置では、動きぼけを小さくすることが可能であり、インパルス型表示装置においてはフリッカーを減少させることが可能となる。また、追従視におけるゴーストや尾引きなどの歪みの発生を抑制することも可能になる。更に、輝度の低下、あるいは一方のサブフレームのレベルが飽和することによる画質的な弊害が起こらないようにすることも可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

本実施形態では、先に説明した第１の方法と第２の方法を組み合わせる方法と、その組み合わせ方の条件を提案するものである。先に示した「空間周波数分離方式」において、空間的高周波成分を強調して表示するサブフレームを第１のサブフレーム、他方のサブフレームを第２サブフレームとする。本実施形態においては、第１のサブフレームにおいて表示する画像は、対応する同一フレームの入力画像から抽出された空間的高周波成分と空間的低周波成分に基づいて作成する。そして、第２のサブフレームで表示する画像は、前後あるいは前後近傍のフレームの空間的低周波成分から動きを推定して補償することにより作成した空間的低周波成分とする。

先ず、本発明の実施形態の理解を容易にするため、図５乃至図８を参照し、従来技術を説明する。

［従来例の説明］
図８は、先に示した第１の方法、すなわち、「動き補償によるフレーム補間方式」をもっとも単純化した装置構成を表している。また、図５乃至図７は、先に説明した第２の方法、すなわち、「空間周波数分離方式」に関する３つの従来の装置構成を示している。以下、図８の示す従来例（第１の方法）、また図５乃至図７が示す従来例をそれぞれ説明する。

＜第１の方法の説明＞
図８は第１の方法の装置構成を示している。この装置は、入力画像のオブジェクトの動きを検出して２つのフレーム間の画像を推定算出する処理を行なう。

図８において、例えば入力画像（着目入力フレーム）Ａ［ｉ］のフレーム周波数が６０Ｈｚであるとする。スイッチＳＷは１／１２０ごとに、交互に入力端子を切り替え、１入力フレームに対して、２つのサブフレーム（第１，第２サブフレーム）を出力する。

第１サブフレームの画像Ｓ１は入力画像と同じである。第２サブフレームの画像Ｓ２は、入力画像の前後のフレームから動き補償で求められる中間画像である。

この方法における先に説明した課題１−１は、動き検出には画像によってはなんらかの推定間違いが発生することである。また、間違った推定にもとづいて動き補償した画像が、訂正されず、そのまま画像Ｓ２として出力されてしまう。課題１−２は、動き検出自体が計算規模が大きく、動き補償も含めて、高速な演算処理と十分な高速メモリーを必要とするということである。

＜第２の方法の説明＞
図５は、先に説明した第２の方法に従って処理する装置のブロック構成図である。ここでも、入力画像は、６０Ｈｚのフレームレートであり、１フレーム入力する毎に、２つのサブフレームを生成し、出力する。このため、入力した１フレームの画像を、２つのフィールドメモリーに一時保存する。そして、スイッチＳＷ０は、１／１２０秒毎に入力を切り替える。これにより、画像のフレームレートを２倍にする。このときに一方のサブフレーム（第２サブフレーム）の生成過程に、帯域制限フィルタを配置する。そして、動き検出部の検出結果に応じて、帯域制限フィルタ処理した画像と、そのフィルタ処理無しの画像を切り替える。

その結果、前記一方のサブフレーム（図中ＳＬで表現）は相対的に高周波成分が少なくなる。また他方のサブフレーム（図中ＳＨで表現）ではサブフレームＳＬと比較して相対的に空間的高周波成分が多いこととなる。この結果、出力画像において一方のサブフレームに空間的高周波成分が局在することとなり、追従視を行ったときの動きぼけを改善することができる。また、空間的低周波成分が２つのサブフレームに分散して表示されることにより、フレーム周波数のフリッカーの発生を防止できる。

図６は、もう１つの従来の装置のブロック構成図である。同図において、入力画像のフレームレートは６０Ｈｚである。フレームコンバータは、入力したフレームの画像を倍速化し、さらにフィルタ部に出力する。フィルタ部は、空間的低周波成分データLowと空間的高周波成分データHighとを生成する。さらに高周波成分データHighに所定のゲインαを乗算する。このゲインαは、２つのサブフレームの出力タイミングに応じて、その正負の極性が変わるものである。そして、乗算器は、動き検出部が動き検出した場合にはゲインαを大きな値にし、動き検出部が動き検出しない場合にはゲインαを小さな値にする。混合回路は、第１サブフレームの出力タイミングでは、低周波成分データＬｏｗと、正のゲインαを乗算した結果を加算し、出力する。そして、混合回路は、第２サブフレームの出力タイミングでは、低周波成分データＬｏｗと、負のゲインαを乗算した結果を加算し、出力する。

このようにすることにより一方の倍速フレーム（または入力画像から見ると一方サブフレーム）SHに空間的高周波成分が局在することとなり、追従視を行ったときの動きぼけを改善することができる。また、空間的低周波成分が２つのサブフレームに分散して表示されることにより、フレーム周波数のフリッカーの発生を防止できる。

図７は、従来技術の更なる装置構成を示している。図示において、１フレームの入力画像Ａ［ｉ］にローパスフィルタ（ＬＰＦ）及び減算器を設けることで、高周波成分データＨ［ｉ］を生成し、それを入力画像データに加算することで、高周波強調画像データＳＨ［ｉ］を生成する。

スイッチＳＷ０は、１フレームの画像データを入力するごとに、２つの入力端子を切り替える。この結果、１フレーム入力する毎に、高周波強調画像データＳＨ［ｉ］と低周波画像データＳＬ［ｉ］の２つのサブフレームを生成し、出力する。なお、ここで、Ａ［ｉ］のｉはｉ番目のフレームを意味する。

このようにすることにより一方の倍速フレームに空間的高周波成分を集中させた倍速画像を出力することできる。これによって追従視を行ったときの動きぼけを改善することが出来る。また、空間的低周波成分が２つのサブフレームに分散して表示されることにより、フレーム周波数のフリッカーの発生を防止できる。

以上、第２の方法による従来技術を説明した。上記図５乃至図７の構成は、１フレームの画像データを入力する毎に、その入力したフレームの画像データから、高周波強調画像データＳＨと低周波画像データＳＬとを交互に出力するものである。入力画像のフレーム周波数が５０Ｈｚとか６０Ｈｚ程度の場合、画像ＳＨ、ＳＬは人間の網膜上では、時間積分、すなわち足し算された波形として認識される。ただし、動いているオブジェクトを追従視している場合には、これに更に、画像の動きの時間的な要因が加わる。

例えば、入力画像のフレーム周波数を６０Ｈｚとする。また入力画像ｉ番目のフレームに対応して、画像ＳＨ［ｉ］、ＳＬ［ｉ」の順に表示出力する場合を考察する。この場合、画像ＳＬ［ｉ］は、画像ＳＨ［ｉ］よりも１／１２０秒遅れて表示される。このため、移動しているオブジェクトを追従視すると画像ＳＬ［ｉ］が相対的にずれた位置に認識される。このため観測される像はオーバーシュート、ゴースト、尾引きなどの歪みを含む画像となる。図５乃至図７の構成では、オブジェクト移動方向のエッジの先頭と後端に非対称の歪みが発生する。

＜「空間周波数分離方式」における課題２−１（波形歪み）の説明＞
説明を分かりやすくするため、図７の従来技術の装置を前提に、追従視における観測波形の歪が発生する理由を、図１９乃至図２３を用いて説明する。

ここでは、入力画像のフレームレートは６０Ｈｚとする。追従視の対象となるオブジェクトの移動速度は１／６０秒あたりＶ画素、すなわち、オブジェクトの移動速度は、Ｖ[pixel /｛1/60秒｝とする。

図１９は表示のパルス幅（表示期間の時間長）と追従視波形の関係を示す図である。図１９（ａ）はもとの静止画像の断面波形である。同図（ｂ）は表示パルス幅１／６０秒、同図（ｃ）は表示パルス幅１／１２０秒、同図（ｄ）は表示パルス幅１／１２００秒の場合の断面波形である。いずれの場合も、斜めになっている部分の幅が追従視画像における動きぼけに相当する。

この斜め部分の幅は、Ｔｐ(パルス幅）×Ｖ（移動速度）となる。

動きによるボケる画像の範囲（画素数）は、 Tp[sec]×V[ pixel / (1/60sec)となる。

例えばフレームレート６０Ｈｚの画像でホールド型表示の場合、Ｔｐ＝(1/60)秒となるので、図１９（ｂ）の波形に示すように、Ｖ[pixel]に相当する範囲がボケとなって現れる。

また、フレームレート１２０Ｈｚの画像でホールド型表示の場合パルス幅は、Ｔｐ＝１／１２０となり、図１９（ｃ）の波形に示すように、ボケとなって現れる領域はＶ／２ [pixel]となる。

また、ＣＲＴなどのようなインパルス型表示装置でパルス幅が短く、例えば、Ｔｐ＝１／１２００秒の場合、図１９（ｄ）に示すように、ボケとなって現れる領域はＶ／２０[pixel]である。

ここで、確認すべきことは、動きぼけは、フレームレートで決まるわけではなく、表示のパルス幅とオブジェクトの移動速度のみで決まる点である。もちろん、ここで言う、動きぼけは表示デバイスの応答特性に起因するものとは異なるものである。

次に、図２０に元画像Ａを空間周波数で分離する場合の波形を説明する。ここで空間的ローパスフィルタの関数をＬＰＦ（ ）としたとき、入力画像Ａから抽出した空間的低周波成分データＬはＬ＝ＬＰＦ（Ａ）、空間的高周波成分データＨはＨ＝Ａ−ＬＰＦ（Ａ）となる。低周波成分データＬは画像データでもあるので、それをＳＬと表わす。一方、高周波強調画像データをＳＨと表わすと、高周波強調画像データＳＨは元画像Ａに高周波成分データＨを加算した結果であるので、ＳＨ＝Ａ＋Ｈ＝Ａ＋Ａ−ＬＰＦ（Ａ）＝２Ａ−Ｌとなる。また、高周波成分データＨと低周波成分データを加算することで、元画像を構成できるので、ＳＨ＝｛Ｈ＋Ｌ｝＋Ｈ＝２Ｈ＋Ｌと表現することもできる。

図２０（ａ）乃至（ｃ）は、共に静止画像の断面波形である。同図（ａ）は元画像の断面波形、同図（ｂ）は高周波画像ＳＨ（＝２Ｈ＋Ｌ）の断面波形を、同図（ｃ）は低周波画像ＳＬの断面波形である。同図（ｂ）の波形と同図（ｃ）の波形を足し合わせれば、同図（ａ）の波形となる。

図２１（ａ）乃至（ｃ）は、倍速ホールド型の場合の波形で、図２０（ａ）乃至（ｃ）のそれぞれの波形に表示のパルス幅（１／１２０秒のパルス幅）に相当する動きぼけを施した追従視画像波形である。いずれも、図２０の波形が左右方向にＶ／２だけ（すなわち動きぼけの分だけ）ぼけた波形となる。

図２５（ａ）乃至（ｃ）は、インパルス型の場合の波形で、図２０（ａ）乃至（ｃ）のそれぞれの波形に表示のパルス幅１／１２００秒のパルス幅に相当する動きぼけを施した追従視画像波形である。いずれも、図２０の波形が左右方向にＶ／２０だけ（すなわち動きぼけの分だけ）ぼけた波形となる。

図２２は、図７に示す構成における追従視の波形で倍速ホールド型の場合である。図７の場合、本来、入力画像の同一時間のフレームから作成された画像である高周波強調画像ＳＨ［ｉ］と低周波画像ＳＬ［ｉ］が１／１２０秒の時間差をもって表示される。すなわち、低周波画像ＳＬ[i]が、１／１２０秒だけ、高周波強調画像ＳＨ［ｉ］より遅れて表示（出力）される。このため追従視波形においては画像ＳＬ［ｉ］の波形は、画像ＳＨ［ｉ］の波形に比べて、移動方向の反対の方向にＶ／２だけずれて観測される。このようにして出来た図２２（ｂ）の画像ＳＬの追従視波形を図２２（ａ）の高周波強調画像ＳＨの追従視波形に加えると、図２２（ｃ）のような波形となる。図２２（ｃ）の波形からもわかるように画像中に、オーバーシュート、尾引き、などの歪みが生じることがわかる。特に移動方向に対して非対称な歪みである点が目立つ。

図２６は、図７に示す構成における追従視の波形でインパルス型の場合である。上記と同様に、追従視波形においては画像ＳＬ［ｉ］の波形は、画像ＳＨ［ｉ］の波形に比べて、移動方向の反対の方向にＶ／２だけずれて観測される。このようにして出来た図２６（ｂ）の画像ＳＬの追従視波形を図２６（ａ）の高周波強調画像ＳＨの追従視波形に加えると、図２６（ｃ）のような波形となる。図２６（ｃ）の波形からもわかるように画像中に、オーバーシュート、尾引き、などの歪みが生じることがわかる。特に移動方向に対して非対称な歪みである点が目立つ。

図２２、図２６を比較してわかるように、動きぼけにはパルス幅の違いは大きく影響するが、オーバーシュートや尾引きなどの歪みに関してはパルス幅の影響は比較的少ないことがわかる。

以上、従来技術の構成とその課題について説明した。

＜実施形態における前提となる装置についての説明＞
さて、本発明者は、装置構成を図９に示すようにすることで、上記課題を解決できると考えた。なお、ここで、入力する画像のフレームレートは６０Ｈｚであり、これを２倍速の１２０Ｈｚの画像に変換するものとして説明する。

ローパスフィルタ（以下、ＬＰＦ）１は、入力した１フレームの画像データＡ［ｉ］から低周波成分を通過させ、低周波成分データ（低周波画像データ）Ｌ［ｉ］を生成する。減算器２は、入力した原画像Ａ［ｉ］から低周波成分データＬ［ｉ］を減じることで、高周波成分データＨ［ｉ］を生成し、加算器３にて元画像Ａ［ｉ］に高周波成分データＨ［ｉ］を足し込む。この結果、加算器３からは、高周波強調画像データＳＨ［ｉ］（＝Ａ［ｉ］＋Ｈ［ｉ］＝Ｌ［ｉ］＋２Ｈ［ｉ］（＝２Ａ［ｉ］−Ｌ［ｉ］）が出力される。この高周強調画像データＳＨ［ｉ］は、遅延回路（ＤＬ）４（ＦＯＦＯメモリやＲＡＭで構成できる）を経ることにより、１つ前のフレームの高周波成分強調データＳＨ[ｉ−１]が呼び出され、スイッチ８に供給される。一つ前のフレームのデータを出力するのは低周波画像データのフレーム遅延にタイミングをあわせるためである。

一方、低周波成分データＬ［ｉ］は、加算器６と遅延回路５に供給される。そして、加算器６は、現フレームＡ［ｉ］から得られた低周波成分データＬ［ｉ］と、直前に入力したフレームＡ［ｉ−１］から生成した低周波成分データＬ［ｉ−１］とを加算する。そして、除算器７は、加算器６から出力されるデータを半分にする。つまり、加算器６、除算器７により、現フレームの低周波成分データＬ［ｉ］と、前フレームの低周波成分データＬ［ｉ−１］の平均が演算される。この低周波成分の平均値を着目フレームＡ［ｉ］に対する１つ前のフレームの低周波成分画像データＳＬ［ｉ−１］として出力する。

スイッチ８は、６０Ｈｚの１フレームの入力期間内で、１フレームの入力期間で入力端子ａ，ｂの順番に切り替えるとで、高周波画像データＳＨ、低周波画像データＳＬの２つのサブフレームを、フレームレートが１２０Ｈｚの画像として出力することになる。

さて、図２３（ａ）乃至（ｃ）、図２７（ａ）乃至（ｃ）は、上記図９の構成における画像を追従視した場合の波形を示している。図２３はホールド型の場合であり、図２７はインパルス型の場合である。いずれの場合も高周波強調画像データＳＨ［ｉ］と低周波画像データＳＬ［ｉ］は１／１２０秒の時間差を有することになる点に注意されたい。

図２３（ｂ）の低周波画像ＳＬ［ｉ］の構成要素のうち、Ｌ［ｉ］はＳＨ［ｉ］と同一フレームから作成された画像である。またＬ［ｉ＋１］はＳＨ［ｉ＋１］と同一フレーム（すなわち１つ後ろのフレーム）から作成された画像である。従って、Ｌ［ｉ］は本来の時間より１／１２０秒遅れて表示されている。一方、Ｌ［ｉ＋１］は本来の時間より１／１２０早く表示されているものと言える。従って、前者は追従視波形においてはオブジェクトの移動方向の反対方向にＶ／２だけずれて観測され、後者はオブジェクトの移動方向にＶ／２だけずれて観測される。ＳＬ［ｉ］はこれらの平均値の波形である。このようにして出来た図２３（ｂ）の波形と図２３（ａ）の高周波強調画像データＳＨの追従視波形を足し合わせると、図２３（ｃ）のような追従視観測波形が得られる。この波形は、オーバーシュート、尾引きなどが見られるが、移動方向に対称であるため、歪みの最大振幅が小さく押さえられ目立たなくすることが可能になる。

図２７の場合も同様で、図２７（ｃ）のような追従視観測波形が得られる。上記同様に、オーバーシュート、尾引きなどが見られるが、移動方向に対称であるため、歪みの最大振幅が小さく押さえられ目立たなくすることが可能になる。

尚、本発明の実施形態における演算や定義は原則的に、表示される輝度（表示される光強度）に対しての概念として説明している。従って、本実施形態における画像の波形などを表す図は、全て縦軸を輝度として表現している。このため、本発明は、表示される輝度（表示される光強度）に比例するデータとして定義される画像データに対して適用する場合が最も効果的である。しかしながら、本発明は、必ずしも、このような場合のみを限定しているわけではない。本発明は、一般的に使用される範囲の画像データ（表示輝度または光強度とデータの値の間に若干の非線形性をもつ画像データ）に対して適用する場合も対象としている。このような場合でも本発明の考え方が近似的に成り立ち、いずれの場合も十分効果的である。

上記の如く、図９の構成にすることで、従来技術よりも、良好な波形を有する画像データが生成できるようになる。ただし、本発明は、この図９の構成による、更なる課題（先に示した課題２−２）、すなわち、ダイナミックレンジ低下の課題を見出した。以下、かかる点について説明する。

＜「空間周波数分離方式」の課題2-2（ダイナミックレンジ低下）＞
以下、図９の構成におけるダイナミックレンジの低下について説明するが、この問題は、図７の構成についても言えることである点に注意されたい。

「空間周波数分離方式」においては、空間的高周波成分を一方のサブフレームに集中させるため、例えば表示する画像の輝度を大きくしてゆくと、高周波強調画像データＳＨ［ｉ］を表示しているサブフレームにおいて先に飽和が起こる。一方、低周波画像データＳＬ[i]を表示するサブフレームは前者が飽和しても、まだ飽和に至らない。図１０は、ホールド側の表示装置の場合、図１２はインパルス型の表示装置における各サブフレームに含まれる成分の分布を示している。図示の斜線部分が高周波成分を示している。

上記の通りなので、フレーム全体が同時に飽和レベルに至る通常の表示方法（図１１、ホールド型）、図１３のインパルス型）に比較して最大表示輝度が小さくなる。

かかる点を、図３のような実際の波形で説明することもできる。図３の左側の波形は、入力画像Ａ［ｉ］と１／６０秒後の入力画像Ａ［ｉ＋１］の波形を示している。

右側の波形はＳＨ［ｉ］とＳＬ［ｉ］を示し、その間隔は１／１２０秒である。１／１２０で切り替わる画像は人間の視覚では時間積分されて見えるので、少なくとも静止している像であれば基本的に同一の画像が見える。

画像Ａ［ｉ］の波形に比較して高周波強調画像ＳＨ［ｉ］の波形のとがった部分は、より高くなっている。これは高周波強調画像ＳＨ［ｉ］に、他方のサブフレームに元々存在していた高周波成分データが移動し、高周波成分が２倍になっているからである。この波形から明らかなように、最大表示レベル（図中の枠の上辺のレベル）までの余裕は画像Ａ［ｉ］と比較して明らかに少ないことがわかる。このために、実際に画像Ａ［ｉ］の最大値が入力されても第１サブフレームが飽和しないようにするためには、もとの画像信号に対して１より小さい比率をかけ算して入力しなければならない。この結果、実効的なダイナミックレンジが小さくなる。すなわち表示装置本来のダイナミックレンジより小さいものとなる。

図３、図１０、図１２などでわかるように、２倍速の第１サブフレームと第２サブフレームのレベル差が大きいほど、すなわち空間的高周波成分が大きいほど、ダイナミックレンジの低下が大きい。また、入力画像に対する空間周波数でのフィルタリングの定数（距離定数）が大きいほど空間的高周波成分が大きくなるので、先に示した距離定数が大きいほど、ダイナミックレンジの低下分が大きいということができる。すなわちダイナミックレンジ低下の防止ということだけを考えれば距離定数は小さいほど望ましいという事になり、課題２−１の傾向とは相反することとなる。

＜第１の実施形態＞
以上本発明の背景（課題）を説明してきた。本実施形態では、図９の構成を更に改良するものである。

２倍速の第１サブフレームで表示する画像は、入力画像の１つのフレームからフィルタリングして抽出した成分に基づいて作成する。一方、第２サブフレームの表示タイミングにおいて表示すべき画像は、第１サブフレームのタイミングより１／１２０秒ずれた時間の画像情報が必要であり、前記入力画像をフィルタリングした成分からは直接的には生成できない。従って、第２サブフレームで表示する画像は前後の画像からフレーム間補償することによって作成する。本実施形態においては第２サブフレームで表示する画像は空間的低周波成分のみとする。従って、第２サブフレームで表示する画像は、前記入力画像からフィルタリングして作成した前後近傍のフレームの空間的低周波成分から動き補償に基づくフレーム間補間をして作成する。空間的高周波成分に関しては、第１サブフレームでのみ表示されるので、フレーム間補間する必要は無い。

図１は本実施形態における画像処理装置のブロック構成図である。図９と同様の構成には、同参照符号を付した。

図中、Ａ［ｉ］は現フレームの入力画像データである。ここでも、画像データのフレームレートは６０Ｈｚとする。スイッチＳＷ５は、１／１２０秒ごとに、入力を切り替える。スイッチＳＷ５の端子ａ側に接続されている期間が第１サブフレームであり、端子ｂの方に接続されている期間が第２サブフレームである。

図１は、図９に対して、スイッチＳＷ５の端子ｂに到る過程にフレーム間補間部１０を挿入した点が異なる。以下、図９の構成における動作を順を追って説明する。

ＬＰＦ１は２次元的ローパスフィルタである。このローパスフィルタは、例えばガウス関数でもよいし、移動平均あるいは重み付けした移動平均でもよい。ここで、フィルタ係数が最大値（中心値）の１／２になる実効的距離、すなわち、伝達係数が通過帯域の１／２の大きさになる空間周波数に相当する実効的距離を、フィルタの距離定数ｄと定義する。距離定数ｄは、画像を空間周波数のフィルタで帯域制限するときのカットオフに相当する空間周波数の波長である。ｄの単位はｐｉｘｅｌである。また、ｄは、ｘ、ｙ成分のベクトルｄ＝（ｄｘ、ｄｙ）のように表現され、成分ごとにフィルター処理される。ＬＰＦ１の距離定数はｄ1＝（ｄ1ｘ、ｄ1ｙ）である。ｄ１ｘ、ｄ１ｙの単位はそれぞれ[pixel]である。

ＬＰＦ１の出力は入力画像の空間的低周波成分Ｌ［ｉ］であり、次式で定義される。
Ｌ［ｉ］＝ＬＰＦ１（Ａ［ｉ］） …式1-1

このＬ［ｉ］は、減算器２に送られる。減算器２では、画像データＡ［ｉ］からＬ［ｉ］を減じることで、高周波成分データＨ［ｉ］を生成し、それを加算器３に出力する。

加算器３は、画像データＡ［ｉ］に、高周波成分データＨ［ｉ］を加算し、その結果を、高周波強調画像データＳＨ［ｉ］として出力する。
ＳＨ［ｉ］＝Ａ［ｉ］＋Ｈ［ｉ］＝Ａ［ｉ］＋Ａ［ｉ］−Ｌ［ｉ］

ここで、Ａ［ｉ］＝Ｈ［ｉ］＋Ｌ［ｉ］であるから、この高周波強調画像ＳＨ［ｉ］は次式のようにも表現できる。
ＳＨ［ｉ］＝２Ｈ［ｉ］＋Ｌ［ｉ］ …式1-2

この高周波強調画像データＳＨ［ｉ］は、以下に説明する第２サブフレームに同期させるため、フレーム遅延回路４（ＦＩＦＯメモリ、ＲＡＭ等の記憶手段で構成される）で遅延される。従って、フレーム遅延回路４から出力される高周波画像データはＳＨ［ｉ−１］となり、第１サブフレームとしてスイッチＳＷ５の端子ａに供給される。

一方、ＬＰＦ１で生成された低周波成分データ（低周波画像データでもある）Ｌ［ｉ］は、低周波成分フレーム間補間部１０にも送られる。低周波成分フレーム間補間部１０の出力は第２サブフレームの表示信号ＳＬ［ｉ］であり、Ｌ［ｉ］とＬ［ｉ−１］に動き補償に基づくフレーム間補間を施したものとして次式のように定義される。
ＳＬ［ｉ−１］＝ＭＣ（Ｌ［ｉ］，Ｌ［ｉ−１］） …式1-3

なお、ＳＬ［ｉ］ではなく、ＳＬ［ｉ−１］としたのは、以下に説明する低周波成分フレーム間補間部１０の処理において、次のフレームを参照するために１入力フレーム分（１／６０秒）だけ待つ必要があるからである。

＜実施形態における低周波成分フレーム間補間部１０について＞
以下、本実施形態における低周波成分フレーム間補間部１０について、詳細に説明する。

本実施形態での低周波成分フレーム間補間部１０は、文字通り、低周波成分のみの動き補償に基づくフレーム間補間を行なう。ここで低周波成分データは、画像データでもあるので、以下では低周波画像データという。

低周波画像データＬ［ｉ］は、距離定数ｄ１で帯域分割された画像であるので、距離ｄ１に相当する空間周波数より空間周波数の高い帯域の信号レベルは非常に少ない（ただし、どの程度平滑化されるかは、ローパスフィルタの関数次第である）。

従って、低周波画像データＬ［ｉ］の画像のフレーム間補間を行う際には、動きの検出はＬ［ｉ］の全空間周波数帯域、すなわち一つ一つの画素の単位で行う必要はなく、所定の周期で間引いた信号で動き検出を行えばよい。

ここでダウンサイズ率というものを定義する。ダウンサイズ率（縮小率）は画像中のｘ方向（水平方向）、ｙ方向（垂直方向）でそれぞれ定義される。例えば、ｄ２ｘ×ｄ２ｙ で画像をサイズダウンするということは、元の画像中の、ｄ２ｘ×ｄ２ｙ画素のウインドウを設定し、そのウインドウ内の所定の位置の代表点の画素をサンプルすることとする。つまり、この場合、水平方向に１／ｄ２ｘ、垂直方向に１／ｄ２ｙに縮小した画像を作ることを意味する。

ここでＬ［ｉ］をサイズダウンした画像をＬｓ［ｉ］と表現する。
Ｌｓ［ｉ］＝ＳｉｚｅＤｎ（Ｌ［ｉ］） …式1-4

以下、低周波成分フレーム間補間部１０を説明する場合には必要に応じて画像データに、その画素の座標（ｘ、ｙ）を付けてつけて表す。

サイズダウンする前の画像Ｌとサイズダウンした後の画像Ｌｓをそれぞれの座標系で、例えば以下のようにあらわす。
Ｌ[i]＝Ｌ[i]（ｘ、ｙ） 式1-5-1
Ｌｓ[i]＝Ｌｓ[i]（ｘｓ、ｙｓ） 式1-5-2

ここで、前記サイズダウンするための１単位であるｄ２ｘ、ｄ２ｙの領域ごとに定義される代表点の領域内での座標をｐｘ、ｐｙとすると、前記ＬとＬｓの座標系は次のような関係になる。
ｘ＝ｄ２ｘ*ｘｓ＋ｐｘ 式1-5-3
ｙ＝ｄ２ｙ*ｙｓ＋ｐｙ 式1-5-4
ここで、ｄ１ｘ、ｄ1ｙ、ｄ２ｘ、ｄ２ｙは整数である

本発明においては、これら範囲は理論上、ｄ1、ｄ2とも２以上であれば成立する。しかしながら、現実的にはｄ1ｘ、ｄ1ｙは数画素から数十画素の範囲であろう。ｄ２の範囲も、ｄ１に対して
０．５ｄ１ｘ≦ ｄ２ｘ ≦ ２ｄ1ｘ 式1-5-5
０．５ｄ１ｙ≦ ｄ２ｙ ≦ ２ｄ1ｙ 式1-5-6
であれば、画質的な意味で本発明の効果が最も大きい。ｄ２ｘが小さすぎると非効率であり、ｄ２ｘが大きすぎると、低周波成分の動きを捉える分解能が不足する傾向がある。しかしながら、取り扱い画像の種類、目的によっては、ｄ2ｘがもっと大きい値であってもよい（ｙ方向も同様である）。

一例として、本実施形態では、ｄ１＝８、ｄ２＝６として説明する。また、本実施形態で扱う入力画像Ａ［ｉ］（ｘ，ｙ）は水平方向１９２０画素、垂直方向１０８０画素のサイズであるとする。当然、低周波成分画像Ｌ［ｉ］の画像のサイズも１９２０×１０８０である。ｄ２ｘ＝ｄ２ｙ＝６であるので、縮小画像Ｌｓ［ｉ］のサイズは、３２０×１８０画素である。すなわち、本実施形態においては、１９２０×１０８０画素の動き検出、動き補償の計算を行うことはせず、その水平、垂直とも１／６のサイズの画像の動き検出、動き補償を行えばよいことを意味する。面積比で言えば、実に１／３６の計算量で良いことになり、画像の劣化もほとんど知覚できないものとすることができる。

サイズダウンした画像データＬｓ［ｉ］は、動き検出動き補償部１３及び遅延回路１２に供給される。動き検出動き補償部１３は、現フレームから生成された縮小画像データＬｓ［ｉ］と、遅延回路１２からの前フレームの縮小画像データＬｓ［ｉ−１］に基づき、その中間のタイミングに位置する画像データＬｓ＿ｍｃ[ｉ］を作成する。

また、ここでは時間的に前後する２つの縮小画像データから生成するものとして説明するが、３以上の縮小画像データを参照しても構わない。ここでは、最小限度の構成とするため、２つにした。

なお、実際には、上記のようにして動き補償後の画像データＬｓ＿ｍｃ［ｉ］を生成する計算においては、少なくとも、参照する中で一番最後に入力されるフレームを待ってから動き検出をする必要がある。そのため、それに応じてフレームを遅らせる必要がある。ここでは、先に述べたように最小限度の構成としたため、１フレームだけ待って次のフレームの画像を参照できるタイミングで処理すればよい。従って出力される画像データはＬｓ＿ｍｃ［ｉ−１］となる。

画像データＬｓ＿ｍｃ［ｉ］は、次式に従って生成する。
Ｌｓ＿ｍｃ［ｉ−１］＝ＭＣ（Ｌｓ［ｉ−１］，Ｌｓ［ｉ］） …式1-6-1

画像データＬｓ＿ｍｃ［ｉ］の具体的な生成処理を示すのであれば、例えば、次の通りである。

Ｌｓ＿ｍｃ［ｉ］を求めるには、動き検出を行い、その結果に基づいて動き補償を行う必要がある。本実施形態では動き検出、動き補償の対象はＬｓである。

まず、動き検出について説明する。画像Ｌｓ［ｉ］中のそれぞれの位置（ｘ、ｙ）の微小領域に対して、画像Ｌｓ［ｉ＋１］における近似または一致する微小領域を探す。これをブロックマッチングという。探す範囲は、もとの位置に対して想定する最大動き量に相当する範囲内である。仮にその結果見つけた微小領域の位置が（ｘ＋ｍｖｓｘ、ｙ＋ｍｖｓｙ）であったとする。このとき、座標位置（ｘ、ｙ）における動きベクトルは次式のように表現できる。
ＭＶｓ［ｉ］＝（ｍｖｓｘ、ｍｖｓｙ） …式1-6-2

画像Ｌｓ[i]（ｘ，ｙ）の全ての画素位置（ｘ、ｙ）に対してこの動きベクトルを求めることを動き検出という。ここで、動きベクトルＭＶｓはＬｓと同じデータ数の配列データである。また個々の画素に対応するデータはベクトルデータであり、それぞれの画素位置に対してx成分ｙ成分ごとに独立して決まるものである。ＭＶｓは成分ごとに次のように表すことができる。
ＭＶｓ［ｉ］（ｘ，ｙ）＝（ｍｖｓｘ（ｘ，ｙ），ｍｖｓｙ（ｘ，ｙ）） …式1-6-3
次に、動き補償について説明する。実施形態における動き補償とは、上記のようにして求めた動きベクトルを元に、Ｌｓ［ｉ］とＬｓ［ｉ＋１］の中間の時間に対応する画像Ｌｓ＿ｍｃ[i]を求めることである。求めるＬｓ＿ｍｃ［ｉ］（ｘ、ｙ）は、ｘ、ｙの値を動きベクトルの半分だけ引いた画素位置のＬｓ［ｉ］のデータを参照することによって得られる。または、ｘ、ｙの値を動きベクトルの半分だけ進めた画素位置のＬｓ［ｉ＋１］のデータを参照することによっても得られる。それぞれの関係は次式で与えられる。

Ｌｓ＿ｍｃ［ｉ］（ｘ、ｙ）＝Ｌｓ[ｉ]( ｘ − ｍｖｓｘ(ｘ，ｙ)／２ , y − ｍｖｓｙ（ｘ，ｙ）／２ ) …式1-6-4
または
Ｌｓ＿ｍｃ［ｉ］（ｘ、ｙ）＝Ｌｓ[ｉ＋１]( ｘ ＋ ｍｖｓｘ(ｘ，ｙ)／２ , y ＋ ｍｖｓｙ（ｘ，ｙ）／２ ) …式1-6-5

それぞれの式によって得られる結果は、適宜選択するのでもよいし、２つの結果の平均値をとるのでもよい。

ただし、ｍｖｓｘ(ｘ，ｙ)／２、または、 ｍｖｓｙ（ｘ，ｙ）／２が整数にならないときは、小数部分を除いた最大整数に置き換えて計算し、それぞれの式の結果の平均をとるなどすればよい。

本実施形態では、１フレーム遅延させてＬｓ＿ｍｃ［ｉ−１］（ｘ、ｙ）を求めることとなる。

動き検出と動き補償の結果得られた画像データＬｓ＿ｍｃ［ｉ−１］（サイズは３２０×１８０画素）は、サイズアップして元の画像と同じサイズに戻さなければならない。ＳｉｚｅＵｐ部１４では、１つの画素データからｄ２ｘ×ｄ２ｙ個の画素データを作成する。本実施形態では、このＳｉｚｅＵｐ部１４は、空間的に線形補間（例えば、バイリニア法）を実施することにより、領域ごとに１画素からｄ２ｘ×ｄ２ｙ個の画素データを作成（拡大処理）し、これによって画像のサイズ戻しを行う。元のサイズに変換された画像データをＬｕｐ［ｉ−１］とすると、次式の関係となる。
Ｌｕｐ［ｉ−１］＝ＳｉｚｅＵｐ（Ｌｓ＿ｍｃ［ｉ−１］） …式1-7

しかしながら、ここで得られた、Ｌｕｐ［ｉ］（＝１９２０×１０８０画素）は第２サブフレームに表示する低周波成分画像としてはまだ特性が不十分である。この画像Ｌｕｐ［ｉ］はSizeＵｐ部１３で線形補完を行っているため、空間周波数成分として、不要な高周波成分を含んでおり、滑らかでないからである。

第２サブフレームとして表示（出力）される画像の空間周波数分布は、直前直後の第１サブフレームの低周波成分とほぼ同一の空間周波数分布、正確に言うと直前直後の空間周波数分布の間の値に入っている必要がある。そのためにも上記の不要な高周波成分を取り除くことは望ましいものである。このため、本実施形態では、ＬＰＦ１５をＳｉｚｅＵｐ部１４の後段に設けた（このＬＰＦ１５の距離定数をｄ３＝（ｄ３ｘ、ｄ３ｙ）とする）。ＬＰＦ１５により、不必要な高周波成分を取り除いた結果は、十分に滑らかなものとなり、第２サブフレームＳＬとしてで表示するのに適した画像データとなる。
ＳＬ［ｉ−１］＝ＬＰＦ２（Ｌｕｐ［ｉ−１］） …式1-8

本実施形態では、構成を簡単にするために、（ｄ３ｘ、ｄ３ｙ）＝（ｄ１ｘ，ｄ１ｙ）とした。このようにすることにより ＬＰＦ１とＬＰＦ２を共通化できる。第２サブフレームで表示する画像ＳＬ［ｉ−１］はスイッチＳＷ５の端子ｂに供給される。

本実施形態におけるスイッチＳＷ５は、ＳＨ［ｉ−１］（＝Ｌ［ｉ−１］＋２Ｈ［ｉ−１］）とＳＬ［ｉ−１］（＝ＬＰＦ２（Ｌｕｐ［ｉ−１］））を１／１２０秒ごとに切り替えて出力することによって動きぼけを改善した画像が実現される。

＜本実施形態における効果２−１（追従視波形歪改善）＞
これまでの説明からもわかるように、本実施形態における第２サブフレームとして生成される画像データは、現フレームと直後のフレームの第１サブフレームの低周波成分画像から、フレーム間補間して作成する。

従って、第１サブフレームで表示する画像と第２サブフレームで表示する画像がそれぞれ時間差に対して矛盾の無い画像であるため、追従視を行った場合にも、第１サブフレームで表示する画像に対し、第２サブフレームの画像の位置が大きくずれることはない。このためそれぞれの画像を視覚によって時間積分すなわち足し合わせることにより、本来の画像を認識することができる。

詳しくは、第２サブフレームの低周波成分画像ＳＬ［ｉ］は、図７のようにＳＨ［ｉ］と同一タイミングの画像情報にもとづく低周波成分ではない。また、実施形態における、この第２のサブフレームは、図９に示した画像ＳＨ［ｉ］と同一タイミングの画像情報にもとづく低周波成分と、高周波強調画像ＳＨ［ｉ＋１］と同一タイミングの画像情報にもとづく低周波成分との平均値でもない。従って、ホールド型においては図２２（ｃ）、図２３（ｃ）のような波形歪は発生せず、図２４（ｃ）に示すように、より正確な追従視波形が観測されるようにすることができる。またインパルス型でも同様に図２６（ｃ）、図２７（ｃ）のような波形歪は発生せず、図２８（ｃ）に示すように、より正確な追従視波形が観測されるようにすることができる。

＜本実施形態における効果２−２（ダイナミックレンジ改善）＞
先に示した図７の構成では、追従視した場合において図２２（ｃ）及び図２６（ｃ）のように、追従視波形におけるオーバーシュート歪、アンダーシュート歪、尾引き歪が観測される。また、図９の構成では、オーバーシュート歪、アンダーシュート歪はある程度改善され、尾引き歪は大幅に改善される。

更にまた、図７、図９の構成では、追従視しているオブジェクトの移動速度に対してLPF1の距離定数を、最大移動速度を考慮して十分な大きな値に設定すると、ダイナミックレンジが低下する。

本実施形態では、図２４（ｃ）及び図２８（ｃ）に示すように、追従視波形に伴う歪が発生しないという効果がある。従って、前記、波形歪を考慮するという意味で、距離定数を大きく設定する必要がなくなった。また、そのためにダイナミックレンジが低下することも無くなる。

また、距離定数に対して移動速度が大きい場合（想定する移動速度に対して距離定数が小さい場合）においてもこの効果は不変である。従って今までよりも距離定数を小さく決めることができる。

図３の波形は、図９の構成におけるものである。図３では、ＳＬ［ｉ］の波形が例えばＶ／２だけ横方向にずれても全体の波形として大きな違いがないようにするため、Ｌ［ｉ］、又は、｛Ｌ［ｉ］＋Ｌ［ｉ＋１］｝／２を求めるための距離定数を大きめに設定しなければならない。

図４の波形は本実施形態における波形を示している。本実施形態では、ＳＬ［ｉ］を動き補償に基づくフレーム間補間によって作成するので、ＳＬ［ｉ］の波形が正しい位置にできる。従って、ある程度、図のようなピーク（すなわち、高周波成分）が残っていても良い。そのため、その元になるＬ［ｉ］を決めるためのフィルタの距離定数が相対的に小さくても良い。従って、空間的高周波成分の比率が小さく、すなわちＳＨ［ｉ］とＳＬ［ｉ］とのレベル差が小さくなる。このため、表示装置としての実効的なダイナミックレンジが図９の構成に比べて改善できる。

＜本実施形態における効果１−１（動き検出間違いの影響を小さくできる）＞
図１に示すように、本実施形態では、ＬＰＦ１５をＳｉｚｅＵｐ部１４の後段に挿入することにより、動き検出やＳｉｚｅＵｐにともなって新たに発生する空間的高周波成分の雑音を排除することを実現している。このＬＰＦ１５は、動き検出動き補償部１３において、動き検出の推定間違いが発生した場合にも効果を示す。動き検出の推定間違いによるが画像ノイズが空間的高周波成分のみの場合はその大きさは大幅に抑圧され、また空間的低周波成分まで含んでいる場合にも、その大きさは抑圧され、また視覚的になめらかで目立たないノイズとなる。

＜実施形態における効果１−２（計算規模、小さくできる）＞
本実施形態においては、ｄ２ｘ×ｄ２ｙでサイズダウンした縮小画像Ｌｓ［ｉ］を動き検出の対象としている。また、動き補償の対象とする画像も同じようにＬｓ［ｉ−１］である。計算規模は対象とする画素数に依存するものであるから、その画素数が絶対的に少なくなることに応じて、計算規模を大幅に縮小させることができる。すくなくとも、計算量の縮小率は画素数の縮小比率の２乗程度になる。

＜第１の実施形態の変形例＞
上記第１の実施形態と等価の処理を、コンピュータプログラムで実現する例を説明する。このコンピュータプログラムを実行する装置は、パーソナルコンピュータ等の情報処理装置（以下、ＰＣという）で良い。ＰＣのハードウェアについては説明するまでもないであろう。但し、以下では、単位時間当たりｍ個のフレームの動画像データファイルはハードディスク等の記憶装置（もしくは記憶媒体）に既に格納されているものとする。そして、本変形例のアプリケーション（コンピュータプログラム）を実行するＣＰＵは、そのファイルから、単位時間当たり２倍の２ｍ個のフレームで再生すべき動画像データに変換し、その変換結果をハードディスクにファイルとして保存する例を説明する。また、変換対象動画像データは記憶装置に格納され、倍速変換後の動画像データも記憶装置に格納されるものであるから、本アプリケーションは倍速変換結果を表示する必要はない。つまり、ＣＰＵは、変換対象動画像データで表わされる動画像のフレームレートに同期して処理する必要もない点に注意されたい。また、変形例のアプリケーションは、やはりハードディスクに格納されており、ＣＰＵがＲＡＭにロードし、実行するものである。

図１４は、本アプリケーションの処理手順を示すフローチャートである。以下、同図に従って、ＣＰＵの実行処理手順を説明する。

先ず、ステップＳ１において、ＣＰＵは変換対象の動画像データファイルから、１フレーム単位に画像データＡ［ｉ］をＲＡＭに読込む。符号化されている場合には、対応する復号処理を行なう。

ステップＳ２では、ＣＰＵは、予め設定されたローパスフィルタ（テーブル）を用いて、入力した１フレームの着目画像データＡ［ｉ］のフィルタ処理を行ない、低周波画像データＬ［ｉ］を生成する。

次いで、ステップＳ３に進み、ＣＰＵは高周波成分データＨ［ｉ］を生成する。
Ｈ［ｉ］＝Ａ［ｉ］−Ｌ［ｉ］

ステップＳ４では、ＣＰＵは高周波強調画像データＳＨ［ｉ］を生成し、それを一時的にＲＡＭに格納する。
ＳＨ［ｉ］＝Ａ［ｉ］＋Ｈ［ｉ］＝２Ａ［ｉ］−Ｌ［ｉ］

ステップＳ５では、ＣＰＵは、低周波成分データＬ［ｉ］から縮小画像データＬｓ［ｉ］を生成する（第１の実施形態では、水平、垂直とも１／６にした）。
Ｌｓ［ｉ］＝ＳｉｚｅＤｏｗｎ（Ｌ［ｉ］）

この後、ステップＳ６にて、前回入力したフレームから生成した縮小画像データＬｓ［ｉ−１］と現フレームから生成した縮小画像データＬｓ［ｉ］に基づき、動き検出する。そして、その検出した動きに基づき、動き補償処理を行ない、時間的に中間に位置する縮小画像データＬｓ＿ｍｃ［ｉ］を生成する。このとき、次のフレームの処理に備え、縮小画像データＬｓ［ｉ］をＲＡＭに格納する。

ステップＳ７では、低周波動き補償画像Ｌｓ＿ｍｃ［ｉ］を、元のサイズに復元する。第１の実施形態と同様にするのであれは、水平、垂直とも６倍の画素数に復元することになる。

ステップＳ８では、低周波動き補償画像Ｌｓ＿ｍｃ［ｉ］に対して、更にローパスフィルタ処理を行ない、第２サブフレームＳＬ［ｉ］を生成する

この後、ステップＳ９にて、ＣＰＵは生成された２つのサブフレームＳＨ［ｉ］とＳＬ［ｉ］を出力動画像データとして記憶装置に格納する。

この後、ステップＳ１０に進み、ＣＰＵは、変換対象の動画像データファイルの全フレームについて変換したか否かを判定する。この判定は、変換対象の動画像データファイルのファイルエンドを検出したか否かで良いであろう。

ステップＳ１０にて、Ｎｏと判定した場合には、ステップＳ１１にて、変数ｉを“１”だけインクリメントし、ステップＳ１以降の処理を繰り返す。

一方、ステップＳ１０にて、Ｙｅｓと判定した場合には、一連の倍速変換処理を終了する。

以上説明したように、第１の実施形態と比較し、変換処理速度はＣＰＵに依存したものとなるものの、第１の実施形態と同等の作用効果を奏する倍速動画像データファイルを作成することが可能になる。

＜第２の実施形態＞
次に本発明に係る第２の実施形態を説明する。図２は、第２の実施形態における画像処理装置のブロック構成図である。

本第２の実施形態は、低周波成分フレーム間補間部２０が、第１の実施形態（図１）の低周波成分フレーム間補間部１０と異なる。

本第２の実施形態においては、動き検出は第１の実施形態と同様にＬＰＦ１の距離定数に対応した値でサイズダウンした低周波成分画像Ｌｓを用いて行なう。但し、動き検出結果に基づく動き補償部２７は、サイズダウンする前の元の低周波成分画像データＬに対して施す。このようにすることにより、動き補償した後のＬＰＦを省くことができる。もしくはＬＰＦの規模を小さくすることができる。

本第２の実施形態の低周波成分フレーム間補間部２０には、第１の実施形態同様に、ＬＰＦ１の出力である低周波画像データＬ［ｉ］が入力される。低周波画像データＬ［ｉ］は、SizeDown部２１に供給された後、動き検出処理が行われる。そして、動き検出処理結果を受けて、動き補償部２７が対象となる低周波画像データＬ［ｉ］とＬ［ｉ−１］から動き補償した画像データＭＣ［ｉ−１］を生成する。このため、遅延回路２２、２６を設ける。なお、遅延回路２２、２６は、ＦＩＦＯメモリやＲＡＭ等の記憶手段で構成できる。

以下、本第２の実施形態を容易に理解できるようにするため、ｄ１＝８、ｄ２＝６として説明する。また、例えば本第２の実施形態で扱う入力画像Ａ［ｉ］が１９２０×１０８０画素のサイズであるとする。このときｄ２ｘ＝ｄ２ｙ＝６であるので、Ｌｓ［ｉ］のサイズは、３２０×１８０画素となる。すなわち、本第２の実施形態においては、１９２０×１０８０画素で構成される画像に対して、動き検出の処理を行うことはせず、水平、垂直とも１／６のサイズの画像に対して動き検出を行う。これにより、動き検出に係る計算量は大幅に減少させることができる。なお、第１の実施形態では、動き検出と動き補償の２つの処理を、サイズダウンした画像に対して行ったが、本第２の実施形態では動き検出はサイズダウンした画像に対して行ない、動き補償は元のサイズの画像に対して行なう。

次にサイズダウンした縮小画像データＬｓ［ｉ］は遅延回路２２と動き検出部２３に供給される。動き検出部２３は、遅延回路２２からの前入力フレームの縮小画像データＬｓ［ｉ−１］と現フレームの縮小画像データＬｓ［ｉ］を入力し、動きベクトルデータＭＶｓ［ｉ−１］を生成する。

追従視における動画特性対策としては、例えば現フレームとその前後の計３フレームくらいの縮小Ｌｓを用いて動き検出を行うのが望ましい。しかし、計算量の増大による負荷、メモリーの増大によるコストアップになる。かかる点考慮して、本実施形態では最小限度の構成として、現低周波画像であるサブフレームＬｓ［ｉ］と直前の低周波画像であるサブフレームＬｓ［ｉ−１］に基づき、動きベクトルデータＭＶｓ[ｉ]を作成するよう構成した。動き検出動き補償後の画像データを生成する計算においては、少なくとも、参照する一番最後のフレームを待ってから、動き検出の計算をする必要がある。そのためこれに応じてフレームを遅らせる必要がある。ここでは、最小構成であるので、１フレームだけ待って次のフレームの画像を参照できるようなタイミングで計算処理する。従って出力される画像データはＭＶｓ［ｉ−１］となる。
MVｓ[i-1]=MV( Ls[i-1] , Ls[i] ) …式2-1

動き検出部２３の具体的な処理は例えば次の通りである。

画像Ｌｓ［ｉ］中のそれぞれの位置（ｘ、ｙ）の微小領域に対して、画像Ｌｓ［ｉ＋１］における近似または一致する対応微小領域を探す。これをブロックマッチングという。ここで探す範囲は、もとの位置に対して想定する最大動き量に相当する範囲内である。仮にその結果見つけた対応微小領域の位置が（ｘ＋ｍｖｓｘ、ｙ＋ｍｖｓｙ）であったとする。このとき、座標位置（ｘ、ｙ）における動きベクトルは次式のように表現できる。
ＭＶｓ［ｉ］＝（ｍｖｓｘ，ｍｖｓｙ） …式1-6-3（再掲示）

画像Ｌｓ[i]（ｘ，ｙ）の全ての画素位置（ｘ、ｙ）に対してこの動きベクトルを求めることを動き検出という。 ここで、動きベクトルＭＶｓはＬｓと同じデータ数の配列データである。また個々の画素に対応するデータはベクトルデータであり、それぞれの画素位置に対してx成分、ｙ成分それぞれ独立して決まるものである。ＭＶｓはｘ、ｙ成分で次のように表すことができる。
ＭＶｓ［ｉ］（ｘ，ｙ）＝（ｍｖｘｓ（ｘ，ｙ），ｍｖｙｓ（ｘ，ｙ）） …式1-6-3（再掲示）

なお、この動き検出部２３の処理は、１フレーム待って次のフレームの画像を参照できるタイミングで処理する必要があり、従って出力される画像データはＭＶｓ［ｉ−１］となる。

一つのベクトルデータの形式は、ｘ成分とｙ成分で、例えば{ｍｖｓｘ、ｍｖｓｙ}のように表し、例えばそれぞれが正負の符号を含めて４ビット（合わせて８ビット）とすることにより、方向別に±８画素分の移動距離に対応することが出来る。本実施形態ではｄ２ｘ＝ｄ２ｙ＝６としているので、もとの画像に対しては、±４８画素の最大移動距離となり、十分な大きさである。

動き検出部２３は１画素単位にベクトルデータを生成するので、その個数はＬｓ［ｉ］の画素数と同数である。

ＳｉｚｅＵｐ部２４は、ベクトルデータＭＶｓ［ｉ−１］を入力しベクトル補間処理を行なうことで、縮小前の画像Ｌ[i]、Ｌ［ｉ−１］に対応するベクトルデータＭＶ［ｉ−１］を生成する。
ＭＶ［ｉ−１］＝ＳｉｚｅＵｐ（ＭＶｓ［ｉ−１］） …式2-2-1
ＭＶ［ｉ−１］（ｘ，ｙ）＝（ｍｖｘ（ｘ，ｙ），ｍｖｙ（ｘ，ｙ）） …式2-2-2

本実施形態では、ＭＶ［ｉ］はＬ［ｉ］に対応するので、動き表すベクトルデータが１９２０×１０８０個が並んだ配列のデータである。一方、ＭＶｓ［ｉ］はｄ２ｘ＝ｄ２ｙ＝６で縮小したＬｓ［ｉ］に対応するので、動きを表すベクトルデータが３２０×１８０個並んだ配列のデータである。

従って、ＭＶｓ［ｉ］をサイズアップしてＭＶ［ｉ］を作成するには、ｘ成分、ｙ成分別々に、空間的に線形補完（例えば、バイリニア法）などを実施することにより、１領域ごとにｄ２ｘ*ｄ２ｙ個の画素に対応する（すなわち各画素ごとに対応する）ベクトルデータを作成する。

動き補償部２７は、ＳｉｚｅＵｐ部２４からのベクトルデータＭＶ［ｉ−１］に基づき、動き補償後の低周波画像データＭＣ［ｉ−１］を生成する。動き補償後の低周波画像データＭＣ［ｉ−１］は現フレームの低周波画像データＬ［ｉ］と前フレームの低周波画像データＬ［ｉ−１］の時間的に中間に位置するものとして推定される画像データである。。
ＭＣ［ｉ−１］＝ＭＡ（Ｌ［ｉ−１］，Ｌ［ｉ］，ＭＶ［ｉ−１］） …式2-3
ここで、ＭＣ［ｉ］の具体的な生成処理は、以下の２つの計算を行い、いずれかの計算結果を選択して採用する、もしくは、もしくは平均値をとるなどすればよい。
ＭＣ［ｉ］（ｘ、ｙ）
＝Ｌ[ｉ]( ｘ − ｍｖｘ(ｘ，ｙ)／２ , y − ｍｖｙ（ｘ，ｙ）／２ ) …式2-4-1
ＭＣ［ｉ］（ｘ、ｙ）
＝Ｌ[ｉ＋１]( ｘ ＋ ｍｖｘ(ｘ，ｙ)／２ , y ＋ｍｖｘ(ｘ，ｙ)／２) …式2-4-2

また、例えばｍｖｘ(ｘ，ｙ)／２、または、ｍｖｘ(ｘ，ｙ)／２が整数にならないときは、小数部分を除いた整数部分によって式２−４−１と式２−４−２を計算し、結果の平均をとるなどすればよい。実際に動き補償部２７の出力は、１フレーム遅れているので、ＭＣ［ｉ−１］（ｘ、ｙ）が出力される。

動き補償した画像データＭＣ［ｉ−１］は第２サブフレームで表示する画像ＳＬ［ｉ−１］として、スイッチ５の端子ｂに供給される。本第２の実施形態は、スイッチ５は、ＳＨ［ｉ−１］とＳＬ［ｉ−１］を１／１２０秒ごとに切り替えて出力することによって動きぼけを改善した画像が実現される。

以上説明したように本第２の実施形態によれば、図１の構成中のＬＰＦ１５は不要にできる。また、動き補償部２７で扱う画素数は、第１実施形態の動き検出動き補償部１３の中で行われる動き補償で扱う画素数よりも、ｄ２ｘ*ｄ２ｙの比率で大きい。しかしながら、もともと動き検出２３よりも処理にかかわる負荷が格段に少ないので、さほど問題になることもない。むしろ、動き補償による精度が、本来の画素数に対して行われるので、動き補償後の精度が高く、その画像は第１の実施形態よりも高い品位となることが約束される。

＜第３の実施形態＞
第３の実施形態は、入力画像と同じ画像サイズの低周波画像データＬ［ｉ］を用いて動き検出、動き補償を行なう。

本第３の実施形態における画像処理装置のブロック構成図を図１５に示す。

図中、Ａ［ｉ］は入力画像である。入力される画像のフレームレートは例えば６０Ｈｚとする。また、スイッチ５は、１／１２０秒ごとに、その入力端子ａ，ｂを切り替える。スイッチ５は端子ａを選択している期間が、第１サブフレームの出力期間であり、端子ｂに接続されている期間が第２サブフレームの出力期間である。入力画像Ａ［ｉ］が処理されて、端子ａに到る構成はこれまでと同じである。異なる点は、スイッチ５の端子ｂに到る過程での構成である。以下、順を追って説明する。

ＬＰＦ１は２次元的ローパスフィルタである。このローパスフィルタは、例えばガウス関数でもよいし、移動平均あるいは重み付けした移動平均でもよい。ここで、フィルタ係数が最大値（中心値）の１／２になる実効的距離、すなわち、伝達係数が通過帯域の１／２の大きさになる空間周波数に相当する実効的距離を、フィルターの距離定数ｄと定義する。距離定数ｄは、画像を空間周波数のフィルタで帯域制限するときのカットオフに相当する空間周波数の波長である。ｄの単位はｐｉｘｅｌである。また、ｄは、ｘ、ｙ成分のベクトルｄ＝（ｄｘ、ｄｙ）のように定義され、成分ごとにフィルター処理される。ＬＰＦ１の距離定数はｄ１＝（ｄ１ｘ、ｄ１ｙ）である。ｄ１ｘ、ｄ１ｙの単位はそれぞれ[pixel]である。ＬＰＦ１の出力は入力画像の空間的低周波成分データ（低周波画像データでもある）Ｌ［ｉ］であり次式で定義される。
Ｌ［ｉ］＝ＬＰＦ１（Ａ［ｉ］） …式1-1（再掲示）

低周波画像データＬ［ｉ］は、減算器２に送られる。そして、減算器２と加算器３によって、高周波強調画像データＳＨ［ｉ］が生成される。
SH[i]=L[i]+2H[i] …式1-2（再掲示）

そして、この高周波強調画像データＳＨが、１フレーム分に遅延回路４を介して、スイッチ５の端子ａに、高周波強調画像データＳＨ［ｉ−１］として供給される。この高周波強調画像データＳＨ［ｉ−１］が、倍速画像の第１サブフレームの表示信号となる。

一方、低周波画像データＬ［ｉ］は低周波成分動き補償部３０にも送られる。低周波成分動き補償部３０は低周波画像データＬ［ｉ］とＬ［ｉ−１］から動き補償を施した画像ＳＬ［ｉ−１］を生成し、スイッチ５の端子ｂに供給する。
ＳＬ[i-1]=L_ｍｃ( L[i] , L[i-1] ) …式3-1

以上であるが、要するに本第３の実施形態は、図１の第１の実施形態の構成から、ＳｉｚｅＤｏｗｎ部、ＳｉｚｅＵｐ部、ＬＰＦ１５を除去したものであると言えば分かりやすい。但し、本第３の実施形態の場合、動き検出は、オリジナル画像と同数の画素数について行なうことになるので、負荷が大きくなると言える。従って、本第３の実施形態は、入力する画像Ａ［ｉ］のサイズが、ある程度以下のサイズである場合に都合が良い。もしくは、実時間で倍速画像データを生成する必要がなく、例えば、倍速画像データをファイルとして保存する構成に適用することが望ましい。

＜第４の実施形態＞
次に第４の実施形態を説明する。図１６は第４の実施形態における画像処理装置のブロック構成図である。

以下、同図に従って、第4の実施形態の構成を説明する。

図中、Ａ［ｉ］は入力画像である。入力される画像のフレームレートはここでも６０Ｈｚとする。また、スイッチ５は、１／１２０ごとに、その入力端子ａ、ｂを切り替える。スイッチ５が端子ａに接続されている期間が第１サブフレームの出力期間であり、端子ｂに接続されている期間が第２サブフレームの出力期間である。入力画像Ａ［ｉ］が処理されて、スイッチ５の端子ａにに到る過程は、これまで大きな違いはない。スイッチ５の端子ｂに過程が異なる。

ＬＰＦ１は２次元的ローパスフィルタである。このローパスフィルタは、例えばガウス関数でもよいし、移動平均あるいは重み付けした移動平均でもよい。ここで、フィルタ係数が最大値（中心値）の１／２になる実効的距離、すなわち、伝達係数が通過帯域の１／２の大きさになる空間周波数に相当する実効的距離を、フィルターの距離定数ｄと定義する。距離定数ｄは、画像を空間周波数のフィルタで帯域制限するときのカットオフに相当する空間周波数の波長である。ｄの単位はｐｉｘｅｌである。また、ｄは、ｘ、ｙ成分のベクトルｄ＝（ｄｘ、ｄｙ）のように定義され、成分ごとにフィルター処理される。ＬＰＦ1の距離定数はｄ１＝（ｄ１ｘ、ｄ１ｙ）である。ｄ１ｘ、ｄ１ｙの単位はそれぞれ[pixel]である。ＬＰＦ１の出力は入力画像の空間的低周波成分データ（低周波画像データでもある）Ｌ［ｉ］であり次式で定義される。
L[i]＝ＬＰＦ1( A[i] ) …式1-1（再掲示）

低周波画像成分データＬ［ｉ］は、減算器２に送られる。そして、この減算器２と加算器３によって、高周波強調画像データＳＨ［ｉ］が生成される。この高周波強調画像データＳＨが、１フレーム分に遅延回路４を介して、スイッチ５の端子ａに、高周波強調画像データＳＨ［ｉ−１］として供給される。この高周波強調画像データＳＨ［ｉ−１］が、倍速画像の第１サブフレームの表示信号となる。

一方、入力した画像データＡ［ｉ］は、フレーム間補間部４０にも供給される。フレーム間補間部４０は、入力した現フレームの画像データＡ［ｉ］と直前の画像データＡ［ｉ−１］から動き補償処理を行ない、その結果を動き補償画像データＡ＿ｍｃ［ｉ］として出力する。
Ａ_ｍｃ[i-1] = MC( A[i-1] , A[i] ) … 式4-1

実際、この動き補償部４０での処理は、１フレーム待って次のフレームの画像を参照できるタイミングで処理する必要がある。従って出力される画像データはＡ＿ｍｃ［ｉ−１］となる。

ここで、画像データＡ＿ｍｃ［ｉ−１］の空間周波数分布は、Ａ［ｉ−１］ またはＡ［ｉ］にほぼ等しいか、その中間の値をとるものである。ここでスイッチ５の端子ａに供給される画像データＳＨ［ｉ−１］においては空間的高周波成分が強調されている。従って、スイッチ５の端子ｂに供給される画像からは、空間的高周波成分を抑圧しなければならない。

しかるに、画像Ａ＿ｍｃ［ｉ−１］の空間周波数分布は、Ａ［ｉ−１］またはＡ［ｉ］に近い分布である。そこで、本第４の実施形態では、この空間的高周波成分の相殺を実現するために、フレーム間補間部の後段に、ＬＰＦ４１を設けた。このＬＰＦ４１は、ＬＰＦ１同一の特性をしている。

本第４の実施形態の効果としては、ＬＰＦ４１を設けることによって、画像データＡ＿ｍｃ［ｉ−１］中の不要な空間的高周波成分を取り除くことができる。また、動き検出の推定誤差や推定間違いが発生しても、それによる画像ノイズが空間的高周波成分のみの場合はその大きさは大幅に抑圧される。また、推定誤差や推定間違いが低周波成分まで含んでいる場合にも、その大きさは抑圧され、また視覚的になめらかで目立たないノイズとなる。

＜第５の実施形態＞
第５の実施形態を説明する。本第５の実施形態は、動き検出処理で得られる情報を、ここまで説明した実施形態と同様、動き補償に使用する。更に、空間周波数分離方式の適用の有無を画像の領域ごとに選択するものである。

図１７は本第５の実施形態の画像処理装置の構成を示している。

本第５の実施形態における、スイッチ５の端子ａに到る構成（第１サブフレームの生成に係る構成）は、既に説明した第１乃至第４の実施形態と同じである。異なる点は、スイッチ５の端子ｂに到る構成、すなわち、第２サブフレームの生成に係る構成と、領域別信号選択部５３を設けた点である。

本第５の実施形態でも、入力する画像データのフレームレートは６０Ｈｚであり、１つの入力フレームから２つのサブフレームを、１／１２０秒毎に切り替え出力するものである。

本実施形態においては、スイッチ５の出力画像をＳ［ｉ−１］と表わす。フレーム間補間部５０は、前フレームの低周波成分画像データＬ［ｉ−１］と現フレームの低周波成分画像データＬ［ｉ］から動き補償処理を行なうこで生成された画像データＭＣ（Ｌ［ｉ−１］，Ｌ［ｉ］）を生成する。そして、フレーム間補間部５０は、その画像データＭＣ（Ｌ［ｉ−１］，Ｌ［ｉ］）を、第２サブフレームＳＬ［ｉ−１］としてスイッチ５の端子ｂに出力する。

また、フレーム間補間部５０は、その内部に、動き検知部５１を有する。この動き検知部５１は、動き判別信号ＳＭ［ｉ−１］、ＭＳ［ｉ−１］を領域別選択部５３に出力する。

スイッチ５の出力、すなわち、ＳＨ、ＳＬは１／１２０秒で切り替えられ、信号Ｓ［ｉ−１］として領域別信号選択部５３に供給される。また、遅延回路５２を介して、着目フレームの画像データＡ［ｉ−１］も領域別信号選択部５３に供給される。

領域別信号選択部５３は、画像データ中の領域ごとに、あるいは画素単位に、動き判定信号ＳＭ、ＭＳの値に基づいてＡ［ｉ−１］、又は、Ｓ［ｉ−１］を選択出力する。この領域別信号選択部５３の選択出力した信号をＤ［ｉ−１］と表わす。

動き判定信号ＳＭ、ＭＳは、入力される画像データＡ［ｉ］に含まれる画素数と同数の配列データであり、画素単位の判定信号である。また、動き判定信号ＳＭ、ＭＳは、各成分が０又は１の２値信号でもある。動き判定信号ＭＳは画像信号の中で、動きがあると判断された領域の画素位置では“１”となり、それ以外（すなわち動きが無いと判断される）の領域の画素位置では“０”となる。領域判定信号ＳＭは、領域判定信号ＭＳと論理が逆である。

次に、領域別信号選択部５３を説明する。説明を簡単なものとするため、各データを以下のように定義する。
画像データＡ［ｉ−１］中の座標（ｘ、ｙ）の画素の値をa(x,y)、
座標（ｘ、ｙ）の動き判定信号ＳＭ［ｉ−１］の値を、sm(x,ｙ）、
座標（ｘ、ｙ）の動き判定信号ＭＳ［ｉ−１］の値を、ms(x,ｙ）、
画像データＳ［ｉ−１］中の座標（ｘ，ｙ）の画素の値を、s(x,y)、
出力画像Ｄ［ｉ−１］中の座標（ｘ，ｙ）の画素の値を、d( x , y )

このように定義すると、出力画像Ｄ［ｉ−１］の座標（ｘ，ｙ）の画素の値は次式で示すことが出来る。
d(x,y)=a(x,y) * sm(x,y)+s(x, y) * ms(x,y) …式5-1
（ここで「*」は行列演算ではなく、同じ画素位置（ｘ、ｙ）の値どうしを掛け算して新たな（ｘ、ｙ）のデータを作ることを意味する）

上記式５−１の右辺は、第１項は乗算器５４の動作を表し、第２項は乗算器５５の動作を表わす。すなわち、入力画像Ａ［ｉ−１］からsm(x,y)＝１の領域、すなわち、動きが無いと判断される領域については、入力したフレーム中の画素データを出力する。また、sm(x,y)＝０の領域、動きが無いと判断される領域については、スイッチ５の出力であるＳ［ｉ−１］中の画素データを選択し、出力する。

このようにして得られた、第１項と第２項を加算器５６で加算した結果が式５−１となる。なお、乗算器５４、５５は、動き判定信号に従ってデータを通過させるゲート（例えばアンドゲート）で構成しても構わない。また、乗算器５４、５５の一方のみが画素データを通過させるので、加算器５６は省略しても構わない。

以上説明したように本第５の実施形態によれば、動きありと判別された画像領域においては画像Ｓ［ｉ−１］中の画素データを選択し、動き無しと判断された画像領域においては画像Ａ［ｉ−１］を選択することになる。このようにすることにより、動きの有無に応じて、常に最も適した画像を領域毎に選択表示することができる。

＜第６の実施形態＞
上記第１乃至第５の実施形態では、入力画像のフレームレートを２倍にする例を説明した。本第６の実施形態では、単位時間当たりｍ個のフレームの動画像データを入力し、単位時間当たりＮｍ個のフレームの動画像データとして出力する例を説明する。説明を簡単なものとするため、ここではＮ＝５の例を説明する。

図１８は、本第６の実施形態における画像処理装置のブロック構成図を示している。

ここでも、Ａ［ｉ］は入力画像であり、そのフレームレートは例えば２４Ｈｚ（一般に映画のフレームレートとして知られている）であるものとする。このとき、スイッチ７０は、1/120秒ごとに、５つの入力端子ａ，ｂ，ｃ，ｄ，ｅの順に切り替え、１／２４秒で一巡するものとする。

スイッチ７０が端子ａに接続されている期間が第１サブフレームの出力期間である。また、スイッチ７０が端子ｂに接続されている期間が第２サブフレームの出力期間となる。以下、同様に、スイッチ７０の端子ｃ，ｄ，ｅそれぞれの接続期間が、第３乃至第５サブフレーム期間となる。

スイッチ７０の端子ａに供給される画像データＳＨ（第１サブフレーム）は、入力した画像データＡ［ｉ］に、乗算器６９にて５倍に増幅された高周波成分データが加算されたものとなる。
ＳＨ［ｉ］＝Ｌ［ｉ］ + ５*Ｈ［ｉ−１］ …式6-1

また、本第６の実施形態においては、スイッチ７０の残りの端子ｂ，ｃ，ｄ，ｅに供給する第２乃至第５のサブフレーム（Ｎ−１個のサブフレーム）を生成する必要がある。この第２乃至第５サブフレームを、以下では、ＳＬ１［ｉ−１］、ＳＬ２［ｉ−１］、ＳＬ３［ｉ−１］、ＳＬ４［ｉ−１］と表わす。

ＬＰＦ１の出力である低周波成分データ（低周波画像データでもある）Ｌ［ｉ］は、本第６の実施形態におけるフレーム間補間部６０にも供給される。本第６の実施形態における動き検出は、先に説明した第２の実施形態とほぼ同じである。

本第６の実施形態においてもｄ１＝８、ｄ２＝６を例として説明する。従って本第６の実施形態で扱う入力画像Ａ［ｉ］が１９２０×１０８０画素のサイズである場合（当然、低周波成分画像データＬ［ｉ］も１９２０×１０８０画素）、ｄ２ｘ＝ｄ２ｙ＝６である。つまり、ＳｉｚｅＤｏｗｎ部６１で生成された縮小画像データは３２０×１８０画素となる。要するに、本第６の実施形態においては、１９２０×１０８０画素の画像を対象として動き検出の処理を行うことはせず、その水平、垂直方向とも１／６のサイズの画像について動き検出を行う。これにより計算量は大幅に減少させることができる。

動き検出部６３は、現フレームの画像データをサイズダウンした低周波画像データＬｓ［ｉ］と、遅延回路６２からの１フレーム前の低周波画像データＬｓ［ｉ−１］を入力し、ベクトルデータＭＶｓ［ｉ−１］を生成する。
MVｓ[i-1]=MV( Ls[i-1] , Ls[i] ) …式2-1（再掲示）

このベクトルデータＭＶｓ［ｉ−１］に含まれるベクトルは、低周波画像データＬｓの画素に対応するものであるので、そのベクトル総数と、低周波画像データＬｓの画素数は等しい。

次いで、ＳｉｚｅＵｐ部６４にて、動き検出部６３からのベクトルデータＭＶｓ［ｉ−１］を空間的に補間することで、ＳｉｚｅＤｏｗｎする以前の画数と同数のベクトルデータＭＶ［ｉ−１］を生成する（この部分の空間的補間は第２の実施形態と同様である）。
MV[i-1] = SizeUp( MVs[i-1] ) …式2-2-1（再掲示）

なお、動き検出部６３、ＳｉｚｅＵｐ部６４の処理は、先に説明した第２の実施形態と同じとし、その説明については省略する。

動き補償部６７は、現フレームの低周波成分データＬ［ｉ］と前フレームの低周波成分データＬ［ｉ−１］を入力する。そして、動き補償部６７は、ベクトルデータＭＶ［ｉ−１］に基づき、第２乃至第５サブフレームとして出力すべき、低周波成分を動き補償した画像ＭＣ１［ｉ−１］乃至ＭＣ４［ｉ−１］を生成する。

本実施形態における動き補償部６７は、第１サブフレームから第５サブフレームまでのオブジェクトの動きを、直線近似する。従って、動き検出部６３で得られる動きベクトルＭＶは、着目フレーム内で共通のものとして扱う。実施形態では、Ｎ＝５の例を説明しているわけであるから、それぞれのサブフレームにおける隣接するサブフレームの動きベクトルはＭＶ／５であるものとして近似する。

このような考え方に基づけば、動き補償部６７に渡す動きベクトルのデータは、第２の実施形態と同じものでよい。このようにして、動き補償部６７の出力は、第２乃至第５サブフレームとして動き補償した画像として下記のように作成される。
MC1[ i-1] = MA1( L[ i-1] , L[i] ,MV[i-1] ) 式6-2
MC2[ i-1] = MA2( L[ i-1] , L[i] ,MV[i-1] ) 式6-3
MC3[ i-1] = MA3( L[ i-1] , L[i] ,MV[i-1] ) 式6-4
MC4[ i-1] = MA4( L[ i-1] , L[i] ,MV[i-1] ) 式6-5

ここで、式6-2から式6-5をｎ＝１〜４に対応させると、式6-2から式6-5は次のようにｎに対応させて書くことができる。ｎ番目の式がｎ番目のサブフレームに対応する式である。
ＭＣｎ[ i-1] = ＭＡｎ( L[ i-1 ] , L[ i ] , MV[ i-1 ] ) …式6-6

また、本実施形態における動き補償部６７に与える動きベクトルデータは、次に示すように第２の実施形態と同じである。
ＭＶ［ｉ-1］（ｘ，ｙ）＝（ｍｖｘ（ｘ，ｙ），ｍｖｙ（ｘ，ｙ）） …式2-2-2（再掲示）

このとき、ＭＣｎ[ i-1]の具体的な生成処理は、次の通りである。

ｎ番目のサブフレームを求めるのに、Ｌｓ[ｉ]における対応点を参照する場合は式６−７に従って計算処理を行う。
ＭＣn［ｉ］（ｘ、ｙ）
＝Ｌｓ[ｉ](ｘ−mvx(x,y) *ｎ／５, y−mvy(x,y) *ｎ／５) …式6-7

ｎ番目のサブフレームを求めるのにＬｓ[ｉ＋１]における対応点を参照する場合は式６−８に従って計算処理を行う
ＭＣｎ［ｉ］（ｘ、ｙ）
＝Ｌｓ[ｉ+1](ｘ＋mvx(x,y)*（５-ｎ）／５,y＋ mvy(x,y) *（５-ｎ）／５) …式6-8

それぞれの計算結果は、適宜選択して採用してもよいし、平均値をとるなどしてもよい。

ここで、それぞれの成分において第二項が整数にならない場合は、例えば、小数部分を除いた最大整数に置き換えて計算し、それそれの式の計算結果の平均をとるなどすればよい。

そして、上記それぞれがサブフレームが、スイッチ７０の端子ｂ乃至ｅに供給されることになる。スイッチ７０は１入力フレームに対しＮ倍速（実施形態ではＮ＝５）のサブフレームを出力することになる。

以上のように本第６の実施形態に従えば、Ｎ個のサブフレームすなわち入力画像のＮ倍のフレームレートで動作する表示装置における表示画像を作成する場合にも適応できる。 以上、本発明に係る第１乃至第６の実施形態を説明した。本実施形態では、最終的に得られたＮ倍速の各フレームの出力先を特に示さなかったが、ホールド型、インパルス側表示装置のいずれでも構わない。また、出力先は、表示装置に限るものではなく、動画像ファイルとして、ＤＶＤやハードディスク等の記憶媒体や記憶装置としても構わない。

また、先の説明した第１の実施形態の変形例と同様に、第２の実施形態以降についても、それらと等価の処理もしくは機能をコンピュータプログラムの制御によって実現させることができることは明らかである。

また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それをコンピュータが有する読取装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って。かかるコンピュータ可読記憶媒体も本発明の範疇にあることも明らかである。

第１の実施形態の画像処理装置のブロック構成図である。 第２の実施形態の画像処理装置の他のブロック構成図である。 実施形態の前提となる構成における入力フレームと倍速フレームにおける時間軸に沿った映像信号の波形の例を示す図である。 実施形態における入力フレームと倍速フレームにおける時間軸に沿った映像信号の波形の例を示す図である。 従来の画像処理装置のブロック構成図である。 従来の画像処理装置のブロック構成図である。 従来の画像処理装置のブロック構成図である。 従来の画像処理装置のブロック構成図である。 実施形態の前提となる画像処理装置の構成を示す図である。 図９の構成を採用した場合のホールド型の表示装置におけるサブフレームＳＨ、ＳＬの輝度の推移を示す図である。 従来のホールド型の表示装置におけるフレームの表示タイミングを示す図である。 図９の構成を採用した場合のインパルス型の表示装置におけるフレームの表示タイミングを示す図である。 従来のインパルス型の表示装置におけるフレームの表示タイミングを示す図である。 第１の実施形態の変形例であるコンピュータプログラムの処理手順を示すフローチャートである。 第３の実施形態の画像処理装置のブロック構成図である。 第４の実施形態の画像処理装置のブロック構成図である。 第５の実施形態の画像処理装置のブロック構成図である。 第６の実施形態の画像処理装置のブロック構成図である。 従来の装置における追従視における観測波形の歪が発生する理由を説明するための図である。 従来の装置における追従視における観測波形の歪が発生する理由を説明するための図である。 従来のホールド側表示装置における追従視における観測波形の歪が発生する理由を説明するための図である。 従来のホールド側表示装置における追従視における観測波形の歪が発生する理由を説明するための図である。 本発明の前提となる構成を用いてホールド型表示装置による追従視で観測波形の歪が抑制できる理由を説明するための図である。 第１の実施形態における、ホールド側表示装置における追従視する際の波形歪が改善される理由を説明するための図である。 従来のインパルス型表示装置において追従視する場合の観測波形の歪が発生する理由を説明するための図である。 従来のインパルス型表示装置において追従視する場合の観測波形の歪が発生する理由を説明するための図である。 本発明の前提となる構成を用いてインパルス側表示装置における追従視で、観測波形の歪が抑制できる理由を説明するための図である。 第１の実施形態の装置を用いてインパルス型表示装置における追従視する際の波形歪が改善される理由を説明するための図である。

Claims (9)

1. 単位時間当たりｍ個のフレームの動画像データを入力し、単位時間当たり２ｍ個のフレームの動画像データとして出力する画像処理装置であって、
   フレームごとに画像データを入力する入力手段と、
   前記入力手段で入力した画像データから、少なくとも高周波強調画像データを生成するフィルタ手段と、
   前記入力した現フレームと、一つ前に入力したフレームとの間の動きを検出し前記入力した現フレームと、一つ前のフレームの時間的に中間に位置する動き補償した低周波成分画像データを生成するフレーム間補間手段と、
   前記一つ前に入力したフレームの前記高周波強調画像データと、前記フレーム間補間手段で作成された低周波成分画像データのそれぞれを２倍速のフレームとして出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記フィルタ手段は、前記入力画像からフレームごとに低周波成分画像データと高周波強調画像データとを生成し、
   前記フレーム間補間手段は、
   前記低周波成分画像データから、縮小画像データを生成する縮小手段と、
   前記縮小手段で得られた縮小画像データを記憶する記憶手段と、
   前記記憶手段に記憶された前フレームの縮小画像データと、前記縮小手段で得られた縮小画像データとの間の動きを検出する手段と、前記前フレームの縮小画像データと前記入力した現フレームの縮小画像データとの時間的に中間に位置する動き補償した縮小画像データを生成する動き補償手段と、
   前記動き補償手段で得られた縮小画像データを前記縮小手段による縮小前のサイズまで拡大し、拡大して得られた画像データを前記フレーム間補間した低周波成分画像データとして出力する拡大手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ手段は、前記入力画像から低周波成分画像データと高周波強調画像データとを抽出し、
   前記フレーム間補間手段は、
   前記低周波成分画像データから、縮小画像データを生成する縮小手段と、
   前記縮小手段で得られた縮小画像データを記憶する記憶手段と、
   前記縮小手段で得られた入力したフレームの縮小画像データと、前記記憶手段に記憶された前フレームの縮小画像データとの間の画素ごとの動きベクトルを検出する動き検出手段と、
   前記動き検出手段で得られた画素ごとの動きベクトルを、空間的に補間することで、前記縮小手段による縮小前のサイズの画像に対応する動きベクトルデータを生成する動きベクトル補間手段と、
   前記フィルタ手段で得られた入力フレームの低周波成分画像データと、一つ前のフレームの低周波成分画像データとの時間的に中間に位置する低周波成分画像データを、前記動きベクトル補間手段で得られた動きベクトルに基づき生成し、生成した低周波成分画像データを、前記フレーム間補間した低周波成分画像データとして出力する手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記フィルタ手段は、前記入力フレームから低周波成分画像データと高周波強調画像データとを生成し、
   前記動き検出手段は、動きを検出したか否かを示す判定信号を出力し、
   更に、
   前記判定信号が動き有りを示す場合には、前記出力手段からの画像データ中の画素データを選択出力し、前記判定信号が動き無しを示す場合には、前記入力手段で入力した一つ前のフレームの画像データ中の画素データを選択出力する領域別信号選択手段を備えることを特徴とする請求項３に記載の画像処理装置。
5. 単位時間当たりｍ個のフレームの動画像データを入力し、単位時間当たりＮｍ個のフレームの動画像データとして出力する画像処理装置であって、
   フレームごとに画像データを入力する入力手段と、
   前記入力手段で入力した画像データから、高周波強調画像データと低周波成分画像データを生成するフィルタ手段と、
   前記低周波成分画像データから縮小画像データを生成する縮小手段と、
   前記縮小手段で得られた縮小画像データを記憶する記憶手段と、
   前記縮小手段で得られたフレームの縮小画像データと前記記憶手段に記憶された一つ前のフレームの縮小画像データとの間の画素ごとの動きベクトルデータを検出する動き検出手段と、
   前記動き検出手段で得られた画素ごとの動きベクトルデータを、空間的に補間することで、前記縮小手段による縮小前のサイズの画像に対応する動きベクトルデータを生成する動きベクトル補間手段と、
   前記フィルタ手段で生成された入力フレームの低周波成分画像データと一つ前のフレームの低周波成分画像データの時間的に間に位置するＮ−１個の低周波成分画像データを、前記動きベクトル補間手段で得られた動きベクトルデータに基づいて生成する動き補償手段と、
   前記入力手段で入力した１つのフレームを入力する度に、前記フィルタ手段で得られた高周波強調画像データ、及び、前記動き補償手段で生成されたＮ−１個の低周波成分画像データそれぞれをＮ倍速のサブフレームとして出力する出力手段と
   を備えることを特徴とする画像処理装置。
6. 単位時間当たりｍ個のフレームの動画像データを入力し、単位時間当たり２ｍ個のフレームの動画像データとして出力する画像処理装置の制御方法であって、
   フレームごとに画像データを入力する入力工程と、
   前記入力工程で入力した画像データから、少なくとも高周波強調画像データを生成するフィルタ工程と、
   前記入力した現フレームと、一つ前に入力したフレームとの間の動きを検出し前記入力した現フレームと、一つ前のフレームの時間的に中間に位置する動き補償した低周波成分画像データを生成するフレーム間補間工程と、
   前記一つ前に入力したフレームの前記高周波強調画像データと、前記フレーム間補間工程で作成された低周波成分画像データのそれぞれを２倍速のフレームとして出力する出力工程と
   を備えることを特徴とする画像処理装置の制御方法。
7. 単位時間当たりｍ個のフレームの動画像データを入力し、単位時間当たりＮｍ個のフレームの動画像データとして出力する画像処理装置の制御方法であって、
   フレームごとに画像データを入力する入力工程と、
   前記入力工程で入力した画像データから、高周波強調画像データと低周波成分画像データを生成するフィルタ工程と、
   前記低周波成分画像データから縮小画像データを生成する縮小工程と、
   前記縮小工程で得られた縮小画像データを記憶する記憶工程と、
   前記縮小工程で得られたフレームの縮小画像データと前記記憶工程に記憶された一つ前のフレームの縮小画像データとの間の画素ごとの動きベクトルデータを検出する動き検出工程と、
   前記動き検出工程で得られた画素ごとの動きベクトルデータを、空間的に補間することで、前記縮小工程による縮小前のサイズの画像に対応する動きベクトルデータを生成する動きベクトル補間工程と、
   前記フィルタ工程で生成された入力フレームの低周波成分画像データと一つ前のフレームの低周波成分画像データの時間的に間に位置するＮ−１個の低周波成分画像データを、前記動きベクトル補間工程で得られた動きベクトルデータに基づいて生成する動き補償工程と、
   前記入力工程で入力した１つのフレームを入力する度に、前記フィルタ工程で得られた高周波強調画像データ、及び、前記動き補償工程で生成されたＮ−１個の低周波成分画像データそれぞれをＮ倍速のサブフレームとして出力する出力工程と
   を備えることを特徴とする画像処理装置の制御方法。
8. コンピュータが読込み実行することで、前記コンピュータを請求項１乃至５のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images