JP5202347B2 - 動画像処理装置および動画像処理方法 - Google Patents

Description

本発明は動画像処理装置および動画像処理方法に関し、特に、入力される動画像のフレーム周波数をＮ倍する際に各フレームの画像を作成する動画像処理装置およびその動画像処理方法に関する。

従来、テレビジョン等の動画表示装置といえばＣＲＴが代表的であったが、近年では、所謂液晶ディスプレイ、プラズマディスプレイ、ＦＥＤディスプレイ等が実用化され、様々な表示方式によるディスプレイが混在する状況となった。それぞれの表示方式によってもちろんその表示方法は異なる。例えば、液晶デバイスに基づく表示装置（直視型液晶表示装置、液晶リアプロジェクタ、液晶フロントプロジェクタ等）においては、スキャンの方法は複数あるが、何れの場合も、夫々の画素部分ごとに光が出力される期間は１フレーム中の大半を占める。それ故、このような表示装置はホールド型表示装置と言われる。

一方、ＣＲＴやＦＥＤ等においては、夫々の画素部分ごとに光が出力されるのは１フレーム中１回であり、かつ発光時間はフレームの長さに比べて十分短く、通常はおよそ２ｍｓｅｃ以内である。それ故、このような表示装置は、インパルス型表示装置と言われる。

さらには、所謂プラズマディスプレイ、フィールドシーケンシャルディスプレイ等、上述した分類とは異なるタイプの表示装置もある。

上記ホールド型表示装置とインパルス型表示装置はそれぞれ、以下に示すような特徴を有する。

１）ホールド型表示装置は、フレーム時間内のほとんどの時間において発光するため、光強度の時間的偏りが少なく、フリッカーがほとんど観測されない。しかしながら、追従視（動画像において動く部分を視線で追いかける見方）を行うと、フレーム内での発光期間の長さに応じて、「動きぼけ」が相対的に大きく観測される。なお、ここで言う「動きぼけ」とは、表示デバイスの応答特性に起因するものとは異なるものである。

２）インパルス型表示装置は、フレーム期間内で発光する時間が非常に短いため、光強度の時間的偏りが大きく、フレームに同期したフリッカーが観測される。しかし、追従視における「動きぼけ」はほとんど観測されず、静止している部分と大差の無い解像度が得られる。

一般に、表示装置における発光の期間は表示方式や表示デバイスごとに異なり、上記１），２）の特徴は、発光期間の長短によって両極に位置付けられる。また、発光期間と動きぼけの大きさはおよそ比例すると言われており、それぞれの方式における発光期間が長いほど、追従視における動きぼけは大きく、逆に発光期間が短いほど、動きぼけは少ない。一方、フレームに同期したフリッカーに関しては、発光期間が長いほど小さく、発光期間が短いほど大きく観測される。このように発光期間について、動きぼけとフリッカーとはトレードオフの関係にある。

これら２つの課題を同時に解決する方法は、フレーム周波数をＮ倍化することであり、実際には多くの場合にＮ＝２、すなわち倍速化される。このようにフレーム周波数を倍速化することにより、それぞれの倍速フレームにおける発光時間は半分になり、従って動きぼけも約半分になる。一方、フリッカーに関しても、例えばもとのフレーム周波数が６０Ｈｚの場合、倍速化して１２０Ｈｚにすることにより、フリッカーの周波数を人間の目の応答特性の範囲外に追いやることができ、結果的にフリッカーは観測されなくなる。

このように、フレーム周波数を倍速化（一般化するとＮ倍化）する効果は大きいのであるが、以下のような新たな問題が発生する。

例えば、もとの画像信号のフレーム周波数が６０Ｈｚの場合、画像の情報は１／６０秒単位に更新される。従って、これを倍速化して１２０Ｈｚの表示を行う場合、必要とする画像の情報が１枚おきに欠落した状態となる。その対策としてまず考えられるのは、例えば倍速であれば同一の画像を２回ずつ表示することである。しかしながら、この方法ではフリッカーは解決できるものの、動きぼけに関してはもとの画像と同じとなり、なんら解決されない。また、インパルス型の場合は追従視にともなって２重の画像が見えてしまう。

上記のような問題が起こらないように、フレーム周波数を倍速化する方法として、もとの画像のオブジェクトの動きを検出して、２つのフレーム間の画像を推定算出する方法があり、一般に「動き補償に基づく中間画像挿入方法」等と称される。この方法を用いれば、フリッカーが増大することなく、ホールド型表示装置においては動きボケがもとの半分になり、またインパルス型においては２重の画像を表示することがない。

しかしながら、この「動き補償による中間画像挿入方法」は、演算量が膨大になることや、特定の条件において推定を誤ってしまう、すなわち動きベクトルの算出を誤ってしまう等の問題がある。

そこで、以下に示すような方法が提案されている。すなわち、まず入力画像に対してフレーム毎にフィルター処理を行い、動きぼけに大きく関与する空間周波数の高周波成分と、フリッカーに大きく関与する低周波成分を分離する。そして、高周波成分を一方のサブフレーム（元のフレームに対応する２つの倍速フレームの一方）に集中させ、低周波成分を両方のサブフレーム（元のフレームに対応する２つの倍速フレームの両方）に何らかの比率で配分して表示する方法である。（例えば、特許文献１,２,３,４参照）。以下、この方法を「空間周波数分離サブフレーム配分方式」と称する。

「空間周波数分離サブフレーム配分方式」は、第一にホールド型表示装置においては、動きボケの要因となるホールド時間が実質的に、高周波成分が表示される時間に一致する。従って、倍速の一方のサブフレームに高周波成分を集中させることで、ホールド時間が半分すなわちホールド時間を原因とする動きボケを半分にすることができる。

また、低周波成分をフレーム全体に配分して（すなわち両方のサブフレームに配分して）表示されるので、例えば配分の比率が均等であればフレーム周波数のフリッカーは発生しない。または、比率を所定の範囲内に限定すればフレーム周波数のフリッカーを問題にならないレベルに抑えることができる。

また「空間周波数分離サブフレーム配分方式」は、第二にインパルス型表示装置においては、高周波成分を表示するサブフレームが倍速の一方のサブフレームであるため、すなわち空間的高周波成分を表示するのが一回だけである。したがって、フレームあたり一回だけインパルス表示するような場合と同じように、動きボケが非常に少ない（あるいは２重ボケがない）という状態を実現する。また、低周波成分のみを二つのサブフレームで表示（すなわち２回表示）するため、その比率が均等であればフレーム周波数のフリッカーは発生しない。または、比率を所定の範囲内に限定すればフレーム周波数のフリッカーを問題にならないレベルに抑えることができる。

さらに、「空間周波数分離サブフレーム配分方式」をさらに改善した方法も提案されている。例えば、フレームレートの変換をＮ倍速にしたとき、空間的高周波成分を時間的に集中させ、空間的低周波成分を時間的に分散させる。そしてさらに、空間的高周波成分、空間的低周波成分を表示する強度の時間的重心を一致させるように、サブフレームに配分することにより、追従視における画質劣化を抑制している（例えば、特許文献５，６，７参照）。
特開平６−７０２８８号公報 特開２００２−３５１３８２号公報 ＵＳ２００６／０２２７２４９Ａ１ 特開２００６−１８４８９６号公報 特願２００７−２０７１８１号公報 特願２００７−２０７１８２号公報 特願２００７−２０７１８５号公報

しかしながら、上記「空間周波数分離サブフレーム配分方式」には、以下のような課題がある。

この方式においては、例えばＮ＝２のとき、すなわち２倍速化（２つのサブフレームに分割）する場合において、高周波成分は２つのサブフレームの一方に表示され、低周波成分は２つのサブフレームに配分して表示される。以下、高周波成分が表示されるサブフレームを高周波強調サブフレーム、他方のサブフレームを高周波抑圧サブフレームと称する。

高周波強調サブフレームには高周波成分全てと、低周波成分の半分もしくは所定の比率の部分の和が配分される。また高周波抑圧サブフレームには、半分もしくは前記所定の比率の残りの低周波成分が配分される。高周波強調サブフレームの表示は、全ての高周波成分と配分された低周波成分との和が表示されることとなる。

ここで、各成分を以下の様に表現するとする。以下、入力画像をＡ、高周波成分をＨ、低周波成分をＬ、高周波強調サブフレームをＳＨ、高周波抑圧サブフレームをＳＬ、高周波強調サブフレームで表示される低周波成分をＬ1、高周波抑圧サブフレームで表示される低周波成分をＬ2、とする。

以上のような定義によれば、上記説明は以下の式で表すことができる。

まず、低周波成分Ｌを２つのサブフレームに、均等に分ける場合
ＳＨ＝Ａ−Ｌ2＝Ｈ＋Ｌ1＝Ｈ＋Ｌ／２ ・・・(1-1-1)
ＳＬ＝Ｌ2＝Ｌ／２ ・・・(1-1-2)
また、低周波成分ＬをＬ1,Ｌ2のように配分する場合、すなわちＬ1＋Ｌ2＝Ｌであり、その配分比を下式のようにｋ1，ｋ2で表すとする。

Ｌ1：Ｌ2＝ｋ1：ｋ2 （但し、ｋ1＋ｋ2＝１） ・・・(1-2)
すると、式(1-1-1)，(1-1-2)で表される各サブフレームは、ｋ1，ｋ2を用いて以下のように表現される。

ＳＨ＝Ａ−Ｌ2＝Ｈ＋Ｌ1＝Ｈ＋ｋ1×Ｌ ・・・(1-3-1)
ＳＬ＝Ｌ2＝ｋ2×Ｌ ・・・(1-3-2)
ここで、高周波成分Ｈは正の場合もあれば負の場合もあるが、低周波成分Ｌは必ず正である。また、元の画像Ａにおいて、高周波成分の最大振幅の負側は低周波成分Ｌのレベルと同じであり、正側は低周波成分Ｌを画像データの最大値（輝度１００％）から差し引いたものである。

従って、高周波強調サブフレームＳＨにおいて、Ｌ1＜Ｌであるから、Ｈが負で絶対値がＬ1より大きい場合には、ＳＨ＜０になる画素がでてくる。このような画素については、数式上ではＳＨとして負の値を表現することはできるが、実際の画像表示装置で負の光を出力することはできないため、何らかの特別な対策を施さない限り、当該画素はＳＨ＝０として表示する他ない。

以下、具体例を示す。例えば、ｋ1＝ｋ2＝０．５の場合に、もとの画像でＡ＝輝度２０％、フィルタによって空間周波数に基づいてＨとＬに分離した結果、Ｈ＝−１５％、Ｌ＝１０％となったとき、Ｌ1＝Ｌ／２＝５％であり、ＳＨ＝Ｈ＋Ｌ1＝−１０％となる。この場合、実際にはＳＨとして負の表示はできないのでＳＨ＝０として表示する他ない。このとき人間の目に見える画像としては、例えば静止していれば時間積分によってＳＨ＋ＳＬの画像が見えるので、その部分のＨは以下のようになる。

Ｈ＝Ａ−Ｌ＝ＳＨ＋ＳＬ−Ｌ＝ＳＨ−Ｌ1＝０％−５％＝−５％
上式によればＨとしては、本来−１５％であった高周波成分Ｈの凹み部分の深さが、−５％の深さの凹みとして見えてしまうことになる。これはすなわち、例えば黒になるべき細かい影の部分が、グレーのような細かい影として表示されてしまうという問題が発生することを意味する。以下、このような問題を「高周波成分の負側クリップ現象」と表現する。この「高周波成分の負側クリップ現象」は、特に低輝度において顕著である。

本発明は上述した問題を解決するためになされたものであり、以下の機能を有する動画像処理装置および動画像処理方法を提供することを目的とする。すなわち、１フレームの高周波成分を第１のサブフレームに集中させ、低周波成分を第１および第２のサブフレームに配分する際に、フリッカを抑制しつつ、高周波成分の負側クリップ現象を抑制して動画視認性を高める。

上記目的を達成するための一実施形態として、本発明の動画像処理装置は以下の構成を備える。

すなわち、１フレームの画像データに基づいて２つのサブフレームの画像データを作成する際に、１フレームの画像データにおける高周波成分を第１のサブフレームに集中させ、低周波成分を前記第１のサブフレームおよび第２のサブフレームに配分する動画像処理装置であって、着目フレームの画像データから、低周波成分Ｌを抽出する抽出手段と、前記低周波成分Ｌを、前記第１のサブフレームＳＨおよび前記第２のサブフレームＳＬに、第１の低周波成分Ｌ1および第２の低周波成分Ｌ2としてそれぞれ配分するために、前記低周波成分Ｌにおける前記第２の低周波成分Ｌ2の配分を決定する配分手段と、前記第２の低周波成分Ｌ2を前記着目フレームの画像データから減じることによって、前記低周波成分Ｌにおける前記第１の低周波成分Ｌ1と前記着目フレームにおける高周波成分Ｈとの和として、前記第１のサブフレームＳＨを作成する第１のサブフレーム作成手段と、前記第２の低周波成分Ｌ2に基づいて、前記第２のサブフレームＳＬを作成する第２のサブフレーム作成手段と、を有し、前記配分手段は、前記低周波成分Ｌのレベルが予め定められた境界レベルよりも低い低レベル領域にある場合と、該境界レベルよりも高い高レベル領域にある場合とで、前記第２の低周波成分Ｌ2の配分比率を、前者では相対的に小さくし、後者では０．５を超えない範囲で相対的に大きくすることを特徴とする。

例えば、前記第２のサブフレーム作成手段は、前記着目フレームとその１つ前のフレームにおける前記第２の低周波成分Ｌ2の平均を取ることにより、該着目フレームに対応する前記第２のサブフレームを作成することを特徴とする。

例えば、前記配分手段は、前記第２の低周波成分Ｌ2を前記低周波成分Ｌのレベルに対して非線形に配分し、その変曲点が前記境界レベルとなることを特徴とする。

上記構成からなる本発明によれば、１フレームの高周波成分を第１のサブフレームに集中させ、低周波成分を第１および第２のサブフレームに配分する際に、以下のような効果が得られる。すなわち、高レベル領域ではフリッカを抑制を優先し、また低レベル領域では高周波成分の負側クリップ現象の抑制を優先することによって、動画視認性が高まる。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
本実施形態は、上記従来例に示した、１フレームの画像データにおける高周波成分を第１のサブフレームに集中させ、低周波成分を前記第１のサブフレームおよび第２のサブフレームに配分する「空間周波数分離サブフレーム配分方式」による動画表示を行う。そしてこのとき、「高周波成分の負側クリップ現象」を抑制することを特徴とする。

本実施形態は、同一発明者により提案された特許文献５に記載された構成例に対して改良を加えた構成を示す。しかしながら、上記特許文献３，４に記載された構成例に対して本実施形態を適用した場合にも同様の効果が得られるため、この場合も本発明の範疇である。

なお、本実施形態に係る動画像処理装置においては、例えばフレーム周波数６０Ｈｚの画像信号を入力し、表示リフレッシュレート１２０Ｈｚで表示するための信号を出力するとする。すなわち、フレーム周波数６０Ｈｚの信号から、１／１２０秒の出力フレーム（サブフレーム）を２つ作成することになる。

●システム構成
図１は、本実施形態における動画像処理装置の構成を示すブロック図である。同図によれば、フレーム周波数６０Ｈｚでフレーム単位に入力される入力画像Ａに基づいて、第１のサブフレームとしての空間的高周波強調画像(ＳＨ)と、第２のサブフレームとしての空間的高周波抑圧画像（ＳＬ）を作成する。そして、これらをスイッチ１２によって１／１２０秒ごとに切り替えることにより、倍速化した出力を行う。

本実施形態では出力の輝度レベルを、インパルス型であれば、フレーム周波数６０Ｈｚでフレームあたり１回表示する場合と同等となるようにする。またホールド型であれば、フレーム周波数６０Ｈｚで表示期間が５０％（残りの５０％が黒挿入）の場合と同等となるようにする。このために、１／２倍回路１１を備える。なお、ホールド型で表示期間の比率が１００％である場合、あるいは、インパルス型で２回ずつ表示する場合と同等の輝度を得る場合であれば、１／２倍回路１１は不要である。

本実施形態において後述する各演算は、表示装置から発する輝度レベルに対して定義される。従って、まず、表示系のガンマを求め、その実効的なガンマと同等の特性を有するガンマ変換回路１を挿入することにより、表示装置の輝度に比例したデータに変換した後に、全ての演算を行う。そして演算終了後、逆ガンマ変換回路８を介することによって、演算結果は元のデータ形式に戻される。

１／２倍回路１１から出力された入力画像Ａ／２は、図１の上段および下段にそれぞれ示されるの２つのパスに分かれ、上段のパスは第１のサブフレーム作成手段として機能し、下側のパスは第２のサブフレーム作成手段として機能する。すなわち、上段のパスによって第１のサブフレームである高周波強調画像(ＳＨ)が生成され、下側のパスによって第２のサブフレームである高周波抑圧画像(ＳＬ)が生成される。

まず下段に示されるパスにおいては、空間的ローパスフィルタ（ＬＰＦ）２を介して、入力画像の空間的低周波成分Ｌ（図中ではＬ／２で表される）が抽出される。本実施形態において、入力画像を高周波成分Ｈと低周波成分Ｌとに分ける空間周波数は、このＬＰＦ２の通過帯域の上限を決める定数（距離定数Ｄ、本実施形態ではＤ＝８pixel）によって決定される。

空間的ＬＰＦ２が施された後、さらに非線形フィルタ３を施すことにより、低周波成分に非線形処理を施したＬ2が生成される。このＬ2は、高周波抑圧画像ＳＬを決定するための低周波成分である。すなわち本実施形態では、第１のサブフレームＳＨに第１の低周波成分Ｌ1を配分し、第２のサブフレームＳＬに第２の低周波成分Ｌ2を配分する。

ここで、Ｌに対する非線形フィルタ３の関数として、元の低周波成分Ｌに対する関数Ｆ(Ｌ)を定義する。すなわちＬ2＝Ｆ(Ｌ)である。ここで、非線形フィルタ３が無い場合には、Ｌ2＝Ｌ／２となる。

また上段のパスにおいて、減算器４、加算器５を介して下段のＬ2が提供されることにより、高周波強調画像ＳＨが算出される。高周波強調画像ＳＨの低周波成分をＬ1とすると、ＳＨ＝Ｈ＋Ｌ1で表され、入力画像の低周波成分Ｌは、Ｌ＝Ｌ1＋Ｌ2の関係となる。また、このように低周波成分ＬをＬ1とＬ2に配分する際の配分比ｋ1：ｋ2は、Ｌ1：Ｌ2＝ｋ1：ｋ2（但し、ｋ1＋ｋ2＝１）である。なお遅延器７では、ＳＨの出力をＳＬの出力タイミングにあわせるために１フレーム分遅延させる。

本実施形態では、上述した特許文献５，６，７にも記載されているように、低周波成分Ｌと高周波成分Ｈの表示時間の重心を一致させるために、フレーム間平均化回路６を備える。これにより高周波抑圧画像ＳＬは、着目フレームに対応するｉ番目のＬ2と、その１つ前のフレームに対応するｉ−１番目のＬ2との平均、すなわちＳＬ[i]＝(Ｌ2[i]＋Ｌ2[i-1])／２と定義される。以降、フレーム間の平均等に関する説明のときはフレーム番号[i]を付すが、フレーム間に関与しない説明の場合には、フレーム番号[i]を省略して説明を行う。

以上の説明を下式群にまとめる。

Ｌ2＝Ｆ(Ｌ) ・・・(2-1)
Ｌ1＋Ｌ2＝Ｌ ・・・(2-2)
ＳＨ＝Ａ−Ｌ2＝Ｈ＋Ｌ1 ・・・(2-3)
ＳＬ[i]＝(Ｌ2[i]＋Ｌ2[i−1])／２ ・・・(2-4)
なお、本実施形態を上述した特許文献３，４に適用する場合であれば、低周波成分Ｌと高周波成分Ｈの表示時間の重心を一致させる必要がないため、フレーム間平均化回路６は不要となる。この場合、上記式(2-4)に代えて、以下の式(2-5)を用いる。

ＳＬ＝Ｌ2 ・・・(2-5)
本実施形態においてはＬ1とＬ2の配分比を適切に設定することを目的とするが、この配分比は非線形フィルタ３の特性Ｆ(Ｌ)によって定義される。すなわち、非線形フィルタ３の特性Ｆ(Ｌ)によってＬ2が決定され、上記式(2-2)に基づいてＬからＬ2を差し引くことにより、Ｌ1が決定される。すなわち本実施形態においては、非線形フィルタ３の特性Ｆ(Ｌ)を定義することによって、Ｌを構成するＬ1，Ｌ2の比率がＬのレベルごとに決定され、それによりＳＨ，ＳＬの非線形特性が決定される。

上述したように本実施形態は、「空間周波数分離方式サブフレーム配分方式」によるフリッカ抑制効果と、該方式による弊害である「高周波成分の負側クリップ現象」の改善と、を両立するように、Ｌ1およびＬ2を配分することを特徴とする。

一般に、フリッカには高周波成分はほとんど関与せず、低周波成分の偏りによってのみ決まる。高周波成分は微小領域ごとに極性が異なり、全体としてゼロになるような特性であるため、たとえ微小領域でフリッカがあっても、広い領域で平均化すると相殺されてゼロとなる。一方、低周波成分は極性がすべて正であるため、低周波成分のフリッカはそのまま、画像の領域ごとのフリッカとして現れてしまう。

また、それぞれの領域あるいはＬのレベルごとのＬ1とＬ2の差（Ｌ1−Ｌ2）をＦＬとする。このＦＬは、人間によるフリッカの感じ方の大きさをほぼ決定する要因となる。

●本実施形態の課題
以下、本実施形態の理解を助けるために、一般的な「空間周波数分離方式サブフレーム配分方式」において本実施形態が解決すべき課題について、図３,４,５に示す低周波特性を用いて詳細に説明する。

図３，４，５は同一スケールであり、横軸は入力画像の低周波成分Ｌ（すなわち図１における非線形フィルタ３の入力Ｌ／２の２倍）を表し、縦軸はＳＨの低周波成分Ｌ1およびＳＬの低周波成分Ｌ2を表す。すなわち、それぞれの図に示す直線または曲線は、入力画像の低周波成分の各レベルに対する、Ｌ1またはＬ2のレベルを表している。なお、縦軸、横軸とも表示輝度のレベルに比例した画像データを表し、最小値を０、最大値を１００とする。また、説明の簡便のために、高周波強調サブフレームＳＨにおける高周波成分Ｈの様子を表現上、サインカーブの一波形やパルス波形として適宜使用する。なお、高周波成分Ｈは「空間周波数分離方式サブフレーム配分方式」の場合、Ｌ1（図中破線で表される）に上乗せされるものである。したがって、高周波成分Ｈとして負側の取りうる最大値はＬ1の振幅で決まり、正側のとりうる最大値はＬ1の輝度１００までの余裕度で決まる。

図３は、ＳＨ＝Ａ，ＳＬ＝０、すなわち、全ての輝度をＳＨのサブフレームで表示する場合の、低周波特性を示す。すなわち倍速ではなく、６０Ｈｚの表示を行っている場合と同等の低周波特性を示しているため、本実施形態における入力画像を表現しているともいえる。図３のような場合、すなわちＬ2への配分はないとみなせるため、フリッカを決めるＦＬは、常に下式のように最大値として示される。

ＦＬ(Ｌ)＝Ｌ−０＝Ｌ ・・・(3-1-0)
またこの場合の高周波成分Ｈとしては、常に下式のように最大振幅を取ることができる。なお、下式においてＨup_maxは高周波成分Ｈの正側の取りうる振幅の最大値、Ｈbtm_maxは高周波成分Ｈの負側の取りうる最大値である。

Ｈup_max＝１００−Ｌ ・・・(3-1-1)
Ｈbtm_max＝Ｌ ・・・(3-1-2)
詳細は後述するが本実施形態においては、フリッカを抑制しつつ、「高周波成分の負側クリップ現象」を抑制するために、btm_maxをいかに大きくとるか、ということを課題とする。

図４は、上記特許文献３，４に記載された構成、または同一発明者による上記特許文献５に記載された構成において得られる低周波特性を示す。これら各構成においては、Ｌ1＝Ｌ2＝Ｌ／２、すなわちＬ1とＬ2の配分比率が０.５：０.５である。このときのフリッカの振幅、および高周波成分の最大振幅は下式のようになる。

ＦＬ＝Ｌ1−Ｌ2＝０ ・・・(3-2-0)
Ｈup_max＝１００−Ｌ1＝１００−０.５Ｌ ・・・(3-2-1)
Ｈbtm_max＝Ｌ1＝０.５Ｌ ・・・(3-2-2)
ここで式(3-2-2)について、図３に関する式(3-1-2)と比較するとＨbtm_maxの値が半分になっていることに注目されたい。すなわち、高周波成分Ｈのマイナス側のとりうる最大振幅が０.５Ｌになってしまっている。

図５は、同一発明者による特許文献５に記載された構成において、Ｌ1とＬ2の配分比率を０.７：０.３にした場合に得られる低周波特性を示す。この場合のフリッカの振幅、および高周波成分の最大振幅は下式のようになる。

ＦＬ＝Ｌ1−Ｌ2＝０.４Ｌ ・・・(3-3-0)
Ｈup_max＝１００−Ｌ1＝１００−０.７Ｌ ・・・(3-3-1)
Ｈbtm_max＝Ｌ１＝０.７Ｌ ・・・(3-3-2)
図５の場合は、図４の場合に比べてＦＬの値は大きいものの、Ｈbtm_maxの値は図３の場合の０.７倍である。

以上のことから、図３，４，５に示す低周波特性はいずれも線形であり、図３→図５→図４の順に、フリッカは少なくなるが高周波成分の負側の振幅の取りうる最大値が小さくなることが分かる。

そこで、フリッカと高周波成分の負側振幅をバランス良く両立させるために、図３でも図４でもなく、例えば図５のように其々がほどほどとなるように、Ｌ1とＬ2の配分を決めるという方法が、まず考えられる。

一般に、Ｈbtm_maxが制限されて画像に影響する、すなわち実画像でＨの負側がＬ1に対して相対的に大きくなり、計算上、高周波強調画像ＳＨが負になってクリッピングされてしまうケースは、Ｌのレベルが低い場合である。具体的な例としては、画像中の比較的暗い部分におけるオブジェクトの、特に影になる部分などは、Ｌ1の値に対してＨの負側の振幅が大きくなりがちである。一方、Ｌのレベルが高い領域（広い範囲が明るい領域）においては、Ｌ1の値に対してＨの負側の値が相対的に大きくなる頻度は少ない。従って、特にＬが低レベルの時にＬ1の配分比率を大きくして、Ｈbtm_maxの値を大きく取れるようにすることによって、「高周波成分の負側クリップ現象」が抑制できると考えられる。

一方、フリッカという観点から見ると、輝度レベルが高い部分はフリッカが見えやすく、輝度レベルの低い部分はフリッカが見えにくいという、人間の視覚特性がある。この観点からすれば、Ｌのレベルが高い領域についてはなるべくフリッカが目立たないように、Ｌ1とＬ2の配分比率があまり大きく偏らないようにする必要がある。また、Ｌのレベルが低い領域については、Ｌ1とＬ2の配分比率をある程度偏らせても構わないということになる。

このような「高周波成分の負側クリップ現象」の抑制とフリッカの抑制とは、ちょうど相容れる傾向にあるため、本実施形態ではこれらのを両立させることを目的とする。すなわち、Ｌのレベルが低い領域においてはＨbtm_maxを優先してＬ1の配分比率を大きくし、Ｌのレベルが高い領域においてはフリッカが目立たないようにＬ1とＬ2の配分比率の偏りを小さくする。

●本実施形態における非線形フィルタ特性
本実施形態では上述したように、Ｌのレベルが低い領域においてはＬ1の配分比率を大きくし、Ｌのレベルが高い領域においてはＬ1とＬ2の配分比率の偏りを小さくする。以下、本実施形態における低周波特性を図６に示す。図６に示す低周波特性はすなわち、本実施形態の非線形フィルタ３におけるＬ1とＬ2の非線形特性である。なお、図６も上述した図３，４，５と同一スケールであり、特性曲線（図６では直線）の変曲点となるＬの値をＬ_ifxとする。本実施形態では、この変曲点をＬの境界レベルとして、Ｌを低レベル領域と高レベル領域に分割する。

本実施形態では図６に示されるように、Ｌが低レベルのとき、すなわちＬ≦Ｌ_ifxの領域では、Ｌ2の傾きを０．０５にしている。すなわち下式に示すように、Ｌ1とＬ2の配分比率を０．９５：０．０５とし、Ｌ1の配分比率を極めて大きくすることによって、Ｈbtm_maxの値が図３に示した１：０の場合に近づくようにしている。

Ｌ1：Ｌ2＝０．９５：０．０５ （Ｌ≦Ｌ_ifxの領域） ・・・(3-4-1)
Ｈbtm_max＝Ｌ1＝Ｌ×０．９５ （Ｌ≦Ｌ_ifxの領域） ・・・(3-4-2)
一方、Ｌが高レベルのとき、すなわちＬ＞L_ifxの領域においては、Ｌ1，Ｌ2を下式のようにしている。

Ｌ1＝Ｌ／２＋１５ (Ｌ＞L_ifxの領域) ・・・(3-4-3)
Ｌ2＝Ｌ／２−１５ (Ｌ＞L_ifxの領域) ・・・(3-4-4)
これにより、高レベル領域において常に下式が成立する。

ＦＬ＝Ｌ1−Ｌ2＝３０ (Ｌ＞L_ifxの領域 ) ・・・(3-4-5)
すなわち、Ｌ＞L_ifxの高レベル領域では、Ｌが大きくなるにつれてＬ2の配分比率を徐々に高め、Ｌが最大となるところではほぼＬ1：Ｌ2＝０．６５：０．３５となるようにしている。ただし、Ｌが高レベルの領域では、常にＬ1＞Ｌ2であるため、Ｌ2がＬ／２すなわち０．５を超えることはない。

本実施形態では、Ｌ＞L_ifxである高レベルの画像領域において、ＦＬを容認できる範囲で同じ値にすることによって、特定の領域でＦＬ値が突出してその部分のＦＬが全体のフリッカの評価を支配的に決めてまうことがないようにする。これにより、容認できる範囲でのフリッカということを前提として、Ｌ1：Ｌ2の配分比率をＬ1に最大限偏らせることができ、高レベル領域においても「高周波成分の負側クリップ現象」の発生を抑制することができる。

従って本実施形態における低周波特性は、以下のような非線形特性を呈する。すなわち図６に示すように、まず低レベルの領域ではＬ1の配分比率を著しく大きくする。そしてＬが所定レベル以上となる高レベルの領域では、全領域でＦＬ値がほぼ均一になるように、Ｌ1およびＬ2のグラフをＬ／２と略平行にし、Ｌ／２のグラフを中心としてそれぞれＦＬ/２の分だけオフセットしたような形態とする。

●パラメータ有効範囲
本実施形態のような非線形特性による効果は、各パラメータが一般的なユーザの認識レベルに基づいて規定した範囲にあれば有効である。以下、本実施形態における各パラメータの有効範囲について説明する。

まずＬ≦Ｌ_ifxの低レベル領域においては、たとえばＬ_ifx＝３０としたとき、Ｌ2のＬに対する傾きを０．３以下にすれば、８０％以上の人が図４の方法に比較してＨbtm_maxが改善された感覚を得る。さらに、該傾きを０．１５以下にすれば、８０％以上の人が図３の方法に比較して、Ｈbtm_maxについて遜色がないという感覚を得る。

また、Ｌ＞Ｌ_ifxの高レベル領域においては、フレーム周波数６０Ｈｚであれば、ＦＬ＝１０のとき８０％の人がフリッカを感じ始め、ＦＬ＝５０のとき８０％の人がフリッカを不快と感じ始める。本実施形態ではこれを定量的に表現するために、Ｌ2の曲線を以下のような数式で表す。

まずＬ2は、Ｌの関数Ｆ(Ｌ)で定義される。

Ｌ2＝Ｆ(Ｌ) ・・・(4-1-1)
ここでＦ(Ｌ)としては、Ｌ2の低レベル領域および高レベル領域のそれぞれにおける関数ｆ1(Ｌ)およびｆ2(Ｌ)の大きいほうの値を選択すれば良いため、以下のように表される。

Ｆ(Ｌ)＝max(ｆ1(Ｌ)，ｆ2(Ｌ)) ・・・(4-1-2)
実際には、Ｌ＝Ｌ_ifxでｆ1(Ｌ)とｆ2(Ｌ)の大きさが逆転するのであるが、この値は曲線を定義する式には含まれてはいない。

ここで下式に示すように、ｆ1(Ｌ)のＬに対する傾きをａａ、ｆ2(Ｌ)のＬに対する傾きをｂｂとし、さらにｆ2(Ｌ)とＬ＝Ｌ／２との差をＦＬ／２とする。

d(ｆ1)/d(Ｌ)＝ａａ ・・・(4-2-1)
d(ｆ2)/d(Ｌ)＝ｂｂ ・・・(4-3-1)
ｆ2(Ｌ)＝Ｌ／２−ＦＬ／２ ・・・(4-3-2)
本実施形態においては、上述した非線形特性を決定するパラメータとして、傾きａａおよび差分ＦＬの有効範囲を、人間の視覚を検証する実験に基づいて下式のように規定することによって、十分な効果が得られる。

０≦ａａ＜０．３ ・・・(4-4-1)
０＜ＦＬ＜２５ ・・・(4-4-2)
また、本実施形態において図６に示す非線形特性としては、ｆ2がＬ／２におよそ平行であり、なおかつ、Ｌが大きくなるに従ってＦＬが大きくならないことが望ましいため、傾きｂｂについても以下のように規定する。

０．５≦ｂｂ＜０．６ ・・・(4-4-3)
以上説明したように本実施形態によれば、パラメータの範囲を限定した上で、低周波特性を非線形に規定することによって、Ｌの低レベル領域においてはＬ1の配分比率を大きくし、高レベル領域においてはＬ1とＬ2の配分比率の偏りを小さくする。言い換えれば、Ｌが低レベル領域にある場合と高レベル領域にある場合とで、Ｌ2の配分比率を前者では相対的に小さくし、後者では０．５を超えない範囲で相対的に大きくする。

これにより、特に高レベル領域では「空間周波数分離サブフレーム配分方式」によるフリッカ抑制効果を保ちつつ、低レベル領域では「高周波成分の負側クリップ現象」を抑制することができ、良好な動画視認性を得ることができる。

＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。第２実施形態における動画像処理装置の構成は、上述した第１実施形態で図１に示した構成と同様であるため、説明を省略する。

●非線形フィルタ特性
図７に、第２実施形態の非線形フィルタ３におけるＬ1とＬ2の非線形特性を示す。なお、図７も上述した第１実施形態で示した図６と同一スケールであり、特性曲線（図７では直線）の変曲点となるＬの値をＬ_ifxとする。

図７に示すように第２実施形態における非線形特性としては、Ｌのレベルが高いＬ＞Ｌ_ifxの領域において、Ｌのレベルが高くなるにつれてＬ1とＬ2の差が小さくなることが、上述した第１実施形態と異なる。

ここで、第１実施形態と第２実施形態の違いについて詳細に説明する。まず、人間がフリッカを意識する程度を決める要因は、第１に、画面上で最もＦＬ値が大きい部分のフリッカである。そして第２に、画面全体のＦＬ値の総和に基づくフリッカである。

上述した第１実施形態においては、特にＬのレベルが低い領域において、高周波成分Ｈのマイナス側の取りうる最大値Ｈbtm_maxとして所定の値を確保することによって、上記第１の要因すなわち、画面上で最大となるＦＬ値を抑えていた。すなわち、画面上のＬ＞Ｌ_ifxである領域においてＦＬ値が突出した部分を作らないようにしていた。

一方、第２実施形態においては、第１実施形態と同様に特にＬのレベルが低い領域でにおけるＨbtm_maxとして所定の値を確保しつつさらに、上記第２の要因すなわち、画面全体でのＦＬ値の総和をできるだけ下げるようにすることを特徴とする。

そこで第２実施形態においては、Ｈbtm_maxを所定値として確保する上で、Ｌのレベルごとにプライオリティを考慮する。具体的には、Ｌのレベルが小さい部分ではＨbtm_maxを大きく確保することを最優先とする。そしてＬのレベルが大きくなるに従って、Ｈbtm_maxよりもＬ1とＬ2の差を小さくする事を優先する。

図７に示した非線形フィルタ３の特性は、以下のように定量的に表現される。まず第１実施形態（図６）と同様に、Ｌ2はＬの関数Ｆ(Ｌ)で定義される。

Ｌ2＝Ｆ(Ｌ) ・・・(5-1-1)
ここでＦ(Ｌ)としては、Ｌ2の低レベル領域および高レベル領域のそれぞれにおける関数ｆ1(Ｌ)およびｆ2(Ｌ)の大きいほうの値を選択すれば良いため、以下のように表される。

F(Ｌ)＝max(ｆ1(Ｌ)，ｆ2(Ｌ)) ・・・(5-1-2)
したがって実際には、Ｌ＝Ｌ_ifxを境界として、Ｌ2は以下のようになる。

Ｌ≦Ｌ_ifx のとき Ｌ2＝ｆ1(Ｌ) ・・・(5-1-3)
Ｌ＞Ｌ_ifx のとき Ｌ2＝ｆ2(Ｌ) ・・・(5-1-4)
そして第１実施形態と同様に、ｆ1(Ｌ)のＬに対する傾きをａａ、ｆ2(Ｌ)のＬに対する傾きをｂｂとする。

d(ｆ1)/d(Ｌ)＝ａａ ・・・(5-2-1)
d(ｆ2)/d(Ｌ)＝ｂｂ ・・・(5-3-1)
ここで第２実施形態では、変曲点Ｌ_ifxより下のレベルについては、ｆ1(Ｌ)の傾きに対する考え方は上述した第１実施形態と同様であるため、傾きａａの有効範囲を第１実施形態と同様に、下式のように規定する。

０≦ａａ＜０．３ ・・・(5-4-1)
また、変曲点Ｌ_ifxより上のレベルについては、ｆ2(Ｌ)の傾きｂｂは、Ｌ2=Ｌ／２の傾き以上、すなわち０．５以上であるため、傾きｂｂの有効範囲を下式のように規定する。

０．５≦ｂｂ ・・・(5-4-2)
またｆ2(Ｌ)については、下式のようにＬ2=Ｌ／２を超えない。

ｆ2(Ｌ)≦Ｌ／２ ・・・(5-4-3)
以上各式(5-4-1，5-4-2，5-4-3)の規定により、下式が実現される。

d(ＦＬ(Ｌ))／dＬ≦０ ・・・(5-4-4)
式(5-4-4)によれば、Ｌのレベルが大きくなるに従って、Ｌ1とＬ2の差であるＦＬが小さくなることが分かる。これにより、上記第２の要因すなわち、画面全体でのＦＬ値の総和を下げることができる。

以上説明したように第２実施形態によれば、非線形フィルタ３の非線形特性として、高レベル領域であるほどＦＬが小さくなるように規定することによって、上述した第１実施形態に対してさらに、フリッカを抑制することができる。

＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。第３実施形態においては上述した第２実施形態に対し、さらに入力画像に含まれる高周波成分のレベルに応じて、低周波成分に対する非線形フィルタの特性（高レベル領域における傾き）を補正し、適応的な非線形制御を行うことを特徴とする。

●システム構成
図２Ａは、第３実施形態における動画像処理装置の構成を示すブロック図である。同図は、第１実施形態で図１に示したブロック構成に対して、負値検出部１３および配分補正部１４が追加されていることを特徴とする。

負値検出部１３は、補正前のＳＨの値を画像全体にわたってサーチして、絶対値が最も大きい負値（ピーク負値）を検出し、このピーク負値によって縮小率αを決定して配分補正部１４に渡す。第３実施形態においては後述するように、Ｌ2＝Ｆ(Ｌ)の大きさが全てのＬに対して同率（縮小率α）に縮小されるように制御する。

配分補正部１４は、乗算器１５、減算器１６、加算器１７より構成される。乗算器１５で縮小率αに従ってＬ2の値を縮小し、次に該縮小によるＬ2の減少分である乗算器１５の前後の差分を減算器１６によって算出し、該減少分を加算器１７によってＳＨの側に足しこむ。

第３実施形態では以上の構成により、Ｌ2を縮小率によって制御し、かつＬ1＋Ｌ2は一定の値（すなわちＬ）になるように制御し、その結果、Ｌ1が所定の値になるように制御される。これにより、第３実施形態の目的とする非線形制御を実現することができる。

第３実施形態では図２Ａに示す構成により、非線形フィルタ３を直接変更することなく、非線形フィルタ３の後段においてその出力に対して補正を加えることによって、実質的に非線形フィルタ３の特性を変えたことと同等の効果が得られる。

なお、負値検出部１３においてαの初期値は１であるが、ピーク負値が検出されると、該ピーク負値に基づいてαは１未満の正値となり、ピーク負値が大きいほどαは小さくなってＬ2が大きく縮小され、それに応じてＬ1が増大する。これにより、ＳＨにおける負側クリップ現象を回避することができる。また、ピーク負値が小さいほどαは大きくなってＬ2がより増大するため、Ｌ1とＬ2の配分比率の偏りをより小さくすることができ、効果的にフリッカを抑制することができる。なお、次のフレームの処理時にαは初期化されず、前回のピーク負値の影響を残す。

ここで図１２に、第３実施形態におけるαの応答特性例（１／αで表示）を示す。同図によればαはピーク負値に対応して変化し、時定数τの減衰特性によって１にゆっくり戻るという応答特性を呈する。時定数τの大きさとしては、数フレームから十数フレームであることが望ましい。

●ＳＨ，ＳＬ作成処理
以下、第３実施形態におけるＳＨ，ＳＬの作成処理について、１フレーム分の処理を図１０のフローチャートを用いて説明する。

まずステップＳ１０１において、入力画像に対して空間的ＬＰＦ２をかける。次にステップＳ１０２では配分補正部１４において不図示の読み込み部より、図１２に示すような応答特性に基づいた、その時点でのα値（以下、仮αと称する）を読み込む。そしてステップＳ１０３において、非線形フィルタ３を用いてＬ2を算出する。

そしてステップＳ１０４で配分補正部１４において、仮αおよびＬ2に基づいてＳＨを仮補正する。次にステップＳ１０５で配分補正部１４は不図示の制御部において、ステップＳ１０４で仮補正したＳＨにおいて負になる領域があるか否かを検出する。負になる領域があればステップＳ１０６に進むが、なければそのままステップＳ１０９へ進む。

ステップＳ１０６では負値検出部１３において、ＳＨのピーク負値に基づいて新たなα値を算出する。そしてステップＳ１０７で配分補正部１４において、ステップＳ１０６で新たに算出されたαに基づいてＳＬを補正（縮小）し、さらにステップＳ１０８でＳＬの補正量に基づいてＳＨを補正する。

そしてステップＳ１０９において、配分補正部１４で算出されたＳＨ，ＳＬを出力することによって、当該フレームの処理を終了する。

●非線形フィルタ特性
図８に、低周波成分におけるＬ1とＬ2の非線形特性に対し、第３実施形態における適応的制御を施した例を示す。なお、図８も上述した第２実施形態で示した図７と同一スケールであり、特性曲線（図８では直線）の変曲点となるＬの値をＬ_ifxとする。第３実施形態における非線形特性は、基本的には上述した第２実施形態で式(5-1-1)〜(5-4-4)によって定義されるものと同様である。

上述したように第３実施形態においては、負値検出部１３で検出されるピーク負値に基づいて、Ｌ2＝Ｆ(Ｌ)の大きさをすべてのＬに対して同率に縮小する。第３実施形態においては、上記制御の結果としての縮小率をαとしたとき、上述した第２実施形態における式(5-1-1)，(5-1-3)，(5-1-4)をそれぞれ、以下の式(6-1)，(6-2)，(6-3)に置き換えて表現することができる。

Ｌ2＝α×Ｆ(Ｌ) ・・・(6-1)
Ｌ≦Ｌ_ifx のとき Ｌ2＝α×ｆ1(Ｌ) ・・・(6-2)
Ｌ＞Ｌ_ifx のとき Ｌ2＝α×ｆ2(Ｌ) ・・・(6-3)
これにより第３実施形態では図８に示すように、Ｌ1，Ｌ2が例えばＬ1(0)とＬ2(0)、Ｌ1(1)とＬ2(1)、のように、縮小率αに応じて適応的に制御される。

以上説明したように第３実施形態によれば、上述した第２実施形態に対し、さらに入力画像に含まれる空間的高周波成分のレベルに応じて非線形フィルタ３の特性における高レベル領域での傾きを補正する。これにより、フリッカ抑制を行いつつ、ＳＨにおける負側クリップ現象をより効果的に回避することができる。

＜第４実施形態＞
以下、本発明に係る第４実施形態について説明する。第４実施形態においては上述した第２実施形態に対し、さらに入力画像に含まれる空間的高周波成分のレベルに応じて、低周波成分に対する非線形フィルタの特性（変曲点）を変え、適応的な非線形制御を行うことを特徴とする。

●システム構成
図２Ｂは、第４実施形態における動画像処理装置の構成を示すブロック図である。同図は、第１実施形態で図１に示したブロック構成に対して、負値検出部１３および非線形補正部１８が追加されていることを特徴とする。

負値検出部１３は上述した第３実施形態と同様に、補正前のＳＨの値を画像全体にわたってサーチして最も大きい負値（ピーク負値）を検出し、このピーク負値によってオフセット補正量βを決定して非線形補正部１８に渡す。非線形補正部１８では、補正量制御部１９によってオフセット補正量βに応じた実際の補正量が決定される。そして減算器２１によってＬ2から該補正量が減算されてＳＬが生成され、一方、加算器２０によってＬ1に該補正量が加算されてＳＨが生成される。

第３実施形態では図２Ｂに示す構成により、非線形フィルタ３を直接変更することなく、非線形フィルタ３の後段においてその出力に対して補正を加えることによって、実質的に非線形フィルタ３の特性を変えたことと同等の効果が得られる。

なお、負値検出部１３においてβの初期値は０であるが、ピーク負値が検出されると、該ピーク負値に基づいてβに所定の値が設定される。すなわち、ピーク負値が大きいほどβは大きくなってＬ2から減算され、それに応じてＬ1が増大する。これにより、ＳＨにおける負側クリップ現象を回避することができる。また、ピーク負値が小さいほどβは小さくなってＬ2がより増大するため、Ｌ1とＬ2の配分比率の偏りをより小さくすることができ、効果的にフリッカを抑制することができる。なお、次のフレームの処理時にβは初期化されず、前回のピーク負値の影響を残す。

ここで図１３に、第４実施形態におけるβの応答特性例を示す。同図によればβはピーク負値に対応して変化し、時定数τの減衰特性によって０にゆっくり戻るという応答特性を呈する。時定数τの大きさとしては、数フレームから十数フレームであることが望ましい。

●ＳＨ，ＳＬ作成処理
以下、第４実施形態におけるＳＨ，ＳＬの作成処理について、１フレーム分の処理を図１１のフローチャートを用いて説明する。

まずステップＳ２０１において、入力画像に対して空間的ＬＰＦ２をかける。次にステップＳ２０２では非線形補正部１８において不図示の読み込み部より、図１３に示すような応答特性に基づいた、その時点でのβ値（以下、仮βと称する）を読み込む。そしてステップＳ２０３において、非線形フィルタ３を用いてＬ2を算出する。

そしてステップＳ２０４で非線形補正部１８において、仮βおよびＬ2に基づいてＳＨを仮補正する。次にステップＳ２０５で非線形補正部１８は不図示の制御部において、ステップＳ２０４で仮補正したＳＨにおいて負になる領域があるか否かを検出する。負になる領域があればステップＳ２０６に進むが、なければそのままステップＳ２０９へ進む。

ステップＳ２０６では負値検出部１３において、ＳＨのピーク負値に基づいて新たなβ値を算出する。そしてステップＳ２０７で非線形補正部１８において、ステップＳ２０６で新たに算出されたβに基づいてＳＬを補正（減算オフセット）し、さらにステップＳ２０８でＳＬと同じ量だけ、逆方向にＳＨを補正（加算オフセット）する。

そしてステップＳ２０９において、非線形補正部１８で算出されたＳＨ，ＳＬを出力することによって、当該フレームの処理を終了する。

●非線形フィルタ特性
図９に、低周波成分におけるＬ1とＬ2の非線形特性に対し、第４実施形態における適応的制御を施した例を示す。なお、図９も上述した第２実施形態で示した図７と同一スケールであり、特性曲線（図９では直線）の変曲点となるＬの値をＬ_ifxとする。第４実施形態における非線形特性は、基本的には上述した第２実施形態で式(5-1-1)〜(5-4-4)によって定義されるものと同様である。

図９に示すように第４実施形態においては、負値検出部１３で検出されるピーク負値に基づいて、変曲点より高レベル側における非線形特性ｆ2(Ｌ)（すなわち変曲点より高レベル側のＬに対するＬ2の値）を下方にオフセットさせる。このため第４実施形態では、上述した第２実施形態における式(5-1-2)が、以下の式(6-4-1)に置き換えて表現される。

Ｆ(Ｌ)＝max(ｆ1(Ｌ)，ｆ2(Ｌ)−β) ・・・(6-4-1)
なお、式(6-4-1)におけるβは、実際の減算オフセット量を示すものである。

図９によれば、Ｌ2の値に対する減算オフセットに応じて、Ｌ1の値に対して同量の加算オフセットがなされていることが分かる。

第４実施形態では図９に示すように、Ｌ2に対してＳＨのピーク負値に応じた減算オフセットを施すことにより、非線形特性としては結果的に、変曲点Ｌ_ifxがオフセットされることが分かる。すなわち、ＳＨのピーク負値が大きいほど、変曲点Ｌ_ifxがＬの増加方向にオフセットされる。

以上説明したように第４実施形態によれば、上述した第２実施形態に対し、さらに入力画像に含まれる空間的高周波成分のレベルに応じて非線形フィルタ３の特性における変曲点をオフセット制御する。これにより、フリッカ抑制を行いつつ、ＳＨにおける負側クリップ現象をより効果的に回避することができる。

なお、上述した第３および第４実施形態はともに、図２Ｃに示す構成によって実現することも可能である。図２Ｃによれば、負値検出部１３によって求められた補正パラメータ（第３実施形態ではα、第４実施形態ではβに相当）を、非線形フィルタ３にフィードバックし、該非線形フィルタ３そのものの特性を制御する。このような構成にすることにより、補正用の構成を非線形フィルタ３の後段に設ける必要がないため、補正方法の自由度が大きくなる。ただしこの構成によれば、フィードバック制御を行うために、上述した第３および第４実施形態のように非線形フィルタ３の後段で補正を行う場合と比べて、時間応答性に劣ってしまう可能性がある。

＜他の実施形態＞
本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、スキャナ、webアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、実施形態において図に示したフローチャートに対応したコンピュータ可読のプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。

プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。

本発明に係る第１実施形態における動画像処理装置の構成を示すブロック図である。 第３実施形態における動画像処理装置の構成を示すブロック図である。 第４実施形態における動画像処理装置の構成を示すブロック図である。 第３，第４実施形態における動画像処理装置の変形構成を示すブロック図である。 従来の低周波特性例を示す図である。 従来の低周波特性例を示す図である。 従来の低周波特性例を示す図である。 第１実施形態における低周波成分の非線形特性を示す図である。 第２実施形態における低周波成分の非線形特性を示す図である。 第３実施形態における低周波成分の非線形特性を示す図である。 第４実施形態における低周波成分の非線形特性を示す図である。 第３実施形態におけるＳＨ，ＳＬの作成処理を示すフローチャートである。 第４実施形態におけるＳＨ，ＳＬの作成処理を示すフローチャートである。 第３実施形態における縮小率αの応答特性例を示す図である。 第４実施形態におけるオフセット量βの応答特性例を示す図である。

Claims (15)

1. １フレームの画像データに基づいて２つのサブフレームの画像データを作成する際に、１フレームの画像データにおける高周波成分を第１のサブフレームに集中させ、低周波成分を前記第１のサブフレームおよび第２のサブフレームに配分する動画像処理装置であって、
   着目フレームの画像データから、低周波成分Ｌを抽出する抽出手段と、
   前記低周波成分Ｌを、前記第１のサブフレームＳＨおよび前記第２のサブフレームＳＬに、第１の低周波成分Ｌ1および第２の低周波成分Ｌ2としてそれぞれ配分するために、前記低周波成分Ｌにおける前記第２の低周波成分Ｌ2の配分を決定する配分手段と、
   前記第２の低周波成分Ｌ2を前記着目フレームの画像データから減じることによって、前記低周波成分Ｌにおける前記第１の低周波成分Ｌ1と前記着目フレームにおける高周波成分Ｈとの和として、前記第１のサブフレームＳＨを作成する第１のサブフレーム作成手段と、
   前記第２の低周波成分Ｌ2に基づいて、前記第２のサブフレームＳＬを作成する第２のサブフレーム作成手段と、を有し、
   前記配分手段は、前記低周波成分Ｌのレベルが予め定められた境界レベルよりも低い低レベル領域にある場合と、該境界レベルよりも高い高レベル領域にある場合とで、前記第２の低周波成分Ｌ2の配分比率を、前者では相対的に小さくし、後者では０．５を超えない範囲で相対的に大きくすることを特徴とする動画像処理装置。
2. 前記第２のサブフレーム作成手段は、前記着目フレームとその１つ前のフレームにおける前記第２の低周波成分Ｌ2の平均を取ることにより、該着目フレームに対応する前記第２のサブフレームを作成することを特徴とする請求項１に記載の動画像処理装置。
3. 前記配分手段は、前記第２の低周波成分Ｌ2を前記低周波成分Ｌのレベルに対して非線形に配分し、その変曲点が前記境界レベルとなることを特徴とする請求項１または２に記載の動画像処理装置。
4. 前記配分手段は、
   前記低周波成分Ｌが前記低レベル領域にある場合には前記第２の低周波成分Ｌ2の配分比率が０に近づくように、
   前記低周波成分Ｌが前記高レベル領域にある場合には前記第１の低周波成分Ｌ1と前記第２の低周波成分Ｌ2との差分ＦＬが一定となるように、
   前記第２の低周波成分Ｌ2の配分を決定することを特徴とする請求項１乃至３のいずれか１項に記載の動画像処理装置。
5. 前記配分手段は、
   前記低周波成分Ｌが前記低レベル領域にある場合における前記第２の低周波成分Ｌ2の前記低周波成分Ｌに対する傾きａａが
   ０≦ａａ＜０．３０
   であり、かつ、前記第２の低周波成分Ｌ2と前記第１の低周波成分Ｌ1との差分ＦＬが
   ０＜ＦＬ＜２５
   となるように、前記第２の低周波成分Ｌ2の配分を決定することを特徴とする請求項４に記載の動画像処理装置。
6. 前記配分手段は、
   前記低周波成分Ｌが前記低レベル領域にある場合には前記第２の低周波成分Ｌ2の配分比率が０に近づくように、
   前記低周波成分Ｌが前記高レベル領域にある場合には前記第１の低周波成分Ｌ1と前記第２の低周波成分Ｌ2との差分ＦＬが前記低周波成分Ｌのレベルが高くなるほど小さくなるように、
   前記第２の低周波成分Ｌ2の配分を決定することを特徴とする請求項１乃至３のいずれか１項に記載の動画像処理装置。
7. さらに、前記第１のサブフレーム作成手段で作成された前記第１のサブフレームＳＨにおいて、絶対値が最も大きい負値をピーク負値として検出する負値検出手段と、
   前記ピーク負値に基づいて、前記配分手段で決定された前記第２の低周波成分Ｌ2の配分を補正する配分補正手段と、
   を有することを特徴とする請求項６に記載の動画像処理装置。
8. 前記配分補正手段は、前記低周波成分Ｌが前記高レベル領域にある場合に、前記ピーク負値が小さいほど、前記第１の低周波成分Ｌ1と前記第２の低周波成分Ｌ2との差分ＦＬが小さくなるように、前記第２の低周波成分Ｌ2の配分を補正することを特徴とする請求項７に記載の動画像処理装置。
9. 前記配分補正手段は、前記ピーク負値が小さいほど、前記第２の低周波成分Ｌ2を大きく縮小することによって、前記低周波成分Ｌに対する傾きを補正することを特徴とする請求項７または８に記載の動画像処理装置。
10. 前記配分補正手段は、前記ピーク負値が小さいほど、前記第２の低周波成分Ｌ2から減じるオフセット量を大きくすることによって、前記低周波成分Ｌにおける前記境界レベルをオフセットすることを特徴とする請求項７または８に記載の動画像処理装置。
11. １フレームの画像データに基づいて２つのサブフレームの画像データを作成する際に、１フレームの画像データにおける高周波成分を第１のサブフレームに集中させ、低周波成分を前記第１のサブフレームおよび第２のサブフレームに配分する動画像処理装置の動画像処理方法であって、
    着目フレームの画像データから、低周波成分Ｌを抽出する抽出ステップと、
    前記低周波成分Ｌを、前記第１のサブフレームＳＨおよび前記第２のサブフレームＳＬに、第１の低周波成分Ｌ1および第２の低周波成分Ｌ2としてそれぞれ配分するために、前記低周波成分Ｌにおける前記第２の低周波成分Ｌ2の配分を決定する配分ステップと、
    前記第２の低周波成分Ｌ2を前記着目フレームの画像データから減じることによって、前記低周波成分Ｌにおける前記第１の低周波成分Ｌ1と前記着目フレームにおける高周波成分Ｈとの和として、前記第１のサブフレームＳＨを作成する第１のサブフレーム作成ステップと、
    前記第２の低周波成分Ｌ2に基づいて、前記第２のサブフレームＳＬを作成する第２のサブフレーム作成ステップと、を有し、
    前記配分ステップにおいては、前記低周波成分Ｌのレベルが予め定められた境界レベルよりも低い低レベル領域にある場合と、該境界レベルよりも高い高レベル領域にある場合とで、前記第２の低周波成分Ｌ2の配分比率を、前者では相対的に小さくし、後者では０．５を超えない範囲で相対的に大きくすることを特徴とする動画像処理方法。
12. 前記第２のサブフレーム作成ステップにおいては、前記着目フレームとその１つ前のフレームにおける前記第２の低周波成分Ｌ2の平均を取ることにより、該着目フレームに対応する前記第２のサブフレームＳＬを作成することを特徴とする請求項１１に記載の動画像処理方法。
13. 前記配分ステップにおいては、前記第２の低周波成分Ｌ2を前記低周波成分Ｌのレベルに対して非線形に配分し、その変曲点が前記境界レベルとなることを特徴とする請求項１１または１２に記載の動画像処理方法。
14. コンピュータを請求項１乃至１０のいずれか１項に記載の動画像処理装置として機能させるためのプログラム。
15. 請求項１４に記載のプログラムを記憶したコンピュータ可読な記憶媒体。

Images