JP2011130128A - 画像処理装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】 フレームレート変換装置及び方法であって、動きベクトルを誤検出した場合に発生する動きぼけを低減する。
【解決手段】 フレームごとに入力された画像データから高周波成分を強調した高周波強調画像データと動き補償を利用した低周波補間画像データとを生成し、該高周波強調画像データと低周波補間画像データとをサブフレームとして出力する画像処理装置において、前記動き補償において検出される動きベクトルの評価値を算出し、前記高周波強調画像データの飽和量を検出し、算出された評価値と飽和量の検出結果に基づいて、前記低周波補間画像データの飽和量を制御する。
【選択図】 図１

Description

本発明は、画像データのフレームレートをより高いレートに変換する画像変換技術に関するものである。

従来、映像を表示装置に表示した際に発生する動きぼけやフリッカを抑制する技術として、画像データから周波数成分の異なるサブフレームを生成する周波数分離方式と動き補償を利用した映像表示方法が知られている。（特許文献１参照）
この映像表示方法は、入力された画像データから高周波数成分を強調した高周波強調画像データと、動き補償処理が施され高周波数成分を抑制した低周波成分からなる低周波補間画像データとを生成し、この画像データを交互に表示するものである。この技術により、フリッカを抑制し、更に、動きぼけを低減することが可能になる。

特開２００９−０４２４８２号公報 特開２００９−０３８６２０号公報

しかしながら、特許文献１に記載されているような映像表示方法においては、動き補償処理において動きベクトルが誤検出されてしまうことがある。この場合、誤検出された動きベクトルによって画像の動きを反映しない低周波補間画像データが生成されることになり、映像の破たんとして視認されてしまうという課題があった。

本発明は上述した課題を解決するためになされたものであり、動きベクトルを誤検出した場合に発生する映像の破たんを低減することを可能とする画像処理装置およびその制御方法を提供することを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、フレームごとに入力された画像データから高周波成分を強調した高周波強調画像データと、動き補償を用いた低周波補間画像データとを生成し、該高周波強調画像データと低周波補間画像データとをサブフレームとして出力する画像処理装置であって、前記動き補償において検出される動きベクトルの評価値を算出する算出手段と、前記高周波強調画像データの飽和量を検出する検出手段と、前記算出手段によって算出された評価値と前記検出手段による検出の結果に基づいて、前記低周波補間画像データの飽和量を制御する制御手段とを備えることを特徴とする。

以上の構成からなる本発明によれば、動きベクトルを誤検出した場合に発生する映像の破たんを低減することができる。

実施形態１に係る画像処理装置の主要部の構成を示すブロック図 実施形態１に係る画像処理装置の処理を示すフローチャート 動き補償部２０３の処理の詳細を示したフローチャート （ａ） 動きベクトルを誤検出した場合の出力とその視認画像を表した図（飽和量制御なし）、（ｂ） 動きベクトルを誤検出した場合の出力とその視認画像を表した図（飽和量制御あり） 本発明の各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアを構成例を示すブロック図

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は本実施形態に係る画像処理装置１０１の主要部の構成を示すブロック図である。フレームメモリ１０２は、入力された画像データ（入力画像データ）を少なくとも１フレーム分蓄積する。後述する動き補償部において、複数のフレーム間の動きベクトルを検出するためである。本実施形態においては、連続する２つのフレームから動きベクトルを検出する例を示すが、複数のフレームから動きベクトルを検出してもよい。動き補償部１０３は、入力画像データと、フレームメモリ１０２に蓄積された過去の画像データ（本実施形態においては入力画像データの一つ前のフレームの画像データ）とから動きベクトルを検出する。更に、動き補償を行なってフレーム間での画像の動きを時間的に補間した補間画像データを生成する。評価部１０４は、動き補償部１０３によって検出された動きベクトルの信頼度を推定し、評価値を飽和量制御部１０６に出力する。フィルタ部１０５は、入力画像データと補間画像データの高周波成分を抑制する処理を行なう。本実施形態においてはローパスフィルタ（ＬＰＦ）を用いることにより、入力画像データの高周波成分が抑制された低周波画像データと、補間画像データの高周波成分が抑制された低周波補間画像データが出力される。減算器１０８は入力画像データとフィルタ部１０５から出力された低周波画像データとの差分を算出する。この処理によって、入力画像データの高周波成分が算出される。加算器１０９は、入力画像データと減算器１０８によって算出された高周波成分とを加算することにより高周波成分が強調された高周波強調画像データを生成する。また、減算器１０８は補間画像データとフィルタ部１０５から出力された低周波補間画像データとの差分を算出する。この処理によって、補間画像データの高周波成分が算出される。加算器１０９は、補間画像データと減算器１０８によって算出された高周波成分とを加算することにより高周波成分が強調された高周波強調補間画像データを生成する。飽和検出部１０７は、減算器１０８の処理により負の値が生じてしまうアンダーフローや、加算器１０９の処理により最大ビット数を超えてしまうオーバーフローを検出する。飽和量制御部１０６は、飽和検出部１０７の結果と評価部１０４から出力された評価値に基づいて、フィルタ部１０５によって高周波成分が抑制された低周波画像データと低周波補間画像データの飽和量を制御する。

そして、２つの切替器１１０は、入力画像データの高周波数成分が強調された高周波強調画像データと補間画像データの高周波数成分が抑制された低周波補間画像データとを倍速で切り替えて表示出力する。

図２は本実施形態における処理を示すフローチャートである。ステップＳ２０１において、フレームメモリ１０２と動き補償部１０３に１フレーム分の画像データが入力される。ステップＳ２０２において、フレームメモリ１０２は入力画像データを１フレーム分蓄積し、動き補償部１０３に出力する。これにより、動き補償部１０３には、入力画像データと一つ前のフレームの画像データが入力される。ステップＳ２０３において、動き補償部１０３は、入力画像データと一つ前のフレームの画像データから補間画像データを生成する。

図３は、動き補償部１０３における、補間画像データを生成する処理の詳細を示したフローチャートである。ステップＳ３０１において、動き補償部１０３には、入力画像データと一つ前のフレームの画像データが入力される。ステップＳ３０２において、動き補償部１０３は、入力画像データを処理ブロック単位に分割する。ここで処理ブロック単位は任意に設定可能である。また、画素単位で動きベクトルを算出する場合には本ステップは必要ない。ステップＳ３０３において、動き補償部１０３は、動きベクトルを検出する際の探索範囲を設定する。この探索範囲に関しても任意に設定可能であり、探索範囲はフレーム全体を設定してもよいし、処理対象ブロックよりも大きい任意のサイズを設定してもよい。ステップＳ３０４において、動き補償部１０３は、処理対象ブロックとステップＳ３０３で設定された探索範囲内の参照ブロックとの差分絶対値和を算出する。ステップＳ３０５において、設定した探索範囲内の参照ブロックとの差分絶対値和の算出が終了したかを判別する。差分絶対値和の算出が終了していない場合（Ｓ３０５ ＮＯ）、設定した探索範囲内の参照ブロックとの差分絶対値和の算出が終了するまでＳ３０３〜Ｓ３０４を繰り返す。ステップＳ３０５において、探索範囲内の全ての参照ブロックに対する差分絶対値和の算出が終了した場合（Ｓ３０５ ＹＥＳ）、ステップＳ３０６において、算出された差分絶対値和のソートを行なう。ステップＳ３０７において、動き補償部１０３は、ステップＳ３０６においてソートされた差分絶対値和の最小値に対応する参照ブロックを、検出した動きベクトルＶ_ＭＥとする。ステップＳ３０８において、動き補償部１０３は、ステップＳ３０７で算出された動きベクトルＶ_ＭＥから補間ベクトルＶ_ＭＣを算出する。補間画像データとして、画像データ間の時間的に中央に位置する画像を生成するので、補間ベクトルＶ_ＭＣは動きベクトルＶ_ＭＥの半分とする。なお、Ｖ_ＭＥをＶ_ＭＣとして算出する場合や、動きベクトルＶ_ＭＥが大きい場合は補間ベクトルＶ_ＭＣ＝０とする、もしくは再生環境が早送りや巻き戻しなどの特殊再生である場合にＶ_ＭＣ＝０とすることも考えられる。

ステップＳ３０９において、動き補償部１０３は、ステップＳ３０８で算出された補間ベクトルＶ_ＭＣから補間画像データを生成する。

以上のように、図２のステップＳ２０３の動き補償処理は入力画像データから補間画像データを生成する。なお、この動き補償部１０３による補間画像データの生成処理は、例えば特許文献１若しくは特許文献２に開示されているような従来技術を用いてでも実現可能である。

図２のステップＳ２０４において、評価部１０４は、動き補償部１０３によって検出された動きベクトルＶ_ＭＥの信頼度を算出する。この処理によって、評価部１０４は、検出された動きベクトルＶ_ＭＥが正しく検出されているか誤検出されているかを推定し、評価値Ｔ_ＭＥとして出力する。

評価値Ｔ_ＭＥの第１の算出方法として、動きベクトルの検出対象ブロックと、動きベクトルの参照先のブロックとの差分絶対値和の最小値に重みを乗じて評価値Ｔ_ＭＥを算出する方法がある。この算出方法により、検出された動きベクトルに対応する差分絶対値和の最小値が大きいほど評価値が低くなる。つまり、探索範囲内で検出された動きベクトルの始点と終点の処理対象ブロックが類似していない場合に、動きベクトルが誤検出されている可能性が高いとして評価値が低くなる。

評価値Ｔ_ＭＥの第２の算出方法として、差分絶対値和の最小値と２番目に小さい値との差分値を算出し、該差分値に重みを乗じて評価値Ｔ_ＭＥを算出する方法がある。この算出方法により、探索範囲中に検出されたベクトルに対応したブロックと類似ブロックがある場合に評価値Ｔ_ＭＥが低くなる。つまり画像中に類似した柄がある場合には、動きベクトルが誤検出されている可能性が高いとして評価値Ｔ_ＭＥは低く設定される。

評価値Ｔ_ＭＥの第３の算出方法として、動きベクトルＶ_ＭＥと補間ベクトルＶ_ＭＣの差分値に重みを乗じて評価値Ｔ_ＭＥを算出する方法がある。この算出方法により、検出された動きベクトルＶ_ＭＥと補間ベクトルＶ_ＭＣの値が異なると評価値が低くなる。また、画像データの端部のブロックなどは、動きベクトルを検出しない場合がある。こういった場合には評価値は低く設定される。

ステップＳ２０４の評価値Ｔ_ＭＥの算出方法について３つの算出方法を述べたが、これらのいずれかを用いて評価値Ｔ_ＭＥを算出してもよいし、これらを組み合わせて評価値Ｔ_ＭＥを算出してもよい。その結果、動き補償の特性に合わせた評価値Ｔ_ＭＥを得ることが出来る。なお、評価値Ｔ_ＭＥからのとり得る値として０〜１で設定してもよいし、若しくは０〜２５５で設定してもよい。

ステップＳ２０５において、フィルタ部１０５は、切替器１１０がフレームメモリ１０２からの出力と接続されている場合には、フレームメモリ１０２から出力された画像データに対し、ローパスフィルタ処理を行なう。一方、切替器１１０が動き補償部１０３からの出力と接続されている場合には、動き補償部１０３によって生成された補間画像データに対し、ローパスフィルタ処理を行なう。この処理により、入力画像データの高周波成分が抑制された低周波画像データと補間画像データの高周波成分が抑制された低周波補間画像データが生成される。

ステップＳ２０６において、減算器１０８は、切替器１１０がフレームメモリ１０２からの出力と接続されている場合には、フレームメモリ１０２から出力された入力画像データとフィルタ部１０５によって出力された低周波画像データとの差分を算出する。この処理により、入力画像データの高周波成分が算出される。次に、加算器１０９は、算出された高周波成分と、入力画像データを加算する。この処理により、高周波強調画像データが生成される。なお、ステップＳ２０６において、切替器１１０が動き補償部１０３からの出力と接続されている場合には、上述した処理と同様にして、高周波強調補間画像データが生成されることになるが、切替器１１０により出力されることはない。

ステップＳ２０７において、飽和検出部１０７は、加算器１０９によって生成された高周波強調画像データのオーバーフロー及びアンダーフローを検出する。高周波成分は、正負の値をとるため、加算結果が元の画素値よりも大きくなる場合も小さくなる場合もある。加算値が大きくなる場合、元の画素の演算精度の範囲を超えると、その分は画像として再現できない。この差分が飽和量に相当する。例えば、８ビット階調での最大値は２５５であるが、２５５を超える値となった場合は、その超過分が飽和量となる。また、加算値が小さくなる場合で、値が負となることもある。この場合も、画像として負の値は再現できないため、ゼロより小さい不足分が飽和量となる。

通常、発生した飽和量に応じて低周波補間画像データを補正するが、補正量は、飽和量に０％から１００％までの比率を乗じた量で決定する。

ステップＳ２０８において、飽和量制御部１０６は、評価部１０４から出力された評価値Ｔ_ＭＥに基づいて、フィルタ部１０５から出力された低周波画像データの飽和量を補正する。評価値Ｔ_ＭＥが低い場合は、誤検出している可能性が高いため、エッジ境界に滑らかな動きボケを生じるよう、補正量を小さく（０％に近づけるように）する。逆に、評価値Ｔ_ＭＥが高い場合は、エッジ境界にボケが生じないよう、補正量を大きく（１００％に近づけるように）する。この処理により、補正量が制御された低周波補間画像データが出力される。

図４（ａ）は、動きベクトルを誤検出した場合の出力とその視認画像を表した図である。横軸は画素位置、縦軸は時間を示している。波形４０１は入力画像データの高周波数強調画像データ、波形４０２は低周波補間画像データ、波形４０３は次の入力画像データの高周波数強調画像である。この図では、低周波補間画像データが動きベクトルの誤検出により、Δｖｅｃ＝ｂだけ水平方向にずれた波形となっている。これを視線追従したときの見た目の波形は、保険４０４のようになる。これは、飽和量の補正が１００％の場合であり、位置ずれの副作用として偽のエッジが生じている。図４（ｂ）は、図４（ａ）と同じ入力画像データであり、飽和量の補正を０％とした場合を示している。前後それぞれの入力フレーム画像から生成した高周波強調画像データの波形４０１、４０２は、図４（ａ）と同じ波形であるが、低周波補間画像データの波形４０５は、なめらかに減衰する波形となる。このため、視線追従を行なった際の見えの画像は、下の図のように、なめらかにボケるため、視覚的な不自然さは感じにくくなる。

ステップＳ２０９において、切替器１１０は、切替器１０９と連動して出力を切り替えることにより、高周波強調画像データ（第１のサブフレーム）と、低周波補間画像データ（第２のサブフレーム）とを入力周波数の倍の周波数で交互に出力する。

以上の処理により、本実施形態においては、動き補償部１０３による動きベクトルの検出の信頼度が低い場合（誤検出の可能性が高い場合）は第２のサブフレームの飽和量を制御することにより、映像の破たんを低減することが可能となる。

＜実施形態２＞
本実施形態においては、第１の実施形態で説明した信頼度を評価に加え、飽和量の絶対値からも評価値を求め、これらを総合した評価値によって、飽和量の補正制御を行なうことを特徴とする。

本実施形態の場合、飽和量制御部１０６には、まず評価部１０４から出力された評価値Ｔ_ＭＥが入力される。次に、飽和検出部１０７で検出された飽和量の絶対値から飽和量評価値Ｅを算出する。飽和量の絶対値が小さい場合は、仮に動きベクトルを誤検出していたとしても、それによって生じる不連続部分は知覚しにくくなるため、補正量を減らす必要はない。よって飽和量の絶対値が小さければ小さいほど飽和量評価値Ｅを大きくし、絶対値が大きければ大きいほど飽和量評価値Ｅを小さくする。飽和量評価値Ｅと評価値Ｔ_ＭＥとは、０から１の範囲を取る値に正規化しておくことが望ましい。最後に飽和量評価値Ｅと評価値Ｔ_ＭＥのそれぞれの値から総合の評価値ＥＴを算出する。総合の評価値ＥＴを決定する式は、例えば式１のように示すことができる。

ＥＴ＝ｗ・ｆ１（Ｔ_ＭＥ）＋（１−ｗ）・ｆ２（ＥＳ） ・・・（式１）
ここで、ｆ１（Ｔ_ＭＥ）は、Ｔ_ＭＥによって求まる値、ｆ２（ＥＳ）はＥＳによって求まる値であり、ｗは重み付けを表す。ｗの範囲を０から１とすることで、ＥＴの正規化を行なっている。評価値ＥＴ＝０のときは、補正量は１００％、評価値ＥＴ＝１のときは、補正量は０％となる。

以上説明したように、第１の実施形態で説明した信頼度を評価に加え、飽和量の絶対値からも評価値を求め、これらを総合した評価値によって、飽和量の補正制御を行なうことで、よりいっそう視覚的な劣化を抑制することが可能となる。

＜実施形態３＞
図１に示した装置が有する各部は全てハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１のフレームメモリ以外の各部をコンピュータプログラムでもって構成しても良い。この場合、このようなコンピュータプログラムを格納するためのメモリと、このメモリに格納されているコンピュータプログラムを実行するＣＰＵとを有するコンピュータは、上記各実施形態に係る画像処理装置に適用することができる。

図５は、上記各実施形態に係る画像処理装置に適用可能なコンピュータのハードウェアを構成例を示すブロック図である。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行なうと共に、上記各実施形態に係る画像処理装置が行なうものとして上述した各処理を実行する。即ち、ＣＰＵ５０１は、図１の１０３〜１１０として機能することになる。

ＲＡＭ５０２は、外部記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）５０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供することができる。

ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。

外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図２、３に示したフローをＣＰＵ５０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。

Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。１００８は上述の各部を繋ぐバスである。上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ５０１が中心となって行なう。

＜その他の実施形態＞
実施形態１又は２におけるフィルタ部１０５はローパスフィルタで構成されているが、ハイパスフィルタを用いて高周波強調画像データと低周波画像データを生成しても同様の効果をなし得る。

また、実施形態１又は２は入力フレームレートに対して２倍速でサブフレームを出力表示する構成を示したが、Ｎ倍速（Ｎ＞２）でも対応可能である。この際、動き補償部１０３において生成する補間フレームを１からＮ−１枚に変更すれば実現できる。この場合、動きぼけに対してより低減効果が向上できる。

以上、本発明の実施形態を詳述したが、本発明の装置の制御方法も本発明の一つである。また本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の各機能を実現するプログラムを、システム又は装置に直接又は遠隔から供給し、そのシステム又は装置に含まれるコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。

したがって、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。

Claims (6)

1. フレームごとに入力された画像データから高周波成分を強調した高周波強調画像データと、動き補償を用いた低周波補間画像データとを生成し、該高周波強調画像データと低周波補間画像データとをサブフレームとして出力する画像処理装置であって、
   前記動き補償において検出される動きベクトルの評価値を算出する算出手段と、
   前記高周波強調画像データの飽和量を検出する検出手段と、
   前記算出手段によって算出された評価値と前記検出手段による検出の結果に基づいて、前記低周波補間画像データの飽和量を制御する制御手段とを備えることを特徴とする画像処理装置。
2. 前記算出手段は、動きベクトルの検出対象ブロックと、動きベクトルの参照先のブロックとの差分絶対値和の最小値に基づいて評価値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記算出手段によって算出された評価値が低いほど、前記低周波補間画像データの飽和量を小さくすることを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、前記算出手段によって算出された評価値と、前記検出手段によって検出された飽和量に基づいて低周波補間画像データの飽和量を制御することを特徴とする請求項１に記載の画像処理装置。
5. フレームごとに入力された画像データから高周波成分を強調した高周波強調画像データと動き補償を用いた低周波補間画像データとを生成し、該高周波強調画像データと低周波補間画像データとをサブフレームとして出力する画像処理装置の制御方法であって、
   前記動き補償において検出される動きベクトルの評価値を算出する算出工程と、
   前記高周波強調画像データの飽和量を検出する検出工程と、
   前記算出工程によって算出された評価値と前記検出工程による検出の結果に基づいて、前記低周波補間画像データの飽和量を制御する制御工程とを備えることを特徴とする画像処理装置の制御方法。
6. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。

Images