JP2010212870A - 画像処理装置および画像表示装置 - Google Patents

Abstract

【課題】 画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消することができる画像処理装置および画像表示装置を得ることを目的とする。
【解決手段】 入力画像データＤＩの階調を補正する階調補正部３と、階調補正部３により補正された出力画像データＤＪの階調抜けを補間処理する階調補間部４と、を備え、階調補間部４は、出力画像データＤＪのエッジを保存して平滑化するエッジ保存型平滑化フィルタ４２と、エッジ保存型平滑化フィルタ４２にて使用する閾値ＴＨを階調補正部３における階調補正量に応じて決定する閾値決定部４１と、を備えるようにした
【選択図】図１

Description

本発明は、画像処理装置および画像表示装置に関する。とくに、デジタル画像の階調を補間する技術に係わり、デジタル画像の擬似的な輪郭の発生の抑制に関するものである。

近年、テレビやモニタなどのディスプレイ装置の高輝度化が進んでいる。高輝度化によって単位階調当たりの輝度の変化量も大きくなり、緩やかな階調の変化でもその変化点が目立ってしまう。また近年では、リアルタイムに映像を分析し、映像シーンに合わせた階調補正処理を画像フレーム毎、または画素毎に行うことがある。この階調補正処理によって階調の変化量が大きくなる場合がある。そのため、夕焼けの空や海などの緩やかに階調が変化する画像信号では、隣接する領域の画像レベルが階段状に変化（隣接する画素の階調レベルが２以上異なった状態。つまり、輪郭でもないのに、隣接する画素の階調レベルが連続的に変化するのではなく、少なくとも１つの階調レベルを抜かして変化する状態をいい、階調ジャンプと称する。）して、擬似的な輪郭のように見えてしまうという問題がある。

この問題を改善するために、擬似的な輪郭を有した画像データに平滑化処理（単純な平均化など）を施し、擬似的な輪郭を緩和する技術がある。しかし、緩やかに変化する画像部分の擬似的な輪郭は緩和されるが、物体の輪郭や細かい模様などのテクスチャ画像がぼやけてしまうという問題があった。そこで、平滑化処理を行わずに擬似的な輪郭を解消するために、階調のジャンプが存在する第１と第２の画像レベルを特定することによって階調補間の対象領域を抽出し、この対象領域に対して階調補間を行うことにより、階調ジャンプを解消する技術が提案されている。（例えば、特許文献１参照）

特開平１０−８４４８１号公報（段落００２５〜００２８、図１）

しかしながら、階調補正処理した画像に上記のような階調補間を行う場合、階調補正処理による階調変化を考慮せずに階調の補間を行うため、階調の変化が小さくなった輪郭が階調ジャンプと判定されて輪郭がぼやけてしまう、あるいは、階調の変化が大きくなった階調ジャンプが輪郭と判定されて残ってしまう、という問題があった。

本発明は、上記に鑑みてなされたものであって、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消することができる画像処理装置および画像表示装置を得ることを目的とする。

本発明にかかる画像処理装置および画像表示装置は、入力画像データの階調を補正し、出力画像データとして出力する階調補正部と、前記階調補正部から出力された出力画像データの階調抜けを補間処理する階調補間部と、を備え、前記階調補間部は、前記出力画像データのエッジを保存して平滑化するエッジ保存型平滑化フィルタと、前記エッジ保存型平滑化フィルタにて使用する閾値を前記階調補正部における階調補正量に応じて決定する閾値決定部と、を備えている。

本発明によれば、階調補正処理による階調の変化量に応じた閾値を用いて、エッジ保存型平滑化フィルタによる補間処理を行うので、残すべき輪郭と解消すべき階調ジャンプとを区別して補間処理ができるので、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消することができる画像処理装置および画像表示装置を得ることができる。

本発明の実施の形態１に係る画像処理装置および画像表示装置の構成を示す図である。 本発明の実施の形態１に係る画像処理装置における階調補正カーブと階調補正前後の階調の分布の変化を説明するための図（ａ１、ａ２、ａ３、ｂ１、ｂ２、ｂ３）である。 本発明の実施の形態１に係る画像処理装置におけるエッジ保存型平滑化フィルタ（ｎ次元ｍ次フィルタ部）の構成を示す図である。 本発明の実施の形態１に係る画像処理装置における階調の補正量と閾値の関係を示す図である。 本発明の実施の形態１に係る画像処理装置における階調に急峻な変化がある画像の階調補正の例を示す図（ａ、ｂ、ｃ）である。 本発明の実施の形態１に係る画像処理装置における階調に急峻な変化がある画像の階調補間の例を示す図（ａ、ｂ、ｃ）である。 本発明の実施の形態１に係る画像処理装置における階調に急峻な変化がある画像の画像処理の例を示す図（ａ１、ａ２、ｂ）である。 固定ε閾値を使った場合の階調に急峻な変化がある画像の階調補間の例を示す図（ａ、ｂ、ｃ）である。 固定ε閾値を使った場合の階調に急峻な変化がある画像の画像処理の例を示す図（ａ１、ａ２、ｂ）である。 本発明の実施の形態１に係る画像処理装置における階調に緩やかな変化がある画像の階調補正の例を示す図（ａ、ｂ、ｃ）である。 本発明の実施の形態１に係る画像処理装置における階調に緩やかな変化がある画像の階調補間の例を示す図（ａ、ｂ、ｃ）である。 本発明の実施の形態１に係る画像処理装置における階調に緩やかな変化がある画像の画像処理の例を示す図（ａ１、ａ２、ｂ）である。 固定ε閾値を使った場合の階調に緩やかな変化がある画像の階調補間の例を示す図（ａ、ｂ、ｃ）である。 固定ε閾値を使った場合の階調に緩やかな変化がある画像の画像処理の例を示す図（ａ１、ａ２、ｂ）である。 本発明の実施の形態２に係る画像処理装置および画像表示装置の構成を示す図である。 階調補正カーブと階調の拡大について説明するための図（ａ、ｂ）である。 本発明の実施の形態２に係る画像処理装置における補正後の階調値を所定幅で区切ったステップ毎の階調拡大縮小係数とε閾値との関係を説明するための図（ａ、ｂ、ｃ）である。 本発明の実施の形態２に係る画像処理装置における階調補正カーブから補正後の階調値を所定幅で区切ったステップ毎に階調拡大縮小係数を算出する方法を示す図（ａ、ｂ）である。 本発明の実施の形態２に係る画像処理装置における階調に緩やかな変化がある画像の階調補正の例を示す図（ａ、ｂ、ｃ）である。 本発明の実施の形態２に係る画像処理装置における階調に緩やかな変化がある画像の階調補間の例を示す図（ａ、ｂ、ｃ）である。 本発明の実施の形態２に係る画像処理装置における階調に緩やかな変化がある画像の画像処理の例を示す図（ａ１、ａ２、ｂ）である。 固定ε閾値を使った場合の階調に緩やかな変化がある画像の階調補間の例を示す図（ａ、ｂ、ｃ）である。 固定ε閾値を使った場合の階調に緩やかな変化がある画像の画像処理の例を示す図（ａ１、ａ２、ｂ）である。 本発明の実施の形態２に係る画像処理装置における階調に急峻な変化がある画像の階調補正の例を示す図（ａ、ｂ、ｃ）である。 本発明の実施の形態２に係る画像処理装置における階調に急峻な変化がある画像の階調補間の例を示す図（ａ、ｂ、ｃ）である。 本発明の実施の形態２に係る画像処理装置における階調に急峻な変化がある画像の画像処理の例を示す図（ａ１、ａ２、ｂ）である。 固定ε閾値を使った場合の階調に急峻な変化がある画像の階調補間の例を示す図（ａ、ｂ、ｃ）である。 固定ε閾値を使った場合の階調に急峻な変化がある画像の画像処理の例を示す図（ａ１、ａ２、ｂ）である。 本発明の実施の形態２に係る画像処理装置における、階調値を区切るステップの幅を変えた場合の例を示す図（ａ、ｂ）である。 本発明の実施の形態２に係る画像処理装置および画像表示装置の変形例の構成を示す図である。 本発明の実施の形態２に係る画像処理装置および画像表示装置の変形例の構成を示す図である。

実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置の構成を示す図である。実施の形態１に係る画像表示装置は、ビット拡張や階調補正処理により増加させた階調をεフィルタ（非線型デジタルフィルタ）を用いて平滑化し、実効的な階調数を増やして画像表示を行う液晶テレビやプラズマテレビなどの画像表示装置である。図において、本実施の形態の画像表示装置は、入力端子１、受信部２、階調補正部３、階調改善部４、及び表示部５を備えており、そのうち、階調補正部３と階調改善部４の部分が画像処理装置に対応している。

本実施の形態では、受信部２がアナログの画像信号からデジタルの画像データに変換するＡ／Ｄ変換器である場合について説明する。なお、受信部２にチューナーを配設し、受信部２の内部でコンポジット信号を輝度や色度信号に復調した後にデジタルの画像データに変換してもよい。また、受信部２をデジタルインターフェースとし、受信部２が入力端子１からデジタルのデータを受信して、ｎ（ｎは自然数）ビットの画像データＤＩを出力してもよい。

入力端子１は、アナログ画像信号ＳＡを入力する端子であり、入力されたアナログ画像信号ＳＡを受信部２に出力する。受信部２は、アナログ画像信号ＳＡをｎビットの画像データＤＩに変換して階調補正部３に出力する。

画像表示装置内で入出力される各画像データ（画像データＤＩ、後述の画像データＤＪ、後述の画像データＤＯ）は、マトリクス状に配列された画素の値を示すデータである。画像データＤＩで示される各画素の位置は、画像の左上隅を原点（０，０）として、座標値（ｉ，ｊ）（ｉとｊはともに自然数）で表され、水平方向の座標値ｉは、右向きに１列進む毎に１ずつ大きくなり、垂直方向の座標値ｊは、下向きに１行進む毎に１ずつ大きくなる。これらの各画像データは、複数の行に配列されるデータを順番に示すデータ列である。このデータ列は、複数の行を上から下への順番であって、かつ各行内では複数の画素を左から右への順番で示すデータの列である。

受信部２におけるアナログ画像信号ＳＡから画像データＤＩへの変換、受信部２から階調補正部３への画像データＤＩの供給、階調補正部３から階調改善部４への画像データＤＪの供給、階調改善部４から表示部５への画像データＤＯの供給などは、図示しない制御部から供給される画素クロックに同期して行われる。なお、以下で説明する階調補正部３内や階調改善部４内で行われる処理もまた、制御部から供給される画素クロックに同期して行われる。

階調補正部３は、補正カーブ決定部３１と補正部３２とを備えている。補正カーブ決定部３１はメモリを備えており、メモリに保存された画像データをヒストグラム解析などの手法により画像解析し、解析結果から階調補正する補正カーブを決定する。補正部３２は、補正カーブ決定部３１で決定した補正カーブを基に階調補正する。

例えば、画像データＤＩのヒストグラム解析の結果が、図２（ａ１）に示すように暗い階調が多い画像の場合は、暗い部分の階調をもち上げ暗い部分のコントラストが上がるように、図２（ａ２）のような上に凸となる補正カーブに決定する。これにより、階調補正後の画像データＤＪは、図２（ａ３）に示すように明るい階調部分の頻度が増大する。一方、ヒストグラム解析の結果が、図２（ｂ１）に示すように、明るい階調が多い画像の場合は、暗い部分と明るい部分の差を大きくしてコントラストの高い画像となるように、図２（ｂ２）のような下に凸となる補正カーブに決定する。これにより、階調補正後の画像データＤＪは、図２（ｂ３）に示すように明るい階調部分の頻度が減少する。図２（ａ２）や（ｂ２）に示すような補正カーブは、例えば複数個用意されたルックアップテーブルから選択するものとする。補正部３２は、画像データＤＩを決定したルックアップテーブルをもとに補正し、画像データＤＪとして出力する。

なお、階調補正部３で階調を補正する際に使用する補正カーブについて、本実施の形態では、画面全体のヒストグラムにより決定する方式について説明しているが、画面の局所領域や画素毎に補正カーブまたは補正係数を決定するようにしてもよい。

階調改善部４は、ε閾値決定部４１とエッジ保存型平滑化フィルタであるｎ次元ｍ次εフィルタ部４２とを備えている。ε閾値決定部４１は、階調補正部３の階調補正による、出力画像データＤＪと受信部２の出力画像データＤＩとの変化量に応じて変化するεフィルタの閾値（Ｅ＿ＴＨ）を決定し、ｎ次元ｍ次εフィルタ部４２は、ε閾値決定部４１が決定した階調補正量に応じたεフィルタの閾値Ｅ＿ＴＨに基づいて階調補間を行う。

階調改善部４について、詳しく説明する。ε閾値決定部４１は、階調補正部３で補正された補正量ごとに設定された閾値のルックアップテーブルを持ち、入力される画像データＤＪの補正量（ＤＪ−ＤＩ）に応じた閾値（補正量０〜２５５に対応した閾値データ）をルックアップテーブル（補正量閾値対応情報）から選択してｎ次元ｍ次εフィルタ部４２に出力する。ここでの閾値は、後述の差分データＥＤと比較される値である。ε閾値決定部４１については、後で詳細に説明する。

ｎ次元ｍ次εフィルタ部４２は、注目画素（階調を平滑化する際に基準となる画素）に対して一次元方向に整列されている画素のデータに基づいて、急峻な変化（エッジ）を保存しながら、小振幅成分を雑音として扱って平滑化を行うエッジ保存型平滑化フィルタ（εフィルタ）として用いられる。ｎ次元ｍ次εフィルタ部４２は、階調補正部３の補正により生じた階調のジャンプを平滑化することによって階調のジャンプをなくし、実効的な階調数を増やす処理を行う。

図３にｎ次元ｍ次フィルタ部４２の詳細を示す。図において、ｎ次元ｍ次εフィルタ部４２は、データ格納部４２１、差分算出部４２２−１〜４２２−ｍ、ε判定部４２３−１〜４２３−ｍ、判定付加重平均部４２４、及びデータ加算部４２５を備えている。

データ格納部４２１は、階調補正部３の補正部３２から出力される画像データＤＪを格納するとともに、差分算出部４２２−１〜４２２−ｍに、それぞれ画像データＤＭ（１）〜ＤＭ（ｍ）を出力する。また、データ格納部４２１は、画像データＤＭ（１）〜ＤＭ（ｍ）のうち、画像データＤＭ（ｃ）については、差分算出部４２２−１〜４２２−ｍのそれぞれとデータ加算部４２５にも出力する。ただし、画像データＤＭ（ｃ）は、画素位置１〜ｍのうち、ｃの位置を注目画素とした場合の注目画素ｃの画像データである。この場合、画像データＤＭ（１）〜ＤＭ（ｍ）は、それぞれ注目画素ｃから所定の画素数（座標値）だけ右方向または左方向に離れた画素の画像データとなる。例えば、ｍ＝５の場合に、画像データＤＭ（３）を画像データＤＭ（ｃ）とすると、画像データＤＭ（１）が注目画素ｃの２つ前（左側：１＝ｃ−２）の画素の画像データとなり、画像データＤＭ（２）が注目画素ｃの１つ前（左側：２＝ｃ−１）の画素の画像データとなり、画像データＤＭ（４）が注目画素ｃの１つ後（右側：４＝ｃ＋１）の画素の画像データとなり、画像データＤＭ（５）が注目画素ｃの２つ後（右側：５＝ｃ＋２）の画素の画像データとなる。

差分算出部４２２−１〜４２２−ｍは、画像データＤＭ（１）〜ＤＭ（ｍ）と画像データＤＭ（ｃ）との差分を、それぞれ差分データ（差分値）ＥＤ（１）〜ＥＤ（ｍ）として算出する。差分算出部４２２−１〜４２２−ｍは、それぞれε判定部４２３−１〜４２３−ｍに、差分データＥＤ（１）〜ＥＤ（ｍ）を出力する。

ε判定部４２３−１〜４２３−ｍは、それぞれ差分算出部４２２−１〜４２２−ｍから出力された差分データＥＤ（１）〜ＥＤ（ｍ）と、ε閾値決定部４１から出力された閾値データＥ＿ＴＨ（１）〜Ｅ＿ＴＨ（ｍ）より大きいか否かの判定を行い、その判定結果を判定データＥＥ（１）〜ＥＥ（ｍ）として判定付加重平均部１０に出力する。

判定付加重平均部１０は、判定データＥＥ（１）〜ＥＥ（ｍ）に基づいて差分データＥＤ（１）〜ＥＤ（ｍ）を加重平均し、その結果として得られる加重平均値を加重平均値（平均データ）ＥＭとしてデータ加算部４２５に出力する。データ加算部４２５は、加重平均値ＥＭに画像データＤＳ（画像データＤＭ（ｃ））を加算した画像データを画像データＤＯとして出力する。

ｎ次元ｍ次εフィルタ部４２によって階調のジャンプをなくし、実効的な階調数を増やす処理を行った画像データは、データ加算部４２５から画像データＤＯとして表示部４に出力される。表示部４は、画像データＤＯを表示する液晶モニタなどの表示手段である。

本実施の形態では、εフィルタにて、階調補正により発生した階調のジャンプを小振幅雑音（ノイズ）ととらえ、εフィルタ処理を行う。こうすることで、εフィルタは輪郭など画像の急峻な変化を保持しながら、階調補正により発生した階調のジャンプ部分の実質的な階調数を増やし、階調のジャンプをなくすことができる。しかしながら、存在する階調差が、階調補正によって発生した階調差なのか、輪郭など画像の急峻な変化による階調差なのか、区別して処理する必要がある。そこで、階調の補正量に合わせて、閾値ＴＨを変化させる。すなわち、補正した補正量に応じて、εフィルタが保存できるエッジの大きさを変化させる。そのため、本実施の形態にかかる画像表示装置の階調補間部４は、階調の補正量によって閾値ＴＨを変化させるε閾値決定部４１（閾値制御部）を備えている。以下、詳細に説明する。なお、本実施の形態においては、閾値ＴＨとして、Ｅ＿ＴＨ（ｎ）のように、「Ｅ＿」を付けて閾値ＴＨを表記する場合、ｎは画素位置１〜ｍのうちの位置を示す値である。また、ｔｈ（ｖ）のように「Ｅ＿」なしで閾値ＴＨを表記する場合、ｖは補正処理によって変化する階調の変化量や階調幅の拡大や縮小量を示す値である。

図４は、階調の補正量（画像データＤＪ−画像データＤＩ）とε閾値決定部４１で決定する閾値の関係を示す図である。なお、図中の変数ａ，ｂは、それぞれ正の値である。ε閾値決定部４１は、例えば補正量に対応したε閾値のルックアップテーブルを保有し、階調の補正量からε閾値を決定する。εフィルタは、階調の補正量が小さい領域では小さいエッジも保持し、階調の補正量が大きい領域では大きいエッジのみを保持する事を表す。

つまり、階調の補正がマイナスの画像の時（階調を圧縮する領域）は、閾値が小さい値に決定する為、輪郭など画像の急峻な変化部分が階調の補正によって変化量が小さくなった画像も、エッジを保持する処理を行う。一方、階調の補正がプラスに補正される画像の時（階調を拡大する領域）は、閾値を大きい値に決定する為、階調補正によって発生した階調のジャンプに対しても平滑化処理を行う。

具体的な画像処理例を、図５〜１４を用いて説明する。なお、処理例では、ｎ次元ｍ次フィルタ部４２は、１次元５次フィルタを使用するものとする。
図５〜図９は、急峻に階調が変化するエッジ部分の画像処理例を示すものであり、図１０〜図１４は、緩やかに階調が変化する部分の画像処理例を示すものであり、画像データのうち、隣接する１０個の画素ｎ０〜ｎ９を説明対象としている。

まずは、図５〜図９を用いて、画素ｎ４からｎ５において急峻に階調が変化するエッジ部分を有する画像データを処理する場合について説明する。図５（ａ）は入力画像ＤＩ、図５（ｂ）は補正後の画像データＤＪ、図５（ｃ）は補正量（ＤＪ−ＤＩ）を示すものである。図において、受信部２から出力された画像データＤＩ（画素ｎ０〜ｎ９）は、画素ｎ４からｎ５において急峻に階調が変化するエッジ部分を有していることがわかる。

図５（ｂ）は、画像データＤＩを階調補正部３にて補正した後の画像データＤＪであり、画素ｎ４からｎ５における急峻に階調が変化している部分の変化量が、階調補正部３の補正によって小さくなっていることがわかる。

図５（ｃ）は、図５（ａ）の画像データＤＩと図５（ｂ）の画像データＤＪの差分（補正量）と、その差分（補正量）から決定したε閾値ＴＨを表す図である。図において画素ｎ０〜ｎ４の差分（補正量）は−ａ２、画素ｎ５〜ｎ１０の差分（補正量）は−ａ２よりさらに小さい−ａ１である。図４に示すように、ＤＪ−ＤＩが小さいほど閾値ＴＨは小さくなるので、それに応じて閾値ｔｈ（−ａ１）は、閾値ｔｈ（−ａ２）よりも小さくなっている。なお、ｔｈ（ｖ）における変数ｖは、ある画素の階調補正前後の階調変化量（ＤＪ−ＤＩ）であり、ｖ＝０のとき、ＤＩ＝ＤＶで階調変化がないことになる。
る。

図６（ａ）は図５（ｂ）における画素ｎ４を注目画素としたときの差分値ＥＤ（１）〜ＥＤ（５）の絶対値と、本発明の階調補正量によって変化するε閾値Ｅ＿ＴＨ（１）〜Ｅ＿ＴＨ（５）の関係を示した図、図６（ｂ）は図５（ｂ）における画素ｎ５を注目画素としたときの差分値ＥＤ（１）〜ＥＤ（５）の絶対値と、ε閾値Ｅ＿ＴＨ（１）〜Ｅ＿ＴＨ（５）の関係を示した図、図６（ｃ）は、これら変化する閾値ＴＨをもとに補間された画像データＤＯを示すものである。

図６（ａ）において、丸でプロットしている値は、画像データＤＪにおける注目画素ｎ４（黒丸）とその水平左右２画素（白丸）の差分絶対値を示している。差分算出部４２２−１〜４２２−ｍから、それぞれ
ＥＤ（１）はＤＪにおける画素ｎ４とｎ２との差分で０、
ＥＤ（２）はＤＪにおける画素ｎ４とｎ３との差分で０、
ＥＤ（３）はＤＪにおける画素ｎ４とｎ４との差分で０、
ＥＤ（４）はＤＪにおける画素ｎ４とｎ５との差分でＡ（絶対値はＡ）、
ＥＤ（５）はＤＪにおける画素ｎ４とｎ６との差分でＡが、ε判定部４２３−１〜４２３−ｍに出力される。

各ε判定部４２３−１〜４２３−ｍ（まとめてε判定部４３２と称する）にて、差分データＥＤ（１）〜ＥＤ（ｍ）（まとめて差分データＥＤと称する）の絶対値とε閾値Ｅ＿ＴＨ（１）〜Ｅ＿ＴＨ（ｍ）（まとめてε閾値ＴＨと称する）とを比較し、その判定結果ＥＥ（１）〜ＥＥ（ｍ）（まとめて判定結果ＥＥと称する）を判定付加重平均部４２４に出力する。差分データＥＤの絶対値がε閾値ＴＨより大きい場合は、判定結果ＥＥは「０」を出力し、差分データＥＤの絶対値がε閾値以下の場合は、判定結果ＥＥは「１」を出力する。

具体的には、
画素ｎ２では、差分データＥＤ（１）の絶対値＝０＜ε閾値ｔｈ（−ａ２）なので、ＥＥ（１）＝１、
画素ｎ３では、差分データＥＤ（２）の絶対値＝０＜ε閾値ｔｈ（−ａ２）なので、ＥＥ（２）＝１、
画素ｎ４では、差分データＥＤ（３）の絶対値＝０＜ε閾値ｔｈ（−ａ２）なので、ＥＥ（３）＝１、
画素ｎ５では、差分データＥＤ（４）の絶対値＝Ａ＞ε閾値ｔｈ（−ａ１）なので、ＥＥ（４）＝０、
画素ｎ６では、差分データＥＤ（５）の絶対値＝Ａ＞ε閾値ｔｈ（−ａ１）なので、ＥＥ（５）＝０となり、その判定結果ＥＥ（１）〜ＥＥ（５）を判定付加重平均部４２４に供給する。

判定付加重平均部４２４は、判定結果ＥＥ（１）〜ＥＥ（５）に基づいて、差分データＥＤ（１）〜ＥＤ（５）を加重平均し、その結果として得られる加重平均ＥＭを出力する。判定付加重平均部４２４は、判定結果ＥＥ（ｉ）が「１」の場合、差分データＥＤ（ｉ）に係数Ｋ（ｉ）を乗算して加算し、判定結果ＥＥ（ｉ）が「０」の場合は、加算しない。例えば、図７（ａ１）に示すように、係数Ｋ（１）〜Ｋ（５）を全て０．２とした場合、次のような加重平均を行い、加重平均値ＥＭが出力される。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（０×Ａ×０．２）
＋（０×Ａ×０．２）
＝０

画素ｎ５を注目画素とした場合の差分値ＥＤ（１）〜ＥＤ（５）の絶対値は、以下のようになる。
ＥＤ（１）はＤＪにおける画素ｎ５とｎ３との差分で−Ａ（絶対値はＡ）、
ＥＤ（２）はＤＪにおける画素ｎ５とｎ４との差分で−Ａ、
ＥＤ（３）はＤＪにおける画素ｎ５とｎ５との差分で０、
ＥＤ（４）はＤＪにおける画素ｎ５とｎ６との差分で０、
ＥＤ（５）はＤＪにおける画素ｎ５とｎ７との差分で０、
そして、ＥＤとε閾値ＴＨとの関係は図６（ｂ）のような関係となる。

同様に図７（ａ２）に示すように、判定付加重平均部４２４にて加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （０×（−Ａ）×０．２）
＋（０×（−Ａ）×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＝０

画素ｎ０〜ｎ９を順に注目画素とした時、判定付加重平均部４２４にて同様の演算が行われ、加重平均値ＥＭは図７（ｂ）に示す値を出力する。データ加算部４２５で、注目画素データＤＭ（ｃ）に加重平均値ＥＭを加算し、図６（ｃ）に示すようにエッジが保存された画像データＤＯが出力される。

一方、従来のようにε閾値ＴＨが階調補正量によって変化せず、ε閾値ＴＨが一定値であるｔｈ（０）となる場合の処理例を、図８、図９を用いて説明する。図８（ａ）は、画素ｎ４を注目画素とした（ＤＭ（１）が画素ｎ２、ＤＭ（２）が画素ｎ３、ＤＭ（３）が注目画素ｎ４、ＤＭ（４）が画素ｎ５、ＤＭ（５）が画素ｎ６のデータ）場合、図８（ｂ）は、画素ｎ５を注目画素とした（ＤＭ（１）が画素ｎ３、ＤＭ（２）が画素ｎ４、ＤＭ（３）が注目画素ｎ５、ＤＭ（４）が画素ｎ６、ＤＭ（５）が画素ｎ７のデータ）場合における差分値ＥＤと一定のε閾値ｔｈ（０）との関係を示す図である。

画素ｎ４を注目画素とした場合、図９（ａ１）に示すように、ε判定部４３２にて、判定結果ＥＥ（１）＝「１」、ＥＥ（２）＝「１」、ＥＥ（３）＝「１」、ＥＥ（４）＝「１」、ＥＥ（５）＝「１」が決定し、判定付加重平均部４２４に供給する。判定付加重平均部４２４では、供給された判定結果ＥＥと差分データＥＤと注目画素の画像データＤＭ（ｃ）を用いて以下のように加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×Ａ×０．２）
＋（１×Ａ×０．２）
＝０．４Ａ

また、画素ｎ５を注目画素とした場合も同様に、図９（ａ２）に示すように、ε判定部４３２にて、判定結果ＥＥ（１）＝「１」、ＥＥ（２）＝「１」、ＥＥ（３）＝「１」、ＥＥ（４）＝「１」、ＥＥ（５）＝「１」が決定し、判定付加重平均部４２４に供給する。判定付加重平均部４２４では、供給された判定結果ＥＥと差分データＥＤと注目画素の画像データＤＭ（ｃ）を用いて以下のように加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×（−Ａ）×０．２）
＋（１×（−Ａ）×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＝−０．４Ａ

画素ｎ０〜ｎ９を順に注目画素とした時、判定付加重平均部４２４にて同様の演算が行われ、加重平均値ＥＭは図９（ｂ）のように出力される。データ加算部４２５で、注目画素のデータＤＭ（ｃ）に加重平均値ＥＭを加算し、図８（ｃ）に示すようにエッジが平均化された画像データＤＯが出力される。

つぎに、図１０〜図１４を用いて、緩やかに階調が変化する画像データを処理する場合について説明する。図１０（ａ）は入力画像ＤＩ、図１０（ｂ）は補正後の画像データＤＪ、図１０（ｃ）は補正量（ＤＪ−ＤＩ）を示すものである。図において、受信部２から出力された画像データＤＩ（画素ｎ０〜ｎ９）は、画素ｎ４からｎ５において緩やかに階調が変化していることがわかる。

図１０（ｂ）は、画像データＤＩを階調補正部３にて補正した後の画像データＤＪであり、画素ｎ４からｎ５における緩やかに階調が変化している部分の変化量が、階調補正部３の補正によって大きくなっている（階調ジャンプが発生）ことがわかる。

図１０（ｃ）は、図１０（ａ）の画像データＤＩと図１０（ｂ）の画像データＤＪの差分（補正量）と、その差分（補正量）から決定したε閾値ＴＨを表す図である。図において画素ｎ０〜ｎ４の差分（補正量）は＋ｂ２、画素ｎ５〜ｎ１０の差分（補正量）はｂ２より大きいｂ１である。図４に示すように、ＤＪ−ＤＩが大きいほど閾値ＴＨは大きくなるので、それに応じて閾値ｔｈ（ａ１）は、閾値ｔｈ（ｂ２）よりも大きくなっている。

図１１（ａ）は図１０（ｂ）における画素ｎ４を注目画素としたときの差分値ＥＤ（１）〜ＥＤ（５）の絶対値と、本発明の階調補正量によって変化するε閾値Ｅ＿ＴＨ（１）〜Ｅ＿ＴＨ（５）の関係を示した図、図１１（ｂ）は図１０（ｂ）における画素ｎ５を注目画素としたときの差分値ＥＤ（１）〜ＥＤ（５）の絶対値と、ε閾値Ｅ＿ＴＨ（１）〜Ｅ＿ＴＨ（５）の関係を示した図、図１１（ｃ）は、これら変化する閾値ＴＨをもとに補間された画像データＤＯを示すものである。

図１１（ａ）において、丸でプロットしている値は、画像データＤＪにおける注目画素ｎ４（黒丸）とその水平左右２画素（白丸）の差分絶対値を示している。差分算出部４２２−１〜４２２−ｍから、それぞれ
ＥＤ（１）はＤＪにおける画素ｎ４とｎ２との差分で０、
ＥＤ（２）はＤＪにおける画素ｎ４とｎ３との差分で０、
ＥＤ（３）はＤＪにおける画素ｎ４とｎ４との差分で０、
ＥＤ（４）はＤＪにおける画素ｎ４とｎ５との差分でＢ、
ＥＤ（５）はＤＪにおける画素ｎ４とｎ６との差分でＢが、ε判定部４２３−１〜４２３−ｍに出力される。

各ε判定部４２３−１〜４２３−ｍ（まとめてε判定部４３２と称する）にて、差分データＥＤの絶対値とε閾値ＴＨとを比較し、その判定結果ＥＥを判定付加重平均部４２４に出力する。差分データＥＤの絶対値がε閾値ＴＨより大きい場合は、判定結果ＥＥは「０」を出力し、差分データＥＤの絶対値がε閾値以下の場合は、判定結果ＥＥは「１」を出力する。

具体的には、
画素ｎ２では、差分データＥＤ（１）の絶対値＝０＜ε閾値ｔｈ（ｂ２）なので、ＥＥ（１）＝１、
画素ｎ３では、差分データＥＤ（２）の絶対値＝０＜ε閾値ｔｈ（ｂ２）なので、ＥＥ（２）＝１、
画素ｎ４では、差分データＥＤ（３）の絶対値＝０＜ε閾値ｔｈ（ｂ２）なので、ＥＥ（３）＝１、
画素ｎ５では、差分データＥＤ（４）の絶対値＝Ｂ＜ε閾値ｔｈ（ｂ１）なので、ＥＥ（４）＝１、
画素ｎ６では、差分データＥＤ（５）の絶対値＝Ｂ＜ε閾値ｔｈ（ｂ１）なので、ＥＥ（５）＝１となり、その判定結果ＥＥ（１）〜ＥＥ（５）を判定付加重平均部４２４に供給する。

判定付加重平均部４２４は、判定結果ＥＥ（１）〜ＥＥ（５）に基づいて、差分データＥＤ（１）〜ＥＤ（５）を加重平均し、その結果として得られる加重平均ＥＭを出力する。判定付加重平均部４２４は、判定結果ＥＥ（ｉ）が「１」の場合、差分データＥＤ（ｉ）に係数Ｋ（ｉ）を乗算して加算し、判定結果ＥＥ（ｉ）が「０」の場合は、加算しない。例えば、図１２（ａ１）に示すように、係数Ｋ（１）〜Ｋ（５）を全て０．２とした場合、次のような加重平均を行い、加重平均値ＥＭが出力される。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×Ｂ×０．２）
＋（１×Ｂ×０．２）
＝０．４Ｂ

画素ｎ５を注目画素とした場合の差分値ＥＤ（１）〜ＥＤ（５）の絶対値は以下のようになる。
ＥＤ（１）はＤＪにおける画素ｎ５とｎ３との差分で−Ｂ（絶対値はＢ）、
ＥＤ（２）はＤＪにおける画素ｎ５とｎ４との差分で−Ｂ、
ＥＤ（３）はＤＪにおける画素ｎ５とｎ５との差分で０、
ＥＤ（４）はＤＪにおける画素ｎ５とｎ６との差分で０、
ＥＤ（５）はＤＪにおける画素ｎ５とｎ７との差分で０、
そして、ＥＤとε閾値ＴＨとの関係は図１１（ｂ）のような関係となる。

同様に、図１２（ａ２）に示すように、判定付加重平均部４２４にて加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×（−Ｂ）×０．２）
＋（１×（−Ｂ）×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＝−０．４Ｂ

画素ｎ０〜ｎ９を順に注目画素とした時、判定付加重平均部４２４にて同様の演算が行われ、加重平均値ＥＭは図１２（ｂ）に示す値を出力する。データ加算部４２５で、注目画素データＤＭ（ｃ）に加重平均値ＥＭを加算し、図１１（ｃ）に示すように階調ジャンプが解消され、緩やかに階調が変化する画像データＤＯが出力される。

一方、従来のようにε閾値ＴＨが階調補正量によって変化せず、ε閾値ＴＨが一定値であるｔｈ（０）となる場合の処理例を、図１３、図１４を用いて説明する。図１３（ａ）は、画素ｎ４を注目画素とした場合、図８（ｂ）は、画素ｎ５を注目画素とした場合における差分値ＥＤと一定のε閾値ｔｈ（０）との関係を示す図である。

画素ｎ４を注目画素とした場合、図１４（ａ１）に示すように、ε判定部４３２にて、判定結果ＥＥ（１）＝「１」、ＥＥ（２）＝「１」、ＥＥ（３）＝「１」、ＥＥ（４）＝「０」、ＥＥ（５）＝「０」が決定し、判定付加重平均部４２４に供給する。判定付加重平均部４２４では、供給された判定結果ＥＥと差分データＥＤと注目画素の画像データＤＭ（ｃ）を用いて以下のように加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（０×Ｂ×０．２）
＋（０×Ｂ×０．２）
＝０

また、画素ｎ５を注目画素とした場合も同様に、図１４（ａ２）に示すように、ε判定部４３２にて、判定結果ＥＥ（１）＝「０」、ＥＥ（２）＝「０」、ＥＥ（３）＝「１」、ＥＥ（４）＝「１」、ＥＥ（５）＝「１」が決定し、判定付加重平均部４２４に供給する。判定付加重平均部４２４では、供給された判定結果ＥＥと差分データＥＤと注目画素の画像データＤＭ（ｃ）を用いて以下のように加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （０×（−Ｂ）×０．２）
＋（０×（−Ｂ）×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＝０

画素ｎ０〜ｎ９を順に注目画素とした時、判定付加重平均部４２４にて同様の演算が行われ、加重平均値ＥＭは図１４（ｂ）に示す値を出力する。データ加算部４２５で、注目画素の画素データＤＭ（ｃ）に加重平均値ＥＭを加算し、図１３（ｃ）に示すようにエッジが急峻に変化する画像データＤＯが出力される。

上記のように、階調補正量に応じてε閾値ＴＨを変化させるε閾値決定部４１（閾値制御部）を備えることによって、ε閾値決定部４１によって閾値が制御されるｎ次元ｍ次εフィルタ部４２（エッジ保存型平滑化フィルタ）は、入力画像に対する階調補正量に応じて保持するエッジが異なる平滑化フィルタとして動作する。

以上のように、本実施の形態１では、入力画像データＤＩの階調を補正し、出力画像データＤＪとして出力する階調補正部３と、階調補正部３から出力された出力画像データＤＪの階調抜けを補間処理する階調補間部４と、を備え、階調補間部４は、出力画像データＤＪのエッジを保存して平滑化するエッジ保存型平滑化フィルタ４２と、エッジ保存型平滑化フィルタ４２にて使用する閾値ＴＨを階調補正部３における階調補正量に応じて決定する閾値決定部４１と、を備えるように構成したので、入力画像に階調補正を実施した画像において、階調補正量によってε閾値を可変することによって、階調補正にて変化した階調差をエッジか階調のジャンプかを的確に判断することが出来、エッジにおいてはボケのないエッジに処理することが出来、階調のジャンプにおいては緩やかに階調変化するように処理することが出来る。これにより、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消することができる。

とくに、閾値決定部４１は、入力画像データＤＩと出力画像データＤＪの階調値の差に基づいて閾値ＴＨを決定するようにしたので、簡単な計算によって階調補正による階調幅が拡大するか縮小するかを評価でき、その評価（判定）結果を閾値ＴＨに反映させることができる。

さらに、エッジ保存型平滑化フィルタ４２は、ｎ次元ｍ次εフィルタで構成したので、着目画素と階調差の大きな周辺画素のデータを除いて平滑化することになる。したがって、εフィルタを用いて階調補正により増えた階調を平滑化するので、輪郭やテクスチャなどの階調が急峻に大きく変化する領域を有する画像の鮮鋭度を損なわずに、画像データの階調のジャンプを改善することができる。したがって、画像レベルの抜けに起因する擬似輪郭を解消して擬似輪郭による画質劣化を低減させることが可能となる。

また、本発明の実施の形態１にかかる画像表示装置は、画像データＳＡを受信する受信部２と、受信部２が受信した画像データを処理する上記画像処理装置と、上記画像処理装置から出力される画像データＤＯを表示する画像表示部５と、を備えたので、画像レベルの抜けに起因する擬似的な輪郭を、階調補正処理をした画像に対しても的確に解消した画像を表示することができる。

なお、本実施の形態１においては、閾値決定部４１が、入力画像データＤＩと出力画像データＤＪの階調値の差に基づいて閾値ＴＨを決定する例を示したが、入力画像データＤＩにおける隣接画素間の階調差に対し出力画像データＤＪにおける隣接画素間の階調差が大きくなるか小さくなるかによって閾値を決定するようにしても良い。例えば、図５（ｂ）において、補正後の画素ｎ０〜ｎ４と画素ｎ５〜ｎ９間の階調差Ａ_Ｊ＝Ａと、補正前の階調差Ａ_Ｉ＝Ａ＋ａ１−ａ２との差ΔＡ＝Ａ_Ｊ−Ａ_Ｉを基準に閾値を出すようにしてもよい。あるいは、補正後の階調差Ａ_Ｊと、補正前の階調差Ａ_Ｉとの比ＰＡ＝Ａ_Ｊ／Ａ_Ｉを基準に閾値を出すようにしてもよい。それらの場合、本実施の形態１のように単純にＤＪ−ＤＩを計算するよりも多少計算が複雑になるが、注目画素と注目画素に隣接する画素の階調差が拡大したか縮小したかをより的確に判定することができる。

なお、上記実施の形態１において、補正係数決定部３１の補正カーブをルックアップテーブルから決定すると説明したが、ｎ＝１以上のｎ次元グラフから算出してもよい。

また、実施の形態１において、ｎ次元ｍ次フィルタ部４２を１次元５次フィルタとして説明したが、本発明は、ｎ＝１、ｍ＝５に限定されるものではない。本実施の形態１においてｎ次元ｍ次フィルタ部４２を１次元フィルタとした為、水平方向のみの階調改善の説明をしたが、２次元以上のフィルタにすると垂直方向に対しても階調の改善を行うことが出来る。

実施の形態２．
図１５は、本発明の実施の形態２に係る画像表示装置の構成を示す図である。実施の形態２に係る画像表示装置は、ビット拡張や階調補正処理により増加させた階調をεフィルタ（非線型デジタルフィルタ）を用いて平滑化し、実効的な階調数を増やして画像表示を行う液晶テレビやプラズマテレビなどの画像表示装置である。実施の形態１と異なる点は、ε閾値決定部４１Ｂが補正前後の（画像データＤＪと画像データＤＩの）階調の差に基づいて決定するものではなく、階調補正部３の補正カーブの形状と階調（画像データＤＪまたは画像データＤＩのどちらか一方）から決定する点である。図１５の構成要素のうち、同一の構成を示すものについては、同一番号を付しており、重複する説明は省略する。

本実施の形態２にかかる画像表示装置は、入力端子１、受信部２、階調補正部３、階調改善部４Ｂ、及び表示部５を備えていて、入力端子１、受信部２、階調補正部３、及び表示部５は実施の形態１と同様の処理を行うので、説明は省略する。

階調改善部４Ｂは、ε閾値決定部４１Ｂとエッジ保存型平滑化フィルタであるｎ次元ｍ次εフィルタ部４２とを備えている。ε閾値決定部４１Ｂは、階調補正部３の補正カーブの形状と画像データＤＪの階調から可変するεフィルタの閾値ＴＨＢを決定し、ｎ次元ｍ次εフィルタ部４２にて階調補間を行う。

階調改善部４Ｂについて、詳しく説明する。
ε閾値決定部４１Ｂは、補正カーブ決定部３１で決定した補正カーブの係数と階調補正部３で階調補正され出力された画像データＤＪの画素の階調によって、ｎ次元ｍ次εフィルタ部４２で使用するε閾値ＴＨを決定する。図１６は、階調補正前の階調値と階調補正後の階調値とを対応させた補正カーブを示すものであり、図１６（ａ）は階調補正をしない場合を、図１６（ｂ）は、入力階調に応じて階調補正係数ｋ１が異なる階調補正を行う場合を示している。図１６（ａ）では階調補正を行わない、つまり、階調の補正係数ｋ１＝１であるので、階調前後による階調幅の変化はなく、拡大縮小係数ｋ２も一定の１となる。したがって、このような場合、閾値ＴＨは階調によって変化せず一定となり、これを基準のε閾値ｔｈＢ（１）とする。なお、ε閾値ｔｈＢ（１）は使用者によって任意に決定する。なお、ｔｈＢ（ｖ）における変数ｖは拡大縮小係数ｋ２であり、ｖ＝１のとき、階調前後で階調幅の拡大縮小がないことになる。

なお、補正カーブが直線の場合でも、例えば、画像データＤＪの最大階調が画像データＤＩの最大階調の２倍である場合、階調補正により、階調幅が２倍になるので、拡大縮小係数ｋ２は階調によらず一定ではあるが、２となる。

次に、階調補正部３で決定した補正カーブが、図１６（ｂ）のような曲線である場合について説明する。この補正カーブの場合、階調の低い部分は階調幅が縮小する（ｋ２＜１）ため黒つぶれしやすくなり、同様に階調の高い部分も階調幅が縮小する（ｋ２＜１）ため白つぶれしやすくなる。一方、中間の階調部分は階調幅が拡大する（ｋ２＞１）ため階調のジャンプが発生しやすくなる。

階調の低い部分や階調の高い部分は、階調補正部３で補正されたことによりテクスチャやエッジ部分でも階調差が小さくなるため、従来の固定ε閾値ｔｈＢ（１）でεフィルタをかけると、テクスチャやエッジなどをノイズ（階調ジャンプ）と判断され、平滑化されることが多くなり、ぼやけた画像になってしまう。一方、中間階調部分は、階調補正部３で補正されたことにより階調差が大きくなり、従来の固定ε閾値ｔｈＢ（１）でεフィルタをかけると、ノイズ（階調ジャンプ）がテクスチャと判断され、平滑化を行わず、ノイズの除去が出来ないことがある。

そこで、階調補正を行う補正カーブの形状（ｋ１のプロフィール）に合わせて、ε閾値ＴＨを変化させる。ただし、本実施の形態に係るε閾値決定部４１Ｂであっても、図１６（ａ）のように階調に関わらず補正係数Ｋ１が１の場合、階調によってε閾値ＴＨは変化せず、一定のε閾値ｔｈＢ（１）を出力することになる。

階調補正部３が、図１６（ｂ）の補正カーブを用いる場合のε閾値ｔｈＢの決定方法を、図１７、図１８を用いて説明する。なお、図１７は補正カーブにもとづく階調補正後の階調とε閾値ｔｈＢを割り振るステップとの関係を示す図１７（ａ）と、補正後階調の一定幅毎の階調拡大縮小係数ｋ２とε閾値ｔｈＢとを示す図１７（ｂ）と、階調補正後の階調とε閾値との関係を示す図１７（ｃ）とからなり、図１８は、補正カーブから補正係数を定義する２つの方法を夫々示す図１８（ａ）と図１８（ｂ）からなる。

図１７（ａ）に示すように、階調カーブと階調補正後の階調を複数のステップ（本実施の形態では８ビット長の画素データ２５６階調を、１ステップあたり３２階調の８ステップ）に分割し、それぞれのステップ（番号：ｊ）の階調拡大縮小係数ｋ２（ｊ）を導きだす。ここで、変数ｊはステップ番号である。この階調拡大縮小係数ｋ２に基準のε閾値ｔｈＢ（１）（補正係数ｋ１が１の時のε閾値で、あらかじめ設定しておく）を掛けた値が、ε閾値ＴＨとなり、図１７（ｂ）、（ｃ）に示すようにステップ毎に決定する。

階調拡大縮小係数ｋ２はステップ毎に、ステップ内での傾きにて求める。例えば、ステップの両端部を直線で結び、その傾きをｋ２とする場合、図１８（ａ）に示すように、ステップ１の階調拡大縮小係数ｋ２（１）＝ｙ／ｘとなる。あるいは、図１８（ｂ）に示すように、ステップ内代表座標点の接線の傾き（補正カーブｋ１上の傾き）で求めてもよい。

具体的な画像処理例を、図１９〜図２８を用いて説明する。なお、本実施の形態でも、エッジ保存型平滑化フィルタであるｎ次元ｍ次フィルタ部４２Ｂは、１次元５次フィルタを使用するものとする。また、図１９〜図２３は緩やかに階調が変化する部分の画像処理例を示すものであり、図２４〜図２８は急峻に階調が変化するエッジ部分の画像処理例を示すものであり、画像データのうち、隣接する１０個の画素ｎ０〜ｎ９を説明対象としている。

まずは、図１９〜図２３を用いて、緩やかに階調が変化する画像データを処理する場合について説明する。図１９（ａ）は入力画像ＤＩ、図１９（ｂ）は補正後の画像データＤＪ、図１９（ｃ）は補正量（ＤＪ−ＤＩ）を示すものである。図において、受信部２から出力された画像データＤＩ（画素ｎ０〜ｎ９）は、画素ｎ４からｎ５において微少に階調が変化していることがわかる。

図１９（ｂ）は、画像データＤＩを図１７で示した補正カーブに基づき、階調補正部３にて補正した後の画像データＤＪであり、画素ｎ４からｎ５における微小に階調が変化している部分の変化量が、階調補正部３の補正によって大きくなっている（階調ジャンプが発生）ことがわかる。これは、画素ｎ０〜ｎ４より階調値が大きい画素ｎ５〜ｎ９の階調の増加量Ｃが、画素ｎ０〜ｎ４の階調の増加量ｃよりも大きいために生じたもので、例えば、画素ｎ０〜ｎ９が図１７で示すステップ３の階調となるような場合である。

図１９（ｃ）は、図１７で示した補正カーブに基づき画素ｎ０〜ｎ９に対して階調補正部３にて補正を行う際の階調拡大縮小係数ｋ２と、その階調拡大縮小係数ｋ２に対応して定めるε閾値ＴＨを示すものである。図において画素ｎ０〜ｎ９の階調拡大縮小係数ｋ２は１より大きい値である。図１７（ｂ）に示すように、ｋ２が大きいほど閾値ＴＨは大きくなるので、それに応じて閾値ｔｈＢ（ｋ２）は、ｔｈＢ（１）より大きくなっている。

図２０（ａ）は図１９（ｂ）における画素ｎ４を注目画素としたときの差分値ＥＤ（１）〜ＥＤ（５）の絶対値と、本発明の階調拡大縮小係数ｋ２によって変化するε閾値Ｅ＿ＴＨＢ（１）〜Ｅ＿ＴＨＢ（５）の関係を示した図、図２０（ｂ）は図１９（ｂ）における画素ｎ５を注目画素としたときの差分値ＥＤ（１）〜ＥＤ（５）の絶対値と、ε閾値Ｅ＿ＴＨＢ（１）〜Ｅ＿ＴＨＢ（５）の関係を示した図、図２０（ｃ）は、これら変化する閾値ＴＨをもとに補間された画像データＤＯを示すものである。

図２０（ａ）において、丸でプロットしている値は、画像データＤＪにおける注目画素ｎ４（黒丸）とその水平左右２画素（白丸）の差分絶対値を示している。差分算出部４２２−１〜４２２−ｍ（ｎ次元ｍ次εフィルタ部４２内の各要素は、実施の形態１と同じ番号を付与）から、それぞれ
ＥＤ（１）はＤＪにおける画素ｎ４とｎ２との差分で０、
ＥＤ（２）はＤＪにおける画素ｎ４とｎ３との差分で０、
ＥＤ（３）はＤＪにおける画素ｎ４とｎ４との差分で０、
ＥＤ（４）はＤＪにおける画素ｎ４とｎ５との差分でＣ（絶対値もＣ）、
ＥＤ（５）はＤＪにおける画素ｎ４とｎ６との差分でＣが、ε判定部４２３−１〜４２３−ｍに出力される。

ε判定部４２３にて、差分データＥＤの絶対値とε閾値Ｅ＿ＴＨＢ（１）〜Ｅ＿ＴＨＢ（ｍ）（まとめてε閾値ＴＨＢと称する）とを比較し、その判定結果ＥＥを判定付加重平均部４２４に出力する。差分データＥＤの絶対値がε閾値ＴＨＢより大きい場合は、判定結果ＥＥは「０」を出力し、差分データＥＤの絶対値がε閾値以下の場合は、判定結果ＥＥは「１」を出力する。

具体的には、
画素ｎ２では、差分データＥＤ（１）の絶対値＝０＜ε閾値ｔｈＢ（ｋ２）なので、ＥＥ（１）＝１、
画素ｎ３では、差分データＥＤ（２）の絶対値＝０＜ε閾値ｔｈＢ（ｋ２）なので、ＥＥ（２）＝１、
画素ｎ４では、差分データＥＤ（３）の絶対値＝０＜ε閾値ｔｈＢ（ｋ２）なので、ＥＥ（３）＝１、
画素ｎ５では、差分データＥＤ（４）の絶対値＝Ｃ＜ε閾値ｔｈＢ（ｋ２）なので、ＥＥ（４）＝１、
画素ｎ６では、差分データＥＤ（５）の絶対値＝Ｃ＜ε閾値ｔｈＢ（ｋ２）なので、ＥＥ（５）＝１となり、その判定結果ＥＥ（１）〜ＥＥ（５）を判定付加重平均部４２４に供給する。

判定付加重平均部４２４は、判定結果ＥＥ（１）〜ＥＥ（５）に基づいて、差分データＥＤ（１）〜ＥＤ（５）を加重平均し、その結果として得られる加重平均ＥＭを出力する。判定付加重平均部４２４は、判定結果ＥＥ（ｉ）が「１」の場合、差分データＥＤ（ｉ）に係数Ｋ（ｉ）を乗算して加算し、判定結果ＥＥ（ｉ）が「０」の場合は、加算しない。例えば、図２１（ａ１）に示すように、係数Ｋ（１）〜Ｋ（５）を全て０．２とした場合、次のような加重平均を行い、加重平均値ＥＭが出力される。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×Ｃ×０．２）
＋（１×Ｃ×０．２）
＝０．４Ｃ

画素ｎ５を注目画素とした場合の差分値ＥＤ（１）〜ＥＤ（５）の絶対値は以下のようになる。
ＥＤ（１）は画素ｎ５とｎ３の差分で−Ｃ（絶対値はＣ）、
ＥＤ（２）は画素ｎ５とｎ４の差分で−Ｃ、
ＥＤ（３）は画素ｎ５とｎ５の差分で０）、
ＥＤ（４）は画素ｎ５とｎ６の差分で０、
ＥＤ（５）は画素ｎ５とｎ７の差分で０、
そして、ＥＤとε閾値ＴＨとの関係は図２０（ｂ）のような関係となる。

同様に、図２１（ａ２）に示すように、判定付加重平均部４２４にて加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×（−Ｃ）×０．２）
＋（１×（−Ｃ）×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＝−０．４Ｃ

画素位置ｎ０〜ｎ９を順に注目画素とした時、判定付加重平均部４２４にて同様の演算が行われ、加重平均値ＥＭは図２１（ｂ）に示す値を出力する。データ加算部４２５で、注目画素データＤＭ（ｃ）に加重平均値ＥＭを加算し、図２０（ｃ）に示すようにエッジが緩やかに変化する画像データＤＯが出力される。

一方、従来のようにε閾値ＴＨＢが階調拡大縮小係数ｋ２によって変化せず、ε閾値ＴＨＢが一定値であるｔｈＢ（１）となる場合の処理例を、図２２、図２３を用いて説明する。図２２（ａ）は、画素ｎ４を注目画素とした（ＤＭ（１）が画素ｎ２、ＤＭ（２）が画素ｎ３、ＤＭ（３）が注目画素ｎ４、ＤＭ（４）が画素ｎ５、ＤＭ（５）が画素ｎ６のデータ）場合、図２２（ｂ）は、画素ｎ５を注目画素とした（ＤＭ（１）が画素ｎ３、ＤＭ（２）が画素ｎ４、ＤＭ（３）が注目画素ｎ５、ＤＭ（４）が画素ｎ６、ＤＭ（５）が画素ｎ７のデータ）場合における差分値ＥＤと一定のε閾値ｔｈＢ（１）との関係を示す図である。

画素ｎ４を注目画素とした場合、図２３（ａ１）に示すように、ε判定部４３２にて、判定結果ＥＥ（１）＝「１」、ＥＥ（２）＝「１」、ＥＥ（３）＝「１」、ＥＥ（４）＝「０」、ＥＥ（５）＝「０」が決定し、判定付加重平均部４２４に供給する。判定付加重平均部４２４では、供給された判定結果ＥＥと差分データＥＤと注目画素の画像データＤＭ（ｃ）を用いて以下のように加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（０×Ｃ×０．２）
＋（０×Ｃ×０．２）
＝０

また、画素ｎ５を注目画素とした場合も同様に、図２３（ａ２）に示すように、ε判定部４３２にて、判定結果ＥＥ（１）＝「０」、ＥＥ（２）＝「０」、ＥＥ（３）＝「１」、ＥＥ（４）＝「１」、ＥＥ（５）＝「１」が決定し、判定付加重平均部４２４に供給する。判定付加重平均部４２４では、供給された判定結果ＥＥと差分データＥＤと注目画素の画像データＤＭ（ｃ）を用いて以下のように加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （０×（−Ｃ）×０．２）
＋（０×（−Ｃ）×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＝０

画素位置ｎ０〜ｎ９を順に注目画素とした時、判定付加重平均部４２４にて同様の演算が行われ、加重平均値ＥＭは図２３（ｂ２）のように出力される。データ加算部４２５で、注目画素データＤＭ（ｃ）に加重平均値ＥＭを加算し、図２２（ｃ）に示すようにエッジが保存された画像データＤＯが出力される。

つぎに、図２４〜図２８を用いて、急峻に階調が変化する部分の画像処理例について説明する。図２４（ａ）は入力画像ＤＩ、図２４（ｂ）は補正後の画像データＤＪ、図２４（ｃ）は補正係数ｋ１を示すものである。図において、受信部２から出力された画像データＤＩ（画素ｎ０〜ｎ９）は、画素ｎ４からｎ５において急峻に階調が変化するエッジ部分を有していることがわかる。

図２４（ｂ）は、画像データＤＩを階調補正部３にて補正した後の画像データＤＪである。画素ｎ４からｎ５における急峻な階調の変化が、階調補正部３の補正によって階調の変化量が小さくなる例である。これは、画素ｎ０〜ｎ４より階調値が大きい画素ｎ５〜ｎ９の階調の減少量ｄが、画素ｎ０〜ｎ４の階調の減少量Ｄｃよりも大きいために生じたもので、例えば、図１７で示すステップ１のような場合である。

図２４（ｃ）は、図１７で示した補正カーブに基づき画素ｎ０〜ｎ９に対して階調補正部３にて補正を行う際の画素ごとの階調拡大縮小係数ｋ２と、その階調拡大縮小係数ｋ２に対応して定めるε閾値ＴＨを示すものである。図において画素ｎ０〜ｎ９の階調拡大縮小係数ｋ２は１より小さい値である。図１７（ｂ）に示すように、ｋ２が小さいほど閾値ＴＨは小さくなるので、それに応じて閾値ｔｈＢ（ｋ２）は、ｔｈＢ（１）よりも小さくなっている。

図２５（ａ）は図２４（ｂ）における画素ｎ４を注目画素としたときの差分値ＥＤ（１）〜ＥＤ（５）の絶対値と、本発明の階調拡大縮小係数ｋ２によって変化するε閾値Ｅ＿ＴＨＢ（１）〜Ｅ＿ＴＨＢ（５）の関係を示した図、図２５（ｂ）は図２４における画素ｎ５を注目画素としたときの差分値ＥＤ（１）〜ＥＤ（５）の絶対値と、ε閾値Ｅ＿ＴＨＢ（１）〜Ｅ＿ＴＨＢ（５）の関係を示した図、図２５（ｃ）は、これら変化する閾値ＴＨをもとに補間された画像データＤＯを示すものである。

図２５（ａ）において、丸でプロットしている値は、画像データＤＪにおける注目画素ｎ４（黒丸）とその水平左右２画素（白丸）の差分絶対値を示している。差分算出部４２２−１〜４２２−ｍから、それぞれ
ＥＤ（１）はＤＪにおける画素ｎ４とｎ２との差分で０、
ＥＤ（２）はＤＪにおける画素ｎ４とｎ３との差分で０、
ＥＤ（３）はＤＪにおける画素ｎ４とｎ４との差分で０、
ＥＤ（４）はＤＪにおける画素ｎ４とｎ５との差分でＤ（絶対値もＤ）、
ＥＤ（５）はＤＪにおける画素ｎ４とｎ６との差分でＤが、ε判定部４２３−１〜４２３−ｍに出力される。

ε判定部４２３にて、差分データＥＤの絶対値とε閾値Ｅ＿ＴＨＢ（１）〜Ｅ＿ＴＨＢ（ｍ）とを比較し、その判定結果ＥＥを判定付加重平均部４２４に出力する。差分データＥＤの絶対値がε閾値ＴＨＢより大きい場合は、判定結果ＥＥは「０」を出力し、差分データＥＤの絶対値がε閾値以下の場合は、判定結果ＥＥは「１」を出力する。

具体的には、
画素ｎ２では、差分データＥＤ（１）の絶対値＝０＜ε閾値ｔｈＢ（ｋ２）なので、ＥＥ（１）＝１、
画素ｎ３では、差分データＥＤ（２）の絶対値＝０＜ε閾値ｔｈＢ（ｋ２）なので、ＥＥ（２）＝１、
画素ｎ４では、差分データＥＤ（３）の絶対値＝０＜ε閾値ｔｈＢ（ｋ２）なので、ＥＥ（３）＝１、
画素ｎ５では、差分データＥＤ（４）の絶対値＝Ｄ＞ε閾値ｔｈＢ（ｋ２）なので、ＥＥ（４）＝０、
画素ｎ６では、差分データＥＤ（５）の絶対値＝Ｄ＞ε閾値ｔｈＢ（ｋ２）なので、ＥＥ（５）＝０となり、その判定結果ＥＥ（１）〜ＥＥ（５）を判定付加重平均部４２４に供給する。

判定付加重平均部４２４は、判定結果ＥＥ（１）〜ＥＥ（５）に基づいて、差分データＥＤ（１）〜ＥＤ（５）を加重平均し、その結果として得られる加重平均ＥＭを出力する。判定付加重平均部４２４は、判定結果ＥＥ（ｉ）が「１」の場合、差分データＥＤ（ｉ）に係数Ｋ（ｉ）を乗算して加算し、判定結果ＥＥ（ｉ）が「０」の場合は、加算しない。例えば、図２６（ａ１）に示すように、係数Ｋ（１）〜Ｋ（５）を全て０．２とした場合、次のような加重平均を行い、加重平均値ＥＭが出力される。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（０×Ｄ×０．２）
＋（０×Ｄ×０．２）
＝０

画素ｎ５を注目画素とした場合の差分値ＥＤ（１）〜ＥＤ（５）の絶対値は以下のようになる。
ＥＤ（１）は画素ｎ５とｎ３の差分で−Ｄ（絶対値もＤ）、
ＥＤ（２）は画素ｎ５とｎ４の差分で−Ｄ、
ＥＤ（３）は画素ｎ５とｎ５の差分で０、
ＥＤ（４）は画素ｎ５とｎ６の差分で０、
ＥＤ（５）は画素ｎ５とｎ７の差分で０、
そして、ＥＤとε閾値ＴＨとの関係は図２５（ｂ）のような関係となる。

同様に、図２６（ａ２）に示すように、判定付加重平均部４２４にて加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （０×（−Ｄ）×０．２）
＋（０×（−Ｄ）×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＝０

画素位置ｎ０〜ｎ９を順に注目画素とした時、判定付加重平均部４２４にて同様の演算が行われ、加重平均値ＥＭは図２６（ｂ）に示す値を出力する。データ加算部４２５で、注目画素データＤＭ（ｃ）に加重平均値ＥＭを加算し、図２５（ｃ）に示すようにエッジをほぼ保った状態の画像データＤＯが出力される。

一方、従来のようにε閾値ＴＨＢが補正係数ｋ１によって変化せず、つまり、階調拡大縮小係数ｋ２によって変化せず、ε閾値ＴＨＢが一定値であるｔｈＢ（１）となる場合の処理例を、図２７、図２８を用いて説明する。図２７（ａ）は、画素ｎ４を注目画素とした（ＤＭ（１）が画素ｎ２、ＤＭ（２）が画素ｎ３、ＤＭ（３）が注目画素ｎ４、ＤＭ（４）が画素ｎ５、ＤＭ（５）が画素ｎ６のデータ）場合、図２７（ｂ）は、画素ｎ５を注目画素とした（ＤＭ（１）が画素ｎ３、ＤＭ（２）が画素ｎ４、ＤＭ（３）が注目画素ｎ５、ＤＭ（４）が画素ｎ６、ＤＭ（５）が画素ｎ７のデータ）場合における差分値ＥＤと一定のε閾値ｔｈＢ（１）との関係を示す図である。

画素ｎ４を注目画素とした場合、図２８（ａ１）に示すように、ε判定部４３２にて、判定結果ＥＥ（１）＝「１」、ＥＥ（２）＝「１」、ＥＥ（３）＝「１」、ＥＥ（４）＝「１」、ＥＥ（５）＝「１」が決定し、判定付加重平均部４２４に供給する。判定付加重平均部４２４では、供給された判定結果ＥＥと差分データＥＤと注目画素の画像データＤＭ（ｃ）を用いて以下のように加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×Ｄ×０．２）
＋（１×Ｄ×０．２）
＝０．４Ｄ

また、画素ｎ５を注目画素とした場合も同様に、図２８（ａ２）に示すように、ε判定部４３２にて、判定結果ＥＥ（１）＝「１」、ＥＥ（２）＝「１」、ＥＥ（３）＝「１」、ＥＥ（４）＝「１」、ＥＥ（５）＝「１」が決定し、判定付加重平均部４２４に供給する。判定付加重平均部４２４では、供給された判定結果ＥＥと差分データＥＤと注目画素の画像データＤＭ（ｃ）を用いて以下のように加重平均値ＥＭを算出する。
ＥＭ＝ ＥＥ（１）×ＥＤ（１）×Ｋ（１）
＋ＥＥ（２）×ＥＤ（２）×Ｋ（２）
＋ＥＥ（３）×ＥＤ（３）×Ｋ（３）
＋ＥＥ（４）×ＥＤ（４）×Ｋ（４）
＋ＥＥ（５）×ＥＤ（５）×Ｋ（５）
＝ （１×（−Ｄ）×０．２）
＋（１×（−Ｄ）×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＋（１×０×０．２）
＝−０．４Ｄ

画素位置ｎ０〜ｎ９を順に注目画素とした時、判定付加重平均部４２４にて同様の演算が行われ、加重平均値ＥＭは図２８（ｂ２）のように出力される。データ加算部４２５で、注目画素データＤＭ（ｃ）に加重平均値ＥＭを加算し、図２７（ｃ）に示すようにエッジが緩やかに変化する画像データＤＯが出力される。

上記のように、ε閾値決定部４１Ｂ（閾値制御部）を備えることによって、ε閾値決定部４１Ｂによって閾値が制御されるｎ次元ｍ次εフィルタ部４２（エッジ保存型平滑化フィルタ）は、入力画像に対する階調補正カーブと階調（から算出される階調拡大縮小係数ｋ２）に応じて保持するエッジが異なる平滑化フィルタとして動作する。

以上のように、本実施の形態２にかかる画像処理装置および画像表示装置によれば、閾値決定部４１Ｂが、階調補正部３で使用する補正カーブと出力画像データＤＪの階調値とに基づいて算出する補正前後の階調幅の拡大縮小係数ｋ２に基づいて閾値ＴＨを決定するようにしたので、入力画像ＤＩに階調補正を実施した画像において、入力画像ＤＩの値を参照しなくても、階調補正量によってε閾値を可変することができる。これにより、階調補正にて変化した階調差をエッジか階調のジャンプかを的確に判断することができるので、エッジにおいてはボケのないエッジに処理することができるとともに、階調のジャンプにおいては緩やかに階調変化するように処理することができる。

とくに、閾値決定部４１Ｂが、出力画像ＤＪを階調レベルによって複数の階級（ステップ）に分割し、分割した階級（ステップ）ごとに補正前後の階調幅の拡大縮小係数ｋ２を算出するようにしたので、計算処理や記憶容量を増加させることなく、補間処理を行うことができる。

なお、本実施の形態２において、ｎ次元ｍ次フィルタ部４２を１次元５次フィルタとして説明したが、本発明は、ｎ＝１、ｍ＝５に限定されるものではない。また、本実施の形態２においてｎ次元ｍ次フィルタ部４２を１次元フィルタとした為、水平方向のみの階調改善の説明をしたが、２次元以上のフィルタにすると垂直方向に対しても階調の改善を行うことが出来る。

また、本実施の形態２において、ε閾値決定部４１Ｂでは８ステップに分けたε閾値ＴＨ（ｂ）について説明したが、８ステップの限定されるものではない。図２９（ａ）のように８ステップより少ないステップ数（例えば、４ステップ）や図２９（ｂ）のように８ステップより多いステップ数（例えば３２ステップ）としても、本実施の形態２のように階調の改善を行うことが出来る。

なお、本実施の形態２では、補正後の階調値に応じて分割したステップ毎の階調拡大縮小係数ｋ２（ｊ）を使用することを前提に説明を行ったが、ステップの分割位置にあたる階調を中心とするサブステップを形成して各ステップの階調範囲が重なり合うようにして、階調値に応じてステップを使い分けするようにしても良い。例えば図１７に示すステップ７とステップ８のサブステップとして、補正後階調範囲２０７〜２４０のサブステップＳ７を設定し、階調拡大縮小係数ｋ２（ｊ）をｋ２（７）とｋ２（８）の平均である０．７と設定する。そして、ある画素の階調値がステップ７と８の境界値付近である例えば階調値２２３だった場合、サブステップ７がないと、階調差が同じでも、階調値が２２４の隣接画素Ａと階調値が２２５の隣接画素Ｂがある場合、隣接画素ＡとＢに対して異なるε閾値を用いることになるが、サブステップＳ７を適用すれば、隣接画素Ａ，Ｂともに同じε閾値を使用することになるので、滑らかな補間が可能となる。

さらに、本実施の形態２では、同じ入力階調値に対して同じ補正係数ｋ１により補正する例について説明したが、補正部における階調補正が、その画素の存在する位置や周囲の画素の階調値によって、同じ入力階調値でも異なる補正係数ｋ１で補正するような場合、つまり、画素によって異なる補正カーブを用いる場合にも適用することはできる。その場合、画素ごとに選んだ補正カーブｋ１ｐと補正後の階調値に基づいて階調拡大縮小係数ｋ２を算出するようにすればよい。

また、本実施の形態２において、階調補正部を階調改善部の前段にあるものとして説明したが、図３０に示すように階調補正部３Ｃの補正カーブ決定部３１を階調改善部４Ｃの前段に設置し、補正部３２を後段に設置しても同様の階調の改善を行うことが出来る。この時、ε閾値ＴＨは受信部２からの出力画像データＤＩの階調を基準として設定する。

このように実施の形態２によれば、εフィルタを用いて階調補正により増えた階調を平滑化するので、輪郭やテクスチャなどの階調が急峻に大きく変化する領域を有する画像の鮮鋭度を損なわずに、画像データの階調のジャンプを改善することができる。したがって、画像レベルの抜けに起因する擬似輪郭を解消して擬似輪郭による画質劣化を低減させることが可能となる。

また、上記実施の形態１〜２において、階調補正を伴い、エッジを保存して階調のジャンプを改善する回路について説明をしたが、階調補正を伴い、エッジを保存してノイズ除去をする回路、及び階調補正を伴い、エッジを保存して実質的な階調を拡大する回路においても同様の効果がある。

また、上記実施の形態１〜２において、図３に示すようにｎ次元ｍ次εフィルタ部のε判定部４２３−１〜４２３―ｍは、ε閾値決定部４１にて決定したそれぞれに対応するε閾値Ｅ＿ＴＨ（１）〜Ｅ＿ＴＨ（ｍ）またはε閾値Ｅ＿ＴＨＢ（１）〜Ｅ＿ＴＨＢ（ｍ）にて判定する回路について説明したが、図３１に示すようにε判定部４２３−１〜４２３−ｍは、全て注目画素ＥＭ（ｃ）に対応するε閾値Ｅ＿ＴＨ（ｃ）またはＥ＿ＴＨＢ（ｃ）にて判定するように回路を構成してもよい。

実施の形態３．
上記各実施の形態１、２では、階調補正部４のエッジ保存型の平滑化フィルタをｎ次元ｍ次εフィルタとして説明してきたが、本発明はεフィルタを用いることに限定されない。急峻で大きな変化が存在する部分の先鋭度を保存しながら、小さな変化のみを平滑化するフィルタであるエッジ保存型平滑化フィルタとしては、上述したεフィルタの他にトリムド平均値フィルタ（ＤＷ−ＭＴＭフィルタ）やバイラテラルフィルタなどがあり、これらエッジ保存型平滑化フィルタを用いた場合でも本発明は実現できる。

ここで、トリムド平均値フィルタ（ＤＷ−ＭＴＭフィルタ）について説明する。トリムド平均値フィルタは、例えば非特許文献１（雛元孝夫監修、棟安実治、夫田口亮著、「非線形ディジタル信号処理」朝倉書店、１９９９年３月２０日、ｐ．７２−７４）に説明されているものである。

トリムド平均値フィルタによる一次元処理は、式（１）や（２）で表される。ｘ（ｉ）は入力される画像データの階調であり、ｙ（ｉ）は出力する画像データの階調である。また、ａ_kは係数であり、ｋは注目画素からの相対的な画素位置であり、εは閾値である。

ここでx_medは、処理点を中心とするフィルタ窓幅ｍより小さい窓内データのメジアン値である。ｂ_kはｘ（ｉ−ｋ）−x_medが閾値ε以下なら１、閾値ε以下なら０を出力する

ｂ_kはｘ（ｉ−ｋ）−ｘ（ｉ）が閾値ε以下なら１、閾値ε以下なら０を出力する。つまり、式（２）のトリムド平均値フィルタは着目画素と階調差の大きい周辺画素は除いて加重平均値を求めている。

εフィルタは着目画素と階調差の大きい周辺画素は着目画素の階調値に置き換えて加重平均値を求めている。一方、トリムド平均値フィルタはεフィルタと同様に急峻で大きな変化が存在する部分の先鋭度を保存しながら、小さな変化のみを平滑化するフィルタである。よって、εフィルタの代わりにトリムド平均値フィルタを用いても、ε閾値決定部４１、４１Ｂ、４１Ｃまたは４１Ｄで決定したε閾値ＴＨを閾値とすることで、同等の効果が得られる。同様に、εフィルタの代わりに他のエッジ保存型平滑化フィルタを用いても同等の効果が得られる。

１ 入力端子、 ２ 受信部、 ３ 階調補正部、 ４、４Ｂ、４Ｃ、４Ｄ 階調改善部、 ５ 表示部、 ３１ 補正カーブ決定部、 ３２ 補正部、 ４１、４１Ｂ、４１Ｂ、４１Ｃ、４１Ｄ ε閾値決定部、 ４２ ｎ次元ｍ次εフィルタ部（エッジ保存型平滑化フィルタ）、 ４２１ データ格納部、 ４２２ 差分算出部、 ４２３ ε判定部、 ４２４ 判定付荷重平均部、 ４２５ データ加算部、５ 表示部。

Claims (8)

1. 入力画像データの階調を補正し、出力画像データとして出力する階調補正部と、
   前記階調補正部から出力された出力画像データの階調抜けを補間処理する階調補間部と、を備え、
   前記階調補間部は、
   前記出力画像データのエッジを保存して平滑化するエッジ保存型平滑化フィルタと、
   前記エッジ保存型平滑化フィルタにて使用する閾値を前記階調補正部における階調補正量に応じて決定する閾値決定部と、を備えてなる画像処理装置。
2. 前記閾値決定部は、前記入力画像データと前記出力画像データの階調値の差に基づいて前記閾値を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記閾値決定部は、前記入力画像データにおける隣接画素間の階調値の差に対し前記出力画像データにおける前記隣接画素間の階調値の差が大きくなるか小さくなるかによって前記閾値を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記閾値決定部は、前記階調補正部で使用する補正カーブと前記出力画像データの階調値とに基づいて算出する補正前後の階調幅の拡大縮小係数に基づいて前記閾値を決定することを特徴とする請求項１に記載の画像処理装置。
5. 前記閾値決定部は、前記出力画像データを階調レベルによって複数の階級に分割し、分割した階級ごとに前記拡大縮小係数を算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記エッジ保存型平滑化フィルタは、ｎ次元ｍ次εフィルタであることを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記エッジ保存型平滑化フィルタは、トリムド平均値フィルタであることを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
8. 画像データを受信し、入力画像データとして出力する受信部と、
   前記受信部が出力した入力画像データの画像処理を行う請求項１ないし７のいずれかに記載の画像処理装置と、
   前記画像処理装置から出力される画像データを表示する画像表示部と、
   を備えてなる画像表示装置。

Images