しかし、特許文献1の方法では、周波数領域全体に対して予め準備されている定数をかけることによって全周波数成分を変更して強調を行っているため、顔の輪郭などのゆるやかな曲線領域において、不必要なブロックノイズが目立つという問題がある。また、直交変換された周波数領域の各周波数成分に、周波数成分の周期ごとに予め準備されている値をかけることによって周波数成分を変更し、より鮮明な画像を得ようとしているが、この場合、複数の値を設定する必要がある。このように複数の値を設定する場合、多くのレジスタが必要となり、回路規模が増大するという問題がある。また、特許文献1の方法は、エッジ強調の方法であり、平滑化処理に対応しておらず、例えばエッジ強調及び平滑化処理の両方を行うことはできないという問題がある。
本発明は斯かる事情に鑑みてなされたものであり、特定の周波数成分の夫々に対して、周波数成分と所定値との大小を比較し、比較結果に基づいて前記特定の各周波数成分を変更することにより、空間周波数への変換単位であるブロック内で強調処理と平滑化処理との混合処理を行うことができ、より最適な画像を得ることができる画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体を提供することを目的とする。
また、本発明は、前記特定の周波数成分は全周波数成分のうち低周波数側の周波数成分と画像データの水平方向のみ又は垂直方向のみに関する高周波数側の周波数成分とであり、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記変更手段が前記周波数成分の係数を増加させるように構成したことにより、きれいなエッジ曲線を得ることができる画像処理装置を提供することを他の目的とする。
また、本発明は、低周波数側の周波数成分と画像データの水平方向のみ又は垂直方向のみに関する高周波数側の周波数成分と含む特定の周波数成分、及び直流成分の両方を除く他の周波数成分の係数を減少させるように前記変更手段を構成したことにより、より滑らかな画像を得ることができる画像処理装置を提供することを他の目的とする。
また、本発明は、前記特定の周波数成分は全周波数成分のうち低周波数側の周波数成分及び直流成分の両方を除く周波数成分であり、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記変更手段が前記周波数成分の係数を増加させるように構成したことにより、きれいなエッジ曲線を得ることができる画像処理装置を提供することを他の目的とする。
また、本発明は、低周波数側の周波数成分と直流成分との両方を除く特定の周波数成分、及び直流成分の両方を除く他の周波数成分の係数を増加させるように前記変更手段を構成したことにより、よりはっきりした画像を得ることができる画像処理装置を提供することを他の目的とする。
また、本発明は、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記周波数成分が低周波数側になるほど小さく、高周波数側になるほど大きい補正係数を前記周波数成分の係数に乗算するように前記変更手段を構成したことにより、エッジの綺麗な画像を得ることができる画像処理装置を提供することを他の目的とする。
また、本発明は、前記特定の周波数成分の係数の絶対値が前記所定値より小さい場合は前記周波数成分を減少させるように前記変更手段を構成したことにより、より滑らかな画像を得ることができる画像処理装置を提供することを他の目的とする。
本発明に係る画像処理方法は、画像データに空間周波数への変換を行って複数の周波数成分を求め、求めた周波数成分の処理を行い、処理後の周波数成分を画像データに逆変換する画像処理方法において、空間周波数への変換を行って求めた複数の周波数成分のうちの特定の複数の周波数成分の夫々に対して、周波数成分の絶対値と所定値との大小を比較するステップと、比較結果に基づいて前記特定の各周波数成分を変更するステップとを有しており、前記特定の周波数成分は、全周波数成分のうち低周波数側の周波数成分と画像データの水平方向のみに関する高周波数側の周波数成分及び垂直方向のみに関する高周波数側の周波数成分とであって、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記周波数成分の係数を増加させ、前記特定の周波数成分及び直流成分の両方を除く他の周波数成分の係数を減少させる第1処理、及び、前記特定の周波数成分は、全周波数成分のうち低周波数側の周波数成分及び直流成分の両方を除く周波数成分であって、前記変更手段は、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記周波数成分の係数を増加させ、前記特定の周波数成分及び直流成分の両方を除く他の周波数成分の係数を増加させる第2処理を、画像データの特性に応じて切換えることを特徴とする。
本発明に係る画像処理装置は、画像データに空間周波数への変換を行って複数の周波数成分を求め、求めた周波数成分の処理を行い、処理後の周波数成分を画像データに逆変換する画像処理装置において、空間周波数への変換を行って求めた複数の周波数成分のうちの特定の複数の周波数成分の夫々に対して、周波数成分の絶対値と所定値との大小を比較する比較手段と、該比較手段の比較結果に基づいて前記特定の各周波数成分を変更する変更手段と、前記特定の周波数成分は、全周波数成分のうち低周波数側の周波数成分と画像データの水平方向のみに関する高周波数側の周波数成分及び垂直方向のみに関する高周波数側の周波数成分とであって、前記変更手段は、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記周波数成分の係数を増加させ、前記特定の周波数成分及び直流成分の両方を除く他の周波数成分の係数を減少させる第1処理、及び、前記特定の周波数成分は、全周波数成分のうち低周波数側の周波数成分及び直流成分の両方を除く周波数成分であって、前記変更手段は、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記周波数成分の係数を増加させ、前記特定の周波数成分及び直流成分の両方を除く他の周波数成分の係数を増加させる第2処理を、画像データの特性に応じて切換える切換手段とを備えることを特徴とする。
本発明に係る画像処理装置は、前記切換手段は、前記画像データが写真原稿由来の画像データである場合に前記第1処理に切換え、前記画像データが文字原稿由来の画像データである場合に前記第2処理に切換えるように構成してあることを特徴とする。
本発明に係る画像処理装置は、前記変更手段は、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記周波数成分が低周波数側になるほど小さく、高周波数側になるほど大きい補正係数を、前記周波数成分の係数に乗算するように構成してあることを特徴とする。
本発明に係る画像処理装置は、前記変更手段は、前記特定の周波数成分の係数の絶対値が前記所定値より小さい場合、前記周波数成分の係数を減少させるように構成してあることを特徴とする。
本発明に係る画像形成装置は、本発明の画像処理装置と、該画像処理装置で処理された画像をシートに形成する画像形成手段とを備えることを特徴とする。
本発明に係るコンピュータプログラムは、コンピュータに、画像データの空間周波数への変換を行わせて複数の周波数成分を求めさせ、求めた周波数成分の処理を行わせ、処理後の周波数成分を画像データに逆変換させるコンピュータプログラムにおいて、コンピュータに、空間周波数への変換を行って求めた複数の周波数成分のうちの特定の複数の周波数成分の夫々に対して、周波数成分の絶対値と所定値との大小を比較させる手順と、コンピュータに、比較結果に基づいて前記特定の各周波数成分を変更させる手順と、コンピュータに、前記特定の周波数成分は、全周波数成分のうち低周波数側の周波数成分と画像データの水平方向のみに関する高周波数側の周波数成分及び垂直方向のみに関する高周波数側の周波数成分とであって、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記周波数成分の係数を増加させ、前記特定の周波数成分及び直流成分の両方を除く他の周波数成分の係数を減少させる第1処理、及び、前記特定の周波数成分は、全周波数成分のうち低周波数側の周波数成分及び直流成分の両方を除く周波数成分であって、前記変更手段は、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記周波数成分の係数を増加させ、前記特定の周波数成分及び直流成分の両方を除く他の周波数成分の係数を増加させる第2処理を、画像データの特性に応じて切換えさせる手順とを含むことを特徴とする。
本発明に係る記録媒体は、本発明のコンピュータプログラムを記録してあることを特徴とする。
本発明においては、特定の周波数成分の夫々に対して、周波数成分の絶対値と所定値との大小を比較し、比較結果に基づいて前記特定の各周波数成分を変更するため、周波数成分の絶対値が所定値よりも大きい部分と周波数成分の絶対値が所定値以下の部分とで異なる変更を行うことができる。例えば周波数成分の絶対値が所定値よりも大きい部分はエッジ成分などの特徴成分を含んでいるため、エッジ部分には強調処理を行い、そうでない部分は平滑化処理を行うことが可能である。周波数成分の変更は、周波数成分の係数を変更することが可能である。強調処理及び平滑化処理などの異なる処理を各周波数成分毎の判定結果に応じて切換えることにより、空間周波数への変換単位であるブロック内で強調処理及び平滑化処理などの混合処理を行うことができ、ブロック単位で強調処理及び平滑化処理などを切換える場合の判定誤差が抑制され、より最適な画像を得ることができる。例えばシートに形成する画像に上述した処理を行って、より最適な画像をシートに形成することが可能である。また、例えば上述した処理をコンピュータに実行させ、より最適な画像を得ることができる。コンピュータに上述した処理を実行させる場合、上述した処理をコンピュータに実行させるプログラムが記録された記録媒体をコンピュータに読取らせて実行させることが可能である。
本発明においては、全周波数成分のうち低周波数側の周波数成分と画像データの水平方向のみ又は垂直方向のみに関する高周波数側の周波数成分とであり、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記変更手段が前記周波数成分の係数を増加させるため、全周波数成分に強調処理を行うのではなく、ブロック内でエッジ成分などの特徴部分を含むと判定された周波数成分のみを増加させて強調処理を行い、曲線上にあるエッジ境界部での不必要なブロックパターンの出現を抑えて、きれいなエッジ曲線を得ることができる。ここで、周波数成分の係数は、例えば離散コサイン変換(DCT:Discrete Cosine Transform)のDCT係数である。
本発明においては、低周波数側の周波数成分と画像データの水平方向のみ又は垂直方向のみに関する高周波数側の周波数成分とを含む前記特定の周波数成分、及び直流成分の両方を除く他の周波数成分の係数を前記変更手段が減少させるため、他の周波数成分を減少させて平滑化処理を行い、より滑らかな画像を得ることができる。
本発明においては、前記特定の周波数成分は、全周波数成分のうち低周波数側の周波数成分及び直流成分の両方を除く周波数成分であり、周波数成分の係数の絶対値が前記所定値より大きい場合、前記変更手段が前記周波数成分の係数を増加させるため、全周波数成分に強調処理を行うのではなく、エッジ成分などの特徴部分を含むと判定された周波数成分のみを増加させて強調処理を行い、曲線上にあるエッジ境界部での不必要なブロックパターンの出現を抑えて、きれいなエッジ曲線を得ることができる。ここで、周波数成分の係数は、例えば離散コサイン変換(DCT:Discrete Cosine Transform)のDCT係数である。
本発明においては、低周波数側の周波数成分と直流成分との両方を除く特定の周波数成分、及び直流成分の両方を除く他の周波数成分の係数を前記変更手段が増加させるため、他の周波数成分を増加させて強調処理を行い、よりはっきりした画像を得ることができる。
本発明においては、前記特定の周波数成分の係数の絶対値が前記所定値より大きい場合、前記周波数成分が低周波数側になるほど小さく、高周波数側になるほど大きい補正係数を、前記変更手段が前記周波数成分の係数に乗算するため、周波数成分のうち水平成分及び垂直成分が高周波数側に行くほど高くなるように補正され、曲線などの再現においても、エッジの綺麗な画像が得られる。
本発明においては、前記特定の周波数成分の係数が前記所定値より小さい場合、前記変更手段は前記周波数成分の係数を減少させるため、前記特定の周波数成分のうち、エッジ成分などの特徴を含まない周波数成分を減少させて平滑化処理を行い、より滑らかな画像を得ることができる。
本発明によれば、ブロック内で強調処理及び平滑化処理などの混合処理を行うことができ、ブロック単位で強調処理及び平滑化処理などの異なる処理を切換える場合の判定誤差が抑制され、より最適な画像を得ることができる。
本発明によれば、エッジ成分などの特徴を含むと判定された周波数成分のみに強調処理を行い、曲線上にあるエッジ境界部での不必要なブロックパターンの出現を抑えて、きれいなエッジ曲線を得ることができる。
本発明によれば、低周波数側の周波数成分と画像データの水平方向のみ又は垂直方向のみに関する高周波数側の周波数成分とを含む特定の周波数成分、及び直流成分の両方を除く他の周波数成分に平滑化処理を行い、より滑らかな画像を得ることができる。
本発明によれば、低周波数側の周波数成分と直流成分との両方を除く特定の周波数成分、及び直流成分の両方を除く他の周波数成分に強調処理を行い、よりはっきりした画像を得ることができる。
本発明によれば、周波数成分のうち水平成分及び垂直成分が高周波数側になるにつれて高くなるように補正することにより、曲線などの再現においてもエッジの綺麗な画像を得ることができる。
本発明によれば、エッジ成分などの特徴を含まない周波数成分に平滑化処理を行い、より滑らかな画像を得ることができる。
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
(実施の形態1)
図1は、本発明に係る画像処理装置を含む画像形成装置40の一構成例を示すブロック図である。本説明では、画像形成装置40は、デジタルカラー複写機として動作する。画像形成装置40は、カラー画像の読取が可能な画像入力装置30、カラー画像を処理することが可能な画像処理装置31、カラー画像をシートなどへ出力することが可能な画像出力装置(画像形成手段)32、及び操作パネル33を備える。また、画像形成装置40は、図示していないが、画像形成装置40内の各装置の制御を行うCPU(Central Processing Unit)などの制御部を備えている。
画像入力装置30は、例えばCCD(Charge Coupled Device)を備えており、原稿からの反射光像がCCDにより読み取られ、RGBアナログ信号(R:赤、G:緑、B:青)が生成される。生成されたRGBアナログ信号は、画像処理装置31へ送られる。
画像処理装置31は、A/D(アナログ/デジタル)変換部311、シェーディング補正部312、入力階調補正部313、領域分離処理部314、色補正部315、黒生成下色除去部316、画質調整部317、出力階調補正部318、階調再現処理部319、及び、各部を制御する制御部(図示せず)を備える。
画像処理装置31は、画像入力装置30から受取ったRGBアナログ信号をRGBデジタル信号に変換し、補正処理などの種々の画像処理を行い、CMYKデジタル信号(C:シアン、M:マゼンタ、Y:イエロー、K:ブラック)を生成し、生成したCMYKデジタル信号(以下、CMYK信号という)の階調数を2値又は4値などに減少させる。2値化又は4値化などされた出力画像データは、図示しない記憶装置に一時的に記憶され、所定のタイミングで画像出力装置32へ出力される。
A/D変換部311は、画像入力装置30からRGBアナログ信号を受取り、受取ったRGBアナログ信号をRGBデジタル信号に変換し、シェーディング補正部312に送る。シェーディング補正部312は、A/D変換部311から受取ったRGBデジタル信号に対して、画像入力装置30の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を行った後、入力階調補正部313に送る。入力階調補正部313は、シェーディング補正部312から受取ったRGBデジタル信号(RGBの反射率信号)に対して、カラーバランスを整えると共に、画像処理装置31に採用されている画像処理システムが処理し易い濃度信号などに変換し、領域分離処理部314へ送る。
領域分離処理部314は、入力階調補正部313から受取ったRGBデジタル信号の画像内の各画素を、文字領域、網点領域、写真領域の何れかに分離し、分離結果に基づいて、画素がどの領域に属しているかを示す領域識別信号を黒生成下色除去部316及び階調再現処理部319へ出力する。また、入力階調補正部313から受取ったRGBデジタル信号は、そのまま色補正部315に送られる。
色補正部315は、色再現を忠実に行うために、入力階調補正部313から送られたRGBデジタル信号を、CMYデジタル信号(以下、CMY信号という)に変換すると共に、不要吸収成分を含むCMY色材の分光特性に基づいた色濁りを取り除く処理を行った後、黒生成下色除去部316に送る。黒生成下色除去部316は、色補正部315から受取ったCYM信号の3色の信号(C信号、M信号、Y信号)から黒の信号(K信号)を生成する黒生成を行い、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成し、CMYKの4色信号(CMYK信号)を画像調整部317に送る。
一般的な黒生成処理として、スケルトンブラックにより黒生成を行う方法がある。この方法では、スケルトンカーブの入出力特性をy=f(x)、入力されるデータをC,M,Y、出力されるデータをC’,M’,Y’,K’、UCR(Under Color Removal)率をα(0<α<1)とすると、
K’=f{min(C,M,Y)}
C’=C−αK’
M’=M−αK’
Y’=Y−αK’
で表わされる。
画質調整部317は、黒生成下色除去部316から受取ったCMYK信号の画像に対し、周波数変換処理を行い、周波数変換処理を行うブロックに含まれる各周波数成分にエッジ成分が含まれるか否かに応じて異なる変更を行い、画像のぼやけ又は粒状性劣化を改善するなどの処理を行う。出力階調補正部318は、画質調整部317で処理されたCMYK信号を、画像出力装置32の特性値である網点面積率に変換する。
階調再現処理部319は、領域識別信号に基づいて、CMYK信号の画像データに対して誤差拡散又はディザ処理を用いた中間調処理(階調数を2値又は4値などに減少させる処理)を行う。階調再現処理部319で2値化または多値化処理されたCMYK信号(画像データ)は、画像出力装置32に送られる。画像出力装置32は、画像処理装置31から受取ったCMYK信号に基づいて、紙などの記録媒体上に画像を形成する装置である。例えば、電子写真方式又はインクジェット方式のカラー画像出力装置を用いることが可能である。
操作パネル33は、ユーザがキー操作などにより指示入力を行うための操作装置であり、ユーザの指示入力は、制御信号として、操作パネル33から画像入力装置30、画像処理装置31及びカラー画像出力装置32へ出力される。ユーザの指示入力により、例えば画像入力装置30で原稿画像を読取り、読取った画像データを画像処理装置31で処理し、処理した画像データを画像出力装置32によってシートに形成し、画像形成装置40をデジタルカラー複写機として動作させることが可能である。以上の処理は図示しない制御部(CPU)によって制御される。
次に、画質調整部317の概略構成について説明する。ここで、説明のために単色のデータを例にして説明するが、実際の処理ではCMYKの4色について同様な方法で処理を行う。図2は、画質調整部317の一構成例を示すブロック図である。画質調整部317は、黒生成下色除去部316から送られてきた256階調の入力画像データPi(X,Y)(CMYK信号)をブロック単位で周波数成分に変換し、周波数成分判定を行い、その結果に基づいて周波数成分を変更し、変更後の周波数成分を画像データに変換し、256階調の出力画像データPo(X,Y)を出力階調補正部318へ出力する。ここで、入力画像データPi(X,Y)は、X方向(右方向)及びY方向(下方向)の2次元マトリックス状に配置された画素によって構成された画像データのY番目のライン上のX番目の画素位置における画素データであり、多数の入力画像データPi(X,Y)により2次元画像を構成している。
画質調整部317は、入力画像データPi(X,Y)を周波数成分(周波数成分の係数。以下、周波数成分と略す)Qj(S,T)に変換する周波数変換部1、各周波数成分の係数の大きさを判定する周波数成分判定部(比較手段)2、周波数成分判定部2の判定結果に応じて周波数成分を変更する周波数成分変更部(変更手段)3、変更された周波数成分Qk(S,T)を逆周波数変換する逆周波数変換部6、及び、前記各部の制御を行う図示しないCPUなどの制御部を備え、逆周波数変換部6から出力画像データPo(X,Y)を出力する。また、周波数成分変更部3は、周波数成分Qj(S,T)のうち、特定の周波数成分Qj(Sa,Ta)を強調処理となるように変更する強調処理部4、及び、他の周波数成分Qj(Sb,Tb)を平滑化処理となるように変更する平滑化変更部5を有する。
黒生成下色除去部316から送られてきた入力画像データPi(X,Y)は、例えば制御部の制御によって、8×8画素を1ブロックとして順次、周波数変換部1へ出力される。周波数変換部1は、ブロック単位で出力された画像データに対し、空間周波数(周波数領域)への変換(周波数変換)を行う。本説明では、離散コサイン変換(DCT:Discrete Cosine Transform)を例にして説明を行う。DCTは、入力画像をAij、出力画像をBij、入力画像Aの行、列のサイズをM、Nとした場合、下式を用いて行うことが可能である。
本説明においては、座標領域(X−Y座標)の画像に対して、最も左上の画素を含むブロックから、右方向(X方向)にブロック単位でDCT処理を行い、ブロック単位でラインを変更(Y方向)しながら最終的に最も右下の画素を含む最終ブロックまでDCT処理を行う。周波数変換部1でDCT処理された周波数成分(周波数成分の係数。以下、DCT係数という)Qj(S,T)は周波数成分判定部2へ送られる。
周波数成分判定部(比較手段)2では、ブロック内のDCT処理された各DCT係数に対し、DC成分(直流成分)以外の特定のAC成分(交流成分)の大きさ(絶対値)が所定値より大きいか否かを判定する。図3(a)はブロック内のDCT係数の大きさの判定を行う領域の例を示す模式図である。1ブロックは8×8のDCT係数を含み、ブロックの左上を原点にして右方向をS軸、下方向をT軸としており、例えばブロックの左上隅はQj(1,1)であり、右下隅はQj(8,8)である。左上のQj(1,1)はDC成分であり、それ以外はAC成分である。また、ブロックの左上側は低周波数領域であり、ブロックの右下側は高周波数領域である。また、1行目は画像データの水平方向のみに関する周波数成分であり、1列目は垂直方向のみに関する周波数成分である。図の例では、Qj(2,1)〜Qj(7,1)、Qj(1,2)〜Qj(6,2)、Qj(1,3)〜Qj(5,3)、Qj(1,4)〜Qj(4,4)、Qj(1,5)〜Qj(3,5)、Qj(1,6)〜Qj(2,6)、Qj(1,7)を判定を行う領域(特定の周波数成分の領域。以下、判定領域という)に設定している。
周波数成分判定部2は、ブロック内のDCT係数Qj(S,T)のうち、判定領域に含まれるDCT係数の絶対値(|Qj(S,T)|)を求め、求めた絶対値が所定値(α>0)より大きいか、それ以下かを判定する。そして、絶対値の方が大きい場合はエッジを含むと判定して強調処理を行うようにし、絶対値の方が小さい場合はエッジを含まないと判定して平滑化処理を行うようにする。
|Qj(S,T)|>αの場合は強調処理
|Qj(S,T)|≦αの場合は平滑化処理
つまり、強調処理を行うか平滑化処理を行うかをブロック単位ではなく、ブロック内の各DCT係数単位で判定している。ここで、所定値αは任意に設定することが可能であり、αが小さい場合はエッジを含むと判定し易くなり、αが大きい場合はエッジを含むと判定し難くなる。本実施の形態においては、α=16としている。なお、DCT係数がエッジを含むか否かを判定する方法としては、上記の方法に限定されず、例えばDCT係数にDC成分の大きさを乗算した値の絶対値と所定値とを比較する方法を用いることも可能である。
また、AC成分のうち、判定領域以外のDCT係数に対しては、平滑化処理を行う。図3(b)は判定結果の例を示す模式図である。AC成分の判定領域以外(△)には平滑化処理が行われ、AC成分の判定領域内は判定結果に応じて一部(●)には強調処理を行い、他部(○)には平滑化処理を行う。このように、DCT係数毎に処理を切換えることによって、ブロック内で強調処理及び平滑化処理を組合わせて実行することができる。
ここで、DCTは8画素×8画素を1ブロックとして実行されており、ある自然画像に対してDCT変換後の各ブロックのなかで大きな値をもつものほど高い輝度を割り当てるとすると、実行後の結果から低周波側に相当する成分(各ブロックの左上部分)の輝度が高くなる。つまり、低周波成分が多くの情報量をもっている。これは、相関(エッジなどの濃度の高いところと低いところの相関)の強い信号は、周波数上で見ると、低周波数領域に信号の電力が集中することが知られている。このことは、各DCT係数において電力が集中する係数と、あまり集中しない係数が存在することを意味する。いいかえると、各DCT係数の大きさに、大きな偏りが生じることになる。
一般的に、自然画像に対してDCTを行った場合、DC成分が特に大きな値となり、AC成分においても低周波数側のDC係数が大きくなる。そのため、エッジ成分を有する、あるいは、濃度の濃淡を有するなどの特徴量をもつ画像(自然画像など)の場合、DC成分の周辺の低周波成分に大きな値をもつ。しかし、ソリッド画像(エッジ成分を持たない、濃度が均一な画像)にDCT処理を行なった場合、DC成分しか値をもたず、DC成分の周辺の低周波数成分はゼロに近い値となる。よって、低周波成分の値によって、原画像が特徴量をもっているか否かの判断を行うことができる。よって、DCT係数が所定値以上の場合は、エッジ成分などの特徴を含むと見なせる。
また、数1に示したように、主走査方向(X方向)にエッジ成分が目立つ場合又は副走査方向(Y方向)にエッジ成分が目立つ場合などに、DC成分の右隣りのAC成分又はDC成分の真下のAC成分の値が影響を受けて大きくなる。以上のことから、判定領域において、|Qj(S,T)|>αの場合はエッジ成分を含むと判定することが可能である。
周波数成分判定部2は、DCT係数Qj(S,T)のAC成分のうち、強調処理を行うDCT係数Qj(Sa,Ta)を周波数成分変更部(変更手段)3の強調処理部4に送り、平滑化処理を行うDCT係数Qj(Sb,Tb)を周波数成分変更部(変更手段)3の平滑化処理部5に送る。強調処理を行うDCT係数Qj(Sa,Ta)は判定領域内で強調処理を行うと判定されたDCT係数であり、平滑化処理を行うDCT係数Qj(Sb,Tb)は判定領域内で平滑化処理を行うと判定されたDCT係数及び判定領域外のDCT係数である。また、DC成分は周波数成分変更部3に送るが、強調処理及び平滑化処理の何れも行わない。
強調処理部4は、周波数成分判定部2から送られたDCT係数Qj(Sa,Ta)に対し、強調処理となるようにDCT係数の変更を行う。例えば、DCT係数Qj(Sa,Ta)に対して、ブロック内の位置(座標)に対応する位置データと所定の定数とを乗算することにより、DCT係数を変更する(増加させる)ことが可能である。
変更後のDCT係数Qk(S,T)= 変更前のDCT係数Qj(Sa,Ta)× 位置データ × 定数
位置データは、DCT係数Qj(S,T)の行番号Sと列番号Tとを加算した値(=S+J)とすることが可能である。図4(a)はブロック内の判定領域内の各位置(座標)のDCT係数の位置データの例を示す模式図である。Qj(1,2)の場合の位置データは1+2=3となり、Qj(2,1)の場合は2+1=3となる。
前記定数は、例えば0.35とすることが可能である。ただし、この値(0.35)は一例であり、ある微小な値かつ強調されるような値であればよい。また、この値によって強調の程度が変わるため、エッジが強調され過ぎないか否かなどの全体のバランスを考え、実際の出力画像などを用いて画質の評価を行いながら決定することが好ましい。ここで、DC成分には変更処理は行わず、Qj(1,1)のままなので、ブロック全体の平均濃度は維持される。例えば、Qj(1,3)及びQj(2,4)が強調処理される場合は、
Qk(1,3)= Qj(1,3)×(1+3)× 0.35
Qk(2,4)= Qj(2,4)×(2+4)× 0.35
となる。
また、強調レベルを調整する他の例としては、位置データにオフセット値(定数)を持たせておくことも可能である。この場合、オフセット値を3(一定値)、前記定数を0.20とし、
Qk(1,3)= Qj(1,3)×(1+3+オフセット値)× 0.20
Qk(2,4)= Qj(2,4)×(2+4+オフセット値)× 0.20
ただし、オフセット値=3
として強調レベルを変更できる。
平滑化処理部5は、周波数成分判定部2から送られたDCT係数Qj(Sb,Tb)に対し、平滑化処理となるようにDCT係数の変更を行う。例えば、DCT係数Qj(Sb,Tb)に対して、ブロック内の位置(座標)に対応する位置データで除算することにより、DCT係数を変更する(減少させる)ことが可能である。
Qk(S,T)= Qj(Sb,Tb)/ 位置データ
位置データは、DCT係数Qj(S,T)のブロックに対応する2次元マトリクスM(S,T)(S=1〜8、T=1〜8)を用いることが可能である。図4(b)はマトリクスMの例を示す図である。マトリクスMは、8×8のDCT係数に対応する8×8のマトリクスである。マトリクスMにおいては、位置データはM(5,5)(ただし、M(5,5)>1)で最小値をもち、M(5,5)を中心にして周辺の位置データが同心円状に増加していく。
図4(b)に示すマトリクスMは、一般にコントラスト感度関数(Contrast Sensitive Function:CSF)の特性、即ち人間の視覚特性を反映した特性を有している。一般に人間のコントラストに対する感度は、空間周波数に依存しており、人間の知覚系は一種のバンドパスフィルタと考えられる。例えば、白黒の縞模様を考えた場合、連続する縞と縞との間隔によって、人間の縞模様に対する感度が変化する。縞の間隔が非常に小さい場合、人間は縞模様を知覚することが困難になる。M(S,T)の値は、例えば図4(b)では、ハッチングされた周波数成分(2.1)を中心に、人間のコントラストに対する感度に応じて同心円状に変化するような値となっている。CSFでDCT係数Qj(S,T)を除算した場合、コントラストに対する感度が高い周波数成分のDCT係数が、コントラストに対する感度が低い周波数成分より大きな値で除されるため、効果的な平滑化の効果が得られる。
本実施の形態によれば、DCT処理の単位であるブロック内の周波数成分(DCT係数)に対し、エッジ部分を有する成分を強調させ、それ以外を平滑化させるように変換しており、画像全体において、エッジ部分は強調し、エッジ部分を有しない平坦な画像部分はよりスムーズな画像を得ることができ、原画像の特徴部分を良好に保たせることができる。
なお、平滑化に使用する2次元マトリクスは図4(b)に示すものに限らず、人間のコントラストに対する感度が低い周波数成分に小さな値を設定し、コントラストに対する感度が高い周波数成分に大きな値を設定した2次元マトリクス、言い換えれば、低周波成分は維持し、8×8ブロック内において、同心円状に外側の方のDCT係数がより強く抑制されるような2次元マトリクスを用いれば良い。例えば、ガウス分布となる2次元マトリクスでも良い。
強調処理又は平滑化処理が行われたAC成分及び処理を行わずそのままのDC成分は、周波数成分変更部3から逆周波数変換部6へ送られる。逆周波数変換部6は、周波数成分変更部3から送られたDCT係数Qk(S,T)に逆周波数変換を行って、座標領域の画像データへ変換する。逆周波数変換は式1の逆変換を行う。
以上のように、ブロック単位での判定ではなく、周波数成分単位でエッジ強調すべきか、平滑化すべきかの判定を行なって、DCT係数毎に強調又は平滑化を切換えながら変換しているため、ブロック内の各DCT係数(周波数成分)の判定エラーを抑制することができ、エッジ成分は強調され、そうでない成分は平滑化され、画像の最適化処理が実現される。図5(a)はブロック単位で全DCT係数を変更した場合の出力画像の例を示す模式図であり、図5(b)はDCT係数単位でDCT係数を変更した場合の出力画像の例を示す模式図である。図5(a)に示すように、ブロック単位で全DCT係数を変更する場合はブロック単位での強調又は平滑化の判定エラーによって画像内にブロック状に潰れる部分が生じるが、図5(b)に示すようにDCT係数単位でDCT係数を変更する場合ではそのようなブロック状の潰れは生じない。
また、エッジ成分を含む画像は強調処理が行われているので、よりメリハリの効いたはっきりした画像を得ることができ、エッジ成分を含んでいない画像に関しては視覚特性を考慮したスムージング処理が行われる。また、強調処理は、DC成分以外の周波数全域を強調するのではなく、強調領域を限定し、DC成分から遠いほど、強調の係数がだんだんと大きくなるように設定されているため、曲線上にあるエッジ境界部での不必要なブロックパターンの出現を抑えて、きれいなエッジ曲線を得ることができる。
(実施の形態2)
図6は本発明に係る画像形成システムの構成例を示すブロック図である。画像形成システムは、コンピュータ10と、コンピュータ10に接続された外部記憶装置18、表示装置20、操作装置22、画像入力装置24、画像出力装置(画像形成手段)26、及び通信装置28を含む。外部記憶装置18は、例えばフレキシブルディスクドライブ又はCD−ROMドライブなど、記録媒体19のデータを読取ることが可能な装置である。表示装置20は、CRT(Cathode Ray Tube)ディスプレイ又は液晶ディスプレイなどの画像表示が可能な装置である。操作装置22は、キーボード又はマウスなどの操作入力を受付けることが可能な装置である。画像入力装置24は、イメージスキャナ又はデジタルカメラなどの画像データを読取ることが可能な装置であり、例えば実施の形態1(図1)の画像入力装置30と同様である。画像出力装置26は、インクジェットプリンタ又はレーザープリンタなどのシートに画像を出力することが可能な装置であり、例えば実施の形態1(図1)の画像出力装置32と同様である。通信装置28は、ファックスモデム又はLAN(Local Area Network)カードであり、外部のネットワークと通信を行うことが可能な装置である。
コンピュータ10は、CPU12、RAM14、及びHDD(ハードディスクドライブ)16を備える。CPU12は、RAM14及びHDD16と、上述した各装置18〜28の制御を行う。また、CPU12は、操作装置22又は通信装置28から受付けたデータ又はプログラム、あるいはHDD16又は外部記憶装置18から読み出したプログラム又はデータ等をRAM14に記憶し、RAM14に記憶したプログラムの実行又はデータの演算等の各種処理を行い、各種処理結果又は各種処理に用いる一時的なデータをRAM14に記憶する。RAM14に記憶した演算結果等のデータは、CPU12により、HDD16に記憶されたり、表示装置20、画像出力装置26、又は通信装置28から出力される。
コンピュータ10は、実施の形態1(図1)の画像処理装置31の少なくとも画質調整部317(周波数変換部1、周波数成分判定部(比較手段)2、周波数成分変更部(変更手段)3、及び逆周波数成分変換部6)として動作する。また、例えばCPU12は前記画像処理装置31の色補正部315としても動作する。なお、CPU12を画像形成装置31の色補正部315及び画質調整部317以外の他の部分として動作させることも勿論可能である。例えば画像出力装置32へ出力する場合はCPU12を階調再現処理部として動作させることも可能である。画像入力装置24で読取った画像データはHDD16に記憶され、CPU12で実施の形態1で説明した色補正部315及び画質調整部317と同様の処理を行い、処理を行った画像データを画像出力装置32に出力したり、HDD16に記憶することが可能である。また、各周波数成分と比較を行う所定値αなどの各種データもHDD16に記憶される。
CD−ROM等の記録媒体19に記録されたコンピュータプログラムを外部記憶装置18で読み出してHDD16又はRAM14に記憶してCPU12に実行させることにより、コンピュータ10(CPU12)を上述した各部として動作させることが可能である。また、LANなどに接続された通信装置28で他の装置からコンピュータプログラムを受付けてHDD16又はRAM14に記憶することも可能である。なお、本発明に係る周波数成分の変更を実現するコンピュータプログラムは、プリンタドライバに含まれていてもよいし、画像処理用のアプリケーションソフトに含まれていてもよい。
本発明に係る周波数成分を変更させるためのプログラムを、コンピュータ読み取り可能な記録媒体19に記録することにより、本発明に係るプログラムを記録した記録媒体19を持ち運び自在に提供することができる。
図7はコンピュータを画質調整部として動作させる場合の処理手順を示すフローチャートである。本例では、DCTにより周波数変換処理を行い、周波数成分(DCT係数)の変更を行い、逆周波数変換によって256階調の画像データを出力するものとして説明する。ここで、実際の処理はCMYKの4色であるが、各色の処理は同様であるので、単色の場合について説明する。
CPU12は、HDD16からRAM14に、1ブロック(8×8画素)の画像データを読出し(S10)、DCT処理を行い(S12)、変換後の周波数成分(DCT係数)をRAM14に記憶する。CPU12は、周波数成分の1つを選択し(S14)、選択した周波数成分が判定領域に含まれるか否かを判定する。判定領域に含まれていないと判定した場合(S16:NO)、CPU12は平滑化処理(S22)を行い、処理後の周波数成分をRAM14に記憶する。平準化処理は第1の実施の形態と同様に周波数成分を変更する(減少させる)。判定領域に含まれていると判定した場合(S16:YES)、CPU12は、周波数成分と所定値(例えばα=16)とを比較して、エッジ成分を含むか否かを判定する。周波数成分が所定値以下の場合(S18:NO)、CPU12は平滑化処理(S22)を行い、処理後の周波数成分をRAM14に記憶する。周波数成分が所定値より大きい場合(S18:YES)、CPU12は周波数成分を変更して強調処理(S20)を行い、処理後の周波数成分をRAM14に記憶する。強調処理は第1の実施の形態と同様に周波数成分を変更する(増加させる)。
ブロック内の全周波数成分の選択が終了していない場合(S24:NO)、CPU12は、ブロック内の未選択の周波数成分を選択して(S26)、同様の処理を行う(S16〜S24)。ブロック内の全周波数成分の選択が終了した場合(S24:YES)、CPU12は、逆DCT処理を行い(S28)、変換後の画像データをRAM14に記憶する。全ブロックの読出が終了していない場合(S30:NO)、CPU12は1ブロックの画像データをRAM14に読出して(S10)、同様の処理を行う(S12〜S28)。全ブロックの読出が終了した場合(S30:YES)は処理を終了する。
なお、本実施の形態では、記録媒体19としては、マイクロコンピュータで処理が行われるための図示していないメモリ、例えばROMのようなものそのものがプログラムメディアであっても良いし、また、外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD等の光ディスクなどのディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メモリを含めた固定的にプログラムを担持する媒体であっても良い。
また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。
(実施の形態3)
周波数変換を行うブロック内の判定領域は図3に示した例に限定はされず、任意に設定することが可能である。図8(a)は判定領域の他の例を示す模式図である。図の例では、Qj(4,1)〜Qj(8,1)、Qj(4,2)〜Qj(8,2)、Qj(4,3)〜Qj(8,3)、Qj(1,4)〜Qj(8,8)を判定領域(特定の周波数成分の領域)に設定している。判定領域のAC成分は判定結果に応じて強調処理又は平滑化処理を行うが、判定領域以外のAC成分は強調処理を行う。図8(b)は判定結果の例を示す模式図である。AC成分の判定領域以外(△)は強調処理が行われ、AC成分の判定領域内は判定結果に応じて一部(●)には強調処理を行い、他部(○)には平滑化処理を行う。上述した実施の形態1,2において、図8に示す判定領域で周波数成分の変更を行うことも可能である。各周波数成分(DCT係数)と所定値(ただし、図8の例ではα=32)との比較、強調処理及び平滑化処理は第1の実施の形態と同様に行うことが可能である。
図3の例では、低周波数側の成分と水平方向及び垂直方向の高周波数成分とを判定領域とし、判定結果に応じて強調又は平滑化を行い、判定領域以外は平滑化を行っているため、ドットの分散正性が良く、写真画像などに適している。一方、図8の例では、低周波数側の成分を除くように判定領域を設定し、低周波数側の成分は強調を行い、それ以外の判定領域では判定結果に応じて強調又は平滑化を行っているため、斜め線などがはっきりし、文字画像などに適している。
(実施の形態4)
図3及び図8に示した2種類の判定領域及び該判定領域に対応する強調又は平滑化処理は、画像の特性に応じて切換えることも可能である。例えば、図1に示した画像形成装置において、操作パネル33で文字原稿又は写真原稿などの原稿種類を受付け、写真原稿の場合は図3に示す判定領域及び該判定領域に対応する強調又は平滑化処理を行い、文字原稿の場合は図8に示す判定領域及び該判定領域に対応する強調又は平滑化処理を行うように図示しない制御部で制御を行うことが可能である。また、例えば、図1に示した画像処理装置31の領域分離処理部314による文字領域又は写真領域などの領域判別結果を画像調整部317に送り、写真領域の場合は図3に示す判定領域及び該判定領域に対応する強調又は平滑化処理を行い、文字領域の場合は図8に示す判定領域及び該判定領域に対応する強調又は平滑化処理を行うように画像調整部317を構成することが可能である。
また、図6に示すコンピュータ10のCPU12を画像調整部317として動作させると共に、操作装置22を操作パネル33として動作させる、又は、CPU12を領域分離処理部314として動作させることにより、図3に示す判定領域及び該判定領域に対応する強調又は平滑化処理と図8に示す判定領域及び該判定領域に対応する強調又は平滑化処理とを切換えることも可能である。
文字原稿又は文字領域の場合は文字画像に適した図8の判定領域に対応する強調又は平滑化処理を行い、写真原稿又は写真領域の場合は写真画像に適した図3の判定領域に対応する強調又は平滑化処理を行うことにより、より良好に画像の最適化処理が実現される。
また、上述した各実施の形態においては、判定領域以外の周波数成分に平滑化処理(図3)又は強調処理(図8)を行ったが、判定領域以外の周波数成分に処理を行わず、周波数成分を変更しないことも可能である。また、判定領域は、AC成分の任意領域に設定することが可能であり、例えばAC成分の全領域を判定領域に設定することも可能である。