JP3491829B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば低品質の画
像を補間して高品質の画像に変換可能な画像処理装置及
び画像処理方法に関する。

【０００２】

【従来の技術】例えば、低品質のデジタル画像を高品質
の画像に変換したり、低解像度の画像を高解像度に変換
したり、画像を拡大したりする場合には、オリジナルの
画素と画素との間に新たな画素を挿入する等の画像補間
が行われる。デジタル画像の補間方法としては、例え
ば、最近傍補間法（最近隣接補間法、零次ホールド法、
Nearest-Neighbor法とも呼ばれる）、線形補間法（直線
補間法、共一次補間法、Bi-Linear法とも呼ばれる）、
３次たたみ込み補間法（立体コンボリューション法、Bi
-Cubic法、Cubic Convolution法と呼ばれる）が知られ
ている。

【０００３】

【発明が解決しようとする課題】上述した各補間法は、
サンプリング定理に基づくsinc関数による補間を基本概
念としているため、原画像がナイキスト周波数の半分以
下の周波数成分から構成されている場合にのみ、理論的
に正しい。しかし、実際の原画像に含まれる周波数成分
は無限に大きいため、前記各補間法では、原画像中に含
まれる高周波成分を復元することができない。

【０００４】そこで、このようなサンプリングの過程で
失われた高周波成分を補間するための手法として、周波
数変換法が提案されている。周波数変換法としては、周
波数領域において帯域制限された周波数成分を実空間に
射影し、全実空間成分のうちの制限範囲のみを周波数空
間に射影し、全周波数成分のうちの帯域制限された部分
を既知である元周波数成分に置き換えた上で、再び実空
間に射影するという操作を無限に繰り返すゲルヒベルグ
−パポリスの反復法（ＧＰ法）がよく知られている。一
般的には、周波数変換にＤＣＴ演算を用いることで演算
上の負担を軽減している（ＩＭ−ＧＰＤＣＴ法）。

【０００５】しかし、適当な高周波成分が得られるま
で、ＤＣＴ演算や逆ＤＣＴ演算を繰り返す必要があるた
め、処理時間が長くなる。また、ノイズが強調された
り、リンギングが発生したりして、画質が低下するおそ
れもある。

【０００６】本発明は、上記のような課題に鑑みなされ
たもので、その目的は、高品質の画像を得ることができ
る画像処理装置及び画像処理方法を提供することにあ
る。

【０００７】

【課題を解決するための手段】上記目的達成のため、本
発明では、相似する画像同士が重なり合うように、原画
像の各画像ブロックを自己に相似する画像でそれぞれ置
換している。

【０００８】即ち、本発明では、原画像中の各画像ブロ
ックに相似する相似画像ブロックを前記原画像からそれ
ぞれ検出し、該各検出された相似画像ブロックで前記各
画像ブロックをそれぞれ置換させる画像処理装置におい
て、原画像を保持するための原画像保持手段と、前記保
持された原画像から所定サイズの画像ブロックを、近接
する各画像ブロックが所定量だけ重なり合うようにし
て、それぞれ取得する画像ブロック取得手段と、前記取
得された各画像ブロック毎に、前記原画像の中から相似
する相似画像ブロックをそれぞれ検出する相似画像検出
手段と、前記検出された各相似画像ブロックを前記各画
像ブロックのうち対応する画像ブロックとそれぞれ置換
する画像置換手段と、前記置換された各相似画像ブロッ
クの重なり合った部分を調整する画像調整手段と、を備
えたことを特徴としている。

【０００９】例えば、原画像のディジタルデータは、例
えば、メモリ等の原画像保持手段により保持されてい
る。画像ブロック取得手段は、保持された原画像から所
定サイズ（ｎ×ｍ画素、ｎ＝ｍでもよい）の画像ブロッ
クを取得する。ここで、近接する画像ブロックがそれぞ
れ所定量ずつ重なり合うようにして、各画像ブロックが
取得される。例えば、原画像の一画素毎に当該画素を略
中心とする所定サイズの画像ブロックを取得することに
より、隣接する各画像ブロックは、所定量ずつ重なり合
うことになる。

【００１０】相似画像検出手段は、取得された各画像ブ
ロックのそれぞれについて、該各画像ブロックに相似す
る相似画像ブロックを原画像の中から検出する。画像の
ある一部は、周囲のより大きな画像の縮小形となってい
る性質、即ち、フラクタル相似性を利用して、原画像の
中から画像ブロックに相似する相似画像ブロックをそれ
ぞれ検出することができる。

【００１１】検出された各相似画像ブロックは、画像置
換手段によって、それぞれ対応する画像ブロックに置き
換えられる。近接する各画像ブロックは互いに所定量ず
つ重なり合うようにして取得されているので、置換され
た各相似画像ブロックも近接するブロック同士が所定量
ずつ重なり合う。そこで、画像調整手段は、重なり合っ
た部分の値を調整する。例えば、重なり合った画素の値
を加算して平均化することにより画像を調整することが
できる。これに限らず、例えば、重み付けをして平均を
とってもよい。

【００１２】相似画像検出手段は、画像ブロックのサイ
ズよりも大きいサイズで相似画像ブロックを検出し、該
相似画像ブロックのサイズを前記画像ブロックのサイズ
と等しくなるように縮小させるものであってもよい。

【００１３】例えば、画像ブロックのサイズをｎ×ｍ、
相似画像ブロックのサイズを（ｋ・ｎ）×（ｋ・ｍ）と
すれば、相似画像ブロックをｋ分の一に縮小することに
より、画像ブロックと相似画像ブロックのサイズを一致
させることができる。

【００１４】または、相似画像検出手段は、画像ブロッ
クのサイズよりも大きいサイズで原画像中に設定される
所定領域の中から、画素を間引きすることにより、前記
画像ブロックと同一サイズの相似画像ブロックを検出す
るものであってもよい。

【００１５】前記の例で言えば、（ｋ・ｎ）×（ｋ・
ｍ）の画素を有する相似画像ブロックから１／ｋ²の画
素を抽出し、残りの画素を捨てることにより、ｎ×ｍ個
の画素を有する画像ブロックと同一サイズの相似画像ブ
ロックを得ることができる。

【００１６】相似画像検出手段は、予め設定された所定
の条件下で、原画像の中から各画像ブロックに相似する
相似画像ブロックをそれぞれ検出することができる。

【００１７】所定の条件としては、相似画像ブロックを
検出するための探索領域の設定条件を挙げることができ
る。そして、相似画像検出手段は、原画像よりも小さく
設定される探索領域内で、該画像ブロックに相似する相
似画像ブロックを検出するように構成してもよい。

【００１８】原画像の全体で相似画像ブロックを探索す
ることもできるが、探索領域を広くするほど相似画像ブ
ロックを検出するまでの時間がかかる。探索領域を原画
像よりも小さく設定することにより、処理時間を短縮す
ることができる。また、原画像の特性（自然画像かテキ
スト画像か等）や画像ブロックのサイズ等にもよるが、
当該画像ブロックの周辺に相似画像ブロックが存在する
可能性が高い場合は、相似画像ブロックを検出する時間
を短縮できる。従って、探索領域は、画像ブロックの周
辺に設定してもよい。

【００１９】前記所定の条件とは、相似画像ブロックを
検出するための探索領域の設定条件及び該相似画像ブロ
ックを検出するための画像操作のパラメータ条件を挙げ
ることもできる。そして、相似画像検出手段は、所定の
探索領域内で、画像操作のパラメータを変えながら複数
の候補画像ブロックを取得し、該各候補画像ブロックの
中から画像ブロックに最も相似する候補画像ブロックを
該画像ブロックに相似する相似画像ブロックとして検出
するように構成してもよい。

【００２０】「画像操作」としては、例えば、画像の平
行移動、拡大、縮小、回転を行うアフィン変換を挙げる
ことができる。「画像操作のパラメータ」とは、例え
ば、並行移動の量、拡大率、縮小率、回転角度を挙げる
ことができる。相似画像検出手段は、所定の探索領域内
で、画像操作のパラメータを変化させながら、複数の候
補画像ブロックを取得する。そして、これら複数の候補
画像ブロックの中から最も画像ブロックに相似するもの
を相似画像ブロックとして検出する。

【００２１】相似画像検出手段は、画像操作のパラメー
タを変えながら各候補画像ブロックの相似性を判定し、
最も画像ブロックに相似する候補画像ブロックの取得に
用いたパラメータのみを保持して、該保持されたパラメ
ータにより相似画像ブロックを検出するようにしてもよ
い。

【００２２】各候補画像ブロックをそれぞれ保持してお
く場合は、各候補画像ブロックを記憶させるためのメモ
リ領域が大きくなるが、最小距離の候補画像ブロックを
得るのに必要なパラメータのみを保持することにより、
少ないメモリ領域で相似画像ブロックを検出することが
できる。

【００２３】原画像がカラー画像の場合は、表色系の各
成分毎に前記所定の条件をそれぞれ設定可能とすること
もできる。

【００２４】例えば、ＲＧＢ表色系なら、Ｒ（赤）、Ｇ
（緑）、Ｂ（青）の各色成分毎に、探索領域の場所及び
広さや画像操作の種類及びパラメータを設定することが
可能である。ＲＧＢ表色系に限らず、ＹＵＶ表色系、Ｙ
ＩＱ表色系、ＹＣｂＣｒ表色系、Ｌａｂ表色系等の各種
表色系において、色成分や輝度成分毎に、相似画像ブロ
ックを検出するための所定条件を変えてもよい。これに
より、例えば、画像処理装置が適用される製品の種類
（ディジタルカメラ、プリンタ、スキャナ等々）や原画
像の特性（自然画像か否か）、ユーザーの好み等に応じ
て、各色成分毎の所定条件を変えることができる。

【００２５】本発明は、コンピュータプログラムを記録
した記録媒体として把握することもできる。プログラム
は、例えば、ハードディスクやフロッピー（登録商標）
ディスク、メモリ等の種々の有形的な記録媒体に固定す
ることができる。また、これに限らず、例えば、ネット
ワーク上のサーバから所定のプログラムをダウンロード
する等のように、通信媒体を用いることもできる。

【００２６】

【発明の実施の形態】以下、図１〜図６に基づき、本発
明の実施の形態を説明する。

【００２７】１．第１の実施の形態 図１〜図４は本発明の第１の実施の形態に係る画像処理
装置の構成を示すブロック図である。

【００２８】本画像処理装置１は、原画像保持部２から
入力される原画像に所定の画像処理を加えて、出力画像
保持部１３に処理済みの画像を出力するものである。原
画像保持部２及び出力画像保持部１３は、メモリ等から
構成される。原画像保持部２及び出力画像保持部１３
は、画像処理装置１の構成として取り込んでも良いし、
画像処理装置１とはそれぞれ別体の構成としてもよい。
例えば、原画像が記録されたＰＣカードから原画像デー
タを読み出し、処理済みの画像を当該ＰＣカードの空き
領域に書き戻す場合は、ＰＣカードが原画像保持部２及
び出力画像保持部１３となる。

【００２９】「画像ブロック取得手段」としての局所領
域画像取得部３は、原画像の各画素毎に所定サイズの局
所領域画像をそれぞれ取得するものである。局所領域画
像が「画像ブロック」に該当する。図２と共に後述する
ように、各画素毎にそれぞれ局所領域画像を取得するた
め、近接する各局所領域画像は所定量ずつ重なり合うこ
とになる。局所領域画像取得部３は、パラメータ設定部
４から設定される局所領域画像取得用のパラメータに基
づいて、局所領域画像を取得する。このパラメータとし
ては、例えば、局所領域画像のサイズ等を挙げることが
できる。注目画素ポインタ５は、現在処理中の画素（注
目画素）の位置を検出する。

【００３０】アフィン変換画像取得部６は、取得された
局所領域画像に相似する画像を原画像中から検出し取得
するものである。アフィン変換画像取得部６は、アフィ
ン変換パラメータ設定部７で設定されたアフィン変換用
パラメータに基づいて、局所領域画像の周辺に存在する
画像を操作し、局所領域画像に相似するアフィン変換画
像を検出するようになっている。局所領域画像に相似す
るアフィン変換画像が「相似画像ブロック」に該当す
る。

【００３１】アフィン変換画像取得部６は、局所領域画
像よりも大きいサイズ、例えば縦横２倍のサイズのアフ
ィン変換画像を取得する。この取得されたアフィン変換
画像は、縮小部８により局所領域画像と同サイズになる
ように縮小される。相似性算出部９は、局所領域画像取
得部３が取得した局所領域画像とアフィン変換画像取得
部６により取得され縮小部８により縮小されたアフィン
変換画像との距離を算出し、両者の相似性、類似度を算
出するものである。距離計算は、固有ベクトル距離を計
算してもよいし、簡易的に二乗平均を取ってもよい。こ
こで、アフィン変換画像取得部６，縮小部８及び相似性
算出部９が「相似画像検出手段」に該当する。

【００３２】そして、相似性算出部９によって最も相似
すると判定されたアフィン変換画像は、「画像置換手
段」としての置換部１０によって、対応する局所領域画
像と置き換えられる。近接する局所領域画像同士が重な
り合うようにして局所領域画像が取得されるため、置換
されたアフィン変換画像も近接する画像同士が所定量ず
つ重なり合うようにして、加算部１１により加算され
る。「画像調整手段」としての平均化処理部１２は、各
アフィン変換画像が重なり合った部分の値を平均化する
ことにより調整する。重なり合った部分の画像調整方法
としては、単純平均をとってもよいし、または、重み付
けして平均をとってもよい。このようにして調整された
画像は、出力画像保持部１３に保持される。なお、画像
調整後に、拡大処理、縮小処理、回転処理、色変換処理
等を行っても良い。

【００３３】図２は、画像処理装置による画像処理方法
の大略を示す説明図である。図２（ａ）に示すように、
原画像の各画素毎に局所領域画像が設定され、各局所領
域画像毎にアフィン変換画像がそれぞれ取得される。

【００３４】現在の処理に係る注目画像を略中心とし
て、例えば、ｎ×ｎサイズの局所領域画像が取得され
る。図中では、ｎ＝２の場合を例示している。アフィン
変換画像は、局所領域画像サイズよりも大きくなるよう
に、具体的には例えば縦横２倍の大きさで取得される
（２ｎ×２ｎ）。実施の形態では、特に明示しない限
り、局所領域画像及びアフィン変換画像を正方形として
説明するが、本発明はこれに限定されない。各画像は長
方形、平行四辺形等の他の多角形に設定することも可能
である。

【００３５】ここで、局所領域画像に相似するアフィン
変換画像は、原画像の全体から探索することも可能であ
る。しかし、探索領域を広げるほど処理時間が長くな
る。また、画像ブロックのサイズや原画像の特性等にも
よるが、相似画像ブロックは画像ブロックの周辺で発見
される可能性が高い場合がある。特に、本発明は、原画
像全体を互いに重複しない複数の画像ブロックに分割し
て、各画像ブロックに相似する画像ブロックを求めるも
のではなく、隣接する各画像ブロックの一部が重複する
ように設定するため、画像ブロック数が多くなり、相似
画像ブロックを検出する回数が増大する。従って、相似
画像ブロックの探索領域（探索範囲）を原画像全体に広
げると、処理時間がより長くなる可能性がある。

【００３６】そこで、本実施の形態では、原画像の全体
を探索するのではなく、原画像の一部、さらには、画像
ブロックの周辺に限定して相似画像ブロックを探索する
ようにしている。探索領域のサイズは、原画像の性質等
に応じて動的に変更することができる。画像ブロックの
サイズをｎ×ｍ、原画像のサイズをＸmax，Ｙmax、探索
領域のサイズをαｎ×βｍとした場合、下記の関係が成
立する。

【００３７】１＜α＜Ｘmax／ｎ・・・（数式１） １＜β＜Ｙmax／ｍ・・・（数式２） 探索領域のサイズを決定する係数α，βの値は、上記数
式１，２を満たす範囲で任意に設定することができる。
但し、本発明はこれに限らず、原画像全体を探索しても
よい。

【００３８】図２（ｂ）に示すように、局所領域画像よ
りも縦横２倍サイズで取得されたアフィン変換画像
（「候補画像ブロック」）は、局所領域画像と同一サイ
ズになるように縮小される。そして、縮小されたアフィ
ン変換画像と局所領域画像との距離が算出され、相似
性、類似度が判定される。ある局所領域画像について複
数個取得されたアフィン変換画像の中から最も相似性の
高いアフィン変換画像が、当該局所領域画像と置換され
る。

【００３９】図２（ｃ）に示すように、近接する画像同
士が互いに重複するようにして局所領域画像が取得され
ているため、該各局所領域画像に置換されるアフィン変
換画像もそれぞれ隣接する画像同士が重複する。図中に
示すように、２画素×２画素の局所領域画像を一画素ず
つずらして取得する場合、ｘ方向だけに着目すると、最
大４枚の画像が重複することになる。ｙ方向でも同様に
最大で４枚の局所領域画像が重複する。そこで、重複し
た部分は、各画素の値の単純平均を取ることで調整す
る。

【００４０】図３は、アフィン変換画像を取得する際の
画像操作方法及びパラメータを示す説明図である。図３
（ａ）に示すように、画像をＳｘ，Ｓｙだけ平行移動さ
せることができる。また、図３（ｂ）に示すように、画
像を角度θだけ回転させることもできる。さらに、図３
（ｃ），（ｄ）に示すように、画像をｘ方向にＥｘ倍拡
大又は縮小したり、ｙ方向にＥｙ倍拡大又は縮小するこ
ともできる。

【００４１】次に、図４のフローチャートに基づいて本
実施の形態の作用を説明する。以下、ステップを「Ｓ」
と略記する。

【００４２】まず、Ｓ１では、注目画素の座標（ｘ，
ｙ）に（０，０）をセットし、原画像の最初の画素から
変換を開始させる。次に、局所領域画像とアフィン変換
画像との相似性を判定するための「最小距離」に最大値
をセットする（Ｓ２）。そして、注目画素を略中心とす
る局所領域画像を取得し（Ｓ３）、アフィン変換用の各
パラメータ（Sx,Sy,Ex,Ey,θ）にそれぞれ初期値をセッ
トする（Ｓ４）。なお、後述する他のステップでも同様
だが、処理に影響がない限り、ステップの処理順序を変
更することができる。即ち、Ｓ２〜Ｓ４の処理順序は問
わない。

【００４３】設定されたパラメータに基づいてアフィン
変換画像を取得すると（Ｓ５）、この取得したアフィン
変換画像が局所領域画像と同一サイズになるように縮小
する（Ｓ６）。そして、局所領域画像と該局所領域画像
に対応する同一サイズのアフィン変換画像との距離を算
出し（Ｓ７）、この算出された距離が相似性判定のパラ
メータ「最小距離」に設定された値よりも小さいか否
か、即ち、より相似しているかを判定する（Ｓ８）。も
しも、最新の距離の算出結果が「最小距離」よりも小さ
い場合は、この最新のアフィン変換パラメータ及び距離
の値を保持しておく（Ｓ９）。最新の距離が「最小距
離」よりも小さくない場合は、取得されたアフィン変換
画像が局所領域画像に似ていない場合のため、各パラメ
ータ及び距離の値を保持しない。

【００４４】そして、各パラメータを所定量だけ変化さ
せ（Ｓ１０）、各パラメータの可変範囲を超えたか否か
を判定する（Ｓ１１）。つまり、各パラメータを初期値
から上限値まで変化させながらアフィン変換画像をそれ
ぞれ取得し、局所領域画像との距離を算出する（Ｓ５〜
Ｓ１１）。従って、Ｓ９では、各パラメータの可変範囲
内で得られるアフィン変換画像のうち、現在の注目画素
に係る局所領域画像と最も相似するアフィン変換画像の
アフィン変換パラメータ及びその距離が保持されること
になる。

【００４５】各パラメータを上限まで変化させた場合
は、Ｓ９で保持された各パラメータによって、局所領域
画像に最も相似するアフィン変換画像を取得する（Ｓ１
２）。取得したアフィン変換画像を局所領域画像と同一
サイズまで縮小し（Ｓ１３）、先に取得されたアフィン
変換画像に加算する（Ｓ１４）。加算とは、メモリ領域
の所定位置にアフィン変換画像のディジタルデータを格
納することである。

【００４６】そして、注目する画素を次の画素に移し
（Ｓ１５）、原画像の全画素についてアフィン変換画像
を取得したか否かを判定する（Ｓ１６）。原画像全体の
処理が終了していない場合は、再びＳ２に戻って上述の
各処理を繰り返す。なお、本実施の形態では原画像の全
体についてアフィン変換画像を取得するものとして述べ
ているが、本発明はこれに限られない。ユーザー等によ
り指定された所定の領域についてのみアフィン変換画像
の取得・置換処理を行うこともできる。

【００４７】原画像の全画素について、それぞれに対応
する局所領域画像に相似するアフィン変換画像を取得し
た場合は（S16:YES）、アフィン変換画像のデータが重
なる部分について平均化し、出力画像とする（Ｓ１
７）。なお、このようにしてフラクタル補間された画像
を拡大等する場合は、さらに、線形補間等の従来の補間
処理を行うことができる。

【００４８】このように構成される本実施の形態では、
以下の効果を奏する。

【００４９】第１に、近接する画像同士が所定量ずつ重
なり合うようにして局所領域画像を取得し、これら各局
所領域画像に相似するアフィン変換画像を原画像中から
検出して置換するため、低品質の画像を高品質の画像に
変換可能となる。

【００５０】第２に、各アフィン変換画像を所定量ずつ
重複せしめ、重なり合った部分を平均化等により処理す
るため、アフィン変換画像を重複させない場合に比べ
て、画像間のつなぎ目に違和感が生じるのを防止でき
る。従って、例えば、原画像が自然画像の場合等に、自
然な階調変化を保ちつつ品質を高めることができる。

【００５１】第３に、局所領域画像に相似するアフィン
画像を原画像の全体から探索するのではなく、局所領域
画像の周辺から探索するため、局所領域画像に相似する
アフィン変換画像を比較的短時間で得ることができる。
従って、検出すべきアフィン変換画像が多い場合でも、
全体の処理時間が著しく増大するのを防止することがで
きる。

【００５２】第４に、アフィン変換画像と局所領域画像
との相似性を判断しながら、局所領域画像に最も相似す
るアフィン変換パラメータを保持し、探索領域の探索が
終了した後で、保持したアフィン変換パラメータにより
アフィン変換画像を取得するため、少ないメモリ資源で
局所領域画像に相似するアフィン変換画像を得ることが
できる。

【００５３】２．第２の実施の形態 次に、図５に基づき、本発明の第２の実施の形態を説明
する。なお、以下の各実施の形態では、上述した構成要
素と同一の構成要素に同一の符号を付し、その説明を省
略するものとする。本実施の形態の特徴は、画素を間引
きしてアフィン変換画像を取得することにより、局所領
域画像と同一サイズのアフィン変換画像を得るようにし
た点にある。

【００５４】図５（ａ）に示すように、２ｎ×２ｎのサ
イズでアフィン変換画像を取得し、この取得したアフィ
ン変換画像を縮小することにより、局所領域画像と同一
サイズのアフィン変換画像を得ることができる。

【００５５】これに対し、図５（ｂ）に示すように、２
ｎ×２ｎのサイズでアフィン変換画像を取得するもの
の、該サイズ中の全画素を取得するのではなく、１個置
きに画素を間引いて取得することにより、縮小処理を行
わずに局所領域画像と同一サイズのアフィン変換画像を
得ることができる。

【００５６】３．第３の実施の形態 次に、図６に基づいて本発明の第３の実施の形態を説明
する。本実施の形態の特徴は、原画像の特性等に基づい
て、アフィン変換パラメータの値を各色成分毎に設定可
能とした点にある。

【００５７】まず、ユーザーは、画像処理装置による画
像改質を行うに際し、色にじみ防止モードかシャープモ
ードかを排他的に選択することができる（Ｓ２１）。色
にじみ防止モードでは、色のにじみを抑えるべく、ＲＧ
Ｂ表色系で表現された原画像のうちＲ成分及びＢ成分に
本発明によるフラクタル補間を適用する。一方、シャー
プモードでは、画像の輪郭等を鮮明にするべく、Ｇ成分
のみフラクタル補間を適用する。例えば、各１個ずつの
Ｒ成分用画素及びＢ成分用画素と２個のＧ成分用画素と
で一つの単位を形成しているようなディジタルカメラ等
において、色にじみ防止モードは自然画像に、シャープ
モードは文字や線図等の画像に、それぞれ好適に用いら
れる。

【００５８】色にじみ防止モードが選択された場合は、
フラクタル補間対象となる色プレーンにＲプレーン及び
Ｂプレーンをセットすると共に（Ｓ２２）、該各Ｒ，Ｂ
プレーン用のアフィン変換パラメータをセットする（Ｓ
２３）。一方、シャープモードが選択された場合は、フ
ラクタル補間対象プレーンとしてＧプレーンをセットす
ると共に（Ｓ２４）、該Ｇプレーン用のアフィン変換パ
ラメータをセットする（Ｓ２５）。なお、Ｓ２３，Ｓ２
５でセットするパラメータの初期値及び可変範囲は同一
であってもよい。

【００５９】そして、前記第１の実施の形態で述べたと
同様に、セットされたアフィン変換パラメータでアフィ
ン変換画像を取得し（Ｓ２６）、局所領域画像との距離
を算出する（Ｓ２７）。各パラメータを可変範囲内で変
化させ終わるまで、Ｓ２６，Ｓ２７の処理を繰り返す
（Ｓ２８，Ｓ２９）。そして、現在の注目画素に係る局
所領域画像に最も相似するアフィン変換画像を取得する
（Ｓ３０）。原画像の全画素についてアフィン変換画像
を取得するまで、注目画素をシフトさせながらＳ２６〜
Ｓ３０の各処理を繰り返す（Ｓ３１，Ｓ３２）。

【００６０】原画像の全画素についてアフィン変換画像
を取得した場合は、各アフィン変換画像を加算して平均
化する（Ｓ３３）。これにより、一枚のプレーンの処理
が終了する。そこで、次に処理すべきプレーンがあるか
否かを判定し（Ｓ３４）、処理すべきプレーンが残って
いる場合は、該プレーンに切り替えて上述の各処理を行
わせる（Ｓ３５）。フラクタル補間の実行を指定された
全プレーンについて処理を終了した場合は、他のプレー
ンと合成し、出力画像を得る（Ｓ３６）。

【００６１】即ち、色にじみ防止モードの場合は、Ｒプ
レーン及びＢプレーンの画像データについて本発明によ
るフラクタル補間が行われ、Ｇプレーンと合成されて出
力画像が得られる。この場合、Ｇプレーンについては、
線形補間等の他の補間処理を行ってから合成してもよい
し、補間処理を行わずに合成してもよい。同様に、シャ
ープモードの場合は、Ｇプレーンの画像データについて
のみ本発明によるフラクタル補間が行われ、Ｒプレーン
及びＢプレーンと合成される。

【００６２】これにより、原画像の特性やユーザーの希
望等に応じて、画像処理を行うことができる。

【００６３】なお、当業者であれば、前記各実施の形態
に記載された本発明の要旨の範囲内で種々の追加、変
更、組合せ等が可能である。例えば、前記各実施の形態
では、原画像の各画素毎に局所領域画像を取得する場合
を例示したが、これに限らず、例えば、１画素おき、２
画素おき等のように、近接する局所領域画像が所定量ず
つ重なり合う範囲内において、所定間隔で画素を選定し
てもよい。

【００６４】

【発明の効果】以上説明した通り、本発明に係る画像処
理装置及び画像処理方法によれば、低品質の画像を高品
質の画像に変換することが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る画像処理装置
のブロック図である。

【図２】画像処理の概要を示す説明図である。

【図３】アフィン変換の概要を示す説明図である。

【図４】画像処理方法を示すフローチャートである。

【図５】本発明の第２の実施の形態に係る画像処理方法
の説明図である。

【図６】本発明の第３の実施の形態に係る画像処理方法
のフローチャートである。

【符号の説明】

１ 画像処理装置 ２ 原画像保持部 ３ 局所領域画像取得部 ４ パラメータ設定部 ５ 画素ポインタ ６ アフィン変換画像取得部 ７ アフィン変換パラメータ設定部 ８ 縮小部 ９ 相似性算出部 １０ 置換部 １１ 加算部 １２ 平均化処理部 １３ 出力画像保持部

Claims (13)

(57)【特許請求の範囲】
1. 【請求項１】 原画像中の各画像ブロックに相似する相
   似画像ブロックを前記原画像からそれぞれ検出し、該各
   検出された相似画像ブロックで前記各画像ブロックをそ
   れぞれ置換させる画像処理装置において、 原画像を保持するための原画像保持手段と、 前記保持された原画像から所定サイズの画像ブロック
   を、近接する各画像ブロックが所定量だけ重なり合うよ
   うにして、それぞれ取得する画像ブロック取得手段と、 前記取得された各画像ブロック毎に、前記原画像の中か
   ら相似する相似画像ブロックをそれぞれ検出する相似画
   像検出手段と、 前記検出された各相似画像ブロックを前記各画像ブロッ
   クのうち対応する画像ブロックとそれぞれ置換する画像
   置換手段と、 前記置換された各相似画像ブロックの重なり合った部分
   を調整する画像調整手段と、を備えたことを特徴とする
   画像処理装置。
2. 【請求項２】 前記画像調整手段は、前記各相似画像ブ
   ロックの重なり合った部分を加算して平均化するもので
   ある請求項１に記載の画像処理装置。
3. 【請求項３】 前記画像ブロック取得手段は、前記原画
   像の１画素毎に、当該画素を略中心とする所定サイズの
   画像ブロックを取得するものである請求項１又は請求項
   ２のいずれかに記載の画像処理装置。
4. 【請求項４】 前記相似画像検出手段は、前記画像ブロ
   ックのサイズよりも大きいサイズで前記相似画像ブロッ
   クを検出し、該相似画像ブロックのサイズを前記画像ブ
   ロックのサイズと等しくなるように縮小させるものであ
   る請求項１〜請求項３のいずれかに記載の画像処理装
   置。
5. 【請求項５】 前記相似画像検出手段は、前記画像ブロ
   ックのサイズよりも大きいサイズで前記原画像中に設定
   される所定領域の中から、画素を間引きすることによ
   り、前記画像ブロックと同一サイズの相似画像ブロック
   を検出するものである請求項１〜請求項３のいずれかに
   記載の画像処理装置。
6. 【請求項６】 前記相似画像検出手段は、予め設定され
   た所定の条件下で、前記原画像の中から前記各画像ブロ
   ックに相似する相似画像ブロックをそれぞれ検出するも
   のである請求項１〜請求項５のいずれかに記載の画像処
   理装置。
7. 【請求項７】 前記所定の条件とは、前記相似画像ブロ
   ックを検出するための探索領域の設定条件であり、 前記相似画像検出手段は、前記原画像よりも小さく設定
   される探索領域内で、該画像ブロックに相似する前記相
   似画像ブロックを検出するものである請求項６に記載の
   画像処理装置。
8. 【請求項８】 前記所定の条件とは、前記相似画像ブロ
   ックを検出するための探索領域の設定条件及び該相似画
   像ブロックを検出するための画像操作のパラメータ条件
   であり、 前記相似画像検出手段は、所定の探索領域内で、画像操
   作のパラメータを変えながら複数の候補画像ブロックを
   取得し、該各候補画像ブロックの中から前記画像ブロッ
   クに最も相似する候補画像ブロックを該画像ブロックに
   相似する相似画像ブロックとして検出するものである請
   求項６に記載の画像処理装置。
9. 【請求項９】 前記相似画像検出手段は、前記画像操作
   のパラメータを変えながら前記各候補画像ブロックの相
   似性を判定し、最も前記画像ブロックに相似する候補画
   像ブロックの取得に用いたパラメータのみを保持して、
   該保持されたパラメータにより前記相似画像ブロックを
   検出するものである請求項８に記載の画像処理装置。
10. 【請求項１０】 前記原画像がカラー画像の場合は、表
    色系の各成分毎に前記所定の条件をそれぞれ設定可能で
    ある請求項６〜請求項９のいずれかに記載の画像処理装
    置。
11. 【請求項１１】 原画像中の各画像ブロックに相似する
    相似画像ブロックを前記原画像からそれぞれ検出し、該
    各検出された相似画像ブロックで前記各画像ブロックを
    それぞれ置換させる画像処理方法において、 近接する画像ブロック同士が所定量だけ重なり合うよう
    にして原画像から各画像ブロックを順次取得し、 前記順次取得された各画像ブロックに相似する相似画像
    ブロックを前記原画像中からそれぞれ検出し、 前記各検出された相似画像ブロックを前記各画像ブロッ
    クにそれぞれ置換せしめ、 前記置換された各相似画像ブロックの重なり合った部分
    を調整して出力させることを特徴とする画像処理方法。
12. 【請求項１２】 原画像中の各画像ブロックに相似する
    相似画像ブロックを前記原画像からそれぞれ検出し、該
    各検出された相似画像ブロックで前記各画像ブロックを
    それぞれ置換させる画像処理方法において、 近接する画像ブロック同士が所定量だけ重なり合うよう
    にして原画像から各画像ブロックをそれぞれ取得し、 所定の探索領域内で、画像操作のパラメータを変えなが
    ら複数の候補画像ブロックを取得し、 前記取得された各候補画像ブロックと前記画像ブロック
    との相似性をそれぞれ算出して、最も相似する候補画像
    ブロックを当該画像ブロックに相似する相似画像ブロッ
    クとして検出し、 前記各検出された相似画像ブロックを前記各画像ブロッ
    クに置換せしめ、 前記置換された各相似画像ブロックの重なり合った部分
    を加算して平均化することことを特徴とする画像処理方
    法。
13. 【請求項１３】 コンピュータに画像処理を実行させる
    ための画像処理プログラムを記録した記録媒体におい
    て、 保持された原画像から所定サイズの画像ブロックを、近
    接する各画像ブロックが所定量だけ重なり合うようにし
    て、それぞれ取得させる機能と、 前記取得された各画像ブロック毎に、前記原画像の中か
    ら相似する相似画像ブロックをそれぞれ検出させる機能
    と、 前記検出された各相似画像ブロックを前記各画像ブロッ
    クのうち対応する画像ブロックとそれぞれ置換させる機
    能と、 前記置換された各相似画像ブロックの重なり合った部分
    を調整させる機能と、をコンピュータ上に実現させるた
    めのコンピュータプログラムを該コンピュータが読取り
    及び理解可能な形態で記録したことを特徴とする記録媒
    体。