JP5743615B2 - 画像処理方法、画像処理装置、集積回路およびプログラム - Google Patents

Description

この発明は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理方法、画像処理装置、集積回路およびプログラムに関するものである。

高解像度ディスプレイにおいて、表示対象の画像の解像度が不足している場合には、ディスプレイの解像度に合うように、表示対象の画像を拡大する必要がある。

画像の高解像度化手法は古くから提案されてきたが、実用化のためには処理量の制限があり、単純な補間拡大と強調処理の組合せにより対応してきた。そのため、ボケたり、エッジのジャギが目立つといった画質劣化が生じる問題があった。

近年、ハードウェアの高性能化により画像拡大に多くの処理量を割くことが可能となった。そこで、複雑な処理による高品位な解像度変換が可能な「超解像技術」に注目が集まっている。

超解像技術の中で、高解像度画像と低解像度画像の対応関係の事例を学習したデータベースを用いる方法は学習方式と呼ばれる。

図２１は、従来の学習方式である特許文献１に記載の処理と同様な処理を行う画像処理装置６００の構成を示すブロック図である。以下においては、特許文献１に記載されている技術を従来技術Ａともいう。

図２１に示すように、画像処理装置６００は、学習データベース６１０と、画像拡大部６０５と、探索ベクトル生成部６２０と、学習データ検索部６３０と、加算部６８０とを備える。

次に、画像処理装置６００の動作について説明する。

図２２は、図２１に示す画像処理装置６００が行う処理の流れを示すフローチャートである。

画像処理装置６００は、インデックスベクトルと該インデックスベクトルに対応する高周波成分データ６３１とが対応づけて格納された学習データベース６１０を用いて、低解像度の入力画像６０１を高解像度の出力画像６０２に変換する。インデックスベクトルは、低周波成分の画像である。

学習データベース６１０には、複数のインデックスベクトルと、当該複数のインデックスベクトルにそれぞれ対応する複数の高周波成分データ６３１とが格納されている。インデックスベクトルおよび高周波成分データ６３１は、ブロック形状の画像である。

ステップＳ４００１では、画像拡大部６０５が、入力画像６０１を拡大して仮拡大画像６０６を生成する。

以下の処理は、入力画像６０１内の処理対象ブロック毎に行われる。

ステップＳ４００２では、探索ベクトル生成部６２０が、仮拡大画像６０６から抽出した処理対象ブロックの中周波成分データ、および、隣接ブロックの処理済みの高周波成分データを連結して、探索ベクトル６２１を生成する。すなわち、探索ベクトル６２１は、中周波成分データ、および隣接ブロックとの重複領域における高周波成分データから構成される。探索ベクトル６２１は、ブロック形状の画像である。

ステップＳ４００３では、学習データ検索部６３０が、学習データベース６１０に格納されている複数のインデックスベクトルのうち、探索ベクトル６２１と最も類似度の高いインデックスベクトルに対応する高周波成分データ６３１を１つ選択する。

ステップＳ４００４では、加算部６８０が、選択した高周波成分データ６３１を仮拡大画像６０６に加算する。これにより、高解像度の出力画像６０２が生成される。

従来の学習方式は、探索ベクトル６２１と最も類似度の高いインデックスベクトルに対応する高周波成分データ６３１を検索する。この方法はデータベースから１つのみの高周波成分データ６３１を選択するため、学習データベース６１０から選択された高周波成分データ６３１が、例えば、ノイズを示す場合、ノイズへの耐性が低い。

そのため、高解像度の出力画像６０２にエッジのがたつきやアーチファクトが発生し、画質が劣化する。さらに探索ベクトル６２１が隣接領域高周波成分の重複領域を含んでいるため、エラーが伝播する可能性がある。

特開２００３−０１８３９８号公報

しかしながら、上記従来の構成では、以下のような課題を有していた。

従来技術Ａでは、探索ベクトルと類似度の最も高いインデックスベクトルに対応する高周波成分データを検索する。つまり、学習データベースから１つのみの高周波成分データを選択する。

そして、選択された高周波成分データを使用して、高解像度な出力画像が生成される。すなわち、１つのデータを用いて出力画像の一部が生成される。そのため、選択されたデータが、ノイズを示す画像である場合、生成される出力画像はノイズを示す画像となる。つまり、従来技術Ａでは、選択されたデータによっては、出力画像の画質が劣化する。

この発明は、上述の課題を解決するためになされたものであって、その目的は、出力画像の画質劣化を抑制することができる画像処理方法、画像処理装置等を提供することである。

上記目的を達成するために、本発明の一態様に係る画像処理方法は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理方法であって、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得ステップと、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出ステップと、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成ステップとを備える。

すなわち、本発明の一態様に係る画像処理方法は、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得ステップと、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊを算出する算出ステップと、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成ステップとを備える。

つまり、エッジ強度に基づいて、合成画像の生成に必要なデータの数Ｊが算出される。そして、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像が生成される。すなわち、合成画像は、Ｊ個のデータを合成したものである。そのため、仮に、合成対象の１つのデータがノイズを示したとしても、生成される合成画像は、ノイズが抑制された画像となる。その結果、合成画像を用いて生成される出力画像の画質劣化を抑制することができる。

また、好ましくは、前記算出ステップでは、前記エッジ強度が大きい程大きな数Ｊを算出し、前記エッジ強度が小さい程小さな数Ｊを算出する。

また、好ましくは、前記画像処理方法は、さらに、前記入力画像を拡大した拡大画像を生成する拡大ステップと、学習画像の高周波成分から得られた第１学習データと、前記学習画像の少なくとも低周波成分から得られた第２学習データとが対応づけられた学習データ群をＫ（２以上の整数）組格納する学習データベースにおいて、Ｋ個の第１学習データのうち、前記拡大画像内の処理対象ブロックの特徴を示す第１特徴データと類似するＬ（２≦Ｌ≦Ｋ）個の第２学習データにそれぞれ対応するＬ個の第１学習データを選択する選択ステップとを備え、前記合成する処理において合成されるデータは、前記第１学習データであり、前記生成ステップでは、前記Ｌ個の第１学習データのうち、Ｊ（２≦Ｊ≦Ｌ）個の第１学習データを合成することにより前記合成画像を生成し、該合成画像を前記拡大画像に加算することにより、前記出力画像を生成する。

また、好ましくは、前記画像処理方法は、さらに、前記処理対象ブロックから前記第１特徴データを抽出する抽出ステップを備える。

また、好ましくは、前記選択ステップでは、前記第１特徴データと、前記Ｋ個の第２学習データの各々との類似度を算出し、前記第１特徴データに対して類似度が高い上位Ｌ個の第２学習データにそれぞれ対応する前記Ｌ個の第１学習データを選択する。

また、好ましくは、前記合成画像のサイズは、前記処理対象ブロックのサイズよりも大きく、前記画像処理方法は、さらに、前記エッジ強度に基づいて、前記合成画像のサイズ以下であって、かつ、前記処理対象ブロックのサイズよりも大きい、複数の前記合成画像の少なくとも一部が重複して合成される重複領域のサイズである領域サイズを算出する重複領域算出ステップを備え、前記生成ステップでは、前記合成画像のうち算出された前記領域サイズの合成画像を、前記拡大画像に加算する。

また、好ましくは、前記重複領域算出ステップでは、前記エッジ強度が大きい程大きな前記領域サイズを算出する。

また、好ましくは、前記生成ステップでは、前記領域サイズに基づいて、前記拡大画像に前記領域サイズの合成画像を重み付け加算する。

また、好ましくは、前記取得ステップでは、前記入力画像の一部であるブロック画像のエッジ強度を算出することにより該エッジ強度を取得し、前記処理対象ブロックは、前記ブロック画像を拡大した画像である。

また、好ましくは、前記取得ステップでは、前記処理対象ブロックと、前記Ｌ個の第１学習データの各々との差分から得られる値に基づいて、前記エッジ強度を算出することにより該エッジ強度を取得する。

また、好ましくは、前記第１特徴データは、前記処理対象ブロックの中周波成分の画像である。

また、好ましくは、前記取得ステップでは、前記入力画像の一部であるブロック画像のエッジ強度を算出することにより該エッジ強度を取得し、前記算出ステップでは、前記エッジ強度に基づいて、前記合成画像の生成に必要な参照画像の数Ｊを算出し、前記画像処理方法は、さらに、前記入力画像内の処理対象ブロックと、Ｊ枚の前記参照画像とを用いて位置合わせ処理を行う位置合わせステップを備え、前記生成ステップでは、前記位置合わせ処理により得られる位置ずれ量に基づいて、位置合わせされた、前記Ｊ枚の参照画像の各々のブロックを合成する処理を行うことにより合成画像を生成し、該合成画像を用いて前記出力画像を生成する。

本発明の一態様に係る画像処理装置は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理装置であって、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得部と、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出部と、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成部とを備える。

本発明の一態様に係る集積回路は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する集積回路であって、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得部と、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出部と、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成部とを備える。

本発明の一態様に係るプログラムは、画像処理装置が入力画像を用いて、該入力画像より解像度が高い出力画像を生成するためのプログラムであって、前記プログラムは、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得ステップと、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出ステップと、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する生成ステップとを前記画像処理装置のコンピュータに実行させる。

本発明により、出力画像の画質劣化を抑制することができる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、学習データベースを説明するための図である。 図３は、学習画像生成装置の構成を示すブロック図である。 図４は、本発明の実施の形態１に係る高解像度画像生成処理のフローチャートである。 図５は、高解像度画像の生成方法を説明するための図である。 図６は、ブロック単位で分割した仮拡大画像を示す図である。 図７は、選択された複数の学習高周波画像を示す図である。 図８は、エッジ強度の算出において用いられる閾値を説明するための図である。 図９は、本発明の実施の形態１の変形例に係る画像処理装置の構成を示すブロック図である。 図１０は、高解像度画像生成処理Ａのフローチャートである。 図１１は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１２は、重複領域を説明するための図である。 図１３は、高解像度画像生成処理Ｂのフローチャートである。 図１４は、本発明の実施の形態２の変形例に係る画像処理装置の構成を示すブロック図である。 図１５は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１６は、実施の形態３に係る高解像度画像生成処理Ｃのフローチャートである。 図１７は、位置合わせ実行処理を説明するための図である。 図１８Ａは、本発明の実施の形態４に係る記録媒体の物理フォーマットの例を示す図である。 図１８Ｂは、本発明の実施の形態４に係る記録媒体の構成を示す図である。 図１８Ｃは、本発明の実施の形態４に係るコンピュータシステムの構成を示す図である。 図１９は、本発明の実施の形態５におけるテレビジョン受像機のブロック図である。 図２０は、画像処理装置の特徴的な機能構成を示すブロック図である。 図２１は、従来の画像処理装置の構成を示すブロック図である。 図２２は、従来の画像処装置が行う処理の流れを示すフローチャートである。

以下、この発明の実施の一形態を説明する。以下の説明では、同一の構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明を省略する場合がある。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、外部から受信する入力画像１０１を用いて、該入力画像１０１より解像度が高い出力画像１０２を生成する。入力画像１０１は、動画像および静止画像のいずれであってもよい。

図１に示すように、画像処理装置１００は、学習データベース１１０と、画像拡大部１２０と、特徴データ抽出部１３０と、学習データ検索部１４０と、エッジ強度算出部１５０と、合成数算出部１６０と、合成部１７０と、加算部１８０とを備える。

まず、学習データベース１１０について説明する。

図２に示すように、学習データベース１１０は、学習高周波画像Ｐ１１［１］，Ｐ１１［２］，・・・，Ｐ１１［Ｋ］と、学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］とを格納する。Ｋは２以上の整数である。

以下においては、学習高周波画像Ｐ１１［１］，Ｐ１１［２］，・・・，Ｐ１１［Ｋ］の各々を、単に、学習高周波画像Ｐ１１ともいう。また、以下においては、学習中周波画像Ｐ１２［１］，Ｐ１２［２］，・・・，Ｐ１２［Ｋ］の各々を、単に、学習中周波画像Ｐ１２ともいう。

学習データベース１１０は、学習高周波画像Ｐ１１と、学習中周波画像Ｐ１２とが対応づけられた学習画像群を複数組格納する。具体的には、学習データベース１１０は、学習画像群Ｐ１０［１］，Ｐ１０［２］，・・・，Ｐ１０［Ｋ］を格納する。

以下においては、学習画像群Ｐ１０［１］，Ｐ１０［２］，・・・，Ｐ１０［Ｋ］の各々を、単に、学習画像群Ｐ１０ともいう。Ｋ組の学習画像群Ｐ１０の各々は、互いに異なる。

各学習画像群Ｐ１０は、同一の画像内の同一のブロックから生成された学習高周波画像Ｐ１１および学習中周波画像Ｐ１２が対応づけられた学習画像群である。

次に、学習高周波画像Ｐ１１および学習中周波画像Ｐ１２の生成方法について説明する。学習高周波画像Ｐ１１および学習中周波画像Ｐ１２は、以下の学習画像生成装置５０により生成される。

図３は、学習画像生成装置５０の構成を示すブロック図である。図３には、説明のために、画像処理装置１００に含まれる学習データベース１１０を示す。学習画像生成装置５０は、事前に、例えば、デジタルカメラによる撮影により得られた複数の学習画像Ｐ１の各々を用いて、複数の学習高周波画像Ｐ１１および学習中周波画像Ｐ１２を生成する。学習画像生成装置５０は、一例として、例えば、数百枚の学習画像Ｐ１を処理する。

図３に示すように、学習画像生成装置５０は、ローパスフィルタ部５１と、１／Ｎ縮小部５２と、Ｎ倍拡大部５３と、ハイパスフィルタ部５４と、高周波成分抽出部５５とを備える。

高周波成分抽出部５５は、学習画像Ｐ１とＮ倍拡大部５３から送信される後述の学習低周波画像Ｐ４との差分を、学習画像Ｐ１の高周波成分として抽出し、当該高周波成分の画像を固定サイズのブロック単位で分割する。そして、高周波成分抽出部５５は、分割された各ブロックを、学習高周波画像Ｐ１１として、学習データベース１１０に格納する。

なお、高周波成分抽出部５５は、線形フィルタ操作などを用いて学習画像Ｐ１の高周波成分を抽出してもよい。

また、ローパスフィルタ部５１は、線形フィルタ操作などを用いて学習画像Ｐ１の低周波成分を学習低周波画像Ｐ２として抽出する。

１／Ｎ縮小部５２は、学習低周波画像Ｐ２を水平及び垂直方向にそれぞれＮ分の１に縮小することにより学習低解像度画像Ｐ３を生成する。

Ｎ倍拡大部５３は、学習低解像度画像Ｐ３を水平及び垂直方向にそれぞれＮ倍に拡大することにより学習低周波画像Ｐ４を生成する。Ｎ倍拡大部５３は、学習低周波画像Ｐ４を、ハイパスフィルタ部５４および高周波成分抽出部５５へ送信する。

ハイパスフィルタ部５４は、線形フィルタ操作などを用いて学習低周波画像Ｐ４の高周波成分を抽出し、当該高周波成分の画像を固定サイズのブロック単位で分割する。そして、ハイパスフィルタ部５４は、分割された各ブロックを、学習中周波画像Ｐ１２として、学習データベース１１０に格納する。

なお、学習画像生成装置５０は、１／Ｎ縮小部５２およびＮ倍拡大部５３を使用せずに、ローパスフィルタ部５１およびハイパスフィルタ部５４のみの処理により、学習中周波画像Ｐ１２を生成してもよい。

学習高周波画像Ｐ１１のサイズは、学習中周波画像Ｐ１２のサイズと同じである。学習高周波画像Ｐ１１および学習中周波画像Ｐ１２の各々のサイズは、一例として、横１８画素×縦１８画素のサイズである。

なお、ハイパスフィルタ部５４および高周波成分抽出部５５は、同一の学習画像Ｐ１内の同一の座標（位置）のブロックに対応する学習高周波画像Ｐ１１および学習中周波画像Ｐ１２を対応づけた学習画像群Ｐ１０を、図２のように、学習データベース１１０に格納する。

学習画像群Ｐ１０を学習データベース１１０に格納するための上記処理が、処理対象となる複数の学習画像Ｐ１全てに対し行われることにより、Ｋ組の学習画像群Ｐ１０が、学習データベース１１０に格納される。Ｋは、一例として、１０万であるとする。すなわち、学習データベース１１０には、一例として、１０万組の学習画像群Ｐ１０が格納されているとする。

なお、各学習画像群Ｐ１０に対応する学習高周波画像Ｐ１１および学習中周波画像Ｐ１２は、同一の学習画像Ｐ１内の同一の座標（位置）のブロックに対応する画像である。

上記処理により、学習データベース１１０には、非常に多くの種類の学習画像群Ｐ１０が格納される。

学習高周波画像Ｐ１１は、後述の合成データ１７１および高解像度な出力画像を生成するための学習データである。つまり、学習データベース１１０は、学習画像Ｐ１の高周波成分から得られた第１学習データ（学習高周波画像Ｐ１１）と、前記学習画像Ｐ１の少なくとも低周波成分から得られた第２学習データ（学習中周波画像Ｐ１２）とが対応づけられた学習データ群をＫ組格納する。

画像拡大部１２０は、入力画像１０１を拡大し、仮拡大画像１２１を生成する。入力画像１０１は、解像度変換の対象となる画像である。入力画像１０１のサイズは、一例として、横１９２０画素×縦１０８０画素のサイズである。なお、入力画像１０１のサイズは、横１９２０画素×縦１０８０画素のサイズに限定されず、例えば、横１４４０画素×縦１０８０画素のサイズであってもよい。

特徴データ抽出部１３０は、仮拡大画像１２１から第１特徴データ１３１を抽出する。学習データ検索部１４０は、詳細は後述するが、第１特徴データ１３１と、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２の各々との類似度を算出する。

以下においては、学習中周波画像Ｐ１２を、第２特徴データまたは第２学習データともいう。また、以下においては、図２の学習データベース１１０において、学習中周波画像Ｐ１２と対応づけられる学習高周波画像Ｐ１１を、第３特徴データまたは第１学習データともいう。

そして、学習データ検索部１４０は、算出した類似度に基づいて、複数の学習中周波画像Ｐ１２にそれぞれ対応する複数の学習高周波画像Ｐ１１（第１学習データ）を選択する。

エッジ強度算出部１５０は、詳細は後述するが、入力画像１０１から第４特徴データを抽出し、その第４特徴データに基づき、エッジ強度ＥＮを算出する。エッジ強度ＥＮは、エッジの強度（強さの度合い）を示す。具体的には、エッジ強度ＥＮは、処理対象ブロックが、エッジ領域としての特性が強いか、テクスチャ領域としての特性が強いか、および、平坦領域としての特性が強いかのいずれかを表す。

合成数算出部１６０は、詳細は後述するが、エッジ強度ＥＮに基づき、選択された複数の学習高周波画像Ｐ１１（第１学習データ）のうち、合成対象となる学習高周波画像Ｐ１１の合成数ＧＮを算出する。

合成部１７０は、詳細は後述するが、選択された複数の学習高周波画像Ｐ１１（第１学習データ）のうち、合成数ＧＮの学習高周波画像Ｐ１１を用いて、合成データ１７１を生成する。

加算部１８０は、詳細は後述するが、仮拡大画像１２１にブロック単位で合成データ１７１を加算することにより、出力画像１０２を生成する。

特許文献（特開２００３−０１８３９８号公報）に示される従来技術では、学習データベースから最も類似度の高い学習データを１つのみ選択する。一方、本実施の形態では、複数の第１学習データを選択する。そして、入力画像から得られるエッジ強度に応じて、複数の第１学習データのうち、合成対象となる第１学習データの数を変化させる。

次に、画像処理装置１００が行う、高解像度画像を生成するための処理（以下、高解像度画像生成処理ともいう）について説明する。上記高解像度画像生成処理は、実施の形態１に係る画像処理方法である。

図４は、実施の形態１に係る高解像度画像生成処理のフローチャートである。ここでは、入力画像１０１は、静止画像であるとして説明する。

画像処理装置１００は、学習データベース１１０に格納された画像を用いて、入力画像を高解像度な画像に変換する。

ステップＳ１００１では、画像拡大部１２０が、図５のように、入力画像１０１を、水平及び垂直方向にそれぞれＮ（１より大きい実数）倍に拡大することにより、仮拡大画像１２１を生成する。なお、入力画像１０１の拡大の処理は、バイキュービック法が用いられる。本実施の形態では、入力画像１０１は、一例として、水平及び垂直方向にそれぞれ２倍に拡大されるとする。

すなわち、ステップＳ１００１は、前記入力画像１０１を拡大した拡大画像（仮拡大画像１２１）を生成するステップである。

なお、入力画像１０１の拡大の処理は、バイキュービック法に限定されず、例えば、スプライン補間法などの画素補間手法であってもよい。また、入力画像の水平及び垂直方向の拡大率は互いに異なってもよい。例えば、７２０×４８０画素のサイズの入力画像を、１９２０×１０８０画素のサイズの画像に拡大する場合、当該入力画像の水平方向の拡大率と、当該入力画像の垂直方向の拡大率とは異なる。

なお、画像の拡大処理は画像のサイズを入力画像１０１より大きくすることに限定されるものでない。例えば、Ｎが１以下で入力画像１０１が処理されても良い。

図６に示すように、仮拡大画像１２１は、複数のブロックＮＢに分割される。複数のブロックＮＢは、ｍ行ｎ列の行列を構成する。以下においては、仮拡大画像１２１内のｍ行ｎ列に対応するブロックＮＢを、ブロックＮＢ［ｍｎ］とも表記する。例えば、仮拡大画像１２１内の１行２列に対応するブロックＮＢは、ブロックＮＢ［１２］と表記される。

ブロックＮＢのサイズは、学習高周波画像Ｐ１１のサイズより小さい。ブロックＮＢのサイズは、一例として、横１６画素×縦１６画素のサイズである。

なお、ブロックＮＢのサイズは、学習高周波画像Ｐ１１のサイズより小さいことに限定されない。ブロックＮＢのサイズは、学習高周波画像Ｐ１１のサイズと同じであってもよい。

以下においては、仮拡大画像１２１内の複数のブロックＮＢのうち、処理対象となるブロックを、処理対象ブロックという。

以下のステップＳ１００２〜Ｓ１００７の処理は、仮拡大画像１２１内の各ブロックＮＢ毎に行われる。処理対象ブロックは、ステップＳ１００２〜Ｓ１００７の処理が行われる毎に、異なるブロックＮＢに変更される。

ステップＳ１００２では、特徴データ抽出部１３０が、処理対象ブロックから第１特徴データを抽出する。具体的には、特徴データ抽出部１３０が、線形フィルタ操作などを用いて、仮拡大画像１２１の処理対象ブロックに対し、ハイパスフィルタをかけることにより中周波成分を抽出し、当該中周波成分の画像を、第１特徴データ１３１として抽出する。すなわち、第１特徴データ１３１は、処理対象ブロックの各周波数成分のうち、ハイパスフィルタを通過した中周波成分の画像である。つまり、前記第１特徴データ１３１は、前記処理対象ブロックの中周波成分の画像である。この場合、第１特徴データ１３１は、複数の画素値を示す。

なお、第１特徴データ１３１に対応する中周波成分は、第２特徴データ（学習中周波画像Ｐ１２）に対応する周波数成分と重複した周波数帯域を含む。

第１特徴データ１３１は、学習データベース１１０に対する検索に使用するデータである。

なお、ステップＳ１００２で処理される処理対象ブロックは、仮拡大画像１２１の処理対象ブロックに限定されない。例えば、ステップＳ１００２で処理される処理対象ブロックは、入力画像１０１の処理対象ブロックであっても良い。

また、第１特徴データは、ハイパスフィルタを用いて得られたデータに限定されない。第１特徴データは、例えば、処理対象ブロックが示す、輝度、色差、ＲＧＢ値等であってもよい。また、第１特徴データは、例えば、処理対象ブロックから得られるモーメント（平均、分散、尖度、歪度）であってもよい。

また、第１特徴データは、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、エントロピー）であってもよい。また、第１特徴データは、例えば、主成分分析における主要成分、独立成分分析における主要成分等であってもよい。

なお、上記の第１特徴データは実施の典型例であり、これに限定されるものではない。

ステップＳ１００３では、学習データ検索部１４０が、第１特徴データ１３１と、学習データベース１１０に格納されるＫ個の学習中周波画像Ｐ１２（第２学習データ）の各々との類似度を算出する。当該類似度は、例えば、第１特徴データ１３１が示す複数の画素値と、各学習中周波画像Ｐ１２が示す複数の画素値との差分絶対値和（マンハッタン距離）により算出される。当該差分絶対値和が小さい程、第１特徴データ１３１と学習中周波画像Ｐ１２との類似度は高くなる。なお、類似度は、差分二乗和（ユークリッド距離）を用いて算出されてもよい。

そして、学習データ検索部１４０は、算出した複数の類似度に基づいて、第１特徴データ１３１に対して類似度が高い上位Ｌ（２以上の整数）個の学習中周波画像Ｐ１２（第２学習データ）を選択する。Ｌは、２≦Ｌ≦Ｋの関係式を満たす整数である。Ｌは、予め定められた定数である。本実施の形態において、Ｌは、一例として“３２”であるとする。

選択されたＬ個の学習中周波画像Ｐ１２は、第１特徴データ１３１と最も類似度が高い学習中周波画像Ｐ１２を含む。言い換えれば、選択されたＬ個の学習中周波画像Ｐ１２にそれぞれ対応するＬ個の類似度は、ステップＳ１００３において算出された全ての類似度のうち、値が大きい方から数えた場合における上位Ｌ個の類似度である。

そして、学習データ検索部１４０は、学習データベース１１０に格納されるＫ個の学習高周波画像Ｐ１１（第１学習データ）のうち、選択したＬ個の学習中周波画像Ｐ１２（第２学習データ）にそれぞれ対応するＬ個の学習高周波画像Ｐ１１（第１学習データ）を選択する。言い換えれば、学習データ検索部１４０は、学習データベース１１０において、Ｋ個の第１学習データのうち、仮拡大画像１２１内の処理対象ブロックの特徴を示す第１特徴データと類似するＬ個の第２学習データにそれぞれ対応するＬ個の第１学習データを選択する。

そして、学習データ検索部１４０は、選択したＬ個の学習高周波画像Ｐ１１を、合成部１７０へ送信する。

すなわち、ステップＳ１００３では、学習データ検索部１４０が、前記第１特徴データ１３１と、前記Ｋ個の第２学習データの各々との類似度を算出し、前記第１特徴データに対して類似度が高い上位Ｌ個の第２学習データにそれぞれ対応する前記Ｌ個の第１学習データを選択する。

図７は、選択されたＬ個の学習高周波画像Ｐ１１を示す図である。なお、図７では、Ｌは３２の場合の図を示す。

図７において、縦軸は、類似度を示す。学習高周波画像Ｐ１１内の数字は、該学習高周波画像Ｐ１１に対応する学習中周波画像Ｐ１２と、第１特徴データ１３１との類似度の順位を示す。

例えば、“１”を示す学習高周波画像Ｐ１１は、該学習高周波画像Ｐ１１に対応する学習中周波画像Ｐ１２と第１特徴データ１３１との類似度が、算出された全ての類似度の中で最大である。すなわち、“１”を示す学習高周波画像Ｐ１１は、該学習高周波画像Ｐ１１に対応する算出された類似度が、算出された全ての類似度の中で最大の画像である。

また、例えば、“３２”を示す学習高周波画像Ｐ１１は、該学習高周波画像Ｐ１１に対応する学習中周波画像Ｐ１２と第１特徴データ１３１との類似度が、算出された全ての類似度の中で３２番目に高い。すなわち、“３２”を示す学習高周波画像Ｐ１１は、該学習高周波画像Ｐ１１に対応する算出された類似度が、算出された全ての類似度の中で３２番目に大きい画像である。

なお、第１学習データ（第３特徴データ）は、ハイパスフィルタを用いて抽出された高周波成分を示す学習高周波画像Ｐ１１に限定されない。第１学習データは、学習画像Ｐ１の輝度、色差、あるいはＲＧＢ値等であってもよい。

なお、第２学習データは、ローパスフィルタおよびハイパスフィルタを用いて抽出された中周波成分を示す学習中周波画像Ｐ１２に限定されない。

第２学習データは、例えば、学習画像Ｐ１の輝度、色差、ＲＧＢ値等であってもよい。また、第２学習データは、例えば、学習画像Ｐ１から得られるモーメント（平均、分散、尖度、歪度）であってもよい。

また、第２学習データは、例えば、同時生起行列から得られる特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、エントロピー）であってもよい。また、第２学習データは、例えば、主成分分析における主要成分、独立成分分析における主要成分等であってもよい。

ステップＳ１００４では、詳細は後述するが、エッジ強度算出部１５０が、入力画像１０１のうち、処理対象ブロックに対応するブロックＪＢから、第４特徴データを抽出する。図５に示されるように、入力画像１０１におけるブロックＪＢの相対位置と、仮拡大画像１２１における処理対象ブロックの相対位置とは等しい。

そして、エッジ強度算出部１５０は、第４特徴データに基づいて、エッジ強度ＥＮを算出する。エッジ強度ＥＮは、処理対象ブロックが、エッジ領域、テクスチャ領域、あるいは平坦領域のいずれの特性が強いかを表す。

ここでは、第４特徴データは、一例として、一次微分Ｓｏｂｅｌフィルタの出力値であるとする。以下においては、一次微分Ｓｏｂｅｌフィルタの出力値を、フィルタ出力値Ｆ４ともいう。エッジ強度算出部１５０は、フィルタ出力値Ｆ４をしきい値処理することによりエッジ強度ＥＮを算出する。これを行うためには、フィルタ出力値Ｆ４を用いた領域判定の基準を定義する必要がある。

フィルタ出力値Ｆ４が大きな値である場合、処理対象ブロックが示すエッジの強度が大きいことを示す。この場合、エッジ強度算出部１５０は、処理対象ブロックが、エッジ領域であると判定する。また、フィルタ出力値Ｆ４が小さな値である場合、処理対象ブロックが示すエッジの強度が小さいことを示す。この場合、エッジ強度算出部１５０は、処理対象ブロックが、テクスチャ領域であると判定する。

また、フィルタ出力値Ｆ４が非常に小さな値である場合、エッジ強度算出部１５０は、処理対象ブロックが平坦領域であると判定する。この場合、当該処理対象ブロックを高解像度化の処理対象から外してもよい。

具体的には、エッジ強度算出部１５０は、ブロックＪＢに対し、Ｓｏｂｅｌフィルタを用いたフィルタ処理を行う。Ｓｏｂｅｌフィルタを用いたフィルタ処理の出力値が、前述のフィルタ出力値Ｆ４である。

なお、Ｓｏｂｅｌフィルタを用いたフィルタ処理は、公知な処理であるので詳細な説明は行わない。

ここで、フィルタ出力値Ｆ４を用いたエッジ強度ＥＮの算出において用いられる閾値について説明する。

図８は、エッジ強度ＥＮの算出において用いられる閾値を説明するための図である。フィルタ出力値Ｆ４を用いたエッジ強度ＥＮの算出には、閾値Ｘ，Ｙが用いられる。ＸはＹより大きい。

エッジ強度算出部１５０は、フィルタ出力値Ｆ４がＸ以上の場合、ブロックＪＢ（処理対象ブロック）はエッジ領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝１とする。エッジ強度算出部１５０は、フィルタ出力値Ｆ４がＹ以下の場合、ブロックＪＢ（処理対象ブロック）は平坦領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝０とする。

エッジ強度算出部１５０は、フィルタ出力値Ｆ４が、ＸからＹの間の値である場合、ブロックＪＢ（処理対象ブロック）はテクスチャ領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮを、以下の式１により算出する。

エッジ強度ＥＮ＝（Ｆ４−Ｙ）／（Ｘ−Ｙ） ・・・（式１）

一次微分Ｓｏｂｅｌフィルタは、出力値が大きいほど、演算対象のブロックが、エッジ領域としての特性が強いことを示す特徴量である。一方、同時生起行列から得られる標準偏差は出力値が大きいほど、演算対象のブロックが、テクスチャ領域としての特性が強くなる。

なお、第４特徴データは、Ｓｏｂｅｌフィルタの出力値に限定されず、例えば、同時生起行列から得られる標準偏差であってもよい。

ここで、第４特徴データは、同時生起行列から得られる標準偏差Ｆ４’であるとする。この場合、エッジ強度算出部１５０は、標準偏差Ｆ４’がＸ以下の場合、ブロックＪＢ（処理対象ブロック）はエッジ領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝１とする。

エッジ強度算出部１５０は、標準偏差Ｆ４’がＹ以上の場合、ブロックＪＢ（処理対象ブロック）はテクスチャ領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝０とする。

エッジ強度算出部１５０は、標準偏差Ｆ４’がＸからＹの間の値である場合、エッジ強度ＥＮを、以下の式２により算出する。

エッジ強度ＥＮ＝（Ｙ−Ｆ４’）／（Ｙ−Ｘ） ・・・（式２）

そして、エッジ強度算出部１５０は、算出したエッジ強度ＥＮを、合成数算出部１６０へ送信する。

すなわち、ステップＳ１００４では、エッジ強度算出部１５０が、前記入力画像１０１の一部であるブロック画像のエッジ強度ＥＮを算出することにより該エッジ強度ＥＮを取得する。なお、前述の処理対象ブロックは、上記ブロック画像を拡大した画像である。言い換えれば、ステップＳ１００４では、エッジ強度算出部１５０が、前記入力画像１０１におけるエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。さらに、言い換えれば、ステップＳ１００４では、エッジ強度算出部１５０が、前記出力画像１０２の生成に用いられる合成画像の生成に必要なエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。

上記では、第４特徴データが、一次微分Ｓｏｂｅｌフィルタの出力値、または、同時生起行列から得られる標準偏差である場合のエッジ強度ＥＮの算出方法を説明した。

すなわち、第４特徴データは、１次微分フィルタの出力値、２次微分フィルタの出力値、および、同時生起行列から得られる各特徴量（均質性、異質性、コントラスト、平均、標準偏差、角２次モーメント、エントロピー）のいずれであってもよい。なお、第４特徴データは、これらに限定されるものではない。

また、エッジ強度ＥＮの定義は、実施の典型例であり、これに限定されるものではない。例えば、エッジ強度ＥＮは、０または１のみの２値データとして使用してもよい。

なお、エッジ強度ＥＮの算出には、入力画像１０１内のブロックＪＢでなく、仮拡大画像１２１の処理対象ブロックから抽出した第４特徴データを用いても良い。

ステップＳ１００５では、合成数算出部１６０が、エッジ強度算出部１５０により算出されたエッジ強度ＥＮに基づき、選択されたＬ個の学習高周波画像Ｐ１１（第１学習データ）のうち、合成対象となる学習高周波画像Ｐ１１の合成数ＧＮを算出する。言い換えれば、合成数算出部１６０は、前記エッジ強度ＥＮに基づいて、前記出力画像の生成に用いられる合成画像（合成データ１７１）の生成に使用するデータ（第１学習データ）の数Ｊ（２以上の整数）を算出する。

ここで、合成数ＧＮの最大値をＭａｘと表現し、合成数ＧＮの最小値をＭｉｎと表現するとする。Ｍａｘは、前述のＬと等しい。Ｍｉｎは、例えば、２である。

この場合、合成数算出部１６０は、合成数ＧＮを、以下の式３により算出する。

合成数ＧＮ＝ｒｏｕｎｄ（Ｍｉｎ＋（Ｍａｘ−Ｍｉｎ）×ＥＮ）…（式３）

式３において、ｒｏｕｎｄ（）は最も近い整数への丸めを行う関数である。例えば、ｒｏｕｎｄ（Ｘ）は、Ｘの値を四捨五入した値が求められる。また、式３のＥＮは、エッジ強度ＥＮである。ここで、例えば、Ｍｉｎ＋（Ｍａｘ−Ｍｉｎ）×ＥＮにより算出される値が７．５である場合、算出される合成数ＧＮは、８である。

式３は、エッジ強度ＥＮが大きい程、算出される合成数ＧＮの値を大きくし、エッジ強度ＥＮが小さい程、算出される合成数ＧＮの値を小さくする式である。

具体的には、合成数算出部１６０は、算出されたエッジ強度ＥＮを式３に代入することにより、合成数ＧＮを算出する。すなわち、合成数算出部１６０は、前記エッジ強度ＥＮが大きい程大きな数Ｊ（合成数ＧＮ）を算出し、前記エッジ強度ＥＮが小さい程小さな数Ｊ（合成数ＧＮ）を算出する。

そして、合成数算出部１６０は、算出した合成数ＧＮを、合成部１７０へ通知する。

なお、合成数ＧＮの算出方法は、上記の算出方法に限定されない。合成数ＧＮは、例えば、第１特徴データ１３１と、Ｌ個の学習中周波画像Ｐ１２（第２学習データ）の各々との差分絶対値より算出してもよい。この場合、設定したしきい値より差分絶対値の低い第２学習データの数を合成数ＧＮとする。

ステップＳ１００６では、合成部１７０が、選択された前記Ｌ個の学習高周波画像Ｐ１１（第１学習データ）のうち、Ｊ（２≦Ｊ≦Ｌ）個の学習高周波画像Ｐ１１（第１学習データ）を合成することにより合成画像を生成する。すなわち、合成部１７０は、Ｊ個のデータを合成する処理を行うことにより合成画像を生成する。

具体的には、まず、合成部１７０が、選択されたＬ個の学習高周波画像Ｐ１１（第１学習データ）のうち、対応する類似度が上位ＧＮ番目までの学習高周波画像Ｐ１１を合成対象とする。

例えば、合成数ＧＮが５であるとする。この場合、図７に示される３２個の学習高周波画像Ｐ１１のうち、対応する類似度が上位５番目までの学習高周波画像Ｐ１１を合成対象とする。この場合、合成対象の学習高周波画像Ｐ１１は、対応する類似度が１〜５番目の学習高周波画像Ｐ１１である。

そして、合成部１７０は、合成対象のＧＮ個の学習高周波画像Ｐ１１を合成することにより、合成データ１７１を生成する。具体的には、合成部１７０は、図５のように、合成対象のＧＮ個の学習高周波画像Ｐ１１において、同一座標の各画素に対応するＧＮ個の画素値の平均値を算出することにより、合成データ１７１を生成する。

例えば、ＧＮ個の学習高周波画像Ｐ１１において、各学習高周波画像Ｐ１１の１行１列目の画素に対応するＧＮ個の画素値の平均値を、合成データ１７１の１行１列目の画素の画素値として算出する。

合成データ１７１は、学習高周波画像Ｐ１１のサイズと同じサイズの合成画像である。

なお、合成データ１７１の生成方法は、上記処理に限定されず、他の方法であってもよい。

ここで、処理対象ブロック（画像）内にエッジが存在する場合において、学習データベース１１０から選択（検索）された学習高周波画像Ｐ１１が、仮に、ノイズを含むエラー画像であるとする。この場合において、当該エラー画像を、仮に、仮拡大画像１２１に加算すると、当該エラー画像が加算された画像のエッジ領域においてアーチファクトが目立つようになる。すなわち、当該エッジ領域におけるエッジががたつく。

ステップＳ１００５，Ｓ１００６の処理が行われることにより、エッジ強度ＥＮが大きい程、多くの学習高周波画像Ｐ１１を用いて、合成データ１７１を生成する。そのため、生成された合成データ１７１は、仮に、ノイズを含むエラー画像としての学習高周波画像Ｐ１１が選択されたとしても、上記のアーチファクトやエッジのがたつき等を抑制した画像となる。すなわち、ステップＳ１００５，Ｓ１００６の処理が行われることにより、高精細でかつノイズの少ない合成データ１７１を生成することができる。

つまり、仮に、合成対象の１つのデータ（学習高周波画像Ｐ１１）がノイズを示したとしても、生成される合成画像（合成データ１７１）は、ノイズが抑制された画像となる。

また、一般に、画像内のエッジの強さが弱い場合、当該画像は、テクスチャ画像である。テクスチャ画像を、高解像度化するために使用する合成データ１７１の生成において、多くの画像を合成する程、テクスチャの再現性が低下してしまう。

なお、ステップＳ１００５，Ｓ１００６の処理が行われることにより、エッジ強度ＥＮが小さい程、少ない数の学習高周波画像Ｐ１１を用いて、合成データ１７１を生成する。そのため、ステップＳ１００５，Ｓ１００６の処理が行われることにより、テクスチャの再現性の低下を抑制した合成データ１７１を生成することができる。

ステップＳ１００７では、図５のように、加算部１８０が、合成画像としての合成データ１７１を、仮拡大画像１２１内における、該合成データ１７１に対応するブロックＮＢ（処理対象ブロック）に加算する。合成データ１７１は、処理対象ブロックよりも高精細な画像である。

以下に、一例を挙げて、合成データの加算処理について詳細に説明する。ここで、処理対象ブロックが、図６の仮拡大画像１２１のブロックＮＢ［１１］であるとする。また、合成画像としての合成データ１７１のサイズは、横１８画素×縦１８画素のサイズであるとする。すなわち、合成データ１７１のサイズは、処理対象ブロックのサイズより大きい。

この場合、合成部１７０は、合成データ１７１の中心位置が、ブロックＮＢ［１１］の中心位置と一致するように、ブロックＮＢ［１１］を構成する各画素の画素値に対し、合成データ１７１を構成する各画素の画素値を加算する。この場合、合成データ１７１の一部の画素の画素値が、該ブロックＮＢ［１１］に隣接するブロック画素の画素値に加算される。

以上のステップＳ１００２〜Ｓ１００７の処理が、仮拡大画像１２１内の全てのブロックＮＢに対して行われる。これにより、出力画像１０２が生成される。すなわち、ステップＳ１００７の処理が繰り返し行われることで、加算部１８０は、該合成画像（合成データ１７１）を仮拡大画像１２１に加算することにより、前記出力画像１０２を生成する。つまり、加算部１８０は、該合成画像を用いて前記出力画像１０２を生成する。

また、ステップＳ１００７の処理が繰り返されることにより、図６のように、各合成データ１７１は、仮拡大画像１２１内の各隣り合う複数のブロックＮＢにおいて、重複するように加算される。ここで、各隣り合う複数のブロックＮＢは、例えば、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［２１］，ＮＢ［２２］である。

以下においては、合成データ１７１の一部が重複して加算される領域を重複領域ともいう。このように、合成データ１７１の一部が重複して加算されるようにすることにより、合成データ１７１の加算を起因とするブロックノイズを抑制することができる。

以上説明した高解像度画像生成処理は、処理対象の入力画像１０１が静止画像である場合の処理である。入力画像１０１が動画像である場合は、動画像を構成する１フレーム毎に、上記の高解像度画像生成処理が繰り返し行われる。

以上説明したように、本実施の形態によれば、エッジ強度ＥＮが大きい程、処理対象ブロックから得られる第１特徴データ１３１と類似する多くの学習高周波画像Ｐ１１を用いて、合成データ１７１を生成する。つまり、仮に、合成対象の１つのデータ（学習高周波画像Ｐ１１）がノイズを示したとしても、生成される合成画像（合成データ１７１）は、ノイズが抑制された画像となる。そのため、高精細でかつノイズの少ない合成データ１７１を生成することができる。また、加算部１８０は、高精細でかつノイズの少ない合成データ１７１を、仮拡大画像１２１に加算する。

これにより、実施の形態１に係る画像処理装置１００は、高精細でかつノイズの少ない高解像度な出力画像１０２を生成することができる。すなわち、実施の形態１に係る画像処理装置１００は、合成画像（合成データ１７１）を用いて生成される出力画像１０２の画質劣化を抑制することができる。

また、入力画像１０１が動画像である場合、実施の形態１に係る画像処理装置１００は、入力画像１０１を用いてエッジ強度ＥＮを算出する。そして、画像処理装置１００は、エッジ強度ＥＮに基づいて合成データ１７１を生成する。これにより、動画像におけるフレーム間において精度のよいエッジ強度ＥＮを算出することができる。そのため、合成データ１７１を生成するための学習高周波画像Ｐ１１の枚数が適切な数となる。その結果、高解像度化処理による動画像のちらつきを抑えつつ、高品位な高解像度画像が生成できるという効果がある。

その結果、実施の形態１に係る画像処理装置１００は、エッジ領域ではアーチファクトやがたつきのないエッジを示し、テクスチャ領域では精細感のあるテクスチャを示す、高品位な高解像度画像を生成することができる。

（実施の形態１の変形例）
なお、エッジ強度ＥＮの算出には、学習データベース１１０に格納される複数の学習高周波画像Ｐ１１（第１学習データ）から得られる第５特徴データが使用されても良い。

図９は、実施の形態１の変形例に係る画像処理装置２００の構成を示すブロック図である。

図９に示すように、画像処理装置２００は、図１の画像処理装置１００と同じ構成要素を有する。各構成要素についての詳細な説明は繰り返さない。

画像処理装置２００は、画像処理装置１００と比較して、主に、エッジ強度算出部１５０が、入力画像１０１の代わりに学習高周波画像Ｐ１１（第１学習データ）を用いてエッジ強度ＥＮを算出する点が異なる。画像処理装置２００が行うそれ以外の処理は、画像処理装置１００と同様なので詳細な説明は繰り返さない。

エッジ領域は、例えば、平坦領域に、強エッジが１〜２本のみ存在するというシンプルな構成の領域である。このようなエッジ領域に対応する複数の学習高周波画像Ｐ１１（第１学習データ）は互い似ている傾向にある。一方、テクスチャ領域は、例えば、数本の弱エッジが絡み合うという複雑な構成の領域である。このようなテクスチャ領域に対応する複数の学習高周波画像Ｐ１１（第１学習データ）は、エッジ領域ほど、互いに似ていない。

そこで、実施の形態１の変形例では、複数の学習高周波画像Ｐ１１（第１学習データ）におけるデータ間の密度を、第５特徴データＦ５として使用する。

次に、画像処理装置２００が行う、高解像度画像を生成するための処理（以下、高解像度画像生成処理Ａともいう）について説明する。高解像度画像生成処理Ａは、実施の形態１の変形例に係る画像処理方法である。

図１０は、高解像度画像生成処理Ａのフローチャートである。図１０において、図４のステップ番号と同じステップ番号の処理は、第１の実施形態で説明した処理と同様な処理が行われるので詳細な説明は繰り返さない。高解像度画像生成処理Ａは、図４の高解像度画像生成処理と比較して、ステップＳ１００３，Ｓ１００４の代わりにステップＳ１００３Ａ，Ｓ１００４Ａが行われる点が異なる。

以下、実施形態１と異なる点を中心に説明する。

ステップＳ１００３Ａでは、ステップＳ１００３と同様に、Ｌ個の学習高周波画像Ｐ１１（第１学習データ）が選択されるので詳細な説明は繰り返さない。そして、学習データ検索部１４０は、選択したＬ個の学習高周波画像Ｐ１１を、合成部１７０およびエッジ強度算出部１５０へ送信する。

ステップＳ１００４Ａでは、エッジ強度算出部１５０が、Ｌ個の学習高周波画像Ｐ１１のデータ間の密度を算出する。ここで、Ｌ個の学習高周波画像Ｐ１１を、それぞれ、画像Ｌ１，Ｌ２，Ｌ３，・・・，ＬＬと表現するとする。この場合、エッジ強度算出部１５０は、画像Ｌ１と、画像Ｌ２，Ｌ３，・・・，ＬＬの各々との各画素の差分値の絶対値の和（以下、差分絶対値和という）を算出する。これにより、エッジ強度算出部１５０は、（Ｌ−１）個の差分絶対値和を得る。

そして、エッジ強度算出部１５０は、（Ｌ−１）個の差分絶対値和の合計値または（Ｌ−１）個の差分絶対値和の平均値を、第５特徴データＦ５とする。

この場合、第５特徴データＦ５の値が大きい程、Ｌ個の学習高周波画像Ｐ１１のデータ間の密度は小さい。すなわち、第５特徴データＦ５の値が大きい程、処理対象ブロックが示すエッジの強度は小さい。言い換えれば、第５特徴データＦ５の値が小さい程、処理対象ブロックが示すエッジの強度は大きい。

なお、第５特徴データＦ５の算出方法は上記方法に限定されない。エッジ強度算出部１５０は、例えば、以下の方法により、第５特徴データＦ５を算出してもよい。

まず、エッジ強度算出部１５０は、仮拡大画像１２１の処理対象ブロックと、Ｌ個の学習高周波画像Ｐ１１の各々との差分値の絶対値の和を算出する。

さらに、具体的には、エッジ強度算出部１５０は、Ｌ個の学習高周波画像Ｐ１１全てに対し、処理対象ブロックと、学習高周波画像Ｐ１１との各画素の差分値の絶対値の和（以下、差分絶対値和という）を算出する。そして、エッジ強度算出部１５０は、算出されたＬ個の差分絶対値和の分散または標準偏差を、第５特徴データＦ５とする。

また、第５特徴データＦ５は、第１特徴データ１３１と類似度の高いＬ個の学習中周波画像Ｐ１２のデータ間の密度であってもよい。

そして、第５特徴データＦ５を用いたエッジ強度ＥＮの算出において、例えば、図８の閾値Ｘ，Ｙを使用する。ＸはＹより大きい。

エッジ強度ＥＮの算出は、第５特徴データＦ５のしきい値処理により行う。具体的には、エッジ強度算出部１５０は、第５特徴データＦ５がＸ以上の場合、処理対象ブロックはエッジ領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝１とする。

エッジ強度算出部１５０は、第５特徴データＦ５がＹ以下の場合、処理対象ブロックは平坦領域であると判定する。この場合、エッジ強度算出部１５０は、エッジ強度ＥＮ＝０とする。

エッジ強度算出部１５０は、第５特徴データＦ５がＸからＹの間の値である場合、エッジ強度ＥＮを、以下の式４により算出する。

エッジ強度ＥＮ＝（Ｆ５−Ｙ）／（Ｘ−Ｙ） ・・・（式４）

以上の処理により算出されたエッジ強度ＥＮは、処理対象ブロックのエッジ強度である。

そして、エッジ強度算出部１５０は、算出したエッジ強度ＥＮを、合成数算出部１６０へ送信する。

すなわち、ステップＳ１００４Ａでは、エッジ強度算出部１５０が、前記処理対象ブロックと、前記Ｌ個の第１学習データ（学習高周波画像Ｐ１１）の各々との差分から得られる値に基づいて、前記エッジ強度ＥＮを算出することにより該エッジ強度を取得する。

ステップＳ１００４Ａにおける処理対象ブロックは、入力画像１０１が拡大された仮拡大画像１２１内のブロック（画像）である。すなわち、上記処理対象ブロックは、入力画像１０１に対応する画像である。

つまり、ステップＳ１００４Ａでは、エッジ強度算出部１５０が、前記入力画像１０１に対応する画像におけるエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。言い換えれば、ステップＳ１００４Ａでは、エッジ強度算出部１５０が、前記出力画像１０２の生成に用いられる合成画像の生成に必要なエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。

なお、第５特徴データＦ５の算出において、算出されたＬ個の差分絶対値和のうち、極端に差分絶対値和が大きい値を除外することにより、より精度の高い第５特徴データＦ５を算出することができる。すなわち、この場合、より精度の高いエッジ強度ＥＮを算出することができる。

以上説明したように、実施の形態１の変形例では、学習データベース１１０に格納される複数の学習高周波画像Ｐ１１（第１学習データ）を用いてエッジ強度ＥＮを算出する。すなわち、実際の合成対象の候補である複数の学習高周波画像Ｐ１１を用いてエッジ強度を算出する。そのため、実施の形態１の変形例では、入力画像１０１のブロックＪＢを用いる実施の形態１よりも、学習高周波画像Ｐ１１の特徴に即した精度のよい合成データ１７１を生成することができる。そのため、実施の形態１の変形例の処理では、実施の形態１よりも、さらに、精細感が高くノイズの少ない高解像度な出力画像１０２が生成できるという効果がある。

また、実施の形態１の変形例は、実施の形態１と同様な効果を奏する。すなわち、合成画像（合成データ１７１）を用いて生成される出力画像１０２の画質劣化を抑制することができる。

（実施の形態２）
次に、本発明の実施の形態２に係る画像処理装置３００の動作について説明する。

図１１は、実施の形態２に係る画像処理装置３００の構成を示すブロック図である。

図１１に示すように、画像処理装置３００は、図１の画像処理装置１００と比較して、加算部１８０の代わりに加算部３２０を備える点と、重複領域算出部３１０をさらに備える点とが異なる。画像処理装置３００のそれ以外の構成は、画像処理装置１００と同様なので詳細な説明は繰り返さない。

画像処理装置３００が備える複数の構成要素のうち、実施の形態１の画像処理装置１００と同じ構成要素の説明を省略し、相違点となる重複領域算出部３１０および加算部３２０について説明する。

実施の形態２では、隣接ブロック間の重複領域処理を行う。図１１の重複領域算出部３１０は、詳細は後述するが、隣接ブロック間の重複領域３２２を算出する。ここで、重複領域３２２とは、仮拡大画像１２１のうち、複数の合成画像が重複して加算される領域である。

加算部３２０は、詳細は後述するが、重複領域３２２に基づき、合成データ１７１を仮拡大画像１２１に重み付け加算する。

本実施の形態では、実施の形態１と同様、学習データベース１１０に格納される学習データ（学習高周波画像Ｐ１１、学習中周波画像Ｐ１２）のサイズは、処理対象ブロックのサイズよりも大きい。処理対象ブロックは、前述したように、仮拡大画像１２１内の複数のブロックＮＢのうち、処理対象となるブロックである。本実施の形態では、処理対象ブロックを、処理対象ブロック３２１ともいう。

図１２は、重複領域を説明するための図である。図１２（ａ）は、重複領域を説明するために、図６の複数のブロックＮＢのうち９個のブロックＮＢを示す。９個のブロックＮＢは、一例として、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［１３］，ＮＢ［２１］，ＮＢ［２２］，ＮＢ［２３］，ＮＢ［３１］，ＮＢ［３２］，ＮＢ［３３］であるとする。

図１２（ｂ）は、各ブロックのサイズを説明するための図である。

以下の説明では、図１２（ｂ）に示すように、処理対象ブロック３２１のサイズを縦Ｕ（２以上の整数）画素×横Ｕ画素とする。また、学習データ（学習高周波画像Ｐ１１、学習中周波画像Ｐ１２）および合成データ１７１のサイズを縦Ｖ（３以上の整数）画素×横Ｖ画素（Ｖ＞Ｕ）とする。すなわち、合成画像のサイズは、前記処理対象ブロックのサイズよりも大きい。

重複領域３２２のサイズは、当該重複領域３２２の外周のサイズである。重複領域３２２のサイズは、縦γＶ画素×横γＶ画素（γＶ≧Ｕ）である。

以下においては、ステップＳ１００６の処理により生成された合成データ１７１のうち仮拡大画像１２１に対し加算対象となる合成データを、加算対象合成データ１７１ａともいう。重複領域３２２のサイズは、加算対象合成データ１７１ａのサイズと等しい。加算対象合成データ１７１ａのサイズは、縦γＶ画素×横γＶ画素である。

重複領域３２２の幅は、ｗ（１以上の整数）画素である。重複領域３２２の幅は、例えば、（（γＶ−処理対象ブロックの一辺のサイズ）／２）の式により得られる値である。

例えば、ｗ＝２である場合、処理対象ブロック３２１の各隣接ブロックには、加算対象合成データ１７１ａの周縁部である２画素の幅の画像が加算される。

ここで、図１２（ａ）において、処理対象ブロック３２１は、ブロックＮＢ［２２］であるとする。この場合、処理対象ブロック３２１の隣接ブロックは、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［１３］，ＮＢ［２１］，ＮＢ［２３］，ＮＢ［３１］，ＮＢ［３２］，ＮＢ［３３］である。

次に、画像処理装置３００が行う、高解像度画像を生成するための処理（以下、高解像度画像生成処理Ｂともいう）について説明する。高解像度画像生成処理Ｂは、実施の形態２に係る画像処理方法である。

図１３は、高解像度画像生成処理Ｂのフローチャートである。図１３において、図４のステップ番号と同じステップ番号の処理は、第１の実施形態で説明した処理と同様な処理が行われるので詳細な説明は繰り返さない。そのため、図１３のステップＳ２００７，Ｓ２００８について主に説明する。

ステップＳ１００１〜ステップＳ１００６では、実施の形態１と同様な処理が行なわれる。

ステップＳ２００７では、重複領域算出部３１０が、エッジ強度ＥＮに基づき、処理対象ブロックに隣接するブロックＮＢ間の重複領域３２２のサイズを算出する。重複領域３２２のサイズの算出は、γＶの算出を意味する。すなわち、γＶは、重複領域３２２のサイズ（以下、領域サイズともいう）である。

図１２（ａ）、図１２（ｂ）に示すように、重複領域３２２のサイズは、合成データ１７１の加算対象合成データ１７１ａのうち、処理対象ブロック３２１のサイズより大きい。

本実施の形態では、実施の形態１の合成数ＧＮの制御と同様に、エッジ領域としての特性が強い処理対象ブロック３２１ほど、重複領域を大きくする。すなわち、処理対象ブロック３２１に対応するエッジ強度ＥＮが大きい程、重複領域３２２のサイズを大きくする。これにより、滑らかなエッジを実現する。よって、γをエッジ強度ＥＮに比例して増加させる。

具体的には、重複領域算出部３１０は、エッジ強度ＥＮを、以下の式５に代入することにより、γＶを算出する。

γＶ＝ｒｏｕｎｄ（Ｕ＋（Ｖ−Ｕ）×ＥＮ） …（式５）

式５において、Ｕは、処理対象ブロックの縦（横）のサイズである。また、Ｖは、合成データ１７１の縦または横のサイズである。

すなわち、重複領域算出部３１０は、エッジ強度ＥＮに基づいて、γＶを算出する。γＶは、合成画像（合成データ１７１）のサイズ以下であって、かつ、前記処理対象ブロックのサイズよりも大きい、複数の合成画像の少なくとも一部が重複して合成される重複領域のサイズである。言い換えれば、重複領域算出部３１０は、前記エッジ強度ＥＮが大きい程大きな領域サイズを算出し、前記エッジ強度ＥＮが小さい程小さな領域サイズを算出する。

なお、γＶは、上記式５に限定されず、他の式により算出されてもよい。また、γとエッジ強度の関係は比例関係に限定されず、ｎ次関数（ｎ≧１）、あるいは指数関数などの単調増加関数に従った関係でも良い。

そして、重複領域算出部３１０は、算出した重複領域３２２のサイズ（γＶ）を示す重複領域情報３１１を、加算部３２０へ送信する。

加算部３２０は、受信した重複領域情報３１１を、当該重複領域情報３１１に対応する処理対象ブロック３２１に対応づけて記憶する。ここで、一例として、処理対象ブロック３２１が、図１２（ａ）のブロックＮＢ［２２］であるとする。

この場合、重複領域情報３１１は、ブロックＮＢ［２２］に対応する情報である。この場合、加算部３２０は、受信した重複領域情報３１１を、当該重複領域情報３１１に対応するブロックＮＢ［２２］に対応づけて記憶する。

ステップＳ２００８では、重複領域処理が行われる。重複領域処理では、加算部３２０が、重複領域情報３１１が示す重複領域３２２のサイズ（γＶ）に基づき、合成データ１７１を仮拡大画像１２１に重み付け加算する。すなわち、加算部３２０は、領域サイズ（γＶ）に基づいて、仮拡大画像１２１に領域サイズの合成画像（加算対象合成データ１７１ａ）を重み付け加算する。言い換えれば、加算部３２０は、前記合成画像（合成データ１７１）のうち算出された前記領域サイズ（γＶ）の合成画像（加算対象合成データ１７１ａ）を、仮拡大画像１２１に加算する。

ここで、処理対象ブロック３２１は、図１２（ａ）のブロックＮＢ［２２］であるとする。この場合、加算部３２０は、ブロックＮＢ［２２］に隣接するブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［１３］，ＮＢ［２１］にそれぞれ対応する４個の重複領域情報３１１を用いて、処理を行う。すなわち、重複領域処理では、処理対象のブロックとして、シーケンシャルな順番における処理済ブロックが使用される。

具体的には、加算部３２０は、生成された合成データ１７１から、算出された最新の重複領域３２２のサイズ（γＶ）の加算対象合成データ１７１ａを切り出すことにより、当該加算対象合成データ１７１ａを生成する。当該算出された最新の重複領域３２２のサイズは、例えば、ブロックＮＢ［２２］に対応する重複領域情報３１１が示すサイズである。

以下においては、仮拡大画像１２１のうち、加算対象となる加算対象合成データ１７１ａの領域を加算対象領域ともいう。加算対象領域のサイズは、縦γＶ画素×横γＶ画素である。

そして、加算部３２０は、処理対象の４個の重複領域情報３１１の各々が示す重複領域３２２のサイズ（γＶ）により、加算対象領域内の各画素に、加算対象合成データ１７１ａが加算される数を算出する。

ここで、処理対象ブロック３２１のサイズは、縦１６画素×横１６画素であるとする。また、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［１３］，ＮＢ［２１］にそれぞれ対応する４個の重複領域情報３１１の各々が示す重複領域３２２のサイズ（γＶ）は、一例として、２０であるとする。

この場合、上記処理対象の４個の重複領域情報３１１の各々が示す重複領域３２２の幅は、（（γＶ−処理対象ブロックの一辺のサイズ）／２）より、２画素である。この場合、加算部３２０は、例えば、図１２（ａ）のブロックＮＢ［２２］の左上端の画素に加算される加算対象合成データ１７１ａの数は、３＋１より４と算出する。当該（３＋１）における３は、ブロックＮＢ［１１］，ＮＢ［１２］，ＮＢ［２１］にそれぞれ対応する３個の重複領域情報３１１にそれぞれ対応する加算対象合成データ１７１ａの数である。（３＋１）における１は、処理対象ブロックに対応する加算対象合成データ１７１ａの数である。なお、この場合、ブロックＮＢ［２２］の中心部の画素に加算される加算対象合成データ１７１ａの数は、１である。

以上のような処理と同様にして、加算部３２０は、加算対象領域内の各画素に、加算対象合成データ１７１ａが加算される数（以下、加算数ともいう）を算出する。

そして、加算部３２０は、加算対象領域内の各画素の加算数の逆数を、重み付け係数として算出する。なお、加算対象領域内の各画素には、当該画素に対応する重み付け係数が対応づけられる。

重み付け係数は、１／ｋ〜１の範囲の値である。ｋは、処理対象ブロックを含めた、重複領域処理に使用するブロックの数を示す。具体的には、ｋは、処理対象ブロック３２１に隣接する複数のブロックのうち、対応する重複領域情報３１１を使用した数に１を加算した値である。すなわち、加算対象領域内の各画素において、加算数が多い程、対応する重み付け係数は小さい値となる。例えば、ブロックＮＢ［２２］の左上端の画素の重み付け係数は、１／４である。

以下においては、加算対象合成データ１７１ａを構成する複数の画素にそれぞれ対応する、加算対象領域内の複数の画素の各々を、加算対象画素ともいう。

そして、加算部３２０は、加算対象合成データ１７１ａを構成する複数の画素の各々の画素値に対し、当該画素に対応する加算対象画素の重み付け係数を乗算した値を、当該加算対象画素の画素値に加算する。この処理により、重み付け加算が行われる。

なお、ステップＳ２００８の重複領域処理では、処理対象のブロックとして使用されるブロックは、シーケンシャルな順番における処理済ブロックに限定されない。

例えば、図１２（ａ）において、ブロックＮＢ［２２］が処理対象ブロック３２１であり、隣接ブロック８方向との重複情報を使用してもよい。この場合、重複領域３２２では、ブロック［１１］，ＮＢ［１２］，ＮＢ［１３］，ＮＢ［２１］，ＮＢ［２３］，ＮＢ［３１］，ＮＢ［３２］，ＮＢ［３３］の各々に対応する加算対象合成データ１７１ａとの重複を考慮する。

そのため、画素毎に加算時の重み付け係数が異なり、重み付け係数は、１／９〜１の範囲の値である。そして、この重み付け係数を、加算対象合成データ１７１ａの画素毎にそれぞれ乗算した後、仮拡大画像１２１に加算する。

この重み付け係数は、重複領域処理に使用する全てのブロックの重複領域情報が算出され次第確定する。そのため、重複領域処理に、図１２（ａ）に示される８方向の隣接ブロックを使用する場合は、ブロックＮＢ［３３］の重複領域情報３１１の算出後に、ブロックＮＢ［２２］に対応する加算対象合成データ１７１ａの加算処理を行う。

なお、重複領域処理に使用する隣接ブロックは前記８方向に限定されるものではない。例えば、図１２（ａ）におけるブロックＮＢ［１２］，ＮＢ［２１］，ＮＢ［２３］，ＮＢ［３２］の４方向でも良い。また、例えば、ブロックＮＢ［２２］から２つのブロックだけ離れたブロックと隣接ブロックの組合せでも良い。

また、加算対象合成データ１７１ａの加算に使用する領域は正方形に限定されるものではない。当該領域の形状は、処理対象ブロックサイズＵ×Ｕに対して、上下、あるいは左右に伸ばした長方形や、一方向のみに伸ばした非対称な形状でも良い。

なお、ステップＳ２００８では、重み付け加算でなく、実施の形態１のステップＳ１００７と同様に、単純な画素値の加算が行われてもよい。

本実施の形態におけるステップＳ１００２〜Ｓ２００８の処理が、仮拡大画像１２１内の全てのブロックＮＢに対し、繰り返し行われることにより、出力画像１０２が生成される。

以上説明したように、実施の形態２に係る画像処理装置３００は、入力画像を用いてエッジ強度ＥＮを算出する。これにより実施の形態１と同様な効果を奏する。すなわち、高精細でかつノイズの少ない高解像度な出力画像１０２を生成することができる。

また、入力画像１０１が動画像である場合も、実施の形態１と同様、動画像処理時のちらつきを抑えることができる。

また、さらに、重複領域を制御することにより、実施の形態１よりも、さらに、エラー無く安定した画質を実現しつつ、高品位な高解像度画像が生成できるという効果がある。

また、実施の形態２は、実施の形態１と同様な効果を奏する。すなわち、合成画像（加算対象合成データ１７１ａ）を用いて生成される出力画像１０２の画質劣化を抑制することができる。

（実施の形態２の変形例）
なお、エッジ強度ＥＮの算出には、実施の形態１の変形例と同様に、複数の学習高周波画像Ｐ１１（第１学習データ）から得られる第５特徴データが使用されても良い。

図１４は、実施の形態２の変形例に係る画像処理装置４００の構成を示すブロック図である。

図１４に示すように、画像処理装置４００は、図１１の画像処理装置３００と同じ構成要素を有する。各構成要素についての詳細な説明は繰り返さない。

画像処理装置４００は、画像処理装置３００と比較して、主に、エッジ強度算出部１５０が、入力画像１０１の代わりに学習高周波画像Ｐ１１（第１学習データ）を用いてエッジ強度ＥＮを算出する点が異なる。画像処理装置４００が行うそれ以外の処理は、画像処理装置３００と同様なので詳細な説明は繰り返さない。

実施の形態２の変形例におけるエッジ強度ＥＮの算出方法は、実施の形態１の変形例と同様なので詳細な説明は繰り返さない。実施の形態２の変形例では、簡単に説明すると、図１３の高解像度画像生成処理Ｂにおいて、ステップＳ１００３，Ｓ１００４の代わりに図１０のステップＳ１００３Ａ，Ｓ１００４Ａが行われる。

実施の形態２の変形例では、実施の形態２と同様な効果を奏する。すなわち、重複領域を制御することにより、よりエラー無く安定した画質を実現することができる。また、実施の形態２の変形例では、複数の学習高周波画像Ｐ１１（第１学習データ）を用いてエッジ強度ＥＮを算出する。すなわち、実際の合成対象の候補である複数の学習高周波画像Ｐ１１を用いてエッジ強度を算出する。そのため、実施の形態２の変形例では、入力画像１０１を用いる実施の形態２よりも、学習高周波画像Ｐ１１の特徴に即した合成データを生成することができる。そのため、実施の形態２よりも、さらに、精細感が高くノイズの少ない高解像度画像が生成できるという効果がある。

（実施の形態３）
次に、本発明の実施の形態３に係る画像処理装置５００の動作について説明する。

図１５は、本発明の実施の形態３に係る画像処理装置５００の構成を示すブロック図である。画像処理装置５００は、学習データを用いることなく、出力画像を生成する。

画像処理装置５００には、例えば、図示しない外部デコーダから、復号済みの動画像ＭＶ１０を受信する。動画像ＭＶ１０は、例えば、Ｈ．２６４／ＡＶＣ規格に従った復号により得られた動画像である。なお、動画像ＭＶ１０は、Ｈ．２６４／ＡＶＣ規格に限定されず、例えば、ＭＰＥＧ−２規格に従った復号により得られた動画像であってもよい。

動画像ＭＶ１０は、一例として、１つのＧＯＰ（Group Of Pictures）に対応する動画像であるとする。動画像ＭＶ１０は、複数のピクチャから構成される。画像処理装置５００は、動画像ＭＶ１０を構成するＱ（２以上の整数）枚のピクチャのうち、例えば、表示順で先頭のピクチャを、入力画像１０１として受信する。本実施の形態において、入力画像１０１は、静止画像である。本実施の形態では、Ｑは、一例として、１０であるとする。

詳細は後述するが、本実施の形態では、低解像度な入力画像１０１、および入力画像１０１との位置ずれを含む複数の低解像度参照画像５０１をブロック毎に位置合わせして、位置合わせ情報から補間画素値を推定し、出力画像１０２を生成する。

図１５に示すように、画像処理装置５００は、エッジ強度算出部５０５と、参照画像枚数算出部５１０と、位置合わせ処理部５２０と、高解像度画像生成部５３０とを備える。

エッジ強度算出部５０５は、詳細は後述するが、実施の形態１と同様の方法でエッジ強度ＥＮを算出する。参照画像枚数算出部５１０は、詳細は後述するが、入力画像１０１の処理対象ブロックがエッジ領域としての特性が強いほど、参照対象とする参照画像の枚数を増やす。また、参照画像枚数算出部５１０は、処理対象ブロックがテクスチャ領域としての特性が強いほど参照画像の枚数を減らす。以下においては、参照対象とする参照画像の枚数を、参照画像枚数ＲＮともいう。参照画像枚数算出部５１０は、エッジ強度に基づいて、参照画像枚数ＲＮを算出する。

位置合わせ処理部５２０は、例えば、図示しない外部デコーダから、Ｑ枚のピクチャから構成される動画像ＭＶ１０を受信する。位置合わせ処理部５２０は、詳細は後述するが、位置合わせ処理を行う。位置合わせ処理部５２０は、処理対象ブロックと参照画像枚数ＲＮの参照画像の位置合わせを行う。

次に、画像処理装置５００が行う処理（以下、高解像度画像生成処理Ｃともいう）について説明する。高解像度画像生成処理Ｃは、実施の形態３に係る画像処理方法である。

図１６は、実施の形態３に係る高解像度画像生成処理Ｃのフローチャートである。

入力画像１０１は、複数のブロックに分割される。以下においては、入力画像１０１を構成する複数のブロックのうち、処理対象となるブロックを、処理対象ブロックＰＢともいう。処理対象ブロックＰＢのサイズは、一例として、横８画素×縦８画素のサイズである。

ステップＳ３００１では、ステップＳ１００４の処理と同様な処理が行われるので詳細な説明は繰り返さない。以下、簡単に説明する。まず、エッジ強度算出部５０５が、入力画像１０１内の処理対象ブロックＰＢから、第４特徴データを抽出する。第４特徴データは、一例として、一次微分Ｓｏｂｅｌフィルタの出力値であるとする。

そして、エッジ強度算出部５０５は、ステップＳ１００４の処理と同様な処理により、エッジ強度ＥＮを算出する。そして、エッジ強度算出部１５０は、算出したエッジ強度ＥＮを、参照画像枚数算出部５１０へ送信する。

すなわち、ステップＳ３００１では、エッジ強度算出部５０５が、前記入力画像１０１の一部であるブロック画像（処理対象ブロックＰＢ）のエッジ強度ＥＮを算出することにより該エッジ強度ＥＮを取得する。言い換えれば、ステップＳ３００１では、エッジ強度算出部５０５が、前記入力画像１０１におけるエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。さらに、言い換えれば、ステップＳ３００１では、エッジ強度算出部５０５が、前記出力画像１０２の生成に用いられる合成画像の生成に必要なエッジ強度ＥＮを算出することにより、該エッジ強度ＥＮを取得する。

ステップＳ３００２では、参照画像枚数算出部５１０が、算出されたエッジ強度ＥＮに基づいて、受信するＱ枚のピクチャのうち、参照対象とするピクチャの数を算出する。以下においては、上記Ｑ枚のピクチャのうち、参照対象とするピクチャの数を、参照画像枚数ＲＮともいう。すなわち、参照画像枚数算出部５１０は、前記エッジ強度ＥＮに基づいて、前記出力画像の生成に用いられる合成画像の生成に使用する参照画像の数Ｊ（参照画像枚数ＲＮ）を算出する。

ここで、例えば、参照画像枚数ＲＮの上限値をＭａｘＲと表現し、参照枚数の下限値をＭｉｎＲと表現する。この場合、参照画像枚数算出部５１０は、エッジ強度ＥＮを用いて、参照画像枚数ＲＮを、以下の式６により算出する。

ＲＮ＝ｒｏｕｎｄ（ＭｉｎＲ＋（ＭａｘＲ−ＭｉｎＲ）×ＥＮ）…（式６）

式６において、ｒｏｕｎｄ（）は、式３と同様、最も近い整数への丸めを行う関数である。

すなわち、参照画像枚数算出部５１０は、エッジ強度ＥＮが大きい程、大きな値の参照画像枚数ＲＮを算出し、エッジ強度ＥＮが小さい程、小さな値の参照画像枚数ＲＮを算出する。

そして、参照画像枚数算出部５１０は、参照画像枚数ＲＮを、位置合わせ処理部５２０へ送信する。

ステップＳ３００３では、位置合わせ実行処理が行われる。位置合わせ実行処理では、位置合わせ処理部５２０が、前記入力画像１０１内の処理対象ブロックと、Ｊ（ＲＮ）枚の参照画像とを用いて位置合わせ処理を行う。ここで、Ｊ＝ＲＮである。

具体的には、まず、位置合わせ処理部５２０が、Ｑ枚のピクチャのうち、例えば、表示順で、１〜ＲＮ番目までのピクチャを、参照対象とする。すなわち、位置合わせ処理部５２０は、Ｑ枚のピクチャのうち、参照画像枚数ＲＮ枚のピクチャを参照対象とする。ここで、ＲＮ＝５であるとして、説明する。

図１７は、位置合わせ実行処理を説明するための図である。

図１７では、一例として、ピクチャＰＣ［１］，ＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］が示される。ピクチャＰＣ［１］〜ＰＣ［５］は、それぞれ、１〜５番目までのピクチャに対応する。

ピクチャＰＣ［１］は、入力画像１０１である。ピクチャＰＣ［１］には、処理対象ブロックＰＢが示される。

以下においては、ピクチャＰＣ［１］，ＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］の各々を、単に、ピクチャＰＣともいう。各ピクチャＰＣ内のブロックＲＢ［ｎ（整数）］は、処理対象ブロックＰＢに類似する参照ブロックである。また、以下においては、参照対象のピクチャを参照画像ともいう。

位置合わせ実行処理では、位置合わせ処理部５２０が、処理対象ブロックＰＢとピクチャＰＣ［２］，ＰＣ［３］，ＰＣ［４］，ＰＣ［５］とを用いて位置合わせ処理を行う。当該位置合わせ処理は、例えば、特許文献（特開２００７−３０５１１３号公報）に開示されているように、周知な技術であるので詳細な説明は行わない。

位置合わせ処理では、たとえば、各ピクチャＰＣ内のブロックＲＢ［ｎ］の座標が、処理対象ブロックＰＢの座標に設定される。すなわち、各ピクチャＰＣ内のブロックＲＢ［ｎ］が位置合わせされる。

位置合わせ処理部５２０は、当該位置合わせ処理により、処理対象ブロックＰＢに対する、各ピクチャＰＣ内のブロックＲＢ［ｎ］の位置ずれ量５２１を取得する。位置ずれ量５２１は、例えば、小数画素精度で示される。

そして、位置合わせ処理部５２０は、各ピクチャＰＣに対対応する位置ずれ量５２１と、各ピクチャＰＣ内のブロックＲＢ［ｎ］の各々が示すブロック画像５２２とを、高解像度画像生成部５３０へ送信する。また、高解像度画像生成部５３０は、処理対象ブロックＰＢも受信する。

ステップＳ３００４では、合成画像生成処理が行われる。合成画像生成処理では、高解像度画像生成部５３０が、前記位置合わせ処理により得られる位置ずれ量に基づいて、位置合わせされた、Ｊ（ＲＮ）枚の参照画像の各々のブロックを合成する処理を行うことにより合成画像を生成する。

合成画像は、処理対象ブロックＰＢを水平及び垂直方向にそれぞれＮ倍に拡大した拡大ブロックのサブピクセルの位置に、位置合わせされた、Ｊ（ＲＮ）枚の参照画素の各々のブロックの画素が配置された画像である。

言い換えれば、高解像度画像生成部５３０は、前記位置合わせ処理の実行により得られた位置ずれ量５２１と、処理対象ブロックと位置合わせされた、参照画像内のブロックが示すブロック画像５２２とを用いて、補間座標の画素値を推定する。ここで、補間座標とは、前記拡大ブロックのサブピクセルの座標である。

そして、高解像度画像生成部５３０は、拡大ブロックのサブピクセルの位置に、位置合わせされた各ブロック画像５２２の画素が配置されることにより高解像度ブロック（画像）としての合成画像を生成する。

高解像度画像としての当該合成画像の生成方法は、例えば、特許文献（特開２００７−３０５１１３号公報）に開示されているように、周知な技術であるので詳細な説明は行わない。

以上のステップＳ３００１〜Ｓ３００４の処理が、入力画像１０１内の全てのブロックに対して行われる。これにより、出力画像１０２が生成される。すなわち、ステップＳ３００４の処理が繰り返し行われることで、高解像度画像生成部５３０は、該合成画像を用いて出力画像１０２を生成する。

なお、入力画像１０１内の全てのブロックに限定されず、入力画像１０１内の指定されたブロックに対して、ステップＳ３００１〜Ｓ３００４の処理が行われてもよい。

以上説明したように、本実施の形態では、処理対象ブロックの特徴に応じて参照画像枚数を制御する。常に所定の数の参照画像でなく、エッジ強度ＥＮが大きい程、参照対象のピクチャ（参照画像）の数を増やす。これにより、常に所定の数の参照画像を使用する場合よりも、冗長な位置合わせ処理を削減しつつ、高品位な高解像度画像が生成できるという効果がある。

（実施の形態４）
さらに、前記各実施の形態およびその変形例で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、前記各実施の形態およびその変形例で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１８Ａ〜図１８Ｃは、前記各実施の形態およびその変形例の画像処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより当該画像処理方法を実施する場合の説明図である。

図１８Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。図１８Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、前記プログラムを格納したフレキシブルディスクＦＤでは、前記フレキシブルディスクＦＤ上に割り当てられた領域に、前記プログラムが記録されている。

また、図１８Ｃは、フレキシブルディスクＦＤに前記プログラムの記録再生を行うための構成を示す。画像処理方法を実現する前記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから前記プログラムをフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスクＦＤ内のプログラムにより画像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブＦＤＤによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓに転送する。

なお、前記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態５）
本発明の実施の形態５では、画像処理装置、画像処理方法、及び画像処理プログラムを用いたテレビジョン受像機８００を、図１９を用いて説明する。

テレビジョン受像機８００は、放送受信装置８０１と、入力選択装置８０２と、画像処理装置８０３と、パネル駆動装置８０４と、ディスプレイパネル８０５とを備える。図１９において、説明の都合上、各装置８０１から８０４はテレビジョン受像機８００の外部に配置しているが、実際はテレビジョン受像機８００の内部に配置されている。

画像処理装置８０３は、画像処理装置１００，２００，３００，４００，５００のいずれかに相当する。

放送受信装置８０１は、外部アンテナ（図示せず）から出力されるアンテナ出力信号８２１から放送電波を受信し、当該放送電波を復調した映像信号を放送映像信号８２２として出力する。

入力選択装置８０２は、ＤＶＤ或いはＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）レコーダ、又はＤＶＤ或いはＢＤプレイヤなどの外部映像機器から出力された外部映像信号８２０と、放送映像信号８２２とのうち、ユーザーによる選択に従っていずれか一方を選択する。そして、入力選択装置８０２は、選択した映像信号を入力映像信号８２３として出力する。

画像処理装置８０３は、入力映像信号８２３がインターレース信号の場合は、当該入力映像信号８２３をプログレッシブ信号に変換するＩ／Ｐ変換を施したり、入力映像信号８２３に対してコントラストを改善する画質改善処理を施したりする。

また、画像処理装置８０３は、上述した画像処理方法、又は、超解像処理プログラムを用いた画像処理を入力映像信号８２３に施す。そして、画像処理装置８０３は、その結果を画質改善映像信号８２４として出力する。

パネル駆動装置８０４は、画質改善映像信号８２４を、ディスプレイパネル８０５を駆動するための専用信号に変換し、変換後の信号をパネル駆動用映像信号８２５として出力する。

ディスプレイパネル８０５は、パネル駆動用映像信号８２５に従って電気信号を光信号に変換し、変換した光信号により所望の映像を表示する。

このように、上記実施の形態の画像処理装置、画像処理方法、及び画像処理プログラムをテレビジョン受像機８００に用いることが可能である。そして、当該テレビジョン受像機８００は、上記実施の形態で説明した効果を得ることができる。なお、上記実施の形態の画像処理装置、画像処理方法、及び画像処理プログラムは、テレビジョン受像機に限らず、同様にして、レコーダ機器、プレイヤ機器及び携帯機器などの様々なデジタル映像機器に用いることが可能であり、いずれの場合も上記実施の形態で説明した効果を得ることができる。

ここで、レコーダ機器とは、ＤＶＤレコーダ、ＢＤレコーダ、及びハードディスクレコーダ等である。プレイヤ機器とは、例えば、ＤＶＤプレイヤ、及びＢＤプレイヤ等である。携帯機器とは、携帯電話、及びＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等である。

（機能ブロック図）
図２０は、画像処理装置９００の特徴的な機能構成を示すブロック図である。画像処理装置９００は、画像処理装置１００，２００，３００，４００，５００のいずれかに相当する。つまり、図２０は、画像処理装置１００，２００，３００，４００，５００のいずれかの有する機能のうち、本発明に関わる主要な機能を示すブロック図である。

画像処理装置９００は、入力画像を用いて、該入力画像より解像度が高い出力画像を生成する。

画像処理装置９００は、機能的には、取得部９１０と、算出部９２０と、生成部９３０とを備える。

取得部９１０は、前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する。取得部９１０は、エッジ強度算出部１５０，５０５等に相当する。

算出部９２０は、前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する。算出部９２０は、合成数算出部１６０、参照画像枚数算出部５１０等に相当する。

生成部９３０は、算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を用いて前記出力画像を生成する。生成部９３０は、ステップＳ１００６，Ｓ１００７の処理を繰り返し行う合成部１７０および加算部１８０に相当する。また、生成部９３０は、ステップＳ１００７，Ｓ２００８の処理を繰り返し行う図１４の合成部１７０および加算部３２０にも相当する。また、生成部９３０は、ステップＳ３００４の処理を行う高解像度画像生成部５３０にも相当する。

なお、画像処理装置９００に含まれる、取得部９１０、算出部９２０および生成部９３０の全てまたは一部は、ＬＳＩ（Large Scale Integration：大規模集積回路）等のハードウエアで構成されてもよい。また、取得部９１０、算出部９２０および生成部９３０の全てまたは一部は、ＣＰＵ等のプロセッサにより実行されるプログラムのモジュールであってもよい。

また、画像処理装置９００は、集積回路であってもよい。

（その他の変形例）
以上、本発明に係る画像処理装置および画像処理方法について、前記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。

例えば、学習データベース１１０に格納される、学習高周波画像Ｐ１１（第１学習データ）のサイズと、当該学習高周波画像Ｐ１１に対応する学習中周波画像Ｐ１２（第２学習データ）のサイズとは異なっていてもよい。また、この場合、例えば、実施の形態１における第１学習データの探索（選択）は、仮拡大画像１２１の代わりに入力画像１０１を用いて行われてもよい。

また、例えば、本実施の形態における画像処理装置を備える光ディスク記録装置、動画像送信装置、デジタルテレビ放送送出装置、Ｗｅｂサーバ、通信装置、携帯情報端末等や、上記各実施の形態における画像処理装置を備える動画像受信装置、動画像記録装置、静止画記録装置、デジタルテレビ放送受信装置、通信装置、携帯情報端末等も、本発明に含まれるのは言うまでもない。ここで、動画像記録装置とはカムコーダやＷｅｂなどを含み、静止画記録装置とはデジタルスチルカメラなどを含む。

また、上記各実施形態で用いた全ての数値は、本発明を具体的に説明するための一例の数値である。すなわち、本発明は、上記実施形態で用いた各数値に制限されない。

また、本発明に係る画像処理方法は、図４の高解像度画像生成処理、図１０の高解像度画像生成処理Ａ、図１３の高解像度画像生成処理Ｂ、または、図１６の高解像度画像生成処理Ｃに相当する。本発明に係る画像処理方法は、図４、図１０、図１３または図１６における、対応する全てのステップを必ずしも含む必要はない。すなわち、本発明に係る奥行き画像処理方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。

また、画像処理方法における各ステップの実行される順序は、本発明を具体的に説明するための一例であり、上記以外の順序であってもよい。また、画像処理方法におけるステップの一部と、他のステップとは、互いに独立して並列に実行されてもよい。例えば、画像処理方法としての図４の高解像度画像生成処理において、ステップＳ１００２，Ｓ１００３の処理と、ステップＳ１００４，Ｓ１００５の処理とは、互いに独立して並列に実行されてもよい。

なお、画像処理装置１００〜５００の各機能パッチ（構成要素）の全てまたは一部は典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能パッチの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能パッチ（構成要素）のうち、検索対象となるデータを格納する部だけ１チップ化せずに別構成としても良い。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明に係る画像処理方法および画像処理装置は、より精細感の高い高解像度画像が生成でき、カムコーダやデジタルスチルカメラなどに有効である。

５０ 学習画像生成装置
１００，２００，３００，４００，５００，６００，８０３，９００ 画像処理装置
１０１，６０１ 入力画像
１０２，６０２ 出力画像
１１０，６１０ 学習データベース
１２０，６０５ 画像拡大部
１２１，６０６ 仮拡大画像
１３０ 特徴データ抽出部
１３１ 第１特徴データ
１４０ 学習データ検索部
１５０，５０５ エッジ強度算出部
１６０ 合成数算出部
１７０ 合成部
１７１ 合成データ
１８０，３２０，６８０ 加算部
３１０ 重複領域算出部
３２１ 処理対象ブロック
３２２ 重複領域
５１０ 参照画像枚数算出部
５２０ 位置合わせ処理部
５３０ 高解像度画像生成部
６２０ 探索ベクトル生成部
６２１ 探索ベクトル
６３０ 学習データ検索部
６３１ 高周波成分データ
８００ テレビジョン受像機

Claims (15)

1. 入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理方法であって、
   前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得ステップと、
   前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出ステップと、
   前記入力画像を拡大した拡大画像を生成する拡大ステップと、
   算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を前記拡大画像に加算することにより前記出力画像を生成する生成ステップとを備える
   画像処理方法。
2. 前記算出ステップでは、前記エッジ強度が大きい程大きな数Ｊを算出し、前記エッジ強度が小さい程小さな数Ｊを算出する
   請求項１に記載の画像処理方法。
3. 前記画像処理方法は、さらに、
   学習画像の高周波成分から得られた第１学習データと、前記学習画像の少なくとも低周波成分から得られた第２学習データとが対応づけられた学習データ群をＫ（２以上の整数）組格納する学習データベースにおいて、Ｋ個の第１学習データのうち、前記拡大画像内の処理対象ブロックの特徴を示す第１特徴データと類似するＬ（２≦Ｌ≦Ｋ）個の第２学習データにそれぞれ対応するＬ個の第１学習データを選択する選択ステップを備え、
   前記合成する処理において合成されるデータは、前記第１学習データであり、
   前記生成ステップでは、前記Ｌ個の第１学習データのうち、Ｊ（２≦Ｊ≦Ｌ）個の第１学習データを合成することにより前記合成画像を生成し、該合成画像を前記拡大画像に加算することにより、前記出力画像を生成する
   請求項１または２に記載の画像処理方法。
4. 前記画像処理方法は、さらに、
   前記処理対象ブロックから前記第１特徴データを抽出する抽出ステップを備える
   請求項３に記載の画像処理方法。
5. 前記選択ステップでは、前記第１特徴データと、前記Ｋ個の第２学習データの各々との類似度を算出し、前記第１特徴データに対して類似度が高い上位Ｌ個の第２学習データにそれぞれ対応する前記Ｌ個の第１学習データを選択する
   請求項３または４に記載の画像処理方法。
6. 前記合成画像のサイズは、前記処理対象ブロックのサイズよりも大きく、
   前記画像処理方法は、さらに、
   前記エッジ強度に基づいて、前記合成画像のサイズ以下であって、かつ、前記処理対象ブロックのサイズよりも大きい、複数の前記合成画像の少なくとも一部が重複して合成される重複領域のサイズである領域サイズを算出する重複領域算出ステップを備え、
   前記生成ステップでは、前記合成画像のうち算出された前記領域サイズの合成画像を、前記拡大画像に加算する
   請求項３〜５のいずれか１項に記載の画像処理方法。
7. 前記重複領域算出ステップでは、前記エッジ強度が大きい程大きな前記領域サイズを算出する
   請求項６に記載の画像処理方法。
8. 前記生成ステップでは、前記領域サイズに基づいて、前記拡大画像に前記領域サイズの合成画像を重み付け加算する
   請求項６または７に記載の画像処理方法。
9. 前記取得ステップでは、前記入力画像の一部であるブロック画像のエッジ強度を算出することにより該エッジ強度を取得し、
   前記処理対象ブロックは、前記ブロック画像を拡大した画像である
   請求項３〜８のいずれか１項に記載の画像処理方法。
10. 前記取得ステップでは、前記処理対象ブロックと、前記Ｌ個の第１学習データの各々との差分から得られる値に基づいて、前記エッジ強度を算出することにより該エッジ強度を取得する
    請求項３〜８のいずれか１項に記載の画像処理方法。
11. 前記第１特徴データは、前記処理対象ブロックの中周波成分の画像である
    請求項３〜８のいずれか１項に記載の画像処理方法。
12. 前記取得ステップでは、前記入力画像の一部であるブロック画像のエッジ強度を算出することにより該エッジ強度を取得し、
    前記算出ステップでは、前記エッジ強度に基づいて、前記合成画像の生成に必要な参照画像の数Ｊを算出し、
    前記画像処理方法は、さらに、
    前記入力画像内の処理対象ブロックと、Ｊ枚の前記参照画像とを用いて位置合わせ処理を行う位置合わせステップを備え、
    前記生成ステップでは、前記位置合わせ処理により得られる位置ずれ量に基づいて、位置合わせされた、前記Ｊ枚の参照画像の各々のブロックを合成する処理を行うことにより合成画像を生成し、該合成画像を前記拡大画像に加算することにより前記出力画像を生成する
    請求項１または２に記載の画像処理方法。
13. 入力画像を用いて、該入力画像より解像度が高い出力画像を生成する画像処理装置であって、
    前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得部と、
    前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出部と、
    前記入力画像を拡大した拡大画像を生成する拡大部と、
    算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を前記拡大画像に加算することにより前記出力画像を生成する生成部とを備える
    画像処理装置。
14. 入力画像を用いて、該入力画像より解像度が高い出力画像を生成する集積回路であって、
    前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得部と、
    前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出部と、
    前記入力画像を拡大した拡大画像を生成する拡大部と、
    算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を前記拡大画像に加算することにより前記出力画像を生成する生成部とを備える
    集積回路。
15. 画像処理装置が入力画像を用いて、該入力画像より解像度が高い出力画像を生成するためのプログラムであって、
    前記入力画像または該入力画像に対応する画像におけるエッジ強度を取得する取得ステップと、
    前記エッジ強度に基づいて、前記出力画像の生成に用いられる合成画像の生成に使用するデータの数Ｊ（２以上の整数）を算出する算出ステップと、
    前記入力画像を拡大した拡大画像を生成する拡大ステップと、
    算出されたＪ個のデータを合成する処理を行うことにより前記合成画像を生成し、該合成画像を前記拡大画像に加算することにより前記出力画像を生成する生成ステップとを前記画像処理装置のコンピュータに実行させる
    プログラム。

Images