JP4444354B2 - 画像処理装置、および画像処理方法 - Google Patents

Description

本発明は、映像を高解像度化する技術に関し、特に、映像の情報量やノイズ量等に応じて高解像度化する画像処理装置、画像処理方法に関するものである。

近年、ＰＣ（Personal Computer）とテレビジョンの融合が進み、ＳＤ（Standard Definition）サイズを超えた、ハイビジョン放送等のいわゆるＨＤ(High Definition)サイズの高解像度のディスプレイで映像を視聴する機会が増えている。

しかし、ＳＤテレビ放送される映像、あるいはＤＶＤに記録された映像等は解像度が低く、ユーザがＨＤサイズ（特に、１９２０×１０８０のいわゆるフルＨＤサイズ）の映像を視聴する場合には、その映像の画像を高解像度に変換する必要がある。この点、従来から、画像の画素値を線形内挿や３次畳み込み内挿することによって、画像を高解像度化することが行われていたが、鮮鋭な画像が得られないという問題があった。

そこで、このような問題を解決するために、画像を伸張すると同時に、当該伸張処理により生じた画像の画素と画素の間に高い周波数成分の画素を補間して、鮮鋭な高解像度の画像を得ることができる超解像度化技術の研究が行われている（例えば、特許文献１、特許文献２）。

特開２００８−０６７１１０号公報 特開２００８−１４６１９０号公報

超解像度化技術によれば、映像の鮮鋭感が増すので、シャープな映像・クリアな映像をユーザは楽しむことができる。しかしながら、上述した映像は、ＢＳ（Broadcasting Satellite）放送、ＣＳ（Communications Satellite）放送、あるいは地上波デジタル放送、地上波アナログ放送やインターネット等の様々な手段で提供され、提供される映像の情報量も多岐に亘り、そのノイズ量の大きさ等も様々である。従って、単に映像に対して一律に超解像度処理を施した場合、例えば、情報量の少ないＣＳ放送で提供される映像に含まれていたノイズが目立ってしまい、超解像度処理による映像の鮮明さが薄らいでしまうという問題があった。

また、従来から、映像を鮮鋭化する方法として、画像のエッジを立てることによって、映像を見かけ上鮮鋭にするシャープネス処理がある。このシャープネス処理は、映像の種類に応じて鮮鋭化することが行われているが、新たに高周波成分の画素を生成するという点で、超解像度化技術とシャープネス処理とは全く異なる技術であり、シャープネス処理で行われている鮮鋭化の処理と同様の手法によって鮮鋭化の度合いを調整することが困難であるという問題があった。

本発明は、上記に鑑みてなされたものであって、映像の情報量やノイズ量などに応じて適切に超解像度処理を行うことができる画像処理装置、画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度処理を行う高解像度化手段と、前記第１解像度の映像信号の、ビットレート量、ノイズ量又は前記第１解像度の映像信号が入力される端子の種類の少なくともいずれか一つの要素を検出する検出手段と、前記検出手段における前記要素の検出結果に応じて、前記高解像度化手段における前記超解像度処理の強さを変更するよう制御する制御手段と、を備えることを特徴とする。

また、本発明にかかる画像処理装置は、第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理の強さを示す超解像レベルと前記第１解像度の映像信号のビットレート量とを対応付けて記憶するレベル記憶手段と、前記第１解像度の映像信号のビットレート量を判定し、判定した前記ビットレート量に応じて前記超解像レベルを決定する判定手段と、前記第１解像度の映像信号に対して、決定した前記超解像レベルの前記超解像度変換処理を行う高解像度化手段と、を備えることを特徴とする。
また、本発明にかかる画像処理装置は、第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度処理を行う高解像度化手段と、前記第１解像度の映像信号の放送波の種類に応じて、前記高解像度化手段における前記超解像度処理の強さを示す超解像レベルを変更するよう制御する制御手段と、を備えることを特徴とする。

また、本発明にかかる画像処理装置は、第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度処理を行う高解像度化手段と、前記第１解像度の映像信号の、ビットレート量、ノイズ量又は前記第１解像度の映像信号が入力される端子の種類の少なくともいずれか一つの要素を検出する検出手段と、前記検出手段における前記要素の検出結果に応じて、前記高解像度化手段における前記超解像度処理の強さを変更するよう制御する制御手段と、を備えることを特徴とする。

また、本発明にかかる画像処理方法は、高解像度化手段が、第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度処理を行う高解像度化ステップと、検出手段が、前記第１解像度の映像信号の、ビットレート量、ノイズ量又は前記第１解像度の映像信号が入力される端子の種類の少なくもいずれか一つの要素を検出する検出ステップと、制御手段が、前記検出手段における前記要素の検出結果に応じて、前記高解像度化手段における前記超解像度処理の強さを変更するよう制御する制御ステップと、を含むことを特徴とする。

本発明によれば、映像の情報量やノイズ量などに応じて超解像度処理のレベルを決定するので、映像に対して適切に超解像度処理を行うことができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理装置および画像処理方法の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本実施形態に係る画像表示装置１００のシステムを概略的に示したブロック図である。同図に示したように、画像表示装置１００は、映像信号入力部１１と、メイン処理部１２と、画像処理装置に対応する高解像度化部１３と、動画改善処理部１４と、表示処理部１５と、表示部１６と、音声処理部１７と、音声出力部１８とを備えている。

映像信号入力部１１は、表示の対象となる映像信号が入力される部位であって、デジタル放送受信部１１１と、ＩＰＴＶ（インターネットプロコトルＴＶ）信号処理部１１２と、インターネット等のＩＰ網を介して送信されるデータを受信するインターネット信号処理部１１３と、アナログ信号の入力を受け付ける外部入力部１１４とを備えている。ここで「映像信号」とは、静止画像や動画像からなる画像信号の他、音声信号をも含む概念である。

尚、映像信号には、その映像が提供される形態の種類(例えば、放送波の場合には、映像信号の送信量である情報量が異なるＢＳ放送、ＣＳ放送、地上波デジタル放送、地上波アナログ放送等の放送波の種類、あるいは映像信号のビットレートの大きさ、ＨＤＭＩ(High-Definition Multimedia Interface)等の外部接続されたＤＶＤ等の媒体の再生機器やゲーム機とのインタフェースの規格情報等)を示すソースコード（例えば、ＢＳ放送であれば「１」、ＣＳ放送であれば「２」、地上波デジタル放送であれば「３」、地上波アナログ放送であれば「４」、ＨＤＭＩであれば「Ｈ」等。また、情報量が映像信号の送信量である場合には、ｂｙｔｅやｂｐｓの数値の大きさ）が含まれている。尚、これらのソースコードは上述した各数値によって簡略化して説明するものとし、以下では、放送波の種類を例に説明している。

デジタル放送受信部１１１は、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのデジタルアンテナ１１１１と、デジタル放送を選局するためのデジタルチューナ１１１２と、デジタル放送を復調しデジタルの映像信号としてメイン処理部１２に出力するデジタル信号復調部１１１３とを有している。

ＩＰＴＶ信号処理部１１２は、専用のＩＰ網を介して送信されるＩＰ放送を受信し、デジタルの映像信号としてメイン処理部１２に出力する。

インターネット信号処理部１１３は、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信し、デジタルの映像信号としてメイン処理部１２に出力する。

外部入力部１１４は、アナログ放送を受信するためのアナログアンテナ１１４１と、アナログ放送を選局するためのアナログチューナ１１４２と、アナログ信号にＡ／Ｄ変換等の信号処理を施し、デジタルの映像信号としてメイン処理部１２に出力する外部入力信号処理部１１４３とを有している。なお、外部入力信号処理部１１４３は、ゲーム機やＰＣ（Personal Computer）、ＤＶＤ（Digital Versatile Disk）プレーヤ等の外部機器と接続するための端子を有し（図示せず）、当該入力端子を介して外部機器から入力されるアナログ信号に対しても信号処理を施すものとする。

図２は、メイン処理部１２の機能的構成を示すブロック図である。図２に示すように、メイン処理部１２は、操作受信部１２１と、ソース判断部１２２と、制御部１２３と、フラッシュメモリ１９とを有している。

操作受信部１２１は、後述するように、操作部２００であるリモコンから指定された放送波の種類等の選択する旨の信号(以下、選択信号と呼ぶ。)を受信し、受信した選択信号に応じたソースコードを後述するソース判断部１２２に出力する。

具体的には、ユーザは、操作部２００の放送波を切り替えるチャンネルボタン等（不図示）を押下することによって、図３に示すように、放送波の種類やチャンネル（図３では、ＢＳデジタル放送の１チャンネルが選択された例を示している。）、外部接続機器（例えば、ＤＶＤやゲーム機）の再生画面等を選択する。操作受信部１２１は、このとき出力される選択信号を受信し、ソース判断部１２２に出力する。

上述した各種のソースコードは、後述するように、制御部１２３において映像信号から分離された画像信号に対して行う超解像度処理のレベルを示す超解像度パラメータに対応づけられており、これらの各種のソースコードの種類をユーザが指定することによって、あるいは後述するように、ソース判断部１２２が映像信号に含まれるソースコードの種類を自動的に識別することによって、ソースコードに応じた超解像度処理が行われる。

図２に戻り、ソース判断部１２２は、デジタル信号復調部１１１３、ＩＰＴＶ信号処理部１１２、インターネット信号処理部１１３、外部入力部１１４からの映像信号を受信すると、その映像信号に含まれるソースコードの種類を判断し、判断したソースコードの種類を、映像信号入力部１１から受信した映像信号とともに後述する制御部１２３に出力する。

ソース判断部１２２は、さらに、操作受信部１２１が操作部２００から指定されたソースコードを受信しているか否かを判断し、操作部２００から指定されたソースコードを受信していると判断した場合には、指定されたソースコードの種類を制御部１２３に出力するとともに、フラッシュメモリ１９に書き込む。

制御部１２３は、ソース判断部１２２がソースコードを判断した後、映像信号を画像信号と音声信号とに分離し、所定の画像処理を施した画像信号を高解像度化部１３に出力するとともに、音声信号を音声処理部１７に出力する。また、画像信号と共に、ソース判断部１２２から受け取ったソースコードの種類を示す識別信号を、後述する高解像度化部１３に送信する。

ここで、制御部１２３が施す画像処理としては、入力された画像信号の解像度を所定の解像度（例えば、１２８０×７２０等）に変換するスケーリング処理等が挙げられる。

フラッシュメモリ１９は、上述したように、操作受信部１２１が操作部２００からソースコードを受信した場合のソースコードの種類を記憶する。続いて、高解像度化部１３について説明する。

図４は、図１に示す高解像度化部１３の機能構成を示すブロック図である。図４に示すように、高解像度化部１３は、前処理部１３１と、超解像度変換処理部１３２と、後処理部１３３と、ＥＥＰＲＯＭメモリ２０とを備えている。

前処理部１３１は、メイン処理部１２から入力された画像信号に対し、インターレース・プログレッシブ変換処理や、ノイズを除去するノイズリダクション処理等の画像処理（以下、前処理と呼ぶ。）を施し、処理済みの映像信号を超解像度変換処理部１３２に出力する。また、前処理部１３１は、メイン処理部１２から受信したソースコードの種類を、後述する超解像度変換処理部１３２に出力する。なお、上記ソースコードに関する識別信号は、メイン処理部１２から前処理部１３１を通らずに超解像度処理部１３２に入力されてもよい。

具体的には、前処理部１３１は、インターレース・プログレッシブ変換処理として、入力された画像信号における画像の動きを検出して静止画と動画とを判定し、静止画と判定したときには静止画用の補間処理を行い、動画と判定したときには動画用の補間処理を行う。

また、前処理部１３１は、ノイズリダクション処理として、画像信号における画像の輪郭補整や、画像ボケやギラツキ感の低減、過度なイコライジング（高域強調）を抑える補正、水平方向にカメラが移動する際のブレ改善等の処理を行う。

超解像度変換処理部１３２は、前処理部１３１から入力される低解像度フレームを、高解像度化するための画像処理（以下、「超解像度変換処理」という。）を施して、ＨＤサイズの高解像度の動画データのフレーム（以下、「高解像度フレーム」という。）を生成し、後処理部１３３に出力する。

ここで、超解像度変換処理とは、第１解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号を復元する鮮鋭化処理を意味する。ここで、本来の画素値とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）の画像信号の画素数を持つカメラで撮像したときに得られる画像信号の各画素が持つ値を指す。

また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（同一フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施の形態の超解像度変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。

例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。

また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像信号から取得された画素値に基づいて、画像信号に含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像度変換処理部１３３は、このような処理を行うことにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。

また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。

ただし、超解像度変換処理部１３２における超解像度変換処理の手法は、上記に限定されるものではなく、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であれば、あらゆる手法を適用することができる。

また、超解像度変換処理部１３２は、前処理部１３１がノイズリダクション処理等を行った後の画像信号、およびソースコードの種類を示す識別信号を受け取ると、後述するＥＥＰＲＯＭメモリ２０から、そのソースコードの種類に対応する超解像度パラメータを取得する。

図５は、ＥＥＰＲＯＭメモリ２０が記憶するパラメータの例を示す図である。図５に示すように、ＥＥＰＲＯＭメモリ２０には、ソースコードおよびその種類と、超解像度パラメータとが対応付けて記憶されている。

ここで、超解像度パラメータとは、超解像度変換処理の強さを数値で表現したものである。例えば、画素間に挿入する高周波成分の画素数、挿入対象となる画素に対する高周波成分の画素の割合が高い、すなわち超解像度パラメータの数値が大きいほど鮮鋭化のゲインが高く、超解像度変換処理が強くなることを示すものであり、超解像度処理の手法に応じて適宜設定することができる。図５に示す超解像度パラメータは、全ての画素に対して超解像度処理を行う場合を１００として、全体の画素数に対して画素間に挿入する高周波成分の画素の割合を示している。このように、超解像度処理を行う指標をパラメータ形式で記憶することによって、超解像度処理の基準に仕様変更が生じた場合であっても、容易にかつ迅速にその仕様変更に対応することができる。

また、超解像度変換処理部１３２は、取得した超解像度パラメータに従って、上述した超解像度処理を行い、超解像度処理を行った画像信号を後述する後処理部１３３に出力する。

具体的には、超解像度変換処理部１３２は、例えば、前処理部１３１から受け取ったソースコードの種類が「１」（すなわちＣＳ放送）である場合には、図５に示すように、超解像度パラメータとして「１０」を取得し、取得したパラメータに従って、上述した超解像度処理を行う。

なお、ＣＳ放送の場合は、ＢＳ放送に比べて超解像度パラメータの値が小さく設定されているが、その理由は、ＣＳ放送の場合はＢＳ放送に比べて情報量が少なく、強度な超解像度処理を行うと、その超解像度処理による画像の鮮明化の効果に比して、ノイズの増加が大きく、超解像度処理による鮮明な映像を効果的に得られないためである。また、外部接続された機器から提供される映像信号には、放送波の通信によって提供される映像信号に比べてノイズが少ないため、超解像度パラメータの値を小さく設定している。このように、図５に示す超解像パラメータは放送波の種類、すなわち情報量の多寡に応じて設定されている。尚、上述した超解像度パラメータの値の設定は、ユーザによって任意に設定できるものとする。続いて、後処理部１３３について説明する。

後処理部１３３は、超解像度変換処理部１３２から入力される画像信号に対し、ガンマ補正やホワイトバランス調整等の画像補正処理（以下、後処理と呼ぶ。）を施し、動画改善処理部１４に出力する。続いて、図１に戻り、動画改善処理部１４について説明する。

動画改善処理部１４は、後処理部１３３から受け取った画像信号に対して、倍速処理を行う。具体的には、６０ｆｐｓ（Frame Per Second）で送信される映像信号を１２０ｆｐｓにフレームレート変換する処理を行うことにより、横、縦、斜め方向や回転する被写体など動きのある部分の映像ブレを低減し、ノイズも効果的に抑えて、流れるテロップや動きの速いスポーツシーンがくっきりと表示される。そして、フレームレート変換された画像信号を表示処理部１５に出力する。

なお、補間処理の方法としては、特開２００８−３５４０４号公報に記載されたブロックマッチング法による動きベクトル検出に基づいた補間生成処理方法等、一般的に行われているフレーム画像の補間方法に従って補間フレーム画像を生成し、補間することも可能である。さらに、補間フレーム画像の枚数についても任意に定めることができる。

表示処理部１５は、画像信号を表示部１６に出力するためのドライバ等から構成され、動画改善処理部１４から受け取った画像信号を表示部１６に表示させる。

表示部１６は、ＬＣＤ（Liquid Crystal Display）、プラズマパネル、ＳＥＤ（Surface-conduction Electron-emitter Display）パネル等のディスプレイから構成され、表示処理部１５からの制御を受けた画像信号を表示する。

操作部２００は、リモートコントローラ等の遠隔操作装置から構成され、ユーザがチャンネル選択ボタン（不図示）を押下した場合に、その選択信号をメイン処理部１２に送信する。

続いて、上述した画像表示装置１００で行われる実行処理について説明する。

図６は、画像表示装置１００が、映像信号を受信し、放送波等の種類に応じて超解像度変換処理を行う場合の処理手順を示すフローチャートである。

本図に示すように、メイン処理部１２のソース判断部１２２は、操作受信部１２１が操作部２００から選択信号を受信しているか否かを判断する（ステップＳ６０１）。

ソース判断部１２２が、操作受信部１２１が操作部２００から選択信号を受信していると判定した場合には（ステップＳ６０１；Ｙｅｓ）、選択信号に対応するソースコードを取得してフラッシュメモリ１９に記憶させる（ステップＳ６０２）。

一方、操作受信部１２１が操作部２００から選択信号を受信していないと判定した場合には（ステップＳ６０１；Ｎｏ）、画像信号に含まれるソースコードを取得する（ステップＳ６０３）。

その後、ソース判断部１２２は、ステップＳ６０２またはステップＳ６０３で取得したソースコードと共に、画像信号を高解像度化部１３に送信する（ステップＳ６０４）。

高解像度化部１３の前処理部１３１は、ソース判断部１２２から画像信号を受け取ると、インターレース・プログレッシブ変換処理やノイズリダクション処理等の画像処理を行い、メイン処理部１２から受け取ったソースコードとともに、画像信号を超解像度変換処理部１３２に出力する（ステップＳ６０５）。

超解像度変換処理部１３２は、前処理部１３１からソースコードおよび画像信号を受け取ると、受け取ったソースコードに対応する超解像度パラメータを、ＥＥＰＲＯＭ２０から取得する（ステップＳ６０６）。

そして、超解像度変換処理部１３２は、取得した超解像度パラメータの値に応じた超解像度処理を画像信号に対して行う（ステップＳ６０７）。その後、超解像度変換処理部１３２は、超解像度処理を行った画像信号を後処理部１３３に出力し、後処理部１３３は、ガンマ補正等の補正処理を行い、動画改善処理部１４に出力する（ステップＳ６０８）。以降、表示処理部１５を介して画像信号が表示部１６に表示される。

このように、メイン処理部１２のソース判断部１２２が、映像の情報量の多寡を判定し、判定した種類に応じて超解像度処理のレベルを決定した上で映像を超解像度化するので、映像に対して適切に超解像度化処理を行うことができる。

なお、上述した実施の形態では、提供される映像信号の情報量として、ユーザが操作部２００から指定した放送波の種類に応じて超解像度パラメータを取得したが、例えば図７に示すような番組情報の中から番組を選択し、その番組のジャンル情報（例えば、映画、スポーツ等）に応じて超解像度パラメータを取得することも可能である。この場合、ジャンル情報を含めた番組情報は放送局からの放送信号に重畳されて送信される。

（第２の実施の形態）
上述した第１の実施の形態においては、外部から受信した映像信号の情報量の多寡に応じて、例えば、放送波の種類を例にとり説明したが、受信する放送波の種類によって、その放送波に含まれるノイズ量も変化する。このような場合、ノイズ量が多いにもかかわらず、超解像度変換処理を強くかけてしまうと、逆にそのノイズが目立ってしまう場合も存在する。そこで、放送波の種類等の情報量に代えて、映像信号に含まれるノイズ量に応じて超解像度変換処理を行う場合について説明する。

図８は、第２の実施の形態に係る画像表示装置２００（不図示）のメイン処理部８２の構成を示すブロック図である。第２の実施の形態にかかる画像表示装置２００のメイン処理部８２は、ソース判断部１２２に代えて、ノイズ量検出部８２２を備えている点で第１の実施の形態にかかるメイン処理部１２とは異なっている。以下の説明では、上述した第１の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。

ノイズ量検出部８２２は、デジタル信号復調部１１１３、ＩＰＴＶ信号処理部１１２、インターネット信号処理部１１３、外部入力部１１４からの映像信号を受信すると、その映像信号に含まれるノイズ量を検出し、検出したノイズ量を、映像信号入力部１１から受信した映像信号とともに後述する制御部１２３に出力する。その後、制御部１２３を介して、映像信号とノイズ量を出力する。そして、超解像度変換処理部１３２は、図９に示すように、ＥＥＰＲＯＭ２０にノイズ量に対応付けて記憶された超解像度パラメータを取得し、取得した超解像度パラメータに従って、超解像度処理を行う。その後、第１の実施の形態と同様に、後処理や動画改善等の各処理が行われる。

図９に示すように、ノイズ量と超解像度パラメータとは、ノイズ量が多いほど超解像度を弱くかけるように、ノイズ量が少ないほど超解像度を強くかけるように対応付けられている。これは、ノイズ量が多い場合には、超解像度変換処理による画像の鮮鋭化に比して、ノイズが目立ってしまうからであり、上述した対応関係に従ってノイズ量と超解像度パラメータとを記憶することによって、ノイズ量に応じて適切に超解像度変換処理を行うことができる。

なお、たとえノイズ量が多い映像信号を受信した場合であっても、ノイズリダクション処理で十分にノイズ量を除去し、その除去後の映像信号のノイズ量を検出して、超解像度処理を強くかけることも可能である。

続いて、第２の実施の形態における画像表示装置２００で行われる実行処理について、図１０を参照しながら説明する。なお、第１の実施の形態にかかる処理と同じ処理内容についてはその説明を省略している。

まず、ノイズ量検出部８２２が、受信した画像信号のノイズ量を検出し（ステップＳ１００１）、受信した画像信号とノイズ量を高解像度化部１３２に送信する（ステップＳ１００２）。なお、ノイズリダクション処理後にノイズ量を検出してもよいことは既に述べたとおりである。

高解像度化部１３の前処理部１３１は、ソース判断部１２２から画像信号を受け取ると、インターレース・プログレッシブ変換処理等の画像処理を行い、メイン処理部１２から受け取ったノイズ量と画像信号を超解像度変換処理部１３２に出力する（ステップＳ１００３）。

超解像度変換処理部１３２は、前処理部１３１からノイズ量および画像信号を受け取ると、受け取ったノイズ量に対応する超解像度パラメータを、ＥＥＰＲＯＭ２０から取得する（ステップＳ１００４）。

そして、超解像度変換処理部１３２は、取得した超解像度パラメータの値に応じた超解像度処理を画像信号に対して行う（ステップＳ１００５）。その後、第１の実施の形態と同様に後処理を行い（ステップＳ１００６）。以降、表示処理部１５を介して画像信号が表示部１６に表示される。

このように、メイン処理部１２のノイズ量検出８２２が、映像信号のノイズ量を検出し、検出したノイズ量の多寡に応じて超解像度処理のレベルを決定した上で映像を超解像度化するので、映像に対して適切に超解像度化処理を行うことができる。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

例えば、ソース判断部１２２やノイズ量検出部８２２に代えて、映像信号が入力される外部入力端子の種類（Ｄ端子、ＨＤＭＩ端子、アナログ端子など）を検出する端子検出部を設け、その検出結果に応じて超解像度処理の程度を変えてもよい。

さらに、ソース判断部１２２やノイズ量検出部８２２に代えて、入力される映像信号の解像度を情報量として検出する解像度検出部を設け、その検出結果に応じて超解像度処理の程度を変えることも可能である。この場合、解像度の情報は、例えば、放送信号に含まれているものとする。このように、本実施形態では、情報量やノイズ量や端子の種類など、広い意味で入力ソースの違いに基づいて、超解像度処理の程度を変えることができる。

また、本実施の形態では、本発明の画像処理装置を、表示部１６、表示処理部１５、音声出力部１８および音声処理部１７を有するデジタルＴＶ等の画像表示装置１００に適用した例をあげて説明したが、表示部１６、表示処理部１５、音声出力部１８および音声処理部１７を有さない、例えば、チューナやセットトップボックス等にも本発明の画像処理装置を適用することができる。

以上のように、本発明にかかる画像処理装置、画像処理方法は、映像を高解像度化する際に有用であり、特に、映像の情報量やノイズ量等に応じて超解像度処理する技術に適している。

第１の実施の形態にかかる画像表示装置の構成を示すブロック図である。 図１に示すメイン処理部の構成を示すブロック図である。 操作部の操作によって表示部に表示される放送波の種類の例を示す図である。 図１に示す高解像度化部の構成を示すブロック図である。 ＥＥＰＲＯＭメモリが超解像度パラメータとソースコードを対応付けて記憶する例を示す図である。 第１の実施の形態にかかる超解像度処理をソースコードの種類に応じて行う場合の実行手順を示すフローチャートである。 超解像度処理を番組情報に従って行う場合の番組指定画面の例を示す図である。 第２の実施の形態にかかる画像表示装置の構成を示すブロック図である。 図８に示すメイン処理部の構成を示すブロック図である。 第１の実施の形態にかかる超解像度処理をノイズ量に応じて行う場合の実行手順を示すフローチャートである。

符号の説明

１００ ２００ 画像表示装置
１１ 映像信号入力部
１２ メイン処理部
１３ 高解像度化部
１４ 動画改善処理部
１５ 表示処理部
１６ 表示部
１７ 音声処理部
１８ 音声出力部
１９ フラッシュメモリ
２０ ＥＥＰＲＯＭメモリ
１１１ デジタル放送受信部
１１２ 信号処理部
１１３ インターネット信号処理部
１１４ 外部入力部
１２１ 操作受信部
１２２ ソース判断部
１２３ 制御部
１３１ 前処理部
１３２ 超解像度変換処理部
１３３ 後処理部
２００ 操作部（リモート・コントローラ）
１１１１ デジタルアンテナ
１１１２ デジタルチューナ
１１１３ デジタル信号復調部
１１４１ アナログアンテナ
１１４２ アナログチューナ
１１４３ 外部入力信号処理部

Claims (13)

1. 第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度処理を行う高解像度化手段と、
   前記第１解像度の映像信号の、ビットレート量、ノイズ量又は前記第１解像度の映像信号が入力される端子の種類の少なくともいずれか一つの要素を検出する検出手段と、
   前記検出手段における前記要素の検出結果に応じて、前記高解像度化手段における前記超解像度処理の強さを変更するよう制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理の強さを示す超解像レベルと前記第１解像度の映像信号のビットレート量とを対応付けて記憶するレベル記憶手段と、
   前記第１解像度の映像信号のビットレート量を判定し、判定した前記ビットレート量に応じて前記超解像レベルを決定する判定手段と、
   前記第１解像度の映像信号に対して、決定した前記超解像レベルの前記超解像度変換処理を行う高解像度化手段と、
   を備えることを特徴とする画像処理装置。
3. ユーザの操作により、前記ビットレート量の指定を受け付ける指定受付手段をさらに備え、
   前記判定手段は、指定された前記ビットレート量に応じた前記超解像レベルを決定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 放送波または通信回線を介して前記第１解像度の映像信号を受信し、または外部接続された情報機器から前記第１解像度の映像信号を受信する受信手段をさらに備え、
   前記判定手段は、受信した前記第１解像度の映像信号のビットレート量を判定し、判定した前記ビットレート量に応じて前記超解像レベルを決定する、
   ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記ビットレート量は、放送波によって提供される前記第１解像度の映像信号のデータ量であり、
   前記判定手段は、前記放送波の種類に応じた前記超解像レベルを決定する、
   ことを特徴とする請求項２〜４のいずれか１項に記載の画像処理装置。
6. 前記超解像レベルは、前記超解像度変換処理における、挿入対象となる画素に対する高周波成分の画素の割合を示すことを特徴とする請求項２〜５のいずれか１項に記載の画像処理装置。
7. 前記レベル記憶手段は、前記ビットレート量が小さいほど前記超解像レベルが小さくなるように、前記ビットレート量と前記超解像レベルと対応付けて記憶する、
   ことを特徴とする請求項２〜６のいずれか１項に記載の画像処理装置。
8. 第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度処理を行う高解像度化手段と、
   前記第１解像度の映像信号の放送波の種類に応じて、前記高解像度化手段における前記超解像度処理の強さを示す超解像レベルを変更するよう制御する制御手段と、
   を備えることを特徴とする画像処理装置。
9. ユーザの操作により、前記放送波の種類の指定を受け付ける指定受付手段をさらに備え、
   前記制御手段は、指定された前記放送波の種類に応じた超解像レベルに変更するよう制御する、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記放送波の種類は、ＢＳ放送、ＣＳ放送、地上波デジタル放送、地上波アナログ放送のいずれかを含むことを特徴とする請求項８または９に記載の画像処理装置。
11. 前記第２解像度の画像データを表示する表示手段、
    をさらに備えたことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度処理を行う高解像度化手段と、
    前記第１解像度の映像信号の、ビットレート量、ノイズ量又は前記第１解像度の映像信号が入力される端子の種類の少なくともいずれか一つの要素を検出する検出手段と、
    前記検出手段における前記要素の検出結果に応じて、前記高解像度化手段における前記超解像度処理の強さを変更するよう制御する制御手段と、
    を備えることを特徴とする画像処理装置。
13. 高解像度化手段が、第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度処理を行う高解像度化ステップと、
    検出手段が、前記第１解像度の映像信号の、ビットレート量、ノイズ量又は前記第１解像度の映像信号が入力される端子の種類の少なくもいずれか一つの要素を検出する検出ステップと、
    制御手段が、前記検出手段における前記要素の検出結果に応じて、前記高解像度化手段における前記超解像度処理の強さを変更するよう制御する制御ステップと、
    を含むことを特徴とする画像処理方法。

Images