JP2010041336A - 画像処理装置、および画像処理方法 - Google Patents

Abstract

【課題】映像モードに応じて適切に超解像度処理された映像を提供できる画像処理装置、画像処理方法を提供する。
【解決手段】第１解像度の映像信号が入力され、第１の映像信号から本来の画素値を推定して画素を増やすことにより、第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理の強さを示す超解像レベルと第２解像度の映像信号を表示するモードを示す映像モードとを対応付けて記憶するレベル記憶手段と、映像モードを判定し、判定した映像モードに応じて超解像レベルを決定する映像判断手段と、第１解像度の映像信号に対して、決定した超解像レベルの超解像度変換処理を行う高解像度化手段と、を備える。
【選択図】 図１

Description

本発明は、映像を高解像度化する技術に関し、特に、映像モードに応じて高解像度化する画像処理装置、画像処理方法に関するものである。

近年、ＰＣ（Personal Computer）とテレビジョンの融合が進み、ＳＤ（Standard Definition）サイズを超えた、ハイビジョン放送等のいわゆるＨＤ(High Definition)サイズの高解像度のディスプレイで様々な映像（例えば、サッカー等のスポーツ番組、アニメや洋画等の映画番組等）を視聴する機会が増えている。

しかし、ＳＤテレビ放送される映像、あるいはＤＶＤに記録された映像等は解像度が低く、ユーザがＨＤサイズ（特に、１９２０×１０８０のいわゆるフルＨＤサイズ）の映像を視聴する場合には、その映像の画像を高解像度に変換する必要がある。この点、従来から、画像の画素値を線形内挿や３次畳み込み内挿することによって、画像を高解像度化することが行われていたが、鮮鋭な画像が得られないという問題があった。

そこで、このような問題を解決するために、画像を伸張すると同時に、当該伸張処理により生じた画像の画素と画素の間に高い周波数成分の画素を補間して、鮮鋭な高解像度の画像を得ることができる超解像度化技術の研究が行われている（例えば、特許文献１、特許文献２）。

特開２００８−０６７１１０号公報 特開２００８−１４６１９０号公報

超解像度化技術によれば、映像の鮮鋭感が増すので、シャープな映像・クリアな映像をユーザは楽しむことができる。
しかしながら、超解像度化技術によって画像を鮮鋭化した場合、画素のブロックノイズが目立ち過ぎてしまったり、あるいは背景と人物の遠近感が不自然に映ってしまうという問題が生じ得た。

また、従来から、画像を鮮鋭化する方法として、画像のエッジを立てることによって、映像を見かけ上鮮鋭にするシャープネス処理がある。しかしながら、超解像度化技術は、新たに高周波成分の画素を生成するという点で、シャープネス処理とは全く異なる技術であり、シャープネス処理で行われている鮮鋭化の処理と同様の手法によって鮮鋭化の度合いを調整することが困難であるという問題があった。

本発明は、上記に鑑みてなされたものであって、適切に超解像度処理された映像を提供できる画像処理装置、画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理の強さを示す超解像レベルと前記第２解像度の映像信号を表示するモードを示す映像モードとを対応付けて記憶するレベル記憶手段と、前記映像モードを判定し、判定した前記映像モードに応じて前記超解像レベルを決定する映像判断手段と、前記第１解像度の映像信号に対して、決定した前記超解像レベルの前記超解像度変換処理を行う高解像度化手段と、を備えることを特徴とする。

また、本発明に係る画像処理装置は、第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理の強さを示す超解像レベルと前記第１解像度の映像信号または前記第２の解像度の映像信号に含まれ、番組のジャンルを示す番組ジャンルコードとを対応付けて記憶するレベル記憶手段と、前記番組ジャンルコードを判定し、判定した前記番組ジャンルコードに応じて前記超解像レベルを決定する映像判断手段と、前記第１解像度の映像信号に対して、決定した前記超解像レベルの前記超解像度変換処理を行う高解像度化手段と、を備えることを特徴とする。

また、本発明に係る画像処理装置は、第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度変換処理の強さを示す超解像レベルと前記第２解像度の映像信号を表示するモードを示す映像モードとを対応付けて記憶するレベル記憶手段と、前記映像モードを判定し、判定した前記映像モードに応じて前記超解像レベルを決定する映像判断手段と、前記第１解像度の映像信号に対して、決定した前記超解像レベルの前記超解像度変換処理を行う高解像度化手段と、を備えることを特徴とする。

また、本発明に係る画像処理方法は、第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理の強さを示す超解像レベルと前記第２解像度の映像信号を表示するモードを示す映像モードとを対応付けて記憶するレベル記憶手段を備えた画像処理装置で行われる画像処理方法であって、映像判断手段が、前記映像モードを判定し、判定した前記映像モードに応じて前記超解像レベルを決定する映像判断ステップと、高解像度化手段が、前記第１解像度の映像信号に対して、決定した前記超解像レベルの前記超解像度変換処理を行う高解像度化ステップと、を備えることを特徴とする。

本発明によれば、映像モードあるいは番組のジャンルに応じて超解像レベルを決定するので、適切に超解像度処理された映像を提供できるという効果を奏する。

（第１の実施の形態）
以下に添付図面を参照して、この発明にかかる画像処理装置および画像処理方法の最良な実施の形態を詳細に説明する。図１は、本実施形態に係る画像表示装置１００のシステムを概略的に示したブロック図である。同図に示したように、画像表示装置１００は、映像信号入力部１１と、メイン処理部１２と、画像処理装置に対応する高解像度化部１３と、動画改善処理部１４と、表示処理部１５と、表示部１６と、音声処理部１７と、音声出力部１８とを備えている。

映像信号入力部１１は、表示の対象となる映像信号が入力される部位であって、デジタル放送受信部１１１と、ＩＰＴＶ（インターネットプロコトルＴＶ）信号処理部１１２と、インターネット等のＩＰ網を介して送信されるデータを受信するインターネット信号処理部１１３と、アナログ信号の入力を受け付ける外部入力部１１４とを備えている。ここで「映像信号」とは、静止画像や動画像からなる画像信号の他、音声信号をも含む概念である。

デジタル放送受信部１１１は、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのデジタルアンテナ１１１１と、デジタル放送を選局するためのデジタルチューナ１１１２と、デジタル放送を復調しデジタルの映像信号としてメイン処理部１２に出力するデジタル信号復調部１１１３とを有している。

ＩＰＴＶ信号処理部１１２は、専用のＩＰ網を介して送信されるＩＰ放送を受信し、デジタルの映像信号としてメイン処理部１２に出力する。

インターネット信号処理部１１３は、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信し、デジタルの映像信号としてメイン処理部１２に出力する。

外部入力部１１４は、アナログ放送を受信するためのアナログアンテナ１１４１と、アナログ放送を選局するためのアナログチューナ１１４２と、アナログ信号にＡ／Ｄ変換等の信号処理を施し、デジタルの映像信号としてメイン処理部１２に出力する外部入力信号処理部１１４３とを有している。なお、外部入力信号処理部１１４３は、ゲーム機やＰＣ（Personal Computer）、ＤＶＤ（Digital Versatile Disk）プレーヤ等の外部機器と接続するための端子を有し（図示せず）、当該入力端子を介して外部機器から入力されるアナログ信号に対しても信号処理を施すものとする。

図２は、メイン処理部１２の機能的構成を示すブロック図である。図２に示すように、メイン処理部１２は、操作受信部１２１と、映像判断部１２２と、制御部１２３と、フラッシュメモリ１９とを有している。

操作受信部１２１は、後述するように、操作部２００であるリモコンから指定された映像モードの種類の選択する旨の信号(以下、選択信号と呼ぶ。)を受信し、受信した選択信号に応じた映像モードの種類を後述する映像判断部１２２に出力する。

具体的には、ユーザが操作部２００の映像モードを指定するためのモード選択ボタン等（不図示）を押下すると、図４に示すように、表示部１６の一部に映像モードを選択するためのサブ画面を表示する。そして、ユーザが、操作部２００の上下キー等の選択キー（不図示）を押下して「あざやか」「標準」「映画」「メモリ」等の各種の映像モードを選択すると、操作受信部１２１は、このとき出力される選択信号を受信し、映像判断部１２２に出力する。このように、いくつかの映像モードの中からユーザが好みの映像モードを指定する映像モード指定手段が設けられている。なお、本実施形態では「メモリ」を除く各映像モードは、例えばユニカラー，バックライトレベル，黒レベル，色の濃さ，色合い，シャープネスなどの画質調整項目の値がデフォルトで決められたモードであり、「メモリ」のモード、各画質調整項目をユーザが自由に調整可能なモードである。このように、映像モードは、視聴する番組やテレビの使用状態に応じてユーザにお好みの映像を提供するために設けられている。なお、図示しないが、Ａｕｔｏモード（視聴映像やテレビの使用状態に応じて自動的に各調整項目が調整されるモード）があってもよい。

上述した各種の映像モードは、後述するように、制御部１２３において映像信号から分離された画像信号に対して行う超解像度処理のレベルに対応づけられており、これらの各種の映像モードをユーザが指定することによって、指定された映像モードに応じた超解像度処理が行われる。

また、上述した映像モードのうち、「あざやか」とは、明るく迫力ある映像の視聴を楽しみたい場合に選択されるモードであって、「標準」よりも強く超解像度処理を行う場合のモードであることを意味する。「映画」とは、暗くした部屋で映画館のような雰囲気で映像の視聴を楽しみたい場合に選択されるモードであって、「標準」よりも弱く超解像度処理を行う場合のモードであることを意味する。また、「メモリ」とは、ユーザが操作部２００等から各調整項目（例えば、ユニカラー，バックライト，黒レベル，色の濃さ，色合い，シャープネスなど）に加えて超解像度処理のレベルを個別に指定した場合のモード（すなわち、マニュアルモード）であり、よりきめ細やかな超解像度のレベル設定が可能となる。尚、「標準」となる超解像度のレベルの設定値については、ユーザによって操作部２００からの任意に設定が可能となっていてもよいし、デフォルトで固定されていてもよい。

映像判断部１２２は、操作受信部１２１が操作部２００から映像モードを指定した旨の選択信号を受信し、指定された映像モードの種類を示す映像モード値を制御部１２３に出力するとともに、フラッシュメモリ１９に書き込む。例えば、ユーザが指定した映像モードが「あざやか」である場合には「１」、「標準」である場合には「２」、「映画」である場合には「３」、「メモリ」である場合には「４」を、後述する制御部１２３に出力するとともに、フラッシュメモリ１９に書き込む。

制御部１２３は、映像信号を画像信号と音声信号とに分離し、所定の画像処理を施した画像信号を高解像度化部１３に出力するとともに、音声信号を音声処理部１７に出力する。

ここで、制御部１２３が施す画像処理としては、入力された画像信号の解像度を所定の解像度（例えば、１２８０×７２０等）に変換するスケーリング処理等が挙げられる。

フラッシュメモリ１９は、上述したように、操作部２００から選択信号を受信した場合に、その選択信号に対応する映像モード値を記憶する。操作部２００から指定された選択信号に対応する映像モード値は、あらかじめ不図示のメモリ等に記憶されている。

図３は、図１に示す高解像度化部１３の機能構成を示すブロック図である。図３に示すように、高解像度化部１３は、前処理部１３１と、超解像度変換処理部１３２と、後処理部１３３と、ＥＥＰＲＯＭメモリ２０とを備えている。

前処理部１３１は、メイン処理部１２から入力された画像信号に対し、インターレース・プログレッシブ変換処理や、ノイズを除去するノイズリダクション処理等の画像処理（以下、前処理と呼ぶ。）を施し、処理済みの映像信号を超解像度変換処理部１３２に出力する。また、前処理部１３１は、メイン処理部１２から受け取った映像モード値を、後述する超解像度変換処理部１３２に出力する。なお、映像モード値に関する信号は、メイン処理部１２から前処理部１３１を通らずに超解像度処理部１３２に入力されてもよい。

具体的には、前処理部１３１は、インターレース・プログレッシブ変換処理として、入力された画像信号における画像の動きを検出して静止画と動画とを判定し、静止画と判定したときには静止画用の補間処理を行い、動画と判定したときには動画用の補間処理を行う。

また、前処理部１３１は、ノイズリダクション処理として、画像信号における画像の輪郭補整や、画像ボケやギラツキ感の低減、過度なイコライジング（高域強調）を抑える補正、水平方向にカメラが移動する際のブレ改善等の処理を行う。

超解像度変換処理部１３２は、前処理部１３１から入力される低解像度フレームを、高解像度化するための画像処理（以下、「超解像度変換処理」という。）を施して、ＨＤサイズの高解像度の動画データのフレーム（以下、「高解像度フレーム」という。）を生成し、後処理部１３３に出力する。

ここで、超解像度変換処理とは、第１解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号を復元する鮮鋭化処理を意味する。ここで、本来の画素値とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）の画像信号の画素数を持つカメラで撮像したときに得られる画像信号の各画素が持つ値を指す。

また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（同一フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施の形態の超解像度変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。

例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。

また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像信号から取得された画素値に基づいて、画像信号に含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像度変換処理部１３３は、このような処理を行うことにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。

また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。

ただし、超解像度変換処理部１３２における超解像度変換処理の手法は、上記に限定されるものではなく、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であれば、あらゆる手法を適用することができる。

また、超解像度変換処理部１３２は、前処理部１３１がノイズリダクション処理等を行った後の画像信号を受け取ると、設定された映像モードに応じた超解像度変換処理を行う。具体的には、例えば後述するＥＥＰＲＯＭメモリ２０から映像モード値に対応する超解像度パラメータを超解像度変換処理部１３２が取得する。

そして、超解像度変換処理部１３２は、取得した映像モード値を参照して、その映像モード値に対応する超解像度パラメータを取得する。

図５は、ＥＥＰＲＯＭメモリ２０が記憶するパラメータの例を示す図である。図５に示すように、ＥＥＰＲＯＭメモリ２０には、映像モード値と、映像モードと、超解像度パラメータとが対応付けて記憶されている。

ここで、超解像度パラメータとは、超解像度変換処理の強さを数値で表現したものである。例えば、画素間に挿入する高周波成分の画素数、挿入対象となる画素に対する高周波成分の画素の割合が高い、すなわち超解像度パラメータの数値が大きいほど鮮鋭化のゲインが高く、超解像度変換処理が強くなることを示すものであり、超解像度処理の手法に応じて適宜設定することができる。図５に示す超解像度パラメータは、全ての画素に対して超解像度処理を行う場合を１００として、全体の画素数に対して画素間に挿入する高周波成分の画素の割合を示している。このように、超解像度処理を行う指標をパラメータ形式で記憶することによって、超解像度処理の基準に仕様変更が生じた場合であっても、容易にかつ迅速にその仕様変更に対応することができる。

また、超解像度変換処理部１３２は、取得した超解像度パラメータに従って、上述した超解像度処理を行い、超解像度処理を行った画像信号を後述する後処理部１３３に出力する。

具体的には、超解像度変換処理部１３２は、例えば、前処理部１３１から受け取った映像モード値が「１」（あざやか）である場合には、図５に示すように、超解像度パラメータとして「８０」を取得し、取得したパラメータに従って、上述した超解像度処理を行う。

図３に戻り、後処理部１３３は、超解像度変換処理部１３２から入力される画像信号に対し、ガンマ補正やホワイトバランス調整等の画像補正処理（以下、後処理と呼ぶ。）を施し、動画改善処理部１４に出力する。続いて、図１に戻り、動画改善部１４について説明する。

動画改善処理部１４は、後処理部１３３から受け取った画像信号に対して、倍速処理を行う。具体的には、６０ｆｐｓ（Frame Per Second）で送信される映像信号を１２０ｆｐｓにフレームレート変換する処理を行うことにより、横、縦、斜め方向や回転する被写体など動きのある部分の映像ブレを低減し、ノイズも効果的に抑えて、流れるテロップや動きの速いスポーツシーンがくっきりと表示される。そして、フレームレート変換された画像信号を表示処理部１５に出力する。

なお、補間処理の方法としては、特開２００８−３５４０４号公報に記載されたブロックマッチング法による動きベクトル検出に基づいた補間生成処理方法等、一般的に行われているフレーム画像の補間方法に従って補間フレーム画像を生成し、補間することも可能である。さらに、補間フレーム画像の枚数についても任意に定めることができる。

表示処理部１５は、画像信号を表示部１６に出力するためのドライバ等から構成され、動画改善処理部１４から受け取った画像信号を表示部１６に表示させる。

表示部１６は、ＬＣＤ（Liquid Crystal Display）、プラズマパネル、ＳＥＤ（Surface-conduction Electron-emitter Display）パネル等のディスプレイから構成され、表示処理部１５からの制御を受けた画像信号を表示する。

操作部２００は、リモートコントローラ等の遠隔操作装置から構成され、ユーザがモード選択ボタン（不図示）を押下した場合に、その選択信号をメイン処理部１２に送信する。

続いて、上述した画像表示装置１００で行われる実行処理について説明する。

図６は、ユーザが映像モードを指定した場合の超解像度変換処理の処理手順を示すフローチャートである。

本図に示すように、メイン処理部１２の映像判断部１２２は、設定された映像モードを識別する（ステップＳ６０１）。

続いて、映像判断部１２２は、設定された映像モードに対応する映像モード値をフラッシュメモリに記憶する（ステップＳ６０２）。なお、映像モードに対応する映像モード値はフラッシュメモリなどに事前に記憶されていてもよい。

その後、映像判断部１２２は、映像モード値を高解像度化部１３に送信する（ステップＳ６０３）。

高解像度化部１３の前処理部１３１は、映像判断部１２２から映像モード値を受け取ると、インターレース・プログレッシブ変換処理やノイズリダクション処理等の画像処理を行い、映像モード値と共に、画像信号を超解像度変換処理部１３２に出力する（ステップＳ６０４）。なお、映像モード値に関する信号は、メイン処理部１２（映像判断部１２２）から前処理部１３１を通らずに超解像度処理部１３２に入力されてもよい。

超解像度変換処理部１３２は、前処理部１３１から映像モード値と画像信号を受け取ると、その映像モード値に対応する超解像度パラメータを、ＥＥＰＲＯＭ２０から取得する（ステップＳ６０５）。

そして、超解像度変換処理部１３２は、取得した超解像度パラメータに応じた超解像度レベルの超解像度処理を画像信号に対して行う（ステップＳ６０６）。その後、超解像度変換処理部１３２は、超解像度処理を行った画像信号を後処理部１３３に出力し、後処理部１３３は、ガンマ補正やホワイトバランス調整等の補正処理を行い、動画改善処理部１４に出力する（ステップＳ６０７）。以降、表示処理部１５を介して画像信号が表示部１６に表示される。尚、動画改善処理部１４に上述したような各種の補正処理の機能が含まれている場合には、後処理部１３３で補正処理を行わず、動画改善処理部１４側で補正処理を行うこととしても良い。

このように、メイン処理部１２の映像判断部１２２が、設定された映像モードに応じて超解像度変換処理を行うので、映像モードに応じて適切に超解像度処理された映像を提供できる。

第１の実施形態では、明るく迫力ある映像の視聴を楽しみたい場合を想定して画質調整された映像モードが選択されている場合には、超解像度パラメータの値を高く設定し、超解像度処理を強めにかける一方、暗くした部屋で映画館のような雰囲気で映像の視聴を楽しみたい場合を想定して画質調整された映像モードが選択されている場合には、超解像度パラメータの値を小さく設定し、超解像度処理を弱めにする構成である。かかる構成では、鮮やかな映像に対して、超解像度化の効果をユーザが認識しやすく、より鮮明な映像を楽しむことが出来る。また、映画のように落ち着いた映像を楽しみたい映像モードでは、超解像度処理が弱めにかかるため、超解像度化によるノイズ強調を低減することが出来、より落ちついた映像を楽しむことができる。
なお、映像に対しては人間の嗜好があるため、本実施形態とは逆のパラメータの値を設定することも可能である。つまり、本実施形態でいう鮮やかモードにおいて、超解像度処理が弱めにかかるようにしてもよい。これによって、ノイズ成分が多い映像に対しては、ノイズ強調などを低減することができる。本実施形態でいう映画モードにおいて、超解像度パラメータの値を大きくしてもよい。これによって、高解像度な映像信号を受信している場合には、ノイズ強調の不具合が無い/少ないので、より鮮明な映像を映画モードにおいてユーザが楽しむことができる。

（第２の実施の形態）
上述した第１の実施の形態においては、ユーザが、「あざやか」「映画」等のいくつかの映像モードから任意の映像モードを指定することによって、指定された映像モードに対応する超解像パラメータに応じた超解像度変換処理を行うこととした。しかし、ユーザにとっては、どの映像モードを指定すべきか判断が難しい場合も存在する。そこで、映像モードに代えて、映像信号に含まれる番組等の種類を示すコード（例えば、スポーツ番組であれば「１」、バラエティ番組であれば「２」、映画番組であれば「３」等。以下、番組ジャンルコードと呼ぶ。）に応じて自動的に超解像度変換処理を行う場合について説明する。

第２の実施の形態における構成要素は第１の実施の形態における構成要素と同様の構成であるため、ブロック図を用いた説明は省略し、図７に示す処理手順に従って説明する。

映像判断部１２２は、第１の実施の形態と同様の処理を行うほか、映像信号入力部１１が受信した映像信号に含まれる番組ジャンルコードを識別し（ステップＳ７０１）、識別した番組ジャンルコードをフラッシュメモリ１９に記憶する（ステップＳ７０２）。

その後、映像判断部１２２は、識別した番組ジャンルコードを高解像度化部に送信し（ステップＳ７０３）、第１の実施の形態と同様の前処理を行う（ステップＳ７０４）。

そして、超解像度変換処理部１３２は、前処理部１３１から受け取った番組ジャンルコードを受け取ると、その番組ジャンルコードに対応する超解像度パラメータを、ＥＥＰＲＯＭ２０から取得する（ステップＳ７０５）。

そして、超解像度変換処理部１３２は、第１の実施の形態と同様に、超解像度パラメータに応じた超解像度レベルの超解像度処理等を行う（ステップＳ７０６、Ｓ７０７）。

このように、メイン処理部１２の映像判断部１２２が番組ジャンルコードを識別し、識別した番組ジャンルコードに応じて超解像度変換処理を行うので、ユーザが映像モードの判断が困難な場合であっても、番組のジャンルに応じて適切に超解像度処理された映像を提供できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

例えば、映像モードが指定されていない場合（例えば、映像モードの指定手段が特に無いテレビなどの場合）には、映像判断部１２２が自動的に番組ジャンルコードを識別して超解像度変換処理を行う等、第１の実施形態と第１の実施形態における各処理とを組み合わせて実施することも可能である。また、設定された映像モードと番組ジャンルの両者の情報を組み合わせて超解像度処理のパラメータを設定してもよい。例えば、映像モードが「鮮やか」であって、番組ジャンルが「スポーツ」の場合と、映像モードが「鮮やか」であって、番組ジャンルが「映画」の場合とで、超解像度処理のパラメータを変更する構成も可能である。

また、本実施の形態では、本発明の画像処理装置を、表示部１６、表示処理部１５、音声出力部１８および音声処理部１７を有するデジタルＴＶ等の画像表示装置１００に適用した例をあげて説明したが、表示部１６、表示処理部１５、音声出力部１８および音声処理部１７を有さない、例えば、チューナやセットトップボックス等にも本発明の画像処理装置を適用することができる。

以上のように、本発明にかかる画像処理装置、画像処理方法は、映像信号を高解像度化する際に有用であり、特に、映像モードに応じて超解像度処理する技術に適している。

本実施の形態にかかる画像処理装置の構成を示すブロック図である。 図１に示すメイン処理部の構成を示すブロック図である。 図１に示す高解像度化部の構成を示すブロック図である。 操作部の操作によって表示部に表示される映像モードの設定画面の例を示す図である。 ＥＥＰＲＯＭメモリが超解像度パラメータと映像モード値を対応付けて記憶する例を示す図である。 第１の実施の形態にかかる超解像度処理の実行手順を示すフローチャートである。 第２の実施の形態にかかる超解像度処理の実行手順を示すフローチャートである。

符号の説明

１００ 画像表示装置
１１ 映像信号入力部
１２ メイン処理部
１３ 高解像度化部
１４ 動画改善処理部
１５ 表示処理部
１６ 表示部
１７ 音声処理部
１８ 音声出力部
１９ フラッシュメモリ
２０ ＥＥＰＲＯＭメモリ
１１１ デジタル放送受信部
１１２ ＩＰＴＶ信号処理部
１１３ インターネット信号処理部
１１４ 外部入力部
１２１ 操作受信部
１２２ 映像判断部
１２３ 制御部
１３１ 前処理部
１３２ 超解像度変換処理部
１３３ 後処理部
２００ 操作部（リモート・コントローラ）
１１１１ デジタルアンテナ
１１１２ デジタルチューナ
１１１３ デジタル信号復調部
１１４１ アナログアンテナ
１１４２ アナログチューナ
１１４３ 外部入力信号処理部

Claims (8)

1. 第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理の強さを示す超解像レベルと前記第２解像度の映像信号を表示するモードを示す映像モードとを対応付けて記憶するレベル記憶手段と、
   前記映像モードを判定し、判定した前記映像モードに応じて前記超解像レベルを決定する映像判断手段と、
   前記第１解像度の映像信号に対して、決定した前記超解像レベルの前記超解像度変換処理を行う高解像度化手段と、
   を備えることを特徴とする画像処理装置。
2. ユーザの操作により、前記映像モードを指定する映像モード指定手段をさらに備え、
   前記映像判断手段は、前記指定された前記映像モードに応じて前記超解像レベルを決定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記レベル記憶手段は、前記映像モードと前記超解像レベルとをパラメータ形式で記憶する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記超解像度変換処理を行った前記第２解像度の映像信号を表示する表示手段、
   をさらに備えたことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理の強さを示す超解像レベルと前記第１解像度の映像信号または前記第２の解像度の映像信号に含まれ、番組のジャンルを示す番組ジャンルコードとを対応付けて記憶するレベル記憶手段と、
   前記番組ジャンルコードを判定し、判定した前記番組ジャンルコードに応じて前記超解像レベルを決定する映像判断手段と、
   前記第１解像度の映像信号に対して、決定した前記超解像レベルの前記超解像度変換処理を行う高解像度化手段と、
   を備えることを特徴とする画像処理装置。
6. 放送波または通信回線を介して前記第１解像度の映像信号を受信し、または外部接続された情報機器から前記第１解像度の映像信号を受信する受信手段をさらに備え、
   前記映像判断手段は、受信した前記第１解像度の映像信号に含まれる前記番組ジャンルコードに応じて前記超解像レベルを決定する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度変換処理の強さを示す超解像レベルと前記第２解像度の映像信号を表示するモードを示す映像モードとを対応付けて記憶するレベル記憶手段と、
   前記映像モードを判定し、判定した前記映像モードに応じて前記超解像レベルを決定する映像判断手段と、
   前記第１解像度の映像信号に対して、決定した前記超解像レベルの前記超解像度変換処理を行う高解像度化手段と、
   を備えることを特徴とする画像処理装置。
8. 第１解像度の映像信号が入力され、前記第１の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理の強さを示す超解像レベルと前記第２解像度の映像信号を表示するモードを示す映像モードとを対応付けて記憶するレベル記憶手段を備えた画像処理装置で行われる画像処理方法であって、
   映像判断手段が、前記映像モードを判定し、判定した前記映像モードに応じて前記超解像レベルを決定する映像判断ステップと、
   高解像度化手段が、前記第１解像度の映像信号に対して、決定した前記超解像レベルの前記超解像度変換処理を行う高解像度化ステップと、
   を備えることを特徴とする画像処理方法。

Images