Nothing Special   »   [go: up one dir, main page]

JP2009033582A - 画像信号記録再生装置 - Google Patents

画像信号記録再生装置 Download PDF

Info

Publication number
JP2009033582A
JP2009033582A JP2007196888A JP2007196888A JP2009033582A JP 2009033582 A JP2009033582 A JP 2009033582A JP 2007196888 A JP2007196888 A JP 2007196888A JP 2007196888 A JP2007196888 A JP 2007196888A JP 2009033582 A JP2009033582 A JP 2009033582A
Authority
JP
Japan
Prior art keywords
image
image signal
resolution
recording
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007196888A
Other languages
English (en)
Inventor
Masahiro Kageyama
昌広 影山
Eiji Moro
栄治 茂呂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2007196888A priority Critical patent/JP2009033582A/ja
Priority to US12/182,821 priority patent/US20090034938A1/en
Publication of JP2009033582A publication Critical patent/JP2009033582A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】
記録媒体に記録する画像データ量の増加を抑えながら、画像を高解像度化して出力する。
【解決手段】
画像信号が入力される入力部と、前記入力された画像信号を記録する第１の記録媒体と、前記第１の記録媒体から再生された画像信号の画素数を増加させた画像信号を生成する解像度変換部と、前記解像度変換部の生成した画像信号を記録する第２の記録媒体を備える。
【選択図】 図６２

Description

本発明は、記録媒体を用いて画像信号を記録再生するための技術に関し、特に記録媒体に記録する画像データ量の増加を抑えながら、画像を高解像度化して出力する技術に関する。
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。
そこで、特許文献１、特許文献２、非特許文献１に記載されているように、入力された複数の画像フレーム(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術(以下、従来技術)が提案されている。
特開平８−３３６０４６号公報 特開平９−６９７５５号公報 青木伸 "複数のデジタル画像データによる超解像処理", Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998
これらの従来技術では、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
図２に、これらの高解像度化技術の概要を示す。同図(a)に示すように、異なる時間軸上のフレーム#1(201)、フレーム#2(202)、フレーム#3(203)が入力され、これらを合成して出力フレーム(206)を得ることを想定する。簡単のため、まず被写体が水平方向に移動(204)した場合を考え、水平線(205)の上の1次元の信号処理によって高解像度化することを考える。このとき、同図(b)と同図(d)に示すように、フレーム#2(202)とフレーム#1(201)では、被写体の移動(204)の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、同図(c)に示すように、位置ずれが無くなるようにフレーム#2(202)を動き補償(207)するとともに、各フレームの画素(208)のサンプリング位相(209)(210)の間の位相差θ(211)を求める。この位相差θ(211)に基づき、上記(2)広帯域補間および(3)加重和を行うことにより、同図(e)に示すように、元の画素(208)のちょうど中間(位相差θ=π)の位置に新規画素(212)を生成することにより、高解像度化を実現する。 (3)加重和については後述する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。
特許文献１、特許文献２、非特許文献１に記載の従来技術によって１次元方向の２倍の
高解像度化を行う場合、上記(3)の加重和を行う際に、図３に示すように、少なくとも３枚のフレーム画像の信号を用いる必要があった。ここで、図３は、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。上記(3)の加重和について、以下に詳しく説明する。
上記(2)の広帯域補間にて、ナイキスト周波数の2倍の帯域(周波数0〜サンプリング周波数fsまでの帯域)を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分(以下、原成分)と、サンプリング位相に応じた折返し成分の和が得られる。このとき、3枚のフレーム画像の信号に対して上記(2)広帯域補間の処理を行うと、図３(a)に示すように、各フレームの原成分(301)(302)(303)の位相はすべて一致し、折返し成分(304)(305)(306)の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を同図(b)に示し、各フレームの折返し成分の位相関係を同図(c)に示す。
ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記(3)加重和を行うことにより、各フレームの折返し成分(304)(305)(306)を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分(304)(305)(306)のベクトル和を0にする、すなわち、Re軸(実軸)の成分とIm軸(虚軸)の成分を両方ともに0とするためには、少なくとも３つの折返し成分が必要となる。従って、2倍の高解像度化を実現するために、すなわち１個の折返し成分を除去するために、少なくとも３枚のフレーム画像の信号を用いる必要があった。
同様に、特許文献１、特許文献２、非特許文献１に記載されているように、水平・垂直の2次元の入力信号に対して高解像度化する場合、折返しが縦横2方向から来るので、原信号の帯域が縦横共に2倍に広がると、3つの折返し成分が重なり、それらを打ち消すためには2M+1=7個のデジタルデータ(=7枚のフレーム画像の信号)を必要としていた。
従って従来技術は、フレームメモリや信号処理回路の規模が大きくなって経済的でない。また、時間的に離れた数多くのフレーム画像の位置推定を正確に行う必要があるため構成が複雑となる。すなわち、従来技術は、例えばテレビジョン放送信号等の動画像のフレームを高解像度化することが困難である。
また、現在のテレビジョン放送信号ではインタレース走査を用いるのが主流であるが、特許文献１、特許文献２、非特許文献１には、インタレース走査信号そのものの高解像度化や、インタレース-プログレッシブ走査変換(I-P変換)について、開示も示唆もなされていない。
また、地上波や衛星(BS、CS)を用いた現在のデジタルテレビ放送では、従来のSD(Standard Definition)の画像信号に加え、HD(High Definition)の画像信号にて番組が放送されている。しかし、全番組がHDカメラで撮影された画像信号に置き換わっているわけではなく、SDカメラで撮影された画像信号を、SD→HD変換器によって、HDと同じ画素数を持つ信号に変換(アップコン)し、番組ごとに、あるいはシーンごとに切り替えて放送されているがよく知られている。従来の受信機では、受信した信号がHDカメラで撮影された画像信号の場合は解像度の高い画像が再生され、SD→HD変換(アップコン)後の画像信号の場合は解像度が低い画像が再生されるため、番組ごとに、あるいはシーンごとに、解像度が頻繁に切り替わって見苦しいという課題があった。
また、画像信号を記録媒体に記録する際に、画素数が多く解像度の高い画像データを記録すると記録媒体に記録できる時間が短くなってしまい、逆に記録媒体に記録できる時間を長くすると画素数が少なく解像度が低い画像データしか記録できない、という課題があった。
特に、1台のビデオカメラで動画記録と静止画記録の両方の機能を共用することが一般的になってきており、動画として記録された一連の画像データの中から1フレームを選択し、静止画として画像出力することが一般的になっているが、撮像素子の画素数を増やして動画の解像度を高くしてしまうと、記録媒体の容量を一定と考えると、解像度に反比例して記録時間が短くなってしまい、逆に記録時間を長くすると、動画の解像度を高くすることができないため、結果的に動画から切り出した静止画の解像度も高くならない、という課題があった。
本発明は、上記従来技術の課題に鑑みて為されたものであって、その目的は、記録媒体を用いて好適に高解像度の画像信号を記録再生するための技術を提供することにある。
上記目的を達成するために、本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。
本発明によれば、より好適に画像信号を高解像度化することが可能となる。
以下、本発明の実施例を、図面を参照して説明する。
また、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
また、本明細書の各記載及び各図面における「位相」という表現は、２次元画像空間において用いた場合は、２次元画像上の「位置」という意味も含む。当該位置は、小数画素精度の位置を意味する。
また、本明細書の各記載及び各図面における「アップレート」という表現は、「アップレート処理」という意味も含む。また、本明細書の各記載及び各図面における「アップコン」という表現は、「アップコンバート処理」を示す。両者はいずれも画像の画素数を多くする変換処理（画素数増加処理）または画像を拡大する変換処理（画像拡大変換処理）を意味する。
また、本明細書の各記載及び各図面における「ダウンレート」という表現は、「ダウンレート処理」という意味も含む。また、本明細書の各記載及び各図面における「ダウンコン」という表現は、「ダウンコンバート処理」を示す。両者はいずれも画像の画素数を少なくする変換処理（画素数低減処理）または画像を縮小する変換処理（画像縮小変換処理）を意味する。
また、本明細書の各記載及び各図面における「動き補償」という表現は、位相差もしくはサンプリング位相差、すなわち空間的な位置の差を算出して位置合わせを行う意味を含む。
なお、以下の各実施例の記載において、上述した(1)位置推定には、参考文献１や参考文献２に記載されているような方法を用いればよい。また上述した(2)広帯域補間については、非特許文献１に記載されているようなナイキスト周波数の2倍の通過帯域を持つ一般的なローパスフィルタを用いればよい。
［参考文献１］ 安藤繁 “画像の時空間微分算法を用いた速度ベクトル分布計測システム”，計測自動制御学会論文集，pp.1330-1336, Vol.22, No.12，1986
［参考文献２］ 小林弘幸ほか “DCT変換に基づく画像の位相限定相関法”, 信学技法 IEICE Technical Report ITS2005-92，IE2005-299(2006-02), pp.73-78
また、以下の実施例で「ＳＲ信号」との表記は「Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ信号（超解像信号）」の略である。
以下、本発明の実施例について、図面を参照しつつ説明する。
図１に、本発明の実施例１に係る画像信号処理装置を示し、その特徴について述べる。本実施例に係る画像信号処理装置は、例えばテレビジョン受像機等の画像表示装置に適用される。以下の本実施例の説明においては、画像信号処理装置として画像表示装置を例にして説明する。
図１において、本実施例に係る画像信号処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部(1)と、この入力部(1)から入力されたフレームを高解像度化するための解像度変換部(2)と、更にこの解像度変換部(2)によって高解像度化されたフレームに基づき画像を表示する表示部(3)とを備えている。この表示部(3)として、例えばプラズマディスプレイパネル、液晶表示パネル、もしくは電子／電解放出型ディスプレイパネルが用いられる。以下、解像度変換部(2)の詳細について説明する。
図１において、まず位置推定部(101)により、入力部(1)に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、画素ごとにサンプリング位相差θ(102)を求める。
次に、動き補償・アップレート部(115)のアップレート器(103)(104)により、位相差θ(102)の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ2倍に増して高密度化する。位相シフト部(116)では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器(106)(108)を用いることができる。また、π/2位相シフト器(106)(108)で生じる遅延を補償するために、遅延器(105)(107)により高密度化したフレーム#1とフレーム#2の信号を遅延させる。
折返し成分除去部(117)では、遅延器(105)(107)とヒルベルト変換器(106)(108)の各出力信号に対して、係数決定器(109)にて位相差θ(102)をもとに生成した係数C0,C2,C1,C3を乗算器(110)(112)(111)(113)にてそれぞれ乗算し、加算器(114)にてこれらの信号を加算して出力を得る。この出力は、表示部３に供給される。なお、位置推定部(101)は、上記従来技術をそのまま用いて実現することができる。アップレート器(103)(104)、π/2位相シフト器(106)(108)、折返し成分除去部(117)の各詳細については後述する。
図４に、本発明の実施例１の動作を示す。同図は、図１に示した遅延器(105)(107)とπ/2位相シフト器(106)(108)の各出力を1次元の周波数領域で示したものである。同図(a)において、遅延器(105)(107)から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、原成分(401)(402)と、元のサンプリング周波数(fs)から折り返された折返し成分(405)(406)を加えた信号となる。このとき、折返し成分(406)は上述の位相差θ(102)だけ位相が回転している。
一方、π/2位相シフト器(106)(108) から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分(403)(404)と、π/2位相シフト後の折返し成分(407)(408)を加えた信号となる。同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。
ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。この係数決定方法の詳細については後述する。
図５に、本発明の実施例１に用いるアップレート器(103)(104)の動作を示す。同図において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、アップレート器(103)(104)の「周波数-利得」特性を示している。ここで、アップレート器(103)(104)では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンリング点(=ゼロ点)を挿入することによって画素数を2倍にして高密度化するとともに、-fs〜+fsの間の周波数をすべて利得2.0の通過帯域とするフィルタをかける。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
図6に、本発明の実施例１に用いるアップレート器(103)(104)の具体例を示す。同図は、図5に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的に知られているsinc関数となり、画素ごとのサンプリングの位相差θ(102)を補償するために(-θ)だけシフトし、Ck=2sin(πk+θ)/(πk+θ)とすればよい。なお、アップレート器(103)では、位相差θ(102)を0とおき、Ck=2sin(πk)/(πk)とすればよい。また、位相差θ(102)を、整数画素単位(2π)の位相差+小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については上記アップレート器(103)(104)のフィルタを用いてもよい。
図７に、本発明の実施例１に用いるπ/2位相シフト器(106)(108)の動作例を示す。π/2位相シフト器(106)(108)として、一般に知られているヒルベルト変換器を用いることができる。
同図(a)において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、ヒルベルト変換器の「周波数-利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数として、-fs〜+fsの間の0を除く周波数成分をすべて利得1.0の通過帯域とする。
また、同図(b)において、横軸は周波数を、縦軸は位相差(入力信号位相に対する出力信号位相の差)を表し、ヒルベルト変換器の「周波数-位相差」特性を示している。ここで、0〜fsの間の周波数成分についてはπ/2だけ位相を遅らせ、0〜-fsの間の周波数成分についてはπ/2だけ位相を進ませる。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
図８に、本発明の実施例１に用いるπ/2位相シフト器(106)(108)をヒルベルト変換器で構成した例を示す。同図は、図７に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ckは、k=2m(ただしmは整数)のときはCk=0とし、k=2m+1のときはCk=-2/(πk)とすればよい。
なお、本発明の実施例１に用いるπ/2位相シフト器(106)(108)は、微分器を用いることも可能である。この場合、正弦波を表す一般式cos(ωt+α)をtで微分して1/ωを乗じると、d(cos(ωt+α))/dt*(1/ω)=-sin(ωt+α)=cos(ωt+α+π/2)となり、π/2位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、1/ωの「周波数-振幅」特性を持ったフィルタを掛けることによってπ/2位相シフトの機能を実現してもよい。
図９に、本発明の実施例１に用いる係数決定器(109)の動作と具体例を示す。同図(a)に示すように、図４(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図４(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。
ここで、図１に示すように、遅延器(105)の出力(アップレート後のフレーム#1の原成分と折返し成分の和)に対する係数をC0、π/2位相シフト器(106)の出力(アップレート後のフレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC1、遅延器(107)の出力(アップレート後のフレーム#2の原成分と折返し成分の和)に対する係数をC2、ヒルベルト変換器(106)の出力(アップレート後のフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC3とする。
このとき、図9(a)の条件を満たすようにすると、図4(b)および図4(c)に示した各成分の位相関係から、図9(b)に示す連立方程式を得ることができ、これを解くと図9(c)に示す結果を導くことができる。
本実施例に係る係数決定器(109)は、図９(a)、図９(ｂ)、図９(c)のいずれかを満たす係数C0、C1、C2、C3を出力する。
一例として、位相差θ(102)をπ/8ごとに0〜2πまで変化させたときの係数C0、C1、C2、C3の値を、図9(d)に示す。これは、もとのフレーム#2の信号を、1/16画素の精度で位置推定し、フレーム#1に対して動き補償した場合に相当する。位相差θ(102)の値が0未満、あるいは2π以上の場合には、sin関数やcos関数の周期性を利用し、位相差θ(102)の値に2πの整数倍の値を、加算あるいは減算することにより、位相差θ(102)が0〜2πの範囲に収まるようにすればよい。
なお、アップレート器(103)(104)およびπ/2位相シフト器(106)(107)は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数(例えばハニング窓関数やハミング窓関数など)を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、C0を中心として左右点対象の値、すなわちC(-k)=-Ck(kは整数)とすれば、位相を一定量だけシフトすることができる。
次に、図１7を用いて、実施例１に係る画像信号処理装置と上記従来技術の動作の違いを説明する。同図(a)において、フレーム#1(1701)からフレーム#5(1705)の間に、被写体が右方向に移動するような入力画像を用意する。この際、同図(b)に示すように、各フレームにおけるサンプリング位相を見ると、フレーム#1(1701)とフレーム#2(1702)の間では対応画素の位置が1/4画素(=π/2)ずれており、フレーム#1(1701)とフレーム#3(1703)の間では対応画素の位置が1画素(=2π)ずれており、フレーム#1(1701)とフレーム#4(1704)の間では対応画素の位置が5/4画素(=5π/2)ずれており、フレーム#1(1701)とフレーム#5(1705)の間では対応画素の位置が2画素(=4π)ずれているように、意図的に被写体を移動させる。このとき、各フレーム上の信号に含まれるそれぞれの折返し成分の位相は、フレーム#1(1701)上の信号に含まれる折返し成分の位相を基準にして、同図(c)のように表すことができる。この入力画像(a)に対して2倍の高解像度化を行う場合、上記従来技術では、フレーム#1(1701)からフレーム#5(1705)の中のどの3フレームを用いても折返し成分のベクトル和を0にすることができないため、高解像度化は実現できない。一方、本実施例を用いれば、例えば、隣接する２フレーム(例：フレーム#1(1701)とフレーム#2(1702))を用いて折返し成分のベクトル和を0にできるため、高解像度化を実現できる。すなわち、同図(a)の入力画像をテストパターンとして用いることにより、本実施例の動作状況を確認することができる。
以上の実施例１の説明においては、水平方向の高解像度化を例に挙げて説明したが、本発明の各実施の態様は、これに限定されるわけではなく、垂直方向や斜め方向の高解像度化に適用することが可能である。
以上説明した実施例１に係る画像信号処理装置によれば、従来例よりも少ない２枚の入力画像フレームの各画像信号に対して位相シフトを行い、各画像信号からそれぞれ２つの信号を生成する。これにより、２枚の入力画像フレームの画像信号から４つの信号を生成することができる。ここで、２枚の入力画像フレームの位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。これを生成画像の各画素について行うことにより、新たな高解像度画像を生成することができる。
これにより、実施例１に係る画像信号処理装置は、従来例よりも少ない２枚の入力画像フレームを用いて、折り返し成分が少なく、入力画像より高解像度な画像を生成することができる。
また、実施例１に係る画像信号処理装置は、従来例よりも少ない２枚の入力画像フレームを用いるため、必要な画像処理の量を従来例より低減できる。これにより、折り返し成分が少なく、入力画像より高解像度な画像を生成する画像信号処理装置を、従来例よりも低コストに実現することが可能である。
次に、図１８及び図１４を用いて、本発明の実施例２について説明する。
実施例２は、実施例１に係る画像信号処理装置における画像信号処理と等価な処理を、ソフトウェアと協働する制御部により実現する画像信号処理方法に係るものである。
まず、図１８を用いて本実施例に係る画像信号処理方法を実現するための画像処理装置について説明する。図１８に示す画像信号処理装置は、例えばテレビジョン放送信号などの画像信号が入力される入力部(1)と、入力部(1)から入力された信号を処理するためのソフトウェアを記憶する記憶部(11)と、記憶部(11)に記憶されるソフトウェアと協働して入力部(1)から入力された信号について画像信号処理を行う制御部(10)と、制御部(10)が当該画像信号処理においてデータのバッファに用いるフレームバッファ#1(21)、フレームバッファ#2(22)と、制御部(10)から出力部(3)に出力される画像信号処理後の信号を、フレームバッファするためのバッファ#3(23)とを備える。
ここで、図１８に示す画像信号処理装置が備える入力部(1)の数は、画像処理に用いるフレーム数である２と同じとしたが、入力部(1)を一つだけ備えて、２つフレームを連続して入力しても構わない。
また、データのバッファに用いるフレームバッファ#1(21)、フレームバッファ#2(22)、およびソフトウェアを記憶する記憶部(11)は、それぞれが個別のメモリチップを用いて構成してもよいし、1個あるいは複数個のメモリチップを用い、各データアドレスを分割して使用する構成にしてもよい。
本実施例において、入力部(1)から入力される画像信号について、制御部(10)が記憶部(11)に記憶されるソフトウェアと協働して画像信号処理を行い、表示部(3)に出力する。当該画像信号処理の詳細は図１４を用いて説明する。
図１４に、本実施例に係る画像信号処理方法のフローチャートの一例を示す。図１４のフローチャートは、ステップ(1401)から開始し、ステップ(1418)にて各フレームの画像データを２倍にアップレートする。すなわち、ステップ(1402)にてフレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(1403)にてフレーム#2の画像データをアップレートしてフレームバッファ#2に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、1画素おきにデータを書き込むことにより実現できる。
次に、ステップ(1404)にて、フレームバッファ#1の最初の画素(例えば左上の画素)を処理対象に設定して、以下、フレームバッファ#1に対するすべての画素データの処理が終わるまで、処理をループする。
ステップ(1405)では、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
ステップ(1406)では、ステップ(1405)で求めた位相差θをもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。このとき、近傍の画素として、ステップ(1408)のπ/2位相シフトの処理で用いる画素データ、すなわち有限のタップ数が作用する範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図5および図6を用いて説明した動作と同一である。
続いて、ステップ(1419)にて、フレームバッファ#1と動き補償したフレームバッファ#2に対して、位相を一定量だけシフトする。すなわち、ステップ(1407)(1408)により、各フレームバッファの中の画素データをπ/2位相シフトする。
続いて、ステップ(1420)にて、位相差θに基づいて図９(a)(b)(c)の条件を満たすように設定した係数C0、C1、C2、C3を用いて、ステップ(1419)の出力データそれぞれに乗算し、これらを加算をすることにより、フレームバッファ#1、#2の画素データから折返し成分を除去し、フレームバッファ#3に出力する。すなわち、ステップ(1409)にて、位相差θをもとに係数C0、C1、C2、C3を決定し、ステップ(1410)(1411)(1412)(1413)にて各係数とフレームバッファ#1、#2の画素データおよびπ/2位相シフト後のデータとそれぞれ乗算したのち、ステップ(1414)にてすべてを加算して、フレームバッファ#3に出力する。この折返し成分除去の動作は、図9を用いて説明した動作と同一である。
続いて、ステップ(1415)にて、フレームバッファ#1の全画素の処理が完了したかどうかを判定し、完了していなければ、ステップ(1416)で次の画素(例えば右隣の画素)を処理の対象に設定してステップ(1405)以降に戻り、完了していればステップ(1417)にて処理を終了する。
図１４に示すフローチャートの画像信号処理後に、図１８に示すフレームバッファ#3にバッファされた信号は、フレーム単位若しくは画素単位にて表示部(3)に出力することができる。
以上のような処理を行うことにより、フレームバッファ#1とフレームバッファ#2の画素データを用いて、フレームバッファ#3に高解像度化した信号を出力することができる。動画に応用する場合は、ステップ(1401)からステップ(1417)に至る処理を、フレームごとに繰り返せばよい。
なお、実施例２に係る画像信号処理方法についても、図１7の説明と同様に、上記従来技術の動作の相違を確認することができるが、その結果は実施例１と同様であるので、説明を省略する。
以上説明した実施例２に係る画像信号処理方法によれば、従来例よりも少ない２枚の入力画像フレームの各画像信号に対して位相シフトを行い、各画像信号からそれぞれ２つの信号を生成する。これにより、２枚の入力画像フレームの画像信号から４つの信号を生成することができる。ここで、２枚の入力画像フレームの位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。これを生成画像の各画素について行うことにより、新たな高解像度画像を生成することができる。
これにより、実施例２に係る画像信号処理方法は、従来例よりも少ない２枚の入力画像フレームを用いて、折り返し成分が少なく、入力画像より高解像度な画像を生成することができる。
また、実施例２に係る画像信号処理方法は、従来例よりも少ない２枚の入力画像フレームを用いるため、必要な画像処理の量を従来例より低減できるという効果がある。
図１０に、本発明の実施例３を示す。同図に示した構成は、図９(c)に示した係数C0、C1、C2、C3の関係を利用して、図１に示した構成を簡略化したものである。すなわち、C0=C2=1/2であり、C1=-C3=-(1+cosθ)/(2sinθ)であることから、アップレート後のフレーム#1と動き補償・アップレート後のフレーム#2の各信号から、加算器(1001)と減算器(1004)により和と差の信号を生成する。和信号については、fs遮断フィルタ(1002)を介したのちに、乗算器(1003)にてC0(=0.5)を掛けて加算器(1008)に入力する。ここで、fs遮断フィルタ(1002)は、アップレート前のサンプリング周波数(fs)の成分を零点として遮断するフィルタであり、例えば同図の(1011)に示すタップ係数を用いることにより実現できる。このfs遮断フィルタ(1002)は、図7(a)に示したようにヒルベルト変換器(1005)の「周波数-利得」特性にて周波数fsの利得が零点になるために折返し成分を除去できず、周波数fsの不要成分が残留してしまうことを防ぐのが目的である。従って、周波数fsの成分も含めてπ/2位相シフトできる手段をヒルベルト変換器(1005)の替わりに用いれば、このfs遮断フィルタ(1002)は不要になる。
一方、差信号については、ヒルベルト変換器(1005)にて位相を一定量(=π/2)だけシフトしたのちに、係数決定器(1007)にて位相差(102)に基づいて決定した係数C1を乗算器(1006)で乗算し、加算器(1008)にて加算して出力を得る。ここで、遅延器(1002)とヒルベルト変換器(1005)から成る位相シフト部(1009)は、図１に示した位相シフト部(116)の半分の回路規模で実現できる。また、係数決定器(1007)は図９(c)に示した係数C1だけを出力すればよく、加算器(1001)、減算器(1004)、乗算器(1003)(1006)、加算器(1008)、係数決定器(1007)から成る折返し成分除去部(1010)は乗算器の個数を減らすことができるため、図１に示した折返し成分除去部(117)よりも小さい回路規模で実現できる。
なお、実施例３に係る画像信号処理方法についても、図１7の説明と同様に、上記従来技術の動作の相違を確認することができるが、その結果は実施例１と同様であるので、説明を省略する。
また、実施例３に係る画像信号処理装置及び画像信号処理方法についても、垂直方向や斜め方向の高解像度化に適用することが可能である。
以上説明した実施例３に係る画像信号処理装置は、実施例１に係る画像信号処理装置の効果に加えて、実施例１に係る画像信号処理装置よりも小さい回路規模で実現でき、より低コストに実現することが可能である。
図１５を用いて本発明の実施例４に係る画像信号処理方法について説明する。
実施例４は、実施例３に係る画像信号処理装置における画像信号処理と等価な処理を、ソフトウェアと協働する制御部により実現する画像信号処理方法に係るものである。本実施例の画像信号処理方法を行う画像処理装置は実施例２と同様の図１８に示す画像処理装置であるので説明を省略する。
図１５に、本実施例の動作のフローチャートの一例を示す。図１５のフローチャートは、ステップ(1501)から開始し、ステップ(1518)にて各フレームの画像データをアップレートする。すなわち、ステップ(1502)にてフレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(1503)にてフレーム#2の画像データをアップレートしてフレームバッファ#2に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、1画素おきにデータを書き込むことにより実現できる。
次に、ステップ(1504)にて、フレームバッファ#1の最初の画素(例えば左上の画素)を処理対象に設定して、以下、フレームバッファ#1のすべての画素データの処理が終わるまで、処理をループする。
ステップ(1505)では、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
ステップ(1506)では、ステップ(1505)で求めた位相差θをもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。このとき、「近傍の画素」として、ステップ(1510)のヒルベルト変換の処理で用いる画素データ、すなわち有限のタップ数が作用する範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図５および図６を用いて説明した動作と同一である。
続いて、ステップ(1520)にて、位相差θに基づいてフレームバッファ#1、#2の画素データから折返し成分を除去し、フレームバッファ#3に出力する。まず、ステップ(1507)にて、フレームバッファ#1の画素データの値と動き補償したフレームバッファ#2の画素データの値を加算し、ステップ(1509)にて周波数fsの成分を遮断する。このfs遮断フィルタ(1509)の動作は、図１0に示した(1002)の動作と同一である。
また、ステップ(1508)にて、フレームバッファ#1の画素データの値から動き補償したフレームバッファ#2の画素データの値を減算する。ここで、減算した結果に対して、ステップ(1519)にて位相を一定量だけシフトする。すなわち、同様に減算した近傍のデータも用いて、ステップ(1510)にてヒルベルト変換する。この位相シフトの動作は、図７および図８を用いて説明した動作と同一である。
続いて、ステップ(1511)にて上記加算後のデータに係数C0(=0.5)を乗算するとともに、ステップ(1512)にて位相差θをもとに係数C1を決定し、ステップ(1513)にて係数C1とヒルベルト変換後のデータを乗算したのち、ステップ(1514)にて両者のデータを加算して、フレームバッファ#3に出力する。この折返し成分除去の動作は、図１０を用いて説明した動作と同一である。
続いて、ステップ(1515)にて、フレームバッファ#1の全画素の処理が完了したかどうかを判定し、完了していなければ、ステップ(1516)で次の画素(例えば右隣の画素)を処理の対象に設定してステップ(1505)以降に戻り、完了していればステップ(1517)にて処理を終了する。
図１５に示すフローチャートの画像信号処理後に、図１８に示すフレームバッファ#3にバッファされた信号は、フレーム単位若しくは画素単位にて表示部(3)に出力することができる。
以上のような処理を行うことにより、フレームバッファ#1とフレームバッファ#2の画素データを用いて、フレームバッファ#3に高解像度化した信号を出力することができる。動画に応用する場合は、ステップ(1501)からステップ(1517)に至る処理を、フレームごとに繰り返せばよい。
なお、実施例４に係る画像信号処理方法についても、図１7を用いて、上記従来技術の動作の相違を確認することができるが、その結果は実施例１と同様であるので、説明を省略する。
また、実施例４に係る画像信号処理方法についても、垂直方向や斜め方向の高解像度化に適用することが可能である。
以上説明した実施例４に係る画像信号処理方法は、実施例２に係る画像信号処理方法と同様の画像信号高解像度化の効果を有する。さらに実施例４に係る画像信号処理方法は、実施例２に係る画像信号処理方法に比べて一部の処理ステップの内容を共通化することにより、実施例２に係る画像信号処理方法よりも少ない処理量(演算数)で同様の信号処理を実現することが可能であるという効果を有する。
図１１に、本発明の実施例５を示す。同図に示す構成は、図９(d)に示したように位相差θが0のときに係数C1、C3が不定になることや、位相差θが0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図１０に示した構成をベースとして、位相差θが0近傍になったときに補助的画素補間部(1105)からの出力に切り替えるように構成したものである。すなわち、一般的な補間ローパスフィルタ(1101)をバイパス経路として用意し、係数決定器(1103)にて上述した係数C0、C1のほかに新たにC4を生成して、乗算器(1102)にて補間ローパスフィルタ(1101)の出力と係数C4を乗算し、加算器(1104)で高解像度化した信号に加えて出力する。
補間ローパスフィルタ(1101)、乗算器(1102)、係数決定器(1103)、加算器(1104)、補助的画素補間部(1105)以外の構成は、図１０に示した実施例３の構成と同一であるため説明を省略する。
図１２に、本発明の実施例５に用いる補間ローパスフィルタ(1101)の具体例を示す。同図は、もとのサンプリング周波数fsの1/2をカットオフ周波数とする周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的なsinc関数となり、Ck=sin(πk/2)/(πk/2)とすればよい。
図１３に、本発明の実施例５に用いる係数決定器(1103)の具体例を示す。同図は、図9(d)に示した係数C0、C1をベースとし、通常は新たな係数C4を0としているが、位相差θが0近傍になったときに、係数C1の値を強制的に0にするとともに、係数C4の値を1.0とする動作を示している。この動作により、図１１に示す構成において、位相差θ(102)が0あるいは0近傍になったときに、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えることができるようになる。なお、位相差θが0に近づくとともに、図１２に示した係数から図１３に示した係数に連続的に徐々に近づけるようにしてもよい。また、図１における位置推定部(101)にて、フレーム#1上の処理対象の画素に対応した画素がフレーム#2上にないと判定された場合も、位相差θ(102)が0近傍になったときと同様に各係数を制御して、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えてもよい。
なお、実施例５に係る画像信号処理装置についても、図１7を用いて、上記従来技術の動作の相違を確認することができるが、その結果は実施例１と同様であるので、説明を省略する。
また、実施例５に係る画像信号処理装置についても、垂直方向や斜め方向の高解像度化に適用することが可能である。
以上説明した実施例５に係る画像信号処理装置は、実施例３に係る画像信号処理装置の効果に加えて、実施例３に係る画像信号処理装置よりも、位相差θ(102)が0あるいは0近傍になったとき(すなわち静止、あるいはほぼ静止)やフレーム#1上の処理対象の画素に対応した画素がフレーム#2上にないと判定された場合にも処理結果が不定になることなく、安定した出力画像を得ることが可能であるという効果を有する。
図１６を用いて本発明の実施例６に係る画像信号処理方法について説明する。
実施例６は、実施例５に係る画像信号処理装置における画像信号処理と等価な処理を、ソフトウェアと協働する制御部により実現する画像信号処理方法に係るものである。本実施例の画像信号処理方法を行う画像処理装置は実施例２と同様の図１８に示す画像処理装置であるので説明を省略する。
図１６に、本実施例の動作のフローチャートの一例を示す。同図に示した処理ステップの動作は、図9(d)に示したように位相差θが0のときに係数C1、C3が不定になることや、位相差θが0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、実施例４において説明した図１５の各ステップをベースとして、位相差θが0あるいは0近傍になったときにステップ(1606)の処理結果をフレームバッファ#3に出力するように構成したものである。すなわち、ステップ(1601)にて位相差θをもとに係数C0、C1、C4を決定し、ステップ(1602)にてフレームバッファ#1の中の対象の画素データとその近傍の画素データを用いて一般的な補間ローパスフィルタ処理を行ったのちに、ステップ(1603)にて係数C4を乗算して、ステップ(1604)にてステップ(1511)(1513)の出力と加算してフレームバッファ#3に出力する。
これら以外のステップは、実施例４において説明した図１５の処理ステップと同一であるため、説明を省略する。なお、ステップ(1601)での係数決定の動作は、図１３に示した動作と同一であるため、説明を省略する。また、ステップ(1602)での補間ローパスフィルタの動作は、図１２に示した動作と同一であるため、説明を省略する。
なお、実施例６に係る画像信号処理方法についても、図１7を用いて、上記従来技術の動作の相違を確認することができるが、その結果は実施例１と同様であるので、説明を省略する。
なお、実施例６に係る画像信号処理方法についても、垂直方向や斜め方向の高解像度化に適用することが可能である。
以上説明した実施例６に係る画像信号処理方法は、実施例４に係る画像信号処理方法の効果に加えて、実施例４に係る画像処理方法よりも、位相差θ(102)が0あるいは0近傍になったとき(すなわち静止、あるいはほぼ静止)やフレーム#1上の処理対象の画素に対応した画素がフレーム#2上にないと判定された場合にも処理結果が不定になることなく、安定した出力画像を得ることが可能であるという効果を有する。
図２０に、本発明の実施例７に係る画像信号処理装置を示す。本実施例に係る画像処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部(1)と、この入力部(1)から入力されたフレームを水平・垂直方向を組み合わせた2次元の高解像度化するための解像度変換部(4)と、更にこの解像度変換部(4)によって高解像度化されたフレームに基づき画像を表示する表示部(3)とを備えている。
この解像度変換部(4)では、水平方向および垂直方向のそれぞれに解像度変換処理を行い、それぞれの結果のうち解像度向上効果が大きい成分を選択的に、もしくは混合させて出力することにより、2次元の高解像度化を実現する。以下、解像度変換部(4)の詳細について説明する。
図２０において、入力部(1)に入力されたフレーム#1(2010)とフレーム#2(2013)をもとに、水平解像度変換部(2001)と垂直解像度変換部(2005)を用いて、水平方向の画素数を増加させたフレーム(2011)と垂直方向の画素数を増加させたフレーム(2014)をそれぞれ生成する。
ここで、各解像度変換部(2001)(2005)は、図１に示す本発明の実施例１に係る画像信号処理装置の解像度変換部(2)の構成をそのまま用いて、水平方向および垂直方向の信号処理をそれぞれ行う。この際、水平解像度変換部(2001)では、図１に示したアップレート器(103)(104)、遅延器(105)(107)、π/2位相シフト器(106)(108)は、それぞれ水平方向のアップレート、遅延、π/2位相シフトを行うように構成する。
同様に、垂直解像度変換部(2005)では、図１に示したアップレート器(103)(104)、遅延器(105)(107)、π/2位相シフト器(106)(108)は、それぞれ垂直方向のアップレート、遅延、π/2位相シフトを行うように構成する。これらは、図5〜図8に示した動作と従来技術等とを用いて実施可能である。
なお、各解像度変換部(2001)(2005)には、本発明の実施例１に係る画像信号処理装置の解像度変換部の構成の代わりに、本発明の実施例３に係る画像信号処理装置の解像度変換部、本発明の実施例５に係る画像信号処理装置の解像度変換部を用いても実現することが可能である。以下の説明については、本発明の実施例１に係る画像信号処理装置の解像度変換部の構成を用いたものとして説明する。
本実施例では、被写体が水平・垂直方向の2次元的に移動したことを想定し、図１および図２に示した動作を2次元に拡張する。すなわち、水平解像度変換部(2001)の中の位置推定部(図１中の(101))および動き補償・アップレート部(図１中の(115))では、フレーム#1上の被写体を基準としてフレーム#2上の被写体を2次元的に動き補償するとともに、各フレームの画素のサンプリング位相差のうち、水平位相差θHを折返し成分除去部(図１中の(117))の係数決定に用いる。
同様に、垂直解像度変換部(2005)の中の位置推定部(図１中の(101))および動き補償・アップレート部(図１中の(115))では、フレーム#1上の被写体(2016)を基準としてフレーム#2上の被写体(2017)を2次元的に動き補償するとともに、各フレームの画素のサンプリング位相差のうち、垂直位相差θVを折返し成分除去部(図１中の(117))の係数決定に用いる。折返し成分除去部(図１中の(117))の係数決定は、図9に示した動作をそのまま用いればよい。
被写体が斜め方向に移動した場合を想定すると、水平解像度変換部(2001) によって水平方向の画素数を増加させたフレーム(2011)には斜め方向の歪が含まれることになるが、もともとの入力信号の垂直周波数が低い成分(縦線など)では、この歪が無視できる程度に小さい。同様に、垂直解像度変換部(2005) によって垂直方向の画素数を増加させたフレーム(2014)には斜め方向の歪が含まれることになるが、もともとの入力信号の水平周波数が低い成分(横線など)では、この歪が無視できる程度に小さい。
この特性を利用し、上記の信号処理に従って水平方向の画素数を増加させたフレーム(2011)は、垂直アップレート器(2002)および画素補間器(2003)からなる垂直補間部(2004)によりフレーム(2012)を生成し、SR(水平)信号とする。ここで画素補間器(2003)は、補間したい画素の上下の画素データの平均値を出力するような、一般的な垂直ローパスフィルタを用いればよい。同様に、垂直方向の画素数を増加させたフレーム(2014)は、水平アップレート器(2006)および画素補間器(2007)からなる水平補間部(2008)により、フレーム(2015)を生成しSR(垂直)信号とする。ここで、画素補間器(2007)は、補間したい画素の左右の画素データの平均値を出力するような、一般的な水平ローパスフィルタを用いればよい。
このように、画素補間器(2003)(2007)を用いて、処理対象の方向と直交する方向の高周波成分を除去して低周波成分だけを抽出すれば、上述した斜め方向に移動した際に発生する歪の影響を無視できる程度に小さくすることができる。上記の処理によって生成したSR(水平)信号とSR(垂直)信号を混合器(2009)によって混合して出力信号とし、表示部(3)にて表示する。
ここで、混合器(2009)の詳細な構成および動作について説明する。混合器(2009)は以下に示す３つの構成例のいずれかを用いればよい。
図２２に、混合器(2009)の第1の構成例を示す。同図において、加算器(2201)と乗算器(2202)を用いて、混合器(2009)に入力されたSR(水平)とSR(垂直)の各信号の平均値を生成して出力する。同図に示す構成は、水平・垂直の各解像度向上効果もそれぞれ1/2になってしまうが、混合器(2009)を最も簡単な構成である為、低コストに実現できる。
図２３に、混合器(2009)の第2の構成例を示す。同図において、混合器(2009)に入力されたSR(水平)とSR(垂直)の各信号に対し、乗算器(2303)および乗算器(2304)を用いて係数K(水平)と係数K(垂直)をそれぞれ乗じ、加算器(2305)で両者を加算して出力とする。係数K(水平)と係数K(垂直)は、それぞれ係数決定器(2301)(2302)にて生成する。以下、この係数決定器(2301)(2302)の動作について説明する。
図２１に示した折返し成分除去部(2108)(2109)は、同図に示す位相差θH(2102)および位相差θV(2103)をもとに、図1に示す係数決定器(109)にて図9に示す係数C0〜C3を発生して折返し成分除去の演算を行う。このとき、位相差θH(2102)、θV(2103)が0のときに係数C1およびC3が不定になることや、位相差θH(2102)、θV(2103)が0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図13に示す係数C4(0≦C4≦1)を導入して、図11に示す構成のように補助的画素補間を行うのが好ましい。逆に言えば、係数C4の値が0.0のときは解像度向上の効果があるが、係数C4の値が1.0に近づくにつれて、解像度向上の効果が小さくなることになる。
この性質を利用し、水平位相差θH(2102)が0近傍(すなわち、係数C4(水平)が1.0近傍)のときは垂直解像度変換結果のSR(垂直)が強く反映され、垂直位相差θV(2103)が0近傍(すなわち、係数C4(垂直)が1.0近傍)のときは水平解像度変換結果のSR(水平)が強く反映されるように、水平・垂直方向それぞれの係数C4の値を用いて係数K(水平)と係数K(垂直)を決定する。この動作を実現するため、例えば図２３に示す係数決定器(2301)ではK(水平)=C4(水平)+(1-C4(垂直))/2の演算を行ってK(水平)を決定し、係数決定器(2303)ではK(垂直)=C4(垂直)+(1-C4(水平))/2の演算を行ってK(垂直)を決定している。
図２４に、係数C4(水平)および係数C4(垂直)をそれぞれ変化させたときの係数決定器(2301)(2302)の出力(係数K(水平)および係数K(垂直))の一例をまとめて示す。同図に示すように、係数C4(水平)が大きくなると係数K(水平)が小さくなるとともに係数K(垂直)が大きくなり、係数C4(垂直)が大きくなると係数K(水平)が大きくなるとともに係数K(垂直)が小さくなるように動作する。
係数C4(水平)と係数C4(垂直)の値が等しいときには、係数K(水平)と係数K(垂直)がそれぞれ0.5となる。このように水平・垂直で独立して変化する係数C4に対して、係数K(水平)と係数K(垂直)を足してちょうど1.0になるように係数Kを決定して、SR(水平)とSR(垂直)を混合する。
図２５および図２６を用いて、混合器(2009)の第3の動作および構成例をそれぞれ説明する。図２５は、水平周波数をμ、垂直周波数をνとして表した2次元周波数領域である。もとの入力画像の水平サンプリング周波数をμs、垂直サンプリング周波数をνsとすると、図２０および図２１に示した解像度変換部(4)の出力は、水平周波数μが-μs〜μsの範囲、垂直周波数νが-νs〜νsの範囲の信号となる。
水平・垂直の各解像度変換により高周波成分が再生されるようになるが、高周波成分はもともと信号レベルが小さいため、水平解像度変換による効果が大きいのは(μ,ν)=(±μs/2, 0)の近傍の周波数領域(2501)の成分（特に(μ,ν)=(+μs/2, 0)を含み、μ＞０となる周波数の領域と、(μ,ν)=(-μs/2, 0)を含み、μ＜０となる周波数の領域の成分）となり、垂直解像度変換による効果が大きいのは(μ,ν)=(0, ±νs/2)の近傍の周波数領域(2502)の成分（特に(μ,ν)=(0, +νs/2)を含み、ν＞０となる周波数の領域と、(μ,ν)=(0, -νs/2)を含み、ν＜０となる周波数の領域の成分）となる。
従って、これらの周波数成分(2501)(2502)を2次元フィルタで抽出して混合すると、解像度向上効果が大きい成分を選択的に出力することができる。
図２６に、水平・垂直の各解像度変換による効果が大きい成分を抽出する混合器(2009)の構成例を示す。同図において、2次元フィルタ(2601)を用いて、混合器(2009)に入力されたSR(水平)の解像度向上効果が大きい周波数領域(2501)の成分を抽出する。同様に、2次元フィルタ(2602)を用いて、混合器(2009)に入力されたSR(垂直)の解像度向上効果が大きい周波数領域(2502)の成分を抽出する。
周波数領域(2501)(2502)以外の成分として、加算器(2603)と乗算器(2604)を用いてSR(水平)とSR(垂直)の平均の信号を作り、2次元フィルタ(2605)を用いて、2次元フィルタ(2601)(2602)の各通過帯域以外の成分(すなわち、残りの成分)を抽出する。2次元フィルタ(2601)(2602)(2605)の各出力信号を加算器(2606)で加算し、混合器(2009)の出力とする。
なお、同図中に示す2次元フィルタ(2601)(2602)(2605)の中の丸で囲まれた数字はそれぞれのフィルタのタップ係数の一例を示している。（各フィルタの係数は説明の簡略化のため、整数にて表記している。本来の係数値は丸で囲まれた数字とその右部に示された「×1/16」等に示される演算の積である。例えば、2次元フィルタ(2601)では丸で囲まれた各数字にそれぞれ1/16を乗算したのが本来の係数値である。以下の実施例に示される２次元フィルタの係数において同じ。）
2次元フィルタ(2601)は±μs/2を通過帯域の中心周波数とする水平バンドパスフィルタと垂直ローパスフィルタの積とし、2次元フィルタ(2602)は±νs/2を通過帯域の中心周波数とする垂直バンドパスフィルタと水平ローパスフィルタの積とし、2次元フィルタ(2605)は全帯域から2次元フィルタ(2601)と2次元フィルタ(2602)の通過帯域を減じた特性とすればよい。
次に、図３４を用いて、実施例７に係る画像信号処理装置における処理と上記従来技術の動作の違いを説明する。同図(a)は、解像度変換部(4)に入力されたフレーム#1(3401)、フレーム#2(3402)、フレーム#3(3403)、フレーム#4(3404)、フレーム#5(3405)を示し、同図(b)は解像度変換部(4)から出力された各フレームを示す。各フレームにて、被写体が1/4画素ずつ右回りに移動し、4フレームで1周するように意図的に被写体を移動させる。この動きをフレーム#6以降も同様に連続させる。
特許文献１、特許文献２、非特許文献１に記載されている従来技術では、上述したよう、水平・垂直の2次元の入力信号に対して高解像度化する場合、折返しが縦横2方向から来るので、原信号の帯域が縦横共に2倍に広がると、3つの折返し成分が重なり、それらを打ち消すためには2M+1=7個のデジタルデータ(=7枚のフレーム画像の信号)を必要としていた。従って、図３４(a)に示すような4フレームで一巡するような信号を入力した場合、どの7フレームを選択しても独立したデータが得られないため、高解像度化処理による解が不定となり求められない。
一方、本実施例を用いれば、例えば隣接する2フレーム(例えば、フレーム#1(3401)とフレーム#2(3402)、(あるいはフレーム#2(3402)とフレーム#3(3403)))を用いて、同図(b)に示すように水平方向(あるいは垂直方向)の折返し成分を除去して高解像度化を実現できる。すなわち、同図(a)の入力画像をテストパターンとして用いることにより、本実施例の動作状況を確認することができる。このテストパターンの絵柄として、一般的によく知られている円形ゾーンプレート(CZP：Circular Zone Plate)を用いれば、解像度変換の効果を表示部(3)にて直視できるようになる。すなわち、円形ゾーンプレートをフレームごとに左右に移動させれば水平方向の解像度が向上した画像が表示され、上下(あるいは斜め)に移動させれば垂直方向(あるいは斜め方向)の解像度が向上した画像が表示されるなど、テストパターンの移動方向に応じた解像度向上の効果を確認することができる。
以上説明した実施例７に係る画像信号処理装置によれば、２枚の入力画像フレームの各画像信号に対して位相シフト行い、各画像信号からぞれぞれ２つの信号を生成する。これにより、２枚の入力画像フレームの画像信号から４つの信号を生成する。ここで、２枚の入力画像フレームの位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。これを生成画像の各画素について行うことにより、入力画像フレームよりも１次元方向に高解像度化した画像を生成する。
これを水平方向と垂直方向のそれぞれに行い、水平方向に高解像度化した画像と垂直方向に高解像度化した画像を生成する。当該水平方向に高解像度化した画像と垂直方向に高解像度化した画像とについて、それぞれ、垂直方向、水平方向にアップレート処理を行ったのち、両者を混合する。
これにより、従来例よりも少ない２枚の入力画像フレームの各画像信号から、垂直方向と水平方向との両方向に高解像度化した高解像度画像を生成することができる。すなわち、２次元高解像度画像を生成することができる。
また、また、実施例７に係る画像信号処理装置は、従来例よりも少ない２枚の入力画像フレームを用いるため、必要な画像処理の量を従来例より低減できる。これにより、折り返し成分が少なく、垂直方向と水平方向との両方向について入力画像よりも高解像度な高解像度画像を生成する画像信号処理装置を、従来例よりも低コストに実現することが可能である。
なお、特許文献１、特許文献２、非特許文献１に記載されている従来技術により、3フレームを用いて水平方向や垂直方向などの1次元の高解像度化を複数方向に対して行い、それらの各結果を図２０に示す混合器(2009)に入力して混合し、2次元の解像度変換結果として出力してもよい。この場合、図２０に示したように2フレームのみを用いて2次元の解像度変換を行う構成よりもフレームメモリや動き推定部などの信号処理回路の規模が大きくなるが、特許文献１、特許文献２、非特許文献１に記載されているように、少なくとも7フレームの信号を用いるよりも、フレームメモリや動き推定部などの信号処理回路の規模を小さくできる。
また、特許文献１、特許文献２、非特許文献１に記載されている従来技術に限定されず、その他従来の高解像度化技術を適用して、水平方向や垂直方向などの1次元の高解像度化を複数方向に対して行い、それらの各結果を図２０に示す混合器(2009)に入力して混合し、2次元の解像度変換結果として出力してもよい。
また、図２０では、フレーム#1とフレーム#2の入力信号の組を用いてフレーム#1の解像度を変換する場合を例に挙げて説明したが、これ以外にも例えば、フレーム#1とフレーム#3、フレーム#1とフレーム#4などの複数の組を用いてそれぞれでフレーム#1の解像度を変換し、それらの結果を混合して、フレーム#1の最終的な解像度変換結果としてもよい。
このときの混合方法として、各結果の平均値をとってもよいし、図23および図24に示したようにフレームごとの係数C4(フレーム)の値に応じて混合してもよい。この場合、係数C4(フレーム)として、フレームごとの係数C4(水平)と係数C4(垂直)のMAX値(小さくないほうの値)を用いてもよい。また、画素ごとにすべての組の係数C4(水平)、C4(垂直)を比較し、係数C4が最も小さい組(すなわち、最も解像度向上効果が大きい組)から得られる解像度変換結果を画素ごとに選択して、フレーム#1の最終的な解像度変換結果としてもよい。
図２１に、本発明の実施例８に係る画像信号処理装置を示す。本実施例に係る画像処理装置は、上述した実施例７の構成を変形したものであり、図２０に示した解像度変換部(2001)(2005)と補間部(2004)(2008)の処理順序を逆にして、補間処理を行ったのちに解像度変換を行うように構成したものである。これにより、解像度変換部(2001)(2005)の中にあるアップレート器(図１中の(103)(104))と、補間部(2004)(2008)の中にあるアップレート器(図２０中の(2002)(2006))を共通化するとともに、水平解像度変換部(2001)と垂直解像度変換部(2005)の中にあるそれぞれの位置推定部(図１中の(101))を共通化できるため、より小さい回路規模および演算量で同様の信号処理を実現できるようになる。
図２１において、まず位置推定部(2101)により、入力部(1)に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、水平方向と垂直方向のそれぞれのサンプリング位相差θH(2102)、θV(2103)を求める。
次に、動き補償・アップレート部(2110)のアップレート器(2104)(2105)により、位相差θH(2102)、θV(2103)の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ水平・垂直ともに2倍(合計4倍)に増して高密度化する。アップレート器(2104)(2105)は、図5および図6に示した動作・構成を水平・垂直方向の2次元に拡張したものである。位相シフト部(2111)では、この高密度化したデータの位相を一定量だけシフトする。
このとき、水平位相シフト器(2106)は水平方向の位相シフトを行い、垂直位相シフト器(2107)は垂直方向の位相シフトを行うものであり、図1に示した遅延器(105)(107)およびπ/2位相シフト器(108)と図7および図8に示した動作・構成と同様に実施できる為、説明は省略する。
位相シフトした各信号に対し、折返し成分除去部(2112)における水平方向の折返し成分除去部(2108)および垂直方向の折返し成分除去部(2109)にてそれぞれ水平・垂直方向の折返し成分を除去する。次に水平方向の折返し成分除去部(2108)の出力を画素補間器(2003)を用いて画素補間してSR(水平)信号ととし、垂直方向の折返し成分除去部(2109)の出力を画素補間器(2007)を用いて画素補間してSR(垂直)信号ととし、これらを混合器(2009)で両者を混合して出力とする。
折返し成分除去部(2108)(2109)は、図1に示した折返し成分除去部(117)の構成をそのまま用いることができる。位相差θ(102)として、折返し成分除去部(2108)では水平位相差θH(2102)を用い、折返し成分除去部(2109)では水平位相差θH(2103)を用いて図9に示した動作を行うことにより、それぞれの方向の折返し成分を除去することができる。
なお、以上の説明では、位相シフト部(2111)は、図1に示した遅延器(105)(107)およびπ/2位相シフト器(108)と図7および図8に示した動作・構成と同様に実施し、折返し成分除去部(2108)(2109)は、図1に示した折返し成分除去部(117)の構成をそのまま用いるとしたが、これにかえて、位相シフト部(2111)には、図10の位相シフト部(1009)をそれぞれ垂直方向、水平方向用に用い、折返し成分除去部(2108)(2109)は、図10の折り返し成分除去手段(1010)をそれぞれ用いてもよい。さらにこのとき、折返し成分除去部(2108)(2109)のそれぞれに図11の補助的画素補間部(1105)を図１１と同様に備える構成としてもよい。
なお、混合器(2009)については実施例７と同様であるので、説明を省略する。
また、図３４に示した入力フレームに対する動作も実施例７と同様であるので、説明を省略する。
以上説明した実施例８に係る画像信号処理装置は、実施例７に係る画像信号処理装置の効果を有しながら、実施例７に係る画像信号処理装置に比べて一部の処理部を共通化することにより、実施例７に係る画像信号処理装置よりも小さい回路規模および演算量で同様の信号処理を実現することが可能であるという効果を有する。
なお、特許文献１、特許文献２、非特許文献１に記載されている従来技術により、3フレームを用いて水平方向や垂直方向などの1次元の高解像度化を複数方向に対して行い、それらの各結果を図２１に示す混合器(2009)に入力して混合し、2次元の解像度変換結果として出力してもよい。この場合、図２１に示したように2フレームのみを用いて2次元の解像度変換を行う構成よりもフレームメモリや動き推定部などの信号処理回路の規模が大きくなるが、特許文献１、特許文献２、非特許文献１に記載されているように、少なくとも7フレームの信号を用いるよりも、フレームメモリや動き推定部などの信号処理回路の規模を小さくできる。
また、特許文献１、特許文献２、非特許文献１に記載されている従来技術に限定されず、その他の従来の高解像度化技術を適用して、水平方向や垂直方向などの1次元の高解像度化を複数方向に対して行い、それらの各結果を図２１に示す混合器(2009)に入力して混合し、2次元の解像度変換結果として出力してもよい。
また、図２１では、フレーム#1とフレーム#2の入力信号の組を用いてフレーム#1の解像度を変換する場合を例に挙げて説明したが、これ以外にも例えば、フレーム#1とフレーム#3、フレーム#1とフレーム#4などの複数の組を用いてそれぞれでフレーム#1の解像度を変換し、それらの結果を混合して、フレーム#1の最終的な解像度変換結果としてもよい。
このときの混合方法として、各結果の平均値をとってもよいし、図23および図24に示したようにフレームごとの係数C4(フレーム)の値に応じて混合してもよい。この場合、係数C4(フレーム)として、フレームごとの係数C4(水平)と係数C4(垂直)のMAX値(小さくないほうの値)を用いてもよい。また、画素ごとにすべての組の係数C4(水平)、C4(垂直)を比較し、係数C4が最も小さい組(すなわち、最も解像度向上効果が大きい組)から得られる解像度変換結果を画素ごとに選択して、フレーム#1の最終的な解像度変換結果としてもよい。
図２７に、本発明の実施例９に係る画像信号処理装置を示す。本実施例に係る画像処理装置は、図２１に示した構成例に、さらに右下および右上方向の斜め成分の高解像度変換部を加えた構成としている。すなわち、位相シフト部(2708)に斜め(右下)位相シフト部(2701)と斜め(右上)位相シフト部(2702)を追加するとともに、折返し成分除去部(2709)に折返し成分除去部(2705)(2706)を追加し、画素補間器(2710)(2711)をそれぞれ介したのちに、SR(水平)、SR(垂直)、SR(右上)、SR(右下)の各信号を混合部(2707)にて混合し、出力とする。ここで、画素補間器(2710)(2711)は、補間したい画素の上下左右の画素データの平均値を出力するような、一般的な2次元ローパスフィルタを用いればよい。
位相差θとして斜め方向の位相差情報が必要であり、水平位相差θH(2102)と垂直位相差θV(2103)を加算器(2703)で加算した位相差(θH+θV)を折返し成分除去部(2705)に入力し、減算器(2704)で生成した位相差(-θH+θV)を折返し成分除去部(2706)に入力するように構成すればよい。なお、折返し成分除去部(2106)(2109)(2705)(2706)の構成および動作は、すべて共通である。
図２８(a)〜(d)に、2次元周波数領域における水平位相シフト部(2106)、垂直位相シフト部(2107)、斜め(右下)位相シフト部(2701)、斜め(右上)位相シフト部(2702)のそれぞれの動作を示す。図２８(a)〜(d)は図２５と同様に水平周波数をμ、垂直周波数をνとして表した2次元周波数領域である。これらの位相シフト部(2106)(2107)(2701)(2702)は、図1に示した位相シフト部(116)と同様の構成とし、その中のπ/2位相シフト器(106)(108)の「周波数-位相差」特性をそれぞれの方向に合わせて変更する。
すなわち、同図(a)において、水平位相シフト部(2106)では、入力信号の水平周波数サンプリング周波数をμsとした場合に、図7に示した動作と同様に、-μs〜0の範囲の周波数成分の位相をπ/2だけシフトし、0〜μsの範囲の周波数成分の位相を-π/2だけシフトする。同様に、垂直位相シフト部(2107)では、入力信号の垂直周波数サンプリング周波数をνsとした場合に、-νs〜0の範囲の周波数成分の位相をπ/2だけシフトし、0〜νsの範囲の周波数成分の位相を-π/2だけシフトする。
同様に、斜め(右下)位相シフト部(2701)および斜め(右上)位相シフト部(2702)では、同図(c)および同図(d)にそれぞれ示すように、信号の位相を-π/2あるいはπ/2だけシフトする。これらの「周波数-位相差」特性は、図8に示したタップ係数を、2次元のサンプリング点に合わせて水平、垂直、斜め(右下)、斜め(右上)のそれぞれの方向に配置することにより容易に実現できる。
図２９に、混合器(2707)の第1の構成例を示す。同図において、加算器(2901)と乗算器(2902)を用いて、混合器(2707)に入力されたSR(水平)、SR(垂直)、SR(右下)、SR(右上)の各信号の平均値を生成して出力する。同図に示す構成は、混合器(2707)を最も簡単に構成した例であるが、水平・垂直・右下・右上の各解像度向上効果もそれぞれ1/4になってしまう。
図３０に、混合器(2707)の第2の構成例を示す。同図において、混合器(2707)に入力されたSR(水平)、SR(垂直)、SR(右下)、SR(右上)の各信号に対し、乗算器(3005)、乗算器(3006)、 乗算器(3007)、乗算器(3008)を用いて、係数K(水平)、係数K(垂直)、係数K(右下)、係数K(右上)をそれぞれ乗じ、加算器(3009)でそれらの信号を加算して出力とする。係数K(水平)、係数K(垂直)、係数K(右下)、係数K(右上)は、それぞれ係数決定器(3001)(3002)(3003)(3004)にて生成する。以下、この係数決定器(3001)(3002)(3003)(3004)の動作について説明する。
図２７に示した折返し成分除去部(2108)(2109)(2705)(2706)は、同図に示す位相差θH(2102)、位相差θV(2103)、位相差(θH+θV)、位相差(-θH+θV)をもとに、図1に示す係数決定器(109)にて図9に示す係数C0〜C3を発生して折返し成分除去の演算を行う。このとき、位相差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)が0のときに係数C1およびC3が不定になることや、位相差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)が0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図13に示す係数C4(0≦C4≦1)を導入して、図11に示す構成のように補助的画素補間を行うのが好ましい。逆に言えば、係数C4の値が0.0のときは解像度向上の効果があるが、係数C4の値が1.0に近づくにつれて、解像度向上の効果が小さくなることになる。この性質を利用し、水平位相差θH(2102)が0近傍(すなわち、係数C4(水平)が1.0近傍)のときは水平解像度変換結果のSR(水平)が弱くなり、水平位相差θH(2102)が0近傍でないとき(すなわち、係数C4(水平)が0.0近傍のとき)は水平解像度変換結果のSR(水平)が強くなるように、係数決定器(3001)にて係数K(水平)を決定する。
この一例として、係数K(水平)=(1+C4(水平)*3-C4(垂直)-C4(右下)-C4(右上))/4とすればよい。同様に、係数決定器(3002)(3003)(3004)にて、それぞれ係数K(垂直)、K(右下)、K(右上)を決定する。このとき、独立して変化する係数C4(水平)、係数C4(垂直)、係数C4(右下)、係数C4(右上)に対して、係数K(水平)+係数K(垂直)+係数K(右下)+係数K(右上)=1.0となるよう係数Kを決定して、SR(水平)、SR(垂直)、SR(右下)、SR(右上)を混合する。
図３１および図３２に、混合器(2707)の第3の動作および構成例をそれぞれ示す。図３１は図２５と同様に水平周波数をμ、垂直周波数をνとして表した2次元周波数領域である。図３１において、もとの入力画像の水平サンプリング周波数をμs、垂直サンプリング周波数をνsとすると、図２７に示した解像度変換部(4)の出力は、水平周波数μが-μs〜μsの範囲、垂直周波数νが-νs〜νsの範囲の信号となる。
斜め(右上)の解像度変換による効果が大きいのは、図３１に示すような(μ,ν)=(+μs/2, +νs/2)の近傍と(μ,ν)=(-μs/2, -νs/2)の近傍の周波数領域(3101)の成分(特に(μ,ν)=(+μs/2, +νs/2)を含み、μ＞０, ν＞０となる周波数の領域と、(μ,ν)=(-μs/2, -νs/2)を含み、μ＜０, ν＜０となる周波数の領域の成分)となる。
斜め(右下)の解像度変換による効果が大きいのは、図３１に示すような(μ,ν)=(+μs/2,-νs/2)の近傍と(μ,ν)=(-μs/2, +νs/2)の近傍の周波数領域(3102)の成分(特に(μ,ν)=(+μs/2, -νs/2)を含み、μ＞０, ν＜０となる周波数の領域と、(μ,ν)=(-μs/2, +νs/2)を含み、μ＜０, ν＞０となる周波数の領域の成分)となる。
従って、これらの周波数成分(3101)(3102)を2次元フィルタで抽出し、図２５に示した周波数成分(2501)(2502)も併せて混合すると、解像度向上効果が大きい成分を選択的に出力することができる。
図３２に、水平・垂直・斜め(右下)・斜め(右上)の各解像度変換による効果が大きい成分を抽出する混合器(2707)の構成例を示す。同図において、2次元フィルタ(3201)を用いて、混合器(2707)に入力されたSR(右下)の解像度向上効果が大きい周波数領域(3102)の成分を抽出する。同様に、2次元フィルタ(3202)を用いて、混合器(2707)に入力されたSR(右上)の解像度向上効果が大きい周波数領域(3101)の成分を抽出する。また、図２６に示した2次元フィルタ(2601)(2602)により、それぞれSR(水平)およびSR(垂直)の解像度向上効果が大きい周波数領域(2501)(2502)の成分を抽出する。周波数領域(2501)(2502)(3101)(3102)以外の成分として、加算器(3203)と乗算器(3204)を用いてSR(水平)、SR(垂直)、SR(右下)、SR(右上)の平均の信号を作り、2次元フィルタ(3205)を用いて、2次元フィルタ(2601)(2602)(3201)(3202)の各通過帯域以外の成分を抽出する。2次元フィルタ(2601)(2602)(3201)(3202)(3205)の各出力信号を加算器(3206)で加算し、混合器(2707)の出力とする。
なお、同図中に示す2次元フィルタ(2601)(2602)(3201)(3202)(3205)の中の丸で囲まれた数字は、それぞれのフィルタのタップ係数の一例を示す。
以上説明した実施例９に係る画像信号処理装置によれば、水平方向と垂直方向に加えて、斜め方向をも高解像度化した高解像度画像を生成することができる。
なお、特許文献１、特許文献２、非特許文献１に記載されている従来技術により、3フレームを用いて1次元(水平・垂直・斜め(右下)・斜め(右上))の高解像度化を複数方向に対して行い、それらの各結果を図２７に示す混合器(2707)に入力して混合し、2次元の解像度変換結果として出力してもよい。この場合、図２７に示したように2フレームのみを用いて2次元の解像度変換を行う構成よりもフレームメモリや動き推定部などの信号処理回路の規模が大きくなるが、特許文献１、特許文献２、非特許文献１に記載されているように少なくとも7フレームの信号を用いるよりも、フレームメモリや動き推定部などの信号処理回路の規模を小さくできる。
また、特許文献１、特許文献２、非特許文献１に記載されている従来技術に限定されず、その他の従来の高解像度化技術を適用して1次元(水平・垂直・斜め(右下)・斜め(右上))の高解像度化を複数方向に対して行い、それらの各結果を図２７に示す混合器(2707)に入力して混合し、2次元の解像度変換結果として出力してもよい。
また、図２７では、フレーム#1とフレーム#2の入力信号の組を用いてフレーム#1の解像度を変換する場合を例に挙げて説明したが、これ以外にも例えば、フレーム#1とフレーム#3、フレーム#1とフレーム#4などの複数の組を用いてそれぞれでフレーム#1の解像度を変換し、それらの結果を混合して、フレーム#1の最終的な解像度変換結果としてもよい。このときの混合方法として、各結果の平均値をとってもよいし、図23および図24に示したようにフレームごとの係数C4(フレーム)の値に応じて混合してもよい。この場合、係数C4(フレーム)として、フレームごとの係数C4(水平)と係数C4(垂直)のMAX値(小さくないほうの値)を用いてもよい。また、画素ごとにすべての組の係数C4(水平)、C4(垂直)を比較し、係数C4が最も小さい組(すなわち、最も解像度向上効果が大きい組)から得られる解像度変換結果を画素ごとに選択して、フレーム#1の最終的な解像度変換結果としてもよい。
図３３を用いて本発明の実施例１０に係る画像信号処理方法について説明する。
実施例１０は、実施例９に係る画像信号処理装置における画像信号処理と等価な処理を、ソフトウェアと協働する制御部により実現する画像信号処理方法に係るものである。本実施例の画像信号処理方法を行う画像処理装置は実施例２と同様の図１８に示す画像処理装置であるので説明を省略する。
図３３に、本実施例の動作のフローチャートの一例を示す。図３３のフローチャートは、ステップ(3301)から開始し、ステップ(5-1)(5-2)(5-3)(5-4)にてそれぞれ水平、垂直、斜め(右下)、斜め(右上)の高解像度化を行う。ここで、各ステップ(5-1)(5-2)(5-3)(5-4)では、図14乃至図16に示した処理ステップ(5)、あるいは後述する図42乃至図44に示す処理ステップ(5)のいずれか、水平、垂直、斜め(右下)、斜め(右上)の各方向に実行すればよい。すなわち、π/2位相シフト(1407)(1408)、ヒルベルト変換(1510)などの「周波数-位相」特性を、図２８に示すようにそれぞれの方向に応じて変更するとともに、位相差θをθH、θV、(θH+θV)、(-θH+θV)にそれぞれ置き換えて処理すればよい。各ステップ(5-1)(5-2)(5-3)(5-4)の処理結果は、図14乃至図16を用いて説明したように、それぞれのフレームバッファ#3に書き込まれる。続くステップ(3302-1)(3302-2)(3302-3) (3302-4)では、それぞれ垂直、水平、斜め方向の画素補間を行い、出力するフレームの水平・垂直の画素数と同じになるように、2次元フレームバッファ#3の全画素を生成する。続くステップ(3303)では、図29、図30、図32を用いて説明した方法に従って各フレームバッファ#3のデータを画素ごとに混合して、出力用のフレームバッファ#4に出力する。なお、上記第8乃至実施例９の動作をソフトウェアプログラムにより実現する場合には、斜め方向の処理を行うステップ(5-3)(5-4)、それらの結果に対して画素補間を行うステップ(3302-3)(3302-4)は不要である。また、ステップ(3303)の混合方法として、図22、図23、図26を用いて説明した方法に従って、データを混合する。
以上説明した実施例１０に係る画像信号処理方法によれば、水平方向と垂直方向に加えて、斜め方向をも高解像度化した高解像度画像を生成することができる。
図５４に、本発明の実施例１１に係る画像処理装置を示す。本実施例に係る画像処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部(1)と、この入力部(1)から入力された4枚のフレームを用いて、水平方向に2倍、垂直方向にそれぞれ2倍の高解像度化を行うための解像度変換部(8)と、更にこの解像度変換部(8)によって高解像度化されたフレームに基づき画像を表示する表示部(3)とを備えている。この解像度変換部(8)では、入力された4枚のフレームの各画像信号に対して、水平方向、垂直方向および水平・垂直方向のそれぞれに位相シフトを行うことによって、2次元周波数領域における折返し成分を除去して、2次元の高解像度化を実現する。以下、解像度変換部(8)の詳細について説明する。
図５４において、まず位置推定部(5406-2)(5406-3)(5406-4)により、入力部(1)から入力されたフレーム#1上の処理対象の画素の2次元的なサンプリング位置(標本化位置)を基準として、フレーム#2、フレーム#3、フレーム#4の上のそれぞれの対応する画像の2次元的な位置を推定し、水平位相差θH2(5407-2)、θH3(5407-3)、θH4(5407-4)、および垂直位相差θV2(5408-2)、θV3(5408-3)、θV4(5408-4)を求める。次に、動き補償・アップレート部(5410)の水平・垂直アップレート器(5401-1)(5401-2)(5401-3)(5401-4)により、上記位相差θH2(5407-2)、θH3(5407-3)、θH4(5407-4)、θV2(5408-2)、θV3(5408-3)、θV4(5408-4)の各情報を用いて、フレーム#2、フレーム#3、フレーム#4を動き補償してフレーム#1と位置を合わせるとともに、各フレームの画素数をそれぞれ水平2倍化、垂直2倍化して、合計4倍に高密度化する。位相シフト部(5411)では、この高密度化したデータの位相を、水平位相シフト器(5403-1)(5403-2)(5403-3)(5403-4)、垂直位相シフト器(5404-1)(5404-2)(5404-3)(5404-4)、水平・垂直位相シフト器(5405-1)(5405-2)(5405-3)(5405-4)を用いて、水平方向、垂直方向、水平・垂直方向にそれぞれ一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段とし
て、上述したヒルベルト変換器などのπ/2位相シフト器を用いることができる。折返し成分除去部(5409)では、上述した位相シフト部(5411)からの合計16個の信号と、位相推定部(5412)からの合計6個の位相差信号を用いて、水平・垂直のそれぞれの方向の折返し成分を除去し、出力を得る。この出力は、表示部３に供給される。なお、位置推定部(5406-2)(5406-3)(5406-4)は、上記従来技術をそのまま用いて実現することができる。水平・垂直アップレート器(5401-1)(5401-2)(5401-3)(5401-4)は、図5および図6に示した動作・構成を水平・垂直方向の2次元に拡張したものである。位相シフト部(5411)、折返し成分除去部(5409)の各詳細については後述する。
図５５に、水平・垂直位相シフト器(5405-1)(5405-2)(5405-3)(5405-4)の構成例を示す。画像信号の水平方向の位相と垂直方向の位相は互いに独立なため、水平・垂直位相シフト器(5405)は、垂直位相シフト器(5404)と水平位相シフト器(5403)を同図のように直列に組み合わせて実現できる。また、接続順序を逆にし、水平位相シフト器(5403)を垂直位相シフト器(5404)の前に配置しても同一の動作となることは明らかである。
図５６に、上述した位相シフト部(5411)、折返し成分除去部(5409)の各詳細な動作を示す。同図(a)は、水平周波数をμ、垂直周波数をνとして表した2次元周波数領域である。もとの入力画像の水平サンプリング周波数をμs、垂直サンプリング周波数をνsとすると、同図(a)の原点(すなわち(μ,ν)=(0, 0))の近傍の信号を原成分として、(μ,ν)=(μs, 0)、(μ,ν)=(0,νs)、(μ,ν)=(μs,νs)の位置に折返し成分が生じることがよく知られている。なお、これらの原点対称の位置(すなわち、(μ,ν)=(-μs, 0)、(μ,ν)=(0, -νs)、(μ,ν)=(-μs,-νs))にも折返し成分が生じるが、これらは周波数の対称性により、(μ,ν)=(μs, 0)、(μ,ν)=(0,νs)、(μ,ν)=(μs,νs)の位置の折返し成分とそれぞれ等価である。図５４に示した解像度変換部(8)にて、水平方向に2倍、垂直方向にそれぞれ2倍の高解像度化を行うには、動き補償・アップレート部(5410)にて水平方向、垂直方向のそれぞれに2倍のアップレート(0挿入)を行って画素数を4倍にしたのちに、図５６(a)に示した(μ,ν)=(μs, 0)、(μ,ν)=(0,νs)、(μ,ν)=(μs,νs)の位置に生じた折返し成分を除去すればよい。以下、その動作について説明する。
図５６(b)に、(μ,ν)=(0, 0) 、(μ,ν)=(μs, 0)、(μ,ν)=(0,νs)、(μ,ν)=(μs,νs)の位置における各成分の水平位相回転と垂直位相回転の様子を示す。図４に示したように、サンプリング位相が異なる複数のフレーム間では、原成分の位相回転は生じず、折返し成分のみがサンプリング位相差に応じて位相回転する。そこで、原成分の位相を基準(Re軸)とし、図５４に示した位相シフト部(5411)によって水平、垂直、水平・垂直方向に位相直交軸(Im軸)の成分が発生することを考えると、図５６(b)に示すように、原成分である(μ,ν)=(0, 0)(すなわち、#1)の水平Re軸(=水平方向の位相回転なし)かつ垂直Re軸(垂直方向の位相回転なし)の成分の値(各位相シフト後の信号の合計値)だけを「1」とし、他の成分(すなわち、#2〜#16)の値を「0」とすれば、折返し成分をキャンセルして、原成分だけを抽出することができる。
図５６(c)に、上記図５６(b)に示した位相関係を実現するためのマトリクス演算式を示す。同図において、Ｍは16×16の要素を持つマトリクスであり、水平、垂直、水平・垂直の各位相回転を示す演算である。このマトリクスＭの詳細については、後述する。また、同図の左辺は図56(b)の「値」を示し、右辺のC1ReRe乃至C4ImImは図５４に示した折返し成分除去部(5409)にて位相シフト部(5411)の各出力信号に乗じる係数を示す。すなわち、図５４に示すフレーム#1については、遅延器(5402-1)の出力信号に係数C1ReReを乗じ、水平位相シフト器(5403-1)の出力信号に係数C1ImReを乗じ、垂直位相シフト器(5404-1)の出力信号に係数C1ReImを乗じ、水平・垂直位相シフト器(5405-1)の出力信号に係数C1ImImを乗じる。以下同様に、フレーム#2については、遅延器(5402-2)の出力信号に係数C2ReReを乗じ、水平位相シフト器(5403-2)の出力信号に係数C2ImReを乗じ、垂直位相シフト器(5404-2)の出力信号に係数C2ReImを乗じ、水平・垂直位相シフト器(5405-2)の出力信号に係数C2ImImを乗じる。フレーム#3については、遅延器(5402-3)の出力信号に係数C1ReReを乗じ、水平位相シフト器(5403-3)の出力信号に係数C3ImReを乗じ、垂直位相シフト器(5404-3)の出力信号に係数C3ReImを乗じ、水平・垂直位相シフト器(5405-3)の出力信号に係数C3ImImを乗じる。フレーム#4については、遅延器(5402-4)の出力信号に係数C4ReReを乗じ、水平位相シフト器(5403-4)の出力信号に係数C4ImReを乗じ、垂直位相シフト器(5404-4)の出力信号に係数C4ReImを乗じ、水平・垂直位相シフト器(5405-4)の出力信号に係数C4ImImを乗じる。後述する折返し成分除去部(5409)にて、上記の係数を乗じた合計16の信号をすべて加算したときに、図５６(c)の関係が常に成り立つように上記係数C1ReRe乃至C4ImImを定めれば、折返し成分をキャンセルして、原成分だけを抽出することができる。
図５６(d)に、マトリクスＭの詳細を示す。マトリクスＭは、上述したように16×16の要素を持つマトリクスであり、ｍij(ただし、行番号iと列番号jは、1≦i≦4、1≦j≦4を満たす整数)で表される4×4の要素を持つ部分マトリクスから構成される。この部分マトリクスｍijは、行番号iに応じて同図(e)(f)(g)(h)のように分類される。
図５６(e)に、行番号i=1のときの部分マトリクスｍ1j(すなわち、ｍ11、ｍ12、ｍ13、ｍ14)の各要素を示す。この部分マトリクスｍ1jは、周波数(μ,ν)=(0, 0)の成分に作用する要素であり、フレーム間のサンプリング位相差にかかわらず水平・垂直の位相回転は生じないため、単位マトリクス(すなわち、右下がりの対角線上にある要素がすべて1で、残りの要素がすべて0のマトリクス)となる。
図５６(f)に、行番号i=2のときの部分マトリクスｍ2j(すなわち、ｍ21、ｍ22、ｍ23、ｍ24)の各要素を示す。この部分マトリクスｍ2jは、(μ,ν)=(μs, 0)の成分に作用する要素であり、サンプリングの水平位相差θHj(ただし、jは1≦j≦4を満たす整数)に応じて、水平方向の位相を回転させる回転マトリクスとなる。すなわち、垂直位相軸が共通の図５６(b)に示す#5と#6、および#7と#8をそれぞれペアとして、水平周波数軸を中心にθHjだけ位相回転させる回転マトリクスとなる。なお、j=1のときの水平位相差θH1は図５４に示されていないが、これはフレーム#1(基準)とフレーム#1(処理対象=基準と同一)との間の位相差(=0)と解釈し、θH1=0として扱えばよい。以下、垂直位相差θV1についても同様にθV1=0として扱う。
図５６(g)に、行番号i=3のときの部分マトリクスｍ3j(すなわち、ｍ31、ｍ32、ｍ33、ｍ34)の各要素を示す。この部分マトリクスｍ3jは、(μ,ν)=(0,νs)の成分に作用する要素であり、サンプリングの垂直位相差θVj(ただし、jは1≦j≦4を満たす整数)に応じて、垂直方向の位相を回転させる回転マトリクスとなる。すなわち、水平位相軸が共通の図５６(b)に示す#9と#11、および#10と#12をそれぞれペアとして、垂直周波数軸を中心にθVjだけ位相回転させる回転マトリクスとなる。
図５６(h)に、行番号i=4のときの部分マトリクスｍ4j(すなわち、ｍ41、ｍ42、ｍ43、ｍ44)の各要素を示す。この部分マトリクスｍ4jは、(μ,ν)=(μs,νs)の成分に作用する要素であり、サンプリングの水平位相差θHjと垂直位相差θVj(ただし、jは1≦j≦4を満たす整数)の両方に応じて、水平方向、垂直方向ともに位相を回転させる回転マトリクスとなる。すなわち、上記ｍ2jとｍ3jの積となる。
別の見方をすると、ｍ1j、ｍ2j、ｍ3jについても、ｍ4jのように水平方向、垂直方向ともに位相を回転させる回転マトリクスとし、ｍ1jの場合はθHj=θVj=0、ｍ2jの場合はθVj=0、ｍ3jの場合はθHj=0、に設定したと考えても、上記説明と同一の部分マトリクスとなる。
このように、各サンプリング位相差(θHj、θVj)をもとにマトリクスＭを決定し、図５６(c)に示す等式が常に成り立つように、合計16個の係数(C1ReRe乃至C4ImIm)を決定する。この際、マトリクスＭに対する逆マトリクスＭ-1を予め求めておき、図５６(i)に示す演算によって係数(C1ReRe乃至C4ImIm)を決定すればよい。逆マトリクスＭ-1を求める方法として、余因子行列を使う方法、Gauss-Jordanの掃き出し法を使う方法、三角行列にわけて計算する方法などがよく知られているため、ここでは図示を省略する。
図５７に、図５５に示した折返し成分除去部(5409)の詳細な構成例を示す。同図において、係数決定部(5701)では、図５５に示した位置推定部(5412)から出力される水平位相差(θH2、θH3、θH4)および垂直位相差(θV2、θV3、θV4)に基づき、図５６(i)に示した逆マトリクス演算によって、各係数(C1ReRe乃至C4ImIm)を生成する。これらの係数を、位相シフト部(5411)から出力された各フレームの信号と乗算器(5702)によって掛け合わせ、加算器(5703)により全加算して、折返し成分除去部(5409)の出力信号(すなわち、解像度変換部(8)の出力信号)とする。なお、水平位相差(θH2、θH3、θH4)および垂直位相差(θV2、θV3、θV4)は入力フレーム上の画素ごとに値が異なることが一般的なため、画素ごとに上述の逆マトリクス演算を行う必要がある。このとき、水平位相差(θH2、θH3、θH4)および垂直位相差(θV2、θV3、θV4)を代表的な位相差(例えば、図９(d)に示したようなπ/8の整数倍など)として予め各係数(C1ReRe乃至C4ImIm)を生成しておき、ROM(Read Only Memory)などを用いてテーブル化しておいてもよい。これは、一般的なテーブル参照方式としてよく知られているため、図示は省略する。
図５８に、図５５に示した折返し成分除去部(5409)の他の構成例を示す。上述の説明では、図５６(c)に示す等式が常に成り立つように、合計16個の係数(C1ReRe乃至C4ImIm)を決定する際に、マトリクスＭに対する逆マトリクスＭ-1を予め求めておき、図５６(i)に示す演算によって係数(C1ReRe乃至C4ImIm)を決定しようとしたが、水平位相差(θH2、θH3、θH4)および垂直位相差(θV2、θV3、θV4)の値によっては逆マトリクスＭ-1が存在せず、係数(C1ReRe乃至C4ImIm)を決定できない場合がある。逆マトリクスＭ-1が存在するかどうかは、係数決定部(5701)にて逆マトリクスＭ-1を算出する際に、余因子行列を使う方法、Gauss-Jordanの掃き出し法を使う方法、三角行列にわけて計算する方法などの演算過程で容易に判定可能であり、逆マトリクスＭ-1が存在しない場合は、上述した図２１などに示した解像度変換部(4)によってフレーム#1とフレーム#2を用いて出力信号を得るように、出力信号を切り替えればよい。すなわち、図５８に示す水平方向の折返し成分除去部(2108)、垂直方向の折返し成分除去部(2109)、画素補間器(2003)(2007)、混合器(2009)を用い、位相シフト部(5411)から出力されたフレーム#1とフレーム#2、および、位置推定部から出力された水平位相差θH2(5407-2)と垂直位相差θV2(5408-2)をもとに、解像度変換結果を生成し、切替器(5801)を用いて上述した加算器(5703)の結果と切り替えて、出力信号とすればよい。なお、切替器(5801)を用いて2値的に切り替えるのではなく、加算器(5703)の出力と混合器(2009)の出力とを連続的に混合(すなわち加重加算)するように構成し、例えば逆マトリクスＭ-1が存在しない画素の近傍は混合器(2009)の出力の混合比を増やすように構成してもよい。
以上説明した折返し成分の除去処理により、図５６(a)に示す2次元周波数領域において、水平方向については中心から(μ,ν)=(μs, 0)まで解像度向上効果が図れる。また、垂直方向については中心から(μ,ν)=(0,νs)まで解像度向上効果が図れる。また、斜め方向については中心から(μ,ν)=(μs,νs) まで解像度向上効果が図れる。
ここで、実施例７に係る画像信号処理装置及び画像信号処理方法においても、水平方向と垂直方向に加えて、斜め方向をも高解像度化を行っているが、その斜め方向の解像度向上効果は、図３１に示すように、(μ,ν)=(μs,νs) までは及ばない。
よって、図５４に示す画像信号処理装置は、実施例７に係る画像信号処理装置よりも斜め方向において高周波成分まで解像度向上が可能となるという効果を有する。
次に、図６０を用いて、本発明の実施例１１に係る画像信号処理装置と従来技術の動作の違いを説明する。同図(a)は、図５４に示した解像度変換部(8)に入力されたフレーム#1(6001)、フレーム#2(6002)、フレーム#3(6003)、フレーム#4(6004)、フレーム#5(6005)を示し、同図(b)は解像度変換部(8)から出力された各フレームを示す。各フレームにて、被写体が1/4画素ずつ右回りに移動し、4フレームで1周するように意図的に被写体を移動させる。この動きをフレーム#5以降も同様に連続させる。
特許文献１、特許文献２、非特許文献１に記載されている従来技術では、上述したように、水平・垂直の2次元の入力信号に対して高解像度化する場合、折返しが縦横2方向から来るので、原信号の帯域が縦横共に2倍に広がると、3つの折返し成分が重なり、それらを打ち消すためには2M+1=7個のデジタルデータ(=7枚のフレーム画像の信号)を必要としていた。従って、図３４(a)に示すような4フレームで一巡するような信号を入力した場合、どの7フレームを選択しても独立したデータが得られないため、高解像度化処理による解が不定となり求められない。
一方、第20乃至第21の実施例を用いれば、例えば隣接する4フレーム(フレーム#1(6001)とフレーム#2(6002)、フレーム#3(6003)、フレーム#4(6004))を用いて、同図(b)に示すように水平方向、垂直方向、水平・垂直方向の折返し成分を除去して高解像度化を実現できる。すなわち、同図(a)の入力画像をテストパターンとして用いることにより、本実施例の動作状況を確認することができる。このテストパターンの絵柄として、一般的によく知られている円形ゾーンプレート(CZP：Circular Zone Plate)を用いれば、解像度変換の効果を表示部(3)にて直視できるようになる。すなわち、円形ゾーンプレートを図３４(a)に示すように4フレームで1周するように移動させれば、つねに水平方向の解像度と垂直方向の解像度が向上した画像が表示されて、解像度向上の効果を確認することができる。
以上説明したように、実施例１１に係る画像信号処理装置は、４枚の入力画像フレームの各画像信号に対し、方向の異なる複数種類の位相シフト（水平方向、垂直方向、水平・垂直方向）を行うことにより、各画像信号のそれぞれから４つの信号を生成する。これにより、４枚の入力画像フレームの画像信号から１６個の信号を生成する。ここで、上記４枚の入力画像フレームの位相差に基づいて、当該１６個の信号の各信号について、当該１６個の信号を折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成画像のそれぞれの画素について、上記１６個の信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。
これにより、実施例１１に係る画像信号処理装置は、水平方向と垂直方向に加えて、右下方向および右上方向の斜め成分をも高解像度化した高解像度画像を生成することができる。
また、実施例１１に係る画像信号処理装置による解像度向上効果は、斜め方向において、実施例９に係る画像信号処理装置よりもさらに高周波成分まで解像度向上が可能であり、より高画質な高解像度画像を生成することができる。
図５９及び図１９を用いて本発明の実施例１２に係る画像信号処理方法について説明する。
実施例１２は、実施例１１に係る画像信号処理装置における画像信号処理と等価な処理を、ソフトウェアと協働する制御部により実現する画像信号処理方法に係るものである。
ここで、図１９を用いて本実施例に係る画像信号処理方法を実現するための画像処理装置について説明する。図１９に示す画像信号処理装置は、例えばテレビジョン放送信号などの画像信号が入力される入力部(1)と、入力部(1)から入力された信号を処理するためのソフトウェアを記憶する記憶部(11)と、記憶部(11)に記憶されるソフトウェアと協働して入力部(1)から入力された信号について画像信号処理を行う制御部(10)と、制御部(10)が当該画像信号処理においてデータのバッファに用いるフレームバッファ#1(31)、フレームバッファ#2(32)、フレームバッファ#3(33)、フレームバッファ#4(34)と、制御部(10)から出力部(3)に出力される画像信号処理後の信号を、フレームバッファするためのバッファ#5(35)とを備える。
ここで、図１９に示す画像信号処理装置が備える入力部(1)の数は、画像処理に用いるフレーム数である４と同じとしたが、入力部(1)を一つだけ備えて、４つフレームを連続して入力しても構わない。
また、データのバッファに用いるフレームバッファ#1(31)、フレームバッファ#2(32)、フレームバッファ#3(33)、フレームバッファ#4(34)、およびソフトウェアを記憶する記憶部(11)は、それぞれが個別のメモリチップを用いて構成してもよいし、1個あるいは複数個のメモリチップを用い、各データアドレスを分割して使用する構成にしてもよい。
本実施例において、入力部(1)から入力される画像信号について、制御部(10)が記憶部(11)に記憶されるソフトウェアと協働して画像信号処理を行い、表示部(3)に出力する。当該画像信号処理の詳細は図５９を用いて説明する。
図５９のフローチャートは、ステップ(5901)から開始し、ステップ(5902-1)(5902-2)(5902-3)(5902-4)にて各フレームの画像データを水平・垂直ともにそれぞれ２倍にアップレートする。すなわち、ステップ(5902-1)にてフレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(5902-2)にてフレーム#2の画像データをアップレートしてフレームバッファ#2に書き込み、ステップ(5902-3)にてフレーム#3の画像データをアップレートしてフレームバッファ#3に書込み、ステップ(5902-4)にてフレーム#4の画像データをアップレートしてフレームバッファ#4に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、水平1画素おき、かつ垂直1画素おきにデータを書き込むことにより実現できる。
次に、ステップ(5903)にて、フレームバッファ#1の最初の画素(例えば左上の画素)を処
理対象に設定して、以下、フレームバッファ#1に対するすべての画素データの処理が終わ
るまで、処理をループする。
ステップ(5904-2)では、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、水平位相差θH2と垂直位相差θV2を出力する。同様に、ステップ(5904-3)では、フレームバッファ#1の対象画素を基準にしてフレームバッファ#3の中の対応する画素の位置を推定し、水平位相差θH3と垂直位相差θV3を出力する。また、ステップ(5904-4)では、フレームバッファ#1の対象画素を基準にしてフレームバッファ#4の中の対応する画素の位置を推定し、水平位相差θH4と垂直位相差θV4を出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
ステップ(5905-2)では、ステップ(5904-2)で求めた水平位相差θH2と垂直位相差θV2をもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。この動き補償の動作は、図5および図6を用いて説明した動作を、水平方向と垂直方向のそれぞれに対して同様に行えばよい。同様に、ステップ(5905-3)では、ステップ(5904-3)で求めた水平位相差θH3と垂直位相差θV3をもとに、フレームバッファ#3の中の対応する画素の近傍の画素を動き補償する。また、ステップ(5905-4)では、ステップ(5904-4)で求めた水平位相差θH4と垂直位相差θV4をもとに、フレームバッファ#4の中の対応する画素の近傍の画素を動き補償する。
続いて、ステップ(5913)にて、フレームバッファ#1と動き補償したフレームバッファ#2、フレームバッファ#3、フレームバッファ#4に対して、ステップ(5906-1)(5906-2)(5906-3)(5906-4)により水平位相を一定量だけシフトし、ステップ(5907-1)(5907-2)(5907-3)(5907-4)により垂直位相を一定量だけシフトする。また、ステップ(5907-1)(5907-2)(5907-3)(5907-4)の結果に対して、さらにステップ(5908-1)(5908-2)(5908-3)(5908-4)によって水平位相を一定量だけシフトすることにより、水平と垂直の両方の位相を、一定量だけシフトする。すなわち、各フレームバッファの中の画素データを、水平方向および垂直方向にπ/2位相シフトする。
続いて、ステップ(5909)にて、水平位相差(θH2、θH3、θH4)および垂直位相差(θV2、θV3、θV4)に基づいて図５６に示した方法で全16個の各係数(C1ReRe乃至C4ImIm)を決定し、ステップ(5913)の各出力と上記各係数を乗算して加算(加重加算)することにより、フレームバッファ#1、フレームバッファ#2、フレームバッファ#3、フレームバッファ#4の画素データから折返し成分を除去し、フレームバッファ#5に出力する。この折返し成分除去の動作は、図５７あるいは図５８を用いて説明した動作と同一である。
続いて、ステップ(5910)にて、フレームバッファ#1の全画素の処理が完了したかどうか
を判定し、完了していなければ、ステップ(5911)で次の画素(例えば右隣の画素)を処理の
対象に設定してステップ(5904-2)(5904-3)(5904-4)以降に戻り、完了していればステップ(5912)にて処理を終了する。
以上のような処理を行うことにより、フレームバッファ#1、フレームバッファ#2、フレームバッファ#3、フレームバッファ#4の画素データを用いて、フレームバッファ#5に高解像度化した信号を出力することができる。動画に応用する場合は、ステップ(5901)からステップ(5912)に至る処理を、フレームごとに繰り返せばよい。
なお、図５４、図５７、図５８、図５９にて、入力するフレームの枚数を4枚として説明したが、本発明はこれに限定されるものではなく、n枚(ただし、nは4以上の整数)のフレームを入力とし、この中から上述の解像度変換処理に適した4枚のフレームを選択して使用するようにしてもよい。例えば、図５６(i)に示した逆マトリクス演算を出力する際に、逆マトリクスＭ-1が存在しない画素ができるだけ少なくなるように、n枚のフレームの中から解像度変換処理に使用する4枚のフレームを選択し、画素ごとあるいは複数の画素からなる領域ごとに切り替える構成にしてもよい。
よって、実施例１２に係る画像信号処理方法は、斜め方向において実施例１０に係る画像信号処理方法よりもさらに高周波成分まで解像度向上が可能となるという効果を有する。その効果の詳細は、実施例１１にて説明した図５４に示す画像信号処理装置の効果と同様であるため説明を省略する。
以上説明したように、実施例１２に係る画像信号処理方法は、４枚の入力画像フレームの各画像信号に対し、方向の異なる複数種類の位相シフト（水平方向、垂直方向、水平・垂直方向）を行うことにより、各画像信号のそれぞれから４つの信号を生成する。これにより、４枚の入力画像フレームの画像信号から１６個の信号を生成する。ここで、上記４枚の入力画像フレームの位相差に基づいて、当該１６個の信号の各信号について、当該１６個の信号を折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成画像のそれぞれの画素について、上記１６個の信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。
これにより、実施例１２に係る画像信号処理方法は、水平方向と垂直方向に加えて、右下方向および右上方向の斜め成分をも高解像度化した高解像度画像を生成することができる。
また、実施例１２に係る画像信号処理方法による解像度向上効果は実施例１０に係る画像信号処理方法よりも斜め方向において高周波成分まで解像度向上が可能であり、より高画質な高解像度画像を生成することができる。
なお、上述した実施例１乃至実施例１２に係る画像信号処理装置あるいは画像信号処理方法では、画像の解像度を向上させながら画素数を2倍に増加させる場合を例に挙げて説明したが、この画像信号処理装置あるいは画像信号処理方法を複数回もしくは多段的にに作用させることにより、例えば、画素数を2のべき乗倍(=2倍、4倍、8倍…)に増加させることも可能である。すなわち、2枚の入力画像フレームを用いて信号処理することにより、画素数を2倍に増加させて中間画像フレームとしたのちに、さらにこの中間画像フレームを2枚用いて、新たな入力画像フレームとして信号処理することにより、画素数をさらに2倍に増加させた出力画像フレームを得ることができる。この場合、入力画像フレームと比較して、4倍の画素数の出力画像フレームを得ることができる。同様に、信号処理をトータル3回繰り返せば、入力画像フレームと比較して、出力画像フレームの画素数は8倍になる。この際、1枚の出力画像フレームを得るために必要な入力画像フレームの枚数も、2のべき乗(=2枚、4枚、8枚…)となる。
なお、最終的な出力画像に関しては、上記画像処理後に一般的な解像度変換処理をおこなうことにより、上記の2のべき乗倍(=2倍、4倍、8倍…)以外の画素数で出力することも可能である。
図３５に、本発明の実施例１３に係る画像表示装置を示す。本実施例に係る画像表示装置は、上述の実施例７または実施例８のいずれか一の実施例に記載された画像信号処理を行う構成とした画像表示装置である。
同図において、画像表示装置3500は、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や映像コンテンツや画像コンテンツなどを入力する入力部3501と、入力部3501から入力されたコンテンツを録画もしくは再生する録画再生部3502と、録画再生部3502がコンテンツを記録するコンテンツ蓄積部3503と、録画再生部3502が再生した映像信号または画像信号に実施例７または実施例８のいずれか一の実施例に記載された画像信号処理装置である画像信号処理部3504と、画像信号処理部3504にて処理された映像信号または画像信号を表示する表示部3505と、録画再生部3502が再生した音声信号を出力する音声出力部3506と、画像表示装置3500の各構成部を制御する制御部3507と、ユーザーが画像表示装置3500の操作を行うユーザインターフェース部3508などを備える。
画像信号処理部3504の詳細な動作については、実施例７または実施例８に記載したとおりであるので、説明を省略する。
画像表示装置3500が実施例７または実施例８のいずれか一の実施例に記載された画像信号処理装置である画像信号処理部3504を備えることで、入力部3501に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として表示部3505に表示することができる。よって、表示部3505の表示デバイスの解像度よりも、低解像度の信号が入力部3501から入力された場合も、再生信号を高解像度化しつつ高画質で高精細な表示を行うことが可能となる。
また、コンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツを再生する際も、より高解像度で高画質な映像信号または画像信号に変換して表示部3505に表示することができる。
また、画像信号処理部3504の画像処理をコンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツの再生後に行うことにより、コンテンツ蓄積部3503に蓄積されるデータは、表示部3505に表示される解像度のよりも相対的に低解像度である。よって相対的にコンテンツのデータ量を小さくして蓄積できるという効果がある。
また、画像信号処理部3504を録画再生部3502に含め、録画時に上述の画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要が無いため、再生時の処理負荷を低減できるという効果がある。
ここで、上述の画像信号処理は画像信号処理部3504にて行うと説明したが、制御部3507とソフトウェアで実現しても良い。この場合、実施例７または実施例８のいずれかの実施例に記載された方法で画像信号処理を行えばよい。
本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツの状態に応じて、符号化を行ってからコンテンツ蓄積部3503に記録すればよい。
また、本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツが符号化された状態であれば、復号化を行って再生すればよい。
また、本実施例に係る画像表示装置において、コンテンツ蓄積部3503は必ずしも必要ない。この場合は、録画再生部3503は録画は行わず、入力部3501から入力された映像などのコンテンツの再生を行えばよい。
この場合も、入力部3501に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として表示部3505に表示することができる。
また、画像表示装置3500は、例えば、プラズマテレビでも、液晶テレビでも、ブラウン管でも、プロジェクタでもよく、また他のデバイスを用いた装置でも良い。同様に、表示部3505は例えば、プラズマパネルモジュールでも、ＬＣＤモジュールでも、プロジェクタ用デバイスでもよい。また、コンテンツ蓄積部3503は例えば、ハードディスクドライブでも、フラッシュメモリでもよく、リムーバブルメディアディスクドライブでもよい。音声出力部3506は例えば、スピーカ等でもよい。また、入力部3501は、放送波を受信するチューナを備えたものでもよく、またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、映像信号や音声信号をデジタル入力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えたものでもよい。また、ワイヤレスにてデータを転送する受信部でも良い。
以上説明した実施例１３に係る画像表示装置によれば、入力映像信号または入力画像信号に含まれる２枚の入力画像フレームの各画像信号に対して位相シフト行い、各画像信号からぞれぞれ２つの信号を生成する。これにより、２枚の入力画像フレームの画像信号から４つの信号を生成する。ここで、２枚の入力画像フレームの位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。これを生成画像の各画素について行うことにより、入力画像フレームよりも１次元方向に高解像度化した画像を生成する。
これを水平方向と垂直方向のそれぞれに行い、水平方向に高解像度化した画像と垂直方向に高解像度化した画像を生成する。当該水平方向に高解像度化した画像と垂直方向に高解像度化した画像とについて、それぞれ、垂直方向、水平方向にアップレート処理を行ったのち、両者を混合する。
これにより、入力映像信号または入力画像信号に含まれる２枚の入力画像フレームの各画像信号から、垂直方向と水平方向との両方向に高解像度化した高解像度画像を生成することができる。すなわち２次元高解像度画像を生成することができ、これを表示部に表示することができる。
また、また、実施例１３に係る画像表示装置は、２枚の入力画像フレームを用いるため、少ない画像処理量で高解像度表示を実現することができる。これにより、折り返し成分が少なく、垂直方向と水平方向との両方向について高解像度な映像または画像を表示部に表示する画像表示装置を実現することが可能である。
本発明の実施例１４に係る画像表示装置は、実施例１３に係る画像表示装置において、図３５に示す画像信号処理部3504を実施例９に記載された画像信号処理装置に替えたものである。その他構成は、実施例１３に係る画像表示装置と同じである為、説明を省略する。
また、画像信号処理部3504の詳細な動作については、実施例９に記載したとおりであるので、説明を省略する。
実施例１４に係る画像表示装置によれば、入力映像信号または入力画像信号に含まれる２枚の入力画像フレームをもちいて、入力映像または入力画像よりも水平方向、垂直方向および斜め方向について高解像度化した高解像度画像を生成することが可能である。またこれを表示部に表示する画像表示装置を実現することができる。
本発明の実施例１５に係る画像表示装置は、実施例１３に係る画像表示装置において、図３５に示す画像信号処理部3504を実施例１１に記載された画像信号処理装置に替えたものである。その他構成は、実施例１３に係る画像表示装置と同じである為、説明を省略する。
また、画像信号処理部3504の詳細な動作については、実施例１１に記載したとおりであるので、説明を省略する。
実施例１５に係る画像表示装置によれば、入力映像信号または入力画像信号に含まれる４枚の入力画像フレームをもちいて、入力映像または入力画像よりも水平方向、垂直方向および斜め方向について高解像度化した高解像度画像を生成し、表示部に表示する画像表示装置を実現することができる。
また、実施例１５に係る画像表示装置による解像度向上効果は、実施例１４に係る画像表示装置よりも斜め方向において高周波成分まで解像度向上が可能であり、より高画質な高解像度画像を表示することができる。
本発明の実施例１６に係る画像表示装置は、実施例１３に係る画像表示装置において、図３５に示す画像信号処理部3504を実施例１、実施例３若しくは実施例５の実施例のうち一の実施例に記載された画像信号処理装置に替えたものである。その他構成は、実施例１３に係る画像表示装置と同じである為、説明を省略する。
また、画像信号処理部3504の詳細な動作については、実施例１、実施例３若しくは実施例５に記載したとおりであるので、説明を省略する。
実施例１６に係る画像表示装置によれば、入力映像信号または入力画像信号に含まれる２枚の入力画像フレームをもちいて、入力映像または入力画像に比べて一次元方向に高解像度化した高解像度画像を生成し、表示部に表示する画像表示装置を実現することができる。
図３６に、本発明の実施例１７に係る録画再生装置を示す。本実施例に係る録画再生装置は、上述の実施例７または実施例８のいずれか一の実施例に記載された画像信号処理を行う構成とした録画再生装置である。
同図において、録画再生装置3600は、例えば、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や映像コンテンツや画像コンテンツなどを入力する入力部3501と、入力部3501から入力されたコンテンツを録画もしくは再生する録画再生部3502と、録画再生部3502がコンテンツを記録するコンテンツ蓄積部3503と、録画再生部3502が再生した映像信号または画像信号に実施例７または実施例８のいずれか一の実施例に記載された画像信号処理装置である画像信号処理部3504と、画像信号処理部3504にて処理された映像信号または画像信号を他の装置などに出力する画像映像出力部3605と、録画再生部3502が再生した音声信号を他の装置などに出力する音声出力部3606と、録画再生装置3600の各構成部を制御する制御部3507と、ユーザーが録画再生装置3600の操作を行うユーザインターフェース部3508などを備える。
録画再生装置3600が実施例７または実施例８のいずれか一の実施例に記載された画像信号処理装置である画像信号処理部3504を備えることで、入力部3501に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として、他の装置などに出力するすることができる。よって、低解像度の映像信号または画像信号を高解像度化しつつ高画質で高精細な映像信号または画像信号に変換する高画質高解像度化信号変換装置が好適に実現できる。
また、コンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツを再生する際も、より高解像度で高画質な映像信号または画像信号に変換して他の装置などに出力するすることができる。
よって、低解像度の映像信号または画像信号を入力して蓄積しておき、再生・出力時には高解像度化しつつ高画質で高精細な映像信号または画像信号に変換して出力する録画再生装置が好適に実現できる。
また、画像信号処理部3504の画像処理をコンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツの再生後に行うことにより、コンテンツ蓄積部3503に蓄積されるデータは、他の装置に出力する信号の解像度のよりも相対的に低解像度である。よって相対的にコンテンツのデータ量を小さくして蓄積できるという効果がある。
また、画像信号処理部3504を録画再生部3502に含め、録画時に上述の画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要が無いため、再生時の処理負荷を低減できるという効果がある。
ここで、上述の画像信号処理は画像信号処理部3504にて行うと説明したが、制御部3507とソフトウェアで実現しても良い。この場合、実施例７または実施例８のいずれかの実施例に記載された方法で画像信号処理を行えばよい。
本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツの状態に応じて、符号化を行ってからコンテンツ蓄積部3503に記録すればよい。
また、本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツが符号化された状態であれば、復号化を行って再生すればよい。
また、本実施例に係る画像映像出力部3605と音声出力部3606は一体としても構わない。この場合は、映像信号と音声信号を一本のケーブルで出力するコネクタ形状などを用いることができる。
また、録画再生装置3600は、例えば、ＨＤＤレコーダでも、ＤＶＤレコーダでも、また他の記憶装置デバイスを用いた装置でも良い。同様に、コンテンツ蓄積部3503は例えば、ハードディスクドライブでも、フラッシュメモリでもよく、リムーバブルメディアディスクドライブでもよい。
また、入力部3501は、放送波を受信するチューナを備えたものでもよく、またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、映像信号や音声信号をデジタル入力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えたものでもよい。また、ワイヤレスでデータを転送する受信部でも良い。
また、画像映像出力部3605は映像信号をデジタル出力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ出力する端子を備えたものでもよい。またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、ワイヤレスでデータを転送する送信部でも良い。音声出力部3606に関しても、画像映像出力部3605と同様である。
さらに、入力部3501は例えば、撮像光学系と受光素子を備えるものとしても良い。この場合、録画再生装置3600は例えば、デジタルカメラ、ビデオカメラ、監視カメラ（監視カメラシステム）などに適用できる。このとき例えば入力部3501は、撮像光学系にて撮影対象を受光素子上に撮像し、受光素子にから出力される信号を元に画像データまたは映像データを生成し、録画再生部3502に出力すればよい。
録画再生装置3600が例えばデジタルカメラであれば、1回の撮影で時間的に異なる複数の画像を記録するようにし、この複数の画像データに画像信号処理部3504の画像信号処理を行えば、1枚の高画質な高解像度画像を得ることができる。尚、画像信号処理部3504の画像処理は、デジタルカメラからデータを出力する際に、コンテンツ蓄積部3503に記録される画像に対して行っても良い。また、録画再生部3502と画像信号処理部3504を一体とするなどして、コンテンツ蓄積部3503に記録するよりも前に、画像信号処理部3504の画像処理を行うようにしても良い。この場合、コンテンツ蓄積部3503には最終的にユーザーが取り扱いたい拡大画像のみを保存すればよく、後にユーザーが画像データを取り扱う際に管理が容易になる。
以上説明したデジタルカメラによれば、デジタルカメラの受光素子の解像度を越えた解像度を有する高画質画像データを得ることができる。
また、録画再生装置3600が例えばビデオカメラであれば、入力部3501の撮像光学系にて受光素子上に撮像した映像を映像データとして録画再生部3502に出力すればよい。録画再生部3502はコンテンツ蓄積部3503に映像データを記録し、画像信号処理部3504は記録された映像データから、高解像度化された映像データを生成すればよい。このようにすれば、ビデオカメラの受光素子の解像度を越えた解像度を有する高画質映像データを得ることができる。またこのとき、画像信号処理部3504は記録された映像データに含まれる複数のフレームのデータを用いて、一枚のスチル画像データを生成しても良い。このようにすれば、映像データから一枚の高画質画像データを得ることができる。また、上述したデジタルカメラの場合と同様に、画像信号処理部3504の画像処理はコンテンツ蓄積部3503への映像データの記録前でも、記録後でも構わない。
以上説明したビデオカメラによれば、ビデオカメラの受光素子の解像度を越えた解像度を有する高画質映像データや、撮影した映像データを用いて高画質なスチル画像データを得ることができる。
また、録画再生装置3600が例えば監視カメラ（監視カメラシステム）である場合も、上述したビデオカメラの場合と同様に監視カメラの受光素子の解像度を越えた解像度を有する高画質映像データや、撮影した映像データを用いて高画質なスチル画像データを得ることができる。このとき、例えば、撮像光学系と受光素子を備えた入力部3501と録画再生部3502との距離が離れており、ネットワークケーブル等で接続されている場合でも、録画再生部3502までは低解像度の映像データで送信し、その後の画像信号処理部3504の画像信号処理により、高解像度化することができる。これにより、撮像光学系と受光素子を備えた入力部3501からの送信ネットワークの帯域を効率よく利用しながら、高解像度の映像データを得ることができる。
実施例１３乃至実施例１６に係る画像表示装置と、本実施例に係る録画再生装置は、両者の機能と各構成部を一体としても、また、本発明の一実施の形態となりうる。この場合は上述の画像信号処理を行った映像信号または画像信号を表示することも、他の装置に出力することもでき、表示装置、記録再生装置、出力装置のいずれの装置としても使用でき、ユーザーにとって使い勝手が良い。
以上説明した実施例１７に係る録画再生装置によれば、入力映像信号または入力画像信号に含まれる２枚の入力画像フレームの各画像信号に対して位相シフト行い、各画像信号からぞれぞれ２つの信号を生成する。これにより、２枚の入力画像フレームの画像信号から４つの信号を生成する。ここで、２枚の入力画像フレームの位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。これを生成画像の各画素について行うことにより、入力画像フレームよりも１次元方向に高解像度化した画像を生成する。
これを水平方向と垂直方向のそれぞれに行い、水平方向に高解像度化した画像と垂直方向に高解像度化した画像を生成する。当該水平方向に高解像度化した画像と垂直方向に高解像度化した画像とについて、それぞれ、垂直方向、水平方向にアップレート処理を行ったのち、両者を混合する。
これにより入力映像信号または入力画像信号に含まれる２枚の入力画像フレームの各画像信号から、垂直方向と水平方向との両方向に高解像度化した高解像度画像を生成することができる。すなわち２次元高解像度画像を生成することができ、これを出力することができる。
また、入力映像信号または入力画像信号を記録部に記録しておき、その記録部からの再生時に、映像信号または画像信号に含まれる２枚の入力画像フレームの各画像信号から、垂直方向と水平方向との両方向に高解像度化した２次元高解像度画像を生成することができ、これを出力することができる。
また、また実施例１７に係る録画再生装置は、２枚の入力画像フレームを用いるため、少ない画像処理量で高解像度画像の出力を実現することができる。これにより、折り返し成分が少なく、垂直方向と水平方向との両方向について高解像度な映像または画像を出力する録画再生装置を実現することが可能である。
本発明の実施例１８に係る録画再生装置は、実施例１７に係る録画再生装置において、図３６に示す画像信号処理部3504を実施例９に記載された画像信号処理装置に替えたものである。その他構成は、実施例１７に係る録画再生装置と同じである為、説明を省略する。
また、画像信号処理部3504の詳細な動作については、実施例９に記載したとおりであるので、説明を省略する。
実施例１８に係る録画再生装置によれば、入力映像信号または入力画像信号に含まれる２枚の入力画像フレームをもちいて、入力映像または入力画像よりも水平方向、垂直方向および斜め方向について高解像度化した２次元高解像度画像を生成し、これを出力することが可能である。
また、入力映像信号または入力画像信号を記録部に記録しておき、その記録部からの再生時に、映像信号または画像信号に含まれる２枚の入力画像フレームの各画像信号から、水平方向、垂直方向および斜め方向に高解像度化した２次元高解像度画像を生成することができ、これを出力することができる。
本発明の実施例１９に係る録画再生装置は、実施例１７に係る録画再生装置において、図３６に示す画像信号処理部3504を実施例１１に記載された画像信号処理装置に替えたものである。その他構成は、実施例１７に係る録画再生装置と同じである為、説明を省略する。
また、画像信号処理部3504の詳細な動作については、実施例１１に記載したとおりであるので、説明を省略する。
実施例１９に係る録画再生装置によれば、入力映像信号または入力画像信号に含まれる４枚の入力画像フレームをもちいて、入力映像または入力画像よりも水平方向、垂直方向および斜め方向について高解像度化した２次元高解像度画像を生成し、出力する録画再生装置を実現することができる。
また、入力映像信号または入力画像信号を記録部に記録しておき、その記録部からの再生時に、映像信号または画像信号に含まれる４枚の入力画像フレームの各画像信号から、水平方向、垂直方向および斜め方向に高解像度化した２次元高解像度画像を生成することができ、これを出力することができる。
また、実施例１９に係る録画再生装置による解像度向上効果は、斜め方向において実施例１８に係る録画再生装置よりもさらに高周波成分まで解像度向上が可能であり、より高画質な高解像度画像を出力することができる。
本発明の実施例２０に係る録画再生装置は、実施例１７に係る録画再生装置において、図３６に示す画像信号処理部3504を実施例１、実施例３若しくは実施例５の実施例のうち一の実施例に記載された画像信号処理装置に替えたものである。その他構成は、実施例１７に係る録画再生装置と同じである為、説明を省略する。
また、画像信号処理部3504の詳細な動作については、実施例１、実施例３若しくは実施例５の実施例に記載したとおりであるので、説明を省略する。
実施例２０に係る録画再生装置によれば、入力映像信号または入力画像信号に含まれる２枚の入力画像フレームをもちいて、入力映像または入力画像に比べて一次元方向に高解像度化した高解像度画像を生成し、出力する録画再生装置を実現することができる。
また、入力映像信号または入力画像信号を記録部に記録しておき、その記録部からの再生時に、映像信号または画像信号に含まれる２枚の入力画像フレームの各画像信号から、一次元方向に高解像度化した高解像度画像を生成することができ、これを出力することができる。
図３９〜図４１を用いて、本発明をインタレース・プログレッシブ走査線(以下、I-P変換)に適用した実施例２１について説明する。これに先立ち、図３７及び図３８により、従来の一般的なI-P変換の動作を説明する。
図３７(a)にインタレース走査(2:1インタレース)の走査線の位置関係を、同図(b)にプログレッシブ走査のの走査線の位置関係を示す。それぞれ、図の水平軸は時間方向(フレーム方向)の位置(t)を表し、垂直軸は垂直位置(v)を表す。同図(a)のインタレース走査では、伝送あるいは表示される走査線(実走査線)(3701)と飛び越されて伝送あるいは表示されない走査線(3702)が交互に繰り返される形態でフィールド(3703)が形成されている。また、次のフィールドでは走査線(3701)と走査線(3702)の位置が逆(相補的)になり、2枚のフィールド(3703)(3704)を合わせて1枚のフレーム(3704)が形成される。飛び越されて伝送あるいは表示されない走査線(3702)を、近傍の実走査線(3701)から補間して補間走査線とすることによってフィールド(3703)をフレーム(3705)に変換し、同図(b)のプログレッシブ走査に変換する。
このI-P変換を実現する従来の代表的な方法として、図３８(a)に示す動き適応型I-P変換と、同図(b)に示す動き補償型I-P変換がある。(a)動き適応型I-P変換は、画像中の被写体が静止している場合には、過去(あるいは未来)のフィールドの実走査線上の信号を用いて補間走査線上の信号を生成するフィールド間補間(3801)を行い、被写体が動いている場合には、同一のフィールド内の上下の走査線上の信号を用いて補間走査線上の信号を生成するフィールド内補間(3802)を行うのが一般的である。このとき、被写体が完全に静止しているときには、フィールド間補間(3801)によって理想的なプログレッシブ走査画像が得られるが、被写体がわずかでも動くと、フィールド間補間(3801)を用いてもフレーム間補間(3802)を用いても、垂直解像度が低下したプログレッシブ走査画像となってしまうことがよく知られている。一方、(b)動き補償型I-P変換は、被写体の動きを画素ごとに推定して動きベクトル(3803)を求め、水平方向の動きも含めてこの動きベクトル(3803)に基づいて補間走査線を生成する。例えば同図(b)では、被写体が一旦下方向に移動したのちに、2フィールド期間静止し、続いて上方向に移動する場合を示している。このとき、動きベクトルがちょうど実走査線から補間走査線を指す場合は理想的なプログレッシブ走査画像が得られるが、それ以外の場合(ちょうど実走査線から補間走査線を指さない場合)は垂直解像度が低下したプログレッシブ走査画像となってしまうことがよく知られている。
図３９に、上記従来のI-P変換の欠点を改善するための、本発明に係る実施例２１の動作を示す。同図(a)に示すインタレース走査の各フィールド(#1、#2…)を走査線数が1/2のフレームとみなし、フィールドごとに走査線の位置(=垂直方向のサンプリング位相)が変わることを利用して、垂直解像度変換(3901)(3902)によりフレームを生成する。例えば、フィールド#1とフィールド#2を用いて、垂直解像度変換(3901)によりフレーム#2を生成し、フィールド#2とフィールド#3を用いて、垂直解像度変換(3902)によりフレーム#3を生成し、以下、これ以降のフィールドについても同様に処理して連続的にフレームを生成する。このとき、各垂直解像度変換(3901)(3902)として、図１などに示した解像度変換部(2)をそのまま用いることができるが、図４０に示すようにフィールドごとに動作を変更する必要がある。
図４０を用いて、本発明の実施例２１に係る動作を詳しく説明する。同図(a)は、元のインタレース走査の走査線の位置を示す。被写体が静止している場合、同図(a)に示すように、実走査線を通る動きベクトル(4001)は同じ垂直位置の次のフィールドの補間走査線を指すことになる。ここで、各フィールド(#1、#2…)を走査線数が1/2のフレームとみなし、フィールドごとに走査線の位置(=垂直方向のサンプリング位相)が変わらないようにフィールド全体に垂直方向のオフセット(空間的な位置の差)を付加して移動させると、同図(b)に示すように静止時の動きベクトル(4002)がフィールドごとに上下に動くことになる。すなわち、同図(b)の走査線位置の信号を入力として、図１に示す位相推定部(101)にて位相差θ(102)を求めると、垂直解像度変換(3901)(3902)の際に誤った結果を出力してしまうことになる。
図４１に、上記の誤動作を防ぐことを目的とした、本発明の実施例２１に係る構成を示す。同図に示す構成は、図１に示した1次元方向(ここでは垂直方向)の解像度変換を行う実施例の構成にオフセット補正部(4103)を追加したものであり、フィールド#k(ただしkは整数)と、そのひとつ前(過去)のフィールド#(k-1)を入力部(1)から入力して垂直解像度変換を行い、表示部(3)に画像を出力する。オフセット補正部(4103)は、加算器(4101)によって位置推定部(101)で得られた位相差θに位相差オフセット(θoffset)(4102)を加えて新たな位相差θ(102)とし、動き補償・アップレート部(115)と折返し成分除去部(117)の信号処理に用いる。ここで、k=2n(nは整数、すなわちkは偶数)のときには位相差オフセット(θoffset)(4102)をπとして、位相差θ(102)の値を入力の走査線間隔の1/2だけ（２枚のフィールド間の最も近い走査線の空間的な位置の差だけ）下方向に補正し、k=2n+1(nは整数、すなわちkは奇数)のときには位相差オフセット(θoffset)(4102)を−πとして、位相差θ(102)の値を入力の走査線間隔の1/2だけ（２枚のフィールド間の最も近い走査線の空間的な位置の差だけ）上方向に補正する。これにより、図４０(b)に示した静止時動きベクトル(4002)の上下動を補正することができる。なお、水平方向も含めた2次元の画像に対応させるには、位置推定部(101)では水平位相差θHと垂直位相差θVを出力するとともに、動き補償・アップレート部(115)を2次元化すればよい。すなわち、垂直位相差θVに上記位相差オフセット(θoffset)(4102)を加えて新たな垂直位相差θVとし、垂直方向にアップレート(0挿入)したのちに図６に示すタップ係数Ck(=2sin(πk+θV)/(πk+θV))を持つ垂直フィルタをかける。一方、水平方向は一般的な動き補償を行う。すなわち、水平方向はアップレートしないで、図12に示すタップ係数を水平位相差θHだけサンプリング位相をシフトし、Ck=sin(πk/2+θH)/(πk/2+θH)をタップ係数とする水平フィルタをかければよい。位相シフト部(116)、折返し成分除去部(117)の各処理は、前述した動作のまま変更せずに、垂直方向の位相シフト(ヒルベルト変換)と折返し成分除去(係数決定および加重加算)を行う。これらの処理により、インタレース走査の入力に対して解像度変換を行ってプログレッシブ走査に変換することができるようになる。
このとき、折返し成分除去部(117)における各係数C0、C1、C2、C3は、図９に示した位相差θを(θ±π)に置き換えた値となる。すなわち、C0=C2=1/2、C1=-(1+cos(θ±π))/(2sin(θ±π))=(1-cosθ)/sinθ、C3=(1+cos(θ±π))/(2sin(θ±π))=-(1-cosθ)/sinθとなる。この際、位相差θが±πのときに係数C1、C3が不定になることや、位相差θが±πに近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図１１に示した本発明の実施例５において、位相差θが±π近傍になったときに補助的画素補間部(1105)からの出力に切り替えるように構成すればよい。すなわち、図１３に示した本発明の実施例５に用いる係数決定器(1103)の具体例において、同図のθを(θ±π)に読み替え、位相差θが±π近傍になったときに、係数C1の値を強制的に0にするとともに、係数C4の値を1.0とすればよい。この動作により、図１１に示す構成において、位相差θ(102)が±πあるいは±π近傍になったときに、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えることができるようになる。なお、位相差θが±πに近づくとともに、図１２に示した係数から図１３に示した係数に連続的に徐々に近づけるようにしてもよい。また、図１における位置推定部(101)にて、フレーム#1上の処理対象の画素に対応した画素がフレーム#2上にないと判定された場合も、位相差θ(102)が±π近傍になったときと同様に各係数を制御して、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えてもよい。
なお、図２０、図２１、図２７に示した各実施例の構成にて、位置推定部から出力された垂直位相差θVの値に対して図４１に示した位相差オフセット(θoffset)(4102)を加えれば、インタレース走査の入力信号に対して、2次元の解像度変換を実現できる。
また、出力されたプログレッシブ形態のフレーム画像に対し、さらに画素の垂直位置にオフセットを加えて、走査線密度の高いインタレース走査形態とすることも可能である。例えば480i形式(走査線数480本のインタレース走査形態)を入力とし、960i(走査線数960本のインタレース走査形態)に変換する場合は、本発明の上記技術によって、一旦480i形式を480p形式(走査線数480本のプログレッシブ走査形態)に変換したのちに、一般的な補間フィルタを用いて、フレームをひとつ置き(例えば、フレーム#2、#4、#6…)に垂直方向に1/2画素(=1/2走査線)だけずらせばよい。
なお、上述したフレーム#1、フレーム#2、フレーム#3などは、時間的に不連続なフレームでもよいし、時間的に逆順となっていてもよい。また、フィールド#1、フィールド#2、フィールド#3などは、図４０に示したような走査線の位置関係を勘案して位相差オフセット(θoffset)の値を決定すれば、時間的に不連続なフィールドでもよいし、時間的に逆順となっていてもよい。例えば、奇数フィールドどうし、あるいは偶数フィールドどうしを入力として解像度変換処理を行うときは、上記位相差オフセット(θoffset)の値を０とすればよい。
以上説明した実施例２１に係る画像信号処理装置によれば、インタレース走査の各フィールド(#1、#2…)を走査線数が1/2のフレームとみなし、１枚おきにフィールド全体に垂直方向のオフセットを付加して移動させる。このようにして生成した連続する画像のうち、２枚の画像について位置推定行い、位相差を算出し、当該位相差に前記オフセットに相当する位相差オフセットによる補正をおこなう。ここで、前記２枚の画像の信号について位相シフトを行い、各画像信号からそれぞれ２つの信号を生成する。これにより、２枚の画像信号から４つの信号を生成する。ここで、補正した位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。これを生成画像の各画素について行うことにより、新たな高解像度画像を生成し、当該高解像度画像をプログレッシブ走査のフレーム画像として出力する。
これにより、実施例２１に係る画像信号処理装置は、インタレース走査の２つのフィールドを用いて、垂直解像度の低下の少ないプログレッシブ走査画像を生成することが可能である。
また、実施例２１に係る画像信号処理装置は、２枚の入力画像フレームを用いるため、必要な画像処理の量が少ない。これにより、垂直解像度の低下の少ないプログレッシブ走査画像を生成する画像信号処理装置を、低コストに実現することが可能である。
図４２を用いて本発明の実施例２２に係る画像信号処理方法について説明する。
実施例２２は、実施例２１に係る画像信号処理装置における画像信号処理と等価な処理を、ソフトウェアと協働する制御部により実現する画像信号処理方法に係るものである。本実施例の画像信号処理方法を行う画像処理装置は実施例２と同様の図１８に示す画像処理装置であるので説明を省略する。
図４２に、本実施例に係る画像信号処理装置の動作のフローチャートの一例を示す。図４２のフローチャートは、図１４に示したフローチャートに対して、図４０(b)に示したオフセットを補正するステップ(4201)を追加するとともに、ステップ(1402)(1403)の各入力をフレーム#1、フレーム#2からフィールド#1、フィールド#2に変更したものである。
その他のステップについては、図１４に示したフローチャートと同様であるので説明を省略する。
ここで、図４２に示したオフセットを補正するステップ(4201)は、図４０(b)に示す走査線の垂直位置関係をもとに、位相差オフセットθoffsetを決定し、位相差θに加算する処理を行うステップである。すなわち、フィールド#k(ただしkは整数)と、そのひとつ前(過去)のフィールド#(k-1)を入力して垂直解像度変換を行う場合、k=2n(nは整数、すなわちkは偶数)のときには位相差オフセット(θoffset)をπとして、位相差θの値を入力の走査線間隔の1/2だけ下方向に補正し、k=2n+1(nは整数、すなわちkは奇数)のときには位相差オフセット(θoffset)を−πとして、位相差θの値を入力の走査線間隔の1/2だけ上方向に補正する。これにより、図４０(b)に示した静止時動きベクトル(4002)の上下動を補正することができ、他のステップの動作を変更せずに、インタレース走査の入力に対して解像度変換を行うことができるようになる。
なお、上述したフレーム#1、フレーム#2、フレーム#3などは、時間的に不連続なフレームでもよいし、時間的に逆順となっていてもよい。また、フィールド#1、フィールド#2、フィールド#3などは、図４０に示したような走査線の位置関係を勘案して位相差オフセット(θoffset)の値を決定すれば、時間的に不連続なフィールドでもよいし、時間的に逆順となっていてもよい。例えば、奇数フィールドどうし、あるいは偶数フィールドどうしを入力として解像度変換処理を行うときは、上記位相差オフセット(θoffset)の値を０とすればよい。
以上説明した実施例２２に係る画像信号処理方法によれば、インタレース走査の各フィールド(#1、#2…)を走査線数が1/2のフレームとみなし、１枚おきにフィールド全体に垂直方向のオフセットを付加して移動させる。このようにして生成した連続する画像のうち、２枚の画像について位置推定行い、位相差を算出し、当該位相差に前記オフセットに相当する位相差オフセットによる補正をおこなう。ここで、前記２枚の画像の信号について位相シフトを行い、各画像信号からそれぞれ２つの信号を生成する。これにより、２枚の画像信号から４つの信号を生成する。ここで、補正した位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。これを生成画像の各画素について行うことにより、新たな高解像度画像を生成し、当該高解像度画像をプログレッシブ走査のフレーム画像として出力する。
これにより、実施例２２に係る画像信号処理方法は、インタレース走査の２つのフィールドを用いて、垂直解像度の低下の少ないプログレッシブ走査画像を生成することが可能である。
また、実施例２２に係る画像信号処理方法は、２枚の入力画像フレームを用いるため、必要な画像処理の量を少なくすることができるという効果がある。
本発明の実施例２３に係る画像信号処理装置は、図４１に示す実施例２１に係る画像信号処理装置において、位相シフト部(116)を図１０の位相シフト部(1009)に置換え、折返し成分除去部(117)を図１０の折返し成分除去部(1010)に置換えた構成を有している。
その他の構成については、図４１に示す画像信号処理装置と同様であるので、説明を省略する。
以上説明した実施例２３に係る画像信号処理装置は、実施例２１に係る画像信号処理装置の効果に加えて、実施例２１に係る画像信号処理装置よりも小さい回路規模で実現できるため、より低コストに実現することが可能である。
図４３を用いて本発明の実施例２４に係る画像信号処理方法について説明する。
実施例２４は、実施例２３に係る画像信号処理装置における画像信号処理と等価な処理を、ソフトウェアと協働する制御部により実現する画像信号処理方法に係るものである。本実施例の画像信号処理方法を行う画像処理装置は実施例２と同様の図１８に示す画像処理装置であるので説明を省略する。
図４３に、本実施例に係る画像信号処理装置の動作のフローチャートの一例を示す。図４３のフローチャートは、図１５に示したフローチャートに対して、図４０(b)に示したオフセットを補正するステップ(4301)を追加するとともに、ステップ(1502)(1503)の各入力をフレーム#1、フレーム#2からフィールド#1、フィールド#2に変更したものである。
その他のステップについては、図１５に示したフローチャートと同様であるので説明を省略する。
なお、オフセットを補正するステップ(4301)の動作の詳細は、図４２に示したオフセットを補正するステップ(4201)と同様であるので、説明を省略する。
以上説明した実施例２４に係る画像信号処理方法は、実施例２２に係る画像信号処理方法と同様の画像信号高解像度化の効果を有する。さらに実施例２４に係る画像信号処理方法は、実施例２２に係る画像信号処理方法に比べて一部の処理ステップの内容を共通化することにより、実施例２２に係る画像信号処理方法よりも少ない処理量(演算数)で同様の信号処理を実現することが可能であるという効果を有する。
本発明の実施例２５に係る画像信号処理装置は、図４１に示す実施例２１に係る画像信号処理装置において、位相シフト部(116)を図１１の位相シフト部(1009)に置換え、折返し成分除去部(117)を図１１の折返し成分除去部(1010)に置換え、さらに図１１に示す補助的画素補間部（1055）を備えた構成を有している。
その他の構成については、図４１に示す画像信号処理装置と同様であるので、説明を省略する。
以上説明した実施例２５に係る画像信号処理装置は、実施例２１に係る画像信号処理装置の効果に加えて、実施例２１に係る画像信号処理装置よりも、位相差オフセット付加後の位相差θが0あるいは0近傍になったときやフィールド#1上の処理対象の画素に対応した画素がフィールド#2上にないと判定された場合にも処理結果が不定になることなく、安定した出力画像を得ることが可能であるという効果を有する。
図４４を用いて本発明の実施例２６に係る画像信号処理方法について説明する。
実施例２６は、実施例２５に係る画像信号処理装置における画像信号処理と等価な処理を、ソフトウェアと協働する制御部により実現する画像信号処理方法に係るものである。本実施例の画像信号処理方法を行う画像処理装置は実施例２と同様の図１８に示す画像処理装置であるので説明を省略する。
図４４に、本実施例に係る画像信号処理装置の動作のフローチャートの一例を示す。図４４のフローチャートは、図１６に示したフローチャートに対して、図４０(b)に示したオフセットを補正するステップ(4401)を追加するとともに、ステップ(1402)(1403)の各入力をフレーム#1、フレーム#2からフィールド#1、フィールド#2に変更したものである。
その他のステップについては、図１６に示したフローチャートと同様であるので説明を省略する。
なお、オフセットを補正するステップ(4401)の動作の詳細は、図４２に示したオフセットを補正するステップ(4201)と同様であるので、説明を省略する。
以上説明した実施例２６に係る画像信号処理方法は、実施例２２に係る画像信号処理方法の効果に加えて、実施例２２に係る画像信号処理方法よりも、位相差オフセット付加後の位相差θが0あるいは0近傍になったときやフィールド#1上の処理対象の画素に対応した画素がフィールド#2上にないと判定された場合にも処理結果が不定になることなく、安定した出力画像を得ることが可能であるという効果を有する。
本発明の実施例２７に係る画像表示装置は、実施例１３に係る画像表示装置において、図３６に示す画像信号処理部3504を実施例２１、実施例２３若しくは実施例２５のうち一の実施例に記載された画像信号処理装置に替えたものである。その他構成は、実施例１３に係る画像表示装置と同じである為、説明を省略する。
また、画像信号処理部3504の詳細な動作については、実施例２１、実施例２３若しくは実施例２５に記載したとおりであるので、説明を省略する。
実施例２７に係る画像表示装置によれば、インタレース走査の各フィールド(#1、#2…)を走査線数が1/2のフレームとみなし、１枚おきにフィールド全体に垂直方向のオフセットを付加して移動させる。このようにして生成した連続する画像のうち、２枚の画像について位置推定行い、位相差を算出し、当該位相差に前記オフセットに相当する位相差オフセットによる補正をおこなう。ここで、前記２枚の画像の信号について位相シフトを行い、各画像信号からそれぞれ２つの信号を生成する。これにより、２枚の画像信号から４つの信号を生成する。ここで、補正した位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。これを生成画像の各画素について行うことにより、新たな高解像度画像を生成し、当該高解像度画像をプログレッシブ走査のフレーム画像として表示部に表示する。
これにより、実施例２７に係る画像表示装置は、インタレース走査の２つのフィールドを用いて、垂直解像度の低下の少ないプログレッシブ走査画像を生成し、表示部に表示することが可能である。
また、実施例２７に係る画像表示装置は、２枚の入力画像フレームを用いるため、必要な画像処理の量が少ない。これにより、垂直解像度の低下の少ないプログレッシブ走査画像を生成して表示する画像表示装置を、低コストに実現することが可能である。
本発明の実施例２８に係る録画再生装置は、実施例１７に係る録画再生装置において、図３６に示す画像信号処理部3504を実施例２１、実施例２３、若しくは実施例２５の実施例のうち一の実施例に記載された画像信号処理装置に替えたものである。その他構成は、実施例１７に係る録画再生装置と同じである為、説明を省略する。
また、画像信号処理部3504の詳細な動作については、実施例２１、実施例２３、若しくは実施例２５に記載したとおりであるので、説明を省略する。
本発明の実施例２８に係る録画再生装置によれば、インタレース走査の各フィールド(#1、#2…)を走査線数が1/2のフレームとみなし、１枚おきにフィールド全体に垂直方向のオフセットを付加して移動させる。このようにして生成した連続する画像のうち、２枚の画像について位置推定行い、位相差を算出し、当該位相差に前記オフセットに相当する位相差オフセットによる補正をおこなう。ここで、前記２枚の画像の信号について位相シフトを行い、各画像信号からそれぞれ２つの信号を生成する。これにより、２枚の画像信号から４つの信号を生成する。ここで、補正した位相差に基づいて、当該４つの信号の各信号について、当該４つの信号の折り返し成分を打ち消して合成するための係数を画素ごとに算出する。生成する画像のそれぞれの画素について、上記４つの信号の各信号が有する対応画素の画素値に各係数を乗じた和を算出し、新たな高解像度画像の画素値を生成する。これを生成画像の各画素について行うことにより、新たな高解像度画像を生成し、当該高解像度画像をプログレッシブ走査のフレーム画像として生成し、これを出力することが可能である。
これにより、実施例２８に係る録画再生装置は、インタレース走査の２つのフィールドを用いて、垂直解像度の低下の少ないプログレッシブ走査画像を生成し、出力することが可能である。
また、インタレース走査による入力映像信号を記録部に記録しておき、その記録部からの再生時に、再生するインタレース走査の２つのフィールドを用いて、垂直解像度の低下の少ないプログレッシブ走査画像を生成し、出力することが可能である。
また、実施例２８に係る録画再生装置は、２枚の入力画像フレームを用いるため、必要な画像処理の量が少ない。これにより、垂直解像度の低下の少ないプログレッシブ走査画像を生成して出力する録画再生装置を、低コストに実現することが可能である。
図４５に、本発明の実施例２９に係る構成を示す。上述したように、地上波や衛星(BS、CS)を用いた現在のデジタルテレビ放送では、従来のSD(Standard Definition)の画像信号に加え、HD(High Definition)の画像信号にて番組が放送されている。しかし、同図(a)の送信機(4505)の構成に示すように、全番組がHDカメラ(4501)で撮影された画像信号に置き換わっているわけではなく、SDカメラ(4502)で撮影された画像信号を、SD→HD変換器(4503)によって、HDと同じ画素数を持つ信号に変換(アップコン)し、番組ごとに、あるいはシーンごとに、切替器(4504)で切り替えて伝送路(4506)に出力していることがよく知られている。なお、伝送路(4506)は、放送だけでなく、通信、蓄積(録画)なども含む。従来の受信機では、受信した信号が、HDカメラ(4501)で撮影された画像信号の場合は解像度の高い画像が再生され、SD→HD変換(アップコン)後の画像信号の場合は解像度が低い画像が再生されるため、番組ごとに、あるいはシーンごとに、解像度が頻繁に切り替わって見苦しい場合があった。
そこで、図４５(b)に示すように受信機(4514)を構成すれば、上記の解像度差を軽減でき、解像度が頻繁な切り替わりを防止することができる。以下、この構成について、詳しく説明する。
なお、低解像度画像信号及び高解像度画像信号の組み合わせは、SD画像信号及びHD画像信号に限られず、画素数の異なる信号の組み合わせであれば、いずれの信号の組み合わせでもよい。例えば、画素数が1440×1080である画像を低解像度画像信号とし、画素数が1920×1080である画像を高解像度画像信号とする組み合わせでもよい。また、画素数が720×480である画像を低解像度画像信号とし、画素数が720×576である画像を高解像度画像信号とする組み合わせでもよい。以下の記載においては、説明のため、低解像度画像信号の一例としてSD(Standard Definition)の画像信号を用い、高解像度画像信号の一例としてHD(High Definition)の画像信号を用いる。
図４５(b)において、入力部(1)にて信号を受信し、アップコン検出部(4507)により、受信した信号がSD→HD変換(アップコン)された信号か否かの判定結果(UC_on_off)を出力するとともに、SD→HD変換(アップコン)された信号の場合は、後述する水平拡大率(MR-H)と垂直拡大率(MR-V)を出力する。SD→HD変換(アップコン)された信号の場合は、画像信号処理部(4515)にて、水平拡大率(MR-H)と垂直拡大率(MR-V)をもとに、受信した信号をHD-SD変換器(4508)によってアップコン前の画素数に逆変換(ダウンコン)する。この逆変換した信号を、後述する解像度変換ブロック(4509)によって受信した信号と同一の解像度に再度変換し、切替器(4510)に入力する。切替器(4510)では、上記判定結果(UC_on_off)に基づき、SD→HD変換(アップコン)された信号の場合はon側に切り替えて解像度変換ブロック(4509)の結果を出力し、SD→HD変換(アップコン)された信号でない場合はoff側に切り替えて受信した信号をそのまま出力する。すなわち、SD→HD変換(アップコン)された信号の場合のみ選択的に、解像度変換ブロック(4509)を作用させる。受信機(4514)がテレビ受像機の場合は、切替器(4510)の出力を表示部(4511)にてそのまま表示すればよい。受信機(4514)が中継器や編集機、記録機(ビデオレコーダ)などの場合は、伝送器(4512)にて伝送路(4513)に適した信号形態に変換したのちに伝送すればよい。なお、伝送路(4513)は、放送だけでなく、通信、蓄積(録画)なども含む。また、伝送器(4512)は、従来の一般的な中継器や編集機、記録機(ビデオレコーダ)の技術をそのまま使用すればよい。
図４６に、SD→HD変換器(4503)およびHD-SD変換器(4508)の一般的な構成を示す。両変換ともに、1画面を構成する画素数(サンプル数)を変換するサンプリング周波数変換器であり、従来の技術を用いて、同図(a)ポリフェーズ型と同図(b)オーバサンプリング型の各構成によって実現できることがよく知られている。例えば、画素数をm/n倍(ただし、m、nは整数)に変更する場合、同図(a)ポリフェーズ型では、所定の特性を持った補間ローパスフィルタ(4601)をm組用意し、mとnによって決められた所定の順番に従い、切替器(4602)によって補間ローパスフィルタ(4601)の出力を切り替えて出力する。同図(b)オーバサンプリング型では、まずアップレート器(4603)にてm倍にアップレート(すなわち、m画素ごとに入力データを順番に配置し、その間の(m-1)個の画素には”０”を挿入)したのち、所定の特性を持った補間ローパスフィルタ(4604)を掛け、ダウンレート器(4605)にて1/n倍にダウンレート(すなわちn画素ごとに1画素を等間隔に選択して間引き出力)する。これらは、従来技術などでを用いればよい。
図４７に、一般的なSD→HD変換(アップコン)の具体的な動作例を示す。SDカメラ(4502)で撮影されたSD画像(アスペクト比4:3)として、例えば同図(a)(b)(c)に示すような形態がある。同図(a)のSD画像は、画面いっぱいに画像が撮影され、正円は歪むことなく正円として撮影されている。同図(b)のSD画像は、ワイドアスペクト(16:9)のHD画像に変換された際に画面いっぱいに表示されることを予め想定し、画面上下に無画部(黒み)が生じるように撮影され、正円は歪むことなく正円として撮影されている。同図(c)のSD画像は、ワイドアスペクト(16:9)のHD画像に変換された際に画面いっぱいに表示されることを予め想定するとともに、SD画像としても無画部(黒み)がないように撮影され、正円は縦に伸びた楕円となる形態で撮影されている。これらのSD画像をそれぞれHD画像に変換すると、両者のアスペクト比の違いにより、同図(d)(e)に示すような形態になることが良く知られている。同図(d)のHD画像は、同図(a)のSD画像の正円を歪むことなく正円として表示されるように拡大し、画面の左右に無画部(黒み)が生じるように画素数変換されている。同図(e)のHD画像は、無画部(黒み)がないように、同図(b)(c)のSD画像をそれぞれ画面いっぱいに拡大して画素数変換されている。
図４８に、上述した一般的なSD→HD変換(アップコン)における、水平および垂直の各拡大率(画素数比)の一例を示す。ここで、SD画像は水平720画素×垂直480画素、HD画像は水平1920画素×垂直1080画素であると想定した。同図(1)のサイドカット形態は、図４７(a)に示したSD画像から(d)に示したHD画像に変換する形態であり、水平の拡大率は2倍(=1920/720×3/4)、垂直の拡大率は9/4倍(=1080/480)となる。同図(2)のレターボックス形態は、図４７(b)に示したSD画像から(e)に示したHD画像に変換する形態であり、水平の拡大率は8/3倍(=1920/720)、垂直の拡大率は3倍(=1080/480×4/3)となる。同図(3)のスクイーズ形態は、図４７(c)に示したSD画像から(e)に示したHD画像に変換する形態であり、水平の拡大率は8/3倍(=1920/720)、垂直の拡大率は9/4倍(=1080/480)となる。なお、上記以外にも、HD画像として水平1440画素×垂直1080画素や水平1280画素×垂直720画素などが想定されるが、上記と同様に水平拡大率と垂直拡大率を求めることができる。
図４９に、図４５に示したアップコン検出部(4507)の具体的な構成例を示す。ここで、SD→HD変換(アップコン)の際の拡大率は、図４８に示した水平拡大率と垂直拡大率であると想定する。同図において、アップコン検出部(4507)に入力された信号は、後述する通過帯域特性を持つ水平ハイパスフィルタ(4901-1)(4901-2)、垂直ハイパスフィルタ(4901-3)(4901-4)によって帯域制限したのち、信号成分有無判定部(4902-1)(4902-2)(4902-3)(4902-4)にそれぞれ入力する。信号成分有無判定部(4902-1)では、絶対値化器(4903-1)と平滑化器(4904-1)によって信号の包絡線を求めたのち、2値化器(4905-1)によって所定のしきい値と比較して2値化し、頻度計測器(4906-1)によって該しきい値を越える頻度を計測して、信号成分の有無を判定する。すなわち、単位時間あたり(例えば1フレームあたり)に、上記ハイパスフィルタ(4901-1)を通過した信号が多ければ「信号成分あり」と判定し、上記ハイパスフィルタ(4901-1)を通過した信号が少なければ「信号成分なし」と判定する。平滑化器(4904-1)として、一般的2次元ローパスフィルタを用いればよい。他の信号成分有無判定部(4902-2)(4902-3)(4902-4)についても同様の構成とし、同様の判定を行う。水平拡大率判定部(4907)および垂直拡大率判定部(4908)では、後述の判定方法に基づいて上記の各信号成分有無判定部の結果を分析し、SD→HD変換(アップコン)された信号か否かの検出結果(UC_on_off)と、水平拡大率(MR-H)あるいは垂直拡大率(MR-V)をそれぞれ出力する。総合判定器(4909)では、水平拡大率判定部(4907)と垂直拡大率判定部(4908)の検出結果(UC_on_off)を総合し、どちらか一方でもSD→HD変換(アップコン)された信号ではない(off)と判定されたら、検出結果(UC_on_off)をoffとして出力する。また、SD→HD変換(アップコン)は数フレーム〜数秒間は連続して同じ結果が連続すると想定されるため、メモリで構成される履歴保持器(4910)により過去の履歴を保持しておき、総合判定器(4909)にて過去の複数の検出結果と多数決を取るなどして、検出結果(UC_on_off)や各拡大率(MR-H)(MR-V)が急激に変化することを避ける処理(孤立点除去)を行うことが望ましい。
ここで、HD画像の画素数で表現できる最高周波数(角周波数)をπとし、信号に含まれる成分の周波数(角周波数)をωとすると、図４８に示した拡大率をもとに、水平ハイパスフィルタ(4901-1)は(π/2≦ω≦π)の水平周波数を通過帯域とし、水平ハイパスフィルタ(4901-2)は(3π/8≦ω≦π)の水平周波数を通過帯域とし、垂直ハイパスフィルタ(4901-3)は(4π/9≦ω≦π)の垂直周波数を通過帯域とし、垂直ハイパスフィルタ(4901-4)は(π/3≦ω≦π)の水平周波数を通過帯域とする。すなわち、各拡大率の逆数を上記最高周波数(角周波数)πに乗じた値を、各ハイパスフィルタのカットオフ周波数とする。
図５０に、(a)水平拡大率判定部(4907)と(b)垂直拡大率判定部(4908)の各動作を示す。各判定器(4907)(4908)では、「拡大された画像に含まれる高周波数成分の量は、拡大率に応じて変化する」という一般的な性質を利用して、各拡大率を判定する。すなわち、(a)水平拡大率判定部(4907)では、3π/8＜π/2の関係から、水平周波数ωが(π/2≦ω≦π)の成分があるときには「拡大していない」(撮影時にHDカメラを使用した)と判定し、検出結果(UC_on_off)をoff側(アップコンされていない)とする。水平周波数ωが(π/2≦ω≦π)の成分はないが(3π/8≦ω≦π)の成分があるときには「2倍以上に拡大したが、8/3倍以上には拡大していない」と判定し、水平拡大率(MR_V)を2倍、検出結果(UC_on_off)をon側(アップコンされた)と判定する。水平周波数ωが(3π/8≦ω≦π)の成分もないときには、「8/3倍以上に拡大した」と判定し、水平拡大率(MR_V)を8/3倍、検出結果(UC_on_off)をon側(アップコンされた)と判定する。同様に、(b)垂直拡大率判定部(4908)では、π/3＜4π/9の関係から、垂直周波数ωが(4π/9≦ω≦π)の成分があるときには「拡大していない」(撮影時にHDカメラを使用した)と判定し、検出結果(UC_on_off)をoff側(アップコンされていない)とする。垂直周波数ωが(4π/9≦ω≦π)の成分はないが(π/3≦ω≦π)の成分があるときには「9/4倍以上に拡大したが、3倍以上には拡大していない」と判定し、垂直拡大率(MR_V)を9/4倍、検出結果(UC_on_off)をon側(アップコンされた)と判定する。垂直周波数ωが(π/3≦ω≦π)の成分もないときには、「3倍以上に拡大した」と判定し、水平拡大率(MR_V)を3倍、検出結果(UC_on_off)をon側(アップコンされた)と判定する。これらの判定結果に基づき、図４５に示した切替器(4510)を切り替えれば、SD→HD変換(アップコン)された信号の場合のみ選択的に解像度変換ブロック(4509)を作用させることができるとともに、解像度変換ブロック(4509)の入力が撮影時のSDカメラ(4502)の画素数になるように、HD／SD変換器(4508)の動作を制御することができる。
図５１(a)に、図４５に示した解像度変換ブロック(4509)の詳細な構成を示す。同図において、前段のHD／SD変換器(4508)にて水平画素数を1/MR-H=nH/mH倍(ただし、nH、mHは整数)に、かつ、垂直画素数を1/MR-V=nV/mV倍(ただし、nV、mVは整数)に変換したと想定すると、解像度変換ブロック(4509)では、上述した本発明の実施例に示す構成(実施例１乃至実施例１２)を用いて、水平画素数をmH/nH倍に、かつ、垂直画素数をmV/nV倍に変換するとともに、高解像度化したい。
そこで、本実施例では、図５１(a)に示すように、一旦、解像度変換部(5101)にて水平画素数をkH倍かつ垂直画素数をkV倍に画像拡大したのちに、図４６に示した一般的な画素数変換器(5102)を水平方向、垂直方向にそれぞれ作用させることによって、残りの拡大率(水平：mH/(nH*kH)倍、垂直：mV/(nV*kV)倍)の画像サイズ変換を行うのがよい。このとき、解像度変換部(5101)は、実施例７乃至実施例１２に示す２次元方向の画像高解像度化を行う画像処理装置を用いればよい。なお、実施例７乃至実施例１２に示す画像処理装置の構成については、各実施例にて既に説明したので、説明を省略する。
例えば、解像度変換ブロック(4509)にて画像サイズを水平8/3倍かつ垂直9/4倍に拡大したいときは、解像度変換部(5101)にて画像サイズを水平2倍かつ垂直2倍に拡大したのちに、一般的な画素数変換器(5102-H)にて水平方向に4/3倍に拡大したのちに、一般的な画素数変換器(5102-V)にて垂直方向に9/8倍に拡大すればよい。また、例えば、解像度変換部(5101)にて水平4倍かつ垂直4倍に拡大したのちに、一般的な画素数変換器(5102-H)にて水平方向に2/3倍に縮小したのちに、一般的な画素数変換器(5102-V)にて垂直方向に9/16倍に縮小してもよい。解像度変換部(5101)の拡大率が大きくなるほど解像度が高くなって画質がよくなる可能性があるが、それに伴い解像度変換処理に必要な入力フレーム数も増加して回路規模が増えるため、画質とコストのトレードオフとなる。なお、一般的な画素数変換器(5102-H)(5102-V)は、図４６に示した(a)ポリフェーズ型と(b)アップサンプリング型のどちらで構成してもよい。
また、水平・垂直方向の各処理の順番は逆の順番でも構わない。
なお、上記の説明では、一般的な画素数変換器(5102-H)(5102-V)の変換倍率は、HD／SD変換器(4508)の入力画像の画素サイズと、解像度変換ブロック(4509)からの出力サイズが同じになるような値として説明したが、解像度変換ブロック(4509)からの出力サイズを表示部(4511)の画素数と合わせるために、変更した値を用いても構わない。
図５２に、図４５に示した構成における水平方向についての変換処理に関して、(a)送信機(4505)のSD→HD変換(アップコン)(4503)、(b)受信機(4514)のHD／SD変換(ダウンコン)(4508)および解像度変換ブロック(4509)の動作を示す。なお、垂直方向に関しても同様の動作となるため、垂直方向については説明を省略する。ここで、解像度変換ブロック(4509)として図５１に示した構成を想定するとともに、SD→HD変換(4503)、HD／SD変換(4508)、一般的なサンプリング変換器(5102)は、それぞれポリフェーズ型であると想定する。また、動作の一例として、SD画像からHD画像に変換する際の水平拡大率を8/3(=1920/720)として、以下説明する。
図５２は、各部の出力信号の周波数スペクトルを示したものであり、同図(a)〜(k)の横軸は周波数fを、縦軸は信号成分の強度を、上向きの矢印(5201)はサンプリングキャリアの位置(周波数)を示している。また、SD画像の水平サンプリング周波数をfsとし、SD→HD変換後のＨＤ画像の水平サンプリング周波数をｆｓ’(=8/3fs)とする。
図５２(a)は、SDカメラ(4502)の出力信号の周波数スペクトルを示しており、ナイキスト周波数(=fs/2)以上の周波数成分をもともと含んでいると想定する。この信号に対して、水平方向に8/3倍に拡大するために、SD→HD変換(4503)において8倍アップレート、補間ローパスフィルタ、1/3倍ダウンレートの各処理を行う。
図５２(b)は、SD→HD変換(4503)における8倍アップレート器(4603)の出力信号の周波数スペクトルを示しており、同図(a)に示したサンプリングキャリアの間隔がfsから8fsに広がることを示している。
図５２(c)は、SD→HD変換(4503)における補間ローパスフィルタ(4604)の出力信号の周波数スペクトルを示している。補間ローパスフィルタ(4604)のカットオフ周波数をfs/2と想定すると、同図のようにf=0とf=8fsの近傍の周波数成分だけを残し、その他の周波数成分は除去される。この際、ナイキスト周波数(=fs/2)以上の周波数成分は、折返し成分として残留する。
図５２(d)は、SD→HD変換(4503)における1/3倍ダウンレート器(4605)の出力信号の周波数スペクトルを示しており、SD→HD変換後のサンプリング周波数ｆｓ’（＝８ｆｓ／３）の整数倍の位置に新たなサンプリングキャリアが発生する。このサンプリングキャリアに対して、補間ローパスフィルタ(4604)を通過した周波数成分が畳み込まれることを示している。
ここで図５２(d)は、図４５に示した伝送路(4506)を流れるSD→HD変換後の信号の周波数スペクトルを示しており、ナイキスト周波数(=fs/2)以上の周波数成分はもともとの位置に残留してない点が、図３や図４に示した原信号の周波数スペクトルと大きく異なる。すなわち、この信号に対して、そのまま本発明の解像度変換処理を行っても、ナイキスト周波数(=fs/2)以上の周波数成分は再現できないことを示している。
そこで、SD→HD変換後の信号からナイキスト周波数(=fs/2)以上の周波数成分を再現するためには、図４５(b)受信側(4514)に示したHD／SD変換(4508)と解像度変換ブロック(4509)が必要になる。以下、図５２(e)〜(k)に示す各周波数スペクトルを、図５１に示した構成をもとに説明する。なお、図５１における拡大率を示す各変数(n、m、k)をn=3、m=8、k=2とおいて、以下説明する。
図５２(e)は、HD／SD変換(4508)における3倍アップレート器(4603)の出力信号の周波数スペクトルを示しており、同図(d)に示したサンプリングキャリアの間隔がfs’(=8fs/3)から3fs’(=8fs)に広がることを示している。
図５２(f)は、HD／SD変換(4508)における補間ローパスフィルタ(4604)の出力信号の周波数スペクトルを示している。補間ローパスフィルタ(4604)のカットオフ周波数をfs/2と想定すると、同図のようにf=0とf=8fsの近傍の周波数成分だけを残し、その他の周波数成分は除去される。この際、ナイキスト周波数(=fs/2)以上の周波数成分は、折返し成分として残留する。なお、同図(e)の周波数スペクトルからわかるように、補間ローパスフィルタ(4604)のカットオフ周波数をfs/2〜((fs’-fs/2)=13fs/6)の範囲に設定すれば、fs’（＝８ｆｓ／３）と２ｆｓ’(=16fs/3)を中心とする不要な周波数成分を除去できる。
図５２(g)は、HD／SD変換(4508)における1/8倍ダウンレート器(4605)の出力信号の周波数スペクトルを示しており、HD／SD変換後のサンプリング周波数ｆｓ（＝３ｆｓ’／８）の整数倍の位置に新たなサンプリングキャリアが発生する。このサンプリングキャリアに対して、補間ローパスフィルタ（４６０４）を通過した周波数成分が畳み込まれることを示している。
ここで図５２(g)は、ナイキスト周波数(=fs/2)以上の周波数成分がもともとの位置に残留しているおり、図３や図４に示した原信号の周波数スペクトルと同一となる。すなわち、この信号に対して、そのまま本発明の解像度変換処理を行えば、ナイキスト周波数(=fs/2)以上の周波数成分が再現できることを示している。
図５２(h)は、本発明の解像度変換器(5101)の出力信号の周波数スペクトルを示しており、図４などを用いて動作説明したように、fs、3fs、5fs、7fsを中心とする不要な折返し成分がキャンセルされ、原信号のナイキスト周波数(=fs/2)以上の周波数成分が再現できている。以下、伝送されたHD信号の画素数に合わせるために、一般的なサンプリング変換器(5102)にて4/3倍に拡大する。
図５２(i)は、サンプリングレート変換器(5102)における4倍アップレート器(4603)の出力信号の周波数スペクトルを示しており、同図(h)に示したサンプリングキャリアの間隔が2fsから8fsに広がることを示している。
図５２(j)は、サンプリングレート変換器(5102)における補間ローパスフィルタ(4604)の出力信号の周波数スペクトルを示している。補間ローパスフィルタ(4604)のカットオフ周波数をfsと想定すると、同図のようにf=0とf=8fsの近傍の周波数成分だけを残し、その他の周波数成分は除去される。
図５２(k)は、サンプリングレート変換器(5102)における1/3倍ダウンレート器(4605)の出力信号の周波数スペクトルを示しており、送信側から伝送された信号と同じサンプリング周波数ｆｓ’（＝８ｆｓ／３）の整数倍の位置に新たなサンプリングキャリアが発生する。このサンプリングキャリアに対して、補間ローパスフィルタ(4604)を通過した周波数成分が畳み込まれることを示している。
上記の動作により、図５２(d)の周波数スペクトルで送信側から伝送された信号は、図４５(b)受信機(4514)によって図５２(k)のように変換されて、SDカメラ(4502)から出力された画像よりも高い解像度の出力画像が表示部(4511)に再生されることになる。従って、HDカメラ(4501)で撮影された画像信号と、SDカメラ(4502)で撮影されてSD→HD変換(アップコン)された画像信号の間の解像度差を軽減でき、解像度が頻繁に切り替わって見苦しいという課題を解決できる。
なお、図５２において、水平方向の画像拡大を例に挙げて説明したが、垂直方向の画像拡大についても同様の動作になることは明らかである。また、拡大率も8/3倍に限定されるわけではなく、その他の倍率において同様の動作になる。
また、図４５に示した(b)受信側(4514)の信号処理はリアルタイム動作である必要はなく、伝送路(4506)から受信した信号をビデオレコーダ等に一旦記録したのちに、非リアルタイム処理(オフライン処理)にて解像度変換を実施したのちに再度ビデオレコーダ等に記録し、表示部(4511)で再生する際にリアルタイム表示してもよい。この再度ビデオレコーダ等に記録する部分は、同図(b)受信部(4514)に示す伝送器(4512)をビデオレコーダの記録部と考え、伝送路(4513)を記録媒体(ビデオディスク、ビデオテープ等)と考えた場合に相当する。
また、図４５において、(a)送信機(4505)にてHDカメラ(4501)で撮影された信号に対しても、(b)受信機(4514)にてさらに高い解像度(I-P変換も含む)に変換して表示部(4511)にて表示したい場合には、切替器(4510)の後に本発明の解像度変換ブロック(4509)を挿入すればよい。あるいは、切替器(4510)のoff側の入力に本発明の解像度変換ブロック(4509)を挿入してHDカメラ(4501)で撮影された信号を高解像度に変換するとともに、HD／SD変換(ダウンコン)(4508)の後の解像度変換ブロック(4509)の拡大率を上げても同一の動作になることは明らかである。
また、図４５において、(b)受信機(4514)の中に表示部(4511)や伝送器(4512)を備えることは必須ではない。すなわち、(b)受信機(4514)と同一の筐体内に一体化するのではなく、切替器(4510)の出力信号をインターフェースとした別体の構成としてもよい。
また、図４５において、アップコン検出部(4507)にてSD→HD変換(アップコン)された信号か否かの検出結果(UC_on_off)、水平拡大率(MR-H)、垂直拡大率(MR-V)を自動的に検出する構成について述べたが、これらが予め判明している場合にはアップコン検出部(4507)は不要である。例えば、画像フレームとともにモード識別情報が伝送路(4506)を通じて送信機(4510)から伝送され、このモード識別情報にSD→HD変換(アップコン)された信号か否かの検出結果(UC_on_off)、水平拡大率(MR-H)、垂直拡大率(MR-V)の各情報が格納されている場合は、受信機(4514)にてモード識別情報を読み取って、前記各情報をそのまま用いればよい。あるいは、標準規格等で水平拡大率(MR-H)、垂直拡大率(MR-V)がもともと明らかな場合は、前記標準規格等で定められた固定の値を用いればよい。
また、図４５において、説明を簡単にするために、(a)送信機(4505)は、HDカメラ(4501)あるいはSDカメラ(4502)から得た信号をそのままリアルタイムで送信するものとして説明したが、本発明はこれに限定されるわけではなく、HDカメラ(4501)あるいはSDカメラ(4502)から得た信号を録画・再生した信号や編集した信号に対しても、同様の効果があることは言うまでもない。
また、図４５において、SD→HD変換(4503)は(a)送信機(4505)の中に配置するのではなく、(b)受信機(4514)の前段に配置しても同様の効果があることは明らかである。例えば、同一のテレビ受像機内において、複数のLSIチップ構成によって高解像度化を実現しようとする際に、前段のLSIチップにてSD→HD変換(4503)を行ったのちに、後段のLSIチップにて同図(b)受信機(4514)に示す解像度変換処理を行ってもよい。この場合、HD画像の画素数は、放送規格等で定められた所定の画素数である必要はなく、表示部(4511)の画素数に合わせて、例えば、水平1024画素×垂直1024画素や、水平1366画素×垂直768画素などとしてもよい。
次に、図５３に、本実施例に係る受信機の動作のフローチャートの一例を示す。図５３のフローチャートにおいて、処理はステップ(5301)から開始し、ステップ(5302)にて入力された複数枚の画像信号がSD→HD変換(アップコン)された信号か否かを判定したのち、SD→HD変換(アップコン)された信号でなければ、ステップ(5307)にて処理を終了する。一方、SD→HD変換(アップコン)された信号の場合には、ステップ(5303)にて、水平拡大率(MR-H)と垂直拡大率(MR-V)を判定する。この判定方法として、図４９及び図５０を用いて説明した上記手順をそのまま用いればよいため、図示は省略する。続いて、ステップ(5304)にて、判定された水平拡大率(MR-H)と垂直拡大率(MR-V)をもとに、撮影時の画素数に戻るようにHD／SD変換(ダウンコン)を行う。すなわち、ステップ(5304)では、水平拡大率(1/MR-H)、垂直拡大率(1/MR-V)の画像縮小を行う。ステップ(5305)では、図14乃至図16に示した処理ステップ(5)、図33に示したステップ(6)、あるいは図42乃至図44に示したステップ(7)のいずれかを用いて、ステップ(5304)において変換された複数の画像から高解像度画像を生成する解像度変換(高解像度化)を行う。ここで、ステップ(5305)では、水平方向および垂直方向にそれぞれ整数倍の画像拡大を行う。例えば、ステップ(5305)での水平拡大率を(kH)、垂直拡大率(kV)とする。その後、ステップ(5306)では、上記拡大率(MR-H、MR-V、kH、kV)をもとに、一般的な画素数変換を行って出力する。すなわち、ステップ(5306)では、水平拡大率(MR-H/kH)、垂直拡大率(MR-V/kV)の画像拡大(or縮小)を行って出力する。なお、ステップ(5302)とステップ(5303)の動作は図４５に示したアップコン検出(4507)の動作に対応し、ステップ(5304)の動作は図４５に示したHD／SD変換(4508)の動作に対応し、ステップ(5305)の動作は図５１に示した解像度変換部(5101)の動作に対応し、ステップ(5306)の動作は図５１に示した一般的な画素数変換部(5102)に対応する。
以上説明した実施例２９に係る受信装置は、入力映像のうちから、低解像度映像を折り返し成分を残留させたまま高解像度にアップコンバートした映像と、そもそも折り返し成分の少ない高解像度映像とを判別する。入力映像が前者の映像であると判断した場合に、当該アップコンバート映像に対し、ダウンコンバートを行ったうえで、実施例７乃至実施例１２に示す２次元方向の高解像度化処理を行う。これにより、前者の映像であっても折り返し成分を低減した高解像度の映像に変換するこができる。
よって、実施例２９に係る受信装置が表示するもしくは出力する映像において、前者の映像と後者の映像との解像度の差を低減でき、解像度が頻繁な切り替わりを防止することが可能である。
本発明の実施例３０に係る受信装置は、実施例２９に係る受信装置において、図５１(ａ)に示す解像度変換ブロック(4509)を図５１(ｂ)に記載された解像度変換ブロック(4509)に替えたものである。
図５１(ｂ)に記載された解像度変換ブロック(4509)は、図５１(ａ)に示す解像度変換ブロック(4509)と異なり、水平方向について解像度変換・アップレート処理・ダウンレート処理を行った後に、垂直方向について解像度変換・アップレート処理・ダウンレート処理を行っている。このとき、垂直・水平方向の各処理の順番は逆でも構わない。このように、解像度変換・アップレート処理・ダウンレート処理をそれぞれ独立して行うことにより、各方向の解像度変換・アップレート処理・ダウンレート処理を行うハードウェアを共通の構成にすることが可能となる。すなわち、共通の構成を有するハードウェアを複数備えて、それぞれ水平方向、垂直方向に処理行うように構成すればよい。この場合は、ハードウェアの共通化により部品コストの低減が図れるという効果がある。
このときＨ方向の解像度変換部(5101-H)及びＶ方向の解像度変換部(5101-V)は、実施例１乃至実施例６に示す１次元方向の高解像度化処理を行えばよい。なお、実施例１乃至実施例６に示す１次元方向の高解像度化処理を行う構成については、各実施例にて既に説明したので、説明を省略する。
その他の構成は、実施例２９に係る受信装置と同じである為、説明を省略する。
以上説明した実施例３０に係る受信装置は、実施例２９に係る受信装置の効果に加えて、実施例２９に係る受信装置よりも低コストに実現することが可能であるという効果を有する。
本発明の実施例３１に係る受信装置は、実施例２９に係る受信装置において、図５１(ａ)に示す解像度変換ブロック(4509)を図５１(c)に記載された解像度変換ブロック(4509)に替えたものである。
図５１(ｃ)に記載された解像度変換ブロック(4509)は、図５１(ａ)に示す解像度変換ブロック(4509)と異なり、１次元方向についてのみ解像度変換・アップレート処理・ダウンレート処理を行うものである。例えば、１次元解像度変換部(5101-1)は、実施例１乃至実施例６に示す１次元方向の高解像度化処理を行えばよい。なお、実施例１乃至実施例６に示す１次元方向の高解像度化処理を行う構成については、各実施例にて既に説明したので、説明を省略する。
その他の構成は、実施例２９に係る受信装置と同じである為、説明を省略する。
すなわち、実施例３１に係る受信装置は、例えば、受信する映像が１次元方向にのみアップコンバートされている放送を受信する場合など、１次元方向のみを高解像度化する受信装置に係るものである。
このとき、図５１(ｃ)に記載された解像度変換部の構成が図５１(ａ)に示す解像度変換ブロック(4509)よりも簡便に構成される。よって、部品コストの低減が図れるという効果がある。
以上説明した実施例３１に係る受信装置は、入力映像のうちから、低解像度映像について折り返し成分を残留させたまま高解像度にアップコンバートした映像と、そもそも折り返し成分の少ない高解像度映像とを判別する。入力映像が前者の映像であると判断した場合に、当該アップコンバート映像に対し、１次元方向のダウンコンバートを行ったうえで、実施例１乃至実施例６に示す１次元方向の高解像度化処理を行う。これにより、前者の映像であっても折り返し成分を低減した高解像度の映像に変換するこができる。
よって、実施例２９に係る受信装置が表示するもしくは出力する映像において、前者の映像と後者の映像との解像度の差を低減でき、解像度が頻繁な切り替わりを防止することが可能である。
以上説明した実施例３１に係る受信装置は、実施例２９に係る受信装置の効果に加えて、実施例２９に係る受信装置よりも低コストに実現することが可能であるという効果を有する。
図６１に、本発明の第３２の実施例に係る記録再生装置の一例を示す。同図に示す記録再生装置は、上述の解像度変換部を用いて、記録媒体に記録する画像データ量を抑えながら、高解像度の画像を表示もしくは出力することが可能である。
図６１の記録時の動作では、入力部(6109)から入力された画像信号を、記録再生処理部(6103)を介して記録媒体(6104)に画像データを記録する。
ここで入力された画像信号を表示するときは、切替器(6105)を上側(記録時側)に切替えることにより、前記入力部(6109)からの画像信号を解像度変換部(6106)に入力し、当該画像信号うち複数の画像を用いて、1フレームあたりの画素数を増加させて高解像度に変換し、当該高解像度化した画像を、表示部(6107)にて表示するとともに、出力部(6108)より画像信号を出力する。
ここで、本実施例においては、解像度変換部(6106)は、実施例１から実施例１２、及び実施例２１から実施例２６に示した画像信号処理装置を用いる。
図６１の再生時の動作では、切替器(6105)を下側(再生時側)に切り替えることにより、記録媒体(6104)から読み出した画像信号を、記録再生処理部(6103)を介して解像度変換部(6106)に入力し、1フレームあたりの画素数を増加させて高解像度に変換したのちに、表示部(6107)にて表示するとともに、出力部(6108)より画像信号を出力する。
本実施例の記録再生装置は、記録再生処理部(6103)、記録媒体(6104)が解像度変換部(6106)の入力より前段に配置されていることにより、記録媒体(6104)には解像度変換処理を行う前の画素数の画像データが書き込まれるためデータ量を低減することができるとともに、表示部(6107)への画像表示や出力部(6108)への信号出力は解像度変換処理後の高解像度の画像を表示もしくは出力することが可能となる。
ここで、解像度変換部(6106)として、上述した実施例１乃至６に示す１次元方向の高解像度化処理を行う画像信号処理装置を用いれば、記録媒体(6104)に記録した画像データよりも、１次元方向に高解像度化した画像を出力することができる。
また、解像度変換部(6106)として、上述した実施例７乃至１２に示す２次元方向の高解像度化処理を行う画像信号処理装置を用いれば、記録媒体(6104)に記録した画像データよりも、２次元方向に高解像度化した画像を出力することができる。
また、入力部(6109)からインタレース走査の入力画像が入力される場合には、解像度変換部(6106)として、上述した実施例２１乃至２６に示すＩ／Ｐ変換を伴う高解像度化処理を行う画像信号処理装置を用いれば、記録時には、記録媒体(6104)にはインタレース走査の画像データを記録してデータ量を低減し、再生時に、高解像度のプログレッシブ走査の画像信号を表示もしくは出力することができる。
ここで、入力部(6109)として、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)などの光電変換素子とレンズからなる一般的な撮像部(6101)と、信号レベル調整、コントラスト調整、ブライトネス調整、ホワイトバランス調整などを行う一般的な信号処理部(6102)とすれば、当該記録再生装置はビデオカメラを構成することができる。
また、記録再生処理部(6103)では、画像信号の符号化・復号化処理や、記録媒体(6104)の書込み・読出し制御やエラー訂正処理などを行う。このとき、符号化・復号化処理として、一般に知られているMPEG(Moving Picture Expert Group)-1、MPEG-2、MPEG-4、H.264、VC-1、JPEG(Joint Photographic Experts Group)、Motion JPEG、JPEG-2000などの標準規格化された符号化・復号化方式を用いてもよいし、非標準の符号化・復号化方式を用いてもよい。
また、記録媒体(6104)として、HDD(Hard Disk Drive)などの磁気ディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)、HD DVD、BD(Blu-ray Disc)などの光ディスク、フラッシュメモリなどの半導体記録素子などを用いればよい。
また、表示部(6107)は、ビューファインダのような中小画面ディスプレイでもよいし、大型テレビや放送局などで用いられるスタジオモニタのような大画面ディスプレイでもよい。
また、出力部(6108)は、画像信号をNTSC(National Television Standards Committee)方式やコンポーネント信号(D1〜D5形式)のようなアナログ信号として出力してもよいし、IEEE(Institute of Electrical and Electronic Engineers) 1394やUSB(Universal Serial Bus)などの信号インタフェース規格を用いてデジタル信号として出力してもよい。
ここで、上記のように、本実施例に係る記録再生装置が撮像部(6101)と信号処理部(6102)からなる入力部(6109)と、ビューファインダディスプレイである表示部(6107)とを有するビデオカメラである場合の、本実施例における効果を説明する。
ここで、画像を高解像度化する解像度変換部を有しない従来のビデオカメラでは、記録媒体に記録した画像よりも、高解像度な画像を出力部(6108)から、例えば、出力部(6108)に接続するテレビなどに出力することができなかった。
ここで、本実施例に係るビデオカメラは、上述した解像度変換部を有することにより、入力画像よりも高解像度な画像を出力部(6108)から出力することができる。
またこのとき、解像度変換部(6106)を、記録再生処理部(6103)、記録媒体(6104)の入力より前段に配置してしまうと、高解像度な画像を出力部(6108)から出力することができても、記録媒体(6104)に記録するデータまでも高解像度となり、記録媒体(6104)に記録するデータ量が大きくなってしまう。
そこで、記録媒体(6104)に記録するデータ量を低減しながら、高解像度な画像を出力部(6108)から出力するために、解像度変換部(6106)を記録再生処理部(6103)、記録媒体(6104)より後段に配置することが望ましい。
ここで、ビデオカメラで撮影する際には、ユーザはビューファインダディスプレイを確認しながら撮影するが、出力される画像と同等な高解像度画像で確認することができれば、ユーザにとってより好適である。
よって、撮影時にビューファインダディスプレイである表示部(6107)に表示する画像も、解像度変換部(6106)により高解像度化した画像とすることにより、よりユーザに好適な撮影環境を提供することができる。また、表示部(6107)に表示する画像を高解像度化した画像としても、記録媒体(6104)に記録する画像は高解像度化する前の画像となるため、記録媒体(6104)に記録するデータ量を低減する効果を維持することができる。
このとき、切替器(6105)は、入力部(6109)から入力された画像信号を解像度変換部(6106)に入力し、ビューファインダディスプレイである表示部(6107)に高解像度画像を表示し、また、入力部(6109)から入力された画像信号は、記録再生処理部(6103)を介して記録媒体(6104)に画像データを記録される。
その後、記録再生処理部(6103)が記録媒体(6104)に記録された画像データを再生する際には、切替器(6105)は、記録再生処理部(6103)から入力された画像信号を解像度変換部(6106)に入力し、記録時にユーザがビューファインダディスプレイである表示部(6107)により確認した高解像度画像を出力することが可能である。
なお、当然のことながら、撮影時に、ビューファインダディスプレイである表示部(6107)に映像を表示することは、ユーザの設定によりオン・オフを切替えても良く、常に表示しなければならないわけではない。
以上説明した本実施例によれば、記録媒体の記録データ量の低減、表示部への高解像度画像の表示、出力部からの高解像度画像の出力などを実現する記録再生装置、ビデオカメラを実現することができる。
図６１に、本発明の第３３の実施例に係る記録再生装置の一例を示す。同図に示す記録再生装置は、上述の解像度変換部を用いて、記録媒体に記録する画像データ量を抑えながら、高解像度の画像を表示もしくは出力することが可能である。
図６２に示す構成の記録時の動作では、入力部(6214)から入力された画像信号(動画像)を、記録再生処理部(6215)の中の第１の符号化器(6203)によりデータ圧縮を行ったのちに、第１の記録媒体(6204)に記録するとともに、記録側に切り替えた切替器(6211)を介して、表示部(6212)および出力部(6213)に画像データを出力する。
一方、再生時には、前記第１の記録媒体(6204)から読み出したデータを第１の復号器(6205)にてデータ伸張し、スルー側に切り替えた切り替え器(6210)および再生側に切り替えた切替器(6211)を介して、表示部(6212)および出力部(6213)に画像データを出力する。
このとき、前記第１の符号化器(6203)および第１の復号化器(6205)の処理として、一般に知られているMPEG(Moving Picture Expert Group)-1、MPEG-2、MPEG-4、H.264、VC-1などの動画像符号化方式に基づいた符号化・復号化処理を行えばよい。
さらに、前記第１の記録媒体(6204)に記録された動画像の中から1シーンを選択し、画素数を増加させて高解像度し、第２の記録媒体に記録する際の動作について説明する。
まず、図６２に示す構成において、第１の復号化器(6205)の出力画像に対し、解像度変換部(6206)によって画素数を増加させ、高解像度の画像信号に変換する。ここで、本実施例においては、解像度変換部(6206)は、実施例１から実施例１２、及び実施例２１から実施例２６に示した画像信号処理装置を用いる。次に、解像度変換部(6206)の出力画像を、第２の符号化器(6207)によってデータ圧縮したのち、第２の記録媒体(6208)に記録する。
前記第２の記録媒体(6208)からデータを再生する際には、第２の復号化器(6209)によってデータ伸張したのちに、変換側に切り替えた切替器(6210)および再生側に切り替えた切替器(6211)を介して、表示部(6212)および出力部(6213)に画像データを出力する。
このとき、前記第１の記録媒体(6204)に記録された動画像の中から選択したシーンが静止画の場合は、前記第２の符号化器(6207)および第２の復号化器(6209)の処理として、一般に知られているJPEG(Joint Photographic Experts Group)、JPEG-2000などの静止画像符号化方式に基づいた符号化・復号化処理を行えばよい。
一方、前記第１の記録媒体(6204)に記録された動画像の中から選択したシーンが動画像の場合は、前記第２の符号化器(6207)および第２の復号化器(6209)の処理として、前記第１の符号化器(6203)および第１の復号化器(6205)の処理とそれぞれ同じ処理を行えばよい。
ここで、入力部(6214)として、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)などの光電変換素子とレンズからなる一般的な撮像部(6201)と、信号レベル調整、コントラスト調整、ブライトネス調整、ホワイトバランス調整などを行う一般的な信号処理部(6202)とすれば、ビデオカメラを構成することができる。また、入力部(6214)を放送受信用のチューナとすれば、ビデオレコーダを構成することができる。
また、表示部(6212)は、ビューファインダのような中小画面ディスプレイでもよいし、大型テレビや放送局などで用いられるスタジオモニタのような大画面ディスプレイでもよい。
また、出力部(6213)は、画像信号をNTSC(National Television Standards Committee)方式やコンポーネント信号(D1〜D5形式)のようなアナログ信号として出力してもよいし、IEEE(Institute of Electrical and Electronic Engineers) 1394やUSB(Universal Serial Bus)などの信号インタフェース規格を用いてデジタル信号として出力してもよい。
また、第１の記録媒体(6204)と第２の記録媒体(6208)は、同一媒体内の記録エリアの物理的あるいは論理的な区分け(パーティション、フォルダ、ディレクトリなど)によって実現してもよいし、例えば、第１の記録媒体(6204)をHDD(Hard Disk Drive)などの磁気ディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)、HD DVD、BD(Blu-ray Disc)などの光ディスク、フラッシュメモリなどの半導体記録素子とし、第２の記録媒体(6208)を半導体記録素子または光ディスクなどとしてもよい。また、第１の記録媒体(6204)や第２の記録媒体(6208)に合わせた書込み・読出し制御やエラー訂正処理などを行う制御部が必要であるが、一般的な技術で実現できるため、図示は省略する。
ここで、本実施例に係る記録再生装置が上術のように、放送受信用のチューナである入力部(6214)を備えたビデオレコーダ、または、撮像部(6201)と信号処理部(6202)からなる入力部(6214)を備えたビデオカメラであって、第１の記録媒体(6204)が、第２の記録媒体(6208)よりも記録容量が大きく、装置に固定もしくは着脱可能な記録媒体であって、第２の記録媒体(6208)は、第１の記録媒体(6204)よりも記録容量が小さく着脱が可能な記録媒体である場合の本実施例の効果を説明する。
まず、記録容量が大きい第１の記録媒体(6204)には、入力部(6214)から入力した映像を第１の符号化器(6203)による圧縮の後、長時間録画しておくことができる。
ここで、ユーザが、第１の記録媒体(6204)に記録した映像の１シーンの映像や、当該映像からキャプチャした静止画を、他の機器で使用するために、着脱が可能で記録容量が小さい第２の記録媒体(6208)に記録して、本実施例に係る記録再生装置から取り出して使用したい場合に、上述したように、第１の記録媒体(6204)に記録した映像のうち、１シーンの映像や、当該映像からキャプチャした静止画を、第１の復号化器(6205)の処理、解像度変換部(6206)の処理及び第２の符号化器(6207)の処理を介して第２の記録媒体(6208)に記録することが可能となる。
よって、ユーザは、第２の記録媒体(6208)に記録した映像もしくは静止画を他の機器で使用する際に、より高解像度に使用することが可能であり好適である。
例えば、記録再生装置がビデオレコーダであれば、放送番組を磁気ディスクなどの第１の記録媒体(6204)に長時間録画しておき、当該番組の映像の1シーンやキャプチャした静止画などを、光ディスクやフラッシュメモリなどの半導体記録素子などからなるリムーバブルメディアである第２の記録媒体(6208)により高解像度に記録して、他の機器で用いることにより、より高解像度な映像、静止画を他の機器等で使用することができる。
また、記録再生装置がビデオカメラであれば、例えば、撮像部(6201)にて撮像した映像を、ビデオカメラに固定される磁気ディスクなどの第１の記録媒体(6204)に長時間録画しておき、その録画映像のうち、ユーザが他の機器で使用したいシーンの映像やキャプチャした静止画を、光ディスクや半導体素子からなるリムーバブルメディアである第２の記録媒体(6208)により高解像度に記録して、他の機器で用いることにより、より高解像度な映像、静止画を他の機器等で使用することができる。
なお、第１の記録媒体(6204)に記録する前に、解像度変換部の処理を行う構成しても、第２の記録媒体(6208)に記録した映像もしくは静止画を、ユーザが他の機器で使用する際により高解像度に使用することができるが、この場合は、第１の記録媒体(6204)に記録するデータ量が大きくなってしまう。
よって、第１の記録媒体(6204)に記録するデータ量を低減しながら、第２の記録媒体(6208)に記録する映像もしくは静止画を高解像度化するためには、解像度変換部(6206)は、第１の記録媒体(6204)の後段、第２の記録媒体(6208)の前段に配置することが好適である。
上述のように、本実施例に係る記録再生装置によれば、第１の記録媒体には解像度変換前の画像データを記録することにより動画像の長時間記録を行い、第２の記録媒体には解像度変換後の画像データを記録することにより静止画像や比較的短時間の動画像の高解像度化を行い、長時間記録と、画像の高解像度化を両立することが可能となる。
また、例えば、第２の記録媒体(6208)の記憶容量が十分である場合などは、第１の記録媒体(6204)に記録した映像のすべてもしくは大部分を高解像度にリムーバブルメディアである第２の記録媒体(6208)に記録してもよい。この場合は、第１の記録媒体(6204)に記録するデータ量は低減しておきながら、他の機器等で用いる第２の記録媒体(6208)には、高解像度に記録することにより、リムーバブルメディアにより高解像度な映像を記録することが可能である。
例えば、第１の記録媒体(6204)もリムーバブルメディアである場合には、以前に記録した低画質な映像を記録したリムーバブルメディアである第１の記録媒体(6204)を記録再生処理部(6215)に接続して、第２の記録媒体(6208)により高解像度に複製録画することができる。これにより、ユーザは、古いコンテンツを記録したリムーバブルメディアを拠り高解像度に変換したリムーバブルメディアに替えることができる。
よって、本実施例に係る記録再生装置によれば、第１の記録媒体に記録された動画像をより高解像度化して、第２の記録媒体記録することが可能となる。
また、第１の記録媒体(6204)と第２の記録媒体(6208)がともに装置に固定の記録媒体のときなどは、例えば、ユーザは第１の記録媒体(6204)に長時間録画を記録しておき、第２の記録媒体(6208)にはキャプチャした静止画を記録しておくことにより、動画の再生時には、第１の記録媒体(6204)から記録した動画像を再生し、静止画の再生時には、第２の記録媒体(6208)から高解像度な静止画を再生することも可能である。この場合、第２の記録媒体(6208)から静止画を再生している間は、第１の記録媒体(6204)の動作を停止することにより、装置の消費電力を抑えることができるという効果がある。また、第１の記録媒体(6204)と第２の記録媒体(6208)を、同一媒体内の記録エリアの物理的あるいは論理的な区分け(パーティション、フォルダ、ディレクトリなど)によって実現する際には、標準的な規格に従った固有のフォルダ名(ディレクトリ名)およびファイル名を動画像データおよび静止画データにそれぞれ付与することにより、他の機器でデータ再生する場合などの互換性を保つことができるという効果がある。
本発明に係る実施例１の説明図である。 一般的な高解像度化画像信号処理の動作の一例を説明する図である 従来技術の動作を説明した図である。 本発明に係る実施例１の動作を説明した図である。 本発明に係る実施例１の説明図である。 本発明に係る実施例１の説明図である。 本発明に係る実施例１の説明図である。 本発明に係る実施例１の説明図である。 本発明に係る実施例１の説明図である。 本発明に係る実施例３の説明図である。 本発明に係る実施例５の説明図である。 本発明に係る実施例５の説明図である。 本発明に係る実施例５の説明図である。 本発明に係る実施例２の説明図である。 本発明に係る実施例４の説明図である。 本発明に係る実施例６の説明図である。 本発明の一実施の態様と従来技術の動作の違いを説明した図である。 本発明に係る実施例２の説明図である。 本発明に係る実施例１２の説明図である。 本発明に係る実施例７の説明図である。 本発明に係る実施例８の説明図である。 本発明に係る実施例７の説明図である。 本発明に係る実施例７の説明図である。 本発明に係る実施例７の説明図である。 本発明に係る実施例７の説明図である。 本発明に係る実施例７の説明図である。 本発明に係る実施例９の説明図である。 本発明に係る実施例９の説明図である。 本発明に係る実施例９の説明図である。 本発明に係る実施例９の説明図である。 本発明に係る実施例９の説明図である。 本発明に係る実施例９の説明図である。 本発明に係る実施例１０の説明図である。 本発明の一実施の態様と従来技術の動作の違いを説明した図である。 本発明に係る実施例１３の説明図である。 本発明に係る実施例１７の説明図である。 従来技術の動作を説明した図である。 従来技術の動作を説明した図である。 本発明に係る実施例２１の説明図である。 本発明に係る実施例２１の説明図である。 本発明に係る実施例２１の説明図である。 本発明に係る実施例２２の説明図である。 本発明に係る実施例２４の説明図である。 本発明に係る実施例２６の説明図である。 本発明に係る実施例２９の説明図である。 従来技術の動作を説明した図である。 従来技術の動作を説明した図である。 従来技術の動作を説明した図である。 本発明に係る実施例２９の説明図である。 本発明に係る実施例２９乃至実施例３１の説明図である。 本発明に係る実施例２９の説明図である。 本発明に係る実施例２９の説明図である。 本発明に係る実施例２９の説明図である。 本発明に係る第１１の実施例の説明図である。 本発明に係る第１１の実施例の説明図である。 本発明に係る第１１の実施例の説明図である。 本発明に係る第１１の実施例の説明図である。 本発明に係る第１１の実施例の説明図である。 本発明に係る第１２の実施例の説明図である。 本発明の一実施の態様と従来技術の動作の違いを説明した図である。 本発明に係る第３２の実施例の説明図である。 本発明に係る第３３の実施例の説明図である。
符号の説明
1,6109,6214…入力部；2,4,4509,4515,5101,6106,6206…解像度変換部；3,4511,6107,6212…表示部；5,6,7…高解像度化タスク；11…記憶部;21,22,23,31,32,33,34,35…フレームバッファ；101,2101,5406,5412…位置推定部；102,211…位相差θ；103,104,4603…アップレート器；105,107,1002,5402…遅延器；106,108…π/2位相シフト器；109,1007,1103,2301,2302,3001,3002,3003, 3004,5701…係数決定器；110,111,112,113,1003,1006,1102,2202,2303,2304,2604,2902,3005, 3006,3007,3008,5702…乗算器；114,1001,1008,1104,2201,2305,2603, 2606,2703,2901,3009,4101,5703…加算器；115,2110,5410…動き補償・アップレート部；116,1009,2111,5411…位相シフト部；117,1010,2108,2109,2112,2705,2706,5409…折返し成分除去部；201,202,203,206,1701, 1702,1703,1704,1705,2010,2011,2012,2013,2014,2015,3401,3402,3403,3404,3405,6001,6002,6003,6004…フレーム；204…移動；205…水平線；207…動き補償；208,212…画素；209,210…サンプリング位相；301,302,303,401, 402…原成分；304,305,306,405,406…折返し成分；403,404…π/2位相シフト後の原成分；407,408…π/2位相シフト後の折返し成分；1004,2704…減算器；1005…ヒルベルト変換器；1101,4601,4604…補間ローパスフィルタ；1105…補助的画素補間部；2001…水平解像度変換部；2002…垂直アップレート器；2003,2007,2710,2711…画素補間器；2004…垂直補間部；2005…垂直解像度変換部；2006…水平アップレート器；2008…水平補間部；2009,2707…混合器；2102,5407…水平位相差θH；2103,5408…垂直位相差θV；2104,2105,5401…水平・垂直アップレート器；2106,5403…水平位相シフト部；2107,5404…垂直位相シフト部；2501…水平解像度変換による効果が大きい周波数領域；2502…垂直解像度変換による効果が大きい周波数領域；2601,2602,2605…2次元フィルタ；2701…斜め(右下)位相シフト部；2702…斜め(右上)位相シフト部；3101…斜め(右上)解像度変換による効果が大きい周波数領域；3102…斜め(右下)解像度変換による効果が大きい周波数領域；3500…画像表示装置；3501…入力部；3502…録画再生部；3503…コンテンツ蓄積部； 3504…画像信号処理部； 3505…表示部； 3506…音声出力部； 10,3507…制御部；3508…ユーザインターフェース部；3600…録画再生装置；3605…画像映像出力部；3600…音声出力部；3701…実走査線；3702…補間走査線；3703…フィールド；3704,3705…フレーム；3801…フィールド間補間；3802…フィールド内補間； 3803,4001,4002…動きベクトル；3901,3902…垂直解像度変換；4102…位相差オフセット； 4103…オフセット補正部；4501…HDカメラ；4502…SDカメラ；4503…SD→HD変換器；4504,4510,4602,5801,6105,6210,6211…切替器；4505…送信機；4506,4513…伝送路；4507…アップコン検出部；4508…HD→SD変換器,4512…伝送器；4514…受信機；4605…ダウンレート器；4901…ハイパスフィルタ；4902…信号成分有無判定部；4903…絶対値化器；4904…平滑化器；4905…2値化器；4906…頻度計測器；4907…水平拡大率判定部；4908…垂直拡大率判定部；4909…総合判定器；4910…履歴保持器；5102…一般的な画素数変換器；5201…サンプリングキャリア；5202,5203,5204…補間ローパスフィルタ(LPF)の通過帯域；5405…水平・垂直位相シフト部；6101,6201…撮像部；6102,6202…カメラ信号処理部；6203,6207…符号化器；6104,6204,6208…記録媒体；6205,6209…復号化器；6108,6213…出力部；6103,6215…記録再生処理部

Claims (9)

  1. 画像信号が入力される入力部と、
    前記入力された画像信号を記録する第１の記録媒体と、
    前記第１の記録媒体から再生された画像信号の画素数を増加させた画像信号を生成する解像度変換部と、
    前記解像度変換部の生成した画像信号を記録する第２の記録媒体を備えることを特徴とする画像信号記録再生装置。
  2. 請求項１記載の画像信号記録再生装置において、
    前記解像度変換部は、複数枚の画像フレームを入力し、
    前記入力された複数枚の画像フレームを合成することにより、画像フレームを構成する画素数を増加するとともに折返し成分を除去した画像信号を生成することを特徴とする画像信号記録再生装置。
  3. 請求項１記載の画像信号記録再生装置において、
    前記第１の記録媒体に記録するために、前記入力された画像信号を符号化する第１の符号化器と、
    前記第１の記録媒体からの再生画像信号を復号化し、前記解像度変換部に入力する第１の復号化器とを備えることを特徴とする画像信号記録再生装置。
  4. 請求項１記載の画像信号記録再生装置において、
    前記第２の記録媒体に記録するために、前記解像度変換部により生成される画像信号を符号化する第２の符号化器と、
    前記第２の記録媒体からの再生画像信号を復号化し、出力する第２の復号化器とを備えることを特徴とする画像信号記録再生装置。
  5. 請求項１記載の画像信号記録再生装置において、前記入力部は、撮像部と、前記撮像部からの信号を記録再生に適した信号に変換する信号処理部を備えることを特徴とする画像信号記録再生装置。
  6. 請求項１記載の画像信号記録再生装置において、前記第１の記録媒体に記録されるデータは動画像のデータであり、前記第２の記録媒体に記録されるデータは静止画のデータであることを特徴とする画像信号記録再生装置。
  7. 請求項１記載の画像信号記録再生装置において、前記第１の記録媒体は、磁気ディスク、光ディスク、半導体記録素子のうち、いずれかひとつであることを特徴とする画像信号記録再生装置。
  8. 請求項１記載の画像信号記録再生装置において、前記第２の記録媒体は半導体記録素子であることを特徴とする画像信号記録再生装置。
  9. 請求項１記載の画像信号記録再生装置において、前記第１の記録媒体は、前記画像信号記録再生装置に固定の記録媒体であって、前記第２の記録媒体は、前記画像信号記録再生装置から着脱可能なリムーバブルメディアであることを特徴とする画像信号記録再生装置。
JP2007196888A 2007-07-30 2007-07-30 画像信号記録再生装置 Pending JP2009033582A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007196888A JP2009033582A (ja) 2007-07-30 2007-07-30 画像信号記録再生装置
US12/182,821 US20090034938A1 (en) 2007-07-30 2008-07-30 Video signal recording/reproducing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007196888A JP2009033582A (ja) 2007-07-30 2007-07-30 画像信号記録再生装置

Publications (1)

Publication Number Publication Date
JP2009033582A true JP2009033582A (ja) 2009-02-12

Family

ID=40338234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007196888A Pending JP2009033582A (ja) 2007-07-30 2007-07-30 画像信号記録再生装置

Country Status (2)

Country Link
US (1) US20090034938A1 (ja)
JP (1) JP2009033582A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015081846A (ja) * 2013-10-23 2015-04-27 オリンパス株式会社 撮像装置及び位相差検出方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6017399B2 (ja) * 2013-10-23 2016-11-02 オリンパス株式会社 撮像装置及び位相差検出方法
CN105681892B (zh) * 2016-02-19 2019-03-15 网宿科技股份有限公司 差分数据传输的方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317336A (ja) * 1995-03-15 1996-11-29 Fuji Photo Film Co Ltd 補間画像データ生成装置および方法
JPH11164264A (ja) * 1997-02-14 1999-06-18 Sony Corp 画像処理装置および画像処理方法
JP2000041214A (ja) * 1998-07-22 2000-02-08 Sony Corp 静止画像記録装置及び方法
JP2003324680A (ja) * 2002-05-07 2003-11-14 Toshiba Corp 記録再生装置、記録再生方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2636192B1 (fr) * 1988-09-07 1992-07-24 Sanyo Electric Co Appareil de stockage de donnees d'image
JPH06291924A (ja) * 1993-03-31 1994-10-18 Canon Inc 複合画像入出力装置
TW377431B (en) * 1995-04-14 1999-12-21 Hitachi Ltd Method and apparatus for changing resolution
US6023535A (en) * 1995-08-31 2000-02-08 Ricoh Company, Ltd. Methods and systems for reproducing a high resolution image from sample data
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
JP4123614B2 (ja) * 1999-01-22 2008-07-23 ソニー株式会社 信号処理装置およびその方法
JP3501213B2 (ja) * 1999-07-13 2004-03-02 日本電気株式会社 ビデオ装置およびそれに使用される再符号化器
US7660487B2 (en) * 2003-12-10 2010-02-09 Sony Corporation Image processing method and apparatus with image resolution conversion related to relative movement detection
JP4181108B2 (ja) * 2004-11-30 2008-11-12 松下電器産業株式会社 記録再生装置
JP2006345472A (ja) * 2005-05-13 2006-12-21 Sanyo Electric Co Ltd 画像信号処理装置、それを備えた撮像装置及び画像信号処理方法
JP4656454B2 (ja) * 2008-07-28 2011-03-23 ソニー株式会社 記録装置および方法、再生装置および方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317336A (ja) * 1995-03-15 1996-11-29 Fuji Photo Film Co Ltd 補間画像データ生成装置および方法
JPH11164264A (ja) * 1997-02-14 1999-06-18 Sony Corp 画像処理装置および画像処理方法
JP2000041214A (ja) * 1998-07-22 2000-02-08 Sony Corp 静止画像記録装置及び方法
JP2003324680A (ja) * 2002-05-07 2003-11-14 Toshiba Corp 記録再生装置、記録再生方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015081846A (ja) * 2013-10-23 2015-04-27 オリンパス株式会社 撮像装置及び位相差検出方法
WO2015059971A1 (ja) * 2013-10-23 2015-04-30 オリンパス株式会社 撮像装置及び位相差検出方法

Also Published As

Publication number Publication date
US20090034938A1 (en) 2009-02-05

Similar Documents

Publication Publication Date Title
JP2009015025A (ja) 画像信号処理装置および画像信号処理方法
JP4775210B2 (ja) 画像信号処理装置、画像高解像度化方法、画像表示装置、記録再生装置
JP2009033581A (ja) 画像信号記録再生装置
US7830369B2 (en) Video signal processing apparatus, video displaying apparatus and high resolution method for video signal
JP4876048B2 (ja) 映像送受信方法、受信装置、映像蓄積装置
US8089557B2 (en) Video signal processing apparatus, video signal processing method and video display apparatus
US20090009660A1 (en) Video displaying apparatus, video signal processing apparatus and video signal processing method
JP2009033582A (ja) 画像信号記録再生装置
JP5250232B2 (ja) 画像信号処理装置、画像信号処理方法及び画像表示装置
JP2008182347A (ja) 映像処理システム
WO2017145752A1 (ja) 画像処理システムおよび画像処理装置
JP2009017242A (ja) 画像表示装置、画像信号処理装置および画像信号処理方法
JP5103314B2 (ja) 画像信号処理装置、画像信号処理方法、および映像表示装置
JP4988460B2 (ja) 画像信号処理装置および画像信号処理方法
JP2893801B2 (ja) テレビジョン受信機
JP5161935B2 (ja) 映像処理装置
JP2009141444A (ja) 画像信号処理装置、画像表示装置、画像信号処理方法
JP2009171370A (ja) 画像信号処理装置、画像表示装置、画像信号処理方法
JP5250233B2 (ja) 画像信号処理装置、画像信号処理方法及び画像表示装置
JPH1127631A (ja) 記録再生装置
JP2009111721A (ja) 入力画像制御装置、撮像装置、入力画像制御方法およびプログラム
JP2009163588A (ja) 画像信号処理装置、画像高解像度化方法、画像表示装置
JP2648806B2 (ja) 映像信号帯域圧縮伝送方法とその装置
JP4752237B2 (ja) 画像フィルタ回路及びフィルタリング処理方法
JP2020021991A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111004