JP2003333540A - フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置 - Google Patents

Abstract

(57)【要約】 【課題】動きベクトルを用いて映像信号を高能率符号化
した信号が入力された場合に、映像の動きの不自然さ及
び解像度の低下を低減し、かつ、演算量が少ないフレー
ムレート変換装置を提供する。 【解決手段】動きベクトルを用いて符号化された映像信
号が入力され、該符号化映像信号を復号して動きベクト
ルと映像信号とを出力する復号部(1)と、前記復号部か
ら出力された動きベクトルのベクトル長を補正して補償
ベクトルを生成する補償ベクトル生成部(3)と、前記復
号部から出力された映像信号を一旦記憶する映像記憶部
(2)と、前記映像記憶部に記憶された映像信号の少なく
とも一つの実フレームと、前記補償ベクトル部により生
成された補償ベクトルとを用いて補間フレームを生成す
る補間フレーム生成部(4)と、前記映像記憶部に記憶さ
れた映像信号の実フレームと、前記補間フレーム生成部
により生成された補間フレームとを周期的に切り換え出
力する切換スイッチ(5)とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョン受像
機等の映像表示装置、テレビジョン放送を受信、処理し
て映像表示装置へ供給するセット・トップ・ボックス
(ＳＴＢ)等のテレビジョン放送受信装置、ＤＶＤ等の記
録再生装置等に用いられるフレームレート変換装置に関
する。特に、デジタルテレビジョン放送信号などの、動
きベクトルを用いて高能率符号化された映像信号に好適
なフレームレート変換処理に関するものである。

【０００２】

【従来の技術】PAL-NTSC変換などを行う際に必要なフレ
ーム周波数変換の分野では、これまでにも多くの変換方
式が提案されている。同じフレームを繰返して表示する
方式は処理が簡単であり一般的に用いられている。しか
しこの方式では、同じフレームが連続して表示されるた
め、動画ではモーションジャダーが発生し、映像の動き
の不自然さが認知される。

【０００３】前後のフレームとの時間間隔に応じて映像
信号を加算し、補間フレームを生成する方法や、インタ
ーフェース(CQ出版)2000年1月号P.77に示されているよ
うなサンプリング定理に従って画素の時間的な変化から
フィルタリング処理により補間信号を生成し補間フレー
ムを生成する方法も用いられている。しかし、どちらも
解像度が低下してしまう問題が存在する。

【０００４】また、映像の動きをベクトルとして検出
し、それに基づいて間の映像を生成して、フレーム周波
数変換を行う方式も用いられている。この方法では映像
の動きの不自然さを低減する事が可能であり、動きベク
トルを検出する方法としては、ブロックマッチング法や
勾配法など多くの方法が提案されている。しかしなが
ら、リアルタイムで映像の動きをベクトルとして検出す
るには多量の演算が必要になってしまう。

【０００５】

【発明が解決しようとする課題】上記のような従来のフ
レームレート変換方法では、映像の動きが不自然になっ
たり、解像度が低下したり、演算が多量になるといった
問題が存在する。

【０００６】本発明は、このような課題に鑑みて為され
たものであって、その目的は、動きベクトルを用いて符
号化された映像信号について、映像の動きの不自然さを
低減し、解像度の低下を抑えつつ、少ない演算量でフレ
ームレートの変換が可能なフレームレート変換装置を提
供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、動きベクトルを用いて符号化された映
像信号が入力され、該符号化映像信号を復号して動きベ
クトルと映像信号とを出力する復号部と、 前記復号部
から出力された動きベクトルのベクトル長を補正して補
償ベクトルを生成する補償ベクトル生成部と、前記復号
部から出力された映像信号の少なくとも一つの実フレー
ムと、前記補償ベクトル部により生成された補償ベクト
ルとを用いて補間フレームを生成する補間フレーム生成
部とを設け、前記実フレームに前記補間フレーム生成部
で生成された補間フレームを補間してフレームレートの
変換を行うようにしたことを特徴とするものである。

【０００８】前記補償ベクトル生成部は、前記映像信号
における実フレームの時間間隔で前記動きベクトルのベ
クトル長を補正するものである。また、前記動きベクト
ルのフレーム間隔と動き補償処理を行うフレーム間隔と
の比率から、前記動きベクトルのベクトル長の補正を行
うようにしてもよい。

【０００９】動きベクトル情報を有していないブロック
についてフレームレート変換処理を行う場合、動きがな
いことを示す値もしくは情報を前記補償ベクトルとして
出力してもよい。また、この動きベクトル情報がないブ
ロックと時間的に前後するブロックの補償ベクトルを利
用して補償ベクトルを生成するようにしてもよい。

【００１０】

【発明の実施の形態】本発明の第１の実施形態につい
て、図1に示すブロック図を用いて説明する。本実施例
での入力符号化信号系列は、例えばMPEG-1で符号化され
たものであり、面内符号化フレーム又は順方向予測符号
化フレームが現れる周期を3とし、秒間30フレームの映
像を60フレームにフレームレート変換を行うものとして
説明を行う。

【００１１】復号部1は符号化信号を入力して復号処理
を行い、映像信号、動きベクトル、制御信号を出力す
る。映像記憶部2は映像信号を入力して記憶し、フレー
ムレート変換時の実フレーム映像及び補間フレームを生
成するための参照画像を出力する。補償ベクトル生成部
3は、復号部1から出力される動きベクトルを入力して記
憶し、補間フレームの生成にあわせて補償ベクトルを出
力する。補償ベクトルは元の動きベクトルをフレーム間
の時間間隔にあわせてベクトル長を補正する事で生成す
る。補間フレーム生成部4では、補償ベクトルに従って
時間的に周囲のフレーム少なくとも1枚から補償処理を
行い、補間フレームを生成する。切り替えスイッチ5で
は出力するフレームの順にあわせて、実フレーム映像、
補間フレーム映像から映像を選択し、フレームレート変
換が行われた映像を出力する。

【００１２】次に図2は図1の各部の構成を詳細に示した
一例であり、このブロック図を用いて、各部の詳細な構
成を説明する。可変長復号化部11では符号化信号を入力
し、量子化変換係数、動きベクトル信号、画像情報信号
(画像フォーマットや符号化モードなどの情報)を復号す
る。量子化変換係数は逆量子化処理部12に出力する。動
きベクトルは一般的なMPEGデコーダと同様に動き補償処
理部23,24に出力すると同時に、補間フレームを生成す
るため補償ベクトル生成部3にも出力される。また、制
御信号が画像情報信号をもとにして生成され、復号部1
における復号処理及び、映像記憶部2、補償ベクトル生
成部3、補間フレーム生成部4における補間フレーム生成
などの制御に用いられる。逆量子化処理部12では量子化
変換係数の逆量子化を行い、DCT(離散コサイン変換)係
数を出力する。逆DCT処理部13では逆DCT処理を行い、差
分信号を生成する。加算処理部14ではこの差分信号に切
り替えスイッチ26から出力されるフレーム間補償信号を
加算し、予測符号化映像信号として出力する。

【００１３】切り替えスイッチ15では、映像信号ブロッ
クの処理方式に応じて、逆DCT処理部13から出力される
面内符号化映像信号(差分信号)と加算処理部14から出力
される予測符号化映像信号を切り替える。切り替えスイ
ッチ16では、映像が面内符号化フレーム(Iピクチャ)及
び順方向予測符号化フレーム(Pピクチャ)の場合、動き
補償メモリ21又は22に書き込む。動き補償メモリ21,22
は復号化映像の出力順に合わせて、切り替えスイッチ17
に映像信号を出力する。また、21,22はそれぞれ参照映
像として動き補償部23,24に映像信号を出力する。動き
補償部23,24では動きベクトルに従い、動き補償メモリ2
1,22から出力される映像を参照映像として動き補償処理
を行い、補償信号を出力する。平均処理部25は双方向予
測符号化ブロックのための順方向・逆方向予測の平均信
号を出力する。切り替えスイッチ26では映像ブロックの
順方向・逆方向・双方向の予測符号化方式に応じて信号
を切り替える。切り替えスイッチ17では、実フレームの
映像順に合わせて、双方向予測符号化フレームの場合に
はスイッチ15の出力映像を選択し、面内符号化フレーム
及び順方向予測符号化フレームの場合には動き補償メモ
リ21又は22の映像を選択して出力する。

【００１４】映像記憶部2では、前述したように復号化
した映像信号を記憶し、実フレームの映像出力及び補間
フレーム生成のための参照映像として用いる。切り替え
スイッチ31では、復号された映像信号を書き込むメモリ
をフレームメモリ32〜34から選択する。フレームメモリ
32〜34は、実フレームの映像信号として切り替えスイッ
チ35に出力すると共に、補間フレームの参照映像として
映像を補間フレーム生成部4に出力する。切り替えスイ
ッチ35では、フレームレート変換後の映像順にあわせ
て、実フレーム映像をフレームメモリ32〜34の映像出力
から選択する。

【００１５】補償ベクトル生成部3では、復号部1から出
力される動きベクトルを記憶し、補間処理を行うまで保
持すると共に、補間を行うフレーム間の時間間隔にあわ
せてベクトル長を補正する。切り替えスイッチ41では動
きベクトルを書き込むメモリを、動きベクトルメモリ(M
Vメモリ)42〜45から選択する。ベクトル長補正部46〜49
では、動きベクトルのベクトル長を補正して補償ベクト
ルを生成し、出力する。また、ブロックに動きベクトル
が存在しない場合には、動きがない事を示す値もしくは
情報を補償ベクトルとして出力する。

【００１６】ここで、ベクトル長補正部46〜49における
ベクトル長の補正について、フレーム順と動きベクト
ル、補償処理の関係を図3に示し、説明する。実線で示
された長方形が実フレーム、点線の長方形が補間フレー
ム、太い矢印が補償ベクトルと補償処理の方向、細い矢
印が動きベクトルを表している。動きベクトル312はI-P
icture 301からB-Picture 305への動きベクトルであ
り、ベクトル長を1/4倍してB-Picture 303から補間フレ
ーム304への補償ベクトル323を生成する。この補正処理
は動きベクトルが存在するブロック単位で処理が行われ
る。また、本例では補償ベクトル323の生成に動きベク
トル312を用いたが、動きベクトル314を用いて補償ベク
トル323を作成することなども可能であり、図3に示した
構成に限られるものではない。

【００１７】再び図2の説明に戻る。補間フレーム生成
部4では、映像記憶部2からの参照映像と、補償ベクトル
生成部3からの補償ベクトルを用いて補間フレームを生
成する。この補償処理はブロック単位で行う。動き補償
部51〜53は、フレームメモリ32〜34から入力される参照
画像とベクトル長補正部46〜49から入力される補償ベク
トルを用いてブロック単位で補償処理を行う。

【００１８】ここで動き補償部51〜53の処理について、
図4を用いて説明を行う。本図面は順方向補償処理の例
を示しており、111〜113、121〜123、131〜133は実フレ
ーム上の実画素、211〜213、221〜223、231〜233は補間
フレーム上の補間画素であり、補間処理を行う画素とし
て231に注目する。補償ベクトル101は実フレーム-補間
フレーム間で下に1.5画素、左に0.75画素移動してい
る。しかし、この補償ベクトルの場合には、補償画素生
成位置100に実画素が存在しておらず、周囲の実画素か
らフィルタリング処理により補償信号を生成する。フィ
ルタリング処理の一例として重心が補償信号生成位置に
くる所定の割合で加算する方式を使用することが可能で
ある。本図面の距離比の場合には下記の割合で画素を加
算し、補償信号を生成する。

【００１９】画素111:画素112:画素121:画素122 = 1:3:
1:3 次に図2に戻り、切り替えスイッチ56,57では、ブロック
の補償処理に応じて動き補償部51〜53から出力される補
償信号を選択する。平均処理部58では、2つの補償信号
の平均を求める。この処理は、あるブロックに順方向・
逆方向の両補償ベクトルが存在する場合に用いる。例え
ば図3の補間フレーム304上のあるブロックにおいて、補
償ベクトル323,324が存在した場合、両補償ベクトルを
用いてそれぞれの補償信号を生成し、平均をそのブロッ
クの補償信号とする。切り替えスイッチ59では、ブロッ
クの補償処理に応じて、切り替えスイッチ56,57及び平
均処理部58から出力される補償信号を選択し、補間フレ
ーム映像を生成する。

【００２０】切り替えスイッチ5では、フレームレート
変換後の映像順に合わせて、実フレーム映像信号と補間
フレーム映像信号を周期的(交互に)切り替え、フレーム
レート変換した映像を出力する。

【００２１】上記処理は、入力符号化映像信号系列が順
次走査映像信号をMPEG-2によって符号化したものである
ときも同様に用いる事が可能である。また30フレーム/
秒の映像を60フレーム/秒へ変換するフレームレート変
換について説明を行ったが、ベクトル長の補正割合を変
化させる事で、90フレーム/秒、120フレーム/秒などへ
の変換も可能である。

【００２２】次に第2の実施形態として、入力符号化映
像信号系列が24枚/秒のフィルム映像を60フィールド/秒
のインターレース信号として表示するために2-3プルダ
ウン処理が行われたMPEG-2信号について説明を行う。ま
た、面内符号化フレーム・順方向予測符号化フレームが
現れる周期は3として説明する。

【００２３】フィルム映像とMPEG2信号上の映像と2-3プ
ルダウン映像の時間的な関係を図5に示す。60フィール
ド/秒で表示するために2-3プルダウン処理が行われた映
像には5フィールドに1フィールド同じ映像が2度表示さ
れる(図5上ではフィールド81とフィールド83が同じ映像
のフィールド)。しかし、MPEG-2信号上では圧縮率を上
げるため同じ映像は1回だけ記録し、Repeat First Fiel
dフラグを付加して繰り返し処理を行い、ストリーム上
では順次走査信号相当として記録している。このため本
実施例では、通常の表示では飛越し走査にもかかわら
ず、第1の実施例のMPEG-1ストリームと同様に順次走査
信号の状態で、ストリーム中の動きベクトルを用いたフ
レームレート変換処理を行う事が可能になる。

【００２４】図6に本実施例の概略ブロック図を、図7に
詳細なブロック図を示す。第一実施例と同等のものには
同じ番号を付加し、説明を省略する。復号部6では、第1
の実施例と同様に符号化信号を入力し、復号処理を行っ
て映像信号、動きベクトル、制御信号を出力する。ただ
し、映像信号は面内符号化・順方向予測符号化フレーム
と、双方向予測符号化フレームを分離して出力する。可
変長復号化処理部11で復号化処理を行い、2-3プルダウ
ン処理が行われている事を検出した時に、フレームレー
ト変換処理を有効にする。切り替えスイッチ18では、フ
レームの符号化方式に応じて書き込むメモリを切り替え
る。フレームの符号化方式が、面内符号化及び順方向予
測符号化の場合には動き補償メモリ21又は22に書き込
み、双方向予測符号化の場合にはフレームメモリ32又は
33に書き込む。動き補償メモリ21,22はフレームレート
変換後の映像の出力順に合わせて、切り替えスイッチ7
に映像信号を出力する。また、21,22はそれぞれ参照映
像として動き補償部23,24に映像信号を出力する。更に
補間フレーム作成のための参照映像として、動き補償部
54,55に映像信号を出力する。通常のMPEG2デコーダで飛
越し走査出力を行うには、動き補償メモリ21,22を用い
て飛越し走査方式として読み出しを行うが、本処理では
順次走査のまま読み出し処理を行い、補間フィールド生
成のための補償処理を行う。

【００２５】映像記憶部2では、復号化した双方向予測
符号化フレームの映像信号を記憶し、実フレームの映像
出力及び補間フレーム生成のための参照映像として用い
る。フレームメモリ32,33は、映像信号を切り替えスイ
ッチ7に実フレームの映像として出力する共に、補間フ
レーム作成のための参照映像として動き補償部51,52に
映像を出力する。

【００２６】本実施例では、復号部の動き補償メモリを
実フレーム用の映像記憶及び補間フレーム作成のための
参照映像記憶にも用いる事により、必要なメモリ容量を
削減する事が可能である。

【００２７】切り替えスイッチ7では、フレームレート
変換後の映像順にあわせて、実フレーム映像を動き補償
メモリ21,22及びフレームメモリ32,33の出力映像から選
択する。

【００２８】補間フレーム生成部8では、復号部6及び映
像記憶部2からの参照映像と、補償ベクトル生成部3から
の補償ベクトルを用いて補間フレームを生成する。動き
補償部51,52,54,55は、動き補償メモリ21,22及びフレー
ムメモリ32,33から入力される参照画像とベクトル長補
正部46〜49から入力される補償ベクトルを用いて補償処
理を行う。第1の実施例では動きベクトルが存在しない
場合には動きがない事を示す値を動きベクトルとして出
力したが、本実施例では周囲の補償ベクトルから補償ベ
クトルを生成している。動きベクトルが存在しない場合
の処理方法としては、例えば周囲のブロックに存在する
補償ベクトルの平均を求め、現ブロックの補償ベクトル
を生成することが可能である。これにより、ブロックに
動きベクトルが存在しない場合にも、動き補償を用いた
フレームレート変換が可能になり、更なる高画質化が可
能になる。切り替えスイッチ56,57では、ブロックの補
償処理に応じて動き補償部51,52,54,55から出力される
補償信号を選択する。

【００２９】本発明の実施例では動きベクトルを用いて
画像信号を高能率符号化した信号の例としてMPEG-1、2-
3プルダウンされたMPEG-2を取り上げたが、これに限ら
れるものではなく、H.261やMPEG-4などにも同様に適用
可能な事は明らかである。

【００３０】

【発明の効果】本発明によれば、動きベクトルを用いて
符号化された映像信号が入力された場合に、映像の動き
の不自然さを低減し、かつ演算量の増加が少ないフレー
ムレート変換が実現でき、画像の画質改善や向上に効果
が得られる。

【図面の簡単な説明】

【図１】本発明の第1の実施形態を示すブロック構成
図。

【図２】図1に示したブロック図の詳細を示す回路図。

【図３】補間フレーム作成処理の概略図。

【図４】補償処理の説明図。

【図５】映像のタイミング図。

【図６】本発明の第1の実施形態を示すブロック構成
図。

【図７】図6に示したブロック図の詳細を示す回路図。

【符号の説明】

1,6：復号部、2：映像記憶部、3：補償ベクトル生成
部、4,8：補間フレーム生成部、5,7,15,16,17,18,26,3
1,35,41,56,57,59：切り替えスイッチ、11：可変長復号
化処理部、12：逆量子化処理部、13：逆DCT処理部、1
4：加算処理部、21,22：動き補償メモリ、23,24,51〜5
5：動き補償処理部、25,58：平均処理部、32〜34：フレ
ームメモリ、42〜45：動きベクトルメモリ、46〜49：ベ
クトル長補正部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中嶋 満雄 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所デジタルメディア開発本 部内 (72)発明者 都留 康隆 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所デジタルメディア開発本 部内 (72)発明者 的野 孝明 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所デジタルメディア事業部 内 (72)発明者 松川 昌章 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立画像情報システム内 Ｆターム(参考） 5C063 BA01 BA12 CA05

Claims (11)

【特許請求の範囲】
1. 【請求項１】動きベクトルを用いて符号化された映像信
   号が入力され、該符号化映像信号を復号して動きベクト
   ルと映像信号とを出力する復号部と、 前記復号部から出力された動きベクトルのベクトル長を
   補正して補償ベクトルを生成する補償ベクトル生成部
   と、 前記復号部により復号された映像信号の少なくとも一つ
   の実フレームと、前記補償ベクトル部により生成された
   補償ベクトルとを用いて補間フレームを生成する補間フ
   レーム生成部と、 を備え、前記実フレームに前記補間フレーム生成部で生
   成された補間フレームを補間してフレームレートの変換
   を行うことを特徴とするフレームレート変換装置。
2. 【請求項２】請求項１に記載のフレームレート変換装置
   において、更に、前記復号部から出力された映像信号の
   少なくとも一つの実フレームと、前記補間フレーム生成
   部により生成された補間フレームとを周期的に切り換え
   出力する切換スイッチを備えることを特徴とするフレー
   ムレート変換装置。
3. 【請求項３】請求項２に記載のフレームレート変換装置
   において、更に、前記復号部から出力された映像信号を
   一旦記憶して、前記補間フレーム生成部と前記切換スイ
   ッチに実フレーム信号を供給するする映像記憶部を有す
   ることを特徴とするフレームレート変換装置。
4. 【請求項４】請求項１に記載のフレームレート変換装置
   において、前記補償ベクトル生成部は、前記映像信号に
   おける実フレームの時間間隔で前記動きベクトルのベク
   トル長を補正することを特徴とするフレームレート変換
   装置。
5. 【請求項５】請求項１に記載のフレームレート変換装置
   において、前記補償ベクトル生成部は、前記動きベクト
   ルのフレーム間隔と動き補償処理を行うフレーム間隔と
   の比率から、前記動きベクトルのベクトル長を補正する
   こと特徴とするフレームレート変換装置。
6. 【請求項６】請求項１に記載のフレームレート変換装置
   において、動きベクトル情報を有していないブロックに
   ついてフレームレート変換処理を行う場合、前記補償ベ
   クトル生成部は、動きがないことを示す値もしくは情報
   を前記補償ベクトルとして出力すること特徴とするフレ
   ームレート変換装置。
7. 【請求項７】請求項１に記載のフレームレート変換装置
   において、動きベクトル情報を有していないブロックに
   ついてフレームレート変換処理を行う場合、前記補償ベ
   クトル生成部は、当該ブロックと時間的に前後するブロ
   ックの補償ベクトルを利用して補償ベクトルを生成する
   こと特徴とするフレームレート変換装置。
8. 【請求項８】請求項１に記載のフレームレート変換装置
   において、前記符号化映像信号は、順次走査信号を符号
   化した映像信号であることを特徴とするフレームレート
   変換装置。
9. 【請求項９】請求項１に記載のフレームレート変換装置
   において、前記符号化映像信号は、フィルム映像に2-3
   プルダウン処理を行い、飛越し走査信号として表示する
   よう符号化した映像信号であることを特徴とするフレー
   ムレート変換装置。
10. 【請求項１０】請求項１乃至１０のいずれか１つのフレ
    ームレート変換装置を用い、該フレームレート変換装置
    によってフレームレートが変換された映像信号を、表示
    デバイスに表示するようにしたことを特徴とする映像表
    示装置。
11. 【請求項１１】請求項１乃至１０のいずれか１つのフレ
    ームレート変換装置を用いて、受信デジタルテレビジョ
    ン放送信号のフレームレート変換を行って出力するよう
    にしたことを特徴とするテレビジョン放送受信装置。