JP6027158B2

JP6027158B2 - 符号化装置を備えた映像切替装置および符号化方法を含む映像切替方法

Info

Publication number: JP6027158B2
Application number: JP2015035999A
Authority: JP
Inventors: 宮下　敦; 敦宮下; 武居　裕之; 裕之武居
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2015-02-26
Filing date: 2015-02-26
Publication date: 2016-11-16
Anticipated expiration: 2035-02-26
Also published as: JP2016158185A; WO2016136458A1

Description

本発明は、符号化装置を備えた映像切替装置および符号化方法を含む映像切替方法に関するものである。

従来の映像切替装置について、図５〜図１０を用いて説明する。
図５は従来の映像切替装置を説明するためのブロック図である。
映像切替装置は、映像切替部５１０と符号化装置５２０で構成されている。
映像切替部５１０は、映像スイッチ部１１２で構成され、映像信号ＶＩＤ１(Video1)，ＶＩＤ２(Video2)を入力する２つの入力端子と、映像信号ＳＩ−ＶＩＤ（Selected-Video）を出力する出力端子と、カメラ切替指示信号ＳＷ−ｃｎｔを入力する入力端子を有し、カメラ切替指示信号に基づいてＶＩＤ１またはＶＩＤ２の映像信号を出力する。
なお、映像信号ＶＩＤ１，ＶＩＤ２は、例えば、カメラ１０１，１０２等から出力される。
符号化装置５２０は、制御部５２１と符号化部１３０とＳＧ（Sync Generator）部１４０で構成されている。
制御部５２１は、ビットレート制御信号とＳＵＭを入力し、ｃｏｍｐ制御信号とＩ／Ｐ０制御信号を出力する。
また、制御部５２１から出力するＩ／Ｐ０は、画面上部からフレーム毎に対象範囲を下段にズラしながら変化する信号である。
画像圧縮を行う符号化部１３０は、Ｉ（Intra-coded Picture）処理部１３１、Ｐ（Predictive-coded Picture）処理部１３２、選択部１３３、バッファメモリ部１３４、復号部１３５で構成されている。
符号化部１３０は、入力された映像信号ＳＩ−ＶＩＤをＩ処理部１３１で圧縮データＩ−ＣＤを生成し、Ｐ処理部１３２で圧縮データＰ−ＣＤを生成し、選択部１３３で圧縮データＩ−ＣＤまたはＰ−ＣＤを選択し、選択したデータＳ−ＣＤをバッファメモリ部１３４に出力し、バッファメモリ部１３４から圧縮データを出力する。なお、復号部１３５はＳ−ＣＤを復号し、復号した映像信号Ｖ−ＤＥＭをＰ処理部１３２に出力する。

図８はI処理部の動作を説明するためのブロック図である。
I処理部１３１は、変換部８０１、量子化部８０２、ハフマン符号部８０３で構成され、入力された映像信号ＳＩ−ＶＩＤを変換部８０１で例えばＤＣＴ（Discrete Cosine Transform）変換し、量子化部８０２とハフマン符号部８０３で圧縮データＩ−ＣＤを作成して出力する。

図９はＰ処理部の動作を説明するためのブロック図である。
Ｐ処理部１３２は、差分部９０４、変換部８０１、量子化部８０２、ハフマン符号部８０３で構成され、差分部９０４で入力された現フレームの映像信号ＳＩ−ＶＩＤと前フレームの映像信号Ｖ−ＤＥＭとの差分をとり、差分の映像信号を変換部８０１で例えばＤＣＴ（Discrete Cosine Transform）変換し、量子化部８０２とハフマン符号部８０３で圧縮データＰ−ＣＤを作成して出力する。

符号化部１３０において、通常の映像は、前フレームと同一の絵柄が、一部位置移動した等となり、前フレームと相関の高い絵柄が主体となる。そこで、Ｐ処理と呼ばれる、前フレーム映像と現フレーム映像の差分を取り、その差分を符号化＆量子化を行ない、圧縮データを作成する。
このような、Ｉ処理を映像の一部分に行い、他の部分は、Ｐ処理を行う。
なお、通常の映像は、フレーム間での差分は概ね少なく、より少ないデータ量となるよう工夫している。特に静止画であれば、前フレームとほぼ同一な絵柄となるため、差分は０になり、Ｐ処理で新たに送るデータ発生は、ほぼ０となる。

図６は図５の動作を説明するためのタイミングチャートである。
図６に示すように、Ｉ処理の範囲を全体映像の一部分に制限しているが、その部分をフレーム毎に移動させ、データ量は増加するが、復号側での映像誤差の蓄積を防止している。
ところで、通常の映像は、フレーム間での差分は概ね少なく、画像の大部分をＰ処理することでの発生データ量は少ない。
しかし、映像制作の都合により、別なカメラ映像に切替えを行う運用がある。この場合、前フレーム映像との相関性は無くなるため、差分であっても変化が大きく、そのためＰ処理であっても、送るべきデータ量が大きく増加する。また符号発生量に制約をつける必要がある場合、粗い量子化を行い、微小成分の切り捨てを行い、発生データ量を低減する。

図７は画像のＩ処理およびＰ処理におけるフレーム間での類似画像と異種画像の発生データ量と画質を説明するための図である。
図７（Ａ）は量子化を一定にした場合の発生データ量を示している。Ｉ処理において、類似画像と異種画像共に発生データ量は大である。また、Ｐ処理において、類似画像は発生データ量が小であり、異種画像は発生データ量が大である。
図７（Ｂ）はデータ量を一定にした場合の画質を示している。Ｉ処理において、類似画像と異種画像共に画質は悪い。また、Ｐ処理において、Ｐ処理において、類似画像は画質が良あり、異種画像は画質が悪い。

図１０は従来の映像切替による画像を説明するための図である。
変換部８０１出力の微小成分を切り捨てた後に復号した場合に、元の映像差分との誤差が増加し、結果として映像の再現性が低下、画質劣化となる。この特性を図７、および図１０に示す。
図１０において、３フレーム目（ｃ）は、絵柄全体が変更されたため、各Ｐ処理は異種画像となり変化が増大、発生データ量も増加傾向となるため、粗い量子化として、データ量を減らす。
また、各Ｐ処理にて発生データ量が増加傾向にある過渡期において、Ｉ処理への割当て可能データ量も減らす状態となる。そのため、復号される映像は、結果的に画面全体の細部が省略された画質劣化した内容となる。

先行技術文献として、例えば、特許文献１では、現用系と少なくとも１つの予備系を有する映像送出装置において、デジタル映像信号を現用系と予備系に分配し、映像変化検知器で、現用系の復号出力における各映像フレームの画像データ量を算出し、各映像フレームの画像データ量に変化がないことを検知したとき、予備系に切替えて出力するようにしている。

特開２００７−４３５２０号公報

本発明の目的は、映像信号の符号化を伴う切替時に画質劣化を防止することである。

本発明の映像切替装置は、少なくとも２つの映像信号入力部を有する映像切替部と符号化装置とを備えた映像切替装置であって、映像切替部はスイッチ制御部と映像スイッチ部を有し、符号化装置は制御部と符号化部を有し、スイッチ制御部はカメラ切替指示信号が入力されると制御部からＩ処理のトップ処理開始信号の出力を待って、映像スイッチ部に映像信号の切替指示信号を出力することを特徴とする。

また、本発明の映像切替装置は、少なくとも２つの映像信号入力部を有する映像切替部と符号化装置とを備えた映像切替装置であって、映像切替部はスイッチ制御部と映像スイッチ部を有し、符号化装置は制御部と符号化部を有し、スイッチ制御部はカメラ切替指示信号が入力されると制御部にカメラ切替信号を出力し、制御部はカメラ切替信号が入力されると符号化部に強制的にＩ処理のトップから処理を開始させる信号を出力することを特徴とする。

また、本発明の映像切替方法は、少なくとも２つの映像信号を入力するステップと、カメラ切替指示信号を入力するステップと、Ｉ処理を行うステップと、カメラ切替指示信号が入力されるとＩ処理のトップ処理開始信号を待って映像信号を切替えるステップとを有することを特徴とする。

さらに、本発明の映像切替方法は、少なくとも２つの映像信号を入力するステップと、カメラ切替指示信号を入力するステップと、映像信号を切替えるステップと、Ｉ処理を行うステップと、カメラ切替指示信号が入力されると映像信号を切替えると共にＩ処理のトップから処理を強制的に開始するステップとを有することを特徴とする。

本発明によれば、映像信号の符号化を伴う切替時に画質劣化を防止することができる。

本発明の一実施例に係る映像切替装置を説明するためのブロック図である。図１の動作を説明するためのタイミングチャートである。本発明の他の一実施例に係る映像切替装置を説明するためのブロック図である。図３の動作を説明するためのタイミングチャートである。従来の映像切替装置を説明するためのブロック図である。図５の動作を説明するためのタイミングチャートである。画像のＩ処理およびＰ処理における類似画像と異種画像の発生データ量と画質を説明するための図である。Ｉ処理部の動作を説明するためのブロック図である。Ｐ処理部の動作を説明するためのブロック図である。従来の映像切替による画像を説明するための図である。本発明のさらに他の一実施例に係る高精細画像におけるＩ処理とＰ処理の時間ごとの位置を説明するための図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
（実施例１）
図１は本発明の一実施例に係る映像切替装置を説明するためのブロック図である。
図２は、図１の動作を説明するためのタイミングチャートである。
図１において、映像切替装置は映像切替部１１０と符号化装置１２０で構成されている。
映像切替部１１０は、スイッチ制御部１１１と映像スイッチ部１１２で構成され、映像信号ＶＩＤ１(Video1)，ＶＩＤ２(Video2)を入力する２つの入力端子と、映像信号ＳＩ−ＶＩＤ（Selected-Video）を出力する出力端子と、カメラ切替指示信号を入力する入力端子と、Ｉ処理のトップ処理開始信号Ｉ−ｔｉｍを入力する入力端子を有している。
なお、映像信号ＶＩＤ１，ＶＩＤ２は、例えば、カメラ１０１，１０２等から出力される。

スイッチ制御部１１１は、カメラ切替指示信号が入力されると、図２に示すように符号化装置１２０の制御部１２１から出力されるＩ処理のトップ処理開始信号Ｉ−ｔｉｍが入力されるのを待ってから映像スイッチ部１１２に映像切替信号ＳＷ−ｃｎｔを出力する。
映像スイッチ部１１２は、映像切替信号ＳＷ−ｃｎｔに基づいてＶＩＤ１またはＶＩＤ２の映像信号を出力する。

符号化装置１２０は、制御部１２１と符号化部１３０とＳＧ（Sync Generator）部１４０で構成されている。
制御部１２１は、ビットレート制御信号とＳＵＭを入力し、Ｉ処理のトップ処理開始信号Ｉ−ｔｉｍとｃｏｍｐ制御信号とＩ／Ｐ１制御信号を出力する。
画像圧縮を行う符号化部１３０は、Ｉ（Intra-coded Picture）処理部１３１、Ｐ（Predictive-coded Picture）処理部１３２、選択部１３３、バッファメモリ部１３４、復号部１３５で構成されている。
ＳＧ部１４０は、符号化装置１２０および映像切替部１１０の全体に同期信号を供給するものである。
なお、Ｉ処理部１３１とＰ処理部１３２の動作説明は、上述の図８と図９で説明しているため省略する。

符号化部１３０は、入力された映像信号ＳＩ−ＶＩＤをＩ処理部１３１で圧縮データＩ−ＣＤを生成し、Ｐ処理部１３２で圧縮データＰ−ＣＤを生成し、選択部１３３で圧縮データＩ−ＣＤまたはＰ−ＣＤを選択し、選択したデータＳ−ＣＤをバッファメモリ部１３４に出力し、バッファメモリ部１３４から圧縮データを出力する。なお、復号部１３５はＳ−ＣＤを復号し、復号した映像信号Ｖ−ＤＥＭをＰ処理部１３２に出力する。

制御部１２１から出力するｃｏｍｐ制御信号は、Ｉ処理とＰ処理の発生符号量を増減させる制御信号、Ｉ処理部とＰ処理部は量子化の粗さを変化させることで、発生符号量を増減させるものである。
また、制御部１２１から出力するＩ／Ｐ１制御信号は、選択部１３３への制御信号、Ｉ処理による符号か、Ｐ処理の符号かを選択する。画面の上部から順番に選択されるように、走査線１２８０本であれば、１フレーム目は１〜６４本の期間、２フレーム目は６５本〜１２８本の期間・・・を選択する。
また、制御部１２１に入力するＳＵＭは、バッファメモリ部１３４に貯まった圧縮データ量に関する信号である。
制御部１２０は、ＳＵＭの量の多少を見ながら、ｃｏｍｐ制御信号にて量子化粗さ、すなわち新たな発生データ量をコントロールする。
制御部１２１から出力するＩ―ｔｉｍは、画面上部範囲が、Ｉ処理されるタイミングを示すＩ処理のトップ処理開始信号である。

図２に示すように、スイッチ制御部１１１は、カメラ切替指示信号が入力されると、Ｉ処理のトップ処理開始信号Ｉ−ｔｉｍが入力されるのを待ってから映像スイッチ部１１２に映像切替信号ＳＷ−ｃｎｔを出力する。
スイッチ制御部１１１は、このような制御を行うことにより、映像信号の切替えを画面の最初から行うことできるため、映像信号の符号化を伴う切替時に画質劣化を防止することができる。

（実施例２）
図３は本発明の他の一実施例に係る映像切替装置を説明するためのブロック図である。
図４は、図３の動作を説明するためのタイミングチャートである。
図３において、映像切替装置は映像切替部３１０と符号化装置３２０で構成されている。
映像切替部３１０は、スイッチ制御部３１１と映像スイッチ部１１２で構成され、映像信号ＶＩＤ１(Video1)，ＶＩＤ２(Video2)を入力する２つの入力端子と、映像信号ＳＩ−ＶＩＤ（Serial-Video）を出力する出力端子と、カメラ切替指示信号を入力する入力端子と、切替制御信号ＳＷ−ｔｉｍを出力する出力端子を有している。
なお、映像信号ＶＩＤ１，ＶＩＤ２は、例えば、カメラ１０１，１０２等から出力される。

スイッチ制御部３１１は、カメラ切替指示信号が入力されると、図４に示すように映像スイッチ部１１２に映像切替信号ＳＷ−ｃｎｔを出力すると共に符号化装置３２０の制御部３２１に切替制御信号ＳＷ−ｔｉｍを出力する。
映像スイッチ部１１２は、映像切替信号ＳＷ−ｃｎｔに基づいてＶＩＤ１またはＶＩＤ２の映像信号を出力する。

符号化装置３２０は、制御部３２１と符号化部１３０とＳＧ（Sync Generator）部１４０で構成されている。
制御部３２１は、ビットレート制御信号とＳＵＭと切替制御信号ＳＷ−ｔｉｍを入力し、ｃｏｍｐ制御信号とＩ／Ｐ２制御信号を出力する。
画像圧縮を行う符号化部１３０は、Ｉ（Intra-coded Picture）処理部１３１、Ｐ（Predictive-coded Picture）処理部１３２、選択部１３３、バッファメモリ部１３４、復号部１３５で構成されている。
ＳＧ部１４０は、符号化装置３２０および映像切替部１１０の全体に同期信号を供給するものである。
なお、Ｉ処理部１３１とＰ処理部１３２の動作説明は、上述の図８と図９で説明しているため省略する。

制御部３２１から出力するｃｏｍｐ制御信号は、Ｉ処理とＰ処理の発生符号量を増減させる制御信号、Ｉ処理部とＰ処理部は量子化の粗さを変化させることで、発生符号量を増減させるものである。
また、制御部３２１から出力するＩ／Ｐ２は、通常のＩ／Ｐ０と同様に画面上部からフレーム毎に対象範囲を下段にズラしながら変化する信号であるが、切替制御信号ＳＷ−ｔｉｍが入力されると、その時点で強制的に画面上部をＩ処理とする信号である。
また、制御部３２１に入力するＳＵＭは、バッファメモリ部１３４に貯まった圧縮データ量に関する信号である。
制御部３２０は、ＳＵＭの量の多少を見ながら、ｃｏｍｐ制御信号にて量子化粗さ、すなわち新たな発生データ量をコントロールする。

図４に示すように、制御部３２１は、切替制御信号ＳＷ−ｔｉｍが入力されると、その時点で強制的に画面上部からＩ処理する信号Ｉ／Ｐ２を符号化部１３０の選択部１３２に出力することにより、画像が上からワイプするように切替わるため、映像信号の符号化を伴う切替時に画質劣化を防止することができる。

（実施例３）
図１１は本発明のさらに他の一実施例に係る高精細画像におけるＩ処理とＰ処理の時間ごとの位置を説明するための図である。
現在の地上デジタル放送は、水平１９２０画素×垂直１０８０画素で構成される２Ｋと呼ばれる動画像である。昨今はその画素数を水平方向と垂直方向でほぼ４倍に増した８Ｋ、水平７６８０画素×垂直４３２０画素の動画像の利用もされている。
本発明の上述の一実施例ではフレームの上部から１か所のみをＩ処理する例を示したが、８Ｋ映像の場合は、垂直方向の画素数が多いため、１か所での処理では、画像全体にＩ処理が行われる周期が長くなる恐れがある。本発明の一実施形態としてはＩ処理を複数個所で行う形にも適用できる。
図１１は８Ｋに相当する映像における複数のＩ処理位置を設けた一例である。

上述の実施形態において、映像信号の切替えは、画面の最上部または途中からワイプのように行っているが、左方向から行ってもよい。

また、上述の実施形態において、本発明の映像切替装置が放送伝送システムに使用される場合、映像切替部が中継車で使用され、符号化装置がＦＰＵ（Field Pickup Unit）等の一部であってもよい。

本発明の実施形態である映像切替装置は、映像信号の符号化を伴う切替時に画質劣化を防止することができる。

以上本発明について詳細に説明したが、本発明は、ここに記載された符号化装置を備えた映像切替装置に限定されるものではなく、上記以外の映像切替装置に広く適用することができることは言うまでもない。

１０１，１０２：カメラ、１１０，３１０，５１０：映像切替部、１１１，３１１：スイッチ制御部、１１２：映像スイッチ部、１２０，３２０，５２０：符号化装置、１２１，３２１，５２１：制御部、１３０：符号化部、１３１：Ｉ処理部、１３２：Ｐ処理部、１３３：選択部、１３４：バッファメモリ部、１３５：復号部、１４０：ＳＧ部、８０１：変換部、８０２：量子化部、８０３：ハフマン符号部、９０４：差分部。

Claims

少なくとも２つの映像信号入力部を有する映像切替部と符号化装置とを備えた映像切替装置であって、
前記映像切替部は、スイッチ制御部と映像スイッチ部を有し、
前記符号化装置は、制御部と符号化部を有し、
前記スイッチ制御部は、カメラ切替指示信号が入力されると、前記符号化部において入力された映像信号における全体映像を分割した部分データを１フレームとして画像上部のトップ位置から前記フレーム毎に対象範囲を下段に順に移動して前記映像スイッチ部からの映像信号のみからイントラ符号化を行うＩ処理を前記トップ位置から処理開始できるように前記制御部からのＩ処理のトップ位置での処理開始信号の出力を待って、前記映像スイッチ部に映像信号の切替指示信号を出力することを特徴とする映像切替装置。
少なくとも２つのカメラからの映像信号を入力するステップと、前記入力された映像信号の一つを出力するステップと、前記出力された映像信号における全体映像を分割した部分データを１フレームとして画像上部のトップ位置から前記フレーム毎に対象範囲を下段に順に移動してイントラ符号化のＩ処理を行うステップと、前記Ｉ処理の前記トップ位置から処理が開始される信号を出力するステップと、カメラ切替指示信号を入力するステップと、前記カメラ切替指示信号が入力されると前記Ｉ処理の前記トップ位置から処理が開始される信号の入力を待って映像信号を切替えるステップとを有することを特徴とする映像切替方法。