JP2004056234A

JP2004056234A - 画像符号化装置および画像符号化方法

Info

Publication number: JP2004056234A
Application number: JP2002207652A
Authority: JP
Inventors: Takeshi Nakamura; 中村　猛
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-07-17
Filing date: 2002-07-17
Publication date: 2004-02-19

Abstract

【課題】ストリーム切替え時の映像ショックの発生を防止する。
【解決手段】エンコード部２１は映像信号をオープンＧＯＰからクローズドＧＯＰに変更し、さらに実際のＥＳレートよりも小さなＥＳレートに設定する。シーケンスエンドコード付加部２２は映像信号の切替えポイントにシーケンスエンドコードを付加する。バッファ部２３はその小さなＥＳレートに設定された映像信号を実際のＥＳレートで読出す。これにより読出した映像信号に間欠部が設けられる。その間欠部のタイミングでその映像信号は他の映像信号に切替えられる。
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法に関し、特にデジタル放送における画像符号化装置および画像符号化方法に関する。
【０００２】
【従来の技術】
これまでの地上波放送では、複数のエンコーダからの出力ストリームを切替えるというような運用形態は存在しなかった。一方、デジタル放送ではたとえば、ＳＤＴＶ（ｓｔａｎｄａｒｄ　ｄｅｆｉｎｉｔｉｏｎ　ｔｅｌｅｖｉｓｉｏｎ）放送とＨＤＴＶ（ｈｉｇｈ　ｄｅｆｉｎｉｔｉｏｎ　ｔｅｌｅｖｉｓｉｏｎ）放送とを切替えるという運用形態が存在し、複数のエンコーダからの出力ストリームを切替えることになる。
【０００３】
次に、従来のデジタル放送の構成および動作について説明する。図１０および図１１は従来のデジタル放送のチャネル構成の一例の説明図である。図１０を参照すると、送信局はたとえばチャネルＡ，Ｂ，Ｃの３つのチャネルを保有しており、ＨＤＴＶ放送用にＴＳ（ｔｒａｎｓｐｏｒｔ　ｓｔｒｅａｍ）データ１を、ＳＤＴＶ放送用にＴＳデータ２、ＴＳデータ３、ＴＳデータ４の３つのデータ（放送プログラム）をそれぞれ保有しているものとする。
【０００４】
そして、１０時から１２時まではチャネルＡ，Ｂ，Ｃの３つのチャネルを使用してＴＳデータ１が放送され、１２時から１４時まではチャネルＡのＴＳデータ２と、チャネルＢのＴＳデータ３と、チャネルＣのＴＳデータ４とが同時に放送される一例を示している。
【０００５】
このとき、図１１を参照すると、ＴＳデータ１（本編）が放送されている時、ＴＳデータ２−４はテストモードとなっており、たとえばテスト用画像を出力している。同様にＴＳデータ２−４（本編）が放送されている時、ＴＳデータ１はテストモードとなっており、たとえばテスト用画像を出力している。
【０００６】
【発明が解決しようとする課題】
図１０を参照すると、１２時において、ＴＳデータ１がＴＳデータ２−４に切替えられる。しかし、従来のようなエンコーダではストリームに切替えポイントがないため、ストリームを切替えた時に受信機側で破綻をきたし、映像ショックが現れるという欠点があった。
【０００７】
すなわち、図１２のストリーム切替え動作の一例の説明図に示すように、ＴＳデータ１のフレーム群（ＧＯＰ１−ＧＯＰｎ：ｎは正の整数）の位相とＴＳデータ２−４のフレーム群（ＧＯＰ１−ＧＯＰｍ：ｍは正の整数）の位相とが一致していないため、ＴＳデータ１のフレーム群ＧＯＰ２とＧＯＰ３との間でＴＳデータ１をＴＳデータ２−４に切替えると、ＴＳデータ２−４のフレーム群ＧＯＰ２で破綻が生じることになる。
【０００８】
一方、このストリーム切替え時の映像ショックの発生を防止する技術の一例が特開２０００−３２４４８３号公報（以下、文献１という）、特開２００１−１４５０２２号公報（以下、文献２という）および特開平１０−１９１３３１号公報（以下、文献３という）に開示されている。
【０００９】
文献１開示の技術は、表示画像を６０Ｈｚから３０Ｈｚに切替える時に、最後のピクチャを１／３０秒間リピート表示するというものである。文献２開示の技術は、切替え元および切替え先のエンコーダに同期トリガをかけて符号化処理を初期化し、両エンコーダのＴＳ出力のＧＯＰ位相を揃えた上で切替えるというものである。文献３開示の技術は、検出されたビットレートに基づいてスタッフィングビット発生手段がスタッフィングビットを加算器に送って、圧縮符号化データの２ＧＯＰ単位でデータ量を固定長化するというものである。
【００１０】
上記３つの文献記載の技術は課題が本発明と共通するものの、その解決手段は本発明と全く相違する。
【００１１】
そこで、本発明の目的はストリーム切替え時の映像ショックの発生を防止することが可能な画像符号化装置および画像符号化方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明による画像符号化装置は、複数のエンコーダからの出力ストリームのうちの１個または複数個を選択して出力する機能を含む画像符号化装置であって、その装置はストリーム切替え元の出力ストリームに対し、所定ＧＯＰ（グループオブピクチャー）を他のＧＯＰと切り離し可能に設定するＧＯＰ構造設定制御手段と、ストリーム切替え元の出力ストリームに対し、所定ＧＯＰの次に間欠部を設ける間欠部設定手段と、前記間欠部のタイミングで前記ストリーム切替え元の出力ストリームを他のストリームに切替えるストリーム切替え手段とを含むことを特徴とする。
【００１３】
また本発明による画像符号化方法は、複数のエンコーダからの出力ストリームのうちの１個または複数個を選択して出力する機能を含む画像符号化方法であって、その方法はストリーム切替え元の出力ストリームに対し、所定ＧＯＰ（グループオブピクチャー）を他のＧＯＰと切り離し可能に設定するＧＯＰ構造設定制御処理と、ストリーム切替え元の出力ストリームに対し、所定ＧＯＰの次に間欠部を設ける間欠部設定処理と、前記間欠部のタイミングで前記ストリーム切替え元の出力ストリームを他のストリームに切替えるストリーム切替え処理とを含むことを特徴とする。
【００１４】
すなわち、本発明によれば、ストリーム切替え時の映像ショックの発生を防止することが可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について添付図面を参照しながら説明する。図１は本発明に係る画像符号化装置の最良の実施の形態の構成図である。同図を参照すると、画像符号化装置１０は映像信号ＨＤＴＶ１を符号化するエンコーダ１１と、映像信号ＳＤＴＶ１を符号化するエンコーダ１２と、映像信号ＳＤＴＶ２を符号化するエンコーダ１３と、映像信号ＳＤＴＶ３を符号化するエンコーダ１４と、エンコーダ１１−１４から出力されるＴＳデータ１−４の１　個または複数個を選択して出力するストリーム切替え部１５と、エンコーダ１１−１４およびストリーム切替え部１５を制御する制御回路部１６とを含んで構成される。
【００１６】
そして、同図は一例として、制御回路部１６の制御により、ＴＳデータ１−４のうちＴＳデータ１がストリーム切替え部１５によって選択され、出力される場合を示している。
【００１７】
次に、エンコーダ１１−１４および制御回路部１６について詳細に説明する。なお、エンコーダ１１−１４のいずれも同様の動作を行うので、代表としてエンコーダ１１の動作について説明する。図２はエンコーダ１１の一例の構成図である。同図には便宜上制御回路部１６も表示されている。
【００１８】
同図を参照すると、エンコーダ１１はエンコード部２１と、シーケンスエンドコード付加部２２と、バッファ部２３と、ＴＳパケット化部２４と、インタフェース部２５とを含んで構成される。また、エンコード部２１、シーケンスエンドコード付加部２２およびバッファ部２３は制御回路部１６によって制御される。なお、制御回路部１６は図１の制御回路部１６を意味しているため同一番号を付してある。
【００１９】
制御回路部１６はエンコード部２１に対してオープンあるいはクローズドのＧＯＰ構造およびＥＳレートの設定を行う。なお、オープンＧＯＰ、クローズドＧＯＰ、ＥＳレートの設定については後述する。
【００２０】
エンコード部２１は制御回路部１６からのパラメータに従い、映像信号をＭＰＥＧ（ｍｏｔｉｏｎ　ｐｉｃｔｕｒｅ　ｅｘｐｅｒｔ　ｇｒｏｕｐ）２（ＩＳＯ／ＩＥＣ１３８１８）規格に基づき圧縮を行い、エレメンタリ・ストリーム（ＥＳデータ：映像を符号化したデータ）を出力する。
【００２１】
シーケンスエンドコード付加部２２はエンコード部２１からのＥＳデータに対して制御回路部１６からの制御信号に基づきシーケンスエンドコードを付加する。なお、シーケンスエンドコードについては後述する。
【００２２】
バッファ部２３はシーケンスエンドコード付加部２２からのＥＳデータをバッファリングするとともに、制御回路部１６からの制御信号に基づきスタッフィングビットを付加する。なお、スタッフィングビットについては後述する。
【００２３】
ＴＳパケット化部２４はバッファ部２３からのＥＳデータをトランスポート・ストリーム（ＴＳデータ：シリアル伝送データ）に変換する。
【００２４】
インタフェース部２５はＴＳパケット化部２４からのＴＳデータを所定のシリアル伝送形式、たとえばＤＶＢ−ＡＳＩ等の公知のフォーマットに変換する。
【００２５】
次に、スタッフィングビットについて説明する。図３はスタッフィングビットの説明図である。同図（Ａ）はフレームＶ１−Ｖｎで構成されるＥＳデータの一例を示し、同図　（Ｂ）はスタッフィングビットＳ１−Ｓｎが付加されたＥＳデータの一例を示している。
【００２６】
通常の処理、すなわちストリーム切替え時以外の処理では、バッファ部２３はレートの平滑化を行うため各フレームにスタッフィングビットを付加する。同図（Ｂ）は一例としてフレームＶ１の次にスタッフィングビットＳ１が、フレームＶ２の次にスタッフィングビットＳ２が、フレームＶ３の次にスタッフィングビットＳ３が、フレームＶ４の次にスタッフィングビットＳ４がそれぞれ付加されることを示している。
【００２７】
次に、オープンＧＯＰおよびクローズドＧＯＰについて説明する。図４はＧＯＰ（ｇｒｏｕｐ　ｏｆ　ｐｉｃｔｕｒｅｓ）構造の一例を示す形式図である。同図には、一例として１５フレームを１ＧＯＰとしたものが表示されている。同図を参照すると１ＧＯＰは左から順に、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂの１５のピクチャで構成されている。
【００２８】
図５は各ピクチャの特徴を示す図である。Ｉピクチャは静止画モードで符号化され、フレーム間の予測を行わないピクチャであり、ランダムアクセスの単位となるピクチャである。Ｐピクチャは過去のフレームから１方向のフレーム間予測を行った差分を符号化する。Ｂピクチャは時間的に過去と未来の２フレームからフレーム間予測され、差分信号が符号化される。
【００２９】
ここで、図４を参照すると、この１ＧＯＰの最後のフレーム（Ｂピクチャ）は次の１ＧＯＰの最初のフレーム（Ｉピクチャ）を参照する必要がある。したがってこのような１ＧＯＰを次の１ＧＯＰと切り離すことはできない。すなわち、このような構成のＧＯＰは前後のＧＯＰと切り離すことはできない。このような関係を有するＧＯＰをオープンＧＯＰという。
【００３０】
一方、このようなＧＯＰではなく、同一ＧＯＰ内ですべてのピクチャを構成する形式も存在する。この構成によれば、１ＧＯＰを前後のＧＯＰと切り離すことができる。このような関係を有するＧＯＰをクローズドＧＯＰという。
【００３１】
次に、本発明に係る画像符号化装置１０の動作について説明する。図６は本発明に係る画像符号化装置の動作の一例を示すフローチャート、図７は同装置の動作を示すタイミングチャートである。ここで、本発明の動作を説明する前に、まず従来の画像符号化装置の動作を簡単に説明しておく。図１３は従来の画像符号化装置の動作の一例を示すフローチャートである。
【００３２】
同図を参照すると（　図２も適宜に参照する）　、まず制御回路部１６による制御により、映像信号はエンコード部２１にてオープンＧＯＰに設定されて符号化される（処理４１）。次に、制御回路部１６による制御により、バッファ部２３にて各フレームにスタッフィングビットが付加され（処理４２）、所定のＥＳレートで読出される（処理４３）。そして、読出されたＥＳデータはＴＳパケット化部５にてＴＳデータに変換され、さらにインタフェース部２５にて所定のシリアル伝送フォーマットに変換される（処理４４）。そして、制御回路部１６による制御により、ストリーム切替え部１５（図１参照）においてＴＳデータ１の所定のタイミングにおけるＴＳデータ２−４へのストリーム切替えが行われる　（処理４５）。
【００３３】
次に、本発明に係る画像符号化装置の動作について説明する。図７を参照すると、本実施形態では一例としてＴＳデータ１をＴＳデータ２−４に切替える場合について説明する。なお、その他のＴＳデータの切替えも同様に説明することができる。
【００３４】
同図（Ａ）は切替え前のＴＳデータ１の構成を示しており、フレームＶ１−Ｖ１５が順次伝送されることを示している。そして、フレームＶ１−Ｖ１５で１ＧＯＰを構成している。また、フレームＶ１５の次にシーケンスエンドコードが付加される場合を示している。
【００３５】
このシーケンスエンドコードはフレームＶ１５を境界として、ＴＳデータ１がＴＳデータ２−４に切替えられることを示す指標である。制御回路部１６はＴＳデータ１のフレームＶ１からＴＳデータ１の切替えの制御に入り、フレームＶ１５の伝送が終了した後にＴＳデータ１からＴＳデータ２−４への切替えを行う。
【００３６】
なお、同図（Ｂ）に示すように、ＴＳデータ１の１つ前のＧＯＰまでの処理においては従来どおりの各フレームへのスタッフィングビットの付加が行われ、オープンＧＯＰでの処理となるが、このＧＯＰのフレームＶ１ａ以降においてはスタッフィングビットの付加とは異なる処理およびクローズドＧＯＰでの処理が実行されるところが本発明の特徴である。
【００３７】
図６、図７および図２を参照すると、まず制御回路部１６による制御により、エンコード部２１にてＧＯＰ構造がフレームＶ１からクローズドＧＯＰに変更される（処理３１）。なお、１つ前のＧＯＰまではＧＯＰ構造はオープンＧＯＰである。
【００３８】
次に、制御回路部１６による制御により、エンコード部２１にて実際のＥＳレートよりも小さなＥＳレートが設定される（処理３２）。
【００３９】
ここで、ＥＳレートの設定および変更について説明する。図８はＥＳレートの設定および変更の処理を示す説明図である。同図においてフレームＶ１を一例に挙げるがその他のフレームの場合も同様である。
【００４０】
同図（Ａ）はフレームＶ１が一例としてエンコード部２１にて１Ｍｂｐｓ（ｂｉｔｓ　ｐｅｒ　ｓｅｃｏｎｄ）のレートで圧縮された画像であることを示している。この圧縮レートを設定することを本実施形態では「ＥＳレートを設定」と表現している。
【００４１】
同図（Ｂ）はこの画像がエンコード部２１にて１Ｍｂｐｓのレートで読出される場合を示している。この場合、エンコード部２１で読出される前のフレームＶ１のビット数と読出された後のフレームＶ１のビット数とは同一である。
【００４２】
次に、１Ｍｂｐｓのレートで圧縮された画像（フレームＶ１：同図（Ａ）参照）をさらにレートが小さい、たとえば０．８Ｍｂｐｓのレートの画像（フレームＶ１ａ：同図（Ｃ）参照）に圧縮する場合について説明する。
【００４３】
同図（Ｃ）はフレームＶ１の画像がさらに圧縮されて、一例として０．８Ｍｂｐｓのレートの画像（フレームＶ１ａ）になった場合を示している。この画像を再度圧縮することを本実施形態では「実際のＥＳレートよりも小さなＥＳレートを設定する」と表現している。
【００４４】
この場合も、エンコード部２１で読出される前のフレームＶ１ａのビット数と読出された後のフレームＶ１ａのビット数とは同一であるが、０．８Ｍｂｐｓのレートの画像を１Ｍｂｐｓのレートで読出しているため、フレームＶ１ａの次に所定ビットの無効データ　（ｎｕｌｌ　ｐａｃｋｅｔ）が挿入される。この無効データを本実施形態では「間欠部５１」と表現している。
【００４５】
さて、実際のＥＳレートよりも小さなＥＳレートが設定された（処理３２）後、制御回路部１６による制御により、シーケンスエンドコード付加部２２にてストリームの切替えポイントにシーケンスエンドコードが付加される（処理３３）。すなわち、フレームＶ１５の次にシーケンスエンドコードが付加される。
【００４６】
次に、制御回路部１６による制御により、バッファ部２３からフレームデータＶ１ａ―Ｖ１５ａが実際のＥＳレート（１Ｍｂｐｓ）で読出される（処理３４）。これによりフレームデータＶ１５ａの次に前述の間欠部５１が挿入される（図７（Ｂ）参照）。これにより、図７（Ｂ）、（Ｃ）を参照すると、間欠部５１の最後部にＴＳデータ２−４の２番目のＧＯＰの最初のフレームＶ１の最前部が配置される位相関係となる。
【００４７】
なお、前述したようにストリーム切替え時以外の処理においては、バッファ部２３において上記処理に代えて各フレームの次にスタッフィングビットを付加する処理が行われる。
【００４８】
次に、バッファ部２３から読出されたＥＳデータはＴＳパケット化部５にてＴＳデータに変換され、さらにインタフェース部２５にて所定のシリアル伝送フォーマットに変換される（処理３５）。
【００４９】
そして、制御回路部１６による制御により、ストリーム切替え部１５（図１参照）にてＴＳデータ１の間欠部５１のタイミングにて他のＴＳデータ２−４への切替えが行われる（処理３６）。
【００５０】
すなわち、図９の本発明の特徴を示す図に示すように、本発明ではＴＳデータ１のシーケンスエンドコードを付加したＧＯＰ２の次に間欠部５１を挿入し、ＴＳデータ１の次のＧＯＰ３とＴＳデータ２−４のＧＯＰ３との位相を合わせたため、間欠部５１のタイミングでストリームをＴＳデータ１からＴＳデータ２−４へ切替えることにより、ストリームの連続性を維持したストリーム切替えが可能となる。したがって、ストリーム切替え時の映像ショックの発生を防止することができる。
【００５１】
なお、他の実施形態としてストリーム切替え時にはエンコーダからはシーケンスエンドコードを付加するのみとすることも可能である。その場合、エンコーダ後段に大容量のバッファを準備してシーケンスエンドコードを切替えポイントとして前後のデータを接続する必要がある。
【００５２】
【発明の効果】
以上説明したように本発明による画像符号化装置は、複数のエンコーダからの出力ストリームのうちの１個または複数個を選択して出力する機能を含む画像符号化装置であって、その装置はストリーム切替え元の出力ストリームに対し、所定ＧＯＰ（グループオブピクチャー）を他のＧＯＰと切り離し可能に設定するＧＯＰ構造設定制御手段と、ストリーム切替え元の出力ストリームに対し、所定ＧＯＰの次に間欠部を設ける間欠部設定手段と、前記間欠部のタイミングで前記ストリーム切替え元の出力ストリームを他のストリームに切替えるストリーム切替え手段とを含むため、ストリーム切替え時の映像ショックの発生を防止することが可能となる。
【００５３】
また本発明による画像符号化方法も上記画像符号化装置と同様の効果を奏する。
【図面の簡単な説明】
【図１】本発明に係る画像符号化装置の最良の実施の形態の構成図である。
【図２】エンコーダ１１の構成図である。
【図３】スタッフィングビットの説明図である。
【図４】ＧＯＰ構造の一例を示す形式図である。
【図５】各ピクチャの特徴を示す図である。
【図６】本発明に係る画像符号化装置の動作の一例を示すフローチャートである。
【図７】同装置の動作を示すタイミングチャートである。
【図８】ＥＳレートの設定および変更の処理を示す説明図である。
【図９】本発明の特徴を示す図である。
【図１０】従来のデジタル放送のチャネル構成の一例の説明図である。
【図１１】従来のデジタル放送のチャネル構成の一例の説明図である。
【図１２】ストリーム切替え動作の一例の説明図である。
【図１３】従来の画像符号化装置の動作の一例を示すフローチャートである。
【符号の説明】
１０　画像符号化装置
１１−１４　エンコーダ
１５　ストリーム切替え部
１６　制御回路部
２１　エンコード部
２２　シーケンスエンドコード付加部
２３　バッファ部
２４　ＴＳパケット化部
２５　インタフェース部

Claims

複数のエンコーダからの出力ストリームのうちの１個または複数個を選択して出力する機能を含む画像符号化装置であって、
ストリーム切替え元の出力ストリームに対し、所定ＧＯＰ（グループオブピクチャー）を他のＧＯＰと切り離し可能に設定するＧＯＰ構造設定制御手段と、
ストリーム切替え元の出力ストリームに対し、所定ＧＯＰの次に間欠部を設ける間欠部設定手段と、
前記間欠部のタイミングで前記ストリーム切替え元の出力ストリームを他のストリームに切替えるストリーム切替え手段とを含むことを特徴とする画像符号化装置。
前記間欠部設定手段は前記ストリーム切替え元の出力ストリームに対し、実際の圧縮レートよりも小さな圧縮レートを設定する圧縮レート再設定手段と、
前記圧縮レート再設定手段で再圧縮された出力ストリームを実際の圧縮レートで読出す出力ストリーム読出し手段とを含むことを特徴とする請求項１記載の画像符号化装置。
前記出力ストリームの切替えポイントに切替え指標を付加する切替え指標付加手段を含むことを特徴とする請求項１または２記載の画像符号化装置。
前記出力ストリームはデジタル放送における出力ストリームであることを特徴とする請求項１から３いずれか記載の画像符号化装置。
複数のエンコーダからの出力ストリームのうちの１個または複数個を選択して出力する機能を含む画像符号化方法であって、
ストリーム切替え元の出力ストリームに対し、所定ＧＯＰ（グループオブピクチャー）を他のＧＯＰと切り離し可能に設定するＧＯＰ構造設定制御処理と、
ストリーム切替え元の出力ストリームに対し、所定ＧＯＰの次に間欠部を設ける間欠部設定処理と、
前記間欠部のタイミングで前記ストリーム切替え元の出力ストリームを他のストリームに切替えるストリーム切替え処理とを含むことを特徴とする画像符号化方法。
前記間欠部設定処理は前記ストリーム切替え元の出力ストリームに対し、実際の圧縮レートよりも小さな圧縮レートを設定する圧縮レート再設定処理と、
前記圧縮レート再設定処理で再圧縮された出力ストリームを実際の圧縮レートで読出す出力ストリーム読出し処理とを含むことを特徴とする請求項５記載の画像符号化方法。
前記出力ストリームの切替えポイントに切替え指標を付加する切替え指標付加処理を含むことを特徴とする請求項５または６記載の画像符号化方法。
前記出力ストリームはデジタル放送における出力ストリームであることを特徴とする請求項５から７いずれか記載の画像符号化方法。