JP4515378B2 - Image decoding apparatus, program, and computer-readable recording medium - Google Patents
Image decoding apparatus, program, and computer-readable recording medium Download PDFInfo
- Publication number
- JP4515378B2 JP4515378B2 JP2005329270A JP2005329270A JP4515378B2 JP 4515378 B2 JP4515378 B2 JP 4515378B2 JP 2005329270 A JP2005329270 A JP 2005329270A JP 2005329270 A JP2005329270 A JP 2005329270A JP 4515378 B2 JP4515378 B2 JP 4515378B2
- Authority
- JP
- Japan
- Prior art keywords
- auxiliary information
- decoding
- image
- data
- data string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、画像復号装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、多視点画像の符号化、即ち、互いを独立に符号化する必要のあるシステム及び、無線やインターネット等の損失が発生するネットワーク通信システムにおいて、分割され、別々に符号化された一連の画像(静止画・動画)を復元するための画像復号装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。 The present invention relates to an image decoding apparatus, a program, and a computer-readable recording medium, and in particular, multi-viewpoint image encoding, that is, a system that needs to encode each other independently, and loss of radio, the Internet, etc. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image decoding apparatus and program for restoring a series of images (still images and moving images) that are divided and encoded separately in a generated network communication system, and a computer-readable recording medium.
近年、アナログ信号システムからディジタル信号システムへと移行しており、ディジタル画像の需要が増加している。しかし、ディジタル画像はそのままではデータ量が膨大になることから、画像を効率的に圧縮する符号化技術が重要なものになっており、国際標準アルゴリズムが広く用いられている。 In recent years, there has been a shift from analog signal systems to digital signal systems, and the demand for digital images has increased. However, since a digital image has a huge amount of data as it is, an encoding technique for efficiently compressing the image is important, and an international standard algorithm is widely used.
一例として、ディジタルTVにはMPEG-2(“Information technology‐Generic coding of movie pictures and associated audio information: Video,” ISO/IEC 13818-2, May 1996)が用いられており、次世代DVDの規格にはH.264(“Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (IUT-T Rec. H.264‐ISO/IEC 14496-10 AVC),” Joint Video Team of ISO/IEC MPEG & ITU-T, 2003)が用いられることが決定している。 As an example, MPEG-2 (“Information technology-Generic coding of movie pictures and associated audio information: Video,” ISO / IEC 13818-2, May 1996) is used for digital TV. H.264 (“Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (IUT-T Rec. H.264-ISO / IEC 14496-10 AVC),” Joint Video Team of ISO / IEC MPEG & ITU -T, 2003) has been decided to be used.
これらの画像圧縮アルゴリズムの具体的な圧縮アルゴリズムの具体的な圧縮アルゴリズムは、まず、エンコーダ側では動き補償(MC)が行われ、時間的な信号の冗長性が排除され、その後、離散コサイン変換(DCT)等の周波数変換により空間的な信号の冗長性が排除された後に、エントロピー符号化が行われる。デコーダ側は真逆の処理を行うことにより復号する。 The specific compression algorithm of these image compression algorithms is such that motion compensation (MC) is first performed on the encoder side to eliminate temporal signal redundancy, and then discrete cosine transform ( Entropy coding is performed after spatial signal redundancy is eliminated by frequency conversion such as DCT). The decoder side performs decoding by performing the reverse process.
しかし、近年標準化された動画像の圧縮アルゴリズムは、圧縮効率こそ高くはなっているが、それに伴い、演算量も膨大なものになっている。例えば、H.264では大量の演算処理が必要であり、MPEG-2に比べて処理演算量は5〜10倍程度増加することが知られている。この大量の演算処理は複雑なフレーム間予測や可変マクロブロックサイズの最適化等に必要な演算であり、エンコーダ側において必要となる。 However, in recent years, the standardized moving image compression algorithm has a high compression efficiency, but the amount of computation has become enormous. For example, H.264 requires a large amount of arithmetic processing, and it is known that the processing arithmetic amount increases by about 5 to 10 times compared to MPEG-2. This large amount of arithmetic processing is necessary for complicated inter-frame prediction, variable macroblock size optimization, and the like, and is necessary on the encoder side.
これに対して、例え、デコーダ側の演算処理は増えたとしてもエンコーダ側の処理が少ない方が好ましいという要求がセンサーカメラや携帯電話の動画処理などのアプリケーションでは考えられる。そして、この要求を満たす、エンコーダ側の高負荷演算処理をデコーダ側に移行したシステムの1つがDistributed Source Coding(DSC)である。 On the other hand, for example, there is a demand for less processing on the encoder side even if arithmetic processing on the decoder side is increased in applications such as sensor camera and mobile phone video processing. One system that satisfies this requirement and has shifted the high-load computation processing on the encoder side to the decoder side is Distributed Source Coding (DSC).
DSCは、図7に示すように、複数の相関のある情報源に対して互いを観測することなく分散して符号化し、受信側では別々に符号化された各データを一括して復号するシステムである。DSCはもともと、1970年代にSlepianとWolfにより確立されたSlepian-Wolf定理(D. Slepian and J. K. Wolf, “Noiseless coding of correlated information sources,” IEEE Trans. Inform. Theory, vol. 19, no.4, pp.471-480, 1973)とWynerとZivにより確立されたWyner-Ziv定理(A. Wyner and J. Ziv, “The rate-distortion function for source coding with side information at the decoder,” IEEE Trans. Inform. Theory, vol. 22, no1, pp.1-10, 1976)に基づいており、それらの定理を実際のシステムへと拡張したものである。Slepian-Wolf定理は2つの情報源を互いに観測しないで別々に符号化した場合における無歪み状態で復号できる許容圧縮レート領域を与えたものであり、Wyer-Ziv定理は2つの情報源において、1つの情報源に歪みが発生した場合についてレート歪み領域を与えたものである。これらの定理により、互いに観測しないで別々に符号化する場合の圧縮限界は、Slepian-Wolf定理及びWyner-Ziv定理の条件の範囲内にてではあるが、互いを観測して符号化した場合と等しいことが証明されている。近年では、Turbo符号を用いてSlepian-Wolf定理やWyner-Ziv定理で与えられた限界にどの程度迫れるかが研究されている(例えば、非特許文献1、非特許文献2参照)。 As shown in FIG. 7, DSC is a system in which a plurality of correlated information sources are distributed and encoded without observing each other, and the separately encoded data is collectively decoded on the receiving side. It is. DSC was originally established by the Slepian-Wolf theorem (D. Slepian and JK Wolf, “Noiseless coding of correlated information sources,” IEEE Trans. Inform. Theory, vol. 19, no. 4, pp.471-480, 1973) and the Wyner-Ziv theorem established by Wyner and Jiv (A. Wyner and J. Ziv, “The rate-distortion function for source coding with side information at the decoder,” IEEE Trans. Inform Theory, vol. 22, no1, pp.1-10, 1976), which is an extension of these theorems to actual systems. The Slepian-Wolf theorem gives an allowable compression rate region that can be decoded without distortion when the two information sources are encoded separately without observing each other. The Wyer-Ziv theorem is A rate distortion region is given when distortion occurs in one information source. According to these theorems, the compression limit when coding separately without observing each other is within the range of the Slepian-Wolf and Wyner-Ziv theorem, but when observing each other and coding. Proven to be equal. In recent years, research has been conducted on the extent to which the limits given by the Slepian-Wolf theorem and the Wyner-Ziv theorem are approached using Turbo codes (for example, see Non-Patent Document 1 and Non-Patent Document 2).
DSCの実際の構成方法は種々あげられているが、例えば、図8に示すように、Wyner-Zivフレームの符号化及び復号にターボ符号を用いた方法が提案されている。この手法は、エンコーダ側の処理を軽減でき、さらにKeyフレームからの補足情報を作成することにより符号化効率の向上を図っている(例えば、非特許文献3参照)。 There are various DSC configuration methods. For example, as shown in FIG. 8, a method using a turbo code for encoding and decoding a Wyner-Ziv frame has been proposed. This method can reduce the processing on the encoder side and further improves the coding efficiency by creating supplementary information from the Key frame (see, for example, Non-Patent Document 3).
しかし、Keyフレームからの補助情報の作成において、一旦、全て復号し、それから補助情報を作成しなおす構造のため、情報処理量が多くなる。また、適した補足情報が作成できなかった場合にパリティビットの再送等を行う必要があり、ネットワークを用いた大規模配信システムやリアルタイム性が必要とされるシステムでは用いることができない。
上記のように、DSCは多視点映像符号化やIPネットワーク等のベストエフォート型の通信システムに対する符号化として効果が期待されている。しかし、ターボ符号器を用いた場合やMPEG-2を用いた場合においても、補足情報の作成にデコード処理及び部分的なエンコード処理が必要となり、演算処理量は増加している。 As described above, DSC is expected to be effective as a coding for a best-effort communication system such as multi-view video coding or IP network. However, even when a turbo encoder is used or MPEG-2 is used, decoding processing and partial encoding processing are required to create supplementary information, and the amount of calculation processing is increasing.
本発明は、上記の点に鑑みなされたもので、近年注目されているスケーラビリティ機能を利用することにより、補助情報を作成することによりDSCシステムを構築し、高品質な動画像を提供するための画像復号装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。 The present invention has been made in view of the above points, and by using a scalability function that has been attracting attention in recent years, a supplementary information is created to construct a DSC system and provide a high-quality moving image. An object is to provide an image decoding apparatus, a program, and a computer-readable recording medium.
図1は、本発明の原理構成図である。 FIG. 1 is a principle configuration diagram of the present invention.
本発明(請求項1)は、別々に符号化された複数の画像データ列を復号する画像復号装置であって、
複数のデータ列のうちのデータ列Aを2つのパスに分け、そのうちの第1のパスを復号して出力し、第2のパスのデータ列の低域成分を第1の補助情報、高域成分を第2の補助情報として復号する第1の復号手段と、
第1及び第2の補助情報に対して動き補償を行い、それぞれ第3及び第4の補助情報として出力する補助情報作成手段と、
複数のデータ列のうちデータ列Aとは異なるデータ列Bを第3の補助情報を用いて復号する第2の復号手段と、
第4の補助情報が尤もらしいかを信号の確率分布または相関値を用いて判断し、尤もらしいと判断された場合は、第2の復号手段で復号された画像と加算し、出力する再構成手段と、を有する。
The present invention (Claim 1 ) is an image decoding apparatus for decoding a plurality of separately encoded image data sequences,
The data string A of the plurality of data strings is divided into two paths, the first path is decoded and output, and the low frequency component of the data string of the second path is the first auxiliary information, the high frequency First decoding means for decoding the component as second auxiliary information;
Auxiliary information creating means for performing motion compensation on the first and second auxiliary information and outputting them as third and fourth auxiliary information, respectively;
A second decoding means for decoding a data string B different from the data string A among the plurality of data strings using the third auxiliary information;
It is determined whether the fourth auxiliary information is likely using the probability distribution or the correlation value of the signal. If it is judged that the fourth auxiliary information is likely, the reconstruction is performed by adding to the image decoded by the second decoding means and outputting it. Means.
本発明(請求項2)は、別々に符号化された複数の画像データ列を復号する画像復号装置であって、
複数のデータ列のうちのデータ列Aを2つのパスに分け、そのうちの第1のパスを復号して出力し、第2のパスのデータ列の低域成分を第1の補助情報、高域成分を第2の補助情報として復号する第1の復号手段と、
第1及び第2の補助情報に対して動き補償を行い、それぞれ第3及び第4の補助情報として出力する補助情報作成手段と、
補助情報作成手段から出力された第4の補助情報の高域成分の不足分を補い、第5の補助情報として出力する高域成分推定手段と、
複数のデータ列のうちデータ列Aとは異なるデータ列Bを第3の補助情報を用いて復号する第2の復号手段と、
第5の補助情報が尤もらしいかを信号の確率分布または相関値を用いて判断し、尤もらしいと判断された場合は、第2の復号手段で復号された画像と加算し、出力する再構成手段と、を有する。
The present invention (Claim 2 ) is an image decoding apparatus for decoding a plurality of separately encoded image data sequences,
The data string A of the plurality of data strings is divided into two paths, the first path is decoded and output, and the low frequency component of the data string of the second path is the first auxiliary information, the high frequency First decoding means for decoding the component as second auxiliary information;
Auxiliary information creating means for performing motion compensation on the first and second auxiliary information and outputting them as third and fourth auxiliary information, respectively;
High frequency component estimation means for compensating for the shortage of the high frequency component of the fourth auxiliary information output from the auxiliary information creation means, and outputting as fifth auxiliary information;
A second decoding means for decoding a data string B different from the data string A among the plurality of data strings using the third auxiliary information;
It is determined whether the fifth auxiliary information is likely using the probability distribution or the correlation value of the signal. If it is determined that the fifth auxiliary information is likely, the reconstruction is performed by adding the image decoded by the second decoding means and outputting it. Means.
本発明(請求項3)は、請求項1または2に記載の画像復号装置において、データ列Aが、国際標準規格であるJPEG2000により符号化されたデータとする。
According to the present invention (Claim 3 ), in the image decoding device according to
本発明(請求項4)は、コンピュータを、請求項1乃至3のいずれか1項に記載の画像復号装置として機能させる画像復号プログラムである。 The present invention (Claim 4 ) is an image decoding program that causes a computer to function as the image decoding apparatus according to any one of Claims 1 to 3 .
本発明(請求項5)は、コンピュータを、請求項1乃至3のいずれか1項に記載の画像復号装置として機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体である。
The present invention (Claim 5 ) is a computer-readable recording medium storing a program that causes a computer to function as the image decoding device according to any one of Claims 1 to 3 .
上記のように本発明によれば、JPEG2000の国際標準アルゴリズムを功名に利用したDSCの構成が可能であり、デコーダ側にて予測等を行わない一般的なJPEG2000に比べて符号化効率が高くなり、画質の向上が期待できる。 As described above, according to the present invention, it is possible to construct a DSC that effectively uses the JPEG2000 international standard algorithm, and the encoding efficiency is higher than that of a general JPEG2000 that does not perform prediction on the decoder side. Improvement in image quality can be expected.
また、本システムの構造上、補足画像の高域成分が不足するデメリットがあるが、それを補う時間解像度の拡大処理を導入し、非線形処理にて高域成分の推定を実施することにより、高域成分を持った動画像の時間解像度の拡張が可能である。JPEG2000のPart2にて実装可能なマルチコンポーネント変換機構を利用した時間解像度の拡張やスケーラビリティ機能の利用により既存システムを利用した効率的なDSCが構成可能である。
In addition, there is a demerit that the high-frequency component of the supplementary image is insufficient due to the structure of this system, but by introducing a time resolution expansion process that compensates for it, high frequency component estimation is performed by nonlinear processing. It is possible to extend the temporal resolution of a moving image having a band component. An efficient DSC using an existing system can be configured by expanding the time resolution using a multi-component conversion mechanism that can be implemented in
以下、図面と共に本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図2は、本発明により実現可能なシステム構成例を示す。 FIG. 2 shows a system configuration example that can be realized by the present invention.
同図では、Wyner-Zivフレーム及びKeyフレームの作成原理を示している。 This figure shows the principle of creating a Wyner-Ziv frame and a Key frame.
エンコーダ側においては、Keyフレームは圧縮装置3により、エンベデット符号化により圧縮された符号列、例えば、JPEG2000といった国際標準規格に制定されている圧縮アルゴリズムを用いて圧縮される。また、デコード側においては、Keyフレームは伸張装置4において、同様の圧縮アルゴリズムを用いて伸張される。
On the encoder side, the Key frame is compressed by the
また、エンコーダ側のWiner-Zivフレームの圧縮装置1では、LDPC符号やTurbo符号等の通信路符号化が行われ、作成される冗長情報のみが送信される。つまり、冗長情報量をどの程度付加するかで圧縮率が決まる。デコーダ側のWiner-Zivフレームの伸張装置2では、後述する補助情報作装置5でKeyフレームより作成される補助情報aを利用して、sum-product法等を用いて伸張される。補助情報aは、エンベデット符号化されたKeyフレームより演算等を行わないで抽出された補助情報bより動き予測やフィルタ処理により作成される。また、Winer-Zivフレームでは補助情報aを用いて伸張された画像に対して、再構成装置6で補助情報aと排他的となる成分で構成される補助情報cを用いて再構成される。このようにして、本発明では、高画質な画像の作成が可能となる。
Also, in the compressor 1 of the Winer-Ziv frame on the encoder side, channel coding such as LDPC code or Turbo code is performed, and only the redundant information to be created is transmitted. That is, the compression rate is determined by how much redundant information is added. In the decoder-side Winer-Ziv
[第1の実施の形態]
図3は、本発明の第1の実施の形態におけるDSCシステムの基本構成図である。
[First Embodiment]
FIG. 3 is a basic configuration diagram of the DSC system according to the first embodiment of the present invention.
同図では、エンコーダ側において、複数のデータ列(Keyフレーム及びWyner-Zivフレーム)を符号化し、デコーダ側では、符号化された複数のデータ列を受信し、KeyフレームからWyner-Zivフレームを復号するシステムを示している。 In the figure, the encoder side encodes multiple data strings (Key frame and Wyner-Ziv frame), and the decoder side receives the encoded multiple data strings and decodes the Wyner-Ziv frame from the Key frame. Shows the system to do.
同図に示すシステムは、圧縮装置1、2、伸張装置7,8、補助画素作成装置9から構成される。
The system shown in FIG. 1 includes
圧縮装置1はWyner-zivフレームの符号化部10、圧縮装置3はKeyフレームの符号化部11を有し、伸張装置7はWyne-Zivの復号部12、伸張装置8はKeyフレームの復号部13、抽出部14を有し、補助画素作成装置9は部分復号部15と動き補償部16を有する。
The compression device 1 has a Wyner-ziv
以下、それぞれの構成要素について説明する。 Hereinafter, each component will be described.
まず、情報源はKeyフレームとWyner-Zivフレームとに分けられる。各圧縮装置1,3において別々に符号化部10及び11により圧縮される。
First, the information source is divided into a Key frame and a Wyner-Ziv frame. Each of the
Wyner-Zivフレームにおける符号化部10では、誤り訂正符号が用いられ、パリティビットが生成される。そして、パリティビットのみが伸張装置7へと送られる。つまり、誤り訂正符号を用いてメッセージデータkを冗長データmに圧縮されることと等しく、誤り訂正符号化効率Rが1に近いほど圧縮率が高くなる。Keyフレームにおける符号化部11では、JPEG2000等のエンベデット符号化が行われ、伸張装置8に送られる。
The
Keyフレームの伸張装置8においては、符号化されたKeyフレームが2つのパスに分けられ、1つのパスでは復号部13により復号が行われ、Keyフレームの復号画像として出力される。もう一方のパスは抽出部14に送られ、符号化部11で符号化されたデータ列の一部分が抽出される。抽出されたデータは、補助画素作成装置9の部分復号部15に入力され、低域成分が復号され、動き補償部16に送られる。送られた低域部分は動き補償部16において、線形フィルタ処理により動き補償が行われる。このとき、Keyフレーム(t)及びKeyフレーム(t−1)等の低域成分を用いて動き補償が行われ、補助情報が作成される。作成された補助情報はWyner-Zivフレームの伸張装置7の復号部12に送られる。なお、上記の動き補償部16において、線形フィルタを用いて動き補償を行う例を示しているが、この例に限定されることなく、動き補償が可能な技術であれば他の技術を用いてもよい。
In the key frame decompression device 8, the encoded key frame is divided into two passes, and in one pass, decoding is performed by the
復号部12では、動き補償部16から出力された補助情報と符号化部10で作成されたパリティビットを用いて復号処理が行われ、Wyner-Zivフレームが出力される。
In the
以上の操作により、Wyner-Zivフレームはインターフレームデコードを行ったものと等しい効果が得られ、圧縮効率の向上と、誤り訂正符号を利用した方式であるためにロバスト性の向上が期待できる。 By the above operation, the Wyner-Ziv frame has the same effect as that obtained by inter-frame decoding, and it can be expected that the compression efficiency is improved and the robustness is improved because the method uses an error correction code.
[第2の実施の形態]
図4は、本発明の第2の実施の形態におけるDSCシステムの基本構成図である。
[Second Embodiment]
FIG. 4 is a basic configuration diagram of a DSC system according to the second embodiment of the present invention.
同図では、エンコーダ側において、複数のデータ列(Keyフレーム及びWyner-Zivフレーム)を符号化し、デコーダ側では、複数のデータ列を受信し、補助画素作成装置105においてKeyフレームからWyner-Zivフレームを復号し、再構成装置106で補助情報を作成するシステムを示している。
In the figure, a plurality of data strings (Key frame and Wyner-Ziv frame) are encoded on the encoder side, and a plurality of data strings are received on the decoder side, and the auxiliary
同図に示すシステムは、圧縮装置101、102、伸張装置103、104、補助画素作成装置105、再構成装置106から構成される。
The system shown in the figure includes
圧縮装置101はWyer-Zivフレームの符号化部20を有し、圧縮装置102はKeyフレームの符号化部21を有する。また、伸張装置103はWyer-Zivフレームの復号部22を有し、伸張装置104はKeyフレームの復号部23と抽出部24を有する。補助画素作成装置105は、部分復号部25と動き補償部26を有する。再構成装置106は、補助情報判定部27と合成部28を有する。
The
本実施の形態において、第1の実施の形態と異なる点は、再構成装置106を含んでいることである。第1の実施の形態では、Keyフレームから低域成分を抽出することにより演算量を少なく符号化効率を高めていた反面、高域成分が不足したWyner-Zivフレームが作成される可能性がある。そこで、本実施の形態では、再構成装置106を導入することにより、低域成分はWyner-Zivフレームの伸張装置103の復号部22で復号され、再構成装置106により不足している高域成分を補うものである。
The present embodiment is different from the first embodiment in that a
第1の実施の形態では、補助画素作成装置9の部分復号部15は低域成分しか動き補償部16に送られなかったが、本実施の形態では、補助画素作成装置105の部分復号部25は、高域成分も動き補償部26に送ることができる。動き補償部26では、低域成分に関しては、第1の実施の形態と同様に、動き補償が行われ、補助情報が復号部22に送られる。一方、高域成分に対する動き補償は低域成分に対して行う場合よりも精度を上げることが難しく、符号化効率の低下につながる。そのため、動き補償部26で動き補償が行われた後に、再構成装置106の補助情報判定部27にてその補助情報が尤もらしいか判断される。尤もらしいかの判断は信号の確率分布や相関値等を用いて判断される。尤もらしいと判断された場合、再構成装置106の合成部28で、復号部22より復号された信号と足し合わされ、Wyner-Zivフレームが出力される。
In the first embodiment, the
上記の一例として、LDPC符号とJPEG2000を用いたDSCの構成を図5に示す。 As an example of the above, FIG. 5 shows a DSC configuration using LDPC code and JPEG2000.
まず、符号化側のKeyフレーム(奇数フレーム)ではJPEG2000により符号化される。これに対し、W-Zフレーム(偶数フレーム)はウェーブレット変換(DWT)によりMallet分割された後、画像の低周波数成分のみが残るようにポスト量子化される。量子化されたDWT係数はグレーコード変換変換(10進数の隣り合う数字のハミング距離を2進数においても1とする変換:Gray, F. “Pulse Code Communication.” United States Patent Number 2632058. March 17, 1953)が行われ、低密度パリティ検査(LDPC:Low Density Parity Check)エンコーダ(R.G. Gallager, “Low density parity check codes,” in Research Monograph series. Cambridge, MIT Press, 1963)により符号化される。そして、LDPC符号により作成されたシンドロームビットのみがW-Z Framesにおいて送信される。 First, the key frame (odd frame) on the encoding side is encoded by JPEG2000. On the other hand, the W-Z frame (even frame) is subjected to post-quantization so that only the low-frequency component of the image remains after being subjected to Mallet division by wavelet transform (DWT). The quantized DWT coefficient is converted to a Gray code conversion (a conversion in which the hamming distance between adjacent decimal numbers is also 1 in a binary number: Gray, F. “Pulse Code Communication.” United States Patent Number 2632058. March 17, 1953) and encoded by a Low Density Parity Check (LDPC) encoder (RG Gallager, “Low density parity check codes,” in Research Monograph series. Cambridge, MIT Press, 1963). Only the syndrome bits created by the LDPC code are transmitted in W-Z Frames.
なお、図5に示す構成では、ウェーブレット変換器(DWT)でウェーブレット変換と量子化器(Q)での量子化により低周波数成分のみにすること、及び、グレーコード符号器でグレー符号化を実施することにより、デコーダ側での動き予測の効率向上を図っている。 In the configuration shown in FIG. 5, the wavelet transformer (DWT) uses only wavelet transform and the quantizer (Q) to make only low frequency components, and the gray code encoder performs gray coding. This improves the efficiency of motion prediction on the decoder side.
復号処理では、Keyフレーム(奇数フレーム)は、JPEG2000デコーダにて復号された後、W-Zフレーム(偶数フレーム)の復号に必要な補助情報(Side Information)を作成する。補助情報は、復号されたKeyフレームから線形予測により作成される予測信号をW-Zフレームのエンコード時と同様のウェーブレット変換(DWT)及び量子化(Q)、グレーコード変換(グレーコード変換器)を実施することにより作成され、LDPC復号器へ送られる。 In the decoding process, after the Key frame (odd frame) is decoded by the JPEG2000 decoder, auxiliary information (Side Information) necessary for decoding the W-Z frame (even frame) is created. Auxiliary information, wavelet transform (DWT), quantization (Q), and Gray code conversion (Gray code converter) are applied to the prediction signal created from the decoded Key frame by linear prediction. Is created and sent to the LDPC decoder.
LDPC復号器では、受信したシンドロームビットを用いて補助情報の誤りをSum-product復号法によって訂正する。つまり、デコーダ側で予測画像が外れた信号を訂正していることと等しい。sum-product復号法により復号された信号は、逆グレーコード変換、逆量子化、逆ウェーブレット変換が実施され、Keyフレームから作成される中間信号と再構成され、W-Zフレームの復号処理は完了する。 In the LDPC decoder, the error of the auxiliary information is corrected by the sum-product decoding method using the received syndrome bits. In other words, this is equivalent to correcting a signal from which the predicted image has been removed on the decoder side. The signal decoded by the sum-product decoding method is subjected to inverse gray code transformation, inverse quantization, and inverse wavelet transformation, reconstructed with an intermediate signal created from the Key frame, and the decoding process of the W-Z frame is completed.
なお、デコーダ側でのウェーブレット変換及び量子化処理は、JPEG2000のスケーラビリティ機能を用いることにより省略可能であり、その場合、抽出された低周波数成分に対して中間信号を作成し、グレー変換を実施し、LDPC復号器に送られる。また、中間画像の作成は、JPEG2000のPart2のマルチキャストコンポーネント変換を用いて作成できる。
Note that the wavelet transform and quantization processing on the decoder side can be omitted by using the JPEG2000 scalability function. In that case, an intermediate signal is created for the extracted low-frequency components, and gray transform is performed. Sent to the LDPC decoder. The intermediate image can be created using multicast component conversion of JPEG 2000
[第3の実施の形態]
図6は、本発明の第3の実施の形態におけるDSCシステムの基本構成図である。
[Third Embodiment]
FIG. 6 is a basic configuration diagram of a DSC system according to the third embodiment of the present invention.
同図では、エンコーダ側において、複数のデータ列(Keyフレーム及びWyner-Zivフレーム)を符号化し、デコーダ側では、複数のデータ列を受信し、KeyフレームからWyner-Zivフレームの補助情報を作成するシステムを示す。 In the figure, the encoder side encodes a plurality of data strings (Key frame and Wyner-Ziv frame), and the decoder side receives the plurality of data strings and creates auxiliary information of the Wyner-Ziv frame from the Key frame. Indicates the system.
同図に示すシステムは、圧縮装置201,202、伸張装置203,204、補助画素作成装置205、再構成装置206、高域成分推定装置207から構成される。
The system shown in the figure includes
圧縮装置201はWyner-Zivフレームの符号化部30を有し、圧縮装置202はKeyフレームの符号化部31を有し、伸張装置203はWyner-Zivフレームの復号部32を有し、伸張装置204はKeyフレームの復号部33と抽出部34を有し、補助画素作成装置205は部分復号部35と動き補償部36を有し、高域成分推定装置207は高域成分推定部37を有し、再構成装置206は補助情報判定部38と合成部39を有する。
The
図6に示す構成において、第2の実施の形態と異なる点は、高域成分推定装置207が含まれている点である。第2の実施の形態では、Keyフレームから低域成分とは別に高域成分を動き補償部36に送っていたが、(フィルタ処理等の)動き補償により高域成分は不足したものとなる。そこで、本実施の形態では、高域成分推定装置207を導入することにより補う。そのために、符号化部31と相性のよい、時間解像度の拡大処理を行う高域成分推定装置を用いる。当該高域成分推定装置207は、入力された低時間解像度の動画像の時間軸方向のサンプル数(フレームレート)をアップサンプルし、フィルタにより不必要な高域成分(イメージング成分)を除去し、入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行うものである。
The configuration shown in FIG. 6 is different from the second embodiment in that a high frequency
また、上記の第1〜第3の実施の形態の動作をプログラムとして構築し、エンコーダ側から入力された符号化された複数のデータ列の復号処理を行うコンピュータにインストールして実行させることが可能である。 In addition, the operations of the first to third embodiments described above can be constructed as a program, and can be installed and executed on a computer that performs decoding processing of a plurality of encoded data strings input from the encoder side. It is.
また、構築されたプログラムを、ハードディスク装置や、フレキシブルディスク・CD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールして実行させる、または配布することが可能である。 The constructed program can be stored in a portable storage medium such as a hard disk device or a flexible disk / CD-ROM, installed in a computer, executed, or distributed.
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.
本発明は、動画像生成技術、特に、符号化された動画像信号を復号する技術に適用可能である。 The present invention is applicable to a moving image generation technique, particularly a technique for decoding an encoded moving image signal.
1 符号化手段、圧縮装置
2 第2の復号手段、伸張装置
3 符号化手段、圧縮装置
4 第1の復号手段、伸張装置
5 補助情報作成手段、補助情報作成装置
6 再構成装置
7 伸張装置
8 伸張装置
9 補助画素作成装置
10 符号化部
11 符号化部
12 復号部
13 復号部
14 抽出部
15 部分復号部
16 動き補償部
20 符号化部
21 符号化部
22 復号部
23 復号部
24 抽出部
25 部分復号部
26 動き補償部
27 補助情報判定部
28 合成部
30 符号化部
31 符号化部
32 復号部
33 復号部
34 抽出部
35 部分復号部
36 動き補償部
37 高域成分推定部
38 補助情報判定部
39 合成部
101 圧縮装置
102 圧縮装置
103 伸張装置
104 伸張装置
105 補助画素作成装置
106 再構成装置
201 圧縮装置
202 圧縮装置
203 伸張装置
204 伸張装置
205 補助画素作成装置
206 再構成装置
207 高域成分推定装置
DESCRIPTION OF SYMBOLS 1 Encoding means,
Claims (5)
前記複数のデータ列のうちのデータ列Aを2つのパスに分け、そのうちの第1のパスを復号して出力し、第2のパスのデータ列の低域成分を第1の補助情報、高域成分を第2の補助情報として復号する第1の復号手段と、
前記第1及び前記第2の補助情報に対して動き補償を行い、それぞれ第3及び第4の補助情報として出力する補助情報作成手段と、
前記複数のデータ列のうち前記データ列Aとは異なるデータ列Bを前記第3の補助情報を用いて復号する第2の復号手段と、
前記第4の補助情報が尤もらしいかを信号の確率分布または相関値を用いて判断し、尤もらしいと判断された場合は、前記第2の復号手段で復号された画像と加算し、出力する再構成手段と、
を有することを特徴とする画像復号装置。 An image decoding device for decoding a plurality of separately encoded image data sequences,
The data string A of the plurality of data strings is divided into two paths, the first path is decoded and output, and the low frequency component of the data string of the second path is the first auxiliary information, high First decoding means for decoding the band component as second auxiliary information;
Auxiliary information creating means for performing motion compensation on the first and second auxiliary information and outputting them as third and fourth auxiliary information, respectively;
A second decoding means for decoding a data string B different from the data string A among the plurality of data strings using the third auxiliary information;
Whether the fourth auxiliary information is likely is determined using the probability distribution or correlation value of the signal. If it is determined that the fourth auxiliary information is likely, the fourth auxiliary information is added to the image decoded by the second decoding means and output. Reconstruction means;
An image decoding apparatus comprising:
前記複数のデータ列のうちのデータ列Aを2つのパスに分け、そのうちの第1のパスを復号して出力し、第2のパスのデータ列の低域成分を第1の補助情報、高域成分を第2の補助情報として復号する第1の復号手段と、
前記第1及び前記第2の補助情報に対して動き補償を行い、それぞれ第3及び第4の補助情報として出力する補助情報作成手段と、
前記補助情報作成手段から出力された前記第4の補助情報の高域成分の不足分を補い、第5の補助情報として出力する高域成分推定手段と、
前記複数のデータ列のうち前記データ列Aとは異なるデータ列Bを前記第3の補助情報を用いて復号する第2の復号手段と、
前記第5の補助情報が尤もらしいかを信号の確率分布または相関値を用いて判断し、尤もらしいと判断された場合は、前記第2の復号手段で復号された画像と加算し、出力する再構成手段と、
を有することを特徴とする画像復号装置。 An image decoding device for decoding a plurality of separately encoded image data sequences,
The data string A of the plurality of data strings is divided into two paths, the first path is decoded and output, and the low frequency component of the data string of the second path is the first auxiliary information, high First decoding means for decoding the band component as second auxiliary information;
Auxiliary information creating means for performing motion compensation on the first and second auxiliary information and outputting them as third and fourth auxiliary information, respectively;
High frequency component estimation means for compensating for the shortage of the high frequency component of the fourth auxiliary information output from the auxiliary information creation means and outputting as fifth auxiliary information;
A second decoding means for decoding a data string B different from the data string A among the plurality of data strings using the third auxiliary information;
Whether the fifth auxiliary information is likely is determined using the probability distribution or correlation value of the signal. If it is determined that the fifth auxiliary information is likely, it is added to the image decoded by the second decoding means and output. Reconstruction means;
An image decoding apparatus comprising:
請求項1または2に記載の画像復号装置。 The data string A is data encoded by the international standard JPEG2000.
The image decoding apparatus according to claim 1 or 2 .
請求項1乃至3のいずれか1項に記載の画像復号装置として機能させることを特徴とする画像復号プログラム。 Computer
An image decoding program that causes the image decoding apparatus according to any one of claims 1 to 3 to function.
請求項1乃至3のいずれか1項に記載の画像復号装置として機能させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。 Computer
A computer-readable recording medium storing a program that functions as the image decoding device according to any one of claims 1 to 3 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005329270A JP4515378B2 (en) | 2005-11-14 | 2005-11-14 | Image decoding apparatus, program, and computer-readable recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005329270A JP4515378B2 (en) | 2005-11-14 | 2005-11-14 | Image decoding apparatus, program, and computer-readable recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007142498A JP2007142498A (en) | 2007-06-07 |
JP4515378B2 true JP4515378B2 (en) | 2010-07-28 |
Family
ID=38204889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005329270A Expired - Fee Related JP4515378B2 (en) | 2005-11-14 | 2005-11-14 | Image decoding apparatus, program, and computer-readable recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4515378B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4819024B2 (en) * | 2007-12-06 | 2011-11-16 | 日本電信電話株式会社 | Image encoding / decoding method and system |
JP5018582B2 (en) * | 2008-03-21 | 2012-09-05 | 沖電気工業株式会社 | Predicted value generation apparatus, predicted value generation method, and decoding apparatus |
JP5004877B2 (en) * | 2008-06-04 | 2012-08-22 | 日本電信電話株式会社 | Image encoder, image decoder, image encoding method, image decoding method, and program |
JP5339816B2 (en) * | 2008-08-20 | 2013-11-13 | 沖電気工業株式会社 | Encoder |
CN115052160B (en) * | 2022-04-22 | 2023-07-07 | 江西中烟工业有限责任公司 | Image coding method and device based on cloud data automatic downloading and electronic equipment |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7643558B2 (en) * | 2003-03-24 | 2010-01-05 | Qualcomm Incorporated | Method, apparatus, and system for encoding and decoding side information for multimedia transmission |
-
2005
- 2005-11-14 JP JP2005329270A patent/JP4515378B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007142498A (en) | 2007-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Brites et al. | Improving transform domain Wyner-Ziv video coding performance | |
JP4819024B2 (en) | Image encoding / decoding method and system | |
JP6210948B2 (en) | Image estimation method | |
US20100166057A1 (en) | Differential Data Representation for Distributed Video Coding | |
Zhou et al. | Distributed video coding using interval overlapped arithmetic coding | |
JP4515378B2 (en) | Image decoding apparatus, program, and computer-readable recording medium | |
JP5004877B2 (en) | Image encoder, image decoder, image encoding method, image decoding method, and program | |
Kodavalla et al. | Distributed video coding: codec architecture and implementation | |
JP6210949B2 (en) | Image estimation method | |
Huchet et al. | Distributed video coding without channel codes | |
Weerakkody et al. | Enhanced reconstruction algorithm for unidirectional distributed video coding | |
Chien et al. | BLAST-DVC: BitpLAne SelecTive distributed video coding | |
Tonomura et al. | Distributed video coding using JPEG 2000 coding scheme | |
Qing et al. | Practical distributed video coding in packet lossy channels | |
Chien et al. | Rate-distortion based selective decoding for pixel-domain distributed video coding | |
Chien et al. | Distributed video coding with lossy side information | |
JP5811823B2 (en) | Video encoding apparatus, system, and program | |
Thambu et al. | Dynamic algorithm for correlation noise estimation in distributed video coding | |
Lei et al. | Study for distributed video coding architectures | |
Park et al. | Mobile to mobile video communication using DVC framework with channel information transmission | |
JP2007074306A (en) | Apparatus for generating supplementary pixel, decoding system, decoding method, image coding communication system, decoding program and computer-readable recording medium | |
Li et al. | Distributed video coding based on conditional entropy hash | |
Rup et al. | Recent advances in distributed video coding | |
Shim et al. | Adaptive reconstruction scheme using neighbour pixels in PDWZ coding | |
Yang et al. | Variable reconstruction scheme for distributed video decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100511 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4515378 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140521 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |