KR20040080258A - Method and Apparatus for Selecting Compression Modes To Reduce Transmission Error of Image Compression System for Use in Video Encoder - Google Patents
Method and Apparatus for Selecting Compression Modes To Reduce Transmission Error of Image Compression System for Use in Video Encoder Download PDFInfo
- Publication number
- KR20040080258A KR20040080258A KR1020030015158A KR20030015158A KR20040080258A KR 20040080258 A KR20040080258 A KR 20040080258A KR 1020030015158 A KR1020030015158 A KR 1020030015158A KR 20030015158 A KR20030015158 A KR 20030015158A KR 20040080258 A KR20040080258 A KR 20040080258A
- Authority
- KR
- South Korea
- Prior art keywords
- mode
- value
- compression
- intra
- cost function
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 영상 압축 시스템의 전송 오류 감소를 위해 비디오 부호기에서 압축 모드를 선택하는 방법 및 장치에 관한 것이다. 더욱 상세하게는, 전송 오류가 있는 환경에서 전송 오류로 인한 복호기에서의 화질 열화 극복을 위해 동영상 부호기에서 효율적으로 오류 환경에 대처할 수 있도록 모드 선택을 하는 방법에 관한 것이다.The present invention relates to a method and apparatus for selecting a compression mode in a video encoder to reduce transmission error of a video compression system. More specifically, the present invention relates to a method of selecting a mode to efficiently cope with an error environment in a video encoder in order to overcome image quality degradation in a decoder due to a transmission error in a transmission error environment.
오디오와 동영상 서비스를 실현하기 위해서는 방대한 양의 데이터를 효과적으로 저장하거나 전송하기 위한 압축기술의 개발과 표준화가 필수적이다. 디지털 영상 기술의 발전은 정지영상에서 시작되어 동영상으로 옮겨졌고 결국 멀티미디어 서비스를 위한 발판을 구축하게 되었다. 그러나 멀티미디어 서비스를 효율적으로 제공하기 위해서는 오디오, 비디오와 같은 데이터를 압축하는 기술뿐만 아니라 데이터를 효과적으로 연관(Link)시키고, 사용자에 의한 대화형 조작(Interactive Manipulation)을 쉽게 하고 압축된 데이터를 효과적으로 검색할 수 있도록 하는 도구도 필요하다. 이와 관련된 기술의 표준화가 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission)를 중심으로 진행되어 왔는데, H.261, H.262, H.263 및 H.264 그리고 MPEG-1, MPEG-2, MPEG-4 등을 포함하는 국제 동영상 압축 표준들은 모두 동영상의 압축 저장 및 전송을 목표로 제정되어 왔다.In order to realize audio and video services, it is essential to develop and standardize compression techniques for effectively storing or transmitting large amounts of data. Advances in digital imaging technology began with still images and moved to video, eventually building a platform for multimedia services. However, in order to efficiently provide multimedia services, not only technologies for compressing data such as audio and video, but also effectively link data, facilitate interactive manipulation by users, and efficiently search for compressed data. You also need a tool to help. Standardization of related technologies has been conducted around the International Organization for Standardization / International Electrotechnical Commission (ISO / IEC), which includes H.261, H.262, H.263 and H.264, and MPEG-1, MPEG-2, International video compression standards, including MPEG-4, have all been established for the purpose of compression storage and transmission of video.
그런데 전송 환경에서 오류가 있는 경우에는 동영상 압축 표준 알고리즘 자체의 일관성이 심하게 영향을 받음으로 인해서, 아무런 대처를 하지 않을 경우 치명적인 화질의 열화를 초래하게 된다. 이러한 오류의 발생이 전체 비디오 화질에 영향을 주는 것을 막기 위해서 가능한 한 압축 성능을 떨어뜨리지 않으면서도 오류의 전파를 막는 효율적인 기법들이 제안되고 있는 것이 현재 동영상 표준의 추세이기도 하다. 이러한 기법들을 이용하면 비디오 코덱이 오류에 대한 보다 향상된 내성을 갖게 되는데, 비트 스트림을 전달하는 과정에서 채널의 불확실성에 의해서 오류가 발생하는 경우에도 복호기 재생 화상의 화질 열화가 최소화될 수 있도록 설계된 부호/복호 방법론들이 사용된다는 의미이다. 즉, 지금까지 부호기는 복호기의 상태나 동작에 대해서는 별도의 고려 없이 최고 효율성을 목표로 한 부호화를 행하여 왔으나, 전송 오류가 발생하는 채널 환경에서 그렇게 하는 경우 복호기에서 재생되는 영상의 화질을 보장할 수 없기 때문에, 전송 오류가 발생하는 채널 환경에서는 부호화 과정에서부터 전송 오류 문제를 극복하기 위한 특별한 고려들이 추가되어야 함을 의미한다.However, if there is an error in the transmission environment, the consistency of the video compression standard algorithm itself is severely affected, and if no action is taken, it will cause a fatal deterioration of image quality. In order to prevent the occurrence of such an error from affecting the overall video quality, it is also a trend of the current video standard to propose effective techniques for preventing the propagation of an error without reducing the compression performance as much as possible. These techniques make video codecs more resistant to errors, and code / designs are designed to minimize image quality degradation of decoder playback images even when errors are caused by channel uncertainty during bitstream delivery. Decoding methodologies are used. That is, the encoder has been encoding for the highest efficiency without any consideration of the state or operation of the decoder until now, but in the channel environment where transmission errors occur, the encoder can guarantee the image quality of the image reproduced by the decoder. In the channel environment in which transmission error occurs, it means that special considerations must be added to overcome the transmission error problem from the encoding process.
이를 고려한 오류 내성 방법론은 크게 영상 복호기에서의 오류 은닉(Error Concealment) 기법과 영상 부호기에서의 오류 내성을 갖는 비트 스트림의 생성 기법으로 나뉘어 진다.The error tolerance methodology considering this is largely divided into an error concealment technique in an image decoder and a bit stream generation technique having an error tolerance in an image encoder.
여기서 영상 복호기에서의 오류 은닉 기법이란 수신된 비트 스트림에서 오류가 발생한 것을 검출하는 순간 그 오류가 화질에 미치는 영향을 가급적 국지화하고 최소화하기 위한 기법을 의미한다. 오류 은닉 복호기에서 오류의 영향을 국지화/최소화하는 것은 비트 스트림의 구성 내용에 따라 큰 성능 차이를 보이기 때문에 부호화할 때부터 이에 대한 고려가 필요하다. 오류 은닉 기법은 비트 스트림에 오류가 발생함에도 불구하고 복호기가 계속하여 영상을 재생해낼 수 있도록 한다는 장점이 있지만, 일단 한 번 오류 은닉 과정을 거치고 나면, 동기 신호를 찾아내어 새로 복호를 시작한다고 하여도, 많은 경우 복호기의 상태(프레임 메모리의 내용 등)가 부호기 내에 포함된 가설(Virtual) 복호기의 상태와 일치하지 않기 때문에 그 내용이 일치할 때까지 오류는 계속하여 전파하게 된다는 문제점이 있다. 이는 부호화 과정에서 이러한 점들을 충분히 고려하지 못하기 때문에 발생하는 문제점이다.Here, the error concealment technique in the image decoder refers to a technique for localizing and minimizing the effect of the error on the image quality as soon as an error is detected in the received bit stream. Localizing / minimizing the effects of errors in the error concealment decoder has a large performance difference depending on the content of the bit stream. The error concealment technique has the advantage that the decoder can continue to play the video even if an error occurs in the bit stream.However, once the error concealment process has been performed, even if it finds a synchronization signal and starts a new decoding. In many cases, since the state of the decoder (the content of the frame memory, etc.) does not match the state of the virtual decoder included in the encoder, the error continues to propagate until the contents match. This is a problem that occurs due to insufficient consideration of these points in the encoding process.
한편, 영상 부호기에서의 오류 내성을 갖는 비트 스트림 생성 기법이란, 오류 은닉 복호기가 오류 은닉을 하는 과정에서 오류의 영향이 시공간적으로 전파되어가는 것을 최대한 빨리 차단해낼 수 있도록, 필요한 정보를 비트 스트림 중간중간에 적절한 방법으로 포함시켜서 비트 스트림을 구성하는 방법을 말한다.On the other hand, a bitstream generation technique having an error tolerance in a video encoder means that the error concealment decoder intercepts the necessary information in the middle of the bitstream so that the influence of the error can be prevented from propagating in time and space as soon as possible. It refers to a method of constructing a bit stream by including it in an appropriate manner.
구체적으로, 오류의 전파를 막는 기법으로서 MPEG-4에서 제안된 것으로는 재동기(Resynchronization) 기법, 데이터 파티셔닝(Data Partitioning) 기법, RVLC(Reversible VLC) 기법 등이 있다.Specifically, as a technique for preventing the propagation of an error, proposed in MPEG-4 includes a resynchronization technique, a data partitioning technique, a reversible VLC technique, and the like.
재동기(Resynchronization) 기법이란 비트 스트림 중에 에러가 혼입했을 경우, 다시 디코드를 개시할 수 있는 포인트를 이용하여 오류의 전파를 막는 기법을 지칭하는 것이다. MPEG-4에서는 비트 스트림 중에 재동기 마커(Resync_Marker)라 불리는 특별한 코드를 삽입하는 것으로써 실현된다. 이 재동기 마커는 비트 스트림 중에 에러가 혼입된 경우에만 발생될 뿐 다른 코드의 편성으로부터는 발생되지 않는다. 재동기 마커를 선두로 한 매크로 블록(MB)의 모임을 비디오 패킷이라고 부르는데, 이 비디오 패킷의 선두로부터 재차 디코딩을 할 수 있도록, 헤더 부분에는 디코드에 필요한 정보가 기술된다. 디코딩시, 비트 스트림에서 재동기 마커가 발견되면 다음 재동기 마커가 발견되기 이전까지의 구간은 하나의 패킷으로 간주되어 재차 디코딩이 되므로 에러가 혼입된 장소로부터 재동기 마커까지의 데이터는 버려지게 된다. 한편, 움직임 벡터들로 이루어진 움직임 벡터 데이터 영역(MVDP: Motion Vector Data Part)에는 이전 데이터를 기초로 예측된 움직임 벡터들만이 존재하기 때문에 움직임 벡터는 이전의 디코딩된 움직임 벡터가 있는 경우에만 사용이 가능하다. 따라서, 비트 스트림 중에서 움직임 벡터 데이터 영역(MVDP)에 오류가 발견되면 다음 패킷이 시작되는 재동기 마커를 발견할 때까지 해당 패킷 전체를 무시해야 하므로 정보의 손실이 많다는 문제점이 있다.The resynchronization technique refers to a technique for preventing the propagation of an error by using a point that can start decoding again when an error is mixed in the bit stream. In MPEG-4, this is achieved by inserting a special code called a Resync Marker (Resync_Marker) into the bit stream. This resynchronization marker is generated only when an error is mixed in the bit stream, but not from the combination of other codes. A group of macroblocks (MBs) leading the resynchronization marker is called a video packet, and information necessary for decoding is described in the header portion so that decoding can be performed again from the beginning of the video packet. During decoding, if a resynchronization marker is found in the bit stream, the interval until the next resynchronization marker is found is considered as one packet and is decoded again so that data from the place where the error is mixed to the resynchronization marker is discarded. . Meanwhile, since only motion vectors predicted based on previous data exist in a motion vector data part (MVDP) consisting of motion vectors, the motion vector can be used only when there is a previously decoded motion vector. Do. Therefore, if an error is found in the motion vector data region (MVDP) in the bit stream, there is a problem in that a large amount of information is lost because the entire packet must be ignored until a resynchronization marker at which the next packet starts is found.
데이터 파티셔닝 기법이란 비디오 패킷 내의 전 매크로 블록의 모션 데이터(Motion Data) 정보와 텍스처 데이터(Texture Data) 정보를 분리해 전송하는 것을 말한다. 이 기법을 쉽게 이해하기 위해 도 1에는 오류 허용 모드를 위한 코딩 방법에 의해 생성된 비디오 데이터 패킷의 일예를 나타내었다. 도 1에 도시한 바와 같이, 코딩 방법은 모션 데이터와 텍스처 데이터로 분리하여 코딩함을 알 수 있다. 만약 이러한 텍스처 데이터 정보가 에러에 의해 손실되었을 경우라도, 모션 데이터정보만이라도 살아있으면, 그 모션 데이터 정보로 어느 정도 정확한 재생을 기대할 수 있다. 또 통상은 모션 데이터 정보의 데이터양이 텍스처 데이터 정보에 비해 압도적으로 적기 때문에 에러가 발생할 확률은 낮다. 또한 모션 데이터 정보가 패킷 헤더의 바로 다음에 있으면 텍스처 데이터 정보에 에러가 발생한 경우 빠르게 재생이 가능하기에 에러로 인한 손실을 작게 하는 요인이 된다. 데이터 파티셔닝의 경우에는 모션 데이터 정보와 텍스처 데이터 정보 사이에 모션 마커(Motion Marker)로 불리는 특별한 코드가 삽입된다. 이것은 재동기 마커와 마찬가지로 모션 데이터 정보나 텍스처 데이터 정보에 에러가 혼입된 경우에만 발생될 뿐 다른 코드의 편성으로부터는 결코 발생되지 않는다. 이처럼 모션 마커도 재동기 마커와 같은 기능을 한다. 이 기법에 따르면, 통상 에러가 발생한 위치로부터 다음의 모션 마커 사이의데이터는 버려지기 때문에 정보의 손실이 많다는 문제점이 있다.The data partitioning technique refers to transmitting motion data and texture data information of all macro blocks in a video packet separately. In order to easily understand this technique, FIG. 1 shows an example of a video data packet generated by a coding method for an error-tolerant mode. As shown in FIG. 1, it can be seen that the coding method separates coding into motion data and texture data. Even if such texture data information is lost due to an error, if only the motion data information is alive, it can be expected to reproduce to some extent with the motion data information. In addition, since the data amount of motion data information is overwhelmingly small compared to the texture data information, the probability of an error occurring is low. Also, if the motion data information is immediately after the packet header, it can be quickly reproduced when an error occurs in the texture data information, thereby reducing the loss due to the error. In the case of data partitioning, a special code called a motion marker is inserted between the motion data information and the texture data information. As with the resynchronization markers, this occurs only when an error is mixed in the motion data information or the texture data information, but never from the combination of other codes. Likewise, motion markers function like resynchronization markers. According to this technique, there is a problem in that a large amount of information is lost because data between the position at which the error occurs and the next motion marker is discarded.
이러한 문제점을 보완하기 위하여 에러가 발생한 위치로부터 다음 재동기 마커 혹은 다음 모션 마커 사이의 데이터도 순간 복호 가능하도록 하는 것이 RVLC (Reversible VLC) 기법이다. 이것을 이용하면 다음의 재동기 마커 혹은 모션 마커로부터 역방향의 복호를 실시하는 것으로, 본래 버려져야 할 데이터를 어느 정도 회복하는 것이 가능해진다. 그러나 이 기법 또한 완벽한 회복은 불가능하므로 여전히 버려지는 데이터의 손실이 발생한다는 문제점이 있다.In order to compensate for this problem, RVLC (Reversible VLC) technique is to enable data decoding between the next resynchronization marker or the next motion marker from the position where an error occurs. By using this, reverse decoding from the next resynchronization marker or the motion marker makes it possible to recover data to be discarded to some extent. However, this technique is also impossible to recover completely, there is still a problem that the discarded data is lost.
전술한 문제점을 해결하기 위하여, 본 발명에서는 현재의 영상 프레임이 이전에 부호화된 프레임들과 연관성을 가지면서 부호화된다는 사실에 착안하여, 오류 확률을 기반으로 하여 프레임 내의 각 화소들의 위치에서 오류가 발생되었을 경우에 화질 열화에 미칠 수 있는 영향을 수치화하여 이용한다. 본 발명의 기본적인 목적은 인트라 리프레쉬(Intra Refresh)를 효율적으로 결정하는 데 있으며, 이는 위에서 설명한 바와 같이 화질 열화에 미치는 잡음값의 영향을 고려한다. 본 발명의 궁극적인 목적은 잡음값의 영향을 이용하여 효율적인 모드 결정을 하는 방법을 제안하는 데 있다.In order to solve the above problem, in the present invention, in view of the fact that the current image frame is encoded in association with the previously encoded frames, an error occurs at the position of each pixel in the frame based on the error probability. In this case, the influence on the image quality deterioration can be quantified and used. The basic object of the present invention is to efficiently determine intra refresh, which takes into account the influence of noise values on image quality deterioration as described above. The ultimate object of the present invention is to propose a method for efficient mode determination using the influence of noise value.
도 1은 종래기술의 비디오 코딩 장치에서 생성된 비디오 데이터 패킷의 일예를 도시한 도면,1 is a diagram illustrating an example of a video data packet generated by a conventional video coding apparatus;
도 2는 비트 스트림 전송 오류가 있는 경우에 동영상 부호기, 복호기의 동작 모델을 간략하게 나타낸 블록도,2 is a block diagram briefly illustrating an operation model of a video encoder and a decoder in the case of a bitstream transmission error;
도 3은 본 발명의 바람직한 실시예에 따른 최적화된 부호 모드 결정 과정을 나타낸 순서도이다.3 is a flowchart illustrating an optimized code mode determination process according to a preferred embodiment of the present invention.
상기한 목적을 달성하기 위해 본 발명은, 영상 압축 시스템의 전송 오류 감소를 위한 비디오 부호기에서의 압축 모드 선택 방법에 있어서, (a) 인트라 모드에서의 인트라 비용 함수값을 계산하는 단계; (b) 인터 모드에서의 인터 비용 함수값을 계산하는 단계; (c) 상기 인트라 비용 함수값과 상기 인터 비용 함수값을 비교하는 단계; (d) 상기 단계 (c)에서의 비교 결과 인트라 비용 함수값이 인터 비용 함수값보다 크면 인터 모드로 결정하는 단계; 및 (e) 상기 단계 (c)에서의 비교 결과 상기 인트라 비용 함수값이 상기 인터 비용 함수값보다 작거나 같으면 인트라 모드로 결정하는 단계를 포함하는 것은 특징으로 하는 영상 압축 시스템에서 전송 오류 감소를 위한 비디오 부호기에서의 압축 모드 선택 방법을 제공하는 것을 특징으로 한다.In order to achieve the above object, the present invention provides a method of selecting a compression mode in a video encoder for reducing transmission error of a video compression system, the method comprising: (a) calculating an intra cost function value in an intra mode; (b) calculating an inter cost function value in the inter mode; (c) comparing the intra cost function value with the inter cost function value; (d) determining the inter mode if the intra cost function value is greater than the inter cost function value as a result of the comparison in step (c); And (e) determining the intra mode if the intra cost function is less than or equal to the inter cost function as a result of the comparison in step (c). A method of selecting a compression mode in a video encoder is provided.
또한, 본 발명의 다른 목적에 의하면, 움직임 보상 부호화를 위해 부호기 내에서 복호화를 함으로써 재구성되는 프레임을 이용하여, 영상 압축 시스템에서 전송 오류 감소를 위해 비디오 부호기에 압축 모드를 선택하는 프로세서를 구비한 영상 압축 장치에 있어서, 인트라 모드의 비용 함수값을 계산하는 인트라 모드 계산부; 인터 모드의 비용 함수값을 계산하는 인터 모드 계산부; 인트라 모드 계산부에서의 결과값과 인터 모드 계산부에서의 결과값을 비교하는 비교부; 및 상기 인트라 모드 계산부에서의 결과값이 더 크면 상기 인터 모드로 결정하고, 상기 인트라 모드 계산부에서의 결과값이 더 작거나 같으면 상기 인트라 모드로 결정하는 결정부를 포함하는 것을 특징으로 하는 비디오 부호기에 압축 모드를 선택하는 프로세서를 구비한 영상 압축 장치를 제공하는 것을 특징으로 한다.In addition, according to another object of the present invention, by using a frame reconstructed by decoding in the encoder for motion compensation encoding, an image having a processor for selecting a compression mode to the video encoder to reduce transmission errors in the image compression system A compression apparatus, comprising: an intra mode calculator for calculating a cost function value of an intra mode; An inter mode calculator for calculating a cost function value of the inter mode; A comparison unit for comparing the result value in the intra mode calculator and the result value in the inter mode calculator; And a determination unit configured to determine the inter mode when the result value in the intra mode calculation unit is larger, and determine the intra mode when the result value in the intra mode calculation unit is smaller than or equal to the video encoder. And an image compression device having a processor for selecting a compression mode.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are designated as much as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.
도 2는 비트 스트림 전송 오류가 있는 경우에 동영상 부호기, 복호기의 동작 모델을 간략하게 나타낸 블록도이다.2 is a block diagram briefly illustrating an operation model of a video encoder and a decoder in the case of a bitstream transmission error.
전송 오류가 발생하는 채널을 가정할 경우, 부호기(200)와 복호기(210)의 동작을 도 2와 같이 모형화할 수 있다. 현재 채택되어 있는 국제 동영상 압축 표준은 모두 프레임 단위로 부호화하는 구조를 채택하고 있는데 기본적인 구조는 도 2와 같이 나타낼 수 있는 것이다. 인트라 모드에서, 매크로 블럭은 일반적으로 변환과 양자화 및 가변장 부호화 과정을 거쳐 부호화되며, 이 경우에 움직임 추정 및 보상은 필요없다. 반면에, 인터 모드는 현재 블럭에 대하여 움직임 추정이 이루어지며, 현재 블럭에 대한 예측된 블럭과의 변위로서 움직임 벡터를 구한다.Assuming a channel in which a transmission error occurs, the operations of the encoder 200 and the decoder 210 can be modeled as shown in FIG. 2. All currently adopted international video compression standards adopt a structure of encoding in units of frames, but the basic structure can be represented as shown in FIG. In intra mode, macroblocks are generally encoded through transform, quantization, and variable length encoding, in which case motion estimation and compensation are not needed. On the other hand, in the inter mode, motion estimation is performed on the current block, and the motion vector is obtained as the displacement of the predicted block with respect to the current block.
전송 오류가 발생하는 채널을 가정하는 경우와 전송 오류가 없는 채널을 가정하는 경우를 비교해 볼 때 가장 큰 차이점은 전자는 오류 은닉 능력이 있는 복호기를 사용한다는 점이다. 오류 은닉 능력이 있는 복호기를 사용하기 때문에 전송되는 비트 스트림의 일부분이 손실되거나 변형된다 하여도 복호기는 영상을 충실히 재생할 것이라고 가정할 수 있다. 도 2에서 보는 바와 같이 부호기(200)와 복호기(210)간에 전송 채널에서 오류가 존재할 경우에는과이 서로 다른 값을 가지게 되며, 그에 따라 부호기(200)와 복호기(210)간에 서로 다른 레퍼런스 프레임(Reference Frame)을 가지게 된다. 이는 동일하지 않은 레퍼런스 프레임을 참조함에 따라서 부호기(200)와 복호기(210)간에 서로 다른 영상을 인식하게 되는 결과를 가지고 오며, 이는 궁극적으로 화질의 열화로 이어지게 된다. 이러한 화질의 열화는 다음과 같은 수식으로 정량화할 수 있다.The main difference between assuming a channel with a transmission error and a channel without a transmission error is that the former uses a decoder with error concealment capability. Because a decoder with error concealment capability is used, it can be assumed that even if a part of the transmitted bit stream is lost or modified, the decoder will faithfully reproduce the image. As shown in FIG. 2, if an error exists in the transmission channel between the encoder 200 and the decoder 210. and This will have a different value, and thus will have different reference frames between the encoder 200 and the decoder 210. This results in the recognition of different images between the encoder 200 and the decoder 210 by referring to non-identical reference frames, which ultimately leads to deterioration of image quality. Such deterioration of image quality can be quantified by the following equation.
먼저, 부호기(200)에서 움직임 보상 부호화를 위해서 재구성하여 n번째로 복호화된 프레임은 수학식 1과 같이 표현할 수 있고 그것이 다음 프레임의 기준 영상으로 사용된다.First, the n-th decoded frame reconstructed for the motion compensation encoding by the encoder 200 may be expressed as Equation 1, which is used as a reference image of the next frame.
여기서는 추정된 움직임 벡터를,과는 각각 INTER 모드와 INTRA 모드로 부호화하는 과정에서 발생하는 양자화 잡음을,는 움직임 보상 부호화를 위해서 재구성하여 n번째로 복호화된 프레임을,은 n번째 입력 프레임을,는 움직임 보상 부호화를 위해서 재구성하여 n번째로 복호화된 프레임을 나타낸다.here Is the estimated motion vector, and The quantization noise generated in the encoding process in the INTER mode and INTRA mode, respectively, Reconstructs the nth decoded frame for motion compensation encoding, Is the nth input frame, Denotes the nth decoded frame after reconstruction for motion compensation encoding.
복호기(210)에서의 복호 과정은 기본적으로 부호 과정의 역과정이다. 이 역과정이 정상적으로 이루어진 경우라면 수학식 2에서 보는 바와 같이 복호기(210)에서 n번째 출력 프레임을 부호기에서의 움직임 보상 부호화를 위해서 재구성하여 n번째로 복호화된 프레임과 동일한 프레임으로 인식하게 된다.The decoding process in the decoder 210 is basically an inverse process of the coding process. If the reverse process is normally performed, as shown in Equation 2, the decoder 210 reconstructs the nth output frame for motion compensation encoding in the encoder and recognizes the same frame as the nth decoded frame.
여기서은 복호기(210)에서의 n번째 출력 프레임을,은 복호기(210)에서 n-1번째 출력 프레임을 나타낸다.here Is the nth output frame in decoder 210, Denotes the n-1 th output frame in the decoder 210.
그러나 만일 전송 오류가 검출되었다면 복호기(210)는 전술한 가정에 따라 오류 은닉 모드로 전환되어져야 할 것이다. 즉 복호기(210)에서는 다음 수학식 3과 같이 이전 프레임의 정보를 오류로 인해서 손상된 부분의 정보 대신 대치하여 오류 극복을 시도하는 것이 가장 일반적이다.However, if a transmission error is detected, the decoder 210 will have to switch to the error concealment mode according to the above assumptions. That is, in the decoder 210, it is most common to attempt to overcome an error by replacing information of a previous frame instead of information of a part damaged due to an error as shown in Equation 3 below.
복호기(210)가 일단 오류 은닉 모드를 경험하게 되면, 그 재생된 영상(화소)에 왜곡이 발생할 뿐만 아니라, 오류 은닉 모드에서 재생된 영상이 다음 프레임의 인터 모드 매크로 블록의 예측에 이용됨으로 인하여 왜곡은 프레임을 넘어 전파하게 된다. 이 왜곡은 전적으로 부호기(200)와 복호기(210)의 움직임 보상에 이용될 기준 영상들, 즉와의 차이에 의해서 발생하는 것이며, 이전의 전송 오류들에 의해서 발생한다. 그 차이는 수학식 4와 같이 표현할 수 있으며, 이를 드리프트 잡음(Drift Noise)이라고 정의한다.Once the decoder 210 experiences the error concealment mode, not only distortion occurs in the reproduced image (pixel), but also distortion due to the image reproduced in the error concealment mode being used for prediction of the inter mode macroblock of the next frame. Propagates beyond the frame. This distortion is based solely on reference images to be used for motion compensation of the encoder 200 and decoder 210, i.e. Wow It is caused by the difference of and is caused by previous transmission errors. The difference may be expressed as in Equation 4, which is defined as drift noise.
만일 양자화 잡음과 드리프트 잡음이 서로 비상관적이라고 가정한다면, 복호 영상과 원영상의 차이, 즉 n 번째로 부호화된 영상의 전체 잡음은 수학식 5와 같이 표현될 수 있다.If the quantization noise and the drift noise are assumed to be uncorrelated, the difference between the decoded image and the original image, that is, the total noise of the nth coded image May be expressed as shown in Equation 5.
여기서와는 각각 양자화 잡음과 드리프트 잡음을 나타낸다. 즉, 수학식 6과 같이 표현할 수 있다.here Wow Denote quantization noise and drift noise, respectively. That is, it may be expressed as in Equation 6.
이 때 양자화 잡음은 압축시에 생기는 잡음이며, 드리프트 잡음은 앞에서 언급한 바와 같이 오류로 인해서 생기는 잡음을 뜻한다. 그리고 오류 은닉은 전송 오류가 발생한 경우에 복호기(210)가 행하는 신호처리 과정이므로, 새로운 드리프트 잡음이 발생할 확률은 해당 패킷의 손실 확률과 같다. 또 이때 발생하는 드리프트 잡음의 강도는 영상의 시공간적 활동성에 비례하고, 오류 은닉 기법의 종류에 따라서 차이를 보이게 된다. 또한 드리프트 잡음은 현재 부호화되고 있는 화소가 참조하는 레퍼런스 프레임의 잡음을 계승하게 되기 때문에, 레퍼런스 프레임이 가지고 있는 드리프트 잡음의 영향을 받게 된다. 따라서 레퍼런스 프레임의 참조 화소들에 오류가 존재할 경우 이는 인트라 리프레시가 발생할 때까지 계속해서 영향을 미치며 화질 열화의 주요한 요인이 되게 된다. 이를 방지하기 위해서, n번째 프레임을 부호화할 때 각 모드별로 드리프트 잡음이 어떻게 변화될 것인지를 수치화하여 해당 매크로 블록의 부호 모드를 결정할 수 있다.In this case, quantization noise refers to noise generated during compression, and drift noise refers to noise caused by errors as mentioned above. In addition, since error concealment is a signal processing process performed by the decoder 210 when a transmission error occurs, a probability that a new drift noise occurs is equal to a loss probability of a corresponding packet. In addition, the intensity of the drift noise generated at this time is proportional to the spatiotemporal activity of the image, and shows a difference according to the type of error concealment technique. In addition, since the drift noise inherits the noise of the reference frame referenced by the pixel currently being encoded, the drift noise is affected by the drift noise of the reference frame. Therefore, if there is an error in the reference pixels of the reference frame, this will continue to affect until an intra refresh occurs and become a major factor of deterioration of image quality. In order to prevent this, when the n-th frame is encoded, the code mode of the corresponding macroblock may be determined by quantifying how the drift noise will change for each mode.
먼저 인터 모드 블록 정보가 정상적으로 전달되는 경우, 복호기(210)는 정상 조건에서 인터 모드 복호를 진행할 것이다. 이 때 재생 영상에 포함되는 드리프트 잡음은 수학식 1과 수학식 2로부터 수학식 7과 같이 표현할 수 있다.First, when the inter mode block information is normally transmitted, the decoder 210 will proceed with inter mode decoding in a normal condition. In this case, the drift noise included in the reproduced video may be expressed as in Equation 1 through Equation 2 through Equation 7.
즉 움직임 벡터만큼 보상된 이전 프레임의 드리프트 잡음을 계승한다.Motion vector Inherit the drift noise of the previous frame compensated by.
다음에는 인트라 모드 블록 정보가 정상 조건에서 복호된다면 재생 영상에 포함될 드리프트 잡음은 수학식 1과 수학식 2로부터 또 수학식 8과 같이 표현할 수 있다.Next, if the intra mode block information is decoded under a normal condition, the drift noise to be included in the reproduced video may be expressed from Equation 1 and Equation 2 as shown in Equation 8.
한편 인터 모드인지 인트라 모드인지 여부에 상관없이 현재 블록 정보가 손실되어 오류 은닉 기법에 의해서 현 영상이 재생된다면, 재생 영상에 포함되는 드리프트 잡음의 영향은 수학식 1과 수학식 3으로부터 수학식 9와 같이 표현된다.On the other hand, if the current block information is lost regardless of whether it is inter mode or intra mode and the current video is reproduced by the error concealment technique, the influence of the drift noise included in the reproduced video is expressed by the following equations (9) and (9). It is expressed as
즉, 이전 프레임의 드리프트 잡음에 새로운 드리프트 잡음이 합쳐져서 현 프레임의 드리프트 잡음으로 나타난다.That is, the new drift noise is added to the drift noise of the previous frame to appear as the drift noise of the current frame.
각 경우의 발생 확률을 이용하여 현 프레임의 드리프트 잡음의 기대값을 수치화해보면, 패킷 손실 확률이일 때, 수학식 7과 수학식 9로부터 인터 모드 블록에서의 드리프트 잡음의 기대치는 기본적으로 수학식 10과 같이 수치화하여 이용할 수 있다.Using the probability of occurrence in each case to quantify the expected value of the drift noise of the current frame, the probability of packet loss is In this case, the expected values of the drift noise in the inter mode block from the equations (7) and (9) can be used numerically as in equation (10).
또 수학식 8과 수학식 9로부터 인트라 모드 블록에서의 새로운 드리프트 잡음의 기대치는 기본적으로 수학식 11과 같이 수치화하여 이용할 수 있다.In addition, the expected value of the new drift noise in the intra mode block can be basically numerically used as in Equation 11 from Equation 8 and Equation 9.
수학식 10과 수학식 11이 드리프트 잡음 전파 모델의 기본이다.Equations 10 and 11 are the basis of the drift noise propagation model.
한편 전술한 드리프트 잡음 전파 모델은 패킷 손실이 잘 분산되어 발생하는 경우에는 대체적으로 실제 상황과 잘 일치하지만, 화면의 전환이 일어난 다음 계속하여 정지 화면이 유지되는 영상의 경우 화면 전환이 일어나는 프레임에서 전송 오류가 발생하게 되면 그 오류는 오랜 동안 계속하여 전파되어가는 약점이 있다. 그이유는 다음과 같다. 수학식 11에서 계산된 드리프트 잡음이 프레임을 진행해 감에 따라 수학식 10으로 갱신되어 가는데, 모드 선택이 대상이 되는 화소가 정지 화면에 속하므로 움직임 벡터와 복원된 프레임의 차이 신호는 모두 0이 되고, 따라서 드리프트 잡음은 증가하지 않고 계속 같은 값이 반복하여 사용될 것이다. 일단 최초의 값이 해당 블록의 부호화 모드를 인트라로 하지 못하는 한 그 이후에는 정지 화면이 계속되는 한 계속하여 인터 모드(정확히는 움직임 벡터가 없는 인터 모드)로 부호화될 것이다. 따라서 추정된 드리프트 잡음은 실제 드리프트 오차를 제대로 모형화하지 못하는 결과를 낳게 된다. 물론 그 확률은 매우 낮지만 이런 일이 실제로 발생하게 되는 경우에는 재생 영상의 화질은 다른 경우에 비해서 현저히 떨어짐을 확인할 수 있다. 이 문제를 해결하기 위해서 본 발명에서는 오류의 최대 지속 시간을 제한하는 기능과 영상의 복잡도가 드리프트 잡음에 미치는 영향을 줄이는 등의 기능을 추가함으로써 복호 영상의 주관적 화질을 보다 향상시키기 위해서 드리프트 잡음을 구하기 위한 위 기본형을 개선할 수 있다.On the other hand, the drift noise propagation model described above generally matches well with the actual situation when the packet loss is well-dispersed, but is transmitted in the frame where the screen transition occurs in the case of the image which is still maintained after the screen transition occurs. When an error occurs, the error has a weakness that continues to propagate for a long time. The reason for this is as follows. The drift noise calculated in Equation 11 is updated to Equation 10 as the frame progresses. Since the pixel selected as the mode belongs to the still picture, the difference signal between the motion vector and the reconstructed frame becomes zero. Therefore, the drift noise will not increase and the same value will be used repeatedly. Once the first value does not make the coding mode of the block intra, after that, it will continue to be encoded in inter mode (inter mode without exact motion vector) as long as the still picture continues. Thus, the estimated drift noise will result in poor modeling of the actual drift error. Of course, the probability is very low, but when this actually happens, it can be seen that the image quality of the playback video is significantly lower than other cases. In order to solve this problem, the present invention obtains the drift noise to further improve the subjective image quality of the decoded image by adding a function of limiting the maximum duration of the error and reducing the effect of the complexity of the image on the drift noise. Can improve the basic form.
전술한 오류의 최대 지속 시간을 제한하는 기능을 제공하기 위하여 인위적으로 시간이 지남에 따라 드리프트 잡음값이 커지도록 설정해야 하므로, 이에 가장 알맞은 모델은 지수 함수이다. 연속하여 인터 모드로 부호화된 위치의 화소에 대해서는 드리프트 잡음을 갱신할 때 이전 프레임의 드리프트 잡음을 지수 함수적으로 키운 다음에 갱신에 이용하고, 비록 새롭게 추정된 개별 화소의 오류 전력이 적어도 (정지화면과 같이) 이를 상대적으로 큰 비용으로 강조함으로써 인터 모드가 반복되는 것을 방지한다. 이로써 시간이 지남에 따라 인트라 리프레시가 될 확률을높여가게 되어 오류의 최대지속시간을 제한할 수 있다. 이 효과를 거두기 위해 인터 모드에서의 드리프트 잡음값의 갱신 방법은 수학식 12와 같다.In order to provide the function of limiting the maximum duration of the aforementioned error, the drift noise value must be set artificially over time, so the most suitable model is an exponential function. For the pixels of the position encoded in the inter mode continuously, when the drift noise is updated, the drift noise of the previous frame is exponentially increased, and then used for the update, although the error power of the newly estimated individual pixel is at least (still picture). This is emphasized at a relatively high cost to avoid repeating the inter mode. This increases the probability of intra refresh over time, limiting the maximum duration of error. In order to achieve this effect, the method of updating the drift noise value in the inter mode is expressed by Equation 12.
여기서은 모드 선택의 대상이 되는 화소가 여러 프레임에 결쳐서 연속하여 인터 모드로 부호화할 때의 연속된 프레임의 수를,는 양자화 계급 간격을 나타낸다.here Is the number of consecutive frames when the pixels to be selected in the mode are encoded in the inter mode in succession after multiple frames, Represents the quantization class interval.
연속하여 인터 모드로 부호화되는 경우와는 반대로 연속하여 인트라 모드로 부호화되는 경우에는 과도히 강조된 드리프트 잡음을 지수 함수적으로 감소시킴으로써 인트라 모드로 반복하여 부호화되지 않도록 하면, 부호화 효율이 개선된다. 이 효과를 거두기 위해 인트라 모드에서의 드리프트 잡음값의 갱신 방법은 수학식 13과 같다.In contrast to the case of continuous inter-mode encoding, the encoding efficiency is improved by avoiding repeated encoding in intra mode by exponentially reducing excessively emphasized drift noise. In order to achieve this effect, the update method of the drift noise value in the intra mode is expressed by Equation 13.
여기서는 모드 선택의 대상이 되는 화소가 여러 프레임에 걸쳐서 연속하여 인트라 모드로 부호화될 때의 연속된 프레임의 수를 나타낸다.here Denotes the number of consecutive frames when the pixel to be subjected to the mode selection is encoded in the intra mode continuously over several frames.
수학식 12 및 수학식 13에 포함된은 영상의 복잡도가 드리프트 잡음에 미치는 영향을 줄여주는 기능을 제공한다. 대부분의 영상 시퀀스의 경우에는 앞의 지수 함수를 통해서 오류의 최대 지속 시간을 제한해낼 수 있다. 그러나 움직임이 거의 없는, 특히 단순하면서 움직임이 없는 영상에서는 그것만으로는 오류 최대 지속 시간의 효과적인 제한이 어렵다. 이것은 새롭게 추가되는 드리프트 잡음의 값이 너무 작아서 그것을 지수 함수적으로 강조한다고 하여도 모드 결정에 크게 영향을 미치지 않기 때문이다. 새로운 채널 오류에 의해서 추가되는 드리프트 잡음에 양자화 잡음만큼의 잡음을 더해줌으로써 이 문제를 해결할 수 있다.Equation 12 and Equation 13 included in Provides the ability to reduce the effect of image complexity on drift noise. For most image sequences, the previous exponential function can limit the maximum duration of the error. However, it is difficult to effectively limit the maximum error duration by itself, especially for simple, motionless images with little motion. This is because the value of the newly added drift noise is so small that even exponentially emphasizing it does not significantly affect the mode decision. This problem can be solved by adding quantization noise to the drift noise added by the new channel error.
도 3은 본 발명의 바람직한 실시예에 따른 최적화된 부호 모드 결정 과정을 나타낸 순서도이다.3 is a flowchart illustrating an optimized code mode determination process according to a preferred embodiment of the present invention.
수학식 12 및 수학식 13 에서 주어진 규칙에 의하여 n번째 프레임에서 각 화소의 드리프트 값을 수치화할 수 있다. 부호기에서는 주어진 드리프트 잡음값과 양자화 잡음값 및 해당 매크로 블록을 부호화하는 데 필요한 비트 수를 조화하여, 해당 매크로 블록의 부호 모드를 인터 모드 혹은 인트라 모드로 부호화 할지 여부를 결정할 수 있다.According to the rules given in Equations 12 and 13, the drift value of each pixel may be digitized in the nth frame. The encoder can determine whether to encode the code mode of the macro block in inter mode or intra mode by matching a given drift noise value, a quantization noise value, and the number of bits required to encode the macro block.
예를 들어, 최적 모드는 수학식 14와 같이 정의되는 비용 함수인 Cost 함수의 값을 계산하여 그 값이 가장 작게 되는 모드로 결정하여 부호화할 수 있게 된다.For example, the optimal mode can be encoded by calculating a value of the Cost function, which is a cost function defined as in Equation 14, and determining the mode in which the value is the smallest.
여기서 R은 부호화에 필요한 비트 수를 나타내고, Lagrangian multiplier은 영상을 실제로 부호화하기에 앞서 그 부호화 파라미터 (양자화 계급 등)에 따라서 미리 정해져야 하는 상수이다.Where R represents the number of bits needed for encoding, and Lagrangian multiplier Is a constant that must be determined in advance according to an encoding parameter (quantization class, etc.) before the image is actually encoded.
인터 모드 혹은 인트라 모드는 모두 같은 값의 R값과값을 가지므로 각 모드에서의 비용 함수값을 계산하여 서로 비교하는 과정을 통해 최적 모드를 결정하는 본 알고리즘에서는 R값과값은 특별히 고려하지 않기로 한다. 본 발명에서는 비용 함수에서 사용되는의 값을 수치화하였는데 이 값만을 고려하여 최적화 모드를 결정한다.In inter mode or intra mode, both R value and Since the algorithm has a value, the cost function in each mode is calculated and compared to each other to determine the optimal mode. The value is not specifically considered. In the present invention, used in the cost function We digitized the value of and consider only this value to determine the optimization mode.
도 3의 순서도를 참조하여 최적화 모드 결정 과정을 설명한다. 먼저, 인트라 모드에서의 비용함수 Cost_intra 값을 계산한다(S300). 이 때,의 값은 수학식 13 에서 구할 수 있다. 다음으로는 인터 모드에서의 비용함수 Cost_inter 값을 계산한다(S302). 이 때,의 값은 수학식 12에서 구할 수 있다. 이제 구해진 Cost_intra 값과 Cost_inter 값을 비교(S304)하여 최적 모드를 결정한다. 비용함수 Cost 함수의 값이 최소인 경우가 최적화된 부호 모드이므로 Cost_intra 값이 Cost_inter 값보다 크면 인터 모드로 결정(S306)하여 부호화하고 Cost_intra 값이Cost_inter 값보다 작거나 같으면 인트라 모드로 결정(S308)하여 부호화한다. 이로써 비디오 부호기에서 전송 오류 환경을 극복하기 위한 최적화 모드가 결정되는 것이다.An optimization mode determination process will be described with reference to the flowchart of FIG. 3. First, a cost function Cost_intra value in the intra mode is calculated (S300). At this time, The value of can be obtained from Equation 13. Next, the cost function Cost_inter value in the inter mode is calculated (S302). At this time, The value of can be obtained from Equation 12. Now, the optimal mode is determined by comparing the obtained cost_intra value with the cost_inter value (S304). Cost function Since the case where the value of the Cost function is the minimum is the optimized sign mode, if the Cost_intra value is greater than the Cost_inter value, the code is determined by the inter mode (S306). If the Cost_intra value is less than or equal to the Cost_inter value, the intra mode is determined (S308). Encode This determines the optimization mode to overcome the transmission error environment in the video encoder.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 사상과 범위가 한정되는 것은 아니다. 본 발명의 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the present invention, and those skilled in the art to which the present invention pertains may various modifications without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed herein are not intended to limit the present invention but to describe the present invention, and the spirit and scope of the present invention are not limited by these embodiments. It is intended that the scope of the invention be interpreted by the following claims, and that all descriptions within the scope equivalent thereto shall be construed as being included in the scope of the present invention.
앞에서 설명하였듯이, 종래 오류 내성 방법들은 오류를 은닉하여 오류가 계속하여 전파하게 된다는 문제점, 오류 은닉 외의 경우에도 특정 마커를 사용하는 경우 정보의 손실이 많다는 문제점 등이 있는데, 본 발명에서는 부호화 과정에서부터 전송 오류 문제를 극복하기 위한 특별한 고려, 즉 오류 확률을 기반으로 하여 프레임 내의 각 화소들의 위치에서 오류가 발생되어 화질 열화에 미칠 수 있는 영향을 수치화함으로써 효율적인 모드 결정을 할 수 있다는 장점이 있다.As described above, conventional error-tolerance methods have a problem that errors are continuously propagated by concealing an error, and there is a problem that there is a lot of loss of information when using a specific marker even in the case of error concealment. A special consideration for overcoming an error problem, that is, an efficient mode decision can be made by quantifying the effect that an error occurs at the position of each pixel in a frame on the basis of an error probability, thereby affecting image quality deterioration.
따라서 동영상 압축 기법이 사용되는 디지털 영상 부호기에서 무선 환경 등과 같이 전송 환경에서 오류가 있는 경우에, 오류의 전파를 효율적으로 방지하는 기법을 제안함으로써, 주문형 비디오 방송(VOD), 이동 방송 시스템 및 동영상 전화등을 포함하는 동영상 전송 시스템에서의 성능의 향상에 기여할 수 있다.Therefore, in case of errors in the transmission environment, such as wireless environment, in the digital video encoder using the video compression technique, a method for effectively preventing the propagation of errors is proposed. It can contribute to the improvement of the performance in the video transmission system, including.
Claims (22)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030015158A KR100546507B1 (en) | 2003-03-11 | 2003-03-11 | Method and Apparatus for Selecting Compression Modes To Reduce Transmission Error of Image Compression System for Use in Video Encoder |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030015158A KR100546507B1 (en) | 2003-03-11 | 2003-03-11 | Method and Apparatus for Selecting Compression Modes To Reduce Transmission Error of Image Compression System for Use in Video Encoder |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040080258A true KR20040080258A (en) | 2004-09-18 |
KR100546507B1 KR100546507B1 (en) | 2006-01-25 |
Family
ID=37364998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020030015158A KR100546507B1 (en) | 2003-03-11 | 2003-03-11 | Method and Apparatus for Selecting Compression Modes To Reduce Transmission Error of Image Compression System for Use in Video Encoder |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100546507B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7864859B2 (en) | 2005-02-02 | 2011-01-04 | Samsung Electronics Co., Ltd. | Method and circuit for coding mode determinations recognizing auto exposure control of input image |
-
2003
- 2003-03-11 KR KR1020030015158A patent/KR100546507B1/en not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7864859B2 (en) | 2005-02-02 | 2011-01-04 | Samsung Electronics Co., Ltd. | Method and circuit for coding mode determinations recognizing auto exposure control of input image |
Also Published As
Publication number | Publication date |
---|---|
KR100546507B1 (en) | 2006-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10506236B2 (en) | Video encoding and decoding with improved error resilience | |
US9064298B2 (en) | Segment-based encoding system using residue coding by basis function coefficients | |
US9414086B2 (en) | Partial frame utilization in video codecs | |
US9300956B2 (en) | Method and apparatus for redundant video encoding | |
US20060262845A1 (en) | Segment-based encoding system using segment hierarchies | |
US8416850B2 (en) | Image encoding method, device using the same, and computer program | |
US8428131B2 (en) | Video encoder and decoder using region based coding and decoding techniques with sequential refresh | |
US6888894B2 (en) | Segmenting encoding system with image segmentation performed at a decoder and encoding scheme for generating encoded data relying on decoder segmentation | |
US6907071B2 (en) | Selective prediction for intra-coding video data block | |
US7082166B2 (en) | Decoder for decoding segment-based encoding of video data using segmentation performed at a decoder | |
JP2007507128A (en) | Video picture encoding and decoding with delayed reference picture refresh | |
JPH10276440A (en) | Method and device for predictively encoding shape information of video signal | |
US7184482B2 (en) | Encoding system using motion vectors to represent frame-to-frame changes, wherein a decoder uses predictions of motion vectors in decoding | |
US7103103B2 (en) | Segmenting encoding system encoding video data using segment-by-segment kinetic data including change information in addition to translation information | |
JP2002027483A (en) | Picture coding system, picture decoding system, and storage media | |
KR100587274B1 (en) | method for concealing error in MPEG-2 decompression system | |
KR100546507B1 (en) | Method and Apparatus for Selecting Compression Modes To Reduce Transmission Error of Image Compression System for Use in Video Encoder | |
US7269221B2 (en) | Encoding system using motion vectors to represent frame-to-frame changes, including motion vector grouping for coding or processing | |
JP2010010917A (en) | Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, and dynamic image decoding method | |
KR100496098B1 (en) | Method and Apparatus for Determining Modes To Reduce Transmission Error for Use in Video Encoder | |
JP4133581B2 (en) | Telop synthesis device, telop synthesis method, and telop synthesis program | |
KR100522595B1 (en) | MPEG video decoding methods and MPEG video decoders | |
KR100856215B1 (en) | Method and apparatus for frame error concealment in video decoding | |
JPH10145793A (en) | Image coding device and method, and image decoding device and method | |
EP1387587A1 (en) | Image encoder and decoder with error concealment of motion vector losses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130103 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20131223 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20141218 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |