KR100584622B1

KR100584622B1 - 동영상 부호화 및 복호화 방법과 그 장치

Info

Publication number: KR100584622B1
Application number: KR1020050090685A
Authority: KR
Inventors: 송병철; 천강욱
Original assignee: 삼성전자주식회사
Priority date: 2005-09-28
Filing date: 2005-09-28
Publication date: 2006-05-30
Also published as: KR20050098823A

Abstract

본 발명은 개선된 동영상 부호화 방법에 관한 것으로서, 본 발명에 따른 복수개의 양자화 행렬을 사용하는 동영상 부호화 방법은 입력 영상의 특성에 기초하여 매크로블록 단위로 상기 복수개의 양자화 행렬 중 하나를 선택하는 단계와, 상기 입력 영상에 대해 영상 변환을 수행하는 단계와, 상기 영상 변환된 데이터에 대해, 상기 선택된 양자화 행렬을 사용하여 양자화를 수행하는 단계를 포함한다.

Description

동영상 부호화 및 복호화 방법과 그 장치{Method for encoding and decoding video and apparatus thereof}

도 1은 종래의 MPEG 부호화 및 복호화 장치를 도시하는 블록도

도 2는 평균이 0이 아닌 영상에 적용되는 근사화된 일반화 위너 필터를 도시하는 도면

도 3은 평균이 0이 아닌 영상에 대한 DCT 영역에서의 근사화된 일반화 위너 필터을 나타내는 도면

도 4(a)(b)(c)는 인트라 블록의 부호화에 적용되는 필터의 구성을 도시하는 도면

도 5는 인터 블록의 부호화에 적용되는 일반적인 비디오 부호화기를 도시하는 도면.

도 6은 본 발명의 일실시예에 따른 동영상 부호화기를 도시하는 도면

도 7은 본 발명의 일 실시예에 따른 동영상 부호화기를 도시하는 도면

도 8은 본 발명의 일 실시예에 따른 동영상 복호화기를 도시하는 도면

본 발명은 동영상 부호화 및 복호화 방법과 그 장치에 관한 것으로서, 특히 동영상 부호화기에 입력되는 영상의 특성에 기초하여, 양자화 행렬을 적응적으로 선택하여 동영상 부호화 효율을 향상시키기 위한 부호화 및 복호화 방법과 그 장치에 관한 것이다.

도 1은 일반적인 동영상 부호화를 위한 인코더(120) 및 디코더(140)를 도시하는 블록도이다.

VOD 서비스나 동영상 통신을 위해, 인코더(120)는 압축 기술에 의해 부호화된 비트 스트림을 생성하고, 디코더(140)는 입력된 비트 스트림으로부터 영상을 복원하는 기능을 수행한다.

먼저, DCT(Discrete Cosine Transform)부(110)는 공간적 상관성을 제거하기 위해 8 ×8 화소 블록 단위로 입력되는 영상 데이터에 대해 DCT 연산을 수행하고, 양자화부(Quantization: Q)(120)는 DCT부(110)에서 얻어진 DCT 계수에 대해 양자화를 수행하여, 몇 개의 대표 값으로 표현함으로써, 고효율 손실 압축을 수행한다.

역양자화부(Inverse Quantization: IQ)(130)는 양자화부(120)에서 양자화된 영상 데이터를 역양자화한다. IDCT부(140)는 역양자화부(130)에서 역양자화된 영상 데이터에 대해 IDCT(Inverse Discrete Cosine Transform) 변환을 수행한다. 프레임 메모리부(150)는 IDCT부(140)에서 IDCT 변환된된 영상 데이터를 프레임 단위로 저장한다.

움직임 추정 및 보상부(Motion Estimation and Compensation: ME/MC)(160)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리부(150)에 저장된 이전 프레 임의 영상 데이터를 이용하여 매크로 블록당 움직임 벡터(MV)와 블록정합오차(block matching error)에 해당하는 SAD(sum of absolute difference)를 추정한다.

가변 길이 부호화부(variable length coding: VLC)(170)는 움직임 추정부(160)에서 추정된 움직임 벡터(MV)에 따라 DCT 및 양자화 처리된 데이터에서 통계적 중복성을 제거한다.

인코더(120)에 의해 부호화된 비트 스트림은 가변 길이 복호화부(142), 역양자화부(144), IDCT부(146), 프레임 메모리부(148), 및 움직임 보상부(150)로 이루어진 디코더(140)에 의해 복호화 된다.

이러한, 동영상 부호화기는 미국특허공보 제6,480,539호에도 또한 개시되어 있다.

최근 아날로그 지상파 방송을 수신하여 이를 MPEG 2, MPEG 4와 같은 압축 방식을 이용해 부호화하여 저장하는 셋탑 박스 등이 선보이고 있다. 그러나, 지상파 방송의 경우, 수신단에서의 영상이 채널에 의해 노이즈로 왜곡되어 있는 경우가 많다. 예를 들어, 영상 전체에 화이트 가우시안(white gaussian) 노이즈가 더해져 있는 듯한 현상이 보이는 경우가 있다. 이러한 영상을 그대로 압축할 경우, 노이즈의 영향으로 압축 효율이 떨어지게 된다.

따라서, 종래의 동영상 부호화 방법에서는 노이즈를 제거하기 위해 인코더의 입력단에 전처리 필터를 적용하였다. 하지만, 전처리 필터를 사용하는 경우, 동영상 부호화를 위해 부가적인 연산 과정이 필요하게 된다는 문제점이 있었다.

또한, 종래의 동영상 부호화 방법에서는 입력 영상의 특성과 무관하게 결정 되는 양자화 행렬을 픽쳐(picture) 단위로 적용하여 양자화를 수행하였다. 하지만, 이러한 경우 동영상 부호화가 효율적으로 수행되지 못한다는 문제점이 있었다.

본 발명은 상기와 같은 종래의 동영상 부호화 및 복호화 방법을 개선하여, 동영상 압축 효율 및 성능이 향상된 동영상 부호화 및 복호화 방법과 그 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 상기와 같은 종래의 동영상 부호화 및 복호화 방법을 개선하여, 별도의 연산량의 증가 없이 노이즈를 제거하여 동영상 부호화 및 복호화를 수행하는 동영상 부호화 및 복호화 방법과 그 장치를 제공하는 것을 목적으로 한다.

상기 목적은 본 발명에 따른 복수개의 양자화 행렬을 사용하는 동영상 부호화 방법에 있어서, 입력 영상의 특성에 기초하여 매크로블록 단위로 상기 복수개의 양자화 행렬 중 하나를 선택하는 단계와, 상기 입력 영상에 대해 영상 변환을 수행하는 단계와, 상기 영상 변환된 데이터에 대해, 상기 선택된 양자화 행렬을 사용하여 양자화를 수행하는 단계를 포함하는 부호화 방법에 의해 달성된다.

또한, 상기 목적은 복수개의 양자화 행렬을 사용하는 동영상 복호화 방법에 있어서, 입력된 부호화된 영상 데이터를 가변 길이 복호화하는 단계와, 상기 가변 길이 복호화된 영상 데이터로부터 입력 영상의 특성과 연관하여 분류된 상기 복수개의 양자화 행렬 중 하나를 특정하는 인덱스 정보를 매크로블록 단위로 추출하는 단계와, 상기 추출된 인덱스 정보를 사용하여 상기 복수개의 양자화 행렬 중 하나를 선택하는 단계와, 상기 선택된 양자화 행렬을 사용하여, 상기 가변 길이 복호화된 영상 데이터에 대해 매크로블록 단위로 역양자화를 수행하는 단계를 포함하는 것을 특징으로 하는 복호화 방법에 의해서 달성된다.

또한, 상기 목적은 복수개의 양자화 행렬을 사용하는 동영상 부호화 장치에 있어서, 입력 영상의 특성에 기초하여 상기 복수개의 양자화 행렬 중 하나를 매크로블록 단위로 선택하고, 상기 선택된 양자화 행렬을 표시하는 인덱스 정보를 매크로블록 단위로 생성하는 양자화 행렬 결정부와, 영상의 특성과 연관하여 분류된 복수개의 양자화 행렬이 저장되고, 상기 양자화 행렬 결정부에서 생성된 인덱스 정보에 기초하여, 매크로블록 단위로 양자화 행렬을 출력하는 양자화 행렬 저장부와, 상기 입력 영상에 대해 영상 변환을 수행하는 영상 변환부와, 상기 영상 변환된 영상 데이터에 대해, 상기 양자화 행렬 저장부에서 출력된 양자화 행렬을 사용하여 해당 매크로블록에 대해 양자화를 수행하는 양자화부를 포함하는 부호화 장치에 의해서 달성된다.

또한, 상기 목적은 복수개의 양자화 행렬을 사용하는 동영상 복호화 장치에 있어서, 부호화된 영상 스트림을 입력받아, 이를 가변 길이 복호화하고, 입력 영상의 특성과 연관하여 분류된 상기 복수개의 양자화 행렬 중 하나를 특정하는 인덱스 정보를 매크로블록 단위로 추출하는 가변 길이 복호화부와, 상기 복수개의 양자화 행렬을 저장하고, 상기 가변 길이 복호화부에서 추출된 인덱스 정보를 사용하여 상기 저장된 복수개의 양자화 행렬 중 하나를 선택하여, 출력하는 양자화 행렬 저장 부와, 상기 양자화 행렬 저장부에서 출력된 양자화 행렬을 사용하여, 상기 가변 길이 복호화된 영상 데이터에 대해 매크로블록 단위로 역양자화를 수행하는 역양자화부를 포함하는 복호화 장치에 의해 달성된다.

이하에서는, 도 2 내지 도 5를 참조하여, 본 발명에 따른 동영상 부호화 방법에 사용되는 노이즈 제거 방식을 설명한다.

동영상 부호화에 있어서, 전처리 필터링은 영상에 섞여 있는 노이즈를 제거함으로써, 부호화 효율을 향상시킨다는 점에서 매우 중요하다. 노이즈 제거를 위한 종래의 전처리 필터링은 대부분 공간 화소 영역에서 이루어진 것과 달리, 본 발명에 따른 노이즈 제거 방식은 부호기내의 DCT 영역에서 이루어지는 것을 특징으로 한다.

본 발명에 사용되는 노이즈 제거 방식을 설명하기 위한 실시예에서는 이를 위해 근사화된 일반화 위너 필터링(approximated generalized Wiener filtering)을 사용한다. 여기에서, 근사화된 일반화 위너 필터링이란 DCT와 같은 고속 유니터리 변환(fast unitary transformation)을 사용함으로써, 근사적으로 위너 필터링을 구현할 수 있도록 하는 필터링 방법을 의미한다. 또한, 선택적으로 근사화된 위너 필터링 이외에, DCT 영역에서의 필터링을 위해 다른 필터링 기법을 사용하는 것도 가능하다.

도 2는 평균값이 0이 아닌 영상 데이터를 위한 근사화된 일반화 위너 필터링 블록도를 도시한다.

도 2에서 입력 v는 노이즈가 포함된 영상 블록을 의미하여, 출력

은 필터 링된 영상 블록의 행-정렬된 열 벡터(row-ordered column vector)를 의미한다. 입력 영상 v는 보통 0이 아닌 평균을 갖는 영상 블록이므로, 평균값 예측부(210)에서는 해당 블록의 평균값

을 예측하고, 감산부(220)에서는 입력 영상 v로부터 예측된 평균값

을 감산한다.

감산부(220)에서의 출력값 z는 필터링부(230)에 의해 필터링되고, 필터링부(230)는 필터링된 데이터

를 출력한다. 가산부(240)는 필터링된 데이터

에 평균값 계산부(210)에 의해 계산된 해당 블록의 평균값

를 가산하여 원하는 필터링된 데이터

를 출력한다.

이하에서는, 평균값이 0인 영상 모델에 대한 일반화 위너 필터링 방식을 설명한다.

평균값이 0인 영상 모델에 대한 일반화 위너 필터링은 아래 수학식 1과 같이 기술될 수 있다.

여기에서,

,

, Z=Az이고,

은 노이즈 분산값(noise variance)이다. 또한, A는 유니터리 변환을 의미하는데, 본 실시예에서는 DCT 변환을 사용하므로, 본 실시예의 경우에는 A는 DCT 변환을 의미한다. 또한,

가 8×8 DCT 행렬을 의미하고,

가 크로네크(kronecker) 곱 연산자를 의미한다고 할 때, A = (

)으로 표현할 수 있다.

이 대부분의 유니터리 변환에서 근사적으로 대각화(diagonal)되기 때문에, 수학식 1은 아래의 수학식 2로 표현될 수 있다.

여기에서,

이다.

따라서, 수학식 2를 8 ×8 블록에 적용시키면, 아래 수학식 3을 얻을 수 있다.

여기에서,

은 수학식 4와 같다.

이다.

은

의 대각선에 놓이는 정규화된 요소값들이며,

은 원 영상 y의 분산값을 의미한다. 하지만, 일반적으로

을 알 수 없으므로, z의 분산값에서 노이즈 분산값을 뺀 값을

으로 대체한다.

수학식 3을 보면, 평균이 0인 영상 블록에 대해, 근사화된 일반화 위너 필터 링은 2 차원 DCT 계수들에

을 곱함으로써 이루어짐을 알 수 있다. 일단,

이 결정되면, 최종 필터링된 영상은

에 평균값

을 더함으로써 얻어진다.

이하에서는, 평균값이 0이 아닌 영상 모델에 대한 일반화 위너 필터링 방식을 설명한다.

평균 블록이 노이즈가 섞인 입력 DCT 블록에 S(k,l)을 곱함으로써 얻어진다고 가정, 즉 수학식 5가 성립한다고 가정하는 경우, 도 3은 DCT 영역에서의 평균값의 더하기와 빼기를 포함한 구조로서 도 4와 같이 재구성될 수 있다.

위 가정에 따른 수학식 5와 수학식 3을 이용하면, DCT 영역에서의 필터링된 영상 블록은 다음 수학식 6과 같이 표현될 수 있다.

여기에서, F(k,l)은 다음 수학식 7과 같이 표현된다.

즉, 수학식 6으로부터 전체 필터링 과정이 F(k,l)과 하나의 곱연산으로 단일화됨을 알 수 있다. 수학식 7에서 F(k,l)은 신호대 노이즈비(signal to noise ratio: SNR), 공분산 행렬(covariance matrix), 및 평균 행렬에 의해 결정됨을 알 수 있다.

일단, 평균 행렬 S(k,l)을 구하는 것이 필요한데, 본 실시예에서는 수학식 5를 만족시키는 S(k,l)을 선택한다. 본 실시예에서는, 이중 가장 간단한 방법인, DCT 블록에서 다음 수학식 8에서와 같이 DC 값을 취한다.

이하에서는 도 4 및 도 5를 참조하여, 동영상 부호화기에서의 전처리 과정을 설명한다.

상기에서는 입력 영상의 평균이 0이 아닌 영상 블록에 대해서도 근사화된 일반화 위너 필터링이 DCT 계수에 대한 곱연산으로 수행될 수 있음을 설명하였다.

도 4에서는 근사화된 일반화 위너 필터링 방식이 동영상 부호화기에 적용된 것을 보여준다. 도 4는 인트라 블록(intra block)을 위한 부호화기 구조를 도시한다. 도 4(a) 및 4(b)는 인트라 블록의 경우, DCT 영역에서의 필터링 수행후, IDCT 과정을 수행할 필요없이 바로 양자화 및 VLC를 수행하면 된다는 것을 보여준다.

즉, DCT 계수들에 F(k,l)을 곱함으로써 필터링이 완료되는 것을 보여준다. 한편, 양자화 과정도 또한 DCT 계수들 각각을 양자화 테이블에 따라 특정값으로 곱해주는 (나누어주는) 작업이다. 따라서, F(k,l)을 DCT 계수 각각에 곱해주는 작업과 양자화 작업은 도 4(c)에서와 같이 하나의 작업으로 합쳐 질 수 있다.

도 4에 적용된 개념은 도 5에 도시된 바와 같이, 움직임 보상에 의한 예측 블록 정보 p(m,n)은 이미 노이즈가 제거되었다는 가정 아래, 인터 블록(inter block)들에 대해서도 동일하게 적용될 수 있다.

일반적으로 공분산(covariance) ψ(k,l)은 입력 영상 블록이 인터 블록인지 인트라 블록인지 여부에 따라 정해지므로, 수학식 7의 F(k,l) 또한 블록 모드에 따라 변경되어 적용된다.

이하에서는, 평균값이 감산된 인트라 및 인터 블록들에 대해 분산 예측값을 구하는 방법을 수학식 9를 참조하여 설명한다. S가 평균이 감산된 N ×N (N=8) 블록인 경우, 해당 블록의 분산 행렬은 수학식 9에 의해 구해질 수 있다.

상기 수학식 9는 1999년 6월에 반포된 IEEE Trans. Circ. Syst. for Video Technol.의 W. Niehsen 및 M Brunig에 의한 "Covariance analysis of motion-compensated frame differences"에 기재되어 있다.

한편, 수학식 9를 적용하여 여러 실험 영상들에 적용하여 분산 예측값을 구 할 수 있다. 인트라 블록의 경우, 원 영상을 8 ×8 블록으로 나누어 처리하고, 인터 블록의 경우에는 전역 탐색 방법을 사용하여, 인터 블록으로 선택된 블록들 만을 모아서 수학식 9를 적용하여 분산 예측값을 계산한다.

계산된 분산 예측값으로부터

을 구하고, 다시 R을 DCT 변환하여

가 얻어진다.

이하에서는, 수학식 7의

를 구하는 방법을 설명한다.

에서 노이즈 분산값

은 노이즈 예측기로부터 얻어질 수 있다. 또한, 노이즈와 원 영상 화소들은 랜덤 변수(random variable)이라고 가정할 때 통상 독립적인 것으로 간주되므로, 원 영상의 분산값

의 예측치

은 아래 수학식 10을 사용하여 예측된다.

여기에서,

은 매크로블록(macro block: MB)의 분산값으로서, 통상의 동영상 부호화기에서는

은 매크로블록 단위로 계산된다. 본 실시예에서는 동일 매크로블록에 포함된 8 ×8 블록들은 동일한 분산값을 갖는 것으로 가정한다. 따라서, 분산값 계산을 위해 별도의 연산량을 요구하지는 않는다.

도 6은 본 발명에 따른 입력 영상의 특성을 고려한 동영상 부호기의 일실시 예를 도시하는 도면이다.

본 실시예에서는 입력 영상의 특성 중 입력 영상에 포함된 노이즈 정도를 고려하여 양자화 행렬을 적응적으로 적용한다.

이하에서는, 도 1 및 도 6을 참조하여 본 발명의 일 실시예를 설명한다.

본 발명에 따른 노이즈 제거 방식을 채용한 동영상 부호기는 도 1의 일반적인 동영상 부호기에, 노이즈 예측부(noise estimation unit)(680) 및 양자화 가중치 행렬 결정부(692)와 양자화 가중치 행렬 저장부(694)를 포함한다.

DCT부(610), IDCT부(640), 프레임 메모리부(650), 및 움직임 예측 및 보상부(660)는 도 1의 일반적인 동영상 부호화기에서의 대응하는 기능부와 동일한 동작을 수행하므로, 설명의 간단을 위해 상세한 설명은 생략한다.

양자화 가중치 행렬 결정부(692)는 노이즈 예측부(680)로부터 전송된 노이즈 분산값

와 움직임 예측 및 보상부(660)로부터 전송된

에 기초하여, 해당 매크로블록에 대응하는 양자화 가중치 행렬을 결정하고, 이에 대응하는 인덱스 정보를 양자화 가중치 행렬 저장부(694) 및 가변 길이 부호화부(variable length coding unit: VLC)(670)로 전송한다.

이하에서는, 양자화 가중치 행렬 결정부(692)에서 노이즈 예측부(680)로부터 전송된 노이즈 분산값

와 움직임 예측 및 보상부(660)로부터 전송된

에 기초하여 각각의 매크로블록에 대응하는 양자화 가중치 행렬을 결정하는 과정을 설명한다.

수학식 8 및 상기 도 4 및 도 5와 관련된 설명에 따라, F(k,l)은 수학식 7에 의해 결정된다. F(k,l)이 결정되면, 도 4(c)에 도시된 바와 같이, 8 ×8 블록의 DCT 변환된 계수들 V(k,l)은 각각 해당 F(k,l)과 곱해지고, 그 결과인

은 양자화 과정에서 양자화 가중치 행렬에 의해 나누어진다.

본 발명에 따른 동영상 부호화 장치에서는 DCT 변환된 계수들 V(k,l)에 F(k,l)을 곱하고,

을 양자화 가중치 행렬로 나누는 과정을 하나의 과정으로 합쳐서 수행한다. 즉, 양자화 가중치 행렬(QT)의 (k,l) 위치 성분을 Q(k,l)이라고 하는 경우, 새로운 양자화 가중치 행렬(QT')의 (k,l)의 위치 성분은 Q(k,l)/F(k,l)이 된다.

본 실시예에서는, 상기 두가지 과정을 하나의 과정으로 합치는 방법을 이용하여,

와

에 따른 여러 개의 F 행렬들을 미리 계산하여, 이에 다른 새로운 양자화 가중치 행렬(QT')들을 계산하여 양자화 가중치 행렬 저장부(694)에 저장한다.

본 실시예에서는,

와

에 따른 5개의 새로운 양자화 가중치 행렬 (QT')이 양자화 가중치 행렬 저장부(694)에 저장된다.

와

이 결정되면, 수학식 10을 사용하여

을 구할 수 있다.

수학식 7을 참조하면, F(k,l)은 S(k,l), Ψ(k,l), 및

에 의해 결정되는데, S(k,l)은 수학식 8에 의해 결정되고, Ψ(k,l)은 입력 영상이 인터 블록인 지 인트라 블록인지 여부에 따라 결정되는 블록 모드에 따라 변경되어 적용된다. 따라서, F(k,l)을 결정하기 위한 유일한 변수는

이다. 본 실시예에서는,

을 5가지 경우로 분류하여, 다섯개의 새로운 양자화 가중치 행렬(QT')를 생성하여, 이를 양자화 가중치 행렬 저장부(694)에 저장한다.

양자화 가중치 행렬 결정부(692)는 노이즈 예측부(680)로부터 입력된 해당 매크로블록의

와 움직임 예측 및 보상부(660)로부터 입력된 해당 매크로블록의

에 기초하여

를 양자화한다. 이때, 양자화된 값은 해당 매크로블록에 대응하는 양자화 행렬의 인덱스 정보로서 양자화 가중치 행렬 저장부(692) 및 가변 길이 부호화부(670)로 전송된다.

예를 들어, 양자화 가중치 행렬 저장부(694)에 저장된 양자화 가중치 행렬이

에 기초해서 5가지 경우로 분류되는 경우, 상기 양자화는 5 단계로 양자화 되고, 인덱스도 0, 1, 2, 3, 4 중 하나의 값이 된다.

한편, 노이즈가 많은 영상, 즉 노이즈 분산값이 큰 영상에서 분산값이 작은 블록들의 경우

이 매우 커지게 된다.

이 매우 큰 값을 갖는 경우, 수학식 7 및 8로부터 알 수 있는 바와 같이, 대부분의 F(k,l)이 0에 가까운 수가 되어 블록화 현상이 심화되는 경향이 있다. 따라서, 이런 현상을 막아주기 위해 아래 수학식 11에서와 같이 T_Cutoff를 사용한다.

통상적으로, T_Cutoff는 1 ∼ 2 정도의 값을 사용한다.

양자화 가중치 행렬 저장부(694)는 양자화 가중치 행렬 결정부(692)로부터 입력된 인덱스 정보를 사용하여, 해당 양자화 가중치 행렬을 양자화부(620) 및 역양자화부(630)로 전송한다.

양자화부(620)는 입력된 해당 양자화 가중치 행렬을 사용하여 해당 매크로블록에 대해 양자화를 수행한다.

역양자화부(630)도 또한 입력된 해당 양자화 가중치 행렬을 사용하여 해당 매크로블록에 대해 역양자화를 수행한다.

가변 길이 부호화부(670)는 양자화부(620)에서 양자화된 입력 영상 데이터를 가변 길이 부호화하고, 또한 양자화 가중치 행렬 결정부(692)로부터 입력된 해당 매크로블록에 대응하는 양자화 가중치 행렬의 인덱스 정보를 매크로블록 헤더(macroblock header)에 삽입한다.

본 실시예에서는 해당 양자화 가중치 행렬의 인덱스를 매크로블록 헤더에 삽입하여 전송한다. 이 경우, 양자화 가중치 행렬 저장부(694)에 저장되는 행렬의 수가 10개 인 경우, 매크로블록 당 4 비트의 추가 정보량이 필요하다.

인접 매크로블록들은 입력 영상의 특성이 유사하여, 인덱스 값들이 연관성이 있다. 따라서, 이를 이용하여 선택적으로 현재 인덱스과 인접 매크로블록의 인덱 스를 뺀 차이 값을 인덱스 정보로 사용하는 것도 가능하다. 전체 시퀀스에 대해 동일한 양자화 가중치 행렬을 사용하는 경우, 전송되는 인덱스 정보의 양을 상당히 감소시키는 것이 가능하다.

본 실시예에서는 양자화 가중치 행렬 저장부(694)에 저장된 복수개의 양자화 가중치 행렬 정보는 복호화부에도 저장되어 있는 것으로 가정하였다. 하지만, 선택적으로 픽쳐 확장 헤더(picture extension header)를 통해 픽쳐 단위로 복수개의 양자화 가중치 행렬 정보를 복호화부로 전송하거나, 또는 시퀀스 확장 헤더(sequence extension header)를 통해 시퀀스 단위로 복수개의 양자화 가중치 행렬 정보를 복호화부로 전송하여, 픽쳐 단위 또는 시퀀스 단위로 전송된 양자화 가중치 행렬을 사용하는 것도 가능하다.

이와 같이, 입력 영상의 특성 중 입력 영상에 포함된 노이즈 정도를 고려하여 양자화 행렬을 매크로블록 단위로 적응적으로 적용함으로써, 노이즈를 제거함과 동시에 부호화 효율을 향상시키는 것이 가능하다.

또한, 새로운 양자화 가중치 행렬들은 사용자가 임의로 정하는 것이 가능하다. 본 실시예에서는 입력 영상 블록의 Y 성분에 대한 DCT 영역에서의 노이즈 제거 방식을 도시하고 있지만, Y 성분 이외의 U 및 V 성분에 대해서도 동일한 장치를 적용하는 것도 가능하다. 이때, U 및 V 성분을 위한 별도의 가중치 매트릭스가 필요하다.

도 7은 본 발명에 따른 입력 영상의 특성을 고려한 동영상 부호화기의 또 다른 실시예를 도시하는 도면이다.

본 실시예에서 고려되는 입력 영상의 특성은 입력되는 영상의 각각의 매크로블록에서의 에지 특성이다.

본 실시예에 따른 동영상 부호기는 도 1의 일반적인 동영상 부호기에, 양자화 행렬 결정부(780) 및 양자화 행렬 저장부(790)를 더 포함한다. DCT부(710), IDCT부(740), 프레임 메모리부(750), 움직임 예측 및 보상부(760), 가변 길이 부호화부(770)는 도 1의 일반적인 동영상 부호화기와 동일한 기능을 수행하므로, 설명의 간단을 위해 상세한 설명은 생략한다.

양자화 행렬 결정부(780)는 입력 영상의 특성에 기초하여 매크로블록 단위로 최적의 양자화 행렬을 선택하고, 선택된 양자화 행렬에 대응하는 인덱스 정보를 양자화 행렬 저장부(790) 및 가변 길이 부호화부(770)로 전송한다.

본 실시예에서는 양자화 행렬 결정부(780)는 소정의 개수의 양자화 행렬들 중 하나를 선택하는 기준으로 매크로블록의 에지 특성을 고려한다.

이하에서는, 매크로블록의 에지 특성에 기초하여 양자화 행렬을 선택하는 방식을 상세히 설명한다.

우선, 입력 영상의 해당 매크로블록이 인트라 블록인 경우, 소벨 오퍼레이터(sobel operator)와 같은 기존의 알려진 에지 검출기(edge detector)를 사용하여, 매크로블록 내의 화소 당 에지 크기를 계산하고, 블록내 에지의 방향도 함께 계산한다. 소벨 오퍼레이터는 아래 수학식 12와 같다.

양자화 행렬 결정부(780)에서는 수학식 12를 이용하여 수직 방향 에지 크기 및 수평 방향 에지 크기를 계산하고, 이를 이용하여 에지의 세기 및 매크로블록에서의 에지의 방향을 계산한다. 계산된 해당 매크로블록의 에지의 세기 및 방향에 기초하여 소정의 개수의 양자화 행렬들 중 부호화 효율을 고려하여 하나를 선택한다. 즉, 세로 방향 에지가 있는 매크로블록이나, 또는 가로 방향 에지가 있는 매크로블록에 대해서는 이러한 에지를 살리면서 양자화를 수행할 수 있는 양자화 행렬을 선택한다.

한편, 인터 블록의 경우에도 동일하게 소벨과 같은 에지 검출기를 이용하여 에지 크기 및 방향을 구하는 것이 가능하다.

본 실시예에서는 해당 매크로블록의 에지 특성, 즉 에지의 세기 및 방향성을 계산하기 위해 소벨 검출기를 사용하였지만, 선택적으로 차분 필터(difference filter), 로버츠 필터(roberts filter)와 같은 다른 임의의 공간 필터를 사용하는 것도 가능하다.

또한, 본 실시예에서는 입력 영상의 특성으로서 해당 매크로블록의 에지의 세기 및 방향을 고려하여, 양자화 행렬을 선택한다. 하지만, 선택적으로 부호화 효율 측면이나, 화질 개선 측면에서 입력 영상의 또 다른 특성들을 고려하여 소정의 양자화 행렬들을 매크로블록 단위로 적응적으로 선택하는 것도 가능하다.

양자화 행렬 저장부(790)는 양자화 행렬 결정부(780)로부터 입력된 양자화 행렬 인덱스 정보에 기초하여, 해당 양자화 행렬을 선택하여 양자화부(720) 및 역양자화부(730)로 전송한다.

양자화부(720)는 입력된 해당 양자화 행렬을 사용하여 양자화를 수행한다.

역양자화부(730)도 또한 입력된 해당 양자화 행렬을 사용하여 역양자화를 수행한다.

가변 길이 부호화부(770)는 양자화부(720)에서 양자화된 입력 영상 데이터를 가변 길이 부호화하고, 또한 양자화 가중치 행렬 결정부(780)로부터 입력된 해당 매크로블록에 대응하는 양자화 행렬의 인덱스를 가변 길이 부호화한다. 이때, 인덱스 정보는 매크로블록 헤더에 삽입된다.

본 실시예에서는 해당 양자화 가중치 행렬의 인덱스를 매크로블록 헤더에 삽입하여 전송한다. 하지만, 선택적으로 현재 인덱스과 인접 매크로블록의 인덱스를 뺀 차이 값을 인덱스 정보로 사용하는 것도 가능하다.

본 실시예에서는 양자화 행렬 저장부(790)에 저장된 복수개의 양자화 가중치 행렬 정보는 복호화부에도 저장되어 있는 것으로 가정하였다. 하지만, 선택적으로 픽쳐 확장 헤더를 통해 픽쳐 단위로 복수개의 양자화 가중치 행렬 정보를 복호화부로 전송하거나, 또는 시퀀스 확장 헤더를 통해 시퀀스 단위로 복수개의 양자화 가중치 행렬 정보를 복호화부로 전송하여, 이를 사용하는 것도 가능하다.

도 8은 본 발명의 일 실시예에 따른 동영상 복호화기를 도시하는 도면이다.

본 발명에 따른 동영상 복호기는 도 1의 일반적인 동영상 복호기(140)에 양 자화 가중치 행렬 저장부(860)를 더 포함한다.

IDCT부(830), 프레임 메모리(840), 및 움직임 보상부(850)는 도 1에서의 일반적인 동영상 복호화기와 동일한 기능을 수행하므로, 설명의 간단을 위해 상세한 설명은 생략한다.

가변 길이 복호화부(variable length decoding unit: VLD)(810)는 입력 스트림을 가변 길이 복호화하고, 입력 스트림의 매크로블록 블록 헤더로부터 해당 매크로블록에 대응하는 양자화 가중치 행렬의 인덱스 정보를 추출하고, 추출된 인덱스 정보를 양자화 가중치 행렬 저장부(860)로 출력한다.

양자화 가중치 행렬 저장부(860)는 입력된 인덱스 정보에 기초하여, 해당 인덱스에 대응하는 양자화 가중치 행렬을 역양자화부(820)로 출력한다. 여기에서, 양자화 가중치 행렬 저장부(860)에는 부호화부에서 처리된 입력 영상의 특성, 예를 들어 노이즈 분산값과 입력 영상 분산값 사이의 비와 같은 노이즈 정도, 입력 영상의 에지 정도와 같은 공간적 특성에 따라 분류된 복수개의 가중치 행렬이 저장되어 있다.

선택적으로, 양자화 가중치 행렬 저장부(860)에 저장되는 복수개의 양자화 가중치 행렬 정보는 픽쳐 확장 헤더를 통해 픽쳐 단위로 전송되거나, 또는 시퀀스 확장 헤더를 통해 시퀀스 단위로 전송되는 것도 가능하다. 이때, 전송된 복수개의 양자화 가중치 행렬 정보는 도 8에서 점선으로 표시된 바와 같이 가변 길이 부호화부(810)로부터 양자화 가중치 행렬 저장부(860)로 입력된다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자 에 의한 변형이 가능함은 물론이다. 특히, 본 발명은 MPEG-1, MPEG-2, MPEG 4 등과 같은 모든 동영상 부호화 및 복호화 방법과 그 장치에 적용될 수 있다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브 (예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

상술한 바와 같이 본 발명에 따른 동영상 부호화 및 복호화 방법에서는, 입력 영상의 특성에 기초하여 매크로블록 단위로 양자화 행렬을 적응적으로 적용함으로써, 부호화 효율 및 성능을 개선하는 것이 가능하다는 효과가 있다.

Claims

복수개의 양자화 가중 행렬(quantization weight matrices)을 사용하는 동영상 복호화 방법에 있어서,

적어도 하나의 매크로블록을 포함하며, 상기 각각의 매크로블록은 상기 각각의 매크로블록의 공간적 특성에 대응하는 양자화 가중 행렬을 특정하는 정보를 포함하는 부호화된 입력 영상 스트림을 수신하는 단계와;

상기 부호화된 스트림에 대해 가변 길이 복호화를 수행하는 단계와;

상기 각각의 매크로블록에 대해 특정된 양자화 가중 행렬을 사용하여 상기 가변 길이 복호화된 매크로블록에 대해 역양자화를 수행하는 단계를 포함하며,

상기 복수개의 양자화 가중 행렬 각각은 상기 입력 영상의 특성을 나타내는 것을 특징으로 하는 동영상 복호화 방법.
제1항에 있어서,

상기 입력 영상의 특성은 상기 입력 영상의 노이즈 정보 또는 상기 입력 영상의 공간적 특성 중 어느 하나인 것을 특징으로 하는 동영상 복호화 방법.
제2항에 있어서,

상기 노이즈 정보는 노이즈 분산값과 상기 입력 영상의 분산값 사이의 비인 것을 특징으로 하는 동영상 복호화 방법.
제2항에 있어서, 상기 공간적 특성은 상기 입력 영상의 에지 크기를 나타내는 것을 특징으로 하는 동영상 복호화 방법.
제1항에 있어서, 상기 복수개의 양자화 가중 행렬은 상기 입력 영상의 특성에 따라 분류되는 것을 특징으로 하는 동영상 복호화 방법.
제1항에 있어서, 상기 가변 길이 복호화 단계는 복수개의 양자화 가중 행렬 각각의 양자화 가중 행렬을 특정하는 정보를 매크로블록 헤더로부터 추출하는 단계를 포함하는 것을 특징으로 하는 동영상 복호화 방법.
제6항에 있어서, 상기 양자화 가중 행렬을 특정하는 정보는 하나의 매크로블록에 대응하는 양자화 가중 행렬의 인덱스와, 상기 매크로블록에 인접하는 매크로블록에 대응하는 양자화 가중 행렬의 인덱스 사이의 차이인 것을 특징으로 하는 동영상 복호화 방법.
복수개의 양자화 가중 행렬을 사용하는 동영상 복호화 장치에 있어서,

적어도 하나의 매크로블록을 포함하며, 상기 각각의 매크로블록은 상기 각각의 매크로블록의 공간적 특성에 대응하는 양자화 가중 행렬을 특정하는 정보를 포함하는 부호화된 입력 영상 스트림을 수신하고, 상기 수신된 영상 스트림에 대해 가변 길이 복호화를 수행하는 가변 길이 복호화부와;

상기 복수개의 양자화 가중 행렬을 저장하고, 상기 정보에 기초해서 상기 복수개의 양자화 가중 행렬 중 하나를 선택하고, 상기 선택된 양자화 가중 행렬을 출력하는 양자화 가중 행렬 저장부와;

상기 양자화 가중 행렬 저장부로부터 출력된 상기 양자화 가중 행렬을 사용하여, 상기 가변 길이 복호화된 각각의 매크로블록에 대해 역양자화를 수행하는 역양자화부를 포함하며,

상기 복수개의 양자화 가중 행렬 각각은 상기 입력 영상의 특성을 나타내는 것을 특징으로 하는 동영상 복호화 장치.
제8항에 있어서,

상기 입력 영상의 특성은 상기 입력 영상의 노이즈 정보 또는 상기 입력 영상의 공간적 특성 중 어느 하나인 것을 특징으로 하는 동영상 복호화 장치.
제9항에 있어서,

상기 노이즈 정보는 노이즈 분산값과 상기 입력 영상의 분산값 사이의 비인 것을 특징으로 하는 동영상 복호화 장치.
제9항에 있어서, 상기 공간적 특성은 상기 입력 영상의 에지 크기를 나타내는 것을 특징으로 하는 동영상 복호화 장치.
제8항에 있어서, 상기 복수개의 양자화 가중 행렬은 상기 입력 영상의 특성에 따라 분류되는 것을 특징으로 하는 동영상 복호화 장치.
제8항에 있어서, 상기 가변 길이 복호화부는 복수개의 양자화 가중 행렬 각각의 양자화 가중 행렬을 특정하는 정보를 매크로블록 헤더로부터 추출하는 단계를 포함하는 것을 특징으로 하는 동영상 복호화 장치.