KR100393066B1

KR100393066B1 - 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법

Info

Publication number: KR100393066B1
Application number: KR10-2001-0032494A
Authority: KR
Inventors: 양승준; 이성희
Original assignee: 삼성전자주식회사
Priority date: 2001-06-11
Filing date: 2001-06-11
Publication date: 2003-07-31
Also published as: US7042512B2; KR20020094369A; US20020196362A1

Abstract

움직임 타입에 따라 시공간 방식과 움직임 보상 방식을 적응적으로 선택하는 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법이 개시되어 있다. 본 발명은 필드간의 움직임 벡터를 이용하여 보간될 필드에 대한 움직임 벡터와 그 정확도를 추정하는 과정, 추정된 움직임 벡터를 분석하여 전역 움직임 유무를 추정하는 과정, 추정된 움직임 벡터를 이용하여 보간될 필드에서 움직임 보상을 수행하여 보간될 화소를 생성하는 과정, 보간될 필드에서 보간될 화소와 인접한 화소들과 보간될 화소의 전후 필드에서 보간될 화소와 인접한 화소들을 이용해 보간될 화소를 생성하는 과정, 추정된 움직임 벡터의 정확도와 추정된 전역 움직임 유무에 따라 시공간 보간과 움직임 보상보간을 선택적으로 출력하는 과정을 포함한다.

Description

적응 움직임 보상형 디-인터레이싱 장치 및 그 방법{Apparatus and method for adaptive motion compensated de-interlacing video data using adaptive compensated olation and method thereof}

본 발명은 본 발명은 영상 신호의 포맷 변환 장치 및 그 방법에 관한 것으로서, 특히 움직임 타입에 따라 시공간 방식과 움직임 보상 방식을 적응적으로 선택하는 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법에 관한 것이다.

통상적인 텔레비전 영상 신호는 2개의 필드가 한 프레임을 형성하는 비월 주사(interlaceing) 방식으로 주파수 대역이 압축된다. 그리고, 최근 통상 순차 방식으로 디스플레이하는 PC나 고선명 텔레비전에서는 비월 주사(interlaced)를 디스플레이하기 위해서는 디-인터레이싱에 의해 비어 있는 영상 라인을 임의의 방법으로 생성하여 순차주사(progressive)해야 한다.

도 1은 통상적인 디-인터레이싱의 기본 개념도이다.

도 1을 참조하면, 디-인터레이싱은 수직 방향으로 홀수 혹은 짝수번째의 샘플만을 포함하는 필드(field)를 프레임(frame)으로 변경한다. 이때 출력 프레임()은 수학식 1과 같이 정의한다.

여기서는 공간적 위치를 의미하고, n은 필드 번호이다. 또한은 입력필드이고,는 보간될 화소이다.

도 2는 움직임 보상을 이용하지 않는 ELA 디-인터레이싱 알고리듬을 적용하기 위한 3x3윈도우이다.

도 2를 참조하면, ELA(edge-based line averaging) 디-인터레이싱은 수학식 3와 같이 보간될 화소(interpolated pixel)의 위치에서 방향성(x, y)을 고려한 화소간의 상관성을 이용한다. 즉, 보간될 화소(interpolated pixel)의 주변에 인접한화소들과 보간될 필드의 전후 필드에서 보간될 화소들의 평균값을 출력한다.

도 3은 통상적인 TR 디-인터레이싱 방법을 설명하기 위한 개념도이다.

도 3을 참조하면, 움직임 벡터를 이용한 TR(time-recursive) 디-인터레이싱은 이전 필드(n-1)가 완벽하게 디-인터레이싱이 되었다고 가정하고, 현재 필드(n)의 분실 데이터(missing data)를 움직임 벡터로 보상한다. 보간될 화소(sample to be interpolated)는 이전 필드의 원 화소(original sample)가 될 수있고, 이전 필드에서 보간된 화소(previously interpolated sample)가 될 수있다. 따라서 보간될 화소(sample to be interpolated)는 수학식 3과 같이 나타낼 수있다.

그러나 ELA 디-인터레이싱 방식은 움직임 보상을 사용하지 않기 때문에 움직임이 존재하는 영역에서는 플리커링(flickering)과 블러링(blurring)이 발생하며, TR 디-인터레이싱 방식은 연속적으로 디-인터레이싱되기 때문에 임의의 필드에서 발생된 오류가 다른 필드로 전파될 수 있다. 그 외에 움직임 보상 방식은 이미지 아티팩트(image artifact)가 발생하는 단점이 있다.

본 발명이 이루고자하는 기술적과제는 움직임 타입에 따라 시공간 방식과 움직임 보상 방식을 적응적으로 선택함으로써 화질을 개선하는 디-인터레이싱 방법을 제공하는 데있다.

본 발명이 이루고자하는 다른 기술적과제는 상기 디-인터레이싱 방법을 이용한 디-인터레이싱 장치를 제공하는 데있다.

도 1은 통상적인 비디오 데이터의 디-인터레이싱의 기본 개념도이다.

도 2는 통상적인 디-인터레이싱 알고리듬을 적용하기 위한 3x3윈도우이다.

도 4는 본 발명에 따른 디-인터레이싱 장치를 보이는 전체블록도이다.

도 5는 움직임 분석부의 상세한 동작 흐름도이다.

도 6a 내지 도 6c는 움직임 분석의 예를 도시한 것이다.

도 7은 움직임 타입 결정부의 상세한 동작 흐름도이다.

도 8은 어댑티브 선택부의 상세한 동작 흐름도이다.

상기의 기술적 과제를 해결하기 위하여, 본 발명은 인터레이스 영상 신호를 프로그레시브 영상 신호로 변환하는 디-인터레이싱 방법에 있어서,

(a) 필드간의 움직임 벡터를 이용하여 보간될 필드에 대한 움직임 벡터와 그 정확도를 추정하는 과정;

(b) 상기 (a) 과정에서 추정된 움직임 벡터를 분석하여 전역 움직임 유무를 추정하는 과정;

(c) 상기 (a) 과정에서 추정된 움직임 벡터를 이용하여 보간될 필드에서 움직임 보상을 수행하여 보간될 화소를 생성하는 과정;

(d) 보간될 필드에서 보간될 화소와 인접한 화소들과 보간될 화소의 전후 필드에서 보간될 화소와 인접한 화소들을 이용해 보간될 화소를 생성하는 과정;

(e) 상기 (a)과정에서 추정된 움직임 벡터의 정확도와 상기 (b) 과정에서 추정된 전역 움직임 유무에 따라 상기 (c) 과정 및 상기 (d) 과정에서 생성된 화소를 선택적으로 출력하는 과정을 포함하는 디-인터레이싱 방법이다.

상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 인터레이스 영상 신호를 프로그레시브 영상 신호로 변환하는 디-인터레이싱 장치에 있어서,

필드간의 움직임 벡터를 이용하여 보간될 필드에 대한 움직임 벡터를 추정하는 움직임 추정수단;

상기 움직임 추정수단에서 추정된 움직임 벡터를 분석하여 전역 움직임(global motion)유무를 추정하는 움직임판단수단;

상기 움직임 추정수단에서 추정된 움직임 벡터로 보간될 필드에서 움직임 보상을 수행하여 보간될 화소를 생성하는 움직임 보상 보간수단;

보간될 필드에서 보간될 화소와 인접한 화소들과 보간될 화소의 전후 필드에서 보간될 화소와 인접한 화소들로 보간될 화소를 생성하는 시공간보간수단;

상기 움직임 판단 수단에서 추정된 전역 움직임(global motion)의 유무에 따라 상기 움직임 보상 보간수단 및 상기 시공간보간수단에서 생성된 화소를 선택적으로 출력하는 어댑티브 선택수단을 포함하는 디-인터레이싱 방법이다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 4를 참조하면, 움직임추정부(410)는 이전 필드 및 이후 필드로부터 보간될 필드 위치에 해당하는 필드에서의 움직임 벡터(MV)를 추정하면서 그 움직임 벡터(MV)의 정확도를 추정한다. 여기서 움직임추정부(410)는 인접한 같은 성질의 필드간의 움직임 벡터를 추정하며, 이 움직임의 반을 보간될 필드에 적용한다. 또한 보간될 필드의 움직임 벡터(MV)의 정확도는 코스트 함수(cost function)나 SAD(sum of absolute difference)중의 어느 하나를 사용한다.

움직임정보판단부(420)는 움직임 분석부(422)와 움직임 타입 결정부(424)로 구분되며, 움직임 추정부(410)에서 추정된 움직임 벡터를 분석하여 움직임 타입을 결정한다. 더상세하게 설명하면, 움직임 분석부(422)는 현재 장면(scene) 또는 필드로부터 추정된 움직임 벡터를 분석하여 전역 움직임(global motion)의 유무를 추정하고, 또한 그 움직임의 방향을 추정한다. 움직임 타입 결정부(424)는 움직임 추정부(410)에서 추정된 움직임 벡터와 움직임 분석부(422)에서 분석된 장면(scene)의 전역 움직임(global motion)을 참조하여 블록 단위의 움직임 타입(전역 움직임 또는 국부 움직임)을 결정한다.

움직임 보상 보간부(440)는 움직임 추정부(410)에서 추정된 움직임 벡터를 이용하여 이전 필드 이미지와 다음 필드 이미지로부터 보간될 화소를 생성한다.

시공간보간부(450)는 보간될 필드에서 보간될 화소와 인접한 화소들과 보간될 화소의 전후 필드에서 보간될 화소와 인접한 화소들을 이용해 현재 필드로부터 보간될 화소를 생성한다.

어댑티브 선택부(460)는 움직임 타입 결정부(430)에서 결정된 움직임 타입 (전역 움직임 및 국부 움직임) 및 움직임 ??부(410)에서 추정된 움직임 벡터의 정확도에 따라 움직임 보상 보간부(410) 및 시공간보간부(450)에서 생성된 화소를 선택적으로 출력한다.

프로그레시브 프레임 형성부(470)는 어댑티브 선택부(460)에서 선택적으로 출력되는 화소와 현재 필드의 화소를 합하여 프로그레시브 이미지를 형성한다.

도 5는 움직임 분석부(422)의 상세한 동작 흐름도이다.

먼저, 움직임 추정부(410)에서 추정된 연속된 필드의 움직임 벡터들의 분포를 이용하여 전역 움직임을 추정한다(510과정). 이때 움직임 벡터들의 분포는 히스트그램(histogram)을 이용한다.

이어서, 움직임 벡터의 히스토그램값을 일정값으로 드레숄딩(thresholding)하거나 가변적으로 드레숄딩하여(520과정) 그 결과에 따라 현재 장면(scene)에서 전역 움직임의 유무를 추정한다(530과정). 즉, 히스토그램에서 도미넌트 피크가 존재하면 동일한 움직임을 갖는 블록들이 많은 경우이며, 이 움직임을 전역 움직임으로서 판정한다.

도 6a 및 6b는 움직임 분석의 예를 도시한 것이다.

도 6a를 참조하면 (a)는 현재 장면내에 전역 움직임이 존재하는 경우이다. (b)에 도시된 히스토그램들은 동일한 움직임 벡터들을 공유하는 블록들을 나타낸다. 즉, 두 개의 연속하는 현재 필드의 이미지는 전역 움직임이 있는 것으로 판정된다.

도 6b를 참조하면, (a)는 현재 장면내에 전역 움직임이 존재하지 않고 국부 움직임으로 판단된 경우이다. (b)에 도시된 히스토그램들은 임계치보다 더 큰 피크를 갖는 움직임 벡터가 없음을 나타낸다. 즉, 현재 필드 이미지내에 전역 움직임이 없으며, 모든 움직임 벡터는 국부 움직임 벡터로 분류된다.

도 7은 움직임 타입 결정부(424)의 상세한 동작 흐름도이다.

먼저, 보간될 필드의 화소가 포함된 블록 단위의 움직임 벡터를 추정한다(710과정).

이어서, 그 블록내에서 움직임 벡터의 성질을 판정한다. 이때 보간될 필드의 화소가 포함된 블럭의 움직임 벡터의 크기가 작거나 제로일 경우 보간될 필드의 화소가 포함된 블록의 움직임 타입을 제로 움직임으로 설정된다. 그렇지 않고 보간될 필드의 화소가 포함된 블럭의 움직임 벡터의 크기가 일정값 이상이면 블록 단위의 움직임 벡터와 현재 장면에서 구해진 전역 움직임 벡터를 비교하여(720과정) 보간될 필드의 화소가 포함된 블록의 움직임 타입을 결정한다(730과정). 즉, 보간될 필드의 화소가 포함된 블록 단위의 움직임 벡터와 전역 움직임 벡터를 비교하여 두 벡터의 차이가 주어진 임계값 보다 작을 경우 그 블록의 움직임 타입은 전역 움직임으로 설정되며, 그렇지 않고 두 벡터의 차이가 주어진 임계값 보다 클 경우 보간될 필드의 화소가 포함된 블록의 움직임 타입은 국부 움직임으로 설정된다.

도 8은 어댑티브 선택부(460)의 상세한 동작 흐름도이다.

먼저, 입력되는 움직임 타입 정보에 의해 움직임 타입을 판단한다(810과정).

이어서, 움직임 타입 정보에 따라 서로 다른 임계값이 선택된다(820과정).이어서, 움직임 타입 정보와 선택된 임계값에 따라 움직임 보상 보간과 시공간 보간을 선택한다(830과정). 즉,

1. 보간될 필드의 화소가 포함된 블록의 움직임 타입이 전역 움직임이고 움직임의 정확도가 주어진 임계값(threshod)보다 높을 경우 움직임 보상 보간으로 생성된 화소를 보간될 화소로 선택한다.

2. 보간될 필드의 화소가 포함된 블럭의 움직임 타입이 전역 움직임이고 추정된 움직임의 정확도가 주어진 임계값(threshod)보다 낮을 경우 시공간 보간으로 생성된 화소를 보간될 화소로 선택한다.

3. 보간될 필드의 화소가 포함된 블럭의 움직임 타입이 국부 움직임이고 추정된 움직임의 정확도가 주어진 임계값보다 높을 경우 움직임 보상 보간으로 생성된 화소를 보간될 화소로 선택한다.

4. 보간될 필드의 화소가 포함된 블럭의 움직임 타입이 국부 움직임이고 추정된 정확도가 주어진 임계값보다 낮을 경우 시공간 보간으로 생성된 화소를 보간될 화소로 선택한다.

5. 보간될 필드의 화소가 포함된 블록의 움직임 타입이 제로 움직임이고 움직임의 정확도가 주어진 임계값(threshod)보다 높을 경우 움직임 보상 보간으로 생성된 화소를 보간될 화소로 선택한다.

6. 보간될 필드의 화소가 포함된 블럭의 움직임 타입이 제로 움직임이고 추정된 움직임의 정확도가 주어진 임계값(threshod)보다 낮을 경우 시공간 보간으로 생성된 화소를 보간될 화소로 선택한다.

이때 움직임의 정확도와 비교될 임계값(threshold)들은 움직임 타입에 따라서 서로 다른 값을 이용한다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다. 즉, 포맷 변환을 수행하는 모든 영상 신호 처리 장치에 적용가능하다.

상술한 바와 같이 본 발명에 의하면, 입력 영상의 움직임 정도에 따라 움직임보상 보간값 또는 시공간 보간값을 적응적으로 선택함으로써 플리커링과 아티펙트(artifact)를 효율적으로 감소시킬 수있다.

Claims

인터레이스 영상 신호를 프로그레시브 영상 신호로 변환하는 디-인터레이싱 방법에 있어서,

(a) 필드간의 움직임 벡터를 이용하여 보간될 필드에 대한 움직임 벡터와 그 정확도를 추정하는 과정;

(b) 상기 (a) 과정에서 추정된 움직임 벡터를 분석하여 전역 움직임 유무를 추정하는 과정;

(c) 상기 (a) 과정에서 추정된 움직임 벡터를 이용하여 보간될 필드에서 움직임 보상을 수행하여 보간될 화소를 생성하는 과정;

(d) 보간될 필드에서 보간될 화소와 인접한 화소들과 보간될 화소의 전후 필드에서 보간될 화소와 인접한 화소들을 이용해 보간될 화소를 생성하는 과정;

(e) 상기 (a)과정에서 추정된 움직임 벡터의 정확도와 상기 (b) 과정에서 추정된 전역 움직임 유무에 따라 상기 (c) 과정 및 상기 (d) 과정에서 생성된 화소를 선택적으로 출력하는 과정을 포함하는 디-인터레이싱 방법.
제1항에 있어서, 상기 (a)과정의 움직임 벡터는 인접한 동일 성질의 필드간에 추정되는 것임을 특징으로 하는 디-인터레이스싱 방법.
제1항에 있어서, 상기 (a)과정의 움직임 벡터의 정확도는 블럭의 모든 화소의 차이를 누적한 값을 이용하여 계산되는 것임을 특징으로 하는 디-인터레이싱 방법.
제1항에 있어서,

상기 (b)과정의 전역 움직임 추정은

(a-1) 상기 과정에서 추정된 움직임 벡터의 분포를 참조하여 현재 장면에서 전역 움직임(global motion)을 추정하는 과정;

(a-2) 보간될 필드의 화소가 포함된 블럭의 움직임 벡터를 상기 (a-1) 과정에서 생성된 전역 움직임의 벡터값과 비교하여 보간될 필드의 화소가 포함된 블록의 움직임 타입을 결정하는 과정을 포함하는 것을 특징으로 하는 디-인터레이싱 방법.
제 4항에 있어서, 상기 움직임 벡터의 분포는 히스토그램을 이용하는 것임을 특징으로 하는 디-인터레이싱 방법.
제 4항에 있어서, 상기 전역 움직임 벡터는 움직임 벡터의 히스토그램의 피크값으로 추정하는 것임을 특징으로 하는 디-인터레이싱 방법.
제4항에 있어서, 상기 전역 움직임 벡터는 움직임 벡터의 히스토그램 값을 임계값(threshold)과 비교하여 추정되는 것을 특징으로 하는 디-인터레이싱 방법.
제4항에 있어서, 상기 전역 움직임 벡터는 움직임 벡터의 히스토그램 값을 움직임 벡터값에 따라 변하는 가변 임계값(variable threshold)과 비교하여 추정되는 것임을 특징으로 하는 디-인터레이싱 방법.
제4항에 있어서, 상기 움직임 타입 결정 과정은

(a-1) 상기 블럭의 움직임 벡터를 전역 움직임 벡터와 비교하여 두 벡터의 차이가 소정의 임계값 보다 작을 경우 상기 블록의 움직임 타입을 전역 움직임으로 설정하고, 소정의 임계값 보다 클 경우 상기 블록의 움직임 타입을 전역 움직임으로 설정하는 과정;

(a-2) 상기 블럭의 움직임 벡터의 크기가 작을 경우 상기 블록의 움직임 타입을 제로 움직임으로 설정하고, 상기 블록의 움직임 벡터가 제로 벡터일 경우 상기 블록의 움직임 타입을 제로 움직임으로 설정하는 과정을 포함하는 디-인터레이싱 방법.
제1항에 있어서, 상기 (e)과정의 화소 선택은

상기 보간될 필드의 화소가 포함된 블록의 움직임 타입이 전역 움직임이고 상기 (a)과정에서 추정된 정확도가 주어진 임계값(threshod)보다 높을 경우 상기 (c)과정에서 구해진 화소를 보간될 화소로 선택하고 상기 (a)과정에서 추정된 정확도가 주어진 임계값(threshod)보다 낮을 경우 상기 (d)과정에서 구해진 화소를 보간될 화소로 선택하는 것임을 특징으로 하는 디-인터레이싱 방법.
제1항에 있어서, 상기 (e)과정의 화소 선택은

상기 보간될 필드의 화소가 포함된 블럭의 움직임 타입이 국부 움직임이고 상기 (a)과정에서 추정된 정확도가 주어진 임계값보다 높을 경우, 상기 (c)과정에서 생성된 화소를 보간될 화소로 선택하고 상기 (a)과정에서 추정된 정확도가 주어진 임계값보다 낮을 경우 상기 (d)과정에서 구해진 화소를 보간될 화소로 선택하는 것임을 특징으로 하는 디-인터레이싱 방법.
제1항에 있어서, 상기 (e)과정의 화소 선택은

상기 보간될 필드의 화소가 포함된 블럭의 움직임 타입이 제로 움직임이고상기 (a)과정에서 추정된 정확도가 주어진 임계값보다 높을 경우, 상기 (c)과정에서 생성된 화소를 보간될 화소로 선택하고 상기 (a)과정에서 추정된 정확도가 주어진 임계값보다 낮을 경우 상기 (d)과정에서 구해진 화소를 보간될 화소로 선택하는 것임을 특징으로 하는 디-인터레이싱 방법.
제 10항 또는 제 11항 또는 12항에 있어서,

상기 임계값(threshold)들은 서로 다른 값을 이용하는 것임을 특징으로하는 디-인터레이싱 방법.
인터레이스 영상 신호를 프로그레시브 영상 신호로 변환하는 디-인터레이싱 장치에 있어서,

필드간의 움직임 벡터를 이용하여 보간될 필드에 대한 움직임 벡터를 추정하는 움직임 추정수단;

상기 움직임 추정수단에서 추정된 움직임 벡터를 분석하여 전역 움직임(global motion)유무를 추정하는 움직임판단수단;

상기 움직임 추정수단에서 추정된 움직임 벡터로 보간될 필드에서 움직임 보상을 수행하여 보간될 화소를 생성하는 움직임 보상 보간수단;

보간될 필드에서 보간될 화소와 인접한 화소들과 보간될 화소의 전후 필드에서 보간될 화소와 인접한 화소들로 보간될 화소를 생성하는 시공간보간수단;

상기 움직임 판단 수단에서 추정된 전역 움직임(global motion)의 유무에 따라 상기 움직임 보상 보간수단 및 상기 시공간보간수단에서 생성된 화소를 선택적으로 출력하는 어댑티브 선택수단을 포함하는 디-인터레이싱 장치.
제14항에 있어서, 상기 움직임판단수단은

현재 필드로부터 추정된 움직임 벡터를 분석하여 전역 움직임의 유무를 추정하고, 상기 추정된 움직임 벡터를 분석하여 움직임 타입을 결정하는 움직임 분석부;

상기 추정된 움직임 벡터와 상기 움직임 분석부에서 분석된 전역 움직임을 참조하여 블록 단위의 움직임 타입을 결정하는 움직임 타입 결정부를 특징으로하는 디-인터레이싱 장치.