Nothing Special   »   [go: up one dir, main page]

KR100530223B1 - 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치 - Google Patents

프레임 레이트 변환시의 프레임 보간 방법 및 그 장치 Download PDF

Info

Publication number
KR100530223B1
KR100530223B1 KR10-2003-0030372A KR20030030372A KR100530223B1 KR 100530223 B1 KR100530223 B1 KR 100530223B1 KR 20030030372 A KR20030030372 A KR 20030030372A KR 100530223 B1 KR100530223 B1 KR 100530223B1
Authority
KR
South Korea
Prior art keywords
image
frame
motion vector
interpolation
pattern
Prior art date
Application number
KR10-2003-0030372A
Other languages
English (en)
Other versions
KR20040098162A (ko
Inventor
민종술
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2003-0030372A priority Critical patent/KR100530223B1/ko
Priority to JP2004100188A priority patent/JP4162621B2/ja
Priority to CNB2004100328898A priority patent/CN1275470C/zh
Priority to US10/838,325 priority patent/US7460172B2/en
Publication of KR20040098162A publication Critical patent/KR20040098162A/ko
Application granted granted Critical
Publication of KR100530223B1 publication Critical patent/KR100530223B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 프레임 레이트 변환시, 반복적으로 되풀이되는 영상인 경우에 보간하는 방법 및 그 장치에 관한 것이다.
본 발명에 따른 프레임 보간 장치는 연산부, 반복 패턴 판단부, 모션 벡터 추출부, 고속영상 판단부 및 보간부로 구성된다. 한편, 본 발명에 따른 프레임 보간 방법은, SAD map를 연산하여 매칭되는 블록을 찾는 단계, 상기 매칭되는 블록을 비교하여 반복되는 영상인지를 판단하는 단계, 반복되지 않는 경우면 모션 벡터를 추출하고 고속으로 변하는 영상인지를 판단하는 단계, 반복되는 영상이면 앞프레임의 화소값으로 보간하는 단계, 고속으로 변하는 영상이면 앞뒤 프레임의 동일 위치의 화소값의 평균으로 보간하는 단계, 일반 영상이면 모션 벡터를 이용하여 보간하는 단계를 포함한다.
본 발명에 따르면, 기존의 방법에서 반복 패턴 영상을 보간함에 있어, 빠른 영상인 경우와 동일한 방법으로 처리함으로써, 블러링 현상이 발생하던 문제점을 해소하고, 보다 선명한 프레임 보간을 가능하게 한다.

Description

프레임 레이트 변환시의 프레임 보간 방법 및 그 장치 {Frame interpolation method and apparatus at frame rate conversion}
본 발명은 MPEG와 같은 영상처리 분야에서, 특히 50Hz/60Hz, 50Hz/75Hz와 같은 프레임 레이트 컨버젼시 프레임 보간을 하는 방법 및 그 장치를 제공한다. 보다 상세하게는, 입력되는 영상이 반복 패턴으로 나타나는지를 판단하고, 반복 패턴으로 나타나는 경우에는 앞 프레임의 동일 위치의 화소값으로 보간하는 방법 및 그 장치를 제공한다.
프레임 레이트 변환(Frame Rate Conversion : FRC)이란 초당 출력되는 프레임수를 변환시키는 것을 의미한다. 일반적으로 프레임 레이트는 Hz로 표시한다. 예를 들어, 24Hz의 프레임 레이트를 갖는 영화를 30Hz의 프레임 레이트를 갖는 TV로 출력하기 위해서는 양 영상신호간의 프레임 레이트가 다르기 때문에 프레임 레이트 변환이 필요하다. 상기 예와 같이 프레임 레이트가 증가되는 경우에, 프레임을 보간하는 과정이 필요하다.
MPEG(Moving Picture Experts Group : 동영상전문가 그룹) 와 같은 영상 처리 분야에서, 영상신호는 대부분의 경우 상관관계(autocorrelation)가 크기 때문에 중복성을 가지고 있고, 이러한 중복성(redundancy)을 제거함으로써, 데이터 압축 효과를 얻을 수 있다. 이때, 시간적으로 변하는 비디오 프레임을 효율적으로 압축하기 위해서는, 2차원 공간상의 중복성 제거뿐만 아니라, 시간축 방향의 중복성 제거도 필요하게 된다.
시간축 방향의 중복성 제거는, 프레임에서 변하지 않은 부분이나, 움직였다 하더라도 비슷한 부분은 바로 전 프레임 등에서 가져와서 채움으로써 전송해야 할 데이터량을 큰 폭으로 줄일 수 있다는 생각에 기초한다.
이를 위해, 이전 프레임과 현재 프레임 사이에서 가장 비슷한 블럭을 찾는 작업이 필요한데, 이를 움직임 추정(motion estimation)이라 하며, 블럭이 얼마만큼 움직였는가 하는 변위를 나타내는 것을 모션 벡터(motion vector)라고 한다.
한편, 움직임을 추정하는 방법에는 움직임 정도의 정확도와 효용성, 실시간 처리가능성, 및 하드웨어 구현 등을 고려하여 블럭 매칭 방식(Block Maching Algorithm)이 일반적으로 이용되고 있다.
블럭 매칭 방법은 앞 프레임과 뒤 프레임처럼 연속되는 두 장의 영상을 블럭단위로 비교하여, 신호 유형의 매칭도에 기초한 움직임을 추정하는 것을 말한다. 블럭 매칭 방법에서는 일정한 크기, 즉 가로 방향으로 M 화소, 세로방향으로 N 화소의 집합단위로 예측 및 보상을 수행하는데, 이러한 화소의 집합을 매크로 블럭(macroblock) 이라고 하며, 보통 M ×N 으로 표시한다.
영상의 움직임 정보를 이용하여 프레임 레이트를 변환하고자 하는 경우, 이러한 블럭 매칭 방법에 의해, 앞 프레임과 뒤 프레임을 참조하여 모션 벡터를 추정하고, 추정된 모션 벡터를 이용하여 프레임 보간을 수행하게 된다.
도1은 일반적인 블록 매칭 방법을 이용하여 움직임을 추정하는 방법을 나타내는 도면이다. 프레임 A는 입력 영상의 이전 프레임, 프레임 C는 입력 영상의 이후 프레임이고, 프레임 B는 프레임 A, C의 화소값을 이용하여 보간된 새로운 프레임이다. 도면에서 t1, t2는 각각 이전 프레임과 보간 프레임간의 간격, 보간 프레임과 이후 프레임간의 시간적 간격을 나타낸다.
일반적으로, 프레임 레이트 변환시에 사용되는 블록 매칭은 앞뒤 프레임 사이에 일정한 크기의 블록을 중심으로 하여 일정한 크기의 검색 범위를 설정하고, 상기 검색 범위 내에서 SAD(Sum of Absolute Difference: 블록 내 화소차의 합)값을 비교하여 앞뒤 프레임 중 매칭되는 블록을 찾아 내어 움직임 정보로 활용한다. 상기 SAD값은 다음 식을 통해 구할 수 있다.
상기식에서, i,j는 화소의 좌표를 나타내고 f(i,j)는 i행, j열에 위치하는 화소의 화소값을 나타낸다. f의 아래첨자는 해당 프레임을 나타낸다. 일반적으로 매칭되는 블록을 찾아내는데 사용되는 검색 방법으로는 전역 검색(Full search)방법 및 3-Step 검색 방법이 있다. 전역 검색 방법은 성능이 우수하지만 하드웨어의 부담을 가지고, 3-Step 검색 방법은 하드웨어가 간단하지만 상대적으로 성능이 떨어진다는 장단점을 각각 가지므로, 이는 목표로 하는 시스템 구성에 따라서 선택하면 된다.
도1의 시간 간격을 가지는 프레임에서, 프레임 A와 프레임 C사이에서 SAD값을 통해 구한 최적의 모션 벡터를 MV라 하면, 프레임 B에서 프레임 A로의 모션 벡터 MVBA 및 프레임 B에서 프레임 C로의 모션 벡터 MVBC는 다음과 같이 나타난다.
상기 식에서, mv는 단위 모션 벡터[dx,dy]를 나타낸다.
종래 기술에 따르면, 프레임 보간시 일반적인 영상인 경우는 상기 모션 벡터를 이용하여 보간 프레임의 화소값을 결정한다. 즉, 보간 프레임의 화소값 fB(i,j)는 다음과 같이 주어진다.
수학식 3에서 프레임 B에서 프레임 A로의 모션 벡터, 프레임 C로의 모션 벡터를 이용하여 보간될 프레임의 화소값을 구할수 있다. 한편, 고속으로 변화하는, 즉 빠른 영상이거나 혹은 반복적인 패턴으로 나타나는 영상인 경우에는 모션 벡터의 추정이 어려워져서 일반영상과 같이 보간하는데 문제가 있었다. 이러한 경우 종래의 기술에서는, 앞뒤 프레임의 동일한 위치에 있는 화소값의 평균을 통해 보간을 하였다. 즉, 이러한 특수한 영상에 대해서는 그 보간 프레임의 화소값은 다음 수학식으로 구해진다.
상기 수학식 4에서는 수학식 3과 달리 모션 벡터를 이용하지 않고 화소값 fB(i,j)를 구하는 것을 알수 있다.
이러한 종래의 움직임 추정 기법에 따르면, 일반적인 영상에 대해서는 모션 벡터를 이용하여 보간을 하고, 특수한 영상에 대해서는 앞뒤 영상의 평균값을 취하여 보간을 함으로써 영상이 심각하게 깨지는 것을 방지할 수 있다. 빠른 영상, 즉 화소값이 급격하게 변화하는 영상의 경우, 동영상에서 블러링 증상이 나타나기는 하나 인간의 눈에 크게 거슬리지 않는 정도이므로 역시 큰 문제가 없었다.
다만, 영상이 반복적으로 나타나는 경우에는, 입력되는 영상과 보간된 영상사이의 블러링이 생기고, 동영상을 실시간으로 볼 때 밝고 어두운 휘도차이가 눈에 띄여 거슬리게 된다는 문제점이 있었다.
본 발명은, 프레임 보간을 함에 있어 기존의 기술에서 반복적으로 되풀이되는 영상을 기존의 고속 변환 영상과 같이 처리하던 방법과 달리, 별도의 알고리즘을 따라 처리하도록 하여, 블러링 현상이 발생하여 화질이 열화되던 기존의 문제점을 해소하는 것을 목적으로 한다.
본 발명의 목적에 따라 프레임 레이트 컨버전(Frame Rate Conversion)시의 프레임 보간하는 장치는, 입력된 프레임에 대한 SAD Map 연산을 수행하여 블록 매칭을 시키는 연산부, 상기 SAD값을 이용하여 영상이 반복 패턴으로 나타나는지를 판단하는 반복패턴 판단부, 상기 SAD값을 통해 모션 벡터를 계산하는 모션 벡터 추출부, 상기 모션 벡터의 값을 이용하여 영상이 고속으로 변화하는 영상인지를 판단하는 고속 변환 영상 판단부 및 상기 판단부의 판단 결과에 따라 보간 프레임의 화소값을 달리하는 보간부를 포함한다.
한편, 본 발명에 따라 프레임 보간을 하는 방법은, 앞뒤 프레임의 블록을 설정하는 단계, SAD 매핑 연산을 실행하고 매칭되는 블록을 탐색하는 단계, 입력되는 영상신호가 반복 패턴으로 나타나는지 판단하는 단계, 상기 영상신호가 반복 패턴으로 나타난다고 판단되면, 앞 프레임의 화소값으로 보간하는 단계, 상기 반복 패턴이 아니라고 판단된 경우, 모션 벡터를 추출하는 단계, 상기 모션 벡터를 이용하여, 입력되는 영상신호가 빠르게 변화하는 고속 영상인지 판단하는 단계, 상기 고속 영상으로 판단된 경우, 앞뒤 프레임상에서 동일위치의 화소의 평균값으로 보간하는 단계, 상기 고속 영상으로 판단되지 않은 경우, 상기 모션 벡터를 이용하여 보간하는 단계를 포함한다.
이하에서, 도면을 참조하여 본 발명에 대해 구체적으로 설명한다.
먼저, 도2는 본 발명에 따라 프레임 보간을 하는 프레임 보간장치의 간략한 구성을 나타내는 블록도로써 연산부(210), 판단부(300) 및 보간부(250)를 포함하고 있다. 상기 판단부(300)는 반복 패턴 판단부(220), 모션 벡터 추출부(230) 및 고속 변화 영상 판단부(240)를 포함하는 부분을 관념적으로 지칭한 것이다. 본 발명은 프레임 보간 방법 및 장치에 관한 것이므로, 프레임 보간과 직접적인 연관이 없는 기타 영상 장치의 구성은 설명 및 도시를 생략하였다.
상기 연산부(210)는 앞뒤 프레임 사이에서 일정한 크기의 블록을 중심으로 하여 일정한 크기의 검색 범위를 설정하고, 상기 검색 범위 내에서 SAD(Sum of Absolute Difference :화소차의 절대치의 합)값을 연산한다. 이 경우 상기 SAD값은 상술한 수학식1을 이용하여 구할 수 있다. 상기 SAD값을 비교하여 가장 적은 값을 가지는 경우를 최적의 블록 매칭으로 판단한다. 상술한 바와 같이 이러한 검색 방법으로는 전역 검색(Full search) 방법, 3-step 검색 방법등이 사용되어 질 수 있다.
반복 패턴 판단부(220)는 상기 매칭되는 블록을 비교하여 영상이 반복되는지를 판단하게 된다. 상기 판단은 일반적으로 알려진 반복 패턴 인식 알고리즘을 이용할 수 있다. 상기 반복 패턴 인식 알고리즘의 일실시예로써 기 제안된 3단계 반복 패턴 인식 알고리즘에 대해서 간단히 살펴 보면, 첫번째 단계인 Diagonal Map Distance는 프레임의 블록에 대해서 각 대응화소의 차이에 대한 절대치를 합해서 MAE(Mean Absolute Error) MAP을 구하고, 대각선 상에 존재하는 MAE데이터의 차의 합을 나타내는 diagonal distance가 일정 이상의 임계값을 가지고 있으면 잠재적인 반복 패턴으로 인식한다. 두번째 단계인 MAE MAP Classification은 MAE Map을 소블록 규모로 분리한뒤, 각 블록의 MAE Ratio(Max/Min)값이 전체적으로 분포되어 있지 않고 대각선이나 상하 좌우로 치우쳐 분포되어 있는 경우는 유사 반복 패턴으로 간주하여 반복패턴에서 제외한다. 마지막 단계인 Modifide Median Filtering과정은 일반적으로 반복 영상은 밀집되어 있다는 특성을 이용하여 주변 블록과의 상관성을 고려하여 주변 블록(예로 3x3 블록)중에서 일정 개수 이상의 반복성을 가지고 있어야만 신뢰할 수 있는 반복 패턴 영상으로 간주한다. 이러한 방식의 알고리즘을 적용하여 영상의 반복성을 판단 할수 있다.
상기 반복 패턴 판단부(220)에서 반복 패턴으로 인식되면, 바로 보간부(250)로 신호를 보내고, 상기 보간부(250)는 앞 프레임의 동일 화소의 화소값을 이용하여 보간을 하게 된다.
모션 벡터 추출부(230)는 상기 반복 패턴 판단부(220)에서 반복 패턴이 아니라고 판단되면, 앞뒤 프레임의 SAD값으로부터 최적의 모션 벡터를 추출하게 된다. 이 경우 최적의 모션 벡터는 SAD값이 가장 작은 경우의 모션 벡터를 취한다.
고속 변화 영상 판단부(240)는 상기 모션 벡터 추출부(230)로부터 추출된 모션 벡터를 이용하여 영상이 빠르게 변화하는 영상인지 일반 영상인지를 판단한다. 즉, 모션 벡터가 일정 이상으로 큰 경우에는 빠른 영상으로 인식하고, 그외의 경우는 일반 영상으로 인식한다.
한편, 보간부(250)는 상기 판단부(300)에서 판단된 결과에 따라 보간 프레임의 화소값을 달리하여 보간한다.
도3은 본 발명에 따른 프레임 레이트 컨버전시의 프레임 보간 방법에 대한 알고리즘을 나타낸다. 이에 따르면, S410단계에서는 먼저, 보간 프레임의 앞뒤 프레임사이에서 일정한 크기의 블록을 설정한다.
다음으로, S420단계에서, 상기 블록을 중심으로 하는 일정한 크기의 검색 범위를 설정하고, 상기 검색 범위 내에서 SAD를 연산하고, 상기 SAD를 비교하여 가장 적은 값을 가지는 경우를 최적의 블록 매칭으로 판단한다.
S430단계에서는, 기존의 반복 패턴 인식 알고리즘을 이용하여, 상기 앞뒤 프레임의 매칭되는 블록간의 영상을 비교하여 반복패턴으로 나타나는 영상인지를 판단하게 된다. 반복 패턴 인식 알고리즘은 일반적으로 알려져 있는바 구체적 단계의 도시는 생략한다.
만약, 상기 단계에서 반복 패턴 영상으로 판단된다면, S440단계에서 보간부(250)는 보간될 프레임의 I화소의 값을 앞 프레임의 동일위치에 존재하는 A화소의 값으로 하여 보간을 하고 프레임 보간 과정이 종료된다.
만약, S430단계에서 반복 패턴 영상이 아니라고 판단되면, S450에서 모션 벡터를 추출하게 된다. 상기 모션 벡터는 상술한 바대로 SAD값을 통해 구할 수 있다.
다음, S440단계에서는, 고속으로 변하는 영상인지를 판단하게 된다. 즉, S440단계에서 추출된 모션 벡터 값이 일정 이상으로 큰지를 판단하고 만약 크다면 고속 변환 영상이라고 인식하게 된다. 이러한 인식과정도 반복 패턴 영상인 경우와 마찬가지로 기존의 고속 영상 인식 알고리즘에 따라 처리될 수 있다.
만약, 고속으로 변하는 영상으로 판단되면, S470에서 보간부(250)는 보간될 프레임의 I화소를 앞뒤 프레임상의 동일 위치에 존재하는 A화소, B화소의 평균값으로 하여 보간하게 된다. 만약, 고속으로 변하지 않는 일반 영상으로 판단되면, S480에서 보간부(250)는 화소C, 화소D로의 모션 벡터를 이용하여, 보간하게 된다.
도4는 이러한 보간과정을 나타내는 도면이다. 도면에서의 세개의 라인(line)은 각각 이전 프레임, 보간 프레임 및 이후 프레임을 나타내고, 각 라인상에 배열된 원형부분은 프레임상의 각각의 화소를 나타낸다. 도4a는 반복 패턴으로 인식되는 경우의 보간 방법을 나타내는데, 이경우 보간될 프레임의 화소 I는 이전 프레임상의 동일 위치, 즉 화소A의 값으로 보간된다. 한편, 도4b는 빠른 영상으로 인식되는 경우로써, 보간될 프레임의 화소I는 앞뒤 프레임의 동일 위치의 화소값, 즉, 화소A, 화소B의 평균값으로 보간된다. 도4c는 일반 영상인 경우로써, 이 경우는 프레임간의 모션 벡터를 이용하여 보간한다. 즉, 프레임 B에서 프레임 A로의 모션 벡터 MVBA 및 프레임 B에서 프레임 C로의 모션 벡터 MVBC를 이용하여 보간하게 된다.
본 발명과 같이 반복 패턴 영상에 대하여 이전 프레임의 동일 위치의 화소값으로 보간하게 되면, 기존에 블러링 현상이 발생하던 점을 해결할 수 있다. 도5는 기존의 방법으로 보간하는 경우(도5a)와 본 발명의 방법에 따라 보간하는 경우(도5b)를 각각 시뮬레이션하여 비교한 것이다. 도5a의 보간된 프레임에서 현저하게 영상이 흐려지는 것을 볼 수 있는데, 도5b는 비교적 선명하게 나타나는 점을 볼 수 있다.
한편, MSE(Mean Square Error)를 이용하여 구한 PSNR(Peak Signal to Noise Ratio)데이터를 구하여 비교하면, 기존 방식에 대한 본 발명의 효과가 현저하게 드러난다. 앞 프레임의 화소값 f1(i,j) 및 뒤 프레임의 화소값 f2(i,j)를 이용하여 MSE를 구하고, 이를 이용하여 PSNR을 구할 수 있다. 그 식은 다음과 같다.
상기 수학식에서 M은 블록의 폭, N은 블록의 길이를 나타낸다. 상기 수학식을 이용하여 구한 데이터를 표로 정리하여 보면, 다음과 같다.
반복 패턴 영상을 모션 벡터를 이용하여 보간한 경우 반복 패턴 영상을 앞뒤 프레임의 화소평균을 이용하여 보간한 경우 반복 패턴 영상을 앞 프레임의 화소값을 그대로 이용하여 보간한 경우
PSNR 15.8 dB 24.9 dB 100 dB
표1을 살펴보면, 반복패턴 영상에 대해서는 앞프레임의 화소값을 그대로 이용하여 보간하는 경우, 즉, 본 발명에 따라 보간한 경우에 가장 PSNR이 높게 나타난다. 앞뒤 프레임의 화소 평균을 이용하여 보간하는 경우는 모션 벡터를 이용하여 보간하는 경우보다는 PSNR이 높게 나타나지만 본 발명에 따른 경우보다는 현저하게 떨어지는 것을 알 수 있다.
본 발명에 따른 보간방법을 정리해 보면, 반복 패턴을 가지는 영상의 경우(도4a의 경우), 보간될 프레임의 화소I는 fB(i,j)=fA(i,j)의 값으로 보간한다.
다음, 빠른 영상의 경우(도4b의 경우), 화소I는 의 값으로 보간한다.
마지막으로, 일반 영상으로 판단된 경우(도4c의 경우), 보간될 프레임의 화소I는 의 값으로 보간한다.
본 발명의 프레임 보간 방법에 의하면, 일반 영상 및 빠른 영상인 경우에는 기존의 보간 방법에 따라 보간하나, 반복적으로 되풀이되는 영상에 대해서는 앞 프레임의 화소값을 그대로 이용하여 보간함으로써, 기존에 반복 패턴 영상의 보간시 블러링 현상이 나타나던 문제점을 해결할 수 있다. 이러한 점은 시각적으로도 또한 데이터 상으로도 잘 나타난다. 즉, 도5a의 보간 프레임에서 나타나는 블러링 현상이 도5b에서는 말끔하게 해소되어 있는 점을 볼 수 있고, 표1에 나타난 데이터를 비교하여 보아도 본 발명의 보간방법에 따라 보간한 경우 반복 패턴 영상의 PSNR이 훨씬 높게 나타남을 알 수 있다.
이상, 본 발명의 상세한 설명은 예시 및 설명의 목적으로 제공되었으며, 본 발명을 이에 한정하려는 것은 아니다. 상기 설명에 비추어 당해 기술분야의 숙련된 기술자는 본 발명의 기술적 사상과 범위를 벗어나지 않고 개량과 변형이 가능하다.
도1은 일반적으로 사용되는 대칭적 블록 매칭 방법을 나타내는 도면,
도2는 본 발명에 따라 프레임 보간을 하는 장치의 간략한 구성을 나타내는 블록도,
도3은 본 발명에 따라 프레임 보간을 하는 방법에 대한 순서도,
도4a, 도4b, 도4c는 각각 입력영상이 반복패턴, 고속 변환 영상, 일반 영상인 경우에 보간하는 방법을 나타내는 도면,
그리고,
도5a, 도5b는 각각 기존의 보간 방법에 따른 반복패턴 영상에 대한 시뮬레이션 결과, 본 발명의 보간 방법에 따른 반복패턴 영상에 대한 시뮬레이션 결과를 나타낸다.

Claims (7)

  1. 프레임 레이트 변환시에 사용되는 프레임 보간 장치에 있어서,
    입력된 영상신호중 보간될 프레임의 앞뒤 프레임에 대한 SAD Map 연산을 수행하여 블록 매칭을 시키는 연산부;
    상기 블록 매칭된 프레임의 영상패턴 특성을 판단하는 판단부; 및,
    상기 블록 매칭된 프레임의 영상패턴이 반복패턴이라고 판단되면, 상기 앞 프레임의 화소값을 이용하여 보간될 프레임의 화소값을 결정하는 보간부;를 포함하는 것을 특징으로 하는 프레임 보간 장치.
  2. 제1항에 있어서,
    상기 판단부는,
    SAD값을 이용하여 영상이 반복 패턴으로 나타나는지를 판단하는 반복패턴 판단부;
    상기 SAD값을 통해 모션 벡터를 계산하는 모션 벡터 추출부; 및,
    상기 모션 벡터의 값을 이용하여 영상이 고속으로 변화하는 영상인지를 판단하는 고속 변환 영상 판단부;를 더 포함하는 것을 특징으로 하는 프레임 보간 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 보간부는,
    영상이 반복패턴으로 나타나지 않고 고속으로 변화하는 경우, 상기 앞뒤 프레임 상에서 동일 위치의 화소값의 평균을 이용하여 보간하고,
    영상이 반복 패턴으로 나타나지 않고 고속으로 변화하지도 않는 경우, 상기 앞뒤 프레임의 모션 벡터를 이용하여 보간하는 것을 특징으로 하는 프레임 보간 장치.
  5. 앞뒤 프레임의 블록을 설정하는 단계;
    SAD 매핑 연산을 실행하여 매칭되는 블록을 탐색하는 단계;
    입력되는 영상신호가 반복 패턴으로 나타나는지 판단하는 단계;및
    상기 영상신호가 반복 패턴으로 나타난다고 판단되면, 앞 프레임의 화소값으로 보간하는 단계;를 포함하는 것을 특징으로 하는 프레임 보간 방법.
  6. 제5항에 있어서,
    상기 반복 패턴이 아니라고 판단된 경우, 모션 벡터를 추출하는 단계;
    상기 모션 벡터를 이용하여, 입력되는 영상신호가 빠르게 변화하는 고속 영상인지 판단하는 단계;및
    상기 고속 영상으로 판단된 경우, 앞뒤 프레임 상에서 동일위치의 화소의 평균값으로 보간하는 단계;를 더 포함하는 것을 특징으로 하는 프레임 보간 방법.
  7. 제6항에 있어서,
    상기 고속 영상으로 판단되지 않은 경우, 상기 모션 벡터를 이용하여 보간하는 단계;를 더 포함하는 것을 특징으로 하는 프레임 보간 방법.
KR10-2003-0030372A 2003-05-13 2003-05-13 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치 KR100530223B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR10-2003-0030372A KR100530223B1 (ko) 2003-05-13 2003-05-13 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
JP2004100188A JP4162621B2 (ja) 2003-05-13 2004-03-30 フレームレート変換時のフレーム補間方法およびその装置
CNB2004100328898A CN1275470C (zh) 2003-05-13 2004-04-13 在帧速率转换时的帧内插方法及其设备
US10/838,325 US7460172B2 (en) 2003-05-13 2004-05-05 Frame interpolating method and apparatus thereof at frame rate conversion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0030372A KR100530223B1 (ko) 2003-05-13 2003-05-13 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20040098162A KR20040098162A (ko) 2004-11-20
KR100530223B1 true KR100530223B1 (ko) 2005-11-22

Family

ID=33411710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0030372A KR100530223B1 (ko) 2003-05-13 2003-05-13 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치

Country Status (4)

Country Link
US (1) US7460172B2 (ko)
JP (1) JP4162621B2 (ko)
KR (1) KR100530223B1 (ko)
CN (1) CN1275470C (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100462629B1 (ko) * 2002-12-13 2004-12-23 삼성전자주식회사 반복 패턴 판단 방법 및 이를 이용한 프레임 보간 방법 및이에적합한 장치
JP4359223B2 (ja) * 2004-10-29 2009-11-04 株式会社 日立ディスプレイズ 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置
JP4489033B2 (ja) * 2005-03-25 2010-06-23 三洋電機株式会社 フレームレート変換装置、パン・チルト判定装置および映像装置
JP4453647B2 (ja) * 2005-10-28 2010-04-21 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
KR20070074781A (ko) * 2006-01-10 2007-07-18 삼성전자주식회사 프레임율 변환장치
US8842730B2 (en) 2006-01-27 2014-09-23 Imax Corporation Methods and systems for digitally re-mastering of 2D and 3D motion pictures for exhibition with enhanced visual quality
US8204104B2 (en) * 2006-03-09 2012-06-19 Sony Corporation Frame rate conversion system, method of converting frame rate, transmitter, and receiver
JP4730183B2 (ja) 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
WO2007129257A1 (en) * 2006-05-04 2007-11-15 Koninklijke Philips Electronics N.V. Controlled frame rate conversion
CN100584006C (zh) * 2006-06-20 2010-01-20 中兴通讯股份有限公司 一种基于时间分辨率变换的视频转换处理方法
EP2160037A3 (en) 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
JP4868968B2 (ja) * 2006-07-31 2012-02-01 株式会社東芝 補間フレーム作成方法及び補間フレーム作成装置
TWI335184B (en) * 2007-05-09 2010-12-21 Himax Tech Ltd Method of doubling frame rate of video signals
US20080304568A1 (en) * 2007-06-11 2008-12-11 Himax Technologies Limited Method for motion-compensated frame rate up-conversion
US8325271B2 (en) * 2007-06-12 2012-12-04 Himax Technologies Limited Method of frame interpolation for frame rate up-conversion
GB2450121A (en) * 2007-06-13 2008-12-17 Sharp Kk Frame rate conversion using either interpolation or frame repetition
US8411205B2 (en) * 2007-07-11 2013-04-02 Olympus Corporation Noise reducing image processing apparatus
JP2009077382A (ja) * 2007-08-27 2009-04-09 Sony Corp 画像処理装置および方法、並びにプログラム
JP5023893B2 (ja) * 2007-08-31 2012-09-12 ソニー株式会社 表示装置
JP2009060377A (ja) * 2007-08-31 2009-03-19 Toshiba Corp 補間フレーム生成装置及び補間フレーム生成方法
CN101159862B (zh) * 2007-11-29 2010-06-09 北京中星微电子有限公司 帧率控制方法及装置
JP5142373B2 (ja) * 2007-11-29 2013-02-13 パナソニック株式会社 再生装置
JP4309453B2 (ja) * 2007-12-26 2009-08-05 株式会社東芝 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
WO2010046989A1 (ja) * 2008-10-23 2010-04-29 パイオニア株式会社 フレームレート変換装置、画像処理装置、表示装置、フレームレート変換方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP4406892B1 (ja) * 2008-11-28 2010-02-03 日本ビクター株式会社 繰り返しオブジェクト検出装置及び方法
JP5187266B2 (ja) * 2009-04-21 2013-04-24 株式会社Ｊｖｃケンウッド 動きベクトル検出装置及び方法
US8643777B2 (en) * 2009-09-25 2014-02-04 Vixs Systems Inc. Pixel interpolation with edge detection based on cross-correlation
TWI501649B (zh) * 2011-05-31 2015-09-21 Jvc Kenwood Corp 影像訊號處理裝置及方法
CN102811332B (zh) * 2011-05-31 2015-04-15 Jvc建伍株式会社 影像信号处理装置以及方法
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム
KR102192488B1 (ko) * 2015-11-25 2020-12-17 삼성전자주식회사 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US10057538B2 (en) * 2017-01-16 2018-08-21 Gopro, Inc. Apparatus and methods for the selection of one or more frame interpolation techniques
CN109729365B (zh) 2017-10-27 2021-03-26 腾讯科技（深圳）有限公司 一种视频处理方法、装置及智能终端、存储介质
KR20210066619A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 전자 장치 및 그 제어 방법
US11847737B2 (en) * 2021-04-09 2023-12-19 Nvidia Corporation Temporal denoiser quality in dynamic scenes
WO2022255612A1 (en) 2021-06-03 2022-12-08 Samsung Electronics Co., Ltd. Method and electronic device for rectifying an image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217263A (ja) 1993-01-20 1994-08-05 Oki Electric Ind Co Ltd 動き補正方式の内挿信号生成装置
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
JP2001054075A (ja) * 1999-08-06 2001-02-23 Hitachi Ltd 画像信号の動き補償走査変換回路
WO2001013647A1 (en) 1999-08-17 2001-02-22 Tiernan Communications, Inc. Method and apparatus for telecine detection
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
KR100351160B1 (ko) 2000-12-06 2002-09-05 엘지전자 주식회사 영상 움직임 보상 장치 및 방법
KR100750108B1 (ko) 2001-03-02 2007-08-17 삼성전자주식회사 비월 비디오 시퀀스에서 반복적 움직임을 검출하기 위한방법 및 장치와 비월 비디오 신호 처리를 위한 장치
KR100393066B1 (ko) * 2001-06-11 2003-07-31 삼성전자주식회사 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법

Also Published As

Publication number Publication date
CN1275470C (zh) 2006-09-13
JP2004343715A (ja) 2004-12-02
CN1551637A (zh) 2004-12-01
US7460172B2 (en) 2008-12-02
US20040227851A1 (en) 2004-11-18
JP4162621B2 (ja) 2008-10-08
KR20040098162A (ko) 2004-11-20

Similar Documents

Publication Publication Date Title
KR100530223B1 (ko) 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
JP4001400B2 (ja) 動きベクトル検出方法及び動きベクトル検出装置
JP4519396B2 (ja) 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
JP5594968B2 (ja) ビデオ画像間の運動を確定するための方法と装置
KR100575116B1 (ko) 움직임추정을위한전처리방법및장치
KR100579493B1 (ko) 움직임 벡터 생성 장치 및 방법
US20040114688A1 (en) Device for and method of estimating motion in video encoder
WO2007078800A1 (en) Motion estimation using prediction guided decimated search
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
KR20100114499A (ko) 후광현상이 줄어든 영상보간 장치 및 방법
US20110206127A1 (en) Method and Apparatus of Frame Interpolation
KR100565066B1 (ko) 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
Kim et al. An efficient motion-compensated frame interpolation method using temporal information for high-resolution videos
JP3674186B2 (ja) 画像情報変換装置および方法
KR19980036073A (ko) 움직임 벡터 검출 방법 및 장치
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
CN111294545A (zh) 图像数据插值方法及装置、存储介质、终端
JP3724008B2 (ja) 画像情報変換装置および係数データ作成装置
KR100208984B1 (ko) 물체의 윤곽선을 이용한 움직임 벡터 추정 장치
KR0185841B1 (ko) 영상 부호기에서의 움직임 추정 장치
Csillag et al. Enhancement of video data using motion-compensated postprocessing techniques
RU2308817C1 (ru) Способ и устройство масштабирования динамического видеоизображения
KR100471186B1 (ko) 영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱장치 및 방법
JP3018021B2 (ja) 動きベクトル抽出方法及び動きベクトル抽出装置
KR970003099B1 (ko) 커버/언커버된 영역을 고려한 이동벡터 추정장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20030513

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20050615

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20051027

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20051115

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20051116

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20081031

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20091029

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20101028

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20111028

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20121030

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20131030

Start annual number: 9

End annual number: 9

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20151009