Nothing Special   »   [go: up one dir, main page]

KR100582856B1 - 움직임 추정 및 움직임 보상된 보간법 - Google Patents

움직임 추정 및 움직임 보상된 보간법 Download PDF

Info

Publication number
KR100582856B1
KR100582856B1 KR1019997004575A KR19997004575A KR100582856B1 KR 100582856 B1 KR100582856 B1 KR 100582856B1 KR 1019997004575 A KR1019997004575 A KR 1019997004575A KR 19997004575 A KR19997004575 A KR 19997004575A KR 100582856 B1 KR100582856 B1 KR 100582856B1
Authority
KR
South Korea
Prior art keywords
motion
motion parameter
picture
video data
parameter sets
Prior art date
Application number
KR1019997004575A
Other languages
English (en)
Other versions
KR20000069107A (ko
Inventor
드하안게라드
슈트텐로버트얀
펠라고티안나
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20000069107A publication Critical patent/KR20000069107A/ko
Application granted granted Critical
Publication of KR100582856B1 publication Critical patent/KR100582856B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 움직임 추정 방법에서, 적어도 2개의 움직임 파라미터 세트들은 입력 비디오 데이터(n, n-1)로부터 생성되며(PE1-PEn), 움직임 파라미터 세트는 화상 내의 움직임을 기술하는 파라미터들의 세트이고, 상기 움직임 파라미터 세트에 의해 움직임 벡터가 계산될 수 있다. 하나의 움직임 파라미터 세트는 화상 내의 모든 화상 부분들에 대한 제로 속도를 가리키고, 움직임 파라미터 세트 각각은 대응하는 국부적 정합 에러를 갖는다. 출력 움직임 데이터는, 적어도 2개의 움직임 파라미터 세트들에 의존하여 입력 비디오 데이터(n, n-1)로부터 결정되고, 출력 움직임 데이터를 계산하는데 있어서 움직임 파라미터 세트 각각의 중요도는 움직임 파라미터 세트들의 국부적 정합 에러에 의존한다.
움직임 파라미터 세트, 움직임 추정, 움직임 보상, 정합 에러, 보간

Description

움직임 추정 및 움직임 보상된 보간법{Motion estimation and motion-compensated interpolation}
본 발명은 움직임 추정 방법 및 장치와 움직임-보상된 보간 장치를 포함하는 비디오 디스플레이 장치에 관한 것이다.
움직임 벡터들은 코딩, 잡음 감소 및 스캔 속도 변환 등의 응용 영역에 사용된다. 이들 응용들 중 일부, 특히 프레임 속도 변환은 물체의 참-움직임을 추정할 필요가 있다[참고 10,11]. 다른 응용들, 예를 들면 비월-대-순차(interlaced-to-sequential) 스캔 변환은, 잔존 엘리어스(alias)의 진폭을 낮추기 위해 움직임 벡터들의 높은 정확성을 요한다[참고 12, 13]. 마지막으로, 움직임 추정기의 단가가 결정적으로 중요한 범주의 응용들, 예를 들면 움직임 추정의 소비자제품 응용 분야가 있다[참고 14, 15]. 참-움직임 추정을 달성하기 위한 여러 가지 알고리즘들이 제안되어 왔다[참고 3,10,11,15-17]. 복잡도가 낮은 움직임 추정을 실현하기 위한 알고리즘 역시 제안되어 왔으며[참고 3,14,15,18-20], 대개 서브-화소 정확도를 허용하는 펠-재귀적(pel-recursive) 알고리즘 외에(예, [참고 21,22] 참조), 고도로 정확한 움직임 벡터들을 산출하는 많은 블록-매칭 알고리즘들이 보고되고 있다[참고 10,23,24].
수년 전에, 프레임 속도 변환에 필요한 참-움직임 추정을 소비자 제품 응용에 요구된 낮은 복잡성 요건과 결합한 재귀적 검색 블록-정합기(recursive search block-matcher)가 제안되었다[참고 3]. 이러한 설계는, 필름 자료를 텔레비전 상에 표시할 때 그 움직임 묘사를 개선하고, 전송 속도가 상이한 화상 리프레시 속도로 시퀀스를 디스플레이할 때 발생하는 움직임의 경우에 화상 디테일이 흐릿해지는 것을 제거하기 위해 움직임 추정 및 보상 기술을 적용한 필립스 IC(MELZONIC, SAA4991)[참고 6,25]로 상용화되어 있다. 이러한 처리의 주된 해결 과제는, 스크린의 주어진 위치에서 물체가 이동하는지의 여부와, 이동하는 경우, 얼마나 빠르게 어느 방향으로 이동하는지를 가리키는 움직임 벡터를 추정하는 것이다. 공지된 IC에서 이러한 과제는, 화상을 블록들로 분할하고, 정합 기준을 최소화함으로써 모든 화소들의 블록에 대해 움직임 벡터를 계산하는 이른바 블록-정합기에 의해 수행된다. 이러한 처리의 위험은, 움직임 벡터 필드가 원치 않는 불균일성을 겪는 경우에 인접한 화상들로부터 보간되고 움직임 벡터들을 이용하는 움직임-보상된 화상은 블록 왜곡을 보일 수 있다는 점이다. 이러한 위험을 허용 가능한 수준으로 낮추기 위해, 참고문헌 [참고 6]에서의 IC는 후보 벡터[참고 3]의 공간적 및 시간적 예측에 기초한 개선된 일관성을 갖는 블록-정합기를 적용한다. 움직임 추정에 대한 이러한 접근법의 유익한 부수적 효과는 기능에 필요한 처리 전력이 상당히 감소한다는 것으로서, 이것은 특히 후보 벡터 개수가 대단히 제한되기 때문이다.
컴퓨터 비전 및 패턴 인식에 대한 1993 IEEE 컴퓨터 소사이어티 컨퍼런스 회보 361-366페이지, J.Y.A. Wang 및 E.H. Adelson의 논문 "움직임 분석을 위한 층별 표시(Layered representation for motion analysis)" [참고 29]는, 동종 움직임 분석(affine motion analysis) 및 클러스터링 기술(clustering technoque)을 사용하여, 화상을 동일한 방향으로 움직이는 영역들로 분할하는 기술을 개시하고 있다. 화상은 어클루젼(occlusion) 및 심도 정렬(depth ordering)에 관한 정보와 함께 한 세트의 층들로 분해된다. 장면은 4개의 층으로 분석되고, 그 다음 연관된 움직임 파라미터들와 함께 각각의 층의 단일 화상으로 시퀀스가 표시된다.
특히, 본 발명의 목적은 복잡도가 한층 더 감소된 움직임 추정기를 제공하는 것이다. 이를 위해, 본 발명의 제1 특징은 특허청구 범위 제1항 및 제9항에 정의된 방법 및 장치를 제공한다. 본 발명의 제2 특징은 특허청구 범위 제7항 및 제10항에 정의된 방법 및 장치를 제공한다. 본 발명의 제3 특징은 특허청구 범위 제11항에 정의된 비디오 디스플레이 장치를 제공한다. 유익한 실시예들은 종속항들에 정의된다.
본 발명의 주된 특징에 따라 움직임을 추정하는 방법에서, 적어도 2개의 움직임 파라미터 세트들이 입력 비디오 데이터로부터 생성되며, 움직임 파라미터 세트는 화상 내의 움직임을 기술하는 파라미터들의 세트가고, 상기 움직임 파라미터 세트에 의해 움직임 벡터들이 계산될 수 있다. 하나의 움직임 파라미터 세트는 화상 내의 모든 화상 부분들에 대한 제로 속도를 나타내고, 움직임 파라미터 세트 각각은, 화소 블럭마다 결정되는 정합 에러와 같은 대응하는 국부적인 정합 에러들을 가진다. 출력 움직임 데이터는 적어도 2개의 움직임 파라미터 세트들에 의존하여 입력 비디오 데이터로부터 결정되고, 여기서, 출력 움직임 데이터를 계산하는데 있어서 움직임 파라미터 세트 각각의 중요성(가중치 인자들(W)에 의해 결정됨, 수학식 17,18 및 수학식 20, 21 참조)은 움직임 파라미터 세트들의 국부적 정합 에러들에 의존한다. 국부적 정합 에러들은, 전체 화상에 대해 계산된 정합 에러들과 같은 전역적 정합 에러와 대조되는 것으로 이해되어야 한다.
본 발명의 또 다른 특징에 따른 비디오 데이터의 움직임-보상 방법에서, 적어도 2개의 움직임 파라미터 세트들이 입력 비디오 데이터로부터 생성되며, 하나의 움직임 파라미터 세트는 제로 속도를 가리키며, 움직임 파라미터 각각은 대응하는 정합 에러들을 가지며, 출력 비디오 데이터는 적어도 2개의 움직임 파라미터 세트들에 의존하여 입력 비디오 데이터로부터 보간되며, 출력 비디오 데이터를 계산하는데 있어서 움직임 파라미터 세트 각각의 중요성은 움직임 파라미터 세트들의 정합 에러들에 의존한다.
한 실시예에서, 그 감소는 상당하므로, 필립스 트리메디아(TriMedia) 프로세서와 같은 완전히 프로그램가능한 장치 상에서 처리가 수행될 수 있다.
본 발명의 이들 목적 및 다른 특징들은, 이하에 기술된 실시예들을 참조하면 명백해질 것이다.
도 1은 본 발명에 따른 움직임 보상에 대한 2가지 가능성을 도시하는 도면.
도 2는 본 발명에 따른 움직임-보상된 보간기(interpolator)의 제1 실시예를 도시하는 도면.
도 3은 본 발명에 따른 움직임-보상된 보간기의 제2 실시예를 도시하는 도면.
도 4는 본 발명에 따른 움직임 파라미터 추정기의 블록도.
도 5는 본 발명에 따른 양호한 파라미터 추정기를 도시한 도면.
[참고 5]에서, 화상 시퀀스로부터 전역적 움직임을 추정하는 방법이 개시되었다. 화상 내의 움직임은, 인덱스 n을 갖는 화상 내의 위치
Figure 112005065011158-pct00070
에서의 변위 벡터(displacement vector)로서
Figure 112005065011158-pct00071
을 사용하여, 2차원 1차 선형 방정식으로 기술할 수 있다고 가정한다:
Figure 112005065011158-pct00072
여기서, P1 은 카메라의 패닝(panning)이며, P2 는 틸팅(tilting)이며, P3은 주밍(zooming)이고, 전역적 움직임 벡터들의 추정만을 목표로 한다면, 파라미터 계산 수단으로의 입력은 [참고 5]에 기술된 것보다 더욱 간단해질 수 있음을 알 수 있다.
이와 같은 전역적 움직임 벡터만을 이용시에, 상향 변환(upconversion) 문제는 프로세싱의 가장 주된 해결 부분이 된다. [참고 1,4]는 화상 데이터의 강인한 움직임-보상된 시간적 보간 방법을 기술한다. 기본적인 개념은, 이전 필드(n-1)로부터 움직임 보상된 화소 mcl(eft), 다음 필드(n)로부터 움직임-보상된 화소 mcr(ight), 또는 양 인접 필드(n-1, n)로부터 움직임-보상되지 않은 평균(av) 중 어느 하나로 선택된 출력 화소를 생성하는 3-탭 메디안 필터로 구성되어 있다:
Figure 112005065011158-pct00073
이며, 여기서,
Figure 112005065011158-pct00074
Figure 112005065011158-pct00075
Figure 112005065011158-pct00076
Figure 112005065011158-pct00077
움직임 보상에 사용된 화소들이 도 1에 개략적으로 도시된다. 상당히 강인(robust)하지만, 이전 필드(n-1)에서 대응하는 화소 l(eft), 다음 필드(n)에서 대응하는 화소 r(ight), 또는 양 인접 필드(n-1, n)로부터 움직임 보상된 평균 mcav를 선택하는 출력 화소를 생성하는 3-탭 메디안 필터를 포함하는 우리의 새로운 매우 제한된 움직임 추정기를 위한, 훨씬 더 강인한 알고리즘을 고려해 볼 수 있다.
Figure 112005065011158-pct00078
이며, 여기서,
Figure 112005065011158-pct00079
Figure 112005065011158-pct00080
Figure 112005065011158-pct00081
그러나, 실제로 매우 강인한 이러한 상향-변환기는 움직임 보상의 이점을 심각하게 제한한다(움직임 보상은 보다 낮은 주파수들만으로 제한된다). 따라서, 양호한 실시예에 따라, 상향-변환기는 움직임 벡터의 기대되는 품질에 따라 제1 옵션과 제2 옵션 사이에서 적응된다. 제안된 보간기의 유리한 특징은 2개의 강인한 옵션들 간의 스위칭이 대단히 결정적이지는 않다는 것이다. 이는 대충의 결정이 허용될 수 있음을 의미하고, 이는 입력된 시퀀스의 (공간적으로) 감소된 크기 버전에 대한 적은 처리 전력으로 실현될 수 있다. 이와 같이 감소된 크기 입력 시퀀스는 파라미터 모델로부터 발생되거나 또는 제로 벡터로부터 발생되는, 위치당 (적어도) 2개의 움직임 벡터로 얻어진 정합 에러를 계산하는데 사용된다.
그 결과는 화상을 제로 벡터 모델 또는 계산된 파라미터 모델에 보다 적절한 층들로 분할하는 분할이다. 분할 마스크(Segmentation Mask; SM)은 상향-변환기 UC의 추가 입력으로서 현재 사용되고 있다. 상향-변환기는 앞서 기술된 두 상향-변환기들 사이에서 스위칭/페이드하기 위해 분할 마스크(SM)를 사용한다(도 2 참조). 유효한 파라미터 모델의 경우에, 상향-변환기는 수학식 2의 보간쪽으로 향하는 경향이 있고, 그렇지 않으면, 수학식 7의 보간쪽으로 향하는 경향이 있다.
도 2에서, l 및 r 값(도 1 참조)은 av값을 생성하기 위해 제1 평균기(AV1)에 적용된다. 제1 메디안 필터(MED1)는 av, mcl 및 mer 값 중 중앙값을 결정한다. mcl 및 mcr 값은 mcav 값을 생성하기 위해 제2 평균기(AV2)에 적용된다. 제2 메디안 필터(MED2)는 mcav, l 및 r 중 중앙값을 결정한다. 상향-변환기(UC1)는 분할 마스크(SM)에 의존하여 메디안 필터(MED1, MED2)의 출력 신호로부터 보간된 값을 공급한다. 상향-변환기(UC1)의 출력 신호는, 입력 비디오 데이터(n, n-1) 사이에 출력 비디오 데이터(n-1/2)를 디스플레이하기 위해 디스플레이 유닛(D)에 인가된다.
이 시점에서, 화상의 상이한 부분들(반드시 고정된 부분은 아님)에 대한 파라미터 모델 각각을 발생시키는 몇개의 파라미터 추정기 PE1 .. PEn들(층별 파라미터-기반의 추정기 및 상향-변환기를 보여주는 도 3 참조)가 병렬로 운영되는 다중 층들로의 확장이 고려될 수 있다. 이들 파라미터 추정기들(PEi)은 또 다시 각각의 모델이 유효한 경우에 대한 화상의 부분들을 발견하는 분할 회로(SC)의 입력이 된다. 즉, 화상의 각 부분에 대한 최상의 보간법을 가리키는 분할 마스크(SM)(파라미터 세트)를 결정한다. 상향-변환기(UC2)는 분할 마스크(SM)에 의존하여 화상 내의 각각의 분리된 층에 대한 최상의 보간법을 다시 선택하여야 한다.
도 3에서, 입력 필드(n)로부터 현재의 화상 데이터 및 입력 필드(n-1)로부터 이전 화상 데이터가 움직임 파라미터(p21-p2m .. pn1-pnm)를 결정하기 위해 파라미터 추정기(PE2 …PEn)에 인가된다. 제1 파라미터 추정기(PE1)는 제로 파라미터를 제공한다. 입력 필드들(n 및 n-1)도 역시 다운-샘플러(D1, D2)를 통해 분할 회로(SC)에 인가된다. 상향-변환기(UC2)는 입력 필드들(n 및 n-1)로부터 출력 필드(n-1/2)를 보간하기 위해, 분할 마스크(SM)가 가리키는 파라미터 세트로부터 수학식 1로 나타낸 방식으로 움직임 벡터를 계산한다. 가중치 인자(W)는 수학식 17 및 18과 중간 수학식 20과 21을 참조하여 이하에서 설명한다. 각각의 파라미터 추정기(PE2 .. PEn)는 움직임 파라미터들을 조절하기 위한 에러 계산을 포함한다. 이 계산은 대상 파라미터 추정기(subject parameter estimeter, PE)에 의해 다루어지는 파라미터 세트에 대응하는 화상 부분들로 제한되는 것이 바람직하다. 이 목적을 위해, 대응하는 양에 가중치가 적합하게 되도록 가중치 인자(W)가 할당된다(일종의 퍼지 로직). 그 때문에, 보간 시에 각각의 화소에 대해 최저 추정 에러를 산출하는 파라미터 세트가 사용된다.
이하에서, 양호한 파라미터 추정기들이 논의될 것이다.
[참고 2]에서, 화상 시퀀스로부터 전역적 움직임 파라미터들의 추정 방법이 기술된다. 이 문헌은, 구배-기반(gradient-based)의 방법, 시뮬레이션된 어닐링(simulated annealing) 등의 다-차원 최적화 문제를 해결하기 위한 다양한 옵션들에 초점을 맞추고 있다. 본 발명의 또 다른 특징에 따르면, 전용 실리콘의 단가를 감소시키거나 또는 심지어 프로그램가능한 아키텍처(특히, 필립스 트리메디아 프로세서)상에서의 처리를 가능케하기 위해, 현저하게 감소된 개수의 동작들로 이들 움직임 파라미터들이 추정된다.
[참고 5]에서, 화상 시퀀스로부터 전역적 움직임 파라미터를 추정하는 한 방법이 개시되어 있다. 화상 내의 움직임은 2차원 1계 선형 방정식으로 기술될 수 있다고 가정된다. 보다 복잡한 파라메트릭 움직임 모델들이 제안되었으며[참고 2], 사실상 본 발명과 조합하여 적용될 수 있지만, 본 명세서에서는 논의되지 않을 것이다. [참고 5]에서, 파라미터 모델은 블록-기반의 움직임 추정기에 대한 매력적인 후보 벡터를 발생시키기 위해 사용되었다. 파라미터 추정기로의 입력은 이 블록-기반의 추정기로부터 얻어진 이전의 출력 벡터 필드였다. 만일 전역적 움직임 벡터의 추정만을 목표로 한다면, 파라미터 계산 수단으로의 입력은 더 단순화될 수 있음을 알 수 있다.
명확성을 위해, 수학식 1의 4 파라미터 모델만으로 제한하고, 먼저 파라미터 벡터
Figure 112005065011158-pct00082
를 아래와 같이 정의한다:
Figure 112005065011158-pct00083
다수의 후보 파라미터 벡터들
Figure 112005065011158-pct00084
로부터 하기 식에 따라 계산된 정합 기준의 최소값을 갖는 것으로서
Figure 112005065011158-pct00085
를 선택하는 것을 우리의 과제로서 정의한다.
Figure 112005065011158-pct00086
이 에러 함수의 계산은 강한 서브-샘플링을 적용함으로써 매우 단순화될 수 있다. 실험 결과, 필드당 약 300개의 화소, 즉, 1000! 정도의 서브샘플링 인자 상에서 계산된 정합 기준에서 양호한 결과가 달성될 수 있다는 것이 드러났다. 그러나, 더 효과적인 방법은 클러스터링된 서브-샘플링이며, 즉, 선택된 화소들은 필드에 걸쳐 드문드문 분산된 그룹들을 형성한다.
최소화를 수행하는 제안은, 예측 벡터를 취하는 단계(적어도 3차원, 실시예에서는, 4차원), 적어도 하나의 갱신 벡터를 부가하는 단계, 및 수학식 13에 따라 최상의 벡터를 선택하는 단계를 포함한다. 하기 식에 따라 3개의 후보 파라미터 벡터들
Figure 112005065011158-pct00087
을 포함하는 후보 벡터 세트
Figure 112005065011158-pct00088
를 발생할 때, 양호한 결과가 실험적으로 얻어질 수 있었다.
Figure 112005065011158-pct00089
단,
Figure 112005065011158-pct00090
는 이전 필드에 대한 파라미터 벡터와 다른, 0이 아닌 m에 대한 후보 벡터를 획득하기 위한 갱신 벡터를 정의하며, 하기 식에 따라 선택된다.
Figure 112005065011158-pct00091
예를 들어, 시간적 평활(smoothness)을 얻기 위해, 개개의 후보 벡터들(파라미터 세트들)의 정합 에러에 패널티가 부가될 수 있다. 또한, 예측 루프 내부나 외부의 파라미터 벡터들의 시간적 필터링은, 하나의 화상으로부터 다른 화상으로의 움직임 벡터의 갑작스런 변화를 방지하도록 고려된다.
지금까지 명세서에서 파라메트릭 움직임 모델은 전체 화상의 전역적 움직임을 기술하는 것으로 제안하였지만, 화상이 몇 개의 블록, 예를 들면 9개의 큰 블록으로 분할되고, 가능한 예측으로서 시간적 예측 뿐만 아니라 하나 이상의 공간적 예측도 역시 가능한, 그러한 대안들을 고려해 볼 수도 있다. 또한, 분할을 포함하고, 고정된 개수의 파라미터 추정기가 병렬로 운영되고, 각각의 파라미터 추정기는 분할 알고리즘이 가리키는 화상의 한 세그먼트에 집중하는, 그러한 또 다른 대안도 가능하다.
동작 개수(operations count)는 믿을 수 없을 정도로 낮다. 에러 기준의 계산은, 매 반복(iteration)마다 후보 벡터당 약 1000개의 연산들에 상당한다. 상기 기술된 구현의 경우, 이것은 화소당
Figure 112005065011158-pct00022
연산을 초래한다. 이는 [참고 6]의 추정기와 비교해 보면 그 크기가 한 차수 또는 두 차수 정도 감소된 값이다.
도 4는 본 발명에 따른 움직임 파라미터 추정기의 블록도를 도시한다. 제1 및 제2 후보 파라미터 세트들(Cp1, Cp2)은, 2개의 후보 움직임 벡터들(Cv1, Cv2)을 얻기 위해 멀티플렉서(MUX) 및 파라미터-대-벡터 변환기(PVC)에 적용된다. 제1 후보 파라미터 세트(Cp1)는 멀티플렉서(MUX)의 이전 출력 파라미터 세트 P(n)이다. 제2 후보 파라미터 세트(Cp2)는 갱신 파라미터 세트(Up)를 제1 후보 파라미터 세트(Cp1)에 부가함으로써(가산기 AD) 얻어진다. 갱신 파라미터 세트(UP)는 mod(n) 카운터(CNT)의 결과를 룩업 테이블(LUT)에 적용함으로써 얻어진다. 2개의 에러(E1, E2)를 얻기 위해 후보 움직임 벡터(Cv1, Cv2)는 에러 계산기(EC)에 적용되고, 현재 필드 및 이전 필드(n, n-1)도 역시 적용된다. 최소 회로(MIN)는, 출력 파라미터 세트 P(n)를 얻기 위해, 어떤 에러가 더 작은지를 판정하여 멀티플렉서(MUX)에 대한 선택 신호(s)를 얻는다.
이하의 부분은 비디오 데이터로부터 움직임 파라미터들을 추정하는 양호한 방법들을 기술한다. 움직임 추정은 비디오 데이터의 코딩 및 스캔 속도 변환에 적용된다. 움직임 추정기로의 입력시에 이러한 비디오 데이터의 화상 속도는 통상적으로 고정되지만, 이러한 데이터의 발생지인 비디오 소스의 화상 속도는 처리된 데이터의 화상 속도와 상이할 수 있다. 특히, 이것은 필름 자료가 비디오로 변환될 때, 또는 한 비디오 표준의 비디오 자료가, 움직임 추정기 이전의 비디오 체인내의 다른 표준으로 변환될 때 발생한다.
필요한 화상 속도 변환을 다루는 통상적인 방식은, 새로운 화상이 이용가능할때까지 가장 최근의 화상을 이용하는 것이다. 느린 화상 속도로부터 보다 빠른 화상 속도로 변환될 때, 이는 새로운 포맷의 소스 화상의 반복을 의미하는 반면, 빠른 속도로부터 느린 속도로의 변환은 소스 재료 화상의 간헐적인 스킵을 초래한다. 어느 경우던, 생성된 비디오는 불규칙적인 움직임 패턴(이상 진동)을 나타내고, 이것은, 움직임은 강한 시간적 일관성을 가진다는 움직임 추정기에서의 공통적 가정을 위반한다. 이러한 가정으로부터 이익을 얻고자 시도하는 움직임 추정기에서, 시간적 예측 벡터들을 사용함으로써, 불규칙한 움직임 작용으로 인해 시간적 예측 벡터들의 유용성이 없어진다는 문제점이 발생한다. 추정된 움직임 벡터들의 심각한 열화가 발생할 수 있다.
[참고 9]에서, 50Hz 텔레비전 표준으로 전송되는 영화 자료에 대해 이 문제에 대한 해결책이 개시되었다. 그 아이디어는 반복적인 화상이 발생할 때 벡터 예측 메모리를 재순환(recirculate)시키는 것이다. [참고 8]에서, 반복적이지 않은 화상이 발생될 때까지 '이전' 화상을 저장한 화상 메모리가 재순환되는 방법이 기술되어 있다. 두 선행 기술 방법의 공통된 특징은, 메모리 제어를 변경하기 위해 패턴이 알려져야만 한다는 것이다.
본 발명의 현 특징의 목적은, 신뢰성있게 움직임을 추정하기 위해 반복 패턴의 선행적 지식을 요구하지 않으면서 매우 강인한 움직임 추정 방법을 제공하는 것이다. 이 목적을 위해, 움직임 추정기는 하나 이상의 이전 화상 쌍(반복 패턴의 최대 길이만큼)으로부터 시간적 예측 벡터들을 취하고, 이들중 최상의 것을 추정 과정에 대한 기초로서 선택하거나, 이들 모두를 정합 과정에서의 후보로서 사용한다.
이러한 해결책은 특히, 기억시킬 움직임 벡터의 개수가 매우 적은 객체-기반의 움직임 추정기에서, 경제적으로 정당화할 수 있다. 알고리즘의 소프트웨어 버전은 필립스 TM1000(TriMedia) 프로세서에 대해 실시간으로 수행하는 것으로 나타났다.
도 5는 본 발명에 따른 양호한 파라미터 추정기를 예시한다. 움직임 파라미터들 P(n)를 얻기 위해, 현재 필드(n)로부터 현재 화상 데이터 및 이전 필드(n-1)로부터 이전 화상 데이터가 움직임 파라미터 추정기 유닛(MPE)에 적용된다. 화상 지연(D1, D2, .. Dn)은 움직임 파라미터 추정기 유닛(MPE)에 대한 움직임 파라미터 P(n)의 지연된 버전들(TP1, TP2, .. TPn)을 제공한다.
본 개시의 이하의 부분은, 화상이 복수 개의 층으로 분할되는 것, 즉 층별 움직임 추정에 관한 것이다.
영역-기반의 움직임 추정기는 블록-기반의 움직임 추정기에 대한 대안으로서 도입되어 왔다. 블록-기술 움직임 보상은 H.261/263(ISDN 라인을 통한 비디오-회의), MPEG-1(멀티미디어) 및 MPEG-2(모든-디지털 TV 애플리케이션) 등의 비디오 압축에 대한 국제 표준으로 채택되고 있다. 이들 표준은 특정 움직임 추정 방법을 명시하고 있지 않지만, 블록-기반의 움직임 추정 방법이 자연스럽게 선택되고 있다.
그러나, 움직임 추정을 위한 단위로서 블록의 사용은 아티팩트를 감소시킬수도 있는데, 이것은, 물체의 경계는 일반적으로 블록의 경계에 대응하지 않으며, 어떠한 공간적-시간적 일관성 조건도 존재하지 않는다면, 인접한 블록들은 실질적으로 상이한 움직임 벡터들을 할당받을 수 있기 때문이다.
블록 아티팩트들의 문제를 해결하고 이동 가장자리를 따라 보다 정확한 예측을 제공하려는 한 유망한 시도는, 움직임 필드를 분할한 것이다. 움직임 정보 및 패턴 정보(세기, 윤곽 텍스처)는 영역-기반의 (임의적 형상의) 움직임 추정을 달성하기 위해 사용되고, 다음 목표는 물체, 가능하면 MPEG-4 '시청각적(AV) 물체'를 다루는 것이다.
화상을 분할하고, 화상 시퀀스로부터 이들 화상 세그먼트에 대한 움직임 파라미터를 추정하는 여러 가지 방법들이 제안되고 있다[참고 2]. 분할을 수행하는데 있어서 이들 방법의 전략에 따라, 이들 방법은 상향식 방법, 하향식 방법 및 층별 표시법으로 분류될 수 있다. 개개의 카테고리의 특성을 간단히 요약하자.
* 상향식 방법
이 과정은, 패턴 정보에 기초하거나 미리 계산된 밀도 움직임 벡터 필드에 기초한 화상의 인트라-프레임 분할에서 시작한다. 분할은 일반적으로 많은 수의 작은 영역들을 초래한다. 이어서, 이들 영역들은 일반적으로 그들의 움직임에 대한 정보를 사용하여 병합된다, 즉, 유사한 움직임을 갖는 영역들이 하나의 영역으로 병합되고, 그 다음, 움직임 파라미터들이 재계산된다. 이러한 방법은 그 목표가 객체-지향적 코딩일 때 상당히 대중적인 것으로 입증되었다. 이 예들은 [참고 26-29]에 있다.
* 하향식 방법
이 과정은 큰 영역들에서 초기 화상 분할에서 시작한다. 이들 영역들은 계산된 움직임 모델이 정확도가 결여되는 경우에 세분되고, 움직임 파라미터들이 재계산된다. 초기 분할은 일반적으로 변경된/변경되지 않은 규칙에 일반적으로 기초한다. 즉, 현재 화상은 이전 화상과 비교되어: 동일한 위치에서 한 프레임에서 휘도 값이 다른 프렘임 내의 휘도 값과 상당히 다르면, 화소는 '변경됨' 또는 그렇지 않으면 '변경되지 않음'으로 표시된다. 후속해서, '변경됨'으로 분류된 화상 부분은 그 영역에 대해 계산된 움직임 필드에 따라 움직임-보상될 수 있고, 상이한 움직임 영역들을 식별하기 위해 앞서 기술된 절차가 반복된다. 이 예들은 [참고 11, 30, 31, 36]에 있다.
2가지 기술은 조합될 수도 있다. 예를 들면, 초기 분할은 랜덤이거나 이전 추정[참고 11, 32]에 기초할 수 있다. 그리고, 연속적인 정밀화가 양 방향으로 일어난다. 추정 및 분할은 화상 시퀀스의 분석에 대한 통계학적 접근, 예를 들면 최대 가능성 추정 방법[참고 33]을 사용하여 동시에 수행될 수도 있다.
* 층별 표시법(layered representation methods)
이상적인 장면 분할은 분리된 객체들을 초래하며 3-D 정보를 포함하지만, 이것은 얻기 곤란하며 계산 집중적 방식이다. 따라서, 비디오 데이터는 분할되고 한 세트의 이동 층들, 즉, 단절된 경우에도 유사한 움직임을 보이는 화상 부분들로서 기술된다. 그 다음, 층들의 순서(깊이)가 결정된다. [참고 29,34,35]에 그 예가 있다. 완전한 3-D 모델보다 덜 복잡하고 시퀀스 내의 모든 물체를 다루는 모델보다 덜 복잡한 모델이 제안되었다. 이것은 양호한 실시예에서 채택된 모델이기 때문에, 이하에서 보다 상세히 기술할 것이다.
이들 층별 표시법에 따라, 비디오 데이터는 분할되고, 한 세트의 이동 층들, 즉, 단절된 경우조차 유사한 움직임을 보이는 영역들의 세트로서 기술된다. 그 다음, 층들의 순서(깊이)가 결정된다. 비디오 시퀀스의 층별 표시법은 스캔 속도 변한, 객체-트래킹, 비디오 압축, 코딩, 비디오 주해(annotation) 및 인덱싱 등의 여러 가지 용도에 대해 흥미를 유발한다. 층별 움직임 추정을 위한 많은 알고리즘이 이미 제시되었다[참고 29,34,37].
이들 알고리즘에서 중요한 점들중 하나는 움직임 추정/분할 문제를 해결하는 방식이다. 2가지 주요 접근법이 제안되었다.
* 순차 접근법
순차 접근법은 주된 움직임(dominant motion)을 순차적으로 추정함으로써 다중층들을 리졸브(resolve)하는데, 이것은 하향식 방법과 유사하다. 이러한 접근법의 주요 결점은, 한 층을 다루는 동안 최종 분할이 아직 알려지지 않았기 때문에, 상이한 움직임을 갖는 화상의 일부가 움직임 파라미터의 추정에 포함될 수 있고, 그 결과에 영향을 미칠 수 있다는 것이다.
* 동시 접근법
동시 접근법은 화상 내의 모든 층들을 동시에 추정하려 시도한다. 이는 미리-계산된 밀집한 움직임 벡터 필드를 사용함으로써 행해질 수 있다. 움직임 모델의 초기 세트는 주어진 움직임 벡터 필드[참고 29]에 대한 클러스터링 알고리즘을 사용함으로써 유도될 수 있다. 움직임 벡터 필드를 계산하는데 있어서, 약간의 평활 가정이 일반적으로 이루어진다. 이것은 그 경계가 객체/층 경계에 대응하지 않는 움직임 벡터 필드를 유도할 수 있으므로, 정확한 분할은 가능하지 않다. 대안으로서, 그 문제는 확률론적 문제로서 공식화될 수 있고, 다수의 모델들 및 이들의 지지층들의 최대 가능성 추정 방법이 기대치-최대화 알고리즘(Expectation-Maximisation algorithm)[참고 36]을 사용하여 수행될 수 있다. 마지막에 언급한 2개 방법들의 주요 결점은 이들의 복잡도이다.
다른 중요한 점은 움직임 파라미터들이 추정되는 방식이다. 움직임 파라미터들의 추정이 휘도(luminance) 신호 자체에 대해 수행되는지의 여부에 의존하여, 직접 또는 간접으로서 분류될 수 있다. 직접적인 방법은 일반적으로 보다 강인한 것으로 간주된다. [참고 2]에서, 화상 시퀀스로부터 전역적 움직임 파라미터를 추정하는 여러 가지 방법이 기술된다. 구배-기반의 방법, 시뮬레이션된 어닐링 등의 다중-차원 최적화 문제를 해결하기 위한 여러 가지 옵션이 제안되고 있다. 제안된 알고리즘의 목적은 프로그램가능한 아키텍처 상의 움직임 추정이 가능하도록 현저하게 감소된 동작 개수로 이들 움직임 파라미터를 추정하는 것이다.
명세서의 현 부분의 논제는 전용 실리콘의 비용을 감소시키거나 심지어 프로그램가능한 아키텍처(특히, 필립스 트리메디아(TriMedia) 프로세서) 상에서의 처리를 가능케하기 위해 현저히 감소된 동작 수로 화상 시퀀스들을 추정/분할하는 것이다.
본 발명의 현재 특징은 층별 표시법을 목표로하는 움직임 추정/분할을 다룬다. 비록 간접적인 버전이 그럴듯하게 보이긴지만, 구현 비용을 가능한한 낮게 유지하기 위해, 직접적인 방법으로서 구현에 초점을 맞추었다. 이는 조합된 움직임/분할의 선후 문제에 대한 격조 높은 해결책을 제공한다. 그 해답은 병렬로 동작하는 다른 파라미터 추정기들에 의해 다뤄진 정보에 의해, 주어진 층에 대한 파라미터 추정기의 최적 기준의 오염을 제한하는 가중치 과정으로 구성된다. 기존 프로그램가능한 아키텍처 상에서 실시간 동작하도록 움직임 추정기를 설계하는 것은 움직임 추정 문제에 대하여 심각한 제약을 부과하는데, 그 이유는 알고리즘의 복잡도가 극적으로 감소되어야 하기 때문이다. 층별 움직임 추정기는 이러한 목적으로 선택되었는데, 그 이유는, 블록들보다 더 적은 수의 층이 존재한다는 것을 알고 있을 때, 예를 들면 블록-기반의 움직임 추정보다 프로그램가능한 아키텍처 상의 구현이 잠재적으로 더 용이한 것으로 믿어지기 때문이다.
층별 표시법에서, 화상은, 다수의 층들, 즉, 단절된 경우조차 일관된 움직임을 보이는 화상 부분들로 분할된다. 어느 시퀀스의 외관적 움직임(광학적 흐름)은 파라메트릭 모델로 기술될 수 있다고 가정한다. 즉, 움직임은 단지 카메라 움직임과 불투명한 객체의 그리드 움직임(rigid motion)의 조합에 기인하는 것으로 가정한다. 따라서, 한 세트의 움직임 파라미터들은 움직임 필드 그 자체 대신에 각각의 층에 대해 추정될 수 있다.
유사한 움직임을 보이는 영역들 내의 화상들의 시퀀스를 분할하고 동시에 이들의 움직임을 추정하는 것은 그 자체로서 까다로운 문제인데, 이는 2가지 할당이 상호-의존적이기 때문이다. 하나의 영역에서 움직임을 정확히 추정하기 위해서는, 그 영역은 알려져야 한다. 그러나, 일관적으로 이동하는 화상의 영역들을 판별하기 위해서는 그들의 이동이 알려져야 한다. 유사-동시 움직임 추정 및 고정된 수의 층들까지의 분할을 위한 새로운 방법이 제공된다. 우리는 각각의 층에 대한 움직임 파라미터를 추정하는 문제를 해결하고, 동시에 각 층에 상이한 등급을 주는 계층구조를 도입하여 화상을 분할한다. 이러한 계층구조가 의미하는 2가지 목표는,
* 특정 층이 계층구조내의 보다 상위층에 의해 잘 커버되는 모든 화상 부분에 대해 추정되는 것을 방지하고,
* 특정 층이 계층구조내의 보다 하위층에 의해 잘 커버되는 화상 부분들에 의해 오염되는 것을 방지하는 것이다.
이어서, 파라미터 벡터들은 재귀적 접근법을 사용하여 병렬로 추정된다. 즉, 각각의 층에 대해 앞서 추정된 파라미터 벡터는 어느 갱신 벡터들이 부가되는지에 대한 예측으로서 사용된다. 선택된 파라미터 벡터는 최저 정합 에러를 초래하는 것이다. 이 후, 모든 층들의 파라미터 벡터들은, 화상을 상이한 층들로 분할하는데 있어서 함께 사용된다.
각각의 층(1)의 움직임은 단순 움직임 모델에 의해 기술된다. 층 내의 움직임은, 화상 내의 위치
Figure 112005065011158-pct00092
에서 층(1)의 변위 벡터에 대하여 인덱스 n과 함께
Figure 112005065011158-pct00093
을 사용한 2차원 1차 선형 모델에 의해 기술될 수 있다고 가정한다.
Figure 112005065011158-pct00094
이러한 4-파라미터 모델에 의해, 줌과 마찬가지로 수평 및 수직적 변환(팬 및 틸트)이 기술될 수 있다. 보다 복잡한 파라메트릭 움직임 모델들이 제안되었으며[참고 2], 실제로 제안된 알고리즘과의 조합하여 적용될 수 있지만, 이하에서 논의되지는 않을 것이다. 실험에서, 이러한 움직임 모델은 몇가지 자유도와 함께 사용되고 있다:
* 4개의 파라미터 모두 자유.
* 파라미터 sx 및 sy는 자유이고, dx 및 dy는 화상의 종횡비에 따라 고정된 비율로 결합됨(3-파라미터 모델).
* 파라미터 sx 및 sy는 자유이고, dx 및 dy는 0으로 고정됨(2-파라미터, 변환 모델).
* 파라미터 sx 및 sy는 자유이고, dx 및 dy는 0으로 고정됨(1-파라미터, 패닝 모델).
한 실시예에서, 제1층은 4개 또는 8개의 자유 파라미터를 갖는 반면, 후속하는 각각의 층은 계산 부담을 감소시키기 위해 선행층보다 적은 자유 파라미터를 갖는다.
본 발명은, 제로 벡터(움직임 없음)는 매우 흔하며 비디오 시퀀스에서 중요하며, 특히 스캔 속도 변환에서 의도된 용도에 대해 중요하다는 인식에 기초한다. 따라서, 제안된 알고리즘은 (명백히 추정되지 않는) 제로 파라미터 벡터에 의해 기술된 움직임과 함께, 층(0)에서 시작한다. 추가 층들(1, 1>0)의 파라미터 벡터들은 그들 각각의 파라미터 추정기(PE1)에 의해 별도로 추정된다.
각각의 PE1은 [참고 3]의 3D 재귀적 검색 블록 정합기와 동일한 기본 원리를 가진다. 앞서 추정된 파라미터 벡터는, 최상의 정합 파라미터 벡터가 선택된 후, 의사-랜덤 잡음 벡터에 따라 갱신된다.
수학식(15)의 파라미터 모델을 고려하면, 층(1, 1>0)의 파라미터들은 파라미터 벡터
Figure 112005065011158-pct00095
로 간주되며:
Figure 112005065011158-pct00096
다수의 후보 파라미터 벡터들
Figure 112005065011158-pct00097
로부터, 최소값의 정합 기준을 갖는 것으로서
Figure 112005065011158-pct00098
을 선택하는 것을 과제로 정의한다. 에러 함수는 하기 식에 따라 계산되고:
Figure 112005065011158-pct00099
여기서, 예를 들면 공간 평활도를 얻기 위해 개개의 후보 벡터(파라미터 세트)의 정합 에러에 패널티
Figure 112005065011158-pct00100
가 부가되고, ε는 아래와 같고:
Figure 112005065011158-pct00101
여기서,
Figure 112005065011158-pct00102
는 위치
Figure 112005065011158-pct00103
에 의존하는 가중치 인자이고,
Figure 112005065011158-pct00104
은 서브-샘플링된 화상 내의 위치
Figure 112005065011158-pct00105
에 대한 인덱스 n을 갖는 휘도 값이며, Xl은, 층(1)의 움직임을 추정하고자하는 한 세트의 위치들
Figure 112005065011158-pct00106
이다(위치
Figure 112005065011158-pct00107
의 선택 모드를 아래 설명할 것이다).
화상들은 필드 베이스상에서 수평으로 4의 인자 및 수직으로 2의 인자에 의해 서브-샘플링되고, 각각의 원시 필드 F(n)로부터 서브-샘플링된 화상 Fs(n)을 발생한다. 이는 동작 개수의 원하는 감소에 강력하게 기여한다. 서브-샘플링은 움직임이 추정되는 객체들이 충분히 크기 때문에 허용된다. 화소 또는 심지어 F의 원시 화소 그리드에 대한 부분-화소 정확도를 달성하기 위해 부분 샘플링 그리드[참고 7]에 대한 보간이 요구된다.
제안된 최소화는 [참고 3,7]에 이용된 전략과 약간의 유사성을 보여준다. 즉, 예측 벡터(이 경우, 4-차원)를 취하고, 적어도 하나의 갱신 벡터를 가산하고, 수학식(18)에 따라 최상의 후보 벡터를 선택한다. 하기 식에 따라 3개의 후보
Figure 112005065011158-pct00108
를 포함하는 후보 파라미터 세트
Figure 112005065011158-pct00109
를 생성할 때, 양호한 결과가 실험적으로 얻어질 수 있다.
Figure 112005065011158-pct00110
단, 갱신 파라미터
Figure 112005065011158-pct00111
는 아래와 같이 갱신 파라미터 세트
Figure 112005065011158-pct00112
로부터 선택된다.
Figure 112005065011158-pct00113
예측 루프 내부 및 외부 모두에서 파라미터 벡터들의 시간적 필터링은, 하나의 화상으로부터 다른 화상으로 움직임 벡터의 갑작스런 변화를 방지하도록 적용된다.
지금까지 기술된 알고리즘은 한 쌍의 입력 화상에 대하여 하나의 반복을 수행한다. 이 알고리즘의 보다 빠른 수렴은 동일한 쌍의 입력 화상에 대하여 파라미터 추정기의 다중 반복에 의해 달성되고, 이 경우, 수학식(19)에서
Figure 112005065011158-pct00114
은 한쌍의 화상에 대한 초기 반복 후에 이전의 반복
Figure 112005065011158-pct00115
의 출력으로 대체된다.
층들의 계통적 구조가 제안된다. 이는 아래와 같이,
* 보다 상위층들로 잘 커버되는 화상 부분들을 배제한 Xl에서 위치
Figure 112005065011158-pct00116
의 선택
* X1 내에서, 계층구조의 보다 하위층들에 의해 잠재적으로 잘 커버되는 화상 부분들의 효과를 감소시키고, 이전의 분할에서 층(1)에 할당된 화소에 보다 큰 가중치
Figure 112005065011158-pct00117
의 할당에 의해 달성된다.
계층구조의 최상위층을 제외한 각각의 추정기(제로 추정기)는, 보다 상위층의 모든 추정기들이 이전의 화상에서 성공적이지 못했던 영역들에서 계산된 정합 에러를 최소화한다. 위치들 Xl의 세트는, 모든 상위 랭크된 층들의 정합 에러가 고정된 인자로 평균 블록 정합 에러를 초과하는 위치
Figure 112005065011158-pct00118
로 채워진다.
심험 결과, Xl에서 위치들의 개수가 화상 내의 모든 화소의 약 2-5%만으로 제한될 때 양호한 결과가 잘 얻어질 수 있음을 나타낸다. 가장 효과적인 결과는 화상에서 클러스터된 서브-샘플링이다. 즉, 선택된 화소들은 전체 화상에 걸쳐 드문드문 분포된 그룹들을 형성한다. 현재의 응용에서, 16개 화소의 최대 50개의 클러스터가 선택된다(Fs에서 모든 화소의 3%).
현재 추정기가 이전 층들에 의해 이미 커버된 움직임을 추정하는 것을 방지하기 위해, Xl의 정확한 선택이 필요하다.
위치-의존형 가중치 인자
Figure 112005065011158-pct00119
는 이전 화상에서 발견된 분할 마스크 SM(n-1)에 의해 결정된다. 분할 마스크에 따라 현재 층(1)에 속하는 위치
Figure 112005065011158-pct00120
는 1보다 큰 가중치 인자를 가질 것이고, 상이한 층에 속하는 위치는 1의 가중치 인자를 갖는다. 현재 추정기가 계층구조에서 후속층들로 커버될 수 있는 움직임을 추정하는 것을 방지하기 위해
Figure 112005065011158-pct00121
의 정확한 선택이 필요하다.
분할 단계는 알고리즘에서 가장 중요한 단계이다. 그 과제는 화상 내의 층들 중 하나, 즉 움직임의 한 모델을 각각의 화소 그룹에 할당하는 것이다. 이것은 기본적으로 각각의 화소 그룹에 가장 잘 정합하는 모델을 할당함으로써 달성된다(프레임 베이스 상에서 기본적으로 8X8 화소들만큼 큰 블록
Figure 112005065011158-pct00122
).
각 층에 대해, 정합 에러는 하기 식에 따라 계산된다:
Figure 112005065011158-pct00123
분할 마스크
Figure 112005065011158-pct00124
는 최저 ε를 갖는 층(1)을 블록
Figure 112005065011158-pct00125
에 할당한다. 분할의 시간적 위치는 α에 의해 정의되고, 이 실험에서는 1/2로 설정하였다.
처리 전력을 절감하기 위해, 모든 블록
Figure 112005065011158-pct00126
에 대해 분할 마스크 SM가 계산되어야 하는 것은 아니다. 대신에, 계산된 블록들은 오엽 배열(quincunx) 패턴으로 서브-샘플링될 수 있고, 그 후 분할 마스크에서 누락된 위치들은 보간된다(예를 들어, 인접한 것들로부터 가장 잘 발생하는 층 번호를 선택함으로써)[참고 7].
분할은 많은 층들이 존재할 때 보다 어려워지는데, 그 이유는 분할 작업은 완전 검색 블록 정합기(full search block matcher)의 분할 작업과 더욱 더 유사해질 것이기 때문이다. 완전 검색 블록 정합기와 유사한 비일관성을 갖는 움직임 추정기의 출력을 방지하기 위해, 여분의 (평활화) 제약요건이 알고리즘에 부가되었다.
현재의 평활화 제약 요건은 아래와 같이 구성된다:
* 공간적 평활화: ε의 계산시에, 층을 할당받은 블록
Figure 112005065011158-pct00127
의 크기보다 더 큰 창을 취함으로써.
* 시간적 평활화: 한 층의 계산된 ε를, 상기 층이 이전 화상의 분할에서 선택되었다면, 보너스 값으로 감소시킴으로써.
* 공간적 평활화: 분할에서 특이점(singular spot)을 제거하기 위해 머조리티 필터(majority filter)를 사용함으로써.
실험 결과로서, TriMedia상의 제1 구현에서 3-층 구조가 선택되었고, 층 0은 움직임 없음에 대응하여 추정되지 않고, 즉, 모든 파라미터는 0과 동일하다. 층 1은 2개의 자유 파라미터를 갖고, 층 2는 단 하나의 자유 파라미터를 갖는다. 각각의 입력 화상 쌍에 대해, 층 1의 파라미터 추정기는 5회 반복되고, 층 2의 추정기는 3회 반복된다.
서브-샘플링의 간단한 예비-필터링은 4x2 화소 블록 내의 화소값들을 평균함으로써 달성된다. 이는 서브-샘플링된 출력 화소당 약 10개의 연산 또는 입력 그리드의 화소당(CCIR 601/625 라인/2:1)
Figure 112005065011158-pct00128
연산을 취한다.
파라미터 추정기에서 에러 기준의 계산은 매 반복마다 후보 벡터당 약 1000개의 연산을 취한다. 상기 기술된 구현을 위해, 이는 화소당
Figure 112005065011158-pct00060
연산을 초래한다(이것은 파라미터 추정의 모든 기능을 담당하지 못함). 분할에서 에러 기준의 계산은 매 블록마다 층당 약 10개의 연산, 따라서, 화소당
Figure 112005065011158-pct00061
연산을 취한다(이는 분할의 모든 기능을 담당하지 못함). 이것은 MELZONIC(SAA4991)의 추정기와 비교해 한 차수 감소된 크기이다. TriMedia에 대해 부분적으로 최적화된 측정치는, 서브-샘플링에 대해 약 1.25, 파라미터 추정기에 대해 1.0, 및 분할에 대해 화소당 6.1의 동작 개수가 달성됨을 보여준다.
최종적인 변위 벡터의 사용을 포함하여 제안된 층별 움직임 추정기가, 25Hz 필름에서 50 Hz 디스플레이로의 화상 변환 속도에 대하여 시뮬레이션되었다.
움직임 추정기로부터 발생하는 벡터 필드는 매우 일관성있는 것으로 입증되었고, 스캔 속도 변환에 적합하였다. 얻어진 품질은 매력적이고, 대부분의 장면에 대해 MELZONIC(SAA4991)에 의해 달성된 품질에 필적하는 것으로 생각된다.
제안된 움직임 추정 알고리즘은, 구현에 기인한 벡터 범위 제한이 없었고, 이는 MELZONIC(SAA4991)에 비해 유리하다.
층별 비디오 표시법에서 전역적 움직임 추정 알고리즘을 움직임 파라미터의 추정으로까지 확장하는 방법이 제공되었다. 고정된 개수의 파라미터 추정기들이 병렬로 운영되고, 그 각각은 하나의 화상층에 대한 파라미터들을 계산한다. 분할은 화상의 각각의 부분을 정확한 층에 할당한다.
추정기는 병렬로 동작하지만, 어느 정도 계층성이 존재한다. 계층구조에서 최상위를 제외한 각각의 추정기는, 계층구조에서 보다 상위의 추정기가 이전 화상에서 성공적이지 못했던 화상 부분들에 대해 동작한다. 두 번째로, 각각의 추정기는 계층구조에서 보다 하위의 추정기에 의해 잘 다루어질 화상의 부분들에 의한 오염이 방지된다.
실험은, 현재의 결과가 전용의 설계(MELZONIC(SAA4991)에 의한 Natural Motion)에 의해 얻어진 것과 그렇게 동떨어지지 않음을 보여준다. 그러나, 이 알고리즘은 TriMedia와 같은 프로세서 상에서의 소프트웨어적 구현에 훨씬 더 적절하다.
마지막으로, 본 발명에 따른 알고리즘은 비디오 압축 및 코딩, 비디오 주해 및 인덱싱, 객체 트래킹 및 잡음 제거과 같은 움직임 추정의 다른 응용 분야에 대해서도 흥미를 유발할 수 있다.
본 발명의 제1 특징은 다음과 같이 요약될 수 있다. 전역적 움직임-보상된 상향-변환을 위한 새로운 방법이 개시되며, 그 방식은 층별 비디오 표시로의 용도로 확장되는 것으로 나타났다. 본질적으로, 전역적 움직임을 기술하는 파라미터들은 양호하게는 재귀적 접근법을 사용하여 추정된다. 이들 파라미터에 의해 생성된 국부적인 움직임 벡터는 움직임-보상된 화상을 발생시키기 위해 사용된다. 동시에, 분할 마스크는 감소된 크기의 화상 상에서 계산되고, 그 출력은 상이한 파라미터 세트들과 보간법들 사이에서 전환하기 위해 사용된다. 매력적인 저비용 버전이, 현재 입수할 수 있는 완전히 프로그램가능한 장치(Natural Motion on a TriMedia) 상에서 구현하는데 적합하다.
양호한 실시예의 하기 두드러진 특징은 주목할만한 가치가 있다. 비디오 데이터의 움직임 보상을 위해 이러한 방법을 실현하는 방법 및 장치는,
입력 비디오 데이터로부터 전역적 움직임 파라미터를 계산하기 위한 적어도 2개의 수단,
상기 적어도 2개의 전역적 움직임 파라미터 세트에 의존하여, 1개 이상의 입력 필드로부터 출력 비디오 데이터를 계산하기 위한 보간 수단을 포함하고, 여기서, 전역적 움직임 파라미터를 계산하기 위한 상기 적어도 2개의 수단은, 화상의 내용과 무관하게, 전체 화상에 대해 제로 속도를 나타내는 파라미터들을 제공한다.
양호하게는, 보간 수단은, 예를 들면, 3-탭 메디안 필터와 같은 정렬 통계 필터(order statistical filte)이며, 3-탭 메디안 필터는,
이전 필드에 대응하는 화소, 다음 필드에 대응하는 화소, 및 양 인접 필드로부터의 움직임-보상된 평균(제1 옵션) 또는,
이전 필드로부터 움직임-보상된 화소, 다음 필드로부터 움직임-보상된 화소, 및 양 인접 필드로부터 움직임-보상되지 않은 평균(제2 옵션)으로부터 출력 화소를 생성한다.
양호하게는, 분할 신호는, 제2 파라미터 세트로부터 계산된 국부적인 움직임 벡터가 감소된 크기의 입력 화상에 대해 최상의 정합을 산출하는 경우에, 제1 결정을 활성화(activate)한다.
양호하게는, 분할 신호는 입력 신호의 감소된 크기 버전으로부터 유도된다.
비디오 데이터의 움직임 보상을 위해 이러한 방법을 실현하는 방법 및 장치는,
입력 비디오 데이터로부터 전역적 움직임 파라미터를 계산하기 위한 적어도 2개의 수단,
상기 적어도 2개의 전역적 움직임 파라미터 세트에 의존하여, 1개 이상의 입력 필드로부터 출력 비디오 데이터, 및 입력 신호의 감소된 크기 버전으로부터 유도되는 분할 신호를 계산하기 위한 보간 수단을 포함한다.
양호하게는, 전역적 움직임 파라미터 계산 수단들 중 하나는, 화상의 내용과 무관하게 전체 화상에 대하여 제로 속도를 나타내는 파라미터들을 제공한다.
본 발명의 제2 특징은 다음과 같이 요약될 수 있다. 전역적 움직임 파라미터 추정을 위한 신규한 방법이 기술된다. 본질적으로, 화상 내의 전역적 움직임을 기술하는 파라미터들은 재귀적 접근법을 사용하여 추정되는데, 즉, 이전의 n-차 (n은 움직임 모델에서 파라미터들의 개수임) 추정치가 (n-차원) 갱신 벡터가 부가되는 예측값으로서 사용된다. 출력 파라미터 벡터는 가장 작은 정합 에러를 초래하는 것이다. 이 알고리즘의 복잡도가 극도로 낮고, 그 품질이 높음으로써 TV 및 멀티미디어 용도로 장차 사용할 수 있게 하고, 트리메디아(TriMedia)와 같은 완전히 프로그램가능한 장치 상에서 실행할 수 있게 한다.
양호한 실시예의 하기 두드러진 특징은 주목할만한 가치가 있다. 화상 시퀀스의 움직임 파라미터들(파라미터 벡터)을 추정하기 위해 이러한 방법을 실현하는 방법 및 장치는,
예측 파라미터 벡터, 즉, 이전에 계산된 움직임 파라미터 추정치를 제공하기 위한 수단,
갱신 벡터 세트로부터 적어도 하나의 갱신 파라미터 벡터를 선택하기 위한 수단,
적어도 하나의 갱신 벡터에 상기 예측 벡터를 부가하기 위한 수단,
적어도 2개 필드들로부터의 데이터를 사용하여, 생성된 적어도 2개의 파라미터 벡터들의 품질(단가 함수)을 계산하기 위한 수단,
그들의 품질에 기초하여 상기 언급한 적어도 2개의 파라미터 벡터들로부터 최상의 벡터를 선택하기 위한 수단, 및
상기 선택된 파라미터 벡터를 움직임 파라미터 추정치로서 출력하기 위한 수단을 포함한다.
양호하게는, 패널티, 시간적 필터링, 및 시간적 및/또는 공간적 예측이 적용된다.
본 발명의 제3 특징은 다음과 같이 요약될 수 있다. 비디오 데이터로부터 움직임 파라미터들을 추정하는 방법이 개시된다. 본 발명은, 간단한 화상 속도 변환 기술(가장 최근 화상의 반복)로 인해 불규칙적인 움직임을 나타내는 비디오 데이터에 대한 시간적 예측 움직임 추정을 허용한다. 그 솔루션은 다양한 이전 화상 쌍들로부터 취해진 다수의 시간적 예측 벡터들을 사용하는 것으로 이루어져 있다. 이 솔루션은 기억될 움직임 벡터수가 매우 적은, 특히 객체-기반의 움직임 추정기의 경우에 경제적으로 정당화할만하다. 이 알고리즘의 소프트웨어 버전은 필립스 TM1000(TriMedia) 프로세서 상에서 실시간 실행되는 것을 보여준다.
양호한 실시예의 하기 두드러진 특징은 주목할만한 가치가 있다. 비디오 데이터로부터 움직임 파라미터 벡터들을 추정하는 방법을 실현하는 방법 및 장치는 적어도 일부의 화상-부분들에 대해, 상이한 이전 화상 쌍들의 데이터로부터 추정된 적어도 2개의 (시간적) 예측 벡터를 제공한다. 양호하게는, 상기 적어도 2개의 예측 벡터들은 화상(부분)에 대한 출력 벡터를 결정하는 벡터 선택 과정에서의 후보들이다. 유익하게는, 기준 함수에 따라, 상기 적어도 2개의 예측 벡터들 중 최상의 것이 화상(부분)에 대한 출력 벡터를 결정하는 벡터 선택 과정의 입력이 되는 후보 벡터들을 계산하기 위한 기초로서 사용된다(예, 갱신 과정). 양호하게는, 다수의 연속된 화상들(화상 부분들)에 대한 결정 정보(적어도 2개의 예측 벡터들 중 어느 것이 기준 함수에 따른 최상의 벡터인지를 가리키는 정보)가 화상 반복 패턴을 검출하기 위해 사용된다(예, 영화 자료의 3-2 풀-다운 및 2-2 풀-다운, 또한 소스-목적지 화상 주파수의 불일치로 인한 다른 패턴도 가능).
본 발명의 제4 특징은 비디오 데이터의 결합 움직임 추정과 분할에 관한 것이며, 아래와 같이 요약될 수 있다. 화상을 고정된 개수의 층들로 분할하고, 개개의 층들에 대해 움직임 파라미터들을 추정하는 방법이 개시된다. 본 발명은 결합된 움직임 추정 및 분할의 선후 문제(the chicken and egg problem)에 대한 솔루션을 제공한다. 이 솔루션은, 주어진 층에 대한 파라미터 추정기의 최적 기준의 훼손을, 병렬로 운영되는 다른 파라미터 추정기들에 의해 다루어진 정보에 의해 제한하는 가중치 처리로 구성된다.
이 알고리즘의 지극히 낮은 복잡도와 높은 품질로 인해, 장래에 TV 및 멀티미디어에 대해 이용될 수 있도록 해준다. 이 알고리즘의 소프트웨어 버전은 필립스 TM1000(TriMedia) 프로세서 상에서 실시간 실행되는 것을 보여준다.
양호한 실시예에서, 유사-동시 움직임 추정/분할을 고정된 최대 개수의 층까지 허용하는 층별 움직임 추정 알고리즘이 제안되었다. 이 추정은, 층당 하나의 움직임 파라미터 세트와 이들 세트들을 화상의 상이한 부분들에 할당하는 분할 맵으로 귀결된다(움직임 층). 층 내에서의 움직임은 팬(pan), 틸트(tilt) 및 줌(zoom)을 기술할 수 있는 최대 4개의 파라미터들로 모델링된다. 이 개념은 어느 정도 계층성, 즉, 움직임 층들의 등급화(ranking)를 보여준다. 이러한 방식으로, 하나의 층에 관한 움직임 파라미터 추정은 계층구조의 상위층에 의해 기술된 화상 부분들을 배제하고, 계층구조의 하위층에 의해 잘 기술된 화상 부분들에 의해 오염되지 않는다. 이 개념은 매우 낮은 동작 개수를 초래한다. 이는 중요한 스캔 속도 변환 용도에서, 특히 화상 속도 상향-변환에서 잘 수행되는 것으로 보였다. 3개 층을 포함하는 한 변형이 필립스 트리메디아(TriMedia) 프로세서 상에서 실시간 수행되도록 스케쥴되었다.
양호한 실시예의 하기 두드러진 특징은 주목할 가치가 있다. 화상을 등급화된 세트의 층들로 분할하고, 모든 층들에 대해 움직임 파라미터를 추정하는 방법을 실현하는 방법 및 장치는,
현재 화상 내의 모든 층들에 대하여, 적어도 2개의 화상들로부터의 화소들(화소들의 그룹)에 기초하여 기준 함수를 최적화하는 파라미터 추정(PE) 과정,
움직임 파라미터 세트를 화상 부분들에 할당하는 분할 과정(SP),
상이한 화상 부분들로부터의 정보가 움직임 파라미터 추정기의 기준 함수에 미치는 개별적인 효과를 정의하는 가중치 처리(WP)를 포함하고, 상기 WP는 제1 기준을 충족하는 화상 부분들로부터의 정보의 영향을 감소 또는 제거하고,
제2 기준을 충족하는 화상 부분들로부터의 정보의 효과를 증가시킨다.
양호하게는, 제1 기준은, 동일하거나 다른 화상 쌍에 대한 알고리즘의 선행된 반복에서, 화상 부분들이, 보다 상위층의 액티브 PE들에 의해 추정된 움직임 파라미터 세트들 중 임의의 것에 의해 적절히 기술되었던 영역에 속하는 경우에 만족된다. "적절히"라는 용어는, 계층구조의 상기 보다 상위층들상의 액티브 PE들의 파라미터 세트를 사용하는 에러 함수가 임계값 이하에 머무는 것을 의미한다(예를 들어, 고정되거나 평균 에러에 적응됨).
양호하게는, 제2 기준은, 동일하거나 다른 화상 쌍에 대한 알고리즘의 선행된 반복에서, 화상 부분들이, 이와 같이 주어진 PE에 의해 추정된 움직임 파라미터 세트들에 의해 최상으로 기술되었던 영역에 속하는 경우에 만족된다. "최상"이라는 용어는, 상기 주어진 PE의 파라미터 세트들을 사용하는 에러 함수가 임의의 다른 PE들의 경우보다 더 낮다는 것을 의미한다.
양호하게는, 이러한 에러 함수는, 평가될 파라미터 세트를 사용하여(직접적 방법), 현재 필드의 화소들과 이전 필드에서 대응하는 화소들간의 움직임-보상된 차이에 기초한다.
양호하게는, 이러한 에러 함수는 소정 방법에 의해 계산된 움직임 벡터들간의 차이에 기초한다. 움직임 벡터들은 평가될 움직임 파라미터 세트로부터 초래된다(간접적 방법)
양호하게는, 제1 기준을 만족시키는 화상 부분들은 주어진 PE의 에러 함수에서 제거되고, 이 제1 기준은 기준 함수가 계산되는 화상 영역이 주어진 범위 내에 머물도록 하는 방식으로 적응된다(최대로 이용할 수 있는 처리 전력을 효율적으로 사용하는 제어 루프).
양호하게는, PE 및/또는 SP, 및/또는 WP는 다운-스케일된 및/또는 서브-샘플링된 비디오 데이터 상에서 동작한다.
화상을 등급화된 세트의 층들로 분할하고, 각각의 층에 대한 움직임 파라미터들을 추정하는 방법을 실현하는 방법 및 장치는
현재 화상의 모든 층에 대해, 적어도 2개의 화상들로부터 선택된 화소(화소 그룹)에 기초하여 기준 함수를 최적화하는 반복적 파라미터 추정 과정,
움직임 파라미터 세트들중 하나를 화상의 모든 부분에 할당하는 분할 과정,
적어도 2개의 화상으로부터 화소들(화소 그룹) 중 어느 것이 그들의 기준 함수를 최적화하는지를 정의하는 선택 과정을 포함하고, 여기서, 파라미터 추정 과정은 다른 과정보다 더 자주 그 데이터에 대해 반복된다.
양호하게는, 선택 과정은 주어진 층에 대해 화소들(화소 그룹)을 선택하는 과정으로서, 상기 화소들은, 상기 화소들에 대해 이전 화상의 계층구조의 보다 상위층의 파라미터 세트들이 규칙에 따라 만족할만한 결과를 제공하지 못하였던, 그러한 화소들이다. 양호하게는, 이 규칙은 고정된 또는 적응된 임계값과 화소들(그 그룹)의 에러(합)를 비교하는 것을 포함한다.
양호하게는, 이 임계값은 기준 함수가 계산되는 화소의 개수가 주어진 범위 내에 머물도록 하는 방식으로 적응된다.
양호하게는, 기준 함수는, 후보 움직임 파라미터에 따라, 이전 화상으로부터 선택된 화소들(그의 그룹)과 움직임을 위해 보상된 현재 화상으로부터 대응하는 화소들간에 계산된 합계된 에러이다.
양호하게는, 기준 함수에 대한 상기 선택된 화소들의 기여분은, 이들이 할당받은 (이전 화상) 층에 의존하여 가중된다.
양호하게는, 기준 함수에 대한 상기 선택된 화소들의 기여분은, 이들이 앞서 동일한 층에 할당된 경우에는 증가된다.
화상을 등급화된 세트의 층들로 분할하고, 모든 층에 대한 움직임 파라미터를 추정하는 방법을 실현하는 방법 및 장치는,
현재 화상 내의 모든 층에 대하여, 적어도 2개의 화상으로부터 화소들(화소들의 그룹들)에 기초하여 기준 함수를 최적화하는 파라미터 추정(PE) 과정,
움직임 파라미터 세트중의 하나를 화상의 모든 부분들에 할당하는 분할 과정(SP),
적어도 2개의 화상으로부터의 화소들(화소들의 그룹들) 중 어느 것이 그들의 기준 함수를 최적화하는지를 정의하는 선택 과정을 포함하고, 움직임 파라미터 추정기(들)은 그들의 기준 함수를 최적화해야 하며, 여기서 선택 과정은 분할 과정에 의해 이들 파라미터들을 할당받은 층들의 크기와 무관하게, 적은 양의 화소들만이 PE들에 의해 최적화된 기준 함수에 기여할 수 있도록 허용한다.
원래는 필립스 트리메디아(TriMedia) 프로세서 상에서 실행되는 것으로 설계되었지만, 다른 응용도 가능하다. 특히, 그 개념은 차세대 VGA-제어기들 내에 설계될 수 있다. 이는 전용 실리콘이기 때문에, 전체 단가는 무시할 수 있다. 이러한 VGA-제어기는 트리메디아(TriMedia) 솔루션과 비교해 개선된 성능을 가질 수 있는데, 그 이유는 훨씬 더 많은 처리 전력이 전용 실리콘에 이용될 수 있기 때문이다. 더욱이, 2개 이상의 병렬 파라미터 추정기가 적용되는 경우, 그 성능은 저가의 비용으로 현재의 하이-엔드 솔루션들보다로 더 나은 수준이 될 수 있을 것으로 기대된다.
상기 실시예들은 본 발명을 제한하고자 하는 것이 아니라 예시하고자 하는 것으로, 당업자는 첨부된 특허청구의 범위에서 벗어나지 않는 많은 대안적 실시예를 설계할 수 있음에 유의해야 한다. 특허청구의 범위에서, 괄호 안의 참조 부호는 특허청구의 범위를 제한하는 것으로서 해석되어서는 안된다. 본 발명은 수개의 개별적 요소를 포함하는 하드웨어에 의해서, 및 적절히 프로그램된 컴퓨터에 의해 구현될 수 있다. 수개의 수단을 열거한 장치에서, 이들 수개의 수단들은 하나의 동일한 하드웨어의 항목에 의해 구현될 수 있다. 특허청구의 범위에서 "포함하는"이라는 표현은 특허청구의 범위에 열거된 것 이외의 다른 요소들이나 단계들의 존재를 배제하지 않는다.
참고자료:
Figure 111999005109746-pct00062
Figure 111999005109746-pct00063
Figure 111999005109746-pct00064

Claims (11)

  1. 비디오 데이터에서 움직임을 추정하는 방법으로서,
    입력 비디오 데이터(n, n-1)로부터 적어도 2개의 움직임 파라미터 세트들을 제공하는 단계(PE1-PEn)로서, 움직임 파라미터 세트는 화상 내의 움직임을 기술하는 파라미터들의 세트이고, 상기 움직임 파라미터 세트에 의해 움직임 벡터들이 계산될 수 있으며, 움직임 파라미터 세트 각각은 화상 내의 모든 화상 부분들에 대한 대응하는 국부적 정합 에러들을 가지며, 상기 적어도 2개의 움직임 파라미터 세트들은, 화상 내의 모든 화상 부분들에 대한 제로 속도를 나타내는 하나의 움직임 파라미터 세트를 포함하는, 상기 적어도 2개의 움직임 파라미터 세트들을 제공하는 단계; 및
    상기 적어도 2개의 움직임 파라미터 세트들에 의존하여, 상기 입력 비디오 데이터(n, n-1)로부터 출력 움직임 데이터(P(n))를 결정하는 단계(MPE)로서, 상기 출력 움직임 데이터(P(n))를 계산하는데 있어서 움직임 파라미터 세트 각각의 중요도(가중치 인자들(W)에 의해 결정됨)는 상기 움직임 파라미터 세트들의 국부적인 정합 에러들에 의존하는, 상기 출력 움직임 데이터(P(n))를 결정하는 단계(MPE)를 포함하는, 움직임 추정 방법.
  2. 제1항에 있어서, 상기 움직임 파라미터 세트들을 제공하는 단계는,
    적어도 하나의 앞서 계산된 움직임 파라미터 세트를 적어도 하나의 제1 예측 파라미터 벡터(Cp1)로서 제공하는 단계;
    추가의 예측 파라미터 벡터(Cp2)를 얻기 위해, 상기 적어도 하나의 제1 예측 파라미터 벡터에 적어도 하나의 갱신 파라미터 벡터(Up)를 부가하는 단계(AD); 및
    상기 제1 예측 파라미터 벡터 및 상기 추가의 예측 파라미터 벡터(Cp1, Cp2) 중 하나를 선택하는 단계(PVC, EC, MIN, MUX)를 포함하는, 움직임 추정 방법.
  3. 제2항에 있어서, 상기 제공 단계는, 적어도 2개의 이전 필드들에 대해 계산된 움직임 파라미터 세트들(Tp1-Tpn)을 제공하는 단계를 포함하는, 움직임 추정 방법.
  4. 제1항에 있어서, 상기 움직임 파라미터 세트들을 제공하는 단계는, 조절된 움직임 파라미터 세트를 제로 속도 세트 이외의 움직임 파라미터 세트 각각에 대해 전역적 정합 에러들(global match error)에 의존하여 결정하는 단계를 포함하고, 상기 전역적 정합 에러들은 화상 부분들에 할당된 가중치들에 따라 상기 화상 부분들에 대해 계산되는, 움직임 추정 방법.
  5. 제4항에 있어서, 주어진 조절된 움직임 파라미터 세트 결정(PEi)에서, 상기 주어진 움직임 파라미터 세트가 다른 조절된 움직임 파라미터 세트 결정들(PE1-PEn)의 국부적 정합 에러들과 비교하여 최저 국부적 정합 에러를 갖는 화상 부분들에 대해서 상기 가중치들이 증가되는, 움직임 추정 방법.
  6. 제4항에 있어서, 주어진 조절된 움직임 파라미터 세트 결정(PEi)에서, 또 다른 조절된 움직임 파라미터 세트 결정들(PE1-PEn)의 국부적 정합 에러가 주어진 임계값 아래로 떨어지는 화상 부분들에 대해서 상기 가중치들이 감소되는, 움직임 추정 방법.
  7. 비디오 데이터를 움직임-보상하는 방법으로서,
    입력 비디오 데이터(n, n-1)로부터 적어도 2개의 움직임 파라미터 세트들을 제공하는 단계(PE1-PEn)로서, 움직임 파라미터 세트는 화상 내의 움직임을 기술하는 파라미터들의 세트이고, 상기 움직임 파라미터 세트에 의해 움직임 벡터들이 계산될 수 있으며, 움직임 파라미터 세트 각각은 화상 내의 모든 화상 부분들에 대한 대응하는 국부적 정합 에러들을 가지며, 상기 적어도 2개의 움직임 파라미터 세트들은, 화상 내의 모든 화상 부분들에 대한 제로 속도를 나타내는 하나의 움직임 파라미터 세트를 포함하는, 상기 적어도 2개의 움직임 파라미터 세트들을 제공하는 단계; 및
    상기 적어도 2개의 움직임 파라미터 세트들에 의존하여, 상기 입력 비디오 데이터(n, n-1)로부터 출력 비디오 데이터(n-½)를 보간하는 단계(UC2)로서, 상기 출력 비디오 데이터(n-½)를 계산하는데 있어서 움직임 파라미터 세트 각각의 중요도(가중치 인자들(W)에 의해 결정됨)는 상기 움직임 파라미터 세트들의 국부적인 정합 에러들에 의존하는, 상기 출력 비디오 데이터(n-½)를 보간하는 단계(UC2)를 포함하는, 비디오 데이터의 움직임-보상 방법.
  8. 제7항에 있어서, 상기 보간 단계는,
    움직임-보상된 평균(mcav)을 계산하는데 사용된 상기 움직임 벡터(D)의 정합 에러가 상기 제로 움직임 벡터의 정합 에러를 초과하는 경우, 이전 필드(n-1)에서의 대응하는 화소(l), 다음 필드(n)에서의 대응하는 화소(r), 및 상기 이전 필드(n-1)와 다음 필드(n) 양자 모두로부터의 상기 움직임-보상된 평균(mcav) 중 중앙값(MED2), 또는
    상기 움직임-보상된 화소들을 제공하는데 사용된 상기 움직임 벡터(D)의 정합 에러가 상기 제로 움직임 벡터의 정합 에러 아래로 떨어지는 경우, 상기 이전 필드(n-1)로부터의 움직임-보상된 화소(mcl), 상기 다음 필드(n)로부터 움직임-보상된 화소(mcr), 및 상기 이전 필드(n-1)와 상기 다음 필드(n) 양자 모두로부터의 움직임-보상되지 않은 평균(av) 중 중앙값(MED1)을 제공하는, 움직임-보상 방법.
  9. 비디오 데이터에서 움직임을 추정하기 위한 장치로서,
    입력 비디오 데이터(n, n-1)로부터 적어도 2개의 움직임 파라미터 세트들을 제공하기 위한 수단(PE1-PEn)으로서, 움직임 파라미터 세트는 화상 내의 움직임을 기술하는 파라미터들의 세트이고, 상기 움직임 파라미터 세트에 의해 움직임 벡터들이 계산될 수 있으며, 움직임 파라미터 세트 각각은 화상 내의 모든 화상 부분들에 대한 대응하는 국부적 정합 에러들을 가지며, 상기 적어도 2개의 움직임 파라미터 세트들은, 화상 내의 모든 화상 부분들에 대한 제로 속도를 나타내는 하나의 움직임 파라미터 세트를 포함하는, 상기 적어도 2개의 움직임 파라미터 세트들을 제공하기 위한 수단(PE1-PEn); 및
    상기 적어도 2개의 움직임 파라미터 세트들에 의존하여, 상기 입력 비디오 데이터(n, n-1)로부터 출력 움직임 데이터(P(n))를 결정하기 위한 수단(MPE)으로서, 상기 출력 움직임 데이터(P(n))를 계산하는데 있어서 움직임 파라미터 세트 각각의 중요도(가중치 인자들(W)에 의해 결정됨)는 상기 움직임 파라미터 세트들의 국부적인 정합 에러들에 의존하는, 상기 출력 움직임 데이터(P(n))를 결정하기 위한 수단(MPE)을 포함하는, 움직임 추정 장치.
  10. 비디오 데이터를 움직임-보상하기 위한 디바이스로서,
    입력 비디오 데이터(n, n-1)로부터 적어도 2개의 움직임 파라미터 세트들을 제공하기 위한 수단(PE1-PEn)으로서, 움직임 파라미터 세트는 화상 내의 움직임을 기술하는 파라미터들의 세트이고, 상기 움직임 파라미터 세트에 의해 움직임 벡터들이 계산될 수 있으며, 움직임 파라미터 세트 각각은 화상 내의 모든 화상 부분들에 대한 대응하는 국부적 정합 에러들을 가지며, 상기 적어도 2개의 움직임 파라미터 세트들은, 화상 내의 모든 화상 부분들에 대한 제로 속도를 나타내는 하나의 움직임 파라미터 세트를 포함하는, 상기 적어도 2개의 움직임 파라미터 세트들을 제공하기 위한 수단(PE1-PEn); 및
    상기 적어도 2개의 움직임 파라미터 세트들에 의존하여, 상기 입력 비디오 데이터(n, n-1)로부터 출력 비디오 데이터(n-½)를 보간하기 위한 수단(UC2)으로서, 상기 출력 비디오 데이터(n-½)를 계산하는데 있어서 움직임 파라미터 세트 각각의 중요도(가중치 인자들(W)에 의해 결정됨)는 상기 움직임 파라미터 세트들의 국부적인 정합 에러들에 의존하는, 상기 출력 비디오 데이터(n-½)를 보간하기 위한 수단(UC2)을 포함하는, 비디오 데이터의 움직임-보상 장치.
  11. 비디오 디스플레이 장치로서,
    제10항에 청구된 비디오 데이터의 움직임-보상을 위한 디바이스; 및
    입력 비디오 데이터(n, n-1) 및 출력 비디오 데이터(n-½)를 디스플레이하기 위한 디스플레이 유닛(D)을 포함하는, 비디오 디스플레이 장치.
KR1019997004575A 1997-09-23 1998-08-12 움직임 추정 및 움직임 보상된 보간법 KR100582856B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP97202912.8 1997-09-23
EP97202912 1997-09-23
PCT/IB1998/001241 WO1999016251A1 (en) 1997-09-23 1998-08-12 Motion estimation and motion-compensated interpolation

Publications (2)

Publication Number Publication Date
KR20000069107A KR20000069107A (ko) 2000-11-25
KR100582856B1 true KR100582856B1 (ko) 2006-05-24

Family

ID=8228750

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997004575A KR100582856B1 (ko) 1997-09-23 1998-08-12 움직임 추정 및 움직임 보상된 보간법

Country Status (6)

Country Link
US (1) US6385245B1 (ko)
EP (1) EP0940041B1 (ko)
JP (1) JP2001506472A (ko)
KR (1) KR100582856B1 (ko)
DE (1) DE69836473T2 (ko)
WO (1) WO1999016251A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150138186A (ko) * 2013-03-29 2015-12-09 구글 잉크. 평활도 제약을 이용한 모션 보상형 프레임 보간

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100308016B1 (ko) 1998-08-31 2001-10-19 구자홍 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기
DE59902078D1 (de) * 1998-09-30 2002-08-22 Micronas Munich Gmbh Schaltung zur wandlung einer bildrate
US6535643B1 (en) * 1998-11-03 2003-03-18 Lg Electronics Inc. Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor
JP4344964B2 (ja) * 1999-06-01 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法
EP1075147A1 (en) * 1999-08-02 2001-02-07 Koninklijke Philips Electronics N.V. Motion estimation
JP4344968B2 (ja) * 1999-10-28 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
WO2001045422A1 (de) * 1999-12-17 2001-06-21 Koninklijke Philips Electronics N.V. Bewegungsschätzung in videobildern
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US6714258B2 (en) * 2000-03-15 2004-03-30 Koninklijke Philips Electronics N.V. Video-apparatus with noise reduction
JP4409035B2 (ja) * 2000-03-22 2010-02-03 本田技研工業株式会社 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体
FR2809267B1 (fr) * 2000-05-19 2002-09-27 Thomson Multimedia Sa Procede de detection de saturation d'un champ de vecteurs mouvement
US6532380B1 (en) * 2000-06-30 2003-03-11 Cedars Sinai Medical Center Image guidance for coronary stent deployment
US6760376B1 (en) * 2000-11-06 2004-07-06 Koninklijke Philips Electronics N.V. Motion compensated upconversion for video scan rate conversion
CN1456015A (zh) * 2001-01-11 2003-11-12 皇家菲利浦电子有限公司 识别并行地出现在单个电视信号场中的影片和视频对象
US9781408B1 (en) 2001-01-23 2017-10-03 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US7850304B2 (en) * 2001-01-23 2010-12-14 Kenneth Martin Jacobs Continuous adjustable 3Deeps filter spectacles for optimized 3Deeps stereoscopic viewing and its control method and means
US8750382B2 (en) 2001-01-23 2014-06-10 Kenneth Martin Jacobs System and method for calculating 3Deeps action specs motion estimation from the motion vectors in an MPEG file
US7604348B2 (en) * 2001-01-23 2009-10-20 Kenneth Martin Jacobs Continuous adjustable 3deeps filter spectacles for optimized 3deeps stereoscopic viewing and its control method and means
US7405801B2 (en) * 2001-01-23 2008-07-29 Kenneth Jacobs System and method for Pulfrich Filter Spectacles
US10742965B2 (en) 2001-01-23 2020-08-11 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US7522257B2 (en) * 2001-01-23 2009-04-21 Kenneth Jacobs System and method for a 3-D phenomenoscope
US7508485B2 (en) * 2001-01-23 2009-03-24 Kenneth Martin Jacobs System and method for controlling 3D viewing spectacles
AU2002367629A1 (en) * 2001-02-05 2003-10-08 Bristol-Myers Squibb Company A novel human g-protein coupled receptor, hgprbmy14, related to the orphan gpcr, gpr73
US7042945B2 (en) * 2001-04-24 2006-05-09 Bellers Erwin B 3-D recursive vector estimation for video enhancement
US6738099B2 (en) * 2001-02-16 2004-05-18 Tektronix, Inc. Robust camera motion estimation for video sequences
CN1224246C (zh) * 2001-02-21 2005-10-19 皇家菲利浦电子有限公司 一种选择运动矢量的方法和装置
US6704055B1 (en) 2001-03-30 2004-03-09 Pixelworks, Inc. 3:2 pull-down film mode detection using fuzzy logic
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
US20020196854A1 (en) * 2001-06-15 2002-12-26 Jongil Kim Fast video encoder using adaptive hierarchical video processing in a down-sampled domain
US7110525B1 (en) 2001-06-25 2006-09-19 Toby Heller Agent training sensitive call routing system
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
US7085431B2 (en) * 2001-11-13 2006-08-01 Mitutoyo Corporation Systems and methods for reducing position errors in image correlation systems during intra-reference-image displacements
ATE369701T1 (de) * 2002-01-17 2007-08-15 Koninkl Philips Electronics Nv Einheit und verfahren zur schätzung eines aktuellen bewegungsvektors
US7092924B1 (en) * 2002-02-28 2006-08-15 Raytheon Company Method and system for assigning observations
EP1361541B1 (en) 2002-04-09 2011-06-22 STMicroelectronics Srl Process and device for global motion estimation in a sequence of images, for instance for optical mice
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
DE10236207A1 (de) * 2002-08-07 2004-02-26 Micronas Gmbh Verfahren zur bewegungsvektorgestützten Interpolation eines Bildpunktes eines Zwischenbildes einer Bildfolge
US7197075B2 (en) * 2002-08-22 2007-03-27 Hiroshi Akimoto Method and system for video sequence real-time motion compensated temporal upsampling
US8023563B2 (en) * 2002-10-04 2011-09-20 Stmicroelectronics S.R.L. Method and system for processing signals via perceptive vectorial quantization, computer program product therefor
EP1406447A1 (en) * 2002-10-04 2004-04-07 STMicroelectronics S.r.l. Method and system for processing signals via perceptive vectorial quantization, computer program product therefor
KR100486284B1 (ko) * 2002-11-22 2005-04-29 삼성전자주식회사 연속되는 두 개의 디인터레이스 프레임들을 출력할 수있는 디인터레이스 장치 및 디인터레이스 방법
US9818136B1 (en) 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance
US7197074B2 (en) * 2003-02-20 2007-03-27 The Regents Of The University Of California Phase plane correlation motion vector determination method
DE10318620A1 (de) 2003-04-24 2004-11-25 Micronas Gmbh Verfahren und Vorrichtung zur Ermittlung eines Abstandes zwischen einer ersten und zweiten Signalfolge
DE10327577A1 (de) * 2003-06-18 2005-01-13 Micronas Gmbh Verfahren zur Ermittlung eines Verschiebungsvektors in der Bildverarbeitung
DE10327576A1 (de) * 2003-06-18 2005-01-13 Micronas Gmbh Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US20050013496A1 (en) * 2003-07-16 2005-01-20 Bruls Wilhelmus Hendrikus Alfonsus Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
US7620254B2 (en) * 2003-08-07 2009-11-17 Trident Microsystems (Far East) Ltd. Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence
US20050105621A1 (en) * 2003-11-04 2005-05-19 Ju Chi-Cheng Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof
KR20050045746A (ko) * 2003-11-12 2005-05-17 삼성전자주식회사 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
US7830959B2 (en) * 2003-12-26 2010-11-09 Electronics And Telecommunications Research Institute Apparatus and method for performing intra prediction for image decoder
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
KR100995398B1 (ko) * 2004-01-20 2010-11-19 삼성전자주식회사 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법
US7433497B2 (en) * 2004-01-23 2008-10-07 Hewlett-Packard Development Company, L.P. Stabilizing a sequence of image frames
KR20050081730A (ko) * 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법
JP4375080B2 (ja) * 2004-03-29 2009-12-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US8036494B2 (en) * 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
DE602004030993D1 (de) 2004-04-30 2011-02-24 Panasonic Corp Bewegungsschätzung unter Verwendung von adaptiven räumlichen Verfeinerungsvektoren
EP1592247A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Block mode adaptive motion compensation
EP1592246A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film mode determination in video image still areas
DE602004002455T2 (de) * 2004-04-30 2007-01-11 Matsushita Electric Industrial Co., Ltd., Kadoma Bewegungsvektorschätzung durch adaptive zeitliche Vorhersage
EP1592250A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film-mode detection in video sequences
EP1592255A1 (en) 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Motion vector estimation with improved motion vector selection
US7881500B2 (en) * 2004-06-30 2011-02-01 Trident Microsystems (Far East) Ltd. Motion estimation with video mode detection
US7684628B2 (en) * 2004-08-12 2010-03-23 Industrial Technology Research Institute System and method for non-iterative global motion estimation
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
JP2006165935A (ja) * 2004-12-07 2006-06-22 Nec Corp 制御情報の変換装置及び制御情報の変換方法
US8355441B2 (en) * 2004-12-09 2013-01-15 Thomson Licensing Method and apparatus for generating motion compensated pictures
EP1703736A1 (en) * 2005-03-14 2006-09-20 BRITISH TELECOMMUNICATIONS public limited company Global motion estimation
US9225994B2 (en) * 2005-03-14 2015-12-29 British Telecommunications Public Limited Company Global motion estimation using reduced frame lines
US7522749B2 (en) * 2005-04-08 2009-04-21 Microsoft Corporation Simultaneous optical flow estimation and image segmentation
US7760956B2 (en) 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
KR100676704B1 (ko) * 2005-07-07 2007-02-01 삼성전자주식회사 움직임 추정장치 및 그 추정방법
US7668366B2 (en) * 2005-08-09 2010-02-23 Seiko Epson Corporation Mosaic image data processing
US20070074251A1 (en) * 2005-09-27 2007-03-29 Oguz Seyfullah H Method and apparatus for using random field models to improve picture and video compression and frame rate up conversion
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
EP1841231A1 (en) * 2006-03-29 2007-10-03 Sony Deutschland Gmbh Method for motion estimation
JP2008035436A (ja) * 2006-07-31 2008-02-14 Fujitsu Ltd プルダウンシーケンス検出装置およびプルダウンシーケンス検出方法
US7809212B2 (en) * 2006-12-20 2010-10-05 Hantro Products Oy Digital mosaic image construction
TWI327866B (en) * 2006-12-27 2010-07-21 Realtek Semiconductor Corp Apparatus and related method for decoding video blocks in video pictures
JP4821642B2 (ja) * 2007-02-15 2011-11-24 株式会社ニコン 画像処理方法、画像処理装置、ディジタルカメラ及び画像処理プログラム
US20080212687A1 (en) * 2007-03-02 2008-09-04 Sony Corporation And Sony Electronics Inc. High accurate subspace extension of phase correlation for global motion estimation
JP5524063B2 (ja) * 2007-09-28 2014-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ情報処理
US20090161978A1 (en) * 2007-12-20 2009-06-25 Marinko Karanovic Halo Artifact Removal Method
US8559518B2 (en) * 2008-06-30 2013-10-15 Samsung Electronics Co., Ltd. System and method for motion estimation of digital video using multiple recursion rules
JP4687772B2 (ja) * 2008-11-06 2011-05-25 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2010093430A1 (en) * 2009-02-11 2010-08-19 Packetvideo Corp. System and method for frame interpolation for a compressed video bitstream
FI20095273A0 (fi) * 2009-03-17 2009-03-17 On2 Technologies Finland Oy Digitaalinen videokoodaus
KR101710883B1 (ko) * 2009-11-04 2017-02-28 삼성전자주식회사 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
US8233085B1 (en) 2009-12-08 2012-07-31 Kolorific, Inc. Method and system for interpolating a pixel value of a pixel located at an on-screen display
US8488007B2 (en) * 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
JP5583992B2 (ja) * 2010-03-09 2014-09-03 パナソニック株式会社 信号処理装置
US8285079B2 (en) * 2010-03-19 2012-10-09 Sony Corporation Method for highly accurate estimation of motion using phase correlation
EP2405661B1 (en) 2010-07-06 2017-03-22 Google, Inc. Loss-robust video transmission using two decoders
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system
US9014265B1 (en) 2011-12-29 2015-04-21 Google Inc. Video coding using edge detection and block partitioning for intra prediction
US9288484B1 (en) 2012-08-30 2016-03-15 Google Inc. Sparse coding dictionary priming
US9210424B1 (en) 2013-02-28 2015-12-08 Google Inc. Adaptive prediction block size in video coding
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9153017B1 (en) 2014-08-15 2015-10-06 Google Inc. System and method for optimized chroma subsampling
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US9807416B2 (en) 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10595039B2 (en) 2017-03-31 2020-03-17 Nvidia Corporation System and method for content and motion controlled action video generation
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
AT520839B1 (de) * 2018-01-25 2019-08-15 Ait Austrian Inst Tech Gmbh Verfahren zur Erstellung einer Bildstapel-Datenstruktur
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
EP4268463A1 (en) * 2021-02-08 2023-11-01 Huawei Technologies Co., Ltd. Switchable dense motion vector field interpolation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3687659T2 (de) * 1985-12-24 1993-07-29 British Broadcasting Corp Verfahren zum kodieren eines videosignals fuer die uebertragung in beschraenkter bandbreite.
EP0294960B1 (en) * 1987-06-09 1994-09-28 Sony Corporation Motion vector processing in television images
US5093720A (en) * 1990-08-20 1992-03-03 General Instrument Corporation Motion compensation for interlaced digital television signals
US5371539A (en) * 1991-10-18 1994-12-06 Sanyo Electric Co., Ltd. Video camera with electronic picture stabilizer
KR0180170B1 (ko) * 1995-06-30 1999-05-01 배순훈 움직임 추정 방법 및 추정 장치
GB9519923D0 (en) * 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
DE69710413T2 (de) * 1996-05-24 2002-10-02 Koninklijke Philips Electronics N.V., Eindhoven Bewegungsschätzung
US5825930A (en) * 1997-03-05 1998-10-20 Samsung Electronics Co., Ltd. Motion estimating method
EP0874523B1 (en) * 1997-04-24 2004-03-03 STMicroelectronics S.r.l. Method for motion-estimated and compensated field rate up-conversion (FRU) for video applications, and device for actuating such a method
JPH10327415A (ja) * 1997-05-22 1998-12-08 Mitsubishi Electric Corp 動きベクトル検出装置
KR100235356B1 (ko) * 1997-08-13 1999-12-15 전주범 개선된 움직임 추정 장치 및 그 추정 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150138186A (ko) * 2013-03-29 2015-12-09 구글 잉크. 평활도 제약을 이용한 모션 보상형 프레임 보간
KR102210415B1 (ko) 2013-03-29 2021-02-01 구글 엘엘씨 평활도 제약을 이용한 모션 보상형 프레임 보간

Also Published As

Publication number Publication date
KR20000069107A (ko) 2000-11-25
JP2001506472A (ja) 2001-05-15
DE69836473D1 (de) 2007-01-04
DE69836473T2 (de) 2007-09-20
WO1999016251A1 (en) 1999-04-01
US6385245B1 (en) 2002-05-07
EP0940041B1 (en) 2006-11-22
EP0940041A1 (en) 1999-09-08

Similar Documents

Publication Publication Date Title
KR100582856B1 (ko) 움직임 추정 및 움직임 보상된 보간법
Choi et al. Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation
JP2968838B2 (ja) 画像列の動作を予測しかつ階層的コード化を行う方法及び装置
Cuevas et al. Block matching algorithm for motion estimation based on Artificial Bee Colony (ABC)
KR100482898B1 (ko) 모션벡터를추정하는방법,장치및그장치를포함하는비디오디스플레이장치
KR100708091B1 (ko) 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP4242656B2 (ja) 動きベクトル予測方法及び動きベクトル予測装置
Choi et al. Frame rate up-conversion using perspective transform
De Haan Progress in motion estimation for consumer video format conversion
KR20090041562A (ko) 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
US20060098886A1 (en) Efficient predictive image parameter estimation
Kim et al. Adaptive motion estimation based on spatio-temporal correlation
Wang et al. Evaluation of mesh-based motion estimation in H. 263-like coders
EP1897376A2 (en) Motion estimation
US20080144716A1 (en) Method For Motion Vector Determination
Heinrich et al. Optimization of hierarchical 3DRS motion estimators for picture rate conversion
EP1606952A1 (en) Method for motion vector determination
Ju et al. A fast rate-optimized motion estimation algorithm for low-bit-rate video coding
Rajagopalan et al. Motion field modeling for video sequences
KR100955415B1 (ko) 움직임 파라미터 세트 및 화상 반복 패턴을 제공하기 위한 방법, 컴퓨터 판독가능 저장 매체 및 집적 회로와, 움직임 파라미터를 제공하기 위한 컴퓨터
Chan et al. On block motion estimation using a novel search strategy for an improved adaptive pixel decimation
Schutten et al. Layered motion estimation
Skoneczny et al. Classical and neural methods of image sequence interpolation
Kim et al. A two-stage fast block matching algorithm using integral projections
Rüfenacht et al. Temporal Frame Interpolation (TFI)

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 19990524

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20030812

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20050912

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20060224

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20060517

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20060518

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20090508

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20100511

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20110512

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20121101

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20130513

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20130513

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20140512

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20140512

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20150511

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20150511

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20180510

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20180510

Start annual number: 13

End annual number: 13

EXPY Expiration of term
PC1801 Expiration of term

Termination date: 20190212

Termination category: Expiration of duration