Nothing Special   »   [go: up one dir, main page]

KR20240137710A - 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출 - Google Patents

비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출 Download PDF

Info

Publication number
KR20240137710A
KR20240137710A KR1020247030193A KR20247030193A KR20240137710A KR 20240137710 A KR20240137710 A KR 20240137710A KR 1020247030193 A KR1020247030193 A KR 1020247030193A KR 20247030193 A KR20247030193 A KR 20247030193A KR 20240137710 A KR20240137710 A KR 20240137710A
Authority
KR
South Korea
Prior art keywords
inter
reference picture
mode
long
term reference
Prior art date
Application number
KR1020247030193A
Other languages
English (en)
Inventor
이원 천
쇼위 슈
샹린 왕
쭝촨 마
Original Assignee
베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Publication of KR20240137710A publication Critical patent/KR20240137710A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

현재 사용되는 다용도 비디오 코딩(Versatile Video Coding, VVC)와 같은 비디오 코딩 표준에 사용되는 인터-모드 코딩된 블록에 대한 움직임 벡터 후보의 도출에서 특정 인터-모드 코딩 툴의 동작을 제약하는 방법이 컴퓨팅 장치에서 수행된다. 컴퓨팅 장치는 인터-모드 코딩 툴의 동작에 관여하는 인터-모드 코딩된 블록과 관련된 참조 픽처 중 하나 혹은 그 이상의 장기 참조 픽처가 장기 참조 픽처인지 여부를 결정하고, 결정에 기반하여 인터-모드 코딩 툴의 인터-모드 코딩된 블록에 대한 동작을 제약한다.

Description

비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출{CONSTRAINED MOTION VECTOR DERIVATION FOR LONG-TERM REFERENCE PICTURES IN VIDEO CODING}
본 개시는 일반적으로 비디오 코딩 및 압축에 관한 것이다. 보다 구체적으로, 본 개시는 장기 참조 픽처를 위한 움직임 벡터 도출에 대한 제한을 사용하여 비디오 코딩을 수행하기 위한 시스템 및 방법에 관한 것이다.
본 출원은 2019년 02월 20일에 제출한 번호가 62/808,271인 미국 임시 특허 출원의 이익을 주장한다. 전술한 출원의 전체 개시 내용은 인용을 통해 본문에 병합된다.
본 부분은 본 개시와 관련된 배경 정보를 제공한다. 본 부분에 포함된 정보가 선행 기술로 반드시 해석되는 것은 아니다.
다양한 비디오 코딩 기술들을 사용하여 비디오 데이터를 압축할 수 있다. 비디오 코딩은 하나 혹은 그 이상의 비디오 코딩 표준에 따라 수행될 수 있다. 일부 예시적인 비디오 코딩 표준들은 다용도 비디오 코딩(Versatile Video Coding, VVC), 공동 탐색 테스트 모델(Joint Exploration Test Model, JEM), 고효율 비디오 코딩(High Efficiency Video Coding, H.265/HEVC), 고급 비디오 코딩(Advanced Video Coding, H.264/AVC) 및 동화상전문가그룹(Moving Picture Experts Group, MPEG)을 포함한다.
비디오 코딩은 일반적으로 비디오 이미지 또는 시퀀스에 내재된 중복성을 이용하는 예측 방법(예를 들어, 인터 예측, 인트라 예측 등)을 사용한다. 비디오 코딩 기술의 하나의 목표는 비디오 데이터를 더 낮은 비트율(bit rate)을 사용하는 포맷(format)으로 압축하면서도 비디오 품질의 저하를 방지하거나 최소화하는 것이다.
비디오 코딩에 사용되는 예측 방법은 일반적으로 비디오 데이터에 내재된 중복성을 감소 또는 제거하도록 공간적(인트라 프레임) 예측 및/또는 시간적(인터 프레임) 예측을 수행하는 것을 포함하며, 일반적으로 블록 기반 비디오 코딩과 관련된다.
블록 기반 비디오 코딩에서, 입력 비디오 신호는 블록 단위로 처리된다. 각각의 블록(코딩 단위(CU, coding unit)로도 알려짐)에 대해, 공간적 예측 및/또는 시간적 예측을 수행할 수 있다.
공간적 예측("인트라 예측"으로도 알려짐)은 동일한 비디오 픽처/슬라이스 중의 이미 코딩된 인접 블록들의 샘플들("참조 샘플"이라고 함)로부터의 픽셀들을 사용하여 현재 블록을 예측한다. 공간적 예측은 비디오 신호에 내재된 공간적 중복성을 줄여준다.
시간적 예측("인터 예측" 또는 "움직임 보상 예측"으로도 알려짐)은 이미 코딩된 비디오 픽처들로부터의 재구성된 픽셀들을 사용하여 현재 블록을 예측한다. 시간적 예측은 비디오 신호에 내재된 시간적 중복성을 줄여준다. 주어진 CU에 대한 시간적 예측 신호는 일반적으로 하나 혹은 그 이상의 움직임 벡터(MV)에 의해 시그널링되되, 상기 하나 혹은 그 이상의 움직임 벡터(MV)는 현재 CU와 그의 시간적 참조 사이의 움직임의 양과 방향을 가리킬 수 있다. 또한, 복수의 참조 픽처를 지원하는 경우, 하나의 참조 픽처 인덱스가 추가로 전송되며, 이는 참조 픽처 스토리지 중의 어느 참조 픽처에서 시간적 예측 신호가 오는지 식별하기 위하여 사용된다.
공간적 및/또는 시간적 예측을 수행한 다음, 인코더 중의 모드 결정 블록은 예를 들어 레이트-왜곡 최적화 방법(rate-distortion optimization method)에 기반하여 최적의 예측 모드를 선택한다. 다음, 현재 블록에서 예측 블록을 감산하고, 예측 잔여는 변환 을 사용하여 역상관하며 양자화한다. 양자화된 잔여 계수는 역양자화 및 역변환되어 재구성된 잔여를 형성한 다음, 예측 블록에 다시 가산되어 블록의 재구성된 신호를 형성한다.
공간적 및/또는 시간적 예측 이후, 참조 픽처 스토리지에 저장하기 전에 및 미래의 비디오 블록을 코딩하는데 사용되기 전에 디블록킹 필터(deblocking filter), 샘플 적응적 오프셋(sample adaptive offset, SAO) 및 적응적 인-루프 필터(adaptive in-loop filter, ALF)와 같은 추가 인-루프 필터링을 재구성된 CU에 적용될 수 있다. 출력 비디오 비트스트림(bit-stream)을 형성하기 위하여, 코딩 모드(인터 또는 인트라), 예측 모드 정보, 움직임 정보 및 양자화된 잔여 계수가 모두 엔트로피 코딩부로 전송되어 추가로 압축되고 패킹되어 비트스트림을 형성한다.
디코딩 프로세스 동안, 비디오 비트스트림은 엔트로피 디코딩부에서 먼저 엔트로피 디코딩된다. 코딩 모드 및 예측 정보는 공간적 예측부(인트라 코딩된 경우) 또는 시간적 예측부(인터 코딩된 경우)로 전송되어 예측 블록을 형성한다. 잔여 변환 계수는 역양자화부 및 역변환부로 전송되어 잔여 블록을 재구성한다. 그 다음 예측 블록과 잔여 블록은 가산된다. 재구성된 블록은 참조 픽처 스토리지에 저장되기 전에 인-루프 필터링을 더 수행할 수 있다. 다음 참조 픽처 스토리지 중의 재구성된 비디오는 전송되어 디스플레이 장치를 구동할 뿐만 아니라 미래의 비디오 블록을 예측하는데 사용된다.
HEVC 및 VVC와 같은 비디오 코딩 표준에서, 참조 픽처 세트(reference picture set, RPS) 개념은 참조(즉, 샘플 데이터 예측 및 움직임 벡터 예측)에 사용하기 위해 사전에 디코딩된 픽처가 어떻게 디코딩 픽처 버퍼(decoded picture buffer, DPB)에서 관리되는지를 정의한다. 일반적으로, 참조 픽처 관리를 위한 RPS 개념은 각 슬라이스마다(현재 VVC에서 "타일(tile)"이라고도 함) DPB의 상태를 시그널링하는 것이다.
DPB의 픽처는 "단기 참조용으로 사용됨", "장기 참조용으로 사용됨" 또는 "참조용으로 사용되지 않음"으로 표시될 수 있다. 픽처가 "참조용으로 사용되지 않음"으로 표시되면, 더 이상 예측에 사용될 수 없으며 더 이상 출력에 필요하지 않으면 DPB에서 제거될 수 있다.
일반적으로,디스플레이 순서(즉, 픽처 순서 카운트(Picture Order Count) 또는 POC로 불림)측면에서 장기 참조 픽처는 보통 단기 참조 픽처에 비해 현재 픽처에서 더 멀리 떨어져 있다. 장기 참조 픽처와 단기 참조 픽처 간의 이러한 구별은 시간적 및 공간적 MV 예측 또는 암시적 가중치 예측에서의 움직임 벡터 스케일링과 같은 일부 디코딩 프로세스에 영향을 미칠 수 있다.
HEVC 및 VVC와 같은 비디오 코딩 표준에서, 공간적 및/또는 시간적 움직임 벡터 후보를 도출할 경우, 공간적 및/또는 시간적 움직임 벡터 후보들을 도출하는 과정의 일부를 형성하는 스케일링 프로세스에 관여하는 특정 참조 픽처가 장기 참조 픽처인지 장기 참조 픽처가 아닌지에 따라, 상기 스케일링 프로세스에 특정 제한을 가한다.
그러나, 현재 VVC 표준화와 같은 비디오 코딩/인코딩 규격에 따르면, 인터-모드 코딩 블록에 대한 움직임 벡터 후보들을 도출하기 위한 이러한 비디오 코딩/인코딩 규격에 채택된 새로운 인터-모드 비디오 코딩 툴에 아직 유사한 제한이 가해지지 않았다.
본 부분은 본 개시의 일반적인 개요를 제공하는 것이며, 본 개시의 전체 범위 또는 본 개시의 모든 특징에 대한 포괄적인 개시가 아니다.
본 개시의 제1 측면에 따르면, 비디오 코딩 방법은 하나 혹은 그 이상의 프로세서 및 하나 혹은 그 이상의 프로세서에 의해 실행될 복수의 프로그램을 저장하는 메모리를 갖는 컴퓨팅 장치에서 수행된다. 상기 비디오 코딩 방법은, 비디오 스트림 중의 각각의 픽처를 복수개의 블록들 또는 코딩 단위들(CUs)로 분할하는 단계를 포함한다. 상기 방법은 인터-모드 코딩된 블록들에 대하여 인터-모드 움직임 벡터의 도출을 수행하는 단계를 더 포함한다. 상기 방법은 인터-모드 코딩된 블록들에 대하여 인터-모드 움직임 벡터의 도출을 수행하는 동안 특정 인터-모드 코딩 툴을 동작시키는 단계를 더 포함한다. 상기 방법은 인터-모드 코딩 툴의 동작에 관여하는 인터-모드 코딩된 블록과 관련된 참조 픽처 중 하나 혹은 그 이상의 참조 픽처가 장기 참조 픽처인지 여부를 결정하고, 결정에 기반하여상기 인터-모드 코딩된 블록에 대한 상기 인터-모드 코딩 툴의 동작을 제한하는 단계를 더 포함한다.
본 출원의 제2 측면에 따르면, 컴퓨팅 장치는 하나 혹은 그 이상의 프로세서, 메모리 및 메모리에 저장된 복수의 프로그램을 포함한다. 프로그램은, 하나 혹은 그 이상의 프로세서에 의해 실행될 경우 컴퓨팅 장치로 하여금 상기에서 설명한 동작들을 수행하도록 한다.
본 출원의 제3 측면에 따르면, 비-일시적 컴퓨터 판독 가능 저장 매체는 하나 혹은 그 이상의 프로세서를 갖는 컴퓨팅 장치에 의해 실행되기 위한 복수의 프로그램을 저장한다. 프로그램은, 상기 하나 혹은 그 이상의 프로세서에 의해 실행될 경우 컴퓨팅 장치로 하여금 상기에서 설명한 동작들을 수행하도록 한다.
이하, 첨부된 도면과 함께 본 개시내용의 예시적이고 비제한적인 실시예 세트들을 설명한다. 구조, 방법 또는 기능의 변형은 여기에 제시된 예에 기반하여 관련 기술 분야의 통상의 지식을 가진 자에 의해 구현될 수 있으며, 이러한 변형은 모두 본 개시의 범위 내에 포함된다. 충돌이 존재하지 않는 경우, 상이한 실시예의 교시가 서로 결합될 수 있지만 반드시 그럴 필요는 없다.
도 1은 복수의 비디오 코딩 표준들과 함께 사용할 수 있는 예시적인 블록 기반 하이브리드 비디오 인코더를 설명하는 블록도이다.
도 2는 복수의 비디오 코딩 표준들과 함께 사용할 수 있는 예시적인 비디오 디코더를 설명하는 블록도이다.
도 3은 복수의 비디오 코딩 표준들과 함께 사용할 수 있는 멀티-타입 트리(multi-type tree) 구조의 블록 파티션(partition)들의 예시도이다.
도 4는 양방향 광학 흐름(Bi-Directional Optical Flow, BDOF) 프로세스의 예시도이다.
도 5는 디코더 측 움직임 벡터 미세화(Decoder-side Motion Vector Refinement, DMVR)에서 사용되는 양방향 매칭(bilateral matching)의 예시도이다.
도 6은 움직임 벡터 차이가 있는 병합 모드(Merge Mode with Motion Vector Difference, MMVD)에서 사용되는 검색 포인트들의 예시도이다.
도 7a는 서브블록 기반 시간적 움직임 벡터 예측(Subblock-based Temporal Motion Vector Prediction, SbTMVP) 모드에서 사용되는 공간적 인접 블록들의 예시도이다.
도 7b는 SbTMVP 모드에서 공간적 인접 블록들로부터 식별된 움직임 시프트를 적용함으로써 서브-CU-레벨 움직임 정보를 도출하는 예시도이다.
본 개시에서 사용된 용어는 본 개시를 한정하려는 것이 아니라 특정한 예를 설명하기 위해 사용된 것이다. 본 개시 및 첨부된 특허청구범위에서 사용된 단수형들은 문맥상 다른 의미가 명확히 포함되지 않는 한 복수형도 지칭한다. 본 명세서에서 사용된 용어 "및/또는"은 하나 혹은 그이상의 관련된 나열된 항목의 임의의 또는 모든 가능한 조합을 지칭하는 것으로 이해되어야 한다.
"제1", "제2", "제3" 등의 용어가 다양한 정보를 설명하기 위해 본 명세서에서 사용될 수 있지만, 상기 정보는 이러한 용어에 의해 제한되지 아니함을 이해해야 한다. 이러한 용어는 상기 정보의 한 범주를 다른 범주와 구분하기 위하여 사용된다. 예를 들어, 본 개시내용의 범위를 벗어나지 않으면서 제1 정보는 제2 정보로 지칭될 수 있고, 유사하게, 제2 정보는 또한 제1 정보로 지칭될 수도 있다. 본 명세서에 사용된 바와 같이, 용어 "만약"은 문맥상 "...때" 또는 "...시" 또는 "...에 대응하여"를 의미하는 것으로 이해될 수 있다.
본 명세서 전반에 걸쳐 "일 실시예", "실시예", "다른 실시예" 등과 같은 단수 또는 복수에서 언급한 실시예와 관련하여 설명된 하나 혹은 그 이상의 특정 특징, 구조 또는 특성이 본 개시의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에 걸쳐 단수 또는 복수의 형태로 나타난 "일 실시예에서" 또는 "실시예에서", "다른 실시예에서" 등의 표현이 모두 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 하나 혹은 그 이상의 실시예에서의 특정 특징, 구조, 또는 특성은 임의의 적절한 방식으로 조합될 수 있다.
개념적으로, 배경기술 부분에서 사전에 언급된 것들을 포함하여 여러 비디오 코딩 표준들은 유사하다. 예를 들어, 거의 모든 비디오 코딩 표준들은 블록 기반 처리를 사용하고 유사한 비디오 코딩 블록도를 공유하여 비디오 압축을 달성한다.
도 1은 복수의 비디오 코딩 표준과 함께 사용할 수 있는 예시적인 블록 기반 하이브리드 비디오 인코더(100)를 설명하는 블록도이다. 인코더(100)에서, 비디오 프레임은 처리를 위해 복수의 비디오 블록들로 분할된다. 각각의 주어진 비디오 블록에 대하여, 인터 예측 접근법 또는 인트라 예측 접근법에 기반하여 예측을 형성된다. 인터 예측에서, 사전에 재구성된 프레임들의 픽셀들을 기반으로 움직임 추정 및 움직임 보상을 통해 하나 혹은 그 이상의 예측자를 형성한다. 인트라 예측에서, 현재 프레임 중의 재구성된 픽셀들을 기반으로 예측자를 형성한다. 모드 결정을 통하여 최적의 예측자를 선택하여 현재 블록을 예측할 수 있다.
현재 비디오 블록과 그 예측자 사이의 차이를 나타내는 예측 잔여는 변환 회로(102)로 전송된다. 변환 계수들은 엔트로피 감소를 위해 변환 회로(102)에서 양자화 회로(104)로 전송된다. 다음, 양자화된 계수들은 엔트로피 코딩 회로(106)에 공급되어 압축된 비디오 비트스트림을 생성한다. 도 1에 도시된 바와 같이. 도 1에 도시된 바와 같이, 인터 예측 회로 및/또는 인트라 예측 회로(112)로부터의 비디오 블록 파티션 정보, 움직임 벡터들, 참조 픽처 인덱스 및 인트라 예측 모드와 같은 예측 관련 정보(110)도 엔트로피 코딩 회로(106)를 통해 공급되고 압축된 비디오 비트스트림(114)에 저장된다.
인코더(100)에서, 예측 목적을 위하여 픽셀들을 재구성하기 위하여, 디코더 관련 회로들도 또한 필요하다. 먼저, 예측 잔여는 역양자화(116) 및 역변환 회로(118)를 통해 재구성된다. 이와 같이 재구성된 예측 잔여는 블록 예측자(120)와 결합되어 현재 비디오 블록에 대한 필터링되지 않은 재구성된 픽셀을 생성한다.
코딩 효율 및 화질을 향상시키기 위하여, 일반적으로 인-루프 필터를 사용한다. 예를 들어, 디블로킹 필터는 AVC, HEVC 및 현재 버전의 VVC에서 사용할 수 있다. HEVC에서, 코딩 효율성을 더욱 향상시키기 위해 SAO(샘플 적응적 오프셋)라는 추가 인-루프 필터가 정의되었다. 현재 버전의 VVC 표준에서, ALF(적응적 루프 필터)라는 또 다른 인루프 필터에 대한 연구가 활발히 진행되고 있으며 최종 표준에 포함될 가능성이 높다.
이러한 인루프 필터 동작은 선택 사항이다. 이러한 동작들을 수행하면 코딩 효율과 시각적 품질을 개선하는데 도움이 된다. 이들은 또한 계산 복잡성을 줄이기 위해 인코더(100)에 의해 렌더링된 결정으로서 턴-오프될 수 있다.
이러한 필터 옵션이 인코더(100)에 의하여 턴-온 된 경우, 인트라 예측은 일반적으로 필터링되지 않은 재구성된 픽셀을 기반으로 진행하는 반면 인터 예측은 필터링된 재구성된 픽셀을 기반으로 진행한다는 점에 유의해야 한다.
도 2는 복수 비디오 코딩 표준들과 함께 사용할 수 있는 예시적인 비디오 디코더(200)를 설명하는 블록도이다. 당해 디코더(200)는 도 1의 인코더(100)에 상주하는 재구성 관련 부분과 유사하다. 디코더(200, 도 2)에서, 입력되는 비디오 비트스트림(201)은 먼저 엔트로피 디코딩(202)을 통해 디코딩되어 양자화된 계수 레벨들 및 예측 관련 정보를 도출한다. 그 다음 양자화된 계수 레벨들은 역양자화(204) 및 역변환(206)을 통해 처리되어 재구성된 예측 잔차를 획득한다. 인트라/인터 모드 선택기(212)에서 구현되는 블록 예측자 메커니즘은 디코딩된 예측 정보에 기반하여 인트라 예측(208) 또는 움직임 보상(210)을 수행하도록 구성된다. 가산기(214)를 사용하여 역변환(206)으로부터 재구성된 예측 잔차와 블록 예측자 메커니즘에 의해 생성된 예측 출력을 합산하여 필터링되지 않은 재구성된 픽셀 세트를 획득한다. 인-루프 필터가 턴-온 된 경우에서, 이러한 재구성된 픽셀들에 대해 필터링 연산을 수행하여 최종 재구성된 비디오를 도출한다. 다음, 참조 픽처 스토리지 중의 재구성된 비디오는 전송되어 디스플레이 장치를 구동할 뿐만 아니라 미래의 비디오 블록을 예측하기 위하여 사용된다.
HEVC와 같은 비디오 코딩 표준에서, 블록은 쿼드-트리(quad-tree)에 기반하여 분할될 수 있다. 현재 VVC와 같은 새로운 비디오 코딩 표준에서는 더 많은 분할 방법이 사용되며, 하나의 코딩 트리 단위(CTU,coding tree unit)는 쿼드 트리, 이진 트리(binary-tree) 또는 삼진 트리(ternary tree)에 기반하여CU들로 분할되어 다양한 로컬 특성에 적응할 수 있다. 현재 VVC의 대부분의 코딩 모드에서는 CU, 예측 단위(PU) 및 변환 단위(TU)에 대한 구별이 없으며, 각각의 CU는 항상 추가 분할 없이 예측 및 변환 모두에 대한 기본 단위로 사용된다. 그러나, 인트라 서브-분할 코딩 모드와 같은 일부 특정 코딩 모드에서, 각각의 CU는 여전히 다수의 TU들을 포함할 수 있다. 멀티-타입 트리 구조에서, 하나의 CTU는 먼저 쿼드-트리 구조로 분할된다. 그 다음 각 쿼드-트리 리프 노드(leaf node)는 이진 및 삼진 트리 구조로 더 분할될 수 있다.
도 3은 현재 VVC에서 사용되는 5가지 분할 유형, 즉 쿼터너리(quaternary) 분할(301), 수평 이진 분할(302), 수직 이진 분할(303), 수평 삼진 분할(304) 및 수직 삼진 분할(305)을 도시하고 있다.
HEVC 및 현재의 VVC와 같은 비디오 코딩 표준들에서, 사전에 디코딩된 픽처는 참조 픽처 세트(RPS) 개념 하에서 디코딩된 픽처 버퍼(DPB)에서 관리되어, 참조용으로 사용된다. DPB 중의 픽처는 "단기 참조용으로 사용됨", "장기 참조용으로 사용됨" 또는 "참조용으로 사용되지 않음"으로 표기될 수 있다.
인접 블록의 참조 픽처가 현재 블록에 대한 주어진 타겟 참조 픽처와 다른 경우, 공간적 이웃 블록의 스케일링된 움직임 벡터는 현재 블록에 대한 움직임 벡터 예측자로 사용될 수 있다. 공간적 움직임 후보들에 대한 스케일링 프로세스에서, 스케일링 인자는 현재 픽처와 타겟 참조 픽처 사이의 픽처 오더 카운트(POC) 거리 및 현재 픽처와 인접 블록의 참조 픽처 사이의 POC거리를 기반으로 계산된다.
HEVC 및 현재의 VVC와 같은 비디오 코딩 표준들에서, 프로세스에 관여하는 특정 참조 픽처들이 장기 참조 픽처 아니면 장기 참조 픽처가 아닌지를 기반으로 공간 움직임 후보에 대한 스케일링 프로세스에 특정 제한들이 가해진다. 두 개의 참조 픽처들 중 하나가 장기 참조 픽처이고 다른 하나가 장기 참조 픽처가 아닌 경우, 인접 블록의 MV는 무효로 간주된다. 두 개의 참조 픽처들가 모두 장기 참조 픽처인 경우, 공간적 인접 블록의 MV들을 현재 블록에 대한 MVP로 직접 사용하고 스케일링 처리가 금지되는데, 이는 두 개의 장기 참조 픽처들 사이의 POC 거리는 일반적으로 크므로 스케일링된 MV는 신뢰할 수 없다.
유사하게, 시간적 움직임 후보들에 대한 스케일링 프로세스에서도, 현재 픽처와 타겟 참조 픽처 사이의 POC 거리 및 콜로케이터 픽처(collocated picture)와 시간적 인접 블록(콜로케이터 블록(collocated block)이라고도 함)에 대한 참조 픽처 사이의 POC 거리에 기반하여 스케일링 인자가 계산된다.
HEVC 및 현재의 VVC와 같은 비디오 코딩 표준들에서, 프로세스에 관여하는 특정 참조 픽처가 장기 참조 픽처인지 장기 참조 픽처가 아닌지를 기반으로 시간적 움직임 후보에 대한 스케일링 프로세스에도 특정 제한들이 가해진다. 두 개의 참조 픽처들 중 하나가 장기 참조 픽처이고 다른 하나가 장기 참조 픽처가 아닌 경우, 인접 블록의 MV는 무효로 간주된다. 두 개의 참조 픽처가 모두 장기 참조 픽처인 경우 시간적 인접 블록의 MV들을 현재 블록에 대한 MVP로 직접 사용하고 스케일링 처리가 금지되는데, 이는 두 개의 장기 참조 픽처들 사이의 POC 거리는 일반적으로 크므로 스케일링된 MV는 신뢰할 수 없다.
현재의 VVC와 같은 새로운 비디오 코딩 표준들에서, 새로운 인터 모드 코딩 툴들을 도입하였으며, 새로운 인터 모드 코딩 툴들의 몇 가지 예로는 양방향 광학 흐름(Bi-Directional Optical Flow, BDOF), 디코더 측 움직임 벡터 미세화(Decoder-side Motion Vector Refinement, DMVR), MVD를 사용한 병합 모드(Merge Mode with Motion Vector Difference, MMVD), 대칭 MVD(Symmetric MVD, SMVD), 가중치 평균화를 사용한 양방향 예측(Bi-prediction with Weighted Averaging, BWA), 페어와이즈 평균화 병합 후보 도출 (pair-wise average merge candidates derivation) 및 서브블록-기반 시간적 움직임 벡터 예측(Subblock-based Temporal Motion Vector Prediction, SbTMVP)등을 포함한다.
비디오 코딩에서의 종래의 양방향 예측은 이미 재구성된 참조 픽처들로부터 획득된 2개의 시간적 예측 블록들의 단순한 조합이다. 그러나 블록-기반 움직임 보상의 한계로 인해 두 예측 블록들의 샘플들 사이에서 작은 움직임이 존재함이 관찰되어 움직임 보상 예측의 효율성이 떨어질 수 있다. 이러한 문제를 해결하기 위하여, 현재의 VVC에 BDOF를 적용하여 한 블록 내의 각 샘플에 대해 이러한 움직임의 영향을 감소한다.
도 4는 양방향 광학 흐름(Bi-Directional Optical Flow, BDOF) 프로세스의 예시도이다. BDOF는 양방향-예측(bi-prediction)을 사용할 경우 블록-기반 움직임-보상 예측 다음에 곧바로 수행되는 샘플별 움직임 미세화이다. BDOF가 서브 블록 주변의 하나의 6x6 윈도우 내에서 적용된 후, 각 4x4 서브 블록의 움직임 미세화는 참조 픽쳐 리스트 0(L0)과 참조 픽쳐 리스트 1(L1)의 예측 샘플들 사이의 차이를 최소화하여 계산된다. 이와 같이 도출된 움직임 미세화에 기반하여, CU의 최종 양방향-예측 샘플은 광학 흐름 모델에 기반한 움직임 궤적을 따라 L0/L1 예측 샘플들을 보간함으로써 계산된다.
DMVR은 양변 매칭 예측(bilateral matching prediction)을 사용함으로써 더 미세화될 수 있는 두 개의 초기 시그널링된 MV들을 갖는 병합 블록에 대한 양방향-예측 기술이다.
도 5는 DMVR에서 사용되는 양변 매칭의 예시이다. 양변 매칭을 사용하여 두 개의 서로 다른 참조 픽처들에서 현재 CU의 움직임 궤적을 따라 두 블록 사이에서 가장 가까운 매칭을 찾아 현재 CU의 움직임 정보를 도출한다. 매칭 프로세스에 사용되는 비용 함수(cost function)는 행-서브샘플링된 절대 차이의 합(sum of absolute difference, SAD)이다. 매칭 프로세스를 완료한 다음, 미세화된 MV들을 사용하여 예측 단계에서 움직임 보상을 수행하고, 디블록 필터에서 경계 강도 계산을 수행하고, 후속 픽처에 대한 시간적 움직임 벡터 예측 및 후속 CU들에 대한 교차-CTU 공간적 움직임 벡터 예측을 수행할 수 있다. 연속적인 움직임 궤적이라고 가정할 경우, 두 참조 블록들을 가리키(point)는 움직임 벡터 MV0, MV1은 현재 픽처와 두 참조 픽처들 사이의 시간적 거리, 즉 TD0, TD1와 비례되어여 한다. 특별한 경우로, 현재 픽쳐가 시간적으로 두 참조 픽쳐들 사이에 있고 현재 픽쳐에서 두 참조 픽쳐들까지의 시간적 거리가 동일한 경우, 양변 매칭은 미러 기반 양방향 MV가 된다.
현재의 VVC는 종래의 병합 모드외에 MMVD를 추가로 도입하였다. 종래의 병합 모드에서는 암시적으로 도출된 움직임 정보를 현재 CU의 예측 샘플 생성에 직접 사용한다. MMVD 모드에서, 병합 후보를 선택한 다음 시그널링된 MVD 정보에 의해 더 세분화된다.
MMVD 모드가 CU에 사용되는지 여부를 지정하기 위해 스킵 플래그 및 병합 플래그를 전송한 직후에 MMVD 플래그를 시그널링한다. MMVD 모드 정보는 병합 후보 플래그, 움직임의 크기를 지정하기 위한 거리 인덱스, 움직임 방향을 가리키는 방향 인덱스를 포함한다.
MMVD 모드에서, 병합 리스트 중의 처음 두 후보들 중 하나만 초기 MV로 선택되도록 허용되고, 병합 후보 플래그는 시그널링되어 처음 두 후보 중 어느 것이 사용되는지를 지정한다.
도 6은 MMVD에서 사용되는 검색 포인트들의 예시도이다. 초기 MV의 수평 성분 또는 수직 성분에 오프셋을 추가하여 검색 포인트들을 도출한다. 거리 인덱스는 움직임 크기 정보를 지정하고 시작 포인트로부터의 미리 정의된 오프셋을 가리키며, 방향 인덱스는 방향 인덱스들로부터 오프셋 기호들에 대한 미리 정의된 매핑을 통해 시작 포인트에 대한 오프셋의 방향을 가리킨다.
매핑된 오프셋 부호의 의미는 초기 MV의 정보에 따라 달라질 수 있다. 초기 MV가 단일-방향 예측 MV 또는 참조한 참조 픽처들이 현재 픽처의 동일한 측면을 가리키는 양방향 예측 MV인 경우(즉, 최대 2개의 참조 픽처의 POC가 모두 현재 픽처 POC보다 크거나, 두개의 참조 픽처 모두 현재 픽처 POC보다 작음), 매핑된 오프셋 부호는 초기 MV에 추가된 MV 오프셋의 부호를 지정한다. 초기 MV가 양방향 예측 MV이며 현재 픽처의 다른 측면을 가리키는 두 개의 움직임 벡터를 구비할 경우(즉, 하나의 참조 픽처의 POC가 현재 픽처 POC보다 크고 다른 참조 픽처의 POC가 현재 픽처 POC보다 작은 경우), 매핑된 오프셋 부호는 초기 MV의 L0 움직임 벡터에 추가된 MV 오프셋의 부호와 초기 MV의 L1 움직임 벡터에 추가된 MV 오프셋의 반대 부호를 지정한다.
다음, MV 오프셋의 두 성분은 시그널링된 MMVD 거리 및 부호로부터 도출되고, 최종 MVD는 MV 오프셋 성분으로부터 추가로 도출된다.
현재의 VVC는 또한 SMVD 모드를 도입하였다. SMVD 모드에서, L0 및 L1의 참조 픽처 인덱스 및 L1의 MVD를 포함하는 움직임 정보는 시그널링되는 것이 아니라 도출된다. 인코더에서 SMVD 움직임 추정은 초기 MV 평가로부터 시작된다. 초기 MV 후보들의 세트는 단일-방향 예측 검색으로부터 획득한 MV, 양방향 예측 검색으로부터 획득한 MV 및 AMVP 리스트로부터의 MV로 구성된다. 최저 레이트-왜곡 비용을 갖는 초기 MV 후보를 SMVD 움직임 검색을 위한 초기 MV로 선택한다.
현재의 VVC도 BWA를 도입하였다. HEVC에서, 양방향 예측 신호는 두 개의 참조 픽처들로부터 획득한 두 개의 예측 신호에 대한 평균화 및/또는 두 개의 움직임 벡터를 사용하여 생성된다. BWA를 사용하는 현재 VVC에서, 양방향 예측 모드는 단순 평균화만이 아닌 두 예측 신호의 가중치 평균화를 을 허용하도록 확장된다.
현재의 VVC에서, BWA에서 5개의 가중치가 허용된다. 각 양방향-예측 CU에 대하여, 가중치는 두 가지 방법 중 하나로 결정된다. 비 병합 CU의 경우 가중치 인덱스는 움직임 벡터 차이 이후에 시그널링되는 반면, 병합 CU의 경우 가중치 인덱스는 병합 후보 인덱스를 기반으로 인접 블록으로부터 추론된다. 가중치 평균화 양방향-예측은 256개 혹은 그 이상의 루마 샘플들을 구비한 CU에만 적용된다(즉, CU 너비 곱하기 CU 높이가 256보다 크거나 같음). 역방향 예측을 사용하지 않는 픽처의 경우, 5개의 가중치를 모두 사용한다. 역방향 예측을 사용하는 픽처의 경우, 5개 중 3개의 가중치의 미리 정의된 부분 집합만 사용한다.
현재의 VVC는 또한 페어와이즈 평균화 병합 후보 도출을 도입(pair-wise average merge candidates derivation)하였다. 페어와이즈 평균화 병합 후보 도출(pair-wise average merge candidates derivation)에서 페어와이즈 평균화 후보들은 종래 병합 후보 리스트 중의 미리 정의된 후보 쌍을 평균화하여 생성한다. 평균 움직임 벡터는 각 참조 리스트에 대하여 별도로 계산된다. 두 개의 움직임 벡터들을 하나의 리스트에서 모두 사용할 수 있는 경우, 이러한 두 움직임 벡터들이 서로 다른 참조 픽처들을 가리킬지라도 이들을 평균화하며;. 하나의 움직임 벡터만 사용할 수 있는 경우, 이 하나의 움직임 벡터를 직접 사용하며; 움직임 벡터를 사용할 수 없을 경우, 리스트는 무효 상태로 유지된다. 페어와이즈 평균화 병합 후보를 추가한 다음 병합 리스트가 가득 차지 않을 경우, 최대 병합 후보 수에 도달할때까지 끝에 0 MVP를 삽입한다.
VVC 테스트 모델(VTM, VVC Test Model)로 알려진 현재의 VVC에 대한 현재의 기준 소프트웨어 코드베이스도 SbTMVP 모드를 도입하였다. HEVC의 시간적 움직임 벡터 예측(TMVP, temporal motion vector predictio)과 유사하게, SbTMVP는 콜로케이터 픽처(collocated picture)의 움직임 필드를 사용하여 현재 픽처의 CU에 대한 움직임 벡터 예측 및 병합 모드를 개선한다. SbTMVP는 다음 두 가지 주요 측면에서 TMVP와 다르다. 첫째, TMVP는 CU 레벨에서 움직임을 예측하지만 SbTMVP는 서브-CU 레벨에서 움직임을 예측하고, 둘째, TMVP는 콜로케이터 픽처에서의 콜로케이터 블록(상기 콜로케이터 블록은 현대 블록에 대한 오른쪽 하단 또는 중앙 블록)으로부터 시간적 움직임 벡터를 추출하지만, SbTMVP는 콜로케이터 픽처로부터 시간적 움직임 정보를 추출하기 전에 움직임 시프트를 적용하되, 당해 움직임 시프트는 현재 CU의 공간적 인접 블록들 중 하나의 움직임 벡터로부터 획득한다.
도 7a 및 도 7b는 SbTMVP 모드의 동작을 도시한 것이다. SbTMVP는 현재 CU 내 서브-CU들의 움직임 벡터들을 두 단계로 예측한다. 도 7a는 제1 단계를 도시하며, A1, B1, B0, A0의 순서로 공간적 인접들을 조사한다. 콜로케이터 픽쳐를 참조 픽쳐로 사용하는 움직임 벡터를 구비한 제1 공간적 인접 블록이 식별되면, 당해 움직임 벡터를 적용할 움직임 쉬프트로 선택한다. 이러한 움직임이 공간적 인접들들로부터 식별되지 않을 경우, 움직임 시프트는 (0, 0)으로 설정된다. 도 7b는 제2 단계를 도시하며, 첫 번째 단계에서 식별된 움직임 시프트를 적용하여(즉, 현재 블록의 좌표에 추가됨) 콜로케이터 픽처로부터 서브-CU-레벨 움직임 정보(움직임 벡터들 및 참조 인덱스들)을 획득한다. 도 7b의 예시도는 움직임 시프트가 블록 A1의 움직임으로 설정된 예를 보여준다. 다음, 각 서브-CU에 대하여, 콜로케이터 픽처에서의 해당 블록(중앙 샘플을 커버하는 최소 움직임 그리드(grid))의 움직임 정보를 사용하여 서브-CU에 대한 움직임 정보를 도출한다. 콜로케이터 서브-CU의 움직임 정보를 식별한 다음, HEVC의 TMVP 프로세스와 유사한 방식으로 이 움직임 정보를 현재 서브-CU의 움직임 벡터들 및 참조 인덱스들로 변환하며, 여기서 시간적 움직임 스케일링을 적용하여 시간적 움직임 벡터들의 참조 픽처들을 현재 CU의 참조 픽처들과 정렬한다.
VTM의 제3 버전(VTM3)에서, SbTMVP 후보들과 아핀 병합 후보들(affine merge candidates)를 모두 포함하는 결합된 서브-블록 기반 병합 리스트를 사용하여 서브-블록 기반 병합 모드를 시그널링 한다. SbTMVP 모드는 시퀀스 파라미터 세트(sequence parameter set, SPS) 플래그에 의해 인에이블(enabled) 또는 디세이블(disabled)된다. SbTMVP 모드가 인에이블되면, SbTMVP 예측자가 서브-블록 기반 병합 후보들의 리스트의 첫 번째 항목으로 추가하고 그 뒤에 아핀 병합 후보들을 추가한다. 서브-블록 기반 병합 리스트의 크기는 SPS에서 시그널링되며, 서브-블록 기반 병합 리스트의 최대 허용 크기는 VTM3에서 5로 고정되었다. SbTMVP에서 사용되는 서브-CU의 크기는 8x8로 고정되며, 아핀 병합 모드에서와 같이 SbTMVP 모드는 너비와 높이가 모두 8보다 크거나 같은 CU에만 적용될 수 있다. 추가 SbTMVP 병합 후보의 인코딩 논리는 다른 병합 후보들과 같으며, 즉, P 또는 B 슬라이스의 각 CU에 대해, SbTMVP 후보의 사용 여부를 결정하기 위하여 추가 RD 검사를 수행한다.
현재의 VVC는 새로운 인터-모드 코딩 툴들을 도입하였지만, HEVC와 VVC에 존재하는 공간적 움직임 후보들 및 시간적 움직임 후보들을 도출하기 위한 스케일링 프로세스에 대한 장기 참조 픽처 관련 제한은 일부 새로운 툴들에서 잘 정의되지 않았다. 본 개시에서, 우리는 새로운 인터-모드 코딩 툴들에 대한 장기 참조 픽처와 관련된 몇몇 제한을 제안한다.
본 개시에 따르면, 인터-모드 코딩된 블록에 대한 인터-모드 코딩 툴이 동작하는 동안, 인터-모드 코딩 툴의 동작에 관여하는 인터-모드 코딩된 블록과 관련된 참조 픽처들 중 하나 혹은 그 이상의 참조 픽처가 장기 참조 픽처인지 여부에 대한 결정이 이루어진다. 다음, 상기 결정 결과에 기반하여 인터-모드 코딩된 블록에 대한 인터-모드 코딩 툴의 동작에 제한이 가해진다.
본 개시의 일 실시예에 따르면, 인터-모드 코딩 툴은 패어와이즈 평균화 병합 후보들의 생성을 포함한다.
일 예에서, 장기 참조 픽처인 하나의 참조 픽처와 장기 참조 픽처가 아닌 다른 참조 픽처를 포함하는 미리 정의된 후보 쌍들로부터 페어와이즈 평균화 병합 후보들의 생성에 관여하는 평균 병합 후보가 생성되는 경우, 평균 병합 후보는 무효한 것으로 간주된다.
동일한 예에서, 모두 장기 참조 픽처인 2개의 참조 픽처들을 포함하는 미리 정의된 후보 쌍들로부터 평균 병합 후보를 생성하는 동안, 스케일링 프로세스는 금지된다.
본 개시의 다른 실시예에 따르면, 인터-모드 코딩 툴은 BDOF를 포함하고 인터-모드 코딩된 블록은 양방향 예측 블록이다.
일 예에서, BDOF의 동작에 관여하는 양방향 예측 블록의 하나의 참조 픽처가 장기 참조 픽처이고 BDOF의 동작에 관여하는 양방향 예측 블록의 다른 참조 픽처가 장기 참조 픽처가 아닌 것으로 결정되는 경우, BDOF의 수행은 금지된다.
본 개시의 다른 실시예에 따르면, 인터-모드 코딩 툴은 DMVR을 포함하고 인터-모드 코딩된 블록은 양방향 예측 블록이다.
일 예에서, DMVR의 동작에 관여하는 양방향 예측 블록의 하나의 참조 픽처가 장기 참조 픽처이고 DMVR의 동작에 관여하는 양방향 예측 블록의 다른 참조 픽처가 장기 참조 픽처가 아닌 것으로 결정되는 경우, DMVR의 수행은 금지된다.
다른 예에서, DMVR의 동작에 관여하는 양방향 예측 블록의 하나의 참조 픽처가 장기 참조 픽처이고 DMVR의 동작에 관여하는 양방향 예측 블록의 다른 참조 픽처가 장기 참조 픽처가 아닌 것으로 결정되는 경우, DMVR의 수행 범위는 정수 픽셀 DMVR의 수행 범위로 제한된다.
본 개시의 다른 실시예에 따르면, 인터-모드 코딩 툴은 MMVD 후보들의 도출을 포함한다.
제1 예에서, MMVD 후보들의 도출에 관여하는 움직임 벡터 후보가 장기 참조 픽처인 참조 픽처를 가리키는 움직임 벡터를 갖는다고 결정되는 경우, 움직임 벡터 후보를 베이스 움직임 벡터(base motion vector)(초기 움직임 벡터라고도 함)로 사용하는 것은 금지된다.
제2 예에서, MMVD 후보들의 도출에 관여하는 인터-모드 코딩된 블록의 하나의 참조 픽처가 장기 참조 픽처이고MMVD 후보의 도출에 관여하는 인터-모드 코딩된 블록의 다른 하나의 참조 픽처가 장기 참조 픽처가 아니며 나아가 베이스 움직임 벡터가 양방향 움직임 벡터인 경우, 장기 참조 픽처를 가리키고 양방향 베이스 움직임 벡터에도 포함된 하나의 움직임 벡터에 대해, 시그널링된 움직임 벡터 차이(MVD)에 의하여 상기 하나의 움직임 벡터를 수정하는 것은 금지된다.
동일한 제2 예에서, 제안된 MVD 수정 프로세스는 당해 단락 바로 아래의 블록에 표시된 것으로 대신한다. 여기서 텍스트의 강조 표시된 부분은 현재의 VVC의 종래 MVD 수정 프로세스에 대하여 제안한 수정을 나타낸다.
초기 MV가 양방향 MV인 경우, 아래와 같이 적용한다:
currPocDiffL0 = 현재 픽처와 리스트 0 참조 픽처사이의 POC차이
currPocDiffL1 = 현재 픽처와 리스트 1 참조 픽처사이의 POC차이
(-currPocDiffL0 * currPocDiffL1)가 0보다 큰 경우, 아래와 같이 적용한다:
finalMVDL0[ 0 ] = MmvdOffset [ 0 ]
finalMVDL0[ 1 ] = MmvdOffset [ 1 ]
finalMVDL1[ 0 ] = -MmvdOffset [ 0 ]
finalMVDL1[ 1 ] = -MmvdOffset [ 1 ]
그렇지 않으면 ( -currPocDiffL0 * currPocDiffL1 가 0보다 작은 경우 ),
아래와 같이 적용한다:
finalMVDL0[ 0 ] = MmvdOffset [ 0 ]
finalMVDL0[ 1 ] = MmvdOffset [ 1 ]
finalMVDL1[ 0 ] = MmvdOffset [ 0 ]
finalMVDL1[ 1 ] = MmvdOffset [ 1 ]
Abs( currPocDiffL0 ) 가 Abs( currPocDiffL1 ) 보다 크고 두 참조 픽처가 장기 참조 픽처가 아닌 경우, 아래와 같이 적용한다:
td = Clip3( -128, 127, currPocDiffL0 )
tb = Clip3( -128, 127, currPocDiffL1 )
tx = ( 16384 + ( Abs( td ) >> 1 ) ) / td
distScaleFactor
= Clip3( -4096, 4095, ( tb * tx + 32 ) >> 6 )
finalMVDL1[ 0 ] =
Clip3( -215, 215 - 1, Sign( distScaleFactor * finalMVDL1[ 0 ] ) *
( ( Abs( distScaleFactor * finalMVDL1[ 0 ] ) + 127 ) >> 8 ) )
finalMVDL1[ 1 ] =
Clip3( -215, 215 - 1, Sign( distScaleFactor * finalMVDL1[ 1 ] ) *
( ( Abs( distScaleFactor * finalMVDL1[ 1 ] ) + 127 ) >> 8 ) )
그렇지 않으면 Abs( currPocDiffL0 ) 가 Abs( currPocDiffL0 ) 보다 작고 두
참조 픽처가 장기 참조 픽처가 아닌 경우, 아래와 같이 적용한다:
td = Clip3( -128, 127, currPocDiffL1 )
tb = Clip3( -128, 127, currPocDiffL0 )
tx = ( 16384 + ( Abs( td ) >> 1 ) ) / td
distScaleFactor = Clip3( -4096, 4095, ( tb * tx + 32 ) >> 6 )
finalMVDL0[ 0 ] =
Clip3( -215, 215 - 1, Sign( distScaleFactor * finalMVDL0[ 0 ] ) *
( ( Abs( distScaleFactor * finalMVDL0 [ 0 ] ) + 127 ) >> 8 ) )
finalMVDL0[ 1 ] =
Clip3( -215, 215 - 1, Sign( distScaleFactor * finalMVDL0[ 1 ] ) *
( ( Abs( distScaleFactor * finalMVDL0 [ 1 ] ) + 127 ) >> 8 ) )
제3 예에서, MMVD 후보들의 도출에 관여하는 인터-모드 코딩된 블록의 적어도 하나의 참조 픽처가 장기 참조 픽처이고, 나아가 베이스 움직임 벡터가 양방향 움직임 벡터인 경우, 최종 MMVD 후보를 도출하는 단계에서 스케일링 프로세스가 금지된다.본 개시의 하나 혹은 그 이상의 실시예에 따르면, 인터-모드 코딩 툴은 SMVD 후보들을 도출하는 것을 포함한다.일 예에서, 움직임 벡터 후보가 장기 참조 픽처인 참조 픽처를 가리키는 움직임 벡터를 구비한다고 결정하는 경우, 움직임 벡터 후보들을 베이스 움직임 벡터로 사용하는 것은 금지된다.
일부 예들에서, SMVD 후보들의 도출에 관여하는 인터-모드 코딩된 블록의 적어도 하나의 참조 픽처가 장기 참조 픽처이고, 나아가 베이스 움직임 벡터가 양방향 움직임 벡터인 경우, 장기 참조 픽처를 가리키고 양방향 베이스 움직임 벡터에도 포함된 하나의 움직임 벡터에 대하여, 시그널링된 MVD에 의하여 상기 하나의 움직임 벡터를 수정하는 것은 금지된다. 다른 예들에서, SMVD 후보들의 도출에 관여하는 인터-모드 코딩된 블록의 하나의 참조 픽처는 장기 참조 픽처이고 SMVD 후보들의 도출에 관여하는 인터-모드 코딩된 블록의 다른 하나의 참조 픽처는 장기 참조 픽처가 아니며, 나아가 베이스 움직임 벡터가 양방향 움직임 벡터인 경우, 장기 참조 픽처를 가리키고 양방향 베이스 움직임 벡터에도 포함된 하나의 움직임 벡터에 대하여, 시그널링된 MVD에 의하여 상기 하나의 움직임 벡터를 수정하는 것은 금지된다.
본 개시의 다른 실시예에 따르면, 인터-모드 코딩 툴은 가중치 평균을 갖는 양방향 예측을 포함하고, 인터-모드 코딩된 블록은 양방향 예측 블록이다.
일 예에서, 가중치 평균을 갖는 양방향 예측에 관여하는 양방향 예측 블록의 적어도 하나의 참조 픽처가 장기 참조 픽처라고 결정되는 경우, 비균등 가중치를 사용하는 것은 금지된다.
본 개시의 다른 실시예에 따르면, 인터-모드 코딩 툴은 움직임 벡터 후보들을 도출하는 것을 포함하고, 인터-모드 코딩된 블록은 SbTMVP 코딩된 블록이다.
일 예에서, 종래의 TMVP 코딩된 블록의 움직임 벡터 후보들의 도출에 대한 동일한 제한이 SbTMVP 코딩된 블록의 움직임 벡터 후보들의 도출에서 사용된다.
이전 예의 하나의 개선에서, 종래의 TMVP 코딩된 블록 및 SbTMVP 코딩된 블록 모두에 사용될 움직임 벡터 후보들의 도출에 대한 제한은, 한편으로는 타겟 참조 픽처와 인접 블록에 대한 참조 픽처를 포함하는 2개의 참조 픽처 중에서 하나의 참조 픽처는 장기 참조 픽처이고 다른 참조 픽처는 장기 참조 픽처가 아닌 경우, 시간적 인접 블록의 움직임 벡터를 무효로 간주하고, 다른 한편으로는, 타겟 참조 픽쳐와 인접 블록에 대한 참조 픽쳐가 모두 장기 참조 픽쳐인 경우, 시간적 인접 블록의 움직임 벡터에 대한 스케일링 프로세스를 금지하고, 시간적 인접 블록의 움직임 벡터를 직접적으로 현재 블록에 대한 움직임 벡터 예측으로 사용한다.
본 개시의 다른 실시예에 따르면, 인터-모드 코딩 툴은 움직임 벡터 후보의 도출에서 아핀 움직임 모델을 사용하는 것을 포함한다.
일 예에서, 아핀 움직임 모델의 사용에 관여하는 참조 픽처가 장기 참조 픽처인 것으로 결정될 경우, 움직임 벡터 후보의 도출에서 아핀 움직임 모델을 사용하는 것은 금지된다.
하나 혹은 그 이상의 예에서, 설명된 기능은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능은 하나 혹은 그 이상의 명령어 또는 코드로서 컴퓨터 판독 가능 매체에 저장되거나 이를 통해 전송될 수 있고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는 데이터 저장 매체와 같은 유형(tangible) 매체에 대응하는 컴퓨터 판독 가능 저장 매체, 또는 한 장소에서 다른 장소로(예를 들어, 통신 프로토콜에 따라) 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독가능 매체는 일반적으로 (1) 비-일시적 유형 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 운송파(carrier wave)와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 본 출원에서 설명된 구현의 구현을 위한 명령어, 코드 및/또는 데이터 구조(data structure)를 검색하기 위해 하나 혹은 그 이상의 컴퓨터 또는 하나 혹은 그 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 매체를 포함할 수 있다.
또한, 상술한 방법은 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), DSPD(Digital Signal Processing Devices), PLD(Programmable Logic Device), FPGA(Field Programmable Gate Array), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 기타 전자 요소를 포함하는 하나 혹은 그 이상의 회로를 포함하는 장치에 의해 구현될 수 있다. 장치는 상기 설명된 방법을 수행하기 위해 다른 하드웨어 또는 소프트웨어 구성요소와 조합하여 회로를 사용할 수 있다. 위에 개시된 각각의 모듈, 서브-모듈, 유닛, 또는 서브-유닛은 하나 혹은 그 이상의 회로를 사용하여 적어도 부분적으로 구현될 수 있다.
본 발명의 다른 실시예는 여기에 개시된 본 발명의 명세서 및 실시를 고려함으로써 당업자에게 명백할 것이다. 본 출원은 본 발명의 일반적인 원리에 따라 본 발명의 임의의 변형, 용도 또는 개조를 포함하도록 의도되며, 당해 기술 분야에서 공지된 또는 통상적인 관행 내에 있는 본 개시내용으로부터의 그러한 이탈을 포함한다. 명세서 및 실시예는 단지 예시적인 것으로 간주되어야 하며, 본 발명의 진정한 범위 및 정신은 첨부된 청구범위에 의해 지시된다.
본 발명은 상술하고 첨부된 도면에 예시된 정확한 실시예에 제한되지 않으며, 본 발명의 범위를 벗어나지 않고 다양한 수정 및 변경이 이루어질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 청구범위에 의해서만 제한되는 것으로 의도된다.

Claims (10)

  1. 인터-모드 코딩 툴의 동작에 관여하는 인터-모드 코딩된 블록과 관련된 복수의 참조 픽처들 중 하나 혹은 그 이상이 장기 참조 픽처인지 여부를 결정하는 단계; 및
    상기 인터-모드 코딩된 블록의 두 참조 픽처 중 하나가 장기 참조 픽처이고 다른 하나가 장기 참조 픽처가 아니라는 결정에 기반하여 상기 인터-모드 코딩된 블록에 대한 상기 인터-모드 코딩 툴의 수행을 금지하는 단계, 를 포함하는,
    비디오 디코딩을 위한 방법.
  2. 제 1 항에 있어서,
    상기 인터-모드 코딩 툴은 양방향 광학 흐름(bi-directional optical flow, BDOF)을 포함하고 상기 인터-모드 코딩된 블록은 양방향 예측 블록이며,
    상기 인터-모드 코딩된 블록에 대한 상기 인터-모드 코딩 툴의 수행을 금지하는 단계는,
    상기 양방향 예측 블록의 하나의 참조 픽처가 장기 참조 픽처이고 상기 양방향 예측 블록의 다른 하나의 참조 픽처가 장기 참조 픽처가 아니라고 결정한 것에 응답하여 BDOF의 수행을 금지하는 단계, 를 포함하는,
    비디오 디코딩을 위한 방법.
  3. 제 1 항에 있어서,
    상기 인터-모드 코딩 툴은 디코더 측 움직임 벡터 미세화(Decoder-side Motion Vector Refinement, DMVR)를 포함하고 상기 인터-모드 코딩된 블록은 양방향 예측 블록이며,
    상기 인터-모드 코딩된 블록에 대한 상기 인터-모드 코딩 툴의 수행을 금지하는 단계는,
    상기 양방향 예측 블록의 하나의 참조 픽처가 장기 참조 픽처이고 상기 양방향 예측 블록의 다른 하나의 참조 픽처가 장기 참조 픽처가 아니라고 결정한 것에 응답하여 DMVR의 수행을 금지하는 단계, 를 포함하는,
    비디오 디코딩을 위한 방법.
  4. 하나 혹은 그 이상의 프로세서;
    상기 하나 혹은 그 이상의 프로세서에 결합된 비-일시적 스토리지; 및
    상기 비-일시적 스토리지에 저장된 복수의 프로그램, 을 포함하는 컴퓨팅 장치로서,
    상기 복수의 프로그램은 상기 하나 혹은 그 이상의 프로세서에 의하여 실행될 경우 상기 컴퓨팅 장치로 하여금 비디오 디코딩을 위한 방법을 수행하도록 하고, 상기 비디오 디코딩을 위한 방법은,
    인터-모드 코딩 툴의 동작에 관여하는 인터-모드 코딩된 블록과 관련된 복수의 참조 픽처들 중 하나 혹은 그 이상이 장기 참조 픽처인지 여부를 결정하는 단계; 및
    상기 인터-모드 코딩된 블록의 두 참조 픽처 중 하나가 장기 참조 픽처이고 다른 하나가 장기 참조 픽처가 아니라는 결정에 기반하여 상기 인터-모드 코딩된 블록에 대한 상기 인터-모드 코딩 툴의 수행을 금지하는 단계, 를 포함하는,
    컴퓨팅 장치.
  5. 제 4 항에 있어서,
    상기 인터-모드 코딩 툴은 양방향 광학 흐름(bi-directional optical flow, BDOF)을 포함하고 상기 인터-모드 코딩된 블록은 양방향 예측 블록이며,
    상기 인터-모드 코딩된 블록에 대한 상기 인터-모드 코딩 툴의 수행을 금지하는 단계는,
    상기 양방향 예측 블록의 하나의 참조 픽처가 장기 참조 픽처이고 상기 양방향 예측 블록의 다른 하나의 참조 픽처가 장기 참조 픽처가 아니라고 결정한 것에 응답하여 BDOF의 수행을 금지하는 단계, 를 포함하는,
    컴퓨팅 장치.
  6. 제 4 항에 있어서,
    상기 인터-모드 코딩 툴은 디코더 측 움직임 벡터 미세화(Decoder-side Motion Vector Refinement, DMVR)를 포함하고 상기 인터-모드 코딩된 블록은 양방향 예측 블록이며,
    상기 인터-모드 코딩된 블록에 대한 상기 인터-모드 코딩 툴의 수행을 금지하는 단계는,
    상기 양방향 예측 블록의 하나의 참조 픽처가 장기 참조 픽처이고 상기 양방향 예측 블록의 다른 하나의 참조 픽처가 장기 참조 픽처가 아니라고 결정한 것에 응답하여 DMVR의 수행을 금지하는 단계, 를 포함하는,
    컴퓨팅 장치.
  7. 제 1 항 내지 제 3 항 중의 임의의 한 항의 비디오 디코딩을 위한 방법에 의해 디코딩될 비트스트림을 저장하는,
    비-일시적 컴퓨터 판독 가능 저장 매체.
  8. 컴퓨터로 하여금 제 1 항 내지 제 3 항 중의 임의의 한 항의 비디오 디코딩을 위한 방법을 수행하도록 하기 위하여 매체에 저장된 컴퓨터 프로그램.
  9. 비트스트림을 컴퓨터 판독 가능 저장 매체에 저장하는 단계를 포함하되,
    상기 비트스트림은 제 1 항 내지 제 3 항 중의 임의의 한 항의 비디오 디코딩을 위한 방법에 의해 디코딩될 비트스트림인,
    비트스트림을 저장하기 위한 방법.
  10. 인터-모드 코딩 툴의 동작에 관여하는 인터-모드 코딩된 블록과 관련된 복수의 참조 픽처들 중 하나 혹은 그 이상이 장기 참조 픽처인지 여부를 결정하고, 상기 인터-모드 코딩된 블록의 두 참조 픽처 중 하나가 장기 참조 픽처이고 다른 하나가 장기 참조 픽처가 아니라는 결정에 기반하여 상기 인터-모드 코딩된 블록에 대한 상기 인터-모드 코딩 툴의 수행을 금지함으로써, 비트스트림을 생성하는 단계;
    상기 비트스트림을 디코딩 장치에 전송하는 단계를 포함하되,
    상기 비트스트림은 제 1 항 내지 제 3 항 중의 임의의 한 항의 비디오 디코딩을 위한 방법에 의해 디코딩될 비트스트림인,
    비트스트림을 전송하기 위한 방법.
KR1020247030193A 2019-02-20 2020-02-19 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출 KR20240137710A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962808271P 2019-02-20 2019-02-20
US62/808,271 2019-02-20
PCT/US2020/018918 WO2020172341A1 (en) 2019-02-20 2020-02-19 Constrained motion vector derivation for long-term reference pictures in video coding
KR1020237002587A KR102706608B1 (ko) 2019-02-20 2020-02-19 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020237002587A Division KR102706608B1 (ko) 2019-02-20 2020-02-19 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출

Publications (1)

Publication Number Publication Date
KR20240137710A true KR20240137710A (ko) 2024-09-20

Family

ID=72144437

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020247030193A KR20240137710A (ko) 2019-02-20 2020-02-19 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
KR1020237002587A KR102706608B1 (ko) 2019-02-20 2020-02-19 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
KR1020217026525A KR102492738B1 (ko) 2019-02-20 2020-02-19 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020237002587A KR102706608B1 (ko) 2019-02-20 2020-02-19 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
KR1020217026525A KR102492738B1 (ko) 2019-02-20 2020-02-19 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출

Country Status (13)

Country Link
US (1) US20210377520A1 (ko)
EP (2) EP4262208A3 (ko)
JP (3) JP7218449B2 (ko)
KR (3) KR20240137710A (ko)
CN (6) CN117041556B (ko)
DK (1) DK3912357T3 (ko)
ES (1) ES2968163T3 (ko)
FI (1) FI3912357T3 (ko)
HU (1) HUE064569T2 (ko)
MX (1) MX2021010062A (ko)
PL (1) PL3912357T3 (ko)
PT (1) PT3912357T (ko)
WO (1) WO2020172341A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3132582A1 (en) * 2019-03-07 2020-09-10 Digitalinsights Inc. Image encoding/decoding method and apparatus
EP3939303A1 (en) * 2019-03-11 2022-01-19 VID SCALE, Inc. Symmetric merge mode motion vector coding
CA3143556A1 (en) * 2019-06-14 2020-12-17 Lg Electronics Inc. Method and device for image coding using motion vector differences
KR102622468B1 (ko) 2019-06-14 2024-01-09 엘지전자 주식회사 인터 예측 기반 영상 코딩 방법 및 장치
CN114080813A (zh) * 2019-06-14 2022-02-22 Lg 电子株式会社 使用运动矢量的图像编译的方法和装置
KR102640262B1 (ko) 2019-06-24 2024-02-23 엘지전자 주식회사 움직임 벡터 차분들을 이용한 영상 코딩 방법 및 장치
KR102640263B1 (ko) 2019-06-24 2024-02-23 엘지전자 주식회사 움직임 벡터를 이용한 영상 코딩 방법 및 장치
CA3145240C (en) 2019-06-24 2024-06-11 Lg Electronics Inc. Inter prediction-based image coding method and apparatus
EP3984227A4 (en) * 2019-07-27 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. TOOL USE RESTRICTIONS BASED ON TYPES OF REFERENCE IMAGES
CN110545424B (zh) * 2019-08-21 2021-05-11 浙江大华技术股份有限公司 基于mmvd模式的帧间预测方法、视频编码方法及相关装置、设备
WO2023055199A1 (ko) * 2021-09-30 2023-04-06 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
EP4440110A1 (en) * 2022-01-04 2024-10-02 Hyundai Motor Company Method and device for video coding using improved merge with motion vector difference
WO2024155108A1 (ko) * 2023-01-19 2024-07-25 인텔렉추얼디스커버리 주식회사 인터 예측 기반의 영상 부호화/복호화 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003090473A1 (fr) * 2002-04-19 2003-10-30 Matsushita Electric Industrial Co., Ltd. Procede de calcul de vecteurs de mouvement
ES2644005T3 (es) * 2002-04-19 2017-11-27 Panasonic Intellectual Property Corporation Of America Procedimiento de cálculo de vectores de movimiento
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
KR101379188B1 (ko) * 2010-05-17 2014-04-18 에스케이 텔레콤주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
KR101954007B1 (ko) * 2011-06-30 2019-03-04 소니 주식회사 화상 처리 장치 및 방법
CN107257481B (zh) * 2011-10-27 2019-12-10 太阳专利托管公司 编码方法、解码方法、编码装置、解码装置
MX2013012223A (es) * 2011-10-28 2013-11-01 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen y aparato de decodificacion de imagen.
EP2953367A1 (en) * 2011-11-08 2015-12-09 Samsung Electronics Co., Ltd Method and apparatus for motion vector determination in video encoding or decoding
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
RU2624578C2 (ru) * 2012-07-02 2017-07-04 Самсунг Электроникс Ко., Лтд. Способ и устройство для прогнозирования вектора движения для кодирования видео или декодирования видео
WO2014165555A1 (en) 2013-04-02 2014-10-09 Vid Scale, Inc. Enhanced temporal motion vector prediction for scalable video coding
EP2978221A4 (en) * 2013-04-05 2016-11-16 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MULTI-LAYER VIDEO DECODING AND MULTI-LAYER VIDEO ENCODING METHOD AND DEVICE
US9509999B2 (en) * 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
CN105493505B (zh) * 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
WO2016200043A1 (ko) * 2015-06-10 2016-12-15 엘지전자 주식회사 비디오 코딩 시스템에서 가상 참조 픽처 기반 인터 예측 방법 및 장치
CN108293131B (zh) * 2015-11-20 2021-08-31 联发科技股份有限公司 基于优先级运动矢量预测子推导的方法及装置
US10555002B2 (en) * 2016-01-21 2020-02-04 Intel Corporation Long term reference picture coding
KR102435500B1 (ko) * 2016-10-06 2022-08-23 세종대학교산학협력단 비디오 신호의 복호화 방법 및 이의 장치
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10595035B2 (en) * 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
WO2020085800A1 (ko) * 2018-10-23 2020-04-30 주식회사 윌러스표준기술연구소 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
CN111448797B (zh) * 2018-11-16 2022-09-30 北京字节跳动网络技术有限公司 用于帧间预测插值的参考尺寸
WO2020145656A1 (ko) * 2019-01-09 2020-07-16 엘지전자 주식회사 Tmvp 후보의 가용 여부를 시그널링하는 방법 및 장치
US10752213B2 (en) * 2019-01-09 2020-08-25 Capital One Services, Llc Detecting an event and automatically obtaining video data
US11025936B2 (en) * 2019-01-25 2021-06-01 Tencent America LLC Method and apparatus for video coding
JP7263529B2 (ja) * 2019-02-14 2023-04-24 北京字節跳動網絡技術有限公司 デコーダ側精緻化ツールのサイズ選択アプリケーション

Also Published As

Publication number Publication date
US20210377520A1 (en) 2021-12-02
PT3912357T (pt) 2023-12-26
CN116915983B (zh) 2024-04-16
KR20230018540A (ko) 2023-02-07
JP2022520867A (ja) 2022-04-01
KR20210107897A (ko) 2021-09-01
EP3912357A1 (en) 2021-11-24
DK3912357T3 (da) 2024-01-08
ES2968163T3 (es) 2024-05-08
JP2023055778A (ja) 2023-04-18
CN116915983A (zh) 2023-10-20
JP2024069266A (ja) 2024-05-21
CN117041556B (zh) 2024-03-26
EP4262208A3 (en) 2024-01-17
CN114339237A (zh) 2022-04-12
CN117041556A (zh) 2023-11-10
JP7447322B2 (ja) 2024-03-11
CN114339237B (zh) 2023-04-25
HUE064569T2 (hu) 2024-03-28
CN117119181B (zh) 2024-03-26
MX2021010062A (es) 2021-09-21
WO2020172341A1 (en) 2020-08-27
PL3912357T3 (pl) 2024-03-25
FI3912357T3 (fi) 2023-12-19
EP3912357A4 (en) 2022-05-18
JP7218449B2 (ja) 2023-02-06
EP4262208A2 (en) 2023-10-18
CN113424539A (zh) 2021-09-21
KR102492738B1 (ko) 2023-01-26
CN116915982B (zh) 2024-03-26
CN116915982A (zh) 2023-10-20
EP3912357B1 (en) 2023-10-04
CN117119181A (zh) 2023-11-24
KR102706608B1 (ko) 2024-09-13

Similar Documents

Publication Publication Date Title
KR102706608B1 (ko) 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
CN116828185B (zh) 一种用于视频解码的方法、计算设备、程序产品和介质
CN114143558B (zh) 组合帧间和帧内预测模式的受约束和调节的应用
EP3909241A1 (en) System and method for improving combined inter and intra prediction
KR20220031771A (ko) 구축된 아핀 병합 후보들을 도출하기 위한 방법
CN116347102B (zh) 视频编码方法、设备、非暂时性计算机可读存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent