Nothing Special   »   [go: up one dir, main page]

KR101083870B1 - 인터레이스형 비디오의 최신 양방향 예측 코딩 - Google Patents

인터레이스형 비디오의 최신 양방향 예측 코딩 Download PDF

Info

Publication number
KR101083870B1
KR101083870B1 KR1020097017978A KR20097017978A KR101083870B1 KR 101083870 B1 KR101083870 B1 KR 101083870B1 KR 1020097017978 A KR1020097017978 A KR 1020097017978A KR 20097017978 A KR20097017978 A KR 20097017978A KR 101083870 B1 KR101083870 B1 KR 101083870B1
Authority
KR
South Korea
Prior art keywords
macroblock
motion vector
field
prediction
mode
Prior art date
Application number
KR1020097017978A
Other languages
English (en)
Other versions
KR20090108107A (ko
Inventor
쿠날 무커지
톰 더블유. 홀컴
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20090108107A publication Critical patent/KR20090108107A/ko
Application granted granted Critical
Publication of KR101083870B1 publication Critical patent/KR101083870B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

인터레이스형 B-필드 또는 인터레이스형 B-프레임의 경우, 전방 움직임 벡터는 전방 움직임 벡터 버퍼로부터의 전방 움직임 벡터를 사용하여 인코더/디코더에 의해 예측되고, 후방 움직임 벡터는 후방 움직임 벡터 버퍼로부터의 후방 움직임 벡터를 사용하여 예측된다. 결과 움직임 벡터는 대응하는 버퍼에 부가된다. 움직임 벡터 버퍼 내의 구멍(hole)은 추정된 움직임 벡터 값으로 채워질 수 있다. 인코더/디코더는 인터레이스형 B-프레임의 필드-코딩된 매크로블록에서의 필드 간에 예측 모드를 전환한다. 인터레이스형 B-프레임 및 인터레이스형 B-필드의 경우, 인코더/디코더는 직접 모드 움직임 벡터를 계산한다. 인터레이스형 B-필드 또는 인터레이스형 B-프레임의 경우, 인코더/디코더는 4MV 코딩을 사용한다. 인코더/디코더는 "자기-참조" B-프레임을 사용한다. 인코더는 인터레이스형 B-필드에서의 하나 이상의 매크로블록에 대해 예측 모드가 전방인지 비전방인지를 가리키는 이진 정보를 전송한다. 인코더/디코더는 인트라-코딩된 B-필드["BI-필드"]를 사용한다.
비디오 코딩, 양방향 예측, 예측 코딩, 인터레이스형 비디오.

Description

인터레이스형 비디오의 최신 양방향 예측 코딩{ADVANCED BI-DIRECTIONAL PREDICTIVE CODING OF INTERLACED VIDEO}
관련 출원 정보
본 출원은 2003년 9월 7일자로 출원된 발명의 명칭이 "비디오 인코딩 및 디코딩 도구 및 기술(Video Encoding and Decoding Tools and Techniques)"인 미국 가특허출원 제60/501,081호를 우선권 주장하며, 이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다.
이하의 동시 계류 중인 미국 특허 출원은 본 발명과 관련이 있으며, 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다. 1) 2003년 7월 18일자로 출원된 발명의 명칭이 "비디오 프레임의 최신 양방향 예측 코딩(Advanced Bi-Directional Predictive Coding of Video Frames)"인 미국 특허 출원 제10/622,378호, 2) 2003년 7월 18일자로 출원된 발명의 명칭이 "인트라프레임 및 인터프레임 인터레이스 코딩 및 디코딩(Intraframe and Interframe Interlace Coding and Decoding)"인 미국 특허 출원 제10/622,284호, 3) 2003년 7월 18일자로 출원된 발명의 명칭이 "움직임 벡터 정보의 코딩(Coding of Motion Vector Information)"인 미국 특허 출원 제10/622,841호, 및 4) 2004년 5월 27일자로 출원된 발명의 명칭이 "전방-예측된 인터레이스형 비디오 프레임의 필드에 대한 움직임 벡터 예측(Predicting Motion Vectors for Fields of Forward-predicted Interlaced Video Frames)"인 미국 특허 출원 제10/857,473호.
본 발명은 인터레이스형 비디오 코딩 및 디코딩을 위한 기술 및 도구에 관한 것이다. 예를 들어, 비디오 인코더는 인터레이스형 비디오에서의 양방향 예측된 매크로블록을 인코딩한다.
디지털 비디오는 대량의 스토리지 및 전송 용량을 소모한다. 일반적인 미가공된(raw) 디지털 비디오 시퀀스는 초당 15 또는 30 픽처를 포함한다. 각각의 픽처는 수만 또는 수십만의 픽셀(pixel)(펠(pel)이라고도 함)을 포함할 수 있다. 각각의 픽셀은 픽처의 작은 요소를 말한다. 미가공된 형태에서, 컴퓨터는 통상적으로 픽셀을 24 비트 이상으로 표현한다. 따라서, 일반적인 미가공된 디지털 비디오 시퀀스의 초당 비트수, 즉 비트 레이트는 초당 5백만 비트 이상일 수 있다.
대부분의 컴퓨터 및 컴퓨터 네트워크는 미가공된 디지털 비디오를 처리할 자원이 부족하다. 이러한 이유로, 엔지니어들은 디지털 비디오의 비트 레이트를 감소시키기 위해 압축(코딩 또는 인코딩이라고도 함)을 사용한다. 압축은 비디오의 품질이 떨어지지 않는 무손실(lossless)일 수 있지만, 비트 레이트의 감소는 비디오의 복잡도에 의해 제한된다. 또는, 압축은 비디오의 품질이 떨어지는 유손실(lossy)일 수 있지만, 비트 레이트의 감소가 더욱 극적이다. 압축 해제는 압축을 역으로 하는 것이다.
일반적으로, 비디오 압축 기술은 "인트라(intra)" 압축 및 "인터(inter)" 또는 예측 압축을 포함한다. 인트라 압축 기술은 일반적으로 I-프레임 또는 키 프레임이라고 하는 개개의 픽처를 압축한다. 인터 압축 기술은 이전 및/또는 다음 프레임을 참조하여 프레임을 압축하며, 인터-압축된 프레임은 일반적으로 예측 프레임, P-프레임 또는 B-프레임이라고 한다.
I. Windows Media Video 버전 8 및 9에서의 인터 압축( Inter Compression )
마이크로소프트사의 Windows Media Video, 버전 8["WMV8"]은 비디오 인코더 및 비디오 디코더를 포함한다. WMV8 인코더는 인트라 및 인터 압축을 사용하고, WMV8 디코더는 인트라 및 인터 압축 해제를 사용한다. Windows Media Video, 버전 9["WMV9"]는 많은 동작에 대해 유사한 아키텍처를 사용한다.
WMV8 인코더에서의 인터 압축은 블록-기반 움직임-보상된 예측 코딩 및 이에 뒤따른 잔차 오차(residual error)의 변환 코딩(transform coding)을 사용한다. 도 1 및 도 2는 WMV8 인코더에서의 예측 프레임에 대한 블록-기반 인터 압축을 나타낸 것이다. 상세하게는, 도 1은 예측 프레임(110)에 대한 움직임 추정을 나타내고, 도 2는 예측 프레임의 움직임-보상된 블록에 대한 예측 잔차(prediction residual)의 압축을 나타낸 것이다.
예를 들어, 도 1에서, WMV8 인코더는 예측 프레임(110)에서의 매크로블록(115)에 대한 움직임 벡터를 계산한다. 움직임 벡터를 계산하기 위해, 인코더는 참조 프레임(130)의 탐색 영역(135)에서 탐색을 한다. 탐색 영역(135) 내에서, 인 코더는 양호하게 일치하는 것인 후보 매크로블록을 찾기 위해 예측 프레임(110)으로부터의 매크로블록(115)을 여러가지 후보 매크로블록과 비교한다. 인코더는 일치하는 매크로블록에 대한 움직임 벡터(엔트로피 코딩됨)를 규정하는 정보를 출력한다.
움직임 벡터값이 종종 공간적으로 둘러싸고 있는 움직임 벡터들의 값들과 상관되어 있기 때문에, 움직임 벡터 정보를 전송하기 위해 사용되는 데이터의 압축은 이웃 매크로블록들로부터 움직임 벡터 예측자를 선택하고 이 예측자를 사용하여 현재 매크로블록에 대한 움직임 벡터를 예측함으로써 달성될 수 있다. 인코더는 움직임 벡터와 예측자 간의 차분을 인코딩할 수 있다. 이 차분을 예측자에 가산함으로써 움직임 벡터를 재구성한 후에, 디코더는 인코더 및 디코더에서 이용가능한 이전에 재구성된 프레임인 참조 프레임(130)으로부터의 정보를 사용하여 매크로블록(115)에 대한 예측 매크로블록을 계산하기 위해 움직임 벡터를 사용한다. 예측은 좀처럼 완벽하지 않으며, 따라서 인코더는 보통 예측 매크로블록과 매크로블록(115) 자체 간의 픽셀 차이의 블록(오차 또는 잔차 블록이라고도 함)을 인코딩한다.
도 2는 WMV8 인코더에서의 오차 블록(235)의 계산 및 인코딩의 예를 나타낸 것이다. 오차 블록(235)은 예측 블록(215)과 원래의 현재 블록(225) 간의 차이이다. 인코더는 이산 코사인 변환["DCT"](240)을 오차 블록(235)에 적용하고, 결과 계수들의 8x8 블록(245)이 얻어진다. 이어서, 인코더는 DCT 계수들을 양자화(250)하고, 그 결과의 양자화된 DCT 계수들의 8x8 블록(255)이 얻어진다. 인코더는 8x8 블록(255)을 스캔(260)하여 계수들이 일반적으로 최저 주파수에서 최고 주파수까지 순서화되어 있는 1차원 어레이(265)로 만든다. 인코더는 런 랭스 코딩(run length coding)(270)의 변형을 사용하여 스캔된 계수들을 엔트로피 인코딩한다. 인코더는 하나 이상의 런/레벨/마지막(run/level/last) 테이블(275)로부터 엔트로피 코드를 선택하고 이 엔트로피 코드를 출력한다.
도 3은 인터-코딩된 블록에 대한 대응하는 디코딩 프로세스(300)의 예를 나타낸 것이다. 도 3을 요약하면, 디코더는 하나 이상의 런/레벨/마지막 테이블(315)을 갖는 가변 길이 디코딩(310) 및 런 랭스 디코딩(320)을 사용하여 예측 잔차를 나타내는 엔트로피-코딩된 정보를 디코딩(310, 320)한다. 디코더는 엔트로피-디코딩된 정보를 저장하고 있는 1차원 어레이(325)를 역스캔(330)하여 2차원 블록(335)으로 만든다. 디코더는 이 데이터를 역양자화 및 역이산 코사인 변환(둘다 340으로 나타냄)하고, 그 결과의 재구성된 오차 블록(345)이 얻어진다. 별도의 움직임 보상 경로에서, 디코더는 참조 프레임으로부터의 변위에 대한 움직임 벡터 정보(355)를 사용하여 예측 블록(365)을 계산한다. 디코더는 재구성된 블록(375)을 형성하기 위해 예측 블록(365)을 재구성된 오차 블록(345)과 합성(370)한다.
원래의 프레임과 재구성된 프레임 간의 변동량이 왜곡이고, 프레임을 코딩하는 데 필요한 비트 수가 프레임에 대한 레이트이다. 왜곡의 양은 대체적으로 레이트에 반비례한다.
II . 인터레이스형 비디오 및 순차 비디오
비디오 프레임은 비디오 신호의 공간적 정보의 라인들을 포함한다. 순차 비디오의 경우, 이들 라인은 한 순간부터 출발하여 계속하여 연속적인 라인들을 거쳐 프레임의 하단까지의 샘플을 포함한다. 순차 I-프레임은 인트라-코딩된 순차 비디오 프레임이다. 순차 P-프레임은 전방 예측을 사용하여 코딩된 순차 비디오 프레임이고, 순차 B-프레임은 양방향 예측을 사용하여 코딩된 순차 비디오 프레임이다.
일반적인 인터레이스형 비디오 프레임은 서로 다른 때에 시작하여 스캔된 2개의 필드로 이루어져 있다. 예로서 도 4를 참조하면, 인터레이스형 비디오 프레임(400)은 상부 필드(410) 및 하부 필드(420)를 포함한다. 일반적으로, 짝수 번호 라인(상부 필드)은 어떤 시각(예를 들어, 시각 t)에서 시작하여 스캔되고, 홀수 번호 라인(하부 필드)은 다른(일반적으로, 나중의) 시각(예를 들어, 시각 t+1)에서 시작하여 스캔된다. 이 타이밍은 인터레이스형 비디오 프레임의 영역들에서 톱니 형태의 특징(jagged tooth-like features)을 생성할 수 있으며, 이 경우 2개의 필드가 서로 다른 때에 시작하여 스캔되기 때문에 움직임이 존재한다. 이 때문에, 인터레이스형 비디오 프레임은 필드 구조에 따라 재정렬될 수 있으며, 홀수 라인이 한 필드로 함께 그룹화되고 짝수 라인이 또하나의 필드로 함께 그룹화된다. 필드 코딩이라고 하는 이 구성은 이러한 톱날같은 아티팩트의 감소를 위해 움직임이 많은 픽처(high-motion picture)에 유용하다. 반면에, 정적인 영역에서는, 이러한 구성이 없어도 인터레이스형 비디오 프레임에서의 이미지 디테일이 보다 효율적으로 보존될 수 있다. 따라서, 프레임 코딩은 종종 정적인 또는 움직임 적은(low- motion) 인터레이스형 비디오 프레임에서 사용되며, 이 경우 원래의 교대하는 필드 라인 구성이 보존된다.
일반적인 순차 비디오 프레임은 교대하지 않는 라인(non-alternating line)을 갖는 한 프레임의 콘텐츠로 이루어져 있다. 인터레이스형 비디오와 반대로, 순차 비디오는 비디오 프레임을 개별적인 필드로 분할하지 않으며, 전체 프레임이 단일의 시각에 시작하여 좌에서 우로, 상에서 하로 스캔된다.
III . 이전의 WMV 인코더 및 디코더에서의 P-프레임 코딩 및 디코딩
이전의 WMV 인코더 및 디코더는 P-프레임에서 순차 및 인터레이스 코딩 및 디코딩을 사용한다. 인터레이스형 및 순차 P-프레임에서, 움직임 벡터는 움직임 벡터와 이웃 움직임 벡터에 기초하여 계산되는 움직임 벡터 예측자 간의 차분을 계산함으로써 인코더에서 인코딩된다. 디코더에서는, 움직임 벡터 차분을, 다시 말하자면 이웃 움직임 벡터에 기초하여 (이 때는 디코더에서) 계산되는 움직임 벡터 예측자에 가산함으로써 움직임 벡터가 재구성된다. 현재의 매크로블록 또는 현재의 매크로블록의 필드에 대한 예측자는 후보 예측자들에 기초하여 선택되고, 움직임 벡터 차분은 예측자에 기초하여 계산된다. 움직임 벡터는 인코더 또는 디코더 측에서 움직임 벡터 차분을 선택된 움직임 벡터 예측자에 가산함으로써 재구성될 수 있다. 일반적으로, 루미넌스(luminance) 움직임 벡터는 인코딩된 움직임 정보로부터 재구성되고, 크로미넌스(chrominance) 움직임 벡터는 재구성된 루미넌스 움직임 벡터로부터 도출된다.
A. 순차 P-프레임 코딩 및 디코딩
예를 들어, 이전의 WMV 인코더 및 디코더에서, 순차 P-프레임은 1 움직임 벡터(1MV) 모드 또는 4 움직임 벡터(4MV) 모드로 인코딩된 매크로블록 또는 건너뜀 매크로블록(skipped macroblock)을 포함할 수 있으며, 결정은 일반적으로 매크로블록별로 이루어진다. 1MV 매크로블록(및 아마도 건너뜀 매크로블록)만을 갖는 P-프레임은 1MV P-프레임이라고 하며, 1MV 및 4MV 매크로블록 둘다(및 아마도 건너뜀 매크로블록)를 갖는 P-프레임은 혼합-MV P-프레임이라고 한다. 하나의 움직임 벡터가 각각의 1MV 매크로블록과 연관되어 있으며, 4개의 움직임 벡터가 각각의 4MV 매크로블록과 연관되어 있다(각 블록에 대해 하나씩).
도 5a 및 도 5b는 1MV 순차 P-프레임에서의 매크로블록에 대한 후보 움직임 벡터 예측자를 위해 고려되는 매크로블록의 위치를 나타낸 도면이다. 후보 예측자는 매크로블록이 그 행에서의 마지막 매크로블록인 경우를 제외하고는 좌측, 상부 및 우측-상부 매크로블록으로부터 취해진다. 이 경우, 예측자 B는 우측-상부가 아니라 좌측-상부 매크로블록으로부터 취해진다. 프레임이 1 매크로블록 폭인 특별한 경우에, 예측자는 항상 예측자 A(상부 예측자)이다. 매크로블록이 상부 행에 있기 때문에 예측자 A가 경계 밖에 있는 경우, 예측자는 예측자 C이다. 여러가지 다른 규칙들이 인트라-코딩된 예측자 등의 다른 특수한 경우에 대처한다.
도 6a 내지 도 10은 혼합-MV 프레임에서의 1MV 또는 4MV 매크로블록의 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터에 대해 고려되는 블록 또는 매크로블록의 위치를 나타낸 것이다. 동 도면들에서 큰 정사각형은 매크로블록 경계이고, 작은 정사각형은 블록 경계이다. 프레임이 1 매크로블록 폭인 특별한 경우에, 예측자는 항상 예측자 A(상부 예측자)이다. 여러가지 다른 규칙은 상부 행 4MV 매크로블록에 대한 상부 행 블록, 상부 행 1MV 매크로블록, 및 인트라-코딩된 예측자 등의 다른 특수한 경우에 대처한다.
도 6a 및 도 6b는 혼합-MV 프레임에서의 1MV 현재 매크로블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타낸 도면이다. 이웃하는 매크로블록은 1MV 또는 4MV 매크로블록일 수 있다. 도 6a 및 도 6b는 이웃들이 4MV인 것으로 가정할 때 후보 움직임 벡터의 위치를 나타낸 것이다(즉, 예측자 A는 현재 매크로블록 상부의 매크로블록에서의 블록 2에 대한 움직임 벡터이고, 예측자 C는 현재 매크로블록의 바로 좌측의 매크로블록에서의 블록 1에 대한 움직임 벡터이다). 이웃들 중 어느 것이라도 1MV 매크로블록인 경우, 도 5a 및 도 5b에 도시된 움직임 벡터 예측자는 전체 매크로블록에 대한 움직임 벡터 예측자로 취해진다. 도 6b가 도시하는 바와 같이, 매크로블록이 그 행에서의 마지막 매크로블록인 경우, 예측자 B는 그렇지 않은 경우에서와 같이 우측-상부 매크로블록에서의 블록 2로부터가 아니라 좌측-상부 매크로블록의 블록 3으로부터 온 것이다.
도 7a 내지 도 10은 4MV 매크로블록에서의 4개의 루미넌스 블록 각각에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타낸 것이다. 도 7a 및 도 7b는 위치 0에 있는 블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타낸 도면이고, 도 8a 및 도 8b는 위치 1에 있는 블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타낸 도면이며, 도 9 는 위치 2에 있는 블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타낸 도면이고, 도 10은 위치 3에 있는 블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타낸 도면이다. 다시 말하면, 이웃이 1MV 매크로블록인 경우, 그 매크로블록에 대한 움직임 벡터 예측자는 그 매크로블록의 블록들에 대해 사용된다.
매크로블록이 그 행에서의 첫번째 매크로블록인 경우, 블록 0에 대한 예측자 B는 그 행에 있는 나머지 매크로블록에 대한 블록 0와 다르게 처리된다(도 7a 및 도 7b 참조). 이 경우, 예측자 B는 그렇지 않은 경우에서와 같이 현재 매크로블록의 좌측 상부의 매크로블록에서의 블록 3으로부터가 아니라 현재 매크로블록 바로 상부의 매크로블록에서의 블록 3으로부터 취해진다. 이와 유사하게, 매크로블록이 그 행에서 마지막 매크로블록인 경우, 블록 1에 대한 예측자 B는 다르게 처리된다(도 8a 및 도 8b 참조). 이 경우, 예측자는 그렇지 않은 경우에서와 같이 현재 매크로블록의 우측 상부의 매크로블록에서의 블록 2로부터가 아니라 현재 매크로블록 바로 상부의 매크로블록에서의 블록 2로부터 취해진다. 일반적으로, 매크로블록이 첫번째 매크로블록 열에 있는 경우, 블록 0 및 2에 대한 예측자 C는 0으로 설정된다.
B. 이전의 WMV 인코더 및 디코더에서의 인터레이스형 P-프레임 코딩 및 디코딩
이전의 WMV 인코더 및 디코더는 필드 모드 또는 프레임 모드로 인코딩된 매크로블록 또는 건너뜀 매크로블록을 포함할 수 있는 인터레이스형 P-프레임에 대해 4:1:1 매크로블록 포맷을 사용하며, 결정은 일반적으로 매크로블록별로 행해진다. 2개의 움직임 벡터가 각각의 필드-코딩된 매크로블록과 연관되어 있으며(필드당 하나의 움직임 벡터), 하나의 움직임 벡터가 각각의 프레임-코딩된 매크로블록과 연관되어 있다. 인코더는 수평 및 수직 움직임 벡터 차분 성분을 포함하는 움직임 정보를, 아마도 다른 시그널링 정보와 함께 공동으로 인코딩한다.
도 11, 도 12a 및 도 12b는 각각 이전의 WMV 인코더 및 디코더에서 인터레이스형 P-프레임에서의 프레임-코딩된 4:1:1 매크로블록 및 필드-코딩된 4:1:1 매크로블록에 대한 움직임 벡터 예측을 위한 후보 예측자의 예를 나타낸 것이다. 도 11은 인터레이스형 P-프레임에서의 내부 위치에 있는 현재의 프레임-코딩된 4:1:1 매크로블록에 대한 후보 예측자 A, B 및 C를 나타낸다(매크로블록 행에서의 첫번째 또는 마지막 매크로블록이 아님, 상부 행에 있지 않음). 예측자는 A, B 및 C로 표시된 것과 다른 후보 방향으로부터 획득될 수 있다(예를 들어, 현재 매크로블록이 행에서 또는 상부 행에서 첫번째 매크로블록 또는 마지막 매크로블록인 경우 등의 특수한 경우에, 어떤 예측자가 이러한 경우에 이용가능하지 않기 때문임). 현재의 프레임-코딩된 매크로블록의 경우, 예측자 후보는 이웃하는 매크로블록이 필드-코딩되었는지 프레임-코딩되었는지에 따라 다르게 계산된다. 이웃하는 프레임-코딩된 매크로블록의 경우, 움직임 벡터가 간단히 예측자 후보로서 취해진다. 이웃하는 필드-코딩된 매크로블록의 경우, 후보 움직임 벡터는 상부 및 하부 필드 움직임 벡터를 평균함으로써 결정된다.
도 12a 및 도 12b는 그 필드에서의 내부 위치에 있는 필드-코딩된 4:1:1 매 크로블록 내의 현재 필드에 대한 후보 예측자 A, B 및 C를 나타낸다. 도 12a에서, 현재 필드는 하부 필드이고, 이웃하는 매크로블록에서의 하부 필드 움직임 벡터가 후보 예측자로서 사용된다. 도 12b에서, 현재 필드는 상부 필드이고, 이웃하는 매크로블록에서의 상부 필드 움직임 벡터가 후보 예측자로서 사용된다. 따라서, 현재의 필드-코딩된 매크로블록에서의 각 필드에 대해, 각 필드에 대한 움직임 벡터 예측자 후보의 수는 최대 3개이며, 각각의 후보는 현재 필드와 동일한 필드 유형(예를 들어, 상부 또는 하부)으로부터 나온다. 다시 말하면, 현재의 매크로블록이 행에서 또는 상부 행에서 첫번째 매크로블록 또는 마지막 매크로블록인 경우, 어떤 예측자가 이러한 경우에 이용가능하지 않기 때문에, 여러가지 특수한 경우(도시 생략)가 적용된다.
일련의 예측자 후보로부터 예측자를 선택하기 위해, 당해의 이전 WMV 인코더 및 디코더는 3개 중의 메디안(median-of-three) 또는 4개 중의 메디안(median-of-four) 등의 서로 다른 선택 알고리즘을 사용한다. 3개 중의 메디안 예측에 대한 절차가 도 13의 의사 코드(1300)에 기술되어 있다. 4개 중의 메디안 예측에 대한 절차가 도 14의 의사 코드(1400)에 기술되어 있다.
IV . 양방향 예측
양방향 예측된 프레임(또는 B-프레임)은 P-프레임에서 사용되는 하나의 앵커(anchor)가 아니라 참조(또는 앵커) 프레임으로서 소스 비디오로부터의 2개의 프레임을 사용한다. 일반적인 B-프레임에 대한 앵커 프레임 중에서, 하나의 앵커 프 레임은 시간상 과거로부터 온 것이고, 하나의 앵커 프레임은 시간상 미래로부터 온 것이다. 도 15를 참조하면, 비디오 시퀀스에서의 B-프레임(1510)은 시간상 이전의 참조 프레임(1520) 및 시간상 미래의 참조 프레임(1530)을 갖는다. B-프레임의 사용은 더 높은 비트 레이트 경제의 관점에서 볼 때 효율적인 압축을 위한 이점을 제공한다(예를 들어, 폐색(occlusion) 등의 어떤 유형의 움직임이 있는 경우). B-프레임을 갖는 인코딩된 비트 스트림은 일반적으로 유사한 시각적 품질을 제공하면서 B-프레임을 갖지 않는 인코딩된 비트 스트림보다 더 적은 비트를 사용한다. B-프레임은 또한 작은 장치 공간에서 사용될 때 더 많은 옵션 및 유연성을 제공한다. 예를 들어, 디코더는 B-프레임이 일반적으로 참조 프레임으로 사용되지 않기 때문에 B-프레임을 디코딩 또는 디스플레이하지 않도록 함으로써 공간 및 시간 제한에 대처할 수 있다. B-프레임을 사용하여 비디오 시퀀스에서의 레이트-왜곡 향상에 대한 추정치는 0 내지 50%의 범위에 있다.
V. 이전의 WMV 인코더 및 디코더에서의 B-프레임 코딩 및 디코딩
이전의 WMV 인코더 및 디코더는 B-프레임을 사용한다. 전방 예측 프레임 내의 매크로블록이 한가지 방향의 예측 모드(전방, 이전의 I- 또는 P-프레임으로부터)만을 가지지만, B-프레임에서의 매크로블록은 5개의 서로 다른 예측 모드, 즉 전방(forward), 후방(backward), 직접(direct), 보간(interpolated) 및 인트라(intra)를 사용하여 예측될 수 있다. 인코더는 비트 스트림에서 서로 다른 예측 모드를 선택하고 신호한다. 예를 들어, 당해의 이전 WMV 인코더는 압축된 비트플 레인(bitplane)을 B-프레임의 각각의 매크로블록에 대해 직접/비직접 모드 결정을 표시하는 프레임 레벨에서 전송하는 반면, 비직접 모드(전방, 후방 및 보간 모드 등)는 매크로블록 레벨에서 표시된다.
전방 모드는 종래의 P-프레임 예측과 유사하다. 전방 모드에서, 매크로블록은 시간상 이전의 앵커로부터 도출된다. 후방 모드에서, 매크로블록은 시간상 차후의 앵커로부터 도출한다. 직접 또는 비직접 모드에서 예측된 매크로블록은 예측을 위해 전방 및 후방 앵커 둘다를 사용한다. 직접 및 보간 모드는 이하의 방정식에 따라 2개의 참조의 픽셀 값을 하나의 매크로블록 픽셀 세트로 합성하기 위해 반올림 평균(round-up averaging)을 사용한다.
평균 픽셀 값 = (전방 보간 값 + 후방 보간 값 + 1) >> 1
A. 동일 위치의( co - located ) 움직임 벡터의 비율 코딩 및 스케일링( fraction coding and scaling)
당해의 이전 WMV 인코더 및 디코더에서, 인코더는 전방 앵커에 대한 동일 위치의 움직임 벡터를 스케일링함으로써 직접 모드 움직임 벡터를 묵시적으로 도출한다. 스케일링 동작은 현재의 B-프레임의 그의 앵커에 대한 시간상 위치에 의존한다. 참조 픽처의 시간상 위치를 인코딩하기 위해, 인코더는 비율 코딩(fraction coding)을 사용한다.
비율 코딩에서, 인코더는 현재 B-프레임에 대한 시간상 위치를 그의 2개의 앵커 간의 거리의 비로서 명시적으로 코딩한다. 변수 BFRACTION은 서로 다른 비율을 표현하는 데 사용되며 프레임 레벨에서 전송된다. 이 비율은 0 내지 1의 제한 된 일련의 이산값을 취한다. 직접 모드 움직임 벡터의 경우, 인코더 및 디코더는 참조 프레임 내의 동일 위치의 움직임 벡터(MV)를 스케일링하기 위해 이 비율을 사용하며, 그에 따라 이하의 스케일링 동작을 구현함으로써 현재의 B-프레임에 대한 암시된 직접 모드 움직임 벡터(MVF 및 MVB)를 도출한다.
MVF = 비율 * MV
MVB = (비율 - 1) * MV
도 16은 비율 코딩이 어떻게 인코더가 둘러싸고 있는 참조 프레임 간의 움직임을 임의적으로 스케일링할 수 있게 해주는지를 나타낸 것이다. B-프레임(1620)에서 인코딩되고 있는 현재 매크로블록(1610)에 대한 MVF 및 MVB를 도출하기 위해, 인코더 및 디코더는 비율 코딩을 사용하여 미래의 참조 프레임(1630)에서의 대응하는 매크로블록의 움직임 벡터(MV)를 스케일링한다. 도 16에 도시된 예에서, 비율 p 및 q에 대해, p + q = 1이다. 인코더 및 디코더는 이전의 참조 프레임(1640) 및 미래의 참조 프레임(1630)에서의 매크로블록을 어드레싱하는 데 2개의 암시된 움직임 벡터를 사용하고, 또 현재의 매크로블록(1610)을 예측하는 데 이들의 평균을 사용한다. 예를 들어, 도 16에서, MVF = (dx*p, dy*p)이고 MVB = (-dx*q, -dy*q)이다.
도 17의 테이블(1700)은 비트스트림 요소 BFRACTION에 대한 가변-길이 코드(VLC) 테이블이다. 테이블(1700)에 도시된 예에서, 3-비트 코드 워드는 "짧은" 코드 워드(short code word)이고, 7-비트 코드 워드는 "긴" 코드 워드(long code word)이다. 디코더는 도 18에 도시된 의사 코드(1800)에 따라 비율의 분자 및 분모에 기초하여 스케일링 계수를 찾아낸다.
스케일링 계수가 결정되었으면, 디코더는 이를 사용하여 동일 위치의 매크로블록에 대한 움직임 벡터의 x-요소 및 y-요소를 스케일링한다. 차후의 앵커 프레임이 P-프레임이고(I-프레임의 경우, 모든 움직임 벡터가 (0,0)인 것으로 가정됨) 동일 위치의 매크로블록이 움직임 벡터(MV_X, MV_Y)를 포함한다고 할 때, 디코더는 2개의 움직임 벡터를 도출하며, 하나(MV_XF, MV_YF)는 전방(이전의) 앵커 프레임을 참조하고, 다른 하나(MV_XB, MV_YB)는 후방(차후의) 앵커 프레임을 참조한다.
디코더는 도 19에 도시한 의사 코드(1900)에 따라 스케일링을 수행한다. 의사 코드(1900)에서의 함수 Scale_Direct_MV에서, 입력 MV_X 및 MV_Y는 미래의 참조 픽처의 동일 위치의 매크로블록으로부터의 움직임 벡터의 x-요소 및 y-요소이고, 출력 MV_XF, MV_YF, MV_XB 및 MV_YB는 디코딩되고 있는 매크로블록에 대한 전방 및 후방 지향 움직임 벡터의 x-요소 및 y-요소이다.
B. B/I 프레임
당해의 이전 WMV 인코더 및 디코더는 또한 순차 코딩 및 디코딩에서 인트라 B-프레임("B/I-프레임")을 사용한다. B/I-프레임은 참조 프레임에 의존하지 않는다는 점에서 I-프레임처럼 코딩된다. 그렇지만, I-프레임과는 달리, B/I-프레임은 키 프레임이 아니며, 다른 프레임이 앵커로서 B/I-프레임을 사용할 수 없다.
C. 인터레이스형 B-프레임
당해의 이전 WMV 인코더 및 디코더는 또한 인터레이스형 B-프레임을 사용한다. 인터레이스형 B-프레임에서의 매크로블록은 필드-코딩되거나 프레임-코딩될 수 있다. 프레임-코딩된 매크로블록은 1개, 2개의 움직임 벡터(예를 들어, 직접 모드에 대한 전방 및 후방 움직임 벡터로부터 도출된, 보간 모드에 대한 전방 및 후방 움직임 벡터)를 가지거나 움직임 벡터를 갖지 않을 수 있으며, 필드-코딩된 매크로블록은 예측 모드에 따라 최대 4개의 움직임 벡터를 가질 수 있다. 예를 들어, 직접 모드 필드-코딩된 매크로블록에서, 4개의 암시적인 움직임 벡터, 즉 상부 필드에 대한 전방 및 후방 움직임 벡터, 및 하부 필드에 대한 전방 및 후방 움직임 벡터가 도출된다.
당해의 이전 WMV 인코더 및 디코더가 인터레이스형 B-프레임을 사용하지만, 이들은 몇가지 중요한 점에서 제한이 있다. 예를 들어, 매크로블록마다 단지 하나의 매크로블록 예측 모드(예를 들어, 직접 모드, 전방 모드, 기타 등등)만이 허용되며, 4MV 코딩(즉, 매크로블록의 각 블록에 대해 하나씩의 움직임 벡터)은 사용되지 않으며, 임의의 B-프레임의 어느 부분도 임의의 프레임에 대한 움직임 보상을 위한 참조가 될 수 없다. 다른 예로서, 당해의 이전 WMV 인코더 및 디코더에서의 인터레이스형 코딩 및 디코딩(인터레이스형 B-프레임 포함)은 단지 4:1:1 매크로블록 포맷만을 사용하여 수행된다.
VI . 비디오 압축 및 압축 해제에 대한 표준
이전의 WMV 인코더 및 디코더와 별도로, 몇가지 국제 표준이 비디오 압축 및 압축 해제와 관련되어 있다. 이들 표준은 MPEG(Motion Picture Experts Group) 1, 2 및 4 표준 및 ITU(International Telecommunication Union)로부터의 H.261, H.262, H.263 및 H.264 표준을 포함한다. 국제 표준에서 디지털 비디오 시퀀스의 데이터 압축을 달성하기 위해 사용되는 주요 방법 중 하나는 픽처들 간의 시간 중복성(temporal redundancy)을 감소시키는 것이다. 이들 널리 보급된 압축 방식(MPEG-1, MPEG-2, MPEG-4, H.261, H.263, 등)은 움직임 추정 및 보상을 사용한다. 예를 들어, 현재 프레임은 균일한 정사각형 영역(예를 들어, 블록 및/또는 매크로블록)으로 분할된다. 각각의 현재 영역에 대한 일치하는 영역은 그 영역에 대한 움직임 벡터 정보를 전송함으로써 지정된다. 움직임 벡터는 현재 영역에 대한 예측자로서 사용되어질 이전에 코딩된(및 재구성된) 프레임에서의 그 영역의 위치를 가리킨다. 오차 신호라고 하는 현재 영역과 참조 프레임에서의 영역 간의 픽셀별 차이가 도출된다. 이 오차 신호는 보통 원래의 신호보다 낮은 엔트로피를 갖는다. 따라서, 이 정보는 더 낮은 레이트로 인코딩될 수 있다. 이전의 WMV 인코더 및 디코더에서와 같이, 움직임 벡터 값이 종종 공간적으로 둘러싸고 있는 움직임 벡터와 상관되어 있기 때문에, 움직임 벡터 정보를 표현하는 데 사용되는 데이터의 압축은 현재의 움직임 벡터와 이전에 코딩된 이웃 움직임 벡터에 기초한 예측자 간의 차분을 코딩함으로써 달성될 수 있다.
어떤 국제 표준은 인터레이스형 비디오 프레임에서의 움직임 추정 및 보상에 대해 기술한다. H.261 표준에 의하면 인터레이스형 비디오 프레임이 단일의 프레 임 또는 2개의 필드로서 인코딩될 수 있으며, 여기서 프레임 인코딩 또는 필드 인코딩은 프레임별로 적응적으로 선택될 수 있다. H.262 표준은 참조 프레임의 하나의 필드만을 사용하는 예측 모드인 필드-기반 예측에 대해 기술하고 있다. H.262 표준은 또한 인터레이스형 P-픽처에서의 16x16 블록에 대해 2개의 전방 필드-기반 예측이 평균되는 예측 모드인 듀얼-프라임 예측(dual-prime prediction)에 대해서도 기술한다. H.262 표준의 섹션 7.6은 인터레이스형 비디오 프레임의 현재 필드의 매크로블록에 대한 움직임 보상에 사용하기 위해 2개의 참조 필드 간에 선택하는 것을 포함한 "필드 예측"에 대해 기술한다. 섹션 7.6.3은 움직임 벡터 예측 및 재구성에 대해 기술하고 있으며, 여기서 주어진 매크로블록에 대한 재구성된 움직임 벡터는 차후의 인코딩된/디코딩된 매크로블록에 대한 움직임 벡터 예측자가 된다. 이러한 움직임 벡터 예측은 많은 경우에 인터레이스형 비디오 프레임의 필드의 매크로블록에 대한 움직임 벡터를 적절히 예측하지 못한다.
게다가, H.262 표준의 섹션 7.6은 B-픽처의 "필드 예측" 및 "프레임 예측"에 대해 기술한다. 필드 예측 및 프레임 예측에서, 예측은 2개의 가장 최근에 재구성된 참조 프레임(다른 중간의 B-픽처는 생략함)(이는 2개의 필드로서 또는 단일의 프레임으로서 코딩될 수 있음)을 사용하여 B-픽처에 대해 수행된다.
디지털 비디오에 대한 비디오 압축 및 압축 해제의 중요성을 고려하면, 비디오 압축 및 압축 해제가 풍성하게 발전된 분야라는 것이 놀랍지 않다. 그렇지만, 이전의 비디오 압축 및 압축 해제 기술의 어떤 이점도 이하의 기술 및 도구의 이점을 갖지 않는다.
요약하면, 상세한 설명은 양방향 예측된 인터레이스형 비디오 프레임(예를 들어, 인터레이스형 B-필드, 인터레이스형 B-프레임)을 인코딩 및 디코딩하는 여러가지 기술 및 도구에 관한 것이다. 설명된 기술 및 도구는 레이트/왜곡 성능을 향상시키며 더 낮은 CPU 자원을 갖는 장치(예를 들어, 더 작은 폼 팩터를 갖는 장치)에 대한 더 나은 지원을 용이하게 해준다.
기술된 실시예들은 이하의 것(이에 한정되는 것은 아님)을 포함하는 인터레이스형 B-픽처를 코딩 및/또는 디코딩하는 설명된 기술 및 도구 중 하나 이상을 구현한다.
한 측면에서, 인터레이스형 B-프레임의 경우, 인코더/디코더는 인터레이스형 B-프레임의 필드-코딩된 매크로블록에서의 필드들 간에 예측 모드를 전환한다. 예를 들어, 인코더/디코더는 필드-코딩된 매크로블록에서 상부 필드에 대한 전방 예측 모드와 하부 필드에 대한 후방 모드 간에 전환한다. 동일한 필드-코딩된 매크로블록 내에서의 상부와 하부 예측 모드 간의 전환은 인터레이스형 B-프레임의 서로 다른 부분에 대한 효율적인 예측 모드를 찾는 데 더 많은 유연성을 가능하게 해준다.
다른 측면에서, 인터레이스형 B-프레임의 경우, 인코더/디코더는 이전에 디코딩된 시간상 차후의 앵커의 동일 위치의 매크로블록의 상부 및 하부 필드 각각에 대해 기껏해야 하나의 대표적인 움직임 벡터를 선택함으로써 현재 매크로블록에 대한 직접 모드 움직임 벡터를 계산한다. 예를 들어, 이 선택하는 일은 현재의 인터 레이스형 B-프레임의 매크로블록의 코딩 모드(예를 들어, 1MV 모드, 2 필드 MV 모드, 기타 등등)에 적어도 부분적으로 기초하여 수행된다.
다른 측면에서, 인터레이스형 B-필드 또는 인터레이스형 B-프레임의 경우, 인코더/디코더는 4MV 코딩을 사용한다. 예를 들어, 4MV는 1-방향 예측 모드(전방 또는 후방 모드)에서 사용되지만 다른 이용가능한 예측 모드(예를 들어, 직접 또는 보간)에서는 사용되지 않는다. 4MV를 사용하면 인터레이스형 B-필드 및 인터레이스형 B-프레임에 대한 보다 정확한 움직임 보상이 가능하게 되며, 4MV를 전방 및 후방 모드로만 제한하게 되면 코딩 오버헤드가 감소되고 직접 및 보간 등의 모드와 4MV를 결합시키는 것과 연관된 디코딩 복잡성이 회피된다.
다른 측면에서, 인터레이스형 B-필드 또는 인터레이스형 B-프레임의 경우, 전방 움직임 벡터는 전방 움직임 벡터 버퍼로부터의 이전에 재구성된(또는 추정된) 전방 움직임 벡터를 사용하여 인코더/디코더에 의해 예측되고, 후방 움직임 벡터는 후방 움직임 벡터 버퍼로부터의 이전에 재구성된(또는 추정된) 후방 움직임 벡터를 사용하여 예측된다. 결과 움직임 벡터는 대응하는 버퍼에 부가된다. 움직임 벡터 버퍼 내의 구멍은 추정된 움직임 벡터 값으로 채워질 수 있다. 예를 들어, 인터레이스형 B-프레임의 경우, 움직임 벡터를 예측하는 데 전방 예측이 사용되고 움직임 벡터가 전방 움직임 벡터 버퍼에 부가될 때, 후방 움직임 벡터 버퍼에서의 대응하는 위치는 후방 움직임 벡터만을 예측자로서 사용하여 예측된 움직임 벡터가 되어지는 것으로 채워진다("구멍-채우기"). 다른 예로서, 인터레이스형 B-필드의 경우, 구멍-채우기를 위한 서로 다른 극성 움직임 벡터(예를 들어, "동일 극성" 또는 "반대 극성") 간에 선택하기 위해, 인코더/디코더는 우세 극성 필드 움직임 벡터를 선택한다. 앵커와 현재 프레임 간의 거리는 여러가지 신택스 요소를 사용하여 계산되고, 이 계산된 거리는 참조 필드 움직임 벡터를 스케일링하는 데 사용된다. 개별적인 움직임 벡터 버퍼 및 개별적인 움직임 벡터 버퍼에서의 구멍-채우기는 인터레이스형 B-필드 및 인터레이스형 B-프레임에 대한 보다 정확한 움직임 벡터 예측을 가능하게 해준다.
다른 측면에서, 인터레이스형 B-필드의 경우, 인코더/디코더는 "자기-참조" 프레임을 사용한다. 예를 들어, 현재 프레임에서의 두번째 B-필드가 움직임 보상된 예측에서 현재 프레임으로부터의 첫번째 B-필드를 참조한다. 프레임에서의 첫번째 필드가 프레임에서의 두번째 필드에 대한 참조로서 기능할 수 있게 해줌으로써 두번째 B-필드의 보다 정확한 예측을 가능하게 해주면서도 현재 프레임에 B-필드를 갖는 시간상 확장성 이점을 보존한다.
다른 측면에서, 인터레이스형 B-필드의 경우, 인코더는 인터레이스형 B-필드에서의 하나 이상의 매크로블록에 대해 예측 모드가 전방 또는 비전방인지를 가리키는 이진 정보를 전송한다. 예를 들어, 인코더는 전방/비전방 결정 정보를 압축된 비트플레인으로 B-필드 레벨에서 전송한다. 전방/비전방 예측 모드 결정 정보를 압축된 비트플레인으로 B-필드 레벨에서 전송하는 것은 예측 모드 코딩을 위한 코딩 오버헤드를 감소시킬 수 있다. 디코더는 대응하는 디코딩을 수행한다.
다른 측면에서, 인터레이스형 B-필드의 경우, 인코더/디코더는 그 다음 앵커 픽처의 대응하는 필드에서의 대응하는 매크로블록이 4개의 움직임 벡터를 사용하여 코딩된 경우 우세 극성을 선호하는 논리를 사용하여 직접 모드 움직임 벡터를 선택한다. 예를 들어, 대응하는 매크로블록의 동일 극성 움직임 벡터 수가 그의 반대 극성 움직임 벡터 수보다 많은 경우, 인코더/디코더는 직접 모드 움직임 벡터를 도출하기 위한 움직임 벡터를 얻기 위해 동일 극성 움직임 벡터들의 메디안을 계산한다. 이 선택 프로세스는 4MV 매크로블록을 갖는 앵커들을 갖는 인터레이스형 B-필드에 대한 정확한 직접 모드 움직임 벡터의 도출을 가능하게 해준다.
여러가지 기술 및 도구가 조합하여 또는 독립적으로 사용될 수 있다.
첨부 도면을 참조하여 기술되는 서로 다른 실시예들에 대한 이하의 상세한 설명으로부터 부가의 특징 및 이점이 명백하게 될 것이다.
본 출원은 인터레이스형 비디오의 효율적인 압축 및 압축 해제를 위한 기술 및 도구에 관한 것이다. 여러가지 기술된 실시예들에서, 비디오 인코더 및 디코더는 양방향 예측된 인터레이스형 비디오 프레임을 인코딩 및 디코딩하는 기술, 및 서로 다른 계층 또는 레벨(예를 들어, 시퀀스 레벨, 프레임 레벨, 필드 레벨, 매크로블록 레벨 및/또는 블록 레벨)을 포함하는 비트 스트림 포맷 또는 신택스와 함께 사용하기 위한 대응하는 시그널링 기술을 포함한다.
본 명세서에 기술된 구현들에 대한 여러가지 대안이 가능하다. 예를 들어, 플로우차트도를 참조하여 기술된 기술들은 플로우차트에 도시된 단계들의 순서를 변경함으로써, 어떤 단계를 반복 또는 생략함으로써, 기타 등등에 의해 달라질 수 있다. 다른 예로서, 어떤 구현이 특정의 매크로블록 포맷과 관련하여 기술되어 있 지만, 다른 포맷도 사용될 수 있다. 게다가, 양방향 예측을 참조하여 기술된 기술 및 도구는 또한 다른 유형의 예측에 적용가능할 수 있다.
여러가지 기술 및 도구는 조합하여 또는 독립적으로 사용될 수 있다. 서로 다른 실시예들은 기재된 기술 및 도구 중 하나 이상을 구현한다. 본 명세서에 기재된 어떤 기술 및 도구는 비디오 인코더 또는 디코더에서 사용될 수 있거나 또는 어떤 다른 시스템에서는 비디오 인코딩 또는 디코딩으로 특별히 제한되지 않는다.
I. 컴퓨팅 환경
도 20은 기재된 실시예들 중 몇개가 구현될 수 있는 적당한 컴퓨팅 환경(2000)의 일반화된 예를 나타낸 것이다. 이들 기술 및 도구가 다양한 범용 또는 전용 컴퓨팅 환경에서 구현될 수 있기 때문에, 컴퓨팅 환경(2000)은 사용 또는 기능의 범위에 관하여 어떤 제한을 암시하기 위한 것이 아니다.
도 20을 참조하면, 컴퓨팅 환경(2000)은 적어도 하나의 프로세싱 유닛(2010) 및 메모리(2020)를 포함한다. 도 20에서, 이 가장 기본적인 구성(2030)은 점선 안에 포함되어 있다. 프로세싱 유닛(2010)은 컴퓨터 실행가능 명령어를 실행하고 또 실제(real) 또는 가상(virtual) 프로세서일 수 있다. 멀티-프로세싱 시스템에서는, 처리 능력을 향상시키기 위해 다수의 프로세싱 유닛이 컴퓨터 실행가능 명령어를 실행한다. 메모리(2020)는 휘발성 메모리(예를 들어, 레지스터, 캐쉬, RAM), 비휘발성 메모리(예를 들어, ROM, EEPROM, 플래쉬 메모리, 기타), 또는 이 둘의 어떤 조합일 수 있다. 메모리(2020)는 인터레이스형 비디오 프레임의 양방향 예측으 로 비디오 인코더 또는 디코더를 구현하는 소프트웨어(2080)를 저장한다.
컴퓨팅 환경은 부가의 특징을 가질 수 있다. 예를 들어, 컴퓨팅 환경(2000)은 스토리지(2040), 하나 이상의 입력 장치(2050), 하나 이상의 출력 장치(2060), 및 하나 이상의 통신 연결(2070)을 포함한다. 버스, 콘트롤러, 또는 네트워크 등의 상호 연결 메카니즘(도시 생략)은 컴퓨팅 환경(2000)의 컴포넌트들을 상호 연결시킨다. 일반적으로, 오퍼레이팅 시스템 소프트웨어(도시 생략)는 컴퓨팅 환경(2000)에서 실행되는 다른 소프트웨어를 위한 오퍼레이팅 환경을 제공하고, 컴퓨팅 환경(2000)의 컴포넌트들의 활동을 조정한다.
스토리지(2040)는 분리형 또는 비분리형일 수 있고, 자기 디스크, 자기 테이프 또는 카세트, CD-ROM, DVD 또는 정보를 저장하는 데 사용될 수 있고 또 컴퓨팅 환경(2000) 내에서 액세스될 수 있는 임의의 다른 매체를 포함한다. 스토리지(2040)는 비디오 인코더 또는 디코더를 구현하는 소프트웨어(2080)에 대한 명령어를 저장한다.
입력 장치(들)(2050)는 키보드, 마우스, 펜, 또는 트랙볼 등의 터치 입력 장치, 음성 입력 장치, 스캐닝 장치, 또는 컴퓨팅 환경(2000)으로의 입력을 제공하는 다른 장치일 수 있다. 오디오 또는 비디오 인코딩의 경우, 입력 장치(들)(2050)는 사운드 카드, 비디오 카드, TV 튜너, 또는 아날로그 또는 디지털 형태로 오디오 또는 비디오 입력을 받아들이는 유사한 장치, 또는 오디오 또는 비디오 샘플을 컴퓨팅 환경(2000)으로 읽어들이는 CD-ROM 또는 CD-RW일 수 있다. 출력 장치(들)(2060)는 디스플레이, 프린터, 스피커, CD-라이터, 또는 컴퓨팅 환경(2000)으로부 터의 출력을 제공하는 다른 장치일 수 있다.
통신 연결(들)(2070)은 통신 매체를 통해 다른 컴퓨팅 개체로의 통신을 가능하게 해준다. 통신 매체는 변조된 데이터 신호로 컴퓨터 실행가능 명령어, 오디오 또는 비디오 입력 또는 출력, 또는 기타 데이터 등의 정보를 전달한다. 변조된 데이터 신호는 그의 특성 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정 또는 변경된 신호를 말한다. 제한이 아닌 예로서, 통신 매체는 전기, 광학, RF, 적외선, 음향 또는 다른 반송파로 구현되는 유선 또는 무선 기술을 포함한다.
이들 기술 및 도구는 컴퓨터 판독가능 매체의 일반적인 관점에서 기술될 수 있다. 컴퓨터 판독가능 매체는 컴퓨팅 환경 내에서 액세스될 수 있는 임의의 이용가능한 매체일 수 있다. 제한이 아닌 예로서, 컴퓨팅 환경(2000)에서, 컴퓨터 판독가능 매체는 메모리(2020), 스토리지(2040), 통신 매체, 및 임의의 상기한 것의 조합을 포함한다.
이들 기술 및 도구는 컴퓨팅 환경에서 타겟 실제 또는 가상 프로세서 상에서 실행되고 있는, 프로그램 모듈에 포함된 것 등의 컴퓨터 실행가능 명령어의 일반적인 관점에서 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정의 작업을 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 라이브러리, 객체, 클래스, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 프로그램 모듈의 기능은 여러가지 환경에서 원하는 바에 따라 프로그램 모듈들 간에 결합 또는 분리될 수 있다. 프로그램 모듈의 컴퓨터 실행가능 명령어는 로컬 또는 분산 컴퓨팅 환경 내에서 실행될 수 있다.
설명을 위해, 상세한 설명은 컴퓨팅 환경에서의 컴퓨터 동작을 기술하기 위해 "추정", "보상", "예측" 및 "적용" 등의 용어를 사용한다. 이들 용어는 컴퓨터에 의해 수행되는 동작들에 대한 고도의 추상화이며, 사람에 의해 수행되는 행동과 혼동해서는 안된다. 이들 용어에 대응하는 실제 컴퓨터 동작은 구현에 따라 달라진다.
II . 일반화된 비디오 인코더 및 디코더
도 21은 어떤 기술된 실시예들이 구현될 수 있는 일반화된 비디오 인코더 시스템(2100)의 블록도이다. 도 22은 어떤 기술된 실시예들이 구현될 수 있는 비디오 디코더 시스템(2200)의 블록도이다.
인코더(2100)와 디코더(2200) 내의 모듈들 간에 도시된 관계는 인코더 및 디코더에서의 정보의 일반적인 흐름을 가리키며, 간단함을 위해 다른 관계는 나타내지 않았다. 상세하게는, 도 21 및 도 22은 보통 비디오 시퀀스, 픽처, 매크로블록, 블록, 기타 등등을 위해 사용되는 인코더 설정, 모드, 테이블, 기타 등등을 가리키는 부수적인 정보를 나타내지 않았다. 이러한 부수적인 정보는 일반적으로 부수적인 정보의 엔트로피 인코딩 후에 출력 비트스트림으로 전송된다. 출력 비트스트림의 포맷은 윈도즈 미디어 비디오(Windows Media Video) 버전 9 또는 다른 포맷일 수 있다.
인코더(2100) 및 디코더(2200)는 비디오 프레임, 비디오 필드, 또는 프레임과 필드의 조합일 수 있는 비디오 픽처를 처리한다. 픽처 및 매크로블록 레벨에서 의 비트스트림 신택스(syntax) 및 시맨틱스(semantics)는 프레임 또는 필드가 사용되는지에 의존할 수 있다. 또한, 매크로블록 구성 및 전체 타이밍에 대한 변화가 있을 수 있다. 인코더(2100) 및 디코더(2200)는 블록-기반이고, 프레임의 경우 4:2:0 매크로블록 포맷을 사용하고, 각각의 매크로블록은 4개의 8x8 루미넌스 블록(때로는 하나의 16x16 매크로블록으로서 취급됨) 및 2개의 8x8 크로미넌스 블록을 포함한다. 필드의 경우, 동일하거나 다른 매크로블록 구성 및 포맷이 사용될 수 있다. 8x8 블록은 다른 단계에서, 예를 들어 주파수 변환 및 엔트로피 인코딩 단계에서 추가로 세분될 수 있다. 예시적인 비디오 프레임 구성은 이하에서 보다 상세히 기술된다. 다른 대안으로서, 인코더(2100) 및 디코더(2200)는 객체-기반이거나, 다른 매크로블록 또는 블록 포맷을 사용하거나, 또는 8x8 블록 및 16x16 매크로블록과 다른 크기 또는 구성의 픽셀 세트에 대해 동작을 수행한다.
원하는 구현 및 압축 유형에 따라, 인코더 또는 디코더의 모듈은 부가, 생략, 다수의 모듈로 분할, 다른 모듈과 결합, 및/또는 유사한 모듈로 대체될 수 있다. 대체 실시예에서, 다른 모듈 및/또는 다른 구성의 모듈을 갖는 인코더 또는 디코더는 원하는 기술 중 하나 이상을 수행한다.
A. 비디오 프레임 구성
어떤 구현에서, 인코더(2100) 및 디코더(2200)는 다음과 같이 구성된 비디오 프레임을 처리한다. 프레임은 비디오 신호의 공간 정보의 라인들을 포함한다. 순차 비디오의 경우, 이들 라인은 한 순간에서 시작하여 연속한 라인들을 통해 계속하여 프레임의 하부에 이르는 샘플들을 포함한다. 순차 비디오 프레임은 도 23에 도시한 매크로블록(2300) 등의 매크로블록으로 분할된다. 매크로블록(2300)은 4개의 8x8 루미넌스 블록(Y1 내지 Y4) 및 4개의 루미넌스 블록과 동일 장소에 있지만 종래의 4:2:0 매크로블록 포맷에 따라 수평 및 수직으로 1/2 해상도인 2개의 8x8 크로미넌스 블록을 포함한다. 8x8 블록은 다른 단계에서, 예를 들어 주파수 변환(예를 들어, 8x4, 4x8, 또는 4x4 DCT) 및 엔트로피 인코딩 단계에서 추가로 세분될 수 있다. 순차 I-프레임은 인트라-코딩된 순차 비디오 프레임을 말한다. 순차 P-프레임은 전방 예측을 사용하여 코딩된 순차 비디오 프레임을 말하며, 순차 B-프레임은 양방향 예측을 사용하여 코딩된 순차 비디오 프레임을 말한다. 순차 P-프레임 및 B-프레임은 인트라-코딩된 매크로블록은 물론 다른 유형의 예측 매크로블록을 포함할 수 있다.
인터레이스형 비디오 프레임은 프레임의 2회 스캔으로 이루어진다 - 하나는 프레임의 짝수 라인(상부 필드)을 구성하고 다른 하나는 프레임의 홀수 라인(하부 필드)을 구성한다. 이 2개의 필드는 2개의 서로 다른 기간을 나타내거나 이들은 동일한 기간으로부터 온 것일 수 있다. 도 24a는 인터레이스형 비디오 프레임(2400)의 좌측 상부 부분에서의 상부 필드 및 하부 필드의 교대하는 라인을 포함하는 인터레이스형 비디오 프레임(2400)의 일부를 나타낸 것이다.
도 24b는 프레임(2430)으로서 인코딩/디코딩하기 위해 구성된 도 24a의 인터레이스형 비디오 프레임(2400)을 나타낸 것이다. 인터레이스형 비디오 프레임(2400)은 도 23에 도시한 바와 같이 4:2:0 포맷을 사용하는 매크로블록(2431, 2432) 등의 매크로블록들로 분할되어 있다. 루미넌스 평면에서, 각각의 매크로블 록(2431, 2432)은 총 16 라인을 위해 하부 필드로부터의 8 라인과 교대하는 상부 필드로부터의 8 라인을 포함하며, 각 라인은 16 픽셀 길이이다. (매크로블록(2431, 2432) 내에서의 루미넌스 블록 및 크로미넌스 블록의 실제 구성 및 배치는 도시되어 있지 않으며, 실제로 다른 인코딩 결정에 대해서 다를 수 있다.) 주어진 매크로블록 내에서, 상부 필드 정보 및 하부 필드 정보는 임의의 다양한 단계에서 공동으로 또는 개별적으로 코딩될 수 있다. 인터레이스형 I-프레임은 인터레이스형 비디오 프레임의 2개의 인트라-코딩된 필드이며, 여기서 매크로블록은 이 2개의 필드에 대한 정보를 포함한다. 인터레이스형 P-프레임은 전방 예측을 사용하여 코딩된 인터레이스형 비디오 프레임의 2개의 필드이고, 인터레이스형 B-프레임은 양방향 예측을 사용하여 코딩된 인터레이스형 비디오 프레임의 2개의 필드이며, 여기서 매크로블록은 이 2개의 필드에 대한 정보를 포함한다. 인터레이스형 P-프레임 및 B-프레임은 인트라-코딩된 매크로블록은 물론 다른 유형의 예측 매크로블록을 포함할 수 있다.
도 24c는 필드(2460)로서 인코딩/디코딩하기 위해 구성된 도 24a의 인터레이스형 비디오 프레임(2400)을 나타낸 것이다. 인터레이스형 비디오 프레임(2400)의 2개의 필드 각각은 매크로블록으로 분할된다. 상부 필드는 매크로블록(2461) 등의 매크로블록으로 분할되고, 하부 필드는 매크로블록(2462) 등의 매크로블록으로 분할된다. (다시 말하면, 매크로블록은 도 23에 도시한 바와 같이 4:2:0 포맷을 사용하며, 매크로블록 내에서의 루미넌스 블록 및 크로미넌스 블록의 구성 및 배치는 도시되어 있지 않다) 루미넌스 평면에서, 매크로블록(2461)은 상부 필드로부터의 16 라인을 포함하고, 매크로블록(2462)은 하부 필드로부터의 16 라인을 포함하며, 각 라인은 16 픽셀 길이이다. 인터레이스형 I-필드는 인터레이스형 비디오 프레임의 단일의 별도로 표현된 필드이다. 인터레이스형 P-필드는 전방 예측을 사용하여 코딩된 인터레이스형 비디오 프레임의 단일의 별도로 표현된 필드이고, 인터레이스형 B-필드는 양방향 예측을 사용하여 코딩된 인터레이스형 비디오 프레임의 단일의 별도로 표현된 필드이다. 인터레이스형 P-필드 및 B-필드는 인트라-코딩된 매크로블록은 물론 다른 유형의 예측 매크로블록을 포함할 수 있다.
용어 픽처는 일반적으로 소스, 코딩된 또는 재구성된 이미지 데이터를 말한다. 순차 비디오의 경우, 픽처는 순차 비디오 프레임이다. 인터레이스형 비디오의 경우, 픽처는 문맥에 따라 인터레이스형 비디오 프레임, 프레임의 상부 필드, 또는 프레임의 하부 필드를 말한다.
다른 대안으로서, 인코더(2100) 및 디코더(2200)는 객체-기반이거나, 다른 매크로블록 또는 블록 포맷을 사용하거나, 또는 8x8 블록 및 16x16 매크로블록과 다른 크기 또는 구성의 픽셀 세트에 대한 연산을 수행한다.
B. 비디오 인코더
도 21은 일반화된 비디오 인코더 시스템(2100)의 블록도이다. 인코더 시스템(2100)은 현재 픽처(2105)(예를 들어, 순차 비디오 프레임, 인터레이스형 비디오 프레임, 또는 인터레이스형 비디오 프레임의 필드)를 포함하는 비디오 픽처 시퀀스를 수신하고, 압축된 비디오 정보(2195)를 출력으로서 생성한다. 비디오 인코더의 특정의 실시예는 일반적으로 일반화된 인코더(2100)의 변형 또는 보완된 버전을 사 용한다.
인코더 시스템(2100)은 예측 픽처 및 키 픽처를 압축한다. 설명을 위해, 도 21은 인코더 시스템(2100)을 통한 키 픽처의 경로 및 예측 픽처의 경로를 나타낸다. 인코더 시스템(2100)의 컴포넌트들 중 다수는 키 픽처 및 예측 픽처 둘다를 압축하기 위해 사용된다. 이들 컴포넌트에 의해 수행되는 정확한 동작은 압축되고 있는 정보의 유형에 따라 다를 수 있다.
예측 픽처(예를 들어, 순차 p-프레임 또는 b-프레임, 인터레이스형 p-필드 또는 b-필드 또는 인터레이스형 p-프레임 또는 b-프레임)는 하나 이상의 다른 픽처(일반적으로 참조 픽처 또는 앵커라고 함)로부터의 예측(또는 차이)의 관점에서 표현된다. 예측 잔차는 예측된 것과 원래의 픽처 간의 차이를 말한다. 이와 반대로, 키 픽처(예를 들어, 순차 I-프레임, 인터레이스형 I-필드 또는 인터레이스형 I-프레임)는 다른 픽처를 참조하지 않고 압축된다.
현재 픽처(2105)가 전방 예측 픽처인 경우, 움직임 추정기(2110)는 예를 들어 픽처 스토어(2120)에 버퍼링된 재구성된 이전의 픽처(2125)인 하나 이상의 참조 픽처에 대해 현재 픽처(2105)의 매크로블록 또는 다른 픽셀 세트의 움직임을 추정한다. 현재 픽처(2105)가 양방향 예측 픽처인 경우, 움직임 추정기(2110)는 (예를 들어, 인터레이스형 B-필드의 경우) 최대 4개의 재구성된 참조 픽처에 대해 현재 픽처(2105)에서의 움직임을 추정한다. 일반적으로, 움직임 추정기는 하나 이상의 시간상 이전의 참조 픽처 및 하나 이상의 시간상 미래의 참조 픽처에 대해 B-픽처에서의 움직임을 추정한다. 따라서, 인코더 시스템(2100)은 다수의 참조 픽처에 대해 개별적인 스토어(2120, 2122)를 사용할 수 있다. 순차 B-프레임에 관한 더 많은 정보를 위해서는, 2003년 7월 18일자로 출원된 발명의 명칭이 "비디오 프레임의 최신 양방향 예측 코딩(Advanced Bi-Directional Predictive Coding of Video Frames)"인 미국 특허 출원 제10/622,378호를 참조하기 바란다.
움직임 추정기(2110)는 픽셀별로, ½ 픽셀별로, ¼ 픽셀별로 또는 다른 증분으로 움직임을 추정할 수 있으며, 픽처별로 또는 다른 방식으로 움직임 추정의 해상도를 전환할 수 있다. 움직임 추정기(2110)(및 보상기(2130))는 또한 프레임별로 또는 다른 방식으로 참조 픽처 픽셀 보간의 유형들 간에(예를 들어, 바이큐빅(bicubic)과 바이리니어(bilinear) 간에) 전환할 수 있다. 움직임 추정의 해상도는 수평 및 수직에서 동일하거나 다를 수 있다. 움직임 추정기(2110)는 차분 움직임 벡터 정보 등의 움직임 정보(2115)를 부수적인 정보로서 출력한다. 인코더(2100)는 예를 들어 움직임 벡터에 대한 하나 이상의 예측자를 계산함으로써, 움직임 벡터와 예측자 간의 차분을 계산함으로써 또 차분을 엔트로피 코딩함으로써 움직임 정보(2125)를 인코딩한다. 움직임 벡터를 재구성하기 위해, 움직임 보상기(2130)는 예측자를 차분 움직임 벡터 정보와 합성한다. 인터레이스형 B-필드 및 인터레이스형 B-프레임에 대한 움직임 벡터 예측자를 계산, 차분 움직임 벡터를 계산, 및 움직임 벡터를 재구성하는 여러가지 기술들이 이하에 기술되어 있다.
움직임 보상기(2130)는 움직임-보상된 현재 픽처(2135)를 형성하기 위해 재구성된 움직임 벡터를 재구성된 픽처(들)(2125)에 적용한다. 그렇지만, 예측은 좀처럼 완벽하지 않으며, 움직임 보상된 현재 픽처(2135)와 원래의 현재 픽처(2105) 간의 차이가 예측 잔차(2145)이다. 픽처의 나중의 재구성 동안에, 예측 잔차(2145)는 원래의 현재 픽처(2105)에 더 가까운 재구성된 픽처를 획득하기 위해 움직임 보상된 현재 픽처(2135)에 가산된다. 그렇지만, 유손실 압축에서, 어떤 정보는 여전히 원래의 현재 픽처(2105)로부터 손실되어 있다. 다른 대안으로서, 움직임 추정기 및 움직임 보상기는 다른 유형의 움직임 추정/보상을 적용한다.
주파수 변환기(2160)는 공간 영역 비디오 정보를 주파수 영역(즉, 스펙트럼) 데이터로 변환한다. 블록-기반 비디오 픽처의 경우, 주파수 변환기(2160)는 DCT 또는 DCT의 변형을 픽셀 데이터 또는 예측 잔차 데이터의 블록에 적용하여 주파수 변환 계수의 블록을 생성한다. 다른 대안으로서, 주파수 변환기(2160)는 푸리에 변환 등의 다른 종래의 주파수 변환을 적용하거나 웨이블렛(wavelet) 또는 서브대역(subband) 분석을 사용한다. 주파수 변환기(2160)는 8x8, 8x4, 4x8, 4x4 또는 다른 크기 주파수 변환을 적용할 수 있다.
이어서, 양자화기(2170)는 스펙트럼 데이터 계수의 블록을 양자화한다. 양자화기는 균일한 스칼라 양자화를, 픽처별로 또는 다른 방식으로 변하는 스텝-크기를 갖는 스펙트럼 데이터에 적용한다. 다른 대안으로서, 양자화기는 다른 유형의 양자화, 예를 들어 비균일(non-uniform), 벡터(vector) 또는 비적응적(non-adaptive) 양자화를 스펙트럼 데이터 계수에 적용하거나 주파수 변환을 사용하지 않는 인코더 시스템에서 공간 영역 데이터를 직접 양자화한다. 적응적 양자화 이외에, 인코더(2100)는 레이트 제어를 위해 프레임 누락(frame dropping), 적응적 필터링, 또는 다른 기술을 사용할 수 있다.
인코더(2100)은 어떤 유형의 정보도 갖지 않는(예를 들어, 매크로블록에 대한 움직임 정보도 잔차 정보도 갖지 않는) 매크로블록인 건너뜀 매크로블록(skipped macroblock)에 대해 특수한 시그널링을 사용할 수 있다.
재구성된 현재 픽처가 차후의 움직임 추정/보상을 위해 필요한 경우, 역양자화기(2176)는 양자화된 스펙트럼 데이터 계수에 대해 역양자화를 수행한다. 이어서, 주파수 역변환기(2166)는 주파수 변환기(2160)의 동작의 역을 수행하여, 재구성된 예측 잔차(예측 픽처의 경우) 또는 재구성된 키픽처를 생성한다. 현재 픽처(2105)가 키 픽처인 경우, 재구성된 키 픽처는 재구성된 현재 픽처(도시 생략)로서 취해진다. 현재 픽처(2105)가 예측 픽처인 경우, 재구성된 예측 잔차는 재구성된 현재 픽처를 형성하기 위해 움직임-보상된 현재 픽처(2135)에 가산된다. 픽처 스토어(2120, 2122) 중 하나 또는 둘다는 움직임 보상된 예측에서 사용하기 위한 재구성된 현재 픽처를 버퍼링한다. 어떤 실시예에서, 인코더는 픽처에서의 불연속 및 다른 아티팩트를 적응적으로 평탄화(smooth)하기 위해 재구성된 프레임에 디블록킹 필터(deblocking filter)를 적용한다.
엔트로피 코더(2180)는 양자화기(2170)의 출력은 물론 어떤 부수적인 정보(예를 들어, 움직임 정보(2115), 양자화 스텝 크기)를 압축한다. 일반적인 엔트로피 코딩 기술은 산술 코딩, 차분 코딩, 허프만 코딩, 런 랭스 코딩, LZ 코딩, 사전 코딩(dictionary coding) 및 이들의 조합을 포함한다. 엔트로피 코더(2180)는 일반적으로 다른 종류의 정보(예를 들어, DC 계수, AC 계수, 다른 종류의 부수적인 정보)에 대해 다른 코딩 기술을 사용하고, 특정의 코딩 기술 내에서의 다수의 코드 테이블 중에서 선택할 수 있다.
엔트로피 코더(2180)는 압축된 비디오 정보(2195)를 멀티플렉서["MUX"](2190)에 제공한다. MUX(2190)는 버퍼를 포함할 수 있으며, 버퍼 레벨 표시자는 레이트 제어를 위해 비트 레이트 적응적 모듈에 피드백될 수 있다. MUX(2190) 이전 또는 이후에, 압축된 비디오 정보(2195)는 네트워크를 통한 전송을 위해 채널 코딩될 수 있다. 채널 코딩은 오차 검출 및 정정 데이터를 압축된 비디오 정보(2905)에 적용할 수 있다.
C. 비디오 디코더
도 22은 일반적인 비디오 디코더 시스템(2200)의 블록도이다. 디코더 시스템(2200)은 압축된 비디오 픽처 시퀀스에 대한 정보(2295)를 수신하고 재구성된 픽처(2205)(예를 들어, 순차 비디오 프레임, 인터레이스형 비디오 프레임, 또는 인터레이스형 비디오 프레임의 필드)를 포함하는 출력을 생성한다. 비디오 디코더의 특정의 실시예들은 일반적으로 일반화된 디코더(2200)의 변형 또는 보완된 버전을 사용한다.
디코더 시스템(2200)은 예측 픽처 및 키 픽처를 압축 해제한다. 설명을 위해, 도 22은 디코더 시스템(2200)을 통한 키 픽처의 경로 및 전방 예측 픽처의 경로를 나타낸다. 디코더 시스템(2200)의 컴포넌트들 중 다수는 키 픽처 및 예측 픽처 둘다를 압축 해제하는 데 사용된다. 이들 컴포넌트에 의해 수행되는 정확한 동작은 압축 해제 중인 정보의 유형에 따라 다를 수 있다.
DEMUX(2290)는 압축된 비디오 시퀀스에 대한 정보(2295)를 수신하고 수신된 정보를 엔트로피 디코더(2280)가 이용할 수 있게 해준다. DEMUX(2290)는 또한 지터 버퍼 및 다른 버퍼를 포함할 수 있다. DEMUX(2290) 이전 또는 이후에, 압축된 비디오 정보가 채널 디코딩되고 오차 검출 및 정정을 위해 처리될 수 있다.
엔트로피 디코더(2280)는 엔트로피-코딩되고 양자화된 데이터는 물론 엔트로피-코딩된 부수적인 정보(예를 들어, 움직임 정보(2215), 양자화 스텝 크기)를 엔트로피 디코딩한다, 즉 일반적으로 인코더에서 수행된 엔트로피 인코딩의 역을 적용한다. 엔트로피 디코딩 기술은 산술 디코딩, 차분 디코딩, 허프만 디코딩, 런 랭스 디코딩, LZ 디코딩, 사전 디코딩 및 이들의 조합을 포함한다. 엔트로피 디코더(2280)는 다른 종류의 정보(예를 들어, DC 계수, AC 계수, 다른 종류의 부수적인 정보)에 대해 다른 디코딩 기술을 사용하며, 특정의 디코딩 기술 내에서 다수의 코드 테이블 중에서 선택할 수 있다.
디코더(2200)는 예를 들어, 움직임 벡터에 대한 하나 이상의 예측자를 계산하고 차분 움직임 벡터를 엔트로피 디코딩하며 움직임 벡터를 재구성하기 위해 디코딩된 차분 움직임 벡터를 예측자와 합성함으로써, 움직임 정보(2215)를 디코딩한다. 움직임 벡터 예측자를 계산하고 차분 움직임 벡터를 계산하며 인터레이스형 B-필드 및 인터레이스형 B-프레임에 대한 움직임 벡터를 재구성하는 여러가지 기술들에 대해 이하에서 기술한다.
움직임 보상기(2230)는 재구성 중인 픽처(2205)의 예측(2235)을 형성하기 위해 움직임 정보(2215)를 하나 이상의 참조 픽처(2225)에 적용한다. 예를 들어, 움직임 보상기(2230)는 참조 픽처(들)(2225)에서 매크로블록(들)을 찾기 위해 하나 이상의 매크로블록 움직임 벡터를 사용한다. 하나 이상의 픽처 스토어(예를 들어, 픽처 스토어(2220, 2222))는 참조 픽처로서 사용하기 위해 이전의 재구성된 픽처를 저장한다. 일반적으로, B-픽처는 2개 이상의 참조 픽처(예를 들어, 적어도 하나의 시간상 이전의 참조 픽처 및 적어도 하나의 시간상 미래의 참조 픽처)를 갖는다. 따라서, 디코더 시스템(2200)은 다수의 참조 픽처에 대해 개별적인 픽처 스토어(2220, 2222)를 사용할 수 있다. 움직임 보상기(2230)는 픽셀로, 1/2 픽셀로, 1/4 픽셀로 또는 다른 증분으로 움직임을 보상할 수 있고, 또 픽처별로 또는 다른 방식으로 움직임 보상의 해상도를 전환할 수 있다. 움직임 보상기(2230)는 또한 프레임별로 또는 다른 방식으로 참조 픽처 픽셀 보간 유형들 간에(예를 들어, 바이큐빅(bicubic)과 바이리니어(bilinear) 간에) 전환할 수 있다. 움직임 보상의 해상도는 수평 및 수직에서 동일하거나 서로 다를 수 있다. 다른 대안으로서, 움직임 보상기는 다른 유형의 움직임 보상을 적용한다. 움직임 보상기에 의한 예측은 좀처럼 완벽하지 않으며, 따라서 디코더(2200)는 또한 예측 잔차를 재구성한다.
역양자화기(2270)는 엔트로피-디코딩된 데이터를 역양자화한다. 일반적으로, 역양자화기는 픽처별로 또는 다른 방식으로 변하는 스텝-크기로 엔트로피-디코딩된 데이터에 균일한 스칼라 역양자화를 적용한다. 다른 대안으로서, 역양자화기는 예를 들어 불균일, 벡터 또는 비적응적 양자화 후에 재구성하기 위해 데이터에 다른 유형의 역양자화를 적용하거나 또는 주파수 역변환을 사용하지 않는 디코더 시스템에서 공간 영역 데이터를 직접 역양자화한다.
주파수 역변환기(2260)는 양자화된 주파수 영역 데이터를 공간 영역 비디오 정보로 변환한다. 블록-기반 비디오 픽처의 경우, 주파수 역변환기(2260)는 역 DCT["IDCT"], IDCT의 변형 또는 다른 역 블록 변환을 주파수 변환 계수의 블록에 적용하여, 각각 키 픽처 또는 예측 픽처에 대한 픽셀 데이터 또는 예측 잔차 데이터를 생성한다. 다른 대안으로서, 주파수 역변환기(2260)는 푸리에 역변환 등의 다른 종래의 주파수 역변환을 적용하거나 웨이블렛 또는 서브대역 합성을 사용한다. 주파수 역변환기(2260)는 8x8, 8x4, 4x8, 4x4 또는 다른 크기 주파수 역변환를 적용할 수 있다.
예측 픽처의 경우, 디코더(2200)는 재구성된 픽처(2205)를 형성하기 위해 재구성된 예측 잔차(2245)를 움직임 보상된 예측(2235)와 합성한다. 디코더가 차후의 움직임 보상을 위해 재구성된 픽처(2205)를 필요로 할 때, 픽처 스토어(예를 들어, 픽처 스토어(2220)) 중 하나 또는 둘다는 그 다음 픽처를 예측하는 데 사용하기 위해 재구성된 픽처(2205)를 버퍼링한다. 어떤 실시예에서, 디코더(2200)는 픽처에서의 불연속 및 다른 아티팩트를 적응적으로 평탄화하기 위해 재구성된 픽처에 디블로킹 필터를 적용한다.
III . 인터레이스형 P-필드 및 인터레이스형 P-프레임
일반적인 인터레이스형 비디오 프레임은 서로 다른 때에 스캔된 2개의 필드(예를 들어, 상부 필드 및 하부 필드)로 이루어져 있다. 일반적으로, 필드를 함께 코딩("프레임 모드" 코딩)함으로써 인터레이스형 비디오 프레임의 정적인 영역을 인코딩하는 것이 보다 효율적이다. 반면에, 종종은 필드를 개별적으로 코딩("필드 모드" 코딩)함으로써 인터레이스형 비디오 프레임의 움직이는 영역을 코딩하는 것이 보다 효율적인데, 그 이유는 이 2개의 필드가 서로 다른 움직임을 갖는 경향이 있기 때문이다. 전방 예측 인터레이스형 비디오 프레임은 2개의 개별적인 전방 예측 필드, 즉 인터레이스형 P-필드로서 코딩될 수 있다. 전방 예측 인터레이스형 비디오 프레임에 대해 필드를 개별적으로 코딩하는 것은 예를 들어 인터레이스형 비디오 프레임 전체에 걸쳐 움직임이 많은 경우에, 따라서 필드 간에 많은 차이가 있는 경우에 효율적일 수 있다.
또는, 전방 예측 인터레이스형 비디오 프레임은 필드 코딩 및 프레임 코딩의 혼합을 사용하여 인터레이스형 P-프레임으로서 코딩될 수 있다. 인터레이스형 P-프레임의 매크로블록의 경우, 매크로블록은 상부 및 하부 필드에 대한 픽셀들의 라인을 포함하며, 이 라인들은 프레임-코딩 모드에서는 함께 또는 필드-코딩 모드에서는 개별적으로 코딩될 수 있다.
A. 인터레이스형 P-필드
인터레이스형 P-필드는 하나 이상의 이전에 디코딩된 필드를 참조한다. 예를 들어, 어떤 구현에서, 인터레이스형 P-필드는 하나 또는 2개의 이전에 디코딩된 필드를 참조하는 반면, 인터레이스형 B-필드는 최대 2개의 이전의 참조 필드 및 2개의 미래의 참조 필드(즉, 총 4개의 참조 필드)를 참조한다. (인터레이스형 B-필드에 대한 인코딩 및 디코딩 기술은 이하에서 상세히 기술된다.)
도 25 및 도 26은 2개의 참조 필드를 갖는 인터레이스형 P-필드의 예를 나타낸 것이다. 도 25에서, 현재 필드(2510)는 시간상으로 이전의 인터레이스형 비디 오 프레임에서의 상부 필드(2520) 및 하부 필드(2530)를 참조한다. 필드(2540, 2550)는 인터레이스형 B-필드이기 때문에, 이들은 참조 필드로서 사용되지 않는다. 도 26에서, 현재 필드(2610)는 현재 필드(2610)를 포함하는 인터레이스형 비디오 프레임 바로 이전의 인터레이스형 비디오 프레임에서의 상부 필드(2620) 및 하부 필드(2630)를 참조한다. 2-참조 인터레이스형 P-필드에 대한 더 많은 정보에 대해서는, 2004년 5월 27일자로 출원된 발명의 명칭이 "Predicting Motion Vectors for Fields of Forward-predicted Interlaced Video Frames(전방 예측 인터레이스형 비디오 프레임의 필드에 대한 움직임 벡터의 예측)"인 미국 특허 출원 제xx/yyy,zzz호를 참조하기 바란다.
도 27 및 도 28은 하나의 참조 필드를 갖는 인터레이스형 P-필드(즉, 시간상으로 가장 최근의 허용가능 참조 필드)의 예를 나타낸 것이다. 도 27에서, 현재 필드(2710)는 시간상으로 이전의 인터레이스형 비디오 프레임에서의 하부 필드(2730)를 참조하지만, 인터레이스형 비디오 프레임에서의 보다 덜 최근의 상부 필드(2720)를 참조하지는 않는다. 도 27에 도시된 예에서, 필드(2740, 2750)는 인터레이스형 B-필드이고 허용가능 참조 필드가 아니다. 도 28에서, 현재 필드(2810)는 보다 덜 최근의 상부 필드(2820)가 아니라 오히려 현재 필드(2810)를 포함하는 인터레이스형 비디오 프레임 바로 이전의 인터레이스형 비디오 프레임에서의 하부 필드(2830)를 참조한다.
도 29 및 도 30은 두번째로 가장 최근의 허용가능 참조 필드를 사용하는 인터레이스형 P-필드의 예를 나타낸 것이다. 도 29에서, 현재 필드(2910)는 시간상 으로 이전의 인터레이스형 비디오 프레임에서의 상부 필드(2920)를 참조하지만, 보다 최근의 하부 필드(2930)를 참조하지는 않는다. 도 29에 도시된 예에서, 필드(2940, 2950)는 인터레이스형 B-필드이며 허용가능 참조 필드가 아니다. 도 30에서, 현재 필드(3010)는 보다 최근의 하부 필드(3030)보다는 오히려 상부 필드(3020)를 참조한다.
한 구현에서, 도 25 내지 도 30에 도시된 모든 시나리오는 인터레이스형 P-필드 신택스에서 사용된다. 다른 구현도 가능하다. 예를 들어, 픽처는 다른 유형 또는 시간상 위치의 다른 픽처로부터의 필드를 참조 필드로서 사용할 수 있다.
1. 필드 픽처 좌표계 및 필드 극성
움직임 벡터는 수평 및 수직 변위를 1/4 픽셀 단위로 나타낸다. 예를 들어, 움직임 벡터의 수직 성분이 6개의 ¼-픽셀 단위의 변위를 가리키는 경우, 이것은 참조 블록이 현재 블록 위치에서 1½(6 * 1/4 = 1½) 필드 라인 아래쪽에 있음을 가리킨다.
도 31은 한 구현에서의 움직임 벡터의 수직 성분과 공간 위치 간의 관계를 나타낸 것이다. 도 31에 도시된 예는 현재 및 참조 필드 유형(예를 들어, 상부 및 하부)의 3가지 서로 다른 조합에 대한 3가지 서로 다른 시나리오(3110, 3120, 3130)를 나타낸 것이다. 필드 유형이 현재 및 참조 필드에 대해 서로 다른 경우, 극성은 "반대"이다. 필드 유형이 동일한 경우, 극성은 "동일"이다. 각각의 시나리오에 대해, 도 31은 현재 필드에서의 하나의 수직 픽셀 열 및 참조 필드에서의 제2 수직 픽셀 열을 나타내고 있다. 실제로, 이 2개의 열은 수평으로 정렬되어 있 다. 원은 실제의 정수-픽셀 위치를 나타내고 X는 보간된 1/2 또는 1/4-픽셀 위치를 나타낸다. 수평 성분값(도시 생략)은 인터레이싱으로 인한 어떤 오프셋도 고려할 필요가 없는데, 그 이유는 각각의 필드가 수평으로 정렬되어 있기 때문이다. 마이너스 값은 더 위쪽의 오프셋을 가리키며, 반대 방향으로 플러스 값 수직 오프셋이 도시되어 있다.
시나리오(3110)에서, 극성은 "반대"이다. 현재 필드가 상부 필드이고 참조 필드가 하부 필드이다. 현재 필드에 대해, 참조 필드의 위치는 인터레이싱으로 인해 하향 방향으로 1/2 픽셀만큼 오프셋되어 있다. 0의 수직 움직임 벡터 성분값은 "수직 움직임 오프셋 없음"이고 참조 필드에서의 위치와 동일한 수직 레벨(절대항)에 있는 참조 필드에서의 위치를 나타내며, +2의 수직 움직임 벡터 성분값은 현재 필드의 위치보다 1/2 픽셀(절대항) 아래로 오프셋된 참조 필드에서의 위치를 나타내고, +4의 수직 성분값은 현재 필드에서의 위치보다 전체 픽셀(절대항)만큼 아래로 오프셋된 위치(이는 참조 필드에서의 보간된 값임)를 나타낸다.
시나리오(3120)에서, 극성은 또한 "반대"이다. 현재 필드는 하부 필드이고 참조 필드는 상부 필드이다. 현재 필드에 대해, 참조 필드의 위치는 인터레이싱으로 인해 상향 방향으로 1/2 픽셀만큼 오프셋되어 있다. -2의 수직 움직임 벡터 성분은 현재 필드에서의 위치보다 1/2 픽셀(절대항) 위에 있는 참조 필드에서의 위치를 나타내고, 0의 수직 성분값은 현재 필드에서의 위치와 동일한 레벨(절대항)에 있는 위치를 나타내며, +2의 수직 성분은 현재 필드에서의 위치보다 아래로 1/2 픽셀(절대항)만큼 오프셋된 위치를 나타낸다.
시나리오(3130)에서, 극성은 "동일"이다. 현재 필드에 대해, 참조 필드의 위치는 수직 방향으로 동일하다. 0의 수직 움직임 벡터 성분값은 "수직 움직임 오프셋 없음"이고 참조 필드에서의 위치와 동일한 수직 레벨(절대항)에 있는 참조 필드에서의 위치를 나타내며, +2의 수직 움직임 벡터 성분값은 현재 필드에서의 위치 아래로 1/2 픽셀(절대항)만큼 오프셋된 참조 필드에서의 위치를 나타내고, +4의 수직 성분값은 현재 필드에서의 위치 아래로 전체 픽셀(절대항)만큼 오프셋된 위치(이는 참조 필드에서의 실제 값임)를 나타낸다.
다른 대안으로서, 움직임 벡터에 대한 변위는 다른 규약에 따라 표현된다.
2. 2-참조 필드 인터레이스형 P-필드에서의 움직임 벡터 예측
2-참조 필드 인터레이스형 P-필드는 동일한 시간 방향에서 2개의 필드(예를 들어, 2개의 가장 최근의 이전의 참조 필드)를 참조한다. 각각의 매크로블록에 대해 2개의 움직임 벡터 예측자가 계산된다. 어떤 구현에서, 하나의 예측자는 동일 극성의 참조 필드로부터 온 것이고, 다른 하나는 반대 극성의 참조 필드로부터 온 것이다. 다른 극성 조합도 역시 가능하다. (방향마다 2-참조 필드를 사용하는 인터레이스형 B-필드에 대해서는 이하에서 기술한다. 어떤 구현에서, 이러한 인터레이스형 B-필드는 움직임 벡터 예측자를 계산하기 위해 인터레이스형 P-필드와 동일한 기술을 사용한다.)
어떤 실시예에서, 인코더/디코더는 홀수 필드 예측자 및 짝수 필드 예측자를 알아내고 매크로블록을 처리하기 위해 예측자들 중 하나를 선택함으로써 현재 블록 또는 매크로블록에 대한 움직임 벡터 예측자를 계산한다. 예를 들어, 인코더/디코 더는 홀수 필드 움직임 벡터 예측자 및 짝수 필드 움직임 벡터 예측자를 결정한다. 따라서, 움직임 벡터 예측자 중 하나는 현재 필드와 동일한 극성을 가지며, 다른 움직임 벡터 예측자는 반대 극성을 갖는다. 인코더/디코더는 홀수 필드 움직임 벡터 예측자 및 짝수 필드 움직임 벡터 예측자 중에서 움직임 벡터 예측자를 선택한다. 예를 들어, 인코더는 어느 것이 보다 나은 예측을 제공하는지에 따라 움직임 벡터 예측자 간에 선택한다. 인코더는 간단한 선택 신호를 사용하여 또는 코딩 효율을 향상시키기 위해 컨텍스트 정보를 포함하는 보다 복잡한 시그널링을 사용하여 어느 움직임 벡터 예측자를 사용할지를 신호한다. 컨텍스트 정보는 홀수 필드 또는 짝수 필드 중 어느 것, 또는 동일 극성 필드 또는 반대 극성 필드 중 어느 것이 블록 또는 매크로블록 주변의 이웃에서 주로 사용되었는지를 가리킬 수 있다. 디코더는 선택 신호 및/또는 컨텍스트 정보에 기초하여 어느 움직임 벡터 예측자를 사용할지를 선택한다. 이어서, 인코더/디코더는 선택된 움직임 벡터 예측자를 사용하여 움직임 벡터를 처리한다. 예를 들어, 인코더는 움직임 벡터와 움직임 벡터 예측자 간의 차분을 인코딩한다. 또는, 디코더는 움직임 벡터 차분과 움직임 벡터 예측자를 합성함으로써 움직임 벡터를 디코딩한다.
다른 대안으로서, 인코더 및/또는 디코더는 홀수 필드 움직임 벡터 예측자를 결정하는 단계 또는 짝수 필드 움직임 벡터 예측자를 결정하는 단계를 건너뛸 수 있다. 예를 들어, 인코더가 특정의 블록 또는 매크로블록에 대한 움직임 보상을 위해 홀수 필드가 사용될 것으로 결정하는 경우, 인코더는 홀수 필드 움직임 벡터 예측자만을 결정한다. 또는, 디코더가 컨텍스트 정보 및/또는 신호된 정보로부터 움직임 보상을 위해 홀수 필드가 사용될 것으로 결정하는 경우, 디코더는 홀수 필드 움직임 벡터 예측자만을 결정한다. 이와 같이, 인코더 및 디코더는 불필요한 연산을 회피할 수 있다.
디코더는 현재의 인터레이스형 P-필드에 대한 움직임 벡터 예측자를 결정하기 위해 이하의 기술을 이용할 수 있다.
인터레이스형 P-필드에서의 움직임 벡터를 갖는 각각의 블록 또는 매크로블록에 대해, 3개의 후보 움직임 벡터 예측자의 세트가 2개 얻어진다. 현재 매크로블록(3200)에 대한 이웃 매크로블록(이로부터 이들 후보 움직임 벡터 예측자가 얻어짐)의 위치가 도 32에 도시되어 있다. 후보들 중 3개는 짝수 참조 필드로부터 온 것이고 3개는 홀수 참조 필드로부터 온 것이다. 각각의 후보 방향(A, B 또는 C)에서의 이웃 매크로블록이 인트라-코딩되거나 짝수 필드 또는 홀수 필드를 참조하는 실제 움직임 벡터를 갖는 경우, 다른 필드의 움직임 벡터를 도출(또는 인트라-코딩된 매크로블록에 대한 홀수 필드 및 짝수 필드 움직임 벡터 후보 둘다를 도출)할 필요가 있다. 예를 들어, 주어진 매크로블록에 대해, 예측자 A가 홀수 필드를 참조하는 움직임 벡터를 갖는 것으로 가정하자. 이 경우에, "짝수 필드" 예측자 후보 A는 "홀수 필드" 예측자 후보 A의 움직임 벡터로부터 도출된다. 이 도출은 스케일링 연산을 사용하여 달성된다(예를 들어, 이하의 도 34a 및 도 34b의 설명을 참조할 것). 다른 대안으로서, 이 도출은 다른 방식으로 달성된다.
3개의 홀수 필드 후보 움직임 벡터 예측자가 얻어지면, 3개의 홀수 필드 후보로부터 홀수 필드 움직임 벡터 예측자를 도출하기 위해 메디안 연산이 사용된다. 이와 유사하게, 3개의 짝수 필드 후보 움직임 벡터 예측자가 얻어지면, 3개의 짝수 필드 후보로부터 짝수 필드 움직임 벡터 예측자를 도출하기 위해 메디안 연산이 사용된다. 다른 대안으로서, 후보 필드 움직임 벡터 예측자에 기초하여 필드 움직임 벡터 예측자를 선택하기 위해 다른 메카니즘이 사용된다. 디코더는 (예를 들어, 우세 예측자를 선택함으로써) 움직임 벡터 예측자로서 홀수 필드 또는 짝수 필드를 사용할지를 결정하고, 짝수 또는 홀수 움직임 벡터 예측자는 움직임 벡터를 재구성하는 데 사용된다.
도 33a 내지 도 33f의 의사 코드(3300)는 도 32에 배열된 예측자 A, B 및 C로부터 움직임 벡터 예측자를 발생하는 데 사용되는 프로세스를 나타낸 것이다. 도 32가 현재의 인터레이스형 P-필드의 중간에 있는 일반적인 매크로블록에 대한 이웃을 나타내고 있지만, 도 33a 내지 도 33f의 의사 코드(3300)는 매크로블록 위치에 대한 여러가지 특수한 경우를 언급하고 있다. 게다가, 의사 코드(3300)는 여러가지 위치에서의 블록의 움직임 벡터에 대한 움직임 벡터 예측자를 계산하는 데 사용될 수 있다.
의사 코드(3300)에서, 용어 "동일 필드" 및 "반대 필드"는 현재 코딩 또는 디코딩되고 있는 필드를 기준으로 한 것임을 이해해야 한다. 예를 들어, 현재 필드가 짝수 필드인 경우, "동일 필드"는 짝수 참조 필드이고, "반대 필드"는 홀수 참조 필드이다. 의사 코드(3300)에서의 변수 samefieldpred_x 및 samefieldpred_y는 동일 필드로부터의 움직임 벡터 예측자의 수평 및 수직 성분을 나타내고, 변수 oppositefieldpred_x 및 oppositefieldpred_y는 반대 필드로부터의 움직임 벡터 예 측자의 수평 및 수직 성분을 나타낸다. 변수 samecount 및 oppositecount는 각각 현재의 블록 또는 매크로블록의 이웃에 대한 움직임 벡터 중 몇개가 현재 필드에 대한 "동일" 극성 참조 필드를 참조하는지 및 몇개가 "반대" 극성 참조 필드를 참조하는지를 나타낸다. 변수 samecount 및 oppositecount는 의사 코드의 시작에서 0으로 초기화된다.
의사 코드(3300)에서 언급되는 스케일링 연산 scaleforsame() 및 scaleforopposite()는 이웃의 실제 움직임 벡터 값으로부터 "나머지" 필드에 대한 움직임 벡터 예측자 후보를 도출하는 데 사용된다. 스케일링 연산은 구현 의존적이다. 예시적인 스케일링 연산에 대해 도 34a, 도 34b, 도 35 및 도 36을 참조하여 이하에서 기술된다. 다른 대안으로서, 다른 스케일링 연산이 예를 들어 도 31에 도시한 것 등의 수직 변위를 보상하는 데 사용된다. (인터레이스형 B-필드에 대해 특별히 사용되는 스케일링 연산에 대해 이하에서 상세히 기술한다.)
도 33a 및 도 33b는 프레임 내의 내부 위치에서의 일반적인 블록 또는 매크로블록에 대한 움직임 벡터 예측자를 계산하는 의사 코드를 나타낸 것이다. "인트라" 이웃에 대한 움직임 벡터는 0으로 설정된다. 각각의 이웃에 대해, 동일 필드 움직임 벡터 예측자 및 반대 필드 움직임 벡터 예측자가 설정되고, 여기서 하나는 이웃에 대한 움직임 벡터의 실제 값으로부터 설정되고, 다른 하나는 그로부터 도출된다. 동일 필드 움직임 벡터 예측자에 대해 또 반대 필드 움직임 벡터 예측자에 대해 후보들의 메디안이 계산되고, samecount 및 oppositecount로부터 "우세" 예측자가 결정된다. 변수 dominantpredictor는 어느 필드가 우세 움직임 벡터 예측자 를 포함하는지를 가리킨다. 움직임 벡터 예측자는 그가 3개의 후보 예측자의 대부분과 동일한 극성을 갖는 경우 우세하다. (움직임 벡터 차분 데이터와 함께 디코딩되는 신호된 값 predictor_flag는 우세 또는 비우세 예측자가 사용되는지를 가리킨다.)
도 33c의 의사 코드는 매크로블록이 행마다 단지 하나의 매크로블록을 갖는 인터레이스형 P-필드에 있는 상황(이 경우 이웃 B 또는 C가 없음)에 대한 것이다. 도 33d 및 도 33e에서의 의사 코드는 블록 또는 매크로블록이 인터레이스형 P-필드의 좌측 모서리에 있는 상황(이 경우 이웃 C가 없음)에 대한 것이다. 여기서, 움직임 벡터 예측자는 2개의 후보 예측자의 대부분과 동일한 극성을 갖는 경우 우세이며, 동수인 경우에 반대 필드 움직임 벡터 예측자가 우세이다. 마지막으로, 도 33f의 의사 코드는 예를 들어 매크로블록이 인터레이스형 P-필드의 상부 행에 있는 경우에 대한 것이다.
3. 한 필드 움직임 벡터 예측자의 다른 필드 움직임 벡터 예측자로부터의 도출을 위한 스케일링
한 구현에서, 인코더/디코더는 도 34a 및 도 34b의 의사 코드(3400)에 예시된 스케일링 연산을 사용하여 한 필드 움직임 벡터 예측자를 다른 필드 움직임 벡터 예측자로부터 도출한다. SCALEOPP, SCALESAME1, SCALESAME2, SCALEZONE1_X, SCALEZONE1_Y, ZONE1OFFSET_X 및 ZONE1OFFSET_Y의 값은 구현 의존적이다. 2개의 가능한 값 세트가 현재 필드가 인터레이스형 비디오 프레임에서의 첫번째 필드인 경우에 대해서는 도 35의 테이블(3500)에 나타내어져 있고, 현재 필드가 인터레이 스형 비디오 프레임에서의 두번째 필드인 경우에 대해서는 도 36의 테이블(3600)에 나타내어져 있다. P-프레임의 경우, 참조 프레임 거리(reference frame distance)는 현재의 P-프레임과 그의 참조 프레임 간의 B-프레임(즉, 2개의 B-필드를 포함하는 비디오 프레임)의 수로서 정의된다. B-프레임이 존재하지 않는 경우, 참조 거리는 0이다. 예를 들어, 인코더는 참조 프레임 거리를 인코딩하기 위해 가변-크기 신택스 요소(예를 들어, 이하의 섹션 XIV에서 상세히 기술되는 REFDIST 신택스 요소)를 사용한다.
테이블(3500, 3600)에 나타낸 예에서, N(테이블에서의 SCALEZONE1_X, SCALEZONE1_Y, ZONE1OFFSET_X 및 ZONE1OFFSET_Y 값에 대한 승수)의 값은 움직임 벡터 범위에 의존한다. 예를 들어, 확장된 움직임 벡터 범위는 신택스 요소 EXTENDED_MV = 1에 의해 신호될 수 있다. EXTENDED_MV = 1인 경우, MVRANGE 신택스 요소는 픽처 헤더에 존재하고 움직임 벡터 범위를 신호한다. EXTENDED_MV = 0인 경우, 디폴트 움직임 벡터 범위가 사용된다. 이하의 표 1은 N과 MVRANGE 간의 관계를 나타낸 것이다.
도 35 및 도 36에서의 N의 도출
MVRANGE N
0 또는 디폴트 1
10 2
110 8
111 16
테이블(3500, 3600)에 나타낸 값은 구현에 따라 수정될 수 있다.
다른 대안으로서, N은 1인 것으로 가정되거나(즉, 스케일링이 N에 의존하지 않음) 스케일링이 어떤 다른 방식으로 수행될 수 있다.
B. 인터레이스형 P-프레임
어떤 구현에서, 인터레이스형 P-프레임에서의 매크로블록은 5가지 유형, 즉 1MV, 2필드 MV, 4 프레임 MV, 4 필드 MV, 및 인트라(intra) 중 하나일 수 있다.
1MV 매크로블록에서, 매크로블록에서의 4개의 루미넌스 블록의 변위는 단일의 움직임 벡터로 나타내어진다. 움직임 벡터에 대한 2개의 8x8 크로마 블록 각각의 변위를 나타내기 위해 대응하는 크로마 움직임 벡터는 루마 움직임 벡터로부터 도출될 수 있다. 예를 들어, 도23에 도시된 매크로블록 배열을 다시 참조하면, 1MV 매크로블록(2300)은 4개의 8x8 루미넌스 블록 및 2개의 8x8 크로미넌스 블록을 포함한다. 루미넌스 블록(Y1 내지 Y4)의 변위는 단일의 움직임 벡터로 나타내어져 있고, 2개의 크로마(U 및 V) 블록 각각의 변위를 나타내기 위해 대응하는 크로마 움직임 벡터는 루마 움직임 벡터로부터 도출될 수 있다.
2 필드 MV 매크로블록에서, 매크로블록에서의 4개의 루미넌스 블록에 대한 각각의 필드의 변위는 서로 다른 움직임 벡터에 의해 기술된다. 예를 들어, 도 37은 상부 필드 움직임 벡터가 루미넌스 블록 중 4개 모두의 짝수 라인의 변위를 기술하고 하부 필드 움직임 벡터가 루미넌스 블록 중 4개 모두의 홀수 라인의 변위를 기술함을 보여준다. 상부 필드 움직임 벡터를 사용하여, 인코더는 크로마 블록의 짝수 라인의 변위를 기술하는 대응하는 상부 필드 크로마 움직임 벡터를 도출할 수 있다. 이와 유사하게, 인코더는 크로마 블록의 홀수 라인의 변위를 기술하는 하부필드 크로마 움직임 벡터를 도출할 수 있다.
도 38을 참조하면, 4 프레임 MV 매크로블록에서, 4개의 루미넌스 블록 각각의 변위는 서로 다른 움직임 벡터(MV1, MV2, MV3 및 MV4)에 의해 기술된다. 각각의 크로마 블록은 4개의 4x4 크로마 서브-블록의 변위를 기술하는 4개의 도출된 크로마 움직임 벡터(MV1', MV2', MV3' 및 MV4')를 사용함으로써 움직임 보상될 수 있다. 각각의 4x4 크로마 서브-블록에 대한 움직임 벡터는 공간적으로 대응하는 루미넌스 블록에 대한 움직임 벡터로부터 도출될 수 있다.
도 39를 참조하면, 4 필드 MV 매크로블록에서, 루미넌스 블록에서의 각 필드의 변위는 2개의 서로 다른 움직임 벡터로 기술된다. 루미넌스 블록의 짝수 라인은 2개의 8x8 영역을 형성하기 위해 수직으로 세분된다. 짝수 라인의 경우, 좌측 영역의 변위는 좌측 상부 필드 블록 움직임 벡터에 의해 기술되고 우측 영역의 변위는 우측 상부 필드 블록 움직임 벡터에 의해 기술된다. 루미넌스 블록에서의 홀수 라인도 역시 2개의 8x8 영역을 형성하기 위해 수직으로 세분된다. 좌측 영역의 변위는 좌측 하부 필드 블록 움직임 벡터에 의해 기술되고 우측 영역의 변위는 우측 하부 필드 블록 움직임 벡터에 의해 기술된다. 각각의 크로마 블록도 역시 루미넌스 블록과 동일한 방식으로 4개의 영역으로 분할될 수 있으며, 각각의 크로마 블록 영역은 도출된 움직임 벡터를 사용하여 움직임 보상될 수 있다.
인트라 매크로블록의 경우, 움직임이 0인 것으로 가정된다.
일반적으로, 인터레이스형 P-프레임에서의 현재 매크로블록에 대한 움직임 벡터 예측자(들)를 계산하는 프로세스는 2 단계로 이루어져 있다. 첫째, 현재 매크로블록에 대한 3개의 후보 움직임 벡터가 그의 이웃 매크로블록으로부터 수집된다. 예를 들어, 한 구현에서, 후보 움직임 벡터는 도 40a 및 도 40b에 도시된 배열(및 상부 행 매크로블록에 대한 여러가지 특수한 경우, 기타 등등)에 기초하여 수집된다. 다른 대안으로서, 후보 움직임 벡터는 어떤 다른 순서 또는 배열로 수집될 수 있다. 둘째, 현재 매크로블록에 대한 움직임 벡터 예측자(들)는 후보 움직임 벡터의 세트로부터 계산된다. 예를 들어, 예측자는 3개 중의 메디안 예측(median-of-3 prediction)을 사용하여 또는 어떤 다른 방법에 의해 계산될 수 있다.
인터레이스형 P-프레임의 매크로블록에 대한 크로마 움직임 벡터의 도출 및 예측자의 계산에 관한 추가의 상세에 대해서는, 2003년 9월 7일자로 출원된 발명의 명칭이 "Video Encoding and Decoding Tools and Techniques(비디오 인코딩 및 디코딩 도구 및 기술)"인 미국 가특허출원 제60/501,081호 및 이하의 섹션 XIV를 참조하기 바란다.
IV . 순차 비디오 프레임의 양방향 예측
앞서 설명한 바와 같이, 순차 B-프레임에서의 매크로블록은 5가지 서로 다른 예측 모드, 즉 전방(forward), 후방(backward), 직접(direct), 보간(interpolated) 및 인트라(intra)를 사용하여 예측될 수 있다. 인코더는 서로 다른 예측 모드를 선택하여 이를 비트 스트림에서의 매크로블록 레벨 또는 어떤 다른 레벨에서 신호한다. 전방 모드에서, 현재의 순차 B-프레임에서의 매크로블록은 시간상 이전의 앵커로부터 도출된다. 후방 모드에서, 현재의 순차 B-프레임에서의 매크로블록은 시간상 차후의 앵커로부터 도출된다. 직접 또는 보간 모드에서 예측된 매크로블록은 예측을 위해 전방 및 후방 앵커 둘다를 사용한다. 직접 및 보간 모드에서는 2개의 참조 프레임이 있기 때문에, 일반적으로 각각의 매크로블록에 대해 적어도 2개의 움직임 벡터(명시적으로 코딩되거나 도출됨)가 있다. (순차 B-프레임에 대해 사용되는 코딩, 시그널링 및 디코딩의 여러가지 측면은 이하에 기술하는 바와 같이 인터레이스형 B-프레임에 대해서도 사용될 수 있다.)
어떤 구현에서, 인코더는 직접 모드에서 비율 값을 사용하여 전방 앵커에 대한 동일 위치의 움직임 벡터를 스케일링함으로써 움직임 벡터를 묵시적으로 도출한다. 이 비율은 그의 앵커들에 의해 형성된 구간 내에서의 현재의 순차 B-프레임의 상대적 시간 위치를 반영할 수 있지만 실제 프레임간 거리를 반영할 필요는 없다. 따라서, 인코더는 반드시 일정한 속력을 가정할 필요는 없다. 이것은 움직임 보상 예측을 향상시키기 위해 "실제의" 시간 위치로부터의 비율을 변경함으로써 인코더에게 앵커와 현재의 순차 B-프레임 간의 실제 움직임을 정확하고 간단하게 기술할 수 있는 부가의 자유도를 제공한다. 변수 BFRACTION은 이 상대적 시간 위치를 가리키기 위해 비트스트림으로(예를 들어, 픽처 레벨 또는 어떤 다른 레벨에서) 전송될 수 있는 서로 다른 비율을 나타낸다. 서로 다른 비율은 0과 1 사이의 제한된 일련의 이산값이다.
다시 도 17을 참조하면, 테이블(1700)은 비트스트림 요소 BFRACTION에 대한 가변-길이 코드(VLC) 테이블이다. 동일한 2개의 앵커 사이의 순차 B-프레임들 간의 BFRACTION의 고유성에 대한 어떤 제한도 없으며, 동일한 앵커를 갖는 서로 다른 순차 B-프레임은 동일한 BFRACTION 값을 가질 수 있다. 테이블(1700)에서의 코드는 서로 다른 코드로 서로 다른 비율을 나타내기 위해 변경 또는 재배열될 수 있다. 테이블(1700)에 도시되지 않은 다른 가능한 코드(예를 들어, 1111110 또는 1111111)는 무효 코드로서 간주되거나 다른 목적을 위해 사용될 수 있다. 예를 들어, 엔트리 1111110은 고정 소수점 포맷으로 BFRACTION을 명시적으로 코딩하는 데 사용될 수 있다. 다른 예로서, 엔트리 1111111는 특정의 프레임 유형(예를 들어, 인트라-코딩된 순차 B-프레임)을 신호하는 데 사용될 수 있다.
다시 도 18을 참조하면, 디코더는 의사 코드(1800)에 따라 스케일링 인자를 찾아낸다. 다시 도 19를 참조하면, 디코더는 이 스케일링 인자를 사용하여 차후의 참조 픽처에서의 동일 위치의 매크로블록에 대한 움직임 벡터의 x- 및 y-요소를 스케일링한다. 의사 코드(1900)에서의 함수 Scale_Direct_MV는 입력 MV_X 및 MV_Y를 받아서 직접 모드에서 2개의 움직임 벡터를 도출하며, 하나는 전방(이전의) 앵커 픽처(MV_XF, MV_YF)를 참조하고 다른 하나는 후방(차후의) 앵커 픽처(MV_XB, MV_YB)를 참조한다.
순차 B-프레임에서의 "건너뜀(skipped)" 매크로블록 신호는 주어진 매크로블록에 대해 움직임 벡터 예측 오차가 존재하지 않음을 가리킨다. 예측된 움직임 벡터는 인코더/디코더가 매크로블록을 재구성하는 데 사용하는 바로 그 움직임 벡터가 된다(즉, 움직임 벡터 예측 오차가 적용되지 않음). 인코더는 여전히 매크로블록에 대한 예측 모드를 신호하는데 그 이유는 매크로블록이 직접, 전방, 후방 또는 보간 예측을 사용하여 건너뛰어질 수 있기 때문이다.
V. 인터레이스형 B- 픽처의 예측 코딩/디코딩에서의 혁신의 개요
기술된 실시예는 인터레이스형 B-픽처(예를 들어, 인터레이스형 B-필드, 인터레이스형 B-프레임)를 코딩 및 디코딩하는 기술 및 도구를 포함한다. 기술된 실시예는 이하의 것들(이에 한정되는 것은 아님)을 포함하는 양방향 예측 인터레이스형 픽처를 코딩 및/또는 디코딩하는 설명된 기술 및 도구 중 하나 이상을 구현한다.
1. 인터레이스형 B-프레임의 경우, 인코더/디코더는 인터레이스형 B-프레임의 매크로블록에서의 상부 필드와 하부 필드 간에 예측 모드를 전환한다.
2. 인터레이스형 B-프레임의 경우, 인코더/디코더는 이전에 디코딩된 시간상 차후의 앵커의 동일 위치의 매크로블록의 상부 필드 및 하부 필드 각각에 대한 하나의 대표적인 움직임 벡터를 선택함으로써 현재의 매크로블록에 대한 직접 모드 움직임 벡터를 계산한다. 이 선택하는 일은 현재의 인터레이스형 B-프레임의 매크로블록의 코딩 모드(예를 들어, 1MV 모드, 2 필드 MV 모드, 기타 등등)에 적어도 부분적으로 기초하여 수행될 수 있다.
3. 인터레이스형 B-필드 또는 인터레이스형 B-프레임의 경우, 인코더/디코더는 4MV 코딩을 사용한다. 예를 들어, 4MV는 단방향 예측 모드(전방 또는 후방 모드)에서 사용될 수 있지만 다른 이용가능한 예측 모드(예를 들어, 직접, 보간)에서는 사용될 수 없다.
4. 인터레이스형 B-필드 또는 인터레이스형 B-프레임의 경우, 전방 움직임 벡터는 전방 움직임 벡터 버퍼로부터의 이전에 재구성된(또는 추정된) 전방 움직임 벡터를 사용하여 예측되고, 후방 움직임 벡터는 후방 움직임 벡터 버퍼로부터의 이전에 재구성된(또는 추정된) 후방 움직임 벡터를 사용하여 예측된다. 그 결과 얻어지는 움직임 벡터는 대응하는 버퍼에 부가되고, 움직임 벡터 버퍼에서의 구멍(hole)은 추정된 움직임 벡터 값들로 채워진다.
a. 인터레이스형 B-프레임의 경우, 움직임 벡터를 예측하는 데 전방 예측이 사용되고 이 움직임 벡터가 전방 버퍼에 부가될 때, 후방 버퍼에서의 대응하는 위치는 후방 움직임 벡터만을 예측자로서 사용하는 예측 움직임 벡터가 될 것으로 채워진다("구멍 채우기"). 이와 유사하게, 움직임 벡터를 예측하는 데 후방 예측이 사용되고 이 움직임 벡터가 후방 버퍼에 부가될 때, 전방 버퍼에서의 대응하는 위치는 전방 움직임 벡터만을 예측자로서 사용하는 예측 움직임 벡터가 될 것으로 채워진다.
b. 인터레이스형 B-필드의 경우, 구멍 채우기를 위해 서로 다른 극성 움직임 벡터(예를 들어, "동일 극성" 또는 "반대 극성") 간에 선택하기 위해, 인코더/디코더는 우세 극성 필드 움직임 벡터를 선택한다. 앵커와 현재 프레임 간의 거리는 여러가지 신택스 요소를 사용하여 계산되고, 계산된 거리는 참조 필드 움직임 벡터를 스케일링하는 데 사용된다.
5. 인터레이스형 B-필드의 경우, 인코더/디코더는 "자기-참조(self-referencing)" 프레임을 사용한다. 예를 들어, 현재 프레임에서의 두번째 B-필드는 움직임 보상된 예측에서 현재 프레임으로부터의 첫번째 B-필드를 참조한다.
6. 인터레이스형 B-필드의 경우, 인코더는 인터레이스형 B-필드에서의 하나 이상의 매크로블록에 대해 예측 모드가 전방인지 비전방인지를 가리키는 이진 정보를 (예를 들어, 압축된 비트플레인에서의 B-필드 레벨에서) 전송한다. 디코더는 대응하는 디코딩을 수행한다.
7. 인터레이스형 B-필드의 경우, 인코더/디코더는 그 다음 앵커 픽처의 대응하는 필드에서의 대응하는 매크로블록이 4개의 움직임 벡터를 사용하여 코딩된 경우 우세 극성을 선호하는 논리를 사용하여 직접 모드 움직임 벡터를 선택한다.
8. 인트라-코딩된 필드: B-필드에 대해 가능한 양호한 움직임 보상이 없는 경우, 이는 인트라(즉, 비예측) B-필드("BI-필드")로서 코딩될 수 있다.
설명된 기술 및 도구는 서로 조합하여 또는 다른 기술 및 도구와 함께 사용되거나 독립적으로 사용될 수 있다.
VI . 인터레이스형 B-프레임에서의 필드-코딩된 매크로블록 내에서의 예측 모 드의 전환
어떤 구현에서, 인코더는 인터레이스형 B-프레임에서의 매크로블록 내에서 예측 모드 전환을 수행한다. 예를 들어, 인코더는 인터레이스형 B-프레임에서의 매크로블록에서 상부 필드에서 하부 필드로 가면서 전방에서 후방으로, 후방에서 전방으로 예측 모드의 전환을 가능하게 해준다. 전체 매크로블록을 단일의 예측 방향 모드로 인코딩하지 않고, 단일의 매크로블록을 코딩하는 데 예측 방향 모드의 조합이 사용된다. 매크로블록에서 개개의 필드들 간에 예측 방향 모드를 변경할 수 있음으로써 많은 시나리오에서 인터레이스형 B-프레임의 보다 효율적인 코딩이 얻어진다.
도 41은 서로 다른 예측 모드를 사용하여 인터레이스형 B-프레임에서의 필드-코딩된 매크로블록에서 개개의 필드에 대한 움직임 벡터를 예측하는 기술(4100)을 나타낸 것이다. 단계(4110)에서, 인터레이스형 B-프레임에서, 인코더/디코더는 제1 예측 모드를 사용하여 필드-코딩된 매크로블록에서의 첫번째 필드에 대한 움직임 벡터를 예측한다. 어떤 구현에서, "첫번째 필드"는 상부 필드 또는 하부 필드일 수 있으며, 이에 대한 결정은 별도로 신호된다. 단계(4120)에서, 인코더/디코더는 다른 예측 모드를 사용하여 동일한 매크로블록에서의 두번째 필드에 대한 움직임 벡터를 예측한다.
예를 들어, 2개의 움직임 벡터를 사용하여 필드-코딩된 매크로블록의 경우, 상부 필드는 전방-예측될 수 있고(즉, 상부 필드 움직임 벡터는 이전의 앵커 픽처를 참조함), 하부 필드는 후방-예측될 수 있다(즉, 하부 필드는 차후의 앵커 픽처를 참조함). 어떤 구현에서, 인터레이스형 B-프레임에서의 필드-코딩된 매크로블록은 4개의 움직임 벡터를 사용하여 인코딩되지 않는다. 다른 대안으로서, 매크로블록이 4개의 움직임 벡터(예를 들어, 각 필드에 대해 2개의 움직임 벡터)를 사용하여 필드-코딩되는 경우, 상부 필드에 대한 2개의 움직임 벡터는 하나의 앵커(전방 또는 후방)를 참조하고, 하부 필드 움직임 벡터는 나머지 하나의 앵커를 참조한다.
이러한 예측 모드의 전환은 처음에 매크로블록 유형이 직접 또는 보간이 아닌 경우에 단지 하나의 부가 비트만을 필요로 하며, 이에 대해서는 인터레이스형 B-프레임에 대한 이하의 의사 코드에서 더 설명한다.
If MB가 필드-코딩되어 있고 AND MB 유형이 전방 또는 후방인 경우 then
If MVSwitch = 1인 경우, then 상부 필드와 하부 필드 간에 예측 모드가 (전방에서 후방으로 또는 그 반대로) 전환된다.
따라서, 예측 모드 전환을 전방 및 후방 모드로 제한하는 것은 제2 모드를 신호하는 데 더 많은 비트를 필요로 하지 않게 해주는데, 그 이유는 제2 모드가 (이전에 신호된) 제1 모드 및 전환 값으로부터 암시되기 때문이다.
인터레이스형 B-프레임의 매크로블록에 의해 커버되는 영역에 움직임이 많은 경우, 이 매크로블록은 필드 모드로 코딩될 가능성이 있다. 이러한 상황 하에서, 전방 또는 후방 예측이 픽셀 평균을 필요로 하는 직접 또는 보간 모드보다 정확한 움직임 보상 결과를 제공할 가능성이 더 있다. 평균을 취하는 결과 평탄화가 얻어지기 때문에(예를 들어, 많은 움직임에 수반하는 고주파 요소의 손실), 직접 및 보간 모드는 이러한 매크로블록을 코딩하는 최선의 방법이 아닐 수 있다. 실험 결과는 필드-코딩된 매크로블록 내에서의 필드 레벨에서 전환 옵션으로서 4가지 예측 모드 모두를 신호하는 증가된 오버헤드로 인한 비효율성을 나타낸다.
다른 대안으로서, 인코더는 인터레이스형 B-프레임의 필드-코딩된 매크로블록 내에서 3개 이상의 예측 모드 간에 전환하거나 서로 다른 예측 모드 간에 전환할 수 있다.
VII . 인터레이스형 B-프레임에서의 직접 모드 움직임 벡터 계산
어떤 구현에서, 인코더/디코더는 이전에 디코딩된 앵커 I-프레임 또는 P-프레임(이는 후방 예측 참조 프레임으로서 사용되는 시간상으로 전방인 참조 프레임임)으로부터의 움직임 벡터를 버퍼링하고 인터레이스형 B-프레임에서의 현재 매크로블록에 대한 직접 모드 움직임 벡터를 계산하는 데 사용하기 위해 버퍼링된 움직임 벡터 중 하나 이상을 선택한다. 예를 들어, 인코더/디코더는 앵커 프레임의 각각의 매크로블록으로부터 상부 및 하부 필드 각각에 대한 대표적인 움직임 벡터를 버퍼링하고 버퍼링된 움직임 벡터 중 하나 이상을 사용하여 현재의 직접 모드 매크로블록에 대한 움직임 벡터를 계산한다. 이 선택하는 일은 현재 매크로블록의 코딩 모드(예를 들어, 1MV 모드, 2 필드 MV 모드, 기타 등등)에 적어도 부분적으로 기초하여 수행된다.
도 42는 한 구현에서 인터레이스형 B-프레임에서의 매크로블록에 대한 직접 모드 움직임 벡터를 계산하는 기술(4200)을 나타낸 것이다. 단계(4210)에서, 인코더/디코더는 이전에 재구성된 시간상 미래의 앵커 프레임에서의 동일 위치의 매크로블록의 매크로블록마다 복수의 움직임 벡터를 버퍼링한다. 동일 위치의 매크로블록이 하나의 움직임 벡터만을 갖는 경우, 그 움직임 벡터는 필요에 따라 동일 위치의 매크로블록의 여러가지 블록에 대한 움직임 벡터 값으로서 버퍼링된다. 단계(4220)에서, 인코더/디코더는 적어도 부분적으로 현재 매크로블록에 대해 필요한 움직임 벡터의 수에 따라, 인터레이스형 B-프레임에서의 현재 매크로블록의 직접 모드 예측을 위해 동일 위치의 매크로블록의 버퍼링된 움직임 벡터 중 하나 이상을 선택한다.
한 구현에서, 디코더는 미래의 앵커 프레임으로부터의 동일 위치의 매크로블록에서의 2개의 움직임 벡터, 즉 디코딩된 루마 움직임 벡터의 가능한 최대 수의 1/2을 버퍼링한다. 앵커 프레임에서의 매크로블록은 서로 다른 방식으로 코딩될 수 있으며, 매크로블록당 최대 4개의 움직임 벡터를 갖지만 이하에 기술하는 바와 같이 단지 최대 2개의 움직임 벡터만이 버퍼링된다. 현재 매크로블록에 대해 발생된 전방/후방 움직임 벡터 쌍의 수는 이전에 디코딩된 미래의 앵커 프레임에서의 동일 위치의 매크로블록의 코딩 모드에 의존하기 보다는 오히려 현재 매크로블록의 코딩 모드에 의존한다.
예를 들어, 현재의 직접 모드 매크로블록이 1MV 코딩되어 있는 경우, 디코더는 앵커 프레임에서의 동일 위치의 매크로블록의 상부 필드로부터의 버퍼링된 움직임 벡터를 받아서 한 쌍의 직접 움직임 벡터, 즉 전방 및 후방 방향에 대해 각각 하나씩을 발생한다. 현재의 직접 모드 매크로블록이 필드-코딩되어 있는 경우, 디코더는 앵커 프레임에서의 동일 위치의 매크로블록으로부터의 버퍼링된 하부 필드 및 상부 필드 움직임 벡터 둘다를 받아서 2 쌍의 움직임 벡터를 발생하여 현재의 직접 모드 매크로블록에 대한 총 4개의 움직임 벡터, 즉 전방 및 후방 방향 둘다에서 각 필드에 대해 하나씩을 제공한다.
도 43은 이전에 디코딩된 시간상 미래의 앵커 프레임의 동일 위치의 매크로블록(4300)의 블록들에 대한 움직임 벡터 MV1, MV2, MV3 및 MV4를 나타낸 것이다. 동일 위치의 매크로블록이 1MV 매크로블록인 경우, MV1, MV2, MV3 및 MV4는 모두 같다. 동일 위치의 매크로블록이 2 필드 MV 매크로블록인 경우, MV1 및 MV2는 하나의 값과 같고 MV3 및 MV4는 다른 값과 같다. 앵커 프레임의 동일 위치의 매크로블록이 4 필드 MV 또는 4 프레임 MV 매크로블록인 경우, MV1, MV2, MV3 및 MV4는 모두 서로 다른 값일 수 있다. 그렇지만, MV1, MV2, MV3 및 MV4가 이용가능할지라도, 디코더는 MV1 및 MV3만을 버퍼링한다.
도 43에 도시한 예에서, 디코더는 MV1 및 MV3를 버퍼링한다. 현재의 매크로블록이 1MV 모드를 사용하는 경우, 디코더는 현재의 매크로블록에 대한 전방 및 후방 직접 모드 움직임 벡터를 계산하기 위해 MV1을 선택하고 MV3를 무시한다. 현재의 매크로블록이 2 필드 MV 모드를 사용하는 경우, 디코더는 4개의 직접 모드 움직임 벡터를 계산하기 위해 MV1 및 MV3 둘다를 사용한다. 이 동작은 현재의 매크로블록의 상부 및 하부 필드에 대한 양호한 움직임 표현을 산출한다.
앵커 프레임에서의 동일 위치의 매크로블록으로부터의 움직임 벡터가 선택된 경우, 디코더는 B 프레임 매크로블록의 직접 모드 예측에 대한 대응하는 전방 및 후방 지향 움직임 벡터를 도출하기 위해 스케일링 논리를 적용한다. 예를 들어, 디코더는 도 19의 함수 Scale_Direct_MV를 적용할 수 있다. 또는, 디코더는 다른 스케일링 함수를 적용한다.
다른 대안으로서, 인코더/디코더는 앵커 프레임의 매크로블록당 4개의 움직임 벡터를 버퍼링할 수 있다. 예를 들어, 현재의 매크로블록이 1MV 코딩되어 있는 경우, 인코더/디코더는 앵커 프레임에서의 동일 위치의 매크로블록의 좌측 상부 움직임 벡터를 받아서 한 쌍의 직접 움직임 벡터를 발생할 수 있거나 앵커 프레임의 매크로블록에 대한 4개의 움직임 벡터의 평균을 취할 수 있다. 현재의 매크로블록이 필드-코딩되어 있는 경우, 인코더/디코더는 좌측 상부 및 좌측 하부 움직임 벡터를 받아서 2 쌍(각 필드에 대해 하나씩)을 발생하거나, 앵커 프레임의 매크로블록에 대한 상부 움직임 벡터들의 평균 및 하부 움직임 벡터들의 평균을 취할 수 있다.
앵커 프레임에서의 동일 위치의 매크로블록이 인트라인 경우 또는 앵커 프레임이 I-프레임인 경우, 직접 모드 움직임 벡터는 (0,0)으로서 취급된다.
VIII . 인터레이스형 B-필드 및 인터레이스형 B-프레임에서의 4 MV 코딩
어떤 구현에서, 인코더는 4-움직임-벡터(4MV) 코딩 모드를 사용하여 인터레이스형 B-필드 및 인터레이스형 B-프레임을 인코딩한다. 4MV 코딩은 (예를 들어, 매크로블록에서의 4개의 루마 블록이 독립적으로 예측되고 움직임 보상될 수 있게 해줌으로써) 1-움직임-벡터(1MV) 코딩보다 복잡한 움직임 궤적의 보다 정확한 표현을 가능하게 해줄 수 있다. 4MV의 사용은 어떤 예측 모드로 제한될 수 있다. 예를 들어, 어떤 구현에서, 인코더는 전방 및 후방 모드(필드 및 프레임 둘다)에 대해 4MV를 사용하지만 직접 또는 보간 모드에 대해서는 그렇지 않다. 이것은 4MV가 순차 B-프레임에 대해 사용되지 않는 순차 코딩 모드와 다르다.
직접 및 보간 모드는 움직임-보상된 예측을 계산할 때 픽셀 평균을 수반하며, 이는 미세한 디테일을 평탄화시켜 버리는 경향이 있다. 이러한 평탄화가 허용되는 경우, 아마도 4MV 대신에 1MV가 효과적으로 사용될 수 있는데 그 이유는 1MV가 코딩하기 더 간단하고 평탄한 움직임 궤적을 정확하게 기술하는 데 사용될 수 있기 때문이다. 실험 결과 인터레이스형 B-필드 및 인터레이스형 B-프레임의 매크로블록에 대해 4MV 모드를 사용하지만 4MV 모드를 전방- 및 후방- 예측 매크로블록으로 제한하는 것이 이점이 있음을 보여준다. 4MV를 전방 및 후방 모드로 제한하는 것이 유리한 다른 요인은 4MV를 직접 또는 보간 모드와 조합하면 각 경우에 총 8개의 움직임 벡터가 얻어진다는 것이다. 8개의 움직임 벡터와 연관된 시그널링 오버헤드(보간 모드의 경우)와 구현 및 디코딩 복잡성이 일반적으로 정확성 이점을 상쇄시킨다. 게다가, 보통 더 높은 품질 설정으로 코딩되어 있는(즉, 덜 심하게 양자화되어 있는) P-픽처가 움직임 보상을 위해 단지 하나 또는 4개의 움직임 벡터를 사용할 수 있을 때, 종종은 8개의 움직임 벡터를 갖는 인터레이스형 B-픽처를 인코딩하는 것이 실용적이지 않다.
4MV를 어떤 예측 모드로 제한하는 것은 다른 이점도 갖는다. 예를 들어, 4MV가 전방 및 후방 예측 모드로만 제한되어 있는 경우, 및 전방/비전방 모드 결정이 이미 신호된 경우(예를 들어, 이하의 섹션 XI에 기술된 것 등의 비트플레인 코딩 기술에서), 인코더는 4MV 매크로블록에 대한 예측 모드를 신호하기 위해 어떤 부가의 비트도 전송할 필요가 없다.
전방/비전방 결정이 비트플레인-코딩되어 있고 어떤 매크로블록-레벨 정보보다 먼저 전송되는 경우, 이하의 의사 코드가 인터레이스형 B-필드의 매크로블록에 적용가능하다.
if MB가 4MV 코딩되고 AND 예측 모드가 NOT 전방인 경우,
then 예측 모드 = 후방(모드를 신호하기 위해 더 이상 비트를 전송하지 않음).
어떤 구현에서, 직접/비직접 예측 모드 결정은 어떤 매크로블록-레벨 정보보다 먼저 전송된다(예를 들어, 픽처 레벨에서 압축된 비트플레인으로). (직접/비직접 정보 코딩에 관한 더 많은 정보에 대해서는, 2003년 7월 18일자로 출원된 발명의 명칭이 "Advanced Bi-Directional Predictive Coding of Video Frames(비디오 프레임의 최신 양방향 예측 코딩)"인 미국 특허 출원 제10/622,378호를 참조할 것.) 이러한 구현에서 4MV가 전방 및 후방 모드로 제한되어 있는 경우, 이하의 의사 코드가 인터레이스형 B-프레임의 매크로블록에 적용가능하다.
if MV가 4MV이고 AND 예측 모드가 NOT 직접인 경우,
then 예측 모드(전방 또는 후방)를 신호하기 위해 하나의 부가 비트를 전송함.
다른 대안으로서, 4MV는 전방 또는 후방 모드와 다른 또는 그 이외의 예측 모드에 대해 사용되거나, 전방 모드에 대해 사용되지 않거나, 후방 모드에 대해 사용되지 않거나, 또는 어떤 예측 모드에 대해서도 사용되지 않는다. 예를 들어, 어떤 구현에서, 4MV는 인터레이스형 B-필드에 대해서는 사용되지만 인터레이스형 B-프레임에 대해서는 그렇지 않다. 다른 대안에서, 예측 모드를 4MV 코딩과 함께 신호하기 위해 다른 코드 또는 코드-길이가 사용될 수 있다.
IX . 개별적인 전방 및 후방 움직임 벡터 버퍼를 사용하여 인터레이스형 B- 픽 처에서의 움직임 벡터의 예측
인터레이스형 B-픽처에 대한 움직임 벡터는 개별적인 전방 및 후방 움직임 벡터 컨텍스트를 사용하여 예측된다. 일반적으로, 전방 움직임 벡터는 전방 움직임 벡터 버퍼에 저장된 움직임 벡터를 사용하여 예측되고, 후방 움직임 벡터는 후방 움직임 벡터 버퍼에 저장된 움직임 벡터를 사용하여 예측된다. 현재의 매크로블록에 대한 결과 움직임 벡터는 이어서 적절한 버퍼에 저장되고, 다른 매크로블록에 대한 차후의 움직임 벡터 예측에서 사용될 수 있다. 일반적으로, 주어진 매크로블록이 전방 움직임 벡터만으로(전방 예측 매크로블록의 경우) 또는 후방 움직임 벡터만으로(후방 예측 매크로블록의 경우) 예측되어 있을지라도, 각각의 매크로블록에 대해 전방 및 후방 움직임 벡터 버퍼 둘다에서의 대응하는 공간이 채워진다. 이하의 섹션은 인터레이스형 B-픽처(예를 들어, 인터레이스형 B-필드, 인터레이스형 B-프레임)에서 움직임 벡터를 예측하고 "없는(missing)" 전방 또는 후방 움직임 벡터에 대한 움직임 벡터 버퍼에서의 대응하는 공간을 "채우는(fill in)" 기술에 대해 설명한다.
A. 전방 및 후방 버퍼
인터레이스형 B-픽처에 대한 움직임 벡터를 예측할 때, 인코더/디코더는 전방 움직임 벡터 버퍼 및/또는 후방 움직임 벡터 버퍼 내의 이전에 재구성된 움직임 벡터를 사용한다. 전방 모드에서, 인코더/디코더는 전방 움직임 보상을 위해 현재의 움직임 벡터를 예측하는 데 전방 움직임 벡터 버퍼로부터의 재구성된 전방 움직임 벡터를 사용한다. 후방 모드에서, 인코더/디코더는 후방 움직임 보상을 위해 현재의 움직임 벡터를 예측하는 데 후방 움직임 벡터 버퍼로부터의 재구성된 후방 움직임 벡터를 사용한다. 직접 모드 또는 보간 모드 매크로블록의 경우, 인코더/디코더는 전방 움직임 벡터 버퍼를 사용하여 전방 움직임 벡터 성분(또는 아마도 다수의 전방 움직임 성분)도 예측하고 후방 움직임 벡터 버퍼를 사용하여 후방 성분(또는 아마도 다수의 후방 움직임 성분)도 예측한다.
인터레이스형 B-픽처에 대한 움직임 벡터를 재구성한 후에, 인코더/디코더는 재구성된 전방 움직임 벡터를 전방 움직임 벡터 버퍼에 버퍼링하고 재구성된 후방 움직임 벡터를 후방 움직임 벡터 버퍼에 버퍼링한다. 전방 모드에서, 인코더/디코더는 재구성된 전방 움직임 벡터를 전방 움직임 벡터 버퍼에 저장한다. 후방 모드에서, 인코더/디코더는 재구성된 후방 움직임 벡터를 후방 움직임 벡터 버퍼에 저장한다. 직접 또는 보간 예측 모드를 사용하는 매크로블록의 경우, 인코더/디코더는 전방 움직임 벡터 성분(들)을 전방 움직임 벡터 버퍼에 저장하고 후방 움직임 벡터 성분(들)을 후방 움직임 벡터 버퍼에 저장한다.
예를 들어, 인코더가 인터레이스형 B-픽처에서의 매크로블록 좌표 위치(12, 13)에 있는 전방-예측 매크로블록을 인코딩하고 있는 경우, 인코더는 전방 움직임 벡터 예측자를 계산하고 전방 움직임 벡터에 대한 잔차(매크로블록이 "건너뜀"이 아닌 것으로 가정함)를 비트스트림으로 전송한다. 디코더는 잔차(즉, 차분)을 디코딩하고 움직임 벡터를 재구성한다. 인코더/디코더는 재구성된 움직임 벡터를 전방 움직임 벡터 버퍼에 삽입한다. 이어서, 인코더/디코더는 채움 후방 움직임 벡터(fill-in backward motion vector)가 될 후방 움직임 벡터 예측자를 계산하는 데 움직임 벡터 예측 논리를 사용하고 후방 움직임 벡터를 후방 움직임 벡터 버퍼에서 위치(12, 13)에 넣는다. 예를 들어, 3개 중의 메디안(median-of-3) 예측 시나리오에서, 인코더/디코더는 (12, 13)에 대한 후방 움직임 벡터를 채우기 위해 위치 (11, 13), (12, 12) 및 (13, 12)(현재의 전방-예측 매크로블록의 좌측, 상부 및 우측-상부 이웃)에 있는 버퍼링된 후방 움직임 벡터의 메디안을 취할 수 있다.
도 44는 전방 및/또는 후방 움직임 벡터 버퍼를 사용하여 인터레이스형 B-픽처에서의 현재 매크로블록에 대한 움직임 벡터를 예측하는 기술(4400)을 나타낸 것이다. 단계(4410)에서, 예측될 움직임 벡터가 전방 또는 후방 움직임 벡터인지에 따라, 인코더/디코더는 전방 또는 후방 움직임 벡터 버퍼를 사용할지를 선택한다. 현재의 움직임 벡터가 전방 움직임 벡터인 경우, 단계(4420)에서 인코더/디코더는 전방 움직임 벡터 버퍼로부터 움직임 벡터 예측자 후보 세트를 선택한다. 현재의 움직임 벡터가 후방 움직임 벡터인 경우, 단계(4430)에서 인코더/디코더는 후방 움직임 벡터 버퍼로부터 움직임 벡터 예측자 후보 세트를 선택한다. 단계(4440)에서, 인코더/디코더는 상기 일련의 움직임 벡터 예측자 후보 세트에 기초하여 움직임 벡터 예측자를 계산한다. 예를 들어, 인코더/디코더는 움직임 벡터 예측자 후보 세트의 메디안을 계산한다. 간단한 경우, 인코더/디코더는 모두 1MV 매크로블록이었던 예측자에 기초하여 1MV 현재 매크로블록에 대한 움직임 벡터 예측자를 계산한다. 현재 매크로블록 및/또는 이웃 매크로블록이 서로 다른 모드를 갖는 보다 복잡한 변형예에 대해서는 이하에서 설명한다.
도 45는 전방 움직임 벡터 버퍼(4510) 및 후방 움직임 벡터 버퍼(4520)에서의 움직임 벡터를 나타낸 것이다. 도 45에 도시한 예에서, 재구성된 매크로블록(4530-4570)의 경우, 인코더/디코더는 전방 움직임 벡터를 전방 움직임 벡터 버퍼(4510)에 저장하고 후방 움직임 벡터를 후방 움직임 벡터 버퍼(4520)에 저장한다. 현재 매크로블록(4580)에 대한 움직임 벡터를 예측하기 위해, 인코더/디코더는 이웃 매크로블록으로부터의 후보 예측자를 사용한다. 예를 들어, 현재 매크로블록(4580)이 전방 모드로 예측되는 경우, 인코더는 전방 움직임 벡터 버퍼에서의 이웃하는 전방 움직임 벡터를 사용하여(예를 들어, 3개 중의 메디안 예측을 사용하여) 전방 움직임 벡터를 예측할 수 있으며, 이어서 나중에 전방 움직임 벡터 버퍼에서의 현재 매크로블록 위치를 재구성된 움직임 벡터 값으로 채울 수 있다. 후방 움직임 벡터 버퍼(4520)에서의 대응하는 현재 매크로블록 위치를 채우기 위해, 인코더/디코더는 후방 움직임 벡터 버퍼에서의 이웃하는 후방 움직임 벡터를 사용하여 후방 움직임 벡터를 예측하고 그 예측자를 후방 움직임 벡터 버퍼에서의 현재 매크로블록에 대한 위치에 넣을 수 있다.
B. 인터레이스형 B-프레임에서의 움직임 벡터 예측
어떤 구현에서, 인코더/디코더는 인터레이스형 B-프레임에서의 매크로블록(그의 개별적인 필드를 포함함)에 대한 움직임 벡터를 예측하기 위해 이하의 방식을 이용하며, 이는 개별적인 전방 및 후방 움직임 벡터 컨텍스트를 사용한다. 도 40a 및 도 40b는 후보 움직임 벡터가 수집되는 이웃 매크로블록을 나타낸 것이다.
1MV 매크로블록이 전방-예측된 경우, 인코더/디코더는 (예를 들어, 도 40a 및 도 40b 또는 다른 곳에 도시한 것 등의 예측 패턴 및 3개 중의 메디안 예측을 사용하여) 전방 움직임 벡터 버퍼의 후보 움직임 벡터로부터 그의 전방 움직임 벡터를 예측한다. 인코더/디코더는 전방 움직임 벡터를 (움직임 벡터 예측 오차를 가산한 다음에) 전방 움직임 벡터 버퍼에 저장한다. 인코더/디코더는 후방 움직임 벡터 버퍼의 후보 움직임 벡터로부터 후방 움직임 벡터를 예측함으로써 "구멍"을 채우고(예를 들어, 전방-예측 경우에서와 같음), 후방 움직임 벡터(여기서는, 예측자)를 후방 움직임 벡터 버퍼에 저장한다.
1MV 매크로블록이 후방-예측된 경우, 인코더/디코더는 후방 움직임 벡터 버퍼의 후보 움직임 벡터로부터 그의 후방 움직임 벡터를 예측한다(예를 들어, 전방-예측 경우에서와 같음). 인코더/디코더는 후방 움직임 벡터를 (예측 오차를 가산한 다음에) 후방 움직임 벡터 버퍼에 저장한다. 인코더/디코더는 전방 움직임 벡터 버퍼의 후보 움직임 벡터로부터 전방 움직임 벡터를 예측함으로써 "구멍"을 채우고, 전방 움직임 벡터(여기서는, 예측자)를 전방 움직임 벡터 버퍼에 저장한다.
인트라-코딩된 매크로블록인 이웃은 전방 및 후방 움직임 벡터 버퍼에서 무시된다.
여러가지 특수한 경우는 인터레이스형 B-프레임에서의 1MV 및 필드-코딩된 2MV 매크로블록의 조합에 대한 것이다. 현재의 1MV 매크로블록에 대한 위치 A, B 또는 C에 있는 이웃 매크로블록이 필드-코딩된 2MV 매크로블록인 경우, 인코더/디코더는 그 위치에 대한 움직임 벡터 예측자로서 2MV 매크로블록에 대한 필드 움직임 벡터들의 평균을 취한다.
예를 들어, 2개의 전방-예측된 필드 움직임 벡터들 각각에 대한 전방-예측된 현재의 2 필드 MV 매크로블록의 경우, 이웃들로부터의 후보 움직임 벡터는 전방 움직임 벡터 버퍼로부터 수집된다. 인코더/디코더는 이웃하는 매크로블록의 코딩 모드(예를 들어, 인트라, 1MV, 2 필드 MV)에 기초하여 후보 움직임 벡터 세트(이들은 전방 움직임 벡터 버퍼에 저장되어 있음)를 선택한다. 이웃하는 매크로블록이 존재하고 인트라 코딩되어 있지 않은 경우, 인코더/디코더는 후보 세트에 부가할 매크로블록에 대한 움직임 벡터(들)를 찾는다. 어떤 실시예에서, 인코더/디코더는 다음과 같이 진행한다. 상부 필드 전방 움직임 벡터의 경우, 위치 A, B 또는 C에 있는 이웃 매크로블록이 1MV 매크로블록인 경우, 인코더는 전방 움직임 벡터 버퍼의 대응하는 위치로부터의 매크로블록의 움직임 벡터를 후보 세트에 부가한다. 2 필드 MV 매크로블록인 위치 A, B 또는 C에 있는 이웃 매크로블록의 경우, 인코더/디코더는 전방 움직임 벡터 버퍼의 대응하는 위치로부터의 상부 필드 MV를 후보 세트에 부가한다.
하부 필드 전방 움직임 벡터의 경우, 위치 A, B 또는 C에 있는 이웃 매크로블록이 1MV 매크로블록인 경우, 인코더는 전방 움직임 벡터 버퍼의 대응하는 위치로부터의 매크로블록의 움직임 벡터를 후보 세트에 부가한다. 2 필드 MV 매크로블록인 위치 A, B 또는 C에 있는 이웃 매크로블록의 경우, 인코더/디코더는 전방 움직임 벡터 버퍼의 대응하는 위치로부터의 하부 필드 움직임 벡터를 후보 세트에 부가한다.
2 필드 MV 매크로블록에서의 필드 움직임 벡터에 대한 예측자를 계산하기 위해, 인코더/디코더는 후보 세트들의 메디안을 계산한다.
2 필드 MV 매크로블록에 대한 후방-예측 움직임 벡터를 계산하기 위해, 논리는 전방 예측 경우와 동일하지만, 이웃으로부터의 후보 움직임 벡터는 후방 움직임 벡터 버퍼로부터 수집된다.
다시 말하면, 인트라-코딩되어 있는 위치 A, B 또는 C에 있는 이웃들은 움직임 벡터 예측에 있어서 무시된다.
(예를 들어, 움직임 벡터 차분 정보를 가산함으로써) 2 필드 MV 매크로블록에 대한 움직임 벡터의 재구성 후에, 재구성된 실제 움직임 벡터는 재구성된 움직임 벡터의 예측 방향에 대해 적절한 경우 전방 움직임 벡터 버퍼 또는 후방 움직임 벡터 버퍼에 넣어진다. 없는 방향에 대한 움직임 벡터 버퍼의 대응하는 비어있는 슬롯은 없는 방향에 대한 움직임 벡터 예측자를 계산하고 이 움직임 벡터 예측자를 비어있는 슬롯에 저장함으로써 채워진다.
예측 모드 전환이 사용되고 있는 경우 인터레이스형 B-프레임 내의 필드-코딩된 매크로블록에 대한 구멍 채우기를 위해 예외가 적용된다(상기한 섹션 VI를 참조). 이 경우, 주어진 필드-코딩된 2MV 매크로블록은 하나의 전방 움직임 벡터와 하나의 후방 움직임 벡터를 갖는다. 인터레이스형 B-프레임의 필드-코딩된 매크로블록의 재구성 후에, 필드-코딩된 매크로블록이 상부와 하부 필드 간에 예측 방향을 전환하는 경우, 인코더/디코더는 전방 움직임 벡터 버퍼의 상부 및 하부 움직임 벡터 "슬롯" 둘다를 전방 움직임 벡터로 채우고, 후방 버퍼의 상부 및 하부 움직임 벡터 슬롯 둘다를 후방 움직임 벡터로 채운다. 전방 움직임 벡터가 한 필드(예를 들어, 상부 필드)에 대해서만 전송되지만, 인코더는 동일한 움직임 벡터를 전방 움직임 벡터 버퍼에 대한 상부 및 하부 필드 움직임 벡터 슬롯 둘다에 넣는다. 이와 유사하게, 후방 움직임 벡터가 하부 필드에 대해서만 전송되지만, 인코더는 이를 후방 움직임 벡터 버퍼의 상부 및 하부 필드 움직임 벡터 슬롯 둘다에 넣는다.
예를 들어, 도 46은 전방 움직임 벡터 버퍼(4610) 및 후방 움직임 벡터 버퍼(4620)에서의 재구성된 매크로블록(4680)에 대한 상부 및 하부 움직임 벡터를 나타낸 것이다. 도 46에 도시된 예에서, 재구성된 매크로블록(4630-4670)의 경우, 인코더/디코더는 전방 움직임 벡터를 전방 움직임 벡터 버퍼(4610)에 저장하고 후방 움직임 벡터를 후방 버퍼(4620)에 저장한다. 재구성된 매크로블록(4680)은 예측 전환을 사용하여 필드 코딩되어 있으며, 그의 상부 필드 움직임 벡터는 (상부 필드 움직임 벡터의 예측 방향에 따라) 전방 또는 후방 움직임 벡터 버퍼에서 상부 및 하부 위치에 저장된다. 매크로블록(4680)의 하부 필드 움직임 벡터는 다른쪽 움직임 벡터 버퍼의 상부 및 하부 위치에 저장된다. 이 예에서, 재구성된 매크로블록(4680)은 예측 모드 전환을 사용한다. 전방 움직임 벡터 및 후방 움직임 벡터 각각이 한 필드에 대해서만 전송되지만, 인코더는 동일한 움직임 벡터를 각자의 전방 및 후방 움직임 벡터 버퍼에대한 상부 및 하부 필드 움직임 벡터 슬롯 둘다에 넣는다.
현재 매크로블록이 보간된 경우, 인코더/디코더는 전방 움직임 벡터(또는 2 필드 MV 매크로블록에 대한 전방 움직임 벡터)를 예측하기 위해 전방 움직임 벡터 버퍼를 사용하고, 후방 움직임 벡터(또는 2 필드 MV 매크로블록에 대한 후방 움직임 벡터)를 예측하기 위해 후방 움직임 벡터 버퍼를 사용하며, 전방 및 후방 움직임 벡터를 각각 (예측 오차가 계산되었으면 이들 값을 가산한 후에) 전방 및 후방 움직임 벡터 버퍼에 저장한다.
인터레이스형 B-프레임에서 매크로블록이 직접-예측된 경우, 인코더/디코더는 상기한 섹션 VII에서 설명한 기술을 사용할 수 있다.
어떤 구현에서, 인터레이스형 B-프레임에 대해 1MV 매크로블록, 2 필드 MV 매크로블록 및 인트라 매크로블록이 허용되며(그렇지만 다른 MV 매크로블록 유형은 그렇지 않음), 이는 움직임 벡터를 예측하기 위한 논리를 간단하게 해주는데 그 이유는 더 적은 현재/이웃 모드 조합에만 대처하면 되기 때문이다. 다른 대안으로서, 4 프레임 MV 매크로블록 및 4 필드 MV 매크로블록 등의 다른 및/또는 추가의 MV 모드가 허용된다. 예를 들어, 도 64, 도 69 및 도 70에 도시된 의사 코드의 일부는 인터레이스형 B-프레임에서의 이러한 다른 조합에 대처하는 데 사용될 수 있다.
C. 인터레이스형 B-필드에 대한 움직임 벡터 예측
일반적으로, 인터레이스형 B-필드의 경우, 이전에 재구성된(또는 도출된) 전방 필드 움직임 벡터는 현재의 전방 필드 움직임 벡터에 대한 예측자로서 사용되고, 이전에 재구성된(또는 도출된) 후방 필드 움직임 벡터는 현재의 후방 필드 움직임 벡터에 대한 예측자로서 사용된다. 전방 또는 후방 모드에서, 현재의 전방 또는 후방 필드 움직임 벡터는 적절한 움직임 벡터 버퍼에 부가되고, 다른쪽(없는) 방향(예를 들어, 전방 모드에서의 후방 방향 또는 후방 모드에서의 전방 방향)에 대한 움직임 벡터가 나중에 예측자로서 사용하기 위해 도출된다.
어떤 구현에서, 필드 움직임 벡터 예측 선택은 상세한 설명의 상기 섹션 III.A.2 및 이하의 섹션 XIV.B.3에 기술된 2-참조 필드 움직임 벡터 예측 논리에 따라 수행된다. 예를 들어, 도 33a 내지 도 33f에 도시된 의사 코드는 인터레이스형 B-필드의 매크로블록에 대한 2개의 필드 전방 움직임 벡터 예측자를 계산하는 데 사용되고, 하나의 움직임 벡터 예측자는 전방 필드 움직임 벡터를 재구성하는 데 사용하기 위해 선택된다. 이어서, 재구성된 움직임 벡터 값은 전방 움직임 벡터 버퍼에 넣어진다. 의사 코드는 또한 매크로블록에 대한 2개의 필드 후방 움직임 벡터 예측자를 계산하는 데도 사용되며, 하나의 예측자는 후방 움직임 벡터 버퍼에 대한 채움 값(fill-in value)으로서 사용하기 위해 선택된다. 인터레이스형 B-필드의 경우, 없는-방향 움직임 벡터 버퍼에서의 "구멍"을 채우기 위해, 인코더/디코더는 동일 극성 및 반대 극성의 움직임 벡터 예측자 간에 선택한다. 이 극성 간의 선택이 행해지는 이유는 주어진 없는 방향에서 2개의 예측자가 발생되기 때문이다(동일 극성의 예측자가 현재 필드로서 또 반대 극성의 예측자가 현재 필드로서 발생됨). 따라서, 어떤 구현에서, 인코더/디코더는 없는-방향 움직임 벡터에 대한 과반수 또는 "우세" 극성 예측자를 선택한다. 이와 같이, 전방 및 후방 움직임 벡터 둘다의 전체 세트가 움직임 벡터 예측에서 사용하기 위해 존재한다. 다른 대안으로서, 우세 극성이 결정되고 예측자 선택이 먼저 수행되며, 단지 선택된 움직임 벡터 예측자만이 계산된다.
한 구현에서 서로 다른 극성의 필드 움직임 벡터 예측자 중에서 선택함으로써 실제-값을 버퍼링하고 구멍을 채우는 프로세스는 도 47의 의사 코드(4700)에 도시되어 있다. 의사 코드(4700)는 구멍-채우기 예측 동안에 없는 방향(missing direction)에 대해 어떤 실제 움직임 벡터도 존재하지 않으며 따라서 우세 극성을 갖는 예측된 없는-방향 움직임 벡터가 인코더/디코더에 의해 선택되는 것을 나타낸 것이다.
어떤 구현에서, 인터레이스형 B-필드 움직임 벡터 예측에 대한 전체적인 방식은 다음과 같다.
매크로블록이 전방 예측된 경우, 인코더/디코더는 전방 움직임 벡터 버퍼의 동일 및/또는 반대 극성 움직임 벡터 후보(예를 들어, 대부분의 경우 좌측, 상부 및 우측-상부 이웃으로부터의 3개 중의 메디안 예측을 사용함) 또는 버퍼링된 움직임 벡터로부터 도출된 움직임 벡터로부터 그의 전방 움직임 벡터를 예측한다. 인코더/디코더는 재구성된 전방 움직임 벡터를 전방 움직임 벡터 버퍼에 저장하고 우세 후방 움직임 벡터 예측자(이와 유사하게 후방 움직임 벡터 버퍼의 공간상 이웃으로부터의 3개 중의 메디안으로 예측됨)를 계산하여 후방 움직임 벡터 버퍼에서의 대응하는 위치에 저장한다.
매크로블록이 후방 예측된 경우, 인코더/디코더는 후방 움직임 벡터 버퍼의 동일 및/또는 반대 극성 움직임 벡터 후보(예를 들어, 대부분의 경우 좌측, 상부 및 우측-상부 이웃으로부터의 3개 중의 메디안 예측을 사용함) 또는 버퍼링된 움직임 벡터로부터 도출된 움직임 벡터로부터 그의 후방 움직임 벡터를 예측한다. 인코더/디코더는 재구성된 후방 움직임 벡터를 후방 움직임 벡터 버퍼에 저장하고 우세 전방 움직임 벡터 예측자(이와 유사하게 전방 움직임 벡터 버퍼의 공간상 이웃으로부터의 3개 중의 메디안으로 예측됨)를 계산하여 전방 움직임 벡터 버퍼에서의 대응하는 위치에 저장한다.
매크로블록이 보간된 경우, 인코더/디코더는 전방 움직임 벡터 성분을 예측하는 데 전방 움직임 벡터를 사용하고, 후방 움직임 벡터 성분을 예측하는 데 후방 움직임 벡터를 사용하며, 재구성된 전방 및 후방 움직임 벡터를 각각 (예측 오차가 계산되었으면 이들 오차를 부가한 후에) 전방 및 후방 움직임 벡터 버퍼에 저장한다.
매크로블록이 직접 예측된 경우, 인코더/디코더는 현재 필드에 대한 직접 모드 움직임 벡터를 계산하고 전방 및 후방 움직임 벡터 성분을 각자의 움직임 벡터 버퍼에 저장한다.
인트라-코딩된 매크로블록인 이웃들은 움직임 벡터 예측에서 무시된다.
여러가지 특수한 경우는 인터레이스형 B-필드에서의 1MV 및 4MV 매크로블록의 조합들에 대한 것이다. 도 6a 내지 도 10은 순차 P-프레임에 대한 움직임 벡터 예측의 예측자 패턴을 나타낸 것이다. 바로 이들 패턴은 혼합-MV 인터레이스형 B-필드에서의 1MV 또는 4MV 매크로블록에 대한 움직임 벡터의 움직임 벡터 예측을 위한 후보 움직임 벡터에 대해 고려되는 블록 또는 매크로블록의 위치를 나타낸다. 프레임이 한 매크로블록 폭인 특별한 경우에, 예측자는 항상 예측자 A(상부 예측자)이다. 여러가지 다른 규칙은 상부 행 4MV 매크로블록에 대한 상부 행 블록, 상부 행 1MV 매크로블록, 및 인트라-코딩된 예측자 등의 다른 특별한 경우에 대한 것이다.
도 6a 내지 도 10에 도시된 예측자 패턴은 전방 움직임 벡터 버퍼 내의 위치들로부터의 후보를 사용하는 전방 예측에 대해 사용되고 후방 움직임 벡터 버퍼 내의 위치들로부터의 후보를 사용하는 후방 예측에 대해서도 사용된다. 게다가, 도 6a 내지 도 10에 도시된 예측자 패턴은 인터레이스형 B-프레임에 대해 상기한 2-참조 필드 움직임 벡터 예측 논리와 관련하여 사용된다.
도 6a 및 도 6b는 혼합-MV 인터레이스형 B-필드에서의 1MV 현재 매크로블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타낸 것이다. 이웃하는 매크로블록은 1MV 또는 4MV 매크로블록일 수 있다. 도 6a 및 도 6b는 이웃들이 4MV인 것으로 가정할 때 후보 움직임 벡터의 위치를 나타낸 것이다(즉, 예측자 A는 현재 매크로블록 상부의 매크로블록에서의 블록 2에 대한 움직임 벡터이고, 예측자 C는 현재 매크로블록의 바로 좌측의 매크로블록에서의 블록 1에 대한 움직임 벡터이다). 이웃들 중 어느 것이라도 1MV 매크로블록인 경우, 도 5a 및 도 5b에 도시된 움직임 벡터 예측자는 전체 매크로블록에 대한 움직임 벡터 예측자로 취해진다. 도 6b가 도시하는 바와 같이, 매크로블록이 그 행에서의 마지막 매크로블록인 경우, 예측자 B는 그렇지 않은 경우에서와 같이 우측-상부 매크로블록에서의 블록 2로부터가 아니라 좌측-상부 매크로블록의 블록 3으로부터 온 것이다.
도 7a 내지 도 10은 혼합-MV 인터레이스형 B-필드의 4MV 매크로블록에서의 4개의 루미넌스 블록 각각에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타낸 것이다. 도 7a 및 도 7b는 위치 0에 있는 블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타내고, 도 8a 및 도 8b는 위치 1에 있는 블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타내며, 도 9는 위치 2에 있는 블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타내고, 도 10은 위치 3에 있는 블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 블록들의 위치를 나타낸다. 다시 말하면, 이웃이 1MV 매크로블록인 경우, 그 매크로블록에 대한 움직임 벡터 예측자는 그 매크로블록의 블록들에 대해 사용된다.
매크로블록이 그 행에서의 첫번째 매크로블록인 경우, 블록 0에 대한 예측자 B는 그 행에 있는 나머지 매크로블록에 대한 블록 0와 다르게 처리된다(도 7a 및 도 7b 참조). 이 경우, 예측자 B는 그렇지 않은 경우에서와 같이 현재 매크로블록의 좌측 상부의 매크로블록에서의 블록 3으로부터가 아니라 현재 매크로블록 바로 상부의 매크로블록에서의 블록 3으로부터 취해진다. 이와 유사하게, 매크로블록이 그 행에서 마지막 매크로블록인 경우, 블록 1에 대한 예측자 B는 다르게 처리된다(도 8a 및 도 8b 참조). 이 경우, 예측자는 그렇지 않은 경우에서와 같이 현재 매크로블록의 우측 상부의 매크로블록에서의 블록 2로부터가 아니라 현재 매크로블록 바로 상부의 매크로블록에서의 블록 2로부터 취해진다. 일반적으로, 매크로블록이 첫번째 매크로블록 열에 있는 경우, 블록 0 및 2에 대한 예측자 C는 0으로 설정된다.
다시 말하면, 인트라-코딩되어 있는 위치 A, B 또는 C에 있는 이웃들은 움직임 벡터 예측에 있어서 무시된다.
(예를 들어, 움직임 벡터 차분 정보를 가산함으로써) 4MV 매크로블록에 대한 움직임 벡터의 재구성 후에, 재구성된 실제 움직임 벡터는 재구성된 움직임 벡터의 예측 방향에 대해 적절한 경우 전방 움직임 벡터 버퍼 또는 후방 움직임 벡터 버퍼에 넣어진다. 없는 방향에 대한 움직임 벡터 버퍼의 대응하는 비어있는 슬롯은 동일 및 반대 극성에 대한 없는 방향의 움직임 벡터 예측자를 계산하고 서로 다른 극성 움직임 벡터 예측자 간에 선택하며 움직임 벡터 예측자를 비어있는 슬롯에 저장함으로써 채워진다.
다시 도 34a 및 도 34b를 참조하면, 움직임 벡터 예측을 위해, 인코더/디코더는 의사 코드(3400)에 예시한 스케일링 동작을 사용하여 한 필드 움직임 벡터 예측자를 다른 필드 움직임 벡터 예측자로부터 도출한다. 현재 필드가 인터레이스형 비디오 프레임에서의 첫번째 필드인 경우에 대한 2가지 가능한 값 세트가 도 35의 테이블(3500)에 나타내어져 있고, 현재 필드가 인터레이스형 비디오 프레임에서의 두번째 필드인 경우에 대한 2가지 가능한 값 세트가 도 36의 테이블(3600)에 나타내어져 있다. 테이블(3500, 3600)에서, SCALEOPP, SCALESAME1, SCALESAME2, SCALEZONE1_X, SCALEZONE1_Y, ZONE1OFFSET_X 및 ZONE1OFFSET_Y는 참조 프레임 거리에 의존한다.
어떤 구현에서, 인터레이스형 B-필드에서의 전방 및 후방 참조에 대한 참조 프레임 거리는 비율 코딩(fraction coding)을 사용하여 계산된다. BFRACTION 신택스 요소(이는 단지 인터레이스형 B-필드의 직접 모드 매크로블록에 대해서가 아니라 인터레이스형 B-필드의 전방 또는 후방 예측 모드 매크로블록에 대해 신호됨)는 이하의 의사 코드에 나타낸 바와 같이 전방 및 후방 참조 픽처 거리를 도출하는 데 사용된다.
전방 참조 프레임 거리(FRFD) =
NINT((BFRACTION 분자/ BFRACTION 분모) * 참조 프레임 거리) - 1
if(FRFD < 0) then = 0
후방 참조 프레임 거리(BRFD) =
참조 프레임 거리 - FRFD - 1
(여기서, NINT는 가장 가까운 정수(nearest integer) 연산자임)
BFRACTION 분자 및 분모는 BFRACTION 신택스 요소로부터 디코딩된다. 요소 BFRACTION은 (예를 들어, 인터레이스형 B-필드에 대한 프레임 레벨에서) 비트스트림으로 전송될 수 있는 서로 다른 비율을 나타내는 데 사용될 수 있다. 비율은 0과 1 사이의 제한된 일련의 이산 값을 취하며 그의 앵커에 의해 형성된 구간 내에서의 B-픽처의 상대적 시간 위치를 나타낸다.
인터레이스형 B-필드를 갖는 프레임에서의 두번째 필드의 전방 예측 및 후방 예측의 경우, 인코더/디코더는 도 34a 및 도 34b의 의사 코드(3400)에 따라 움직임 벡터 스케일링을 수행한다. 그렇지만, 어떤 구현에서, 첫번째 필드에 대한 후방 움직임 벡터 예측을 수행하는 인코더/디코더는 도 48의 의사 코드(4800)에 정의된 함수 scaleforopposite_x, scaleforopposite_y, scaleforsame_x 및 scaleforsame_y를 사용한다. 한 구현에서의 첫번째 인터레이스형 B-필드에 대한 SCALESAME, SCALEOPP1, SCALEOPP2, SCALEZONE1_X, SCALEZONE1_Y, ZONE1OFFSET_X 및 ZONE1OFFSET_Y의 값이 도 49의 테이블(4900)에 나타내어져 있다.
테이블(4900)에서, 변수 N과 움직임 벡터 범위 간의 관계는 도 35 및 도 36 및 상기 표 1을 참조하여 기술된 관계와 동일하다.
다른 대안으로서, 참조 프레임 거리는 다른 방식으로 계산되거나 스케일링이 다른 알고리즘에 따라 수행된다. 예를 들어, 스케일링은 N의 값에 상관없이 수행된다(즉, N은 1인 것으로 가정됨).
X. 인터레이스형 B-필드를 갖는 "자기-참조" 프레임
인터레이스형 B-필드를 갖는 프레임은 2개의 개별적인(또 얼마간 독립적으로 코딩된) 필드로서 인코딩된다. 상부 필드는 프레임의 짝수 래스터 라인(라인 0부터 시작함)으로 이루어져 있고, 하부 필드는 프레임의 홀수 래스터 라인으로 이루어져 있다. "필드 픽처" 내의 필드들이 독립적으로 디코딩가능하기 때문에, 이들은 임의의 사전 설정된 순서로 전송될 필요가 없다. 예를 들어, 인코더는 하부 필드를 먼저, 그 뒤를 따라 상부 필드를 전송할 수 있고, 그 역도 마찬가지이다. 어떤 구현에서, 2개의 필드의 순서는 "상부 필드 먼저(top field first)" 신택스 요소로 표시되며, 이 요소는 프레임의 2개의 필드를 디코딩하기 위한 정확한 시간상 순서에 따라 참 또는 거짓이다.
종래의 인코더 및 디코더는 이전 및 그 다음의 앵커 프레임(예를 들어, I- 또는 P-프레임) 또는 이전 및 그 다음 앵커 프레임에서의 필드를 현재의 B-픽처에 대한 움직임 보상을 수행하기 위한 "참조" 픽처로서 사용하였다. 종래의 인코더 및 디코더는 또한 B-픽처 또는 그의 일부가 임의의 픽처에 대한 움직임 보상 참조로서 사용되지 못하도록 제한하였다. 그렇지만, 설명된 기술 및 도구의 어떤 구현에서, 이들 "규칙" 중 하나 이상이 완화되었다.
예를 들어, 어떤 구현에서, 첫번째 인터레이스형 B-필드는 이전 및 그 다음 앵커 픽처로부터의 첫번째 및 두번째 필드를 참조한다. 두번째 인터레이스형 B-필드는, 그 다음 앵커 픽처의 첫번째 및 두번째 필드 이외에, 현재의 픽처로부터의 첫번째 인터레이스형 B-필드를 "반대 극성" 필드로서 참조하고 이전의 앵커 프레임의 동일 극성 필드를 "동일 극성" 필드로서 참조한다.
도 50b는 인터레이스형 비디오 프레임 B2에서의 2개의 인터레이스형 B-필드 각각에 대한 참조 필드를 나타낸 도면이다. 도 50b에 도시한 예에서, 디코딩될 첫번째 B-필드(여기서는, 상부 필드)는 총 4개의 참조 필드를 위해 전방(시간상 과거) 앵커 P1에서의 2개의 참조 필드 및 후방(시간상 미래) 앵커 P3로부터의 2개의 참조 필드를 참조하도록 허용된다. B2에 대해 디코딩될 두번째 인터레이스형 B-필드는 미래의 앵커 P3로부터의 양 필드 뿐만 아니라, 동일한 인터레이스형 비디오 프레임으로부터의 첫번째 필드(따라서 B-픽처의 일부가 참조로서 동작할 수 없게 하는 규약을 깨뜨림) 및 이전의 앵커 P1으로부터의 하나의 참조 필드를 참조하도록 허용된다. 비교를 위해, 도 50a는 인터레이스형 비디오 프레임의 인터레이스형 P-필드가 따르는 규약을 나타낸 것이다.
이들 인터레이스형 B-필드 참조 규칙을 구현하는 기술 및 도구는 더 나은 압축을 제공할 수 있다. 인터레이스형 비디오의 필드 코딩은 많은 움직임(즉, 상부 필드와 하부 필드 간에 상당한 움직임이 있는 경우)을 인코딩하는 데 가장 효율적이다. 이 시나리오에서, 예를 들어, 프레임의 상부(및 첫번째 코딩된) 필드는 시간상 훨씬 더 멀리 떨어져 있는 이전의 프레임으로부터 취해진 상부 필드보다 동일 프레임의 하부 필드에서의 픽셀들에 대해 훨씬 더 나은 예측자가 된다. 이들의 훨씬 더 먼 시간상 거리 때문에, 이들 시간상으로 더 먼 예측자는 움직임이 많은 경우 훨씬 더 약한 예측을 제공한다. 게다가, 시간상으로 더 멀리 떨어져 있는 예측자에 대해 폐색(occlusion)의 확률이 증가되며, 이 결과 코딩하기 어려운 인트라-코딩된 매크로블록이 더 많아진다. 상세하게는, 실험 결과 프레임의 시간상 두번째 인터레이스형 B-필드가 동일 프레임의 시간상 첫번째 인터레이스형 B-필드를 참조할 수 있게 하는 것이 상당한 압축 이득을 얻을 수 있음을 확인하였다.
XI . 인터레이스형 B-필드에서의 전방 모드의 비트플레인 코딩
상기 섹션 X에서 언급한 바와 같이, 어떤 구현에서, 현재 프레임의 두번째 코딩된 인터레이스형 B-필드는 현재 프레임의 첫번째 코딩된 인터레이스형 B-필드를 참조할 수 있다. 이 "자기-참조" 기술은 많은 움직임을 갖는 프레임에서의 인터레이스형 B-필드에서 효과적인데 그 이유는 현재 프레임 내에서의 시간상 더 가까운 B-필드가 종종 시간상 더 먼 앵커 필드보다 더 나은 예측자이기 때문이다. 인터레이스형 B-필드를 갖는 프레임이 많은 움직임을 가지고 또 시간상 두번째 인터레이스형 B-필드가 시간상 첫번째 인터레이스형 B-필드보다 예측 참조로서 선호되는 경우, 두번째 인터레이스형 B-필드에서의 매크로블록에 대한 보다 효율적인 예측 모드는 종종 "전방"이 된다.
인터레이스형 B-필드에서의 전방 모드 예측이 비트 레이트를 감소시키기 위한 효과적인 도구이기 때문에, 전방 모드 예측 시그널링의 전체 비용을 감소시키기 위해 시그널링 오버헤드를 감소시키는 것이 유리하며, 낮은 비트 레이트 상황에서 특히 그렇다. 따라서, 어떤 실시예에서, 인코더는 통합된 비트플레인 코딩 기술을 사용하여 전방 모드 예측 정보를 인코딩한다. 예를 들어, 인코더는 전방 모드 예측 정보를 압축된 비트플레인에 인코딩하며, 이 경우 비트플레인 내의 각각의 비트는 매크로블록과 연관되어 있고, 각각의 비트의 값은 매크로블록이 전방 모드 또는 비전방 예측 모드로 코딩되었는지를 신호한다.
압축된 비트플레인은 프레임 레벨, 필드 레벨 또는 어떤 다른 레벨에서 전송될 수 있다. 비트플레인 코딩 기술은 인터레이스형 B-필드에 대한 다른 예측 모드와 비교하여 전방 모드 바이어스(forward mode bias)를 이용한다. 예를 들어, 인터레이스형 B-필드에서의 매크로블록의 대부분이 전방 예측을 사용하는 경우, 인코더는 전방/비전방 결정을 비트플레인 코딩함으로써 매크로블록당 1비트 이하로 시그널링 오버헤드를 감소시킬 수 있다.
도 51은 하나 이상의 비트플레인 코딩 모드를 갖는 비디오 인코더에서의 인터레이스형 B-필드의 매크로블록에 대한 전방/비전방 예측 모드 결정 정보를 인코딩하는 기술(5100)을 나타낸 것이다. 도 52는 하나 이상의 비트플레인 코딩 모드를 갖는 비디오 인코더에 의해 인코딩된 전방/비전방 예측 모드 결정 정보를 디코딩하는 대응하는 기술(5200)을 나타낸 것이다.
도 51을 참조하면, 인코더는 전방/비전방 예측 모드 결정 정보를 코딩하기 위한 비트플레인 코딩 모드를 선택한다(단계 5110). 코딩 모드가 선택된 후에, 인코더는 전방/비전방 예측 모드 결정 정보를 선택된 모드로 인코딩한다(단계 5120). 인코더는 필드별로 비트플레인 코딩 모드를 선택한다. 다른 대안으로서, 인코더는 어떤 다른 방식으로(예를 들어, 시퀀스 레벨에서) 비트플레인 코딩 모드를 선택한다. 또는, 단지 하나의 비트플레인 코딩 모드만이 사용되는 경우, 비트플레인 코딩 모드의 선택이 수행되지 않는다. 인코더가 전방/비전방 예측 모드 결정 정보의 인코딩을 완료한 경우(단계 5130), 전방/비전방 예측 모드 결정 정보의 인코딩이 종료한다.
도 52를 참조하면, 디코더는 전방/비전방 예측 모드 결정 정보를 인코딩하기 위해 인코더에 의해 사용된(및 신호된) 비트플레인 코딩 모드를 판정한다(단계 5210). 디코더는 이어서 전방/비전방 예측 모드 결정 정보를 선택된 모드로 디코딩한다(단계 5220). 디코더는 필드별로 비트플레인 코딩 모드를 판정한다. 다른 대안으로서, 디코더는 어떤 다른 방식으로(예를 들어, 시퀀스 레벨에서) 비트플레인 코딩 모드를 판정한다. 또는, 단지 하나의 비트플레인 코딩 모드만이 이용가능한 경우, 비트플레인 코딩 모드의 선택이 수행되지 않는다. 디코더가 전방/비전방 예측 모드 결정 정보의 디코딩을 완료한 경우(단계 5230), 전방/비전방 예측 모드 결정 정보의 디코딩이 종료한다.
몇가지 결합 구현에 따른 여러가지 비트플레인 코딩 모드에 대한 시그널링 및 디코딩에 관한 추가의 상세에 대해서는, 이하의 섹션 XIV를 참조하기 바란다. 일반적인 비트플레인 코딩에 관한 더 많은 정보에 대해서는, 2002년 12월 16일자로 출원된 발명의 명칭이 "Skip Macroblock Coding(건너뜀 매크로블록 코딩)"인 미국 특허 출원 제10/321,415호를 참조하기 바라며, 이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다. 다른 대안으로서, 전방/비전방 모드 정보를 나타내는 비트가 미압축 상태로 및/또는 어떤 다른 레벨(예를 들어, 매크로블록 레벨)에서 전송될 수 있다.
비전방 예측이 표시되어 있는 경우, 인코더는 매크로블록에 대해 비전방 예측 모드(예를 들어, 후방 모드, 직접 모드, 보간 모드, 또는 인트라 모드)를 지정한다. 어떤 실시예에서, 인코더는 이하의 표 2에 나타낸 바와 같은 VLC 테이블을 참조하여 매크로블록 레벨에서 비전방 예측 모드를 코딩한다.
움직임 예측 모드 VLC 테이블
BMVTYPE VLC 움직임 예측 모드
0 후방
10 직접
11 보간
표 2에 나타낸 예에서, 후방 모드는 선호되는 비전방 예측 모드이다. 인코더는 1-비트 신호로 후방 모드를 나타내고 2-비트 신호로 직접 및 보간 모드를 나타낸다. 다른 대안으로서, 인코더는 다른 예측 모드를 나타내기 위해 다른 코드를 사용하고 및/또는 다른 비전방 예측 모드를 선호한다.
어떤 실시예에서, 인트라 모드는 특별한 차분 움직임 벡터 값에 의해 신호되며, 이 값은 그것이 코딩되는 방식으로 예측 모드가 인트라 모드임을 나타낸다. 따라서, 차분 움직임 벡터 값은 매크로블록이 인트라 코딩된 것으로 추정하는 데 사용되지만, 규약으로서 인코더는 미정의된 예측 유형을 갖지 않도록 하기 위해 예측 유형을 후방으로 설정한다.
XII . 인터레이스형 B-필드에서의 직접 모드에 대한 동일 위치의 움직임 벡터 의 선택
어떤 구현에서, 필드-코딩된 B-픽처에서의 매크로블록에 대한 직접 모드 움직임 벡터는 특별한 논리를 사용하여 선택된다. 인터레이스형 B-필드에서의 현재 매크로블록에 대해, 그 다음 앵커 픽처의 대응하는 필드에서의 동일 위치의 매크로블록이 4개의 움직임 벡터를 사용하여 코딩된 경우, 이 논리는 동일 위치의 매크로블록에 대한 최대 4개의 움직임 벡터 중에서 보다 우세한 극성(예를 들어, 동일 또는 반대)을 선호한다. 현재 매크로블록에 대해 사용하기 위한 움직임 벡터가 선택되었으면, 인코더/디코더는 직접 모드 움직임 벡터를 제공하기 위해 스케일링 동작을 적용할 수 있다.
어떤 구현에서, 인터레이스형 B-필드의 직접 모드 1MV 매크로블록에 대해, 인코더/디코더는 동일 극성을 갖는 참조 필드(예를 들어, 시간상으로 그 다음 P-필드)에서의 동일 위치의 매크로블록에 대한 움직임 벡터를 계산한다. 참조 필드에서의 동일 위치의 매크로블록이 1MV 매크로블록인 경우, 인코더/디코더는 인터레이스형 B-필드에서의 매크로블록에 대한 직접 모드 움직임 벡터를 도출하기 위해 단일의 움직임 벡터를 사용한다. 반면에, 참조 필드에서의 동일 위치의 매크로블록이 4MV 매크로블록인 경우, 인코더/디코더는 인터레이스형 B-필드에서의 매크로블록에 대한 직접 모드 움직임 벡터를 도출하는 데 사용되는 움직임 벡터를 선택함에 있어서 4개의 움직임 벡터의 극성을 고려하고 우세 극성을 선호한다. 인코더/디코더는 인터레이스형 B-필드의 디코딩 동안에 필요한 경우 이 선택 논리를 참조 필드에서의 4MV 매크로블록에 적용할 수 있다. 또는, 인코더/디코더는 참조 필드의 디코딩한 후에 이 선택 논리를 적용할 수 있으며, 이어서 나중의 인터레이스형 B-필드 디코딩 시에 사용될 값만을 버퍼링한다.
예를 들어, 참조 필드에서의 동일 위치의 4MV 매크로블록에 대해, (4개 중에서) 동일 극성 필드로부터의 움직임 벡터의 수가 반대 극성 필드로부터의 수보다 많으면, 인코더/디코더는 직접 모드 인터레이스형 B-필드 디코딩에서 사용하기 위한 움직임 벡터를 계산하기 위해, 동일 극성 움직임 벡터의 수가 4개, 3개, 2개 또는 1개인 경우, 각각 4개 중의 메디안, 3개 중의 메디안, 2개의 산술 평균 또는 동일 극성 필드 움직임 벡터의 값을 사용할 수 있다. 그렇지 않고, 반대 극성 필드로부터의 움직임 벡터의 수가 동일 극성 필드로부터의 수보다 많으면, 인코더/디코더는 직접 모드 인터레이스형 B-필드 디코딩에서 사용하기 위한 반대 극성 필드 움직임 벡터들로부터 대표적인 움직임 벡터를 가져오기 위해 유사한 연산을 사용할 수 있다. 동일 위치의 매크로블록에 대한 원래 4개의 움직임 벡터 세트 중의 3개 이상이 (극성에 상관없이) 인트라인 경우, 인코더/디코더는 간단히 동일 위치의 대표적인 움직임 벡터를 인트라(즉, (0,0))로서 취급할 수 있다. 그렇지만, 어떤 구현에서, 인터레이스형 B-필드에서의 모든 인트라 MB는 1MV로서 코딩되고, 따라서 원래의 4개의 움직임 벡터 중 3개 이상이 인트라이면 동일 위치의 대표적인 움직임 벡터가 인트라로서 취급되는 경우가 실제로는 결코 일어나지 않는다.
도 53의 의사 코드(5300)는 인터레이스형 B-필드에서의 직접 모드 움직임 벡터에 대한 기초로서 사용하기 위한 움직임 벡터의 선택 프로세스를 나타낸 것이다. 어떤 구현에서, 이 선택 프로세스는 전방 및 후방 지향 직접 모드 움직임 벡터를 생성하는 스케일링 동작에 선행하는 것이다.
XIII . 인터레이스형 비디오 프레임에서의 인트라 -코딩된 B-필드
인터레이스형 BI-필드(또는 "인트라 B-필드")는 그의 참조 픽처와 독립적으로 코딩된 필드를 말한다. 인터레이스형 BI-필드는 이들이 다른 픽처를 예측하기 위한 앵커로서 사용될 수 없다는 점에서 다른 인트라 필드(예를 들어, 인터레이스형 I-필드)와 다르다. 인터레이스형 BI-필드에 대한 픽처간 의존성(inter-picture dependency)이 없으며, 비트스트림에 존재한다는 것이 독립적으로 디코딩가능한 픽처 세그먼트 또는 그룹의 시작을 나타내지는 않는다. 그렇지만, 인터레이스형 비디오 프레임에서의 첫번째 필드는 BI-필드로서 코딩되어 있는 경우 프레임에서의 두번째 필드를 예측하는 데 사용될 수 있으며, 이는 인터레이스형 B-필드로서 코딩될 수 있다. 이러한 혁신은 또한 전체 프레임을 인트라 프레임으로서 인코딩하거나 양 필드를 인트라 필드로 인코딩하는 것이 아니라 많은 경우에 프레임의 1/2에 대해서만 인트라 코딩을 사용함으로써 전체적인 압축을 향상시킨다. 어떤 구현에서, 프레임은 2개의 B-필드, 2개의 BI-필드 또는 하나의 B-필드 및 하나의 BI-필드를 포함할 수 있다.
인터레이스형 I-필드보다 오히려 인터레이스형 BI-필드를 사용하는 이유가 있다. 한가지 이유는 시간 확장성(temporal scalability)을 희생시키지 않는다는 것이다. 예를 들어, 디코더가 디지털 비디오를 렌더링하는 중이고 프로세싱 요구를 따라가기 위해 어떤 픽처를 즉각 누락시킬 필요가 있을 때, 디코더는 누락시킬 수 있는 필드 시퀀스를 찾을 수 있다. 시퀀스에서의 인트라 필드가 키 필드(key field)인 것으로 밝혀지면, 디코더는 다른 필드에 대한 참조로서 사용하기 위해 이들을 디코딩해야만 하며 이들을 누락시킬 수 없다. 그렇지만, 시퀀스에서의 인트라 필드가 BI-필드로서 코딩되어 있는 경우, 디코더는 여전히 차후의 움직임 보상을 훼손시키지 않고 이들을 누락시키는 옵션을 가지고 있다.
인터레이스형 BI-필드는 BI-필드 내에서의 움직임 보상 관련 요소(또는 그것이 없음을 신호하는 요소)가 회피될 수 있기 때문에 인터레이스형 BI-필드가 인트라 코딩 및 디코딩에 대해 사용되는 신택스 요소를 보다 효율적으로 신호한다는 점에서 인트라 매크로블록을 갖는 인터레이스형 B-필드와 다르다. 환언하면, (통상의 B-필드보다) 인터레이스형 BI-필드를 사용하는 이유는 인터-필드 예측이 (예를 들어, 장면 변화 또는 복잡한 움직임으로 인해) 실패하는 비디오 시퀀스에서의 한 지점에서 인터레이스형 B-필드를 코딩할 때 발생한다. 종종, 이러한 필드에서의 대부분의 매크로블록은 인트라 매크로블록으로서 코딩될 필요가 있다. 이 시나리오에서, 비트 레이트의 관점에서 볼 때 전체 B-필드를 BI-필드로서 코딩하는 것이 필드에서의 각 매크로블록에 대한 에측 모드 정보를 전송하는 것보다 더 간단하다. 인터레이스형 B-필드에 대한 양호한 예측이나 움직임 보상이 가능하지 않은 경우, 이는 BI-필드로서 코딩될 수 있다.
어떤 구현에서, 인코더는 비트스트림에 BI-필드가 있는 것을 픽처 유형의 가능한 값들 중 하나로서 신호할 수 있다. 다른 대안으로서, BI-필드의 존재는 어떤 다른 방식으로 표시될 수 있다.
XIV . 결합 구현
이제부터 주요 결합 구현과 사소한 차이점을 갖는 대체 결합 구현 이외에, 비트스트림 신택스, 시맨틱스 및 디코더에 대한 상세한 결합 구현에 대해 설명한다.
A. 비트스트림 신택스
여러가지 결합 구현에서, 인터레이스형 B-픽처에 대한 데이터는 복수의 계층(예를 들어, 시퀀스, 프레임, 필드, 매크로블록, 블록 및/또는 서브-블록 계층)을 갖는 비트스트림의 형태로 제공된다.
인터레이스형 B-필드 및/또는 BI-필드를 갖는 인터레이스형 비디오 프레임의 경우, 프레임-레벨 비트스트림 요소는 도 54에 나타내어져 있다. 각 프레임에 대한 데이터는 프레임 헤더 및 그에 뒤따르는 필드 계층에 대한 데이터(필드마다 반복되는 "FieldPicLayer" 요소로 나타내어져 있음)로 이루어져 있다. 인터레이스형 B-필드 및 BI-필드에 대한 필드 헤더를 구성하는 비트스트림 요소는 각각 도 55 및 도 56에 나타내어져 있다. 인터레이스형 B-필드(인트라, 1MV, 또는 4MV 매크로블록에 대한 것인지에 상관없이) 및 BI-필드에 대한 매크로블록 계층을 구성하는 비트스트림 요소는 각각 도 57 및 도 58에 나타내어져 있다.
인터레이스형 B-프레임의 경우, 프레임-레벨 비트스트림 요소는 도 59에 도시되어 있다. 각 프레임에 대한 데이터는 프레임 헤더 및 그에 뒤따르는 매크로블록 계층에 대한 데이터로 이루어져 있다. 인터레이스형 B-프레임(인트라 또는 여러가지 인터 유형 매크로블록에 대한 것인지에 상관없이)에 대한 매크로블록 계층을 구성하는 비트스트림 요소는 도 60에 도시되어 있다.
이하의 섹션들은 양방향 예측 인터레이스형 픽처와 관련한 시그널링에 관련된 프레임, 필드 및 매크로블록 계층에서의 선택된 비트스트림 요소에 대해 기술한다. 선택된 비트스트림 요소가 특정의 계층과 관련하여 기술되어 있지만, 어떤 비트스트림 요소는 2개 이상의 계층에서 사용될 수 있다.
1. 선택된 프레임 계층 요소
도 54는 인터레이스형 B-필드 및/또는 BI-필드(또는 아마도 다른 종류의 인터레이스형 필드)를 포함하는 프레임에 대한 프레임-레벨 비트스트림 신택스를 나타낸 도면이다. 도 59는 인터레이스형 B-프레임에 대한 프레임-레벨 비트스트림 신택스를 나타낸 도면이다. 구체적인 비트스트림 요소에 대해서는 이하에서 설명한다.
프레임 코딩 모드 ( FCM )(가변 크기)
FCM은 픽처 코딩 유형을 가리키는 데 사용되는 가변 길이 코드["VLC"]이다. FCM은 이하의 표 3에 나타낸 바와 같은 프레임 코딩 모드에 대한 값을 취한다.
프레임 코딩 모드 VLC
FCM 값 프레임 코딩 모드
0 순차
10 프레임-인터레이스
11 필드-인터레이스
필드 픽처 유형( FPTYPE )(3비트)
FPTYPE은 인터레이스형 P-필드, 인터레이스형 I-필드, 인터레이스형 B-필드, 및/또는 인터레이스형 BI 필드를 포함하는 프레임에 대한 프레임 헤더에 존재하는 3-비트 신택스 요소이다. FPTYPE는 이하의 표 4에 따라 인터레이스형 비디오 프레임에서의 필드 유형의 여러가지 조합에 대한 값을 갖는다.
필드 픽처 유형 FLC
FPTYPE FLC 첫번째 필드 유형 두번째 필드 유형
000 I I
001 I P
010 P I
011 P P
100 B B
101 B BI
110 BI B
111 BI BI
참조 거리( REFDIST )(가변 크기)
REFDIST는 가변 크기의 신택스 요소이다. 이 요소는 현재 프레임과 참조 프레임 간의 프레임 수를 가리킨다. 표 5는 REFDIST 값을 인코딩하는 데 사용되는 VLC를 나타낸 것이다.
REFDIST VLC 테이블
참조 프레임 거리 VLC 코드워드(이진) VLC 크기
0 00 2
1 01 2
2 10 2
N 11[(N-3)개의 1]0 N
표 5에서의 마지막 행은 2보다 큰 참조 프레임 거리를 나타내는 데 사용되는 코드워드를 가리킨다. 이들은 이진 (11) 및 그에 뒤따른 N-3개의 1(여기서, N은 참조 프레임 거리임)로서 코딩된다. 코드워드에서의 마지막 비트는 0이다. 예를 들어,
N = 3, VLC 코드워드 = 110, VLC 크기 = 3
N = 4, VLC 코드워드 = 1110, VLC 크기 = 4
N = 5, VLC 코드워드 = 11110, VLC 크기 = 5
픽처 유형( PTYPE )(가변 크기)
PTYPE은 인터레이스형 B-프레임(또는 인터레이스형 I-프레임 또는 인터레이스형 P-프레임 등의 다른 종류의 인터레이스형 프레임)에 대한 프레임 헤더에 존재하는 가변 크기 신택스 요소이다. PTYPE은 이하의 표 6에 따라 서로 다른 프레임 유형에 대한 값들을 갖는다.
픽처 유형 VLC
PTYPE VLC 픽처 유형
110 I
0 P
10 B
1110 BI
1111 건너뜀
PTYPE이 프레임이 건너뜀임을 가리키는 경우, 이 프레임은 그의 참조 프레임과 동일한 P 프레임으로서 취급된다. 건너뜀 프레임의 재구성은 개념적으로 참조 프레임을 복사하는 것과 동등하다. 건너뜀 프레임은 이 프레임을 위해 어떤 추가의 데이터도 전송되지 않음을 의미한다.
B-프레임 직접 모드 MB 비트 신택스 요소( DIRECTMB )(가변 크기)
DIRECTMB 신택스 요소는 직접 모드로 코딩되어 있는 B 픽처(여기서는, 인터레이스형 B-프레임)에서의 매크로블록을 가리키기 위해 비트플레인 코딩을 사용한다. DIRECTMB 신택스 요소는 또한 직접 모드가 미처리 모드(raw mode)로 신호됨을 신호할 수 있으며, 이 경우 직접 모드는 인터레이스형 B-프레임의 매크로블록에 대한 매크로블록 레벨에서 신호된다.
확장된 MV 범위 플래그( MVRANGE )(가변 크기)
MVRANGE는 시퀀스-레벨 EXTENDED_MV 비트가 1로 설정되어 있는 경우 존재하는 가변 크기의 신택스 요소이다. MVRANGE VLC는 움직임 벡터 범위를 나타낸다.
확장된 차분 MV 범위 플래그( DMVRANGE )(가변 크기)
DVMRANGE는 시퀀스 레벨 신택스 요소 EXTENDED_DMV = 1인 경우에 존재하는 가변 크기의 신택스 요소이다. DMVRANGE VLC는 움직임 벡터 차분 범위를 나타낸다.
매크로블록 모드 테이블( MBMODETAB )(2 또는 3 비트)
MBMODETAB 신택스 요소는 고정 길이 필드이다. 인터레이스형 P-필드의 경우, MBMODETAB은 8개의 허프만 테이블 중 어느 것이 매크로블록 계층에서의 매크로블록 모드 신택스 요소(MBMODE)를 디코딩하는 데 사용되는지를 가리키는 3 비트 값이다.
움직임 벡터 테이블( MVTAB )(2 또는 3 비트)
MVTAB 신택스 요소는 2 또는 3 비트 값이다. NUMREF = 1인 인터레이스형 P-필드의 경우, MVTAB는 움직임 벡터 데이터를 디코딩하는 데 8개의 인터레이스 허프만 테이블 중 어느 것이 사용되는지를 가리키는 3 비트 신택스 요소이다.
2 MV 블록 패턴 테이블(2 MVPBTAB )(2 비트)
2MVBPTAB 신택스 요소는 2MV 필드 매크로블록에서의 2MV 블록 패턴(2MVBP) 신택스 요소를 디코딩하는 데 4개의 허프만 테이블 중 어느 것이 사용되는지를 가리키는 2 비트 값이다.
4 MV 블록 패턴 테이블(4 MVBPTAB )(2 비트)
4MVBPTAB 신택스 요소는 4MV 매크로블록에서의 4MV 블록 패턴(4MVBP) 신택스 요소를 디코딩하는 데 4개의 허프만 테이블 중 어느 것이 사용되는지를 신호하는 2 비트 값이다.
대체 결합 구현에서, 픽처 유형 정보는 인터레이스형 B-필드를 포함하는 인터레이스형 비디오 프레임에 대한 필드 레벨에서가 아니라 인터레이스형 B-필드에 대한 필드 레벨의 시작에서 신호되며, 참조 거리는 생략된다.
2. 선택된 필드 계층 요소
도 55는 결합 구현에서의 인터레이스형 B-필드에 대한 필드-레벨 비트스트림 신택스를 나타낸 도면이다. 구체적인 비트스트림 요소에 대해서는 이하에 설명한다.
움직임 벡터 모드 ( MVMODE )(가변 크기 또는 1 비트)
MVMODE 신택스 요소는 4개의 움직임 벡터 코딩 모드 중 하나 또는 하나의 세기 보상 모드(어떤 유형의 픽처에 대해서는 가능성이 더 적음)를 신호한다. 몇가지 차후의 요소는 부가의 움직임 벡터 모드 및/또는 세기 보상 정보를 제공한다.
B-필드 전방 모드 MB 비트 신택스 요소( FORWARDMB )(가변 크기)
FORWARDMB 신택스 요소는 전방 모드로 코딩된 B-필드에서의 매크로블록을 가리키기 위해 비트플레인 코딩을 사용한다. FORWARDMB 신택스 요소는 또한 전방 모드가 미처리 모드로 신호되는지를 신호하며, 이 경우 전방/비전방 모드 결정은 매크로블록 레벨에서 신호된다.
도 56은 결합 구현에서의 인터레이스형 BI-필드에 대한 필드-레벨 비트스트림 신택스를 나타낸 도면이다. 결합 구현에서, 인터레이스형 BI-필드에 대한 필드-레벨 비트스트림 신택스는 인터레이스형 I-필드와 동일한 신택스 요소를 사용한다.
3. 선택된 매크로블록 계층 요소
도 57은 결합 구현에서의 인터레이스형 B-필드의 매크로블록에 대한 매크로블록-레벨 비트스트림 신택스를 나타낸 도면이다. 도 60은 결합 구현에서의 인터레이스형 B-프레임의 매크로블록에 대한 매크로블록-레벨 비트스트림 신택스를 나타낸 도면이다. 구체적인 비트스트림 요소에 대해서는 이하에서 설명한다. 매크로블록에 대한 데이터는 매크로블록 헤더 및 그에 뒤따르는 블록 계층 데이터로 이루어져 있다.
매크로블록 모드 ( MBMODE )(가변 크기)
MBMODE 신택스 요소는 매크로블록 유형(예를 들어, 인터레이스형 B-필드에 대한 1MV, 4MV 또는 인트라) 또한 CBP 플래그 및 움직임 벡터 데이터의 존재를 가리킨다.
전방 B 필드 코딩 모드 ( FORWARDBIT )(1 비트)
FORWARDBIT는 필드 레벨 신택스 요소 FORWARDMB가 미처리 모드가 사용됨을 가리키는 경우 인터레이스형 B-필드 매크로블록에 존재하는 1-비트 신택스 요소이다. FORWARDBIT = 1인 경우, 매크로블록은 전방 모드를 사용하여 코딩된다.
B 매크로블록 움직임 예측 유형( BMVTYPE )(가변 크기)
BMVTYPE은 매크로블록이 전방, 후방 또는 보간 예측을 사용하는지를 가리키는, 인터레이스형 B-프레임 매크로블록 및 인터레이스형 B-필드 매크로블록에 존재하는 가변 크기의 신택스 요소이다. 표 7이 나타내는 바와 같이, 인터레이스형 B-르레임의 매크로블록의 경우, BFRACTION의 값은 BMVTYPE와 함께 어느 유형이 사용되는지를 결정한다.
BMVTYPE VLC
BMVTYPE
 움직임 예측 유형
BFRACTION <= 1/2 BFRACTION > 1/2
0 후방 전방
10 전방 후방
11 보간 보간
인터레이스형 B-필드에서, BMVTYPE은 매크로블록 모드가 전방이 아니고(FORWARDMB 또는 FORWARDBIT 신택스 요소로 표시됨) 4MV가 사용 중이 아닌 경우에 전송된다. 이 경우, BMVTYPE은 B 매크로블록이 전방, 직접 또는 보간인지를 신호하는 데 사용된다. 매크로블록 모드가 전방이 아니고 4MV가 사용 중인 경우, BMVTYPE은 후방인데 그 이유는 4MV에서 전방 및 후방 모드만이 허용되기 때문이다.
보간 MV 존재( INTERPMVP )(1 비트)
INTERPMVP는 필드-레벨 신택스 요소 BMVTYPE가 매크로블록 유형이 보간임을 가리키는 경우 B-필드 매크로블록에 존재하는 1-비트 신택스 요소이다. INTERPMVP = 1인 경우, 보간 MV가 존재하고, 그렇지 않은 경우 이는 존재하지 않는다.
B 매크로블록 움직임 벡터 1( BMV1 )(가변 크기)
BMV1은 매크로블록에 대한 첫번째 움직임 벡터를 차분 인코딩하는 가변-크기의 신택스 요소이다.
B 매크로블록 움직임 벡터 2( BMV2 )(가변 크기)
BMV2는 보간 모드가 사용되는 경우 인터레이스형 B-프레임 매크로블록 및 인터레이스형 B-필드 매크로블록에 존재하는 가변 크기의 신택스 요소이다. 이 신택스 요소는 매크로블록에 대한 두번째 움직임 벡터를 차분 인코딩한다.
4 MV 블록 패턴(4 MVBP )(4 비트)
4MVBP 신택스 요소는 4개의 루미넌스 블록 중 어느 것이 영이 아닌 움직임 벡터 차분을 포함하는지를 가리키며, 이의 사용법은 이하에서 상세히 기술한다.
블록-레벨 움직임 벡터 데이터( BLKMVDATA )(가변 크기)
BLKMVDATA는 블록에 대한 움직임 정보를 포함하는 가변 크기의 신택스 요소이며, 4MV 매크로블록에 존재한다.
필드 변환 플래그( FIELDTX )(1 비트)
FIELDTX는 인터레이스형 B-프레임 인트라-코딩된 매크로블록에 존재하는 1-비트 신택스이다. 이 신택스 요소는 매크로블록이 프레임 또는 필드 코딩되어 있는지(기본적으로, 매크로블록의 내부 구성)를 가리킨다. FIELDTX = 1은 매크로블록이 필드-코딩되어 있음을 가리킨다. 그렇지 않은 경우, 매크로블록은 프레임-코딩되어 있다. 인터-코딩된 매크로블록에서, 이 신택스 요소는 MBMODE로부터 추론될 수 있다.
직접 B 프레임 코딩 모드 ( DIRECTBBIT )(1 비트)
DIRECTBBIT는 프레임 레벨 신택스 요소 DIRECTMB가 미처리 모드가 사용됨을 가리키는 경우 인터레이스형 B-프레임 매크로블록에 존재하는 1-비트 신택스 요소이다. DIRECTBBIT = 1인 경우, 매크로블록은 직접 모드를 사용하여 코딩된다.
B 프레임 MV 전환( MVSW )(1 비트)
MVSW는 MB가 필드 모드에 있고 또 BMVTYPE이 전방 또는 후방인 경우에 인터레이스형 B-프레임 매크로블록에 존재하는 1-비트 신택스 요소이다. MVSW = 1인 경우, MV 유형 및 예측 유형은 상부 필드에서 하부 필드로 가면서 전방에서 후방으로(또는 후방에서 전방으로) 변화된다.
2 움직임 벡터 블록 패턴(2 MVBP )(가변 크기)
2MVBP는 인터레이스형 B-프레임 매크로블록에 존재하는 가변 크기의 신택스 요소이다. 이 신택스 요소는 MBMODE 신택스 요소가 매크로블록이 하나의 움직임 벡터를 포함함을 가리키는 경우 또 매크로블록이 보간 매크로블록인 경우에 존재한다. 이 경우, 2MVBP는 2개의 움직임 벡터(전방 및 후방 움직임 벡터) 중 어느 것이 존재하는지를 가리킨다.
움직임 벡터 데이터( MVDATA )(가변 크기)
MVDATA는 매크로블록에 대한 움직임 벡터(들)에대한 차분을 인코딩하는 가변 크기의 신택스 요소이며, 그의 디코딩에 대해서는 이하에서 상세히 기술한다.
도 58은 결합 구현에서 인터레이스형 BI-필드에 대한 매크로블록-레벨 비트스트림 신택스를 나타낸 도면이다. 결합 구현에서, 인터레이스형 BI-필드에 대한 매크로블록-레벨 비트스트림 신택스는 인터레이스형 I-필드와 동일한 신택스 요소를 사용한다.
B. 인터레이스형 B-필드의 디코딩
이하의 섹션들은 결합 구현에서 인터레이스형 B-필드를 디코딩하는 프로세스를 설명한다.
1. 프레임/필드 계층 디코딩
인터레이스형 B-필드는 2가지 유형, 즉 1MV 또는 혼합-MV 중 하나일 수 있다.
1MV 인터레이스형 B-필드에서, 그 매크로블록의 예측 유형(BMVTYPE)에 따라 예측 블록의 변위를 나타내기 위해 0, 1 또는 2개의 움직임 벡터가 사용된다. BMVTYPE이 DIRECT와 같은 경우, 전방 및 후방 움직임 벡터가 추론되고 어떤 추가의 움직임 벡터도 명시적으로 신호되지 않는다. BMVTYPE이 INTERPOLATED인 경우, 2개의 움직임 벡터, 즉 전방 및 후방이 디코딩된다. 전방 및 후방 경우에, 단지 하나의 움직임 벡터만이 디코딩된다. 1MV 모드는 MVMODE 픽처 계층 신택스 요소에 의해 신호된다.
혼합-MV 인터레이스형 B-필드에서, 각각의 매크로블록은 1MV 또는 4MV 매크로블록으로서 인코딩될 수 있다. 4MV 매크로블록에서, 4개의 루미넌스 블록 각각은 그와 연관된 움직임 벡터를 갖는다. 게다가, 4MV 매크로블록은 인터레이스형 B-필드에서의 전방 또는 후방 예측 유형(BMVTYPE)에만 연관되어 있을 수 있다. 각각의 매크로블록에 대한 1MV 또는 4MV 모드는 모든 매크로블록에서의 MBMODE 신택스 요소로 표시된다. 혼합-MV 모드는 MVMODE 픽처 계층 신택스 요소에 의해 신호된다.
2. 매크로블록 계층 디코딩
인터레이스형 B-필드에서의 매크로블록은 3가지 가능한 유형, 즉 1MV, 4MV 및 인트라 중 하나일 수 있다. 게다가, 매크로블록은 4가지 예측 유형(BMVTYPE), 즉 전방, 후방, 직접 또는 보간 중 하나일 수 있다. 매크로블록 유형은 매크로블록 계층에서의 MBMODE 신택스 요소로 신호된다. 예측 유형은 각각의 매크로블록에 대한 전방/비전방을 신호하는 프레임-레벨 비트플레인 FORWARDMB 및 예측 유형이 비전방인 경우에 매크로블록 레벨 BMVTYPE 신택스 요소의 조합으로 신호된다.
이하의 섹션들은 1MV 및 4MV 유형 및 이들이 어떻게 신호되는지를 설명한다.
인터레이스형 B-필드에서의 1 MV 매크로블록
1MV 매크로블록은 1MV 및 혼합-MV 인터레이스형 B-필드에 있을 수 있다. 1MV 매크로블록에서, 단일의 움직임 벡터가 매크로블록 내의 6개 블록 모두에 대해 현재 및 참조 픽처 간의 변위를 나타낸다. 1MV 매크로블록의 경우, 매크로블록 계층에서의 MBMODE 신택스 요소는 이하의 3가지를 가리킨다.
1) 매크로블록 유형이 1MV임.
2) CBPCY 신택스 요소가 존재하는지 여부.
3) BMV1 신택스 요소가 존재하는지 여부.
MBMODE 신택스 요소가 BMV1 신택스 요소가 존재함을 가리키는 경우, BMV1 신택스 요소는 매크로블록 계층에서 대응하는 위치에 존재한다. BMV1 신택스 요소는 움직임 벡터 차분을 인코딩한다. 움직임 벡터 차분은 움직임 벡터를 재구성하기 위해 움직임 벡터 예측자와 합성된다. MBMODE 신택스 요소가 BMV1 신택스 요소가 존재하지 않음을 가리키는 경우, 움직임 벡터 차분은 0인 것으로 가정되고 따라서 움직임 벡터는 움직임 벡터 예측자와 동일하다.
MBMODE 신택스 요소가 CBPCY 신택스 요소가 존재함을 가리키는 경우, CBPCY 신택스 요소는 매크로블록 계층에서 대응하는 위치에 존재한다. CBPCY는 6개의 블록 중 어느 것이 블록 계층에 코딩되는지를 가리킨다. MBMODE 신택스 요소가 CBPCY가 존재하지 않음을 가리키는 경우, CBPCY는 0인 것으로 가정되고 매크로블록에서의 6개 블록 중 어느 것에 대해서도 블록 데이터가 존재하지 않는다.
게다가, 매크로블록 유형이 1MV이고 매크로블록의 예측 유형이 보간인 경우, 인코더는 두번째 움직임 벡터 차분 BMV2가 존재하는지 여부를 신호하기 위해 INTERPMVP 신택스 요소를 사용한다. 존재하는 경우, 디코더는 BMV1 바로 다음에 오는 BMV2를 디코딩한다. 그렇지 않은 경우, BMV2에 대한 움직임 벡터 차분은 0인 것으로 가정되고, 두번째 움직임 벡터는 움직임 벡터 예측자와 같다.
예측 유형이 보간인 경우, BMV1은 전방 움직임 벡터에 대응하고 BMV2는 후방 움직임 벡터에 대응한다.
인터레이스형 B-필드에서의 4 MV 매크로블록
4MV 매크로블록은 혼합-MV B-필드 픽처에서만 있을 수 있으며 전방 및 후방 예측 유형으로 제한된다. 4MV 매크로블록에서, 4개의 루미넌스 블록 각각은 관련 움직임 벡터를 갖는다. 크로마 블록에 대한 변위는 4개의 루미넌스 움직임 벡터로부터 도출된다. 혼합-MV 인터레이스형 B-필드에서, 4MV 매크로블록은 전방 및 후방 예측 유형에만 관련될 수 있다.
4MV 매크로블록의 경우, 매크로블록 계층에서의 MBMODE 신택스 요소는 이하의 3가지를 가리킨다.
1) 매크로블록 유형이 4MV임.
2) CBPCY 신택스 요소가 존재하는지 여부.
3) 4MVBP 신택스 요소가 존재하는지 여부.
4MVBP 신택스 요소는 4개의 루미넌스 블록 중 어느 것이 영이 아닌 움직임 벡터 차분을 포함하는지를 가리킨다. 4MVBP 신택스 요소는 0 내지 15의 값으로 디코딩된다. 4MVBP에서의 4개의 비트 위치 각각에 대해, 0의 값은 그 블록에 대해 움직임 벡터 차분(BLKMVDATA)이 존재하지 않음을 가리키고 움직임 벡터 차분은 0인 것으로 가정된다. 1의 값은 대응하는 위치에서 그 블록에 대해 움직임 벡터 차분(BLKMVDATA)이 존재함을 가리킨다. 예를 들어, 4MVBP가 1100(이진)의 값으로 디코딩되는 경우, 비트스트림은 블록 0 및 1에 대한 BLKMVDATA를 포함하고 블록 2 및 3에 대한 BLKMVDATA가 존재하지 않는다.
MBMODE 신택스 요소가 4MVBP 신택스 요소가 존재하지 않음을 가리키는 경우, 4개의 루미넌스 블록 모두에 대해 움직임 벡터 차분 데이터(BLKMVDATA)가 존재하는 것으로 가정된다.
MVMODE 신택스 요소가 혼합-MV 또는 모두-1MV를 가리키는지에 따라, MBMODE는 다음과 같이 정보를 신호한다. 이하의 표 8은 MBMODE 요소가 모두-1MV 픽처에서의 매크로블록에 관한 정보를 어떻게 신호하는지를 보여준다.
모두-1MV 픽처에서의 매크로블록 모드
인덱스 매크로블록 유형 CBP 존재 MV 존재
0 인트라 아니오 적용없음
1 인트라 예 적용없음
2 1MV 아니오 아니오
3 1MV 아니오 예
4 1MV 예 아니오
5 1MV 예 예
이하의 표 9는 MBMODE 요소가 혼합-MV 픽처에서의 매크로블록에 관한 정보를 어떻게 신호하는지를 보여준다.
혼합-1MV 픽처에서의 매크로블록 모드
인덱스 매크로블록 유형 CBP 존재 MV 존재
0 인트라 아니오 적용없음
1 인트라 예 적용없음
2 1MV 아니오 아니오
3 1MV 아니오 예
4 1MV 예 아니오
5 1MV 예 예
6 4MV 아니오 적용없음
7 4MV 예 적용없음
8개의 코딩 테이블 중 하나가 MBMODE를 신호하는 데 사용된다. 사용되는 특정의 테이블은 MBMODETAB 신택스 요소를 통해 신호된다.
이하의 섹션들은 예측 유형 디코딩 및 직접 모드 움직임 벡터의 디코딩에 대해 설명한다.
인터레이스형 B-필드에서의 예측 유형 디코딩( BMVTYPE )
예측 유형은 이하의 규칙에 따라 디코딩된다. 픽처 레벨 비트플레인 FORWARDMB가 매크로블록이 전방 유형임을 가리키는 경우, 그 매크로블록에 대한 예측 유형은 전방으로 설정된다. FORWARDMB 요소가 미처리(raw)로서 코딩되어 있는 경우, 인코더/디코더는 예측 유형이 전방인지 여부를 결정하기 위해 매크로블록 레벨에서 부가의 비트 FORWARDBIT를 사용한다.
예측 유형이 비전방인 경우 또 MBMODE 신택스 요소(혼합-MV B 픽처에서만 가능함)에 의해 신호되는 바와 같이 매크로블록이 4MV를 사용하는 경우, 디코더는 예측 유형이 후방인 것으로 직접 추론할 수 있는데 그 이유는 전방 및 후방 유형만이 4MV 모드와 연관될 수 있기 때문이다. 그렇지 않은 경우, 디코더는 BMVTYPE 신택스 요소를 명시적으로 디코딩한다.
인터레이스형 B-필드에서의 직접 모드 움직임 벡터의 디코딩
인터레이스형 B-필드에서의 직접 모드 움직임 벡터를 디코딩하기 위해, 디코더는 먼저 이전에 디코딩된 (즉, 시간상 미래의) 앵커(I 또는 P) 픽처로부터의 움직임 벡터를 버퍼링한다. 이들 중에서, 디코더는 상부 B-필드에서의 직접 모드 움직임 벡터를 계산하기 위해 상부 필드에 대응하는 버퍼링된 움직임 벡터를 예측자로서 사용하고 하부 B-필드의 움직임 벡터를 계산하기 위해 하부 필드에 대응하는 것을 사용한다. 예를 들어, 필드 z(z = 상부/하부)에서의 매크로블록(x,y)은 이전에 디코딩된 I 또는 P 필드 z의 매크로블록(x,y)(즉, 현재 필드와 동일 극성의 앵커 필드에서의 동일 위치의 매크로블록)로부터 버퍼링된 움직임 벡터를 참조하게 된다.
앵커 픽처로부터의 버퍼링된 움직임 벡터가 인트라인 경우(이전에 디코딩된 필드 z가 I-필드인 경우 등) 또는 앵커 픽처가 P-필드이지만 매크로블록(x,y)이 인트라-코딩되어 있는 경우, 디코더는 버퍼링된 움직임 벡터를 (0,0)로서 취급한다. 동일 위치의 매크로블록이 1MV인 경우, 디코더는 그 움직임 벡터를 사용한다. 동일 위치의 매크로블록이 4MV인 경우, 디코더는 움직임 벡터 예측자를 계산하기 위해 도 53의 의사 코드(5300)에 기술된 논리를 사용한다.
의사 코드(5300)에서, SelectDirectModeMVFromColocatedMB는 직접 모드 계산에서 사용할 움직임 벡터 예측자를 도출한다. 디코더는 이전에 디코딩된 앵커 픽처로부터의 모든 움직임 벡터를 버퍼링하고 이어서 B-필드의 디코딩 동안에 상기 직접 모드 규칙을 적용할 수 있거나, 디코더는 앵커 필드를 디코딩하면서 상기 직접 모드 규칙을 적용하고 B-필드에 대한 결과 움직임 벡터를 버퍼링할 수 있다.
상기 획득된 움직임 벡터를 가지고, 디코더는 스케일링 논리(도 19의 Scale_Direct_MV)를 적용한다. Scale_Direct_MV는 전방 및 후방 지향 움직임 벡터를 획득한다. Scale_Direct_MV의 결과 상부 및 하부 필드 둘다를 가리키는 전방 및 후방 움직임 벡터가 얻어질 수 있다. 이것이 효과적인 이유는 직접 움직임 벡터가 인코더에 의해 평가되고 또 이들이 양호한 예측을 제공하는 경우에만 선택되기 때문이며 또한 인터레이스형 B-필드가 전방 및 후방 방향 둘다에서 2개의 참조 필드를 사용하기 때문이다.
대체 구현에서, 어떤 버퍼링도 수반하지 않는 프로세스를 포함하여 직접 모드에서 스케일링하기 위해 움직임 벡터를 생성하는 임의의 다른 프로세스가 사용될 수 있으며, 이는 메모리 제약된 장치(예를 들어, 제로-바이어스 라플라스 분포(zero-biased Laplacian distribution)를 시뮬레이션하기 위해 난수 발생기를 사용함)에서 유용할 수 있다. 이러한 프로세스가 여전히 동작하는 이유는 양호한 인코더라면 직접 모드 움직임 벡터에 대한 좋지 않은 추측을 폐기하고 보다 정확한 것을 비트스트림이 남겨두기 때문이다.
3. 움직임 벡터 디코딩 프로세스
이하의 섹션들은 결합 구현에서 인터레이스형 B-필드의 블록 및 매크로블록에 대한 움직임 벡터 디코딩 프로세스에 대해 설명한다.
전방 및 후방 예측 컨텍스트 채우기
전방 및 후방 움직임 벡터는 개별적으로 버퍼링되고 각각 전방 및 후방 움직임 벡터를 예측하는 데 사용된다. 전방 및 후방 컨텍스트에 대해 개별적인 버퍼를 사용하는 것은 예를 들어 상기 섹션 X에 설명되어 있다. 움직임 벡터 예측자의 선택을 위한 기술은 배경의 섹션 III, 상세한 설명의 섹션 III 및 명세서의 다른 부분에 설명되어 있다.
전방 움직임 벡터가 디코딩될 때 후방 버퍼("없는 방향" 버퍼)를 예측된 움직임 벡터로 채우는 경우(또는 후방 움직임 벡터가 디코딩될 때 전방 버퍼를 채우기 위해) 부가할 2가지 부가적인 상세가 있다. 일반적으로, 인코더/디코더는 예측을 형성하기 위해 움직임 벡터 유형 정보(예를 들어, 1MV)는 물론 이전에 디코딩된 움직임 벡터의 극성 둘다를 사용할 수 있다. 그렇지만, "구멍 채우기" 경우에, 인코더/디코더는 움직임 벡터 유형 정보 또는 극성 정보(예를 들어, 동일 극성 또는 반대 극성)를 갖지 않는데 그 이유는 인코더/디코더가 없는-방향 유형의 움직임 벡터를 실제로 디코딩하지 않았기 때문이다. 이 결합 구현에서, 인코더/디코더는 움직임 벡터 유형을 1MV로 설정하고 우세 필드 움직임 벡터를 예측자로서 선택한다. 도 47의 의사 코드(4700)는 이 결합 구현에서 극성 선택 프로세스에 대해 설명한다.
인트라 코딩된 매크로블록의 경우, 전방 및 후방 움직임 예측 플레인 둘다를 채우는 데 "인트라 움직임 벡터"가 사용된다. "인트라 움직임 벡터"의 일관성있는 표현은 디코더 구현에 의해 선택될 수 있다. 예를 들어, 움직임 벡터가 2-바이트 짧은 어레이(2-byte short array)에 저장되는 경우, "인트라 움직임 벡터"는 매크로블록이 인트라로서 코딩되었음을 나타내기 위해 움직임 벡터 어레이에 채워지는 고유한 큰 상수로서 표현될 수 있다.
B-필드에서의 전방 움직임 벡터 예측
전방 참조 프레임 거리는 BFRACTION 신택스 요소로부터 또 REFDIST 신택스 요소로부터 계산된다. 전방 움직임 벡터 예측은 상기 섹션 X에 설명한 바와 같이 진행된다.
B-필드에서의 후방 움직임 벡터 예측
후방 참조 프레임 거리는 BFRACTION 신택스 요소로부터 또 REFDIST 신택스 요소로부터 계산된다. 전방 움직임 벡터 예측은 상기 섹션 X에 설명한 바와 같이 진행된다.
움직임 벡터 차분 디코딩
BMV1, BMV2, 또는 BLKMVDATA 신택스 요소는 매크로블록 또는 매크로블록에서의 블록에 대한 움직임 정보를 인코딩한다. 1MV 매크로블록은 BMV1 및 BMV2 신택스 요소를 가지며, 4MV 매크로블록은 0 내지 4개의 BLKMVDATA 요소를 가질 수 있다.
예측 유형(BMVTYPE)이 보간인 경우, BMV1은 전방에 대응하고 BMV2는 후방 움직임 벡터 잔차에 대응한다.
이하의 섹션들은 B-픽처에 적용되는 2-참조 경우에 대한 움직임 벡터 차분을 어떻게 계산하는지를 설명한다.
2-참조 필드 픽처에서의 움직임 벡터 차분
2-참조 필드 픽처는 필드 픽처를 사용하여 인터레이스 프레임을 코딩할 때 발생된다. 이 시퀀스의 각각의 프레임은 2개의 필드로 분할되고, 각 필드는 기본적으로 순차 코드 경로인 것을 사용하여 코딩된다.
2개의 참조 필드를 갖는 필드 픽처(인터레이스형 B-필드를 갖는 픽처 등)에서, 매크로블록 계층에서의 각각의 MVDATA 또는 BLKMVDATA 신택스 요소는 이하의 3가지, 즉 1) 수평 움직임 벡터 차분 성분, 2) 수직 움직임 벡터 차분 성분, 및 3) 우세 또는 비우세 예측자가 사용되는지, 즉 2개의 필드 중 어느 것이 움직임 벡터에 의해 참조되는지를 공동으로 인코딩한다.
MVDATA 또는 BLKMVDATA 신택스 요소는 고정 길이 코드워드가 뒤따라 오는 가변 길이 허프만 코드워드이다. 허프만 코드워드의 값은 고정 길이 코드워드의 크기를 결정한다. 픽처 계층에서의 MVTAB 신택스 요소는 가변 크기의 코드워드를 디코딩하는 데 사용되는 허프만 테이블을 지정한다. 도 61a의 의사 코드(6100)는 움직임 벡터 차분 및 우세/비우세 예측자 정보가 어떻게 디코딩되는지를 나타낸다.
값 predictor_flag, dmv_x 및 dmv_y는 도 61a의 의사 코드(6100)에서 계산된다. 의사 코드(6100)에서의 값들은 다음과 같이 정의된다.
dmv_x: 차분 수평 움직임 벡터 성분
dmv_y: 차분 수직 움직임 벡터 성분
k_x, k_y: 긴 움직임 벡터(long motion vector)에 대한 고정 길이
k_x 및 k_y는 MVRANGE 심볼에 의해 정의된 바와 같이 움직임 벡터 범위에 의존한다.
MVRANGE에 의해 지정된 k_x 및 k_y
MVRANGE k_x k_y range_x range_y
0(디폴트) 9 8 256 128
10 10 9 512 256
110 12 10 2048 512
111 13 11 2048 1024
extend_x: 수평 움직임 벡터 차분에 대한 확장된 범위,
extend_y: 수직 움직임 벡터 차분에 대한 확장된 범위,
extend_x 및 extend_y는 DMVRANGE 픽처 필드 신택스 요소로부터 도출된다. DMVRANGE가 수평 성분에 대한 확장된 범위가 사용됨을 가리키는 경우, extend_x = 1이다. 그렇지 않은 경우, extend_x = 0이다. 이와 유사하게, DMVRANGE가 수직 성분에 대한 확장된 범위가 사용됨을 가리키는 경우, extend_y = 1이다. 그렇지 않은 경우, extend_y = 0이다.
변수 predictor_flag는 우세 또는 비우세 움직임 벡터 예측자가 사용되는지를 가리키는 이진 플래그이다(0 = 우세 예측자 사용됨, 1 = 비우세 예측자 사용됨). offset_table 어레이 및 size_table 어레이는 도 61a에 도시된 바와 같이 정의된다.
도 61b의 의사 코드(6110)는 대체 결합 구현에서 2-참조 필드에 대하 움직임 벡터 차분이 어떻게 디코딩되는지를 나타낸다. 의사 코드(6110)는 움직임 벡터 차분을 다른 방식으로 디코딩한다. 예를 들어, 의사 코드(6110)는 확장된 움직임 벡터 차분 범위의 처리를 생략한다.
움직임 벡터 예측자
움직임 벡터는 이전의 섹션에서 계산된 움직임 벡터 차분을 움직임 벡터 예측자에 가산함으로써 계산된다. 이하의 섹션들은 이 결합 구현에서 1MV 및 혼합-MV 인터레이스형 B-필드에서의 매크로블록에 대해 움직임 벡터 예측자가 어떻게 계산되는지를 설명한다.
1 MV 인터레이스형 B-필드에서의 움직임 벡터 예측자
도 5a 및 도 5b는 1MV 매크로블록에 대한 후보 움직임 벡터 예측자에 대해 고려되는 매크로블록의 위치를 나타낸 도면이다. 후보 예측자는 매크로블록이 그행에서 마지막 매크로블록인 경우를 제외하고는 좌측, 상부 및 우측-상부 매크로블록으로부터 취해진다. 이 경우, 예측자 B는 우측-상부 대신에 좌측-상부 매크로블록으로부터 취해진다. 프레임이 1 매크로블록 폭인 특별한 경우에, 예측자는 항상 예측자 A(상부 예측자)이다. 현재 매크로블록이 상부 행에 있는 특별한 경우(A 및 B 예측자가 없음 또는 예측자가 전혀 없음)는 도33a 내지 도 33f를 참조하여 전술하였으며, 도 62a 내지 도 62f를 참조하여 이하에서 기술된다.
혼합- MV 인터레이스형 B-필드에서의 움직임 벡터 예측자
도 6a 내지 도 10은 혼합-MV 인터레이스형 B-필드에서의 1MV 또는 4MV 매크로블록에 대한 움직임 벡터의 후보 움직임 벡터에 대해 고려되는 블록 또는 매크로블록의 위치를 나타낸 것이다.
인터레이스형 B-필드에서의 우세 및 비우세 MV 예측자
각각의 인터-코딩된 매크로블록의 경우, 2개의 움직임 벡터 예측자가 도출된다. 하나는 우세 필드로부터이고 다른 하나는 비우세 필드로부터이다. 우세 필드는 이웃에서의 실제값 움직임 벡터 예측자 후보의 대부분을 포함하는 필드인 것으로 간주된다. 동수인 경우, 반대 필드에 대한 움직임 벡터 예측자가 우세 예측자인 것으로 간주된다(왜냐하면 시간상 더 가깝기 때문임). 인트라-코딩된 매크로블록은 우세/비우세 예측자의 계산에서 고려되지 않는다. 모든 후보 예측자 매크로블록이 인트라-코딩되어 있는 경우, 우세 및 비우세 움직임 벡터 예측자는 0으로 설정되고, 우세 예측자는 반대 필드로부터 온 것으로 간주된다.
인터레이스형 B-필드에서의 움직임 벡터 예측자 계산
블록 또는 매크로블록의 각각의 움직임 벡터에 대해 2개의 움직임 벡터 예측자가 계산된다, 즉 각각의 참조에 대해 하나씩 계산된다. 도 62a 내지 도 62f의 의사 코드(6200)는 결합 구현에서 2-참조 경우에 움직임 벡터 예측자가 어떻게 계산되는지를 설명한다. (도 33a 내지 도 33f의 의사 코드(3300)는 다른 구현에서 2-참조 경우에 대해 움직임 벡터 예측자가 어떻게 계산되는지를 설명한다.) 2-참조 픽처에서, 현재 필드는 2개의 가장 최근의 필드를 참조할 수 있다. 한 예측자는 동일 극성의 참조 필드에 대한 것이고 다른 하나는 반대 극성을 갖는 참조 필드에 대한 것이다.
인터레이스형 B-필드에서의 움직임 벡터 재구성
이하의 섹션들은 1MV 및 4MV 매크로블록에 대한 루미넌스 및 크로마 움직임 벡터를 어떻게 재구성하는지를 설명한다. 움직임 벡터가 재구성된 후에, 이는 근방의 매크로블록에 대한 움직임 벡터를 예측하기 위해 차후에 이웃 움직임 벡터로서 사용될 수 있다. 움직임 벡터는 "동일" 또는 "반대"의 연관 극성을 가지게 되고 움직임 벡터 예측을 위한 다른 필드 극성에대한 움직임 벡터 예측자를 도출하는 데 사용될 수 있다.
인터레이스형 B-필드에서의 루미넌스 움직임 벡터 재구성
모든 경우(1MV 및 4MV 매크로블록)에, 루미넌스 움직임 벡터는 다음과 같이 차분을 예측자에 가산함으로써 재구성된다.
mv_x = (dmv_x + predictor_x) smod range_x
mv_y = (dmv_y + predictor_y) smod range_y
모듈러스 연산 "smod"은 다음과 같이 정의되는 부호를 갖는 모듈러스(signed modulus)이다.
A smod b = ((A + b) % (2*b)) - b
이것은 재구성된 벡터가 유효하도록 보장해준다. (A smod b)는 -b에서 b-1 내에 있다. range_x 및 range_y는 MVRANGE에 의존한다.
인터레이스형 B-필드 픽처가 2개의 참조 픽처를 사용하기 때문에, 움직임 벡터 차분을 디코딩한 후에 도출된 predictor_flag는 어느 필드가 참조인지를 판정하기 위해 움직임 벡터 예측으로부터 도출된 dominantpredictor의 값과 합성된다. 도 63의 의사 코드(6300)는 참조 필드가 어떻게 판정되는지를 설명한다.
1MV 매크로블록에서, 매크로블록의 루미넌스 성분을 구성하는 4개의 블록에 대해 단일의 움직임 벡터가 있게 된다. MBMODE 신택스 요소가 매크로블록 계층에서 MV 데이터가 존재하지 않음을 가리키는 경우, dmv_x = 0이고 dmv_y = 0이다(mv_x = predictor_x 이고 mv_y = predictor_y임).
4MV 매크로블록에서, 매크로블록에서의 인터-코딩된 루미넌스 블록 각각은 그 자신의 움직임 벡터를 갖는다. 따라서, 각각의 4MV 매크로블록에 0 내지 4개의 루미넌스 움직임 벡터가 있게 된다. 4MVBP 신택스 요소가 블록에 대해 움직임 벡터 정보가 존재하지 않음을 가리키는 경우, 그 블록에 대해 dmv_x = 0이고 dmv_y = 0이다(mv_x = predictor_x이고 mv_y = predictor_y임).
크로마 움직임 벡터 재구성
크로마 움직임 벡터는 루미넌스 움직임 벡터로부터 도출된다. 또한, 4MV 매크로블록의 경우, 크로마 블록을 인터 또는 인트라로서 코딩할지에 관한 결정은 루미넌스 블록 또는 필드의 상태에 기초하여 행해진다.
C. 인터레이스형 P-프레임 디코딩
결합 구현에서 인터레이스형 B-프레임을 디코딩하기 위한 프로세스에 대해 설명하기 전에, 인터레이스형 P-프레임을 디코딩하는 프로세스에 대해 설명한다. 인터레이스형 B-프레임을 디코딩하는 프로세스를 설명하는 섹션은 이 섹션에서 논의된 개념을 참조하여 진행된다.
1. 인터레이스형 P-프레임의 매크로블록 계층 디코딩
인터레이스형 P-프레임에서, 각각의 매크로블록은 하나 또는 4개의 움직임 벡터를 사용하여 프레임 모드로 또는 2개 또는 4개의 움직임 벡터를 사용하여 필드 모드로 움직임 보상될 수 있다. 인터-코딩되어 있는 매크로블록은 인트라 블록을 포함하지 않는다. 게다가, 움직임 보상 후의 잔차는 프레임 변환 모드 또는 필드 변환 모드로 코딩될 수 있다. 보다 구체적으로는, 잔차의 루미넌스 성분은 그것이 필드 변환 모드로 코딩되어 있고 프레임 변환 모드로는 불변인 채로 있으면서 크로마 성분이 동일하게 유지되는 경우 필드에 따라 재정렬된다. 매크로블록도 역시 인트라로서 코딩될 수 있다.
움직임 보상은 4개(필드/프레임 둘다)의 움직임 벡터를 포함하지 않도록 제한될 수 있으며, 이것은 4MVSWITCH를 통해 신호된다. 움직임 보상 및 잔차 코딩의 유형은 MBMODE 및 SKIPMB를 통해 각각의 매크로블록에 대해 공동으로 표시된다. MBMODE는 4MVSWITCH에 따라 서로 다른 일련의 테이블을 이용한다.
인터레이스형 P-프레임에서의 매크로블록은 5가지 유형, 즉 1MV, 2 필드 MV, 4 프레임 MV, 4 필드 MV 및 인트라로 분류된다. 처음 4가지 유형의 매크로블록은 인터-코딩되고 마지막 유형은 매크로블록이 인트라-코딩되어 있음을 가리킨다. 매크로블록 유형은 건너뜀 비트(skip bit)와 함께 매크로블록 계층에서 MBMODE 신택스 요소에 의해 신호된다. MBMODE는 서로 다른 유형의 매크로블록에 대한 매크로블록에 관한 여러가지 정보와 함께 매크로블록 유형을 공동으로 인코딩한다.
건너뜀 매크로블록 시그널링
SKIPMB 필드는 매크로블록에 대한 건너뜀 조건을 가리킨다. SKIPMB 필드가 1인 경우, 현재 매크로블록은 건너뛴 것으로 말해지며, SKIPMB 필드 이후에 다른 정보가 전송되지 않는다. 건너뜀 조건은 현재 매크로블록이 0 차분 움직임 벡터를 갖는 1MV이고(즉, 매크로블록이 그의 1MV 움직임 예측자를 사용하여 움직임 보상되고) 코딩된 블록이 없음(CBP = 0)을 의미한다.
반면에, SKIPMB가 1이 아닌 경우, MBMODE 필드는 매크로블록의 유형 및 이하의 섹션에 기술된 정보 등의 현재 매크로블록에 관한 다른 정보를 나타내도록 디코딩된다.
매크로블록 모드 시그널링
MBMODE에 의해 표시되는 15가지 가능한 사건이 있으며, MBMODE는 매크로블록의 유형(1MV, 4 프레임 MV, 2 필드 MV, 4 필드 MV 또는 인트라), 인터-코딩된 매크로블록에 대한 변환의 유형(즉, 필드 또는 프레임 또는 코딩된 블록 없음) 및 1MV 매크로블록에 대한 차분 움직임 벡터가 있는지 여부를 공동으로 지정한다.
<MVP>가 영이 아닌 1MV 차분 움직임 벡터가 있는지 여부를 신호하는 이진 사건(binary event)을 표시하는 것으로 한다. <필드/프레임 변환>이 매크로블록의 잔차가 프레임 변환 코딩되는지, 필드 변환 코딩되는지 또는 제로 코딩된 블록(즉, CBP = 0)인지를 신호하는 3원 사건(ternary event)을 표시하는 것으로 한다. MBMODE는 이하의 일련의 사건을 공동으로 신호한다.
MBMODE = {<1MV, MVP, 필드/프레임 변환>, <2 필드 MV, 필드/프레임 변환>, <4 프레임 MV, 필드/프레임 변환>, <4 필드 MV, 필드/프레임 변환>, <INTRA>}
<1MV, MVP = 0, CBP = 0>인 사건을 제외하며, 이는 건너뜀 조건으로 신호된다.
인터-코딩된 매크로블록의 경우, MBMODE에서의 필드/프레임 변환 사건이 코딩된 블록 없음을 가리키는 경우, CBPCY 신택스 요소는 디코딩되지 않는다. 반면에, MBMODE에서의 필드/프레임 변환 사건이 필드 또는 프레임 변환을 가리키는 경우, CBPCY는 디코딩된다. 디코딩된 사건 <필드/프레임 변환>은 플래그 FIELDTX를 설정하는 데 사용된다. 이 사건이 매크로블록이 필드 변환 코딩되어 있음을 가리키는 경우, FIELDTX는 1로 설정된다. 사건이 매크로블록이 프레임 변환 코딩되어 있음을 가리키는 경우, FIELDTX는 0으로 설정된다. 사건이 제로-코딩된 블록을 가리키는 경우, FIELDTX는 움직임 벡터와 동일한 유형으로 설정된다, 즉 FIELDMV인 경우 FIELDTX가 1로 설정되고, FRAMEMV인 경우 0으로 설정된다.
비-1MV 인터-코딩된 매크로블록의 경우, 제로 차분 움직임 벡터 사건을 가리키기 위해 부가의 필드가 전송된다. 2 필드 MV 매크로블록의 경우, 2개의 움직임 벡터 중 어느 것이 영이 아닌 차분 움직임 벡터를 포함하는지를 가리키기 위해 2MVBP 필드가 전송된다. 이와 유사하게, 4개의 움직임 벡터 중 어느 것이 영이 아닌 차분 움직임 벡터를 포함하는지를 가리키기 위해 4MVBP 필드가 전송된다.
인트라-코딩된 매크로블록의 경우, 필드/프레임 변환 및 제로 코딩된 블록은 별도의 필드에 코딩된다.
2. 인터레이스형 P-프레임에 대한 움직임 벡터 디코딩
인터레이스형 P-프레임에 대한 움직임 벡터 예측자
현재 매크로블록에 대한 움직임 벡터 예측자(들)을 계산하는 프로세스는 2 단계로 이루어져 있다. 첫째, 현재 매크로블록에 대한 3개의 후보 움직임 벡터는 그의 이웃하는 매크로블록으로부터 수집된다. 둘째, 현재 매크로블록에 대한 움직임 벡터 예측자(들)는 후보 움직임 벡터 세트로부터 계산된다. 도 40a 및 도 40b는 후보 움직임 벡터가 수집되는 이웃 매크로블록을 나타낸 것이다. 후보 움직임 벡터의 수집 순서가 중요하다. 이 결합 구현에서, 수집 순서는 항상 A에서 시작하여 B로 가고 C에서 끝난다. 유의할 점은 대응하는 블록이 프레임 경계 밖에 있는 경우 또는 대응하는 블록이 다른 슬라이스의 일부인 경우 예측자 후보가 존재하지 않는 것으로 간주된다는 것이다. 따라서, 움직임 벡터 예측은 슬라이스 경계에 걸쳐 수행되지 않는다.
이하의 섹션들은 후보 움직임 벡터가 다른 유형의 매크로블록에 대해 어떻게 수집되는지 및 움직임 벡터 예측자가 어떻게 계산되는지를 설명한다.
1 MV 후보 움직임 벡터
이 결합 구현에서, 도 64의 의사 코드(6400)는 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다.
4 프레임 MV 후보 움직임 벡터
4 프레임 MV 매크로블록의 경우, 현재 매크로블록에서의 4개의 프레임 블록 움직임 벡터 각각에 대해, 이웃 블록들로부터의 후보 움직임 벡터가 수집된다. 이 결합 구현에서, 도 65의 의사 코드(6500)는 좌측 상부 프레임 블록 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다. 도 66의 의사 코드(6600)는 우측 상부 프레임 블록 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다. 도 67의 의사 코드(6700)는 좌측 하부 프레임 블록 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다. 도 68의 의사 코드(6800)는 우측 하부 프레임 블록 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다.
2 필드 MV 후보 움직임 벡터 도출
2 필드 MV 매크로블록의 경우, 현재 매크로블록에서의 2개의 필드 움직임 벡터 각각에 대해, 이웃 블록으로부터의 후보 움직임 벡터가 수집된다. 도 69의 의사 코드(6900)는 상부 필드 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다. 도 70의 의사 코드(7000)는 하부 필드 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다.
4 필드 MV 후보 움직임 벡터 도출
4 필드 MV 매크로블록의 경우, 현재 매크로블록에서의 4개의 필드 블록 각각에 대해, 이웃 블록들로부터의 후보 움직임 벡터가 수집된다. 도 71의 의사 코드(7100)는 좌측 상부 필드 블록 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다. 도 72의 의사 코드(7200)는 우측 상부 필드 블록 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다. 도 73의 의사 코드(7300)는 좌측 하부 필드 블록 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다. 도 74의 의사 코드(7400)는 우측 하부 필드 블록 움직임 벡터에 대한 최대 3개의 후보 움직임 벡터를 수집하는 데 사용된다.
평균 필드 움직임 벡터
2개의 필드 움직임 벡터 (MVX1, MVY1) 및 (MVX2, MVY2)가 주어지면, 후보 움직임 벡터 (MVXA, MVYA)를 형성하기 위한 평균 연산은 다음과 같다.
MVXA = (MVX1 + MVX2 + 1) >> 1,
MVYA = (MVY1 + MVY2 + 1) >> 1.
후보 움직임 벡터로부터 프레임 MV 예측자 계산
이 섹션은 일련의 후보 움직임 벡터가 주어지면 프레임 움직임 벡터에 대한움직임 벡터 예측자가 어떻게 계산되는지를 설명한다. 이 결합 구현에서, 1MV에 대해 또는 4 프레임 MV 매크로블록에서의 4개의 프레임 블록 움직임 벡터 각각에 대해 예측자를 계산하는 연산은 동일하다.
도 75의 의사 코드(7500)는 프레임 움직임 벡터에 대한 움직임 벡터 예측자(PMVx, PMVy)가 어떻게 계산되는지를 설명한다. 의사 코드(7500)에서, TotalValidMV는 후보 움직임 벡터 세트 내의 움직임 벡터의 총수(TotalValidVM = 0, 1, 2 또는 3)를 나타내고, ValidMV 어레이는 후보 움직임 벡터 세트 내의 움직임 벡터를 나타낸다.
후보 움직임 벡터로부터 필드 MV 예측자 계산
이 섹션은 후보 움직임 벡터 세트가 주어지면 필드 움직임 벡터에 대한 움직임 벡터 예측자가 어떻게 계산되는지를 설명한다. 2 필드 MV 매크로블록에서의 2개의 필드 움직임 벡터 각각에 대해 또는 4 필드 MV 매크로블록에서의 4개의 필드 블록 움직임 벡터 각각에 대해 예측자를 계산하는 연산은 동일하다.
먼저, 후보 움직임 벡터는 2 세트로 분할되고, 한 세트는 현재 필드와 동일한 필드를 가리키는 후보 움직임 벡터만을 포함하고 다른 한 세트는 반대 필드를 가리키는 후보 움직임 벡터를 포함한다. 후보 움직임 벡터가 1/4 픽셀 단위로 표현되는 것으로 가정하면, 인코더 또는 디코더는 그의 y-성분에 대한 이하의 검사에 의해 후보 움직임 벡터가 동일 필드를 가리키는지 여부를 검사할 수 있다.
if(ValidMVy & 4) {
ValidMV는 반대 필드를 가리킴
} else {
ValidMV는 동일 필드를 가리킴
}
도 76의 의사 코드(7600)는 필드 움직임 벡터에 대해 움직임 벡터 예측자 (PMVx, PMVy)가 어떻게 계산되는지를 설명한다. 의사 코드(7600)에서, SameFieldMV 및 OppFieldMV는 2 세트의 후보 움직임 벡터를 나타내고, NumSameFieldMV 및 NumOppFieldMV는 각 세트에 속하는 후보 움직임 벡터의 수를 나타낸다. 각 세트에서의 후보 움직임 벡터의 순서는 후보 A가 존재하는 경우 후보 A에서 시작하고 후보 B가 존재하는 경우 이어서 후보 B가 오며, 후보 C가 존재하는 경우 그 다음에 후보 C가 온다. 예를 들어, SameFieldMV 후보 움직임 벡터 세트가 후보 B 및 후보 C만을 포함하는 경우, SameFieldMV[0]는 후보 B이다.
움직임 벡터 차분 디코딩
MVDATA 신택스 요소는 매크로블록에 대한 움직임 벡터 차분 정보를 포함한다. 각각의 매크로블록에서 신호되는 움직임 보상 및 움직임 벡터 블록 패턴의 유형에 따라, 매크로블록마다 최대 4개의 MVDATA 신택스 요소가 있을 수 있다. 보다 구체적으로는,
● 1MV 매크로블록의 경우, MBMODE에서의 MVP 필드에 따라 0 또는 1개의 MVDATA 신택스 요소가 존재할 수 있다.
● 2 필드 MV 매크로블록의 경우, 2MVBP에 따라 0, 1 또는 2개의 MVDATA 신택스 요소(들)가 존재할 수 있다.
● 4 프레임/필드 MV 매크로블록의 경우, 4MVBP에 따라 0, 1, 2, 3 또는 4개의 MVDATA 신택스 요소(들)가 존재할 수 있다.
이 결합 구현에서, 움직임 벡터 차분은 인터레이스형 P-필드에 대한 1 참조 필드 움직임 벡터 차분과 동일한 방식으로 디코딩된다. (도 77a의 의사 코드(7700)는 1-참조 필드에 대해 움직임 벡터 차분이 어떻게 디코딩되는지를 나타낸다. 도 77b의 의사 코드(7710)는 대체 결합 구현에서 1-참조 필드에 대해 움직임 벡터 차분이 어떻게 디코딩되는지를 나타낸다. 의사 코드(7710)는 확장된 움직임 벡터 차분 범위의 처리를 생략한다.)
움직임 벡터 재구성
움직임 벡터 차분 dmv가 주어지면, 루미넌스 움직임 벡터는 상기 섹션 XV.B.3에 기술된 바와 같이 차분을 예측자에 가산함으로써 재구성된다. 루마 프레임 또는 필드 움직임 벡터가 주어지면, 대응하는 크로마 프레임 또는 필드 움직임 벡터가 Cb/Cr 블록의 일부분 또는 그 전체를 보상하기 위해 도출된다. 도 78의 의사 코드(7800)는 인터레이스형 P-프레임에서의 루마 움직임 벡터 LMV로부터 크로마 움직임 벡터 CMV가 어떻게 도출되는지를 설명한다.
D. 인터레이스형 B-프레임 디코딩
이 섹션은 결합 구현에서 이전의 섹션에서 논의된 개념을 참조하여 인터레이스형 B-프레임을 디코딩하는 프로세스를 설명한다.
1. 인터레이스형 B-프레임의 매크로블록 계층 디코딩
매크로블록 레벨에서, 인터레이스형 B-프레임 신택스는 상기한 인터레이스 P-프레임 신택스와 유사하다. 인터레이스형 B-프레임에서의 매크로블록은 3가지 유형, 즉 1MV, 2 필드 MV 및 인트라로 분류된다. 4 프레임 MV 및 4 필드 MV 모드는 이 결합 구현에서의 인터레이스형 B-프레임에 대해 허용되지 않는다. 이 3가지 모드는 인터레이스형 P-프레임에서와 같이 MBMODE 신택스 요소와 공동으로 코딩된다. 각각의 매크로블록은 또한 전방, 후방, 직접 또는 보간으로서 예측된다(DIRECTMB 및 BMVTYPE 신택스 요소를 사용함). 1MV 매크로블록이 전방 또는 후방인 경우, 이는 단일의 움직임 벡터를 사용한다. 매크로블록이 1MV이지만 직접이나 보간이 아닌 경우, 이는 2개의 움직임 벡터를 사용한다. 매크로블록이 2 필드 MV 유형이고 전방 또는 후방 예측된 경우, 이는 2개의 움직임 벡터를 사용한다. 매크로블록이 2 필드 MV 유형이고 직접 또는 보간인 경우, 이는 4개의 움직임 벡터를 사용한다.
이하의 섹션들은 인터레이스형 B-프레임에서의 서로 다른 인터-코딩된 매크로블록 유형의 특성을 설명한다.
인터레이스형 B-프레임에서의 1 MV 매크로블록
인터레이스형 B-프레임에서의 1MV 매크로블록에서, 루미넌스 블록의 변위는 예측 유형이 전방 또는 후방인 경우 단일의 움직임 벡터로 표현되고, 유형이 직접 또는 보간인 경우 2개의 움직임 벡터로 표현된다. 각각의 경우에 대응하는 크로마 움직임 벡터가 도출된다. 보간 및 직접 예측의 경우에, 전방 및 후방 참조 픽처로부터의 움직임 보상된 픽셀은 최종 예측을 형성하기 위해 평균된다.
인터레이스형 B-프레임에서의 2 필드 MV 매크로블록
인터레이스형 B-프레임에서의 2 필드 MV 매크로블록에서, 루미넌스 블록의 각 필드의 변위는 도 37에 나타낸 바와 같이 다른 움직임 벡터로 기술된다. 게다가, 예측 유형은 상부 필드에서 하부 필드로 가면서 전방으로부터 후방으로 전환될 수 있고 그 역도 마찬가지이며, 따라서 상기 섹션 VII에서 논의된 바와 같이 상부 필드가 하나의 참조 픽처로부터 움직임 보상될 수 있고 하부 필드가 다른 하나의 참조 필드로부터 움직임 보상될 수 있게 된다.
인터레이스형 B-프레임에서의 2 MVBP , 4 MVBP 의 해석 및 움직임 벡터의 순서
1MV 매크로블록에서, 인코더는 2개의 움직임 벡터 중 어느 것이 존재하는지를 가리키기 위해 보간 모드에서 2MVBP 신택스 요소를 사용한다. 비트 1은 전방 움직임 벡터에 대응하고, 비트 0은 후방 움직임 벡터에 대응한다.
2 필드 MV 매크로블록에서, 인코더는 2개의 필드의 움직임 벡터 중 어느 것이 존재하는지를 가리키기 위해 전방 및 후방 모드에서 2MVBP 신택스 요소를 사용한다. 비트 1은 상부 필드 움직임 벡터에 대응하고, 비트 0은 하부 필드 움직임 벡터에 대응한다. 상부 필드에 대한 전방 예측에서 하부 필드에 대한 후방 예측으로 또는 그 역으로 전환하기 위해 MVSW 신택스 요소가 사용되는 경우, 인코더는 동일한 상부/하부 시그널링을 사용한다. 인코더는 4개의 움직임 벡터 중 어느 것이 존재하는지를 가리키기 위해 보간 모드에서 4MVBP 신택스 요소를 사용한다. 비트 3은 상부 필드 전방 움직임 벡터에 대응하고, 비트 2는 상부 필드 후방 움직임 벡터에 대응하며, 비트 1은 하부 필드 전방 움직임 벡터에 대응하고, 비트 0은 하부 필드 후방 움직임 벡터에 대응한다.
1로 설정된 2MVBP 및 4MVBP의 비트는 대응하는 움직임 벡터 차분이 존재함을 뜻하고, 0으로 설정된 비트는 대응하는 움직임 벡터가 예측된 움직임 벡터와 같음을, 즉 대응하는 움직임 벡터 차분이 존재하지 않음을 뜻한다. 실제의 디코딩된 움직임 벡터는 2MVBP 또는 4MVBP에서의 비트와 동일한 순서로 전송된다. 예를 들어, 보간 모드를 사용하는 2 필드 MV 매크로블록에서, 디코더에 의해 수신될 첫번째 움직임 벡터는 상부 필드 전방 움직임 벡터이고, 수신될 마지막(즉, 4번째) 움직임 벡터는 하부 필드 후방 움직임 벡터이다.
건너뜀 매크로블록 시그널링
건너뜀 매크로블록은 P 프레임에서와 동일한 방식으로 신호된다. 그렇지만, 인터레이스형 B-프레임에서의 건너뜀 매크로블록은 1MV 프레임 유형으로 제한된다, 즉 필드 유형이 허용되지 않는다. 움직임 벡터는 제로 차분 움직임 벡터로 코딩되고(즉, 매크로블록은 그의 1MV 움직임 예측자를 사용하여 움직임 보상되고), 코딩된 블록이 없다(CBP = 0). 매크로블록이 건너뜀인 경우, 인코더는 그 매크로블록에 대한 BMVTYPE 정보만을 전송하고, 따라서 움직임 벡터는 전방, 후방, 직접 또는 보간으로서 정확하게 예측될 수 있다.
매크로블록 모드 시그널링
매크로블록 모드 시그널링은 상기 섹션 XV.C에 설명한 바와 같이 인터레이스형 P-프레임에서와 동일한 방식으로 수행된다.
예측 유형 디코딩( BMVTYPE 및 MVSW )
인터레이스형 B-프레임에 있어서 예측 유형은 이하의 규칙에 따라 디코딩된다. 픽처 레벨 비트플레인 DIRECTMB가 매크로블록이 직접 유형임을 가리키는 경우, 그 매크로블록에 대한 예측 유형은 직접으로 설정된다. 직접/비직접 결정이 미처리 모드로 코딩되어 있는 경우, 인코더는 예측 유형이 직접인지 여부를 가리키기 위해 매크로블록 레벨에서 부가의 비트 DIRECTBIT를 사용한다.
예측 유형이 비직접인 경우, 디코더는 BMVTYPE 신택스 요소를 디코딩한다. 매크로블록 모드가 "2MV 필드 코딩됨"이고 BMVTYPE가 전방 또는 후방인 경우, 디코더는 또한 예측 유형이 그 매크로블록에 대한 상부 필드에서 하부 필드로 가면서 변하는지(즉, 전방에서 후방으로 또는 그 역으로 변동하는지) 여부를 결정하기 위해 MVSW 비트를 디코딩한다.
직접 모드 움직임 벡터 디코딩
직접 모드 움직임 벡터를 디코딩하기 위해, 디코더는 먼저 이전에 디코딩된 앵커 프레임으로부터의 움직임 벡터를 버퍼링한다. 구체적으로는, 이전에 디코딩된 미래의 P-프레임에 대해, 디코더는 미래의 P-프레임으로부터의 디코딩된 루마 움직임 벡터의 가능한 최대 수의 1/2(즉, (2* NumberOfMB)개의 움직임 벡터)를 버퍼링한다. 앵커 프레임으로부터 버퍼링할 이들 움직임 벡터를 선택하는 방법은 상기 섹션 XIII에 설명되어 있다.
상기 획득한 움직임 벡터로, 디코더는 도 19의 의사 코드(1900)에 도시한 바와 같이 움직임 벡터 풀백없이 전방 및 후방 지향 움직임 벡터를 획득하기 위해 Scale_Direct_MV에서 스케일링 논리를 적용한다.
이 결합 구현에서, 전방 및 후방 예측 매크로블록 등의 직접 모드 예측을 사용하지 않는 매크로블록에 대한 직접 모드 움직임 벡터의 계산이 없다. 그 대신에, 비직접 매크로블록에 대한 움직임 벡터는 전방 또는 후방 움직임 벡터 버퍼에 기초하여 예측된다.
2. 인터레이스형 B-프레임에 대한 움직임 벡터 디코딩
인터레이스형 B-프레임에 대한 움직임 벡터 예측자
인터레이스형 P-프레임에서와 같이, 인터레이스형 B-프레임에서의 현재 매크로블록에 대한 움직임 벡터 예측자를 계산하는 프로세스는 그의 이웃 매크로블록으로부터 현재 매크로블록에 대한 후보 움직임 벡터를 수집하는 단계 및 후보 움직임 벡터 세트로부터 현재 매크로블록에 대한 움직임 벡터 예측자를 계산하는 단계를 포함한다. 도 40a 및 도 40b는 후보 움직임 벡터가 수집되는 이웃 매크로블록을 나타낸 것이다. 이 결합 구현에서, 인터레이스형 B-프레임에 대한 움직임 벡터 예측자는 인터레이스형 P-프레임에 대해 상기 섹션 XV.C에서 설명한 규칙에 따라 후보 세트로부터 선택된다.
전방 및 후방 모드 움직임 벡터에 대해 개별적인 예측 컨텍스트가 사용된다. 디코더는 전방 움직임 벡터를 예측하는 데 전방 예측 컨텍스트를 사용하고 후방 움직임 벡터를 예측하는 데 후방 예측 컨텍스트를 사용한다.
인터레이스형 B-프레임에서의 전방 및 후방 예측 컨텍스트 채우기
디코더는 전방 및 후방 움직임 벡터를 개별적으로 버퍼링하고 이들을 사용하여 전방 및 후방 움직임 벡터를 각각 예측한다. 보간 매크로블록의 경우, 디코더는 전방 움직임 벡터를 예측하기 위해 전방 예측 버퍼를 사용하고(첫번째 디코딩된 MVDATA 요소) 후방 움직임 벡터를 예측하기 위해 후방 버퍼를 사용한다(두번째 디코딩된 MVDATA 요소). 매크로블록이 직접 또는 보간인 경우, 디코더는 전방 MV 성분을 전방 버퍼에 버퍼링하고 후방 MV 성분을 후방 버퍼에 버퍼링한다. 후보 세트 중에서 움직임 벡터 예측자를 선택하기 위한 각각의 경우에서의 (예를 들어, 1MV 매크로블록, 2 필드 MV 매크로블록, 기타 등등에 대한) 실제 예측 논리는 상기 섹션 XV.C에 설명되어 있다.
전방 및 후방 움직임 벡터 버퍼를 채우고 이들 버퍼 내의 움직임 벡터로부터 움직임 벡터를 예측하는 방식은 상기 섹션 X.C에 설명되어 있다.
인터레이스형 B-프레임에서의 움직임 벡터 차분 디코딩
인터레이스형 B-프레임에서의 움직임 벡터 차분은 상기 섹션 XV.C.2에서 논의된 바와 같이 도 77a 및 도 77b의 의사 코드(7700, 7710)에 따라 디코딩된다.
인터레이스형 B-프레임에서의 움직임 벡터 재구성
인터레이스형 B-프레임에서의 움직임 벡터 재구성은 도 78의 의사 코드(7800)에 따라 디코딩되고 이에 대해 상기 섹션 XV.B.3 및 XV.C.2에 논의되어 있다.
E. 비트플레인 코딩
(1) 인터레이스형 B-필드의 매크로블록에 대한 전방/비전방 결정(즉, FORWARDMB 플래그) 및 (2) 인터레이스형 B-프레임의 매크로블록에 대한 직접/비직접 결정(즉, DIRECTMB 플래그) 등의 매크로블록-관련 이진 정보는 매크로블록당 하나의 이진 심볼로 인코딩될 수 있다. 예를 들어, 인터레이스형 B-필드의 매크로블록이 (후방, 직접 또는 보간 등의 다른 모드에 대하여) 전방 모드로 움직임 보상되어 있는지 여부는 1 비트로 신호될 수 있다. 이들 경우에, 필드 또는 프레임에서의 모든 매크로블록에 대한 상태는 비트플레인으로서 코딩되어 필드 또는 프레임 헤더로 전송될 수 있다. 이 규칙에 대한 한 예외는 비트플레인 코딩 모드가 미처리 모드로 설정되어 있는 경우이며, 이 경우 각각의 매크로블록에 대한 상태는 심볼당 1비트로서 코딩되어 다른 매크로블록 레벨 신택스 요소와 함께 매크로블록 레벨에서 전송된다.
필드/프레임-레벨 비트플레인 코딩은 2차원 이진 어레이를 인코딩하는 데 사용된다. 각 어레이의 크기는 rowMB x colMB이며, 여기서 rowMB 및 colMB는 각각 문제의 필드 또는 프레임에서의 매크로블록 행 및 열의 수이다. 비트스트림 내에서, 각각의 어레이는 일련의 연속적인 비트로서 코딩된다. 7가지 모드 중 하나가 각각의 어레이를 인코딩하는 데 사용된다. 이 7가지 모드는 다음과 같다.
1. 미처리(raw) 모드 - 정보가 심볼당 1 비트로서 코딩되어 MB 레벨 신택스의 일부로서 전송됨,
2. 정규-2(normal-2) 모드 - 2개의 심볼이 공동으로 코딩됨,
3. 차분-2(differential-2) 모드 - 비트플레인의 차분 코딩, 뒤이어 2개의 잔차 심볼을 공동으로 코딩함,
4. 정규-6 모드 - 6개의 심볼이 공동으로 코딩됨,
5. 차분-6 모드 - 비트플레인의 차분 코딩, 뒤이어서 6개의 잔차 심볼을 공동으로 코딩함,
6. 행 건너뜀(rowskip) 모드 - 설정된 비트가 없는 행을 신호하기 위해 1 비트 건너뜀, 및
7. 열 건너뜀(columnskip) 모드 - 설정된 비트가 없는 열을 신호하기 위해 1 비트 건너뜀.
필드 또는 프레임 레벨에서의 비트플레인에 대한 신택스 요소는 이하의 순서로 있다, 즉 INVERT, IMODE 및 DATABITS가 있다.
반전 플래그( INVERT )
INVERT 신택스 요소는 1-비트 값이고, 설정되어 있는 경우 이는 비트플레인이 0 비트보다 많은 설정된 비트를 가짐을 가리킨다. INVERT 및 모드에 따라, 디코더는 해석된 비트플레인을 반전시켜 원본을 재생성하게 된다. 유의할 점은 미처리 모드가 사용되는 경우 이 비트의 값이 무시되어진다는 것이다. 비트플레인을 디코딩함에 있어서 INVERT 값이 어떻게 사용되는지에 대한 설명은 이하에 제공된다.
코딩 모드( IMODE )
IMODE 신택스 요소는 비트플레인을 인코딩하는 데 사용되는 코딩 모드를 가리키는 가변 길이 값이다. 표 11은 IMODE 신택스 요소를 인코딩하는 데 사용되는 코드 테이블을 나타낸 것이다. 비트플레인을 디코딩함에 있어서 IMODE 값이 어떻게 사용되는지에 대한 설명은 이하에 제공된다.
IMODE VLC 코드테이블
IMODE VLC 코딩 모드
10 정규-2
11 정규-6
010 행건너뜀
011 열건너뜀
001 차분-2
0001 차분-6
0000 미처리
비트플레인 코딩 비트(DATABITS)
DATABITS 신택스 요소는 비트플레인에 대한 심볼의 스트림을 인코딩하는 가변 크기 신택스 요소이다. 비트플레인을 인코딩하는 데 사용되는 방법은 IMODE의 값에 의해 결정된다. 7가지 코딩 모드에 대해서는 이하의 섹션들에서 설명된다.
미처리 모드
이 모드에서, 비트플레인은 매크로블록의 래스터 스캔 순서로 스캔된 심볼당 1 비트로서 인코딩되고 매크로블록 계층의 일부로서 전송된다. 다른 대안으로서, 정보는 필드 또는 프레임 레벨에서 미처리 모드로 코딩되고, DATABITS는 길이가 rowMB x colMB 비트이다.
정규-2 모드
rowMB x colMB가 홀수이면, 첫번째 심볼은 미처리로 인코딩된다. 차후의 심볼은 자연스런 스캔 순서로 쌍으로 인코딩된다. 표 12의 이진 VLC 테이블은 심볼 쌍을 인코딩하는 데 사용된다.
정규-2/차분-2 코드 테이블
심볼 2n 심볼 2n+1 코드워드
0 0 0
1 0 100
0 1 101
1 1 11
차분 -2 모드
정규-2 방법은 전술한 바와 같이 비트플레인을 생성하는 데 사용되고 Diff-1 연산이 이하에 기술하는 바와 같이 비트플레인에 적용된다.
정규-6 모드
정규-6 및 차분-6 모드에서, 비트플레인은 6개의 픽셀의 그룹으로 인코딩된다. 이들 픽셀은 2x3 또는 3x2 타일로 그룹화된다. 비트플레인은 규칙 세트를 사용하여 최대로 타일화되고, 나머지 픽셀은 행-건너뜀 및 열-건너뜀 모드의 변형을 사용하여 인코딩된다. 2x3 "수직" 타일은 rowMB가 3의 배수이고 colMB가 아닌 경우에만 사용된다. 그렇지 않은 경우, 3x2 "수평" 타일이 사용된다. 도 79a는 2x3 "수직" 타일의 간단화된 예를 나타낸 것이다. 도 79b는 가늘고 긴 어두운 사각형이 1 픽셀 폭이고 행-건너뜀 및 열-건너뜀 코딩을 사용하여 인코딩되는 3x2 "수평" 타일의 간단화된 예를 나타낸 것이다. 도 79c에 도시한 바와 같이 타일화된 플레인의 경우, 픽처의 상부 및 좌측 엣지를 따라 있는 직선 타일에 있어서, 타일의 코딩 순서는 이하의 패턴을 따른다. 6-요소 타일이 먼저 인코딩되고 이어서 열-건너뜀 및 행-건너뜀 인코딩된 직선 타일이 있다. 어레이 크기가 2x3 또는 3x2의 배수인 경우, 후자의 직선 타일은 존재하지 않고 비트플레인은 완벽하게 타일화된다.
6-요소 직사각형 타일은 불완전한 허프만 코드, 즉 인코딩을 위해 모든 종단 노드를 사용하는 것은 아닌 허프만 코드를 사용하여 인코딩된다. N을 타일에서의 설정된 비트의 수라고 하자, 즉 0 ≤ N ≤ 6이라고 하자. N < 3인 경우, VLC는 타일을 인코딩하는 데 사용된다. N = 3인 경우, 고정 길이 이스케이프(fixed length escape)에 뒤따라서 5 비트 고정 길이 코드가 오며, N > 3인 경우, 고정 길이 이스케이프에 뒤따라서 타일의 보수 코드가 온다.
직사각형 타일은 6 비트의 정보를 포함한다. k가 타일과 연관된 코드라고 하고, 여기서 k = bi2i, bi는 타일 내에서의 자연스런 스캔 순서에서의 i번째 비트의 이진값이다. 따라서, 0 ≤ k ≤ 64이다. VLC 및 이스케이프 코드의 조합은 k를 신호하는 데 사용되는 고정 길이 코드를 만족시킨다.
차분 -6 모드
정규-6 방법은 전술한 바와 같이 비트플레인을 생성하는 데 사용되고, Diff-1 연산은 이하에 기술하는 바와 같이 비트플레인에 적용된다.
행 건너뜀 모드
행 건너뜀 코딩 모드에서, 모두 제로인 행은 1 비트 오버헤드로 건너뛴다. 신택스는 다음과 같다. 각각의 행에 대해, 단일의 ROWSKIP 비트는 그 행이 건너뜀인지를 가리킨다. 행이 건너뜀이면, 그 다음 행에 대한 ROWSKIP 비트는 그 다음(next)이고, 그렇지 않은 경우(행이 건너뜀이 아닌 경우), ROWBITS 비트(행에서의 각 매크로블록에 대한 비트)가 그 다음(next)이다. 따라서, 전체 행이 제로인 경우, 제로 비트가 ROWSKIP 심볼로서 전송되고, ROWBITS는 건너뜀이다. 행에 설정된 비트가 있는 경우, ROWSKIP는 1로 설정되고, 전체 행은 미처리로 전송된다(ROWBITS). 행들은 필드 또는 프레임의 상부로부터 하부로 스캔된다.
열 건너뜀 모드
열 건너뜀은 행 건너뜀의 전치(transpose)이다. 열들은 필드 또는 프레임의 좌측에서 우측으로 스캔된다.
Diff -1 : 역 차분 디코딩( inverse differential decoding )
어느 한 차분 모드(차분-2 또는 차분-6)가 사용되는 경우, "차분 비트"의 비트플레인은 먼저 대응하는 정규 모드(각각 정규-2 또는 정규-6)를 사용하여 디코딩된다. 차분 비트는 원래의 비트플레인을 재생성하는 데 사용된다. 재생성 프로세스는 이진 알파벳에 대한 2-D DPCM이다. 위치 (i,j)에 있는 비트를 재생성하기 위해, 예측자 bp(i,j)가 다음과 같이 (위치 (i,j)에 있는 비트 b(i,j)로부터) 생성된다.
Figure 112009052924791-pat00001
Figure 112009052924791-pat00002
차분 코딩 모드의 경우, INVERT에 기초한 비트별 반전 프로세스는 수행되지 않는다. 그렇지만, INVERT 플래그는 상기한 바와 같이 예측자의 도출을 위한 심볼 A의 값을 가리키기 위해 다른 자격으로 사용된다. 보다 구체적으로는, INVERT가 0이면 A가 0이고, INVERT가 1이면 A가 1이다. 비트플레인의 실제 값은 예측자를 디코딩된 차분 비트 값과 XOR함으로써 얻어진다. 상기 식에서, b(i,j)는 최종 디코딩 후의(즉, 정규-2/정규-6을 행하고 뒤이어서 그의 예측자와의 차분 XOR을 행한 후의) i,j번째 위치에 있는 비트이다.
여러가지 실시예를 참조하여 본 발명의 원리들을 기술하고 예시하였지만, 이러한 원리를 벗어나지 않고 구성 및 상세에 있어서 이들 여러가지 실시예들이 수정될 수 있음을 잘 알 것이다. 달리 언급하지 않는 한, 본 명세서에 기술된 프로그램, 프로세스 또는 방법이 임의의 특정의 유형의 컴퓨팅 환경에 관련되거나 그로 한정되는 것이 아님을 잘 알 것이다. 여러가지 유형의 범용 또는 특수 컴퓨팅 환경이 본 명세서에 개시된 내용과 함께 사용될 수 있거나 그에 따라 동작을 수행할 수 있다. 소프트웨어로 도시된 실시예들의 구성요소는 하드웨어로 구현될 수 있고, 그 역도 마찬가지이다.
본 발명의 원리들이 적용될 수 있는 많은 가능한 실시예들을 고려하여, 첨부된 청구항 및 그의 등가물의 범위 및 정신 내에 속할 수 있는 모든 이러한 실시예를 본 발명으로서 청구한다.
도 1은 종래 기술에 따른 비디오 인코더에서의 움직임 추정을 나타낸 도면.
도 2는 종래 기술에 따른 비디오 인코더에서의 예측 잔차의 8x8 블록에 대한 블록-기반 압축을 나타낸 도면.
도 3은 종래 기술에 따른 비디오 디코더에서의 예측 잔차의 8x8 블록에 대한 블록-기반 압축 해제를 나타낸 도면.
도 4는 종래 기술에 따른 인터레이스형 프레임을 나타낸 도면.
도 5a 및 도 5b는 종래 기술에 따른 순차 P-프레임에서의 1MV 매크로블록에대한 후보 움직임 벡터 예측자에 대한 매크로블록의 위치를 나타낸 도면.
도 6a 및 도 6b는 종래 기술에 따른 혼합 1MV/4MV 순차 P-프레임에서의 1MV 매크로블록에 대한 후보 움직임 벡터 예측자에 대한 블록의 위치를 나타낸 도면.
도 7a, 도 7b, 도 8a, 도 8b, 도 9 및 도 10은 종래 기술에 따른 혼합 1MV/4MV 순차 P-프레임에서의 4MV 매크로블록에서의 여러가지 위치에서의 블록에 대한 후보 움직임 벡터 예측자에 대한 블록의 위치를 나타낸 도면.
도 11은 종래 기술에 따른 인터레이스형 P-프레임에서 현재의 프레임-코딩된 매크로블록에 대한 후보 움직임 벡터 예측자를 나타낸 도면.
도 12a 및 도 12b는 종래 기술에 따른 인터레이스형 P-프레임에서의 현재의 필드-코딩된 매크로블록에 대한 후보 움직임 벡터 예측자를 나타낸 도면.
도 13 및 도 14는 각각 3개 중의 메디안(median-of-three) 및 4개 중의 메디안(median-of-four) 계산을 수행하는 의사 코드를 나타낸 코드 다이어그램.
도 15는 종래 기술에 따른 과거의 참조 프레임과 미래의 참조 프레임을 갖는 B-프레임을 나타낸 도면.
도 16은 종래 기술에 따른 비율 코딩(fraction coding)을 갖는 직접 모드 예측을 나타낸 도면.
도 17은 종래 기술에 따른 비트스트림 요소 BFRACTION에 대한 VLC 테이블을 나타낸 도면.
도 18은 종래 기술에 따른 직접 모드 예측에서의 동일 위치의 매크로블록에 대한 움직임 벡터를 스케일링하기 위한 스케일링 계수를 찾는 의사 코드를 나타낸 코드 리스트.
도 19는 종래 기술에 따른 스케일링 계수에 따라 동일 위치의 매크로블록에서의 움직임 벡터의 x-요소 및 y-요소를 스케일링하는 의사 코드를 나타낸 코드 리스트.
도 20는 몇개의 기술된 실시예들이 구현될 수 있는 적절한 컴퓨팅 환경의 블록도.
도 21은 몇개의 기술된 실시예들이 구현될 수 있는 일반화된 비디오 인코더 시스템의 블록도.
도 22는 몇개의 기술된 실시예들이 구현될 수 있는 일반화된 비디오 디코더 시스템의 블록도.
도 23은 몇개의 기술된 실시예들에서 사용되는 매크로블록 포맷을 나타낸 도면.
도 24a는 상부 필드 및 하부 필드의 교대하는 라인을 나타낸 인터레이스형 비디오 프레임의 일부를 나타낸 도면.
도 24b는 프레임으로서 인코딩/디코딩하기 위해 구성된 인터레이스형 비디오 프레임을 나타낸 도면.
도 24c는 필드로서 인코딩/디코딩하기 위해 구성된 인터레이스형 비디오 프레임을 나타낸 도면.
도 25 및 도 26은 2개의 참조 필드를 갖는 인터레이스형 P-필드를 나타낸 도면.
도 27 및 도 28은 가장 최근의 허용가능 참조 필드를 사용하는 인터레이스형 P-필드를 나타낸 도면.
도 29 및 도 30은 두번째로 가장 최근의 허용가능 참조 필드를 사용하는 인터레이스형 P-필드를 나타낸 도면.
도 31은 움직임 벡터의 수직 성분들 간의 관계와, 현재 및 참조 필드 극성의 서로 다른 조합에 대한 대응하는 공간적 위치를 나타낸 도면.
도 32는 2 세트의 현재 매크로블록에 대한 3개의 후보 움직임 벡터 예측자를 나타낸 도면.
도 33a 내지 도 33f는 2 참조 필드 인터레이스형 P-필드 또는 B-필드에서의 움직임 벡터 예측자를 계산하는 의사 코드를 나타내는 코드 리스트.
도 34a 및 도 34b는 다른 필드로부터 예측자를 도출하기 위해 한 필드로부터의 예측자를 스케일링하는 의사 코드를 나타낸 코드 리스트.
도 35 및 도 36은 서로 다른 참조 프레임 거리와 연관된 스케일링 연산 값을 나타낸 테이블.
도 37은 인터레이스형 P-프레임의 2 필드 MV 매크로블록에서의, 루미넌스 블록에 대한 움직임 벡터 및 크로미넌스 블록에 대한 도출된 움직임 벡터를 나타낸 도면.
도 38은 인터레이스형 P-프레임의 4 프레임 MV 매크로블록에서의, 4개의 루미넌스 블록 각각에 대한 서로 다른 움직임 벡터, 및 4개의 크로미넌스 서브-블록 각각에 대한 도출된 움직임 벡터를 나타낸 도면.
도 39는 인터레이스형 P-프레임의 4 필드 MV 매크로블록에서의, 루미넌스 블록에 대한 움직임 벡터 및 크로미넌스 블록에 대한 도출된 움직임 벡터를 나타낸 도면.
도 40a 및 도 40b는 인터레이스형 P-프레임의 현재 매크로블록에 대한 후보 예측자를 나타낸 도면.
도 41은 서로 다른 예측 모드를 사용하여 인터레이스형 B-프레임에서의 필드-코딩된 매크로블록 내의 개개의 필드에 대한 움직임 벡터를 예측하는 기술을 나타낸 플로우차트.
도 42는 인터레이스형 B-프레임의 매크로블록에 대한 직접 모드 움직임 벡터를 계산하는 기술을 나타낸 플로우차트.
도 43은 인터레이스형 B-프레임의 매크로블록에 대한 직접 모드 움직임 벡터(들)를 계산하는 데 사용하기 위한, 이전에 디코딩된 시간상 차후의 앵커 프레임 의 동일 위치의 매크로블록의 블록들에 대한 버퍼링된 움직임 벡터를 나타낸 도면.
도 44는 전방 및/또는 후방 움직임 벡터 버퍼를 사용하여 인터레이스형 B-픽처에서의 현재의 매크로블록에 대한 움직임 벡터를 예측하는 기술을 나타낸 플로우차트.
도 45는 매크로블록에 대한 움직임 벡터를 예측하기 위한 전방 움직임 벡터 버퍼 및 후방 움직임 벡터 버퍼 내의 움직임 벡터를 나타낸 도면.
도 46은 전방 움직임 벡터 버퍼 및 후방 움직임 벡터 버퍼 내의 재구성된 매크로블록에 대한 상부 및 하부 필드 움직임 벡터를 나타낸 도면.
도 47은 인터레이스형 B-필드 움직임 벡터 예측에서의 실제값 버퍼링(real value buffering) 및 구멍-채우기(hole-filling)를 위한 극성 선택 프로세스에 대해 기술하는 의사 코드를 나타낸 코드 리스트.
도 48a 및 도 48b는 후방-예측 인터레이스형 B-필드에 대한 다른 필드로부터의 예측자를 도출하기 위해 한 필드로부터의 예측자를 스케일링하는 의사 코드를 나타낸 코드 리스트.
도 49는 제1 인터레이스형 B-필드에 대한 서로 다른 참조 프레임 거리와 연관된 스케일링 연산 값을 나타낸 테이블.
도 50a 및 도 50b는 인터레이스형 B-필드에 대한 참조 필드를 나타낸 도면.
도 51은 하나 이상의 비트플레인 코딩 모드를 갖는 비디오 인코더에서 인터레이스형 B-필드의 매크로블록에 대한 전방/비전방(forward/not-forward) 예측 모드 결정 정보를 인코딩하는 기술을 나타낸 플로우차트.
도 52는 하나 이상의 비트플레인 코딩 모드를 갖는 비디오 인코더에 의해 인코딩되었던, 인터레이스형 B-필드의 매크로블록에 대한 전방/비전방(forward/not-forward) 예측 모드 결정 정보를 디코딩하는 기술을 나타낸 플로우차트.
도 53은 인터레이스형 B-필드에서의 직접 모드 움직임 벡터에 대한 기초로서 사용할 움직임 벡터에 대한 선택 프로세스를 기술하는 의사 코드를 나타낸 코드 리스트.
도 54는 결합 구현에서 인터레이스형 B-필드 또는 BI-필드에 대한 프레임-계층 비트스트림 신택스를 나타낸 도면.
도 55는 결합 구현에서 인터레이스형 B-필드에 대한 필드-계층 비트스트림 신택스를 나타낸 도면.
도 56은 결합 구현에서 인터레이스형 BI-필드에 대한 필드-계층 비트스트림 신택스를 나타낸 도면.
도 57은 결합 구현에서 인터레이스형 B-필드의 매크로블록에 대한 매크로블록-계층 비트스트림 신택스를 나타낸 도면.
도 58은 결합 구현에서 인터레이스형 BI-필드의 매크로블록에 대한 매크로블록-계층 비트스트림 신택스를 나타낸 도면.
도 59는 결합 구현에서 인터레이스형 B-프레임에 대한 프레임-계층 비트스트림 신택스를 나타낸 도면.
도 60은 결합 구현에서 인터레이스형 B-프레임의 매크로블록에 대한 매크로블록-계층 비트스트림 신택스를 나타낸 도면.
도 61a 및 도 61b는 결합 구현에서 움직임 벡터 차분 및 우세/비우세 예측자 정보를 디코딩하는 의사 코드를 나타낸 코드 리스트.
도 62a 내지 도 62f는 결합 구현에서 2-참조 인터레이스형 P-필드에서의 움직임 벡터 예측자를 계산하는 의사 코드를 나타낸 코드 리스트.
도 63은 결합 구현에서 인터레이스형 B-필드에 대한 참조 필드을 결정하는 의사 코드를 나타낸 코드 리스트.
도 64는 결합 구현에서 인터레이스형 P-프레임에서의 1MV 매크로블록에 대한 후보 움직임 벡터를 수집하는 의사 코드를 나타낸 코드 리스트.
도 65, 도 66, 도 67 및 도 68은 결합 구현에서 인터레이스형 P-프레임에서의 4 프레임 MV 매크로블록에 대한 후보 움직임 벡터를 수집하는 의사 코드를 나타낸 코드 리스트.
도 69 및 도 70은 결합 구현에서 인터레이스형 P-프레임에서의 2 필드 MV 매크로블록에 대한 후보 움직임 벡터를 수집하는 의사 코드를 나타낸 코드 리스트.
도 71, 도 72, 도 73, 및 도 74는 결합 구현에서 인터레이스형 P-프레임에서의 4 필드 MV 매크로블록에 대한 후보 움직임 벡터를 수집하는 의사 코드를 나타낸 코드 리스트.
도 75는 결합 구현에서 인터레이스형 P-프레임에서의 프레임 움직임 벡터에 대한 움직임 벡터 예측자를 계산하는 의사 코드를 나타낸 코드 리스트.
도 76은 결합 구현에서 인터레이스형 P-프레임에서의 필드 움직임 벡터에 대한 움직임 벡터 예측자를 계산하는 의사 코드를 나타낸 코드 리스트.
도 77a 및 도 77b는 결합 구현에서 인터레이스형 P-프레임 및 B-프레임에 대한 움직임 벡터 차분을 디코딩하는 의사 코드를 나타낸 코드 리스트.
도 78은 결합 구현에서 인터레이스형 P-프레임에서의 크로마 움직임 벡터를 도출하는 의사 코드를 나타낸 코드 리스트.
도 79a 내지 도 79c는 인터레이스형 B-필드의 매크로블록에 대한 전방/비전방 예측 모드 결정 정보에 대한 정규-6 및 차분-6 비트플레인 코딩 모드에 대한 타일을 나타낸 도면.

Claims (15)

  1. 비디오 디코더를 구현하는 컴퓨팅 장치에서의 방법으로서,
    상기 비디오 디코더를 구현하는 상기 컴퓨팅 장치에서, 압축된 비디오 정보를 비트스트림으로 수신하는 단계 - 상기 수신하는 단계는, 인터레이스형 양방향 예측 픽처(interlaced bi-directionally predicted picture) 내의 필드 코딩된 매크로블록(field-coded macroblock)에 대하여 제1 방향으로의 제1 예측 모드를 나타내는 하나 이상의 모드 신택스 요소(mode syntax element)들을 수신하는 단계와, 상기 제1 예측 모드가 전방(forward) 또는 후방(backward)인 경우, 상기 필드 코딩된 매크로블록의 제1 필드 및 제2 필드 사이에서 상기 제1 방향으로부터 상기 제1 방향과 반대인 제2 방향으로 예측 모드가 전환됨을 나타내는 모드 전환 신택스 요소(mode switch syntax element)를 수신하는 단계를 포함하고, 상기 제1 예측 모드를 나타내는 상기 하나 이상의 신택스 요소들을 따르는 상기 비트스트림 내의 상기 모드 전환 신택스 요소의 존재는 전방 또는 후방인 상기 제1 예측 모드에 의존함 -;
    상기 비디오 디코더를 구현하는 상기 컴퓨팅 장치로, 상기 인터레이스형 양방향 예측 픽처를 디코딩하는 단계 - 상기 디코딩하는 단계는, 상기 인터레이스형 양방향 예측 픽처 내의 상기 필드 코딩된 매크로블록 내의, 상기 제1 방향에서 상기 제1 예측 모드를 사용하여 인코딩된 상기 제1 필드에 대하여 제1 움직임 벡터를 예측하는 단계와, 상기 인터레이스형 양방향 예측 픽처 내의 상기 필드 코딩된 매크로블록 내의, 상기 제1 방향과 반대인 상기 제2 방향에서 제2 예측 모드를 사용하여 인코딩된 상기 제2 필드에 대하여 제2 움직임 벡터를 예측하는 단계를 포함함 -
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 인터레이스형 양방향 예측 픽처는 인터레이스형 B-프레임(interlaced B-frame)이고, 상기 제1 예측 모드는 전방이고 상기 제2 예측 모드는 후방인, 방법.
  3. 비디오 인코더를 구현하는 컴퓨팅 장치에서의 방법으로서,
    상기 비디오 인코더를 구현하는 상기 컴퓨팅 장치로, 인터레이스형 B-프레임 내의 현재의 필드 코딩된 매크로블록에 대한 제1 예측 방향에서 제1 예측 모드를 나타내는 하나 이상의 신택스 요소들을 시그널링하는 단계; 및
    상기 비디오 인코더를 구현하는 상기 컴퓨팅 장치로, 상기 제1 예측 모드가 전방 또는 후방인 경우에만, 상기 현재의 필드 코딩된 매크로블록에 대하여 예측 모드 전환 신택스 요소를 시그널링하여, 상기 현재의 필드 코딩된 매크로블록의 제1 필드에 대한 상기 제1 예측 모드의 사용 및 상기 현재의 필드 코딩된 매크로블록 내의 제2 필드에 대한 상기 제1 예측 방향과 반대인 제2 예측 방향에서의 제2 예측 모드의 사용을 지정하는 단계
    를 포함하고,
    상기 제1 예측 모드를 나타내는 상기 하나 이상의 신택스 요소들을 따르는 상기 예측 모드 전환 신택스 요소의 시그널링은 전방 또는 후방인 상기 제1 예측 모드에 의존하는, 방법.
  4. 비디오 디코더를 구현하는 컴퓨팅 장치에서의 방법으로서,
    상기 비디오 디코더를 구현하는 상기 컴퓨팅 장치에서, 압축된 비디오 정보를 비트스트림으로 수신하는 단계 - 상기 수신하는 단계는, 인터레이스형 B-프레임 내의 현재의 필드 코딩된 매크로블록에 대하여 제1 예측 방향에서 제1 예측 모드를 나타내는 하나 이상의 예측 모드 신호 신택스 요소들을 수신하는 단계와, 상기 제1 예측 모드가 전방 또는 후방인 경우에만, 예측 모드 전환이 상기 현재의 필드 코딩된 매크로블록에 대해 적용되는지 여부를 나타내는 전환 모드 신호를 수신하는 단계를 포함하고, 상기 하나 이상의 예측 모드 신호 신택스 요소들을 따르는 상기 비트스트림 내의 상기 전환 모드 신호의 존재는 전방 또는 후방인 상기 제1 예측 모드에 의존함 -; 및
    상기 비디오 디코더를 구현하는 상기 컴퓨팅 장치로, 상기 인터레이스형 B-프레임을 디코딩하는 단계 - 상기 디코딩하는 단계는, 예측 모드 전환이 적용될 때 상기 현재의 필드 코딩된 매크로블록의 제1 필드에 대해 상기 제1 예측 모드를 사용하고 상기 현재의 필드 코딩된 매크로블록 내의 제2 필드에 대해 상기 제1 예측 방향과 반대인 제2 예측 방향에서의 제2 예측 모드를 사용하는 단계와, 예측 모드 전환이 적용되지 않을 때 상기 현재의 필드 코딩된 매크로블록의 상기 제1 필드 및 상기 제2 필드에 대하여 상기 제1 예측 모드를 사용하는 단계를 포함함 -
    를 포함하는 방법.
  5. 제1항에 있어서,
    상기 제1 예측 모드를 나타내는 상기 하나 이상의 모드 신택스 요소들은 상기 제1 예측 모드가 직접인지 아닌지 여부를 나타내는 직접/비직접 모드 신호(direct/non-direct mode signal) 및 상기 제1 예측 모드가 전방인지 후방인지 또는 보간(interpolated)인지 여부를 나타내는 가변 크기(variable-size) 신택스 요소를 포함하는, 방법.
  6. 인코딩된 비디오 정보를 비디오 디코더로 디코딩하는 방법으로서,
    상기 비디오 디코더에서, 인코딩된 비디오 정보를 비트스트림으로부터 수신하는 단계; 및
    상기 비디오 디코더로, 상기 인코딩된 비디오 정보를 사용하여, 복수의 매크로블록들을 포함하는 인터레이스형 양방향 예측 필드를 디코딩하는 단계
    를 포함하고,
    상기 디코딩하는 단계는, 상기 복수의 매크로블록들 중 현재의 매크로블록에 대하여,
    상기 인터레이스형 양방향 예측 필드 내의 상기 현재의 매크로블록 내의 4개의 블록들 각각에 대하여 움직임 벡터를 산출하는 단계; 및
    상기 인터레이스형 양방향 예측 필드 내의 상기 현재의 매크로블록에 대한 움직임 보상에서 상기 산출된 움직임 벡터들 중 하나 이상을 사용하는 단계
    를 포함하며,
    상기 복수의 매크로블록들에 대한 움직임 보상 예측 모드들은 전방 예측 모드 및 복수의 비전방(non-forward) 예측 모드들을 포함하고, 상기 복수의 비전방 예측 모드들은 후방 예측 모드, 직접 예측 모드 및 보간 예측 모드를 포함하며, 매크로블록당 4개의 움직임 벡터들의 사용은 상기 전방 예측 모드 및 상기 후방 예측 모드로 제한되고, 상기 제한된 매크로블록당 4개의 움직임 벡터들의 사용은, 상기 현재의 매크로블록의 움직임 보상 예측 모드가 상기 전방 예측 모드가 아닌 것으로 시그널링되는지 여부 및 상기 움직임 벡터들의 수가 상기 현재의 매크로블록에 대하여 4개가 아닌 것으로 시그널링되는지 여부에 따라 상기 비트스트림 내의 비전방 예측 모드 선택 신택스 요소의 사용을 조절함으로써, 상기 후방 예측 모드를 시그널링하는 것에 연관되는 시그널링 오버헤드를 감소시키며, 상기 비전방 예측 모드 신택스 선택 요소는 사용될 때 상기 현재의 매크로블록에 대한 상기 복수의 비전방 예측 모드들 중 하나를 지정하는, 방법.
  7. 제6항에 있어서,
    상기 움직임 벡터를 산출하는 단계는, 상기 현재의 매크로블록 내의 4개의 블록들 각각에 대하여,
    상기 블록에 대한 하나 이상의 움직임 벡터 예측자 후보들을 결정하는 단계;
    상기 블록에 대한 상기 하나 이상의 움직임 벡터 예측자 후보들 중 하나 이상에 적어도 부분적으로 기초하여 상기 블록에 대한 움직임 벡터 예측자를 산출하 는 단계; 및
    상기 블록에 대한 상기 움직임 벡터 예측자에 적어도 부분적으로 기초하여 상기 블록에 대한 움직임 벡터를 재구성하는 단계를 포함하는, 방법.
  8. 인코딩된 비디오 정보를 비디오 디코더로 디코딩하는 방법으로서,
    상기 비디오 디코더로, 비트스트림 내의 인터레이스형 양방향 예측 필드의 현재의 매크로블록에 대한 예측 모드에 대한 예측 모드 정보를 수신 및 처리하는 단계 - 상기 수신 및 처리하는 단계는, 상기 현재의 매크로블록에 대한 상기 예측 모드에 대한 전방 예측 모드 및 복수의 비전방 예측 모드들 사이의 결정을 나타내는 제1 신택스 요소를 수신하는 단계와, 다수의 움직임 벡터들을 가지는 매크로블록 모드를 나타내는 제2 신택스 요소를 수신하는 단계와, 상기 복수의 비전방 예측 모드들 중 하나를 지정하도록 비전방 예측 모드 선택을 나타내는 제3 신택스 요소를 조건부로 수신하는 단계를 포함하고, 상기 제3 신택스 요소를 조건부로 수신하는 단계는 상기 현재의 매크로블록이 인트라(intra)가 아니고 상기 현재의 매크로블록에 대한 상기 예측 모드가 상기 전방 예측 모드가 아니고 상기 움직임 벡터들의 수가 4개가 아닌 경우 상기 제3 신택스 요소를 수신하고 그렇지 않은 경우 상기 제3 신택스 요소의 수신을 건너뛰는 단계를 포함함 -; 및
    상기 예측 모드가 매크로블록당 4개의 움직임 벡터들을 허용하는 경우, 상기 현재의 매크로블록의 최대 4개의 블록들 각각에 대해 움직임 벡터를 재구성하기 위한 움직임 벡터 재구성 정보를 수신 및 처리하는 단계
    를 포함하는 방법.
  9. 제8항에 있어서,
    상기 예측 모드가 상기 전방 예측 모드 또는 후방 예측 모드이나, 상기 예측 모드가 보간 예측 모드가 아닌 경우, 상기 예측 모드는 매크로블록당 4개의 움직임 벡터들을 허용하는, 방법.
  10. 제8항에 있어서,
    상기 현재의 매크로블록에 대한 상기 예측 모드는 상기 비트스트림 내의 필드 레벨에서 적어도 부분적으로 시그널링되는, 방법.
  11. 압축된 비디오 정보를 비디오 디코더로 디코딩하는 방법으로서,
    상기 비디오 디코더에서, 압축된 비디오 정보를 비트스트림으로 수신하는 단계; 및
    상기 비디오 디코더로, 상기 압축된 비디오 정보를 사용하여 복수의 매크로블록들을 포함하는 양방향 예측 픽처를 디코딩하는 단계
    를 포함하고,
    상기 디코딩하는 단계는, 상기 양방향 예측 픽처 내의 상기 복수의 매크로블록들이 전방 모드 예측이나 복수의 유형의 비전방 모드 예측 중 하나를 사용하여 움직임 보상되는지 여부를 나타내는 이진 결정 정보(binary decision information)를 나타내는 일련의 비트들을 디코딩하는 단계를 포함하고, 상기 양방향 예측 픽처의 상기 복수의 매크로블록들 각각에 대하여 상기 일련의 비트들 내의 하나의 비트는 상기 일련의 비트들의 상기 이진 결정 정보의 일부로서 상기 매크로블록과 연관되며, 상기 하나의 비트는 상기 매크로블록에 대한 움직임 보상 예측 유형이 (a) 전방 모드 예측인지 (b) 복수의 유형의 비전방 모드 예측 중 하나인지 여부를 나타내고, 상기 일련의 비트들은 하나 이상의 픽처 레벨 신택스 요소들로서 시그널링되고, 픽처 레벨 및 매크로블록 레벨 신택스 요소들의 조합은 상기 양방향 예측 픽처의 상기 복수의 매크로블록들에 대한 상기 움직임 보상 예측 유형들을 나타내며,
    상기 양방향 예측 픽처의 상기 복수의 매크로블록들 중 제1 매크로블록에 대하여, 상기 움직임 보상 예측 유형은 전방 모드 예측이고, 상기 매크로블록에 대한 상기 하나의 비트는 상기 매크로블록에 대한 상기 움직임 보상 예측 유형을 나타내며,
    상기 양방향 예측 픽처의 상기 복수의 매크로블록들 중 제2 매크로블록에 대하여, 상기 매크로블록에 대한 상기 하나의 비트 및 상기 매크로블록에 대한 매크로블록 레벨 가변 길이 코드는 함께 상기 매크로블록에 대한 상기 움직임 보상 예측 유형을 나타내는, 방법.
  12. 제11항에 있어서,
    상기 비디오 디코더로 상기 양방향 예측 픽처를 디코딩하는 단계는, 상기 양방향 예측 픽처의 상기 복수의 매크로블록들 중 적어도 하나에 대하여,
    상기 이진 결정 정보가 상기 매크로블록에 대한 상기 복수의 유형의 비전방 모드 예측 중 하나를 사용하는 움직임 보상을 나타내는 것을 결정하는 단계; 및
    가변 길이 코드 테이블로부터 상기 매크로블록에 대한 상기 매크로블록 레벨 가변 길이 코드를 디코딩하는 단계 - 상기 매크로블록 레벨 가변 길이 코드는 상기 매크로블록에 대한 상기 복수의 유형의 비전방 모드 예측 중 하나를 나타냄 -
    를 더 포함하는, 방법.
  13. 압축된 비디오 정보를 비디오 디코더로 디코딩하는 방법으로서,
    상기 비디오 디코더에서, 압축된 비디오 정보를 비트스트림으로 수신하는 단계; 및
    상기 비디오 디코더로, 상기 압축된 비디오 정보를 사용하여 복수의 매크로블록들을 포함하는 양방향 예측 픽처를 디코딩하는 단계
    를 포함하고,
    상기 디코딩하는 단계는,
    상기 비디오 디코더로, 미처리 모드(raw mode)를 포함하는 복수의 이용가능한 코딩 모드들 중에서부터 코딩 모드를 선택하는 단계,
    상기 선택된 코딩 모드가 상기 미처리 모드인 경우, 상기 양방향 예측 픽처의 상기 복수의 매크로블록들 각각에 대하여, 상기 비디오 디코더로, 상기 매크로블록에 대한 움직임 보상 예측 유형이 (a) 전방 모드 예측인지 (b) 복수의 유형의 비전방 모드 예측 중 하나인지 여부를 나타내는 이진 결정 정보를 매크로블록 레벨에서 디코딩하는 단계,
    상기 선택된 코딩 모드가 상기 미처리 모드가 아닌 경우, 상기 비디오 디코더로, 상기 선택된 코딩 모드에 따라 일련의 비트들로서 상기 이진 결정 정보를 픽처 레벨에서 디코딩하는 단계 - 상기 양방향 예측 픽처의 상기 복수의 매크로블록들 각각에 대하여, 상기 일련의 비트들 내의 하나의 비트가 상기 일련의 비트들의 상기 이진 결정 정보의 일부로서 상기 매크로블록에 연관되고, 상기 하나의 비트는 상기 매크로블록에 대한 상기 움직임 보상 예측 유형이 (a) 전방 모드 예측인지 (b) 복수의 유형의 비전방 모드 예측 중 하나인지 여부를 나타내며, 상기 일련의 비트들은 하나 이상의 픽처 레벨 신택스 요소들로서 시그널링되고, 픽처 레벨 및 매크로블록 레벨 신택스 요소들의 조합은 상기 양방향 예측 픽처의 상기 복수의 매크로블록에 대한 상기 움직임 보상 예측 유형들을 나타냄 -
    를 포함하며,
    상기 양방향 예측 픽처의 상기 복수의 매크로블록들 중 제1 매크로블록에 대하여, 상기 움직임 보상 예측 유형은 전방 모드 예측이고, 상기 매크로블록에 대한 상기 하나의 비트는 상기 매크로블록에 대한 상기 움직임 보상 예측 유형을 나타내며,
    상기 양방향 예측 픽처의 상기 복수의 매크로블록들 중 제2 매크로블록에 대하여, 상기 매크로블록에 대한 상기 하나의 비트 및 상기 매크로블록에 대한 매크로블록 레벨 가변 길이 코드는 함께 상기 매크로블록에 대한 상기 움직임 보상 예측 유형을 나타내는, 방법.
  14. 제13항에 있어서,
    상기 일련의 비트들은 필드 헤더 내에서 시그널링되는, 방법.
  15. 제12항에 있어서,
    상기 가변 길이 코드 테이블은 후방 모드에 관한 제1 코드, 직접 모드에 관한 제2 코드, 및 보간 모드에 관한 제3 코드를 포함하는, 방법.
KR1020097017978A 2003-09-07 2004-09-03 인터레이스형 비디오의 최신 양방향 예측 코딩 KR101083870B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US50108103P 2003-09-07 2003-09-07
US60/501,081 2003-09-07
US10/882,135 2004-06-29
US10/882,135 US8064520B2 (en) 2003-09-07 2004-06-29 Advanced bi-directional predictive coding of interlaced video
PCT/US2004/029000 WO2005027493A2 (en) 2003-09-07 2004-09-03 Advanced bi-directional predictive coding of interlaced video

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020067002491A Division KR101075377B1 (ko) 2003-09-07 2004-09-03 인터레이스형 비디오의 최신 양방향 예측 코딩

Publications (2)

Publication Number Publication Date
KR20090108107A KR20090108107A (ko) 2009-10-14
KR101083870B1 true KR101083870B1 (ko) 2011-11-15

Family

ID=34228798

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020067002491A KR101075377B1 (ko) 2003-09-07 2004-09-03 인터레이스형 비디오의 최신 양방향 예측 코딩
KR1020097017978A KR101083870B1 (ko) 2003-09-07 2004-09-03 인터레이스형 비디오의 최신 양방향 예측 코딩
KR1020097017979A KR101365908B1 (ko) 2003-09-07 2004-09-03 인터레이스형 비디오의 최신 양방향 예측 코딩

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020067002491A KR101075377B1 (ko) 2003-09-07 2004-09-03 인터레이스형 비디오의 최신 양방향 예측 코딩

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020097017979A KR101365908B1 (ko) 2003-09-07 2004-09-03 인터레이스형 비디오의 최신 양방향 예측 코딩

Country Status (9)

Country Link
US (8) US8064520B2 (ko)
EP (5) EP2285114B1 (ko)
JP (6) JP4763607B2 (ko)
KR (3) KR101075377B1 (ko)
CN (6) CN101841718B (ko)
ES (2) ES2634493T3 (ko)
HK (2) HK1152178A1 (ko)
MX (1) MXPA06002079A (ko)
WO (1) WO2005027493A2 (ko)

Families Citing this family (220)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923688B2 (en) * 2001-09-12 2014-12-30 Broadcom Corporation Performing personal video recording (PVR) functions on digital video streams
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7693339B2 (en) * 2003-12-17 2010-04-06 Andreas Wittenstein Method and apparatus for faster-than-real-time lossless compression and decompression of images
US7397855B2 (en) * 2004-04-14 2008-07-08 Corel Tw Corp. Rate controlling method and apparatus for use in a transcoder
TWI245539B (en) * 2004-09-22 2005-12-11 Sony Taiwan Ltd Spatial domain pre-processing to reduce the intra-coding computation complexity
CN100593336C (zh) * 2005-01-10 2010-03-03 松下电器产业株式会社 画面编码装置和画面解码装置
TWI277013B (en) * 2005-02-01 2007-03-21 Ind Tech Res Inst Method for reducing buffered-frame memory sizes and accesses in a video codec
US8548055B2 (en) * 2005-03-10 2013-10-01 Qualcomm Incorporated Encoding of multimedia data
US8687694B2 (en) * 2005-10-05 2014-04-01 Panasonic Corporation Reference picture selection method and apparatus
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100727994B1 (ko) * 2005-10-06 2007-06-14 삼성전자주식회사 깜박거림 현상 감소를 위한 동영상 프레임의 코딩 방법 및장치
US20070116119A1 (en) * 2005-11-23 2007-05-24 Capso Vision, Inc. Movement detection and construction of an "actual reality" image
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
US8049741B2 (en) * 2006-01-11 2011-11-01 Dell Products L.P. Video optimized LCD response time compensation
FR2897741B1 (fr) * 2006-02-17 2008-11-07 Canon Kk Procede et dispositif de generation de donnees representatives d'un degre d'importance de blocs de donnees et procede et dispositif de transmission d'une sequence video encodee
US8385419B2 (en) * 2006-04-26 2013-02-26 Altera Corporation Methods and apparatus for motion search refinement in a SIMD array processor
KR100763917B1 (ko) * 2006-06-21 2007-10-05 삼성전자주식회사 고속으로 움직임을 추정하는 방법 및 장치
JP4592656B2 (ja) * 2006-08-17 2010-12-01 富士通セミコンダクター株式会社 動き予測処理装置、画像符号化装置および画像復号化装置
KR20080022614A (ko) * 2006-09-07 2008-03-12 삼성전자주식회사 글로벌 영상 검출 방법과, 표시 장치 및 이의 구동 방법
DE102006043707A1 (de) * 2006-09-18 2008-03-27 Robert Bosch Gmbh Verfahren zur Datenkompression in einer Videosequenz
US8194744B2 (en) * 2006-09-20 2012-06-05 Lsi Corporation Method and/or apparatus for implementing reduced bandwidth high performance VC1 intensity compensation
FR2906433B1 (fr) * 2006-09-22 2009-02-27 Canon Kk Procedes et dispositifs de codage et de decodage d'images, programme d'ordinateur les mettant en oeuvre et support d'informaton permettant de les mettre en oeuvre
JP5124583B2 (ja) * 2006-10-18 2013-01-23 トムソン ライセンシング 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置
US20080117968A1 (en) * 2006-11-22 2008-05-22 Capso Vision, Inc. Movement detection and construction of an "actual reality" image
US8611418B2 (en) * 2006-11-30 2013-12-17 Lsi Corporation Decoding a progressive JPEG bitstream as a sequentially-predicted hybrid video bitstream
JP5045950B2 (ja) * 2006-12-14 2012-10-10 日本電気株式会社 映像符号化方法、映像符号化装置および映像符号化プログラム
NO328076B1 (no) * 2007-02-09 2009-11-23 Tandberg Telecom As Fremgangsmate for pikselprediksjon med redusert kompleksitet.
US20080240242A1 (en) * 2007-03-27 2008-10-02 Nokia Corporation Method and system for motion vector predictions
US20080260023A1 (en) * 2007-04-18 2008-10-23 Chih-Ta Star Sung Digital video encoding and decoding with refernecing frame buffer compression
US8526499B2 (en) * 2007-06-15 2013-09-03 Sungkyunkwan University Foundation For Corporate Collaboration Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording medium
WO2008153262A1 (en) 2007-06-15 2008-12-18 Sungkyunkwan University Foundation For Corporate Collaboration Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording midium
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
EP2188978A2 (en) * 2007-09-10 2010-05-26 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
US8432975B2 (en) * 2008-01-18 2013-04-30 Mediatek Inc. Apparatus and method for processing a picture frame
KR101442608B1 (ko) * 2008-02-05 2014-09-25 삼성전자주식회사 영상을 효율적으로 부호화/복호화하는 방법 및 장치
CN101527843B (zh) * 2008-03-07 2011-01-26 瑞昱半导体股份有限公司 用来解码视频画面中的视频块的装置及其相关方法
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR101423655B1 (ko) * 2008-03-18 2014-07-29 삼성전자주식회사 필드 픽쳐 부호화/복호화 장치 및 그 방법
US20090238479A1 (en) * 2008-03-20 2009-09-24 Pawan Jaggi Flexible frame based energy efficient multimedia processor architecture and method
US20090238263A1 (en) * 2008-03-20 2009-09-24 Pawan Jaggi Flexible field based energy efficient multimedia processor architecture and method
US8634467B2 (en) * 2008-05-06 2014-01-21 Choy Sai Foundation L.L.C. Flexible Wyner-Ziv video frame coding
KR101445791B1 (ko) * 2008-05-10 2014-10-02 삼성전자주식회사 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
US8805101B2 (en) * 2008-06-30 2014-08-12 Intel Corporation Converting the frame rate of video streams
JP5578775B2 (ja) 2008-09-02 2014-08-27 富士通株式会社 符号化装置および復号装置
US8379727B2 (en) * 2008-09-26 2013-02-19 General Instrument Corporation Method and apparatus for scalable motion estimation
US8483285B2 (en) * 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US20100086048A1 (en) * 2008-10-03 2010-04-08 Faisal Ishtiaq System and Method for Video Image Processing
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8879637B2 (en) * 2008-10-06 2014-11-04 Lg Electronics Inc. Method and an apparatus for processing a video signal by which coding efficiency of a video signal can be raised by using a mixed prediction mode in predicting different macroblock sizes
US20100086051A1 (en) 2008-10-06 2010-04-08 Lg Electronics Inc. Method and an apparatus for processing a video signal
KR101377527B1 (ko) 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
TWI398169B (zh) * 2008-12-23 2013-06-01 Ind Tech Res Inst 移動向量之編碼模式選擇方法及其相關編碼模式選擇裝置，及其機器可讀取媒體
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US20110026593A1 (en) * 2009-02-10 2011-02-03 New Wei Lee Image processing apparatus, image processing method, program and integrated circuit
EP2224740A1 (en) * 2009-02-27 2010-09-01 Nxp B.V. Detecting occlusion
JP5115498B2 (ja) * 2009-03-05 2013-01-09 富士通株式会社 画像符号化装置、画像符号化制御方法およびプログラム
US20100226437A1 (en) * 2009-03-06 2010-09-09 Sony Corporation, A Japanese Corporation Reduced-resolution decoding of avc bit streams for transcoding or display at lower resolution
US8798158B2 (en) * 2009-03-11 2014-08-05 Industry Academic Cooperation Foundation Of Kyung Hee University Method and apparatus for block-based depth map coding and 3D video coding method using the same
PL3249924T3 (pl) 2009-03-23 2019-12-31 Ntt Docomo, Inc. Urządzenie do predykcyjnego kodowania obrazu, sposób predykcyjnego kodowania obrazu, urządzenie do predykcyjnego dekodowania obrazu i sposób predykcyjnego dekodowania obrazu
US9113168B2 (en) * 2009-05-12 2015-08-18 Lg Electronics Inc. Method and apparatus of processing a video signal
US9628794B2 (en) * 2009-06-18 2017-04-18 Kabushiki Kaisha Toshiba Video encoding apparatus and a video decoding apparatus
EP2445215B1 (en) * 2009-06-18 2015-03-18 Kabushiki Kaisha Toshiba Dynamic image encoding device and dynamic image decoding device
US8873626B2 (en) * 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
KR20110022133A (ko) * 2009-08-27 2011-03-07 삼성전자주식회사 영상의 움직임 추정방법 및 영상처리장치
US8487981B2 (en) * 2009-09-04 2013-07-16 Broadcom Corporation Method and system for processing 2D/3D video
KR20110027238A (ko) * 2009-09-10 2011-03-16 삼성전자주식회사 휴대용 단말기의 영상 데이터 처리 장치 및 방법
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
KR101459714B1 (ko) * 2009-10-28 2014-11-13 에스케이텔레콤 주식회사 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
EP2494781A1 (en) 2009-10-29 2012-09-05 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for processing a video sequence
US9621892B2 (en) * 2009-12-18 2017-04-11 Sony Corporation Emulation of Bi predicted pictures using adjacent pictures for improved video
KR101487687B1 (ko) 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
US9036692B2 (en) * 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
MY197143A (en) * 2010-01-19 2023-05-26 Samsung Electronics Co Ltd Method and apparatus for encoding/decoding images using a motion vector of a previous block as a motion vector for the current block
EP2528332A4 (en) 2010-01-19 2015-08-05 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING / DECODING PICTURES USING A MOTION VECTOR OF A PREVIOUS BLOCK AS A MOTION VECTOR OF THE PRESENT BLOCK
CN105025298B (zh) * 2010-01-19 2019-04-16 三星电子株式会社 对图像进行编码/解码的方法和设备
EP2557795A4 (en) * 2010-04-06 2015-07-08 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING A VIDEO AND METHOD AND APPARATUS FOR DECODING A VIDEO
EP2559243B1 (en) * 2010-04-13 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A video decoder and a video encoder using motion-compensated prediction
WO2011145865A2 (ko) * 2010-05-17 2011-11-24 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
JP5625512B2 (ja) * 2010-06-09 2014-11-19 ソニー株式会社 符号化装置、符号化方法、プログラム、および記録媒体
US8908755B2 (en) * 2010-07-16 2014-12-09 Sony Corporation Multi-parameter motion for efficient prediction in video compression
CA3102661C (en) 2010-07-20 2022-05-17 Ntt Docomo, Inc. Video prediction encoding and decoding for partitioned regions while determining whether or not to use motion information from neighboring regions
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
US9549197B2 (en) * 2010-08-16 2017-01-17 Dolby Laboratories Licensing Corporation Visual dynamic range timestamp to enhance data coherency and potential of metadata using delay information
EP4322530A1 (en) 2010-09-02 2024-02-14 LG Electronics Inc. Inter prediction method and device
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
MX2013001659A (es) * 2010-09-24 2013-03-21 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen, y aparato de decodificacion de imagen.
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US10104391B2 (en) * 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US20120082228A1 (en) 2010-10-01 2012-04-05 Yeping Su Nested entropy encoding
EP3703373B1 (en) 2010-10-08 2024-04-17 GE Video Compression, LLC Picture coding supporting block partitioning and block merging
KR101950419B1 (ko) 2010-11-24 2019-02-21 벨로스 미디어 인터내셔널 리미티드 움직임 벡터 산출 방법, 화상 부호화 방법, 화상 복호 방법, 움직임 벡터 산출 장치 및 화상 부호화 복호 장치
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
EP2654302B1 (en) * 2010-12-13 2019-09-04 Electronics and Telecommunications Research Institute Inter prediction method
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
TWI471010B (zh) 2010-12-30 2015-01-21 Mstar Semiconductor Inc 一種具有移動補償的解交錯影像處理裝置及其相關方法
CN103763500A (zh) * 2011-01-04 2014-04-30 晨星软件研发(深圳)有限公司 一种具有移动补偿的解交错影像处理装置及其相关方法
US9635383B2 (en) * 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for computing a motion vector
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
CN106851306B (zh) * 2011-01-12 2020-08-04 太阳专利托管公司 动态图像解码方法和动态图像解码装置
WO2012097376A1 (en) 2011-01-14 2012-07-19 General Instrument Corporation Spatial block merge mode
WO2012097749A1 (en) * 2011-01-19 2012-07-26 Mediatek Inc. Method and apparatus for parsing error robustness of temporal motion vector prediction
PL2675169T3 (pl) 2011-02-09 2020-01-31 Lg Electronics Inc. Sposób kodowania i dekodowania danych obrazu z elementem predykcji czasowego wektora ruchu i urządzenie wykorzystujące ten sposób
WO2012114694A1 (ja) 2011-02-22 2012-08-30 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
US20130329797A1 (en) * 2011-02-25 2013-12-12 Panasonic Corporation Image coding method and image decoding method
KR101878008B1 (ko) 2011-03-03 2018-07-13 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치
GB2488815C (en) * 2011-03-09 2018-03-28 Canon Kk Video decoding
US9424856B2 (en) * 2011-03-10 2016-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Filling of non-coded sub-vectors in transform coded audio signals
CN106851290B (zh) * 2011-03-10 2020-11-03 威勒斯媒体国际有限公司 解码方法、解码装置、编码方法以及编码装置
JP5982734B2 (ja) * 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
ES2621231T3 (es) 2011-04-12 2017-07-03 Sun Patent Trust Método de codificación de video de movimiento, aparato de codificación de video de movimiento, método de decodificación de video de movimiento, aparato de decodificación de video de movimiento y aparato de codificación/decodificación de video de movimiento
ES2959874T3 (es) 2011-05-24 2024-02-28 Sun Patent Trust Procedimiento de codificación de imágenes, aparato de codificación de imágenes, procedimiento de decodificación de imágenes, aparato de decodificación de imágenes
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
WO2012164880A1 (ja) 2011-05-27 2012-12-06 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
CA2834191C (en) 2011-05-31 2019-04-09 Panasonic Corporation Video encoding method, video encoding device, video decoding method, video decoding device, and video encoding/decoding device
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
US9131239B2 (en) 2011-06-20 2015-09-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
MY161905A (en) 2011-06-27 2017-05-15 Panasonic Ip Corp America Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding-decoding apparatus
CN106851314B (zh) * 2011-06-27 2018-12-14 三星电子株式会社 对图像进行解码的方法
KR102490375B1 (ko) * 2011-06-28 2023-01-19 엘지전자 주식회사 움직임 벡터 리스트 설정 방법 및 이러한 방법을 사용하는 장치
PL2728878T3 (pl) 2011-06-30 2020-06-15 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
US11647197B2 (en) * 2011-06-30 2023-05-09 Velos Media, Llc Context initialization based on slice header flag and slice type
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
US9159139B2 (en) * 2011-07-14 2015-10-13 Technische Universitat Berlin Method and device for processing pixels contained in a video sequence
MX341415B (es) 2011-08-03 2016-08-19 Panasonic Ip Corp America Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
CN107592528B (zh) 2011-09-09 2020-05-12 株式会社Kt 用于解码视频信号的方法
AU2012309008A1 (en) * 2011-09-16 2013-11-07 Mediatek Singapore Pte. Ltd. Method and apparatus for prediction mode and partition mode syntax coding for coding units in HEVC
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
JP5803500B2 (ja) * 2011-09-27 2015-11-04 株式会社Ｊｖｃケンウッド 動きベクトル検出装置及び方法
CA2850066C (en) 2011-10-05 2020-03-24 Panasonic Corporation An image coding and decoding method using prediction information candidates for prediction unit sub-blocks
KR101550724B1 (ko) 2011-10-17 2015-09-07 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
KR101999869B1 (ko) 2011-10-19 2019-07-12 선 페이턴트 트러스트 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 및, 화상 복호 장치
EP3413567B1 (en) 2011-11-02 2023-10-11 Tagivan Ii Llc Video decoding method, and video decoder
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
TWI523497B (zh) * 2011-11-10 2016-02-21 Sony Corp Image processing apparatus and method
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
CN103650507B (zh) 2011-12-16 2018-01-02 太阳专利托管公司 运动图像编码方法及装置、运动图像解码方法及装置
US9762904B2 (en) * 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US9900615B2 (en) * 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
WO2013106482A1 (en) * 2012-01-09 2013-07-18 Huawei Technologies Co., Ltd. Quantization matrix (qm) coding based on weighted prediction
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
JP6012014B2 (ja) * 2012-03-30 2016-10-25 サン パテント トラスト 画像符号化方法および画像復号方法
US10721487B2 (en) * 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
JP5939016B2 (ja) 2012-04-27 2016-06-22 セイコーエプソン株式会社 光学デバイス及び検出装置
JP2015524225A (ja) * 2012-06-21 2015-08-20 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ビデオ信号をコーディングするための装置及び方法
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
KR102215433B1 (ko) 2012-07-02 2021-02-15 엘지전자 주식회사 영상 정보 코딩 방법 및 이를 이용하는 장치
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
CN103634606B (zh) * 2012-08-21 2015-04-08 腾讯科技（深圳）有限公司 视频编码方法和装置
US20140092992A1 (en) 2012-09-30 2014-04-03 Microsoft Corporation Supplemental enhancement information including confidence level and mixed content information
US9560361B2 (en) * 2012-12-05 2017-01-31 Vixs Systems Inc. Adaptive single-field/dual-field video encoding
US9008363B1 (en) 2013-01-02 2015-04-14 Google Inc. System and method for computing optical flow
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
CN105009575B (zh) * 2013-03-13 2018-12-07 华为技术有限公司 一种基于子范围编码深度查询表的方法
US9749627B2 (en) 2013-04-08 2017-08-29 Microsoft Technology Licensing, Llc Control data for motion-constrained tile set
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
FR3011429A1 (fr) * 2013-09-27 2015-04-03 Orange Codage et decodage video par heritage d'un champ de vecteurs de mouvement
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US20150208072A1 (en) * 2014-01-22 2015-07-23 Nvidia Corporation Adaptive video compression based on motion
KR101575605B1 (ko) 2014-01-24 2015-12-10 에스케이텔레콤 주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575645B1 (ko) 2014-01-24 2015-12-09 에스케이텔레콤 주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575616B1 (ko) 2014-01-24 2015-12-09 에스케이텔레콤 주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575635B1 (ko) 2014-01-24 2015-12-09 에스케이텔레콤 주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101575636B1 (ko) 2014-01-24 2015-12-09 에스케이텔레콤 주식회사 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN106031144B (zh) * 2014-03-28 2019-05-24 华为技术有限公司 生成运动补偿视频帧的方法和设备
US9877048B2 (en) * 2014-06-09 2018-01-23 Qualcomm Incorporated Entropy coding techniques for display stream compression (DSC)
KR101582504B1 (ko) * 2014-06-12 2016-01-07 에스케이텔레콤 주식회사 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
KR101590493B1 (ko) 2014-06-12 2016-02-02 에스케이텔레콤 주식회사 인터 예측을 이용한 영상 부호화 및 복호화 방법과 장치
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
CN107534765B (zh) * 2015-03-31 2020-10-02 瑞尔数码有限公司 视频编码系统和方法中的运动矢量选择和预测
EP3395072A4 (en) 2015-12-22 2019-05-22 RealNetworks, Inc. SELECTION AND PREDICTION OF MOTION VECTOR IN VIDEO ENCODING SYSTEMS AND METHODS
CN114449287A (zh) * 2016-03-16 2022-05-06 联发科技股份有限公司 视频编码的样式基础的运动向量推导之方法及装置
EP3249652B1 (en) * 2016-05-25 2020-07-15 Axis AB Method and apparatus for playing back recorded video
CN106780363B (zh) * 2016-11-21 2019-07-23 北京金山安全软件有限公司 一种图片处理方法、装置及电子设备
US10235763B2 (en) 2016-12-01 2019-03-19 Google Llc Determining optical flow
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
US11245921B2 (en) 2017-06-26 2022-02-08 Interdigital Vc Holdings, Inc. Multiple predictor candidates for motion compensation
CN108390871B (zh) * 2018-02-09 2020-05-22 西安交通大学 一种基于自回归模型帧预测的雷达数据压缩方法
KR20190108506A (ko) * 2018-03-14 2019-09-24 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11451816B2 (en) * 2018-04-24 2022-09-20 Mediatek Inc. Storage of motion vectors for affine prediction
GB2588023B (en) 2018-06-05 2023-04-12 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and BIO
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
TWI729422B (zh) 2018-06-21 2021-06-01 大陸商北京字節跳動網絡技術有限公司 色彩分量間的子區塊移動向量繼承
TWI839388B (zh) 2018-09-24 2024-04-21 大陸商北京字節跳動網絡技術有限公司 簡化的基於歷史的運動矢量預測
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
KR102221581B1 (ko) * 2019-06-27 2021-03-02 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN110636290B (zh) * 2019-08-30 2021-12-03 北京大学 视频图像的运动矢量编解码方法以及编/解码器
WO2021097765A1 (zh) * 2019-11-21 2021-05-27 华为技术有限公司 一种乘法器及算子电路
CN111246211B (zh) * 2020-02-04 2021-11-16 中国联合网络通信集团有限公司 编码方法、解码方法、装置、设备及存储介质
WO2021196087A1 (zh) * 2020-04-01 2021-10-07 华为技术有限公司 视频增强的方法及装置
CN115380538A (zh) * 2020-04-02 2022-11-22 瑞典爱立信有限公司 基于双向图片条件的解码

Family Cites Families (381)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56128070A (en) 1980-03-13 1981-10-07 Fuji Photo Film Co Ltd Band compressing equipment of variable density picture
JPS60158786A (ja) 1984-01-30 1985-08-20 Kokusai Denshin Denwa Co Ltd <Kdd> 画像動き量検出方式
US4661849A (en) 1985-06-03 1987-04-28 Pictel Corporation Method and apparatus for providing motion estimation signals for communicating image sequences
EP0207774B1 (en) 1985-07-02 1992-03-04 Matsushita Electric Industrial Co., Ltd. Block encoder
US4661853A (en) 1985-11-01 1987-04-28 Rca Corporation Interfield image motion detector for video signals
FR2599577B1 (fr) 1986-05-29 1988-08-05 Guichard Jacques Procede de codage par transformation pour la transmission de signaux d'image.
US4800432A (en) 1986-10-24 1989-01-24 The Grass Valley Group, Inc. Video Difference key generator
DE3704777C1 (de) 1987-02-16 1988-04-07 Ant Nachrichtentech Verfahren zum UEbertragen und zum Wiedergeben von Fernsehbildsequenzen
NL8700565A (nl) 1987-03-10 1988-10-03 Philips Nv Televisiesysteem waarin aan een transformatiekodering onderworpen gedigitaliseerde beeldsignalen worden overgebracht van een kodeerstation naar een dekodeerstation.
DE3855114D1 (de) 1987-05-06 1996-04-25 Philips Patentverwaltung System zur Übertragung von Videobildern
DE3854171T2 (de) 1987-06-09 1995-12-21 Sony Corp Bewertung von Bewegungsvektoren in Fernsehbildern.
EP0294958B1 (en) 1987-06-09 1995-08-23 Sony Corporation Motion compensated interpolation of digital television images
US5033105A (en) 1987-08-11 1991-07-16 Apple Computer Video compression algorithm
US4836119A (en) * 1988-03-21 1989-06-06 The Charles Stark Draper Laboratory, Inc. Sperical ball positioning apparatus for seamed limp material article assembly system
ES2081833T3 (es) 1988-09-16 1996-03-16 Philips Electronics Nv Sistema de television de alta definicion.
FR2648254B2 (fr) 1988-09-23 1991-08-30 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
US4985768A (en) 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
US5379351A (en) 1992-02-19 1995-01-03 Integrated Information Technology, Inc. Video compression/decompression processing and processors
DE3943879B4 (de) 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
JPH07109990B2 (ja) 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JPH0832047B2 (ja) 1989-04-28 1996-03-27 日本ビクター株式会社 予測符号化装置
AU612543B2 (en) 1989-05-11 1991-07-11 Panasonic Corporation Moving image signal encoding apparatus and decoding apparatus
USRE35910E (en) 1989-05-11 1998-09-29 Matsushita Electric Industrial Co., Ltd. Moving image signal encoding apparatus and decoding apparatus
JPH03117991A (ja) 1989-09-29 1991-05-20 Victor Co Of Japan Ltd 動きベクトル符号化装置及び復号化装置
US5144426A (en) 1989-10-13 1992-09-01 Matsushita Electric Industrial Co., Ltd. Motion compensated prediction interframe coding system
DE69033782T2 (de) 1989-10-14 2002-06-20 Sony Corp., Tokio/Tokyo Verfahren und Anordnung zum Kodieren/Dekodieren eines Videosignales
JP2787599B2 (ja) 1989-11-06 1998-08-20 富士通株式会社 画像信号符号化制御方式
JP2636441B2 (ja) * 1989-11-09 1997-07-30 富士ゼロックス株式会社 画像記録装置
NL9000424A (nl) 1990-02-22 1991-09-16 Philips Nv Overdrachtsysteem voor gedigitaliseerde televisiebeelden.
JPH082107B2 (ja) 1990-03-02 1996-01-10 国際電信電話株式会社 動画像のハイブリッド符号化方法及びその装置
JPH03265290A (ja) 1990-03-14 1991-11-26 Toshiba Corp テレビジョン信号走査線変換器
US5103306A (en) 1990-03-28 1992-04-07 Transitions Research Corporation Digital image compression employing a resolution gradient
US5091782A (en) 1990-04-09 1992-02-25 General Instrument Corporation Apparatus and method for adaptively compressing successive blocks of digital video
US4999705A (en) 1990-05-03 1991-03-12 At&T Bell Laboratories Three dimensional motion compensated video coding
JP2969782B2 (ja) 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
US5155594A (en) 1990-05-11 1992-10-13 Picturetel Corporation Hierarchical encoding method and apparatus employing background references for efficiently communicating image sequences
CA2043670C (en) 1990-06-05 2002-01-08 Wiebe De Haan Method of transmitting a picture sequence of a full-motion video scene, and a medium for said transmission
US5068724A (en) 1990-06-15 1991-11-26 General Instrument Corporation Adaptive motion compensation for digital television
JP3037383B2 (ja) 1990-09-03 2000-04-24 キヤノン株式会社 画像処理システム及びその方法
US5095342A (en) * 1990-09-28 1992-03-10 Xerox Corporation Methods for sheet scheduling in an imaging system having an endless duplex paper path loop
EP0683615B1 (en) 1990-10-31 1999-05-19 Victor Company Of Japan, Ltd. Compression method for interlace moving image signals
JP3303869B2 (ja) 1990-11-30 2002-07-22 株式会社日立製作所 画像符号化方法、画像符号化装置、画像復号化方法
US5193004A (en) 1990-12-03 1993-03-09 The Trustees Of Columbia University In The City Of New York Systems and methods for coding even fields of interlaced video sequences
USRE35093E (en) 1990-12-03 1995-11-21 The Trustees Of Columbia University In The City Of New York Systems and methods for coding even fields of interlaced video sequences
US5080340A (en) * 1991-01-02 1992-01-14 Eastman Kodak Company Modular finisher for a reproduction apparatus
US5111292A (en) 1991-02-27 1992-05-05 General Electric Company Priority selection apparatus as for a video signal processor
JPH0630280A (ja) 1991-03-19 1994-02-04 Nec Eng Ltd ２値画像データのブロック別選択型符号化前処理方式
JP3119888B2 (ja) 1991-04-18 2000-12-25 松下電器産業株式会社 信号処理方法及び記録再生装置
DE4113505A1 (de) 1991-04-25 1992-10-29 Thomson Brandt Gmbh Verfahren zur bildsignalcodierung
US5212549A (en) 1991-04-29 1993-05-18 Rca Thomson Licensing Corporation Error concealment apparatus for a compressed video signal processing system
US5185819A (en) 1991-04-29 1993-02-09 General Electric Company Video signal compression apparatus for independently compressing odd and even fields
JPH04334188A (ja) 1991-05-08 1992-11-20 Nec Corp 動画像信号の符号化方式
HU9300005D0 (en) 1991-05-24 1993-04-28 British Broadcasting Corp Method for processing video picture
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5467136A (en) 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
JP2684941B2 (ja) 1992-11-25 1997-12-03 松下電器産業株式会社 画像符号化方法及び画像符号化装置
US5784107A (en) 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
JP2977104B2 (ja) 1991-07-26 1999-11-10 ソニー株式会社 動画像データエンコード方法および装置、並びに動画像データデコード方法および装置
JP3092280B2 (ja) 1991-07-30 2000-09-25 ソニー株式会社 画像信号の高能率符号化及び復号化装置
US5539466A (en) 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
JP2699703B2 (ja) 1991-07-31 1998-01-19 松下電器産業株式会社 動き補償予測方法とそれを用いた画像信号符号化方法
US5428396A (en) 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
JPH0541862A (ja) 1991-08-03 1993-02-19 Sony Corp 動きベクトルの可変長符号化方式
JP3001688B2 (ja) 1991-08-05 2000-01-24 株式会社大一商会 パチンコ球の循環制御装置
JP2507204B2 (ja) 1991-08-30 1996-06-12 松下電器産業株式会社 映像信号符号化装置
CA2079434A1 (en) 1991-09-30 1993-03-31 Derek Andrew Motion vector estimation, motion picture encoding and storage
JP2991833B2 (ja) 1991-10-11 1999-12-20 松下電器産業株式会社 インターレス走査ディジタルビデオ信号の符号化装置及びその方法
JP2586260B2 (ja) 1991-10-22 1997-02-26 三菱電機株式会社 適応的ブロッキング画像符号化装置
JP3134424B2 (ja) 1991-10-31 2001-02-13 ソニー株式会社 可変長符号化方法及び装置
JP2962012B2 (ja) * 1991-11-08 1999-10-12 日本ビクター株式会社 動画像符号化装置及びその復号装置
JPH05137131A (ja) 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
US5510840A (en) 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
US6441842B1 (en) 1992-02-19 2002-08-27 8×8, Inc. Video compression/decompression processing and processors
US5594813A (en) 1992-02-19 1997-01-14 Integrated Information Technology, Inc. Programmable architecture and methods for motion estimation
EP0631444B1 (en) 1992-03-03 1998-12-23 Kabushiki Kaisha Toshiba Time-varying image encoder
US5293229A (en) 1992-03-27 1994-03-08 Matsushita Electric Corporation Of America Apparatus and method for processing groups of fields in a video data compression system
US5287420A (en) 1992-04-08 1994-02-15 Supermac Technology Method for image compression on a personal computer
KR0166716B1 (ko) 1992-06-18 1999-03-20 강진구 블럭 dpcm을 이용한 부호화/복호화방법 및 장치
JP3443867B2 (ja) * 1992-06-26 2003-09-08 ソニー株式会社 画像信号符号化、復号化方法及び画像信号記録媒体
US6226327B1 (en) 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
US5666461A (en) 1992-06-29 1997-09-09 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
US5412435A (en) 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
JPH06153180A (ja) 1992-09-16 1994-05-31 Fujitsu Ltd 画像データ符号化方法及び装置
US5461420A (en) 1992-09-18 1995-10-24 Sony Corporation Apparatus for coding and decoding a digital video signal derived from a motion picture film source
JPH06113287A (ja) 1992-09-30 1994-04-22 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
US5982437A (en) 1992-10-26 1999-11-09 Sony Corporation Coding method and system, and decoding method and system
KR0166722B1 (ko) 1992-11-30 1999-03-20 윤종용 부호화 및 복호화방법 및 그 장치
JP3358835B2 (ja) 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
US5467134A (en) 1992-12-22 1995-11-14 Microsoft Corporation Method and system for compressing video data
US5400075A (en) 1993-01-13 1995-03-21 Thomson Consumer Electronics, Inc. Adaptive variable length encoder/decoder
US5491516A (en) 1993-01-14 1996-02-13 Rca Thomson Licensing Corporation Field elimination apparatus for a video compression/decompression system
US5544286A (en) 1993-01-29 1996-08-06 Microsoft Corporation Digital video data compression technique
US5592228A (en) 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
US5376968A (en) 1993-03-11 1994-12-27 General Instrument Corporation Adaptive compression of digital video data using different modes such as PCM and DPCM
PT1098529E (pt) 1993-03-24 2013-11-25 Sony Corp Método para codificar e descodificar vetores de movimento e respetivo dispositivo e método para codificar e descodificar sinais de imagem e respetivo dispositivo
WO1994024821A1 (en) * 1993-04-08 1994-10-27 Sony Corporation Apparatus for determining motion vector
US5442400A (en) 1993-04-29 1995-08-15 Rca Thomson Licensing Corporation Error concealment apparatus for MPEG-like video data
EP0625853B1 (en) 1993-05-21 1999-03-03 Nippon Telegraph And Telephone Corporation Moving image encoder and decoder
JPH06343172A (ja) 1993-06-01 1994-12-13 Matsushita Electric Ind Co Ltd 動きベクトル検出方法及び動きベクトル符号化方法
US5448297A (en) 1993-06-16 1995-09-05 Intel Corporation Method and system for encoding images using skip blocks
JPH0730896A (ja) 1993-06-25 1995-01-31 Matsushita Electric Ind Co Ltd 動きベクトル符号化及び復号化方法
US5517327A (en) 1993-06-30 1996-05-14 Minolta Camera Kabushiki Kaisha Data processor for image data using orthogonal transformation
US5329365A (en) * 1993-07-07 1994-07-12 Rca Thomson Licensing Corporation Method and apparatus for providing compressed non-interlaced scanned video signal
JP3152268B2 (ja) * 1993-07-16 2001-04-03 日本ビクター株式会社 画像情報記録方法及び画像情報再生方法
US5477272A (en) 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
US5453799A (en) 1993-11-05 1995-09-26 Comsat Corporation Unified motion estimation architecture
JP3050736B2 (ja) * 1993-12-13 2000-06-12 シャープ株式会社 動画像符号化装置
KR0155784B1 (ko) 1993-12-16 1998-12-15 김광호 영상데이타의 적응형 가변장 부호화/복호화방법
US5465118A (en) 1993-12-17 1995-11-07 International Business Machines Corporation Luminance transition coding method for software motion video compression/decompression
US5694173A (en) 1993-12-29 1997-12-02 Kabushiki Kaisha Toshiba Video data arranging method and video data encoding/decoding apparatus
US5586200A (en) 1994-01-07 1996-12-17 Panasonic Technologies, Inc. Segmentation based image compression system
JP2993351B2 (ja) * 1994-02-14 1999-12-20 松下電器産業株式会社 圧縮データ記録装置
DE69535952D1 (de) 1994-03-30 2009-06-25 Nxp Bv Verfahren und Schaltung zur Bewegungsschätzung zwischen Bildern mit zwei Zeilensprunghalbbildern, und Vorrichtung zur digitalen Signalkodierung mit einer solchen Schaltung
US5550541A (en) 1994-04-01 1996-08-27 Dolby Laboratories Licensing Corporation Compact source coding tables for encoder/decoder system
TW283289B (ko) 1994-04-11 1996-08-11 Gen Instrument Corp
US5650829A (en) 1994-04-21 1997-07-22 Sanyo Electric Co., Ltd. Motion video coding systems with motion vector detection
US5457495A (en) 1994-05-25 1995-10-10 At&T Ipm Corp. Adaptive video coder with dynamic bit allocation
US5767898A (en) 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
US5796438A (en) 1994-07-05 1998-08-18 Sony Corporation Methods and apparatus for interpolating picture information
US5594504A (en) 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
KR0126871B1 (ko) 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
US5684538A (en) 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
FR2725577B1 (fr) 1994-10-10 1996-11-29 Thomson Consumer Electronics Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede
US5550847A (en) 1994-10-11 1996-08-27 Motorola, Inc. Device and method of signal loss recovery for realtime and/or interactive communications
JP3474005B2 (ja) 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
US5552832A (en) 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
US5623311A (en) 1994-10-28 1997-04-22 Matsushita Electric Corporation Of America MPEG video decoder having a high bandwidth memory
EP0710033A3 (en) 1994-10-28 1999-06-09 Matsushita Electric Industrial Co., Ltd. MPEG video decoder having a high bandwidth memory
DE69525424T2 (de) * 1994-11-25 2002-10-02 Koninklijke Philips Electronics N.V., Eindhoven Verfahren und Vorrichtung zur Dekodierung von kodierten Videosignalen
MY113223A (en) 1994-12-29 2001-12-31 Sony Corp Processing of redundant fields in a moving picture to achive synchronized system operation
US5619281A (en) 1994-12-30 1997-04-08 Daewoo Electronics Co., Ltd Method and apparatus for detecting motion vectors in a frame decimating video encoder
EP0721287A1 (en) 1995-01-09 1996-07-10 Daewoo Electronics Co., Ltd Method and apparatus for encoding a video signal
JP3732867B2 (ja) * 1995-03-09 2006-01-11 株式会社ルネサステクノロジ 画像伸張装置
US5731840A (en) 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
KR0171118B1 (ko) 1995-03-20 1999-03-20 배순훈 비디오신호 부호화 장치
KR0181027B1 (ko) 1995-03-20 1999-05-01 배순훈 화소 단위 움직임 추정을 이용하는 영상처리 시스템
US5489969A (en) * 1995-03-27 1996-02-06 Xerox Corporation Apparatus and method of controlling interposition of sheet in a stream of imaged substrates
CN1154631A (zh) * 1995-04-14 1997-07-16 株式会社东芝 图象解码装置
KR0181063B1 (ko) 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
JP3803122B2 (ja) * 1995-05-02 2006-08-02 松下電器産業株式会社 画像メモリ装置および動きベクトル検出回路
US5654771A (en) 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
US5835149A (en) 1995-06-06 1998-11-10 Intel Corporation Bit allocation in a coded video sequence
GB2301971B (en) 1995-06-06 1999-10-06 Sony Uk Ltd Video compression
GB2301972B (en) 1995-06-06 1999-10-20 Sony Uk Ltd Video compression
US5629762A (en) * 1995-06-07 1997-05-13 Eastman Kodak Company Image forming apparatus having a duplex path and/or an inverter
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
US6208761B1 (en) 1995-07-11 2001-03-27 Telefonaktiebolaget Lm Ericsson (Publ) Video coding
US5687097A (en) 1995-07-13 1997-11-11 Zapex Technologies, Inc. Method and apparatus for efficiently determining a frame motion vector in a video encoder
US5668608A (en) 1995-07-26 1997-09-16 Daewoo Electronics Co., Ltd. Motion vector estimation method and apparatus for use in an image signal encoding system
US5825830A (en) 1995-08-17 1998-10-20 Kopf; David A. Method and apparatus for the compression of audio, video or other data
US5764807A (en) 1995-09-14 1998-06-09 Primacomp, Inc. Data compression using set partitioning in hierarchical trees
GB2305797B (en) * 1995-09-27 2000-03-01 Sony Uk Ltd Video data compression
US5883678A (en) 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
US5949919A (en) 1995-10-05 1999-09-07 Microsoft Corporation Precompression extrapolation method
JPH09107547A (ja) 1995-10-09 1997-04-22 Hitachi Ltd 既圧縮動画データ量削減装置および既圧縮動画データ量削減システムならびに既圧縮動画データ量削減方法
US5819215A (en) 1995-10-13 1998-10-06 Dobson; Kurt Method and apparatus for wavelet based data compression having adaptive bit rate control for compression of digital audio or other sensory data
US5929940A (en) 1995-10-25 1999-07-27 U.S. Philips Corporation Method and device for estimating motion between images, system for encoding segmented images
KR100211917B1 (ko) 1995-10-26 1999-08-02 김영환 물체 모양정보 부호화 방법
US6192081B1 (en) 1995-10-26 2001-02-20 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
US5991463A (en) 1995-11-08 1999-11-23 Genesis Microchip Inc. Source data interpolation method and apparatus
US5963673A (en) 1995-12-20 1999-10-05 Sanyo Electric Co., Ltd. Method and apparatus for adaptively selecting a coding mode for video encoding
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP2798035B2 (ja) 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US5692063A (en) 1996-01-19 1997-11-25 Microsoft Corporation Method and system for unrestricted motion estimation for video
US5787203A (en) 1996-01-19 1998-07-28 Microsoft Corporation Method and system for filtering compressed video images
US5799113A (en) 1996-01-19 1998-08-25 Microsoft Corporation Method for expanding contracted video images
US5737019A (en) 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP3521596B2 (ja) 1996-01-30 2004-04-19 ソニー株式会社 信号符号化方法
US5798788A (en) 1996-02-01 1998-08-25 David Sarnoff Research Center, Inc. Method and apparatus for evaluating field display functionality of a video decoder
DE69614500T2 (de) * 1996-02-27 2001-11-22 Stmicroelectronics S.R.L., Agrate Brianza Speicherverminderung für das Grundprofil und die Hauptebene eines MPEG-2-Dekoders
US5982438A (en) 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
KR100324611B1 (ko) 1996-05-28 2002-02-27 모리시타 요이찌 화상예측 복호화방법
US5847776A (en) 1996-06-24 1998-12-08 Vdonet Corporation Ltd. Method for entropy constrained motion estimation and coding of motion vectors with increased search range
JP3628810B2 (ja) 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
EP0850540B1 (en) * 1996-07-11 2004-11-10 Koninklijke Philips Electronics N.V. Transmission and reception of encoded video pictures
US5926226A (en) 1996-08-09 1999-07-20 U.S. Robotics Access Corp. Method for adjusting the quality of a video coder
EP0825778A3 (en) 1996-08-22 1998-06-10 Cirrus Logic, Inc. Method for motion estimation
DE19637522A1 (de) 1996-09-13 1998-03-19 Bosch Gmbh Robert Verfahren zur Reduzierung von Daten in Videosignalen
US6233017B1 (en) 1996-09-16 2001-05-15 Microsoft Corporation Multimedia compression system with adaptive block sizes
EP0831658A3 (en) 1996-09-24 1999-09-15 Hyundai Electronics Industries Co., Ltd. Encoder/decoder for coding/decoding gray scale shape data and method thereof
KR100303685B1 (ko) 1996-09-30 2001-09-24 송문섭 영상 예측부호화 장치 및 그 방법
US5748789A (en) 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
JPH10145779A (ja) 1996-11-06 1998-05-29 Sony Corp フィールド検出装置およびフィールド検出方法、画像符号化装置および画像符号化方法、並びに記録媒体および記録方法
US6130963A (en) 1996-11-22 2000-10-10 C-Cube Semiconductor Ii, Inc. Memory efficient decoding of video frame chroma
US5905542A (en) 1996-12-04 1999-05-18 C-Cube Microsystems, Inc. Simplified dual prime video motion estimation
US6263024B1 (en) 1996-12-12 2001-07-17 Matsushita Electric Industrial Co., Ltd. Picture encoder and picture decoder
US6377628B1 (en) 1996-12-18 2002-04-23 Thomson Licensing S.A. System for maintaining datastream continuity in the presence of disrupted source data
US6167090A (en) 1996-12-26 2000-12-26 Nippon Steel Corporation Motion vector detecting apparatus
US5874111A (en) * 1997-01-07 1999-02-23 Maitra; Amarnath Process for the preparation of highly monodispersed polymeric hydrophilic nanoparticles
EP0786907A3 (en) 1997-01-24 2001-06-13 Texas Instruments Incorporated Video encoder
JP3301375B2 (ja) * 1997-01-24 2002-07-15 ソニー株式会社 画像信号符号化装置及び方法、画像信号復号装置及び方法
CN1216199A (zh) 1997-01-30 1999-05-05 松下电器产业株式会社 数字图象填补方法、图象处理装置及数据记录媒体
KR100322515B1 (ko) 1997-02-14 2002-02-07 미야즈 준이치로 동화상의 예측 부호화 방법 및 복호 방법
US6201927B1 (en) 1997-02-18 2001-03-13 Mary Lafuze Comer Trick play reproduction of MPEG encoded signals
CN1297147C (zh) * 1997-03-07 2007-01-24 通用仪器公司 对交错数字视频的双向预测的视频目标平面的预测和编码
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US5974184A (en) 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
US6175592B1 (en) 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US5844613A (en) 1997-03-17 1998-12-01 Microsoft Corporation Global motion estimator for motion video signal encoding
US6263065B1 (en) 1997-03-18 2001-07-17 At&T Corp. Method and apparatus for simulating central queue for distributing call in distributed arrangement of automatic call distributors
US6404813B1 (en) 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
JP3217987B2 (ja) 1997-03-31 2001-10-15 松下電器産業株式会社 動画像信号の復号方法および符号化方法
CN1253652A (zh) 1997-03-31 2000-05-17 松下电器产业株式会社 活动图像显示方法及其装置
US5973755A (en) 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
US6370276B2 (en) 1997-04-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
US6441813B1 (en) 1997-05-16 2002-08-27 Kabushiki Kaisha Toshiba Computer system, and video decoder used in the system
JP3226020B2 (ja) 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
JP3164031B2 (ja) * 1997-05-30 2001-05-08 日本ビクター株式会社 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体
DE69836696T2 (de) 1997-05-30 2007-10-31 Mediatek Inc. Verfahren und vorrichtung zur durchführung einer hierarchischen bewegungsschätzung unter verwendung einer nicht-linearen pyramide
US6067322A (en) 1997-06-04 2000-05-23 Microsoft Corporation Half pixel motion estimation in motion video signal encoding
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6574371B2 (en) 1997-06-09 2003-06-03 Hitachi, Ltd. Image decoding method
ES2433641T3 (es) 1997-06-09 2013-12-12 Hitachi, Ltd. Procedimiento de decodificación de imágenes y decodificador de imágenes
JPH1169345A (ja) 1997-06-11 1999-03-09 Fujitsu Ltd フレーム間予測動画像符号化装置及び復号装置並びにフレーム間予測動画像符号化方法及び復号方法
GB9712651D0 (en) * 1997-06-18 1997-08-20 Nds Ltd Improvements in or relating to encoding digital signals
US6064771A (en) 1997-06-23 2000-05-16 Real-Time Geometry Corp. System and method for asynchronous, adaptive moving picture compression, and decompression
US6351563B1 (en) * 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
JP2897763B2 (ja) 1997-07-28 1999-05-31 日本ビクター株式会社 動き補償符号化装置、復号化装置、符号化方法及び復号化方法
KR100244291B1 (ko) 1997-07-30 2000-02-01 구본준 동영상 움직임 벡터 코딩 방법
US6266091B1 (en) 1997-07-31 2001-07-24 Lsi Logic Corporation System and method for low delay mode operation video decoding
US6310918B1 (en) 1997-07-31 2001-10-30 Lsi Logic Corporation System and method for motion vector extraction and computation meeting 2-frame store and letterboxing requirements
FR2766946B1 (fr) 1997-08-04 2000-08-11 Thomson Multimedia Sa Procede et dispositif de pretraitement pour estimation de mouvement
US6281942B1 (en) 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
KR100252342B1 (ko) 1997-08-12 2000-04-15 전주범 움직임 벡터 부호화 방법 및 그 장치
US6477202B1 (en) 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
KR100249223B1 (ko) * 1997-09-12 2000-03-15 구자홍 엠팩(mpeg)-4의움직임벡터코딩방법
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
US6148033A (en) 1997-11-20 2000-11-14 Hitachi America, Ltd. Methods and apparatus for improving picture quality in reduced resolution video decoders
CN1668111A (zh) * 1997-12-01 2005-09-14 三星电子株式会社 运动向量预测方法
US6111914A (en) 1997-12-01 2000-08-29 Conexant Systems, Inc. Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
US6094225A (en) 1997-12-02 2000-07-25 Daewoo Electronics, Co., Ltd. Method and apparatus for encoding mode signals for use in a binary shape coder
US5973743A (en) 1997-12-02 1999-10-26 Daewoo Electronics Co., Ltd. Mode coding method and apparatus for use in an interlaced shape coder
JP3740813B2 (ja) 1997-12-12 2006-02-01 ソニー株式会社 画像符号化方法および画像符号化装置
KR100523908B1 (ko) 1997-12-12 2006-01-27 주식회사 팬택앤큐리텔 격행주사 영상에 대한 영상신호 부호화 장치 및 그 방법
US6198773B1 (en) 1997-12-18 2001-03-06 Zoran Corporation Video memory management for MPEG video decode and display system
KR100252108B1 (ko) * 1997-12-20 2000-04-15 윤종용 Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법
US6339656B1 (en) 1997-12-25 2002-01-15 Matsushita Electric Industrial Co., Ltd. Moving picture encoding decoding processing apparatus
US5946043A (en) 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
US6122017A (en) 1998-01-22 2000-09-19 Hewlett-Packard Company Method for providing motion-compensated multi-field enhancement of still images from video
JPH11275592A (ja) 1998-01-22 1999-10-08 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
KR100281329B1 (ko) 1998-01-31 2001-02-01 전주범 이진 형상 신호의 모드 신호 부호화 방법 및 그 복원 방법
JP2002503901A (ja) 1998-02-13 2002-02-05 クビス・インク 飛越し走査移動画像の最適圧縮方法及び装置
KR100328417B1 (ko) 1998-03-05 2002-03-16 마츠시타 덴끼 산교 가부시키가이샤 화상부호화장치및화상복호화장치, 화상부보화방법 및 화상복호화방법, 및 데이터기억매체
US6226407B1 (en) * 1998-03-18 2001-05-01 Microsoft Corporation Method and apparatus for analyzing computer screens
EP0944245B1 (en) 1998-03-20 2001-07-25 SGS-THOMSON MICROELECTRONICS S.r.l. Hierarchical recursive motion estimator for video images encoder
KR100281462B1 (ko) 1998-03-30 2001-02-01 전주범 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법
US6385345B1 (en) * 1998-03-31 2002-05-07 Sharp Laboratories Of America, Inc. Method and apparatus for selecting image data to skip when encoding digital video
US7263127B1 (en) 1998-04-02 2007-08-28 Intel Corporation Method and apparatus for simplifying frame-based motion estimation
US6115689A (en) * 1998-05-27 2000-09-05 Microsoft Corporation Scalable audio coder and decoder
JP3888597B2 (ja) 1998-06-24 2007-03-07 日本ビクター株式会社 動き補償符号化装置、及び動き補償符号化復号化方法
US6519287B1 (en) 1998-07-13 2003-02-11 Motorola, Inc. Method and apparatus for encoding and decoding video signals by using storage and retrieval of motion vectors
JP4026238B2 (ja) 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
US6275531B1 (en) 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US6219070B1 (en) 1998-09-30 2001-04-17 Webtv Networks, Inc. System and method for adjusting pixel parameters by subpixel positioning
GB2343579A (en) 1998-11-07 2000-05-10 Ibm Hybrid-linear-bicubic interpolation method and apparatus
US6081209A (en) 1998-11-12 2000-06-27 Hewlett-Packard Company Search system for use in compression
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6418166B1 (en) 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
US6563953B2 (en) 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6192080B1 (en) 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
KR100587280B1 (ko) 1999-01-12 2006-06-08 엘지전자 주식회사 오류 은폐방법
US6496608B1 (en) 1999-01-15 2002-12-17 Picsurf, Inc. Image data interpolation system and method
CA2361716C (en) * 1999-02-05 2009-04-28 Emisphere Technologies, Inc. Method of preparing alkylated salicylamides
US6671323B1 (en) 1999-02-05 2003-12-30 Sony Corporation Encoding device, encoding method, decoding device, decoding method, coding system and coding method
US6259741B1 (en) 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
JP3778721B2 (ja) 1999-03-18 2006-05-24 富士通株式会社 動画像符号化方法および装置
JP2000278692A (ja) 1999-03-25 2000-10-06 Victor Co Of Japan Ltd 圧縮データ処理方法及び処理装置並びに記録再生システム
JP3899727B2 (ja) 1999-03-31 2007-03-28 ソニー株式会社 画像再生装置
US6320593B1 (en) 1999-04-20 2001-11-20 Agilent Technologies, Inc. Method of fast bi-cubic interpolation of image information
US6519005B2 (en) 1999-04-30 2003-02-11 Koninklijke Philips Electronics N.V. Method of concurrent multiple-mode motion estimation for digital video
KR20010071706A (ko) 1999-04-30 2001-07-31 요트.게.아. 롤페즈 비-프레임 부호화 모드의 선택을 갖는 비디오 부호화 방법
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
US6735249B1 (en) 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
CN1182726C (zh) 1999-10-29 2004-12-29 皇家菲利浦电子有限公司 视频编码方法
GB9928022D0 (en) * 1999-11-26 2000-01-26 British Telecomm Video coding and decording
JP3694888B2 (ja) 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
US6493392B1 (en) * 1999-12-27 2002-12-10 Hyundai Electronics Industries Co., Ltd. Method for coding digital interlaced moving video
JP2001218172A (ja) 2000-01-31 2001-08-10 Nec Corp 動画像復号器におけるフレームレート変換装置、フレームレート変換方法、およびその記録媒体、集積回路装置
KR100619377B1 (ko) * 2000-02-22 2006-09-08 주식회사 팬택앤큐리텔 움직임 추정 방법 및 장치
JP4378824B2 (ja) 2000-02-22 2009-12-09 ソニー株式会社 画像処理装置及び方法
US6522693B1 (en) * 2000-02-23 2003-02-18 International Business Machines Corporation System and method for reencoding segments of buffer constrained video streams
CN1223196C (zh) 2000-04-14 2005-10-12 索尼公司 解码器、解码方法
CN1322759C (zh) * 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
US6654419B1 (en) 2000-04-28 2003-11-25 Sun Microsystems, Inc. Block-based, adaptive, lossless video coder
US6876703B2 (en) 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
GB2362533A (en) 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
US6501397B1 (en) 2000-05-25 2002-12-31 Koninklijke Philips Electronics N.V. Bit-plane dependent signal compression
JP3662171B2 (ja) 2000-06-05 2005-06-22 三菱電機株式会社 符号化装置及び符号化方法
US6449312B1 (en) 2000-06-08 2002-09-10 Motorola, Inc. Method of estimating motion in interlaced video
US6647061B1 (en) 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6614442B1 (en) 2000-06-26 2003-09-02 S3 Graphics Co., Ltd. Macroblock tiling format for motion compensation
RU2182727C2 (ru) 2000-07-20 2002-05-20 Дворкович Александр Викторович Способ поиска векторов движения деталей в динамических изображениях
JP4682410B2 (ja) * 2000-10-12 2011-05-11 ソニー株式会社 画像処理装置及び画像処理方法
JP2002152752A (ja) 2000-11-13 2002-05-24 Sony Corp 画像情報変換装置及び方法
KR100355831B1 (ko) 2000-12-06 2002-10-19 엘지전자 주식회사 2차원 최소 비트 예측 기반의 움직임 벡터 부호화 방법
US6633612B2 (en) 2000-12-13 2003-10-14 Genesis Microchip Inc. Method and apparatus for detecting motion between odd and even video fields
US6920175B2 (en) 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
US6765963B2 (en) 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
WO2002062074A1 (en) * 2001-01-22 2002-08-08 Webcast Technologies, Inc. Video encoding and decoding techniques and apparatus
CN1248509C (zh) 2001-02-13 2006-03-29 皇家菲利浦电子有限公司 运动信息编码和解码方法
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US6778610B2 (en) 2001-03-02 2004-08-17 Redrock Semiconductor, Ltd. Simultaneous search for different resync-marker patterns to recover from corrupted MPEG-4 bitstreams
EP1374578A4 (en) 2001-03-05 2007-11-14 Intervideo Inc SYSTEMS AND METHOD FOR ERROR ROBUSTNESS IN A VIDEO DECODER
US7206453B2 (en) 2001-05-03 2007-04-17 Microsoft Corporation Dynamic filtering for lossy compression
US6859235B2 (en) 2001-05-14 2005-02-22 Webtv Networks Inc. Adaptively deinterlacing video on a per pixel basis
JP4458714B2 (ja) 2001-06-20 2010-04-28 富士通マイクロエレクトロニクス株式会社 画像復号装置、画像復号方法、および、プログラム
US6593392B2 (en) * 2001-06-22 2003-07-15 Corning Incorporated Curable halogenated compositions
US6975680B2 (en) 2001-07-12 2005-12-13 Dolby Laboratories, Inc. Macroblock mode decision biasing for video compression systems
EP1294194B8 (en) * 2001-09-10 2010-08-04 Texas Instruments Incorporated Apparatus and method for motion vector estimation
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US20030095603A1 (en) 2001-11-16 2003-05-22 Koninklijke Philips Electronics N.V. Reduced-complexity video decoding using larger pixel-grid motion compensation
US20030099294A1 (en) 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
JP2005510985A (ja) * 2001-11-21 2005-04-21 ジェネラル・インストルメント・コーポレーション デジタルビデオコンテンツのマクロブロックレベルにおける適応フレーム／フィールド符号化
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100925968B1 (ko) 2001-12-17 2009-11-09 마이크로소프트 코포레이션 컴퓨터 시스템에서 비디오 시퀀스의 복수의 비디오 화상을 처리하는 방법, 시스템 및 컴퓨터 판독가능 매체
US8780970B2 (en) 2001-12-21 2014-07-15 Polycom, Inc. Motion wake identification and control mechanism
US6873657B2 (en) 2001-12-27 2005-03-29 Koninklijke Philips Electronics, N.V. Method of and system for improving temporal consistency in sharpness enhancement for a video signal
JP4114859B2 (ja) 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
CA2574126A1 (en) 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
US7236207B2 (en) 2002-01-22 2007-06-26 Broadcom Corporation System and method of transmission and reception of progressive content with isolated fields for conversion to interlaced display
FI114433B (fi) 2002-01-23 2004-10-15 Nokia Corp Otossiirtymän koodaaminen videokoodauksessa
CN1265649C (zh) * 2002-01-24 2006-07-19 株式会社日立制作所 运动图像的编码方法、解码方法、编码装置及解码装置
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
EP1347649A1 (en) 2002-03-18 2003-09-24 Lg Electronics Inc. B picture mode determining method and apparatus in video coding system
US7034897B2 (en) 2002-04-01 2006-04-25 Broadcom Corporation Method of operating a video decoding system
ES2592810T3 (es) 2002-04-19 2016-12-01 Panasonic Intellectual Property Corporation Of America Método de cálculo de vectores de movimiento
WO2003090473A1 (fr) 2002-04-19 2003-10-30 Matsushita Electric Industrial Co., Ltd. Procede de calcul de vecteurs de mouvement
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
EP2894855B1 (en) 2002-04-26 2019-05-22 NTT DoCoMo, Inc. Signal decoding method, signal decoding device and signal decoding program
US7277587B2 (en) 2002-04-26 2007-10-02 Sharp Laboratories Of America, Inc. System and method for lossless video coding
US20030202590A1 (en) 2002-04-30 2003-10-30 Qunshan Gu Video encoding using direct mode predicted frames
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
JP2004048711A (ja) 2002-05-22 2004-02-12 Matsushita Electric Ind Co Ltd 動画像の符号化方法および復号化方法およびデータ記録媒体
JP2005526887A (ja) * 2002-05-24 2005-09-08 スリーエム イノベイティブ プロパティズ カンパニー 油回収のための表面改質ナノ粒子の使用
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7474794B2 (en) * 2002-06-25 2009-01-06 Quix Technologies Ltd. Image processing using probabilistic local behavior assumptions
WO2004004357A1 (ja) 2002-06-28 2004-01-08 Matsushita Electric Industrial Co., Ltd. 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
US7280700B2 (en) 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
CN1669322A (zh) 2002-07-15 2005-09-14 诺基亚有限公司 用于视频序列中错误隐藏的方法
US7136417B2 (en) 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
AU2003281133A1 (en) 2002-07-15 2004-02-02 Hitachi, Ltd. Moving picture encoding method and decoding method
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7020200B2 (en) 2002-08-13 2006-03-28 Lsi Logic Corporation System and method for direct motion vector prediction in bi-predictive video frames and fields
US7072394B2 (en) * 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
KR100506864B1 (ko) 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
US20040136457A1 (en) 2002-10-23 2004-07-15 John Funnell Method and system for supercompression of compressed digital video
JP4093405B2 (ja) 2002-10-25 2008-06-04 株式会社リコー 画像処理装置、プログラム及び記憶媒体
JP3878591B2 (ja) 2002-11-01 2007-02-07 松下電器産業株式会社 動画像符号化方法および動画像復号化方法
US7050088B2 (en) 2003-01-06 2006-05-23 Silicon Integrated Systems Corp. Method for 3:2 pull-down film source detection
JP4207684B2 (ja) 2003-06-27 2009-01-14 富士電機デバイステクノロジー株式会社 磁気記録媒体の製造方法、および、製造装置
US7426308B2 (en) 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7092576B2 (en) 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7961786B2 (en) 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7623574B2 (en) 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US8107531B2 (en) 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7577200B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7324595B2 (en) 2003-09-22 2008-01-29 Lsi Logic Corporation Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
US7853980B2 (en) 2003-10-31 2010-12-14 Sony Corporation Bi-directional indices for trick mode video-on-demand
US7295616B2 (en) 2003-11-17 2007-11-13 Eastman Kodak Company Method and system for video filtering with joint motion and noise estimation
KR20050061762A (ko) 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
EP1558039A1 (en) 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
US7283176B2 (en) 2004-03-12 2007-10-16 Broadcom Corporation Method and system for detecting field ID
KR100586882B1 (ko) 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
FR2872973A1 (fr) 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage d'une sequence d'images sources
JP3129986U (ja) 2006-12-26 2007-03-08 ライオン株式会社 板状緩衝材

Also Published As

Publication number Publication date
EP2285114B1 (en) 2016-12-21
EP1665766A2 (en) 2006-06-07
JP2011139524A (ja) 2011-07-14
ES2638327T3 (es) 2017-10-19
JP2011151839A (ja) 2011-08-04
ES2634493T3 (es) 2017-09-28
EP2285115A3 (en) 2012-01-04
EP2466895A3 (en) 2013-05-15
KR101365908B1 (ko) 2014-02-25
CN101924935B (zh) 2012-12-05
CN101416525B (zh) 2012-06-06
CN101867817B (zh) 2012-04-25
CN101841719A (zh) 2010-09-22
JP4916581B2 (ja) 2012-04-11
CN101416525A (zh) 2009-04-22
KR20060118400A (ko) 2006-11-23
EP2466894B1 (en) 2017-05-31
MXPA06002079A (es) 2006-05-19
JP4763607B2 (ja) 2011-08-31
JP2007532036A (ja) 2007-11-08
WO2005027493A3 (en) 2008-11-20
KR20090108107A (ko) 2009-10-14
CN101841719B (zh) 2012-11-07
US7529302B2 (en) 2009-05-05
US7630438B2 (en) 2009-12-08
US20050053147A1 (en) 2005-03-10
KR101075377B1 (ko) 2011-10-24
EP2466895A2 (en) 2012-06-20
EP2466894A2 (en) 2012-06-20
JP2011139526A (ja) 2011-07-14
US20050053149A1 (en) 2005-03-10
CN101924935A (zh) 2010-12-22
EP2285115A2 (en) 2011-02-16
US20050053297A1 (en) 2005-03-10
CN101841718A (zh) 2010-09-22
US20050053146A1 (en) 2005-03-10
US7852936B2 (en) 2010-12-14
EP2466894A3 (en) 2013-04-24
EP2285114A3 (en) 2011-08-10
KR20090108108A (ko) 2009-10-14
CN101867817A (zh) 2010-10-20
CN101924934B (zh) 2012-12-05
EP1665766B1 (en) 2018-11-14
JP5036886B2 (ja) 2012-09-26
CN101841718B (zh) 2013-05-01
EP2285115B1 (en) 2016-12-28
US7590179B2 (en) 2009-09-15
JP5006457B2 (ja) 2012-08-22
US20050053148A1 (en) 2005-03-10
JP2011139527A (ja) 2011-07-14
EP2285114A2 (en) 2011-02-16
HK1152178A1 (en) 2012-02-17
US7664177B2 (en) 2010-02-16
JP4928002B2 (ja) 2012-05-09
US7680185B2 (en) 2010-03-16
JP2011139525A (ja) 2011-07-14
US20050053298A1 (en) 2005-03-10
WO2005027493A2 (en) 2005-03-24
EP2466895B1 (en) 2017-04-26
US8064520B2 (en) 2011-11-22
CN101924934A (zh) 2010-12-22
HK1152431A1 (en) 2012-02-24
US20050053292A1 (en) 2005-03-10
JP4928001B2 (ja) 2012-05-09
EP1665766A4 (en) 2011-10-26
US20050053300A1 (en) 2005-03-10

Similar Documents

Publication Publication Date Title
KR101083870B1 (ko) 인터레이스형 비디오의 최신 양방향 예측 코딩
US7567617B2 (en) Predicting motion vectors for fields of forward-predicted interlaced video frames
EP1658726A2 (en) Innovations in coding and decoding macroblock and motion information for interlaced and progressive video

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141017

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191016

Year of fee payment: 9