Nothing Special   »   [go: up one dir, main page]

KR100934675B1 - 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치 - Google Patents

비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR100934675B1
KR100934675B1 KR1020097017205A KR20097017205A KR100934675B1 KR 100934675 B1 KR100934675 B1 KR 100934675B1 KR 1020097017205 A KR1020097017205 A KR 1020097017205A KR 20097017205 A KR20097017205 A KR 20097017205A KR 100934675 B1 KR100934675 B1 KR 100934675B1
Authority
KR
South Korea
Prior art keywords
view
prediction
picture
slice
information
Prior art date
Application number
KR1020097017205A
Other languages
English (en)
Other versions
KR20090101502A (ko
Inventor
전병문
박승욱
전용준
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20090101502A publication Critical patent/KR20090101502A/ko
Application granted granted Critical
Publication of KR100934675B1 publication Critical patent/KR100934675B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은, 랜덤 액세스 픽쳐를 포함하는 다시점 비디오 데이터 스트림을 수신하는 단계, 여기서 상기 랜덤 액세스 픽쳐는 랜덤 액세스 슬라이스를 포함하고, 상기 랜덤 액세스 슬라이스는 상기 랜덤 액세스 픽쳐와 동일 시간 및 다른 시점에 대응되는 슬라이스만을 참조함;　상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트의 초기화 정보를 획득하는 단계, 여기서 상기 초기화 정보는 복수개의 시점들 사이의 단방향 또는 쌍방향에 대한 참조 관계를 나타내고, 상기 초기화 정보는 상기 복수개의 시점들의 시점 개수 정보와 시점 식별 정보를 포함함; 상기 랜덤 액세스 슬라이스가 단방향으로 예측되었는지 또는 쌍방향으로 예측되었는지 여부를 나타내는 타입 정보를 획득하는 단계; 상기 타입 정보에 따라, 상기 시점 개수 정보와 상기 시점 식별 정보를 이용하여 상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트를 초기화하는 단계; 상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 슬라이스 내에 있는 매크로블록의 예측값을 결정하는 단계; 및 상기 예측값을 이용하여 상기 매크로블록을 디코딩하는 단계를 포함하되, 상기 초기화 정보는 시퀀스의 확장 영역으로부터 획득되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 방법을 제공한다.
Figure R1020097017205
다시점, 비디오, DPB, 참조 픽쳐 리스트

Description

비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치{A METHOD AND APPARATUS FOR DECODING/ENCODING A VIDEO SIGNAL}
본 발명은 비디오 신호의 코딩에 관한 기술이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
블록 간 또는 시점 간의 상관관계를 이용하여 비디오 신호의 코딩 효율을 높이고자 한다.
픽쳐의 시점을 식별할 수 있는 시점 정보를 정의함으로써 비디오 신호를 효율적으로 코딩하고자 한다.
시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 방법을 제공함으로써 비디오 신호를 효율적으로 코딩하고자 한다.
시점간 예측을 위한 참조 픽쳐 리스트를 생성하는 방법을 제공함으로써 비디오 신호를 효율적으로 코딩하고자 한다.
시점간 예측을 위한 참조 픽쳐 리스트를 재배열하는 방법을 제공함으로써 비디오 신호를 효율적으로 코딩하고자 한다.
인터뷰 픽쳐 그룹 식별 정보를 규격화된 방식으로 추가함으로써 비디오 신호의 랜덤 액세스를 효율적으로 수행하고자 한다.
인터뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹을 정의함으로써 랜덤 액세스 및 시점간 예측을 보다 효율적으로 수행하고자 한다.
인터뷰 픽쳐 그룹 식별 정보를 이용함으로써 시점간 예측을 보다 효율적으로 수행하고자 한다.
인터뷰 픽쳐 그룹 식별 정보를 이용함으로써 시점간 예측을 위한 참조 픽쳐 들을 보다 효율적으로 관리하고자 한다.
상기 목적을 달성하기 위하여 본 발명은 랜덤 액세스 픽쳐를 포함하는 다시점 비디오 데이터 스트림을 수신하는 단계, 여기서 상기 랜덤 액세스 픽쳐는 랜덤 액세스 슬라이스를 포함하고, 상기 랜덤 액세스 슬라이스는 상기 랜덤 액세스 픽쳐와 동일 시간 및 다른 시점에 대응되는 슬라이스만을 참조함;　상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트의 초기화 정보를 획득하는 단계, 여기서 상기 초기화 정보는 복수개의 시점들 사이의 단방향 또는 쌍방향에 대한 참조 관계를 나타내고, 상기 초기화 정보는 상기 복수개의 시점들의 시점 개수 정보와 시점 식별 정보를 포함함; 상기 랜덤 액세스 슬라이스가 단방향으로 예측되었는지 또는 쌍방향으로 예측되었는지 여부를 나타내는 타입 정보를 획득하는 단계; 상기 타입 정보에 따라, 상기 시점 개수 정보와 상기 시점 식별 정보를 이용하여 상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트를 초기화하는 단계; 상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 슬라이스 내에 있는 매크로블록의 예측값을 결정하는 단계; 및 상기 예측값을 이용하여 상기 매크로블록을 디코딩하는 단계를 포함하되, 상기 초기화 정보는 시퀀스의 확장 영역으로부터 획득되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 방법을 제공한다.
또한, 본 발명은, 랜덤 액세스 픽쳐를 포함하는 다시점 비디오 데이터 스트림을 수신하되, 여기서 상기 랜덤 액세스 픽쳐는 랜덤 액세스 슬라이스를 포함하고, 상기 랜덤 액세스 슬라이스는 상기 랜덤 액세스 픽쳐와 동일 시간 및 다른 시 점에 대응되는 슬라이스만을 참조하고, 상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트의 초기화 정보를 획득하되, 여기서 상기 초기화 정보는 복수개의 시점들 사이의 단방향 또는 쌍방향에 대한 참조 관계를 나타내고, 상기 초기화 정보는 상기 복수개의 시점들의 시점 개수 정보와 시점 식별 정보를 포함하고, 상기 랜덤 액세스 슬라이스가 단방향으로 예측되었는지 또는 쌍방향으로 예측되었는지 여부를 나타내는 타입 정보를 획득하는 NAL 파싱부; 상기 타입 정보에 따라, 상기 시점 개수 정보와 상기 시점 식별 정보를 이용하여 상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트를 초기화하는 복호 픽쳐 버퍼부; 및 상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 슬라이스 내에 있는 매크로블록의 예측값을 결정하고, 상기 예측값을 이용하여 상기 매크로블록을 디코딩하는 인터 예측부를 포함하되, 상기 초기화 정보는 시퀀스의 확장 영역으로부터 획득되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 장치를 제공한다.
또한, 본 발명에서, 상기 시점 개수 정보는 상기 랜덤 액세스 픽쳐의 참조 시점의 개수를 나타내고, 상기 시점 식별 정보는 상기 랜덤 액세스 픽쳐의 참조 시점의 시점 식별자를 나타내는 것을 특징으로 한다.
또한, 본 발명에서, 상기 다시점 비디오 데이터는 다른 시점들과는 독립적인 기준 시점의 비디오 데이터를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 디코딩 가능한 시점인 것을 특징으로 한다.
또한, 본 발명에서, 단방향 예측을 위한 타입 정보는 P슬라이스 타입을 나타내고, 쌍방향 예측을 위한 타입 정보는 B슬라이스 타입을 나타내는 것을 특징으로 한다.
또한, 본 발명에서, 상기 타입 정보가 상기 B슬라이스 타입을 나타내는 경우 상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트는 쌍방향에 대해 각각 초기화되는 것을 특징으로 한다.
본 발명은 비디오 신호를 코딩함에 있어서, 다시점 비디오 영상의 전반적인 코딩 구조에 따를 때, 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹의 참조 정보가 다르기 때문에 상기 인터 뷰 픽쳐 그룹 식별 정보에 따라 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹을 구별하여 코딩하게 될 경우 보다 효율적인 코딩이 가능할 수 있다. 또한, 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹을 구별하여 참조 픽쳐 리스트를 관리함으로써 보다 효율적인 시점간 예측을 수행할 수 있다.
또한, 시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 방법을 제공함으로써 보다 효율적으로 코딩을 수행할 수 있게 된다. 또한, 시점간 예측을 위한 참조 픽쳐 리스트를 초기화하는 방법 및 재배열하는 방법을 제공함으로써 보다 효율적으로 코딩을 수행할 수 있게 된다. 본 발명을 이용하여 시점간 예측(inter-view prediction)을 수행할 때, DPB(Decoded Picture Buffer)의 부담을 감소시켜 코딩 속도를 향상시킬 수 있을 뿐만 아니라 보다 정확한 예측이 가능하여 전송할 비트수를 감소시킬 수도 있다.
비디오 신호 데이터를 압축 부호화하는 기술은 공간적 중복성, 시간적 중복 성, 스케일러블한 중복성, 시점간 존재하는 중복성을 고려하고 있다. 또한, 이러한 압축 부호화 과정에서 시점 간 존재하는 상호 중복성을 고려하여 압축 코딩을 할 수 있다. 시점간 중복성을 고려하는 압축 코딩에 대한 기술은 본 발명의 실시예일 뿐이며, 본 발명의 기술적 사상은 시간적 중복성, 스케일러블한 중복성 등에도 적용될 수 있다.
비디오 신호의 비트열 구성을 살펴보면, 동영상 부호화 처리 그 자체를 다루는 VCL(Video Coding Layer, 비디오 부호화 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer, 네트워크 추상 계층)이라는 분리된 계층 구조로 정의되어 있다. 부호화 과정의 출력은 VCL 데이터이고 전송하거나 저장하기 전에 NAL 단위로 맵핑된다. 각 NAL 단위는 압축된 비디오 데이터 또는 헤더 정보에 해당하는 데이터인 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)를 포함한다.
NAL 단위는 기본적으로 NAL헤더와 RBSP의 두 부분으로 구성된다. NAL 헤더에는 그 NAL 단위의 참조픽처가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보(nal_ref_idc)와 NAL 단위의 종류를 나타내는 식별자(nal_unit_type)가 포함되어 있다. RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP 채워넣기 비트(RBSP trailing bit)를 첨가한다. 이러한 NAL 단위의 종류에는 IDR (Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS (Sequence Parameter Set, 시퀀스 파라미터 세트), PPS (Picture Parameter Set, 픽쳐 파라미터 세트), SEI (Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.
또한, 규격에서는 대상 제품을 적당한 비용으로 구현 가능하도록 여러 가지 프로파일 및 레벨로 제약하고 있는데, 복호기는 해당 프로파일과 레벨에서 정해진 제약을 만족시켜야 한다. 이처럼 복호기가 어떤 압축 영상의 범위까지 대응할 수 있는지 그 기능 또는 파라미터를 나타내기 위해 프로파일과 레벨이라는 두 가지의 개념이 정의되었다. 비트스트림이 어떤 프로파일에 기초하는 것인가는 프로파일 식별자(profile_idc)로 식별할 수 있다. 프로파일 식별자란, 비트스트림이 기반을 둔 프로파일을 나타내는 플래그를 의미한다. 예를 들어, H.264/AVC 에서는 프로파일 식별자가 66 이면 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 상기 프로파일 식별자는 시퀀스 파라미터 세트에 포함될 수 있다.
따라서, 다시점(multiview) 영상을 다루기 위해서는 입력되는 비트스트림이 다시점 프로파일(Multiview Profile)에 대한 것인지 여부를 식별하고, 다시점 프로파일로 식별되면 다시점에 대한 하나 이상의 추가 정보를 전송할 수 있도록 신택스를 추가할 필요가 있다. 여기서 다시점 프로파일이란, H.264/AVC의 추가 기술로서 다시점 비디오(multiview video)를 다루는 프로파일 모드(profile mode)를 나타낸다. MVC는 기존 AVC 기술에 대한 추가 기술이므로 무조건적인 신택스보다는 MVC 모드인 경우에 대한 추가 정보로서 신택스를 추가하는 것이 더 효율적일 수 있다. 예를 들어, AVC의 프로파일 식별자가 다시점 프로파일을 나타낼 때 다시점 영상에 대한 정보를 추가하면 부호화 효율을 높일 수 있다.
시퀀스 파라미터 세트란, 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐있는 정보가 포함되어 있는 헤더 정보를 말한다. 압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 그 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 결국, 시퀀스 파라미터 세트 RBSP 는 동영상 압축의 결과 데이터에 대한 헤더 정보로써의 역할을 한다. 비트스트림이 입력되면, 먼저 프로파일 식별자는 입력된 비트스트림이 복수개의 프로파일 중에서 어떤 프로파일에 기초하는 것인지를 식별하게 된다. 따라서, 입력되는 비트스트림이 다시점 프로파일에 대한 것인지 여부를 판단하는(예를 들어, " If ( profile_idc == MULTI_VIEW_PROFILE )") 부분을 신택스 상에 추가함으로써, 입력된 비트스트림이 다시점 프로파일에 대한 것인지 여부를 판별하고, 다시점 프로파일에 대한 것으로 인정되는 경우에만 여러 가지 속성 정보들을 추가할 수 있게 된다. 예를 들어, 전체 시점의 개수, 인터 뷰 픽쳐 그룹인 경우의 시점간 참조 픽쳐의 개수(List0/1), 넌-인터 뷰 픽쳐 그룹인 경우의 시점간 참조 픽쳐의 개수(List0/1) 등을 추가할 수 있다. 또한, 복호 픽쳐 버퍼에서는 참조 픽쳐 리스트를 생성 및 관리하기 위하여 시점에 대한 정보들을 이용할 수 있다.
도 1은 본 발명이 적용되는 비디오 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
상기 디코딩 장치는 크게 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 디블록킹 필터부(500), 복호 픽쳐 버퍼 부(600), 인터 예측부(700) 등을 포함한다. 그리고, 복호 픽쳐 버퍼부(600)는 크게 참조 픽쳐 저장부(610), 참조 픽쳐 리스트 생성부(620), 참조 픽쳐 관리부(640) 등을 포함하며, 상기 참조 픽쳐 리스트 생성부(620)는 변수 유도부(625), 참조 픽쳐 리스트 초기화부(630), 참조 픽쳐 리스트 재배열부(640)을 포함한다. 그리고, 인터 예측부(700)는 움직임 보상부(710), 휘도 보상부(720), 휘도 차분 예측부(730), 시점 합성 예측부(740) 등을 포함한다.
파싱부(100)에서는 수신된 비디오 영상을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 일반적으로 하나 또는 그 이상의 시퀀스 파라미터 셋과 픽쳐 파라미터 셋이 슬라이스 헤더와 슬라이스 데이터가 디코딩되기 전에 디코더로 전송된다. 이 때 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에는 여러 가지 속성 정보가 포함될 수 있다. MVC는 기존 AVC 기술에 대한 추가 기술이므로 무조건적으로 추가하기보다는 MVC 비트스트림인 경우에 한해 여러 가지 속성 정보들을 추가하는 것이 더 효율적일 수 있다. 예를 들어, 상기 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에서 MVC 비트스트림인지 여부를 식별할 수 있는 플래그 정보를 추가할 수 있다. 상기 플래그 정보에 따라 입력된 비트스트림이 다시점 영상 코딩된 비트스트림일 경우에 한해 다시점 영상에 대한 속성 정보들을 추가할 수 있다. 예를 들어, 상기 속성 정보들은 시간적 레벨(temporal level) 정보, 시점 레벨(view level) 정보, 인터 뷰 픽쳐 그룹 식별 정보, 시점 식별(view identification) 정보 등을 포함할 수 있다. 이는 도 2에서 상세히 설명하도록 한다.
도 2는 본 발명이 적용되는 실시예로서, 다시점 영상 코딩된 비트스트림에 추가될 수 있는 다시점 영상에 대한 속성 정보들을 나타낸다. 이하 다시점 영상에 대한 속성 정보들에 대해 구체적으로 살펴보도록 한다.
먼저 시간적 레벨 정보란, 비디오 신호로부터 시간적 확장성을 제공하기 위한 계층적인 구조에 대한 정보를 말한다(①). 이러한 시간적 레벨 정보를 통해 사용자에게 다양한 시간대의 영상을 제공할 수 있게 된다.
시점 레벨 정보란, 비디오 신호로부터 시점 확장성을 제공하기 위한 계층적인 구조에 대한 정보를 말한다(②). 다시점 비디오 영상에서는 사용자에게 다양한 시간 및 시점의 영상을 제공하도록 하기 위해 시간 및 시점에 대한 레벨을 정의해 줄 필요가 있다. 이처럼 레벨 정보를 정의할 경우, 시간 및 시점에 대한 확장성(scalability)을 이용할 수 있게 된다. 따라서, 사용자는 원하는 시간 및 시점의 영상만을 볼 수도 있고, 다른 제한 조건에 따른 영상만을 볼 수 있게 된다. 상기 레벨 정보는 그 기준 조건에 따라 다양한 방법으로 다르게 설정될 수 있다. 예를 들어, 카메라의 위치에 따라 다르게 설정될 수 있고, 카메라의 배열 형태에 따라 다르게 설정될 수 있다. 또한, 상기 레벨 정보는 시점간 참조 정보를 고려하여 결정될 수도 있는데, 예를 들어, 인터 뷰 픽쳐 그룹이 I픽쳐인 시점에는 레벨을 0으로 할당하고, 인터 뷰 픽쳐 그룹이 P픽쳐인 시점에는 레벨을 1로 할당하고, 인터 뷰 픽쳐 그룹이 B픽쳐인 시점에는 레벨을 2로 할당할 수 있다. 또한, 상기 레벨 정보는 특별한 기준에 의하지 않고 임의로 설정될 수도 있다. 상기 시점 레벨 정보에 대해서는 도 4,5에서 상세히 설명하도록 한다.
인터 뷰 픽쳐 그룹 식별 정보란, 현재 NAL 유닛의 코딩된 픽쳐가 인터 뷰 픽 쳐 그룹인지 여부를 식별하는 정보를 말한다(③). 그리고, 인터 뷰 픽쳐 그룹이라 함은, 모든 슬라이스들이 동일 시간대의 프레임에 있는 슬라이스만을 참조하는 부호화된 픽쳐를 의미한다. 예를 들어, 다른 시점에 있는 슬라이스만을 참조하고 현재 시점에 있는 슬라이스는 참조하지 않는 부호화된 픽쳐를 말한다. 다시점 영상의 복호화 과정에 있어서, 시점 간의 랜덤 액세스는 가능할 수 있다. 또한, 시점간 예측을 위해서는 인터 뷰 참조 정보가 필요한데, 상기 인터 뷰 참조 정보를 알기 위해 인터 뷰 픽쳐 그룹 식별 정보가 이용될 수 있다. 또한, 참조 픽쳐 리스트를 생성할 때 시점간 예측을 위한 참조 픽쳐들을 추가하는데 상기 인터 뷰 픽쳐 그룹 식별 정보가 이용될 수도 있다. 그리고, 추가된 상기 시점간 예측을 위한 참조 픽쳐들을 관리하기 위해서도 이용될 수 있다. 예를 들어, 상기 참조 픽쳐들을 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹으로 나누고, 시점간 예측을 수행할 때 이용되지 않는 참조 픽쳐들은 사용하지 않겠다는 마킹을 할 수 있다. 또한, 상기 인터 뷰 픽쳐 그룹 식별 정보는 가상 참조 디코더(hypothetical reference decoder)에서도 적용될 수 있다. 상기 인터 뷰 픽쳐 그룹 식별 정보에 대해서는 도 6에서 상세히 설명하도록 한다.
또한 시점 식별 정보란, 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위한 정보를 말한다(④). 비디오 영상 신호가 코딩될 때, 각각의 픽쳐를 식별하기 위하여 POC(Picture Order Count)와 frame_num 이 이용된다. 다시점 비디오 영상인 경우에는 시점간 예측이 수행되기 때문에 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위한 식별 정보가 필요하다. 따라서, 픽쳐의 시점을 식별하는 시점 식별 정보를 정의할 필요가 있다. 상기 시점 식별 정보는 비디오 신호의 헤더 영역으로부터 획득될 수 있다. 예를 들어, 상기 헤더 영역은 NAL 헤더 영역 또는 NAL 헤더의 확장 영역일 수도 있고, 슬라이스 헤더 영역일 수도 있다. 상기 시점 식별 정보를 이용하여 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 획득하고, 상기 다른 시점에 있는 픽쳐의 정보를 이용하여 상기 비디오 신호를 디코딩할 수 있다. 이러한 상기 시점 식별 정보는 비디오 신호의 인코딩/디코딩 과정 전반에 걸쳐 적용될 수 있다. 또한, 특정한 시점 식별자가 아닌, 시점이 고려된 frame_num을 이용하여 다시점 비디오 코딩에 그대로 적용할 수도 있다.
파싱된 비트스트림은 엔트로피 디코딩부(200)를 통하여 엔트로피 디코딩되고, 각 매크로브록의 계수, 움직임 벡터 등이 추출된다. 역양자화/역변환부(300)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 상기 계수값을 역변환하여 화소값을 복원하게 된다. 상기 복원된 화소값을 이용하여 인트라 예측부(400)에서는 현재 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. 한편, 디블록킹 필터부(500)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장된다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, MVC에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 픽쳐와 다른 시점에 있는 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 픽쳐의 시점을 식별하는 시점 정보도 함께 이용할 수 있다. 상기 복호 픽쳐 버퍼부(600)는 참조 픽쳐 저장부(610)와 참조 픽쳐 리스트 생성부(620)와 참조 픽쳐 관리부(640)를 포함한다. 참조 픽쳐 저장부(610)는 현재 픽쳐의 코딩을 위해 참조가 되는 픽쳐들을 저장한다. 참조 픽쳐 리스트 생성부(620)는 화면간 예측을 위한 참조 픽쳐들의 리스트를 생성하게 된다. 다시점 비디오 코딩에 있어서는 시점간 예측이 이루어질 수 있으므로 현재 픽쳐가 다른 시점에 있는 픽쳐를 참조하게 되는 경우, 시점간 예측을 위한 참조 픽쳐 리스트를 생성할 필요가 있을 수 있다. 이 때, 참조 픽쳐 리스트 생성부(620)는 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위하여 시점에 대한 정보를 이용할 수 있다. 이는 도 3에서 상세히 설명하도록 한다.
도 3은 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트 생성부(620)의 내부 블록도를 나타낸다. 상기 참조 픽쳐 리스트 생성부(620)는 변수 유도부(625), 참조 픽쳐 리스트 초기화부(630) 및 참조 픽쳐 리스트 재배열부(640)을 포함한다.
변수 유도부(625)는 참조 픽쳐 리스트 초기화에 사용되는 변수들을 유도한다. 예를 들어, 픽쳐의 식별 번호를 나타내는 frame_num 을 이용하여 상기 변수를 유도할 수 있다. 구체적 예로, 각각의 단기 참조 픽쳐에는 변수 FrameNum과 변수 FrameNumWrap 이 이용될 수 있다. 먼저 상기 변수 FrameNum은 신택스 요소인 frame_num 값과 같다. 그리고, 상기 변수 FrameNumWrap은 상기 복호 픽쳐 버퍼부(600)에서 참조 픽쳐마다 작은 번호를 할당해주기 위하여 이용될 수 있으며, 상기 변수 FrameNum으로부터 유도될 수 있다. 이렇게 유도된 상기 변수 FrameNumWrap 을 이용하여 변수 PicNum 을 유도할 수 있다. 여기서 변수 PicNum은 상기 복호 픽쳐 버퍼부(600)에서 사용되는 픽쳐의 식별 번호를 의미할 수 있다. 장기 참조 픽쳐를 나타내는 경우에는 변수 LongTermPicNum이 이용될 수 있다.
또한, 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위해서는 시점에 대한 정보를 이용하여 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위한 제 1 변수(예를 들어, ViewNum)를 유도할 수 있다. 예를 들어, 픽쳐의 시점을 식별해주는 view_id 를 이용하여 상기 제 2 변수(예를 들어, ViewId)를 유도할 수 있다. 먼저 상기 제 2 변수는 신택스 요소인 상기 view_id 값과 같을 수 있다. 그리고, 제 3 변수(예를 들어, ViewIdWrap)는 상기 복호 픽쳐 버퍼부(600)에서 참조 픽쳐마다 작은 시점 식별 번호를 할당해주기 위하여 이용될 수 있으며, 상기 제 2 변수로부터 유도될 수 있다. 여기서 상기 제 1 변수(ViewNum)는 상기 복호 픽쳐 버퍼부(600)에서 사용되는 픽쳐의 시점 식별 번호를 의미할 수 있다. 다만, 다시점 비디오 코딩에서는 시간적 예측에 이용되는 참조 픽쳐의 수에 비해 시점간 예측에 이용되는 참조 픽쳐의 수가 상대적으로 작을 수 있으므로, 장기 참조 픽쳐의 시점 식별 번호를 표시하기 위한 별도의 변수를 정의하지 않을 수 있다.
참조 픽쳐 리스트 초기화부(630)는 상기 변수들을 이용하여 참조 픽쳐 리스트를 초기화한다. 이때 참조 픽쳐 리스트의 초기화 과정은 슬라이스 타입에 따라 그 방식이 달라질 수 있다. 예를 들어, P슬라이스를 디코딩할 경우에는 디코딩 순서에 기초하여 참조 픽쳐 번호를 할당할 수 있으며, B슬라이스를 디코딩할 경우에는 픽쳐 출력 순서에 기초하여 참조 픽쳐 번호를 할당할 수 있다. 또한, 시점간 예측을 위한 참조 픽쳐 리스트를 초기화할 경우에는 상기 제 1 변수, 즉 시점 정보로부터 유도된 변수에 기초하여 참조 픽쳐에 번호를 할당할 수 있다.
참조 픽쳐 리스트 재배열부(640)는 초기화된 참조 픽쳐 리스트에서 빈번하게 참조된 픽쳐에 더 작은 번호를 할당함으로써 압축률을 향상시키는 역할을 수행한다. 참조 픽쳐를 지정하는 참조 픽쳐 번호는 블록단위로 부호화되는데 참조 픽쳐 번호의 부호화를 위한 참조 픽쳐 번호가 작을수록 작은 비트수의 부호가 할당되기 때문이다.
또한, 상기 참조 픽쳐 리스트 재배열부(640)는 슬라이스 타입 확인부(642), 참조 픽쳐 리스트0 재배열부(643) 및 참조 픽쳐 리스트1 재배열부(645)를 포함한다. 슬라이스 타입 확인부(642)는 초기화된 참조 픽쳐 리스트가 입력될 경우, 디코딩하려는 슬라이스의 타입을 확인하여 참조 픽쳐 리스트0을 재배열할지, 참조 픽쳐 리스트1을 재배열할지를 결정하게 된다. 이에 따라 참조 픽쳐 리스트0/1 재배열부(643,645)에서는, 예를 들어, 슬라이스 타입이 I슬라이스가 아닌 경우에는 참조 픽쳐 리스트0의 재배열을 수행하고, 슬라이스 타입이 B슬라이스인 경우에는 참조 픽쳐 리스트1의 재배열도 수행한다. 이렇게 재배열 과정이 종료되면, 참조 픽쳐 리 스트가 생성된다.
그리고, 상기 참조 픽쳐 리스트0/1 재배열부(643,645)는 각각 식별정보 획득부(643A,645A)와 참조번호 할당 변경부(643B,645B)를 포함한다. 식별정보 획득부(643A,645A)는 참조 픽쳐 리스트의 재배열을 수행할지 여부를 나타내는 플래그 정보에 따라 참조 픽쳐 리스트의 재배열을 수행하게 되는 경우, 참조 번호의 할당 방법을 나타내는 식별 정보(reordering_of_pic_nums_idc)를 입력받는다. 참조번호 할당 변경부(643B,645B)에서는 상기 식별 정보에 따라 참조번호의 할당을 변경함으로써 참조 픽쳐 리스트를 재배열하게 된다.
또한, 상기 참조 픽쳐 리스트 재배열부(640)는 다른 방식을 적용하여 수행될 수도 있다. 예를 들어, 슬라이스 타입 확인부(642)를 거치기 전에 전송된 NAL의 타입을 확인하여 MVC NAL 인 경우와 그렇지 않은 경우로 나누어서 재배열을 할 수도 있다.
참조 픽쳐 관리부(640)는 보다 유연하게 화면간 예측을 실현하기 위하여 참조 픽쳐를 관리한다. 예를 들어, 적응 메모리 관리 방법(Memory Management Control Operation Method)과 이동 윈도우 방법(Sliding Window Method)이 이용될 수 있다. 이는 참조 픽쳐와 비참조 픽쳐의 메모리를 하나의 메모리로 통일하여 관리하고 적은 메모리로 효율적으로 관리하기 위함이다. 다시점 비디오 코딩에 있어서, 시점 방향의 픽쳐들은 픽쳐 출력 순서(Picture Order Count)가 동일하기 때문에 이들의 마킹을 위해서는 각 픽쳐의 시점을 식별해주는 정보가 이용될 수 있다. 이러한 과정을 통해 관리되는 참조 픽쳐들은 인터 예측부(700)에서 이용될 수 있 다.
인터 예측부(700)에서는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐를 이용하여 화면간 예측을 수행한다. 인터 코딩된 매크로블록은 매크로블록 파티션으로 나누어질 수 있으며, 각 매크로블록 파티션은 하나 또는 두개의 참조 픽쳐로부터 예측될 수 있다. 상기 인터 예측부(700)는 움직임 보상부(710)와 휘도 보상부(720), 휘도 차분 예측부(730), 시점 합성 예측부(740) 및 가중치 예측부(750) 등을 포함한다.
움직임 보상부(710)에서는 엔트로피 디코딩부(200)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 휘도 차분를 획득한다. 상기 획득된 움직임 벡터 휘도 차분와 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다. 다시점 비디오 코딩에 있어서, 현재 픽쳐가 다른 시점에 있는 픽쳐들을 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(600)에 저장되어 있는 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 움직임 보상을 수행할 수 있다. 또한, 그 픽쳐의 시점을 식별하는 시점 정보를 이용하여 움직임 보상을 수행할 수도 있다. 또한, 직접 예측 모드(direct mode)는 부호화가 끝난 블록의 움직임 정보로부터 현재 블록의 움직임 정보를 예측하는 부호화 모드이다. 이러한 방법은 움직임 정보를 부호화할 때 필요한 비트수가 절약되기 때문에 압축 효율이 향상된다. 예를 들어, 시간 직접 예측 모드(temporal direct mode)는 시간 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측하게 된다. 이 방법과 유사하게 본 발명에서는 시점 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측할 수 있다.
또한, 입력된 비트스트림이 다시점 영상에 해당되는 경우, 각 시점 영상(view sequence)들은 각기 다른 카메라에서 취득된 영상들이기 때문에 카메라의 내외적 요인으로 인하여 휘도 (illumination) 차이가 발생하게 된다. 이를 방지하기 위해서 휘도 보상부(720)에서는 휘도 보상(illumination compensation)을 수행하게 된다. 휘도 보상을 수행함에 있어서, 비디오 신호의 일정 계층에 대한 휘도 보상 수행여부를 나타내는 플래그 정보를 이용할 수 있다. 예를 들어, 해당 슬라이스 또는 해당 매크로블록의 휘도 보상 수행여부를 나타내는 플래그 정보를 이용하여 휘도 보상을 수행할 수 있다. 또한, 상기 플래그 정보를 이용하여 휘도 보상을 수행함에 있어서, 여러 가지 매크로블록의 타입(예를 들어, 인터16×16모드 또는 B-skip모드 또는 직접 예측 모드 등)에 적용될 수 있다.
또한, 휘도 보상을 수행함에 있어서, 현재 블록을 복원하기 위하여 주변 블록의 정보 또는 현재 블록과 다른 시점에 있는 블록의 정보를 이용할 수 있으며, 현재 블록의 휘도 차분값을 이용할 수도 있다. 이 때 현재 블록이 다른 시점에 있는 블록들을 참조하게 되는 경우, 상기 복호 픽쳐 버퍼부(600)에 저장되어 있는 시점간 예측을 위한 참조 픽쳐 리스트에 대한 정보를 이용하여 휘도 보상을 수행할 수 있다. 여기서 현재 블록의 휘도 차분 값이란, 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값 사이의 차이를 말한다. 상기 휘도 차분 값을 이용하는 일례로, 상기 현재 블록의 이웃 블록들을 이용하여 상기 현재 블록의 휘도 차분 예측값을 획득하고, 상기 휘도 차분 값과 상기 휘도 차분 예측값와의 차이값인 휘도 차분 레지듀얼(IC offset residual)을 이용할 수 있다. 따라서, 디코딩부에서는 상기 휘도 차분 레지듀얼과 상기 휘도 차분 예측값을 이용하여 상기 현재 블록의 휘도 차분 값을 복원할 수 있다. 또한, 현재 블록의 휘도 차분 예측값을 획득함에 있어서, 이웃 블록의 정보를 이용할 수 있다. 예를 들어, 이웃 블록의 휘도 차분 값을 이용하여 현재 블록의 휘도 차분 값을 예측할 수 있는데, 이에 앞서 상기 현재 블록의 참조 번호(reference index)와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인하고, 그 확인 결과에 따라 어떤 이웃 블록을 이용할지, 또는 어떤 값을 이용할지가 결정될 수 있다.
시점 합성 예측부(740)는 현재 픽쳐의 시점에 이웃하는 시점에 있는 픽쳐들을 이용하여 새로운 시점의 픽쳐들을 합성하고, 합성된 새로운 시점의 픽쳐들을 이용하여 현재 픽쳐를 예측하기 위해 이용된다. 디코딩부에서는 인코딩부로부터 전송된 시점간 합성 예측 식별자에 따라서 새로운 시점의 픽쳐를 합성할지 여부를 판단할 수 있다. 예를 들어, view_synthesize_pred_flag = 1 이거나, 또는 view_syn_pred_flag = 1 인 경우, 각각 새로운 시점의 슬라이스 또는 매크로블록을 합성하게 된다. 이 때, 상기 시점간 합성 예측 식별자가 새로운 시점을 생성할 것임을 알려주었을 때, 픽쳐의 시점을 식별하는 시점 정보를 이용하여 새로운 시점의 픽쳐를 생성할 수 있다. 또한, 상기 새로운 시점의 픽쳐를 합성하고 현재 픽쳐를 예측할 때, 상기 새로운 시점의 픽쳐를 참조 픽쳐로 이용하기 위해 상기 시점 정보가 이용될 수 있다.
가중치 예측부(750)는 밝기가 시간적으로 변화하는 영상을 부호화할 때 영상의 화질이 크게 열화되는 현상을 보상하기 위해 이용된다. MVC에서는 시간적으로 밝기가 변화하는 영상뿐만 아니라 다른 시점에 있는 영상과의 밝기 차이를 보상하기 위해 가중치 예측이 수행될 수 있다. 예를 들어, 가중치 예측 방법에는 명시적(explicit) 가중치 예측 방법과 암시적(implicit) 가중치 예측 방법이 있다. 상기 명시적 가중치 예측 방법에는 한 장의 참조 픽쳐를 이용하는 경우 또는 두 장의 참조 픽쳐를 이용하는 경우가 있다. 한 장의 참조 픽쳐를 이용하는 경우에는 움직임 보상에 해당하는 예측 신호에 가중치 계수를 곱해서 예측 신호를 생성하고, 두 장의 참조 픽쳐를 이용하는 경우에는 움직임 보상에 해당하는 예측 신호에 가중치 계수를 곱한 값에 오프셋 값을 더하여 예측 신호를 생성한다. 암시적 가중치 예측 방법은 참조 픽쳐로부터의 거리를 이용하여 가중치 예측을 수행한다. 상기 참조 픽쳐로부터의 거리를 구하는 방법으로는, 예를 들어, 픽쳐의 출력 순서를 나타내는 값인 POC(Picture Order Count)를 이용하는 경우가 있는데, 상기 POC는 각 픽쳐의 시점을 구분할 수 있도록 고려하여 만들어진 POC이다. 또는, 다른 시점에 있는 픽쳐에 대하여 가중치 계수를 획득할 때, 각 픽쳐의 시점 사이의 거리를 계산하기 위하여 픽쳐의 시점을 식별하는 시점 정보가 이용될 수 있다.
또한, 비디오 신호 코딩에 있어서, 특정 어플리케이션을 위해서 또는 다른 목적을 위해서 깊이 정보를 이용할 수 있다. 깊이 정보란, 시점 간의 변이 차이를 나타낼 수 있는 정보를 의미할 수 있다. 예를 들어, 시점 간의 예측을 통해서 변이 벡터를 획득할 수 있는데 상기 획득된 변이 벡터는 현재 블록의 변이 보상을 위해 디코딩 장치에 전송되어야 한다. 하지만, 깊이 맵을 구하여 이를 디코딩 장치에 전송하게 될 경우, 상기 변이 벡터를 디코딩 장치에 전송할 필요없이 상기 깊이 맵(depth map)(또는 변이 맵(disparity map))으로부터 상기 변이 벡터를 유추해낼 수 있다. 이러한 경우, 디코딩 장치에 전송되어져야 할 깊이 정보의 비트수를 감소시킬 수 있는 장점이 있다. 따라서, 상기 깊이 맵으로부터 변이 벡터를 유추함으로써 새로운 변이 보상하는 방법이 제공될 수 있다. 위와 같이 상기 깊이 맵으로부터 변이 벡터를 유추하는 과정에서 다른 시점의 픽쳐를 이용할 경우, 픽쳐의 시점을 식별할 수 있는 시점 정보가 이용될 수 있다.
상기와 같은 과정을 통해 인터 예측된 픽쳐들과 인트라 예측된 픽쳐들은 예측 모드에 따라 선택되어 현재 픽쳐를 복원하게 된다. 이하에서는 비디오 신호의 효율적인 디코딩 방법을 제공하기 위한 다양한 실시예들을 설명하도록 한다.
도4는 본 발명이 적용된 실시예로서, 비디오 신호의 시점 확장성(view scalability)을 제공하기 위한 레벨 정보의 계층적 구조를 나타낸다.
각 시점의 레벨 정보는 시점간 참조 정보를 고려하여 결정될 수 있다. 예를 들어, I픽쳐 없이는 P픽쳐와 B픽쳐의 디코딩이 불가능하기 때문에 인터 뷰 픽쳐 그룹이 I픽쳐인 기준 시점(Base view)에는 level=0을 할당할 수 있고, 앵커 쳐가 P픽쳐인 시점에는 level=1을 할당할 수 있으며, 인터 뷰 픽쳐 그룹이 B픽쳐인 시점에는 level=2를 할당할 수 있다. 하지만 특정 기준에 따라 임의대로 레벨 정보를 결 정할 수도 있다.
또한, 레벨 정보는 특정 기준에 따라 임의대로 결정될 수 있고, 또는 기준없이 랜덤하게 결정될 수도 있다. 예를 들어, 시점을 기준으로 레벨 정보를 결정하게 되는 경우, V0 시점을 기준 시점(base view)으로 설정하여 view level 0, 하나의 시점에 있는 픽쳐들을 이용하여 예측된 픽쳐들의 시점을 view level 1, 그리고 복수개의 시점에 있는 픽쳐들을 이용하여 예측된 픽쳐들의 시점을 view level 2로 설정할 수 있다. 이 경우, 기존의 디코더(예를 들어, H.264/AVC, MPEG-2, MPEG-4 등)와 호환성을 가지기 위한 적어도 하나의 시점 영상(view sequence)이 필요할 수 있다. 이러한 기준 시점은 다시점(multi view) 중 부호화의 기준이 되며, 이는 다른 시점의 예측을 위한 참조 시점(reference view)에 해당될 수 있다. MVC(Multiview Video Coding)에서 기준 시점에 해당되는 영상은 종래 일반적인 영상 부호화 방식(MPEG-2, MPEG-4, H.263, H.264 등)에 의해 부호화되어 독립적인 비트스트림으로 형성될 수 있다. 기준 시점에 해당되는 영상은 H.264/AVC와 호환될 수도 있고, 되지 않을 수도 있다. 하지만, H.264/AVC와 호환될 수 있는 시점의 영상은 기준 시점이 된다.
상기 도 4에서 알 수 있듯이, 상기 V0 시점에 있는 픽쳐들을 이용하여 예측된 픽쳐들의 시점인 V2 시점, V2 시점에 있는 픽쳐들을 이용하여 예측된 픽쳐들의 시점인 V4 시점과 V4 시점에 있는 픽쳐들을 이용하여 예측된 픽쳐들의 시점인 V6 시점, 그리고 V6 시점에 있는 픽쳐들을 이용하여 예측된 픽쳐들의 시점인 V7 시점을 view level 1 으로 설정할 수 있다. 그리고, V0 시점과 V2 시점에 있는 픽쳐들 을 이용하여 예측된 픽쳐들의 시점인 V1 시점, 그리고 동일한 방식으로 예측된 V3 시점, V5 시점은 view level 2 로 설정할 수 있다. 따라서, 사용자의 디코더가 다시점 비디오 영상을 볼 수 없는 경우에는 상기 view level 0 에 해당되는 시점의 영상들만을 디코딩하게 된다. 또는 사용자의 디코더가 프로파일 정보에 의해 제한되는 경우에도 제한된 view level의 정보만을 디코딩할 수 있게 된다. 여기서, 프로파일(profile)이란 비디오 부호화/복호화 과정에서 알고리즘상 들어가는 기술적 구성요소를 규격화한 것을 의미한다. 즉, 압축된 영상의 비트열을 복호하기 위해 필요한 기술요소의 집합으로서 일종의 서브 규격이라 할 수 있다.
본 발명이 적용되는 다른 일실시예로서, 레벨 정보는 카메라의 위치에 따라 달라질 수 있다. 예를 들어, V0 시점과 V1 시점은 정면에 위치한 카메라에 의해 획득된 영상들이고, V2 시점과 V3 시점은 후면에 위치한 카메라에 의해 획득된 영상들이고, V4 시점과 V5 시점은 좌측에 위치한 카메라에 의해 획득된 영상들이며, V6 시점과 V7 시점은 우측에 위치한 카메라에 의해 획득된 영상들이라고 가정할 경우, V0 시점과 V1 시점을 view level 0로, V2 시점과 V3 시점은 view level 1로, V4 시점과 V5 시점은 view level 2로, V6 시점과 V7 시점은 view level 3로 설정할 수도 있다. 또 다른 실시예로서, 레벨 정보는 카메라의 배열 형태에 따라 달라질 수 있다. 또한, 레벨 정보는 특별한 기준에 의하지 않고 임의로 결정될 수도 있다.
도 5는 본 발명이 적용되는 일실시예로서, NAL헤더의 확장 영역 내에 레벨 정보를 포함하는 NAL단위의 구성을 나타낸다.
NAL 단위는 기본적으로 NAL헤더와 RBSP의 두 부분으로 구성된다. NAL헤더에 는 그 NAL 단위의 참조픽처가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보(nal_ref_idc)와 NAL 단위의 종류를 나타내는 식별자(nal_unit_type)가 포함되어 있다. 그리고, 시점 확장성(view scalability)을 제공하기 위한 계층적인 구조에 대한 정보를 나타내는 레벨 정보(view_level)도 포함할 수 있다.
RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP trailing bit(RBSP 채워넣기 비트)를 첨가한다. 이러한 NAL 단위의 종류에는 IDR (Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS (Sequence Parameter Set, 시퀀스 파라미터 세트), PPS (Picture Parameter Set, 픽쳐 파라미터 세트), SEI (Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.
상기 NAL 헤더에는 시점 식별자(view identifer)에 대한 정보를 포함하고 있으며, 시점 레벨에 따라서 디코딩을 수행하는 과정에서 시점 식별자를 참조하여 해당 시점 레벨의 비디오 영상을 디코딩한다. 상기 NAL 단위는 NAL 헤더(header)(51)와 슬라이스 계층(slice layer)(53)을 포함하며, 상기 NAL 헤더(710)는 NAL 헤더 확장 영역(NAL header extention) (52)을 포함하고, 상기 슬라이스 계층(53)은 슬라이스 헤더(slice header)(54)와 슬라이스 데이터(slice data)(55)를 포함한다. 상기 NAL 헤더(51)는 NAL 단위의 종류를 나타내는 식별자(nal_unit_type)를 포함하고 있는데, 예를 들어, 상기 NAL 단위의 종류를 나타내는 식별자는 스케일러블 비디오 코딩(Scalable Video Coding)과 다시점 비디오 코딩(Multi-view Video Coding) 모두를 위한 식별자일 수 있다. 이 때 상기 NAL 헤더 확장 영역(52)에서는 현재 NAL이 스케일러블 비디오 코딩을 위한 NAL인지 다시점 비디오 코딩을 위한 NAL인지를 구별하는 플래그 정보를 포함할 수 있고, 상기 플래그 정보에 따라 상기 현재 NAL의 확장 정보를 포함할 수 있다. 예를 들어, 상기 플래그 정보에 따라 상기 현재 NAL이 다시점 비디오 코딩을 위한 NAL인 경우, 상기 NAL 헤더 확장 영역(52)은 시점 확장성(view scalability)을 제공하기 위한 계층적인 구조에 대한 정보를 나타내는 레벨 정보(view_level)를 포함할 수 있다.
도6은 본 발명이 적용되는 실시예로서, 인터 뷰 픽쳐 그룹의 개념을 설명하기 위한 다시점 영상 신호의 전체적인 예측 구조를 나타낸다.
도 6에 나타난 바와 같이 가로축의 T0 ∼ T100 은 각각 시간에 따른 프레임을 나타낸 것이고, 세로축의 S0 ∼ S7은 각각 시점에 따른 프레임을 나타낸 것이다. 예를 들어, T0에 있는 픽쳐들은 같은 시간대(T0)에 서로 다른 카메라에서 찍은 영상들을 의미하며, S0 에 있는 픽쳐들은 한 대의 카메라에서 찍은 다른 시간대의 영상들을 의미한다. 또한, 도면 상의 화살표들은 각 픽쳐들의 예측 방향과 순서를 나타낸 것으로서, 예를 들어, T0 시간대의 S2 시점에 있는 P0 픽쳐는 I0로부터 예측된 픽쳐이며, 이는 TO 시간대의 S4 시점에 있는 P0 픽쳐의 참조 픽쳐가 된다. 또한, S2 시점의 T4, T2 시간대에 있는 B1, B2 픽쳐의 참조 픽쳐가 된다.
다시점 영상의 복호화 과정에 있어서, 시점 간의 랜덤 액세스는 필수적이다. 따라서, 복호화 노력을 최소화하면서 임의 시점에 대한 액세스가 가능하도록 하여야 한다. 여기서 효율적인 랜덤 액세스를 실현하기 위하여 인터 뷰 픽쳐 그룹의 개념이 필요할 수 있다. 인터 뷰 픽쳐 그룹이라 함은, 모든 슬라이스들이 동일 시간 대의 프레임에 있는 슬라이스만을 참조하는 부호화된 픽쳐를 의미한다. 예를 들어, 다른 시점에 있는 슬라이스만을 참조하고 현재 시점에 있는 슬라이스는 참조하지 않는 부호화된 픽쳐를 말한다. 도 6에서 보면, T0 시간대의 S0 시점에 있는 I0픽쳐가 인터 뷰 픽쳐 그룹이라면, 같은 시간대에 있는, 즉 T0 시간대의 다른 시점에 있는 모든 픽쳐들 또한 인터 뷰 픽쳐 그룹이 된다. 또 다른 예로서, T8 시간대의 S0 시점에 있는 I0픽쳐가 인터 뷰 픽쳐 그룹이라면, 같은 시간대에 있는, 즉 T8 시간대의 다른 시점에 있는 모든 픽쳐들 또한 인터 뷰 픽쳐 그룹이 된다. 마찬가지로, T16, ..., T96, T100 에 있는 모든 픽쳐들이 인터 뷰 픽쳐 그룹의 예가 된다.
도 7은 본 발명이 적용되는 실시예로서, 새롭게 정의된 인터 뷰 픽쳐 그룹의 개념을 설명하기 위한 예측 구조를 나타낸다.
MVC의 전반적인 예측 구조에 있어서, GOP는 I 픽쳐로부터 시작될 수 있으며, 상기 I 픽쳐는 H.264/AVC와 호환 가능하다. 따라서, H.264/AVC와 호환 가능한 모든 인터 뷰 픽쳐 그룹들은 항상 I 픽쳐가 될 수 있다. 그러나, 상기 I 픽쳐들을 P 픽쳐로 대체하게 될 경우, 우리는 보다 효율적인 코딩이 가능해질 수 있다. 즉, GOP가 H.264/AVC와 호환 가능한 P 픽쳐로 시작하도록 하는 예측 구조를 이용할 경우 보다 효율적인 코딩이 가능해질 것이다.
이 때, 인터 뷰 픽쳐 그룹을 다시 정의하면, 모든 슬라이스들이 동일 시간대의 프레임에 있는 슬라이스뿐만 아니라 동일 시점의 다른 시간대에 있는 슬라이스도 참조할 수 있는 부호화된 픽쳐가 된다. 다만, 동일 시점의 다른 시간대에 있는 슬라이스를 참조하는 경우는 오로지 H.264/AVC와 호환 가능한 인터 뷰 픽쳐 그룹에 한할 수 있다. 예를 들어, 도 6에서 S0 시점의 T8 시간에 있는 P 픽쳐는 새롭게 정의된 인터 뷰 픽쳐 그룹이 될 수 있으며, 마찬가지로 S0 시점의 T96 시간에 있는 P 픽쳐, 그리고 S0 시점의 T100 시간에 있는 P 픽쳐가 상기 새롭게 정의된 인터 뷰 픽쳐 그룹이 될 수 있다. 또는 상기 인터 뷰 픽쳐 그룹은 기준 시점인 경우에 한하여 정의될 수도 있다.
인터 뷰 픽쳐 그룹이 디코딩된 후, 차례로 코딩된 모든 픽쳐들은 출력 순서상 인터 뷰 픽쳐 그룹에 선행하여 디코딩된 픽쳐로부터 인터-프리딕션(inter-prediction)없이 디코딩된다.
따라서, 상기 도 6 및 도 7의 다시점 비디오 영상의 전반적인 코딩 구조에 따를 때, 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹의 시점간 참조 정보가 다르기 때문에 상기 인터 뷰 픽쳐 그룹 식별 정보에 따라 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹을 구별할 필요가 있다.
상기 시점간 참조 정보는, 시점간 영상들이 어떠한 구조로 예측되었는지를 알 수 있는 정보를 말한다. 이는 비디오 신호의 데이터 영역로부터 획득될 수 있는데, 예를 들어, 시퀀스 파라미터 셋 영역으로부터 획득될 수 있다. 또한, 상기 시점간 참조 정보는 참조 픽쳐의 개수와 참조 픽쳐의 시점 정보를 이용하여 파악할 수 있다. 예를 들어, 먼저 전체 시점의 개수를 획득하고, 상기 전체 시점의 개수에 근거하여 각 시점을 구별하는 시점 정보를 파악할 수 있다. 그리고, 각 시점마다 참조 방향에 대한 참조 픽쳐의 개수를 획득할 수 있다. 상기 참조 픽쳐의 개수에 따라 각 참조 픽쳐의 시점 정보를 획득할 수 있다. 이러한 방식을 통해서 상기 시 점간 참조 정보가 획득될 수 있으며, 상기 시점간 참조 정보는 인터 뷰 픽쳐 그룹일 경우와 넌-인터 뷰 픽쳐 그룹일 경우로 나누어서 파악될 수 있다. 이는 현재 NAL에 있는 코딩된 슬라이스가 인터 뷰 픽쳐 그룹인지 여부를 나타내는 인터 뷰 픽쳐 그룹 식별 정보를 이용하여 알 수 있다. 이하 도 8에서는 상기 인터 뷰 픽쳐 그룹 식별 정보에 대하여 상세히 알아본다.
도 8은 본 발명이 적용되는 실시예로서, 인터 뷰 픽쳐 그룹 식별 정보를 이용하여 다시점 영상을 디코딩하는 장치의 개략적인 블록도를 나타낸다.
본 실시예에서의 디코딩 장치는 비트스트림 판단부(81), 인터 뷰 픽쳐 그룹 식별 정보 획득부(82) 및 다시점 영상 디코딩부(83)를 포함한다. 비트스트림 판단부(81)에서는 비트스트림이 입력되면 상기 비트스트림이 스케일러블 비디오 코딩된 비트스트림인지, 아니면 다시점 비디오 코딩된 비트스트림인지 여부를 판단하게 된다. 이는 비트스트림으로 날라오는 플래그 정보에 의해 판단될 수 있다.
인터 뷰 픽쳐 그룹 식별 정보 획득부(82)에서는 상기 판단 결과 다시점 비디오 코딩된 비트스트림인 경우 인터 뷰 픽쳐 그룹 식별 정보를 획득할 수 있다. 상기 획득된 인터 뷰 픽쳐 그룹 식별 정보가 참일 경우에는 현재 NAL에 있는 코딩된 슬라이스가 인터 뷰 픽쳐 그룹임을 의미하고, 거짓일 경우에는 넌-인터 뷰 픽쳐 그룹임을 의미할 수 있다. 이러한 인터 뷰 픽쳐 그룹 식별 정보는 NAL 헤더의 확장 영역으로부터 획득될 수 있으며, 또는 슬라이스 레이어 영역으로부터 획득될 수도 있다.
다시점 영상 디코딩부(83)에서는 상기 인터 뷰 픽쳐 그룹 식별 정보에 따라 다시점 영상을 디코딩하게 된다. 다시점 비디오 영상의 전반적인 코딩 구조에 따를 때, 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹의 시점간 참조 정보가 다르기 때문에, 예를 들어, 참조 픽쳐 리스트를 생성할 때 시점간 예측을 위한 참조 픽쳐들을 추가하는데 상기 인터 뷰 픽쳐 그룹 식별 정보가 이용될 수 있다. 그리고, 추가된 상기 시점간 예측을 위한 참조 픽쳐들을 관리하기 위해서도 이용될 수 있다. 또한, 상기 인터 뷰 픽쳐 그룹 식별 정보는 가상 참조 디코더(hypothetical reference decoder)에서도 적용될 수 있다.
상기 인터 뷰 픽쳐 그룹 식별 정보가 이용되는 다른 예로서, 각 디코딩 프로세스에서 다른 시점에 있는 정보를 이용하게 되는 경우, 시퀀스 파라미터 셋에 포함된 시점간 참조 정보가 이용될 수 있다. 이 때, 현재 픽쳐가 인터 뷰 픽쳐 그룹인지 넌-인터 뷰 픽쳐 그룹인지 여부를 구분할 수 있는 정보, 즉 인터 뷰 픽쳐 그룹 식별 정보가 필요할 수 있으며, 이에 따라 각 디코딩 프로세스마다 다른 시점간 참조 정보가 이용될 수 있다.
도 9는 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트를 생성하는 흐름도를 나타낸다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 먼저, 현재 픽쳐 이전에 코딩된 픽쳐들은 참조 픽쳐로 활용하기 위하여 참조 픽쳐 저장부(610)에 저장된다(S91). 다시점 비디오 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 픽쳐와 다른 시점에 있는 픽쳐들도 있으므로, 이러한 픽 쳐들을 참조 픽쳐로서 활용하기 위해서는 픽쳐의 시점을 식별하는 시점 정보를 이용할 수 있다. 따라서, 디코더에서는 픽쳐의 시점을 식별하는 시점 정보를 획득하여야 한다(S92). 예를 들어, 상기 시점 정보는 픽쳐의 시점을 식별하는 view_id 를 포함할 수 있다. 상기 복호 픽쳐 버퍼부(600)에서는 참조 픽쳐 리스트를 생성하기 위하여 상기 복호 픽쳐 버퍼부(600) 내에서 사용되는 변수를 유도할 필요가 있다. 다시점 비디오 코딩에 있어서는 시점간 예측이 이루어질 수 있으므로 현재 픽쳐가 다른 시점에 있는 픽쳐를 참조하게 되는 경우, 시점간 예측을 위한 참조 픽쳐 리스트를 생성할 필요가 있을 수 있다. 이 때, 상기 복호 픽쳐 버퍼부(600)에서는 상기 획득된 시점 정보를 이용하여, 시점간 예측을 위한 참조 픽쳐 리스트를 생성하기 위해 사용되는 변수를 유도할 필요가 있다(S93).
시간적 예측을 위한 참조 픽쳐 리스트 또는 시점간 예측을 위한 참조 픽쳐 리스트는 현재 슬라이스의 슬라이스 타입에 따라 다른 방식으로 생성될 수 있다(S94). 예를 들어, 슬라이스 타입이 P/SP 슬라이스인 경우에는 참조 픽쳐 리스트0를 생성하게 되고(S95), 슬라이스 타입이 B 슬라이스인 경우에는 참조 픽쳐 리스트0와 참조 픽쳐 리스트1을 생성하게 된다(S96). 이 때 참조 픽쳐 리스트 0 또는 참조 픽쳐 리스트 1은 시간적 예측을 위한 참조 픽쳐 리스트만을 포함할 수 있고, 또는 상기 시간적 예측을 위한 참조 픽쳐 리스트와 시점간 예측을 위한 참조 픽쳐 리스트를 모두 포함하고 있을 수 있다. 이에 대해서는 도 8 및 도 9에서 상세히 설명하도록 한다.
이렇게 초기화된 참조 픽쳐 리스트는 보다 압축률을 향상시키기 위하여 빈번 하게 참조된 픽쳐에 더 작은 번호를 할당하는 과정을 거치게 된다(S97). 이를 참조 픽쳐 리스트의 재배열 과정이라고 한다. 도 12 내지 도 19에서 상세히 설명하도록 한다. 이렇게 재배열된 참조 픽쳐 리스트를 이용하여 현재 픽쳐를 디코딩하게 되며, 상기 복호 픽쳐 버퍼부(600)에서는 버퍼를 보다 효율적으로 운영하기 위하여 디코딩된 참조 픽쳐들을 관리할 필요가 있다(S98). 이러한 과정을 통해 관리되는 참조 픽쳐들은 상기 인터 예측부(700)로부터 불러들여져 인터 예측을 위해 이용된다. 다시점 비디오 코딩에 있어서, 상기 인터 예측은 시점간 예측을 포함할 수 있으므로 이러한 경우에는 시점간 예측을 위한 참조 픽쳐 리스트가 이용될 수 있다.
이하 도 10 및 도 11에서는 슬라이스 타입에 따라 참조 픽쳐 리스트가 어떠한 방식으로 생성되는지 구체적인 실시예들을 통해서 알아보도록 한다.
도 10은 본 발명이 적용되는 일실시예로서, 현재 슬라이스가 P슬라이스일 때의 참조 픽쳐 리스트를 초기화하는 방법을 설명하기 위해 나타낸 것이다.
T0, T1, ...,TN 은 시간을 나타내고, V0, V1, ...,V4 는 시점을 나타낸다. 예를 들어, 현재 픽쳐(current picture)는 V4 시점의 T3 시간에 있는 픽쳐를 나타낸다. 또한 현재 픽쳐의 슬라이스 타입은 P 슬라이스인 경우이다. PN은 변수 PicNum의 약자이며, LPN은 변수 LongtermPicNum의 약자이며, VN은 변수 ViewNum의 약자이다. 각 변수 뒤에 붙은 숫자는 각 픽쳐의 시간(PN,LPN의 경우) 또는 시점(VN의 경우)을 가리키는 인덱스를 의미한다. 이는 도 11에서도 동일하게 적용된다.
시간적 예측을 위한 참조 픽쳐 리스트 또는 시점간 예측을 위한 참조 픽쳐 리스트는 현재 슬라이스의 슬라이스 타입에 따라 다른 방식으로 생성될 수 있다. 예를 들어, 도 12에서는 슬라이스 타입이 P/SP 슬라이스인 경우로, 이 경우에는 참조 픽쳐 리스트0를 생성하게 된다. 여기서 상기 참조 픽쳐 리스트0는 시간적 예측을 위한 참조 픽쳐 리스트 및/또는 시점간 예측을 위한 참조 픽쳐 리스트를 포함할 수 있다. 본 실시예에서는 참조 픽쳐 리스트 0가 시간적 예측을 위한 참조 픽쳐 리스트와 시점간 예측을 위한 참조 픽쳐 리스트 모두를 포함하는 경우를 설명하도록 한다. 참조 픽쳐들을 배열하는 방법으로는 여러 가지가 있을 수 있는데, 예를 들어, 디코딩 순서에 따라 참조 픽쳐들을 배열할 수 있으며, 또는 픽쳐 출력 순서에 따라 참조 픽쳐들을 배열할 수도 있다. 또는 시점 정보를 이용하여 유도된 변수에 기초하여 배열될 수 있으며, 또는 시점 간의 예측 구조를 알 수 있는 시점간 참조 정보에 따라 참조 픽쳐들이 배열될 수도 있다.
시간적 예측을 위한 참조 픽쳐 리스트의 경우, 단기 참조 픽쳐와 장기 참조 픽쳐는 디코딩 순서에 기초하여 배열될 수 있다. 예를 들어, 픽쳐의 식별 번호를 나타내는 값(예를 들어, frame_num 또는 Longtermframeidx)으로부터 유도된 변수(PicNum 또는 LongtermPicNum)값에 따라 배열될 수 있다. 먼저 장기 참조 픽쳐에 앞서 단기 참조 픽쳐들이 초기화될 수 있다. 단기 참조 픽쳐의 배열되는 순서는 참조 픽쳐 중 가장 높은 변수(PicNum)값을 갖는 참조 픽쳐부터 가장 낮은 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, PN0,PN1,PN2 중 가장 높은 변수를 갖는 PN1부터 시작하여, 그 다음에 PN2, 그 다음에 가장 낮은 변수를 갖는 PN0 순서로 배열될 수 있다. 장기 참조 픽쳐의 배열되는 순서는 참조 픽쳐 중 가장 낮은 변수(LongtermPicNum)값을 갖는 참조 픽쳐부터 가장 높은 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, LPN0,LPN1 중 가장 낮은 변수를 갖는 LPN0부터 시작하여, 그 다음에 가장 낮은 변수를 갖는 LPN1 순서로 배열될 수 있다.
시점간 예측을 위한 참조 픽쳐 리스트의 경우, 시점 정보를 이용하여 유도된 제 1 변수(ViewNum)에 기초하여 배열될 수 있다. 예를 들어, 참조 픽쳐 중 가장 높은 제 1 변수(ViewNum)값을 갖는 참조 픽쳐부터 가장 낮은 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, VN0,VN1,VN2,VN3 중 가장 높은 변수를 갖는 VN3부터 시작하여, 그 다음에 VN2,VN1, 그 다음에 가장 낮은 변수를 갖는 VN0 순서로 배열될 수 있다.
이처럼, 상기 시간적 예측을 위한 참조 픽쳐 리스트와 상기 시점간 예측을 위한 참조 픽쳐 리스트는 하나의 참조 픽쳐 리스트로 관리될 수 있으며, 또는 별개의 참조 픽쳐 리스트로 각각 관리될 수도 있다. 그리고, 하나의 참조 픽쳐 리스트로 관리하게 되는 경우에는 순서에 따라 초기화될 수 있으며, 또는 동시에 초기화될 수도 있다. 순서에 따라 초기화되는 경우에는, 예를 들어, 상기 시간적 예측을 위한 참조 픽쳐 리스트를 먼저 초기화하고, 그 다음에 추가적으로 상기 시점간 예측을 위한 참조 픽쳐 리스트를 초기화할 수 있다. 이러한 개념은 도 11에서도 적용될 수 있다. 이하 도 11에서는 현재 픽쳐의 슬라이스 타입이 B 슬라이스인 경우에 대해 살펴보도록 한다.
도 11은 본 발명이 적용되는 일실시예로서, 현재 슬라이스가 B슬라이스일 때 의 참조 픽쳐 리스트를 초기화하는 방법을 설명하기 위해 나타낸 것이다.
슬라이스 타입이 B 슬라이스인 경우에는 참조 픽쳐 리스트0와 참조 픽쳐 리스트1을 생성하게 된다. 이 때 참조 픽쳐 리스트 0 또는 참조 픽쳐 리스트 1은 시간적 예측을 위한 참조 픽쳐 리스트만을 포함할 수 있고, 또는 상기 시간적 예측을 위한 참조 픽쳐 리스트와 시점간 예측을 위한 참조 픽쳐 리스트를 모두 포함하고 있을 수 있다.
먼저 시간적 예측을 위한 참조 픽쳐 리스트의 경우, 단기 참조 픽쳐와 장기 참조 픽쳐의 배열 방법이 다를 수 있다. 예를 들어, 단기 참조 픽쳐의 경우는 픽쳐 출력 순서(Picture Order Count, 이하 POC라 함)에 따라 참조 픽쳐들이 배열될 수 있고, 장기 참조 픽쳐의 경우는 변수(LongtermPicNum)값에 따라 참조 픽쳐들이 배열될 수 있다. 그리고, 장기 참조 픽쳐에 앞서 단기 참조 픽쳐들이 초기화될 수 있다.
참조 픽쳐 리스트0의 단기 참조 픽쳐의 배열되는 순서는 현재 픽쳐보다 낮은 POC값을 갖는 참조 픽쳐 중 가장 높은 POC값을 갖는 참조 픽쳐부터 가장 낮은 POC값을 갖는 참조 픽쳐의 순서로 배열되고, 그 다음에 현재 픽쳐보다 높은 POC값을 갖는 참조 픽쳐 중 가장 낮은 POC값을 갖는 참조 픽쳐부터 가장 높은 POC값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, 현재 픽쳐보다 낮은 POC값을 갖는 참조 픽쳐인 PN0,PN1 중 가장 높은 POC값을 갖는 PN1부터 시작하여, PN0 순서로 배열되고, 그 다음에 현재 픽쳐보다 높은 POC값을 갖는 참조 픽쳐인 PN3,PN4 중 가장 낮은 POC값을 갖는 PN3부터 시작하여, PN4 순서로 배열될 수 있다.
그리고 참조 픽쳐 리스트0의 장기 참조 픽쳐의 배열되는 순서는 참조 픽쳐 중 가장 낮은 변수(LongtermPicNum)를 갖는 참조 픽쳐부터 가장 높은 변수를 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, LPN0,LPN1 중 가장 낮은 변수를 갖는 LPN0부터 시작하여, 그 다음에 가장 낮은 변수를 갖는 LPN1 순서로 배열될 수 있다.
시점간 예측을 위한 참조 픽쳐 리스트의 경우, 시점 정보를 이용하여 유도된 제 1 변수(ViewNum)에 기초하여 배열될 수 있다. 예를 들어, 시점간 예측을 위한 참조 픽쳐 리스트0의 경우 현재 픽쳐보다 낮은 제 1 변수값을 갖는 참조 픽쳐 중 가장 높은 제 1 변수값을 갖는 참조 픽쳐부터 가장 낮은 제 1 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 그리고, 현재 픽쳐보다 높은 제 1 변수값을 갖는 참조 픽쳐 중 가장 낮은 제 1 변수값을 갖는 참조 픽쳐부터 가장 높은 제 1 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, 현재 픽쳐보다 낮은 제 1 변수값을 갖는 참조 픽쳐인 VN0,VN1 중 가장 높은 제 1 변수값을 갖는 VN1부터 시작하여, 가장 낮은 제 1 변수값을 갖는 VN0 순서로 배열될 수 있다. 그 다음에 현재 픽쳐보다 높은 제 1 변수값을 갖는 참조 픽쳐인 VN3,VN4 중 가장 낮은 제 1 변수값을 갖는 VN3부터 시작하여, 가장 높은 제 1 변수값을 갖는 VN4 순서로 배열될 수 있다.
참조 픽쳐 리스트 1의 경우, 상기에서 설명한 참조 픽쳐 리스트 0의 배열 방식과 유사하게 적용될 수 있다.
먼저 시간적 예측을 위한 참조 픽쳐 리스트의 경우, 참조 픽쳐 리스트1의 단 기 참조 픽쳐의 배열되는 순서는 현재 픽쳐보다 높은 POC값을 갖는 참조 픽쳐 중 가장 낮은 POC값을 갖는 참조 픽쳐부터 가장 높은 POC값을 갖는 참조 픽쳐의 순서로 배열되고, 그 다음에 현재 픽쳐보다 낮은 POC값을 갖는 참조 픽쳐 중 가장 높은 POC값을 갖는 참조 픽쳐부터 가장 낮은 POC값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, 현재 픽쳐보다 높은 POC값을 갖는 참조 픽쳐인 PN3,PN4 중 가장 낮은 POC값을 갖는 PN3부터 시작하여, PN4 순서로 배열되고, 그 다음에 현재 픽쳐보다 낮은 POC값을 갖는 참조 픽쳐인 PN0,PN1 중 가장 높은 POC값을 갖는 PN1부터 시작하여, PN0 순서로 배열될 수 있다.
그리고 참조 픽쳐 리스트1의 장기 참조 픽쳐의 배열되는 순서는 참조 픽쳐 중 가장 낮은 변수(LongtermPicNum)를 갖는 참조 픽쳐부터 가장 높은 변수를 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, LPN0,LPN1 중 가장 낮은 변수를 갖는 LPN0부터 시작하여, 그 다음에 가장 낮은 변수를 갖는 LPN1 순서로 배열될 수 있다.
시점간 예측을 위한 참조 픽쳐 리스트의 경우, 시점 정보를 이용하여 유도된 제 1 변수(ViewNum)에 기초하여 배열될 수 있다. 예를 들어, 시점간 예측을 위한 참조 픽쳐 리스트1의 경우 현재 픽쳐보다 높은 제 1 변수값을 갖는 참조 픽쳐 중 가장 낮은 제 1 변수값을 갖는 참조 픽쳐부터 가장 높은 제 1 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 그리고, 현재 픽쳐보다 낮은 제 1 변수값을 갖는 참조 픽쳐 중 가장 높은 제 1 변수값을 갖는 참조 픽쳐부터 가장 낮은 제 1 변수값을 갖는 참조 픽쳐의 순서로 배열될 수 있다. 예를 들어, 현재 픽쳐보다 높은 제 1 변수값을 갖는 참조 픽쳐인 VN3,VN4 중 가장 낮은 제 1 변수값을 갖는 VN3부터 시작하여, 가장 높은 제 1 변수값을 갖는 VN4 순서로 배열될 수 있다. 그 다음에 현재 픽쳐보다 낮은 제 1 변수값을 갖는 참조 픽쳐인 VN0,VN1중 가장 높은 제 1 변수값을 갖는 VN1부터 시작하여, 가장 낮은 제 1 변수값을 갖는 VN0 순서로 배열될 수 있다.
상기와 같은 과정을 통해 초기화된 참조 픽쳐 리스트는 상기 참조 픽쳐 리스트 재배열부(640)로 전송되어 보다 효율적인 코딩을 위해 상기 초기화된 참조 픽쳐 리스트를 재배열하게 된다. 이러한 재배열 과정은 복호 픽쳐 버퍼를 운영하여 참조 픽쳐로서 선택될 확률이 가장 높은 참조 픽쳐에 낮은 번호를 할당하여 비트율을 줄이기 위한 것이다. 이하 도 12 내지 도 19에서는 참조 픽쳐 리스트를 재배열하는 방법을 다양한 실시예들을 통해 설명하도록 한다.
도 12는 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트 재배열부(640)의 내부 블록도를 나타낸다.
참조 픽쳐 리스트 재배열부(640)는 크게 슬라이스 타입 확인부(642), 참조 픽쳐 리스트0 재배열부(643) 및 참조 픽쳐 리스트1 재배열부(645)를 포함한다. 상기 참조 픽쳐 리스트0 재배열부(643)는 제 1 식별정보 획득부(643A)와 제 1 참조번호 할당 변경부(643B)를 포함하고, 상기 참조 픽쳐 리스트1 재배열부(645)는 제 2 식별정보 획득부(645A)와 제 2 참조번호 할당 변경부(645B)를 포함한다.
슬라이스 타입 확인부(642)는 현재 슬라이스의 슬라이스 타입을 확인하여, 상기 슬라이스 타입에 따라 참조 픽쳐 리스트0 및/또는 참조 픽쳐 리스트1의 재배 열을 수행할지 여부가 결정된다. 예를 들어, 현재 슬라이스의 슬라이스 타입이 I슬라이스인 경우 참조 픽쳐 리스트0 및 참조 픽쳐 리스트1 모두 재배열을 수행하지 않는다. 그리고, P슬라이스인 경우에는 참조 픽쳐 리스트0만에 대해 재배열을 수행하고, B슬라이스인 경우에는 참조 픽쳐 리스트0 및 참조 픽쳐 리스트1 모두에 대해 재배열을 수행한다.
참조 픽쳐 리스트0 재배열부(643)는 상기 현재 슬라이스의 슬라이스 타입이 I슬라이스가 아니고, 상기 참조 픽쳐 리스트0의 재배열을 수행하라는 플래그 정보가 참일 경우에 동작한다. 제 1 식별정보 획득부(643A)는 참조번호의 할당 방법을 나타내는 식별 정보를 획득하고, 제 1 참조번호 할당 변경부(643B)에서는 상기 식별 정보에 따라 상기 참조 픽쳐 리스트0의 각 참조 픽쳐에 할당되는 참조 번호를 변경하게 된다.
마찬가지로 참조 픽쳐 리스트1 재배열부(645)는 상기 현재 슬라이스의 슬라이스 타입이 B 슬라이스이고, 상기 참조 픽쳐 리스트1의 재배열을 수행하라는 플래그 정보가 참일 경우에 동작한다. 제 2 식별정보 획득부(645A)는 참조번호의 할당 방법을 나타내는 식별 정보를 획득하고, 제 2 참조번호 할당 변경부(645B)에서는 상기 식별 정보에 따라 상기 참조 픽쳐 리스트1의 각 참조 픽쳐에 할당되는 참조 번호를 변경하게 된다.
상기 참조 픽쳐 리스트0 재배열부(643)와 상기 참조 픽쳐 리스트1 재배열부(645)를 통해 실제 인터 예측을 위해 사용되는 참조 픽쳐 리스트 정보가 생성된다. 이하 도 13에서는 상기 제 1,2 참조번호 할당 변경부(643B,645B)에서 각 참조 픽쳐에 할당되는 참조 번호를 변경하는 방법을 상세히 설명하도록 한다.
도 13은 본 발명이 적용되는 실시예로서, 참조번호 할당 변경부(643B,645B)의 내부 블록도를 나타낸다.
본 실시예에서는 상기 도 12에 나타난 참조 픽쳐 리스트0 재배열부(643)와 참조 픽쳐 리스트1 재배열부(645)를 함께 설명하도록 한다. 제 1,2 참조번호 할당 변경부(643B,645B)는 시간적 예측을 위한 참조번호 할당 변경부(644A), 장기 참조 픽쳐를 위한 참조번호 할당 변경부(644B), 시점간 예측을 위한 참조번호 할당 변경부(644C) 및 참조번호 할당 변경 종료부(644D)를 포함한다. 제 1,2 식별정보 획득부(643A,645A)에서 획득된 식별 정보에 따라 상기 제 1,2 참조번호 할당 변경부(643B,645B)내의 각 부분들이 동작하게 된다. 이러한 재배열 과정은 참조번호 할당 변경을 종료하라는 식별 정보가 들어올 때까지 수행된다.
예를 들어, 상기 제 1,2 식별정보 획득부(643A,645A)에서 시간적 예측을 위한 참조 번호의 할당을 변경하라는 식별 정보가 전송된 경우, 상기 시간적 예측을 위한 참조번호 할당 변경부(644A)가 동작한다. 상기 시간적 예측을 위한 참조번호 할당 변경부(644A)에서는 상기 식별 정보에 따라 픽쳐 번호의 차이값을 획득한다. 여기서 픽쳐 번호의 차이값이란, 현재 픽쳐의 픽쳐 번호와 예측된 픽쳐 번호의 차이를 의미하고, 상기 예측된 픽쳐 번호란 직전에 할당된 참조 픽쳐의 번호를 의미할 수 있다. 이렇게 획득된 상기 픽쳐 번호의 차이값을 이용하여 참조번호의 할당을 변경할 수 있다. 이 때, 상기 픽쳐 번호의 차이값은 상기 식별 정보에 따라 상 기 예측된 픽쳐 번호로부터 더해지거나 빼질 수 있다.
다른 예로서, 지정한 장기 참조 픽쳐에 참조 번호의 할당을 변경하라는 식별 정보가 전송된 경우, 상기 장기 참조 픽쳐를 위한 참조번호 할당 변경부(644B)가 동작한다. 상기 장기 참조 픽쳐를 위한 참조번호 할당 변경부(644B)에서는 상기 식별 정보에 따라 지정된 픽쳐의 장기 참조 픽쳐 번호를 획득하게 된다.
또 다른 예로서, 시점간 예측을 위한 참조 번호의 할당을 변경하라는 식별 정보가 전송된 경우, 상기 시점간 예측을 위한 참조번호 할당 변경부(644C)가 동작한다. 상기 시점간 예측을 위한 참조번호 할당 변경부(644C)에서는 상기 식별 정보에 따라 시점 정보의 차이값을 획득한다. 여기서 시점 정보의 차이값이란, 현재 픽쳐의 시점 번호와 예측된 시점 번호의 차이를 의미하고, 상기 예측된 시점 번호란 직전에 할당된 참조 픽쳐의 시점 번호를 의미할 수 있다. 이렇게 획득된 상기 시점 정보의 차이값을 이용하여 참조번호의 할당을 변경할 수 있다. 이 때, 상기 시점 정보의 차이값은 상기 식별 정보에 따라 상기 예측된 시점 번호로부터 더해지거나 빼질 수 있다.
또 다른 예로서, 참조번호 할당 변경을 종료하라는 식별 정보가 전송된 경우, 상기 참조번호 할당변경 종료부(644D)가 동작한다. 상기 참조번호 할당변경 종료부(644D)에서는 상기 식별 정보에 따라 참조번호의 할당 변경을 종료하고, 그에 따라 상기 참조 픽쳐 리스트 재배열부(640)에서는 참조 픽쳐 리스트 정보를 생성하게 된다.
이처럼, 시점간 예측에 이용되는 참조 픽쳐들은 시간적 예측에 이용되는 참 조 픽쳐들과 함께 관리될 수 있다. 또는 시점간 예측에 이용되는 참조 픽쳐들을 시간적 예측에 이용되는 참조 픽쳐들과는 별도로 관리할 수도 있다. 이러한 경우에는 상기 시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 새로운 정보들이 필요할 수 있다. 이러한 경우에 대해서는 도 15내지 도 19에서 상세히 설명하도록 한다. 이하 도 14에서는 상기 시점간 예측을 위한 참조번호 할당 변경부(644C)에 대하여 구체적인 실시예를 통해 살펴보도록 한다.
도 14는 본 발명이 적용되는 일실시예로서, 시점 정보를 이용하여 참조 픽쳐 리스트를 재배열하는 과정을 설명하기 위해 나타낸 것이다.
본 실시예에서는 현재 픽쳐의 시점 번호(VN)는 3, 복호 픽쳐 버퍼의 크기(DPBsize)는 4이고, 현재 슬라이스의 슬라이스 타입이 P슬라이스인 경우 참조 픽쳐 리스트0의 재배열 과정을 설명하도록 한다. 초기 예측된 시점 번호는 현재 픽쳐의 시점 번호인 3 이고, 시점간 예측을 위한 참조 픽쳐 리스트0의 최초 배열은 4,5,6,2 이다(①). 이 때, 시점 정보의 차이값을 감산하여 시점간 예측을 위한 참조 번호의 할당을 변경하라는 식별 정보가 전송되고, 상기 식별 정보에 따라 상기 시점 정보 차이값으로 1을 획득한다. 그리고 상기 예측된 시점 번호(=3)에 상기 시점 정보 차이값(=1)을 감산하여 새롭게 예측된 시점 번호(=2)가 계산된다. 즉, 시점 번호 2 를 가지는 참조 픽쳐에 시점간 예측을 위한 참조 픽쳐 리스트0의 첫번째 인덱스를 할당한다. 그리고, 이전의 첫번째 인덱스에 할당되어 있던 픽쳐는 상기 참조 픽쳐 리스트0의 제일 뒷부분으로 옮겨질 수 있다. 따라서, 재배열된 상기 참조 픽쳐 리스트0는 2,5,6,4 이다(②). 그 다음에, 다시 시점 정보의 차이값을 감산 하여 시점간 예측을 위한 참조 번호의 할당을 변경하라는 식별 정보가 전송되고, 상기 식별 정보에 따라 상기 시점 정보 차이값으로 -2 를 획득한다. 그리고 상기 예측된 시점 번호(=2)에 상기 시점 정보 차이값(= -2)을 감산하여 새롭게 예측된 시점 번호(=4)가 계산된다. 즉, 시점 번호 4 를 가지는 참조 픽쳐에 시점간 예측을 위한 참조 픽쳐 리스트0의 두번째 인덱스를 할당한다. 따라서, 재배열된 상기 참조 픽쳐 리스트0는 2,4,6,5 이다(③). 그 다음에는, 참조번호 할당 변경을 종료하라는 식별 정보가 전송된 경우, 상기 식별 정보에 따라 상기 재배열된 참조 픽쳐 리스트0를 끝으로 참조 픽쳐 리스트0가 생성된다(④). 결국 최종 생성된 시점간 예측을 위한 참조 픽쳐 리스트0의 배열은 2,4,6,5 이다.
시점간 예측을 위한 참조 픽쳐 리스트0의 첫번째 인덱스를 할당한 후 나머지 픽쳐들을 재배열하는 다른 예로서, 각 인덱스에 할당되어 있던 픽쳐가 차례로 바로 뒤의 위치로 옮겨질 수 있다. 즉, 시점 번호가 4인 픽쳐에는 두번째 인덱스를 할당하고, 두번째 인덱스가 할당되어 있던 시점 번호 5인 픽쳐에는 세번째 인덱스를 할당하며, 세번째 인덱스가 할당되어 있던 시점 번호 6인 픽쳐에는 네번째 인덱스를 할당할 수 있게 된다. 따라서, 재배열된 상기 참조 픽쳐 리스트0는 2,4,5,6 이 된다. 이후 재배열되는 과정도 동일하게 적용시킬 수 있다.
상기와 같은 과정을 거쳐 생성된 참조 픽쳐 리스트는 인터 예측에 사용된다. 시점간 예측을 위한 참조 픽쳐 리스트는 시간적 예측을 위한 참조 픽쳐 리스트와 함께 하나의 참조 픽쳐 리스트로 관리될 수 있다. 또한, 별개의 참조 픽쳐 리스트로 관리될 수도 있는데, 이에 대해서는 도 15 내지 도 19에서 살펴보도록 한다.
도 15는 본 발명이 적용되는 다른 실시예로서, 참조 픽쳐 리스트 재배열부(640)의 내부 블록도를 나타낸다.
시점간 예측을 위한 참조 픽쳐 리스트를 별개의 참조 픽쳐 리스트로 관리하기 위해서는 새로운 정보들이 필요할 수 있다. 예를 들어, 먼저 시간적 예측을 위한 참조 픽쳐 리스트를 재배열하고, 경우에 따라서 시점간 예측을 위한 참조 픽쳐 리스트를 재배열하도록 구성할 수 있다.
본 실시예에서 참조 픽쳐 리스트 재배열부(640)는 크게, 시간적 예측을 위한 참조 픽쳐 리스트 재배열부(910)와 NAL 타입 확인부(960) 및 시점간 예측을 위한 참조 픽쳐 리스트 재배열부(970)를 포함한다. 그리고, 상기 시간적 예측을 위한 참조 픽쳐 리스트 재배열부(910)는 슬라이스 타입 확인부(642), 제 3 식별정보 획득부(920), 제 3 참조번호 할당 변경부(930), 제 4 식별정보 획득부(940), 제 4 참조번호 할당 변경부(950)을 포함한다. 상기 제 3 참조번호 할당 변경부(930)는 시간적 예측을 위한 참조번호 할당 변경부(930A), 장기 참조 픽쳐를 위한 참조번호 할당 변경부(930B) 및 참조번호 할당변경 종료부(930C)를 포함한다. 마찬가지로 상기 제 4 참조번호 할당 변경부(950)는 시간적 예측을 위한 참조번호 할당 변경부(950A), 장기 참조 픽쳐를 위한 참조번호 할당 변경부(950B) 및 참조번호 할당변경 종료부(950C)를 포함한다.
시간적 예측을 위한 참조 픽쳐 리스트 재배열부(910)는 시간적 예측에 이용되는 참조 픽쳐들을 재배열한다. 상기 시간적 예측을 위한 참조 픽쳐 리스트 재배열부(910)에서의 동작은 상기 도 12에서 설명한 참조 픽쳐 리스트 재배열부(640)에 서 시점간 예측을 위한 참조 픽쳐에 관한 정보들을 제외하면, 그 동작이 동일하다. 따라서, 상기 도 12로부터 유추가능하므로 이에 대한 설명은 생략하기로 한다.
NAL 타입 확인부(960)에서는 전송된 비트스트림의 NAL 타입을 확인한다. 상기 NAL 타입이 다시점 영상 코딩을 위한 NAL 인 경우, 시점간 예측을 위한 참조픽쳐 리스트 재배열부(970)를 통해 시점간 예측에 이용되는 참조 픽쳐들을 재배열하게 된다. 이렇게 생성된 시점간 예측을 위한 참조픽쳐 리스트는 시간적 예측을 위한 참조픽쳐 리스트 재배열부(910)을 통해 생성된 시간적 예측을 위한 참조픽쳐 리스트와 함께 인터 예측을 위해 사용된다. 그러나, 상기 NAL 타입이 다시점 영상 코딩을 위한 NAL 이 아닌 경우에는 시점간 예측을 위한 참조픽쳐 리스트를 재배열하지 않는다. 이 경우에는 단지 시간적 예측을 위한 참조 픽쳐 리스트만 생성된다. 그리고, 시점간 예측을 위한 참조픽쳐 리스트 재배열부(970)는 시점간 예측에 이용되는 참조 픽쳐들을 재배열하게 된다. 이는 도 16에서 상세히 설명하도록 한다.
도 16은 본 발명이 적용되는 실시예로서, 시점간 예측을 위한 참조 픽쳐 리스트 재배열부(970)의 내부 블록도를 나타낸다.
시점간 예측을 위한 참조 픽쳐 리스트 재배열부(970)는 슬라이스 타입 확인부(642), 제 5 식별정보 획득부(971), 제 5 참조번호 할당 변경부(972), 제 6 식별정보 획득부(973) 및 제 6 참조번호 할당 변경부(974)를 포함한다.
슬라이스 타입 확인부(642)는 현재 슬라이스의 슬라이스 타입을 확인하여, 상기 슬라이스 타입에 따라 참조 픽쳐 리스트0 및/또는 참조 픽쳐 리스트1의 재배열을 수행할지 여부가 결정된다. 상기 슬라이스 타입 확인부(642)에 대한 자세한 설명은 상기 도 12로부터 유추가능하므로 생략하기로 한다.
제 5,6 식별정보 획득부(971,973)는 참조번호의 할당 방법을 나타내는 식별 정보를 획득하고, 제 5,6 참조번호 할당 변경부(972,974)에서는 각각 상기 식별 정보에 따라 상기 참조 픽쳐 리스트0,1의 각 참조 픽쳐에 할당되는 참조 번호를 변경하게 된다. 여기서의 참조번호는 참조 픽쳐의 시점 번호만을 의미할 수 있다. 또한, 상기 참조번호의 할당 방법을 나타내는 식별 정보는 플래그 정보일 수 있다. 예를 들어, 플래그 정보가 참일 경우에는 시점 번호의 할당을 변경하고, 거짓일 경우에는 시점 번호의 재배열 과정을 종료할 수 있다. 만약 상기 플래그 정보가 참일 경우, 상기 제 5,6 참조번호 할당 변경부(972,974)는 상기 플래그 정보에 따라 시점 번호의 차이값을 획득할 수 있다. 여기서 시점 번호의 차이값이란, 현재 픽쳐의 시점 번호와 예측된 픽쳐의 시점 번호 사이의 차이를 의미하고, 상기 예측된 픽쳐의 시점 번호란 직전에 할당된 참조 픽쳐의 시점 번호를 의미할 수 있다. 이렇게 획득된 상기 시점 번호의 차이값을 이용하여 시점 번호의 할당을 변경할 수 있다. 이 때, 상기 시점 번호의 차이값은 상기 식별 정보에 따라 상기 예측된 픽쳐의 시점 번호로부터 더해지거나 빼질 수 있다.
이처럼, 시점간 예측을 위한 참조 픽쳐 리스트를 별개의 참조 픽쳐 리스트로 관리하기 위해서는 그 신택스 구조 또한 새롭게 정의할 필요가 있다. 따라서, 도 15와 도 16에서 설명한 내용에 대한 일실시예로서, 도 17,18 및 도 19에서는 그 신택스를 설명한다.
도 17 및 도 18은 본 발명이 적용되는 일실시예로서, 참조 픽쳐 리스트 재배 열을 위한 신택스를 나타낸다.
도 17은 상기 도 15에서 나타낸 시간적 예측을 위한 참조픽쳐 리스트 재배열부(910)의 동작을 신택스로 나타낸 것이다. 상기 도 15의 각 블록들과 비교해보면, 상기 슬라이스 타입 확인부(642)는 (S1),(S6)에 해당되고, 상기 제 3 식별정보 획득부(920)은 (S2), 상기 제 4 식별정보 획득부(940)은 (S7)에 해당된다. 그리고, 상기 제 3 참조번호 할당 변경부(930)의 내부 블록도들은 각각 (S3),(S4),(S5)에 해당되고, 상기 제 4 참조번호 할당 변경부(950)의 내부 블록도들은 각각 (S8),(S9),(S10)에 해당된다.
도 18은 상기 도 15 및 도 16에서 나타낸 NAL 타입 확인부(960)와 시점간 예측을 위한 참조픽쳐 리스트 재배열부(970)의 동작을 신택스로 나타낸 것이다. 상기 도 15와 도 16의 각 블록들과 비교해보면, 상기 NAL 타입 확인부(960)는 (S11)에 해당되고, 상기 슬라이스 타입 확인부(642)는 (S13),(S16)에 해당되고, 상기 제 5 식별정보 획득부(971)는 (S14), 상기 제 6 식별정보 획득부(973)는 (S17)에 해당된다. 그리고, 상기 제 5 참조번호 할당 변경부(972)는 (S15)에 해당되고, 상기 제 6 참조번호 할당 변경부(974)는 (S18)에 해당된다.
도 19는 본 발명이 적용되는 다른 일실시예로서, 참조 픽쳐 리스트 재배열을 위한 신택스를 나타낸다.
도 19는 상기 도 15 및 도 16에서 나타낸 NAL 타입 확인부(960)와 시점간 예측을 위한 참조픽쳐 리스트 재배열부(970)의 동작을 다른 신택스의 예로 나타낸 것이다. 상기 도 15와 도 16의 각 블록들과 비교해보면, 상기 NAL 타입 확인부(960) 는 (S21)에 해당되고, 상기 슬라이스 타입 확인부(642)는 (S22),(S25)에 해당되고, 상기 제 5 식별정보 획득부(971)는 (S23), 상기 제 6 식별정보 획득부(973)는 (S26)에 해당된다. 그리고, 상기 제 5 참조번호 할당 변경부(972)는 (S24)에 해당되고, 상기 제 6 참조번호 할당 변경부(974)는 (S27)에 해당된다.
위에서 살펴본 바와 같이, 시점간 예측을 위한 참조 픽쳐 리스트는 인터 예측부(700)에서 이용될 수 있는데, 휘도 보상을 수행함에 있어서도 적용이 가능할 수 있다. 휘도 보상은 움직임 추정/움직임 보상을 수행하는 과정에서 적용될 수 있는데, 이때 현재 픽쳐가 다른 시점에 있는 참조 픽쳐를 이용하게 되는 경우 상기 시점간 예측을 위한 참조 픽쳐 리스트를 이용함으로써 보다 효율적인 휘도 보상을 수행할 수 있다. 이하 위한 본 발명을 적용한 휘도 보상의 실시예들을 살펴보도록 한다.
도 20은 본 발명이 적용되는 일실시예로서, 현재 블록의 휘도 차분 값을 획득하는 과정을 설명하기 위한 도면을 나타낸다.
휘도 보상은 휘도 변이에 따라서 적응적으로 움직임 보상된 비디오 신호를 복호화하는 과정을 의미하며, 비디오 신호의 예측 구조가 인터 뷰 예측, 인트라 뷰 예측 등에 적용될 수 있다.
휘도 보상은 복호 대상이 되는 블록에 대응하는 휘도 차분 레지듀얼과, 휘도 차분 예측값을 이용하여 비디오 신호를 복호화하는 과정을 의미한다. 여기서, 휘도 차분 예측값은 복호 대상이 되는 블록에 존재하는 주변 블록으로부터 획득된다. 또한, 주변 블록으로부터 휘도 차분 예측값을 획득하는 과정은 주변 블록의 참조 정 보를 이용하여 결정하되, 주변 블록을 탐색하는 과정에서 순서 및 방향이 고려된다. 마지막으로, 주변 블록은 이미 복호화된 블록을 의미하되, 시점 또는 시간에 대한 동일 픽쳐 내의 중복성을 고려하여 복호화된 영상 혹은 서로 다른 픽쳐 내의 중복성을 고려하여 복호화된 영상을 의미한다.
현재 블록과 후보 참조 블록(candidate reference block)의 유사성을 비교할 때 양 블록 사이의 휘도 차이를 고려하여야 한다. 상기 휘도 차이를 보상하기 위하여 새로운 움직임 추정/움직임 보상(motion compensation)이 수행된다. 새로운 SAD는 다음 수학식 1을 이용하여 구할 수 있다.
수학식 1
Figure 112009050345628-pat00001
수학식 2
Figure 112009050345628-pat00002
여기서, Mcurr 는 현재 블록의 평균 화소값을 나타내고, Mref 는 참조 블록의 평균 화소값을 나타낸다. f(i,j) 는 현재 블록의 화소값을 나타내고, r(i+x, j+y) 는 참조 블록의 화소값를 나타낸다. 상기 수학식 2의 새로운 SAD에 기초하여 움직 임 추정을 수행함으로써 상기 현재 블록과 상기 참조 블록 사이의 평균 화소값 차이가 획득될 수 있다. 상기 획득된 평균 화소값 차이를 휘도 차분값(IC_offset)이라 한다.
휘도 보상이 적용된 움직임 추정이 수행되는 경우, 휘도 차분 값과 움직임 벡터가 구해지고 휘도 보상은 상기 휘도 차분 값과 상기 움직임 벡터를 이용하여 수학식 3과 같이 수행된다.
수학식 3
Figure 112009050345628-pat00003
여기서, NewR(i,j)는 휘도 보상이 수행된 오차값(residual)을 나타내고, (x', y')는 움직임 벡터를 나타낸다.
휘도 차분 값(Mcurr-Mref)은 디코딩 장치로 전송되어야 한다. 디코딩 장치에서의 휘도 보상은 다음과 같이 수행된다.
수학식 4
Figure 112009050345628-pat00004
NewR"(i,j)는 복원된, 휘도 보상이 수행된 오차값(residual)을 나타내고, f'(i,j)는 복원된 현재 블록의 화소값을 나타낸다.
현재 블록을 복원하기 위해서는 휘도 차분 값이 디코딩 장치에 전송되어야 하고, 상기 휘도 차분 값은 이웃 블록들의 정보로부터 예측될 수 있다. 상기 휘도 차분 값을 코딩할 비트수를 더 감소시키기 위하여, 현재 블록의 휘도 차분 값(IC_offset)과 이웃 블록의 휘도 차분 값(predIC _ offset)과의 차이값(RIC_offset)만 보낼 수 있다. 이는 아래 수학식 5와 같다.
수학식 5
Figure 112009050345628-pat00005
도 21은 본 발명이 적용되는 실시예로서, 현재 블록에 대한 휘도 보상을 수행하는 과정을 설명하기 위한 흐름도를 나타낸다.
먼저 비디오 신호로부터, 현재 블록의 이웃 블록과 상기 이웃 블록이 참조하는 블록의 평균 화소값 차이를 나타내는 상기 이웃 블록의 휘도 차분값을 추출한다(S2110). 상기 휘도 차분값을 이용하여 상기 현재 블록의 휘도 차분 예측값을 획득한다(S2120). 상기 획득된 휘도 차분 예측값을 이용하여 상기 현재 블록의 휘도 차분값을 복원할 수 있게 된다.
이 때, 상기 휘도 차분 예측값을 획득함에 있어서 다양한 방법으로 접근할 수 있다. 예를 들어, 상기 이웃 블록의 휘도 차분 값으로부터 상기 현재 블록의 휘도 차분 값을 예측하기에 앞서 현재 블록의 참조 번호(reference index)와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인하고, 그 확인 결과에 따라 어떤 이웃 블록을 이용할지, 또는 어떤 값을 이용할지가 결정될 수 있다. 또한, 이웃 블록의 정보를 탐색하는 과정에서 순서 또는 방향이 주어질 수 있으며, 정해진 순서 또는 방향에 따라 휘도 보상에 필요한 휘도 차분 예측값을 획득할 수도 있다. 다른 예로, 상기 휘도 차분 예측값을 획득할 때, 상기 현재 블록의 휘도 보상 수행 여부를 나타내는 플래그 정보(IC_flag)도 이용할 수 있다. 상기 현재 블록의 플래그 정보도 이웃 블록들의 정보를 이용하여 예측할 수 있다. 또 다른 예로, 상기 참조 번호를 확인하는 방법과 플래그 정보를 예측하는 방법 모두를 이용하여 상기 휘도 차분 예측값을 획득할 수도 있다. 이하 도 22 내지 도 24에서 상세하게 설명하기로 한다.
도 22는 본 발명이 적용되는 일실시예로서, 이웃 블록의 정보를 이용하여 현재 블록의 휘도 차분 예측값을 획득하는 과정을 설명하기 위한 도면을 나타낸다.
현재 블록의 휘도 차분 예측값을 획득할 때 이웃 블록의 정보를 이용할 수 있다. 본 명세서에서 블록이라 함은 매크로블록 또는 서브매크로블록을 모두 포함한다. 예를 들어, 상기 이웃 블록의 휘도 차분 값을 이용하여 상기 현재 블록의 휘도 차분 값을 예측할 수 있는데, 이에 앞서 현재 블록의 참조 번호(reference index)와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인하고, 그 확인 결과에 따라 어떤 이웃 블록을 이용할지, 또는 어떤 값을 이용할지가 결정될 수 있다. "refIdxLX" 는 현재 블록의 참조 번호를 나타내고, "refIdxLXN" 은 N 블록의 참조 번호를 나타내며, 여기서 N은 현재 블록에 이웃한 블록의 표시로서 A, B or C 를 나타낸다. "PredIC _ offsetN" 은 이웃한 N 블록의 휘도 보상을 위한 휘도 차분 값을 나 타낸다. 여기서, 현재 블록의 우측 상단에 있는 블록인 C 블록을 이용할 수 없는 경우, C 블록 대신 D 블록을 사용할 수 있다. 즉, D 블록에 대한 정보를 C 블록에 대한 정보로 사용할 수 있다. 또한, B 블록과 C 블록을 모두 이용할 수 없는 경우, 대신하여 A 블록을 사용할 수 있다. 즉, A 블록에 대한 정보를 각각 B 블록에 대한 정보, C 블록에 대한 정보로 사용할 수 있다.
다른 예로, 상기 휘도 차분 예측값을 획득할 때, 상기 현재 블록의 휘도 보상 수행 여부를 나타내는 플래그 정보(IC_flag)도 이용할 수 있다. 또는 상기 참조 번호를 확인하는 방법과 플래그 정보를 예측하는 방법 모두를 이용하여 상기 휘도 차분 예측값을 획득할 수도 있다. 이 때, 상기 이웃 블록의 플래그 정보가 휘도 보상을 수행하지 않았음을 나타내는 경우, 즉 IC_flag == 0 인 경우 상기 이웃 블록의 휘도 차분값인 PredIC _ offsetN 는 0 으로 셋팅된다.
도 23은 본 발명이 적용되는 일실시예로서, 이웃 블록의 정보를 이용하여 휘도 보상을 수행하는 과정을 나타내는 흐름도이다.
디코딩 장치에서는 휘도 보상을 수행하기 위하여 비디오 신호로부터 참조 블록의 평균 화소값, 상기 현재 블록과 상기 참조 블록의 참조 번호 등을 추출하고, 이러한 정보들을 이용하여 현재 블록의 휘도 차분 예측값을 획득할 수 있다. 그리고, 현재 블록의 휘도 차분 값과 상기 휘도 차분 예측값 사이의 차이값인 휘도 차분 레지듀얼을 획득하고, 상기 획득된 휘도 차분 레지듀얼과 상기 휘도 차분 예측값을 이용하여 상기 현재 블록의 휘도 차분 값을 복원할 수 있다. 이때, 현재 블록 의 휘도 차분 예측값을 획득함에 있어서, 이웃 블록의 정보를 이용할 수 있다. 예를 들어, 상기 이웃 블록의 휘도 차분 값을 이용하여 상기 현재 블록의 휘도 차분 값을 예측할 수 있는데, 이에 앞서 현재 블록의 참조 번호(reference index)와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인하고, 그 확인 결과에 따라 어떤 이웃 블록을 이용할지, 또는 어떤 값을 이용할지가 결정될 수 있다.
그 구체적 실시예로, 현재 블록의 이웃 블록과 상기 이웃 블록이 참조하는 블록의 평균 화소값 차이를 나타내는 상기 이웃 블록의 휘도 차분값을 비디오 신호로부터 추출한다(S2310). 현재 블록의 참조 번호와 이웃 블록들의 참조 번호가 동일한지 여부를 확인한다(S2320). 확인 결과, 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하는 경우, 그 이웃 블록이 1개만 존재하는지 여부를 확인한다(S2325). 확인 결과, 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 1개만 존재하는 경우, 상기 참조 번호가 동일한 이웃 블록의 휘도 차분 값을 현재 블록의 휘도 차분 예측값에 할당하게 된다(S2330). 즉, "PredIC_offset= PredIC _ offsetN" 이 된다. 상기 S2320 단계의 확인 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하지 않는 경우 또는 상기 S2325 단계의 확인 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 2이상 존재하는 경우에는 상기 이웃 블록들의 휘도 차분 값들(PredIC _ offsetN, N = A, B or C)의 중간값(Median)을 현재 블록의 휘도 차분 예측값에 할당하게 된다(S2340). 즉, "PredIC _ offset = Median(PredIC _ offsetA, PredIC _ offsetB, PredIC_offsetC)" 이 된다.
도 24는 본 발명이 적용되는 다른 일실시예로서, 이웃 블록의 정보를 이용하여 휘도 보상을 수행하는 과정을 나타내는 흐름도이다.
디코딩부에서는 휘도 보상을 수행하기 위하여 현재 블록의 휘도 차분 값을 복원하여야 한다. 이때, 현재 블록의 휘도 차분 예측값을 획득함에 있어서, 이웃 블록의 정보를 이용할 수 있다. 예를 들어, 상기 이웃 블록의 휘도 차분 값을 이용하여 상기 현재 블록의 휘도 차분 값을 예측할 수 있는데, 이에 앞서 현재 블록의 참조 번호(reference index)와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인하고, 그 확인 결과에 따라 어떤 이웃 블록을 이용할지, 또는 어떤 값을 이용할지가 결정될 수 있다.
그 구체적 실시예로, 현재 블록의 이웃 블록과 상기 이웃 블록이 참조하는 블록의 평균 화소값 차이를 나타내는 상기 이웃 블록의 휘도 차분값을 비디오 신호로부터 추출한다(S2410). 현재 블록의 참조 번호와 이웃 블록들의 참조 번호가 동일한지 여부를 확인한다(S2420). 확인 결과, 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하는 경우, 그 이웃 블록이 1개만 존재하는지 여부를 확인한다(S2430). 확인 결과, 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 1개만 존재하는 경우, 상기 참조 번호가 동일한 이웃 블록의 휘도 차분 값을 현재 블록의 휘도 차분 예측값에 할당하게 된다(S2440). 즉, "PredIC_offset = PredIC _ offsetN" 이 된다. 상기 S2420 단계의 확인 결과에 따라 현재 블 록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하지 않는 경우, 현재 블록의 휘도 차분 예측값은 "0"으로 할당된다(S2460). 즉, "PredIC _ offset= 0" 이 된다. 또한, 상기 S2430 단계의 확인 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 2이상 존재하는 경우에는 현재 블록의 참조 번호와 다른 참조 번호를 가지는 이웃 블록은 "0"으로 셋팅하고, 상기 "0"으로 셋팅된 값을 포함하여 이웃 블록들의 휘도 차분 값들의 중간값(Median)을 현재 블록의 휘도 차분 예측값에 할당하게 된다(S2450). 즉, "PredIC _ offset = Median(PredIC _ offsetA, PredIC_offsetB, PredIC _ offsetC)" 이 된다. 단, 현재 블록의 참조 번호와 다른 참조 번호를 가지고 있는 이웃 블록이 존재하는 경우라면, 여기서 PredIC _ offsetA, PredIC _ offsetB 또는 PredIC _ offsetC 중 0 값이 포함될 수 있다.
또한, 휘도 보상 외에도 픽쳐의 시점을 식별하는 시점 정보 및 시점간 예측을 위한 참조 픽쳐 리스트는 가상 시점의 픽쳐를 합성함에 있어서도 적용이 가능할 수 있다. 상기 가상 시점의 픽쳐를 합성하는 과정에서 다른 시점에 있는 픽쳐를 참조하게 되므로, 상기 시점 정보 및 상기 시점간 예측을 위한 참조 픽쳐 리스트를 이용하게 되는 경우 보다 효율적으로 가상 시점의 픽쳐를 합성할 수 있게 된다. 이하 본 발명이 적용되는, 가상 시점의 픽쳐를 합성하는 방법의 실시예들을 살펴보도록 한다.
도 25는 본 발명이 적용된 일실시예로서, 가상 시점의 픽쳐를 이용하여 현재 픽쳐를 예측하는 과정을 설명하기 위해 나타낸 것이다.
다시점 비디오 코딩에서 시점 간 예측(inter-view prediction)을 수행함에 있어서, 현재 픽쳐와 다른 시점에 있는 픽쳐를 참조 픽쳐로 하여 현재 픽쳐를 예측할 수 있다. 하지만, 현재 픽쳐에 이웃하는 시점에 있는 픽쳐들을 이용하여 새로운 시점의 픽쳐를 획득하고, 상기 획득된 새로운 시점의 픽쳐를 이용하여 현재 픽쳐를 예측할 경우 보다 정확한 예측이 가능할 수 있다. 이 때, 각 이웃하는 시점의 픽쳐들을 이용하기 위해 또는 원하는 특정 시점의 픽쳐들을 이용하기 위해, 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다. 이러한 새로운 시점을 생성하게 될 경우, 상기 새로운 시점을 생성할지 여부를 알려주는 특정 신택스가 존재할 것이며, 이 신택스가 상기 새로운 시점을 생성할 것임을 알려주었을 때, 상기 시점 식별자를 이용하여 새로운 시점을 생성할 수 있다. 상기 시점 합성 예측부를 통해 획득된 새로운 시점의 픽쳐들은 참조 픽쳐로 사용될 수도 있으며, 이 경우 상기 새로운 시점의 픽쳐들에 상기 시점 식별자를 할당할 수 있다. 또한, 움직임 벡터를 전송하기 위해 움직임 벡터 예측을 수행하는 과정에서, 현재 블록의 이웃 블록들이 상기 시점 합성 예측부를 통해 획득된 픽쳐를 참조할 수 있다. 이 때, 상기 새로운 시점의 픽쳐를 참조 픽쳐로 이용하기 위해 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.
도 26은 본 발명이 적용된 실시예로서, MVC에서 시점 간 예측을 수행함에 있어서 새로운 시점의 픽쳐를 합성하기 위한 과정을 나타내는 흐름도이다.
현재 픽쳐에 이웃하는 시점에 있는 픽쳐들을 이용하여 새로운 시점의 픽쳐를 합성하고, 상기 합성된 새로운 시점의 픽쳐를 이용하여 현재 픽쳐를 예측할 경우 보다 정확한 예측이 가능할 수 있다. 이 때, 새로운 시점의 픽쳐를 합성하게 될 경우, 상기 새로운 시점의 픽쳐를 합성하여 현재 픽쳐의 예측을 수행할지 여부를 알려주는 특정 신택스가 존재하여, 경우에 따라 현재 픽쳐의 예측 수행 여부를 판단한다면 보다 효율적인 코딩이 가능하다. 상기 특정 신택스를 시점 간 합성 예측 식별자라 정의하고, 이는 다음과 같다. 예를 들어, 슬라이스 계층에서 새로운 시점의 픽쳐를 합성하여 현재 픽쳐의 예측을 수행할지 여부를 나타내는 view_synthesize_pred_flag 를 정의할 수 있고, 또는 매크로블록 계층에서 새로운 시점의 픽쳐를 합성하여 현재 픽쳐의 예측을 수행할지 여부를 나타내는 view_syn_pred_flag 를 정의할 수 있다. view_synthesize_pred_flag = 1 인 경우, 현재 슬라이스는 현재 슬라이스에 이웃하는 시점의 슬라이스를 이용하여 새로운 시점의 슬라이스를 합성하고, 상기 합성된 슬라이스를 이용하여 현재 슬라이스를 예측할 수 있다. view_synthesize_pred_flag = 0 인 경우에는 새로운 시점의 슬라이스를 합성하지 않는다. 마찬가지로, view_syn_pred_flag = 1 인 경우, 현재 매크로블록은 현재 매크로블록에 이웃하는 시점의 매크로블록을 이용하여 새로운 시점의 매크로블록을 합성하고, 상기 합성된 매크로블록을 이용하여 현재 매크로블록을 예측할 수 있다. view_syn_pred_flag = 0 인 경우에는 새로운 시점의 매크로블록을 합성하지 않는다. 따라서, 본 발명에서는 비디오 신호로부터 가상 시점의 픽쳐를 획득할 지 여부를 나타내는 상기 시점 간 합성 예측 식별자를 추출하고, 상기 시점 간 합성 예측 식별자를 이용하여 가상 시점의 픽쳐를 획득할 수 있다.
위에서 살펴본 바와 같이, 픽쳐의 시점을 식별하는 시점 정보 및 시점간 예측을 위한 참조 픽쳐 리스트는 인터 예측부(700)에서 이용될 수 있는데, 가중치 예측을 수행함에 있어서도 적용이 가능할 수 있다. 가중치 예측은 움직임 보상을 수행하는 과정에서 적용될 수 있는데, 이때 현재 픽쳐가 다른 시점에 있는 참조 픽쳐를 이용하게 되는 경우 상기 시점 정보 및 상기 시점간 예측을 위한 참조 픽쳐 리스트를 이용함으로써 보다 효율적인 가중치 예측을 수행할 수 있다. 이하 위한 본 발명을 적용한 가중치 예측 방법의 실시예들을 살펴보도록 한다.
도 27은 본 발명이 적용되는 비디오 신호 코딩에 있어서, 슬라이스 타입에 따라 가중치 예측을 수행하는 흐름도를 나타낸다.
가중치 예측(weighted prediction)은 P 또는 B 슬라이스 매크로블록 내의 움직임 보상된 예측 데이터의 샘플을 스케일링하는 방법이다. 가중치 예측 방법은 참조 픽쳐들에 대한 정보로부터 획득된 가중치 계수 정보를 이용하여 현재 픽쳐에 대한 가중치 예측을 수행하는 명시적인(explicit) 모드 또는 현재 픽쳐와 참조 픽쳐들 사이의 거리 정보로부터 획득된 가중치 계수 정보를 이용하여 현재 픽쳐에 대한 가중치 예측을 수행하는 암시적인(implicit) 모드를 포함한다. 이러한 가중치 예측 방법은 적용하고자 하는 매크로블록의 슬라이스 타입에 따라 다르게 적용될 수 있다. 예를 들어, 상기 명시적인 모드는 가중치 예측이 수행되는 현재 매크로블록이 P 슬라이스의 매크로블록인지 B 슬라이스의 매크로블록인지에 따라 가중치 계수 정보가 달라질 수 있다. 그리고, 명시적인 모드에서의 가중치 계수는 인코더에 의해 결정되고 슬라이스 헤더 내에 포함되어 전송될 수 있다. 반면에, 암시적인 모드에 서의 가중치 계수는 List 0와 List 1 참조 픽쳐의 상대적인 시간적 위치에 기초하여 획득될 수 있다. 예를 들어, 참조 픽쳐가 현재 픽쳐에 시간적으로 가까우면 큰 가중치 계수가 적용될 수 있고, 참조 픽쳐가 현재 픽쳐로부터 시간적으로 멀리 떨어져 있으면 작은 가중치 계수가 적용될 수 있다. 따라서, 본 발명에서는 먼저 비디오 신호로부터 가중치 예측을 적용하고자 하는 매크로블록의 슬라이스 타입을 추출한다(S2710). 상기 추출된 슬라이스 타입에 따라 현재 매크로블록에 대해 가중치 예측을 수행할 수 있다(S2720). 여기서, 상기 슬라이스 타입은 시점 간 예측(inter-view prediction)이 적용된 매크로블록을 포함할 수 있다. 시점 간 예측이란, 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 이용하여 현재 픽쳐를 예측하는 것을 말한다. 예를 들어, 상기 슬라이스 타입은 현재 픽쳐와 같은 시점에 있는 픽쳐의 정보를 이용하여 예측을 수행하는 시간적 예측(temporal prediction)이 적용된 매크로블록, 상기 시점 간 예측이 적용된 매크로블록 및 시간적 예측과 시점 간 예측이 함께 적용된 매크로블록을 포함할 수 있다. 또한, 상기 슬라이스 타입은 시간적 예측이 적용된 매크로블록만을 포함할 수도 있고, 시점 간 예측이 적용된 매크로블록만을 포함할 수도 있으며, 상기 두 가지 예측이 모두 적용된 매크로블록만을 포함할 수도 있으며, 상기 매크로블록 유형 중 두 가지 유형 또는 세 가지 유형 모두를 포함할 수도 있다. 이에 대해서는 도 28에서 상세히 설명하도록 한다. 이처럼, 비디오 신호로부터 시점 간 예측이 적용된 매크로블록을 포함하는 슬라이스 타입이 추출된 경우, 현재 픽쳐와 다른 시점에 있는 픽쳐에 대한 정보를 이용하여 가중치 예측을 수행하게 된다. 여기서, 다른 시점에 있는 픽쳐에 대한 정보를 이용하기 위하여 픽쳐의 시점을 구별하는 시점 식별자를 이용할 수 있다.
도 28은 본 발명이 적용되는 비디오 신호 코딩에 있어서, 슬라이스 타입에서 허용되는 매크로블록 유형들의 일실시예를 나타낸다.
상기 도 28에 도시된 바와 같이, 먼저 시점 간 예측에 의한 P 슬라이스 타입을 VP(View_P)라 정의할 때, 상기 시점 간 예측에 의한 P 슬라이스 타입에는 인트라 매크로블록(I), 현재 시점(current view)에 있는 하나의 픽쳐로부터 예측되는 매크로블록(P) 또는 다른 시점(different view)에 있는 하나의 픽쳐로부터 예측되는 매크로블록(VP)이 허용된다(2810). 그리고, 시점 간 예측에 의한 B 슬라이스 타입을 VB(View_B)라 정의할 때, 상기 시점 간 예측에 의한 B 슬라이스 타입에는 인트라 매크로블록(I), 현재 시점에 있는 적어도 하나 이상의 픽쳐로부터 예측되는 매크로블록(P or B) 또는 적어도 하나 이상의 다른 시점에 있는 픽쳐로부터 예측되는 매크로블록(VP or VB)이 허용된다(2820). 또한, 시간적 예측과 시점 간 예측 각각 또는 모두를 이용하여 예측 수행된 슬라이스 타입을 Mixed 라 정의할 때, 상기 Mixed 슬라이스 타입에는 인트라 매크로블록(I), 현재 시점에 있는 적어도 하나 이상의 픽쳐로부터 예측되는 매크로블록(P or B) 또는 적어도 하나 이상의 다른 시점에 있는 픽쳐로부터 예측되는 매크로블록(VP or VB) 또는 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐 모두를 이용하여 예측된 매크로블록(Mixed)이 허용된다(2830). 여기서, 다른 시점에 있는 픽쳐를 이용하기 위하여 픽쳐의 시점을 구별하는 시점 식별자를 이용할 수 있다.
도 29 ∼ 도 30은 본 발명이 적용되는 일실시예로서, 새롭게 정의된 슬라이 스 타입에 따라 가중치 예측을 수행하는 신택스를 나타낸다.
상기 도 28에서 살펴본 바와 같이, 슬라이스 타입이 VP, VB, Mixed 로 정의될 경우, 기존(예를 들어, H.264)의 가중치 예측을 수행하는 신택스는 도 29 ∼ 도 30과 같이 변경될 수 있다. 예를 들어, 슬라이스 타입이 시간적 예측에 의한 P 슬라이스인 경우에는 "if(slice_type != VP ∥ slice_type != VB) " 부분이 추가되고(2910), 슬라이스 타입이 시간적 예측에 의한 B 슬라이스인 경우에는 if 문이 "if(slice_type == B ∥ slice_type == Mixed) " 와 같이 변경될 수 있다(2920). 또한, VP 및 VB 슬라이스 타입이 새롭게 정의됨으로써, 도 29와 유사한 형식으로 새롭게 추가될 수 있다(2930,2940). 이 경우, 시점에 대한 정보가 추가되기 때문에 신택스 요소들은 "시점(view)"부분을 포함하고 있다. 그 예로, "luma_log2_view_weight_denom, chroma_log2_view_weight_denom" 등을 들 수 있다.
도 31은 본 발명이 적용되는 비디오 신호 코딩에 있어서, 시점 간 가중치 예측 수행 여부를 나타내는 플래그 정보를 이용하여 가중치 예측을 수행하는 흐름도를 나타낸다.
본 발명이 적용되는 비디오 신호 코딩에 있어서, 가중치 예측을 수행할지 여부를 나타내는 플래그 정보를 사용할 경우 보다 효율적인 코딩이 가능해진다. 이러한 플래그 정보는 슬라이스 타입에 기초하여 정의할 수 있다. 예를 들어, 가중치 예측이 P 슬라이스와 SP 슬라이스에 적용될지 여부를 나타내는 플래그 정보가 존재할 수 있고, B 슬라이스에 적용될지 여부를 나타내는 플래그 정보가 존재할 수 있다. 그 구체적 예로, 상기 플래그 정보를 각각 "weighted_pred_flag", "weighted_bipred_idc"로 정의할 수 있다. weighted_pred_flag = 0 이면 가중치 예측이 P 슬라이스와 SP 슬라이스에 적용되지 않는 것을 나타내고, weighted_pred_flag = 1 이면 가중치 예측이 P 슬라이스와 SP 슬라이스에 적용되는 것을 나타낸다. 그리고, weighted_bipred_idc = 0 이면 디폴트(default) 가중치 예측이 B 슬라이스에 적용되는 것을 나타내고, weighted_bipred_idc = 1 이면 명시적인(explicit) 가중치 예측이 B 슬라이스에 적용되는 것을 나타내며, weighted_bipred_idc = 2 이면 암시적인(implicit) 가중치 예측이 B 슬라이스에 적용되는 것을 나타낸다. 또한, 다시점 비디오 코딩에 있어서는, 시점 간의 픽쳐에 대한 정보를 이용하여 가중치 예측을 수행할지 여부를 나타내는 플래그 정보를 슬라이스 타입에 기초하여 정의할 수도 있다.
먼저 비디오 신호로부터 슬라이스 타입 및 시점 간 가중치 예측 수행 여부를 나타내는 플래그 정보를 추출한다(S3110,S3120). 여기서, 상기 슬라이스 타입은, 예를 들어, 현재 픽쳐와 같은 시점에 있는 픽쳐의 정보를 이용하여 예측을 수행하는 시간적 예측이 적용된 매크로블록 및 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 이용하여 예측을 수행하는 시점 간 예측이 적용된 매크로블록을 포함할 수 있다. 상기 추출된 슬라이스 타입과 플래그 정보에 기초하여 가중치 예측 모드를 결정할 수 있다(S3130). 결정된 가중치 예측 모드에 따라 가중치 예측을 수행할 수 있다(S3140). 여기서, 플래그 정보는 상기 예를 들어 설명했던 "weighted_pred_flag" , "weighted_bipred_idc" 외에, 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 이용하여 가중치 예측을 수행할지 여부를 나타내는 플래그 정보 를 포함할 수 있다. 이에 대해서는 도 32에서 상세히 설명하도록 한다. 이처럼, 현재 매크로블록의 슬라이스 타입이 시점 간 예측이 적용된 매크로블록을 포함하는 슬라이스 타입인 경우에 다른 시점의 픽쳐에 대한 정보를 이용하여 가중치 예측을 수행할지 여부를 나타내는 플래그 정보를 사용할 경우 보다 효율적인 코딩이 가능해진다.
도 32는 본 발명이 적용되는 일실시예로서, 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 이용하여 가중치 예측을 수행할지 여부를 나타내는 플래그 정보에 따른 가중치 예측 방법을 설명하기 위한 것이다.
예를 들어, 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 이용하여 가중치 예측을 수행할지 여부를 나타내는 플래그 정보를 "view_weighted_pred_flag" , "view_weighted_bipred_idc" 로 정의할 수 있다. view_weighted_pred_flag = 0 이면 가중치 예측이 VP 슬라이스에 적용되지 않는 것을 나타내고, view_weighted_pred_flag = 1 이면 명시적인(explicit) 가중치 예측이 VP 슬라이스에 적용되는 것을 나타낸다. 그리고, view_weighted_bipred_idc = 0 이면 디폴트(default) 가중치 예측이 VB 슬라이스에 적용되는 것을 나타내고, view_weighted_bipred_idc = 1 이면 명시적인 가중치 예측이 VB 슬라이스에 적용되는 것을 나타내며, view_weighted_bipred_idc = 2 이면 암시적인(implicit) 가중치 예측이 VB 슬라이스에 적용되는 것을 나타낸다. 암시적인 가중치 예측이 VB 슬라이스에 적용되는 경우, 가중치 계수는 현재 시점과 다른 시점 간의 상대적인 거리에 의하여 획득될 수 있다. 또한, 암시적인 가중치 예측이 VB 슬라이스에 적용되는 경 우, 픽쳐의 시점을 구별하는 시점 식별자를 이용하여 가중치 예측을 수행할 수 있으며, 또는 각 시점을 구분할 수 있도록 고려하여 만들어진 픽쳐 출력 순서(Picture Order Count, POC)를 이용하여 가중치 예측을 수행할 수도 있다. 또한, 상기 플래그 정보들은 픽쳐 파라미터 세트(Picture Parameter Set, PPS)에 포함될 수 있다. 여기서 픽쳐 파라미터 세트란, 픽쳐 전체의 부호화 모드(예를 들어, 엔트로피 부호화 모드, 픽쳐 단위의 양자화 파라미터 초기값 등)를 나타내는 헤더 정보를 말한다. 단, 픽쳐 파라미터 세트는 모든 픽쳐에 붙는 것이 아니며, 픽쳐 파라미터 세트가 없는 경우에는 직전에 존재하는 픽쳐 파라미터 세트를 헤더 정보로 사용한다.
도 33은 본 발명이 적용되는 일실시예로서, 새롭게 정의된 플래그 정보에 따라 가중치 예측을 수행하는 신택스를 나타낸다.
본 발명이 적용되는 다시점 비디오 코딩에 있어서, 시점 간 예측이 적용된 매크로블록을 포함하는 슬라이스 타입 및 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 이용하여 가중치 예측을 수행할지 여부를 나타내는 플래그 정보가 정의되는 경우, 어떤 슬라이스 타입에 따라 어떤 가중치 예측을 수행할지를 판단할 필요가 있다. 예를 들어, 도 33에 도시된 바와 같이 비디오 신호로부터 추출된 슬라이스 타입이 P 슬라이스이거나 SP 슬라이스인 경우 weighted_pred_flag = 1 이어야 가중치 예측을 수행할 수 있으며, 슬라이스 타입이 B 슬라이스인 경우에는 weighted_bipred_idc = 1 이어야 가중치 예측을 수행할 수 있다. 또한, 슬라이스 타입이 VP 슬라이스인 경우 view_weighted_pred_flag = 1 이어야 가중치 예측을 수 행할 수 있으며, 슬라이스 타입이 VB 슬라이스인 경우에는 view_weighted_bipred_idc = 1 이어야 가중치 예측을 수행할 수 있다.
도 34는 본 발명이 적용되는 실시예로서, NAL(Network Abstraction Layer) 유닛 타입에 따라 가중치 예측을 수행하는 흐름도를 나타낸다.
먼저 비디오 신호로부터 NAL 유닛 타입(nal_unit_type)을 추출한다(S3410). 여기서, NAL 유닛 타입이란, NAL 단위의 종류를 나타내는 식별자를 말한다. 예를 들어, nal_unit_type = 5 인 경우 NAL 단위가 IDR 픽쳐의 슬라이스임을 나타낸다. IDR(Instantaneous Decoding Refresh) 픽쳐란, 영상 시퀀스의 선두 픽쳐를 말한다. 그리고, 상기 추출된 NAL 유닛 타입이 다시점 비디오 코딩을 위한 NAL 유닛 타입인지 여부를 확인한다(S3420). 상기 NAL 유닛 타입이 다시점 비디오 코딩을 위한 NAL 유닛 타입인 경우, 현재 픽쳐와 다른 시점에 있는 픽쳐에 대한 정보를 이용하여 가중치 예측을 수행하게 된다(S3430). 상기 NAL 유닛 타입은 스케일러블 비디오 코딩과 다시점 비디오 코딩 모두 적용가능한 NAL 유닛 타입일 수도 있고, 다시점 비디오 코딩만을 위한 NAL 유닛 타입일 수도 있다. 이처럼, 다시점 비디오 코딩을 위한 NAL 유닛 타입일 경우, 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 이용하여 가중치 예측을 수행할 수 있어야 하므로 새롭게 신택스가 정의될 필요가 있다. 이하 도 35 ∼ 도 36에서 상세히 설명하도록 한다.
도 35 ∼ 도 36은 본 발명이 적용되는 일실시예로서, NAL 유닛 타입이 다시점 비디오 코딩을 위한 NAL 유닛 타입인 경우 가중치 예측을 수행하는 신택스를 나타낸다.
NAL 유닛 타입이 다시점 비디오 코딩을 위한 NAL 유닛 타입일 경우, 기존(예를 들어, H.264)의 가중치 예측을 수행하는 신택스는 도 35 ∼ 도 36과 같이 변경될 수 있다. 예를 들어, 도 35의 3510 부분은 기존의 가중치 예측을 수행하는 신택스 부분에 해당되며, 도 35의 3520 부분은 다시점 비디오 코딩에서 가중치 예측을 수행하는 신택스 부분에 해당된다. 따라서, 3520 부분에서는 NAL 유닛 타입이 다시점 비디오 코딩을 위한 NAL 유닛 타입일 경우에 한하여 가중치 예측이 수행된다. 이 경우, 시점에 대한 정보가 추가되기 때문에 신택스 요소들은 "시점(view)"부분을 포함하고 있다. 그 예로, "luma_view_log2_weight_denom, chroma_view_log2_weight_denom" 등을 들 수 있다. 또한, 도 36의 3530 부분은 기존의 가중치 예측을 수행하는 신택스 부분에 해당되며, 도 36의 3540 부분은 다시점 비디오 코딩에서 가중치 예측을 수행하는 신택스 부분에 해당된다. 따라서, 3540 부분에서는 NAL 유닛 타입이 다시점 비디오 코딩을 위한 NAL 유닛 타입일 경우에 한하여 가중치 예측이 수행된다. 이 경우에도 마찬가지로, 시점에 대한 정보가 추가되기 때문에 신택스 요소들은 "시점(view)"부분을 포함하고 있다. 그 예로, "luma_view_weight_l1_flag, chroma_view_weight_l1_flag" 등을 들 수 있다. 이처럼, 다시점 비디오 코딩을 위한 NAL 유닛 타입이 정의될 경우, 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 이용하여 가중치 예측을 수행함으로써 보다 효율적인 코딩이 가능할 수 있다.
도 37은 본 발명에 의한 비디오 신호 디코딩 장치의 실시예의 블럭도로서, 슬라이스 타입 추출부(3710), 프리딕션 모드 추출부(3720) 및 복호화부(3730)로 구 성된다.
도 38는 도 37에 도시된 장치에서 수행되는 본 발명에 의한 비디오 신호 디코딩 방법을 설명하기 위한 흐름도로서, 슬라이스 타입을 추출하는 단계(S3810), 매크로블록 프리딕션 모드에 따라 현재 매크로블록을 디코딩하는 단계(S3820)로 이루어진다.
먼저, 본 발명의 이해를 돕기 위해 본 발명에서 사용되는 예측 방식에 대해 살펴 보기로 한다. 현재 매크로블록이 포함되어 있는 픽쳐와 동일한 시점에 있는 픽쳐를 참조하는지 또는 다른 시점에 있는 픽쳐를 참조하는지에 따라 시점 내 예측(intra-view prediction) 또는 시점 간 예측(inter-view prediction)으로 나눌 수 있다. 또한, 시점 내 예측은 기존의 시간적 예측(temporal prediction)과 동일한 예측 방식이라 할 수 있다.
본 발명에 의하면, 먼저, 슬라이스 타입 추출부(3710)는 현재 매크로블록을 포함하는 슬라이스의 슬라이스 타입을 추출한다(S3810).
여기서, 슬라이스 타입은 일 실시예로 시점 내 예측에 의한 슬라이스 타입(slice_type)과 시점 간 예측에 의한 슬라이스 타입의 두 가지가 가능하다. 이를 위해, 본 발명에서는 시점 간 예측에 의한 슬라이스 타입(view_slice_type)을 정의한다. 또한, 시점 내 예측에 의한 슬라이스 타입과 시점 간 예측에 의한 슬라이스 타입은 각각 I 슬라이스(I_SLICE) 타입 또는 P 슬라이스(P_SLICE) 타입 또는 B 슬라이스 타입(B_SLICE)일 수 있다. 예를 들어, 특정 슬라이스가 'slice_type'이 B 슬라이스이고, 'view_slice_type'이 P 슬라이스인 경우에는, 특정 슬라이스에 있는 매크로블록은 시점 내 방향 즉 시간 방향으로 B 슬라이스(B_SLICE) 코딩 방식으로 복호화되거나 시점 방향으로 P 슬라이스(P_SLICE) 코딩 방식으로 복호화될 수 있다.
한편, 슬라이스 타입은 다른 실시예로 시점 간 예측에 의한 P 슬라이스 타입(VP), 시점 간 예측에 의한 B 슬라이스 타입(VB) 및 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)을 포함할 수 있다.
여기서, 시점 간 예측에 의한 P 슬라이스 타입이란 슬라이스에 포함된 각각의 매크로블록 또는 매크로블록 파티션이 현재 시점(current view)에 있는 하나의 픽쳐(picture)로부터 예측되거나 다른 시점(different view)에 있는 하나의 픽쳐로부터 예측되는 경우를 말한다. 다음으로, 시점 간 예측에 의한 B 슬라이스 타입이란 슬라이스에 포함된 각각의 매크로블록 또는 매크로블록 파티션이 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들로부터 예측되거나, 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 경우를 말한다. 마지막으로, 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입이란 슬라이스에 포함된 각각의 매크로블록 또는 매크로블록 파티션이 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들로부터 예측되거나, 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되거나, 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들 및 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 경우를 말한다. 다시 말해, 각각의 슬라이스 타입마다 참조하는 픽쳐 및 허용되는 매크로블록 타입이 다르며, 이에 대해 서는 도 43 및 도 44에서 자세히 설명하기로 한다.
또한, 위에서 설명한 슬라이스 타입의 실시예 중 신택스와 관련해서 도 40, 도 41에서 자세히 설명하기로 한다.
다음으로, 프리딕션 모드 추출부(3720)는 현재 매크로블록이 시점 내 예측에 의한 매크로블록인지 또는 시점 간 예측에 의한 매크로블록인지 또는 양 예측이 혼합된 예측에 의한 매크로블록인지를 나타내는 매크로블록 프리딕션 모드를 추출한다(S3820). 이를 위해, 본 발명에서는 매크로블록 프리딕션 모드(mb_pred_mode)를 정의한다. 한편, 매크로블록 프리딕션 모드의 일 실시예와 관련해서는 도 39, 도 40 및 도 41에서 자세히 설명하기로 한다.
마지막으로, 복호화부(3730)는 현재 매크로블록을 복원하기 위한 매크로블록 프리딕션 모드에 따라 현재 매크로블록을 디코딩한다(S3820). 여기서, 본 발명에 의하면 현재 매크로블록은 현재 매크로블록을 복원하기 위한 매크로블록 타입 정보로부터 결정된 현재 매크로블록의 매크로블록 타입에 따라 디코딩될 수 있다. 또한, 매크로블록 프리딕션 모드 및 슬라이스 타입에 따라 매크로블록 타입이 결정될 수 있다.
여기서, 본 발명에 의하면, 매크로블록 프리딕션 모드가 시점 내 예측에 관한 모드인 경우에는, 시점 내 예측에 의한 슬라이스 타입에 따라 매크로블록 타입을 결정하며, 결정된 매크로블록 타입에 따라 시점 내 예측에 의해 현재 매크로블록을 디코딩한다. 또한, 매크로블록 프리딕션 모드가 시점 간 예측에 관한 모드인 경우에는, 시점 간 예측에 의한 슬라이스 타입에 따라 매크로블록 타입을 결정하 며, 상기 결정된 매크로블록 타입에 따라 시점 간 예측에 의해 현재 매크로블록을 디코딩한다. 또한, 매크로블록 프리딕션 모드가 양 예측이 혼합된 예측에 의한 매크로블록인 경우에는, 시점 내 예측에 의한 슬라이스 타입 및 시점 간 예측에 의한 슬라이스 타입에 따라 매크로블록 타입을 각각 결정하며, 결정된 각각의 매크로블록 타입에 따라 양 예측이 혼합된 예측에 의해 현재 매크로블록을 디코딩한다.
여기서, 매크로블록 타입은 매크로블록 프리딕션 모드와 슬라이스 타입에 종속된다. 다시 말해, 매크로블록 프리딕션 모드에 의해 매크로블록 타입에 사용될 예측 방식을 알 수 있고, 예측 방식에 따른 슬라이스 타입에 의해 매크로블록 타입 정보로부터 매크로블록 타입이 결정된다. 예를 들어, 매크로블록 프리딕션 모드가 시점 간 예측에 관한 모드인 경우에는, 시점 간 예측에 의한 슬라이스 타입(view_slice_type)에 해당하는 슬라이스 타입(I, P, B)의 매크로블록 테이블로부터 매크로블록 타입을 결정할 수 있다. 매크로블록 프리딕션 모드와 매크로블록 타입의 관계에 대해서는 도 39, 도 40 및 도 41에서 자세히 설명하기로 한다.
도 39는 본 발명에 의한 매크로블록 프리딕션 모드의 일 실시예를 나타내는 도면이다.
도 39(a)는 본 발명에 의한 매크로블록 프리딕션 모드(mb_pred_mode)의 일 실시예에 해당하는 테이블로서, 매크로블록을 위해 단지 시점 내 예측(intra-view prediction) 즉, 시간적 예측(temporal prediction)만 사용되는 경우에는 'mb_pred_mode'의 값은 '0'이 할당되며, 매크로블록을 위해 시점 간 예측(inter-view prediction)만 사용되는 경우에는 'mb_pred_mode'의 값은 '1'이 할당되며, 시 점 내 예측과 시점 간 예측이 모두 사용되는 경우에는 'mb_pred_mode'의 값은 '2'가 할당된다. 여기서, 'mb_pred_mode'의 값이 '1'인 경우, 즉, 시점 간 예측을 나타내는 경우에는, 시점 간 예측을 위한 참조 픽쳐 리스트(List)로서 시점 방향 List0(ViewList0) 또는 시점 방향 List1(ViewList1)을 정의한다.
도 39(b)는 본 발명에 의한 매크로블록 프리딕션 모드와 매크로블록 타입의 관계를 나타내는 도면으로서, 만일, 'mb_pred_mode'의 값이 '0'인 경우에는 시간상 예측만이 사용되며, 시점 내 예측에 의한 슬라이스 타입(slice_type)에 따라 매크로블록 타입이 결정된다. 'mb_pred_mode'의 값이 '1'인 경우에는 시점 간 예측만이 사용되며, 시점 간 예측에 의한 슬라이스 타입(view_slice_type)에 따라 매크로블록 타입이 결정된다. 'mb_pred_mode'의 값이 '2'인 경우에는 시간상 및 시점 내 예측이 혼합된 예측이 사용되며, 시점 내 예측에 의한 슬라이스 타입(slice_type) 및 시점 간 예측에 의한 슬라이스 타입(view_slice_type)에 의해 두 개의 매크로블록 타입이 결정된다. 다시 말해, 매크로블록 프리딕션 모드에 의해 매크로블록에 사용되는 예측 방식과 참고하는 슬라이스 타입이 결정되고, 슬라이스 타입에 따라 매크로블록 타입이 결정된다.
도 40 및 도 41은 본 발명에 의한 슬라이스 타입 및 매크로블록 프리딕션 모드가 적용된 신택스(syntax)를 나타내는 도면이다.
도 40은 슬라이스 타입으로서 'slice_type' 및 'view_slice_type'과 매크로블록 프리딕션 모드로서 'mb_pred_mode'가 적용된 신택스이다. 본 발명에 의하면, 'slice_type'은 시점 내 예측에 의한 슬라이스 타입을 의미하고, 'view_slice_type' 은 시점 간 예측에 의한 슬라이스 타입을 의미한다. 또한, 각각의 슬라이스 타입은 I 슬라이스 타입 또는 P 슬라이스 타입 또는 B 슬라이스 타입이 될 수 있다. 'mb_pred_mode'의 값이 '0' 또는'1'인 경우에는 하나의 매크로블록 타입만을 결정하나, 'mb_pred_mode'의 값이 '2'인 경우에는 매크로블록 타입을 하나 더 결정하는 것을 알 수 있다. 다시 말해, 도 40에 도시된 신택스는 기존의 슬라이스 타입(I, P, B)을 다시점 비디오 코딩에서 확대 적용하기 위해 'view_slice_type'이 추가된 것이다.
도 41은 슬라이스 타입으로서 'slice_type' 과 ' 매크로블록 프리딕션 모드로서 'mb_pred_mode'가 적용된 신택스이다. 본 발명에 의하면 'slice_type'은 시점 간 예측에 의한 슬라이스 타입(VP), 시점 간 예측에 의한 B 슬라이스 타입(VB) 및 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)을 포함한다. 'mb_pred_mode'의 값이 '0' 또는 '1'인 경우에는 하나의 매크로블록 타입만을 결정하나, 'mb_pred_mode'의 값이 '2'인 경우에는 매크로블록 타입을 하나 더 결정하는 것을 알 수 있다. 이 경우, 슬라이스 타입은 슬라이스 헤더(slice header)에 존재하며, 이에 대해서는 도 42에서 상세히 설명하기로 한다. 다시 말해, 도 41에 도시된 신택스는 기존의 슬라이스 타입(slice_type)에 VP, VB, Mixed 슬라이스 타입이 추가로 포함된 것이다.
도 42는 도 41에서의 슬라이스 타입이 적용된 실시예들을 나타내는 도면이다.
도 42(a)는 시점 간 예측에 의한 슬라이스 타입(VP), 시점 간 예측에 의한 B 슬라이스 타입(VB) 및 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)이 슬라이스 헤더에 존재하는 것을 의미한다. 다시 말해, 기존의 슬라이스 헤더에 존재하는 슬라이스 타입에 본 발명에 의한 슬라이스 타입(VP, VB, Mixed)이 추가된 것이다.
도 42(b)는 시점 간 예측에 의한 슬라이스 타입(VP), 시점 간 예측에 의한 B 슬라이스 타입(VB) 및 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)이 다시점 비디오 코딩(multi-view video coding;MVC)을 위한 슬라이스 헤더에 존재하는 것을 의미한다. 다시 말해, 본 발명에 의한 슬라이스 타입을 다시점 비디오 코딩을 위한 슬라이스 헤더에서 새롭게 정의를 한 것이다.
도 42(c)는 시점 간 예측에 의한 슬라이스 타입(VP), 시점 간 예측에 의한 B 슬라이스 타입(VB) 및 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)이 스케일러블 비디오 코딩(scalable video coding;SVC)을 위한 슬라이스 헤더에 존재하는 것을 의미한다. 다시 말해, 스케일러블 비디오 코딩을 위한 슬라이스 헤더에 존재하는 슬라이스 타입에 본 발명에 의한 슬라이스 타입이 추가된 것이다.
도 43은 도 41의 슬라이스 타입에 포함되는 슬라이스 타입의 다양한 실시예를 나타내는 도면이다.
도 43(a)는 다른 시점에 있는 하나의 픽쳐로부터 예측되는 경우이므로 시점 간 예측에 의한 슬라이스 타입(VP)이되고, 도 43(b)는 각각 다른 시점에 있는 두 개의 픽쳐로부터 예측되는 경우이므로 시점 간 예측에 의한 B 슬라이스 타입(VB)이 된다. 도 43(c) 내지 도 43(d)는 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐 들 및 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 경우이므로 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)이 된다.
도 44는 도 41의 슬라이스 타입에서 허용되는 매크로블록의 일 실시예를 나타내는 도면이다. 도시된 바와 같이, 시점 간 예측에 의한 P 슬라이스 타입(VP)에는 인트라 매크로블록(I) 또는 현재 시점(current view)에 있는 하나의 픽쳐(picture)로부터 예측되는 매크로블록(P) 또는 다른 시점(different view)에 있는 하나의 픽쳐로부터 예측되는 매크로블록(VP)가 허용된다. 다음으로, 시점 간 예측에 의한 B 슬라이스 타입(VP)에는 인트라 매크로블록(I) 또는 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들로부터 예측되는 매크로블록(P or B) 또는 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 매크로블록(VP or VB)가 허용된다. 마지막으로, 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)에는 인트라 매크로블록(I) 또는 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들로부터 예측되는 매크로블록(P or B) 또는 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 매크로블록(VP or VB) 또는 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들 및 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 매크로블록(Mixed)이 허용된다.
도 45 내지 도 47은 본 발명에 의한 양 예측이 혼합된 예측에 의한 믹스드 슬라이스(Mixed)에 존재하는 매크로블록의 매크로블록 타입의 일 실시예를 나타내 는 도면이다.
특히, 도 45(a) 및 도 45(b)는 믹스드 슬라이스에 존재하는 매크로블록의 매크로블록 타입(mb_type) 및 서브 매크로블록 타입(sub_mb_type)의 구성 방식을 보여준다. 또한, 도 46 및 도 47은 믹스드 슬라이스에 존재하는 매크로블록의 예측 방향의 이진수 표현 및 실제 예측 방향을 보여준다.
본 발명에 의하면, 매크로블록 타입(mb_type)은 매크로블록 파티션의 크기(Partition_size)와 매크로블록 파티션의 예측 방향(Direction)을 모두 고려하여 만들어진다. 서브 매크로블록 타입(sub_mb_type)은 서브 매크로블록 파티션의 크기(Sub_Partition_Size)와 각 서브 매크로블록 파티션의 예측 방향(Sub_Direction)을 모두 고려하여 만들어진다.
도 45(a)에 도시된 바와 같이, Direction0 과 Direction1는 각각 첫 번째 매크로블록 파티션의 예측 방향과 두 번째 매크로블록 파티션의 예측 방향을 의미한다. 즉, 8×16 매크로블록인 경우 Direction0는 왼쪽 8×16 매크로블록 파티션에 대한 예측 방향을 의미하며, Direction1은 오른쪽 매크로블록 파티션의 예측 방향을 의미한다.
여기서, 매크로블록 타입(mb_type)의 구성 원리를 자세히 설명하면, 처음 2bit은 해당 매크로블록의 파티션 크기(Patition_Size)를 의미하며, 0∼3 사이의 값이 가능하다. 처음 2bit 다음에 붙는 4bit는 매크로블록이 파티션으로 나누어질 경우 예측방향(Direction)을 의미한다. 예를 들어, 16×16 매크로블록의 경우에는 처음 2bit 뒤에 오직 이 매크로블록의 예측 방향을 나타내는 4bit이 붙게 된다. 16 ×8 매크로블록의 경우에는 처음 2bit 뒤에 붙는 4bit은 첫 번째 파티션의 예측 방향(Direction0)을 의미하며, 이 4bit 뒤에 또 다른 4bit이 붙어 두 번째 파티션의 예측 방향(Direction1)을 의미한다. 8×16 매크로블록의 경우에도 마찬가지로 처음 2bit 뒤에 8bit이 붙게 되며, 처음 2bit 뒤에 붙는 4bit는 첫 번째 파티션의 예측 방향을, 제일 뒤의 4bit은 두 번째 파티션의 예측 방향을 의미한다.
도 45(b)에 도시된 바와 같이, 서브 매크로블록 파티션의 예측 방향(Sub_Direction)은 도 45(a)의 매크로블록 파티션의 예측 방향(Direction)과 같은 방식으로 사용된다.
여기서, 서브 매크로블록 타입(sub_mb_type)의 구성 원리를 자세히 설명하면, 처음 각각의 2bit는 해당 매크로블록의 파티션 크기(Partition_Size) 및 해당 매크로블록의 서브 매크로블록의 파티션 크기(Sub_Partition_Size)를 의미하며, 0∼3 사이의 값이 가능하다. 처음 각각의 2bit 다음에 붙는 4bit는 매크로블록이 서브 매크로블록 파티션으로 나누어질 경우 예측방향(Sub_Direction)을 의미한다. 예를 들어, 매크로블록의 파티션의 크기가(Partition_Size) 8×8 이며, 서브 매크로블록블록의 파티션의 크기(Sub_Partition_Size)가 4×8인 경우에는 처음 2bit는 3, 두 번째 2bit는 2의 값의 가지며, 다음 4bit는 두 개의 4×8 블록 중 왼쪽 4×8 블록에 대한 예측 방향을, 그 다음 4bit는 오른쪽 4×8 블록에 대한 예측 방향을 나타낸다.
도 46에 도시된 바와 같이, 매크로블록의 예측 방향은 4bit로 구성되어 있으며, 현재 픽쳐의 좌(L), 상(T), 우(R) 하(B) 위치의 픽쳐를 참조하는 경우에 따라 각각 이진수 표현이 '1'이 되는 것을 알 수 있다.
도 47에 도시된 바와 같이, 예를 들어, 예측방향이 상(T)인 경우에는 현재 픽쳐의 시점 방향으로 위에 위치하는 픽쳐를 참조하며, 예측방향이 모든 방향(LTRB)인 경우에는 현재 픽쳐의 상하좌우 모든 방향의 픽쳐를 참조하는 것을 알 수 있다.
도 48은 본 발명에 의한 비디오 신호 인코딩 장치의 실시예의 블럭도로서, 매크로블록 타입 결정부(4810), 매크로블록 생성부(4820) 및 부호화부(4830)로 구성된다.
도 49는 도 48에 도시된 장치에서 수행되는 본 발명에 의한 비디오 신호 디코딩 방법을 설명하기 위한 흐름도로서, 시점 내 예측을 위한 제1매크로블록 타입과 시점 간 예측을 위한 제2매크로블록 타입을 결정하는 단계(S4910), 제1매크로블록 타입을 가지는 제1매크로블록과 제2매크로블록 타입을 가지는 제2매크로블록을 생성하는 단계(S4920), 제1매크로블록과 제2매크로블록을 이용하여 제3매크로블록을 생성하는 단계(S4930) 및 현재 매크로블록의 매크로블록 타입과 매크로블록 프리딕션 모드를 인코딩하는 단계(S4940)로 이루어진다.
본 발명에 의하면, 먼저, 매크로블록 타입 결정부(4810)은 시점 내 예측을 위한 제1매크로블록 타입과 시점 간 예측을 위한 제2매크로블록 타입을 결정한다(S4910).
다음으로, 매크로블록 생성부(4820)는 제1매크로블록 타입을 가지는 제1매크로블록과 제2매크로블록을 가지는 제2매크로블록을 생성하며(S4920), 제1매크로블 록과 제2매크로블록을 이용하여 제3매크로블록을 생성한다(S4930). 여기서, 제3매크로블록은 제1매크로블록과 제2매크로블록의 평균값에 의해 생성된다.
마지막으로, 부호화부(4830)는 제1매크로블록, 제2매크로블록 및 제3매크로블록의 부호화 효율을 비교하여 현재 매크로블록의 매크로블록 타입(mb_type)과 매크로블록 프리딕션 모드(mb_pred_mode)를 인코딩한다(S4940). 여기서, 부호화 효율을 측정하는 방법에는 여러 가지 방식을 적용할 수 있으나, RD 비용(Rate-Distortion cost)을 이용하는 방법이 있다. RD 비용이란 해당 블록을 부호화할 때 생기는 부호화 비트수와 실제영상과의 오차를 나타내는 왜곡값, 이 두 성분을 가지고 비용을 계산한다
본 발명에 의하면, 제1매크로블록 타입과 제2매크로블록 타입을 결정하는 방법은 위에서 설명한 RD 비용이 각각 최소값을 가지는 매크로블록 타입을 결정할 수 있다. 예를 들어, 시점 내 예측에 의한 매크로블록 타입들 중 RD 비용이 최소값을 가지는 매크로블록 타입이 제1매크로블록 타입이 되며, 시점 간 예측에 의한 매크로블록 타입들 중 RD 비용이 최소값을 가지는 매크로블록 타입이 제2매크로블록 타입이 된다.
또한, 매크로블록 타입과 매크로블록 프리딕션 모드를 인코딩하는 단계는, 먼저, 제1매크로블록의 RD 비용과 제2매크로블록 타입의 RD 비용을 비교하여 작은값을 구한다. 다음으로, 제3매크로블록의 RD 비용을 구한다. 마지막으로, 위에서 구한 RD 비용과 제3매크로블록의 RD 비용을 비교하여 현재 매크로블록의 매크로블록 타입과 매크로블록 프리딕션 모드를 인코딩한다.
만일, 위에서 구한 RD 비용이 제3매크로블록의 RD 비용 이상인 경우에는 매크로블록 타입은 위에서 구한 RD 비용에 해당하는 매크로블록 타입이 된다. 예를 들어, 제1매크로블록의 RD 비용과 제2매크로블록의 RD 비용 중에서 제1매크로블록의 RD 비용이 작은 경우에는 제1매크로블록의 매크로블록 타입인 제1매크로블록 타입이 현재 매크로블록의 매크로블록 타입이 된다. 또한, 매크로블록 프리딕션 모드는 위에서 구한 RD 비용에 해당하는 매크로블록의 예측 방식이 된다. 예를 들어, 제1매크로블록의 RD 비용과 제2매크로블록의 RD 비용 중에서 제2매크로블록의 RD 비용이 작은 경우에는 제2매크로블록의 예측 방식인 시점 간 예측 방식이 현재 매크로블록의 매크로블록 프리딕션 모드가 된다.
한편, 위에서 구한 RD 비용이 제3매크로블록의 RD 비용 미만인 경우에는 매크로블록 타입은 제1매크로블록 및 제2매크로블록에 해당하는 매크로블록 타입이 된다. 다시 말해, 시점 내 예측에 의한 매크로블록의 매크로블록 타입 및 시점 간 예측에 의한 매크로블록의 매크로블록 타입인 두 가지 매크로블록 타입이 현재 매크로블록의 매크로블록 타입이 된다. 또한, 매크로블록 프리딕션 모드는 시점 내 예측과 시점 간 예측이 혼합된 예측 방식이 된다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
도 1은 본 발명이 적용되는 비디오 신호 디코딩 장치의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 실시예로서, 다시점 영상 코딩된 비트스트림에 추가될 수 있는 다시점 영상에 대한 속성 정보들을 나타낸다.
도 3은 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트 생성부(620)의 내부 블록도를 나타낸다.
도 4는 본 발명이 적용된 실시예로서, 비디오 신호의 시점 확장성(view scalability)을 제공하기 위한 레벨 정보의 계층적 구조를 나타낸다.
도 5는 본 발명이 적용되는 일실시예로서, NAL헤더의 확장 영역 내에 레벨 정보를 포함하는 NAL단위의 구성을 나타낸다.
도 6은 본 발명이 적용되는 실시예로서, 인터 뷰 픽쳐 그룹의 개념을 설명하기 위한 다시점 영상 신호의 전체적인 예측 구조를 나타낸다.
도 7은 본 발명이 적용되는 실시예로서, 새롭게 정의된 인터 뷰 픽쳐 그룹의 개념을 설명하기 위한 예측 구조를 나타낸다.
도 8은 본 발명이 적용되는 실시예로서, 인터 뷰 픽쳐 그룹 식별 정보를 이용하여 다시점 영상을 디코딩하는 장치의 개략적인 블록도를 나타낸다.
도 9은 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트를 생성하는 흐름도를 나타낸다.
도 10은 본 발명이 적용되는 일실시예로서, 현재 슬라이스가 P슬라이스일 때 의 참조 픽쳐 리스트를 초기화하는 방법을 설명하기 위해 나타낸 것이다.
도 11는 본 발명이 적용되는 일실시예로서, 현재 슬라이스가 B슬라이스일 때의 참조 픽쳐 리스트를 초기화하는 방법을 설명하기 위해 나타낸 것이다.
도 12은 본 발명이 적용되는 실시예로서, 참조 픽쳐 리스트 재배열부(630)의 내부 블록도를 나타낸다.
도 13은 본 발명이 적용되는 실시예로서, 참조번호 할당 변경부(643B,645B)의 내부 블록도를 나타낸다.
도 14는 본 발명이 적용되는 일실시예로서, 시점 정보를 이용하여 참조 픽쳐 리스트를 재배열하는 과정을 설명하기 위해 나타낸 것이다.
도 15는 본 발명이 적용되는 다른 실시예로서, 참조 픽쳐 리스트 재배열부(630)의 내부 블록도를 나타낸다.
도 16는 본 발명이 적용되는 실시예로서, 시점간 예측을 위한 참조 픽쳐 리스트 재배열부(970)의 내부 블록도를 나타낸다.
도 17 및 도 18는 본 발명이 적용되는 일실시예로서, 참조 픽쳐 리스트 재배열을 위한 신택스를 나타낸다.
도 19은 본 발명이 적용되는 다른 일실시예로서, 참조 픽쳐 리스트 재배열을 위한 신택스를 나타낸다.
도 20은 본 발명이 적용되는 일실시예로서, 현재 블록의 휘도 차분 값을 획득하는 과정을 설명하기 위한 도면을 나타낸다.
도 21은 본 발명이 적용되는 실시예로서, 현재 블록에 대한 휘도 보상을 수 행하는 과정을 설명하기 위한 흐름도를 나타낸다.
도 22는 본 발명이 적용되는 일실시예로서, 이웃 블록의 정보를 이용하여 현재 블록의 휘도 차분 예측값을 획득하는 과정을 설명하기 위한 도면을 나타낸다.
도 23은 본 발명이 적용되는 일실시예로서, 이웃 블록의 정보를 이용하여 휘도 보상을 수행하는 과정을 나타내는 흐름도이다.
도 24은 본 발명이 적용되는 다른 일실시예로서, 이웃 블록의 정보를 이용하여 휘도 보상을 수행하는 과정을 나타내는 흐름도이다.
도 25는 본 발명이 적용된 일실시예로서, 가상 시점의 픽쳐를 이용하여 현재 픽쳐를 예측하는 과정을 설명하기 위해 나타낸 것이다.
도 26은 본 발명이 적용된 실시예로서, MVC에서 시점 간 예측을 수행함에 있어서 새로운 시점의 픽쳐를 합성하기 위한 과정을 나타내는 흐름도이다.
도 27는 본 발명이 적용되는 비디오 신호 코딩에 있어서, 슬라이스 타입에 따라 가중치 예측을 수행하는 흐름도를 나타낸다.
도 28은 본 발명이 적용되는 비디오 신호 코딩에 있어서, 슬라이스 타입에서 허용되는 매크로블록 유형들의 일실시예를 나타낸다.
도 29 ∼ 도 30은 본 발명이 적용되는 일실시예로서, 새롭게 정의된 슬라이스 타입에 따라 가중치 예측을 수행하는 신택스를 나타낸다.
도 31은 본 발명이 적용되는 비디오 신호 코딩에 있어서, 시점 간 가중치 예측 수행 여부를 나타내는 플래그 정보를 이용하여 가중치 예측을 수행하는 흐름도를 나타낸다.
도 32는 본 발명이 적용되는 일실시예로서, 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 이용하여 가중치 예측을 수행할지 여부를 나타내는 플래그 정보에 따른 가중치 예측 방법을 설명하기 위한 것이다.
도 33은 본 발명이 적용되는 일실시예로서, 새롭게 정의된 플래그 정보에 따라 가중치 예측을 수행하는 신택스를 나타낸다.
도 34는 본 발명이 적용되는 실시예로서, NAL(Network Abstraction Layer) 유닛 타입에 따라 가중치 예측을 수행하는 흐름도를 나타낸다.
도 35 ∼ 도 36은 본 발명이 적용되는 일실시예로서, NAL 유닛 타입이 다시점 비디오 코딩을 위한 NAL 유닛 타입인 경우 가중치 예측을 수행하는 신택스를 나타낸다.
도 37은 본 발명이 적용되는 실시예로서, 새롭게 정의된 슬라이스 타입에 따른 비디오 신호 디코딩 장치의 일부 블럭도이다.
도 38은 도 37에 도시된 장치에서 수행되는 본 발명에 의한 비디오 신호 디코딩 방법을 설명하기 위한 흐름도이다.
도 39는 본 발명에 의한 매크로블록 프리딕션 모드의 일 실시예를 나타낸다.
도 40 및 도 41은 본 발명에 의한 슬라이스 타입 및 매크로블록 프리딕션 모드가 적용된 신택스(syntax)를 나타낸다.
도 42는 도 41에서의 슬라이스 타입이 적용된 실시예들을 나타내는 도면이다.
도 43은 도 41의 슬라이스 타입에 포함되는 슬라이스 타입의 다양한 실시예 를 나타내는 도면이다.
도 44는 본 발명에 의한 양 예측이 혼합된 예측에 의한 믹스드(Mixed) 슬라이스 타입에서 허용되는 매크로블록의 일 실시예를 나타낸다.
도 45 ∼ 도 47은 본 발명에 의한 양 예측이 혼합된 예측에 의한 믹스드(Mixed) 슬라이스에 존재하는 매크로블록의 매크로블록 타입의 일 실시예를 나타낸다.
도 48은 본 발명이 적용되는 실시예로서, 새롭게 정의된 슬라이스 타입에 따른 비디오 신호 인코딩 장치의 일부 블럭도이다.
도 49는 도 48에 도시된 장치에서 수행되는 본 발명에 의한 비디오 신호 인코딩 방법을 설명하기 위한 흐름도이다.

Claims (10)

  1. 랜덤 액세스 픽쳐를 포함하는 다시점 비디오 데이터 스트림을 수신하는 단계, 여기서 상기 랜덤 액세스 픽쳐는 랜덤 액세스 슬라이스를 포함하고, 상기 랜덤 액세스 슬라이스는 상기 랜덤 액세스 픽쳐와 동일 시간 및 다른 시점에 대응되는 슬라이스만을 참조함;　
    상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트의 초기화 정보를 획득하는 단계, 여기서 상기 초기화 정보는 복수개의 시점들 사이의 단방향 또는 쌍방향에 대한 참조 관계를 나타내고, 상기 초기화 정보는 상기 복수개의 시점들의 시점 개수 정보와 시점 식별 정보를 포함함;
    상기 랜덤 액세스 슬라이스가 단방향으로 예측되었는지 또는 쌍방향으로 예측되었는지 여부를 나타내는 타입 정보를 획득하는 단계;
    상기 타입 정보에 따라, 상기 시점 개수 정보와 상기 시점 식별 정보를 이용하여 상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트를 초기화하는 단계;
    상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 슬라이스 내에 있는 매크로블록의 예측값을 결정하는 단계; 및
    상기 예측값을 이용하여 상기 매크로블록을 디코딩하는 단계를 포함하되,
    상기 초기화 정보는 시퀀스의 확장 영역으로부터 획득되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 방법.
  2. 제1항에 있어서,
    상기 시점 개수 정보는 상기 랜덤 액세스 픽쳐의 참조 시점의 개수를 나타내고, 상기 시점 식별 정보는 상기 랜덤 액세스 픽쳐의 참조 시점의 시점 식별자를 나타내는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 방법.
  3. 제1항에 있어서,
    상기 다시점 비디오 데이터는 다른 시점들과는 독립적인 기준 시점의 비디오 데이터를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 디코딩 가능한 시점인 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 방법.
  4. 제1항에 있어서,
    단방향 예측을 위한 타입 정보는 P슬라이스 타입을 나타내고, 쌍방향 예측을 위한 타입 정보는 B슬라이스 타입을 나타내는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 방법.
  5. 제4항에 있어서,
    상기 타입 정보가 상기 B슬라이스 타입을 나타내는 경우 상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트는 쌍방향에 대해 각각 초기화되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 방법.
  6. 랜덤 액세스 픽쳐를 포함하는 다시점 비디오 데이터 스트림을 수신하되, 여기서 상기 랜덤 액세스 픽쳐는 랜덤 액세스 슬라이스를 포함하고, 상기 랜덤 액세스 슬라이스는 상기 랜덤 액세스 픽쳐와 동일 시간 및 다른 시점에 대응되는 슬라이스만을 참조하고, 상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트의 초기화 정보를 획득하되, 여기서 상기 초기화 정보는 복수개의 시점들 사이의 단방향 또는 쌍방향에 대한 참조 관계를 나타내고, 상기 초기화 정보는 상기 복수개의 시점들의 시점 개수 정보와 시점 식별 정보를 포함하고, 상기 랜덤 액세스 슬라이스가 단방향으로 예측되었는지 또는 쌍방향으로 예측되었는지 여부를 나타내는 타입 정보를 획득하는 NAL 파싱부;
    상기 타입 정보에 따라, 상기 시점 개수 정보와 상기 시점 식별 정보를 이용하여 상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트를 초기화하는 복호 픽쳐 버퍼부; 및
    상기 초기화된 참조 픽쳐 리스트에 기초하여 상기 랜덤 액세스 슬라이스 내에 있는 매크로블록의 예측값을 결정하고, 상기 예측값을 이용하여 상기 매크로블록을 디코딩하는 인터 예측부를 포함하되,
    상기 초기화 정보는 시퀀스의 확장 영역으로부터 획득되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 장치.
  7. 제6항에 있어서,
    상기 시점 개수 정보는 상기 랜덤 액세스 픽쳐의 참조 시점의 개수를 나타내 고, 상기 시점 식별 정보는 상기 랜덤 액세스 픽쳐의 참조 시점의 시점 식별자를 나타내는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 장치.
  8. 제6항에 있어서,
    상기 다시점 비디오 데이터는 다른 시점들과는 독립적인 기준 시점의 비디오 데이터를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 디코딩 가능한 시점인 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 장치.
  9. 제6항에 있어서,
    단방향 예측을 위한 타입 정보는 P슬라이스 타입을 나타내고, 쌍방향 예측을 위한 타입 정보는 B슬라이스 타입을 나타내는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 장치.
  10. 제9항에 있어서,
    상기 타입 정보가 상기 B슬라이스 타입을 나타내는 경우 상기 랜덤 액세스 슬라이스의 참조 픽쳐 리스트는 쌍방향에 대해 각각 초기화되는 것을 특징으로 하는 다시점 비디오 데이터를 디코딩하는 장치.
KR1020097017205A 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치 KR100934675B1 (ko)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US78717106P 2006-03-30 2006-03-30
US60/787,171 2006-03-30
US80139806P 2006-05-19 2006-05-19
US60/801,398 2006-05-19
US81064206P 2006-06-05 2006-06-05
US60/810,642 2006-06-05
US83060106P 2006-07-14 2006-07-14
US60/830,601 2006-07-14
US83215306P 2006-07-21 2006-07-21
US60/832,153 2006-07-21
US83792506P 2006-08-16 2006-08-16
US60/837,925 2006-08-16
US84003206P 2006-08-25 2006-08-25
US60/840,032 2006-08-25
US84215206P 2006-09-05 2006-09-05
US60/842,152 2006-09-05
PCT/KR2007/001583 WO2007114611A1 (en) 2006-03-30 2007-03-30 A method and apparatus for decoding/encoding a video signal

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020097017188A Division KR100943911B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090101502A KR20090101502A (ko) 2009-09-28
KR100934675B1 true KR100934675B1 (ko) 2009-12-31

Family

ID=38563848

Family Applications (26)

Application Number Title Priority Date Filing Date
KR1020097017205A KR100934675B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020087025372A KR100959537B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017177A KR100966569B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017196A KR100934673B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017194A KR100934671B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017204A KR100934674B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020087025374A KR100959538B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020107011817A KR20100074314A (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩 하기 위한 방법 및 장치
KR1020097017181A KR100949977B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017188A KR100943911B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020087025371A KR100959536B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017195A KR100934672B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017178A KR100949975B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017175A KR100949974B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017182A KR100949978B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017186A KR100949982B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017183A KR100949979B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017174A KR100966567B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020087025375A KR100937431B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017179A KR100966570B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017176A KR100966568B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017187A KR100949983B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017185A KR100949981B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017180A KR100949976B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017184A KR100949980B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020087025373A KR100998912B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치

Family Applications After (25)

Application Number Title Priority Date Filing Date
KR1020087025372A KR100959537B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017177A KR100966569B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017196A KR100934673B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017194A KR100934671B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017204A KR100934674B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020087025374A KR100959538B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020107011817A KR20100074314A (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩 하기 위한 방법 및 장치
KR1020097017181A KR100949977B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017188A KR100943911B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020087025371A KR100959536B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017195A KR100934672B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017178A KR100949975B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017175A KR100949974B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017182A KR100949978B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017186A KR100949982B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017183A KR100949979B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017174A KR100966567B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020087025375A KR100937431B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017179A KR100966570B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017176A KR100966568B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017187A KR100949983B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017185A KR100949981B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017180A KR100949976B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020097017184A KR100949980B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR1020087025373A KR100998912B1 (ko) 2006-03-30 2007-03-30 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치

Country Status (13)

Country Link
US (29) US8565319B2 (ko)
EP (7) EP3139615A1 (ko)
JP (5) JP5247677B2 (ko)
KR (26) KR100934675B1 (ko)
AU (1) AU2007232607B2 (ko)
BR (1) BRPI0710048A2 (ko)
CA (1) CA2647735C (ko)
DE (4) DE202007019458U1 (ko)
ES (3) ES2533765T3 (ko)
MX (1) MX2008012437A (ko)
PL (2) PL2008460T3 (ko)
RU (1) RU2530310C2 (ko)
WO (5) WO2007114610A1 (ko)

Families Citing this family (246)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090016544A (ko) 2006-01-09 2009-02-16 엘지전자 주식회사 영상 신호의 레이어 간 예측 방법
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
JP5192393B2 (ja) * 2006-01-12 2013-05-08 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
US8767836B2 (en) * 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
ZA200900857B (en) 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
MX2009000207A (es) * 2006-07-06 2009-02-13 Thomson Licensing Metodo y aparato para desacoplar el numero de cuadro y/o la cuenta del orden de imagen (poc) para la codificacion y decodificacion de video de multiples vistas.
EP2052546A4 (en) 2006-07-12 2010-03-03 Lg Electronics Inc METHOD AND DEVICE FOR SIGNAL PROCESSING
US20090147860A1 (en) * 2006-07-20 2009-06-11 Purvin Bibhas Pandit Method and apparatus for signaling view scalability in multi-view video coding
US8731311B2 (en) * 2006-09-26 2014-05-20 Panasonic Corporation Decoding device, decoding method, decoding program, and integrated circuit
US8948256B2 (en) * 2006-10-13 2015-02-03 Thomson Licensing Reference picture list management syntax for multiple view video coding
KR101351935B1 (ko) 2006-10-13 2014-01-17 톰슨 라이센싱 멀티뷰 비디오 코딩을 수반하는 참조 화상 관리를 위한 방법
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
FR2907575B1 (fr) * 2006-10-18 2009-02-13 Canon Res Ct France Soc Par Ac Procede et dispositif de codage d'images representant des vues d'une meme scene
WO2008048487A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling
KR20090085581A (ko) * 2006-10-24 2009-08-07 톰슨 라이센싱 다중-뷰 비디오 코딩을 위한 화상 관리
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US20090100482A1 (en) * 2007-10-16 2009-04-16 Rodriguez Arturo A Conveyance of Concatenation Properties and Picture Orderness in a Video Stream
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
EP2103136B1 (en) * 2006-12-21 2017-11-01 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
JP5273816B2 (ja) * 2007-01-04 2013-08-28 トムソン ライセンシング 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
US8644379B2 (en) * 2007-03-07 2014-02-04 Himax Technologies Limited De-interlacing method and method of compensating a de-interlaced pixel
KR20100014552A (ko) * 2007-03-23 2010-02-10 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2008123917A2 (en) * 2007-04-04 2008-10-16 Thomson Licensing Reference picture list management
KR101301181B1 (ko) * 2007-04-11 2013-08-29 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US8548261B2 (en) * 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
BRPI0809585A2 (pt) * 2007-04-17 2014-09-23 Thomson Licensing Decodificador de referência hipotética para codificação de vídeo multivisualização
KR101427647B1 (ko) * 2007-04-25 2014-08-07 삼성전자주식회사 패킷 생성과 처리에 관한 방법 및 그 장치
US8917775B2 (en) * 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR101366250B1 (ko) * 2007-06-19 2014-02-25 삼성전자주식회사 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
TW200910975A (en) * 2007-06-25 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
BRPI0814854A2 (pt) * 2007-08-06 2015-01-27 Thomson Licensing Métodos e aparelho para modo de salto de vídeo animado com múltiplas imagens de referência entre exibições
KR20100058471A (ko) * 2007-08-15 2010-06-03 톰슨 라이센싱 다시점 코딩된 비디오에서의 오류 은폐를 위한 방법 및 장치
JP4739295B2 (ja) * 2007-08-27 2011-08-03 日本電信電話株式会社 映像信号生成装置、映像信号生成方法、映像信号生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20110038424A1 (en) * 2007-10-05 2011-02-17 Jiancong Luo Methods and apparatus for incorporating video usability information (vui) within a multi-view video (mvc) coding system
US8121191B1 (en) * 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
KR101524465B1 (ko) * 2008-01-10 2015-06-02 삼성전자주식회사 색차 보상을 이용한 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
CN102017632B (zh) * 2008-03-04 2013-06-12 汤姆逊许可证公司 虚拟基准视图
CN101960854B (zh) * 2008-03-10 2013-12-18 汤姆森许可贸易公司 支持增强效率和主观质量的预测帧选择的方法和设备
JP5056560B2 (ja) * 2008-03-17 2012-10-24 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法
EP2109047A1 (en) * 2008-04-07 2009-10-14 Global Digital Technologies SA Video characterization, identification and search system
US8707151B2 (en) * 2008-04-21 2014-04-22 Samsung Electronics Co., Ltd Apparatus and method for composing scenes using Rich Media contents
US20090279614A1 (en) * 2008-05-10 2009-11-12 Samsung Electronics Co., Ltd. Apparatus and method for managing reference frame buffer in layered video coding
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
CN101803388B (zh) 2008-05-23 2012-11-21 松下电器产业株式会社 图像解码装置、图像解码方法、图像编码装置、以及图像编码方法
US8886022B2 (en) 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8705631B2 (en) * 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US20090323822A1 (en) * 2008-06-25 2009-12-31 Rodriguez Arturo A Support for blocking trick mode operations
CN102177717B (zh) * 2008-10-07 2014-01-29 艾利森电话股份有限公司 一种用于产生媒体容器文件的方法及设备
WO2010050728A2 (ko) 2008-10-27 2010-05-06 엘지전자 주식회사 가상 뷰 이미지 합성 방법 및 장치
EP2348732A4 (en) * 2008-11-10 2012-05-09 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BY INTER-VIEW PREDICTION
US8259814B2 (en) * 2008-11-12 2012-09-04 Cisco Technology, Inc. Processing of a video program having plural processed representations of a single video signal for reconstruction and output
WO2010058955A2 (ko) * 2008-11-18 2010-05-27 엘지전자 주식회사 영상 신호 처리 방법 및 장치
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
MX2010007649A (es) 2009-01-19 2010-08-13 Panasonic Corp Metodo de codificacion, metodo de decodificacion, aparato de codificacion, aparato de decodificacion, programa y circuito integrado.
US8326131B2 (en) * 2009-02-20 2012-12-04 Cisco Technology, Inc. Signalling of decodable sub-sequences
JP5521202B2 (ja) 2009-02-23 2014-06-11 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
US8767832B2 (en) * 2009-03-10 2014-07-01 Mediatek Inc. Method and apparatus for processing a multimedia bitstream
JP4947389B2 (ja) 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
KR101619451B1 (ko) * 2009-04-17 2016-05-10 엘지전자 주식회사 다시점 비디오 신호의 처리 방법 및 장치
WO2010123198A2 (ko) * 2009-04-21 2010-10-28 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
EP2424240A4 (en) * 2009-04-22 2013-04-10 Lg Electronics Inc METHOD FOR MODIFYING REFERENCE COPY LISTS FOR A MORE VIEWED VIDEO
JP5614901B2 (ja) * 2009-05-01 2014-10-29 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄｖの参照ピクチャ・リスト
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
TWI384887B (zh) * 2009-06-11 2013-02-01 Univ Nat Central 多視點影像編解碼方法
US8411746B2 (en) 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8780999B2 (en) 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8711930B2 (en) * 2009-07-09 2014-04-29 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US9161057B2 (en) * 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
WO2011013257A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 マルチビュービデオ復号装置およびその方法
CA2711311C (en) * 2009-08-10 2016-08-23 Seawell Networks Inc. Methods and systems for scalable video chunking
US9445119B2 (en) * 2009-10-29 2016-09-13 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and device for processing a video sequence
KR101282552B1 (ko) 2009-11-04 2013-07-04 한국전자통신연구원 병렬 처리 스케일러블 비디오 부/복호화 방법 및 장치
TW201121331A (en) * 2009-12-10 2011-06-16 Novatek Microelectronics Corp Picture decoder
KR101444691B1 (ko) * 2010-05-17 2014-09-30 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
KR102344855B1 (ko) * 2010-05-26 2021-12-28 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
KR20110135786A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
JP2012023651A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
WO2012011525A1 (ja) * 2010-07-21 2012-01-26 株式会社プランネット・アソシエイツ 三次元ビデオストリームへの映像変換方法
US9883161B2 (en) 2010-09-14 2018-01-30 Thomson Licensing Compression methods and apparatus for occlusion data
KR102006443B1 (ko) * 2010-09-30 2019-08-02 한국전자통신연구원 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
US9106916B1 (en) 2010-10-29 2015-08-11 Qualcomm Technologies, Inc. Saturation insensitive H.264 weighted prediction coefficients estimation
US9521424B1 (en) * 2010-10-29 2016-12-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for local weighted prediction coefficients estimation for video encoding
KR20120050725A (ko) * 2010-11-11 2012-05-21 삼성전자주식회사 데이터 재생 방법 및 장치
US8824558B2 (en) * 2010-11-23 2014-09-02 Mediatek Inc. Method and apparatus of spatial motion vector prediction
US9172956B2 (en) 2010-11-23 2015-10-27 Lg Electronics Inc. Encoding and decoding images using inter-prediction
JP5092011B2 (ja) * 2010-12-17 2012-12-05 株式会社東芝 動画像復号装置及び動画像復号方法
KR20120080122A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
WO2012093879A2 (ko) * 2011-01-06 2012-07-12 삼성전자주식회사 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
WO2012096164A1 (ja) * 2011-01-12 2012-07-19 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US9008181B2 (en) 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
CN105100822B (zh) * 2011-01-28 2018-05-11 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
WO2012115434A2 (ko) * 2011-02-21 2012-08-30 한국전자통신연구원 복수 참조 영상을 이용한 영상 부복호화 방법 및 이러한 방법을 사용하는 장치
US20130322535A1 (en) * 2011-02-21 2013-12-05 Electronics And Telecommunications Research Institute Method for encoding and decoding images using plurality of reference images and device using method
KR20120118780A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
JP6072678B2 (ja) * 2011-04-25 2017-02-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US9154804B2 (en) * 2011-06-04 2015-10-06 Apple Inc. Hint based adaptive encoding
TWI530161B (zh) * 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
KR20120140592A (ko) * 2011-06-21 2012-12-31 한국전자통신연구원 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
WO2012177063A2 (ko) 2011-06-24 2012-12-27 엘지전자 주식회사 스킵 모드 부호화 복호화 방법 및 장치
WO2013001813A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US11647197B2 (en) 2011-06-30 2023-05-09 Velos Media, Llc Context initialization based on slice header flag and slice type
US9060173B2 (en) * 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US9338465B2 (en) * 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
PL2728861T3 (pl) * 2011-07-02 2017-12-29 Samsung Electronics Co., Ltd. Sposób i urządzenie do multipleksowania i demultipleksowania danych wideo w celu identyfikowania stanu odtwarzania danych wideo
MX2014000159A (es) * 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
CA2844595A1 (en) * 2011-08-09 2013-02-14 Samsung Electronics Co., Ltd. Method for multiview video prediction encoding and device for same, and method for multiview video prediction decoding and device for same
CA2845548C (en) 2011-08-25 2018-04-24 Panasonic Corporation Methods and apparatuses for encoding and decoding video using periodic buffer description
EP3094092B1 (en) 2011-09-07 2018-06-06 Sun Patent Trust Image decoding method and image decoding apparatus
SE538787C2 (sv) 2011-09-09 2016-11-22 Kt Corp Metod för att utföra interprediktion av videosignal genom att adaptivt bestämma ett sammansatt block i en sammansatt bild
US9736489B2 (en) 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
CA2827278C (en) * 2011-09-19 2018-11-27 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
SI3474551T1 (sl) 2011-09-22 2022-06-30 Lg Electronics Inc. Postopek zunanjega napovedovanja, ki ga izvaja dekodirna naprava, postopek za kodiranje videa, ki ga izvaja kodirna naprava, in z dekodirnikom berljiv pomnilniški medij, ki ima shranjene kodirane informacije o videu
SE1850158A2 (sv) * 2011-09-23 2018-12-11 Kt Corp Förfarande för att utse ett kandidatblock för fusion samt en anordning för tillämpning av detta förfarande
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
KR20140085456A (ko) 2011-09-29 2014-07-07 텔레폰악티에볼라겟엘엠에릭슨(펍) 레퍼런스 픽처 리스트 핸들링
US9712819B2 (en) 2011-10-12 2017-07-18 Lg Electronics Inc. Image encoding method and image decoding method
US8787688B2 (en) * 2011-10-13 2014-07-22 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8768079B2 (en) 2011-10-13 2014-07-01 Sharp Laboratories Of America, Inc. Tracking a reference picture on an electronic device
US8855433B2 (en) * 2011-10-13 2014-10-07 Sharp Kabushiki Kaisha Tracking a reference picture based on a designated picture on an electronic device
CN107770548B (zh) 2011-10-19 2020-04-14 太阳专利托管公司 解码方法、解码装置
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
EP2777258B1 (en) * 2011-11-04 2017-01-11 Huawei Technologies Co., Ltd. Binarization of prediction residuals for lossless video coding
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US20130113882A1 (en) * 2011-11-08 2013-05-09 Sony Corporation Video coding system and method of operation thereof
KR101841914B1 (ko) * 2011-11-08 2018-03-27 한국전자통신연구원 컬러 영상 및 깊이 영상을 포함하는 다시점 비디오의 부호화 및 복호화 방법, 그리고 부호화 및 복호화 장치
US10440389B2 (en) * 2011-11-11 2019-10-08 Lg Electronics Inc. Method and device for transmitting image information, and decoding method and device using same
US10154276B2 (en) 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9131217B2 (en) * 2011-12-09 2015-09-08 Qualcomm Incorporated Reference picture list modification for view synthesis reference pictures
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
US9288506B2 (en) * 2012-01-05 2016-03-15 Qualcomm Incorporated Signaling view synthesis prediction support in 3D video coding
WO2013105207A1 (en) * 2012-01-10 2013-07-18 Panasonic Corporation Video encoding method, video encoding apparatus, video decoding method and video decoding apparatus
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
DK3177018T3 (en) 2012-01-17 2018-06-06 Ericsson Telefon Ab L M Managing reference image lists
TW201921951A (zh) 2012-01-19 2019-06-01 美商Ｖｉｄ衡器股份有限公司 影巷編碼參考圖像清單發信及建構方法及裝置
US8693793B2 (en) * 2012-01-19 2014-04-08 Sharp Laboratories Of America, Inc. Reducing reference picture set signal overhead on an electronic device
US8867852B2 (en) 2012-01-19 2014-10-21 Sharp Kabushiki Kaisha Decoding a picture based on a reference picture set on an electronic device
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
WO2013107939A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation Method for video coding and an apparatus, a computer-program product, a system, and a module for the same
US9560353B2 (en) * 2012-01-27 2017-01-31 Sun Patent Trust Video encoding method, video encoding device, video decoding method and video decoding device
US9451277B2 (en) 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
EP2822277A4 (en) 2012-03-02 2015-03-04 Panasonic Ip Corp America IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, AND IMAGE ENCODING / DECODING DEVICE
US20130243085A1 (en) * 2012-03-15 2013-09-19 Samsung Electronics Co., Ltd. Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US9712887B2 (en) 2012-04-12 2017-07-18 Arris Canada, Inc. Methods and systems for real-time transmuxing of streaming media content
TWI816249B (zh) 2012-04-13 2023-09-21 美商Ｇｅ影像壓縮有限公司 用以自資料串流重構圖像的解碼器及方法、用以將圖像編碼入資料串流的編碼器及方法、與相關電腦程式及機器可存取媒體
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
KR101456501B1 (ko) * 2012-04-15 2014-11-03 삼성전자주식회사 참조픽처리스트 변경이 가능한 인터 예측 방법과 그 장치
US10051264B2 (en) 2012-04-20 2018-08-14 Qualcomm Incorporated Marking reference pictures in video sequences having broken link pictures
CN104396251A (zh) * 2012-04-23 2015-03-04 三星电子株式会社 使用用于多视点视频预测的参考列表对多视点视频进行编码的方法及其装置以及使用用于多视点视频预测的参考列表对多视点视频进行解码的方法及其装置
US10205961B2 (en) 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
WO2013162259A1 (ko) 2012-04-23 2013-10-31 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
US9762903B2 (en) 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US20130329007A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
US9225978B2 (en) 2012-06-28 2015-12-29 Qualcomm Incorporated Streaming adaption based on clean random access (CRA) pictures
HUE031264T2 (en) 2012-06-29 2017-07-28 Ge Video Compression Llc Video Stream Concept
JP5743968B2 (ja) * 2012-07-02 2015-07-01 株式会社東芝 動画像復号方法及び動画像符号化方法
RU2647674C1 (ru) * 2012-07-02 2018-03-16 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования видео и способ и устройство для декодирования видео, определяющие список опорных изображений внешнего прогнозирования в зависимости от размера блока
CN103533374B (zh) * 2012-07-06 2018-02-16 乐金电子(中国)研究开发中心有限公司 一种视频编码、解码的方法及装置
KR102185384B1 (ko) * 2012-07-11 2020-12-02 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
WO2014010894A1 (ko) 2012-07-11 2014-01-16 한국전자통신연구원 Mpeg 데이터의 랜덤 억세스를 지원하는 방법 및 시스템
WO2014013695A1 (ja) * 2012-07-19 2014-01-23 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
CN104604233B (zh) * 2012-09-28 2018-04-27 杜比国际公司 图像解码装置
US9706199B2 (en) 2012-09-28 2017-07-11 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
US20140092976A1 (en) * 2012-09-30 2014-04-03 Sharp Laboratories Of America, Inc. System for signaling idr and bla pictures
WO2014053514A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using base-layer hints for enhancement layer motion parameters
US9854234B2 (en) * 2012-10-25 2017-12-26 Qualcomm Incorporated Reference picture status for video coding
US10165282B2 (en) 2012-11-21 2018-12-25 Lg Electronics Inc. Image decoding method and apparatus using same
US9357212B2 (en) 2012-12-07 2016-05-31 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
KR101614361B1 (ko) 2012-12-10 2016-04-21 엘지전자 주식회사 영상의 디코딩 방법 및 이를 이용하는 장치
WO2014091933A1 (ja) * 2012-12-11 2014-06-19 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US10805605B2 (en) * 2012-12-21 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Multi-layer video stream encoding and decoding
JP6233656B2 (ja) * 2012-12-21 2017-11-22 ソニー株式会社 画像処理装置および方法
TWI669950B (zh) * 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
JP6027143B2 (ja) * 2012-12-27 2016-11-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
EP2945386B1 (en) * 2013-01-09 2020-05-06 LG Electronics Inc. Method and apparatus for processing video signals
US10136119B2 (en) * 2013-01-10 2018-11-20 Qualcomm Incoporated View synthesis in 3D video
US10491458B2 (en) * 2013-01-31 2019-11-26 Dell Products L.P. System and method for reporting peer-to-peer transfer events
WO2014163466A1 (ko) 2013-04-05 2014-10-09 삼성전자 주식회사 정수 픽셀의 위치와 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
WO2014163454A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9473771B2 (en) 2013-04-08 2016-10-18 Qualcomm Incorporated Coding video data for an output layer set
EP2986000A4 (en) * 2013-04-11 2016-09-21 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
WO2014166104A1 (en) 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
KR102105323B1 (ko) * 2013-04-15 2020-04-28 인텔렉추얼디스커버리 주식회사 객체 기반 적응적 밝기 보상 방법 및 장치
EP3021588A4 (en) 2013-07-12 2017-12-06 Samsung Electronics Co., Ltd. Video encoding method and apparatus therefor using modification vector inducement, video decoding method and apparatus therefor
EP3013052A4 (en) * 2013-07-12 2017-02-01 Samsung Electronics Co., Ltd. Method and apparatus for inter-layer encoding and method and apparatus for inter-layer decoding video using residual prediction
US10075735B2 (en) * 2013-07-14 2018-09-11 Sharp Kabushiki Kaisha Video parameter set signaling
CN109905703B (zh) * 2013-10-11 2023-11-17 Vid拓展公司 Hevc扩展的高级句法
JP2016213519A (ja) * 2013-10-15 2016-12-15 シャープ株式会社 画像復号装置、画像符号化装置
US9674544B2 (en) * 2013-11-25 2017-06-06 Qualcomm Incorporated POC value design for multi-layer video coding
US9942546B2 (en) 2013-12-12 2018-04-10 Qualcomm Incorporated POC value design for multi-layer video coding
US10368084B2 (en) 2014-11-27 2019-07-30 Kt Corporation Video signal processing method and device
KR102553844B1 (ko) 2014-11-27 2023-07-10 주식회사 케이티 비디오 신호 처리 방법 및 장치
RU2605237C1 (ru) * 2015-07-16 2016-12-20 Общество с ограниченной ответственностью "МАКИНТЕХ" Управляющее устройство, система и способ управления освещением
CN105100549B (zh) * 2015-07-27 2018-06-29 京东方科技集团股份有限公司 图像补偿方法及装置
GB2553315A (en) 2016-09-01 2018-03-07 Nokia Technologies Oy Determining inter-view prediction areas
KR20180057789A (ko) 2016-11-22 2018-05-31 광운대학교 산학협력단 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
AT519902B1 (de) 2017-05-11 2022-07-15 Blum Gmbh Julius Führungssystem zur Führung eines Türflügels
CN111194553B (zh) 2017-10-05 2024-07-16 交互数字Vc控股公司 用于视频编码和解码中的自适应照明补偿的方法和装置
EP3468198A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
CN112514394B (zh) 2018-07-17 2024-10-29 松下电器（美国）知识产权公司 用于视频编码的系统和方法
CN110741647A (zh) * 2018-09-29 2020-01-31 深圳市大疆创新科技有限公司 一种图像处理方法、装置、可移动平台及存储介质
US11166048B2 (en) * 2018-10-02 2021-11-02 Tencent America LLC Method and apparatus for video coding
PL3846467T3 (pl) 2018-10-04 2024-04-08 Lg Electronics Inc. Bazujące na historii sposoby kodowania obrazu
US10708626B2 (en) * 2018-11-19 2020-07-07 Google Llc Iterative IDCT with adaptive non-linear filtering
US11184607B2 (en) * 2019-06-13 2021-11-23 Qualcomm Incorporated Same picture order count (POC) numbering for scalability support
WO2021054720A1 (ko) * 2019-09-16 2021-03-25 엘지전자 주식회사 가중 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021132962A1 (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 Nal 유닛 타입 기반 영상 또는 비디오 코딩
MX2022008593A (es) 2020-01-12 2022-10-20 Huawei Tech Co Ltd Método y aparato para armonizar predicción ponderada con modos de fusión no rectangulares.
MX2022009920A (es) * 2020-02-19 2022-09-09 Bytedance Inc Se?alizacion de pesos de una lista de imagenes de referencia.

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040013540A (ko) * 2002-08-07 2004-02-14 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR20050122717A (ko) * 2004-06-25 2005-12-29 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US28498A (en) * 1860-05-29 Improvement in corn-planters
US147850A (en) * 1874-02-24 Improvement in cutting-nippers
US10A (en) * 1836-08-10 Gtttlslto andi
US262856A (en) * 1882-08-15 Car-heater
US89412A (en) * 1869-04-27 Improvement in mowing-machines
US202594A (en) * 1878-04-16 Improvement in fence-posts
US116558A (en) * 1871-07-04 Improvement in smelting iron ores
US106191A (en) * 1870-08-09 Fire-place heater
US159638A (en) * 1875-02-09 Improvement in grain-drills
DE1098653B (de) * 1959-06-27 1961-02-02 Hoechst Ag Verfahren zur Herstellung von Sensibilisierungsfarbstoffen
US3093928A (en) * 1961-02-16 1963-06-18 Robert K Ostrander Multivoice unit
TW352384B (en) * 1992-03-24 1999-02-11 Hoechst Ag Sulfonamido- or sulfonamidocarbonylpyridine-2-carboxamides, process for their preparation and their use as pharmaceuticals
US5473379A (en) 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
CA2138929A1 (en) * 1993-12-30 1995-07-01 Klaus Weidmann Substituted heterocyclic carboxamides, their preparation and their use as pharmaceuticals
GB9402857D0 (en) * 1994-02-15 1994-04-06 Isis Innovation Targeting gene therapy
DE4410423A1 (de) * 1994-03-25 1995-09-28 Hoechst Ag Sulfonamidocarbonylpyridin-2-carbonsäureamide sowie ihre Pyridin-N-oxide, Verfahren zu ihrer Herstellung und ihre Verwendung als Arzneimittel
DE4410480A1 (de) * 1994-03-25 1995-09-28 Hoechst Ag Sulfonamidocarbonylpyridin-2-carbonsäureesteramide sowie ihre Pyridin-N-oxide, Verfahren zu ihrer Herstellung und ihre Verwendung als Arzneimittel
IL135495A (en) * 1995-09-28 2002-12-01 Hoechst Ag Intermediate compounds for the preparation of quinoline-converted amines - 2 - carboxylic acid
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US5659933A (en) * 1996-04-01 1997-08-26 Mcwilliams; Edward L. Odor-proof sealable container for bodily remains
JP4159606B2 (ja) * 1996-05-24 2008-10-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き推定
US5886736A (en) 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
DE19650215A1 (de) * 1996-12-04 1998-06-10 Hoechst Ag 3-Hydroxypyridin-2-carbonsäureamidester, ihre Herstellung und ihre Verwendung als Arzneimittel
JP3931392B2 (ja) * 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
DE19746287A1 (de) * 1997-10-20 1999-04-22 Hoechst Marion Roussel De Gmbh Substituierte Isochinolin-2-Carbonsäureamide, ihre Herstellung und ihre Verwendung als Arzneimittel
US6200974B1 (en) * 1997-10-24 2001-03-13 Zeneca Limited Phenanthroline derivatives
US5916898A (en) * 1997-10-24 1999-06-29 Zeneca Limited Phenanthroline derivatives
WO1999028469A1 (en) * 1997-12-04 1999-06-10 Genzyme Corporation Compositions and methods for inducing gene expression
US6124131A (en) * 1998-08-25 2000-09-26 The Johns Hopkins University School Of Medicine Mutant hypoxia inducible factor-1 HIF-1
US6005012A (en) * 1998-10-29 1999-12-21 The Regents Of The University Of California Method for producing hydrophobic aerogels
US6408301B1 (en) * 1999-02-23 2002-06-18 Eastman Kodak Company Interactive image storage, indexing and retrieval system
EP1075147A1 (en) 1999-08-02 2001-02-07 Koninklijke Philips Electronics N.V. Motion estimation
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
KR100680452B1 (ko) * 2000-02-22 2007-02-08 주식회사 팬택앤큐리텔 움직임 벡터 메모리의 갱신방법 및 장치
IT1321181B1 (it) 2000-05-04 2003-12-30 Magneti Marelli Spa Metodo e dispositivo per la stima della posizione di un corpoattuatore in un azionatore elettromagnetico per il comando di una
FR2811791B1 (fr) 2000-07-13 2002-11-22 France Telecom Estimateur de mouvement pour le codage et le decodage de sequences d'images
US6516501B2 (en) * 2000-07-31 2003-02-11 Vazquez-Perez Jose Fernando Method and apparatus for ecological burial
KR100375708B1 (ko) 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
US20020106191A1 (en) 2001-01-05 2002-08-08 Vm Labs, Inc. Systems and methods for creating a video montage from titles on a digital video disk
KR100863652B1 (ko) 2001-01-16 2008-10-15 마츠시타 덴끼 산교 가부시키가이샤 정보기록장치, 정보기록방법 및 기록매체
JP4234438B2 (ja) * 2001-03-07 2009-03-04 メルク パテント ゲゼルシャフト ミット ベシュレンクテル ハフトング ハイブリッド・イソタイプ抗体部分を含有する蛋白質の発現技術
JP4157686B2 (ja) * 2001-05-15 2008-10-01 株式会社モノリス 画像符号化および復号のための方法および装置
US6804301B2 (en) * 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
US6985231B2 (en) * 2001-09-20 2006-01-10 Strainoptics, Inc. Method and apparatus for measuring the optical quality of a reflective surface
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100480787B1 (ko) * 2001-11-27 2005-04-07 삼성전자주식회사 좌표 인터폴레이터의 키 값 데이터 부호화/복호화 방법 및 장치
CN100452883C (zh) 2001-12-17 2009-01-14 微软公司 处理视频图像的方法
US20030123546A1 (en) 2001-12-28 2003-07-03 Emblaze Systems Scalable multi-level video coding
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
DK1486065T3 (en) * 2002-03-15 2016-02-29 Nokia Technologies Oy PROCEDURE FOR CODING MOVEMENT IN A VIDEO SEQUENCE
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US7831990B2 (en) 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
US7023921B2 (en) 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
US6925622B2 (en) * 2002-09-30 2005-08-02 Freescale Semiconductor, Inc. System and method for correlated clock networks
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
US20040080078A1 (en) * 2002-10-25 2004-04-29 Collins David C. Methods and systems for producing a desired apparent coloring in an object produced through rapid prototyping
KR100513732B1 (ko) * 2002-12-05 2005-09-08 삼성전자주식회사 3차원 객체 데이터 부호화 및 복호화 방법 및 장치
GB0229354D0 (en) 2002-12-18 2003-01-22 Robert Gordon The University Video encoding
KR100693669B1 (ko) 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
US7949047B2 (en) 2003-03-17 2011-05-24 Qualcomm Incorporated System and method for partial intraframe encoding for wireless multimedia transmission
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US8135683B2 (en) * 2003-12-16 2012-03-13 International Business Machines Corporation Method and apparatus for data redundancy elimination at the block level
TWI238651B (en) 2004-04-30 2005-08-21 Benq Corp Method and apparatus for determining frame status of video data
JP4421940B2 (ja) * 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
US8184108B2 (en) 2004-06-30 2012-05-22 Poa Sana Liquidating Trust Apparatus and method for a folded optical element waveguide for use with light based touch screens
US7142209B2 (en) 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
US20060083298A1 (en) 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
TWI254571B (en) 2004-12-07 2006-05-01 Sunplus Technology Co Ltd Method for fast multiple reference frame motion estimation
CN102263962A (zh) 2004-12-10 2011-11-30 韩国电子通信研究院 对多视图视频进行统一编码的装置
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US7728877B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US7671894B2 (en) 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US20060146932A1 (en) * 2004-12-30 2006-07-06 Krit Panusopone Method and apparatus for providing motion estimation with weight prediction
US20060233247A1 (en) 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
US20060254010A1 (en) * 2005-05-13 2006-11-16 Eugene Wagner Interproximal tool
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
US8559515B2 (en) 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
KR101244911B1 (ko) 2005-10-11 2013-03-18 삼성전자주식회사 카메라 파라미터를 이용한 다시점 동영상 부호화 및 복호화장치 및 방법과 이를 수행하기 위한 프로그램이 기록된기록매체
KR100667830B1 (ko) 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
US7903737B2 (en) 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
JP5224458B2 (ja) * 2006-01-09 2013-07-03 トムソン ライセンシング マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置
JP5192393B2 (ja) 2006-01-12 2013-05-08 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
CN101395840B (zh) * 2006-03-01 2011-09-28 松下电器产业株式会社 发送装置和收发装置
JP5213064B2 (ja) * 2006-03-29 2013-06-19 トムソン ライセンシング マルチビュービデオ符号化方法及びその装置
MX2009000207A (es) * 2006-07-06 2009-02-13 Thomson Licensing Metodo y aparato para desacoplar el numero de cuadro y/o la cuenta del orden de imagen (poc) para la codificacion y decodificacion de video de multiples vistas.
JP5013993B2 (ja) 2006-07-12 2012-08-29 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 或るシーンの複数のマルチビュービデオを処理する方法及びシステム
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
KR101351935B1 (ko) 2006-10-13 2014-01-17 톰슨 라이센싱 멀티뷰 비디오 코딩을 수반하는 참조 화상 관리를 위한 방법
US8948256B2 (en) 2006-10-13 2015-02-03 Thomson Licensing Reference picture list management syntax for multiple view video coding
CN101627634B (zh) * 2006-10-16 2014-01-01 诺基亚公司 用于将可并行解码片用于多视点视频编码的系统和方法
KR20090085581A (ko) 2006-10-24 2009-08-07 톰슨 라이센싱 다중-뷰 비디오 코딩을 위한 화상 관리
KR100823287B1 (ko) 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
US20090116558A1 (en) * 2007-10-15 2009-05-07 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
US8553781B2 (en) 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
JP4569635B2 (ja) * 2008-01-17 2010-10-27 カシオ計算機株式会社 電波受信装置および電波時計

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040013540A (ko) * 2002-08-07 2004-02-14 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR20050122717A (ko) * 2004-06-25 2005-12-29 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법

Also Published As

Publication number Publication date
KR20090099586A (ko) 2009-09-22
US20100020870A1 (en) 2010-01-28
US8559505B2 (en) 2013-10-15
KR100949982B1 (ko) 2010-03-29
KR100959537B1 (ko) 2010-05-27
EP2005753A4 (en) 2010-02-03
EP3139615A1 (en) 2017-03-08
KR100966568B1 (ko) 2010-06-29
KR20090101500A (ko) 2009-09-28
US20100026883A1 (en) 2010-02-04
JP2009532931A (ja) 2009-09-10
KR20090101502A (ko) 2009-09-28
US7782945B2 (en) 2010-08-24
US20100091843A1 (en) 2010-04-15
US7782947B2 (en) 2010-08-24
KR100966570B1 (ko) 2010-06-29
AU2007232607A1 (en) 2007-10-11
US20100128787A1 (en) 2010-05-27
KR100949974B1 (ko) 2010-03-29
KR100937431B1 (ko) 2010-01-18
US20100074334A1 (en) 2010-03-25
US7782948B2 (en) 2010-08-24
US20100026884A1 (en) 2010-02-04
CA2647735C (en) 2013-08-06
US8571113B2 (en) 2013-10-29
JP2009532934A (ja) 2009-09-10
JP5054092B2 (ja) 2012-10-24
PL2005753T3 (pl) 2017-07-31
US8432972B2 (en) 2013-04-30
US20100316360A1 (en) 2010-12-16
US7782943B2 (en) 2010-08-24
US8428130B2 (en) 2013-04-23
US20090279608A1 (en) 2009-11-12
EP2005753A1 (en) 2008-12-24
US8411744B2 (en) 2013-04-02
KR100949981B1 (ko) 2010-03-29
US20100027682A1 (en) 2010-02-04
DE202007019459U1 (de) 2012-09-13
KR20090099585A (ko) 2009-09-22
KR100949978B1 (ko) 2010-03-29
KR20090101499A (ko) 2009-09-28
US20090296811A1 (en) 2009-12-03
US7782944B2 (en) 2010-08-24
KR20090101498A (ko) 2009-09-28
KR20090006094A (ko) 2009-01-14
JP2009532930A (ja) 2009-09-10
KR100934674B1 (ko) 2009-12-31
US8170108B2 (en) 2012-05-01
KR100949983B1 (ko) 2010-03-29
KR20090101496A (ko) 2009-09-28
US20100026882A1 (en) 2010-02-04
KR20090099091A (ko) 2009-09-21
KR20100074314A (ko) 2010-07-01
EP2008461A1 (en) 2008-12-31
US7782950B2 (en) 2010-08-24
DE202007019446U1 (de) 2012-09-05
US20100215100A1 (en) 2010-08-26
WO2007114610A1 (en) 2007-10-11
JP5055355B2 (ja) 2012-10-24
KR100949975B1 (ko) 2010-03-29
JP5247677B2 (ja) 2013-07-24
KR100966569B1 (ko) 2010-06-30
US20100316361A1 (en) 2010-12-16
US20100316362A1 (en) 2010-12-16
KR20090006095A (ko) 2009-01-14
WO2007114612A1 (en) 2007-10-11
KR20090099093A (ko) 2009-09-21
US20100027660A1 (en) 2010-02-04
KR20090096651A (ko) 2009-09-11
KR100959538B1 (ko) 2010-05-27
EP2005752A1 (en) 2008-12-24
ES2636917T3 (es) 2017-10-10
JP5055353B2 (ja) 2012-10-24
US20100091885A1 (en) 2010-04-15
KR20090099587A (ko) 2009-09-22
DE202007019458U1 (de) 2012-09-13
KR100934672B1 (ko) 2009-12-31
KR20090099090A (ko) 2009-09-21
KR100934673B1 (ko) 2009-12-31
KR20090099096A (ko) 2009-09-21
US8611427B2 (en) 2013-12-17
EP2025170A1 (en) 2009-02-18
US20100027653A1 (en) 2010-02-04
US20100316135A1 (en) 2010-12-16
KR20090004996A (ko) 2009-01-12
US8483273B2 (en) 2013-07-09
KR100949976B1 (ko) 2010-03-29
US8472519B2 (en) 2013-06-25
KR20090099092A (ko) 2009-09-21
KR100998912B1 (ko) 2010-12-08
EP2008460A4 (en) 2010-02-03
WO2007114611A1 (en) 2007-10-11
JP5055354B2 (ja) 2012-10-24
EP3151564A1 (en) 2017-04-05
EP2025170A4 (en) 2010-02-17
WO2007114608A1 (en) 2007-10-11
US8559523B2 (en) 2013-10-15
EP2008460A1 (en) 2008-12-31
BRPI0710048A2 (pt) 2011-08-02
PL2008460T3 (pl) 2017-10-31
US20100091883A1 (en) 2010-04-15
US20100091844A1 (en) 2010-04-15
US8576920B2 (en) 2013-11-05
EP2005752A4 (en) 2010-06-09
ES2619522T3 (es) 2017-06-26
US8565319B2 (en) 2013-10-22
US7782949B2 (en) 2010-08-24
US8363732B2 (en) 2013-01-29
US20100027654A1 (en) 2010-02-04
KR20090007331A (ko) 2009-01-16
US8611419B2 (en) 2013-12-17
US8526504B2 (en) 2013-09-03
KR100949980B1 (ko) 2010-03-29
US20100027659A1 (en) 2010-02-04
RU2010111711A (ru) 2011-10-10
EP2008461A4 (en) 2010-02-03
US20100080293A1 (en) 2010-04-01
EP2025170B1 (en) 2015-01-07
US20100111169A1 (en) 2010-05-06
KR20090101501A (ko) 2009-09-28
US8457207B2 (en) 2013-06-04
EP2008461B1 (en) 2015-09-16
AU2007232607B2 (en) 2010-09-16
JP2009532932A (ja) 2009-09-10
CA2647735A1 (en) 2007-10-11
KR100934671B1 (ko) 2009-12-31
US20100316136A1 (en) 2010-12-16
KR100966567B1 (ko) 2010-06-29
KR20090006093A (ko) 2009-01-14
RU2530310C2 (ru) 2014-10-10
US20100260265A1 (en) 2010-10-14
KR100943911B1 (ko) 2010-02-24
KR20090099094A (ko) 2009-09-21
MX2008012437A (es) 2008-11-18
KR100949979B1 (ko) 2010-03-29
US20100086036A1 (en) 2010-04-08
KR20090101497A (ko) 2009-09-28
ES2533765T3 (es) 2015-04-15
JP2009532933A (ja) 2009-09-10
KR100959536B1 (ko) 2010-05-27
KR100949977B1 (ko) 2010-03-29
KR20090099089A (ko) 2009-09-21
KR20090099095A (ko) 2009-09-21
US7782946B2 (en) 2010-08-24
WO2007114609A1 (en) 2007-10-11
EP2005753B1 (en) 2016-12-21
US20100091884A1 (en) 2010-04-15
DE202007019454U1 (de) 2012-09-03
KR20090099584A (ko) 2009-09-22
US20100091886A1 (en) 2010-04-15
EP2008460B1 (en) 2017-05-17
US8565303B2 (en) 2013-10-22
US8634475B2 (en) 2014-01-21

Similar Documents

Publication Publication Date Title
KR100934675B1 (ko) 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141124

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee