Nothing Special   »   [go: up one dir, main page]

TW201811048A - 解碼方法及解碼裝置 - Google Patents

解碼方法及解碼裝置 Download PDF

Info

Publication number
TW201811048A
TW201811048A TW106129366A TW106129366A TW201811048A TW 201811048 A TW201811048 A TW 201811048A TW 106129366 A TW106129366 A TW 106129366A TW 106129366 A TW106129366 A TW 106129366A TW 201811048 A TW201811048 A TW 201811048A
Authority
TW
Taiwan
Prior art keywords
prediction
unit
information
image
list
Prior art date
Application number
TW106129366A
Other languages
English (en)
Other versions
TWI617184B (zh
Inventor
谷澤昭行
中條健
鹽寺太一郎
Original Assignee
東芝股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝股份有限公司 filed Critical 東芝股份有限公司
Application granted granted Critical
Publication of TWI617184B publication Critical patent/TWI617184B/zh
Publication of TW201811048A publication Critical patent/TW201811048A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Error Detection And Correction (AREA)

Abstract

實施形態之編碼方法,係包含索引產生步驟,及編碼步驟。於索引產生步驟係針對第1索引及第2索引加以設定,該第1索引,係用於表示包含第1參照影像所參照的1個以上之參照影像之組合,該第2索引則表示包含第2參照影像所參照的1個以上之參照影像之組合,針對包含於上述第1索引的1個以上之參照影像之編號,以及包含於上述第2索引的1個以上之參照影像之編號,依據事先設定的順序進行掃描,重排成為不包含同一參照影像的組合而產生共通索引。於編碼步驟,係進行上述共通索引之編碼。

Description

解碼方法及解碼裝置
本發明之實施形態係關於編碼方法及解碼方法。
近年來,大幅提升編碼效率的影像編碼方法,係由ITU-T(International Telecommunication Union Telecommunication Standardization Sector)與ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)所共同提出的ITU-T REC‧H‧264及ISO/IEC 14496-10(以下,稱為「H‧264」)。
於H‧264係揭示:以編碼完成之影像使用作為參照影像,進行分數精確度之動態補償預測,如此而消除時間域上之冗長性,實現高編碼效率的幀間預測編碼(inter-frame predicted coding)方式。
另外,相較於ISO/IEC MPEG(Moving Picture Experts Group)-1,2,4之幀間預測編碼方式(inter prediction coding),可以高效率針對包含Fade(淡)或Dissolve(溶)效果的動態影像進行編碼的方式亦被提 案。於該方式,作為時間域上之明亮度變化之預測用的機制,係針對具有的亮度及2個色差的輸入動態影像進行分數精確度之動態補償預測。之後,使用索引(index)將預測影像和權重係數相乘,再加上(加算)偏移值(offset),該索引為用於表示包含參照影像、亮度及2個色差每一個之權重係數、亮度及2個色差之每一個之偏移值的組合者。
〔習知技術文獻〕 〔專利文獻〕
〔專利文獻1〕特開2004-7377號公報
但是,於上述習知技術,在可選擇雙向預測的雙向預測片段(bi-direction prediction slice)之中,當使用參照影像為同一但是參照影像編號不同的2個索引(index)進行附加權重(weight)之動態補償時,會發生對具有的同一值之索引進行2次編碼之情況,導致編碼效率降低。本發明欲解決之課題為提供可提升編碼效率的編碼方法及解碼方法。
實施形態之編碼方法,係包含索引產生步驟,及編碼 步驟。於索引產生步驟係針對第1索引及第2索引加以設定,該第1索引,係用於表示包含第1參照影像所參照的1個以上之參照影像之組合,該第2索引則表示包含第2參照影像所參照的1個以上之參照影像之組合,針對包含於上述第1索引的1個以上之參照影像之編號,以及包含於上述第2索引的1個以上之參照影像之編號,依據事先設定的順序進行掃描,重排成為不包含同一參照影像的組合而產生共通索引。於編碼步驟,係進行上述共通索引之編碼。
100、600、700‧‧‧編碼裝置
101‧‧‧減算部
102‧‧‧正交轉換部
103‧‧‧量化部
104‧‧‧逆量化部
105‧‧‧逆正交轉換部
106‧‧‧加算部
107‧‧‧預測影像產生部
108、608‧‧‧索引設定部
109‧‧‧動態評估部
110‧‧‧編碼部
111‧‧‧編碼控制部
201‧‧‧複數幀動態補償部
202‧‧‧記憶體
203‧‧‧單向動態補償部
204‧‧‧預測參數控制部
205‧‧‧參照影像選擇器
206‧‧‧幀記憶體
207‧‧‧參照影像控制部
301‧‧‧預設動態補償部
302‧‧‧附加權重之動態補償部
303‧‧‧WP參數控制部
304、305‧‧‧WP選擇器
401、901‧‧‧參照影像確認部
402、602‧‧‧索引產生部
601、1001‧‧‧再利用判斷部
701、1101‧‧‧動態資訊記憶體
702、1102‧‧‧動態資訊取得部
703、1103‧‧‧切換開關
800、1000、1100‧‧‧解碼裝置
801‧‧‧解碼部
802‧‧‧逆量化部
803‧‧‧逆正交轉換部
804‧‧‧加算部
805‧‧‧預測影像產生部
806、1006‧‧‧索引設定部
807‧‧‧解碼控制部
902、1002‧‧‧WP參數產生部
〔圖1〕第1實施形態之編碼裝置之例之表示用方塊圖。
〔圖2〕第1實施形態之畫素區塊之預測編碼順序序例之表示用說明圖。
〔圖3A〕第1實施形態之編碼樹狀區塊(coding tree block)之區塊尺寸例之表示用圖。
〔圖3B〕第1實施形態之編碼樹狀區塊的具體例之表示用圖。
〔圖3C〕第1實施形態之編碼樹狀區塊之具體例之表示用圖。
〔圖3D〕第1實施形態之編碼樹狀區塊之具體例之表示用圖。
〔圖4〕第1實施形態之預測影像產生部之例之表示 用方塊圖。
〔圖5〕第1實施形態之雙向預測之中動態補償預測之動態向量之關係之例之表示用圖。
〔圖6〕第1實施形態之複數幀動態補償部之例之表示用方塊圖。
〔圖7〕第1實施形態之權重係數之固定小數點精確度之例之說明圖。
〔圖8〕第1實施形態之索引設定部之例之表示用方塊圖。
〔圖9A〕第1實施形態之WP參數資訊例之表示用圖。
〔圖9B〕第1實施形態之WP參數資訊例之表示用圖。
〔圖10〕第1實施形態之低遲延編碼構造之中,編碼順序與表示順序之例之表示用圖。
〔圖11〕第1實施形態之低遲延編碼構造之中,參照影像與參照編號之關係之例之表示用圖。
〔圖12〕第1實施形態之隨機存取編碼構造之中,編碼順序與表示順序之例之表示用圖。
〔圖13〕第1實施形態之隨機存取編碼構造之中,參照影像與參照編號間之關係之例之表示用圖。
〔圖14〕第1實施形態之參照影像之清單編號及參照編號之掃描順序之例之表示用圖。
〔圖15〕第1實施形態之共通清單轉換後之WP參數 資訊之例之簡略化表示圖。
〔圖16〕第1實施形態之共通清單轉換後之WP參數資訊之例之簡略化表示圖。
〔圖17〕第1實施形態之索引資訊之產生處理例之表示用流程。
〔圖18〕第1實施形態之語法(Syntax)之例之表示用圖。
〔圖19〕第1實施形態之映像參數群組語法(picture parameter set syntax)之例之表示用圖。
〔圖20〕第1實施形態之片段標頭語法(slice header syntax)之例之表示用圖。
〔圖21〕第1實施形態之pred weight table syntax(預測權重表格語法)之例之表示用圖。
〔圖22〕變形例之序列參數群組語法(sequence parameter set syntax)之例之表示用圖。
〔圖23〕變形例之適用參數群組語法(adaptation parameter set syntax)之例之表示用圖。
〔圖24〕變形例之pred weight table syntax之例之表示用圖。
〔圖25〕第2實施形態之索引設定部之構成例之表示用方塊圖。
〔圖26〕第2實施形態之索引資訊之產生處理例之表示用流程。
〔圖27〕第2實施形態之pred weight table syntax之 例之表示用圖。
〔圖28〕第3實施形態之編碼裝置之構成例之表示用方塊圖。
〔圖29〕第3實施形態之動態資訊記憶體之詳細例之表示用圖。
〔圖30A〕針對第3實施形態之編碼畫素區塊導出動態資訊候補時之區塊位置之例之表示用圖。
〔圖30B〕針對第3實施形態之編碼畫素區塊導出動態資訊候補時之區塊位置之例之表示用圖。
〔圖31〕第3實施形態之複數個動態資訊候補之畫素區塊位置與畫素區塊位置索引間之關係之例之表示用圖。
〔圖32〕第3實施形態之對MergeCandList之儲存處理例之表示用流程。
〔圖33〕第3實施形態之動態資訊之儲存清單之例之表示用圖。
〔圖34〕第3實施形態之動態資訊之對儲存清單之儲存方法之例之表示用流程。
〔圖35〕第3實施形態之雙向預測之組合例之表示用圖。
〔圖36〕第3實施形態之pred unit syntax(預測單元語法)之例之表示用圖。
〔圖37〕第3實施形態之對MergeCandList之儲存處理之另一例之表示用流程。
〔圖38〕第4實施形態之解碼裝置之構成例之表示用方塊圖。
〔圖39〕第4實施形態之索引設定部之構成例之表示用方塊圖。
〔圖40〕第5實施形態之索引設定部之構成例之表示用方塊圖。
〔圖41〕第6實施形態之解碼裝置之構成例之表示用方塊圖。
〔發明之實施形態〕
以下,依據圖面詳細說明實施形態。以下之各實施形態之編碼裝置及解碼裝置,可以藉由LSI(Large-Scale Integration)晶片、DSP(Digital Signal Processor)、或FPGA(Field Programmable Gate Array)等之硬體來實現。另外,以下之各實施形態之編碼裝置及解碼裝置,可以藉由電腦之執行程式,亦即,藉由軟體來實現。另外,之後之說明中,「影像」之用語可以適當解讀為「映像」、「畫素」、「影像信號」、「繪畫」或「影像資料」等之用語。
(第1實施形態)
於第1實施形態係針對進行動態影像之編碼的編碼裝置加以說明。
圖1係表示第1實施形態之編碼裝置100之構成之一例之方塊圖。
編碼裝置100,係將構成輸入影像的各幀(frame)或各場(field)分割成為複數個畫素區塊,使用由編碼控制部111輸入之編碼參數,對分割之畫素區塊進行預測編碼,產生預測影像。之後,編碼裝置100,係對分割成為複數個畫素區塊的輸入影像與預測影像進行減算而產生預測誤差,對產生之預測誤差進行正交轉換(orthogonal transform)及量化處理,更進一步進行亂度編碼(entropy coding)而產生編碼資料予以輸出。
編碼裝置100,係使畫素區塊之區塊尺寸及預測影像之產生方法之其中至少之一選擇性適用不同的複數個預測模態而進行預測編碼。預測影像之產生方法可以大別為,於編碼對象幀內進行預測的幀內預測(intra-prediction),及使用時間上不同的1個以上之參照幀進行動態補償預測的幀間預測(inter-prediction)之2種類。另外,幀內預測亦稱為畫面內預測等,幀間預測亦稱為畫面間預測、或動態補償預測等。
圖2表示第1實施形態之中畫素區塊之預測編碼順序序之一例之說明圖。於圖2所示例,編碼裝置100,係由畫素區塊之左上朝右下進行預測編碼,於編碼處理對象之幀f,編碼完成畫素區塊p係位於編碼對象畫素區塊c之更左側及上側。以下為求說明之簡單化,編碼裝置100,係設為依據圖2之順序進行預測編碼,但預測編碼之順序 不限定於此。
畫素區塊,係表示影像處理之單位,相當於例如M×N尺寸之區塊(M及N為自然數)、編碼樹狀區塊、巨集區塊(macro block)、子區塊(sub-block)、或1畫素等。於之後之說明基本的以畫素區塊作為編碼樹狀區塊之意義加以使用,但亦有以其他之意義予以使用之情況。例如預測單元(prediction unit)之說明中有將畫素區塊使用作為預測單元之畫素區塊之意義。另外,區塊亦有稱為單元等之名稱。例如亦有將編碼區塊稱為編碼單元。
圖3A係表示第1實施形態之編碼樹狀區塊之區塊尺寸之一例之圖。編碼樹狀區塊典型為圖3A所示之64×64之畫素區塊。但是不限定於此,亦可為32×32之畫素區塊,16×16之畫素區塊,8×8之畫素區塊,或4×4之畫素區塊等。另外,編碼樹狀區塊可以為非正方形,例如可為M×N尺寸(M≠N)之畫素區塊。
圖3B~圖3D係表示第1實施形態之編碼樹狀區塊之具體例之。圖3B係表示區塊尺寸為64×64(N=32)之編碼樹狀區塊。N係表示成為基準的編碼樹狀區塊之尺寸,分割時之尺寸被定義為N,未分割時之尺寸係定義為2N。圖3C係表示將圖3B之編碼樹狀區塊實施四等分分割而成的編碼樹狀區塊。編碼樹狀區塊,如圖3C所示,係具有的四等分構造。編碼樹狀區塊被實施分割時,針對分割後之4個畫素區塊,如圖3C所示,係依據Z掃描順序被附加編號。
另外,編碼樹狀區塊可於1個四等分之編號內更進一步實施四等分分割。如此則,可對編碼樹狀區塊實施階層分割。此情況下,分割之深度係以Depth加以定義。圖3D係表示將圖3B之編碼樹狀區塊實施四等分分割後的編碼樹狀區塊之1個,區塊尺寸成為32×32(N=16)。圖3B所示編碼樹狀區塊之Depth為0,圖3D所示編碼樹狀區塊之Depth為1。另外,將單元最大的編碼樹狀區塊稱為最大編碼樹狀區塊,於該單位內使輸入影像信號依據光柵掃描順序實施編碼。
於之後之說明中,亦有將輸入影像之編碼對象區塊或編碼樹狀區塊稱為預測對象區塊或預測畫素區塊。另外,編碼單位不限定於畫素區塊,可使用幀(frame)、場(field)、片段(slice)、線(line)及畫素之其中至少之一。
編碼裝置100,如圖1所示,係具備:減算部101,正交轉換部102,量化部103,逆量化部104,逆正交轉換部105,加算部106,預測影像產生部107,索引設定部108,動態評估部109及編碼部110。另外,圖1所示編碼控制部111,係進行編碼裝置100之控制者,可由例如CPU(Central Processing Unit)等來實現。
減算部101,係由被分割為畫素區塊的輸入影像減算所對應之預測影像而獲得預測誤差。減算部101,係輸出預測誤差,將其輸入至正交轉換部102。
正交轉換部102,係對由減算部101被輸入之預測誤 差,進行例如離散餘弦轉換(DCT)或離散正弦轉換(DST)等之正交轉換,獲得轉換係數。正交轉換部102係輸出轉換係數,並輸入至量化部103。
量化部103,係對由正交轉換部102輸入之轉換係數進行量化處理,獲得量化轉換係數。具體言之為,量化部103係依據編碼控制部111指定之量化參數或量化矩陣等之量化資訊進行量化。更詳言之為,量化部103,係以量化資訊所導出之量化步驟尺寸對轉換係數進行除算,而獲得量化轉換係數。量化參數係表示量化之細化程度。量化矩陣,係針對轉換係數之每一成分實施量化之細化程度茲權重附加時被使用。量化部103,係將量化轉換係數予以輸出,並輸入至逆量化部104及編碼部110。
逆量化部104,係對由量化部103輸入之量化轉換係數進行逆量化處理,獲得復原轉換係數。具體言之為,逆量化部104,係依據量化部103使用的量化資訊進行逆量化。更詳言之為,逆量化部104,係針對量化轉換係數進行量化資訊所導出之量化步驟尺寸之乘算處理,而獲得復原轉換係數。另外,量化部103使用之量化資訊,可由編碼控制部111之未圖示之內部記憶體下載予以利用。逆量化部104,係輸出復原轉換係數,並將其輸入至逆正交轉換部105。
逆正交轉換部105,係對由逆量化部104輸入之復原轉換係數,進行例如逆離散餘弦轉換(IDCT)或逆離散正弦轉換(IDST)等之逆正交轉換,而獲得復原預測誤 差。另外,逆正交轉換部105所進行之逆正交轉換,係對應於正交轉換部102進行之正交轉換。逆正交轉換部105,係輸出復原預測誤差,並將其輸入至加算部106。
加算部106,係對逆正交轉換部105所輸入之復原預測誤差和對應之預測影像進行加算,產生局部解碼影像。加算部106,係輸出局部解碼影像,並將其輸入至預測影像產生部107。
於預測影像產生部107,係以由加算部106輸入之局部解碼影像作為參照影像而儲存於記憶體(於圖1被省略圖示),將記憶體所儲存之參照影像予以輸出,而輸入至動態評估部109。另外,預測影像產生部107,係依據由動態評估部109輸入之動態資訊及WP參數資訊進行附加權重之動態補償預測,而產生預測影像。預測影像產生部107,係輸出預測影像,並輸入至減算部101及加算部106。
圖4係表示第1實施形態之預測影像產生部107之構成之一例之方塊圖。預測影像產生部107,如圖4所示,係具備複數幀動態補償部201,記憶體202,單向動態補償部203,預測參數控制部204與,參照影像選擇器205,幀記憶體206,及參照影像控制部207。
幀記憶體206,係於參照影像控制部207之控制之下,以由加算部106輸入之局部解碼影像作為參照影像予以儲存。幀記憶體206,係具備將參照影像暫時保持之複數個記憶體群組FM1~FMN(N≧2)。
預測參數控制部204,係依據由動態評估部109輸入之動態資訊,準備參照影像編號與預測參數之複數個組合作為表格。於此,動態資訊,係指動態補償預測所使用之動態之偏移量之表示用的動態向量或參照影像編號,單向/雙向預測等之預測模態相關的資訊等。預測參數,係指動態向量及預測模態相關的資訊。預測參數控制部204,係依據輸入影像來選擇預測影像之產生用的參照影像編號與預測參數之組合並輸出之,將參照影像編號輸入至參照影像選擇器205,將預測參數輸入至單向動態補償部203。
參照影像選擇器205,係依據由預測參數控制部204輸入之參照影像編號,針對是否將幀記憶體206所具有的的幀記憶體FM1~FMN之其一之輸出端予以連接,進行切換的開關。參照影像選擇器205,例如當參照影像編號為0時,係使FM1之輸出端連接於參照影像選擇器205之輸出端,當參照影像編號為N-1時,使FMN之輸出端連接於參照影像選擇器205之輸出端。參照影像選擇器205,係將幀記憶體206所具有的的幀記憶體FM1~FMN之中,連接於輸出端的幀記憶體所儲存之參照影像予以輸出,並輸入至單向動態補償部203及動態評估部109。
單向預測動態補償部203,係依據由預測參數控制部204輸入之預測參數及由參照影像選擇器205輸入之參照影像,進行動態補償預測處理,而產生單向預測影像。
圖5表示第1實施形態之雙向預測之中之動態補償預 測之動態向量之關係之一例。於動態補償預測,係使用參照影像進行細化(thin)處理,根據作成的細化影像與輸入影像間之編碼對象位置對於畫素區塊之動態偏移量,而產生單向預測影像。於此,偏移量為動態向量。如圖5所示,於雙向預測slice(B-slice),係使用2種類之參照影像及動態向量之群組來產生預測影像。細化處理,係可以使用1/2畫素精確度之細化處理,或1/4畫素精確度之細化處理等,藉由對參照影像進行濾波(filtering)處理而產生細化影像之值。例如在對於亮度信號可進行至1/4畫素精確度之細化處理的H‧264,偏移量係以整數畫素精確度之4倍來表現。
單向預測動態補償部203,係輸出單向預測影像,並暫時儲存於記憶體202。於此,當動態資訊(預測參數)表示雙向預測之情況,複數幀動態補償部201係使用2種類之單向預測影像進行附加權重之預測,因此單向預測動態補償部203係將第1個對應之單向預測影像儲存於記憶體202,將第2個對應之單向預測影像直接輸出於複數幀動態補償部201。於此,將第1個對應之單向預測影像定義為第一預測影像,將第2個對應之單向預測影像定義為第二預測影像。
另外,準備2個單向動態補償部203,而分別產生2個單向預測影像亦可。此情況下,當動態資訊(預測參數)表示單向預測時,單向動態補償部203係將第1個單向預測影像定義為第一預測影像而直接輸出至複數幀動態 補償部201即可。
複數幀動態補償部201,係使用由記憶體202輸入的第一預測影像、由單向預測動態補償部203輸入的第二預測影像及由動態評估部109輸入的WP參數資訊,進行附加權重之預測而產生預測影像。複數幀動態補償部201,係將預測影像予以輸出,而輸入至減算部101及加算部106。
圖6表示第1實施形態之複數幀動態補償部201之構成之一例之方塊圖。複數幀動態補償部201,如圖6所示,係具備:預設動態補償部301,附加權重之動態補償部302,WP參數控制部303,及WP選擇器304、305。
WP參數控制部303,係依據由動態評估部109輸入的WP參數資訊而輸出WP適用旗標及權重資訊,而將WP適用旗標輸入至WP選擇器304、305,將權重資訊輸入至附加權重之動態補償部302。
於此,WP參數資訊,係包含:權重係數之固定小數點精確度,第一預測影像所對應之第一WP適用旗標、第一權重係數及第一偏移值,以及第二預測影像所對應之第二WP適應旗標、第二權重係數及第二偏移值之資訊。WP適用旗標,係對應於該參照影像及信號成分之各個而可以設定的參數,用於表示是否進行附加權重之動態補償預測。權重資訊係包含權重係數之固定小數點精確度,第一權重係數,第一偏移值,第二權重係數及第二偏移值之資訊。
詳言之為,WP參數控制部303,當由動態評估部109被輸入WP參數資訊時,係將WP參數資訊由第一WP適用旗標、第二WP適用旗標及權重資訊予以分離並輸出之,將第一WP適用旗標輸入至WP選擇器304,將第二WP適用旗標輸入至WP選擇器305,將權重資訊輸入至附加權重之動態補償部302。
WP選擇器304、305,係依據由WP參數控制部303輸入之WP適用旗標,進行各個預測影像之連接端之切換。WP選擇器304、305,當各個WP適用旗標為0時,係使各個輸出端連接於預設動態補償部301。之後,WP選擇器304、305,係輸出第一預測影像及第二預測影像,而輸入至預設動態補償部301。另外,WP選擇器304、305,在各個WP適用旗標為1時,係使各個輸出端連接於附加權重之動態補償部302。WP選擇器304、305,係輸出第一預測影像及第二預測影像,而輸入至附加權重之動態補償部302。
預設動態補償部301,係依據由WP選擇器304、305輸入之2個單向預測影像(第一預測影像及第二預測影像)進行平均值處理,而產生預測影像。具體言之為,預設動態補償部301,在第一WP適用旗標及第二WP適用旗標為0時,係依據數式(1)進行平均值處理。
P[x,y]=Clip1((PL0[x,y]+PL1[x,y]+offset2)>>(shift2))…(1)
其中,P〔x,y〕為預測影像,PL0〔x,y〕為第一預測影像,PL1〔x,y〕為第二預測影像。offset2及shift2為平均值處理之中被實施捨入處理(round off)之參數,係由第一預測影像及第二預測影像之內部運算精確度而決定。假設預測影像之位元精確度為L,第一預測影像及第二預測影像之位元精確度為M(L≦M),則shift2可由數式(2)定義,offset2可由數式(3)定義。
shift2=(M-L+1)…(2)
offset2=(1<<(shift2-1)…(3)
例如預測影像之位元精確度為8,第一預測影像及第二預測影像之位元精確度為14,藉由數式(2)可得shift2=7,由數式(3)可得offset2=(1<<6)。
另外,動態資訊(預測參數)所表示之預測模態為單向預測時,預設動態補償部301係僅使用第一預測影像,依據數式(4)而算出最終的預測影像。
P[x,y]=Clip1((PLX[x,y]+offset1)>>(shift1))…(4)
於此,PLX〔x,y〕為單向預測影像(第一預測影像),X為識別子用於表示參照清單之0或1之其中之一。例如參照清單為0時成為PL0〔x,y〕,參照清單為1時成為PL1〔x,y〕。offset1及shift1為捨入處理之參數,係由第一預測影像之內部運算精確度來決定。假設預 測影像之位元精確度為L,第一預測影像之位元精確度為M,則shift1可由數式(5)決定,offset1可由數式(6)決定。
shift1=(M-L)…(5)
offset1=(1<<(shift1-1)…(6)
例如預測影像之位元精確度為8,第一預測影像之位元精確度為14時,由數式(5)可得shift1=6,由數式(6)可得offset1=(1<<5)。
附加權重之動態補償部302,係依據由WP選擇器304、305輸入之2個單向預測影像(第一預測影像及第二預測影像)以及由WP參數控制部303輸入之權重資訊,進行附加權重之動態補償。具體言之為,附加權重之動態補償部302,在第一WP適用旗標及第二WP適用旗標為1時,係依據數式(7)進行附加權重之處理。
P[x,y]=Clip1(((PL0[x,y]*w0C+PL1[x,y]*w1C+(1<<logWDC))>>(logWDC+1))+((o0C+o1C+1)>>1))…(7)
於此,w0C為第一預測影像對應之權重係數,w1C為第二預測影像對應之權重係數,o0C為第一預測影像對應之偏移值,o1C為第二預測影像對應之偏移值。以下分別稱為第一權重係數,第二權重係數,第一偏移值,第二偏移值。logWDC為個別之權重係數之固定小數點精確度之 表示用參數。變數C表示信號成分。例如YUV空間信號時,亮度信號設為C=Y,Cr色差信號設為C=Cr,Cb色差成分設為C=Cb而予以表示。
另外,附加權重之動態補償部302,在第一預測影像及第二預測影像和預測影像間之運算精確度不同時,係以使固定小數點精確度之logWDC控制成為數式(8)而實現捨入處理。
logWD’C=logWDC+offset1…(8)
捨入處理,可以將數式(7)之logWDC替換為數式(8)之logWD’C而實現。例如預測影像之位元精確度為8,第一預測影像及第二預測影像之位元精確度為14時,藉由再度設定logWDC,可實現和數式(1)之shift2同樣之運算精確度的整批捨入處理。
另外,動態資訊(預測參數)所示之預測模態為單向預測時,附加權重之動態補償部302,係僅使用第一預測影像,依據數式(9)而算出最終的預測影像。
P[x,y]=Clip1((PLX[x,y]*wXC+(1<<logWDC-1))>>(logWDC))…(9)
於此,PLX〔x,y〕表示單向預測影像(第一預測影像),wXC表示單向預測對應之權重係數,X為識別子用於表示參照清單之0或1之其中之一。例如參照清單為0 時成為PL0〔x,y〕、w0C,參照清單為1時成為PL1〔x,y〕、w1C
另外,附加權重之動態補償部302,在第一預測影像及第二預測影像和預測影像之間之運算精確度不同時,係和雙向預測時同樣以使固定小數點精確度之logWDC成為數式(8)的方式進行控制而實現捨入處理。
捨入處理,係將數式(7)之logWDC替換為數式(8)之logWD’C而可以實現。例如預測影像之位元精確度為8,第一預測影像之位元精確度為14時,藉由logWDC之再設定,可以實現和數式(4)之shift1同樣之運算精確度之整批捨入處理。
圖7表示第1實施形態之權重係數之固定小數點精確度之一例之說明圖,係表示存在著時間方向之明度變化的動態影像與灰階值之間之變化之一例。於圖7所示例,假設編碼對象幀為Frame(t),時間域上1個前之幀設為Frame(t-1),時間域上1個後之幀設為Frame(t+1)。如圖7所示,由白變化為黑之Fade影像之中,影像之明亮度(灰階值)隨時間呈減少。權重係數係表示圖7之中變化之程度,由數式(7)及數式(9)可知,明度變化不存在時係取1.0之值。固定小數點精確度,係用於控制權重係數之小數點所對應之變動幅的參數,不存在明度變化時之權重係數成為1<<logWDC
另外,單向預測時,第二預測影像對應之各種參數(第二WP適應旗標,第二權重係數,及第二偏移值之資 訊)未被利用,因此可以設定為預定之初期值。
回至圖1,動態評估部109,係依據輸入影像及由預測影像產生部107輸入之參照影像進行複數幀間之動態評估,而輸出動態資訊及WP參數資訊,將動態資訊輸入至預測影像產生部107及編碼部110,將WP參數資訊輸入至預測影像產生部107及索引設定部108。
動態評估部109,係藉由例如以和預測對象畫素區塊之輸入影像同一位置所對應之複數個參照影像為起點而計算差分值,算出誤差,於分數精確度範圍內實施該位置之位移,探詢出誤差最小之區塊的區塊匹配等之手法,來算出最適當之動態資訊。動態評估部109,在雙向預測時,係使用單向預測所導出之動態資訊,進行數式(1)及數式(4)所示包含預設動態補償預測的區塊匹配,而算出雙向預測之動態資訊。
此時,動態評估部109,係藉由進行數式(7)及數式(9)所示包含附加權重之動態補償預測的區塊匹配,而可以算出WP參數資訊。另外,於WP參數資訊之算出時亦可利用,使用輸入影像之明度梯度來算出權重係數或偏移值的方法,或藉由編碼時之預測誤差之累積而進行權重係數或偏移值之算出方法等。另外,WP參數資訊可以使用對應於各編碼裝置事先設定之固定值。
於此,參照圖7說明,由時間域上呈明度變化的動態影像算出權重係數、權重係數之固定小數點精確度及偏移值的方法。如上述說明,如圖7所示在由白變化為黑的 Fade影像中,影像之明度(灰階值)係隨時間呈減少。動態評估部109係藉由計算該梯度而可以算出權重係數。
另外,權重係數之固定小數點精確度係表示該梯度之精確度的資訊,動態評估部109,可由參照影像之時間域上之距離以及影像明度之變化度,算出最適當之值。例如於圖7,Frame(t-1)~Frame(t+1)間之權重係數以小數點精確度表示為0.75時,在1/4精確度下可表現3/4,動態評估部109,係將固定小數點精確度設為2(1<<2)。固定小數點精確度之值,係進行權重係數之編碼時對編碼量帶來影響,因此在考慮編碼量與預測精確度之情況下選擇最適當之值即可。另外,固定小數點精確度之值亦可設為事先設定之固定值。
另外,動態評估部109,係在梯度不一致時,藉由算出一次函數之切片對應之補正值(位移量),而可算出偏移值。例如於圖7,Frame(t-1)~Frame(t+1)間之權重係數以小數點精確度表示為0.60,固定小數點精確度為1(1<<1)時,權重係數設為1(亦即,相當於權重係數之小數點精確度0.50)之可能性變高。此情況下,權重係數之小數點精確度,係由最適當之值之0.60偏移至0.10,因此,動態評估部109,係由畫素之最大值計算出該部分之補正值,作為偏移值予以設定。畫素之最大值為255時,動態評估部109設定25(255×0.1)等之值即可。
另外,於第1實施形態係說明動態評估部109作為編 碼裝置100之一機能,但動態評估部109不一定為編碼裝置100之必須之構成,例如亦可將動態評估部109設為編碼裝置100外之裝置。此情況下,將動態評估部109算出之動態資訊及WP參數資訊載入編碼裝置100即可。
索引設定部108,係受取由動態評估部109輸入之WP參數資訊,進行參照清單(清單編號)及參照影像(參照編號)之確認,將索引資訊予以輸出,而輸入至索引設定部108。
圖8表示第1實施形態之索引設定部108之構成之一例之方塊圖。索引設定部108,如圖8所示,係具備參照影像確認部401,及索引產生部402。
參照影像確認部401,係受取由動態評估部109輸入之WP參數資訊,針對包含於2個參照清單的參照編號互相指定同一參照影像的WP參數是否存在進行確認。之後,參照影像確認部401,係將WP參數資訊之中指定同一參照影像的WP參數予以刪除,輸出刪除後之WP參數資訊,而輸入至索引產生部402。
索引產生部402,係由參照影像確認部401受取冗長之WP參數已被刪除的WP參數資訊,於後述之語法要素進行映射而產生索引資訊。索引產生部402,係輸出索引資訊,而輸入至編碼部110。
圖9A及圖9B表示第1實施形態之WP參數資訊之一例之圖。P-slice時之WP參數資訊之一例係如圖9A所示,B-slice時之WP參數資訊之一例係如圖9A及圖9B 所示。清單編號為表示預測方向之識別子,單向預測時取0之值,雙向預測時可使用2種類之預測,因此取0與1之2個值。參照編號為和幀記憶體206所示之1~N對應之值。WP參數資訊,係依據每一參照清單及參照影像被保持,B-slice時因為參照影像設為N個,因此必要之資訊成為2N個。參照影像確認部401,係對彼等WP參數資訊進行再轉換,而刪除冗長之WP參數。
圖10,係表示第1實施形態之低遲延編碼構造之中之編碼順序及表示順序(POC:Picture Order Count)之一例,係表示已可以成為參照影像的B-slice作為rB-slice予以使用的編碼構造之例。於低遲延編碼構造,影像之先讀取為不可能,因此編碼順序與表示順序為同一。於此,考慮依表示順序將幀0~3為止設為編碼完成,進行幀4之編碼。
圖11,係表示第1實施形態之低遲延編碼構造之中參照影像與參照編號之關係之一例,係針對進行幀4之編碼時之參照影像與參照編號之關係予以簡略化而成的WP參數資訊來表示。於圖11所示例,參照清單內之參照編號之順序載清單0與清單1時為同一,意味著清單0與清單1之參照影像為同一。
圖12係表示第1實施形態之隨機存取編碼構造之中之編碼順序與表示順序之一例,於此,考慮依表示順序幀0、2、4、8為編碼完成,對幀1進行編碼。
圖13係表示第1實施形態之隨機存取編碼構造之中 參照影像與參照編號之關係之一例,係針對幀1進行編碼時之參照影像與參照編號之關係予以簡略化而以WP參數資訊來表示。於圖13所示例,參照清單別之參照編號之順序雖個別不同,但於清單0與清單1係包含共通之4個參照影像,意味著清單0與清單1之參照影像為同一。
參照影像確認部401,為將冗長之WP參數,亦即將包含於2個參照清單的參照編號互相指定同一之參照影像的WP參數予以刪除,而將參照編號予以重排,轉換為共通之新的索引。
圖14係表示第1實施形態之參照影像之清單編號及參照編號之掃描順序之一例。參照影像確認部401,係依據圖14所示掃描順序將2次元之參照清單(2個參照清單)轉換為1次元之共通清單(1個共通清單)。具體言之為,參照影像確認部401,係依圖14所示掃描順序,讀取圖9A及圖9B所示WP參數資訊,將2個參照清單重排成為共通清單,將冗長之WP參數刪除。於此,參照影像確認部401,係依數式(10)所示虛擬碼而讀取WP參數資訊。
for(scan=0;scan<=num_of_common_active_ref_minus1;scan++){ list=common_scan_list(scan) ref_idx=common_scan_ref_idx(scan) refPOC=RefPicOrderCount(list,ref_idx) identical_ref_flag=false; for(curridx=0;curridx<=num_of_common_active_ref_minus1;curridx++){ if(refPOC==CommonRefPicOrderCount(curridx)){ identical_ref_flag=true; } } if(!identical_ref_flag) InsertCommonRefPicOrderCount(scan,refPOC); }…(10)
於此,common_scan_list(),係將圖14之掃描編號所對應之清單編號予以送回的函數。common_scan_ref_idx(),係將圖14之掃描編號所對應之參照編號予以送回的函數。RefPicOrderCnt(),係將清單編號及參照編號所對應之POC編號予以送回的函數。POC編號,係參照影像之表示順序之表示用的編號。但是,當超出事先設定的最大數時,POC編號係被映設為初期值。例如POC編號之最大值為255時,256所對應之POC編號成為0。CommonRefPicOrderCount(),係將共通清單(CommonList)之參照編號所對應之POC編號予以送回的函數。InsertCommonRefPicOrderCount(),係將掃描編號所對應之POC編號插入共通清單(CommonList)函數。
另外,圖14所示掃描順序為一例,只要是事先設定之掃描順序亦可使用其以外之掃描順序。另外,數式(10)所示虛擬碼為一例,只要能實現本處理之目的,則可以進行處理之追加或冗長之處理之削減。
圖15及圖16係表示第1實施形態之共通清單轉換後之WP參數資訊之一例之簡略化圖。圖15係針對圖11所示參照清單之WP參數資訊轉換後之共通清單之WP參數資訊予以簡略化表示,圖16係針對圖13所示參照清單之WP參數資訊轉換後之共通清單之WP參數資訊予以簡略化予以表示者。
圖17係表示第1實施形態之索引設定部108執行的索引資訊之產生處理之一例之流程。
參照影像確認部401,當WP參數資訊被輸入後,係依據slice-type執行處理之分歧(步驟S101)。
slice-type為僅使用1個參照清單的單向預測slice(P-slice)時(步驟S101為否),參照影像確認部401,係將圖9A所示WP參數資訊直接輸出至索引產生部402。索引產生部402,係使參照影像確認部401所輸入之WP參數資訊映射至後述之事先設定的語法要素,而產生索引資訊並予以輸出。
另外,slice-type為使用2個參照清單的雙向預測slice(B-slice)時(步驟S101為是),參照影像確認部401,係將變數scan初期化為0(步驟S102)。變數scan係用於表示圖14之掃描編號。
接著,參照影像確認部401,係使用變數scan來取得掃描編號所對應之清單編號之表示用之變數list之同時(步驟S103),取得掃描編號所對應之參照編號之表示用的變數refIdx(步驟S104)。
接著,參照影像確認部401,係將變數list所示清單編號及變數refIdx所示參照編號所對應之參照影像之POC編號之表示用的變數refPOC予以導出(步驟S105)。
接著,參照影像確認部401,係將旗標identical_ref_flag設為false之同時(步驟S106),將變數curridx設為0(步驟S107)。旗標identical_ref_flag,係表示共通清單是否存在同一之參照影像。變數curridx,係表示共通清單之參照編號。
接著,參照影像確認部401,係針對導出之變數refPOC所表示的POC編號與變數curridx所表示參照編號對應之參照影像之POC編號是否為同一進行判斷(步驟S108)。
兩POC編號為同一時(步驟S108為是),參照影像確認部401,係將旗標identical_ref_flag設為true(步驟S109)。另外,兩POC編號非為同一時(步驟S108為否),不進行步驟S109之處理。
接著,參照影像確認部401,係進行變數curridx之昇數計數(increment)(步驟S110)。
接著,參照影像確認部401,係針對變數curridx之值是否較共通清單之最大數減掉1之值、亦即 num_of_common_active_ref_minus1為大進行判斷(步驟S111),判斷為num_of_common_active_ref_minus1以下之間時(步驟S111為否),重複步驟S108~步驟S110之處理。
當變為大於num_of_common_active_ref_minus1時(步驟S111為是),參照影像確認部401,係結束共通清單之確認,更進一步針對旗標identical_ref_flag是否為false加以確認(步驟S112)。
當旗標identical_ref_flag為false時(步驟S112為是),參照影像確認部401係判斷共通清單之中不包含和變數refPOC所示POC編號之參照影像為同一之參照影像,而將變數refPOC所示POC編號追加於共通清單(步驟S113)。另外,旗標identical_ref_flag為true時(步驟S112為否),參照影像確認部401,係判斷共通清單包含有和變數refPOC所示POC編號之參照影像為同一之參照影像,不進行步驟S113之處理。
接著,參照影像確認部401,係進行變數scan之昇數計數(步驟S114)。
接著,參照影像確認部401,係針對變數scan之值是否大於共通清單之最大數減掉1之值、亦即num_of_common_active_ref_minus1進行判斷(步驟S115),若為num_of_common_active_ref_minus1以下(步驟S115為否),則回至步驟S103。另外,若大於num_of_common_active_ref_minus1(步驟S115為是), 參照影像確認部401,則將轉換為共通清單後之WP參數資訊輸出至索引產生部402。索引產生部402,係將參照影像確認部401所輸入之WP參數資訊映射至後述之事先設定的語法要素而產生索引資訊予以輸出。
回至圖1,編碼部110,係針對由量化部103輸入之量化轉換係數,由動態評估部109輸入之動態資訊,由索引設定部108輸入之索引資訊,及編碼控制部111所指定之量化資訊等之各種編碼參數,進行亂度編碼,而產生編碼資料。亂度編碼,例如可為霍夫曼編碼(Huffman coding)或算術編碼等。
編碼參數係指預測方法等之表示用的預測資訊,量化轉換係數相關的資訊,及量化相關的資訊等之解碼所必要之參數。例如編碼控制部111可以具有的未圖示之內部記憶體,於該內部記憶體將編碼參數予以保持,在進行畫素區塊之編碼時可使用鄰接之已編碼完成之畫素區塊之編碼參數。例如於H‧264之幀內預測,可由編碼完成之鄰接區塊之預測資訊導出畫素區塊之預測資訊。
編碼部110,係依據編碼控制部111所管理之適當之輸出時序將產生之編碼資料予以輸出。輸出之編碼資料,例如係於未圖示之多重化部等實施各種資訊之多重化處理,而暫時儲存於未圖示之輸出緩衝器等之後,被輸出至例如未圖示之儲存系(儲存媒體)或傳送系(通信線路)。
圖18表示第1實施形態之編碼裝置100使用的語法 500之一例之圖。語法500,係表示編碼裝置100進行輸入影像(動態影像資料)之編碼而產生的編碼資料之構造。對編碼資料進行解碼時,後述之解碼裝置,係參照和語法500為同一之語法構造進行動態影像之語法解釋。
語法500,係包含高階語法(high level syntax)501,片段層級語法(slice level syntax)502及編碼樹狀層級語法(code tree level syntax)503之3個部位(part)。高階語法501,係包含較片段更上位之層(layer)之語法資訊。片段係指包含於幀或場的矩形區域或連續區域。片段層級語法502,係包含對各片段進行解碼化之必要資訊。編碼樹狀層級語法503,係包含對各編碼樹狀(亦即,各編碼樹狀區塊)進行解碼之必要的資訊。彼等各部位係包含更詳細之語法。
高階語法501,係包含序列參數群組語法(sequence parameter set syytax)504,映像參數群組語法(picture parameter set syytax)505,及適用參數群組語法(adaptation parameter set syytax)506等之序列及映像層級之語法。
片段層級語法502,係包含片段標頭語法(slice header syntax)507,pred weight table syntax508,及片段資料語法(slice data syntax)509等。pred weight table syntax508係由片段標頭語法507被叫出。
編碼樹狀層級語法503,係包含編碼樹狀單元語法510,轉換單元語法(transform unit syntax)511,及預測 單元語法(prediction unit syntax)512等。編碼樹狀單元語法510可以具有的四等分構造。具體言之為,作為編碼樹狀單元語法510之語法要素,更進一步可以再度叫出編碼樹狀單元語法510。亦即,可將1個編碼樹狀區塊予以四等分細分化。另外,於編碼樹狀單元語法510內包含轉換單元語法511。轉換單元語法511,係於四等分之最末端之各編碼樹狀單元語法510被叫出。轉換單元語法511,係記述和逆正交轉換及量化等相關之資訊。於彼等之語法亦可記述附加權重之動態補償預測相關的資訊。
圖19表示第1實施形態之映像參數群組語法505之一例之圖。weighted_pred_flag,例如係用於表示P-slice相關的第1實施形態之附加權重之補償預測之有效或無效之語法要素。weighted_pred_flag為0時,P-slice內之第1實施形態之附加權重之動態補償預測成為無效。因此,包含於WP參數資訊的WP適用旗標常時被設為0,WP選擇器304、305,係將各個輸出端連接於預設動態補償部301。另外,weighted_pred_flag為1時,P-slice內之第1實施形態之附加權重之動態補償預測為有效。
另外,作為其他之例,在weighted_pred_flag為1時,可於更下位之層級(片段標頭,編碼樹狀區塊,轉換單元,及預測單元等)之語法,依據片段內部之局部區域之每一區域來規定第1實施形態之附加權重之動態補償預測之有效或無效。
weighted_bipred_idc,例如係表示B-slice相關的第1 實施形態之附加權重之補償預測之有效或無效之語法要素。weighted_bipred_idc為0時,B-slice內之第1實施形態之附加權重之動態補償預測為無效。因此,包含於WP參數資訊的WP適用旗標被常時設為0,WP選擇器304、305,係將各個輸出端連接於預設動態補償部301。另外,weighted_bipred_idc為1時,B-slice內之第1實施形態之附加權重之動態補償預測為有效。
另外,作為其他之例,於weighted_bipred_idc為1時,可於更下位之層級(片段標頭,編碼樹狀區塊,及轉換單元等)之語法,對應於片段內部之局部區域之每一區域針對第1實施形態之附加權重之動態補償預測之有效或無效實施規定。
圖20係表示第1實施形態之片段標頭語法507之一例。slice_type係表示片段(slice)之片段形式(slice-type)(I-slice,P-slice,B-slice等)。pic_parameter_set_id,係表示參照其中任一映像參數群組語法505之識別子。num_ref_idx_active_override_flag,係表示有效之參照影像之數更新與否之旗標,本旗標為1時,係表示用於定義參照清單之參照影像數的num_ref_idx_l0_active_minus1及num_ref_idx_l1_active_minus1被使用。pred_weight_table(),係表示附加權重之動態補償預測所使用的pred weight table syntax之函數,前述之weighted_pred_flag為1而且P-slice時,及weighted_bipred_idc為1而且B-slice時,本函數被叫出。
圖21係表示第1實施形態之pred weight table syntax508之一例之圖。luma_log2_weight_denom,係表示片段之中亮度信號之權重係數之固定小數點精確度,為數式(7)或數式(9)之logWDC所對應之值。chroma_log2_weight_denom,係表示片段之中色差信號之權重係數之固定小數點精確度,為數式(7)或數式(9)之logWDC所對應之值。chroma_format_idc,係表示色空間用的識別子,MONO_IDX為黑白映像之表示用值。num_ref_common_active_minus1,係表示由包含於片段之中之共通清單的參照影像之數減去1之值,係使用數式(10)。該值之最大值為,滿足清單0與清單1之2個參照影像張數之最大值之值。
luma_weight_common_flag係表示亮度信號之中之WP適應旗標。本旗標為1時,於片段內全域第1實施形態之亮度信號之附加權重之動態補償預測成為有效。chroma_weight_common_flag係表示色差信號之中之WP適應旗標。本旗標為1時,於片斷內全域第1實施形態之色差信號之附加權重之動態補償預測成為有效。luma_weight_common[i],係表示共通清單所管理的第i編號所對應之亮度信號之權重係數。luma_offset_common[i],係表示共通清單所管理的第i編號所對應之亮度信號之偏移值。彼等分別為數式(7)或數式(9)之w0C,w1C,o0C,o1C所對應之值。但是,設為C=Y。
chroma_weight_common[i][j],係表示共通清單所管理的第i編號所對應之色差信號之權重係數。chroma_offset_common[i][j],係表示共通清單所管理的第i編號所對應之色差信號之偏移值。彼等分別為數式(7)或數式(9)之w0C,w1C,o0C,o1C所對應之值。但是,設為C=Cr或Cb。j表示色差成分之組成,例如YUV4:2:0信號時,j=0係表示Cr成分,j=1係表示Cb成分。
如上述說明,於第1實施形態,於WP參數資訊之中,若清單0及清單1之2個參照清單內存在著包含互相同一之參照影像的組合時,索引設定部108係藉由將2個參照清單轉換為共通清單,由WP參數資訊刪除重複之冗長之WP參數而產生索引資訊。因此,依據第1實施形態可以削減索引資訊之編碼量。
特別是,權重係數及偏移值需要對應於每一個參照影像進行編碼,隨著參照影像張數之增加,解碼器之信號處理之資訊量亦增大,隨著參照影像張數增加,於參照清單內參照同一參照影像之情況亦增加,因此藉由共通清單之管理可實現大幅削減編碼量之效果。
(第1實施形態之變形例)
說明第1實施形態之變形例。於第1實施形態之變形例,索引產生部402使用之語法要素係和第1實施形態之語法要素不同。
圖22係表示第1實施形態之變形例之序列參數群組 語法504之一例之圖。profile_idc,係表示編碼資料之profile(輪廓)相關的資訊之識別子。level_idc為,編碼資料之層級相關的資訊之表示用識別子。seq_parameter_set_id,係表示參照其中之一之序列參數群組語法504之識別子。num_ref_frames,係表示幀之中之參照影像之最大張數之變數。weighted_prediction_enabled_flag為,例如和編碼資料相關的變形例之附加權重之動態補償預測之有效或無效之表示用語法要素。
weighted_prediction_enabled_flag為0時,編碼資料內之變形例之附加權重之動態補償預測成為無效。因此,WP參數資訊所包含的WP適用旗標被常時設為0,WP選擇器304、305,係將各個輸出端連接於預設動態補償部301。另外,weighted_prediction_enabled_flag為1時,編碼資料內全域之變形例之附加權重之動態補償預測成為有效。
另外,作為其他之例,weighted_prediction_enabled_flag為1時,可於更下位之層級(映像參數群組,適用參數群組,片段標頭,編碼樹狀區塊,轉換單元,及預測單元等)之語法,針對片段內部之局部區域之每一區域,來規定變形例之附加權重之動態補償預測之有效或無效
圖23係表示第1實施形態之變形例之適用參數群組語法506之一例之圖。適用參數群組語法506,係保持著對編碼幀全體提供影響的參數,而作為上位單元被獨立進行編碼。例如於H‧264,係以和高層級語法501相當的 語法要素作為NAL單元進行編碼。因此,適用參數群組語法506,其之編碼單元係和片段層級語法502更下位之語法不同者,該片段層級語法502係保持著以片段或畫素區塊為代表的下位資訊之參數者。
aps_id為識別子,係用於表示參照其中之一適用參數群組語法506。藉由參照本識別子,下位之片段可以參照編碼完成之任意之aps_id。此情況下,例如對圖20之片段標頭語法507亦附加同樣之aps_id,則可以讀取對幀全體提供影響的參數。
aps_weighted_prediction_flag為語法要素,係用於表示例如幀之中和P-slice相關的變形例之附加權重之動態補償預測之有效或無效。aps_weighted_prediction_flag為0時,幀內之中P-slice之變形例之附加權重之動態補償預測成為無效。因此,WP參數資訊所包含的WP適用旗標被常時設為0,WP選擇器304、305係將各個輸出端連接於預設動態補償部301。另外,aps_weighted_prediction_flag為1時,於該幀內全域,變形例之附加權重之動態補償預測成為有效。
另外,作為其他之例,aps_weighted_prediction_flag為1時,亦可於更下位之層級(片段標頭,編碼樹狀區塊,轉換單元,及預測單元等)之語法,對應於片段內部之局部區域之每一區域來規定變形例之預測之附加權重之動態補償預測之有效或無效。
aps_weighted_bipred_idx為語法要素,係用於表示例 如幀之中和B-slice相關的變形例之附加權重之動態補償預測之有效或無效。aps_weighted_bipred_idx為0時,幀內之中P-slice之變形例之附加權重之動態補償預測為無效。因此,WP參數資訊所包含的WP適用旗標被常時設為0,WP選擇器304、305係將各個輸出端連接於預設動態補償部301。另外,aps_weighted_bipred_idx為1時,於該幀內全域,變形例之附加權重之動態補償預測成為有效。
另外,作為其他之例,aps_weighted_bipred_idx為1時,亦可於更下位之層級(片段標頭,編碼樹狀區塊,轉換單元,及預測單元等)之語法,對應於片段內部之局部區域之每一區域變形例來規定預測之附加權重之動態補償預測之有效或無效。
pred_weight_table()為函數,係用於表示被附加權重之動態補償預測所利用的pred weight table syntax,前述之aps_weighted_prediction_flag為1時,或aps_weighted_bipred_idx為1時,本函數被叫出。
圖24係表示第1實施形態之變形例之pred weight table syntax508之一例。於第1實施形態之變形例,係於圖18之語法構造,由適用參數群組語法506叫出pred weight table syntax508。其和圖21之pred weight table syntax508之間的差異在於,num_ref_common_active_minus1被變更為MAX_COMMON_REF_MINUS1。參照影像之張數係記述於片段標頭語法507,因此無法於 上位層級、亦即適用參數群組語法506進行參照。因此,例如係將序列參數群組語法504所記述之num_ref_frames之值減掉1後之值,設定於MAX_COMMON_REF_MINUS1。另外,亦可對應於事先設定之profile或層級,來決定獲取最大之參照影像張數之值。另外,其他之語法要素則和圖21相同。
如上述說明,依據第1實施形態之變形例,設定成為由適用參數群組語法506叫出pred weight table syntax508之構造,則可以大幅削減1幀被分割為複數個片段時之WP參數資訊之編碼量。
例如針對持有所利用之3種類之不同的WP參數資訊的適用參數群組語法506先行實施編碼,片段標頭語法507可以依據狀況,藉由aps_id之使用而叫出必要的WP參數資訊,如此則,和在片段標頭語法507常時對WP參數資訊進行編碼之構成比較,更能削減編碼量。
(第2實施形態)
說明第2實施形態。第2實施形態之編碼裝置600,其之索引設定部608之構成係和第1實施形態之編碼裝置100不同。以下主要說明和第1實施形態之差異點,針對和第1實施形態同樣之機能之構成要素,則附加和第1實施形態同樣之名稱‧符號,省略其之說明。
圖25係表示第2實施形態之索引設定部608之構成之一例之方塊圖。索引設定部608,如圖25所示,係具 備再利用判斷部601,及索引產生部602。
再利用判斷部601,係進行清單1之參照編號與清單0之參照編號之比對,判斷是否以清單0之WP參數資訊作為清單1之WP參數資訊予以再利用。2個參照清單間包含同一之參照影像,而且對應之WP參數資訊之值為同一時,除了對清單0以外,亦對清單1進行同一資訊之編碼時會導致編碼量之增大。因此,再利用判斷部601,係再利用清單0之WP參數資訊。
具體言之為,再利用判斷部601,當再利用清單0之WP參數資訊時係將再利用旗標設為1,以參照對象(清單0)之參照編號為參照資訊予以設定。另外,再利用判斷部601,當不再利用清單0之WP參數資訊時係將再利用旗標設為0,將清單1之參照編號所對應之WP參數資訊設定於語法。
再利用判斷部601,例如係依據數式(11)所示虛擬碼,針對是否以清單0之WP參數資訊作為清單1之WP參數資訊予以再利用進行判斷。
for(refIdx=0;refidx<=num_of_active_ref_l1_minus1;refIdx++){ refPOC=RefPicOrderCnt(ListL1,refIdx) refWP=RefWPTable(ListL1,refIdx) reuse_wp_flag=false; reuse_ref_idx=0; for(curridx=0;curridx<=num_of_active_ref_l0_minus1;curridx++) { if(refPOC==RefPicOrderCnt(ListL0,curridx) && RefWPTable(ListL0,curridx,refWP)){ reuse_wp_flag=true; reuse_ref_idx=curridx; } } }…(11)
於此,ListL0係表示清單0,ListL1係表示清單1。RefWPTable()係在清單編號、參照編號及參照用WP參數被輸入時將旗標予以送回之函數,該旗標則用於表示所輸入之參照用WP參數是否合所輸入之清單編號及參照編號所對應之WP參數一致。旗標之值為1時係表示兩WP參數為一致。於數式(11)所示虛擬碼,依序對清單1之參照編號進行掃描,清單0之中存在同一之POC編號之參照影像時,WP參數為同一時,係將再利用旗標之表示用reuse_wp_flag設定於ture之同時,將清單0之對應之參照編號設定於reuse_ref_idx。
再利用判斷部601,係將再利用判斷後之(再利用之設定進行後之)WP參數資訊予以輸出,而輸入至索引產生部602。
索引產生部602,係由再利用判斷部601受取再利用判斷後之WP參數資訊,將其映射至後述之語法要素而產生索引資訊。另外,索引產生部602所進行映射之語法要素,係合第1實施形態不同。索引產生部602,係輸出索引資訊,而輸入至編碼部110。
圖26係表示第2實施形態之索引設定部608實施的索引資訊之產生處理之一例之流程。
再利用判斷部601,當WP參數資訊被輸入時,係依據slice-type進行處理之分歧(步驟S201)。
slice-type為僅使用1個參照清單之單向預測slice(P-slice)時(步驟S201為否),再利用判斷部601係直接將圖9A所示WP參數資訊輸出至索引產生部602。索引產生部602,係將由再利用判斷部601輸入之WP參數資訊映射至後述之事先設定的語法要素而產生索引資訊予以輸出。
另外,slice-type為使用2個參照清單的雙向預測slice(B-slice)時(步驟S201為是),再利用判斷部601,係將變數refIdc初期化為0(步驟S202)。變數refIdc,係表示清單1之參照編號。
接著,再利用判斷部601,係將變數refIdx所示參照編號對應之參照影像之POC編號之表示用的變數refPOC予以導出之同時(步驟S203),將變數refIdx所示參照編號對應之WP參數予以導出(步驟S204)。
接著,再利用判斷部601,係將旗標reuse_wp_flag 設為false之同時(步驟S205),將變數curridx設為0(步驟S206)。旗標reuse_wp_flag,係用於表示清單0與清單1之WP參數是否為同一。變數curridx,係表示清單0之參照編號。
接著,再利用判斷部601,係針對導出之變數refPOC所示POC編號與變數curridx所示參照編號對應之參照影像之POC編號是否為同一,而且變數refIdx所示參照編號對應之WP參數與變數curridx所示參照編號對應之WP參數是否為同一進行判斷(步驟S207)。
兩POC編號及兩WP參數為同一時(步驟S207為是),再利用判斷部601,係將旗標reuse_wp_flag設為true之同時(步驟S208),將變數curridx之值代入變數reuse_ref_idx(步驟S209)。另外,兩POC編號或兩WP參數非為同一時(步驟S207為否),不進行步驟S208,S209之處理。另外,亦可構成為不進行POC編號之一致之確認。
接著,再利用判斷部601,係進行變數curridx之昇數計數(increment)(步驟S210)。
接著,再利用判斷部601,係針對變數curridx之值是否較清單0之最大數減掉1之值、亦即num_of_active_ref_l0_minus1為大進行判斷(步驟S211),在num_of_active_ref_l0_minus1以下之間(步驟S211為否),則重複進行步驟S207~步驟S210之處理。
大於num_of_active_ref_l0_minus1時(步驟S211為 是),再利用判斷部601,係結束清單0之確認,對變數refIdx進行昇數計數(步驟S212)。
接著,再利用判斷部601,係針對變數refIdx之值是否較清單1之最大數減掉1之值、亦即num_of_active_ref_l1_minus1為大進行判斷(步驟S213),在num_of_active_ref_l1_minus1以下之間(步驟S213為否),則重複步驟S203~步驟S212之處理。
大於num_of_active_ref_l1_minus1時(步驟S213為是),再利用判斷部601,係結束清單1之確認,將再利用判斷後之WP參數資訊輸出至索引產生部602。索引產生部602,係將再利用判斷部601所輸入之WP參數資訊映射至後述之事先設定的語法要素而產生索引資訊並輸出。
圖27係表示第2實施形態之pred weight table syntax506之一例之。圖27所示語法要素之中附加有l0、l1之記號者分別對應於清單0、1。另外,接頭語和圖21為同一之語法要素,並非共通清單而是清單0或清單1存在差異,除參照清單之處理不同以外均作為同一之變數予以利用。例如luma_weight_l0[i]之語法要素,係用於表示參照清單l0之中參照編號第i編號之權重係數者。
luma_log2_weight_denom及chroma_log2_weight_denom,係和第1實施形態同一之構成。首先,針對附加有l0之記號的清單0,進行luma_weight_l0_flag,luma_weight_l0[i],luma_offset_l0[i], chroma_weight_l0_flag,chroma_weight_l0[i][j],及chroma_offset_l0[i][j]之定義。接著,針對附加有l1之記號的清單1相關的語法要素進行定義。
於此,reuse_wp_flag之語法要素,係用於表示清單0所對應之10之WP參數是否予以再利用。reuse_wp_flag為1時,權重係數及偏移值不被進行編碼,reuse_ref_idx被進行編碼。reuse_ref_idx,係用於表示清單0所對應之10之哪一參照編號對應之WP參數被利用。例如reuse_ref_idx為1時,清單0之參照編號1所對應之WP參數係被複製至清單1之參照編號i所對應之WP參數。reuse_wp_flag為0時,係和清單0同樣,luma_weight_l1_flag、luma_weight_l1[i]、luma_offset_l1[i]、chroma_weight_l1_flag、chroma_weight_l1[i][j]及chroma_offset_l1[i][j]被進行編碼。
如上述說明,於第2實施形態,於WP參數資訊之中,當清單0及清單1之2個參照清單內存在包含互為同一之參照影像的組合,索引設定部608係藉由重複之WP參數之再利用,將重複之冗長之WP參數由WP參數資訊予以刪除而產生索引資訊。因此,依據第2實施形態,可削減索引資訊之編碼量。
於第2實施形態,清單0所對應之WP參數資訊係和習知同樣進行編碼,對清單1所對應之WP參數資訊進行編碼時,係確認清單0內是否參照同一參照影像,參照同一參照影像,WP參數亦為同一時,係對清單0之WP參 數進行再利用的旗標實施編碼之同時,對用於表示和清單0之哪一參照編號對應的資訊進行編碼。彼等之資訊,相對於權重係數及偏移值相關的資訊量為極少的資訊,因此,和分別對清單0及清單1進行編碼之情況比較,可以大幅削減WP參數資訊之編碼量。
另外,於第2實施形態,清單0及清單1所包含的參照編號指定同一之參照影像,而且WP參數不同時,可以設定不同的WP參數。亦即,參照清單內存在著指定同一之參照影像之組合時,第1實施形態係以強制性設定同一之WP參數,第2實施形態怎僅於WP參數為同一時,將同一WP參數之冗長之表現予以刪除。
(第3實施形態)
第3實施形態之說明。圖28係表示第3實施形態之編碼裝置700之構成之一例之方塊圖。第3實施形態之編碼裝置700,其和第1實施形態之編碼裝置100之差異在於另位具備:動態資訊記憶體701,動態資訊取得部702,及切換開關703。以下主要說明第1實施形態之差異點,針對和第1實施形態具有的同樣之機能之構成要素,則附加和第1實施形態同樣之名稱‧符號,而省略其說明。
動態資訊記憶體701,係以編碼結束之畫素區塊所適用之動態資訊,作為參照動態資訊暫時予以儲存。於動態資訊記憶體701,係對動態資訊進行補助取樣等之壓縮處 理,而削減資訊量亦可。
圖29係表示第3實施形態之動態資訊記憶體701之詳細例。動態資訊記憶體701,如圖29所示,係另具有的:以幀或片段單位予以保持,以同一幀上之動態資訊作為參照動態資訊710予以儲存的空間方向參照動態資訊記憶體701A,及以已完成編碼之幀之動態資訊作為參照動態資訊710予以儲存的時間方向參照動態資訊記憶體701B。時間方向參照動態資訊記憶體701B,可以對應於預測使用之參照幀之數而具有的複數個編碼對象幀。
參照動態資訊710,係依據特定之區域單位(例如4×4畫素區塊單位)被保持於空間方向參照動態資訊記憶體701A及時間方向參照動態資訊記憶體701B內。參照動態資訊710係另具有的資訊,該資訊用於表示該區域係以後述之幀間預測進行編碼或已後述之幀內預測進行編碼。另外,畫素區塊(編碼單元或預測單元)為如H‧264所規定的跳過模態(skip mode),直接模態(direct mode)或後述之合併模態(merge mode)般,動態資訊內之動態向量之值不被進行編碼,使用已預測的動態資訊而由編碼完成之區域進行幀間預測時,該畫素區塊之動態資訊係作為參照動態資訊710被保持。
編碼對象之幀或片段之編碼處理終了之後,該幀之空間方向參照動態資訊記憶體701A,係作為接著進行編碼處理之幀所使用的時間方向參照動態資訊記憶體701B而變更其之處理。此時,為削減時間方向參照動態資訊記憶 體701B之記憶體容量,可將動態資訊予以壓縮,將壓縮後之動態資訊儲存於時間方向參照動態資訊記憶體701B。
動態資訊取得部702,係由動態資訊記憶體701被輸入參照動態資訊,而輸出編碼畫素區塊所使用之動態資訊B。動態資訊取得部702之詳細如後述。
切換開關703,係依據後述之預測模態資訊,而由動態資訊取得部702輸出的動態資訊B,與由動態評估部109輸出的動態資訊A之中,選擇其一作為動態資訊而輸出至預測影像產生部107。動態評估部109所輸出之動態資訊A,係身對由未圖示之預測動態向量取得部取得的預測動態向量之差分資訊,或預測動態向量取得位置資訊進行編碼。以下稱此種預測模態為幀間模態。另外,依據預測模態資訊而由動態資訊取得部702輸出之動態資訊B,係由鄰接的畫素區塊將動態資訊予以合併,而直接適用於編碼畫素區塊,因此其他動態資訊相關的資訊(例如動態向量差分資訊)之編碼為不要。之後,稱此種預測模態為合併模態。
預測模態資訊,係依據編碼控制部111控制之預測模態,而包含切換開關703之切換資訊。
以下,說明動態資訊取得部702之詳細。
動態資訊取得部702,係以參照動態資訊作為輸入,而將動態資訊B輸出至切換開關703。圖30A及圖30B係表示,將對於第3實施形態之編碼畫素區塊的動態資訊候 補予以導出之區塊位置之一例。圖30A之中之A~E,係表示對編碼畫素區塊導出動態資訊候補的空間域上鄰接的畫素區塊,圖30B之中之T,係表示導出動態資訊候補之時間域上鄰接的畫素區塊。
圖31係表示,第3實施形態之複數個動態資訊候補之畫素區塊位置與畫素區塊位置索引(idx)之關係之一例之圖。動態資訊候補之區塊位置,係依據空間域上鄰接的區塊位置(A~E),時間域上鄰接的畫素區塊位置(T)之順序被並排,於該順序存在著Available(適用於幀間預測)之畫素區塊時,在到達對合併模態之儲存清單MergeCandList儲存的動態資訊之最大數(N-1)為止依順對idx實施分配。
圖32係表示第3實施形態之對MergeCandList之儲存處理之一例之流程。
首先,動態資訊取得部702,係係將MergeCandList之儲存數numMergeCand初期化為0(步驟S301)。
接著,動態資訊取得部702,係對全部之空間鄰接區塊(例如區塊A~E)判斷是否為Available(步驟S302,S303)。Available時(步驟S303為是),動態資訊取得部702,係將該空間鄰接區塊之動態資訊儲存於MergeCandList,進行numMergeCand之昇數計數(步驟S304)。非為Available時(步驟S303為否),動態資訊取得部702不進行步驟S304之處理。
動態資訊取得部702,在對全部空間鄰接區塊實施步 驟S303、S304之處理後(步驟S305),係對時間鄰接區塊(例如區塊T)判斷是否為Available(步驟S306)。
Available時(步驟S306為是),動態資訊取得部702,係將該時間鄰接區塊T之動態資訊儲存於MergeCandList,進行numMergeCand之昇數計數(步驟S307)。非為Available時(步驟S306為否),動態資訊取得部702不進行步驟S307之處理。
接著,動態資訊取得部702,係將MergeCandList內重複的動態資訊予以刪除,在刪除之數之範圍內進行numMergeCand之降數計數(decrement)(步驟S308)。於判斷MergeCandList內重複的動態資訊存在否時,係判斷MergeCandList內之2種類之動態資訊(動態向量mv,參照編號refIdx)與WP參數資訊是否一致,全部資訊一致時,將其中依方由MergeCandList[]予以刪除。
圖33係表示第3實施形態之動態資訊之儲存清單之一例之圖,詳言之為,設為N=5,對應於圖31所示表,而表示各idx所對應之動態資訊(動態向量mv,參照編號refIdx)之儲存清單(MergeCandList[idx])之一例。於圖33,idx=0係指清單0之參照動態資訊(動態向量mv0L0,參照編號refIdx0L0),idx=1係指清單1之參照動態資訊(動態向量mv1L1,參照編號refIdx1L1),idx=2~4係指清單0及清單1之兩方之參照動態資訊(動態向量mv2L0,mv2L1,參照編號refIdx2L0,refIdx2L1)被儲存。
編碼畫素區塊,係選擇最大N種類之idx之其中之一,由MergeCandList[idx]導出所選擇之idx對應之畫素區塊之參照動態資訊,作為動態資訊B而輸出。另外,當參照動態資訊不存在時,編碼畫素區塊係以具有的0向量的動態資訊作為預測動態資訊候補B予以輸出。選擇之idx之資訊(後述之語法merge_idx)係包含於預測模態資訊,於編碼部110被編碼。
另外,空間及時間域上鄰接的區塊不限定於圖30A及圖30B,只要是已編碼完成之區域即可為任一位置。另外,作為上記清單之其他之例,對MergeCandList之儲存最大數(N)或順序並不限定於上述,而可使用任意之順序‧最大數。
編碼片段為B片段,即使將空間‧時間域上鄰接的畫素區塊之參照動態資訊儲存於MergeCandList[]亦未達儲存最大數(N)時,係將於該時點被儲存於MergeCandList[]之清單0及清單1之動態資訊相互予以組合,而產生新的雙向預測,儲存於MergeCandList[]。
圖34係表示第3實施形態之對動態資訊之儲存清單之儲存方法之一例之流程。
首先,動態資訊取得部702,係將由空間‧時間域上呈鄰接的畫素區塊對MergeCandList之儲存數設為numInputMergeCand,藉由numInputMergeCand對現在之儲存數之表示用變數numMergeCand進行初期化之同時,將變數combIdx及combCnt初期化為0(步驟S401)。
接著,動態資訊取得部702,係使用新產生的雙向預測之組合(圖35參照),由combIdx導出變數l0CandIdx、變數l1CandIdx(步驟S402)。另外,由combIdx導出變數l0CandIdx、變數l1CandIdx之組合,不限定於圖36所示例,只要不重複即可重排為任意之順序。
接著,動態資訊取得部702,係將MergeCandList[l0CandIdx]儲存之參照動態資訊(雙向預測時為清單0及清單1之2種類)設定於l0Cand。將l0Cand之中之參照編號稱為refIdxL0l0Cand,將動態向量稱為mvL0l0Cand。同樣,動態資訊取得部702,係將MergeCandList[l1CandIdx]所儲存的參照動態資訊設定於l1Cand。稱呼l1Cand之中之參照編號為refIdxL1l1Cand,稱呼動態向量為mvL1l1Cand(步驟S403)。將使用l0Cand作為清單0之動態資訊,使用L1Cand作為清單1之動態資訊而進行雙向預測的動態資訊之組合稱為combCand。
接著,動態資訊取得部702,係使用條件式(12)~(15),針對l0Cand與l1Cand參照之區塊是否同一進行判斷(步驟S404)。
l0Cand,l1Cand為Available否?…(12)
RefPicOrderCnt(refIdxL0l0Cand,L0)!=RefPicOrderCnt(refIdxL1l1Cand,L1 )…(13)
mvl0l0Cand!=mvL1l1Cand…(14)
WpParam(refIdxL0l0Cand,L0)!=WpParam(refIdxL1l1Cand,L1)…(15)
RefPicOrderCnt(refIdx,LX),係於參照清單X(X=0,1),將參照編號refIdx對應之參照幀之POC(Picture Order Count)予以導出的函數。WpParam(refIdx,LX),係於參照清單X(X=0,1),將參照編號refIdx所對應之參照幀之WP參數資訊予以導出的函數。該函數,在清單0之參照幀與清單1之參照幀並非同一之WP參數(WP之有無WP_flag,權重係數Weight,偏移值Offset)時係回送Yes(是),完全為同一之參數時係回送No(否)。作為WpParam()之其他之例,可以無須確認全部參數之一致性,僅確認WP之有無WP_flag及偏移值Offset之一致等,而僅使用WP參數之一部之資料進行判斷亦可。
滿足條件式(12),而且滿足條件式(13)~(15)之其中之一時(步驟S404為是),動態資訊取得部702,係針對mergeCandList[]內是否存在使用和10Cand及11Cand為同一之組合的雙向預測進行判斷(步驟S405)。
mergeCandList[]內不存在和l0Cand及l1Cand為同一之組合時(步驟S405為是),動態資訊取得部702,係將該combCand追加於mergeCandList之最後尾(步驟S406)。具體言之為,動態資訊取得部702,係將combCand代入mergeCandList[numMergeCand],進行numMergeCand及combCnt之昇數計數。
接著,動態資訊取得部702,係進行combIdx之昇數計數(步驟S407)。
接著,動態資訊取得部702,係使用條件式(16)~(18),針對對mergeCandList〔 〕之儲存是否終了進行判斷(步驟S408)。
combIdx==numInputMergeCand*(numInputMergeCand?1))…(16)
numMergeCand==maxNumMergeCand…(17)
combCnt==N...(18)
滿足條件式(16)~(18)之其中之一時(步驟S408為是),處理終了,條件式(16)~(18)之其中之任一均滿足時(步驟S408為否),回至步驟S402。
以上係關於編碼片段為B片段,將空間‧時間域上呈鄰接的畫素區塊之參照動態資訊儲存於MergeCandList[]時亦未達儲存最大數(N)時之處理之說明。藉由以上,動態資訊B可由動態資訊取得部702被輸出至切換開關703。
圖36係表示第3實施形態之pred unit syntax512之一例之圖。旗標skip_flag,係用於表示預測單元語法(prediction unit syntax)所屬編碼單元之預測模態是否為跳過模態。skip_flag為1時,表示不對預測模態資訊以外之語法(編碼單元語法,預測單元語法,轉換單元語法)進行編碼。skip_flag為0時,表示預測單元語法所屬 編碼單元之預測模態非為跳過模態。
接著,針對旗標merge_flag進行編碼,該merge_flag係表示編碼畫素區塊(預測單元)是否為合併模態。Merge_flag之值為1時,表示預測單元為合併模態,值為0時表示預測單元係使用幀間模態。Merge_flag之情況,係針對用來界定前述之畫素區塊位置索引(idx)的資訊、亦即merge_idx進行編碼。
Merge_flag為1時,merge_flag、merge_idx以外之預測單元語法無須進行編碼,Merge_flag為0時,表示預測單元為幀間模態。
如上述說明,於第3實施形態,編碼裝置700在同時適用附加權重之動態補償與合併模態時,針對空間‧時間域上呈鄰接的畫素區塊之參照動態資訊,將合併模態之儲存清單(MergeCandList)內之重複的動態資訊刪除時,可以消除動態向量及參照編號一致,而WP參數資訊不同之情況下,由MergeCandList被刪除之問題。另外,在對MergeCandList之儲存而乃未達儲存最大數(N)時,於該時點係將MergeCandList所儲存的清單0及清單1之動態資訊相互予以組合,而產生新的雙向預測,可以消除儲存於MergeCandList[]時,雙向預測所使用之2種類之動態資訊參照同一區塊之問題。
雙向預測所使用之2種類之動態資訊參照同一區塊時,雙向預測之預測值和單向預測之預測值之值成為一致。一般而言,雙向預測之預測效率高於單向預測之預測 效率,雙向預測所使用之2種類之動態資訊不參照同一區塊為較好。編碼裝置700,在針對雙向預測所使用之2種類之動態資訊是否參照同一區塊進行判斷時,除由動態向量、參照編號導出的參照幀編號位置(POC)以外,亦將附加權重之動態補償之參數導入判斷項目。如此則,即使動態向量與參照幀編號位置(POC)為同一之情況,編碼裝置700亦判斷為附加權重之動態補償之參數之不同的2種類之動態資訊並未參照同一區塊,可以提升合併模態之儲存清單儲存的雙向預測所使用之動態資訊之預測效率。
另外,作為對MergeCandList之儲存處理之其他之例,在將時間鄰接區塊T之動態資訊儲存於MergeCandList時,可以針對時間鄰接區塊T之參照幀之中之WP參數與編碼畫素區塊之參照幀之中之WP參數是否為一致進行判斷,僅於WP參數一致時,將其儲存於MergeCandList。此係因為推斷為時間鄰接區塊T之參照幀之中之WP參數與編碼畫素區塊之參照幀之中之WP參數不同時,時間鄰接區塊T與編碼畫素區塊之動態資訊之相關性降低。
圖37係表示第3實施形態之對MergeCandList之儲存處理之另一例之流程。圖38所示流程,係除步驟S507以外均和圖32所示流程為同一。
另外,作為再另一例,在時間鄰接區塊T之參照幀之中之WP參數與編碼畫素區塊之參照幀之中之WP參數不同時,於區塊T之空間域上鄰接的區塊之中,可已使用編 碼畫素區塊之參照幀之中之WP參數為同一的區塊,來替換區塊T。此時,時間鄰接區塊T與編碼畫素區塊之間的動態資訊之相關性不會降低。
(第4實施形態)
第4實施形態係說明針對第1實施形態之編碼裝置編碼完成的編碼資料進行解碼的解碼裝置。
圖38係表示第4實施形態之解碼裝置800之構成之一例之方塊圖。
解碼裝置800,係將未圖示之輸入緩衝器等所儲存的編碼資料解碼成為解碼影像,作為輸出影像而輸出至未圖示之輸出緩衝器。編碼資料,係例如由圖1之編碼裝置100等被輸出,經由未圖示之儲存系,傳送系,或緩衝器等,而輸入至解碼裝置800。
解碼裝置800,如圖38所示,係具備解碼部801,逆量化部802,逆正交轉換部803,加算部804,預測影像產生部805,及索引設定部806。逆量化部802,逆正交轉換部803,加算部804,預測影像產生部805實質上分別為和圖1之逆量化部104,逆正交轉換部105,加算部106,預測影像產生部107同一或類似之要素。另外,圖38所示解碼控制部807,係控制解碼裝置800者,例如可由CPU等實現。
解碼部801,為進行編碼資料之解碼,係對應於每一幀或每一場依據語法進行解讀。解碼部801,係對各語法 之編碼列依順進行亂度解碼,將包含預測模態、動態向量及參照編號等的動態資訊、附加權重之動態補償預測用之索引資訊,以及量化轉換係數等之編碼對象區塊之編碼參數予以再生。編碼參數係指上記以外之轉換係數相關的資訊或量化相關的資訊等解碼所必要的全部參數。解碼部801,係將動態資訊、索引資訊及量化轉換係數予以輸出,將量化轉換係數輸入至逆量化部802,將索引資訊輸入至索引設定部806,將動態資訊輸入至預測影像產生部805。
逆量化部802,係對由解碼部801輸入之量化轉換係數進行逆量化處理,獲得復原轉換係數。具體言之為,逆量化部802,係依據解碼部801使用的量化資訊進行逆量化。更詳言之為,逆量化部802,係將由量化資訊所導出的量化間距尺寸(quantization step size)和量化轉換係數予以相乘,而獲得復原轉換係數。逆量化部802,係將復原轉換係數輸出,而輸入至逆正交轉換部803。
逆正交轉換部803,係對由逆量化部802輸入之復原轉換係數,進行和編碼側進行的正交轉換所對應之逆正交轉換,獲得復原預測誤差。逆正交轉換部803,係輸出復原預測誤差,而輸入至加算部804。
加算部804,係將逆正交轉換部803所輸入之復原預測誤差,和對應之預測影像予以相加,產生解碼影像。加算部804,係將解碼影像予以輸出,而輸入至預測影像產生部805。另外,加算部804,係將解碼影像作為輸出影 像輸出至外部。輸出影像,之後係於未圖示之外部之輸出緩衝器等暫時被儲存,例如依據解碼控制部807管理的輸出時序,被輸出至未圖示之顯示器或監控器等之表示裝置系或映像裝置系。
索引設定部806,係受取由解碼部801輸入之索引資訊,進行參照清單(清單編號)與參照影像(參照編號)之確認,輸出WP參數資訊,而輸入至預測影像產生部805。
圖39係表示第4實施形態之索引設定部806之構成之一例之方塊圖。索引設定部806,係如圖39所示,具備參照影像確認部901,及WP參數產生部902。
參照影像確認部901,係由解碼部801受取索引資訊,針對2個參照清單所包含的參照編號是否互相指定同一之參照影像進行確認。
於此,參照清單內之參照編號,係例如藉由H‧264等規定之方法已經被解讀。因此,參照影像確認部901,係依據H‧264等規定的Decoded Picture Buffer(DPB)之管理,使用所導出的參照清單及參照編號,可以確認指定同一之參照影像的組合是否存在。另外,關於DPB之控制,亦可為H‧264等描述之方式,或其他之方式。於此,藉由DPB控制事先確定參照清單與參照編號即可。
參照影像確認部901,係作成共通參照清單,依據圖14所示掃描順序來確認參照清單與參照編號。另外,共通參照清單,係依據數式(10)所示虛擬碼被作成。
WP參數產生部902,係依據參照影像確認部901所確認的參照清單與參照編號之關係,由作成的共通參照清單產生參照清單與參照編號所對應之WP參數資訊並輸出之,將其輸入至預測影像產生部805。關於WP參數資訊,係參照圖9A及圖9B已經被說明,於此省略其說明。
WP參數產生部902,係依據共通清單,使用common_scan_list()函數及common_scan_ref_idx()函數,針對經由掃描而被抽掉參照清單與參照編號之位置進行WP參數資訊之補填。
亦即,使圖15、圖16之共通清單分別復原成為圖11、圖13,依據彼等之對應,將共通清單所對應之索引資訊分配給圖9A及圖9B所示之WP參數資訊。
另外,圖14所示掃描順序僅為一例,只要是事先設定之掃描順序即可,可使用其以外之掃描順序。另外,數式(10)所示虛擬碼為一例,只要能實現本處理之目的,則可以進行處理之追加或冗長之處理之削減。
回至圖38,預測影像產生部805,係使用由解碼部801輸入之動態資訊,由索引設定部806輸入之WP參數資訊,及由加算部804輸入之解碼影像,來產生預測影像。
於此,參照圖4之同時,詳細說明預測影像產生部805。預測影像產生部805,係和預測影像產生部107同樣,具備複數幀動態補償部201,記憶體202,單向動態 補償部203,預測參數控制部204,參照影像選擇器205,幀記憶體206,及參照影像控制部207。
幀記憶體206,係於參照影像控制部207之控制之下,以由加算部106輸入之解碼影像作為參照影像予以儲存。幀記憶體206,係具有的用於暫時保存參照影像的複數個記憶體群組FM1~FMN(N≧2)。
預測參數控制部204,係依據由解碼部801輸入的動態資訊,而準備參照影像編號與預測參數之複數個組合之表格。於此,動態資訊,係指用於表示動態補償預測使用之動態之偏移量的動態向量或參照影像編號、單向/雙向預測等之預測模態相關的資訊等。預測參數係指動態向量及預測模態相關的資訊。預測參數控制部204,係依據動態資訊,來選擇預測影像之產生所使用之參照影像編號與預測參數之組合並輸出之,將參照影像編號輸入至參照影像選擇器205,將預測參數輸入至單向動態補償部203。
參照影像選擇器205為切換開關,其依據由預測參數控制部204輸入之參照影像編號,針對幀記憶體206具有的的幀記憶體FM1~FMN之其中之一輸出端之連接進行切換。參照影像選擇器205,例如參照影像編號為0,則將FM1之輸出端連接於參照影像選擇器205之輸出端,參照影像編號為N-1時,將FMN之輸出端連接於參照影像選擇器205之輸出端。參照影像選擇器205,係將幀記憶體206具有的幀記憶體FM1~FMN之中,輸出端被連接的幀記憶體所儲存之參照影像予以輸出,而輸入至單向 動態補償部203。另外,於解碼裝置800,除預測影像產生部805以外,參照影像並未被利用,因而無須將參照影像輸出至預測影像產生部805之外部。
單向預測動態補償部203,係依據由預測參數控制部204輸入之預測參數及由參照影像選擇器205輸入之參照影像,進行動態補償預測處理,產生單向預測影像。關於動態補償預測已如參照圖5之說明,於此省略其說明。
單向預測動態補償部203,係輸出單向預測影像,暫時儲存於記憶體202。於此,當動態資訊(預測參數)表示雙向預測時,複數幀動態補償部201係使用2種類之單向預測影像進行附加權重之預測,因此單向預測動態補償部203,係將第1個對應之單向預測影像儲存於記憶體202,將第2個對應之單向預測影像直接輸出至複數幀動態補償部201。於此,係以第1個對應之單向預測影像作為第一預測影像,以第2個對應之單向預測影像作為第二預測影像。
另外,亦可準備2個單向動態補償部203,分別產生2個單向預測影像。此情況下,當動態資訊(預測參數)表示單向預測時,單向動態補償部203可以第1個之單向預測影像作為第一預測影像而直接輸出至複數幀動態補償部201。
複數幀動態補償部201,係使用由記憶體202輸入的第一預測影像,由單向預測動態補償部203輸入的第二預測影像,及由動態評估部109輸入的WP參數資訊,進行 附加權重之預測而產生預測影像。複數幀動態補償部201,係輸出預測影像,而輸入至加算部804。
於此,參照圖6詳細說明複數幀動態補償部201。複數幀動態補償部201,係和預測影像產生部107同樣,具備:預設動態補償部301,附加權重之動態補償部302,WP參數控制部303,及WP選擇器304、305。
WP參數控制部303,係依據由索引設定部806輸入的WP參數資訊,將WP適用旗標及權重資訊予以輸出,將WP適用旗標輸入至WP選擇器304、305,將權重資訊輸入至附加權重之動態補償部302。
於此,WP參數資訊,係包含:權重係數之固定小數點精確度,第一預測影像所對應之第一WP適用旗標,第一權重係數,第一偏移值,第二預測影像所對應之第二WP適應旗標,第二權重係數,及第二偏移值之資訊。WP適用旗標,係可對應於該參照影像及信號成分之每一個予以設定的參數,用來表示是否進行附加權重之動態補償預測。權重資訊,係包含:權重係數之固定小數點精確度,第一權重係數,第一偏移值,第二權重係數,及第二偏移值之資訊。另外,WP參數資訊,係表示和第1實施形態同樣之資訊。
詳言之為,WP參數控制部303,當由索引設定部806被輸入WP參數資訊時,係由WP參數資訊將第一WP適用旗標、第二WP適用旗標及權重資訊予以分離輸出之,將第一WP適用旗標輸入至WP選擇器304,將第二WP 適用旗標輸入至WP選擇器305,將權重資訊輸入至附加權重之動態補償部302。
WP選擇器304、305,係依據由WP參數控制部303輸入之WP適用旗標,對各個預測影像之連接端進行切換。WP選擇器304、305,當各個WP適用旗標為0時,係將各個輸出端連接於預設動態補償部301。WP選擇器304、305,係將第一預測影像及第二預測影像予以輸出,而輸入至預設動態補償部301。另外,WP選擇器304、305,當各個WP適用旗標為1時,係將各個輸出端連接於附加權重之動態補償部302。WP選擇器304、305,係第一預測影像及第二預測影像予以輸出,而輸入至附加權重之動態補償部302。
預設動態補償部301,係依據由WP選擇器304、305輸入之2個單向預測影像(第一預測影像及第二預測影像)進行平均值處理,產生預測影像。具體言之為,預設動態補償部301,當第一WP適用旗標及第二WP適用旗標為0時,係依據數式(1)進行平均值處理。
另外,動態資訊(預測參數)所示之預測模態為單向預測時,預設動態補償部301,係僅使用第一預測影像,依據數式(4)算出最終的預測影像。
附加權重之動態補償部302,係依據由WP選擇器304、305輸入之2個單向預測影像(第一預測影像及第二預測影像)及由WP參數控制部303輸入之權重資訊進行附加權重之動態補償。具體言之為,附加權重之動態補 償部302,當第一WP適用旗標及第二WP適用旗標為1時,係依據數式(7)進行附加權重之處理。
另外,附加權重之動態補償部302,當第一預測影像及第二預測影像和預測影像間之運算精確度不同時,係使固定小數點精確度之logWDC控制成為數式(8)的方式而實現捨入處理。
另外,動態資訊(預測參數)所示之預測模態為單向預測時,附加權重之動態補償部302,係僅使用第一預測影像,依據數式(9)算出最終的預測影像。
另外,附加權重之動態補償部302,在第一預測影像及第二預測影像和預測影像間之運算精確度不同時,係以使固定小數點精確度之logWDC和雙向預測時同樣控制成為數式(8)而實現捨入處理。
關於權重係數之固定小數點精確度,已參照圖7加以說明,因此於此省略說明。另外,單向預測時,第二預測影像所對應之各種參數(第二WP適應旗標、第二權重係數、及第二偏移值之資訊)未被利用,因此設定為事先設定之初期值即可。
解碼部801,係利用圖18所示語法500。語法500,係表示解碼部801之解碼對象之編碼資料之構造。語法500已如參照圖18加以說明,因此於此省略說明。另外,關於映像參數群組語法505,除編碼改為解碼以外,已如參照圖19加以說明,因此於此省略說明。另外,關於片段標頭語法507,除編碼改為解碼以外,已如參照圖 20加以說明,因此於此省略說明。另外,關於pred weight table syntax508,除編碼改為解碼以外,已如參照圖21加以說明,因此於此省略說明。
如上述說明,於第4實施形態,解碼裝置800,在可以選擇雙向預測的雙向預測slice,在使用參照影像為同一、但參照影像編號不同的2個索引進行附加權重之動態補償時,藉由對具有同一之值的索引進行2次解碼,而可以消除編碼效率降低之問題。
將雙向預測slice所持有的2個參照清單及對應於每一清單被設定的參照編號,重排為共通清單及共通之參照編號,則參照清單內不存在指定同一參照影像的參照編號之組合,因此解碼裝置800可以削減冗長之索引之編碼量。
(第4實施形態之變形例)
第4實施形態之變形例之說明。於第4實施形態之變形例,解碼部801使用的語法要素係和第4實施形態之語法要素不同。關於序列參數群組語法504,除編碼改為解碼以外,已如參照圖22加以說明,因此於此省略說明。關於適用參數群組語法506,除編碼改為解碼以外,已如參照圖23加以說明,因此於此省略說明。關於pred weight table syntax508,除編碼改為解碼以外,已如參照圖24加以說明,因此於此省略說明。
如上述說明,依據第4實施形態之變形例,構成為由 適用參數群組語法506叫出pred weight table syntax508之構造,因此將1幀分割為複數個片段(slice)時可以大幅削減WP參數資訊之編碼量。
例如針對具有3種類之不同的WP參數資訊之適用參數群組語法506先行進行解碼,片段標頭語法507可視狀況而使用aps_id叫出必要的WP參數資訊,如此則,和在片段標頭語法507常時對WP參數資訊進行解碼之構成比較,可也削減編碼量。
(第5實施形態)
第5實施形態係說明針對第2實施形態之編碼裝置編碼完成的編碼資料進行解碼之解碼裝置。第5實施形態之解碼裝置1000,其之索引設定部1006之構成係和第4實施形態之解碼裝置800不同。以下主要說明其和第4實施形態之差異點,具有和第4實施形態同樣之機能的構成要素,則附加和第4實施形態同樣之名稱‧符號,而省略該說明。
圖40係表示第5實施形態之索引設定部1006之構成之一例之方塊圖。索引設定部1006,係如圖40所示,具備:再利用判斷部1001,及WP參數產生部1002
再利用判斷部1001,係進行再利用旗標之比對,確認是否再利用清單0之WP參數。WP參數產生部1002,當再利用清單0之WP參數時,係依據用來表示將清單0之哪一WP參數予以複製的資訊,而將參照對象之清單0 之WP參數複製至清單1之WP參數。關於再利用旗標及參照對象之表示用參照編號之相關的資訊,係描述於語法要素,藉由WP參數產生部1002之解釋索引資訊,而使WP參數資訊復原。
再利用判斷部1001,係依據例如數式(11)所示虛擬碼,來確認是否再利用清單0之WP參數。
關於pred weight table syntax508,除編碼改為解碼以外,已如參照圖27加以說明,因此於此省略說明。
如上述說明,於第5實施形態,解碼裝置1000,係於可選擇雙向預測的雙向預測slice,在使用參照影像為同一、但參照影像編號不同的2個索引進行附加權重之動態補償時,針對具有同一值之索引進行2次解碼,可以消除編碼效率降低之問題。
解碼裝置1000,係對清單0之索引如習知般進行解碼,在對清單1之索引進行解碼時,係確認參照清單內是否存在著指定同一參照影像的參照編號之組合,索引為同一時,係以清單1使用的索引作為清單0使用的索引予以再利用,如此則,可以迴避同一之索引被2度解碼,可削減冗長之索引之編碼量。
(第6實施形態)
第6實施形態係針對第3實施形態之編碼裝置編碼完成的編碼資料進行解碼的解碼裝置之說明。圖41係表示第6實施形態之解碼裝置1100之構成之一例之方塊圖。 第6實施形態之解碼裝置1100,其和第4實施形態之解碼裝置800之差異在於,另外具備:動態資訊記憶體1101,動態資訊取得部1102,及切換開關1103。以下主要說明其和第4實施形態之差異點,和第4實施形態同樣機能之構成要素,係附加和第4實施形態同樣之名稱‧符號,並省略該說明。
動態資訊記憶體1101,係以解碼終了的畫素區塊所適用之動態資訊作為參照動態資訊暫時予以儲存。於動態資訊記憶體1101,係對動態資訊進行補助取樣等之壓縮處理而削減資訊量亦可。動態資訊記憶體1101,如圖29所示,係另具有:以幀或片段單位被保持,以同一幀上之動態資訊作為參照動態資訊710予以儲存的空間方向參照動態資訊記憶體701A,及以已經解碼終了的幀之動態資訊作為參照動態資訊710予以儲存的時間方向參照動態資訊記憶體701B。時間方向參照動態資訊記憶體701B,係對應於解碼對象幀進行預測時所使用之參照幀之數,可以具有複數個。
參照動態資訊710,係依特定之區域單位(例如4×4畫素區塊單位)被保持於空間方向參照動態資訊記憶體701A及時間方向參照動態資訊記憶體701B內。參照動態資訊710係另具有資訊,該資訊則用於表示該區域係以後述之幀間預測進行編碼或已後述之幀內預測進行編碼。另外,畫素區塊(編碼單元或預測單元)如H‧264規定的跳過模態、直接模態或後述之合併模態般,動態資訊內之 動態向量之值不被進行解碼,而使用由解碼完成之區域實施預測後的動態資訊,被進行幀間預測之情況下,該畫素區塊之動態資訊係作為參照動態資訊710被保持。
解碼對象之幀或片段之解碼處理終了後,該幀之空間方向參照動態資訊記憶體701A,係被變更成為時間方向參照動態資訊記憶體701B之作用,而被使用於接著進行解碼處理之幀。此時,為削減時間方向參照動態資訊記憶體701B之記憶體容量,可進行動態資訊之壓縮,將壓縮動態資訊儲存於時間方向參照動態資訊記憶體701B。
動態資訊取得部1102,係由動態資訊記憶體1101被輸入參照動態資訊,而將解碼畫素區塊所使用之動態資訊B予以輸出。動態資訊取得部1102之動作,係和第3實施形態之動態資訊取得部702同一,因此省略該說明。
切換開關1103,係依據後述之預測模態資訊,而由動態資訊取得部1102所輸出之動態資訊B與解碼部801所輸出之動態資訊A之中選擇其一作為動態資訊而輸出至預測影像產生部805。解碼部801所輸出之動態資訊A,係對其和由未圖示之預測動態向量取得部取得的預測動態向量間之差分資訊,或預測動態向量取得位置資訊進行解碼。此種預測模態於後述被稱為幀間模態(intra mode)。另外,依據預測模態資訊而由動態資訊取得部1102被輸出之動態資訊B,係和鄰接的畫素區塊進行動態資訊之合併,而直接適用於解碼畫素區塊,因此無須對其他之動態資訊相關的資訊(例如動態向量差分資訊)進行 解碼。之後,稱此預測模態為合併模態。
預測模態資訊,係對應於解碼控制部807所控制之預測模態,而包含切換開關1103之切換資訊。
關於pred unit syntax512,除編碼改為解碼以外,已如參照圖36加以說明,因此於此省略說明。
第6實施形態之效果,係和第3實施形態同樣,因此省略說明。
另外,對MergeCandList之儲存處理之其他之例,可以構成為在將時間鄰接區塊T之動態資訊儲存於MergeCandList時,針對時間鄰接區塊T之參照幀之中之WP參數與解碼畫素區塊之參照幀之中之WP參數是否一致進行判斷,僅於WP參數一致時儲存於MergeCandList。此乃因為可以推測出,時間鄰接區塊T之參照幀之中之WP參數與解碼畫素區塊之參照幀之中之WP參數不同時,時間鄰接區塊T與解碼畫素區塊之動態資訊之相關性低。
另外,作為再另一例,可構成為再時間鄰接區塊T之參照幀之中之WP參數與解碼畫素區塊之參照幀之中之WP參數不同時,針對區塊T之空間域上鄰接的區塊之中,解碼畫素區塊之參照幀之中之WP參數為同一的區塊替換為區塊T。此時,時間鄰接區塊T與解碼畫素區塊之動態資訊之相關性不會降低。
(變形例)
另外,亦可選擇性使用第1~第3實施形態。亦即,事先決定選擇其中之一方法之資訊,再雙向片段被選擇時,依據用於表示使用第1實施形態之手法或使用第2實施形態之手法的資訊,來進行切換亦可。例如於圖20所示片段標頭語法設定用來切換彼等手法的切換旗標,配合編碼狀況而可以容易選擇。另外,配合特定之硬體之構成而事先決定使用其中之一手法亦可。第1~第3實施形態之預測影像產生部及索引設定部,係可以適用硬體實裝及軟體實裝其中之一。
另外,亦可選擇性使用第4~第6實施形態。亦即,事先決定用於選擇其中之一方法之資訊,於雙向片段被選擇時,依據用於表示使用第4實施形態之手法或使用第5實施形態之手法的資訊,而予以切換亦可。例如可於圖20所示片段標頭語法設定切換彼等手法的切換旗標,配合編碼狀況而使選擇變為容易。另外,亦可配合特定之硬體之構成而決定事先使用其中之一手法。第4~第6實施形態之預測影像產生部及索引設定部,係可以適用於硬體實裝及軟體實裝其中之任一。
另外,可於第1~第6實施形態例示的語法表格之行間,插入未被上記實施形態規定的語法要素,亦可包含其他條件分歧相關的記述。另外,可將語法表格分割為複數個表格,將複數個語法表格統合。另外,例示之各語法要素之用語,可以任意變更。
另外,第1實施形態之變形例,可以容易適用於第2 實施形態。此情況下,可以設定清單0與清單1所對應之參照影像之最大數,設為事先設定之最大數亦可。
另外,第4實施形態之變形例,可以容易適用於第5實施形態。此情況下,可以設定清單0與清單1所對應之參照影像之最大數,設為事先設定之最大數亦可。
於上記第1~第6實施形態,係將幀分割為16×16畫素尺寸等之矩形區塊,由畫面左上之區塊朝右下依序進行編碼/解碼之例之說明(參照圖3A)。但是,編碼順序及解碼順序不限定於此例。例如由右下朝左上依序進行編碼及解碼亦可,由畫面中央朝畫面端以描繪渦卷方式進行編碼及解碼亦可。另外,由右上朝左下依序進行編碼及解碼亦可,由畫面端朝畫面中央以描繪渦卷方式進行編碼及解碼亦可。此情況下,對應於編碼順序而變化可以參照的鄰接畫素區塊之位置,因此只需適當變更為可利用之位置即可。
於上記第1~第6實施形態,係針對4×4畫素區塊、8×8畫素區塊、16×16畫素區塊等之預測對象區塊尺寸之例進行說明,但是預測對象區塊只要是均勻的區塊形狀即可。例如預測對象區塊尺寸,可為16×8畫素區塊、8×16畫素區塊、8×4畫素區塊、4×8畫素區塊等。另外,無須於1個編碼樹狀區塊內統合全部區塊尺寸,複數個不同的區塊尺寸混在亦可。1個編碼樹狀區塊內混合複數個不同的區塊尺寸時,伴隨著分割數之增加,對分割資訊進行編碼或解碼之編碼量亦增加。因此,考慮分割資訊之編碼量 與局部解碼影像或解碼影像之品質之間之平衡,而選擇區塊尺寸為較好。
於上記第1~第6實施形態,為求簡單化而未區別亮度信號與色差信號之中之預測處理,關於色信號成分亦以涵蓋性說明來描述。但是,預測處理在亮度信號與色差信號之間呈不同時,可使用同一或不同的預測方法。於亮度信號與色差信號之間使用不同的預測方法,則可使用和色差信號選擇的預測方法同樣之方法對亮度信號進行編碼或解碼。
於上記第1~第6實施形態,為求簡單化,並未對亮度信號與色差信號之中之附加權重之動態補償預測處理予以區別,關於色信號成分僅描述總括性說明。但是,附加權重之動態補償預測處理在亮度信號與色差信號之間不同時,可以使用同一或不同的附加權重之動態補償預測處理。亮度信號與色差信號之間使用不同的附加權重之動態補償預測處理,則針對色差信號之選擇性附加權重之動態補償預測處理,可以藉由和亮度信號同樣之方法來進行編碼或解碼。
於上記第1~第6實施形態,亦可於語法構成所示表之行間,插入本實施形態未規定的語法要素,亦可包含其以外之條件分歧相關的記述。或者,可將語法表格分割為複數個表格,予以統合。另外,無須使用同一之用語,可依利用形態任意變更。
如上述說明,,各實施形態可以解消在進行附加權重 之動態補償預測時對冗長之資訊進行編碼之問題之同時,可實現高效率的附加權重之動態補償預測處理。因此,依據各實施形態,可提升編碼效率,換言之,亦可提升主觀畫質。
以上說明本發明幾個實施形態,但是彼等實施形態僅為例示,並非用來限定本發明。彼等新穎實施形態可以其他各種形態來實施,在不脫離發明要旨之範圍內可做各種省略、取代或變更。彼等實施形態或其變形,亦包含於發明之範圍或要旨之同時,亦包含於申請專利範圍記載之發明以及其之均等範疇內。
例如實現上記各實施形態之處理之程式,可以儲存於電腦可讀取之記憶媒體予以提供。記憶媒體,只要是磁碟、光碟(CD-ROM,CD-R,DVD等)、光磁碟(MO等)、半導體記憶體等可以記憶程式,而且,電腦可讀取的記憶媒體,則其記憶形式可為任意之形態。
另外,實現上記各實施形態之處理的程式,可以儲存於網際網路等之網路所連接的電腦(伺服器)上,經由網路下載至電腦(用戶端)亦可。
100‧‧‧編碼裝置
101‧‧‧減算部
102‧‧‧正交轉換部
103‧‧‧量化部
104‧‧‧逆量化部
105‧‧‧逆正交轉換部
106‧‧‧加算部
107‧‧‧預測影像產生部
108‧‧‧索引設定部
109‧‧‧動態評估部
110‧‧‧編碼部
111‧‧‧編碼控制部

Claims (2)

  1. 一種解碼方法,係接受包含:記述了包含第1參照影像清單中所含有的參照影像個數的第1語法要素、包含第2參照影像清單中所含有的參照影像個數的第2語法要素之語法;記述了利用共通用於前述第1參照影像清單及前述第2影像清單的共通索引而取得之複數個參數之語法;記述了包含前述共通索引所取得的值的最大值的第3語法要素之語法之編碼資料;從前述編碼資料再生出前述第3語法要素;利用再生出的前述第3語法要素和前述共通索引來取得前述複數個參數;執行利用取得到的參照影像及前述複數個參數的解碼處理;其中,前述共通索引係用於從前述第1參照影像清單及前述第2影像清單來取得參照影像。
  2. 一種解碼裝置,具備:輸入部,係接受包含:記述了包含第1參照影像清單中所含有的參照影像個數的第1語法要素、包含第2參照影像清單中所含有的參照影像個數的第2語法要素之語法;記述了利用共通用於前述第1參照影像清單及前述第2影像清單的共通索引而取得之複數個參數之語法; 記述了包含前述共通索引所取得的值的最大值的第3語法要素之語法之編碼資料;再生部,從前述編碼資料再生出前述第3語法要素;取得部,利用再生出的前述第3語法要素和前述共通索引來取得前述複數個參數;解碼部,執行利用取得到的參照影像及前述複數個參數的解碼處理;其中,前述共通索引係用於從前述第1參照影像清單及前述第2影像清單來取得參照影像。
TW106129366A 2011-10-17 2012-01-17 Decoding method and decoding device TWI617184B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/JP2011/073851 2011-10-17
PCT/JP2011/073851 WO2013057782A1 (ja) 2011-10-17 2011-10-17 符号化方法及び復号方法

Publications (2)

Publication Number Publication Date
TWI617184B TWI617184B (zh) 2018-03-01
TW201811048A true TW201811048A (zh) 2018-03-16

Family

ID=48140460

Family Applications (10)

Application Number Title Priority Date Filing Date
TW112108135A TWI848598B (zh) 2011-10-17 2012-01-17 編碼方法及編碼裝置
TW109128457A TWI742809B (zh) 2011-10-17 2012-01-17 解碼方法及解碼裝置
TW107131923A TWI703859B (zh) 2011-10-17 2012-01-17 解碼方法及解碼裝置
TW105143925A TWI608730B (zh) 2011-10-17 2012-01-17 Decoding method and decoding apparatus
TW110130330A TWI794935B (zh) 2011-10-17 2012-01-17 解碼方法及解碼裝置
TW106135506A TWI639332B (zh) 2011-10-17 2012-01-17 Decoding method and decoding device
TW106135507A TWI639333B (zh) 2011-10-17 2012-01-17 Decoding method and decoding device
TW106129366A TWI617184B (zh) 2011-10-17 2012-01-17 Decoding method and decoding device
TW104142717A TWI575943B (zh) 2011-10-17 2012-01-17 Coding method and decoding method
TW101101750A TW201318437A (zh) 2011-10-17 2012-01-17 編碼方法及解碼方法

Family Applications Before (7)

Application Number Title Priority Date Filing Date
TW112108135A TWI848598B (zh) 2011-10-17 2012-01-17 編碼方法及編碼裝置
TW109128457A TWI742809B (zh) 2011-10-17 2012-01-17 解碼方法及解碼裝置
TW107131923A TWI703859B (zh) 2011-10-17 2012-01-17 解碼方法及解碼裝置
TW105143925A TWI608730B (zh) 2011-10-17 2012-01-17 Decoding method and decoding apparatus
TW110130330A TWI794935B (zh) 2011-10-17 2012-01-17 解碼方法及解碼裝置
TW106135506A TWI639332B (zh) 2011-10-17 2012-01-17 Decoding method and decoding device
TW106135507A TWI639333B (zh) 2011-10-17 2012-01-17 Decoding method and decoding device

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW104142717A TWI575943B (zh) 2011-10-17 2012-01-17 Coding method and decoding method
TW101101750A TW201318437A (zh) 2011-10-17 2012-01-17 編碼方法及解碼方法

Country Status (16)

Country Link
US (14) US20140072237A1 (zh)
EP (4) EP2770735A4 (zh)
JP (1) JP5592023B2 (zh)
KR (3) KR101694664B1 (zh)
CN (2) CN103782599A (zh)
AU (8) AU2011379258C1 (zh)
BR (1) BR112014004797B1 (zh)
CA (1) CA2847296C (zh)
MX (3) MX336653B (zh)
MY (1) MY168194A (zh)
PH (2) PH12017501851A1 (zh)
RU (1) RU2014107469A (zh)
SG (1) SG11201400288VA (zh)
TW (10) TWI848598B (zh)
WO (1) WO2013057782A1 (zh)
ZA (1) ZA201401564B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101829179B1 (ko) 2011-10-17 2018-03-29 가부시끼가이샤 도시바 복호 장치 및 복호 방법
KR101694664B1 (ko) 2011-10-17 2017-01-09 가부시끼가이샤 도시바 복호 장치 및 복호 방법
US20130114710A1 (en) * 2011-11-08 2013-05-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by prediction using reference picture list, and method and apparatus for decoding video by performing compensation using reference picture list
CA2971911C (en) 2012-06-27 2020-03-24 Kabushiki Kaisha Toshiba Encoding device, decoding device, encoding method, and decoding method
JP6143866B2 (ja) 2013-09-30 2017-06-07 日本放送協会 画像符号化装置、画像復号装置及びそれらのプログラム
JP7029961B2 (ja) 2015-05-19 2022-03-04 マジック リープ, インコーポレイテッド セミグローバルシャッタイメージャ
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
FR3041850B1 (fr) * 2015-09-30 2018-05-25 Vogo Procede d'encodage de flux de donnees video basees sur des groupements d'images (gop)
JP6105034B2 (ja) * 2015-12-17 2017-03-29 株式会社東芝 復号方法及び復号装置
CN115037928A (zh) * 2016-02-03 2022-09-09 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
WO2018008906A1 (ko) * 2016-07-05 2018-01-11 주식회사 케이티 비디오 신호 처리 방법 및 장치
JP2018056699A (ja) * 2016-09-27 2018-04-05 株式会社ドワンゴ 符号化装置、符号化方法、復号化装置、及び復号化方法
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
WO2018125944A1 (en) * 2016-12-28 2018-07-05 Arris Enterprises Llc Improved video bitstream coding
JP2017085633A (ja) * 2017-01-04 2017-05-18 株式会社東芝 復号方法及び復号装置
US11303920B2 (en) 2017-07-07 2022-04-12 Samsung Electronics Co., Ltd. Apparatus and method for encoding motion vector determined using adaptive motion vector resolution, and apparatus and method for decoding motion vector
KR102471075B1 (ko) 2017-09-28 2022-11-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN111684802B (zh) * 2017-12-06 2023-12-22 V-诺瓦国际有限公司 用于对字节流进行分级编码和解码的方法和设备
WO2020059687A1 (en) * 2018-09-21 2020-03-26 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding
US11758132B2 (en) 2018-12-28 2023-09-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder and decoder, encoding method and decoding method with complexity handling for flexibly sized picture partitions
CN111726632B (zh) * 2019-03-18 2022-08-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11076152B2 (en) * 2019-03-18 2021-07-27 Sony Group Corporation Quantization step parameter for point cloud compression
GB2624121B (en) * 2019-07-05 2024-07-24 V Nova Int Ltd Quantization of residuals in video coding
US11968360B2 (en) * 2020-03-31 2024-04-23 Alibaba Group Holding Limited Methods for palette prediction
CN112004096B (zh) * 2020-07-20 2024-07-12 浙江大华技术股份有限公司 角度模式帧间预测方法、编码器及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002802A (en) * 1995-10-27 1999-12-14 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
KR20060111735A (ko) * 2002-01-18 2006-10-27 가부시끼가이샤 도시바 동화상 복호화방법 및 장치
US8406301B2 (en) * 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
DK2903277T3 (en) 2002-08-08 2017-09-04 Godo Kaisha Ip Bridge 1 Method for decoding live images
JP4485157B2 (ja) 2002-08-08 2010-06-16 パナソニック株式会社 画像復号化方法および画像復号化装置
JP2004179687A (ja) 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化/復号化方法及び装置
US20050201470A1 (en) * 2004-03-12 2005-09-15 John Sievers Intra block walk around refresh for H.264
JP2005318297A (ja) 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化・復号方法及び装置
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
JP5422124B2 (ja) * 2005-10-05 2014-02-19 パナソニック株式会社 参照ピクチャ選択方法、画像符号化方法、プログラム、画像符号化装置および半導体装置
WO2007092215A2 (en) * 2006-02-02 2007-08-16 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
JP2007221201A (ja) * 2006-02-14 2007-08-30 Victor Co Of Japan Ltd 動画像符号化装置及び動画像符号化プログラム
JP4691062B2 (ja) 2007-03-30 2011-06-01 株式会社東芝 情報処理装置
JPWO2011016251A1 (ja) * 2009-08-06 2013-01-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置
KR20110050283A (ko) * 2009-11-06 2011-05-13 삼성전자주식회사 다중 참조 영상을 이용한 고속 움직임 추정 방법
US9277228B2 (en) * 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
KR101694664B1 (ko) * 2011-10-17 2017-01-09 가부시끼가이샤 도시바 복호 장치 및 복호 방법
JP6015034B2 (ja) 2012-03-07 2016-10-26 セイコーエプソン株式会社 光学センサー及び電子機器
JP2017003482A (ja) 2015-06-12 2017-01-05 ヤマシンフィルタ株式会社 測定装置
JP6105034B2 (ja) 2015-12-17 2017-03-29 株式会社東芝 復号方法及び復号装置

Also Published As

Publication number Publication date
TW202147852A (zh) 2021-12-16
AU2018206856A1 (en) 2018-08-09
US10187642B2 (en) 2019-01-22
TW201804801A (zh) 2018-02-01
MX336653B (es) 2016-01-27
AU2021200773A1 (en) 2021-03-04
AU2019232774A1 (en) 2019-10-03
AU2015213330C1 (en) 2017-08-31
TWI794935B (zh) 2023-03-01
TW201714454A (en) 2017-04-16
JPWO2013057782A1 (ja) 2015-04-02
AU2023274145B2 (en) 2024-09-19
AU2019232774B2 (en) 2020-11-12
PH12019501571A1 (en) 2019-11-11
SG11201400288VA (en) 2014-05-29
US11425396B2 (en) 2022-08-23
US20170359585A1 (en) 2017-12-14
US20170347104A1 (en) 2017-11-30
KR20150092765A (ko) 2015-08-13
TW201318437A (zh) 2013-05-01
TWI617184B (zh) 2018-03-01
PH12017501851B1 (en) 2018-07-09
US11483570B2 (en) 2022-10-25
KR101694664B1 (ko) 2017-01-09
WO2013057782A1 (ja) 2013-04-25
TWI639333B (zh) 2018-10-21
EP3174301A1 (en) 2017-05-31
US11871007B2 (en) 2024-01-09
AU2011379258B2 (en) 2015-07-09
RU2014107469A (ru) 2015-11-27
AU2023274145A1 (en) 2023-12-21
AU2011379258A1 (en) 2014-03-27
JP5592023B2 (ja) 2014-09-17
ZA201401564B (en) 2015-07-29
TWI703859B (zh) 2020-09-01
AU2021200773B2 (en) 2022-05-26
US20200014933A1 (en) 2020-01-09
US10674161B2 (en) 2020-06-02
US20180367803A1 (en) 2018-12-20
US20200252626A1 (en) 2020-08-06
EP3174296A1 (en) 2017-05-31
MX344805B (es) 2017-01-09
AU2017203354B2 (en) 2018-06-28
US9681138B2 (en) 2017-06-13
TWI848598B (zh) 2024-07-11
EP3174300A1 (en) 2017-05-31
AU2015213330B2 (en) 2017-04-20
US11356674B2 (en) 2022-06-07
TWI608730B (zh) 2017-12-11
CN103782599A (zh) 2014-05-07
US20150319445A1 (en) 2015-11-05
TWI742809B (zh) 2021-10-11
US20200252623A1 (en) 2020-08-06
TW202332275A (zh) 2023-08-01
US20200252625A1 (en) 2020-08-06
AU2018206856B2 (en) 2019-08-29
BR112014004797A2 (pt) 2017-03-28
EP2770735A4 (en) 2015-06-03
US10412394B2 (en) 2019-09-10
MX2014002534A (es) 2014-04-16
US20200252628A1 (en) 2020-08-06
KR20160058967A (ko) 2016-05-25
PH12017501851A1 (en) 2018-07-09
US10110904B2 (en) 2018-10-23
TWI575943B (zh) 2017-03-21
TW201902220A (zh) 2019-01-01
US20230007275A1 (en) 2023-01-05
BR112014004797B1 (pt) 2022-02-15
TW202046735A (zh) 2020-12-16
US20170244973A1 (en) 2017-08-24
MY168194A (en) 2018-10-15
AU2017203354A1 (en) 2017-06-08
AU2015213330A1 (en) 2015-09-03
AU2022221509A1 (en) 2022-09-22
TW201804800A (zh) 2018-02-01
CN106231321B (zh) 2020-01-17
KR20140057301A (ko) 2014-05-12
CA2847296C (en) 2017-09-19
CN106231321A (zh) 2016-12-14
US11323721B2 (en) 2022-05-03
AU2022221509B2 (en) 2023-10-12
US20140072237A1 (en) 2014-03-13
US20240098278A1 (en) 2024-03-21
EP2770735A1 (en) 2014-08-27
US20200252624A1 (en) 2020-08-06
TW201611584A (zh) 2016-03-16
AU2011379258C1 (en) 2015-11-26
CA2847296A1 (en) 2013-04-25
TWI639332B (zh) 2018-10-21
US11381826B2 (en) 2022-07-05
US9872027B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
TWI617184B (zh) Decoding method and decoding device
TWI569630B (zh) Encoding, decoding method and coding, decoding device
JP6105034B2 (ja) 復号方法及び復号装置
JP2019083548A (ja) 復号方法及び復号装置
JP2018007278A (ja) 復号方法及び復号装置
JP2018007279A (ja) 復号方法及び復号装置
JP2017085633A (ja) 復号方法及び復号装置
TW201320750A (zh) 預測影像產生方法、編碼方法及解碼方法
TW202439821A (zh) 編碼方法及記憶裝置
JP2014197852A (ja) 復号方法及び復号装置