TW202011747A - 擴展四叉樹深度計算 - Google Patents

Abstract

描述了用於使用靈活和有效劃分技術的方法、系統和設備，並且具體描述了擴展四叉樹的深度計算。用於可視媒體解碼的示例性方法包括對當前可視媒體塊應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊，基於位元流表示對四個子塊解碼，以及基於四個子塊和該劃分過程對當前可視媒體塊解碼。

Description

擴展四叉樹深度計算

本發明是有關於一種視頻編碼技術、設備和系統。 [相關申請的交叉引用] 根據適用的專利法和/或依據巴黎公約的規則，本申請及時要求於2018年6月5日提交的國際專利申請第PCT/CN2018/089918號的優先權和權益。出於根據美國法律的所有目的，該國際專利申請第PCT/CN2018/089918號的全部公開內容通過引用併入作為本申請的公開內容的一部分。

儘管視訊壓縮有所進步，但數位視訊仍佔網際網路和其他數位通信網路上最大的頻寬使用。隨著能夠接收和顯示視頻的所連接的使用者設備的數量增加，預計數位視訊使用的頻寬需求將繼續增長。

本發明提供一種用於通過使用靈活且有效的劃分技術來劃分視頻圖片從而編碼和解碼數位視訊的方法、系統和設備。

在一個示例方面，公開了一種可視媒體解碼方法。該方法包括對當前可視媒體塊應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊，其中當前可視媒體塊包括劃分深度，並且該劃分過程包括對劃分深度和/或所述劃分過程的葉節點尺寸的的限制；基於位元流表示對四個子塊解碼；以及基於四個子塊和該劃分過程對當前可視媒體塊解碼。

在另一示例方面，公開了一種可視媒體編碼方法。該方法包括接收與當前可視媒體塊相關聯的輸入資料；對輸入資料應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊，其中當前可視媒體塊包括劃分深度，並且其中該劃分過程包括對劃分深度和/或該劃分過程的葉節點尺寸的限制；基於該劃分過程對四個子塊編碼；以及基於該編碼生成當前可視媒體塊的位元流表示。

在又一示例方面，公開了一種實現本文描述的可視媒體編碼方法的可視媒體編碼器設備。

在又一代表性方面，本文描述的各種技術可以體現為存儲在非暫時性電腦可讀介質上的電腦程式產品。該電腦程式產品包括用於執行本文描述的方法的程式碼。

在又一代表性方面，可視媒體解碼器設備可以實現如本文中所描述的方法。

在隨附的附件、附圖和以下描述中闡述了一個或多個實施方式的細節。根據說明書和附圖以及權利要求，其他特徵將是顯而易見的。

為了改進視頻的壓縮比，研究人員正不斷尋找用於編碼視頻的新技術。

1. 本文件中公開的一些方面的概述

本專利檔涉及圖像/視頻編碼，尤其涉及劃分結構，即，如何將一個編碼樹單元（Coding Tree Unit，CTU）劃分成多個編碼單元（Coding Unit，CU）或者如何將一個CU劃分成多個更小的CU。它可以應用於像HEVC之類的現有的視頻編碼標準或者待最終確定的標準（通用視頻編碼）。它也可以適用于未來的視頻編碼標準或視頻編解碼器。本檔中描述的技術可以應用於編碼和解碼視頻，例如圖片或圖像的序列。該技術還可以用於單個圖片或圖像的編碼和解碼。因此，該技術適用於編碼或解碼視頻或圖像形式的可視媒體。為了提高可讀性，在整個說明書的大部分中使用“視頻”一詞來表示視頻或圖像。

2. 討論

視頻編碼標準主要是通過眾所周知的ITU-T和ISO/IEC標準的發展而得以演進。ITU-T製作了H.261和H.263標準，ISO/IEC製作了MPEG-1和MPEG-4 Visual標準，並且兩個組織聯合制作了H.262/MPEG-2視頻標準和H.264/MPEG-4高級視頻編碼（Advanced Video Coding，AVC）標準和H.265/HEVC標準。從H.262開始，視頻編碼標準基於混合視頻編碼結構，其中利用時間預測加變換編碼。圖1中描繪了典型HEVC編碼器框架的示例[1]。

2.1 H.264/AVC中的劃分樹結構

先前標準中的編碼層的核心是巨集塊，其包含16×16的亮度（luma）樣本塊、以及在4：2：0顏色採樣的通常情況下的兩個對應的8×8的色度（chroma）樣本塊。

幀內編碼塊使用空間預測來利用像素之間的空間相關性。兩種劃分被定義為：16x16和4x4。

幀間編碼塊通過估計圖片之間的運動來使用時間預測而不是空間預測。可以對於16x16宏塊或其如下任何子宏塊劃分獨立地估計運動：16x8、8x16、8x8、8x4、4x8、4x4（參見圖2）[2]。每子宏塊劃分僅允許一個運動向量（MV）。

2.2 HEVC中的劃分樹結構

在HEVC中，通過使用表示為編碼樹的四叉樹結構將CTU劃分成CU，以適應各種局部特性。使用圖片間（時間）預測還是圖片內（空間）預測來對圖片區域編碼的決策是在CU級進行的。根據PU劃分類型，每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU內部，應用相同的預測過程，並且在PU的基礎上將相關資訊發送到解碼器。在通過基於PU劃分類型應用預測過程而獲得了殘差塊之後，可以根據類似於CU的編碼樹的另一個四叉樹結構將CU劃分為變換單元（TU）。HEVC結構的關鍵特徵之一是它具有多個劃分概念，包括CU、PU和TU。

在下文中，對使用HEVC的混合視頻編碼中涉及的各種特徵強調如下。

1）編碼樹單元和編碼樹塊（CTB）結構：HEVC中的類似結構是編碼樹單元（CTU），其具有由編碼器選擇的尺寸並且可以大於傳統宏塊。CTU由亮度CTB和相應的色度CTB以及語法元素組成。亮度CTB的尺寸L×L可以被選擇為L=16、32或64個樣本，較大的尺寸通常能夠實現更好的壓縮。然後，HEVC支援使用樹結構和類似四叉樹的信令來將CTB劃分為更小的塊。

2）編碼單元（CU）和編碼塊（CB）：CTU的四叉樹語法指定其亮度CB和色度CB的尺寸和位置。四叉樹的根與CTU相關聯。因此，亮度CTB的尺寸是亮度CB的最大支持尺寸。將CTU劃分成亮度CB和色度CB是信令聯合的。一個亮度CB和通常兩個色度CB以及相關聯的語法一起形成編碼單元（CU）。CTB可以僅包含一個CU或者可以被劃分以形成多個CU，並且每個CU具有相關聯的、向預測單元（PU）以及變換單元（TU）的樹的劃分。

3）預測單元和預測塊（PB）：使用幀間圖片預測還是幀內圖片預測來對圖片區域編碼的決策是在CU級進行的。PU劃分結構的根在CU級。取決於基本預測類型決策，然後可以在尺寸上進一步劃分亮度CB和色度CB，並根據亮度和色度預測塊（PB）對其進行預測。HEVC支援從64×64到4×4樣本的可變PB尺寸。圖3示出了對於MxM CU所允許的PB的示例。

4）TU和變換塊：使用塊變換對預測殘差進行編碼。TU樹結構的根在CU級。亮度CB殘差可以與亮度變換塊（TB）相同，或者可以被進一步劃分成更小的亮度TB。這同樣適用於色度TB。對於正方形TB尺寸4×4、8×8、16×16和32×32，定義類似於離散余弦變換（DCT）的整數基函數。對於亮度幀內圖片預測殘差的4×4變換，可以替代地指定從離散正弦變換（DST）的形式匯出的整數變換。

向變換塊和單元的樹結構劃分

對於殘差編碼，可以將CB遞迴地劃分為變換塊（TB）。由殘差四叉樹信令通知劃分。僅指定正方形CB和TB劃分，其中塊可以被遞迴地劃分到象限（quadrant），如圖4所示。對於尺寸為M×M的給定亮度CB，標誌（flag）表明是否將該CB劃分成四個尺寸為M/2×M/2的塊。如果如SPS中指示的殘差四叉樹的最大深度所信令通知的，每個象限能夠進一步劃分，則為每個象限分配標誌，該標誌指示是否將其劃分成四個象限。由殘差四叉樹產生的葉節點塊是變換塊，通過變換編碼對其進一步處理。編碼器指示它將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時，劃分是隱含的。當劃分將導致亮度TB尺寸小於所指示的最小值時，不劃分是隱含的。除了當亮度TB尺寸為4×4時，色度TB尺寸在每個維度上是亮度TB尺寸的一半，在亮度TB尺寸為4×4的情況下，單個4×4色度TB被用於由四個4×4亮度TB覆蓋的區域。在幀內圖片預測的CU的情況下，最近鄰的TB（在CB內或在CB外）的解碼後樣本被用作用於幀內圖片預測的參考資料。

與先前的標準相反，HEVC設計允許TB跨越多個PB以用於圖片間預測的CU，以使四叉樹結構的TB劃分的潛在編碼效率益處最大化。

2.3 JEM中具有更大CTU的四叉樹加二叉樹（QTBT）塊結構

為了探索HEVC之外的未來視頻編碼技術，由VCEG和MPEG于2015年聯合成立聯合視頻探索團隊（JVET）。從那時起，JVET採用了許多新方法[3]並將其納入名為聯合勘探模型（JEM）[4]的參考軟體。

2.3.1 QTBT塊劃分結構

與HEVC不同[5]，QTBT結構去除了多種劃分類型的概念，即，它去除了CU、PU和TU概念的分離，並且支持CU劃分形狀的更大靈活性。在QTBT塊結構中，CU可以具有正方形或矩形形狀。如圖5A和圖5B中所示，編碼樹單元（CTU）首先被四叉樹結構劃分。四叉樹葉節點被二叉樹結構進一步劃分。在二叉樹劃分中有兩種劃分類型：對稱水平劃分和對稱垂直劃分。二叉樹葉節點被稱為編碼單元（CU），並且該劃分被用於預測和變換處理而無需任何進一步的劃分。這意味著CU、PU和TU在QTBT編碼塊結構中具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編碼塊（CB）組成，例如，在4：2：0色度格式的P和B條帶（slice）的情況下，一個CU包含一個亮度CB和兩個色度CB；並且CU有時由單個分量的CB組成，例如，在I條帶的情況下，一個CU僅包含一個亮度CB或僅包含兩個色度CB。

為QTBT劃分方案定義以下參數。 - CTU尺寸：四叉樹的根節點尺寸，與HEVC中的概念相同 - MinQTSize：最小允許的四叉樹葉節點尺寸 - MaxBTSize：最大允許的二叉樹根節點尺寸 - MaxBTDepth：最大允許的二叉樹深度 - MinBTSize：最小允許的二叉樹葉節點尺寸

在QTBT劃分結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣本塊的128×128亮度樣本，MinQTSize被設置為16×16，MaxBTSize被設置為64×64，MinBTSize（寬度和高度）被設置為4×4，並且MaxBTDepth被設置為4。首先將四叉樹劃分應用于CTU以生成四叉樹葉節點。四叉樹葉節點可以具有從16×16（即，MinQTSize）到128×128（即，CTU尺寸）的尺寸。如果葉四叉樹節點是128×128，則由於該尺寸超過MaxBTSize（即，64×64），所以它不會被二叉樹進一步劃分。否則，葉四叉樹節點可以被二叉樹進一步劃分。因此，四叉樹葉節點也是二叉樹的根節點，並且二叉樹深度為0。當二叉樹深度達到MaxBTDepth（即，4）時，不考慮進一步的劃分。當二叉樹節點的寬度等於MinBTSize（即，4）時，不考慮進一步的水平劃分。類似地，當二叉樹節點的高度等於MinBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點，而無需任何進一步的劃分。在JEM中，最大CTU尺寸為256×256亮度樣本。

圖5A描繪了通過使用QTBT進行塊劃分的示例，圖5B示出了對應的樹表示。實線表示四叉樹劃分，虛線表示二叉樹劃分。在二叉樹的每個劃分（即，非葉）節點中，信令通知一個標誌以指示使用哪種劃分類型（即，水平或垂直），其中0表示水平劃分並且1表示垂直劃分。對於四叉樹劃分，不需要指示劃分類型，因為四叉樹劃分總是水平地且垂直地劃分塊以產生具有相等尺寸的4個子塊。

另外，QTBT方案支援使亮度和色度具有單獨的QTBT結構的能力。目前，對於P和B條帶，一個CTU中的亮度CTB和色度CTB共用相同的QTBT結構。然而，對於I條帶，通過QTBT結構將亮度CTB劃分為CU，並且通過另一QTBT結構將色度CTB劃分為色度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，並且P條帶或B條帶中的CU由所有三個顏色分量的編碼塊組成。

在HEVC中，小塊的幀間預測受限於減少運動補償的記憶體訪問，使得對於4×8和8×4塊不支持雙向預測，並且對於4×4塊不支持幀間預測。在JEM的QTBT中，這些限制被去除。

2.4 VVC（通用視頻編碼）的三叉樹

如文獻[3]中所提出的，支持不同於四叉樹和二叉樹的樹類型。在該實現中，引入了另外兩個三叉樹（TT）劃分，即，水平和垂直中心側三叉樹，如圖6（d）和圖6（e）所示。

圖6（a）-圖6（e）示出以下示例：（a）四叉樹劃分（b）垂直二叉樹劃分（c）水平二叉樹劃分（d）垂直中心側三叉樹劃分（e）水平中心側三叉樹劃分。

在文獻[3]中，存在兩個級別的樹：區域樹（四叉樹）和預測樹（二叉樹或三叉樹）。CTU首先被區域樹（RT）劃分。可以用預測樹（PT）進一步劃分RT葉。還可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本編碼單元。為方便起見，它仍被稱為CU。CU不能被進一步劃分。預測和變換都以與JEM相同的方式被應用於CU。整個劃分結構被稱為“多類型樹”。

3. 現有技術方案的缺點

諸如QTBT或TT的劃分樹的現有設計已經顯示出了高得多的編碼增益。但是，它們也可能存在以下問題：

BT和TT均試圖減少塊的劃分數目（2或3個劃分，而不是QT採用的4個劃分）。對於具有高紋理的區域，可能優選更多的劃分（例如，更小的劃分）。使用當前的設計，可能需要相當多的比特來實現這一點。

代替修改劃分數目，我們還可以修改四叉樹劃分以覆蓋不同的情況。當前的四叉樹劃分總是將一個N×N正方塊劃分成四個N/2×N/2個子塊。引入更多劃分模式可帶來額外的編碼增益。

4. 示例實施例

所公開的技術的實施例描述了不同的劃分結構，例如擴展四叉樹（extended quad tree，EQT）。

在以下描述中，應當注意，僅對於某一深度/級別範圍允許劃分結構，可以通過信令通知指示這種劃分結構的使用。換句話說，如果對於某個深度/級別不允許劃分結構，則將自動跳過劃分結構的信令通知。所提出的方法可以單獨應用，或彼此互組合或與現有技術相結合。

示例1：提出了一種擴展四叉樹（EQT）劃分結構，其對應於一種塊劃分過程，該塊劃分過程包括用於視頻資料塊的擴展四叉樹劃分過程，其中擴展四劃分結構表示將視頻資料塊劃分成最終子塊，並且當擴展四叉樹劃分過程決定將擴展四叉樹劃分應用於一個給定塊時，所述一個給定塊總是被劃分成四個子塊；基於視頻位元流對最終子塊解碼；以及基於根據匯出的EQT結構而被解碼的最終子塊，對視頻資料塊解碼。

示例1A：EQT劃分過程可以遞迴地應用於給定塊以生成EQT葉節點。可替代地，當EQT應用于某個塊時，對於由於EQT而產生的每個子塊，它可以進一步被劃分成BT和/或QT和/或TT和/或EQT和/或其他種類的劃分樹。

示例1B：在一個示例中，EQT和QT可以共用相同的深度增量過程和葉節點尺寸的相同限制。在這種情況下，當一個節點的尺寸達到最小允許的四叉樹葉節點尺寸或該節點的EQT深度達到最大允許的四叉樹深度時，可以隱含地終止該節點的劃分。

示例1C：可替代地，EQT和QT可以共用不同的深度增量過程和/或葉節點尺寸的限制。當一個節點的尺寸達到最小允許的EQT葉節點尺寸或與該節點相關聯的EQT深度達到最大允許的EQT深度時，可以隱含地終止通過EQT對該節點的劃分。此外，在一個示例中，可以在序列參數集（SPS）和/或圖片參數集（PPS）和/或條帶標頭和/或CTU和/或區域和/或片和/或CU中，用信令通知EQT深度和/或最小允許的EQT葉節點尺寸。

示例1D：提出尺寸為M×N（M和N是非零正整數值，相等或不相等）的塊可以被等分為四個劃分，例如M/4×N或M×N/4（示例在圖7A和圖7B中描繪），或者被等分為四個劃分並且劃分尺寸取決於M和N的最大值和最小值。在一個示例中，一個4×32塊可以被劃分成四個4x8子塊，而32x4塊可以被劃分成四個8x4子塊。

示例1E：可替代地，尺寸為M×N（M和N是非零正整數值，相等或不相等）的塊可以被不等分成四個劃分，例如兩個劃分的尺寸等於(M*w0/w) x (N*h0/h)，並且另外兩個劃分的尺寸為(M*(w-w0)/w) x (N*(h-h0)/h)。

例如，w0和w可以分別等於1和2，即寬度減半，而高度可以使用除了2:1之外的其他比率來獲得子塊。這種情況的示例在圖7C和圖7E中描繪。可替代地，h0和h可以分別等於1和2，即高度減半，而寬度可以使用除了2:1之外的其他比率。這種情況的示例在圖7D和圖7F中描繪。

圖7G和7H示出了擴展四叉樹劃分的兩個替代示例。

圖7I示出了具有不同形狀的劃分的擴展四叉樹劃分的更一般情況，其中每個劃分可具有其自己的尺寸。

圖7J和圖7K示出了圖7A和圖7B的一般示例，其中四個劃分為：（c）子塊寬度固定為M/2，高度等於N/4或3N/4，頂部兩個劃分較小，（d）子塊高度固定為N/2，寬度等於M/4或3M/4，左側兩個劃分較小可以具有不同的尺寸，（e）子塊寬度固定為M/2，高度等於3N/4或N/4，底部兩個劃分較小，（f）子塊高度固定為N/2，寬度等於3M/4或M/4，右側兩個劃分較小， (g) M x N/4 和 M/2 x N/2； (h) N x M/4 和 N/2 x M/2， (i) M1 x N1、(M-M1) x N1、M1 x (N-N1) 和 (M-M1) x (N-N1)， (j) M x N1、M x N2、M x N3 和 M x N4，其中並且 N1+N2+N3+N4 = N，以及 (k) M1 x N、M2 x N、M3x N 和 M4 x N 其中M1+M2+M3+M4 = M。

圖8A是可視媒體解碼方法800的流程圖表示。可視媒體可以是視頻或單個圖像。方法800包括：在步驟802，對當前可視媒體塊應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊。在一些實施例中，當前可視媒體塊包括劃分深度，並且該劃分過程包括對劃分深度和/或劃分過程的葉節點尺寸的限制。

方法800包括：在步驟804，基於位元流表示對四個子塊解碼。

方法800包括：在步驟806，基於四個子塊和該劃分過程對當前可視媒體塊解碼。

圖8B是可視媒體編碼方法820的流程圖表示。可視媒體可以是視頻或單個圖像。方法820包括：在步驟822，接收與當前可視媒體塊相關聯的輸入資料。

方法820包括：在步驟824，對輸入資料應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊。在一些實施例中，當前可視媒體塊包括劃分深度，並且該劃分過程包括劃分深度和/或對該劃分過程的葉節點尺寸的限制。

方法820包括：在步驟826，基於該劃分過程對四個子塊編碼。

方法820包括：在步驟828，基於該編碼生成當前可視媒體塊的位元流表示。

在一些實施例中，並且在方法800和820的上下文中，基於該劃分過程或四叉樹（QT）劃分過程進一步劃分四個子塊中的至少一個子塊，並且其中QT劃分過程將該至少一個子塊劃分為四個相等尺寸的子塊。

在示例中，對於該劃分過程和QT劃分過程，用於劃分深度的增量過程或葉節點尺寸限制是相同的。在另一示例中，對於QT劃分過程，劃分深度增加1。在又一示例中，當劃分深度達到最大允許劃分深度時，該劃分過程或QT劃分過程隱含地終止。

在示例中，用於該劃分過程的劃分深度的第一增量過程不同於用於QT劃分過程的劃分深度的第二增量過程。在另一示例中，當劃分深度達到該劃分過程的最大允許劃分深度時，該劃分過程隱含地終止。

在示例中，對該劃分過程的葉節點尺寸的第一限制不同於對QT劃分過程的葉節點尺寸的第二限制。在另一示例中，當葉節點尺寸達到最小允許葉節點尺寸時，該劃分過程隱含地終止。

在示例中，在與當前可視媒體塊相關聯的序列參數集（SPS）、圖片參數集（PPS）、條帶標頭、編碼樹單元（CTU）、區域、片或編碼單元（CU）中用信令通知該最大允許劃分深度。在另一示例中，在與當前可視媒體塊相關聯的序列參數集（SPS）、圖片參數集（PPS）、條帶標頭、編碼樹單元（CTU）、區域、片或編碼單元（CU）中用信令通知該最小允許葉節點尺寸。

在一些實施例中，基於二叉樹（BT）劃分過程進一步劃分四個子塊中的至少一個子塊，並且其中該BT劃分過程將所述至少一個子塊劃分為兩個相等尺寸的子塊。

在一些實施例中，當葉節點尺寸達到該劃分過程的最小允許葉節點尺寸時，該劃分過程隱含地終止。

在一些實施例中，當前可視媒體塊的高度（H）和寬度（W）是整數，當前可視媒體塊的左上角座標表示為(x, y)，並且四個子塊具有如下給出的左上角座標和維度：（i）左上角座標(x, y)，維度為H/4 × W；（ii）左上角座標(x, y + H/4)，維度為H/2×W/2；（iii）左上角座標(x+W/2, y+H/4)，維度為H/2×W/2；（iv）左上角座標(x, y+3×H/4)，維度為H/4×W。

在一些實施例中，當前可視媒體塊的高度（H）和寬度（W）是整數，當前可視媒體塊的左上角座標表示為(x, y)，並且四個子塊具有如下給出的左上角座標和維度：（i）左上角座標(x, y)，維度為H×W/4；（ii）左上角座標(x+W/4, y)，維度為H/2×W/2；（iii）左上角座標(x+W/4, y+H/2)，維度為H/2×W/2；（iv）左上角座標(x+3×W/4, y)，維度為H×W/4。

圖9示出了可以被用以實現本公開技術的各個部分的硬體設備900的示例實施例的框圖。硬體設備900可以是膝上型電腦、智慧型電話、平板電腦、可擕式攝像機或能夠處理視頻的其他類型的設備。硬體設備900包括用於處理資料的處理器或控制器902，以及與處理器902通信以存儲和/或緩衝資料的記憶體904。例如，處理器902可以包括中央處理單元（CPU）或微控制器單元（MCU）。在一些實現方式中，處理器902可以包括現場可程式設計閘陣列（FPGA）。在一些實現方式中，設備900包括用於智慧型電話設備的各種可視和/或通信資料處理功能的圖形處理單元（GPU）、視頻處理單元（VPU）和/或無線通訊單元或與之通信。例如，記憶體904可以包括並存儲處理器可執行代碼，其在由處理器902執行時配置設備900以執行各種操作，例如接收資訊、命令和/或資料，處理資訊和資料，並且將處理後的資訊/資料發送或提供給諸如致動器或外部顯示器的另一個設備。為了支援設備900的各種功能，記憶體904可以存儲資訊和資料，諸如指令、軟體、值、圖像以及由處理器902處理或參考的其他資料。例如，各種類型的隨機存取記憶體（RAM）設備900、唯讀記憶體（ROM）設備、快閃記憶體設備和其他合適的存儲介質可已被用於實現記憶體904的存儲功能。設備900還可以包括專用視頻處理電路906，用於執行重複的計算功能，諸如變換和解碼。在一些實施例中，視頻處理電路906可以在處理器902內部實現。在一些實施例中，視頻處理電路906可以是圖形處理器單元（GPU）。

在本檔的第2部分的示例和權利要求部分中描述了對方法800和820的各種可能的變型和添加。例如，接收操作可以包括接收本機存放區的位元流或通過網路連接接收位元流（例如，流式接收）。例如，可以通過使用視頻位元流的協定語法的先驗知識來解析視頻位元流中的比特，從而實現匯出操作。解碼操作可以包括從視頻的已壓縮或編碼後比特表示中生成未壓縮的像素值（亮度和/或顏色）。

在一些實施例中，視頻可視媒體解碼過程可以生成解碼後的視頻資料，該解碼後的視頻資料可以存儲在視頻緩衝器中並顯示在使用者介面上以供使用者查看。在一些實施例中，可以對未壓縮或輕微壓縮格式的視頻執行可視媒體編碼處理，該未壓縮或輕微壓縮格式的視頻例如是從相機設備或數位存放裝置捕獲的等等。

在下面的實驗結果中示出了通過將所公開的技術的實施例結合到HEVC參考軟體中而實現的改進。測試序列包括通用測試條件（CTC）中的HEVC標準測試序列，其是由JCT-VC（視頻編碼聯合協作團隊）指定的。

在上表中，負百分比表示該特定場景的位元速率節省。各種類別（例如，類別A1、A2、......、E）表示測試序列的不同解析度，“主層級”和“低層級”標記表示不同的位元速率範圍，其分別使用量化參數（QP）{22, 27, 32, 37}和{32, 37, 42, 47}，並且“RA”、“LDB”和“LDP”表示不同的編碼條件。

例如，類別A1和A2的解析度是4K，並且類別B、C、D和E的解析度分別是1080p、832×480、416×240和720p。

例如，“RA”表示對應於一組編碼條件的隨機訪問，該組編碼條件被設計為在已編碼視頻資料中實現相對頻繁的隨機訪問點，而不太強調延遲的最小化。相反，“LDx”表示低延遲並且對應於兩組編碼條件，該兩組編碼條件被設計為實現互動式即時通信，而不太強調隨機訪問的容易性。具體地，“LDB”是LD條件使用B圖片的變型，而“LDP”是使用P幀的變型。

從前述內容可以理解，本文已經出於說明的目的描述了本公開技術的具體實施例，但是可以在不脫離本發明範圍的情況下進行各種修改。因此，本公開的技術除了所附權利要求外不受限制。

本檔中描述的公開和其他實施例、模組和功能操作可以以數位電子電路實現，或者以電腦軟體、固件或硬體實現，包括本檔中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。公開和其他實施例可以實現為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀存放裝置、機器可讀存儲基板、記憶體設備、影響機器可讀傳播信號的物質組合、或者它們中的一個或多個的組合。術語“資料處理裝置”涵蓋用於處理資料的所有裝置、設備和機器，包括例如可程式設計處理器、電腦或多個處理器或電腦。除了硬體之外，該裝置還可以包括為所討論的電腦程式創建執行環境的代碼，例如，構成處理器固件、協定棧、資料庫管理系統、作業系統、或者它們中的一個或多個的組合的代碼。傳播信號是人工生成的信號，例如機器生成的電信號、光信號或電磁信號，其被生成以對資訊進行編碼以便傳輸到合適的接收器設備。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言編寫，包括編譯或解釋語言，並且可以以任何形式來部署電腦程式，包括獨立程式或適合在計算環境中使用的模組、元件、子常式或其他單元。電腦程式並不必需對應於檔案系統中的檔。程式可以存儲在檔的保存其他程式或資料（例如，存儲在標記語言文檔中的一個或多個腳本）的部分中，存儲在專用於所討論的程式的單個檔中，或存儲在多個協調檔中（例如，存儲一個或多個模組、副程式或代碼部分的檔）。可以部署電腦程式以在一個電腦上或在位於一個網站上或分佈在多個網站上並通過通信網路互連的多個電腦上執行。

本檔中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可程式設計處理器執行，以通過對輸入資料進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如FPGA（現場可程式設計閘陣列）或ASIC（專用積體電路）。

舉例來說，適合於執行電腦程式的處理器包括通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於存儲指令和資料的一個或多個記憶體設備。通常，電腦還將包括或可操作地耦合到用於存儲資料的一個或多個大型存放區設備，例如磁片、磁光碟或光碟，以從該一個或多個大型存放區設備接收資料，或將資料傳輸到該一個或多個大型存放區設備，或者既接收又傳遞資料。然而，電腦不需要具有這樣的設備。適用於存儲電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光碟；以及CD ROM和DVD-ROM磁片。處理器和記憶體可以由專用邏輯電路補充或併入專用邏輯電路中。

雖然本檔包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定于特定發明的特定實施例的特徵的描述。在本檔中，在單獨的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以單獨地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求權利保護，但是在某些情況下，可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。

類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或按循序執行這樣的操作，或者執行所有示出的操作，以實現期望的結果。此外，在本檔中描述的實施例中的各種系統元件的分離不應被理解為在所有實施例中都要求這種分離。

僅描述了幾個實現方式和示例，並且可以基於本檔中描述和示出的內容來做出其他實現方式、增強和變型。

5. 參考文獻

[1]“Overview of the High Efficiency Video Coding (HEVC) Standard”，Gary J. Sullivan，Jens-Rainer Ohm，Woo-Jin Han和Thomas Wiegand，IEEE視頻技術電路與系統彙刊，2012年12月第12卷第12期。

[2]“Overview of the H.264/AVC video coding standard”，Ajay Luthra，Pankaj Topiwala，SPIE會議第5203卷 數位影像處理的應用XXVI。

[3]“Multi-Type-Tree”，JVET-D0117。

800、820:方法 802:對當前可視媒體塊應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊的步驟 804:基於位元流表示對四個子塊解碼的步驟 806:基於四個子塊和該劃分過程對當前可視媒體塊解碼的步驟 822:接收與當前可視媒體塊相關聯的輸入資料的步驟 824:對輸入資料應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊的步驟 826:基於該劃分過程對四個子塊編碼的步驟 828:基於該編碼生成當前可視媒體塊的位元流表示的步驟 900:硬體設備 902:處理器 904:記憶體 906:視頻處理電路

圖1是示出視訊轉碼器實現方式的示例的框圖。 圖2示出了H.264視頻編碼標準中的巨集塊劃分。 圖3示出了將編碼塊（CB）劃分為預測塊（PU）的示例。 圖4示出了用於將CTB細分為CB和變換塊（TB）的示例實現方式。實線表示C邊界，並且虛線表示TB邊界，包括帶有其劃分的示例CTB以及相應的四叉樹。 圖5A和圖5B示出了用於劃分視頻資料的四叉樹二叉樹（QTBT）結構的示例。 圖6示出了以下的示例：（a）四叉樹劃分（b）垂直二叉樹劃分（c）水平二叉樹劃分（d）垂直中心側三叉樹劃分（e）水平中心側三叉樹劃分。 圖7A至圖7K示出了將一個塊劃分成多個劃分的示例。 圖8A是示出可視媒體解碼的方法的示例的流程圖。 圖8B是示出可視媒體編碼的方法的示例的流程圖。 圖9是用於實現本檔中描述的可視媒體解碼或可視媒體編碼技術的硬體平臺的示例的框圖。

800:方法

802:對當前可視媒體塊應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊的步驟

804:基於位元流表示對四個子塊解碼的步驟

806:基於四個子塊和該劃分過程對當前可視媒體塊解碼的步驟

Claims (20)

1. 一種可視媒體解碼方法，包括： 對當前可視媒體塊應用劃分過程，所述劃分過程將當前可視媒體塊劃分成恰好四個子塊，所述四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊，其中當前可視媒體塊包括劃分深度，並且其中所述劃分過程包括對劃分深度和/或所述劃分過程的葉節點尺寸的限制； 基於位元流表示對所述四個子塊解碼；以及 基於所述四個子塊和所述劃分過程對當前可視媒體塊解碼。
2. 一種可視媒體編碼方法，包括： 接收與當前可視媒體塊相關聯的輸入資料； 對輸入資料應用劃分過程，所述劃分過程將當前可視媒體塊劃分成恰好四個子塊，所述四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊，其中當前可視媒體塊包括劃分深度，並且其中所述劃分過程包括對劃分深度和/或所述劃分過程的葉節點尺寸的限制； 基於所述劃分過程對所述四個子塊編碼；以及 基於所述編碼生成當前可視媒體塊的位元流表示。
3. 如申請專利範圍第1項或第2項所述的方法，其中基於所述劃分過程或四叉樹（QT）劃分過程進一步劃分所述四個子塊中的至少一個子塊，並且其中所述QT劃分過程將所述至少一個子塊劃分為四個相等尺寸的子塊。
4. 如申請專利範圍第1項或第2項所述的方法，其中基於二叉樹（BT）劃分過程進一步劃分所述四個子塊中的至少一個子塊，並且其中所述BT劃分過程將所述至少一個子塊劃分為兩個相等尺寸的子塊。
5. 如申請專利範圍第3項所述的方法，其中對於所述劃分過程和所述QT劃分過程，用於劃分深度的增量過程或葉節點尺寸限制是相同的。
6. 如申請專利範圍第5項所述的方法，其中對於所述QT劃分過程，所述劃分深度增加1。
7. 如申請專利範圍第5項所述的方法，其中當所述劃分深度達到最大允許劃分深度時，所述劃分過程或所述QT劃分過程隱含地終止。
8. 如申請專利範圍第1項或第2項所述的方法，其中當所述葉節點尺寸達到所述劃分過程的最小允許葉節點尺寸時，所述劃分過程隱含地終止。
9. 如申請專利範圍第3項所述的方法，其中用於所述劃分過程的劃分深度的第一增量過程不同於用於所述QT劃分過程的劃分深度的第二增量過程。
10. 如申請專利範圍第9項所述的方法，其中當所述劃分深度達到所述劃分過程的最大允許劃分深度時，所述劃分過程隱含地終止。
11. 如申請專利範圍第3項所述的方法，其中對所述劃分過程的葉節點尺寸的第一限制不同於對所述QT劃分過程的葉節點尺寸的第二限制。
12. 如申請專利範圍第11項所述的方法，其中當所述葉節點尺寸達到最小允許葉節點尺寸時，所述劃分過程隱含地終止。
13. 如申請專利範圍第7項或第10項所述的方法，其中在與當前可視媒體塊相關聯的序列參數集（SPS）、圖片參數集（PPS）、條帶標頭、編碼樹單元（CTU）、區域、片或編碼單元（CU）中用信令通知所述最大允許劃分深度。
14. 如申請專利範圍第8項或第12項所述的方法，其中在與當前可視媒體塊相關聯的序列參數集（SPS）、圖片參數集（PPS）、條帶標頭、編碼樹單元（CTU）、區域、片或編碼單元（CU）中用信令通知所述最小允許葉節點尺寸。
15. 如申請專利範圍第1項或第2項所述的方法，其中當前可視媒體塊的高度（H）和寬度（W）是整數，其中當前可視媒體塊的左上角座標表示為(x, y)，並且其中所述四個子塊具有如下給出的左上角座標和維度： （i）左上角座標(x, y)，維度為H/4 × W； （ii）左上角座標(x, y + H/4)，維度為H/2×W/2； （iii）左上角座標(x+W/2, y+H/4)，維度為H/2×W/2；以及 （iv）左上角座標(x, y+3×H/4)，維度為H/4×W。
16. 如申請專利範圍第1項或第2項所述的方法，其中當前可視媒體塊的高度（H）和寬度（W）是整數，其中當前可視媒體塊的左上角座標表示為(x, y)，並且其中所述四個子塊具有如下給出的左上角座標和維度： （i） 左上角座標(x, y)，維度為H×W/4； （ii） 左上角座標(x+W/4, y)，維度為H/2×W/2； （iii）左上角座標(x+W/4, y+H/2)，維度為H/2×W/2；以及 （iv）左上角座標(x+3×W/4, y)，維度為H×W/4。
17. 如申請專利範圍第1項至第16項任一項所述的方法，其中所述當前可視媒體塊包括視頻塊。
18. 如申請專利範圍第1項至第16項任一項所述的方法，其中所述當前可視媒體塊包括單個圖像。
19. 一種視頻系統中的裝置，所述裝置包括處理器和其上具有指令的非暫時性記憶體，其中所述指令在由處理器執行時使處理器實現根據申請專利範圍第1項至第18項中的一項或多項中所限定的方法。
20. 一種存儲在非暫時性電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於執行根據申請專利範圍第1項至第18項中的一項或多項中所限定的方法的程式碼。

Images