TW202005401A - 擴展四叉樹、不等四劃分的主要概念以及信令 - Google Patents

Abstract

描述了用於使用靈活和有效劃分技術的方法、系統和設備。用於可視媒體解碼的示例性方法包括對當前可視媒體塊應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊，基於位元流表示對四個子塊解碼，以及基於四個子塊和該劃分過程對當前可視媒體塊解碼。

Description

擴展四叉樹、不等四劃分的主要概念以及信令

本專利文件涉及影片編碼技術、設備和系統。 [相關申請案的交叉參考]

根據適用的專利法和/或依據巴黎公約的規則，本申請及時要求於2018年6月5日作為國際專利申請第PCT/CN2018/089918號提交的在先中國專利申請的優先權和權益，該國際專利申請隨後在提交後放棄。出於根據美國法律的所有目的，該國際專利申請第PCT/CN2018/089918號的全部公開內容通過引用併入作為本申請的公開內容的一部分。

儘管影片壓縮有所進步，但數位影片仍占網際網路和其他數位通訊網路上最大的頻寬使用。隨著能夠接收和顯示影片的所連接的使用者設備的數量增加，預計數位影片使用的頻寬需求將繼續增長。

本專利文件公開了用於通過使用靈活且有效的劃分技術來劃分影片圖片從而編碼和解碼數位影片的方法、系統和設備。

在一個示例方面，公開了一種可視媒體解碼方法。該方法包括對當前可視媒體塊應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊；基於位元流表示對四個子塊解碼；以及基於四個子塊和該劃分過程對當前可視媒體塊解碼。

在另一示例方面，公開了一種可視媒體編碼方法。該方法包括接收與當前可視媒體塊相關聯的輸入資料；對輸入資料應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊；基於該劃分過程對四個子塊編碼；以及基於該編碼生成當前可視媒體塊的位元流表示。

在又一個示例中，公開了一種可視媒體處理方法。該方法包括基於條件，做出關於在當前可視媒體塊的位元流表示中選擇性地包括用於劃分過程的一個或多個信令位元的決策；以及基於該決策，執行當前可視媒體塊與當前可視媒體塊的位元流表示之間的轉換，其中該劃分過程是（i）第一劃分過程，其將當前可視媒體塊劃分成恰好四個子塊，四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊，或者（ii）第二劃分過程，其劃分當前可視媒體塊並且與第一劃分過程不同。

在又一個示例中，公開了一種可視媒體處理方法。該方法包括為包括色度分量和亮度分量的當前可視媒體塊配置當前可視媒體塊的位元流表示，其中基於劃分樹類型來劃分當前可視媒體塊，其中色度分量和亮度分量均為該劃分樹類型的葉節點，並且其中該位元流表示包括該劃分樹類型對於亮度分量被啟用並且對於色度分量被禁用的使用的指示；以及基於該配置，執行當前可視媒體塊與當前可視媒體塊的位元流表示之間的轉換，其中該劃分樹類型將當前可視媒體塊劃分成恰好四個子塊，四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊。

在又一示例方面，公開了一種實現本文描述的可視媒體編碼方法的可視媒體編碼器設備。

在又一代表性方面，本文描述的各種技術可以體現為儲存在非暫態電腦可讀介質上的電腦程式產品。該電腦程式產品包括用於執行本文描述的方法的程式碼。

在又一代表性方面，可視媒體解碼器設備可以實現如本文中所描述的方法。

在隨附的附件、附圖和以下描述中闡述了一個或多個實施方式的細節。根據說明書和附圖以及權利要求，其他特徵將是顯而易見的。

為了改進影片的壓縮比，研究人員正不斷尋找用於編碼影片的新技術。

1. 本文件中公開的一些方面的概述

本專利文件涉及圖像/影片編碼，尤其涉及劃分結構，即，如何將一個編碼樹單元（Coding Tree Unit，CTU）劃分成多個編碼單元（Coding Unit，CU）或者如何將一個CU劃分成多個更小的CU。它可以應用於像HEVC之類的現有的影片編碼標準或者待最終確定的標準（通用影片編碼）。它也可以適用於未來的影片編碼標準或影片轉碼器。本文件中描述的技術可以應用於編碼和解碼影片，例如圖片或圖像的序列。該技術還可以用於單個圖片或圖像的編碼和解碼。因此，該技術適用於編碼或解碼影片或圖像形式的可視媒體。為了提高可讀性，在整個說明書的大部分中使用「影片」一詞來表示影片或圖像。

2. 討論

影片編碼標準主要是通過眾所周知的ITU-T和ISO/IEC標準的發展而得以演進。ITU-T製作了H.261和H.263標準，ISO/IEC製作了MPEG-1和MPEG-4 Visual標準，並且兩個組織聯合製作了H.262/MPEG-2影片標準和H.264/MPEG-4高級影片編碼（Advanced Video Coding，AVC）標準和H.265/HEVC標準。從H.262開始，影片編碼標準基於混合影片編碼結構，其中利用時間預測加變換編碼。圖1中描繪了典型HEVC編碼器框架的示例[1]。

2.1 H.264/AVC中的劃分樹結構

先前標準中的編碼層的核心是巨集塊，其包含16×16的亮度（luma）樣本塊、以及在4：2：0顏色採樣的通常情況下的兩個對應的8×8的色度（chroma）樣本塊。

影格內編碼塊使用空間預測來利用像素之間的空間相關性。兩種劃分被定義為：16x16和4x4。

影格間編碼塊通過估計圖片之間的運動來使用時間預測而不是空間預測。可以對於16x16巨集塊或其如下任何子巨集塊劃分獨立地估計運動：16x8、8x16、8x8、8x4、4x8、4x4（參見圖2）[2]。每子巨集塊劃分僅允許一個運動向量（MV）。

2.2 HEVC中的劃分樹結構

在HEVC中，通過使用表示為編碼樹的四叉樹結構將CTU劃分成CU，以適應各種局部特性。使用圖片間（時間）預測還是圖片內（空間）預測來對圖片區域編碼的決策是在CU級進行的。根據PU劃分類型，每個CU可以進一步劃分成一個、兩個或四個PU。在一個PU內部，應用相同的預測過程，並且在PU的基礎上將相關資訊發送到解碼器。在通過基於PU劃分類型應用預測過程而獲得了殘差塊之後，可以根據類似於CU的編碼樹的另一個四叉樹結構將CU劃分為變換單元（TU）。HEVC結構的關鍵特徵之一是它具有多個劃分概念，包括CU、PU和TU。

在下文中，對使用HEVC的混合影片編碼中涉及的各種特徵強調如下。

1）編碼樹單元和編碼樹塊（CTB）結構：HEVC中的類似結構是編碼樹單元（CTU），其具有由編碼器選擇的尺寸並且可以大於傳統巨集塊。CTU由亮度CTB和相應的色度CTB以及語法元素組成。亮度CTB的尺寸L×L可以被選擇為L=16、32或64個樣本，較大的尺寸通常能夠實現更好的壓縮。然後，HEVC支援使用樹結構和類似四叉樹的信令來將CTB劃分為更小的塊。

2）編碼單元（CU）和編碼塊（CB）：CTU的四叉樹語法指定其亮度CB和色度CB的尺寸和位置。四叉樹的根與CTU相關聯。因此，亮度CTB的尺寸是亮度CB的最大支持尺寸。將CTU劃分成亮度CB和色度CB是信令聯合的。一個亮度CB和通常兩個色度CB以及相關聯的語法一起形成編碼單元（CU）。CTB可以僅包含一個CU或者可以被劃分以形成多個CU，並且每個CU具有相關聯的、向預測單元（PU）以及變換單元（TU）的樹的劃分。

3）預測單元和預測塊（PB）：使用影格間圖片預測還是影格內圖片預測來對圖片區域編碼的決策是在CU級進行的。PU劃分結構的根在CU級。取決於基本預測類型決策，然後可以在尺寸上進一步劃分亮度CB和色度CB，並根據亮度和色度預測塊（PB）對其進行預測。HEVC支援從64×64到4×4樣本的可變PB尺寸。圖3示出了對於MxM CU所允許的PB的示例。

4）TU和變換塊：使用塊變換對預測殘差進行編碼。TU樹結構的根在CU級。亮度CB殘差可以與亮度變換塊（TB）相同，或者可以被進一步劃分成更小的亮度TB。這同樣適用於色度TB。對於正方形TB尺寸4×4、8×8、16×16和32×32，定義類似於離散餘弦變換（DCT）的整數基函數。對於亮度影格內圖片預測殘差的4×4變換，可以替代地指定從離散正弦變換（DST）的形式導出的整數變換。

向變換塊和單元的樹結構劃分

對於殘差編碼，可以將CB遞迴地劃分為變換塊（TB）。由殘差四叉樹信令通知劃分。僅指定正方形CB和TB劃分，其中塊可以被遞迴地劃分到象限（quadrant），如圖4所示。對於尺寸為M×M的給定亮度CB，標誌（flag）表明是否將該CB劃分成四個尺寸為M/2×M/2的塊。如果如SPS中指示的殘差四叉樹的最大深度所信令通知的，每個象限能夠進一步劃分，則為每個象限分配標誌，該標誌指示是否將其劃分成四個象限。由殘差四叉樹產生的葉節點塊是變換塊，通過變換編碼對其進一步處理。編碼器指示它將使用的最大和最小亮度TB尺寸。當CB尺寸大於最大TB尺寸時，劃分是隱含的。當劃分將導致亮度TB尺寸小於所指示的最小值時，不劃分是隱含的。除了當亮度TB尺寸為4×4時，色度TB尺寸在每個維度上是亮度TB尺寸的一半，在亮度TB尺寸為4×4的情況下，單個4×4色度TB被用於由四個4×4亮度TB覆蓋的區域。在影格內圖片預測的CU的情況下，最近鄰的TB（在CB內或在CB外）的解碼後樣本被用作用於影格內圖片預測的參考資料。

與先前的標準相反，HEVC設計允許TB跨越多個PB以用於圖片間預測的CU，以使四叉樹結構的TB劃分的潛在編碼效率益處最大化。

2.3 JEM中具有更大CTU的四叉樹加二叉樹（QTBT）塊結構

為了探索HEVC之外的未來影片編碼技術，由VCEG和MPEG於2015年聯合成立聯合影片探索團隊（JVET）。從那時起，JVET採用了許多新方法[3]並將其納入名為聯合勘探模型（JEM）[4]的參考軟體。

2.3.1 QTBT塊劃分結構

與HEVC不同[5]，QTBT結構去除了多種劃分類型的概念，即，它去除了CU、PU和TU概念的分離，並且支持CU劃分形狀的更大靈活性。在QTBT塊結構中，CU可以具有正方形或矩形形狀。如圖5A和圖5B中所示，編碼樹單元（CTU）首先被四叉樹結構劃分。四叉樹葉節點被二叉樹結構進一步劃分。在二叉樹劃分中有兩種劃分類型：對稱水平劃分和對稱垂直劃分。二叉樹葉節點被稱為編碼單元（CU），並且該劃分被用於預測和變換處理而無需任何進一步的劃分。這意味著CU、PU和TU在QTBT編碼塊結構中具有相同的塊尺寸。在JEM中，CU有時由不同顏色分量的編碼塊（CB）組成，例如，在4：2：0色度格式的P和B條帶（slice）的情況下，一個CU包含一個亮度CB和兩個色度CB；並且CU有時由單個分量的CB組成，例如，在I條帶的情況下，一個CU僅包含一個亮度CB或僅包含兩個色度CB。

為QTBT劃分方案定義以下參數。 - CTU尺寸：四叉樹的根節點尺寸，與HEVC中的概念相同 - MinQTSize：最小允許的四叉樹葉節點尺寸 - MaxBTSize：最大允許的二叉樹根節點尺寸 - MaxBTDepth：最大允許的二叉樹深度 - MinBTSize：最小允許的二叉樹葉節點尺寸

在QTBT劃分結構的一個示例中，CTU尺寸被設置為具有兩個對應的64×64色度樣本塊的128×128亮度樣本，MinQTSize被設置為16×16，MaxBTSize被設置為64×64，MinBTSize（寬度和高度）被設置為4×4，並且MaxBTDepth被設置為4。首先將四叉樹劃分應用於CTU以生成四叉樹葉節點。四叉樹葉節點可以具有從16×16（即，MinQTSize）到128×128（即，CTU尺寸）的尺寸。如果葉四叉樹節點是128×128，則由於該尺寸超過MaxBTSize（即，64×64），所以它不會被二叉樹進一步劃分。否則，葉四叉樹節點可以被二叉樹進一步劃分。因此，四叉樹葉節點也是二叉樹的根節點，並且二叉樹深度為0。當二叉樹深度達到MaxBTDepth（即，4）時，不考慮進一步的劃分。當二叉樹節點的寬度等於MinBTSize（即，4）時，不考慮進一步的水平劃分。類似地，當二叉樹節點的高度等於MinBTSize時，不考慮進一步的垂直劃分。通過預測和變換處理進一步處理二叉樹的葉節點，而無需任何進一步的劃分。在JEM中，最大CTU尺寸為256×256亮度樣本。

圖5A描繪了通過使用QTBT進行塊劃分的示例，圖5B示出了對應的樹表示。實線表示四叉樹劃分，虛線表示二叉樹劃分。在二叉樹的每個劃分（即，非葉）節點中，信令通知一個標誌以指示使用哪種劃分類型（即，水平或垂直），其中0表示水平劃分並且1表示垂直劃分。對於四叉樹劃分，不需要指示劃分類型，因為四叉樹劃分總是水平地且垂直地劃分塊以產生具有相等尺寸的4個子塊。

另外，QTBT方案支援使亮度和色度具有單獨的QTBT結構的能力。目前，對於P和B條帶，一個CTU中的亮度CTB和色度CTB共用相同的QTBT結構。然而，對於I條帶，通過QTBT結構將亮度CTB劃分為CU，並且通過另一QTBT結構將色度CTB劃分為色度CU。這意味著I條帶中的CU由亮度分量的編碼塊或兩個色度分量的編碼塊組成，並且P條帶或B條帶中的CU由所有三個顏色分量的編碼塊組成。

在HEVC中，小塊的影格間預測受限於減少運動補償的記憶體訪問，使得對於4×8和8×4塊不支持雙向預測，並且對於4×4塊不支持影格間預測。在JEM的QTBT中，這些限制被去除。

2.4 VVC（通用影片編碼）的三叉樹

如文獻[3]中所提出的，支持不同於四叉樹和二叉樹的樹類型。在該實現中，引入了另外兩個三叉樹（TT）劃分，即，水平和垂直中心側三叉樹，如圖6（d）和圖6（e）所示。

圖6示出以下示例：（a）四叉樹劃分（b）垂直二叉樹劃分（c）水平二叉樹劃分（d）垂直中心側三叉樹劃分（e）水平中心側三叉樹劃分。

在文獻[3]中，存在兩個級別的樹：區域樹（四叉樹）和預測樹（二叉樹或三叉樹）。CTU首先被區域樹（RT）劃分。可以用預測樹（PT）進一步劃分RT葉。還可以用PT進一步劃分PT葉，直到達到最大PT深度。PT葉是基本編碼單元。為方便起見，它仍被稱為CU。CU不能被進一步劃分。預測和變換都以與JEM相同的方式被應用於CU。整個劃分結構被稱為「多類型樹」。

3. 現有技術方案的缺點

諸如QTBT或TT的劃分樹的現有設計已經顯示出了高得多的編碼增益。但是，它們也可能存在以下問題：

BT和TT均試圖減少塊的劃分數目（2或3個劃分，而不是QT採用的4個劃分）。對於具有高紋理的區域，可能優選更多的劃分（例如，更小的劃分）。使用當前的設計，可能需要相當多的位元來實現這一點。

代替修改劃分數目，我們還可以修改四叉樹劃分以覆蓋不同的情況。當前的四叉樹劃分總是將一個N×N正方塊劃分成四個N/2×N/2個子塊。引入更多劃分模式可帶來額外的編碼增益。

4. 示例實施例

所公開的技術的實施例描述了不同的劃分結構，例如擴展四叉樹（extended quad tree，EQT）和靈活樹（flexible tree，FT）。

在以下描述中，應當注意，僅對於某一深度/級別允許劃分結構，可以通過信令通知指示這種劃分結構的使用。換句話說，如果對於某個深度/級別不允許劃分結構，則將自動跳過劃分結構的信令通知。所提出的方法可以單獨應用，或彼此互組合或與現有技術相結合。

示例1：提出了一種擴展四叉樹（EQT）劃分結構，其對應於一種塊劃分過程，該塊劃分過程包括用於影片資料塊的擴展四叉樹劃分過程，其中擴展四劃分結構表示將影片資料塊劃分成最終子塊，並且當擴展四叉樹劃分過程決定將擴展四叉樹劃分應用於一個給定塊時，所述一個給定塊總是被劃分成四個子塊；基於影片位元流對最終子塊解碼；以及基於根據導出的EQT結構而被解碼的最終子塊，對影片資料塊解碼。

示例1A：EQT劃分過程可以遞迴地應用於給定塊以生成EQT葉節點。可替代地，當EQT應用於某個塊時，對於由於EQT而產生的每個子塊，它可以進一步被劃分成BT和/或QT和/或TT和/或EQT和/或其他種類的劃分樹。

示例1B：提出尺寸為M×N（M和N是非零正整數值，相等或不相等）的塊可以被等分為四個劃分，例如M/4×N或M×N/4（示例在圖7A和圖7B中描繪），或者被等分為四個劃分並且劃分尺寸取決於M和N的最大值和最小值。在一個示例中，一個4×32塊可以被劃分成四個4x8子塊，而32x4塊可以被劃分成四個8x4子塊。

示例1C：可替代地，尺寸為M×N（M和N是非零正整數值，相等或不相等）的塊可以被不等分成四個劃分，例如兩個劃分的尺寸等於(M*w0/w) x (N*h0/h)，並且另外兩個劃分的尺寸為(M*(w-w0)/w) x (N*(h-h0)/h)。

例如，w0和w可以分別等於1和2，即寬度減半，而高度可以使用除了2:1之外的其他比率來獲得子塊。這種情況的示例在圖7C和圖7E中描繪。可替代地，h0和h可以分別等於1和2，即高度減半，而寬度可以使用除了2:1之外的其他比率。這種情況的示例在圖7D和圖7F中描繪。

圖7G和7H示出了擴展四叉樹劃分的兩個替代示例。

圖7I示出了具有不同形狀的劃分的擴展四叉樹劃分的更一般情況，其中每個劃分可具有其自己的尺寸。

圖7J和圖7K示出了圖7A和圖7B的一般示例，其中四個劃分為：（c）子塊寬度固定為M/2，高度等於N/4或3N/4，頂部兩個劃分較小，（d）子塊高度固定為N/2，寬度等於M/4或3M/4，左側兩個劃分較小可以具有不同的尺寸，（e）子塊寬度固定為M/2，高度等於3N/4或N/4，底部兩個劃分較小，（f）子塊高度固定為N/2，寬度等於3M/4或M/4，右側兩個劃分較小， (g) M x N/4 和 M/2 x N/2； (h) N x M/4 和 N/2 x M/2， (i) M1 x N1、(M-M1) x N1、M1 x (N-N1) 和 (M-M1) x (N-N1)， (j) M x N1、M x N2、M x N3 和 M x N4，其中並且 N1+N2+N3+N4 = N，以及 (k) M1 x N、M2 x N、M3x N 和 M4 x N 其中M1+M2+M3+M4 = M。

示例2：提出了一種靈活樹（FT）劃分結構，其對應於一種塊劃分過程，該塊劃分過程包括用於影片資料塊的FT劃分過程，其中該FT劃分結構表示將影片資料塊劃分為最終子塊，並且當FT劃分過程決定將FT劃分應用於一個給定塊時，所述一個給定塊被劃分成K個子塊，其中K可以大於4；基於影片位元流對最終子塊解碼；以及基於根據導出的FT結構解碼的最終子塊，對影片資料塊解碼。

示例2A：可以遞迴地將FT劃分過程應用於給定塊以生成FT樹葉節點。當節點達到最小允許的FT葉節點尺寸或與節點相關聯的FT深度達到最大允許的FT深度時，隱含地終止對一個節點的劃分。

示例2B：可替代地，此外，可以在序列參數集（SPS）和/或圖片參數集（PPS）和/或條帶標頭（header）和/或CTU和/或區域和/或片（tile）和/或CU中，信令通知FT的深度或最小允許的FT葉節點尺寸或FT的最小允許的劃分尺寸。

示例2C：與提出的EQT類似，由於FT劃分而產生的所有子塊可以具有相同的尺寸；可替代地，不同子塊的尺寸可以不同。在圖8A至圖8E中描繪一些示例，其中K等於6或8或16，具有相等尺寸的劃分。可以在擴展四叉樹劃分中將塊劃分成具有相等尺寸的16個子塊，如圖8A到圖8E中所示，例如，如圖8E所示的M×N塊被劃分成16個(M/4) x (N/4)個子塊。應該注意的是，通過移動圖8中的水平劃分線或垂直劃分線，可以導致具有不相等尺寸的其他類型的FT劃分。

示例2D：可替代地，當將FT應用於某個塊時，對於由於FT而產生的每個子塊，它可以進一步被劃分成BT和/或QT和/或EQT和/或TT和/或其他類型的劃分樹。

示例2D.1始終在第一級EQT和/或QT之後應用第一級FT。例如，僅允許LCU根據EQT結構和/或QT結構中的一種進行劃分。之後，對於第一級QT/EQT的劃分，可以應用FT劃分。圖9A中給出了LCU劃分的示例。

示例2D.2可替代地，可以在所有其他類型的劃分之前應用第一級FT。例如，僅允許LCU根據FT結構中的一種進行劃分。之後，可以應用QT/EQT或其他類型的劃分。圖9B中給出了LCU劃分的示例。

示例2D.3：可替代地，FT可以與QT和/或EQT具有相同的優先級。也就是說，對於每個LCU，可以根據QT和/或EQT和/或FT來完成第一級劃分。

當K大於數目K0並且劃分後的平均塊尺寸是S0時，對於Cb和Cr分量，可以在父節點級用一個位元信令通知以指示Cb/Cr塊的cbf是否全部為零。K0和S0可以是預定義的，或者通過SPS、PPS、VPS或條帶報頭中的任何一個單獨以信令通知。

圖8A至8E示出了對於M×N塊的FT劃分的示例（K = 6或8或16）。圖8A示出了K = 8、M/4×N/2的示例。圖8B示出了K = 8、M/2×N/4的示例。圖8C示出了K = 6、M/2×N/2和M/4×N/2的示例。圖8D示出了K = 6、M/2×N/2和M/2×N/4的示例。圖8E示出了K = 16、M/4×N/4的示例。

圖9A示出了首先根據QT劃分LCU（實線），並且對於右上劃分，根據FT對其進一步劃分（虛線）的示例。

圖9B示出了首先根據FT劃分LCU（實線），並且對於最右上劃分，根據EQT對其進一步劃分（虛線）的示例。

示例4：可以在某些條件下應用所提出的方法。換句話說，當不滿足條件時，不需要信令通知劃分類型。

示例4A：在一個實施例中，可以以與QT相同的方式來處理所提出的EQT。在這種情況下，當指示劃分樹類型是QT時，可以進一步信令通知更詳細的四叉樹劃分模式的更多的標誌/指示。可替代地，可以將EQT視為額外的劃分模式。

示例4B：在一個示例中，EQT或FT或GTT的劃分方法的信令可以是有條件的，即，在一些情況下（例如，當劃分尺寸的相應變換矩陣不存在時）可以不使用一個或一些EQT/FT/GTT劃分方法，並且不信令通知對應於表明這些劃分方法的位元（或二進位數字）。

實施例4C：在一個實施例中，不同EQT、FT、QT或GTT的所有組合並不都是允許的。在一個劃分結構可以通過EQT、FT、QT和GTT的多個組合來實現的情況下，則只有一個組合被認為是有效的並且所有其他組合均為無效的。下面給出一個示例，圖8C也可以被視為一個M×M塊首先被劃分成兩個水平BT，並且對於每個BT，進一步應用垂直TT。對於這樣的示例，如果信令告知FT未被用於第一深度，則使用BT，並且對於頂部BT，應用垂直TT。當對第二BT的劃分結構進行編碼時，不允許垂直TT，即，不需要信令通知是否使用垂直TT。

示例4D：在一個示例中，如果色度樹遵循與亮度相同的樹，則應當對於亮度和色度禁用導致不可用色度劃分的劃分。

示例4D.1：可替代地，仍然允許將這種劃分用於亮度，而不允許相關的色度劃分。在這樣的配置中，亮度塊和色度塊都被認為是在劃分樹類型的葉節點中。

圖10A是可視媒體解碼方法1000的流程圖表示。可視媒體可以是影片或單個圖像。方法1000包括：在步驟1002，對當前可視媒體塊應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊。

方法1000包括：在步驟1004，基於位元流表示對四個子塊解碼。

方法1000包括：在步驟1006，基於四個子塊和該劃分過程對當前可視媒體塊解碼。

圖10B是可視媒體編碼方法1020的流程圖表示。可視媒體可以是影片或單個圖像。方法1020包括：在步驟1022，接收與當前可視媒體塊相關聯的輸入資料。

方法1020包括：在步驟1024，對輸入資料應用劃分過程，該劃分過程將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊。

方法1020包括：在步驟1026，基於該劃分過程對四個子塊編碼。

方法1020包括：在步驟1028，基於該編碼生成當前可視媒體塊的位元流表示。

在一些實施例中，方法1000和1020還包括將劃分過程遞迴地應用於四個子塊中的至少一個以生成更多葉節點的步驟。在示例中，該劃分過程是以與四叉樹（QT）劃分過程類似的方式來實現的。

在一些實施例中，方法1000和1020還包括對一個或多個四個子塊中的至少一個應用二叉樹（BT）劃分過程、三叉樹（TT）劃分過程、四叉樹（QT）劃分過程或該劃分過程中的至少一個的步驟。在示例中，該劃分過程是以與QT劃分過程類似的方式來實現的，其中位元流表示包括表示劃分類型是QT劃分的指示，並且位元流表示包括表示使用該劃分過程或QT劃分過程來劃分可視媒體塊的詳細四叉樹劃分模式的一個或多個額外的指示。在另一示例中，該劃分過程是QT劃分過程之外的劃分模式，該位元流表示包括表示該劃分過程的使用的第一指示以及表示QT劃分過程的使用的第二指示，並且第二指示不同於第一指示。

在一些實施例中，並且在方法1000和1020的上下文中，當前可視媒體塊的高度（H）和寬度（W）是整數，當前可視媒體塊的左上角座標表示為(x, y)，並且四個子塊具有如下給出的左上角座標和維度：（i）左上角座標(x, y)，維度為H/4 × W，（ii）左上角座標(x, y + H/4)，維度為H/2×W/2，（iii）左上角座標(x+W/2, y+H/4)，維度為H/2×W/2，（iv）左上角座標(x, y+3×H/4)，維度為H/4×W。

在一些實施例中，並且在方法1000和1020的上下文中，當前可視媒體塊的高度（H）和寬度（W）是整數，當前可視媒體塊的左上角座標表示為(x, y)，並且四個子塊具有如下給出的左上角座標和維度：（i）左上角座標(x, y)，維度為H×W/4，（ii）左上角座標(x+W/4, y)，維度為H/2×W/2，（iii）左上角座標(x+W/4, y+H/2)，維度為H/2×W/2，（iv）左上角座標(x+3×W/4, y)，維度為H×W/4。

圖10C是可視媒體處理方法1040的流程圖表示。可視媒體可以是影片或單個圖像。方法1040包括：在步驟1042，基於條件做出關於在當前可視媒體塊的位元流表示中選擇性地包括用於劃分過程的一個或多個信令位元的決策。

方法1040包括：在步驟1044，基於該決策，執行當前可視媒體塊與當前可視媒體塊的位元流表示之間的轉換。

在一些實施例中，該劃分過程是（i）第一劃分過程，其將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊，或者（ii）第二劃分過程，其劃分當前可視媒體塊並且與第一劃分過程不同。

在一些實施例中，該條件包括由於該劃分過程而導致的對於選定尺寸的子塊的變換矩陣的不可用。

在一些實施例中，當前可視媒體塊的色度分量和亮度分量遵循相同的劃分樹，並且該條件包括：該劃分過程的劃分導致不可用的色度劃分的情況下對用於亮度分量和色度分量兩者的信令的排除。

圖10D是可視媒體處理方法1060的流程圖表示。可視媒體可以是影片或單個圖像。方法1060包括：在步驟1062，為包括色度分量和亮度分量的當前可視媒體塊配置當前可視媒體塊的位元流表示，其中基於劃分樹類型來劃分當前可視媒體塊，該色度分量和亮度分量兩者均為劃分樹類型的葉節點，並且該位元流表示包括該劃分樹類型對於亮度分量被啟用並且對於色度分量被禁用的使用的指示。

方法1060包括：在步驟1064，基於該配置，執行當前可視媒體塊與當前可視媒體塊的位元流表示之間的轉換。

在一些實施例中，該劃分樹類型將當前可視媒體塊劃分成恰好四個子塊，該四個子塊包括至少一個尺寸不同於當前可視媒體塊的寬度的一半乘以當前可視媒體塊的高度的一半的子塊。

在一些實施例中，並且在方法1000、1020、1040和1060的上下文中，當前可視媒體塊包括影片塊或單個圖像。

所公開的技術的實施例提供了一種影片系統中的裝置，該裝置包括處理器和其上具有指令的非暫態記憶體，其中該指令在由處理器執行時使處理器實現方法1000、1020、1040和1060中的至少一個。

所公開技術的實施例提供了儲存在非暫態電腦可讀介質上的電腦程式產品，該電腦程式產品包括用於實施方法1000、1020、1040和1060中的至少一個的程式碼。

圖11示出了可以被用以實現本公開技術的各個部分的硬體設備1100的示例實施例的框圖。硬體設備1100可以是膝上型電腦、智慧型電話、平板電腦、可攜式攝像機或能夠處理影片的其他類型的設備。設備1100包括用於處理資料的處理器或控制器1102，以及與處理器1102通訊以儲存和/或緩衝資料的記憶體1104。例如，處理器1102可以包括中央處理單元（CPU）或微控制器單元（MCU）。在一些實現方式中，處理器1102可以包括現場可程式化閘陣列（FPGA）。在一些實現方式中，設備1100包括用於智慧型電話設備的各種可視和/或通訊資料處理功能的圖形處理單元（GPU）、影片處理單元（VPU）和/或無線通訊單元或與之通訊。例如，記憶體1104可以包括並儲存處理器可執行代碼，其在由處理器1102執行時配置設備1100以執行各種操作，例如接收資訊、命令和/或資料，處理資訊和資料，並且將處理後的資訊/資料發送或提供給諸如致動器或外部顯示器的另一個設備。為了支援設備1100的各種功能，記憶體1104可以儲存資訊和資料，諸如指令、軟體、值、圖像以及由處理器1102處理或參考的其他資料。例如，各種類型的隨機存取記憶體（RAM）設備1100、唯讀記憶體（ROM）設備、快閃記憶體設備和其他合適的儲存介質可已被用於實現記憶體1104的儲存功能。設備1100還可以包括專用影片處理電路1106，用於執行重複的計算功能，諸如變換和解碼。在一些實施例中，影片處理電路1106可以在處理器1102內部實現。在一些實施例中，影片處理電路1106可以是圖形處理器單元（GPU）。

在本文件的第2部分的示例和申請專利範圍部分中描述了對方法1000、1020、1040和1060的各種可能的變型和添加。例如，接收操作可以包括接收本機存放區的位元流或通過網路連接接收位元流（例如，流式接收）。例如，可以通過使用影片位元流的協定語法的先驗知識來解析影片位元流中的位元，從而實現導出操作。解碼操作可以包括從影片的已壓縮或編碼後位元表示中生成未壓縮的像素值（亮度和/或顏色）。

在一些實施例中，影片可視媒體解碼過程可以生成解碼後的影片資料，該解碼後的影片資料可以儲存在影片緩衝器中並顯示在使用者介面上以供使用者查看。在一些實施例中，可以對未壓縮或輕微壓縮格式的影片執行可視媒體編碼處理，該未壓縮或輕微壓縮格式的影片例如是從相機設備或數位儲存設備捕獲的等等。

在下面的實驗結果（表1）中示出了通過將所公開的技術的實施例結合到HEVC參考軟體中而實現的改進。測試序列包括通用測試條件（CTC）中的HEVC標準測試序列，其是由JCT-VC（影片編碼聯合協作團隊）指定的。 表1

在上表中，負百分比表示該特定場景的位元速率節省。各種類別（例如，類別A1、A2、......、E）表示測試序列的不同解析度，「主層級」和「低層級」標記表示不同的位元速率範圍，其分別使用量化參數（QP）{22, 27, 32, 37}和{32, 37, 42, 47}，並且「RA」、「LDB」和「LDP」表示不同的編碼條件。

例如，類別A1和A2的解析度是4K，並且類別B、C、D和E的解析度分別是1080p、832×480、416×240和720p。

例如，「RA」表示對應於一組編碼條件的隨機訪問，該組編碼條件被設計為在已編碼影片資料中實現相對頻繁的隨機訪問點，而不太強調延遲的最小化。相反，「LDx」表示低延遲並且對應於兩組編碼條件，該兩組編碼條件被設計為實現互動式即時通訊，而不太強調隨機訪問的容易性。具體地，「LDB」是LD條件使用B圖片的變型，而「LDP」是使用P影格的變型。

從前述內容可以理解，本文已經出於說明的目的描述了本公開技術的具體實施例，但是可以在不脫離本發明範圍的情況下進行各種修改。因此，本公開的技術除了所附權利要求外不受限制。

本文件中描述的公開和其他實施例、模組和功能操作可以以數位電子電路實現，或者以電腦軟體、固件或硬體實現，包括本文件中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。公開和其他實施例可以實現為一個或多個電腦程式產品，即，在電腦可讀介質上編碼的一個或多個電腦程式指令模組，用於由資料處理裝置執行或控制資料處理裝置的操作。電腦可讀介質可以是機器可讀儲存設備、機器可讀儲存基板、記憶體設備、影響機器可讀傳播訊號的物質組合、或者它們中的一個或多個的組合。術語「資料處理裝置」涵蓋用於處理資料的所有裝置、設備和機器，包括例如可程式化處理器、電腦或多個處理器或電腦。除了硬體之外，該裝置還可以包括為所討論的電腦程式創建執行環境的代碼，例如，構成處理器固件、協定疊、資料庫管理系統、作業系統、或者它們中的一個或多個的組合的代碼。傳播訊號是人工生成的訊號，例如機器生成的電訊號、光訊號或電磁訊號，其被生成以對資訊進行編碼以便傳輸到合適的接收器設備。

電腦程式（也稱為程式、軟體、軟體應用、腳本或代碼）可以用任何形式的程式設計語言編寫，包括編譯或解釋語言，並且可以以任何形式來部署電腦程式，包括獨立程式或適合在計算環境中使用的模組、元件、子程式或其他單元。電腦程式並不必需對應於文件系統中的文件。程式可以儲存在文件的保存其他程式或資料（例如，儲存在標記語言文檔中的一個或多個腳本）的部分中，儲存在專用於所討論的程式的單個文件中，或儲存在多個協調文件中（例如，儲存一個或多個模組、子程式或代碼部分的文件）。可以部署電腦程式以在一個電腦上或在位於一個網站上或分佈在多個網站上並通過通訊網路互連的多個電腦上執行。

本文件中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可程式化處理器執行，以通過對輸入資料進行操作並生成輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如FPGA（現場可程式化閘陣列）或ASIC（專用積體電路）。

舉例來說，適合於執行電腦程式的處理器包括通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從唯讀記憶體或隨機存取記憶體或兩者接收指令和資料。電腦的基本元件是用於執行指令的處理器和用於儲存指令和資料的一個或多個記憶體設備。通常，電腦還將包括或可操作地耦合到用於儲存資料的一個或多個大容量儲存設備，例如磁片、磁光碟或光碟，以從該一個或多個大容量儲存設備接收資料，或將資料傳輸到該一個或多個大容量儲存設備，或者既接收又傳遞資料。然而，電腦不需要具有這樣的設備。適用於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非暫態記憶體、介質和記憶體設備，包括例如半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁片，例如內部硬碟或抽取式磁碟；磁光碟；以及CD ROM和DVD-ROM磁片。處理器和記憶體可以由專用邏輯電路補充或併入專用邏輯電路中。

雖然本文件包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。在本文件中，在單獨的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以單獨地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特徵可以描述為以某些組合起作用並且甚至最初如此要求權利保護，但是在某些情況下，可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。

類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或按循序執行這樣的操作，或者執行所有示出的操作，以實現期望的結果。此外，在本文件中描述的實施例中的各種系統元件的分離不應被理解為在所有實施例中都要求這種分離。

僅描述了幾個實現方式和示例，並且可以基於本文件中描述和示出的內容來做出其他實現方式、增強和變型。

5. 參考文獻

[1]“Overview of the High Efficiency Video Coding (HEVC) Standard”，Gary J. Sullivan，Jens-Rainer Ohm，Woo-Jin Han和Thomas Wiegand，IEEE影片技術電路與系統彙刊，2012年12月第12卷第12期。

[2]“Overview of the H.264/AVC video coding standard”，Ajay Luthra，Pankaj Topiwala，SPIE會議第5203卷 數位影像處理的應用XXVI。

[3]“Multi-Type-Tree”，JVET-D0117。

1000、1020、1040、1060‧‧‧方法 1002、1004、1006、1022、1024、1026、1028、1042、1044、1062、1064‧‧‧步驟 1100‧‧‧設備 1102‧‧‧處理器 1104‧‧‧記憶體 1106‧‧‧影片處理電路 （a）‧‧‧四叉樹分割 （b）‧‧‧垂直二叉樹分割 （c）‧‧‧水平二叉樹分割 （d）‧‧‧垂直中心側三叉樹分割 （e）‧‧‧水平中心側三叉樹分割

圖1是示出影片編碼器實現方式的示例的框圖。 圖2示出了H.264影片編碼標準中的巨集塊劃分。 圖3示出了將編碼塊（CB）劃分為預測塊（PU）的示例。 圖4示出了用於將CTB細分為CB和變換塊（TB）的示例實現方式。實線表示CB邊界，並且虛線表示TB邊界，包括帶有其劃分的示例CTB以及相應的四叉樹。 圖5A和圖5B示出了用於劃分影片資料的四叉樹二叉樹（QTBT）結構的示例。 圖6示出了以下的示例：（a）四叉樹劃分（b）垂直二叉樹劃分（c）水平二叉樹劃分（d）垂直中心側三叉樹劃分（e）水平中心側三叉樹劃分。 圖7A至圖7K示出了劃分像素塊的示例。 圖8A到圖8E示出了擴展四叉樹劃分的示例。 圖9A和圖9B示出了影片資料的最大編碼單元（LCU）的示例劃分。 圖10A是示出可視媒體解碼的方法的示例的流程圖。 圖10B是示出可視媒體編碼的方法的示例的流程圖。 圖10C和圖10D是示出用於可視媒體處理的方法的示例的流程圖。 圖11是用於實現本文件中描述的可視媒體解碼或可視媒體編碼技術的硬體平臺的示例的框圖。

1000‧‧‧方法

1002、1004、1006‧‧‧步驟

Claims (17)

1. 一種可視媒體解碼方法，包括： 對當前可視媒體塊應用劃分過程，所述劃分過程將所述當前可視媒體塊劃分成恰好四個子塊，所述四個子塊包括至少一個尺寸不同於所述當前可視媒體塊的寬度的一半乘以所述當前可視媒體塊的高度的一半的子塊； 基於位元流表示對所述四個子塊解碼；以及 基於所述四個子塊和所述劃分過程對所述當前可視媒體塊解碼。
2. 一種可視媒體編碼方法，包括： 接收與當前可視媒體塊相關聯的輸入資料； 對所述輸入資料應用劃分過程，所述劃分過程將所述當前可視媒體塊劃分成恰好四個子塊，所述四個子塊包括至少一個尺寸不同於所述當前可視媒體塊的寬度的一半乘以所述當前可視媒體塊的高度的一半的子塊； 基於所述劃分過程對所述四個子塊編碼；以及 基於所述編碼生成所述當前可視媒體塊的位元流表示。
3. 如申請專利範圍第1或2項所述的方法，還包括： 將所述劃分過程遞迴地應用於所述四個子塊中的至少一個以生成更多葉節點。
4. 如申請專利範圍第1至3項中任一項所述的方法，其中，所述劃分過程以與四叉樹劃分過程類似的方式來實現。
5. 如申請專利範圍第1或2項所述的方法，還包括： 對一個或多個四個子塊中的至少一個應用二叉樹劃分過程、三叉樹劃分過程、四叉樹劃分過程或所述劃分過程中的至少一個。
6. 如申請專利範圍第5項所述的方法，其中所述劃分過程以與所述四叉樹劃分過程類似的方式來實現，其中所述位元流表示包括表示劃分類型是四叉樹劃分的指示，並且其中所述位元流表示包括表示使用所述劃分過程或所述四叉樹劃分過程來劃分可視媒體塊的詳細四叉樹劃分模式的一個或多個額外的指示。
7. 如申請專利範圍第4或6項所述的方法，其中所述劃分過程是所述四叉樹劃分過程之外的劃分模式，其中所述位元流表示包括表示所述劃分過程的使用的第一指示以及表示所述四叉樹劃分過程的使用的第二指示，並且其中所述第二指示不同於所述第一指示。
8. 如申請專利範圍第1或2項所述的方法，其中所述當前可視媒體塊的高度（H）和寬度（W）是整數，其中所述當前可視媒體塊的左上角座標表示為(x, y)，並且其中所述四個子塊具有如下給出的左上角座標和維度： （i）左上角座標(x, y)，維度為H/4 × W； （ii）左上角座標(x, y + H/4)，維度為H/2×W/2； （iii）左上角座標(x+W/2, y+H/4)，維度為H/2×W/2；以及 （iv）左上角座標(x, y+3×H/4)，維度為H/4×W。
9. 如申請專利範圍第1或2項所述的方法，其中所述當前可視媒體塊的高度（H）和寬度（W）是整數，其中所述當前可視媒體塊的左上角座標表示為(x, y)，並且其中所述四個子塊具有如下給出的左上角座標和維度： （i）左上角座標(x, y)，維度為H×W/4； （ii）左上角座標(x+W/4, y)，維度為H/2×W/2； （iii）左上角座標(x+W/4, y+H/2)，維度為H/2×W/2；以及 （iv）左上角座標(x+3×W/4, y)，維度為H×W/4。
10. 一種可視媒體處理方法，包括： 基於條件，做出關於在當前可視媒體塊的位元流表示中選擇性地包括用於劃分過程的一個或多個信令位元的決策；以及 基於所述決策，執行所述當前可視媒體塊與所述當前可視媒體塊的所述位元流表示之間的轉換， 其中所述劃分過程是（i）第一劃分過程，其將所述當前可視媒體塊劃分成恰好四個子塊，所述四個子塊包括至少一個尺寸不同於所述當前可視媒體塊的寬度的一半乘以所述當前可視媒體塊的高度的一半的子塊，或者（ii）第二劃分過程，其劃分所述當前可視媒體塊並且與所述第一劃分過程不同。
11. 如申請專利範圍第10項所述的方法，其中所述條件包括由於所述劃分過程而導致的對於選定尺寸的子塊的變換矩陣的不可用。
12. 如申請專利範圍第10項所述的方法，其中所述當前可視媒體塊的色度分量和亮度分量遵循相同的劃分樹，並且其中所述條件包括所述劃分過程的劃分導致不可用的色度劃分的情況下對用於所述亮度分量和所述色度分量兩者的信令的排除。
13. 一種用於可視媒體處理的方法，包括： 為包括色度分量和亮度分量的當前可視媒體塊配置所述當前可視媒體塊的位元流表示，其中基於劃分樹類型來劃分所述當前可視媒體塊，其中所述色度分量和所述亮度分量兩者均為所述劃分樹類型的葉節點，並且其中所述位元流表示包括所述劃分樹類型對於所述亮度分量被啟用並且對於所述色度分量被禁用的使用的指示；以及 基於所述配置，執行所述當前可視媒體塊與所述當前可視媒體塊的所述位元流表示之間的轉換， 其中所述劃分樹類型將所述當前可視媒體塊劃分成恰好四個子塊，所述四個子塊包括至少一個尺寸不同於所述當前可視媒體塊的寬度的一半乘以所述當前可視媒體塊的高度的一半的子塊。
14. 如申請專利範圍第1至13項中任一項所述的方法，其中所述當前可視媒體塊包括影片塊。
15. 如申請專利範圍第1至13項中任一項所述的方法，其中所述當前可視媒體塊包括單個圖像。
16. 一種影片系統中的裝置，所述裝置包括處理器和其上具有指令的非暫態記憶體，其中所述指令在由處理器執行時使所述處理器實現根據申請專利範圍第1至15項中任一項所述的方法。
17. 一種儲存在非暫態電腦可讀介質上的電腦程式產品，所述電腦程式產品包括用於執行根據申請專利範圍第1至15項中任一項所述的方法的程式碼。

Images