TWI705696B - 交織預測的改善 - Google Patents

Abstract

描述了用於視頻處理的裝置、系統和方法。在代表性方面中，提供了視頻處理方法，包含：基於當前視頻塊的分量類型，確定交織預測模式是否適用於當前視頻塊與表示當前視頻塊的位元流之間的轉換；以及，響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式而進行轉換，其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊，並且產生作為對多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

Description

交織預測的改善

本專利文件涉及一種視頻編碼和解碼技術、裝置和系統。

儘管視頻壓縮有所進步，但是數位視頻佔網際網絡和其他數位通信網絡上最大的寬頻使用。隨著能夠接收和顯示視頻的所連接的用戶設備的數量增加，預計數位視頻使用的寬頻需求將繼續增長。

本文件公開了一種技術，其可以用於視頻編碼和解碼實施例中，以改善基於子塊的編碼的性能，並且特別地，當使用仿射運動編碼模式。

在一個實施例中，提供了一種視頻處理方法，包含：基於當前視頻塊的分量類型，確定交織預測模式是否適用於當前視頻塊與當前視頻塊的位元流表示之間的轉換；以及響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式而進行轉換，其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊，並且產生作為對多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

在另一實施例中，提供了一種視頻處理方法，包含：基於當前視頻塊的預測方向，確定交織預測模式是否適用於當前視頻塊與當前視頻塊的位元流表示之間的轉換；以及響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式進行轉換，其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊，並且產生作為對多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

在另一實施例中，提供了一種視頻處理方法，包含：基於當前圖片的低延遲模式，確定交織預測模式是否適用於當前圖片中的當前視頻塊與當前視頻塊的位元流表示之間的轉換；以及響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式進行轉換，並且，其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊，並且產生作為對多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

在另一實施例中，提供了一種視頻處理方法，包含：基於使用包含當前視頻塊的當前圖片作為參考，確定交織預測模式是否適用於當前視頻塊與當前視頻塊的位元流表示之間的轉換；以及響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式進行轉換，並且，其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊樣式，並且產生作為對多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

在另一實施例中，提供了一種視頻處理方法，包含：選擇性地基於視頻條件，進行視頻的來自視頻幀的亮度分量、第一色度分量和第二色度分量中的一個或多個分量的基於交織預測的編碼，其中進行交織預測包括通過以下為視頻的分量的當前塊確定預測塊：選擇視頻幀的分量的像素的集合以形成塊；根據第一樣式將塊分割為子塊的第一集合；基於子塊的第一集合產生第一中間預測塊；根據第二樣式將塊分割為子塊的第二集合，其中第二集合中的至少一個子塊不在第一集合中；基於子塊的第二集合產生第二中間預測塊；以及基於第一中間預測塊和第二中間預測塊確定預測塊。

在又一實施例中，公開了一種實現本文中描述的視頻編碼方法的視頻編碼器裝置。

在又一代表性方面中，將本文中描述的各種技術實施為非暫態電腦 可讀媒體上儲存的電腦程式產品。電腦程式產品包含用於進行本文中描述的方法的程式代碼。

在又一代表性方面中，視頻解碼器設備可以實現本文所描述的方法。

以下所附附件、附圖和說明書中提出了一個或多個實現方式的細節。根據說明書和附圖以及請求項，其他特徵將變得顯而易見。

v₁、v₀、v_x、v_y、MVx、MVy:向量

A至E、1300至1305、P、P _i :視頻塊

Wa、Wb:權重值

τ ₀、τ ₁:距離

Ref0、Ref1:參考幀

1800:視頻處理設備

1802:處理器

1804:記憶體

1806:視頻處理電路

1900、2000、2100、2200、2300:方法

1902至1904、2002至2004、2102至2104、2202至2204、2302至2312:步驟

第1圖示出了基於子塊的預測的示例。

第2圖示出了簡化的仿射運動模型的示例。

第3圖示出了每個子塊的仿射運動向量場(MVF)的示例。

第4圖示出了AF_INTER模式的運動向量預測(MVP)的示例。

第5A圖和第5B圖繪示了AF_MERGE編碼模式的候選的示例。

第6圖示出了編碼單元(CU)的高級時域運動向量預測器(ATMVP)運動預測的示例性過程。

第7圖示出了具有四個子塊(A-D)的一個CU及其相鄰塊(a-d)的示例。

第8圖示出了視頻編碼中的光流軌跡的示例。

第9A圖和第9B圖示出了沒有塊擴展的雙向光(BIO)編碼技術的示例。第9A圖示出了塊之外的訪問位置的示例，並且第9B圖示出了為了避免額外記憶體訪問和計算而使用的填充(padding)的示例。

第10圖示出了雙邊匹配的示例。

第11圖示出了模板匹配的示例。

第12圖示出了幀速率上轉換(FRUC)中的單邊運動估計(ME)的示例。

第13圖示出了交織預測的示例性實現方式。

第14A圖至第14C圖示出了部分交織預測的示例。虛線表示第一細分樣式；實線 表示第二細分樣式；粗線表示應用交織預測的區域。在該區域之外，不應用交織預測。

第15圖示出了子塊中的權重值的示例。示例性權重值{Wa，Wb}為{3，1}、{7，1}、{5，3}、{13，3}等。

第16圖示出了根據本公開的技術的具有兩種細分樣式的交織預測的示例。

第17A圖示出了根據本公開的技術的其中將塊細分為4×4子塊的示例性細分樣式。

第17B圖示出了根據本公開的技術的其中將塊細分為8×8子塊的示例性細分樣式。

第17C圖示出了根據本公開的技術的其中將塊細分為4×8子塊的示例性細分樣式。

第17D圖示出了根據本公開的技術的其中將塊細分為8×4子塊的示例性細分樣式。

第17E圖示出了根據本公開的技術的其中將塊細分為非均勻子塊的示例性細分樣式。

第17F圖示出了根據本公開的技術的其中將塊細分為非均勻子塊的另一示例性細分樣式。

第17G圖示出了根據本公開的技術的其中將塊細分為非均勻子塊的又一示例性細分樣式。

第18圖是用於實現本文件中描述的視頻處理方法的硬體平臺的示例的框圖。

第19圖是本文件中描述的視頻處理的示例性方法的流程圖。

第20圖是本文件中描述的視頻處理的另一示例性方法的流程圖。

第21圖是本文件中描述的視頻處理的另一示例性方法的流程圖。

第22圖是本文件中描述的視頻處理的另一示例性方法的流程圖。

第23圖是本文件中描述的視頻處理的另一示例性方法的流程圖。

本文件中使用章節標題以改善可讀性，並且不將章節中描述的技術和實施例限制於僅該章節。

為改善視頻的壓縮比，研究者持續地尋求編碼視頻的新技術。

1.介紹

本發明涉及視頻/圖像編碼技術。具體地，其涉及視頻/圖像編碼中的基於子塊的預測。其可以應用於比如HEVC的現有視頻編碼標準，或將最終確定的標準(通用視頻編碼(Versatile Video Coding)。其還可以適用於未來的視頻/圖像編碼標準或視頻/圖像編解碼器。本發明可以進一步改善P1805026601。

簡要討論

基於子塊的預測最初通過HEVC附錄I(3D-HEVC)引入到視頻編碼標準中。通過基於子塊的預測，塊(諸如編碼單元(CU)或預測單元(PU))被細分為若干不重疊的子塊。不同的子塊可以分配不同的運動信息，諸如參考索引或運動向量(MV)，並且單獨地對每個子塊進行運動補償(MC)。第1圖展示了基於子塊的預測的概念。

為了探索HEVC之外的未來視頻編碼技術，由VCEG和MPEG於2015年聯合成立聯合視頻探索團隊(JVET)。從那時起，JVET採用了許多新方法並將其納入名為聯合探索模型(JEM)的參考軟體。

在JEM中，在若干編碼工具中採用基於子塊的預測，諸如仿射預測、可選時域運動向量預測(ATMVP)、空間-時間運動向量預測(STMVP)、雙向光流(BIO)以及幀速率上轉換(FRUC)。

2.1 仿射預測

在HEVC中，對於運動補償預測(MCP)僅應用平移運動模型。而 在現實世界中，存在許多種運動，例如放大/縮小、旋轉、透視運動和其他不規則的運動。在JEM中，應用簡化的仿射變換運動補償預測。如第2圖所示，塊的仿射運動場由兩個控制點運動向量描述。

塊的運動向量場(MVF)由以下等式描述：

其中(v _0x ,v _0y )是左頂角控制點的運動向量，(v _1x ,v _1y )是右頂角控制點的運動向量。

為了進一步簡化運動補償預測，應用基於子塊的仿射變換預測。子塊尺寸M×N如等式(2)中導出，其中MvPre是運動向量分數精度(在JEM中為1/16)，(v _2x ,v _2y )是左下控制點的運動向量，其根據等式(1)計算。

在由等式(2)導出之後，如果需要，應該向下調整M和N，以使其分別為w和h的除數。

如第3圖所示，為了導出每個M×N子塊的運動向量，根據等式(1)計算每個子塊的中心樣本的運動向量並將其取整至1/16分數精度。然後，應用運動補償插值濾波器，以利用導出的運動向量產生每個子塊的預測。

在MCP之後，每個子塊的高精度運動向量以與正常運動向量相同的精度被取整並保存。

在JEM中，存在兩種仿射運動模式：AF_INTER模式和AF_MERGE模式。對於寬度和高度均大於8的CU，可以應用AF_INTER模式。在位元流中信令通知CU級別的仿射標誌，以指示是否使用AF_INTER模式。在此模式下，使用相鄰塊構建具有運動向量對{(v₀,v₁)|v₀={v_A,v_B,v_c},v₁={v_D,v_E}}的候選列 表。如第4圖所示，從塊A、塊B或塊C的運動向量中選擇v₀。來自相鄰塊的運動向量根據參考列表並且根據相鄰塊的參考的POC、當前CU的參考的POC和當前CU的POC之間的關係來縮放。並且從相鄰塊D和E中選擇v₁的方法是類似的。如果候選列表的數量小於2，則由通過複製每個AMVP候選而組成的運動向量對來填充該列表。當候選列表大於2時，首先根據相鄰運動向量的一致性(候選對中的兩個運動向量的相似性)對候選進行分類，並且僅保留前兩個候選。RD成本校驗用於確定選擇哪個運動向量對候選作為當前CU的控制點運動向量預測(CPMVP)。並且，在位元流中信令通知指示候選列表中的CPMVP的位置的索引。在確定當前仿射CU的CPMVP之後，應用仿射運動估計，並找到控制點運動向量(CPMV)。然後在位元流中信令通知CPMV與CPMVP的差異。

當在AF_MERGE模式中應用CU時，它從有效的相鄰重建塊獲得使用仿射模式編碼的第一塊。如第5A圖所示，並且對於候選塊的選擇順序是從左方、上方、右上方、左下方到左上方。如第5B圖所示，如果相鄰左下方的塊A以仿射模式編碼，則導出包含塊A的CU的左頂角、右上角和左底角的運動向量v₂、v₃和v₄。並且根據v₂、v₃和v₄來計算當前CU的左頂角的運動向量v₀。其次，計算當前CU的右上方的運動向量v₁。

在導出當前CU的CPMV v₀和v₁之後，根據簡化的仿射運動模型等式(1)，產生該當前CU的MVF。為了識別當前CU是否使用AF_MERGE模式編碼，當存在至少一個相鄰塊以仿射模式編碼時，在位元流中信令通知仿射標誌。

2.2 ATMVP

在可選時域運動向量預測(ATMVP)方法中，通過從小於當前CU的塊中提取多組運動信息(包括運動向量和參考指數)，修改運動向量時域運動向量預測(TMVP)。如第6圖所示，子CU為方形N×N塊(N默認設定為4)。

ATMVP分兩步預測CU內子CU的運動向量。第一步是用所謂的時間 向量識別參考圖片中的相應塊。參考圖片也稱為運動源圖片。第二步是將當前的CU分割成子CU，並從每個子CU對應的塊中獲取每個子CU的運動向量和參考指數，如第6圖中所示。

在第一步中，參考圖片和對應的塊由當前CU的空間相鄰塊的運動信息確定。為了避免相鄰塊的複製掃描處理，使用當前CU的MERGE候選列表中的第一MERGE候選。第一可用的運動向量及其相關聯的參考索引被設置為時間向量和運動源圖片的索引。這樣，與TMVP相比，在ATMVP中可以更準確地識別對應的塊，其中對應的塊(有時稱為並置塊)始終位於相對於當前CU的右下角或中心位置。

在第二步中，通過將時間向量添加到當前CU的坐標中，通過運動源圖片中的時間向量識別子CU的對應塊。對於每個子CU，使用其對應塊的運動信息(覆蓋中心樣本的最小運動網格)來導出子CU的運動信息。在識別出對應的N×N塊的運動信息後，用與HEVC的TMVP同樣方式，將其轉換為當前子CU的運動向量和參考指數，其中應用運動縮放和其他程式。例如，解碼器檢查是否滿足低延遲條件(即，當前圖片的所有參考圖片的POC都小於當前圖片的POC)，並且可能使用運動向量MVx(與參考圖片列表X對應的運動向量)來預測每個子CU的運動向量MVy(X等於0或1並且Y等於1-X)。

3.STMVP

在此方法中，子CU的運動向量按照光柵掃描順序遞歸導出。第7圖示出了此概念。讓我們考慮8×8的CU 700，其含有四個4×4子CU A、B、C和D。 當前幀中相鄰的4×4塊標記為a、b、c和d。

子CU A的運動推導由識別其兩個空間鄰居開始。第一鄰居是子CU A上方的N×N塊(塊c)。如果該塊c不可用或內部編碼，則檢查子CU A上方的其他N×N塊(從左到右，從塊c處開始)。第二個鄰居是子CU A左側的一個塊(塊b)。 如果塊b不可用或是內部編碼，則檢查子CU A左側的其他塊(從上到下，從塊b處開始)。每個列表從相鄰塊獲得的運動信息被縮放到給定列表的第一參考幀。 接下來，按照HEVC中規定的與TMVP相同的程式，推導出子塊A的時域運動向量預測(TMVP)。提取位置D處的並置塊的運動信息並進行相應的縮放。最後，在檢索和縮放運動信息後，對每個參考列表分別平均所有可用的運動向量(上至3個)。將平均運動向量指定為當前子CU的運動向量。

4.BIO

雙向光流(BIO)是在分塊運動補償之上對雙向預測進行的樣本方向運動細化。樣本級的運動細化不使用信令。

設I ^(k)為塊運動補償後到參考k(k=0，1)的亮度值，並且

/

,

/

分別為I ^(k)梯度的水平分量和垂直分量。假設光流是有效的，則運動向 量場(v _x ,v _y )由等式給出：

將此光流等式與每個樣品運動軌跡的埃爾米特插值相結合，得到唯 一的三階多項式，該多項式在末端同時匹配函數值I ^(k)和其導數

/

,

/

。該多項式在t=0時的值是BIO預測：

這裏，τ₀和τ₁表示到參考幀的距離，如第8圖所示。基於Ref0和Ref1的POC計算距離τ₀和τ₁：τ₀=POC(current)-POC(Ref0),τ₁=POC(Ref1)-POC(current)。如果兩個預測都來自同一個時間方向(都來自過去或都來自未來)，則符號是不同的(即，τ₀,τ₁<0)。在這種情況下，僅在預測不是來自同一時間點(即，τ₀≠τ₁)的情況下應用BIO。兩個參考區域都具有非零運動 (即，MVx ₀ ,MVy ₀ ,MVx ₁ ,MVy ₁≠0)，並且塊運動向量與時間距離成比例(即，MVx ₀ /MVx ₁=MVy ₀ /MVy ₁=-τ₀/τ₁)。

通過最小化A點和B點之間的值的差△來確定運動向量場(v _x ,v _y )(第9A圖和第9B圖上的運動軌跡與參考幀平面的相交點)。對△，模型僅使用局部泰勒展開的第一個線性項：

等式5中的所有值取決於樣本位置(i′,j′)，其至此省略了標注。假設在局部周圍區域的運動是一致的，那麼我們將△在以當前預測點(i，j)為中心的(2M+1)×(2M+1)方形窗口Ω內最小化，其中M等於2：

對於這個優化問題，JEM使用簡化方法，首先在垂直方向上最小化，然後在水平方向最小化。結果如下：

其中，

為了避免被零除或很小的值除，在式(7)和式(8)中引入正則化 參數r和m。

r=500．4 ^d-8 (10)

m=700．4 ^d-8 (11)

此處d是視頻樣本的位深度。

為了使BIO的內存訪問與常規雙向預測運動補償相同，僅在當前塊內位置計算所有預測和梯度值I ^(k),

/

,

/

。在等式(9)中，以預測區塊邊界上當前預測點為中心的(2M+1)×(2M+1)的方形窗口Ω需要訪問區塊外的位置(如第9A圖所示)。在JEM中，塊外的值I ^(k),

/

.

/

設置為等於塊內最近的可用值。例如，這可以實現為填充，如第9B圖所示。

使用BIO，可以對每個樣本的運動場進行細化。為了降低計算複雜度，在JEM中採用了基於塊設計的BIO。基於4×4塊計算運動細化。在基於塊的BIO中，對4×4塊中所有樣本的等式(9)中的s_n值進行聚合，然後將s_n的聚合值用於4×4塊的推導的BIO運動向量偏移。更具體地說，下面的等式用於基於塊的BIO推導：

其中，b_k表示屬預測塊的第k個4×4塊的樣本組。等式(7)和等式(8)中的s_n替換為((s_n,b_k)>>4)以推導相關聯的運動向量偏移。

在某些情況下，由於噪聲或不規則運動，BIO的MV團(regiment)可能不可靠。因此，在BIO中，MV團的大小被固定到一個閾值thBIO。該閾值是 基於當前圖片的參考圖片是否全部來自一個方向確定的。如果當前圖片的所有參考圖片都來自一個方向，則該閾值的值被設置為12×2^14-d ，否則其被設置為12×2^13-d 。

使用與HEVC運動補償處理一致的操作(2D可分離FIR)通過運動補償插值同時計算BIO的梯度。此2D可分離FIR的輸入是與運動補償處理相同的參考幀，以及根據塊運動向量的分數部分的分數位置(fracX，fracY)。在水平梯度

I/

x的情況下，首先使用BIOfilterS對信號進行垂直插值，該BIOfilterS對應於具有去縮放標度位移d-8的分數位置fracY，然後在水平方向上應用梯度濾波器BIOfilterG，該BIOfilterG對應於具有去縮放標度位移18-d的分數位置fracX。在垂直梯度

I/

y的情況下，使用BIOfilterG垂直地應用第一梯度濾波器，該BIOfilterG對應於具有去縮放標度位移d-8的分數位置fracY，然後，然後在水平方向上使用BIOfilterS執行信號替換，該BIOfilterS對應於具有去縮放標度位移18-d的分數位置fracX。用於梯度計算BIOfilterG和信號替換BIOfilterS的插值濾波器的長度更短(6-tap)，以保持合理的複雜度。表格示出了用於BIO中塊運動向量的不同分數位置的梯度計算的濾波器。表格示出了用於BIO中預測信號產生的插值濾波器。

在JEM中，當兩個預測來自不同的參考圖片時，將BIO應用於所有的雙向預測塊。當為CU啟用LIC時，禁用BIO。

在JEM中，在正常MC處理之後將OBMC應用於塊。為了降低計算複雜度，在OBMC處理期間不應用BIO。這意味著在OBMC處理期間，僅當使用自己的MV時，將BIO應用於塊的MC處理，而當使用相鄰塊的MV時，BIO不應用於塊的MC處理。

2.5 FRUC

當CU的合併標誌為真時，向該CU信令通知FRUC標誌。當FRUC標誌為假時，信令通知合併索引，並使用常規Merge模式。當FRUC標誌為真時，信令通知附加的FRUC模式標誌以指示將使用哪種方法(雙邊匹配或模板匹配)來導出該塊的運動信息。

在編碼器側，關於是否對CU使用FRUC合併模式的決定是基於如對正常合併候選那樣所做的RD成本選擇。換言之，通過使用RD成本選擇來校驗CU的兩種匹配模式(雙邊匹配和模板匹配)。導致最小成本的匹配模式與其他CU模式進一步比較。如果FRUC匹配模式是最有效的模式，則對於CU將FRUC標誌設置為真，並且使用有關匹配模式。

FRUC合併模式中的運動推導過程有兩個步驟。首先執行CU級別運動搜索，接下來執行子CU級別運動細化。在CU級別，基於雙邊匹配或模板匹配為整個CU導出初始運動向量。首先，產生MV候選列表，並且選擇導致最小匹配成本的候選作為進一步CU級別細化的起點。然後，圍繞起始點執行基於雙邊匹配或模板匹配的局部搜索，並且將導致最小匹配成本的MV作為整個CU的MV。隨後，運動信息在子CU級別進一步細化，其中導出的CU運動向量作為起點。

例如，針對W×HCU運動信息推導執行以下推導處理。在第一階段，導出整體W×H CU的MV。在第二階段，CU進一步分割為M×M子CU。 如(16)中計算M的值，D是預定義的分割深度，其在JEM中默認設置為3。然後導出每個子CU的MV。

如第10圖所示，雙邊匹配用於通過在兩個不同參考圖像中沿當前CU的運動軌跡找到兩個塊之間的最接近匹配，來導出當前CU的運動信息。在連續 運動軌跡的假設下，指向兩個參考塊的運動向量MV0和MV1應當與在當前圖像和兩個參考圖像之間的時間距離──即TD0和TD1──成比例。作為特殊情況，當當前圖像在時間上在兩個參考圖像之間並且從當前圖像到兩個參考圖像的時間距離相同時，雙邊匹配變為基於鏡像的雙向MV。

如第11圖所示，模板匹配用於通過找到在當前圖像中的模板(當前CU的頂部相鄰塊和/或左方相鄰塊)與參考圖像中的塊(具有與模板相同的尺寸)之間的最接近匹配，來導出當前CU的運動信息。除了上述FRUC合併模式之外，模板匹配也適用於AMVP模式。在JEM中，如在HEVC中一樣，AMVP有兩個候選。使用模板匹配方法，導出新的候選。如果由模板匹配的新導出的候選與第一現有AMVP候選不同，則將其插入AMVP候選列表的最開始，並且然後將列表尺寸設置為2(這意味著移除第二現有AMVP候選)。當應用於AMVP模式時，僅應用CU級別搜索。

CU級別MV候選集合

CU級別的MV候選集合由以下組成：i.如果當前CU處於AMVP模式，則為原始AMVP候選，ii.所有合併候選，iii.插值MV域中的數個MV(後面描述)，iv.頂部和左方相鄰的運動向量。

當使用雙邊匹配時，合併候選的每個有效MV被用作輸入，以在假設雙邊匹配的情況下產生MV對。例如，合併候選的一個有效MV是在參考列表A中的(MVa，refa)。然後，在其他參考列表B中找到其配對雙邊MV的參考圖像refb，使得refa和refb在時間上位於當前圖片的不同側。如果參考列表B中這樣的refb不可用，則refb被確定為與refa不同的參考，並且refb到當前圖像的時間距離是列表B中的最小值。在確定refb之後，基於當前圖像與refa、refb之間的時間距 離通過縮放MVa來導出MVb。

來自插值MV域的四個MV也被添加到CU級別候選列表。更具體地，添加當前CU的位置(0,0)、(W/2,0)、(0,H/2)和(W/2,H/2)處的插值MV。

當FRUC應用於AMVP模式時，原始AMVP候選也被添加到CU級別MV候選集合。

在CU級別，用於AMVP CU的最多15個MV、用於合併CU的最多13個MV被添加到候選列表。

子CU級別MV候選集合子CU級別的MV候選集合由以下組成：i.從CU級別搜索確定的MV，ii.頂部、左方、左頂和右頂的相鄰MV，iii.來自參考圖像的並列MV的縮放版本，iv.最多4個ATMVP候選，v.最多4個STMVP候選。

來自參考圖像的縮放MV如下導出。遍歷兩個列表中的所有參考圖像。參考圖像中的子CU的並列位置處的MV被縮放到起始CU級別MV的參考。

ATMVP和STMVP候選僅限於前四個。

在子CU級別，最多17個MV被添加到候選列表中。

插值MV域的產生

在對幀進行編碼之前，基於單邊ME為整個圖像產生插值運動域。然後，運動域可以稍後用作CU級別或子CU級別MV候選。

首先，兩個參考列表中的每個參考圖像的運動域以4×4塊級別遍歷。對於每個4×4塊，如果與塊相關聯的運動通過當前圖像中的4×4塊(如第12圖所示)並且該塊尚未被分配任何插值運動，則參考塊的運動根據時間距離TD0和 TD1(與HEVC中的TMVP的MV縮放的方式相同的方式)縮放到當前圖像，並且將縮放的運動分配給當前幀中的塊。如果無縮放的MV被分配到4×4塊，則在插值的運動域中將塊的運動標記為不可用。

插值和匹配成本

當運動向量指向分數樣本位置時，需要運動補償插值。為了降低複雜性，雙邊匹配和模板匹配都使用雙線性插值而不是常規的8抽頭HEVC插值。

匹配成本的計算在不同的步驟有點不同。當從CU級別的候選集合中選擇候選時，匹配成本是雙邊匹配或模板匹配的絕對差和(SAD)。在確定起始MV之後，如下計算子CU級別搜索的雙邊匹配的匹配成本C：

其中w是一個加權因子，且根據經驗設置為4，MV和MV ^s 分別指示當前MV和起始MV。SAD仍用作子CU級別搜索的模板匹配的匹配成本。

在FRUC模式中，MV通過僅使用亮度樣本導出。導出的運動將用於MC幀間預測的亮度和色度。在確定MV之後，使用用於亮度的8抽頭插值濾波器和用於色度的4抽頭插值濾波器來執行最終MC。

MV細化

MV細化是以雙邊匹配成本或模板匹配成本為準則的基於模式的MV搜索。在JEM中，支持兩種搜索模式──分別用於CU級別和子CU級別的MV細化的無限制的中心偏置菱形搜索(unrestricted center-biased diamond search，UCBDS)和自適應交叉搜索(adaptive cross search)。對於CU級別和子CU級別MV細化，以四分之一亮度樣本MV精度直接搜索MV，並且接下來以八分之一亮度樣本MV細化。對於CU步驟和子CU步驟的MV細化的搜索範圍被設置為等於8個亮度樣本。

模板匹配FRUC合併模式中預測方向的選擇

在雙邊匹配Merge模式中，始終應用雙向預測，因為基於在兩個不同參考圖像中沿當前CU的運動軌跡的兩個塊之間的最接近匹配來導出CU的運動信息。模板匹配Merge模式不存在這樣的限制。在模板匹配Merge模式中，編碼器可以在針對CU的來自列表0的單向預測、來自列表1的單向預測或者雙向預測之中進行選擇。選擇基於模板匹配成本，如下：如果costBi<=factor * min(cost0,cost1)

使用雙向預測；否則，如果cost0<=cost1

使用來自列表0的單向預測；否則，使用來自列表1的單向預測； 其中cost0是列表0模板匹配的SAD，cost1是列表1模板匹配的SAD，costBi是雙向預測模板匹配的SAD。factor的值等於1.25，這意味著選擇過程偏向於雙向預測。

幀間預測方向選擇僅應用於CU級別模板匹配過程。

交織預測示例

通過交織預測，以多於一個細分樣式將塊細分為子塊。細分樣式定義為將塊細分為子塊的方式，包含子塊的尺寸和子塊的位置。對於每個細分樣式，可以通過基於細分樣式推導每個子塊的運動信息來產生對應的預測塊。因此，即使對於一個預測方向，可以由多個細分樣式產生多個預測塊。替代地，對於每個預測方向，可以僅施加細分樣式。

假設存在X個細分樣式，和當前塊的X個預測塊，X個預測塊被表示為P ₀，P ₁，...，P _X-1，其由使用X個細分樣式的基於子塊的預測產生。當前塊的最終預測，表示為P，可以產生為

其中(x，y)是塊中的像素的坐標，並且w _i (x,y)是P _i 的權重值。在不失去一般化的情況下，假設

w _i (x,y)=(1≪N)，其中N是非負值。第13圖示出了使用兩個細分樣式的交織預測的示例。

3.由所描述的實施例解決的示例性問題

仿射合併MV推導過程存在兩個潛在缺點，如第5圖中所示。

首先，CU的左頂點和CU的尺寸必須由屬該CU的每個4×4塊儲存。該信息在HEVC中不需要被儲存。

其次，解碼器必須訪問不與當前CU相鄰的4×4塊的MV。在HEVC中，解碼器僅需訪問與當前CU相鄰的4×4塊的MV。

4.實施例的示例

我們提出若干方法以進一步改善基於子塊的預測，包含交織預測和仿射合併MV推導過程。

以下的詳細發明應認為是解釋總體概念的示例。這些發明不應以窄的方式理解。此外，這些發明可以以任意方式組合。本發明與其他發明之間的組合也是適用的。

交織預測的使用

1.在一個實施例中，是否應用和如何應用交織預測可以取決於顏色分量。

a.例如，交織預測僅應用於亮度分量上，而不應用於色度分量上；b.例如，細分樣式對於不同顏色分量是不同的；c.例如，權重值對於不同顏色分量是不同的。

2.在一個實施例中，是否應用和如何應用交織預測可以取決於幀間預測方向和/或參考圖片相同與否。

a.例如，交織預測可以僅用於單向預測，而不用於雙向預測。

b.例如，交織預測可以僅用於雙向預測，但兩個參考圖片列表的兩個參考圖片是相同的。

c.在一個示例中，對低延遲P(LDP)情況禁用交織預測。

d.在一個示例中，在從當前圖片預測當前塊時，也啟用交織預測。

部分交織預測

1.在一個實施例中，交織預測可以應用於整個塊的部分。

a.第二細分樣式可以僅覆蓋整個塊的部分。該部分以外的樣本不受交織預測影響。

b.該部分可以排除位於塊邊界處的樣本，例如，最前/最後n行或最前/最後m列。

c.該部分可以排除位於具有與在該塊內第二細分樣式中的大部分子塊尺寸不同的尺寸的子塊處的樣本。

d.圖14A和圖14B示出了部分交織的仿射預測的一些示例。第一細分樣式與JEM中的細分樣式相同，即，子塊的左頂點在(i×w，j×h)處，然後從等式(1)以(x,y)=(i×w+w/2，j×h+h/2)計算此子塊(第(i，j)子塊)的MV。對於兩個細分樣式，子塊的尺寸都是w×h。例如，w=h=4或w=h=8。

i.在圖14A中，第二細分樣式的子塊(第(i，j)子塊)的上左頂部是(i×w+w/2，j×h)，並且從等式(1)以(x,y)=(i×w+w，j×h+h/2)計算此子塊的MV。

ii.在圖14B中，第二細分樣式的子塊的上左頂部是(i×w，j×h+h/2)，並且從等式(1)以(x,y)=(i×w+w/2，j×h+h)計算此子塊的MV。

iii.在圖14B中，第二細分樣式的子塊的上左頂部是(i×w+w/2，j×h+h/2)，並且從等式(1)以(x,y)=(i×w+w，j×h+h)計算此子塊的MV。

第14A圖-第14C圖示出了部分交織預測的示例。虛線表示第一細分樣式；實線表示第二細分樣式；粗線表示要應用交織預測的區域。在該區域之外，不應用交織預測。

交織預測中的權重值

2.在一個實施例中，存在兩個可能的權重值Wa和Wb，滿足Wa+Wb=2 ^N 。示例性權重值{Wa，Wb}為{3，1}、{7，1}、{5，3}、{13，3}等。

a.如果與由第一細分樣式產生的預測樣本P1相關聯的權重值w1和與由第二細分樣式產生的預測樣本P2相關聯的權重值w2相同(都等於Wa或Wb)，則此樣本的最終預測P被計算為P=(P1+P2)>>1或P=(P1+P2+1)>>1。

b.如果與由第一細分樣式產生的預測樣本P1相關聯的權重值w1和與由第二細分樣式產生的預測樣本P2不同({w1，w2}={Wa，Wb}或{w1，w2}={Wb，Wa})，則此樣本的最終預測P被計算為P=(w1×P1+w2×P2+偏移)>>N，其中偏移可以為1<<(N-1)或0。

c.其可以相似地擴展到當存在多於2個細分樣式時的情況。

3.在一個實施例中，如果樣本A比樣本B更接近於推導子塊的MV的位置，則子塊中的樣本A的權重值大於子塊中的樣本B的權重值。在第16圖中示出了4×4子塊、4×2子塊、2×4子塊或2×2子塊的示例性權重值。

第15圖示出了子塊中的權重值的示例。示例性權重值{Wa，Wb}為{3，1}、{7，1}、{5，3}、{13，3}等。

交織預測的示例

第16圖示出根據所公開的技術的具有兩個細分樣式的交織預測的示例。當前塊1300可以細分成多個樣式。例如，如第16圖所示，當前塊被細分成樣式0(1301)和樣式1(1302)。產生兩個預測塊P₀(1303)和P₁(1304)。通過計算P₀(1303)和P₁(1304)的加權和，可以產生當前塊1300的最終預測塊P(1305)。

一般來說，給定X個細分樣式，當前塊的X個預測塊(表示為P ₀，P ₁,，...,P _X-1)可以以X個細分樣式由基於子塊的預測產生。當前塊的最終預測(表示為P)可產生為：

這裏，(x,y)是塊中像素的坐標，並且w _i (x,y)是P _i 的權重係數。通過示例而不是限制，權重可以表示為：

N是非負值。可選地，等式(8)中的位移操作也可以表示為：

權重之和是2的冪，通過執行移位操作而不是浮點除法，可以更有效地計算加權和P。

細分樣式可以具有不同的子塊形狀、尺寸或位置。在一些實施例中，細分樣式可以包括不規則的子塊大小。圖17A-圖17G顯示了16×16塊的幾個細分樣式的示例。在第17A圖中，根據所公開的技術將塊細分為4×4個子塊。這種樣式也用於JEM。第17B圖示出根據所公開的技術將塊細分為8×8個子塊的細分樣式的示例。第17C圖示出根據所公開的技術將塊細分為8×4個子塊的細分樣式的示例。第17D圖示出根據所公開的技術將塊細分為4×8個子塊的細分樣式的示例。在第17E圖中，根據所公開的技術將塊的一部分細分為4×4子塊。塊邊界上的像素被細分成更小的子塊，其大小如2×4,4×2或2×2。一些子塊可以合併以形成更大的子塊。第17F圖示出了相鄰子塊(如4×4子塊和2x4子塊)的示例，這些子塊合併後形成尺寸為6×4、4×6或6×6的較大子塊。在第14G圖中，塊的一部分被細分為8×8子塊。而塊邊界處的像素被細分為較小的子塊如8×4、4×8或4×4。

基於子塊的預測中，子塊的形狀和大小可以基於編碼塊的形狀和/或大小和/或編碼塊信息來確定。例如，在一些實施例中，當當前塊的大小為M×N 時，子塊的大小為4×N(或8×N等)，即子塊與當前塊具有相同的高度。在一些實施例中，當當前塊的大小為M×N時，子塊的大小為M×4(或M×8等)，即子塊與當前塊具有相同的寬度。在一些實施例中，當當前塊的大小為M×N(其中M>N)時，子塊的大小為A×B，其中A>B(例如，8×4)。或者，子塊的大小為B×A(例如，4×8)。

在一些實施例中，當前塊的大小為M×N。當M×N<=T(或min(M，N)<=T，或max(M，N)<=T等)時，子塊的大小為A×B；當M×N>T(或min(M，N)>T，或max(M，N)>T等)時，子塊的大小為C×D，其中A<=C，B<=D。例如，如果M×N<=256，子塊的大小可以是4×4。在一些實現中，子塊的大小為8×8。

在一些實施例中，可以基於幀間預測方向而確定是否應用交織預測。例如，在一些實施例中，交織預測可以應用於雙向預測，而不應用於單向預測。作為另一示例，當應用多假說(multiple-hypothesis)時，當存在多於一個參考塊時，交織預測可以應用於一個預測方向。

在一些實施例中，可以基於幀間預測方向而確定該如何應用交織預測。在一些實施例中，使用基於子塊的預測而雙向預測的塊被對於兩個不同參考列表用兩個不同的細分樣式細分為子塊。例如，當從參考列表0(L0)預測時，雙向預測的塊被細分為4×8子塊，如第17D圖所示。當從參考列表1(L1)預測時，相同的塊被細分為8×4子塊，如第17C圖所示。最終預測P被計算為

此處，P0和P1分別為來自L0和L1的預測。w0和w1分別為L0和L1的權重值。如等式(16)中所示，權重值可以確定為：w ⁰(x,y)+w ¹(x,y)=1<<N(其中N是非負整數值)。因為較少的子塊被用於每個方向上的預測(例如，與8×8子塊相比之下的4×8子塊)，與基於子塊的現有方法相比，計算需要較少寬頻。 通過使用較大的子塊，預測結果也較不易受噪聲干擾影響。

在一些實施例中，用基於子塊的預測的單向預測的塊對於相同參考列表用兩個或更多個不同細分樣式被細分為子塊。例如，列表L(L=0或1)P^L的預測被計算為

在此，XL是用於列表L的細分樣式的數目。

是用第i細分樣式 產生的預測，並且

是

的權重值。例如，當XL為2時，兩個細分樣 式被應用於列表L。在第一細分樣式中，塊被細分為4×8子塊，如第17D圖所示。在第二細分樣式中，塊被細分為8×4子塊，如第17D圖所示。

在一些實施例中，用基於子塊的預測的雙向預測的塊被認為是分別來自L0和L1的兩個單向預測的塊的組合。來自每個列表的預測可以如以上示例中所描述而推導。最終預測P可以被計算為

此處，參數a和b是兩個附加權重，其應用於兩個內部預測塊。在此具體示例中，a和b兩者都可以設定為1。相似於以上示例，因為較少的子塊被用於在每個方向上預測(例如，與8×8子塊相比之下的4×8子塊)，寬頻使用優於基於子塊的現有方法或與基於子塊的現有方法為相同水平。於此同時，預測結果可以通過使用較大的子塊改善。

在一些實施例中，單個非均勻樣式可以被用於每個單向預測的塊中。例如，對於每個列表L(例如，L0或L1)，塊被細分為不同樣式(例如，如第17E圖或第17F圖中所示)。使用較小數目的子塊降低對寬頻的需求。子塊的非均勻性還增加了預測結果的魯棒性。

在一些實施例中，對於多假說編碼的塊，可以存在對每個預測方向 (或參考圖片列表)由不同細分樣式產生的多於一個預測塊。多個預測塊可以 用來在應用附加的權重的情況下產生最終預測。例如，附加的權重可以設定為1/M，其中M是產生的預測塊的總數。

在一些實施例中，編碼器可以確定是否應用和如何應用交織預測。 然後編碼器可以將對應於確定的信息在序列級別、圖片級別、視圖級別、條帶級別、編碼樹單元(CTU)(還被稱為最大編碼單元(LCU))級別、CU級別、PU級別、樹單元(TU)級別，或區域級別(其可以包含多個CU/PU/TU/LCU)發送到解碼器。信息可以在序列參數集(SPS)、視圖參數集(VPS)、圖片參數集(PPS)、條帶報頭(SH)、CTU/LCU、CU、PU、TU或區域的第一塊中被信令通知。

在一些實現方式中，交織預測應用於現有子塊方法，像是仿射預測、ATMVP、STMVP、FRUC，或BIO。在這樣的情況下，不需要附加的信令成本。 在一些實現方式中，由交織預測產生的新子塊合併候選可以被插入到合併列表中，例如，交織預測+ATMVP、交織預測+STMVP、交織預測+FRUC等。

在一些實施例中，要由當前塊使用的細分樣式可以基於來自空間和/或時間相鄰塊的信息推導。例如，替代於依賴於編碼器來信令通知相關信息，編碼器和解碼器兩者都可以採用一組預定規則來基於時間相鄰性(例如，該相同塊的之前使用的細分樣式)或空間相鄰性(例如，由相鄰塊使用的細分樣式)獲得細分樣式。

在一些實施例中，權重值w可以固定。例如，全部細分樣式可以相等地加權：w _i (x,y)=1。在一些實施例中，可以基於塊的位置以及使用的細分樣式確定權重值。例如，w _i (x,y)對於不同的(x，y)可以是不同的。在一些實施例中，權重值可以進一步取決於基於編碼技術(例如，仿射或ATMVP)和/或其他編碼信息(例如，跳過或非跳過模式，和/或MV信息)的子塊預測。

在一些實施例中，編碼器可以確定權重值，並且將該值以序列級別、圖片級別、條帶級別、CTU/LCU級別、CU級別、PU級別或區域級別(其可以包含多個CU/PU/TU/LCU)發送到解碼器。可以在序列參數集(SPS)、圖片參數集(PPS)、條帶報頭(SH)、CTU/LCU、CU、PU，或區域的第一塊中信令通知權重值。在一些實施例中，可以從空間和/或時間相鄰塊的權重值推導權重值。

注意到，本文中公開的交織預測技術可以應用於基於子塊的預測的編碼技術中的一個、一些或全部。例如，交織預測技術可以應用於仿射預測，而基於子塊的預測的其他編碼技術(例如，ATMVP、STMVP、FRUC或BIO)不使用交織預測。作為另一示例，仿射、ATMVP以及STMVP中的全部應用本文中所公開的交織預測技術。

第18圖是示例性視頻處理設備1800的框圖。設備1800可以用來實現本文所描述的方法中的一個或多個。設備1800可以實施為智能電話、平板、電腦、物聯網(IoT)接收器等等。設備1800可以包含一個或多個處理器1802、一個或多個記憶體1804以及視頻處理硬體1806。(多個)處理器1802可以配置為實現本文件中描述的一個或多個方法。記憶體(多個記憶體)1804可以用於儲存數據和代碼，該數據和代碼用於實現本文中描述的方法和技術。視頻處理電路1806可以用來以硬體電路實現本文件中描述的一些技術。

第19圖示出了視頻處理的示例性方法1900的流程圖。方法1900包含，在步驟1902，基於當前視頻塊的分量類型來確定交織預測模式是否適用於當前視頻塊與當前視頻塊的位元流表示之間的轉換。方法1900還包含，在步驟1904，響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式進行轉換，其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊，並且產生作為對於多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

第20圖示出了視頻處理的示例性方法2000的流程圖。方法2000包含，在步驟2002，基於當前視頻塊的預測方向來確定交織預測模式是否適用於當前視頻塊與當前視頻塊的位元流表示之間的轉換。方法2000還包含，在步驟2004，響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式進行轉換，並且其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊，並且產生作為對於多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

第21圖示出了視頻處理的示例性方法2100的流程圖。方法2100包含，在步驟2102，基於當前圖片的低延遲模式來確定交織預測模式是否適用於當前圖片中的當前視頻塊與當前視頻塊的位元流表示之間的轉換。方法2100還包含，在步驟2104，響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式進行轉換，並且，其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊，並且產生作為對於多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

第22圖示出了視頻處理的示例性方法2200的流程圖。方法2200包含，在步驟2202，基於使用包含當前視頻塊的當前圖片作為參考來確定交織預測模式是否適用於當前視頻塊與當前視頻塊的位元流表示之間的轉換。方法2200還包含，在步驟2204，響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式進行轉換，並且其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊樣式，並且產生作為對於多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

提供了視頻處理的另一示例性方法。方法包含選擇性地基於視頻條件，進行(2300)視頻的來自視頻幀的亮度分量、第一色度分量和第二色度分量中的一個或多個分量的基於交織預測的編碼。進行幀間交織預測，包括，通 過以下為視頻的分量的當前塊確定預測塊：選擇(2302)視頻幀的分量的像素的集合以形成塊；根據第一樣式，將塊分割(2304)為子塊的第一集合；基於子塊的第一集合，產生(2306)第一中間預測塊；根據第二樣式，將塊分割(2308)為子塊的第二集合，其中第二集合中的至少一個子塊不在第一集合中；基於子塊的第二集合，產生(2310)第二中間預測塊；以及，基於第一中間預測塊和第二中間預測塊，確定(2312)預測塊。

以下使用基於條款的格式描述了上述方法/技術的附加特徵和實施例。

1、一種視頻處理的方法，包括：基於當前視頻塊的分量類型，確定交織預測模式是否適用於當前視頻塊與當前視頻塊的位元流表示之間的轉換；以及響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式而進行轉換

其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊，並且產生作為對多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

2、根據條款1所述的方法，其中響應於分量類型等於亮度分量而應用交織預測。

3、根據條款1所述的方法，其中用於視頻的第一顏色分量的多於一個細分樣式與用於視頻的第二顏色分量的另外的多於一個細分樣式不同。

4、根據條款1所述的方法，其中加權平均使用權重，權重的值取決於分量類型。

5、一種視頻處理的方法，包括： 基於當前視頻塊的預測方向，確定交織預測模式是否適用於當前視 頻塊與當前視頻塊的位元流表示之間的轉換；以及 響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式進行轉換，並且 其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊，並且產生作為對多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

6、根據條款5所述的方法，其中響應於預測方向等於單向預測而應用交織預測。

7、根據條款5所述的方法，其中響應於預測方向等於雙向而應用交織預測。

8、一種視頻處理的方法，包括： 基於當前圖片的低延遲模式，確定交織預測模式是否適用於當前圖片中的當前視頻塊與當前視頻塊的位元流表示之間的轉換；以及 響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模式進行轉換，並且 其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊，並且產生作為對多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

9、根據條款8所述的方法，其中對當前圖片的低延遲模式禁用交織預測。

10、一種視頻處理的方法，包括： 基於使用包含當前視頻塊的當前圖片作為參考，確定交織預測模式是否適用於當前視頻塊與當前視頻塊的位元流表示之間的轉換；以及 響應於確定交織預測模式適用於當前視頻塊，通過應用交織預測模 式進行轉換，並且其中應用交織預測包含使用多於一個細分樣式將部分當前視頻塊細分為至少一個子塊樣式，並且產生作為對多於一個細分樣式中的每一個確定的預測器的加權平均的當前視頻塊的預測器。

11、根據條款10所述的方法，其中當從當前圖片預測當前視頻塊時，啟用交織預測。

12、根據條款1、5、8或10所述的方法，其中部分當前視頻塊包括少於所有的當前視頻塊。

13、根據條款1-12中任一項所述的方法，其中交織預測模式應用於當前視頻塊的部分。

14、根據條款13所述的方法，其中細分樣式中的至少一個僅覆蓋當前視頻塊的部分。

15、根據條款14所述的方法，其中部分排除位於當前視頻塊的邊界處的樣本。

16、根據條款14所述的方法，其中部分排除位於具有與當前視頻塊內的大部分子塊尺寸不同的尺寸的子塊處的樣本。

17、根據條款1、5、8、10或12所述的方法，其中細分部分當前視頻塊還包含：根據細分樣式的第一樣式將當前視頻塊分割為子塊的第一集合；基於子塊的第一集合產生第一中間預測塊；根據細分樣式的第二樣式將當前視頻塊分割為子塊的第二集合，其中第二集合中的至少一個子塊不在第一集合中；以及基於子塊的第二集合產生第二中間預測塊。

18、根據條款17所述的方法，其中與由第一樣式產生的預測樣本相 關聯的權重值w1和與由第二樣式產生的預測樣本相關聯的權重值w2相同，並且最終預測P計算為P=(P1+P2)>>1或P=(P1+P2+1)>>1。

19、根據條款17所述的方法，其中與由第一樣式產生的預測樣本相關聯的權重值w1和與由第二樣式產生的預測樣本相關聯的權重值w2不同，並且最終預測P計算為P=(w1×P1+w2×P2+偏移)>>N，其中偏移為1<<(N-1)或0。

20、根據條款17所述的方法，其中第一中間預測塊的第一權重Wa和第二中間預測塊的第二權重Wb滿足條件Wa+Wb=2 ^N ，其中N是整數。

21、根據條款17所述的方法，其中如果第一樣本比第二樣本更靠近推導子塊的運動向量的位置，子塊中的第一樣本的權重值大於子塊中的第二樣本的權重值。

22、一種視頻處理的方法，包括：選擇性地基於視頻條件，進行視頻的來自視頻幀的亮度分量、第一色度分量和第二色度分量中的一個或多個分量的基於交織預測的編碼，其中進行交織預測包括通過以下為視頻的分量的當前塊確定預測塊：選擇視頻幀的分量的像素的集合以形成塊；根據第一樣式將塊分割為子塊的第一集合；基於子塊的第一集合產生第一中間預測塊；根據第二樣式將塊分割為子塊的第二集合，其中第二集合中的至少一個子塊不在第一集合中；基於子塊的第二集合產生第二中間預測塊；以及基於第一中間預測塊和第二中間預測塊確定預測塊。

23、根據條款22所述的方法，其中僅對於亮度分量使用交織預測來形成預測塊。

24、根據條款22所述的方法，其中使用不同的第一樣式或第二樣式 來分割視頻的不同分量。

25、根據條款22至24中任一項所述的方法，其中視頻條件包括預測的方向，並且其中僅對於單向預測或雙向預測中的一者進行交織預測，而不對於單向預測和雙向預測中的另一者進行交織預測。

26、根據條款22所述的方法，其中視頻條件包括使用低延遲P編碼模式，並且其中在使用低延遲P模式的情況下，方法包含抑制進行交織預測。

27、根據條款22所述的方法，其中視頻條件包括使用包含當前塊的當前圖片作為預測的參考。

28、根據條款1-27中任一項所述的方法，其中基於交織的預測編碼包括使用僅來自部分當前塊的子塊的第一集合和子塊的第二集合。

29、根據條款28所述的方法，其中當前塊的較小部分排除在當前塊的邊界區域中的樣本。

30、根據條款28所述的方法，其中使用部分當前塊的基於交織的預測編碼包含使用部分當前塊進行仿射預測。

31、根據條款22所述的方法，其中確定預測塊包含使用第一中間預測塊和第二中間預測塊的加權平均來確定預測塊。

32、附加條款31所述的方法，其中第一中間預測塊的第一權重Wa和第二中間預測塊的第二權重Wb滿足條件Wa+Wb=2 ^N ，其中N是整數。

33、根據條款32所述的方法，其中Wa=3且Wb=1。

34、根據條款22所述的方法，其中當第一樣本比第二樣本更接近於推導子塊的運動向量的位置時，子塊中的第一樣本的權重值大於子塊中的第二樣本的權重值。

35、一種設備，包括處理器和其上具有指令的非暫態記憶體，其中當由處理器執行指令時，使處理器實現條款1至34中的一個或多個中的方法。

36、一種電腦程式產品，儲存在非暫態電腦可讀媒體上，電腦程式產品包含程式代碼，程式代碼用於執行條款1至34中的一個或多個所述的方法。

從以上，可以理解本文中已經描述的本公開的技術的具體實施例是出於說明目的，但可以進行各種修改，而不背離本發明的範圍。相應地，本公開的技術不受所附請求項之外的限制。

本文件中描述的公開和其他實施例、模塊和功能操作可以以數位電子電路實現，或者以電腦軟體、韌體或硬體實現，包含本文件中公開的結構及其結構等同物，或者以它們中的一個或多個的組合實現。公開和其他實施例可以實現為一個或多個電腦程式產品，即，在電腦可讀媒體上編碼的一個或多個電腦程式指令模塊，用於由數據處理裝置執行或控制數據處理裝置的操作。電腦可讀媒體可以是機器可讀儲存設備、機器可讀儲存基板、記憶體設備、影響機器可讀傳播信號的物質組合、或者它們中的一個或多個的組合。術語“數據處理裝置”涵蓋用於處理數據的所有裝置、設備和機器，包括例如可編程處理器、電腦或多個處理器或電腦。除了硬體之外，該裝置還可以包括為所討論的電腦程式創建執行環境的代碼，例如，構成處理器韌體、協定疊、數據庫管理系統、操作系統、或者它們中的一個或多個的組合的代碼。傳播信號是人工產生的信號，例如機器產生的電信號、光信號或電磁信號，其被產生以對信息進行編碼以便傳輸到合適的接收器裝置。

電腦程式(也稱為程式、軟體、軟體應用、腳本或代碼)可以以任何形式的編程語言編寫，包括編譯或解釋語言，並且可以以任何形式來部署電腦程式，包括作為獨立程式或作為適合在計算環境中使用的模塊、組件、子例程或其他單元。電腦程式不一定對應於文件系統中的文件。程式可以儲存在保存其他程式或數據的文件的一部分中(例如，儲存在標記語言文件中的一個或多個腳本)，儲存在專用於所討論的程式的單個文件中，或儲存在多個協調文件 中(例如，儲存一個或多個模塊、子程式或代碼部分的文件)。可以部署電腦程式以在一個電腦上或在位於一個站點上或分布在多個站點上並由通信網絡互連的多個電腦上執行。

本文件中描述的過程和邏輯流程可以由執行一個或多個電腦程式的一個或多個可編程處理器執行，以通過對輸入數據進行操作並產生輸出來執行功能。過程和邏輯流程也可以由專用邏輯電路執行，並且裝置也可以實現為專用邏輯電路，例如FPGA(現場可編程門陣列)或ASIC(專用集成電路)。

舉例來說，適合於執行電腦程式的處理器包括通用和專用微處理器、以及任何種類的數位電腦的任何一個或多個處理器。通常，處理器將從只讀記憶體或隨機存取記憶體或兩者接收指令和數據。電腦的基本元件是用於執行指令的處理器和用於儲存指令和數據的一個或多個記憶體設備。通常，電腦還將包括或可操作地耦合到用於儲存數據的一個或多個大容量儲存設備，例如磁碟或光碟，以從該一個或多個大容量儲存設備接收數據，或將數據傳遞到該一個或多個大容量儲存設備，或者既接收又傳遞數據。然而，電腦不需要具有這樣的設備。適用於儲存電腦程式指令和數據的電腦可讀媒體包括所有形式的非揮發性記憶體、媒體和記憶體設備，舉例來說，包括半導體記憶體設備，例如EPROM、EEPROM和快閃記憶體設備；磁碟，例如內部硬碟或可移動磁碟；磁光盤；以及CD ROM和DVD-ROM磁碟。處理器和記憶體可以由專用邏輯電路補充或併入專用邏輯電路中。

雖然本專利文件包含許多細節，但這些細節不應被解釋為對任何發明或可要求保護的範圍的限制，而是作為特定於特定發明的特定實施例的特徵的描述。在本專利文件中，在分開的實施例的上下文中描述的某些特徵也可以在單個實施例中組合實現。相反，在單個實施例的上下文中描述的各種特徵也可以分開地或以任何合適的子組合在多個實施例中實現。此外，儘管上面的特 徵可以描述為以某些組合起作用並且甚至最初如此要求保護，但是在一些情況下，可以從所要求保護的組合中去除來自該組合的一個或多個特徵，並且所要求保護的組合可以指向子組合或子組合的變型。

類似地，雖然在附圖中以特定順序描繪了操作，但是這不應該被理解為要求以所示的特定順序或按順序執行這樣的操作，或者執行所有示出的操作，以實現期望的結果。此外，在本專利文件中描述的實施例中的各種系統組件的分離不應被理解為在所有實施例中都要求這樣的分離。

僅描述了幾個實現方式和示例，並且可以基於本專利文件中描述和示出的內容來做出其他實現方式、增強和變型。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

2300:方法

2302至2312:步驟

Claims (36)

1. 一種視頻處理的方法，包括：基於當前視頻塊的分量類型，確定交織預測模式是否適用於該當前視頻塊與該當前視頻塊的位元流表示之間的轉換；以及響應於確定該交織預測模式適用於該當前視頻塊，通過應用該交織預測模式而進行該轉換；其中應用該交織預測包含使用多於一個細分樣式將部分該當前視頻塊細分為至少一個子塊，並且產生作為對該多於一個細分樣式中的每一個確定的預測器的加權平均的該當前視頻塊的預測器。
2. 如請求項1所述的方法，其中響應於該分量類型等於亮度分量而應用該交織預測。
3. 如請求項1所述的方法，其中用於視頻的第一顏色分量的該多於一個細分樣式與用於視頻的第二顏色分量的另外的多於一個細分樣式不同。
4. 如請求項1所述的方法，其中該加權平均使用權重，該權重的值取決於該分量類型。
5. 一種視頻處理的方法，包括：基於當前視頻塊的預測方向，確定交織預測模式是否適用於該當前視頻塊與該當前視頻塊的位元流表示之間的轉換；以及響應於確定該交織預測模式適用於該當前視頻塊，通過應用該交織預測模式進行該轉換，並且其中應用該交織預測包含使用多於一個細分樣式將部分該當前視頻塊細分為至少一個子塊，並且產生作為對該多於一個細分樣式中的每一個確定的預測器的加權平均的該當前視頻塊的預測器。
6. 如請求項5所述的方法，其中響應於該預測方向等於單向預測而應用 該交織預測。
7. 如請求項5所述的方法，其中響應於該預測方向等於雙向而應用該交織預測。
8. 一種視頻處理的方法，包括：基於當前圖片的低延遲模式，確定交織預測模式是否適用於該當前圖片中的當前視頻塊與該當前視頻塊的位元流表示之間的轉換；以及響應於確定該交織預測模式適用於該當前視頻塊，通過應用該交織預測模式進行該轉換，並且其中應用該交織預測包含使用多於一個細分樣式將部分該當前視頻塊細分為至少一個子塊，並且產生作為對該多於一個細分樣式中的每一個確定的預測器的加權平均的該當前視頻塊的預測器。
9. 如請求項8所述的方法，其中對該當前圖片的低延遲模式禁用該交織預測。
10. 一種視頻處理的方法，包括：基於使用包含當前視頻塊的當前圖片作為參考，確定交織預測模式是否適用於該當前視頻塊與該當前視頻塊的位元流表示之間的轉換；以及響應於確定該交織預測模式適用於該當前視頻塊，通過應用該交織預測模式進行該轉換，並且其中應用該交織預測包含使用多於一個細分樣式將部分該當前視頻塊細分為至少一個子塊樣式，並且產生作為對該多於一個細分樣式中的每一個確定的預測器的加權平均的該當前視頻塊的預測器。
11. 如請求項10所述的方法，其中當從該當前圖片預測該當前視頻塊時，啟用該交織預測。
12. 如請求項1、5、8或10所述的方法，其中部分該當前視頻塊包括少於 所有的該當前視頻塊。
13. 如請求項1、5、8或10中任一項所述的方法，其中該交織預測模式應用於該當前視頻塊的部分。
14. 如請求項13所述的方法，其中該細分樣式中的至少一個僅覆蓋該當前視頻塊的部分。
15. 如請求項14所述的方法，其中該部分排除位於該當前視頻塊的邊界處的樣本。
16. 如請求項14所述的方法，其中該部分排除位於具有與該當前視頻塊內的大部分子塊尺寸不同的尺寸的子塊處的樣本。
17. 如請求項1、5、8或10中任一項所述的方法，其中該細分部分當前視頻塊還包含：根據該細分樣式的第一樣式將該當前視頻塊分割為子塊的第一集合；基於該子塊的第一集合產生第一中間預測塊；根據該細分樣式的第二樣式將該當前視頻塊分割為子塊的第二集合，其中該第二集合中的至少一個子塊不在該第一集合中；以及基於該子塊的第二集合產生第二中間預測塊。
18. 如請求項17所述的方法，其中與由該第一樣式產生的預測樣本相關聯的權重值w1和與由該第二樣式產生的預測樣本相關聯的權重值w2相同，並且最終預測P計算為P=(P1+P2)>>1或P=(P1+P2+1)>>1。
19. 如請求項17所述的方法，其中與由該第一樣式產生的預測樣本相關聯的權重值w1和與由該第二樣式產生的預測樣本相關聯的權重值w2不同，並且最終預測P計算為P=(w1×P1+w2×P2+偏移)>>N，其中偏移為1<<(N-1)或0。
20. 如請求項17所述的方法，其中該第一中間預測塊的第一權重Wa和該第二中間預測塊的第二權重Wb滿足條件Wa+Wb=2^N，其中N是整數。
21. 如請求項17所述的方法，其中如果該第一樣本比該第二樣本更靠近推導該子塊的運動向量的位置，子塊中的第一樣本的權重值大於子塊中的第二樣本的權重值。
22. 一種視頻處理的方法，包括：選擇性地基於視頻條件，進行該視頻的來自視頻幀的亮度分量、第一色度分量和第二色度分量中的一個或多個分量的基於交織預測的編碼，其中進行該交織預測包括通過以下為視頻的分量的當前塊確定預測塊：選擇該視頻幀的該分量的像素的集合以形成塊；根據第一樣式將該塊分割為子塊的第一集合；基於該子塊的第一集合產生第一中間預測塊；根據第二樣式將該塊分割為子塊的第二集合，其中該第二集合中的至少一個子塊不在該第一集合中；基於該子塊的第二集合產生第二中間預測塊；以及基於該第一中間預測塊和該第二中間預測塊確定預測塊。
23. 如請求項22所述的方法，其中僅對於該亮度分量使用交織預測來形成預測塊。
24. 如請求項22所述的方法，其中使用不同的第一樣式或第二樣式來分割該視頻的不同分量。
25. 如請求項22至24中任一項所述的方法，其中該視頻條件包括預測的方向，並且其中僅對於單向預測或雙向預測中的一者進行該交織預測，而不對於該單向預測和雙向預測中的另一者進行該交織預測。
26. 如請求項22所述的方法，其中該視頻條件包括使用低延遲P編碼模式，並且其中在使用該低延遲P模式的情況下，該方法包含抑制進行該交織預測。
27. 如請求項22所述的方法，其中該視頻條件包括使用包含該當前塊的 當前圖片作為該預測的參考。
28. 如請求項1、5、8、10或22中任一項所述的方法，其中該基於交織的預測編碼包括使用僅來自部分該當前塊的該子塊的第一集合和該子塊的第二集合。
29. 如請求項28所述的方法，其中該當前塊的較小部分排除在該當前塊的邊界區域中的樣本。
30. 如請求項28所述的方法，其中使用部分該當前塊的基於交織的預測編碼包含使用該部分當前塊進行仿射預測。
31. 如請求項22所述的方法，其中確定該預測塊包含使用該第一中間預測塊和該第二中間預測塊的加權平均來確定該預測塊。
32. 如請求項31所述的方法，其中該第一中間預測塊的第一權重Wa和該第二中間預測塊的第二權重Wb滿足條件Wa+Wb=2^N，其中N是整數。
33. 如請求項32所述的方法，其中Wa=3且Wb=1。
34. 如請求項22所述的方法，其中當該第一樣本比該第二樣本更接近於推導該子塊的運動向量的位置時，子塊中的第一樣本的權重值大於子塊中的第二樣本的權重值。
35. 一種設備，包括處理器和其上具有指令的非暫態記憶體，其中當由該處理器執行該指令時，使該處理器實現請求項1、5、8、10或22中任一項所述的方法。
36. 一種電腦程式產品，儲存在非暫態電腦可讀媒體上，該電腦程式產品包含程式代碼，該程式代碼用於執行請求項1、5、8、10或22中任一項所述的方法。

Images