Nothing Special   »   [go: up one dir, main page]

TWI595770B - 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術 - Google Patents

具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術 Download PDF

Info

Publication number
TWI595770B
TWI595770B TW101135323A TW101135323A TWI595770B TW I595770 B TWI595770 B TW I595770B TW 101135323 A TW101135323 A TW 101135323A TW 101135323 A TW101135323 A TW 101135323A TW I595770 B TWI595770 B TW I595770B
Authority
TW
Taiwan
Prior art keywords
image frame
image
multiplexed
input
frame
Prior art date
Application number
TW101135323A
Other languages
English (en)
Other versions
TW201330588A (zh
Inventor
陳濤
哈里哈蘭 加那佩西
撒米爾Ｎ 修耶卡
葛比 拉克許米納拉耶恩
殷鵬
盧濤藍
瓦特Ｊ 胡薩克
Original Assignee
杜比實驗室特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杜比實驗室特許公司 filed Critical 杜比實驗室特許公司
Publication of TW201330588A publication Critical patent/TW201330588A/zh
Application granted granted Critical
Publication of TWI595770B publication Critical patent/TWI595770B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術 參考相關申請案
本案請求美國臨時專利申請案第61/541,005號申請日2011年9月29日及美國臨時專利申請案第61/583,081號申請日2012年1月04日的優先權，該等案全文係爰引於此並融入本說明書的揭示。
發明領域
概略言之，本發明係有關於影像資料。更明確言之，本發明之一具體實施例係有關於立體3D影像之影像資料。
發明背景
用於3D內容傳達的圖框相容半解析度(FCHR)解決方案有空間解析度降級的問題，原因在於半解析度3D內容只含有從全解析度3D影像圖框次取樣的半解析度影像圖框。
在某些技術下，圖框相容全解析度(FCFR)解決方案可藉將半解析度3D影像圖框發送通過一基本層及將互補半解析度3D影像圖框發送通過一增強層而製造全解析度3D影像圖框。半解析度3D影像圖框與互補半解析度3D影像圖框可藉一接收方裝置組合成於全解析度的3D影像圖框。
但此等技術體現低通濾波以減少/去除半解析度影像圖框中的頻疊。因影像圖框中的高頻內容係藉低通濾 波去除，故下游裝置不可能回復在高空間頻率內容的全部精細細節及紋理。雖然全解析度3D影像圖框仍然可能建構，但3D影像圖框中的像素將已經藉低通濾波而被不可逆地變更，而無法用來再生在原先3D內容中產生該等3D影像圖框的原先解析度及鮮明度。
本章節描述的辦法乃可追尋的辦法，但非必要為先前已經瞭解或尋求的辦法。因此，除非另行指示，否則不應假設本章節敘述的任何辦法只因含括於本章節即適格為先前技術。同理，除非另行指示，否則不應假設基於本章節已經認知任何先前技術有關一或多個辦法的相關議題。
依據本發明之一實施例，係特地提出一種方法包含接收一輸入3D影像，該輸入3D影像係包含一左眼(LE)輸入影像圖框及一右眼(RE)輸入影像圖框；基於該LE輸入影像圖框及該RE輸入影像圖框，產生包含於一垂直方向的第一高空間頻率內容及於一水平方向的第一減低解析度內容之一第一多工化影像圖框；基於該LE輸入影像圖框及該RE輸入影像圖框，產生包含於該水平方向的第二高空間頻率內容及於該垂直方向的第二減低解析度內容之一第二多工化影像圖框；及編碼與輸出該第一多工化影像圖框及第二多工化影像圖框以呈現該輸入3D影像。
100‧‧‧多層視訊編碼器
102-L‧‧‧左眼(LE)影像圖框
102-R‧‧‧右眼(RE)影像圖框
104-H、104-V‧‧‧過濾與次取樣機構
106-H、106V‧‧‧多工器
108-H、108-V、808-H、808-V‧‧‧多工化3D影像圖框
110‧‧‧基本層(BL)編碼器
112-1‧‧‧BL圖框相容(FC)視訊串流
112-2‧‧‧增強層(EL)參考處理單元(RPU)串流
112-3‧‧‧EL FC視訊串流
114、154、406、426‧‧‧參考處理單元(RPU)
116‧‧‧增強層(EL)編碼器
150、150-2‧‧‧多層視訊解碼器
152‧‧‧BL解碼器
156‧‧‧EL解碼器
158-H、858-H‧‧‧第一多工化3D影像圖框
158-V、858-V‧‧‧第二多工化3D影像圖框
160-1~160-6‧‧‧解多工器
162-L‧‧‧LE輸出影像圖框
162-R‧‧‧RE輸出影像圖框
170‧‧‧上取樣單元
172-L‧‧‧LE已過濾輸出影像圖框
172-R‧‧‧RE已過濾輸出影像圖框
202-L、204-L‧‧‧LE部分
202-R、204-R‧‧‧RE部分
206-H、206-V‧‧‧上取樣器
208-H、208-V‧‧‧LE影像圖框
210-1、214-1‧‧‧低通濾波器
210-2、214-2‧‧‧高通濾波器
212-1、216-1‧‧‧低通LE影像圖框
212-2、216-2‧‧‧高通LE影像圖框
218‧‧‧平均單元
222‧‧‧加法器
402、422‧‧‧減法運算
404、424‧‧‧參考LE部分
408、428‧‧‧低通濾波器
410、430‧‧‧垂直次取樣器
412、432‧‧‧水平次取樣器
602‧‧‧交錯內容
604-B‧‧‧底欄位
604-T‧‧‧頂欄位
606、626‧‧‧影像部分
608-1‧‧‧第一半欄位
608-2‧‧‧第二半欄位
708-H-1~3、708-V-1~3‧‧‧多工化(或次取樣)格式
708-L‧‧‧左影像欄位
708-R‧‧‧右影像欄位
804-L‧‧‧經上取樣的LE影像圖框
804-R‧‧‧經上取樣的RE影像圖框
806-L‧‧‧LE殘差影像圖框
806-R‧‧‧RE殘差影像圖框
808-V‧‧‧3D多工化影像圖框
810-L、810-R‧‧‧加法運算
1002-1008、1052-1056‧‧‧方塊
1100‧‧‧電腦系統
1102‧‧‧匯流排
1104‧‧‧硬體處理器
1106‧‧‧主記憶體
1108‧‧‧唯讀記憶體(ROM)
1110‧‧‧儲存裝置
1112‧‧‧顯示器
1114‧‧‧輸入裝置
1116‧‧‧游標控制器
1118‧‧‧通訊介面
1120‧‧‧網路鏈路
1122‧‧‧本地網路
1124‧‧‧主機電腦
1126‧‧‧網際網路服務提供者(ISP)
1128‧‧‧網際網路
1130‧‧‧伺服器
1205、1235、1402-1440、1505~1540-2‧‧‧步驟
1207‧‧‧BL信號
1210‧‧‧BL編碼器
1212‧‧‧解碼SbS BL信號
1215‧‧‧多工器
1220‧‧‧載波RPU
1222‧‧‧載波信號
1225、1255‧‧‧編解碼器RPU
1227‧‧‧TaB信號
1230‧‧‧MVC編碼器
1237‧‧‧EL信號
1240‧‧‧編碼EL及BL串流
1240-1‧‧‧編碼或壓縮BL串流
1240-2‧‧‧已解碼EL串流
1240-3‧‧‧RPU資料
1250‧‧‧BL解碼器
1252‧‧‧解碼BL影像
1257‧‧‧信號
1260‧‧‧MVC解碼器
1262‧‧‧解碼EL信號
1302‧‧‧載波信號
1317、1322-L、1322-R‧‧‧殘差信號
1320‧‧‧上取樣
1330‧‧‧水平高通濾波器
本發明係於附圖之圖式舉例說明但非限制性， 於附圖中相似的元件符號係指相似的元件，及於附圖中：圖1A例示說明依據本發明之一實施例一種多層視訊編碼器，其係維持存在於輸入視訊序列的高空間頻率內容；圖1B例示說明依據一實施例一種接收具有高空間頻率內容的輸入視訊信號的多層視訊解碼器；圖1C例示說明依據一實施例一種基本層視訊解碼器；圖2、圖3、及圖4例示說明依據若干具體實施例解多工器的不同組態；圖5例示說明於若干具體實施例中之多工化格式；圖6A及圖6B例示說明於若干具體實施例中，呈上下重疊及併排格式之透視形成影像部分的交錯內容；圖7例示說明於若干具體實施例中用以攜載交錯內容的多工化格式；圖8A例示說明依據本發明之一實施例一種多層視訊編碼器；圖8B例示說明依據一實施例一種多層視訊解碼器；圖9例示說明依據若干具體實施例之一解多工器；圖10A及圖10B例示說明於若干具體實施例中之處理流程； 圖11例示說明依據本發明之一具體實施例，於其上可體現如此處所述之電腦或運算裝置之硬體平台實例；圖12A及圖12B例示說明依據本發明之一實施例的一FCFR多層視訊編碼器及一FCFR多層視訊解碼器；圖13A及圖13B例示說明用以重建該等全解析度信號之具體實施例；圖14例示說明依據本發明之一實施例一種產生增強層的編碼處理流程；及圖15例示說明依據本發明之一實施例一種於該解碼器RPU之過濾處理流程以產生一載波影像信號。
較佳實施例之詳細說明
此處描述有關3D視訊編碼之具體實施例。於後文描述中，為了解說目的，陳述無數特定細節以供徹底瞭解本發明。但顯然易知可無此等特定細節而實施本發明。於其它情況下，眾所周知的結構及裝置並非以排它細節描述，以免不必要地封閉、隱晦、或混淆本發明。
具體實施例在此係依據下述標題說明：
1.一般綜論
2.多層視訊傳達
3.解多工器
4.取樣格式
5.交錯視訊應用程式
6.殘差影像編碼
7.處理流程實例
8.使用載波信號之殘差影像編碼
9.體現機構-硬體綜論
10.相當例、延伸例、替代例及其它
1.一般綜論
本綜論呈現本發明之一具體實施例的若干面向的基本說明。須注意本綜論並非該具體實施例的各面向之一全面性或排它的摘要。此外，須注意本綜論並非意圖識別該具體實施例的任何特定顯著面向或元素，也非特別闡釋該具體實施例的任何範圍，也非對本發明作一般性說明。本綜論只係以精簡的形式呈現該具體實施例有關的若干概念，須瞭解本綜論只是後文具體實施例之進一步細節說明的概念性序言。
視訊資料目前大部分係透過網路連結例如來自以網際網路為基的內容提供者接收。但在運算裝置上分配給顯示應用程式諸如3D顯示應用程式的位元率有限。
為了支援最寬廣可能的各種3D影像渲染裝置，3D影像內容可以具有減低解析度的圖框相容3D影像圖框(或圖像)傳達。如此處討論，3D影像圖框可從全解析度3D影像圖框次取樣至減低解析度的3D影像圖框；在該等全解析度3D影像圖框中的高空間頻率內容可藉低通濾波器移除以防止經次取樣的影像圖框中的頻疊。
實施例包括編碼與提供對稱性高解析度3D影像資料給下游裝置。於若干實施例中，於水平方向具有減低 解析度而於垂直方向具有全解析度的第一多工化3D影像圖框係以基本層及增強層中之一者提供給一接收方裝置；而於垂直方向具有減低解析度而於水平方向具有全解析度的第二多工化3D影像圖框係以基本層及增強層中之另一者提供給該接收方裝置。於增強層的左眼(LE)及右眼(RE)影像資料可與於基本層的LE及RE影像資料，藉該接收方裝置組合而重建對稱性全解析度LE及RE影像圖框。該第一多工化3D影像圖框與該第二多工化3D影像圖框中之一者或二者可為圖框相容以支援減低解析度(低於全解析度，例如半解析度)的3D視訊應用程式。
如此處描述的編解碼器體現技術可經組配以含括層間預測能力而完整探討在該基本層的一多工化3D影像圖框與輸入影像圖框間之統計冗餘。在該增強層的一多工化3D影像圖框可(可能只有)攜載殘差或差分影像資料，而非攜載大量LE及RE影像資料而未探討在不同層影像資料的統計冗餘。在增強增提供的殘差或差分影像資料使得下游裝置能夠藉將該殘差或差分影像資料加在該基本層的圖框相容多工化3D影像圖框而組構對稱性全解析度LE及RE影像圖框。
於若干具體實施例中，該等編解碼器可經組配以包括用在如ITU-T推薦H.264及ISO/IEC 14496-10所述的觀看間預測能力。於若干具體實施例中，參考處理單元(RPU)可用在改進觀看間預測增強層壓縮的效率。
於若干實施例中，在基本層及增強層二者包含互 補高空間頻率內容的多工化3D影像圖框可傳輸至及/或經渲染供在高階3D顯示器上觀看。此外，該等多工化3D影像圖框中之一者(例如圖框相容多工化3D影像圖框)可傳輸至及/或經渲染供在相對低階3D顯示器上觀看。
於若干具體實施例中，其它應用程式需要的資料也可含括在一或多個增強層。於若干具體實施例中，如由市售得自美國加州舊金山郡杜比實驗室(Dolby Laboratories)的FCFR技術提供的寬廣多種特徵結構可由如此處所述的基本層及增強層支援。
如此處所述之技術提供解決方案以達成對稱性高解析度及高圖像品質，同時維持對多種相對低階視訊播放器的反向相容性。如此處所述之顯示系統體現技術比較體現其它FCFR方案的其它顯示系統能夠達成更佳的重建3D圖像的圖像品質。更明確言之，如此處所述之顯示系統能夠比較其它顯示系統保留更高頻率與再生更鮮明的圖像。
如此處所述之技術可用以減少頻寬或位元率的使用，且保留具有減低解析度的圖框相容3D影像資料，其係支援各個電視、顯示器及其它影像渲染裝置。
此外，交錯3D內容之選項也可在如此處所述之技術下體現。此一選項例如可用以進行3D廣播應用，諸如運動節目。
於若干實施例中，若干目前可利用的系統組件之再度使用、調整與改良，許可比較未使用如此處所述之技 術的其它辦法相對低成本的體現。
於若干具體實施例中，如此處所述之機構形成媒體處理系統的一部分，包括但非限於：手持式裝置、遊戲機、電視、膝上型電腦、小筆電、平板電腦、小區式無線電話、電子書閱讀器、銷售點終端裝置、桌上型電腦、電腦工作站、電腦多媒體平台、或多種其它終端裝置及媒體處理單元。
針對較佳實施例的各項修正及此處描述的通用原理及特徵結構將為熟諳技藝人士所顯然易知。如此，本文揭示並非意圖限制於所顯示的實施例，反而係依據符合此處描述的通用原理及特徵結構的最寬廣範圍。
2.多層視訊傳達
圖1A例示說明依據本發明之一實施例，一種維持高空間頻率內容存在於輸入視訊序列之多層視訊編碼器(100)。圖1B例示說明依據該具體實施例，相對應於圖1A所示多層視訊編碼器(100)的多層視訊解碼器(150)。
於一具體實施例中，多層視訊編碼器(100)係經組配來編碼一輸入3D視訊序列。該輸入3D視訊序列係由一串列的3D輸入影像組成。於該串列3D影像中的一3D輸入影像係包括含有高空間頻率內容的全解析度3D影像資料。如此處使用，「全解析度」一詞可指稱在一影像圖框內由可獨立設定的像素總數所最大支援的空間解析度。在該3D輸入影像中的全解析度3D影像資料初步可藉多層視訊編碼器(100)解碼成為一輸入LE影像圖框(102-L)及一輸入RE影像 圖框(102-R)，二者皆含有高空間頻率內容。
於一具體實施例中，在多層視訊編碼器(100)中的一或多個過濾與次取樣機構(例如104-H及104-V)產生LE及RD影像資料，該等影像資料係基於輸入LE及RE影像圖框(102-L及102-R)，於垂直及水平方向中之一者經過濾，而於垂直及水平方向中之另一者係未經過濾。
舉例言之，一過濾與次取樣機構(104-H)可經組配來從該等輸入LE及RE影像圖框(102-L及102-R)過濾於水平方向的高空間頻率內容，且水平地次取樣於水平方向已經過濾的LE及RE影像圖框(102-L及102-R)成為相對應的LE及RE部分。一多工器(106-H)可經組配來以併排格式在一3D多工化影像圖框(108-H)組合LE與RE部分。
同理，一過濾與次取樣機構(104-V)可經組配來從該等輸入LE及RE影像圖框(102-L及102-R)過濾於垂直方向的高空間頻率內容，且垂直地次取樣於垂直方向已經過濾的LE及RE影像圖框(102-L及102-R)成為相對應的LE及RE部分。一多工器(106-V)可經組配來以上下重疊格式在一3D多工化影像圖框(108-V)組合LE與RE部分。
該等LE及RE影像圖框(102-L及102-R)的過濾可在水平與垂直方向中之一者，從該等輸入LE及RE影像圖框(102-L及102-R)去除全部或相當部分的高空間頻率內容。過濾可在過濾與次取樣機構(例如104-H及104-V)使用一低通濾波器(LPF)進行。於一具體實施例中，如此處所述之過濾去除或實質上減少在輸入影像中高於一臨界值頻率的任何 空間頻率內容，該臨界值頻率係相對應於在水平與垂直方向中之一者由多層視訊解碼器(例如150)所支援的空間解析度的一分量(例如一半或其它分量)。
如此處使用，在一空間方向(水平或垂直)的「高空間頻率內容」一詞可表示沿該空間方向存在於一輸入3D視訊序列的高空間頻率影像細節。若已經出現於空間方向的高空間頻率內容被去除，則下游裝置將無法在該空間方向使用經過濾的影像資料再生高解析度影像細節。
如此處使用，在過濾與次取樣機構(104-H或104-V)中的次取樣器可經組配來於垂直其中該高空間頻率內容已經過濾/去除之方向的該方向之高空間頻率內容。舉例言之，於該過濾與次取樣機構(104-H)中的次取樣器可經組配來沿其中該高空間頻率內容已經被移除的相同水平方向次取樣(例如保持每隔一行)，且避免沿垂直方向次取樣。同理，於該過濾與次取樣機構(104-V)中的次取樣器可經組配來沿其中該高空間頻率內容已經被移除的相同垂直方向次取樣(例如保持每隔一列)，且避免沿垂直方向次取樣。
多工化3D影像圖框(108-H及108-V中之一者)包含左眼的一(例如向下取樣)影像資料部分及右眼的一(例如向下取樣)影像資料部分。該多工化3D影像圖框可藉一下游裝置解碼成為在水平與垂直方向中之一者具有減低解析度之(例如半解析度)之一LE影像圖框及一RE影像圖框。此種具有減低解析度之已解碼的LE及RE影像圖框可經上取樣而包含與具有模糊外觀的一全解析度影像圖框相同數目的 像素，而非藉上取樣操作所無法獲得的一全解析度影像。
於一具體實施例中，多工化3D影像圖框(108-H)包含LE及RE影像資料部分，各資料部分包含在一全解析度影像圖框中像素總數的減少數目(例如半數、少於半數、或其它少於總數)，於該處LE及RE影像資料部分包含在垂直方向的高空間頻率內容；而另一個3D影像圖框(108-V)包含互補LE及RE影像資料部分，各資料部分包含在一全解析度影像圖框中像素總數的減少數目(例如半數、少於半數、或其它少於總數)，於該處互補LE及RE影像資料部分包含在水平方向的高空間頻率內容。LE及RE影像資料部分可以併排格式、上下重疊格式、梅花格式、棋盤格式、交插格式、前述格式的組合、或其它多工格式而在一多工化3D影像圖框(例如108-H及108-V中之一者)內部多工化。
一或多個增強層可用以攜載第一多工化3D影像圖框(例如108-H及108-V中之一者)，可與基本層內的第二多工化3D影像圖框(例如108-H及108-V中之另一者)組合。如此處所述之多層視訊解碼器(例如150)可經組配來產生基於第一及第二多工化3D影像圖框(例如108-H及108-V)而於垂直及水平兩方向具有高空間頻率內容的影像圖框。
於一具體實施例中，該BL編碼器(110)至少部分基於該第一多工化3D影像圖框(例如108-H)，產生欲攜載於一基本層圖框相容視訊串流(BL FC視訊串流112-1)的一基本層視訊信號；而該EL編碼器(116)至少部分基於該第二多工化3D影像圖框(例如108-V)，產生欲攜載於一增強層圖框 相容視訊串流(EL FC視訊串流112-3)的一增強層視訊信號。BL編碼器(110)及EL編碼器(116)中之一者或二者可使用多個編解碼器諸如，H.264/AVC、VP8、VC-1及其它中之一或多者體現。
如此處所述之增強層視訊信號可使用混成視訊編碼方法產生(例如藉視訊編解碼器諸如，VC-1、H.264/AVC、及/或其它體現)。在多工化3D影像圖框108-V中的影像資料可從在相同影像圖框的鄰近樣本預測(使用間預測)，或從屬於同一層的過去解碼影像圖框樣本預測(間預測)，且係經緩衝為在一預測參考影像圖框緩衝器內部的運動補償預測參考。層間預測也可至少部分基於得自其它層(例如基本層等)的已解碼資訊。
此外及/或選擇性地，多層視訊編碼器(100)可包含一參考處理單元(RPU，114)以執行與預測有關的操作。藉參考處理單元(114)體現的預測可用以減少於多層視訊解碼器(150)中組構多工化3D影像圖框的冗餘資料及額外負擔。參考處理單元(114)可接收與運用得自BL編碼器110的BL影像資料及其它預測相關資訊，及透過內預測或間預測而產生一預測參考影像圖框。
於運用此等預測的該等具體實施例中，EL編碼器(116)至少部分基於該第二多工化3D影像圖框(108-V)及該預測參考影像圖框，而產生該預測參考影像圖框與該第二多工化3D影像圖框108-V間的多工化3D影像殘差或差值，且將該影像殘差儲存在欲攜載於該EL FC視訊串流 (112-3)的該增強層視訊信號。又復，基於該預測及編碼方法，參考處理單元(114)可產生編碼資訊，該編碼資訊可使用RPU串流(112-2)傳輸給解碼器作為母資料。
圖1B例示說明依據一實施例一種接收輸入視訊信號的多層視訊解碼器(150)，其中於二正交方向來自一原先視訊序列(可為如關聯圖1A討論的輸入視訊序列)的高空間頻率內容已經保留在分別地攜載於該增強層及於該基本層的互補影像資料內。於一具體實施例中，輸入視訊信號係接收於多層(或多個位元串流)。如此處使用，「多層」或「多數層」等詞可指二或多個位元串流，其攜載(該輸入視訊信號)彼此間具有一或多個邏輯相依性關係的輸入視訊信號。
於一具體實施例中，多層視訊解碼器(150)係經組配來將在BL FC視訊串流(圖1B的112-1)、EL RPU串流(圖1B的112-2)、及EL FC視訊串流(圖1B的112-3)中之一或多個輸入視訊信號解碼成一串列(全解析度)3D輸出影像。於藉多層視訊解碼器(150)解碼的該串列3D輸出影像中之一3D輸出影像包含針對兩眼的高空間解析度內容，原因在於產生該等輸入視訊信號的該原先視訊序列中的高空間頻率內容已經保留於水平與垂直兩方向。
於一具體實施例中，該BL解碼器(152)至少部分基於接收自BL FC視訊串流(圖1B的112-1)的一BL視訊信號而產生一第一多工化3D影像圖框(158-H)；而該EL解碼器(156)至少部分基於接收自EL FC視訊串流(圖1B的112-3)的 一EL視訊信號而產生一第二多工化3D影像圖框(158-V)。BL解碼器(152)及EL解碼器(156)中之一者或二者可使用多個編解碼器諸如，H.264/AVC、VP8、VC-1及/或其它中之一或多者體現。
於運用預測之該等實施例中，解碼器端RPU(154)至少部分基於接收自EL RPU串流(圖1B的112-2)之一參考視訊信號及/或接收自BL解碼器(152)的BL影像資料，而產生一預測參考影像圖框。又復，EL解碼器(156)至少部分基於EL FC視訊串流(圖1B的112-3)中的EL視訊信號及得自該RPU(154)的預測參考影像圖框，而產生第二多工化3D影像圖框(158-V)。
多層視訊解碼器(150)可組合在一或多個增強層(例如EL RPU串流112-2及EL FC視訊串流112-3)接收的互補影像資料與在一基本層(例如BL FC視訊串流112-1)接收的影像資料而產生包含在垂直與水平二方向的高空間頻率內容的全解析度LE及RE輸出影像圖框(例如162-L及162-R)。舉例言之，解多工器(DeMux，160)可經組配來將多工化3D影像圖框(158-H及158-V)解多工化成為具有高空間頻率內容的LE及RE輸出影像圖框(162-L及162-R)。雖然多工化3D影像圖框(158-H及158-V)各自包含針對左及右兩眼的影像資料，但LE及RE輸出影像圖框(162-L及162-R)各自只針對左眼及右眼中之一者。在第一多工化3D影像圖框(158-H)之一第一LE影像資料部分可與在第二多工化3D影像圖框(158-V)中的一第二LE影像資料部分組合而形成包 含在垂直與水平二方向的高空間頻率內容的該LE輸出影像(162-L)。同理，在第一多工化3D影像圖框(158-H)之一第一RE影像資料部分可與在第二多工化3D影像圖框(158-V)中的一第二RE影像資料部分組合而形成包含在垂直與水平二方向的高空間頻率內容的該RE輸出影像(162-R)。
全解析度LE及RE輸出影像圖框(162-L及162-R)二者皆包含在垂直與水平二方向的高空間頻率內容，可藉一顯示裝置(例如包含多層視訊解碼器150)渲染而呈示一全解析度輸出3D影像。渲染全解析度LE及RE輸出影像圖框可為但非限於以圖框循序方式。由於高空間頻率內容已經保留在由該多層視訊解碼器(150)所接收的視訊信號中，故該全解析度輸出3D影像含有可存在於一原先3D影像(可為圖1A的3D輸入影像中之一者)中的高空間頻率影像細節。
圖1C例示說明依據一實施例，一種接收從原先視訊序列(可為關聯圖1A討論的輸入視訊序列)所產生的一或多個輸入視訊信號的基本層視訊解碼器(150-1)。於一具體實施例中，該基本層視訊解碼器(150-1)係經組配來將接收自一基本層的BL輸入視訊信號(圖1C之BL FC視訊串流112-1)解碼成一串列的3D輸出影像，而與在其它層的視訊信號是否可能存在於由該解碼器所接收的實體信號獨立無關。於一具體實施例中，該基本層視訊解碼器(150-1)係經組配來忽略在BL FC視訊串流(112-1)以外的其它串流中的視訊信號的任何存在。
在由該基本層視訊解碼器(150-1)所產生的該串 列3D輸出影像中之一3D輸出影像不包含全解析度3D影像資料，原因在於在產生該輸入視訊信號的該原先視訊序列中的沿垂直與水平方向中之一者的高空間頻率內容已經在基本層視訊信號中被過濾/去除，而無法藉基本層視訊解碼器(150-1)復原。
於一具體實施例中，BL解碼器(圖1C的152)至少部分基於BL FC視訊串流(圖1C的112-1)中的BL輸入視訊信號，而產生一多工化3D影像圖框(例如圖1C的158-H)。BL解碼器(圖1C的152)可使用多個編解碼器諸如，H.264/AVC、VP8、VC-1及/或其它中之一或多者體現。
於一具體實施例中，一上取樣單元(170)將該多工化3D影像圖框(158-H)解多工化及/或分離成兩個影像資料部分。雖然該多工化3D影像圖框(158-H)包含針對左右雙眼的多工化已過濾影像資料，但該影像資料部分包含一已過濾LE影像資料部分及一已過濾RE影像資料部分，其各自具有低於該全解析度的減低解析度。於一具體實施例中，該上取樣單元(170)上取樣(例如沿該水平方向擴延)該已過濾LE影像資料部分而形成一經上取樣的LE已過濾輸出影像圖框(172-L)。同理，該上取樣單元(170)上取樣(例如沿該水平方向擴延)該已過濾RE影像資料部分而形成一經上取樣的RE已過濾輸出影像圖框(172-R)。即便經上取樣的LE及RE已過濾輸出影像圖框(172-L及-R)各自可包含與一全解析度影像圖框的等數目像素，但使用該等經上取樣的LE及RE已過濾輸出影像圖框(172-L及-R)渲染的3D影像比較 非藉上取樣操作獲得的全解析度LE及RE影像圖框(圖1B的162-L及-R)所組成的3D影像具有更模糊的外觀。此外，經上取樣的LE及RE已過濾輸出影像圖框(172-L及-R)不具有在BL視訊信號(例如可衍生自圖1A之112-1)之編碼過程中去除的高空間頻率影像細節。
低於該全解析度的經上取樣的LE及RE已過濾輸出影像圖框(172-L及-R)可藉顯示裝置(例如可包含基本層視訊解碼器150-1)渲染以呈示一輸出3D影像。渲染該等經上取樣的LE及RE已過濾輸出影像圖框(172-L及-R)可但非限於以圖框循序方式。
3.解多工器
圖2、圖3、及圖4例示說明依據若干具體實施例圖1B之解多工器160的不同組態。解多工器(160-1至160-5)各自可經組配來接受從第一多工化3D影像圖框(例如158-H)解碼的/衍生的一第一LE部分(202-L)及從第二多工化3D影像圖框(例如158-V)解碼的/衍生的一第二LE部分(204-L)。該第一LE部分(202-L)可包含在垂直與水平方向中之一者(例如垂直方向)的高空間頻率內容，而該第二LE部分(204-L)可包含在垂直與水平方向中之另一者(於同一個實例中的水平方向)的高空間頻率內容。
解多工器(160-1至160-5)各自可經組配來處理與組合該第一LE部分(202-L)與該第二LE部分(204-L)，而產生包含在垂直與水平二方向的高空間頻率內容的該全解析度LE影像圖框(162-L)。
類似解多工器(160-1至160-5)各自的一解多工器可經組配來接受從第一解多工化3D影像圖框(例如158-H)解碼的/衍生的一第一RE部分及從第二解多工化3D影像圖框(例如158-V)解碼的/衍生的一第二RE部分。該第一RE部分可包含在垂直方向的高空間頻率內容，而該第二RE部分可包含在水平方向的高空間頻率內容。解多工器可經組配來處理與組合該第一RE部分與該第二RE部分，而產生包含在垂直與水平二方向的高空間頻率內容的該全解析度RE影像圖框(例如圖1B的162-R)。
如圖2例示說明，在解多工器(160-1)中的一上取樣器(206-H)可經組配來上取樣於水平方向的第一LE部分(202-L)以產生一第一LE影像圖框(208-H)。同理，在解多工器(160-1)中的一上取樣器206-V可經組配來上取樣於水平方向的第二LE部分(204-L)以產生一第二LE影像圖框(208-V)。
第一低通濾波器(210-1)及第一高通濾波器(210-2)可施加至第一LE影像圖框(208-H)以獲得一第一低通LE影像圖框(212-1)及一第一高通LE影像圖框(212-2)。同理，第二低通濾波器(214-1)及第二高通濾波器(214-2)可施加至第二LE影像圖框(208-V)以獲得一第二低通LE影像圖框(216-1)及一第二高通LE影像圖框(216-2)。
在解多工器(160-1)中之一平均單元(218)可經組配來接受該第一低通LE影像圖框(212-1)及該第二低通LE影像圖框(216-1)作輸入，及在該第一低通LE影像圖框 (212-1)及該第二低通LE影像圖框(216-1)施加平均運算而產生一低通平均LE影像圖框。
在解多工器(160-1)中之一加法器(220)可經組配來接受該第一高通LE影像圖框(212-2)、該第二高通LE影像圖框(216-2)及該低通平均LE影像圖框作輸入，及在該第一高通LE影像圖框(212-2)該第二高通LE影像圖框(216-2)及該低通平均LE影像圖框施加加法運算而產生包含在垂直與水平二方向的高空間頻率內容的該全解析度LE影像圖框(162-L)。
於若干實施例中，已經藉多層視訊編碼器(例如圖1A的100)施加低通濾波用於反頻疊目的。圖2之解多工器(160-1)可依據如圖3A及圖3B例示說明之若干實施例而予簡化。於此等實施例中，藉去除可用在圖2的解多工器160-1的低通濾波器(例如210-1及214-1)及平均單元(218)而減低解碼複雜度。
如圖3A之例示說明，於解多工器(160-2)中的上取樣器(206-H)可經組配來於水平方向上取樣第一LE部分(202-L)以產生於垂直方向包含高空間頻率內容的一LE影像圖框(208-H)。
保留於水平方向的高空間頻率內容之一高通濾波器(214-2)可施用至第二LE部分(202-L)以獲得一高通LE部分。於解多工器(160-2)中的上取樣器206-V可經組配來於垂直方向上取樣高通LE部分以產生於水平方向包含高空間頻率內容的一高通LE影像圖框(216-2)。
於解多工器(160-2)中的加法器(222)可經組配來接受高通LE影像圖框(216-2)及LE影像圖框(208-H)作輸入，且對高通LE影像圖框(216-2)及LE影像圖框(208-H)施用加法運算以產生包含在垂直與水平二方向的高空間頻率內容的該全解析度LE影像圖框(162-L)。
於若干實施例中，替代使用如圖3A例示說明的解多工器(160-2)以推衍全解析度LE影像圖框(例如162-L)，可使用如圖3B例示說明的解多工器(160-3)。於圖3B中，於解多工器(160-3)中的上取樣器(206-V)可經組配來於垂直方向上取樣第二LE部分(204-L)以產生於水平方向包含高空間頻率內容的一LE影像圖框(208-V)。
保留於垂直方向的高空間頻率內容之一高通濾波器(210-2)可施用至第一LE部分(202-L)以獲得一高通LE部分。於解多工器(160-3)中的上取樣器206-H可經組配來於水平方向上取樣高通LE部分以產生於垂直方向包含高空間頻率內容的一高通LE影像圖框(212-2)。
於解多工器(160-3)中的加法器(222)可經組配來接受高通LE影像圖框(212-2)及LE影像圖框(208-V)作輸入，且對高通LE影像圖框(212-2)及LE影像圖框(208-V)施用加法運算以產生包含在垂直與水平二方向的高空間頻率內容的該全解析度LE影像圖框(162-L)。
於若干實施例中，替代使用如圖3A及圖3B例示說明解多工器(160-2或160-3)中的高通濾波器(例如圖3A之214-2或圖3B之210-2)以推衍全解析度LE影像圖框(例如 162-L)，可使用如圖4A例示說明之減法運算。與高通濾波操作相反，減法運算諸如402可能需要較少運算複雜度。
只為了例示說明目的，第一LE部分(202-L)可從一BL視訊信號解碼，而第二LE部分(204-L)可從一EL視訊信號解碼。如圖4A之例示說明，可具有與第二LE部分(204-L)的空間維度相同空間維度的一參考LE部分404，可於層間預測處理期間，藉RPU 406(可為例如圖1B的154)而基於第一LE部分(202-L)產生。於若干實施例中，包含於垂直方向的一低通濾波器(408)(其係去除於垂直方向的高空間頻率內容)、一垂直次取樣器(410；例如保持每隔一列)、及一水平次取樣器(412)的一處理路徑或次路徑可用以產生該參考LE部分404。
減法運算(402)可經組配來接受參考LE部分404(除了藉上游多層視訊編碼器(例如圖1A的100)去除的於水平方向之高空間頻率內容外，已經去除於垂直方向的高空間頻率內容)及第二LE部分(204-L)作輸入，且從第二LE部分(204-L)扣除參考LE部分404以產生只包含在水平方向的高空間頻率內容之一高通LE部分。於若干實施例中，如此處所述之高通LE部分可相當於藉圖3A之高通濾波器(214-2)產生的該高通LE部分。
類似圖3A的解多工器(160-2)，圖4A的解多工器(160-4)可包含上取樣器206-V，其可經組配來上取樣於垂直方向的高通LE部分以產生包含在垂直方向的高空間頻率內容的一高通LE影像圖框(216-2)。
於解多工器(160-4)中的加法器(222)可經組配來接受高通LE影像圖框(216-2)及一LE影像圖框(208-H)(藉水平上取樣器206-H而從第一LE部分202-L產生)作輸入，且對高通LE影像圖框(216-2)及LE影像圖框(208-H)施用加法運算以產生包含在垂直與水平二方向的高空間頻率內容的該全解析度LE影像圖框(162-L)。
如圖4B之例示說明，可具有與第二LE部分(204-L)的空間維度相同空間維度的一參考LE部分424，可於層間預測處理期間，藉RPU 406(可為例如圖1B的154)而基於第二LE部分(204-L)產生。於若干實施例中，包含於垂直方向的一低通濾波器(428)(其係去除於垂直方向的高空間頻率內容)、一垂直次取樣器(430；例如保持每隔一列)、及一水平次取樣器(432)的一處理路徑或次路徑可用以產生該參考LE部分404。
在解多工器(160-5)中的減法運算(422)可經組配來接受參考LE部分424(除了藉上游多層視訊編碼器(例如圖1A的100)去除的於垂直方向之高空間頻率內容外，已經去除於水平方向的高空間頻率內容)及第一LE部分(202-L)作輸入，且從第一LE部分(202-L)扣除參考LE部分424以產生只包含在垂直方向的高空間頻率內容之一高通LE部分。於若干實施例中，如此處所述之高通LE部分可相當於藉圖3B之高通濾波器(210-2)產生的該高通LE部分。
類似圖3B的解多工器(160-3)，圖4B的解多工器(160-5)可包含一上取樣器206-H，其可經組配來上取樣於水 平方向的高通LE部分以產生包含於垂直方向的高之一高通LE影像圖框(212-2)。
於解多工器(160-5)中的加法器(222)可經組配來接受高通LE影像圖框(212-2)及一LE影像圖框(208-V)(藉垂直上取樣器206-V而從第一LE部分202-L產生)作輸入，且對高通LE影像圖框(212-2)及LE影像圖框(208-V)施用加法運算以產生包含在垂直與水平二方向的高空間頻率內容的該全解析度LE影像圖框(162-L)。
4.取樣格式
圖5例示說明於若干具體實施例中的多工化格式。如圖所示，一LE影像圖框(例如102-L或指從其中推衍的LE影像)及一RE影像圖框(例如102-R或指從其中推衍的RE影像)可包含於3D影像圖框中的多個像素(ai、bi、ci、di等，其中i可為正整數)的LE及RE像素值。於若干實施例中，併排多工化影像圖框諸如圖1A的多工化影像圖框108-H可使用多種併排多工化格式(108-H-1、108-H-2、108-H-3或其它併排多工化格式)中之任一者以駐有從LE及RE影像圖框(102-L及102-R)水平次取樣的影像資料。於若干實施例中，上下重疊多工化影像圖框諸如圖1A的多工化影像圖框108-V可使用多種上下重疊多工化格式(108-V-1、108-V-2、108-V-3或其它併排多工化格式)中之任一者以駐有從LE及RE影像圖框(102-L及102-R)垂直次取樣的影像資料。
多工器諸如圖1的106-H或106-V可基於一或多個因素(例如與由多工器採用的次取樣方法相關)而從多個 多工化格式中做出一或多個多工化格式之選擇，且可使用例如RPU串流112-2傳訊該多工化格式之選擇給多層視訊解碼器(例如圖1B的150)作為母資料。在多層視訊解碼器(150)內的RPU單元(例如圖4A的406或圖4B的426)可基於從一BL視訊信號解碼的一多工化3D影像圖框(例如相對應於圖1A的108-H)，考慮由該上游多層視訊編碼器所使用的調適次取樣方法以產生於BL及EL層二者編碼的多工化3D影像圖框(108-H及108V)(差異地或無差異地)可組構一層間參考圖框或影像部分(例如圖4A的404或圖4B的424)。
5.交錯視訊應用
圖6A例示說明於若干具體實施例中，形成以上下重疊格式的影像部分(606)的相同觀點(左眼或右眼)的交錯內容(602)。於圖6A中，交錯內容(602)可首先解多工化成一(例如1080i)頂欄位(604-T)歷經等於t的第一時間，及一(例如1080i)底欄位(604-B)歷經等於t+1的第二時間。於圖6A中，頂欄位(604-T)及底欄位(604-B)各自可經垂直過濾及垂直次取樣至一第一半欄位(608-1)(例如於垂直方向的一半，或少於全空間解析度的一半，或其它低於全空間解析度)及一第二半欄位(608-2)(例如於垂直方向的一半，或少於全空間解析度的一半，或其它低於全空間解析度)。又，於圖6A中，第一半欄位(608-1)及第二半欄位(608-2)可於第一交錯影像圖框中交插成一頂或底欄位(606)。
圖6B例示說明於若干具體實施例中，以併排格式形成一影像部分(626)的相同觀點(左眼或右眼)的交錯內 容(602)。於若干實施例中，在水平過濾及水平次取樣之前，不要求交錯內容(602)解多工化成為兩個分開橍位，及然後交錯成影像部分(626)。取而代之，交錯內容(602)可直接地水平過濾及水平次取樣成為影像部分(626)。圖6B例示說明的操作可針對LE及RE觀點各自進行，且可組成過濾與次取樣機構(104-H)的一半。
圖6A及圖6B描述的操作可施加至左眼及右眼觀點各自，藉此形成於上下重疊格式的第一交插影像圖框(如圖6A例示說明部分)，及併排格式的第二交插影像圖框(如圖6B例示說明部分)。第一交插圖框與第二交插圖框中之一者可於BL視訊信號攜載，而另一個(差異編碼或非差異編碼)交插圖框可於EL視訊信號攜載。結果，第一交插圖框與第二交插圖框中之一者(例如於本實例中的第一交插影像圖框)攜載於水平方向的高空間頻率內容，而第一交插圖框與第二交插圖框中之另一者(例如於本實例中的第二交插影像圖框)攜載於垂直方向的高空間頻率內容。
圖7例示說明於若干具體實施例中攜載交錯內容的多工化格式。如圖6A及圖6B之例示說明，於水平或垂直方向的低通濾波與次取樣可針對交錯內容以欄位為基。左影像欄位(708-L)及右影像欄位(708-R)可相對應於交錯內容的LE及RE觀點歷經等於t的時間。如圖6B之例示說明，當施用水平過濾及水平次取樣時，左影像欄位(708-L)及右影像欄位(708-R)中之一者的像素值可用以填充多個多工化(或次取樣)格式(708-H-1、708-H-2、708-H-3等)中之任一者 的左側或右側，如圖7所示。同理，如圖6A之例示說明，當施用垂直過濾及水平次取樣時，左影像欄位(708-L)及右影像欄位(708-R)中之一者的像素值可用以填充多個多工化(或次取樣)格式(708-V-1、708-V-2、708-V-3等)中之任一者的頂端或底端，如圖7所示。於若干實施例中，LE及RE觀點二者的且相對應於等於t的第一時間及等於t+1的第二時間二者的，從全部影像欄位的次取樣影像資料係以上下重疊格式施用至交錯內容存在。
6.殘差影像編碼
圖8A例示說明依據本發明之一實施例，維持存在於輸入視訊序列的高空間頻率內容之多層視訊編碼器(100-1)。圖8B顯示依據該具體實施例，相對應於圖8A顯示的多層視訊編碼器(100-1)之多層視訊解碼器(150-2)。
於一具體實施例中，多層視訊編碼器(100-1)係經組配來編碼由一序列3D輸入影像的一輸入3D視訊序列。於該序列之3D影像中的3D輸入影像包含含有高空間頻率內容的全解析度3D影像資料。於一3D輸入影像中的全解析度3D影像資料可藉多層視訊編碼器(100)初步解碼成一輸入LE影像圖框(102-L)及一輸入RE影像圖框(102-R)，二者皆含有高空間頻率內容。
於一具體實施例中，在該多層視訊編碼器(100)內的第一過濾與次取樣機構(例如104-H)產生基於該等輸入LE及RE影像圖框(102-L及102-R)，在垂直或水平方向中之一者經過濾但在垂直或水平方向中之另一者係未經過濾的 LE及RE影像資料。為了例示說明之目的，第一過濾與次取樣機構可為圖8A的104-H，可經組配來從輸入LE及RE影像圖框(102-L及102-R)過濾於水平方向的高空間頻率內容，且水平地次取樣如於水平方向過濾的LE及RE影像圖框(102-L及102-R)成相對應LE及RE部分。多工器(106-H)可經組配來以併排格式將LE及RE部分組合成一3D多工化影像圖框(108-H)。
於若干實施例中，替代透過包含過濾、次取樣、多工化與壓縮的一EL處理來處理該等LE及RE影像圖框(102-L及102-R)成一EL視訊信號，LE及RE殘差影像圖框(806-L及806-R)可藉EL處理次路徑處理。如圖8A之例示說明，參考處理單元(114)可經組配來基於如藉BL編碼器(110)所提供的多工化3D影像圖框(108-H)而產生LE及RE參考影像部分。得自RPU(114)的LE及RE參考影像部分可於BL處理次路徑的次取樣方向的相同方向次取樣。舉例言之，若包含水平過濾、水平次取樣、併排多工化、及BL編碼的該BL處理次路徑執行於水平方向該輸入LE及RE影像圖框(102-L及102-R)的次取樣，則藉RPU(114)產生的LE及RE參考影像部分各自可於水平方向上取樣以形成一經上取樣的LE影像圖框(804-L)及一經上取樣的RE影像圖框(804-R)。
一加法運算(810-L)可經組配來接受經上取樣的LE影像圖框804-L的補集(已經藉BL處理次路徑而於水平方向去除高空間頻率內容)及該輸入LE影像圖框(102-L)作輸入，且將輸入LE影像圖框(102-L)與該經上取樣的LE影像圖 框804-L的補集相加而產生一LE殘差影像圖框(806-L)，其只包含於水平方向的高空間頻率內容。一加法運算(810-R)可經組配來接受經上取樣的RE影像圖框804-R的補集(已經藉BR處理次路徑而於水平方向去除高空間頻率內容)及該輸入RE影像圖框(102-R)作輸入，且將輸入RE影像圖框(102-R)與該經上取樣的RE影像圖框804-R的補集相加而產生一RE殘差影像圖框(806-R)，其只包含於水平方向的高空間頻率內容。
第二過濾與次取樣機構可為圖8A之104-V可經組配來將LE及RE殘差影像圖框(806-L及806-R)垂直次取樣成相對應的LE及RE殘差部分。此外地及選擇性地，第二過濾與次取樣機構可包含一垂直濾波器，其係經組配來例如在對LE及RE殘差影像圖框(806-L及806-R)進行前述次取樣操作前，垂直過濾LE及RE殘差影像圖框(806-L及806-R)。多工器(106-V)可經組配來以上下重疊格式組合於一3D多工化影像圖框(808-V)內的LE及RE殘差部分。
於一具體實施例中，至少部分基於第一多工化3D影像圖框(例如108-H)，BL編碼器(110)產生一基本層視訊信號欲攜載於一基本層圖框相容視訊串流(BL FC視訊串流112-1)；而至少部分基於第二多工化3D影像圖框(例如808-V)，EL編碼器(116)產生一增強層視訊信號欲攜載於一基本層圖框相容視訊串流(EL FC視訊串流112-3)。BL編碼器(110)與EL編碼器(116)中之一者或二者可使用多個編解碼器諸如，H.264/AVC、VP8、VC-1及/或其它中之一或多 者體現。
圖8B顯示依據一實施例，接收輸入視訊信號的多層視訊解碼器(150-2)，其中來自於二正交方向的一原先視訊序列(可為如關聯圖8A討論的輸入視訊序列)之高空間頻率內容已經保留於分別地於增強層及基本層攜載的互補影像資料。
於一具體實施例中，該多層視訊解碼器(150-2)係經組配來將於BL FC視訊串流(圖8B的112-1)、EL RPU串流(圖8B的112-2)及EL FC視訊串流(圖8B的112-3)的一或多個輸入視訊信號解碼成一串列之3D輸出影像。於如藉多層視訊解碼器(150-2)解碼的該串列之3D輸出影像中之一3D輸出影像係包含針對雙眼的高空間頻率內容，原因在於產生該輸入視訊信號的該原先視訊序列中的高空間頻率內容已經保留在水平與垂直二方向。
於一具體實施例中，該BL解碼器(152)至少部分基於接收自BL FC視訊串流(圖8B的112-1)的一BL視訊信號而產生一第一多工化3D影像圖框(158-H)；而該EL解碼器(156)至少部分基於接收自EL FC視訊串流(圖8B的112-3)的一EL視訊信號而產生一第二多工化3D影像圖框(858-V)。BL解碼器(152)及EL解碼器(156)中之一者或二者可使用多個編解碼器諸如，H.264/AVC、VP8、VC-1及/或其它中之一或多者體現。
於若干實施例中，至少部分基於在EL FC視訊串流(圖8B的112-3)的該EL視訊信號，不含來自RPU(154)的預 測參考影像圖框，該EL解碼器(156)產生該第二多工化3D影像圖框(858-V)。
多層視訊解碼器(150-2)可組合在一或多個增強層(例如EL FC視訊串流112-3)接收的殘差影像資料與在基本層(例如BL FC視訊串流112-1)接收的影像資料，以製造全解析度LE及RE輸出影像圖框(例如162-L及162-R)，其包含在垂直與水平二方向的高空間頻率內容。舉例言之，解多工器(DeMux，160)可經組配來將多工化3D影像圖框(158-H及858-V)解多工化成具有高空間頻率內容的LE及RE輸出影像圖框(162-L及162-R)。雖然多工化3D影像圖框(158-H及858-V)各自包含針對左及右兩眼的影像資料，但LE及RE輸出影像圖框(162-L及162-R)各自只針對左眼及右眼中之一者。在第一多工化3D影像圖框(158-H)之一第一LE影像資料部分可與在第二多工化3D影像圖框(158-V)中的一第二LE影像資料部分組合而形成包含在垂直與水平二方向的高空間頻率內容的該LE輸出影像(162-L)。同理，在第一多工化3D影像圖框(158-H)之一第一RE影像資料部分可與在第二多工化3D影像圖框(158-V)中的一第二RE影像資料部分組合而形成包含在垂直與水平二方向的高空間頻率內容的該RE輸出影像(162-R)。
全解析度LE及RE輸出影像圖框(162-L及162-R)二者皆包含在垂直與水平二方向的高空間頻率內容，可藉一顯示裝置(例如包含多層視訊解碼器150)渲染而呈示一全解析度輸出3D影像。渲染全解析度LE及RE輸出影像圖框可 為但非限於以圖框循序方式。由於高空間頻率內容已經保留在由該多層視訊解碼器(150)所接收的視訊信號中，故該全解析度輸出3D影像含有可存在於一原先3D影像(可為圖8A的3D輸入影像中之一者)中的高空間頻率影像細節。
於圖8A及8B例示說明之實施例中，無需層間預測。在此等實施例中，比較其它實施例(例如於圖1A及圖中例示說明)，BL及EL影像資料藉多層視訊解碼器的解碼可獨立地進行至更大程度。結果，比較圖2至圖4例示說明的解多工器更簡單的解多工器(例如圖9的160-6)可用在多層視訊解碼器諸如圖8B的150-2。
須注意殘差影像資料於進階視訊應用中可使用如圖5例示說明的次取樣格式中之任一者及於交錯視訊應用中可使用如圖7例示說明的次取樣格式中之任一者而次取樣。如此處所述之一RPU信號可用來將如藉一上游多層視訊編碼器所編碼的BL及EL影像資料之經擇定的次取樣格式傳訊給一下游視訊解碼器。
7.處理流程實例
圖10A例示說明依據本發明之一實施例的處理流程實例。於若干具體實施例中，一或多個運算裝置或硬體組件可進行此處理流程。於方塊1002中，多層視訊編碼器(例如100)接收一輸入3D影像，該輸入3D影像包含一左眼(LE)輸入影像圖框及一右眼(RE)輸入影像圖框。
於方塊1004中，該多層視訊編碼器(100)基於該LE輸入影像圖框及該RE輸入影像圖框而產生一第一多工 化影像圖框，其係包含於水平方向的第一高空間頻率內容及於垂直方向的第一減低解析度內容。
於方塊1006中，該多層視訊編碼器(100)基於該LE輸入影像圖框及該RE輸入影像圖框而產生一第二多工化影像圖框，其係包含於垂直方向的第二高空間頻率內容及於水平方向的第二減低解析度內容。
於方塊1008中，多層視訊編碼器(100)編碼且輸出該第一多工化影像圖框及該第二多工化影像圖框以呈現該輸入3D影像。
於一實施例中，3D輸入影像為在一串列3D輸入影像中的一第一3D輸入影像，包含具有一第二LE輸入影像圖框之一第二不同3D輸入影像及一第二LE輸入影像圖框。多層視訊編碼器(100)進一步係經組配來進行：基於該第二LE輸入影像圖框及該第二RE輸入影像圖框，產生一第三多工化影像圖框，其係包含於水平方向的第三高空間頻率內容及於垂直方向的第三減低解析度內容；基於該第二LE輸入影像圖框及該第二輸入影像圖框，產生一第四多工化影像圖框，其係包含於垂直方向的第四高空間頻率內容及於水平方向的第四減低解析度內容；及編碼且輸出該第三多工化影像圖框及該第四多工化影像圖框以呈現該第二輸入3D影像。
於一實施例中，該第一多工化影像圖框包含一第一LE影像資料部分及一第一RE影像資料部分。該第一LE影像資料部分及該第一RE影像資料部分係具有沿水平與垂 直二方向的相同空間解析度。該第二多工化影像圖框包含一第二LE影像資料部分及一第二RE影像資料部分。該第二LE影像資料部分及該第二RE影像資料部分係具有沿水平與垂直二方向的相同空間解析度。於一實施例中，該第一LE影像資料部分及該第一RE影像資料部分各自係表示一整個影像圖框之一經次取樣版本(例如全解析度的一半、少於一半、或其它減少數目)；第一多工化影像圖框採用併排格式以攜載該第一LE影像資料部分及該第一RE影像資料部分。該第二LE影像資料部分及該第二RE影像資料部分各自係表示一整個影像圖框之一經次取樣版本(例如全解析度的一半、少於一半、或其它減少數目)；第二多工化影像圖框採用上下重疊格式以攜載該第二LE影像資料部分及該第二RE影像資料部分。
於一實施例中，第一多工化影像圖框採用第一多工化格式，其係保留在水平方向的高空間頻率內容。第二多工化影像圖框採用第二多工化格式，其係保留在垂直方向的高空間頻率內容。
於一實施例中，該第一多工化影像圖框或該第二多工化影像圖框中之一者在多數位元串流中係在一基本層位元串流輸出，而該第一多工化影像圖框或該第二多工化影像圖框中之另一者在多數位元串流中係在一增強層位元串流輸出。
於一實施例中，該多層視訊編碼器(100)係進一步經組配來執行：至少部分基於該第一多工化影像圖框， 產生預測參考影像圖框；及基於該預測參考影像圖框與該第二輸入影像圖框間之差而編碼一增強層視訊信號。
於一實施例中，該多層視訊編碼器(100)係進一步經組配來執行：施用包含下列中之至少一者：(a)空間頻率過濾操作或(b)於第二方向之空間次取樣操作的一或多個第一操作至該第一輸入影像圖框及該第二輸入影像圖框以產生該第一多工化影像圖框，其中該等一或多個第一操作去除於第二方向的高空間頻率內容，而保留於第一方向的高空間頻率內容；及施用包含下列中之至少一者：(a)空間頻率過濾操作或(b)於第一方向之空間次取樣操作的一或多個第二操作至該第一輸入影像圖框及該第二輸入影像圖框以產生該第二多工化影像圖框，其中該等一或多個第二操作去除於第一方向的高空間頻率內容，而保留於第一方向的高空間頻率內容。
於一實施例中，該第一多工化影像圖框或該第二多工化影像圖框中之一者包含藉從該LE輸入影像圖框及該RE輸入影像圖框推衍得的輸入影像資料扣除基於該第一多工化影像圖框或該第二多工化影像圖框中之另一者產生的參考影像資料所產生的殘差影像資料。
於一實施例中，該多層視訊編碼器(100)係進一步經組配來將使用一或多個輸入視訊信號呈現、接收、傳輸、或儲存的一或多個3D輸入影像轉換成使用一或多個輸出視訊信號呈現、接收、傳輸、或儲存的一或多個3D輸出影像。
於一實施例中，該輸入3D影像包含以下列中之一者編碼的影像資料：高動態範圍(HDR)影像格式、與動畫藝術與科學院(AMPAS)的學院色彩編碼規範(ACES)標準相聯結的RGB色彩空間、數位電影創始之P3色彩空間、參考輸入中數度量/參考輸出中數度量(RIMM/ROMM)標準、sRGB色彩空間、與國際電信聯盟(ITU)的BT.709建議標準相聯結的RGB色彩空間等。
圖10B例示說明依據本發明之一具體實施例另一種處理流程之實例。於若干具體實施例中，一或多個運算裝置可執行此種處理流程。於方塊1052中，多層視訊解碼器(例如150)接收由第一多工化影像圖框及第二多工化影像圖框所呈現之一3D影像，該第一多工化影像圖框包含於水平方向的第一高空間頻率內容及於垂直方向的第一減低的解析度內容，而該第二多工化影像圖框包含於垂直方向的第二高空間頻率內容及於水平方向的第二減低的解析度內容。
於方塊1054中，多層視訊解碼器(150)基於第一多工化影像圖框及第二多工化影像圖框而產生一左眼(LE)影像圖框及一右眼(RE)影像圖框，該LE影像圖框包含於水平與垂直二方向的LE高空間頻率內容，而該RE影像圖框包含於水平與垂直二方向的RE高空間頻率內容。
於方塊1056中，多層視訊解碼器(150)藉渲染LE影像圖框及RE影像圖框而渲染該3D影像。
於一實施例中，該3D影像乃一串列3D影像中之 第一3D影像，包含一第二不同3D影像，具有第三多工化影像圖框及第四多工化影像圖框，該第三多工化影像圖框包含於水平方向的第一高空間頻率內容及於垂直方向的第一減低的解析度內容，而該第四多工化影像圖框包含於垂直方向的第四高空間頻率內容及於水平方向的第四減低的解析度內容。於一實施例中，多層視訊解碼器(150)係進一步經組配來執行：產生一第二LE影像圖框及一第二RE影像圖框，該第二LE影像圖框係包含在垂直與水平二方向的高空間頻率內容，及該第二LE影像圖框係包含在垂直與水平二方向的高空間頻率內容；及藉渲染該第二LE影像圖框及第二RE影像圖框而渲染該第二3D影像。
於一實施例中，該第一多工化影像圖框或第二多工化影像圖框中之至少一者包含一第一LE影像資料部分及一第一RE影像資料部分。該第一LE影像資料部分及該第一RE影像資料部分係具有相同空間解析度。於一實施例中，該第一LE影像資料部分及該第一RE影像資料部分各自係表示一整個影像圖框之一經次取樣版本(例如全解析度的一半、少於一半、或其它減少數目)。該第一LE影像資料部分及該第一RE影像資料部分係以併排格式或上下重疊格式中之一者形成單一影像圖框。
於一實施例中，該第一多工化影像圖框或第二多工化影像圖框中之一者係從多個位元串流中之一基本層位元串流解碼，而該第一多工化影像圖框或第二多工化影像圖框中之另一者係從多個位元串流中之一增強層位元串流 解碼。
於一實施例中，多層視訊解碼器(150)係進一步經組配來執行：至少部分基於該第一多工化影像圖框或該第二多工化影像圖框，產生預測參考影像圖框；及基於從一EL視訊信號解碼的增強層(EL)資料及該預測參考影像圖框而產生該LE影像圖框或該RE影像圖框中之一者。
於一實施例中，多層視訊解碼器(150)係進一步經組配來執行：施用包含下列中之至少一者：(a)空間頻率過濾操作或(b)解多工操作的一或多個第一操作於產生LE影像圖框，其中該等一或多個第一操作將從該第一多工化影像圖框及該第二多工化影像圖框所推衍的水平與垂直二方向的LE高空間頻率內容組合成該LE影像圖框；及施用包含下列中之至少一者：(a)空間頻率過濾操作或(b)解多工操作的一或多個第二操作於產生RE影像圖框，其中該等一或多個第二操作將從該第一多工化影像圖框及該第二多工化影像圖框所推衍的水平與垂直二方向的RE高空間頻率內容組合成該RE影像圖框。
於一實施例中，該等一或多個第一操作及該等一或多個第二操作包含至少一高通濾波操作。
於一實施例中，該等一或多個第一操作及該等一或多個第二操作包含一處理次路徑以替代至少一個高通濾波操作。該處理次路徑包含至少一個減法操作而無高通濾波操作。
於一實施例中，該第一多工化影像圖框或該第二 多工化影像圖框中之一者包含殘差影像資料。多層視訊解碼器(150)係進一步經組配來執行：解碼與處理增強層影像資料，而未從該第一多工化影像圖框或該第二多工化影像圖框中之另一者產生預測參考資料。
於一實施例中，多層視訊解碼器(150)係進一步經組配來：處理使用一或多個輸出視訊信號呈現、接收、傳輸、或儲存的一或多個3D影像。
於一實施例中，該3D影像包含以下列中之一者編碼的影像資料：高動態範圍(HDR)影像格式、與動畫藝術與科學院(AMPAS)的學院色彩編碼規範(ACES)標準相聯結的RGB色彩空間、數位電影創始之P3色彩空間、參考輸入中數度量/參考輸出中數度量(RIMM/ROMM)標準、sRGB色彩空間、與國際電信聯盟(ITU)的BT.709建議標準相聯結的RGB色彩空間等。
於各個具體實施例中，編碼器、解碼器、系統等執行如前文描述之方法中之任一者或一部分。
8.使用載波信號之殘差影像編碼
如圖8A闡釋，於一實施例中，增強層(EL)串流112-3包含多工化作為上下重疊(TaB)圖框(808-V)的影像殘差(例如806-L及806-R)。替代直接編碼此等殘差信號(例如藉使用EL編碼器116)，藉組合殘差信號與「載波」影像信號而形成一新EL信號。使用此種載波信號的目的係使得增強層更加類似一天然視訊信號，對此既有視訊編解碼器諸如H.264/AVC編解碼器為最佳化，敘述於「ISO/IEC 14496-10：資訊技術-影音物件的編碼-第10部分：進階視訊編碼」。此一實施例的實例係闡述於圖12A。
圖12A例示說明依據一實施例利用在增強層的一載波影像信號的FCFR編碼器實例。如圖12A之闡釋，基本層的處理係遵照前文討論之處理步驟，例如如圖8A之闡釋。左視(102-L)及右視(102-R)信號係在步驟1205下取樣且多工化以產生一多工化的半解析度圖框，例如併排(SbS)格式。步驟1205表示如圖8A闡釋的步驟104-H及106-H之簡化表示型態。於多工化後，然後BL信號1207以基本層編碼器1210(例如H.264/AVC編碼器)壓縮以產生經壓縮的BL串流1240-1。
BL信號1207(或另外，已解碼BL信號1212)可用來使用水平上取樣804而再生左視及右視的全解析度(FR)版本(左FR及右FR)。然後原先視圖(102-L及102-R)及重建視圖被扣除(例如於810)以產生殘差806-L及806-R。多工化器1215將以正交於基本層所使用的圖框格式(例如SbS)的一圖框格式(例如TaB)多工化以產生殘差信號808-V。其次，殘差信號808-V係加至載波信號1222以產生一EL信號1237。
載波信號1222可回應於SbS BL信號1207而使用載波RPU 1220產生。載波RPU可執行水平上取樣及垂直下取樣以產生一載波TaB信號1222，其係匹配該殘差信號(例如808-V)的格式及解析度。於一實施例中(參考圖15)，垂直下取樣係在水平上取樣之前進行。於另一實施例中，載波信號可回應於該BL串流之一解碼版本，例如解碼BL信號 1212而產生。於另一實施例中，當基本層係在上下重疊(TaB)格式及該增強層係在併排(SbS)格式時施用類似處理(參考圖14)。載波RPU 1220及編解碼器RPU 1225的相關處理可藉相同處理器或不同處理器進行。
於一實施例中，為了維持原先殘差(808-V)的完好，該載波信號的範圍可縮小，例如藉將各個像素除以一個常數例如2而予縮小。此種除法處理可組合在載波RPU的過濾處理。於另一個實施例中，當殘差808-V為極小時，載波信號可針對其全部像素具有固定像素值，例如128。於另一個實施例中，載波信號值可基於殘差信號之性質而適應性地界定。此種決定可使用母資料(例如作為RPU資料串流的一部分)傳訊給解碼器。
於一實施例中，EL信號1237係使用如於H.264(AVC)規格載明的多視編碼(MVC)壓縮以產生一經編碼的或壓縮的EL串流1240-2。因BL信號1207及EL信號1237不具有相同多工化格式，參考處理單元(RPU)1225可採用來將已解碼的SbS BL信號1212轉換成TaB信號(1227)，係可藉MVC編碼器1230用作為參考。此一TaB圖像(1227)乃新產生的觀看間預測參考圖像，且係插入參考圖像列表用以編碼一EL圖像。為了更進一步改良編碼效率，編解碼器RPU 1225可施加額外區劃、處理及過濾以將一觀看間預測參考圖像從BL信號匹配至EL輸入信號，如於PCT申請案PCT/US2010/040545，申請日2010年6月30日，申請人Tourapic等人所述，且係爰引於此並全文融入本說明書的揭 示。用在RPU的過濾及區劃的選擇可在多個解析度層級調適，例如在截割片、圖像、圖像群(GOP)、場景、或序列層級。在編碼器上，已編碼EL及BL串流(1240)可與RPU資料(例如1240-3)及其它輔助資料(圖中未顯示)多工化欲發送至一解碼器。
圖12B例示說明依據本發明之一具體實施例一種解碼處理流程實例。在接收器，輸入串流係經解多工化而產生已解碼BL串流(1240-1)、已解碼EL串流(1240-2)、及RPU資料(例如1240-3)。BL解碼器1250係相對應於BL編碼器1210。於一實施例中，BL解碼器1250為AVC解碼器。BL解碼器1250將產生已解碼的(例如SbS)BL影像1252。
因編碼的EL串流(1240-2)係藉使用參考圖框從EL信號1237及已解碼BL信號1212二者編碼，故在解碼器上也匹配相同處理。使用RPU資料(1240-3)，編解碼器RPU 1255可產生欲由MVC解碼器1260使用的信號1257。信號1257包含預測增強層信號，其可用作為MVC解碼器1260的額外參考圖框序列以產生已解碼的EL信號1262。
在解壓縮BL串流及EL串流後，解碼器需要重建全解析度的左視圖及右視圖。此種方法稱作「差分」方法之一個具體實施例係闡釋於圖13A。在基本層遺漏的垂直或水平頻率可被建構為增強層(1262)與載波信號1302間之逐一像素差。載波信號1302可使用匹配編碼器載波RPU 1220之處理的相同處理而使用已解碼BL信號1252及編解碼器RPU(例如1255)重建。此項處理之一個實例係闡釋於圖15。 然後殘差信號1317被上取樣(例如於1320)及藉逐像素與經上取樣的圖框相容重建基本層(FC-L及FC-R)相加以重建全解析度(FR)左及右視圖(FR-LE及FR-RE)。於一實施例中，為了減低複雜度，可重複使得來自編解碼器RPU 1255的輸出，原因在於編解碼器RPU與載波RPU傾向於共享相同濾波器。當一個區劃及一個濾波器係採用在編解碼器RPU時，兩個RPU施加確切相同處理。
如圖13A闡釋，舊式接收器可能仍然藉由在BL信號1252上執行適當上取樣而解碼一對半解析度圖框相容視圖(FC-L及FC-R)。
圖13B闡釋重建全解析度信號之另一個具體實施例，該方法係稱作為「高通方法」。於此種方法下，經解碼的TaB EL信號1262首先藉水平高通濾波器1330處理。此種濾濾器去除EL信號中的載波信號之低頻成分，如此產生一無載波殘差信號(例如808-V)。高通濾波器的輸出係經垂直上取樣(1320)而產生殘差信號1322-L及1322-R，該等殘差信號係加至經水平地上取樣的重建圖框相容層(FC-L及FC-R)以產生原先視圖(例如FR-RE及FR-LE)的全解析度估值。
於一實施例中，若來源視訊係交錯，則在垂直過濾期間(例如下取樣或上取樣)頂欄位及底欄位係獨立地處理。然後各欄位合併(例如藉行交插)以產生一圖框。若使用AVC編碼器，則交錯信號可以圖框編碼模式或欄位編碼模式編碼。編解碼器RPU也須經指示是否處理得自BL的觀看 間參考圖像作為一圖框或欄位。於AVC編碼中，在被委任位元串流中並無編碼序列的掃描型別之指示，原因在於其係超出解碼範圍。可能有些資訊存在於補充增強資訊(SEI)訊息，但SEI訊息並非解碼所需。於一個實施例中，指示高階語法以指示RPU是否須應用圖框或欄位處理。於一個實施例中，若係為一交錯信號，則無論一圖像如何編碼，RPU可經常性地處理該圖像為分開欄位。於另一個實施例中，RPU可追蹤BL信號如何編碼。因此，若該BL信號係編碼為欄位，則該RPU施用欄位處理，否則即施用圖框處理。
本發明之實施例包含各種濾波器，可分類為：多工化(或多工)濾波器、RPU濾波器、及解多工化(或解多工)濾波器。當設計多工濾波器時，目標係維持儘可能多的來自原先濾波器的資訊，但不造成頻疊。為了下取樣，多工濾波器可設計成具有極為平坦的通帶響應及在頻譜中點的強力衰減，於該處信號在下取樣期間摺疊以免頻疊。於一實施例中，(以Matlab標示法)此種濾波器之實例具有係數：[30,-4,-61,-21,83,71,-102,-178,116,638,904,638,116,-178,-102,71,83,-21,-61,-4,30]./211
當設計RPU時，下取樣濾波器及上取樣濾波器須具有極低截取頻率，原因在於載波影像的高頻不用於重建，且具此種低通信號將協助提供EL信號的編碼效率。RPU下取樣濾波器及上取樣濾波器須也儘可能低階，原因在於此等確切濾波器係用在解碼器用於即時解碼。此等濾波器之實例係闡釋於表7。
在解碼期間，可施用與用在編解碼器RPU的上取樣濾波器相同的濾波器作為解多工濾波器。為了重建之高通方法(例如圖13B)，高通濾波器(1330)須為多工下取樣濾波器及解多工上取樣濾波器的組合頻率響應的補集。典型地，此種濾波器的階級須高，可能不適合某些實時解碼器應用。具有相似的通帶特性但具較低停止帶衰減的高通濾波器也可以遠較低的濾波器等級推衍，使其更加適合用於實時解碼器應用。此種濾波器之實例闡釋於表8。
有些體現對EL串流可具有極低位元率要求。於一個實施例中，為了改良於低位元率的編碼品質，可從EL串流去除全部彩度資訊。於一個實施例中，可設定EL信號的彩度值為常數值，例如128。相對應地，藉編解碼器RPU處理的觀看間參考圖像的彩色成分也須以相同方式設定。於另一個實施例中，可選定且傳輸唯有在EL信號具有最高頻的輸入信號之該等區域，及例如藉設定其餘區為一常數值(例如128)而使其餘區變灰色。此等區域的位置及大小例如可經由RPU資料串流，使用母資料從編碼器傳訊至解碼器。
於圖12A中，殘差信號808-V直接加至載波信號1222以產生EL信號1237。於另一個實施例中，在殘差信號與載波信號相加前，可施用線性或非線性量化法至該殘差信號。
至目前為止討論的具體實施例解決復原遺漏的水平或垂直頻率之問題。於一個實施例中，額外增強層可採用以復原額外頻率，諸如對角線。舉例言之，輸入信號 (102-L及102-R)可橫跨對角線方向下取樣。該資訊(或基於該對角線資訊的其它殘差信號)可傳輸至解碼器作為第二增強層(EL2)。解碼器可合併BL、EL、及EL2信號以產生FCFR信號。於另一個實施例中，替代使用一分開EL2串流以編碼對角線資訊，可編碼在EL信號中的彩度頻道的亮度對角線資訊。於此種體現中，亮度將以全解析度編碼，但彩度將以半解析度編碼。
8.2語法實例
編碼標準諸如H.264典型地只定義編碼位元串流及解碼處理的語法。本章節呈示用於支援本發明方法的H.264或其它壓縮標準的新穎FCFR輪廓之經提示語法實例。
第一部分稱作RPU標頭，rpu_header( )且含括靜態資訊，該資訊在該信號的傳輸期間最可能係不改變。
第二部分稱作RPU資料酬載，rpu_data_payload( )且含括動靜態資訊，該資訊將較頻繁地更新。RPU資料酬載傳訊給解碼器，在用於預測之前將被用以更新該觀看間參考圖像的該等濾波器。
語法可在截割片層級、圖像層級、GOP層級、場景層級、或序列層級發送。語法可含括在NAL單元標頭、序列參數集(SPS)及其擴延、次SPS、圖像參數集(PPS)、截割片標頭、SEI訊息、或新穎NAL單元等。於一具體實施例中，RPU語法只在序列層級更新。為了反向相容，如表1顯示，也定義用於MFC針對編碼截割片擴延的新穎NAL單元，slice_layer_extension_rbsp( )。於發明人之實例中，表2 標示為輪廓134的新穎輪廓係指定為FCFR 3D系統使用正交多工化(OM)之一實施例。
所提示的語法之額外實例係闡釋於表2、表3、及表4，於該處所提示的加至既有H.264/AVC規格係以郵政(Courier)字型闡釋。於本實施例中，所提示的RPU語法係在序列層面調用，且係添加於序列參數集MVC擴延。
RPU資料標頭語意
rpu_type載明針對RPU信號之預測型別目的。若不存在，則其值假設為0。
給定rpu_type，rpu_format載明當處理該視訊資料用以預測及/或最終重建時所使用的預測處理格式。若不存在，則其值假設為0。表5闡釋rpu_type值及rpu_format值實例。
default_grid_position傳訊view0及view1網路位置資訊是否應明確地傳訊。若default_grid_position係設定為1或為不存在，則內設值獲得如下：if(rpu_type==0 && rpu_format==0){view0_grid_position_x=4；view0_grid_position_y=8；view1_grid_position_x=12；view1_grid_position_y=8；}else if(rpu_type==0 && rpu_format==1){view0_grid_position_x=8；view0_grid_position_y=4；view1_grid_position_x=8；view1_grid_position_y=12；}
view0_grid_position_x係與在H.264規格中圖框填充配置SEI訊息語法章節定義的view0_grid_position_x相同。
view0_grid_position_y係與在H.264規格中圖框填充配置SEI訊息語法章節定義的view0_grid_position_y相同。
view1_grid_position_x係與在H.264規格中圖框填充配置SEI訊息語法章節定義的view1_grid_position_x相同。
view1_grid_position_y係與在H.264規格中圖框填充配置SEI訊息語法章節定義的view1_grid_position_y相同。
interlace_processing_flag傳訊參考處理是否將以圖框或欄位基準施用。若係設定為零，則處理將在圖框域進行。若此旗標係設定為1，則處理須針對各欄位分開地執行。
disable_part_symmetry_flag(當存在時)傳訊針對屬於不同觀點的空間並置區劃的濾波器選擇是否受限定或未受限定。當此旗標係未經設定時，於任一觀點的兩個並置區劃係經處理以推衍增強層預測。因而半數濾波器被傳訊。當此旗標係經設定時，濾波器係針對處理圖像中的各個區劃傳訊。若不存在，則全部區劃皆使用相同濾波方法(NULL)。若rpu_format係設定為SBS且PicWidthInMbs=1，或若rpu_format係設定為OU或TAB且PicHeightInMapUnits 係等於1，則此旗標係限定等於1。若不存在，則此旗標值將設定為1。
num_x_partitions_minus1傳訊在濾波期間用以細分在水平維度的經處理圖像之區劃數目。可具有任何非負值。若不存在，則num_x_partitions_minus1之值係設定等於0。num_x_partitions_minus1之值係為0至Clip3(0,15,(PicWidthInMbs>>1)-1)，於該處PicWidthInMbs係載明於H.264規格。
num_y_partitions_minus1傳訊在濾波期間用以細分在垂直維度的經處理圖像之區劃數目。可具有任何非負值。若不存在，則num_y_partitions_minus1之值係設定等於0。num_y_partitions_minus1之值係為0至Clip3(0,7,(PicHeightInMapUnits>>1)-1)，於該處PicHeightInMapUnits係載明於H.264規格。
RPU資料酬載語法
separate_component_filtering_flag傳訊分開的濾波器是否針對各個色彩空間成分傳輸，或單一濾波器係用在全部成分。若此旗標係設定為零，則然後針對各個濾波器分接頭係數設定下列：filter_idx[y][x][1]=filter_idx[y][x][2]=filter_idx[y][x][0]。
filter_idx_down[y][x][cmp]含有一指數，其係相對應於欲用在具有垂直座標y及水平座標x的該區劃，相對應於色彩空間cmp的下取樣處理濾波器。此指數可具有任何非負值，各自係相對應於一獨特處理濾波器或方案。
filter_idx_up[y][x][cmp]含有一指數，其係相對應於欲用在具有垂直座標y及水平座標x的該區劃，相對應於色彩空間cmp的上取樣處理濾波器。此指數可具有任何非負值，各自係相對應於一獨特處理濾波器或方案。
提供filter_idx方法的系統之一實例係顯示於表6。濾波器實例係顯示於表7。用於下取樣及上取樣的「F2」不具濾波係數。只設定載波信號為常數值(例如128)。
圖14闡釋產生EL信號1237的處理流程實例。圖14之右半圖闡釋基本層係以併排(SbS)格式編碼，因而EL層係以上下重疊(TaB)格式編碼的情況。本半圖的處理流程係匹配圖12A所示處理流程。圖14之左半圖闡釋基本層係以上下重疊(TaB)格式編碼(1405)而增強層係以SbS格式編碼(1415)的情況。TaB多工化步驟1405可遵照圖1中步驟104-V及106-V闡釋的處理，而SbS多工化步驟1415可遵照圖1中步驟104-H及106-H闡釋的處理。
給定前文敘述的語法，圖15闡釋在FCFR串流之解碼期間於RPU處理以產生載波信號實例1302之一實施例。類似處理也可應用以在編碼器例如使用載波RPU 1220產生載波信號1222。如圖15闡釋，處理係在一輸入序列的全部區劃及全部色彩成分上操作。資料流程可相同而與BL信號是否以SbS格式或以TaB格式多工化無關；但濾波方向性係取決於基本層格式。處理也假定下取樣係在上取樣之前進行；但於另一個實施例中，上取樣可在下取樣之前。
使用RPU資料串流(例如1240-3)，及一濾波器識 別符詢查表(例如表6)，於步驟1510，RPU識別欲用來下取樣已解碼BL信號的下取樣濾波器。若為F0或F1濾波器(1515-1)，則前進至執行下取樣(1520-1)。若為F2濾波器，則單純產生一載波信號具有全部像素值設定為一常數(例如128)(1520-2)。若BL層係以SbS格式編碼，則於垂直方向進行下取樣(1520)。若BL層係以TaB格式編碼，則於水平方向進行下取樣(1520)。
於下取樣(1520)後，兩個原先半部(或視圖)被解多工化及然後再度於正交方向多工化，例如從SbS至TaB或從TaB至SbS，以形成匹配殘差信號的多工化格式之一中間結果。此一中間信號然後經上取樣，使得終載波信號匹配殘差信號的解析度。若該上取樣濾波器為F0或F1(1525-1)，則中間結果係經上取樣而產生終載波信號1237。若為F2濾波器，則產生具有全部像素值設定為一固定值(例如128)的一載波信號(1530-2)。若BL層係以SbS格式編碼，則於水平方向進行上取樣(1530)。若BL層係以TaB格式編碼，則於垂直方向進行上取樣(1530)。若解碼器無法辨識任何濾波器，則處理結果且可產生錯誤訊息(1540)。
9.體現機構-硬體綜論
依據一個實施例，此處描述的技術係藉一或多個特用運算裝置體現。特用運算裝置可為硬體電路以執行該等技術，或可包括數位電子裝置，諸如一或多個特定應用積體電路(ASIC)或可現場程式規劃閘陣列(FPGA)，其係經持久程式規劃以執行該等技術，或可包括一或多個通用硬體處理器以在韌體、記憶體、其它儲存裝置、或其組合執行遵照程式指令的技術。此等特用運算裝置也可組合客製化硬體電路邏輯、ASIC、或FPGA以客製程式規劃以完成該 等技術。該等特用運算裝置可為桌上型電腦系統、可攜式電腦系統、手持式裝置、網路裝置或結合硬體電路及/或程式邏輯以體現該等技術的任何其它裝置。
舉例言之，圖11為方塊圖，例示說明於其上可體現本發明之具體實施例的電腦系統1100。電腦系統1100包括一匯流排1102或用以通訊資訊的其它通訊機構、及用以處理資訊的耦接至匯流排匯流排1102的一硬體處理器1104。硬體處理器1104例如可為通用微處理器。
電腦系統1100也包括用以儲存欲由硬體處理器1104執行的資訊及指令的耦接至匯流排1102的一主記憶體1106，諸如隨機存取記憶體(RAM)或其它動態儲存裝置。主記憶體1106也可用在執行欲藉處理器1104執行的指令期間，儲存暫時變量或其它中間資訊。此等指令當儲存在可接取至處理器1104的非過渡儲存媒體時，使得電腦系統1100變成特用機器，其係經客製化以執行該等指令中的特化操作。
電腦系統1100進一步包括用以儲存用於處理器1104的靜態資訊及指令的耦接至匯流排1102的唯讀記憶體(ROM)1108或其它靜態儲存裝置。儲存裝置1110諸如磁碟或光碟係設置且耦接至匯流排1102用以儲存資訊及指令。
電腦系統1100可透過匯流排1102而耦接至一顯示器1112，諸如一液晶顯示器用以顯示資料給一電腦使用者。一輸入裝置1114包括文數鍵及其它鍵係耦接至匯流排1102用以通訊資訊及指令選擇給處理器1104。另一型使用 者輸入裝置為游標控制器1116，諸如滑鼠、軌跡球、或游標方向鍵用以通訊方向資訊及指令選擇給處理器1104且用以控制顯示器1112上的游標移動。此種輸入裝置典型地在兩軸亦即第一軸(例如x)及第二軸(例如y)有二自由度，許可裝置載明於一平面上的位置。
電腦系統1100可使用客製化硬體電路、一或多個ASIC或FPGA、韌體及/或程式邏輯體現此處所述技術，該等邏輯組合電腦系統使得或程式規劃電腦系統1100成為特用機器。依據一個實施例，此處所述技術係由電腦系統1100回應於處理器1104執行含在主記憶體1106的一或多個指令之一或多個序列而予執行。此等指令可從另一個儲存媒體，諸如儲存裝置1110讀取入主記憶體1106內。含在主記憶體1106中的指令序列之執行使得處理器1104執行此處描述的製程步驟。於替代實施例中，硬體電路可用以置換或組合軟體指令。
如此處使用，「儲存媒體」一詞係指任何非過渡媒體，其儲存資料及/或指令使得一機器以特定方式操作。此種儲存媒體可包含非依電性媒體及/或依電性媒體。非依電性媒體例如包括光碟或磁碟、諸如儲存裝置1110。依電性媒體包括動態記憶體，諸如主記憶體1106。儲存媒體的常見形式包括例如軟碟、可撓性碟、硬碟、固態驅動器、磁帶、或任何其它磁性資料儲存媒體、CD-ROM、任何其它光學資料儲存媒體、具有孔洞圖案的任何實體媒體、RAM、PROM、及EPROM、快閃-EPROM、NVRAM、任何 其它記憶體晶片或卡匣。
儲存媒體係與傳輸媒體分開，但可結合使用。傳輸媒體參與在儲存媒體間的傳輸資訊。舉例言之，傳輸媒體包括同軸纜線、銅線及光纖，包括組成匯流排1102的導線。傳輸媒體也係呈聲波或光波形式，諸如無線電波及紅外線資料通訊期間所產生的該等波。
各型媒體可涉及攜載一或多序列的一或多個指令至處理器1104用以執行。舉例言之，該等指令初步可攜載於一磁碟或一遠端電腦的固態驅動裝置上。該遠端電腦可將該等指令載入其動態記憶體中，及使用數據機透過電話線發送指令。電腦系統1100本地的數據機可接收電話線上的資料，且使用紅外線發射器以將該資料轉換成紅外線信號。紅外線檢測器可接收載於該紅外線信號中的資料，適當電路可將資料置於匯流排1102上。匯流排1102將該資料攜載至主記憶體1106，從該處處理器1104取回資料且執行該等指令。在由處理器1104執行之前或之後，由主記憶體1106所接收的指令可選擇性地儲存在儲存裝置1110上。
電腦系統1100也包括耦接至匯流排1102的一通訊介面1118。通訊介面1118提供耦接至一網路鏈路1120的雙向資料通訊，該網路鏈路1120係連結至一本地網路1122。舉例言之，通訊介面1118可為綜合服務數位網路(ISDN)卡、有線數據機、衛星數據機、或提供資料通訊連結至相對應型別的電話線之數據機。至於另一個實例，通訊介面1118可為區域網路(LAN)卡以提供資料通訊連結至 一相容LAN。也可體現無線鏈路。於任何此種體現，通訊介面1118發送與接收攜載表示各型資訊的數位資料串流之電氣、電磁或光信號。
網路鏈路1120典型地透過一或多個網路提供資料通訊給其它資料裝置。例如，網路鏈路1120可透過本地網路1122提供連結至一主機電腦1124或連結至由網際網路服務提供者(ISP)1126所操作的資料設備。ISP 1126又轉而透過全球封包資料通訊網路，今日俗稱為「網際網路」1128提供資料通訊服務。本地網路1122及網際網路1128皆使用載有數位資料串流的電氣、電磁或光信號。通過各個網路之信號及在網路鏈路1120上且通過通訊介面1118的信號，其係攜載數位資料來去於電腦系統1100，乃傳輸媒體的形式實例。
電腦系統1100可透過網路、網路鏈路1120及通訊介面1118發送訊息與接收資料。於該網際網路實例中，一伺服器1130可透過網際網路1128、ISP 1126、本地網路1122及通訊介面1118發送針對一應用程式所請求的代碼。
接收代碼可如所接收由處理器1104執行，及/或儲存在儲存裝置1110或其它非依電性儲存媒體供後來執行。
10.相當例、延伸例、替代例及其它
於前文說明書中，已經參考無數特定細節描述本發明之具體實施例，該等細節係依各體現而異。如此，本發明之唯一排它的且由本案申請人對本發明所意圖的指標 係由本案宣告的申請專利範圍各項之集合，呈此等申請專利範圍各項所宣告的特定形式，包括任何隨後的修正。針對此等申請專利範圍各項所含術語於此處明確地陳述之任何定義將掌控如申請專利範圍各項使用的此等術語之意義。因此，於申請專利範圍一項中未明確地引述的限制、元件、性質、特徵、優點或屬性絕不應視為限制該項申請專利範圍。據此，本說明書及附圖須視為說明性而非限制性意義。
100‧‧‧多層視訊編碼器
102-L‧‧‧輸入LE影像圖框
102-R‧‧‧輸入RE影像圖框
104-H、104-V‧‧‧過濾與次取樣機構
106-H、106-V‧‧‧多工器
108-H、108-V‧‧‧3D多工化影像圖框
110‧‧‧BL編碼器
112-1‧‧‧BL FC視訊串流
112-2‧‧‧EL RPU串流
112-3‧‧‧EL FC視訊串流
114‧‧‧參考處理單元(RPU)
116‧‧‧EL編碼器

Claims (13)

  1. 一種使用處理器之方法，其係包含：接收一輸入3D影像，該輸入3D影像係包含一左眼(LE)輸入影像圖框及一右眼(RE)輸入影像圖框；基於該LE輸入影像圖框及該RE輸入影像圖框，產生包含在該垂直方向未濾波之包括於一垂直方向的第一高空間頻率內容的第一空間頻率內容及於一水平方向的第一減低解析度內容之一第一多工化影像圖框；基於該LE輸入影像圖框及該RE輸入影像圖框，產生包含在該水平方向未濾波之包括於該水平方向的第二高空間頻率內容的第二空間頻率內容及於該垂直方向的第二減低解析度內容之一第二多工化影像圖框；其中該第一多工化影像圖框或該第二多工化影像圖框中之一者係包含殘差影像資料，其中該殘差影像資料係藉由從推衍自該LE輸入影像圖框及該RE輸入影像圖框的輸入影像資料中扣除基於該第一多工化影像圖框或該第二多工化影像圖框中之另一者所產生的參考影像資料而產生；以及編碼與輸出該第一多工化影像圖框及該第二多工化影像圖框以呈現該輸入3D影像。
  2. 如申請專利範圍第1項之方法，其中該輸入3D影像乃在一串列3D輸入影像中之一第一3D輸入影像，該串列係包含具有一第二LE輸入影像圖框及一第二RE輸入影像圖框的不同之一第二輸入3D影像；及該方法係進一步 包含：基於該第二LE輸入影像圖框及該第二RE輸入影像圖框，產生包含於該垂直方向的第三高空間頻率內容及於該水平方向的第三減低解析度內容之一第三多工化影像圖框；基於該第二LE輸入影像圖框及該第二RE輸入影像圖框，產生包含於該水平方向的第四高空間頻率內容及於該垂直方向的第四減低解析度內容之一第四多工化影像圖框；及編碼與輸出該第三多工化影像圖框及該第四多工化影像圖框以呈現該第二輸入3D影像。
  3. 如申請專利範圍第1項之方法，其中該第一多工化影像圖框係包含一第一LE影像資料部分及一第一RE影像資料部分；其中該第一LE影像資料部分及該第一RE影像資料部分沿水平與垂直二方向具有一相同空間解析度；其中該第二多工化影像圖框係包含一第二LE影像資料部分及一第二RE影像資料部分；及其中該第二LE影像資料部分及該第二RE影像資料部分沿水平與垂直二方向具有一相同空間解析度。
  4. 如申請專利範圍第3項之方法，其中該第一LE影像資料部分及該第一RE影像資料部分之各者表示一全解析度影像圖框之一次取樣版本；其中該第一多工化影像圖框採用一併排(SbS)格式以攜載該第一LE影像資料部分及該第一RE影像資料部分；其中該第二LE影像資料部分 及該第二RE影像資料部分之各者表示一全解析度影像圖框之一次取樣版本；及其中該第二多工化影像圖框採用一上下(TaB)格式以攜載該第二LE影像資料部分及該第二RE影像資料部分。
  5. 如申請專利範圍第1項之方法，其中該第一多工化影像圖框係採用保留於該垂直方向的高空間頻率內容之一第一多工化格式，及其中該第二多工化影像圖框係採用保留於該水平方向的高空間頻率內容之一第二多工化格式。
  6. 如申請專利範圍第1項之方法，其中該第一多工化影像圖框或該第二多工化影像圖框中之一者係在多個位元串流中之一基本層位元串流中輸出，而該第一多工化影像圖框或該第二多工化影像圖框中之另一者係在該等多個位元串流中之一增強層位元串流中輸出。
  7. 如申請專利範圍第1項之方法，其係進一步包含：至少部分基於該第一多工化影像圖框而產生預測參考影像資料；及基於該預測參考影像資料與該輸入3D影像間之差而編碼一增強層視訊信號。
  8. 如申請專利範圍第1項之方法，其係進一步包含：施用包含下列中之至少一者：(a)空間頻率過濾操作或(b)於該第二方向之空間次取樣操作的一或多個第一操作至該第一輸入影像圖框及該第二輸入影像圖框以產生該第一多工化影像圖框，其中該等一或多個第一操 作係去除於該第二方向的高空間頻率內容，而保留於該第一方向的高空間頻率內容；及施用包含下列中之至少一者：(a)空間頻率過濾操作或(b)於該第一方向之空間次取樣操作的一或多個第二操作至該第一輸入影像圖框及該第二輸入影像圖框以產生該第二多工化影像圖框，其中該等一或多個第二操作去除於該第一方向的高空間頻率內容，而保留於該第二方向的高空間頻率內容。
  9. 如申請專利範圍第1項之方法，其係進一步包含將使用一或多個輸入視訊信號呈現、接收、傳輸、或儲存的一或多個3D輸入影像轉換成使用一或多個輸出視訊信號呈現、接收、傳輸、或儲存的一或多個3D輸出影像。
  10. 一種編碼3D圖框相容全解析度(FCFR)影像之方法，該方法係包含：接收一輸入3D影像，該輸入3D影像係包含一左眼(LE)輸入影像圖框及一右眼(RE)輸入影像圖框；基於該LE輸入影像圖框及該RE輸入影像圖框，產生包含在該第一方向未濾波之包括於一第一方向的第一高空間頻率內容的第一空間頻率內容及於一第二方向的第一減低解析度內容之一第一多工化影像圖框，該第二方向係與該第一方向正交；基於該第一多工化影像圖框產生參考影像資料及載波影像資料；從該輸入3D影像資料扣除該參考影像資料而產生 殘差影像資料；基於該殘差影像資料及該載波影像資料，產生包含在該第二方向未濾波之包括於該第二方向的第二高空間頻率內容的第二空間頻率內容及於該第一方向的第二減低空間頻率內容之一第二多工化影像圖框；及編碼與輸出該第一多工化影像圖框及該第二多工化影像圖框以呈現該輸入3D影像；其中產生該載波影像資料係包含：於一基本層影像圖框的一第一方向施用一第一空間過濾以下取樣該基本層影像圖框及產生一中間影像，該基本層影像係至少部分基於該第一多工化影像圖框；及施用於一第二方向之一第二空間過濾至該中間影像以上取樣該中間影像而產生該載波影像資料，其中該第二方向係與該第一方向正交。
  11. 如申請專利範圍第10項之方法，其中該載波影像資料全部皆包含相同固定值的像素值。
  12. 一種解碼以一FCFR格式編碼的3D信號之方法，該方法係包含：接收由一第一多工化影像圖框及一第二多工化影像圖框所呈現之一3D影像，該第一多工化影像圖框包含在該第一方向未濾波之包括於一第一空間方向的第一高空間頻率內容的第一空間頻率內容及於一第二空間方向的第一減低解析度內容，及該第二多工化影像圖框 包含於該第二空間方向的第二高空間頻率內容及於該第一空間方向的第二減低解析度內容，其中該第二空間方向係與該第一空間方向正交；基於該第一多工化影像，產生包含在該第二方向未濾波之包括於該第一空間方向的高空間頻率內容的第二空間頻率內容及於該第二空間方向的減低解析度內容之一圖框相容影像圖框對(FC-L、FC-R)；及基於該第一多工化影像及該第二多工化影像圖框，產生包含於該第一空間方向及該第二空間方向兩者的高空間頻率內容的一全解析度圖框對(FR-LE、FR-RE)，其中該第二多工化影像圖框係包含與一載波影像圖框組合之一殘差影像圖框，以及其中該載波影像圖框係基於該第一多工化影像圖框而產生並接著從該第二多工化影像圖框被扣除以產生該殘差影像圖框。
  13. 如申請專利範圍第12項之方法，其係進一步包含於該第二多工化影像圖框的該第二空間方向施用一高通濾波器以產生該殘差影像圖框。
TW101135323A 2011-09-29 2012-09-26 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術 TWI595770B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161541005P 2011-09-29 2011-09-29
US201261583081P 2012-01-04 2012-01-04

Publications (2)

Publication Number Publication Date
TW201330588A TW201330588A (zh) 2013-07-16
TWI595770B true TWI595770B (zh) 2017-08-11

Family

ID=47003282

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101135323A TWI595770B (zh) 2011-09-29 2012-09-26 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術

Country Status (8)

Country Link
US (1) US10097820B2 (zh)
EP (1) EP2761874B1 (zh)
JP (1) JP5926387B2 (zh)
CN (1) CN103828358B (zh)
AR (1) AR088081A1 (zh)
HK (1) HK1194572A1 (zh)
TW (1) TWI595770B (zh)
WO (1) WO2013049383A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013103490A1 (en) 2012-01-04 2013-07-11 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
US9357197B2 (en) 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
EP2860927A4 (en) * 2012-06-11 2015-09-23 Huawei Tech Co Ltd DECODER PROCESS AND DECORER FOR RECEIVING A SIGNAL IN A MICROWAVE MIMO SYSTEM
KR102301083B1 (ko) * 2013-04-15 2021-09-10 루카 로사토 하이브리드 백워드-호환가능 신호 인코딩 및 디코딩
EP3242487B1 (en) * 2014-12-29 2021-10-13 Sony Group Corporation Transmitting device, transmitting method, receiving device and receiving method
KR20170075349A (ko) * 2015-12-23 2017-07-03 한국전자통신연구원 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법
CN108769681B (zh) 2018-06-20 2022-06-10 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI243617B (en) * 2003-12-01 2005-11-11 Ess Technology Inc Optimized structure for digital separation of composite video signals
US20100260268A1 (en) * 2009-04-13 2010-10-14 Reald Inc. Encoding, decoding, and distributing enhanced resolution stereoscopic video

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5416510A (en) 1991-08-28 1995-05-16 Stereographics Corporation Camera controller for stereoscopic video system
US5404167A (en) * 1993-03-12 1995-04-04 At&T Corp. Subband color video coding using a reduced motion information subband
US6229927B1 (en) * 1994-09-21 2001-05-08 Ricoh Company, Ltd. Reversible embedded wavelet system implementation
US6549666B1 (en) * 1994-09-21 2003-04-15 Ricoh Company, Ltd Reversible embedded wavelet system implementation
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
DE69525127T2 (de) * 1994-10-28 2002-10-02 Oki Electric Industry Co., Ltd. Gerät und Verfahren zur Kodierung und Dekodierung von Bildern unter Verwendung einer Kantensynthese und einer Wavelet-Rücktransformation
JP3534465B2 (ja) * 1994-12-28 2004-06-07 パイオニア株式会社 サブバンド符号化方法
US5612735A (en) 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US6674911B1 (en) * 1995-09-14 2004-01-06 William A. Pearlman N-dimensional data compression using set partitioning in hierarchical trees
DE69720559T2 (de) * 1996-11-06 2004-02-12 Matsushita Electric Industrial Co., Ltd., Kadoma Methode zur Bildkodierung mit Kodes variabler Länge
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6959120B1 (en) * 2000-10-27 2005-10-25 Microsoft Corporation Rebinning methods and arrangements for use in compressing image-based rendering (IBR) data
KR100454194B1 (ko) 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
JP4104895B2 (ja) * 2002-04-25 2008-06-18 シャープ株式会社 立体画像符号化装置および立体画像復号装置
WO2005006766A1 (ja) * 2003-07-09 2005-01-20 Nec Corporation 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置およびコンピュータプログラム
KR100834748B1 (ko) * 2004-01-19 2008-06-05 삼성전자주식회사 스케일러블 비디오 스트림 재생 방법 및 장치
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7515759B2 (en) 2004-07-14 2009-04-07 Sharp Laboratories Of America, Inc. 3D video coding using sub-sequences
US7262767B2 (en) * 2004-09-21 2007-08-28 Victor Company Of Japan, Limited Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
JP4489605B2 (ja) * 2005-01-19 2010-06-23 株式会社メガチップス 圧縮符号化装置、圧縮符号化方法およびプログラム
FR2889017A1 (fr) 2005-07-19 2007-01-26 France Telecom Procedes de filtrage, de transmission et de reception de flux video scalables, signal, programmes, serveur, noeud intermediaire et terminal correspondants
US8503806B2 (en) * 2005-09-06 2013-08-06 Megachips Corporation Compression encoder, compression encoding method and program
WO2007047736A2 (en) 2005-10-19 2007-04-26 Thomson Licensing Multi-view video coding using scalable video coding
WO2007085950A2 (en) 2006-01-27 2007-08-02 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
US8767836B2 (en) 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
JP4424522B2 (ja) * 2006-07-13 2010-03-03 日本電気株式会社 符号化及び復号化装置ならびに符号化方法及び復号方法
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
CN101420609B (zh) 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
KR101580516B1 (ko) 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
EP2301256A2 (en) 2008-07-21 2011-03-30 Thomson Licensing Multistandard coding device for 3d video signals
CN102257818B (zh) 2008-10-17 2014-10-29 诺基亚公司 3d视频编码中运动向量的共享
US20100177162A1 (en) 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
KR101597987B1 (ko) * 2009-03-03 2016-03-08 삼성전자주식회사 계층 독립적 잔차 영상 다계층 부호화 장치 및 방법
EP2409495A4 (en) 2009-03-16 2013-02-06 Lg Electronics Inc METHOD FOR DISPLAYING THREE-DIMENSIONAL IMAGE DATA AND THREE-DIMENSIONAL IMAGE DATA PROCESSING APPARATUS
JP5416271B2 (ja) 2009-04-20 2014-02-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 多層映像配信のための適応補間フィルタ
KR101676310B1 (ko) 2009-04-27 2016-11-16 엘지전자 주식회사 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US8639046B2 (en) * 2009-05-04 2014-01-28 Mamigo Inc Method and system for scalable multi-user interactive visualization
US9774882B2 (en) * 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US8676041B2 (en) 2009-07-04 2014-03-18 Dolby Laboratories Licensing Corporation Support of full resolution graphics, menus, and subtitles in frame compatible 3D delivery
KR20110007928A (ko) 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
US8665968B2 (en) * 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US9014276B2 (en) 2009-12-04 2015-04-21 Broadcom Corporation Method and system for 3D video coding using SVC temporal and spatial scalabilities
US8520020B2 (en) * 2009-12-14 2013-08-27 Canon Kabushiki Kaisha Stereoscopic color management
EP2529551B1 (en) 2010-01-27 2022-03-16 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs
EP2532162B1 (en) 2010-02-01 2017-08-30 Dolby Laboratories Licensing Corporation Filtering for image and video enhancement using asymmetric samples
US8619852B2 (en) 2010-07-21 2013-12-31 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered frame-compatible video delivery
US20120236115A1 (en) 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
US9473788B2 (en) 2011-09-16 2016-10-18 Dolby Laboratories Licensing Corporation Frame-compatible full resolution stereoscopic 3D compression and decompression
US8923403B2 (en) 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI243617B (en) * 2003-12-01 2005-11-11 Ess Technology Inc Optimized structure for digital separation of composite video signals
US20100260268A1 (en) * 2009-04-13 2010-10-14 Reald Inc. Encoding, decoding, and distributing enhanced resolution stereoscopic video

Also Published As

Publication number Publication date
US20140286397A1 (en) 2014-09-25
WO2013049383A1 (en) 2013-04-04
US10097820B2 (en) 2018-10-09
TW201330588A (zh) 2013-07-16
HK1194572A1 (zh) 2014-10-17
CN103828358B (zh) 2016-05-18
EP2761874A1 (en) 2014-08-06
JP5926387B2 (ja) 2016-05-25
EP2761874B1 (en) 2020-12-09
CN103828358A (zh) 2014-05-28
JP2014529271A (ja) 2014-10-30
AR088081A1 (es) 2014-05-07

Similar Documents

Publication Publication Date Title
EP2761877B1 (en) Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
US10142611B2 (en) Systems and methods for multi-layered frame-compatible video delivery
TWI595770B (zh) 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
EP2591609B1 (en) Method and apparatus for multi-layered image and video coding using reference processing signals
US10165251B2 (en) Frame compatible depth map delivery formats for stereoscopic and auto-stereoscopic displays
US9473788B2 (en) Frame-compatible full resolution stereoscopic 3D compression and decompression
US20130222539A1 (en) Scalable frame compatible multiview encoding and decoding methods
US9344702B2 (en) Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal