TWI573447B

TWI573447B - 影像編碼解碼方法與影像編碼解碼裝置

Info

Publication number: TWI573447B
Application number: TW104117448A
Authority: TW
Inventors: 林崇順; 傅德偉; 沈勝美; 角野真也; 近藤敏志; 羽飼誠; 安倍清史
Original assignee: 松下電器（美國）知識產權公司
Priority date: 2002-07-11
Filing date: 2003-07-10
Publication date: 2017-03-01
Also published as: US20150262324A1; TWI280058B; SI1406451T1; TW200723891A; US9412177B2; CN101179733B; KR20050018795A; PT2278816E; EP2053863A1; TW201720167A; TW200401568A; CA2460471A1; ES2277092T3; ATE443972T1; BRPI0305432B1; US20120213287A1; US20050058206A1; DE60310842T2; JP2008172821A; JP4914459B2

Description

影像編碼解碼方法與影像編碼解碼裝置

技術領域

本發明係有關於可效率良好地壓縮動態影像之影像編碼方法及將此編碼予以正確地解碼而顯示之影像解碼方法。

背景技術

近年來，正迎接著將統合性地處理聲音、影像、其他像素值之多媒體時代，從習知化之資訊媒體，即將新聞、雜誌、電視、收音機、電話等資訊傳達給人的手段以被作為多媒體對象而提出。一般所謂多媒體乃指不僅是文字，而係將圖形、聲音、特別是影像等予以同時賦予相關而表示者，將上述習知資訊媒體作為多媒體對象上，將該資訊作成數位形式而表示的情形為必須條件。

將上述各資訊媒體所擁有之資訊量作為數位資訊量來評估的話，相對於文字的情形係每1文字之資訊量為1~2位元，聲音的情形為每1秒64Kbits(電話品質)，至於動態影像則每1秒必要有100Mbits(目前電視接收品質)以上的資訊量，以上述資訊媒體將該龐大的資訊以數位形式原原本本地處理乃非實際。例如數位電話係依據具有64Kbit/s~1.5Mbit/s之傳送速度之整體服務數位網路(ISDN：Integrated Services Digital Network)而已實用化，惟，以ISDN原原本本地傳送攝影機之影像乃不可能。因此，必要的技術為資訊的壓縮技術，例如為影像電話的情形，可使用以ITU-T(國際電氣通信聯合-電氣通信標準化部分門)國際標準化之H.261或H.263規格之動態影像壓縮技術。又，依據MPEG-1規格之資訊壓縮技術的話，也可能於一般音樂用CD(compact disk)將聲音資訊與影像資訊一同輸入。

所謂MPEG(Moving Picture Experts Group)係動態影像信號壓縮的國際規格，MPEG-1係將動態影像信號壓縮至1.5Mbit/s，亦即將電視信號壓縮至一百分之一的規格。又，從以MPEG-1規格為對象之傳送速度主要制限於約1.5Mbit/s，進而更滿足要求高畫質化而規格化的MPEG-2乃將動態影像信號壓縮至2~15Mbit/s。而且現狀更由MPEG-1、MPEG-2與標準化進而以作業群(ISO/IECJTC1/SC29/WG11)而達成更超越MPEG-1、MPEG-2的壓縮率，進而能以物體單位編碼、解碼、操作而實現多媒體時代所必要新之功能的MPEG-4的規格化。 MPEG-4係於當初以低位元率之編碼方法的標準化為目標而進展，然而現在已正擴展著包含交互影像之高位元率之更廣泛的編碼。

又，近年來，MPEG-4之次世代編碼稱為 JVT。ITU-T與ISO/IEC共同所構成之新的影像編碼正標準化中。

第24圖表示圖像之預測構造、解碼順序與顯示順序。所謂圖像係指框或場之其中任何之一的用語，本說明書取代框或場而使用圖像來表示。又，影像或畫面等用語亦與圖像為同義語。第24圖中施予斜線之隨機編碼的圖像係其他圖像之編碼、解碼之際被參照，因此表示保持於記憶體的圖像。

I0係畫面內編碼圖像，P3、P6、P9係畫面間預測編碼圖像(P圖像)。在JVT標準化案之畫面間編碼與習知之MPEG-1/2/4不同，係能從多數編碼完圖像選擇一個任意的圖像作為參照圖像，並從參照圖像產生預測影像者。例如，P9圖像能從I0、P3、P6之三個圖像選擇任意一個圖像而從該圖像產生預測影像。藉此，能比習知之MPEG-1/2/4選擇更適切的預測影像的可能性高而提昇壓縮率。B1、B2、B4、B5、B7、B8係畫面間雙預測編碼圖像(B圖像)，與畫面間預測圖像的預測不同，選擇多數(2個)圖像而從該選擇之圖像產生預測影像並予以編碼。特別是，可得知以進行將時間上前後二個圖像的平均值作為預測影像之內插預測的狀態，能大幅地提昇預測影像的精確度而大幅地提昇壓縮率。以下將畫面內編碼圖像設為I、畫面間預測編碼圖像設為P、畫面間雙預測編碼圖像設為B等標號賦與各圖像而區別各圖像的編碼方法。

在B圖像為了以預測編碼參照以時間上前後之圖像時，必須先使時間上在後方之圖像編碼、解碼。此稱為圖像之替換排序(reordering)，可從習知之MPEG-1/2/4良好地進行。因此，相對於編碼順序(Stream Order)，能將已編碼之流(stream)予以解碼而顯示之順序(Display Order)如第24圖之表示圖像的預測構造、解碼順序與顯示順序那般替換排序。又，第24圖之例子中的B圖像係為了表示將流予以解碼之瞬間而不從其他影像參照的情形下無必要儲存於記憶體等，惟，I圖像或P圖像於解碼之後為了將其次的B圖像予以解碼後顯示而有必要保持於記憶體。

以下於表示圖像之預測構造、解碼順序與顯示順序之圖中，用語及圖像斜線之隨機編碼的意思與第24 圖相同意思而統一。

第25圖表示其他圖像之預測構造、解碼順序與顯示順序。同圖中，與第24圖不同者在於圖像6並非P圖像而係I圖像。

第26圖係用以實現習知之影像編碼方法之影像編碼裝置的方塊圖。以下說明實現第26圖之影像編碼方法之影像編碼裝置的動作。

圖像構造決定單元PicStruct決定各圖像之編碼型態(I圖像、P圖像、B圖像)而對參照圖像管理單元RefPicCtrl指示該編碼型態及編碼可參照之圖像，又，將圖像之編碼順序通知替換排序單元Reorder。替換排序單元Reorder將輸入圖像PicIn之順序替換排序成編碼順序，並將已替換排序之圖像輸出至移動檢測單元ME及減法單元Sub。移動檢測單元ME參照已保持於圖像記憶體PicMem1之圖像而導出其表示適切的參照圖像與其像素位置之移動向量MV，並送出至可變長度編碼單元VLC與圖像記憶體PicMem1與移動補償單元MC。圖像記憶體PicMem1將對應移動向量MV之參照圖像的像素輸出至移動補償單元MC，移動補償單元MC從圖像記憶體PicMem1獲得之參照圖像的像素與移動向量MV產生預測影像。

減法單元Sub計算以替換排序單元ReOrder 替換排序的圖像與預測影像的差，以正交變換單元T將其差變換成頻率係數，而且以量化單元Q將頻率係數予以量化而作為量化值Coef。

反量化單元IQ將量化值Coef予以反量化而回復至頻率係數，而且以反正交變換單元IT從頻率係數予以反頻率變換成像素差分值。加法單元Add將預測影像加算於像素差分值而獲得解碼影像。

參照圖像管理單元RefPicCtrl因應圖像之編碼型態以作為參照圖像而參照而判斷是否應保存於圖像記憶體PicMem1的解碼圖像，或是應從圖像記憶體PicMem1開放(開啟)(作為參照圖像而以後不參照)的解碼影像，並將該動作作為記憶體管理指令MMCO而予以通知。

開關SW於該解碼影像依據記憶體管理指令 MMCO指示保持的情形下呈開放(ON)，該解碼影像作為參照圖像而保存於圖像記憶體PicMem1。又，圖像記憶體PicMem1依據記憶體管理指令MMCO而指示應從圖像記憶體PicMem1開放之解碼影像的情形下，開放保存著該解碼影像之領域而能將其他解碼影像保存於該領域。

可變長度編碼單元VLC將量化值Coef、移動向量MV、記憶體管理指令MMCO予以編碼而輸出編碼流Str。

前已說明頻率變換與量化併同作為編碼之例，惟，亦可將頻率變換不併同量化作為編碼(DPCM或ADPCM、線形預測編碼等)。又，亦可為頻率變換與量化為一體化，或如位元平面編碼於頻率變換後不併同量化而編碼。

第27圖係記憶體管理指令MMCO之編碼例。編碼、解碼之最初為了在GOP之前頭將圖像記憶體予以初始化，可變長度編碼單元VLC將意味全部記憶體開放之’000’予以編碼。又，將已解碼之影像保存於記憶體的情形下，可變長度編碼單元VLC將’01’予以編碼。由於要開放保存於圖像記憶體之圖像時，必須指示要開放之圖像號碼，因此可變長度編碼單元VLC將’001’之其次開放之圖像號碼予以編碼。又，同時開放多數圖像的情形有必要將要開放之圖像號碼予以多數次編碼，又，亦有於開放圖像之指令更加上將要保存之圖像的指令予以編碼的情形。因此，可變長度編碼單元VLC繼續將多數的記憶體管理指令MMCO予以編碼而於最後將表示結束記憶體管理指令MMCO之情形的’1’予以編碼。如上所述記憶體管理指令MMCO被編碼成編碼流Str。

第28圖係實現習知影像解碼方法之影像解碼裝置的方塊圖。同圖中，對於與第26圖之實現習知影像解碼方法之影像解碼裝置的方塊圖相同動作的機器，則賦予相同標號而省略說明。

可變長度解碼單元VLD將編碼流Str予以解碼而輸出記憶體管理指令MMCO、移動向量MV、量化值Coef。圖像時刻係Time係從外部輸入而指定顯示之圖像的信號。應顯示之圖像為已解碼之該圖像的話，以選擇器Sel選擇加法單元Add並送出至顯示單元Disp。應顯示之圖像係保存於圖像記憶體PicMem1之圖像的話，則從圖像記憶體PivMem1讀出而被選擇器Sel選擇並送出至顯示單元Disp。

又，如上所述圖像記憶體PicMem1將對應移動向量MV之像素輸出至移動補償單元MC，移動補償單元MC從由圖像記憶體PicMem1獲得之像素與移動向量MV產生預測影像。

又，反量化單元IQ將量化值Coef予以反量化而回復至頻率係數，而且以反正交變換單元IT從頻率係數反頻率變換成像素差分值。加法單元Add將預測影像加算至像素差分值而作為解碼影像。

又，圖像記憶體PicMem1依記憶體管理指令 MMCO而被指示在圖像記憶體PicMem1之應開放之解碼影像的情形下，能將保存著該解碼影像之領域予以開放而將其他解碼影像保存於該領域。

前已說明頻率變換與量化併同作為解碼之例，惟，亦可將頻率變換不併同量化作為解碼(DPCM或ADPCM、線形預測編碼等)。又，亦可為反頻率變換與量化為一體化，或如位元平面編碼於頻率變換後不併同量化而解碼。

藉著實現以上第28圖之習知影像解碼方法的影像解碼裝置，可得知第24圖及第25圖所示之圖像編碼型態的組合，能將以第26圖之實現習知影像編碼方法之影像編碼裝置而編碼之編碼流Str予以正確地解碼。

又，對於圖像編碼型態乃已檢討了柔軟的組合。

第1圖表示習知所無之圖像的預測構造、解碼順序與顯示順序。第1圖之圖像4之前後的B圖像的預測構造不同。即，圖像2之B圖像係被保存而作為圖像1及圖像3之預測影像被參照者。其結果各圖像之編碼順序及顯示順序如第1圖所示。

又，圖像5與圖像6不被預測編碼參照，故為不被保存的B圖像。但是與第24圖的情形不同，在解碼時點為其他圖像的顯示時刻，而非尚未顯示之時刻。亦即，在圖像B5之解碼時點必須顯示圖像P4，而在圖像B6之解碼時點必須顯示圖像B5。另一方面，由於不能保存圖像B5與圖像B6，故不能從圖像記憶體於顯示時刻輸出圖像B5與圖像B6。因此，在預測編碼不能參照之圖像不保存於圖像記憶體，故習知之編碼、解碼方法無法將圖像B5與圖像B6予以解碼並顯示。即，如第24圖所示不能保存在預測編碼不能參照之圖像的情形下僅能顯示圖像0、圖像1、圖像2、圖像4、圖像7。

如此一來，在圖像編碼型態上一旦檢討更柔軟的組合時，乃有會產生無法解碼顯示之圖像的問題。又，在顯示用另外追加圖像記憶體而將未能保存於圖像記憶體PicMem1之圖像保存於顯示用之其他圖像記憶體的話則能顯示，惟，此情形下乃會有必要於其他圖像記憶體有大的多餘記憶體的缺點。

而且，導入顯示用之其他圖像記憶體亦會在由流中途的再生產生新的問題。第2圖表示圖像之預測構造、解碼順序與顯示順序。於該圖中與第25圖之不同係在圖像7之前後預測構造完全地獨立。比I7以後之圖像I7更前時刻之圖像不作為編碼、解碼而參照。因此，從I7圖像開始解碼的話，I7圖像以後能正確地解碼，因此，I7圖像具有可從流中途再生的特徵。如此一來，可良好地進行在流中途插入I圖像，並將能從此中途再生之構造以MPEG-2為基準而稱為GOP(Group Of Picture)。

又，要從流中途再生，在從中途再生之時點必須保證再生影像在編碼裝置與解碼裝置之間一致，因此要將圖像記憶體之全圖像領域予以初始化乃簡單的方法。但是，圖像6在將圖像7予以解碼的時點尚未顯示而儲存於圖像記憶體，因此，一旦單純地於圖像6之顯示前將全部的圖像記憶體予以初始化的話，就無法於圖像6之顯示時刻將圖像6從圖像記憶體予以顯示。

爰此，本發明之目的係於圖像之編碼或解碼上考慮必要的記憶體，且不會產生不能解碼並顯示的圖像者。

發明揭示

為了達到上述目的，本發明之影像編碼方法，係一邊參照保持於圖像緩衝區之影像而一邊將輸入影像予以預測編碼，並將經編碼之前述輸入影像予以解碼的影像編碼方法，包含有：對於經解碼之影像，判定是否為參照用影像及是否必要保持至顯示時刻之輸出用影像，依據判定結果而使參照用影像及輸出用影像保持於前述圖像緩衝區。

前述影像編碼方法可具有以下步驟：判定經解碼之影像是否為參照用影像之第1判定步驟；判定經解碼之影像是否非為參照用且是否為必要保持至顯示時刻之輸出用影像的第2判定步驟；於第1判定步驟使參照用影像與經判定之影像保持於前述圖像緩衝區，於第2判定步驟使判定為輸出用影像保持於前述圖像緩衝區之管理圖像緩衝區的管理步驟。

依據此構造，於判定解碼影像是否為參照用影像，加上也判定是否為輸出用影像，將對於參照用影像更加上於預測編碼未被參照惟被解碼時無法同時地顯示或輸出之影像，以作為輸出用影像而儲存於圖像緩衝區。影像編碼之際進行此判定及圖像緩衝區管理而檢驗著解碼動作，因此，於解碼裝置能確實地將輸出用影像顯示於該顯示時刻或輸出。

前述圖像緩衝區具有一定的尺寸，前述影像編碼方法可更具有：判定保持於圖像緩衝區之參照用影像是否參照完之第3判定步驟；及判定保持於圖像緩衝區之輸出用影像是否輸出完之第4判定步驟，且於前述管理步驟，依據前述第3及第4判定步驟中的各判定結果而再利用在前述一定尺寸範圍內保持著圖像緩衝區中的影像。

依據此構造，於管理步驟中，在前述圖像緩衝區之一定尺寸的範圍內再利用保持著影像之領域而儲存參照用影像與前述輸出用影像，故能不浪費記憶體而將解碼影像圖像緩衝區設於必要最小限的尺寸。

又，前述影像編碼方法，可具有於多數編碼影像所構成之每個區段，於該區段之編碼中將表示一定之前述尺寸之資訊予以編碼之編碼步驟。

依據此構造，因前述尺寸於每個區段呈一定，故能柔軟地決定在每個區段以預測編碼而使用之影像型態。

又，於前述管理步驟中，前述圖像緩衝區中不存在可新儲存影像之領域的情形下，在第4判定步驟中於保持著判定為輸出完之輸出用影像的領域，可儲存於第1判定步驟中判定為參照用影像之影像及在第2判定步驟中判定為參照用影像之影像之其中的影像。

依據此構造，於儲存在圖像緩衝區之輸出用影像之領域之中已輸出完之影像所儲存之領域，儲存新的影像。亦即，再利用輸出完之影像所儲存之領域，因此，能更確實地顯示未輸出完之解碼影像。

又，於前述管理步驟，在前述圖像緩衝區中不存在可新儲存影像之領域的情形下，於儲存在前述圖像緩衝區之輸出用影像之中保持著顯示順序為舊(早)的影像的領域，使其保存於第1判定步驟中判定為參照用影像之影像及在第2判定步驟中判定為輸出用影像之影像之其中的影像。

依據此構造，由於在輸出用影像之中保持著顯示順序為舊的影像的領域儲存著輸出完之解碼影像的可能性高，因此，即使非正確地判斷各個解碼影像之顯示時刻的構造，亦能更確實地顯示未輸出完之解碼影像。

又，前述影像編碼方法，更可在包含多數編碼影像之區段中途被變更輸入影像尺寸的情形下，在保持著輸出用影像之領域之中，開放其保存持著變更尺寸前之影像且於儲存後影像全部或一部分未被變更之影像之領域以外的領域的開放步驟。

依據此構造，當有變更尺寸時，由於輸出用之解碼影像能殘留於解碼影像圖像緩衝區，因此，變更尺寸之時點可不刪除未輸出完之影像而盡可能地輸出。

如上所述，依據本發明的話，對於習知不可能正確地顯示之圖像，亦能不必要多餘的記憶體而能有效地活用經開放之記憶體領域來顯示，其實用價值高。

又，有關本發明之影像解碼方法、影像編碼裝置、影像解碼裝置、程式亦具有與上述同樣的構成、作用、效果。

又，本發明之影像編碼方法或影像解碼方法可作成以下(1)至(16)之其中任何的構成構造。

(1)一種參照要解碼而保存於記憶體之解碼完影像，而將影像信號予以預測編碼之影像編碼方法，包含有：從記憶體參照前述解碼完影像而產生預測影像，將前述預測影像與前述影像信號之差予以編碼而作成編碼流的步驟；將前述經編碼之前述預測影像與前述影像信號予以解碼並加算前述預測影像以設成解碼影像，並將預定之解碼影像儲存於前述記憶體的步驟；以及開放前述記憶體之全領域而表示是否可再利用之指示資訊包含於前述編碼流之步驟。

(2)一種影像編碼方法，係參照解碼完影像而將影像信號予以預測編碼之影像編碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述經預測影像與前述影像信號之差予以編碼而作成編碼流，將前述編碼之前述預測影像與前述影像信號之差予以解碼而加算前述預測影像並作為解碼影像，用以產生預測影像而參照之影像及不可能立即顯示之影像係將前述解碼影像儲存於前述記憶體。

(3)一種影像編碼方法，係參照解碼完影像而將影像信號予以預測編碼之影像編碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述經預測影像與前述影像信號之差予以編碼而作成編碼流，將前述編碼之前述預測影像與前述影像信號之差予以解碼而加算前述預測影像並作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已開放領域即保存著顯示完影像之領域。

(4)一種參照要解碼而保存於記憶體之解碼完影像，而將解碼流予以預測編碼之影像解碼方法，包含有：從記憶體參照前述解碼完影像而產生預測影像，對於將前述編碼流予以解碼而獲得之影像信號加算前述預測影像而作為解碼影像，且將預定之解碼影像儲存於記憶體的步驟；開放將前述編碼流予以解碼而獲得之記憶體全領域，而以表示是否可再利用之指示資訊為基準而進行依據前述指示資訊所示之資訊之處理的處理步驟。

(5)一種影像解碼方法，係參照解碼完影像而將編碼流予以預測解碼之影像解碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述編碼流予以解碼而加算前述預測影像以作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已開放領域即保存著顯示完影像之領域。

(6)一種影像編碼方法，係參照解碼完影像而將影像信號予以預測編碼之影像編碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述經預測影像與前述影像信號之差予以編碼而作成編碼流，將前述編碼之前述預測影像與前述影像信號之差予以解碼而加算前述預測影像並作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已開放領域即保存著最舊時刻之影像的領域。

(7)一種影像解碼方法，係參照解碼完影像而將編碼流予以預測解碼之影像解碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述編碼流予以解碼而加算前述預測影像以作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已開放領域即保存著最舊影像之領域。

(8)一種影像編碼方法，係參照解碼完影像而將影像信號予以預測編碼之影像編碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述經預測影像與前述影像信號之差予以編碼而作成編碼流，將前述編碼之前述預測影像與前述影像信號之差予以解碼而加算前述預測影像並作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之最初開放之可儲存的領域。

(9)一種影像解碼方法，係參照解碼完影像而將編碼流予以預測編碼之影像解碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述編碼流予以解碼而加算前述預測影像並作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之最初開放之可儲存的領域。

(10)一種參照解碼完影像而將影像信號予以預測編碼之影像編碼裝置，包含有：從記憶體參照解碼完影像而產生預測影像的預測機構，將前述預測機構所預測之前述預測影像與前述影像信號之差予以編碼而作成編碼流的編碼機構；將前述經編碼之前述預測影像與前述影像信號之差予以解碼之解碼機構；將前述解碼機構所解碼之前述預測影像與前述影像信號之差加算前述預測影像之加法機構；判斷要將用以產生預測影像而參照之影像及不可能立即顯示之影像儲存於記憶體之參照影像管理機構；以及依據前述參照影像管理機構之判斷而將前述加法機構之加算結果儲存於前述記憶體之記憶機構。

(11)一種參照解碼完影像而將影像信號予以預測編碼之影像編碼裝置，包含有：從記憶體參照解碼完影像而產生預測影像的預測機構；將前述預測機構所預測之前述預測影像與前述影像信號之差予以編碼而作成編碼流的編碼機構；將前述經編碼之前述預測影像與前述影像信號之差予以解碼之解碼機構；將前述解碼機構所解碼之前述預測影像與前述影像信號之差加算前述預測影像之加法機構；判斷要將前述加法機構之加算結果儲存於記憶體或從記憶體將不要的影像予以開放之參照影像管理機構；以及依據前述參照影像管理機構之判斷而將前述加法機構之加算結果儲存於記憶體中經開放之領域且保存著作為解碼完影像而輸出至外部完了之影像之領域的記憶機構。

(12)一種參照解碼完影像而將編碼流予以預測編碼之影像解碼裝置，包含有：將前述編碼流予以解碼之解碼機構；從記憶體參照解碼完影像而產生預測影像的預測機構；將前述解碼機構所解碼之前述預測影像與前述影像信號之差加算前述預測影像之加法機構；判斷要將前述加法機構之加算結果儲存於記憶體或從記憶體將不要的影像予以開放之參照影像管理機構；以及依據前述參照影像管理機構之判斷而將前述加法機構之加算結果儲存於記憶體中經開放之領域且保存著作為解碼完影像而輸出至外部完了之影像之領域的記憶機構。

(13)一種參照解碼完影像而將影像信號予以預測編碼之影像編碼裝置，包含有：從記憶體參照解碼完影像而產生預測影像的預測機構；將前述預測機構所預測之前述預測影像與前述影像信號之差予以編碼而作成編碼流的編碼機構；將前述經編碼之前述預測影像與前述影像信號之差予以解碼之解碼機構；將前述解碼機構所解碼之前述預測影像與前述影像信號之差加算前述預測影像之加法機構；判斷要將前述加法機構之加算結果儲存於記憶體或從記憶體將不要的影像予以開放之參照影像管理機構；以及依據前述參照影像管理機構之判斷而將前述加法機構之加算結果儲存於記憶體中經開放之領域且保存著時刻最舊之影像之領域的記憶機構。

(14)一種參照解碼完影像而將編碼流予以預測編碼之影像解碼裝置，包含有：將前述編碼流予以解碼之解碼機構；從記憶體參照解碼完影像而產生預測影像的預測機構；將前述解碼機構所解碼之前述預測影像與前述影像信號之差加算前述預測影像之加法機構；判斷要將前述加法機構之加算結果儲存於記憶體或從記憶體將不要的影像予以開放之參照影像管理機構；以及依據前述參照影像管理機構之判斷而將前述加法機構之加算結果儲存於記憶體中經開放之領域且時刻最舊之影像之領域的記憶機構。

(15)一種參照解碼完影像而將影像信號予以預測編碼之影像編碼裝置，包含有：從記憶體參照解碼完影像而產生預測影像的預測機構；將前述預測機構所預測之前述預測影像與前述影像信號之差予以編碼而作成編碼流的編碼機構；將前述經編碼之前述預測影像與前述影像信號之差予以解碼之解碼機構；將前述解碼機構所解碼之前述預測影像與前述影像信號之差加算前述預測影像之加法機構；判斷要將前述加法機構之加算結果儲存於記憶體或從記憶體將不要的影像予以開放之參照影像管理機構；以及依據前述參照影像管理機構之判斷而將前述加法機構之加算結果儲存於記憶體中經開放之領域且為開放順序最早之領域的記憶機構。

(16)一種參照解碼完影像而將編碼流予以預測編碼之影像解碼裝置，包含有：將前述編碼流予以解碼之解碼機構；從記憶體參照解碼完影像而產生預測影像的預測機構；將前述解碼機構所解碼之前述預測影像與前述影像信號之差加算前述預測影像之加法機構；判斷要將前述加法機構之加算結果儲存於記憶體或從記憶體將不要的影像予以開放之參照影像管理機構；以及依據前述參照影像管理機構之判斷而將前述加法機構之加算結果儲存於記憶體中經開放之領域且為開放順序最早之領域的記憶機構。

又，用以儲存使電腦執行本發明之影像編碼方法及影像解碼方法之程式的記憶媒體，可設成以下(17)至(23)之其中任一種。

(17)一種記憶媒體，係儲存有使電腦執行影像編碼方法的程式，該影像編碼方法，係參照解碼完影像而將影像信號予以預測編碼之影像編碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述經預測影像與前述影像信號之差予以編碼而作成編碼流，將前述編碼之前述預測影像與前述影像信號之差予以解碼而加算前述預測影像並作為解碼影像，用以產生預測影像而參照之影像及不可能立即顯示之影像係將前述解碼影像儲存於前述記憶體。

(18)一種記憶媒體，係儲存有使電腦執行影像編碼方法的程式，該影像編碼方法，係參照解碼完影像而將影像信號予以預測編碼之影像編碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述經預測影像與前述影像信號之差予以編碼而作成編碼流，將前述編碼之前述預測影像與前述影像信號之差予以解碼而加算前述預測影像並作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已開放領域即保存著顯示完影像之領域。

(19)一種記憶媒體，係儲存有使電腦執行影像解碼方法的程式，該影像解碼方法，係參照解碼完影像而將編碼流予以預測編碼之影像解碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述編碼流予以解碼而加算前述預測影像以作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已開放領域即保存著顯示完影像之領域。

(20)一種記憶媒體，係儲存有使電腦執行影像編碼方法的程式，該影像編碼方法，係參照解碼完影像而將影像信號予以預測編碼之影像編碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述經預測影像與前述影像信號之差予以編碼而作成編碼流，將前述編碼之前述預測影像與前述影像信號之差予以解碼而加算前述預測影像並作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已開放領域即保存著最舊時刻之影像的領域。

(21)一種記憶媒體，係儲存有使電腦執行影像解碼方法的程式，該影像解碼方法，係參照解碼完影像而將編碼流予以預測編碼之影像解碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述編碼流予以解碼而加算前述預測影像以作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之已開放領域即保存著最舊影像之領域。

(22)一種記憶媒體，係儲存有使電腦執行影像編碼方法的程式，該影像編碼方法，係參照解碼完影像而將影像信號予以預測編碼之影像編碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述經預測影像與前述影像信號之差予以編碼而作成編碼流，將前述編碼之前述預測影像與前述影像信號之差予以解碼而加算前述預測影像並作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之最初開放之可儲存的領域。

(23)一種記憶媒體，係儲存有使電腦執行影像解碼方法的程式，該影像解碼方法，係參照解碼完影像而將編碼流予以預測編碼之影像解碼方法，其包含：從記憶體參照前述解碼完影像而產生預測影像，將前述編碼流予以解碼而加算前述預測影像並作為解碼影像，將前述解碼影像儲存於前述記憶體或從前述記憶體開放不要的影像，將前述解碼影像儲存於前述記憶體之際係儲存於前述記憶體內之最初開放之可儲存的領域。

又，於本發明之影像編碼裝置，定義其對於流及影像解碼裝置之限制記憶條件而將視訊予以編碼的方法，可設成以下(A1)至(A26)之其中任一種。

(A1)一種影像編碼方法，係定義其對於流及影像解碼裝置之限制記憶條件之影像編碼方法，包含有：決定可使用之參照圖像之最大數的步驟；設定後方預測參照圖像之最大數的步驟；於流之前頭加入後方預測參照圖像之前述最大數的步驟；產生虛擬顯示延遲緩衝區的步驟；產生顯示計算區的步驟；對於前述參照圖像分配充分的記憶空間的步驟；及將前述視訊予以編碼之步驟。在此說明，虛擬顯示延遲緩衝區係對應於用以儲存於可確保於影像編碼裝置內之記憶體的顯示領域的各顯示用圖像的虛擬性的緩衝區，且保持表示該顯示用圖像所輸出之順序的資訊(圖像順序號碼等)。顯示計算區係記憶及更新用以虛擬性地輸出至顯示區之圖像的圖像順序號碼。又，所謂充分的記憶空間乃指儲存參照圖像與顯示用圖像的領域。

(A2)如(A1)所記載之影像編碼方法，其中參照圖像之前述最大數係因應表示解碼器之能力之位階值而決定。

(A3)如(A1)或(A2)所記載之影像編碼方法，其中參照圖像之前述最大數係比參照圖像之前述最大數少。

(A4)如(A1)、(A2)或(A3)所記載之影像編碼方法，其中流整體之前述後方預測係依後方預測參照圖像之前述最大數而限制。

(A5)如(A1)所記載之影像編碼方法，其中前述虛擬顯示延遲緩衝區之尺寸係由後方預測參照圖像之前述最大數減除者。

(A6)如(A1)或(A5)所記載之影像編碼方法，其中前述虛擬顯示延遲緩衝區之物理記憶僅包含圖像之顯示順序資訊。

(A7)如(A1)所記載之影像編碼方法，其中前述顯示計算區係用於記憶從虛擬顯示延遲緩衝區去除之圖像之顯示順序資訊。

(A8)如(A1)所記載之影像編碼方法，其中更包含有：使用可利用之參照圖像而預測編碼對象圖像的步驟；將前述編碼對象圖像予以編碼的步驟；決定前述經編碼之圖像是否使用於預測的步驟；將前述經編碼之圖像予以解碼的步驟；將前述經解碼之圖像記憶於前述參照圖像緩衝區的步驟；更新前述虛擬顯示延遲緩衝區的步驟；及更新前述顯示計算區的步驟。

(A9)如(A1)或(A8)所記載之影像編碼方法，其中前述圖像之前述預測，於前述圖像被預測編碼的情形下能使用一個或多數參照圖像。

(A10)如(A1)或(A8)所記載之影像編碼方法，其中前述參照圖像僅使用於前述參照圖像緩衝區滿足記憶限制條件的情形。

(A11)如(A1)或(A8)所記載之影像編碼方法，其中前述參照圖像於前述編碼對象圖像當作參照圖像使用的情形下被解碼。

(A12)如(A1)、(A8)或(A10)所記載之影像編碼方法，其中前述經解碼之圖像的記憶係包含：決定對於其次之圖像之參照圖像數之記憶限制條件的步驟；從前述參照圖像緩衝區去除未使用參照圖像的步驟；及將前述經解碼之圖像加上於前述參照圖像緩衝區的步驟。

(A13)如(A1)、(A8)、(A10)或(A12)所記載之影像編碼方法，其中對於其次之圖像之參照圖像的前述最大數係相等於從對流之參照圖像之最大數減去前述虛擬顯示延遲緩衝區之圖像數之數。

(A14)如(A1)、(A8)、(A10)或(A12)所記載之影像編碼方法，其中對於前述未使用參照圖像之顯示區的顯示順序資訊，在對於顯示區之前述顯示順序資訊比前述顯示計算區之值大的情形下，移動至虛擬顯示延遲緩衝區。

(A15)如(A1)或(A8)所記載之影像編碼方法，其中前述虛擬顯示延遲緩衝區於前述顯示順序資訊比前述顯示計算區之值大的情形下，記憶前述圖像之前述時間性的資訊。

(A16)如(A1)、(A8)或(A15)所記載之影像編碼方法，其中前述虛擬顯示延遲緩衝區於前述顯示順序資訊在前述顯示計算區之值以下的情形下，去除記憶前述圖像之前述顯示順序資訊。

(A17)如(A1)、(A8)、(A10)、(A12)或(a13)所記載之影像編碼方法，其中前述虛擬顯示延遲緩衝區之前述圖像數，依據存在於前述虛擬顯示延遲緩衝區之圖像之顯示順序資訊的合計數而定義。

(A18)如(A1)或(A8)所記載之影像編碼方法，其中前述顯示計算區之顯示順序資訊於前述虛擬顯示延遲緩衝區充滿時或被編碼之圖像數相等於前述參照圖像之最大數時開始更新。

(A19)如(A1)或(A8)所記載之影像編碼方法，其中前述顯示計算區之顯示順序資訊於前述顯示計算區開始更新後，依據被編碼之各圖像的顯示順序資訊而更新。

(A20)如(A1)所記載之影像編碼方法，其中前述用於前述影像編碼裝置之影像解碼裝置具有：從流前頭決定最大後解碼緩衝區尺寸之步驟；決定必要之參照圖像之最小數的步驟；對於參照圖像分配充分的物理記憶體空間的步驟；將前述流予以解碼的步驟；及輸出前述流的步驟。

(A21)如(A1)或(A20)所記載之影像編碼方法，其中前述最大後解碼緩衝區尺寸依據前述影像編碼裝置而設定之後方參照圖像的最大數。

(A22)如(A1)或(A20)所記載之影像編碼方法，其中前述必要之參照圖像之前述最小數係對於相同能解碼該流之影像解碼裝置之能力位階而固定。

(A23)如(A1)或(A20)所記載之影像編碼方法，其中前述影像編碼裝置所分配之前述物理記憶體空間，係能用以記憶參照圖像及後解碼圖像之雙方而使用。

(A24)如(A1)或(A20)所記載之影像編碼方法，其中參照圖像及後解碼圖像之雙方的合計不超越前述經分配之物理記憶體空間。

(A25)如(A1)或(A20)所記載之影像編碼方法，其中前述解碼於經解碼之圖像數相等於從前述最大後解碼緩衝區尺寸減去1之數時，或是經解碼之圖像的合計數相等於參照圖像之前述經決定之最小數時之其中較早的一方，輸出第1經解碼的圖像。

(A26)如(A1)或(A20)所記載之影像編碼方法，其中前述經解碼之圖像，一旦因用以輸出而送出時，從前述後解碼緩衝區去除。

又，於本發明之影像編碼裝置，定義其對於流及影像解碼裝置之限制記憶條件而將流予以解碼的方法，可設成以下(A27)至(A37)之其中任一種。

(A27)一種影像解碼方法，係依據對於流及影像解碼裝置之記憶體限制條件而將流予以解碼的方法，包含有：決定使用於流之參照圖像之最大數的步驟；決定後方預測參照圖像之最大可能數的步驟；計算後解碼緩衝區之最小尺寸的步驟；對於參照圖像緩衝區分配充分的物理記憶體空間的步驟；對於後解碼緩衝區分配充分的物理記憶體空間的步驟；將流予以解碼的步驟；於參照圖像緩衝區記憶經解碼之圖像的步驟；於後解碼緩衝區記憶經解碼之圖像的步驟；及輸出經解碼之圖像的步驟。在此說明，後解碼緩衝區乃指影像解碼裝置內之參照圖像記憶體中的顯示用領域。

(A28)如(A27)所記載之影像解碼方法，其中參照圖像之前述最大數係因應能將流予以解碼之能力的位階並對影像解碼裝置固定。

(A29)如(A27)所記載之影像解碼方法，其中後方參照圖像之前述最大可能數，係定義從參照圖像之前述最大數減去1之數。

(A30)如(A27)所記載之影像解碼方法，其中後解碼緩衝區之前述最小尺寸，係定義從後方參照圖像之前述最大可能數減去1之數。

(A31)如(A27)或(A30)所記載之影像解碼方法，其中從流取得後解碼緩衝區之前述最小尺寸。

(A32)如(A27)或(A31)所記載之影像解碼方法，其中後方參照圖像之前述最大可能數，係定義於後解碼緩衝區之前述最小數加上1之數。

(A33)如(A27)所記載之影像解碼方法，其中參照圖像緩衝區之前述最小尺寸定義為參照圖像之前述最大數。

(A34)如(A27)或(A33)所記載之影像解碼方法，其中前述參照圖像緩衝區僅使用於記憶參照圖像。

(A35)如(A27)、(A30)或(A31)所記載之影像解碼方法，其中前述後解碼緩衝區使用於記憶非參照圖像。

(A36)如(A27)、(A32)或(A33)所記載之影像解碼方法，其中參照圖像被判定其為非參照圖像時，從前述參照圖像緩衝區去除。

(A37)如(A27)、(A30)、(A31)或(A35)所記載之影像解碼方法，其中後解碼緩衝區之圖像係於其被輸出之際，從前述參照圖像緩衝區去除。

依據以上之構成構造，對於流及影像編碼裝置之雙方使其以相同記憶限制條件而作動的狀態，可保證能正確地將流予以解碼。若非如此，影像解碼裝置於解碼過程為了要將流予以解碼，乃會發生無法確保充分的記憶體空間的情形。

I‧‧‧畫面內編碼圖像

P‧‧‧畫面間預測編碼圖像

B‧‧‧畫面間雙預測編碼圖像

100‧‧‧影像編碼裝置

PicSize‧‧‧圖像尺寸變更單元

PicStruct‧‧‧圖像構造決定單元

RefpPicCtrl‧‧‧參照圖像管理單元

DispPicCtrl‧‧‧顯示圖像管理單元

PicMem1‧‧‧圖像記憶體

PicMem2‧‧‧圖像記憶體

Time‧‧‧圖像時刻

Add‧‧‧加法器

Reorder‧‧‧替換排序單元

PicIn‧‧‧輸入圖像

ME‧‧‧移動檢測單元

Sub‧‧‧減法單元

MV‧‧‧移動向量

VLC‧‧‧可變長度編碼單元

VLD‧‧‧可變長度解碼單元

MC‧‧‧移動補償單元

T‧‧‧正交變換單元

IT‧‧‧反正交變換單元

Q‧‧‧量化單元

Coef‧‧‧量化值

IQ‧‧‧反量化單元

MMCO‧‧‧記憶體管理指令

SW‧‧‧開關

Str‧‧‧編碼流

Sel‧‧‧選擇器

Disp‧‧‧顯示單元

200a、200b、200c、202a、202b‧‧‧參照用圖像

201a、201b、201c、201d、201e‧‧‧顯示用圖像

203‧‧‧記憶體領域

150‧‧‧影像解碼裝置

PicSizeDet‧‧‧圖像尺寸變更檢測單元

401~406‧‧‧模組

501~509‧‧‧模組

601~606‧‧‧模組

T‧‧‧時間

FD1‧‧‧可撓性碟片

F‧‧‧閘盒

Tr‧‧‧磁軌

Se‧‧‧扇區

Cs‧‧‧電腦系統

FDD‧‧‧可撓性碟片驅動器

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務供給器

ex103‧‧‧訊流伺服器

ex104‧‧‧電話網

ex107~ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113‧‧‧照相機

ex114‧‧‧行動電話

ex115‧‧‧附有照相機的行動電話

ex116‧‧‧照相機

ex117‧‧‧LSI

ex201‧‧‧天線

ex202‧‧‧顯示部

ex203‧‧‧照相機部

ex204‧‧‧操作鍵

ex205‧‧‧聲音輸入部

ex206‧‧‧插孔部

ex207‧‧‧記錄媒體

ex208‧‧‧聲音輸出部

ex301‧‧‧發收信電路部

ex302‧‧‧LCD控制部

ex303‧‧‧照相機介面部

ex304‧‧‧操作輸入控制部

ex305‧‧‧聲音處理部

ex306‧‧‧變調解調電路部

ex307‧‧‧記錄再生部

ex308‧‧‧多路分離部

ex309‧‧‧影像解碼部

ex310‧‧‧電源電路部

ex311‧‧‧主控制部

ex312‧‧‧影像編碼部

ex313‧‧‧同步匯流排

ex401‧‧‧電視

ex403‧‧‧再生裝置

ex404‧‧‧監視器

ex405‧‧‧纜線

ex406‧‧‧天線

ex407‧‧‧隨選視訊盒(STB)

ex408‧‧‧螢幕

ex409‧‧‧廣播電台

ex410‧‧‧廣播衛星

ex411‧‧‧天線

ex412‧‧‧車輛

ex413‧‧‧車上衛星導航裝置

ex420‧‧‧記錄器

ex421‧‧‧DVD碟片

ex422‧‧‧SD

第1圖表示圖像之預測構造、解碼順序與顯示順序。

第2圖表示圖像之預測構造、解碼順序與顯示順序。

第3圖表示要實現本發明之影像編碼方法之影像編碼裝置的方塊圖(實施樣態1)。

第4圖表示本發明之參照圖像管理單元之動作的流程圖(實施樣態1)。

第5圖(a)、(b)、(c)均表示輸入於記憶體之保存狀態的狀態圖。

第6圖表示本發明之影像編碼裝置之動作的流程圖(實施樣態2)。

第7圖表示本發明之影像編碼裝置之動作的流程圖(實施樣態3)。

第8圖表示本發明之影像編碼裝置之動作的流程圖(實施樣態4)。

第9圖表示本發明之影像編碼裝置之動作的方塊圖(實施樣態5)。

第10圖表示本發明之影像解碼裝置之動作的流程圖(實施樣態5)。

第11圖表示本發明之影像解碼裝置之其他動作的流程圖(實施樣態5)。

第12圖表示本發明之影像解碼裝置之另外其他動作的流程圖(實施樣態5)。

第13圖表示本發明之影像解碼裝置之又另外其他動作的流程圖(實施樣態5)。

第14圖表示影像編碼裝置之虛擬顯示延遲緩衝區之使用的方塊圖。

第15圖表示編碼中的後解碼緩衝區動作處理之本發明的方塊圖。

第16圖表示解碼中的後解碼緩衝區動作處理之本發明的方塊圖。

第17圖表示用以限制參照圖像之最大數而使用影像編碼裝置之虛擬顯示延遲緩衝之一例。

第18圖表示用以決定顯示第1圖像參照之時間而使用影像編碼裝置之虛擬顯示延遲緩衝區之一例。

第19圖(a)、(b)、(c)表示用以儲存以電腦系統實現上述各實施樣態之影像編碼方法及影像解碼方法之程式的記錄媒體的說明圖(實施樣態7)。

第20圖表示內容供給系統之整體構造的方塊圖(實施樣態8)。

第21圖表示使用影像編碼方法及影像解碼方法之行動電話之例子的外觀圖(實施樣態8)。

第22圖表示行動電話之方塊圖(實施樣態8)。

第23圖表示數位廣播用系統之例子的構造圖(實施樣態8)。

第24圖表示圖像之預測構造、解碼順序與顯示順序。

第25圖表示圖像之預測構造、解碼順序與顯示順序。

第26圖表示習知要實現影像編碼方法之影像編碼裝置的方塊圖。

第27圖表示記憶管理指令MMCO之碼例的對應圖。

第28圖表示習知要實現影像解碼方法之影像解碼裝置的方塊圖。

用以實施發明之最佳形態 (實施樣態1)

第3圖表示要實現本發明之影像編碼方法之影像編碼裝置的方塊圖。於該圖中，對於與第26圖之習知之要實現影像編碼方法之影像編碼裝置之方塊圖進行相同動作之機器則賦予相同標號而省略說明。

與第26圖之習知之要實現影像編碼方法之影像編碼裝置之方塊圖不同者在於，第3圖追加顯示圖像管理單元DispPicCtrl，且顯示圖像管理單元DispPicCtrl之指示輸出至參照圖像管理單元RefpPicCtrl與圖像記憶體PicMem2。

又，於第3圖所示之影像編碼裝置100新設置圖像尺寸變更單元PicSize，圖像尺寸變更單元PicSize係從外部取得經變更之圖像尺寸，且從圖像構造決定單元PicStruct取得各圖像之編碼型態(I圖像、P圖像、B圖像)，而在I圖像之時序將表示要變更之圖像尺寸輸出至參照圖像管理單元RefpPicCtrl。

由於圖像記憶體PicMem2與圖像記憶體 PicMem1幾乎動作相同，因此僅說明不同的動作。

顯示圖像管理單元DispPicCtrl取得圖像時刻 Time，而判斷因不被參照而本來不被保存之圖像是否可立即顯示(是否必要儲存於圖像記憶體至顯示時刻)。圖像時刻Time係從外部輸入而指定要顯示之圖像的信號。圖像時刻之取得，係例如能以封包等傳送路徑來傳送之系統所輸出的時刻資訊而取得圖像，或是可從用以將視訊流與音訊流予以多路化之格式中的時刻資訊而取得圖像，或是可從視訊流之格式中的時刻資訊而取得圖像。又，此等方式對於每一時刻得知時刻的絕對時刻，或是在圖像間得知時間之前後的相對時刻均可。而且，一般因圖像之顯示間隔為固定，故亦可將圖像之顯示順序作為該時刻。

又，所謂能立即顯示的情形係以加法器Add 加算而獲得之圖像與以圖像時刻Time指示所顯示之圖像一致的狀態。此情形下，於圖像記憶體PicMem2係無未顯示且無比用以編碼而輸入之圖像更前顯示之圖像的情形。若不能立即顯示，則顯示圖像管理單元DispPicCtrl對參照圖像管理單元DispPicCtrl輸出指示以達到即便是不被參照之圖像亦保存於圖像記憶體PicMem2。其結果則不論不被即時顯示之圖像有無參照亦一定儲存於圖像記憶體PicMem2，而能以解碼裝置從圖像記憶體PicMem2顯示圖像。

第4圖係本發明之參照圖像管理單元 DispPicCtrl之動作的流程圖。

判斷該解碼影像(圖像)是否應作為預測影像被參照而保存(Step10)。若是要被參照則進入Step12，若非被參照則進入Step11。

在Step11判斷該解碼影像是否為可立即顯示者。所謂能立即顯示係在經解碼之時點能就如此地顯示(例如第1圖所示之圖像1)，所謂不能立即顯示係於之後必須顯示者(例如第1圖所示之B5)。若是能立即顯示則結束，若非能立即顯示則進入Step12。

在Step12從圖像記憶體PicMem2取得可保存之領域，而由記憶體管理指令MMCO輸出拍示以使該解碼影像保存在Step13取得之圖像記憶體2之領域。

如上所述，不立即顯示之圖像保存於圖像記憶體PicMem2而使能在形成顯示時刻之時點從圖像記憶體PicMem2顯示圖像。又，能不必要表示用之多餘的圖像記憶體，且能將用以顯示而必要保存之圖像保存於參照用之圖像記憶體。

於上述之圖像記憶體PicMem2存在著可保存用以產生預測圖像而參照之參照圖像的參照領域、及可保存顯示用圖像之顯示用領域。

於各前述之GOP(Group Of Picture)亦可進行變更圖像尺寸。此圖像尺寸之變更僅於將保存不要之參照圖像之記憶體的參照用領域予以全部開放(設成可再利用的狀態)的情形下進行。

但是，如此進行圖像尺寸之變更的情形下，如上所述，雖然未顯示之顯示用圖像保存於記憶體領域，惟有必要明確地決定應如何地處理此未顯示之顯示用圖像(應消除或是應原原本本地保存至顯示)之對應方法。

於此，階段性地說明進行圖像尺寸之變更時之輸入於記憶體之圖像的保存狀態。

第5圖(a)、(b)、(c)階段性地表示輸入於記憶體之圖像之保存狀態的狀態圖。

於第5圖(a)，圖像200a、200b、200c係用以參照保存用而保存之參照用圖像(用以產生預測影像而參照之圖像)，圖像201a、201b、201c、201d、201e係用以顯示用而保存之顯示用圖像(未顯示之圖像)。

圖像201a、201b、201c、201d、201e以此順序顯示。

於此第5圖(a)，表示保存著參照圖像200a、 200b、200c之記憶體領域設成全部開放而呈可再利用狀態。

於第5圖(b)表示第5圖(a)所示之狀態之後變更圖像尺寸，且於曾保存著參照圖像200a之記憶體領域保存圖像尺寸變大之經變更的參照圖像202a，而且顯示該顯示用圖像201a，而該記憶體領域呈開放狀態。

第5圖(c)表示第5圖(b)所示狀態之後，更開放保存著圖像201b之記憶體領域，且於保存著顯示用圖像201a、201b之經開放的記憶體領域，保存著以變大影像尺寸而變更之參照圖像202b的狀態，且殘留著小的記憶體領域203。以此狀態，即使開笑保存著顯示用圖像201c之記憶體領域亦不能新保存參照圖像(變更使圖像尺寸變大)。

如此一來，一旦變更圖像尺寸，則記憶體內將混合存在著不同圖像尺寸的圖像(變更使圖像尺寸變大的參照圖像、及尺寸變更前之未顯示之顯示用圖像)。

爰此，記憶體會形成被片斷地使用，以致於產生不能使用之小的記憶體領域而劣化記憶體的使用效率。又，為使不片斷地使用記憶體，一旦在記憶體內進行資料之再配置以消除產生小的記憶體領域的話，則記憶體存取時間變得非常大而難以在該時間內之實際時間來實現編碼．解碼動作。

因此，變更圖像尺寸的情形下，第1方法係開放(設成可再利用的狀態)該保存著未顯示之顯示用圖像的顯示用領域、及保存著參照圖像之參照用領域，而取消未顯示之顯示用圖像的顯示。如此一來，能防止因混合存在著不同尺寸的圖像而產生之記憶體之片斷性的使用，而能抑制記憶體之使用效率的劣化。

上述圖像尺寸之變更以其次之時序來進行。即，第3圖所示之圖像尺寸變更單元PicSize接受圖像構造決定單元PicStruct所決定之各圖像的編碼型態(I圖像、P圖像、B圖像)與從外部輸入之要變更的圖像尺寸，以1圖像之時序將要進行圖像尺寸之變更的指令輸出至參照圖像管理單元RefPicCtrl。此I圖像例如為GOP1之最初要插入之特別的I圖像(IDR圖像)。

又，變更圖像尺寸的情形下，第2方法係切換其開放記憶體之全領域而取消未顯示之顯示用圖像的機構、或是僅開放保存著參照圖像之參照用領域而藉著將編碼信號(流)予以解碼之後述影像解碼裝置(解碼器)之判斷，而對於在變更尺寸前之圖像未顯示之顯示用圖像設成顯示能顯示者，且不賦予未顯示之顯示用圖像之顯示義務的機構。此時，影像解碼裝置對於未顯示之圖像，依顯示順序將例如未損傷之圖像等可顯示之圖像予以顯示。

進行如此切換時，係將表示要進行開放記憶體之全領域的方法、或是僅開放保存著參照圖像之參照用領域的方法之其中之一方法的指示資訊(旗標)或其他可識別之資訊，配置於包含從影像編碼裝置100輸出之流Str。

於影像解碼裝置進行依據配置於流之指示資訊的處理。

作為切換此指示資訊所示之二方法之際的判斷基準的例子，可考慮有將該任何進行方法藉著應用而由製作內容者來決定，或是記憶體有餘裕的話，僅開放參照用領域而不開放其保存著未顯示之顯示用圖像之顯示用領域(不開放記憶體之全領域)、或是圖像尺寸變更為小的情形下，僅開放參照用領域而不開放其保存著未顯示之顯示用圖像之顯示用領域(不開放記憶體之全領域)。

藉著以上的構成構造能實現可決解習知課題之影像編碼裝置。

(實施樣態2)

說明本發明之實施樣態2。

本實施樣態，係第3圖所示之圖像管理單元 DispPicCtrl對於圖像記憶體PicMem2，在開放之記憶體保存著圖像的情形下，指示要於未顯示之圖像的領域不保存新的圖像。一般而言，即使開放圖像之領域，除非於該領域保存(寫上)新的圖像，否則能再生之前保存的圖像。因此，即使保存著暫時未顯示之圖像的領域被開放，亦以於該記憶體領域不保存新的圖像而於保存著顯示完之圖像之領域保存新的圖像的狀態，而於形成顯示時刻的時點被開放，且能顯示尚未寫上而殘留之未顯示的圖像。而且將在此圖像記憶體之開放領域的圖像稱為顯示用圖像。又，所謂顯示完乃指與對顯示裝置之輸出完實質上同義，而於解碼裝置實際顯示的情形(或己對顯示裝置輸出)，而且指被視為非於編碼裝置實際顯示(或輸出)而指定為圖像時刻Time時顯示者(或輸出者)而處理。

第6圖表示本實施樣態之影像編碼裝置100 之動作的流程圖。本實施樣態以保存於開放領域之記憶體的圖像是否顯示完而決定圖像之保存。

首先，在Step20依據記憶體管理指令MMCO 之指示而判斷該解碼影像是否保存於圖像記憶體PicMem2者。

要保存的情形下，取得已開放之圖像領域 (Step21)，並確認保存於經開放之圖像領域的圖像是否顯示完(Step22)。若是尚未顯示的話，則回復到Step21並反覆處理至找到顯示完之保存著圖像的開放領域。

若是找到保存著顯示完之圖像的顯示領域的話，則將解碼影像保存於該領域(Step23)。

如此一來，一旦未顯示之圖像為顯示完，則保存著該顯示完之圖像的領域可被再利用，因此未顯示之圖像不被寫上而保存於記憶體至顯示。

又，保存於記憶體之圖像是否顯示完，乃依據管理於顯示圖像管理單元DispPicCtrl是否已顯示的資訊而判斷。

又，圖像領域是否為開放領域，乃能依據每個圖像領域是否開放的資訊，例如將「used(可作為參照圖像使用)」或「unused(以後不作為參照圖像來參照)」依據記憶體管理指令MMCO而保持於圖像記憶體PicMem2，且藉著參照此保持著的資訊而能判斷。

藉著以上的構造可實現能解決習知課題的影像編碼裝置。

如以上所述，可防止新的圖像寫入未顯示之圖像而從顯示時刻時點開放完惟未寫上之領域顯示圖像。又，能不必要多餘的記憶體而能保存用以顯示而必要保存的圖像。

又，圖像尺寸變更情形下的動作與實施樣態相同而省略其說明。

(實施樣態3)

說明本發明之實施樣態3。

第7圖表示本實施樣態3之影像編碼裝置100之動作的流程圖。本實施樣態以開放記憶體的時刻而決定圖像之保存。

首先，在Step30依據記憶體管理指令MMCO之指示而判斷該解碼影像是否保存於圖像記憶體PicMem2。

要保存的情形下，在已開放之圖像記憶體領域之中取得顯示時刻最舊的圖像記憶體領域(Step31)而將解碼影像保存於該領域(Step32)。

又，亦可不將最舊時刻開放之記憶體領域設為圖像之保存領域，而將最舊時刻經解碼而保存圖像之記憶體領域設成圖像之保存領域。此乃因保存於此等記憶體領域之圖像已顯示的可能性高之故。

又，此等最舊的時刻可不必要為時刻，乃可為最舊的順序，當然例如可為顯示順序為最舊的順序。例如顯示順序舊之圖像已顯示之可能性高而無關是否已顯示，而從保存著顯示順序舊之圖像的記憶體領域依順序作為記憶體之保存領域再利用。而且，一般由於圖像之顯示間隔為固定，因此可將圖像之顯示順序視為該時刻。

如以上所述，可防止新的圖像寫入未顯示之圖像而從顯示時刻時點開放完惟未寫上之領域顯示圖像。又，能不必要多餘的記憶體而能保存用以顯示而必要保存的圖像。又，能無關保存於圖像記憶體PicMem2之圖像是否顯示著，而可進行處理用以顯示而應先保存之圖像的保存。又，最舊的時刻為顯示時刻之最舊時刻的情形下，例如以於顯示圖像管理單元DispPicCtrl管理是否已顯示之資訊的狀態而能判斷是否為保存在最舊時刻的圖像。

(實施樣態4)

說明本發明之實施樣態4。

第8圖表示本實施樣態之影像編碼裝置100之動作的流程圖。本實施樣態以已開放記憶體的順序而決定圖像之保存。

首先，在Step40依據記憶體管理指令MMCO而判斷該解碼影像是否為要保存於圖像記憶體PicMem2者。

要保存的情形下，在已開放之領域之中取得最初開放之圖像領域(Step41)而將解碼影像保存於該領域(Step42)。

由於顯示時刻之資訊係由系統來管理，因此依視訊解碼裝置之製法而難以獲得顯示時刻。最初開放之圖像的領域比之後開放之領域保存舊的顯示時刻的可能性高。即，最初開放之圖像已顯示之可能性高。爰此，以在最初開放之圖像的領域保存該解碼影像的狀態而對於未顯示之圖像不寫入的可能性高。

又，圖像領域是否為最初開放之圖像領域，乃能依據每個圖像領域是否開放的資訊，例如將「used：未開放(可作為參照圖像使用)」或「unused：開放完(以後不作為參照圖像來參照)」依據記憶體管理指令MMCO而於圖像記憶體PicMem2包含開放順序並保持，且藉著參照此保持著的資訊而能判斷。或是以預定的順序來固定圖像領域的使用方法，並依該順序而判斷是否為最初開放之圖像領域即可。例如將圖像記憶體PicMem2，當記憶新穎內容時，則所記憶之時刻為舊的記憶內容會順序地廢棄，並作為經常保存最新一定框數(或圖像數)之影像之先入先出方式(FIFO)之記憶體，而判斷是否為最初開放之圖像領域即可。如以上所述，可防止新的圖像寫入未顯示之圖像而在顯示時刻之時點，在顯示時刻時點從開放完惟未寫上之領域顯示圖像。

又，圖像尺寸變更之情形下的動作與實施樣態1相同而省略其說明。

(實施樣態5)

說明本發明之實施樣態5。

第9圖表示本發明之影像編碼裝置之動作的方塊圖。於該圖中對於與實現第3圖之本發明之影像編碼方法之影像編碼裝置的方塊圖及實現第28圖之習知影像解碼方法之影像解碼裝置之方塊圖相同動作的機器，則賦予相同標號而省略說明。

於第9圖之影像解碼裝置150與表示習知例之第28圖的不同點，在於第9圖新設置以從外部取得之要變更的圖似尺寸、及從可變長度解碼單元VLD取得之記憶體管理指令MMCO，而以特別的I圖像(IDR(Instantaneous Decoding Refresh)圖像)的時序將用以變更圖像尺寸之指令輸出至圖像記憶體PicMem2的圖像尺寸變更檢測單元PicSizeDet、及顯示圖像管理單元DispPicCtrl。

顯示圖像管理單元DispPicCtrl對於圖像記憶體PicMem2之已開放領域要保存圖像的情形下，指示於未顯示之領域不保存新的圖像。一般即使是開放圖像之領域，除非於該領域不被保存(寫入)新的圖像，否則之前所保存之圖像資料會殘留於記憶體內而再生。因此，即使保存著暫時未顯示之圖像的領域被開放，亦以於保存該顯示完之圖像的領域保存新的圖像的狀態，而於形成顯示時刻的時點被開放，能顯示於顯示時刻的時點被開放惟未寫入而殘留之未顯示的圖像。又，所謂顯示完乃指與對顯示裝置之輸出完實質上同義。

如此一來，一旦未顯示之圖像達到顯示完，則會再利用保存著該顯示完之圖像的記憶體領域，而使未顯示之圖像不被寫上而保存於記憶體至顯示。

依據以上的構造，能實現可解決習知課題之影像解碼裝置。又，影像解碼裝置150亦可設為將藉著實施樣態3、及實施樣態4所示之影像解碼裝置100而編碼之編碼信號予以解碼。對於該情形下圖像記憶體之利用的動作與實施樣態3及實施樣態4所示之影像編碼裝置相同。即，對於在此圖像記憶體開放(以後不參照)之圖像的再利用，亦可使用以實施樣態1至實施樣態3記載之方法新保持圖像之領域之決定方法之其中任何之一。

說明將藉著上述實施樣態3及實施樣態4所示之影像編碼裝置所編碼之編碼信號予以解碼時之對於記憶體的圖像保存方法。

最先說明將藉著實施樣態3所示之影像編碼裝置而編碼之編碼信號予以解碼時之對於記憶體的圖像保存方法。

首先，依據記憶體管理指令MMCO之指示而判斷從影像解碼裝置150之加算單元Add輸出之解碼影像是否保存於圖像記憶體PicMem2。

在保存的情形下，取得最舊時刻所開放之圖像記憶體領域而將解碼影像保存於該領域。

此時，並非將最舊時刻開放之記憶體領域當作圖像之保存領域，而可將於最舊時刻解碼圖像而保存之記憶體領域、或是保存顯示時刻為最舊之圖像的記憶體領域當作圖像的保存領域。此乃因保存於此等記憶體領域之圖像已顯示的可能性高之故。

顯示時刻之資訊由系統管理，因此，依視訊解碼裝置之製法而難以獲得顯示時刻。最舊時刻保存之圖像的領域比於較新時刻保存的領域保存舊顯示時刻之圖像的可能性高。由於舊顯示時刻之圖像已顯示之可能性高乃當然之事，因此最舊時刻保存之圖像已顯示的可能性高。爰此，以將該解碼影像保存於最舊時刻所保存之圖像之領域的狀態，而不寫上未顯示之圖像的可能性高。又，最舊時刻係將圖像予以解碼之最之時刻的情形下，則例如是否於最舊時刻被編碼乃能從圖像之預測構造．解碼順序來判斷。

又，此等最舊時刻不一定必要為時刻，而可為最舊順序，當然例如顯示之順序可為最舊的時序。例如顯示順序為舊的圖像已顯示之可能性高，而不論是否已顯示，從保存著顯示順序舊之圖像的記憶體領域依序作為記憶體之保存領域而再利用。而且，一般由於圖像之顯示間隔為固定，因此可將圖像之顯示順序當作該時刻。

如上所述，能防止新的圖像寫上未顯示之圖像，而在顯示時刻之時點從開放完惟未寫入之領域顯示圖像。又，不必要多餘的記憶體而能保存用以顯示而必要保存的圖像。

又，無關保存於圖像記憶體PicMem2之圖像是否顯示著，能進行用以顯示而應先保存之圖像之保存的處理。又，最舊時刻為顯示時刻之最舊時刻的情形下，例如可藉著管理於顯示圖像管理單元DispPicCtrl是否已顯示的資訊，而能判斷是否為最舊時刻保存之圖像。

其次說明將實施樣態4所示之影像編碼裝置所編碼之編碼信號予以解碼時之對於記憶體的圖像保存方法。

首先，影像解碼裝置150之藉著上述加法單元Add而輸出的解碼影像，依據記憶體管理指令MMCO之指示而判斷是否要保存於圖像記憶體PicMem2。

要保存的情形下，在開放之領域中取得最初開放的圖像領域而將解碼影像保存於該領域。

顯示時刻之資訊係由系統管理，因此難以藉著視訊解碼裝置之製法而取得顯示時刻。最初開放之圖像的領域比之後開放之領域，其保存舊顯示時刻之圖像的可能性高。即，最初開放之圖像已顯示之可能性高。因此，以在最初開放之圖像領域保存該解碼影像的狀態而對於未顯示之圖像不寫上的可能性高。

又，圖像領域是否為最初開放之圖像領域，乃能依據每個圖像領域是否開放的資訊，例如將「used：未開放(可作為參照圖像使用)」或「unused：開放完(以後不作為參照圖像來參照)」依據記憶體管理指令MMCO而於圖像記憶體PicMem2包含開放順序並保持，且藉著參照此保持著的資訊而能判斷。或是以預定的順序來固定圖像領域的使用方法，並依該順序而判斷是否為最初開放之圖像領域即可。例如將圖像記憶體PicMem2，當記憶新穎內容時，則所記憶之時刻為舊的記憶內容會順序地廢棄，並作為經常保存最新一定框數(或圖像數)之影像之先入先出方式(FIFO)之記憶體，而判斷是否為最初開放之圖像領域即可。

如以上所述，可防止新的圖像寫入未顯示之圖像而在顯示時刻之時點，在顯示時刻時點從開放完惟未寫上之領域顯示圖像。

又，顯示單元Disp並不具備於影像解碼裝置 150之中，為了從影像解碼裝置150在顯示單元Disp顯示圖像而僅送出必要的資料，可將顯示單元Disp具備於影像解碼裝置150的外部。

在此說明於變更實施樣態2所說明之圖像尺寸情形之影像解碼裝置150的動作。又，對於實施樣態3及4之以下的動作亦相同而省略其說明。

對應於變更實施樣態2所示之圖像尺寸之情形的第1方法上，係影像解碼裝置150在有圖像尺寸之變更指令時，開放包含該保存記憶體之參照圖像的參照領域與保存顯示用圖像之顯示用領域之全領域而進行初始化。

第10圖表示影像解碼裝置150之動作的流程圖。

判定從圖像尺寸變更檢測單元PicSizeDet輸出的信號是否表示變更圖像尺寸的信號(Step100)，有變更圖像尺寸的情形下(Step100之Yes)，開放圖像記憶體PicMem2之全記憶體領域(設成可再利用的狀態)而初始化，並結束處理。

另一方面，無變更圖像尺寸的情形下 (Step100之No)，判斷(Step101之Yes)從可變長度解碼單元VLD輸出之記憶體管理指令MMCO是否為開放圖像記憶體PicMem2之全記憶體領域(初始化)，為表示的情形下(Step101之Yes)，開放全記憶體領域(Step102)，非為表示的情形下(Step101之No)，僅開放保存參照圖像之參照用領域(Step103)而結束處理。

如此以開放記憶體之全領域的狀態，能防止混合存在尺寸不同之圖像所產生之記憶體之片斷性地使用，因此，能抑制記憶體之使用效率的劣化。

其次說明對應變更實施樣態2所示之圖像尺寸情形下之第2方法上，影像解碼裝置150所進行之動作。

已變更圖像尺寸的情形下，切換開放記憶體全領域的方法，或是僅開放保存參照圖像之參照用領域而顯示能使影像解碼裝置150判斷未顯示之圖像並顯示的方法。

如實施樣態2之說明，表示開放記憶體之全領域或是僅開放參照用領域之指示資訊(旗標)乃包含於從影像解碼裝置150輸出之流Str之記憶體管理指令MMCO。

影像解碼裝置150依據包含於記憶體管理指令MMCO之指示資訊而判斷是否要進行上述兩種方法之其中何者。

第11圖表示該判斷動作的流程圖。

首先，判斷指示資訊(旗標)是否將記憶體之全領域予以初始化之其中何者(Step150)，表示全領域之初始化的情形下(Step150之Yes)，將包含保存著未顯示之顯示用圖像的顯示用領域之記憶體全領域予以開放並進行初始化(Step151)，若非表示全領域之初始化的情形下(Step150之No)，僅開放參照用領域並進行初始化(Step152)。

此指示資訊(旗標)表示全領域之初始化的情形下，影像解碼裝置150進行僅開放參照用領域，且影像解碼裝置150判斷在參照用領域以外之領域之未顯示的圖像而顯示其能顯示者。

以流程圖來說明僅進行此參照用領域之初始化情形之影像解碼裝置150的動作。

第12圖表示影像解碼裝置150(解碼器)之動作的流程圖。

判定從圖像尺寸變更檢測單元PicSizeDet輸出之信號是否為表示變更圖像尺寸的信號(Step200)，非變更圖像尺寸的情形為(Step200之No)，表示應保存於顯示用領域之未顯示的圖像為(Step203)。

另一方面，變更圖像尺寸的情形下(Step200 之Yes)，判定保存於顯示用領域之顯示用圖像是否為尺寸變更前的圖像(Step201)，非變更前之圖像的情形下(Step201之No)，表示應顯示之未顯示的圖像(Step203)。為變更前之圖像的情形下(Step201之Yes)，判斷顯示用圖像是否可顯示並顯示可顯示的圖像(Step202)。

說明就此是否可顯示之判斷之影像解碼裝置 150的動作。

第13圖表示有關影像解碼裝置150之圖像之顯示的動作的流程圖。

對於第13圖中與第12圖相同的部分則賦予相同的標號。

判定用以顯示用而保存之顯示用圖像是否為尺寸變更前的圖像(Step201)，若非變更前之圖像的情形下(Step201之No)，則顯示該圖像。另一方面，若為變更前之圖像的情形下(Step201之Yes)，則判定於要顯示之圖像是否有損傷(Step211)，無損傷的情形下(Step211之No)，則其圖像作為可顯示而顯示(Step210)。有損傷的情形下(Step211之Yes)，則不顯示該圖像而例如顯示之前的圖像。在此說明所謂無損傷乃指例如儲存著應顯示之圖像之圖像的一部分為了保存新的圖像資料而未寫上的情形。以如此的狀態，影像解碼裝置150判定要顯示之圖像是否有損傷，且將無損傷之圖像判斷為可顯示而顯示。

如此一來，如第11圖、第12圖、第13圖之流程圖所說明，影像解碼裝置150於有變更圖像尺寸時，因應表示是否將記憶體之全領域予以初始化的指示資訊(旗標)進行對於未顯示之圖像的顯示。

以上述之影像解碼裝置150之影像解碼方法，即使有變更圖像尺寸時，亦能以切換將記憶體之全領域予以初始化，或是僅將參照用領域予以初始化而將未顯示之顯示用圖像作為可顯示之圖像來顯示的狀態，能適切的解碼。即，例如記憶體之空餘容量少時，將記憶體之全領域予以初始化而設成可再利用，記憶體之空餘容量大時，僅將參照用領域予以初始化的狀態而可將未顯示之圖像的顯示設成可能而能柔軟地對應處理。

(實施樣態6)

在實施樣態6使用以下的用詞。即，參照圖像緩衝區乃指影像編碼裝置內之圖像記憶體PicMem2中的參照領域與顯示用領域所合併的領域。虛擬顯示延遲緩衝區係對應於儲存在用以確保影像解碼裝置內之圖像記憶體PicMem2之顯示用領域之各顯示用圖像之虛擬性的緩衝區，可保持該顯示用圖像之時間性的參照號碼(圖像號碼等)。參照記憶緩衝區乃指影像解碼裝置內之圖像記憶體Picmem2中的參照用領域。後解碼緩衝區乃指影像解碼裝置內之圖像記憶體Picmem2中的顯示用領域。時間性的參照號碼乃指依照顯示時刻之順序的圖像，亦可相當於圖像時刻Time者。

首先說明影像編碼裝置。虛擬顯示延遲緩衝區係使用於限制在影像編碼裝置之預測編碼所使用之參照圖像的最大數。

第14圖表示決定虛擬顯示延遲緩衝區與後方參照之最大數之間的關係的處理。第14圖中的各模組表示圖像構造決定單元PicStruct、參照圖像管理單元RefPicCtrl及顯示圖像管理單元DispPicCtrl中的功能區塊或處理步驟。如第14圖所示，輪廓及位階之被容許之參照圖像的最大數NR以模組401決定。此值為各輪廓及位階所定義，編碼器將相當於NR之輪廓位階之值作為流之資訊而予以編碼，解碼器從流之輪廓位階之值取得NR。其次，影像編碼裝置用以將該模組402之視訊順序予以編碼而設定最適當之後方參照圖像的最大數NB。依據此NB值能決定虛擬顯示延遲緩衝區的尺寸。NB比2小的情形下，則不必要虛擬顯示延遲緩衝區。但是NB為2以上的情形下，則在模組404產生NB-1個虛擬顯示延遲緩衝區。儲存在虛擬顯示延遲緩衝區之圖像資訊可確保在記憶體中或在其他暫存器中。此虛擬顯示延遲緩衝區於影像編碼裝置不必要大的物理記憶體空間。此乃由於，若無必要將影像解碼裝置所解碼之影像予以顯示(輸出)的話，僅判斷何圖像用以顯示而儲存於虛擬顯示延遲緩衝區即可，因此並非再構成(解碼)圖像資料整體，而係僅將特定何再構成(解碼)圖像之參照圖像的記述(圖像號碼等)儲存於虛擬顯示延遲緩衝區之故。於虛擬顯示延遲緩衝區以外，以模組405產生顯示計算區，而使該值確保於記憶體中或是何暫存器中。此計算區使用於判斷從虛擬顯示延遲緩衝區去除不要的圖像。依據輪廓及位階定義，影像編碼裝置接著如模組406所示產生對應參照圖像之記憶體空間之NR個圖像尺寸。

最大虛擬顯示延遲緩衝區尺寸=NB-1 (1)

在此說明，NB<NR。

第15圖表示影像編碼裝置中的後編碼處理，即表示對於編碼後經解碼之圖像(稱為編碼圖像或僅稱為圖像)進行儲存於參照緩衝區的處理。圖中的模組表示參照圖像管理單元RefPicCtrl及顯示圖像管理單元DispPicCtrl中的功能區塊或處理步驟。一個圖像以模組501編碼之後，圖像以模組502判定是否作為參照圖像使用。圖像為參照圖像的情形下則依據式子(2)而計算可參照圖像之最大數。

Nmax=NR-FV (2)

在此說明，Nmax表示可參照圖像之最大數，NR表示以輪廓及位階定義可容許之參照圖像的最大數。FV表示虛擬顯示延遲緩衝區滿載，亦即虛擬顯示延遲緩衝區之尺寸(NB-1)之中目前使用之數。

參照圖像緩衝區之參照圖像數比Nmax小的情形下，編碼圖像以模組506再構造(解碼)並以模組507記憶於參照圖像緩衝區。當非存在充分的空餘的情形下，影像編碼裝置如模組504所示依據從緩衝區去除某未使用之參照圖像「unused(以下作為參照圖像而不參照)」而於參照圖像緩衝區確保必要的領域。要從緩衝區去除之未使用參照圖像不存在的情形下，編碼圖像不作為參照圖像使用。編碼圖像非為參照圖像的情形下，編碼圖像之時間性的參照圖像以模組505與顯示計算區比較。非參照圖像之時間性的參照號碼比顯示計算區小的情形下，虛擬顯示延遲緩衝區以模組508更新。在模組508，將虛擬顯示延遲緩衝區去除相等於顯示計算區的圖像，或是去除具有在此之前之時間性的參照號碼的圖像，且將現行非參照圖像之時間性的參照號碼加諸於緩衝區。具有比顯示計算區小之時間性的參照號碼之虛擬緩衝區的圖像數形成緩衝區的滿載。顯示計算區於編碼圖像數等於NB或是虛擬顯示計算區為滿載而其中何者較早時，開始最初的更新動作。之後顯示計算區對於以模組509編碼之全部的圖像，於每次編碼時被更新。

第16圖表示就影像解碼裝置之後解碼處理，即就影像解碼裝置之經解碼之圖像(稱為解碼圖像或僅稱為圖像)進行儲存於參照圖像緩衝區的處理。圖中的模組表示顯示圖像管理單元DispPicCtrl中的功能區塊或處理步驟。圖像以模組601解碼。在模組602，決定影像解碼裝置是否必要將圖像作為參照圖像而記憶。將經解碼之圖像作為參照圖像而記憶的情形下，以模組606記憶於參照圖像緩衝區。若非如此，影像解碼裝置以模組603檢查是否將圖像予以顯示(輸出)之時間。尚未將經解碼之圖像予以顯示(輸出)之時刻的情形下，以模組604圖像會被記憶於後解碼緩衝區至顯示(輸出)時刻。後解碼緩衝區與參照圖像物理性地共用相同記憶體領域。換言之，相同記憶體之各領域可切換成作為參照圖像緩衝區而使用於某時刻的情形與作為後解碼緩衝區使用的情形。

在模組605，其次，影像解碼裝置依據此等顯示時序而決定從參照圖像緩衝區或後解碼緩衝區顯示(輸出)的圖像。一旦顯示從後解碼緩衝區來的圖像，則從緩衝區去除。另一方面，參照圖像係依據流而於表示今後不參照時從參照圖像緩衝區去除或是僅移動於後解碼緩衝區。

第17圖表示用以在各圖像間隔決定參照圖像之最大數而使用虛擬顯示延遲緩衝區之方法的一例。就此例子之可容許之參照圖像的最大數NR設為4。影像解碼裝置將後方參照圖像之最大數NB設定於3。因此，可產生二個圖像之虛擬顯示延遲緩衝區(可確保領域)。顯示計算區係用以於記憶及更新虛擬性地顯示(輸出)之圖像的時間性參照號碼。圖中表示參照記憶緩衝區之空白領域為空餘的情形、記載著號碼之領域係儲存著顯示用圖像的情形、以及以斜線作陰影之領域為儲存著顯示用圖像的情形。又，表示虛擬顯示延遲緩衝區中的空白領域為空餘的情形、記載著圖像型態及號碼之領域為儲存著對應參照記憶緩衝區中之顯示用圖像之時間性參照號碼的情形、以及以斜線作陰影之領域係顯示用圖像之儲存領域不存在參照記憶緩衝區的情形。對應於參照記憶緩衝區中之經陰影化領域之同數的虛擬顯示延遲緩衝區係保持顯示用圖像之時間性參照號碼。

如圖所示，圖像B2及B3相對於參照圖像使用，故此等圖像與I0及P4一起被記憶在參照記憶緩衝區，且顯示計算區於圖像B3被編碼後開始更新。於時間T6，B5不作為參照圖像使用，惟因該時間性參照號碼比顯示計算區大，因此必要被虛擬顯示延遲緩衝區更新。爰此，此時之虛擬顯示延遲緩衝區之滿載fV為1，且可能的參照圖像之最大數Nmax為3。

同樣於時間T7藉著比顯示計算區大之該時間性參照號碼尚不能去除B5，惟於B6必要被虛擬顯示延遲緩衝區更新。因此，此時之Nmax為2。參照圖像I0必要藉著不充分的記憶體而從參照記憶體緩衝區去除。因此，此時之B7能僅從P4及P8預測。

第18圖表示比顯示計算區使用虛擬顯示延遲緩衝區而先增量的一例。此例子之NR設為5。影像編碼裝置將多數反方向參照圖像之最大數NB設定為3。因此，可產生二個虛擬顯示延遲緩衝區。

如圖所示，B1、B2、B3及B4不使用於參照圖像，而使用B7及B8。因此，B1及B2為了等待顯示而於時間T3記憶於虛擬顯示延遲緩衝區。由於虛擬顯示延遲緩衝區在時間T3滿載，故顯示計算區在時間T3開始更新。顯示計算區在能開始更新之前至少必要等待虛擬顯示延遲緩衝區形成滿載的理由，係有必要處理在影像解碼裝置發生之B圖像的重排序之故。

如第17圖所示，影像解碼裝置時時使用該參照圖像緩衝區之一部分作為後解碼緩衝區。因此依據參照圖像緩衝區之固定物理記憶體尺寸而使影像解碼裝置操作參照圖像緩衝區以使該部分使用於參照圖像且剩餘部分作為後解碼緩衝區使用。例如在時間T3，參照圖像緩衝區整體係用以記憶參照圖像而使用。另一方面，在時間T7僅參照圖像緩衝區之二者使用於記憶P4及P8參照圖像。剩餘部分使用於記憶後解碼圖像B5及B6。

在影像解碼裝置側使用之參照圖像的最大數以對於影像編碼裝置之輪廓及位階定義而規定。因此，影像編碼裝置能使用至以輪廓及位階而定義之參照圖像的最大數。因此，為了使影像編碼裝置於影像解碼裝置依據此限制條件而進行動作的情形下能實現同樣的動作(不超過定義參照圖像數之值)而必要進行參照圖像的管理而進行編碼。

同樣地，影像解碼裝置具有與影像編碼裝置相同數的參照圖像。而且追加記憶體空間相對於後解碼緩衝區有必要。後解碼圖像之最大數依式子(3)而定義。

NP=NR-2 (3)

在此說明，NP表示後解碼圖像之最大數，NR表示依輪廓及位階而定義之參照圖像的最大數。

爰此，相對於對輪廓及位階適合之影像解碼裝置，此後解碼圖像之最大數於影像解碼裝置之設計上必須考慮。此後解碼圖像之最大數可由式子3計算而得或是可在輪廓及位階定義來特定。一旦後解碼圖像之最大數以輪廓及位階定義來特定的話，其值依據式子(4)而能導出後方預測圖像之最大數

NB=NP+1 (4)

在此說明NB表示參照圖像緩衝區之後方預測圖像的最大數。在本實施樣態，構成依影像解碼裝置要求之最小記憶體要件以能將依據輪廓及位階定義之流予以解碼。

後方預測之數亦可用以削減在影像解碼裝置追加圖像緩衝區之追加後解碼圖像之數而限制。例如後方預測之最大數限制於二個的情形下，此情形下有必要僅將一個後解碼圖像追加於參照圖像緩衝區，如此能避免於影像解碼裝置側對於後解碼圖像進行多餘的物理記憶體空間的分配。

(實施樣態7)

再者，可將用以實現上述各實施樣態所示之影像編碼方法及影像解碼方法之程式，藉著記錄於可撓性碟片等記錄媒體，而將上述各實施樣態所示之處理能在獨立的電腦系統簡單地實施。

第19圖表示使用記錄於可撓性碟片等記錄媒體之程式，而藉著電腦系統來實施上述各實施樣態之影像編碼方法及影像解碼方法的說明圖。

第19圖(b)表示從可撓性碟片之正面所觀看之外觀、斷面構造、以及可撓性碟片，第19圖(a)表示當作記錄媒體本體之可撓性碟片之物理格式的一例。可撓性碟片FD1內藏於閘盒F內，於該碟片表面形成同心圓狀從外周朝向內周多數的磁軌Tr，各磁軌於角度方向上分割成16個扇區Se。因此，儲存著上述程式之可撓性碟片在上述可撓性碟片FD1上所分配的領域記錄著上述程式。

又，第19圖(c)表示用以於可撓性碟片FD1 進行上述程式之記錄再生的構造。要將可實現影像編碼方法及影像解碼方法之上述程式記錄於可撓性碟片FD1的情形下，從電腦系統Cs藉由可撓性碟片驅動器FDD而寫入上述程式。又，將以可撓性碟片內的程式實現影像編碼方法及影像解碼方法之影像編碼方法及影像解碼方法構築於電腦系統Cs中的情形下，乃藉著可撓性碟片驅動器FDD而從可撓性碟片讀出程式，並轉送至電腦系統Cs。

又，上述說明乃說明了使用可撓性碟片作為記錄媒體的情形，惟使用光碟亦可同樣地進行。又，並不限於記錄媒體，IC卡、ROM閘盒等，只要能記錄程式者即同樣地能實施。

(實施樣態8)

而且，說明上述實施樣態所示之影像編碼方法或影像解碼方法之應用例與使用該方法之系統。

第20圖表示實現內容配信服務之內容供給系統ex100之整體的方塊圖。將通信服務之提供區域分割成所希望的大小，而於各區塊內分別設置固定無線台即基地台ex107~ex110。

此內容供給系統ex100例如於網際網路 ex101藉由網際網路服務供給器ex102及電話網ex104、及基地台ex107~ex110而連接於電腦ex111、PDA(personal digital assistant)ex112、照相機ex113、行動電話ex114、附有照相機之行動電話ex115等各種機器。

但是內容供給系統ex100不僅限於第53圖的組合，亦可組合其中任何而連接。又，各機器亦可不藉由固定無線台的基地台ex107~ex110而直接連接電話網ex104。

照相機ex113係數位攝影機等可變化動態圖像的機器。又，行動電話為PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或是GSM(Global System for Mobile Communications)方式的行動電話、或PHS(Personal Handyphone System)等，可為任何方式。

又，訊流伺服器103從照相機ex113透過基地台ex109、電話網ex104而連接，並使用照相機ex113而依據使用者發送之經編碼處理的資料而能進行配送訊息。經攝影之資料的編碼處理可藉照相機ex113進行，亦可藉進行資料之發訊處理的伺服器等而進行。又，以照相機ex116攝影之動態圖像資料亦可藉由電腦ex111而發訊至訊流伺服器103。照相機ex116係數位相機等可攝影靜止畫面、動態圖像的機器。此情形下，動態圖像資料的編碼能以照相機ex116亦能以電腦ex111之任何之一來進行。又，編碼處理係於具有電腦ex111或照相機ex116之LSIex117處理。又，亦可影像編碼．解碼用軟體組裝於電腦ex111等可讀取之記錄媒體之任何儲存媒體(CD-ROM、可撓性碟片、硬碟等)。亦能以附有照相機之行動電話ex115發送動態圖像資料。此時之動態圖像資料係以行動電話ex115所具有之LSI編碼處理的資料。

此內容供給系統ex100，將使用者以照相機 ex113、照相機ex116所攝影之內容(例如攝影音樂實況的影像等)與上述實施樣態同樣地編碼處理而發送至訊流伺服器ex103，同時訊流伺服器ex103對於有要求之要求者配訊上述內容資料。要求者具有可將上述經編碼處理之資料予以解碼的電腦ex111、PDAex112、照相機ex113、行動電話ex114等。以如此的條件能使內容供給系統ex110將經編碼之資料於要求者接收並再生，且藉再生而能實現個人播放的系統。

構成此系統之各機器的編碼．解碼上乃以使用上述各實施樣態所示之影像編碼裝置或影像解碼裝置即可。

以行動電話為其一例來說明。

第11圖表示使用上述實施樣態所說明之影像編碼方法與影像解碼方法的行動電話ex115。行動電話115具有用以與基地台ex110之間發收信電波的天線ex201；CCD照相機等可拍攝影像、靜止畫面的照相機部ex203；表示經照相機部ex203攝影之影像而以天線ex201接收到的影像等經解碼的資料的液晶顯示器等的顯示部ex202；由操作鍵ex204群所構成之本體部、用以輸出聲音的擴音器等聲音輸出部ex208；用以輸入聲音的播音器等聲音輸入部ex205；用以保存經攝影的動態影像或靜止畫面資料、經接收之郵件資料、動態影像資料或靜止影像資料等、經編碼之資料或經解碼之資料的記錄媒體ex207；用以能將記錄媒體ex207裝設於行動電話ex115的插孔部ex206。記錄媒體ex207係於SD卡等塑膠殼內儲存有可電性地改寫或消除的非依電記憶體的EEPROM(Electrically Erasable and Programmable Read Only Memory)之一種快閃記憶體的記錄媒體。

又，以第22圖說明行動電話ex115。行動電話ex115係相對於將具有顯示部ex202及操作鍵ex204之本體部的各部予以統括性地控制而構成的主控制部ex311，藉由同步匯流排ex313而相互連接著電源電路部ex310、操作輸入控制部ex304、影像編碼部ex312、照相機介面部ex303、LCD(Liquid Crystal Display)控制部ex302、影像解碼部ex309、多路分離部ex308、記錄再生部ex307、變調解調電路部ex306及聲音處理部ex305。

電源電路部ex310經使用者的操作而呈結束對話及電源鍵為開放(ON)的狀態時，從電池盒對於各部供給電力而使附有照相機之數位行動電話ex115起動在可作動的狀態。

行動電話ex115依據CPU、ROM及RAM等主控制部ex311的控制而藉著聲音處理部ex305將聲音通話模式時以聲音輸入部ex205集音的聲音信號變換成數位聲音資料，並以變調解調電路部ex306將此數位聲音資料予以頻譜擴散處理，並在發收信電路部ex301進行數位對比變換處理及頻率變換處理後，藉由天線ex201而發送。又，行動電話ex115於聲音通話模式時將天線ex201所接收到的接收資料予以放大而進行頻率變換處理及數位對比變換處理，以變調解調電路部ex306進行頻譜反擴散處理，以聲音處理部ex305變換成對比聲音後，藉由聲音輸出部ex208而輸出此對比聲音。

再者，於資料通信模式時發送電子郵件的情形下，藉本體部的操作鍵ex204的操作而輸入的電子郵件的本文資料(text data)藉由操作輸入控制部ex304而送出至主控制部ex311。主控制部ex311以變調解調電路部ex306將本文資料進行頻譜擴散處理，並灰發收信電路部ex301進行數位對比變換處理及頻率變換處理後，藉由天線ex201而發送至基地台ex110。

於資料通信模式時發送影像資料的情形下，藉由照相機介面部ex303而將照相機部ex203所拍攝之影像資料供給至影像編碼部ex312。又，不發送影像資料的情形下，亦可藉由照相機介面部ex303及LCD控制部ex302而將照相機部ex203所拍攝之影像資料予以直接顯示於顯示部ex202。

影像編碼部ex312係具有本發明所說明之影像編碼裝置的構成，藉使用於上述實施樣態所示之影像編碼裝置的編碼方法而將照相機部ex203所供給之影像資料予以壓縮編碼，藉此變換成編碼影像資料，且將此編碼影像資料送出至多路分離部ex308。又，於此時同時行動電話ex115藉由聲音處理部ex305而將照相機部ex203於攝影中以聲音輸入部ex205集音的聲音作為數位聲音資料而送出至多路分離部ex308。

多路分離部ex308以預定的方式將從影像編碼部ex312供給之編碼影像資料與從聲音處理部ex305供給之聲音資料予以多路化，其結果所獲得之多路化資料以變調解調電路部ex306進行頻譜擴散處理，於發收信電路部ex301進行數位對比變換處理及頻率變換處理後，藉由天線ex201而發送。

於資料通信模式時接收鏈結於首頁(home page)之動態影像檔資料的情形下，藉由天線ex201而以變調解調電路部ex306將從基地台ex110所接收的接收資料予以頻譜反擴散處理，並將其結果所獲得之多路化資料送出至多路分離部ex308。

又，有關將藉由天線ex201而接收的多路化資料予以解碼，多路分離部ex308藉分離多路化資料而區分為圖像資料的位元流與聲音資料的位元流，藉由同步匯流排ex313而將該編碼影像資料供給至影像解碼部ex309之同時將該聲音資料供給至聲音處理部ex305。

其次，影像解碼部ex309係具有本發明所說明之影像解碼裝置的構成，影像資料之位元流以對應上述實施樣態所示之編碼方法的解碼方法而解碼，藉此產生再生動態影像資料，並藉由LCD控制部ex302而將此再生動態影像資料供給至顯示部ex202，如此一來，可顯示例如包含於鏈接於首頁之再生動態影像檔的再生動態影像資料。在此同時聲音處理部ex305將聲音資料變換成對比聲音資料後，將此對比聲音資料供給至聲音輸出部ex208，藉此，可再生例如包含於鏈接於首頁之再生動態影像檔的聲音資料。

又，不僅限於上述系統的例子，近來以衛星、地面波所構成之廣播成為話題，如第56圖所示在數位廣播用系統上亦可組裝上述實施樣態之至少影像編碼裝置或影像解碼裝置之其中任何之一。具體而言，廣播電台ex409之影像資訊的位元流藉由電波而傳送至通信衛星或廣播衛星ex410。接收到此位元流之廣播衛星ex410會發送廣播用的電波而以具有衛星廣播接收設備之家庭的天線ex406接收此電波，並藉電視(接收器)ex401或隨選視訊盒(STB)ex407等裝置而將位元流予以解碼並予以再生。又，亦可讀取已記錄於記錄媒體之CD或DVD等儲存媒體ex402的位元流而將上述實施樣態所示之影像解碼裝置安裝於要解碼之再生裝置ex403。此情形下所再生之影像信號會顯示於監視器ex404。又，亦可於連接有線電視用之纜線ex405或衛星/地面波廣播的天線ex406的隨選視訊盒ex407內安裝影像解碼裝置，並構成以電視之螢幕ex408再生的情形。此時亦可非將影像解碼裝置組裝於隨選視訊盒，而係將影像解碼裝置組裝於電視內。又，具有天線ex411之車輛ex412接收從衛星ex410來的信號或是從基地台ex107來的信號，而能於車輛ex412具有的車上衛星導航裝置ex413等的顯示裝置再生動態影像。

又，亦能以上述實施樣態所示之影像編碼裝置將影像信號予以編碼而記錄於記錄媒體。具體例子如將影像信號記錄於DVD碟片ex421的DVD記錄器，或是記錄於硬碟之碟片記錄器等記錄器ex420。而且能記錄於SD卡ex422。記錄器ex420具有上述實施樣態所示之影像解碼裝置的話，能將記錄於DVD碟片ex421或SD卡ex422的圖像信號予以再生而以螢幕ex408顯示。

又，車上衛星導航ex413的構成係可得知例如於第55圖所示之構成中除外照相機部ex203與照相機介面部ex303、影像編碼部ex312的構成，同樣的情形亦可得知電腦ex111或電視(接收器)ex401等。

又，上述行動電話ex114等之終端，除了具有編碼器．解碼器雙方的發訊收訊型的終端之外，可得知亦有僅編碼器之發訊終端、僅解碼器之收訊終端等三種安裝形式。

如上所述，可將上述實施樣態所示之影像編碼方法或影像解碼方法使用於上述任何機器、系統，如此一來能獲得上述實施樣態所說明的效果。

又，本發明不僅限於上述實施樣態，只要不脫離本發明之範圍的情形下，可作各種各樣的型態變化與修正。

又，於本實施樣態，在本實施上將要顯示之順序以替換排序輸出圖像之順序的情形來表現。即，表現將解碼影像輸出至顯示裝置之處理予以顯示，可得知例如以其他記錄機器來記錄而輸出解碼影像的動作亦為此顯示之特殊的情形。又，顯示裝置具有影像記憶體的情形下，亦可將解碼影像比實際顯示時刻更快地傳送至顯示裝置。

產業上的利用性

本發明係利用於可參照保存於解碼影像緩衝區之解碼完影像，同時藉著預測編碼而將影像予以編碼，並將經編碼之影像予以解碼而將該解碼影像儲存於前述解碼影像緩衝區的影像編碼裝置、及利用於可參照保存於解碼影像緩衝區之解碼完影像，同時藉著預測編碼而將經編碼之影像予以解碼，並將該解碼影像儲存於前述解碼影像緩衝區的影像解碼裝置。