TWI424372B - Selectable image line path means - Google Patents

Description

可選徑的影像管線裝置

本發明係關於一種影像管線(image pipeline)，特別是一種可選徑(routable)的影像管線裝置。

在現今的日常生活中，各種取代傳統類比技術的數位化技術已非常普及，數位影像(digital image)便是一個很好的例子。數位影像係以陣列的型態紀錄影像中各個像素的值，且影像中每一個像素的數值係以有限的位元(bit)來表示。

舉例而言，數位相機利用光感測器擷取影像並轉換為數位訊號後，會經過一連串的影像處理，而處理數位影像最常見的方法，就是將各式各樣的過濾器(filter，亦稱為濾波器)套用在數位影像上，例如藉由過濾器將數位影像之原始單色像素依序處理成RGB像素與YUV像素，或對數位影像進行如去除雜訊、影像銳利化、改變影像色調、改變影像亮度對比或是邊緣偵測等數位影像處理。

此外，為了進行需連續用到多個過濾器之數位影像處理的步驟，影像管線(image pipeline)的架構便因應而生。影像管線將需執行的過濾器串起，並個別給予對應過濾器之線緩衝器(line buffer)，以儲存影像像素。然而傳統的影像管線具有線緩衝器之使用缺乏彈性，以及更改擴張不便的問題。線緩衝器的長度係受限於數位影像被存取的掃描方式或數位影像的長度，而線緩衝器的排數又受限於對應之過濾器的尺寸，例如3×3過濾器或7×7過濾器。再者，影像管線所使用的過濾器皆為固定，因此影像管線只能用於固定的數位影像處理，可以說是不具有擴張性。此外，若影像管線之線緩衝器不敷使用時，亦只能設法將每一個線緩衝器逐一加大，十分地不便。

為解決上述問題，本發明提供一種可選徑的影像管線裝置(routable image pipeline device)，適用於處理一影像。

根據本發明之第一實施範例，可選徑的影像管線裝置包括一外部記憶體、一直接記憶體存取器(Direct Memory Access，DMA)、一影像管線控制器以及一過濾器層(filter layer)。其中外部記憶體存有待處理的影像，且電性連結於DMA。影像管線控制器包括一實體記憶體配置(physical memory allocation，PMA)以及一第一陣列控制器，而實體記憶體配置具有至少一實體緩衝暫存單元。根據本發明之第一陣列控制器係電性相連於實體記憶體配置與DMA。第一陣列控制器透過DMA接收影像，且第一陣列控制器根據記憶體位址配置(address configuration)設定將實體緩衝暫存單元配置為對應第一陣列控制器的一第一邏輯緩衝暫存單元。

過濾器層則包括具有多個過濾器的一第一過濾器組，且第一過濾器組係對應電性相連於第一陣列控制器。第一過濾器組透過第一陣列控制器接收影像，然後選擇性地依據第一邏輯緩衝暫存單元以及過濾器處理影像，並透過DMA將處理過的影像回存至外部記憶體。

根據本發明之第二實施範例，可選徑的影像管線裝置之影像管線控制器另可包括一第二陣列控制器，且過濾器層另包括與第二陣列控制器電性相連的一第二過濾器組。其中第二過濾器組包括多個過濾器。第二陣列控制器係根據記憶體位址配置設定將實體緩衝暫存單元配置為一第二邏輯緩衝暫存單元，且由第一過濾器組承接影像。第二陣列控制器將接收的影像傳送予第二過濾器組以進行處理，第二過濾器組再選擇性地依據第二邏輯緩衝暫存單元以及第二過濾器組的過濾器處理影像。第二過濾器組並透過DMA將處理過的影像回存至外部記憶體。

可選徑的影像管線裝置之實體記憶體配置另可包括一緩衝切換器。緩衝切換器電性連結於實體緩衝暫存單元、第一陣列控制器以及第二陣列控制器，且第一陣列控制器以及第二陣列控制器係透過緩衝切換器存取實體緩衝暫存單元。

根據本發明之第三實施範例，可選徑的影像管線裝置可包括外部記憶體、直接記憶體存取器、影像管線控制器以及過濾器層(filter layer)。其中影像管線控制器包括實體記憶體配置以及多個陣列控制器。這些陣列控制器透過DMA接收影像，且陣列控制器將實體緩衝暫存單元配置為個別對應這些陣列控制器的多個邏輯緩衝暫存單元。

根據本發明之第四實施範例，過濾器層包括多個過濾器組。其中每一個過濾器組對應電性相連於一個陣列控制器，且每一過濾器組包括至少一過濾器。這些過濾器組透過對應的陣列控制器接收影像，以進行處理。過濾器層選擇性地依據這些邏輯緩衝暫存單元，以及這些過濾器組所具有之過濾器處理該影像，並透過DMA將處理過的影像回存至外部記憶體。

綜上所述，根據本發明之可選徑的影像管線裝置選擇性地使用過濾器處理影像。可選徑的影像管線裝置將實體緩衝暫存單元集中於影像管線控制器中管理，並透過陣列控制器對實體緩衝暫存單元進行存取。也就是說，陣列控制器可依據用以執行的過濾器將實體緩衝暫存單元配置為對應之邏輯緩衝暫存單元。

此外，陣列控制器可以將事先從實體緩衝暫存單元中所配置出來的邏輯緩衝暫存單元，視為工作所需的緩衝單元為之使用。透過將實體緩衝暫存單元配置為邏輯緩衝暫存單元的機制，影像的掃描方式以及過濾器並不會對實體緩衝暫存單元造成限制。再者，擴充之實體緩衝暫存單元能提供整個可選徑的影像管線裝置使用。

此外，進行數位影像處理時可由過濾器組中選出需要的過濾器或是旁通線，因此組合少數的過濾器便可進行各種數位影像處理。且藉著新增過濾器或是成對的過濾器組以及陣列控制器，可選徑的影像管線裝置可輕易的被擴充。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。

本發明提供一種可選徑的影像管線裝置(routable image pipeline device)，係適用於處理至少一影像，尤其是數位影像，故能夠應用在可處理數位影像的電子裝置或系統上。以下就各實施範例說明本發明所提供之可選徑的影像管線裝置的可能實施型態。

[第一實施範例]

請參照「第1圖」，其係為根據本發明之第一實施範例之可選徑的影像管線裝置的架構示意圖。如「第1圖」所繪示，可選徑的影像管線裝置包括一外部記憶體20、一直接記憶體存取器(Direct Memory Access，DMA)30、一影像管線控制器40以及一過濾器層(filter layer)50。其中影像管線控制器40包括一實體記憶體配置(physical memory allocation，PMA)42以及一第一陣列控制器44，且PMA 42包括至少一實體緩衝暫存單元422。過濾器層50包括一第一過濾器組52，且第一過濾器組52包括一7×7過濾器56a以及一3×3過濾器56b。

外部記憶體20內部存有待處理的影像，亦提供儲存可選徑的影像管線裝置處理過後的結果。較佳的是，外部記憶體20可以是雙倍資料速率同步動態隨機存取記憶體(Double Data Rate Synchronous Dynamic Random Access Memory，DDR SDRAM，亦簡稱為DDR)。外部記憶體20內之待處理的影像可為靜止圖像(still image)或是視訊(video)中的一個圖框(frame)。換句話說，可選徑的影像管線裝置能夠處理單張靜止圖像，亦能以連續處理圖框的方式處理視訊。

DMA 30與外部記憶體20、第一陣列控制器44以及第一過濾器組52電性相連。DMA 30由外部記憶體20中讀出待處理的影像，並將待處理的影像傳送至第一陣列控制器44處理，將影像排成陣列型式。其中，實體緩衝暫存單元422可為至少一線緩衝器(line buffer)，所具有的線排數多寡係依據過濾器之尺寸。影像再經由第一過濾器組52處理後傳至DMA 30，然後透過DMA 30將處理後的影像存回外部記憶體20。

更詳細地說，第一陣列控制器44會根據記憶體位址配置(address configuration)設定將實體緩衝暫存單元422配置為至少一第一邏輯緩衝暫存單元。因此第一陣列控制器44可將陣列式排列之處理過的影像暫存於第一邏輯緩衝暫存單元中。之後第一過濾器組52可透過第一陣列控制器44得到第一邏輯緩衝暫存單元中的影像資料，以繼續對影像處理。其中，第一陣列控制器44可包括一M×N陣列控制器以及一M×N過濾器陣列(M×N filter array)。藉由M×N陣列控制器對接收到的影像排列成M×N陣列後，傳送至M×N過濾器陣列作影像處理，例如去除雜訊等。

過濾器層50以第一過濾器組52所包括的7×7過濾器56a或3×3過濾器56b對影像進行例如數位影像處理(Digital Image Processing，DIP)等處理。需注意的是，於本實施範例中，第一過濾器組52係同時包括7×7過濾器56a以及3×3過濾器56b，也就是說第一過濾器組52包括多個過濾器。可選徑的影像管線裝置係選擇性地以7×7過濾器56a或3×3過濾器56b處理影像。7×7過濾器56a的過濾器尺寸為7×7(像素)，而3×3過濾器56b的過濾器尺寸為3×3。在過濾器層50之中的這些過濾器尺寸之一係相異於這些過濾器尺寸之另一。換句話說過濾器層50中的過濾器尺寸不全部相同。

需注意的是，過濾器層50適用之過濾器的尺寸並不限於3x3、5x5或是7x7。過濾器可為任意之MxN過濾器，其中M與N為正整數。

過濾器層50包括的過濾器可為一原始數據過濾器(raw filter)、彩色濾波陣列過濾器(color filter array filter，CFA filter)或是亮度彩度飽和度過濾器(luminance-chrominance-chroma filter，YUV filter)，或是上述各種過濾器的子過濾器。

接下說明第一陣列控制器44根據記憶體位址配置設定，動態地將實體緩衝暫存單元422配置為第一邏輯緩衝暫存單元的方法。

一般的影像係以陣列的方式存放影像之各像素的值。然而整張影像的解析度可能大於用以暫存影像之線緩衝器(即實體緩衝暫存單元422)，因此當影像被線緩衝器讀入時，影像中能被線緩衝器保存的部分係與影像被掃描的方式有關。請同時參閱「第2A圖」以及「第2B圖」，其分別為陣列控制器以圖框基準(frame-based)以及磁磚基準(tile-based)的掃描方式示意圖。

如「第2A圖」所示，第一陣列控制器44相當於將影像視為一掃描圖框60，而圖框基準的掃描方式係可將掃描圖框60內的像素由左至右、由上至下地被存進線緩衝器中。更詳細地說，圖框基準的掃描方式係將掃描圖框60的像素一列(row)一列地依序存進線緩衝器中，過濾器層50再依序處理存於線緩衝器之內的部分影像。圖框基準的掃描方式所使用的線緩衝器的長度與掃描圖框60的長度相同，且不會產生輸出負荷(throughput overhead)。

磁磚基準的掃描方式又稱為區塊基準(block-based)的掃描方式。掃描圖框60被切分成多個掃描子圖框62後再被掃描，其中每一個掃描子圖框62被稱為一個磁磚或一個區塊。磁磚基準的掃描方式係於一個掃描子圖框62中以圖框基準的掃描方式進行掃描，再移往下一個掃描子圖框62繼續掃描。磁磚基準的掃描方式所使用的線緩衝器的長度與掃描子圖框62的長度相同，而掃描子圖框62的長度一般可設定為64像素或是128像素。此外，依據影像被套用的過濾器，磁磚基準的掃描方式於掃描子圖框62之間的交界處產生輸出負荷。

如上所述，圖框基準的掃描方式所需的線緩衝器的長度與掃描圖框60相同，而磁磚基準的掃描方式所需的線緩衝器的長度與掃描子圖框62相同。由於一般視訊的影像的解析度較低(例如320×240)，因此能夠以圖框基準的掃描方式處理影像。相對的，數位相機等裝置擷取的靜止圖像通常具有較大的解析度(例如1024×768)，因此適於使用磁磚基準的掃描方式。

但本發明所提供之可選徑的影像處理裝置並不對實體緩衝暫存單元422的長度或大小進行限制。第一陣列控制器44依據記憶體位址配置設定將實體緩衝暫存單元422配置為邏輯緩衝暫存單影像。

請參照「第3A圖」、「第3B圖」、「第3C圖」以及「第3D圖」，其中「第3A圖」係為根據本發明一實施範例之實體緩衝暫存單元示意圖，其餘則為根據本發明不同實施範例之第一邏輯緩衝暫存單元之配置示意圖。

於本實施範例中，實體緩衝暫存單元422之大小係640×16位元。例如當待處理的影像的列長為640像素，且每一個像素的值需要以8位元(bit)表示時，則邏輯緩衝暫存單元的配置可以如「第3B圖」。第一陣列控制器44以重新分配記憶體位址的方式將實體緩衝暫存單元422分割成尺寸為640×8的第一邏輯緩衝暫存單元423，組成四個640×8的第一邏輯緩衝暫存單元423以供第一陣列控制器44存取影像資料。

又例如當待處理的影像的列長為640像素，且每一個像素的值需要以16位元表示時，邏輯緩衝暫存單元的配置可以如「第3C圖」。第一陣列控制器44可將實體緩衝暫存單元422直接作為第一邏輯緩衝暫存單元423，組成兩個640×16的第一邏輯緩衝暫存單元423以供第一陣列控制器44存取影像資料。

另例如當待處理的影像的列長為1280像素，且每一個像素的值需要以8位元表示時，邏輯緩衝暫存單元的配置可以如「第3D圖」。第一陣列控制器44以重新分配記憶體位址的方式將實體緩衝暫存單元422配置成尺寸為1280×8的第一邏輯緩衝暫存單元423，組成兩個1280×8的第一邏輯緩衝暫存單元423以供第一陣列控制器44存取影像資料。

前述係在實體記憶體配置42只具有一個實體緩衝暫存單元422的情況下，揭示第一陣列控制器44如何根據記憶體位址配置設定，利用單一的實體緩衝暫存單元422配置成所需的第一邏輯緩衝暫存單元423。

以下係更進一步揭示當實體記憶體配置42至少具有多個實體緩衝暫存單元422時，第一陣列控制器44如何根據記憶體位址配置設定，利用多個實體緩衝暫存單元422配置成所需的第一邏輯緩衝暫存單元423。

請參照「第4A圖」、「第4B圖」、「第4C圖」以及「第4D圖」，其中「第4A圖」係為根據本發明一實施範例之實體緩衝暫存單元之配置示意圖，其餘則為根據本發明不同實施範例之第一邏輯緩衝暫存單元之配置示意圖。

於本實施範例中，可選徑的影像管線裝置的實體記憶體配置42包括三個大小同為640×16的實體緩衝暫存單元422a、422b以及422c。

例如當待處理的影像的列長為640像素，且每一個像素的值需要以8位元(bit)表示時，邏輯緩衝暫存單元的配置可以如「第4B圖」。第一陣列控制器44以重新分配記憶體位址的方式將實體緩衝暫存單元422a以及422b個別分割成兩塊，以得到所需之尺寸為640×8的第一邏輯緩衝暫存單元423a、423b、423c以及423d。如此一來，藉由640×8的第一邏輯緩衝暫存單元423a、423b、423c以及423d來供第一陣列控制器44存取影像資料。

又例如當待處理的影像的列長為640像素，且每一個像素的值需要以16位元表示時，邏輯緩衝暫存單元的配置可以如「第4C圖」。第一陣列控制器44可將實體緩衝暫存單元422a以及422b直接作為第一邏輯緩衝暫存單元423a以及423b來供第一陣列控制器44存取影像資料。

另例如當待處理的影像的列長為1280像素，且每一個像素的值需要以8位元表示時，邏輯緩衝暫存單元的配置可以如「第4D圖」。第一陣列控制器44可以重新分配記憶體位址的方式將實體緩衝暫存單元422a以及422b配置成尺寸為1280×8的第一邏輯緩衝暫存單元423a以及423b，來供第一陣列控制器44存取影像資料。

此外，第一過濾器組52中被選用的過濾器亦會影響到邏輯緩衝暫存單元的分配。可選徑的影像處理裝置依據進行的影像處理內容，選擇執行第一過濾器組52的7×7過濾器56a或是3×3過濾器56b。且由於對MxN過濾器而言，當其影像資料接收到第N列之第M個像素時，就可以開始運算。因此當以7×7過濾器56a或是3×3過濾器56b處理影像時，第一過濾器組52個別需要至少有(7-1)列(或稱線緩衝器的排數)或是(3-1)列的部分影像才能進行影像處理。例如當線緩衝器之排數為6，就可透過7×7過濾器56a處理影像；且當7×7過濾器56a接收影像資料到第7列之第7個像素時，就可以開始運算。而當緩衝器之排數為3，可透過3×3過濾器56b處理影像；且當3×3過濾器56b接收影像資料到第3列之第3個像素時，就可以開始運算。

[第二實施範例]

請參照「第5圖」，其係為根據本發明之第二實施範例之可選徑的影像管線裝置的架構示意圖。

與第一實施範例的差異處在於：可選徑的影像管線裝置的過濾器層50另包括一第二過濾器組54，且影像管線控制器40另包括一第二陣列控制器46。其中第二過濾器組54係與第二陣列控制器46對應電性相連，且第二過濾器組54包括3×3過濾器56c和56d。

同理，第二陣列控制器46根據記憶體位址配置設定將實體緩衝暫存單元422配置為一第二邏輯緩衝暫存單元，而配置原理已於第一實施例中揭示，請參考之，遂不再贅述。第二陣列控制器46亦可包括M×N陣列控制器以及M×N過濾器陣列(M×N filter array)，以藉由M×N陣列控制器對接收到的影像排列成M×N陣列後，傳送至M×N過濾器陣列作影像處理。

DMA 30由外部記憶體20中讀出待處理的影像，將待處理的影像傳送至第一陣列控制器44進行重新排列的處理。第一陣列控制器44將影像排成陣列型式，而重新排列的過程會將影像暫存於第一邏輯緩衝暫存單元423中。重新排列好之後，再提供予第一過濾器組52處理。之後第二陣列控制器46由第一過濾器組52接收其處理過的影像，以對影像進一步排列成第二過濾器組54所需的陣列形式。重新排列過程會將影像暫存於第二邏輯緩衝暫存單元。重新排列好之後，再傳送至第二過濾器組54處理。第二過濾器組54收到影像後，選擇性地以3×3過濾器56c或是56d處理收到的影像，再將影像結果傳至DMA 30，然後透過DMA 30將處理後的影像存回外部記憶體20。

更佳的是，第一過濾器組52或是第二過濾器組54另可包括一旁通線(bypass line)58。若在第一過濾器組52之中旁通線58被選定並執行，則表示7×7過濾器56a以及3×3過濾器56b於這次的影像處理階段中不被使用。第二過濾器組54的情況亦是同樣。因此可選徑的影像管線裝置於一個階段的影像處理中，能夠以下列這些組合的過濾器進行處理：7×7過濾器56a、3×3過濾器56b、3×3過濾器56c、3×3過濾器56d、7×7過濾器56a與3×3過濾器56c、7×7過濾器56a與3×3過濾器56d、3×3過濾器56b與3×3過濾器56c，以及3×3過濾器56b與3×3過濾器56d。

旁通線58可以是第一過濾器組52或第二過濾器組54中，以一條電線實做而成，旁通線58的概念亦可是由軟體的方式實現。在第一過濾器組52或第二過濾器組54中若無任何的過濾器被選定以處理影像，即表示旁通線58被選定。其中第一陣列控制器44以及第二陣列控制器46可一併對實體緩衝暫存單元422進行配置。意即實體緩衝暫存單元422可至少被分為兩個部分，且個別被第一陣列控制器44以及第二陣列控制器46配置為第一邏輯緩衝暫存單元423以及第二邏輯緩衝暫存單元。

此外，第一過濾組52之過濾器處理影像之後，可不經由第二過濾器組54(即第二過濾器組54的旁通線58被配置命令指定)，並透過DMA 30將處理過的影像回存於外部記憶體20。

[第三實施範例]

請參照「第6圖」，其係為根據本發明之第三實施範例之可選徑的影像管線裝置的架構示意圖。

於第三實施範例之中，可選徑的影像管線裝置包括第一陣列控制器44、第二陣列控制器46、第一過濾器組52以及第二過濾器組54。其中第一陣列控制器44與第一過濾器組52對應電性相連，第二陣列控制器46與第二過濾器組54對應電性相連。第一過濾器組52與第二過濾器組54個別只包括一個過濾器(7×7過濾器56a與3×3過濾器56b)以及旁通線58。且可選徑的影像管線裝置係選擇性地以7×7過濾器56a與3×3過濾器56b處理影像。

換句話說，可選徑的影像管線裝置包括多個過濾器組以及多個過濾器，其中每一個過濾器組對應電性相連於一個陣列控制器。這些過濾器組個別至少包括一個過濾器以處理影像，並可包括旁通線58。每一個陣列控制器將實體緩衝暫存單元422配置為所需的邏輯緩衝暫存單元，並提供給對應之過濾器組之過濾器使用。例如第一陣列控制器44以及第二陣列控制器46個別將實體緩衝暫存單元422配置為第一邏輯緩衝暫存單元423以及第二邏輯緩衝暫存單元，以供第一過濾器組52之7×7過濾器56a以及第二過濾器組54之3×3過濾器56c使用。

需注意的是，當僅有一個過濾器組的過濾器被指定，且其餘的過濾器組均被指定執行旁通線58時，實體緩衝暫存單元422可以僅被配置為一個對應被指定之過濾器的邏輯緩衝暫存單元。最後再依據這些邏輯緩衝暫存單元以及這些濾器組處理影像。

舉例來說，當配置命令指定以7×7過濾器56a處理影像時，第一陣列控制器52依據配置命令以及7×7過濾器56a配置實體緩衝暫存單元422並得到第一邏輯緩衝暫存單元423。且可選徑的影像管線裝置僅以7×7過濾器56a以及第一邏輯緩衝暫存單元423處理影像。

更佳的是，7×7過濾器56a處理完影像之後，可透過DMA 30將影像回存進外部記憶體20。

[第四實施範例]

請參照「第7圖」，其係為根據本發明第四實施範例之可選徑的影像管線裝置的架構示意圖。接下來藉由第四實施範例，介紹完整的可選徑的影像處理方法。

如「第7圖」所示，可選徑的影像管線裝置包括外部記憶體20、DMA 30、影像管線控制器40以過濾器層50。其中影像管線控制器40之實體記憶體配置42包括多個實體緩衝暫存單元422以及一緩衝切換器(buffer switch) 424，且影像管線控制器40另包括第一陣列控制器44、第二陣列控制器46以及一第三陣列控制器48。而過濾器層50包括第一過濾器組52、第二過濾器組54以及一第三過濾器組55。

其中，第一過濾器組52包括7×7過濾器56a、3×3過濾器56b以及3×3過濾器56c；第二過濾器組54包括3×3過濾器56d以及5×5過濾器56e；第三過濾器組55包括3×3過濾器56f以及3×3過濾器56g。且7×7過濾器56a係為原始數據過濾器；3×3過濾器56b、3×3過濾器56d以及3×3過濾器56f係為CFA過濾器；3×3過濾器56c、5×5過濾器56e以及3×3過濾器56g係為YUV過濾器。

而第三陣列控制器48同樣可包括M×N陣列控制器以及M×N過濾器陣列(M×N filter array)，以藉由M×N陣列控制器對接收到的影像排列成M×N陣列後，傳送至M×N過濾器陣列作影像處理。

舉例而言，當數位相機擷取影像並將其處理為YUV色彩空間(color space)格式的影像時，可選徑的影像管線裝置接收影像的原始數據，並使用全部的過濾器處理影像。處理的過程可分為三個階段，依序是：處理影像的原始數據(亦可稱為原始階段，即raw stage)；將影像轉換成RGB色彩空間的格式(亦可稱為RGB階段)；以及將RGB色彩空間格式的影像轉換為YUV色彩空間格式(亦可稱為YUV階段)。

可選徑的影像管線裝置於不同的影像處理階段中，可選用不同的過濾器來處理影像。在每一階段開始處理影像之前，可選徑的影像管線裝置接收配置命令，以得知於此階段中要用哪個或哪些過濾器處的過濾器處理影像。更進一步地說，由於在每一個階段中所選用的過濾器可能不同，陣列處理器需依據需求來重新將實體緩衝暫存單元422重新配置為合適的邏輯緩衝暫存單元。且在每一階段的處理結束後，被處理過的影像均會被回存於外部記憶體20。

假設數位相機以磁磚基準的掃描方式被存取影像(靜止圖像)。首先於原始階段時，僅有第一過濾器組52的7×7過濾器52a被選用，第二過濾器組54以及第三過濾器組55均執行旁通線58。因此第一陣列控制器44依據掃描方式以及7×7過濾器56a將實體緩衝暫存單元422配置為第一邏輯緩衝暫存單元423，且第一陣列控制器44係透過緩衝切換器424存取實體緩衝暫存單元422。則可選徑的影像管線裝置以7×7過濾器56a以及第一邏輯緩衝暫存單元423處理影像，再把7×7過濾器56a處理過的影像透過DMA30回存於外部記憶體20。

接著於RGB階段時，第一陣列控制器44、第二陣列控制器46以及第三陣列控制器48依據掃描方式以及3×3過濾器56b、56d以及56f，將實體緩衝暫存單元422重新配置為第一邏輯緩衝暫存單元423、第二邏輯緩衝暫存單元以及第三邏輯緩衝暫存單元。可選徑的影像管線裝置由外部記憶體20讀出經原始階段處理過後的影像，再依序以3×3過濾器56b、56d以及56f配合第一邏輯緩衝暫存單元423、第二邏輯緩衝暫存單元以及第三邏輯緩衝暫存單元處理影像，並將處理完的影像回存於外部記憶體20。

最後於YUV階段時，第一陣列控制器44、第二陣列控制器46以及第三陣列控制器48依據掃描方式以及3×3過濾器56c、5×5過濾器56e以及3×3過濾器56g，將實體緩衝暫存單元422重新配置為第一邏輯緩衝暫存單元423、第二邏輯緩衝暫存單元以及第三邏輯緩衝暫存單元。可選徑的影像管線裝置由外部記憶體20讀出經原始階段以及RGB階段處理過後的影像，再依序以3×3過濾器56c、5×5過濾器56e以及3×3過濾器56g配合第一邏輯緩衝暫存單元423、第二邏輯緩衝暫存單元以及第三邏輯緩衝暫存單元處理影像，並將全部處理完成的影像回存於外部記憶體20。

再舉例而言，當攝影機欲將視訊轉換為RGB色彩空間的格式時，可選徑的影像管線裝置僅進行RGB階段的影像處理。更詳細地說，可選徑的影像管線裝置可以圖框基準的掃描方式存取影像，且僅以3×3過濾器56b、56d、56f以及對應之第一處理視訊之圖框時，可選徑的影像管線裝置僅以邏輯緩衝暫存單元423、第二邏輯緩衝暫存單元以及第三邏輯緩衝暫存單元處理影像(視訊的各個圖框)，並將處理完的影像回存於外部記憶體20。

值得一提的是，藉由上述之可選徑的影像管線裝置的結構，可選徑的影像管線裝置中能夠十分輕易地進行擴充。只要將新的過濾器加進過濾器組中，可選徑的影像管線裝置便能執行新的影像處理。當想要在一個處理階段中以更多的過濾器處理影像時，則可擴充新的過濾器組以及對應之陣列控制器。

而當可選徑的影像管線裝置的實體緩衝暫存單元422不敷使用時，亦可例如添加新的線緩衝器以加大實體緩衝暫存單元422的總容量，或是將舊的實體緩衝暫存單元422替換為容量更大的實體緩衝暫存單元422。如上所述，陣列控制器能以重新分配位址的方式將實體緩衝暫存單元422配置為邏輯緩衝暫存單元後，再將邏輯緩衝暫存單元提供給過濾器使用。換句話說，過濾器透過陣列控制器以存取實體緩衝暫存單元422。因此擴充的實體緩衝暫存單元422均能透過邏輯緩衝暫存單元提供給所有的過濾器，十分地簡便。

請參照「第8圖」，其係為根據本發明一實施範例之緩衝切換器的架構示意圖。實體記憶體配置42中具有緩衝切換器424、實體緩衝暫存單元422a、422b以及422c。7×7過濾器56a以及3×3過濾器56b可分別透過第一陣列控制器44以及第二陣列控制器46，以讀寫線存取實體緩衝暫存單元422a、422b以及422c。緩衝切換器424則係簡單地依據第一陣列控制器44以及第二陣列控制器46所分配的位址，切換讀寫線與實體緩衝暫存單元422a、422b以及422c之間的連結。如此一來，位於不同過濾器組之7×7過濾器56a以及3×3過濾器56b便能夠同時存取對應之邏輯緩衝暫存單元。也就是說，緩衝切換器424更增加了實體緩衝暫存單元422的讀寫頻寬。

其中讀寫線可以例如是16位元或是32位元的匯流排線(bus)，可依頻寬需求配置。例如3x3過濾器56b可能僅需使用16位元的匯流排線，而7x7過濾器56a則需要使用32位元的匯流排線。

此外，當只用一個實體緩衝暫存單元422提供給多個陣列控制器時亦可於可選徑的影像管線裝置中配置緩衝切換器424。例如當發生第一陣列控制器44以及第二陣列控制器46同時要對實體緩衝暫存單元422發出要求(request)之特殊情況時，緩衝切換器424能夠擔任仲裁的角色，去分配要先讓哪一個陣列控制器進行存取。綜上所述，根據本發明之可選徑的影像管線裝置係選擇性地以過濾器層的各過濾器組中的過濾器處理影像。可選徑的影像管線裝置將實體緩衝暫存單元集中於影像管線控制器中管理，並透過陣列控制器對實體緩衝暫存單元進行存取。陣列控制器係對應於過濾器組，並可依據影像的掃描方式以及用以執行的過濾器將實體緩衝暫存單元配置為對應於用以執行的過濾器之邏輯緩衝暫存單元。透過將實體緩衝暫存單元配置為邏輯緩衝暫存單元的機制，影像的掃描方式以及過濾器並不會對實體緩衝暫存單元造成限制。再者，僅需添加新的實體緩衝暫存單元，便能簡單的擴張整個可選徑的影像管線裝置使用的緩衝空間。

此外，進行數位影像處理時可由過濾器組中選出需要的過濾器，因此重複利用率高。且藉著新增過濾器或是成對的過濾器組以及陣列控制器，便能夠輕易地擴充可選徑的影像管線裝置。

雖然本發明以前述之較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

20．．．外部記憶體

30．．．直接記憶體存取器

40．．．影像管線控制器

42．．．實體記憶體配置

422，422a，422b，422c．．．實體緩衝暫存單元

423，423a，423b，423c，423d．．．第一邏輯緩衝暫存單元

424．．．緩衝切換器

44．．．第一陣列控制器

46．．．第二陣列控制器

48．．．第三陣列控制器

50．．．過濾器層

52．．．第一過濾器組

54．．．第二過濾器組

55．．．第三過濾器組

56a．．．7×7過濾器

56b，56c，56d，56f，56g．．．3×3過濾器

56e．．．5×5過濾器

58．．．旁通線

60．．．掃描圖框

62．．．掃描子圖框

第1圖係為根據本發明之第一實施範例之可選徑的影像管線裝置的架構示意圖；

第2A圖係為根據本發明一實施範例之圖框基準的掃描方式示意圖；

第2B圖係為根據本發明一實施範例之磁磚基準的掃描方式示意圖；

第3A圖係為根據本發明一實施範例之實體緩衝暫存單元之配置示意圖；

第3B圖係為根據本發明一實施範例之第一邏輯緩衝暫存單元之配置示意圖；

第3C圖係為根據本發明另一實施範例之第一邏輯緩衝暫存單元之配置示意圖；

第3D圖係為根據本發明又一實施範例之第一邏輯緩衝暫存單元之配置示意圖；

第4A圖係為根據本發明一實施範例之實體緩衝暫存單元之配置示意圖；

第4B圖係為根據本發明一實施範例之第一邏輯緩衝暫存單元之配置示意圖；

第4C圖係為根據本發明另一實施範例之第一邏輯緩衝暫存單元之配置示意圖；

第4D圖係為根據本發明又一實施範例之第一邏輯緩衝暫存單元之配置示意圖；

第5圖係為根據本發明之第二實施範例之可選徑的影像管線裝置的架構示意圖；

第6圖係為根據本發明之第三實施範例之可選徑的影像管線裝置的架構示意圖；

第7圖係為根據本發明第四實施範例之可選徑的影像管線裝置的架構示意圖；以及

第8圖係為根據本發明一實施範例之緩衝切換器的架構示意圖。

20．．．外部記憶體

30．．．直接記憶體存取器

40．．．影像管線控制器

42．．．實體記憶體配置

422．．．實體緩衝暫存單元

424．．．緩衝切換器

44．．．第一陣列控制器

46．．．第二陣列控制器

48．．．第三陣列控制器

50．．．過濾器層

52．．．第一過濾器組

54．．．第二過濾器組

55．．．第三過濾器組

56a．．．7×7過濾器

56b，56c，56d，56f，56g．．．3×3過濾器

56e．．．5×5過濾器

58．．．旁通線

Claims (12)

1. 一種可選徑的影像管線裝置，適用於處理至少一影像，包括：一外部記憶體，存有該影像；一直接記憶體存取器(Direct Memory Access，DMA)，電性連接於該外部記憶體；一影像管線控制器，包括：一實體記憶體配置，其具有至少一實體緩衝暫存單元；以及一第一陣列控制器，電性連接該實體記憶體配置與該DMA，該第一陣列控制器根據一第一指令，將該實體緩衝暫存單元以一第一配置規則配置為至少一第一邏輯緩衝暫存單元，且透過該DMA接收該影像，該第一指令係用以指示該第一配置規則；以及一過濾器層，包括具有多個過濾器的一第一過濾器組，該第一過濾器組電性相連於該第一陣列控制器，該第一過濾器組透過該第一陣列控制器接收該影像，依據該第一邏輯緩衝暫存單元的該第一配置規則，選擇性地控制該些過濾器處理該影像，並透過該DMA將處理過的該影像回存至該外部記憶體。
2. 如申請專利範圍第1項所述之可選徑的影像管線裝置，其中該影像管線控制器另包括一第二陣列控制器，係根據一第二指令，將該實體緩衝暫存單元以一第二配置規則配置為至少一第二邏輯緩衝暫存單元，該第二指令係用以指示該第二配置規 則，且該過濾器層另包括與該第二陣列控制器電性相連的一第二過濾器組，該第二過濾器組具有多個過濾器，該第二陣列控制器由該第一過濾器組接收該影像，並傳送予該第二過濾器組以進行處理，該第二過濾器組再依據該第二邏輯緩衝暫存單元的該第二配置規則，選擇性地控制該第二過濾器組的該些過濾器處理該影像，並透過該DMA將處理過的該影像回存至該外部記憶體。
3. 如申請專利範圍第2項所述之可選徑的影像管線裝置，其中該實體記憶體配置另包括一緩衝切換器，係電性連結於該實體緩衝暫存單元、該第一陣列控制器和該第二陣列控制器，該第一陣列控制器以及該第二陣列控制器係透過該緩衝切換器存取該實體緩衝暫存單元。
4. 如申請專利範圍第3項所述之可選徑的影像管線裝置，其中該實體記憶體配置至少具有與該緩衝切換器電性連結的多個該實體緩衝暫存單元，且該第一陣列控制器以及該第二陣列控制器係透過該緩衝切換器存取該些實體緩衝暫存單元；該第一陣列控制器根據記憶體位址配置設定將該些實體緩衝暫存單元配置為該第一邏輯緩衝暫存單元，而該第二陣列控制器根據記憶體位址配置設定將該些實體緩衝暫存單元配置為該第二邏輯緩衝暫存單元。
5. 如申請專利範圍第2項所述之可選徑的影像管線裝置，其中該第二過濾器組另包括一旁通線。
6. 如申請專利範圍第1項所述之可選徑的影像管線裝置，其中該第一過濾器組另包括一旁通線。
7. 如申請專利範圍第1項所述之可選徑的影像管線裝置，其中每一該過濾器具有一過濾器尺寸，且該些過濾器尺寸之一相異於該些過濾器尺寸之另一。
8. 一種可選徑的影像管線裝置，適用於處理至少一影像，包括：一外部記憶體，存有該影像；一直接記憶體存取器(DMA)，係電性連接於該外部記憶體；一影像管線控制器，包括：一實體記憶體配置，具有至少一實體緩衝暫存單元；以及多個陣列控制器，係透過該DMA接收該影像，且該些陣列控制器根據一第一指令，將該實體緩衝暫存單元以至少一配置規則配置為個別對應該些陣列控制器的多個邏輯緩衝暫存單元，該第一指令係用以指示該至少一配置規則；以及一過濾器層，該過濾器層包括：多個過濾器組，其中每一該過濾器組對應電性相連於一個該陣列控制器，且每一該過濾器組包括至少一過濾器，該些過濾器組透過對應的該些陣列控制器接收該影像，依據該些邏輯緩衝暫存單元的該至少一配置規則，選擇性地控制該些過濾器組的該過濾器處理該影像，並透過 該DMA將處理過的該影像回存至該外部記憶體。
9. 如申請專利範圍第8項所述之可選徑的影像管線裝置，其中該些過濾器組另包括一旁通線。
10. 如申請專利範圍第8項所述之可選徑的影像管線裝置，其中該實體記憶體配置另包括一緩衝切換器，該緩衝切換器電性連結於該實體緩衝暫存單元以及每一該陣列控制器，且該些陣列控制器係透過該緩衝切換器存取該實體緩衝暫存單元。
11. 如申請專利範圍第10項所述之可選徑的影像管線裝置，其中該實體記憶體配置至少具有與該緩衝切換器電性連結的多個該實體緩衝暫存單元，且該些陣列控制器係透過該緩衝切換器存取該些實體緩衝暫存單元；該些陣列控制器根據記憶體位址配置設定將該些實體緩衝暫存單元配置為個別對應該些陣列控制器的該些邏輯緩衝暫存單元。
12. 如申請專利範圍第8項所述之可選徑的影像管線裝置，其中每一該過濾器具有一過濾器尺寸，且該些過濾器尺寸之一相異於該些過濾器尺寸之另一。