TWI636686B

TWI636686B - High dynamic range imaging

Info

Publication number: TWI636686B
Application number: TW105130299A
Authority: TW
Inventors: 伊戈爾．維勒艾維奇凡賈許
Original assignee: 品尼高影像股份有限公司
Priority date: 2016-09-20
Filing date: 2016-09-20
Publication date: 2018-09-21
Also published as: TW201813405A

Abstract

本發明提供一種高動態範圍影像處理方法，在執行一拜爾過濾器馬賽克技術後，執行融合及色調映射技術，再將其轉換成紅綠藍(RGB)，而不是一開始就先轉換成紅綠藍後才執行融合及色調映射。高動態範圍處理係在拜爾馬賽克影像上執行，不需要解馬賽克和色調空間轉換。融合程序包括兩種模式：全重置(full-reset)融合模式及低動態範圍更新的融合模式，第一種全重置融合模式係在擷取所有影像框架後，建立一高動態範圍框架，第二種低動態範圍更新的融合模式則是將先前的高動態範圍框架更新為一低動態範圍框架，以取得一新高動態範圍框架。

Description

高動態範圍成像

本發明係有關一種數位影像技術，特別是指一種高動態範圍影像處理裝置及方法，用以處理較小的資料串流以達到高的框速率(frame rate)。

高動態範圍影像用以重現成像和攝影亮度的較大動態範圍。

高動態範圍影像的傳統技術包括利用特殊的影像感測器進行超取樣，其他技術則是融合複數影像。

但特定的影像感測器在低光照情況下使用時，常會遇到無法產生最佳結果影像的困難。

此外，數位影像解碼並非總是可以提供足夠大的範圍以允許更好的過渡，因有損壓縮而導致不良影響。

因此，本發明即提出一種高動態範圍影像，有效解決上述該等問題，具體架構及其實施方式將詳述於下：

本發明之主要目的在提供一種高動態範圍影像，其係用以處理較小的資料串流以達到高的框速率(frame rate)。

本發明提供一種硬體實現改進超高動態範圍(HDR)技術。本發明的處理過程、融合和色調映射係利用場域可編程閘極陣列(FPGA)平台以視頻形式多重曝光。

本發明提供平台唯一方法係在一拜爾過濾器馬賽克技術執行後進行融合和色調映射，接著將其轉換成紅綠藍，而不是一開始就先轉換成紅綠藍後才執行融合及色調映射。本發明藉由此方法可顯著地將較小的資料串流以較高的框速率處理。

主線性拜爾馬賽克訊號係直接轉換成一對數刻度像素層級，有些色彩平衡補償可以在轉換之前，如此一來，每個R、G1、G2或B像素會獨立地轉換成各自的對數值，接著處理這些像素，將高動態範圍結果從對數刻度轉換回主線性拜爾馬賽克，有助於在影像感測器及一般使用的影像處理器中插入處理程序。

本發明中，極高動態範圍(ultra high dynamic range)影像包括三個主要階段：融合、色調映射及壓縮。

此外，本發明保留了擷取到的高動態範圍場景的細節與顏色。

再者，最後所產生的影像會在擷取及再生裝置的能力範圍內盡可能地自然。

本發明中的高動態範圍處理係在拜爾馬賽克影像中執行(影像感測器的原始影像資料)，融合技術及色調映射技術沒有使用到解馬賽克或色彩空間轉換，可節省很多處理資源，減少色彩損失。

所有的高動態範圍處理操作都在對數刻度中進行，以滿足人眼視力方面，此方法明顯可簡化計算。

融合計算時，每一高動態範圍擷取時會使用N的影像框架(不同曝光度)。

融合處理有兩種模式：全重置(full-reset)融合模式及低動態範圍更新的融合模式，第一種全重置融合模式係在擷取所有影像框架後，建立一高動態範圍框架，第二種低動態範圍更新的融合模式則是將先前的高動態範圍框架更新為一低動態範圍框架，以取得一新高動態範圍框架。

舉例而言：若低動態範圍框架每秒顯示的框架數為120，則第一種模式給予高動態範圍影像每秒30框架數，第二模式給予高動態範圍影像每秒120框架數。

在某些場域可編程閘極陣列（FPGA）設計中，一16為原操作將高動態範圍影像限制在曝光值16（exposure value, EV），但即使這允許覆蓋一影像感測器的所有曝光範圍設定，只能利用感測器的定時來控制曝光時間。

此外，輸出的高動態範圍影像為一拜爾馬賽克高動態範圍影像。

色調映射技術包括執行局部自適應性色調映射至一亮度範圍壓縮在人眼舒適的方式。色調映射是人眼的導向，換言之，本發明的色調映射影像類似藝術家的繪畫方式。

色調映射過程中會保留色度（color chromaticity），顏色失真是最小的，這取決於拜爾馬賽克型態和透鏡感測器系統的光學特性。這是藉由在主感測器的顏色上色調映射出拜爾馬賽克影像（沒有色彩空間轉換和解馬賽克）的能力所提供。

舉例而言，本發明可以將高動態範圍的亮度範圍壓縮在96 dB每一像素8位元輸出，且輸出的高動態範圍影像是一拜爾馬賽克色調映射高動態範圍影像。

當使用32位元處理時，融合可以根據影像感測器放棄曝光值32EV的高動態範圍影像。

色調映射可從192dB開始壓縮，利用局部自適應性計算法壓縮到8位元影像。

本發明提供一種高動態範圍影像，請參考第1A圖，其為本發明高動態清晰度視頻處理方法之一實施例之流程圖，及參考第1B圖，其為本發明高動態清晰度視頻處理中融合技術之一實施例之流程圖。

第1A圖所示之高動態清晰度視頻處理方法100中，首先步驟110接收入射光，步驟120光線穿過一拜爾過濾器，步驟130一影像擷取裝置擷取光線，影像擷取裝置可為一感測器陣列。

影像擷取裝置中的原始影像資料提供給一高動態範圍處理器模組進行處理，在步驟140中，對原始影像資料執行融合技術，步驟160執行色調映射技術。

步驟180中，將已融合及色調映射的資料轉換成紅綠藍（RGB），並輸出高動態範圍影像，如步驟190所述。

本發明的高動態範圍視頻處理方法100提供執行融合和色調映射技術的唯一方法，係在拜爾過濾器馬賽克技術執行後接著將其轉換成紅綠藍，而非先轉換成紅綠藍再執行融合及色調映射技術，本發明藉由此方法可顯著地將較小的資料串流以較高的框速率處理。

本發明中的高動態範圍處理係在拜爾馬賽克影像中執行（影像感測器的原始影像資料），融合技術及色調映射技術沒有使用到解馬賽克或色彩空間轉換，可節省很多處理資源，減少色彩損失。

融合計算時，每一高動態範圍擷取時會使用N的影像框架（不同曝光度），此方法可支持在不同曝光度下任何框架數的融合。

融合處理（步驟140）有兩種模式：全重置(full-reset)融合模式及低動態範圍更新的融合模式，第一種模式（第1B圖步驟145、150）全重置融合模式係在擷取所有影像框架後，建立一高動態範圍框架，第二種模式（第1B圖步驟155）低動態範圍更新的融合模式則是將先前的高動態範圍框架更新為一低動態範圍框架，以取得一新高動態範圍框架，因此，高動態範圍框架係在一低動態範圍框架之一框架速率下，利用低動態範圍框架來更新。

執行局部自適應性色調映射至一亮度範圍壓縮在人眼舒適的方式。色調映射是人眼的導向，換言之，本發明的色調映射影像類似藝術家的繪畫方式。

請參考第1C圖，其為本發明高動態清晰度視頻處理方法之一實施例之流程圖。

高動態清晰度處理方法200包括主線性拜爾馬賽克訊號直接轉換成一對數刻度像素層級，如步驟210，如此一來，每個R、G1、G2或B像素會獨立地轉換成各自的對數值，接著步驟220處理這些像素以獲得一高動態範圍結果，步驟230中，將高動態範圍結果從對數刻度轉換回主線性拜爾馬賽克。

請參考第2圖，其為本發明中高動態清晰度視頻處理裝置之一實施例之方塊圖。

本發明中之高動態清晰度視頻處理裝置10中包括一拜爾過濾器50、一影像擷取裝置60及一高動態範圍影像處理器80（或高動態範圍影像處理模組）。

在本發明之一實施例中，高動態範圍影像處理器80包括一場域可編程閘極陣列（field programmable gate array, FPGA）。

操作時，入射光40被高動態範圍視頻處理裝置10接收，入射光40通過拜爾過濾器50後，被影像擷取裝置60擷取，此影像擷取裝置60可為一感測器陣列。

來自影像擷取裝置60的，原始影像資料70提供給高動態範圍影像處理器80來處理，該高動態範圍處理器擁有融合原始影像資料和色調映射相關技術的能力。

融合後的色調映射影像檔被轉換成RGB格式的資料，接著輸出高動態範圍影像。

高動態範圍影像(high dynamic range imaging, HDRI)的目標是在於達到人眼可看到的動態範圍：只要人眼可觀察到的所有亮點或黑影的場景，之後高動態範圍影像處理系統(HDRI system)會儲存及重新產生相同的視覺資料。

此表示，高動態範圍影像處理系統的感應曝光值在42...46之間（人眼可視範圍）或者至少在曝光值22...24之間(人眼一般可視範圍)。

在大部分的情況下，影像感測器的動態範圍是不足以感應曝光值8（低成本相機）到14（hi-end相機）的光源。

為了擴展感應範圍，使用了曝光器支架(exposure bracketing), 一組低動態範圍影像(支架)透過搭配各種不同的曝光設定在相同場景產生影像資料。

支架(Brackets)內含多個不同的設定如曝光時間、增益（或ISO速度）及光圈，接著，一融合程序用以將一組低動態範圍影像轉換成高動態範圍影像，而融合的品質是關鍵在於曝光器支架的用法（bracketing method）。

在不同的曝光時間條件下，會有不同的低動態範圍影像，整個影像會被讀取後給每個曝光器(bracket)，此方法將可得到最大動態範圍的感測方法，因為可使用所有範圍的曝光時間設定。

於增益(或ISO速度)曝光中，不同的增益設定可產生不同的低動態範圍影像，此方法產生的影像只會取一次，會保留在影像感測器中之一類比緩衝器內，曝光器(bracket)是由多個影像(來自使用多個不同增益設定的類比緩衝器的影像)形成，此融合過程不須做de-ghosting校正，因不同框架之間並沒有移動。

光圈曝光需要機械式的光圈操作，不同的曝光會改變光圈值，因此在假設的曝光時間之間定義了光通量範圍。

此種的曝光屬於固定曝光時間及固定增益，所以曝光器（與其他曝光器方式相反）會有相同的信噪比，如此一來，曝光時間愈大，可以達到最佳的信噪比。

曝光方式的整合被用於達到更好的信噪比或更少的鬼影。

曝光值24的高動態範圍影像的影像資料大小4倍於一般的8位元低動態範圍影像，好的壓縮技術可以有最小的色彩損失來存高動態範圍影像，及透過傳輸協定傳輸該影像。

使用重現裝置(如監視器或印表機), 無法表現超過8~12曝光值的動態影像。色調映射方法可以映射所有亮度值（影像中的所有像素）至裝置的目標動態範圍，以上為常見的動態範圍壓縮。

色調映射為複雜的方法，使用該方法會映射所有亮或暗的高動態範圍影像，使高動態範圍影像可重現在低動態範圍裝置（全域對比度修改），影像的視覺對比不應損失（局部對比度修改），且色彩不應被改變（或應該將色彩遺失最小化）。

以下細節為色調映射技術的一些挑戰。

任意影像（低動態範圍或高動態範圍）透過其像素表示，如，其中： - 符號I 代表指定顏色域中的像素顏色組成其中之一 (例如 ) - (x,y)值代表影像中像素的的空間座標。

有許多不同的色調映射技術，可分為簡單的「像素層級」TM及TM中的細節「保存」。

簡單的「像素層級」TM中，色調映射曲線表示任何像素（所有像素的共通曲線），此情況下，沒有任何影像細節被列入記錄，像素的映射至曲線以在最後的色調映射影像中取得一新值，如下：

單純「像素層級」色調映射的好處在於可允許整合 TM曲線至影像感測器裡做為「晶片上」解決方法。

然而，在一些影像細節上有對比的損失，當動態範圍的高動態範圍影像曝光值大於 10時，因轉換公式(相同於在圖像中的所有像素)不知道影像細節：預先定義TM曲線將不會符合部分影像亮度的細節。

在上述TM曲線中，光譜頻率的分析被用於高動態範圍影像的保存，在此情況下，高動態範圍影像被分為兩層：細節的高頻層及其他資料的低頻層，此影像層級區分如下： (2.1)

透過高通濾波器取得（例如用傅立葉轉換），是由影像I和層計算得來：

方法1可被解釋為等同的入射光能量分離，如光能量的空間分佈在感測器的像素上。

全局對比度：會修改為目標監視器需要的高動態範圍（通常利用類伽碼TM公式修改）： (2.1.1)

局部對比度：局部對比度是被的範圍所改變，因此該範圍會造成對比度變低或變高。

詳細的對比度，或微對比度：的值是根據波幅的改變，且常被波幅因子A所改變： (2.1.2)

接著，此公式(2.1)被用於色調映射影像： (2.2)

已知公式(2.2)產生非自然影像，因上述對比操作在線性能量到數位刻度中執行，但人眼在對數的方法下感知對比。

此外，傅立葉轉換計算量太大，例如視頻應用程式，因此，為了讓色調映射更自然並增加高動態範圍影像系統的效率，色調映射使用了一對數，其表現為複數層。

其中l 為一對數基數，通常為2（如曝光值刻度），因此l 的2x變化會與曝光值1相關。

此情況下，像素層級的分離式更類似人眼視覺系統： (2.3)

根據人眼的操作，係利用一低通濾波器的應用程式從B計算，利用指定標準差γ的一高斯二維核心濾波器：

參數γ係做為濾波器的有效半徑。

接著從(2.3)計算，如下：

此處像素層級的映射操作與(2.3)類似，但是在對數刻度中： (2.4)

及層亦可知局部對比度層及全局對比度層，依據 (2.5)

此方法接近人眼視覺，其產生的結果優於高動態範圍色調映射的影像，然而公式(2.4)只接近人眼視覺系統，其可表示4階的視覺角度的小細節。所以，此方法(2.4)的影像品質關鍵在於影像觀察的距離(人眼至顯示裝置的距離)，影像觀察的距離是根據高斯濾波器的參數γ。此外，細節的對比無法被不同的光譜頻率改變，由於γ被使用；較大的γ值會導向影像中高對比邊的「光暈」，再者，因子A不應該是恆定的，舉例而言，因為「光暈」可以是一組不明顯的細節，但可出現在影像的均勻明亮視場中。

理論上，像素的電子信號可以用穿過光圈的定量的入射光能量之光譜分佈(spectral distribution)來表示，並一時段τ（曝光時間）內的光譜靈敏度(spectral sensitivity) ，因此量測到的像素為：

其中A為比例常數，α為任意放大增益（如類比、數位）。

注意：

其為一色彩組成值，根據像素的光譜敏感度 /「主要彩色濾波器」/及一入射光譜，且：

其為一像機曝光因子（依據相機的曝光設定）。

接著， (3.1)

大部分的情況下，只有曝光因子ε可被相機設定所控制，是根據一擷取場景中不可控制的、動態改變的光線範圍，例如環境的光沿著人工的光線。

曝光變化因子如下述： (3.2) 其中，為相機的曝光變化因子；為與場景光線變化相關的一曝光變化因子； — 用於後處理曝光校正。.

每個β值可由一曝光器序列(bracketing sequence)定義。

自(3.1) 和 (3.2), 曝光值的改變會改變像素值： (3.3)

在一些特殊情況下，影像感測器的部分像素會改變曝光值。

在公式(3.3)中為理想的感測器，但任何影像感測器的轉換方程式都是非線性的，即使轉換方程式的工作範圍是線性的如(3.1)，其至少需要二種飽和度：

表示指定感測器（如相機）轉換函數中的最高值（相機飽和度），舉例而言，8位元像素值（低動態範圍）為；N位元像素值（N＞8，高動態範圍）則。

代表當入射光能量低於感測器的最小範圍時，感測器轉換方程式的最低值（相機飽和度）。

本發明中，係利用對數刻度表示像素值：

轉換方程式的飽和度會限制的範圍，因此像素值的範圍(B 刻度)如下：其中，

B的值會重新被標準化成類似分貝的值，其中最大值(或白點)等同於零： (3.4) 其中，

係用於相機系統中，但在需要標準化時亦可設定成任何方便的參考值。

為了顯示在對數B-刻度處理後的像素值，使用了下列向後轉換公式：其中為B-刻度時監視器所顯示的動態範圍。

清晰度變化(3.2)產生一重現裝置上的像素視覺亮度變化，例如監視器。

在對數B-刻度中，清晰度變化係由一相機及/或場景照明所產生，可透過下列公式描述：其中清晰度變化為： (3.5)

因此，代表通過參數β的一附加曝光變化（然後為視覺亮度變化）。

從公式(3.2)及(3.5)可看出，總曝光變化和校正可以通過其附加成分的總和來表示：可表示為： (3.6) 其中，

因此，對於像素亮度的任何修改或校正皆可利用曝光變化，該值(3.5)可由任一基本成分 (3.6)獲得： — 場景照明變化（例如使用手電筒）； — 像機曝光變化（時間、增益、光暈）； — 數學「曝光校正」

舉例而言，若曝光變化及在重現裝置之一像素上所產生的視覺亮度不足，則像素曝光的一些附加校正可利用的數學來執行。

由於任意值為附加的，因此下列b-刻度(b-scale )的公式亦為真： (3.7) , ,

由此，一個像素值的修正係由「曝光值」來定義，為一像素之一曝光值，而為像素之一曝光變化。

為了將像素的亮度值從一範圍換成另一範圍（例如從高動態範圍轉換成低動態範圍──讓高動態範圍影像的所有像素可在一低動態範圍的重現裝置上觀看），本發明使用了一色調映射操作。色調映射可壓縮或擴張曝光範圍。

色調映射操作係由來源b範圍到目標b範圍的值映射來定義，映射操作透過下列附加函數執行：

其中，執行影像中(x,y) 座標的像素的附加曝光校正為： (3.8)

函數會表示在相同成分中，如公式(3.7)：

要建立「自然工作」的色調映射功能，色調映射應工作方式應類似於人眼局部調整；它應該幫助想像使影像的暗區更亮，同時保持最亮區域可被觀察到。此人眼能力（適應當地情況）與線性（光能）刻度中一伽瑪函數近似。當一低動態範圍重現裝置被用來播放影像時，附加的伽瑪校正會提供給影像中的所有像素：

此G_p I_p 曝光補償方面進行曝光範圍壓縮，可幫助人眼觀察影像像素，其值I_p 都超出重現裝置的動態範圍。校正參數γ允許觀察影像的暗區，同時保持最亮元件；參數α執行一輸入像素值（或曝光值）的重新縮放或放大；參數A可被認為是重現裝置的輸出亮度之縮放或放大因子。

在一對數B刻度（B -scale）中，伽瑪校正是一個簡單的線性函數：其中 , .

當標準化到b刻度(3.4)後，上述公式會更簡化：

從最後兩個公式中可看出，伽瑪函數在對數b刻度（或B刻度）中利用一壓縮因子1/γ執行線性壓縮或擴張，此函數亦可利用值執行像素的一輸入附加曝光校正，及利用值執行一輸出像素曝光（亮度）校正。

此操作可通過一附加曝光校正(3.8)來表示，如下：因此，基本的類伽瑪附加曝光校正對任意像素為： (3.9) 其中： - 執行一像素之一初步曝光校正； - 定義一動態範圍壓縮，其亦可做為一全局對比因子； - 執行像素的最終曝光校正，亦可做為一輸出亮度變化。

請參考第3圖，其為附加類伽瑪（gamma-like）曝光校正函數之示意圖。

在 (公式2.1.1)的定義中，函數的參數ρ修改影像之一全局對比度，其適用於像素曝光之總輸入範圍的壓縮或擴展，換言之，其修改曝光值與人眼的局部適應類似。

本發明之一實施例中，公式(3.9)的做為（超過其參數）被認為是一本地曝光補償（local exposure compensation, LEC），當影像正在重現裝置中播放、被觀看時，其係用以補償人眼的局部適應。 (3.10)

因此，當設定最大輸入曝光值後，參數ρ、和有助於在重現裝置上更好地觀察影像的暗區，以進行局部曝光補償。補償是在人眼局部適應下執行。

再者，所有的及具有相同對比，用以標準化。在此實施例中，公式(3.1)可變成如下： (3.11)

雖然公式(3.10)的優點在於局部曝光補償，但其缺點顯然是從伽瑪函數定義：當調整壓縮高對比度的場景時，亦壓縮了影像中較亮細節的天然對比度，使得它們在視覺上不自然。換言之，若有任何對比壓縮被禁止或屏蔽，則本地曝光補償（LEC）沒有意義，因為在補償後影像不會改變。

因此，色調映射不能僅用公式(3.10)，在本地曝光補償和足夠的視覺對比之間需維持一個好的平衡，這是為何影像細節的原始對比度需要用本地曝光補償進行局部適應。

在本發明之一實施例中，本地曝光補償局部適應被認為是在一細節之一天然微對比度（native micro-contrast）的反應。

透過在中心半徑r、以興趣點（point of interest, POI）為圓心o的圓形區域C內，單一步驟過渡來考慮一個基本的「細節」（被稱為「邊緣」），如第4圖及第5圖所示。

第5圖為第4圖中沿著切線l 的過渡之示意圖。線段l 與過渡邊e垂直，向量r'是在l 的方向。

實施例中，天然微對比度係藉由o點的值到平均值的局部曝光偏差來定義，計算C區域中所有的b值：

舉例而言，第4圖中o點獲得，則的最大值可在附近被找到。

若o點的座標為(x,y)，則

本地曝光補償的公式(3.10)透過壓縮因子ρ的本地修改產生局部適應。為了維持或放大細節中的微對比度，本地曝光補償公式中的斜率（由參數定義）應在C區域中減少，若該區域中任意地方的曝光偏差不為0。

第6圖為局部LEC變化（接近）的單一步驟過渡之示意圖。

根據第6圖及公式(3.11)，對本地曝光補償進行局部修改變成要依賴γ，可寫成如下公式： (3.12) 其中

公式(3.12)具有下列ρ_local 參數的特性：當ρ_local =0，微對比度保存結果。這是基本的情況，在C區域中微對比度沒有變化。因此，將曝光校正加入到初始影像中：可寫成因此，如上所示，對數刻度中的不會改變微對比度。對於其他ρ_local 而言： : 微對比度抑制； : 將公式(3.12)換成(3.11)，沒有微對比度放大，只有伽瑪壓縮； : 微對比度放大；參數做為一全局伽瑪壓縮參數。下列為微對比度到局部對比度的細節。若高斯加權平均（用分散γ² ）計算： (3.13)

公式(3.12)與公式2.3、2.4、2.5所描述的工作方式相同，都與人類視覺系統相關。接著，影像被分成兩層：G（「全局對比度」的部分）和L（「局部對比度」的部分）：及係在公式(3.13)中計算。

此處，細節的特徵尺寸約等於或小於γ值（空間頻率大於〜1 / γ）都在層中，與其中的「局部對比度」數據結合（類似於上面描述的「微對比度」）：

接著，公式(3.12)會改寫成下列方式： (3.14) 其中操作全局對比度校正(如同 )，操作影像細節的局部對比。公式 (3.14)與(3.12)具有相同特性： :維持局部對比度； : 局部對比度抑制； : 沒有局部對比度放大，只有伽瑪壓縮；：局部對比度放大。

公式(3.14)仍可能與公式2.3、2.4、2.5所有相同的缺點，包括「光暈」人工產物。

為了解決在伽瑪壓縮操作中局部對比度不足，及消除「光暈」人工產物的問題，本發明利用一種方法，其中的高動態範圍影像是由人眼相關的公式(3.14)處理，而且還對人眼有類似天然的感知，「像藝術家創作的繪畫」。為了實現局部適應色調映射（Locally Adaptive Tone Mapping, LATM），其中： 1. 任何一個在(x,y)點上執行的局部對比度修改，可做為一附加對比度補償，其為施加在原始圖像k_p 的該點中發現的天然局部對比度偏差。 2. 所得的局部對比度偏差應盡可能接近原來的偏差，而所有的值仍然映射到重現裝置中有限可用的對比度範圍（或塗料、油墨反射濃度等）。 3. 所得的局部對比度偏差在任何距離時觀察範圍不變，使該附加局部對比度補償可獨立進行處理每一可用的空間頻率（〜1 / r）。

在此，因子應在一個關係為r的每個點(x, y)是局部自適應的天然局部對比度（native local contrast, NLC）的偏離。

為解決上述狀態1，附加局部對比度補償已經表示在公式(3.14)中做為原始偏差的「一部分」：。

為操作方便起見，局部對比度修改的參數被重寫為：因此，

其中在(x,y)點被一原始偏差調製如下：且參數為一個共同的縮放因子，不依賴及座標(x,y)。

附加局部對比度補償係利用下列公式定義：其中代表一導致局部對比度偏差（resulting local contrast deviation），應該是「塗」在一重現裝置上。

為解決上述狀態2，定義使用的一近似模型之一適應性行為，其由下述「平衡對比」關係描述：

此處，值為重現裝置上最大可用對比度範圍。

從上述狀態1和2得到： (3.15)

接著： (3.16)

其中h_s 為一光暈抑制係數，。

光暈抑制係數h_s 為大於0的正常數，不依賴(x,y,z)且可由使用者操控。

狀態1中的公式(3.16)定義了一本地的自適應局部對比層，如下式(3.17)： (3.17)

利用公式(3.14)中的(3.17)中的層可將全局對比層替換成局部對比層，定義如下：

接著，色調映射公式(3.14)被替換成其局部自適應表示。 (3.18) 其中，

為解決上述狀態3。在同一點(x,y)計算γ的附加局部對比度補償(3.17)可以給對影像的不同觀察距離給予不同視覺對比的結果。在第4圖所示的特定實施例中，公式(3.17) 被認為是計算γ在o點（與過渡邊e之間的距離γ’）的依賴關係：沿著l 方向的視覺亮度分佈將取決於其觀測距離。為了使輸出影像的詳細信息（亮度轉換）目視較少依賴於他們的觀察距離，建立一有效局部自適應色調映射函數（LATM）如在以上所有可用γ的(x,y)有不同的響應的疊加。此可藉由參數γ結合公式(3.18)完成，如下式(3.19)： (3.19)

R_max 對所有影像尺寸設定最大可用值γ，在演算法應用程式中可以是由使用者設定的。

公式(3.19)可重寫如下： (3.20) 其中，

層可由公式(3.13)計算出來，或是利用一些其他事用的低通濾波器。

參數、、及為使用者定義的常數，不依賴(x,y,z) 。參數及用於相應的局部和全局對比度校正的手動調整，為重現裝置的一對比度限制，為一總體輸出曝光偏移量。

以下所述為本發明的高動態範圍成像在一高動態範圍視頻裝置的硬體實現。

在輸入數據的形式中，視頻串流由連續影像（框架）所組成，由一影像感測器或一組影像感測器所產生。

對於給定實現的高動態範圍演算法，假設這些框架可以做為連續框架之一單一視頻串流或是多個平行視頻串流。

對於提出的高動態範圍處理，此為框架數目，並不重要。此處唯一的參數是一曝光設定

其中τ為曝光時間，α為增益值，f 與光圈相關。

準備輸入資料時，讓「I」表示一內部m位元彩色像素資料，其由一彩色影像感測器（Color Image Sensor, CIS）的數位輸出端產生。I=I(x,y) 在此處像素中入射光功率之一線性亮度表示，其中(x,y)是影像中的像素坐標。像素資料在[0, I₀ ]的範圍內，其中I₀ 為最大可能正值。對m位元資料而言

該融合演算法是用於馬賽克RGGB影像，因此將有4種「顏色」的像素、、及，這取決於(x,y)的位置。由於無論融合過程將影像中相鄰色的的像素逐一融合，每個像素的亮度將被獨立處理。因此，對於融合過程的輸入會以I = I (x,y) 的形式呈現，沒有彩色濾光器的符號。

融合過程使用一對數（以2為單位）表現色彩亮度代表曝光值 (4.1)

其中b_in 為標準化，對任意I 而言永遠小於0。

通常，像素到ADC轉換的傳遞函數不是線性的，所以初步線性化是需在計算之前優先進行。儘管如此，一些主導類伽瑪非線性係由以下計算公式進行補償 (4.2)

公式(4.2)具有一常數參考值b_ref 及解伽瑪係數C_rs ，此二值皆不依賴(x,y)。

曝光設定對於每一框架（所謂的「支架」(bracket)）在這裡利用每一影像的一曝光偏移量定義，其中n為一支架的數目（曝光設定）

其中是「參考」曝光。在融合過程之前，影像會根據其相應的曝光設定進行計算，曝光設定為 (4.3)

下列為融合演算法的輸入參數： 1. — 低動態範圍框架中高亮度(highlights)的閥值。 2. —給予的低動態範圍框架之曝光值偏移量。 3. — 高動態範圍影像的曝光值之最大動態範圍，。 4.Q — 鬼抑制因子，。 5. — 混合參數，。

對於記憶體分配而言： 1. 為一緩衝器，用於在輸入資料準備階段所獲得的輸入低動態範圍影像。 2. 為一緩衝器，使相同大小（於像素中）的結果高動態範圍影像可做為輸入的低動態範圍影像。 3. 是高斯分佈二維核心（低通高斯濾波器的係數）。

融合演算法融合了影像中的像素，緩衝器中的影像藉由轉換成緩衝器中的影像，如下述：

緩衝器利用支架序列中的第一個框架n=0進行初始化。

接著，對於其他支架(n＞0)：

1. 找出絕對差值

2. 找出參考值變形1：變形2：

3. 產生一融合屏蔽(merging mask)

4. 形成一有效融合屏蔽變形 1.% 直接將像素值的混合進行融合變形 2.% 利用de-ghost操作進行融合

5. 利用一低通濾波器整體有效屏蔽，以在移動區域中抑制色彩過渡

6. 利用框架更新

7. 對所有剩下的支架（框架）重複1~6操作。

對色調映射而言，色調映射演算法用以將影像拜爾馬賽克，以對數刻度表示。最小著色細節應該佔據RGGB像素的3×3。為了保持細節的顏色，的影像被分離成「亮度」組成：及「顏色」組成故

其中col 表示在(x,y)位置上的適當像素原色R、G1、G2或b。

第一組成剛好包含影像細節的曝光亮度值，第二個包含細節的顏色。理想情況下，顏色組成和亮度組成應該不依賴於彼此。

當分離後，色調映射計算只會在上執行。

為了達成此目的，亮度被分離至一低細節（low detail, LD）組成及一高細節（HD）組成中，因此

對每一座標(x,y)而言，色調映射會由以下之操作進行

每一像素座標(x,y)的色調映射函數定義如下：其中，

從一局部自適應處理可獲得

然後最後的色調映射彩色影像是由以下公式獲得其中

上述公式中的參數定義如下： —影像的使用者定義的白點值 — 影像的總曝光值 —重現裝置的目標動態範圍 —類伽瑪（Gamma-like）全域對比 —影像的局部對比修改值 —局部適應處理的敏感度 —局部適應處理的死亡區域

亮度組成是從通過一高斯低通濾波器利用高斯二維核心算得

當偵測到最小影像細節時，二維核心分布的標準差可覆蓋至少3X3的RGB像素區域。

請參考第7圖，其為二維核心中RGGB像素分佈的5x5核心實施例之示意圖。

高動態範圍影像的低細節組成（low-details component）係以通過下列操作計算：輸入參數： —整合回圈的次數記憶體規劃： —二維核心的低通濾波器 —高動態範圍影像的記憶體緩衝器大小 —高動態範圍影像的記憶體緩衝器大小 —整合記數器—高動態範圍影像的記憶體緩衝器大小處理程序： 1.初始化緩衝器接著反覆N次迴圈以下步驟： 2. 設定參數 //根據指定的大小調整水平找出一重新採樣步驟；n — 迴圈次數 //對齊參數 //對齊參數 3. 依據指定尋找低通影像： //應用到低通濾波器 4. 針對濾波的影像以可用尺寸取樣 5.藉由利用任何可用重新縮放的方法，以重新縮放後，取得低通濾波後的高動態範圍影像。 6. 整合影像至低細節影像 7. 整合遞增計數器 8. 創造可用尺寸中較小尺寸的新可縮放影像 9. 若回到第2點，反之則回傳標準化後的結果

將任何輸出影像 (例如或 )從曝光值轉換回推至線性值。

其中，是重現裝置的動態範圍或影像數位化後的線性值。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10‧‧‧高動態清晰度視頻處理裝置

40‧‧‧入射光

50‧‧‧拜爾過濾器

60‧‧‧影像擷取裝置

70‧‧‧原始影像資料

80‧‧‧高動態範圍影像處理器

90‧‧‧輸出高動態範圍影像

第1A圖為本發明高動態清晰度視頻處理方法之一實施例之流程圖。第1B圖為本發明高動態清晰度視頻處理中融合技術之一實施例之流程圖。第1C圖為本發明高動態清晰度視頻處理方法之一實施例之流程圖。第2圖為本發明中高動態清晰度視頻處理裝置之一實施例之方塊圖。第3圖為附加類伽瑪（gamma-like）曝光校正函數之示意圖。第4圖為在中心半徑r、以興趣點（point of interest, POI）為圓心o的圓形區域C內，單一步驟過渡的基本細節之示意圖。第5圖為第4圖中沿著切線l的過渡之示意圖。第6圖為局部LEC變化（接近）的單一步驟過渡之示意圖。第7圖為二維核心中RGGB像素分佈的5x5核心實施例之示意圖。

Claims

一種高動態清晰度視頻處理方法，包括：光線通過一拜爾過濾器(Bayer filter)；利用一影像擷取裝置擷取該光線，以建立一拜爾馬賽克影像(Bayer-mosaic image)；對該拜爾馬賽克影像執行至少一融合技術；對該拜爾馬賽克影像執行至少一色調映射技術；將該融合技術及該色調映射技術的結果轉換成至少一紅綠藍(RGB)資料；以及依據該紅綠藍資料輸出一高動態範圍影像。
如請求項1所述之高動態清晰度視頻處理方法，其中該融合技術時，不同曝光的四個框架係被高動態範圍擷取。
如請求項2所述之高動態清晰度視頻處理方法，其中該融合技術包括一全重置(full-reset)融合模式及一低動態範圍更新的融合模式。
如請求項3所述之高動態清晰度視頻處理方法，其中該全重置融合模式包括當該四個框架皆被擷取時創建一高動態範圍框架。
如請求項3所述之高動態清晰度視頻處理方法，其中該低動態範圍更新的融合模式包括將一先前高動態範圍框架更新為一新低動態範圍框架資料，以取得一新高動態範圍框架。
如請求項3所述之高動態清晰度視頻處理方法，其中該低動態範圍更新的融合模式包括在一低動態範圍框架之一框架速率下，將一高動態範圍框架更新為一低動態範圍框架，以取得一新高動態範圍框架。
如請求項1所述之高動態清晰度視頻處理方法，其中該融合技術及該色調映射技術沒有使用到解馬賽克或色彩空間轉換。
如請求項1所述之高動態清晰度視頻處理方法，其中該高動態範圍影像的所有處理技術係在一對數刻度中進行，以滿足人眼視力方面。
如請求項1所述之高動態清晰度視頻處理方法，其中該色調映射技術包括執行局部自適應性色調映射至一亮度範圍壓縮在人眼舒適的方式。
一種高動態清晰度視頻處理裝置，包括：一拜爾過濾器，用以建立一拜爾馬賽克影像；一影像擷取裝置，擷取該拜爾馬賽克影像；以及一高動態範圍處理器，從該影像擷取裝置接收該拜爾馬賽克影像，對該拜爾馬賽克影像執行至少一融合技術，對該拜爾馬賽克影像執行至少一色調映射技術，將該融合技術及該色調映射技術的結果轉換成至少一紅綠藍(RGB)資料，並依據該紅綠藍資料輸出一高動態範圍影像。
如請求項10所述之高動態清晰度視頻處理裝置，其中該高動態範圍處理器包括一場域可編程閘極陣列(field programmable gate array, FPGA)。
如請求項10所述之高動態清晰度視頻處理裝置，其中該拜耳濾波器及該影像擷取裝置是從該高動態範圍處理器中分開的裝置。
如請求項10所述之高動態清晰度視頻處理裝置，其中該拜耳濾波器及該影像擷取裝置是與該高動態範圍處理器整合的裝置。
一種高動態清晰度視頻處理方法，包括：將複數主線性拜爾馬賽克訊號直接轉換成一對數刻度(logarithmic scale)像素層級(pixel-wise)；其中每一R、G1、G2或B像素分別轉換到各自的一對數刻度值；執行該等像素，以取得一高動態範圍結果；以及將該高動態範圍結果從該對數刻度轉換回該主線性拜爾馬賽克訊號。