TW202422469A - 利用多域運動校正的高動態範圍（ｈｄｒ）圖像產生 - Google Patents

Abstract

揭示用於擷取具有在不同景深的主題的圖像的系統、裝置、過程和電腦可讀取媒體。一種處理圖像資料的方法，包括以下步驟：獲得使用圖像感測器擷取的第一圖像，第一圖像與第一曝光相關聯；獲得使用圖像感測器擷取的第二圖像，第二圖像與比第一曝光長的第二曝光相關聯；基於第一變換來修改第一圖像的第一區域，並且基於第二變換來修改第一圖像的第二區域，以產生經修改的第一圖像；及至少部分地經由組合經修改的第一圖像和第二圖像來產生經組合圖像。

Description

利用多域運動校正的高動態範圍（HDR）圖像產生

在一些實例中，描述了用於在不同的域中使用運動校正來產生高動態範圍（HDR）圖像的系統和技術。

相機是一種接收光線並使用圖像感測器擷取圖像訊框（諸如靜態圖像或視訊訊框）的設備。相機可以包括處理器，諸如圖像信號處理器（ISP），其可以接收一或多個圖像訊框並處理該一或多個圖像訊框。例如，由相機感測器擷取的原始圖像訊框可以由ISP處理以產生最終圖像。相機可以被配置各種圖像擷取和圖像處理設置，用以改變圖像的外觀。一些相機設置是在拍攝照片之前或期間決定和應用的，諸如ISO、曝光時間、光圈大小、f/stop、快門速度、聚焦和增益。其他相機設置可以配置對照片的後處理，諸如對對比度、亮度、飽和度、清晰度、色階、曲線或顏色的更改。

相機可以被配置各種圖像擷取和圖像處理設置。應用不同的設置可能產生具有不同的外觀的訊框或圖像。一些相機設置是在擷取照片之前或期間決定和應用的，諸如，ISO、曝光時間（亦稱為曝光持續時間）、光圈大小、f/stop、快門速度、聚焦和增益。其他相機設置可以配置對照片的後處理，諸如，對對比度、亮度、飽和度、清晰度、色階、曲線或顏色的更改。

在一些實例中，描述了用於利用多域運動校正產生高動態範圍（HDR）圖像的系統和技術。該等系統和技術可以諸如經由減少由HDR圖像中的運動引起的雜訊或其他缺陷（例如，減少重影），提高HDR圖像的圖像品質。

在一些實例中，描述了用於利用多域運動校正產生HDR圖像的系統和技術。揭示用於處理一或多個圖像的系統、裝置、方法和電腦可讀取媒體。根據至少一個實例，提供了一種用於處理一或多個圖像的方法。該方法包括以下步驟：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；獲得使用該圖像感測器擷取的第二圖像，該第二圖像與比該第一曝光長的第二曝光相關聯；基於第一變換來修改該第一圖像的第一區域，並且基於第二變換來修改該第一圖像的第二區域，以產生經修改的第一圖像；及至少部分地經由組合該經修改的第一圖像和該第二圖像來產生經組合圖像。

在另一個實例中，提供了一種用於處理一或多個圖像的裝置，該裝置包括至少一個記憶體和耦合到該至少一個記憶體的至少一個處理器。該至少一個處理器被配置為：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；獲得使用該圖像感測器擷取的第二圖像，該第二圖像與比該第一曝光長的第二曝光相關聯；基於第一變換來修改該第一圖像的第一區域，並且基於第二變換來修改該第一圖像的第二區域，以產生經修改的第一圖像；及至少部分地經由組合該經修改的第一圖像和該第二圖像來產生經組合圖像。

在另一個實例中，提供了一種非暫時性電腦可讀取媒體，其上儲存有指令，該等指令當由一或多個處理器執行時使一或多個處理器：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；獲得使用該圖像感測器擷取的第二圖像，該第二圖像與比該第一曝光長的第二曝光相關聯；基於第一變換來修改該第一圖像的第一區域，並且基於第二變換來修改該第一圖像的第二區域，以產生經修改的第一圖像；及至少部分地經由組合該經修改的第一圖像和該第二圖像來產生經組合圖像。

在另一個實例中，提供了一種用於處理一或多個圖像的裝置。該裝置包括：用於獲得使用圖像感測器擷取的第一圖像的構件，該第一圖像與第一曝光相關聯；用於獲得使用該圖像感測器擷取的第二圖像的構件，該第二圖像與比該第一曝光長的第二曝光相關聯；用於基於第一變換來修改該第一圖像的第一區域，並且基於第二變換來修改該第一圖像的第二區域，以產生經修改的第一圖像的構件；及用於至少部分地經由組合該經修改的第一圖像和該第二圖像來產生經組合圖像的構件。

在一些態樣中，該圖像感測器是以與用於顯示由該圖像感測器擷取的預覽圖像的顯示器相比相同的方向來定向的。

在一些態樣中，該第一區域是與在場景中相對於該圖像感測器在第一深度處的物件相關聯的，並且該第二區域包括在該場景中相對於該圖像感測器在第二深度處的背景區域。

在一些態樣中，上述方法、裝置和電腦可讀取媒體中的一或多個亦包括：產生用於執行該第一變換的第一矩陣；及產生用於執行該第二變換的第二矩陣。

在一些態樣中，該第二矩陣是基於由運動感測器在當該第一圖像被擷取時的第一時間和當該第二圖像被擷取時的第二時間之間偵測的移動來產生的。

在一些態樣中，該運動感測器包括陀螺儀感測器，並且其中該第二變換包括旋轉變換。

在一些態樣中，上述方法、裝置和電腦可讀取媒體中的一或多個亦包括：從該第一圖像提取第一特徵點；及從該第二圖像提取第二特徵點。

在一些態樣中，上述方法、裝置和電腦可讀取媒體中的一或多個亦包括：基於在該第一圖像和該第二圖像之間的曝光比率差來增加該第一圖像的亮度。

在一些態樣中，上述方法、裝置和電腦可讀取媒體中的一或多個亦包括：偵測該第二圖像中的物件；及決定與該第二圖像中的該物件的位置相關聯的界限區域。

在一些態樣中，上述方法、裝置和電腦可讀取媒體中的一或多個亦包括：辨識該界限區域內的該第一特徵點的子集；辨識該界限區域內的該第二特徵點的子集；及基於該第一特徵點的子集和該第二特徵點的子集來產生該第一矩陣。

在一些態樣中，基於該第一矩陣和該第二矩陣，用於修改該第一圖像的該第一區域和該第一圖像的該第二區域的混合變換矩陣。

在一些態樣中，上述方法、裝置和電腦可讀取媒體中的一或多個亦包括：將來自該第一矩陣的至少對應於該第一區域的值加到該混合變換矩陣；及將來自該第二矩陣的至少對應於該第二區域的值加到該混合變換矩陣。

在一些態樣中，上述方法、裝置和電腦可讀取媒體中的一或多個亦包括：基於與該第一圖像或該第二圖像中的至少一個中的物件的位置相關聯的界限區域的大小，來決定該第一區域和該第二區域之間的過渡區域；基於該第一矩陣和該第二矩陣的表示來決定與該過渡區域相關聯的值；及將與該過渡區域相關聯的該等值加到該混合變換矩陣。

在一些態樣中，該第一矩陣和該第二矩陣的該表示包括該第一矩陣和該第二矩陣的加權平均。

在一些態樣中，該第一矩陣和該第二矩陣的該表示是基於從該過渡區域的內邊緣到該過渡區域的外邊緣的成比例距離的。

在一些態樣中，該第一變換包括與在該獲得該第一圖像和該獲得該第二圖像期間該圖像感測器的移動相關聯的平移矩陣。

在一些態樣中，該經組合圖像是HDR圖像。

在一些態樣中，該裝置是、是如下各項的部分及/或包括：可穿戴設備、擴展現實（XR）設備（例如，虛擬實境（VR）設備、增強現實（AR）設備，或混合現實（MR）設備）、頭戴式設備（HMD）設備、無線通訊設備、行動設備（例如，行動電話及/或行動手持機及/或所謂的「智慧手機」或其他行動設備）、相機、個人電腦、筆記型電腦、伺服器電腦、車輛或車輛的計算設備或元件、其他設備，或上述項的其組合。在一些態樣中，該裝置包括用於擷取一或多個圖像的一個相機或多個相機。在一些態樣中，該裝置亦包括用於顯示一或多個圖像、通知及/或其他可顯示資料的顯示器。在一些態樣中，上述裝置可以包括一或多個感測器（例如，一或多個慣性量測單元（IMU），諸如一或多個陀螺儀、一或多個陀螺計、一或多個加速度計、其任意組合及/或其他感測器）。

本發明內容不意欲辨識所主張保護的標的的關鍵或基本特徵，亦不意欲單獨用於決定所主張保護標的的範疇。本案標的應是經由參考本專利的整個說明書的適當部分、任何或所有附圖以及每個請求項來理解的。

經由參考以下說明書、請求項和附圖，上述內容以及其他特徵和態樣將變得更加明顯。

以下提供了本案內容的某些態樣。該等態樣中的一些態樣可以被獨立應用，並且其中的一些態樣可以被組合應用，此舉對於熟習此項技術者而言是顯而易見的。在以下描述中，出於解釋的目的，提供了具體細節，以便提供對本案的各態樣的透徹理解。然而，顯而易見的是，在沒有該等具體細節的情況下可以實踐各個態樣。該等附圖和描述並不具有限制性。

隨後描述僅提供了示例性態樣，並且不意欲限制本案內容的範疇、適用性或配置。而是，示例性態樣的隨後描述將為熟習此項技術者提供用於實現示例態樣的使能描述。應當理解，在不偏離所附請求項中陳述的本案的精神和範疇的情況下，可以對元件的功能和佈置進行各種改變。

隨後描述僅提供了示例性態樣，並且不意欲限制本案內容的範疇、適用性或配置。而是，示例性態樣的隨後描述將為熟習此項技術者提供用於實現本案內容的一個態樣的賦能描述。應當理解，在不偏離所附請求項中陳述的本案的精神和範疇的情況下，可以對元件的功能和佈置進行各種改變。

術語「示例性」及/或「實例」在本文中用於表示「用作示例、實例或說明」。在本文描述為「示例性」及/或者「實例」的任何態樣不一定被解釋為優於其他態樣。同樣，術語「本案內容的各態樣」並不要求本案內容的所有態樣包括所論述的特徵、優點或操作模式。

相機是一種接收光線並使用圖像感測器擷取圖像訊框（諸如靜態圖像或視訊訊框）的設備。術語「圖像」、「圖像訊框」和「訊框」在本文中可互換使用。相機可以被配置各種圖像擷取和圖像處理設置。不同的設置產生具有不同的外觀的圖像。一些相機設置是在擷取一或多個圖像訊框之前或期間決定和應用的，諸如，ISO、曝光時間、光圈大小、f/stop、快門速度、聚焦和增益。例如，可以將設置或參數應用於用於擷取一或多個圖像訊框的圖像感測器。其他相機設置可以配置對一或多個圖像訊框的後處理，諸如對對比度、亮度、飽和度、清晰度、色階、曲線或顏色的更改。例如，設置或參數可以被應用於處理器（例如，圖像信號處理器（ISP）），用於處理由圖像感測器擷取的一或多個圖像訊框。

數位成像設備（諸如數位相機）的動態範圍是該設備在沒有光飽和的情況下可以擷取的最大光量與該設備可以精確量測並與固有圖像雜訊（電雜訊、熱雜訊等）區分的最低光量之間的比率。傳統上，數位相機僅能擷取真實世界場景的自然照明範圍的小部分。例如，場景的動態範圍可以是100,000:1，而數位相機的圖像感測器的動態範圍可能是100:1。當場景的動態範圍超過感測器的動態範圍時，最高光級的區域及/或最低光級的區域中的細節丟失。

成像設備可以經由合併以不同的曝光設置擷取的多個圖像來產生高動態範圍（HDR）圖像。例如，成像設備可以經由將以短曝光時間擷取的短曝光圖像、以比短曝光時間長的中等曝光時間擷取的中等曝光圖像，以及以比中等曝光時間長的長曝光時間擷取的長曝光圖像合併在一起來產生HDR圖像。因為短曝光圖像通常是暗的，所以其通常保留了在被拍攝的場景的高亮（亮區域）中的大部分細節。中等曝光圖像和長曝光圖像通常比短曝光圖像亮，並且在場景的高亮部分（亮區域）中可能曝光過度（例如，太亮而無法辨認細節）。因為長曝光圖像通常包括明亮部分，所以其可以保留在被拍攝的場景的陰影（暗區域）中的細節。中等曝光圖像和短曝光圖像通常比長曝光圖像暗，並且在場景的陰影部分（暗區域）中可能曝光不足（例如，太暗而無法辨認細節），使得其對陰影的圖示太暗而不能觀測細節。為了產生HDR圖像，成像設備可以例如使用短曝光圖像的部分以圖示被拍攝的場景的高亮（亮區域），使用長曝光圖像的部分圖示場景的陰影（暗區域），以及使用中等曝光圖像的部分圖示場景的其他區域（除了高亮和陰影）。

在一些情況下，圖像擷取系統（例如，行動設備）可以包括用於擷取相對於顯示器的前向圖像的相機，以允許使用者擷取自拍並參與視訊通話。例如，在自拍中，使用者正在擷取前景（使用者的面部）和背景中的物件（例如，地標）的圖像。為了擷取圖像，使用者在預覽圖像時將圖像擷取系統遠離其身體，並且在圖像擷取系統的顯示器上輸入諸如按下實體按鈕或虛擬按鈕之類的命令。為了擷取具有低雜訊的高品質HDR圖像，使用者不能移動圖像擷取系統，此情形是因為圖像擷取系統正在不同的時間擷取多個圖像（例如，長曝光圖像和短曝光圖像）。使用者將圖像擷取系統伸展離開其身體（例如，使用者的面部），並在背景中框出感興趣的物件。當使用者已經將圖像擷取系統伸展離開其身體時，使用者將經歷使圖像擷取系統移位的一般震顫，並且可能在HDR圖像內產生雜訊和其他偽影。此外，使用者經由按下按鈕或提供向圖像擷取系統施加力的螢幕輸入來輸入命令，並且圖像擷取系統可以基於該輸入移動。例如，圖像擷取系統可以包括側面上的實體按鈕，並且當使用者的手握住圖像擷取系統時亦點擊實體按鈕，輸入可能在擷取HDR圖像時無意中導致圖像擷取系統的旋轉移動。圖像擷取系統的某個位移（例如，笛卡爾座標中的移動）亦可以由內在效應（例如，震顫）或外在效應（例如，風）引起。旋轉和位移亦可能受到更長曝光時間的進一步影響，此情形是因為相機的前向鏡頭較小並且固有地限制了光量，此舉增加了針對短曝光圖像和長曝光圖像所需的曝光時間，並且增加了由於固有或非固有運動的某個像差移動的可能性。

長曝光圖像和短曝光圖像可能基於圖像擷取系統的旋轉移動和圖像擷取系統的位移而未被對準。旋轉可以由陀螺儀感測器記錄，並且長曝光圖像和短曝光圖像可以基於偵測到的隨時間的運動來補償。由長曝光圖像和短曝光圖像的旋轉校正建立的HDR圖像將很好地對準在較遠的深度處（例如，在距圖像擷取系統的遠距離）的物件，但是靠近的物件（例如，使用者的面部）可能未被對準。亦可以基於偵測圖像內的關鍵點來校正HDR圖像。偵測關鍵點的一個示例性方法是偵測圖像上的邊緣或圖像的其他強特徵，諸如物件的角。經由偵測關鍵點進行HDR圖像校正是有利於在較近的深度（例如，較靠近相機）處出現的較強特徵，但靠近的物件（例如，使用者的面部）和在較遠的深度處的物件（如，背景中的地標物件）之間存在潛在的未對準。

在一些態樣中，描述了用於使用旋轉和平移校正的組合來產生HDR圖像的系統、裝置、過程（亦稱為方法）和電腦可讀取媒體（本文統稱為「系統和技術」）。例如，成像系統可以辨識前景物件，諸如自拍中的使用者的面部。成像系統可以使用前景物件以決定成像系統的位移，諸如辨識移動的平移矩陣。在一個說明性實例中，成像系統可以辨識與前景物件相關聯的關鍵點，並且辨識短曝光圖像和長曝光圖像之間的位移。成像系統可以使用諸如陀螺儀感測器的感測器來辨識與成像系統相關聯的旋轉。

基於成像系統的位移和旋轉，成像系統可以對背景物件執行旋轉校正，並且對前景物件執行空間校正。在一個說明性態樣中，成像系統被配置為決定前景物件和其他物件（例如，背景物件）之間的邊界區域，並且基於旋轉校正和空間校正的內插來校正邊界區域。

下文將參照附圖更詳細地描述本案內容的附加細節和態樣。

圖像感測器包括一或多個光電二極體陣列或其他光敏元件。每個光電二極體量測最終對應於由圖像感測器產生的圖像中的特定圖元的光量。在一些情況下，不同的光電二極體可以被顏色篩檢程式陣列的不同的顏色篩檢程式覆蓋，並且因此可以量測與覆蓋光電二極體的顏色篩檢程式的顏色匹配的光。

可以使用各種顏色篩檢程式陣列，包括拜耳顏色篩檢程式陣列、四元顏色篩檢程式陣列（亦稱為四元拜耳篩檢程式或QCFA）及/或其他顏色篩檢程式陣列。拜耳顏色篩檢程式陣列100的實例在圖1A中圖示。如圖所示，拜耳顏色篩檢程式陣列100包括紅色顏色篩檢程式、藍色顏色篩檢程式和綠色顏色篩檢程式的重複圖案。如圖1B所示，QCFA 110包括2×2（或「四元」）圖案的顏色篩檢程式，包括紅色（R）顏色篩檢程式的2×2圖案、綠色（G）顏色篩檢程式的一對2×2圖案和藍色（B）顏色篩檢程式的2×2圖案。對於給定圖像感測器的整個光電二極體陣列，重複在圖1B中圖示的QCFA 110的圖案。使用QCFA 110或拜耳顏色篩檢程式陣列100，圖像的每個圖元是基於來自在顏色篩檢程式陣列的紅色顏色篩檢程式中覆蓋的至少一個光電二極體的紅光資料、來自在顏色篩檢程式陣列的藍色顏色篩檢程式中覆蓋的至少一個光電二極體的藍光資料，以及來自在顏色篩檢程式陣列的綠色顏色篩檢程式中覆蓋的至少一個光電二極體的綠光資料來產生的。代替紅色顏色篩檢程式、藍色顏色篩檢程式及/或綠色顏色篩檢程式，或者除了紅色顏色篩檢程式、藍色顏色篩檢程式，及/或綠色顏色篩檢程式之外，其他類型的顏色篩檢程式陣列可以使用黃色顏色篩檢程式、品紅色顏色篩檢程式及/或青色（亦稱為「祖母綠」）顏色篩檢程式。整個圖元陣列中的不同的光電二極體可以具有不同的譜靈敏度曲線，從而回應於不同波長的光。單色圖像感測器亦可能缺乏顏色篩檢程式，並且因此缺乏色彩深度。

在一些情況下，多個相鄰光電二極體的子群組（例如，當使用圖1B所示的QCFA 110時，2×2片個光電二極體）可以量測針對場景的大致相同區域的相同顏色的光。例如，當被包括在每個光電二極體子群組中的光電二極體在實體上非常接近時，入射到子群組的每個光電二極體上的光可以源自場景中大致相同的位置（例如，樹上的蔓葉線的一部分、天空的一小部分等）。

在一些實例中，來自場景的光的亮度範圍可能顯著超過圖像感測器可以擷取的亮度水平。例如，數位單反（DSLR）相機可能能夠擷取來自場景的1:30000對比度的光，而HDR場景的亮度水平可能超過1:1000000對比度。

在一些情況下，HDR感測器可以被用於增強由圖像擷取設備擷取的圖像的對比度。在一些實例中，HDR感測器可以被用於獲得一個圖像或訊框內的多次曝光，其中此種多次曝光可以包括短（例如，5 ms）曝光時間和長（例如，15 ms或更長）曝光時間。如本文所用，長曝光時間通常指比短曝光時間長的任何曝光時間。

在一些實現方案中，HDR感測器可能能夠將光電二極體子群組內的單個光電二極體（例如，四個單個R光電二極體、四個單個B光電二極體和來自圖1B所示的QCFA 110中的兩個2×2 G片之每一者2×2 G片的四個單個G光電二極體）配置為具有不同的曝光設置。具有匹配曝光設置的光電二極體的集合在本文中亦稱為光電二極體曝光群組。圖1C圖示具有QCFA篩檢程式的圖像感測器陣列的一部分，該QCFA篩檢程式被配置有四個不同的光電二極體曝光群組1至4。如在圖1C中的示例性光電二極體曝光群組陣列120所示，每個2×2片可以包括來自用於特定圖像感測器的不同的光電二極體曝光群組之每一者光電二極體曝光群組的光電二極體。儘管在圖1C中的特定分類中圖示四個分類，但是一般技術者將認識到，在不脫離本案內容的範疇的情況下，可以使用不同數量的光電二極體曝光群組、子群組內的光電二極體曝光群組的不同佈置，以及其任何組合。

如關於圖1C所述，在一些HDR圖像感測器實現方案中，與不同的光電二極體曝光群組對應的曝光設置可以包括不同的曝光時間（亦稱為曝光長度），諸如短曝光、中等曝光和長曝光。在一些情況下，場景的與不同的曝光設置相關聯的不同的圖像可以從由每個光電二極體曝光群組的光電二極體擷取的光來形成。例如，第一圖像可以從由光電二極體曝光群組1的光電二極體擷取的光來形成，第二圖像可以從由光電二極體曝光群組2的光電二極體來形成，第三圖像可以由光電二極體曝光群組3的光電二極體擷取的光來形成，並且第四圖像可以電由光電二極體曝光群組4的光電二極體擷取的光來形成。基於與每個群組對應的曝光設置的差異，由圖像感測器擷取的場景中的物件的亮度在每個圖像中可以不同。例如，由具有長曝光設置的光電二極體擷取的照明良好的物件可能看起來飽和（例如，完全白色）。在一些情況下，圖像處理器可以在與不同的曝光設置對應的圖像的圖元之間進行選擇，以形成經組合圖像。

在一個說明性實例中，第一圖像對應於短曝光時間（亦稱為短曝光圖像），第二圖像對應於中等曝光時間（亦稱為中等曝光圖像），並且第三圖像和第四圖像對應於長曝光時間（亦稱為長曝光圖像）。在此種實例中，可以從長曝光圖像（例如，第三圖像或第四圖像）中選擇與場景的具有低照度的部分（例如，場景的在陰影中的部分）對應的經組合圖像的圖元。類似地，可以從短曝光圖像（例如，第一圖像）中選擇與場景的具有高照度的部分（例如，場景的在陽光直射下的部分）對應的經組合圖像的圖元。

在一些情況下，圖像感測器亦可以利用光電二極體曝光群組以擷取運動中的物件，而不產生模糊。光電二極體群組的曝光時間的長度可以對應於場景中的物件在曝光時間期間移動的距離。若在曝光時間期間，來自運動中的物件的光被與多個圖像圖元對應的光電二極體擷取，則運動中的物件可能看起來在多個圖像圖元上模糊（亦稱為運動模糊）。在一些實現方案中，可以經由配置具有短曝光時間的一或多個光電二極體群組來減少運動模糊。在一些實現方案中，圖像擷取設備（例如，相機）可以經由比較兩個連續擷取的圖像之間的物件的位置來決定場景內的局部運動量（例如，運動梯度）。例如，可以在由圖像擷取設備擷取的預覽圖像中偵測運動，以在顯示器上向使用者提供預覽功能。在一些情況下，可以訓練機器學習模型以偵測連續圖像之間的局部運動。

下文將參照附圖論述本文所述技術的各個態樣。圖2是圖示圖像擷取和處理系統200的架構的方塊圖。圖像擷取和處理系統200包括被用於擷取和處理場景的圖像（例如，場景210的圖像）的各種元件。圖像擷取和處理系統200可以擷取獨立的圖像（或照片）及/或可以擷取包括特定序列中的多個圖像（或視訊訊框）的視訊。在一些情況下，透鏡215和圖像感測器230可以與光軸相關聯。在一個說明性實例中，透鏡215和圖像感測器230（例如，光電二極體）的光敏區域皆可以以光軸為中心。圖像擷取和處理系統200的透鏡215面向場景210並接收來自場景210的光。透鏡215將來自場景的入射光彎向圖像感測器230。由透鏡215接收的光通過光圈。在一些情況下，光圈（例如，光圈大小）由一或多個控制機構220控制，並由圖像感測器230接收。在一些情況下，光圈可以具有固定的大小。

一或多個控制機構220可以基於來自圖像感測器230的資訊及/或基於來自圖像處理器250的資訊來控制曝光、聚焦及/或變焦。一或多個控制機構220可以包括多個機構和元件；例如，控制機構220可以包括一或多個曝光控制機構225A、一或多個聚焦控制機構225B及/或一或多個變焦控制機構225C。一或多個控制機構220亦可以包括除了所示的彼等之外的附加控制機構，諸如用於控制類比增益、閃光、HDR、景深及/或其他圖像擷取特性的控制機構。

控制機構220中的聚焦控制機構225B可以獲得聚焦設置。在一些實例中，聚焦控制機構225B將聚焦設置儲存在記憶體暫存器中。基於聚焦設置，聚焦控制機構225B可以調整透鏡215相對於圖像感測器230的位置的位置。例如，基於聚焦設置，聚焦控制機構225B可以經由致動馬達或伺服機構（或其他透鏡機構）來使透鏡215移動得更靠近圖像感測器230或更遠離圖像感測器230，從而調節聚焦。在一些情況下，在圖像擷取和處理系統200中可以包括附加透鏡，諸如圖像感測器230的每個光電二極體上的一或多個微透鏡，其每個在光到達光電二極體之前將從透鏡215接收的光朝向對應的光電二極體彎曲。聚焦設置可以是經由對比度偵測自動對焦（CDAF）、相位偵測自動對焦（PDAF）、混合自動對焦（HAF）或其某種組合來決定的。可以使用控制機構220、圖像感測器230及/或圖像處理器250來決定聚焦設置。聚焦設置可以被稱為圖像擷取設置及/或圖像處理設置。在一些情況下，透鏡215可以是相對於圖像感測器固定的，並且在不脫離本案內容的範疇的情況下，聚焦控制機構225B可以被省略。

控制機構220的曝光控制機構225A可以獲得曝光設置。在一些情況下，曝光控制機構225A將曝光設置儲存在記憶體暫存器中。基於該曝光設置，曝光控制機構225A可以控制光圈的大小（例如，光圈大小或f/stop）、光圈開啟的持續時間（例如，曝光時間或快門速度）、感測器收集光的持續時間（例如，曝光時間或電子快門速度）、圖像感測器230的靈敏度（例如，ISO速度或膠片速度）、由圖像感測器230施加的類比增益，或其任意組合。曝光設置可以被稱為圖像擷取設置及/或圖像處理設置。

控制機構220的變焦控制機構225C可以獲得變焦設置。在一些實例中，變焦控制機構225C將變焦設置儲存在記憶體暫存器中。基於變焦設置，變焦控制機構225C可以控制包括透鏡215和一或多個附加透鏡的透鏡元件套件（透鏡套件）的焦距。例如，變焦控制機構225C可以經由致動一或多個馬達或伺服機構（或其他透鏡機構）以使一或多個透鏡相對於彼此移動，來控制透鏡套件的焦距。變焦設置可以被稱為圖像擷取設置及/或圖像處理設置。在一些實例中，透鏡套件可以包括齊焦變焦透鏡或變焦變焦透鏡。在一些實例中，透鏡套件可以包括聚焦透鏡（其在一些情況下可以是透鏡215），其首先接收來自場景210的光，隨後在光到達圖像感測器230之前，光穿過聚焦透鏡（例如，透鏡215）和圖像感測器230之間的無焦變焦系統。在一些情況下，無焦變焦系統可以包括兩個焦距相等或相似（例如，在彼此的閾值差內）的正（例如，會聚、凸）透鏡，在該兩個透鏡之間具有負（例如，發散、凹）透鏡。在一些情況下，變焦控制機構225C移動無焦變焦系統中的一或多個透鏡，諸如負透鏡和一個或兩個正透鏡。在一些情況下，變焦控制機構225C可以經由利用與變焦設置對應的變焦從複數個圖像感測器（例如，包括圖像感測器230）中的圖像感測器擷取圖像來控制變焦。例如，圖像處理系統200可以包括具有相對較低變焦的廣角圖像感測器和具有較大變焦的遠攝圖像感測器。在一些情況下，基於所選擇的變焦設置，變焦控制機構225C可以從對應的感測器擷取圖像。

圖像感測器230包括一或多個光電二極體陣列或其他光敏元件。每個光電二極體量測最終對應於由圖像感測器230產生的圖像中的特定圖元的光量。在一些情況下，不同的光電二極體可以被不同的篩檢程式覆蓋。在一些情況下，不同的光電二極體可以在顏色篩檢程式中被覆蓋，並且因此可以量測與覆蓋光電二極體的篩檢程式的顏色匹配的光。可以使用各種顏色篩檢程式陣列，包括拜耳顏色篩檢程式陣列（如圖1A所示）、QCFA（見圖1B）及/或任何其他顏色篩檢程式陣列。

返回圖1A和圖1B，代替紅色顏色篩檢程式、藍色顏色篩檢程式及/或綠色顏色篩檢程式，或者除此之外，其他類型的顏色篩檢程式可以使用黃色顏色篩檢程式、品紅色顏色篩檢程式及/或青色（亦稱為「祖母綠」）顏色篩檢程式。在一些情況下，一些光電二極體可以被配置為量測紅外（IR）光。在一些實現方案中，量測IR光的光電二極體可以不被任何篩檢程式覆蓋，從而允許IR光電二極體量測可見光（例如，彩色）和IR光。在一些實例中，IR光電二極體可以被IR篩檢程式覆蓋，以允許IR光穿過並阻擋來自頻譜的其他部分的光（例如，可見光、顏色）。一些圖像感測器（例如，圖像感測器230）可能完全缺乏篩檢程式（例如，顏色、IR或光譜的任何其他部分），而是可以在整個圖元陣列中使用不同的光電二極體（在一些情況下是垂直堆疊的）。整個圖元陣列中的不同的光電二極體可以具有不同的光譜靈敏度曲線，從而回應於不同波長的光。單色圖像感測器亦可能缺乏篩檢程式，並且因此缺乏色彩深度。

在一些情況下，圖像感測器230可以替代地或附加地包括不透通及/或反射遮罩，其阻擋光在特定的時間及/或從特定角度到達特定光電二極體或特定光電二極體的部分。在一些情況下，不透通及/或反射遮罩可以被用於PDAF。在一些情況下，不透通及/或反射遮罩可以被用於阻擋電磁光譜的部分到達圖像感測器的光電二極體（例如，IR截止篩檢程式、紫外線（UV）截止篩檢程式、帶通篩檢程式、低通篩檢程式、高通篩檢程式等）。圖像感測器230亦可以包括用以放大由光電二極體輸出的類比信號的類比增益放大器及/或用以將光電二極體輸出的（及/或由類比增益放大器放大的）類比信號轉換為數位信號的類比數位轉換器（ADC）。在一些情況下，關於一或多個控制機構220論述的特定元件或功能可以替代地或附加地被包括在圖像感測器230中。圖像感測器230可以是電荷耦合元件（CCD）感測器、電子倍增CCD（EMCCD）感測器、主動圖元感測器（APS）、互補金屬氧化物半導體（CMOS）、N型金屬氧化物半導體（NMOS）、混合CCD/CMOS感測器（例如sCMOS），或其某個其他組合。

圖像處理器250可以包括一或多個處理器，諸如一或多個ISP（例如，ISP 254）、一或多個主機處理器（例如，主機處理器252），及/或關於圖15的計算系統1600論述的任何其他類型的處理器1610中的一或多個。主機處理器252可以是數位信號處理器（DSP）及/或其他類型的處理器。在一些實現方案中，圖像處理器250是包括主機處理器252和ISP 254的單個積體電路或晶片（例如，稱為晶片上系統或SoC）。在一些情況下，晶片亦可以包括一或多個輸入/輸出埠（例如，輸入/輸出（I/O）埠256）、中央處理單元（CPU）、圖形處理單元（GPU）、寬頻數據機（例如，3G、4G或LTE、5G等）、記憶體、連接元件（例如，藍芽 ^TM、全球定位系統（GPS）等）、其任意組合，及/或其他元件。I/O埠256可以包括根據一或多個協定或規範的任何合適的輸入/輸出埠或介面，諸如積體電路互連2（I2C）介面、積體電路互連3（I3C）介面、串列周邊介面（SPI）介面、串列通用輸入/輸出（GPIO）介面、行動工業處理器介面（MIPI）（諸如MIPI CSI-2實體（PHY）層埠或介面、高級高效能匯流排（AHB）匯流排、其任何組合，及/或其他輸入/輸出埠。在一個說明性實例中，主機處理器252可以使用I2C埠與圖像感測器230通訊，並且ISP 254可以使用MIPI埠與圖像感測器230通訊。

圖像處理器250可以執行許多任務，諸如去馬賽克、顏色空間轉換、圖像訊框下取樣、圖元內插、自動曝光（AE）控制、自動增益控制（AGC）、CDAF、PDAF、自動白平衡、合併圖像訊框以形成HDR圖像、圖像辨識、物件辨識、特徵辨識、對輸入的接收、管理輸出、管理記憶體，或其某種組合。圖像處理器250可以將圖像訊框及/或經處理的圖像儲存在隨機存取記憶體（RAM）240、唯讀記憶體（ROM）245、快取記憶體、記憶體單元、另一儲存設備，或其某種組合中。

各種輸入/輸出（I/O）設備260可以被連接到圖像處理器250。I/O設備260可以包括顯示螢幕、鍵盤、小鍵盤、觸控式螢幕、觸控板、觸敏表面、印表機、任何其他輸出設備1635、任何其他輸入設備1645，或其某個組合。在一些情況下，字幕可以經由I/O設備260的實體鍵盤或小鍵盤，或者經由I/O設備260的觸控式螢幕的虛擬鍵盤或小鍵盤，被輸入到圖像處理設備205B中。I/O設備260可以包括一或多個埠、插孔或其他連接器，其使得能夠在圖像擷取和處理系統200與一或多個周邊設備之間進行有線連接，圖像擷取和處理系統200可以經由該有線連接從一或多個周邊設備接收資料及/或向一或多個周邊設備傳輸資料。I/O設備260可以包括一或多個無線收發機，其使得能夠在圖像擷取和處理系統200與一或多個周邊設備之間進行無線連接，圖像擷取和處理系統200可以經由該無線連接從一或多個周邊設備接收資料及/或向一或多個周邊設備傳輸資料。周邊設備可以包括前面論述的任何類型的I/O設備260，並且一旦其被耦合到埠、插孔、無線收發機或其他有線及/或無線連接器，其本身就可以被認為是I/O設備260。

在一些情況下，圖像擷取和處理系統200可以是單個設備。在一些情況下，圖像擷取和處理系統200可以是兩個或更多個單獨的設備，包括圖像擷取設備205A（例如，相機）和圖像處理設備205B（例如，被耦合到相機的計算設備）。在一些實現方案中，圖像擷取設備205A和圖像處理設備205B可以例如經由一或多個電線、電纜或其他電連接器，及/或經由一或多個無線收發機無線地，被耦合在一起。在一些實現方案中，圖像擷取設備205A和圖像處理設備205B可以彼此斷開連接。

如圖2所示，垂直虛線將圖2的圖像擷取和處理系統200劃分為兩個部分，分別表示圖像擷取設備205A和圖像處理設備205B。圖像擷取設備205A包括透鏡215、控制機構220和圖像感測器230。圖像處理設備205B包括圖像處理器250（包括ISP 254和主機處理器252）、RAM 240、ROM 245和I/O 260。在一些情況下，圖像擷取設備205A中所示的特定元件（諸如ISP 254及/或主機處理器252）可以被包括在圖像擷取設備205中。

圖像擷取和處理系統200可以包括電子設備，諸如行動或固定電話手持機（例如，智慧手機、蜂巢式電話等）、桌上型電腦、膝上電腦或筆記型電腦、平板電腦、機上盒、電視、相機、顯示設備、數位媒體播放機、視訊遊戲控制台、視訊串流設備、網際網路協定（IP）相機，或任何其他合適的電子設備。在一些實例中，圖像擷取和處理系統200可以包括用於無線通訊的一或多個無線收發機，諸如蜂巢網路通訊、802.11 wi-fi通訊、無線區域網路（WLAN）通訊，或其某種組合。在一些實現方案中，圖像擷取設備205A和圖像處理設備205B可以是不同的設備。例如，圖像擷取設備205A可以包括相機設備，並且圖像處理設備205B可以包括計算設備，諸如行動手持機、桌上型電腦或其他計算設備。

儘管圖像擷取和處理系統200被顯示為包括特定元件，但一般技術者將理解，圖像擷取和處理系統200可以包括比圖2中所示的元件更多的元件。圖像擷取和處理系統200的元件可以包括軟體、硬體或軟體和硬體的一或多個組合。例如，在一些實現方案中，圖像擷取和處理系統200的元件可以包括電子電路或其他電子硬體及/或可以使用電子電路或其他電子硬體來實現，其中電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU及/或其他合適的電子電路），及/或可以包括電腦軟體、韌體或其任何組合及/或使用電腦軟體、韌體或其任何組合來實現，以執行本文所述的各種操作。軟體及/或韌體可以包括儲存在電腦可讀取儲存媒體上並且可由實現圖像擷取和處理系統200的電子設備的一或多個處理器執行的一或多個指令。

圖3是圖示圖像擷取系統300的實例的方塊圖。圖像擷取系統300包括被用以處理輸入圖像或訊框以產生輸出圖像或訊框的各種元件。如圖所示，圖像擷取系統300的元件包括一或多個圖像擷取設備302、圖像處理引擎310和輸出設備312。圖像處理引擎310可以產生場景的高動態範圍圖示，如本文中更詳細描述的。

圖像擷取系統300可以包括電子設備或系統，或者是電子設備或電子系統的一部分。例如，圖像擷取系統300可以包括電子設備或系統或是電子設備或電子系統的一部分，諸如行動或固定電話手持機（例如，智慧手機、蜂巢式電話等）、擴展現實（XR）設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）、車輛或車輛的計算設備/系統、伺服器電腦（例如，與另一設備或系統通訊，另一設備或系統諸如是行動設備、XR系統/設備、車輛計算系統/設備等）、桌上型電腦、膝上電腦或筆記型電腦、平板電腦、機上盒、電視、相機設備、顯示設備、數位媒體播放機、視訊串流設備，或任何其他合適的電子設備。在一些實例中，圖像擷取系統300可以包括用於無線通訊的一或多個無線收發機（或單獨的無線接收器和傳輸器），無線通訊諸如是蜂巢網路通訊、802.11 Wi-Fi通訊、WLAN通訊、藍芽或其他短距離通訊、其他組合及/或其他通訊。在一些實現方案中，圖像擷取系統300的元件可以是同一計算設備的一部分。在一些實現方案中，圖像擷取系統300的元件可以是兩個或更多個單獨的計算設備的一部分。

儘管圖像擷取系統300被顯示為包括特定元件，但一般技術者將理解，圖像擷取系統300可以包括比圖3中所示的元件更多或更少的元件。在一些情況下，圖像擷取系統300的附加元件可以包括軟體、硬體或軟體和硬體的一或多個組合。例如，在一些情況下，圖像擷取系統300可以包括一或多個其他感測器（例如，一或多個慣性量測單元（IMU）、雷達、光偵測和測距（LIDAR）感測器、音訊感測器等）、一或多個顯示設備、一或多個其他處理引擎、一或多個其他硬體元件，及/或圖3中未圖示的一或多個其他軟體及/或硬體元件。在一些實現方案中，圖像擷取系統300的附加元件可以包括電子電路或其他電子硬體及/或可以使用電子電路或其他電子硬體來實現，該等電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，DSP、微處理器、微控制器、GPU、CPU、其任何組合及/或其他合適的電子電路），及/或可以包括電腦軟體、韌體或其任何組合及/或使用電腦軟體、韌體或其任何組合來實現，以執行本文所述的各種操作。軟體及/或韌體可以包括儲存在電腦可讀取儲存媒體上並且可由實現圖像擷取系統300的電子設備的一或多個處理器執行的一或多個指令。

一或多個圖像擷取設備302可以擷取圖像資料並基於圖像資料產生圖像（或訊框），及/或可以將圖像資料提供給圖像處理引擎310以進行進一步處理。一或多個圖像擷取設備302亦可以將圖像資料提供給輸出設備312用於輸出（例如，在顯示器上）。在一些情況下，輸出設備312亦可以包括儲存。圖像或訊框可以包括表示場景的圖元陣列。例如，圖像可以是每圖元具有紅色分量、綠色分量和藍色分量的紅-綠-藍（RGB）圖像；每圖元具有亮度分量和兩個色度（顏色）分量（色度紅和色度藍）的亮度、色度紅、色度藍（YCbCr）圖像；或者任何其他合適類型的顏色或單色圖像。除了圖像資料之外，圖像擷取設備亦可以產生補充資訊，諸如連續擷取的圖像之間的時間量、圖像擷取的時間戳記等。

圖4圖示用於根據短曝光訊框和長曝光訊框產生經融合訊框的技術。如圖所示，可以採用短曝光訊框402和長曝光訊框404，其可以被融合以提供經融合訊框輸出406（例如，HDR訊框輸出）。由於圖像擷取感測器的位元深，擷取訊框的一些圖元可能過飽和，此舉導致圖像沒有顯示如短曝光訊框402中所示的場景的一些紋理。因此，為了產生HDR訊框，短曝光訊框和長曝光訊框可以皆被擷取，其可以被融合（例如，被組合）以產生HDR輸出訊框。可以執行對短曝光訊框和長曝光訊框的融合以產生經融合輸出訊框，該經融合輸出訊框包括短曝光訊框的部分和長曝光訊框的部分。例如，經融合訊框輸出406的區域408可以來自長曝光訊框404，而經融合訊框輸出406的區域410可以來自短曝光訊框402。然而，融合短曝光訊框和長曝光訊框可能由於全域運動（例如，圖像擷取設備的運動）而導致不規則性。例如，從長曝光訊框被擷取的時間到短曝光訊框被擷取的時間，場景中的物件或圖像擷取設備可能已經移動，若在將短曝光訊框和長曝光訊框融合在一起之前沒有採取步驟將短曝光訊框和長曝光訊框對準，則導致不規則性。如本文中更詳細描述的，此種全域運動問題亦可能由於滾動快門而出現。

圖5是圖示從圖像感測器（例如，圖像感測器230）到成像前端的用於處理的長曝光串流和短曝光串流（例如，MIPI串流）的圖。線502表示長曝光感測（在本文中亦稱為普通曝光感測）的開始，線504表示長曝光感測的結束。如圖所示，長曝光感測從感測器的第一行（例如，圖2的圖像感測器230）開始到感測器的最後一行。對於每一行（例如，光電二極體的行），一旦長曝光感測已經完成，短曝光感測就開始，同時長曝光感測繼續到下一行。例如，線506表示短曝光感測的開始，並且線508表示短曝光感測的結束，從圖像感測器的第一行開始到最後一行。長曝光感測（例如，圖5中具有標記為「N普通」的持續時間）可以在短曝光感測之前開始（例如，圖5中具有標記為「N短」的持續時間）。

一旦完成針對特定行的長曝光感測，便在短曝光感測開始之前出現短延遲（例如，與線504、506之間的間隙相關聯）。一旦針對特定行完成了短曝光感測，就從圖像感測器中讀出針對該行的資訊以進行處理。由於從長曝光感測到短曝光感測的間隙（例如，在圖5中被顯示為平均運動延遲（D）），對於持有相機的使用者及/或對於正在被擷取的場景中的物件存在移動的機會，此舉導致短曝光訊框和長曝光訊框中的特徵（例如，在短曝光訊框和長曝光訊框中共同或相同的特徵）的未對準。例如，運動延遲（D）可以存在於從時間550（例如，當長曝光資料的一半被擷取時的時間）到時間552（例如，當短曝光資料的一半被擷取時的時間）。運動延遲（D）可以被估計為是與不同的長訊框擷取事件和短訊框擷取事件（例如，不同的HDR訊框擷取）相關聯的平均運動延遲。

因為感測一次發生一行（例如，從第一行開始到最後一行），所以亦發生滾動快門全域運動。場景中的物件或相機可以從針對第一行感測器的資料被擷取時移動到針對最後一行感測器的資料被擷取時。

圖6是圖示用於對一或多個短曝光訊框604和一或多個長曝光訊框602的線上融合的技術的圖。融合引擎606可以融合一或多個短曝光訊框604和一或多個長曝光訊框602以產生HDR訊框。如關於圖5所描述的，可以在對應於一或多個短曝光訊框604的短曝光資料之前，針對每一行擷取對應於一或多個長曝光訊框602的長曝光資料。因此，可以在針對針對一或多個短曝光訊框604的每一行的資料被儲存在緩衝器605中之前，接收來自針對一或多個長曝光訊框602的每一行的資料並將其儲存在緩衝器603中。如圖所示，對針對一或多個長曝光訊框602的資料的累積可以在對針對一或多個短曝光訊框604的資料的累積之前（例如，因為如圖5所示，長曝光擷取發生在短曝光擷取之前）。

在一些情況下，一旦累積了與一或多個短曝光訊框604對應的短訊框資料的特定數量個感測器行或排（例如，前3行/排、前4行/排、前8行/排或其他數量的行/排），便可以開始由融合引擎606進行的融合。例如，在接收到針對特定數量個感測器行的短訊框資料之後，可以開始針對訊框對準的操作（例如，而不是等待整個訊框被接收）。然而，在執行訊框對準時可能存在各種約束。例如，可能不可能完全扭曲（來自一或多個長曝光訊框602的）長曝光訊框以與（來自一或多個短曝光訊框604的）短曝光訊框對準。此外，由於硬體時序約束，可能必須提前兩訊框或三訊框執行對於對準的程式設計。在一些態樣中，可以建立用於擷取訊框資料的大緩衝器。來自圖像感測器的圖像資料可以被寫入圖像緩衝器的中心部分，此舉使得能夠向被儲存在緩衝器中的資料應用x和y維度上的偏移以進行對準。此外，本案內容的特定態樣提供了用於對準預測的技術，以允許預先程式設計對準操作。

圖7A是圖示根據一些態樣的由經歷多個域中的位移的圖像擷取系統702擷取的長曝光圖像和短曝光圖像的圖700。在一個態樣中，一個人可以持有圖像擷取系統702以擷取包括背景物件（諸如樹）的自拍。在該說明性實例中，自拍有兩個感興趣的物件：使用者的面部和背景。當使用者按下圖像擷取系統上的按鈕時，圖像擷取系統開始擷取第一圖像（例如，短曝光圖像）並且圖像擷取系統可以移動（例如，由於基於使用者將圖像擷取系統伸展得儘可能遠而加劇的震顫）並且在行動設備位於位置704時完成擷取短曝光圖像，其中為了清楚起見，位置704被圖示為圖像擷取系統的中心點。在短曝光圖像被擷取之後，圖像擷取系統可以開始擷取長曝光圖像，同時圖像擷取系統可能由於內在或外在因素而繼續移動。在位置706處，圖像擷取系統可以完成擷取長曝光圖像，並且圖像擷取系統已經在複數個方向上移動。特別地，圖像擷取系統已經在至少一個方向上（例如，相對於使用者向右）偏移並且在至少一條軸（例如，偏航、俯仰或滾轉）上旋轉。

在一個說明性實例中，區域710圖示短曝光圖像中的前景物件（例如，人），並且區域715圖示長曝光圖像中的前景物件。區域720圖示短曝光圖像中的背景物件（例如，樹、地標等），並且區域725圖示長曝光圖像中的背景物件。如圖7A所示，區域710不同於區域715，此情形是因為圖像擷取系統702的移動影響基於距相機的距離的對準誤差。例如，區域715由於圖像擷取系統702的位移而偏移，並且由於圖像擷取系統702的旋轉而沿著區域715旋轉。在本例中

圖700亦包括圖示在短曝光圖像中的背景物件（例如，樹）的區域720和在長曝光圖像中的區域725。因為背景物件具有不同的深度（例如，離相機更遠），所以背景物件比前景物件具有較少的誤差。在一些態樣中，近似誤差是基於焦距乘以移動（例如，旋轉、位移）除以物件距離的。例如，對準誤差與相機到物件的距離成反比，離相機較近的物件表現出較大的對準誤差，而離相機較遠的物件則表現出較小的對準誤差。

圖7B是圖示根據本案內容的一些態樣的在旋轉校正之後的圖7A中的長曝光圖像和短曝光圖像的圖750。圖像擷取系統702可以被配置為記錄來自陀螺儀感測器的移動資料，並且決定在擷取短曝光圖像和擷取長曝光圖像之間發生的旋轉量。基於所擷取的資訊，圖像擷取系統702被配置為修改短曝光圖像及/或長曝光圖像（例如，上一次擷取的短曝光圖像，及/或上一次擷取的長曝光圖像）。如圖7B所示，基於來自陀螺儀感測器的旋轉資訊來校正與長曝光圖像中的人相對應的區域755。在解決旋轉變形的同時，長曝光圖像中對應於人的區域755（以及對應於背景物件的區域760）是針對圖像擷取系統702的位移的一個方向被校正的，但是圖像擷取系統702的位移的另一個方向上的對準誤差仍然存在並且不能被校正。如以下圖8所示，對準誤差造成降低HDR圖像的品質的雜訊和重影問題。

圖8是根據一些態樣在針對旋轉移動進行校正之後由HDR融合系統產生的HDR圖像（亦稱為HDR訊框）的實例。如圖8所示，在圖示前景區域和背景區域的圖像擷取系統中，經由前向相機擷取圖像。在一個說明性態樣中，區域810圖示帶扣，帶扣基於成像系統的位移以輕微偏移再現兩次。圖像亦包括雜訊區域820，雜訊區域820具有基於未能對準長曝光圖像和短曝光圖像的不連續性（例如，雜訊）。前景物件的相對側上的重影區域830亦存在，其是基於未對準的前景物件的邊緣而產生的。例如，在重影區域830中圖示了圖像的面部區域和背景之間的邊緣。在一個說明性態樣中，存在重影區域810和830是因為來自長曝光圖像或短曝光圖像的內容丟失，而存在雜訊區域是因為長曝光圖像丟失並且圖像內容必須從短曝光圖像中選擇，其中短曝光圖像由於較短曝光而具有較多雜訊。

在一些態樣中，對準不利地影響了圖像擷取系統使用前向相機擷取高品質HDR圖像的能力。圖像擷取系統製造商要麼禁止使用前向相機擷取HDR圖像，要麼限制曝光比率以減少所產生的與HDR圖像相關聯的雜訊。結果，由圖像擷取系統擷取的習知自拍限制了動態範圍並且制約了所得到的HDR圖像的品質。

圖9是圖示根據本案內容的一些態樣的用於使用混合變換來合成HDR圖像的示例性圖像處理系統900的圖。訊框對902可以被提供給圖像處理系統900進行處理。被用於長曝光圖像906的曝光時間具有比被用於短曝光圖像904的曝光時間長的曝光時間。

在一個說明性態樣中，短曝光圖像904被提供給曝光補償器910，曝光補償器910基於與短曝光圖像904和長曝光圖像906相關聯的曝光比率來增加短曝光圖像903的亮度。例如，若短曝光圖像904具有5毫秒（ms）的曝光時間並且長曝光圖像906具有20 ms的曝光時間，則曝光比率為4，並且長曝光圖像906的亮度應當是短曝光圖像904的亮度的4倍。曝光補償器910將短曝光圖像904的亮度正規化以對應於長曝光圖像906的亮度。經修改的短曝光圖像904和長曝光圖像906被提供給特徵偵測器915以辨識每個圖像內的關鍵點。特徵偵測器915從每個圖像辨識不同的關鍵點，並將關鍵點提供給移動估計器920。例如，特徵偵測器915被配置為向移動估計器920提供與短曝光圖像904相關聯的第一組關鍵點，並且向移動估計器920提供與長曝光圖像906相關聯的第二組關鍵點。

在一個態樣中，長曝光圖像906亦被提供給物件偵測器925，以辨識前景中的感興趣的物件。在一個說明性實例中，物件偵測器925被配置為辨識一個面部或多個面部（例如，自拍），並且被配置為向移動估計器920輸出界限區域（例如，界限區域，或用於辨識長曝光圖像906中的前景區域的其他類似幾何區域）。

在一些態樣中，移動估計器920使用界限區域並且丟棄界限區域之外的關鍵點。例如，界限區域對應於前景區域，並且丟棄前景區域之外的關鍵點用於從短曝光圖像904和長曝光圖像906移除與背景區域相關聯的關鍵點。移動估計器920分析與短曝光圖像904的前景相關聯的關鍵點和與長曝光圖像906的前景相關聯的關鍵點，並且基於該等關鍵點決定平移矩陣，並且單應性矩陣可以被用於在圖像擷取期間校正圖像擷取系統的位移（例如，移動）。在一個說明性態樣中，平移矩陣可以是基於短曝光圖像904和長曝光圖像906決定的單應矩陣。根據一些實例，同一平面的多個圖像（例如，作為HDR圖像的一部分擷取的多個圖像）經由單應矩陣相關，該單應矩陣可以被用於任一圖像中的各種校正，諸如縮放校正、平移校正和旋轉校正。在一些態樣中，可以基於與短曝光圖像904和長曝光圖像906的前景區域相關聯的關鍵點的差異來計算移動變換。

移動變換對應於圖像擷取系統在擷取短曝光圖像904和擷取長曝光圖像906之間的移動量。在一個說明性實例中，移動估計器920產生平移矩陣，該平移矩陣表示與圖像中的至少一個圖元或圖像中的一組圖元相關聯的函數，並且平移矩陣可以被用於校正短曝光圖像904或長曝光圖像906的一部分，諸如由物件偵測器925偵測到的前景區域。替代地或另外，平移矩陣可以被配置為表示整個圖像。

圖像處理系統900包括陀螺儀感測器935，其提供與圖像擷取系統的定向相關的相對或絕對旋轉資訊（例如，偏航、俯仰和滾轉）。例如，陀螺儀感測器935可以被配置為在從圖像感測器擷取（例如，讀出）短曝光圖像904時以及在擷取長曝光圖像906時偵測旋轉資訊。旋轉資訊被提供給旋轉估計器940，旋轉估計器940決定圖像擷取系統旋轉估計器940在擷取短曝光圖像904和擷取長曝光圖像906之間被旋轉的量。

根據一個說明性實例，旋轉估計器940被配置為基於來自陀螺儀感測器935的旋轉資訊產生旋轉矩陣（例如，單應矩陣），並且旋轉矩陣被配置為校正與圖像擷取系統相關聯的旋轉。例如，旋轉矩陣可以被配置為偵測沿著任何軸的旋轉（例如，偏航、俯仰、滾轉）。旋轉矩陣可以被應用於短曝光圖像904或長曝光圖像906中的一個，以對準短曝光圖像904和長曝光圖像906內的內容。

在一些態樣中，來自移動估計器920的平移矩陣、來自旋轉估計器940的旋轉矩陣和來自物件偵測器925的界限區域由移動估計器930提供。在一些態樣中，移動估計器930被配置為基於平移矩陣、旋轉矩陣和界限區域來辨識要應用於短曝光圖像904的變換。替代地或另外，可以將變換應用於長曝光圖像906。在一個說明性態樣中，移動估計器930被配置為合成混合變換矩陣，該混合變換矩陣包括與平移矩陣相關聯的校正資訊（例如，平移校正）和與第二矩陣相關聯的校正資訊（例如，旋轉校正）。例如，移動估計器930可以使用來自物件偵測器925的界限區域以決定短曝光圖像904的將基於平移校正（例如，基於短曝光圖像904和長曝光圖像906之間的界限區域中的關鍵點的移動）來校正的區域，並且剩餘區域可以與旋轉校正相關聯，並且下文參考圖10C進一步描述該矩陣的實例。

在另一個態樣中，移動估計器930可以構造混合變換，該混合變換具有基於平移矩陣的與前景物件對應的第一區域、基於旋轉矩陣的與背景區域對應的第二區域，以及圍繞界限區域的對來自平移矩陣和旋轉矩陣的值進行內插的第三邊界區域，並且下文參照圖10D進一步描述該矩陣的實例。邊界區域的一個實例可以包括伸展超出界限區域的外邊緣區域和在界限區域內的內邊緣區域。其他實例包括與邊界區域的內邊緣對應的界限區域，或者與邊界區域的外邊緣對應的界限區域。邊界區域的大小可以基於諸如界限區域的大小的各種因素來決定。在另一實例中，邊界的大小可以基於深度圖，該深度圖辨識在不同的深度處的各個區域，並且可以基於與短曝光圖像904和長曝光圖像906中的物件相關聯的特定細節來動態地決定邊界區域的大小。

移動估計器930可以被配置為決定旋轉估計是否是必要的。例如，若界限區域對應於整個圖像的大小的閾值（例如，90%），則移動估計器930可以決定不需要對背景物件的校正。

根據一個實例，移動估計器930可以產生平移矩陣，該平移矩陣被提供給圖像校正器945。在一個說明性態樣中，圖像校正器945接收短曝光圖像904和來自移動估計器930的變換矩陣，並將短曝光圖像904變換為經對準的短曝光圖像950。如前述，變換矩陣可以被配置為基於來自陀螺儀感測器935的旋轉資訊、基於移動估計器920內的關鍵點偵測決定的移動資訊，來變換圖像的一部分。替代地或另外，圖像校正器945可以被配置為校正長曝光圖像或諸如中等曝光圖像的補充圖像。融合引擎960被配置為接收經對準的短曝光圖像950和長曝光圖像906，並且產生HDR圖像970。如前述，融合引擎960亦可以接收用於各種目的的附加圖像，諸如用於減少HDR圖像970內的雜訊的中等曝光圖像。附加的中等曝光圖像亦可以被用於補充上述各種移動估計。在本文參考圖13圖示根據一些態樣用以辨識選擇性輪廓填充的流程圖，在圖10A-圖10D中圖示用以解釋各種矩陣的示例性圖示，在圖11中圖示校正旋轉的示例性方法，並且在圖12中圖示關鍵點偵測的實例。

圖10A-圖10D是圖示根據本案內容的一些態樣的由HDR融合系統產生用以校正空間和旋轉對準的各個矩陣的概念圖。儘管每個矩陣皆用填充（fill）來描述，但填充表示不同類型的變換。例如，圖10A圖示被配置為向圖像應用至少一個旋轉變換的旋轉矩陣。圖像的一部分的旋轉量基於多個參數而變化。旋轉的參數的非限制性實例包括旋轉移動的中心點、在圖像中的物件的深度、旋轉量，以及物件相對於旋轉移動的中心點的半徑。例如，基於不同的半徑，距離圖像擷取系統400米（m）遠的背景物件將比距離圖像擷取系統1米遠的物件旋轉更大的量。

圖10B圖示平移矩陣，該平移矩陣被配置為向圖像應用至少一個空間變換。如上關於移動估計器920所述，平移矩陣表示座標系中的移動。例如，平移矩陣可以表示笛卡爾座標中的移動。在另一個說明性實例中，移動變換可以由辨識至少一個方向內的線性變換或非線性平移的方程來表示。

圖10C圖示經組合矩陣，該經組合矩陣被配置為應用圖10A所示的旋轉矩陣與圖10B所示的平移矩陣的組合。平移矩陣被配置為被應用於與界限區域1002對應的區域（例如，由物件偵測器925建立的界限區域）。下文的表1說明基於界限區域1002從平移矩陣和旋轉矩陣中選擇值的偽代碼。 var combinedMatrix = new Matrix() { Dimensions = long906.Dimensions }; //Copy pixel associated with maximum brightness into a new image foreach(Cell cell in combinedMatrix.Cells) { if (IsCellWithin(boundingBox, (cell.Location)) { cell.Value = movementMatrix.CellAt(cell.Location).Value; } else { cell.Value = rotationMatrix.CellAt(cell.Location).Value; } } 表1

在表1中的說明性實例中，基於長曝光圖像906的維度來產生矩陣，使得長曝光圖像906之每一者圖元對應於經組合矩陣內的儲存格。表1中的矩陣亦可以基於旋轉矩陣或平移矩陣來產生。經組合矩陣亦可以具有不同的維度（例如，更大或更小）。每個儲存格的值是基於該儲存格是否被決定在界限區域1002（例如，來自物件偵測器925）內來決定的。若儲存格在界限區域1002內，則儲存格值被設置為等於平移矩陣內的對應儲存格。若儲存格不在界限區域1002內，則該值被設置為等於旋轉矩陣內的對應儲存格。

圖10D圖示經組合矩陣，該經組合矩陣被配置為：利用與界限區域1002相關聯的邊界區域1010內的內插，應用圖10A所示的旋轉矩陣與圖10B所示的平移矩陣的組合。例如，界限區域1002的內邊緣1004內的儲存格的值可以被設置為圖10B所示的平移矩陣內的對應儲存格的值，並且界限區域1002的外邊緣1006外的儲存格的值可以被設置為圖10A所示的旋轉矩陣內的對應儲存格的值。內邊緣1004和外邊緣1006之間的儲存格是基於儲存格的位置以及位移矩陣和旋轉矩陣中的對應儲存格來內插的。

例如，經組合矩陣H可以描述為： (方程1) 其中p對應於圖像中的點，margin對應於邊界的大小，boundary對應於界限區域1002，H _R對應於旋轉矩陣，H _M對應於平移矩陣，並且H _I是旋轉矩陣和平移矩陣的內插，如下文的等式2所示： (方程2)

根據各種實例，可以基於與邊界區域的面積相關的經放縮值來配置邊界區域1010的大小。例如，如圖10D所示，邊界區域1010的面積被配置為界限區域1002的10%，並且邊界區域1010中的一部分可以與邊界區1002重疊。邊界區域1010建立前景區域和背景區域之間的無瑕疵過渡，並且減少不同類型的校正之間的視覺偽影。基於經組合校正，本案內容的成像系統減少了與圖像擷取系統的不同類型的運動相關聯的像差移動，並且產生高品質HDR圖像。例如，包括圖像處理系統900的圖像擷取系統的前向相機可以產生HDR圖像，該HDR圖像減少了諸如重影和雜訊之類的視覺偽影並且使得能夠擷取HDR圖像。

圖11是圖示根據本案內容的特定內容的用於對圖像進行對準以減少HDR圖像中的重影和雜訊的方法1100的實例的流程圖。方法1100可以由具有圖像感測器的計算設備執行，計算設備例如是行動無線通訊設備、相機、XR設備、支援無線的車輛或其他計算設備。在一個說明性實例中，計算系統1600可以被配置為執行方法1100的全部或部分。在一個說明性實例中，諸如ISP 254或計算系統1600的ISP可以被配置為執行該方法的全部或部分。

方法1100包括計算系統，該計算系統可以使用陀螺儀感測器接收具有旋轉資訊的陀螺儀取樣1110。在一個說明性實例中，陀螺儀取樣1110可以包括相對於笛卡爾座標（例如，X、Y和Z軸）的角速度（例如，以弧度每秒為單位）。在方塊1120，計算系統可以對旋轉資訊進行積分以決定相對於笛卡爾座標的角位移（例如，歐拉角）。在一個態樣中，下文的方程3圖示對角旋轉進行積分以決定歐拉角。 (方程3)

在方塊1130，計算系統可以計算旋轉矩陣。在一個說明性態樣中，計算系統可以使用歐拉變換方程來計算旋轉，如下文的方程4所示。 (方程4)

可以使用其他類型的旋轉變換。在方塊1140，計算系統基於接收到校準資訊1145來計算扭曲矩陣W。在一些態樣中，校準資訊可以包括與相機系統的各種元件相關聯的固有資訊。計算系統可以在方塊1150使用扭曲矩陣以校正與相機圖像1160相關聯的旋轉運動，以產生經對準的圖像1170。在一個態樣中，在當前訊框相對於先前訊框之間決定扭曲矩陣。

在一些態樣中，方法1100可以是至少部分地在機器學習（ML）模型中實現的。在一個說明性實例中，用於辨識旋轉的ML模型可以基於由ML模型感知的距離來構建用於旋轉圖像中的部分的深度圖。在另一實例中，ML模型可以基於至少兩個順序圖像來產生旋轉矩陣。

圖12是根據本案內容的特定態樣的用以辨識圖像擷取系統的移動的關鍵點偵測的概念圖。在一個態樣中，關鍵偵測可以被用以偵測長曝光圖像和短曝光圖像中的各種特徵。特徵偵測器的實例係包括哈裡斯角偵測、快速角偵測、定向梯度長條圖、尺度不變特徵變換等。由於如前述基於曝光比率來對短曝光圖像進行增亮，因此特徵偵測演算法應該偵測圖像之間的相同特徵。基於偵測到的特徵，特徵匹配演算法（例如，正規化互相關、Kullback-Leibler散度（KLD）距離、區塊匹配等）被用以匹配短曝光和長曝光圖像中的對應特徵點。訊框之間的單應矩陣計算去除了訊框之間的異常關鍵點，並且提供了準確的變換估計。

在一個態樣中，圖12圖示了在被映射到經變換的圖像1210的在原始圖像1205中偵測到的關鍵點。特別地，經變換的圖像被旋轉並被放縮，並且圖像中的各種特徵之間的點，諸如獅子的左後足和獅子的尾巴被映射在圖像之間。使用該映射，可以產生單應矩陣，該單應矩陣校正圖像擷取系統在訊框之間的位移。

在一些態樣中，單應矩陣至少可以是使用ML模型部分來決定的。在一個說明性態樣中，關鍵點偵測演算法和特徵匹配演算法中的至少一個可以是在ML模型中實現的。在一個說明性實例中，ML模型可以辨識不同的圖像中的與人的形狀對應的界限區域（例如，人的輪廓遮罩）。

圖13是圖示根據本案內容的特定態樣的用於使用背景填充技術來合成HDR圖像以減少重影的方法1300的實例的流程圖。方法1300可以由具有圖像感測器的計算系統或設備（或其元件，諸如晶片組）來執行，該計算系統或設備例如是行動無線通訊設備、相機、XR設備、支援無線的車輛或其他計算設備。在一個說明性實例中，計算系統1600可以被配置為執行方法1300的全部或部分。在一個說明性實例中，諸如ISP 254的ISP可以被配置為執行該方法的全部或部分。

在方塊1302，計算系統（或其元件）可以被配置為獲得使用圖像感測器擷取的第一圖像，其中第一圖像與第一曝光相關聯。在方塊1304，計算系統（或其元件）可以被配置為獲得使用圖像感測器擷取的第二圖像。第二圖像與比第一曝光長的第二曝光相關聯。例如，第一圖像可以是短曝光圖像，第二圖像可以是長曝光圖像。根據一個說明性實例，圖像感測器以與用於顯示由圖像感測器擷取的預覽圖像的顯示器相同的方向上被定向。例如，圖像感測器可以被配置為擷取系統的使用者的自拍圖像。

計算系統（或其元件）可以被配置為產生用於執行第一變換的第一矩陣，並產生用於執行第二變換的第二矩陣。在一個說明性實例中，第一變換包括與在獲得第一圖像和獲得第二圖像期間圖像感測器的移動相關聯的平移矩陣。

例如，平移矩陣可以是單應矩陣，用於校正在圖像擷取期間發生的圖像擷取設備的移動。在一個實例中，計算系統可以基於第一圖像和第二圖像之間的曝光比率差來正規化圖像，以增加第一圖像的亮度。計算系統可以偵測在第二圖像中的諸如人的面部之類的物件，並且決定與該物件在第二圖像中的位置相關聯的界限區域。計算系統可以被配置為從第一圖像提取第一特徵點，並且可以從第二圖像提取第二特徵點。基於偵測到的特徵點和界限區域，計算系統可以辨識界限區域內的第一特徵點的子集，辨識界限區域中的第二特徵點的子集，並且基於第一特徵點的子集和第二特徵點的子集產生第一矩陣。

在一些態樣中，第二矩陣可以是基於由運動感測器在當第一圖像被擷取時的第一時間和當第二圖像被擷取時的第二時間之間偵測到的移動來產生的。例如，運動感測器是陀螺儀感測器，並且偵測第一圖像和第二圖像之間的旋轉。在此種情況下，第二變換可以是可以針對旋轉變換進行校正的單應矩陣。

根據一些態樣，計算系統可以基於第一矩陣和第二矩陣產生混合變換矩陣，用於修改第一圖像的第一區域和第一圖像的第二區域。例如，計算系統可以啟動被稱為混合變換矩陣的新矩陣，將來自第一矩陣的至少對應於第一區域的值加到混合變換矩陣，並且將來自第二矩陣的至少對應於第二區域的值加到混合變換矩陣。

在一個說明性實例中，混合變換矩陣可以具有兩個不同的區域，第一區域對應於背景區域，第二區域對應於前景。在另一個說明性實例中，混合變換矩陣可以包括存在於第一區域和第二區域之間並混合第一變換矩陣和第二變換矩陣的第三區域。例如，計算系統可以基於與在第一圖像或第二圖像中的至少一個中的物件的位置相關聯的界限區域的大小來決定第一區域和第二區域之間的過渡區域，基於對第一矩陣和第二矩陣的表示來決定與過渡區域相關聯的值，並且將與過渡區域相關聯的值加到混合變換矩陣。例如，對第一矩陣和第二矩陣的表示包括第一矩陣和第二矩陣的加權平均。在另一實例中，對第一矩陣和第二矩陣的表示是基於從過渡區域的內邊緣到過渡區域的外邊緣的成比例的距離的。

在方塊1306，計算系統（或其元件）可以被配置為基於第一變換修改第一圖像的第一區域，並且基於第二變換修改第一圖像的第二區域，以產生經修改的第一圖像。在一個實例中，第一區域與相對於圖像感測器在場景中在第一深度處的物件相關聯，並且第二區域包括相對於圖像感測器在場景中在第二深度處的背景區域。例如，第一區域可以與使用者的面部，或圖像的主題相關聯，而第二區域可以是背景。

在方塊1308，計算系統（或其元件）可以至少部分地經由組合經修改的第一圖像和第二圖像來產生經組合圖像。在一個實例中，經組合圖像是HDR圖像。根據一些態樣，針對多個域（例如，旋轉、平移）中的運動來校正最終HDR圖像。結果，最終的HDR圖像針對多域運動進行校正，並且可以以高視覺保真度擷取HDR圖像。

如前述，在本文描述的過程或方法（例如，方法1100和1300，及/或在本文描述的其他過程）可以由計算系統（或設備或裝置）執行。在一個實例中，方法1100和1300可以由具有圖16所示的計算系統1600的計算架構的計算設備（例如，圖2中的圖像擷取和處理系統200）執行。計算設備可以包括任何合適的設備，諸如行動設備（例如，行動電話）、桌面計算設備、平板計算設備、可穿戴設備（例如，VR耳機、AR耳機、AR眼鏡、網路連接手錶或智慧手錶，或其他可穿戴設備）、伺服器電腦、自動駕駛車輛或自動駕駛車輛的計算設備、機器人設備、電視，及/或具有用以執行本文所述方法（包括方法1100和1300）的資源能力的任何其他計算設備。在一些情況下，計算設備或裝置可以包括各種元件，例如一或多個輸入設備、一或多個輸出設備、一種或多個處理器、一或多個微處理器、一種或多個微型電腦、一或多個相機、一或多個感測器，及/或被配置為執行本文所述方法的步驟的其他元件。在一些實例中，計算設備可以包括顯示器、被配置為傳送及/或接收資料的網路介面、其任意組合，及/或其他元件。網路介面可以被配置為傳送及/或接收基於IP的資料或其他類型的資料。

計算設備的元件可以是在電路系統中實現的。例如，該等元件可以包括電子電路或其他電子硬體及/或可以是使用電子電路或其他電子硬體來實現的，該等電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU及/或其他合適的電子電路），及/或可以包括電腦軟體、韌體或其任意組合及/或是可以使用電腦軟體、韌體或其任意組合來實現的，以執行本文所述的各種操作。

方法1100和1300被示為邏輯流程圖，其操作表示可以在硬體、電腦指令或其組合中實現的操作序列。在電腦指令的上下文中，該等操作表示儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，該等電腦可執行指令在由一或多個處理器執行時執行所述操作。通常，電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、元件、資料結構等。描述操作的順序不意欲被解釋為限制，並且任何數量的所描述的操作可以以任何順序及/或並行地組合以實現該等方法。

在本文描述的方法1100和1300及/或其他方法或過程可以是在被配置有可執行指令的一或多個電腦系統的控制下執行的，或者可以被實現為在一或多個處理器上集總地執行的代碼（例如，可執行指令、一或多個電腦程式，或一或多個應用程式），經由硬體被實現，或其組合。如前述，例如，以包括可由一或多個處理器執行的複數個指令的電腦程式的形式，代碼可以被儲存在電腦可讀取或機器可讀取儲存媒體上。電腦可讀取或機器可讀取儲存媒體可以是非暫時性的。

如前述，本案內容的各個態樣可以使用機器學習模型或系統。圖14是可以被用於實現上述基於機器學習的對準預測的深度學習神經網路1400的說明性實例。輸入層1420包括輸入資料。在一個說明性實例中，輸入層1420可以包括表示輸入視訊訊框的圖元的資料。神經網路1400包括多個隱藏層1422a、1422b到1422n。隱藏層1422a、1422b至1422n包括一定數量「n」個隱藏層，其中「n」是大於或等於1的整數。可以使該數量個隱藏層包括對於給定應用所需的任意多的層。神經網路1400亦包括輸出層1421，其提供由隱藏層1422a、1422b到1422n執行的處理而產生的輸出。在一個說明性實例中，輸出層1421可以針對輸入視訊訊框中的物件提供分類。分類可以包括辨識活動類型的類別（例如，抬頭、低頭、閉眼、打哈欠等）。

神經網路1400是互連節點的多層神經網路。每個節點可以表示一條資訊。與節點相關聯的資訊是在不同的層之間共享的，並且每個層在資訊被處理時保留資訊。在一些情況下，神經網路1400可以包括前饋網路，在此種情況下，不存在在網路的輸出被回饋到其自身情況下的回饋連接。在一些情況下，神經網路1400可以包括遞迴神經網路，其可以具有允許在讀取輸入時跨節點攜帶資訊的迴路。

可以經由在不同的層之間的節點到節點互連來在節點之間交換資訊。輸入層1420的節點可以啟用第一隱藏層1422a中的一組節點。例如，如圖所示，輸入層1420的每個輸入節點連接到第一隱藏層1422a的每個節點。第一隱藏層1422a的節點可以經由將啟用函數應用於輸入節點資訊來變換每個輸入節點的資訊。根據變換而匯出的資訊隨後可以被傳遞到並且可以啟用下一個隱藏層1422b的節點，該等節點可以執行其自己指定的函數。示例性函數包括迴旋、上取樣、資料變換及/或任何其他合適的函數。隨後，隱藏層1422b的輸出可以啟用下一個隱藏層的節點，依此類推。最後一個隱層1422n的輸出可以啟用輸出層1421的一或多個節點，其中在該一或多個節點處提供了輸出。在一些情況下，儘管神經網路1400中的節點（例如，節點1426）被圖示為具有多個輸出線，但是節點具有單個輸出，並且被圖示為由節點輸出的所有線表示相同的輸出值。

在一些情況下，每個節點或節點之間的互連可以具有權重，該權重是根據對神經網路1400的訓練而匯出的一組參數。一旦神經網路1400被訓練，神經網路1400就可以被稱為經訓練的神經網路，其可以用於對一或多個活動進行分類。例如，節點之間的互連可以表示關於互連節點而學習的一條資訊。互連可以具有可調諧的數值權重，該可調諧的數值權重可以被調諧（例如，基於訓練資料集），以允許神經網路1400適應於輸入並且能夠隨著越來越多的資料被處理而進行學習。

神經網路1400經預訓練，以使用不同的隱藏層1422a、1422b至1422n處理來自輸入層1420中的資料的特徵，以便經由輸出層1421提供輸出。在其中神經網路1400被用於辨識圖像中的特徵及/或物件的實例中，如前述，可以使用包括圖像和標籤兩者的訓練資料來訓練神經網路1400。例如，訓練圖像可以被輸入到網路中，其中每個訓練訊框具有指示圖像中的特徵的標籤（對於特徵提取機器學習系統）或指示每個訊框中的活動的類別的標籤。在出於說明目的使用物件分類的一個實例中，訓練訊框可以包括數值2的圖像，在此種情況下，針對圖像的標籤可以是[0 0 1 0 0 0 0 0 0 0]。

在一些情況下，神經網路1400可以使用稱為反向傳播的訓練過程來調整節點的權重。如前述，反向傳播過程可以包括前向傳遞、損失函數、後向傳遞和權重更新。針對一次訓練反覆運算來執行前向傳遞、損失函數、後向傳遞和參數更新。該過程可以針對每組訓練圖像被重複一定次數的反覆運算，直到神經網路1400被訓練得足夠好，使得層的權重被準確地調諧。

對於辨識圖像中的特徵及/或物件的實例，前向傳遞可以包括經由神經網路1400傳遞訓練圖像。在訓練神經網路1400之前，最初對權重進行隨機化。作為說明性實例，訊框可以包括對圖像的圖元進行表示的數值陣列。陣列之每一者數值可以包括從0到255的值，該值描述陣列中在該位置處的圖元強度。在一個實例中，陣列可以包括具有28行28列個圖元和3個顏色分量（諸如紅色、綠色和藍色，或者亮度和兩個色度分量，等等）的28×28×3數值陣列。

如前述，對於針對神經網路1400的第一次訓練反覆運算，輸出將可能包括由於在初始化時隨機地選擇權重而不給任何特定類別優先權的值。例如，若輸出是具有關於物件包括不同的類別的概率的向量，則針對不同的類別中每個類別的概率值可以相等或至少非常相似（例如，對於十個可能的類別，每個類別可以具有0.1的概率值）。利用初始權重，神經網路1400無法決定低級別特徵，並且因此無法準確地決定物件的分類可能是什麼。損失函數可以被用於分析輸出中的誤差。可以使用任何合適的損失函數定義，諸如交叉熵損失。損失函數的另一個實例係包括均方誤差（MSE），被定義為 。損失可以被設置為等於 的值。

針對第一訓練圖像，損失（或誤差）將較高，此情形是因為實際值將與經預測的輸出大不相同。訓練的目標是最小化損失量，使得經預測的輸出與訓練標籤相同。神經網路1400可以經由決定何者輸入（權重）對網路的損失貢獻最大來執行反向傳遞，並且可以調整權重，使得損失減小並最終被最小化。可以計算損失相對於權重的導數（被表示為 dL/ dW，其中 W是特定層處的權重），以決定對網路的損失貢獻最大的權重。在計算導數之後，可以經由更新篩檢程式的所有權重來執行權重更新。例如，可以更新權重，使得其在梯度的相反方向上變化。權重更新可以被表示為 ，其中 w表示權重， w _i 表示初始權重，並且η表示學習率。學習率可以被設置為任何合適的值，其中較高的學習率包括較大的權重更新，而較低的值指示較小的權重更新。

神經網路1400可以包括任何合適的深度網路。一個實例係包括迴旋神經網路（CNN），其包括輸入層和輸出層，其中在輸入層和輸出層之間具有多個隱藏層。CNN的隱藏層包括一系列迴旋層、非線性層、池化（用於下取樣）層和全連接層。神經網路1400可以包括除了CNN之外的任何其他深度網路，諸如自動編碼器、深度信任網路（DBN）、遞迴神經網路（RNN）等。

圖15是CNN 1500的說明性實例。CNN 1500的輸入層1520包括表示圖像或訊框的資料。例如，資料可以包括表示圖像的圖元的數值陣列，其中陣列之每一者數值包括從0到255的值，該值描述陣列中在該位置處的圖元強度。使用上文的先前實例，陣列可以包括具有28行28列個圖元和3個顏色分量（例如，紅色、綠色和藍色，或者亮度和兩個色度分量，等等）的28×28×3數值陣列。圖像可以被傳遞通過迴旋隱藏層1522a、可選的非線性啟用層、池化隱藏層1522b和全連接隱藏層1522c，以在輸出層1524獲得輸出。儘管在圖15中圖示每個隱藏層中的僅一個，但是一般技術者將理解，在CNN 1500中可以包括多個迴旋隱藏層、非線性層、池化隱藏層及/或全連接層。如前述，輸出可以指示物件的單個類別，或者可以包括最能描述圖像中物件的類別的概率。

CNN 1500的第一層是迴旋隱藏層1522a。迴旋隱藏層1522a分析輸入層1520的圖像資料。迴旋隱藏層1522a的每個節點被連接到輸入圖像的被稱為感受野的節點（圖元）區域。迴旋隱藏層1522a可以被認為是一或多個篩檢程式（每個篩檢程式對應於不同的啟用或特徵圖），其中篩檢程式的每個迴旋反覆運算是迴旋隱藏層1522a的節點或神經元。例如，篩檢程式在每次迴旋反覆運算時覆蓋的輸入圖像的區域將是針對篩檢程式的感受野。在一個說明性實例中，若輸入圖像包括28×28陣列，並且每個篩檢程式（以及對應的感受野）是5×5陣列，則在迴旋隱藏層1522a中將存在24×24個節點。節點和針對該節點的感受野之間的每個連接學習權重，並且在一些情況下學習整體偏差，使得每個節點學習分析其在輸入圖像中的特定局部感受野。隱藏層1522a的每個節點將具有相同的權重和偏差（稱為經共享權重和經共享偏差）。例如，篩檢程式有權重（數值）陣列，並且具有與輸入相同的深度。對於視訊訊框實例，篩檢程式的深度將為3（根據輸入圖像的三個顏色分量）。篩檢程式陣列的說明性大小為5×5×3，對應於節點的感受野的大小。

迴旋隱藏層1522a的迴旋性質是由於迴旋層的每個節點被應用於其對應的感受野。例如，迴旋隱藏層1522a的篩檢程式可以從輸入圖像陣列的左上角開始，並且可以圍繞輸入圖像進行迴旋。如前述，篩檢程式的每次迴旋反覆運算可以被認為是迴旋隱藏層1522a的節點或神經元。在每次迴旋反覆運算，篩檢程式的值與圖像的原始圖元值的對應數值相乘（例如，5×5篩檢程式陣列與在輸入圖像陣列的左上角的輸入圖元值的5×5陣列相乘）。可以將來自每次迴旋反覆運算的乘法結果加在一起，以獲得針對該反覆運算或節點的總和。根據迴旋隱藏層1522a中的下一個節點的感受野，接下來在輸入圖像的下一位置繼續該過程。例如，篩檢程式可以被移動一步長量（稱為步幅）到下一個感受野。步幅可以被設置為1或其他合適的量。例如，若步幅被設置為1，則篩檢程式將在每次迴旋反覆運算被向右移動1個圖元。在輸入體積的每個唯一位置處理篩檢程式產生了表示針對該位置的篩檢程式結果的數值，導致針對迴旋隱藏層1522a的每個節點來決定總和值。

從輸入層到迴旋隱藏層1522a的映射被稱為啟用圖（或特徵圖）。啟用圖包括針對每個節點的值，該值表示在輸入體積的每個位置的篩檢程式結果。啟用圖可以包括陣列，該陣列包括由篩檢程式在輸入體積上的每次反覆運算產生的各種總和值。例如，若將5×5篩檢程式應用於28×28輸入圖像的每個圖元（步幅為1），則啟用圖將包括24×24陣列。迴旋隱藏層1522a可以包括多個啟用圖，以便辨識圖像中的多個特徵。在圖15中所示的實例包括三個啟用圖。使用三個啟用圖，迴旋隱藏層1522a可以偵測三種不同類型的特徵，其中每個特徵在整個圖像中皆是可偵測的。

在一些實例中，可以在迴旋隱藏層1522a之後應用非線性隱藏層。非線性層可以被用於將非線性引入已經在計算線性運算的系統。非線性層的一個說明性實例是整流線性單元（ReLU）層。ReLU層可以將函數f(x)=max(0, x)應用於輸入體積中的所有值，此舉將所有負啟用改變為0。ReLU因此可以在不影響迴旋隱藏層1522a的感受野的情況下增加CNN 1500的非線性性質。

池化隱藏層1522b可以被應用於迴旋隱藏層1522a之後（並且應用於被使用時的非線性隱藏層之後）。池化隱藏層1522b被用於簡化來自迴旋隱藏層1522a的輸出中的資訊。例如，池化隱藏層1522b可以獲取從迴旋隱藏層1522a輸出的每個啟用圖，並使用池化函數產生濃縮啟用圖（或特徵圖）。最大池化是由池化隱藏層執行的函數的一個實例。池化隱藏層1522b可以使用其他形式的池化函數，諸如平均池化、L2範數池化或其他合適的池化函數。池化函數（例如，最大池化篩檢程式、L2範數篩檢程式或其他合適的池化篩檢程式）被應用於被包括在迴旋隱藏層1522a之每一者啟用圖。在圖15所示的實例中，三個池化篩檢程式被用於迴旋隱藏層1522a中的三個啟用圖。

在一些實例中，最大池化可以是經由將具有步幅（例如，等於篩檢程式的維度，諸如步幅2）的最大池化篩檢程式（例如，具有2×2的大小）應用於從迴旋隱藏層1522a輸出的啟用圖來使用的。來自最大池化篩檢程式的輸出包括篩檢程式對其進行迴旋的每個子區域中的最大數值。以2×2篩檢程式為例，池化層之每一者單元可以匯總前一層中的2×2個節點的區域（其中每個節點是啟用圖中的值）。例如，啟用圖中的四個值（節點）將在篩檢程式的每次反覆運算由2×2最大池化篩檢程式來分析，其中四個值中的最大值將作為「最大」值來輸出。若此種最大池化篩檢程式被應用於來自維度為24×24個節點的迴旋隱藏層1522a的啟用篩檢程式，則來自池化隱藏層1522b的輸出將是18×12個節點的陣列。

在一些實例中，亦可以使用L2規範池化篩檢程式。L2範數池化篩檢程式包括計算啟用圖的2×2區域（或其他合適區域）中的值的平方的和的平方根（而不是像在最大池化中一般計算最大值），並使用所計算的值作為輸出。

直觀而言，池化函數（例如，最大池化、L2範數池化或其他池化函數）決定給定特徵是否在圖像區域的任何地方被發現，並且丟棄確切位置資訊。此舉可以在不影響特徵偵測的結果的情況下完成，此情形是因為一旦發現了特徵，該特徵的確切位置就不如其相對於其他特徵的近似位置重要。最大池化（以及其他池化方法）提供的好處是經池化的特徵更少，從而減少了在CNN 1500的後面層中所需的參數的數量。

網路中的最後一層連接是全連接層，其將來自池化隱藏層1522b之每一者節點連接到輸出層1524之每一者輸出節點。使用上文的實例，輸入層包括對輸入圖像的圖元強度進行編碼的28×28個節點，迴旋隱藏層1522a包括基於將（針對篩檢程式的）5×5局部感受野應用於三個啟用圖的3×24×24個隱藏特徵節點，以及池化隱藏層1522b包括基於將最大池化篩檢程式應用於跨三個特徵圖中每個特徵圖的2×2區域的具有3×12×12個隱藏特徵節點的層。擴展該實例，輸出層1524可以包括十個輸出節點。在此種實例中，3×12×12池化隱藏層1522b的每個節點被連接到輸出層1524的每個節點。

全連接層1522c可以獲得先前池化隱藏層1522b的輸出（其應表示高級特徵的啟用圖），並且決定與特定類別最相關的特徵。例如，全連接層1522c可以決定與特定類別最強烈相關的高級特徵，並且可以包括針對高級特徵的權重（節點）。可以計算全連接層1522c的權重和池化隱藏層1522b的權重之間的乘積，以獲得針對不同的類別的概率。例如，若CNN 1500被用於預測視訊訊框中的物件是人，則較高的值將出現在表示人的高級特徵的啟用圖中（例如，出現兩條腿、在物件的頂部出現一張面部、在面部的左上方和右上方出現兩隻眼睛、在面部中間出現鼻子、在面部底部出現嘴巴，及/或人共有的其他特徵）。

在一些實例中，來自輸出層1524的輸出可以包括M維向量（在先前的實例中，M＝10）。M指示CNN 1500在對圖像中的物件進行分類時必須從中選擇的類別的數量。亦可以提供其他示例性輸出。M維向量之每一者數值可以表示物件屬於某一類別的概率。在一個說明性實例中，若表示十個不同類別的物件的10維輸出向量為[0 0 0.05 0.8 0 0.15 0 0 0 0]，則該向量指示：圖像是第三類別的物件（例如，狗）的概率為5%，圖像是第四類別的物件（例如，人）的概率為80%，以及圖像是第六類別的物件（例如，袋鼠）的概率為15%。針對類別的概率可以被認為是物件是該類別的一部分的置信水平。

圖16是圖示用於實現本文技術的特定態樣的系統的實例的圖。具體地，圖16圖示計算系統1600的實例，其可以是例如構成內部計算系統、遠端計算系統、相機或其任何元件的任何計算設備，其中系統的元件使用連接1605彼此通訊。連接1605可以是使用匯流排的實體連接，或者到處理器1610中的直接連接，諸如在晶片組架構中。連接1605亦可以是虛擬連接、聯網連接或邏輯連接。

在一些態樣中，計算系統1600是分散式系統，其中在本案內容中描述的功能可以被分佈在資料中心、多個資料中心、同級網路等內。在一些態樣中，所描述的系統元件中的一或多個表示許多此種元件，每個元件執行所描述元件的部分或全部功能。在一些態樣中，元件可以是實體設備或虛擬設備。

示例性計算系統1600包括至少一個處理單元（CPU或處理器）1610和連接1605，連接1605將包括系統記憶體1615（諸如ROM 1620和RAM 1625）的各種系統元件耦合到處理器1610。計算系統1600可以包括與處理器1610直接連接、緊鄰處理器1610或整合為處理器1610的一部分的高速記憶體的快取記憶體1612。

處理器1610可以包括任何通用處理器和硬體服務或軟體服務（諸如儲存在儲存設備1630中的服務1632、1634和1636），被配置為控制處理器1610以及專用處理器，其中軟體指令被包含到實際處理器設計中。處理器1610基本上可以是完全獨立的計算系統，包含多個核或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可以是對稱的或非對稱的。

為了實現使用者互動，計算系統1600包括輸入設備1645，其可以表示任意數量的輸入機制，諸如用於語音的麥克風、用於手勢或圖形輸入的觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等。計算系統1600亦可以包括輸出設備1635，其可以是多個輸出機制中的一或多個。在一些情況下，多模式系統可以使使用者能夠提供多種類型的輸入/輸出以與計算系統1600通訊。計算系統1600可以包括通訊介面1640，其通常可以支配和管理使用者輸入和系統輸出。通訊介面可以使用有線及/或無線收發機執行或促進有線或無線通訊的接收及/或傳輸，其中有線及/或無線收發機包括彼等利用如下各項的收發機：音訊插孔/插頭、麥克風插孔/插頭、通用串列匯流排（USB）埠/插頭、Apple®Lightning®埠/插頭、乙太網路埠/插頭、光纖埠/插頭、專用有線埠/插頭、藍芽®無線信號傳送、BLE無線信號傳送、IBEACON®無線信號傳送、RFID無線信號傳送、近場通訊（NFC）無線信號傳送、專用短程通訊（DSRC）無線信號傳送、802.11 WiFi無線信號傳送、WLAN信號傳送、可見光通訊（VLC）、全球互通微波存取性（WiMAX）、IR通訊無線信號傳送、公用交換電話網路（PSTN）信號傳送、整合式服務數位網路（ISDN）信號傳送、3G/4G/5G/LTE蜂巢資料網路無線信號傳送、自組織網路信號傳送、無線電波信號傳送、微波信號傳送、紅外信號傳送、可見光信號傳送、紫外光信號傳送、沿電磁頻譜的無線信號傳送，或其某個組合。通訊介面1640亦可以包括一或多個全球導航衛星系統（GNSS）接收器或收發機，其被用於基於從與一或多個GNSS系統相關聯的一或多個衛星接收到一或多個信號來決定計算系統1600的位置。GNSS系統包括但不限於基於美國的全球定位系統、基於俄羅斯的全球導航衛星（GLONASS）、基於中國的BeiDou導航衛星系統（BDS）和基於歐洲的伽利略GNSS。在任何特定的硬體佈置上進行操作皆沒有約束，並且因此本文的基本特徵可以很容易地在其被開發時被改良的硬體或韌體佈置所取代。

儲存設備1630可以是非揮發性及/或非暫時性及/或電腦可讀取記憶體設備，並且可以是硬碟或其他類型的電腦可讀取媒體（其可以儲存電腦可存取的資料），諸如磁帶盒、快閃記憶卡、固態記憶體設備、數位多功能光碟、盒式磁帶、軟碟、軟碟、硬碟、磁帶、磁條/條帶、任何其他磁儲存媒體、快閃記憶體、憶阻器記憶體、任何其他固態記憶體、壓縮光碟唯讀記憶體（CD-ROM）光碟、可重寫壓縮光碟（CD）光碟、數位視訊光碟（DVD）光碟、藍光光碟（BDD）光碟、全息光碟、另一種光學媒體、安全數位（SD）卡、微安全數位（microSD）卡、Memory Stick®卡、智慧卡晶片、EMV晶片、用戶身份模組（SIM）卡、迷你/微/奈米/微微SIM卡、另一積體電路（IC）晶片/卡、RAM、靜態RAM（SRAM）、動態RAM（DRAM）、ROM、可程式設計唯讀記憶體（PROM）、可抹除可程式設計唯讀記憶體（EPROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃EPROM（FLASHEPROM）、快取記憶體（L1/L2/L3/L4/L5/L#）、電阻式隨機存取記憶體（RRAM/ReRAM）、相變記憶體（PCM）、自旋轉移力矩RAM（STT-RAM）、另一記憶體晶片或盒，及/或其組合。

儲存設備1630可以包括軟體服務、伺服器、服務等，當定義此種軟體的代碼由處理器1610執行時，該代碼使系統執行功能。在一些態樣中，執行特定功能的硬體服務可以包括儲存在電腦可讀取媒體中的軟體元件，該軟體元件與必需的硬體元件（諸如處理器1610、連接1605、輸出設備1635等）相結合以執行功能。術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式儲存設備、光學儲存設備以及能夠儲存、包含或攜帶指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括在其中可以儲存資料並且不包括無線地或經由有線連接傳播的載波及/或暫時性電子信號的非暫時性媒體。非暫時性媒體的實例可以包括但不限於磁碟或磁帶、諸如CD或DVD的光學儲存媒體、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體上可以儲存有代碼及/或機器可執行指令，其可以表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、類或者具有指令、資料結構或程式語句的任何組合。程式碼片段可以經由傳遞及/或接收資訊、資料、參量、參數或記憶體內容而被耦合到另一程式碼片段或硬體電路。資訊、參量、參數、資料等可以是經由任何合適的方式來傳遞、轉發或傳輸的，任何合適的方式包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等。

在一些情況下，計算設備或裝置可以包括各種元件，諸如一或多個輸入設備、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微型電腦、一或多個相機、一或多個感測器及/或被配置為執行本文所述的過程步驟的其他元件。在一些實例中，計算設備可以包括顯示器、被配置為傳送及/或接收資料的一或多個網路介面、其任意組合，及/或其他元件。一或多個網路介面可以被配置為傳送及/或接收有線及/或無線資料，包括根據3G、4G、5G及/或其他蜂巢標準的資料、根據Wi-Fi（802.11x）標準的資料、根據藍芽 ^TM標準的資料、根據IP標準的資料及/或其他類型的資料。

計算設備的元件可以是在電路系統中實現的。例如，元件可以包括電子電路或其他電子硬體及/或可以是使用電子電路或其他電子硬體來實現的，該等電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU及/或其他合適的電子電路），及/或可以包括電腦軟體、韌體或其任意組合及/或是使用電腦軟體、韌體或其任意組合來實現的，以執行本文所述的各種操作。

在一些態樣中，電腦可讀取儲存設備、媒體和記憶體可以包括包含位元串流等的有線或無線信號。然而，當提及時，非暫時性電腦可讀取儲存媒體明確排除諸如能量、載波信號、電磁波和信號本身的媒體。

以上描述中提供了具體細節，以提供對本文提供的態樣和實例的全面理解。然而，一般技術者將理解，可以在沒有該等具體細節的情況下實行該等態樣。為了解釋清楚，在一些情況下，本文技術可以被呈現為包括各個功能方塊，其包括包含以軟體或者硬體和軟體的組合實施的方法中的設備、設備元件、步驟或常式的功能方塊。除了圖中所示及/或本文中所述的元件之外，亦可以使用其他元件。例如，電路、系統、網路、過程和其他元件可以以方塊圖的形式被圖示為元件，以便不以不必要的細節模糊各態樣。在其他情況下，為了避免混淆各態樣，可以在沒有不必要的細節的情況下圖示公知的電路、過程、演算法、結構和技術。

以上可以將各個態樣描述為被圖示為流程圖、流程示意圖、資料流程圖、結構圖或方塊圖的過程或方法。儘管流程圖可以將操作描述為順序過程，但可以並行或併發執行許多操作。此外，可以重新佈置操作的順序。過程在其操作完成時終止，但可能有未包含在圖中的附加步驟。過程可以對應於方法、函數、程序、子常式、副程式等。當過程對應於函數時，其終止可以對應於函數返回調用函數或主函數。

根據上述實例的過程和方法可以使用被儲存的或以其他方式可從電腦可讀取媒體獲得的電腦可執行指令來實現。例如，此種指令可以包括使得或者以其他方式配置通用電腦、專用電腦或處理設備以執行特定功能或功能群組的指令和資料。被使用的部分電腦資源可以經由網路存取。電腦可執行指令可以是例如二進位檔案、諸如組合語言的中間格式指令、韌體、原始程式碼等。可以被用於儲存指令、被使用的資訊及/或在根據所描述的實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、以非揮發性記憶體提供的USB設備、網路儲存設備等。

實現根據該等揭示的過程和方法的設備可以包括硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合，並且可以採用各種形式因素中的任何一種。當以軟體、韌體、中間軟體或微碼實現時，用於執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可以被儲存在電腦可讀取媒體或機器可讀取媒體中。處理器可以執行必要的任務。外形因素的典型實例包括筆記型電腦、智慧手機、行動電話、平板電腦或其他小型個人電腦、個人數位助理、機架安裝設備、獨立設備等。本文所述的功能亦可以被實施在周邊設備或附加卡中。經由進一步的實例，此種功能亦可以是在單個設備中執行的不同的晶片或不同的過程之間在電路板上實現的。

指令、用於傳送此類指令的媒體、用於執行其此類指令的計算資源，以及用於支援此類計算資源的其他結構是用於提供在本案內容中描述的功能的示例性方式。

在前述描述中，參照本案的具體態樣來描述本案的各態樣，但是熟習此項技術者將認識到本案不限於此。因此，儘管本文已經詳細描述了本案的說明性態樣，但是應當理解的是，本發明概念可以以其他方式被不同地實施和採用，並且所附請求項意欲被解釋為包括此種變化，除非受到現有技術的限制。上述應用的各種特徵和態樣可以單獨被使用或聯合被使用。此外，在不脫離本說明書的更廣泛的精神和範疇的情況下，可以在本文所描述的環境和應用之外的任何數量的環境和應用中使用各態樣。因此，說明書和附圖應視為說明性的，而非限制性的。為了便於說明，按特定順序對方法進行了描述。應當理解，在替代態樣中，可以以與所描述的順序不同的順序來執行該等方法。

一般技術者將理解，在不脫離本說明書的範疇的情況下，本文中使用的小於（「＜」）和大於（「＞」）的符號或術語可以分別用小於或等於（「≦」）和大於或等於（「≧」）符號來替代。

在元件被描述為「配置為」執行特定操作的情況下，此種配置可以是經由設計電子電路或其他硬體以執行操作，經由程式設計可程式設計電子電路（例如，微處理器或其他合適的電子電路）以執行操作或其任何組合來實現的。

短語「耦合到」是指直接地或間接地實體地連接到另一元件的任何元件，及/或直接地或間接地與另一元件通訊（例如，經由有線或無線連接及/或其他合適的通訊介面連接到該另一元件）的任何元件。

請求項語言或記載集合「中的至少一個」及/或集合中的「一或多個」的其他語言表示該集合的一個成員或該集合的多個成員（以任何組合）滿足請求項。例如，記載「A和B中的至少一個」或「A或B中的至少一個」的請求項語言是指A、B或A和B。在另一個實例中，記載「A、B和C中的至少一個」或「A、B或C中的至少一個」的請求項語言是指A、B、C，或者A和B，或者A和C，或者B和C，或者A和B和C。語言集合中的「至少一個」及/或集合中的「一或多個」並不將集合限制為集合中列出的專案。例如，記載「A和B中的至少一個」或「A或B中的至少一個」的請求項語言可以指A、B或A和B，並且可以另外包括在A和B的集合中未列出的專案。

結合本文揭示的各態樣描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體和軟體的此種互換性，上文已經就其功能性大體上描述了各種說明性元件、方塊、模組、電路和步驟。此種功能是被實現為硬體還是被實現為軟體取決於特定的應用和施加在整體系統上的設計約束。熟習此項技術者可以針對每一特定應用以不同方式實現所描述的功能，但此類實現決策不應被解釋為導致偏離本案的範疇。

本文所述技術亦可以是在電子硬體、電腦軟體、韌體或其任何組合中實現的。該等技術可以是在各種設備中的任何設備中實現的，各種設備諸如是通用電腦、無線通訊設備手持機，或具有多種用途的積體電路元件，包括在無線通訊設備手機和其他設備中的應用。任何被描述為模組或元件的特徵皆可以是在整合邏輯設備中一起實現的，或者單獨地被實現為個別但可交互操作的邏輯設備。若在軟體中實現，則技術可以是至少部分地經由包括程式碼的電腦可讀取資料儲存媒體來實現的，該程式碼包括當被執行時執行上述方法中的一或多個的指令。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分，該電腦程式產品可以包括封裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體，諸如RAM（諸如同步動態隨機存取記憶體（SDRAM））、ROM、非揮發性隨機存取記憶體（NVRAM）、EEPROM、快閃記憶體、磁或光資料儲存媒體等。另外或替代地，技術可以是至少部分地經由電腦可讀取通訊媒體（諸如被傳播的信號或波）來實現的，該電腦可讀取通訊媒體攜帶或傳送指令或資料結構形式的程式碼，並且可以由電腦存取、讀取及/或執行。

程式碼可以由處理器執行，處理器可以包括一或多個處理器，諸如一或多個DSP、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）或其他等效整合或個別邏輯電路系統。此種處理器可以被配置為執行在本案內容中描述的任何技術。通用處理器可以是微處理器；但在替代方案中，處理器可以是任何習知的處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合，例如，DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核結合，或者任何其他此種配置。因此，如本文所使用的術語「處理器」可以指任何前述結構、前述結構的任何組合，或適用於實現本文所述技術的任何其他結構或裝置。

本案內容的說明性實例包括：

態樣1、一種處理一或多個圖像的方法，包括以下步驟：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；獲得使用該圖像感測器擷取的第二圖像，該第二圖像與比該第一曝光長的第二曝光相關聯；基於第一變換來修改該第一圖像的第一區域，並且基於第二變換來修改該第一圖像的第二區域，以產生經修改的第一圖像；及至少部分地經由組合該經修改的第一圖像和該第二圖像來產生經組合圖像。

態樣2、根據態樣1之方法，其中該圖像感測器是以與用於顯示由該圖像感測器擷取的預覽圖像的顯示器相比相同的方向來定向的。

態樣3、根據態樣1至2中任一態樣之方法，其中該第一區域是與在場景中相對於該圖像感測器在第一深度處的物件相關聯的，並且其中該第二區域包括在該場景中相對於該圖像感測器在第二深度處的背景區域。

態樣4、根據態樣1至3中任一態樣之方法，亦包括以下步驟：產生用於執行該第一變換的第一矩陣；及產生用於執行該第二變換的第二矩陣。

態樣5、根據態樣1至4中任一態樣之方法，其中該第二矩陣是基於由運動感測器在當該第一圖像被擷取時的第一時間和當該第二圖像被擷取時的第二時間之間偵測的移動來產生的。

態樣6、根據態樣1至5中任一態樣之方法，其中該運動感測器包括陀螺儀感測器，並且其中該第二變換包括旋轉變換。

態樣7、根據態樣1至6中任一態樣之方法，其中產生該第一矩陣包括：從該第一圖像提取第一特徵點；及從該第二圖像提取第二特徵點。

態樣8、根據態樣1至7中任一態樣之方法，亦包括以下步驟：基於在該第一圖像和該第二圖像之間的曝光比率差來增加該第一圖像的亮度。

態樣9、根據態樣1至8中任一態樣之方法，亦包括：偵測該第二圖像中的物件；及決定與該第二圖像中的該物件的位置相關聯的界限區域。

態樣10、根據態樣1至9中任一態樣之方法，亦包括以下步驟：辨識該界限區域內的該第一特徵點的子集；辨識該界限區域內的該第二特徵點的子集；及基於該第一特徵點的子集和該第二特徵點的子集來產生該第一矩陣。

態樣11、根據態樣1至10中任一態樣之方法，基於該第一矩陣和該第二矩陣，產生用於修改該第一圖像的該第一區域和該第一圖像的該第二區域的混合變換矩陣。

態樣12、根據態樣1至11中任一態樣之方法，其中產生該混合變換矩陣包括：將來自該第一矩陣的至少對應於該第一區域的值加到該混合變換矩陣；及將來自該第二矩陣的至少對應於該第二區域的值加到該混合變換矩陣。

態樣13、根據態樣1至12中任一態樣之方法，亦包括以下步驟：基於與該第一圖像或該第二圖像中的至少一個中的物件的位置相關聯的界限區域的大小，來決定該第一區域和該第二區域之間的過渡區域；基於該第一矩陣和該第二矩陣的表示來決定與該過渡區域相關聯的值；及將與該過渡區域相關聯的該等值加到該混合變換矩陣。

態樣14、根據態樣1至13中任一態樣之方法，其中該第一矩陣和該第二矩陣的該表示包括該第一矩陣和該第二矩陣的加權平均。

態樣15、根據態樣1至14中任一態樣之方法，其中該第一矩陣和該第二矩陣的該表示是基於從該過渡區域的內邊緣到該過渡區域的外邊緣的成比例距離的。

態樣16、根據態樣1至15中任一態樣之方法，其中該第一變換包括與在該獲得該第一圖像和該獲得該第二圖像期間該圖像感測器的移動相關聯的平移矩陣。

態樣17、根據態樣1至16中任一態樣之方法，其中該經組合圖像是HDR圖像。

態樣18、一種用於處理一或多個圖像的裝置，包括至少一個數據機（例如，在電路系統中實現）、耦合到收發機的一個（或多個）處理器，以及與該至少一個處理器通訊地耦合並儲存處理器可讀取代碼的至少一個記憶體。該處理器可讀取代碼在由該至少一個處理器結合該至少一個數據機執行時被配置為：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；獲得使用該圖像感測器擷取的第二圖像，該第二圖像與比該第一曝光長的第二曝光相關聯；基於第一變換來修改該第一圖像的第一區域，並且基於第二變換來修改該第一圖像的第二區域，以產生經修改的第一圖像；及至少部分地經由組合該經修改的第一圖像和該第二圖像來產生經組合圖像。

態樣19、根據態樣18之裝置，其中該圖像感測器是以與用於顯示由該圖像感測器擷取的預覽圖像的顯示器相比相同的方向來定向的。

態樣20、根據態樣18至19中任一態樣之裝置，其中該第一區域是與在場景中相對於該圖像感測器在第一深度處的物件相關聯的，並且其中該第二區域包括在該場景中相對於該圖像感測器在第二深度處的背景區域。

態樣21、根據態樣18至20中任一態樣之裝置，其中該處理器可讀取代碼在由該至少一個處理器結合該至少一個數據機執行時被配置為：產生用於執行該第一變換的第一矩陣；及產生用於執行該第二變換的第二矩陣。

態樣22、根據態樣18至21中任一態樣之裝置，其中該第二矩陣是基於由運動感測器在當該第一圖像被擷取時的第一時間和當該第二圖像被擷取時的第二時間之間偵測的移動來產生的。

態樣23、根據態樣18至22中任一態樣之裝置，其中該運動感測器包括陀螺儀感測器，並且其中該第二變換包括旋轉變換。

態樣24、根據態樣18至23中任一態樣之裝置，其中該處理器可讀取代碼在由該至少一個處理器結合該至少一個數據機執行時被配置為：從該第一圖像提取第一特徵點；及從該第二圖像提取第二特徵點。

態樣25、根據態樣18至24中任一態樣之裝置，其中該處理器可讀取代碼在由該至少一個處理器結合該至少一個數據機執行時被配置為：基於在該第一圖像和該第二圖像之間的曝光比率差來增加該第一圖像的亮度。

態樣26、根據態樣18至25中任一態樣之裝置，其中該處理器可讀取代碼在由該至少一個處理器結合該至少一個數據機執行時被配置為：偵測該第二圖像中的物件；及決定與該第二圖像中的該物件的位置相關聯的界限區域。

態樣27、根據態樣18至26中任一態樣之裝置，其中該處理器可讀取代碼在由該至少一個處理器結合該至少一個數據機執行時被配置為：辨識該界限區域內的該第一特徵點的子集；辨識該界限區域內的該第二特徵點的子集；及基於該第一特徵點的子集和該第二特徵點的子集來產生該第一矩陣。

態樣28、根據態樣18至27中任一態樣之裝置，其中基於該第一矩陣和該第二矩陣，用於修改該第一圖像的該第一區域和該第一圖像的該第二區域的混合變換矩陣。

態樣29、根據態樣18至28中任一態樣之裝置，其中該處理器可讀取代碼在由該至少一個處理器結合該至少一個數據機執行時被配置為：將來自該第一矩陣的至少對應於該第一區域的值加到該混合變換矩陣；及將來自該第二矩陣的至少對應於該第二區域的值加到該混合變換矩陣。

態樣30、根據態樣18至29中任一態樣之裝置，其中該處理器可讀取代碼在由該至少一個處理器結合該至少一個數據機執行時被配置為：基於與該第一圖像或該第二圖像中的至少一個中的物件的位置相關聯的界限區域的大小，來決定該第一區域和該第二區域之間的過渡區域；基於該第一矩陣和該第二矩陣的表示來決定與該過渡區域相關聯的值；及將與該過渡區域相關聯的該等值加到該混合變換矩陣。

態樣31、根據態樣18至30中任一態樣之裝置，其中該第一矩陣和該第二矩陣的該表示包括該第一矩陣和該第二矩陣的加權平均。

態樣32、根據態樣18至31中任一態樣之裝置，其中該第一矩陣和該第二矩陣的該表示是基於從該過渡區域的內邊緣到該過渡區域的外邊緣的成比例距離的。

態樣33、根據態樣18至32中任一態樣之裝置，其中該第一變換包括與在該獲得該第一圖像和該獲得該第二圖像期間該圖像感測器的移動相關聯的平移矩陣。

態樣34、根據態樣18至33中任一態樣之裝置，其中該經組合圖像是HDR圖像。

態樣35、一種非暫時性電腦可讀取媒體，包括指令，該等指令當由一或多個處理器執行時使該一或多個處理器執行根據態樣1至17中任一態樣之操作。

態樣36、一種裝置，包括用於執行根據態樣1至17中任一態樣之操作的構件。

1:光電二極體曝光群組 2:光電二極體曝光群組 3:光電二極體曝光群組 4:光電二極體曝光群組 100:拜耳顏色篩檢程式陣列 110:QCFA 120:光電二極體曝光群組陣列 200:圖像擷取和處理系統 205A:圖像擷取設備 205B:圖像處理設備 210:場景 215:透鏡 220:控制機構 225A:曝光控制機構 225B:聚焦控制機構 225C:變焦控制機構 230:圖像感測器 240:隨機存取記憶體（RAM） 245:唯讀記憶體（ROM） 250:圖像處理器 252:主機處理器 254:ISP 256:I/O埠 260:I/O設備 300:圖像擷取系統 302:圖像擷取設備 310:圖像處理引擎 312:輸出設備 402:短曝光訊框 404:長曝光訊框 406:經融合訊框輸出 408:區域 410:區域 502:線 504:線 506:線 508:線 550:時間 552:時間 602:長曝光訊框 603:緩衝器 604:短曝光訊框 605:緩衝器 606:融合引擎 700:圖 702:圖像擷取系統 704:位置 706:位置 710:區域 715:區域 720:區域 725:區域 750:圖 755:區域 760:區域 810:區域 820:雜訊區域 830:重影區域 900:圖像處理系統 902:訊框對 904:短曝光圖像 906:長曝光圖像 910:曝光補償器 915:特徵偵測器 920:移動估計器 925:物件偵測器 930:移動估計器 935:陀螺儀感測器 940:旋轉估計器 945:圖像校正器 950:短曝光圖像 960:融合引擎 970:HDR圖像 1002:界限區域 1004:內邊緣 1006:外邊緣 1010:邊界區域 1100:方法 1110:陀螺儀取樣 1120:方塊 1130:方塊 1140:方塊 1145:校準資訊 1150:方塊 1160:相機圖像 1170:經對準的圖像 1205:原始圖像 1210:經變換的圖像 1300:方法 1302:方塊 1304:方塊 1306:方塊 1308:方塊 1400:神經網路 1420:輸入層 1421:輸出層 1422a:隱藏層 1422b:隱藏層 1422n:隱藏層 1426:節點 1500:CNN 1520:輸入層 1522a:迴旋隱藏層 1522b:池化隱藏層 1522c:全連接隱藏層 1524:輸出層 1600:計算系統 1605:連接 1610:處理器 1612:快取記憶體 1615:系統記憶體 1620:ROM 1625:RAM 1630:儲存設備 1632:服務 1634:服務 1635:輸出設備 1636:服務 1640:通訊介面 1645:輸入設備 B:藍色 G:綠色 R:紅色

以下參考附圖詳細描述本案的說明性態樣：

圖1A、圖1B和圖1C是圖示根據本案內容的各態樣的圖像擷取設備的圖像感測器的示例性配置的圖。

圖2是圖示根據本案內容的各態樣的圖像擷取和處理設備的架構的方塊圖。

圖3是圖示根據本案內容的各態樣的圖像擷取系統的實例的方塊圖。

圖4是圖示根據本案內容的各態樣的從短曝光訊框和長曝光訊框產生融合訊框的圖。

圖5是圖示根據本案內容的某些內容的來自圖像感測器的長曝光串流和短曝光串流的圖。

圖6是圖示根據本案內容的各態樣的對一或多個短曝光訊框和一或多個長曝光訊框的線上融合的實例的圖。

圖7A是圖示根據一些態樣的由在多個域中經歷位移的圖像擷取系統擷取的長曝光圖像和短曝光圖像的圖。

圖7B圖示根據本案內容的一些態樣的在旋轉校正之後的在圖7A中的長曝光圖像和短曝光圖像。

圖8是根據本案內容的一些態樣的在針對旋轉移動進行校正之後由HDR融合系統產生的示例性高動態範圍（HDR）圖像。

圖9圖示圖示根據本案內容的一些態樣的用於使用多域運動校正來合成HDR圖像的示例性圖像處理系統的圖。

圖10A-圖10D是圖示根據本案內容的一些態樣的由HDR融合系統產生用以校正空間和旋轉對準的各種矩陣的概念圖。

圖11是圖示根據本案內容的某些內容的用於使用陀螺儀感測器使用旋轉資訊對準圖像的方法的實例的流程圖。

圖12是根據本案內容的某些內容的用於辨識圖像擷取系統的位移的關鍵點偵測的概念圖。

圖13是圖示根據本案內容的各態樣的用於利用多域運動校正合成HDR圖像的示例性方法的流程圖。

圖14是根據本案內容的各態樣的可以被用於實現基於機器學習的對準預測的深度學習神經網路的說明性實例。

圖15是根據本案內容的各態樣的迴旋神經網路（CNN）的說明性實例。

圖16是圖示用於實現在本文描述的某些態樣的系統的實例的圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

602:長曝光訊框

603:緩衝器

604:短曝光訊框

605:緩衝器

606:融合引擎

Claims (30)

1. 一種處理一或多個圖像的方法，包括以下步驟： 獲得使用一圖像感測器擷取的一第一圖像，該第一圖像與一第一曝光相關聯； 獲得使用該圖像感測器擷取的一第二圖像，該第二圖像與比該第一曝光長的一第二曝光相關聯； 基於一第一變換來修改該第一圖像的一第一區域，並且基於一第二變換來修改該第一圖像的一第二區域，以產生一經修改的第一圖像；及 至少部分地經由組合該經修改的第一圖像和該第二圖像來產生一經組合圖像。
2. 根據請求項1之方法，其中該圖像感測器是以與用於顯示由該圖像感測器擷取的預覽圖像的一顯示器相比相同的一方向來定向的。
3. 根據請求項1之方法，其中該第一區域是與在一場景中相對於該圖像感測器在一第一深度處的一物件相關聯的，並且其中該第二區域包括在該場景中相對於該圖像感測器在一第二深度處的一背景區域。
4. 根據請求項1之方法，亦包括以下步驟： 產生用於執行該第一變換的一第一矩陣；及 產生用於執行該第二變換的一第二矩陣。
5. 根據請求項4之方法，其中該第二矩陣是基於由一運動感測器在當該第一圖像被擷取時的一第一時間和當該第二圖像被擷取時的一第二時間之間偵測的移動來產生的。
6. 根據請求項5之方法，其中該運動感測器包括一陀螺儀感測器，並且其中該第二變換包括一旋轉變換。
7. 根據請求項4之方法，其中產生該第一矩陣之步驟包括以下步驟： 從該第一圖像提取第一特徵點；及 從該第二圖像提取第二特徵點。
8. 根據請求項7之方法，亦包括以下步驟： 基於在該第一圖像和該第二圖像之間的一曝光比率差來增加該第一圖像的一亮度。
9. 根據請求項7之方法，亦包括以下步驟： 偵測該第二圖像中的一物件；及 決定與該第二圖像中的該物件的一位置相關聯的一界限區域。
10. 根據請求項9之方法，亦包括以下步驟： 辨識該界限區域內的該等第一特徵點的一子集； 辨識該界限區域內的該等第二特徵點的一子集；及 基於該等第一特徵點的該子集和該等第二特徵點的該子集來產生該第一矩陣。
11. 根據請求項4之方法，亦包括以下步驟： 基於該第一矩陣和該第二矩陣，產生用於修改該第一圖像的該第一區域和該第一圖像的該第二區域的一混合變換矩陣。
12. 根據請求項11之方法，其中產生該混合變換矩陣之步驟包括以下步驟： 將來自該第一矩陣的至少對應於該第一區域的值加到該混合變換矩陣；及 將來自該第二矩陣的至少對應於該第二區域的值加到該混合變換矩陣。
13. 根據請求項12之方法，亦包括以下步驟： 基於與該第一圖像或該第二圖像中的至少一個中的一物件的一位置相關聯的一界限區域的一大小，來決定該第一區域和該第二區域之間的一過渡區域； 基於該第一矩陣和該第二矩陣的一表示來決定與該過渡區域相關聯的值；及 將與該過渡區域相關聯的該等值加到該混合變換矩陣。
14. 根據請求項13之方法，其中該第一矩陣和該第二矩陣的該表示包括該第一矩陣和該第二矩陣的一加權平均。
15. 根據請求項13之方法，其中該第一矩陣和該第二矩陣的該表示是基於從該過渡區域的一內邊緣到該過渡區域的一外邊緣的一成比例距離的。
16. 根據請求項1之方法，其中該第一變換包括與在該獲得該第一圖像和該獲得該第二圖像期間該圖像感測器的移動相關聯的一平移矩陣。
17. 根據請求項1之方法，其中該經組合圖像是一高動態範圍（HDR）圖像。
18. 一種用於處理一或多個圖像的裝置，該裝置包括： 至少一個記憶體；及 與該至少一個記憶體耦合的至少一個處理器，其中該至少一個處理器被配置為： 獲得使用一圖像感測器擷取的一第一圖像，該第一圖像與一第一曝光相關聯； 獲得使用該圖像感測器擷取的一第二圖像，該第二圖像與比該第一曝光長的一第二曝光相關聯； 基於一第一變換來修改該第一圖像的一第一區域，並且基於一第二變換來修改該第一圖像的一第二區域，以產生一經修改的第一圖像；及 至少部分地經由組合該經修改的第一圖像和該第二圖像來產生一經組合圖像。
19. 根據請求項18之裝置，其中該圖像感測器是以與用於顯示由該圖像感測器擷取的預覽圖像的一顯示器相比相同的一方向來定向的。
20. 根據請求項18之裝置，其中該第一區域是與在一場景中相對於該圖像感測器在一第一深度處的一物件相關聯的，並且其中該第二區域包括在該場景中相對於該圖像感測器在一第二深度處的一背景區域。
21. 根據請求項18之裝置，其中該至少一個處理器被配置為： 產生用於執行該第一變換的一第一矩陣；及 產生用於執行該第二變換的一第二矩陣。
22. 根據請求項21之裝置，其中該至少一個處理器被配置為：基於由一運動感測器在當該第一圖像被擷取時的一第一時間和當該第二圖像被擷取時的一第二時間之間偵測的移動，來產生該第二矩陣。
23. 根據請求項22之裝置，其中該運動感測器包括一陀螺儀感測器，並且其中該第二變換包括一旋轉變換。
24. 根據請求項21之裝置，其中該至少一個處理器被配置為： 從該第一圖像提取第一特徵點；及 從該第二圖像提取第二特徵點。
25. 根據請求項24之裝置，其中該至少一個處理器被配置為： 基於在該第一圖像和該第二圖像之間的一曝光比率差來增加該第一圖像的一亮度。
26. 根據請求項24之裝置，其中該至少一個處理器被配置為： 偵測該第二圖像中的一物件；及 決定與該第二圖像中的該物件的一位置相關聯的一界限區域。
27. 根據請求項26之裝置，其中該至少一個處理器被配置為： 辨識該界限區域內的該等第一特徵點的一子集； 辨識該界限區域內的該等第二特徵點的一子集；及 基於該等第一特徵點的該子集和該等第二特徵點的該子集來產生該第一矩陣。
28. 根據請求項21之裝置，其中該至少一個處理器被配置為： 基於該第一矩陣和該第二矩陣，來產生用於修改該第一圖像的該第一區域和該第一圖像的該第二區域的一混合變換矩陣。
29. 根據請求項28之裝置，其中該至少一個處理器被配置為： 將來自該第一矩陣的至少對應於該第一區域的值加到該混合變換矩陣；及 將來自該第二矩陣的至少對應於該第二區域的值加到該混合變換矩陣。
30. 根據請求項29之裝置，其中該至少一個處理器被配置為： 基於與該第一圖像或該第二圖像中的至少一個中的一物件的一位置相關聯的一界限區域的一大小，來決定該第一區域和該第二區域之間的一過渡區域； 基於該第一矩陣和該第二矩陣的一表示來決定與該過渡區域相關聯的值；及 將與該過渡區域相關聯的該等值加到該混合變換矩陣。

Images