Nothing Special   »   [go: up one dir, main page]

TWI621099B - 具有基於特徵的重影去除的陣列照相機影像組合 - Google Patents

具有基於特徵的重影去除的陣列照相機影像組合 Download PDF

Info

Publication number
TWI621099B
TWI621099B TW106131468A TW106131468A TWI621099B TW I621099 B TWI621099 B TW I621099B TW 106131468 A TW106131468 A TW 106131468A TW 106131468 A TW106131468 A TW 106131468A TW I621099 B TWI621099 B TW I621099B
Authority
TW
Taiwan
Prior art keywords
image
feature
camera
images
generate
Prior art date
Application number
TW106131468A
Other languages
English (en)
Other versions
TW201812698A (zh
Inventor
沙爾維斯 史汪米
吳東暉
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201812698A publication Critical patent/TW201812698A/zh
Application granted granted Critical
Publication of TWI621099B publication Critical patent/TWI621099B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

用於具有基於特徵的重影去除以組合陣列照相機影像的方法包括(a)從陣列照相機接收分別由陣列照相機的第一照相機和第二照相機捕獲的第一影像和第二影像，(b)校正並對齊第一影像和第二影像，(c)在所述校正並對齊後，識別第一影像中的特徵以產生至少一第一特徵影像之每個指示特徵於第一影像中並識別第二影像中的特徵以產生至少一第二特徵影像之每個指示特徵於第二影像中，(d)比較至少一個第一特徵影像和至少一個第二特徵影像以確定一重影遮罩定義用於第一影像和第二影像組合的組合權重。

Description

具有基於特徵的重影去除的陣列照相機影像組合
本發明涉及影像處理系統及方法，特別是具有基於特徵的重影去除的陣列照相機影像組合。
陣列照相機是各別照相機的陣列。通常，各別照相機合作以提供單獨使用各別照相機的一個無法實現的成像功能。陣列照相機已經發現主要用於立體成像和環繞或寬視場(FOV；field-of-view)成像中。在立體成像中，兩個各別照相機從兩個稍微不同的有利點對相同的場景成像以獲得深度感知。在環繞/寬FOV成像中，位於共用位置的兩個或更多個照相機被配置用於查看環境的不同部分，以便與單個照相機相的視場相比，照相機組合提供延伸的視場。例如，汽車上的多個照相機可以面向不同的方向並合作以提供環境的360度視野。
最近，陣列照相機已經發現了新的應用。一個這樣的應用是動態縮放。在此應用中，陣列照相機包括具有較窄視場的一個照相機和具有較寬視場的另一個照相機。這兩個照相機被引導以查看本質上相同的場景，然而，較窄視場的照相機提供場景的放大視圖。由這兩個照相機捕獲的影像對可以組合以提供縮放等級的範圍，且因此此陣列照相機具有動態縮放功能，否則當僅適用單個照相機時，此動態縮放功能可能要求可變成像物鏡的主動機械調節。在另一應用中，陣列照相機包括彩色照相機和具有比彩色照相機更高的空間解析度的單色照相機。可以利用由單色照相機提供的更高空間解析度內容獲得具有比彩色照相機本身提供的更高空間解析度的彩色影像。陣列照相機還可以用於高動態範圍(HDR)成像中。在此，用於觀察相同場景的陣列照相機的兩個各 別照相機利用不同的曝光時間捕獲影像以提高比各別照相機改進的動態範圍。與具有基於單個照相機的序列影像捕獲的傳統HDR成像相比，陣列照相機方法具有以相同時間捕獲兩個影像的優點，這降低在基於單個照相機的HDR成像通常經歷的運動偽影(motion artifact)的風險。
所有以上提到的新的應用，依賴置於稍微不同的位置處的兩個不同的照相機所捕獲的影像的適當組合(疊加)且因此具有稍微不同的場景視野。在影像組合之前，純粹的幾何校正被應用於捕獲之影像以校正捕獲的每個影像並使其彼此對齊。對齊過程基於比較各別影像之間的像素值(pixel values)以尋找對應的像素。往往，在此影像組合方法的不完美導致組合影像中所謂的重影(ghost)，即，組合影像中出現錯位或出現重複的物件。
在實施例中，用於使用具有特徵的重影去除來組合陣列照相機影像的方法包括，從陣列照相機接收分別由陣列照相機的第一照相機和第二照相機捕獲的第一影像和第二影像。該方法校正並對齊第一影像和第二影像，隨後，該方法識別第一影像中的特徵以產生每個指示第一影像中的特徵的至少一個第一特徵影像，並識別第二影像中的特徵以產生每個指示第二影像中的特徵的至少一個第二特徵影像。然後，該方法比較至少一個第一特徵影像和至少一個第二特徵影像以確定限定用於第一影像和第二影像組合的組合權重的重影遮罩(ghost mask)。
在實施例中，具有基於特徵的重影去除來組合陣列照相機影像的系統包括處理器和與處理器通信地耦接的記憶體。記憶體包括機器可讀指令，機器可讀指令用於當被處理器執行時處理第一影像和第二影像以確定一重影遮罩定義用於組合第一影像和第二影像的組合權重。機器可讀指令包括(a)幾何校正指令，當被處理器執行時，校正並對齊第一影像和第二影像，(b)特徵識別指令，當被處理器執行且執行幾何校正指令時，識別第一影像中的特徵以產生至少一第一特徵影像之每個指示特徵於第一影像中並識別第二影像中的特徵以產生至少一第二特徵影像之每個指示特徵於第二影像中，以及(c)重影遮罩 生成指令，當被處理器執行時，比較至少一個第一特徵影像和至少一個第二特徵影像以確定重影遮罩。
100‧‧‧影像處理系統
102‧‧‧照相機設備
120‧‧‧陣列照相機
130(1)和130(2)‧‧‧照相機
132‧‧‧成像物鏡
134‧‧‧影像感測器
150‧‧‧場景
160(1)‧‧‧組合影像
160(2)‧‧‧組合影像
152A、152B和152C‧‧‧物件
170‧‧‧組合影像
180‧‧‧組合影像
182‧‧‧重影
190‧‧‧重影遮罩
210‧‧‧方向
212‧‧‧水平維度
250‧‧‧場景
252‧‧‧物件
254(1)和254(2)‧‧‧線
260(1)和260(2)‧‧‧影像
270‧‧‧組合影像
280‧‧‧組合影像
282‧‧‧重影
320‧‧‧陣列照相機
330(1)和330(2)‧‧‧照相機
332‧‧‧成像物鏡
334‧‧‧影像感測器
310(1)和310(2)‧‧‧FOV
420‧‧‧陣列照相機
430(1)‧‧‧彩色照相機
430(2)‧‧‧單色照相機
434‧‧‧彩色影像感測器
436‧‧‧單色影像感測器
520‧‧‧陣列照相機
530(1)‧‧‧較寬FOV照相機
530(2)‧‧‧較窄FOV照相機
610‧‧‧幾何校正器
620‧‧‧特徵識別器
630‧‧‧重影遮罩生成器
660(1)和660(2)‧‧‧等化影像
662(1)和662(2)‧‧‧影像
664(1)和664(2)‧‧‧特徵影像
622‧‧‧濾波器
622(1)‧‧‧影像
650‧‧‧等化器(equalizer)
700‧‧‧方法
702‧‧‧步驟
710和715‧‧‧步驟
720、730、732、740、742、744、746‧‧‧步驟
780(1)和780(2)‧‧‧影像
790(1)和790(2)‧‧‧等化影像
780(1)和780(2)‧‧‧指示影像
794(1)和794(2)‧‧‧特徵影像
798‧‧‧重影遮罩
796‧‧‧像素
795(1)和795(2)‧‧‧局部區域
800‧‧‧電腦
810‧‧‧非暫態記憶體(non-transitory memory)
880‧‧‧處理器
890‧‧‧介面
820‧‧‧軟體
850‧‧‧資料存儲
824‧‧‧幾何校正指令
826‧‧‧特徵識別指令
830‧‧‧重影遮罩生成指令
822‧‧‧等化指令
840‧‧‧影像組合指令
828‧‧‧濾波指令
832‧‧‧平滑函數
834‧‧‧函數指令
836‧‧‧平均指令
838‧‧‧參數指令
930‧‧‧重影遮罩生成器
932‧‧‧函數模組
934‧‧‧平均值計算器
920‧‧‧平滑峰函數
936‧‧‧參數確定器
1000‧‧‧方法
1042、1043、1044、1046‧‧‧步驟
1164(1)和1164(2)‧‧‧特徵影像
1120‧‧‧平滑峰函數
1110‧‧‧局部區域
1122‧‧‧三角平滑峰函數
1390‧‧‧重影遮罩
1200‧‧‧方法
1230、1232、1234、1240、1242、1244、1246、1260‧‧‧步驟
1362(1)和1362(2)‧‧‧影像
1364(1V)和1364(2V)‧‧‧豎直特徵圖像
1364(1H)和1364(2H)‧‧‧水平特徵影像
1350‧‧‧線
1400‧‧‧方法
1410、1420、1430、1440、1442、1444、1446、1448‧‧‧步驟
1660(1)和1660(2)‧‧‧影像
1670‧‧‧影像
1610‧‧‧前景物件
1612‧‧‧背景物件
1661(1)和1661(2)‧‧‧影像
1614(是背景物件1613的部分)‧‧‧背景物件
1680‧‧‧圖像
1700‧‧‧方法
1710、1740、1742‧‧‧步驟
1800‧‧‧方法
1810、1812、1814、1840‧‧‧步驟
1900‧‧‧方法
1910、1912、1914、1920、1940‧‧‧步驟
2000‧‧‧方法
2010、2020、2040‧‧‧步驟
2100‧‧‧方法
2110、2120、2140‧‧‧步驟
圖1顯示根據本發明一實施例中用於具有基於特徵的重影去除以組合陣列照相機影像的影像處理系統之能力。
圖2A-C更加詳細的顯示根據本發明一實施例中如圖1的影像處理系統之能力。
圖3顯示根據本發明一實施例中包括兩個基本相同的照相機的陣列照相機。
圖4顯示根據本發明一實施例中包括彩色照相機和單色照相機的陣列照相機。
圖5顯示根據實施例的包括較寬FOV照相機和較窄FOV照相機的陣列照相機。
圖6是更加詳細地示出根據實施例的圖1的影像處理系統的方塊圖。
圖7A-C示出根據實施例中用於具有基於特徵的重影去除以組合陣列照相機影像之方法。
圖8顯示根據實施例中實施圖1的影像處理系統和圖7的方法的電腦。
圖9顯示根據實施例中使用平滑峰函數以確定重影遮罩的重影遮罩生成器。
圖10顯示根據實施例的用於確定重影遮罩的方法。
圖11顯示平滑峰函數在圖10的方法中的示例性使用。
圖12顯示根據實施例的用於具有基於特徵的重影去除來組合陣列照相機影像的方法，其基於個別的豎直朝向特徵和水平朝向特徵的識別確定重影遮罩。
圖13顯示根據圖12的方法以確定重影遮罩的陣列照相機影像的示例性處理。
圖14顯示根據實施例中用於確定重影遮罩的2D高斯的標準差參數的方法。
圖15A和15B顯示根據實施例中實施圖14的方法的圖12的方法的能力。
圖16顯示根據一實施例中關於遮擋的圖12的方法的能力。
圖17顯示根據實施例中用於具有基於特徵的重影去除以組合陣列照相機影像的方法，其中一個影像是在用於捕獲影像的照相機之間的FOV重疊內具有較高品質。
圖18顯示根據實施例中具有基於特徵的重影去除以組合分別由陣列照相機的較寬FOV照相機和較窄FOV照相機捕獲的第一影相像和第二影像的方法。
圖19顯示根據實施例中具有基於特徵的重影去除以組合分別由陣列照相機的彩色照相機和單色照相機捕獲的彩色影像和單色影像的方法。
圖20顯示根據實施例中具有基於特徵的重影去除來組合由陣列照相機捕獲的影像以產生HDR影像的方法。
圖21顯示根據實施例中具有基於特徵的重影去除來組合由陣列照相機捕獲的影像以產生雜訊減少的影像的方法。
本發明描述用於組合陣列照相機的不同照相機捕獲的影像的影像處理系統和方法，以及包括這樣的影像處理系統的照相機設備。在此描述的陣列照相機影像組合系統和方法識別影像中的特徵並使用基於識別的特徵的重影去除來執行影像組合。此基於特徵的重影去除方法能夠產生沒有由傳統影像組合技術產生的影像(例如基於純幾何影像校正的那些)中發現的重影偽影的組合影像。
圖1顯示用於具有基於特徵的重影去除以組合陣列照相機影像的一個示例性影像處理系統100的能力。圖1顯示示例性情景中的影像處理系統100，其中影像處理系統100處理由陣列照相機120的兩個各別照相機捕獲的影像。陣列照相機120包括兩個各別照相機130(1)和130(2)。照相機130(1)和130(2)的每個包括成像物鏡132和影像感測器134。影像感測器134包括本領域中已知的多個感光像素(pixels)。照相機130(1)和130(2)用於對場景150成像，以便照相機130(1)和130(2)具有相同的視場(FOV)或重疊的FOV。照相機130(1)和130(2)可以彼此相同或彼此不同。例如，照相機130(1)的成像物鏡132和/或影像感測器134可以是分別與照相機130(2)的成像物鏡132和影像感測器134不同類型的。照相機130(1)捕獲場景150的影像160(1)，且照相機130(2)捕獲場景150的影像160(2)。然而，由於照相機130(1)和130(2)的不同的有利地點，出現在場景150中不同深度處的物件152A、152B和152C的位置位於影像160(1)中的一組相對位置並位於影像160(2)中的不同組相對位置。例如，與影像160(1)中物件152C的位置相比，影像160(2)中物件152C向左移位元。
影像處理系統100識別影像160(1)和160(2)中的特徵，例如與物件152A、152B和152C的一個或多個相關的特徵。影像處理系統100利用這些特徵以產生重影遮罩190。重影遮罩190的產生將在下面參考圖6、7A-C更加詳細地描述。重影遮罩190是影像格式的。然而，“影像”指的是像素的陣列格式或等同格式的資料集，例如限定二維矩陣的項的數位的清單。重影遮罩190的每個像素限定用於影像160(1)和160(2)的對應像素組合的組合權重。可以組合影像160(1)和160(2)以產生組合影像170。根據等式1確定組合影像170的像素值。
P C =P 1．M+P 2．(1-M)， (等式1)其中P 1是影像160(1)的像素(x 1 ,x 2)的值，P 2是影像160(2)的對應像素(x 1 ,x 2)的值，M是重影遮罩190的對應相素(x 1 ,x 2)的值，且P C 是組合影像170的對應相素(x 1 ,x 2)的值。在不脫離其範圍的情況下，等式1可以包含額外的比例因數，例如對於重影遮罩190的歸一化因數，對於組合影像170的歸一化因數，和/或對於影像160(1)和160(2)的一個或兩個的亮度校正因數。
用於比較，圖1還顯示使用純幾何校正技術獲得的組合影像180。組合影像180包括由對照相機130(1)和130(2)的不同有利地點的不完美校正導致重影182，物件152B和152C部分的重複影像。借助於基於特徵的重影遮罩190，影像處理系統100能夠產生沒有重影182的組合影像像170。
儘管未示於圖1中，在不脫離其範圍的情況下，影像處理系統100的一些實施例包括使用重影遮罩190組合影像160(1)和160(2)以產生組合影像170的功能。這樣的實施例可以輸出組合影像170和重影遮罩190，或僅輸出組合影像170而重影遮罩190仍然僅保存在影像處理系統100中。此外，影像處理系統100可以與陣列照相機120整合在照相機設備102上。照相機設備102可以是掌上型設備，例如數位照相機或智慧手機。可選地，照相機設備102可以是監控照相機或較大結構(例如汽車)的子系統。
在不脫離其範圍的情況下，照相機130(1)和130(2)的一個 或兩個的成像路徑可以交疊，以便照相機130(1)的影像感測器134和照相機130(2)的影像感測器134面向兩個不同的方向。例如，照相機130(1)和130(2)可以通過分光器查看場景150。分光器可以被配置，以便照相機130(1)和130(2)中的一個對分光器透射的光成像且照相機130(1)和130(2)中的另一個對分光器反射的光成像。
圖2A-C更加詳細地顯示影像處理系統100的示例性能力。圖2A顯示其中陣列照相機120對場景250成像的情景。圖2B顯示由現有技術組合陣列照相機120捕獲的影像引起的組合影像280。圖2C顯示使用由影像處理系統100產生的基於特徵的重影遮罩190而產生的組合影像270。組合影像270是組合影像170的示例。最好一起查看圖2A-C。
陣列照相機220的照相機130(1)和130(2)在方向210中彼此偏移。陣列照相機220是陣列照相機120的實施例。沿方向210的照相機130(1)和130(2)之間的距離被稱為陣列照相機120的基線。照相機130(1)和130(2)捕獲場景250的相應的影像260(1)和260(2)。影像260(1)和260(2)分別是影像160(1)和160(2)的示例。方向210對應於影像260(1)和260(2)的水平維度212。在不脫離其範圍的情況下，方向210可以替代地對應於影像260(1)和260(2)的豎直維度。此外，在不脫離其範圍的情況下，照相機130(1)和130(2)可以既豎直地又水平地彼此偏移，以便方向210對應於沿影像260(1)和260(2)的豎直維度和水平維度都有分量的方向。
場景250是場景150的例子，其包括物件252。物件252的部分在影像260(1)中作為緊挨影像元素152C(1)的影像元素252(1)可見，影像元素152C(1)是物件152C的影像。然而，在影像260(2)中，物件252被物件152C遮罩。在影像260(2)中，物件252位於出現在影像260(2)中的物件152C的影像和影像元素152C(2)的後方。當根據現有技術的純幾何校正方法組合影像260(1)和260(2)時，在所得組合影像280中出現重影282。當事實上物件252在物件152C的後方且因此無法在場景250的影像中出現在物件152C的前方時，重影282是遮擋偽影(artifact)並顯示覆蓋到影像元素152C (1)上的影像元素252(1)(僅在影像260(1)中可見)。不同類型的偽影(artifact)與未對齊有關。如上參考圖1所討論的，由於照相機130(1)和130(2)的不同的有利地點，物件152B在影像260(1)中右移(如影像元素152B(1)和線254(1)所示)並在影像260(2)中左移(如影像元素152B(2)和線254(2)所示)。在組合影像280中，由基於純幾何校正的現有組合方法所引起的此未對齊，將引起具有作為物件152B的部分重複示例的外觀重影182。相反地，如上參考圖1所討論的使用重影遮罩190的影像組合，其適當地處理遮擋問題並校正未對齊以產生沒有重影182和282的組合影像270。
圖3顯示包括在方向210中彼此偏移的兩個基本相同的照相機330(1)和330(2)的一個示例性陣列照相機320。陣列照相機320可相容與影像處理系統100合作，可選地可相容於照相機設備102的實施例內。陣列照相機320是陣列照相機220的實施例。照相機330(1)和330(2)的每個包括成像物鏡332和影像感測器334。照相機330(1)和330(2)分別是照相機130(1)和130(2)的實施例。成像物鏡332是成像物鏡132的實施例，且影像感測器334是影像感測器134的實施例。在照相機330(1)中，成像物鏡332和影像感測器334合作以對FOV 310(1)成像。在照相機330(2)中，成像物鏡332和影像感測器334合作以對與FOV 310(1)重疊的FOV 310(2)成像。FOV 310(1)和310(2)具有相同的尺寸，然而由於在方向210中照相機330(1)和330(2)之間的偏移，FOV 310(1)和310(2)相對彼此移位。例如，陣列照相機320適用于HDR應用。在這樣的HDR應用中，照相機330(1)和330(2)以不同的相應的曝光時間(和/或不同的相應的增益)捕獲相應的影像160(1)和160(2)，且影像處理系統100確定用於影像160(1)和160(2)的組合的重影遮罩190以產生HDR影像。可選地，影像處理系統100使用重影遮罩190執行影像組合以產生HDR影像。
圖4顯示包括在方向210中彼此偏移的彩色照相機430(1)和單色照相機430(2)的一個示例性陣列照相機420。陣列照相機420與影像處理系統100是可相容的，可選地可相容於照相機設備102的實施例內。陣列照相機420是陣列照相機220的實施例。彩色照相機430(1)包括成像物鏡332 和彩色影像感測器434，兩者合作以產生FOV 310(1)的彩色影像160(1)。單色照相機430(2)包括成像物鏡332和單色影像感測器436，兩者合作以產生FOV 310(2)的單色影像160(2)。彩色照相機430(1)是照相機130(1)的實施例，單色照相機430(2)是照相機130(2)的實施例，且彩色影像感測器434和單色影像感測器436的每個是影像感測器134的實施例。單色影像感測器436具有比彩色影像感測器434更高的空間解析度。在一個實施例中，彩色影像感測器434和單色影像感測器436具有相同的感光像素數目，然而為獲取彩色資訊，彩色影像感測器434上覆蓋彩色濾光器且彩色影像感測器434的幾個感光像素合作以為一個空間位置提供全彩色資料。例如，彩色影像感測器434的感光像素可以分組為2x2陣列，其中每個2x2陣列形成為一個空間位置提供彩色資料的彩色像素組。在此示例中，單色影像感測器436的空間解析度比彩色影像感測器434的空間解析度高四倍。在實施例中，影像處理系統100確定用於組合由彩色照相機430(1)產生的彩色影像160(1)和由單色照相機430(2)產生的單色影像160(2)的重影遮罩190。此重影遮罩190可以用於生成具有與彩色影像160(1)相比增強的空間解析度的組合的彩色影像。可選地，影像處理系統100使用重影遮罩190執行影像組合以生成具有增強的解析度的組合的彩色影像。
圖5顯示包括在方向210中彼此偏移的較寬FOV照相機530(1)和較窄FOV照相機530(2)的一個示例性陣列照相機520。陣列照相機520可相容與影像處理系統100合作，可選地可相容於照相機設備102的實施例內。陣列照相機520是陣列照相機220的實施例。較寬FOV照相機530(1)包括較寬FOV成像物鏡532和影像感測器334，兩者合作以產生FOV 510的較寬FOV影像160(1)。較窄FOV照相機530(2)包括較窄FOV成像物鏡536和影像感測器334，兩者合作以產生FOV 512的較窄FOV影像160(2)。FOV 512比FOV 510窄並提供由較寬FOV照相機530(1)查看的場景的部分的放大視圖。較寬FOV照相機530(1)是照相機130(1)的實施例，較窄FOV照相機530(2)是照相機130(2)的實施例，且較寬FOV成像物鏡532和較窄FOV成像物鏡536的每個是成像物鏡132的實施例。例如，陣列照相機520適用于動態縮放應用。在這樣的動態縮放應用中，由較寬FOV照相機530(1)產生的較寬 FOV影像160(1)和由較窄FOV照相機530(2)產生的較窄FOV影像160(2)可以組合以產生表示本質上在FOV 510和FOV 512之間的範圍內任意視場的影像。為此目的，影像處理系統100可以確定用於影像160(1)和160(2)的組合的重影遮罩190以產生動態縮放的影像。可選地，影像處理系統100使用重影遮罩190執行影像組合以產生動態縮放的影像。
在不脫離其範圍的情況下，較寬FOV照相機530(1)的影像感測器334可以被影像感測器434和436中任一個代替，較窄FOV照相機530(2)的影像感測器334可以被影像感測器434和436中另一個代替。
圖6是更加詳細地顯示影像處理系統100的方塊圖。影像處理系統100包括幾何校正器610、特徵識別器620和重影遮罩生成器630。影像處理系統100接收分別由照相機130(1)和130(2)捕獲的影像160(1)和160(2)。
幾何校正器610校正捕獲的影像160(1)和160(2)(或下面將要更加詳細地討論的等同影像660(1)和660(2))，並使校正的捕獲的影像160(1)和160(2)彼此對齊以產生相應的校正且對齊的影像662(1)和662(2)。由幾何校正器610的校正包括將捕獲的影像160(1)和160(2)轉換至共用像平面。由幾何校正器610的對齊包括對齊校正的影像以對其之間的空間移位校正。在可選的實施例中，如將在以下更加詳細地討論的，幾何校正器610對等同的影像660(1)和660(2)而不是對捕獲的影像160(1)和160(2)操作。
特徵識別器620識別校正並對齊影像662(1)和662(2)的每個特徵，以產生相應的特徵影像664(1)和664(2)。特徵影像664(1)和664(2)是在相應的校正且對齊的影像662(1)和662(2)中識別的一些特徵的影像。每一個特徵影像664(1)和664(2)可以是具有如相對應於校正且對齊影像662(1)和662(2)的像素格式，但是可以提供識別特徵的增強視圖。在一些實施例中，特徵識別器620對於每個校正且對齊的影像662(1)生成多個特徵影像664(1)，且對於每個校正且對齊的影像662(2)生成多個特徵影像664(2)。每個多個特徵影像664(1)和類似的多個特徵影像664(2)可以被 優化以顯示特定類型的特徵。在一個示例中，一個特徵影像664(1)和一個特徵影像664(2)顯示主要水平朝向的特徵，而另一特徵影像664(1)和另一特徵影像664(2)顯示主要豎直朝向的特徵。
在實施例中，特徵識別器620包括濾波器622，濾波器622濾波(a)校正且對齊影像622(1)以產生一個或多個對應的特徵影像664(1)及(b)校正且對齊影像662(2)以產生一個或多個對應的特徵影像664(2)。濾波器622可以利用一個或多個卷積核、梯度濾波器、高通濾波器和本領域中已知的濾波器對每一個校正且對齊圖像662(1)和662(2)產生相應的特徵影像664(1)和664(2)。在一個示例中，濾波器662應用以下形式的拉普拉斯核(Laplacian kernel)： 在另一示例中，濾波器662應用以下形式的核(kernal)： 其中，A是一負數集合以保證核的適當歸一化。在不脫離其範圍的情況下，本發明自始至終，可以對核升採樣至多於3x3項以說明像素解析度和影像特徵的典型尺寸之間的關係。
重影遮罩生成器630比較特徵影像664(1)和特徵影像664(2)以確定重影遮罩190。重影遮罩生成器630的功能將在下面參考圖7A-C更加詳細地討論。
在一個實施例中，影像處理系統100包括處理捕獲的影像160(1)和160(2)以產生相同格式的並表示基本相同FOV的相應的等化的影像660(1)和660(2)的等化器(equalizer)650。影像處理系統100的此實施例可以用於處理由陣列照相機420或陣列照相機520捕獲的影像。在一個示例中，關於陣列照相機420，影像160(1)是單色影像且影像160(2)是具有比捕獲的影像160(1)更低的空間解析度的彩色影像。在此示例中，等化模組650可以對彩 色影像160(2)上升採樣以具有與單色影像160(1)相同的影元解析度，並對彩色影像160(2)的上升採樣版本的每個像素分配照度值以產生等化的影像660(2)，其中等化的影像660(2)的每個像素的照度值從捕獲的彩色影像160(2)的相同像素位置周圍的一組彩色像素獲得。此外在此示例中，等化器650可以輸出單色影像160(1)作為等化的影像660(2)。在另一示例中，關於陣列照相機520，影像160(2)是影像160(1)中成像的場景的放大視圖。在此示例中，等化器650可以(a)修剪影像160(1)至與影像160(2)相關的FOV(例如FOV 512)，(b)對影像160(1)的修剪版本升採樣以包括與影像160(2)相同數量的影元，以及(c)輸出影像160(2)的修剪的、上升採樣的版本作為等化的影像660(2)。此外在此示例中，等化器650可以輸出影像160(2)作為等化的影像660(1)。應該理解，本發明自始至終，“校正且對齊的”影像可以指既(a)等化的(結合等化器650在此討論的)又(b)校正且對齊的影像。
由幾何校正器610執行的操作與現有技術陣列影像組合中執行的那些相似。然而，影像處理系統100包括用於產生重影遮罩190的額外的處理功能。重影遮罩190可以結合校正且對齊的影像662(1)和662(2)一起應用以產生組合影像170。
在一些實施例中，影像處理系統100包括根據重影遮罩190的組合權重並根據等式1組合校正且對齊的影像662(1)和662(2)的影像組合器640，以產生組合影像170。在不脫離其範圍的情況下，影像組合器640可以用於對等化的影像660(1)和660(2)或影像160(1)和160(2)(而不是校正且對齊的影像662(1)和662(2))操作。在此情況中，影像組合器640可以包括校正並對齊影像160(1)和160(2)或等化的影像660(1)和660(2)的功能，並可選地還包括等化影像160(1)和160(2)的FOV和像素格式的功能。
可選地，影像處理系統100和陣列照相機120可以被集成至照相機設備102中。當在照相機設備102上實施時，影像處理系統100可以包括影像組合器640和等化器650的一個或兩個。
圖7A-C顯示使用基於特徵的重影去除來組合陣列照相機影像的一個示例性方法700。方法700基於重影遮罩190產生組合影像170並可以由影像處理系統100執行。圖7A顯示方法700的流程圖。圖7B通過示例顯示方法700的一些步驟。圖7C是方法700中重影遮罩生成的更加詳細的流程圖。最好一起查看圖7A-C。
步驟710接收來自陣列照相機的相應的第一照相機和第二照相機的第一影像和第二影像。在步驟710的一個示例中，影像處理系統100接收分別由陣列照相機120的照相機130(1)和130(2)捕獲的影像160(1)和160(2)。
可選地，步驟702先於步驟710。在步驟702中，陣列照相機捕獲步驟710的第一影像和第二影像。陣列照相機的第一照相機和第二照相機可以基本同時地捕獲第一影像和第二影像。在步驟702的一個示例中，照相機130(1)基本同時地捕獲影像160(1)且照相機130(2)捕獲影像160(2)。
步驟720校正並對齊第一影像和第二影像。在步驟720的一個示例中，幾何校正器610校正並對齊影像160(1)和160(2)，如上參考圖6所討論的。在實施例中，方法700包括在步驟710之後並在步驟720之前執行的步驟715。步驟715處理步驟710中接收的第一影像和第二影像以具有相同的像素格式和基本相同的視場。在步驟715的一個示例中，等化器650處理影像160(1)和160(2)以產生相應的等化的影像660(1)和660(2)，如上參考圖6所討論的。再次參考步驟720，在關於包括步驟715的方法700的實施例的步驟720的一個示例中，幾何校正模組610校正並對齊等化的影像660(1)和660(2)，如上參考圖6所討論的。
圖7B顯示步驟710和715中影像處理的一個示例。在步驟710的此示例中，方法700接收兩個影像780(1)和780(2)(分別是影像160(1)和160(2)的示例)。影像780(2)是影像780(1)中捕獲的場景的部分782 的放大視圖。例如，影像780(1)和780(2)是由陣列照相機520的照相機530(1)和530(2)捕獲的。步驟715修剪影像780(1)以僅包括部分782，然後對影像780(1)的修剪版本升採樣以具有與影像780(2)相同數量的像素，導致等化的影像790(1)。在沒有修改影像780(2)的情況下，步驟715輸出影像780(2)作為等化的影像790(2)。等化的影像790(1)和790(2)是等化的影像660(1)和660(2)的示例。
步驟730識別校正且對齊的第一影像中的特徵以產生至少一個第一特徵影像。至少一個第一特徵影像的每個指示第一影像中的特徵。步驟730還識別校正且對齊的第二影像中的特徵以產生至少一個第二特徵影像。至少一個第二特徵影像的每個指示第二影像中的特徵。在步驟730的一個示例中，特徵識別器620識別校正且對齊的影像662(1)中的特徵並產生指示校正且對齊的影像662(1)中識別的特徵的至少一個所得特徵影像664(1)，且特徵識別器620識別校正且對齊的影像662(2)中的特徵並產生指示校正且對齊的影像662(2)中識別的特徵的至少一個所得特徵影像664(2)。
步驟730可以包括濾波第一影像和第二影像以產生第一特徵影像和第二特徵影像的步驟732。在步驟732的一個示例中，濾波器622濾波(a)校正且對齊的影像662(1)以產生提供校正且對齊的影像662(1)中特徵的增強的視圖的至少一個特徵影像664(1)，和(b)校正且對齊的影像662(2)以產生提供校正且對齊的影像662(2)中特徵的增強的視圖的至少一個特徵影像664(2)，如上參考圖6所討論的。
圖7B顯示步驟730中執行的影像處理的一個示例。在步驟730的此示例中，方法700產生(a)指示影像780(1)中特徵的特徵影像794(1)和(b)指示影像780(2)中特徵的特徵影像794(2)。特徵影像794(1)和794(2)是特徵影像664(1)和664(2)的示例。
步驟740比較至少一個第一特徵影像和至少一個第二特徵影像以確定重影遮罩190。在步驟740的一個示例中，重影遮罩生成器630比較一個 或多個特徵影像664(1)和一個或多個特徵影像664(2)以確定重影遮罩190，如上參考圖6所討論的。
在實施例中，步驟740包括步驟742。步驟742計算重影遮罩190的每個像素的值。在圖7C中更加詳細地顯示步驟742。對於重影遮罩190的每個像素，步驟742執行步驟744和746。步驟744識別至少一個第一特徵影像和至少一個第二特徵影像的每個中的局部區域。此局部區域圍繞位於與重影遮罩190像素(對於該像素值已經被計算)相同位置的像素。局部區域可以居中圍繞位於與重影遮罩190像素相同位置的像素，或是包括位於與重影遮罩190像素相同位置的像素之另一局部區域。步驟746由步驟744中識別的對應局部區域內至少一個第一特徵影像和至少一個第二特徵影像之間的差異計算重影遮罩190像素的值。在步驟744的一個示例中，對於重影遮罩190的每個像素，重影遮罩生成器630識別特徵影像664(1)和664(2)的每個中的局部區域，其中局部區域圍繞對應於被處理的重影遮罩190像素位置。在步驟746的相關示例中，重影遮罩生成器630根據此對應局部區域內的特徵影像664(1)和特徵影像664(2)之間的差異計算圖元的值。例如，重影遮罩生成器630可以被配置並將重影遮罩190像素的值設定為(a)接近1，當對應局部區域內的特徵影像664(1)和特徵影像664(2)之間存在大差異時，以在影像組合中主要加權來自影像160(2)的資料，(b)接近0，當對應局部區域內的特徵影像664(1)和特徵影像664(2)非常相似時，以在影像組合中主要加權來自影像160(1)的資料，以及(c)在0和1之間的較居中範圍內，當特徵影像664(1)和特徵影像664(2)之間的差異中等時，，以在影像組合中給來自影像160(1)的資料和來自影像160(2)的資料較平等的權重。
圖7B顯示步驟742中執行的以產生重影遮罩798的影像處理的一個示例。重影遮罩798是重影遮罩190的示例。在步驟742的此示例中，對於重影遮罩798的每個像素796，方法700考慮特徵影像794(1)的局部區域795(1)和特徵影像794(2)的局部區域795(2)。局部區域795(1)圍繞與重影遮罩798中像素796的位置一致的特徵影像794(1)中的像素位置。局部區域795(2)圍繞與重影遮罩798中像素796的位置一致的特徵影像794(2) 中的像素位置。步驟740由相應的局部區域795(1)和795(2)內的特徵影像794(1)和794(2)之間的差異計算像素796的值。
可選地，方法700包括輸出重影遮罩190的步驟750。在步驟750的一個示例中，影像處理系統100輸出重影遮罩190。
方法700的一些實施例包括根據重影遮罩190的組合權重組合第一影像和第一影像以產生組合影像的步驟760。在步驟760的一個示例中，影像組合器640根據重影遮罩190的組合權重並根據等式1組合校正且對齊的影像662(1)和662(2)，以產生組合影像170。在不脫離其範圍的情況下，步驟760可以對步驟710、715和720中的任一個產生的影像操作以執行影像組合。在其中步驟760用於組合步驟710中產生的影像的方法700的實施例中，步驟760可以包括與步驟720且可選地包括與步驟715相似，然而被具體地訂做以為影像組合做準備。在其中步驟760用於組合步驟715中產生的影像的方法700的實施例中，步驟760可以包括與步驟720相似，然而被具體地訂做以為影像組合做準備。
可選的步驟770輸出步驟760中產生的組合影像。在步驟770的一個示例中，影像處理系統100輸出組合影像170。
在不脫離其範圍的情況下，步驟710、715、720和730中操作的順序可以與示於圖7中的不同。例如，由於直到步驟740第一影像的處理獨立於第二影像的處理，方法700可以在開始對第一影像和第二影像中的一個進行相同的處理之前，基於第一影像和第二影像中的另一個執行步驟710、720和730(和可選地執行步驟715)中的一個或多個。
圖8顯示用於實施影像處理系統100和方法700的一個示例性電腦800。於一實施例中，電腦800可以與陣列照相機120整合以形成照相機設備102。電腦800包括非暫態記憶體(non-transitory memory)810，處理器880和介面890。記憶體810包括軟體820和資料存儲850。軟體820是記憶體810中 編碼的機器可讀指令。當被處理器880執行時，軟體820執行方法700。可選地，軟體820是在記憶體810的非揮發(non-volatile)部分中編碼的。例如，非揮發(non-volatile)性記憶體810的類型是ROM、Flash、磁帶、磁驅動、光驅動、RAM、其他非揮發(non-volatile)性介質或其組合。例如，其中編碼軟體820的記憶體810的非揮發(non-volatile)部分的類型是唯讀記憶體、Flash、ROM、鐵電式RAM、磁帶、磁驅動、光驅動或其組合。例如，介面890是有線介面(例如CAN匯流排、I2C匯流排、LIN匯流排、乙太網、USB、火線FireWire、Thunderbolt或其他有線通信協議)和/或無線介面(例如Wi-Fi、藍牙Bluetooth、低能量藍牙、蜂窩Cellular或其它無線通訊協定)。處理器880可以由單個處理器組成或包括多個處理器。例如，軟體820的一些部分可以由圖形處理器執行。
軟體820包括幾何校正指令824、特徵識別指令826和重影遮罩生成指令830。幾何校正指令824與處理器880合作以形成幾何校正器610的實施。特徵識別指令826與處理器880合作以形成特徵識別器620的實施。重影遮罩生成指令830與處理器880合作以形成重影遮罩生成器630的實施。軟體820還可以包括等化指令822和影像組合指令840的一個或兩者。當被包括在軟體820中時，等化指令822與處理器880合作以形成等化器650的實施。當被包括在軟體820中時，影像組合指令840與處理器880合作以形成影像組合器640的實施例。
特徵識別指令826可以包括濾波指令828。當被包括在軟體820中時，濾波指令828與處理器880合作以形成濾波器622的實施。重影遮罩生成指令830可以包括平滑函數832、函數指令834、平均指令836和參數指令838中的一個或多個。
介面890接收來自陣列照相機(例如陣列照相機120)的影像160(1)和160(2)。處理器880將影像160(1)和160(2)存儲至資料存儲850。
在其中軟體820包括等化指令822的一個實施例中，處理器880從資料存儲850檢索影像160(1)和160(2)並執行等化指令822以執行步驟 715的示例，以產生等化的影像660(1)和660(2)。處理器880將等化的影像660(1)和660(2)存儲至資料存儲850。隨後，在此實施例中，處理器880從資料存儲850檢索等化的影像660(1)和660(2)並執行幾何校正指令824以執行步驟720的示例，以產生校正且對齊的影像662(1)和662(2)。處理器880將校正且對齊的影像662(1)和662(2)存儲至資料存儲850。
在另一實施例中，處理器880從資料存儲850檢索影像160(1)和160(2)並執行幾何校正指令824以執行步驟720的示例，以產生校正且對齊的影像662(1)和662(2)。處理器880將校正且對齊的影像662(1)和662(2)存儲至資料存儲850。
產生校正且對齊的影像662(1)和662(2)之後，處理器880從資料存儲850檢索校正且對齊的影像662(1)和662(2)並執行特徵識別指令826以執行步驟730的示例，以產生特徵影像664(1)和664(2)。處理器880將特徵影像664(1)和664(2)存儲至資料存儲850。隨後，處理器880從資料存儲850檢索特徵影像664(1)和664(2)並執行重影遮罩生成指令830以執行步驟740的示例，以產生重影遮罩190。處理器880將重影遮罩190存儲至資料存儲850和/或執行步驟750的示例以經由介面890輸出重影遮罩190。
在其中軟體820包括組合指令840的一些實施例中，處理器880從資料存儲850檢索重影遮罩190。處理器880還檢索校正且對齊的影像662(1)和662(2)，或可選地檢索影像160(1)和160(2)或等化的影像660(1)和660(2)，並執行組合指令840以執行步驟760的示例，以產生組合影像170。處理器880將組合影像170存儲至資料存儲和/或執行步驟770的示例以經由介面890輸出組合影像170。
在不脫離其範圍的情況下，在非暫態性記憶體中編碼的軟體820可以以用於在協力廠商電腦上實施的單獨的軟體產品存在。此外，在不脫離其範圍的情況下，電腦800可以包括用於實施軟體820和處理器880的功能的至少部分的場可程式設計閘陣列。
圖9顯示利用平滑峰函數確定重影遮罩190的一個示例性重影遮罩生成器930。重影遮罩生成器930是重影遮罩生成器630的實施例，並包括函數模組932和平均值計算器934。函數模組932還包括平滑峰函數920。重影遮罩生成器930還可以包括參數確定器936。
函數模組932對特徵影像664(1)和特徵影像664(2)的局部區域內的特徵影像664(1)和特徵影像664(2)之間的差異應用平滑峰函數920。平均值計算器934對局部區域的這些差異取平均值。可選的參數確定器936處理校正且對齊的影像662(1)和662(2)以確定平滑峰函數920的參數。
現在結合參考圖8和9，平滑函數832可以實施平滑峰函數920，函數指令834可以與處理器880合作以實施函數模組932，平均指令836可以與處理器880合作以實施平均值計算器934，且參數指令838可以與處理器880合作以實施參數確定器936。當執行參數指令838時，處理器880可以將所得參數存儲至資料存儲850作為函數參數852。
圖10顯示利用平滑峰函數以確定重影遮罩190的一個示例性方法1000。方法1000是步驟742的實施例，並可以由重影遮罩生成器930執行。
對於重影遮罩930的每個圖元，方法1000執行步驟744、1044和1046。如上參考圖7C所討論的，步驟744識別至少一個第一特徵影像和至少一個第二特徵影像中的局部區域。此局部區域圍繞位於與重影遮罩190像素相同位置的像素。步驟1044對至少一個第一特徵影像和至少一個第二特徵影像之間的差異的測量應用平滑峰函數。在步驟1044的一個示例中，函數模組932對局部區域內每個像素處的特徵圖像664(1)和特徵圖像664(2)之間的差異之測量應用平滑峰函數920。步驟1046對對應局部區域的平滑峰函數取平均值，並基於平滑峰函數的此平均值設置重影遮罩190像素的值。在步驟1046的一個示例中，對於重影遮罩190的每個像素，平均值計算器934對相對應於重影遮罩190的此一像素位置的局部區域計算平滑峰函數920的平均值。然後，平均 值計算器934基於平滑峰函數920的對應平均值，設置重影遮罩190的每個像素的值。
可選地，處理第一影像和第二影像以確定用於步驟1044的平滑峰函數的一個或多個參數的步驟1043先於步驟1044。在步驟1043的一個示例中，參數確定器936處理校正且對齊的影像662(1)和662(2)以確定平滑峰函數920的參數。對於重影遮罩190的每個圖元可以單獨地執行步驟1043或一次性執行步驟1043，以確定應用至所有重影遮罩190的一個或多個參數。步驟1044和1046合作地形成步驟746的實施例。
圖11通過示例，顯示在方法1000的步驟1042中平滑峰函數的使用。在示於圖11的示例中，方法1000接收特徵影像1164(1)和1164(2)。特徵影像1164(1)是步驟730中產生的至少一個第一特徵影像的示例，且特徵影圖像1164(2)是步驟730中產生的至少一個第二特徵影像的示例。對於重影遮罩190中的每個像素，(a)步驟744識別特徵影像1164(1)和1164(2)中的對應局部區域，(b)步驟1044對特徵影像1164(1)的像素值IP1和特徵影像1164(2)的像素值IP2之間的差異的測量應用平滑峰函數1120，以及(c)步驟1046對局部區域1110的平滑峰函數1120取平均值，並基於所得平均值設置重影遮罩190的像素值。
平滑峰函數1120是平滑峰函數920的實施例。在實施例中，當特徵圖像1164(1)的像素值IP1和特徵圖像1164(2)的像素值IP2之間的差異的測量為0時，平滑峰函數達到其最大值。平滑峰函數1120可以是或類似于高斯函數(Gaussian function)、洛倫茲函數(Lorentzian function)、柯西函數(Cauchy function)、雙曲正割、邏輯斯諦分佈(logistic distributon)和具有單峰並在遠離該峰的兩個方向中單調減小的另一連續函數中的任一個。在不脫離其範圍的情況下，步驟1042的平滑峰函數(和相似地平滑峰函數920)可以具有與平滑峰函數1120不同的形狀。例如，步驟1042的平滑峰函數(和相似地平滑峰函數920)可以是圖11中顯示為三角平滑峰函數1122的三角形。
圖12顯示用於具有基於特徵的重影去除以組合陣列照相機影像的一個示例性方法1200，方法基於豎直朝向的特徵和水平朝向的特徵的單獨識別確定重影遮罩190。在此，“豎直朝向的”特徵指的是主要豎直朝向的特徵。應該理解的是，豎直朝向的特徵的朝向不必須是精確地豎直的。在一個示例中，豎直朝向的特徵是具有比水平更接近豎直的朝向的特徵。類似地，“水平朝向的”特徵指的是主要水平朝向的特徵。應該理解的是，水平朝向的特徵的朝向不必須是精確地水平的。在一個示例中，水平朝向的特徵是具有比豎直更接近水平的朝向的特徵。方法1200是實施方法1000的方法700的實施例，並利用平滑峰函數以估計陣列照相機的一個照相機捕獲的圖像中的特徵與陣列照相機的另一個照相機捕獲的圖像中的特徵之間的差異。方法1200可以由實施重影遮罩生成器930的影像處理系統100執行。
在步驟1210中，方法1200執行步驟710和720，和可選地執行步驟702和715的一個或兩個，以由陣列照相機的相應的第一照相機和第二照相機捕獲的相應的第一影像和第二影像生成校正且對齊的第一影像和第二影像，如上述參考圖10所討論的。
後續步驟1230識別校正且對齊的第一影像中的豎直朝向的特徵以產生指示校正且對齊的第一影像中的豎直朝向的特徵的第一豎直特徵影像。獨立於豎直朝向的特徵的此識別，步驟1230識別校正且對齊的第一影像中的水平朝向的特徵，以產生指示校正且對齊的第一影像中的水平朝向的特徵的第一水平特徵影像。以相似的方式，步驟1230單獨地識別校正且對齊的第二影像中的豎直朝向的特徵和水平朝向的特徵，以產生指示校正且對齊的第二影像中的豎直朝向的特徵之第二豎直特徵影像以及指示校正且對齊的第二影像中的水平朝向的特徵之第二水平特徵影像。在步驟1230的一個示例中，特徵識別器620處理校正且對齊的影像662(1)和662(2)。特徵識別器620(a)分別地識別校正且對齊的影像662(1)中的豎直朝向的特徵和水平朝向的特徵，以分別產生豎直特徵影像664(1)和水平特徵影像664(1)，並(b)分別地識別校正且對齊的影像662(2)中的豎直朝向的特徵和水平朝向的特徵，以分別產生豎直特徵影像664(2)和水平特徵影像664(2)。步驟1230是步驟730的實施例。
在實施例中，步驟1230包括步驟1232和1234。步驟1232應用一豎直類型濾波器至每一校正且對齊的第一影像和第二影像，以產生第一豎直特徵影像和第二豎直特徵影像。豎直類型濾波器可以是檢測水平維度的變化的水平梯度濾波器。水平維度的變化與豎直朝向的邊緣相關，且因此水平梯度濾波器檢測豎直朝向的特徵。在一個實施中，水平梯度濾波器包含蘇貝爾運算元(Sobel operator)(核)，例如： 在步驟1232的一個示例中，濾波器622應用一豎直類型濾波器至每一校正且對齊的影像662(1)和662(2)，以產生豎直特徵影像664(1)和豎直特徵影像664(2)。步驟1234應用一水平類型濾波器至每一校正且對齊的第一影像和第二影，以產生第一水平特徵影像和第二水平特徵影像。水平類型濾波器可以是檢測豎直維度的變化的豎直梯度濾波器。在一個實施豎直梯度濾波器包含蘇貝爾運算元(核)，例如： 在步驟1232的一個示例中，濾波器622應用一水平類型濾波器至每一校正且對齊的圖像662(1)和662(2)，以產生水平特徵影像664(1)和水平特徵影像664(2)。步驟1232和1234形成步驟732的實施例。步驟1232和1234的每個還可以包括濾波特徵影像以抑制小的差異，例如由雜訊引起的那些。這樣的額外的濾波可以包括低通濾波器，或將每個像素的值增加至四次方(可選地隨後有適合的歸一化)。此外，步驟1230可以包括歸一化豎直特徵影像和水平特徵影像。例如，豎直特徵影像和水平特徵影像的每個可以被歸一化至共用總體照度。特徵識別器620可以執行這樣的歸一化。
步驟1240分別比較第一豎直影像和第二豎直影像並比較第一水平影像和第二水平影像，以確定重影遮罩190。步驟1240是方法1000的實施例。對於重影遮罩190的每個像素，步驟1240執行步驟744、1244和1246。步驟 744識別第一豎直特徵影像、第一水平特徵影像、第二豎直特徵影像、第二水平特徵影像的每個中的局部區域。此局部區域圍繞位於與重影遮罩190向素相同位置的像素。步驟1242分別由步驟744確定的局部區域內的(a)第一豎直特徵影像和第一水平特徵圖像及(b)第二豎直特徵影像和第二水平特徵圖像之間的差異計算重影遮罩190的像素值。
步驟1244對局部區域內第一特徵影像和第二特徵影像之間的差異的二維測量應用平滑峰二維(2D)函數。測量包括(a)第一豎直特徵影像和第二豎直特徵影像之間的差異及(b)第一水平特徵影像和第二水平特徵影像之間的差異。局部區域可以是m x m像素的方形區域。在一個示例中，局部區域構成每個特徵影像的全區域的約1-5%，例如近似全區域的2%或例如約50x50像素。步驟1244是步驟1044的實施例。在一些實施例中，例如平滑峰2D函數是以下形式的2D高斯函數： 其中，是第一水平特徵影像的像素k的值，是第二水平特徵影像的像素k的值，是第一豎直特徵影像的像素k的值，是第二豎直特徵影像的像素k的值，σ h 是與水平維度相關的標準差參數，且σ v 是與豎直維度相關的標準差參數。σ h 和σ v 可以是彼此相同或彼此不同的。σ h 和σ v 可以至少部分地偏離步驟720中執行的校準和對齊過程的準確性的估計，且σ h 和σ v 的值可以取決於陣列照相機的配置，例如陣列照相機的兩個照相機之間的偏移在水平維度、豎直維度或是水平維度和豎直維度兩者皆是。
在一個實施例中，方法1200接收在水平維度中(如圖2-5所顯示的)彼此偏移的相應的第一照相機和第二照相機捕獲的第一影像和第二影像作為輸入。在此實施例中，第一影像和第二影像中的對應特徵之間的水平移位元可以超過第一影像和第二影像中的對應特徵之間的豎直移位，以便水平朝向的特徵可能被更準確地對齊。因此，在此實施例中，σ v 的值可以比σ h 的值大以反映水平朝向的特徵的更好的對齊。在一個示例中，σ v =2σ h 。等式2的平滑峰2D函數是平滑峰函數920的實施例。在不脫離其範圍的情況下，平滑峰函數920 可以替代地實施在特徵影像之間的零差異處達到其峰值的另一平滑峰2D函數。上述參考圖9列出示例性可選的函數。在步驟1244的一個示例中，函數模組932對豎直特徵影像664(1)、豎直特徵影像664(2)、水平特徵影像664(1)和水平特徵影像664(2)應用平滑峰2D函數(例如圖2的平滑峰函數)。
步驟1246對局部區域的步驟1244的平滑峰2D函數取平均值。步驟1246是步驟1046的實施例。在一個實施例中，對於重影遮罩190的每個像素，步驟1246對局部區域中的所有圖元的W(k)取平均值。在此實施例中，重影遮罩190的圖元(i,j)的值可以寫成： 其中，k是遊動變數以加和局部區域內的所有圖元，且n+1是局部區域中像素的數量。在步驟1246的一個示例中，函數模組932對局部區域的步驟1244的平滑峰2D函數取平均值。在不脫離其範圍的情況下，步驟1246還可以包括擴張(dilating)和/或歸一化重影遮罩190。
可選的步驟1243處理校正且對齊的第一影像和第二影像以確定平滑峰2D函數的參數。步驟1243是步驟1043的實施例。對於重影遮罩190的每個圖元可以單獨地、或在不脫離其範圍的情況下可以一次性執行步驟1243，以確定適用於重影遮罩190的所有像素的一個或多個參數。在一些實施例中，可選的步驟1243確定σ h 和σ v 的值。在步驟1243的一個示例中，參數確定器936處理校正且對齊的影像662(1)和662(2)以確定實施為平滑峰函數920的平滑峰2D函數的參數。例如，參數確定器936可以確定σ h 和σ v 的值。
方法1200還可以包括執行(a)步驟750和(b)步驟760(和可選地執行步驟770)的一個或全部的步驟1260，如上參考圖7所討論的。
圖13顯示根據方法1200以確定重影遮罩1390的陣列照相機圖像的示例性處理。重影遮罩1390是重影遮罩190的示例。在方法1200的此示例中，步驟1230接收分別由如在陣列照相機200中所實施的照相機130(1)和 130(2)的實施例捕獲的校正且對齊的影像1362(1)和1362(2)。校正且對齊的影像1362(1)和1362(2)分別是校正且對齊的圖像662(1)和662(2)的示例。步驟1230處理校正且對齊的影像1362(1)以確定一豎直特徵圖像1364(1V)，其提供於校正且對齊的影像1362(1)中豎直朝向特徵的增強視圖。為說明的清楚，圖13僅顯示源於校正且對齊的圖像1362(1)的區域1363的豎直特徵影像1364(1V)的部分。相似地，步驟1230處理校正且對齊的影像1362(2)以確定一豎直特徵影像1364(2V)，其提供校正且對齊的影像1362(2)中豎直朝向的特徵的增強視圖。為說明的清楚，圖13僅顯示源於校正且對齊的影像1362(2)的區域1363的豎直特徵影像1364(2V)的部分。步驟1230可以實施步驟1232，應用水平梯度濾波器(例如包含蘇貝爾運算元)至校正且對齊的影像1362(1)和1362(2)，以確定豎直特徵圖像1364(1V)和1364(2V)。步驟1230處理校正且對齊的影像1362(1)以確定一水平特徵圖像1364(1H)，其提供校正且對齊的影像1362(1)中水平朝向特徵的增強視圖。為說明的清楚，圖13僅顯示源於校正且對齊的影像1362(1)的區域1363的水平特徵影像1364(1H)的部分。相似地，步驟1230處理校正且對齊的影像1362(2)以確定提供校正且對齊的影像1362(2)中水平朝向的特徵的增強的視圖的水平特徵影像1364(2H)。為說明的清楚，圖13僅顯示源於校正且對齊的影像1362(2)的區域1363的水平特徵影像1364(2H)的部分。步驟1230可以實施步驟1234以對校正且對齊的影像1362(1)和1326(2)應用豎直梯度濾波器(例如包含蘇貝爾運算元)以確定水平特徵影像1364(1H)和1364(2H)。
明顯地，豎直特徵影像1364(1V)中的特徵與豎直特徵影像1364(2V)中的對應特徵偏移。例如，線1350與豎直特徵影像1364(1V)中的一個特徵對齊，然而與豎直特徵影像1364(2V)中的相同的特徵不對齊。
步驟1244對豎直特徵影像1364(1V)、豎直特徵影像1364(2V)、水平特徵影像1364(1H)和水平特徵影像1364(2H)應用與等式2相似的2D高斯1310。對於重影遮罩1390的每個像素，步驟1246例如根據等式3對與考慮下的重影遮罩1390的像素相關的局部區域的2D高斯1310取平均值。步驟1246還對重影遮罩1390應用擴張以產生示於圖13的重影遮罩1390的版本。
圖14顯示用於確定等式2的2D高斯的標準差參數的一個示例性方法1400。方法1400是步驟1243的實施例，並可以由參數確定器936執行。
在步驟1410中，方法1400接收校正且對齊的第一影像和第二影像(基於由陣列照相機的相應的第一照相機和第二照相機捕獲的影像)。在步驟1410的一個示例中，參數確定器936接收校正且對齊的影像662(1)和662(2)。
在步驟1420中，方法1400計算校正的第一影像和第二影像之間的絕對差異以產生差異影像。步驟1420可以由參數確定器936執行。
對於差異圖像的每個像素，步驟1430計算圍繞像素的局部區域的標準差。步驟1430可以由參數確定器936執行。
對於重影遮罩190的每個像素，步驟1440基於步驟1430中確定的標準差定義相關的標準差參數。步驟1440可以由參數確定器936執行。步驟1440包括步驟1442和1446。對於重影遮罩190的每個像素執行步驟1442和1446。步驟1442基於步驟1430中確定的標準差定義與第一水平特徵影像和第二水平特徵影像之間的差異相關的水平標準差參數。步驟1446基於步驟1430中確定的標準差定義與第一豎直特徵影像與第二豎直特徵影像之間的差異相關的豎直標準差參數。在一個實施例中，步驟1442和1446對與水平特徵影像相關的差異和與豎直特徵影像相關的差異分配相同的標準差參數。在另一實施例中，步驟1442和1446彼此不同，以便在步驟1244中對與豎直特徵影像相關的差異分配較大的標準差參數以對水平特徵分配較大的權重。例如，步驟1446可以包括將與豎直特徵影像之間的差異相關的標準差參數設置為在步驟1430中獲得的標準差的步驟1448；且步驟1442可以包括將與水平特徵影像之間的差異相關的標準差參數設置為比步驟1430中獲得的標準差更大的值(例如是步驟1430中獲得的標準差的值的兩倍)的步驟1444。參數確定器936可以執行步驟1440。
圖15A和15B顯示實施方法1400的方法1200的示例性能力。 圖15A是使用基於純幾何校正的現有影像組合技術實現的組合影像的部分。圖15B是使用根據方法1200的實施例，實施重影遮罩生成器930的影像處理系統100實現的組合影像的對應部分。最好一起查看圖15A和圖15B。圖15A和15B兩者的影像係由圖像1362(1)和1362(2)的組合導致，且圖15A和15B的每個顯示對應於區域1363的組合影像的部分。
圖15B是使用包括步驟760和770以及還在步驟1243中實施方法1400的方法1200的實施例所產生的。方法1400與包括步驟1444和1448一起在步驟1243中實施，其中步驟1448的豎直標準差參數被設置為步驟1444的水平標準差參數的值的兩倍。圖15B利用重影遮罩1390且是步驟770的示例性輸出。圖15A中所示的現有技術影像，其基本上受到本質上所有特徵出現重複的重影偽影所影響，然而圖15B的圖像中沒有出現這樣的重影，因此說明當前公開的方法和系統的能力。
圖16顯示關於遮擋的方法1200的示例性能力。根據如上用於獲得圖15B的組合影像的方法1200的相同的實施例組合兩個輸入影像1660(1)和1660(2)(影像160(1)和160(2)的示例)。影像1670是所得組合影像的一部分。影像1660(1)和1660(2)中成像的場景包括前景物件1610和背景物件1612。前景物件1610部分地遮蔽背景物件1612的視圖。影像1661(1)和1661(2)是影像1660(1)和1660(2)的特寫。背景物件1614(是背景物件1613的部分)從照相機捕獲影像1660(2)的觀點其效益是可預見的，然而從照相機捕獲影像1660(1)的觀點而言，前景物件1610阻擋背景物件1614的視圖。因此，如從圖像1661(1)和1661(2)所顯示，背景物件1614在圖像1660(2)中是可見的，然而在圖像1660(1)中被前景對象1610遮擋。在基於純幾何校正的現有技術圖像組合中，此遮擋導致示於圖像1680中的遮擋重影偽影，其中背景物件1614出現為覆蓋在前景物件1610上。然而，如影像1670所顯示，使用方法1200獲得的組合圖像沒有此遮擋重影偽影。
圖17顯示用於具有基於特徵的重影去除來組合陣列照相機影像的一個示例性方法1700，其中一個影像用於捕獲像的照相機之間的FOV重疊影 區域內是具有較高品質。方法1700是方法700(可選地實施方法1000)和方法1200的任一個的實施例。在示例性使用情景中，方法1700應用於由陣列照相機420或陣列照相機520捕獲影像的影像組合中。方法1700可以由影像處理系統1000或由照相機設備102執行，其中照相機設備102可以實施陣列照相機420或陣列照相機520。
在步驟1710中，方法1700執行步驟710、720和730並可選地執行步驟702和715中的一個或兩個，以基於來自於由陣列照相機的第一照相機和第二照相機對應的第一影像和第二影像生成(a)校正且對齊的第一影像和第二影像以及(b)對應的第一特徵影像和第二特徵影像，如上參考圖7所討論的。在方法1700中，第一影像和第二影像中的一個影像在第一圖像和第二圖像之間的FOV重疊區域內是具有較高品質的。
步驟1740比較至少一個第一特徵影像和至少一個第二特徵影像，以確定重影遮罩190。步驟1740是步驟740的實施例。步驟1740包括一步驟1742確定重影遮罩190，使得較高品質圖像的組合權重隨著第一特徵影像和第二特徵影像之特徵的對應位置之間的差異增加而增加。當在第一圖像和第二圖像中的不同位置出現相同特徵時，步驟1742偏倚第一影像和第二影像的組合，以給較高品質的影像較多的權重。在一個示例中，影像處理系統100執行步驟1740，如上參考圖7A和7C所討論，然而隨著第一特徵影像和第二特徵影像中特徵的對應位置之間的差異增加，進而增加對較高品質圖像的組合權重。步驟1740可以包括步驟742，如上參考圖7所討論。步驟742可以實施例步驟1042或步驟1242。
在一個實施例中，方法1700包括步驟760並可選地包括步驟770。在另一實施例中，方法1700包括步驟750。在又一實施例中，方法1700包括步驟750和760並可選地還包括步驟770。
圖18顯示一具有基於特徵的重影去除之示例性方法1800，用於組合分別由陣列照相機中一個較寬FOV照相機和一個較窄FOV照相機捕獲的第一影像和第二影像。在一個示例中，方法1800由影像處理系統100執行以確定 用於由陣列照相機520捕獲的影像160(1)和160(2)的組合的重影遮罩190。在另一示例中，方法1800由實施陣列照相機520的照相機設備102執行。方法1800是方法1700的實施例。
步驟1810接收來自陣列照相機的第一影像和第二影像。第一影像和第二影像分別已經由較寬FOV照相機和較窄FOV照相機捕獲。步驟1810是步驟710的實施例。在步驟1810的一個示例中，影像處理系統100接收分別由較寬FOV照相機530(1)和較窄FOV照相機530(2)捕獲的影像160(1)和160(2)。
可選地，步驟702在步驟1810之前。在如在方法1800中所實施的步驟702的一個示例中，較寬FOV照相機530(1)捕獲影像160(1)且較窄FOV照相機530(2)捕獲影像160(2)。
步驟1812修剪第一影像並可選地修剪第二影像以基本僅包括其之間的FOV重疊。應該理解的是，在影像校正和對齊之前且出現不完美時，步驟1812輸出的第一影像和第二影像可以表示稍微不同的FOV。在步驟1812的一個示例中，等化器650修剪較寬FOV照相機530(1)捕獲的影像160(1)以表示與影像160(2)中由較窄FOV照相機530(2)捕獲的基本相同的FOV。
步驟1814對第一影像升採樣以匹配第二影像的空間解析度。步驟1814對步驟1812中應用至第一影像的修剪過程補償丟失的像素。在執行步驟1814後，第一影像和第二影像表示基本相同的FOV並具有相同的像素解析度。在步驟1814的一個示例中，步驟1812的處理執行後，等化器650對由較寬FOV照相機530(1)捕獲的影像160(1)的修剪版本升採樣以具有與由較窄FOV照相機530(2)捕獲的影像160(2)相同的像素解析度。步驟1812和1814合作以形成步驟715的實施例。
在步驟1820中，方法1800執行步驟720和730以產生(a)基於步驟1812和1814中處理的第一影像和第二影像的校正且對齊的第一影像和第二影像和(b)對應的第一特徵影像和第二特徵影像。步驟1840執行具有被指定 為較高品質影像的第二影像的步驟1740。
在一個實施例中，方法1800包括步驟760並可選地包括步驟770。在另一實施例中，方法1800包括步驟750。在又一實施例中，方法1800包括步驟750和760，並可選地還包括步驟770。
圖19顯示使用基於特徵的重影去除來組合分別由陣列照相機的彩色照相機和單色照相機捕獲的彩色影像和單色影像的一個示例性方法1900。在一個示例中，方法1900由影像處理系統100執行以確定用於由陣列照相機420捕獲的影像160(1)和160(2)的組合的重影遮罩190。在另一示例中，方法1900由實施陣列照相機420的照相機設備102執行。方法1900是方法1700的實施例。
步驟1910接收來自陣列照相機的第一影像和第二影像。第一影像是彩色影像且第二影像是單色影像。第一影像和第二影像已經分別由陣列照相機的彩色照相機和單色照相機捕獲。步驟1910是步驟710的實施例。在步驟1910的一個示例中，影像處理系統100接收分別由彩色照相機430(1)和單色照相機430(2)捕獲的影像160(1)和160(2)。
可選地，步驟702在步驟1910之前。在如在方法1900中所實施的步驟702的一個示例中，彩色照相機430(1)捕獲影像160(1)且單色照相機430(2)捕獲影像160(2)。
可選的步驟1912修剪第一影像和第二影像的一個或兩個以基本僅包括其之間的FOV重疊。應該理解的是，在影像校正和對齊以及出現不完美之前，步驟1912中的處理引起的第一影像和第二影像可以表示稍微不同的FOV。在步驟1912的一個示例中，等化器650修剪由彩色照相機430(1)捕獲的影像160(1)和由單色照相機430(2)捕獲的影像160(2)的一個或兩個以表示基本相同的FOV。
步驟1914對第一影像的各別彩色像素分配照度以與第二(單色)影像的空間解析度匹配。例如，如果第一影像由2x2彩色像素組(例如紅色、藍 色和兩個綠色彩色像素)組成，可以對每個這樣的2x2彩色像素組中的各別彩色像素的每個分配使用組合2x2彩色像素組中所有各別彩色像素接收的光檢測的照度。在一個實施例中，第一影像中彩色像素的數量與第二(單色)影像中像素的數量匹配。在此實施例中，對組內每個彩色像素分配由第一影像的每個彩色像素組檢測的照度是足夠的。在另一實施例中，第一影像中彩色像素的數量比第二(單色)影像中像素的數量少。在此實施例中，步驟1914在對第一影像的照度分配後還對第一影像升採樣以匹配第二影像的像素解析度。在又一實施例中，第一影像中彩色像素的數量大於第二(單色)影像中像素的數量。在此實施例中，步驟1914在對第一影像的照度分配後可以對第一影像降採樣或對第二影像升採樣以產生第一影像和第二影像相同的像素解析度。在執行步驟1914後，第一影像和第二影像表示基本相同的FOV，並具有包括相同像素解析度的相同的像素格式。在步驟1914的一個示例中，等化器650對由彩色照相機430(1)捕獲的影像160(1)分配照度，並可選地修改彩色照相機430(1)捕獲的影像160(1)和單色照相機430(2)捕獲的影像160(2)中的一個或兩個的像素解析度，以便影像160(1)和160(2)具有相同的像素格式、具有相同的像素解析度並基本表示相同的FOV。步驟1914(可選地與步驟1912合作)形成步驟715的實施例。
在步驟1920中，方法900執行步驟720和730以產生(a)基於步驟1914的完成後的第一影像和第二影像的校正且對齊的第一影像和第二影像及(b)對應的第一特徵影像和第二特徵影像。步驟1940執行具有被指定為較高品質影像的第二(單色)影像的步驟1740。
在一個實施例中，方法1900包括步驟760，並可選地包括步驟770。在另一實施例中，方法1900包括步驟750。在又一實施例中，方法1900包括步驟750和760，並可選地還包括步驟770。
圖20顯示一個具有基於特徵的重影去除的示例性方法2000，用來組合由陣列照相機捕獲的影像，以產生HDR影像。在一個示例中，方法2000係由影像處理系統100執行，以確定用於由陣列照相機320捕獲的影像160(1)和160(2)的組合的重影遮罩190。在另一示例中，方法2000由實施陣列照相 機320的照相機設備102執行。方法2000是方法1700的實施例。
步驟2010接收由陣列照相機的相應的第一照相機和第二照相機捕獲的第一影像和第二影像。第一照相機和第二照相機產生包括相同像素解析度的相同格式的影像。然而，在不同的條件下捕獲第一影像和第二影像以產生具有不同亮度的影像。在一個示例中，以不同的曝光時間捕獲第一影像和第二影像。在另一示例中，使用不同的照相機增益捕獲第一影像和第二影像。在又一示例中，以不同的曝光時間和不同的照相機增益捕獲第一影像和第二影像。步驟2010是步驟710的實施例。在步驟2010的一個示例中，影像處理系統100接收分別由照相機330(1)和330(2)捕獲的影像160(1)和160(2)。
可選地，步驟702在步驟2010之前。在如在方法2000中實施的步驟702的一個示例中，照相機330(1)捕獲影像160(1)且照相機330(2)捕獲影像160(2)。如在方法2000中所實施的步驟702可以以基本相同的時間捕獲第一影像和第二影像，以消除或最小化第一影像和第二影像的捕獲之間由場景中的運動產生的偽影。
步驟2020執行步驟720和730以產生(a)校正且對齊的第一影像和第二影像和(b)對應的第一特徵影像和第二特徵影像。步驟2040執行具有被指定為較高品質影像的包含更多資訊的影像的步驟1740。
在一個實施例中，方法2000包括步驟760以產生HDR影像並可選地包括步驟770。在另一實施例中，方法2000包括步驟750。在又一實施例中，方法2000包括步驟750和760並可選地還包括步驟770。
圖21顯示一個示例性方法2100，使用具有特徵的重影去除以組合由陣列照相機捕獲的影像來產生雜訊減少的影像。在一個示例中，方法2100由影像處理系統100執行，以確定用於由陣列照相機320捕獲的影像160(1)和160(2)的組合的重影遮罩190。在另一示例中，方法2100由實施陣列照相機320的照相機設備102執行。方法2100是方法1700的實施例。
步驟2110接收由陣列照相機相應的第一照相機和第二照相機捕 獲的第一影像和第二影像。第一照相機和第二照相機產生包括相同像素解析度的相同格式的影像。然而，在不同的曝光時間下捕獲第一影像和第二影像以產生具有不同亮度和雜訊特性的影像。步驟2110是步驟710的實施例。在步驟2110的一個示例中，影像處理系統100接收分別由照相機330(1)和330(2)捕獲的影像160(1)和160(2)。
可選地，步驟702在步驟2110之前。在如在方法2100所實施的步驟702的一個示例中，照相機330(1)捕獲影像160(1)且照相機330(2)捕獲影像160(2)。如在方法2100中所實施的步驟702可以以基本相同的時間捕獲第一影像和第二影像，以消除或最小化第一影像和第二影像的捕獲之間由場景中的運動導致的偽影。
步驟2120執行步驟720和730以產生(a)校正且對齊的第一影像和第二影像和(b)對應的第一特徵影像和第二特徵影像。步驟2140執行具有被指定為較高品質影像的更長曝光時間影像的步驟1740。
在一個實施例中，方法2100包括步驟760以產生雜訊減少的影像並可選地包括步驟770。在另一實施例中，方法2100包括步驟750。在又一實施例中，方法2100包括步驟750和760，並可選地還包括步驟770。
特徵組合
在不脫離本發明的範圍的情況下，上述的以及下面所請求的特徵可以以各種方式組合。例如，應該理解的是，在此討論的一種使用基於特徵的重影去除的陣列圖像組合系統或方法的方面可以包含或交叉在此討論的另一種使用基於特徵的重影去除的影像處理系統或方法的特徵。下述示例顯示上述討論的實施例的可能的、非限制性的組合。應該清楚的是，在不脫離此發明的精神和範圍的情況下對方法和設備可以做出許多其他改變和修改：
(A1)一種用於具有基於特徵的重影去除來組合陣列照相機影像的方法可以包括步驟：(a)從陣列照相機接收分別由陣列照相機的第一照相機 和第二照相機捕獲的第一影像和第二影像，(b)校正並對齊第一影像和第二影像，(c)在所述校正並對齊後，識別第一影像中的特徵以產生每個指示第一影像中的特徵的至少一個第一特徵影像並識別第二影像中的特徵以產生每個指示第二影像中的特徵的至少一個第二特徵影像，以及(d)比較至少一個第一特徵影像和至少一個第二特徵影像以確定限定用於第一影像和第二影像的組合的組合權重的重影遮罩。
(A2)如(A1)表示的方法更包括使用處理器執行非暫態(non-transient)記憶體中編碼的機器可讀指令以執行校正並對齊、所述識別和所述比較的每個步驟。
(A3)如(A1)和(A2)表示之方法中的任一個或兩個，更包括一根據重影遮罩的組合權重所組合第一影像和第二影像的步驟，以產生具有減少的重影偽影的組合影像。
(A4)如(A1)至(A3)表示的任一個方法更包括，在比較的步驟之前，處理第一影像和第二影像中的至少一個，以便第一影像和第二影像具有基本相同的視場和相同的格式的步驟。
(A5)如(A1)至(A4)表示的任一個方法可以包括(1)識別的步驟中，濾波第一影像以生成至少一個第一特徵影像和濾波第二影像以生成至少一個第二特徵影像的步驟，以及(2)比較的步驟中，由圍繞重影遮罩的像素的局部區域中至少一個第一特徵影像和至少一個第二特徵影像之間的差異計算重影遮罩的每個像素的值的步驟。
(A6)在如(A5)表示的方法中，計算的步驟可以包括：對於局部區域的每個像素，對局部區域內每個像素處的至少一個第一特徵影像和至少一個第二特徵影像之間的差異的測量應用平滑函數的步驟，以及對局部區域的平滑函數取平均值的步驟，其中平滑函數(i)具有當測量為0時獲得的單峰且(ii)隨測量的值增加而降低。
(A7)在如(A6)表示的方法中，在應用的步驟中，可以根據 差異的統計顯著性加權差異的測量。
(A8)在如(A6)和(A7)表示的方法的任一個或兩個中，在應用的步驟中，平滑函數可以是二維高斯函數。
(A9)如(A6)至(A8)表示的任一個方法可以包括，濾波的步驟中，(a)濾波第一影像以生成指示第一影像中豎直朝向的特徵的第一豎直特徵影像，(b)濾波第一影像以生成指示第一影像中水平朝向的特徵的第一水平特徵影像，(c)濾波第二影像以生成指示第二影像中豎直朝向的特徵的第二豎直特徵影像，以及(d)濾波第二影像以生成指示第二影像中水平朝向的特徵的第二水平特徵影像的步驟；以及應用的步驟中，對包括第一豎直特徵影像和第二豎直特徵影像之間的差異和第一水平特徵影像和第二水平特徵影像之間的差異的二維測量應用平滑函數的步驟。
(A10)在如(A9)表示的方法中，應用的步驟可以包括對第一豎直特徵影像和第二豎直特徵影像之間的差異以及第一水平特徵影像和第二水平特徵影像之間的差異應用二維高斯函數的步驟。
(A11)如(A10)表示的方法還可以包括處理第一影像和第二影像以確定二維高斯函數的標準差參數的步驟。
(A12)在如(A11)表示的方法中，處理的步驟可以包括，所述校正並對齊之後，步驟(i)計算第一影像和第二影像之間的差異影像，(ii)對於差異影像的每個像素，計算圍繞像素的局部區域的標準差，以及(iii)對於重影遮罩的每個像素，基於圍繞差異影像的對應像素的局部區域的標準差限定標準差參數。
(A13)在如(A12)表示的方法中，第一照相機的影像感測器和第二照相機的影像感測器可以僅在水平維度上彼此偏移，且限定標準差參數的步驟可以包括，相比于與第一水平特徵影像和第二水平特徵影像之間的差異的測量相關的標準差參數，增加與第一豎直特徵影像和第二豎直特徵影像之間的差異的測量相關的標準差參數。
(A14)在如(A1)至(A13)表示的任一個方法中，第一照相機的影像感測器和第二照相機的影像感測器可以僅在水平維度上彼此偏移，且方法可以包括：(A)於識別的步驟中，在每個第一影像和第二影像中識別第一影像中的豎直朝向的特徵，以產生第一豎直特徵影像、識別第一影像中的水平朝向的特徵，以產生第一水平特徵影像、識別第二影像中的豎直朝向的特徵，以產生第二豎直特徵影像、以及識別第二影像中的水平朝向的特徵，以產生第二水平特徵影像，以及(B)於比較的步驟中，對第一豎直特徵影像和第二豎直特徵影像分配比第一水平特徵影像和第二水平特徵影像更大的權重，以優化用於去除由偏移導致的重影偽影的重影遮罩。
(A15)在如(A1)至(A14)表示的任一個方法中，第一影像可以在第一影像和第二影像之間的視場重疊區域內具有比第二影像更高的空間解析度，且比較的步驟可以包括確定重影遮罩使得用於第一影像的組合權重隨著第一特徵影像中特徵的位置和第二特徵影像中特徵的位置之間的差異的增加而增加。
(A16)在如(A15)表示的方法中，第一影像可以是單色影像，第二影像可以是具有比單色影像更低的空間解析度的彩色影像，第一影像和第二影像可以具有基本相同尺寸的視場，且比較的步驟可以包括確定重影遮罩，使得單色影像的組合權重隨著單色影像中特徵的位置和彩色影像中特徵的位置之間差異的增加而增加。
(A17)在如(A15)表示的方法中，第一照相機和第二照相機可以具有基本相同的像素解析度，第一照相機可以具有第一視場且第二照相機可以具有比第一視場大的第二視場。
(A18)在如(A15)表示的方法中，第一照相機可以與第二照相機基本相同，且對於第一影像的曝光時間和增益中的至少一個可以分別比對於第二影像的曝光時間和增益大。
(B1)一種用於具有基於特徵的重影去除以組合陣列照相機影 像的系統，其可以包括處理器並與處理器通信地耦接且包含機器可讀指令，當被處理器執行時，機器可讀指令用於處理第一影像和第二影像，以確定一重影遮罩定義用於組合第一影像和第二影像的組合權重，其中機器可讀指令包括(a)幾何校正指令，當被處理器執行時，校正並對齊第一影像和第二影像，(b)特徵識別指令，當被處理器執行並執行幾何校正指令時，識別第一影像中的特徵，以產生至少一第一特徵影像之每個指示特徵於第一影像中，並識別第二影像中的特徵以產生至少一第一特徵影像之每個指示特徵於第二影像中，以及(c)重影遮罩生成指令，當被處理器執行時，比較至少一個第一特徵影像和至少一個第二特徵影像以確定重影遮罩。
(B2)如(B1)表示的系統更包含陣列照相機以便處理器與陣列照相機通信地耦接。
(B3)如(B2)表示的系統更包含智慧手機，其中陣列照相機、處理器和記憶體的每個在智慧手機上實施。
(B4)在如(B1)至(B3)表示的任一個系統中，機器可讀指令更包含組合指令，當被處理器執行時，組合指令根據重影遮罩的組合權重組合第一影像和第二影像，以在執行幾何校正指令後產生第一影像和第二影像的具有減小的重影偽影的組合影像。
(B5)如(B4)表示的系統更包含用於輸出組合影像的介面。
(B6)在如(B1)至(B5)表示的任一個系統中，機器可讀指令更包含等化指令，當被處理器執行時且在所述比較之前，等化指令處理第一影像和第二影像中的至少一個，使得第一影像和第二影像具有基本相同的視場和相同的格式。
(B7)在如(B1)至(B6)表示的任一個系統中，特徵識別指令更包含濾波指令，當被處理器執行時，濾波指令過濾(i)第一影像以生成至少一個第一特徵影像及過濾(ii)第二影像以生成至少一個第二特徵影像，且當被處理器執行時重影遮罩生成指令可以用於由圍繞重影遮罩的像素的局部區域 中至少一個第一特徵影像和至少一個第二特徵影像之間測量的差異，計算重影遮罩的每個像素的值。
(B8)在如(B7)表示的系統中，重影遮罩生成指令可以包括：(i)得到一具有單峰的平滑函數，當測量值為0時且隨測量的值增加而降低，(ii)函數指令，當被處理器執行時，對於局部區域的每個像素，應用平滑函數量測對局部區域中的像素處的至少一個第一特徵影像和至少一個第二特徵影像之間的差異，以及(iii)平均指令，當被處理器執行時，對局部區域的平滑函數取平均值。
(B9)在如(B8)表示的系統中，測量可以是根據其統計顯著性加權的至少一個第一特徵影像和至少一個第二特徵影像之間的差異。
(B10)在如(B8)和(B9)表示的系統的任一個或兩個中，平滑函數可以是二維高斯函數。
(B11)在如(B7)至(B10)表示的任一個系統中，濾波指令可以用於當被處理器執行時，濾波(1)第一影像以生成指示第一影像中豎直朝向的特徵的第一豎直特徵影像，(2)第一影像以生成指示第一影像中水平朝向的特徵的第一水平特徵影像，(3)第二影像以生成指示第二影像中豎直朝向的特徵的第二豎直特徵影像，和(4)第二影像以生成指示第二影像中水平朝向的特徵的第二水平特徵影像；且測量可以是二維測量，包括(1)第一豎直特徵影像和第二豎直特徵影像之間的差異和(2)第一水平特徵影像和第二水平特徵影像之間的差異。
(B12)在如(B11)表示的系統中，平滑函數可以是二維高斯函數，函數指令可以用於當被處理器執行時應用二維高斯函數產生對(a)第一豎直特徵影像和第二豎直特徵影像之間的差異和(b)第一水平特徵影像和第二水平特徵影像之間的差異。
(B13)在如(B12)表示的系統中，重影遮罩生成指令更包含參數指令，當被處理器執行時，處理第一影像和第二影像以確定二維高斯函數的 標準差參數。
(B14)在如(B13)表示的系統中，參數指令可以用於(A)在校正和對齊後，計算第一影像和第二影像之間的差異影像，(B)對於差異影像的每個像素，計算圍繞像素的局部區域的標準差，以及(C)對於重影遮罩的每個像素，基於對圍繞差異影像的對應像素的局部區域的標準差定義標準差參數。
(B15)如(B14)表示的系統更包含陣列照相機，處理器可以與陣列照相機通信地耦接，第一照相機的影像感測器和第二照相機的影像感測器可以僅在水平維度上彼此偏移，且當被處理器執行時，參數指令可以用於增加與第一豎直特徵影像和第二豎直特徵影像之間的差異相關的標準差參數，相比于與第一水平特徵影像和第二水平特徵影像之間差異相關的標準差參數，以優化用於去除由所述偏移導致的重影偽影的重影遮罩。
(B16)如(B1)至(B15)表示的任一個系統更包含陣列照相機，處理器與陣列照相機通信地耦接，第一照相機的影像感測器和第二照相機的影像感測器僅在水平維度上彼此偏移，當被處理器執行時，影像特徵識別指令可以用於在每一個第一影像和第二影像中，識別(i)第一影像中豎直朝向的特徵以產生第一豎直特徵影像，(ii)第一影像中水平朝向的特徵以產生第一水平特徵影像，(iii)第二影像中豎直朝向的影像以產生第二豎直特徵影像，和(iv)第二影像中水平朝向的特徵以產生第二水平特徵影像，且當被處理器執行時，重影遮罩生成指令可以用於對第一豎直特徵影像和第二豎直特徵影像分配比第一水平特徵影像和第二水平特徵影像更大的權重，以優化用於去除由所述偏移導致的重影偽影的重影遮罩。
(B17)在如(B1)至(B16)表示的任一個系統中，第一影像可以在第一影像和第二影像之間的視場重疊內具有較高的空間解析度，且當被處理器執行時，重影遮罩生成指令可以用於確定重影遮罩，使得用於第一影像的組合權重隨著第一特徵影像中的特徵的位置和第二特徵影像中的特徵的位置之間差異的增加而增加。
(B18)在如(B17)表示的系統中，第一影像可以是單色影像，第二影像可以是具有比單色影像更低的空間解析度的彩色影像，第一影像和第二影像可以具有基本相同尺寸的視場，且當被處理器執行時，重影遮罩生成指令可以用於確定重影遮罩，使得用於單色影像的組合權重隨著單色影像中的特徵的位置和彩色影像中的特徵的位置之間差異的增加而增加。
(B19)如(B18)表示的系統更包含陣列照相機，第一照相機和第二照相機可以具有基本相同的像素解析度，第一照相機可以具有第一視場，且第二照相機可以具有比第一視場大的第二視場。
(B20)如(B1)至(B17)表示的任一個系統更包含陣列照相機，第一照相機可以與第二照相機基本相同，對於第一影像的曝光時間和增益中的至少一個，可以分別比對於第二影像的曝光時間和增益大。
在不脫離其範圍的情況下，可以對上述系統和方法做出改變。因此，應該注意的是，在上述描述中包含的或在附圖中顯示的方式，應該被理解為說明性的且不具有限制意義。所附權利要求旨在覆蓋在此描述的所有通用和特定特徵，以及在語言上應被認為落入其間的本方法和本系統的範圍的所有聲明。

Claims (24)

  1. 一種用於具有基於特徵的重影去除以組合陣列照相機影像的方法，包括：從一陣列照相機接收分別由該陣列照相機的第一照相機和第二照相機捕獲的第一影像和第二影像；校正並對齊該第一影像和該第二影像；在上述校正並對齊後，識別該第一影像中的特徵以產生至少一第一特徵影像，每一個該特徵影像指示該特徵於該第一影像中，並識別該第二影像中的特徵以產生至少一第二特徵影像，每一個該特徵影像指示該特徵於該第二影像中；比較該至少一個第一特徵影像和該至少一個第二特徵影像以確定一定義組合權重的重影遮罩，以組合該第一影像和該第二影像。
  2. 如請求項1所述的方法，更包含：根據該重影遮罩的組合權重組合該第一影像和該第二影像，以產生具有減小的重影偽影的該組合影像。
  3. 如請求項1所述的方法，更包含，在上述比較之前，處理至少一個該第一影像和該第二影像，使得該第一影像和該第二影像具有基本相同的視場和相同的格式。
  4. 如請求項1所述的方法，包括：在識別的步驟中，濾波該第一影像以生成該至少一個第一特徵影像和濾波該第二影像以生成該至少一個第二特徵影像；以及在比較的步驟中，由圍繞該重影遮罩的像素的局部區域中的該至少一個第一特徵影像和該至少一個第二特徵影像之間的差異計算該重影遮罩的每個像素的值。
  5. 如請求項4所述的方法，其中計算的步驟包括： 對於該局部區域的每個像素，於該局部區域內的像素提供一平滑函數以測量該至少一個第一特徵影像和該至少一個第二特徵影像之間的差異，其中上述平滑函數(i)當該測量值為0時，具有一單峰且(ii)隨該測量的值增加而降低；以及對該局部區域的該平滑函數取平均值。
  6. 如請求項5所述的方法，其中，在應用的步驟中，其測量差異係根據上述差異的統計重要性所加權。
  7. 如請求項5所述的方法，其中，在應用的步驟中，上述平滑函數是二維高斯函數。
  8. 如請求項5所述的方法，包括：在濾波的步驟中：(a)濾波該第一影像以生成指示該第一影像中豎直朝向的特徵的第一豎直特徵影像，(b)濾波該第一影像以生成指示該第一影像中水平朝向的特徵的該第一水平特徵影像，(c)濾波該第二影像以生成指示該第二影像中豎直朝向的特徵的該第二豎直特徵影像，以及(d)濾波該第二影像以生成指示該第二影像中水平朝向的特徵的該第二水平特徵影像；以及在應用的步驟中，應用該平滑函數對包括(a)該第一豎直特徵影像和該第二豎直特徵影像之間的差異和(b)該第一水平特徵影像和該第二水平特徵影像之間的差異做二維測量。
  9. 如請求項8所述的方法，其中，應用的步驟包括：應用二維高斯函數於(a)該第一豎直特徵影像和該第二豎直特徵影像之間 的差異以及(b)該第一水平特徵影像和該第二水平特徵影像之間的差異。
  10. 如請求項9所述的方法，更包含處理該第一影像和該第二影像以確定該二維高斯函數的標準差參數。
  11. 如請求項10所述的方法，其中，處理的步驟包括：在上述校正並對齊後，計算該第一影像和該第二影像之間的差異影像；對於該差異影像的每個像素，計算圍繞該像素的局部區域的標準差；以及對於該重影遮罩的每個像素，根據圍繞該差異影像的對應像素的局部區域的該標準差定義該標準差參數。
  12. 如請求項11所述的方法，其中，上述第一照相機的影像感測器和上述第二照相機的影像感測器僅在水平維度上彼此偏移，且限定上述標準差參數的步驟包括：相比于與該第一水平特徵影像和該第二水平特徵影像之間的差異的測量相關之標準差參數，增加與該第一豎直特徵影像和該第二豎直特徵影像之間的差異的測量相關之標準差參數。
  13. 如請求項1所述的方法，其中，上述第一照相機的影像感測器和上述第二照相機的影像感測器僅在水平維度上彼此偏移，且上述方法包括：在識別的步驟中及在每個該第一影像和該第二影像中，識別該第一影像中的豎直朝向的特徵以產生第一豎直特徵影像、識別該第一影像中的水平朝向的特徵以產生第一水平特徵影像、識別該第二影像中的豎直朝向的特徵以產生第二豎直特徵影像、以及識別該第二影像中的水平朝向的特徵以產生第二水平特徵影像；以及在比較的步驟中，對該第一豎直特徵影像和該第二豎直特徵影像分配比該第一水平特徵影像和該第二水平特徵影像更大的權重，以優化用於去除由該偏移導致的重影偽影的該重影遮罩。
  14. 如請求項1所述的方法，其中，上述第一影像在上述第一影像和上述第二影像之間的視場重疊內具有比上述第二影像更高的空間解析度，且比較的步驟包括：確定該重影遮罩使得該第一影像的該組合權重隨著該第一特徵影像中特徵的位置和該第二特徵影像中特徵的位置之間差異的增加而增加。
  15. 如請求項14所述的方法，其中，上述第一影像是單色影像，上述第二影像是具有比上述單色影像更低的空間解析度之彩色影像，上述第一影像和上述第二影像具有基本相同尺寸的視場，且比較的步驟包括：確定該重影遮罩使得該單色影像的該組合權重隨著該單色影像中特徵的位置和該彩色影像中特徵的位置之間差異的增加而增加。
  16. 如請求項14所述的方法，其中，上述第一照相機和上述第二照相機具有基本相同的像素解析度，上述第一照相機具有第一視場且上述第二照相機具有比所述第一視場大的第二視場。
  17. 如請求項14所述的方法，其中，上述第一照相機與上述第二照相機基本相同，且對於上述第一影像的曝光時間和增益中的至少一個分別比對於所述第二影像的曝光時間和增益大。
  18. 一種用於具有基於特徵的重影去除以組合陣列照相機影像的系統，包括：一處理器；以及記憶體，與該處理器通信地耦接並包括機器可讀指令，當被該處理器執行時，該機器可讀指令處理第一影像和第二影像，以確定及定義用於組合該第一影像和該第二影像的組合權重的重影遮罩，其中上述機器可讀指令包括：(a)幾何校正指令，當被該處理器執行時，校正並對齊該第一影像和該第二影像， (b)特徵識別指令，當被該處理器執行並執行該幾何校正指令時，識別該第一影像中的特徵以產生至少一第一特徵影像之每個指示特徵於該第一影像中，並識別該第二影像中的特徵以產生至少一第一特徵影像之每個指示特徵於該第二影像中，以及(c)重影遮罩生成指令，當被該處理器執行時，比較該至少一個第一特徵影像和該至少一個第二特徵影像以確定該重影遮罩。
  19. 如請求項18所述的系統，更包含陣列照相機，上述處理器與上述陣列照相機通信地耦接。
  20. 如請求項19所述的系統，更包含一智慧手機，其中上述的每一個陣列照相機、處理器和記憶體係於上述智能手機上實施。
  21. 如請求項18所述的系統，其中，上述機器可讀指令更包含組合指令，當被該處理器執行時，該組合指令根據上述重影遮罩的組合權重組合該第一影像和該第二影像，以在執行上述幾何校正指令後產生該第一影像和該第二影像中具有減小的重影偽影的組合影像。
  22. 如請求項21所述的系統，更包含用於輸出上述組合影像的介面。
  23. 如請求項1所述的方法，每一個識別該第一影像中的特徵與識別該第二影像中的特徵之步驟，包含分別地應用一拉普拉斯核(Laplacian kernel)於第一影像與第二影像上。
  24. 如請求項18所述的系統，該特徵識別指令被配置以應用一拉普拉斯核(Laplacian kernel)於每一個第一影像與第二影像上以識別該第一影像與該第二影像中的特徵。
TW106131468A 2016-09-14 2017-09-13 具有基於特徵的重影去除的陣列照相機影像組合 TWI621099B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/265,731 US10223775B2 (en) 2016-09-14 2016-09-14 Array camera image combination with feature-based ghost removal
US15/265,731 2016-09-14

Publications (2)

Publication Number Publication Date
TW201812698A TW201812698A (zh) 2018-04-01
TWI621099B true TWI621099B (zh) 2018-04-11

Family

ID=61560113

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106131468A TWI621099B (zh) 2016-09-14 2017-09-13 具有基於特徵的重影去除的陣列照相機影像組合

Country Status (3)

Country Link
US (1) US10223775B2 (zh)
CN (1) CN107820001B (zh)
TW (1) TWI621099B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10675955B2 (en) * 2016-11-14 2020-06-09 Google Llc Adaptive glare removal and/or color correction
US10546369B2 (en) * 2018-01-09 2020-01-28 Omnivision Technologies, Inc. Exposure level control for high-dynamic-range imaging, system and method
CN109146808B (zh) * 2018-08-01 2022-02-18 成都品果科技有限公司 一种人像美型方法和系统
US10630922B1 (en) * 2018-10-11 2020-04-21 Omnivision Technologies, Inc. Local exposure sensor and method for operating the same
US11055866B2 (en) * 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
CN109951641B (zh) * 2019-03-26 2021-02-26 Oppo广东移动通信有限公司 图像拍摄方法和装置、电子设备、计算机可读存储介质
CN110309721B (zh) * 2019-05-31 2021-06-29 百度在线网络技术（北京）有限公司 视频处理方法、终端和存储介质
CN110290322A (zh) 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
CN110428391B (zh) * 2019-08-02 2022-05-03 格兰菲智能科技有限公司 用以去除鬼影假象的图像融合方法及装置
KR102680342B1 (ko) 2019-09-23 2024-07-03 삼성전자주식회사 복수의 이미지 센서들에 의해 획득되는 이미지 데이터에 기초하여 비디오 hdr 처리를 수행하기 위한 전자 장치
CN111383199B (zh) * 2020-03-23 2023-05-26 如你所视(北京)科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN114275416B (zh) * 2022-01-19 2023-07-21 平安国际智慧城市科技股份有限公司 基于图像识别的厨余垃圾分类方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101782969A (zh) * 2010-02-26 2010-07-21 浙江大学 一种基于物理定位信息的图像特征可靠匹配的方法
TW201336714A (zh) * 2012-03-08 2013-09-16 Ind Tech Res Inst 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
CN103226822B (zh) * 2013-05-15 2015-07-29 清华大学 医疗影像拼接方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070257934A1 (en) * 2006-05-08 2007-11-08 David Doermann System and method for efficient enhancement to enable computer vision on mobile devices
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8823745B2 (en) * 2011-06-02 2014-09-02 Yoostar Entertainment Group, Inc. Image processing based on depth information and color data of a scene
KR101699919B1 (ko) * 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
US9692991B2 (en) * 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
CN103973958B (zh) * 2013-01-30 2018-04-03 阿里巴巴集团控股有限公司 图像处理方法及设备
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
US9077913B2 (en) * 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
CN104144298B (zh) * 2014-07-16 2017-09-19 浙江宇视科技有限公司 一种宽动态图像合成方法
US9344639B2 (en) * 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
CN104978722A (zh) * 2015-07-06 2015-10-14 天津大学 基于背景建模的多曝光图像融合鬼影去除方法
CN105551061A (zh) * 2015-12-09 2016-05-04 天津大学 高动态范围图像融合中保留无鬼影运动物体处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101782969A (zh) * 2010-02-26 2010-07-21 浙江大学 一种基于物理定位信息的图像特征可靠匹配的方法
TW201336714A (zh) * 2012-03-08 2013-09-16 Ind Tech Res Inst 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
CN103226822B (zh) * 2013-05-15 2015-07-29 清华大学 医疗影像拼接方法

Also Published As

Publication number Publication date
TW201812698A (zh) 2018-04-01
US10223775B2 (en) 2019-03-05
US20180075587A1 (en) 2018-03-15
CN107820001B (zh) 2020-01-31
CN107820001A (zh) 2018-03-20

Similar Documents

Publication Publication Date Title
TWI621099B (zh) 具有基於特徵的重影去除的陣列照相機影像組合
US10897609B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
US20220414829A1 (en) Systems and Methods for Synthesizing High Resolution Images Using Images Captured by an Array of Independently Controllable Imagers
US10547772B2 (en) Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
CN111986129B (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US10282822B2 (en) Digital correction of optical system aberrations
TWI737979B (zh) 圖像去馬賽克裝置及方法
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US10255665B2 (en) Image processing device and method, image capturing device, program, and record medium
CN110517206B (zh) 彩色摩尔纹消除方法及装置
WO2020107995A1 (zh) 成像方法和装置、电子设备、计算机可读存储介质
CN109672810B (zh) 图像处理设备、图像处理方法和存储介质
JP6682184B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
KR102389284B1 (ko) 인공지능 기반 이미지 인페인팅 방법 및 디바이스
CN110689502B (zh) 一种图像处理方法及相关装置
JP2017130167A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2016099836A (ja) 撮像装置、画像処理装置、画像処理方法、及びプログラム
CN117499619A (zh) 一种自适应镜头解析力的图像处理方法及应用
JP2015035698A (ja) 画像処理装置、画像処理方法及び画像処理プログラム