Nothing Special   »   [go: up one dir, main page]

TWI468009B - 高動態範圍視頻 - Google Patents

高動態範圍視頻 Download PDF

Info

Publication number
TWI468009B
TWI468009B TW100129998A TW100129998A TWI468009B TW I468009 B TWI468009 B TW I468009B TW 100129998 A TW100129998 A TW 100129998A TW 100129998 A TW100129998 A TW 100129998A TW I468009 B TWI468009 B TW I468009B
Authority
TW
Taiwan
Prior art keywords
image
imaging
imaging elements
reading
light
Prior art date
Application number
TW100129998A
Other languages
English (en)
Other versions
TW201216691A (en
Inventor
James H Jannard
Graeme Nattress
Bimal Mathur
Uday Mathur
Deanan Dasilva
Peter Jarred Land
Original Assignee
Red Com Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Red Com Inc filed Critical Red Com Inc
Publication of TW201216691A publication Critical patent/TW201216691A/zh
Application granted granted Critical
Publication of TWI468009B publication Critical patent/TWI468009B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20204—Removing film grain; Adding simulated film grain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Description

高動態範圍視頻
本申請案主張對美國臨時申請案第61/376,172號(申請於2010年8月23日)與第61/473,711號(申請於2011年4月8日)的優先權，此二臨時申請案在此以引用之方式全體併入本文中。
本發明係關於用於(諸如)從以數位攝影機偵測到之靜態或移動景色的影像，創造改進動態範圍影像的裝置。
數位影像的動態範圍，可被特徵化為在影像中測量到之最亮值與最低值之間的強度比。因此，具有廣動態範圍的影像，更精確地表示在真實景色中所見的廣範圍強度層級。
傳統的數位攝影機與技術通常產生相對低動態範圍的影像，並對控制動態範圍提供有限的彈性。動態範圍可受限於一些因素，因素包含每一感測器元件能夠偵測到的亮度層級(例如，每一像素的位元寬度)，以及曝光層級。例如，經擷取的影像可精確地表示景色之相對暗區域的強度，但不可精確地表示相同景色之相對亮區域的強度，反之亦然。
可使用不同的技術來增強影像的動態範圍。然而，尤其對於移動影像而言，已存的技術實質上係為過度複雜、提供未最佳化的影像品質或允許有限的創造性彈性。例如，一些技術產生相對大的、不受控制的運動人工因素(motion artifacts)(例如，模糊(blurring)或閃爍(flickering))。對於該等及其他理由，在此描述的某些攝影機與系統，產生亦具有經控制或經減少之運動人工因素的增強動態範圍影像。再者，根據一些態樣，系統提供允許使用者調諧動態範圍及/或運動人工因素的介面，以達成所想要的電影感效果。
根據某些態樣，提供一種使用數位成像感測器獲取影像資料的方法，數位影像感測器包含由行與列形成的拍攝元件(picture element)陣列。方法可包含使用拍攝元件陣列中的複數個拍攝元件來擷取對應至於第一曝光層級之第一影像的光，並使用拍攝元件陣列中的複數個拍攝元件來擷取對應至於第二曝光層級之第二影像的光，第二曝光層級係不同於第一曝光層級。方法可進一步包含將由用於第一影像之複數個拍攝元件擷取的光轉換成數位測定(measurement)，並將由用於第二影像之複數個拍攝元件擷取的光轉換成數位測定。在一些具體實施例中，使用拍攝元件陣列中的複數個拍攝元件來擷取對應至於第二曝光層級之第二影像的光的步驟，係在將由用於第一影像之複數個拍攝元件擷取的光轉換成數位測定的步驟完成之前開始。再者，在一些具體實施例中，將由用於第一影像之複數個拍攝元件擷取的光轉換成數位測定的步驟，係在將由用於第二影像之複數個拍攝元件擷取的光轉換成數位測定的步驟開始之前實質上完成。
根據額外態樣，提供成像系統，成像系統包含設置為陣列的複數個拍攝元件。成像系統可進一步包含控制電路系統，控制電路系統經配置以使用拍攝元件陣列中的複數個拍攝元件來擷取對應至於第一曝光層級之第一影像的光，並使用拍攝元件陣列中的複數個拍攝元件來擷取對應至於第二曝光層級之第二影像的光，第二曝光層級係不同於第一曝光層級。控制電路系統可進一步經配置以將由用於第一影像之複數個拍攝元件擷取的光轉換成數位測定，並將由用於第二影像之複數個拍攝元件擷取的光轉換成數位測定。根據一些具體實施例，控制電路系統在將對於第一影像擷取的光轉換為數位測定完成之前，開始擷取對應至於第二曝光層級之第二影像的光。此外，控制電路系統可在將對於第二影像的光轉換成數位測定開始之前，實質上完成將對於第一影像的光轉換成數位測定。
根據進一步的態樣，提供處理影像資料的方法，方法可包含接收對應至拍攝元件陣列中的複數個拍攝元件的第一影像資料，拍攝元件陣列中的複數個拍攝元件係用以擷取對應至於第一曝光層級之第一影像的光。方法可進一步包含接收對應至拍攝元件陣列中的複數個拍攝元件的第二影像資料，拍攝元件陣列中的複數個拍攝元件係用以擷取對應至於第二曝光層級之第二影像的光。方法可額外包含選擇性地結合第一影像資料與第二影像資料，以創造經結合影像資料，經結合影像資料對應至具有較第一影像或第二影像為寬之動態範圍的經結合影像。在一些情況中，在將由複數個拍攝元件對於第一影像擷取的光轉換為數位測定完成之前，開始使用拍攝元件陣列中的複數個拍攝元件擷取對應至於第二曝光層級之第二影像的光。再者，在將由複數個拍攝元件對於第二影像擷取的光轉換成數位測定的步驟開始之前，實質上完成將由複數個拍攝元件對於第一影像擷取的光轉換成數位測定。
在進一步的具體實施例中，提供使用數位成像感測器獲取影像資料的方法。方法可包含使用感測器擷取於第一曝光層級的第一影像，並使用感測器擷取於第二曝光層級的第二影像，第二曝光層級係不同於第一曝光層級。方法可額外地包含輸出第一影像與輸出第二影像。在一些情況中，第一影像的擷取開始於該第二影像的擷取開始之前。此外，在一些情況中第一影像的擷取與該第二影像的擷取在時間上重疊。再者，在一些具體實施例中，第一影像的輸出與該第二影像的輸出在時間上不重疊。
根據一些態樣，提供具有感測器的攝影機系統，感測器能夠循序地擷取並輸出具有不同曝光層級的第一與第二影像。再者，在其他優點之外，系統在單一圖框週期(frame period)中開始擷取第一與第二(或更多)影像，提供可控制或經減少的運動人工因素。
例如，第一與第二影像在時間上係接近於彼此。再者，當系統在擷取對於第一影像的像素與擷取對於第二影像的對應像素之間，存在一些時間間隔的同時，第一與第二影像仍可被稱為在時間上與彼此相同或與彼此「連接(conjoined)」，因為在結合影像時間隔並不造成在視覺上顯著的人工因素。為達成此效果，在一些配置中對於第一與第二影像的至少一些部分的曝光時間與彼此重疊。在錄製視頻影像時，在此揭示的一些感測器輸出至少第一與第二在時間上接近的(或「連接」的)影像串流(在此亦稱為「軌」)。根據額外的態樣，在此描述的系統與方法處理第一與第二影像串流(例如，在攝影機中或在後處理(post-processing)期間)，以創造經結合輸出串流。
例如，對於每一視頻圖框，成像系統在擷取第一軌中的對應曝光(例如，相對低的曝光)之後，很快的擷取第二軌中的個別曝光(例如，相對高的曝光)。以此方式，在此描述的某些技術減少或移除在具有第一曝光層級之影像軌中的物件，相較於在具有不同曝光層級之(一或更多個)影像軌中的相同物件之間，產生視覺間隔的可能性。否則因為(例如)景色中物件的移動或攝影機的移動，在第一影像中的物件與第二影像中的對應物件之間，可發生在物件之間不想要的視覺間隔層級。
再者，系統相對快地從感測器獲得個別影像。例如在併入滾動快門的系統中，在感測器最前列對特定影像開始曝光與感測器最後列對影像開始曝光之間的延遲週期係相對地短。類似地，在對影像讀出最前列與對影像讀出感測器最後列之間的延遲週期也相對地短。以此方式，系統限制由滾動快門引入的運動人工因素(例如，搖晃、歪斜與汙跡)量。此係與擷取並讀出整個曝光所需的時間量消耗較大時間週期的配置形成對比。
再者，根據某些態樣在此描述的系統利用在第一與第二影像之間的最小間隙(gap)、受限的滾動快門人工因素以及在此描述之其他技術態樣，來達成多種所想要的創造性效果。例如，系統可選擇性地混合或結合在時間上接近的影像串流，以調整動態範圍、運動效果的特徵(例如，模糊的量或品質)或其他特徵。
在一些情況中，影像串流的混合被修改，以達成實質上類似於人眼感知運動之方式的運動效果。在一些實例中，混合經調整，以使模糊效果類似於傳統相機的模糊效果。使用者可有利地控制影像串流混合的量或品質，提供額外的創造力與彈性。此種程序可為部分自動或可為全自動。
因此，在此描述的技術提供了各種益處。特別在錄製運動視頻之領域中，某些具體實施例提供具有增強動態範圍、自訂運動或其他視覺效果及以上之組合的記錄。
當在此係主要針對以數位運動攝影機錄製連續視頻來討論所揭示之技術的同時，將瞭解到在此描述之本發明的各種態樣係相容於靜態攝影機以及數位靜態與運動攝影機(DSMC’s)。
系統綜觀
第1圖 為方塊圖，圖示偵測光學資料並處理經偵測資料的範例系統100。系統100可包含成像裝置101，成像裝置101可包含光學模組110與影像感測器112，影像感測器112可進一步包含多重曝光產生器113。裝置101亦可包含記憶體114與影像處理模組116。影像處理模組116可相應地包含混合模組117，混合模組117大體上經配置以調整輸出影像或影像串流的動態範圍。混合模組117可進一步經配置以調整輸出串流中的運動效果。
成像裝置101可(例如)為攝影機系統，且光學模組110、影像感測器112、記憶體114與影像處理模組116或攝影機系統的部份，可被容納在攝影機外殼中，或由攝影機外殼支撐。再者，系統100的部份可被包含在分離裝置中。例如圖示，在一些配置中，混合模組117或混合模組117的部份位於個別運算裝置102中，諸如膝上型電腦或其他電腦。
光學模組110將影像聚焦在影像感測器112上。感測器112可包含(例如)電荷耦合裝置(CCD)或互補式金氧半導體(CMOS)影像感測器細胞元陣列，諸如主動式像素感測器細胞元(active-pixel sensor cells)。此種影像感測器通常建置在矽晶片上，且可包含數百萬個影像感測器細胞元。每一感測器細胞元偵測到達感測器細胞元表面的光，並輸出對應至經偵測光之強度的訊號。隨後經偵測光被數位化。
因為該等影像感測器係敏感於廣泛的光波長頻譜，可在此種感測器的光敏表面上放置彩色濾光陣列。一種彩色濾光陣列類型為拜耳圖樣(Bayer pattern)彩色濾光陣列，拜耳圖樣彩色濾光陣列選擇性地將紅、藍或綠波長傳至感測器元件。然而，此種感測器的輸出為馬賽克(mosaic)影像。此馬賽克影像係由紅、綠與藍像素的重疊矩陣而形成。通常馬賽克影像隨後被解馬賽克(demosaic)，以使每一拍攝元件具有完整色彩影像資料組。色彩影像資料可被表示為RGB色彩格式或任何其他的色彩格式。
在此揭示的一些具體實施例係描述於具有單一感測器裝置與拜耳圖樣濾光片(Bayer pattern filter)之視頻攝影機的背景中。然而，本文中的具體實施例與發明亦可應用至具有其他影像感測器(例如，CMY Bayer以及其他非拜耳圖樣)、其他影像感測器數量、對不同的影像格式類型操作與經配置以用於靜態及/或移動圖片的攝影機。必須瞭解在此揭示之具體實施例為示例性但不為限制的具體實施例，且在此揭示之發明不限於所揭示之示例性具體實施例。
光學硬體110可為透鏡系統形式，透鏡系統具有經配置以將輸入的影像聚焦至影像感測器112上的至少一個透鏡。可選地，光學硬體110可為多重透鏡系統形式，多重透鏡系統提供可變焦段、光圈與焦距。此外，光學硬體110可為透鏡插座形式，透鏡插座由攝影機外殼支撐，且透鏡插座經配置以接收複數個不同類型的透鏡系統，例如(但不限於)，光學硬體110包含經配置以接收各種尺寸之透鏡系統的插座，透鏡系統包含50-100mm(T3)變焦鏡頭、50-150mm(T3)變焦鏡頭、18-50mm(T3)變焦鏡頭、18-85mm(T2.9)變焦鏡頭、300mm(T2.8)鏡頭、18mm(T2.9)鏡頭、25mm(T1.8)鏡頭、35mm(T1.8)鏡頭、50mm(T1.8)鏡頭、85mm(T1.8)鏡頭、85mm(T1.8)鏡頭、100mm(T1.8)鏡頭及/或任何其他鏡頭。在一些具體實施例中為，50-100mm(F2.8)變焦鏡頭、18-50mm(F2.8)變焦鏡頭、300mm(F2.8)鏡頭、15mm(F2.8)鏡頭、25mm(F1.9)鏡頭、35mm(F1.9)鏡頭、50mm(F1.9)鏡頭、85mm(F1.9)鏡頭及/或任何其他鏡頭。如前述，光學硬體110可經配置，使得不論附接何鏡頭，影像可被聚焦在影像感測器112的光敏表面上。
影像感測器112可為任何類型的影像感測裝置，包含(例如，但不限於)CCD、CMOS、縱向堆疊CMOS裝置(諸如Foveon感測器)或使用稜鏡在感測器之間分離光的多重感測器陣列。在一些具體實施例中，影像感測器112可包含具有約1200萬個光細胞元(photocells)的CMOS裝置。然而，亦可使用其他尺寸的感測器。在一些配置中，攝影機10可經配置以輸出於「5k」(例如，5120 x 2700)、Quad HD(例如，3840 x 2160像素)、「4.5k」(例如，4520 x 2540)、「4k」(例如，4096 x 2540像素)、「2k」(例如，2048 x 1152像素)解析度或其他解析度的視頻。在此所使用之為xk形式的用詞(諸如前述之2k與4k)中，「x」數量代表近似水平解析度。如此，「4k」解析度對應至約4000或更多的水平像素，且「2k」對應至約2000或更多的像素。
攝影機亦可經配置以降低取樣(downsample)並隨後處理感測器112的輸出，以產生於2K、1080p、720p或任何其他解析度的視頻輸出。例如，來自感測器112的影像資料可被「窗化(windowed)」，藉以減少輸出影像的尺寸，並允許更高的讀出速度。然而，亦可使用其他尺寸的感測器。此外，攝影機可經配置以提高取樣(upsample)感測器112的輸出，以產生於較高解析度的視頻輸出。再者，攝影機可經配置以於10、20、24、30、60與120框每秒(frames per second；fps)或任何其他圖框率，擷取並記錄視頻。此外，在此描述的混合技術大體上係相容於各種解析度與圖框率，包含在以上列出的解析度與圖框率。
記憶體114可為任何類型的數位儲存形式，諸如(例如，但不限於)硬碟機、固態硬碟、快閃記憶體、光碟片或任何其他類型的記憶體裝置。在一些具體實施例中，記憶體114的尺寸可為足夠大以儲存來自壓縮模組的影像資料，影像資料對應於至少約30分鐘的於1200萬畫素解析度、12位元色彩解析度與60框每秒的視頻。然而，記憶體114可具有任何尺寸。
在一些具體實施例中，記憶體114可被裝設在攝影機外殼的外部。再者，在一些具體實施例中，可經由標準或自訂通訊埠將記憶體連接至其他部件，標準或自訂通訊埠包含(例如，但不限於)Ethernet、USB、USB2、USB3、IEEE 1394(包含但不限於FireWire 400、FireWire 800、FireWire S3200、FireWire S800T、i.LINK與DV)、SATA與SCSI。再者，在一些具體實施例中，記憶體114可包含複數個硬碟機，諸如在RAID協定下作業的複數個硬碟機。然而，可使用任何類型的儲存裝置。
影像處理模組116可(例如)對儲存於記憶體114中的資料操作。或者，影像處理模組可對來自影像感測器112的資料操作，且經處理資料隨後可被儲存在記憶體114中。影像處理模組116可對資料執行各種作業。取決於作業，處理模組116可在混合之前個別對第一與第二影像串流執行作業，或可對經混合HDR輸出串流執行作業。
例如，影像處理模組116可壓縮來自影像感測器的資料、執行預壓縮資料準備(例如，預強調及/或熵減少(entropy reduction))、將經壓縮資料格式化及類似者。此種技術的範例已於美國專利第7,830,967號(名稱為「VIDEO CAMERA」，此後稱為’967專利案)中詳細描述，’967專利案在此以引用之方式全體併入全文。在一些實例中，影像處理模組116處理個別影像串流(或經結合影像串流)，以將影像串流調諧至感知空間(perceptual space)，如將於下文針對第8A圖所描述者。’967專利案通篇(例如，針對第8圖至第11圖與第11欄至第13欄)圖示並描述了額外的相容技術，包含綠色資料(green data)修改與預強調處理。大體上，在本文中描述的某些具體實施例，係與描述於’967專利案中的具體實施例相容，及/或為描述於’967專利案中的具體實施例的部件。因此，可使用在此描述的一些或全部特徵(包含描述於’967專利案中的各種特徵(在此不討論))，或可結合在此描述的一些或全部特徵與各種描述於’967專利案中的各種特徵。
感測器112可經配置以循序地擷取並輸出具有不同曝光層級的至少第一與第二影像串流(或軌)。例如，多重曝光產生器113可包含經特別設計的時序控制邏輯，時序控制邏輯控制感測器112以輸出影像串流。在一些情況中，感測器112可輸出多於兩個(例如，總計3、4、5、10或更多)具有各種曝光層級的軌。
在第一軌中的曝光(或曝光部分)與第二軌中的對應曝光(或曝光部分)之間具有顯著的延遲量的情況下，可產生不想要的運動人工因素。例如，在經記錄景色中的物件(例如，演員或其他攝影主題)在擷取第一影像串流圖框之時刻與擷取第二影像串流圖框之時刻之間移動了視覺上顯著的距離的情況下，可發生此種人工因素。在此種情況下，在一個軌中的物件之間，相較於在另一軌中的相同物件，可發生視覺間隔(或「間隙」)。此種問題可難以校正而用於後處理，並難以在後處理中控制。
對於該等與其他理由，根據某些態樣之感測器112經配置以循序地輸出具有不同曝光層級，且在時間上與彼此接近的至少第一與第二影像串流。例如，多重曝光產生器113可控制感測器112的像素陣列與輸出電路系統，以使感測器112輸出第一與第二影像串流。每一影像串流可具有多重圖框，多重圖框在時間上接近及/或在時間上至少部分地與來自另一影像串流的對應圖框重疊。例如，在系統將對於來自第一串流之影像的拍攝元件所擷取的資料轉換成數位值，與開始讓對於第二影像串流中之對應影像的相同拍攝元件曝光之間的時間量，係相對地短。再者，在一些情況中，在重疊時間週期期間，多重曝光產生器113，在擷取對於第二串流中之影像的至少一些拍攝元件時，同時擷取對於第一串流中之對應影像的其他拍攝元件。以此方式，在第一影像串流中的移動物件，與在第二影像串流中的相同移動物件之間的視覺間隔，可為相對地不顯著，或者可實質上被減少。多重曝光產生器113大體上可為耦合至感測器112的特殊時序產生器，並針對第2圖被詳細描述。
因為在第一影像軌圖框中的圖框中的物件，與在第二影像軌中的隨後經擷取圖框中的對應物件之間，沒有顯著的視覺分隔，第一與第二影像軌亦可被稱為對於彼此不具有「間隙」，或稱為實質上「觸摸(touching)」彼此。例如，在擷取對於第一影像之拍攝元件與擷取第二影像中之拍攝元件之間可能存在一些小延遲的同時，延遲可小到於完整感測器解析度、一或更多個縮小解析度或以上兩者之結合，僅有經減少或實質上不存在的視覺物件分隔。因為軌在時間上接近的本質，在經結合輸出軌中的運動人工因素實質上被減少、移除或可由想要的方式控制。
在此描述之感測器在此稱為具有「接連讀取(adjacent read)」或「連接曝光(conjoined exposure)」能力。此外，影像軌可被稱作為「接連」、「在時間上接近」、「連接」或類似者。
再者，如前述，根據一些具體實施例之個別曝光被以精簡的方式擷取及/或輸出，有效率地使用圖框週期。
根據某些具體實施例的混合模組117選擇性地結合在時間上接近的軌，以產生具有所想要的視覺效果的輸出軌。例如，輸出視頻串流可具有增強動態範圍，相對於個別第一與第二影像軌的動態範圍。作為範例，第一影像串流可具有相對低的曝光層級(例如，短整合時間)，對經擷取景色的相對亮區域提供有用的資料，諸如高亮度(highlight)細節。第二影像串流可具有相對較高的曝光層級(例如，較長整合時間)，對景色的相對暗區域提供有用的資料，諸如陰影中的細節。
再者，在感測器112輸出多於兩軌的一些情況中，混合模組117能夠結合對應數量的軌。在混合模組117或混合模組117之部分位於外部運算裝置102中的情況下，可在後處理中完成動態範圍及/或運動處理。此外，取決於實施，混合模組117可對儲存在記憶體114中的資料操作，對從影像感測器112輸出的資料操作或對儲存在外部運算裝置102中的資料操作。
如所討論者，經結合輸出串流可在攝影機上創造，或者可在攝影機外於後處理期間創造。在一配置中，使用者可依所需，選擇在攝影機上或攝影機外創造輸出串流。再者，如將針對第5圖至第9圖在下文中詳細描述者，在各種具體實施例中，混合模組117可根據各種演算法來結合在時間上接近的軌。演算法可為固定式、使用者可選擇式或可調整式。例如，在一個具體實施例中，根據固定式演算法在攝影機上結合影像串流。在另一配置中，使用者根據所想要的創造性效果選擇各種演算法。
產生具有多重曝光層級之在時間上接近之影像的軌
第2圖 為圖示說明根據在此描述之具體實施例的範例影像感測器200的方塊圖，影像感測器200能夠產生在時間上接近的曝光。參照第2圖，影像感測器200包含像素陣列202、輸出電路系統204與多重曝光產生器206。如將詳細描述者，多重曝光產生器206大體上控制感測器200的各種部件，而在感測器200的輸出匯流排212上提供在時間上接近的曝光，以用於進一步的儲存與處理。
影像感測器200可(例如)類似於上文針對第1圖所描述的影像感測器112，且像素陣列202包含設置為矩陣的複數個像素(例如，光細胞元)，矩陣包含「M」列(row)與「N」行(column)。在「M」與「N」可能有廣泛的各種值的同時，範例「5k」感測器包含5,120列與2,700行，範例Quad HD感測器包含3,840列與2,160行，範例「4.5k」解析度感測器包含4,520列與2,540行，範例「4k」感測器包含4,096列與2,540行，且範例「2k」感測器包含2,048列與1,152行。
在圖示說明之範例中，感測器200經配置以在給定時刻輸出單一列，且感測器200包含一個輸出電路系統204實例，輸出電路系統204實例經配置以處理並輸出對於單一列的影像資訊。在另一個具體實施例中，諸如在使用拜耳圖樣感測器的情況下，感測器一次輸出兩列，並可包含兩個輸出電路系統204實例。在其他配置中，感測器200在給定時段期間輸出其他數量的列(例如，2、3、4、5、10或更多列)，並可包含對應數量的輸出電路系統204實例。
在作業期間，多重曝光產生器206經由輸入匯流排208，提供列選擇資訊給像素陣列202的列解碼邏輯(未圖示)。對於選定列之每一者，像素陣列202提供對於N個像素的儲存值給輸出電路系統204，N個像素係對應於選定列(或列的子集)的行。
範例感測器200的輸出電路系統204亦在匯流排210上接收來自多重曝光產生器206的時序控制訊號，且係大體上經配置以處理並數位化從像素陣列接收到的類比像素值。範例感測器200的輸出電路系統204包含一組可程式增益放大器(PGAs)與一組類比數位轉換器(ADCs)，雖然在各種實施中可使用各種部件。輸出電路系統204相應地將當前選定列之經數位化且經處理之值呈現在輸出匯流排212上。例如，感測器200可將值傳送至記憶體114、影像處理模組116或第1圖之系統的其他部件，以用於儲存與處理。在一些實例中，感測器於在輸出匯流排212上傳送對於一或更多列的值之前，緩衝對於一或更多列的值。
如第2圖圖示，多重曝光產生器206可位於封裝214外。例如，封裝214為積體電路封裝，且像素陣列202與輸出電路系統204形成於容納於封裝214中的積體電路上。另一方面來說，多重曝光產生器206可形成分離積體電路的部分，分離積體電路容納於分離的封裝中。在另一個具體實施例中，多重曝光產生器206被包含在與其他部件相同的積體電路上，且多重曝光產生器206容納於感測器封裝214中。
在一些情況中，多重曝光產生器206包含實施於可程式閘陣列積體電路(FPGA)中的邏輯，雖然多重曝光產生器206可由各種方式實施，並可包含硬體、軟體、類比及/或數位電路系統(諸如自訂電路系統)、微處理器、特定應用積體電路(ASIC)、以上之結合者以及類似者。
第3A圖 為根據一個具體實施例的範例時序圖300，範例時序圖300圖示說明對於記錄兩個在時間上接近的影像軌(亦稱為影像串流)之攝影機視頻的兩個連續圖框。對每一影像軌，在每一視頻圖框中擷取兩個在時間上接近的曝光302、304。因此，第一影像軌對應至在一系列經記錄視頻圖框上擷取的第一曝光302，而第二影像軌對應至在相同系列視頻圖框上擷取的第二曝光304。
攝影機對每一圖框曝光第一整合週期306以獲得第一曝光302，並對每一圖框曝光第二整合週期308以獲得第二曝光304。時序圖300可(例如)代表第1圖與第2圖之感測器112、200的作業。再者，在時序圖為了圖示說明目的僅圖示對於兩個圖框之作業的同時，將認知到攝影機可記錄任何數量的圖框，取決於記錄的長度。
如圖示，所圖示說明之範例的攝影機以重疊方式曝光感測器的0→ M列。以此方式，將第一列(或列的子集)曝光第一整合週期，第一整合週期開始於時刻t0 且結束於時刻t1 。在相繼的重疊時段中將剩餘列(或列的子集)曝光，且對於最後列的第一整合週期從時刻t2 延伸至時刻t3 。此一般曝光方案，其中在相繼的重疊時段中曝光相繼的列(或列的子集)，大體上可被稱為「滾動快門」技術。
較佳地，對於第二曝光304的拍攝元件，係於擷取對於第一曝光302的相同拍攝元件之(相對地)不久後擷取。例如，在對於每一列(或列的子集)之第一曝光週期306的結束，與對於相同列之第二曝光週期308的開始之間的曝光間延遲312，係相對地為最小。例如，如於下文針對第4A圖詳細描述者，曝光間延遲312可取決於對於感測器的一或更多列的重置時間的一實例。在其他情況中，曝光間延遲312可取決於一些其他參數。再次參照第2圖的感測器200，多重曝光產生器206經配置以產生用於操作像素陣列202與輸出電路系統204的控制訊號，以產生在時間上接近的曝光302、304。
再者，由滾動快門所引入之對於個別曝光302、304的列間偏斜(inter-row skew)，係相對地為最小。此產生較短的總體影像獲取時間，且幫助控制任何可能由滾動快門引入的運動人工因素。如將針對第4A圖進一步討論，列間偏斜與影像獲取時間可關於對於列(或列子集)的讀出時間。
如圖示，藉由使第一與第二曝光的某些部分在時間上重疊，系統額外地更有效率地使用感測器硬體與圖框週期。例如，系統在已轉換及/或讀出所有對於第一曝光302的列之前，開始曝光至少一些對於第二曝光304的列(或列的子集)。再者，係同時曝光對於第一曝光302的至少一些列，與對於第二曝光304的其他列。
在某些具體實施例中，系統額外地在開始轉換及/或讀出對於第二曝光304之列之前，實質上完成對於第一曝光302之感測器列(或列的子集)的轉換及/或讀出。藉由使轉換與讀出電路系統專屬於每一各別曝光直到完成，系統幫助使對於個別曝光302、304的總體獲取時間維持精簡。在所圖示說明之具體實施例中，系統在開始轉換及/或讀出用於第二曝光304的任何列之前，完成用於第一曝光302的感測器列的轉換及/或讀出100%。在其他情況中，系統在開始轉換及/或讀出用於第二曝光304的列之前，完成轉換及/或讀出至少80%、至少90%、至少95%、至少96%、至少97%、至少98%或至少99%之用於第一曝光302的感測器列。在進一步的情況中，取決於具體實施例，系統在讀出多於1%、多於2%、多於3%、多於4%、多於5%、多於10%或多於20%之用於第二曝光304的列之前，實質上完成轉換及/或讀出用於第一曝光302的列。下文針對第4A圖至第4C圖提供關於特定感測器時序的進一步細節。
取決於特定配置，第3A圖圖示的各種時間週期的期間可大大地變化，包含圖框週期312、第一與第二曝光整合時間302、304、曝光間延遲312與感測器不活動310。感測器不活動時間310可稱為感測器元件實質上不活動且不被曝光的週期。例如，在擷取第一與第二曝光時，感測器根據滾動快門技術，通過電子手段啟動(activate)適當的拍攝元件，以使適當的拍攝元件對入射光敏感並擷取入射光。相反的，通過電子手段停止適當的像素元件，且因此使適當的像素元件在感測器不活動週期310期間對入射光不敏感。在其他實施中，在使用實體快門(physical shutter)的情況下，實體快門代替電子啟動/停止而被開啟/關閉。感測器不活動週期亦可被界定為在t7 (對於第二曝光304中的最後列的曝光完成時)與圖框週期末端(在開始對下一圖框曝光第一曝光302中的第一列之前)之間的時間週期。
第3B圖至第3D圖圖示說明對於數個範例配置的時序圖。為了清晰圖示，第3B圖至第3D圖未圖示曝光間延遲312。在一個具體實施例中，在第3B圖圖示說明的情境中圖框週期約為41.7毫秒(24 fps)、第一整合時間306約為2.6毫秒、第二整合時間308約為20.8毫秒、曝光間延遲312約為15.6微秒且快門關閉時間約為18.2毫秒。第二整合時間308約為圖框週期的一半，且因此大體上對應於對於實施180度快門之感測器的整合時間。在另一範例情況中，在第3C圖圖示的情境中圖框週期312約為41.7毫秒(24 fps)、第一整合時間306約為2.6毫秒、第二整合時間308約為31.6毫秒、曝光間延遲312約為15.6微秒且快門關閉時間310約為7.4毫秒。在此情況中，第二整合時間308對應於對於實施273度快門之感測器的整合時間。在另一實例中，在第3D圖圖示說明的情況中圖框週期312約為41.7毫秒(24 fps)、第一整合時間306約為0.65毫秒、第二整合時間308約為5.2毫秒、曝光間延遲312約為15.6微秒且快門關閉時間310約為35.75毫秒。在此，第二整合時間308對應於對於45度快門的整合時間。
為了比較，第3E圖圖示對於擷取具有不同曝光層級之多重曝光之另一範例攝影機的時序圖。然而，不像第3A圖至第3D圖圖示的具體實施例，第3E圖的攝影機在不同且交替的圖框上擷取長曝光304與短曝光306。因此，曝光304與306並非在時間上接近，且可存在顯著之不想要的運動人工因素。例如，在長曝光304中之影像景色物件之間可存在相對大的視覺分隔間隙，相較於在下一圖框中之短曝光306中之影像景色物件。因此，在此種情況下可難以結合短與長曝光304、306而創在具有經控制運動人工因素的高動態範圍影像。
第4A圖 圖示時序圖400，時序圖400圖示說明對於經記錄視頻的一個圖框之在時間上接近的第一與第二曝光402、404。為了清晰圖示，時序圖僅圖示影像感測器的最前三列R1、R2、R3(或列的子集)。例如，時序圖400可對應於對於感測器最前三列之曝光時序之更詳細繪圖的一個具體實施例，感測器的作業係繪製於第3A圖至第3D圖之任意者中。參照第一列R1，在第一曝光402開始之前，初始地重置列R1，如由垂直箭頭「RST」指示。
在經過了對應於重置列R1中像素所需之時間量的重置週期410之後，在第一整合週期406期間，列R1中的光細胞元開始累積電荷。接續第一整合週期406之後，第一列R1中的像素具有對應於第一曝光層級的經累積電荷。隨後對列R1起始讀出週期，以及另一重置週期，如由垂直箭頭「RO/RST」指示。參照第2圖，在讀出週期412末端，藉由輸出電路系統204讀出像素陣列202的列R1，且將列R1提供於輸出212上以儲存及/或處理。
此外，一旦列R1已完成第二重置週期，第二曝光404即開始。如此，在一個具體實施例中之第一與第二曝光之間的曝光間延遲410，取決於對於一列像素(或列的子集，其中一次讀出多於一列)的重置時間410。例如，曝光間延遲410可對應至、實質上對應至或約等於對於一列(或列的子集)的重置時間410。在其他實例中，曝光間延遲410小於或等於約一個、約兩個、約五個、約十個、約二十個、約五十個或約一百個對於一列(或列的子集)的重置時間410。在進一步情況中，曝光間延遲410為在約一個對於列(或列的子集)的重置時間410與約兩個、約五個、約十個、約二十個、約五十個或約一百個重置時間之間的一些值，取決於具體實施例。如將於下文詳細描述，重置時間410可較佳地為相對短，以產生在時間上接近的第一與第二曝光402、404。
在其他配置中，在第一與第二曝光402、404之間的延遲，可對應於除了重置時間410以外的各種值。例如，曝光間延遲410可對應至、實質上對應至或者取決於讀出時間412，諸如在讀出時間大於或等於重置時間的情況下。在一個此種具體實施例中，曝光間延遲410約等於讀出時間412。在其他情況中，取決於特定實施，曝光間延遲410係小於或等於約一個、約兩個、約五個、約十個、約二十個、約五十個或約一百個對於列(或列的子集)的讀出時間412。根據進一步具體實施例，曝光間延遲410係為在約一個對於列(或列的子集)的讀出時間412與約兩個、約五個、約十個、約二十個、約五十個或約100個讀出時間412之間的一些值。在進一步情況中，在第一與第二曝光402、404之間的延遲410取決於讀出時間與重置時間兩者。例如，在一個具體實施例中的重置作業係僅在讀出作業完成之後起始。在此情況中，在第一與第二曝光402、404之間的延遲，可對應至(或實質上對應至)讀出時間412與重置時間的和。在此種情況中，曝光間延遲410可為約小於或等於對於列(或列的子集)的重置時間410與讀出時間412的和，或者可為約小於或等於重置時間410與讀出時間412的和乘以2、5、10、20、50或100之因子。在進一步具體實施例中，曝光間延遲410可約為在對於列(或列的子集)的重置時間410與讀出時間412之和，以及重置時間410與讀出時間412的和乘上2、5、10、20、50或100之因子之間的一些值。
如圖示，感測器起始對於其他列R2、R3…RM的類似作業序列。然而如前述，針對第2圖，感測器可經配置而一次僅輸出一列(或兩或更多列的子集)。因此，對於每一接續的列，多重曝光產生器206在起始初始重置週期之前等待至少一個讀出週期412。如此，對於每一列的曝光時序在時間上被錯開(staggered)，相對於其他列。在圖示說明範例中，每一接續的列相對於先前的列，被延遲了讀取週期412。如此，在對於特定列的整合週期402、404完成時，輸出電路系統204大體上將馬上成為可用。以此方式，讀出電路系統(例如，第2圖的輸出電路系統204)的利用率相對為高。再次參照第2圖，多重曝光產生器206可由前述方式，將適當的控制訊號經由匯流排208傳送至像素陣列，並經由匯流排210傳送至輸出電路系統204。
雖然可能有各種值，一個範例感測器200具有2740列的像素，經配置以一次讀出兩列，且對於範例感測器200之兩列的讀出時間412約為7.4微秒。在此範例中，用於重置兩個列的子集的重置時間410約為15.6微秒。因此，在第一與第二曝光402、404之間的時間，與在在時間上接近的影像串流之間的時間，約為15.6微秒，或約為圖框週期的0.03%(對於24 fps之圖框率)，且約為圖框週期的0.05、0.08、0.09與0.16%(分別對於30、50、59.94與100 fps之圖框率)。在另一配置中，例如，感測器200產生在時間上分隔不多於約7微秒的第一與第二影像串流。如此，對於每一圖框，感測器200在對此圖框擷取先前曝光402(對應至第一影像串流)不多於約7微秒之後，擷取接續的曝光404(對應至第二影像串流)。在其他具體實施例中，第一與第二曝光402、404與對應影像串流在時間上分隔不多於約4微秒、不多於約2微秒或不多於約1微秒。在其他具體實施例中，第一與第二曝光402、404分隔不多於約1微秒、不多於約100微秒、不多於約50微秒、不多於約25微秒、不多於約20微秒、不多於約16微秒、不多於15.6微秒、不多於約15微秒或不多於約10微秒。如上文所指出的，在一些具體實施例中每一圖框中存在多於兩個曝光。在此種情況中，在任兩個接連曝光之間的延遲，可對應至任何上文所列出的值或值的範圍。在各種具體實施例中，曝光間延遲係小於約圖框週期的0.01%、0.02%、0.03%、0.04%、0.05%、0.1%、0.2%、0.5%、1%、2%、5%、10%、20%或30%。
此外，如前述所提及的，因為每一列(或列的子集)的獲得，以相對最小的量在時間上與最接近之先前的列錯開，由滾動快門引入的偏斜以及所產生的運動人工因素被減少。例如，在系統開始獲取對於列(或列的子集)的影像資料的時間，與開始獲取對於最接近之接續的列的影像資料的時間之間的列間獲取偏斜(inter-row acquisition skew)，對應至對於在所圖示說明之具體實施例中之列(或列的子集)的讀出時間412。類似地，在系統完成讀出對於列(或列的子集)的經獲取影像資料的時間，與完成讀出對於接續的列(或列的子集)的經獲取影像資料的時間之間的列間讀出偏斜，對應至對於列(或列的子集)的讀出時間412。在各種具體實施例中，列間獲取偏斜及/或列間讀出偏斜，係約等於對於列或列的子集的一個讀出時間412，或約小於或等於約1個、約1.5個、約2個、約2.5個或約3個讀出時間412。
將列間偏斜延伸至第4A圖的所有列，在系統開始獲取第一列(或列的子集)之時間，與開始獲取所有列或實質上所有列(例如，至少90、95或99%)之時間之間的在整體影像中的總體曝光間獲取偏斜，係約由下列方程式給定：
(M -1)*read _out _time ,　(方程式1)
類似地，在系統完成讀出第一列之時間，與完成讀出實質上所有列之時間之間的曝光間讀出偏斜，可對應至相同的量。作為特定範例，對於前述之2740列感測器，曝光間獲取與讀出偏斜兩者皆約等於10.1毫秒((2740/2-1)*7.4微秒)。
再者，來自在系統開始獲取對於曝光之第一列(或列的子集)之時間，與完成讀出實質上對於曝光之所有列之間的對於整體曝光的獲取時間，係約由下列方程式給定：
exposure _time +[(M -1)*read _out _time ]　(方程式2)
在進一步之相容的具體實施例中，影像獲取時間係小於或等於下列之一者：
exposure_time +[(M -1)*read_out_time ]、　(方程式3)
exposure_time +[(M -1)*1.5*read_out_time ]、　(方程式4)
exposure_time +[(M -1)*2*read_out_time ]、　(方程式5)
exposure_time +[(M -1)*2.5*read_out_time ]或　(方程式6)
exposure_time +[(M -1)*3*read_out_time ]。　(方程式7)
在前述特定範例之每一者中的系統，對每一圖框記錄第一相對較低曝光(例如，短曝光)以及接續的第二相對較高曝光(例如，長曝光)。然而，圖框間曝光的數量與次序可改變，並可依所需自訂。例如，在一個實例中，每一圖框包含長軌以及接續的短軌。此外，裝置可經配置以對每一圖框擷取兩個以上的曝光，諸如3、4、5、10個或更多個曝光。如僅作為一些示例性範例，可能存在對每一圖框包含兩個以上的曝光的下列擷取式樣：(1)長、短、長；(2)短、長、短；(3)短、短+x、短+x*2、……、短+x*k；(4)長、長-x、長-x*2、……、長-x*k；(4)短、中、長；(5)長、中、短；(6)中、長、短。
第3A圖至第3D圖與第4A圖的圖300、400，對應於感測器對每一列以相同次序輸出曝光的配置。例如參照第4圖，列R1……RN之每一者對每一圖框輸出短曝光402以及接續的長曝光404。然而，在一些情況中，多重曝光產生器206經配置以使感測器200取決於列而由不同次序輸出第一與第二曝光，提供了較大的創造性彈性。
第4B圖圖示一個此種範例，其中短與長曝光402、404的次序在列與列之間交替(或在列的子集與列的子集之間交替)。因此，第一列R1輸出短曝光402與接續的長曝光404，第二列R2輸出長曝光404與接續的短曝光，第三列輸出短曝光402與接續的長曝光404等等。在另一類似的具體實施例中，對於奇數列之對於短曝光與長曝光的一或更多個整合時間，係不同於對於偶數列之短曝光與長曝光。
在其他實例中，列的一或更多者對每一圖框僅擷取單一曝光，同時剩餘的列擷取多重曝光。例如，第4C圖圖示一個此種情況，其中奇數列對每一圖框輸出單一長曝光402，同時偶數列對每一圖框輸出三個在時間上接近的曝光(例如，短、中、長)404、406、408。因此，將認知到對於創造在時間上接近的曝光，係存在著廣泛的各種可能性。
為了清晰說明，在此使用名詞「短」與「長」以分辨不同的曝光，諸如其中一個曝光具有相對短於另一曝光的整合時間，或具有因而相對長於另一曝光的快門速度。然而，前述技術係相容於一些具體實施例，其中除了整合時間以外(或替代整合時間)，係控制影響曝光程度的其他參數。此種參數可(例如)包含增益(例如，類比增益)、光圈與ISO。因此，取決於具體實施例，其中曝光被稱為「短」或「長」，將認知到曝光實際上可被更精確地稱為「低」或「高」。如在此使用之，名詞「拍攝元件重置時間」與「拍攝元件讀出時間」可稱為所需讀出一列拍攝元件(例如，像素)、多於一列之拍攝元件的子集、單一拍攝元件或一些其他非列像素元件群組(諸如一或更多行拍攝元件)的一或更多個時間量。在諸如平行讀出多重像素元件的一些情況中，(例如)對於特定群組(例如，像素元件列或列的子集)的讀出時間對應於對於單一拍攝元件的相同時間量。
產生具有多重曝光層級之在時間上接近之影像的軌
第5圖為圖示說明用於從在時間上接近的曝光圖框之多重軌，創造混合輸出軌之範例程序500的流程圖。如將描述之，根據程序500與在此描述的其他技術，混合模組117大體上接收並處理在時間上接近的曝光圖框的軌。混合模組117可由逐圖框基礎(frame-by-frame basis)接收及/或處理軌，或可在任何給定時間對軌的任何部分操作(例如，5、10、100、1000或更多圖框，或全體軌)。
在方塊502中，混合模組117接收具有在時間上接近之曝光之視頻圖框(例如，分隔不多於約20、16、7、4或2微秒)的多重軌(或軌的部分)。混合模組117可由各種方式接收軌。作為一個範例，混合模組117位於在外部運算裝置上執行的軟體中。攝影機100將在時間上接近的曝光軌記錄至記憶體裝置114，且軌被從記憶體裝置114傳輸至外部運算裝置，外部運算裝置將經記錄軌前送至混合模組117以處理。做為另一範例，混合模組117位於在攝影機100上的軟體或硬體中，並直接從記憶體裝置114或感測器112接收經記錄軌。
在方塊504中，混合模組117根據所需演算法(例如，固定式或使用者可選擇式)處理經接收曝光。混合模組117可根據演算法一起混合第一與第二軌，產生基於第一與第二(或更多)軌的輸出軌。針對第6A圖至第9圖圖示並描述一些混合技術範例。
在方塊506中，混合模組117提供經混合輸出軌。例如，在混合模組117位於攝影機上的情況中，攝影機可將輸出影像串流圖框提供至記憶體114以儲存。或者，攝影機可將經混合圖框軌串流至運算裝置102以用於外部處理及/或儲存。在混合模組117一次僅對每一軌的一圖框或其他部分操作的情況中，程序500隨後可回到方塊502，在方塊502中混合模組117接收對於在各別軌中之下一圖框(或圖框群組)的第一與第二曝光。
第6A圖至第6B圖圖示說明混合作業範例。例如，混合模組117可能夠實施圖示於第6A圖至第6B圖的混合技術。大體上，使用該等與其他混合技術，混合模組117能夠提供輸出軌，輸出軌併入來自各別影像的所需內容，同時切除(discard)不想要的影像內容。經切除影像內容可包含一或更多軌的雜訊部分，以及對提供所需美感效果所不需要的其他部分。再者，在一些情況中使用者可選擇要在輸出軌中包含哪些內容，以提供增進的創造性彈性。
參照第6A圖，混合作業600表示一種情境，其中攝影機對於每一視頻圖框，各別擷取在時間上接近的第一(例如，長)曝光604與第二(例如，短)曝光606。長條(bar)寬度表示長與短曝光604與606大體上對應於感測器的動態範圍，感測器的動態範圍相應地可對應於對於感測器112之可能的像素值範圍(例如，對於10位元感測器為0至1023、對於12位元感測器為0至4095、對於16位元感測器為0至65535等等)。第6A圖對應於配置，其中輸出軌具有相較於感測器112為擴張的位元深度，並具有相較於個別軌604或606的增進動態範圍(因為兩軌604、606的選擇性內涵)。
如圖示，對於長與短曝光604、606之每一者，所擷取的某些值相對地將具有雜訊，具有相對低的訊號雜訊比(SNR)。例如對於較低像素值，SNR為相對低，且隨著所測量到的像素值提升而逐漸提升。再者，主題景色在某些亮區域中可包含高亮度。如所指出，因為較短的整合時間，短曝光606可擷取高亮度的顯著部分，減少高亮度將被洗掉的機會。另一方面，如圖示說明，在一些情況中因為相對長的整合時間(可導致高亮度細節被洗掉)，長曝光604不擷取許多高亮度細節。
景色亦可包含暗區域，暗區域包含時常與亮區域相鄰的陰影。如圖示，因為長整合時間，長曝光604在該等區域中可擷取相對較多的細節。相反地，因為較短整合時間，短曝光606在該等區域中可擷取較少的細節。
此外，如圖示，長與短曝光604、606亦可包含對應於影像景色的「正常」部分的內容。該等部分可(例如)不為特別暗或亮，並可具有大體上正常或中間的亮度層級。針對第6A圖至第6B圖所使用的標籤(「陰影」、「正常」、「高亮度」)，僅用於圖示說明混合概念之目的，且不作為限制。例如，將認知到在一些情況中較短曝光可從影像景色中擷取一些陰影內容量。類似地，在一些實例中較長曝光將記錄一些高亮度細節。
在所圖示說明之範例中，混合模組117匹配兩個曝光604、606之間的亮度層級。例如，在混合之前，混合模組117可將曝光針對於彼此平移N位元(例如，1、2、4、8或更多位元)，或對一或更多個曝光執行一些其他的數學作業。在所圖示說明之範例中，短曝光606被向上平移N位元，且因此被乘上因子2N 。在此種情況中，長曝光604可比短曝光606被曝光更多因子2N 。如此，在平移之後，在對於相對應影像景色區域的兩曝光604、606之間的亮度層級更接近匹配。此外如圖示，在一些情況中將較短曝光606中雜訊最多的內容切除。
在混合之前，亦可能存在用於對於彼此調整曝光604、606的各種其他處理。例如，在一些情況中，係平移或調整長曝光604，而非短曝光606。在一個實例中，將長曝光604向下平移N位元，而非將短曝光606向上平移N位元。如下文討論，第3B圖圖示一個此種具體實施例。在其他具體實施例中，平移曝光604、606兩者。例如，可平移曝光604、606於相等與相反方向。在其他情況中，系統平移曝光604、606於相反方向，但平移不同值。例如，其中第一曝光604被曝光較第二曝光606多因子2N ，且其中N=X+Y，可將第一曝光604向下平移X位元，並可將第二曝光向上平移Y位元。可能存在各種其他具體實施例。例如，可使用減法、加法或其他適當作業，而非對曝光604、606之像素值進行乘法或除法。
在匹配亮度層級之後，混合模組將曝光604、606一起混合。為圖示說明之目的圖示三種混合演算法(i)至(iv)。
參照第一演算法(i)，混合模組117在一個具體實施例中選擇對應於線段A-B之長曝光604的影像內容，以內涵於輸出軌中。在一個範例中，感測器為12位元感測器，短曝光被向上平移2位元，且線段A-B對應於0與2048之間的像素值。混合模組117使用來自長曝光的經測量值，以作為參考而決定將哪些像素值包含進經混合輸出軌中。例如，混合模組117決定長曝光604中的哪些經測量像素值具有從0至2048的值，並將該等像素值併入經混合輸出影像中的對應像素中。來自長曝光604的值被實質上直接地、未經修改地併入輸出軌中，同時在一些替代性配置中，在併入之前混合模組117對值執行一些數學作業，諸如縮放、平移或捨入(rounding)。
對長與短曝光604、606各別圖示的圖表608、610，指出根據混合演算法(i)而包含在輸出軌中之每一軌的百分比。例如，對於在點A與B之間的像素值，輸出軌的100%由來自長曝光604的內容組成。
混合模組117可替代性地使用短曝光606以作為參考，而決定對於部分A-B，要將哪些來自長曝光604的經測量像素值包含進輸出軌中。在範例情況中，(例如)混合模組117決定短曝光606中的哪些像素值具有在0與2048之間的經測量值，並選擇對於長曝光604中之對應像素的經測量值以包含進輸出軌中。在其他實例中，混合模組117使用其他參考類型。例如，對於每一像素，混合模組117可計算對於短與長曝光604、606的經測量值的一些組合(例如，平均值)，並使用經計算值作為參考，以決定要將哪些來自長曝光604的像素值包含進輸出軌中。類似地，在剩餘的混合作業(例如，沿著線B-C與C-D的作業，與對於其他範例混合方案(ii)-(iv)的作業)被描述為使用長曝光604作為參考的同時，在該等情況中亦可利用短曝光606、短與長曝光606、604的一些組合或一些其他參考類型。
此來自長曝光604沿著線段A-B的影像內容，可包含相對佳的陰影細節。在一些其他情況中，混合模組117對沿著線A-B的值，一起混合短與長曝光604、606至一些程度。混合量可為相對地不變，不論輸入像素值為何。此外，可將混合偏向為有利於軌之一者，例如長軌604。例如，混合模組117可對來自長軌604與短軌606的輸入值執行加權平均，其中長軌具有較短軌606為高的權重。在一些情況中，偏向或加權的程度可由使用者控制，或根據特定作業模式自動地調整。下文所述之混合演算法(iv)圖示範例，其中使用加權平均以在經混合輸出軌中產生一些影像內容。
繼續參照演算法(i)，輸出軌的下一部分對應於沿著斜線B-C之來自長與短曝光604、606兩者之影像內容的結合。再者，個別曝光604、606包含於輸出曝光的程度，係基於經測量輸入值而改變。此可相對於對應於線段A-B與C-D之輸出影像的部份(於下文討論)。例如對於線段A-B與C-D，選擇來自僅一個軌的像素以內涵於輸出軌中，或混合量大體上為不變(例如，為加權平均)並與經測量輸入值無關。
對於線段B-C，可能存在用於混合曝光604、606的各種作業。例如在一些具體實施例中，包含在輸出軌中之長軌604的量，在點B是最多的。相反地，用於混合作業中之短軌606的量，在點B是最少的。再者，對於在B與C之間提升的像素值x，包含在輸出軌中之長軌604的量逐漸下降。相反地，包含在輸出軌中之第二軌606的量提升，在點C到達最大值。此係圖示說明於圖表608中，圖表608圖示對於提升像素值B至C，長曝光604在輸出軌中的百分比線性地從100%下降至0%。相反地，圖表610圖示短曝光606在輸出軌中的百分比從B至C線性地從0%提升至100%。在範例情況中，感測器為12位元感測器，短曝光606被向上平移2位元，B對應於像素值2048，且C對應於像素值4094。作為範例，在B與C之間的中點對應於像素值3071，混合模組117決定在長曝光604(參考曝光)中的哪些像素具有值3071。因為點為在B與C之間的中點，混合模組根據下列方程式計算輸出軌中對應像素的值：
out_pixel_val =0.5*long_pixel_val *0.5short_pixel_val 　(方程式8)
在一些實例中對B-C部分使用線性內插(linear interpolation)，且在一種情況中內插函數(interpolant)由下列方程式給定：
其中x 對應於在B與C之間的經測量輸入像素值，以使(例如)B x C 。相應地，可使用內插函數以計算對於每一x 值的經內插輸出像素值。例如，可根據下列方程式計算輸出像素值：
out_pixel_val =y *long_pixel_val +(1-y )*short_pixel_val (方程式10)
對於對應於線段B-C的像素值，可使用其他的混合類型。在一些情況中，且不像線性內插技術，包含在經混合曝光中的個別曝光604、606量，可不取決於輸入值。例如，對於輸出軌的此部份，混合模組117可從長曝光604影像內容與短曝光606影像內容，計算出平均值，並將平均值包含進輸出軌中。替代於平均作業，可使用各種其他作業，包含但不限於和、差、加權平均或類似者。下文所述之混合演算法(iii)併入彎曲混合函數。
在一個具體實施例中，混合模組117選擇對應於線C-D之短曝光606的影像內容，以完成輸出軌，且不對輸出軌的此部分混合曝光。例如，參照於12位元感測器範例，點C可對應於像素值4095，像素值4095對應於對於長曝光604的飽和值。因此，混合模組可決定長曝光604中的那些像素具有4095飽和值，並將來自短曝光606中之對應像素的值併入輸出影像中。如所指出，沿著線C-D的影像內容包含相對佳的高亮度細節。在其他情況中，可對對應於線段C-D之輸出軌的部分使用一些程度的混合。例如，對於部分C-D，混合模組117可執行加權平均，或其他類似於上文針對線段A-B所描述的作業。然而，對於部分C-D，可將加權平均偏向為有利於短軌606而非長軌604，而不像對於部分A-B般。下文所述之演算法(iv)沿著該等線併入混合函數。
因此，根據此種混合技術，混合模組117使用短曝光606以在所產生的輸出軌中保存高亮度，對任何可能的高亮度細節損失進行校正。因此，由短曝光圖框組成的軌可(例如)被稱為「高亮度保護軌」或「高亮度校正軌」。
如箭頭所指出，點A、B、C與D之一或更多者可被調整，以調整混合設定。此可大大地影響所產生之輸出軌的動態範圍與運動特性兩者。例如，線段A-B與C-D的長度可顯著地改變影像的動態範圍。再者，可藉由調整線段B-C的長度，或對此部分使用的特定混合作業(例如，線性內插、加權平均等等)，來調諧運動效果。下文針對第8圖詳細說明特定的運動控制作業。
混合演算法(ii)係與混合演算法(i)類似，除了如較短線段B-C所指出之，混合模組117對輸出軌的較小部分一起混合長與短曝光604、606。再者，如相對長線段A-B所指出之，較之於演算法(i)，將長軌604的較大部分直接地包含進輸出軌中。
如對於演算法(iii)之圖表608、610所圖示，實施演算法(iii)的混合模組117應用曲線至經測量輸入值上，以產生輸出軌。在可能有各種不同的曲線的同時，所圖示說明範例之混合模組117應用「S」曲線於對應於在點B與C之間之像素值的輸出軌部分上。曲線可為S狀(sigmoid)曲線或一些其他類型的曲線。如先前範例，可調整點A、B、C與D之一或更多者，以改變各種線段的長度與對應的混合設定。在一個實例中，應用曲線至全體輸出軌上。
此外，輸出軌可能存在多於三個的具有不連續混合設定的部分(A-B、B-C、C-D)。演算法(iv)圖示此種情況，其中存在對於五個不同的輸出軌部分的個別混合設定：(1)A-B-直接併入長軌604；(2)B-C-加權平均，其中長軌604的加權比短軌606重；(3)C-D-在長軌604與短軌606之間進行線性內插；(4)D-E-加權平均，其中短軌606的加權比長軌604重；以及(5)E-F-直接併入短軌606。
現參照第6B圖，所圖示說明之混合作業類似於第6A圖的混合作業，因為系統再次擷取並一起混合在時間上接近之第一(例如，長)與第二(例如，短)曝光604、606。然而，不像第6A圖圖示之作業，在第6B圖圖示的設定中，混合模組117不擴張輸出軌的位元寬度，較之於輸入軌。反之，位元寬度保持相同。作為一個範例，感測器112為12位元感測器，且因此輸出12位元長與短曝光604、606，雖然亦可能存在其他位元寬度。混合模組117藉由將短曝光606針對長曝光604向下平移一些位元數(例如，2、4、8個位元等等)，來執行亮度層級匹配。然而，不像第4A圖圖示的作業，經平移部分被保存在第6B圖的具體實施例中。隨後將第一與第二軌604、606根據所選擇的演算法一起混合，創造16位元輸出軌。圖示三種範例混合演算法(i)、(ii)與(iii)，雖然存在著廣泛的各種可能性。如圖示，在一些情況中將長曝光中最吵雜的內容切除，同時仍保持一些陰影細節。
在針對第6A圖至第6B圖之一些特定範例來描述的同時，混合可由各種額外的方式發生。例如，混合可基於對比層級，如下文針對第9圖所描述者。
第7圖圖示用於從在時間上接近的多重曝光，創造輸出曝光的混合程序700。雖然為了圖示說明之目的針對單一第一與第二曝光來描述，下文針對程序700所描述的運算可替代地對第一與第二曝光的軌全體或部分執行。
在方塊702A、702B中，感測器112擷取第一(例如，長)與第二(例如，短)曝光。在方塊704A、704B中，混合模組117或其他部件處理經擷取曝光。
例如，參照第6A圖至第6B圖，在一些情況中在混合之前調整曝光604、606之一或更多者，例如匹配兩個曝光之間的亮度層級。在該等情況的一些情況中，混合模組117將曝光604、606之一者或兩者平移，並因此將像素值乘上(或除以)對應因子2。然而，在一些情況中，感測器像素輸出非零值，即使在沒有光投射至像素上時(例如，在鏡頭蓋置於感測器上時)，創造「非零黑色」值。在混合之前，可想要考慮此「非零黑色」值。例如，在亮度匹配程序中乘上該等「非零黑色」值，可使之後的處理級複雜化，或產生其他不想要的結果。
因此，在一個具體實施例中，在亮度匹配之前，模組117從第一及/或第二曝光減去偏移(offset)(例如，黑色偏移)。隨後模組對曝光執行亮度匹配或其他數學作業，例如，將每一曝光乘上預定因子。最後，混合模組117可加入偏移至第一與第二曝光，諸如具有與在亮度匹配之前減去的值相同量值的黑色偏移。
在一些配置中，在方塊704A、704B中，混合模組對第一與第二曝光執行一或更多個作業，以增進影像資料的壓縮。例如，在一個實例中，影像處理模組116結合來自第一與第二曝光兩者的(例如，低)頻率分量子波(wavelet)，以增進壓縮效率。影像處理模組116亦可實施預強調曲線至曝光之一或更多者(例如，較暗，較短的曝光)。範例預強調函數係詳細描述於’967專利案中(例如，針對’967專利案的第8、8A、11圖及第11欄至第12欄)，並在此以引用之方式併入本文。此種技術可增進壓縮的效率或其他品質。例如在一些情況中，預強調或其他技術可避免(或減少)發生在特定曝光之較低位元的壓縮量。
在方塊706中，混合模組117接收使用於混合作業中的參數。例如，混合參數大體上界定將如何結合第一與第二曝光。例如在一些情況中，系統100提供介面，以設定混合參數之一或更多者。例如，系統100對使用者顯示圖形使用者介面(GUI)，使用者可與圖形使用者介面互動以設定參數。取決於配置，可經由軟體在外部電腦的顯示器上，或可替代地在攝影機上，提供GUI或其他介面。
在一個實例中，GUI包含可由使用者操縱而調整混合參數的滑動件(slider)或一或更多個其他圖示。圖形707類似於針對第6A圖至第6B圖之演算法所圖示者。因此，「A」、「B」、「C」與「D」的位置大體上界定如何混合第一與第二曝光(「EXP. 1」、「EXP. 2」)。如第7圖中指出，在一些情況中使用者能夠使用介面調整「B」與「C」的位置，藉以設定要在所產生的輸出軌中包含多少第一與第二(或更多)曝光，以及需將軌的那些部分一起混合。在一些情況中，使用者可調整「A」及/或「D」的位置，而非(或除此之外)「B」與「C」。在所圖示說明之範例以外，可能存在數個其他相容的介面。再者，介面可允許使用者調整各種其他參數。
在另一配置中，使用者可選擇「高亮度保護」值，「高亮度保護」值決定要利用之高亮度保護的量。參照第6A圖至第6B圖，所選擇的「高亮度保護」值大體上可為短軌中曝光606的曝光(例如，整合時間)。在一個具體實施例中，使用者可選擇要包含的數個高亮度保護的停止點(例如，2、3、4、5或6個停止點)。例如，若使用者選擇2個高亮度保護停止點，則對於短曝光606軌的曝光將比對於長軌604的曝光少2個停止點。例如，在長軌604曝光值為1/48秒時，對於短軌606的曝光將被設定為1/192秒。
在另一配置中，系統對使用者提供預設定演算法選單，每一預設定演算法具有特定創造性效果。每一預設定演算法具有預定混合參數(例如，「B」與「C」值)。在一些情況中，特定預設定演算法亦可決定在方塊704A、704B中發生哪些處理類型(例如，線性內插、加權平均、「S」曲線等等)。
在方塊708中，混合模組117基於所選擇的混合參數來執行混合作業。例如，混合模組117大體上可由在上文針對第5圖至第6B圖所描述的方式，來執行混合。最後，在方塊710中，混合模組117輸出經混合曝光(或曝光的軌)。例如，提供經混合曝光以儲存及/或對使用者播放。
在一些具體實施例中，系統100對使用者提供大體上即時的回饋。例如，在使用者改變一或更多個混合參數，或選擇不同的預決定混合演算法時，系統在攝影機或電腦監視器上播放經混合輸出軌或經混合輸出軌的部分，以供使用者回顧。因此，使用者可即時處理(on the fly)而進行調整，以達成所需的視覺效果。
回到方塊708中，在一些具體實施例中，混合模組117藉由根據所選擇的演算法，決定每一軌的哪些部分被正確地曝光，來混合在時間上接近的軌。例如對於每一曝光，混合模組117標示被正確地曝光的像素，以內涵於經結合輸出影像中。根據另一個具體實施例，混合模組117比較來自一個曝光的像素與其他曝光中的對應像素，並根據預定演算法計算經混合輸出中的對應像素值。
如所述，任何混合技術大體上可(例如)由逐圖框基礎，或在一些其他的粒度(granularity)來實施，並可能有廣泛的各種相容的混合技術。在某些配置中，在產生輸出軌時，比較或者分析來自第一及/或第二(或更多)軌的多於一個圖框。例如，在此種情況中，混合模組117比較來自第一軌的圖框n -w 、……、n 、……、n +x ，與來自第二軌的圖框n -y 、……、n 、……n +z ，以在輸出影像串流中產生圖框n ，其中n 為當前輸出軌圖框。
控制運動效果
如所討論之，在此描述的影像擷取技術有效率地使用圖框週期，來在個別圖框中提供具有不同曝光層級的軌。曝光間延遲為相對小，使得在不同地曝光的軌之間具有實質上減少的(或不存在)時間性間隙。例如，在一個軌的物件之間實質上可不存在視覺分隔，較之於在另一軌中的相同物件。再者，如討論之，對於個別軌的曝光間偏斜為相對最小。根據某些態樣，系統在提供在此描述之動態範圍利益之外，利用該等與其他態樣以控制經結合輸出軌中的運動效果，諸如模糊的量或品質。例如，在經結合輸出串流中的運動人工因素可被實質上減少、移除或以所需方式控制。此外，在此描述的一些技術減少或消除了運動人工因素偵測的量，以及一些傳統做法所必需的處理。
第8圖圖示用於提供具有經控制運動效果之輸出影像軌的程序800。在方塊802中，混合模組117接收至少兩個在時間上接近的軌，此兩軌可根據在此描述之任何技術來被記錄。例如，軌可為在第3A圖至第6B圖中圖示並描述的軌之任意者。在方塊804中，混合模組117接收運動控制參數組。該等參數大體上界定在選擇性地結合軌時，混合模組117所執行的運動控制演算法。如前述之動態範圍混合參數(例如，「高亮度保護」的量)般，取決於實施，運動控制參數可為使用者可選擇式或固定式。在一些情況中，對使用者提供具有各種運動控制技術列表以供選擇的選單。該等技術可為任何於下文針對方塊806描述的技術之任意者，或一些其他的技術。
在方塊806中，程序800結合在時間上接近的影像，以創造具有所需運動效果的輸出影像串流。可能存在各種運動控制技術。
於在不同曝光層級記錄在時間上接近的多重影像軌時，軌之一者可為相對模糊，類似於傳統視頻記錄。例如，在相對長整合時間軌中可存在顯著的模糊，諸如圖示於第3A圖至第4C圖與第6A圖至第6B圖者。然而，其他軌可為較銳利，並包含減少的或最少的模糊。例如，圖示於第3A圖至第4C圖與第6A圖至第6B圖的短整合時間曝光，可為相對較銳利。典型的視頻記錄(例如，24 fps與180度快門)圖示對於移動物件大體上不變的模糊，而無較銳利的參考。然而，在親眼觀看景色時，人眼所看見的係接近於對物件之模糊參考以及對移動物件之不連續、較銳利參考兩者的組合。
為了模仿此效果，在一些具體實施例中，混合模組117使用更模糊軌與較銳利軌兩者來控制運動效果，創造包含對移動物件之經模糊且較銳利參考兩者的輸出軌。例如，再次參照第6A圖至第6B圖，可由調整混合參數，諸如A、B、C、D的位置或所使用的混合作業類型，來控制包含在輸出軌中的運動效果的量或品質。作為一個範例，使用者可藉由調整B與C的位置，藉以調整線段A-B、B-C與C-D的長度與位置，來控制表示於輸出軌中之經模糊且較銳利參考的量。特定言之，參照於第6A圖圖示之演算法(i)，對於沿著線B-C(其中混合模組117實施內插函數)之提升的經測量像素值，輸出軌將傾向於包含變化的經模糊參考與較銳利參考之混合物。特定言之，沿著線B-C之輸出軌包含逐漸顯著之來自短軌606的影像內容部分，以及對應之長軌604的較小部分。如此，對應於線段B-C的輸出軌部分，將包含變化的對來自長軌604之影像景色物件之相對更經模糊參考，與對來自短軌606之相同影像景色物件之相對較銳利參考的混合物。以此方式，混合模組117可創造更接近地模仿在親眼觀看景色時人眼所見的輸出軌。系統或使用者可額外地調整B與C的位置，以修改效果。
此外，以增量方式逐漸地平移較大軌604與較短軌606(反之亦然)的相對貢獻，諸如藉由使用線性內插或曲線函數，可幫助限制或防止可由於在兩個軌的相對貢獻中更突然的改變，而發生的任何條帶效應(banding)或其他不想要的視覺人工因素。在一些情況中，逐漸平移亦可幫助減少併入輸出軌中的較低SNR影像內容的量(例如，來自較短軌606)，而增進影像品質。
在另一範例中，混合模組117對沿著線B-C的輸出軌部分，實施長與短曝光604、606的加權平均。例如，50/50加權平均可產生具有大體上平均之混合物的輸出軌，混合物包含來自短軌606的較銳利內容與來自較長軌604的經模糊內容。可調整加權以修改效果。在一個具體實施例中，系統對使用者提供介面，以控制要在所產生的輸出軌中包含多少來自每一軌的運動效果。大體上，替代於所圖示說明之函數(或與其一同使用)，系統可利用廣泛的各種其他函數。
在進一步的配置中，混合模組117可基於對比層級設定輸出軌中短與長軌604、606的相對加權。例如，混合模組117處理長軌604、短軌606或以上兩者之組合的經測量輸入值，以決定特定影像區域中的對比層級，並使用經決定之對比層級，來對在該等影像區域中的像素選擇在長軌604與短軌606之間的相對加權。例如，混合模組117對用於短軌606(及/或長軌604)的影像資料應用高通濾波器，以決定高對比區域。對於相對高對比區域，在輸出軌中混合模組117對短軌606的加權比長軌604要重。對於相對低對比區域，混合模組117對長軌604的加權可較高，或相等地加權兩個軌。以此方式，所產生的輸出軌可包含對移動物件(來自短軌606的高對比區域)的銳利參考與對於移動物件的經模糊參考(來自接連的長軌604的相對低對比區域)兩者。替代於較高對比區域(或除此之外)，混合模組117可(例如)藉由對長及/或短曝光604、606執行低通濾波器，來識別較低對比區域。
再者，對於對應於線段A-B及/或C-D的輸出軌部分，在一些具體實施例中，使用者藉由控制要在輸出軌中包含每一影像的量，來調整運動效果。例如，使用者可調整加權平均混合作業的偏向值，以控制在混合作業中對每一輸入軌給定的加權。例如，系統可提供滑動件、其他GUI或另一輸入機制，以允許使用者修改效果。
在另一個具體實施例中，混合模組117經配置以由更接近地匹配於傳統攝影機運動效果(例如，24 fps與180度快門)的方式，來一起混合軌。例如，可使用自訂運動估計演算法，以將一或更多個軌的運動模糊匹配至傳統攝影機的運動模糊。例如，參照於第3A圖，可提升在較短整合時間軌302中的模糊，以匹配較長整合時間軌304中的模糊。在一個具體實施例中，模糊匹配係於曝光混合之前完成，雖然在其他實施中可在曝光混合之後完成模糊匹配。
在方塊908中，混合模組輸出經運動調整軌，以用於播放或進一步處理。
術語/額外的具體實施例
已連同附加圖式描述了具體實施例。然而，必須瞭解圖式並未依照實際比例繪製。距離、角度等等僅為說明性，且不代表對所圖示說明之實際尺寸與裝置布局的精確關係。此外，已在允許在本發明領域中具有通常知識者能夠製造並使用裝置、系統等等的細節層級，描述了上文所述之具體實施例。可能存在廣泛的各種變異。可改變、增加、移除或重新配置部件、元件及/或步驟。在已明確地描述了某些具體實施例的同時，其他實施例基於此揭示將顯然於在本發明領域中具有通常知識者。
在此所使用的條件用語，諸如「可」、「例如」及類似者，除非特定地說明，或除非根據所使用之背景中而被瞭解，大體上意為表達某些具體實施例包含(同時其他具體實施例不包含)某些特徵、元件及/或狀態。因此，此種條件用語大體上不意為隱含特徵、元件及/或狀態以任何方式係為一或更多個具體實施例所需，或者係為一或更多個具體實施例包含邏輯以決定(具有或不具有作者之輸入或指令)，不論該等特徵、元件及/或狀態被包含或欲被執行於任何特定具體實施例中。
取決於具體實施例、任何在此描述之方法的某些動作、事件或功能，可由不同的序列來執行，可被附加、融合、或一起被排除(例如，對於方法之實作而言，並非所有所述動作或事件皆為必需)。再者，在某些具體實施例中，可同時地執行動作或事件，例如，經由多執行緒處理、中斷處理、多重處理器或處理器核心，而非循序地執行。在一些具體實施例中，在此揭示的演算法可被實施為儲存在記憶體裝置中的常式。此外，可配置處理器以執行常式。在一些具體實施例中，可使用自訂電路系統。
連同於在此揭示之具體實施例而描述的各種說明性的邏輯方塊、模組、電路與演算法步驟，可被實施為電子硬體、電腦軟體或以上兩者之結合。為了清楚說明此硬體與軟體的可交換性，上文大體上就功能性來描述各種說明性部件、方塊、模組、電路與步驟。此種功能性取決於特定應用以及對總體系統施加的設計限制，而被實施為硬體或軟體。對於每一特定應用，可由各種方式實施所述功能性，但此種實施決定不可被解譯為導致脫離本發明的範圍。
連同於在此揭示之具體實施例而描述的各種說明性邏輯方塊、模組與電路，可由經設計以執行在此所述功能的一般用途處理器、數位訊號處理器(DSP)、特定應用積體電路(ASIC)、可程式閘陣列積體電路(FPGA)或其他可程式邏輯裝置、分散閘或電晶體邏輯、分散硬體部件或以上之結合，來實施或執行。一般用途處理器可為微處理器，或者，處理器可為任何傳統處理器、控制器、為控制器或狀態機。處理器亦可被實施為運算裝置的組合，例如DSP與微處理器的組合、複數個微處理器、連同於DSP核心的一或更多個微處理器、或任何其他的此種配置。
連同於在此描述之具體實施例來描述的方法與演算法的方塊，可被直接地實施於硬體、由處理器執行之軟體模組或以上兩者之結合。軟體模組可位於RAM記憶體、快閃記憶體、ROM記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、可移除式碟片、CD-ROM或任何已知於本發明領域中的電腦可讀取儲存媒體。將示例性儲存媒體耦合至處理器，以使處理器可從儲存媒體讀取資訊，並寫入資訊至儲存媒體。或者，儲存媒體可與處理器整合。處理器與儲存媒體可位於ASIC中。ASIC可位於使用者終端中。或者，處理器與儲存媒體可位於使用者終端中的分散部件。
在已於上文實施方式中圖示、描述並點出了如應用至各種具體實施例的新穎特徵的同時，將瞭解到可進行對所圖示說明之裝置或演算法之形式與細節的各種省略、置換與改變，而不脫離本揭示之精神。如將認知到的，在此描述之某些發明具體實施例可被實施為不提供在此揭櫫之所有特徵與益處的一種形式，可與其他特徵分離而使用或實作一些特徵。在此揭示之某些發明範圍係由附加申請專利範圍來指出，而非由前述說明指出。所有在申請專利範圍之均等意義與範圍中進行的改變，均被包含在申請專利範圍之範圍中。
100．．．系統
101．．．成像裝置
102．．．運算裝置
110．．．光學模組
112．．．影像感測器
113．．．多重曝光產生器
114．．．記憶體
116．．．影像處理模組
117．．．混合模組
200．．．影像感測器
202．．．像素陣列
204．．．輸出電路系統
206．．．多重曝光產生器
208．．．輸入匯流排
210．．．匯流排
214．．．封裝
300．．．時序圖
302．．．曝光
304．．．曝光
306．．．第一整合週期
308．．．第二整合週期
310．．．感測器不活動時間
312．．．曝光間延遲
400．．．時序圖
402．．．第一曝光
404．．．第二曝光
406．．．第一整合週期
408．．．曝光
410．．．重置週期
412．．．讀出週期
500．．．程序
502．．．步驟
504．．．步驟
506．．．步驟
604．．．第一曝光
606．．．第二曝光
608．．．圖表
610．．．圖表
700．．．混合程序
702A．．．步驟
702B．．．步驟
704A．．．步驟
704B．．．步驟
706．．．步驟
707．．．圖形
708．．．步驟
710．．．步驟
800．．．程序
802．．．步驟
804．．．步驟
806．．．步驟
808．．．步驟
第1圖為圖示說明根據在此描述之具體實施例的範例成像系統的方塊圖。
第2圖為圖示說明根據一些具體實施例的範例感測器架構的方塊圖，範例感測器架構能夠產生在時間上接近的多重曝光。
第3A圖至第3D圖為根據某些具體實施例圖示範例感測器作業的時序圖，其中範例感測器對經記錄視頻的多重圖框記錄在時間上接近的多重曝光。
第3E圖為圖示感測器作業的時序圖，其中感測器的操作不記錄在時間上接近的曝光。
第4A圖至第4C圖為圖示感測器具體實施例作業的時序圖，其中對影像感測器的數個列記錄在時間上接近的曝光。
第5圖為圖示說明根據一些具體實施例的範例處理方塊圖，其中範例處理係用於混合具有不同曝光層級之在時間上接近的曝光的軌。
第6A圖至第6B圖圖示說明根據某些具體實施例的範例作業，其中範例作業係用於混合具有不同曝光層級之在時間上接近的曝光的軌。
第7圖圖示說明根據一些具體實施例的另一範例處理，其中另一範例處理係用於混合具有不同曝光層級的軌。
第8圖圖示說明用於混合具有不同曝光層級之在時間上接近的曝光的軌，以控制運動人工因素之處理的具體實施例。
700．．．混合程序
702A．．．步驟
702B．．．步驟
704A．．．步驟
704B．．．步驟
706．．．步驟
707．．．圖形
708．．．步驟
710．．．步驟

Claims (31)

  1. 一種使用至少一個拍攝元件陣列獲取影像資料的方法，該方法包含以下步驟：使用包括複數個拍攝元件的至少一個拍攝元件陣列，來擷取對應於在一第一曝光層級的一第一影像的光；使用該拍攝元件陣列，來擷取對應於在一第二曝光層級的一第二影像的光，該第二曝光層級係不同於該第一曝光層級，其中該等拍攝元件之獨立拍攝元件係在該等獨立拍攝元件開始擷取對應至該第二影像的該光之前，先完成擷取對應至該第一影像的該光；讀出第一數位測定，該等第一數位測定係對應至由對於該第一影像的該拍攝元件陣列所擷取的該光；以及讀出第二數位測定，該等第二數位測定係對應至由對於該第二影像的該拍攝元件陣列所擷取的該光，其中擷取對應於該第二影像的該光的該步驟，係於讀出該第一數位測定之該步驟完成之前開始，進一步的，其中從幾乎完成該讀出該第一數位測定至幾乎完成該讀出該第二數位測定之間所經過的時間量係大於從完成讀出對於該第一影像之該等拍攝元件的一第一者至完成讀出對於該第一影像之幾乎所有的該等拍攝元件之間的時間量。
  2. 如請求項1所述之方法，其中該複數個拍攝元件形成一列集合(set of rows)，該列集合包含一或更多列的子集，且其中該擷取對應至一第一影像之光與該擷取對應至一第二影像之光係以一群組一起在時間內對於每個子集合中的該等拍攝元件而發生。
  3. 如請求項1所述之方法，其中對於該複數個拍攝元件之分別獨立的拍攝元件，在讀出由該獨立拍攝元件擷取之對於該第一影像的該第一數位測定之一數位測定，與開始由該獨立拍攝元件擷取對應於在該第二曝光層級之該第二影像的光之間，存在少於約100個拍攝元件重置時間的一曝光間延遲。
  4. 如請求項3所述之方法，其中該曝光間延遲係小於約10個拍攝元件重置時間。
  5. 如請求項4所述之方法，其中該曝光間延遲為約一個拍攝元件重置時間。
  6. 如請求項1所述之方法，其中係使用一滾動快門技術來擷取該第一影像與該第二影像。
  7. 如請求項6所述之方法，其中來自在由一特定一或更多列拍攝元件之子集開始擷取對應至該第一影像的光之 時，以及由隨後的一或更多列拍攝元件之子集開始擷取對應至該第一影像的光之時的一拍攝元件間延遲，係小於約兩個拍攝元件讀出時間。
  8. 如請求項7所述之方法，其中該拍攝元件間延遲為約一個拍攝元件讀出時間。
  9. 如請求項1所述之方法，其中該第一影像及該第二影像係對應至動態視訊圖框之一序列中的一第一圖框，該方法進一步包括：使用該拍攝元件陣列，在該第一曝光層級擷取對應至一第三影像的光；使用該拍攝元件陣列，在該第二曝光層級擷取對應至一第四影像的光，其中該等拍攝元件之獨立拍攝元件係在該等獨立拍攝元件開始擷取對應至該第四影像的該光之前，先完成擷取對應至該第三影像的該光，其中該第三影像與該第四影像對應至該動態視訊圖框之序列中的一第二圖框；讀出第三數位測定，該等第三數位測定係對應至由對於該第三影像的該拍攝元件陣列所擷取的該光；及讀出第四數位測定，該等第四數位測定係對應至由對於該第四影像的該拍攝元件陣列所擷取的該光，其中擷取對應於該第四影像的該光的該步驟，係於讀出該第三數位測定之該步驟完成之前開始， 進一步的，其中從幾乎完成該讀出該第三數位測定至幾乎完成該讀出該第四數位測定之間所經過的時間量係大於從完成讀出對於該第三影像之該等拍攝元件的一第一者至完成讀出對於該第三影像之幾乎所有的該等拍攝元件之間的時間量。
  10. 請求項9所述之方法，其中該第一及第二影像係選擇性地結合，以創造一第一結合影像，該第一結合影像具有不同於該第一影像或該第二影像的一動態範圍，且其中該第三及第四影像係選擇性地結合，以創造一第二結合影像，該第二結合影像具有不同於該第三影像或該第四影像的一動態範圍。
  11. 一種成像系統，包含：包括複數個拍攝元件的至少一個拍攝元件陣列；以及一控制器，該控制器經配置以：使用該拍攝元件陣列，來擷取對應於在一第一曝光層級的一第一影像的光；使用該拍攝元件陣列，來擷取對應於在一第二曝光層級的一第二影像的光，該第二曝光層級係不同於該第一曝光層級，其中該等拍攝元件的獨立拍攝元件係在該等獨立拍攝元件開始擷取對應至該第二影像的該光之前，先完成擷取對應至該第一影像的該光； 讀出第一數位測定，該等第一數位測定係對應至由該拍攝元件陣列擷取之對於該第一影像的該光；以及讀出第一數位測定，該等第一數位測定係對應至由該拍攝元件陣列擷取之對於該第二影像的該光，其中該控制器係於將經擷取之對於該第一影像的該光讀出第一數位測定完成之前，開始擷取對應於的該第二影像的該光，進一步的，其中從幾乎完成讀出該第一數位測定至幾乎完成讀出該第二數位測定之間所經過的時間量係大於從完成讀出對於該第一影像之該等拍攝元件的一第一者至完成讀出對於該第一影像之幾乎所有的該等拍攝元件之間的時間量。
  12. 如請求項11所述之成像系統，其中該複數個拍攝元件形成一列集合，該列集合包含一或更多列的子集，且其中該擷取對應至一第一影像之光與該擷取對應至一第二影像之光係以一群組一起在時間內對於每個子集合中的該等拍攝元件而發生。
  13. 如請求項11所述之成像系統，其中對於該複數個拍攝元件之分別獨立的拍攝元件，在該控制電路系統讀出由該獨立拍攝元件擷取之對於該第一影像的該第一數位測定之一數位測定，與開始由該獨立拍攝元件擷取對應 於在該第二曝光層級之該第二影像的光之間，存在少於約100個拍攝元件重置時間的一曝光間延遲。
  14. 如請求項13所述之成像系統，其中該曝光間延遲係小於約10個拍攝元件重置時間。
  15. 如請求項14所述之成像系統，其中該曝光間延遲為約一個拍攝元件重置時間。
  16. 如請求項11所述之成像系統，其中該控制電路系統經配置以使用一滾動快門技術來擷取該第一影像與該第二影像。
  17. 如請求項16所述之成像系統，其中來自在由一特定一或更多列拍攝元件之子集開始擷取對應至該第一影像的光之時，以及由隨後的一或更多列拍攝元件之子集開始擷取對應至該第一影像的光之時的一拍攝元件間延遲，係小於約兩個拍攝元件讀出時間。
  18. 如請求項17所述之成像系統，其中該拍攝元件間延遲為約一個拍攝元件讀出時間。
  19. 如請求項11所述之成像系統，其中該第一影像及該第二影像係對應至動態視訊圖框之一序列中的一第一圖框，該控制器進一步經配置以：使用該拍攝元件陣列，在該第一曝光層級擷取對應至一第三影像的光；使用該拍攝元件陣列，在該第二曝光層級擷取對應至一第四影像的光，其中該等拍攝元件之獨立拍攝元件係在該等獨立拍攝元件開始擷取對應至該第四影像的該光之前，先完成擷取對應至該第三影像的該光，其中該第三影像與該第四影像對應至該動態視訊圖框之該序列中的一第二圖框；讀出第三數位測定，該等第三數位測定係對應至由對於該第三影像的該拍攝元件陣列所擷取的該光；及讀出第四數位測定，該等第四數位測定係對應至由對於該第四影像的該拍攝元件陣列所擷取的該光，其中該控制電路係於讀出該第三數位測定之該完成之前，先開始擷取對應於該第四影像的該光，進一步的，其中從幾乎完成該讀出該第三數位測定至幾乎完成該讀出該第四數位測定之間所經過的時間量係大於從完成讀出對於該第三影像之該等拍攝元件的一第一者至完成讀出對於該第三影像之幾乎所有的該等拍攝元件之間的時間量。
  20. 如請求項19所述之成像系統，其中該第一及第二影像係選擇性地結合，以創造一第一結合影像，該第一結合影像具有不同於該第一影像或該第二影像的一動態範圍，且其中該第三及第四影像係選擇性地結合，以創造一第二結合影像，該第二結合影像具有不同於該第三影像或該第四影像的一動態範圍。
  21. 一種使用至少一個數位成像感測器獲取影像資料的方法，該方法包含以下步驟：利用一電子滾動快門技術，在一第一曝光層級以至少一個數位影像感測器擷取一第一影像，該感測器包括複數個拍攝元件；利用一電子滾動快門技術，在一第二曝光層級以該感測器擷取一第二影像，該第二曝光層級係不同於該第一曝光層級；從該感測器輸出對應至該第一影像的數位測定；以及從該感測器輸出對應至該第二影像的數位測定，其中係於該第二影像擷取步驟開始之前，開始該第一影像擷取步驟，進一步的，其中該第一影像擷取步驟與該第二影像擷取步驟在時間上重疊，且進一步的，其中從該感測器幾乎完成對應至該第一影像的該輸出至從該感測器幾乎完成對應至該第二影像的該輸出之間所經過的該時間量係大於從完成讀出對 於該第一影像之該等拍攝元件的一第一者至完成讀出對於該第一影像之幾乎所有的該等拍攝元件之間的時間量。
  22. 一種結合影像資料的方法，該影像資料係使用至少一個拍攝元件陣列所獲取，該方法包含以下步驟：如藉由一或更多個硬體處理器所實現地，獲取對應至一第一影像的第一影像資料，該第一影像資料從第一數位測定衍生，該第一數位測定對應至由該拍攝元件陣列在該第一曝光層級所擷取的光；獲取對應至一第二影像的第二影像資料，該第二影像資料從第二數位測定衍生，該第二數位測定對應至由該拍攝元件陣列在不同於該第一曝光層級之該第二曝光層級所擷取的光，其中該等拍攝元件之獨立拍攝元件係在該等獨立拍攝元件開始擷取對應至該第二影像的該光之前，先完成擷取對應至該第一影像的該光；及選擇性地結合該第一影像資料及該第二影像資料，以創造對應至一結合影像之結合影像資料；其中對應至該第二影像之光的該擷取之該步驟係在讀出該第一數位測定之該完成之前開始，進一步的，其中從幾乎完成讀出該第一數位測定至幾乎完成讀出該第二數位測定之間所經過的時間量係大於從完成讀出對於該第一影像之該等拍攝元件的一第 一者至完成讀出對於該第一影像之幾乎所有的該等拍攝元件之間的時間量。
  23. 如請求項22所述之方法，其中該第一影像及該第二影像係對應至動態視訊圖框之一序列中的一第一圖框，該方法進一步包括：獲取對應至一第三影像的第三影像資料，該第三影像資料從第三數位測定衍生，該第三數位測定對應至由該拍攝元件陣列在該第一曝光層級所擷取的光；獲取對應至一第四影像的第四影像資料，該第四影像資料從第四數位測定衍生，該第四數位測定對應至由該拍攝元件陣列在該第二曝光層級所擷取的光，其中該等拍攝元件之獨立拍攝元件係在該等獨立拍攝元件開始擷取對應至該第四影像的該光之前，先完成擷取對應至該第三影像的該光，其中該第三影像及該第四影像對應至動態視訊圖框之該序列中的一第二圖框；選擇性地結合該第三影像資料及該第四影像資料，以創造對應至一第二結合影像之結合影像資料；其中對應至該第四影像之光的該擷取之該步驟係在讀出該第三數位測定之該完成之前開始，進一步的，其中從幾乎完成讀出該第三數位測定至幾乎完成讀出該第四數位測定之間所經過的時間量係大於從完成讀出對於該第三影像之該等拍攝元件的一第 一者至完成讀出對於該第三影像之幾乎所有的該等拍攝元件之間的時間量。
  24. 如請求項22所述之方法，進一步包括對該結合影像的至少一些，一起混合來自該第一影像的內容與來自該第二影像的內容，該混合係回應於對應至該第一影像與該第二影像之一或更多者的拍攝元件值，而改變第一影像內容與第二影像內容被包含在該混合內容中的該等相對量。
  25. 如請求項24所述之方法，進一步包含以下步驟：回應於使用者輸入，而調整要包含在該結合影像中的該混合內容的量。
  26. 如請求項24所述之方法，其中該內容混合在一起之步驟包括：切除來自該第一影像與該第二影像之一或更多者之相對低訊號雜訊比的內容。
  27. 一種用於混合影像資料的系統，該影像資料係使用至少一個拍攝元件陣列所獲取，該系統包含：一或更多個硬體處理器；執行於該一或更多個硬體處理器上的一混合模組，且該混合模組經配置以： 獲取對應至一第一影像的第一影像資料，該第一影像資料從第一數位測定衍生，該第一數位測定對應至由包括複數個拍攝元件的至少一個拍攝元件陣列在一第一曝光層級所擷取的光；獲取對應至一第二影像的第二影像資料，該第二影像資料從第二數位測定衍生，該第二數位測定對應至由該拍攝元件陣列在不同於該第一曝光層級的一第二曝光層級所擷取的光，其中該等拍攝元件之獨立拍攝元件係在該等獨立拍攝元件開始擷取對應至該第二影像的該光之前，先完成擷取對應至該第一影像的該光；及選擇性地結合該第一影像資料及該第二影像資料，以創造對應至一結合影像之結合影像資料；其中對應至該第二影像之光的該擷取係在讀出該第一數位測定之該完成之前開始，進一步的，其中從幾乎完成讀出該第一數位測定至幾乎完成讀出該第二數位測定之間所經過的時間量係大於從完成讀出對於該第一影像之該等拍攝元件的一第一者至完成讀出對於該第一影像之幾乎所有的該等拍攝元件之間的時間量。
  28. 如請求項27所述之系統，其中該第一影像及該第二影像係對應至動態視訊圖框之一序列中的一第一圖框，該混合模組進一步經配置以： 獲取第三影像資料，該第三影像資料係對應至一第三影像且該第三影像資料係從第三數位測定衍生，該第三數位測定係對應至該攝影元件陣列於該第一曝光層級所擷取之光；獲取第四影像資料，該第四影像資料係對應至一第四影像且該第四影像資料係從第四數位測定衍生，該第四數位測定係對應至該攝影元件陣列於該第二曝光層級所擷取之光；其中該等拍攝元件之獨立拍攝元件係在該等獨立拍攝元件開始擷取對應至該第四影像的該光之前，先完成擷取對應至該第三影像的該光，其中該第三影像與該第四影像對應至該動態視訊圖框之該序列中的一第二圖框；及選擇性地結合該第三影像資料及該第四影像資料，以創造對應至一第二結合影像的結合影像資料；其中擷取對應至該第四影像的光係在讀出該第三數位測定完成之前開始，進一步的，其中從幾乎完成讀出該第三數位測定至幾乎完成讀出該第四數位測定之間所經過的時間量係大於從完成讀出對於該第三影像之該等拍攝元件的一第一者至完成讀出對於該第三影像之幾乎所有的該等拍攝元件之間的時間量。
  29. 如請求項27所述之系統，其中該混合模組進一步經配置以對該結合影像的至少一些，一起混合來自該第一影像 的內容與來自該第二影像的內容，該混合係回應於對應至該第一影像與該第二影像之一或更多者之拍攝元件值，而改變第一影像內容與第二影像內容被包含在該混合內容中的該等相對量。
  30. 如請求項29所述之系統，其中該混合模組進一步經配置以回應於使用者輸入，而調整要包含在該結合影像中的該混合內容的量。
  31. 如請求項29所述之系統，其中該混合模組藉由切除來自該第一影像與該第二影像之一或更多者之相對低訊號雜訊比的內容而執行該內容之該混合。
TW100129998A 2010-08-23 2011-08-22 高動態範圍視頻 TWI468009B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US37617210P 2010-08-23 2010-08-23
US201161473711P 2011-04-08 2011-04-08

Publications (2)

Publication Number Publication Date
TW201216691A TW201216691A (en) 2012-04-16
TWI468009B true TWI468009B (zh) 2015-01-01

Family

ID=45593767

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100129998A TWI468009B (zh) 2010-08-23 2011-08-22 高動態範圍視頻

Country Status (6)

Country Link
US (5) US8625013B2 (zh)
EP (1) EP2606637B1 (zh)
JP (1) JP5953305B2 (zh)
ES (1) ES2599174T3 (zh)
TW (1) TWI468009B (zh)
WO (1) WO2012027290A1 (zh)

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7442629B2 (en) 2004-09-24 2008-10-28 President & Fellows Of Harvard College Femtosecond laser-induced formation of submicrometer spikes on a semiconductor substrate
US7057256B2 (en) 2001-05-25 2006-06-06 President & Fellows Of Harvard College Silicon-based visible and near-infrared optoelectric devices
KR101520068B1 (ko) * 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
US9673243B2 (en) 2009-09-17 2017-06-06 Sionyx, Llc Photosensitive imaging devices and associated methods
US8692198B2 (en) 2010-04-21 2014-04-08 Sionyx, Inc. Photosensitive imaging devices and associated methods
EP2583312A2 (en) 2010-06-18 2013-04-24 Sionyx, Inc. High speed photosensitive devices and associated methods
TWI468009B (zh) 2010-08-23 2015-01-01 Red Com Inc 高動態範圍視頻
JP5738080B2 (ja) * 2011-06-09 2015-06-17 キヤノン株式会社 撮像装置及びその制御方法
US9496308B2 (en) 2011-06-09 2016-11-15 Sionyx, Llc Process module for increasing the response of backside illuminated photosensitive imagers and associated methods
CN103946867A (zh) 2011-07-13 2014-07-23 西奥尼克斯公司 生物计量成像装置和相关方法
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
EP2810429B1 (en) 2012-01-30 2020-02-19 SeeScan, Inc. Adjustable variable resolution inspection systems and methods
JP5950678B2 (ja) * 2012-04-27 2016-07-13 キヤノン株式会社 撮像装置、制御方法、及びプログラム
US8976254B2 (en) 2012-06-08 2015-03-10 Apple Inc. Temporal aliasing reduction and coding of upsampled video
US20140028861A1 (en) * 2012-07-26 2014-01-30 David Holz Object detection and tracking
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US9137455B1 (en) * 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
JP2014057268A (ja) * 2012-09-13 2014-03-27 Toshiba Corp 撮像装置
US9338372B2 (en) 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
WO2014127376A2 (en) * 2013-02-15 2014-08-21 Sionyx, Inc. High dynamic range cmos image sensor having anti-blooming properties and associated methods
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) * 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9209345B2 (en) 2013-06-29 2015-12-08 Sionyx, Inc. Shallow trench textured regions and associated methods
US9344647B2 (en) * 2013-07-08 2016-05-17 Semiconductor Components Industries, Llc Imaging systems with dynamic shutter operation
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US20150097978A1 (en) * 2013-10-07 2015-04-09 Qualcomm Incorporated System and method for high fidelity, high dynamic range scene reconstruction with frame stacking
US8830367B1 (en) 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
TWI645707B (zh) * 2013-10-21 2018-12-21 索尼半導體解決方案公司 Solid-state imaging device and electronic device
US10104318B2 (en) 2013-12-04 2018-10-16 Rambus Inc. High dynamic-range image sensor
AU2013273843A1 (en) * 2013-12-23 2015-07-09 Canon Kabushiki Kaisha Motion blur compensation for depth from defocus
DK3114432T3 (en) * 2014-03-05 2018-01-08 Sick Ivp Ab IMAGE DETECTION DEVICE AND MEASUREMENT SYSTEM TO PROVIDE IMAGE DATA AND INFORMATION ON 3D CHARACTERISTICS OF AN OBJECT
US9835862B1 (en) 2014-05-15 2017-12-05 Google Llc Graphic interface for real-time vision enhancement
US9438812B2 (en) * 2014-07-15 2016-09-06 Himax Imaging Limited Method for controlling exposure level of frame in image sensor, computer readable recording media for performing the method, and image processing system
US9894304B1 (en) 2014-08-18 2018-02-13 Rambus Inc. Line-interleaved image sensors
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US9729801B2 (en) 2014-10-02 2017-08-08 Dolby Laboratories Licensing Corporation Blending images using mismatched source and display electro-optical transfer functions
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US10171745B2 (en) * 2014-12-31 2019-01-01 Dell Products, Lp Exposure computation via depth-based computational photography
EP3046319A1 (en) * 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion
US10136050B2 (en) 2015-03-06 2018-11-20 Ricoh Company, Ltd. Image acquisition and management using a reference image
US10217022B2 (en) * 2015-03-06 2019-02-26 Ricoh Company, Ltd. Image acquisition and management
WO2016163248A1 (ja) * 2015-04-09 2016-10-13 ソニー株式会社 撮像装置および方法、電子機器、並びに車載用電子機器
GB2537886B (en) * 2015-04-30 2022-01-05 Wsou Invest Llc An image acquisition technique
JP6549409B2 (ja) * 2015-05-13 2019-07-24 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
CA2986476A1 (en) * 2015-05-19 2016-11-24 Magic Leap, Inc. Semi-global shutter imager
JP2017046259A (ja) * 2015-08-28 2017-03-02 ルネサスエレクトロニクス株式会社 半導体装置
US9521351B1 (en) 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
CN105163041A (zh) * 2015-10-08 2015-12-16 广东欧珀移动通信有限公司 一种局部双重曝光的实现方法、装置及移动终端
US9743025B2 (en) * 2015-12-30 2017-08-22 Omnivision Technologies, Inc. Method and system of implementing an uneven timing gap between each image capture in an image sensor
US10991281B2 (en) * 2016-02-22 2021-04-27 Dolby Laboratories Licensing Corporation Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
US9787909B1 (en) * 2016-03-31 2017-10-10 Stmicroelectronics (Research & Development) Limited Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging
US10110813B1 (en) * 2016-04-27 2018-10-23 Ambarella, Inc. Multi-sensor camera using rolling shutter sensors
US10148888B2 (en) 2016-05-18 2018-12-04 Texas Instruments Incorporated Image data processing for multi-exposure wide dynamic range image data
CN109076177B (zh) * 2016-05-30 2021-06-15 索尼公司 图像拾取装置、固态图像拾取元件和图像拾取装置的控制方法
JP6746421B2 (ja) * 2016-07-29 2020-08-26 キヤノン株式会社 撮像装置
EP3507765A4 (en) 2016-09-01 2020-01-01 Duelight LLC SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION
TWI636686B (zh) * 2016-09-20 2018-09-21 品尼高影像股份有限公司 High dynamic range imaging
JP6697684B2 (ja) * 2016-10-13 2020-05-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
US10992876B2 (en) * 2016-10-18 2021-04-27 Texas Instruments Incorporated WDR imaging with LED flicker mitigation
US10187584B2 (en) * 2016-12-20 2019-01-22 Microsoft Technology Licensing, Llc Dynamic range extension to produce high dynamic range images
JP2018191230A (ja) * 2017-05-11 2018-11-29 ソニーセミコンダクタソリューションズ株式会社 撮像素子及びその駆動方法、並びに、電子機器
US10715727B2 (en) * 2017-05-16 2020-07-14 Apple Inc. Synthetic long exposure image with optional enhancement using a guide image
US10334141B2 (en) 2017-05-25 2019-06-25 Denso International America, Inc. Vehicle camera system
US10212356B1 (en) 2017-05-31 2019-02-19 Snap Inc. Parallel high dynamic exposure range sensor
US20180376087A1 (en) * 2017-06-23 2018-12-27 Qualcomm Incorporated Using the same pixels to capture both short and long exposure data for hdr image and video
US11019336B2 (en) 2017-07-05 2021-05-25 Red.Com, Llc Video image data processing in electronic devices
KR20190032818A (ko) * 2017-09-20 2019-03-28 삼성전자주식회사 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
US10497104B2 (en) * 2017-10-24 2019-12-03 Adobe Inc. Empirical exposure normalization
WO2019084712A1 (zh) * 2017-10-30 2019-05-09 深圳市大疆创新科技有限公司 一种图像处理方法、装置以及终端
TWI648982B (zh) * 2017-12-08 2019-01-21 群光電子股份有限公司 影像串流畫質處理方法
CN109936700B (zh) * 2017-12-19 2020-12-29 群光电子股份有限公司 影像串流画质处理系统及影像串流画质处理方法
EP4274250A3 (en) 2018-06-07 2024-01-03 Dolby Laboratories Licensing Corporation Hdr image generation from single-shot hdr color image sensors
WO2020137665A1 (ja) * 2018-12-27 2020-07-02 富士フイルム株式会社 撮像素子、撮像装置、撮像方法及びプログラム
TWI694723B (zh) * 2018-12-28 2020-05-21 恆景科技股份有限公司 自動曝光成像系統與方法
CN110149484B (zh) * 2019-04-15 2020-07-10 浙江大华技术股份有限公司 图像合成方法、装置及存储装置
CN110933324B (zh) * 2019-11-27 2021-05-11 深圳市派科斯科技有限公司 频闪光源使用方法、装置及存储介质
EP3836527B1 (en) * 2019-12-13 2021-11-10 Axis AB Multi-sensor high dynamic range imaging
US20220374428A1 (en) * 2021-05-24 2022-11-24 Nvidia Corporation Simulation query engine in autonomous machine applications

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219093B1 (en) * 1990-01-05 2001-04-17 Light & Sound Design, Ltd. Method and device for creating a facsimile of an image
US6806902B1 (en) * 1999-06-08 2004-10-19 Chrontel, Inc. System and method for correcting bad pixel data in a digital camera
US20070291104A1 (en) * 2006-06-07 2007-12-20 Wavetronex, Inc. Systems and methods of capturing high-resolution images of objects
TW201029170A (en) * 2003-04-30 2010-08-01 Crosstek Capital Llc CMOS image sensor having double gate insulator therein
TW201029335A (en) * 2008-10-27 2010-08-01 Toshiba Kk Analog-to-digital converter, solid-state imaging device including the same, and method of digitizing analog signal
US20100194956A1 (en) * 2009-02-05 2010-08-05 The Hong Kong University Of Science And Technology Apparatus and method for improving dynamic range and linearity of CMOS image sensor

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4647975A (en) * 1985-10-30 1987-03-03 Polaroid Corporation Exposure control system for an electronic imaging camera having increased dynamic range
US5638118A (en) 1987-06-09 1997-06-10 Canon Kabushiki Kaisha Image sensing device with diverse storage times used in picture composition
US5247366A (en) 1989-08-02 1993-09-21 I Sight Ltd. Color wide dynamic range camera
US5420635A (en) 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
JP3074967B2 (ja) 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
US5517242A (en) 1993-06-29 1996-05-14 Kabushiki Kaisha Toyota Chuo Kenkyusho Image sensing device having expanded dynamic range
JPH0738815A (ja) * 1993-07-19 1995-02-07 Olympus Optical Co Ltd 固体撮像素子
US6204881B1 (en) 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US5929908A (en) 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
US6278490B1 (en) * 1996-05-23 2001-08-21 Olympus Optical Co., Ltd. Exposure control for an image pickup apparatus that uses an electronic flash
JPH1042182A (ja) 1996-07-26 1998-02-13 Canon Inc 撮像装置
JP3630905B2 (ja) 1997-02-28 2005-03-23 キヤノン株式会社 撮像方法及び撮像装置
EP0912047B1 (en) 1997-10-23 2004-04-07 Olympus Optical Co., Ltd. Imaging apparatus comprising means for expanding the dynamic range
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
JP3805094B2 (ja) 1998-01-16 2006-08-02 松下電器産業株式会社 固体撮像装置
US6809766B1 (en) * 1998-03-11 2004-10-26 Micro Technology, Inc. Look ahead rolling shutter system in CMOS sensors
US6847398B1 (en) 1998-03-31 2005-01-25 Micron Technology, Inc. Latched row logic for a rolling exposure snap
JP2000078463A (ja) * 1998-08-28 2000-03-14 Nikon Corp 画像取り込み装置
US6707492B1 (en) 1999-03-31 2004-03-16 Cirrus Logic, Inc. Successive approximation calibration apparatus, system, and method for dynamic range extender
US7193652B2 (en) 1999-08-17 2007-03-20 Applied Vision Systems, Inc. Dynamic range video recording and playback system and method
JP4130737B2 (ja) 1999-08-17 2008-08-06 アプライド・ビジョン・システムズ・インコーポレーテッド ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法
KR100316717B1 (ko) 1999-10-05 2001-12-20 윤종용 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법
JP4398153B2 (ja) 2001-03-16 2010-01-13 ヴィジョン・ロボティクス・コーポレーション 画像センサの有効ダイナミックレンジを増加させる装置及び方法
US6795117B2 (en) 2001-11-06 2004-09-21 Candela Microsystems, Inc. CMOS image sensor with noise cancellation
US7061524B2 (en) 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
EP1313066B1 (en) 2001-11-19 2008-08-27 STMicroelectronics S.r.l. A method for merging digital images to obtain a high dynamic range digital image
JP4135360B2 (ja) * 2001-12-25 2008-08-20 ソニー株式会社 固体撮像装置
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP2006101227A (ja) * 2004-09-29 2006-04-13 Victor Co Of Japan Ltd 撮像装置および撮像システム
JP4389766B2 (ja) * 2004-11-22 2009-12-24 セイコーエプソン株式会社 撮像装置
WO2007083704A1 (ja) 2006-01-18 2007-07-26 National University Corporation Shizuoka University 固体撮像装置及びその画素信号の読みだし方法
JP4743007B2 (ja) 2006-06-16 2011-08-10 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
US8068140B2 (en) 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
JP4609428B2 (ja) 2006-12-27 2011-01-12 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP4058459B1 (ja) 2007-03-02 2008-03-12 キヤノン株式会社 撮像装置及び撮像システム
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
US8223235B2 (en) 2007-12-13 2012-07-17 Motorola Mobility, Inc. Digital imager with dual rolling shutters
JP2010147786A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 撮像装置及び画像処理方法
US8570386B2 (en) * 2008-12-31 2013-10-29 Stmicroelectronics S.R.L. Method of merging images and relative method of generating an output image of enhanced quality
JP5343588B2 (ja) * 2009-01-30 2013-11-13 株式会社リコー 撮像装置
JP4973719B2 (ja) 2009-11-11 2012-07-11 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
TWI468009B (zh) * 2010-08-23 2015-01-01 Red Com Inc 高動態範圍視頻

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219093B1 (en) * 1990-01-05 2001-04-17 Light & Sound Design, Ltd. Method and device for creating a facsimile of an image
US6806902B1 (en) * 1999-06-08 2004-10-19 Chrontel, Inc. System and method for correcting bad pixel data in a digital camera
TW201029170A (en) * 2003-04-30 2010-08-01 Crosstek Capital Llc CMOS image sensor having double gate insulator therein
US20070291104A1 (en) * 2006-06-07 2007-12-20 Wavetronex, Inc. Systems and methods of capturing high-resolution images of objects
TW201029335A (en) * 2008-10-27 2010-08-01 Toshiba Kk Analog-to-digital converter, solid-state imaging device including the same, and method of digitizing analog signal
US20100194956A1 (en) * 2009-02-05 2010-08-05 The Hong Kong University Of Science And Technology Apparatus and method for improving dynamic range and linearity of CMOS image sensor

Also Published As

Publication number Publication date
ES2599174T3 (es) 2017-01-31
JP2013538518A (ja) 2013-10-10
JP5953305B2 (ja) 2016-07-20
US20160037045A1 (en) 2016-02-04
US8625013B2 (en) 2014-01-07
US9462193B2 (en) 2016-10-04
US9876970B2 (en) 2018-01-23
US20120069213A1 (en) 2012-03-22
EP2606637A1 (en) 2013-06-26
US20120044381A1 (en) 2012-02-23
WO2012027290A1 (en) 2012-03-01
US20140211042A1 (en) 2014-07-31
US20170094205A1 (en) 2017-03-30
US9077911B2 (en) 2015-07-07
US8159579B2 (en) 2012-04-17
TW201216691A (en) 2012-04-16
EP2606637B1 (en) 2016-09-21

Similar Documents

Publication Publication Date Title
TWI468009B (zh) 高動態範圍視頻
EP2636018B1 (en) Method for producing high dynamic range images
JP6172967B2 (ja) 撮像装置、及びその制御方法
CN102892008B (zh) 双图像捕获处理
JP5935876B2 (ja) 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US8466976B2 (en) Digital camera providing high dynamic range images
KR101913837B1 (ko) 파노라마 영상 생성 방법 및 이를 적용한 영상기기
US20090303343A1 (en) Low-light video frame enhancement
US20110149111A1 (en) Creating an image using still and preview
JP2013066145A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2010136224A (ja) 撮像装置及び撮像方法
JP2020053771A (ja) 画像処理装置、撮像装置
JP6118118B2 (ja) 撮像装置およびその制御方法
JP2011166515A (ja) 撮像装置
JP2000295535A (ja) 固体撮像装置および撮影制御方法
US20170013219A1 (en) Cinematic image blur in digital cameras based on exposure timing manipulation
JP2009278486A (ja) 撮像装置
JP5202713B2 (ja) 撮像装置及びその制御方法
JP2011171943A (ja) 撮像装置
JP2011135174A (ja) 撮像装置および撮像方法
US20120212655A1 (en) Imaging apparatus and signal processing method
JP2006352422A (ja) エリアイメージセンサの駆動方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees