Nothing Special   »   [go: up one dir, main page]

TWI432019B - An image processing apparatus, an image pickup apparatus, an image processing method, and an image processing program - Google Patents

An image processing apparatus, an image pickup apparatus, an image processing method, and an image processing program Download PDF

Info

Publication number
TWI432019B
TWI432019B TW099130747A TW99130747A TWI432019B TW I432019 B TWI432019 B TW I432019B TW 099130747 A TW099130747 A TW 099130747A TW 99130747 A TW99130747 A TW 99130747A TW I432019 B TWI432019 B TW I432019B
Authority
TW
Taiwan
Prior art keywords
image
pixel
area
moving
moving area
Prior art date
Application number
TW099130747A
Other languages
English (en)
Other versions
TW201134209A (en
Inventor
Masanori Kasai
Satoru Takeuchi
Shun Kaizu
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201134209A publication Critical patent/TW201134209A/zh
Application granted granted Critical
Publication of TWI432019B publication Critical patent/TWI432019B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Description

圖像處理裝置、攝像裝置、及圖像處理方法以及圖像處理程式
本發明係有關於一種圖像處理裝置、攝像裝置、及圖像處理方法以及程式。本發明尤其關於一種藉由利用曝光時間不同之複數個圖像之圖像合成處理而生成動態範圍寬廣之高品質輸出圖像之圖像處理裝置、攝像裝置、及圖像處理方法以及程式。
攝影機或數位靜態相機等中所用之電荷耦合器件(CCD，Charge Coupled Device)影像感測器或互補金氧半導體(CMOS，Complementary Metal Oxide Semiconductor)影像感測器之類的固體攝像元件係進行積聚相應於入射光量之電荷，並輸出與積聚電荷對應之電信號之光電轉換，然而，光電轉換元件中之電荷積聚量存在上限，當接收到固定以上之光量後，將導致積聚電荷量達到飽和度，從而造成固定以上之明亮度之被攝體區域產生設定為處於飽和之亮度位準之所謂之反白。
為防止如此之現象，而進行如下處理：根據外界光之變化等，控制光電轉換元件中之電荷積聚期間，調整曝光時間，從而將感光度控制為最佳值。例如，對於明亮之被攝體，藉由高速按下快門而縮短曝光時間，從而縮短光電轉換元件中之電荷積聚期間，於積聚電荷量達到飽和度以前將電信號輸出。可藉由如此之處理，而輸出對應於被攝體正確再現色調之圖像。
然而，於亮處與暗處混雜之被攝體之攝影中，若高速按下快門，則較暗部分無法獲得充分之曝光時間，因此訊噪比(S/N，signal noise ratio)劣化，而使畫質下降。於如此般亮處與暗處混雜之被攝體之攝影圖像中，為正確再現較亮部分、較暗部分之亮度位準，而必需實施影像感測器上之入射光較少之像素實現較高之S/N作為較長之曝光時間，而入射光較多之像素避免飽和之處理。
作為實現如此處理之方法，眾所周知有利用曝光時間不同之複數個圖像之方法。亦即，存在如下方法：較暗之圖像區域利用長時間曝光圖像，而長時間曝光圖像導致產生反白之較亮圖像區域則利用短時間曝光圖像，從而決定最佳之像素等級。可藉由以此方式，合成複數個不同之曝光圖像，而獲得無反白之動態範圍寬廣之圖像。
例如專利文獻1(日本專利特開2008-99158號公報)，揭示有將複數個不同曝光量之圖像合成而獲得寬廣之動態範圍之圖像之構成。參照圖1，對該處理進行說明。攝像元件係於例如視訊攝影中，於視訊速率(30-60 fps)內輸出2個不同曝光時間之圖像資料。又，亦於靜態影像攝影中，生成並輸出2個不同曝光時間之圖像資料。圖1係說明攝像元件所生成之具有2個不同曝光時間之圖像(長時間曝光圖像與短時間曝光圖像)之特性之圖。橫軸係為時間(t)，縱軸係為構成固體攝像元件之與1個像素對應之光電轉換元件之受光光電二極體(PD)中之積聚電荷量(e)。
例如，於相應於受光光電二極體(PD)之受光量較多、即較亮之被攝體之情形時，如圖1所示之高亮度區域11所示，電荷積聚量將伴隨時間而急遽上升。另一方面，於相應於受光光電二極體(PD)之受光量較少、即較暗之被攝體之情形時，如圖1所示之低亮度區域12所示，電荷積聚量將伴隨時間而緩慢上升。
時間t0~t3係相當於用以獲取長時間曝光圖像之曝光時間TL。即便該長時間之曝光時間TL，低亮度區域12中所示之線條於時間t3中電荷積聚量不會達到飽和度(非飽和點Py)，故可藉由利用依據該電荷積聚量(Sa)所得之電信號來決定之像素之色調等級，而獲得正確之色調表現。
然而，可知悉高亮度區域11所示之線條係於到達時間t3以前，電荷積聚量業已達到飽和度(飽和點Px)。因而，如此之高亮度區域11僅能自長時間曝光圖像中獲得與飽和度之電信號對應之像素值，故最終導致成為反白像素。
因此，如此之高亮度區域11係於到達時間t3前之時間、例如圖示之時間t1(電荷拂掠開始點P1)中，暫時拂掠受光光電二極體(PD)之積聚電荷。電荷拂掠並非針對積聚於受光光電二極體(PD)之所有之電荷，而是設為達到光電二極體(PD)中所控制之中壓保持位準為止。於該電荷拂掠處理之後，將再次執行設定為曝光時間TS(t2~t3)之短時間曝光。亦即，實施圖示之短時間曝光開始點P2~短時間曝光結束點P3為止之期間之短時間曝光。藉由該短時間曝光而獲得電荷積聚量(Sb)，並依據基於該電荷積聚量(Sb)所得之電信號，決定像素之色階。
再者，當依據基於低亮度區域12中之由長時間曝光所得之電荷積聚量(Sa)之電信號、與高亮度區域251中之由短時間曝光所得之電荷積聚量(Sb)之電信號，決定像素值時，則算出同一時間實施曝光時之估算電荷積聚量、或者與該估算電荷積聚量對應之電信號輸出值，並基於算出之結果，決定像素值位準。
可藉由以此方式組合短時間曝光圖像與長時間曝光圖像，而獲得無反白之動態範圍寬廣之圖像。
然而，如此之不同曝光量之複數個圖像成為時間上以不同之時間攝影之圖像。因而，若於其間產生被攝體之移動，則圖像合成時將產生圖像之偏移。其結果，移動之被攝體區域之圖像部分中將產生偽色，從而產生圖像品質下降等問題。
作為揭示減少如此問題之技術之先前技術，存在有例如專利文獻2(日本專利特開2000-50151號公報)。
專利文獻2(日本專利特開2000-50151號公報)中，揭示了對不同曝光量之複數個圖像進行比較，確定出現移動之像素區域從而進行修正之構成。具體之處理如下所述。首先，獲取長時間曝光圖像(LE)與短時間曝光圖像(SE)，並求出長時間曝光圖像(LE)與短時間曝光圖像(SE)之曝光量之比即曝光比A(=LE/SE)。進而，對各像素，算出(LE-SE×A)。於攝影完全相同之被攝體之情形時，應該達到(LE-SE×A)=0。未達到(LE-SE×A)=0之像素係拍攝因長時間曝光圖像(LE)與短時間曝光圖像(SE)而不同之被攝體之可能性較高，且將如此之像素區域識別為移動區域之構成。
亦即，於同一之被攝體攝影之情形時，長時間曝光圖像(LE)之輸出值(亮度)與短時間曝光圖像(SE)之輸出值(亮度)之對應關係係可設定於圖2所示之斜度A(=曝光比)之線上，且於偏離該線之情形判斷為產生移動之區域者。
然而，就現實而言，構成攝像元件之PD或電晶體之定製中存在不均一，故難以藉由是否滿足(LE-SE×A)=0來正確判別被攝體有無移動。例如，若設定臨限值(Th)，並藉由是否滿足|LE-SE×A|<Th來進行判別，則雖可消除若干之元件不均一，但存在元件之不均一因各裝置不同而不同，從而難以設定最佳臨限值之問題。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2008-99158號公報
[專利文獻2]日本專利特開2000-50151號公報
本發明係鑒於例如上述之問題而研製者，其目的在於提供一種於將曝光時間不同之複數個圖像合成而生成動態範圍寬廣之圖像時，可正確判別產生有存在產生偽色等畫質下降之虞之被攝體移動之區域之圖像處理裝置、攝像裝置、及圖像處理方法以及程式。
本發明之第1態樣係一種圖像處理裝置，其包括：圖像合成部，其係將不同曝光時間之攝影圖像合成而生成合成圖像；以及移動區域檢測部，其係執行如下移動區域檢測處理，即，進行上述圖像合成部所生成之複數個合成圖像之比較處理，獲得像素值差分，並將該像素值差分與預先設定之臨限值進行比較，將像素值差分為臨限值以上之像素區域判定為推測被攝體產生移動之移動區域。
進而，於本發明之圖像處理裝置之一實施態樣中，上述圖像合成部係每輸入一個不同曝光時間之攝影圖像時，將新輸入圖像與輸入完成之不同曝光時間之攝影圖像進行組合，生成合成圖像之構成，上述移動區域檢測部係將上述圖像合成部所生成之連續之2個合成圖像之對應像素之像素值進行比較，並執行移動區域檢測處理。
進而，於本發明之圖像處理裝置之一實施態樣中，上述圖像處理裝置進一步包括合成前圖像比較部，其將上述合成圖像之生成要素即被合成圖像間之對應像素之輸出值進行比較，獲取被合成圖像像素值差分；以及，過度檢測去除部，其對上述移動區域檢測部檢測出之移動區域之對應像素，進行上述被合成圖像像素值差分與預先設定之第2臨限值之比較，並判定上述被合成圖像像素值差分未達第2臨限值之像素區域不屬於移動區域。
進而，於本發明之圖像處理裝置之一實施態樣中，上述圖像處理裝置進一步包括影像劣化區域檢測部，該影像劣化區域檢測部係利用上述合成圖像之生成要素即被合成圖像之像素對應選擇資訊，將合成圖像上之鄰接像素中設定有不同曝光時間之攝影圖像之像素之像素區域判定為影像劣化區域，且將擷取上述移動區域檢測部所檢測之移動區域且上述影像劣化區域之像素區域作為影像劣化移動區域之影像劣化移動區域檢測資訊輸出。
進而，於本發明之圖像處理裝置之一實施態樣中，上述圖像處理裝置進一步包括輸出值有效區域檢測部，其利用上述合成圖像之生成要素即被合成圖像之像素對應選擇資訊，針對合成圖像之各像素，獲取被合成圖像之像素值，且於被合成圖像之像素值接近0或者接近飽和值之情形時，將該像素區域判定為輸出值之有效性較低；以及，影像劣化區域檢測部，其將上述輸出值有效區域檢測部所檢測之輸出值之有效性較低之像素區域判斷為影像劣化之可能性較高之影像劣化區域，且將擷取上述移動區域檢測部所檢測之移動區域且上述影像劣化區域之像素區域作為影像劣化移動區域之影像劣化移動區域檢測資訊輸出。
進而，於本發明之圖像處理裝置之一實施態樣中，上述圖像處理裝置進一步包括檢測結果合併部，該檢測結果合併部係具有利用上述合成圖像之生成要素即被合成圖像之像素對應選擇資訊，將合成圖像中所利用之像素為長時間曝光圖像之像素且具有與該像素對應之短時間曝光圖像之像素值不接近0之有效像素值之像素判定為移動區域之第2移動區域檢測部，且輸出將上述移動區域檢測部判定為移動區域且上述第2移動區域檢測部判定為移動區域之區域作為最終移動區域之移動區域檢測資訊。
進而，本發明之第2態樣係一種圖像處理裝置，其包括：圖像合成部，其將不同曝光時間之攝影圖像合成而生成合成圖像；以及輸出值有效區域檢測部，其利用上述合成圖像之生成要素即被合成圖像之像素對應選擇資訊，針對合成圖像之各像素，獲取被合成圖像之像素值，且於被合成圖像之像素值接近0或者接近飽和值之情形時，將該像素區域判定為輸出值之有效性較低，且將表明該區域為影像劣化之可能性較高之影像劣化區域之影像劣化區域檢測資訊輸出。
進而，本發明之第3態樣係一種圖像處理裝置，其包括：圖像合成部，其將不同曝光時間之攝影圖像合成而生成合成圖像；以及移動區域檢測部，其係利用上述合成圖像之生成要素即被合成圖像之像素對應選擇資訊，將合成圖像中所利用之像素為長時間曝光圖像之像素且具有與該像素對應之短時間曝光圖像之像素值不接近0之有效像素值之像素判定為移動區域，且將表明移動區域之移動區域檢測資訊輸出。
進而，本發明之第4態樣係一種圖像處理裝置，其包括檢測部，該檢測部係算出不同曝光時間之攝影圖像之對應像素之像素值差分與預先規定之相關資訊之差分，且於該差分大於預先規定之臨限值之情形時判定為移動區域。
進而，於本發明之圖像處理裝置之一實施態樣中，上述相關資訊係基於作為比較對象之不同曝光時間之圖像之輸出值之相關性而作成之相關資訊。
進而，本發明之第5態樣係一種攝像裝置，其係上述圖像處理裝置進一步包括攝像元件，其拍攝不同曝光時間之攝影圖像；圖像處理部，其執行如請求項1~10之圖像處理。
進而，本發明之第6態樣係一種圖像處理方法，其係於圖像處理裝置中執行之圖像處理方法，且包括：圖像合成步驟，其係圖像合成部將不同曝光時間之攝影圖像合成而生成合成圖像；以及移動區域檢測步驟，其係移動區域檢測部執行如下移動區域檢測處理，即，進行上述圖像合成部所生成之複數個合成圖像之比較處理，獲得像素值差分，並將該像素值差分與預先設定之臨限值進行比較，將像素值差分為臨限值以上之像素區域判定為推測被攝體產生移動之移動區域。
進而，本發明之第7態樣係一種程式，其係於圖像處理裝置中執行圖像處理之程式，且包括：圖像合成步驟，其係使圖像合成部合成不同曝光時間之攝影圖像而生成合成圖像；以及移動區域檢測步驟，其係使移動區域檢測部執行如下移動區域檢測處理，即，進行上述圖像合成部所生成之複數個合成圖像之比較處理，獲得像素值差分，並將該像素值差分與預先設定之臨限值進行比較，將像素值差分為臨限值以上之像素區域判定為推測被攝體產生移動之移動區域。
再者，本發明之程式係可藉由所提供之記憶媒體及通訊媒體，而以電腦可讀取格式提供給例如可執行各種程式/編碼之資訊處理裝置或電腦/系統之程式。藉由以電腦可讀取格式提供如此之程式，而於資訊處理裝置或電腦/系統上實現與程式相應之處理。
本發明之進而其它目的、特徵或優點，應可藉由基於下述本發明之實施例或隨附圖式之更詳細之說明而明確。再者，於本說明書中，所謂系統係指複數個裝置之邏輯性集合構成，且不限於各構成之裝置位於同一構體內。
根據本發明之一實施例之構成，於輸入不同曝光時間之複數個圖像，生成選擇性組合有各個有效像素值之廣域動態範圍圖像之處理中，可有效檢測出作為偽色等影像劣化之產生因素之被攝體之移動區域。例如，執行藉由不同曝光時間之複數個圖像而生成之合成圖像之比較，並基於其之比較結果，檢測移動區域。根據該處理，便可實施因攝像元件之特性不均一造成之誤檢測得到抑制之高精度之移動區域檢測。
以下，一面參照圖式，一面對本發明之圖像處理裝置、攝像裝置、及圖像處理方法、以及程式進行說明。說明係按照以下之項目順序進行。
1.　關於圖像處理裝置之整體構成例
2.　圖像處理裝置之具體實施例
[1.　關於圖像處理裝置之整體構成例]
首先，參照圖3，對本發明之圖像處理裝置之整體構成例進行說明。
圖3係表示本發明之圖像處理裝置之一例即攝像裝置之構成例之方塊圖。透過光學透鏡101而入射之光係入射至藉由例如包含CMOS影像感測器等之攝像元件102中，並輸出經光電轉換之圖像資料。輸出圖像資料係經由記憶體103而輸入至圖像處理部104。控制部105係按照儲存於例如未圖示之記憶體中之程式，將控制信號輸出至各部分，進行各種處理控制。
攝像元件102係生成不同曝光時間之複數個圖像111~114。圖像處理部104係輸入該等不同曝光時間之複數個圖像111~114進行合成處理，從而生成輸出圖像120。以下說明之實施例係以圖像處理部104自攝像元件102中輸入4種不同曝光時間之圖像者進行說明。
亦即，如圖3所示，
圖像1(曝光時間T1)111
圖像2(曝光時間T2)112
圖像3(曝光時間T3)113
圖像4(曝光時間T4)114
其中，T1<T2<T3<T4。
圖像處理部104係自攝像元件102中輸入該等4種不同曝光時間(T1~T4)之圖像，並基於該等不同曝光時間之複數個圖像，生成輸出圖像120。
如上所述，攝像元件輸出之電信號成為與對於攝像元件之入射光量相對應者。因而，固定之曝光時間(長時間曝光)之情形時，存在著與更亮之被攝體對應之像素之光電轉換元件所輸出之電信號達到飽和度之情形。最終就該等像素而言，將輸出飽和度之電信號，而使色調差無法辨識，導致成為所謂之反白像素。
例如為防止如此之反白，獲得反映被攝體之亮度位準之輸出，而生成長時間曝光~短時間曝光之複數個圖像資料，並於圖像處理部104中，執行該等複數個圖像之合成處理，獲得輸出圖像120。例如，於進行長時間曝光之情形時，對於推測達到飽和度之像素而言，係實施將基於進行短時間曝光之資料而計算之像素值輸出之處理等。
關於複數個不同曝光時間之圖像之獲取處理，係揭示於本申請人與同一申請人之專利申請即日本專利特開2008-99158公報、或者日本專利特開2008-227697號公報中，基本而言，係以與揭示於該等中之構成相同之方法，獲取複數個不同曝光時間之圖像，從而生成不產生反白像素之合成圖像。再者，該等專利公開公報中對長時間曝光圖像與短時間曝光圖像之2種圖像之獲取處理有所揭示，而本發明係獲取例如4種不同曝光時間之圖像進行處理。
如上所述，不同曝光量之複數個圖像成為時間上以不同之時間攝影之圖像。因而，若於其間產生被攝體之移動，則於圖像之合成時，將產生圖像之偏移。其結果，將於移動之被攝體區域之圖像區域中產生偽色，從而產生圖像品質下降等問題。
圖像處理部104係於自攝像元件102中輸入之圖像進行合成處理之前，進行判別推測為被攝體產生移動之圖像區域之處理。對於藉由該移動判別處理而判定為移動區域之像素區域，係進行修正處理之後生成合成圖像。以下，將對應用複數個不同曝光時間之圖像的動態圖像區域之檢測處理之具體實施例進行說明。
[2.　圖像處理裝置之具體實施例]
以下，對圖3所示之圖像處理裝置之構成以及處理之具體的複數個實施例進行說明。
(2-1)　實施例1
圖4係以本發明之實施例1之圖像處理裝置之圖像處理部104之處理為中心進行說明之圖。沿著上部所示之時間軸(t)由左向右，處理隨著時間而進行。亦即，曝光時間(T1)之圖像1、曝光時間(T2)之圖像2、曝光時間(T3)之圖像3、曝光時間(T4)之圖像4...該等圖像隨著時間經過而依序輸入進行處理。
圖像處理部104係將攝像元件102所獲取之曝光時間(T1)之圖像1、曝光時間(T2)之圖像2、曝光時間(T3)之圖像3及曝光時間(T4)之圖像4之4個不同曝光時間之圖像依序輸入。其後，同樣地，將曝光時間(T1)之圖像5、曝光時間(T2)之圖像6、曝光時間(T3)之圖像7、及曝光時間(T4)之圖像8之4個不同曝光時間之圖像依序輸入。以下，重複進行該輸入處理。再者，曝光時間T1~T4係為T1<T2<T3<T4。
圖像處理部104係視需要而利用該等曝光時間T1~T4之4個圖像，合成1個廣域動態範圍圖像。對於合成處理之一例，參照圖5進行說明。圖5係與先前參照圖1所說明之長時間曝光圖像與短時間曝光圖像之2個圖像獲取及合成處理基本相同，不同之處在於曝光時間增加為4種。
於圖5中，橫軸為時間(t)，縱軸為構成攝像元件102之固體攝像元件之構成與1個像素對應之光電轉換元件之受光光電二極體(PD)中之積聚電荷量(e)。例如，於對應於受光光電二極體(PD)之受光量較多、亦即較亮之被攝體之情形時，如圖5所示之超高亮度區域151所示，電荷積聚量隨著時間而急遽上升。另一方面，於對應於受光光電二極體(PD)之受光量較少、亦即較暗之被攝體之情形時，如圖5所示之低亮度區域154所示，電荷積聚量隨著時間而緩慢上升。高亮度區域152、中亮度區域153係明亮度位於其間之被攝體。亦即，被攝體之明亮度之順序為如下所述。
超高亮度區域151>高亮度區域152>中亮度區域153>低亮度區域154
低亮度區域154之像素係即便進行最長之曝光時間(T4)之曝光，電荷積聚量亦不會達到飽和度。因而，可藉由利用基於經過曝光時間(T4)後之電荷積聚量所得之圖右端所示之[長時間曝光輸出]信號而決定之像素之色階，而獲得正確之色調表現。
然而，超高亮度區域151、高亮度區域152及中亮度區域153所示之線條係於達到最長曝光時間(T4)以前，電荷積聚量已達到飽和度之可能性高。因而，如此之像素區域僅能自長時間曝光圖像中獲得與飽和度之電信號對應之像素值，最終導致成為反白像素。
因此，對應於如此之超高亮度~中亮度區域151~153之像素係以分別預先設定之時間(tp1、tq1、tr1)，暫時拂掠受光光電二極體(PD)之積聚電荷。電荷拂掠並非針對積聚於受光光電二極體(PD)之所有電荷，而是設為達到光電二極體(PD)中所控制之中壓保持位準為止。該電荷拂掠處理之後，將再次執行設為曝光時間(T1=tp1~tp2)、曝光時間(T2=tq1~tq2)、及曝光時間(T3=tr1~tr2)之曝光處理。亦即，如圖所示，實施短時間曝光時間(T1)、短時間曝光時間(T2)、短時間曝光時間(T3)之該等短時間曝光。
以此方式藉由複數個不同曝光時間T1~T4(T1<T2<T3<T4)，而獲得分別與曝光時間對應之電荷積聚量，並依據基於該電荷積聚量所得之電信號，決定像素之色階。再者，於依據基於各曝光時間所得之電荷積聚量之電信號，決定像素值時，係算出進行同一時間曝光時之估算電荷積聚量、或者與該估算電荷積聚量對應之電信號輸出值，並基於算出之結果，決定像素值位準。可藉由以此方式，組合短時間曝光圖像與長時間曝光圖像，而獲得無反白之動態範圍寬廣之圖像。
再者，曝光時間T1~T4係可進行例如T4=1/30 sec、T3=1/300 sec、T2=1/3000 sec、及T1=1/30000 sec等之設定。例如若使T1~T4為該設定，生成圖3所示之輸出圖像120作為曝光時間T1~T4之4個圖像之合成圖像，則輸出圖像120為動態圖像之情形時，可依序生成相當於30 fps之視訊。
其原因在於，每隔T4=1/30 sec，便可生成基於超高亮度像素=曝光時間T1之曝光圖像~低亮度像素=曝光時間T4之曝光圖像之該等各圖像的合成圖像。
然而，設為曝光時間T1~T4之複數個曝光量不同之圖像成為時間上以不同之時間攝影之圖像。因而，若其間產生被攝體之移動，則於圖像之合成時會產生圖像之偏移。其結果，於移動之被攝體區域之圖像部分中產生偽色，從而導致產生圖像之品質低下等問題。
本發明之圖像處理裝置100之圖像處理部104係識別移動之被攝體之圖像區域，以解決該問題。再者，以下，將移動之被攝體稱為「移動被攝體」，將移動之被攝體之攝影圖像區域稱為「移動區域」。
本實施例之圖像處理部104係如圖4所示，使用複數個合成後之圖像來識別移動區域。
如圖4所示，圖像處理部104係包括圖像合成部201及移動區域檢測部202。再者，圖4中表示2個圖像合成部201，此係表示先行執行圖像1~4之合成處理，其後，執行圖像5~8之合成處理，且表示1個圖像合成部201按照順序進行處理。亦即，複數個圖像合成部若無必要，則有1個圖像合成部201即可。
移動區域檢測部202係對圖像合成部201所生成之2個合成圖像進行比較，從而判別移動區域。亦即，對藉由圖像1~4之合成處理而生成之合成圖像a、141a、及藉由圖像5~8之合成處理而生成之合成圖像b、141b之以此方式連續生成之2個合成圖像進行比較，檢測圖像中所含之移動區域。將此檢測結果作為移動區域檢測資訊143輸出。
移動區域檢測部202係對合成後之圖像彼此之像素值進行比較。於被攝體未移動之情形時，同一座標之像素值係為一致。亦即，合成圖像a、141a之某一座標之高亮度像素即便於合成像素b、141b之對應座標位置亦為相同之高亮度像素，合成圖像a、141a之低亮度像素即便於合成圖像b、141b中亦為相同之低亮度像素。圖6係表示該像素值之對應關係者。
圖6係橫軸表示當前之合成圖像(合成圖像b、141b)之像素值(0~MAX)，縱軸表示先前之合成圖像(合成圖像a、141a)之像素值(0~MAX)。例如，當前之合成圖像(合成圖像b、141b)之某一座標(x1、y1)之像素值為p1之情形時，則先前之合成圖像(合成圖像a、141a)之相同座標之像素值亦應為p1。亦即，於被攝體未移動之情形時，同一座標之像素值係為一致，且應位於圖示之斜度為1之直線上。
再者，如圖6所示，當前之合成圖像(合成圖像b、141b)與先前之合成圖像(合成圖像a、141a)均為藉由曝光時間T1~T4之不同曝光時間之圖像合成處理而生成之圖像。亦即，高亮度區域之像素區域係基於較短之曝光時間T1之圖像，決定像素值，低亮度區域之像素區域係基於較長之曝光時間T4之圖像，決定像素值，故兩者均為藉由複數個曝光時間(T1~T4)之圖像之合成處理而生成之合成圖像。
如圖6所示，曝光時間T1~T4之各圖像之曝光比為如下所述。
A1：T4與T1之曝光比(T4/T1)
A2：T4與T1之曝光比(T4/T2)
A3：T4與T1之曝光比(T4/T3)
例如圖6所示，藉由曝光比A1~A3與曝光時間T1~T4之各圖像之輸出信號之乘法處理而決定輸出像素值。亦即，低亮度區域係基於曝光時間T4之圖像決定像素值，中亮度區域係基於曝光時間T3之圖像決定像素值，高亮度區域係基於曝光時間T2之圖像決定像素值，超高亮度區域係基於曝光時間T1之圖像決定像素值。
該合成方法中，當前之合成圖像(合成圖像b、14ab)與先前之合成圖像(合成圖像a、141a)均為相同處理，且於被攝體未移動之情形時，同一座標之像素值係為一致，且應位於圖6所示之斜度為1之直線上。
實施例1之圖像處理部104係利用該合成圖像間之相關性，檢測移動區域。參照圖7說明該處理。
圖7係說明本實施例1之圖像處理部104之處理之方塊圖。攝像元件102係將圖像111~114(曝光時間=T1~T4)輸出，並將其保存於記憶體103中。
圖像處理部104係輸入該等圖像111~114(曝光時間=T1~T4)，並於圖像合成部201中執行圖像合成處理，生成合成圖像。圖像合成部201如先前參照圖6所說明般，係根據亮度組合不同曝光時間之圖像，生成將達到飽和像素值之反白像素排除之合成圖像。又，圖像合成部201如先前參照圖4所說明般，使4種不同曝光時間之圖像以4個為1組，依序生成合成圖像。
圖像合成部201所生成之合成圖像係輸入至移動區域檢測部202。移動區域檢測部201於持續輸入例如4個圖像之合成圖像a、與其次之4個圖像之合成圖像b之情形時，使先行輸入之合成圖像a通過後輸出(合成圖像141)，並且保存於圖框記憶體203中。
移動區域檢測部202係若自圖像合成部201中輸入後續之4個圖像之合成圖像b，則自圖框記憶體203中讀出先行合成圖像a，並對先行合成圖像a與自圖像合成部201中輸入之後續合成圖像b進行比較。
移動區域檢測部202係執行合成圖像a與合成圖像b之像素值之比較。亦即，於每一對應之同一像素位置執行像素值比較。於被攝體未移動之情形時，較理想的是，如參照圖6所說明般，合成圖像a與合成圖像b所對應之座標之像素值，位於圖6所示之斜度1之線條上。
若合成圖像a與合成圖像b之對應座標位置之像素值位於圖6所示之斜度1之線條上，則判斷被攝體為靜止。若自圖6所示之斜度1之線條上偏離，則判斷為移動區域。
然而，實際上，即便被攝體為靜止，亦因固體攝像元件之雜訊或光之散粒雜訊之影響，而使其之輸出值完全一致之可能性較低。因而，於進行比較時，必需設定一定程度之容許量。例如，若設定像素值之差分之容許值[Th1]，且合成圖像a與合成圖像b之同一座標位置之像素值差分為差分容許值[Th1]以內，則判定為被攝體靜止，若合成圖像a與合成圖像b之同一座標位置之像素值差分超出差分容許值[Th1]，則判定為移動區域。
具體而言，例如，使差分容許值[Th1]為像素值(當前合成圖像(後續合成圖像b)輸出值)之10%，亦即，使差分容許值[Th1]=10%，將合成圖像a與合成圖像b之同一座標位置之像素值差分超過像素值之10%之區域判定為移動區域、即移動被攝體之攝影區域。移動區域檢測部202係使用例如以下之判定式(式1)，於像素單位內判定是否為移動區域。
當前合成圖像輸出值×0.1<|當前合成圖像輸出值-先前合成圖像輸出值|...(式1)
再者，於上述式中，係設差分容許值[Th1]=0.1(像素值之10%)，但此僅為一例。該容許量因依存於例如固體攝像元件之性能，因此，較佳為根據所利用之固體攝像元件之性能等進行決定。
移動區域檢測部202係例如判定滿足上述式(式1)之像素為移動區域，且判定不滿足上述式之像素為非移動區域。
移動區域檢測部202係將判別移動區域像素與非移動區域像素之資訊作為移動區域檢測資訊143輸出。移動區域檢測資訊143係包含例如於圖像之像素單位設為移動區域像素=1、非移動區域像素=0之像素對應之移動區域檢測資訊等。
又，於上述處理中，執行比較處理之合成圖像既可為相機信號處理、例如解馬賽克處理前之圖像，亦可為處理後之圖像，任一圖像均可利用。
又，攝像元件所具備之固體攝像元件不僅可應用例如具備上述專利文獻1(日本專利特開2008-99158號公報)揭示之構成之攝像元件，而且亦可應用普通常用之固體攝像元件，具體而言，可應用普通CCD影像感測器或CMOS(Complementary Metal Oxide Semiconductor)影像感測器之類的固體攝像元件。
(2-2)實施例2
圖8係第2實施例之圖像處理之概念圖。隨著時間經過，而依序輸入曝光時間(T1)之圖像1、曝光時間(T2)之圖像2、曝光時間(T3)之圖像3、以及曝光時間(T4)之圖像4...之該等圖像進行處理。
與實施例1不同之處在於，合成所用之圖像選擇方法，與實施例1不同，每輸出1個被合成圖像(圖像n)時進行合成。
圖像合成部201係以如下方式執行圖像合成處理。
藉由應用複數個不同曝光時間T1~T4(T1<T2<T3<T4)之圖像1~圖像4之圖像合成處理，而生成合成圖像a、141a。
繼而，藉由應用曝光時間T1~T4(T1<T2<T3<T4)之圖像2~圖像5之圖像合成處理，而生成合成圖像b、141b。
以下，反覆進行相同之處理，並於圖像n~n+3之4個圖像合成處理之後，執行圖像n+1~n+4之4個圖像之合成處理，並以每一圖像逐一錯開之4個圖像之組合，依序生成合成圖像。
移動區域檢測部202對圖像合成部201所生成之2個合成圖像進行比較，判別移動區域。亦即，對藉由圖像1~4之合成處理而生成之合成圖像a、141a、藉由圖像2~5之合成處理而生成之合成圖像b、141b之以此方式連續生成之2個合成圖像進行比較，檢測圖像中所含之移動區域。
對以此方式連續生成之2個合成圖像進行比較，檢測圖像中所含之移動區域檢測。將該檢測結果作為移動區域檢測資訊143輸出。
移動區域檢測部202之處理係與實施例1相同。亦即，於當前之合成圖像(合成圖像b、14ab)與先前之合成圖像(合成圖像a、141a)中，被攝體未移動之情形時，同一座標之像素值係為一致，且應位於圖6所示之斜度為1之直線上。
若合成圖像a與合成圖像b之對應座標位置之像素值位於圖6所示之斜度1之線條上，則判斷被攝體靜止。若自圖6所示之斜度1之線條上偏離，則判斷為移動區域。其中，如參照上述式(式1)所說明般，較佳為進行如下處理，即，將利用根據所用固體攝像元件之性能等而決定之差分容許值[Th1]而檢測出差分容許值[Th1]以上之像素值差分之像素區域判定為移動區域。
移動區域檢測部202係將判別移動區域像素與非移動區域像素之資訊作為移動區域檢測資訊143輸出。移動區域檢測資訊143係包含例如圖像之像素單位中設為移動區域像素=1、非移動區域畫=0之像素對應之移動區域檢測資訊等。
該圖8所示之實施例2之處理，與參照圖4所說明之實施例1相比，由於各合成圖像間之時間性間隔變近，故可縮短移動被攝體之移動距離。其中，於圖像處理裝置內執行之圖像處理必需高速進行。例如，必需進行將與圖像之輸入速率相同之輸出速率之圖像合成輸出之處理。
圖9、圖10係說明本實施例之圖像處理部104之處理之方塊圖。首先，參照圖9、圖10，說明本實施例之處理。攝像元件102係首先如圖9所示，輸出圖像111~114(曝光時間=T1~T4)，且將其保存於記憶體103中。
圖像處理部104係輸入該等圖像111~114(曝光時間=T1~T4)，並於圖像合成部201中執行圖像合成處理，生成合成圖像。圖像合成部201係如先前參照圖6所說明般，根據亮度組合不同曝光時間之圖像，生成將達到飽和像素值之反白像素排除之合成圖像。又，圖像合成部201係如先前參照圖8所說明般，使4種不同曝光時間之圖像以4個為1組，依序以每一圖像逐一錯開之4個一組之單位生成合成圖像。
圖9係表示於記憶體103中儲存圖像1、111~圖像4、114，並藉由該等圖像1~4之合成處理而生成合成圖像a、141a(參照圖8)之時間例之圖。
圖10係表示於記憶體103中輸入其次之圖像5、115，並藉由該等儲存於記憶體103中之圖像2、112~圖像5、115之合成處理而生成合成圖像b、141b(參照圖8)之時間例之圖。
圖像合成部201所生成之合成圖像係輸入至移動區域檢測部202中。移動區域檢測部201係於持續輸入例如4個圖像(圖像1~圖像4)之合成圖像a、與其次之4個圖像(圖像2~圖像5)之合成圖像b之情形時，使先行輸入之合成圖像a通過後輸出(合成圖像141)，並且保存於圖框記憶體203中。
移動區域檢測部202係若自圖像合成部201中輸入後續之4個圖像之合成圖像b，則自圖框記憶體203中讀出先行合成圖像a，並對先行合成圖像a與自圖像合成部201中輸入之後續合成圖像b進行比較。
移動區域檢測部202係執行合成圖像a與合成圖像b之像素值之比較。亦即，於每一對應之同一像素位置執行像素值比較。於被攝體未移動之情形時，較理想的是，如參照圖6所說明般，合成圖像a與合成圖像b所對應之座標之像素值，位於圖6所示之斜度1之線條上。
若合成圖像a與合成圖像b之對應座標位置之像素值位於圖6所示之斜度1之線條上，則判斷被攝體為靜止。若自圖6所示之斜度1之線條上偏離，則判斷為移動區域。其中，如參照上述式(式1)所說明般，較佳為進行如下處理，即，將利用根據所用固體攝像元件之性能登而決定之差分容許值[Th1]而檢測出差分容許值[Th1]以上之像素值差分之像素區域判定為移動區域。
移動區域檢測部202係例如將滿足上述式(式1)之像素判定為移動區域，將不滿足上述式之像素判定為非移動區域。
移動區域檢測部202係將判別移動區域像素與非移動區域像素之資訊作為移動區域檢測資訊143輸出。移動區域檢測資訊143係包含例如於圖像之像素單位中設為移動區域像素=1、非移動區域像素=0之像素對應之移動區域檢測資訊等。
本實施例不僅可應用例如具備上述專利文獻1(日本專利特開2008-99158號公報)揭示之構成之攝像元件，而且亦可應用普通常用之固體攝像元件，具體而言，可應用普通CCD影像感測器或CMOS(Complementary Metal Oxide Semiconductor)影像感測器之類的固體攝像元件。
(2-3)　實施例3
先前說明之實施例1之處理係如下之處理，即，如參照圖4等所說明般，使曝光時間T1~T4之4個圖像為1組，以無重疊之4個圖像1組之單位生成合成圖像，並對該合成圖像彼此進行比較，執行移動區域之檢測。
該實施例1之處理極為單一，但作為像素值之比較對象之2個合成圖像之攝影時間相距有間隔。若如此般作為比較對象之合成圖像時間相距有間隔，則例如移動較慢之移動被攝體被判定為移動區域之可能性亦變高。
若如此般作為比較對象之2個合成圖像時間相距有間隔，則即便由合成圖像間之像素值比較處理檢測出像素值差分而判定為移動區域之像素區域，亦存在著1個合成圖像之合成要素之複數個不同曝光圖像間之對應像素之像素值之差分較小而不足以判斷為移動區域之情形時。其原因在於，作為合成圖像之構成對象之不同曝光圖像間之攝影時間間隔，短於合成圖像相互之攝影時間之間隔。
如此般，實施例1由於進行像素值比較之合成圖像之攝影時間間隔較長，故存在移動區域之檢測過度之傾向。實施例3係包含將如此之過度檢測排除之方法之構成例。
圖11係第3實施例之圖像處理之概念圖。隨著時間經過，而依序輸入曝光時間(T1)之圖像1、曝光時間(T2)之圖像2、曝光時間(T3)之圖像3、及曝光時間(T4)之圖像4...之該等圖像進行處理。
生成合成圖像之圖像之組合係與參照圖4所說明之實施例1相同。亦即，藉由應用複數個不同曝光時間T1~T4(T1<T2<T3<T4)之圖像1~圖像4之圖像合成處理，而生成合成圖像a、141a。
繼而，藉由應用曝光時間T1~T4(T1<T2<T3<T4)之圖像2~圖像5之圖像合成處理，而生成合成圖像b、141b。
與參照圖4所說明之實施例1不同之處在於，具有合成前圖像比較部205。合成前圖像比較部205係於合成前之被合成圖像(圖像n)之像素彼此間進行輸出值之比較，並將比較結果輸出至移動區域檢測部202。
移動區域檢測部202係使用自合成前圖像比較部205中輸入之合成前之被合成圖像(圖像n)之像素彼此之像素值比較結果資訊，進行合成圖像相互之像素值比較中判定為移動區域之區域之再驗證。即便合成圖像相互之像素值比較中判定為移動區域之區域，若合成前之被合成圖像(圖像n)之像素彼此之像素值比較結果為預先規定之像素值差分以下，亦將被判定為非移動區域。亦即，進行將合成圖像相互之像素值比較中過度判定為移動區域之部分排除之處理。
合成前圖像比較部205係執行合成前之被合成圖像、即不同曝光時間T1~T4(T1<T2<T3<T4)之各圖像之對應像素之像素值比較。於該情形時，必需對基於各曝光時間而算出之輸出像素值彼此進行比較。
該處理係相當於已在先前技術欄中說明之專利文獻2(日本專利特開2000-50151號公報)之處理、即先前參照圖2所說明之長時間曝光圖像(LE)之輸出值(亮度)、與短時間曝光圖像(SE)之輸出值(亮度)之對應關係之比較處理。亦即，若將長時間曝光圖像(LE)之輸出值(亮度)、與短時間曝光圖像(SE)之輸出值(亮度)設定於圖2所示之斜度A(=曝光比)之線條上，則可判定長時間曝光圖像(LE)與短時間曝光圖像(SE)之對應像素係攝影亮度完全相同之被攝體。
亦即，於攝影同一被攝體之情形時，長時間曝光圖像(LE)之輸出值(亮度)、與短時間曝光圖像(SE)之輸出值(亮度)之對應關係係設定於圖2所示之斜度A(=曝光比)之線條上，且於自該線條偏離之情形，則判定為產生移動之區域。
然而，如上所述，就現實而言，構成攝像元件之PD或電晶體之定製存在不均一情況，故難以藉由是否滿足(LE-SE×A)=0來正確判別被攝體有無移動。例如，若設定臨限值(Th)，並藉由是否滿足∣LE-SE×A∣<Th來進行判別，則雖可消除若干元件之不均一，但元件之不均一因各裝置不同而不同，故存在難以設定最佳臨限值之問題。
本實施例係採用解決該不同曝光時間之圖像之比較中之問題之方法。長時間曝光圖像之輸出值、與短時間曝光圖像之輸出值因攝像元件之特性，而成為例如圖12所示之特性。
圖12係與先前說明之圖2相同，以圖表表示長時間曝光圖像(LE)之輸出值(亮度)、與短時間曝光圖像(SE)之輸出值(亮度)之對應關係。
例如，上述專利文獻1(日本專利特開2008-99158號公報)揭示之攝像元件之特性係具有圖12所示之特性。亦即，短時間曝光之輸出係直至長時間曝光之輸出達到固定之位準以上為止後出現(圖12之區域1)。此係表明於先前說明之圖1中，若被攝體之明亮度未超過中壓之保持位準，則不出現短時間曝光之輸出。
若超過中壓之保持位準，則於短時間曝光側產生輸出。其中，其之輸出產生時刻之短時間曝光側之輸出值將變得極為不穩定。若通過短時間曝光之曝光期間中，未超過中壓之保持位準，則不會出現正確之輸出，因此，此期間將與由曝光比所決定之斜度不同(圖12之區域2)。再者，曝光比係為長時間曝光圖像(LE)與短時間曝光圖像(SE)之曝光量之比即曝光比A(=LE/SE)。
此係起因於短時間曝光處理藉由光電二極體(PD)之積聚電荷之拂掠、與其後執行短時間曝光之類的複雜性處理而進行等。亦即，如先前參照圖1所說明般，短時間曝光處理係於圖1所示之時間t1(電荷拂掠開始點P1)，暫時拂掠受光光電二極體(PD)之積聚電荷，直至達到光電二極體(PD)中經控制之中壓保持位準為止，且於該電荷拂掠處理之後，再次藉由設為曝光時間TS(t2~t3)之曝光處理而進行。
圖12之區域2係基於短時間曝光處理開始後之光電二極體(PD)之積聚電荷量而算出之輸出值，此部分成為極不穩定之輸出，長時間曝光圖像(LE)與短時間曝光圖像(SE)之輸出值之對應關係(斜度B)，設定為與由曝光量之比即曝光比A(=LE/SE)決定之斜度不同之斜度B(≠斜度A(曝光比))。
其後之區域3成為進行短時間曝光處理之光電二極體(PD)之電荷積聚穩定之狀態下之輸出值，因此，成為可根據曝光比算出之固定之斜度A(曝光比)。以上關係於合成3個以上之圖像之情形時亦為相同。
如此般，先前說明之圖2之長時間曝光圖像之輸出值、與短時間曝光圖像之輸出值之對應關係僅為理論性關係，並不對應於現實之攝像元件之輸出值。對應關係將依存於攝像元件之特性，長時間曝光圖像之輸出值與短時間曝光圖像之輸出值之關係，大多為例如圖12所示之關係。
考慮到該等情況，圖11所示之合成前圖像比較部205，於對合成前之不同曝光時間之被合成圖像(圖像n)之像素彼此之輸出值進行比較之情形時，僅將圖12所示之區域3、亦即具有預先設定之臨限值亮度位準(圖12之Th2)以上之亮度的像素，選擇為比較對象像素，且僅對所選擇之像素進行像素值比較處理。
再者，臨限值亮度位準(圖12之Th2)係根據攝像元件之特性而決定，且根據短時間曝光中輸出穩定之亮度位準而預先規定。
合成前圖像比較部205，係對具有預先設定之臨限值亮度位準(圖12之Th2)以上之亮度的像素，進行作為被合成圖像之長時間曝光圖像之輸出值、與短時間曝光圖像之輸出值之比較，並將比較結果輸出至過度檢測去除部203(參照圖13)。過度檢測去除部203，係對移動區域檢測部202在合成圖像彼此之像素值比較結果中判定為移動區域之像素區域，基於來自合成前圖像比較部205之接收資訊進行再驗證。
亦即，即便合成圖像彼此之像素值比較結果中判定為移動區域之像素區域，若作為被合成圖像之長時間曝光圖像之輸出值、與短時間曝光圖像之輸出值之差分未達預先設定之臨限值，則判斷為非移動區域，並取消移動區域之判定。
圖13係表示本實施例之圖像處理裝置之方塊圖之圖。與圖7不同之處在於，具有合成前比較部205與過度檢測去除部206。
攝像元件102係將圖像115~118(曝光時間=T1~T4)輸出，並保存於記憶體103中。圖像處理部104係將該等圖像115~118(曝光時間=T1~T4)輸入，並於圖像合成部201中執行圖像合成處理，生成合成圖像。再者，圖13係以先行之圖像111~114(曝光時間=T1~T4)之合成圖像業已儲存於圖框記憶體203中進行說明。
圖像合成部201，係如先前參照圖6所說明般，根據亮度組合不同曝光時間之圖像，從而生成將成為飽和像素值之反白像素排除之合成圖像。圖像合成部201所生成之合成圖像將輸入至移動區域檢測部202中。移動區域檢測部201於持續輸入例如4個圖像之合成圖像a、與其次之4個圖像之合成圖像b之情形時，使先行輸入之合成圖像a通過後輸出(合成圖像141)，並且保存於圖框記憶體203中。
移動區域檢測部202係若自圖像合成部201中輸入後續之4個圖像之合成圖像b，則自圖框記憶體203中讀出先行合成圖像a，並對先行合成圖像a與自圖像合成部201中輸入之後續合成圖像b進行比較。
若合成圖像a與合成圖像b之對應座標位置之像素值位於圖6所示之斜度1之線條上，則判斷被攝體靜止。若自圖6所示之斜度1之線條上偏離，則判斷為移動區域。其中，如參照上述式(式1)所說明般，較佳為進行如下處理，即，將利用根據所用固體攝像元件之性能等而決定之差分容許值[Th1]而檢測出差分容許值[Th1]以上之像素值差分之像素區域判定為移動區域。
本實施例係將移動區域檢測部202之檢測結果，輸入至過度檢測去除部206中。過度檢測去除部206係實施如下過度檢測去除處理，即，對基於合成圖像a與合成圖像b之對應座標位置之像素值比較而判定為移動區域之像素區域進行再驗證，並將判斷為過度檢測之移動區域像素作為非移動區域。
亦即，過度檢測去除部206係實施如下過度檢測去除處理，即，自合成前圖像比較部205輸入作為被合成圖像之長時間曝光圖像之輸出值、與短時間曝光圖像之輸出值的比較結果，對於合成圖像彼此之像素值比較結果中判定為移動區域之像素區域，若作為被合成圖像之長時間曝光圖像之輸出值、與短時間曝光圖像之輸出值之差分未達預先設定之臨限值，則判斷為非移動區域，並取消移動區域之判定。
再者，合成前圖像比較部205係對如上所述具有預先設定之臨限值亮度位準(圖12之Th2)以上之亮度的像素，進行作為被合成圖像之長時間曝光圖像之輸出值、與短時間曝光圖像之輸出值之比較，並將比較結果輸出至移動區域檢測部202之過度檢測去除部206。
合成前比較部205係與上述式(式1)相同，設定一定程度之容許量，並應用以下之式(式2)進行移動區域之判定。於圖12所示之區域3中，滿足以下式2之情形時，判定為非移動區域，並作為移動區域之去除對象。
於將短時間曝光圖像(例如圖像5(T1)115)、及長時間曝光圖像(例如圖像6(T2)116)作為比較對象之情形時，
短時間曝光圖像之輸出×0.1>|長時間曝光圖像之輸出-短時間曝光圖像之輸出×A|...(式2)
再者，A係長時間曝光圖像(LE)與短時間曝光圖像(SE)之曝光量之比即曝光比A(=LE/SE)。
上述式(式2)係表示例如若曝光比A=10，則取自長時間曝光圖像：圖像6(T2)116之輸出值中，減去短時間曝光圖像：圖像5(T1)115之輸出值乘以10倍所得之值之絕對值。
如此般，過度檢測去除部206將進行如下處理，即便移動區域檢測部202基於合成圖像間之像素值比較而判定為移動區域之像素區域，當圖12所示之區域3中，滿足以下式2時，亦使該區域為非移動區域，並自移動區域中去除。
再者，比較處理並非於所有之合成前圖像之組合中進行，而是於合成圖像生成時作為合成圖像之構成像素而選擇之圖像(選擇資訊取自圖像合成部102)之前後進行。亦即，例如選擇圖像6(T2)116之像素，作為合成圖像之特定像素之有效像素值之情形時，對圖像6(T2)116與圖像5(T1)115、以及圖像6(T2)116與圖像7(T3)117進行比較。
如此般，移動區域檢測部202係執行
(1)　藉由合成圖像相互之像素值比較而檢測移動區域之該檢測處理，過度檢測去除部206係執行，
(2)　藉由作為合成圖像之生成要素圖像之被合成圖像間之像素值比較而重新檢測移動區域
之該處理，過度檢測去除部206係於該等2階段之處理中，僅將兩者中判定為移動區域之像素區域判斷為最終移動區域，並將移動區域檢測資訊143輸出。
移動區域檢測資訊143係包含例如圖像之像素單位中設為移動區域像素=1、及非移動區域像素=0之像素對應之移動區域檢測資訊等。
本實施例不僅可應用例如具備上述專利文獻1(日本專利特開2008-99158號公報)揭示之構成之攝像元件，而且亦可應用普通常用之固體攝像元件，具體而言，可應用普通CCD影像感測器或CMOS(Complementary Metal Oxide Semiconductor)影像感測器之類的固體攝像元件。再者，存在著因攝像元件之特性，而使長時間曝光圖像之輸出值與短時間曝光圖像之輸出值之關係成為圖12所示之關係、圖2所示之關係、或者其他關係之情形。較佳為，合成前圖像比較部205構成為根據所用之攝像元件之特性，縮小判定區域進行判定。
(2-4)實施例4
繼而，作為本發明之圖像處理裝置之實施例4，將對檢測因移動區域進而引起影像劣化之可能性較高之影像劣化區域之構成例進行說明。
例如，於採用使用R、G、B之彩色濾光片之單板型固體攝像元件之情形時(彩色濾光片之顏色可為任意)，當拍攝移動被攝體時，影像劣化變得嚴重係位於構成所生成之合成圖像之像素之鄰接像素位置之R、G、B像素，分別選自不同之被合成圖像進行合成之情形。
作為具體例，係例如於構成合成圖像之像素中，G像素選自曝光時間T2之圖像112(T2)，與G像素鄰接之R像素與B像素則選自曝光時間T4之圖像114(T4)之情形。
於進行如此之合成處理之情形時，若為靜態影像，則問題較少，而拍攝移動被攝體之情形時，則將於近接之像素中使用曝光時間及曝光期間不同之圖像。因此，若其後進行解馬賽克(內插)處理並以彩色圖像進行觀察，則將引起影像劣化，尤其將產生偽色等。
再者，即便拍攝移動被攝體，若鄰接之像素彼此選擇相同之被合成圖像，則畫質之劣化並無上述之嚴重程度。其原因在於表現相同之曝光時間及曝光期間之圖像。至少不至產生偽色等。
圖14係說明本實施例之概念之圖。
例如以上述實施例1~3之任一方法檢測出之移動區域係為圖14所示之較大區域即「移動區域」，且於其內部，尤其包含有產生影像劣化(偽色等)之「影像劣化區域」。
本實施例4之圖像處理裝置，係自判斷為包含有移動被攝體之「移動區域」之構成像素之中，擷取鄰接像素間所採用之被合成圖像不同之像素，並將該等作為「影像劣化區域」之構成像素進行檢測。
圖15係表示本實施例之圖像處理裝置之方塊圖之圖。與圖7之差異在於具有選擇圖像比較部207與影像劣化區域檢測部208。
其他之構成因與圖7相同而省略說明。以下，對與圖7之構成不同之處進行說明。
選擇圖像比較部207係進行如下處理，即，自圖像合成部201中輸入表示圖像合成部201之圖像合成處理中所生成之合成圖像之各構成像素，選自哪一個被合成圖像(圖像1~圖像4)之像素之選擇圖像資訊，並將選自不同圖像之鄰接像素，設定為影像劣化區域檢測對象。
參照圖16，對選擇圖像比較部207執行之處理進行說明。於圖16中表示有
(a)　不設為影像劣化區域檢測對象之例
(b)　設為影像劣化區域檢測對象之例
之該等2個示例。判定對象均為9個像素中之中心像素。
(a)　不設為影像劣化區域檢測對象之例
於該例中，作為判定對象之中心像素包括來自圖像1(T1)之選擇像素，其周圍像素之全部8個像素包括來自與中心像素相同之圖像1(T1)之選擇像素。
如此般，作為中心像素之判定像素之周圍之所有像素選自與中心像素相同之圖像之情形時，判定為不存在影像劣化之可能性，而不成為影像劣化區域檢測對象。
(b)　設為影像劣化區域檢測對象之例
另一方面，於圖16(b)所示之例中，作為判定對象之中心像素包含來自圖像1(T1)之選擇像素，其周圍像素之8個像素中2個像素包含來自與中心像素不同之圖像2(T2)之選擇像素。
如此般，於作為中心像素之判定像素之周圍，包含選自與中心像素不同之圖像之像素之情形時，判定為存在影像劣化之可能性，而成為影像劣化區域檢測對象。
選擇圖像比較部207，係將以此方式對合成圖像之構成像素，區別影像劣化區域檢測對象像素與非檢測對象像素之像素對應之判定資訊，輸出至影像劣化區域檢測部208。例如，將設定為影像劣化區域檢測對象像素=1、影像劣化區域非檢測對象像素=0之合成圖像之像素對應之影像劣化區域檢測資訊，輸出至影像劣化區域檢測部208。
影像劣化區域檢測部208係自選擇圖像比較部207中，輸入該影像劣化區域檢測資訊，並且自移動區域檢測部202中輸入基於合成圖像相互之像素值比較處理而生成之移動區域檢測資訊143。移動區域檢測資訊143係包含例如合成圖像之像素單位中設為移動區域像素=1、非移動區域畫=0之像素對應之移動區域檢測資訊等。
影像劣化區域檢測部208，係自影像劣化區域檢測資訊與移動區域檢測資訊143中，生成並輸出最終影像劣化移動區域檢測資訊144。
影像劣化區域檢測部208係對各像素，僅擷取移動區域像素=1且影像劣化區域檢測對象像素=1之像素，作為該區域影像劣化移動區域。
亦即，進行影像劣化區域檢測資訊與移動區域檢測資訊143之及處理(AND邏輯演算)，僅將移動區域且亦為影像劣化區域檢測對象之像素擷取，判定為影像劣化移動區域像素。該等以外之像素，則判定為非影像劣化移動區域像素，並將該等判定資訊輸出至像素單位中設定之影像劣化移動區域檢測資訊144。
影像劣化區域檢測部208所輸出之影像劣化移動區域檢測資訊144，係包括例如設為影像劣化移動區域像素=1且非影像劣化移動區域之像素=0之像素對應之影像劣化移動區域檢測資訊等。
本實施例不僅可應用例如具備上述專利文獻1(日本專利特開2008-99158號公報)揭示之構成之攝像元件，而且亦可應用普通常用之固體攝像元件，具體而言，可應用普通CCD影像感測器或CMOS(Complementary Metal Oxide Semiconductor)影像感測器之類的固體攝像元件。
(2-5)　實施例5
繼而，作為本發明之圖像處理裝置之實施例5，將參照圖17，對輸出影像劣化區域檢測資訊作為引起影像劣化之可能性較高之區域之檢測資訊之構成進行說明。
圖17係表示本實施例之圖像處理裝置之方塊圖之圖。攝像元件102、記憶體103之構成係與參照圖7所說明之實施例1之構成相同。
圖像處理部104之圖像合成部201之處理亦與參照圖7所說明之實施例1之構成相同，應用不同曝光時間之圖像1~4，生成合成圖像141。
輸出值有效區域檢測部209係進行如下處理，即，自圖像合成部201中輸入表示構成圖像合成部201所生成之合成圖像之各像素，選自哪一個被合成圖像(圖像1~圖像4)之像素之選擇圖像資訊。該選擇資訊係與參照圖15所說明之實施例4之選擇資訊相同之資訊。
輸出值有效區域檢測部209，係輸入該選擇資訊，對構成合成圖像之所有像素，獲取所選擇之圖像、亦即儲存於記憶體103中之合成前之被合成圖像(圖像1~4)之對應像素值，判定合成前圖像之輸出值之有效性。
例如，圖像之有效位元包含10bit資料，且位元值之可取之值、亦即數位值為(0~1023 digit)之情形時，判斷為其兩端部之位元值有效性較低。具體而言，例如，合成圖像之構成像素之位元值(0~1023 digit)滿足下述式(式3)
位元值>1000 digit或者，位元值<5 digit...(式3)
之情形時，判斷為該像素之位元值之有效性較低，從而判定為影像劣化區域。
滿足位元值>1000 digit
之該式之像素係為像素值大致達到飽和度之像素。
又，滿足
位元值<5 digit
之該式之像素係為像素值大致接近零之像素。
如此之像素，由於輸出正確之像素值之可能性較低，因此，判定為像素值無有效性之像素區域。
輸出值有效區域檢測部209係以此方式按照上述判定式(式3)，基於合成圖像之構成像素之像素值，判定像素值是否設定為亦保持著有效性之實質之像素值，並將判定結果設定為像素對應之有效性資訊之影像劣化區域檢測資訊145生成後輸出。
影像劣化區域檢測資訊145係包含表示為例如合成圖像之像素單位中滿足上述式(式3)之像素之影像劣化區域像素=1、以及表示並非為滿足上述式(式3)之像素之非影像劣化區域之像素=0之像素對應之影像劣化區域資訊等。
(2-6)　實施例6
繼而，參照圖18，對本發明之圖像處理裝置之實施例6之構成進行說明。
圖18所示之圖像處理裝置係為圖17所示之實施例5之變形例。
圖18所示之圖像處理裝置係為兼具參照圖7所說明之實施例1之構成、及參照圖17所說明之實施例5之構成之構成。
圖像合成部201中之圖像合成處理係與實施例1之處理相同之處理。
攝像元件102係輸出圖像111~114(曝光時間=T1~T4)，將其保存於記憶體103中。圖像處理部104係將該等圖像111~114(曝光時間=T1~T4)輸入，於圖像合成部201中執行圖像合成處理，從而生成合成圖像。
圖18所示之移動區域檢測部202係執行與參照圖7所說明者相同之處理。亦即，執行合成圖像間之像素值比較，將合成圖像之移動區域檢測資訊143生成後輸出至影像劣化區域檢測部208。
移動區域檢測部202所生成之移動區域檢測資訊143係包含例如於合成圖像之構成像素單位中設為移動區域像素=1且非移動區域像素=0之像素對應之移動區域檢測資訊等。
另一方面，輸出值有效區域檢測部209係自圖像合成部201中輸入表示構成圖像合成部201所生成之合成圖像之各像素，選自哪一個被合成圖像(圖像1~圖像4)之像素之選擇圖像資訊，並獲取對於構成合成圖像之所有像素之選擇圖像、亦即儲存於記憶體103中之合成前之被合成圖像(圖像1~4)之對應像素值，判定合成前圖像之輸出值之有效性。
該處理係與參照圖17所說明之實施例5之輸出值有效區域檢測部209執行之處理相同之處理。
具體而言，輸出值有效區域檢測部209係例如合成圖像之構成像素之有效位元包括10bit資料，且位元值之可取之值、亦即數位值為(0~1023 digit)之情形時，判斷為其兩端部之位元值有效性較低。具體而言，例如，合成圖像之構成像素之位元值(0~1023 digit)滿足下述式(式3)
位元值>1000 digit或者，位元值<5 digit...(式3)
之情形時，判斷為該像素之位元值之有效性較低，從而判定為影像劣化區域。將判定結果設定為像素對應之有效性資訊之影像劣化區域檢測資訊145生成後輸出。
影像劣化區域檢測資訊145係包含表示為例如於合成圖像之像素單位滿足上述式(式3)之像素之影像劣化區域像素=1、以及表示並非為滿足上述式(式3)之像素之非影像劣化區域之像素=0之像素對應之影像劣化區域資訊等。
影像劣化區域檢測部208係自影像劣化區域檢測資訊與移動區域檢測資訊143中，生成並輸出最終影像劣化移動區域檢測資訊144。
影像劣化區域檢測部208係對各像素，僅擷取移動區域像素=1且影像劣化區域像素=1之像素，並將該區域作為影像劣化移動區域。
亦即，進行影像劣化區域檢測資訊145與移動區域檢測資訊143之及處理(AND邏輯演算)，且僅擷取移動區域且亦為影像劣化區域之像素，將其等判定為影像劣化移動區域像素。該等以外之像素，則判定為非影像劣化移動區域像素，並將該等判定資訊輸出至像素單位中設定之影像劣化移動區域檢測資訊144。
影像劣化區域檢測部208所輸出之影像劣化移動區域檢測資訊144，係包括例如設為影像劣化移動區域像素=1且非影像劣化移動區域之像素=0之像素對應之影像劣化移動區域檢測資訊等。
如此般，圖18所示之實施例6之構成係具有將上述實施例5與實施例1各自之結果and之構成。
亦於本實施例6中，進行將實施例5相同之像素值接近飽和像素值之像素或接近0之像素判定為影像劣化區域之處理，而本實施例，於利用合成圖像後之資料之移動檢測處理中，選擇未檢測為移動區域之區域，作為影像劣化移動區域。
因而，於作為合成圖像之比較對象之合成圖像之對應像素值中，若無判定為移動區域之像素值之差分，則其區域將自影像劣化移動區域中排除，藉此，相比於實施例5，可避免過度之影像劣化區域檢測。
本實施例不僅可應用例如具備上述專利文獻1(日本專利特開2008-99158號公報)揭示之構成之攝像元件，而且亦可應用普通常用之固體攝像元件，具體而言，可應用普通CCD影像感測器或CMOS(Complementary Metal Oxide Semiconductor)影像感測器之類的固體攝像元件。
(2-7)　實施例7
繼而，參照圖19、圖20，對本發明之圖像處理裝置之實施例7之構成進行說明。
圖19係與圖5相同之特性圖。該圖19係對長時間曝光圖像~短時間曝光圖像之複數個圖像之獲取處理進行說明之圖。於圖19中，橫軸為時間(t)，縱軸為構成固體攝像元件之與1個像素對應之光電轉換元件之受光光電二極體(PD)中之積聚電荷量(e)。例如，於對應於受光光電二極體(PD)之受光量較多、亦即較亮之被攝體之情形時，電荷積聚量隨著時間而急遽上升。另一方面，於對應於受光光電二極體(PD)之受光量較少、亦即較暗之被攝體之情形時，電荷積聚量隨著時間而緩慢上升。
圖19係假設拍攝有移動被攝體之像素之處理之圖。該圖19表示攝影之初期較亮，接著變暗之情形。於圖19中，在初期(時間=tx~ty)之較亮狀況下，信號超過中間電位之保存位準，因此，進入短時間曝光之區域入。然而，於中途(時間=ty)，被攝體移動而使像素值變暗。
於較亮之被攝體移動而使像素值變暗之後，執行短時間曝光。如圖19所示之短時間曝光時間(T1~T3)。於該期間，由於在業已較亮之被攝體進行移動之後，因此成為拍攝較暗之被攝體之狀況，受光PD(光電二極體)之電荷積聚速度下降，圖示之線條之斜度變小而變得平直。其後，於經過長時間曝光時間(T4)之後，獲得長時間曝光輸出。於該情形時，由於拍攝有較暗之被攝體，因此，時間t2以後之期間，斜度變小，從而獲得像素未達飽和度之長時間曝光輸出。
於圖像合成處理時，將進行短時間曝光之輸出值與長時間輸出值之比較，於該例中，由於短時間曝光之輸出較小，因此有時將選擇長時間曝光之輸出。此處之問題在於，該長時間曝光之輸出值並不完全正確。其原因在於，如圖19所示，於經過長時間曝光時間(T4)之後所得之長時間曝光輸出中，載有中間電位之保存位準為止之作為偏移之信號。
若將此偏移部分減去，執行考慮有曝光時間之曝光比之調整，則可算出正確之輸出值，但實際上，中間電位中因元件而存在不均一，因此難以獲得正確之值。因而，如此之狀況下所得之合成圖像，尤其存在有影像劣化嚴重之問題。本實施例係提議檢測如此之像素檢測之方法。
圖20係表示本實施例之圖像處理裝置之方塊圖之圖。攝像元件102、記憶體103之構成係與參照圖7所說明之實施例1之構成相同。
圖像處理部104之圖像合成部201之處理亦與參照圖7所說明之實施例1之構成相同，應用不同曝光時間之圖像1~4而生成合成圖像141。
移動區域檢測部b210係自圖像合成部201中輸入表示構成圖像合成部201所生成之合成圖像之各像素，選自哪一個被合成圖像(圖像1~圖像4)之像素之選擇圖像資訊。該選擇資訊係與參照圖15所說明之實施例4之選擇資訊相同之資訊。
移動區域檢測部b210係自儲存於記憶體103中之作為被合成圖像之圖像1~4、111~114之輸出(像素值)、及圖像合成部201中輸入選擇圖像資訊。移動區域檢測部b210係對構成合成圖像之所有之像素，獲取經選擇之圖像、即儲存於記憶體103中之合成前之被合成圖像(圖像1~4)之對應像素值，判定合成圖像之構成像素是否滿足以下之條件。
選擇長時間曝光圖像(此處為圖像4(T4)114)，作為合成圖像之構成像素。
且，滿足下式中之任一式。將滿足
圖像1(T1)111之輸出>5 digit、或者圖像2(T2)112之輸出>5 digit、或者圖像3(T3)113之輸出>5 digit...(式4)
之上述條件之像素，判定為位於移動區域之像素。
其中，各圖像之有效位元包含10 bit資料，且假設位元值之可取之值、即數位值為(0~1023 digit)之情形。
上述判定處理係將短時間曝光圖像(圖像1~3)之任一個為有效之像素值(例如大於5 digit)輸出，且，作為該像素之合成圖像上之像素值，選擇長時間曝光圖像(圖像T4)之情形時，該像素係為參照圖19所說明之狀況下之像素。
將滿足該條件之像素，判定為位於移動區域之像素。
圖20所示之移動區域檢測部b210，係藉由如此之處理而生成並輸出移動區域檢測資訊143。移動區域檢測資訊143係包含例如於合成圖像之構成像素單位中設為移動區域像素=1且非移動區域像素=0之像素對應之移動區域檢測資訊等。
(2-8)　實施例8
繼而，參照圖21，對本發明之圖像處理裝置之實施例7之構成進行說明。
圖21所示之圖像處理裝置係為圖20所示之實施例7之變形例。
圖21所示之圖像處理裝置係兼具參照圖7所說明之實施例1之構成、以及參照圖20所說明之實施例7之構成之構成。
圖像合成部201中之圖像合成處理係與實施例1之處理相同之處理。
攝像元件102將圖像111~114(曝光時間=T1~T4)輸出，並將其保存於記憶體103中。圖像處理部104，係將該等圖像111~114(曝光時間=T1~T4)輸入，並於圖像合成部201中執行圖像合成處理，從而生成合成圖像。
圖21所示之移動區域檢測部202，係執行與參照圖7所說明之移動區域檢測部202相同之處理。亦即，執行合成圖像間之像素值比較，生成並輸出合成圖像之移動區域檢測資訊a143a。
移動區域檢測部202所生成之移動區域檢測資訊a143a係包含例如於合成圖像之構成像素單位中設為移動區域像素=1、及非移動區域像素=0之像素對應之移動區域檢測資訊等。
另一方面，圖21所示之移動區域檢測部b210，係執行與參照圖20所說明之移動區域檢測部b210相同之處理。
亦即，移動區域檢測部b210，係自儲存於記憶體103中之作為被合成圖像之圖像1~4、111~114之輸出(像素值)、及圖像合成部201中輸入選擇圖像資訊。移動區域檢測部b210係對構成合成圖像之所有之像素，獲取經選擇之圖像、即儲存於記憶體103中之合成前之被合成圖像(圖像1~4)之對應像素值，判定合成圖像之構成像素是否滿足以下之條件。
選擇長時間曝光圖像(此處為圖像4(T4)114)，作為合成圖像之構成像素。
且，滿足下式中之任一式。將滿足
圖像1(T1)111之輸出>5 digit、或者圖像2(T2)112之輸出>5 digit、或者圖像3(T3)113之輸出>5 digit...(式4)
之上述條件之像素，判定為位於移動區域之像素。
其中，各圖像之有效位元包含10 bit資料，且假設位元值之可取之值、即數位值為(0~1023 digit)之情形。
圖21所示之移動區域檢測部b210，係藉由如此之處理而生成並輸出移動區域檢測資訊143b。移動區域檢測資訊b143b係包含例如於合成圖像之構成像素單位中設為移動區域像素=1且非移動區域像素=0之像素對應之移動區域檢測資訊等。
檢測結果合併部211係實施移動區域檢測資訊a143a與移動區域檢測資訊b143b之合併處理。
具體而言，將移動區域檢測資訊a143a中檢測出移動區域，且，移動區域檢測資訊b143b中檢測出移動區域之區域判定為最終移動區域。
亦即，檢測結果合併部211係實施移動區域檢測資訊a143a與移動區域檢測資訊b143b之及處理(AND邏輯演算)，僅擷取2個移動區域檢測資訊之兩者中判定為移動區域之像素，並將該等判定為最終移動區域像素。該等以外之像素，則判定為非移動區域像素，並將該等判定資訊輸出至像素單位中設定之移動區域檢測資訊c143c。
移動區域檢測資訊c143c係亦包含於例如合成圖像之構成像素單位中設為移動區域像素=1且非移動區域像素=0之像素對應之移動區域檢測資訊等。
亦於本實施例8中，與實施例7相同，參照先前參照圖19所說明之各曝光時間之圖像之像素值，進行移動區域判定處理，本實施例係於利用有合成圖像後之資料之移動檢測處理中，不將未檢測為移動區域之區域，選擇為影像劣化移動區域。
因而，作為合成圖像之比較對象之合成圖像之對應像素值中，若無判定為移動區域之像素值之差分，則其區域將自移動區域中排除，藉此，相比於實施例7，可避免過度之移動區域檢測。
(2-9)　實施例9
實施例1、2係無法共存者，但實施例3~8之方法則可結合用途而加以組合。
圖22係表示上述實施例1、3、4、6、8組合而成之實施例之圖。又，圖23係表示實施例1、3、4、5、7組合而成之實施例之圖。
圖22所示之圖像處理裝置之構成，係具有執行以下處理之構成。
於移動區域檢測部202中，藉由合成圖像間之像素值比較而進行移動區域之檢測。
(實施例1(參照圖7))
合成前圖像比較部205，係對合成前之被合成圖像、亦即不同曝光時間T1~T4(T1<T2<T3<T4)之各圖像之像素，進行具有預先設定之臨限值亮度位準(圖12之Th2)以上之亮度的像素之像素值比較，過度檢測去除部206係於長時間曝光圖像之輸出值、與短時間曝光圖像之輸出值之差分未達預先設定之臨限值之情形時，判斷為非移動區域，從而進行取消移動區域之判定之過度檢測去除處理。(實施例3(參照圖13))
再者，輸出移動區域檢測資訊143作為該過度檢測去除結果。移動區域檢測資訊143係包含例如於合成圖像之像素單位中設為移動區域像素=1且非移動區域像素=0之像素對應之移動區域檢測資訊等。
選擇圖像比較部207係進行如下處理，即，自圖像合成部201中輸入表示圖像合成部201之圖像合成處理中所生成之合成圖像之各構成像素，選自哪一個被合成圖像(圖像1~圖像4)之像素之選擇圖像資訊，並將選自不同圖像之鄰接像素，設定為影像劣化區域檢測對象(實施例4(參照圖14及圖15))。
輸出值有效區域檢測部209，係自圖像合成部201中輸入表示構成圖像合成部201所生成之合成圖像之各像素，選自哪一個被合成圖像(圖像1~圖像4)之像素之選擇圖像資訊，並獲取對於構成合成圖像之所有像素而選擇之圖像、亦即儲存於記憶體103中之合成前之被合成圖像(圖像1~4)之對應像素值，從而判定合成前圖像之輸出值之有效性。
具體而言，例如，於合成圖像之構成像素之位元值(0~1023 digit)滿足下式(式3)
位元值>1000 digit或者位元值<5 digit...(式3)
之情形時，判斷該像素之位元值之有效性較低，從而判定為影像劣化區域。(實施例6(參照圖18))。
移動區域檢測部b210，係自圖像合成部201中輸入表示構成圖像合成部201所生成之合成圖像之各像素，選自哪一個被合成圖像(圖像1~圖像4)之像素之選擇圖像資訊。進而，獲取對構成合成圖像之所有之像素所選擇之圖像、即儲存於記憶體103中之合成前之被合成圖像(圖像1~4)之對應像素值，從而判定合成圖像之構成像素是否滿足以下之條件。
將滿足
圖像1(T1)111之輸出>5 digit、或者圖像2(T2)112之輸出>5 digit、或者圖像3(T3)113之輸出>5 digit...(式4)
之上述條件之像素，判定為位於移動區域之像素。
其中，各圖像之有效位元包含10 bit資料，且假設位元值之可取之值、即數位值為(0~1023 digit)之情形。
(實施例8(參照圖19、及圖21))
影像劣化區域檢測部208係輸入
(a)　選擇圖像比較部207所生成之影像劣化區域判定資訊(基於是否為具有選自不同之圖像中之鄰接像素之像素之影像劣化區域判定資訊)、
(b)　輸出值有效區域檢測部209所生成之影像劣化區域判定資訊(基於合成圖像之位元值是否接近0或者飽和值之影像劣化區域判定資訊)、
(c)　移動區域檢測部b210所生成之影像劣化區域判定資訊(基於是否為長時間曝光圖像之輸出之設定像素且短時間曝光圖像之任一圖像具備有效像素值之像素之影像劣化區域判定資訊)
之該等影像劣化區域判定資訊。
影像劣化區域檢測部208係將上述(a)~(c)之影像劣化區域判定資訊之任一者中判定為影像劣化區域之區域最終決定為影像劣化區域。
進而，影像劣化區域檢測部208，係生成並輸出將自過度檢測去除部206中輸入之移動區域檢測資訊143中，判定為移動區域之像素區域且於上述(a)~(c)之影像劣化區域判定資訊之任一者中判定為影像劣化區域之區域設定為影像劣化區域，並將其等之重複區域設定為影像劣化移動區域之影像劣化移動區域檢測資訊144。
影像劣化區域檢測部208所輸出之影像劣化移動區域檢測資訊144係例如包括設為影像劣化移動區域像素=1且非影像劣化移動區域像素=0之像素對應之影像劣化移動區域檢測資訊等。
又，圖23係表示實施例1、3、4、5、7組合而成之實施例之圖。
圖23所示之圖像處理裝置之構成，係具有執行以下處理之構成。
於移動區域檢測部202中，藉由合成圖像間之像素值比較而進行移動區域之檢測。
(實施例1(參照圖7))
合成前圖像比較部205，係對合成前之被合成圖像、亦即不同曝光時間T1~T4(T1<T2<T3<T4)之各圖像之像素，進行具有預先設定之臨限值亮度位準(圖12之Th2)以上之亮度的像素之像素值比較，過度檢測去除部206係於長時間曝光圖像之輸出值、與短時間曝光圖像之輸出值之差分未達預先設定之臨限值之情形時，判斷為非移動區域，從而進行取消移動區域之判定之過度檢測去除處理。(實施例3(參照圖13))
再者，輸出移動區域檢測資訊143作為該過度檢測去除結果。移動區域檢測資訊143係包含例如於合成圖像之像素單位中設為移動區域像素=1且非移動區域像素=0之像素對應之移動區域檢測資訊等。
選擇圖像比較部207係進行如下處理，即，自圖像合成部201中輸入表示圖像合成部201之圖像合成處理中所生成之合成圖像之各構成像素，選自哪一個被合成圖像(圖像1~圖像4)之像素之選擇圖像資訊，並將選自不同圖像之鄰接像素，設定為影像劣化區域檢測對象(實施例4(參照圖14及圖15))。
輸出值有效區域檢測部209，係自圖像合成部201中輸入表示構成圖像合成部201所生成之合成圖像之各像素，選自哪一個被合成圖像(圖像1~圖像4)之像素之選擇圖像資訊，並獲取對於構成合成圖像之所有像素而選擇之圖像、亦即儲存於記憶體103中之合成前之被合成圖像(圖像1~4)之對應像素值，從而判定合成前圖像之輸出值之有效性。
具體而言，例如，於合成圖像之構成像素之位元值(0~1023 digit)滿足下式(式3)
位元值>1000 digit或者位元值<5 digit...(式3)
之情形時，判斷該像素之位元值之有效性較低，從而判定為影像劣化區域。(實施例5(參照圖17))。
移動區域檢測部b210，係自圖像合成部201中輸入表示構成圖像合成部201所生成之合成圖像之各像素，選自哪一個被合成圖像(圖像1~圖像4)之像素之選擇圖像資訊。進而，獲取對構成合成圖像之所有之像素所選擇之圖像、即儲存於記憶體103中之合成前之被合成圖像(圖像1~4)之對應像素值，從而判定合成圖像之構成像素是否滿足以下之條件。
將滿足
圖像1(T1)111之輸出>5 digit、或者圖像2(T2)112之輸出>5 digit、或者圖像3(T3)113之輸出>5 digit...(式4)
之上述條件之像素，判定為位於移動區域之像素。
其中，各圖像之有效位元包含10 bit資料，且假設位元值之可取之值、即數位值為(0~1023 digit)之情形。
(實施例7(參照圖19、圖20))
影像劣化區域檢測部208係輸入選擇圖像比較部207所生成之影像劣化區域判定資訊(基於是否為具有選自不同之圖像中之鄰接像素之像素之影像劣化區域判定資訊)。
影像劣化區域檢測部208係將自過度檢測去除部206中輸入之移動區域檢測資訊143中判定為移動區域之像素區域、且於上述影像劣化區域判定資訊中判定為影像劣化區域之區域設定為影像劣化區域之影像劣化移動區域檢測資訊輸出至檢測結果合併部211。
檢測結果合併部211，係輸入
(a)　影像劣化區域檢測部208所生成之影像劣化移動區域檢測資訊、
(b)　輸出值有效區域檢測部209所生成之影像劣化區域判定資訊(基於合成圖像之位元值是否接近0或者飽和值之影像劣化區域判定資訊)、
(c)　移動區域檢測部b210所生成之影像劣化區域判定資訊(基於是否為長時間曝光圖像之輸出之設定像素且短時間曝光圖像之任一圖像具備有效像素值之像素之影像劣化區域判定資訊)
之該等影像劣化區域判定資訊。
檢測結果合併部211係將上述(a)影像劣化移動區域檢測資訊、及(b)~(c)之影像劣化區域判定資訊中之任一者中判定為影像劣化移動區域或者影像劣化區域之區域最終決定為影像劣化移動區域，並將具有該資訊之影像劣化移動區域檢測資訊144輸出。
檢測結果合併部211所輸出之影像劣化移動區域檢測資訊144係包括例如設為影像劣化移動區域像素=1且非影像劣化移動區域像素=0之像素對應之影像劣化移動區域檢測資訊等。
(2-10)　實施例10
上述實施例1~9係於因系統之制約等而未能獲得先前之合成圖像時無法使用。於如此之情形時，圖24表示第10實施例，作為較佳之移動被攝體檢測手段之實施例。
本實施例係對曝光時間為T1~T4(T1<T2<T3<T4)之4個圖像之信號位準進行比較，從而檢測移動被攝體。
攝像元件102係輸出圖像111~114(曝光時間=T1~T4)，並將其保存於記憶體103中。
相關性檢測部a、301、相關性檢測部b、302、相關性檢測部c、303係分別將圖像1(曝光時間T1)111與圖像2(曝光時間T2)112、圖像2(曝光時間T2)112與圖像3(曝光時間T3)113、圖像3(曝光時間T3)113與圖像4(曝光時間T4)114輸入，並以圖25所示之長時間曝光圖像與短時間曝光圖像之相關關係為基準，進行像素值比較。
相關性檢測部301~303，係於像素值比較之情形時，考慮到固體攝像元件之雜訊或光之散粒雜訊之影響，而於自基準直線超出一定程度之容許量時判斷為移動被攝體。
本實施例係於中壓之不均一相對較小之情形時較為有效。
圖25所示之長時間曝光圖像與短時間曝光圖像之相關關係，係於使長時間曝光圖像(LE)與短時間曝光圖像(SE)之曝光時間比設為曝光比A(LE/SE)之情形時，於區域1=具有未獲得短時間曝光圖像之輸出之相關關係線之低輸出區域、區域2=具有大於曝光比A(LE/SE)之斜度之相關關係線之中輸出區域、區域3=具有根據曝光比A(LE/SE)而決定之相關關係線之高輸出區域之該等3個區域之區分區域中，由不同之斜度定義之相關關係資料。
圖25所示之相關關係係與參照圖12所說明之相關關係相同。
圖25所示之相關關係係為基於作為比較對象之不同曝光時間之圖像之輸出值之相關性而作成之相關資訊。此處，臨限值Th1及Th2係分別由比較對象之圖像所設定者，且必需預先求出。
圖24所示之本實施例之圖像處理裝置，係相關性檢測部a、301將圖像1(曝光時間T1)111與圖像2(曝光時間T2)112作為輸入，並以圖25所示之長時間曝光圖像與短時間曝光圖像之相關關係為基準，進行對應之像素值之比較。
於像素值之比較結果位於該圖25所示之線條上時、或者雖偏離該線條但處於預定之臨限值以內時，則判定為非移動區域。
同樣地，相關性檢測部b、302亦將圖像2(曝光時間T2)112與圖像3(曝光時間T3)113作為輸入，並以圖25所示之長時間曝光圖像與短時間曝光圖像之相關關係作為基準，進行對應之像素值之比較。
於像素值之比較結果位於該圖25所示之線條上時、或者雖偏離該線條但處於預定之臨限值以內時，則判定為非移動區域。
同樣地，相關性檢測部c、303亦將圖像3(曝光時間T3)113與圖像4(曝光時間T4)114作為輸入，並以圖25所示之相關關係作為基準，進行對應之像素值之比較。
於像素值之比較結果位於該圖25所示之線條上時、或者雖偏離該線條但處於預定之臨限值以內時，則判定為非移動區域。
如此般，本實施例之圖像處理部104之相關性檢測部，係應用與根據各曝光時間之攝像元件之特性相應之相關關係資訊，執行不同曝光時間之圖像之對應像素之像素值比較，且於存在預先設定之臨限值以上之差分之情形時判定為移動區域。
檢測結果合併部310係將該等相關性檢測部301~303之檢測結果輸入，且進行將任一檢測結果中判定為移動區域之像素區域判定為最終移動區域之處理，並將具有該資訊之移動區域檢測資訊143輸出。
檢測結果合併部310所輸出之移動區域檢測資訊143係包含例如移動區域像素=1、非移動區域像素=0之像素對應之移動區域檢測資訊等。
本實施例之構成中無需合成圖像之生成處理，故即便不執行合成處理生成之構成中亦可應用。又，亦可應用於如下處理：於合成圖像開始以前，藉由圖24所示之處理來判別移動區域，並應用其判別結果，執行對移動區域之修正等，從而生成合成圖像。
以上，說明了複數個實施例(實施例1~10)。
實施例1~3係於應用具備例如上述專利文獻1(日本專利特開2008-99158號公報)揭示之構成之攝像元件之情形時，可良好地檢測移動被攝體區域。
實施例1係為最簡易之構成，實施例2係與實施例1相比，需要處理速度，但可更進一步縮小範圍進行檢測。實施例3係構成略微複雜，但可以與實施例1相同之處理速度進行縮小範圍檢測。
實施例4~8揭示之構成，係可檢測影像劣化更嚴重之情況。
實施例9係處理複雜，且電路規模變大，但可進行高性能之檢測。
實施例10係即便無法獲得先前合成圖像時，亦可相對良好地檢測移動被攝體區域。
以上，一面參照特定之實施例，一面詳細解釋了本發明。然而，應瞭解業者可於不脫離本發明精神之範圍內變更或代用實施例。亦即，以上以例示之形態揭示了本發明，但並非作限定性解釋。判斷本發明之要旨，應參考申請專利之範圍。
又，說明書中所說明之系列處理可藉由硬體或軟體、或者兩者之複合構成來執行。於執行軟體處理之情形時，可將記錄有處理序列之程式，安裝於專用之硬體中所組裝之電腦內之記憶體中執行，或者將程式安裝於可執行各種處理之通用電腦中執行。例如，程式可預先記錄於記錄媒體中。除了可自記錄媒體安裝於電腦以外，亦可經由區域網路(LAN、Local Area Network)、網際網路之類的網絡接收程式，並將該程式安裝於內具之硬碟等記錄媒體中。
再者，說明書所揭示之各種處理，不僅可按照揭示以時間序列執行，而且亦可根據處理之裝置之處理能力或者需要，而並行或者單獨執行。又，本說明書中所謂系統，係指複數個裝置之邏輯集合構成，不僅限於各構成之裝置位於同一構體內。
[產業上之可利用性]
如以上所說明般，根據本發明之一實施例之構成，於輸入不同曝光時間之複數個圖像，並生成選擇性組合有各個有效像素值之廣域動態範圍圖像之處理中，可有效地檢測出偽色等作為影像劣化之產生因素之被攝體之移動區域。例如，執行藉由不同曝光時間之複數個圖像而生成之合成圖像之比較，並基於其比較結果，檢測移動區域。根據該處理，可進行因攝像元件之特性之不均一造成之誤檢測得到抑制之高精度之移動區域檢測。
10．．．亮度臨限值位準
11．．．高亮度區域
12．．．低亮度區域
101．．．光學透鏡
102．．．攝像元件
103．．．記憶體
104．．．圖像處理部
105．．．控制部
111~118．．．圖像
120．．．輸出圖像
141．．．合成圖像
141a．．．合成圖像a
141b．．．合成圖像b
143．．．移動區域檢測資訊
143a．．．移動區域檢測資訊a
143b．．．移動區域檢測資訊b
143c．．．移動區域檢測資訊c
144．．．影像劣化移動區域檢測資訊
145．．．影像劣化區域檢測資訊
151．．．超高亮度區域
152．．．高亮度區域
153．．．中期度區域
154．．．低亮度區域
201．．．圖像合成部
202．．．移動區域檢測部
203．．．圖框記憶體
205．．．合成前圖像比較部
206．．．過度檢測去除部
207．．．選擇圖像比較部
208．．．影像劣化區域檢測部
209．．．輸出值有效區域檢測部
210．．．移動區域檢測部b
211．．．檢測結果合併部
301~303．．．相關性檢測部
310．．．檢測結果合併部
P1．．．電荷拂掠開始點
P2．．．短時間曝光開始點
P3．．．短時間曝光結束點
Px．．．飽和點
Py．．．非飽和點
T1、T2、T3、T4．．．曝光時間
TL．．．長時間曝光
TS．．．短時間曝光
圖1係對將複數個不同曝光量之圖像合成而獲得寬廣之動態範圍之圖像之處理進行說明之圖；
圖2係對長時間曝光圖像(LE)之輸出值(亮度)與短時間曝光圖像(SE)之輸出值(亮度)之對應關係進行說明之圖；
圖3係對本發明之圖像處理裝置之整體構成例進行說明之圖；
圖4係說明本發明之實施例1之圖像處理裝置之圖像處理部104之處理之圖；
圖5係對利用曝光時間T1~T4之4個圖像，合成1個廣域動態範圍圖像之合成處理之一例進行說明之圖；
圖6係對合成圖像間之像素值之對應關係進行說明之圖；
圖7係對利用合成圖像間之相關性檢測移動區域之處理進行說明之圖；
圖8係對第2實施例之圖像處理裝置所執行之圖像處理進行說明之圖；
圖9係說明第2實施例之圖像處理裝置之處理之方塊圖；
圖10係說明第2實施例之圖像處理裝置之處理之方塊圖；
圖11係對第3實施例之圖像處理裝置所執行之圖像處理進行說明之圖；
圖12係對長時間曝光圖像之輸出值與短時間曝光圖像之輸出值之對應關係進行說明之圖；
圖13係說明第3實施例之圖像處理裝置之處理之方塊圖；
圖14係說明第4實施例之2個概念之圖；
圖15係說明第4實施例之圖像處理裝置之處理之方塊圖；
圖16(a)、(b)係對檢測對象像素與周圍像素之比較處理進行說明之圖；
圖17係說明第5實施例之圖像處理裝置之處理之方塊圖；
圖18係說明第6實施例之圖像處理裝置之處理之方塊圖；
圖19係對被攝體移動時之攝像元件之輸出信號之例進行說明之圖；
圖20係說明第7實施例之圖像處理裝置之處理之方塊圖；
圖21係說明第8實施例之圖像處理裝置之處理之方塊圖；
圖22係說明第9實施例之圖像處理裝置之處理之方塊圖；
圖23係說明第9實施例之圖像處理裝置之處理之方塊圖；
圖24係說明第10實施例之圖像處理裝置之處理之方塊圖；及
圖25係對應用於第10實施例之圖像處理裝置之處理中之長時間曝光圖像與短時間露光圖像之輸出值之對應關係進行說明之圖。
11‧‧‧高亮度區域
12‧‧‧低亮度區域
P1‧‧‧電荷拂掠開始點
P2‧‧‧短時間曝光開始點
P3‧‧‧短時間曝光結束點
Px‧‧‧飽和點
Py‧‧‧非飽和點
Sa,Sb‧‧‧電荷積聚量
TL‧‧‧長時間曝光
TS‧‧‧短時間曝光
t0-t3‧‧‧時間

Claims (11)

  1. 一種圖像處理裝置，其包括：圖像合成部，其係將不同曝光時間之攝影圖像合成而生成合成圖像；以及移動區域檢測部，其係執行如下移動區域檢測處理，即，進行上述圖像合成部所生成之複數個合成圖像之比較處理，獲得像素值差分，並將該像素值差分與預先設定之臨限值進行比較，將像素值差分為臨限值以上之像素區域判定為推測被攝體產生移動之移動區域。
  2. 如請求項1之圖像處理裝置，其中上述圖像合成部之構成係每輸入一個不同曝光時間之攝影圖像時，將新輸入圖像與輸入完成之不同曝光時間之攝影圖像進行組合而生成合成圖像，上述移動區域檢測部係將上述圖像合成部所生成之連續2個合成圖像之對應像素之像素值進行比較，並執行移動區域檢測處理。
  3. 如請求項1或2之圖像處理裝置，其中上述圖像處理裝置進一步包括：合成前圖像比較部，其將上述合成圖像之生成要素即被合成圖像間之對應像素之輸出值進行比較，獲取被合成圖像像素值差分；以及過度檢測去除部，其對上述移動區域檢測部所檢測之移動區域之對應像素，進行上述被合成圖像像素值差分與預先設定之第2臨限值之比較，並判定上述被合成圖 像像素值差分未達第2臨限值之像素區域不屬於移動區域。
  4. 如請求項1或2之圖像處理裝置，其中上述圖像處理裝置進一步包括影像劣化區域檢測部，該影像劣化區域檢測部係利用上述合成圖像之生成要素即被合成圖像之像素對應選擇資訊，將合成圖像上之鄰接像素中設定有不同曝光時間之攝影圖像之像素之像素區域判定為影像劣化區域，且將擷取上述移動區域檢測部所檢測之移動區域且上述影像劣化區域之像素區域作為影像劣化移動區域之影像劣化移動區域檢測資訊輸出。
  5. 如請求項1或2之圖像處理裝置，其中上述圖像處理裝置進一步包括：輸出值有效區域檢測部，其利用上述合成圖像之生成要素即被合成圖像之像素對應選擇資訊，針對合成圖像之各像素，獲取被合成圖像之像素值，且於被合成圖像之像素值接近0或者接近飽和值之情形時，將該像素區域判定為輸出值之有效性較低；以及影像劣化區域檢測部，其將上述輸出值有效區域檢測部所檢測之輸出值之有效性較低之像素區域判斷為影像劣化之可能性較高之影像劣化區域，且將擷取上述移動區域檢測部所檢測之移動區域且上述影像劣化區域之像素區域作為影像劣化移動區域之影像劣化移動區域檢測資訊輸出。
  6. 如請求項1或2之圖像處理裝置，其中上述圖像處理裝置進一步包括檢測結果合併部，該檢測結果合併部係具有利用上述合成圖像之生成要素即被合成圖像之像素對應選擇資訊，將合成圖像中所利用之像素為長時間曝光圖像之像素且具有與該像素對應之短時間曝光圖像之像素值不接近0之有效像素值之像素判定為移動區域之第2移動區域檢測部，且輸出將上述移動區域檢測部判定為移動區域且上述第2移動區域檢測部判定為移動區域之區域作為最終移動區域之移動區域檢測資訊。
  7. 一種圖像處理裝置，其包括：圖像合成部，其將不同曝光時間之攝影圖像合成而生成合成圖像；以及輸出值有效區域檢測部，其利用上述合成圖像之生成要素即被合成圖像之像素對應選擇資訊，針對合成圖像之各像素，獲取被合成圖像之像素值，且於被合成圖像之像素值接近0或者接近飽和值之情形時，將該像素區域判定為輸出值之有效性較低，且將表明該區域為影像劣化之可能性較高之影像劣化區域之影像劣化區域檢測資訊輸出。
  8. 一種圖像處理裝置，其包括：圖像合成部，其將不同曝光時間之攝影圖像合成而生成合成圖像；以及移動區域檢測部，其係利用上述合成圖像之生成要素 即被合成圖像之像素對應選擇資訊，將合成圖像中所利用之像素為長時間曝光圖像之像素且具有與該像素對應之短時間曝光圖像之像素值不接近0之有效像素值之像素判定為移動區域，且將表明移動區域之移動區域檢測資訊輸出。
  9. 一種攝像裝置，其包括：攝像元件，其拍攝不同曝光時間之攝影圖像；以及圖像處理部，其執行如請求項1至8中任一項之圖像處理。
  10. 一種圖像處理方法，其係於圖像處理裝置中執行之圖像處理方法，且包括：圖像合成步驟，其係圖像合成部將不同曝光時間之攝影圖像合成而生成合成圖像；以及移動區域檢測步驟，其係移動區域檢測部執行如下移動區域檢測處理，即，進行上述圖像合成部所生成之複數個合成圖像之比較處理，獲得像素值差分，並將該像素值差分與預先設定之臨限值進行比較，將像素值差分為臨限值以上之像素區域判定為推測被攝體產生移動之移動區域。
  11. 一種圖像處理程式，其係於圖像處理裝置中執行圖像處理之程式，且包括：圖像合成步驟，其係使圖像合成部合成不同曝光時間之攝影圖像而生成合成圖像；以及移動區域檢測步驟，其係使移動區域檢測部執行如下 移動區域檢測處理，即，進行上述圖像合成部所生成之複數個合成圖像之比較處理，獲得像素值差分，並將該像素值差分與預先設定之臨限值進行比較，將像素值差分為臨限值以上之像素區域判定為推測被攝體產生移動之移動區域。
TW099130747A 2009-09-18 2010-09-10 An image processing apparatus, an image pickup apparatus, an image processing method, and an image processing program TWI432019B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009216529 2009-09-18
JP2009288018A JP5458865B2 (ja) 2009-09-18 2009-12-18 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
TW201134209A TW201134209A (en) 2011-10-01
TWI432019B true TWI432019B (zh) 2014-03-21

Family

ID=43126995

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099130747A TWI432019B (zh) 2009-09-18 2010-09-10 An image processing apparatus, an image pickup apparatus, an image processing method, and an image processing program

Country Status (5)

Country Link
US (1) US8508611B2 (zh)
EP (1) EP2309457A1 (zh)
JP (1) JP5458865B2 (zh)
CN (1) CN102025917B (zh)
TW (1) TWI432019B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
KR101604068B1 (ko) * 2009-09-22 2016-03-17 삼성전자주식회사 고대비 영상 생성 장치 및 방법
JP5156148B2 (ja) * 2010-07-28 2013-03-06 富士フイルム株式会社 撮像装置及び撮像方法
JP5150795B2 (ja) * 2010-09-27 2013-02-27 富士フイルム株式会社 撮像装置及び撮像方法
JP5968068B2 (ja) * 2011-05-24 2016-08-10 キヤノン株式会社 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP2013021636A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5797072B2 (ja) * 2011-09-22 2015-10-21 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
JP5896788B2 (ja) * 2012-03-07 2016-03-30 キヤノン株式会社 画像合成装置及び画像合成方法
JP5654511B2 (ja) * 2012-03-14 2015-01-14 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5587932B2 (ja) * 2012-03-14 2014-09-10 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
US9131172B2 (en) * 2012-11-30 2015-09-08 Hanwha Techwin Co., Ltd. Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
US9307207B2 (en) * 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
KR101871945B1 (ko) * 2013-01-17 2018-08-02 한화에어로스페이스 주식회사 영상 처리 장치 및 방법
JP6172967B2 (ja) * 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法
JP5889247B2 (ja) * 2013-07-02 2016-03-22 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
TWI464526B (zh) * 2013-08-08 2014-12-11 Quanta Comp Inc 高動態範圍影像曝光時間控制方法
US8830367B1 (en) 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
JP5888348B2 (ja) * 2014-01-23 2016-03-22 カシオ計算機株式会社 撮像装置、撮像制御方法、及びプログラム
JP2015144339A (ja) * 2014-01-31 2015-08-06 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
CN103873777A (zh) * 2014-03-26 2014-06-18 深圳市金立通信设备有限公司 一种照片合成方法及终端
US9544505B2 (en) * 2014-04-11 2017-01-10 Hanwha Techwin Co., Ltd. Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
JP2016044995A (ja) * 2014-08-20 2016-04-04 セイコーエプソン株式会社 測色方法、測色装置および電子機器
US10944911B2 (en) * 2014-10-24 2021-03-09 Texas Instruments Incorporated Image data processing for digital overlap wide dynamic range sensors
KR102289261B1 (ko) * 2014-10-30 2021-08-12 한화테크윈 주식회사 움직임 영역 검출 장치 및 방법
GB2537886B (en) * 2015-04-30 2022-01-05 Wsou Invest Llc An image acquisition technique
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
JP2017046259A (ja) * 2015-08-28 2017-03-02 ルネサスエレクトロニクス株式会社 半導体装置
JP6635722B2 (ja) * 2015-09-01 2020-01-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9521351B1 (en) 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
CN107197167B (zh) * 2016-03-14 2019-12-20 杭州海康威视数字技术股份有限公司 一种获得图像的方法及装置
JP2017208604A (ja) * 2016-05-16 2017-11-24 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム
CN112565622B (zh) * 2016-07-01 2022-10-28 麦克赛尔株式会社 拍摄装置
JP7025223B2 (ja) * 2018-01-18 2022-02-24 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN108335272B (zh) * 2018-01-31 2021-10-08 青岛海信移动通信技术股份有限公司 一种拍摄图片的方法及设备
JP6995013B2 (ja) * 2018-05-15 2022-01-14 国際航業株式会社 監視システム
CN110891140B (zh) * 2018-08-16 2021-07-20 佳能株式会社 摄像装置、图像处理装置及其控制方法和存储介质
CN109447929B (zh) * 2018-10-18 2020-12-04 北京小米移动软件有限公司 图像合成方法及装置
CN109819163A (zh) * 2019-01-23 2019-05-28 努比亚技术有限公司 一种图像处理控制方法、终端及计算机可读存储介质
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
US20240221139A1 (en) * 2021-05-17 2024-07-04 Sony Group Corporation Image processing apparatus, image processing method, and program
CN113905183B (zh) * 2021-08-25 2024-04-16 珠海全志科技股份有限公司 宽动态范围图像的色差校正方法及装置
WO2023065197A1 (zh) * 2021-10-21 2023-04-27 华为技术有限公司 运动目标检测方法、装置以及检测设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP4245699B2 (ja) * 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
US7193652B2 (en) * 1999-08-17 2007-03-20 Applied Vision Systems, Inc. Dynamic range video recording and playback system and method
JP3515502B2 (ja) * 2000-09-05 2004-04-05 三洋電機株式会社 合成画像形成装置
JP4511066B2 (ja) * 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
JP2004048445A (ja) * 2002-07-12 2004-02-12 Fuji Photo Film Co Ltd 画像合成方法及び装置
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP4418317B2 (ja) * 2004-07-21 2010-02-17 オリンパス株式会社 撮像装置
JP4837406B2 (ja) * 2006-03-10 2011-12-14 オリンパスイメージング株式会社 電子的ぶれ補正装置および電子的ぶれ補正方法
US7714903B2 (en) * 2006-08-29 2010-05-11 Zoran Corporation Wide dynamic range image capturing system method and apparatus
JP4973115B2 (ja) 2006-10-16 2012-07-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
JP4905187B2 (ja) 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US8144214B2 (en) * 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
CN101394487B (zh) * 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统

Also Published As

Publication number Publication date
EP2309457A1 (en) 2011-04-13
US20110069205A1 (en) 2011-03-24
US8508611B2 (en) 2013-08-13
JP2011087269A (ja) 2011-04-28
JP5458865B2 (ja) 2014-04-02
TW201134209A (en) 2011-10-01
CN102025917A (zh) 2011-04-20
CN102025917B (zh) 2014-09-24

Similar Documents

Publication Publication Date Title
TWI432019B (zh) An image processing apparatus, an image pickup apparatus, an image processing method, and an image processing program
JP5589446B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US9571742B2 (en) Image capture apparatus and control method thereof
TWI397321B (zh) 影像處理裝置，影像裝置，影像處理方法及電腦程式
US8466976B2 (en) Digital camera providing high dynamic range images
US8436910B2 (en) Image processing apparatus and image processing method
US20110149111A1 (en) Creating an image using still and preview
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
US20120105681A1 (en) Method for producing high dynamic range images
US8767095B2 (en) Imaging apparatus, external flash correction method, recording medium, and integrated circuit
US10027919B2 (en) Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method
CN111586312B (zh) 自动曝光的控制方法及装置、终端、存储介质
US10462367B2 (en) Image capture having temporal resolution and perceived image sharpness
US20130063622A1 (en) Image sensor and method of capturing an image
JP5219933B2 (ja) 撮像装置およびその制御方法
JP5452269B2 (ja) 撮像装置
JP2016111568A (ja) 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム
JP2014175778A (ja) 撮像装置および撮像方法
JP6223166B2 (ja) 画像合成装置、画像合成方法、撮像装置、プログラム及び記憶媒体
JP2016096463A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees