TW201804366A - 圖像處理裝置、相關的深度估計系統及深度估計方法 - Google Patents

Abstract

本發明提供一種圖像處理裝置，包括：接收單元，用於接收捕獲圖像；以及處理單元，與該接收單元電連接以確定該捕獲圖像上的第一子圖像和第二子圖像，以計算該第一子圖像的特徵與該第二子圖像的對應特徵之間的關係，並藉由該關係的視差來計算該捕獲圖像的深度圖；其中該第一子圖像的該特徵與該第二子圖像的該對應特徵相關，並且該第一子圖像的場景與該第二子圖像的場景至少部分地重疊。

Description

圖像處理裝置、相關的深度估計系統及深度估計方法

本發明所揭露之實施例有關於圖像處理裝置和相關的深度估計系統、以及相關的深度估計方法，尤指一種能夠藉由單個圖像捕獲單元生成的單個捕獲圖像來計算深度圖的圖像處理裝置，以及相關的深度估計系統和相關的深度估計方法。

隨著技術的發展，深度估計技術被廣泛應用於消費電子設備，以用於環境檢測；例如，行動設備可以具有深度估計功能，以藉由特定應用程序來檢測地標的距離，相機可以具有深度估計功能，以便在該相機設置於無人機（drone）或車輛上時繪製地形圖（topographic map）。常規的深度估計技術利用分別設置於不同位置上的兩個圖像感測器，並被驅動以藉由不同的視角捕獲測試對象（tested object）的圖像。計算該圖像之間的差異以形成深度圖。然而，傳統的行動設備和無人機上的常規相機具有有限的相機接口，並且沒有足夠的空間來容納兩個圖像感測器；該行動設備或具有兩個圖像感測器的該相機的産品成本相應昂貴。

另一種常規的深度估計技術具有設置於行動平臺（例如無人機和車輛）上的光學感測器，光學感測器在第一時間點捕獲關於測試對象的第一圖像，接著相同的光學感測器藉由行動平臺被移位，並在第二時間點捕獲關於測試對象的第二圖像。利用測試對象在第一圖像和第二圖像上的已知距離和視角（vision angle）來計算測試對象相對於光學感測器的位移（displacement）和旋轉（rotation），並且相應地計算深度圖。該傳統的深度估計技術對於無人機和車輛是不方便的，因爲光學感測器不能準確地計算位於無人機和車輛的直線運動軌跡上的測試對象的位置參數。

此外，傳統的主動（active）光源深度估計技術利用主動光源以輸出檢測信號，以投影到測試對象上，然後從測試對象接收反射信號，以藉由分析檢測信號和反射信號來計算測試對象的位置參數。傳統的主動光源深度估計技術具有昂貴的使用成本，並且功耗大。此外，傳統的立體攝像機（stereo camera）驅動兩個圖像感測器來分別捕獲具有不同視角的圖像，兩個圖像感測器需要高精度的自動曝光、自動白平衡和時間同步，使得傳統的立體相機具有昂貴的製造成本和操作複雜的缺點。

依據本發明的示範性實施例，提出一種圖像處理裝置、相關的深度估計系統及深度估計方法以解決上述問題。

依據本發明的一實施例，提出一種圖像處理裝置，包括：接收單元，用於接收捕獲圖像；以及處理單元，與該接收單元電連接以確定該捕獲圖像上的第一子圖像和第二子圖像，以計算該第一子圖像的特徵與該第二子圖像的對應特徵之間的關係，並藉由該關係的視差來計算該捕獲圖像的深度圖；其中該第一子圖像的該特徵與該第二子圖像的該對應特徵相關，並且該第一子圖像的場景與該第二子圖像的場景至少部分地重疊。

依據本發明另一實施方式，提供一種深度估計系統，包括：至少一個虛擬圖像生成單元，設置於面向該深度估計系統的檢測方向的位置上；圖像捕獲單元，與該虛擬圖像生成單元相鄰設置，並具有寬視野功能，該圖像捕獲單元藉由該寬視野功能生成包含該虛擬圖像生成單元的捕獲圖像；以及圖像處理裝置，電連接到該圖像捕獲單元，該圖像處理裝置用於確定該捕獲圖像上的第一子圖像和第二子圖像，以計算該第一子圖像的特徵和該第二子圖像的對應特徵之間的關係，並藉由該關係的視差來計算該捕獲圖像的深度圖；其中該第一子圖像的該特徵與該第二子圖像的該對應特徵相關，並且該第一子圖像的場景與該第二子圖像的場景至少部分地重疊。 依據本發明另一實施方式，提供一種深度估計方法，應用於具有接收單元和處理單元的圖像處理裝置，包括：藉由該接收單元接收捕獲圖像；藉由該處理單元確定該捕獲圖像上的第一子圖像和第二子圖像；藉由該處理單元計算該第一子圖像的特徵與該第二子圖像的對應特徵之間的關係；以及藉由該處理單元根據該關係的視差來計算關於該捕獲圖像的深度圖，其中該第一子圖像的該特徵與該第二子圖像的該對應特徵相關，並且該第一子圖像的場景與第二子圖像的場景至少部分地重疊。

本發明所提供的圖像處理裝置、相關的深度估計系統及深度估計方法，藉由單個圖像捕獲單元捕獲的單個圖像來計算深度圖，可以有效地節省産品成本並簡化操作過程。

請參考第1圖-第4圖，第1圖是根據本發明一實施例的深度估計系統10的框圖。第2圖是根據本發明一實施例的深度估計系統10和測試對象12的外觀圖。第3圖是根據本發明一實施例的深度估計系統10和測試對象12的簡化示意圖。第4圖是根據本發明一實施例的由深度估計系統10處理的圖像的示意圖。深度估計系統10可與任何裝置組裝，以藉由用於檢測周圍環境或建立導航圖的單個圖像（individual image）來計算空間中關於測試對象12的深度圖。例如，深度估計系統10可以應用於行動設備，使得深度估計系統10可以由無人機和車輛承載；深度估計系統10還可以應用於固定裝置，使得監視器可以設置於基座上。

深度估計系統10包括至少一個虛擬圖像生成單元14、圖像捕獲單元16和圖像處理裝置18。虛擬圖像生成單元14和圖像捕獲單元16設置於基座28上，並且圖像捕獲單元16以預定的位移和旋轉（predetermined displacement and rotation）與虛擬圖像生成單元14相鄰設置。深度估計系統10的檢測方向D根據虛擬圖像生成單元14相對於圖像捕獲單元16的角度和/或間隔來進行設計；例如，虛擬圖像生成單元14可以面向檢測方向D和圖像捕獲單元16。圖像捕獲單元16還可以包括廣角光學部件以提供寬視野功能（wide visual field function）。廣角光學部件可以是魚眼鏡頭或任何其他部件以提供廣角視角（wide angle view）。由於圖像捕獲單元16的寬視野功能，檢測方向D可以等於圖像捕獲單元16的檢測圓弧面（detective arc surface）上方和/或周圍的半球範圍（hemispheric range）。位於檢測方向D （或者在檢測區域內）的測試對象12可以由圖像捕獲單元16來拍攝，虛擬圖像生成單元14停留在圖像捕獲單元16的視野內，使得圖像捕獲單元16可以生成包含關於虛擬圖像生成單元14和測試對象12的圖案（pattern）的捕獲圖像I。

請參考第3圖-第5圖。第5圖是根據本發明一實施例的深度估計方法的流程圖。圖像處理裝置18藉由接收單元22與圖像捕獲單元16連接。圖像處理裝置18可以是具有用於執行深度估計方法的相關操作能力的微晶片、控制器、處理器或任何類似的單元。當産生捕獲圖像I時，步驟500被首先執行以由圖像處理裝置18的接收單元22接收捕獲圖像I。接收單元22可以是諸如天線的任何有線/無線傳輸模塊。然後，執行步驟502，由圖像處理裝置18的處理單元24確定捕獲圖像I上的第一子圖像I1和第二子圖像I2。第一子圖像I1是關於測試對象12的主要圖像（primary photo），第二子圖像I2是由虛擬圖像生成單元14形成的輔助照片（secondary photo），這意味著第一子圖像I1的場景至少部分地與第二子圖像I2的場景重疊，或者第一子圖像I1和第二子圖像I2可以具有相似的場景（例如，測試對象12所在的場景）。虛擬圖像生成單元14相對於圖像捕獲單元16的角度和間隔是已知的，從而可以相應地確定捕獲圖像I內的第一子圖像I1和第二子圖像I2的位置。測試對象12被拍攝爲第一子圖像I1和第二子圖像I2上的特徵，這意味著第一子圖像I1和第二子圖像I2的該特徵與相同的測試對象12相關。第一子圖像I1上的特徵的視差參數（parallax parameters）與第二子圖像I2上的特徵的視差參數不同，並且最終執行步驟504和506以計算第一子圖像I1的特徵和第二子圖像I2的對應特徵之間的關係，並且藉由前述關係的視差（disparity）來計算關於捕獲圖像I的深度圖。

在本發明中，第一子圖像I1是與測試對象12對應的真實圖像，第二子圖像I2是與測試對象12對應並由虛擬圖像生成單元14生成的虛擬圖像；也就是說，虛擬圖像生成單元14可以優選地是諸如平面反射器、凸面反射器或凹面反射器的光學反射器，第二子圖像I2由光反射器的反射形成的，並且虛線標記（dotted mark）16 '是藉由虛擬圖像生成單元14來表示爲物理的圖像捕獲單元16的虛擬位置。第二子圖像I2還可以由另一種技術來生成，任何能夠利用包含位於在圖像的不同區域（例如該子圖像）上的包含對象圖案的圖像來計算對象的深度圖的方法，均屬於本發明的深度估計方法的範疇。由圖像捕獲單元16捕獲的捕獲圖像I包含測試對象12的實際圖案（例如第一子圖像I1）和反射圖案（例如第二子圖像I2）。第一子圖像I1上的測試對象12的視角（vision angle）和深度位置（其被表示爲前述的視差參數）與第二子圖像I2上的測試對象12的視角和深度位置不同。第二子圖像I2可以是根據第一子圖像的鏡像或任何視差圖像。第一子圖像I1和第二子圖像I2是不同的，並且優選地，是在捕獲圖像I上的不重疊區域，如第4圖所示。

請參考第6圖-第8圖。參照第6圖-第8圖分別是根據本發明的不同實施例的深度估計系統10和測試對象12的示意圖。在第6圖所示的實施例中，深度估計系統10包括設置於與圖像捕獲單元16相鄰的不同位置或與圖像捕獲單元16相鄰的面對不同方向的兩個虛擬圖像生成單元14f和14b。虛擬圖像生成單元14f和虛擬圖像生成單元14b分別面對彼此不同的檢測方向D1和檢測方向D2；例如，檢測方向D1可以向前，檢測方向D2可以向後。深度估計系統10能夠僅藉由單個圖像捕獲單元16和虛擬圖像生成單元14f以及虛擬圖像生成單元14b，來檢測和計算關於測試對象12f和測試對象12b的深度圖。測試對象12f與圖像捕獲單元16之間以及測試對象12b與圖像捕獲單元16之間的光傳輸路徑不被虛擬圖像生成單元14f和虛擬圖像生成單元14b遮蔽。

在第7圖所示的實施例中，虛擬圖像生成單元14'可以是具有可切換反射功能和透視功能的特定材料製成的光學透明反射器（optical see-through reflector），並且可以藉由虛擬圖像生成單元14'（光學透視反射器）來遮蔽圖像捕獲單元16和測試對象12f之間的光傳輸路徑；深度估計系統10可以僅藉由圖像捕獲單元16和虛擬圖像生成單元14和14'，來計算在不同時間關於測試對象12f和測試對象12r的深度圖。

在第8圖所示的實施例中，深度估計系統10可以藉由圖像捕獲單元16、虛擬圖像生成單元14r'、虛擬圖像生成單元14l'、虛擬圖像生成單元14f'和虛擬圖像生成單元14b'，來計算在時間T1的關於測試對象12f和測試對象12b的深度圖、以及在另一時間T2的關於測試對象12r和測試對象12l的深度圖。此外，如果圖像捕獲單元16可以從不同光譜（例如，可見光和紅外光）接收能量，並且可以在對象12f或12b與對象12r或12l之間區分返回的光譜，則系統10可以同時計算深度圖。例如，對象12f爲紅色，對象12r爲綠色，則系統可以在相同的捕獲圖像I內計算前、後方向的深度圖。

應當提及的是，第7圖和第8圖所示的實施例中，優選地，需要附加功能來幫助圖像捕獲單元16透過（through）虛擬圖像生成單元14'來捕獲到捕獲圖像I。請參考第9圖和第10圖，如第9圖和第10圖分別是根據本發明的實施例的在不同操作模式中的深度估計系統10的外觀圖。深度估計系統10還可以包括切換機械裝置26，用於相對於圖像捕獲單元16切換虛擬圖像生成單元14'的旋轉角度。例如，切換機械裝置26可以使穿過虛擬圖像生成單元14'的軸旋轉，以改變該旋轉角度。由於虛擬圖像生成單元14'位於圖像捕獲單元16與測試對象12r之間的光傳播路徑上，所以切換機械裝置26使虛擬圖像生成單元14'從第9圖所示的位置旋轉到如第10圖所示的位置。因此，圖像捕獲單元16能夠藉由虛擬圖像生成單元14的反射來捕獲關於測試對象12r的捕獲圖像I。當切換機械裝置26將虛擬圖像生成單元14'恢復到如第9圖所示的位置時，圖像捕獲單元16藉由虛擬圖像生成單元14'的反射來捕獲關於測試對象12b的捕獲圖像I。

虛擬圖像生成單元14'還可以由如上該的特定材料製成，圖像處理裝置18可以輸入電信號以改變虛擬圖像生成單元14'的材料屬性（諸如分子排列），以切換反射功能和透視功能，以便允許圖像捕獲單元16透過虛擬圖像生成單元14'來捕獲測試對象12r，或者藉由虛擬圖像生成單元14'的反射來捕獲測試對象12b。因此，用於旋轉虛擬圖像生成單元14'的切換機械裝置26、以及能夠改變材料特性的虛擬圖像生成單元14'都可以應用於第7圖和第8圖所示的實施例。切換機械裝置26還可以藉由垂直軸來旋轉虛擬圖像生成單元14'，來取代相對於第9圖和第10圖所示的水平軸的旋轉。用於切換反射功能和透視功能的任何附加功能均屬於本發明的虛擬圖像生成單元的範圍。

請參考第11圖。第11圖是根據本發明的另一實施例的深度估計系統10的外觀圖。深度估計系統10可以具有分別設置於不同傾斜角度上的幾個虛擬圖像生成單元14a和14b。虛擬圖像生成單元14a垂直地站立在基座28上，以沿著XY平面反射光信號，以檢測測試對象12r。虛擬圖像生成單元14b在基座28上傾斜以沿著Z方向反射光信號，用於檢測測試對象12u。深度估計系統10可以將虛擬圖像生成單元14a和14b設置於圖像捕獲單元16周圍，以檢測不同高度（與基座28相比較）的測試對象；或者深度估計系統10可以將切換機械裝置26與單個虛擬圖像生成單元相組合（圖中未示出），並且可以旋轉單個虛擬圖像生成單元來模擬虛擬圖像生成單元14a和14b的狀況。

總而言之，當深度估計系統獲取到捕獲圖像時，藉由參數（諸如圖像中心、失真係數、偏斜因子等）來定義和校準第一子圖像和第二子圖像，並且將第一子圖像和第二子圖像之間的特徵關係與固定圖像捕獲單元的參數和虛擬圖像生成單元的外在參數的校準進行比較，諸如6DOF（自由度）的旋轉和/或平移，以便準確地計算關於捕獲圖像和測試對象的深度圖。圖像捕獲單元可以選擇性地使用廣角光學部件來改變視野，廣角光學部件可以是凸面反射器，以産生具有小透鏡的大視野，或者可以是凹面反射器以捕獲圍繞中心視野的高分辨率圖像。

深度估計系統的虛擬圖像生成單元用於形成在空間中的圖像捕獲單元的虛擬位置，捕獲圖像可以被表示爲包含由物理的圖像捕獲單元和虛擬圖像捕獲單位捕獲的圖案（這意味著第一子圖像和第二子圖像），藉由捕獲圖像上分離的子圖像之間的視差來計算深度圖，因此深度估計方法可以由單個圖像捕獲單元和相關的虛擬圖像生成單元來執行。同一捕獲圖像上的第一子圖像和第二子圖像可以藉由其他技術來産生。與現有技術相比，本發明藉由單個圖像捕獲單元捕獲的單個圖像來計算深度圖，可以有效地節省産品成本並簡化操作過程。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10‧‧‧深度估計系統
12、12b、12f、12r、12l、12u‧‧‧測試對象
14、14a、14b、14f、14b‧‧‧虛擬圖像生成單元
14'、14r'、14l'、14f'、14b'‧‧‧虛擬圖像生成單元
16‧‧‧圖像捕獲單元
18‧‧‧圖像處理裝置
22‧‧‧接收單元
24‧‧‧處理單元
26‧‧‧切換機械裝置
28‧‧‧基座
16 '‧‧‧虛線標記
I1‧‧‧第一子圖像
I2‧‧‧第二子圖像
500、502、504、506‧‧‧步驟
D、D1、D2‧‧‧檢測方向

第1圖是根據本發明一實施例的深度估計系統的框圖。 第2圖是根據本發明一實施例的深度估計系統和測試對象的外觀圖。 第3圖是根據本發明一實施例的深度估計系統和測試對象的簡化示意圖。 第4圖是根據本發明一實施例的由深度估計系統處理的圖像的示意圖。 第5圖是根據本發明一實施例的深度估計方法的流程圖。 第6圖-第8圖分別是根據本發明的不同實施例的深度估計系統和測試對象的示意圖。 第9圖和第10圖分別是根據本發明的實施例的在不同操作模式下的深度估計系統的外觀圖。 第11圖是根據本發明另一實施例的深度估計系統的外觀圖。

10‧‧‧深度估計系統

14‧‧‧虛擬圖像生成單元

16‧‧‧圖像捕獲單元

18‧‧‧圖像處理裝置

22‧‧‧接收單元

24‧‧‧處理單元

Claims (10)

1. 一種圖像處理裝置，包括： 接收單元，用於接收捕獲圖像；以及 處理單元，與該接收單元電連接以確定該捕獲圖像上的第一子圖像和第二子圖像，以計算該第一子圖像的特徵與該第二子圖像的對應特徵之間的關係，並藉由該關係的視差來計算該捕獲圖像的深度圖； 其中該第一子圖像的該特徵與該第二子圖像的該對應特徵相關，並且該第一子圖像的場景與該第二子圖像的場景至少部分地重疊。
2. 如申請專利範圍第1項所述的圖像處理裝置，其中該第一子圖像和該第二子圖像是不同的，並且是該捕獲圖像上的不重疊區域。
3. 如申請專利範圍第1項所述的圖像處理裝置，其特徵在於，在該第一子圖像上的該特徵的視角與該第二子圖像上的該對應特徵的視角不同；或者在該第一子圖像上的該特徵的深度位置與該第二子圖像上的該對應特徵的深度位置不同。
4. 如申請專利範圍第1項所述的圖像處理裝置，其特徵在於，該第二子圖像是根據該第一子圖像的鏡像；或者該第二子圖像是由光學反射器或光學透視反射器反射的虛擬圖像。
5. 一種深度估計系統，包括： 至少一個虛擬圖像生成單元，設置於面向該深度估計系統的檢測方向的位置上； 圖像捕獲單元，與該虛擬圖像生成單元相鄰設置，並具有寬視野功能，該圖像捕獲單元藉由該寬視野功能生成包含該虛擬圖像生成單元的捕獲圖像；以及 圖像處理裝置，電連接到該圖像捕獲單元，該圖像處理裝置用於確定該捕獲圖像上的第一子圖像和第二子圖像，以計算該第一子圖像的特徵和該第二子圖像的對應特徵之間的關係，並藉由該關係的視差來計算該捕獲圖像的深度圖； 其中該第一子圖像的該特徵與該第二子圖像的該對應特徵相關，並且該第一子圖像的場景與該第二子圖像的場景至少部分地重疊。
6. 如申請專利範圍第5項所述的深度估計系統，其特徵在於，該第一子圖像是由該圖像捕獲單元生成的實際圖像，並且該第二子圖像是與該實際圖像相關並由該虛擬圖像生成單元生成的虛擬圖像。
7. 如申請專利範圍第5項所述的深度估計系統，其特徵在於，該圖像捕獲單元包括廣角光學部件，以提供該寬視野功能，該圖像捕獲單元以預定的位移和旋轉與該虛擬圖像生成單元相鄰設置；該虛擬圖像生成單元是平面反射器、凸面反射器或凹面反射器。
8. 如申請專利範圍第5項所述的深度估計系統，其特徵在於，還包括： 切換機械裝置，用於相對於該圖像捕獲單元切換該虛擬圖像生成單元的旋轉角度；或者 該虛擬圖像生成單元由特定材料製成，該特定材料具有藉由電信號來切換的反射功能和透視功能。
9. 如申請專利範圍第5項所述的深度估計系統，其特徵在於，該深度估計系統包括另一虛擬圖像生成單元，該另一虛擬圖像生成單元設置於與該圖像捕獲單元相鄰的另一位置，並面對該深度估計系統的另一檢測方向。
10. 一種深度估計方法，應用於具有接收單元和處理單元的圖像處理裝置，該深度估計方法包括： 藉由該接收單元接收捕獲圖像； 藉由該處理單元確定該捕獲圖像上的第一子圖像和第二子圖像； 藉由該處理單元計算該第一子圖像的特徵與該第二子圖像的對應特徵之間的關係；以及 藉由該處理單元根據該關係的視差來計算關於該捕獲圖像的深度圖，其中該第一子圖像的該特徵與該第二子圖像的該對應特徵相關，並且該第一子圖像的場景與第二子圖像的場景至少部分地重疊。