TWI536318B - 深度測量之品質提升 - Google Patents

Description

深度測量之品質提升

本發明係關於一種測距測量結果如深度圖或包含「三維點雲(three-dimensional point cloud)」資料資訊之影像的品質之提升，特別是關於深度測量結果之去雜訊以及與數個像素相關之有問題的經插值的深度值之修正，該等像素係與三維影像場景中一前景物體和一背景物體之間的一邊緣對應者。

由於使用於消費性電子系統和電視遊戲中之手勢辨識和人體骨架追蹤之技術，深度測量相機系統變成近來愈來愈受歡迎的測距裝置。

主要有兩種環境照明獨立深度感測或三維(3D)相機技術適合於此等應用。一種三維相機技術係結構光源3D相機(例如由PrimeSense公司所提供者)，其於微軟Kinect for Xbox 360(被稱為Kinect)遊戲機中被用於手勢辨識。(Microsoft,Kinet和Kinect for Xbox 360為微軟公司的商標)。第二種3D感測相機技術係時差測距(time-of-flight,ToF)相機，其係由幾個獨立公司所發展製造且使用於例如汽車工業或是包含諸如視訊遊戲、機器人、家用自動化等人對機器介面之各種環境中的手勢辨識和人體骨架追蹤。

然而，不分3D感測相機之型式，一場景之一影像皆假設包含複數個像素，該影像的每個像素含有至少與從成像物體到相機之距離有關的資訊，如此之資訊係所測 量之深度值。此嵌有至少深度測量資訊之影像被稱為「深度圖」。其它型式的影像亦可包含嵌入的深度測量資訊，例如一「三維點雲」資料矩陣，於此資料矩陣中影像係包含了關於相機坐標系統或關於虛擬環境坐標系統之內嵌資訊。在如此之影像中，x和y係分別對應於横軸和縱軸且z軸係對應於深度。從相機坐標系統轉換到虛擬環境坐標系統係一種投射，且如此的轉換一般被稱為「場景校正(scene calibration)」。

任何利用提供深度測量結果之影像之應用或系統乃取決於解析度、雜訊、清楚度、穩健度和重覆性等方面之測量品質。特別地，當主要考慮到3D ToF相機技術，在場景物體邊緣之深度測量結果係眾所皆知用來表明旋積(convolution)和/或亦稱作「飛行像素」(對單一自然銳利邊緣可影響至少一像素半徑內之深度資料)之插值假影(interpolation artefacts)。如此的「飛行像素」係空間假影，與任何可能發生在一物體邊緣的動態模糊(motion blur)無關，且需要被移除和/或被回復至場景中之與一重新計算之深度值對應的一正確位置，該重新計算之深度值係適當地將「飛行像素」指定給前景物體或背景物體。如此之回復之目的係為了要大幅地改善後續的物體偵測信心和提高三維場景內物體之深度資訊品質。

因此本發明之目的係要提供一種提升測距測量結果的品質之方法和系統，例如，藉由偵測可能為雜訊像素數值和/或經插值之「飛行像素」數值之型式之有缺陷的 像素，以深度圖或三維點雲的型式來提供該測量結果。特別地，雜訊像素數值係與整個深度圖有關。然而，雜訊像素數值傾向於降低平坦表面和連續表面的品質。「飛行像素」數值係與呈現於深度圖中或於相應3D點需中之3D物體邊緣有關，這些邊緣被界定成位於一前景物體和一位於不同深度的背景物體之間的界限。

根據本發明之一觀點，提供一種提升三維影像中之有缺陷的像素值之深度圖品質之方法，該方法包含以下步驟： a)決定與一場景相關之深度測量資料；b)偵測在該深度測量資料內之有缺陷的像素；c)針對每一被偵測到之有缺陷的像素，界定一深度修正；以及d)對每一被偵測到之有缺陷的像素之該深度測量資料施加該深度修正。

藉由使用本發明之方法，當深度測量雜訊可被明確地降低時，即可獲得深度圖或3D點雲影像品質之重大提升。特別地，包含在位於物體邊緣之經插值之「飛行像素」內之資訊係被回復且這些邊緣接著因此被銳化，使得它們能相關連且有助於進一步的訊號處理方法。

此外，本發明之結果是使用者和物體之偵測、識別、追蹤和諸如在三維場景內執行於興趣物件上之手勢辨識之運動相關資料分析係被大幅地改善，因為如此之方法係取決於深度圖深度資料值之品質。另一結果是，相關於一場景內之使用者形狀和物體形狀之影像取出係可更 簡單地且具有較佳可靠度及清楚度地被執行。

另外，改善的物體偵測亦提供在3D場景中之使用者和物體顯著提升的建模能力。特別地，人體骨架配合和追蹤亦大幅地改善，因為使用者身體部位和物體或和其本身之合併會被最小化而且使用者的身體形狀能更清楚地被建模。

在本發明之一較佳實施例中，步驟b)包含：針對每一像素，決定並使用在至少一方向上之深度相關方向導數(depth related directional derivative)。

步驟c)對於每一經識別出有缺陷的像素較佳地包含以下步驟：c1)決定與該深度方向導數相關之一向量；c2)決定該已決定之向量之法向量；c3)使用該已決定之向量和該已決定之向量的法向量中之至少一個之結果連同一資料參數，決定一加權因子參數，該資料參數之數值係與由該像素寬度所呈現之實體空間中之公制尺寸相關；以及c4)使用該加權因子參數和與相鄰像素相關資訊中之至少一者，決定一修正因子。

於一實施例中，步驟c4)可進一步包含使用在該相鄰像素之深度值、加權值和修正因子中之至少一者。另一作法或具選擇性地，步驟c4)可包含使用該相鄰像素相關資訊之一統計眾數。

有利地，步驟c4)僅使用有效相鄰像素。

步驟c4)可進一步包含使用從該相鄰像素所決定之 一回歸平面取出之深度資訊。

於本發明之一個實施例中，有缺陷的像素可包含位於該三維影像中一前景物體和一背景物體之間的邊緣上的經插值之像素資料值。在此實施例中，步驟b)可進一步包含當一像素之至少一深度方向導數係大於一預定門檻值且若至少兩連續方向導數具有相同正負符號時，使用該等深度相關方向導數以識別在邊緣上的像素之有缺陷的深度測量結果。如此提供了一個上述「飛行像素」的測試方法。

除了「飛行像素」的修正之外，本發明之方法亦修正了「雜訊像素」。於此實施例中，步驟b)包含決定在該三維影像內之連續表面上之像素有缺陷的測量結果。

於此實施例中，步驟b)進一步包含當一像素之至少一深度方向導數係大於一預定門檻值且當該像素之另一深度方向導數亦大於另一預定門檻值且該兩方向導數係具相反正負符號時，使用該等深度相關方向導數以識別在一連續表面上之像素之有缺陷的深度測量結果。

當有缺陷的像素為「雜訊像素」時，步驟c)對於每一已識別有缺陷的像素可進一步包含此驟：c5)使用兩正交軸決定與該等深度方向導數資料值相關之一向量；c6)使用該已決定之向量之一半徑值、該已決定之向量之正交資訊和由該像素所呈現在場景中之實際寬度中之至少一者，決定一加權因子參數；以及c7)使用該已決定之加權因子參數結合相鄰像素相 關資訊，施加一修正因子。

於一實施例中，該等深度相關方向導數係使用至少兩正交軸而決定。於另一實施例中，該等深度相關方向導數係使用一法線圖(normal map)而決定。於另一較佳實施例中，該等深度相關方向導數係用以決定一法線圖。

於本發明之一個實施例中，該方法係用以修正「飛行像素」和「雜訊像素」中至少一者，且在一較佳實施例中，該方法係修正「飛行像素」和「雜訊像素」兩者。

步驟a)可包含存取藉由一3D感測元件或相機所提供或者來自一儲存媒體以一深度圖型式或以一3D點雲型式或任何型式所提供之深度測量資料。

為對本發明有更佳之了解，以下說明將參考所附圖式進行，且參考圖式僅作為舉例，並非限定如此。

以下就特定實施例並參考特定圖式來敍述本發明，但本發明並不限定如此。所述圖式僅係示意而並不限定。圖式中，為了說明，可能誇大且未按比例顯示部分元素之尺寸。

應了解本文中所使用之用語「垂直」和「水平」等表示圖面之特有方位，且此等用語並非是本文中所敍述之特定實施例的限定用語。

就一典型的時差測距(time-of-flight,ToF)3D相機而言，利用TOF原理計算距離或深度資料之過程涉及具有類比和數位處理單元之光學和電子裝置之組合。典型地，藉由一內嵌於ToF相機裝置之照明系統將一調幅紅 外線訊號送出至場景。一專用感測器同步地將由該場景中之物體所反射的紅外線強度記錄為一相位函數。接著將來自感測器之訊號對時間積分，並利用相位延遲計算來針對每一像素估算深度值測量結果。ToF 3D影像可能受限於：依感測器解析度和鏡頭視域而定之3D影像解析度；該等影像之依光之調變頻率、由場景反射之光線量和與成像系統有關之參數如光學引擎品質而定之深度測量精準度；；在測量時基本上會產生一些量子化假影(quantisation artefacts)和雜訊之光學、電子及訊號處理裝置之組合假影；以及更嚴重的問題是，部分經插值的深度測量結果基本上會導致深度圖中之「模糊」邊緣。該等「模糊」邊緣中的像素亦被稱作「飛行像素」。

本發明係關於一種方法及系統，用以解決統稱「有缺陷的像素」之「雜訊」和「飛行像素」，以使其等之在深度圖中的深度測量值被修正而盡可能地與在場景中所呈現的實體一致。該方法和系統具有一輸入操作，輸入藉由3D感測相機、媒體儲存元件或網際網路媒體所提供之內嵌有以相位圖、深度圖或3D點雲型式表示之深度相關測量結果的影像。對於經輸入之3D影像的深度資料施加特定信號處理，以就部分特定的深度梯度測量結果、向量及幾何限制運算、門檻值及尤其是經加權之旋積來對於「雜訊」和經插值的「飛行像素」兩者進行修正。所產生的輸出提供了一重建的深度圖影像，該影像包含較少的雜訊及大幅減少之在邊緣位於z軸或深度軸上之場景物體附近之經插值的「飛行像素」。接著代替3D相 機元件或其他3D影像系統所提供之原始輸入3D影像而使已提升和/或已修正之影像供3D成像應用使用，以使該等應用可有較佳操作性和效率。

首先參考第1圖，一場景之二維(2D)上視圖顯示於一x-z平面中。一相機10具有由虛線12,14所界定的視域，在該視域內有一前景物體16和一背景物體18。將如參考第3圖所述，前景物體16之邊緣20就背景物體18而言可能產生「飛行像素」。

第2圖係在x-y平面上之第1圖中所界定之具有前景物體16和背景物體18之3D場景之2D相機前視圖。於此觀點下，邊緣20在前景物體16和背景物體18之間係界定良好且銳利。雖然僅有顯示邊緣20，但應理解為「飛行像素」亦可發生在前景物體16與背景物體18重疊處之頂端邊緣和底部邊緣22,24。此外，應了解到物體16和18之平坦連續表面可能會因相機感測器性能之故而呈現一些雜訊像素。

第3圖係以與第1圖中所示之影像對應的像素之角度來顯示前景物體32和背景物體34。如圖所示，兩「飛行像素」36,38係位於在前景物體32和背景物體34之間的邊緣上。此兩「飛行像素」可屬於前景物體32或者屬於背景物體34，或者僅有一個屬於前景物體32且一個屬於背景物體34。前景物體32係一連續平坦表面物體，其測量結果顯示至少有一個雜訊像素37。

第4圖類似第3圖，但另顯示一與深度圖相關之訊號40。如圖所示，於訊號40中，下方線係相應於數個 像素42所表示的前景物體，且在下方線和上方線之間的斜率係相應於兩「飛行像素」46,48。在下方線中之一凹陷部係相應於由數個像素42所表示之前景物體中之「雜訊像素」43。

在依本發明之處理後，「雜訊像素」43和「飛行像素」46,48被修正如第5圖所示。如第5圖所示，更清楚地界定具有一相應於數個像素52之下方直線和一相應於數個像素54之上方直線的訊號50。在第4圖中顯示為43之「雜訊像素」現在被修正為如像素53所示，且「飛行像素」46,48已被正確地指定給與前景物體對應之數個像素52(像素56)和與背景物體對應之數個像素54(像素58)。

在第6圖中顯示本發明方法之一實施例之主要步驟流程圖。於步驟60，獲取一輸入深度圖或3D點雲。該深度圖或3D點雲可直接從3D相機、媒體儲存元件或網際網路取得。於步驟62，偵測出統稱為「有缺陷的像素」之「雜訊像素」和「飛行像素」。針對每一被判定為「雜訊像素」之像素決定一去雜訊修正因子，並對於相鄰像素而施加該修正因子，步驟64。針對每一被判定為「有缺陷的像素」之像素執行一修正因子之決定並施加。於步驟66中，就前景物體和背景物體之深度值而執行修正。於步驟64和步驟66中，如此之修正因子的決定可包含：使用統計眾數，於此處指定給被修正像素之數值係根據相鄰像素之平均值、中間值和/或眾數值中之至少一者而決定。經復原之深度圖或3D點雲接著被輸出(步 驟68)。步驟68之輸出可被使用在任何需要或優先選擇清楚及可靠的深度圖之應用中。

本發明之方法包含兩個主要步驟，亦即偵測「雜訊像素」和經插值的「飛行像素」，以及修正經偵測之「雜訊像素」和「飛行像素」兩者。

關於「雜訊像素」和經插值之「飛行像素」兩者之偵測，第一步驟係使用某一點附近的方向導數來判斷像素是否是「雜訊」或是「飛行」，該點係對應於被評估的像素。較佳地，所有的深度影像像素均被評估。這些方向導數可以是多方向的，但為簡化敍述，以下僅敍述垂直和水平方向。然而應理解為同樣的原則可適用於其他方向。此外，亦可不使用方向導數而應用其他的方法。

若「P」是在深度圖中被評估的像素且「a」是平面上被選定的方向，則da(P)是像素「P」在方向「a」的導數值。若在「a」方向上之方向導數絕對值|da(P)|和|da+π(P)|超過一預定門檻值，且若da(P)和da+π(P)的正負符號相同，則一像素被稱為「飛行」。若一像素具有與其所有相鄰像素相當不同的深度值，尤其是如果至少一個方向導數超過一預定值且如果至少兩個方向導數具有相反正負符號，則該像素被稱為「雜訊」。對每一像素，不管「雜訊像素」測試或是「飛行像素」測試均可在任一數目的方向上被執行。理想上，方向應涵蓋單位圓，亦即半徑為一像素半徑之圓。典型地，一組方向{a_i}，i=1至n，能以下式表示：a_i=(i-1)^＊π/n

方向導數可以簡單地使用有限差分來評估。第7圖中，像素70係被評估的像素「P」，像素72,74,76,78係對應於像素「P」之上方像素「T」、左方像素「L」、右方像素「R」和下方像素「B」。像素72,74,76,78之數值可被使用來決定該像素在兩個方向上是否是「飛行」且是否是「雜訊」，亦即在0°角和π/2角之方向(水平和垂直方向)。

在這兩個方向上，「雜訊像素」測試簡化成(|R-P|<Th且|L-P|<Th)或(|T-P|<Th且|B-P|<Th)且sign(R-P)≠sign(P-L)或sign(T-P)≠sign(P-B)

「飛行像素」測試簡化成(|R-P|>kTh且|L-P|>kTh)或(|T-P|>kTh且|B-P|>kTh)且sign(R-P)=sign(P-L)或sign(T-P)=sign(P-B)其中Th係所應用之門檻值且k係一預定加權因子。例如，0.08m之Th值可被使用，但可被理解的是任何其他合適值亦可被使用。作為上述給定之「雜訊像素」測試及「飛行像素」測試之另一種測試法，以下判斷方式亦可被使用：|L-R|>Th且|T-B|>Th

在後者中，其門檻值之數值可以大於前者之門檻值數值係因為它使用環繞被評估像素之兩像素之間的數值。

「雜訊像素」和「飛行像素」被識別後，第二步驟係估算新的深度值以將個別修正施加至每個經識別之 「雜訊像素」或「飛行像素」。修正可在一單一程序中之單通(single pass)中被執行。為有較佳之了解，依時間順序而敍述修正步驟。

所有的「飛行像素」和「雜訊像素」首先被標示成無效。特別地，當使用ToF相機時，可能因其他理由如信任不足或低紅外線照明而被判定(亦即使用門檻值)為不可靠的其他像素亦可被標示成無效，且其等之深度亦可使用本發明之方法被重新估算。

原理是使用一無效像素之有效環繞像素來估算該無效像素之新的深度。此原理顯示於第8圖，其中與顯示如像素對82,84之環繞有效像素相關地評估像素80。雖然該等像素對係顯示用來評估，但應理解為任何數目之有效像素均可使用來做此決定。

第8圖中，環繞一無效「飛行像素」(「P」)之數個像素被標示為「V」。然而，對此估算而言，僅有被標示成82之前景有效像素或者被標示成84之背景有效像素被使用，且不是來自前景及背景之有效像素之組合被使用。像素82之深度值將小於「P」的深度值且像素84之深度值將大於「P」的深度值。

關於像素係有效但已被識別為「雜訊」之一「雜訊像素」，對於該「雜訊像素」執行與上述執行於「飛行像素」之處理相同的處理。

選擇使用哪個有效像素來估算係評估一無效點優先出現在前景物體中或優先出現在背景物體中。優先模式可以藉由例如根據「飛行像素」之深度值所需最少修正 量，映射「飛行像素」、藉由設定「飛行像素」給前景物體，如果它和相機之距離超過一預定門檻值，或者藉由設定「飛行像素」給背景物體，如果它和相機之距離小於該預定門檻值，來決定。如果使用前景物體優先，且有效前景物體像素集合不是空集合，則「P」之新深度值將僅以那些有效前景物體像素為基礎而估算。如果有效前景物體像素集合是空集合且有效背景物體像素集合不是空集合，則「P」之新深度值將僅以有效背景物體像素為基礎而估算。如果兩個與有效前景和背景物體像素相關之集合均是空集合，則該像素無法被修正且它將保持為無效。同樣地，如果使用背景物體優先，如果有效背景物體像素集合不是空集合，則「P」之新深度值將僅以那些有效背景物體像素為基礎而估算。如果有效背景物體像素集合是空集合，且有效前景物體像素集是空集合，則「P」之新深度值將僅以有效前景物體像素集合為基礎而估算。如果兩個與有效背景和前景物體像素相關之集合均是空集合，則該像素無法被修正且它將保持為無效。

來自一環繞像素集合(不管來自於前景物體或背景物體)之「P」的深度值估算可用不同方法執行，包括應用一加權因子、任何使用統計測定或使用回歸平面之插值法。

在本發明之一實施例中，係利用以有效前景像素為基礎之一回歸平面。在點p之回歸平面之深度值係被指定為像素「P」之新深度值。

於另一實施例中，前景物體中之有效像素之平均深度值係被決定且被指定為像素「P」之新深度值。作為其他選項，亦可使用有效前景物體像素或有效背景物體像素之諸深度值中之最小值、最大值、中位數或眾數。不同的估算方法可使用於有效前景物體像素集合和有效背景物體像素集合。例如，如果估算係依靠有效前景物體像素，則可使用集合中之有效像素之最大深度值；如果估算係依靠有效背景物體像素，則可使用集合中之有效像素之最小深度值。

所有其深度值已被該方法成功地估算過之無效像素，亦即所有具有至少一有效相鄰像素之無效像素，係被標示為有效。只要至少一像素在流程一開始被標示為有效，則該方法可以疊代地被重覆以允許深度圖中所有無效像素被重建。

然而，為了改善「飛行像素」識別和修正之可靠度，必須將雜訊從相機所產生的深度圖中移除。這可藉由首先決定每一像素之ω _i ，再對每一像素使用3x3加權之ω _i 核心來達成。多通(multiple passes)可與(或不與)核心ω _i 參數之再計算一起應用。

再次參考第8圖，以下方程式可用自景深中決定一正交角：

dw=P之寬度 (4)

ω _i =acos(dz/r) (6)

方程式(1)和(2)與梯度(x)和(y)有關且方程式(3)以梯度方式提供半徑。方程式(4)給出像素「P」之如上所述之寬度且方程式(5)和(6)分別提供正交半徑和正交角。

其他方法可用於計算、估算或取回例如來自相機之正交角(如果有的話)，亦可依照相機、訊號和平台特性而被使用。

例如，為了計算效率，來自深度圖之ω _i 可以被決定成：

通當，函數ωi=Fw(dz)被稱為視窗函數(window function)。

在雜訊移除通過之後，一場梯度被計算且二階導數d²z之符號被作為一局部分離參數(local disjunction parameter)。二階偏導數d²z被計算成導數dz在映射空間中梯度向量之兩極值間之差值。

一加權ω _i 3×3雙極核心(bipolar kernel)接著被應用在n個傳遞，其中n大於等於1。該分離參數作為核心中之群識別(group identification)；且具有相同正負符號之諸像素值將一起平均，但忽略相反正負符號之像素。

此原則係被改善以允許該分離參數具有無符號數值(亦即等於0)，使得該等點可以用兩種符號被平均。此攺善允許應用一門檻值至該分離參數，例如，使用 ²z或 其他諸如紅外線功率來試圖降低因為分離而引入輸出訊號之雜訊。

此核心可多次應用以產生想要的效果。典型地電流TOF訊號係受益於雙通處理(two-pass processing)。

為了加速此分離且/或避免多通處理，可在梯度方向上建立一位移貼圖(displacement map)以產生一局部擴展(local expansion)。個別深度值可合理地作為最小值和/或最大值。然而，輸出訊號中的雜訊和所欲之分離速率將判斷使用何種擴展方法。

10‧‧‧相機

12,14‧‧‧虛線

16‧‧‧前景物體

18‧‧‧背景物體

20‧‧‧邊緣

22‧‧‧頂端邊緣

24‧‧‧底部邊緣

32‧‧‧前景物體

34‧‧‧背景物體

36,38‧‧‧飛行像素

37‧‧‧雜訊像素

40‧‧‧訊號

42,44‧‧‧數個像素

43‧‧‧雜訊像素

46,48‧‧‧飛行像素

50‧‧‧訊號

52,54‧‧‧數個像素

53,56,58,70,72,74,76,78,80‧‧‧像素

82,84‧‧‧數個像素

第1圖係圖示三維場景之二維上視示意圖；第2圖係圖示第1圖中之三維場景之二維相機前視示意圖；第3圖係圖示第1圖之二維上視圖之三維資料測量之示意表示圖；第4圖係圖示深度值訊號和像素位置之示意表示圖；第5圖係類似第4圖但係圖示根據本發明修正後之深度值訊號和像素位置；第6圖係圖示根據本發明之深度圖去雜訊和邊緣修正方法之步驟流程圖；第7圖係圖示一位於一「飛行像素」中央之3×3核心，該「飛行像素」係伴隨著在兩正交軸中之相鄰像素；以及第8圖係圖示一位於一「飛行像素」中央之3×3核 心，該「飛行像素」係伴隨著被決定為有效且成為一前景物體或一背景物體之一部分之相鄰像素。

50‧‧‧訊號

52‧‧‧數個像素

53‧‧‧像素

54‧‧‧數個像素

56‧‧‧像素

58‧‧‧像素

Claims (10)

1. 一種用以提升由三維影像系統所產生之三維影像中具有缺陷的像素深度資料值之深度圖品質之方法，該方法包含以下步驟：a)決定與一場景相關之深度測量資料；b)藉由針對每一像素決定並使用在至少一方向上之深度相關方向導數，來偵測在該深度測量資料內之有缺陷的像素；c)針對每一被偵測到之有缺陷的像素，界定一深度修正；以及d)對每一被偵測到之有缺陷的像素之該深度測量資料施加該深度修正；其特徵在於：該有缺陷的像素係包含位於該三維影像中一前景物體和一背景物體之間的邊緣上的插值像素資料值，其中步驟b)進一步包含當一像素之至少一深度方向導數係大於一預定門檻值且至少兩個連續方向導數具有相同正負符號時，使用在至少一方向內的該等深度相關方向導數以識別在邊緣上的像素之有缺陷的深度測量值；且步驟c)對於每一經識別出有缺陷的像素包含以下步驟：c1)使用與相鄰像素相關的資訊，決定與該等深度方向導數相關之一向量；c2)決定該已決定之向量之法向量；c3)使用該已決定之向量和該已決定之向量的法向 量中之至少一個之結果，決定一加權因子；以及c4)使用該加權因子，決定一修正因子。
2. 如申請專利範圍第1項之方法，其中該有缺陷的像素係進一步包含位在該三維影像之連續表面之雜訊像素資料值，其中步驟b)進一步包含當一像素之至少一深度方向導數係大於另一預定門檻值且當該像素之另一深度方向導數亦大於另一預定門檻值且該兩方向導數係具相反正負符號時，使用該等深度相關方向導數以識別在一連續表面上之像素之有缺陷的深度測量值。
3. 如申請專利範圍第1項之方法，其中步驟c1)僅使用有效相鄰像素之資料值。
4. 如申請專利範圍第2項之方法，其中步驟c1)僅使用有效相鄰像素之資料值。
5. 如申請專利範圍第1至4項中任一項之方法，其中該與相鄰像素相關的資訊包含該相鄰像素之深度值、加權值和深度修正中之至少一者。
6. 如申請專利範圍第1項至第4項之任一項之方法，其中步驟c1)包含使用該相鄰像素相關資訊之一統計眾數。
7. 如申請專利範圍第1項至第4項之任一項之方法，其中步驟c4)進一步包含使用從該相鄰像素所決定之一回歸平面取出之深度資訊。
8. 如申請專利範圍第1項至第4項之任一項之方法，該等深度相關方向導數係使用至少兩正交軸而決定。
9. 如申請專利範圍第1項至第4項之任一項之方法，其 中該等深度相關方向導數係使用一法線圖而決定。
10. 如申請專利範圍第1項至第4項之任一項之方法，其中該等深度相關方向導數係用以決定一法線圖。