TWI680436B - 深度相機校正裝置及其方法 - Google Patents

Abstract

一種深度相機校正裝置及其方法，該方法用以校正結構光深度相機且藉由校正裝置來執行，校正裝置包含校正板組件以及處理器，校正板組件包含複數個表平面，各表平面上設有封閉圖案，且封閉圖案的質心位於封閉圖案所圈圍的範圍中，該些表平面非共平面且互不平行，該方法包括：關閉相機的投影功能且以取像元件拍攝該些表平面以取得第一影像；開啓該相機的投影功能且以取像元件拍攝該些表平面以取得第二影像，且當以取像元件取得第一影像以及第二影像時，該相機與校正板組件之相對位置維持不變；以及以處理器依據第一影像及第二影像裁切影像邊界、計算特徵點位置、讀取投影圖案、計算對應點位置及排除異常點，以得到該相機的參數。

Description

深度相機校正裝置及其方法

本發明有關於一種影像擷取裝置的校正裝置及校正方法，尤指一種結構光深度相機的校正裝置與其方法。

深度相機在組裝過程中的誤差會造成深度影像的品質劣化，為了使相機產生高品質的深度影像，相機在出廠前都必須經過校正，且將精確的相機內部參數、相機形變係數與相機外部參數寫入相機韌體中。

傳統以隨機圖案為基礎的結構光深度相機的校正裝置包含有光學桌、移動平台以及校正板，除了設置及維護成本較高之外，每一次在進行相機校正時，都需透過移動平台動態地調整深度相機與校正板之間的相對位置，所以校正流程耗時較長而影響產線效率。

有鑑於此，目前的確有需要一種改良的相機校正裝置及其校正方法，至少可改善以上缺點。

依據本發明的一實施例所提供的深度相機校正裝置及其方法，除了可降低設置校正裝置的成本之外，更可縮短進行校正流程所需花費的時間。

依據本發明的一實施例所提供的深度相機校正裝置，用以校正結構光深度相機，深度相機校正裝置包括校正板組件以及處理器。校正板組件包含複數個表平面，各表平面上設有數個封閉圖案，而各封閉圖案的質心位於封閉圖案所圈圍的範圍中。該些表平面非共平面且互不平行，且該些表平面用於接收結構光深度相機所投影的投影圖案。處理器用於電性連接結構光深度相機且透過自動裁切影像邊界、計算特徵點位置、讀取投影圖案、計算對應點位置及排除異常點，以得到結構光深度相機的一組內部參數、一組形變係數以及外部參數。

依據本發明的一實施例所提供的深度相機校正方法，用以校正結構光深度相機且藉由深度相機校正裝置來執行，深度相機校正裝置包含校正板組件以及處理器，校正板組件包含複數個表平面，各表平面上設有數個封閉圖案，且各封閉圖案的質心位於封閉圖案所圈圍的範圍中，該些表平面非共平面且互不平行，深度相機校正方法包括：關閉結構光深度相機的投影功能且以結構光深度相機的取像元件拍攝該些表平面以取得第一影像，第一影像具有封閉圖案；開啓結構光深度相機的投影功能且以取像元件拍攝該些表平面以取得第二影像，第二影像具有封閉圖案以及投影圖案，且當以該取像元件取得第一影像以及第二影像時，結構光深度相機與校正板組件之相對位置維持不變；以及以處理器依據第一影像及第二影像自動裁切影像邊界、計算特徵點位置、讀取投影圖案、計算對應點位置及排除異常點，以得到結構光深度相機的一組內部參數、一組形變係數以及外部參數。

深度相機校正方法對結構光深度相機進行校正時，不需改變結構光深度相機與校正板組件的相對位置，相較於習知校正方法必需改變結構光深度相機與校正板的相對位置，大幅縮短校正時間。此外，進行校正的特徵點為封閉圖案的質心，相較於以往田字型圖案的特徵點是位於直線交會點，封閉圖案的輪廓可使用粗而明顯的線條，具有較高的辨識度。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

圖1為依據一實施例的深度相機校正裝置的示意圖。如圖1所示，深度相機校正裝置100用於校正結構光深度相機200，結構光深度相機200包含取像元件210與投影元件220且為模組化結構。深度相機校正裝置100可包含校正板組件11以及處理器13，而處理器13可用於計算結構光深度相機200的內部參數、形變係數以及外部參數，其中結構光深度相機200的內部參數包含有取像元件210的內部參數與投影元件220的內部參數，結構光深度相機200的形變係數包含取像元件210的形變係數與投影元件220的形變係數。在本實施例中，校正板組件11可包含複數個校正板110，各校正板110具有一表平面111，各表平面111上設有數個封閉圖案112且其四個角落各標記一個編碼過的標記113。在本實施例中，封閉圖案112為環形圖案且封閉圖案112之間隔為等距。各封閉圖案112的質心C1位於封閉圖案112所圈圍的範圍中，且每一表平面111上的該些質心C1可設定為表平面111上的數個特徵點，而每一特徵點具有特徵點座標值。

該些表平面111非共平面且互不平行，且任意兩個表平面111的延伸面之夾角非0度或180度。在本實施例中，相鄰的校正板110之間沒有相互重疊且該些校正板110之間的間隔為等距。在其他實施例中，各校正板110之間的間隔可不等距或者相鄰的校正板110之間可至少有部分重疊。深度相機校正裝置100在執行校正的過程時，結構光深度相機200與校正板組件11的相對位置維持不變，且該些表平面111分別與取像元件210的取像面具有不同的方位，其中方位的物理量包含相對距離以及相對角度。

結構光深度相機200的投影元件220可為光學投影裝置或數位投影裝置，而該些表平面111接收投影元件220所投射的投影圖案。取像元件210拍攝已投射有投影圖案的該些表平面111，其中投影圖案可例如為隨機圖案或亂數圖案。

深度相機校正裝置100的處理器13可例如藉由晶片、晶片內的電路區塊、韌體、設置有電子元件與導線的電路板、或儲存程式碼的儲存媒介來實現，或者藉由電腦系統、伺服器或軟體程式來實現。處理器13電性連接於結構光深度相機200，處理器13內儲存有一設定檔案，而該設定檔案包含取像元件210的解析度、投影元件220所投射的投影圖案、校正板110的尺寸、以及各特徵點的特徵點座標值等資料，而處理器13可用以讀取設定檔案。在其他實施例中，取像元件 210的解析度、校正板110的尺寸、各特徵點之間的距離、以及各特徵點的特徵點座標值等資料亦可由使用者直接輸入處理器13，以供處理器13讀取。

圖2至圖4為依據多個實施例所繪示的校正板組件的示意圖。如圖2所示，該些校正板110分別具有不同的尺寸，而該些校正板110的表平面111相對於結構光深度相機200分別具有不同的方位。如圖3所示，該些校正板110組接為立方體，而任二個表平面111的延伸面之夾角大於180度。如圖4所示，任二個表平面111的延伸面之夾角可大於或小於180度。

圖5A至圖5C為依據多個實施例的封閉圖案的示意圖。如圖5A~圖5C所示，各表平面111上的封閉圖案除了前一實施例所述的環形圖案之外，亦可替換為正多邊形圖案，而正多邊形圖案的質心位於正多邊形圖案所圈圍的範圍中。如圖5A所示，各表平面111上具有數個正方形的封閉圖案114，該些封閉圖案114之間隔為等距，且正方形圖案的質心C2位於正方形圖案所圈圍的範圍中。如圖5B所示，各表平面111上具有數個正三角形的封閉圖案115，該些封閉圖案115之間隔為等距，且正三角形圖案的質心C3位於正三角形圖案所圈圍的範圍中。如圖5C所示，各表平面111上具有數個正五邊形的封閉圖案116，而該些封閉圖案116之間隔為等距，且正五邊形圖案的質心C4位於正五邊形圖案所圈圍的範圍中。

圖6為依據另一實施例的深度相機校正裝置的示意圖。如圖6所示，校正板組件11可為一體成型的結構體，而該些表平面111非共平面且互不平行，且任意兩個表平面111的延伸面之夾角非0度或180度。各表平面111上的封閉圖案112為封閉的環形圖案，且各環形圖案的質心C1位於環形圖案所圈圍的範圍中。在其他實施例中，一體成型的校正板組件11上的校正圖案可替換為正多邊形圖案。

圖7為依據一實施例的深度相機校正裝置的方法的流程圖。圖8A為依據一實施例的在未經反扭曲運算前結構光深度相機所拍攝的表平面的影像的示意圖。圖8B為依據一實施例的在未經反扭曲運算前結構光深度相機所拍攝的表平面的影像的示意圖。請共同參閱圖7、圖8A與圖8B，圖7所示的方法可藉由圖1的深度相機校正裝置100來執行，而在步驟S701中，處理器13可用以讀取取像元件210的解析度、以及各表平面111上的所有特徵點的特徵點座標值，其中每一特徵點分別為每一封閉圖案的質心。在步驟S702中，關閉結構光深度相機200的投影功能且以結構光深度相機200的取像元件 210拍攝該些表平面111以擷取到第一影像500，第一影像500具有封閉圖案，而第一影像500依據不同方位包含第一方位實際影像501、第二方位實際影像502以及第三方位實際影像503。由於處理器13尚未進行反扭曲運算，所以第一方位實際影像501、第二方位實際影像502以及第三方位實際影像503中顯示的環形圖案相較於校正板110上實際的環形圖案會發生扭曲或形變。

在步驟S703中，以處理器103界定影像裁切邊界且依據該影像裁切邊界對第一影像500進行裁切。

在步驟S704中，以處理器13依據特徵點偵測方式，計算第一方位實際影像501、第二方位實際影像502以及第三方位實際影像503中的每一特徵點的特徵點影像座標值。在步驟S705中，以處理器13依據第一方位實際影像501、第二方位實際影像502以及第三方位實際影像503以及下列式1~5計算取像元件210的內部參數及形變係數。

(式1)

(式2)

(式3)

(式4)

(式5)

x、y為使用者指定的世界座標之二維座標值。X、Y為(x、y)成像於平面影像上的對應點之二維座標值。 、 、 、 、 為取像裝置210的內部參數。 、 、 、t所組成的3列4行的矩陣相當於取像元件210與投影元件220之間的外部參數。 為平面影像上的像素經過徑向形變(radial distortion)之二維座標值， 、 、 為徑向形變係數， 。 為平面影像上的像素經過切向形變(tangential distortion)之二維座標值， 、 為切向形變係數。

在步驟S706中，開啟結構光深度相機200的投影功能，將投影圖案投影至該些表平面111。在步驟S707中，以取像元件210拍攝該些表平面111以擷取到一第二影像600，第二影像600具有封閉圖案以及投影圖案，而第二影像600依據不同方位可包含第一方位投影影像601、第二方位投影影像602以及第三方位投影影像603。當以取像元件210擷取第一影像500以及第二影像600時，結構光深度相機200與校正板組件11之相對位置維持不變。由於處理器13尚未進行反扭曲運算，所以第一方位投影影像601、第二方位投影影像602以及第三方位投影影像603中所顯示的環形圖案以及投影圖案相較於校正板110上實際的環形圖案與投影圖案會發生扭曲或形變。

在步驟S708中，以處理器13依據影像裁切邊界對第二影像600進行裁切。

在步驟S709中，以處理器13對已裁切的第一影像500與第二影像600進行反扭曲運算(undistortion)，以產生無形變第一影像以及無形變第二影像，其中無形變第一影像包含無形變第一方位實際影像、無形變第二方位實際影像以及無形變第三方位實際影像，而無形變第二影像包含無形變第一方位投影影像、無形變第二方位投影影像以及無形變第三方位投影影像。

圖9為依據一實施例的經過反扭曲運算後結構光深度相機拍攝表平面的影像示意圖。如圖9所示，無形變第一影像700包含無形變第一方位實際影像701、無形變第二方位實際影像702以及無形變第三方位實際影像703，相較於圖8A的第一影像500，圖9的無形變第一影像700上的環形圖案十分近似校正板110上實際的環形圖案。

在步驟S710中，以處理器13依據投影圖案、無形變第一影像以及無形變第二影像採用模板匹配(template matching)演算法來計算投影圖案中對應於表平面111上的特徵點的對應點的第一組對應點座標值、第二組對應點座標值以及第三組對應點座標值。詳言之，當取像元件210擷取第一方位實際影像501以及第一方位投影影像601時，結構光深度相機200與校正板組件11之間的相對位置不變，處理器13採用模板匹配演算法以比對投影圖案與無形變第一方位投影影像以取得投影圖案中對應表平面111上的第一組對應點座標值。當結構光深度相機200擷取第二方位實際影像502以及第二方位投影影像602時，結構光深度相機200與校正板組件11之間的相對位置不變，處理器13可採用模板匹配演算法以比對投影圖案與無形變第二方位投影影像，以取得投影圖案中對應表平面111上的特徵點的第二組對應點座標值。當結構光深度相機200擷取第三方位實際影像503以及第三方位投影影像603時，結構光深度相機200與校正板組件11之間的相對位置不變，處理器13可採用模板匹配演算法以比對投影圖案與無形變第三方位投影影像，以取得投影圖案中對應表平面111上的特徵點的第三組對應點座標值。

在步驟S711中，以處理器13依據各特徵點的特徵點座標值、第一組對應點座標值、第二組對應點座標值以及第三組對應點座標值計算投影元件220的內部參數及形變係數。

在步驟S712中，以處理器13依據特徵點座標值、特徵點影像座標值、對應點座標值、取像元件210的內部參數以及投影元件220的內部參數計算取像元件210與投影元件220之間的外部參數。

圖10為依據一實施例的界定表平面的影像裁切邊界的示意圖。如圖10所示，以處理器13依據各表平面111的四個角落的標記113界定每一表平面111的影像裁切邊界B1。接著，以處理器13依據影像裁切邊界B1對第一影像500與該第二影像600進行裁切。

圖11A至圖11C為依據另一實施例的界定表平面的影像裁切邊界的示意圖。如圖11A所示，以處理器13依據自動叢集演算法找出各表平面111上的特徵點叢集，其中特徵點叢集包含所有封閉圖案112的質心C1。如圖11B所示，以處理器13依據特徵點叢集找出特徵點叢集邊界B2。如圖11C所示，以處理器13依據特徵點叢集邊界B2放大為一影像裁切邊界B3。接著，以處理器13依據影像裁切邊界B3對該第一影像500與該第二影像600進行裁切。

圖12為依據另一實施例的表平面的特徵點的示意圖。如圖12所示，表平面111上的特徵點除了封閉圖案112的質心C1之外，還可依據四個封閉圖案為一單位，將每四個封閉圖案的質心C5定義為額外的特徵點，藉此增加表平面111上的特徵點。當特徵點的數量增加，可使得處理器13計算的相機內部參數、投影元件內部參數以及外部參數更為精確，提升校正品質。

圖13為依據另一實施例的深度相機校正方法的流程圖。圖13的實施例與圖7的實施例的差異在於在步驟S710及步驟S711之間，更包括步驟S713、步驟S714、步驟S715以及步驟S716。在步驟S713中，以處理器13依據第二影像600中的數個對應點取得數條縱向參考線以及數條橫向參考線；以該些縱向參考線與該些橫向參考線形成數個交會處；以處理器13判斷該些對應點之中是否至少有一個對應點未設置於交會處附近，若處理器13判斷至少有一個對應點未設置於交會處附近，則執行步驟S714。若處理器13判斷所有對應點均設置於交會處附近，則執行步驟S715。在步驟S714中，以處理器13將未設置於交會處附近的對應點視為異常點且刪除異常點。在步驟S715中，以處理器13判斷該些交會處之中是否至少有一個交會處附近未設置對應點，若處理器13判斷至少有一個交會處附近未設置有對應點，則執行步驟S716。若處理器13判斷所有交會處附近均設置有對應點，則執行前述的步驟S711。在步驟S716中，以處理器13在未設置有對應點的交會處補上額外的對應點。在其他實施例中，步驟S713與步驟S715的執行順序可以互調。

圖14A~14B為依據一實施例的處理器將第二影像中的異常點刪除之示意圖。如圖14A~14B所示，第二影像600中的數個對應點P1~P9形成數條縱向參考線L1~L3以及數條橫向參考線H1~H3，而縱向參考線L1~L3與橫向參考線H1~H3形成數個交會處K1~K9，當處理器13判斷對應點P1~P9之中有一個對應點沒有設置於K1~K9之任一個交會處附近時，則以處理器13將沒有設置於交會處附近的對應點視為異常點。在本實施例中，對應點P7沒有位於交會處K1~K9之任一個，以處理器13將對應點P7視為異常點，並將對應點P7從第二影像600中刪除。

圖15A~15B為依據一實施例的處理器將第二影像中缺少的對應點補齊的示意圖。如圖15A~15B所示，當處理器13判斷交會處K1~K9之上有一個交會處沒有設置對應點時，則以處理器13將沒有設置任何對應點的交會處補上一額外的對應點。在本實施例中，第二影像在交會處K8上缺少對應於校正表平面111的特徵點的對應點，以處理器13將於交會處K8上補上額外的對應點P8。

此外，圖10與圖11A至11C所提及的影像裁切邊界方法，均可使用於第二影像中沒有缺漏對應點以及有缺漏對應點的兩種情形，但以使用於沒有缺漏對應點的情形為較佳。

深度像機校正方法對結構光深度相機進行校正時，不需改變結構光深度相機與校正板組件的相對位置，相較於習知校正方法必需改變結構光深度相機與校正板的相對位置，大幅縮短校正時間。此外，進行校正的特徵點為封閉圖案的質心，相較於以往田字型圖案的特徵點是位於直線交會點，封閉圖案的輪廓可使用粗而明顯的線條，其具有較高的辨識度。另一方面，由於處理器在計算結構光深度相機的參數之前，已先進行影像裁切、排除異常點以及補齊對應點之處理，因此所計算出的相機參數應可具有較高的校正品質。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

100‧‧‧深度相機校正裝置

11‧‧‧校正板組件

110‧‧‧校正板

111‧‧‧表平面

112‧‧‧封閉圖案

113‧‧‧標記

13‧‧‧處理器

200‧‧‧結構光深度相機

210‧‧‧取像元件

220‧‧‧投影元件

500‧‧‧第一影像

501‧‧‧第一方位實際影像

502‧‧‧第二方位實際影像

503‧‧‧第三方位實際影像

600‧‧‧第二影像

601‧‧‧第一方位投影影像

602‧‧‧第二方位投影影像

603‧‧‧第三方位投影影像

700‧‧‧無形變第一影像

701‧‧‧無形變第一方位實際影像

702‧‧‧無形變第二方位實際影像

703‧‧‧無形變第三方位實際影像

C1~C5‧‧‧質心

P1~P10‧‧‧對應點

L1~L3‧‧‧縱向參考線

H1~H3‧‧‧橫向參考線

K1~K9‧‧‧交會處

圖1為依據第一實施例的深度相機校正裝置的示意圖。 圖2至圖4為依據數個實施例的校正板組件的配置示意圖。 圖5A至圖5C為依據多個實施例的封閉圖案的示意圖。 圖6為依據另一實施例的深度相機校正裝置的示意圖。 圖7為依據一實施例的深度相機校正方法的流程圖。 圖8A為依據一實施例的在未經反扭曲運算前結構光深度相機所拍攝的表平面的影像的示意圖。 圖8B為依據一實施例的在未經反扭曲運算前結構光深度相機所拍攝的表平面的影像的示意圖。 圖9為依據一實施例的在經過反扭曲運算後結構光深度相機所拍攝的影像的示意圖。 圖10為依據一實施例的界定表平面的影像裁切邊界的示意圖。 圖11A至圖11C為依據另一實施例的界定表平面的影像裁切邊界的示意圖。 圖12為依據另一實施例的取樣表平面的特徵點的示意圖。 圖13為依據另一實施例的深度相機校正方法的流程圖。 圖14A~14B為依據一實施例的處理器將影像中的異常點刪除之示意圖。 圖15A~15B為依據一實施例的處理器將影像中缺少的對應點補上的示意圖。

Claims (13)

1. 一種深度相機校正裝置，用以校正一結構光深度相機，該深度相機校正裝置包括：一校正板組件，該校正板組件包含複數個表平面，各該表平面上設有數個封閉圖案，各該封閉圖案的質心位於該封閉圖案所圈圍的範圍中，該些表平面非共平面且互不平行，且該些表平面用於接收該結構光深度相機所投影的一投影圖案；以及一處理器，用於電性連接該結構光深度相機且透過自動裁切影像邊界、計算特徵點位置、讀取投影圖案、計算對應點位置及排除異常點，以得到該結構光深度相機的一組內部參數、一組形變係數以及一外部參數。
2. 如請求項1所述之深度相機校正裝置，其中該些封閉圖案為環形圖案或正多邊形圖案。
3. 如請求項1所述之深度相機校正裝置，其中該些質心為該些表平面上的數個特徵點。
4. 如請求項1所述之深度相機校正裝置，其中該些表平面之中任二個表平面的夾角非0度或180度。
5. 如請求項1所述之深度相機校正裝置，其中該校正板組件為一體成型的結構體。
6. 如請求項1所述之深度相機校正裝置，其中該校正板組件包含複數個相互間隔的校正板，該些表平面分別設於該些校正板。
7. 如請求項1所述之深度相機校正裝置，其中該些表平面分別與該結構光深度相機的一取像面具有不同的方位。
8. 一種深度相機校正方法，用以校正一結構光深度相機且藉由一深度相機校正裝置來執行，該深度相機校正裝置包含一校正板組件以及一處理器，該校正板組件包含複數個表平面，各該表平面上設有數個封閉圖案，且各該封閉圖案的質心位於該封閉圖案所圈圍的範圍中，該些表平面非共平面且互不平行，該深度相機校正方法包括： 關閉該結構光深度相機的投影功能且以該結構光深度相機的一取像元件拍攝該些表平面以取得一第一影像，該第一影像具有該些封閉圖案； 開啓該結構光深度相機的投影功能且以該取像元件拍攝該些表平面以取得一第二影像，該第二影像具有該些封閉圖案以及一投影圖案，且當以該取像元件取得該第一影像以及該第二影像時，該結構光深度相機與該校正板組件之相對位置維持不變；以及 以該處理器依據該第一影像及該第二影像自動裁切影像邊界、計算特徵點位置、讀取投影圖案、計算對應點位置及排除異常點，以得到該結構光深度相機的一組內部參數、一組形變係數以及一外部參數。
9. 如請求項8所述之深度相機校正方法，其中以該處理器計算對應點位置包含：依據該第一影像判定該些質心作為該些表平面的數個特徵點；以及依據該第一影像以及該第二影像取得該投影圖案上對應於該些特徵點的數個對應點。
10. 如請求項8所述之深度相機校正方法，其中以該處理器排除異常點包含：依據數個對應點取得數條縱向參考線以及數條橫向參考線；依據該些縱向參考線與該些橫向參考線形成數個交會處；以及當該處理器判斷該些對應點之中有一個對應點沒有設置於該交會處附近，將沒有設置於該交會處附近的該對應點視為異常點並排除。
11. 如請求項8所述之深度相機校正方法，更包括以該處理器依據數個對應點取得數條縱向參考線以及數條橫向參考線；依據該些縱向參考線與該些橫向參考線形成數個交會處；以及當該處理器判斷該些交會處之中有一個交會處沒有設置一對應點時，以該處理器將沒有設置任何對應點的該交會處補上一額外的對應點。
12. 如請求項8所述之深度相機校正方法，其中以該處理器自動裁切影像邊界包含：於各該表平面的四個角落分別設置四個標記以界定各該表平面的一影像裁切邊界；以及以該處理器依據該影像裁切邊界裁切該第一影像與該第二影像。
13. 如請求項8所述之深度相機校正方法，其中以該處理器自動裁切影像邊界包含：透過一自動叢集演算法找出各該表平面上的一特徵點叢集以及一特徵點叢集邊界；縮放該特徵點叢集邊界以產生一影像裁切邊界；以及以該處理器依據該影像裁切邊界對該第一影像與該第二影像進行裁切。