TWI489859B

TWI489859B - 影像形變方法及其電腦程式產品

Info

Publication number: TWI489859B
Application number: TW100139686A
Authority: TW
Inventors: Augustine Tsai; Meng Hsuan Chia; wen kai Liu
Original assignee: Inst Information Industry
Priority date: 2011-11-01
Filing date: 2011-11-01
Publication date: 2015-06-21
Also published as: CN103096102B; US20130108187A1; TW201320714A; JP2013097782A; CN103096102A

Description

影像形變方法及其電腦程式產品

本發明係關於一種影像形變方法及其電腦程式產品；更具體而言，本發明係關於一種趨近一原始影像之複數個原始特徵點至相對應之複數個新特徵點，俾形變該原始影像為一新影像之影像形變方法及其電腦程式產品。

因應現代人對於立體影像的需求，與立體影像相關的議題已逐漸受到人們重視，而為了滿足所述需求，與立體影像相關的技術亦日益求精。近年來，立體影像顯示器，例如三維立體電視機（Three-Dimensional Television；3DTV）已逐漸普及於市場，致使現代人得以輕易的享受到立體影像所帶來的視覺享受。然而，礙於技術考量，立體影像擷取裝置並不如立體影像顯示設備來的普及。於是，立體影像擷取技術的發展，並不如立體影像顯示設備的發展來的迅速，俾三維（Three-Dimensional Television；3D）多媒體時代的普及受到阻礙。

立體影像擷取設備無法普及之一主要問題在於二維（Two-Dimensional Television；2D）影像轉換為3D影像尚未成熟。因此，如何有效地將2D影像轉換為3D影像將是本領域之ㄧ重要課題。進一步言，為了將2D影像轉換為3D影像，目前普遍採用的技術手段係運用一基於影像深度生成（Depth-Image-Based Rendering；DIBR）方法。DIBR方法係利用已知的影像深度資訊，取得對應至原始2D影像上的每個像素（Pixel）之深度，並根據每個像素深度的不同，計算出新視角與原視角之間的位移量，以產生不同視角的影像。接著，藉由合成不同視角的影像為多視角的影像，以轉換2D影像為3D影像。

不幸地，DIBR方法所仰賴之影像深度資訊，並不易精確地取得。一般而言，影像深度資訊可藉由人工處理或者電腦視覺技術所取得，惟人工處理需耗費大量的人力與時間，且電腦視覺技術亦需耗費冗長的計算時間。除此之外，無論是以人工的方式或是以電腦視覺技術，皆容易因雜訊以至於無法精確的估算出影像深度資訊。另一方面，一影像中之物體之間存有之遮蔽現象將造成新視角之影像位移後存有空洞，而DIBR方法最為人詬病之處在於必須採用鄰近的像素填補該空洞，因此容易產生虛擬邊緣等問題。

綜上所述，因目前大部分2D影像轉換為3D影像普遍採用DIBR方法，且DIBR方法易受限於影像深度資訊的準確性，致使立體影像擷取技術難以進展。有鑑於此，如何改善習知2D影像轉換為3D影像技術的缺點，俾立體影像顯示器的普及率得以提昇，確為該領域之業者亟需解決之問題。

本發明之目的在於提供一種影像形變方法及其電腦程式產品。詳言之，本發明之影像形變方法及其電腦程式產品係藉由趨近一原始影像之複數個原始特徵點至相對應之複數個新特徵點，形變該原始影像為一新影像，其中該新影像對應至一新視角。由於本發明之影像形變方法及其電腦程式產品不需要仰賴影像之深度資訊，即可準確地產生對應至新視角之影像，俾不需採用習知的DIBR方法即可將2D影像轉換為3D影像。換言之，本發明之影像形變方法及其電腦程式產品可有效地改善採用習知DIBR方法將2D影像轉換為3D影像所產生的缺點，俾立體影像顯示器的普及率得以提昇。

為達上述目的，本發明提供一種影像形變方法。該影像形變方法用於一具有影像處理功能之裝置，且該裝置包含一處理器。該影像形變方法包含下列步驟：(a)令該處理器，界定一原始影像之複數個原始特徵點，其中該原始影像對應至一原始視角；(b)令該處理器，計算該等原始特徵點位於該原始影像之複數個原始像素座標；(c)令該處理器，界定該原始影像之複數個新特徵點，其中該等新特徵點分別對應至該原始影像之該等原始特徵點；(d)令該處理器，計算該等新特徵點投影至該原始影像之複數個新像素座標；以及(e)令該處理器，趨近該原始影像之各該原始特徵點之該原始像素座標至各該相對應之新特徵點之該新像素座標，俾該原始影像形變為一新影像，其中該新影像對應至一新視角。

為達上述目的，本發明更提供一種電腦程式產品。該電腦程式產品內儲一用以執行一影像形變（warping）方法之程式，俾該程式載入一電腦裝置後執行：程式指令A，界定一原始影像之複數個原始特徵點，其中該原始影像對應至一原始視角；程式指令B，計算該等原始特徵點位於該原始影像之複數個原始像素座標；程式指令C，界定該原始影像之複數個新特徵點，其中該等新特徵點分別對應至該原始影像之該等原始特徵點；程式指令D，計算該等新特徵點投影至該原始影像之複數個新像素座標；以及程式指令E，趨近該原始影像之各該原始特徵點之該原始像素座標至各該相對應之新特徵點之該新像素座標，俾該原始影像形變為一新影像，其中該新影像對應至一新視角。

於參閱圖式及隨後描述之實施方式後，所屬技術領域具有通常知識者便可瞭解本發明之其他目的，以及本發明之技術手段及實施態樣。

以下將透過實施例來解釋本發明之內容，本發明的實施例並非用以限制本發明須在如實施例所述之任何特定的環境、應用或特殊方式方能實施。因此，關於實施例之說明僅為闡釋本發明之目的，而非用以限制本發明。須說明者，以下實施例及圖式中，與本發明非直接相關之元件已省略而未繪示，且圖式中各元件間之尺寸關係僅為求容易瞭解，非用以限制實際比例。

本發明之第一實施例為一影像形變方法。有關第一實施例之說明請參閱第1圖，其中第1圖係第一實施例之流程圖。於本實施例中，該影像形變方法係用於一具有影像處理功能之裝置，其中該裝置至少包含一處理器，用以執行該影像形變方法之各步驟。須說明者，基於說明簡化原則，該具有影像處理功能之裝置所包含之其他元件，例如記憶體、影像輸出/輸入裝置等等，將隱含但並不詳述於本實施例中。另一方面，該具有影像處理功能之裝置可為一相機裝置、一個人電腦裝置、一行動電話裝置、一筆記型電腦裝置、或其他具有影像處理功能之裝置。

以下將說明本實施例之具體流程。如第1圖所示，於步驟S1，令該處理器界定一原始影像之複數個原始特徵點，其中該原始影像對應至一原始視角，而於步驟S3，令該處理器計算該等原始特徵點位於該原始影像之複數個原始像素座標。具體而言，本實施例之該原始影像係指由某一視角所視之一2D影像。舉例而言，當一攝影者對一物體拍攝，該攝影者面向該物體之方向，即為本實施例之該原始視角，而拍攝所得之影像即為本實施例之原始影像，除此之外，本實施例之該原始影像可以是影像實體的態樣，例如相片或圖片，亦可以是影像資料的態樣，例如由多個位元組成之影像資料，且該等態樣皆落於本發明之保護範圍內。

本實施例之該等原始特徵點係用以表示該原始影像之主要特徵為何，而如何界定出該等原始特徵點可為本領域具通常知識者輕易理解，故於此不再贅述。另一方面，執行步驟S3之目的在於藉由像素座標方式，界定該等原始特徵點位於該原始影像之位置。

再者，於步驟S5，令該處理器界定該原始影像之複數個新特徵點，其中該等新特徵點分別對應至該原始影像之該等原始特徵點，而於步驟S7，令該處理器計算該等新特徵點投影至該原始影像之複數個新像素座標。於本實施例中，該等新特徵點係等同於由不同於原始視角之一新視角觀看該原始影像所界定之特徵點，且該等新特徵點所表徵之影像特徵與該等原始特徵點所表徵之影像特徵相同。舉例而言，假設該原始影像係一鉛筆，且該等原始特徵點係表徵由該原始視角所視該鉛筆之筆尖，則該等新特徵點係表徵由新視角所視該鉛筆之筆尖。換言之，該等新特徵點分別對應至該原始影像之該等原始特徵點係指以不同角度觀看相同影像之影像特徵之意。

執行步驟S7之目的在於藉由像素座標方式，界定該等新特徵點位於該原始影像之位置。詳言之，雖然該等新特徵點所表徵之影像特徵與該等原始特徵點所表徵之影像特徵相同，但因該等新特徵點是由不同於該原始視角之一新視角觀看該原始影像所界定之特徵點，故各該新特徵點投影至該原始影像之該新像素座標與各該相對應之原始像素座標存有一座標差，而該座標差係因應所述不同視角而產生。

於步驟S9，令該處理器趨近該原始影像之各該原始特徵點之該原始像素座標至各該相對應之新特徵點之該新像素座標，俾該原始影像形變為一新影像，其中該新影像對應至一新視角。具體而言，步驟S9之目的在於藉由縮小各該原始特徵點與各該相對應之新特徵點之間的距離，形變該原始影像為一新影像，俾該新影像等同於由該新視角所視之影像。

本實施例中所述之影像形變方法可由一電腦程式產品執行。當該電腦程式產品載入一電腦裝置時，該電腦裝置會執行包含於該電腦程式產品中之複數個指令，進而可完成本實施例中所述之影像形變方法。該電腦程式產品可儲存於一有形之機器可讀取記錄媒體中，例如唯讀記憶體（read only memory；ROM）、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟習此項技藝者所習知且具有相同功能之任何其它儲存媒體中。

本發明之第二實施例亦為一影像形變方法。有關第二實施例之說明請同時參閱第1圖及第2圖，其中第2圖係步驟S9之細部流程圖。本實施例之影像形變方法之各步驟，若未於本實施例中特別註明，或是與第一實施例之步驟具有相同之標號，皆可等同於第一實施例中具有標示相同標號之步驟，故於此不再贅述。

第二實施例與第一實施例之差異在於步驟S9進一步包含第2圖所示之步驟。如第2圖所示，於步驟S91，令該處理器分割該原始影像為複數個格子影像，其中各該格子影像包含複數個格子點，各該格子點具有一格子點座標。具體而言，各該格子點具有之格子點座標係表示各該格子點位於該原始影像中之ㄧ像素位置所對應之像素座標。

本實施例之該等格子影像之形狀可以具有多種態樣，例如方形、三角形、六角形、八角形或多角形等等。除此之外，不同形狀之格子影像可具有不同數量之格子點，例如三角形具有3個格子點、六角形具有6個格子點、八角形具有8個格子點等等。然而，為了便於說明，以下將以方形作為說明。於是，本實施例之該處理器係分割該原始影像為複數個方格影像，其中每個方格影像之四個頂角表示為格子點，各該格子點之格子點座標對應至該原始影像中之ㄧ像素座標。

如第2圖所示，於步驟S93，令該處理器藉由移動各該格子影像之該等格子點之該等格子點座標，趨近該原始影像之各該原始特徵點之該原始像素座標至各該相對應之新特徵點之該新像素座標。具體而言，步驟S93之目的在於形變該原始影像之該等方格影像，俾形變後的影像對應至一新視角。

為了進一步說明影像之形變過程，請進一步參閱第3圖，其中第3圖係一方格影像之形變示意圖。如第3圖所示，一原始方格影像1包含四個格子點P，且原始方格影像1內存有一原始特徵點11及一新特徵點13。藉由移動四個格子點P之格子點座標，使得原始特徵點11之原始像素座標趨近至新特徵點13之新像素座標的同時，扭曲/拉扯原始方格影像1，俾產生一新方格影像3。雖然第3圖所示之方格影像形變過程係僅用以說明被該原始影像被分割後之ㄧ方格影像之形變過程，且該方格影像中僅存有一特徵點，然而本領域具通常知識者應可根據第3圖輕易推知該方格影像包含複數個特徵點之態樣，以及輕易推知包含複數個該方格影像之該原始影像形變為一新影像之過程，故不贅述。

本實施例之步驟S95及步驟S97係與步驟S93搭配執行。詳言之，於步驟S95，令該處理器，於移動各該格子影像之該等格子點之該等格子點座標時，限定位於各該格子影像內之所有原始特徵點與該相對應之格子影像之該等格子點之一位置變化。另一方面，於步驟S97，令該處理器，於移動各該格子影像之該等格子點之該等格子點座標時，限定各該格子影像之該等格子點之一相互位置關係。於步驟S95及步驟S97，各該格子影像之該等格子點之該等格子點座標可進一步根據各該相對應之格子影像之一像素亮度變異數移動，但此條件並非用以限制本發明。

除此之外，本實施例之步驟S95及步驟S97係可藉由一內容保存形變法（Content-Preserving Warping Method）具體實現，但並不受限於此方法。進一步言，內容保持形變法符合兩種概念，也就是資料項與平滑項，並要求在資料項與平滑項之間取得一平衡點，其中資料項及平滑項可分別對應至步驟S95及步驟S97。

資料項係用以限定方格影像之格子點之格子點座標的條件，使得一個方格影像在經過形變之後，特徵點在其所屬的方格影像裡之位置不會改變太多。另一方面，平滑項用以限定一個方格影像在經過形變之後，方格影像之格子點之間的相互位置關係不要變化過多，避免造成方格影像過度扭曲。因此，藉由調整資料項與平滑項可以基於內容保持的情況下形變方格影像。須說明者，資料項與平滑項可同時搭配使用每一個方格影像的像素亮度變異數作為權重值，其中該畫素亮度變異數越低，即表示越有可能有較多的變形，惟所述像素亮度變異數並非用以限制本發明。

除了上述步驟，第二實施例亦能執行第一實施例所描述之所有步驟。且所屬技術領域具有通常知識者可直接瞭解第二實施例如何基於上述第一實施例以執行此等步驟，故不贅述。除此之外，本實施例中所述之影像形變方法可由一電腦程式產品執行。當該電腦程式產品載入一電腦裝置時，該電腦裝置會執行包含於該電腦程式產品中之複數個指令，進而可完成本實施例中所述之影像形變方法。該電腦程式產品可儲存於一有形之機器可讀取記錄媒體中，例如唯讀記憶體（read only memory；ROM）、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟習此項技藝者所習知且具有相同功能之任何其它儲存媒體中。

本發明之第三實施例亦為一影像形變方法。有關第三實施例之說明請同時參閱第1圖及第4圖，其中第4圖係步驟S3之細部流程圖。須說明者，本實施例之影像形變方法之各步驟，若未於本實施例中特別註明，亦或是具有與第一實施例之步驟相同之標號，皆可等同於第一實施例中標示相同標號之步驟，故於此不再贅述。

第三實施例與第一實施例之差異在於步驟S5進一步包含第4圖所示之步驟。詳言之，於步驟S51，令該處理器界定一參考影像之複數個參考特徵點，其中該等參考特徵點分別對應至該原始影像之該等原始特徵點。進一步言，本實施例所述參考影像係指由另一視角所視該原始影像之一影像。舉例而言，當一攝影者對一物體拍攝，該攝影者面向該物體之方向，即為本實施例之該原始視角，而拍攝所得之影像即為本實施例之原始影像。此時，若該攝影者水平移動一單位距離，則該攝影者面向該物體之方向，即為本實施例之該另一視角，而拍攝所得之影像即為本實施例之參考影像。除此之外，類似於第一實施例所述，該等參考特徵點分別對應至該原始影像之該等原始特徵點係指該等參考特徵點所表徵之影像特徵與該等原始特徵點所表徵之影像特徵相同。

進一步言，於步驟S53，令該處理器計算該等參考特徵點投影至該原始影像之複數個參考像素座標，並於步驟S55，令該處理器根據該等原始像素座標及該等參考像素座標，藉由一插入演算法界定該等新特徵點。具體而言，執行步驟S53之目的在於藉由像素座標方式，界定該等參考特徵點位於該原始影像之位置，而執行步驟S55之目的在於藉由該插入演算法藉定出步驟S5所述之該等新特徵點。

須說明者，本實施例之該插入演算法係一內插法及一外插法其中之ㄧ，而本實施例即藉由該插入演算法以及該等原始像素座標及該等參考像素座標，界定出步驟S5所述之該等新特徵點。換言之，本實施例僅需根據至少二影像，例如一原始影像及一參考影像，分別計算出該二影像中用以表徵相同影像特徵之特徵點，即可利用該插入演算法計算出由不同視角觀看該原始影像之複數個新特徵點。

除了上述步驟，第三實施例亦能執行第一實施例所描述之所有步驟。且所屬技術領域具有通常知識者可直接瞭解第三實施例如何基於上述第一實施例以執行此等步驟，故不贅述。除此之外，本實施例中所述之影像形變方法可由一電腦程式產品執行。當該電腦程式產品載入一電腦裝置時，該電腦裝置會執行包含於該電腦程式產品中之複數個指令，進而可完成本實施例中所述之影像形變方法。該電腦程式產品可儲存於一有形之機器可讀取記錄媒體中，例如唯讀記憶體（read only memory；ROM）、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟習此項技藝者所習知且具有相同功能之任何其它儲存媒體中。

本發明之第四實施例亦為一影像形變方法。有關第四實施例之說明請同時參閱第1-4圖。具體而言，本實施例與前述各實施例之差異在於步驟S9進一步包含第2圖所示之步驟，且步驟S5進一步包含第4圖所示之步驟。換言之，本實施例之影像形變方法同時包含第1圖及第3-4圖之各步驟。據此，本實施例能執行前述各實施例所描述之所有步驟，且所屬技術領域具有通常知識者可直接瞭解第三實施例如何基於上述第一實施例以執行此等步驟，故不贅述。

此外，本實施例中所述之影像形變方法可由一電腦程式產品執行。當該電腦程式產品載入一電腦裝置時，該電腦裝置會執行包含於該電腦程式產品中之複數個指令，進而可完成本實施例中所述之影像形變方法。該電腦程式產品可儲存於一有形之機器可讀取記錄媒體中，例如唯讀記憶體（read only memory；ROM）、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟習此項技藝者所習知且具有相同功能之任何其它儲存媒體中。

綜上所述，本發明之影像形變方法及其電腦程式產品係藉由趨近一原始影像之複數個原始特徵點至相對應之複數個新特徵點，形變該原始影像為一新影像，其中該新影像對應至一新視角。由於本發明之影像形變方法及其電腦程式產品不需要仰賴影像之深度資訊，即可準確地產生對應至新視角之影像，俾不需採用習知的DIBR方法即可將2D影像轉換為3D影像。換言之，本發明之影像形變方法及其電腦程式產品可有效地改善採用習知DIBR方法將2D影像轉換為3D影像所產生的缺點，俾立體影像顯示器的普及率得以提昇。

上述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之保護範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利保護範圍應以申請專利範圍為準。

1．．．原始方格影像

11．．．原始特徵點

13．．．新特徵點

3．．．新方格影像

P．．．格子點

第1圖係本發明之第一實施例之流程圖；

第2圖係本發明之步驟S9之細部流程圖；

第3圖係本發明之一方格影像之形變示意圖；以及

第4圖係本發明之步驟S5之細部流程圖；

Claims

一種影像形變（warping）方法，用於一具有影像處理功能之裝置，該裝置包含一處理器，該影像形變方法包含下列步驟：
　　(a)令該處理器，界定一原始影像之複數個原始特徵點，其中該原始影像對應至一原始視角；
　　(b)令該處理器，計算該等原始特徵點位於該原始影像之複數個原始像素座標；
　　(c)令該處理器，界定該原始影像之複數個新特徵點，其中該等新特徵點分別對應至該原始影像之該等原始特徵點；
　　(d)令該處理器，計算該等新特徵點投影至該原始影像之複數個新像素座標；以及
　　(e)令該處理器，趨近該原始影像之各該原始特徵點之該原始像素座標至各該相對應之新特徵點之該新像素座標，俾該原始影像形變為一新影像，其中該新影像對應至一新視角。
如請求項1所述之影像形變方法，其中該步驟(e)更包含下列步驟：
　　(e1)令該處理器，分割該原始影像為複數個格子影像，其中各該格子影像包含複數個格子點，各該格子點具有一格子點座標；
　　(e2)令該處理器，藉由移動各該格子影像之該等格子點之該等格子點座標，趨近該原始影像之各該原始特徵點之該原始像素座標至各該相對應之新特徵點之該新像素座標；
　　(e3)令該處理器，於移動各該格子影像之該等格子點之該等格子點座標時，限定位於各該格子影像內之所有原始特徵點與該相對應之格子影像之該等格子點之一位置變化；以及
　　(e4)令該處理器，於移動各該格子影像之該等格子點之該等格子點座標時，限定各該格子影像之該等格子點之一相互位置關係。
如請求項2所述之影像形變方法，其中各該格子影像之該等格子點之該等格子點座標係根據各該相對應之格子影像之一像素亮度變異數移動。
2或3所述之影像形變方法，其中該步驟(c)更包含下列步驟：
　　(c1)令該處理器，界定一參考影像之複數個參考特徵點，其中該等參考特徵點分別對應至該原始影像之該等原始特徵點；
　　(c2)令該處理器，計算該等參考特徵點投影至該原始影像之複數個參考像素座標；以及
　　(c3)令該處理器，根據該等原始像素座標及該等參考像素座標，藉由一插入演算法界定該等新特徵點。
如請求項4所述之影像形變方法，其中該插入演算法係一內插法及一外插法其中之ㄧ。
一種電腦程式產品，內儲一用以執行一影像形變（warping）方法之程式，該程式載入一電腦裝置後執行：
　　程式指令A，界定一原始影像之複數個原始特徵點，其中該原始影像對應至一原始視角；
　　程式指令B，計算該等原始特徵點位於該原始影像之複數個原始像素座標；
　　程式指令C，界定該原始影像之複數個新特徵點，其中該等新特徵點分別對應至該原始影像之該等原始特徵點；
　　程式指令D，計算該等新特徵點投影至該原始影像之複數個新像素座標；以及
　　程式指令E，趨近該原始影像之各該原始特徵點之該原始像素座標至各該相對應之新特徵點之該新像素座標，俾該原始影像形變為一新影像，其中該新影像對應至一新視角。
如請求項6所述之電腦程式產品，其中該程式指令E更包含：
　　程式指令E1，分割該原始影像為複數個格子影像，其中各該格子影像包含複數個格子點，各該格子點具有一格子點座標；
　　程式指令E2，藉由移動各該格子影像之該等格子點之該等格子點座標，趨近該原始影像之各該原始特徵點之該原始像素座標至各該相對應之新特徵點之該新像素座標；
　　程式指令E3，於移動各該格子影像之該等格子點之該等格子點座標時，限定位於各該格子影像內之所有原始特徵點與各該相對應之格子影像之該等格子點之一位置變化；以及
　　程式指令E4，於移動各該格子影像之該等格子點之該等格子點座標時，限定各該格子影像之該等格子點之一相互位置關係。
如請求項7所述之電腦程式產品，其中各該格子影像之該等格子點之該等格子點座標係根據各該相對應之格子影像之一像素亮度變異數移動。
7或8所述之電腦程式產品，其中該程式指令C更包含：
　　程式指令C1，界定一參考影像之複數個參考特徵點，其中該等參考特徵點分別對應至該原始影像之該等原始特徵點；
　　程式指令C2，計算該等參考特徵點投影至該原始影像之複數個參考像素座標；以及
　　程式指令C3，根據該等原始像素座標及該等參考像素座標，藉由一插入演算法界定該等新特徵點。
如請求項9所述之電腦程式產品，其中該插入演算法係一內插法及一外插法其中之ㄧ。