TWI669633B - Mixed reality interaction method and system thereof - Google Patents

Abstract

一種混合實境的互動方法，由一個互動系統實現，並包含以一視角呈現出一個實體空間中之任意物件的一個顯示介面、擷取景物為一個動態實境影像的一個影像擷取模組，及一個處理器。該處理器根據預定義且包含不同視角的數個主目標物件，辨識該動態實境影像，且在該動態實境影像出現與該主目標物件相符的一個主物件時，呼叫與該主目標物件相關聯且預定義的至少一個虛擬影像，並顯示該虛擬影像於該顯示介面。藉此，本發明能夠在不使用VR眼鏡，及沒有角度位置限制的情形下，於任意的實體空間中呈現出虛擬實境，且前述虛擬影像還能夠根據實境影像變化，不但能夠將虛擬實境普及於日常生活，且擬真效果更真實。

Description

混合實境的互動方法及其系統

本發明是有關於一種混合實境，特別是指一種混合實境的互動方法及其系統。

關注最新的科技議題，會發現無論是虛擬實境（Virtual Reality）、擴增實境（Augmented Reality），甚或混合實境（Mixture Reality），正在巨幅的改變人類的視覺感官世界，其中，VR 主要是透過電腦創造出一個完全虛擬的 3D 空間，並以各種技術「欺騙」人類的感官讓它們產生錯覺，使用者將如身歷其境般地在虛擬世界中做各式各樣的事情。AR主要是在現實的空間加入一些虛擬的物件，而使用者基本上還是存在於真實的世界。MR 則是將虛擬的場景與現實進行更高程度的結合，在這之中現實世界中的物件能夠與數位世界中的物件共同存在並且即時的產生互動。

雖然VR、AR、MR概念火熱，但是，仍然存有以下缺點：

1、以VR來說，必須以頭盔或眼鏡來呈現影像，但是，頭盔或眼鏡往往因為體積大、不美觀，且容易頭暈，而無法長時間佩載或帶著外出，因此，在應用範疇上，會受限在遊戲或影片，無法普及於日常生活。

2、由於AR或MR是與真實空間結合，因此，可以透過手機、或平板等具有顯示器的裝置來呈現真實空間與虛擬影像的結合畫面，但是，目前的AR或MR技術在與現實空間結合時，都是以靜態的2D影像做為判斷真實空間的依據，以中華民國公告第I484452號案為例，在擷取教具時，只能以預設的角度擷取教具影像，例如正面、或側面，一但顯示器移動、或教具移動，就會有無法辨識而無法呈像的問題。

因此，本發明之目的，即在提供一種能夠將虛擬實境普及於日常生活，且擬真效果更真實而沒有角度位置限制的混合實境的互動方法及其系統。

於是，本發明一種混合實境的互動方法，由一個互動系統實現，該互動系統包括用於執行至少一個應用程序的一個處理器、以一視角呈現出一個實體空間中之任意物件的一個顯示介面，及用於擷取前述景物之一個動態實境影像的一個影像擷取模組，該混合實境的互動方法由該處理器透過前述應用程序執行，並包含下列步驟：

步驟a：接收該動態實境影像。

步驟b：根據預定義且包含不同視角的數個主目標物件，辨識前述動態實境影像中是否有與該主目標物件相符的一個主物件，如果是，進行步驟c，如果否，回到步驟a。

步驟c：呼叫與該主目標物件相關聯且預定義的至少一個虛擬影像。

步驟d：顯示該虛擬影像於該顯示介面。

一種混合實境的互動系統，包含一個混合實境裝置，及一個處理器。

該混合實境裝置包括一個顯示介面，及擷取景物為一個動態實境影像的一個影像擷取模組，該顯示介面以一視角呈現出一個實體空間中之任意物件；及

該處理器根據預定義且包含不同視角的數個主目標物件，辨識該動態實境影像，且在該動態實境影像出現與該主目標物件相符的一個主物件時，呼叫與該主目標物件相關聯且預定義的至少一個虛擬影像，及顯示該虛擬影像於該顯示介面。

本發明之功效在於：能夠在不使用VR眼鏡，及沒有角度位置限制的情形下，於任意的實體空間中呈現出虛擬實境，且前述虛擬影像還能夠根據實境影像變化，不但能夠將虛擬實境普及於日常生活，且擬真效果更真實。

參閱圖1與圖2，本發明混合實境的互動系統的一個第一實施例，包含一個混合實境裝置1，及一個伺服主機2。

該混合實境裝置1包括設置在實體空間中的一個顯示介面11、一個影像擷取模組12、一個傳輸模組13，及至少一個感測模組14。該顯示介面11在本實施例為顯示器，可以是一種窄邊框或無邊框的顯示器。該影像擷取模組12包括擷取該顯示介面11後方物件為一個動態實境影像R1的一個後攝影鏡頭121，及擷取該顯示介面11前方的物件為一個實境影像R2的前攝影鏡頭122。該傳輸模組13連線網際網路，且用於輸出與接收相關資訊。該感測模組14設置在該顯示介面上，用於感測天氣、溫度、溼度、噪音值、空污指數至少其中之一，而獲得數個環境變因S，並通過該混合實境裝置1的傳輸模組13將前述環境變因S傳送給該伺服主機2。

該伺服主機2在本實施例位於遠端，包括一個處理器21、連線網際網路且與該混合實境裝置1之傳輸模組12相互通訊的一個通訊模組22，及一個儲存媒體23。該處理器21用於執行至少一個應用程序。該通訊模組22用於接收該動態實境影像R1、該實境影像R1，及輸出一個即時動態影像V。該儲存媒體22用於儲存預定義且包含不同視角的數個主目標物件31、預定義且包含不同視角的數個次目標物件32，及分別與各自的主目標物件31、次目標物件32相關聯的數個虛擬影像群組VG。每一個虛擬影像群組VG包括分別與各自的環境變因S相關聯的數個虛擬影像V1。

另外，值得說明的是，前述主目標物件31、次目標物件32分別可以是圖像、動態影像、3D物件其中一種。且前述溫度、溼度、噪音值、空污指數等環境變因S，也可以由該處理器31通過網際網路取得。

參閱圖3與圖1、2，本發明混合實境的互動方法由該伺服主機2的處理器21透過前述應用程序執行，以下即結合實施例步驟說明如下：

步驟40：應用程序開始。

步驟41：該伺服主機2通過該通訊模組22接收一個動態實境影像R1。該動態實境影像R1來自於該後攝影鏡頭121所擷取之該顯示介面11後方的物件(包括不動或動作中的景、物，或實際上不動但隨該顯示介面11移動而動作的景物)，且通過該傳輸模組13所輸出。值得說明的是，該顯示介面11與該後攝影鏡頭121連線，而同步顯示該動態實境影像R1。

舉例來說，該混合實境裝置1設置在某一城巿的街道，且該顯示介面11做為公車站的其中一片圍幕，藉此，當該顯示介面11同步顯示該動態實境影像R1時，站在該顯示介面11前方的用戶會有一種穿透過該顯示介面11而看到該顯示介面11後方景物的錯覺，進而誤認該顯示介面11為一片可以透視的玻璃。

步驟42：通過該通訊模組22接收環境變因S。前述環境變因S來自於該感測模組14感測環境中的天氣、或溫度、或溼度、或噪音值、或空污指數。

以前述環境變因S為天氣為例，該感測模組14可以通過感測是否有雨滴、雨滴大小、或亮度大小，供判斷天氣為晴天、陰天、或雨天。

步驟43：該處理器21根據預定義的主目標物件31，辨識前述動態實境影像R1中是否有與該主目標物件31相符的主物件81，如果是，進行步驟44，如果否，回到步驟41。

值得說明的是，若該主目標物件31為3D物件，即使前述動態實境影像R1以2D呈現景物，但是，不管主物件81實際上是以什麼視角或位置出現，該處理器21都能夠判斷出前述主物件81是否與前述主目標物件31的任一角度相符。當然，若該主目標物件31為圖像或影片，則可以預定義包含不同視角的主目標物件31，藉此，同樣可以辨識出前述動態實境影像R1中是否出現與前述預定義之主目標物件31角度相符合的主物件81。

另外，在本實施例中，該處理器21是對該動態實境影像R1進行邊緣偵測，而決定出主物件81。

步驟44：該處理器21呼叫與該主目標物件31相關聯且預定義的虛擬影像群組VG。

步驟45：該處理器21根據控制變因S，由該虛擬影像群組VG中選擇與該控制變因S相關聯的虛擬影像V1。

舉例來說，預定義該主目標物件31為公車，且控制變因S為天氣，當辨識出前述第一動態實境影像R1中出現公車時，該處理器21就會根據主目標物件31進入對應公車之虛擬影像群組VG，而對應公車之虛擬影像群組VG中包括有各種相關於飛碟的虛擬影像V1，然後，該處理器21會再根據天氣選擇對應的虛擬影像V1。例如，晴天時，選擇會攻擊大樓的飛碟(虛擬影像V1)，陰天時，選擇在大樓間偵察、穿梭的飛碟(虛擬影像V1)。

步驟46：該處理器21判斷步驟47的虛擬影像V1是否為破壞型虛擬影像，如果是，進行步驟47，如果否，進行步驟49；

步驟47：該處理器21融合該虛擬影像V1、該動態實境影像R1為一個即時動態影像V，使該即時動態影像V以一預定播放時間顯示於該顯示介面11。值得說明的是，該虛擬影像V1包括根據該主物件81外觀所建立的一個替代物件V11，及數個虛擬物件V12。

舉例來說，前述破壞型虛擬影像V1被預定義為呈現一飛碟攻擊相當於主物件81的大樓，由於要呈現大樓被攻擊而毀損的畫面，因此，該處理器21會融合該動態實境影像R1，及虛擬影像V1成為一個全新的即時動態影像V，且該即時動態影像V會呈現出被飛碟攻擊而毀損並取代原先大樓(主物件81)的替代物件V11，及攻擊大樓的虛擬物件V12(即飛碟)。

步驟48：該處理器21通過該通訊模組22傳輸該即時動態影像V至該顯示介面11，使該即時動態影像V以一預定播放時間顯示於該顯示介面11。

藉此，該顯示介面11此時顯示的，並不是由該後攝影鏡頭121擷取且即時的動態實境影像R1，而是已融合虛擬影像V1的即時動態影像V。因此，對於站在該顯示介面11前方的用戶而言，會看見大樓正在被飛碟攻擊，且已崩塌毀損。

步驟49：該處理器21通過該通訊模組22傳輸步驟48的虛擬影像V1至該顯示介面11，使該虛擬影像V1以一預定播放時間顯示於該顯示介面11。

舉例來說，前述非破壞型虛擬影像V1被預定義為呈現一飛碟在大樓間偵察、穿梭，由於大樓並不需要有變化，因此，該處理器21會直接傳輸虛擬影像V1至該顯示介面11。

參閱圖4，在前述虛擬影像V1、或前述即時動態影像V預定義的播放時間結束後，或播放的過程中，也可以導入互動模式，而進行下列步驟：

步驟50：通過該通訊模組22接收一個實境影像R2。該實境影像R2來自於該前攝影鏡頭122所擷取之該顯示介面11前方的景物，且通過該傳輸模組13所輸出。

步驟51：該處理器21根據預定義的次目標物件32，辨識該實境影像R2是否有與該次目標物件32相符的一個次物件82，如果是，進行步驟52，如果否，回到步驟50。

同樣的，若該次目標物件32為3D物件，即使前述實境影像R2以2D呈現景物，但是，不管次物件82實際上是以什麼視角或位置出現，該處理器21都能夠判斷出次物件82是否與前述次目標物件32的任一角度相符。當然，若該次目標物件32為圖像或影片，則可以預定義包含不同視角的主目標物件32，藉此，同樣可以辨識出前述實境影像R2中是否出現與前述預定義之次目標物件32角度相符合的次物件82。

另外，在本實施例中，該處理器21是對該實境影像R2進行邊緣偵測，而決定次物件82。

步驟52：該處理器21呼叫與該次目標物件32相關聯且預定義的虛擬影像群組VG。

步驟53：根據該次物件82的動態，選擇與前述次物件82之動態相關聯的虛擬影像V1。

步驟54：該處理器21通過該通訊模組22傳輸步驟53的該虛擬影像V1至該顯示介面11，使該虛擬影像V1以一預定播放時間於該顯示介面11。

舉例來說，預定義該次目標物件32為人臉，當辨識出前述實境影像R1中出現人臉時，該處理器21就會根據次目標物件32進入對應人臉之虛擬影像群組VG，而對應人臉之虛擬影像群組VG中包括有各種相關於外星人的虛擬影像V1，然後，該處理器21會再根據次物件82的動態選擺對應的虛擬影像V1，例如，外星人(即虛擬影像V1)會出現在該顯示介面11，與路人進行剪刀、石頭、布的猜拳遊戲，並根據輸、贏的結果，做出不同的反應，而能夠達到互動的樂趣。

值得說明的是，前述顯示介面11也可以是一種透明的顯示器，而為可透視的物件，藉此，除了步驟47、48的狀態之外，該後攝影鏡頭121所擷取的動態實境影像R1只需傳送至該伺服主機2進行判斷是否有與該主目標物件31相符的主物件81即可，而不用輸送至該顯示介面11。由於本領域中具有通常知識者根據以上說明可以推知擴充細節，因此不多加說明。

另外，本發明也可以省略該後攝影鏡頭121、或該前攝影鏡頭122，而僅以該實境影像R2、或該動態實境影像R1做為判斷的依據，而決定顯示的虛擬影像V1。由於本領域中具有通常知識者根據以上說明可以推知擴充細節，因此不多加說明。

經由以上的說明，可將前述實施例的優點歸納如下：

1、本發明能夠在不使用VR眼鏡，及沒有角度位置限制的情形下，於任意的實體空間中呈現出虛擬實境，在應用範疇上將不再受限，而能夠普及於日常生活中。

2、本發明可以利用該顯示介面11設置的環境空間，及本發明特殊的呈像方式，技巧性的結合動態實境影像R1與虛擬影像V1，或透過互動效果，使用戶有一種穿透過該顯示介面11而看到該顯示介面11後方景物的錯覺，進而無法分辨虛擬影像V1的真實性，而提升擬真效果。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1‧‧‧混合實境裝置

11‧‧‧顯示介面

12‧‧‧影像擷取模組

121‧‧‧後攝影鏡頭

122‧‧‧前攝影鏡頭

13‧‧‧傳輸模組

14‧‧‧感測模組

2‧‧‧伺服主機

21‧‧‧處理器

22‧‧‧通訊模組

23‧‧‧儲存媒體

31‧‧‧主目標物件

32‧‧‧次目標物件

81‧‧‧主物件

82‧‧‧次物件

R1‧‧‧動態實境影像

R2‧‧‧實境影像

S‧‧‧環境變因

V‧‧‧即使動動態影像

VG‧‧‧虛擬影像群組

V1‧‧‧虛擬影像

V11‧‧‧替代物件

V12‧‧‧虛擬物件

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一個方塊圖，說明本發明混合實境的互動方法及其系統的一較佳實施圖； 圖2是一個側視圖，說明該實施例中一個混合實境裝置與實體空間的位置關係； 圖3是一個流程圖，說明該實施例根據一個主目標物件顯示數個虛擬影像； 圖4是該實施例辨識一個主目標物件的一個示意圖； 圖5是一個示意圖，說明該實施例中一個顯示介面顯示動態實境影像與數個虛擬影像；及 圖6是一個流程圖，說明該實施例根據一個次目標物件顯示能夠互動的一個虛擬影像；及 圖7是一個示意圖，說明該實施例中該虛擬影像與一個次物件互動。

Claims (14)

1. 一種混合實境的互動方法，由一個互動系統實現，該互動系統包括用於執行至少一個應用程序的一個處理器、以一視角呈現出一個實體空間中之任意物件的一個顯示介面，及用於擷取前述景物之一個動態實境影像的一個影像擷取模組，該混合實境的互動方法由該處理器透過前述應用程序執行，並包含下列步驟：步驟a：接收該動態實境影像；步驟b：根據預定義且包含不同視角的數個主目標物件，辨識前述動態實境影像中是否有與該主目標物件相符的一個主物件，如果是，進行步驟c，如果否，回到步驟a；步驟c：呼叫與該主目標物件相關聯且預定義的至少一個虛擬影像，該虛擬影像共有數個，且區分及註記為破壞型虛擬影像，及非破壞型虛擬影像；及步驟d；判斷步驟c的虛擬影像是否為破壞型虛擬影像，如果是，進行步驟e，如果否，進行步驟g；步驟e：融合該虛擬影像、該動態實境影像為一個即時動態影像；步驟f：顯示該即時動態影像於該顯示介面；及步驟g：顯示該虛擬影像於該顯示介面。
2. 如請求項1所述的混合實境的互動方法，其中，該顯示介面為可透視的物件，該實體空間中之任意物件不成像在該顯示介面。
3. 如請求項1或2所述的混合實境的互動方法，其中，步驟a 的動態實境影像來自於該顯示介面前方的景物。
4. 如請求項1所述的混合實境的互動方法，其中，步驟d3的虛擬影像包括根據該主物件外觀所建立的一個替代物件，及至少一個虛擬物件。
5. 如請求項1所述的混合實境的互動方法，其中，步驟c包括：步驟c1：呼叫與該主目標物件相關聯且預定義的至少一個虛擬影像群組，該虛擬影像群組包括數個虛擬影像；及步驟c2：根據一個控制變因，選擇與該控制變因相關聯的虛擬影像。
6. 如請求項5所述的混合實境的互動方法，其中，該控制變因可以是天氣、溫度、溼度、噪音值、空污指數至少其中一種，前述控制變因可以由該處理器通過網際網路、通過至少一個感測模組其中一種方式取得。
7. 如請求項1所述的混合實境的互動方法，其中，該顯示介面為顯示幕，步驟a的動態實境影像來自於該顯示介面後方的景物，且同步顯示在該顯示介面。
8. 如請求項7所述的混合實境的互動方法，還包含：步驟h：接收一個實境影像，該實境影像來自於該顯示介面前方的景物；步驟i：根據預定義且包含不同視角的數個次目標物件，辨識該實境影像是否有與該次目標物件相符的一個次物件，如果是，進行步驟j，如果否，回到步驟h；步驟j：呼叫與該次目標物件相關聯且預定義的至少 一個次虛擬影像群組，該虛擬影像群組包括數個虛擬影像；步驟k：根據該次物件的動態，選擇與前述次物件之動態相關聯的虛擬影像；及步驟l：顯示該虛擬影像於該顯示介面。
9. 如請求項8所述的混合實境的互動方法，其中，步驟b、步驟i的主目標物件、次目標物件分別可以是圖像、動態影像、3D物件其中一種，且該主目標物件為3D物件時，可用於辨識前述動態實境影像中是否有與該主目標物件之任意角度相符的主物件，該次目標物件為3D物件時，可用於辨識前述第二實境動態影像中是否有與該次目標物件之任意角度相符的次物件。
10. 一種混合實境的互動系統，包含：一個混合實境裝置，包括一個顯示介面，及擷取景物為一個動態實境影像的一個影像擷取模組，該顯示介面以一視角呈現出一個實體空間中之任意物件；及一個處理器，根據預定義且包含不同視角的數個主目標物件，辨識該動態實境影像，且在該動態實境影像中出現與該主目標物件相符的一個主物件時，呼叫與該主目標物件相關聯且預定義的至少一個虛擬影像，及顯示該虛擬影像於該顯示介面，前述虛擬影像區分及註記為破壞型虛擬影像，及非破壞型虛擬影像，前述破壞型虛擬影像包括根據該主物件外觀所建立的至少一個替代物件，及至少一個虛擬物件，該處理器判斷對應該主目標物件的虛擬影像 為破壞型虛擬物件時，會進一步融合該虛擬影像、該動態實境影像為一個即時動態影像，並顯示該即時動態影像於該顯示介面，該處理器判斷對應該主目標物件的虛擬影像為非破壞型虛擬影像時，則直接顯示該虛擬影像於顯示介面。
11. 如請求項10所述的混合實境的互動系統，其中，該顯示介面為可透視的物件、顯示幕其中一種，該顯示介面為可透視的物件時，該實體空間中之任意物件不成像在該顯示介面，該顯示介面為顯示幕時，該動態實境影像同步顯示在該顯示介面。
12. 如請求項10所述的混合實境的互動系統，還包含至少一個感測模組，該感測模組用於偵測天氣、溫度、溼度、噪音值、空污指數其中之一，且該處理器還根據一個控制變因，選擇與該控制變因相關聯的虛擬影像，該控制變因可以是前述天氣、溫度、溼度、噪音值、空污指數至少其中一種。
13. 如請求項10所述的混合實境的互動系統，其中，該影像擷取模組包括擷取該顯示介面後方物件為該動態實境影像的一個後攝影鏡頭，及擷取該顯示介面前方物件為一個實境影像的前攝影鏡頭，該處理器根據預定義且包含不同視角的數個次目標物件，辨識該實境影像，且在該實境影像出現與該次目標物件相符的一個次物件時，使該虛擬影像根據該次物件的動態，選擇與前述次物件之動態相關聯的虛擬影像。
14. 如請求項13所述的混合實境的互動系統，還包含設置在遠端的一個伺服主機，且該混合實境裝置還包括連線網際網路的一個傳輸模組，該傳輸模組用於輸出該動態實境影像、該實境影像，及接收該即時動態影像，該伺服主機包括該處理器、連線網際網路且與該混合實境裝置之傳輸模組相互通訊的一個通訊模組，及一個儲存媒體，該通訊模組用於接收該動態實境影像、該實境影像，及輸出該即時動態影像，該儲存媒體用於儲存該主目標物件、該次目標物件、該虛擬影像。