TWI497347B - 以手勢為輸入之控制系統 - Google Patents

Description

以手勢為輸入之控制系統

本發明有關於一種控制系統，且特別是有關於以手勢作為輸入的控制系統。

隨著科技的進步，電子裝置之發展為人類生活帶來許多便利性，因此，如何使電子裝置之操作及控制更為人性化及方便是一個重要的工作。舉例而言，使用者一般常用滑鼠、鍵盤或遙控器等設備對電腦或電視等裝置進行操作，但使用前述的輸入裝置需要至少一小段學習的時間，對不諳操作這類輸入裝置的使用者而言產生使用上的門檻。再者，上述的輸入裝置都會佔用一定的空間，使用者需要為了擺放滑鼠、鍵盤等裝置而騰出桌面部分空間，即使是使用遙控器也必須考慮到收納遙控器的問題。此外，長時間使用下滑鼠或鍵盤等輸入裝置也容易造成疲勞及酸痛而影響健康。

本發明實施例提供一種以手勢為輸入之控制系統，所述的系統包括：影像擷取單元、影像處理單元、資料庫及運算比對單元。影像擷取單元擷取包括有輔助物件及使用者之手勢的輸入影像。影像處理單元連接於影像擷取單元，用以接收及辨識該輸入影像中的手勢。手勢包括使用者用手語時的手語姿勢或使用者手部握持輔助物件的姿勢。資料庫記錄多個參考影像及每一個參考影像對應的至少一項控制指令。運算比對單元則連接於影像處理單元及資料庫，用以比該資料庫的所述參考影像與影像處理單元所辨識的手勢，以獲得與手勢相符之參考影像的相對應控制指令。藉此，控制系統可根據以手勢為輸入所獲得的控制指令控制電子裝置的運作。

[以手勢為輸入之控制系統實施例]

請參照圖1所繪示的一種以手勢為輸入之控制系統實施例的方塊圖。控制系統2可包括影像擷取單元20、影像處理單元21、資料庫22、運算比對單元23及指令執行單元24。影像擷取單元20耦接於影像處理單元21，而影像像處理單元21、資料庫22及指令執行單元24則分別連接於運算比對單元23。

影像擷取單元20可為包括CCD或CMOS鏡頭的攝影機或照相機，用以擷取使用者1的輸入影像。輸入影像當中包括使用者1的手勢，而使用者1的手勢包括使用者1的手部姿勢、手臂姿勢，或是手部姿勢與手臂姿勢的組合姿勢。其中，手部姿勢可包括有手掌、手指或其組合所形成的姿勢。具體來說，所述的手勢可例如使用者1單手或雙手的手部姿勢或手臂姿勢組合成作為溝通語言的手語(sign language)姿勢，或是使用者1手部握持額外的輔助物件而形成的手勢。

影像擷取單元20擷取所述包括手勢的輸入影像後，將輸入影像傳送到影像處理單元21，利用影像演算方法進行影像分析及處理，藉以辨識出輸入影像當中的手勢以供比對。用以辨識手勢的影像演算方法可例如為：影像特徵值萃取與分析法、背景相減法、或Adaboost演算法等演算方法以識別出輸入影像當中的手勢影像。

資料庫22當中記錄了多個參考影像，而每一個參考影像對應至少一種控制指令。每一個參考影像顯示了一種特定的手勢的影像，例如手語姿勢的影像或手部握持輔助物件的影像。控制指令則可例如為：拍攝使用者1之影像、開啟電子裝置之一顯示裝置、關閉電子裝置之顯示裝置、鎖定顯示裝置之畫面、解除鎖定顯示裝置之畫面、關閉電子裝置、啟動電子裝置、關閉電子裝置之特定功能、啟動電子裝置之特定功能、上一頁、下一頁、進入、取消、放大、縮小、翻轉、旋轉、播放影像或音樂、開啟程式、關閉程式、休眠、加密、解密、資料運算或比對、資料傳輸、顯示資料或影像，或執行影像比對等指令。前述的控制指令僅係為本實施例所述的控制系統2可控制及執行的部分例示，並無限制控制指令項目或類型之意。

運算比對單元23用於接收影像處理單元21所辨識出的手勢，並且將所述的手勢與資料庫22中的參考影像進行比對，判斷資料庫22中是否具有與所述手勢相符的參考影像，並且在判斷資料庫22中存有與所述手勢相符的參考影像時，讀取參考影像所對應的特定控制指令。

指令執行單元24接收運算比對單元23所讀取的控制指令，並且根據控制指令的內容使電子裝置(圖1未繪示)執行控制指令所指示的作業，例如開啟電子裝置之顯示裝置以顯示畫面。所述的電子裝置可為桌上型電腦、筆記型電腦、平板電腦、智慧型手機、個人數位助理或電視機等具有運算處理能力的運算裝置，所述的電子裝置還可結合於輪椅或車輛等裝置。

其中，控制系統2可設置於上述的電子裝置，影像擷取單元20可內建或外接於所述的電子裝置，影像處理單元21、運算比對單元23及指令執行單元24可整合於電子裝置的中央處理器、嵌入式處理器、微控制器或數位訊號處理器等主要運算處理單元執行，抑或是分別由專用的處理晶片實作而成。資料庫22可儲存於電子裝置的非揮發性儲存裝置當中，例如硬碟、快閃記憶體或電子式可程式可抹除唯讀記憶體等裝置。

更進一步地，本實施例的控制系統2更可包括輸入單元25，用以接受使用者1的操作而產生手勢以外的輸入指令。輸入單元25可例如為滑鼠、鍵盤、觸控面板、手寫板或聲音輸入裝置(如麥克風)等裝置。指令執行單元24可進一步接收輸入單元25產生的輸入指令，並在執行控制指令後進一步執行輸入指令以控制電子裝置的運作。例如使用者1先以手勢控制電子裝置啟動特定程式，再透過輸入單元25產生輸入指令以選取被啟動之程式的特定選項。特別說明的是，所述的輸入單元25並非本實施例之控制系統2的必要元件。

接著請參閱圖2所繪示的一種以手勢為輸入的控制系統實施例之示意圖。對應於圖1所示的實施例方塊圖，所述的控制系統2即可適用在結合於輪椅3的電子裝置30(如平板電腦)上。影像擷取單元20可為設置在輪椅3扶手上的攝影鏡頭300，當使用者坐在輪椅3上面對攝影鏡頭300時，攝影鏡頭300可擷取使用者的手勢而產生輸入影像，並交由電腦內的中央處理器(圖2未示)進行影像處理的工作，以及讀取儲存在電腦內的資料庫(圖2未示)所記錄的參考影像進行比對，進而根據比對結果所獲得的控制指令執行相對應的作業，達到控制電腦甚至是輪椅3運作的目的。

此外，如上所述，除了利用攝影鏡頭300擷取使用者的影像以利用使用者的手勢作為輸入之外，還可進一步配合電子裝置30原有的輸入單元25，如圖2所示的觸控板302，以執行需要多重步驟才能完成的工作。

接下來將詳細說明用以作為輸入之手勢的態樣。如前所述，手勢可包括手部姿勢(包括手掌及手指)及手臂姿勢。

其中手部單手的左手姿勢或右手姿勢，以及左、右雙手姿勢之組合。具體來說，可包括左手握拳姿勢、左手單指伸出姿勢、左手兩指伸出姿勢、左手三指伸出姿勢、左手四指伸出姿勢、左手手掌張開姿勢、右手握拳姿勢、右手單指伸出姿勢、右手兩指伸出姿勢、右手三指伸出姿勢、右手四指伸出姿勢及右手手掌張開姿勢。

另一方面，手臂姿勢也可包括單手的左手臂姿勢或右手臂姿勢，或是左、右雙手臂姿勢之組合。手勢還可包括左手姿勢、右手姿勢，以及左手姿勢與右手姿勢之組合，並且單次運動或循環運動所形成的手部姿勢。以左手姿勢為例，手勢可為任一個左手姿勢之單次運動或循環運動所形成的姿勢，或是多個左手姿勢之組合的單次運動或循環運動所形成的姿勢。請參閱圖3A所示的左手姿勢，即為左手單指伸出姿勢的單次向上40運動而形成的左手單指上揮姿勢。類似地，圖3B則為左手單指伸出姿勢的單次向下41運動而形成的左手單指下揮姿勢。圖3C則根據左手單指伸出姿勢的單次側向42運動而形成的左手單指側勾姿勢。圖3D更根據左手單指伸出姿勢的單次向內43運動而形成的左手單指內勾姿勢。

除此之外，左手姿勢還可例如為圖4A到圖4D分別例示的各種姿勢。如圖4A所示，左手姿勢還可包括左手單指順時針44方向運動、圖4B所示之左手單指逆時針45方向運動、圖4C所示之左手單指打勾運動，或圖4D所示之左手單指打叉運動所形成的姿勢。

圖3A到圖3D及圖4A到圖4D雖係以左手單指姿勢所衍生的變化為例示，但左手姿勢並不限所示態樣，例如還可包括點擊運動、拇指與中指接觸的彈指運動，或是拍擊運動所產生的姿勢。右手姿勢的原理亦同，即不再重述。

更進一步而言，手勢不僅可為手部的或姿勢，或手臂的或姿勢，更可包括手部姿勢與手臂姿勢之任意組合，例如：雙手握拳、雙手合掌、雙手抱拳、或雙臂伸出等姿勢或前述姿勢的組合。

藉由各種手部及/或手臂的姿勢之組合，可產生關聯於諸如數字、數量、英文字母、完成、“OK”、暫停、當機、死、行、來或去等意義的手勢，作為控制系統2的輸入內容，經過控制系統2的影像處理單元21辨識及運算比對單元23比對，進行獲得與所述輸入相對應的控制指令，再藉由指令執行單元24執從所述的控制指令而達到控制電子裝置根據使用者的手勢輸入而運作的效果。舉一具體例示來說，使用者1結合手指、手掌或手臂的或姿勢組合成的手語姿勢亦為一種典型的手勢，如圖5A到5C分別繪示的手語姿勢。由於手語通常需要利用到使用者1的手指、手掌甚至是手臂之間的組合，結合關節以特定的角度擺置出複雜或連續變化的姿勢，可產生出多種關聯於不同意義的手勢，並進而作為用以控制電子裝置的輸入來源(input source)，經由影像處理單元及運算比對單元的處理之後，可對電子裝置進行更為精細及準確的操作控制。

[以手勢為輸入之控制系統的另一實施例]

在本實施例中，影像擷取單元20所擷取的輸入影像當中，還包括由使用者1的手部所握持的輔助物件。所述的輔助物件例如為筆、尺、口紅或紙張等物品，且不限於前述例示的物品。在本實施例中的資料庫22所儲存的參考影像可為握持近似或相同之輔助物件的手勢的影像或影像，以供運算比對單元23進行比對。

影像處理單元21分析及辨識輸入影像時，除辨識使用者1的手勢(如手語姿勢)之外，還可一併辨識所述被握持的輔助物件，並將辨識出的手勢與輔助物件的影像特徵交由運算比對單元23讀取資料庫22中的參考影像進行比對，以獲得與輸入影像中的手勢及輔助物件之影像相符的參考影像所對應的控制指令。

請參閱圖6所繪示包括有輔助物件6的手勢示意圖。輔助物件6可被握持於使用者的手部，例如圖6所示的以右手握拳姿勢握持輔助物件6之姿勢。影像處理單元21可辨識出使用者1的手勢為右手握拳姿勢，以及輔助物件6被握持的方向(如圖6所示的方向60到方向67任一者)，藉以供運算比對單元23分別比對參考影像中的相對應手勢及輔助物件的方向。圖6所繪示之示意圖僅為例示，本實施例所述具有輔助物件6的輸入影像並不限於上述圖式及說明。例如：輸入影像還可為以使用者的手部任意兩指夾持輔助物件6，並使輔助物件6朝向方向60到方向67中的任一方向擺置，如圖7A所示以食指和中指夾持筆所形成的手勢。更進一步來說，輸入影像還可為包括前述任意一種手部姿勢或手臂姿勢與輔助物件的組合，以形成關聯於不同意義的輸入，例如結合手語姿勢和握持輔助物件6所組成的手勢。例如圖7B所示將輔助物件6(如球狀物)擺置於手掌中央，或如圖7C所示將輔助物件6置於指尖，再以手指所擺出的不同姿勢而代表不同的手語姿勢，進而形成各式的手勢。

[以手勢為輸入之控制系統的再一實施例]

本實施例中，所述的輸入影像除了包括使用者1的手勢之外，還包括使用者1的臉部姿勢。使用者1的臉部姿勢包括使用者1的臉部姿勢，或臉部姿勢。影像處理單元21除了辨識使用者1的手勢之外，還可根據使用者1臉部的眉、眼、鼻、齒或口之間的距離辨識其臉部姿勢。此外，在本實施例中的資料庫22所儲存的參考影像可為臉部姿勢及手勢之結合的影像或影像，以供運算比對單元23進行比對。

其中，臉部姿勢為使用者1的臉部表情或情緒，例如為關聯於喜、怒、哀、樂、懼、惡、哭、好、差、鄙視、咒罵、驚嚇或疑惑等情緒，或是使用者1的雙眼張開、單眼閉闔、雙眼閉闔、張口、閉口、噘嘴、張口吐舌、或露齒微笑等表情。

更進一步來說，臉部姿勢則可為使用者1的臉部表情或情緒的變化。也就是臉部姿勢的單次運動或循環運動，或是臉部姿勢之組合的運動，例如單眼眨眼、雙眼交錯眨眼、雙眼同步眨眼、口部開闔、或舌部伸縮等的單次或多次循環運動。舉例來說，例如使用者唇語時所產生的口部形狀變化亦為一種典型的臉部態動姿勢。

將被影像處理單元21辨識出來的手勢與臉部姿勢的組合交由運算比對單元23進行比對後，當資料庫22中存有與所述手勢與臉部姿勢的組合相符的參考影像時，運算比對單元23即可選擇與所述參考影像對應的控制指令，藉以控制電子裝置的運作。

本實施例中與前述各實施例內容相同之處，於本實施例中不再重述，敬請參照前述各實施例及其相對應之圖式說明。

[實施例的可能功效]

根據本發明實施例，上述的控制系統可利用使用者本身可擺出的手勢作為控制電子裝置運作的輸入，由於使用者對於自身的手勢動作通常具有絕佳的控制與協調能力，相較於操作其他實體輸入裝置具有更直覺而易懂的特性，免除了學習操作實體輸入裝置的困難。

此外，利用使用者的手勢做為輸入，還節省了擺放實體輸入裝置所佔用的空間，同時也避免長時間點擊滑鼠或敲打鍵盤等動作而造成的身體不適。

更進一步來說，根據本發明的各實施例，上述的控制系統除了利用手勢為輸入之外，更可辨識使用者其他的肢體語言，包括腿部、腳部、臉部等的或姿勢，搭配使用者的手勢可以產生更多種類的變化，提供更多樣的控制手段，有利於更精確地對電子裝置下達控制命令，並使電子裝置依照使用者的肢體動作而運作。

值得一提的是，根據本發明實施例所述的控制系統還可以唇語或/及手語為輸入，即使使用者處於無法打字或無法以語音輸入的環境下(例如使用者為瘖啞人士或使用者位於外太空)，仍可利用臉部表情、手勢而達到控制電子裝置的效果。

以上所述僅為本發明之實施例，其並非用以侷限本發明之專利範圍。

1．．．使用者

2．．．控制系統

20．．．影像擷取單元

21．．．影像處理單元

22．．．資料庫

23．．．運算比對單元

24．．．指令執行單元

25．．．輸入單元

3．．．輪椅

30．．．電子裝置

300．．．攝影鏡頭

302．．．觸控板

40-45．．．方向

6．．．輔助物件

60-67．．．方向

圖1：本發明提供的一種控制系統實施例之方塊圖；

圖2：本發明提供的一種控制系統實施例之示意圖；

圖3A-3D：手勢實施例之示意圖；

圖4A-4D：手勢實施例之示意圖；

圖5A-5C：手語姿勢實施例之示意圖；

圖6：手部握持輔助物件實施例之示意圖；及

圖7A-7C：手語姿勢結合輔助物件實施例之示意圖。

1．．．使用者

2．．．控制系統

20．．．影像擷取單元

21．．．影像處理單元

22．．．資料庫

23．．．運算比對單元

24．．．指令執行單元

25．．．輸入單元

Claims (15)

1. 一種以手勢為輸入之控制系統，該系統包括：一影像擷取單元，擷取一輸入影像，該輸入影像包括一使用者之一手勢，該手勢包括該使用者用手語時的手語姿勢及該使用者手部握持一輔助物件的姿勢；一影像處理單元，連接該影像擷取單元，用以接收及辨識該輸入影像中的該手勢；一資料庫，記錄多個參考影像及每一該些參考影像對應之至少一控制指令；一運算比對單元，連接於該影像處理單元及該資料庫，比對該資料庫的該些參考影像與該影像處理單元所辨識的該手勢，以獲得與包括有該輔助物件被握持於手部的該手勢相符之該參考影像的相對應該控制指令；其中，該控制系統根據以該手勢為輸入所獲得的該控制指令用以控制一電子裝置的運作。
2. 如申請專利範圍第1項所述的控制系統，更包括：一指令執行單元，連接該運算比對單元以接收該運算比對單元比對出的該控制指令，並執行該控制指令以控制該電子裝置運作。
3. 如申請專利範圍第1項所述的控制系統，更包括：一輸入單元，連接該指令執行單元，該輸入單元接受該使用者輸入而產生一輸入指令；其中，該指令執行單元根據該控制指令及該輸入指令控制該電子裝置運作，該輸入單元為觸控面板、鍵 盤、滑鼠、手寫板或聲音輸入裝置。
4. 如申請專利範圍第1、2或3項所述的控制系統，其中，該控制指令包括：上一頁、下一頁、進入、退出、取消、放大、縮小、翻轉、旋轉、拍攝該使用者之影像、開啟該電子裝置之一顯示裝置、關閉該電子裝置之該顯示裝置、鎖定該顯示裝置之畫面、解除鎖定該顯示裝置之畫面、關閉該電子裝置、啟動該電子裝置、關閉該電子裝置之特定功能、啟動該電子裝置之特定功能、播放多媒體資料、開啟程式、關閉程式或休眠。
5. 如申請專利範圍第1項所述的控制系統，其中，該手勢更包括手部姿勢、手臂姿勢或該手部姿勢與該手臂姿勢之組合。
6. 如申請專利範圍第1項所述的控制系統，其中，該手勢包括單指伸出姿勢、多指伸出姿勢、或握拳姿勢。
7. 如申請專利範圍第1項所述的控制系統，其中，該手勢為雙手握拳姿勢、雙手合掌姿勢、雙手抱拳姿勢、單手臂伸出姿勢、或雙臂伸出姿勢。
8. 如申請專利範圍第1項所述的控制系統，其中，該手勢為手部順時針運動、手部逆時針運動、手部由外向內運動、手部由內向外運動、點擊運動、打叉運動、打勾運動、或拍擊運動。
9. 如申請專利範圍第1項所述的控制系統，其中，該手勢為關聯於數字、數量、英文字母、完成、OK、暫停、當機、死、行、來或去之意義。
10. 如申請專利範圍第1項所述的控制系統，其中，該輸入影像還包括該使用者的一臉部姿勢，該影像處理單元還 辨識該輸入影像中的該臉部姿勢的影像，該資料庫的該些參考影像包括該手勢與該臉部姿勢之結合的影像，該運算比對單元更接收該影像處理單元所辨識的該臉部姿勢之影像，並與該些參考影像進行比對，以獲得與該手勢及該臉部姿勢之結合的影像相符之該參考影像的相對應該控制指令。
11. 如申請專利範圍第10項所述的控制系統，其中，該臉部姿勢為關聯於喜、怒、哀、樂、懼、惡、哭、好、差、鄙視、咒罵、驚嚇或疑惑之表情或情緒。
12. 如申請專利範圍第10項所述的控制系統，其中，該影像處理單元根據該使用者臉部的眉、眼、鼻或口之間的距離辨識該臉部姿勢。
13. 如申請專利範圍第10項所述的控制系統，其中，該臉部姿勢為該使用者雙眼張開、單眼閉闔、雙眼閉闔、張口、閉口、噘嘴、張口吐舌、或閉口吐舌。
14. 如申請專利範圍第10項所述的控制系統，其中，該臉部姿勢為該使用者唇語或說話時的口部運動產生的姿勢。
15. 如申請專利範圍第10項所述的控制系統，其中，該臉部姿勢為單眼眨眼運動、雙眼交錯眨眼運動、雙眼同步眨眼運動、口部開闔運動、或舌部伸縮運動。