TWI467463B - 具觸控式螢幕的電腦系統及其手勢的處理方法 - Google Patents

Description

具觸控式螢幕的電腦系統及其手勢的處理方法

本發明是有關於一種電腦系統，尤指一種以手勢控制的電腦系統與處理方法。

由於科技的進步，現在電腦系統中的作業系統(OS)已經能夠支援觸控式螢幕，因此，使用者可以利用手指的點選來取代電腦系統的滑鼠，並進一步控制電腦系統。換言之，當電腦系統的螢幕改為觸控式螢幕之後，使用者僅需利用手指的點選即可取代滑鼠的操控。同時，利用使用者的手勢(gesture)也可以進行縮放(zoom)、旋轉(rotate)、平移(translate)的動作。

請參照第1a圖與第1b圖，其所繪示為電腦系統中利用手勢在觸控式螢幕上進行放大動作的示意圖。基本上，於觸控式螢幕100上可顯示出作業系統的工具列110，而工具列110上有多個使用者介面，例如開始按鈕112、以及網路狀態圖形114。而在觸控式螢幕100顯示一應用程式120視窗。而應用程式120的工作區域(work space)中則呈現一第一影像160a。再者，工作區域即為應用程式120視窗中，可供使用者進行放大、縮小、旋轉、移動的區域。

當使用者欲放大應用程式120中工作區域上的第一影像160a時，使用者將二個觸控點150、155接觸於觸控式螢幕100上應用程式120的工作區域中。接著，二個觸控點150、155向外移動使得二個觸控點150、155之間的距離變大。之後，將二觸控點150、155移離開觸控式螢幕。因此，如第1b圖所示，應用程式120的工作區域上會呈現一第二影像160b。亦即，應用程式120會根據使用者的手勢來將第一影像160a放大成為第二影像160b。

當使用者欲縮小影像時，就如上述方式進行，但使用者是將二個觸控點150、155向內移動，使得二個觸控點150、155之間的距離變小，就可達成縮小影像的效果。其他縮放、旋轉或平移的動作也可利用二個觸控點之間的變化來達成，視電腦系統供應商所定義之手勢而定。

而為了要因應觸控式螢幕的技術，使得電腦系統可以針對使用者的手勢來進行對應的指令動作，電腦系統中建立了一觸控信號的處理架構。此處理架構可以根據使用者的觸控點來判斷出使用者的手勢，並使得應用程式進行相對應的控制動作。

請參照第2圖，其所繪示為習知具觸控式螢幕的電腦系統中觸控信號的處理架構示意圖。此架構包括一觸控單元(touch unit)300與手勢引擎(gesture engine)304、應用程式(application program)310。而觸控單元300中係包括一觸控式螢幕301及驅動程式(driver)302。其中，手勢引擎304係接收觸控單元300輸出的位置信號並產生手勢事件(gesture event)後經由應用程式介面(application program interface，簡稱API)220將手勢事件傳遞至應用程式310，使得應用程式310根據手勢事件來執行。

當使用者於觸控式螢幕301上產生多個觸控點，驅動程式302即可據以輸出相對應多個觸控點的位置信號，而此位置信號可為座標信號。再者，手勢引擎304根據位置信號的變化而判斷出使用者的手勢並產生對應的手勢事件至應用程式。

然而，許多支援手勢的應用程式雖然可以處理手勢事件，但無法平滑地進行縮放、旋轉、平移的動作，而是以不連貫的方式呈現手勢效果。因此，使用者在操作上會感覺到影像的變化不連貫，並感覺到應用程式反應不佳的情形。

舉例來說，如第3a圖所示，其為使用者利用二觸控點來進行放大的動作的二個觸控點軌跡示意圖。而二個觸控點的軌跡所對應的第一位置信號610與第二位置信號620會持續地由觸控單元300輸入手勢引擎304。由第3a圖可知，使用者在時間點t0開始產生二觸控點，而在時間點t3將二觸控點移離開觸控式螢幕。

為了要確定使用者的手勢類型以及作用方式，手勢引擎304需要利用時間點t0至時間點t1的時間週期T1來進行判斷進而於時間點t1產生一第一次的放大手勢事件至應用程式310。於第一次放大手勢事件產生後，需要T2時間週期來持續進行判斷並產生相同型態的放大手勢事件，也就是會在t2、t3點持續產生第二次放大手勢事件以及第三次放大手勢事件至應用程式310。而應用程式310即根據第一次放大手勢事件、第二次放大手勢事件、第三次放大手勢事件來放大工作區域的內容。

經過實際的統計，T1時間週期約為1.3秒而T2週期約為0.7秒。由於許多支援手勢的應用程式在收到一定的手勢事件數量或累積到一定的手勢變化量後，才會以不連貫的方式呈現手勢效果。因此，如第3b圖所示，使用者很可能會觀察到呈現的影像直接從時間點t0變化至時間點t3，期間並沒有平順的放大效果。而使用者會認為此應用程式的操作反應不佳，並造成使用者的困擾。

本發明係提出一種手勢處理方法，搭配一觸控式螢幕，此方法包括下列步驟：接受一位置信號；傳遞位置信號至一第一手勢引擎與一第二手勢引擎；產生一上層影像；判斷一第一手勢事件是否出現以調整該上層影像，其中，當該第一手勢事件尚未出現，以多個第二手勢事件來調整該上層影像；當該第一手勢事件出現後，以該第一手勢事件來調整該上層影像；當該第一手勢事件停止時，產生一手勢結束事件；以及，移除該上層影像。

本發明更提出一種具有觸控式螢幕的電腦系統，包括：一觸控單元，根據一觸控點來產生一位置信號；一第一手勢引擎，接收該位置信號產生一第一手勢事件；一第二手勢引擎，接收該位置信號產生多個第二手勢事件；一應用程式，具有一工作區域內容；以及，一手勢掛勾單元，擷取該工作區域內容以產生一上層影像；其中，該手勢掛勾單元判斷該第一手勢事件是否出現以調整該上層影像，當該第一手勢事件尚未出現，以多個第二手勢事件來調整該上層影像；當該第一手勢事件出現後，以該第一手勢事件來調整該上層影像，以及當該第一手勢事件停止時，產生一手勢結束事件，移除該上層影像。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

由於許多支援手勢的應用程式在收到一定的手勢事件數量或累積到一定的手勢變化量後，才會以不連貫的方式進行縮放、旋轉、平移的處理。

因此，本發明的觸控信號的處理架構中利用一手勢掛勾單元(gesture hook unit)，在使用者欲進行放大、縮小、旋轉、移動手勢時，將應用程式的影像先擷取(capture)下來，並作為上層影像(top-layer image)並覆蓋於應用程式的工作區域上的內容。而根據使用者的手勢來即時調整上層影像的放大、縮小、旋轉、移動動作。接著，當使用者觸控點移離開觸控式螢幕後，並等待應用程式將實際的工作區域內容完成放大、縮小、旋轉、移動動作後，手勢掛勾單元再將上層影像移除，使得觸控式螢幕呈現工作區域被手勢作用後的實際內容。

請參照第4圖，其所繪示為本發明電腦系統中觸控信號的處理架構。此架構包括一觸控單元700、過濾單元(filtering unit)710、第一手勢引擎722、第二手勢引擎725、手勢掛勾單元730、應用程式740。而觸控單元700中係包括一觸控式螢幕701及驅動程式702。

其中，過濾單元710接收觸控單元700輸出的位置信號，並將位置信號同時傳遞至第一手勢引擎722與第二手勢引擎725。由於第一手勢引擎722與第2圖的手勢引擎相同係由作業系統所提供，因此，其產生第一手勢事件的間隔會較長。而第二手勢引擎725係可快速地判斷位置信號並產生第二手勢事件。而第一手勢引擎722與第二手勢引擎725產生的第一手勢事件與第二手勢事件皆經由應用程式介面(API)320傳遞至手勢掛勾單元730。

根據本發明的實施例，當使用者欲進行放大、縮小、旋轉、移動動作時，手勢掛勾單元730會將應用程式的影像先擷取(capture)下來，並作為上層影像(top-layer image)並覆蓋於應用程式740的工作區域(work space)的內容。

由於第一手勢引擎722產生第一個第一手勢事件的時間週期(T1)很長，本發明即設計一第二手勢引擎725快速判斷位置信號並持續傳遞多個第二手勢事件至手勢掛勾單元730。也就是說，在第一手勢引擎722產生第一次的第一手勢事件之前的時間週期，手勢掛勾單元730係根據第二手勢引擎725產生的多個第二手勢事件來對上層影像進行放大、縮小、旋轉、移動動作。因此，使用者可在上層影像上看到影像隨著使用者的手勢平順地動作。

再者，當手勢掛勾單元730接收到第一手勢引擎722產生的第一次第一手勢事件時，即通知第二手勢引擎725停止產生第二手勢事件。此後，手勢掛勾單元730係根據第一手勢引擎722的多個第一手勢事件來對上層影像進行放大、縮小、旋轉、移動動作。因此，使用者也可在上層影像上看到影像隨著使用者的手勢平順地動作。

當使用者將觸控點移開觸控式螢幕時，第一手勢引擎722產生最後一次的第一手勢事件至手勢掛勾單元730。此時，手勢掛勾單元730根據接收到的手勢結束事件，使得應用程式740根據手勢從起始到結束的手勢變化量進行實際工作區域內容的一次放大、縮小、旋轉、或移動動作。

當應用程式740根據手勢結束事件放大、縮小、旋轉、移動動作完成後，手勢掛勾單元730即將上層影像直接移除，顯示出實際工作區域內容。當然，由於上層影像移除的速度很快，使用者無法察覺，並認為手勢很平順的在動作中。

請參照第5a、5b、5c圖，其所繪示為利用本發明電腦系統中觸控信號的處理架構對應用程式的工作區域進行放大動作的示意圖。如第5a圖所示，其為使用者利用二觸控點來進行放大的動作的二個觸控點軌跡示意圖。由第5a圖可知，使用者在時間點t0開始產生二觸控點，而在時間點t3將二觸控點移離開觸控式螢幕。

再者，二個觸控點的軌跡所對應的第一位置信號810與第二位置信號820會持續地由觸控單元700輸入過濾單元710，而過濾單元710將第一位置信號810與第二位置信號820傳遞至第一手勢引擎722與第二手勢引擎725。

由第5a圖可知，第一手勢引擎722係由作業系統所提供，產生第一放大手勢事件(圓形圖案)的時間間隔較長，會在時間點t1、t2、t3產生第一放大手勢事件至手勢掛勾單元730。再者，由於第二手勢引擎725可快速地判斷手勢類型與作用方式，因此在時間點t0至t1之間的時間，可產生多個第二放大手勢事件(三角形圖案)至手勢掛勾單元730。

如第5b圖所示，其為手勢掛勾單元730擷取應用程式740的上層影像示意圖。於時間點t0至時間點t1之間的影像變化係由手勢掛勾單元730接收第二手勢引擎725所產生的第二放大手勢事件所對應的變化。由於第二放大手勢事件快速地產生，因此擷取上層影像與進行縮放的動作可快速反應。

於時間點t1後，第一手勢引擎722開始產生第一放大手勢事件，此時手勢掛勾單元730通知第二手勢引擎725停止產生第二放大手勢事件。而時間點t1至時間點t3之間的影像變化係由手勢掛勾單元730接收第一手勢引擎722所產生的第一放大手勢事件所對應的變化。

因此，由第5b圖所示的上層影像可知，放大影像的動作將更為平順。再者，在放大動作的過程，使用者僅能夠看到第5b圖，覆蓋在工作區域上的上層影像，因此實際上使用者並不易察覺。

如第5c圖所示，其為應用程式740實際工作區域呈現的影像示意圖。由於實際的工作區域內容已經被上層影像所覆蓋，因此使用者無法看見其內容。

根據本發明的實施例，手勢掛勾單元730會攔截第二手勢事件以及第一手勢事件並據以調整上層影像。所以應用程式740在使用者進行放大動作的過程中並無法接收到第一手勢事件以及第二手勢事件，因此在時間點t3之前實際工作區域內容皆未有任何的改變。

於時間點t3時，由於手勢掛勾單元730已確定使用者的觸控點已經消失，因此手勢掛勾單元730會據以產生一個手勢結束事件至應用程式740。而應用程式740即根據該手勢結束事件直接放大實際工作區域內容。

當手勢掛勾單元730確認應用程式740已經完成工作區域內容調整後，手勢掛勾單元730即移除上層影像，而使用者即可看到影像品質以及解析度較佳的實際工作區域內容。並且完成此次放大動作。

上述的說明係以放大動作為例，縮小動作、旋轉動作、移動動作也是利用相同方式來運作，因此不再贅述。

請參照第6圖，其所繪示為本發明觸控信號的處理架構之粗略動作流程圖。首先，過濾單元710接收位置信號並傳遞至第一手勢引擎722與第二手勢引擎725(步驟S850)。而手勢掛勾單元730亦產生上層影像(步驟S852)。

接著，手勢掛勾單元730判斷第一手勢事件之出現與否並且調整上層影像(步驟S854)。也就是說，當第一手勢事件尚未出現前，手勢掛勾單元730以多個第二手勢事件來調整上層影像；當第一手勢事件出現後，手勢掛勾單元730以第一手勢事件來調整該上層影像。

當第一手勢事件停止時，手勢掛勾單元730產生手勢結束事件並移除上層影像(步驟S856)。

請參照第7圖，其所繪示為本發明觸控信號的處理架構之詳細動作流程圖。當使用者在應用程式的工作區域上產生觸控點並使得觸控單元產生相對應的位置信號(步驟S910)。基本上，當使用者在進行移動動作時，會有一個觸控點產生；當使用者在進行放大、縮小、旋轉動作時，會有二個觸控點產生。

接著，過濾單元將位置信號傳遞第一手勢引擎與第二手勢引擎(步驟S912)。而第一手勢引擎與第二手勢引擎即可根據位置信號來判斷使用者的手勢。由於第一手勢引擎係由作業系統所提供，所以產生第一手勢事件的時間較長，而第二手勢引擎可快速的產生第二手勢事件。因此，當過濾單元接收到第二手勢事件時，即產生上層影像(S914)。

接著，手勢掛勾單元需判斷是否接收到第一手勢引擎產生的第一手勢事件(步驟S916)。當手勢掛勾單元尚未接收到第一手勢事件之前，手勢掛勾單元會根據第二手勢事件調整上層影像且覆蓋於應用程式的工作區域的內容(步驟S918)。

當手勢掛勾單元接收到第一手勢事件後，手勢掛勾單元通知第二手勢引擎停止產生第二手勢事件(步驟S920)。並且，手勢掛勾單元根據第一手勢事件調整上層影像且覆蓋於應用程式的工作區域的內容(步驟S922)。

接著，手勢掛勾單元需判斷第一手勢引擎是否停止產生第一手勢事件(步驟S924)。於第一手勢引擎尚未停止產生第一手勢事件之前，手勢掛勾單元根據第一手勢事件調整上層影像且覆蓋於應用程式的工作區域的內容(步驟S922)。反之，當確認第一手勢引擎停止產生第一手勢事件後，手勢掛勾單元產生一手勢結束事件至應用程式(步驟S926)，使得應用程式根據手勢從起始到結束的手勢變化量來調整實際工作區域內容。

接著，手勢掛勾單元判斷實際工作區域內容是否調整完成(步驟S928)。於尚未完成之前，繼續進行步驟S928的判斷動作。當手勢掛勾單元確認實際工作區域內容已經調整完成後，手勢掛勾單元移除上層影像(步驟S930)，並完成此次手勢控制的動作。

由以上的說明可知，本發明係在第一手勢引擎產生第一手勢事件之前，即開始進行上層影像的手勢調整。因此，使用者可以感覺影像的變化平順，且電腦系統反應較佳。

綜上所述，雖然本發明已以將實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．觸控式螢幕

110．．．工具列

112．．．開始按鈕

114．．．網路狀態圖形

120．．．應用程式

150、155．．．觸控點

160a．．．第一影像

160b．．．第二影像

300．．．觸控單元

301．．．觸控式螢幕

302．．．驅動程式

304．．．手勢引擎

310．．．應用程式

320．．．應用程式介面

610．．．第一位置信號

620．．．第二位置信號

700．．．觸控單元

701．．．觸控式螢幕

702．．．驅動程式

710．．．過濾單元

720．．．應用程式介面

722．．．第一手勢引擎

725．．．第二手勢引擎

730．．．手勢掛勾單元

740．．．應用程式

810．．．第一位置信號

820．．．第二位置信號

第1a圖與第1b圖所繪示為電腦系統中利用手勢在觸控式螢幕上進行放大動作的示意圖。

第2圖所繪示為習知具觸控式螢幕的電腦系統中觸控信號的處理架構示意圖。

第3a圖與第3b圖所示為使用者利用二觸控點來進行放大的動作的二個觸控點軌跡以及工作區域示意圖。

第4圖所繪示為本發明電腦系統中觸控信號的處理架構。

第5a圖、第5b圖與第5c圖所繪示為利用本發明電腦系統中觸控信號的處理架構進行放大動作的示意圖。

第6圖所繪示為本發明觸控信號的處理架構之粗略動作流程圖。

第7圖所繪示為本發明觸控信號的處理架構之詳細動作流程圖。

700．．．觸控單元

701．．．觸控式螢幕

702．．．驅動程式

710．．．過濾單元

720．．．應用程式介面

722．．．第一手勢引擎

725．．．第二手勢引擎

730．．．手勢掛勾單元

740．．．應用程式

Claims (10)

1. 一種手勢處理方法，搭配一觸控式螢幕，該方法包括下列步驟：接受一位置信號；傳遞該位置信號至一第一手勢引擎與一第二手勢引擎；產生一上層影像；判斷一第一手勢事件是否出現以調整該上層影像，其中，當該第一手勢事件尚未出現，以多個第二手勢事件來調整該上層影像；當該第一手勢事件出現後，以該第一手勢事件來調整該上層影像；當該第一手勢事件停止時，產生一手勢結束事件；以及移除該上層影像。
2. 如申請專利範圍第1項所述之手勢處理方法，其中該第一手勢事件與該些第二手勢事件包括一縮放手勢事件、一旋轉手勢事件、一平移手勢事件。
3. 如申請專利範圍第1項所述之手勢處理方法，其中該上層影像是擷取該觸控式螢幕上之一工作區域內容所產生。
4. 如申請專利範圍第1項所述之手勢處理方法，其中該第一手勢事件是由該第一手勢引擎所產生，且該些第二手勢事件是由該第二手勢引擎所產生。
5. 如申請專利範圍第1項所述之手勢處理方法，其中當該上層影像調整後，覆蓋於該工作區域內容上。
6. 如申請專利範圍第1項所述之手勢處理方法，其中該手勢結束事件是由該第一手勢引擎停止產生該第一手勢事件產生。
7. 一種具有觸控式螢幕的電腦系統，包括：一觸控單元，根據一觸控點來產生一位置信號；一第一手勢引擎，接收該位置信號產生一第一手勢事件；一第二手勢引擎，接收該位置信號產生多個第二手勢事件；一應用程式，具有一工作區域內容；以及一手勢掛勾單元，擷取該工作區域內容以產生一上層影像；其中，該手勢掛勾單元判斷該第一手勢事件是否出現以調整該上層影像，當該第一手勢事件尚未出現，以該些第二手勢事件來調整該上層影像；當該第一手勢事件出現後，以該第一手勢事件來調整該上層影像，以及當該第一手勢事件停止時，產生一手勢結束事件，移除該上層影像。
8. 如申請專利範圍第7項所述之具有觸控式螢幕的電腦系統，其中該第一手勢事件與該些第二手勢事件包括一縮放手勢事件、一旋轉手勢事件、一平移手勢事件。
9. 如申請專利範圍第7項所述之具有觸控式螢幕的電腦系統，更包括一過濾單元接受該觸控單元產生的該位置信號，並將該位置信號傳遞至該第一手勢引擎與該第二手勢引擎。
10. 如申請專利範圍第7項所述之具有觸控式螢幕的電腦系統，其中該手勢結束事件是由該第一手勢引擎停止產生該第一手勢事件產生。