TWI570593B - 用於利用眼睛移動追蹤以取回已瀏覽過的資訊與相關的特定上下文之系統、方法及電腦程式產品 - Google Patents
用於利用眼睛移動追蹤以取回已瀏覽過的資訊與相關的特定上下文之系統、方法及電腦程式產品 Download PDFInfo
- Publication number
- TWI570593B TWI570593B TW102113631A TW102113631A TWI570593B TW I570593 B TWI570593 B TW I570593B TW 102113631 A TW102113631 A TW 102113631A TW 102113631 A TW102113631 A TW 102113631A TW I570593 B TWI570593 B TW I570593B
- Authority
- TW
- Taiwan
- Prior art keywords
- viewed
- user
- interest
- record
- content
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Library & Information Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Economics (AREA)
- User Interface Of Digital Computer (AREA)
Description
本發明係有關於用於利用眼睛移動追蹤以取回已瀏覽過的資訊與相關的特定上下文之系統、方法及電腦程式產品。
電腦使用者常常需要再訪問其最近已在其螢幕上看到的內容。解決此需要之技術之一個實例為搜尋歷史。搜尋引擎常常經設計以保存先前所鍵入之搜尋項,使得使用者可再訪問較早所看到的資料。在另一實例中,網頁瀏覽器可維護先前已訪問的網站之記錄。若某人想要找出先前已訪問的網站,則某人可根據名稱、URL或時刻表進行搜尋,且取回所要網頁。類似配置可用以使用作業系統之「搜尋程式及檔案」公用程式來存取最近所使用之檔案或應用程式。
然而,當前公用程式通常限於基於程式或檔案之使用的取回。舉例來說,可給予使用者先前已開啟的檔案或先前已訪問的網站之清單。此僅供應不精確且非關注之資料,並不特別自然且不允許對已是使用者之較早關注點之資訊的直接取回。此外,搜尋準則由於不依賴於使用者之行為而可侷限於表面資料(superficial data)(例如,關鍵字、時間、檔案大小等)。此並未利用人類使用者與電腦之互動之自然流動。其並未考慮所尋覓之資料之上下文,且並不始終允許使用者根據其自身之有意及特定之興趣準確地回溯。當前搜尋方法(例如)未必幫助使用者在模糊地回憶其最近所看到的或所讀到的內容時取回資料。
依據本發明之一實施例,係特地提出一種方法,其包含下列步驟:判定在一顯示器上一使用已瀏覽過的一感興趣區(ROI);記錄在該區中被瀏覽過的內容;記錄該內容之一處理上下文;將該已記錄資訊儲存於一儲存庫中;以及使該已記錄資訊在一稍後時間可依請求而由該使用者存取。
110‧‧‧使用者
120、920、1004‧‧‧顯示器
150‧‧‧攝影機裝置
160‧‧‧中央處理單元(CPU)
170‧‧‧非揮發性(NV)記憶體
180‧‧‧鍵盤
190‧‧‧滑鼠
210、220、230、240、310、320、330、340、350、410、420、430、440、450、460、470、510、520、530、540、550‧‧‧步驟
600、700‧‧‧記錄
610、620、630、640、650、660、
710、720、730、740、750、760、
765、770、775‧‧‧欄位
800、900‧‧‧系統
810、912‧‧‧記憶體
820、910‧‧‧處理器
830‧‧‧輸入/輸出(I/O)
840‧‧‧電腦程式邏輯
850‧‧‧資料擷取模組
860‧‧‧資料儲存模組
870‧‧‧請求處理模組
902‧‧‧平台
905‧‧‧邏輯/晶片組
914‧‧‧儲存器
915‧‧‧圖形子系統
916‧‧‧應用程式
918‧‧‧無線電
922‧‧‧使用者介面
930‧‧‧內容服務器件
940‧‧‧內容遞送器件
950‧‧‧導覽控制器
960‧‧‧網路
1000‧‧‧小外觀尺寸器件
1002‧‧‧外殼
1006‧‧‧輸入/輸出(I/O)器件
1008‧‧‧天線
1012‧‧‧導覽特徵
圖1說明根據一實施例之本文中所描述之系統的使用。
圖2為說明根據一實施例之本文中所描述之系統的處理的流程圖。
圖3為說明根據一替代實施例之本文中所描述之系統
的處理的流程圖。
圖4為說明根據一實施例之資料之擷取的流程圖。
圖5為說明根據一實施例之請求處理的流程圖。
圖6說明根據一實施例之與感興趣區相關聯之記錄。
圖7說明根據一替代實施例之與感興趣區相關聯之記錄。
圖8說明根據一實施例之一計算系統,本文中所描述之系統可實施於該計算系統中。
圖9說明根據一實施例之一平台,本文中所描述之系統可操作於該平台中。
圖10說明根據一實施例之一行動資訊器件,本文中所描述之系統可實施於該行動資訊器件中。
在諸圖式中,參考數字之最左邊的數識別首次出現該參考數字之圖式。
現參看諸圖描述一實施例,在該等圖中,類似參考數字指示相同或功能上相似之元件。雖然論述了特定組配及配置,但應理解,僅出於例示性目的來進行此論述。熟習相關技術者將認識到,可使用其他組配及配置而不脫離該描述之精神及範疇。熟習相關技術者將顯而易見,此亦可用於除本文中所描述之系統及應用外的多種其他系統及應用中。
本文中揭示解決如下技術問題之方法、系統及電
腦程式產品:如何擷取或回憶使用者先前已在資訊器具之顯示器上所檢視的內容而不必要求使用者採取顯式動作來進行該擷取或回憶。
下文所描述之方法、系統及電腦程式產品係有關於記錄使用者在電腦顯示器之區中已瀏覽過的文字或影像資料。此區域在本文中可被稱為感興趣區(ROI)。可將該使用者在該ROI中已瀏覽過的內容與關於此內容之上下文資訊一起記錄。此上下文資訊可包括處理上下文,該處理上下文可包括(例如)檢視過的特定檔案、開啟該檔案之應用程式及/或檢視過的網頁。在實施例中,可記錄額外資訊,諸如發生檢視之時間、所檢視的ROI之螢幕座標、鄰近於ROI之內容及/或在檢視ROI之前或之後所檢視的內容。
隨後可接著使用所有已記錄資訊來回憶先前在ROI中已瀏覽過的內容。舉例來說,該使用者可鍵入搜尋準則,諸如識別ROI之位置之資訊及/或檢視ROI之時間。在替代實施例中,可由該使用者鍵入額外或不同之準則。可接著向該使用者呈現在ROI中已瀏覽過的內容。在一實施例中,此內容可(例如)使用相同應用程式在相同處理上下文(該內容先前已在該處理上下文中瀏覽過)內呈現。此允許該使用者藉由參考顯示器上之一特定區域、瀏覽資訊之時間或其他準則來找回該使用者先前已在螢幕上看到的資訊。在實施例中,可連續地執行對已瀏覽過的ROI及相關資料之記錄;或者,對特定ROI及相關資料之記錄可僅在使用者選擇進行該記錄時執行。
本文中所描述之系統及方法可利用人類瀏覽之生理學,其由注視(對視野中之某些點之瀏覽)及快速眼球運動(對注視點之重定位)組成。對注視(尤其在叢聚時)之分析及量化可允許推斷所關注區(亦即,ROI)。因此,眼睛追蹤可允許利用瀏覽者之自然行為來儲存(且稍後取回)感興趣區及有關上下文資訊。
圖1說明一使用者與實施根據一實施例之本文中所描述之系統的一電腦系統互動。在替代實施例中,可使用其他計算平台,其中中央處理單元、鍵盤及/或滑鼠可不為單獨及相異之組件。在圖1中,使用者110可能在檢視顯示器120。顯示器120上可存在一圖形使用者介面,如藉由任何已知作業系統可呈現的。圖1之實例中存在兩個視窗,一個視窗表示應用程式X,檔案Y已藉由應用程式X開啟。另一視窗可表示已開啟之資料夾Z。在此說明中,使用者110可查看資料夾Z中之最右邊的圖示(展示為圖示c),接著可將其視點移位至已開啟之檔案Y,從而查看字「continent」。可使用已知技術使用一攝影機裝置(展示為裝置150)來判定使用者110之眼睛的位置以及眼睛所關注之方向。此技術可包含(例如)一眼睛追蹤系統,該系統包括處於顯示器之底部、低於使用者之視平線的紅外發光二極體(LED)及一攝影機。
如一般熟習此項技術者所已知的,使用者之眼睛的位置及方向可與顯示器120之位置及定向組合使用,以判定顯示器120之使用者110所查看的區。如上文所註明,
可將此區稱為感興趣區或ROI。隨著時間的流逝,使用者110可將其視覺重新導向至顯示器之其他區。此等區中之一些可為後續ROI,而其他區可表示並不真正感興趣而是任意或無意注視之區。此外,使用者110可在顯示器120上與作業系統及/或應用程式互動,使得隨著時間的流逝,顯示器120上之影像及文字可改變。
在一實施例中,一旦判定使用者110之ROI,即可保存此位置處之內容。此允許使用者110稍後在必要時取回此內容。可將ROI中之內容(不管是文字還是影像)記錄在一記錄或其他資料結構中,以允許由使用者進行後續搜尋。在保存ROI之內容時,亦可保存若干條相關資訊。這些條相關資訊可包括瀏覽ROI之時間、視覺上停留在ROI上所花費之時間量以及ROI之螢幕座標。隨後可將此資訊用作搜尋準則。搜尋準則可由使用者110經由諸如鍵盤180及/或滑鼠190之輸入器件鍵入。
與ROI相關之資訊亦可包括該內容之上下文資訊。亦可記錄ROI之上下文資訊。該上下文資訊可包括內容之處理上下文。舉例來說,該處理上下文可包括在ROI中看到的檔案之名稱、在ROI中所檢視的檔案之位置、已用以開啟檔案之應用程式、應用程式中之位置(例如,應用程式中之選定選項)及/或所檢視的網站之名稱。
與ROI相關之資訊亦可包括其他形式之上下文。此等資訊可包括視覺時間上下文資訊,亦即,與使用者恰在瀏覽ROI之前或恰在此之後所檢視的內容相關之資
訊。在圖1之實例中,若使用者110恰在檢視檔案Y之前檢視圖示c,且字「continent」表示ROI中之內容,則圖示c之影像表示ROI之視覺時間上下文,此係因為圖示c恰在瀏覽ROI之前為使用者110所檢視。若在查看字「continent」之後,使用者110接著將其注意力導向至字「Four score」,且後一片語亦表示ROI之視覺時間上下文。
ROI之另一形式之上下文可為空間上下文,亦即,與顯示器上相鄰於ROI之內容相關之資訊。在圖1之實例中,若字「continent」表示ROI,則片語「new nation」可表示ROI之空間上下文之例子,此係因為「new nation」鄰近於ROI。此ROI之空間上下文的另一實例將為在應用程式X之視窗之左邊的已開啟之資料夾Z。
ROI之另一形式之上下文可為使用者動作上下文,亦即,與使用者110恰在瀏覽ROI之前或恰在此之後的動作相關之資訊。實例可包括應用程式之開啟或關閉、文件之保存或視窗之大小重調。
可將ROI及其相關資料之已保存的內容用於後續取回目的。對於在特定時間已瀏覽過的給定ROI,可保存ROI及其他相關資料之內容以作為記錄或其他資料結構中之欄位或子欄位。在一實施例中,可將此等記錄保存在中央處理單元(CPU)160中之非揮發性(NV)記憶體170中之儲存庫中。NV記憶體170可為硬碟機、快閃記憶體或其他器件。在另一實施例中,NV記憶體170可在CPU 160外部。在一實施例中,可將記錄遠端保存在可經由一網路連
接(未圖示)存取之另一位置處。
該等已保存記錄允許一使用者對過去ROI進行搜尋以找出先前所檢視的內容,其中該搜尋可基於對應於已保存資訊之一或多個準則來進行。舉例來說,使用者110可能已關閉應用程式X,但稍後決定其需要看看先前所檢視的檔案,而僅想起其在該檔案中看到過字「continent」。藉由已保存先前已瀏覽過的ROI之內容(此處,字「continent」),使用者110可在已保存ROI中搜尋此字,從而指向檔案Y。如下文將更詳細描述,接著可在適當處理上下文中向使用者110呈現檔案Y,例如,可在應用程式X之上下文中向使用者110呈現檔案Y。
可使用其他搜尋準則。在另一實例中,使用者110可搜尋其已在顯示器120之右下象限中所看到的內容,其中使用者110已看到字「continent」。此處,可對螢幕座標對應於右下象限且內容對應於「continent」之記錄執行搜尋。接著可傳回匹配記錄,且檔案Y在應用程式X之上下文中開啟。請注意,可選擇應用程式X及檔案Y,此係因為該兩者係在處理匹配記錄中之上下文資訊時識別。
亦可使用瀏覽ROI之時間作為搜尋準則。使用者110可回憶昨天中午左右看到一感興趣檔案。可接著使用可儲存於每一記錄中之檢視時間來識別對應於在該時間左右已瀏覽過的ROI之記錄。在產生多個可能性之此及任何其他搜尋中,可使用一般熟習此項技術者所已知的或可
想到的任何文字及/或圖形格式將可能匹配作為記錄之清單向使用者呈現。在給定此清單之情況下,使用者110可接著視需要選擇一記錄並開啟其內容。
此外,可使用單一的一條此資訊或組合使用若干條此資訊來執行搜尋。舉例來說,使用者110可能希望看到在右下象限中已瀏覽過且含有字「continent」之內容。接著可使用此等準則中之兩者來執行搜尋。
請注意,上文之實例並不意謂表示可能性之全面清單;如一般熟習此項技術者將理解,使用關於ROI所保存之資訊中之任一者,可使用其他搜尋情景。
雖然圖1說明可藉以實施實施例之一個計算平台,但應理解,可在替代類型之平台中實施其他實施例。此等其他平台可能不具有(例如)單獨CPU、鍵盤及滑鼠。此等其他平台可包括更多攜帶型計算器件,諸如膝上型電腦及筆記型電腦、平板計算器件、蜂巢式電話等。此等平台中之實施例的操作可與上文所描述之操作相當,以使得可擷取使用者之眼睛停留所在的顯示器上之位置且將該等位置與相關上下文資訊一起記錄。
如上文所註明,本文中所描述之系統可連續地記錄ROI。在此實施例中,經常地監視使用者所檢視的區,其中可建立一記錄,且可針對使用者檢視超過一預定時間間隔之任何ROI填入該記錄。在圖2中說明用於此實施例之處理。所說明程序之操作假設眼睛追蹤功能性已被啟動。在一實施例中,此功能性可由使用者打開。在210,可
擷取資料。如上文所論述,此擷取到的資料可包括以下各者中之一或多者:在ROI中已瀏覽過的內容或影像;瀏覽ROI之時間;停留在ROI上所花費的時間量;及ROI之螢幕座標。此資料亦可包括處理上下文、空間、視覺時間上下文及使用者動作上下文中之一或多者。
在220,可將此資料儲存於一儲存庫中。在一實施例中,可建立一ROI之一記錄,其中該記錄包括用於上文之項目中之每一者的欄位。接著可將該記錄保存在該儲存庫中。因為ROI係連續地記錄,所以該程序可返回至210,在210,可在使用者檢視另一區時擷取與下一個ROI相關聯之上文資料項目。
在230,可自使用者接收一取回請求,從而尋覓先前已瀏覽過的內容。如上文所註明,此請求可視擷取到的資料之類型而採用許多形式。若在該請求中指定搜尋準則,則可使用擷取到的資料中之任一者作為此等準則。使用者可詢問(例如)在特定時間已瀏覽過的內容,或在顯示器上之特定位置處出現或恰在發送電子郵件之前所看到的或鄰近於某一其他參考點出現的內容。此等實例並不意謂為可能性之詳盡清單;如一般熟習此項技術者將理解,其他取回請求係可能的。
在240,以下文將更詳細描述之方式處理該請求。若找到匹配該請求之一記錄,則可向使用者呈現對應內容。若有若干記錄匹配,則可以完整或縮寫形式中之任一者向使用者呈現該等匹配記錄;使用者接著可自該等可
能匹配進行選擇。在呈現完全記錄之一實施例中,可醒目提示來自ROI之內容。若未找到任何匹配,則可如此通知使用者;或者,可呈現近似匹配之記錄。
請注意,在一實施例(未圖示)中,資料之擷取及儲存可在正處理一取回請求之同時繼續。在此操作中,資料擷取及儲存可與一取回請求之處理平行地操作。
在圖3中說明一替代實施例。此處,僅當使用者明確選擇時,才可擷取資料。在310,可進行關於使用者是否已選擇擷取一ROI及任何相關資料之判定。作為一實例,使用者可檢視一ROI,且在使用者想要擷取該ROI之內容及相關資料以用於可能的後續存取之情況下可在滑鼠按鈕上按一下或點擊一功能鍵以執行該擷取或執行某一其他預有準備的預定義動作。在320,可接著將此時正被瀏覽的ROI中之內容與任何相關資料一起擷取。
在330,可將此資料儲存於一儲存庫中。在一實施例中,可建立一ROI之一記錄,其中該記錄包括用於相關資料之欄位。接著可將該記錄保存在該儲存庫中。
在340,可自使用者接收一取回請求,從而尋覓先前已瀏覽過的內容。如上文所註明,此請求可視擷取到的資料之類型而採用許多形式。若在該請求中指定搜尋準則,則可使用擷取到的資料中之任一者作為此等準則。在350,以下文將更詳細描述之方式處理該請求。若找到匹配該請求之一記錄,則可向使用者呈現對應內容。若有若干記錄匹配,則可以完整或縮寫形式中之任一者向使用者呈
現該等匹配記錄;使用者接著可自該等可能匹配進行選擇。若未找到任何匹配,則可如此通知使用者;或者,可呈現近似匹配之記錄。
此外,如在圖2之情況下,資料之擷取及儲存可在正處理一取回請求之同時繼續。在此實施例中,資料擷取及儲存可與一取回請求之處理平行地操作。
根據一實施例,在圖4中說明資料之擷取(圖2中之210及圖3中之320)。在410,可偵測並分析使用者之眼睛之活動。一般來說,可在三個層次來擷取並分析資料。首先,可以某一頻率(諸如60 Hz)對原始凝視資料進行取樣。其次,可將眼睛移動分類為(例如)注視或衝擊移動(被稱為快速眼球運動)。第三,可使用注視之叢聚(或其他可比較試誤法)來推斷所有意瀏覽的區(亦即,ROI)。
更具體來說,可偵測使用者之眼睛所指向之方向,且可判定使用者之注視的持續時間(亦即,停留時間)。在420,與顯示器之位置及定向相結合,使用者之眼睛之方向可允許判定已瀏覽過的區域或ROI。在430,可記錄在ROI處已瀏覽過的文字或影像。在440,可記錄ROI之處理上下文。如上文所論述,處理上下文可包括在ROI中已瀏覽過的檔案之名稱、顯示該檔案之應用程式及/或在ROI中所檢視的網頁中之一或多者。在450,可記錄發生檢視之時間及/或停留時間,其中該停留時間可能已在410量測。在460,可記錄ROI之螢幕座標。
在470,可記錄空間、視覺時間或使用者動作上
下文中之一或多者。如上文所註明,在替代實施例中,可記錄與ROI相關之此資料之一子集(或根本不記錄)。或者,亦可記錄額外相關資料。
在替代實施例中,430至470可以任何次序發生。此外,此等操作中之任何兩者或兩者以上可平行地操作。
圖5說明根據一實施例之一取回請求(圖2之240及圖3之350)之處理。在510,檢查儲存庫中之記錄以識別可匹配使用者所提出之搜尋準則之記錄。舉例來說,若使用者鍵入尋找顯示器之右上角中之ROI的搜尋準則,則可識別具有顯示器之彼部分中之螢幕座標的記錄。在一實施例中,使用者可具有允許標記感興趣區之公用程式。若使用者鍵入尋找字「continent」之搜尋準則,則可識別在內容欄位中具有彼字之記錄。在一實施例中,亦可識別具有近似搜尋準則之內容的記錄,例如,可識別具有包括如「continual」或「continental」之字之內容的記錄。或者,搜尋準則可指定瀏覽ROI之時間或時間範圍,或顯示器上之看到ROI的位置。接著將搜尋該等記錄,從而尋找含有此資料之欄位。搜尋準則或者可指代恰在瀏覽ROI之前或之後所執行之使用者動作。若恰在開啟或關閉一應用程式之前瀏覽過ROI,則可使用開啟或關閉作為搜尋中之準則;使用者可尋找(例如)恰在開啟其網頁瀏覽器之前所看到的ROI。該搜尋將接著尋找具有指示恰在開啟瀏覽器之前瀏覽過ROI之欄位的ROI之記錄。
在一實施例中,可組合多個準則。使用者可(例如)鍵入尋找具有字「continent」且在昨天下午兩點左右已看到的ROI之搜尋準則。接著可識別匹配或近似此等準則之記錄。
在一實施例中,使用者可提供與空間上下文或視覺時間上下文相關之搜尋準則。舉例來說,使用者可回憶恰在「My Computer」圖示之右邊看到ROI中之內容。為了適應使用此空間上下文準則之搜尋,ROI記錄可具有用於與空間上下文相關之資料之一或多個欄位。在一實施例中,記錄任何ROI及其相關資料可包括記錄鄰近於ROI出現之文字及/或影像資料。所要ROI之記錄可具有(例如)含有文字或影像資料之一或多個欄位,其中此文字或影像在原始檢視時間鄰近於ROI出現。對儲存庫中之記錄之集合的搜尋可在此等欄位中尋找與「My Computer」圖示相關之影像或文字。該搜尋可接著識別鄰近於「My Computer」圖示的彼等ROI之記錄。
或者,記錄一ROI及其相關資料可包括建立ROI之各別相鄰區之額外記錄。每一此記錄將接著包括其自身的含有至鄰接區之記錄之連結的空間上下文欄位。舉例來說,假設使用者正在尋找緊接於「My Computer」圖示出現之內容。在此情況下,搜尋可尋求內容欄位包括此圖示之記錄。搜尋因此可尋覓內容欄位含有「My Computer」圖示之區的記錄。此等記錄將具有其自身的指向鄰近於此圖示之區之記錄(包括所要ROI之記錄)的空間上下文欄位。「My
Computer」圖示之記錄中的空間上下文連結因此可用以識別相鄰於「My Computer」圖示之ROI之記錄。至少一此ROI可接著為所要ROI。在另一實例中,使用者可能正在尋找緊接於已藉由一應用程式開啟之一文件(或其一部分)出現之內容。此處,搜尋可尋求內容欄位包括此文件或其部分之記錄。搜尋因此可尋覓內容欄位含有此文件之區的記錄。又,此等記錄將具有其自身的指向鄰近於此文件之區之記錄(包括所要ROI之記錄)的空間上下文欄位。文件之記錄中的空間上下文連結因此可用以識別相鄰於文件之ROI之記錄。
可比較配置可用以實施使用與視覺時間上下文相關之準則的搜尋。舉例來說,使用者可回憶恰在已查看圖示c之後看到ROI中之內容。使用者可接著希望使用此時間參考來恢復ROI之內容。為了適應使用此等視覺時間上下文準則之搜尋,ROI記錄可具有用於與視覺時間上下文相關之資料的一或多個欄位。ROI記錄可具有(例如)含有文字或影像資料之一或多個欄位,其中已在瀏覽ROI之前或之後檢視文字或影像。在此實施例中,記錄一ROI及其相關資料可能已包括記錄在瀏覽所要ROI之前或之後所檢視的文字及/或影像資料。返回實例,對儲存庫中之記錄之集合的搜尋可在此等欄位中尋找與圖示c相關之影像或文字。搜尋因此將傳回恰在已檢視圖示c之前或之後已瀏覽過的ROI之記錄。此外,視覺時間上下文可能並不定義為僅單一事件(例如,已查看圖示c),而可定義為在瀏覽ROI
之前或之後的事件序列,或可定義為包括瀏覽ROI之事件序列。此處,ROI記錄可具有(例如)含有文字或影像資料之一或多個欄位,其中已在此序列期間檢視文字或影像。對含有此等欄位之記錄之搜尋接著可指向所要ROI。
或者,記錄一ROI及其相關資料可包括建立恰在瀏覽所要ROI之前及恰在瀏覽所要ROI之後已瀏覽過的各別ROI之額外記錄。ROI之任何記錄將接著包括含有至恰在此之前或此後已瀏覽過的彼等各別ROI之記錄之連結的時間視覺上下文欄位。在此情況下,若使用者將要搜尋恰在已檢視圖示c之後所檢視的內容,則可檢查內容欄位包括此圖示之記錄。此等記錄中之視覺時間上下文連結可用以識別恰在已檢視圖示c之後瀏覽過的ROI之記錄。
返回參看圖5,在520,可向使用者呈現一或多個可能匹配。可傳回精確匹配;在一替代實施例中,亦可傳回近似匹配。在530,接收來自該等所呈現匹配中的使用者之選擇。在540,提取選定記錄,且在550,向使用者呈現對應內容。在一實施例中,可在此內容之原始處理上下文中向使用者呈現該內容,例如,使用最初檢視原始檔案之應用程式來呈現該原始檔案。
圖6說明一實施例中的ROI之記錄600。說明了六個欄位,但將理解,在替代實施例中,可使用更多欄位或更少欄位。欄位610含有在ROI中已瀏覽過的內容;此內容可為在ROI中已瀏覽過的影像、文字或其他形式之資料。欄位620識別用以顯示欄位610之影像或文字之應用
程式。在一實施例中,欄位620亦可包括應用程式中之位置(例如,應用程式中之選定選項)。欄位630可識別已藉由欄位620之應用程式開啟且含有在ROI中已瀏覽過的影像或文字之檔案。若欄位620之應用程式為網頁瀏覽器,則欄位640可識別在ROI中所檢視之網頁。欄位650可識別瀏覽ROI之時間及/或此檢視之持續時間或停留時間。在一替代實施例中,對於每一情形,可存在單獨欄位。欄位660可識別ROI之位置之螢幕座標。在一實施例中,諸如記錄600之記錄可在ROI及相關資料之記錄在使用者之明確方向上發生之情形下使用,如圖3中所說明。
圖7說明一替代實施例中的ROI之記錄。存在此特定實施例中加以說明之十一個欄位。欄位710可含有在ROI中已瀏覽過的內容,諸如影像資料或文字資料。欄位720可識別用以顯示欄位710之影像或文字之應用程式。在一實施例中,欄位720亦可包括應用程式中之位置(例如,應用程式中之選定選項)。欄位730可識別已藉由欄位720之應用程式開啟且含有在ROI中已瀏覽過的影像或文字之檔案。若欄位720之應用程式為網頁瀏覽器,則欄位740可識別在ROI中所檢視的網頁。欄位750可識別瀏覽ROI之時間及/或此檢視之持續時間或停留時間。在一替代實施例中,對於每一情形,可存在單獨欄位。欄位760可識別ROI之位置之螢幕座標。
欄位765可儲存與ROI之時間上下文相關之資訊。假定使用者通常可不時地關注顯示器之不同區,此欄
位可儲存與在對記錄700之ROI進行瀏覽之前及/或之後所檢視的區相關之資訊。舉例來說,時間上下文欄位765可儲存影像資料或文字資料,其表示使用者在檢視欄位710之內容之前或之後所檢視的內容,如上文所論述。或者,欄位765可儲存至其他記錄之一或多個連結,其中此等其他記錄對應於使用者在檢視欄位710之內容之前或之後已瀏覽過的ROI。欄位765允許使用者藉由將在瀏覽所要ROI之前或之後所檢視的內容指定為搜尋準則來搜尋記錄700。
欄位770可儲存與ROI之空間上下文相關之資訊。因為ROI通常將具有顯示器上之相鄰區,所以此欄位可儲存與此等相鄰區相關之資訊。舉例來說,空間上下文欄位770可儲存鄰接ROI之一或多個區中出現的影像資料或文字資料。或者,欄位770可儲存至其他記錄之一或多個連結,其中此等記錄對應於此等鄰接區之ROI。欄位770允許使用者藉由將在相鄰於所要ROI之區中呈現於螢幕上之內容指定為搜尋準則來搜尋記錄700。
欄位775可儲存與ROI之使用者動作上下文相關之資訊。使用者通常可在使用電腦之過程中執行多種動作。使用者可(例如)開始或關閉應用程式、開啟或關閉視窗、發送電子郵件、按一下按鈕、捲動等。欄位775可儲存指定在對ROI進行瀏覽之前及/或之後所採取之動作的資料。此資料可描述(例如)檔案a之開啟或視窗Z之關閉或應用程式X之開啟。欄位775允許使用者藉由將在瀏覽所要ROI之前或之後由使用者執行之動作指定為搜尋準則來搜
尋記錄700。
請注意,在各種實施例中,欄位765至775實際上可表示一或多個欄位或子欄位,其中每一欄位或子欄位儲存特定上下文之組成部分(component)。在(例如)欄位765之情況下,一個子欄位可儲存表示在瀏覽ROI之前所檢視的內容之資料,而另一子欄位可儲存在瀏覽ROI之後所檢視的內容之資料。在欄位770之情況下,一個子欄位可儲存表示出現在ROI下方之文字或影像資料的資料,而另一子欄位可儲存表示出現在ROI上方之文字或影像資料的資料,等。在欄位775之情況下,一個子欄位可儲存指定在瀏覽ROI之前所採取之一或多個動作的資料,而另一子欄位可儲存指定在瀏覽ROI之後所採取之一或多個動作的資料。此外,可使用多個子欄位,其中每一子欄位儲存指定在瀏覽ROI之前或之後所採取之動作的資料。
在一實施例中,諸如記錄700之記錄可在對ROI及相關資料之記錄連續地發生之情形下使用,如圖2中所說明。
各種實施例可使用硬體元件、軟體元件或兩者之組合來實施。硬體元件之實例可包括處理器、微處理器、電路、電路元件(例如,電晶體、電阻器、電容器、電感器等)、積體電路、特定應用積體電路(ASIC)、可程式化邏輯器件(PLD)、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)、邏輯閘、暫存器、半導體器件、晶片、微晶片、晶片組等。軟體之實例可包括軟體組件、程式、應用程式、
電腦程式、應用程式(application program)、系統程式、機器程式、作業系統軟體、中間軟體、韌體、軟體模組、常式、次常式、功能、方法、程序、軟體介面、應用程式設計介面(API)、指令集、計算碼、電腦碼、碼段、電腦碼段、字、值、符號或其任何組合。判定實施例是否使用硬體元件及/或軟體元件來實施可根據許多因素(諸如所要計算速率、功率位準、耐熱性、處理循環預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度及其他設計或效能約束)改變。
本文中所使用之術語軟體可指代電腦程式產品,其包括儲存有電腦程式邏輯以使一電腦系統執行本文中所揭示之一或多個特徵及/或特徵之組合的電腦可讀媒體。電腦可讀媒體可為暫時性或非暫時性的。暫時性電腦可讀媒體之實例可為經由區域或廣域網路或經由諸如網際網路之網路經由射頻或經由電導體傳輸的數位信號。非暫時性電腦可讀媒體之實例可為緊密光碟、快閃記憶體、隨機存取記憶體、唯讀記憶體或其他資料儲存器件。
根據一實施例,在圖8中展示執行此軟體/韌體之計算系統。所說明系統800可包括一或多個處理器820且可進一步包括記憶體810之主體。處理器820可包括一或多個中央處理單元核心及/或具有一或多個GPU核心之圖形處理單元。記憶體810可包括可儲存電腦程式邏輯840之一或多個電腦可讀媒體。記憶體810可實施為硬碟及硬碟機、抽取式媒體(諸如(例如)緊密光碟、唯讀記憶體(ROM)
或隨機存取記憶體(RAM)器件)或其某一組合。處理器820及記憶體810可使用一般熟習此項技術者所已知的若干技術中之任一者(諸如匯流排或點對點互連)進行通信。記憶體810中所含之電腦程式邏輯840可由處理器820來讀取並執行。一或多個I/O埠及/或I/O器件(共同展示為I/O 830)亦可連接至處理器820及記憶體810。在一實施例中,I/O 830可包括顯示器120及攝影機裝置150,如圖1所示。
電腦程式邏輯840可包括體現上文所描述之處理之邏輯。在所說明實施例中,電腦程式邏輯840可包括資料擷取模組850,該模組體現上文關於圖4所描述之邏輯。電腦程式邏輯840亦可包括資料儲存模組860,該模組體現上文所描述之邏輯(在一實施例中,圖4之430至470)且根據圖6及圖7之格式來儲存資料。電腦程式邏輯840亦可包括請求處理模組870,該模組體現上文關於圖5所描述之邏輯。電腦程式邏輯840亦可包括一或多個處理模組,該一或多個模組執行或促進使用者所檢視的顯示位置之判定。或者,可使用硬體或硬體與軟體之某一組合來執行此判定。
本文中所描述之系統可為多功能資訊系統之一部分。圖9說明多功能資訊系統之一實施例。在實施例中,系統900可為媒體系統,但系統900不限於此上下文。舉例來說,系統900可併入至以下各者中:個人電腦(PC)、膝上型電腦、超級膝上型電腦、平板電腦、觸控板、攜帶型電腦、手持型電腦、掌上型電腦、個人數位助理(PDA)、
電子閱讀器、蜂巢式電話、組合式蜂巢式電話/PDA、電視、智慧型器件(例如,智慧型手機、智慧型平板電腦或智慧型電視)、行動網際網路器件(MID)、訊息傳遞器件、資料通信器件等。
在實施例中,系統900包含耦接至顯示器920之平台902。平台902可自一內容器件(諸如,內容服務器件930或內容遞送器件940或其他類似內容源)接收內容。包含一或多個導覽特徵之導覽控制器950可用以與(例如)平台902及/或顯示器920互動。在下文更詳細地描述此等組件中之每一者。
在實施例中,平台902可包含邏輯905、處理器910、記憶體912、儲存器914、圖形子系統915、應用程式916及/或無線電918之任何組合。邏輯905可包括I/O控制邏輯及/或記憶體控制邏輯,且可提供處理器910、記憶體912、儲存器914、圖形子系統915、應用程式916及/或無線電918之間的互通。舉例來說,邏輯905可包括能夠提供與儲存器914互通之一儲存配接器(未描繪)。在替代實施例中,邏輯905之I/O控制邏輯及記憶體控制邏輯可實施於單獨組件中,且可或可不實施於處理器910中。
處理器910可實施為複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器、x86指令集相容處理器、多核心或任何其他微處理器或中央處理單元(CPU)。在實施例中,處理器910可包含雙核心處理器、雙核心行動處理器等。
記憶體912可實施為揮發性記憶體器件,諸如(但不限於)隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)或靜態RAM(SRAM)。
儲存器914可實施為非揮發性儲存器件,諸如(但不限於)磁碟機、光碟機、磁帶機、內部儲存器件、附接儲存器件、快閃記憶體、電池備用SDRAM(同步DRAM)及/或網路可存取之儲存器件。在實施例中,舉例來說,儲存器914可包含用以在包括多個硬碟機時增加對有價值之數位媒體之儲存效能增強保護的技術。
圖形子系統915可執行諸如靜態或視訊之影像之處理以供顯示。圖形子系統915可為(例如)圖形處理單元(GPU)或視覺處理單元(VPU)。可使用類比或數位介面以通信方式耦接圖形子系統915與顯示器920。舉例來說,介面可為高清晰度多媒體介面、DisplayPort、無線HDMI及/或符合無線HD之技術中之任一者。圖形子系統915可整合至處理器910或晶片組905中。圖形子系統915可為以通信方式耦接至晶片組905之獨立卡。
本文中所描述之圖形及/或視訊處理技術可以各種硬體架構來實施。舉例來說,圖形及/或視訊功能性可整合於晶片組內。或者,可使用離散之圖形及/或視訊處理器。作為又一實施例,圖形及/或視訊功能可由通用處理器(包括多核心處理器)來實施。在另一實施例中,該等功能可實施於消費型電子器件中。
無線電918可包括能夠使用各種合適的無線通
信技術來傳輸及接收信號之一或多個無線電。此等技術可涉及跨越一或多個無線網路之通信。例示無線網路包括(但不限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會網路(WMAN)、蜂巢式網路及衛星網路。在跨越此等網路之通信中,無線電918可根據任何版本中之一或多個適用標準來操作。
在實施例中,顯示器920可包含任何監視器或顯示器,且可對應於圖1之顯示器120。顯示器920可包含(例如)電腦顯示螢幕、觸控式螢幕顯示器、視訊監視器、類似電視器件及/或電視。顯示器920可為數位及/或類比的。在實施例中,顯示器920可為全像顯示器。又,顯示器920可為可接收視覺投影之透明表面。此等投影可傳遞各種形式之資訊、影像及/或物件。舉例來說,此等投影可為用於行動擴增實境(MAR)應用程式之視覺覆疊。在一或多個軟體應用程式916之控制下,平台902可將使用者介面922顯示於顯示器920上。
在實施例中,內容服務器件930可由任何本國、國際及/或獨立服務代管,且因此可由平台902經由(例如)網際網路進行存取。內容服務器件930可耦接至平台902及/或顯示器920。平台902及/或內容服務器件930可耦接至網路960以將媒體資訊傳達(例如,發送)至網路960及/或自網路960傳達(例如,接收)媒體資訊。內容遞送器件940亦可耦接至平台902及/或顯示器920。
在實施例中,內容服務器件930可包含有線電視
盒、個人電腦、網路、電話、具網際網路功能之器件或能夠遞送數位資訊及/或內容之器具及能夠經由網路960或直接地在內容提供者與平台902及顯示器920之間單向地或雙向地傳達內容之任何其他類似器件。將瞭解,可經由網路960單向地及/或雙向地傳達內容至系統900中之組件及內容提供者中之任一者及自系統900中之組件及內容提供者中之任一者傳達內容。內容之實例可包括任何媒體資訊,包括(例如)視訊、音樂、醫療及遊戲資訊等。
內容服務器件930接收包括媒體資訊、數位資訊及/或其他內容之內容,諸如有線電視節目編排。內容提供者之實例可包括任何有線電視或衛星電視或無線電或網際網路內容提供者。所提供實例不意謂限制本發明之實施例。
在實施例中,平台902可自具有一或多個導覽特徵之導覽控制器950接收控制信號。控制器950之導覽特徵可用以與(例如)使用者介面922互動。在實施例中,導覽控制器950可為一指標器件,其可為允許使用者將空間(例如,連續且多維之)資料輸入至電腦中之電腦硬體組件(具體來說,人機介面器件)。諸如圖形使用者介面(GUI)及電視及監視器之許多系統允許使用者使用實體姿勢來控制電腦或電視且將資料提供至電腦或電視。
控制器950之導覽特徵之移動可在顯示器(例如,顯示器920)上藉由移動顯示於該顯示器上之指標、游標、聚焦環或其他視覺指示符而予以回應。舉例來說,在軟體應用程式916之控制下,位於導覽控制器950上之導
覽特徵可映射至顯示於(例如)使用者介面922上之虛擬導覽特徵。在實施例中,控制器950可能並非單獨組件,而是可整合至平台902及/或顯示器920中。然而,實施例不限於該等元件或在本文中所展示或描述之情境下不受限制。
在實施例中,驅動器(未圖示)可包含用以使得使用者能夠(例如)在啟用時在初始開機之後藉由觸摸按鈕來像電視一樣立刻打開及關閉平台902之技術。程式邏輯可允許平台902在該平台被「關閉」時將內容串流傳輸至媒體配接器或其他內容服務器件930或內容遞送器件940。另外,晶片組905可包含對於(例如)5.1環繞聲音訊及/或高清晰度7.1環繞聲音訊之硬體及/或軟體支援。驅動器可包括用於整合圖形平台之圖形驅動器。在實施例中,圖形驅動器可包含快速周邊組件互連(PCI)圖形卡。
在各種實施例中,可整合系統900中所展示之組件中之任何一或多者。舉例來說,可整合平台902與內容服務器件930,或可整合平台902與內容遞送器件940,或(例如)可整合平台902、內容服務器件930及內容遞送器件940。在各種實施例中,平台902及顯示器920可為一整合單元。舉例來說,可整合顯示器920與內容服務器件930,或可整合顯示器920與內容遞送器件940。此等實例不意謂限制本發明。
在各種實施例中,系統900可實施為無線系統、有線系統或兩者之組合。系統900在實施為無線系統時可
包括適合於經由無線共用媒體進行通信之組件及介面,諸如一或多個天線、傳輸器、接收器、收發器、放大器、濾波器、控制邏輯等。無線共用媒體之一實例可包括無線頻譜之部分(諸如,RF頻譜等)。系統900在實施為有線系統時可包括適合於經由有線通信媒體進行通信之組件及介面,諸如輸入/輸出(I/O)配接器、用以連接I/O配接器與對應有線通信媒體之實體連接器、網路介面卡(NIC)、碟片控制器、視訊控制器、音訊控制器等。有線通信媒體之實例可包括導線、纜線、金屬引線、印刷電路板(PCB)、底板、交換組構、半導體材料、雙絞線、同軸纜線、光纖等。
平台902可建立一或多個邏輯或實體頻道以傳達資訊。資訊可包括媒體資訊及控制資訊。媒體資訊可指代表示以使用者為目標之內容之任何資料。內容之實例可包括(例如)來自語音對話、視訊會議、串流視訊、電子郵件(「email」)訊息、語音郵件訊息、文數字符號、圖形、影像、視訊、文字等之資料。來自語音對話之資料可為(例如)話語資訊、靜音時段、背景雜訊、舒適雜訊(comfort noise)、音調等。控制資訊可指代表示以自動化系統為目標之命令、指令或控制字之任何資料。舉例來說,控制資訊可用以經由一系統來投送媒體資訊,或命令一節點以預定方式處理媒體資訊。然而,實施例不限於該等元件或在圖9中所展示或描述之情境下不受限制。
如上所述,系統900可以變化之實體樣式或外觀尺寸體現。圖10說明小外觀尺寸器件1000之實施例,系
統900可體現於該小外觀尺寸器件1000中。在實施例中,例如,器件1000可實施為具有無線能力之行動計算器件。行動計算器件可指代(例如)具有處理系統及行動電源或電源供應器(諸如一或多個電池)之任何器件。
如上所述,行動計算器件之實例可包括個人電腦(PC)、膝上型電腦、超級膝上型電腦、平板電腦、觸控板、攜帶型電腦、手持型電腦、掌上型電腦、個人數位助理(PDA)、電子閱讀器、蜂巢式電話、組合式蜂巢式電話/PDA、電視、智慧型器件(例如,智慧型手機、智慧型平板電腦或智慧型電視)、行動網際網路器件(MID)、訊息傳遞器件、資料通信器件等。
行動計算器件之實例亦可包括經配置以由人佩戴之電腦。在實施例中,例如,行動計算器件可實施為能夠執行電腦應用程式以及語音通信及/或資料通信之智慧型手機。雖然可以舉例方式關於實施為智慧型手機之行動計算器件來描述一些實施例,但可瞭解,亦可使用其他無線行動計算器件來實施其他實施例。該等實施例在此情境下不受限制。
如圖10所示,器件1000可包含外殼1002、顯示器1004、輸入/輸出(I/O)器件1006及天線1008。器件1000亦可包含導覽特徵1012。顯示器1004可包含適合於行動計算器件之用於顯示資訊之任何合適顯示單元。I/O器件1006可包含用於使資訊進入行動計算器件中之任何合適I/O器件。I/O器件1006之實例可包括文數字鍵盤、數字小鍵盤、
觸控板、輸入鍵、按鈕、開關、搖臂開關、麥克風、揚聲器、語音辨識器件及軟體等。資訊亦可藉由麥克風而進入器件1000中。此資訊可藉由語音辨識器件數位化。該等實施例在此情境下不受限制。
可藉由儲存於表示處理器內之各種邏輯之機器可讀媒體上的代表性指令來實施至少一實施例之一或多個態樣,該等指令在由機器讀取時使該機器製作用以執行本文中所描述之技術之邏輯。被稱為「IP核心」之此等表示可儲存於一有形之機器可讀媒體上且供應給各種客戶或製造設施以載入至實際製造邏輯或處理器之製造機器中。
在本文中借助於說明功能、特徵及其關係之功能建置區塊揭示方法及系統。為描述便利起見,已在本文中任意界定此等功能建置區塊之邊界中之至少一些。只要適當地執行指定功能及其關係,即可界定替代邊界。
本文中所揭示之一或多個特徵可以硬體、軟體、韌體及其組合(包括離散及積體電路邏輯、特殊應用積體電路(ASIC)邏輯以及微控制器)來實施,且可實施為特定域積體電路封裝或積體電路封裝之組合之部分。如本文中所使用之術語軟體指代電腦程式產品,其包括儲存有電腦程式邏輯以使一電腦系統執行本文中所揭示之一或多個特徵及/或特徵之組合之至少一電腦可讀媒體。電腦可讀媒體可為暫時性或非暫時性的。暫時性電腦可讀媒體之實例可為經由區域或廣域網路或經由諸如網際網路之網路經由射頻或經由電導體傳輸之數位信號。非暫時性電腦可讀媒體之實
例可為緊密光碟、快閃記憶體或其他資料儲存器件。
雖然在本文中揭示了各種實施例,但應理解,該等實施例僅以舉例方式呈現,且不受限制。熟習相關技術者將顯而易見,在不脫離本文中所揭示之方法及系統之精神及範疇之情況下,可在本文中作出形式及細節上之各種改變。因此,申請專利範圍之廣度及範疇不應由本文中所揭示之例示實施例中之任一者限制。
//* C.1-12:*//
在一實施例中,一種實施上文處理之方法可包含:判定一使用者在一顯示器上已瀏覽過的一感興趣區(ROI);記錄在該區中已瀏覽過的內容;記錄該內容之一處理上下文;將該已記錄資訊儲存於一儲存庫中;以及使該已記錄資訊在一稍後時間請求時可由該使用者存取。
該內容可包含文字資訊及影像資訊中之一或多者。該處理上下文可包含以下各者中之一或多者:在該區中已瀏覽過的一應用程式;在該應用程式中之一位置;在該區中開啟之一檔案;在該檔案中之一位置,其中在該檔案中之該位置在該區中;在該區中已瀏覽過的一網頁;以及在該網頁中之一位置,其中在該網頁中之該位置在該區中。
該方法可進一步包含記錄瀏覽該感興趣區之時間,該記錄在該儲存之前執行。該方法亦可包含記錄已瀏覽過的該感興趣區之螢幕座標,該記錄在該儲存之前執行。
該儲存可包含建立一記錄以及將該已記錄資訊
儲存於該記錄中。此可包括將至一或多個相關記錄之連結儲存於該記錄中。該一或多個相關記錄可包含以下各者中之至少一者:一先前已瀏覽過的感興趣區之一記錄;一隨後已瀏覽過的感興趣區之一記錄;以及鄰近於該已瀏覽過的感興趣區之一區之一記錄。該儲存亦可包含將以下各者中之一或多者儲存於該記錄中:在該瀏覽之前所採取的一使用者動作之一識別;以及在該瀏覽之後所採取之一使用者動作之識別。該儲存亦可包括將該使用者視覺停留在該區上所經過之持續時間儲存於該記錄中。
使該資訊可存取可包含:自該使用者接收搜尋準則;對該儲存庫搜尋匹配於該搜尋準則之已記錄資訊;將對匹配該搜尋準則之任何已記錄資訊之一或多個參考傳回至該使用者;自該使用者接收對該等參考中之一或多者之一選擇;以及在與對應於該選擇之內容相關聯的一重新建立之上下文中向該使用者呈現該對應內容。該搜尋準則可包含以下各者中之一或多者:對該感興趣區中之該內容之一描述;對瀏覽該感興趣區之該時間或時間範圍之一參考;對瀏覽該感興趣區的在該顯示器上之該位置或區域之一參考;對在該瀏覽之前所採取之一使用者動作之一參考;對在該瀏覽之後所採取之一使用者動作之一參考;對一先前已瀏覽過的感興趣區之一參考;對一隨後已瀏覽過的感興趣區之一參考;以及對鄰近於該已瀏覽過的感興趣區之一區之一參考。
一實施例可由包含儲存有控制邏輯之一非暫時
性電腦可用媒體之一電腦程式產品來實施,該電腦控制邏輯包含用以使一處理器執行上文所描述之處理之邏輯。
在一實施例中,上文所描述之處理可由包含以下各者之一系統來執行:一處理器;以及與該處理器通信之一記憶體,該記憶體用於儲存經組配以引導該處理器進行以下操作之複數條處理指令:判定一使用者在一顯示器上已瀏覽過的一感興趣區(ROI);記錄在該區中已瀏覽過的內容;記錄該內容之一處理上下文;將該已記錄資訊儲存於一儲存庫中;以及使該已記錄資訊在一稍後時間請求時可由該使用者存取。
該內容可包含文字資訊及影像資訊中之一或多者。該處理上下文可包含以下各者中之一或多者:在該區中已瀏覽過的一應用程式;在該應用程式中之一位置;在該區中開啟之一檔案;在該檔案中之一位置,其中在該檔案中之該位置在該區中;在該區中已瀏覽過的一網頁;以及在該網頁中之一位置,其中在該網頁中之該位置在該區中。
該複數條處理指令可經進一步組配以引導該處理器記錄瀏覽該感興趣區之時間,其中此記錄可在該儲存之前執行。該複數條處理指令可經進一步組配以引導該處理器記錄已瀏覽過的該感興趣區之螢幕座標,其中此記錄可在該儲存之前執行。
該儲存可包含建立一記錄以及將該已記錄資訊儲存於該記錄中。該複數條處理指令可經進一步組配以引
導該處理器將至一或多個相關記錄之連結儲存於該記錄中。該一或多個相關記錄可包含以下各者中之至少一者:一先前已瀏覽過的感興趣區之一記錄;一隨後已瀏覽過的感興趣區之一記錄;以及鄰近於該已瀏覽過的感興趣區之一區之一記錄。經組配以引導該處理器將該已記錄資訊儲存於該記錄中之該複數條處理指令可包含經組配以引導該處理器儲存以下各者中之一或多者的複數條處理指令:在該瀏覽之前所採取之一使用者動作之識別;以及在該瀏覽之後所採取之一使用者動作之識別。經組配以引導該處理器將該已記錄資訊儲存於該記錄中之該複數條處理指令可包含經組配以引導該處理器儲存該使用者視覺停留在該區上所經過之持續時間的複數條處理指令。
經組配以引導該處理器使該資訊可存取之該複數條處理指令可包含經組配以引導該處理器進行以下操作之複數條處理指令:自該使用者接收搜尋準則;對該儲存庫搜尋匹配於該搜尋準則之已記錄資訊;將對匹配該搜尋準則之任何已記錄資訊之一或多個參考傳回至該使用者;自該使用者接收對該等參考中之一或多者之一選擇;以及在與對應於該選擇之內容相關聯的一重新建立之上下文中向該使用者呈現該對應內容。該搜尋準則可包含以下各者中之一或多者:對該感興趣區中之該內容之一描述;對瀏覽該感興趣區之該時間或時間範圍之一參考;對瀏覽該感興趣區的在該顯示器上之該位置或區域之一參考;對在該瀏覽之前所採取之一使用者動作之一參考;對在該瀏覽之
後所採取之一使用者動作之一參考;對一先前已瀏覽過的感興趣區之一參考;對一隨後已瀏覽過的感興趣區之一參考;以及對鄰近於該已瀏覽過的感興趣區之一區之一參考。
該系統可進一步包含經組配以儲存該儲存庫之一非揮發性記憶體。該系統可進一步包含至一網路之一連接,該連接經組配以提供對經組配以儲存該儲存庫之一非揮發性記憶體之遠端存取。
該等系統、該等方法及該等電腦程式產品具有允許擷取或回憶先前已由使用者在一資訊器具之一顯示器上檢視之內容的一優點。一額外優點為不必要求該使用者採取一顯式動作來進行該擷取或回憶。
110‧‧‧使用者
120‧‧‧顯示器
150‧‧‧攝影機裝置
160‧‧‧中央處理單元(CPU)
170‧‧‧非揮發性(NV)記憶體
180‧‧‧鍵盤
190‧‧‧滑鼠
Claims (27)
- 一種方法,其包含:判定在一顯示器上一使用者已瀏覽過的一感興趣區(ROI);記錄在該區中被瀏覽過的內容;記錄該內容之一處理上下文;將已記錄資訊儲存於一儲存庫中;以及使該已記錄資訊在一稍後時間可依請求而由該使用者存取。
- 如申請專利範圍第1項之方法,其中該內容包含文字資訊及影像資訊中之一者或多者。
- 如申請專利範圍第1項之方法,其中該處理上下文包含下列中之一者或多者:在該區中被瀏覽過的一應用程式;在該應用程式中之一位置;在該區中開啟之一檔案;在該檔案中之一位置,其中在該檔案中之該位置在該區中;在該區中被瀏覽過的一網頁;以及在該網頁中之一位置,其中在該網頁中之該位置在該區中。
- 如申請專利範圍第1項之方法,其進一步包含:記錄該感興趣區被瀏覽之時間, 在該儲存之前被執行。
- 如申請專利範圍第1項之方法,其進一步包含:記錄已瀏覽過的該感興趣區之螢幕座標,在該儲存之前執行。
- 如申請專利範圍第1項之方法,其中該儲存包含:建立一記錄;以及將該已記錄資訊儲存於該記錄中。
- 如申請專利範圍第6項之方法,其進一步包含:將至一個或多個相關記錄之連結儲存於該記錄中。
- 如申請專利範圍第7項之方法,其中該一個或多個相關記錄包含下列中之至少一者:一先前被瀏覽過的感興趣區之一記錄;一隨後被瀏覽過的感興趣區之一記錄;以及鄰近於該被瀏覽過的感興趣區之一區的一記錄。
- 如申請專利範圍第6項之方法,其進一步包含將下列中之一者或多者儲存於該記錄中:在該瀏覽之前所採取之一使用者動作之識別;以及在該瀏覽之後所採取之一使用者動作之識別。
- 如申請專利範圍第6項之方法,其進一步包含將該使用者視覺停留在該區上所經過之持續時間儲存於該記錄中。
- 如申請專利範圍第1項之方法,其中該使該資訊可存取包含:自該使用者接收搜尋準則; 對該儲存庫搜尋匹配於該搜尋準則之已記錄資訊;將對匹配該搜尋準則之任何已記錄資訊之一個或多個參考傳回至該使用者;自該使用者接收該等參考中之一者或多者的一選擇;以及向該使用者呈現內容,該內容對應於一重新建立之上下文中的該選擇,該重新建立之上下文與該對應的內容相關聯。
- 如申請專利範圍第11項之方法,其中該搜尋準則包含下列中之一者或多者:對該感興趣區中之該內容的一描述;對該感興趣區被瀏覽之時間或時間範圍之一參考;對該感興趣區在該顯示器上被瀏覽之位置或區域的一參考;對在該瀏覽之前所採取之一使用者動作之一參考;對在該瀏覽之後所採取之一使用者動作之一參考;對一先前被瀏覽過的感興趣區之一參考;對一隨後被瀏覽過的感興趣區之一參考;以及對鄰近於該被瀏覽過的感興趣區之一區的一參考。
- 一種電腦程式產品,其包含一非暫時性電腦可用媒體,該非暫時性電腦可用媒體具有儲存於其中的控制邏輯,該電腦控制邏輯包含用以致使一處理器執行如申請專利範圍第1項至第12項中任一項之方法的邏輯。
- 一種系統,其包含: 一處理器;以及與該處理器通信之一記憶體,該記憶體用於儲存複數個處理指令,該等處理指令經組配以引導該處理器用以:判定在一顯示器上一使用者已瀏覽過的一感興趣區(ROI);記錄在該區中被瀏覽過的內容;記錄該內容之一處理上下文;將已記錄資訊儲存於一儲存庫中;以及使該已記錄資訊在一稍後時間可依請求而由該使用者存取。
- 如申請專利範圍第14項之系統,其中該內容包含文字資訊及影像資訊中之一者或多者。
- 如申請專利範圍第14項之系統,其中該處理上下文包含下列中之一者或多者:在該區中被瀏覽過的一應用程式;在該應用程式中之一位置;在該區中開啟之一檔案;在該檔案中之一位置,其中在該檔案中之該位置在該區中;在該區中被瀏覽過的一網頁;以及在該網頁中之一位置,其中在該網頁中之該位置在該區中。
- 如申請專利範圍第14項之系統,其中該等複數個處理 指令經進一步組配以引導該處理器用以:記錄已瀏覽過的該感興趣區之時間,在該儲存之前執行。
- 如申請專利範圍第14項之系統,其中該等複數個處理指令經進一步組配以引導該處理器用以:記錄已瀏覽過的該感興趣區之螢幕座標,在該儲存之前執行。
- 如申請專利範圍第14項之系統,其中該儲存包含:建立一記錄;以及將該已記錄資訊儲存於該記錄中。
- 如申請專利範圍第19項之系統,其中該等複數個處理指令經進一步組配以引導該處理器用以:將至一個或多個相關記錄之連結儲存於該記錄中。
- 如申請專利範圍第20項之系統,其中該一個或多個相關記錄包含下列中之至少一者:一先前被瀏覽過的感興趣區之一記錄;一隨後被瀏覽過的感興趣區之一記錄;以及鄰近於該被瀏覽過的感興趣區之一區的一記錄。
- 如申請專利範圍第19項之系統,其中經組配以引導該處理器將該已記錄資訊儲存於該記錄中之該等複數個處理指令包含經組配以引導該處理器儲存下列中之一者或多者的複數個處理指令:在該瀏覽之前所採取之一使用者動作之識別;以及在該瀏覽之後所採取之一使用者動作之識別。
- 如申請專利範圍第19項之系統,其中經組配以引導該處理器將該已記錄資訊儲存於該記錄中之該等複數個處理指令包含經組配以引導該處理器儲存以下內容之複數個處理指令:該使用者視覺停留在該區上所經過之持續時間。
- 如申請專利範圍第14項之系統,其中經組配以引導該處理器使該資訊可存取之該等複數個處理指令包含複數個處理指令經組配以引導該處理器用以:自該使用者接收搜尋準則;對該儲存庫搜尋匹配於該搜尋準則之已記錄資訊;將對匹配該搜尋準則之任何已記錄資訊之一個或多個參考傳回至該使用者;自該使用者接收該等參考中之一者或多者的一選擇;以及向該使用者呈現內容,該內容將應於一重新建立之上下文中的該選擇,該重新建立之上下文與該對應的內容相關聯。
- 如申請專利範圍第24項之系統,其中該搜尋準則包含下列中之一者或多者:對該感興趣區中之該內容的一描述;對該感興趣區被瀏覽之時間或時間範圍之一參考;對該感興趣區在該顯示器上被瀏覽之位置或區域的一參考;對在該瀏覽之前所採取之一使用者動作之一參考; 對在該瀏覽之後所採取之一使用者動作之一參考;對一先前被瀏覽過的感興趣區之一參考;對一隨後被瀏覽過的感興趣區之一參考;以及對鄰近於該被瀏覽過的感興趣區之一區的一參考。
- 如申請專利範圍第14項之系統,其進一步包含經組配以儲存該儲存庫之一非揮發性記憶體。
- 如申請專利範圍第14項之系統,其進一步包含至一網路之一連接,該連接經組配以提供對經組配以儲存該儲存庫之一非揮發性記憶體的遠端存取。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2012/034700 WO2013162508A1 (en) | 2012-04-23 | 2012-04-23 | System, method, and computer program product for using eye movement tracking for retrieval of observed information and of related specific context |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201403384A TW201403384A (zh) | 2014-01-16 |
TWI570593B true TWI570593B (zh) | 2017-02-11 |
Family
ID=49483622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102113631A TWI570593B (zh) | 2012-04-23 | 2013-04-17 | 用於利用眼睛移動追蹤以取回已瀏覽過的資訊與相關的特定上下文之系統、方法及電腦程式產品 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9483480B2 (zh) |
EP (1) | EP2842065A4 (zh) |
JP (1) | JP5969108B2 (zh) |
KR (1) | KR101638812B1 (zh) |
CN (1) | CN104205101B (zh) |
TW (1) | TWI570593B (zh) |
WO (1) | WO2013162508A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5969108B2 (ja) | 2012-04-23 | 2016-08-10 | インテル コーポレイション | 観察された情報及び関連コンテキストを眼球運動追跡を用いて検索するシステム、方法及びコンピュータプログラム |
KR101848475B1 (ko) | 2014-06-30 | 2018-04-13 | 주식회사 퓨처플레이 | 문맥 정보에 기초하여 스크롤을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
CN104318223A (zh) * | 2014-11-18 | 2015-01-28 | 新开普电子股份有限公司 | 一种人脸显著特征位置标定方法及系统 |
BR102019007123A2 (pt) * | 2018-04-16 | 2019-10-29 | Panasonic Avionics Corp | assistentes digitais e métodos associados para um veículo de transporte |
CN109726167B (zh) * | 2018-12-29 | 2023-08-18 | 咪咕数字传媒有限公司 | 一种信息提示方法、装置及存储介质 |
CN111488057B (zh) * | 2020-03-30 | 2022-08-09 | 维沃移动通信有限公司 | 页面内容处理方法及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020103625A1 (en) * | 2000-12-08 | 2002-08-01 | Xerox Corporation | System and method for analyzing eyetracker data |
US20090080734A1 (en) * | 2006-04-19 | 2009-03-26 | Fujifim Corporation | Diagnosis support system |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4974010A (en) * | 1989-06-09 | 1990-11-27 | Lc Technologies, Inc. | Focus control system |
US6351273B1 (en) * | 1997-04-30 | 2002-02-26 | Jerome H. Lemelson | System and methods for controlling automatic scrolling of information on a display or screen |
US6873314B1 (en) * | 2000-08-29 | 2005-03-29 | International Business Machines Corporation | Method and system for the recognition of reading skimming and scanning from eye-gaze patterns |
US6886137B2 (en) * | 2001-05-29 | 2005-04-26 | International Business Machines Corporation | Eye gaze control of dynamic information presentation |
US7343365B2 (en) * | 2002-02-20 | 2008-03-11 | Microsoft Corporation | Computer system architecture for automatic context associations |
JP2005025550A (ja) * | 2003-07-03 | 2005-01-27 | Fujitsu Ltd | 電子文書管理装置および管理方法 |
US7365738B2 (en) * | 2003-12-02 | 2008-04-29 | International Business Machines Corporation | Guides and indicators for eye movement monitoring systems |
US7590310B2 (en) * | 2004-05-05 | 2009-09-15 | Facet Technology Corp. | Methods and apparatus for automated true object-based image analysis and retrieval |
WO2006110472A2 (en) * | 2005-04-07 | 2006-10-19 | User Centric, Inc. | Website evaluation tool |
US7783645B2 (en) * | 2005-12-14 | 2010-08-24 | Siemens Aktiengesellschaft | Methods and apparatus to recall context relevant information |
JP2007226357A (ja) * | 2006-02-21 | 2007-09-06 | Canon Inc | データ閲覧装置及び方法、並びにプログラム及び記録媒体 |
US20100231504A1 (en) * | 2006-03-23 | 2010-09-16 | Koninklijke Philips Electronics N.V. | Hotspots for eye track control of image manipulation |
US8255827B2 (en) * | 2009-01-26 | 2012-08-28 | Microsoft Corporation | Dynamic feature presentation based on vision detection |
EP2264988A1 (en) * | 2009-06-18 | 2010-12-22 | Deutsche Telekom AG | Method of detecting a current user activity and environment context of a user of a mobile phone using an accelerator sensor and a microphone, computer program product, and mobile phone |
US9024844B2 (en) * | 2012-01-25 | 2015-05-05 | Microsoft Technology Licensing, Llc | Recognition of image on external display |
JP5969108B2 (ja) | 2012-04-23 | 2016-08-10 | インテル コーポレイション | 観察された情報及び関連コンテキストを眼球運動追跡を用いて検索するシステム、方法及びコンピュータプログラム |
-
2012
- 2012-04-23 JP JP2015500417A patent/JP5969108B2/ja active Active
- 2012-04-23 EP EP12875472.8A patent/EP2842065A4/en not_active Withdrawn
- 2012-04-23 WO PCT/US2012/034700 patent/WO2013162508A1/en active Application Filing
- 2012-04-23 KR KR1020147026951A patent/KR101638812B1/ko active IP Right Grant
- 2012-04-23 CN CN201280071855.2A patent/CN104205101B/zh active Active
- 2012-04-23 US US13/983,930 patent/US9483480B2/en active Active
-
2013
- 2013-04-17 TW TW102113631A patent/TWI570593B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020103625A1 (en) * | 2000-12-08 | 2002-08-01 | Xerox Corporation | System and method for analyzing eyetracker data |
US20090080734A1 (en) * | 2006-04-19 | 2009-03-26 | Fujifim Corporation | Diagnosis support system |
Also Published As
Publication number | Publication date |
---|---|
EP2842065A1 (en) | 2015-03-04 |
KR20140129293A (ko) | 2014-11-06 |
US20140006463A1 (en) | 2014-01-02 |
CN104205101B (zh) | 2018-07-03 |
CN104205101A (zh) | 2014-12-10 |
US9483480B2 (en) | 2016-11-01 |
TW201403384A (zh) | 2014-01-16 |
JP2015518592A (ja) | 2015-07-02 |
JP5969108B2 (ja) | 2016-08-10 |
KR101638812B1 (ko) | 2016-07-12 |
WO2013162508A1 (en) | 2013-10-31 |
EP2842065A4 (en) | 2016-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110276007B (zh) | 用于提供信息的装置和方法 | |
US9304668B2 (en) | Method and apparatus for customizing a display screen of a user interface | |
US10122839B1 (en) | Techniques for enhancing content on a mobile device | |
US9058106B2 (en) | Apparatus, system and method for context and language specific data entry | |
TWI570593B (zh) | 用於利用眼睛移動追蹤以取回已瀏覽過的資訊與相關的特定上下文之系統、方法及電腦程式產品 | |
CN105653134B (zh) | 应用切换方法及其系统 | |
US10992622B2 (en) | Method, terminal equipment and storage medium of sharing user information | |
US10241994B2 (en) | Electronic device and method for providing content on electronic device | |
KR20160031851A (ko) | 정보 제공 방법 및 그 전자 장치 | |
KR101952171B1 (ko) | 전자기기 및 그의 웹 히스토리 표시 방법 | |
KR20090111826A (ko) | 문서 내 링크들을 표시하기 위한 방법 및 시스템 | |
US20150293686A1 (en) | Apparatus and method for controlling home screen | |
US20190114131A1 (en) | Context based operation execution | |
US10496715B2 (en) | Method and device for providing information | |
US20150378530A1 (en) | Command surface drill-in control | |
CN112596646B (zh) | 信息显示方法、装置及电子设备 | |
CN116737747A (zh) | 呈现信息的方法和装置 | |
WO2017212269A1 (en) | Data processing system and data processing method |