Nothing Special   »   [go: up one dir, main page]

TW201416908A - 瞳孔追蹤裝置 - Google Patents

瞳孔追蹤裝置 Download PDF

Info

Publication number
TW201416908A
TW201416908A TW101139163A TW101139163A TW201416908A TW 201416908 A TW201416908 A TW 201416908A TW 101139163 A TW101139163 A TW 101139163A TW 101139163 A TW101139163 A TW 101139163A TW 201416908 A TW201416908 A TW 201416908A
Authority
TW
Taiwan
Prior art keywords
image
pupil
brightness
tracking device
light source
Prior art date
Application number
TW101139163A
Other languages
English (en)
Inventor
Yu-Hao Huang
Ming-Tsan Kao
Yi-Fang Lee
En-Feng Hsu
Meng-Huan Hsieh
Nien-Tse Chen
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW101139163A priority Critical patent/TW201416908A/zh
Priority to US14/054,724 priority patent/US9530051B2/en
Publication of TW201416908A publication Critical patent/TW201416908A/zh
Priority to US15/253,503 priority patent/US10198631B2/en
Priority to US16/213,043 priority patent/US10503973B2/en
Priority to US16/672,568 priority patent/US10747995B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一種瞳孔追蹤裝置，包含一主動光源、一影像感測器及一控制處理單元。該主動光源輪流以一第一亮度及一第二亮度朝一眼球發光。該影像感測器擷取相對該第一亮度之一第一亮度影像及相對該第二亮度之一第二亮度影像。該控制處理單元用以將該第一亮度影像及該第二亮度影像中相對位置之一最亮區域辨識為一主動光源影像。

Description

瞳孔追蹤裝置
本發明係關於一種互動系統，特別是關於一種使用至少一主動光源作為定位基準點之瞳孔追蹤裝置。
互動式控制機制能夠提供使用者更人性化的操控方式，因而已被廣泛的應用於各式多媒體系統，尤其可應用於包含一顯示幕之一影像顯示系統。
使用能夠擷取影像之一遙控器作為互動式人機介面為一種常用的手段，而且該遙控器可被製作成各式道具，例如球棒、球拍、球桿等。另一種互動式人機介面則是不需使用任何手持裝置來進行的，例如瞳孔追蹤裝置即可根據使用者視線方向的變化來進行互動式操作。
習知瞳孔追蹤裝置的問題在於容易受到環境光源的影響，例如第1圖顯示一人眼影像9之示意圖，其包含一瞳孔影像Ip及一環境光源影像Io，當該瞳孔影像Ip與該環境光源影像Io相互重疊時，則可能出現無法正確定位該瞳孔影像Ip的情形，因而無法正確進行瞳孔追蹤。
有鑑於此，本發明另提出一種瞳孔追蹤裝置， 其可排除環境光源的影響，藉以提高瞳孔追蹤的正確性。
本發明之一目的在提供一種瞳孔追蹤裝置，其利用至少一主動光源朝眼球打光形成定位基準點。
本發明另一目的在提供一種適用於頭戴式配件之瞳孔追蹤裝置。
本發明提供一種瞳孔追蹤裝置，包含一主動光源、一影像感測器及一控制處理單元。該主動光源輪流以一第一亮度及一第二亮度朝一眼球發光。該影像感測器擷取相對該第一亮度之一第一亮度影像及相對該第二亮度之一第二亮度影像。該控制處理單元用以將該第一亮度影像及該第二亮度影像中相對位置之一最亮區域辨識為一主動光源影像。
本發明另提供一種瞳孔追蹤裝置，包含一主動光源、一影像感測器及一控制處理單元。該主動光源輪流以一第一亮度及一第二亮度朝一眼球發光。該影像感測器擷取相對該第一亮度之一第一亮度影像及相對該第二亮度之一第二亮度影像。該控制處理單元用以計算該第一亮度影像及該第二亮度影像之一差分影像並將該差分影像中一最暗區域辨識為一主動光源影像。
一實施例中，該控制處理單元根據該第一亮度 影像或該第二亮度影像辨識一瞳孔位置；其中，當該第一亮度高於該第二亮度時，該控制處理單元將該第一亮度影像中一最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域，並計算該瞳孔區域之一重心或一中心以作為該瞳孔位置。
一實施例中，瞳孔追蹤裝置另包含一記憶單元用以儲存該主動光源影像與該瞳孔位置相關之一瞳孔座標資訊。該控制處理單元可根據該瞳孔座標資訊計算一目前瞳孔座標。
一實施例中，該第一亮度影像及該第二亮度影像可透過改變該影像感測器之曝光時間及/或電路增益來實現，並不一定要改變該主動光源之亮度。
本發明另提供一種瞳孔追蹤裝置，包含至少兩主動光源、一影像感測器及一控制處理單元。該至少兩主動光源輪流發光以照明一眼球。該影像感測器擷取相對不同的該等主動光源點亮之一第一影像圖框及一第二影像圖框。該控制處理單元用以計算該第一影像圖框及該第二影像圖框之一差分影像並將該差分影像中一最暗區域及一最亮區域辨識為主動光源影像。
一實施例中，該控制處理單元另根據該第一影像圖框辨識一第一瞳孔區域並根據該第二影像圖框辨識一第二瞳孔區域；並將該第一瞳孔區域及該第 二瞳孔區域之一聯集區域定義為一輸出瞳孔區域。
一實施例中，該瞳孔追蹤裝置包含四個主動光源，該控制處理單元辨識該差分影像中四個主動光源影像並分別計算相對該四個主動光源影像之一定位座標。該控制處理單元則可根據該四個定位座標計算該眼球之一眼球中心。
一實施例中，該控制處理單元另根據該第一影像圖框及該第二影像圖框辨識一輸出瞳孔區域，並將該眼球中心與該輸出瞳孔區域之一連線方向定義為一視線方向。
本發明實施例之瞳孔追蹤裝置中，該主動光源影像係指該主動光源在角膜(Cornea)上的反射影像。
本發明實施例之瞳孔追蹤裝置中，該主動光源影像係用作為瞳孔追蹤之定位基準點，故瞳孔追蹤裝置較佳設置於一頭戴式配件上，以固定該眼球中該主動光源影像的位置。
本發明實施例之瞳孔追蹤裝置中，透過正確的辨識主動光源影像的位置以作為定位基準點並透過計算差分影像以消除環境光源的影響，可有效提高瞳孔追蹤的精確度。
為了讓本發明之上述和其他目的、特徵、和優 點能更明顯，下文將配合所附圖示，作詳細說明如下。於本發明之說明中，相同的構件係以相同的符號表示，於此合先敘明。
請參照第2A圖所示，其顯示本發明實施例之瞳孔追蹤裝置1之方塊示意圖，包含至少一主動光源(例如此時顯示為四主動光源111~114)、一影像感測器12、一控制處理單元13及一記憶單元14。本實施例之瞳孔追蹤裝置1主要利用該主動光源於一眼球90上投射至少一主動光源影像以作為一定位基準點，並根據一瞳孔位置與該定位基準點(即主動光源影像)之相對關係決定一瞳孔座標；其中，該主動光源影像係指該主動光源在角膜上的反射影像。該瞳孔追蹤裝置1例如可將該瞳孔座標有線或無線的傳送至一影像顯示裝置3(第2B圖)以相對控制該影像顯示裝置3執行一相對應功能。必須說明的是，使用四個主動光源的目的係用以計算眼球中心，但若僅進行瞳孔追蹤，可使用任意數量的主動光源。
一般而言，當該眼球90向下看時，上眼皮會遮蔽部分眼球90，因此若該瞳孔追蹤裝置1設置於一頭戴式配件2上，該影像感測器12之一設置位置較佳低於該眼球90，以避免眼球90向下看(瞳孔朝下)時導致無法偵測到瞳孔的情形。
該等主動光源111~114例如可為一紅外光光 源，例如紅外光發光二極體，以避免點亮時影響視線。該等主動光源111~114用以朝向該眼球90發光以照明該眼球90並於該眼球上90形成反射光點(即呈現於該眼球90上之主動光源影像)。必須說明的是，每一個主動光源可僅包含單一光源元件或由複數光源排列而成。
該影像感測器12例如可為一CCD影像感測器、一CMOS影像感測器等用以感測光能量之光感測器，其以一圖框率(frame rate)相對該等主動光源111~114的點亮擷取該眼球90之影像圖框。該影像感測器12可以固定或可變的曝光時間及電路增益擷取影像圖框。必須說明的是，該影像感測器12之圖框率可不等於該等主動光源111~114之發光頻率。
該控制處理單元13用以控制該等主動光源111~114之點亮以及該影像感測器12之影像擷取，並根據該影像感測器12所擷取之影像圖框辨識瞳孔位置、瞳孔座標、主動光源影像、眼球中心及視線方向等(詳述於後)。其他實施例中，該控制處理單元13亦可由複數單元所形成，例如以一獨立的光源控制單元控制該等主動光源111~114以及一獨立的處理單元(DSP)進行影像後處理，並無特定限制。
該記憶單元14用以儲存該主動光源影像與該瞳孔位置相關之一瞳孔座標資訊。藉此，當該控制處 理單元13求得目前瞳孔位置與主動光源影像之一目前相對關係，則可根據預先儲存之該瞳孔座標資訊求得一目前瞳孔座標。例如參照第2B圖所示，本發明實施例之瞳孔追蹤裝置1例如可包含一設定程序(setup procedure)，其可於每次操作前自動進入或接受指示時才進入。該設定程序中，使用者可依序注視預設參考點，例如，但不限於，依序注視一影像顯示裝置3的四個角落C1~C4，此時該影像感測器12則依序擷取四張人眼影像91~94，每一張人眼影像91~94分別包含一瞳孔影像IC1~IC4及一主動光源影像I111；其中，該主動光源影像I111於四張人眼影像91~94中均位於相同(相對)位置。例如，當使用者注視參考點C1時，該影像感測器12擷取該人眼影像91；其中，該瞳孔影像IC1到該主動光源影像I111之一向量假設為；同理，該控制處理單元13可分別求出該等人眼影像92~94中的向量~。瞳孔追蹤裝置1則可根據該等向量~定義一操作空間並預先儲存於該記憶單元14中。藉此，於實際操作時該控制處理單元13則可根據該操作空間計算一目前瞳孔座標。必須說明的是，第2B圖中該等向量d1~d4的方向亦可能相反。
請參照第3A圖所示，其顯示本發明一實施例之瞳孔追蹤裝置1之運作示意圖。該瞳孔追蹤裝置1包含一主動光源111、一影像感測器12、一控制處 理單元13及一記憶單元14。如前所述該記憶單元14係用以儲存主動光源影像與瞳孔位置相關之一瞳孔座標資訊，故於此不再贅述。
請同時參照第3A至3D圖所示，第3B圖顯示第3A圖之瞳孔追蹤裝置中，該影像感測器12之影像擷取及該主動光源111之光源點亮之示意圖；第3C圖顯示第3A圖之瞳孔追蹤裝置中，該控制處理單元13辨識主動光源影像I111之示意圖，第3D圖顯示第3A圖之瞳孔追蹤裝置中，該影像感測器12之影像擷取及該主動光源111之光源點亮之另一示意圖。
該主動光源111輪流以一第一亮度及一第二亮度朝一眼球90發光。該影像感測器12擷取相對該第一亮度之一第一亮度影像fb1及相對該第二亮度之一第二亮度影像fb2。例如第3C圖中，該第一亮度影像fb1包含一最亮區域A111(即主動光源影像)、一瞳孔(Pupil)影像91、一虹膜(Iris)影像92及角膜(Cornea)部分93；該第二亮度影像fb2包含一最亮區域A111'(即主動光源影像)、一瞳孔影像91'、一虹膜影像92'及角膜部分93'。由於本發明實施例之瞳孔追蹤裝置1較佳設置於一頭戴式配件2上，以使該主動光源111與該眼球90之一相對位置固定，因此該等最亮區域A111、A111'雖然位於不同亮度影像 中，但位於相對(相同)位置，且該主動光源影像為該主動光源111在角膜上的直接反射點，為影像中最亮區域。因此，該控制處理單元13可將該第一亮度影像fb1及該第二亮度影像fb2中相對位置之一最亮區域(即A111、A111')辨識為一主動光源影像I111；其中，所述最亮區域係指灰階值最高。藉此，即使該影像感測器12所擷取的亮度影像中包含有其他環境光源影像，然而由於該眼球90與環境光源間的空間關係不固定，不同亮度影像中所述環境光源影像不會位於相同位置，故尋找相對位置的最亮區域可藉以排除環境光源的影響。其他實施例中，該影像感測器12可額外擷取一張該主動光源111不打光影像(第三亮度影像)fb3，如第3D圖所示，並將該第一亮度影像fb1與該第二亮度影像fb2分別減去該第三亮度影像得到fb13與fb23藉以濾除環境光干擾並穩定偵測最亮區域的主動光源影像。
此外，除了改變該主動光源111之亮度(例如改變驅動電流的大小)外，亦可固定該主動光源111之亮度而改變該影像感測器12之取樣參數(例如包含曝光時間及電路增益等)來達到相同目的。亦即，另一實施例中，該第一亮度可等於該第二亮度，該影像感測器12以一第一曝光時間及一第一電路增益擷取該第一亮度影像fb1並以一第二曝光時間及一第二電路增益擷取該第二亮度影像fb2；其中，該第 一曝光時間不等於該第二曝光時間及/或該第一電路增益不等於該第二電路增益。
此外，本實施例中該控制處理單元13另可根據該第一亮度影像fb1或該第二亮度影像fb2辨識一瞳孔位置；其中，該控制處理單元13較佳根據具有較高亮度之亮度影像辨識該瞳孔位置，如此能較清晰的辨識出瞳孔影像91。例如參照第4圖所示，該控制處理單元13用以計算該第一亮度影像fb1(此時假設該第一亮度高於該第二亮度)中一最低灰階值P1，並將該最低灰階值P1周圍灰階值介於一灰階值範圍Rg之複數畫素辨識為一瞳孔區域PA。當該主動光源11點亮時，該瞳孔影像91的亮度最低，該角膜區域93的亮度最高而該虹膜影像92的亮度通常介於該瞳孔影像91及該角膜區域93間，故該最低灰階值P1會出現於該瞳孔影像91中。因此，該最低灰階值P1附近的畫素區域則可被視為該瞳孔區域PA，而該最低灰階值P1附近的畫素區域例如可利用影像分群(image grouping)的方式將互相關連的畫素區域視作為同一物件，例如可參照讓與給本發明相同受讓人之美國專利公開第20110176733號，標題為「影像辨識方法」中所揭示者。此外，該灰階值範圍Rg之設定可根據該瞳孔追蹤裝置1之操作環境而調整，例如戶外與室內可分別設計不同的灰階值範圍Rg。再者，為避免雜訊干擾，該控制處理 單元13另可根據該瞳孔區域PA之尺寸及形狀等特性判斷是否屬於環境光源影像，例如當尺寸太小或非屬圓形者即可能為環境光源，可予以排除。
接著，該控制處理單元13可計算該瞳孔區域PA之一重心或一中心以作為一瞳孔位置P2，並根據該瞳孔位置P2與該參考光源影像I111之一相對位置參考該記憶單元14中所儲存之瞳孔座標資訊輸出該瞳孔位置P2相關之一瞳孔座標(x,y)。該控制處理單元13例如可根據該瞳孔座標(x,y)相對控制一影像顯示裝置3之一游標的動作。可以了解的是，該瞳孔位置P2可不等於該最低灰階值P1的位置。
綜而言之，本實施例中，該控制處理單元13根據兩張影像圖框辨識該主動光源影像I111但僅以一張(例如亮度較高者)來辨識該瞳孔位置，藉此排除環境光源影響且該主動光源影像可用作為瞳孔追蹤之一定位基準點。
另一實施例中，為了進一步消除環境光源的影響，該控制處理單元13可進一步計算該第一亮度影像fb1及該第二亮度影像fb2之一差分影像(fb1-fb2)，並將該差分影像(fb1-fb2)中一最暗區域透過與該第一亮度影像fb1或該第二亮度影像fb2比較，以辨識出一主動光源影像I111"(如第3C圖)；其中，所述最暗區域係指灰階值最低，其例如可為0灰階左右， 但其亦可以是相對值。
具體來說，由於該第一亮度影像fb1及第二亮度影像fb2中該主動光源影像I111(即最亮區域A111及A111')均具有最高亮度(例如所使用灰階值範圍的最高階)，因此該差分影像(fb1-fb2)中該主動光源影像I111會具有最低亮度。一實施例中，假設該第一影像fb1中，主動光源影像I111為255灰階，瞳孔影像91為0灰階，虹膜影像92為128灰階而角膜部分93為228灰階；該第二影像fb2中，主動光源影像I111'為255灰階，瞳孔影像91'為0灰階，虹膜影像92'為64灰階而角膜部分93'為100灰階；如此可求得該差分影像(fb1-fb2)中，主動光源影像I111"為0灰階，瞳孔影像91"為0灰階，虹膜影像92"為64灰階而角膜部分93"為128灰階。由於該等瞳孔影像91、91'之灰階值均為0灰階，因此該差分影像(fb1-fb2)中該瞳孔影像91"同樣會具有最低亮度。此時，可透過比較該差分影像(fb1-fb2)與該第一亮度影像fb1或該第二亮度影像fb2，便可辨識出該主動光源影像I111"(如第3C圖)之位置；其中，比較的方式例如是，由於該第一亮度影像fb1或該第二亮度影像fb2中之該等瞳孔影像91、91'皆具有最低亮度，因此便可直接透過比較該第一亮度影像fb1與該差分影像(fb1-fb2)二影像中哪個影像物件係由相對極亮變到相對極暗，便可對應地決定出該主動光源影像I111"(如第 3C圖)之位置；或者是，透過比較該第二亮度影像fb2與該差分影像(fb1-fb2)二影像中哪個影像物件係由相對極亮變到相對極暗，便可對應地決定出該主動光源影像I111"(如第3C圖)之位置。另一實施例中，可將該差分影像(fb1-fb2)中具有最低亮度且影像物件面積較小者辨識為該主動光源影像而將具有最低亮度且影像物件面積較大者辨識為瞳孔影像。
此外，本實施例中除了該主動光源影像I111的計算係利用差分影像(fb1-fb2)進行外，其他包括辨識瞳孔位置、建立瞳孔座標資訊以及實現該第一亮度影像fb1及該第二亮度影像fb2等方式均相同於前一實施例，故於此不再贅述。
請參照第5A圖所示，其顯示本發明另一實施例之瞳孔追蹤裝置1之運作示意圖。該瞳孔追蹤裝置1包含四主動光源111~114、一影像感測器12、一控制處理單元13及一記憶單元14。如前所述該記憶單元14係用以儲存主動光源影像與瞳孔位置相關之一瞳孔座標資訊，故於此不再贅述。
請同時參照第5A至5C圖所示，第5B圖顯示第5A圖之瞳孔追蹤裝置中，該影像感測器12之影像擷取及該等主動光源111~114之光源點亮之示意圖；第5C圖顯示第5A圖之瞳孔追蹤裝置中，該控制處理單元13辨識主動光源影像之示意圖。如前所 述，使用四個主動光源係用以計算眼球中心，若僅進行瞳孔追蹤，可使用至少兩個主動光源即可達成本實施例之目的。
該等主動光源111~114輪流發光以照明一眼球90，以於該眼球90上形成反射光點LS111~LS114。該影像感測器112擷取相對不同的該等主動光源111~114點亮之一第一影像圖框f1及一第二影像圖框f2。該控制處理單元13用以計算該第一影像圖框f1及該第二影像圖框f2之一差分影像(f1-f2)並將該差分影像(f1-f2)中一最暗區域(例如I113'及I114')及一最亮區域(例如I111'及I112')辨識為主動光源影像。
例如第5C圖中，該等主動光源111及112點亮(此時該等主動光源113及114熄滅)時該影像感測器12擷取一第一影像圖框f1，其包含一瞳孔影像91、一虹膜影像92、角膜部分93及參考光源影像I111及I112；該等主動光源113及114點亮(此時該等主動光源111及112熄滅)時該影像感測器12擷取一第二影像圖框f2，其包含一瞳孔影像91'、一虹膜影像92'、角膜部分93'及參考光源影像I113及I114；其中，相對該第一影像圖框f1之光源亮度與相對該第二影像圖框f2之光源亮度可相同或不同，並無特定限制。此外，其他實施例中，相對該第一影像圖框f1可點亮該等主動光源111~114至少其中之一(例如 一個或三個)而相對該第二影像圖框f2則點亮其他主動光源(例如三個或一個)，並不限定於點亮兩個主動光源。當該第一影像圖框f1減去該第二影像圖框f2時，該差分影像(f1-f2)中該等參考光源影像I111及I112成為最亮區域而具有最高灰階值且該等參考光源影像I113及I114成為最暗區域而具有最低灰階值；藉此，該控制處理單元13可於該差分影像(f1-f2)中辨識出四個主動光源影像I111'~I114'。一實施例中，假設該第一影像圖框f1中，主動光源影像I111及I112大約為+255灰階，瞳孔影像91大約為0灰階，虹膜影像92大約為64灰階而角膜部分93大約為128灰階；該第二影像圖框f2中，主動光源影像I113及I114大約為+255灰階，瞳孔影像91'大約為0灰階，虹膜影像92'大約為64灰階而角膜部分93'大約為128灰階；如此可求得該差分影像(f1-f2)中主動光源影像I111'及I112'大約為+127灰階，主動光源影像I113'及I114'大約為-127灰階，其他部分大約為0灰階；另一實施例中，可將整體灰階值進行調整而使得全部灰階值均大於等於零，例如主動光源影像I111'及I112'大約可調整為+254灰階，主動光源影像I113'及I114'大約為可調整0灰階，其他部分大約可調整為+127灰階。必須說明的是，上述灰階值得數值僅為例示性，並非用以限定本發明。
由於本實施例使用四個主動光源111~114，該控 制處理單元13辨識出該差分影像(f1-f2)中四個主動光源影像I111'~I114'後，可分別計算相對該四個主動光源影像I111'~I114'之一定位座標，且每一個定位座標皆可為一三維座標。該控制處理單元13則可根據該四個定位座標來計算該眼球90之一眼球中心，例如利用球體方程式(x-x0)2+(y-y0)2+(z-z0)2=r2計算。藉此，該控制處理單元13可進而將該眼球中心與一輸出瞳孔區域之一連線方向定義為一視線方向。
本實施例中，該輸出瞳孔區域之決定方式如下：首先，該控制處理單元13根據該第一影像圖框f1辨識一第一瞳孔區域並根據該第二影像圖框f2辨識一第二瞳孔區域。辨識瞳孔區域的方式類似第4圖所示，亦即該控制處理單元13將該第一影像圖框f1中一最低灰階值(例如P1)周圍灰階值介於一灰階值範圍Rg之複數畫素辨識為該第一瞳孔區域(例如PA)；該控制處理單13將該第二影像圖框f2中一最低灰階值(例如P1)周圍灰階值介於該灰階值範圍Rg之複數畫素辨識為該第二瞳孔區域(例如PA)。當該第一瞳孔區域及該第二瞳孔區域辨識出後，該控制處理單元13則計算該第一瞳孔區域之一重心或一中心以作為該第一瞳孔位置(例如P2)並計算該第二瞳孔區域之一重心或一中心以作為該第二瞳孔位置(例如P2)。
由於本實施例之兩張影像圖框均可取得瞳孔影像，因此該控制處理單元13將該第一瞳孔區域及該第二瞳孔區域之一聯集區域作為一輸出瞳孔區域。同理，該控制處理單元13可根據該輸出瞳孔區域與預先儲存於該儲存單元14中的瞳孔座標資訊決定一輸出瞳孔座標，只是此處包含四個主動光源影像作為定位基準點。其他實施例中，該控制處理單元13亦可將該第一瞳孔區域及該第二瞳孔區域其中之一做為該輸出瞳孔區域。
此外，本發明各實施例之瞳孔追蹤裝置1可搭配一顯示單元以顯示影像，且該顯示單元例如亦可設置於該頭戴式配件2上，例如眼鏡或護目鏡。
本發明各實施例之瞳孔追蹤裝置1可另具有眨眼偵測功能。例如該控制處理單元13可分別記錄偵測到與偵測不到瞳孔之期間，藉以辨識眨眼動作。
本發明各實施例之瞳孔追蹤裝置1可另具有瞌睡偵測及分心偵測功能。例如當該瞳孔追蹤裝置1應用於車用裝置時，可用以偵測駕駛是否有睡意或專注於前方，且於適當時間提出警示。偵測睡意例如可透過偵測眼睛開闔時間的比例來實現；偵測分心例如可透過偵測駕駛的視線方向來實現。
本發明各實施例之瞳孔追蹤裝置1可另具有眨眼頻率及乾眼偵測功能。具體而言，該控制處理單 元13可依據所偵測之眨眼頻率反推目前眼睛乾澀的可能性及程度，進而提醒使用者眨眼。
本發明各實施例之瞳孔追蹤裝置1可另具有姿勢辨識(gesture recognition)功能。此時所述姿勢辨識例如可為辨識瞳孔朝預定方向以預定次數來改變位置，並將其與預設姿勢進行比對，可藉此達成執行特定功能的運作，其類似習知利用瞳孔以外的其他物件，例如手或手指來進行之手勢辨識。
本發明各實施例之瞳孔追蹤裝置1可另具有省電功能，例如於一預設時間內偵測不到瞳孔或影像圖框之影像變化量過小，則可進入省電模式。
可以了解的是，上述各圖示中主動光源影像與瞳孔影像之比例僅為例示性。
必須說明的是，本發明各實施例之瞳孔追蹤裝置1可直接製作成頭戴式瞳孔追蹤裝置，或者透過一結合元件結合固定於一頭戴式配件，例如眼鏡、護目鏡或帽子等各式穿戴、套設或架設於頭部的配件，較佳使主動光源與人眼不會相對移動，該主動光源影像則可用作為追蹤瞳孔的定位基準點。
綜上所述，習知瞳孔追蹤裝置因無法排除環境光源的影響，因而可能出現偵測錯誤的情形。本發明另提出一種瞳孔追蹤裝置(第2A、3A及5B圖)， 其利用相對眼球位置固定的主動光源做為定位基準點，可消除環境光源的影響以提高偵測精確度。
雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1‧‧‧瞳孔追蹤裝置
111~114‧‧‧主動光源
12‧‧‧影像感測器
13‧‧‧控制處理單元
14‧‧‧記憶單元
2‧‧‧頭戴式配件
3‧‧‧影像顯示裝置
9‧‧‧人眼影像
90‧‧‧眼球
91、91'‧‧‧瞳孔影像
92、92'‧‧‧虹膜影像
93、93'‧‧‧角膜部分
91~94‧‧‧人眼影像
LS111~LS114‧‧‧反射光點
fb1、fb2‧‧‧亮度影像
f1、f2‧‧‧影像圖框
fb1-fb2‧‧‧差分影像
f1-f2‧‧‧差分影像
I111~I114‧‧‧主動光源影像
I111'~I114'‧‧‧主動光源影像
P1‧‧‧最低灰階值
P2‧‧‧瞳孔位置
Rg‧‧‧灰階值範圍
PA‧‧‧瞳孔區域
A111、A111'‧‧‧最亮區域
IP‧‧‧瞳孔影像
Io‧‧‧環境光源影像
C1~C4‧‧‧預設參考點
IC1~IC4‧‧‧瞳孔影像
d1~d4‧‧‧距離
第1圖顯示一人眼影像之示意圖。
第2A圖顯示本發明實施例之瞳孔追蹤裝置之方塊示意圖。
第2B圖顯示本發明實施例之瞳孔追蹤裝置中，瞳孔座標資訊之示意圖。
第3A圖顯示本發明一實施例之瞳孔追蹤裝置之運作示意圖。
第3B圖顯示本發明一實施例之瞳孔追蹤裝置之影像擷取及光源點亮之示意圖。
第3C圖顯示本發明一實施例之瞳孔追蹤裝置中，辨識主動光源影像之示意圖。
第3D圖顯示本發明另一實施例之瞳孔追蹤裝置之影像擷取及光源點亮之示意圖。
第4圖顯示本發明實施例之瞳孔追蹤裝置中，辨識瞳孔位置之示意圖。
第5A圖顯示本發明另一實施例之瞳孔追蹤裝置之運作示意圖。
第5B圖顯示本發明另一實施例之瞳孔追蹤裝置之影像擷取及光源點亮之示意圖。
第5C圖顯示本發明另一實施例之瞳孔追蹤裝置中，辨識主動光源影像之示意圖。
1‧‧‧瞳孔追蹤裝置
111~114‧‧‧主動光源
12‧‧‧影像感測器
13‧‧‧控制處理單元
14‧‧‧記憶單元

Claims (20)

  1. 一種瞳孔追蹤裝置，包含：一主動光源，輪流以一第一亮度及一第二亮度朝一眼球發光；一影像感測器，擷取相對該第一亮度之一第一亮度影像及相對該第二亮度之一第二亮度影像；以及一控制處理單元，用以將該第一亮度影像及該第二亮度影像中相對位置之一最亮區域辨識為一主動光源影像。
  2. 依申請專利範圍第1項之瞳孔追蹤裝置，其中該控制處理單元另根據該第一亮度影像或該第二亮度影像辨識一瞳孔位置。
  3. 依申請專利範圍第2項之瞳孔追蹤裝置，其中該第一亮度高於該第二亮度，該控制處理單元將該第一亮度影像中一最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域，並計算該瞳孔區域之一重心或一中心以作為該瞳孔位置。
  4. 依申請專利範圍第2項之瞳孔追蹤裝置，另包含一記憶單元用以儲存該主動光源影像與該瞳孔位置相關之一瞳孔座標資訊。
  5. 依申請專利範圍第1項之瞳孔追蹤裝置，其中該第一亮度等於該第二亮度，該影像感測器以一第一曝光時間及一第一電路增益擷取該第一亮度影像並以 一第二曝光時間及一第二電路增益擷取該第二亮度影像。
  6. 依申請專利範圍第1至5項其中一項之瞳孔追蹤裝置，其設置於一頭戴式配件上。
  7. 一種瞳孔追蹤裝置，包含：一主動光源，輪流以一第一亮度及一第二亮度朝一眼球發光；一影像感測器，擷取相對該第一亮度之一第一亮度影像及相對該第二亮度之一第二亮度影像；以及一控制處理單元，用以計算該第一亮度影像及該第二亮度影像之一差分影像並將該差分影像中一最暗區域辨識為一主動光源影像。
  8. 依申請專利範圍第7項之瞳孔追蹤裝置，其中該控制處理單元另根據該第一亮度影像或該第二亮度影像辨識一瞳孔位置。
  9. 依申請專利範圍第8項之瞳孔追蹤裝置，其中該第一亮度高於該第二亮度，該控制處理單元將該第一亮度影像中一最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為一瞳孔區域，並計算該瞳孔區域之一重心或一中心以作為該瞳孔位置。
  10. 依申請專利範圍第8項之瞳孔追蹤裝置，另包含一記憶單元用以儲存該主動光源影像與該瞳孔位置相關之一瞳孔座標資訊。
  11. 依申請專利範圍第7項之瞳孔追蹤裝置，其中該第一亮度等於該第二亮度，該影像感測器以一第一曝光時間及一第一電路增益擷取該第一亮度影像並以一第二曝光時間及一第二電路增益擷取該第二亮度影像。
  12. 依申請專利範圍第7至11項其中一項之瞳孔追蹤裝置，其設置於一頭戴式配件上。
  13. 一種瞳孔追蹤裝置，包含：至少兩主動光源，輪流發光以照明一眼球；一影像感測器，擷取相對不同的該等主動光源點亮之一第一影像圖框及一第二影像圖框；以及一控制處理單元，用以計算該第一影像圖框及該第二影像圖框之一差分影像並將該差分影像中一最暗區域及一最亮區域辨識為主動光源影像。
  14. 依申請專利範圍第13項之瞳孔追蹤裝置，其中該控制處理單元另根據該第一影像圖框辨識一第一瞳孔區域並根據該第二影像圖框辨識一第二瞳孔區域。
  15. 依申請專利範圍第14項之瞳孔追蹤裝置，其中該控制處理單元將該第一影像圖框中一最低灰階值周圍灰階值介於一灰階值範圍之複數畫素辨識為該第一瞳孔區域並將該第二影像圖框中一最低灰階值周圍灰階值介於該灰階值範圍之複數畫素辨識為該第二瞳孔區域；該控制處理單元計算該第一瞳孔區域 之一重心或一中心以作為該第一瞳孔位置並計算該第二瞳孔區域之一重心或一中心以作為該第二瞳孔位置。
  16. 依申請專利範圍第14項之瞳孔追蹤裝置，該控制處理單元另將該第一瞳孔區域及該第二瞳孔區域之一聯集區域定義為一輸出瞳孔區域。
  17. 依申請專利範圍第13項之瞳孔追蹤裝置，包含四個主動光源，該控制處理單元辨識該差分影像中四個主動光源影像並分別計算相對該四個主動光源影像之一定位座標。
  18. 依申請專利範圍第17項之瞳孔追蹤裝置，其中該控制處理單元另根據該四個定位座標計算該眼球之一眼球中心。
  19. 依申請專利範圍第18項之瞳孔追蹤裝置，其中該控制處理單元另根據該第一影像圖框及該第二影像圖框辨識一輸出瞳孔區域，並將該眼球中心與該輸出瞳孔區域之一連線方向定義為一視線方向。
  20. 依申請專利範圍第13至19項其中一項之瞳孔追蹤裝置，其設置於一頭戴式配件上。
TW101139163A 2012-10-23 2012-10-23 瞳孔追蹤裝置 TW201416908A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW101139163A TW201416908A (zh) 2012-10-23 2012-10-23 瞳孔追蹤裝置
US14/054,724 US9530051B2 (en) 2012-10-23 2013-10-15 Pupil detection device
US15/253,503 US10198631B2 (en) 2012-10-23 2016-08-31 Pupil detection device
US16/213,043 US10503973B2 (en) 2012-10-23 2018-12-07 Pupil detection device
US16/672,568 US10747995B2 (en) 2012-10-23 2019-11-04 Pupil tracking device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101139163A TW201416908A (zh) 2012-10-23 2012-10-23 瞳孔追蹤裝置

Publications (1)

Publication Number Publication Date
TW201416908A true TW201416908A (zh) 2014-05-01

Family

ID=50484988

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101139163A TW201416908A (zh) 2012-10-23 2012-10-23 瞳孔追蹤裝置

Country Status (2)

Country Link
US (4) US9530051B2 (zh)
TW (1) TW201416908A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805260B2 (en) 2014-07-09 2017-10-31 Pixart Imaging Inc. Vehicle safety system and operating method thereof
TWI684137B (zh) * 2016-12-19 2020-02-01 宏達國際電子股份有限公司 物件追蹤方法、裝置及非暫態電腦可讀取記錄媒體
US10705604B2 (en) 2018-05-22 2020-07-07 Htc Corporation Eye tracking apparatus and light source control method thereof
CN112312117A (zh) * 2019-07-29 2021-02-02 宏达国际电子股份有限公司 头戴式装置及其驱动方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061383B1 (en) * 2015-09-16 2018-08-28 Mirametrix Inc. Multi-feature gaze tracking system and method
US10783835B2 (en) * 2016-03-11 2020-09-22 Lenovo (Singapore) Pte. Ltd. Automatic control of display brightness
CN206178658U (zh) * 2016-08-10 2017-05-17 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组
CN106840112B (zh) * 2017-01-09 2019-03-22 天津大学 一种利用自由空间视线凝视点测量的空间几何量测量方法
US10521013B2 (en) * 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
JP2019154815A (ja) * 2018-03-13 2019-09-19 株式会社リコー 眼球の傾き位置検知装置、表示装置、及び検眼装置
CN110132323A (zh) * 2019-04-23 2019-08-16 深圳市志奋领科技有限公司 一种环境光干扰的消除方法及装置
CN112130320A (zh) * 2019-06-24 2020-12-25 宏碁股份有限公司 头戴型显示装置及其调整方法
US10860098B1 (en) 2019-12-30 2020-12-08 Hulu, LLC Gesture-based eye tracking
US11205069B1 (en) * 2020-02-20 2021-12-21 Facebook Technologies, Llc Hybrid cornea and pupil tracking
CN113472994B (zh) * 2020-03-30 2023-03-24 北京小米移动软件有限公司 拍照方法及装置、移动终端及存储介质
WO2022109858A1 (zh) * 2020-11-25 2022-06-02 中国科学院深圳先进技术研究院 一种眼动追踪装置及方法
EP4113464A1 (en) 2021-06-30 2023-01-04 Tobii AB An eye tracking system
SE2250765A1 (en) * 2022-06-22 2023-12-23 Tobii Ab An eye tracking system
CN117496584B (zh) * 2024-01-02 2024-04-09 南昌虚拟现实研究院股份有限公司 一种基于深度学习眼球追踪光斑检测方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2639349B1 (fr) 1988-11-23 1991-02-22 Sanofi Sa Nouveaux derives du chromane actifs sur le systeme nerveux central, leur procede de preparation et les compositions pharmaceutiques en contenant
US6299905B1 (en) * 1996-04-16 2001-10-09 Depuy Orthopaedics, Inc. Bioerodable polymeric adhesives for tissue repair
US5987159A (en) * 1996-09-24 1999-11-16 Cognex Corporation System or method for detecting defect within a semi-opaque enclosure
US6082858A (en) * 1998-04-29 2000-07-04 Carnegie Mellon University Apparatus and method of monitoring a subject's eyes using two different wavelengths of light
US7431455B2 (en) * 2005-03-22 2008-10-07 Amo Manufacturing Usa, Llc Pupilometer for pupil center drift and pupil size measurements at differing viewing distances
WO2002035452A1 (en) * 2000-10-24 2002-05-02 Alpha Engineering Co., Ltd. Eye image obtaining method, iris recognizing method, and system using the same
CA2487411C (en) * 2002-05-30 2011-06-14 Visx, Inc. Tracking torsional eye orientation and position
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US7357507B2 (en) * 2006-04-05 2008-04-15 Visionetx, Inc. Image-based system to observe and document eye responses
CN101539991B (zh) 2008-03-20 2011-07-06 中国科学院自动化研究所 用于虹膜识别的有效图像区域检测和分割方法
CN101344919B (zh) 2008-08-05 2012-08-22 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助系统
JP5456791B2 (ja) * 2009-01-26 2014-04-02 トビー・テクノロジー・アーベー 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法
EP2238889B1 (en) * 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
US8390698B2 (en) * 2009-04-08 2013-03-05 Panasonic Corporation Image capturing apparatus, reproduction apparatus, image capturing method, and reproduction method
CN101788848B (zh) 2009-09-29 2012-05-23 北京科技大学 用于视线追踪系统的眼部特征参数检测方法
TWI419061B (zh) 2010-01-18 2013-12-11 Pixart Imaging Inc 多物件影像辨識方法
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
US8982014B2 (en) * 2012-02-06 2015-03-17 Battelle Memorial Institute Image generation systems and image generation methods

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805260B2 (en) 2014-07-09 2017-10-31 Pixart Imaging Inc. Vehicle safety system and operating method thereof
US10192110B2 (en) 2014-07-09 2019-01-29 Pixart Imaging Inc. Vehicle safety system and operating method thereof
TWI684137B (zh) * 2016-12-19 2020-02-01 宏達國際電子股份有限公司 物件追蹤方法、裝置及非暫態電腦可讀取記錄媒體
US10552961B2 (en) 2016-12-19 2020-02-04 Htc Corporation Method, device, and non-transitory computer readable storage medium for object tracking
US10705604B2 (en) 2018-05-22 2020-07-07 Htc Corporation Eye tracking apparatus and light source control method thereof
TWI705354B (zh) * 2018-05-22 2020-09-21 宏達國際電子股份有限公司 眼球追蹤裝置及其光源控制方法
CN112312117A (zh) * 2019-07-29 2021-02-02 宏达国际电子股份有限公司 头戴式装置及其驱动方法
CN112312117B (zh) * 2019-07-29 2023-02-28 宏达国际电子股份有限公司 头戴式装置及其驱动方法

Also Published As

Publication number Publication date
US20190108395A1 (en) 2019-04-11
US10503973B2 (en) 2019-12-10
US10747995B2 (en) 2020-08-18
US20140111632A1 (en) 2014-04-24
US9530051B2 (en) 2016-12-27
US10198631B2 (en) 2019-02-05
US20200065579A1 (en) 2020-02-27
US20160370859A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
US10747995B2 (en) Pupil tracking device
TWI471808B (zh) 瞳孔偵測裝置
US11196917B2 (en) Electronic system with eye protection
JP6847124B2 (ja) ミラーコンポーネント用の適応照明システム、及び適応照明システムを制御する方法
JP6577454B2 (ja) 軸上視線追跡システム及び方法
JP6308940B2 (ja) 視線追跡シーン参照位置を識別するシステム及び方法
US10489648B2 (en) Eye tracking using time multiplexing
JP6346525B2 (ja) 視線検出装置
KR20120057033A (ko) Ｉｐｔｖ 제어를 위한 원거리 시선 추적 장치 및 방법
KR20110038568A (ko) 시선 위치 추적 장치 및 방법
CN103793045B (zh) 瞳孔追踪装置
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
US11937928B2 (en) Evaluation apparatus, evaluation method, and evaluation program
JP2012187190A (ja) 視線検出装置及び視線検出方法
WO2018164104A1 (ja) 眼部画像処理装置
CN103565399A (zh) 瞳孔检测装置
JP2016051317A (ja) 視線検出装置
JP6687195B2 (ja) 眼部画像処理装置
JP2016122380A (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
JP6370168B2 (ja) 照明撮像装置及びそれを備えた視線検出装置
WO2024166116A1 (en) Retina image references for gaze tracking
IL300551A (en) A database of retinal reference images
KR20160094077A (ko) 이미지를 캡쳐하는 전자 장치 및 방법