Nothing Special   »   [go: up one dir, main page]

KR101506525B1 - 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101506525B1
KR101506525B1 KR1020147028586A KR20147028586A KR101506525B1 KR 101506525 B1 KR101506525 B1 KR 101506525B1 KR 1020147028586 A KR1020147028586 A KR 1020147028586A KR 20147028586 A KR20147028586 A KR 20147028586A KR 101506525 B1 KR101506525 B1 KR 101506525B1
Authority
KR
South Korea
Prior art keywords
reflection point
subject
point
eyeball
light
Prior art date
Application number
KR1020147028586A
Other languages
English (en)
Other versions
KR20140126419A (ko
Inventor
아츠시 나카자와
크리스티안 니츠케
Original Assignee
도꾸리쯔교세이호징 가가꾸 기쥬쯔 신꼬 기꼬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도꾸리쯔교세이호징 가가꾸 기쥬쯔 신꼬 기꼬 filed Critical 도꾸리쯔교세이호징 가가꾸 기쥬쯔 신꼬 기꼬
Publication of KR20140126419A publication Critical patent/KR20140126419A/ko
Application granted granted Critical
Publication of KR101506525B1 publication Critical patent/KR101506525B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 주시점 검출 장치는 피험자의 주변 환경에의 주시점을 검출하는 주시점 검출 장치로서, 피험자의 안구 화상을 취득하는 안구 화상 취득 수단과, 피험자의 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 안구 화상으로부터 추정하는 반사점 추정 수단과, 피험자의 시선 방향과 안구의 광축 방향의 차를 나타내는 개인 파라미터에 의거하여 제 1 반사점을 보정하고, 보정된 제 1 반사점인 보정 반사점을 산출하는 보정 반사점 산출 수단과, 보정 반사점의 광과 주변 환경의 광에 의거하여 주시점을 검출하는 주시점 검출 수단을 구비한다.

Description

주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체{POINT OF GAZE DETECTION DEVICE, POINT OF GAZE DETECTION METHOD, INDIVIDUAL PARAMETER COMPUTATION DEVICE, INDIVIDUAL PARAMETER COMPUTATION METHOD, PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM}
본 발명은 피험자의 주변 환경에의 주시점을 검출하는 주시점 검출 장치와 주시점 검출 방법, 피험자의 시선 방향과 피험자의 안구의 광축 방향의 차를 나타내는 개인 파라미터를 산출하는 개인 파라미터 산출 장치와 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
피험자의 주시점의 검출은 현대·차세대 정보 환경을 구축하기 위해서 중요하며 또한 필수적인 기술이다. 주시점 정보를 사용한 유저 인터페이스나 유비쿼터스·엠비언트 환경, 사람의 행동 인식·이해나 커뮤니케이션 해석 등, 주시점 검출에 관한 기술의 응용 범위는 넓다. 따라서 상용 제품도 포함하여 많은 기술이 실용화되어 있다.
비특허문헌 1에 기재된 기술에서는, 새로운 주시점 검출 방법으로서 안구 표면의 환경 반사상을 사용하는 방법이 개시되어 있다. 이 기술에서는, 안구 표면 상에서 반사되는 환경의 상과 환경 카메라로 촬상한 씬점을 직접 대응시킴으로써 주시점 검출을 실현한다. 이 기술에서는 (1)시스템 설치가 용이하며, (2)피험자에의 기기 장착이 불필요하고, (3)깊이가 다른 복잡한 환경에의 대응이 가능하다 등 많은 장점이 있다.
「안구의 표면 반사와 고속 액티브 광 투영을 사용한 비장착·사전 교정 불필요한 주시점 추정」화상의 인식·이해 심포지움(MIRU2011) 논문집, 제 2011권, pp. 41-48(2011), 나카자와, 니츠케, 라드코프, 타케무라
비특허문헌 1에 기재된 기술에서는, 안구 표면 상에서 시선 방향으로부터의 도래광을 반사하는 반사점을 구하는 방법이 필요하다. 안구 화상에서의 반사점에 있어서의 화상 특징과 환경 화상의 화상 특징을 비교함으로써 환경 중의 주시점을 추정할 수 있다.
이 기술에서는 안구의 광축 방향과 피험자의 시선 방향이 동일하다고 가정하고 있다. 그러나, 현실에는 안구의 광축 방향과 피험자의 시선 방향에는 개인차가 있기 때문에, 주시점의 추정 정밀도에는 한계가 있었다.
본 발명은 상기 과제를 감안해서 이루어진 것으로서, 그 목적은 피험자의 시선 방향과 피험자의 안구의 광축 방향의 차를 나타내는 개인 파라미터를 고려한 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체를 제공하는 것에 있다.
본 발명에 의한 주시점 검출 장치는 피험자의 주변 환경에의 주시점을 검출하는 주시점 검출 장치로서, 피험자의 안구 화상을 취득하는 안구 화상 취득 수단과, 피험자의 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 안구 화상으로부터 추정하는 반사점 추정 수단과, 피험자의 시선 방향과 안구의 광축 방향의 차를 나타내는 개인 파라미터에 의거하여 제 1 반사점을 보정하고, 보정된 제 1 반사점인 보정 반사점을 산출하는 보정 반사점 산출 수단과, 보정 반사점의 광과 주변 환경의 광에 의거하여 주시점을 검출하는 주시점 검출 수단을 구비한다.
어떤 실시형태에 있어서, 주시점 검출 장치는 안구 화상으로부터 안구의 자세를 산출하는 자세 산출 수단을 구비하고, 반사점 추정 수단은 안구의 자세와 안구의 기하 모델에 의거하여 제 1 반사점을 추정한다.
어떤 실시형태에 있어서, 반사점 추정 수단은 피험자의 시선 방향이 피험자의 안구의 광축 방향으로 평행하다고 가정하는 모델에 의거하여 제 1 반사점을 추정한다.
어떤 실시형태에 있어서, 주변 환경의 광은 LED 어레이 프로젝터의 광이다.
어떤 실시형태에 있어서, 주변 환경의 광은 패턴 발광 마커의 광이다.
본 발명에 의한 주시점 검출 방법은 피험자의 주변 환경에의 주시점을 검출하는 주시점 검출 방법으로서, 피험자의 안구 화상을 취득하는 안구 화상 취득 공정과, 피험자의 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 안구 화상으로부터 추정하는 반사점 추정 공정과, 피험자의 시선 방향과 안구의 광축 방향의 차를 나타내는 개인 파라미터에 의거하여 제 1 반사점을 보정하고, 보정된 제 1 반사점인 보정 반사점을 산출하는 보정 반사점 산출 공정과, 보정 반사점의 광과 주변 환경의 광에 의거하여 주시점을 검출하는 주시점 검출 공정을 포함한다.
본 발명에 의한 개인 파라미터 산출 장치는 피험자의 시선 방향과 상기 피험자의 안구의 광축 방향의 차를 나타내는 개인 파라미터를 산출하는 개인 파라미터 산출 장치로서, 피험자의 안구 화상을 취득하는 안구 화상 취득 수단과, 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 안구 화상으로부터 추정하는 반사점 추정 수단과, 피험자의 주시점으로부터 도래한 광이 반사되는 제 2 반사점을 안구 화상으로부터 검출하는 반사점 검출 수단과, 제 1 반사점과 제 2 반사점에 의거하여 피험자의 개인 파라미터를 산출하는 개인 파라미터 산출 수단을 구비한다.
어떤 실시형태에 있어서, 개인 파라미터 산출 장치는 안구 화상으로부터 안구의 자세를 산출하는 자세 산출 수단을 구비하고, 반사점 추정 수단은 안구의 자세와 안구의 기하 모델에 의거하여 제 1 반사점을 추정한다.
어떤 실시형태에 있어서, 반사점 추정 수단은 피험자의 시선 방향이 피험자의 안구의 광축 방향으로 평행하다고 가정하는 모델에 의거하여 제 1 반사점을 추정한다.
본 발명에 의한 개인 파라미터 산출 방법은 피험자의 시선 방향과 피험자의 안구의 광축 방향의 차를 나타내는 개인 파라미터를 산출하는 개인 파라미터 산출 방법으로서, 피험자의 안구 화상을 취득하는 안구 화상 취득 공정과, 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 안구 화상으로부터 추정하는 반사점 추정 공정과, 피험자의 주시점으로부터 도래한 광이 반사되는 제 2 반사점을 안구 화상으로부터 검출하는 반사점 검출 공정과, 제 1 반사점과 제 2 반사점에 의거하여 피험자의 개인 파라미터를 산출하는 개인 파라미터 산출 공정을 포함한다.
본 발명에 의한 프로그램은 컴퓨터에 피험자의 주변 환경에의 주시점을 검출하는 주시점 검출 처리를 실행시키기 위한 프로그램으로서, 피험자의 안구 화상을 취득하는 안구 화상 취득 스텝과, 피험자의 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 안구 화상으로부터 추정하는 반사점 추정 스텝과, 피험자의 시선 방향과 안구의 광축 방향의 차를 나타내는 개인 파라미터에 의거하여 제 1 반사점을 보정하고, 보정된 제 1 반사점인 보정 반사점을 산출하는 보정 반사점 산출 스텝과, 보정 반사점의 광과 주변 환경의 광에 의거하여 주시점을 검출하는 주시점 검출 스텝을 포함한다.
본 발명에 의한 프로그램은 컴퓨터에 피험자의 시선 방향과 피험자의 안구의 광축 방향의 차를 나타내는 개인 파라미터를 산출하는 개인 파라미터 산출 처리를 실행시키기 위한 프로그램으로서, 피험자의 안구 화상을 취득하는 안구 화상 취득 스텝과, 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 안구 화상으로부터 추정하는 반사점 추정 스텝과, 피험자의 주시점으로부터 도래한 광이 반사되는 제 2 반사점을 안구 화상으로부터 검출하는 반사점 검출 스텝과, 제 1 반사점과 제 2 반사점에 의거하여 피험자의 개인 파라미터를 산출하는 개인 파라미터 산출 스텝을 포함한다.
본 발명에 의한 컴퓨터 판독 가능한 기록 매체는 피험자의 주변 환경에의 주시점을 검출하는 주시점 검출 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 프로그램은 피험자의 안구 화상을 취득하는 안구 화상 취득 스텝과, 피험자의 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 안구 화상으로부터 추정하는 반사점 추정 스텝과, 피험자의 시선 방향과 안구의 광축 방향의 차를 나타내는 개인 파라미터에 의거하여 제 1 반사점을 보정하고, 보정된 제 1 반사점인 보정 반사점을 산출하는 보정 반사점 산출 스텝과, 보정 반사점의 광과 주변 환경의 광에 의거하여 주시점을 검출하는 주시점 검출 스텝을 포함한다.
본 발명에 의한 컴퓨터 판독 가능한 기록 매체는 피험자의 시선 방향과 상기 피험자의 안구의 광축 방향의 차를 나타내는 개인 파라미터를 산출하는 개인 파라미터 산출 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 프로그램은 피험자의 안구 화상을 취득하는 안구 화상 취득 스텝과, 안구의 광축 방향으로부터 도래한 광이 반사되는 제 2 반사점을 안구 화상으로부터 추정하는 반사점 추정 스텝과, 피험자의 주시점으로부터 도래한 광이 반사되는 제 1 반사점을 안구 화상으로부터 검출하는 반사점 검출 스텝과, 제 1 반사점과 제 2 반사점에 의거하여 피험자의 개인 파라미터를 산출하는 개인 파라미터 산출 스텝을 포함한다.
도 1은 본 발명의 실시형태 1에 의한 주시점 검출 장치를 나타내는 모식도이다.
도 2는 본 발명의 실시형태 1에 의한 주시점 검출 장치의 동작을 나타내는 플로우차트이다.
도 3의 (a)는 안구의 모식도를 나타내고, (b)는 안구의 근사 기하 모델을 나타내는 모식도이다.
도 4는 암동공법에 의한 눈동자 윤곽의 검출 결과를 나타낸다.
도 5는 눈동자의 투영상에 의한 안구 자세 추정을 설명하기 위한 모식도이다.
도 6은 안구의 표면 반사와 반사점의 관계를 나타내는 모식도이다.
도 7은 LED-AP를 사용한 시스템 구성과 패턴 발광 마커를 사용한 시스템 구성을 나타내는 모식도이다.
도 8은 LED-AP의 구성을 나타내는 사진이다.
도 9는 광원이 되는 LED의 동정을 설명하기 위한 모식도이다.
도 10은 패턴 발광 마커의 구성 및 안구의 반사상을 나타내는 사진이다.
도 11은 본 발명의 실시형태 2에 의한 개인 파라미터 산출 장치의 모식도이다.
도 12는 본 발명의 실시형태 2에 의한 개인 파라미터 산출 장치의 동작을 나타내는 플로우차트이다.
도 13은 주시점 추정 각도 오차를 나타내는 표이다.
도 14는 조건 1에서의 주시점 추정 결과를 나타내는 그래프이다.
도 15는 조건 2에서의 주시점 추정 결과를 나타내는 그래프이다.
이하, 도면을 참조해서 본 발명에 의한 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치 및 개인 파라미터 산출 방법의 실시형태를 설명한다. 단, 본 발명은 이하의 실시형태에 한정되지 않는다.
[실시형태 1 : 주시점 검출]
도 1은 본 발명의 실시형태 1에 의한 주시점 검출 장치(100)를 나타내는 모식도이다. 주시점 검출 장치(100)는 피험자(A)의 주변 환경에의 주시점(PoG)을 검출한다. 주변 환경이란 피험자(A) 주변의 공간이며, XY 좌표로 나타내어지는 공간이나 XYZ 좌표로 나타내어지는 공간일 수 있다. 주시점 검출 장치(100)는 피험자(A)의 안구 화상을 취득하는 안구 화상 취득 수단(102)과, 반사점 추정 수단(104)과, 보정 반사점 산출 수단(106)과, 주시점 검출 수단(108)을 구비한다. 주시점 검출 장치(100)는 환경광 검출 장치(112)를 더 구비할 수 있다.
안구 화상 취득 수단(102)은 예를 들면 디지털 카메라, CCD 카메라 또는 팬 틸트 줌 카메라이며, 가시광 영역의 광을 검출할 수 있다. 안구 화상 취득 수단(102)은 정지하고 있는 피험자(A)의 안구 또는 움직이고 있는 피험자(A)의 안구의 화상을 취득한다. 반사점 추정 수단(104)은 피험자(A)의 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점(GRP)(Gaze Reflection Point)을 안구 화상으로부터 추정한다. 주시점 검출 장치(100)는 안구 화상으로부터 안구의 자세를 산출하는 자세 산출 수단(110)을 더 구비할 수 있다.
반사점 추정 수단(104)은 안구의 자세와 안구의 기하 모델에 의거하여 제 1 반사점(GRP)을 안구 화상으로부터 추정한다.
보정 반사점 산출 수단(106)은 피험자(A)의 시선 방향과 안구의 광축 방향의 차를 나타내는 개인 파라미터에 의거하여 제 1 반사점(GRP)을 보정하고, 보정된 제 1 반사점인 보정 반사점(cGRP)(corrected GRP)을 산출한다.
환경광 검출 장치(112)는 예를 들면 디지털 카메라, CCD 카메라 또는 팬 틸트 줌 카메라이며, 가시광 영역의 광을 검출할 수 있다. 환경광 검출 장치(112)는 피험자(A)가 주시하는 피험자(A)의 주변 환경의 광을 검출할 수 있다. 주변 환경의 광은 주변 환경의 화상을 형성한다. 주시점 검출 수단(108)은 보정 반사점(cGRP)의 광과 주변 환경의 광에 의거하여 주시점(PoG)을 검출한다. 예를 들면, 주시점 검출 수단(108)은 보정 반사점 산출 수단(106)에 의해 산출된 보정 반사점(cGRP)의 광과 환경광 검출 장치(112)에 의해 검출된 주변 환경의 광을 조합하여 주시점(PoG)을 검출한다.
반사점 추정 수단(104)과, 보정 반사점 산출 수단(106)과, 주시점 검출 수단(108)과, 자세 산출 수단(110)은 예를 들면 퍼서널 컴퓨터 등의 전자 계산기일 수 있다.
또한, 주시점 검출 수단(108)은 보정 반사점(cGRP)의 광과 주변 환경의 광에 의거하여 주시점(PoG)을 검출하지만, 주변 환경의 광은 환경광 검출 장치(112)에 의해 검출되는 것에 한정되지 않는다.
예를 들면, 주시점 검출 장치(100)는 환경광 검출 장치(112) 대신에 투영 수단과 투영광 검출 수단을 구비할 수 있다. 투영 수단은 광원을 갖고, 주변 환경에 광을 투영한다. 투영 수단은, 예를 들면 프로젝터이다. 투영 수단은 예를 들면, 주변 환경에 경치를 나타내는 가시광이나 그레이 코드 패턴을 나타내는 가시광을 투영한다. 도 7을 참조해서 상세하게 설명한 바와 같이, 투영 수단은 LED 어레이 프로젝터일 수도 있다. 주변 환경이 방의 벽인 경우에는, 투영 수단은 광을 방의 벽에 투영한다. 주변 환경이 산의 암벽인 경우에는, 투영 수단은 광을 요철의 암벽에 투영한다. 또한, 투영 수단이 삼차원 영상 장치이면, 공기 이외 아무것도 존재하지 않는 공간에 도트 어레이로 이루어진 리얼한 3차원 영상을 투영할 수 있다.
투영광 검출 수단은 투영 수단으로부터 투영된 투영광을 검출한다. 투영광 검출 수단은 예를 들면 디지털 카메라나 CCD 카메라이며, 가시광 영역의 광을 검출할 수 있다. 주시점 검출 수단(108)은 보정 반사점 산출 수단(106)에 의해 산출된 보정 반사점(cGRP)의 광과 투영광 검출 수단에 의해 검출된 투영광을 조합하여 주시점(PoG)을 검출한다.
또한 예를 들면, 주시점 검출 장치(100)는 환경광 검출 장치(112) 대신에 표시 수단을 구비할 수 있다. 표시 수단은 주변 환경의 광을 표시한다. 표시 수단은 예를 들면, 광을 발하는 표시판이나 모니터 화면이다. 도 7을 참조해서 상세하게 설명한 바와 같이, 표시 수단은 패턴 발광 마커일 수도 있다. 주변 환경의 광은 표시 수단에 표시된 표시상 데이터로서 주시점 검출 수단(108)에 송신된다. 주시점 검출 수단(108)은 보정 반사점 산출 수단(106)에 의해 산출된 보정 반사점(cGRP)의 광과 표시 수단에 표시된 표시상의 광을 조합하여 주시점(PoG)을 검출한다.
도 2는 주시점 검출 장치(100)의 동작을 나타내는 플로우차트이다. 도 1과 도 2를 참조하여 주시점 검출 방법을 설명한다. 하기에 나타낸 바와 같이 주시점 검출 장치(100)에 의해 스텝 202부터 스텝 208을 실행함으로써 본 발명의 실시형태 1에 의한 주시점 검출 처리가 실현된다.
스텝 202 : 안구 화상 취득 수단(102)은 피험자(A)의 안구 화상을 취득한다.
스텝 204 : 반사점 추정 수단(104)은 피험자(A)의 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점(GRP)을 안구 화상으로부터 추정한다.
스텝 206 : 보정 반사점 산출 수단(106)은 개인 파라미터에 의거하여 제 1 반사점(GRP)을 보정하고, 보정된 제 1 반사점인 보정 반사점(cGRP)을 산출한다.
스텝 208 : 주시점 검출 수단(108)은 보정 반사점(cGRP)의 광과 주변 환경의 광에 의거하여 주시점(PoG)을 검출한다.
또한, 주시점 검출 처리를 실현하는 장치는 주시점 검출 장치(100)에 한정되지 않는다. 주시점 검출 장치(100)는 안구 화상 취득 수단(102), 반사점 추정 수단(104), 보정 반사점 산출 수단(106) 및 주시점 검출 수단(108)의 기능을 갖는 장치인 한은 임의의 장치일 수 있다. 예를 들면, 주시점 검출 방법은 PC에 의해서도 실현할 수 있다. 또한, 주시점 검출 장치(100)의 일부를 구성하는 PC에 의해서도 실현할 수 있다.
PC에 의해 주시점 검출 방법을 실현할 경우에는, 주시점 검출 처리 프로그램의 형식으로 주시점 검출 방법이 실행된다. 상기 PC는 메모리와 CPU를 구비한다. 상기 메모리에는 주시점 검출 처리 프로그램이 격납되어 있다. 상기 CPU는 상기 메모리로부터 주시점 검출 처리 프로그램을 판독하고, 안구 화상 취득 수단(102)의 기능을 갖는 수단이 스텝 202를 실행하도록, 또한 반사점 추정 수단(104)의 기능을 갖는 수단이 스텝 204를 실행하도록, 각각 안구 화상 취득 수단(102) 및 반사점 추정 수단(104)의 기능을 갖는 수단을 제어한다.
상기 CPU는 또한 상기 메모리로부터 주시점 검출 처리 프로그램을 판독하고, 보정 반사점 산출 수단(106)의 기능을 갖는 수단이 스텝 206을 실행하도록, 또한 주시점 검출 수단(108)의 기능을 갖는 수단이 스텝 206을 실행하도록, 각각 보정 반사점 산출 수단(106) 및 주시점 검출 수단(108)의 기능을 갖는 수단을 제어한다.
주시점 검출 처리 프로그램을 기록한 PC 외부의 기록 매체로부터 주시점 검출 처리 프로그램을 읽어냄으로써 상기 PC의 메모리에 인스톨할 수 있다. PC 외부의 기록 매체로서는 플렉시블 디스크, CD-ROM, CD-R, DVD, MO 등의 임의의 매체가 사용될 수 있다. 또한, 인터넷 등의 임의의 네트워크를 통해서 주시점 검출 처리 프로그램을 다운로드함으로써 상기 PC의 메모리에 인스톨할 수 있다.
이하, 주시점 검출 장치(100) 및 주시점 검출 방법의 상세를 설명한다. 본 실시형태에 있어서 안구의 기하 모델을 도입한다. 도 3(a)는 안구의 모식도를 나타내고, 도 3(b)는 안구의 근사 기하 모델을 나타낸다. 안구는 단일의 구면이 아니라 각막 부분의 구면(각막 구면)과 안구 본체(안구면)의 2가지의 다른 구면으로 근사적으로 구성된다. 근사 기하 모델로 기정의 값(눈동자 반경 rL=5.6㎜, 각막구 반경 rC=7.7㎜)을 사용한다. 근사 기하 모델은 기하적으로 단순해서 해석적으로 취급하기 쉽다. 안구의 표면 반사 해석에 있어서 충분한 정밀도를 갖는다고 생각된다.
본 실시형태에 있어서, 제 1 반사점(GRP)을 안구 화상으로부터 추정하는 것에 앞서서 안구의 자세를 추정한다. 자세 산출 수단(110)은 동공의 윤곽과 눈동자의 윤곽을 검출하고, 안구 화상으로부터 안구의 자세를 산출한다. 동공의 윤곽과 눈동자 윤곽의 검출은 적외광을 이용하여 실현한다. 우선, 암동공법을 이용하여 동공 영역을 추출한다. 암동공법은 동공과 다른 영역의 광의 반사·흡수 특성의 차이를 이용한 방법이다. 자세한 내용은 하기 문헌을 참고로 할 수 있다.
R. Kothari and J. L. Mitchell : "Detection of eye locations in unconstrained visual images", Proc. Int. Conf. on Image Processing (ICIP), pp. 519-522 (1996).
도 4는 암동공법에 의한 눈동자 윤곽의 검출 결과를 나타낸다. 도 4(a)는 제 1 프레임을 나타내고, 도 4(b)는 제 2 프레임(적외광 점등)을 나타내며, 도 4(c)는 동공 및 눈동자 윤곽의 검출 결과를 나타낸다. 도 4(c)에 있어서 백색 실선은 눈동자 윤곽을 나타내고, 백색 실선의 내측에 있는 백색 점선은 암동공법에 의해 얻어진 동공 윤곽을 나타내고, 백색 ○표시는 눈동자 윤곽의 중심을 나타내고, 백색 Ｘ표시는 각막 구면의 중심을 나타내며, 백색 △표시는 제 1 반사점(GRP)을 나타낸다.
안구 화상 취득 수단(102)에 부착된 적외 LED는 제 1 프레임에서는 OFF로 되고, 제 2 프레임에서는 ON으로 된다. 안구 영역 중에서, 동공은 외부로부터의 광을 흡수하기 때문에 양쪽 프레임 모두 검게 찍히지만, 다른 영역은 광을 반사하기 때문에 제 2 프레임에서는 밝게 찍힌다. 제 1 프레임과 제 2 프레임의 촬영 화상의 차분을 취함으로써 값이 작은 영역을 동공 영역으로 간주할 수 있다.
도 5는 눈동자의 투영상에 의한 안구 자세 추정을 설명하기 위한 모식도이다. 도 5를 참조해서 설명을 계속한다. 동공 영역의 윤곽에 대하여 RANSAC에 의한 타원 피팅을 적용하여, 타원 B(x,y,cx,cy,a,b,φ)를 얻는다. 단 (cx,cy)는 중심 위치, a, b는 단지름 및 장지름, φ은 회전각이다. 동공 윤곽의 추정 결과를 이용하여 2 스텝의 최소화를 행하여, 눈동자 윤곽을 추정한다.
스텝 S1 : 동공의 중심 및 회전각(cx,cy,φ)을 사용하여, 지름의 파라미터(a,b)만을 변화시켜 이하의 함수를 최소화하고, 눈동자 지름의 초기 파라미터(a0, b0)를 얻는다.
Figure 112014096945697-pct00001
여기서 Ex(x,y)는 입력 화상의 x미분이며, 또한 a0>a, b0>b이다. 화상의 x미분만을 사용하는 것은 눈꺼풀의 영향을 피하기 위해서이다. 또한, sgn(cx-x)은 눈동자의 중심 좌표로부터 외측 방향으로 눈의 검은 자위로부터 흰 자위로의 변화가 있는 것을 평가하기 위해서이다.
스텝 S2 : 얻어진 지름의 초기 파라미터를 이용하여 타원의 전체 파라미터를 같은 평가 함수로 수렴시켜 눈동자 윤곽의 파라미터(c'x,c'y,a',b',φ')를 얻는다.
이들 파라미터를 사용하면 시선 방향(g)은 이하의 식(3)으로 얻어진다.
Figure 112014096945697-pct00002
여기서 τ는 눈동자의 깊이 방향의 경사를 나타내고 있고, τ=±arccos (rmin/rmax)로 구해진다. 또한 여기로부터 각막 구면의 중심점(C)은, L에서 C까지의 기지의 길이 dLC(=5.6㎜)와 시선 벡터(g)를 이용하여 구할 수 있다.
반사점 추정 수단(104)은 얻어진 안구의 3차원 자세를 이용하여 주시점(PoG)으로부터 입사한 광을 안구 표면에서 반사하는 점[제 1 반사점(GRP)]을 추정한다. 안구 화상 취득 수단(102)에 의한 안구 표면 반사상의 촬영은 반사 광학계(Catadioptic system)와 마찬가지라고 간주할 수 있고, 제 1 반사점(GRP)은 반사 구면인 각막 구면의 기하 모델과 안구 화상 취득 수단(102)으로부터 얻어진 안구 자세를 이용하여 구할 수 있다. 비특허문헌 1에서는, 제 1 반사점(GRP)의 추정 모델로서 투시 투영 모델과 약투시 투영 모델이 개시되어 있다.
본 실시형태에 있어서, 제 1 반사점(GRP)의 모델로서 약투시 투영 모델을 활용한 예를 설명한다. 안구 표면에서의 광의 입사·반사는 1개의 평면 내에서 일어난다고 생각할 수 있다. 약투시 투영 모델의 경우, 이 면은 눈동자의 투영상(타원)의 단축을 포함하며, 화상면에 대하여 수직인 평면이다. 피험자(A)의 주시점(PoG)으로부터 도래한 광이 안구의 광축 방향으로부터 온 광이라고 가정하면, 광선의 경로는 도 6(a)로 나타낸 바와 같이 된다. 도 6(a)는 피험자(A)의 주시점(PoG)으로부터 시선 방향(안구 광축 방향)과 평행하게 입사한 광이 각막 표면에서 반사되어, 안구 화상 취득 수단(102)에 입사되는 모양을 나타낸다. 도 6(a)를 참조하여 각막 표면에서의 반사 관계를 이용하여 이하의 식이 얻어진다.
Figure 112014096945697-pct00003
여기서, 안구 광축 방향을 나타내는 τ를 이용하여 제 1 반사점(GRP)을 나타내는 각도 θ가 얻어진다.
Figure 112014096945697-pct00004
또한, 약투시 투영의 국소 투영면 상에 있어서의 눈동자의 중심과 제 1 반사점(GRP)의 거리 |IS-IL|를 구하면,
Figure 112014096945697-pct00005
이 된다. 이어서, 눈동자의 중심을 물체 중심으로 간주한 약투시 투영을 생각하면, 안구 화상에서의 제 1 반사점(GRP)의 위치 iS는 이하로 구해진다.
Figure 112014096945697-pct00006
여기서 s는 약투시 투영의 스케일 계수이며, iL은 눈동자 중심의 좌표, vsm은 눈동자의 투영상(타원)의 단축을 나타내는 2차원 벡터이다.
보정 반사점 산출 수단(106)은 안구의 자세 추정으로 얻어진 눈동자 중심 좌표계(Re)를 개인 파라미터(δx,δy)만큼 회전함으로써 제 1 반사점(GRP)을 보정하고, 보정된 제 1 반사점인 보정 반사점(cGRP)을 산출한다. 구체적으로는, 하기와 같다.
Figure 112014096945697-pct00007
단 Rx 및 Ry는 x축, y축 주위의 회전을 나타내는 행렬이다. 여기서 얻어진 τ*을 τ로서 식(6)에 대입하고, 또한 v*sm을 vsm으로서 식(7)에 대입함으로써 보정 반사점(cGRP)이 얻어진다.
주시점 검출 수단(108), 보정 반사점(cGRP)의 광과 주변 환경의 광에 의거하여 주시점(PoG)을 검출한다. 예를 들면, 주시점 검출 수단(108)은 보정 반사점(cGRP)의 광을 나타내는 디지털 테이터와 주변 환경의 광을 나타내는 디지털 데이터를 대응시키고, 대응시킨 디지털 데이터로부터 주변 환경에 포함되는 주시점(PoG)을 검출한다. 또한, 본 명세서에 있어서 피험자(A)에 의한 주시점(PoG)은 피험자(A)가 주시하는 점이나 영역 부분을 나타낸다.
본 실시형태에 있어서, 예를 들면 액티브 조명법을 활용함으로써 주변 환경의 광을 나타내는 디지털 데이터를 얻을 수 있다. 액티브 조명법은 예를 들면, LED 어레이 프로젝터(LED-AP)나 패턴 발광 마커를 실장함으로써 실행할 수 있다.
도 7은 LED-AP를 사용한 시스템 구성과 패턴 발광 마커를 사용한 시스템 구성을 나타낸다. 도 7(a)는 LED-AP를 사용한 시스템 구성이며, LED-AP에 의해 고속으로 씬에 광을 투영한다. 안구 표면에 비치는 반사광을 안구 화상 취득 수단(102)으로 취득함으로써 주시점(PoG)을 추정하고, 주시점(PoG)을 씬 중의 임의의 점으로서 얻을 수 있다.
도 7(b)는 패턴 발광 마커를 사용한 시스템 구성이며, 이 구성에서는 마커를 주시 대상물에 부착함으로써 그 물체를 주시하고 있는지의 여부, 또는 복수의 대상물 중 어느 것을 주시하고 있는지를 구한다. 얻어지는 주시 정보는 대상 물체 단위이지만, 대상물에 소형의 마커를 부착하는 것만으로 되기 때문에, 보다 간이한 구성으로 주시점 추정을 실현할 수 있다. 또한, 얻어진 주시 데이터의 후해석이 용이해진다는 메리트도 있다.
도 8은 LED-AP의 구성을 나타낸다. 도 8(a)는 LED 어레이(42LED) 유닛을 나타내고, 고휘도 LED(가시광 또는 적외광) 및 집광을 위한 프레넬 렌즈를 포함한다. 도 8(b)는 LED 어레이(9LED) 유닛을 나타낸다. 도 8(c) 및 도 8(d)는 실험 환경 및 조광 패턴을 나타낸다.
LED-AP는 격자 형상으로 배치된 고휘도 LED군, 렌즈, 컨트롤러를 구비한다. 각 LED는 0.05㎳로 점멸을 컨트롤 가능하며, LED마다 다른 시계열의 2진 패턴을 투영할 수 있다. 또한 각 LED의 방향을 개별적으로 바꿀 수 있기 때문에, 넓은 영역을 커버하도록 조명광을 배치할 수 있다.
각각의 LED의 시계열 조명 패턴에 유니크한 ID를 갖게함으로써, 카메라의 촬영 화상열로부터 ID를 복원해 광원이 되는 LED를 동정할 수 있다(도 9). 한편, 환경 중의 공간 해상도는 LED의 수에 의해 결정되기 때문에 한계가 있다. 이 결점을 보완하기 위해서, 선형 보간을 조합시켜서 주시점(PoG)을 추정한다. 즉, 안구 반사 화상 중에 있어서 제 1 반사점(GRP)으로부터 가까운 3개의 LED의 투영점을 구하고, 3개의 LED의 투영점과 제 1 반사점(GRP)의 상대적인 위치 관계를 구한다. 환경 화상 중에서도 각 LED의 투영점을 구하고, 이미 얻어진 제 1 반사점(GRP)의 상대 위치 관계를 이용하여 환경 화상 중의 주시점(PoG)을 추정한다. 처리의 흐름은 이하와 같이 된다.
우선, 안구 반사 화상열로부터 시계열 코드 복원을 행하고, 픽셀마다의 ID를 구한다. 복원된 ID를 바탕으로 라벨링을 행하고, 일정 이상의 면적을 가지는 라벨을 구하고, 그 무게중심 위치를 각 LED에 대한 표면 반사점으로 한다. LED-AP는 가시광 LED 또는 적외 LED로 실장하고 있다. 이것에 의해, 피험자(A)가 투영광을 알아채지 않게 주시점(PoG)을 추정할 수 있다.
도 10은 패턴 발광 마커의 구성 및 안구의 반사상을 나타낸다. 도 10(a)에 나타내어진 바와 같이, 패턴 발광 마커는 LED-AP의 각 LED를 독립시킨듯한 구성으로 되어 있고, 마이크로 컨트롤러와 적외선 LED를 구비한다. 패턴 발광 마커는 마커마다 다른 시계열 패턴을 발광한다. 마커를 주시 대상물에 부착함으로써 피험자(A)가 그 대상물을 주시하고 있는지의 여부를 판정할 수 있다.
도 10(b)는 피험자(A)의 앞면에 두 종류의 대상 물체가 움직이는 상황을 나타낸다. 각각의 대상 물체에는 패턴 발광 마커가 부착되어 있다. 백색의 타원은 눈동자 윤곽을 나타내고, 백색의 사각 프레임은 제 1 반사점(GRP)을 나타낸다. 패턴 발광 마커 중 1개가 제 1 반사점(GRP)과 일치하고 있는 것을 이해할 수 있다.
각 마커에는 마이크로 컨트롤러가 실장되어 있기 때문에, 리얼 타임 클록으로 동기시킴으로써 동기된 발광 패턴을 유지할 수 있다. 이 마커의 안구 표면 상에서의 제 1 반사점(GRP)과 보정 반사점(cGRP)의 위치 관계로부터 마커와 시선 방향의 각도를 계산할 수 있기 때문에, 각도에 의한 역치 처리 등을 행함으로써 주시하고 있는지의 여부를 판정할 수 있다.
[실시형태 2 : 개인 파라미터 산출]
도 11은 본 발명의 실시형태에 의한 개인 파라미터 산출 장치(200)의 모식도이다. 개인 파라미터 산출 장치(200)는 피험자(A)의 시선 방향과 피험자(A)의 안구의 광축 방향의 차를 나타내는 개인 파라미터를 산출한다. 개인 파라미터 산출 장치(200)는 피험자(A)의 안구 화상을 취득하는 안구 화상 취득 수단(102)과, 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점(GRP)을 안구 화상으로부터 추정하는 반사점 추정 수단(104)과, 피험자(A)의 주시점(PoG)으로부터 도래한 광이 반사되는 제 2 반사점(CRP)(Calibration reflection point)을 안구 화상으로부터 검출하는 반사점 검출 수단(206)과, 제 1 반사점(GRP)과 제 2 반사점(CRP)에 의거하여 피험자(A)의 개인 파라미터를 산출하는 개인 파라미터 산출 수단(208)을 구비한다.
또한, 안구 화상 취득 수단(102)은 도 1을 참조해서 설명한 안구 화상 취득 수단(102)과 마찬가지의 기능을 갖고, 반사점 추정 수단(104)은 도 1을 참조해서 설명한 반사점 추정 수단(104)과 마찬가지의 기능을 갖기 때문에, 상세한 설명은 생략한다.
도 12는 개인 파라미터 산출 장치(200)의 동작을 나타내는 플로우차트이다. 도 11, 도 12를 참조하여 개인 파라미터 산출 방법을 설명한다. 하기에 나타내는 바와 같이 개인 파라미터 산출 장치(200)에 의해 스텝 302부터 스텝 308을 실행함으로써 본 발명의 실시형태 2에 의한 개인 파라미터 산출 처리가 실현된다.
스텝 302 : 안구 화상 취득 수단(102)은 피험자(A)의 안구 화상을 취득한다.
스텝 304 : 반사점 추정 수단(104)은 제 1 반사점(GRP)을 안구 화상으로부터 추정한다.
스텝 306 : 반사점 검출 수단(206)은 피험자의 주시점(PoG)으로부터 도래한 광이 반사되는 제 2 반사점(CRP)을 안구 화상으로부터 검출한다.
스텝 308 : 개인 파라미터 산출 수단(208)은 제 1 반사점(GRP)과 제 2 반사점(CRP)에 의거하여 피험자(A)의 개인 파라미터를 산출한다.
또한, 개인 파라미터 산출 처리를 실현하는 장치는 개인 파라미터 산출 장치(200)에 한정되지 않는다. 안구 화상 취득 수단(102), 반사점 추정 수단(104), 반사점 검출 수단(206) 및 개인 파라미터 산출 수단(208)의 기능을 갖는 장치인 한은 임의의 장치일 수 있다. 예를 들면, 개인 파라미터 산출 방법은 PC에 의해서도 실현할 수 있다. 또한, 개인 파라미터 산출 장치(200)의 일부를 구성하는 PC에 의해서도 실현할 수 있다.
PC에 의해 개인 파라미터 산출 방법을 실현할 경우에는, 개인 파라미터 산출 처리 프로그램의 형식으로 개인 파라미터 산출 방법이 실행된다. 상기 PC는 메모리와 CPU를 구비한다. 상기 메모리에는 개인 파라미터 산출 처리 프로그램이 격납되어 있다. 상기 CPU는 상기 메모리로부터 개인 파라미터 산출 처리 프로그램을 판독하고, 안구 화상 취득 수단(102)의 기능을 갖는 수단이 스텝 302를 실행하도록, 또한 반사점 추정 수단(104)의 기능을 갖는 수단이 스텝 304를 실행하도록 각각 안구 화상 취득 수단(102) 및 반사점 추정 수단(104)의 기능을 갖는 수단을 제어한다.
상기 CPU는 또한 상기 메모리로부터 개인 파라미터 산출 처리 프로그램을 판독하고, 반사점 검출 수단(206)의 기능을 갖는 수단이 스텝 306을 실행하도록, 또한 개인 파라미터 산출 수단(208)의 기능을 갖는 수단이 스텝 306을 실행하도록 각각 반사점 검출 수단(206) 및 개인 파라미터 산출 수단(208)의 기능을 갖는 수단을 제어한다.
개인 파라미터 산출 처리 프로그램을 기록한 PC 외부의 기록 매체로부터 개인 파라미터 산출 처리 프로그램을 읽어냄으로써, 상기 PC의 메모리에 인스톨할 수 있다. PC 외부의 기록 매체로서는 플렉시블 디스크, CD-ROM, CD-R, DVD, MO 등의 임의의 매체가 사용될 수 있다. 또한, 인터넷 등의 임의의 네트워크를 통해서 개인 파라미터 산출 처리 프로그램을 다운로드함으로써 상기 PC의 메모리에 인스톨할 수 있다.
이하, 개인 파라미터 산출 장치(200) 및 개인 파라미터 산출 방법의 상세한 내용을 설명한다. 제 1 반사점(GRP)은 피험자(A)의 시선 방향이 안구의 광축 방향과 일치한다는 가정에 의거하여 추정되고 있지만, 피험자(A)의 시선 방향과 안구의 광축 방향은 일치하지 않는 것이 지적되고 있다. 피험자(A)의 시선 방향과 안구의 광축 방향의 어긋남(개인 파라미터)은 개인에 의존하는 값이며, 어떠한 방법으로 주시점 추정 전에 취득할 필요가 있다.
그래서, 제 1 반사점(GRP)의 도출과 마찬가지로, 안구의 표면 반사 화상을 활용함으로써 개인 파라미터를 산출하는 방법을 개발했다. 이 새로운 교정법은 종래의 교정법과 달리, 피험자(A)는 씬 중의 한 점을 주시만 하면 되어 교정에 필요한 피험자(A)의 부담을 대폭 경감할 수 있다.
개인 파라미터는 얼굴 좌표계로 정의되는 고정 파라미터이다. 얼굴 좌표계로서 얼굴의 전방을 zface, 왼쪽 눈으로부터 오른쪽 눈으로의 방향을 xface, 그리고 yface를 그것들에 직행하는 축으로서 정의하면, 개인 파라미터는 xface(tilt) 축 주위의 회전각으로 1.5~3도, yface(pan) 축 주위의 회전각으로 4~5도 정도이다.
눈동자를 중심으로 한 좌표계를 Re=[xe ye ze]로 정의한다. 단, xe, ye는 눈동자 화상에 있어서의 장축 및 단축 방향이다. 도 6(b)에 눈동자 투영상의 단축 방향을 지나는 평면(yeze-plane)을 나타낸다. 도 6(b)에서는 안구 광축 방향과 시선 방향의 차이가 나타내어진다. 피험자(A)의 시선 방향(g')은 광축 방향(g)과 일치하지 않는다. 시선 방향으로부터 도래한 광은 보정 반사점(cGRP)(T)에서 반사되어 화상 상의 IT에 투영된다.
피험자(A)가 씬 중의 교정점을 주시하고, 안구 화상 취득 수단(102)은 피험자(A)의 안구 화상을 취득한다. 반사점 추정 수단(104)은 제 1 반사점(GRP)을 안구 화상으로부터 추정한다. 반사점 검출 수단(206)은 안구 화상으로부터 제 2 반사점(CRP)을 얻으면, 개인 파라미터 산출 수단(208)은 이 평면 내에 있어서, 제 1 반사점(GRP)과 제 2 반사점(CRP) 사이의 각도 γ를 이하로 구할 수 있다.
Figure 112014096945697-pct00008
단, IT, iT는 제 2 반사점(CRP)의 위치 및 그 화상 중의 투영 위치이다.
제 2 반사점(CRP)에 있어서의 안구 표면 반사를 생각하면, 이 평면 내에 있어서의 개인 파라미터 δxe는 이하로 얻어진다.
Figure 112014096945697-pct00009
마찬가지로, 이 면에 수직인 면에 있어서의 개인 파라미터 δye는 이하로 얻어진다.
Figure 112014096945697-pct00010
단 vlm은 눈동자 투영상의 장축 방향이다.
일반적으로 안구 화상 취득 수단(102)은 얼굴의 전방 방향에 설치되어 있으므로, 이상에서 얻어진 얼굴 좌표계에서의 개인 파라미터를 이하의 식에 의해 카메라 좌표계로 변환할 수 있다.
Figure 112014096945697-pct00011
개인 파라미터가 얻어지면, 보정 반사점(cGRP)을 구할 수 있다. 보정 반사점(cGRP)은, 자세 산출 수단(110)에 의한 안구의 자세 추정으로 얻어진 눈동자 중심 좌표계(Re)를 개인 파라미터(δx, δy)만큼 회전시킴으로써 얻을 수 있다.
[실시예]
본 발명의 실시형태의 유효성을 확인하기 위해서, 본 발명의 실시형태에 추가해 주시점 검출 장치의 상용 시스템에서 자주 사용되고 있는 보간법에 의한 주시점 검출을 실장하고, 비교했다. 보간법에 의한 주시점 검출은 상용 시스템에서 자주 사용되고 있는 시스템이며, 두 종류의 적외 광원을 사용한다. 1종의 광원은 암동공법에 의한 동공 검출에 사용하고, 다른 1종의 점광원(CAM-LED)은 안구의 표면 반사를 얻기 위해서 사용한다. 이것에 의해, 동공 중심과 CAM-LED의 표면 반사점의 상대 위치 관계를 이용하여 시선 방향을 구한다. 보간법에서는 4점의 교정점에 의해 샘플점을 취하고, 입력 프레임의 동공 중심과 CAM-LED의 표면 반사점의 위치 관계를 교정점의 선형 보간으로서 나타냄으로써 주시점을 구한다.
LED-AP에 의한 실험 환경을 도 8(하단 우측)에 나타낸다. 실험은 통상의 옥내 조명 환경에서 행하며, 피험자(A)는 벽면으로부터 떨어진 위치에 앉아 벽면 상의 20점의 마커를 주시한다. 안구 화상 취득 수단(102)은 피험자(A)의 얼굴의 조금 아래에 위치하며, 얼굴과 안구 화상 취득 수단(102)의 거리는 약 0.6m이다. 환경광 검출 장치(112)는 피험자(A)의 후방에 위치하여, 벽면의 마커를 모두 촬영할 수 있게 설치했다.
안구 화상 취득 수단(102)으로서 Point Grey Dragonfly Express cameras(640×480pixels, B/W, 30㎐)를 사용하고, LED-AP의 광원으로서 9개의 Philips사제 Luxeon Rebel High-Power LED(3W, White)를 사용했다. 패턴광 투영, 촬영 및 화상 취득은 PC(Intel Core i7-960 3.06㎓, 8GB RAM)에 의해 행하고, 화상 처리는 같은 PC 상의 Matlab R2010b 및 Image Processing Toolkit 환경에서 행하였다. 패턴 발광 마커의 실험에 있어서도, 피험자(A)와 안구 화상 취득 수단(102)의 위치 관계, 화상 취득 및 처리 기기의 구성은 마찬가지이지만, 저출력(15㎃)의 근적외 LED를 4개 사용했다.
깊이가 다른 환경에서의 주시점 추정 오차를 평가하기 위해서, 피험자(A)와 벽면의 거리로서 1900㎜(조건 1), 3000㎜(조건 2)의 두 가지 설정으로 실험했다. 조건 1에서 얻은 피험자(A)의 개인 파라미터를 조건 1에 의한 추정 및 조건 2에 의한 추정에 적용했다. 또한 보간법의 교정도 마찬가지로 조건 1로 행하였다.
도 13에 피험자(A)의 눈이 (x,y,z)=(900,600,1900)[㎜] 및 (900,600,3000)[㎜]로 간주했을 때의 주시점 추정 각도 오차[종래 방법(보간법)과 개인 파라미터와 도입한 본 발명 방법의 비교]를 나타낸다. 단위는 「deg(degree)」이다. 또한 도 14에 조건 1에서의 주시점 추정 결과를 나타내고, 도 15에 조건 2에서의 주시점 추정 결과를 나타낸다. 도 14 및 도 15에 있어서, 「+」는 주시 대상 마커(Ground truth)를 나타내고, 「○」, 「●」, 「△」, 「▲」 및 「□」 각각은 다른 피험자의 본 발명 방법에 의한 추정 결과를 나타낸다. 피험자의 수는 5유저(5피험자)이다. 「×」는 유저 1(피험자 1)의 보간법에 의한 결과를 나타낸다.
단, LED-AP의 투영광은 본 좌표계 중에서 (1490,1200), (895,1200), (300,1200), (1430,750), (835,750), (300,750), (1450,300), (820,300), (320,300)[㎜]에 투영되어 있다. 또한 안구는 (900,600,1900)[㎜](조건 1) 및 (900,600,3000)[㎜](조건 2)에 위치하고 있다. 본 발명의 실시예(본 발명의 방법)에서는 깊이가 다른 두 조건 모두 1도 이하의 오차로 추정 가능한 것을 확인할 수 있었다. 보간법은 교정을 행한 것과 같은 조건(조건 1)에서는 좋은 결과가 얻어졌지만, 다른 깊이를 가지는 조건 하에서는 정밀도가 나빠지는 것을 이해할 수 있다.
<산업상의 이용 가능성>
본 발명에 의하면, 점포 내에서의 고객의 시선을 검출할 수 있으므로, 경제 효율에 의해 상품 디스플레이가 실현되고, 자판기에 탑재하여 판매의 효율화도 할 수 있다. 또한, 생활 공간에서 피험자(A)의 시선의 움직임을 해석할 수 있어, 피험자(A)에게 쓰기 쉬운 생활 환경을 설계하는 것도 가능해진다. 또한, 유저 인터페이스에의 응용으로서 생활 공간에 있어서의 시선 정보를 사용한 유비쿼터스·엠비언트 인터페이스를 개발할 수 있다. 예를 들면, 운전자의 주시점을 감시·경고할 수 있으므로 자동차 등의 안전 운전에 공헌할 수 있다.
특히 아이나 노인으로부터 얻는 정보로서 시선은 중요하고, 비장착형 시선 추적 인터페이스는 큰 역할을 할 수 있다. 예를 들면, 자폐증 등 아이의 발달 장애의 진단에는 시선 정보가 중요하지만, 실험실 환경에서 얻어진 시선 정보를 이용하여 아이를 진단할 수 있다. 본 발명의 실시형태에 의한 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치 및 개인 파라미터 산출 방법의 실현에 의해, 비장착형으로 유아의 고정밀도의 시선 정보를 얻을 수 있고, 생명 과학 분야, 로봇 분야에도 큰 공헌을 기대할 수 있다.
또한, 본 발명에 의하면 피험자의 주변시의 추정이 가능하게 된다. 즉, 본 발명에서는 피험자의 안구의 표면 반사 화상을 취득한다. 따라서, 표면 반사 화상에 의거하여 피험자의 주변 시야 내에 있는 물체가 피험자의 주시 중심 위치로부터 어느 정도의 각도로 피험자에게 보이고 있었는지 판정할 수 있다. 그 결과, 피험자의 주변 시야 내에 있는 물체가 피험자에게 보이고 있었는지의 여부를 판정하거나, 또한 어느 정도의 시야 영역에 물체가 보이고 있었는지 계측하거나 할 수 있다. 예를 들면, 자동차 운전자에게는 주변시의 정보(예를 들면, 사람이 뛰어드는 등의 상황)가 중요하므로, 주변시의 정보를 정확하게 계측하는 것이 가능하게 된다.
또한, 종래의 주시점 검출법에 의하면 주시점 검출 전에, 예를 들면 안구 계측 카메라에 비친 피험자의 동공의 중심 위치와 피험자의 주시점의 교정을 행하고 있었다. 따라서, 교정 후에 안구 계측 카메라가 장착 위치로부터 어긋났을 경우, 피험자의 주시점의 추정이 불가능해졌다. 본 발명에 의하면, 피험자의 안구 화상으로부터 안구의 자세를 추정하고, 추정된 안구의 자세에 의거하여 피험자의 주시점을 추정하기 때문에, 주시점 검출 전에 안구 계측 카메라의 장착 위치가 어긋나도 주시점 추정 결과에 영향이 미치는 것을 억제할 수 있다.
A : 피험자 PoG : 주시점
GRP : 제 1 반사점 CRP : 제 2 반사점
cGRP : 보정 반사점 100 : 주시점 검출 장치
102 : 안구 화상 취득 수단 104 : 반사점 추정 수단
106 : 보정 반사점 산출 수단 108 : 주시점 검출 수단
110 : 자세 산출 수단 112 : 환경광 검출 장치
200 : 개인 파라미터 산출 장치 206 : 반사점 검출 수단
208 : 개인 파라미터 산출 수단

Claims (14)

  1. 피험자의 주변 환경에의 주시점을 검출하는 주시점 검출 장치로서,
    상기 피험자의 안구 화상을 취득하는 안구 화상 취득 수단과,
    상기 피험자의 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 상기 안구 화상으로부터 추정하는 반사점 추정 수단과,
    상기 피험자의 시선 방향과 상기 안구의 상기 광축 방향의 차를 나타내는 개인 파라미터에 의거하여 상기 제 1 반사점을 보정하고, 상기 보정된 상기 제 1 반사점인 보정 반사점을 산출하는 보정 반사점 산출 수단과,
    상기 보정 반사점의 광과 상기 주변 환경의 광에 의거하여 상기 주시점을 검출하는 주시점 검출 수단을 구비한 것을 특징으로 하는 주시점 검출 장치.
  2. 제 1 항에 있어서,
    상기 안구 화상으로부터 상기 안구의 자세를 산출하는 자세 산출 수단을 구비하고,
    상기 반사점 추정 수단은 상기 안구의 상기 자세와 상기 안구의 기하 모델에 의거하여 상기 제 1 반사점을 추정하는 것을 특징으로 하는 주시점 검출 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 반사점 추정 수단은 상기 피험자의 상기 시선 방향이 상기 피험자의 상기 안구의 상기 광축 방향으로 평행하다고 가정하는 모델에 의거하여 상기 제 1 반사점을 추정하는 것을 특징으로 하는 주시점 검출 장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 주변 환경의 광은 LED 어레이 프로젝터의 광인 것을 특징으로 하는 주시점 검출 장치.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 주변 환경의 광은 패턴 발광 마커의 광인 것을 특징으로 하는 주시점 검출 장치.
  6. 피험자의 주변 환경에의 주시점을 검출하는 주시점 검출 방법으로서,
    상기 피험자의 안구 화상을 취득하는 안구 화상 취득 공정과,
    상기 피험자의 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 상기 안구 화상으로부터 추정하는 반사점 추정 공정과,
    상기 피험자의 시선 방향과 상기 안구의 상기 광축 방향의 차를 나타내는 개인 파라미터에 의거하여 상기 제 1 반사점을 보정하고, 상기 보정된 상기 제 1 반사점인 보정 반사점을 산출하는 보정 반사점 산출 공정과,
    상기 보정 반사점의 광과 상기 주변 환경의 광에 의거하여 상기 주시점을 검출하는 주시점 검출 공정을 포함하는 것을 특징으로 하는 주시점 검출 방법.
  7. 피험자의 시선 방향과 상기 피험자의 안구의 광축 방향의 차를 나타내는 개인 파라미터를 산출하는 개인 파라미터 산출 장치로서,
    상기 피험자의 안구 화상을 취득하는 안구 화상 취득 수단과,
    상기 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 상기 안구 화상으로부터 추정하는 반사점 추정 수단과,
    상기 피험자의 주시점으로부터 도래한 광이 반사되는 제 2 반사점을 상기 안구 화상으로부터 검출하는 반사점 검출 수단과,
    상기 제 1 반사점과 상기 제 2 반사점에 의거하여 상기 피험자의 상기 개인 파라미터를 산출하는 개인 파라미터 산출 수단을 구비한 것을 특징으로 하는 개인 파라미터 산출 장치.
  8. 제 7 항에 있어서,
    상기 안구 화상으로부터 상기 안구의 자세를 산출하는 자세 산출 수단을 구비하고,
    상기 반사점 추정 수단은 상기 안구의 상기 자세와 상기 안구의 기하 모델에 의거하여 상기 제 1 반사점을 추정하는 것을 특징으로 하는 개인 파라미터 산출 장치.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 반사점 추정 수단은 상기 피험자의 상기 시선 방향이 상기 피험자의 상기 안구의 상기 광축 방향으로 평행하다고 가정하는 모델에 의거하여 상기 제 1 반사점을 추정하는 것을 특징으로 하는 개인 파라미터 산출 장치.
  10. 피험자의 시선 방향과 상기 피험자의 안구의 광축 방향의 차를 나타내는 개인 파라미터를 산출하는 개인 파라미터 산출 방법으로서,
    상기 피험자의 안구 화상을 취득하는 안구 화상 취득 공정과,
    상기 안구의 광축 방향으로부터 도래한 광이 반사되는 제 2 반사점을 상기 안구 화상으로부터 추정하는 반사점 추정 공정과,
    상기 피험자의 주시점으로부터 도래한 광이 반사되는 제 1 반사점을 상기 안구 화상으로부터 검출하는 반사점 검출 공정과,
    상기 제 1 반사점과 상기 제 2 반사점에 의거하여 상기 피험자의 상기 개인 파라미터를 산출하는 개인 파라미터 산출 공정을 포함하는 것을 특징으로 하는 개인 파라미터 산출 방법.
  11. 삭제
  12. 삭제
  13. 피험자의 주변 환경에의 주시점을 검출하는 주시점 검출 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서,
    상기 프로그램은,
    상기 피험자의 안구 화상을 취득하는 안구 화상 취득 스텝과,
    상기 피험자의 안구의 광축 방향으로부터 도래한 광이 반사되는 제 1 반사점을 상기 안구 화상으로부터 추정하는 반사점 추정 스텝과,
    상기 피험자의 시선 방향과 상기 안구의 상기 광축 방향의 차를 나타내는 개인 파라미터에 의거하여 상기 제 1 반사점을 보정하고, 상기 보정된 상기 제 1 반사점인 보정 반사점을 산출하는 보정 반사점 산출 스텝과,
    상기 보정 반사점의 광과 상기 주변 환경의 광에 의거하여 상기 주시점을 검출하는 주시점 검출 스텝을 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
  14. 피험자의 시선 방향과 상기 피험자의 안구의 광축 방향의 차를 나타내는 개인 파라미터를 산출하는 개인 파라미터 산출 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서,
    상기 프로그램은,
    상기 피험자의 안구 화상을 취득하는 안구 화상 취득 스텝과,
    상기 안구의 광축 방향으로부터 도래한 광이 반사되는 제 2 반사점을 상기 안구 화상으로부터 추정하는 반사점 추정 스텝과,
    상기 피험자의 주시점으로부터 도래한 광이 반사되는 제 1 반사점을 상기 안구 화상으로부터 검출하는 반사점 검출 스텝과,
    상기 제 1 반사점과 상기 제 2 반사점에 의거하여 상기 피험자의 상기 개인 파라미터를 산출하는 개인 파라미터 산출 스텝을 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
KR1020147028586A 2012-07-31 2013-07-24 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체 KR101506525B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012169223 2012-07-31
JPJP-P-2012-169223 2012-07-31
PCT/JP2013/070061 WO2014021169A1 (ja) 2012-07-31 2013-07-24 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
KR20140126419A KR20140126419A (ko) 2014-10-30
KR101506525B1 true KR101506525B1 (ko) 2015-03-27

Family

ID=50027847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147028586A KR101506525B1 (ko) 2012-07-31 2013-07-24 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체

Country Status (8)

Country Link
US (1) US9262680B2 (ko)
EP (1) EP2826414B1 (ko)
JP (1) JP5467303B1 (ko)
KR (1) KR101506525B1 (ko)
CN (1) CN104244807B (ko)
CA (1) CA2870751C (ko)
TW (1) TWI489969B (ko)
WO (1) WO2014021169A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3011952B1 (fr) * 2013-10-14 2017-01-27 Suricog Procede d'interaction par le regard et dispositif associe
WO2015146491A1 (ja) * 2014-03-25 2015-10-01 株式会社Ｊｖｃケンウッド 検出装置および検出方法
WO2016013634A1 (ja) * 2014-07-24 2016-01-28 国立研究開発法人科学技術振興機構 画像位置合わせ装置、画像位置合わせ方法、および、画像位置合わせプログラム
JP6839656B2 (ja) 2015-03-23 2021-03-10 コントローラッド システムズ、インコーポレイテッドＣｏｎｔｒｏｌｒａｄ Ｓｙｓｔｅｍｓ，Ｉｎｃ． 視標追跡システム
JP6334477B2 (ja) * 2015-08-24 2018-05-30 Ｎｅｃフィールディング株式会社 画像表示装置、画像表示方法及びプログラム
US10016130B2 (en) 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
KR101745140B1 (ko) 2015-09-21 2017-06-08 현대자동차주식회사 시선 추적 장치 및 방법
JP6576574B2 (ja) * 2016-03-11 2019-09-18 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 眼球モデルを生成するための角膜球追跡
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
US10082866B2 (en) * 2016-04-12 2018-09-25 International Business Machines Corporation Gaze point detection using dynamic facial reference points under varying lighting conditions
CN114495249A (zh) * 2016-07-14 2022-05-13 奇跃公司 使用角膜曲率的虹膜边界估计
EP3485425B1 (en) 2016-07-14 2023-08-23 Magic Leap, Inc. Deep neural network for iris identification
WO2018039269A1 (en) 2016-08-22 2018-03-01 Magic Leap, Inc. Augmented reality display device with deep learning sensors
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
JP6872011B2 (ja) 2016-10-04 2021-05-19 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 畳み込みニューラルネットワークのための効率的データレイアウト
EP3305176A1 (en) 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
EP3542250A4 (en) 2016-11-15 2020-08-26 Magic Leap, Inc. DEPTH LEARNING SYSTEM FOR DETECTION OF RUBBERS
WO2018106542A1 (en) 2016-12-05 2018-06-14 Magic Leap, Inc. Virtual user input controls in a mixed reality environment
US10319108B2 (en) * 2017-02-14 2019-06-11 Jx Imaging Arts, Llc System and method for machine vision object orientation measurement
WO2018170421A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Room layout estimation methods and techniques
IL271929B (en) 2017-07-26 2022-07-01 Magic Leap Inc Neural network training with displays of user interface devices
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
WO2019060283A1 (en) 2017-09-20 2019-03-28 Magic Leap, Inc. PERSONALIZED NEURONAL FOLLOW-UP NETWORK
AU2018354257A1 (en) 2017-10-26 2020-05-14 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
TWI647472B (zh) * 2018-01-22 2019-01-11 國立臺灣大學 雙模式視線追蹤方法與系統
JP6840697B2 (ja) * 2018-03-23 2021-03-10 株式会社豊田中央研究所 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
JP7146585B2 (ja) * 2018-11-13 2022-10-04 本田技研工業株式会社 視線検出装置、プログラム、及び、視線検出方法
CN110334579B (zh) * 2019-05-06 2021-08-03 北京七鑫易维信息技术有限公司 一种虹膜识别图像确定方法、装置、终端设备及存储介质
TWI748857B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI748858B (zh) * 2019-08-07 2021-12-01 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
TWI716959B (zh) * 2019-08-07 2021-01-21 華南商業銀行股份有限公司 基於影像追蹤的商品推廣系統及方法
CN111281337B (zh) * 2020-03-02 2023-03-14 南方科技大学 图像采集设备及基于图像采集设备的眼底视网膜成像方法
RU2738070C1 (ru) * 2020-05-13 2020-12-07 Общество С Ограниченной Ответственностью «Тотал Вижен» (Ооо "Тотал Вижен") Устройство определения координат линии взора наблюдателя в режиме реального времени
TWI767232B (zh) 2020-05-20 2022-06-11 財團法人工業技術研究院 透明顯示系統、視差校正方法與圖像輸出方法
CN113827244B (zh) * 2020-06-24 2023-10-17 比亚迪股份有限公司 驾驶员视线方向的检测方法、监控方法、系统和装置
RU2739519C1 (ru) * 2020-06-26 2020-12-25 Общество С Ограниченной Ответственностью "Тотал Вижен" (Ооо "Тотал Вижен") Устройство для демонстрации изображений в определенном диапазоне пространства, отстоящем от линии взора наблюдателя на заданный угол, и фиксации реакции на это изображение
CN112329718A (zh) * 2020-11-26 2021-02-05 北京沃东天骏信息技术有限公司 用于生成信息的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259605A (ja) 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US6359601B1 (en) * 1993-09-14 2002-03-19 Francis J. Maguire, Jr. Method and apparatus for eye tracking
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US7015950B1 (en) * 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
WO2003034705A2 (en) * 2001-10-19 2003-04-24 University Of North Carolina At Chapel Hill Methods and systems for dynamic virtual convergence and head mountable display
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
WO2006101943A2 (en) * 2005-03-16 2006-09-28 Lc Technologies, Inc. System and method for eyeball surface topography as a biometric discriminator
SE0602545L (en) 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
ES2880475T3 (es) * 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
US8860729B2 (en) * 2009-07-22 2014-10-14 Imagemovers Digital Llc Gaze intent estimation for retargeting of characters
GB0920809D0 (en) * 2009-11-27 2010-01-13 Qinetiq Ltd Eye tracking apparatus
JP5511336B2 (ja) * 2009-12-01 2014-06-04 日立アロカメディカル株式会社 パッケージラック
JP5371051B2 (ja) * 2010-02-25 2013-12-18 国立大学法人神戸大学 視線計測装置、方法及びプログラム
RU2565482C2 (ru) * 2010-03-22 2015-10-20 Конинклейке Филипс Электроникс Н.В. Система и способ для отслеживания точки взгляда наблюдателя
US20120156652A1 (en) * 2010-12-16 2012-06-21 Lockheed Martin Corporation Virtual shoot wall with 3d space and avatars reactive to user fire, motion, and gaze direction
CN102043952B (zh) * 2010-12-31 2012-09-19 山东大学 一种基于双光源的视线跟踪方法
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259605A (ja) 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム

Also Published As

Publication number Publication date
US20150154758A1 (en) 2015-06-04
EP2826414A1 (en) 2015-01-21
TWI489969B (zh) 2015-07-01
CN104244807A (zh) 2014-12-24
CA2870751C (en) 2015-08-18
US9262680B2 (en) 2016-02-16
EP2826414A4 (en) 2015-12-02
KR20140126419A (ko) 2014-10-30
JP5467303B1 (ja) 2014-04-09
TW201414450A (zh) 2014-04-16
CN104244807B (zh) 2016-10-19
WO2014021169A1 (ja) 2014-02-06
CA2870751A1 (en) 2014-02-06
JPWO2014021169A1 (ja) 2016-07-21
EP2826414B1 (en) 2016-11-30

Similar Documents

Publication Publication Date Title
KR101506525B1 (ko) 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체
JP6902075B2 (ja) 構造化光を用いた視線追跡
KR100850357B1 (ko) 시선 위치 추적 방법 및 그 장치
JP6548171B2 (ja) 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム
US20190033988A1 (en) Controller tracking for multiple degrees of freedom
JP2017142813A (ja) 仮想現実システムの較正
KR20160024986A (ko) 깊이 카메라를 통한 시선 추적
US7810926B2 (en) Lateral gaze angle estimation using relative eye separation
WO2016027627A1 (ja) 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
US11579449B2 (en) Systems and methods for providing mixed-reality experiences under low light conditions
CN110895676B (zh) 动态对象跟踪
US10485420B2 (en) Eye gaze tracking
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
WO2018216342A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019098024A (ja) 画像処理装置及び画像処理方法
JP2012055418A (ja) 視線検出装置及び視線検出方法
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置
Borsato et al. Towards a low cost and high speed mobile eye tracker
CN115004186A (zh) 三维（3d）建模
US20230335024A1 (en) Position information acquisition device, head-mounted display, and position information acquisition method
WO2020049665A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
Dopico et al. Distributed Real-Time Computation of the Point of Gaze

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180316

Year of fee payment: 4