Nothing Special   »   [go: up one dir, main page]

CN106056092B - 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 - Google Patents

基于虹膜与瞳孔的用于头戴式设备的视线估计方法 Download PDF

Info

Publication number
CN106056092B
CN106056092B CN201610409586.6A CN201610409586A CN106056092B CN 106056092 B CN106056092 B CN 106056092B CN 201610409586 A CN201610409586 A CN 201610409586A CN 106056092 B CN106056092 B CN 106056092B
Authority
CN
China
Prior art keywords
pupil
iris
center
dimensional
human eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610409586.6A
Other languages
English (en)
Other versions
CN106056092A (zh
Inventor
秦华标
费舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201610409586.6A priority Critical patent/CN106056092B/zh
Publication of CN106056092A publication Critical patent/CN106056092A/zh
Priority to PCT/CN2016/111600 priority patent/WO2017211066A1/zh
Priority to US15/770,354 priority patent/US10353465B2/en
Application granted granted Critical
Publication of CN106056092B publication Critical patent/CN106056092B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只利用单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，通过提取的眼动二维中心特征对瞳孔和虹膜进行三维空间建模，建立三维视线方向向量并结合视线方向角度信息，从而估计人眼注视点的位置。本发明充分考虑了头戴式设备应用的特点，在保证头戴式设备下注视点估计精度的同时，极大地减小了系统整体结构和标定过程的复杂度，为头戴式设备下的视线跟踪提供了一种精度高、复杂度低的解决方法。

Description

基于虹膜与瞳孔的用于头戴式设备的视线估计方法
技术领域
本发明涉及人机交互方式中的视线跟踪技术领域，具体涉及基于虹膜与瞳孔的用于头戴式设备的视线估计方法。
背景技术
视线跟踪技术作为最新颖的人机交互方式，具有精度高、简单易用、稳定性好以及对用户干扰性小等优点。因此，视线跟踪技术在医学辅助诊断、残疾人辅助设备、广告与市场分析以及日常人机交互等多个领域具有广阔的应用前景。此外，增强现实越来越深入到人们的生活，如何将视线跟踪技术与增强现实相结合，构建实时交互的视觉化增强现实成为人们越来越关注的焦点。
增强现实AR(Augmented Reality)是对用户周围真实世界中的现实信息通过三维注册技术进行增强，从而达到真实世界信息与虚拟世界信息的“无缝”集成，带给用户超现实的感官体验。为了给增强现实系统提供一种简单、高效且双向的交互方式，将视线跟踪技术与增强现实相结合，不仅能够跟踪用户的视线方向，获取用户在场景中的感兴趣区域，还可以体现增强现实系统虚实结合的特点，其中，具有视线跟踪功能的基于头戴式显示器的增强现实系统通过红外摄像头捕获的人眼图像以跟踪视线方向，视线转移视角、播放音乐以及打开视频等操作，拥有很强的增强现实的效果，具有重要的研究意义，近年来引起了广泛的关注。
头戴式视线跟踪系统的结构具有特殊性，当人眼注视空间某一物体且头部自由转动时，人眼与注视屏幕以及摄像头之间的相对位置和距离始终保持不变，无需考虑头部转动对注视点估计的影响，因此，头戴式视线跟踪系统的设计为视线跟踪技术领域的研究提供了一种新的思路，从研究估计注视点位置的过程中如何避免头部大范围转动的影响转换为研究如何在头戴式系统狭小的空间内更加简单精确地跟踪人眼运动信息以获取人眼视线方向。综上所述，精确地提取近红外光下表征视线方向的眼动特征以及建立简单高效的视线映射模型成为头戴式视线跟踪系统研究中两大关键的任务。
对于眼动特征的提取，其提取效果应该满足精度高和实时性强的要求。在头戴式视线跟踪系统中，摄像头距离人眼较近，所捕获的人眼图像清晰，但光照不均会造成人眼图像在清晰度上的差异；此外，由于系统中反射镜的影响，摄像头所捕获的人眼图像会产生形变，且当眼球转动角度较大时，部分眼动特征会受到眼睑或睫毛的遮挡以致轮廓不完整或产生虚假轮廓。目前的眼动特征提取算法大多提取瞳孔特征并结合角膜反射光斑或眼睛内外角点，为提取准确表征视线方向的眼动特征，这些算法往往计算复杂，无法保证眼动特征提取的实时性。因此，如何在近红外光下快速、准确地提取眼动特征是头戴式视线跟踪系统的技术难点之一。
对于视线映射模型的建立，其目的是利用提取的眼动特征获取注视点位置。在头戴式视线跟踪系统中，摄像头与人眼位置相对固定，头部运动并不会对注视点的计算造成影响，但用户在使用系统时往往希望佩戴简单且使用方便。在目前的视线映射模型中，二维映射模型算法简单，无需预先知道系统设备和用户的位置信息，但为建立二维映射方程，往往需要利用多个红外光源或较多的屏幕标定点；而三维映射模型算法复杂，为了获得眼睛三维中心与屏幕注视点的映射关系，需要复杂的立体摄像机或多个摄像机采集人眼图像，整个视线跟踪系统硬件复杂。因此，如何在保证注视点估计高精度的同时，只利用单摄像头和单红外光源建立标定过程简单的视线映射模型时头戴式视线跟踪系统中存在的主要技术难点。
发明内容
本发明公开了基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只利用单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，通过提取的眼动二维中心特征对瞳孔和虹膜进行三维空间建模，建立三维视线方向向量并结合视线方向角度信息，从而估计人眼注视点的位置。本发明充分考虑了头戴式设备应用的特点，在保证头戴式设备下注视点估计精度的同时，极大地减小了系统整体结构和标定过程的复杂度。
本发明的目的至少通过以下技术方案之一实现。
基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只需要单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，具体包括如下步骤:
(1)眼动特征提取：头戴式设备中人眼距离屏幕以及摄像头较近，对摄像头捕获的近红外光下的人眼图像，采用先获取眼动特征轮廓再定位眼动特征中心的思路，对于分割的瞳孔和虹膜特征区域，利用边缘检测、椭圆拟合算法获取瞳孔和虹膜的二维中心参数；
(2)眼动特征三维空间建模：人眼与屏幕以及摄像机的相对位置和距离始终保持不变，同时瞳孔和虹膜并不位于同一平面且虹膜位于瞳孔前方；根据图像像素坐标系到摄像机坐标系的转换公式，将人眼观察屏幕四个区域内中心标定点时摄像机捕获的人眼二维图像信息与标定点位置信息相结合，对眼动特征向量进行三维空间建模得到三维视线映射模型，即获得人眼注视四个区域中心标定点时的瞳孔和虹膜三维中心坐标参数；
(3)注视点位置估计：当人眼注视屏幕上任意一点时，将二维人眼图像中提取的瞳孔以及虹膜中心参数与四个标定点的二维中心相比较以定位人眼注视区域，利用已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点的位置。
进一步地，所述步骤(1)包括：
a.对于输入的人眼图像，采用模板匹配算法对右眼区域进行初定位；
b.对于瞳孔中心特征提取部分，首先采用OTSU算法结合直方图峰值搜索阈值补偿算法实现对瞳孔区域的自动分割，并采用最大连通区域搜索算法消除瞳孔二值图像上的噪声团块，利用Sobel边缘检测获得瞳孔边缘，最后通过RANSAC椭圆拟合算法获取瞳孔中心参数信息；
c.对于虹膜中心特征提取部分，以瞳孔特征提取中心作为ROI区域的中心确定虹膜感兴趣区域，利用数字形态学结合直方图迭代算法获取虹膜二值图像，由于虹膜的上下边缘较易受到眼睑和睫毛的遮挡，因此利用Sobel垂直边缘检测获取虹膜垂直边缘信息后，通过椭圆拟合获得虹膜中心参数信息。
进一步地，所述步骤(2)包括：
a.摄像机内参数标定，采用张正友平面标定法，利用固定位置的摄像头拍摄的不同角度和距离下的棋盘图像对摄像机的内参数进行标定，以获取物体二维图像坐标系到摄像机坐标系转换公式中的缩放因子参数信息；
b.将注视屏幕分成大小相等的四个区域并在每个区域的中心设置一个标定点，将瞳孔二维中心坐标和已知的瞳孔深度信息值即瞳孔三维中心到摄像机光心的距离代入到步骤a所述的公式中，获得瞳孔三维坐标参数；
c.根据人眼视线方向下虹膜平面以及视线在屏幕投影后的几何相似性，利用屏幕标定点坐标和步骤b获取的瞳孔三维坐标计算虹膜深度信息值，再将虹膜二维中心坐标和虹膜深度信息值代入到步骤a所述的公式中，获得虹膜三维坐标参数。
进一步地，所述步骤(3)包括：
a.当人眼注视屏幕上任意一点时，将提取的瞳孔二维中心坐标与四个标定点对应的瞳孔二维中心相比较以定位人眼注视区域；
b.根据瞳孔中心和虹膜中心在三维空间中不共点，引起瞳孔中心和虹膜中心在二维平面不共线的特点，利用瞳孔和虹膜二维中心坐标获取人眼视线估计角度信息；
c.利用步骤(2)已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点位置。
进一步优化实施地，所述步骤(1)中包括：
从摄像机中获取人眼图像，利用模版匹配算法对右眼区域进行定位；对于定位好的右眼区域，为了获得精确的瞳孔中心参数信息，采用OTSU结合直方图峰值搜索阈值补偿算法确定瞳孔分割阈值，采用图像连通区域搜索算法消除瞳孔二值图像中的噪声团块，利用Sobel边缘检测获得瞳孔边缘，再通过RANSAC椭圆拟合获取瞳孔中心参数信息；当准确提取瞳孔特征参数后，以瞳孔中心作为ROI区域的中心确定虹膜感兴趣区域，利用数字形态学结合直方图迭代算法获取虹膜二值图像，采用Sobel垂直边缘检测获取虹膜垂直边缘信息后，通过椭圆拟合获得虹膜中心参数信息。
进一步优化实施地，所述步骤(2)中包括：
将注视屏幕分成大小相等的四个区域并在每个区域的中心设置一个标定点，利用步骤(1)提取人眼分别注视四个标定点时的瞳孔和虹膜二维中心坐标；利用张正友平面标定法对摄像机的内参数进行标定，获取图像像素坐标系到摄像机坐标系转换公式中的缩放因子参数；将瞳孔二维中心坐标和已知的瞳孔深度信息值代入公式中获取瞳孔三维坐标参数；根据视线方向在虹膜平面和屏幕上投影的几何相似性，利用已经获取的瞳孔三维中心和屏幕标定点坐标计算虹膜深度信息值，并将其和虹膜二维中心坐标代入公式中获取虹膜三维中心坐标信息。
进一步优化实施地，所述步骤(3)中包括：
当人眼注视屏幕任意一点时，将利用步骤(1)提取的瞳孔二维中心坐标与四个标定点对应的瞳孔二维中心相比较以定位人眼注视区域；根据瞳孔中心和虹膜中心在三维空间中不共点，引起瞳孔中心和虹膜中心在二维平面不共线的原理，利用瞳孔和虹膜二维中心坐标获取人眼视线估计角度信息；将视线估计角度信息与瞳孔－虹膜三维视线方向向量结合以获得最终人眼注视点位置。
与现有技术相比，本发明的优点与积极效果在于：
1、精确、快速的眼动特征提取。精确的眼动特征提取是视线跟踪系统各方面性能得以保证的基础。目前的特征提取算法大多是提取瞳孔中心结合普尔钦斑点或眼睛内外角点作为眼动特征，在头戴式视线跟踪系统下，红外光源以及反射镜会使人眼图像对比度不均匀并使人眼图像发生形变，导致提取的眼动特征不能反映真实的人眼运动变化。本发明选取瞳孔和虹膜稳定的特征作为头戴式设备视线跟踪的眼动特征，采用先获取眼动特征轮廓再定位眼动特征中心的思路，在传统OTSU算法的基础上结合直方图峰值搜索阈值补偿算法实现对瞳孔区域的精确分割，利用直方图迭代算法获取虹膜区域分割阈值，采用Sobel边缘检测以及RANSAC椭圆拟合算法分别提取瞳孔和虹膜中心特征参数，满足头戴式视线跟踪系统对于眼动特征提取精度和实时性的要求。
2、精确、高效的视线映射模型建立。视线跟踪系统的最终目的是利用建立的视线映射模型估计人眼注视点位置。在目前的视线映射模型中，二维视线映射模型方法简单，在头部静止不动时拥有较高的注视点估计精度，但此映射模型的建立需要多个红外光源或较多的标定点的辅助；三维视线映射模型方法复杂，为直接利用眼睛三维信息获取精确的注视点估计位置，往往需要多个摄像头和多个红外光源的相互配合使用，以上两种视线映射模型均在一定程度上增加了系统的复杂度，在头戴式视线跟踪系统的应用上存在限制。本发明充分考虑头戴式视线跟踪系统下人眼与注视屏幕以及摄像头的相对位置和距离始终保持不变这一特点，只利用单摄像头和单红外光源以及屏幕上指定区域的四个标定点，提出新颖的基于瞳孔和虹膜的三维视线映射模型，利用提取的眼动二维中心特征对瞳孔和虹膜进行三维空间建模，建立三维视线方向向量并结合视线角度信息，从而估计人眼注视点位置。此映射模型对于不同的用户具有普适性，在保证头戴式视线跟踪系统注视点估计精度的同时，极大地减小了系统整体结构和标定过程的复杂度。
附图说明
图1是本发明实施方式中视线映射模型建立的整体框架图。
图2是本发明实施方式中屏幕观测点(4个标定点和16个注视点)的分布图。
具体实施方式
下面结合附图和实例对本发明的具体实施方式作进一步说明，但本发明的实施和保护不限于此。
本发明利用头戴式设备将摄像头以及红外光源固定在头部附近，其中，获取人眼图像的摄像头分辨率为640*480，红外摄像头的功率为3W，波长为850mm。
如图1，基于虹膜与瞳孔的用于头戴式设备的视线映射模型建立的具体实施步骤如下：
步骤一：眼睛注视屏幕四个标定点，提取眼动特征信息；
步骤二：对瞳孔和虹膜眼动特征进行三维空间建模；
步骤三：眼睛注视屏幕16个注视点，利用已经建立的三维视线映射模型估计注视点位置。
其中，步骤一的具体实施步骤为：
1、观测者佩戴头戴式设备后，眼睛依次注视前方屏幕上的四个标定点，其标定点分布图如图2所示，分别为屏幕四个相等区域内的中心点。
2、在眼睛注视标定点时提取眼动特征信息：对于每个标定点，分别提取瞳孔中心和虹膜中心作为眼动特征信息，其具体实施步骤为：
2.1单眼区域定位
头戴式视线跟踪系统中，红外光源距离人眼较近，摄像头捕获的只是人眼图像，而非整张人脸，但本发明的视线跟踪算法的基于单眼数据信息，因此，本发明在提取眼动特征前首先利用模版匹配算法对右眼区域进行定位。
2.2瞳孔中心特征提取
a.近红外光下的人眼图像中暗瞳效应明显，瞳孔区域呈现出明显的黑色团块的特点，为了消除图像噪声对瞳孔特征提取的影响，本发明首先利用中值滤波技术对人眼图像进行预处理，消除眼睛周围部分噪声，获取瞳孔区域细节更加明显的人眼图像。
b.头戴式视线跟踪系统下的人眼图像中，瞳孔区域特征明显但与其它区域对比度不均匀，因此，本发明利用最大类间方差算法(OTSU算法)获取瞳孔区域分割初步阈值后，根据人眼图像直方图的特点，通过直方图峰值搜索阈值补偿算法对初步分割阈值做一个补偿以获取最终的瞳孔分割阈值，将瞳孔区域与背景区域自动分割，获取瞳孔区域分割二值图像。
c.红外光照会在角膜上产生反射光斑，当眼球转动时，反射光斑会出现在瞳孔外部、瞳孔内部以及瞳孔边界三个位置上，尤其是当反射光斑出现在瞳孔边界上时会对瞳孔分割造成影响，导致瞳孔分割二值图像在反射光斑处产生凹陷，而非一个完整的椭圆。为了获取有效瞳孔边缘信息，本发明采用Sobel边缘检测算法分别提取瞳孔的竖直和水平边缘，并在两个方向上分别选取最长的边缘作为瞳孔边缘提取的结果，作为后续瞳孔椭圆拟合的有效边缘点集。
d.采用RANSAC椭圆拟合算法，通过不断的迭代获取最终瞳孔二维中心特征参数。
2.3虹膜中心特征提取
a.在近红外人眼图像中，瞳孔区域位于虹膜区域内，因此，当准确地提取瞳孔中心之后，为了消除面部其他区域对虹膜特征提取的影响，本发明首先以瞳孔中心作为虹膜感兴趣区域的中心，以适当的长度作为感兴趣区域矩形的边长对虹膜区域进行初定位。
b.为使虹膜区域中的像素值占据较大的灰度范围且分布均匀，使虹膜区域具有较高的对比度，本发明采用直方图均衡化算法对图像进行非线性拉伸，以增大虹膜区域与背景灰度之间的差别。
c.由于虹膜分割阈值位于瞳孔分割阈值与像素灰度最大值之间，因此，以已经确定的瞳孔分割阈值为起点，采用直方图迭代的方法获取虹膜分割二值图像。
d.与瞳孔区域在人眼图像中所占比例相比，虹膜区域所占比例较大且其上下眼睑易受眼睑和睫毛的遮挡，因此，本发明利用Sobel垂直边缘检测算子提取虹膜垂直边缘，并利用RANSAC椭圆拟合算法对虹膜进行椭圆拟合，获取虹膜二维中心特征参数。
其中，步骤二的具体实施步骤为：
1、摄像机内参数标定
摄像机捕获人眼图像后，其人眼图像像素坐标系到摄像机坐标系的转换公式为：
其中，坐标(u,v)表示人眼图像像素点在图像数组中所在的列数和行数，(dx,dy)分别表示每个像素在横轴和纵轴的物理尺寸，(u0,v0)表示图像主点，f为摄像机焦距，而(Xc,Yc,Zc)表示在摄像机坐标系下眼动特征三维位置坐标，Zc为深度信息，表示人眼三维中心沿摄像机光轴到摄像机光心的距离。头戴式设备下，摄像头始终位于屏幕的正前方，人脸始终正对摄像机，无法通过瞳孔在平面内的不断移动来对摄像机的内参数进行标定。根据这一特点，本发明采用张正友平面标定法，利用摄像头拍摄的不同角度和距离下的20幅黑白相间的平面棋盘图像来计算摄像机的内参数，获取视线映射模型建立过程中的所有已知的参数信息。
2、眼动特征三维空间建模
眼动特征三维空间建模是三维视线映射模型建立的关键，通过眼动特征二维中心坐标来获取瞳孔和虹膜的三维中心坐标，构建三维视线方向向量以估计注视点位置。由步骤1中的公式可知，此时要获取瞳孔和虹膜眼动特征的三维坐标还需要知道瞳孔和虹膜三维位置相对于摄像机坐标系的深度信息Zc1和Zc2。由于头戴式视线跟踪系统中，头部相对于屏幕和摄像头的距离和位置始终保持不变，因此，当人眼注视屏幕上任意一点时，瞳孔和虹膜中心位置的变化可近似表示为在两个小矩形平面内的移动，两者的深度信息Zc1和Zc2始终保持不变。因此，本发明经过摄像机标定获取摄像机内参数后，为减小注视点估计的误差，将注视屏幕分成大小相等的四个小区域后对眼动特征进行三维空间建模，分别获取人眼注视每个小区域内中心点的瞳孔和虹膜三维坐标。
2.1瞳孔三维坐标获取
将步骤1中的公式进行变形可以得到如下公式：
(u1-u0)×Zc1＝fx×Xc1
(v1-v0)×Zc1＝fy×Yc1
其中，(fx,fy)以及(u0,v0)为摄像机内参数，(u1,v1)为瞳孔二维中心在人眼图像中的像素点位置，而(Xc1,Yc1,Zc1)表示所要求取的瞳孔三维坐标。根据头戴式设备的特点，当人眼注视屏幕不同位置导致瞳孔中心变化时，假设瞳孔深度信息的值等于人脸平面到摄像头光心的距离，其数值已知且始终保持不变。其瞳孔眼动特征三维空间坐标获取过程如下：
1)将注视屏幕分成大小相等的的四个区域并在每一个区域内的中心位置设立一个标定点；
2)摄像机捕获人眼分别注视四个标定点的人眼图像，利用近红外光下眼动特征提取算法获取四个瞳孔二维中心像素点位置坐标；
3)将瞳孔二维中心坐标和瞳孔深度信息以及摄像机内参数分别代入上述两个公式中，即可获得瞳孔三维坐标。
2.2虹膜三维坐标获取
人眼视线方向可近似表示为经过三维瞳孔中心与虹膜中心的连线方向，因此，当获得瞳孔三维中心坐标后，为了获得视线方向还需要计算虹膜三维中心坐标。由于虹膜平面位于瞳孔平面的前方，虹膜深度信息并不等于瞳孔深度信息。根据瞳孔中心在虹膜平面以及屏幕平面投影的几何相似性原理可以得到如下公式：
其中，d表示瞳孔平面距屏幕的距离，(x,y)为屏幕上注视点的坐标，(u2,v2)为虹膜二维中心在人眼图像中的像素点位置，(Xc1,Yc1,Zc1)表示2.1中已经获取的瞳孔三维坐标，而(Xc2,Yc2,Zc2)为所要求取的虹膜三维中心坐标。因此，通过上述公式，即可通过已知的屏幕注视点坐标、对应的瞳孔三维中心坐标以及瞳孔深度信息值首先计算出虹膜深度信息值，将其值代入上述下面的两个公式中即可获得虹膜三维坐标。
其中，步骤三的具体实施步骤为：
1、人眼注视区域定位：
人眼分别注视屏幕上的16个注视点，将提取的瞳孔二维中心坐标与四个标定点对应的瞳孔二维中心坐标相比较以定位人眼注视区域。以缩小注视区域范围，提高注视点位置估计的精度。完成注视点区域定位后，根据步骤二2.1中的公式，由于人眼转动时瞳孔深度信息与虹膜深度信息保持不变，当人眼转动导致瞳孔和虹膜三维中心位置移动时，其相应的瞳孔和虹膜二维中心也在图像平面中发生变化，因此，此时的瞳孔和虹膜三维中心坐标可通过如下公式获得：
其中，(u,v)为定位注视区域内标定点对应的瞳孔(虹膜)二维中心坐标，(u',v')为注视点对应的瞳孔(虹膜)二维中心坐标；(Xc,Yc)为定位注视区域内标定点对应的瞳孔(虹膜)三维中心坐标分量，而(X'c,Y'c)为所要求取的注视点对应的瞳孔(虹膜)三维中心坐标。
2、视线估计角度信息获取：
根据三维空间到二维空间的映射原理，三维空间内一个旋转的圆形映射到二维空间表现为一个椭圆轮廓。因此，当人眼注视空间某一物体以致眼球转动时，其三维视线方向、瞳孔三维中心以及瞳孔二维中心三者之间存在着相互表示的关系，因此，可以通过瞳孔二维中心坐标(u,v)获取视线偏离x-y平面的角度值，公式如下所示；
由于人眼在观察位于前方空间区域内的物体时，其眼球转动的角度变化在一定的范围内，当偏离z轴的角度相同而偏离x-y平面的角度相差180度时，其瞳孔二维映射椭圆的大小和形状相同，此时，需要利用第二个眼动特征(虹膜二维中心坐标)来构建瞳孔－虹膜补偿向量以剔除其中与真实视线方向相反的干扰角度，其计算公式如下所示：
其中，(u,v)表示瞳孔二维中心坐标，表示虹膜二维中心坐标。将补偿角度与获取的两个角度信息做比较，选取与视线补偿角度最为接近的角度作为最终获取的视线估计角度信息值即视线方向角度信息。
3、注视点位置计算：
当人眼注视屏幕上任意一点时，其视线方向经瞳孔三维中心和和虹膜三维中心的连线后与屏幕交叉获得注视点位置，此时首先计算出视线方向向量在x-y平面上的投影向量，再结合视线方向的角度信息即可获得最终屏幕注视点的位置，其计算公式如下所示：
(Yc1-y)＝(Xc1-x)·tan(φ)
其中，(Xc1,Yc1,Zc1)为瞳孔三维中心坐标，(Xc2,Yc2,Zc2)为虹膜三维中心坐标，d为瞳孔平面到屏幕平面的距离，φ为视线方向角度信息。因此，通过步骤三中第一步获得的瞳孔三维中心和虹膜三维中心，结合视线方向角度信息以及瞳孔到屏幕的距离，即可准确地求取屏幕注视带你位置坐标，在保证注视点估计精度的同时，极大地减小了系统结构和标定过程的复杂度。

Claims (2)

1.基于虹膜与瞳孔的用于头戴式设备的视线估计方法，该方法只需要单摄像头和单红外光源以及屏幕四个平均区域内均具有的中心标定点，其特征在于包括如下步骤:
（1）眼动特征提取：头戴式设备中人眼距离屏幕以及摄像头较近，对摄像头捕获的近红外光下的人眼图像，采用先获取眼动特征轮廓再定位眼动特征中心的思路，对于分割的瞳孔和虹膜特征区域，利用边缘检测、椭圆拟合算法获取瞳孔和虹膜的二维中心参数；具体包括：
具体包括：
a. 对于输入的人眼图像，采用模板匹配算法对右眼区域进行初定位；
b.对于瞳孔中心特征提取部分，首先采用OTSU算法结合直方图峰值搜索阈值补偿算法实现对瞳孔区域的自动分割，并采用最大连通区域搜索算法消除瞳孔二值图像上的噪声团块，利用Sobel边缘检测获得瞳孔边缘，最后通过RANSAC椭圆拟合算法获取瞳孔中心参数信息；
c. 对于虹膜中心特征提取部分，以瞳孔特征提取中心作为ROI区域的中心确定虹膜感兴趣区域，利用数字形态学结合直方图迭代算法获取虹膜二值图像，由于虹膜的上下边缘较易受到眼睑和睫毛的遮挡，因此利用Sobel垂直边缘检测获取虹膜垂直边缘信息后，通过椭圆拟合获得虹膜中心参数信息；
（2）眼动特征三维空间建模：人眼与屏幕以及摄像机的相对位置和距离始终保持不变，同时瞳孔和虹膜并不位于同一平面且虹膜位于瞳孔前方；根据图像像素坐标系到摄像机坐标系的转换公式，将人眼观察屏幕四个区域内中心标定点时摄像机捕获的人眼二维图像信息与标定点位置信息相结合，对眼动特征向量进行三维空间建模得到三维视线映射模型，即获得人眼注视四个区域中心标定点时的瞳孔和虹膜三维中心坐标参数；具体包括：
a.摄像机内参数标定，采用张正友平面标定法，利用固定位置的摄像头拍摄的不同角度和距离下的棋盘图像对摄像机的内参数进行标定，以获取物体二维图像坐标系到摄像机坐标系转换公式中的缩放因子参数信息；
b.将注视屏幕分成大小相等的四个区域并在每个区域的中心设置一个标定点，将瞳孔二维中心坐标和已知的瞳孔深度信息值即瞳孔三维中心到摄像机光心的距离代入到步骤a所述的公式中，获得瞳孔三维坐标参数；
c.根据人眼视线方向下虹膜平面以及视线在屏幕投影后的几何相似性，利用屏幕标定点坐标和步骤b获取的瞳孔三维坐标计算虹膜深度信息值，再将虹膜二维中心坐标和虹膜深度信息值代入到步骤a所述的公式中，获得虹膜三维坐标参数；
（3）注视点位置估计：当人眼注视屏幕上任意一点时，将二维人眼图像中提取的瞳孔以及虹膜中心参数与四个标定点的二维中心相比较以定位人眼注视区域，利用已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点的位置。
2.根据权利要求1所述的基于虹膜与瞳孔的用于头戴式设备的视线估计方法，其特征在于所述步骤（3）包括：
a.当人眼注视屏幕上任意一点时，将提取的瞳孔二维中心坐标与四个标定点对应的瞳孔二维中心相比较以定位人眼注视区域；
b. 根据瞳孔中心和虹膜中心在三维空间中不共点，引起瞳孔中心和虹膜中心在二维平面不共线的特点，利用瞳孔和虹膜二维中心坐标获取人眼视线估计角度信息；
c. 利用步骤（2）已经建立的三维视线映射模型计算此注视区域内瞳孔中心和虹膜中心的三维坐标，获取瞳孔－虹膜三维视线方向向量，结合视线估计角度信息以获得最终人眼注视点位置。
CN201610409586.6A 2016-06-08 2016-06-08 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 Expired - Fee Related CN106056092B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610409586.6A CN106056092B (zh) 2016-06-08 2016-06-08 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
PCT/CN2016/111600 WO2017211066A1 (zh) 2016-06-08 2016-12-23 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
US15/770,354 US10353465B2 (en) 2016-06-08 2016-12-23 Iris and pupil-based gaze estimation method for head-mounted device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610409586.6A CN106056092B (zh) 2016-06-08 2016-06-08 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Publications (2)

Publication Number Publication Date
CN106056092A CN106056092A (zh) 2016-10-26
CN106056092B true CN106056092B (zh) 2019-08-20

Family

ID=57170745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610409586.6A Expired - Fee Related CN106056092B (zh) 2016-06-08 2016-06-08 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Country Status (3)

Country Link
US (1) US10353465B2 (zh)
CN (1) CN106056092B (zh)
WO (1) WO2017211066A1 (zh)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
JP6751324B2 (ja) * 2016-09-14 2020-09-02 株式会社デンソーアイティーラボラトリ 虹彩検出装置、虹彩検出方法、およびプログラム
CN108108013A (zh) * 2016-11-25 2018-06-01 深圳纬目信息技术有限公司 一种视线追踪方法
CN108334187A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种带有红外光源和摄像头的头戴式显示设备
CN108334160A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种带有虹膜识别的头戴式显示设备
CN108334188A (zh) * 2017-01-20 2018-07-27 深圳纬目信息技术有限公司 一种带有眼控的头戴式显示设备
US10275648B2 (en) * 2017-02-08 2019-04-30 Fotonation Limited Image processing method and system for iris recognition
CN106843492B (zh) * 2017-02-08 2023-08-29 大连海事大学 一种多人视点校准系统及方法
WO2018215053A1 (en) * 2017-05-23 2018-11-29 Brainlab Ag Determining the relative position between a point cloud generating camera and another camera
CN107390864B (zh) * 2017-06-19 2021-05-04 广东数相智能科技有限公司 基于眼球轨迹追踪的网络调研方法、电子设备及存储介质
CN107329593B (zh) * 2017-06-28 2020-10-09 歌尔科技有限公司 一种vr手柄定位方法及装置
CN109299634A (zh) * 2017-07-25 2019-02-01 上海中科顶信医学影像科技有限公司 斑检测方法、系统、设备及存储介质
CN109300105A (zh) * 2017-07-25 2019-02-01 上海中科顶信医学影像科技有限公司 毛孔检测方法、系统、设备及存储介质
CN107773248B (zh) * 2017-09-30 2024-10-29 优视眼动科技（北京）有限公司 眼动仪及图像处理方法
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法
CN107833251B (zh) * 2017-11-13 2020-12-04 京东方科技集团股份有限公司 瞳孔定位装置和方法、虚拟现实设备的显示驱动器
CN108182377A (zh) * 2017-11-21 2018-06-19 合肥工业大学 基于摄影测量技术的人眼视线检测方法及装置
CN109872378A (zh) * 2017-12-04 2019-06-11 上海聚虹光电科技有限公司 基于红外摄像头的表情图像眼部映射方法
CN108334810B (zh) * 2017-12-25 2020-12-11 北京七鑫易维信息技术有限公司 视线追踪设备中确定参数的方法和装置
CN109978810B (zh) * 2017-12-26 2024-03-12 南通罗伯特医疗科技有限公司 痣的检测方法、系统、设备及存储介质
CN108280403B (zh) * 2017-12-27 2020-08-04 北京七鑫易维信息技术有限公司 确定瞳孔位置的方法和装置
CN110032271B (zh) * 2018-01-12 2020-07-24 京东方科技集团股份有限公司 对比度调节装置及其方法、虚拟现实设备及存储介质
CN108898102B (zh) * 2018-06-29 2021-02-02 上海小蚁科技有限公司 关注商品的确定方法及装置、存储介质、终端
CN108985210A (zh) * 2018-07-06 2018-12-11 常州大学 一种基于人眼几何特征的视线追踪方法及系统
CN110758237A (zh) * 2018-07-27 2020-02-07 深圳富泰宏精密工业有限公司 电子装置及行车安全提醒方法
CN109375765B (zh) * 2018-08-31 2020-10-09 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置
US11615549B2 (en) 2018-12-06 2023-03-28 Htc Corporation Image processing system and image processing method
CN111353506B (zh) * 2018-12-24 2024-10-01 北京三星通信技术研究有限公司 自适应的视线估计方法和设备
CN109656373B (zh) * 2019-01-02 2020-11-10 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质
CN109766818B (zh) * 2019-01-04 2021-01-26 京东方科技集团股份有限公司 瞳孔中心定位方法及系统、计算机设备及可读存储介质
CN109815913B (zh) * 2019-01-28 2022-12-20 安徽大学 基于眼动信息的视觉增强感知系统及其方法
CN109857254B (zh) * 2019-01-31 2020-06-05 京东方科技集团股份有限公司 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质
CN117590582A (zh) * 2019-04-11 2024-02-23 三星电子株式会社 头戴式显示设备及其操作方法
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
CN112051918B (zh) * 2019-06-05 2024-03-29 京东方科技集团股份有限公司 人眼注视计算方法及人眼注视计算系统
US11181978B2 (en) * 2019-06-17 2021-11-23 Hemy8 Sa System and method for gaze estimation
CN112132755B (zh) * 2019-06-25 2024-09-20 京东方科技集团股份有限公司 校正标定瞳孔位置的方法、装置、系统及计算机可读介质
CN110490235B (zh) * 2019-07-23 2021-10-22 武汉大学 一种面向2d图像的车辆对象视点预测与三维模型恢复方法及装置
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品
CN110493523B (zh) * 2019-08-27 2021-03-16 Oppo广东移动通信有限公司 图像显示方法、装置、终端及存储介质
CN110568930B (zh) * 2019-09-10 2022-05-17 Oppo广东移动通信有限公司 注视点校准方法及相关设备
CN112528714B (zh) * 2019-09-19 2024-06-14 北京七鑫易维信息技术有限公司 基于单光源的注视点估计方法、系统、处理器及设备
CN112528713B (zh) * 2019-09-19 2024-10-29 北京七鑫易维信息技术有限公司 一种注视点估计方法、系统、处理器及设备
CN110658918B (zh) * 2019-09-25 2023-12-12 京东方科技集团股份有限公司 用于视频眼镜的眼球追踪相机的定位方法、设备及介质
CN110728717B (zh) * 2019-09-27 2022-07-15 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110780742B (zh) * 2019-10-31 2021-11-02 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN110956590B (zh) * 2019-11-04 2023-11-17 张杰辉 一种虹膜图像的去噪装置、方法及存储介质
CN110807427B (zh) * 2019-11-05 2024-03-01 中航华东光电（上海）有限公司 一种视线追踪方法、装置、计算机设备和存储介质
JP6725121B1 (ja) * 2019-11-13 2020-07-15 株式会社スワローインキュベート 視線検出方法、視線検出装置、及び制御プログラム
CN111178189B (zh) * 2019-12-17 2024-04-09 北京无线电计量测试研究所 一种网络学习辅助方法和系统
CN111176447A (zh) * 2019-12-25 2020-05-19 中国人民解放军军事科学院国防科技创新研究院 一种融合深度网络和几何模型的增强现实眼动交互方法
CN111443804B (zh) * 2019-12-27 2022-08-19 安徽大学 基于视频分析的注视点轨迹描述方法及其系统
CN111429316A (zh) * 2020-03-23 2020-07-17 宁波视科物电科技有限公司 一种基于增强现实眼镜的在线学习专注力检测系统及方法
CN111428634B (zh) * 2020-03-23 2023-06-27 中国人民解放军海军特色医学中心 一种采用六点法分块模糊加权的人眼视线追踪定位方法
CN111429526B (zh) * 2020-03-23 2023-04-14 中国人民解放军海军特色医学中心 一种基于四分法逐层分割九点定位的视线追踪标定方法
CN111311995A (zh) * 2020-03-23 2020-06-19 宁波视科物电科技有限公司 一种基于增强现实技术的远程教学系统及教学方法
CN113760083B (zh) * 2020-06-01 2024-11-19 张也弛 操作者目光在终端设备屏幕上落点位置的确定方法及装置
CN113903079B (zh) * 2020-07-06 2024-06-18 北京理工大学 一种基于集成化微小型头戴式系统的视线估计方法
CN111915667A (zh) * 2020-07-27 2020-11-10 深圳数联天下智能科技有限公司 一种视线识别方法、识别装置、终端设备及可读存储介质
CN116194964A (zh) * 2020-08-03 2023-05-30 谷歌有限责任公司 用于训练机器学习视觉注意力模型的系统和方法
CN112069986A (zh) * 2020-09-04 2020-12-11 江苏慧明智能科技有限公司 高龄老人眼动机器视觉跟踪方法及装置
CN112162629A (zh) * 2020-09-11 2021-01-01 天津科技大学 基于外接矩形的实时瞳孔定位方法
TWI750818B (zh) * 2020-09-24 2021-12-21 宏達國際電子股份有限公司 動態調整使用者界面方法、電子裝置及電腦可讀儲存媒體
CN114428547B (zh) * 2020-10-29 2024-10-25 北京七鑫易维信息技术有限公司 视线追踪方法、装置、设备及存储介质
CN112329643B (zh) * 2020-11-06 2021-06-04 重庆第二师范学院 一种学习效率检测方法、系统、电子设备及介质
CN112274153A (zh) * 2020-11-11 2021-01-29 西安工业大学 一种基于视线追踪的操控员反应时测定方法
CN112435347A (zh) * 2020-11-23 2021-03-02 济南浪潮高新科技投资发展有限公司 一种增强现实的电子书阅读系统及方法
CN114581514B (zh) * 2020-11-30 2025-02-07 华为技术有限公司 一种双眼注视点的确定方法和电子设备
CN112257696B (zh) * 2020-12-23 2021-05-28 北京万里红科技股份有限公司 视线估计方法及计算设备
CN112541975B (zh) * 2020-12-24 2024-03-12 华南理工大学 基于三维头部的头戴产品视野计算方法
CN112860059A (zh) * 2021-01-08 2021-05-28 广州朗国电子科技有限公司 一种基于眼球追踪的图像识别方法、设备及存储介质
CN112597972A (zh) * 2021-01-27 2021-04-02 张鹏 一种视线追踪装置及系统及方法
CN113160508B (zh) * 2021-02-28 2022-06-21 宁波工程学院 一种基于人工智能的房车夜间安防系统及方法
CN112926536B (zh) * 2021-04-06 2024-04-16 科大讯飞股份有限公司 变形瞳孔定位方法、装置以及设备
CN113158879B (zh) * 2021-04-19 2022-06-10 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN113160260B (zh) * 2021-05-08 2024-05-07 哈尔滨理工大学 一种头眼双通道智能人机交互系统及运行方法
CN113255476B (zh) * 2021-05-08 2023-05-19 西北大学 一种基于眼动追踪的目标跟踪方法、系统及存储介质
CN113469936B (zh) * 2021-05-08 2023-10-03 温州医科大学 人眼白内障检测系统及晶状体三维模型图像重建方法
CN113052921B (zh) * 2021-05-18 2021-10-15 北京科技大学 一种三维视线跟踪系统的系统标定方法
CN113342161B (zh) * 2021-05-27 2022-10-14 常州工学院 一种基于近眼相机的视线追踪方法
CN113269122B (zh) * 2021-06-09 2024-11-05 兰州大学 一种可穿戴眼动和面部表情同步采集设备及方法
CN113591658B (zh) * 2021-07-23 2023-09-05 深圳全息信息科技发展有限公司 一种基于距离感应的护眼系统
CN113633257B (zh) * 2021-07-29 2023-12-05 佛山市第一人民医院（中山大学附属佛山医院） 基于虚拟现实的前庭功能检查方法、系统、设备及介质
CN113888394B (zh) * 2021-09-18 2024-12-13 阿里巴巴（中国）有限公司 图像变形方法、装置及电子设备
CN114120432B (zh) * 2021-11-17 2025-02-14 湖北大学 基于视线估计的在线学习注意力跟踪方法及其应用
CN114099129B (zh) * 2021-11-23 2024-03-19 杭州叁伟医疗科技有限公司 一种用于高压氧眼部治疗仪的自动控制方法及设备
CN114099985B (zh) * 2021-11-29 2024-01-26 苏州宣嘉光电科技有限公司 通过识别图像特征调节光源模块的装置
CN114049950B (zh) * 2021-12-02 2025-02-07 杭州叁伟医疗科技有限公司 一种用于高压氧眼部治疗仪的自适应调整方法及设备
CN114511655B (zh) * 2022-02-16 2022-11-04 深圳市恒必达电子科技有限公司 一种带气味复现的vr/ar体感装置和气味形成系统
CN114582008A (zh) * 2022-03-03 2022-06-03 北方工业大学 一种基于双波段的活体虹膜检测方法
CN114299600A (zh) * 2022-03-10 2022-04-08 天津市九米九视光技术有限公司 一种视功能检查、训练中的智能反馈方法
CN114638879A (zh) * 2022-03-21 2022-06-17 四川大学华西医院 一种医用的瞳孔大小测量系统
CN114779925A (zh) * 2022-03-22 2022-07-22 天津理工大学 一种基于单目标的视线交互方法及装置
CN114979483B (zh) * 2022-05-24 2023-05-05 河南工业贸易职业学院 一种基于数字摄像机的焦点跟踪方法
CN114898440A (zh) * 2022-05-30 2022-08-12 京东方科技集团股份有限公司 液晶光栅的驱动方法及显示装置、其显示方法
CN115131529A (zh) * 2022-06-15 2022-09-30 浙江大学 多人高空电力协同作业的智能ar眼动交互方法和系统
CN115359548B (zh) * 2022-07-22 2023-07-18 吉林大学第一医院 一种手持式智能瞳孔检测装置及检测方法
CN115270093A (zh) * 2022-07-28 2022-11-01 上海闻泰电子科技有限公司 身份校验方法、装置、电子设备以及存储介质
WO2024107744A1 (en) * 2022-11-15 2024-05-23 Xiaochun Nie Systems and methods for wearable eye tracking slippage detection and correction
CN116704589B (zh) * 2022-12-01 2024-06-11 荣耀终端有限公司 一种注视点估计方法、电子设备和计算机可读存储介质
SE2230401A1 (en) * 2022-12-08 2024-06-09 Tobii Ab An eye tracking system and a corresponding method
SE2350538A1 (en) * 2023-05-03 2024-11-04 Tobii Ab Iris detection and eye gaze tracking
CN117058749B (zh) * 2023-08-17 2024-06-07 深圳市华弘智谷科技有限公司 一种多摄像头透视方法、装置、智能眼镜及存储介质
CN117727087B (zh) * 2024-02-07 2024-05-03 浙江环玛信息科技有限公司 基于虚拟现实的视点校准方法、装置及认知推断系统
CN118226966B (zh) * 2024-05-23 2024-08-02 昆宇蓝程（北京）科技有限责任公司 一种基于材质抽象的真实比例数字月球可视交互系统
CN118778269B (zh) * 2024-09-09 2024-11-19 中国兵器装备集团自动化研究所有限公司 一种无人机可穿戴操控装置及无人机系统
CN118781116A (zh) * 2024-09-11 2024-10-15 南昌虚拟现实研究院股份有限公司 一种干扰光斑筛查方法、系统、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN101901485B (zh) * 2010-08-11 2014-12-03 华中科技大学 3d自由头动式视线跟踪系统
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR102212209B1 (ko) * 2014-04-10 2021-02-05 삼성전자주식회사 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
EP3140780B1 (en) * 2014-05-09 2020-11-04 Google LLC Systems and methods for discerning eye signals and continuous biometric identification
CN105094300B (zh) 2014-05-16 2017-12-12 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法
CN105335115A (zh) * 2014-07-28 2016-02-17 北京三星通信技术研究有限公司 头戴式视线跟踪装置
CN105094337B (zh) * 2015-08-19 2018-06-22 华南理工大学 一种基于虹膜和瞳孔的三维视线估计方法
US10241569B2 (en) * 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Also Published As

Publication number Publication date
US20190121427A1 (en) 2019-04-25
CN106056092A (zh) 2016-10-26
WO2017211066A1 (zh) 2017-12-14
US10353465B2 (en) 2019-07-16

Similar Documents

Publication Publication Date Title
CN106056092B (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN110032278B (zh) 一种人眼感兴趣物体的位姿识别方法、装置及系统
Valenti et al. Combining head pose and eye location information for gaze estimation
CN106168853B (zh) 一种自由空间头戴式视线跟踪系统
CN106066696B (zh) 自然光下基于投影映射校正和注视点补偿的视线跟踪方法
CN106529409B (zh) 一种基于头部姿态的眼睛注视视角测定方法
CN105094337B (zh) 一种基于虹膜和瞳孔的三维视线估计方法
Nishino et al. The world in an eye [eye image interpretation]
Ye et al. Accurate 3d pose estimation from a single depth image
CN106796449B (zh) 视线追踪方法及装置
Jianfeng et al. Eye-model-based gaze estimation by RGB-D camera
Skodras et al. On visual gaze tracking based on a single low cost camera
CN111414798A (zh) 基于rgb-d图像的头部姿态检测方法及系统
CN104809424B (zh) 一种基于虹膜特征实现视线追踪的方法
CN108985210A (zh) 一种基于人眼几何特征的视线追踪方法及系统
JP6191943B2 (ja) 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
CN113348487A (zh) 眼睛跟踪设备及其方法
EP3154407A1 (en) A gaze estimation method and apparatus
CN112069986A (zh) 高龄老人眼动机器视觉跟踪方法及装置
Chi et al. 3-D gaze-estimation method using a multi-camera-multi-light-source system
CN111524175A (zh) 非对称式多摄像头的深度重建及眼动追踪方法及系统
CN108268858A (zh) 一种高鲁棒的实时视线检测方法
Nitschke et al. I see what you see: point of gaze estimation from corneal images
Nitschke Image-based eye pose and reflection analysis for advanced interaction techniques and scene understanding
Tamura et al. Unconstrained and calibration-free gaze estimation in a room-scale area using a monocular camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190820