CN107004132B - 眼球跟踪装置及其辅助光源控制方法及相关装置 - Google Patents

Abstract

一种眼球跟踪装置(100)，包括处理器(110)、红外摄像头(130)及辅助光源(150)；该处理器(110)与该红外摄像头(130)及辅助光源(150)均电气连接；该红外摄像头(130)用于输出帧同步信号；该处理器(110)用于接收该帧同步信号；根据该帧同步信号控制该辅助光源(150)在预设时间段内持续输出红外辅助光；控制该红外摄像头(130)在该预设时间段内曝光；该预设时间段的时长小于帧周期，该帧周期为该帧同步信号的循环周期。一种眼球跟踪装置(100)的辅助光源(150)控制方法、控制装置(300)及一种存储一个或多个程序的非易失性计算机可读存储介质。该眼球跟踪装置(100)具有较低的功耗，且能有效提升眼球图像的成像质量。

Description

眼球跟踪装置及其辅助光源控制方法及相关装置

技术领域

本发明涉及人机交互领域，尤其涉及一种眼球跟踪装置及其辅助光源控制方法、控制装置及一种存储一个或多个程序的非易失性计算机可读存储介质。

背景技术

随着人机交互技术的发展，在智能手机、平板电脑等智能终端中，已经实现了通过眼球跟踪来进行如控制电子书翻页、网页滚屏等简单的操作。目前，眼球跟踪技术主要体现在三个方面：一是根据眼球和眼球周边的特征变化进行跟踪；二是根据虹膜角度变化进行跟踪；三是主动投射红外线等光束到虹膜来提取特征。其中，主动投射红外线等光束到虹膜来提取特征的眼球跟踪技术具有较好的精确度，在基于眼球跟踪的人机交互领域已经得到了较为广泛的应用。然而，在现有的红外投射式眼球跟踪设备中，作为辅助光源的红外发光二极管(Light Emitting Diode，LED)在开启眼球跟踪功能时始终处于发射红外光的开启状态，无疑会增加整个设备的功耗。同时，在超薄化发展的智能手机、平板电脑等智能终端中，因红外LED长时间开启而产生的热量无法及时散出，从而导致终端发热严重，影响产品的用户体验。此外，因红外LED始终处于开启状态，使得红外摄像头在整个帧周期内均能捕捉到红外光，曝光时间较长，若终端或眼球因处于颠簸环境下，则会导致所述红外摄像头捕捉到眼球图像存在拖影等缺陷，进而影响眼球跟踪的精度。

发明内容

本发明实施例所要解决的技术问题在于，提供一种眼球跟踪装置及其辅助光源控制方法、控制装置及一种存储一个或多个程序的非易失性计算机可读存储介质，以解决现有技术中因辅助光源长时间开启而导致发热严重及因颠簸而导致眼球图像存在拖影的问题，从而降低眼球跟踪装置的功耗，提升眼球图像的成像质量及眼球跟踪精度。

第一方面，提供一种眼球跟踪装置，包括处理器、红外摄像头及辅助光源；

所述处理器与所述红外摄像头及辅助光源均电气连接；

所述红外摄像头用于输出帧同步信号；

所述处理器用于接收所述帧同步信号；根据帧同步信号控制所述辅助光源在预设时间段内持续输出红外辅助光；控制所述红外摄像头在所述预设时间段内曝光；

所述预设时间段的时长小于帧周期，所述帧周期为所述帧同步信号的循环周期。

结合第一方面，在第一种可能的实现方式中，所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，所述多个像素行包括依次相邻设置的多个有效像素行，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻。

结合第一方面，在第二种可能的实现方式中，所述辅助光源包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，所述处理器还用于获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，进而根据对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一帧眼球图像的质量。

结合第一方面，在第三种可能的实现方式中，所述处理器还用于获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，进而根据对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一帧眼球图像的质量。

第二方面，提供一种眼球跟踪装置的辅助光源控制方法，包括：

根据帧同步信号控制辅助光源在预设时间段内持续输出红外辅助光；

控制红外摄像头在所述预设时间段内曝光；

其中，所述预设时间段的时长小于帧周期，所述帧周期为所述帧同步信号的循环周期。

结合第二方面，在第一种可能的实现方式中，所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，所述多个像素行包括依次相邻设置的多个有效像素行，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻。

结合第二方面，在第二种可能的实现方式中，所述辅助光源包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，所述方法还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一帧眼球图像的质量。

结合第二方面，在第三种可能的实现方式中，所述方法还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一帧眼球图像的质量。

第三方面，提供一种眼球跟踪装置的辅助光源控制装置，包括：

时序控制模块，用于根据帧同步信号控制辅助光源在预设时间段内持续输出红外辅助光；

所述时序控制模块，还用于控制红外摄像头在所述预设时间段内曝光；

其中，所述预设时间段的时长小于帧周期，所述帧周期为所述帧同步信号的循环周期。

结合第三方面，在第一种可能的实现方式中，所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，所述多个像素行包括依次相邻设置的多个有效像素行，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻。

结合第三方面，在第二种可能的实现方式中，所述辅助光源包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，所述装置还包括：

图像处理模块，用于获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

驱动控制模块，用于根据所述对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一帧眼球图像的质量。

结合第三方面，在第三种可能的实现方式中，所述装置还包括：

图像处理模块，用于获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

所述时序控制模块，还用于根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一帧眼球图像的质量。

第四方面，提供一种存储一个或多个程序的非易失性计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被处理器调用时使处理器执行以下事件：

根据帧同步信号控制辅助光源在预设时间段内持续输出红外辅助光；

控制红外摄像头在所述预设时间段内曝光；

其中，所述预设时间段小于帧周期，所述帧周期为所述帧同步信号的循环周期。

结合第四方面，在第一种可能的实现方式中，所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，所述多个像素行包括依次相邻设置的多个有效像素行，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻。

结合第四方面，在第二种可能的实现方式中，所述辅助光源包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，所述事件还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一帧眼球图像的质量。

结合第四方面，在第三种可能的实现方式中，所述事件还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一帧眼球图像的质量。

所述眼球跟踪装置通过根据帧同步信号控制所述辅助光源在小于所述帧周期的预设时间段内持续输出红外辅助光，并控制所述红外摄像头在所述预设时间段内曝光，完成一帧眼球图像的采集，有效缩短了所述辅助光源的开启时间，以及所述红外摄像头的曝光时间，解决了现有技术中因辅助光源长时间开启而导致发热严重及因颠簸而导致眼球图像存在拖影的问题，降低了眼球跟踪装置的功耗，提升了眼球图像的成像质量及眼球跟踪精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的眼球跟踪装置的结构示意图；

图2是本发明提供的眼球跟踪装置的红外图像传感器的曝光时序示意图；

图3是本发明提供的眼球跟踪装置的另一结构示意图；

图4是图3所示眼球跟踪装置的工作时序逻辑示意图；

图5是本发明提供的眼球跟踪装置的辅助光源控制方法的流程示意图；

图6是本发明提供的眼球跟踪装置的示辅助光源控制方法的另一流程示意图；

图7是本发明提供的眼球跟踪装置的辅助光源控制装置的结构示意图；

图8是图7所示辅助光源控制装置的应用场景示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一实施例提供一种眼球跟踪装置100，应用于智能手机、平板电脑等智能终端(图未示)中，以通过跟踪眼球的运动轨迹控制所述智能终端，从而实现基于眼球跟踪的人机交互，例如，控制智能终端翻页、滚屏、多媒体播放等操作，所述操作功能不做具体限定。

图1是本发明提供的眼球跟踪装置的结构示意图。

请参阅图1，所述眼球跟踪装置100可以包括处理器110、红外摄像头130及辅助光源150，所述处理器110与所述红外摄像头130及辅助光源150均电气连接，所述红外摄像头130用于生成并输出帧同步信号，所述处理器110用于接收所述红外摄像头输出的帧同步信号，且根据所述帧同步信号控制所述辅助光源150在预设时间段内持续输出红外辅助光，并控制所述红外摄像头130在所述预设时间段内曝光，进而完成一帧眼球图像的采集。其中，所述帧周期为所述帧同步信号的循环周期，所述预设时间段的时长小于所述帧周期。

可以理解，所述辅助光源150发出的红外辅助光投射到眼球表面，并在眼球表面形成反光点。在所述辅助光源150输出红外辅助光的同时，通过所述红外摄像头130采集所述形成有反光点的眼球图像，进而通过所述处理器110对所述采集到的眼球图像进行处理，并根据眼球跟踪算法计算得到眼球所注视的屏幕位置的坐标。进一步地，所述眼球跟踪装置100在所述预设时间段内控制所述辅助光源150输出红外辅助光，并控制所述红外摄像头130在所述预设时间段内曝光，完成一帧眼球图像的采集；所述处理器110通过对所述眼球图像进行处理，并根据眼球跟踪算法计算得到所述眼球图像对应的眼球所注视的屏幕位置的坐标，从而根据所述眼球所注视的屏幕位置的坐标的变化计算出眼球的运动轨迹，再进一步根据所述运动轨迹控制所述智能终端进行对应的翻页、滚屏、多媒体播放等操作。

图2是本发明提供的眼球跟踪装置的红外图像传感器的曝光时序示意图。

所述红外摄像头130包括红外图像传感器，所述红外图像传感器可以包括多个像素行，其中，所述多个像素行可以包括依次相邻设置的多个有效像素行(Valid Line)L1～LN和依次相邻设置的多个伪像素行(Dummy Line)D1～DM，所述有效像素行L1～LN在曝光时形成有效数据，所述伪像素行D1～DM为在所述有效像素行L1～LN之外增加的一些不作为有效数据输出的像素行。其中，至少存在一个伪像素行。所述有效像素行在每一个帧周期的曝光时序包括数据读取时间(对应图2中的R部分)和曝光扫描时间(对应图2中的Expo＝full)。其中，在所述曝光扫描时间内，所述有效像素行在红外辅助光发光时曝光以完成图像数据采集；所述数据读取时间用于读取所述有效像素行在前一帧采集到的图像数据。可以理解，不同的红外图像传感器的数据读取时间可以不同。所述红外图像传感器对所述有效像素行进行逐行扫描，所述有效像素行在红外辅助光发光时曝光。

在本实施例中，以所述红外图像传感器包括8个有效像素行L1～L8和4个伪像素行D1～D4为例进行说明，具体如图2所示。其中，Vsync为帧同步信号，所述Vsync为周期信号，其周期为一个帧周期；T0为一个帧周期的起始时刻，T1为最后一个有效像素行L8的曝光扫描起始时刻，T2为一个帧周期的终止时刻。当所述红外图像传感器对所述多个像素行进逐行扫描时，所述8个有效像素行L1～L8在一个帧周期内存在一段同步曝光扫描时间，所述同步曝光扫描时间的起始时刻等于所述第8个有效像素行L8的曝光扫描起始时刻T1，所述同步曝光扫描时间的终止时刻等于当前帧周期的终止时刻T2。

可以理解，所述红外图像传感器可以包括不同的有效像素行和伪像素行，同时，通过配置所述有效像素行与伪像素行的搭配比例，可以调整所述同步曝光扫描时间的长短。在本实施例中，若将所述预设时间设置于所述同步曝光扫描时间段内，并在所述预设时间段内控制所述辅助光源150开启，即可保证所述多个有效像素在所述预设时间段内具有相同的曝光时间长度，进而在所述预设时间段内完成一帧眼球图像的采集。

为避免所述辅助光源150在整个帧周期内始终处于发射红外光的开启状态，增加所述眼球跟踪装置100的功耗和发热量；同时，为了避免在颠簸环境下因曝光时间过长而导致所述红外摄像头130采集到的眼球图像存在拖影缺陷，在本实施例中，通过所述处理器110根据所述帧同步信号控制所述辅助光源150在预设时间段内持续输出红外辅助光，并控制所述红外摄像头130在所述预设时间段内曝光，完成一帧眼球图像的采集。其中，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻。如此，即可以在缩短所述辅助光源150的发光时间及所述红外摄像头130的曝光时间的同时，保证所述多个有效像素行具有相同的曝光时间长度，从而有效降低所述眼球跟踪装置的功耗，并提升所述红外摄像头130在颠簸环境下的眼球图像成像质量。

其中，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻，可以为以下四种情况之一：

所述预设时间段的起始时刻等于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻等于当前帧周期的终止时刻；或

所述预设时间段的起始时刻等于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻早于当前帧周期的终止时刻；或

所述预设时间段的起始时刻晚于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻等于当前帧周期的终止时刻；或

所述预设时间段的起始时刻晚于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻早于当前帧周期的终止时刻。

具体地，所述处理器110根据帧同步信号控制所述辅助光源150在预设时间段内持续输出红外辅助光，控制所述红外摄像头130在所述预设时间段内曝光，包括：

所述处理器110在所述帧同步信号的帧周期的起始时刻T0开始计时，并在计时到达所述预设时间段的起始时刻时输出开启控制信号，以通过所述开启控制信号控制所述辅助光源150输出红外辅助光，并控制所述红外摄像头130开始曝光；其中，所述预设时间段的起始时刻可以等于或晚于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻。

所述处理器110在计时到达所述预设时间段的终止时刻时输出关闭控制信号，以通过所述关闭控制信号控制所述辅助光源150关闭红外辅助光，并控制所述红外摄像头130结束曝光；其中，所述预设时间段的终止时刻可以等于或早于当前帧周期的终止时刻。

图3是本发明提供的眼球跟踪装置的另一结构示意图。

请参阅图3，在本实施例中，所述处理器110包括第一通用输入/输出端口GPIO_A和第二通用输入/输出端口GPIO_B，所述红外摄像头130通过所述第一通用输入/输出端口GPIO_A与所述处理器110电气连接。所述辅助光源150包括驱动器151和红外LED 153，所述辅助光源150通过第二通用输入/输出端口GPIO_B与所述处理器110电气连接。所述帧同步信号由所述红外摄像头130生成，并通过所述第一通用输入/输出端口GPIO_A传输给所述处理器110。所述帧同步信号的周期与所述红外摄像头130的帧周期相同。所述处理器110在所述帧同步信号的帧周期的起始时刻T0开始计时，并在计时到达所述预设时间段的起始时刻时生成开启控制信号，并通过所述第二通用输入/输出端口GPIO_B传递至所述驱动器151，以控制所述驱动器151输出驱动电流，进而驱动所述红外LED 153输出红外辅助光，并控制所述红外摄像头130开始曝光。当所述处理器110在计时到达所述预设时间段的终止时刻时生成关闭控制信号，并通过第二通用输入/输出端口GPIO_B传递至所述驱动器151，以控制所述驱动器151停止输出驱动电流，进而控制所述红外LED 153关闭，并控制所述红外摄像头130结束曝光。可以理解，所述帧同步信号并不限定由所述红外摄像头130生成，还可以由所述处理器110或者另外的时序控制器生成，只需要在所述帧同步信号的周期与所述红外摄像头130的帧周期相同即可。

图4是图3所示眼球跟踪装置的工作时序逻辑示意图。

请参阅图4，其中，Sync/GPIO_A为所述处理器110通过所述第一通用输入/输出端口GPIO_A接收到的帧同步信号，GPIO_B为所述处理器110通过所述第二通用输入/输出端口GPIO_B传递的控制信号；T0为当前帧周期的起始时刻，T1为所述预设时间段的起始时刻，T2为当前帧周期的终止时刻(本实施例中即为所述预设时间段的终止时刻)。具体地，所述处理器110在接收到所述帧同步信号时，从所述当前帧周期的起始时刻T0开始计时，计时时长为T1-T0；当计时到达所述预设时间段的起始时刻T1时，所述处理器110通过所述第二通用输入/输出端口GPIO_B输出所述控制信号，并传递至所述驱动器151，以控制所述驱动器151输出驱动电流，进而驱动所述红外LED 153输出红外辅助光；当计时到达所述预设时间段的终止时刻(本实施例中即为当前帧周期的终止时刻T2)时，所述处理器110通过所述第二通用输入/输出端口GPIO_B输出所述控制信号，并传递至所述驱动器151，以控制所述驱动器151停止输出驱动电流，进而控制所述红外LED 153停止输出红外辅助光。在本实施例中，所述控制信号为电平触发信号。如图4中所示，当所述处理器110在计时到达所述预设时间段的起始时刻时，由所述第二通用输入/输出端口GPIO_B输出高电平信号(即开启控制信号)，以控制所述辅助光源150输出红外辅助光，并控制所述红外摄像头130开始曝光；所述处理器110在计时到达所述预设时间段的终止时刻时，将所述第二通用输入/输出端口GPIO_B的输出信号由高电平信号切换为低电平信号(即关闭控制信号)，以控制所述辅助光源150关闭红外辅助光，并控制所述红外摄像头130结束曝光。可以理解，所述开启控制信号及关闭控制信号还可以是脉冲触发信号，当所述处理器110在计时到达所述预设时间段的起始时刻时，输出一个脉冲信号，以控制所述辅助光源150输出红外辅助光，并控制所述红外摄像头130开始曝光；当所述处理器110在计时到达所述预设时间段的终止时刻时输出输出一个脉冲信号，以控制所述辅助光源150关闭红外辅助光，并控制所述红外摄像头130结束曝光。可以理解，本发明的实施例中给出的电平高低或输出脉冲的正负只是本发明实施例的一种实现方式，所述控制信号各参数值可以根据电路的需要进行适当的调整。例如，当所述开启控制信号及关闭控制信号为电平触发信号时，所述处理器110还可以通过所述第二通用输入/输出端口GPIO_B输出低电平信号作为所述开启控制信号，相应地通过所述第二通用输入/输出端口GPIO_B输出高电平信号作为所述关闭控制信号；当所述开启控制信号及关闭控制信号为脉冲触发信号时，所述处理器110可以通过所述第二通用输入/输出端口GPIO_B输出高、低脉冲分别作为所述开启控制信号和关闭控制信号，或者通过所述第二通用输入/输出端口GPIO_B输出正、负脉冲分别分别作为所述开启控制信号和关闭控制信号。

在第一可选实施例中，所述红外摄像头130在完成一帧眼球图像的采集后，所述眼球图像被传送至所述处理器110，所述处理器110通过调用眼球跟踪算法对所述帧眼球图像进行处理，计算得到每一帧眼球图像对应的眼球所注视的屏幕位置的坐标，从而根据所述眼球所注视的屏幕位置的坐标的变化计算出眼球的运动轨迹。同时，所述处理器110还用于获取所述眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，进而根据对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器151调节驱动电流，进而驱动所述红外LED 153调节红外光强度，以提升下一个帧周期内所述红外摄像头130采集到的眼球图像的质量。具体地，所述眼球图像的质量参数可以包括清晰度、噪点数、对比度等，所述预设质量参数为根据所述眼球跟踪装置100的精度需求，通过调试而得到的较佳的清晰度范围、噪点数范围、对比度范围等。例如，当所述处理器110获取到所述眼球图像的清晰度后，将该清晰度与所述预设清晰度范围进行对比，当所述眼球图像的清晰度小于所述预设清晰度范围时，生成驱动配置参数，以控制所述驱动器151增大驱动电流，进而驱动所述红外光LED153增大红外光强度，以在下一帧眼球图像采集时，提升眼球图像的清晰度。

在第二可选实施例中，所述处理器110在获取所述眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比之后，还用于根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源150调整红外辅助光的发光时间，并控制所述红外摄像头130同步调整曝光时间，以提升下一个帧周期内所述红外摄像头采集到的眼球图像的质量。例如，当所述处理器110获取到所述眼球图像的噪点数后，将该噪点数与所述预设噪点数范围进行对比，当所述眼球图像的噪点数大于所述预设噪点数范围时，生成发光时间配置参数，并根据所述发光时间配置参数缩短所述预设时间段的时长，进而控制所述辅助光源150缩短红外辅助光的发光时间，并控制所述红外摄像头130同步缩短曝光时间，以在下一帧眼球图像采集时，降低眼球图像的噪点数。

图5是本发明提供的眼球跟踪装置的辅助光源控制方法的流程示意图。

请参阅图5，本发明第二实施例提供一种眼球跟踪装置的辅助光源控制方法，应用于本发明第一实施例所述提供的眼球跟踪装置100中，以降低所述眼球跟踪装置100的功耗，并提升眼球图像的成像质量，改善眼球跟踪的精度。所述辅助光源控制方法至少包括如下步骤：

步骤S201：根据帧同步信号控制辅助光源在预设时间段内持续输出红外辅助光；

步骤S202：控制红外摄像头在所述预设时间段内曝光；

其中，所述预设时间段的时长小于帧周期，所述帧周期为所述帧同步信号的循环周期。

可以理解，图5中用流程图表示所述步骤S201与步骤S202，只是为了方便描述清楚所述辅助光源控制方法中所包含的执行动作，并不对所述步骤S201与步骤S202的执行顺序构成限定。在本实施例中，所述步骤S201与步骤S202可以同步执行。

所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，其中，所述多个像素行可以包括依次相邻设置的多个有效像素行和依次相邻设置的多个伪像素行，当所述红外图像传感器对所述多个像素行逐行扫描时，所述依次相邻设置的多个有效像素行在一个帧周期内存在一段同步曝光扫描时间，所述同步曝光扫描时间的起始时刻等于最后一个有效像素行的曝光扫描起始时刻，所述同步曝光扫描时间的终止时刻等于当前帧周期的终止时刻。可以理解，若将所述预设时间设置于所述同步曝光扫描时间段内，并在所述预设时间段内控制所述辅助光源开启，即可保证所述多个有效像素在所述预设时间段内具有相同的曝光时间长度，进而在所述预设时间段内完成一帧眼球图像的采集。因此，可以设置所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻。

其中，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻，可以为以下四种情况之一：

所述预设时间段的起始时刻等于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻等于当前帧周期的终止时刻；或

所述预设时间段的起始时刻等于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻早于当前帧周期的终止时刻；或

所述预设时间段的起始时刻晚于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻等于当前帧周期的终止时刻；或

所述预设时间段的起始时刻晚于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻早于当前帧周期的终止时刻。

其中，所述预设时间段的设置还可以参照图2及本发明第一实施例中的相关描述，此处不再赘述。

图6是本发明提供的眼球跟踪装置的示辅助光源控制方法的另一流程示意图。

请参阅图6，所述根据帧同步信号控制所述辅助光源在预设时间段内持续输出红外辅助光；控制所述红外摄像头在所述预设时间段内曝光，包括：

步骤S211：触发处理器在所述帧同步信号的帧周期的起始时刻开始计时，并在计时到达所述预设时间段的起始时刻时输出开启控制信号，以通过所述开启控制信号控制所述辅助光源输出红外辅助光，并控制所述红外摄像头开始曝光；

步骤S212：触发所述处理器在计时到达所述预设时间段的终止时刻时输出关闭控制信号，以通过所述关闭控制信号控制所述辅助光源关闭红外辅助光，并控制所述红外摄像头结束曝光。

其中，所述帧同步信号与所述开启控制信号及关闭控制信号之间的关系，以及所述预设时间段与所述帧同步信号的关系还可以参照图3、图4及本发明第一实施例中的相关描述，此处不再赘述。

所述辅助光源可以包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，可选地，所述方法还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一个帧周期内所述红外摄像头采集到的眼球图像的质量。

其中，所述根据所述比对结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流的步骤的具体执行还可以参照本发明第一实施例中第一可选实施例中的相关描述，此处不再赘述。

可选地，所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果之后，所述方法还包括：

根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一个帧周期内所述红外摄像头采集到的眼球图像的质量。

其中，所述根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长的步骤的具体执行还可以参照本发明第一实施例中第二可选实施例中的相关描述，此处不再赘述。

图7是本发明提供的眼球跟踪装置的辅助光源控制装置的结构示意图。

请参阅图7，本发明第三实施例提供一种眼球跟踪装置的辅助光源控制装置300，应用于本发明第一实施例所述提供的眼球跟踪装置100中，以降低所述眼球跟踪装置100的功耗，并提升眼球图像的成像质量，改善眼球跟踪的精度。所述辅助光源控制装置300包括：

时序控制模块310，用于根据帧同步信号控制辅助光源在所述预设时间段内持续输出红外辅助光；

所述时序控制模块310，还用于控制红外摄像头在所述预设时间段内曝光；其中，所述帧周期为所述帧同步信号的循环周期，所述预设时间段的时长小于所述帧周期。

所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，其中，所述多个像素行可以包括依次相邻设置的多个有效像素行和依次相邻设置的多个伪像素行，当所述红外图像传感器对所述多个像素行逐行扫描时，所述依次相邻设置的多个有效像素行在一个帧周期内存在一段同步曝光扫描时间，所述同步曝光扫描时间的起始时刻等于最后一个有效像素行的曝光扫描起始时刻，所述同步曝光扫描时间的终止时刻等于当前帧周期的终止时刻。可以理解，若将所述预设时间设置于所述同步曝光扫描时间段内，并在所述预设时间段内控制所述辅助光源开启，即可保证所述多个有效像素在所述预设时间段内具有相同的曝光时间长度，进而在所述预设时间段内完成一帧眼球图像的采集。因此，可以设置所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻。

其中，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻，可以为以下四种情况之一：

所述预设时间段的起始时刻等于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻等于当前帧周期的终止时刻；或

所述预设时间段的起始时刻等于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻早于当前帧周期的终止时刻；或

所述预设时间段的起始时刻晚于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻等于当前帧周期的终止时刻；或

所述预设时间段的起始时刻晚于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻早于当前帧周期的终止时刻。

其中，所述时间窗口的形成及所述预设时间段与所述时间窗口的关系还可以参照图2及本发明第一实施例中的相关描述，此处不再赘述。

所述时序控制模块310，还用于：

触发处理器在所述帧同步信号的帧周期的起始时刻开始计时，并在计时到达所述预设时间段的起始时刻时输出开启控制信号，以通过所述开启控制信号控制所述辅助光源输出红外辅助光，并控制所述红外摄像头开始曝光；以及

触发所述处理器在计时到达所述预设时间段的终止时刻时输出关闭控制信号，以通过所述关闭控制信号控制所述辅助光源关闭红外辅助光，并控制所述红外摄像头结束曝光。

其中，所述帧同步信号与所述开启控制信号及关闭控制信号之间的关系，以及所述预设时间段与所述帧同步信号的关系还可以参照图3、图4及本发明第一实施例中的相关描述，此处不再赘述。

所述辅助光源包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，可选地，所述装置300还包括：

图像处理模块330，用于获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

驱动控制模块350，用于根据所述对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一个帧周期内所述红外摄像头采集到的眼球图像的质量。

其中，所述驱动控制模块350的功能及执行还可以参照本发明第一实施例中第一可选实施例中的相关描述，此处不再赘述。

可选地，所述图像处理模块330获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果之后；

所述时序控制模块310，还用于根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一个帧周期内所述红外摄像头采集到的眼球图像的质量。

其中，所述时序控制模块310的功能及执行还可以参照本发明第一实施例中第二可选实施例中的相关描述，此处不再赘述。

图8是图7所示辅助光源控制装置的应用场景示意图。

请参阅图8，在本实施例中，所述辅助光源控制装置300应用于所述眼球跟踪装置100中。可以理解，所述辅助光源控制装置300的各模块为程序算法模块，所述辅助光源控制装置300的各模块可以独立于所述处理器110设置，或者设置于所述处理器110内，所述处理器110用于调用所述辅助光源控制装置300的各模块，以完成对应功能的执行。其中，所述辅助光源控制装置300各模块功能的执行可参照本发明第一实施例中的相关描述，此处不再赘述。

本发明第四实施例提供一种存储一个或多个程序的非易失性计算机可读存储介质，所述一个或多个程序包括指令，所述指令当被处理器调用时使处理器执行以下事件：

根据帧同步信号控制辅助光源在预设时间段内持续输出红外辅助光；

控制红外摄像头在所述预设时间段内曝光；

其中，所述预设时间段小于帧周期，所述帧周期为所述帧同步信号的循环周期。

可选地，所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，所述多个像素行包括依次相邻设置的多个有效像素行，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻。

可选地，所述预设时间段的起始时刻等于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻等于当前帧周期的终止时刻；或

所述预设时间段的起始时刻等于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻早于当前帧周期的终止时刻；或

所述预设时间段的起始时刻晚于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻等于当前帧周期的终止时刻；或

所述预设时间段的起始时刻晚于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻早于当前帧周期的终止时刻。

可选地，所述根据帧同步信号控制所述辅助光源在预设时间段内持续输出红外辅助光；控制所述红外摄像头在所述预设时间段内曝光，包括：

触发处理器在所述帧同步信号的帧周期的起始时刻开始计时，并在计时到达所述预设时间段的起始时刻时输出开启控制信号，以通过所述开启控制信号控制所述辅助光源输出红外辅助光，并控制所述红外摄像头开始曝光；

触发所述处理器在计时到达所述预设时间段的终止时刻时输出关闭控制信号，以通过所述关闭控制信号控制所述辅助光源关闭红外辅助光，并控制所述红外摄像头结束曝光。

可选地，所述辅助光源包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，则所述事件还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一帧眼球图像的质量。

可选地，所述事件还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一帧眼球图像的质量。

可以理解，本实施例中所述指令当被处理器调用时使处理器执行的事件还可以参照本发明第二实施例及第三实施例中的描述，此处不再赘述。

所述眼球跟踪装置100通过根据帧同步信号控制所述辅助光源150在小于所述帧周期的预设时间段内持续输出红外辅助光，并控制所述红外摄像头130在所述预设时间段内曝光，完成一帧眼球图像的采集，有效缩短了所述辅助光源150的开启时间，以及所述红外摄像头130的曝光时间，解决了现有技术中因辅助光源长时间开启而导致发热严重及因颠簸而导致眼球图像存在拖影的问题，降低了所述眼球跟踪装置100的功耗，提升了眼球图像的成像质量及眼球跟踪精度。

以上所揭露的仅为本发明的较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (12)

1.一种眼球跟踪装置，其特征在于，所述装置包括处理器、红外摄像头以及辅助光源；

所述处理器与所述红外摄像头以及辅助光源电气连接；

所述红外摄像头用于输出帧同步信号；

所述处理器用于接收所述帧同步信号；根据所述帧同步信号控制所述辅助光源在预设时间段内持续输出红外辅助光；控制所述红外摄像头在所述预设时间段内曝光；

所述预设时间段的时长小于帧周期，所述帧周期为所述帧同步信号的循环周期；

所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，所述多个像素行包括依次相邻设置的多个有效像素行和依次相邻设置的多个伪像素行，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻；其中，所述有效像素行在曝光时形成有效数据，所述伪像素行为不作为有效数据输出的像素行；所述多个像素行的帧周期之间有重叠；所述多个有效像素行在所述预设时间段内具有相同的曝光时间长度，进而在所述预设时间段内完成一帧眼球图像的采集。

2.如权利要求1所述的眼球跟踪装置，其特征在于，所述辅助光源包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，所述处理器还用于获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，进而根据对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一帧眼球图像的质量。

3.如权利要求1所述的眼球跟踪装置，其特征在于，所述处理器还用于获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，进而根据对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一帧眼球图像的质量。

4.一种眼球跟踪装置的辅助光源控制方法，其特征在于，所述方法包括：

根据帧同步信号控制辅助光源在预设时间段内持续输出红外辅助光；

控制红外摄像头在所述预设时间段内曝光；

其中，所述预设时间段的时长小于帧周期，所述帧周期为所述帧同步信号的循环周期；

所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，所述多个像素行包括依次相邻设置的多个有效像素行和依次相邻设置的多个伪像素行，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻；其中，所述有效像素行在曝光时形成有效数据，所述伪像素行为不作为有效数据输出的像素行；所述多个像素行的帧周期之间有重叠；所述多个有效像素行在所述预设时间段内具有相同的曝光时间长度，进而在所述预设时间段内完成一帧眼球图像的采集。

5.如权利要求4所述的辅助光源控制方法，其特征在于，所述辅助光源包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，所述方法还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一帧眼球图像的质量。

6.如权利要求4所述的辅助光源控制方法，其特征在于，所述方法还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一帧眼球图像的质量。

7.一种眼球跟踪装置的辅助光源控制装置，其特征在于，所述装置包括：

时序控制模块，用于根据帧同步信号控制辅助光源在预设时间段内持续输出红外辅助光；

所述时序控制模块，还用于控制红外摄像头在所述预设时间段内曝光；

其中，所述预设时间段的时长小于帧周期，所述帧周期为所述帧同步信号的循环周期；

所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，所述多个像素行包括依次相邻设置的多个有效像素行和依次相邻设置的多个伪像素行，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻；其中，所述有效像素行在曝光时形成有效数据，所述伪像素行为不作为有效数据输出的像素行；所述多个像素行的帧周期之间有重叠；所述多个有效像素行在所述预设时间段内具有相同的曝光时间长度，进而在所述预设时间段内完成一帧眼球图像的采集。

8.如权利要求7所述的辅助光源控制装置，其特征在于，所述辅助光源包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，所述装置还包括：

图像处理模块，用于获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

驱动控制模块，用于根据所述对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一帧眼球图像的质量。

9.如权利要求7所述的辅助光源控制装置，其特征在于，所述装置还包括：

图像处理模块，用于获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

所述时序控制模块，还用于根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一帧眼球图像的质量。

10.一种存储一个或多个程序的非易失性计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当被处理器调用时使处理器执行以下事件：

根据帧同步信号控制辅助光源在预设时间段内持续输出红外辅助光；

控制红外摄像头在所述预设时间段内曝光；

其中，所述预设时间段小于帧周期，所述帧周期为所述帧同步信号的循环周期；

所述红外摄像头包括红外图像传感器，所述红外图像传感器包括多个像素行，所述多个像素行包括依次相邻设置的多个有效像素行和依次相邻设置的多个伪像素行，所述预设时间段的起始时刻不早于所述红外图像传感器的最后一个有效像素行的曝光扫描起始时刻，所述预设时间段的终止时刻不晚于当前帧周期的终止时刻；其中，所述有效像素行在曝光时形成有效数据，所述伪像素行为不作为有效数据输出的像素行；所述多个像素行的帧周期之间有重叠；所述多个有效像素行在所述预设时间段内具有相同的曝光时间长度，进而在所述预设时间段内完成一帧眼球图像的采集。

11.如权利要求10所述的非易失性计算机可读存储介质，其特征在于，所述辅助光源包括驱动器和红外LED，所述红外LED通过所述驱动器与所述处理器电气连接，则所述事件还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成驱动配置参数，并根据所述驱动配置参数控制所述驱动器调节驱动电流，进而驱动所述红外LED调节红外光强度，以提升下一帧眼球图像的质量。

12.如权利要求10所述的非易失性计算机可读存储介质，其特征在于，所述事件还包括：

所述处理器获取所述红外摄像头采集到的眼球图像的质量参数，并将所述质量参数与预设质量参数进行对比，获得对比结果；

根据所述对比结果生成发光时间配置参数，并根据所述发光时间配置参数调整所述预设时间段的时长，进而控制所述辅助光源调整红外辅助光的发光时间，并控制所述红外摄像头同步调整曝光时间，以提升下一帧眼球图像的质量。

Images