CN106371578B - 近眼显示控制方法和装置 - Google Patents

Abstract

本申请实施例涉及一种近眼显示控制方法和装置，其中，所述近眼显示控制方法包括：获取第t时刻对应的眼底成像，所述眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；获取第t+1时刻对应的眼底子图像；至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。该方案实现了近眼的防抖显示。

Description

近眼显示控制方法和装置

技术领域

本申请涉及显示技术领域，特别是涉及一种近眼显示控制方法和装置。

背景技术

近年来，近眼显示技术不断发展，成为虚拟现实的最佳呈现方式之一。由于近眼显示存在高倍放大，因此，近眼显示设备和/或用户头部等微小的运动都可能带来显示画面的显著抖动，从而影响用户的观看感受，甚至会导致用户产生头昏等不适。

发明内容

在下文中给出了关于本申请的简要概述，以便提供关于本申请的某些方面的基本理解。应当理解，这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分，也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本申请提供一种近眼显示控制方法和装置。

第一方面，本申请实施例提供了一种近眼显示控制方法，包括：

获取第t时刻对应的眼底成像，所述眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

获取第t+1时刻对应的眼底子图像；

至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，包括：至少根据所述第t时刻的眼底成像，确定所述第t时刻的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，包括：至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，确定所述第t+1时刻待显示内容相对所述眼底的第t+1显示子区域；控制所述第t+1时刻待显示内容在所述第t+1显示子区域进行显示。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述至少根据所述第t时刻的眼底成像，确定所述第t时刻的眼底成像中眼底子图像和显示子图像的第t相对位置信息，包括：分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像；根据分离结果确定所述第t时刻的眼底成像中眼底子图像和显示子图像的第t相对位置信息。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据眼底特征信息分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述至少根据眼底特征信息分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像之前，所述方法还包括：获取所述眼底特征信息。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据眼底参考子图像分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述至少根据眼底参考子图像分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像之前，所述方法还包括：获取所述眼底参考子图像。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述眼底参考子图像为所述第t+1时刻的眼底子图像。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据所述第t时刻对应的眼底成像所包括的显示子图像对应的源内容，分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述获取第t时刻对应的眼底成像之前，所述方法还包括：确定视线方向维持不变。

结合本申请实施例提供的任一种近眼显示控制方法，可选地，所述确定视线方向维持不变，包括：响应于第t时刻和第t+1时刻对应的视线方向的差异落入一容许差异范围，确定视线方向维持不变。

第二方面，本申请实施例还提供了一种近眼显示控制装置，包括：

一眼底成像获取模块，用于获取第t时刻对应的眼底成像，所述眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

一眼底子图像获取模块，用于获取第t+1时刻对应的眼底子图像；

一显示控制模块，用于至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述显示控制模块包括：一相对位置信息获取子模块，用于至少根据所述第t时刻的眼底成像，确定所述第t时刻的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；一显示控制子模块，用于至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述显示控制子模块包括：一显示子区域确定单元，用于至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，确定所述第t+1时刻待显示内容相对所述眼底的第t+1显示子区域；一显示控制单元，用于控制所述第t+1时刻待显示内容在所述第t+1显示子区域进行显示。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述相对位置信息获取子模块包括：一分离处理单元，用于分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像；一相对位置信息获取单元，用于根据分离结果确定所述第t时刻的眼底成像中眼底子图像和显示子图像的第t相对位置信息。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述分离处理单元包括：第一分离处理子单元，用于至少根据眼底特征信息分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述装置还包括：一眼底特征信息获取模块，用于获取所述眼底特征信息。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述分离处理单元包括：一第二分离处理子单元，用于至少根据眼底参考子图像分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述装置还包括：一眼底参考子图像获取模块，用于获取所述眼底参考子图像。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述眼底参考子图像为所述第t+1时刻的眼底子图像。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述分离处理单元包括：一第三分离处理子单元，用于至少根据所述第t时刻对应的眼底成像所包括的显示子图像对应的源内容，分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述装置还包括：一视线方向确定模块，用于确定视线方向维持不变，并根据确定结果触发所述眼底成像获取模块、所述眼底子图像获取模块和/或所述显示控制模块。

结合本申请实施例提供的任一种近眼显示控制装置，可选地，所述视线方向确定模块包括：一视线方向确定子模块，用于响应于第t时刻和第t+1时刻对应的视线方向的差异落入一容许差异范围，确定视线方向维持不变，并根据确定结果触发所述眼底成像获取模块、所述眼底子图像获取模块和/或所述显示控制模块。

第三方面，本申请实施例还提供了另一种近眼显示控制装置，包括：

一处理器、一通信接口、一存储器以及一通信总线；所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一指令；所述至少一指令使所述处理器执行以下操作：

获取第t时刻对应的眼底成像，所述眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

获取第t+1时刻对应的眼底子图像；

至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。

本申请实施例提供的技术方案，可获取并至少根据第t时刻的眼底成像和第t+1时刻的眼底子图像进行第t+1时刻的显示控制，使得第t+1时刻近眼显示设备投射到眼底的显示子图像在眼底的显示子区域的相对位置变化，抵消了二者相对运动导致的显示子区域相对眼底的相对位置变化，相当于不同时刻投射到眼底的显示子图像的显示子区域相对眼底的位置大体甚至完全不变，有利于提高用户观看的舒适度，改善用户体验。本申请在诸如近眼显示设备和人眼发生相对运动等情形，可实现源内容在眼底的防抖显示，且可不依赖惯性测量单元(Inertial measurement unit，简称IMU)硬件，提高了方案实施的灵活性和普适性。

通过以下结合附图对本申请的可选实施例的详细说明，本申请的这些以及其它的优点将更加明显。

附图说明

本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中：

图1为本申请实施例提供的一种近眼显示控制方法的流程图；

图2为本申请实施例提供的一种眼底成像的示例；

图3为本申请实施例提供的第一种近眼显示控制装置的逻辑框图；

图4为本申请实施例提供的第二种近眼显示控制装置的逻辑框图；

图5为本申请实施例提供的第三种近眼显示控制装置的逻辑框图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本申请实施例的理解。

具体实施方式

在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本申请，在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤，而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。

本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

防抖显示通常可基于运动传感元件实现，如在显示设备上安装IMU硬件，通过IMU测量显示设备的角速率和加速度等，根据测量结果确定显示设备的运动信息，并根据该显示设备的运动信息控制后续源内容的显示，使得后续显示的内容抵消了因显示设备的运动带来的画面抖动，从而实现显示画面的稳定显示。本申请发明人在实践本申请实施例的过程中发现，基于IMU虽然一定程度上可抵消显示画面的抖动，但其依赖IMU硬件并且是针对显示设备自身发生运动的情形下进行显示画面的防抖显示，而在近眼显示领域，除了近眼显示设备可能发生运动外、人体头部也可能发生运动；如果近眼显示设备和人眼没有发生相对运动，则即使二者都可能发生运动，但就用户看来，显示子图像并不会发生抖动；反之，如果近眼显示设备和人眼发生相对运动，则就用户看来，显示子图像可能发生相对抖动，由此可能造成用户观看不适，影响用户体验。为此，本申请实施例针对近眼显示领域提供了防抖显示解决方案。

图1为本申请实施例提供的一种近眼显示控制方法的流程图。本申请实施例提供的近眼显示控制方法的执行主体可为某一近眼显示控制装置，所述近眼显示控制装置可在但不限于涉及内容呈现、视频播放等应用过程中通过执行该近眼显示控制方法进行内容的显示控制。所述近眼显示控制装置的设备表现形式不受限制，例如所述近眼显示控制装置可为某一独立的部件，该部件与近眼显示设备配合通信；或者，所述显示控制装置可作为某一功能模块集成在一近眼显示设备中；所述近眼显示设备可包括但不限于头盔显示器、智能眼镜等。具体如图1所示，本申请实施例提供的一种近眼显示控制方法包括：

S101：获取第t时刻对应的眼底成像，所述眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加。

S102：获取第t+1时刻对应的眼底子图像。

本申请实施例提供的技术方案中，可通过近眼显示设备的投射光学系统将源内容的光线投射到人眼的眼底以进行成像，再通过近眼显示设备的摄像头获取眼底的图像，该情形下获取到的眼底的图像不妨称为眼底成像，如图2所示，获取的眼底成像为眼底自身的成像(不妨称为眼底子图像)以及源内容的投射光线在眼底所成的图像(不妨称为显示子图像)的叠加，也即，所述眼底成像为眼底子图像和显示子图像的叠加。

实际应用中，可获得某时刻(不妨表示为第t时刻)对应的眼底成像以及与该时刻相邻的一在后时刻(不妨表示为第t+1时刻)对应的眼底子图像，其中，所述相邻是个相对的概念，如二个相邻时刻可为时间间隔较短的二个参考时刻，或者，二个相邻时刻可对应源内容中的相邻帧，或者，二个相邻时刻可根据用户实际需要确定，本申请实施例对此并不限制；获取到的第t时刻对应的眼底成像为眼底子图像和显示子图像的叠加，获取到的第t+1时刻对应的眼底子图像为眼底自身的图像。

S103：至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。

在近眼显示应用过程中，如果近眼显示设备和人眼眼底之间发生相对运动(包括近眼显示设备和人眼眼底的其中之一发生运动，或者，近眼显示设备和人眼眼底二者均发生运动且二者并非相对静止)，则该相对运动可造成显示子图像相对眼底的抖动，从而影响内容的显示，则需要进行图像的防抖显示控制。

而如果近眼显示设备和人眼眼底之间没有发生相对运动(包括二者均处于静止状态，或者，二者分别处于运动状态但二者相对静止)的情形下，不同时刻近眼显示设备投射到眼底的显示子图像在眼底的显示子区域的相对位置保持不变，鉴于此，可至少根据第t时刻的眼底成像和第t+1时刻的眼底子图像进行第t+1时刻的显示控制(包括根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像进行第t+1时刻待显示内容在眼底的显示控制，或者，将所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像结合其他辅助参考信息进行第t+1时刻待显示内容在眼底的显示控制)，使得第t+1时刻近眼显示设备投射到眼底的显示子图像在眼底的显示子区域的相对位置变化落入容许范围甚至保持不变，由此一定程度上抵消了二者相对运动导致的显示子区域相对眼底的相对位置变化，实现了源内容在眼底的防抖显示。

可见，本申请实施例提供的技术方案，可获取并至少根据第t时刻的眼底成像和第t+1时刻的眼底子图像进行第t+1时刻的显示控制，使得第t+1时刻近眼显示设备投射到眼底的显示子图像在眼底的显示子区域的相对位置变化，抵消了二者相对运动导致的显示子区域相对眼底的相对位置变化，相当于不同时刻投射到眼底的显示子图像的显示子区域相对眼底的位置大体甚至完全不变，有利于提高用户观看的舒适度，改善用户体验。本申请在诸如近眼显示设备和人眼发生相对运动等情形，可实现源内容在眼底的防抖显示，且防抖显示控制可不依赖IMU硬件，提高了方案实施的灵活性和普适性。

可选地，所述至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，包括：至少根据所述第t时刻的眼底成像，确定所述第t时刻的眼底成像所包括的眼底子图像和显示子图像的相对位置信息(不妨称为第t相对位置信息)；至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。该方案至少根据所述第t时刻的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息以及所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，可使得第t+1时刻投射到眼底的显示子图像相对眼底的显示子区域，与第t时刻投射到眼底的显示子图像相对眼底的显示子区域的位置变化很小甚至没有发生变化，一定程度上可抵消近眼显示设备和人眼眼底之间的相对运动可能造成的显示子区域位置的偏移，由此提高近眼显示图像的稳定性。

其中，任一时刻对应的眼底成像所包括的眼底子图像和显示子图像的相对位置信息，可通过但不限于眼底子图像的点和显示子图像在眼底的显示子区域中的相应点之间的平移(Translation)、缩放(Scaling)、旋转(Rotation)等相对变换关系来表达，也就是说，可通过构建眼底子图像的点和显示子图像在眼底的显示子区域中的相应点之间的变换矩阵，来反映眼底子图像和显示子图像在眼底的显示子区域之间的相对位置关系，所述变换矩阵可包括但不限于平移变换矩阵、缩放变换矩阵、旋转变换矩阵等等。不妨以反映眼底子图像和显示子图像对应的显示子区域之间的相对位置信息的变换矩阵为例进行说明。

例如，所述平移变换矩阵可根据眼底子图像和显示子图像对应的显示子区域在参考坐标系的不同坐标轴的相对移动分量进行构建，如眼底子图像中的某点[x,y,z,1]与显示子区域中的某点[x',y',z',1]在三个坐标轴的移动分量分别为dx＝Tx,dy＝Ty,dz＝Tz,即：

x'＝x+Tx，y'＝y+Ty，z'＝z+Tz................................(1)

则，相应点之间的平移变换关系可表示如下：

又例如，所述缩放变换矩阵可根据眼底子图像和显示子图像对应的显示子区域的相对缩放程度进行构建，如眼底子图像中的某点[x,y,z,1]与显示子区域中的某点[x',y',z',1]在三个坐标轴的坐标值缩放比例分别为Sx、Sy和Sz，相应点的坐标值满足：

x'＝x*Sx，y'＝y*Sy，z'＝z*Sz................................(3)

则，相应点之间的缩放变换关系可表示如下：

再例如，所述旋转变换矩阵可根据眼底子图像和显示子图像对应的显示子区域的相对旋转角度进行构建，不妨绕X轴旋转为例，眼底子图像中的某点与显示子区域中的某点的X轴坐标不变，Y轴坐标和Z轴坐标绕X轴旋转θ度，旋转的正方向为顺时针方向(沿着旋转轴负方向向原点看)，则相应点之间的旋转变换关系可表示如下：

需要说明的是，平移变换矩阵、缩放变换矩阵、旋转变换矩阵等变换矩阵的构建方式为现有技术，以上构建方式的例子仅为可选构建方式的示例，不应理解为对本申请实施例技术方案实质的限制。

在获得所述第t相对位置信息之后，可至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，以使得第t+1时刻投射到眼底的显示子图像相对眼底的显示子区域，与第t时刻投射到眼底的显示子图像相对眼底的显示子区域的位置变化很小(即变化程度小于预设的容许变化范围)甚至没有发生变化；具体的显示控制方法可根据实际需要确定，实现方式非常灵活。

例如，获取所述第t相对位置信息之后，可对应调整第t+1时刻的待显示内容，以进行第t+1时刻的显示控制，如可根据所述第t相对位置信息对第t+1时刻待显示的源内容(I_t+1)_校正前进行校正显示控制：

(I_t+1)_校正后＝(I_t+1)_校正前·E...............(6)

或者，获取所述第t相对位置信息之后，可对应调整第t+1时刻待显示内容的投影的PTZ(Pan–tilt–zoom)参数，如可根据所述第t相对位置信息对第t+1时刻待显示内容的源投影PTZ参数(p_t+1)_校正前进行校正显示控制：

(P_t+1)_校正后＝(P_t+1)_校正前·E..................(7)

上述式(6)和(7)中E表示所述第t相对位置信息，其可采用但不限于所述变换矩阵，所述变换矩阵可包括但不限于上述公式(2)、(4)、(5)所示的形式。

进一步可选地，所述至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，包括：至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，确定所述第t+1时刻待显示内容相对所述眼底的显示子区域(不妨称为第t+1显示子区域)；控制所述第t+1时刻待显示内容在所述第t+1显示子区域进行显示。该方案可至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，确定所述第t+1时刻待显示内容相对所述眼底的第t+1显示子区域，通过调整投射参数、调整光路等一种或多种手段，将所述第t+1时刻待显示内容投射到相对眼底的所述第t+1显示子区域，这样，所述第t+1显示子区域与第t时刻投射到眼底的显示子图像相对眼底的第t显示子区域的位置变化很小甚至没有发生变化，一定程度上可抵消近眼显示设备和人眼眼底之间的相对运动可能造成的显示子区域位置的偏移，提高近眼显示图像的稳定性。

本申请实施例提供的技术方案中，所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像之间的相对位置信息的确定方式非常灵活，本申请对此并不限制。

可选地，所述至少根据所述第t时刻的眼底成像，确定所述第t时刻的眼底成像中眼底子图像和显示子图像的第t相对位置信息，包括：分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像；根据分离结果确定所述第t时刻的眼底成像中眼底子图像和显示子图像的第t相对位置信息。在某一眼底成像中，眼底子图像和显示子图像之间的分离方式非常灵活，本申请实施例对此并不限制。可选地，由于眼底子图像和在眼底显示的显示子图像的特征差异较大，因此可利用眼底子图像、显示子图像中至少之一的显示特征，可对某一眼底成像的眼底子图像和显示子图像进行分离，并确定眼底子图像和显示子图像的相对位置信息，由此提高眼底成像分离的效率和准确性。

例如，所述分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据眼底特征信息分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。人眼的眼底通常具有已知的较为稳定的特征(如视网膜纹理特征等)，这些稳定的特征可作为所述眼底特征信息，其与近眼显示设备投射到眼底显示的显示子图像的特征通常差异较大，因此，可至少根据所述眼底特征信息分离某一眼底成像中的眼底子图像和显示子图像。该方案可充分利用眼底的特征信息进行眼底成像中眼底子图象和显示子图像的分离。其中，所述眼底的特征信息可预先获取，即所述至少根据眼底特征信息分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像之前，还包括：获取所述眼底特征信息，且所述眼底特征信息的获取方式非常灵活，例如可向外部设备获取人眼共性的眼底特征作为所述眼底特征信息，或者，可通过对多幅眼底子图像进行共性特征提取以获取所述眼底特征信息，等等，本申请实施例对比并不限制。

又例如，所述分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据眼底参考子图像分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。所述眼底参考子图像是以作为参考图像的眼底子图像，也就是说，在未向眼底投射显示内容的情况下可拍摄眼底的图像，这样拍摄的眼底的图像即为眼底自身的成像，没有叠加外部的显示内容。在获取所述眼底参考子图像之后，可至少根据所述眼底参考子图像进行任一时刻的眼底成像的分离，例如可采用但不限于眼底成像与眼底参考子图像相减等方法进行分离。所述眼底参考子图像的获取方式非常灵活，如可在向眼底投射显示内容之前拍摄眼底的图像，如所述至少根据眼底参考子图像分离所述任一时刻对应的眼底成像所包括的眼底子图像和显示子图像之前，还包括：获取所述眼底参考子图像；或者，可将预先获取的用户的眼底子图像作为所述眼底参考子图像，等等，本申请实施例对此并不限制。该方案可至少根据眼底参考子图像对眼底成像中眼底子图像和显示子图像进行分离。进一步可选地，所述眼底参考子图像为所述第t+1时刻的眼底子图像，该方案可复用所述第t+1时刻的眼底子图像进行所述所述第t时刻的眼底成像的分离，提高效率。

再例如，所述分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像，包括：至少根据所述第t时刻对应的眼底成像所包括的显示子图像对应的源内容，分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。源内容经近眼显示设备投射到人眼的眼底后在眼底形成一显示子图像，显示子图像和源内容之间存在关联，因此，该方案至少可充分利用源内容的特性实现眼底成像中眼底子图像和显示子图像的分离。

需要说明的是，上述眼底特征信息、眼底参考子图像、相应的源内容中的二种或二种以上信息也可结合起来，共同作为眼底成像的分离依据，以提高眼底成像分离的准确性。

结合本申请实施例提供的任一种技术方案，进一步可选地，所述获取第t时刻对应的眼底成像之前，所述方法还包括：确定视线方向维持不变。其中，人眼的视线方向的检测方法为现有技术，本申请实施例不再赘述。如果人眼视线方向随着时间推移没有发生改变或者基本没有发生改变，说明人眼观注方向不变的概率较大，该情形下，通过本申请实施例提供的技术方案进行近眼图像的防抖显示，可有效抵消近眼显示设备和眼底的相对运动，提高人眼观看的舒适度，改善用户体验，更好满足用户需求。所述确定视线方向维持不变是个相对的概率，可包括视线方向严格不变的情形，也可包括不同时刻的视线方向的变化在一定容许差异范围的情形，如响应于第t时刻和第t+1时刻对应的视线方向的差异落入一容许差异范围，确定视线方向维持不变，以提高方案实现的灵活性和普适性。如果人眼视线方向随着时间推移存在较大改变，说明关注方向改变的概率较大，此时，可采用现有技术进行显示即可，无需执行防抖显示控制，以满足用户通过视线方向的改变来调整自身关注的显示内容的近眼显示需求。

本领域技术人员可以理解，在本申请具体实施方式的上述任一方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请具体实施方式的实施过程构成任何限定。

图3为本申请实施例提供的第一种近眼显示控制装置的逻辑框图。如图3所示，本申请实施例提供的近眼显示控制装置可包括：一眼底成像获取模块31、一眼底子图像获取模块32和一显示控制模块33。

眼底成像获取模块31用于获取第t时刻对应的眼底成像，所述眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加。

眼底子图像获取模块32用于获取第t+1时刻对应的眼底子图像。

显示控制模块33用于至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。

本申请实施例提供的技术方案，可获取并至少根据第t时刻的眼底成像和第t+1时刻的眼底子图像进行第t+1时刻的显示控制，使得第t+1时刻近眼显示设备投射到眼底的显示子图像在眼底的显示子区域的相对位置变化，抵消了二者相对运动导致的显示子区域相对眼底的相对位置变化，相当于不同时刻投射到眼底的显示子图像的显示子区域相对眼底的位置大体甚至完全不变，有利于提高用户观看的舒适度，改善用户体验。本申请在诸如近眼显示设备和人眼发生相对运动等情形，可实现源内容在眼底的防抖显示，且可不依赖IMU硬件，提高了方案实施的灵活性和普适性。

所述近眼显示控制装置可在但不限于涉及内容呈现、视频播放等应用过程中通过执行该近眼显示控制方法进行内容的显示控制，所述装置中的模块、子模块、单元或子单元的工作机理和细节描述可参见方法实施例的相应记载，本申请不再赘述。所述近眼显示控制装置的设备表现形式不受限制，例如所述近眼显示控制装置可为某一独立的部件，该部件与近眼显示设备配合通信；或者，所述显示控制装置可作为某一功能模块集成在一近眼显示设备中；所述近眼显示设备可包括但不限于头盔显示器、智能眼镜等。

可选地，如图4所示，所述显示控制模块33包括：一相对位置信息获取子模块331和一显示控制子模块332。相对位置信息获取子模块331用于至少根据所述第t时刻的眼底成像，确定所述第t时刻的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；显示控制子模块332用于至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。该方案至少根据所述第t时刻的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息以及所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，可使得第t+1时刻投射到眼底的显示子图像相对眼底的显示子区域，与第t时刻投射到眼底的显示子图像相对眼底的显示子区域的位置变化很小甚至没有发生变化，一定程度上可抵消近眼显示设备和人眼眼底之间的相对运动可能造成的显示子区域位置的偏移，由此提高近眼显示图像的稳定性。

进一步可选地，所述显示控制子模块332包括：一显示子区域确定单元3321和一显示控制单元3322。显示子区域确定单元3321用于至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，确定所述第t+1时刻待显示内容相对所述眼底的第t+1显示子区域；显示控制单元3322用于控制所述第t+1时刻待显示内容在所述第t+1显示子区域进行显示。该方案可至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，确定所述第t+1时刻待显示内容相对所述眼底的第t+1显示子区域，通过调整投射参数、调整光路等一种或多种手段，将所述第t+1时刻待显示内容投射到相对眼底的所述第t+1显示子区域，这样，所述第t+1显示子区域与第t时刻投射到眼底的显示子图像相对眼底的第t显示子区域的位置变化很小甚至没有发生变化，一定程度上可抵消近眼显示设备和人眼眼底之间的相对运动可能造成的显示子区域位置的偏移，提高近眼显示图像的稳定性。

可选地，所述相对位置信息获取子模块331包括：一分离处理单元3311和一相对位置信息获取单元3312。分离处理单元3311用于分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像；相对位置信息获取单元3312用于根据分离结果确定所述第t时刻的眼底成像中眼底子图像和显示子图像的第t相对位置信息。该方案可利用眼底子图像、显示子图像中至少之一的显示特征，可对某一眼底成像的眼底子图像和显示子图像进行分离，并确定眼底子图像和显示子图像的相对位置信息，由此提高眼底成像分离的效率和准确性。

可选地，所述分离处理单元3311包括：第一分离处理子单元33111。第一分离处理子单元33111用于至少根据眼底特征信息分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。进一步可选地，所述近眼显示控制装置还可包括：一眼底特征信息获取模块34，眼底特征信息获取模块34用于获取所述眼底特征信息。该方案可充分利用眼底的特征信息进行眼底成像中眼底子图象和显示子图像的分离。

可选地，所述分离处理单元3311包括：第二分离处理子单元33112。第二分离处理子单元33112用于至少根据眼底参考子图像分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。进一步，可选地，所述近眼显示控制装置还可包括：一眼底参考子图像获取模块35，眼底参考子图像获取模块35用于获取所述眼底参考子图像，该方案可至少根据眼底参考子图像对眼底成像中眼底子图像和显示子图像进行分离。或者，可选地，所述眼底参考子图像为所述第t+1时刻的眼底子图像。

可选地，所述分离处理单元3311包括：第三分离处理子单元33113。第三分离处理子单元33113用于至少根据所述第t时刻对应的眼底成像所包括的显示子图像对应的源内容，分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。该方案至少可充分利用源内容的特性实现眼底成像中眼底子图像和显示子图像的分离。

需要说明的是，上述眼底特征信息、眼底参考子图像、相应的源内容中的二种或二种以上信息也可结合起来，共同作为眼底成像的分离依据，以提高眼底成像分离的准确性。

结合本申请实施例提供的任一种技术方案，可选地，所述近眼显示控制装置还包括：一视线方向确定模块36。视线方向确定模块36用于确定视线方向维持不变，并根据确定结果触发所述眼底成像获取模块、所述眼底子图像获取模块和/或所述显示控制模块。进一步可选地，所述视线方向确定模块36包括：一视线方向确定子模块361。视线方向确定子模块361用于响应于第t时刻和第t+1时刻对应的视线方向的差异落入一容许差异范围，确定视线方向维持不变，并根据确定结果触发所述眼底成像获取模块、所述眼底子图像获取模块和/或所述显示控制模块。如果人眼视线方向随着时间推移没有发生改变或者基本没有发生改变，说明人眼观注方向不变的概率较大，该情形下，通过本申请实施例提供的技术方案进行近眼图像的防抖显示，可有效抵消近眼显示设备和眼底的相对运动，提高人眼观看的舒适度，改善用户体验，更好满足用户需求。如果人眼视线方向随着时间推移存在较大改变，说明关注方向改变的概率较大，此时，可采用现有技术进行显示即可，无需执行防抖显示控制，以满足用户通过视线方向的改变来调整自身关注的显示内容的近眼显示需求。

图5为本申请实施例提供的第三种近眼显示控制装置的结构框图，本申请具体实施例并不对近眼显示控制装置500的具体实现方式做限定。如图5所示，近眼显示控制装置500可以包括：

处理器(Processor)510、通信接口(Communications Interface)520、存储器(Memory)530、以及通信总线540。其中：

处理器510、通信接口520、以及存储器530通过通信总线540完成相互间的通信。

通信接口520，用于与比如具有通信功能的设备、外部光源等通信。

处理器510，用于执行程序532，具体可以执行上述任一显示控制方法实施例中的相关步骤。

例如，程序532可以包括程序代码，所述程序代码包括计算机操作指令。

处理器510可能是一个中央处理器(Central Processing Unit，简称CPU)，或是特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或是被配置成实施本申请实施例的一个或多个集成电路。

存储器530，用于存放程序532。存储器530可能包含随机存取存储器(RandomAccess Memory，简称RAM)，也可能还包括非易失性存储器(Non-volatile memory)，例如至少一个磁盘存储器。

例如，在一种可选的实现方式中，处理器510通过执行程序532可执行以下步骤：获取第t时刻对应的眼底成像，所述眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；获取第t+1时刻对应的眼底子图像；至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。

在其他可选的实现方式中，处理器510通过执行程序532还可执行上述其他任一实施例提及的步骤，在此不再赘述。

程序532中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述，在此不再赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在本申请上述各实施例中，实施例的序号和/或先后顺序仅仅便于描述，不代表实施例的优劣。对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述，可参见相应方法实施例的记载，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的装置、方法、系统等实施例中，显然，各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时，在上面对本申请具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

最后应说明的是：以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种近眼显示控制方法，其特征在于，包括：

获取第t时刻对应的眼底成像，所述眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

获取第t+1时刻对应的眼底子图像；

至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，以使第t+1时刻近眼显示设备投射到眼底的显示子图像在眼底的显示子区域的相对位置变化，抵消了二者相对运动导致的显示子区域相对眼底的相对位置变化。

2.根据权利要求1所述的方法，其特征在于，所述至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，包括：

至少根据所述第t时刻的眼底成像，确定所述第t时刻的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；

至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。

3.根据权利要求2所述的方法，其特征在于，所述至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，包括：

至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，确定所述第t+1时刻待显示内容相对所述眼底的第t+1显示子区域；

控制所述第t+1时刻待显示内容在所述第t+1显示子区域进行显示。

4.根据权利要求2或3所述的方法，其特征在于，所述至少根据所述第t时刻的眼底成像，确定所述第t时刻的眼底成像中眼底子图像和显示子图像的第t相对位置信息，包括：

分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像；

根据分离结果确定所述第t时刻的眼底成像中眼底子图像和显示子图像的第t相对位置信息。

5.根据权利要求4所述的方法，其特征在于，所述分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像，包括：

至少根据眼底特征信息分离所述第t时刻对应的眼底成像所包括的眼底子图像和显示子图像。

6.一种近眼显示控制装置，其特征在于，包括：

一眼底成像获取模块，用于获取第t时刻对应的眼底成像，所述眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

一眼底子图像获取模块，用于获取第t+1时刻对应的眼底子图像；

一显示控制模块，用于至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，以使第t+1时刻近眼显示设备投射到眼底的显示子图像在眼底的显示子区域的相对位置变化，抵消了二者相对运动导致的显示子区域相对眼底的相对位置变化。

7.根据权利要求6所述的装置，其特征在于，所述显示控制模块包括：

一相对位置信息获取子模块，用于至少根据所述第t时刻的眼底成像，确定所述第t时刻的眼底成像所包括的眼底子图像和显示子图像的第t相对位置信息；

一显示控制子模块，用于至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制。

8.根据权利要求7所述的装置，其特征在于，所述显示控制子模块包括：

一显示子区域确定单元，用于至少根据所述第t相对位置信息和所述第t+1时刻的眼底子图像，确定所述第t+1时刻待显示内容相对所述眼底的第t+1显示子区域；

一显示控制单元，用于控制所述第t+1时刻待显示内容在所述第t+1显示子区域进行显示。

9.根据权利要求7或8所述的装置，其特征在于，所述相对位置信息获取子模块包括：

一分离处理单元，用于分离所述所述第t时刻的眼底成像所包括的眼底子图像和显示子图像；

一相对位置信息获取单元，用于根据分离结果确定所述第t时刻的眼底成像中眼底子图像和显示子图像的第t相对位置信息。

10.一种近眼显示控制装置，其特征在于，包括：

一处理器、一通信接口、一存储器以及一通信总线；所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一指令；所述至少一指令使所述处理器执行以下操作：

获取第t时刻对应的眼底成像，所述眼底成像包括眼底子图像和在眼底显示的显示子图像的叠加；

获取第t+1时刻对应的眼底子图像；

至少根据所述第t时刻的眼底成像和所述第t+1时刻的眼底子图像，进行第t+1时刻待显示内容在眼底的显示控制，以使第t+1时刻近眼显示设备投射到眼底的显示子图像在眼底的显示子区域的相对位置变化，抵消了二者相对运动导致的显示子区域相对眼底的相对位置变化。