CN113709410A - 基于mr眼镜的人眼视觉能力增强的方法、系统及设备 - Google Patents

Abstract

本发明属于近眼显示设备应用技术领域，公开了一种基于MR眼镜的人眼视觉能力增强的方法、系统及设备，根据用户的视觉需求进入望远模式，通过设备的长焦摄像机拍摄用户视野前方远距离景象，对放大后注视区域的图像进行优化或/和AI图像增强后向用户呈现，看清超出视觉能力范围的远处景象，增强用户遥望远处的视觉能力。利用光导光纤，或光波导，或潜望镜技术改进现有MR眼镜上的前置摄像头光学结构，使MR眼镜整体更加轻薄。本发明利用眼动追踪装置和头动追踪装置选定图像的对焦区域，通过眼动交互和/或手势交互确定放大的倍率，MR眼镜显示器对拍照区域进行实时预览，最终拍摄照片。

Description

基于MR眼镜的人眼视觉能力增强的方法、系统及设备

技术领域

本发明属于近眼显示设备应用技术领域，尤其涉及一种基于MR眼镜的人眼视觉能力增强的方法、系 统及设备。

背景技术

现阶段依托于增强现实技术(AR)和虚拟现实技术(VR)的近眼显示设备的技术和产品正在逐渐走向 成熟，随着近眼显示设备变得越来越智能、轻便、低成本，它将逐渐融入人们的生活，成为人们日常生活 不可或缺的穿戴式智能硬件设备，更能成为帮助人类的某种能力增强的智能工具。

近眼显示设备(HMD)还包括电子显示器和光学组件。HMD可以是例如混合现实(Mixed Reality)— MR眼镜、增强现实(Augmented Reality)—AR眼镜、虚拟现实(VirtualReality)—VR眼镜、扩展现 实(Extended Reality)—XR眼镜或其某种组合。电子显示器配置为发射图像光。光学组件被配置为将图 像光引导到与用户眼睛的位置对应的HMD的出射光瞳，该图像光包括由DCA确定的局部区域中的一个或多 个对象的深度信息。

另一方面，基于智能终端设备(例如手机)的摄像功能越来越强大，体积越来越小，例如华为手机的 长焦拍摄模组能够实现5倍，10倍甚至30倍的变焦功能，例如华为的P30手机可以清晰的拍摄到月球的 影像，远远超出正常人类的视觉能力。

基于人眼视觉能力，例如观察、搜索、认知等等，观察是视觉能力的基本。在某些场景中，存在如下 提高观察能力的需求：现如今人们经常使用望远镜观看远处的景物，例如坐在距离较远的观众席上的观众 用望远镜看清舞台上的表演，丛林穿越爱好者需要用望远镜观察丛林情况，演习士兵需要通过狙击枪的瞄 准镜狙击敌人。我们可以在智能眼镜上配备一套可远距离对焦摄像的装置，让用户在日常生活或者特殊工 作环境中，还用于军事装备，安防设备，安防领域，同时在安防设备、辅助检修设备存在望远的需求。综 上所述，现有技术存在的问题是：

(1)现有的智能近眼显示设备缺少在增强人眼视觉能力方面相关的方法或系统、设备。

(2)现有的MR眼镜在增强人眼视觉望远能力方面没有提出相应的交互方案，例如使用本设备的场景 可能用户不方便使用双手进行交互，因此采用舒适的眼动交互/眼动配合其他交互使用一款应用，或者进 行简易的手势对应用进行交互的方法，或者利用用户发出的沉默语言直接对系统输入指令。

(3)现有的MR眼镜并不重视前置摄像头配置的优化，绝大多数仍然采用传统的摄像头配置，导致硬 件架构十分臃肿。

(4)现有的MR眼镜的主流应用仍以游戏娱乐或企业用户为主，并且几乎只适用于室内，设备既不能 够贴切寻常用户的生活所需，也未考虑在室外的安全使用以及自动交互，种种因素让许多用户望而却步， 进一步导致MR眼镜行业发展缓慢。

解决上述技术问题的难度：

(1)为了满足设备具备上述增强人眼视觉能力的功能，需要在设备中配置较多摄像机(例如至少一 组用于长焦摄像)，而较多的摄像光学元件又会导致更高的设备功耗、更大的体积和重量，因此解决MR 眼镜图像获取的光学方案是主要的难点，需要设计多个不同的摄像机共用某同一组件和/或采用轻薄的光 学元件设计影像/图像获取方式。

(2)MR智能眼镜系统如何判断用户此时有视觉增强的需求，例如超远视距的需求。

(3)由于使用场景多为室外，目前的MR眼镜无法减弱外界光(如阳光)，导致成像效果受到影响， 因此需要配置可减弱外界光入射的模块，例如通过控制光学透镜的不透明度变化来阻挡外界光线。

(4)在上述增强人眼视觉能力的模式中，采用何种方式进行交互控制？例如，如何控制远景放大的 倍率？如何选择放大的区域？这些交互依赖交互硬件模块之间的配合，例如眼动追踪模块、手势识别模块、 语音识别模块以及其他传感器等。

(5)由于在MR眼镜中呈现画面，会遮挡用户视线，为了保证用户的使用安全，需要合理设计交互方 式，例如显示影像时需要避免全画幅或者视线中央呈现影像，进入应用时需要一些简单的交互方式或者采 取一些自动进入应用的响应机制，退出应用时需要及时响应的退出机制。

解决上述问题的意义：

(1)在未来基于人类科技发明的智能设备必定是能够辅助增强人类自身能力的有利工具，本发明所 述MR眼镜能够帮助人们增强望远视野，符合人类未来科技的发展趋势。

(2)用户使用上述具备增强视觉能力的MR眼镜，可以增强自身的望远能力，与正常人相比，他们可 借助该设备进行望远侦查，这是正常人不具备的视觉能力。上述应用可以切实帮助到近视患者这类人群， 以及普通人，安防，军事等；也可解决特殊行业(例如安防、设备检修、军事领域等)从业者的需求，亦 可提高正常人群的视觉能力。

(3)由于MR眼镜的发展受限于自身资金、技术水平等因素的影响，应当做到以人为本，充分考虑用 户的使用体验，从软件应用入手，给予用户完善的体验，赢得他们的信任，从而积累忠实用户。而增强用 户视觉能力的MR眼镜切实为用户带来了实用的功能与不错的体验，在一定程度上得以促进该行业的发展。

发明内容

针对现有技术存在的问题，本发明提供了一种基于MR眼镜的人眼视觉能力增强的方法、系统及设备。

本发明是这样实现的，一种基于MR眼镜的人眼视觉能力增强的方法，包括：

步骤一，MR眼镜根据用户视觉需求主动发出的指令或者通过眼动追踪装置自动识别应用场景信息进 入望远模式(如图2所示)；

步骤二，进入望远模式后，驱动前置摄像头对眼动追踪组建捕获双眼视线的注视区域和/或头动追踪模 块识别中心点的景象进行对焦摄像；

步骤三，对放大后注视区域的图像进行优化或/和AI图像增强；

步骤四，通过光引擎将步骤三增强的图像传送至光学元件上显示，所述图像根据交互界面设计或者根 据视觉需求发生的交互操作调整画面；

步骤五，根据内置探测器检测用户视觉需求的使用状态进行模式调整或用户主动操作退出和/或拍照。

进一步，步骤一中，所述根据用户视觉需求主动发出的指令识别应用场景需求信息的方法具体包括： 眼动交互、手势识别交互、外设控制器、有声/无声语音识别、头动交互。

(1)MR眼镜的眼动追踪模块捕获眼睛运动数据，检测眼睛的行为动作,计算眼睛的瞳孔大小、虹膜 图像、眼跳轨迹以及注视时长等，例如，当注视时长超过一定时长或眨眼，则对某一功能UI位置进点击 确认指令，进而启动望远模式；

(2)MR眼镜的手势识别模块检测手部做出特定的动作，例如手势识别模块接收到用户手部的运动信 息，识别手部动作，与上、下、左、右滑动、放大、缩小、点击以及关闭等控制选项相关联，进而控制系 统进入望远模式；

(3)通过操控设备的含有无线信号传输的移动控制器(3自由度或6自由度)，例如握持按键式控制 器、穿戴式手套以及指套控制器等，向MR眼镜发射控制信号，通过操作交互界面，点击UI按钮进入望 远模式；

(4)通过MR眼镜的有声或无声语音识别模块接收用户发出的有声或无声语音，并通过系统解析用 户的语音指令，控制设备进入望远模式；

(5)通过头动控制设备选择交互界面的按钮，例如在MR眼镜的视野中央设置一个与头部相对位置 固定的光标，移动头部控制光标选择位置与真实物理世界相对固定的按钮并进行点击，进入望远模式。

进一步，所述根据用户视觉需求主动发出的指令识别应用场景需求信息的方法不局限用于启动/进入望 远模式，还包括软件应用使用/操作过程中的交互方式。并且在上述交互方法中，通过眼动追踪模块检测眼 睛对交互界面中的任意UI按钮做出对应确认点击操作(眼睛行为动作)的交互方式为最优方式。

进一步，交互方法(1)中，检测眼睛的行为动作的方法包括：

通过眼动追踪模块捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、眨眼频率、双/单眼眨眼、 眼脸闭合、视觉深度、眼跳轨迹以及注视时长，当注视时长超过一定时长或眨眼，则对某一功能的UI位 置进行点击确认指令。

进一步，所述眼动追踪模块的眼动追踪技术方法包括但不限于：

a)通过接收眼睛反射红外光线，计算瞳孔中心与角膜中心的连线进行眼动追踪。硬件包括至少一个 不可见红外光源、微型摄像头、反光热镜、光波导镜片。

b)另一种眼动追踪技术实施例为通过捕获眼睛图像或者计算视网膜的影像(毛细血管、中央凹)或 者视网膜反射光的强度进行眼动追踪。硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、 光学导光元件(例如光波导镜片)。

c)另一种眼动追踪技术实施例为通过发射结构光对眼睛创建模型，计算眼睛模型的视觉中心进行眼 动追踪。结构光红外图案投影器将一定数量的不可见的光点投影到被测物体上，再根据红外相机接收到的 反射光点，就可以计算得到人眼深度图。RGB摄像头拍摄的2D人脸结合计算的深度人眼信息，经过算 法处理就可以绘制出精确细致的3D目标物体。

d)另一种眼动追踪技术实施例为通过接收眼睛角膜的反射光线，计算角膜中心反射光的强度最大的 时刻来进行眼动追踪。硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光波导镜片， 光波导镜片可以配置为靠近眼睛的一层或多层光波导进行眼睛图像的获取和传导，波导中的输入衍射耦合 器将眼睛图像耦合，眼睛图像光线在光波导中传导，同时图像传感器配置在光波导输出衍射耦合器的光线 出射端。

进一步，所述头动追踪模块识别中心点的景象进行对焦摄像具体为：

通过头动追踪模块追踪用户头部的运动，具体为通过MR眼镜的加速度传感器、陀螺仪、磁力计检测 用户头部的运动，在MR眼睛视野中央设置一个与头部相对位置固定的光标为中心点，移动头部控制光标 位置的移动。以光标为中心的平面几何区域被配置为将被前置摄像头对焦、取景、放大的选择区域，改平 面几何区域可以配置为圆形、房型、正六边形等。例如。用户将通过控制头部移动来选择图像放大的区域。

交互方法(2)中，所述手势识别模块检测手部动作的方法包括：

a)手势识别模块配置有图像获取单元、比对系统以及计算机，通过图像识别技术进行手势识别，图 像获取单元用于捕获手部运动的图像，所述图像包括：某一连续时刻手部的姿势、运动的连续图像，通过 比对系统预存的不同角度的手部动作图像，或者通过图像识别将手部手腕关节、指关节节点进行锚点，通 过计算机处理成手势追踪的简化锚点信号，识别手部动作和形状，并与上、下、左、右滑动、增强、缩小、 点击、关闭等控制选项相关联。

b)另一种手势识别模块实施例或配置为结构光发射装置与接收装置以及处理器，并利用对手部建模 的原理进行手势识别。结构光发射装置向手部发射人眼不可见结构光，接收装置接收手部反射结构光，处 理器根据接收到的结构光对手部进行建模，匹配手部动作特征点，与上、下、左、右滑动、增强、缩小、 点击、关闭等控制选项相关联。

c)另一中手势识别实施例模块或配置为加速度传感器、无线发射与接收装置以及计算机，通过佩戴 在手部腕关节、各处指关节的加速度传感器接收手部运动信号，手部运动时，加速度传感器接收到手部的 运动信号，并通过无线发射至计算机进行识别，与上、下、左、右滑动、增强、缩小、点击、关闭等控制 选项相关联；

手势识别方法1)、2)、3)中，手部运动自行设置匹配手势动作，包括修改手势匹配的指令以及收录 新的动作指令。

交互方法(3)中，所述移动控制器被配置为包括：多自由度(6DOF)的按键式控制器、指尖/指套控 制器、戒指控制器、手环控制器等。近眼显示设备包含一种信号接收装置，例如蓝牙、WIFI、其他信号接 收器，所述移动控制器包含一种信号发射装置，例如蓝牙、WIFI、其他信号发射器，用户通过移动控制器 上的按键/触摸键/触摸屏幕向设备发射特殊的信号，设备接收特殊信号转化成特定的计算机指令实现点击 操作。

交互方法(4)中，所述语音识别模块用于有声语音识别或者无声语音识别。

有声语音识别方法包括：MR眼镜靠近嘴部位置配置为语音收录单元，用于收录用户发出的语音，MR 眼镜将语音转化成电信号，并进行除杂音处理，MR眼镜将处理后的语音电信号进行识别，转化成文本， 获取有声语音指令。

无声语音识别方法包括：MR眼镜靠近用户的脸部位置为武神语音探测器，所述无声语音探测装置用 于检测用户脸部肌肉和发声肌肉神经电信号，对于发出的不同的词句型号，大脑发送神经递质信号传送至 脸部肌肉和发声肌肉以控制发出语音指令，在产生与语音指令对应的神经递质和肌肉电信号，探测装置检 测、识别这些电信号并转化成文本，获取无声语音指令。

交互方法(5)中，所述头动控制的方法包括：

通过MR眼镜的加速度传感器、陀螺仪、磁力计计算用户头部的运动，在MR眼睛视野中央位置设置 一个与头部相对位置固定的光标，移动头部控制光标选择与全息UI界面世进行点击确认，进而启动远望 模式。

进一步，步骤一中，所述计算机通过探测器自动识别应用场景的方法包括：

(a)进入望远模式的检测方法(如图7-a所示)：眼动追踪模块检测眼睛视线夹角小于或等于一定角 度，或/和检测用户注视远处景物超过一定时长，MR眼镜自动进入望远模式，或者发出咨询是否进入望远 模式的信息提示弹窗。若进入望远模式则对所注视区域景象进行放大呈现；

所述视线夹角具体为，双眼视线夹角为α，双眼间距为d，则视线注视点与眼睛的距离可以通过一些 公式计算得出，例如：l＝d/2tan(α/2)；

(b)可替代的另一种进入望远模式的检测方法(如图7-b所示)：眼动追踪模块实时检测眼睛在对外 界环境进行屈光调节时晶状体厚度大小以及曲率的变化，根据一些公式可以计算出注视点距离(像距)， 例如：

u＝fv/(v－f)

与f＝1/{(n－1)[1/R₁－1/R₂+(n－1)d/nR₁R₂]}

得到视线距离，其中，u为物距，即用户注视点到用户晶状体的距离；f为焦距，即用户眼睛晶状体 焦距；v为像距，即眼睛视网膜至晶状体的距离；n为眼睛晶状体的折射率；R₁为眼睛晶状体的第一曲 率半径；R₂为眼睛晶状体的第二曲率半径；d为晶状体厚度；

当视线距离u大于一定值，即为正在聚焦于远处景物，MR眼镜自动进入望远模式，或者发出咨询是 否进入望远模式的信息提示弹窗，若进入望远模式则对所视区域景象进行放大呈现；

通过上述眼动追踪装置检测眼睛的视觉深度变化、晶状体厚度变化、瞳孔直径变化来自动启动望远模 式，消除MR中传统拍照方法的繁琐；进行导航菜单，开启前置相机，相机对焦，然后拍照；通过简化开 启应用的过程减少的拍照过程中的等待时间捕获所需的瞬间。

进一步，所述望远模式为通过MR眼镜看到远距离景象的模式(如图2所示)，通过MR眼镜上的远 焦摄像头获取用户所注视区域(视野前方)的远处的影像，远处影像通过MR眼镜上的光学成像系统(光 引擎)向用户呈现远处影像；所述远距离景象为超越用户视力范围的真实物理世界景象，所述远距离的数 值随不同视力范围的变化而变化，一般正常人视力范围在800米至1200米之间(例如1000米)，近视视 力范围小于正常视力范围(例如小于800米)，远视视力范围大于正常视力范围(例如大于1200米)；

步骤二，进入望远模式后，驱动前置摄像头对眼动追踪组件捕获双眼视线的注视区域和/或头动追踪模 块识别中心点的景象进行对焦摄像；

其中望远模式中，MR眼镜系统获取到眼动追踪装置发送的检测信息，检测信息包括眼球注视位置的 空间坐标、晶状体厚度大小，其中注视点位置的空间坐标可以通过眼球的移动计算获得X和Y轴坐标， 通过双眼视线的夹角或/和晶状体厚度获得Z轴坐标，及视觉深度(眼睛到注视物体的距离)，因而形成空 间坐标(X，Y，Z)。

利用眼睛注视点的X坐标和Y坐标选定外景照片上放大和对焦的区域。其中，至少一个摄像机取景 设置在MR眼镜的正中间或者两边，摄像机所拍摄的照片为用户当前的视野画面，及上述外景照片为用户 当时视野前方图像。根据(X,Y)注视点坐标获取外景照片上某一点，确定以该点为中心得目标区域，该 目标区域为摄像头对焦和放大的区域。

进一步利用眼睛注视点得Z坐标确定在外景照片上该目标区域中物体的视觉深度，进而控制摄像机对 目标物体进行对焦并数码变焦放大一定的倍率，使其获得更清晰的图像，影像放大倍率以望远模式默认的 初始放大倍数为准。实现用户看哪里就放大和对焦哪里的效果。

其中所述MR眼镜上的摄像头，由于希望MR眼镜整体小巧、轻便，本专利提出了MR眼镜上三种摄 像头获取视觉前方影像的光学方法。分别是图6-a潜望镜式、图6-b光纤式、以及图6-c光波导式。

实施例图6-a潜望镜式所示，利用潜望镜原理，反射镜装置608将透镜603收集的光609反射至镜头 组件604，光609被镜头组件604校正后在图像传感器605上进行成像。

另一可替代实施例图6-b光纤式所示，收光透镜611将视觉前方影像光汇聚并输入至光导纤维612， 影像光在光导纤维612中传导至透镜单元613，透镜单元613中包括若干个光学透镜组合，具备变焦和畸 变矫正的特性。经过透镜单元613变焦处理后投射至图像传感器614获取影像。

另一可替代实施例图6-c光波导式所示，将MR眼镜原有的波导镜片进行改造，将对外的成像波导镜 片的一部分用于收集和传导影像光，被传导的影像光被内置的图像传感器接收。

具体的，所述MR眼镜上前置摄像头光传导模组的一种通过潜望镜式的配置方法：反射镜装置将透镜 收集的光反射至镜头组件，光被镜头组件校正后在图像传感器上进行成像；其中反射镜装置设置于镜头组 件光路的一端，图像传感器位于镜头组件光路的另一端，通过反射镜装置将光路折叠，将镜头组件平躺在 MR眼镜内，这样可以保持良好的外观以及空间利用率，实现厚度较薄的摄像机模组，避免对MR眼镜厚 度的影响；反射镜装置的平面与镜头组件的镜头对称轴构成预设角度，预设角度为角θ；镜头组件被配置 为多个不同曲度凸/凹透镜组合而成，还配置为包含自动对焦机构或定焦机构，自动对焦机构通过内部微型 机械装置或/和电磁驱动调节透镜之间的距离实现变焦；拍照时可以用户根据具体情况调节焦距，根据具体 情况拍摄出所需的照片；或镜头组件还包括定焦机构，减少用户的操作；

具体的，所述MR眼镜上前置摄像头光传导模组的一种通过光纤传导的配置方法：收光透镜与光导纤 维相连接，收光透镜将视觉前方影像光汇聚并输入至光导纤维；收光透镜一面配置为广角镜片用户收集更 大视角的影响，一面用于偏转影像光使其达到在光导纤维中形成全反射的入射角条件；光导纤维由于十分 细小可以布置在任意合适的智能眼镜硬件中将影像光引导至任何合适的硬件空间结构中被图像传感器处 理；影像光在光导纤维中传导至透镜单元，透镜单元中包括若干个光学透镜组合，具备变焦和畸变矫正的 特性；经过透镜单元变焦处理后投射至图像传感器获取影像；

光导纤维被配置为包括纤芯以及围绕纤芯的包层，纤芯由一种光学材料制成，包层由光学材料制成， 包括二氧化硅玻璃、氟化物玻璃、磷酸盐玻璃、硫化物玻璃、聚甲基丙烯酸甲酯、聚苯乙烯、含氟聚合物 或聚硅氧烷；光导纤维的横截面呈现三角形、正方形、矩形、六边形、圆形或椭圆形或其他任何合适的形 状，纤芯的直径为5μm至25μm；光导纤维沿着MR眼镜空间合适的框架内部设置，最终将影像光线引 导至透镜与传感器单元，使透镜与传感器单元设置在适合的空间，降低设备的形状系数；摄像头的组件放 置在MR眼镜正前方；或设计为以极简的形式呈现，通过光导纤维将图像进行转移，转移至MR眼镜上任 意合适的位置再通过变焦镜头组进行光学处理。

具体的，所述MR眼镜上前置摄像头光传导模组的一种通过光波导传导的配置方法：MR眼镜的前置 摄像头被配置为由一层或多层光波导与内部摄像头构成，环境中真实物体发射的光源被MR智能眼镜光学 显示系统接收。环境光源的一部分光穿过光波导镜片被用户眼睛捕获，被用于观察世界，另外一部分光被 光耦合元件改变光的传播角度使其在波导镜片中达到全反射入射角度，进而部分环境光在波导中传导至图 像传感器方向；被传导的环境光被光耦合元件耦合出光波导镜片射入图像传感器，对真实物体数码成像。

所述MR眼镜上的摄像头，为了实现多倍光学变焦拍摄稳定、清晰的远景画面/影像，还应配置一种影 像防抖装置，所述影像防抖模组可以通过利用光学防抖借助移动式硬件机械结构对透镜光学元件或者光敏 传感器进行光学补偿；或者利用电子防抖通过数码影像技术对拍摄影像进行锐化、降噪及相关处理；或者 利用模式防抖优化调整后的相机拍摄参数来补偿抖动对成像的影响；再或者利用多重防抖综合光学防抖、 电子防抖、模式防抖多种防抖形式，根据实际情况选择几种或结合多种防抖技术；

具体的，所述经过眼动交互、手势识别交互、外设控制器、有声/无声语音识别、头动交互控制图像放 大倍率的变焦方法包括光学变焦和数码变焦。其中光学变焦具体为，通过指令驱动MR眼镜内部镜头组件 进行变焦。其中变焦镜头组件内部由若干个光学透镜组成，可以通过电磁驱动或/和MEMS驱动作为动力 改变透镜之间的距离来改变成像焦距，进而完成图像的放大与缩小；数码变焦，通过处理器，把图片内的 每个像素面积增大，从而达到放大目的，但是画质受到极大的损失。

上述所述的眼动追踪控制图像放大倍率的变焦过程包括光学变焦和数码变焦。其中光学变焦具体为， 通过放大倍率的方法指令控制MR眼镜内部变焦镜头组件(如图6-a镜头组件604)。其中变焦镜头组件 内部由若干个光学透镜组成，可以通过电磁驱动或/和MEMS驱动作为动力改变透镜之间的距离来改变成 像焦距，进而完成图像的放大与缩小。

步骤三中，对选定放大后区域的图像进行优化或/和AI图像增强。图像进行优化具体为，对此时摄像 头实时拍摄的放大区域的影像进行自动参数优化，优化的参数包括但不限于曝光时间、ISO值、帧率、锐 度、白平衡等。

放大后注注视区域图像使用AI增强技术，利用AI人工智能技术对放大的图像中内容进行补充优化， 使获得得到更加清晰，细节更加饱满的视频影像。

人工智能(artificial intelligence，AI)超分技术可以根据拍摄场景，动态调整出清晰亮丽的图像。在本申 请中，可以使用AI技术可以增强月亮的细节与分辨率，从而获取到包括超清晰的放大后的图像。具体方 法为将低分辨率照片输入AI超分辨率重建模型中，对照片修复/增强模型进行“训练”，输入原始照片， 再将低分辨率的照片与原始照片进行对比，并对程序修复后的照片进行监督纠错，通过大量的数据反复训 练，是计算机总结图片增强的规律，最终达到不依靠原始图片进行较好的修复。其中所述AI超分辨率重 建模型包括但不限于SRCNN模型、FSRCNN模型、ESPCN模型、DRCN模型、VDSR模型、EDSR模型 和MDSR模型、SRGAN模型、VESPCN模型、DBPN模型、WDSR模型。

另一种实施例放大后注注视区域的图像增强为插值方法，利用这种方法构建缺失部位的像素时，会尽 量保持重建部分和周围像素点的一致性，利用待修补区域的边缘信息对缺失的像素进行估测。其中所述图 像插值算法包括但不限于最邻插值算法、线性插值、双线性插值、双三次(bicubic)插值；

除上述提及图像优化方法之外，未来其他的使图像变清晰的算法都应在本技术发明限制范围内。

具体的，步骤四中，所述MR眼镜显示系统包括光引擎、耦合光学元件、光学成像装置。光学成像装 置包括共轴棱镜(例如谷歌眼镜)、离轴棱镜(Epson和耐得佳)、光波导(Magic leap one和hololens 2)、 共轴空导(ODG和影创即墨)。其中波导显示器包括光引擎、耦合光学元件、波导，耦合光学元件设置 在波导上面或波导内部，用于将光引擎发射的影像耦合入射角进入光波导元件中，改变光的入射角度使其 达到全反射条件，在光波导元件中无损传播，最终通过输出衍射耦合器耦合射出；

所述光引擎为可以被配置为OLED、LED、Micro-LED(高密度显示器)、LCOS(硅基液晶显示器)、 MEMS(微电子激光发射系统)以及光纤扫描成像等；

所述波导包括几何式光波导和“半透半反”镜面阵列、衍射式光波导和表面浮雕光栅、衍射式光波导 和全息体光栅。

进一步，通过光引擎将步骤三增强的图像传输至光学显示系统上显示，同时光学显示系统降低透明度 或完全不透明，所述影像根据交互界面设计以及视觉需求发生的交互进行调整；

所述设备通过光引擎将摄像头拍摄的影像投影至所述光波导显示模块显示，影像根据交互界面的设计 配合调整或者根据用户的交互来调整。

进一步，步骤四中，所述光光学显示系统降低透明度或完全不透明具体为设备外层透明保护壳(如图 3所示)可被配置为光学透明度调制模块，用于控制所述MR眼镜(MR眼镜)整体光学透明度，通过降 低显示器透明度来避免环境光/影像对波导显示正在呈现内容的干扰，所述光学透明度调制模块包括：

有源透明度调制膜，包括电致变色像素层或者光致变色层，所述可电致变色像素层通过电控介于透明 与不透明以及两者之间的状态进行转换；所述光致变色层通过内部发射的光源选择性的将光致变色层的每 个调制像素曝光以控制每个光调制像素的不透明度；

透明状态的透射率可以是100％或接近100％；不透明状态的透射率是0％或者接近0％，同时也可选择 性地产生中间水平介于0％至100％之间的透光率；

所述光学透明度调制模块根据交互界面的设计、使用状态、主动操作等情况选择性地将显示模块的全 部区域或者局部区域进行透明度调制。

在望远模式下，光学透明度调制模块将显示模块的局部区域进行不透明度调制，进行局部画面显示； 或将显示模块的全部或者局部区域进行中间水平的不透明度调制，减弱外界射入的光，以保证用户可以清 楚、舒适地查看画面；如图4-a和图4-b所示，不显示图像区域光线减弱，显示图像区域未被外界光所影 响；所述透明度调制的局部区域可以根据显示模块所显示的影像、UI、图片或模型区域实时映射，避免外 界光影响显示效果。将光学透明度调制模块的不透明度调制FOV范围配置成与光学显示器的显示FOV范 围一致；系统实时计算显示器显示的影像、UI、图片或模型轮廓区域以及用户发生交互导致上述区域的大 小、比例、位置变化的区域，反馈并控制光学透明度调制模块的不透明度区域做出相应的变化。

进一步，所述用户调整画面的交互方法包括：

(i)通过眼睑动作进行影像画面的缩放：眼动追踪检测用户眼睛动作，当将眼睛上下眼睑眯合，为缩 小画面，将眼睛上下眼睑扩张，为放大画面；或者在此基础上结合注视点的交互，注视画面缩放滚动条再 进行眼睑动作视为控制画面的缩放，注视影像播放区再进行眼睑动作为控制播放区的缩放；

(ii)通过手部动作进行影像画面的缩放以及拖动：手势识别模块识别手部动作，将五指并拢或食指 与拇指合并，为缩小画面，将五指张开或食指与拇指打开，为放大画面，用将手保持握持状态，上下左右 挥动，为将影像画面进行拖动；或者在此基础上结合注视点进行更精准的交互；

另一种可替代手势识别方法为，通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小的 具体方法为，

MR眼镜前置视觉传感器检测用户双手手势则对前置摄像头进行变焦调节和截图位置控制。所示如图 5，当用户双手(右手715，左手711)在视觉前方做出数字“八”的手势(大拇指和食指成直角状态)， 然后双“八”手势组成四边形。其中可以一只手手心朝里，一只朝外，或者双之手同时朝里或朝外。其中 系统可以确定手的配置是否定义了框架。在特定实施例中，当虚拟手形成预定的几何图案(例如，四边形， 三角形，椭圆形，圆形等)时，系统可以确定已经形成框架。例如，系统可以确定上述“双八”手势是否 在现实环境中定义了四边形。计算机系统通过双手围成的四边形区域确定前置摄像头取景的范围(放大的 范围)。

通过手势与用户之间的距离来对图像进行放大缩小的调节。例如，保持四边形面积一定的情况下，双 八手势向远离用户身体的方向移动时，区域内画面放大倍率。双八手势向靠近用户身体的方向移动时，区 域内画面放大倍率。

通过四边形手势的对角线长度来调整显示放大影像的画面窗口面积，在同一平面内双手分别向外围两 侧移动时，四边形的对角线长度、面积、周长都会增大，此时显示放大影像的窗口同步增大。反之则变小。

如图5为通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小的具体方法效果示意图。

环境700中示出的其他对象(例如树)730，山脉731和房屋732为用户视觉前方所看到现实世界物 体。呈现视觉提示742(例如，发光或改变颜色，图标，动画等)，以通知用户他可以使用那些手指来触 发相应的按钮，触发器。右手715的食指717、大拇指716和左手711的食指713、大拇指712组成数字 “八”的手势，左手和右手的手势围成了四边形760的显现影像的范围，同时通过手势围成的四边形760 圈中物体影像751。系统通过识别手势与用户的距离放大或缩小四边形760范围内的影像变焦倍率。

(iii)通过发出有声或无声语音指令，计算机系统识别明确的指令，进行对应显示元素的交互及控制；

(iv)通过操控设备的移动控制器进行显示元素的交互及控制，移动控制器在虚拟世界中获得同步映 射，控制器前端发出射线，射线指向任何图片、按钮、窗口等显示元素时按下控制器扳机按键，控制所述 元素移动、放大、缩小以及触发点击事件等。

进一步，步骤五中，根据内置探测器检测视觉需求的使用状态进行模式调整和/或模式退出。其中所述 内置探测器检测使用状态的方法包括：

A)检测头部的运动：通过运动探测器判断头部的大幅度运动；用于在某些情况下被其他声音或者物 体吸引转移注意力导致短时间内大幅度地转移头部，为丧失继续使用望远模式的需求，自动退出望远模式；

B)检测的注意力：通过眼动追踪模块检测眼睛状态，包括注视点、瞳孔大小、注视时长；用于判断 注意力状态，在运行望远模式时设备检测到注意力丧失，则退出望远模式，等待其他指令；

C)通过眼睛注视前方景象的注视点距离变小，退出模式，眼动追踪模块检测到眼睛注视点距离变近， 判断用户此时无观察远处景物需求，系统自动退出望远模式。

进一步，在另外一种实施例中，用户可以操作MR眼镜系统对当前放大的影像进行拍照，拍照后的电 子照片储存在MR眼镜存储器上。在上述说明中照片已完成了对焦、照片角度的调整、摄影相关参数的调 整。其中拍照指令可以以任意方式输入，例如眼动交互、手势识别、语音交互的等，或通过认识交互控制 UI界面上的拍照功能键。

本发明另个一目的在于提供一种基于MR眼镜的人眼视觉能力增强的系统具体包括：所述MR眼镜(近 眼显示设备)被配置为交互装置，视觉传感器，光学显示装置，GPS,加速度传感器，磁力计，光敏传感器， 视觉传感器，CPU，GPU，透明度调节装置。其中，交互装置包括眼动追踪装置，手势识别装置，6DoF 控制器手柄，有声/无声语音识别装置，头动追踪装置。视觉传感器包括前置长焦摄像头，结构光摄像头， 红外摄像头。光学显示装置包括光引擎，光学成像镜片。

进一步，所述检测用户产生了视觉需求并主动发出操作指令的方法包括：眼动交互、手势识别交互、 外设控制器、有声/无声语音识别、头动交互。

MR眼镜系统接收交互装置发送的操作指令，其中用户可以通过眼动追踪装置、手势识别装置、外设 控制器装置、有声/无声语音识别装置、头动追踪装置与MR眼镜系统进行交互，发送启动/进入相应模式。

在另一种实施例中，还可以通过系统检测用户和/或环境自动识别应用场景需求信息的方法包括：

(a)进入望远模式的检测方法(如图7-a所示)：眼动追踪装置检测眼睛视线方向，双眼方向向量被 传送至运算处理器计算出双眼视线夹角度数，如果夹角度数小于或等于一定角度和/或检测用户注视远处景 物超过一定时长，则系统自动打开“望远APP”，或者发出咨询是否进入望远模式的弹窗，若进入望远模 式则对所注视区域景象进行放大呈现；

(b)可替代的另一种进入望远模式的检测方法(如图7-b所示)：眼动追踪装置实时检测眼睛在屈光 调节时晶状体厚度大小以及曲率的变化。当晶状体的厚度低于一定的阈值时，则系统自动打开“望远APP”， 或者发出咨询是否进入望远模式的弹窗。

在启动望远APP后，授权开启MR眼镜前置摄像头拍摄用户视野前方画面，处理器接收眼动追踪装 置发送的注视点位置和深度信息。处理器将注视点位置映射在前置摄像头所拍摄的画面中，同时处理器将 注视点信息发送至变焦模块，变焦模块通过注视点位置确定摄像头对焦的位置，通过视觉深度确定变焦的 程度。其中变焦的包括光学变焦和数码对焦。

其中所述MR眼镜上的摄像头，由于希望MR眼镜整体小巧、轻便，本专利提出了MR眼镜上三种摄 像头获取视觉前方影像的光学方法。分别是分别是图6-a潜望镜式、图6-b光纤式、以及图6-c光波导式。

实施例图6-a潜望镜式所示，利用潜望镜原理，反射镜装置608将透镜603收集的光609反射至镜头 组件604，光609被镜头组件604校正后在图像传感器605上进行成像。

另一实施例图6-b光纤式所示，收光透镜611将视觉前方影像光汇聚并输入至光导纤维612，影像光 在光导纤维612中传导至透镜单元613，透镜单元613中包括若干个光学透镜组合，具备变焦和畸变矫正 的特性。经过透镜单元613变焦处理后投射至图像传感器614获取影像。

另一实施例图6-c光波导式所示，将MR眼镜原有的波导镜片进行改造，将对外的成像波导镜片的一 部分用于收集和传导影像光，被传导的影像光被内置的图像传感器接收。

所述MR眼镜上的摄像头，为了实现多倍光学变焦拍摄稳定、清晰的远景画面/影像，还应配置一种影 像防抖装置，所述影像防抖装置可以通过利用光学防抖，借助移动式硬件机械结构对透镜模组或者光敏传 感器模组进行光学补偿；或为利用电子防抖，通过数码影像技术对拍摄的影像进行锐化、降噪及相关处理； 或者利用模式防抖，优化调整后的相机拍摄参数来补偿抖动对成像的影响；或者为利用多重防抖，综合光 学防抖、电子防抖、模式防抖等多种防抖形式，根据实际情况选择几种或结合多种防抖技术。

进入所述望远模式，驱动前置摄像头对眼动追踪模块的注视区域和/或头动追踪模块识别中心点的景象进行 对焦摄像。在获得注视区域的图像后，将图像传输至图像修复模块。图像修复模块对放大后的注视区域图 像进行图像修复，使其在图像放大后提高图像质量。图像修复模块包括AI图像增强、图像参数优化和/或 利用插值方法进行图像增强；

进一步，对放大后注视区域的图像进行优化或/和AI图像增强图像进行优化具体为，对此时摄像头实 时拍摄的放大区域的影像进行自动参数优化，优化的参数包括但不限于曝光时间、ISO值、帧率、锐度、 白平衡等。

放大后注注视区域图像使用AI增强技术，利用AI人工智能技术对放大的图像中内容进行补充优化， 使获得得到更加清晰，细节更加饱满的视频影像。

另一种实施例放大后注注视区域的图像增强的技术基础是插值方法，利用这种方法构建缺失部位的像 素时，会尽量保持重建部分和周围像素点的一致性，利用待修补区域的边缘信息对缺失的像素进行估测。

进一步将修复后的图像传输至成像模块进行处理，然后通过MR眼镜的光学成像系统显示远处放大的 画面。光学成像系统包括光引擎和光波导成像镜片在另外一种实施例中，MR眼镜可以通过光学透明度调 制模块调节透明保护壳的透明度，使得MR眼镜光学显示器呈现得远景影像更加突显。

进入所述望远模式后，系统控制MR眼镜上的远焦摄像头获取用户所视区域的远处影像，通过光敏传 感器处理成电信号，传输至光引擎，将接收到的远处影像电信号转化成光信号传递至光学成像系统，向用 户呈现。

进一步，所述用户调整画面的交互方法包括：

(i)通过眼睑动作进行影像画面的缩放：眼动追踪检测用户眼睛动作，当将眼睛上下眼睑眯合，为缩 小画面，将眼睛上下眼睑扩张，为放大画面；或者在此基础上结合注视点的交互，注视画面缩放滚动条再 进行眼睑动作视为控制画面的缩放，注视影像播放区再进行眼睑动作为控制播放区的缩放；

(ii)通过手部动作进行影像画面的缩放以及拖动：手势识别模块识别手部动作，将五指并拢或食指 与拇指合并，为缩小画面，将五指张开或食指与拇指打开，为放大画面，用将手保持握持状态，上下左右 挥动，为将影像画面进行拖动；或者在此基础上结合注视点进行更精准的交互；

另一种可替代手势识别方法为，通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小的 具体方法为，

MR眼镜前置视觉传感器检测用户双手手势，则对前置摄像头进行变焦调节和截图位置控制。所示如 图5，当用户双手(右手715，左手711)在视觉前方做出数字“八”的手势(大拇指和食指成直角状态)， 然后双“八”手势组成四边形。其中可以一只手手心朝里，一只朝外，或者双之手同时朝里或朝外。其中 系统可以确定手的配置是否定义了框架。在特定实施例中，当虚拟手形成预定的几何图案(例如，四边形， 三角形，椭圆形，圆形等)时，系统可以确定已经形成框架。例如，系统可以确定上述“双八”手势是否 在现实环境中定义了四边形。计算机系统通过双手围成的四边形区域确定前置摄像头取景的范围(放大的 范围)。

通过手势与用户之间的距离来对图像进行放大缩小的调节。例如，保持四边形面积一定的情况下，双 八手势向远离用户身体的方向移动时，区域内画面放大倍率。双八手势向靠近用户身体的方向移动时，区 域内画面放大倍率。

通过四边形手势的对角线长度来调整显示放大影像的画面窗口面积，在同一平面内双手分别向外围两 侧移动时，四边形的对角线长度、面积、周长都会增大，此时显示放大影像的窗口同步增大。反之则变小。

如图5为通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小的具体方法效果示意图。

环境700中示出的其他对象(例如树)730，山脉731和房屋732为用户视觉前方所看到现实世界物 体。呈现视觉提示742(例如，发光或改变颜色，图标，动画等)，以通知用户他可以使用那些手指来触 发相应的按钮，触发器。右手715的食指717、大拇指716和左手711的食指713、大拇指712组成数字 “八”的手势，左手和右手的手势围成了四边形760的显现影像的范围，同时通过手势围成的四边形760 圈中物体影像751。系统通过识别手势与用户的距离放大或缩小四边形760范围内的影像变焦倍率。

(iii)通过发出有声或无声语音指令，计算机系统识别明确的指令，进行对应显示元素的交互及控制；

(iv)通过操控设备的移动控制器进行显示元素的交互及控制，移动控制器在虚拟世界中获得同步映 射，控制器前端发出射线，射线指向任何图片、按钮、窗口等显示元素时按下控制器扳机按键，控制所述 元素移动、放大、缩小以及触发点击事件等。

进一步，步骤五中，根据内置探测器检测视觉需求的使用状态进行模式调整和/或用户主动操作模式退 出或拍照。其中所述内置探测器检测使用状态的方法包括：

A)检测头部的运动：通过运动探测器判断头部偏转范围超过一定的阈值时，关闭呈现远处影像的画 面。及用户此时视野前方场景变化较大，则退出望远模式；

B)检测的注意力：通过眼动追踪模块检测眼睛状态，包括注视点、瞳孔大小、注视时长；用于判断 注意力状态，在运行望远模式时设备检测到注意力丧失，则退出望远模式，等待其他指令；

C)通过眼睛注视前方景象的注视点距离变小，退出模式，眼动追踪模块检测到眼睛注视点距离变近， 判断用户此时无观察远处景物需求，系统自动退出望远模式。

D)在另外一种实施例中，用户可以操作MR眼镜系统对当前放大的影像进行拍照，拍照后的电子照 片储存在MR眼镜存储器上。在上述说明中照片已完成了对焦、照片角度的调整、摄影相关参数的调整。 其中拍照指令可以以任意方式输入，例如眼动交互、手势识别、语音交互的等，或通过认识交互控制UI 界面上的拍照功能键。

本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序， 供于电子装置上执行时，提供用户输入接口以实施权利要求所述的基于MR眼镜的人眼视觉能力增强方 法。

本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得 计算机执行所述的基于MR眼镜的人眼视觉能力增强方法。

本发明提供的一种MR眼镜上潜望镜式摄像头获取影像的光学方法和光学组件结构的，

在图6-a所示潜望镜式实施例中，如图所示的是某MR眼镜正面局部示意图，MR眼镜镜框610和MR 眼镜光学显示装置602。透镜603设置在MR眼镜的正中间，使其更好的收集用户视觉前方的影像光609， 其中透镜603被配置为单一光学透镜，被用作透过光线，具有良好的透光性，并且具有一定的强度以起到 保护摄像头其余组件的作用。

利用潜望镜原理，反射镜装置608将透镜603收集的光609反射至镜头组件604，光609被镜头组件 604校正后在图像传感器605上进行成像。其中反射镜装置608设置于镜头组件604光路的一端，图像传 感器605位于镜头组件604光路的另一端。反射镜装置608的平面与镜头组件604的镜头对称轴构成预设 角度，预设角度可如图6-a所示的角θ。镜头组件604被配置为多个不同曲度凸/凹透镜组合而成，还可以 配置为包含自动对焦机构或定焦机构，自动对焦机构通过内部微型机械装置或/和电磁驱动调节透镜之间的 距离实现变焦。拍照时可以用户根据具体情况调节焦距，根据具体情况拍摄出所需的照片；或，镜头组件 604还包括定焦机构，可以减少用户的操作，使得拍摄更加方便。

图像传感器605，用于接收经过透镜模组射出的光线，捕获所视景物影像，所述光敏传感器可被配置 为CCD传感器或CMOS传感器，用于对远、近处的景物进行摄像；

本实施例中通过反射镜装置608将光路折叠，将镜头组件604平躺在MR眼镜内，这样可以保持良好 的外观以及空间利用率，可以实现厚度较薄的摄像机模组，进而避免了对MR眼镜厚度的影响。

本发明提供的另外一种MR眼镜上光纤传导式摄像头获取影像的光学方法和光学组件结构的。

光纤传导的摄像头，如图6-b，收光透镜611与光到纤维612相连接，收光透镜611将视觉前方影像 光汇聚并输入至光导纤维612。收光透镜611一面可以配置为广角镜片用户收集更大视角的影响，一面用 于偏转影像光使其达到在光导纤维612中形成全反射的入射角条件。光到纤维612由于十分细小可以布置 在任意合适的智能眼镜硬件中将影像光616引导至认知合适的硬件空间中进行处理。影像光在光导纤维612 中传导至透镜单元613，透镜单元613中包括若干个光学透镜组合，具备变焦和畸变矫正的特性。经过透 镜单元613变焦处理后投射至图像传感器614获取影像。图像传感器614与图6-a中605相同，在此不做 赘述。

光导纤维613可被配置为包括纤芯以及围绕纤芯的包层，纤芯由一种光学材料制成，包层由另一种光 学材料制成，例如在一些实施例中采用玻璃材料，包括但不限于二氧化硅玻璃、氟化物玻璃、磷酸盐玻璃、 硫化物玻璃等，在一些实施例中采用塑料或聚合物材料，例如聚甲基丙烯酸甲酯、聚苯乙烯、含氟聚合物 或聚硅氧烷等。光导纤维的横截面可以呈现多边形形状，例如三角形、正方形、矩形、六边形、圆形或椭 圆形或其他任何合适的形状，纤芯的直径可以为不限于5μm至约25μm。光导纤维沿着MR眼镜空间合 适的框架内部设置，最终将影像光线引导至透镜与传感器单元，使透镜与传感器单元设置在适合的空间，降低设备的形状系数。

本技术方法的优点在于避免将整个摄像头的组件(镜头、图像传感器)都放置在MR眼镜正前方。在 未来MR智能眼镜设计中，设计形式可能会以极简的形式呈现，MR眼镜越来越轻便小巧，但是为了获得 更远更高清的图像需要通过光学变焦获取图像，然后光学变焦镜头可能会十分厚重，同时需要更好图像传 感器，这就是得MR眼镜厚重，不利于硬件架构设计。为了解决上述矛盾，本创新通过光导纤维将图像进 行转移，转移至MR眼镜上任意合适的位置再通过变焦镜头组进行光学处理。对比于图6-a所示潜望镜式 光学方法设计的自由度更大更轻薄。

本发明提供的另外一种MR眼镜上光波导镜片传导式摄像头获取影像的光学方法和光学组件结构的。

例如光波导摄像头，如图6-c，MR眼镜的摄像头可被配置为由一层或多层光波导621与内部摄像头 624构成。环境中真实物体628发射的光源625被MR智能眼镜光光学显示系统621接收。环境光源625 的一部分光穿过光波导镜片621被用户眼睛629捕获，被用于观察世界，另外一部分光625被光耦合元件 622改变光的传播角度使其在波导镜片621中达到全反射入射角度，进而部分环境光625在波导621中传 导至图像传感器624方向。被传导的环境光626被光耦合元件623耦合出光波导镜片621射入图像传感器 624，进而对真实物体628数码成像。

相对于图6-b所示的光纤传光的成像光学方法，本方法将MR眼镜原有的波导镜片进行改造，将对外 的成像波导镜片的一部分用于收集和传导影像光，被传导的影像光被内置的图像传感器接收，光波导镜片 代替了光导纤维。

在另一些实施例中，MR眼镜的摄像头的光传导模组可依据上述实施例分别配置，并且为了设备更小 的形状系数，可以将不同变焦能力的影像装置的光传导模组合并共用。在不同模式下，通过微型全反射镜 改变光传导模组出射的影像光方向，传导至相应透镜和传感器模组。

本发明另个一目的在于提供的一种MR眼镜上拍照的方法和交互方法。

通过MR眼镜眼动追踪装置自动识别应用场景信息进入拍照应用；启动拍照应用后驱动前置摄像机对 眼动追踪组件捕获双眼视线的注视区域和/或头动追踪模块识别中心点的景象进行对焦摄像；对选定放大后 注视区域的图像进行优化或/和AI图像增强；通过光引擎将增强的图像传送至光学元件显示器上预览拍摄 的画面，所述图像根据交互界面设计或者根据视觉需求发生的交互操作调整画面；通过相应的控制指令执 行拍照，所拍照片储存于设备内部存储装置，供用户查看、分享、下载。

本发明提供了基于MR眼镜多种拍摄图像过程中控制摄像头对焦的交互方法、系统。具体为

(i)通过眼睑动作进行影像画面的缩放：眼动追踪检测用户眼睛动作，当将眼睛上下眼睑眯合，为缩 小画面，将眼睛上下眼睑扩张，为放大画面；或者在此基础上结合注视点的交互，注视画面缩放滚动条再 进行眼睑动作视为控制画面的缩放，注视影像播放区再进行眼睑动作为控制播放区的缩放；

(ii)通过手部动作进行影像画面的缩放以及拖动：手势识别模块识别手部动作，将五指并拢或食指 与拇指合并，为缩小画面，将五指张开或食指与拇指打开，为放大画面，用将手保持握持状态，上下左右 挥动，为将影像画面进行拖动；或者在此基础上结合注视点进行更精准的交互；

另一种可替代手势识别方法为，通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小的 具体方法为，

MR眼镜前置视觉传感器检测用户双手手势，则对前置摄像头进行变焦调节和截图位置控制。所示如 图5，当用户双手(右手715，左手711)在视觉前方做出数字“八”的手势(大拇指和食指成直角状态)， 然后双“八”手势组成四边形。其中可以一只手手心朝里，一只朝外，或者双之手同时朝里或朝外。其中 系统可以确定手的配置是否定义了框架。在特定实施例中，当虚拟手形成预定的几何图案(例如，四边形， 三角形，椭圆形，圆形等)时，系统可以确定已经形成框架。例如，系统可以确定上述“双八”手势是否 在现实环境中定义了四边形。计算机系统通过双手围成的四边形区域确定前置摄像头取景的范围(放大的 范围)。

通过手势与用户之间的距离来对图像进行放大缩小的调节。例如，保持四边形面积一定的情况下，双 八手势向远离用户身体的方向移动时，区域内画面放大倍率。双八手势向靠近用户身体的方向移动时，区 域内画面放大倍率。

通过四边形手势的对角线长度来调整显示放大影像的画面窗口面积，在同一平面内双手分别向外围两 侧移动时，四边形的对角线长度、面积、周长都会增大，此时显示放大影像的窗口同步增大。反之则变小。

如图5为通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小的具体方法效果示意图。

环境700中示出的其他对象(例如树)730，山脉731和房屋732为用户视觉前方所看到现实世界物 体。呈现视觉提示742(例如，发光或改变颜色，图标，动画等)，以通知用户他可以使用那些手指来触 发相应的按钮，触发器。右手715的食指717、大拇指716和左手711的食指713、大拇指712组成数字 “八”的手势，左手和右手的手势围成了四边形760的显现影像的范围，同时通过手势围成的四边形760 圈中物体影像751。系统通过识别手势与用户的距离放大或缩小四边形760范围内的影像变焦倍率。

(iii)通过发出有声或无声语音指令，计算机系统识别明确的指令，进行对应显示元素的交互及控制；

(iv)通过操控设备的移动控制器进行显示元素的交互及控制，移动控制器在虚拟世界中获得同步映 射，控制器前端发出射线，射线指向任何图片、按钮、窗口等显示元素时按下控制器扳机按键，控制所述 元素移动、放大、缩小以及触发点击事件等。

综上所述，本发明的优点及积极效果为：本发明公开了一种基于MR眼镜的人眼视觉能力增强的方法 及系统。即一种扩展人眼视觉能力的模式和方法——望远模式：

望远模式通过前置摄像头捕获用户所视前方区域的远距离景物的影像，通过光学显示系统显示；

本发明通过手势识别、语音识别、眼动追踪或者控制器操作进行交互；另一方面通过眼动追踪捕获眼 睛的注视方向和注视点，前端摄像头根据眼睛注视点方向和深度进行对焦和/或放大。

本发明通过在MR眼镜上配置一套可远距离对焦摄像的装置，帮助用户观看远处的景物，特别是超出 人眼视觉能力范围之外的景物；

本发明配备了一些自动交互方案：例如通过眼动追踪技术实现如下效果，当检测到用户开始有了眺望 远处景象的需求时，MR眼镜能够及时响应，并将用户所视区域的远处景象进行放大呈现；

本发明设置了摄像头的光传导模组的方案，通过多个透镜元件的横置反光镜或者经由光导纤维、光波 导镜片引导影像，实现透镜元件与传感器元件的合理分布，保证了近眼设备的更薄、美观，同时还不影响 光线的接收。兼顾了设备佩戴的舒适性、轻便性和美观性，且造价低廉，交互体验好，可以实现人眼视觉 能力的综合增强，提高用户体验。

本发明可以采取光波导镜片的耦合装置将眼睛发出的光线或者外界光线进行耦合，改变传播路径，引 导至设备内部的图像获取装置，这样可以简化设备单元、缩减成本、降低功耗、缩小设备体积。

本发明使MR眼镜在所述的望远模式下可以根据用户使用状态自动调制透明度调制膜的全局区域或者 局部区域为不透明或者半透明，例如在全局区域不透明时，设备可以全局查看影像，沉浸感体验更好；在 局部区域不透明时，设备显示模块可以局部查看影像，其他区域保持透明，避免遮挡用户查看现实环境的 视线，保证设备使用的安全性；在局部区域半透明时，有助于减弱外界光线，避免影响成像效果。

本发明充分考虑到使用可能会遮挡、阻碍用户前方视线的上述模式应用带来的不安全情况，设置了合 理的交互呈现范围以及自动响应退出的机制。

本发明提供了基于MR眼镜一种拍摄图像的方法。通过前置摄像头拍摄用户所视前方景物图像，经过 调焦选取拍摄的画面角度，再通过光波导显示装置预览拍摄的画面，通过相应的控制指令执行拍照，所拍 照片储存于设备内部存储装置，供用户查看、分享、下载。

相比于现有技术，本发明的优点进一步包括：

本发明提供的MR眼镜(一种智能MR眼镜，包括AR、XR智能眼镜)根据用户的视觉需求进入望 远模式；望远模式通过设备的长焦摄像模块拍摄远距离景象，远距离景象被光学显示系统投影至用户眼睛 中，帮助用户看清视觉能力范围之外的远处景象，增强用户望远的视觉能力；设备的眼动追踪模块、手势 识别模块、语音识别模块以及其他传感器用于检测用户的视觉需求以及使用状态，进行所述模式的控制和 交互。本发明将光纤和光导摄像技术整合在智能MR眼镜之上，设计了具体、便捷的交互方式，兼顾了设 备佩戴的舒适性以及设备的重量和美观，且价格低廉，效果优异，可以实现人眼视觉能力的综合增强，提 高用户体验。

本发明通过上述眼动追踪装置检测眼睛的视觉深度变化、晶状体厚度变化、瞳孔直径变化来自动启动 望远模式，消除MR中传统拍照方法的繁琐；进行导航菜单，打开相机应用，对准相机，然后才拍照的过 程相比更加快捷。通过简化开启应用的过程，MR拍照用户界面减少用户希望拍照与实际拍照之间的等待 时间；减少的拍照过程中的等待时间捕获所需的瞬间。

进一步利用眼睛注视点得Z坐标确定在外景照片上该目标区域中物体的视觉深度，进而控制摄像机对 目标物体进行对焦或数码变焦放大一定的倍率，使其获得更清晰的图像。影像放大倍率以望远模式默认的 初始放大倍数为准；

本发明摄像头分别包括各自的光传导模组、透镜模组、光敏传感器模组以及影像防抖模组。

本发明光传导模组，被配置为至少一组全反射镜单元，参考潜望镜原理，将入射的影像光呈一定角度 偏折，实现透镜模组与传感器模组的横置或斜置；或为一种由玻璃或塑料制成的光导纤维单元，用于将影 像光沿着镜架中空的内部引导至透镜模组与传感器模组；或为一层或多层包含耦合光学原件的波导，其中 的耦合光学元件将用户所视前方的影像光耦合至波导中传导，引导至MR眼镜内置的传感器模组；以上光 传导模组的配置目的是简化设备构件，降低设备的形状系数；

本发明透镜模组，配置在MR眼镜中适宜的任何空间位置，包含一组或者多组多个凸、凹透镜组合的 光学元件，用于前方远处或者近处的景物进行对焦，通过不同的透镜组合、移动或者根据不同距离的对焦 能力分组配置，实现远近距离景物的对焦；

光敏传感器模组，用于接收经过透镜模组射出的光线，捕获所视景物影像，所述光敏传感器包括CCD 传感器或CMOS传感器，用于对远、近处的景物进行摄像；

影像防抖模组可以通过利用光学防抖借助移动式硬件机械结构对透镜模组或者光敏传感器进行光学 补偿；或者利用电子防抖通过数码影像技术对拍摄影像进行锐化、降噪及相关处理；或者利用模式防抖优 化调整后的相机拍摄参数来补偿抖动对成像的影响；再或者利用多重防抖综合光学防抖、电子防抖、模 式防抖多种防抖形式，根据实际情况选择几种或结合多种防抖技术。

本发明人工智能(artificial intelligence，AI)超分技术可以根据拍摄场景，动态调整出清晰亮丽的图像。 在本申请中，可以使用AI技术可以增强月亮的细节与分辨率，从而获取到包括超清晰的放大后的图像。 具体方法为将低分辨率照片输入AI超分辨率重建模型中，对照片修复/增强模型进行“训练”，输入原始 照片，再将低分辨率的照片与原始照片进行对比，并对程序修复后的照片进行监督纠错，通过大量的数据 反复训练，是计算机总结图片增强的规律，最终达到不依靠原始图片进行较好的修复。其中所述AI超分 辨率重建模型包括但不限于SRCNN模型、FSRCNN模型、ESPCN模型、DRCN模型、VDSR模型、EDSR 模型和MDSR模型、SRGAN模型、VESPCN模型、DBPN模型、WDSR模型等。

放大后注注视区域的图像增强的技术基础是扩散方法，利用这种方法构建缺失部位的像素时，会尽量 保持重建部分和周围像素点的一致性，利用待修补区域的边缘信息对缺失的像素进行估测。

附图说明

图1是本发明实施例提供的基于MR眼镜的人眼视觉能力增强方法流程图。

图2是本发明提供的MR眼镜用于望远模式查看远处景物的示意图。

图3是本发明提供的MR眼镜示意图。

图4是本发明提供的通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小的具体方法效 果示意图。

图5是本发明提供的MR眼镜在望远模式下光波导显示装置的呈现交互界面。

图6-a、6-b以及6-c是本发明提供的摄像头光传导模组的三种配置方法示意图，主要改变入射影像 光的传播路径，引导至传感器，降低设备形状系数，使设备更紧凑，其中6-a是潜望式摄像头，6-b是光 纤传导的摄像头,6-c是光波导摄像头。

图7-a和图7-b是本发明提供的眼睛注视距离示意图，其中图7-a为通过眼动追踪测量两只眼睛注视 夹角计算眼睛的注视距离的示意图，7-b为通过眼动追踪测量人眼晶状体厚度以及曲率半径计算眼睛注视 距离的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说 明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

眼显示设备(HMD)还包括电子显示器和光学组件。HMD可以是例如混合现实(MixedReality)—MR 眼镜、增强现实(Augmented Reality)—AR眼镜、虚拟现实(VirtualReality)—VR眼镜、扩展现实 (Extended Reality)—XR眼镜或其某种组合。电子显示器配置为发射图像光。光学组件被配置为将图像 光引导到与用户眼睛的位置对应的HMD的出射光瞳，该图像光包括由DCA确定的局部区域中的一个或多个 对象的深度信息。

为了方便说明，在本发明说明中MR智能眼镜代表近眼显示设备，包括AR眼镜、VR眼镜、XR眼镜。

下面结合附图对本发明作详细说明。

如图1所示，本发明实施例提供的基于MR眼镜的人眼视觉能力增强方法具体包括：

S101，MR眼镜根据用户视觉需求主动发出的指令或者通过眼动追踪装置自动识别应用场景信息进入望 远模式(如图2所示)。

S102，进入望远模式后驱动前置摄像机对眼动追踪组件捕获双眼视线的注视区域和/或头动追踪模块 识别中心点的景象进行对焦摄像。

S103，对选定放大后注视区域的图像进行优化或/和AI图像增强。

S104，通过光引擎将步骤S103增强的图像传送至光学元件显示器上显示，所述图像根据交互界面设 计或者根据视觉需求发生的交互操作调整画面。

S105,根据内置探测器检测用户视觉需求的使用状态进行模式的调整或用户主动操作退出和/或拍照。

步骤S101，中，所述用户根据视觉需求主动发出的指令打开应用程序方法具体包括：眼动交互、手势 识别交互、外设控制器、有声/无声语音识别、头动交互。

(1)MR眼镜的眼动追踪装置捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、、 眼跳轨迹以及注视时长等，当注视时长超过一定时长，则视为对某一位置进行了对应眼球的行为动作，例 如对交互界面中的望远模式的UI按钮做出了凝视对应点击操作(眼睛行为动作)的动作，即进入望远模 式；。

(2)MR眼镜的手势识别模块检测手部做出特定的动作，例如手势识别装置接收到用户手部的运动信 息，或识别手部特定的形状，与上、下、左、右滑动、放大、缩小、点击以及关闭等控制选项相关联，进 而控制系统进入望远模式。

(3)通过操控设备的含有无线信号传输的移动控制器(3自由度或6自由度)，例如握持按键式控制 器、穿戴式手套以及指套控制器等，向MR眼镜发射控制信号，通过操作交互界面，点击UI按钮进入望远 模式，其中包括6DoF加速度传感器追踪技术和6DoF电磁追踪技术手柄。

(4)通过MR眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户 的语音指令，控制设备进入望远模式。

(5)通过头动追踪装置选择交互界面的按钮，例如通过在MR眼镜的的加速度传感器、陀螺仪、磁力 计计算用户头部的运动，在MR眼睛视野中央设置一个与头部相对位置固定的光标，移动头部控制光标选 择位置与全息UI界面进行点击确认，进而启动望远模式。

进一步，所述根据用户视觉需求主动发出的指令识别应用场景需求信息的方法不局限用于启动/进入望 远模式，还包括软件应用使用/操作过程中的交互方式。并且在上述交互方法中，通过眼动追踪模块检测眼 睛对交互界面中的任意UI按钮做出对应确认点击操作(眼睛行为动作)的交互方式为最优方式。

步骤(1)中，检测眼睛的行为动作的方法包括：

通过眼动追踪装置捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眨眼频率、 单眼眨眼、眼脸闭合、视线、眼跳轨迹、注视时长，当注视时长超过一定时长或眨眼，则对某一功能的UI 位置进行点击确认指令。

进一步，所述眼动追踪装置的眼动追踪方法包括但不限于：

1)通过接收眼睛反射红外光线，计算瞳孔中心与角膜中心的连线进行眼动追踪。硬件包括至少一个 不可见红外光源、微型摄像头、反光热镜、光波导镜片。

2)另一种眼动追踪技术实施例为通过捕获眼睛图像或者计算视网膜的影像(毛细血管、中央凹)或 者视网膜反射光的强度进行眼动追踪。硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、 光学导光元件(例如光波导镜片)。

3)另一种眼动追踪技术实施例为通过发射结构光对眼睛创建模型，计算眼睛模型的视觉中心进行眼 动追踪。结构光红外图案投影器将一定数量的不可见的光点投影到被测物体上，再根据红外相机接收到的 反射光点，就可以计算得到人眼深度图。RGB摄像头拍摄的2D人脸结合计算的深度人眼信息，经过算法 处理就可以绘制出精确细致的3D目标物体。

4)另一种眼动追踪技术实施例为通过接收眼睛角膜的反射光线，计算角膜中心反射光的强度最大的 时刻来进行眼动追踪。硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光波导镜片，光 波导镜片可以配置为靠近眼睛的一层或多层光波导进行眼睛图像的获取和传导，波导中的输入衍射耦合器 将眼睛图像耦合，眼睛图像光线在光波导中传导，同时图像传感器配置在光波导输出衍射耦合器的光线出 射端。

进一步，所述头动追踪模块识别中心点的景象进行对焦摄像具体为：

通过头动追踪模块追踪用户头部的运动，具体为通过MR眼镜的加速度传感器、陀螺仪、磁力计检测 用户头部的运动，在MR眼睛视野中央设置一个与头部相对位置固定的光标为中心点，移动头部控制光标 位置的移动。以光标为中心的平面几何区域被配置为将被前置摄像头对焦、取景、放大的选择区域，改平 面几何区域可以配置为圆形、房型、正六边形等。例如。用户将通过控制头部移动来选择图像放大的区域。

步骤(2)中，所述手势识别模块检测手部动作的方法包括：

1)手势识别模块配置有图像获取单元、比对系统以及计算机，通过图像识别技术进行手势识别，图 像获取单元用于捕获手部运动的图像，所述图像包括：某一连续时刻手部的姿势、运动的连续图像，通过 比对系统预存的不同角度的手部动作图像，或者通过图像识别将手部手腕关节、指关节节点进行锚点，通 过计算机处理成手势追踪的简化锚点信号，识别手部动作和形状，并与上、下、左、右滑动、增强、缩小、 点击、关闭等控制选项相关联。

2)另一种手势识别模块实施例或配置为结构光发射装置与接收装置以及计算机，并利用对手部建模 的原理进行手势识别。结构光发射装置向手部发射人眼不可见结构光，接收装置接手部收反射结构光，计 算机根据接收到的结构光对手部进行建模，匹配手部动作特征点，与上、下、左、右滑动、增强、缩小、 点击、关闭等控制选项相关联。

3)另一种手势识别实施例模块或配置为加速度传感器、无线发射与接收装置以及计算机，通过佩戴 在手部腕关节、各处指关节的加速度传感器接收手部运动信号，手部运动时，加速度传感器接收到手部的 运动信号，并通过无线发射至计算机进行识别，与上、下、左、右滑动、增强、缩小、点击、关闭等控制 选项相关联；

手势识别方法1)、2)、3)中，手部运动自行设置匹配手势动作，包括修改手势匹配的指令以及收录新 的动作指令。

步骤(3)中，所述移动控制器被配置为握持按键式控制器或穿戴式手套、指套控制器，所述移动控 制器含有无线信号传输装置，向MR眼镜发射控制信号。

步骤(4)中，所述语音识别模块用于有声语音识别或者无声语音识别。

有声语音识别方法包括：MR眼镜靠近嘴部位置配置为语音收录单元，用于收录用户发出的语音，MR 眼镜将语音转化成电信号，并进行除杂音处理，MR眼镜将处理后的语音电信号进行识别，转化成文本， 获取有声指令。

无声语音识别方法包括：MR眼镜靠近脸部位置配置为无声语音探测器，所述无声语音探测装置用于 检测用户脸部肌肉和发声肌肉的神经电信号，对于发出不同的词句信号，大脑发送神经递质信号传送至脸 部肌肉和发声肌肉以控制发出语音指令，在产生与语音指令对应的神经递质和肌肉电信号，探测装置检测 并识别这些电信号转化成文本，获取无声语音语音指令。

步骤S101中，所述眼动追踪装置自动识别应用场景的方法包括：

(a)进入望远模式的检测方法(如图7-a所示)：眼动追踪装置检测眼睛视线夹角小于或等于一定角 度，和/或检测用户注视远处景物超过一定时长，和/或检测用户瞳孔直径变化，MR眼镜自动进入望远模 式，或者发出咨询是否进入望远模式的信息提示弹窗，若进入望远模式则对所视区域景象进行增强呈现；

所述视线夹角具体为，双眼视线夹角为α，双眼间距为d，则视线注视点与眼睛的距离可以通过一些 公式计算得出，例如：l＝d/2tan(α/2)。

(b)可替代的另一种进入望远模式的检测方法(如图7-b所示)：眼动追踪装置实时检测眼睛在对外 界环境进行屈光调节时晶状体厚度大小以及曲率的变化根据一些公式可以计算出注视点距离(像距)，例 如：

u＝fv/(v－f)

与f＝1/{(n－1)[1/R₁－1/R₂+(n－1)d/nR₁R₂]}

得到视线距离，其中，u为物距，即用户注视点到用户晶状体的距离。f为焦距，即用户眼睛晶状体 焦距。v为像距，即眼睛视网膜至晶状体的距离。n为眼睛晶状体的折射率。R₁为眼睛晶状体的第一曲 率半径。R₂为眼睛晶状体的第二曲率半径。d为晶状体厚度。

当视线距离u大于一定值，即为正在聚焦于远处景物，MR眼镜自动进入望远模式，或者发出咨询是 否进入望远模式的信息提示弹窗，若进入望远模式则对所视区域景象进行增强呈现。

通过上述眼动追踪装置检测眼睛的视觉深度变化、晶状体厚度变化，或/和瞳孔直径变化来自动启动 望远模式，从而消除了MR中传统拍照方法的繁琐。与其进行导航菜单，开启前置相机，相机对焦，然后 在拍照的过程相比传统的开启摄像机更加快捷。通过简化开启应用的过程减少的拍照过程中的等待时间使 用户能够更轻松地捕获所需的瞬间(这在场景快速变化或移动物体的现实环境中尤其有利)。

所述望远模式为通过MR眼镜看到远距离景象的模式(如图2)，进入所述望远模式后，系统控制MR眼 镜上的远焦摄像头获取用户所注视区域(视野前方)的远处影像，通过光敏传感器处理成电信号，经图像 优化后传输至光引擎，将处理后远处影像转化成光信号传递至光学成像系统，向用户呈现。所述远距离景 象为超越用户视力范围的真实物理世界景象，所述远距离的数值随不同视力范围的变化而变化，一般正常 人视力范围在800米至1200米之间(例如1000米)，近视视力范围小于正常视力范围(例如小于800米)， 远视视力范围大于正常视力范围(例如大于1200米)。

步骤S102中，进入望远模式后驱动前置摄像头对眼动追踪组件捕获双眼视线的注视区域和/或头动追踪模 块识别中心点的景象进行对焦摄像。

其中望远模式中，MR眼镜系统获取到眼动追踪装置发送的检测信息，检测信息包括眼球注视位置的空 间坐标、晶状体厚度大小，其中注视点位置的空间坐标可以通过眼球的移动计算获得X和Y轴坐标，通过 双眼视线的夹角或/和晶状体厚度获得Z轴坐标，及视觉深度(眼睛到注视物体的距离)，因而形成空间坐 标(X,Y,Z)。

利用眼睛注视点的X坐标和Y坐标选定外景照片上放大和对焦的区域。其中，至少一个摄像机取景设 置在MR眼镜外侧的正中间或者两边，前置摄像头所拍摄的照片为用户当前的视野画面，及上述外景照片 为前置摄像头拍到的用户当时视野前方影像。根据(X,Y)注视点坐标获取前置摄像头画面上某一点，确 定以该点为中心得目标区域，该目标区域为摄像头对焦和放大的区域。

进一步利用眼睛注视点得Z坐标确定在外景照片上该目标区域中物体的视觉深度，进而控制摄像机对 目标物体进行对焦并数码变焦(或光学变焦)放大一定的倍率，使其获得更清晰的图像，影像放大倍率以 望远模式默认的初始放大倍数为准，或用户交互控制放大倍数。实现用户看哪里就放大和对焦哪里的效果。

步骤二中，所述摄像头分别包括各自的光传导模组、镜头组件、光敏传感器模组以及影像防抖模组。

光传导模组，被配置为至少一组全反射镜单元，参考潜望镜原理，将入射的影像光呈一定角度偏折， 实现透镜模组与传感器模组的横置或斜置；或可替代为一种由玻璃或塑料制成的光导纤维单元，用于将影 像光沿着镜架中空的内部引导至透镜模组与传感器模组；或可替代为一层或多层包含耦合光学原件的波导， 其中的耦合光学元件将用户所视前方的影像光耦合至波导中传导，引导至MR眼镜内置的传感器模组；以 上光传导模组的配置目的是简化设备构件，降低设备的形状系数。

镜头组件，配置在MR眼镜中适宜的任何空间位置，包含一组或者多组多个凸、凹透镜组合的光学元 件，用于前方远处或者近处的景物进行对焦，通过不同的透镜组合、移动或者根据不同距离的对焦能力分 组配置，实现远近距离景物的对焦。

图像传感器，用于接收经过透镜模组射出的光线，捕获所视景物影像，所述光敏传感器包括CCD传感 器或CMOS传感器，用于对远、近处的景物进行摄像。

影像防抖模组通过利用光学防抖借助移动式硬件机械结构对透镜模组或者光敏传感器进行光学补偿； 或者利用电子防抖通过数码影像技术对拍摄影像进行锐化、降噪及相关处理；或者利用模式防抖优化调整 后的相机拍摄参数来补偿抖动对成像的影响；再或者利用多重防抖综合光学防抖、电子防抖、模式防抖 多种防抖形式，根据实际情况选择几种或结合多种防抖技术。

影像防抖模组可以通过利用光学防抖借助移动式硬件机械结构对透镜模组或者光敏传感器进行光学 补偿；或者利用电子防抖通过数码影像技术对拍摄影像进行锐化、降噪及相关处理；或者利用模式防抖优 化调整后的相机拍摄参数来补偿抖动对成像的影响；再或者利用多重防抖综合光学防抖、电子防抖、模式 防抖多种防抖形式，根据实际情况选择几种或结合多种防抖技术。

其中所述MR眼镜上的摄像头上光传导模组，由于希望MR眼镜整体小巧、轻便，本专利提出了MR眼镜上 三种摄像头上光传导模组方法。分别是图6-a潜望镜式、图6-b光纤式、以及图6-c光波导式。

实施例图6-a潜望镜式所示，利用潜望镜原理，反射镜装置608将透镜603收集的光609反射至镜头 组件604，光609被镜头组件604校正后在图像传感器605上进行成像。

另一可替代实施例图6-b光纤式所示，收光透镜611将视觉前方影像光汇聚并输入至光导纤维612， 影像光在光导纤维612中传导至透镜单元613，透镜单元613中包括若干个光学透镜组合具备变焦和畸变 矫正的特性。经过透镜单元613变焦处理后投射至图像传感器614获取影像。

另一可替代实施例图6-c光波导式所示，将MR眼镜原有的波导镜片进行改造，将对外的成像波导镜 片的一部分用于收集和传导影像光，被传导的影像光被内置的图像传感器接收。

上述所述的眼动追踪控制图像放大倍率的变焦过程包括光学变焦和数码变焦。其中光学变焦具体为， 通过放大倍率的方法指令控制MR眼镜内部变焦镜头组件(如图6-a镜头组件604)。其中变焦镜头组件 内部由若干个光学透镜组成，可以通过电磁驱动或/和MEMS驱动作为动力改变透镜之间的距离来改变成 像焦距，进而完成图像的放大与缩小。数码变焦，通过处理器，把图片内的每个像素面积增大，从而达到 放大目的，但是画质收到极大的损失。

步骤S103中，对选定放大后注视区域的图像进行优化或/和AI图像增强。

图像进行优化具体为，对此时摄像头实时拍摄的放大区域的影像进行自动参数优化，优化的参数包括但不 限于曝光时间、ISO值、帧率、锐度、白平衡等。

进一步或可替代的图像优化方法为插值方法，利用这种方法构建缺失部位的像素时，会尽量保持重建部分 和周围像素点的一致性，利用待修补区域的边缘信息对缺失的像素进行估测。其中所述图像插值算法包括 但不限于最邻插值算法、线性插值、双线性插值、双三次(bicubic)插值

放大后注视区域图像使用AI增强技术，利用AI人工智能技术对放大的图像中内容进行补充优化，使 获得得到更加清晰，细节更加饱满的视频影像。

人工智能(artificial intelligence，AI)超分技术可以根据拍摄场景，动态调整出清晰亮丽的图像。在本申 请中，可以使用AI技术可以增强图像中物体的细节与分辨率，从而获取到包括超清晰的放大后的图像。 具体方法为将低分辨率照片输入AI超分辨率重建模型中，对照片修复/增强模型进行“训练”，输入原始 照片，再将低分辨率的照片与原始照片进行对比，并对程序修复后的照片进行监督纠错，通过大量的数据 反复训练，是计算机总结图片增强的规律，最终达到不依靠原始图片进行较好的修复。其中所述AI超分 辨率重建模型包括但不限于SRCNN模型、FSRCNN模型、ESPCN模型、DRCN模型、VDSR模型、EDSR 模型和MDSR模型、SRGAN模型、VESPCN模型、DBPN模型、WDSR模型

通过上述图像优化和/或AI增强图像的方法解决前置摄像头捕获图像可能存在的因虚焦引起的模糊、 因运动引起的模糊、图像放大过度造成的模糊等。

除上述提及图像优化方法之外，未来其他的使图像变清晰的算法都应在本技术发明限制范围内

步骤S104中，通过光引擎将步骤S103增强的图像传送至光学元件显示器上显示，所述图像根据交互 界面设计或者根据视觉需求发生的交互操作进行调整画面。

步骤S104中，所述MR眼镜显示系统包括光引擎、耦合光学元件、光学成像装置。光学成像装置包 括共轴棱镜(例如谷歌眼镜)、离轴棱镜(Epson和耐得佳)、光波导(Magicleap one和hololens 2)、 共轴空导(ODG和影创即墨)。其中波导显示器包括光引擎、耦合光学元件、波导，耦合光学元件设置在波 导上面或波导内部，用于将光引擎发射的影像耦合入射角进入光波导元件中，改变光的入射角度使其达到 全反射条件，在光波导元件中无损传播，最终通过输出衍射耦合器耦合射出；

所述光引擎为将光敏传感器处理的电信号转化并发射光的电子元件，可以被配置为OLED、LED、 Micro-LED(高密度显示器)、LCOS(硅基液晶显示器)、MEMS(微电子激光发射系统)以及光纤扫描成像 等。

所述波导包括几何式光波导和“半透半反”镜面阵列、衍射式光波导和表面浮雕光栅、衍射式光波导 和全息体光栅。

进一步，通过光引擎将步骤三增强的图像传输至光光学显示系统上显示，同时光学显示系统降低透明 度或完全不透明，所述影像根据交互界面设计以及视觉需求发生的交互进行调整；

所述设备通过光引擎将摄像头拍摄的影像投影至所述光波导显示模块显示，影像根据交互界面的设计 配合调整或者根据用户的交互来调整。

进一步，所述光学显示系统降低透明度或完全不透明具体为设备外层透明保护壳可被配置为光学透明 度调制装置，用于控制所述MR眼镜的整体光学透明度，通过降低显示器透明度来避免环境光/影像对波导 显示正在呈现内容的干扰，所述光学透明度调制装置包括：

有源透明度调制膜，包括电致变色像素层或者光致变色层，所述可电致变色像素层通过电控介于透明 与不透明以及两者之间的状态进行转换。所述光致变色层通过内部发射的光源选择性的将光致变色层的每 个调制像素曝光以控制每个光调制像素的不透明度。

透明状态的透射率可以是100％或接近100％。不透明状态的透射率是0％或者接近0％，同时也可选择性 地产生中间水平介于0％至100％之间的透光率。

所述光学透明度调制装置根据交互界面的设计、使用状态、主动操作等情况选择性地将显示装置的全 部区域或者局部区域进行透明度调制。

在望远模式下，光学透明度调制装置将显示装置的局部区域进行不透明度调制，进行局部画面显示。 或将显示装置的全部或者局部区域进行中间水平的不透明度调制，减弱外界射入的光，以保证用户可以清 楚、舒适地查看画面；如图4-a和图4-b所示，不显示图像区域光线减弱，显示图像区域未被外界光所影 响；所述透明度调制的局部区域可以根据显示装置所显示的影像、UI、图片或模型区域实时映射。将光学 透明度调制装置的不透明度调制FOV范围配置成与光学显示系统的显示FOV范围一致；系统实时计算显示 器显示的影像、UI、图片或模型轮廓区域以及用户发生交互导致上述区域的大小、比例、位置变化的区域， 反馈并控制光学透明度调制装置的不透明度区域做出相应的变化，避免外界光影响显示效果。

所述用户调整画面的交互方法包括：

(i)通过眼睑动作进行影像画面的缩放：眼动追踪检测用户眼睛动作，当将眼睛上下眼睑眯合，为 缩小画面，将眼睛上下眼睑扩张，为增强画面；或者在此基础上结合注视点的交互，注视画面缩放滚动条 再进行眼睑动作视为控制画面的缩放，注视影像播放区再进行眼睑动作为控制播放区的缩放。

(ii)通过手部动作进行影像画面的缩放以及拖动：手势识别装置识别手部动作，将五指并拢或食指 与拇指合并，为缩小画面，将五指张开或食指与拇指打开，为放大画面。用将手保持握持状态，上下左右 挥动，为将影像画面进行拖动；或者在此基础上结合注视点进行更精准的交互。

另一种可替代手势识别方法为，通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小的 具体方法为，

MR眼镜前置视觉传感器检测用户双手手势，则对前置摄像头进行变焦调节和截图位置控制。所示如图 5，当用户双手(右手715，左手711)在视觉前方做出数字“八”的手势(大拇指和食指成直角状态)， 然后双“八”手势组成四边形。其中可以一只手手心朝里，一只朝外，或者双之手同时朝里或朝外。其中 系统可以确定手的配置是否定义了框架。在特定实施例中，当虚拟手形成预定的几何图案(例如，四边形， 三角形，椭圆形，圆形等)时，系统可以确定已经形成框架。例如，系统可以确定上述“双八”手势是否 在现实环境中定义了四边形。计算机系统通过双手围成的四边形区域确定前置摄像头取景的范围(放大的 范围)。

通过手势与用户之间的距离来对图像进行放大缩小的调节。例如，保持四边形面积一定的情况下，双 八手势向远离用户身体的方向移动时，区域内画面放大倍率。双八手势向靠近用户身体的方向移动时，区 域内画面放大倍率。

通过四边形手势的对角线长度来调整显示放大影像的画面窗口面积，在同一平面内双手分别向外围两 侧移动时，四边形的对角线长度、面积、周长都会增大，此时显示放大影像的窗口同步增大。反之则变小。

如图7为通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小的具体方法效果示意图。

环境700中示出的其他对象(例如树)730，山脉731和房屋732为用户视觉前方所看到现实世界物 体。呈现视觉提示742(例如，发光或改变颜色，图标，动画等)，以通知用户他可以使用那些手指来触发 相应的按钮，触发器。右手715的食指717、大拇指716和左手711的食指713、大拇指712组成数字“八” 的手势，左手和右手的手势围成了四边形760的显现影像的范围，同时通过手势围成的四边形760圈中物 体影像751。系统通过识别手势与用户的距离放大或缩小四边形760范围内的影像变焦倍率。

(iii)通过发出有声或无声语音指令，计算机系统识别明确的指令，进行对应显示元素的交互及控 制。

(iv)通过操控设备的移动控制器进行显示元素的交互及控制，移动控制器在虚拟世界中获得同步映 射，控制器前端发出射线，射线指向任何图片、按钮、窗口等显示元素时按下控制器扳机按键，控制所述 元素移动、放大、缩小以及触发点击事件等。

步骤S105中，根据内置探测器检测视觉需求的使用状态进行模式调整和/或模式退出。其中所述内置 探测器检测使用状态的方法包括：

A)检测头部的运动：通过运动探测器(加速度传感器、陀螺仪、IMU)判断头部的大幅度运动；用于 在某些情况下被其他声音或者物体吸引转移注意力导致短时间内大幅度地转移头部，为丧失继续使用望远 模式的需求，自动退出上述任意模式。

B)检测的注意力：通过眼动追踪装置检测眼睛状态，包括注视点、瞳孔大小、注视时长；用于判断 注意力状态，在运行望远模式时设备检测到注意力丧失，则退出望远模式，等待其他指令；

C)通过眼睛注视前方景象的注视点距离变小，退出模式，眼动追踪装置检测到眼睛注视点距离变近， 判断用户此时无观察远处景物需求，系统自动退出望远模式。

进一步，在另外一种实施例中，用户可以操作MR眼镜系统对当前放大的影像进行拍照，拍照后的电 子照片储存在MR眼镜存储器上。在上述说明中照片已完成了对焦、照片角度的调整、摄影相关参数的调 整。其中拍照指令可以以任意方式输入，例如眼动交互、手势识别、语音交互的等，或通过认识交互控制 UI界面上的拍照功能键。

图2是本发明提供的MR眼镜用于望远模式查看远处景物的示意图。一种实施例中，用户佩戴所述增 强人眼视觉能力的智能MR眼镜110在日间的街道120上行走。所述日间的街道120左侧以及前方远处分 别是XX便利店121，XX超市122以及XX酒店123，其中XX便利店121距离用户最近，XX超市122距离 用户稍远，XX酒店123距离用户较远，使得用户不能够看清。MR眼镜通过眼动追踪装置检测到用户产生 了望远需求，或者接收到用户主动发出的开启望远模式的指令，开启望远模式，则设备前方摄像机113对 用户所视前方区域的画面130进行对焦获取，并放大一定倍数通过光波导镜片112呈现，用户得以看清远 处景象。所述长焦拍摄的影像可以通过设备交互以及系统界面的设计进行调整，系统可根据用户的使用状态自动调整或用户主动操作退出和/或拍照望远模式。所述MR眼镜镜片外层111可被配置为透明度调制装 置。用于减弱外界强光入射，导致影响光波导成像装置的显示效果，例如显示虚拟全息内容的区域调制为 不透明，让内容得以清晰显示，其余区域调制为半透明，减弱强光的入射，进一步可以根据显示内容的分 布变化以及外界光线的强弱变化进行透明度调整，以保持最佳呈现效果。

在另一些实施例中，所述通过长焦摄像机拍摄远处画面影像进行放大呈现的望远模式包括远处图像获 取的方式，例如通过长焦拍摄装置拍摄远处景物图像，可以通过光波导显示模块显示，也可以储存于设备 内部存储装置，供用户查看、分享、下载。

图3是本发明提供的具有眼动追踪系统的MR眼镜的示意图。在图3的示例中，所述MR眼镜310可被 配置为包含透明度调制装置311、一层或多层光波导显示装置312、至少两组影像捕获装置313、手势识别 装置314、微型计算机系统315、电源及其他内置传感器316以及语音识别装置317等。

对于混合现实(MR)或增强现实体验(AR)，光学显示元件312可以是至少部分透明的，使得MR眼镜 310的用户可以通过显示虚拟对象的一个或多个部分透明像素来查看物理环境中的物理真实世界对象。显 示装置312可以包括图像产生装置，例如透明有机发光二极管(OLED)显示器或与光波导元件结合使用的 MEMS。显示设备312可以是至少部分透明的，使得MR眼镜的用户可以通过显示虚拟对象表示的一个或多 个部分透明像素来查看物理环境中的物理真实世界对象。

设备框架还可以支持MR眼镜310的附加组件，其他内置传感器316包括图像处理单元GPU，网络通信 装置(5G)，前置摄像头，惯性测量单元(IMU)和眼动追踪系统，加速度传感器，陀螺仪，。微型计算机 系统315可以包括逻辑和配置的相关计算机存储器接收来自IMU和其他传感器的感觉信号，向显示装置312 提供显示信号，从收集的数据中导出信息，以及实施本发明所述的各种控制过程。透明度调制装置311用 于控制MR眼镜镜片的整体/局部的光学透明度，一般用于日间，降低阳光对波导显示效果的影响，例如控 制显示内容区域对应的外部镜片的透明度由全透明调制为半透明或不透明，有效减弱外界强光通过波导镜片射入用户眼睛，影响波导的成像效果。

用户通过手势或语言发出控制指令，手势识别装置314与语音识别装置317捕获、识别用户指令，微 型计算机系统315控制设备开启影像捕获装置313拍摄用户所视前方区域影像，并通过光波导显示装置312 显示。手势识别装置314被配置为可捕获用户手部动作的装置，可以设置于MR眼镜中任意可轻松捕获手 部动作的位置，例如图中314鼻托前端朝下的位置，或者配置为一种移动穿戴式的手部运动追踪器。语音 识别装置317被配置为可接收用户的语言指令的装置，其可设置于贴近用户脸颊位置，利于接收用户语音， 或者被配置为可接收用户的沉默语言指令的装置。前置摄像头313用于在望远模式时捕获用户所视前方区 域影像。可被配置为多个摄像头，例如不少于1个摄像头，可以进行不同变焦能力的长焦摄像，例如第一 组长焦摄像头负责0～10倍变焦，第二组长焦摄像头负责10～20倍变焦，第三组长焦摄像头负责20～30倍 变焦。在另一些实施例中影像捕获装置313的影像光传导模组可被配置为潜望镜式组件(如图6-a所示) 或者一种光导纤维式组件(如图6-b所示)或者一种波导式组件(如图6-c所示)，用于改变影像光线的 入射直线轨迹，实现设备更轻薄的设计。影像捕获装置313将捕获到的影像传输至光波导显示装置312中 显示。

MR眼镜的光波导显示装置对应的设备外层透明保护壳可被配置为光学透明度调制装置，用于控制所 述MR眼镜的整体或局部的光学透明度。光学透明度调制装置包括有源透明度调制膜，包括电致变色像素 层或者光致变色层，所述可电致变色像素层通过电控介于透明与不透明以及两者之间的状态进行转换。所 述光致变色层通过内部发射的光源选择性的将光致变色层的每个调制像素曝光以控制每个光调制像素的 不透明度。透明状态的透射率可以是100％或接近100％。不透明状态的透射率是0％或者接近0％，同时也 可选择性地产生中间水平介于0％至100％之间的透光率。

图4-a和图4-b是本发明提供的MR眼镜在望远模式下光波导显示装置呈现的交互界面；4-a为望远模 式的4倍成像界面示意图，4-b为望远模式的8倍成像界面示意图。

一种实施例中，用户发出指令，令设备开启望远模式，进入望远模式交互界面，例如图4-a与4-b所 示界面。设备通过眼动追踪装置捕获用户注视点406a，并控制摄像头对该位置区域进行拍摄，变焦倍率为 4倍时，设备摄像头拍摄用户所视位置区域的影像405a，通过光波导显示装置显示于影像呈现区404a，倍 率指针408a此时指着4x倍率。用户通过退出按钮402可退出模式，菜单按钮403可进行模式设置。

在实施例图4-b为望远模式的8倍成像界面示意图中，用户发出指令控制变焦倍率放大，例如放大至 8倍，倍率指针408b此时指着8x倍率，设备的眼动追踪装置捕获用户注视点406b，并控制摄像头对该位 置区域405b进行拍摄，影像通过光波导显示装置显示于影像呈现区404b。

在另一些实时例中，光波导显示装置的外层透明玻璃/塑料可被配置为透明度调制装置401，用于减弱 外界强光对显示内容的影响。如图4-a以及图4-b所示的交互界面中，退出按钮402、菜单按钮403、影 像呈现区404、倍率刻度条407以及倍率指针408等显示元素相应的呈现范围被调制为不透明，避免外界 光线入射影响成像效果，内容得以清晰显示，除上述显示元素之外的区域(图中阴影部分)被调制为半透 明，减弱外界光线刺激用户眼睛，让用户透过半透明区域看清外界真实环境。所述除显示元素之外的区域 的透明度可随着外界光线的强弱变化而变化，例如当外界光线较强时，不透明度增加，减弱光线对用户眼睛的刺激，外界光线较弱时，不透明度降低或直接调制完全透明，避免阻碍用户视线。

图5是本发明提供的通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小的具体方法效 果示意图。环境700中示出的其他对象(例如树)730，山脉731和房屋732为用户视觉前方所看到现实 世界物体。呈现视觉提示742(例如，发光或改变颜色，图标，动画等)，以通知用户他可以使用那些手 指来触发相应的按钮，触发器。右手715的食指717、大拇指716和左手711的食指713、大拇指712组 成数字“八”的手势，左手和右手的手势围成了四边形760的显现影像的范围，同时通过手势围成的四边 形760圈中物体影像751。系统通过识别手势与用户的距离放大或缩小四边形760范围内的影像变焦倍率。

MR眼镜前置视觉传感器检测用户双手手势进行对前置摄像头的变焦和截图位置控制。所示如图7，当 用户双手(右手715，左手711)在视觉前方做出数字“八”的手势(大拇指和食指成直角状态)，然后双 “八”手势组成四边形。其中可以一只手手心朝里，一只朝外，或者双之手同时朝里或朝外。其中系统可 以确定手的配置是否定义了框架。在特定实施例中，当虚拟手形成预定的几何图案(例如，四边形，三角 形，椭圆形，圆形等)时，系统可以确定已经形成框架。例如，系统可以确定上述“双八”手势是否在现 实环境中定义了四边形。计算机系统通过双手围成的四边形区域确定前置摄像头取景的范围(放大的范围)。

通过手势与用户之间的距离来对图像进行放大缩小的调节。例如，保持四边形面积一定的情况下，双 八手势向远离用户身体的方向移动时，区域内画面放大倍率。双八手势向靠近用户身体的方向移动时，区 域内画面放大倍率。

通过四边形手势的对角线长度来调整显示放大影像的画面窗口面积，在同一平面内双手分别向外围两 侧移动时，四边形的对角线长度、面积、周长都会增大，此时显示放大影像的窗口同步增大。反之则变小。

在另一些实施例中，可以通过识别手部动作进行影像画面的缩放以及拖动或者简易手势对应放大倍 数，例如手势识别装置识别手部动作，将五指并拢或食指与拇指合并，为缩小画面，将五指张开或食指与 拇指打开，为放大画面，用将手保持握持状态，上下左右挥动，为将影像画面进行拖动，或者在此基础上 结合注视点进行更精准的交互；简易手势对应放大画面的倍数，如手部比划1到9的动作对应1到9的数 字，识别为1到9倍放大,若进行10倍以上的放大则采用双手比划。

上述通过手势识别的交互方式是纯手势动作进行交互的方式，可以理解在一些实施例中可以采取手势 识别结合其他交互装置的组合交互方法。例如(1)手势识别结合眼动追踪的交互方式：手势识别装置按 照上述方法截取影像获取模块捕获的前方画面，通过眼动追踪识别眼睛的动作进行画面的放大缩小，如当 将眼睛上下眼睑眯合，为缩小画面，将眼睛上下眼睑扩张，为放大画面；(2)手势识别结合语音识别的交 互方式：手势识别装置按照上述方法截取影像获取模块捕获的前方画面，通过有声或无声语音识别装置识 别用户发出的具体指令进行交互，如对画面的放大缩小或者画面储存等指令；(3)手势识别结合控制器操 作的交互方式：手势识别装置按照上述方法截取影像获取模块捕获的前方画面，通过移动控制器进行画面 的放大缩小操作，这里的控制器特指指尖、指套、手套形的不影响手势交互的控制器。

本文所述的特定实施例提供了一种改进的用户界面，该界面使得用户能够在现实或混合现实环境内快 速且直观地拍照。与需要用户导航一系列菜单和/或用于拍照工具(例如前置相机)的摸索的常规系统相 比，本文所述的实施例允许用户通过以直观和功能性的方式进行手势来拍照。例如，用户可以通过以构图 感兴趣场景的方式放置他/她的手指(和MR/VR中相应的虚拟手指)来拍摄VR/MR场景的照片。例如，用 户可以用他/她伸出的食指和拇指构图感兴趣的场景。以这种方式构图所需的场景后。

图6-a、6-b以及6-c是本发明提供的MR眼镜上摄像头获取影像的光学方法和设备的三种配置方法示意图， 分别是图6-a潜望镜式、图6-b光纤式、以及图6-c光波导式。

现有技术中的智能手机都没有安装有长焦摄像头，在数码变焦时，往往是将图像通过算法放大，直接 放大导致的结果是增加图像噪点，影响到画面原本的分辨率和画面质量。想要获得远处高清的图像最好的 方式是通过光学变焦，及需要长焦镜头组件。然而长焦镜头中的光学透镜组合复杂、厚重且不美观，并且 在产品的硬件设计和工业设计中难以保证外观，例如手机iPhone XR后背突出的摄像头。在MR眼镜的产 品研发中，由于这是穿戴式智能设备，人们对MR眼镜设备有更高舒适度和美观的要求。因此如果使用现 有的摄像头光学元件，则会造成MR眼镜过于厚重，最终造成MR眼镜体验不佳的情况。

针对于上述问题本发明还提出三种长焦摄像头光学组件及设备。分别是图6-a潜望镜式、图6-b光纤 式、以及图6-c光波导式。

在图6-a所示潜望镜式实施例中，如图所示的是某MR眼镜正面局部示意图，MR眼镜镜框610和MR眼 镜光学显示装置602。透镜603设置在MR眼镜的正中间，使其更好的收集用户视觉前方的影像光609，其 中透镜603被配置为单一光学透镜，被用作透过光线，具有良好的透光性，并且材质具有一定的强度以起 到保护摄像头其余组件的作用。

利用潜望镜原理，反射镜装置608将透镜603收集的光609反射至镜头组件604，光609被镜头组件 604校正后在图像传感器605上进行成像。其中反射镜装置608设置于镜头组件604光路的一端，图像传 感器605位于镜头组件604光路的另一端。反射镜装置608的平面与镜头组件604的镜头对称轴构成预设 角度，预设角度可如图6-a所示的角θ。镜头组件604被配置为多个不同曲度凸/凹透镜组合而成，还可 以配置为包含自动对焦机构或定焦机构，自动对焦机构通过内部微型机械装置或/和电磁驱动调节透镜之 间的距离实现变焦。拍照时用户可以根据具体情况调节焦距，根据具体情况拍摄出所需的照片；或镜头组件604还可以包括定焦机构，可以减少用户的操作，使得拍摄更加方便。图像传感器605，用于接收经过 透镜模组604射出的光线，捕获所视景物影像，所述光敏传感器可被配置为CCD传感器或CMOS传感器， 用于对远、近处的景物进行摄像；

本实施例中通过反射镜装置608将光路折叠，将镜头组件604平躺在MR眼镜内，这样可以保持良好 的外观以及空间利用率，可以实现厚度较薄的摄像机模组，进而避免了对MR眼镜厚度的影响。

另一种实施例光纤传导的摄像头中，如图6-b，收光透镜611与光导纤维612相连接，收光透镜611 将视觉前方影像光汇聚并输入至光导纤维612。收光透镜611一面可以配置为广角镜片用于收集更大视角 的影像，一面用于偏转影像光使其达到在光导纤维612中形成全反射的入射角条件。光到纤维612由于十 分细小可以布置在任意合适的智能眼镜硬件中将影像光616引导至任何合适的硬件结构中进行处理。影像 光在光导纤维612中传导至透镜单元613，透镜单元613中包括若干个光学透镜组合，具备变焦和畸变矫 正的特性。经过透镜单元613变焦处理后投射至图像传感器614获取影像。图像传感器614与图6-a中605 相同，在此不做赘述。

光导纤维613可被配置为包括纤芯以及围绕纤芯的包层，纤芯由一种光学材料制成，包层由另一种光 学材料制成，例如在一些实施例中采用玻璃材料，包括但不限于二氧化硅玻璃、氟化物玻璃、磷酸盐玻璃、 硫化物玻璃等，在一些实施例中采用塑料或聚合物材料，例如聚甲基丙烯酸甲酯、聚苯乙烯、含氟聚合物 或聚硅氧烷等。光导纤维的横截面可以呈现多边形形状，例如三角形、正方形、矩形、六边形、圆形或椭 圆形或其他任何合适的形状，纤芯的直径可以为不限于5μm至约25μm。光导纤维沿着MR眼镜空间合适 的框架内部设置，最终将影像光线引导至透镜与传感器单元，使透镜与传感器单元设置在适合的空间，降低设备的形状系数。

本技术方法的优点在于避免将整个摄像头的组件(镜头、图像传感器)都放置在MR眼镜正前方。在 未来MR智能眼镜设计中，设计形式可能会以极简的形式呈现，MR眼镜越来越轻便小巧，但是为了获得更 远更高清的图像需要通过光学变焦获取图像，然后光学变焦镜头可能会十分厚重，同时需要更好图像传感 器，这就是得MR眼镜厚重，不利于硬件架构设计。为了解决上述矛盾，本创新通过光导纤维将图像进行 转移，转移至MR眼镜上任意合适的位置再通过变焦镜头组进行光学处理。对比于图5所示潜望镜式光学 方法设计的自由度更大更轻薄。

另一种实施例光波导摄像头中，如图6-c，MR眼镜的摄像头可被配置为由一层或多层光波导621与内 部摄像头624构成。环境中真实物体628发射的光源625被MR智能眼镜光学显示系统621接收。环境光 源625的一部分光穿过光波导镜片621被用户眼睛629捕获，被用于观察世界，另外一部分光625被光耦 合元件622改变光的传播角度使其在波导镜片621中达到全反射入射角度，进而部分环境光625在波导621 中传导至图像传感器624方向。被传导的环境光626被光耦合元件623耦合出光波导镜片621射入图像传 感器624，进而对真实物体628数码成像。

相对于图5所示的光纤传光的成像光学方法，本方法将MR眼镜原有的波导镜片进行改造，将对外的 成像波导镜片的一部分用于收集和传导影像光，被传导的影像光被内置的图像传感器接收，光波导镜片代 替了光导纤维。

在另一些实施例中，MR眼镜的长焦摄像头的光传导模组可依据上述实施例分别配置，并且为了设备 更小的形状系数，可以将两种影像装置的光传导模组合并共用。在不同模式下，通过微型全反射镜改变光 传导模组出射的影像光方向，传导至相应透镜和传感器模组。

图7-a和图-b是本发明提供的眼睛注视距离示意图。一种实施例中，设备通过眼动追踪测量用户两只 眼睛801注视夹角α804来计算眼睛的注视距离806，如图6-a，人的双目间距易于测量，或者采用平均值， 通过一些公式可以计算出眼睛注视距离，例如：l＝d/2tan(α/2)。

另一种实施例中，设备通过眼动追踪装置测量用户眼睛811晶状体厚度818与819以及曲率半径计算 眼睛注视距离821与822，如图6-b，人眼的晶状体厚度可通过超声波测量仪测量，晶状体曲率可通过光 学测量仪测量，晶状体到视网膜的距离近似为眼睛直径，通过一些公式可以计算出眼睛注视距离，例如u ＝fv/(v－f)与f＝1/{(n－1)[1/R₁－1/R₂+(n－1)d/nR₁R。

本发明可以根据用户的视觉需求自动进入望远模式；望远模式通过设备的长焦摄像机拍摄远距离景象； 设备的前置摄像头被设计为添加了光传导模组的装置，将传感器与透镜置于其他空间；设备的眼动追踪装 置、手势识别装置、语音识别装置以及其他传感器用于检测用户的视觉需求以及使用状态，进行所述模式 的控制和交互，并且能够对用户的注视点位置进行对焦和放大；设备的光波导显示装置的最外层/外层透 明壳体被配置成透明度调制装置，可以根据交互界面上显示图像的位置和大小进行透明度调制，避免外界 强光的干扰。本发明将长焦摄像技术整合在智能MR眼镜之上，设计了具体、便捷的交互方式，兼顾了设 备佩戴的舒适性以及更小的形状系数，最大程度上压缩了设备成本，效果优异。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部 分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或 执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是 通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存 储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可 以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线 (例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机 可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数 据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、 或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内作的任 何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种基于MR眼镜的人眼视觉能力增强的方法，其特征在于，所述基于MR眼镜的人眼视觉能力增强的方法包括：

步骤一，MR眼镜根据用户视觉需求主动发出的指令或者通过眼动追踪装置自动识别应用场景信息进入望远模式；

步骤二，进入望远模式后驱动前置摄像头对眼动追踪组件捕获双眼视线的注视区域和/或头动追踪模块识别中心点的景象进行对焦摄像；

步骤三，对放大后注视区域的图像进行优化或/和AI图像增强；

步骤四，通过光引擎将步骤三增强的图像传送至光学元件显示器上显示，所述图像根据交互界面设计配合调整或者根据视觉需求发生的交互操作调整画面；

步骤五,根据内置探测器检测用户视觉需求的使用状态进行模式的调整或用户主动操作随时退出和/或拍照。

2.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤一中，所述用户视觉需求主动发出的指令打开应用程序的方法包括眼动交互、手势识别交互、外设控制器、有声/无声语音识别、头动交互；

所述眼动交互的方法包括：MR眼镜的眼动追踪装置捕获眼睛运动数据，检测眼睛的行为动作，计算眼睛的瞳孔大小、虹膜图像、眼跳轨迹以及注视时长等，当注视时长超过一定时长或眨眼，则对某一功能UI位置进行点击确认指令，进而启动望远模式；

所述手势识别交互的方法包括：

MR眼镜的手势识别模块检测手部做出特定的动作手势识别装置接收到用户手部的运动信息，识别手部动作，与上、下、左、右滑动、放大、缩小、点击以及关闭控制选项相关联，进而控制系统进入望远模式；

所述外设控制器的方法包括：

通过操控设备的含有无线信号传输的移动控制器，握持按键式控制器、穿戴式手套以及指套控制器，向MR眼镜发射控制信号，通过操作交互界面，点击UI按钮进入望远模式，其中包括6DoF加速度传感器追踪技术和6DoF电磁追踪技术手柄；

所述有声/无声语音识别的方法包括：

通过MR眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户的语音指令，控制设备进入望远模式；

所述头动交互的方法包括：

通过头动追踪装置选择交互界面的按钮，通过MR眼镜的加速度传感器、陀螺仪、磁力计计算用户头部的运动，在MR眼睛视野中央设置一个与头部相对位置固定的光标，移动头部控制光标选择位置与全息UI界面进行点击确认，进而启动望远模式。

3.如权利要求2所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，所述眼动交互的方法中，检测眼睛的行为动作的方法包括：

通过眼动追踪装置捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眨眼频率、单眼眨眼、眼脸闭合、视线、眼跳轨迹、注视时长，当注视时长超过一定时长或眨眼，则对某一功能的UI位置进行点击确认指令；

所述眼动追踪装置的眼动追踪方法包括：

1)通过接收眼睛反射红外光线，计算瞳孔中心与角膜中心的连线进行眼动追踪；硬件包括至少一个不可见红外光源、微型摄像头、反光热镜、光波导镜片；

2)通过捕获眼睛图像或者计算视网膜的影像或者视网膜反射光的强度进行眼动追踪；硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光学导光元件，所述光学导光元件包括光波导镜片；

3)通过发射结构光对眼睛创建模型，计算眼睛模型的视觉中心进行眼动追踪；结构光红外图案投影器将一定数量的不可见的光点投影到被测物体上，再根据红外相机接收到的反射光点，计算得到人眼深度图；RGB摄像头拍摄的2D人眼结合计算的深度人眼信息，经过算法处理就可以绘制出精确细致的3D目标物体；

4)通过接收眼睛角膜的反射光线，计算角膜中心反射光的强度最大的时刻来进行眼动追踪；所述眼动追踪装置硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光波导镜片，光波导镜片配置为靠近眼睛的一层或多层光波导进行眼睛图像的获取和传导，波导中的输入衍射耦合器将眼睛图像耦合，眼睛图像光线在光波导中传导，同时图像传感器配置在光波导输出衍射耦合器的光线出射端；

所述手势识别交互的方法中，所述手势识别模块检测手部动作的方法包括：

1)手势识别模块配置有图像获取单元、比对系统以及计算机，通过图像识别技术进行手势识别，图像获取单元用于捕获手部运动的图像，所述图像包括：某一连续时刻手部的姿势、运动的连续图像，通过比对系统预存的不同角度的手部动作图像，或者通过图像识别将手部手腕关节、指关节节点进行锚点，通过计算机处理成手势追踪的简化锚点信号，识别手部动作和形状，并与上、下、左、右滑动、增强、缩小、点击、关闭控制选项相关联；

2)所述手势识别模块配置为结构光发射装置与接收装置以及处理器，并利用对手部建模的原理进行手势识别；结构光发射装置向手部发射人眼不可见结构光，接收装置接收手部反射结构光，处理器根据接收到的结构光对手部进行建模，匹配手部动作特征点，与上、下、左、右滑动、增强、缩小、点击、关闭控制选项相关联；

3)所述手势识别模块配置为加速度传感器、无线发射与接收装置以及计算机，通过佩戴在手部腕关节、各处指关节的加速度传感器接收手部运动信号，手部运动时，加速度传感器接收到手部的运动信号，并通过无线发射至计算机进行识别，与上、下、左、右滑动、增强、缩小、点击、关闭控制选项相关联；

手势识别中，手部运动自行设置匹配手势动作，包括修改手势匹配的指令以及收录新的动作指令；

所述外设控制器的方法中，所述有声/无声语音识别的方法包括：

通过MR眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户的语音指令，控制设备进入望远模式；

所述语音识别装置用于有声语音识别或者无声语音识别；

有声语音识别方法包括：MR眼镜靠近嘴部位置配置为语音收录单元，用于收录用户发出的语音，MR眼镜将语音转化成电信号，并进行除杂音处理，MR眼镜将处理后的语音电信号进行识别，转化成文本，获取有声指令；

无声语音识别方法包括：MR眼镜靠近脸部位置配置为无声语音探测器，所述无声语音探测器用于检测用户脸部肌肉和发声肌肉的神经电信号，对于发出不同的词句信号，大脑发送神经递质信号传送至脸部肌肉和发声肌肉以控制发出语音指令，在产生与语音指令对应的神经递质和肌肉电信号，探测器检测并识别这些电信号转化成文本，获取无声语音指令；

所述头动交互的方法中，所述根据用户视觉需求主动发出的指令识别应用场景需求信息的方法用于启动/进入望远模式，还包括软件应用使用/操作过程中的交互方式。并且在上述交互方法中，通过眼动追踪模块检测眼睛对交互界面中的任意UI按钮做出对应确认点击操作的交互方式为最优方式。

4.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤一中，所述计算机通过探测器自动识别应用场景的方法包括：

(a)进入望远模式的检测方法一：眼动追踪模块检测眼睛视线夹角小于或等于一定角度时，和/或检测用户注视远处景物超过一定时长，MR眼镜自动进入望远模式，或者发出咨询是否进入望远模式的信息提示弹窗，若进入望远模式则对所视区域景象进行增强呈现；

所述视线夹角具体为，双眼视线夹角为α，双眼间距为d，则视线注视点与眼睛的距离通过一些公式计算得出，＝d/2 tan(α/2)；

(b)进入望远模式的检测方法二：眼动追踪模块实时检测眼睛在对外界环境进行屈光调节时晶状体厚度大小以及曲率的变化，根据一些公式计算出注视点距离：

u＝fv/(v-f)

与f＝1/{(n-1)[1/R₁-1/R₂+(n-1)d/nR₁R₂]}

得到视线距离，其中，u为物距，即用户注视点到用户晶状体的距离；f为焦距，即用户眼睛晶状体焦距；v为像距，即眼睛视网膜至晶状体的距离；n为眼睛晶状体的折射率；R₁为眼睛晶状体的第一曲率半径；R₂为眼睛晶状体的第二曲率半径；d为晶状体厚度；

当视线距离u大于一定值，即为正在聚焦于远处景物，MR眼镜自动进入望远模式，或者发出咨询是否进入望远模式的信息提示弹窗，若进入望远模式则对所视区域景象进行放大呈现。

5.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，所述望远模式为通过MR眼镜看到远距离景象的模式，进入所述望远模式后，系统控制MR眼镜上的远焦摄像头获取用户所视区域的远处影像，通过长焦光敏传感器处理成数码图像，传输至光引擎，将处理后的远处影像转化成光信号传递至光学成像系统，向用户呈现放大影像；所述远距离景象为超越用户视力范围的真实物理世界景象，所述远距离的数值随不同视力范围的变化而变化。

6.如权利要求1所述的基于MR眼镜的人眼视觉能力增强的方法，其特征在于，所述进入望远模式后驱动前置摄像头对眼动追踪组件捕获双眼视线的注视区域和/或头动追踪模块识别中心点的景象进行对焦摄像的方法包括：

MR眼镜系统获取到眼动追踪装置发送的检测信息，检测信息包括注视点位置的空间坐标、晶状体厚度大小，其中注视点位置的空间坐标可以通过眼球的移动计算获得X和Y轴坐标，通过双眼视线的夹角或/和晶状体厚度获得Z轴坐标，及视觉深度，形成空间坐标(X,Y,Z)；

利用眼睛注视点的X坐标和Y坐标选定外景照片上放大和对焦的区域；其中，至少一个摄像机取景设置在MR眼镜外侧的正中间或者两边，前置摄像头所拍摄的照片为用户当前的视野画面，及上述外景照片为前置摄像头拍到的用户当时视野前方影像；根据(X,Y)注视点坐标获取外景照片上某一点，确定以该点为中心得目标区域，该目标区域为摄像头对焦和放大的区域；

利用眼睛注视点得Z坐标确定在外景照片上该目标区域中物体的视觉深度，控制摄像机对目标物体进行对焦并数码变焦或光学变焦放大一定的倍率，获得更清晰的图像，影像放大倍率以望远模式默认的初始放大倍数为准，或用户交互控制放大倍数；实现放大和对焦。

7.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤二中，所述摄像头分别包括各自的光传导模组、透镜模组、图像传感器模组以及影像防抖模组，或者在一些实施例中，这些摄像头可以适当地将光传导模组合并共用，共用一套光传导模组，其中光传导模组可以被配置为微型全反射镜结构改变出射影像光的方向，射入对应摄像头/其图像传感器；在望远模式下，光传导模组将外界影像光传导至变焦摄像的透镜模组和图像传感器；采用微机械的全反射镜装置将光路改变传导至不同的传感器实现；

光传导模组，被配置为至少一组全反射镜单元，参考潜望镜原理，将入射的影像光呈一定角度偏折，实现透镜模组与传感器模组的横置或斜置；或为一种由玻璃或塑料制成的光导纤维单元，用于将影像光沿着镜架中空的内部引导至透镜模组与传感器模组；或为一层或多层包含耦合光学原件的波导，其中的耦合光学元件将用户所视前方的影像光耦合至波导中传导，引导至MR眼镜内置的传感器模组；以上光传导模组的配置目的是简化设备构件，降低设备的形状系数；

镜头组件，配置在MR眼镜中适宜的任何空间位置，包含一组或者多组多个凸、凹透镜组合的光学元件，用于前方远处或者近处的景物进行对焦，通过不同的透镜组合、移动或者根据不同距离的对焦能力分组配置，实现远近距离景物的对焦；

图像传感器，用于接收经过透镜模组射出的光线，捕获所视景物影像，所述光敏传感器包括CCD传感器或CMOS传感器，用于对远、近处的景物进行摄像；

影像防抖模组通过利用光学防抖借助移动式硬件机械结构对透镜模组或者光敏传感器进行光学补偿；或者利用电子防抖通过数码影像技术对拍摄影像进行锐化、降噪及相关处理；或者利用模式防抖优化调整后的相机拍摄参数来补偿抖动对成像的影响；再或者利用多重防抖综合光学防抖、电子防抖、模式防抖多种防抖形式，根据实际情况选择几种或结合多种防抖技术。

8.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，所述MR眼镜上前置摄像头光传导模组的一种通过潜望镜式的配置方法：反射镜装置将透镜收集的光反射至镜头组件，光被镜头组件校正后在图像传感器上进行成像；其中反射镜装置设置于镜头组件光路的一端，图像传感器位于镜头组件光路的另一端，通过反射镜装置将光路折叠，将镜头组件平躺在MR眼镜内；反射镜装置的平面与镜头组件的镜头对称轴构成预设角度，预设角度为角θ；镜头组件被配置为多个不同曲度凸/凹透镜组合而成，还配置为包含自动对焦机构或定焦机构，自动对焦机构通过内部微型机械装置或/和电磁驱动调节透镜之间的距离实现变焦；拍照时用户根据具体情况调节焦距，根据具体情况拍摄出所需的照片；或镜头组件还包括定焦机构。

9.如权利要求1所述的基于MR眼镜的人视觉能力增强方法，其特征在于，所述MR眼镜上前置摄像头光传导模组的一种通过光纤传导的配置方法：收光透镜与光导纤维相连接，收光透镜将视觉前方影像光汇聚并输入至光导纤维；收光透镜一面配置为广角镜片用户收集更大视角的影响，一面用于偏转影像光使其达到在光导纤维中形成全反射的入射角条件；光导纤维由于十分细小可以布置在任意合适的智能眼镜硬件中将影像光引导至任何合适的硬件空间结构中被图像传感器处理；影像光在光导纤维中传导至透镜单元，透镜单元中包括若干个光学透镜组合，具备变焦和畸变矫正的特性；经过透镜单元变焦处理后投射至图像传感器获取影像；

光导纤维被配置为包括纤芯以及围绕纤芯的包层，纤芯由一种光学材料制成，包层由光学材料制成，包括二氧化硅玻璃、氟化物玻璃、磷酸盐玻璃、硫化物玻璃、聚甲基丙烯酸甲酯、聚苯乙烯、含氟聚合物或聚硅氧烷；光导纤维的横截面呈现三角形、正方形、矩形、六边形、圆形或椭圆形或其他任何合适的形状，纤芯的直径为5μm至25μm；光导纤维沿着MR眼镜空间合适的框架内部设置，最终将影像光线引导至透镜与传感器单元，使透镜与传感器单元设置在适合的空间，降低设备的形状系数；

摄像头的组件放置在MR眼镜正前方；或设计为以极简的形式呈现，通过光导纤维将图像进行转移，转移至MR眼镜上任意合适的位置再通过变焦镜头组进行光学处理。

10.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，所述MR眼镜上前置摄像头光传导模组的一种通过光波导传导的配置方法：MR眼镜的前置摄像头被配置为由一层或多层光波导与内部摄像头构成，环境中真实物体发射的光源被MR智能眼镜光学显示系统接收；环境光源的一部分光穿过光波导镜片被用户眼睛捕获，被用于观察世界，另外一部分光被光耦合元件改变光的传播角度使其在波导镜片中达到全反射入射角度，进而部分环境光在波导中传导至图像传感器方向；被传导的环境光被光耦合元件耦合出光波导镜片射入图像传感器，对真实物体数码成像。

11.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，所述经过眼动交互、手势识别交互、外设控制器、有声/无声语音识别、头动交互控制图像放大倍率的变焦方法包括光学变焦和数码变焦；其中光学变焦具体为，通过放大倍率的方法指令控制MR眼镜内部镜头组件进行变焦；其中变焦镜头组件内部由若干个光学透镜组成，通过电磁驱动或/和MEMS驱动作为动力改变透镜之间的距离来改变成像焦距，完成图像的放大与缩小；数码变焦，通过处理器，把图片内的每个像素面积增大。

12.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤三中，所述图像进行优化的方法包括：对此时摄像头实时拍摄的放大区域的影像进行自动参数优化，优化的参数包括曝光时间、ISO值、帧率、锐度、白平衡；所述图像优化方法包括插值方法，构建缺失部位的像素时，尽量保持重建部分和周围像素点的一致性，利用待修补区域的边缘信息对缺失的像素进行估测；其中所述图像插值算法包括最邻插值算法、线性插值、双线性插值、双三次插值；

步骤三中，使用AI技术增强图像中物体的细节与分辨率，获取到包括超清晰的放大后的图像；将低分辨率照片输入AI超分辨率重建模型中，对照片修复/增强模型进行训练，输入原始照片，再将低分辨率的照片与原始照片进行对比，并对程序修复后的照片进行监督纠错，通过大量的数据反复训练，是计算机总结图片增强的规律，最终达到不依靠原始图片进行修复；所述AI超分辨率重建模型包括SRCNN模型、FSRCNN模型、ESPCN模型、DRCN模型、VDSR模型、EDSR模型和MDSR模型、SRGAN模型、VESPCN模型、DBPN模型、WDSR模型或其他使图像变清晰的算法。

13.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤四中，所述光学显示器包括共轴棱镜、离轴棱镜、光波导、共轴空导；其中显示系统包括光引擎、耦合光学元件、波导，耦合光学元件设置在波导上面或波导内部，用于将光引擎发射的影像耦合入射角进入光波导元件中，改变光的入射角度使其达到全反射条件，在光波导元件中无损传播，最终通过输出衍射耦合器耦合射出；

所述光引擎被配置为OLED、LED、Micro-LED、LCOS、MEMS以及光纤扫描成像；所述波导包括几何式光波导和半透半反镜面阵列、衍射式光波导和表面浮雕光栅、衍射式光波导和全息体光栅。

14.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤四中，所述光波导显示设备外层透明保护壳或被配置为光学透明度调制装置，用于控制MR眼镜整体光学透明度，通过降低显示器透明度来避免环境光/影像对波导显示正在呈现内容的干扰，所述光学透明度调制装置包括：

有源透明度调制膜，包括电致变色像素层或者光致变色层，所述可电致变色像素层通过电控介于透明与不透明以及两者之间的状态进行转换；所述光致变色层通过内部发射的光源选择性的将光致变色层的每个调制像素曝光以控制每个光调制像素的不透明度；

所述透明状态的透射率是100％或接近100％；不透明状态的透射率是0％或者接近0％，同时选择性地产生中间水平介于0％至100％之间的透光率；

所述光学透明度调制模块根据交互界面的设计、使用状态、主动操作情况选择性地将显示模块的全部区域或者局部区域进行透明度调制；在望远模式下，光学透明度调制模块将显示模块的局部区域进行不透明度调制，进行局部画面显示；或将显示模块的全部或者局部区域进行中间水平的不透明度调制，减弱外界射入的光，保证清楚、舒适地查看画面；

光学透明度调制装置根据交互界面的设计、使用状态、主动操作等情况选择性地将显示装置的全部区域或者局部区域进行透明度调制，在望远模式下，光学透明度调制装置将显示装置的局部区域进行不透明度调制，进行局部画面显示；或将显示装置的全部或者局部区域进行中间水平的不透明度调制，减弱外界射入的光，所述透明度调制的局部区域可以根据显示装置所显示的影像、UI、图片或模型区域实时映射；将光学透明度调制模块的不透明度调制FOV范围配置成与光学显示系统的显示FOV范围一致；系统实时计算显示器显示的影像、UI、图片或模型轮廓区域以及用户发生交互导致上述区域的大小、比例、位置变化的区域，反馈并控制光学透明度调制模块的不透明度区域做出相应的变化。

15.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤四中，所述根据视觉需求发生的交互操作调整画面的方法具体包括：

(i)通过眼睑动作进行影像画面的缩放：眼动追踪检测用户眼睛动作，当将眼睛上下眼睑眯合，为缩小画面，将眼睛上下眼睑扩张，为放大画面；或者在此基础上结合注视点的交互，注视画面缩放滚动条再进行眼睑动作视为控制画面的缩放，注视影像播放区再进行眼睑动作为控制播放区的缩放；

(ii)通过手部动作进行影像画面的缩放、拖动或者放大倍数：手势识别模块识别手部动作，将五指并拢或食指与拇指合并，为缩小画面，将五指张开或食指与拇指打开，为放大画面，用将手保持握持状态，上下左右挥动，为将影像画面进行拖动；或者在此基础上结合注视点进行交互；

(iii)通过发出有声或无声语音指令，计算机系统识别明确的指令，进行对应显示元素的交互及控制；

(iv)通过操控设备的移动控制器进行显示元素的交互及控制，移动控制器在虚拟世界中获得同步映射，控制器前端发出射线，射线指向任何图片、按钮、窗口等显示元素时按下控制器扳机按键，控制所述元素移动、放大、缩小以及触发点击事件。

16.如权利要求15所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤(ii)所述通过手部动作进行影像画面的缩放、拖动或者放大倍数中，进一步包括：通过手势识别交互方式对摄像头拍摄的画面进行截取、放大、缩小，具体方法为：

MR眼镜前置视觉传感器检测用户双手手势，则对前置摄像头进行变焦调节和截图位置控制；系统确定已经形成框架；系统确定双八手势是否在现实环境中定义四边形；计算机系统通过双手围成的四边形区域确定前置摄像头取景的范围；

通过手势与用户之间的距离来对图像进行放大缩小的调节；

通过四边形手势的对角线长度来调整显示放大影像的画面窗口面积，在同一平面内双手分别向外围两侧移动时，四边形的对角线长度、面积、周长都会增大，此时显示放大影像的窗口同步增大；反之则变小。

17.如权利要求1所述的基于MR眼镜的人眼视觉能力增强方法，其特征在于，步骤五中，所述内置探测器检测使用状态的方法包括：

A)检测头部的运动：通过运动探测器判断头部的大幅度运动；用于在某些情况下被其他声音或者物体吸引转移注意力导致短时间内大幅度地转移头部，为丧失继续使用望远模式的需求，自动退出上述任意模式；

B)检测用户的注意力状态：通过眼动追踪模块检测用户的眼睛状态，包括注视点、瞳孔大小、注视时长；用于判断用户的注意力状态，在运行望远模式时设备检测到注意力丧失，则将影像播放区域缩小移动至视觉边缘或者退出上述任意模式，等待其他指令；

C)通过眼睛注视前方景象的注视点距离变小，退出模式，眼动追踪模块检测到眼睛注视点距离变近，判断用户此时无观察远处景物需求，系统自动退出望远模式；

D)操作MR眼镜系统对当前放大的影像进行拍照，拍照后的电子照片储存在MR眼镜存储器上；所述照片拍照指令以任意方式输入，包括眼动交互、手势识别、语音交互，或通过认识交互控制UI界面上的拍照功能键。

18.如权利要求1-17所述任意一项的基于MR眼镜的人眼视觉能力增强方法，其特征在于，所述通过摄像机拍摄用户所视区域的影像进行放大呈现的模式不局限于影像的获取，还应包括一种近眼现实设备的图像拍摄的方法，例如通过前置摄像头拍摄用户所视前方景物图像，经过调焦选取拍摄的画面角度，再通过光波导显示装置预览拍摄的画面，通过相应的控制指令执行拍照，所拍照片储存于设备内部存储装置，供用户查看、分享、下载。

19.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-17任意一项所述的基于MR眼镜的人眼视觉能力增强方法。

20.一种执行权利要求1-17任意一项所述的基于MR眼镜的人眼视觉能力增强方法的摄像头获取影像的硬件架构，其特征在于，所述摄像头获取影像的硬件架构包括潜望镜式光路的摄像头结构，所述潜望镜式光路的摄像头结构包括：

MR眼镜镜框和MR眼镜光学显示装置；透镜设置在MR眼镜的正中间，收集视觉前方的影像，其中透镜被配置为单一光学透镜；

反射镜装置将透镜收集的光反射至镜头组件，光被镜头组件校正后在图像传感器上进行成像；其中反射镜装置设置于镜头组件光路的一端，图像传感器位于镜头组件光路的另一端；反射镜装置的平面与镜头组件的镜头对称轴构成预设角度，预设角度为角θ；镜头组件被配置为多个不同曲度凸/凹透镜组合而成，还配置为包含自动对焦机构或定焦机构，自动对焦机构通过内部微型机械装置或/和电磁驱动调节透镜之间的距离实现变焦；拍照时可以用户根据具体情况调节焦距，根据具体情况拍摄出所需的照片；或镜头组件还包括定焦机构；

图像传感器，用于接收经过透镜模组射出的光线，捕获所视景物影像，所述光敏传感器被配置为CCD传感器或CMOS传感器，用于对远、近处的景物进行摄像；

反射镜装置将光路折叠，将镜头组件平躺在MR眼镜内。

21.如权利要求20所述的摄像头获取影像的硬件架构，其特征在于，所述摄像头获取影像的硬件架构进一步包括光纤光路的摄像头结构，光纤光路的摄像头结构的收光透镜与光导纤维相连接，收光透镜将视觉前方影像光汇聚并输入至光导纤维；收光透镜一面配置为广角镜片收集更大视角的影响，一面用于偏转影像光使其达到在光导纤维中形成全反射的入射角条件；光到纤维由于十分细小可以布置在任意合适的智能眼镜硬件中将影像光引导至认知合适的硬件空间中进行处理；影像光在光导纤维中传导至透镜单元，透镜单元中包括若干个光学透镜组合，具备变焦和畸变矫正的特性；经过透镜单元变焦处理后投射至图像传感器获取影像；

光导纤维被配置为包括纤芯以及围绕纤芯的包层，纤芯由一种光学材料制成，包层由光学材料制成。

22.如权利要求20所述的摄像头获取影像的硬件架构，其特征在于，所述摄像头获取影像的硬件架构进一步包括光波导摄像头，被配置为由一层或多层光波导与内部摄像头构成；环境中真实物体发射的光源被MR智能眼镜光学显示系统接收；环境光源的一部分光穿过光波导镜片被用户眼睛捕获，另外一部分光被光耦合元件改变光的传播角度使其在波导镜片中达到全反射入射角度，进而部分环境光在波导中传导至图像传感器方向；被传导的环境光被光耦合元件耦合出光波导镜片射入图像传感器，进而对真实物体数码成像。

Images