Nothing Special   »   [go: up one dir, main page]

CN113362450A - 一种三维重建方法、装置及系统 - Google Patents

一种三维重建方法、装置及系统 Download PDF

Info

Publication number
CN113362450A
CN113362450A CN202110612037.XA CN202110612037A CN113362450A CN 113362450 A CN113362450 A CN 113362450A CN 202110612037 A CN202110612037 A CN 202110612037A CN 113362450 A CN113362450 A CN 113362450A
Authority
CN
China
Prior art keywords
rendering
dimensional reconstruction
data
dimensional
reconstruction data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110612037.XA
Other languages
English (en)
Other versions
CN113362450B (zh
Inventor
刘帅
任子健
吴连朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Media Network Technology Co Ltd
Original Assignee
Qingdao Hisense Media Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Media Network Technology Co Ltd filed Critical Qingdao Hisense Media Network Technology Co Ltd
Priority to CN202110612037.XA priority Critical patent/CN113362450B/zh
Publication of CN113362450A publication Critical patent/CN113362450A/zh
Application granted granted Critical
Publication of CN113362450B publication Critical patent/CN113362450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及远程三维通讯技术，提供一种三维重建方法、装置及系统，利用人眼异常运动状态下不需要高分辨率视图的特性，渲染显示终端通过眼球追踪装置获取人眼视觉参数，并根据人眼视觉参数实时检测人眼运动频率，当运动频率大于预设频率阈值时，则调整渲染参数，并发送携带渲染参数控制指令，传输终端接收控制指令，根据渲染参数所指示的运动类型对应的传输控制参数向渲染显示终端发送相应的三维重建数据以减少三维模型重建所需的数据量，渲染显示终端根据数据量减少后的三维重建数据渲染当前帧的三维模型并显示，通过调整渲染参数来减少三维模型重建所需的数据量，从而减少数据传输压力，减少传输时延，进而提高模型的渲染效率。

Description

一种三维重建方法、装置及系统
技术领域
本申请涉及远程三维通讯技术领域，尤其涉及一种三维重建方法、装置及系统。
背景技术
远程三维通信交互系统中，针对人体模型的三维重建，首先需要从各类传感器获得模型重建的采集数据，然后使用三维重建方法对采集数据进行处理，从而重建出人体三维模型。其中，人体三维模型的重建涉及形状、姿态和材质数据。
虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)等终端的沉浸式渲染往往需要高精度三维模型。目前，精度较高的静态三维重建方法仍需使用光学扫描仪(例如可见结构光扫描仪或激光扫描仪)，这类方法要求采集对象在整个扫描过程中保持静止不动数秒甚至数分钟的时间，对多个角度的高精度三维扫描信息进行拼接，最终重建出高精度的人体静态三维模型。但基于光学扫描仪的方法也存在其固有缺陷，比如难以重建人体动态三维模型(扫描时间长且需要采集对象静止不动)、需要具有专业知识的人员进行扫描操作以及扫描仪价格相对较为昂贵等。并且，高精度三维模型意味着较大的数据量，在现有网络带宽的能力下，传输时间较长，增加了VR和AR终端的渲染时延。
随着成像技术的不断发展，RGBD相机的出现及双目立体匹配算法的提出和优化，进一步提高了三维重建的质量和效率，可用于动态三维重建。而单个RGBD相机只能获取当前场景某一个视角的彩色信息(RGB图像)或深度信息(RGBD图像)，多视点(相机)采集系统能够对物体各个视角的二维彩色信息或深度信息进行采集，并且使用多视点立体匹配(Multi-View Stereo，MVS)算法或深度信息融合等方法，动态重建出高精度的三维模型，但同时多视点构建较为复杂，需要进行多相机标定及数据融合，实现难度较高。
发明内容
本申请提供了一种三维重建方法、装置及系统，用以减少三维重建的数据量，提高动态三维重建的渲染效率。
第一方面，本申请实施例提供一种三维重建方法，应用于渲染显示终端，包括：
获取人眼视觉参数，并根据所述人眼视觉参数检测人眼运动频率；
若所述运动频率大于预设频率阈值，则调整渲染参数，并发送携带所述渲染参数的控制指令，所述渲染参数用于指示所述人眼的运动类型，所述控制指令用于指示根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量；接收数据量减少后的三维重建数据，根据数据量减少后的三维重建数据渲染当前帧的三维模型并显示；
若所述运动频率小于等于预设频率阈值，则直接接收数据量未减少的三维重建数据，并根据数据量未减少的三维重建数据渲染当前帧的三维模型并显示。
第二方面，本申请实施例提供一种三维重建方法，包括：
若所述运动频率大于预设频率阈值，则接收控制指令，所述控制指令携带渲染参数，所述渲染参数用于指示人眼的运动类型；根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量，使得渲染显示终端根据数据量减少后的三维重建数据重建三维模型并显示；其中，所述渲染参数是所述渲染显示终端根据获取的人眼视觉参数检测到人眼运动频率大于预设频率阈值后调整的；
若所述运动频率小于等于预设频率阈值，则直接传输数据量未减少的三维重建数据，使得渲染显示终端根据数据量未减少的三维重建数据渲染三维模型并显示。
第三方面，本申请实施例提供一种渲染显示终端，包括眼球追踪装置、显示器、存储器、处理器：
所述眼球追踪装置，与所述处理连接，被配置为获取人眼视觉参数；
所述显示器，与所述处理器连接，被配置为显示三维模型；
所述存储器，与所述处理器连接，被配置为存储计算机程序指令；
所述处理器，被配置为根据所述计算机程序指令，执行以下操作：
获取人眼视觉参数，并根据所述人眼视觉参数检测人眼运动频率；
若所述运动频率大于预设频率阈值，则调整渲染参数，并发送携带所述渲染参数的控制指令，所述渲染参数用于指示所述人眼的运动类型，所述控制指令用于指示根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量；接收数据量减少后的三维重建数据，根据数据量减少后的三维重建数据渲染当前帧的三维模型并显示；
若所述运动频率小于等于预设频率阈值，则直接接收数据量未减少的三维重建数据，并根据数据量未减少的三维重建数据渲染当前帧的三维模型并显示。
第四方面，本申请实施例提供一种传输终端，包括存储器和处理器：
所述存储器，与所述处理器连接，被配置为存储计算机程序指令；
所述处理器，被配置为根据所述计算机程序指令，执行以下操作：
若所述运动频率大于预设频率阈值，则接收控制指令，所述控制指令携带渲染参数，所述渲染参数用于指示人眼的运动类型；根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量，使得渲染显示终端根据数据量减少后的三维重建数据重建三维模型并显示；其中，所述渲染参数是所述渲染显示终端根据获取的人眼视觉参数检测到人眼运动频率大于预设频率阈值后调整的；
若所述运动频率小于等于预设频率阈值，则直接传输数据量未减少的三维重建数据，使得渲染显示终端根据数据量未减少的三维重建数据渲染三维模型并显示。
第五方面，本申请实施提供一种三维重建系统，包括采集终端、传输终端、渲染显示终端；
所述采集终端，用于采集深度图像和彩色图像，从采集的深度图像和相应的彩色图像中提取三维重建数据，根据提取的三维重建数据重建三维模型，并将三维模型对应的三维重建数据发送给所述传输终端；
所述传输终端，用于接收所述采集终端发送的三维重建数据；若所述运动频率大于预设频率阈值，则接收所述渲染显示终端发送的携带渲染参数的控制指令，所述渲染参数用于指示人眼的运动类型；根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量；若所述运动频率小于等于预设频率阈值，直接传输数据量未减少的三维重建数据；
所述渲染显示终端，用于获取人眼视觉参数，并根据所述人眼视觉参数检测人眼运动频率；若所述运动频率大于预设频率阈值，则调整渲染参数，并发送携带所述渲染参数的控制指令；接收数据量减少后的三维重建数据，根据数据量减少后的三维重建数据渲染当前帧的三维模型并显示；若所述运动频率小于等于预设频率阈值，则直接接收数据量未减少的三维重建数据，并根据数据量未减少的三维重建数据渲染当前帧的三维模型并显示。
第六方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的三维重建方法。
本申请的上述实施例中，渲染显示终端根据获取的人眼视觉参数实时检测人眼频率，当运动频率大于预设频率阈值时，则调整渲染参数，并发送携带渲染参数控制指令，传输终端接收控制指令，根据渲染参数所指示的运动类型对应的传输控制参数向渲染显示终端发送数据量减少的三维重建数据，渲染显示终端数据量减少的三维重建数据渲染三维模型并显示；当运动频率小于等于预设频率阈值时，渲染显示终端直接根据传输终端传输的数据量未减少的三维重建数据进行三维模型的渲染及显示。一方面，通过利用人眼异常运动状态下不需要高分辨率视图的特性，自适应调整渲染参数，并发送控制指令以减少三维模型重建所需的数据量，从而减少数据传输压力，减少传输时延，进而提高模型的渲染效率；另一方面，保证渲染显示的模型精度与人眼视觉状态相匹配，在人眼异常运动状态下，减少三维重建所需的数据量来渲染低精度的三维模型，提高渲染效率，在人眼正常运动状态下，根据数据量未减少的三维重建数据渲染高精度的三维模型，使得人眼看到清晰的三维模型。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示例性示出了本申请实施例提供的相关技术中三维重建过程示意图；
图2示例性示出了本申请实施例提供的一种三维重建系统架构图；
图3示例性示出了本申请实施例提供的应用场景示意图；
图4a示例性示出了本申请实施例提供的渲染显示终端侧的是三维重建方法流程图；图4b示例性示出了本申请实施例提供的渲染显示终端侧的是三维重建方法流程图；
图5示例性示出了本申请实施例提供的EAR检测是否眨眼的原理图；
图6示例性示出了本申请实施例提供的传输终端侧的是三维重建方法流程图；
图7示例性示出了本申请实施例提供的三维重建方法过程示意图；
图8示例性示出了本申请实施例提供的完整的三维重建方法流程图；
图9示例性示出了本申请实施例提供的一种渲染显示终端功能结构图；
图10示例性示出了本申请实施例提供的一种传输终端功能结构图。
图11示例性示出了本申请实施例提供的一种渲染显示终端硬件结构图；
图12示例性示出了本申请实施例提供的一种传输终端硬件结构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
远程三维通信系统核心技术涉及实时三维重建技术、三维数据的编解码及传输技术、沉浸式VR/AR显示技术等。目前远程三维通讯系统的三维重建方案参见图1，采集端负责采集模型数据，包括彩色图像(RGB图像)和深度图像(RGBD图像)，根据采集的模型数据进行是三维重建，并将重建模型的三维重建数据发送给传输端，由传输端进行数据编码后传输给渲染显示终端，渲染显示端接收三维重建数据并解码，根据解码后的三维重建数据渲染三维场景中的人、物模型并显示。
目前，基于VR和AR远程通讯技术的根本性挑战是：以高沉浸感所需的高分辨率呈现重建的三维模型，对渲染引擎和数据传输提出了较高的要求。对于用户来讲，好的远程沉浸式体验需要低时延、高帧率、高画质的渲染效果。
在使用VR或AR头戴式设备进行远程三维通讯时，针对人物的实时三维重建，模型精度影响视觉体验，但同时精度越高，模型的数据量也会越高，传输技术对动态三维重建的精度及模型成像有重要影响。
例如，以现有网络每秒传输30帧的模型数据量为例，192*192*128分辨率的模型需要的传输码率为256Mbps，384*384*384分辨率的模型需要的传输码率为1120Mbps。这样，模型的数据量越大，云端传输的时延越长，导致渲染显示端无法实时更新三维模型，降低了用户体验。
针对VR或AR等渲染显示终端，由于是近眼显示，可考虑眼部构造和运动等视觉特性。针对人眼视觉特性，在日常生活中，人和许多动物的眼球会频繁转动，以搜寻、注视、跟踪感兴趣的目标，而眼球追踪装置的发展，使得借助注视点及眼球运动方式进行交互成为可能。
眼球运动由四个系统组成，即扫视运动(跳动、眼跳)、跟随运动、集散运动及旋转运动。扫视运动(Saccadic Movement)是指眼球以500度/秒以上速度将视线从视野中的一个目标转移到另一目标时，为使新的目标迅速投射到眼睛黄斑中心凹上而产生的同向快速运动，最高速度可达900度/秒。通常每秒可进行大约3次扫视，每次扫视持续时间可达20-200毫秒，持续时间大于VR、VR等渲染显示终端渲染每帧图像的需求时长。这种急速的反射性眼球运动，不受主观意志而改变，可间接地代表肌肉力量。扫视通常被描述为″弹道″运动，这意味着一旦″发射″，其运动轨迹就无法改变，就眼球追踪而言，通常认为在扫视期间是″有效盲人″，不需要高分辨率的视图。
通常情况下，在没有追踪一个移动目标或专注于一点时，人眼不会从一个注视目标快速地移动到另一个注视目标，即不存在扫视运动。从物理学上讲，眼球快速转动的瞬间，所看到物体的像飞快扫过视网膜表面，此时人眼看到的内容理论上应该是模糊的画面，但实际上我们看到的物体仍然是清晰可辨。也就是说，人脑巧妙地处理了视觉上物理学和生物学矛盾，这种现象称之为扫视抑制(Saccadic Suppression)。
基于上述分析，本申请实施例提供一种三维重建方法、装置及系统。由于人眼在眨眼、扫视等异常运动状态下，不需要接收高分辨的信息，因此，可根据人眼视觉状态调整模型传输的数据量。具体的，本申请实施例利用VR或AR等渲染显示终端中的眼球追踪装置，获取人眼视觉参数，在检测到人眼运动频率大于预设频率阈值时，表明人眼处于异常运行状态，可实时调整渲染参数，根据调整后的渲染参数发送控制指令，传输端接收到控制指令后，根据渲染参数所指示的运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量，从而减少云端传输压力，进而减少渲染时延，提高渲染效率，提升用户体验，在检测到人眼运动频率小于等于预设频率阈值时，表明人眼处于正常运动状态，渲染显示终端直接根据传输端传输的数据量未减少的三维重建数据重建三维模型并显示，从而保证人眼看到清晰的三维模型。
在本申请的实施例中，将人眼运动频率大于预设频率阈值时的视觉状态(例如扫视、眨眼等)称为异常运动状态，将人眼运动频率小于等于预设频率阈值时的人眼视觉状态(观察目标、跟踪目标等)称为正常视觉状态。在异常运动状态下，降低实时传输的三维重建数据量，从而降低渲染延迟，提高渲染效率，在正常运动状态下，为保证模型精度无需减少数据量，实时传输三维重建数据。
下面结合附图详细描述本申请的实施例。
图2示例性示出了本申请实施例提供的一种三维重建系统架构图。如图2所示，该系统包括采集终端201、传输终端202、渲染显示终端203。
采集终端201，用于采集图像数据，包括深度图像(RGBD图像)和彩色图像(RGB图像)，从采集的RGBD图像和相应的RGB图像中提取三维重建数据，根据提取的三维重建数据重建三维模型，并将三维模型对应的三维重建数据发送给传输终端202。
传输终端202，用于接收采集终端201发送的三维重建数据；以及，若运动频率大于预设频率阈值，则接收渲染显示终端203发送的携带渲染参数的控制指令，渲染参数用于指示人眼的运动类型，根据运动类型对应的传输控制参数向渲染显示终端203发送相应的三维重建数据以减少三维模型重建所需的数据量；若运动频率小于等于预设频率阈值，则直接向渲染显示终端203传输数据量未减少的三维重建数据。其中，传输端终端202可以是云服务器。
渲染显示终端备203，用于获取人眼视觉参数，并根据人眼视觉参数检测人眼运动频率；若运动频率大于预设频率阈值，则调整渲染参数，并发送携带所述渲染参数的控制指令；接收数据量减少后的三维重建数据，并根据数据量减少后的三维重建数据渲染当前帧的三维模型；若运动频率小于等于预设频率阈值，则直接接收数据量未减少的三维重建数据，并数据量未减少的三维重建数据渲染当前帧的三维模型并显示。渲染显示终端203可以是具体交互功能的智能电视、智能手机、VR或AR头戴式显示设备。
需要说明的是，在一些实施例中，采集终端可仅负责采集图像数据，模型重建过程可由传输终端执行，从而能减少对采集终端计算性能的要求。
本申请的实施例中，图2示出的系统架构可根据不同的使用场景进行部署，比如在直播场景中，主播端设置本系统的采集终端，用户端设置本系统的渲染显示终端，用户可以通过渲染显示终端观看三维模型，体验虚拟世界中面对面交互的沉浸感；再比如在会议场景中，远程会议的两个会议室同时布置本系统的采集终端与渲染显示终端，以进行两个会议室内实时的远程三维通信。
基于图2示出的系统架构，图3示例性示出了本申请实施例提供的应用场景示意图。如图3所示，用户端1至用户端4进行实时远程三维通信，用户端1至用户端4分别布置了采集终端和渲染终端。其中，采集终端包括深度相机(RGBD相机)以及主站或工作站，渲染显示终端包括智能电视、智能手机、VR或AR头显的全部或部分。远程三维通信过程中，用户端1的三维重建数据可上传到云服务器，用户端2至用户端4中的渲染显示终端从云服务器下载用户端1的三维重建数据，并根据下载的三维重建数据同步显示三维人体模型，同理，用户端1、用户端3和用户端4也可同步显示用户端2的三维人体模型，依此类推。
需要说明的是，图3仅是多人远程三维通信的一种示例，本申请实施例对远程三维通信的用户端数不做限制性要求。
图4a示例性示出了本申请实施例提供的渲染显示终端侧的三维重建方法流程图，该流程主要由三维重建系统中的渲染显示终端执行，主要包括以下几步：
S401：获取人眼视觉参数，并根据人眼视觉参数检测人眼运动频率。
该步骤中，通过眼球追踪装置获取人眼视觉参数，人眼视觉参数包括眼睛纵横比、注视点位置信息中的至少一项。其中，注视点位置信息可根据眼球坐标、视线方向、注视景深中的至少一项确定。
在S401中，人眼运动多种多样，例如包含扫视、眨眼、浏览等运动，不同人眼运动的运动频率有不同的监测方式。
例如，当运动频率包含眨眼频率时，根据眼睛纵横比检测眨眼频率；当运动频率包含扫视频率时，根据注视点位置信息检测人眼扫视频率。
在本申请的实施例中，通过眼球追踪装置检测是否眨眼频率。眼球追踪装置可直接输出未检测到瞳孔，当未检测到瞳孔时，可判断人眼为未眨眼或闭眼状态，从而输出相应的状态；一般眨眼检测，可利用眼睛纵横比(Eye Aspect Ratio，EAR)确定，通过计算EAR的数值，可以判断眼睛是张开还是闭合(即是否眨眼)，进一步地，通过统计预设时段内眼睛张开和闭合的次数，从而检测眨眼频率。其中，EAR的计算公式如下：
Figure BDA0003096219510000091
其中，p1至p6为人眼对应的6个特征点，如图5所示，眨眼过程中人眼张开和闭合时，眼睛的长宽比(图5中用两条待箭头的实线表示)会有所不同，分子中计算的是眼睛特征点在垂直方向上的距离，分母计算的是眼睛特征点在水平方向上的距离。由于水平点只有一组，而垂直点有两组，所以分母乘上了2，以保证两组特征点的权重相同。
在提取到眼睛特征点后，结合深度学习算法，例如支持向量机(Support VectorMachine，SVM)，可以检测是否眨眼，并统计眨眼频率。
在本申请的实施例中，通过眼球追踪装置检测注视点的移动速度(即扫视频率)。一种实施方式为，根据眼球追踪装置，获取眼球坐标，根据眼球坐标在预设时段内的移动距离确定注视点的移动速度，得到扫视频率并输出。另一种实施方式为，根据眼球追踪装置，获取视线方向，根据视线方向在预设时段内的旋转角度确定注视点的移动速度，得到扫视频率并输出。
S402：确定运动频率是否大于预设频率阈值，若是，执行S403，否则执行S405。
该步骤中，确定人眼运动对应的运动频率后，与设定频率阈值进行比较，若运动频率大于预设频率阈值，表明人眼可能处于扫视、眨眼等异常运动状态，无需高分辨率的模型视图，可减少三维重建所需的数据量，执行S403，若运动频率小于等于预设频率阈值，表明人眼可能处于认真观察、跟踪目标等正常运动状态，为保证人眼看到清晰的模型，无需减少三维重建所需的数据量，执行S405。
需要说明的是，不同人眼运动对应的预设频率阈值不同，例如，扫视运动对应第一频率阈值，眨眼运动对应第二频率阈值，第二预设阈值小于第一预设阈值，第一频率阈值和第二频率阈值的大小可根据实际情况进行设置。
S403：调整渲染参数，并发送携带渲染参数的控制指令。
该步骤中，通过眼球追踪装置已经获得了人眼视觉参数，根据人眼视觉参数、预设渲染参数、预设调整阈值，调整用于指示人眼运动类型的渲染参数，其中，预设渲染参数为正常视觉状态下的渲染参数。调整公式如下：
ρt(α，β)＝T+K(αt+βt) 公式2
其中，ρt(α，β)为t帧调整后的渲染参数，T为预设调整阈值，K为预设渲染参数，αt为t帧的眼睛纵横比、βt为t帧的注视点移动状态。
渲染参数调整后，发送携带渲染参数的控制指令，控制指令用于指示根据运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量，从而减少云端传输压力，进而提高渲染显示终端的渲染显示效率。
其中，控制指令可发送给传输终端，也可发送给采集终端，具体可根据设备性能进行设置。
S404：接收数据量减少后的三维重建数据，根据数据量减少后的三维重建数据渲染当前帧的三维模型并显示。
该步骤中，三维重建数据包含几何数据(顶点坐标、顶点法向、顶点索引、面片索引等)和纹理数据(顶点颜色值)，三维重建数据用于重建三维模型。渲染显示终端接收数据量减少后的三维重建数据，根据接收的三维重建数据渲染三维模型并显示。
S405：直接接收数据量未减少的三维重建数据，并根据数据量未减少的三维重建数据渲染当前帧的三维模型并显示。
该步骤中，运动频率小于等于预设频率阈值，人眼处于正常运动状态，为提升用户体验，需保证显示的三维模型有较高的精度(即较高的分辨率)，此时，无需通过调整渲染参数来减少三维重建数据的数据量。采集终端直接从采集的图像中提取数据量未减少的三维重建数据进行模型重建，并将三维模型对应的数据量未减少的三维重建数据实时通过云端发送给渲染显示终端。渲染显示终端根据数据量未减少的三维重建数据渲染高精度的三维模型并显示，以提高用户交互过程中的沉浸感。
可选的，在一些实施方式中，在检测到运动频率大于预设频率阈值时，接收到数据量减少后的三维重建数据后，还可执行以下步骤，参见图4b：
S4041：根据数据量减少后的三维重建数据，以及与当前帧相邻的前N帧的三维重建数据，预测当前帧的下一帧的三维重建数据。
该步骤中，N为大于等于1的整数。为进一步提高渲染效率，可根据对三维重建数据进行预测。交互过程中，人体模型的顶点数据在预设时间内可呈线性变化，根据线性变化规律可预测下一帧的三维重建数据。其中，线性变化规律可根据当前帧与相邻的前N帧的三维重建数据中的顶点数据确定。
例如，根据t帧刻的三维重建数据，以及前t-3，t-2，t-1帧的三维重建数据，预测t+1帧的三维重建数据，依此次类推，并对预测得到三维重建数据进行插针处理，以平滑三维模型的图像。
需要说明的是，预测及插帧过程可根据三维模型的生成规律及运动规则进行处理。
S4042：根据预测的三维重建数据，渲染下一帧的三维模型。
该步骤中，得到下一帧的三维重建数据后，直接根据预测的三维从建数据渲染三维模型，无需从传输终端获取数据，减少传输时延，进而提高渲染效率。
本申请的实施例中，预测过程中，渲染显示终端实时根据人眼视觉参数检测人眼运动频率，若检测到运动频率恢复为小于等于预设频率阈值，则从传输终端接收下一帧对应的三维重建数据，并用接收的三维重建数据替换预测的三维重建数据，从而保证模型视图的分辨率。
需要说明的是，本申请实施例中，渲染显示终端可将控制指令发送给传输终端，由传输终端控制三维重建数据的传输，也可将控制指令发送给采集终端，由采集终端控制三维重建数据的传输。
下面以传输终端接收控制指令以减少三维模型的数据量为例，图6示例性示出了本申请实施例提供的传输终端侧的三维重建方法流程图。该流程主要包括以下几步：
S601：接收控制指令，控制指令携带用于指示人眼的运动类型的渲染参数。
该步骤中，当运动频率大于预设频率阈值时，传输终端接收渲染显示终端发送的控制指令，控制指令携带渲染参数，渲染参数用于指示人眼的运动类型。渲染参数是渲染显示终端根据获取的人眼视觉参数检测到人眼运动频率大于预设频率阈值后调整的，具体过程参见S401-S403，在此不再重复。
S602：根据运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量，使得渲染显示终端根据数据量减少后的三维重建数据渲染三维模型并显示。
该步骤中，渲染参数用于指示人眼的运动类型，其中，运动类型是可根据眼动速度划分。例如，运动类型包括快速扫视、常规扫视、快速眨眼、常规眨眼等。运动类型与传输控制参数之间存在对应关系，如表1所示。
表1渲染参数、异常眼动类型、传输控制参数之间的对应关系
渲染参数 异常眼动类型 传输控制参数
ρ<sub>t1</sub> A SG<sub>1</sub>
ρ<sub>t2</sub> B SG<sub>1</sub>
ρ<sub>t3</sub> C SG<sub>3</sub>
… … …
其中，运动类型和传输控制参数之间的对应关系可以为线性关系，也可以为非线性关系。
在S602中，传输终端接收到控制指令后，根据控制参数所指示的运动类型对应的传输控制参数，发送相应的三维重建数据以减少三维模型重建所需的数据量。
例如，当运动类型为快速眨眼时，对应的第一传输控制参数，传输终端根据第一传输控制参数停止向渲染显示终端发送三维重建数据，此时，渲染显示终端根据前一帧的三维重建数据渲染当前帧的三维模型并显示，或者渲染显示终端根据前N帧的三维重建数据预测当前帧的三维重建数据，并根据预测的三维重建数据渲染当前帧的三维模型并显示。
再例如，当运动类型为快速扫视时，对应的第二传输控制参数，传输终端根据第二传输控制参数，向渲染显示终端发送模型分辨率为第一分辨率的三维重建数据，此时，渲染显示终端第一分辨率的三维重建数据渲染三维模型并显示。其中，第一分辨率小于预设模型分辨率，预设模型分辨率可为正常视觉状态下的模型分辨率，分辨率越小，三维重建的数据量越少。
目前，实时人体动态三维重建模型的几何表达主要基于符号距离函数(TruncatedSigned Distance Function，TSDF)，在TSDF表达方式中，真实场景的三维表面通常表示为三维空间中符号距离函数值为零的等值面，真实表面以外的自由空间所对应的函数值为正，且正比于函数采样点到真实表面的距离，场景占用空间内(真实表面所包围的空间)函数值为负，且反比于函数采样点到真实表面的距离。
模型重建时，往往会在虚拟空间中创建一个立方体，然后在X、Y、Z轴三个方向上对该立方体进行均匀剖分，剖分后的小立方体被称作体素(voxel)，各个方向上体素的个数为该方向上体素空间的分辨率，每个体素的中心点即为函数采样点，作为虚拟空间中连续符号距离函数的稀疏采样点。根据TSDF表达的几何模型，采用移动立方体(Marching Cubes，MC)算法提取出顶点数据，提取完顶点数据后对几何模型进行细节层级(Level of Detail，LOD)处理。
LOD技术可用于简化模型，LOD技术根据模型的重要程度对重要的细节进行较高质量绘制，对不重要的细节进行较低质量的绘制，并在简化后能够充分保持模型的尖锐特征和模型的几何特征，通过选择适当的LOD金字塔可在不丢失图形尖锐特征的条件下加速模型的实时绘制，提高系统运算能力。一般的，模型重要程度的评判依据包括：距离标准(模型到观察者距离)、尺寸标准(模型的大小)、剔除标准(模型是否可见)等。
本申请的实施例中，模型的重要程度可根据人眼视觉状态反馈的信息(渲染参数)确定，从而根据模型的重要程度简化模型以减少传输的数据量。在检测到人眼运动频率大于预设频率阈值时，模型的简化程度较高，在检测到人眼运动频率小于等于预设频率阈值时，采用模型简化程度较低或者未简化的模型重建，以达到渲染加速的目的。
在S602中，可根据预先构建的LOD金字塔，确定传输控制参数对应的模型细节层级，根据模型细节层级，对接收的三维重建数据进行降采样，并将降采样后的三维重建数据发送给渲染显示终端。其中，模型细节层级越大，模型的分辨率越小，模型的数据量也就越小。
本申请实施例对降采样的方法不做限制性要求，包括但不限于几何元素删除法、区域合并法、顶点聚类法。
例如，当运动类型为正常扫视或正常眨眼时，对应的第三传输控制参数，根据预先构建的LOD金字塔，确定第三传输控制参数对应的模型细节层级为1，传输终端对采集终端实时发送的三维重建数据进行降采样，得到第二分辨率的三维重建数据，并将第二分辨率的三维重建数据发送给渲染显示终端，此时，渲染显示终端第二分辨率的三维重建数据渲染三维模型并显示。其中，第二分辨率大于第一分辨率。
S603：直接传输数据量未减少的三维重建数据，使得渲染显示终端根据数据量未减少的三维重建数据渲染三维模型并显示。
该步骤中，当运动频率小于等于预设频率阈值时，为提升用户体验，需保证显示的三维模型有较高的精度(即较高的分辨率)，此时，无需减少三维重建数据的数据量。采集终端实时从采集的图像中提取三维重建数据进行模型重建，并将三维模型对应的三维重建数据实时上传到传输终端。传输终端将采集终端实时上传的数据量未减少的三维重建数据发送给渲染显示终端，渲染显示终端根据数据量未减少的三维重建数据渲染高精度的三维模型并显示，以提高用户交互过程中的沉浸感。
需要说明的是，当一个场景中有多个三维模型时，渲染显示终端可根据模型的顺序依次渲染，也可根据模型的优先级进行渲染。
本申请的上述实施例中，一方面，利用异常运动状态下人眼不需要高分辨率视图的特性，渲染显示终端根据眼球追踪装置获取的人眼视觉参数检测人眼运动频率，在检测到运动频率大于预设阈值时，表明人眼处于异常运动状态，实时自适应调整渲染参数，通过控制指令将调整后的渲染参数传输给传输终端，传输终端根据渲染参数所指示的运动类型对应的传输控制参数减少三维模型重建所需的数据量，从而减少云端传输压力，减少渲染延迟，提升远程通讯体验。另一方面，本申请实施例传输的三维重建数据与人眼的视觉状态相匹配，在正常运动状态下，传输数据量未减少的三维重建数据，保证人眼看到清晰的三维模型，在异常运动状态下，人眼不需要高分辨率的模型视图，从而传输数据量减少的三维模型，提高渲染效率。
本申请的实施例中，渲染显示端和传输端的三维重建过程参见图7，采集端采集RGBD图像和RGB图像，根据采集的图像中提取的三维重建数据进行三维重建，并将三维重建数据实时发送给传输端。渲染显示端通过安装的眼球追踪装置获取人眼视觉参数，检测人眼运动频率，根据人眼运动频率实时调整渲染参数，调整后将渲染参数通过控制指令发送给传输端。传输端根据渲染参数所指示的运动类型对应的三维重建参数，自适应控制三维重建数据的传输，并编码后发送给渲染显示端。渲染显示端根据接收的三维重建数据和调整后的渲染参数进行三维模型的渲染及显示。
下面以渲染显示终端和传输终端的交互过程为例，图8示例性输出了本申请实施例提供的完整远程交互过程中的三维重建方法流程图。如图8所示，主要包括以下几步：
S801：采集终端实时采集RGBD图像和RGB图像，从RGBD图像和RGB图像中提取三维重建数据。
该步骤中，三维重建数据包含顶点数据、面片数据、纹理数据等，采集终端实时采集RGBD图像和RGB图像，并进行去噪处理。对RGBD图像进行前景后景的分割，得到干净的人体模型后，提取几何模型的顶点数据、面片数据等。从RGB图像中提取三维重建的纹理数据。
S802：采集终端根据提取的三维重建数据，重建三维模型，并将三维模型对应的三维重建数据发送给云服务器。
该步骤中，采集终端将提取的顶点数据与参数化人体模型对应的顶点数据进行匹配，得到完整的人体内层模型，并根据提取的纹理数据对人体内层模型进行纹理贴图，得到人体表面稠密模型，并将人体表面稠密模型对应的三维重建数据发送给云服务器。
S803：渲染显示终端通过眼球追踪装置获取人眼视觉参数，并根据人眼视觉参数检测人眼运动频率。
该步骤中，人眼视觉参数包括眼睛纵横比、注视点位置信息中的至少一项。具体检测过程参见S401，在此不再重复。
S804：渲染显示终端确定运动频率是否大于预设频率阈值，若是，执行S805，否则，执行S810。
该步骤中，将运动频率与设定频率阈值进行比较，若运动频率大于预设频率阈值，可通过调整渲染参数来减少三维重建所需的数据量，执行S805，若运动频率小于等于预设频率阈值，为保证人眼看到清晰的模型，无需减少三维重建所需的数据量，执行S810。
S805：调整渲染参数，并向云服务器发送携带渲染参数的控制指令。
该步骤中，渲染显示参数用于指示人眼的运动类型，运动类型与传输控制参数之间的对应关系参见表1。渲染参数的调整过程参见S403，在此不再重复。
S806：云服务器接收控制指令，根据渲染参数所指示的运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量。
该步骤中，三维重建数据是采集终端实时发送给云服务器，云服务器根据视觉状态反馈的渲染参数自适应减少三维重建数据的传输。详细描述参见S602，在此不再重复。
S807：渲染显示终端接收数据量减少后的三维重建数据，根据数据量减少后的三维重建数据渲染当前帧的三维模型并显示。
该步骤的详细描述参见S404，在此不再重复。
S808：渲染显示终端根据数据量减少后的三维重建数据，以及与当前帧相邻的前N帧的三维重建数据，预测当前帧的下一帧的三维重建数据。
该步骤的详细描述参见S4041，在此不再重复。
S809：渲染显示终端根据预测的三维重建数据，渲染下一帧的三维模型。
该步骤的详细描述参见S4042，在此不再重复。
S810：渲染显示终端接收云服务器发送的数据量未减少的三维重建数据，并根据数据量未减少的三维重建数据渲染当前帧的三维模型并显示。
该步骤中，当运动频率小于等于预设频率阈值时，为保证人眼看到清晰的模型，需保证显示的三维模型有较高分辨率以提升用户体验，此时，传输终端无需减少三维重建数据的数据量。传输终端直接将采集终端实时传输的数据量未减少的三维重建数据发送给渲染显示终端，渲染显示终端根据数据量未减少的三维重建数据重建高分辨率的三维模型。该步骤的详细描述参见S405，在此不再重复。
基于相同的发明构思，本发明实施例中还提供了一种渲染显示终端，该渲染显示终端可实现本申请实施例图4a和图4b中的方法步骤，并且解决问题的原理与本申请实施例中的方法相似，且能达到上述实施例中的技术效果，重复之处不再赘述。
参见图9，该渲染显示终端包括检测模块901、调整模块902、发送模块903、接收模块904、渲染显示模块905：
检测模块901，用于获取人眼视觉参数，并根据人眼视觉参数检测人眼运动频率；
调整模块902，用于若运动频率大于预设频率阈值，则调整渲染参数，渲染参数用于指示人眼的运动类型；
发送模块903，用于发送携带渲染参数的控制指令，控制指令用于指示根据运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量；
接收模块904，用于接收数据量减少后的三维重建数据；若运动频率小于等于预设频率阈值，则直接接收数据量未减少的三维重建数据。
渲染显示模块905，用于根据数据量减少后的三维重建数据渲染当前帧的三维模型并显示，或者，根据数据量未减少的三维重建数据渲染当前帧的三维模型并显示。
可选的，运动频率包含眨眼频率和扫视频率中的至少一项，检测模块901具体用于包括：
人眼视觉参数包括眼睛纵横比，根据眼睛纵横比检测眨眼频率；和/或
人眼视觉参数包括注视点位置信息，根据注视点位置信息检测人眼扫视频率。
可选的，渲染参数的调整公式为：
ρt(α，β)＝T+K(αt+βt)
其中，ρt(α，β)为t帧调整后的渲染参数，T为预设调整阈值，K为预设渲染参数，αt为t帧的眼睛纵横比、βt为t帧的注视点移动状态。
可选的，该渲染显示终端还包括预测模块906，用于：
根据数据量减少后的三维重建数据，以及与当前帧相邻的前N帧的三维重建数据，预测当前帧的下一帧的三维重建数据，N为大于等于1的整数；
根据预测的三维重建数据，渲染下一帧的三维模型。
可选的，预测模块906，还用于：
若运动频率恢复为小于等于预设频率阈值，则接收下一帧对应的三维重建数据，并用接收的三维重建数据替换预测的三维重建数据。
基于相同的发明构思，本发明实施例中还提供了一种传输终端，该传输终端可实现本申请实施例图6中的方法步骤，并且解决问题的原理与本申请实施例中的方法相似，且能达到上述实施例中的技术效果，重复之处不再赘述。
参见图10，该传输终端包括接收模块1001、发送模块1002：
接收模块1001，用于若运动频率大于预设频率阈值，则接收控制指令，控制指令携带渲染参数，渲染参数用于指示人眼的运动类型；其中，渲染参数是渲染显示终端根据获取的人眼视觉参数检测到人眼运动频率大于预设频率阈值后调整的；
发送模块1002，用于根据运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量，使得渲染显示终端根据数据量减少后的三维重建数据重建三维模型并显示；或者，若运动频率小于等于预设频率阈值，直接传输数据量未减少的三维重建数据，使得渲染显示终端根据数据量未减少的三维重建数据渲染三维模型并显示。
可选的，发送模块1002，具体用于：
根据预先构建的细节层级LOD金字塔，确定传输控制参数对应的模型细节层级；
根据模型细节层级，对接收的三维重建数据进行降采样，并将降采样后的三维重建数据发送给渲染显示终端。
基于相同的发明构思，本发明实施例中还提供了一种渲染显示终端，该渲染显示终端可实现本申请实施例图4a和图4b中的方法步骤，并且解决问题的原理与本申请实施例中的方法相似，且能达到上述实施例中的技术效果，重复之处不再赘述。
参见图11，该渲染显示终端包括眼球追踪装置1101、显示器1102、存储器1103、处理器1104。眼球追踪装置1101、显示器1102、存储器1103分别与处理器1104通过总线(在图11中用粗实线表示)连接，眼球追踪装置1101被配置为获取人眼视觉参数，显示器1102被配置为显示三维模型，存储器1103被配置为存储计算机程序指令，处理器1104被配置为根据计算机程序指令执行渲染显示终端侧的三维重建方法。
基于相同的发明构思，本发明实施例中还提供了一种传输终端，该传输终端可实现本申请实施例图6中的方法步骤，并且解决问题的原理与本申请实施例中的方法相似，且能达到上述实施例中的技术效果，重复之处不再赘述。
参见图12，该传输终端包括存储器1201、处理器1202，存储器1201与处理器1202通过总线(在图12中用粗实线表示)连接。存储器1201被配置为存储计算机程序指令，处理器1202被配置为根据计算机程序指令执行本申请实施例中传输终端侧的三维重建方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行上述实施例中的方法。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种三维重建方法，其特征在于，应用于渲染显示终端，包括：
获取人眼视觉参数，并根据所述人眼视觉参数检测人眼运动频率；
若所述运动频率大于预设频率阈值，则调整渲染参数，并发送携带所述渲染参数的控制指令，所述渲染参数用于指示所述人眼的运动类型，所述控制指令用于指示根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量；接收数据量减少后的三维重建数据，根据数据量减少后的三维重建数据渲染当前帧的三维模型并显示；
若所述运动频率小于等于预设频率阈值，则直接接收数据量未减少的三维重建数据，并根据数据量未减少的三维重建数据渲染当前帧的三维模型并显示。
2.如权利要求1所述的方法，其特征在于，所述运动频率包含眨眼频率和扫视频率中的至少一项，所述根据所述人眼视觉参数检测人眼运动频率，包括：
所述人眼视觉参数包括眼睛纵横比，根据所述眼睛纵横比检测眨眼频率；和/或
所述人眼视觉参数包括注视点位置信息，根据所述注视点位置信息检测人眼扫视频率。
3.如权利要求1所述的方法，其特征在于，所述渲染参数的调整公式为：
ρt(α，β)＝T+K(αt+βt)
其中，ρt(α，β)为t帧调整后的渲染参数，T为预设调整阈值，K为预设渲染参数，αt为t帧的眼睛纵横比、βt为t帧的注视点移动状态。
4.如权利要求1所述的方法，其特征在于，所述根据数据量减少后的三维重建数据渲染当前帧的三维模型后，还包括：
根据数据量减少后的三维重建数据，以及与所述当前帧相邻的前N帧的三维重建数据，预测所述当前帧的下一帧的三维重建数据，N为大于等于1的整数；
根据预测的三维重建数据，渲染所述下一帧的三维模型。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
若所述运动频率恢复为小于等于预设频率阈值，则接收所述下一帧对应的三维重建数据，并用接收的三维重建数据替换预测的三维重建数据。
6.一种三维重建方法，其特征在于，包括：
若所述运动频率大于预设频率阈值，则接收控制指令，所述控制指令携带渲染参数，所述渲染参数用于指示人眼的运动类型；根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量，使得渲染显示终端根据数据量减少后的三维重建数据重建三维模型并显示；其中，所述渲染参数是所述渲染显示终端根据获取的人眼视觉参数检测到人眼运动频率大于预设频率阈值后调整的；
若所述运动频率小于等于预设频率阈值，则直接传输数据量未减少的三维重建数据，使得渲染显示终端根据数据量未减少的三维重建数据渲染三维模型并显示。
7.如权利要求6所述的方法，其特征在于，所述根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量，包括：
根据预先构建的细节层级LOD金字塔，确定所述传输控制参数对应的模型细节层级；
根据所述模型细节层级，对接收的三维重建数据进行降采样，并将降采样后的三维重建数据发送给所述渲染显示终端以减少三维模型重建所需的数据量。
8.一种渲染显示终端，其特征在于，包括眼球追踪装置、显示器、存储器、处理器：
所述眼球追踪装置，与所述处理连接，被配置为获取人眼视觉参数；
所述显示器，与所述处理器连接，被配置为显示三维模型；
所述存储器，与所述处理器连接，被配置为存储计算机程序指令；
所述处理器，被配置为根据所述计算机程序指令，执行以下操作：
获取人眼视觉参数，并根据所述人眼视觉参数检测人眼运动频率；
若所述运动频率大于预设频率阈值，则调整渲染参数，并发送携带所述渲染参数的控制指令，所述渲染参数用于指示所述人眼的运动类型，所述控制指令用于指示根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量；接收数据量减少后的三维重建数据，根据数据量减少后的三维重建数据渲染当前帧的三维模型并显示；
若所述运动频率小于等于预设频率阈值，则直接接收数据量未减少的三维重建数据，并根据数据量未减少的三维重建数据渲染当前帧的三维模型并显示。
9.一种传输终端，其特征在于，包括存储器和处理器：
所述存储器，与所述处理器连接，被配置为存储计算机程序指令；
所述处理器，被配置为根据所述计算机程序指令，执行以下操作：
若所述运动频率大于预设频率阈值，则接收控制指令，所述控制指令携带渲染参数，所述渲染参数用于指示人眼的运动类型；根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量，使得渲染显示终端根据数据量减少后的三维重建数据重建三维模型并显示；其中，所述渲染参数是所述渲染显示终端根据获取的人眼视觉参数检测到人眼运动频率大于预设频率阈值后调整的；
若所述运动频率小于等于预设频率阈值，则直接传输数据量未减少的三维重建数据，使得渲染显示终端根据数据量未减少的三维重建数据渲染三维模型并显示。
10.一种三维重建系统，其特征在于，包括采集终端、传输终端、渲染显示终端；
所述采集终端，用于采集深度图像和彩色图像，从采集的深度图像和相应的彩色图像中提取三维重建数据，根据提取的三维重建数据重建三维模型，并将三维模型对应的三维重建数据发送给所述传输终端；
所述传输终端，用于接收所述采集终端发送的三维重建数据；若所述运动频率大于预设频率阈值，则接收所述渲染显示终端发送的携带渲染参数的控制指令，所述渲染参数用于指示人眼的运动类型；根据所述运动类型对应的传输控制参数发送相应的三维重建数据以减少三维模型重建所需的数据量；若所述运动频率小于等于预设频率阈值，直接传输数据量未减少的三维重建数据；
所述渲染显示终端，用于获取人眼视觉参数，并根据所述人眼视觉参数检测人眼运动频率；若所述运动频率大于预设频率阈值，则调整渲染参数，并发送携带所述渲染参数的控制指令；接收数据量减少后的三维重建数据，根据数据量减少后的三维重建数据渲染当前帧的三维模型并显示；若所述运动频率小于等于预设频率阈值，则直接接收数据量未减少的三维重建数据，并根据数据量未减少的三维重建数据渲染当前帧的三维模型并显示。
CN202110612037.XA 2021-06-02 2021-06-02 一种三维重建方法、装置及系统 Active CN113362450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110612037.XA CN113362450B (zh) 2021-06-02 2021-06-02 一种三维重建方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110612037.XA CN113362450B (zh) 2021-06-02 2021-06-02 一种三维重建方法、装置及系统

Publications (2)

Publication Number Publication Date
CN113362450A true CN113362450A (zh) 2021-09-07
CN113362450B CN113362450B (zh) 2023-01-03

Family

ID=77531073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110612037.XA Active CN113362450B (zh) 2021-06-02 2021-06-02 一种三维重建方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113362450B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780414A (zh) * 2021-09-10 2021-12-10 京东方科技集团股份有限公司 眼动行为分析方法、图像渲染方法、组件、装置和介质
CN114373056A (zh) * 2021-12-17 2022-04-19 云南联合视觉科技有限公司 一种三维重建方法、装置、终端设备及存储介质
CN115311397A (zh) * 2022-08-09 2022-11-08 北京字跳网络技术有限公司 用于图像渲染的方法、装置、设备和存储介质
CN115409952A (zh) * 2022-11-01 2022-11-29 湖南马栏山视频先进技术研究院有限公司 一种结核性脑膜脑炎重建系统、方法及存储器
CN117576294A (zh) * 2024-01-16 2024-02-20 太原理工大学 采掘装备数字孪生系统的数据传输参数优化方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170068312A1 (en) * 2015-09-04 2017-03-09 Sony Computer Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
CN108140262A (zh) * 2015-12-22 2018-06-08 谷歌有限责任公司 调整虚拟现实内容的视频渲染速率和立体图像的处理
CN108919958A (zh) * 2018-07-16 2018-11-30 北京七鑫易维信息技术有限公司 一种图像传输方法、装置、终端设备及存储介质
CN109840565A (zh) * 2019-01-31 2019-06-04 成都大学 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN109886876A (zh) * 2019-02-25 2019-06-14 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法
CN110162185A (zh) * 2019-06-10 2019-08-23 京东方科技集团股份有限公司 一种智能显示方法及装置
CN110378914A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于注视点信息的渲染方法及装置、系统、显示设备
US20200409457A1 (en) * 2019-06-27 2020-12-31 Facebook, Inc. Reducing head mounted display power consumption and heat generation through predictive rendering of content
CN112419483A (zh) * 2020-11-24 2021-02-26 中电科新型智慧城市研究院有限公司 一种三维模型数据的传输方法及服务器
US20210089119A1 (en) * 2019-09-19 2021-03-25 Ati Technologies Ulc Multi-stream foveal display transport

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170068312A1 (en) * 2015-09-04 2017-03-09 Sony Computer Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
CN108140262A (zh) * 2015-12-22 2018-06-08 谷歌有限责任公司 调整虚拟现实内容的视频渲染速率和立体图像的处理
CN108919958A (zh) * 2018-07-16 2018-11-30 北京七鑫易维信息技术有限公司 一种图像传输方法、装置、终端设备及存储介质
CN109840565A (zh) * 2019-01-31 2019-06-04 成都大学 一种基于眼部轮廓特征点纵横比的眨眼检测方法
CN109886876A (zh) * 2019-02-25 2019-06-14 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法
CN110162185A (zh) * 2019-06-10 2019-08-23 京东方科技集团股份有限公司 一种智能显示方法及装置
US20200409457A1 (en) * 2019-06-27 2020-12-31 Facebook, Inc. Reducing head mounted display power consumption and heat generation through predictive rendering of content
CN110378914A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于注视点信息的渲染方法及装置、系统、显示设备
US20210089119A1 (en) * 2019-09-19 2021-03-25 Ati Technologies Ulc Multi-stream foveal display transport
CN112419483A (zh) * 2020-11-24 2021-02-26 中电科新型智慧城市研究院有限公司 一种三维模型数据的传输方法及服务器

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780414A (zh) * 2021-09-10 2021-12-10 京东方科技集团股份有限公司 眼动行为分析方法、图像渲染方法、组件、装置和介质
CN114373056A (zh) * 2021-12-17 2022-04-19 云南联合视觉科技有限公司 一种三维重建方法、装置、终端设备及存储介质
CN115311397A (zh) * 2022-08-09 2022-11-08 北京字跳网络技术有限公司 用于图像渲染的方法、装置、设备和存储介质
CN115409952A (zh) * 2022-11-01 2022-11-29 湖南马栏山视频先进技术研究院有限公司 一种结核性脑膜脑炎重建系统、方法及存储器
CN117576294A (zh) * 2024-01-16 2024-02-20 太原理工大学 采掘装备数字孪生系统的数据传输参数优化方法
CN117576294B (zh) * 2024-01-16 2024-03-26 太原理工大学 采掘装备数字孪生系统的数据传输参数优化方法

Also Published As

Publication number Publication date
CN113362450B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN113362450B (zh) 一种三维重建方法、装置及系统
US10593025B2 (en) Method and system for reconstructing obstructed face portions for virtual reality environment
CN110874864B (zh) 获取对象三维模型的方法、装置、电子设备及系统
CN113362449B (zh) 一种三维重建方法、装置及系统
CN107317987B (zh) 虚拟现实的显示数据压缩方法和设备、系统
CN114219878B (zh) 虚拟角色的动画生成方法及装置、存储介质、终端
US10088896B2 (en) Queasiness management for virtual reality systems
KR20190026004A (ko) 단일 깊이 추적 순응-수렴 솔루션
CN112837406B (zh) 一种三维重建方法、装置及系统
CN106484116B (zh) 媒体文件的处理方法和装置
CN113366491B (zh) 眼球追踪方法、装置及存储介质
US20120194513A1 (en) Image processing apparatus and method with three-dimensional model creation capability, and recording medium
CN114967917B (zh) 用于确定当前注视方向的方法和系统
CN109885169B (zh) 基于三维眼球模型的眼球参数标定和视线方向跟踪方法
CN113313818A (zh) 一种三维重建方法、装置及系统
EP3935602B1 (en) Processing of depth maps for images
Sela et al. Gazegan-unpaired adversarial image generation for gaze estimation
Alexiou et al. Towards modelling of visual saliency in point clouds for immersive applications
CN106909904B (zh) 一种基于可学习形变场的人脸正面化方法
CN113515193A (zh) 一种模型数据传输方法及装置
RU2757563C1 (ru) Способ визуализации 3d портрета человека с измененным освещением и вычислительное устройство для него
Zhu For higher accuracy: 3D eye movement gaze depth estimation method based on Mix-TCN
Tefera Perception-driven approaches to real-time remote immersive visualization
Tushir et al. Eye Gaze Correction System
Ladwig et al. Towards a Pipeline for Real-Time Visualization of Faces for VR-based Telepresence and Live Broadcasting Utilizing Neural Rendering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant