CN107277494A - 立体显示系统及方法 - Google Patents

Abstract

本公开是关于一种立体显示系统及方法，涉及显示技术领域。该方系统包括：立体影像采集装置，用于采集目标场景的影像；体感交互装置，用于捕获目标场景的深度信息以及用户的姿态信息；数据处理装置，与立体影像采集装置和体感交互装置连接，用于根据来自体感交互装置的深度信息以及姿态信息将目标场景的影像和虚拟对象进行叠加；以及立体显示装置，与数据处理装置连接，用于接收并显示来自数据处理装置的叠加后的目标场景的影像和虚拟对象。本公开能够实现虚拟对象与目标场景的互动，进而能够提高立体显示系统的增强现实显示的交互性和体验感，能够满足会议、展览展示等场景下的交互需求。

Description

立体显示系统及方法

技术领域

本公开涉及显示技术领域，具体而言，涉及一种立体显示系统以及立体显示方法。

背景技术

与传统的二维显示技术相比，三维显示以其立体感强、展现力丰富以及沉浸感强等优点，越来越受到会议展示、展会演出等领域的人们的青睐，而增强现实技术是三维显示中的研究热点方向之一。

增强现实技术是通过信息技术将虚拟的信息应用到真实世界的技术，目前已经出现很多头戴式显示器以及移动终端的增强现实应用。但是，目前的头戴式增强现实显示器仅仅是将虚拟的信息与真实环境的简单叠加，不能方便地实现虚拟对象与真实环境的互动，难以满足在会议、展览展示等场景下的交互需求。

因此，需要提供一种能够解决上述问题中的一个或多个问题的立体显示系统以及立体显示方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供立体显示系统以及立体显示方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供了一种立体显示系统，包括：

立体影像采集装置，用于采集目标场景的影像；

体感交互装置，用于捕获所述目标场景的深度信息以及用户的姿态信息；

数据处理装置，与所述立体影像采集装置和所述体感交互装置连接，用于根据来自所述体感交互装置的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加；以及

立体显示装置，与所述数据处理装置连接，用于接收并显示来自所述数据处理装置的叠加后的所述目标场景的影像和所述虚拟对象。

在本公开的一种示例性实施例中，所述数据处理装置包括：

视差设置单元，用于根据来自所述体感交互装置的所述深度信息调节所述虚拟对象的视差设置，以使所述虚拟对象的空间透视关系符合所述目标场景的视差约束；

控制单元，用于基于预设规则将来自所述体感交互装置的所述姿态信息转换成对所述虚拟对象的控制信号。

在本公开的一种示例性实施例中，根据来自所述体感交互装置的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加包括：

根据所述视差设置和所述控制信号调整所述虚拟对象，并将调整后的所述虚拟对象与所述目标场景的影像进行叠加。

在本公开的一种示例性实施例中，所述立体影像采集装置包括两个或多个摄像头。

在本公开的一种示例性实施例中，所述立体显示装置包括眼镜式立体显示器和裸眼式立体显示器。

在本公开的一种示例性实施例中，所述体感交互装置包括深度摄像头。

根据本公开的一个方面，提供一种立体显示方法，包括：

通过立体影像采集装置获取目标场景的影像；

通过体感交互装置捕获所述目标场景的深度信息和用户的姿态信息；

根据来自所述体感交互装置的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加；以及

显示叠加后的所述目标场景的影像和所述虚拟对象。

在本公开的一种示例性实施例中，根据来自所述体感交互装置的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加包括：

基于预设规则将所述姿态信息转换成对所述虚拟对象的控制信号；

根据所述控制信号和所述深度信息调整所述虚拟对象，并将调整后的所述虚拟对象与所述目标场景的影像进行叠加。

在本公开的一种示例性实施例中，根据所述深度信息调整所述虚拟对象包括：

根据来自所述体感交互装置的所述深度信息调节所述虚拟对象的视差设置，以使所述虚拟对象的空间透视关系符合所述目标场景的视差约束。

在本公开的一种示例性实施例中，所述立体显示方法还包括：

通过图形处理软件的虚拟摄像机实时渲染生成所述虚拟对象。

本公开的一种示例性实施例中的立体显示系统以及立体显示方法，可以通过体感交互装置捕获目标场景的深度信息以及用户的姿态信息，根据目标场景的深度信息以及用户的姿态信息将目标场景的影像和虚拟对象进行叠加并显示。一方面，通过体感交互装置捕获目标场景的深度信息以及用户的姿态信息，能够获取目标场景中的用户的体感交互数据，便于进一步根据体感交互数据进行交互；另一方面，根据目标场景的深度信息以及用户的姿态信息将目标场景的影像和虚拟对象进行叠加并显示，可以利用深度信息和姿态信息调整虚拟对象，从而能够实现虚拟对象与目标场景的互动，进而能够提高立体显示系统的增强现实显示的交互性和体验感，能够满足会议、展览展示等场景下的交互需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

通过参照附图来详细描述其示例实施例，本公开的上述和其它特征及优点将变得更加明显。

图1示意性示出了根据本公开一示例性实施例的立体显示系统的框图；

图2示意性示出了根据本公开另一示例性实施例的立体显示系统的结构示意图；

图3示意性示出了根据本公开一示例性实施例的显示效果的示意图；

图4示意性示出了根据本公开一示例性实施例的立体显示方法的流程。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施例中，首先提供了一种立体显示系统。参照图1所示，该立体显示系统100可以包括：立体影像采集装置110、体感交互装置120、数据处理装置130以及立体显示装置140。其中，立体影像采集装置110用于采集目标场景的影像；体感交互装置120用于捕获所述目标场景的深度信息以及用户的姿态信息；数据处理装置130，与所述立体影像采集装置110和所述体感交互装置120连接，用于根据来自所述体感交互装置120的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加；以及立体显示装置140，与所述数据处理装置130连接，用于接收并显示来自所述数据处理装置130的叠加后的所述目标场景的影像和所述虚拟对象。

根据本示例实施例中的立体显示系统，一方面，通过体感交互装置捕获目标场景的深度信息以及用户的姿态信息，能够获取目标场景中的用户的体感交互数据，便于进一步根据体感交互数据进行交互；另一方面，根据目标场景的深度信息以及用户的姿态信息将目标场景的影像和虚拟对象进行叠加并显示，可以利用深度信息和姿态信息调整虚拟对象，从而能够实现虚拟对象与目标场景的互动，进而能够提高立体显示系统的增强现实显示的交互性和体验感。

下面，将结合附图对本示例实施例中的立体显示系统进行进一步的说明。

图2示出了根据本示例实施例的立体显示系统100的结构示意图。在图2中的立体影像采集装置110可以采用双摄像头或者多摄像头，用于拍摄立体目标场景的影像，立体影像采集装置110可以将采集的目标场景的影像通过信号传输线传输至数据处理装置130。体感交互装置120用于捕获用户的体感交互数据，用户的体感交互数据可以包括目标场景的深度信息以及用户的姿态信息。体感交互装置120可以采用深度摄像头例如微软公司的Kinect、苹果公司的Primesense、英特尔公司的Realsense等，本公开对此不进行特殊限定。体感交互装置120与数据处理装置130连接，将所捕获的目标场景的深度信息以及用户的姿态信息通过信号传输线传输至数据处理装置130。

图2中的数据处理装置130可以为具有运算能力的数据处理系统例如计算机系统，可以外置于立体显示装置140，也可以内置于立体显示装置140的内部。此外，数据处理装置130还可以为云平台，这同样属于本公开的保护范围。数据处理装置130接收来自立体影像采集装置110的目标场景的影像以及来自体感交互装置120的目标场景的深度信息以及用户的姿态信息，根据目标场景的深度信息以及用户的姿态信息将目标场景的影像和预先制作的虚拟对象进行叠加，然后将叠加后的目标场景的影像和虚拟对象传输至立体显示装置140。

图2中的立体显示装置140用于接收并显示来自数据处理装置130的叠加后的目标场景的影像和虚拟对象。立体显示装置140可以为眼镜式立体显示器，也可以为裸眼立体显示器，还可以为其他适当的立体显示器，本公开对此不进行特殊限定。进一步地，该立体显示系统100还可以包括连接立体影像采集装置110、体感交互装置120、数据处理装置130以及立体显示装置140的信号传输线250，其中，立体影像采集装置110、体感交互装置120将采集的数据通过信号传输线250传输给数据处理装置130，数据处理装置130将处理之后的数据结果通过信号传输线250传输给立体显示装置140进行显示。

下面通过两个示例实施例来具体说明立体显示系统100的原理。

示例实施例一

参照图3所示，在本示例实施例的立体显示系统100中，立体影像采集装置110具有两个水平放置的摄像头，用来获取位于立体显示装置140之前的目标场景007的影像，通过两个摄像头组成立体影像采集装置110，可以使采集的图像满足立体显示的需求。立体影像采集装置110采集的图像经过信号线250传输给数据处理装置130。数据处理装置130根据立体显示装置140的类型采用相应的图像处理方式对输入的图像进行处理，以生成能够在立体显示装置140上播放的目标场景007的立体图像008。在本示例实施例中，立体显示装置140可以为开关眼镜式立体显示器，也可以为偏光眼镜式立体显示器。

进一步地，在本示例实施例中，体感交互装置120可以从目标场景007中捕获用户的体感交互数据例如目标场景的深度信息以及用户的姿态信息，然后将所捕获的目标场景的深度信息以及用户的姿态信息通过信号传输线250传输至数据处理装置130。数据处理装置130可以接收来自体感交互装置120的用户的姿态信息以及目标场景007的深度信息。数据处理装置130可以根据获取的目标场景的深度信息对预先制作的虚拟物体006进行视差调整，从而可以根据真实目标场景的视差信息调节虚拟物体006的视差使得虚拟物体006的空间透视关系符合与真实目标场景的视差约束。在本示例实施例中，虚拟物体006可以通过图形处理软件实现的两个虚拟摄影机实时渲染来生成，图形处理软件可以是商业图形引擎例如Unity3D，也可以是具有图形处理功能的应用软件，本公开对此不进行特殊限定。

此外，在本示例实施例中，数据处理装置130可以根据从体感交互装置120获取的用户的姿态信息，调用预设规则将用户的姿态信息转换成对虚拟物体006的控制信号，使得虚拟物体006能够实时地根据控制信号发生相应的变化，从而实现用户与虚拟物体006的交互。举例而言，可以将预设规则设为虚拟物体根据用户的姿态运动，例如，在用户的姿态信息为向左运动时，可以根据该预设规则控制虚拟物体也向左运动，在用户的姿态信息为向右运动时，可以根据该预设规则控制虚拟物体也向右运动；还可以将预设规则设为虚拟物体根据用户的某个身体部位例如手的姿态而运动，例如，可以通过用户的手的姿态控制虚拟对象的向上下左右方向运动。

需要说明的是，在本示例实施例中，所述预设规则可以为虚拟对象根据用户全身的姿态运动，也可以为虚拟对象根据用户的某个身体部位例如手的姿态运动，此外，还可以根据交互的需要设定新的预设规则以设定虚拟对象与用户的交互方式，这同样在本公开的保护范围内。

进一步地，在本示例实施例中，数据处理装置130可以将调整后的虚拟物体006与真实目标场景007的影像008进行叠加，并将叠加后的图像通过信号传输线250传输给立体显示装置140进行显示。立体显示装置140将叠加的目标场景的影像008和虚拟对象显示后，佩戴立体眼镜的用户就可以在立体显示装置140前面看到融合了虚拟物体006的目标场景007的最终显示效果。

示例实施例二

参照图3所示，在该示例实施例中的应用于增强现实的立体显示系统100中，立体显示装置140采用裸眼式立体显示器，以实现用户不用佩戴立体眼镜就可以在立体显示装置140前看到融合了虚拟对象的目标场景。

该示例实施例中的立体影像采集装置110具有两个或者多个水平放置的摄像头，用来获取位于立体显示装置140之前的目标场景007的影像，通过两个摄像头组成立体影像采集装置110，可以使采集的图像满足立体显示的需求。立体影像采集装置110采集的图像经过信号线250传输给数据处理装置130。数据处理装置130可以根据立体显示装置140的光学设计对从立体影像采集装置110获取的两张视图或者多张视图进行立体图像合成，得到真实目标场景007的立体影像008。在本示例实施例中，立体显示装置140的光学设计可以包括光栅(透镜阵列或者视差障碍阵列)倾斜角度、光栅每个单元覆盖的显示面板上的显示单元个数、合成立体图像所需要的视图个数等。

进一步地，在本示例实施例中，体感交互装置120可以从目标场景007中捕获用户的体感交互数据例如目标场景的深度信息以及用户的姿态信息，然后将所捕获的目标场景的深度信息以及用户的姿态信息通过信号传输线250传输至数据处理装置130。数据处理装置130可以接收来自体感交互装置120的用户的姿态信息以及目标场景007的深度信息。数据处理装置130可以根据获取的目标场景的深度信息对预先制作的虚拟物体006进行视差调整，从而可以根据真实目标场景的视差信息调节虚拟物体006的视差使得虚拟物体006的空间透视关系符合与真实目标场景的视差约束。在本示例实施例中，虚拟物体006可以通过图形处理软件实现的两个虚拟摄影机实时渲染来生成，图形处理软件可以是商业图形引擎例如Unity3D，也可以是具有图形处理功能的应用软件，本公开对此不进行特殊限定。

此外，在本示例实施例中，数据处理装置130可以根据从体感交互装置120获取的用户的姿态信息，调用预设规则将用户的姿态信息转换成对虚拟物体006的控制信号，使得虚拟物体006能够实时地根据控制信号发生相应的变化，从而实现用户与虚拟物体006的交互。交互的具体实现与示例实施例类似，在此将不再赘述。数据处理装置130可以将调整后的虚拟物体006与真实目标场景007的影像008进行叠加，并将叠加后的图像通过信号传输线250传输给立体显示装置140进行显示。立体显示装置140将叠加的目标场景的影像008和虚拟对象显示后，用户不用佩戴立体眼镜就可以在立体显示装置140前面看到融合了虚拟物体006的目标场景007的最终显示效果。

需要说明的是，示例实施例一与示例实施例二的主要区别在于立体显示装置140的类型不同，因此在数据处理装置130合成立体图像008的合成方法具有差异，由于这种差异是本领域技术人员能够理解的，因此在此不做更多解释。

应当注意，尽管在上文详细描述中提及了立体显示系统的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本示例实施例中，还提供了一种立体显示方法。参照图所示，该立体显示方法可以包括以下步骤：

步骤S410.通过立体影像采集装置获取目标场景的影像；

步骤S420.通过体感交互装置捕获所述目标场景的深度信息和用户的姿态信息；

步骤S430.根据来自所述体感交互装置的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加；以及

步骤S440.显示叠加后的所述目标场景的影像和所述虚拟对象。

进一步地，在本示例实施例中，根据来自所述体感交互装置的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加可以包括：

基于预设规则将所述姿态信息转换成对所述虚拟对象的控制信号；

根据所述控制信号和所述深度信息调整所述虚拟对象，并将调整后的所述虚拟对象与所述目标场景的影像进行叠加。

进一步地，在本示例实施例中，根据所述深度信息调整所述虚拟对象可以包括：

根据来自所述体感交互装置的所述深度信息调节所述虚拟对象的视差设置，以使所述虚拟对象的空间透视关系符合所述目标场景的视差约束。

此外，在示例实施中，所述立体显示方法还可以包括：

通过图形处理软件的虚拟摄像机实时渲染生成所述虚拟对象。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

由于本公开的示例实施例的立体显示方法的各个步骤与上述立体显示系统的示例实施例的各模块对应，因此在此不再赘述。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施例的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种立体显示系统，其特征在于，包括：

立体影像采集装置，用于采集目标场景的影像；

体感交互装置，用于捕获所述目标场景的深度信息以及用户的姿态信息；

数据处理装置，与所述立体影像采集装置和所述体感交互装置连接，用于根据来自所述体感交互装置的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加；以及

立体显示装置，与所述数据处理装置连接，用于接收并显示来自所述数据处理装置的叠加后的所述目标场景的影像和所述虚拟对象。

2.根据权利要求1所述的立体显示系统，其特征在于，所述数据处理装置包括：

视差设置单元，用于根据来自所述体感交互装置的所述深度信息调节所述虚拟对象的视差设置，以使所述虚拟对象的空间透视关系符合所述目标场景的视差约束；

控制单元，用于基于预设规则将来自所述体感交互装置的所述姿态信息转换成对所述虚拟对象的控制信号。

3.根据权利要求2所述的立体显示系统，其特征在于，根据来自所述体感交互装置的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加包括：

根据所述视差设置和所述控制信号调整所述虚拟对象，并将调整后的所述虚拟对象与所述目标场景的影像进行叠加。

4.根据权利要求1至3中任一项所述的立体显示系统，其特征在于，所述立体影像采集装置包括两个或多个摄像头。

5.根据权利要求4所述的立体显示系统，其特征在于，所述立体显示装置包括眼镜式立体显示器和裸眼式立体显示器。

6.根据权利要求4所述的立体显示系统，其特征在于，所述体感交互装置包括深度摄像头。

7.一种立体显示方法，其特征在于，包括：

通过立体影像采集装置获取目标场景的影像；

通过体感交互装置捕获所述目标场景的深度信息和用户的姿态信息；

根据来自所述体感交互装置的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加；以及

显示叠加后的所述目标场景的影像和所述虚拟对象。

8.根据权利要求7所述的立体显示方法，其特征在于，根据来自所述体感交互装置的所述深度信息以及所述姿态信息将所述目标场景的影像和虚拟对象进行叠加包括：

基于预设规则将所述姿态信息转换成对所述虚拟对象的控制信号；

根据所述控制信号和所述深度信息调整所述虚拟对象，并将调整后的所述虚拟对象与所述目标场景的影像进行叠加。

9.根据权利要求8所述的立体显示方法，其特征在于，根据所述深度信息调整所述虚拟对象包括：

根据来自所述体感交互装置的所述深度信息调节所述虚拟对象的视差设置，以使所述虚拟对象的空间透视关系符合所述目标场景的视差约束。

10.根据权利要求7所述的立体显示方法，其特征在于，所述立体显示方法还包括：

通过图形处理软件的虚拟摄像机实时渲染生成所述虚拟对象。