CN114077410A - 图像处理装置及虚拟现实设备 - Google Patents

Abstract

本申请涉及虚拟现实技术领域，公开了一种图像处理装置，包括：接收单元，被配置为接收图像信息；处理单元，被配置为对所述图像信息进行处理得到局部图像信息。本申请提供的图像处理装置，对图像信息处理得到局部图像信息，当虚拟现实场景中的方位角信息变化频繁时，提高了显示屏对局部图像显示的及时性。本申请还公开了一种图像处理装置及虚拟现实设备。

Description

图像处理装置及虚拟现实设备

技术领域

本申请涉及虚拟现实技术领域，例如涉及图像处理装置及虚拟现实设备。

背景技术

目前，在构建虚拟现实场景时，为了实现图像信息的局部显示，通常是终端的主控芯片在图像信息中确定局部图像信息后，再把局部图像信息发送给显示器显示。由于虚拟现实场景中的方位角信息变化频繁，每当变化方位角信息时，显示器都要从终端的主控芯片处获取方位角信息对应的局部图像信息，耗费时间。

在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：当虚拟现实场景中的方位角信息变化频繁时，显示器对局部图像信息的显示不及时，造成局部图像信息延时显示。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。该概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种图像处理装置及虚拟现实设备，以解决显示屏对局部图像信息的显示不及时，造成局部图像信息延时显示的技术问题。

在一些实施例中，一种图像处理装置，包括：接收单元，被配置为接收图像信息；处理单元，被配置为对图像信息进行处理得到局部图像信息。

在一些实施例中，处理单元能够与显示屏连接，被配置为向显示屏发送局部图像信息用于显示。

在一些实施例中，处理单元，为相对于终端的主控芯片独立运转的处理器。

在一些实施例中，处理单元，被配置为对图像信息进行渲染，以生成全景图像信息。

在一些实施例中，处理单元，被配置为根据图像信息的方位角信息确定图像信息的显示区域，以得到显示区域中的局部图像信息。

在一些实施例中，处理单元，被配置为根据方位传感器的方向信息调整方位角信息。

在一些实施例中，处理单元，被配置为根据用户指令调整方位角信息。

在一些实施例中，方位传感器设置在虚拟现实VR设备内，被配置为基于VR设备的方向变化确定方向信息。

在一些实施例中，接收单元，被配置为接收左眼图像信息和右眼图像信息；处理单元，被配置为对左眼图像信息处理得到左眼局部图像信息，对右眼图像信息处理得到右眼局部图像信息；向显示屏发送左眼局部图像信息和右眼局部图像信息用于显示。

在一些实施例中，图像信息为2D图像信息或3D图像信息。

在一些实施例中，图像信息为3D图像信息，包括：视差图像信息，或者2D图像信息和景深信息。

在一些实施例中，接收单元的接口协议为高清晰度多媒体接口HDMI、移动产业处理器接口MIPI、嵌入式显示接口EDP、显示接口DP、低电压差分信号LVDS或微型低电压差分信号Mini-LVDS。

在一些实施例中，一种虚拟现实设备，包括上述的图像处理装置。

在一些实施例中，虚拟现实设备为VR眼镜。

在一些实施例中，虚拟现实设备还包括：显示屏，被配置为显示局部图像信息对应的局部图像。

本公开实施例提供的图像处理装置及虚拟现实设备，可以实现以下技术效果：

由相对于终端的主控芯片独立运转的处理器对图像信息处理得到局部图像信息，当虚拟现实场景中的方位角信息变化频繁时，提高了显示屏对局部图像显示的及时性。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

至少一个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的一种图像处理装置示意图；

图2是本公开实施例提供的对图像信息处理得到局部图像信息的示意图；

图3是本公开实施例提供的对图像信息处理得到局部图像信息的平面示意图；

图4是本公开实施例提供的根据方位传感器的方向信息调整图像信息的方位角信息的示意图。

附图标记：

100：图像处理装置；101：接收单元；102：处理单元；103：显示屏；104：方位传感器；20：图像信息；21：局部图像信息。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，至少一个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本公开实施例提供的图像处理装置100可以应用于虚拟现实的场景，例如：模拟现实游戏场景，以使用户在静态状态下在实景中玩游戏。上述图像处理装置100可以是显示器，该显示器可以集成于终端或者虚拟现实(Virtual Reality，VR)设备中，例如：终端内的显示器、VR头盔中的显示器、VR眼镜中的显示器、裸眼3D显示器。

参见图1，本公开实施例提供了一种图像处理装置100，包括：接收单元101，被配置为接收图像信息20；处理单元102，被配置为对图像信息20进行处理得到局部图像信息21。

在一些实施例中，图像信息20可以是全景图像信息或非全景图像信息。非全景图像信息可以是通过摄像头对场景拍摄得到的原始图像信息。可选地，可以对以非全景图像信息形式存在的原始图像信息进行拼接、融合等处理，以得到全景图像信息。

在一些实施例中，处理单元102对图像信息20进行处理后得到局部图像信息21。可选地，处理单元102可以对图像信息20做方位角信息调整的处理，得到方位角信息对应的局部图像信息21。可选地，处理单元102还可以对图像信息20确定显示区域的处理，得到显示区域对应的局部图像信息21。

在一些实施例中，上述局部图像信息21可以是做过渲染处理后的图像信息，处理单元102可以根据局部图像信息21的像素和显示屏103预先设置的像素渲染局部图像信息21。

在一些实施例中，处理单元102能够与显示屏103连接，被配置为向显示屏103发送局部图像信息21用于显示。

在一些实施例中，处理单元102被配置为向显示屏103发送局部图像信息21，显示屏103接收局部图像信息21，显示屏103显示局部图像信息21。

在一些实施例中，处理单元102可以为相对于终端的主控芯片独立运转的处理器。

在一些实施例中，处理单元102可以设置于终端的主控芯片以外的位置，为相对于终端的主控芯片独立运转的处理器，受控于图像处理装置100。由于主控芯片处理局部图像信息21会导致图像处理装置100获得局部图像信息21时延，本申请通过相对于终端的主控芯片独立运转的处理器直接对图像信息20处理得到局部图像信息21，而不由终端的主控芯片生成局部图像信息21，以避免每当变化方位角信息时处理器都要从终端的主控芯片处获取方位角信息对应的局部图像信息21，提高了局部图像信息21显示的及时性。

在一些实施例中，处理单元102可以被配置为对图像信息20进行渲染，以生成全景图像信息。可选地，渲染可以是将图像信息20渲染到球体表面的处理。参见图2，O点是球心，

是通过z轴和点A的半平面与坐标面zOx所构成的角，θ是线段OA与z轴正方向的夹角，

的范围为0度至360度，θ的范围为0度至180度。

在一些实施例中，参见图2和图3，处理单元102可以被配置为根据图像信息20的方位角信息确定图像信息20的显示区域，以得到显示区域中的局部图像信息21。

在一些实施例中，图像信息20的方位角信息可以是角度的变化信息。可选地，在图2中，图像信息20的方位角信息为

的角度增加60度的变化信息，处理单元102将初始显示区域中每个点的

的角度增加60度，在图像信息20中重新定位显示区域，得到重新定位的显示区域中的局部图像信息21。例如：初始显示区域中任一点A的

的角度增加60度后到达A1点，A’点为A点在坐标面xOy的投影，A1’点为A1点在坐标面xOy的投影，∠A’OA1’＝60度。

在一些实施例中，图像信息20的方位角信息也可以是图像信息20的方位信息。可选地，图像信息20的方位角信息可以为

θ＝10度的方位信息。

在一些实施例中，图像信息20的方位角信息还可以包括显示区域的张角。参见图2和图3，显示区域的张角为图像信息20的显示区域在投影球面上所张开的立体角a。

在一些实施例中，处理单元102可以通过调整显示区域的张角调整显示区域的尺寸，然后对显示区域中的局部图像信息21做缩放处理。例如：参见图3，当处理单元102将张角缩小至原来的1/2时，张角在图像信息20中对应的显示区域也会缩小1/2，然后再将显示区域中的局部图像信息21调整为与显示屏103相同分辨率的图像信息，在显示屏上输出范围缩小1/2后的局部图像信息21。

在一些实施例中，参见图4，处理单元102被配置为根据方位传感器104的方向信息调整图像信息20的方位角信息。

在一些实施例中，方位传感器104可以是陀螺仪、罗盘。

在一些实施例中，处理单元102被配置为根据用户指令调整方位角信息。

在一些实施例中，可以通过在显示屏103上改变图像信息20的显示区域调整方位角信息。可选地，处理单元102可以根据用户指令在显示屏103上改变图像信息20的显示区域。可选地，用户指令可以是图像处理装置100接收的用户对显示屏103的触摸信号、隔空的手势信号、鼠标输入信号。

可选地，触摸信号可以是当用户触摸显示屏103改变图像信息20的显示区域时，图像处理装置100接收的改变显示区域的信号。可选地，鼠标输入信号可以是当用户在显示屏103上通过鼠标改变图像信息20的显示区域时，图像处理装置100接收的改变显示区域的信号。可选地，隔空的手势信号可以是当用户通过手势隔空改变图像信息20的显示区域时，图像处理装置100接收的改变显示区域的信号。

在一些实施例中，方位传感器104可以设置在VR设备内，可以随着VR设备运动，例如：方位传感器104基于VR设备的运动确定方向信息。

在一些实施例中，方位传感器104可以测量VR设备转动的角度和角速度。可选地，方位传感器104可以通过VR设备的方向变化确定方向信息。

在一些实施例中，方位传感器104可以设置在VR设备之外。可选地，无论设置位置如何，方位传感器104均可作为独立的传感器单独运行。

在一些实施例中，接收单元101被配置为接收左眼图像信息和右眼图像信息；处理单元102被配置为对左眼图像信息处理得到左眼局部图像信息，对右眼图像信息处理得到右眼局部图像信息；向显示屏103发送左眼局部图像信息和右眼局部图像信息用于显示。

在一些实施例中，显示屏103上显示的左眼局部图像信息可以传入用户左眼中，显示屏103上显示的右眼局部图像信息可以传入用户右眼中。

在一些实施例中，图像信息20可以为2D图像信息或3D图像信息。

在一些实施例中，图像信息20可以为3D图像信息，包括：视差图像信息，或者2D图像信息和景深信息。

在一些实施例中，图像信息20包括视差图像信息。可选地，视差图像信息可以包括被用户左眼接收的左眼视差图像信息，以及被用户右眼接收的右眼视差图像信息。可选地，被用户左眼接收左眼视差图像信息和被用户右眼接收右眼视差图像信息形成3D图像信息。

可选地，图像信息20包括2D图像信息和景深信息，2D图像信息和景深信息可以形成3D视觉效果。

在一些实施例中，接收单元101的接口协议可以为高清晰度多媒体接口HDMI、移动产业处理器接口MIPI、嵌入式显示接口EDP、显示接口DP、低电压差分信号LVDS或微型低电压差分信号Mini-LVDS。

在一些实施例中，接收单元101的接口协议可以是高清晰度多媒体接口HDMI(HighDefinitionMultimediaInterface，HDMI)，移动产业处理器接口MIPI(Mobile IndustryProcessor Interface，MIPI)，嵌入式显示接口EDP(EmbeddedDisplay Port，EDP)，显示接口DP(DisplayPort，DP)，低电压差分信号LVDS(Low-Voltage Differential Signaling，LVDS)，或者微型低电压差分信号Mini-LVDS(mini LowVoltage Differential Signaling，Mini-LVDS，Mini-LVDS)。

本公开实施例提供了一种虚拟现实设备，包括上述的图像处理装置100。

在一些实施例中，虚拟现实设备可以为VR眼镜。

在一些实施例中，虚拟现实设备还可以包括：显示屏103被配置为显示局部图像信息21对应的局部图像。

在一些实施例中，显示屏103可以是裸眼3D显示屏。

以上描述和附图充分地示出了本公开的实施例，以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样地，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括该要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在附图中，考虑到清楚性和描述性，可以夸大元件或层等结构的宽度、长度、厚度等。当元件或层等结构被称为“设置在”(或“安装在”、“铺设在”、“贴合在”、“涂布在”等类似描述)另一元件或层“上方”或“上”时，该元件或层等结构可以直接“设置在”上述的另一元件或层“上方”或“上”，或者可以存在与上述的另一元件或层之间的中间元件或层等结构，甚至有一部分嵌入上述的另一元件或层。

Claims (15)

1.一种图像处理装置，其特征在于，包括：

接收单元，被配置为接收图像信息；

处理单元，被配置为对所述图像信息进行处理得到局部图像信息。

2.根据权利要求1所述的装置，其特征在于，所述处理单元能够与显示屏连接，被配置为向所述显示屏发送所述局部图像信息用于显示。

3.根据权利要求1所述的装置，其特征在于，

所述处理单元，为相对于终端的主控芯片独立运转的处理器。

4.根据权利要求1所述的装置，其特征在于，

所述处理单元，被配置为对所述图像信息进行渲染，以生成全景图像信息。

5.根据权利要求1至4任一项所述的装置，其特征在于，

所述处理单元，被配置为根据所述图像信息的方位角信息确定所述图像信息的显示区域，以得到所述显示区域中的所述局部图像信息。

6.根据权利要求5所述的装置，其特征在于，

所述处理单元，被配置为根据方位传感器的方向信息调整所述方位角信息。

7.根据权利要求5所述的装置，其特征在于，所述处理单元，被配置为根据用户指令调整所述方位角信息。

8.根据权利要求6所述的装置，其特征在于，

所述方位传感器设置在虚拟现实VR设备内，被配置为基于所述VR设备的方向变化确定所述方向信息。

9.根据权利要求2至8任一项所述的装置，其特征在于，

所述接收单元，被配置为接收左眼图像信息和右眼图像信息；

所述处理单元，被配置为对所述左眼图像信息处理得到左眼局部图像信息，对所述右眼图像信息处理得到右眼局部图像信息；向所述显示屏发送所述左眼局部图像信息和所述右眼局部图像信息用于显示。

10.根据权利要求1所述的装置，其特征在于，所述图像信息为2D图像信息或3D图像信息。

11.根据权利要求10所述的装置，其特征在于，所述图像信息为3D图像信息，包括：

视差图像信息，或者

2D图像信息和景深信息。

12.根据权利要求1至11任一项所述的装置，其特征在于，

所述接收单元的接口协议为高清晰度多媒体接口HDMI、移动产业处理器接口MIPI、嵌入式显示接口EDP、显示接口DP、低电压差分信号LVDS或微型低电压差分信号Mini-LVDS。

13.一种虚拟现实设备，其特征在于，包括如权利要求1至12任一项所述的图像处理装置。

14.根据权利要求13所述的虚拟现实设备，其特征在于，所述虚拟现实设备为VR眼镜。

15.根据权利要求13所述的虚拟现实设备，其特征在于，还包括：显示屏，被配置为显示所述局部图像信息对应的局部图像。

Images