CN107146278B - 场景建模方法及装置 - Google Patents

Abstract

本发明揭示了一种场景建模方法及装置，属于计算机应用技术领域。所述方法包括：按照设定的采集路线进行采集信息的连续采集，根据所述采集路线在所述场景中的位置及所述采集信息，生成所述场景的场景模型。上述场景建模方法及装置能够在按照场景模型进行场景的连续展示时，实现场景画面的连续切换，增强了场景交互体验。

Description

场景建模方法及装置

技术领域

本发明涉及计算机应用技术领域，特别涉及一种场景建模方法及装置。

背景技术

随着计算机技术的发展，虚拟场景的实现得到越来越多的应用。例如，通过对超市进行全景拍摄，获取全景图片后对超市进行建模，实现对该超市的场景建模，从而用户无需亲自前往该超市，就能如身临其境一般，及时并且毫无限制地观察该超市空间内的事物。

目前的场景建模方案中，采用深度相机进行景深定位，结合全景拍摄的场景图片进行建模，进而对在拍摄点采集的图片进行显示，实现场景的展示。但各拍摄点之间存在一定的距离，场景展示时只能选择从一个拍摄点跳跃到另一个拍摄点，而各拍摄点采集到的图片之间并非完全连续，从而造成按照场景建模生成的场景模型进行场景的连续展示时，场景画面的切换并不连续，大大影响了交互体验。

发明内容

为了解决相关技术中按照场景模型进行场景展示时画面切换不连续的技术问题，本发明提供了一种场景建模方法及装置。

一种场景建模方法，包括：

按照设定的采集路线进行采集信息的连续采集；

根据所述采集路线在所述场景中的位置及所述采集信息，生成所述场景的场景模型。

一种场景建模装置，包括：

信息采集模块，用于按照设定的采集路线进行采集信息的连续采集；

场景模型生成模块，用于根据所述采集路线在所述场景中的位置及所述采集信息，生成所述场景的场景模型。

本发明的实施例提供的技术方案可以包括以下有益效果：

在进行场景建模时，按照设定的采集路线进行采集信息的连续采集，根据所述采集路线在所述场景中的位置及所述采集信息，生成所述场景的场景模型，进而在按照场景模型进行场景的连续展示时，能够实现场景画面的连续切换，增强了场景交互体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种场景建模方法流程图。

图2是图1对应实施例示出的场景建模方法中步骤S110的一种具体实现流程图。

图3是图1对应实施例示出的场景建模方法中步骤S130的一种具体实现流程图。

图4是图3对应实施例示出的场景建模方法中步骤S132的一种具体实现流程图。

图5是根据一示例性实施例示出的一种场景建模装置的框图。

图6是图5对应实施例示出的场景模型生成模块110的一种结构框图。

图7是图5对应实施例示出的场景模型生成模块130的一种结构框图。

图8是图7对应实施例示出的场景模型生成单元132的一种结构框图。

图9是根据一示例性实施例示出的一种终端的框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种场景建模方法流程图。如图1所示，该场景建模方法可以包括以下步骤。

在步骤S110中，按照设定的采集路线进行采集信息的连续采集。

可以理解的是，在对场景进行展示之前，需预先对场景进行采集信息的采集，例如拍摄场景图片、视频等。

采集路线是对场景进行信息采集时的移动路线。

在用户层面，其可预先对场景进行合理规划，在场景中进行采集路线的布局。通过预先设置场景对应的场景坐标系，将布局好的采集路线在场景中的位置输入至采集设备而获得采集路线。

另外，还可通过在场景中选择采集路线中的起始位置和终止位置，并进行障碍物的探测，通过避开障碍物而选择采集路线。

在一具体的示例性实施例中，按照室内空间的布局，沿直线或折线方式作为采集路线，从而提高采集效率。

在另一具体的示例性实施例中，针对场景中的障碍物，围绕该障碍物以三角形或四边形的采集路线进行采集。

采集信息是对场景进行采集后生成的场景信息，包括全景图片、全景视频等。

对场景进行采集信息的采集时，按照采集路线平滑移动采集点位置，进而实现采集信息的连续采集。

在一具体的示例性实施例中，由于人眼的视觉残留特性，进行全景图片或全景视频等采集信息的采集时，通过将全景图片的采集速度设置为24张/秒以上、全景视频的图像帧率设置为24帧/秒以上，使人眼无法辨别全景图片或全景视频的切换，实现采集信息的连续采集。

在步骤S130中，根据采集路线在场景中的位置及采集信息，生成场景的场景模型。

如前所述的，采集设备中预设有场景坐标系，采集路线在场景坐标系中对应有坐标位置。

因此，通过采集路线在场景中的位置，将采集信息是与采集路线一一对应，生成场景对应的场景模型。通过选取采集路线中的任一个采集点位置，对该采集点位置对应的采集信息进行展示。

在一具体的示例性实施例中，采集信息包括全景视频，采集路线与全景视频相对应，采集路线中的起点对应全景视频的播放起点，采集路线中的终点对应全景视频的播放终点，即采集路线中的任一个采集点位置对应全景视频中的一个时间点。

通过如上所述的方法，按照场景中设定的采集路线进行采集信息的连续采集，并将采集路线在场景中的位置与采集信息关联对应，生成场景对应的场景模型，进而在按照场景模型进行场景展示时，提高了画面切换的连续性，增强了场景交互体验。

可选的，图2是根据一示例性实施例示出的场景建模方法中对步骤S110的细节描述。图2中，图1对应实施例示出的步骤S110可以包括以下步骤。

在步骤S111中，获取预先设定的采集路线。

在进行采集信息的采集前，预先对场景进行合理规划，在场景中进行采集路线的布局。通过预先设置场景对应的场景坐标系，将布局好的采集路线在场景中的位置输入至采集设备中存储，进而在采集设备中获取采集路线。

在步骤S112中，按照采集路线进行采集信息的连续采集。

通过如上所述的方法，在采集之前，预先设定采集路线，由于预先设定的采集路线是根据场景的具体布局而确定的，因而大大提高了采集信息的采集效率，并且根据预先设定的采集路线进行采集信息的连续采集而生成场景对应的场景模型后，按照场景模型进行场景展示时能够提高画面切换的连续性，增强场景交互体验。

可选的，采集信息包括全景视频，图1对应实施例示出的场景建模方法中，步骤S110还可以包括以下步骤。

在步骤S113中，按照预设的采集速度在设定的采集路线上进行全景视频的连续采集。

采集速度是对场景进行全景视频采集时采集点位置的移动速度。

通过预设采集速度，进而在采集路线上按照采集速度移动采集点位置，实现全景视频的连续采集。

如前所述的，采集路线上的采集点位置是与全景视频中的时间点一一对应的。

因此，采集路线上的任两个采集点位置之间距离是与全景视频中的时间段一一对应的。从而，在生成的场景模型中，对全景视频进行播放时，其播放速度是与采集时的采集速度相对应的，即，采集速度越快，全景视频播放时对应场景中的位置移动速度也越快。

通过预定大小的采集速度进行全景视频的采集，使按照生成的场景模型进行全景视频时，画面切换更加平滑，不会出现时快时慢的现象，大大增强了场景交互体验。

例如，对场景进行全景视频的采集时，在采集路线上，以1米/秒的采集速度移动采集点位置，A、B两个采集点之间的距离为10米。当按照生成的场景模型进行全景视频播放时，显示的画面从A采集点采集的全景视频平滑连续切换到B采集点采集的全景视频，并且播放时间为10秒。

通过如上所述的方法，按照预设的采集速度在场景中的采集路线进行采集信息的连续采集，并将采集路线在场景中的位置与采集信息关联对应，生成场景对应的场景模型，进而在按照场景模型进行场景展示时，提高了画面切换的连续性及平滑性，大大增强了场景交互体验。

可选的，采集信息还包括各采集点采集到的物体点在场景中的位置信息，图1对应实施例示出的场景建模方法中，步骤S110还可以包括以下步骤。

在步骤中，获取在采集路线上的各采集点采集到的物体点在场景中的位置信息。

在采集路线上进行采集信息的采集时，还将对采集点周边的物体位置信息进行采集。

在一具体的示例性实施例中，通过发射红外线，获取物体点距离采集点的位置信息，进而计算出物体点在场景中的位置信息。

图3是根据一示例性实施例示出的场景建模方法中对步骤S130的细节描述。图3中，采集信息还包括各采集点采集到的物体点在场景中的位置信息，该步骤S130可以包括以下步骤。

在步骤S131中，通过全景视频的采集时间与位置信息的采集时间的关联对应，获取采集路线上的各采集点在全景视频中对应的图像帧。

需要说明的，在进行全景视频的采集时，将对全景视频中各图像帧的采集时间进行记录，并且，也将对在采集路线上每一个采集点的采集时间进行记录。

对全景视频中各图像帧的采集时间及采集路线上每一个采集点的采集时间进行记录时，可以是记录全景视频采集时各图像帧及采集路线上各采集点分别对应的系统时间，也可以是根据采集时长对全景视频中各图像帧的采集时间及采集路线上每一个采集点的采集时间进行记录，还可以是其他的采集时间记录方式，在此不作限定。

因此，通过将这两个全景视频中各图像帧的采集时间与采集路线上采集点的采集时间关联对应，得到各采集点在全景视频中对应的图像帧。

在步骤S132中，根据采集路线上的各采集点在全景视频中对应的图像帧，生成场景的场景模型。

根据各采集点位置与全景视频图像帧的对应关系，进行场景位置与全景视频图像帧的建模，生成与场景位置对应的全景视频。

利用如上所述的方法，按照场景中的采集路线进行采集信息的连续采集，将各采集点位置与全景视频图像帧通过采集时间进行关联对应，并根据对应关系，生成与场景位置对应的全景视频，进而在通过全景视频播放进行场景展示时，提高了画面切换的连续性，增强了场景交互体验。

图4是根据一示例性实施例示出的场景建模方法中对步骤S132的细节描述。图4中，该步骤S132可以包括以下步骤。

在步骤S1321中，针对采集路线上的每一个采集点，获取在采集点采集到的物体点在场景中的位置信息。

可以理解的是，全景视频是由多个连续的图像帧组成的，而每一图像帧均是在对应的采集点采集到的场景图像。

同时，在采集路线上进行全景视频的连续采集时，为减少全景视频的数据量，采集路线上的采集点也并非是无限多的。

在采集路线上进行采集信息的采集时，还将对采集点周边的物体位置信息进行采集。

在采集路线上的每个采集点，通过红外传感器等探测设备进行周边物体的物体点的采集，获取各物体点在场景中的位置信息。

例如，场景中存在墙壁，在采集路线上的采集点，采集到墙壁上的各物体点相对采集点的位置，进而得到墙壁上各物体点在场景中的位置信息。

在步骤S1322中，根据物体点在场景中的位置信息，计算场景中的模型数据。

在步骤S1321中获取物体点的位置信息是各物体点单独的位置信息，根据各物体点的位置信息之间的位置关系，对相互独立的物体点进行模型化，生成模型数据。

例如，根据位置关系，某一部分位置信息对应的物体点位于一个平面上，则将这部分物体点模型化为一个平面，该平面对应的数据即为模型数据。

在步骤S1323中，将模型数据在预置的物体库中进行深度学习，识别对应的物体名称。

物体库是预置的物体模型库。物体库中预置有多种物体模型。

深度学习是根据物体库中的物体模型对模型数据进行智能识别。通过将模型数据与物体库中的各物体模型进行匹配运算，智能识别出对应的物体名称。

在步骤S1324中，按照物体名称在全景视频的图像帧中对应的位置添加名称标记。

在步骤S1325中，根据添加名称标记后的图像帧及对应的采集点，生成场景的场景模型。

利用如上所述的方法，根据在各采集点采集到的周边物体的物体点位置信息，模型化后进行深度学习识别出对应的物体名称，进而在全景视频的图像帧中对应的位置添加名称标记，进而在通过全景视频播放进行场景展示时，大大增强了场景交互体验。

下述为本发明装置实施例，可以用于执行上述场景建模方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明场景建模方法实施例。

图5是根据一示例性实施例示出的一种场景建模装置的框图，采集信息包括全景视频，该装置包括但不限于：信息采集模块110及场景模型生成模块130。

信息采集模块110，用于按照设定的采集路线进行采集信息的连续采集；

场景模型生成模块130，用于根据采集路线在场景中的位置及采集信息，生成场景的场景模型。

上述装置中各个模块的功能和作用的实现过程具体详见上述场景建模方法中对应步骤的实现过程，在此不再赘述。

可选的，如图6所示，图5示出的信息采集模块110包括但不限于：采集路线获取单元111和信息采集单元112。

采集路线获取单元111，用于获取预先设定的采集路线；

信息采集单元112，用于按照采集路线进行采集信息的连续采集。

可选的，图5示出的信息采集模块110还包括但不限于：全景视频采集单元。

全景视频采集单元，用于按照预设的采集速度在采集路线上进行全景视频的连续采集。

可选的，如图7所示，图5示出的场景模型生成模块130包括但不限于：位置图像对应单元131和场景模型生成单元132。

位置图像对应单元131，用于通过全景视频的采集时间与位置信息的采集时间的关联对应，获取采集路线上的各采集点在全景视频中对应的图像帧；

场景模型生成单元132，用于根据采集路线上的各采集点在全景视频中对应的图像帧，生成场景的场景模型。

可选的，如图8所示，图7示出的场景模型生成单元132包括但不限于：物体点位置获取子单元1321、模型数据计算子单元1322、物体识别子单元1323、标记添加子单元1324和场景模型生成子单元1325。

物体点位置获取子单元1321，用于针对采集路线上的每一个采集点，获取在采集点采集到的物体点在场景中的位置信息；

模型数据计算子单元1322，用于根据物体点在场景中的位置信息，计算场景中的模型数据；

物体识别子单元1323，用于将模型数据在预置的物体库中进行深度学习，识别对应的物体名称；

标记添加子单元1324，用于按照物体名称在全景视频的图像帧中对应的位置添加名称标记；

场景模型生成子单元1325，用于根据添加名称标记后的图像帧及对应的采集点，生成场景的场景模型。

图9是根据一示例性实施例示出的一种终端100的框图。参考图9，终端100可以包括以下一个或者多个组件：处理组件101，存储器102，电源组件103，多媒体组件104，音频组件105，传感器组件107以及通信组件108。其中，上述组件并不全是必须的，终端100可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

处理组件101通常控制终端100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。

存储器102被配置为存储各种类型的数据以支持在终端100的操作。这些数据的示例包括用于在终端100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM（Static Random AccessMemory，静态随机存取存储器），EEPROM（Electrically Erasable Programmable Read-Only Memory，电可擦除可编程只读存储器），EPROM（Erasable Programmable Read OnlyMemory，可擦除可编程只读存储器），PROM（Programmable Read-Only Memory，可编程只读存储器），ROM（Read-Only Memory，只读存储器），磁存储器，快闪存储器，磁盘或光盘。存储器102中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器109执行，以完成图1、图2、图3和图4任一所示方法中的全部或者部分步骤。

电源组件103为终端100的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为终端100生成、管理和分配电力相关联的组件。

多媒体组件104包括在所述终端100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括LCD（Liquid Crystal Display，液晶显示器）和TP（TouchPanel，触摸面板）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件105被配置为输出和/或输入音频信号。例如，音频组件105包括一个麦克风，当终端100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，音频组件105还包括一个扬声器，用于输出音频信号。

传感器组件107包括一个或多个传感器，用于为终端100提供各个方面的状态评估。例如，传感器组件107可以检测到终端100的打开/关闭状态，组件的相对定位，传感器组件107还可以检测终端100或终端100一个组件的坐标改变以及终端100的温度变化。在一些实施例中，该传感器组件107还可以包括磁传感器，压力传感器或温度传感器。

通信组件108被配置为便于终端100和其他设备之间有线或无线方式的通信。终端100可以接入基于通信标准的无线网络，如WiFi（WIreless-Fidelity，无线网络），2G或3G，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括NFC（Near Field Communication，近场通信）模块，以促进短程通信。例如，在NFC模块可基于RFID（Radio Frequency Identification，射频识别）技术，IrDA（Infrared DataAssociation，红外数据协会）技术，UWB（Ultra-Wideband，超宽带）技术，BT（Bluetooth，蓝牙）技术和其他技术来实现。

在示例性实施例中，终端100可以被一个或多个ASIC（Application SpecificIntegrated Circuit，应用专用集成电路）、DSP（Digital Signal Processing，数字信号处理器）、PLD（Programmable Logic Device，可编程逻辑器件）、FPGA（Field－ProgrammableGate Array，现场可编程门阵列）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

该实施例中的终端的处理器执行操作的具体方式已经在有关该场景建模方法的实施例中执行了详细描述，此处将不再做详细阐述说明。

可选的，本发明还提供一种智能终端，执行图1、图2、图3和图4任一所示的场景建模方法的全部或者部分步骤。所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行：

按照设定的采集路线进行采集信息的连续采集；

根据所述采集路线在所述场景中的位置及所述采集信息，生成所述场景的场景模型。

该实施例中的装置的处理器执行操作的具体方式已经在有关该场景建模方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器102，上述指令可由终端100的处理器109执行以完成上述场景建模方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，本领域技术人员可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种场景建模方法，其特征在于，采集信息包括全景视频及各采集点采集到的物体点在场景中的位置信息，所述方法包括：

按照设定的采集路线进行采集信息的连续采集，包括：

按照预设的采集速度在设定的采集路线上进行全景视频的连续采集，所述采集速度是对场景进行全景视频采集时采集点位置的移动速度，所述采集点的位置与全景视频中的时间点一一对应；

根据所述采集路线在所述场景中的位置及所述采集信息，生成所述场景的场景模型，包括：通过所述全景视频的采集时间与所述位置信息的采集时间的关联对应，获取所述采集路线上的各采集点在所述全景视频中对应的图像帧；根据所述采集路线上的各采集点在所述全景视频中对应的图像帧，生成所述场景的场景模型。

2.根据权利要求1所述的方法，其特征在于，所述按照设定的采集路线进行采集信息的连续采集的步骤包括：

获取预先设定的采集路线；

按照所述采集路线进行采集信息的连续采集。

3.根据权利要求1所述的方法，其特征在于，所述根据所述采集路线上的各采集点在所述全景视频中对应的图像帧，生成所述场景的场景模型的步骤包括：

针对所述采集路线上的每一个采集点，获取在所述采集点采集到的物体点在所述场景中的位置信息；

根据所述物体点在所述场景中的位置信息，计算所述场景中的模型数据；

将所述模型数据在预置的物体库中进行深度学习，识别对应的物体名称；

按照所述物体名称在所述全景视频的图像帧中对应的位置添加名称标记；

根据添加名称标记后的所述图像帧及对应的采集点，生成所述场景的场景模型。

4.一种场景建模装置，其特征在于，采集信息包括全景视频及各采集点采集到的物体点在场景中的位置信息，所述装置包括：

信息采集模块，用于按照设定的采集路线进行采集信息的连续采集，包括：

按照预设的采集速度在设定的采集路线上进行全景视频的连续采集，所述采集速度是对场景进行全景视频采集时采集点位置的移动速度，所述采集点的位置与全景视频中的时间点一一对应；

场景模型生成模块，用于根据所述采集路线在所述场景中的位置及所述采集信息，生成所述场景的场景模型，包括：通过所述全景视频的采集时间与所述位置信息的采集时间的关联对应，获取所述采集路线上的各采集点在所述全景视频中对应的图像帧；根据所述采集路线上的各采集点在所述全景视频中对应的图像帧，生成所述场景的场景模型。

5.根据权利要求4所述的装置，其特征在于，所述信息采集模块包括：

采集路线获取单元，用于获取预先设定的采集路线；

信息采集单元，用于按照所述采集路线进行采集信息的连续采集。

6.根据权利要求4所述的装置，其特征在于，所述场景模型生成模块包括：

物体点位置获取子单元，用于针对所述采集路线上的每一个采集点，获取在所述采集点采集到的物体点在所述场景中的位置信息；

模型数据计算子单元，用于根据所述物体点在所述场景中的位置信息，计算所述场景中的模型数据；

物体识别子单元，用于将所述模型数据在预置的物体库中进行深度学习，识别对应的物体名称；

标记添加子单元，用于按照所述物体名称在所述全景视频的图像帧中对应的位置添加名称标记；

场景模型生成子单元，用于根据添加名称标记后的所述图像帧及对应的采集点，生成所述场景的场景模型。

Images