CN109889855A - 基于移动app的智能全景视频直播网络购物系统及方法 - Google Patents

Abstract

本发明公开了一种基于移动APP的智能全景视频直播网络购物系统及方法。该系统包括商品直播间、直播视频采集模块、全景视频融合处理模块、服务器和移动APP客户端。该方法为：在商品直播间安装多个摄像头采集商品不同面的视频信息，拍摄角度360°全景覆盖商品所有面；将各个摄像头所采集的视频信息进行剪切融合，形成全景视频并实时地发送到服务器中；用户打开移动APP客户端，打开商品的全景视频直播，访问服务器中的相关全景视频直播数据；服务器发送全景视频直播到移动APP客户端；用户通过移动APP客户端调整全景视频直播的角度，查看商品的不同侧面。本发明能够从不同的角度对商品直播过程进行观看，使用户更好地了解商品。

Description

基于移动APP的智能全景视频直播网络购物系统及方法

技术领域

本发明涉及网络直播技术领域，特别是一种基于移动APP的智能全景视频直播网络购物系统及方法。

背景技术

在直播正规化的监管下，直播行业不断发展深化，直播内容从游戏直播扩展到购物营销类型直播。国内外各大电商平台纷纷进入直播领域，而当前用户只能从直播画面看到商品的一面，需要通过在线交流与主播，人工展示或移动才能看到商品不同的面，主播也无法短时间内满足众多用户的不同需求。

目前的直播网络购物系统，用户难以全景观看直播视频内容，无法任意调整商品不同面的角度，不能全面、更好地了解商品。

发明内容

本发明的目的在于提供一种基于移动APP的智能全景视频直播网络购物系统及方法，使得用户在观看直播视频时可以通过滑动屏幕从不同的角度对商品直播过程进行观看。

实现本发明目的的技术解决方案为：一种基于移动APP的智能全景视频直播网络购物系统，包括商品直播间、直播视频采集模块、全景视频融合处理模块、服务器和移动APP客户端；

所述商品直播间，为展示商品的空间区域；

所述直播视频采集模块，包含多个不同角度拍摄的摄像头；

所述全景视频融合处理模块，将不同角度摄像头获得的视频图像进行融合处理，获得实时的可供用户调整视角的全景直播画面，并上传至服务器以供用户访问；

所述服务器，包含数据库，用于实时接收移动APP客户端对全景视频直播的访问，并发送数据至移动APP客户端；

所述移动APP客户端，用于用户观看全景视频直播进行网络购物，包括全景视频角度调整模块、商品推荐模块、在线交流互动模块、商品搜索模块、商品购买模块；所述商品推荐模块统计用户商品搜索历史记录，推送商品直播视频给用户；所述全景视频角度调整模块用于全景视频360°角度调整，选择直播观看视角；所述在线交流互动模块用于发送文字与主播或其他用户进行在线沟通；所述商品搜索模块、商品购买模块分别用于进行商品搜索和购买。

进一步地，所述直播视频采集模块包含N个不同角度拍摄的摄像头，N≥2且N个摄像头拍摄角度之和≥360°。

进一步地，所述移动APP客户端包含多个商品，每个商品对应设置一套独立的商品直播间。

进一步地，摄像头采集的视频数据以UDP的形式进行传输。

一种基于移动APP的智能全景视频直播网络购物方法，包括如下步骤：

步骤1，在商品直播间设置需要直播营销的商品；

步骤2，在商品直播间安装多个摄像头采集商品不同面的视频信息，多个摄像头拍摄角度360°全景覆盖商品所有面；

步骤3，将各个摄像头所采集的视频信息进行剪切融合，形成全景视频；

步骤4，将全景视频数据实时地发送到服务器中；

步骤5，用户打开移动APP客户端，打开商品的全景视频直播，访问服务器中的相关全景视频直播数据；

步骤6，服务器发送全景视频直播到移动APP客户端；

步骤7，用户通过移动APP客户端调整全景视频直播的角度，查看商品的不同侧面。

进一步地，步骤3所述将各个摄像头所采集的视频信息进行剪切融合，形成全景视频，具体如下：利用HLS技术，对多个摄像头采集的视频数据按照顺序剪成预设的形状，对不同的摄像头所收集预设的形状进行拼接融合；对融合的全景视频数据进行H.264编码得到编码后的全景视频数据。

进一步地，步骤4所述将全景视频数据实时地发送到服务器中，具体如下：将全景视频数据实时地发送到云端服务器中，云端服务器收到全景视频数据后进行解码，将解码后的全景视频数据进行畸变矫正、拼接及图像处理后生成全景视频帧。

进一步地，步骤6所述服务器发送全景视频直播到移动APP客户端，具体过程如下：

通过视频切割器将全景视频数据切割为预设时间间隔的一个小视频文件；

将预设时间间隔内的全景视频数据发送至云端服务器，使云端服务器中数据库根据预设时间间隔内的全景视频数据为移动APP客户端提供全景视频直播。

进一步地，步骤7所述用户通过移动APP客户端调整全景视频直播的角度，查看商品的不同侧面，具体如下：

所述移动APP客户端中，包括全景视频角度调整模块、商品推荐模块、在线交流互动模块、商品搜索模块、商品购买模块；所述商品推荐模块统计用户商品搜索历史记录，推送商品直播视频给用户；所述全景视频角度调整模块用于全景视频360°角度调整，选择直播观看视角；所述在线交流互动模块用于发送文字与主播或其他用户进行在线沟通；所述商品搜索模块、商品购买模块分别用于进行商品搜索和购买。

本发明与现有技术相比，其显著优点为：(1)使得用户在观看营销视频时可以通过滑动屏幕从不同的角度对商品直播过程进行观看，同时以输入文字的形式与直播人进行沟通，从而使用户更好的了解商品，进而达到身临其境的效果；(2)使用户可以更好地全方位全角度观看商品，有更好地购物体验，商家也可以在网络环境中更好地展示商品和完成销售。

附图说明

图1是本发明基于移动APP的智能全景视频直播网络购物系统的结构框图。

图2是本发明基于移动APP的智能全景视频直播网络购物方法的流程示意图。

具体实施方式

一种基于移动APP的智能全景视频直播网络购物系统，包括商品直播间、直播视频采集模块、全景视频融合处理模块、服务器和移动APP客户端；

所述商品直播间，为展示商品的空间区域；

所述直播视频采集模块，包含多个不同角度拍摄的摄像头；

所述全景视频融合处理模块，将不同角度摄像头获得的视频图像进行融合处理，获得实时的可供用户调整视角的全景直播画面，并上传至服务器以供用户访问；

所述服务器，包含数据库，用于实时接收移动APP客户端对全景视频直播的访问，并发送数据至移动APP客户端；

所述移动APP客户端，用于用户观看全景视频直播进行网络购物，包括全景视频角度调整模块、商品推荐模块、在线交流互动模块、商品搜索模块、商品购买模块；所述商品推荐模块统计用户商品搜索历史记录，推送商品直播视频给用户；所述全景视频角度调整模块用于全景视频360°角度调整，选择直播观看视角；所述在线交流互动模块用于发送文字与主播或其他用户进行在线沟通；所述商品搜索模块、商品购买模块分别用于进行商品搜索和购买。

进一步地，所述直播视频采集模块包含N个不同角度拍摄的摄像头，N≥2且N个摄像头拍摄角度之和≥360°。

进一步地，所述移动APP客户端包含多个商品，每个商品对应设置一套独立的商品直播间。

进一步地，摄像头采集的视频数据以UDP的形式进行传输。

一种基于移动APP的智能全景视频直播网络购物方法，包括如下步骤：

步骤1，在商品直播间设置需要直播营销的商品；

步骤2，在商品直播间安装多个摄像头采集商品不同面的视频信息，多个摄像头拍摄角度360°全景覆盖商品所有面；

步骤3，将各个摄像头所采集的视频信息进行剪切融合，形成全景视频；

步骤4，将全景视频数据实时地发送到服务器中；

步骤5，用户打开移动APP客户端，打开商品的全景视频直播，访问服务器中的相关全景视频直播数据；

步骤6，服务器发送全景视频直播到移动APP客户端；

步骤7，用户通过移动APP客户端调整全景视频直播的角度，查看商品的不同侧面。

进一步地，步骤3所述将各个摄像头所采集的视频信息进行剪切融合，形成全景视频，具体如下：利用HLS技术，对多个摄像头采集的视频数据按照顺序剪成预设的形状，对不同的摄像头所收集预设的形状进行拼接融合；对融合的全景视频数据进行H.264编码得到编码后的全景视频数据。

进一步地，步骤4所述将全景视频数据实时地发送到服务器中，具体如下：将全景视频数据实时地发送到云端服务器中，云端服务器收到全景视频数据后进行解码，将解码后的全景视频数据进行畸变矫正、拼接及图像处理后生成全景视频帧。

进一步地，步骤6所述服务器发送全景视频直播到移动APP客户端，具体过程如下：

通过视频切割器将全景视频数据切割为预设时间间隔的一个小视频文件；

将预设时间间隔内的全景视频数据发送至云端服务器，使云端服务器中数据库根据预设时间间隔内的全景视频数据为移动APP客户端提供全景视频直播。

进一步地，步骤7所述用户通过移动APP客户端调整全景视频直播的角度，查看商品的不同侧面，具体如下：

所述移动APP客户端中，包括全景视频角度调整模块、商品推荐模块、在线交流互动模块、商品搜索模块、商品购买模块；所述商品推荐模块统计用户商品搜索历史记录，推送商品直播视频给用户；所述全景视频角度调整模块用于全景视频360°角度调整，选择直播观看视角；所述在线交流互动模块用于发送文字与主播或其他用户进行在线沟通；所述商品搜索模块、商品购买模块分别用于进行商品搜索和购买。

结合图1～2，对本发明基于移动APP的智能全景视频直播网络购物系统及方法的构思、具体结构、技术效果等具体实施例做进一步地说明。

实施例

如图1所示，为本发明基于移动APP的智能全景视频直播网络购物系统的架构示意图，包括商品直播间、直播视频采集模块、全景视频融合处理模块、服务器和移动APP客户端。

所述的商品直播间是商品展示区域；所述的直播视频采集模块包含N(N≥2，且N个摄像头拍摄角度之和≥360°)个不同角度拍摄的摄像装置；所述的直播视频全景融合模块则负责将不同摄像装置中获得的视频图像进行融合处理，获得实时的可供用户调整视角的全景直播画面，并上传至服务器中的数据库以供用户访问；所述的服务器包含数据库，以实时接收移动APP客户端对全景视频直播的访问和发送数据；所述的移动APP客户端是用户对于全景直播的观看及网络购物功能使用，用户可在移动APP客户端上选择自己感兴趣的商品直播，并通过滑动屏幕360°选择自己关注的直播观看视角，同时也可发送文字与主播和其他用户进行在线沟通，搜索商品完成商品购买等流程。

如图2所示，为本发明基于移动APP的智能全景视频直播网络购物方法，步骤为：

S1，在商品直播间合理地摆放需要直播营销的商品。

S2，在商品直播间安装N(N≥2，且N个摄像头拍摄角度之和≥360°)个摄像头，采集商品不同面的视频信息，N个摄像头拍摄角度必须360°全景覆盖商品所有面。

S3，将N(N≥2，且N个摄像头拍摄角度之和≥360°)个摄像头所采集的到的视频信息进行剪切融合，形成全景视频。

S4，将全景视频数据实时地发送到服务器中。

S5，用户打开移动APP，打开某个商品的全景视频直播，访问服务器中的相关全景视频直播数据。

S6，服务器发送全景视频直播到移动APP客户端。

S7，用户调整全景视频直播的角度，可以看到商品的不同面，更为全面完整地了解商品。

直播视频采集模块负责视频帧数据的采集整理，由N(N≥2，且N个摄像头拍摄角度之和≥360°)个摄像头，每个摄像头分别用于录制不同空间位置的视频。用户可以在观看直播时在摄像头之间自主选择。

通过设置多个摄像头，采集商品的360度场景，采集到的视频经过编码后上传到云直播服务平台。

录制过程中每个摄像头都会产生视频数据，视频数据以UDP(User DatagramProtocol，用户数据报协议)的形式传输至控制设备中。视频采集装置的个数可以根据直播场景的大小进行设置。

通过控制设备利用HLS(HTTP Live Streaming，动态码率自适应)技术，对N(N≥2，且N个摄像头拍摄角度之和≥360°)个摄像装置采集的视频数据按照顺序剪成预设的形状，对不同的摄像装置所收集预设的形状进行拼接融合。

直播视频全景融合可采用VR(虚拟现实技术)将各摄像装置所采集的视频数据，使用三维动态视景仿真来进行全景视频整合处理，同时可以使用AR(增强现实技术)对视频中比较突出的信息(如主播的面部)进行模拟仿真叠加，来实现N(N≥2，且N个摄像头拍摄角度之和≥360°)个摄像头的全景视频融合。同时还可采用现在的全景视频融合算法的相关程序来进行视频整合。

进一步地，对所融合的全景视频数据进行H.264编码得到编码后获得的全景视频数据。

进一步地，云端服务器收到编码视频数据后进行解码，将解码后的视频数据一次进行畸变矫正、拼接及图像处理后生产全景视频帧。这一过程需要消耗大量的CPU及GPU资源，因此将图像处理转移到云端，可利用云端服务器的并发处理能力及平滑扩展能力，以应对处理大量的直播请求。

通过流切割器将全景视频数据切割为预设时间间隔(如5秒)的一个小视频文件。

将预设时间间隔内的全景视频数据发送至云端服务器，使云端服务器中数据库根据预设时间间隔内的全景视频数据为移动APP客户端提供全景视频直播，以确保全景视频直播的实时性。

移动APP客户端连接云端服务器后，会为每一个客户端生成两个连接channel，分别用于传输媒体控制参数和直播数据流，客户端向云端服务器发送直播请求及分辨率，并设定播放角度；云端在受到用户请求后，进行相应的处理与反馈。

移动APP客户端主要是用户对于全景直播的观看及网络购物功能使用，包括以下模块：全景视频角度调整模块、商品推荐模块、在线交流互动模块、商品搜索模块和商品购物模块。

全景视频角度调整模型的技术实现主要在通过手机硬件陀螺仪来实现全景视频角度360度的调整，用户通过划动手机屏幕调整商品视角，以观看不同视角中的商品的不同侧面，实现全景视频的直播观看。

商品推荐模块可根据不同用户的兴趣，采用相关推荐算法，为用户推荐可能感兴趣的商品，在线交流互动模型为用户可以在全景直播的同时与主播或其他用户进行交流沟通，商品搜索模型为用户在观看全景直播的同时，可以搜索类似的商品，商品购买模块是用户在观看全景直播时看到心仪的商品可以直接下单购买。商品推荐模块、在线交流互动模块、商品搜索模块和商品购物模块为本领域技术人员所熟知的现有技术，在此不做其他赘述。

以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述的实施例对本发明进行了详细的说明。对本领域的普通技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于移动APP的智能全景视频直播网络购物系统，其特征在于，包括商品直播间、直播视频采集模块、全景视频融合处理模块、服务器和移动APP客户端；

所述商品直播间，为展示商品的空间区域；

所述直播视频采集模块，包含多个不同角度拍摄的摄像头；

所述全景视频融合处理模块，将不同角度摄像头获得的视频图像进行融合处理，获得实时的可供用户调整视角的全景直播画面，并上传至服务器以供用户访问；

所述服务器，包含数据库，用于实时接收移动APP客户端对全景视频直播的访问，并发送数据至移动APP客户端；

所述移动APP客户端，用于用户观看全景视频直播进行网络购物，包括全景视频角度调整模块、商品推荐模块、在线交流互动模块、商品搜索模块、商品购买模块；所述商品推荐模块统计用户商品搜索历史记录，推送商品直播视频给用户；所述全景视频角度调整模块用于全景视频360°角度调整，选择直播观看视角；所述在线交流互动模块用于发送文字与主播或其他用户进行在线沟通；所述商品搜索模块、商品购买模块分别用于进行商品搜索和购买。

2.根据权利要求1所述的基于移动APP的智能全景视频直播网络购物系统，其特征在于，所述直播视频采集模块包含N个不同角度拍摄的摄像头，N≥2且N个摄像头拍摄角度之和≥360°。

3.根据权利要求1或2所述的基于移动APP的智能全景视频直播网络购物系统，其特征在于，所述移动APP客户端包含多个商品，每个商品对应设置一套独立的商品直播间。

4.根据权利要求1或2所述的基于移动APP的智能全景视频直播网络购物系统，其特征在于，摄像头采集的视频数据以UDP的形式进行传输。

5.一种基于移动APP的智能全景视频直播网络购物方法，其特征在于，包括如下步骤：

步骤1，在商品直播间设置需要直播营销的商品；

步骤2，在商品直播间安装多个摄像头采集商品不同面的视频信息，多个摄像头拍摄角度360°全景覆盖商品所有面；

步骤3，将各个摄像头所采集的视频信息进行剪切融合，形成全景视频；

步骤4，将全景视频数据实时地发送到服务器中；

步骤5，用户打开移动APP客户端，打开商品的全景视频直播，访问服务器中的相关全景视频直播数据；

步骤6，服务器发送全景视频直播到移动APP客户端；

步骤7，用户通过移动APP客户端调整全景视频直播的角度，查看商品的不同侧面。

6.根据权利要求5所述的基于移动APP的智能全景视频直播网络购物方法，其特征在于，步骤3所述将各个摄像头所采集的视频信息进行剪切融合，形成全景视频，具体如下：利用HLS技术，对多个摄像头采集的视频数据按照顺序剪成预设的形状，对不同的摄像头所收集预设的形状进行拼接融合；对融合的全景视频数据进行H.264编码得到编码后的全景视频数据。

7.根据权利要求5所述的基于移动APP的智能全景视频直播网络购物方法，其特征在于，步骤4所述将全景视频数据实时地发送到服务器中，具体如下：将全景视频数据实时地发送到云端服务器中，云端服务器收到全景视频数据后进行解码，将解码后的全景视频数据进行畸变矫正、拼接及图像处理后生成全景视频帧。

8.根据权利要求5所述的基于移动APP的智能全景视频直播网络购物方法，其特征在于，步骤6所述服务器发送全景视频直播到移动APP客户端，具体过程如下：

通过视频切割器将全景视频数据切割为预设时间间隔的一个小视频文件；

将预设时间间隔内的全景视频数据发送至云端服务器，使云端服务器中数据库根据预设时间间隔内的全景视频数据为移动APP客户端提供全景视频直播。

9.根据权利要求5所述的基于移动APP的智能全景视频直播网络购物方法，其特征在于，步骤7所述用户通过移动APP客户端调整全景视频直播的角度，查看商品的不同侧面，具体如下：

所述移动APP客户端中，包括全景视频角度调整模块、商品推荐模块、在线交流互动模块、商品搜索模块、商品购买模块；所述商品推荐模块统计用户商品搜索历史记录，推送商品直播视频给用户；所述全景视频角度调整模块用于全景视频360°角度调整，选择直播观看视角；所述在线交流互动模块用于发送文字与主播或其他用户进行在线沟通；所述商品搜索模块、商品购买模块分别用于进行商品搜索和购买。