Nothing Special   »   [go: up one dir, main page]

CN106231317A - 视频处理、解码方法和装置、vr终端、视频播放系统 - Google Patents

视频处理、解码方法和装置、vr终端、视频播放系统 Download PDF

Info

Publication number
CN106231317A
CN106231317A CN201610865440.2A CN201610865440A CN106231317A CN 106231317 A CN106231317 A CN 106231317A CN 201610865440 A CN201610865440 A CN 201610865440A CN 106231317 A CN106231317 A CN 106231317A
Authority
CN
China
Prior art keywords
video data
video
layer video
enhancement layer
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610865440.2A
Other languages
English (en)
Inventor
李宗辰
王成军
陈有鑫
刘明
熊张亮
马权
邱男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201610865440.2A priority Critical patent/CN106231317A/zh
Publication of CN106231317A publication Critical patent/CN106231317A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Discrete Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了视频处理、解码方法和装置、VR终端、视频播放系统。所述视频处理方法的一具体实施方式包括：获取全景视频采集装置采集的多个视频数据；合成所述多个视频数据，得到全景视频；对所述全景视频进行编码，得到基本层视频数据和增强层视频数据；将所述基本层视频数据和所述增强层视频数据通过不同的传输方式传输给终端。该实施方式能够提供多种分辨率的视频数据，增加了用户的选择，同时由于不同分辨率的视频对网络的要求不同，降低了传统的高分辨率的视频对网络带宽的要求。

Description

视频处理、解码方法和装置、VR终端、视频播放系统
技术领域
本申请涉及视频处理领域，具体涉及全景视频处理领域，尤其涉及一种视频处理、解码方法和装置、VR终端、视频播放系统。
背景技术
随着近些年VR(Virtual Reality，虚拟现实)的普及，越来越多的内容提供商与VR设备厂商一起，将娱乐内容通过VR的形式展现。相比于传统的电视与电脑，VR设备通过将场景尽可能的真实地展现给使用者，从而为使用者带来了前所未有的互动体验。
8K分辨率是当前电视电影领域应用的最大分辨率，一般指分辨率为7680×4320的内容。和当前各大厂商正在积极推广的4K(3840×2150的分辨率)视频相比，8K分辨率在水平、垂直像素数量上，都是4K分辨率的二倍。但由于编码性能，传输性能的限制，8K视频至今仍未普及，在VR终端上甚至还未使用过。因此，如何提高VR终端的播放视频的分辨率成为亟待解决的问题。
发明内容
本申请的目的在于提出一种视频处理、解码方法和装置、VR终端、视频播放系统，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种视频处理方法，所述方法包括：获取全景视频采集装置采集的多个视频数据；合成所述多个视频数据，得到全景视频；对所述全景视频进行编码，得到基本层视频数据和增强层视频数据；将所述基本层视频数据和所述增强层视频数据通过不同的传输方式传输给终端。
在一些实施例中，所述合成所述多个视频数据，包括：对所述多个视频数据中的每一帧视频进行投影变换，得到每一帧视频对应的投影图像；拼接属于同一视频帧的多个投影图像，得到所述全景视频的各视频帧；将所述全景视频的各视频帧按照帧顺序排列，得到所述全景视频。
在一些实施例中，所述对所述全景视频进行编码，得到基本层视频数据和增强层视频数据，包括：采用可扩展高效视频编码对所述全景视频进行编码，得到所述基本层视频数据和所述增强层视频数据，其中，所述基本层视频数据的分辨率为所述全景视频的分辨率的四分之一，所述增强层视频数据的分辨率与所述全景视频的分辨率相同。
在一些实施例中，将所述基本层视频数据和所述增强层视频数据通过不同的网络传输方式传输给终端，包括：将所述基本层视频数据通过广播方式传输给终端；将所述增强层视频数据通过宽带方式传输给终端。
第二方面，本申请提供了一种用于虚拟现实终端的视频解码方法，所述方法包括：获取待解码视频的基本层视频数据和增强层视频数据；检测以下条件是否满足：所述增强层视频数据的大小大于第一预设值，获取到所述基本层视频数据与获取到所述增强层视频数据的时间差小于第二预设值；响应于以上条件均满足，确定用户在所述虚拟现实终端的视角窗口，并对所述基本层视频数据及所述视角窗口包括的增强层视频数据进行解码。
在一些实施例中，所述虚拟现实终端包括重力传感器；以及所述确定用户在所述虚拟现实终端的视角范围，包括：从所述重力传感器处获取所述虚拟现实终端在水平方向的第一转动角以及在垂直方向的第二转动角；将预设的视角窗口的中心点沿所述水平方向转动所述第一转动角、沿所述垂直方向转动所述第二转动角；将转动后的视角窗口确定为所述用户在所述虚拟现实终端的视角窗口。
在一些实施例中，所述对所述基本层视频数据及所述视角窗口包括的增强层视频数据进行解码，包括：确定所述增强层视频数据中，所述视角窗口包括的子增强层视频数据；解码所述基本层视频数据及所述子增强层视频数据。
在一些实施例中，所述方法还包括：将解码后的基本层视频数据及解码后的所述视角范围包括的增强层视频数据结合；对结合后的视频数据进行渲染；输出渲染后的视频。
第三方面，本申请提供了一种视频处理装置，所述装置包括：第一获取单元，用于获取全景视频采集装置采集的多个视频数据；合成单元，用于合成所述多个视频数据，得到全景视频；编码单元，用于对所述全景视频进行编码，得到基本层视频数据和增强层视频数据；传输单元，用于将所述基本层视频数据和所述增强层视频数据通过不同的传输方式传输给终端。
在一些实施例中，所述合成单元包括：投影模块，用于对所述多个视频数据中的每一帧视频进行投影变换，得到每一帧视频对应的投影图像；拼接模块，用于拼接属于同一视频帧的多个投影图像，得到所述全景视频的各视频帧；排列模块，用于将所述全景视频的各视频帧按照帧顺序排列，得到所述全景视频。
在一些实施例中，所述编码单元进一步用于：采用可扩展高效视频编码对所述全景视频进行编码，得到所述基本层视频数据和所述增强层视频数据，其中，所述基本层视频数据的分辨率为所述全景视频的分辨率的四分之一，所述增强层视频数据的分辨率与所述全景视频的分辨率相同。
在一些实施例中，所述传输单元包括：第一传输模块，用于将所述基本层视频数据通过广播方式传输给终端；第二传输模块，用于将所述增强层视频数据通过宽带方式传输给终端。
第四方面，本申请提供了一种用于虚拟现实终端的视频解码装置，所述装置包括：第二获取单元，用于获取待解码视频的基本层视频数据和增强层视频数据；检测单元，用于检测以下条件是否满足：所述增强层视频数据的大小大于第一预设值，获取到所述基本层视频数据与获取到所述增强层视频数据的时间差小于第二预设值；解码单元，用于响应于以上条件均满足，确定用户在所述虚拟现实终端的视角窗口，并对所述基本层视频数据及所述视角窗口包括的增强层视频数据进行解码
在一些实施例中，所述虚拟现实终端包括重力传感器；以及所述解码单元包括：转动角获取模块，用于从所述重力传感器处获取所述虚拟现实终端在水平方向的第一转动角以及在垂直方向的第二转动角；转动模块，用于将预设的视角窗口的中心点沿所述水平方向转动所述第一转动角、沿所述垂直方向转动所述第二转动角；第一确定模块，用于将转动后的视角窗口确定为所述用户在所述虚拟现实终端的视角窗口。
在一些实施例中，所述解码单元包括：第二确定模块，用于确定所述增强层视频数据中，所述视角窗口包括的子增强层视频数据；解码模块，用于解码所述基本层视频数据及所述子增强层视频数据。
在一些实施例中，所述装置还包括：结合单元，用于将解码后的基本层视频数据及解码后的所述视角范围包括的增强层视频数据结合；渲染单元，用于对结合后的视频数据进行渲染；输出单元，用于输出渲染后的视频。
第五方面，本申请提供了一种虚拟现实终端，所述虚拟现实终端包括上述任一实施例所述的用于虚拟现实终端的视频解码装置。
第六方面，本申请提供了一种视频播放系统，所述视频播放系统包括依次通信连接的全景视频采集装置、服务器、虚拟现实终端；所述服务器包括上述任一实施例所述的视频处理装置；所述虚拟现实终端包括上述任一实施例所述的用于虚拟现实终端的视频解码装置。
本申请提供的视频处理、解码方法和装置、VR终端、视频播放系统，通过对全景视频进行编码，得到分层后的基本层和增强层，然后将基本层和增强层通过不同的传输方式传输给终端，从而能够提供多种分辨率的视频数据，增加了用户的选择，同时由于不同分辨率的视频对网络的要求不同，降低了传统的高分辨率的视频对网络带宽的要求；虚拟现实终端通过在获取到基本层视频数据和增强层视频数据后，首先检测增强层数据是否完整以及基本层视频数据与增强层视频数据之间的时间差是否小于预设值，在二者均满足后，确定用户在虚拟现实终端中的视角窗口，进而对上述视角窗口对应的增强层视频数据进行解码，减小了对高分辨率视频解码的工作量，从而缩短了虚拟现实终端在播放高分辨率视频时的延时。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的视频处理方法的一个实施例的流程图；
图3是根据本申请的用于虚拟现实终端的视频解码方法的一个实施例的流程图；
图4是根据本申请的视频处理装置的一个实施例的结构示意图；
图5是适于用来实现本申请实施例的视频处理装置的计算机系统的结构示意图；
图6是根据本申请的用于虚拟现实终端的视频解码装置的一个实施例的结构示意图；
图7是根据本申请的虚拟现实终端的一个实施例的结构示意图；
图8是适于用来实现本申请实施例的虚拟现实终端的计算机系统的结构示意图；
图9是根据本申请的视频播放系统的一个实施例的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的视频处理方法、视频处理装置、用于虚拟现实终端的视频解码方法或用于虚拟现实终端的视频解码装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括全景视频采集装置101，网络102、102’，服务器103和虚拟现实终端104。网络102、102’分别用以在全景视频采集装置101和服务器103之间、服务器103和虚拟现实终端104之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等，网络102’可以既包括网络102所有的功能，还可以包括DVB广播网络所有的功能。
全景视频提供者可以使用全景视频采集装置101采集各种场景下的全景视频，例如采集一场足球比赛、一场演唱会的全景视频，并通过网络102与服务器103交互，以将所采集的全景视频发送给服务器103等。
全景视频采集装置101可以是具有多个不同角度的摄像头并且支持视频文件传输的各种电子装置，例如可以是带有多个广角摄像头的智能终端，也可以是在圆周方向上均匀分布多个摄像头的摄像装置，还可以是在虚拟球面上均匀分布多个摄像头的摄像装置。
服务器103可以是提供各种服务的服务器，例如对全景视频采集装置101采集的多个视频进行处理的后台视频服务器。后台视频服务器可以对接收到的多个视频等数据进行编码等处理，并将处理结果(例如视频分层得到的视频数据)通过各种通讯方式发送给虚拟现实终端104。
虚拟现实终端104上可以安装各种通讯客户端应用，如全景视频播放应用、虚拟现实游戏应用等。虚拟现实终端104可以是具有显示屏并且支持全景视频观看的电子设备，包括但不限于智能头盔、智能眼镜等。可以理解的是，虚拟现实终端104在实际应用时，还可以与配套的虚拟现实设备配合使用，例如可以与虚拟现实跑步机、虚拟现实手枪、虚拟现实手套、虚拟现实服装等。
需要说明的是，本申请实施例所提供的视频处理方法一般由服务器103执行，相应地，视频处理装置一般设置于服务器103中；而用于虚拟现实终端的视频解码方法一般由虚拟现实终端104执行，相应地，用于虚拟现实终端的视频解码装置一般设置于虚拟现实终端104中。
应该理解，图1中的全景视频采集装置、网络、服务器和虚拟现实终端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的全景视频采集装置、网络、服务器和虚拟现实终端。
继续参考图2，示出了根据本申请的视频处理方法的一个实施例的流程图200。本实施例的视频处理方法，包括以下步骤：
步骤201，获取全景视频采集装置采集的多个视频数据。
在本实施例中，全景视频一般指取景范围为水平350°，垂直180°的视频，以保证在用户在观看全景视频时可以看到任一方向、任一角度的图像。视频处理方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式全景视频采集装置处获取其采集的多个视频数据。全景视频采集装置可以利用现有的球状VR摄像头、碟状VR摄像头等，其可以采集一个位置的多个方向多个角度的视频，且根据其采集的多个视频数据，可以经过处理得到全景视频。
需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
步骤202，合成上述多个视频数据，得到全景视频。
服务器在获取到上述全景视频采集装置采集的多个视频数据后，可以对多个视频数据中的每一视频帧进行拼接合成，得到全景视频。在合成时，可以采用多种工具进行视频合成，例如可以采用视频合成软件进行，还可以将待合成的多个视频导入视频合成器中进行合成。
在本实施例的一些可选的实现方式中，在上述拼接合成过程中，考虑到上述多个视频数据是全景视频采集装置从不同角度下拍摄得到的，因此上述多个视频数据的投影平面并不重叠，如果直接拼接的话，会破坏视频数据中景物的视觉一致性。因此，上述步骤202可以进一步包括图2中未示出的以下子步骤：
对上述多个视频数据中的每一帧视频进行投影变换；拼接属于同一视频帧的多个图像，得到全景视频的各视频帧；将全景视频的各视频帧按照帧顺序排列，得到全景视频。
在本实现方式中，可以采用多种投影变换方式对全景视频采集装置采集的多个视频数据中的每一帧视频进行投影，例如可以采用平面投影、柱面投影、球面投影和鱼眼投影等。在对每一帧视频进行投影变换后，可以对投影得到的多个图像进行拼接，在拼接时，可以首先上述多个图像中的重合部分，然后将重合部分重合，在调整角度，就可得到全景视频的各视频帧。最后将全景视频的各视频帧按照上述多个视频中各帧的播放顺序进行组合，即可得到全景视频。
步骤203，对全景视频进行编码，得到基本层视频数据和增强层视频数据。
本实施例中，服务器可以采用多种编码方式对全景视频进行编码，例如可以采用SVC(Scalable Video Coding，可伸缩视频编解码)编码技术，还可以采用SHVC(ScalableHEVC，可伸缩高效视频编码)方式。其中，SVC和SHVC的共同点在于，通过上述编码方式，可以通过一次编码将视频流分成多个不同分辨率、不同质量以及不同帧率的层，即将输入的视频流分为一个分辨率、质量或帧率较小的基本层和至少一个分辨率、质量或帧率相对较高的增强层。
本实施例中，上述编码方式能够在不降低视频率失真性能的前提下，生成基本层视频数据和增强层视频数据。
在本实施例的一些可选的实现方式中，在步骤203的对全景视频的编码过程中，可以采用SHVC编码方式，得到基本层视频数据和增强层视频数据。其中，基本层视频数据的分辨率为全景视频的分辨率的四分之一，增强层视频数据的分辨率与全景视频的分辨率相同。例如，全景视频的分辨率为7680×4320，那么基本层视频数据的分辨率为3840×2150，增强层视频数据的分辨率为7680×4320。
本实现方式中，上述基本层视频数据的分辨率可以保证用户在虚拟现实终端中观看视频时具有较高的清晰度，不会降低用户的观看体验。
步骤204，将基本层视频数据和增强层视频数据通过不同的传输方式传输给终端。
本实施例中，服务器在对全景视频编码完成后，可将得到的基本层视频数据和增强层视频数据发送给终端。考虑到使用终端的用户的网络情况，可以采用不同的传输方式将上述基本层视频数据和增强层视频数据发送给终端。此处，终端可以是能够播放全景视频的各种电子设备，例如可以是虚拟现实终端、计算机、便携式笔记本电脑、平板电脑、智能手机等。
在本实施例的一些可选的实现方式中，服务器可以将基本层视频数据通过广播方式传输给终端，可以将增强层视频数据通过宽带方式传输给终端。本实现方式中，终端为既能够接收通过广播方式传输的数据，又能够接收通过网络传输的数据的电子设备，例如可以为同时能够连接到DVB广播网络接收标准广播的音视频信号、又能够通过宽带接口连接到互联网的VR终端，还可以为安装有HBBTV(Hybrid Broadcast Broadband TV，混合广播宽带电视)应用程序的VR终端。
在现有的视频传输方式中，通常是用户利用终端进入视频网站或打开视频应用，通过有线网络或无线网络连接到为上述视频网站提供支持的服务器或为上述视频应用提供支持的服务器，在网络环境不理想时，可以获取分辨率较低的视频数据；在网络环境理想时，可以获取分辨率较高的视频数据。例如，用户可以选择视频应用中的播放模式“极速”、“标准”、“高清”或“超清”。但实现上述方式的前提条件是，终端必须连接到Internet网络。
而本实现方式中，服务器将基本层视频数据通过无线广播的方式传输给终端，由于广播(broadcast)传输方式具有延时小、覆盖面广、不依赖网络环境的特点，可以使得用户使用的终端在未接入Internet网络时，仍然能够接收到基本层视频数据，即仍然可以观看全景视频。
当用户所使用的终端同时接入了Internet网络且网络环境较好时，可以同时通过Internet网络接收增强层视频数据，这样就可以观看高分辨率的全景视频。
因此，上述实现方式中，用户可在脱离Internet网络的情况下仍然能够观看全景视频，极大地提高了终端的普适性，扩大了虚拟现实终端的应用环境。
本申请的上述实施例提供的视频处理方法，通过对全景视频进行编码，得到分层后的基本层和增强层，然后将基本层和增强层通过不同的传输方式传输给终端，从而能够提供多种分辨率的视频数据，增加了用户的选择，同时由于不同分辨率的视频对网络的要求不同，降低了传统的高分辨率的视频对网络带宽的要求。
继续参见图3，图3是根据本申请的用于虚拟现实终端的视频解码方法的一个实施例的流程图300。本实施例的用于虚拟现实终端的视频解码方法包括以下步骤：
步骤301，获取待解码视频的基本层视频数据和增强层视频数据。
本实施例中，VR终端可以同时获取待解码视频的基本层视频数据和增强层视频数据。其中，待解码视频可以是高分辨率的全景视频。可以理解的是，上述待解码视频是经一定的编码方式编码后分离成基本层视频数据和增强层视频数据的。
在本实施例的一些可选的实现方式中，VR终端可以通过接收服务器发送的广播视频信号，得到上述基本层视频数据，可以通过互联网接收上述增强层视频数据；还可以均通过互联网接收上述基本层视频数据和上述增强层视频数据。
步骤302，检测以下条件是否满足：增强层视频数据的大小大于第一预设值，获取到基本层视频数据与获取到增强层视频数据的时间差小于第二预设值。
VR终端在接收到基本层视频数据和增强层视频数据后，会首先检测增强层视频数据是否完整，可以通过检测增强层视频数据的大小，并将检测到的大小与预设的增强层视频数据的大小来确定。可以理解的是，当用户通过VR终端点播某一视频时，VR终端可以确定完整的增强层视频数据的大小。在VR终端通过网络获取到增强层视频数据后，将获取到的数据大小与完整的增强层视频数据的大小进行比较，即可确定增强层视频数据是否完整。同时为了避免VR终端在播放高分辨率视频时不会产生过长的延时，造成影响用户体验的现象，VR终端在获取到基本层视频数据和增强层视频数据后，会判断获取到基本层视频数据和增强层视频数据的时间差，当上述时间差小于预设的延时时，才执行步骤203。上述预设的延时可以是各种用户可接受的时间，例如10秒、5秒或更短的时间。
步骤303，响应于以上条件均满足，确定用户在虚拟现实终端的视角窗口，并对基本层视频数据及上述视角窗口包括的增强层视频数据进行解码。
在VR终端确定了接收到的增强层视频数据完整且基本层视频数据和增强层视频数据之间的延时小于预设值时，确定用户在VR终端的视角窗口。上述视角窗口的尺寸可以是预先根据VR终端的结构设定的，例如水平方向120°，竖直方向50°。由于用户在使用上述VR终端时，可能会转动头部或移动，那么用户在VR终端中的视角窗口就会改变。在确定了用户在VR终端中的视角窗口后，VR终端可以对基本层视频数据和上述视角窗口对应的增强层视频数据进行解码，从而保证用户通过VR终端看到的全景视频都是高分辨率的。可以理解的是，本实施例中，VR终端在解码时采用的解码方式是与服务器的编码方式对应的。
在本实施例的一些可选的实现方式中，VR终端中可以包括重力传感器，在确定用户在VR终端中的视角范围时，可以通过图3中未示出的以下子步骤来实现：
从重力传感器处获取虚拟现实终端在水平方向的第一转动角以及在垂直方向的第二转动角；将预设的视角窗口的中心点沿水平方向转动第一转动角、沿垂直方向转动第二转动角；将转动后的视角窗口确定为用户在虚拟现实终端的视角窗口。
VR终端中的重力传感器在用户头部转动时，可以获取用户头部在水平方向转动的角度以及在垂直方向转动的角度，将预设的视角窗口的中心转动至用户转动的角度即可，然后将转动后的视角窗口确定为用户在VR终端的视角窗口。
在本实施例的一些可选的实现方式中，VR终端在解码时，可以首先确定上述视角窗口包括的子增强层视频数据，然后对基本层视频数据和子增强层视频数据进行解码。
在本实施例的一些可选的实现方式中，上述方法还可以包括图3中未示出的以下步骤：
将解码后的基本层视频数据及解码后的视角范围包括的增强层视频数据结合；对结合后的视频数据进行渲染；输出渲染后的视频。
在解码后，将解码得到的视频流结合，然后进行渲染。渲染可以增强视频的真实感。然后将渲染后的视频在VR终端中输出，用户可通过VR终端观看高分辨率的全景视频。
本申请的上述实施例提供的用于虚拟现实终端的视频解码方法，通过在获取到基本层视频数据和增强层视频数据后，首先检测增强层数据是否完整以及基本层视频数据与增强层视频数据之间的时间差是否小于预设值，在二者均满足后，确定用户在虚拟现实终端中的视角窗口，进而对上述视角窗口对应的增强层视频数据进行解码，减小了对高分辨率视频解码的工作量，从而缩短了虚拟现实终端在播放高分辨率视频时的延时。
进一步参考图4，作为对上述图2所示方法的实现，本申请提供了一种视频处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例的视频处理装置400包括第一获取单元401、合成单元402、编码单元403及传输单元404。
第一获取单元401，用于获取全景视频采集装置采集的多个视频数据。
合成单元402，用于合成第一获取单元401获取的多个视频数据，得到全景视频。
在本实施例的一些可选的实现方式中，上述合成单元402还可以进一步包括图4中未示出的投影模块、拼接模块以及排列模块。
其中，投影模块，用于对第一获取单元401获取的多个视频数据中的每一帧视频进行投影变换，得到每一帧视频对应的投影图像。
拼接模块，用于拼接属于同一视频帧的多个投影图像，得到全景视频的各视频帧。
排列模块，用于将拼接模块得到的全景视频的各视频帧按照帧顺序排列，得到全景视频。
编码单元403，用于对合成单元402得到的全景视频进行编码，得到基本层视频数据和增强层视频数据。
在本实施例的一些可选的实现方式中，上述编码单元403还可以进一步用于：采用SHVC对合成单元402得到的全景视频进行编码，得到基本层视频数据和增强层视频数据，其中，基本层视频数据的分辨率为全景视频的分辨率的四分之一，增强层视频数据的分辨率与全景视频的分辨率相同。
传输单元404，用于将编码单元403得到的基本层视频数据和增强层视频数据通过不同的传输方式传输给终端。
在本实施例的一些可选的实现方式中，上述传输单元404还可以进一步包括图4中未示出的第一传输模块和第二传输模块。
其中，第一传输模块，用于将基本层视频数据通过广播方式传输给终端。
第二传输模块，用于将增强层视频数据通过宽带方式传输给终端。
图5是适于用来实现本申请实施例的视频处理装置的计算机系统的结构示意图。如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。
本申请的上述实施例提供的视频处理装置，通过编码单元对第一获取单元获取的全景视频进行编码，得到分层后的基本层和增强层，然后传输单元将基本层和增强层通过不同的传输方式传输给终端，从而能够提供多种分辨率的视频数据，增加了用户的选择，同时由于不同分辨率的视频对网络的要求不同，降低了传统的高分辨率的视频对网络带宽的要求。
进一步参考图6，作为对上述图3所示方法的实现，本申请提供了一种用于虚拟现实终端的视频解码装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可以应用于虚拟现实终端中。
如图6所示，本实施例的用于虚拟现实终端的视频解码装置600包括：第二获取单元601、检测单元602及解码单元603。
第二获取单元601，用于获取待解码视频的基本层视频数据和增强层视频数据。
检测单元602，用于检测以下条件是否满足：第二获取单元601获取的增强层视频数据的大小大于第一预设值，获取到基本层视频数据与获取到增强层视频数据的时间差小于第二预设值。
解码单元603，用于响应于检测单元602检测到以上条件均满足，确定用户在虚拟现实终端的视角窗口，并对基本层视频数据及视角窗口包括的增强层视频数据进行解码。
在本实施例的一些可选的实现方式中，上述虚拟现实终端包括重力传感器，相应地，解码单元603在确定用户在虚拟现实终端的视角窗口时具体可通过图6中未示出的转动角获取模块、转动模块以及第一确定模块来实现。
其中，转动角获取模块，用于从重力传感器处获取虚拟现实终端在水平方向的第一转动角以及在垂直方向的第二转动角。
转动模块，用于将预设的视角窗口的中心点沿水平方向转动第一转动角、沿垂直方向转动所第二转动角。
第一确定模块，用于将转动后的视角窗口确定为用户在虚拟现实终端的视角窗口。
在本实施例的一些可选的实现方式中，解码单元603在解码基本层视频数据和视角窗口包括的增强层视频数据时，具体可以通过第二确定模块以及解码模块来实现。
第二确定模块，用于确定增强层视频数据中，上述视角窗口包括的子增强层视频数据。
解码模块，用于解码基本层视频数据及子增强层视频数据。
在本实施例的一些可选的实现方式中，上述用于虚拟现实终端的视频解码装置600还可以进一步包括图6中未示出的结合单元、渲染单元和输出单元。
其中，结合单元用于将解码单元603解码后的基本层视频数据及解码后的视角范围包括的增强层视频数据结合。
渲染单元，用于对结合单元得到的结合后的视频数据进行渲染。
输出单元，用于输出渲染单元渲染后的视频。
本申请的上述实施例提供的用于虚拟现实终端的视频解码装置，通过在第二获取单元获取到基本层视频数据和增强层视频数据后，检测单元首先检测增强层数据是否完整以及基本层视频数据与增强层视频数据之间的时间差是否小于预设值，在二者均满足后，解码单元确定用户在虚拟现实终端中的视角窗口，进而对上述视角窗口对应的增强层视频数据进行解码，减小了对高分辨率视频解码的工作量，从而缩短了虚拟现实终端在播放高分辨率视频时的延时。
图7示出了根据本申请的虚拟现实终端的一个实施例的结构示意图。如图7所示，本实施例的虚拟现实终端700包括用于虚拟现实终端的视频解码装置701。其中，用于虚拟现实终端的视频解码装置701与图6所示的实施例的用于虚拟现实终端的视频解码装置600结构及原理相同。
图8是适于用来实现本申请实施例的用于虚拟现实终端的视频解码装置的计算机系统的结构示意图。如图8所示，虚拟现实终端800包括中央处理单元(CPU)801、存储器802、输入单元803和输出单元804，其中，CPU 801、存储器802、输入单元803以及输出单元804通过总线805彼此相连。在此，根据本申请的用于虚拟现实终端的视频解码方法可以被实现为计算机程序，并且存储在存储器802中。虚拟现实终端800中的CPU 801通过调用存储器802中存储的上述计算机程序，来具体实现本申请的用于虚拟现实终端的视频解码方法中限定的视图显示功能。在一些实现方式中，输入单元803可以是无线接收器等可用于通过广播方式获取基本层视频数据和通过宽带方式获取增强层视频数据的设备，输出单元804可以是显示屏等可用于显示全景视频的设备。由此，CPU 801在调用上述计算机程序执行视图显示功能时，可以控制输入单元803从服务器取待解码视频的基本层视频数据和增强层视频数据，以及控制输出单元804对全景视频进行显示。
图9示出了根据本申请的视频播放系统的一个实施例的结构示意图。本实施例的视频播放系统900包括依次通信连接的全景视频采集装置901、服务器902和虚拟现实终端903。
其中，全景视频采集装置901用于采集构成全景视频的多个视频数据。服务器902包括图4所示实施例的视频处理装置400，虚拟现实终端903包括图6所示实施例的用于虚拟现实终端的视频解码装置600。
本实施例的视频播放系统，可以为虚拟现实终端用户提供高分辨率的全景视频，提升用户体验。
应当理解，视频处理装置400中记载的单元401至单元404分别与图2中描述的方法中的各个步骤相对应；用于虚拟现实终端的视频解码装置600中记载的单元601至单元603分别与图3中描述的方法中的各个步骤相对应。由此，上文针对视频处理的方法描述的操作和特征同样适用于装置400及其中包含的单元；针对用于虚拟现实终端的视频解码方法描述的操作和特征同样适用于装置600及其中包含的单元，在此不再赘述。装置400的相应单元可以与服务器中的单元相互配合以实现本申请实施例的方案；装置600的相应单元可以与虚拟现实终端相互配合以实现本申请实施例的方案。
在本申请的上述实施例中，第一转动角以及第二转动角仅仅是用于区分两个不同的转动角；第一预设值以及第二预设值仅仅是用于区分两个不同的预设值；第一获取单元以及第二获取单元仅仅是用于区分两个不同的获取单元；第一传输模块以及第二传输模块仅仅是用于区分两个不同的传输模块；第一确定模块以及第二确定模块仅仅是用于区分两个不同的确定模块。本领域技术人员应当理解，其中的第一或第二并不构成对转动角、预设值、获取单元、传输模块、确定模块的特殊限定。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取单元、合成单元、编码单元及传输单元；或一种处理器包括第二获取单元、检测单元及解码单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取全景视频采集装置采集的多个视频数据的单元”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：获取全景视频采集装置采集的多个视频数据；合成所述多个视频数据，得到全景视频；对所述全景视频进行编码，得到基本层视频数据和增强层视频数据；将所述基本层视频数据和所述增强层视频数据通过不同的传输方式传输给终端。或获取待解码视频的基本层视频数据和增强层视频数据；检测以下条件是否满足：所述增强层视频数据的大小大于第一预设值，获取到所述基本层视频数据与获取到所述增强层视频数据的时间差小于第二预设值；响应于以上条件均满足，确定用户在所述虚拟现实终端的视角窗口，并对所述基本层视频数据及所述视角窗口包括的增强层视频数据进行解码。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种视频处理方法，其特征在于，所述方法包括：
获取全景视频采集装置采集的多个视频数据；
合成所述多个视频数据，得到全景视频；
对所述全景视频进行编码，得到基本层视频数据和增强层视频数据；
将所述基本层视频数据和所述增强层视频数据通过不同的传输方式传输给终端。
2.根据权利要求1所述的方法，其特征在于，所述合成所述多个视频数据，包括：
对所述多个视频数据中的每一帧视频进行投影变换，得到每一帧视频对应的投影图像；
拼接属于同一视频帧的多个投影图像，得到所述全景视频的各视频帧；
将所述全景视频的各视频帧按照帧顺序排列，得到所述全景视频。
3.根据权利要求1所述的方法，其特征在于，所述对所述全景视频进行编码，得到基本层视频数据和增强层视频数据，包括：
采用可扩展高效视频编码对所述全景视频进行编码，得到所述基本层视频数据和所述增强层视频数据，其中，所述基本层视频数据的分辨率为所述全景视频的分辨率的四分之一，所述增强层视频数据的分辨率与所述全景视频的分辨率相同。
4.根据权利要求1或3所述的方法，其特征在于，将所述基本层视频数据和所述增强层视频数据通过不同的网络传输方式传输给终端，包括：
将所述基本层视频数据通过广播方式传输给终端；
将所述增强层视频数据通过宽带方式传输给终端。
5.一种用于虚拟现实终端的视频解码方法，其特征在于，所述方法包括：
获取待解码视频的基本层视频数据和增强层视频数据；
检测以下条件是否满足：所述增强层视频数据的大小大于第一预设值，获取到所述基本层视频数据与获取到所述增强层视频数据的时间差小于第二预设值；
响应于以上条件均满足，确定用户在所述虚拟现实终端的视角窗口，并对所述基本层视频数据及所述视角窗口包括的增强层视频数据进行解码。
6.根据权利要求5所述的方法，其特征在于，所述虚拟现实终端包括重力传感器；以及
所述确定用户在所述虚拟现实终端的视角范围，包括：
从所述重力传感器处获取所述虚拟现实终端在水平方向的第一转动角以及在垂直方向的第二转动角；
将预设的视角窗口的中心点沿所述水平方向转动所述第一转动角、沿所述垂直方向转动所述第二转动角；
将转动后的视角窗口确定为所述用户在所述虚拟现实终端的视角窗口。
7.根据权利要求5所述的方法，其特征在于，所述对所述基本层视频数据及所述视角窗口包括的增强层视频数据进行解码，包括：
确定所述增强层视频数据中，所述视角窗口包括的子增强层视频数据；
解码所述基本层视频数据及所述子增强层视频数据。
8.根据权利要求5-7任一项所述的方法，其特征在于，所述方法还包括：
将解码后的基本层视频数据及解码后的所述视角范围包括的增强层视频数据结合；
对结合后的视频数据进行渲染；
输出渲染后的视频。
9.一种视频处理装置，其特征在于，所述装置包括：
第一获取单元，用于获取全景视频采集装置采集的多个视频数据；
合成单元，用于合成所述多个视频数据，得到全景视频；
编码单元，用于对所述全景视频进行编码，得到基本层视频数据和增强层视频数据；
传输单元，用于将所述基本层视频数据和所述增强层视频数据通过不同的传输方式传输给终端。
10.根据权利要求9所述的装置，其特征在于，所述合成单元包括：
投影模块，用于对所述多个视频数据中的每一帧视频进行投影变换，得到每一帧视频对应的投影图像；
拼接模块，用于拼接属于同一视频帧的多个投影图像，得到所述全景视频的各视频帧；
排列模块，用于将所述全景视频的各视频帧按照帧顺序排列，得到所述全景视频。
11.根据权利要求9所述的装置，其特征在于，所述编码单元进一步用于：
采用可扩展高效视频编码对所述全景视频进行编码，得到所述基本层视频数据和所述增强层视频数据，其中，所述基本层视频数据的分辨率为所述全景视频的分辨率的四分之一，所述增强层视频数据的分辨率与所述全景视频的分辨率相同。
12.根据权利要求9或10所述的装置，其特征在于，所述传输单元包括：
第一传输模块，用于将所述基本层视频数据通过广播方式传输给终端；
第二传输模块，用于将所述增强层视频数据通过宽带方式传输给终端。
13.一种用于虚拟现实终端的视频解码装置，其特征在于，所述装置包括：
第二获取单元，用于获取待解码视频的基本层视频数据和增强层视频数据；
检测单元，用于检测以下条件是否满足：所述增强层视频数据的大小大于第一预设值，获取到所述基本层视频数据与获取到所述增强层视频数据的时间差小于第二预设值；
解码单元，用于响应于以上条件均满足，确定用户在所述虚拟现实终端的视角窗口，并对所述基本层视频数据及所述视角窗口包括的增强层视频数据进行解码。
14.根据权利要求13所述的装置，其特征在于，所述虚拟现实终端包括重力传感器；以及
所述解码单元包括：
转动角获取模块，用于从所述重力传感器处获取所述虚拟现实终端在水平方向的第一转动角以及在垂直方向的第二转动角；
转动模块，用于将预设的视角窗口的中心点沿所述水平方向转动所述第一转动角、沿所述垂直方向转动所述第二转动角；
第一确定模块，用于将转动后的视角窗口确定为所述用户在所述虚拟现实终端的视角窗口。
15.根据权利要求13所述的装置，其特征在于，所述解码单元包括：
第二确定模块，用于确定所述增强层视频数据中，所述视角窗口包括的子增强层视频数据；
解码模块，用于解码所述基本层视频数据及所述子增强层视频数据。
16.根据权利要求13-15任一项所述的装置，其特征在于，所述装置还包括：
结合单元，用于将解码后的基本层视频数据及解码后的所述视角范围包括的增强层视频数据结合；
渲染单元，用于对结合后的视频数据进行渲染；
输出单元，用于输出渲染后的视频。
17.一种虚拟现实终端，其特征在于，所述虚拟现实终端包括如权利要求13-16任一项所述的用于虚拟现实终端的视频解码装置。
18.一种视频播放系统，其特征在于，所述视频播放系统包括依次通信连接的全景视频采集装置、服务器、虚拟现实终端；
所述服务器包括如权利要求9-12任一项所述的视频处理装置；
所述虚拟现实终端包括如权利要求13-16任一项所述的用于虚拟现实终端的视频解码装置。
CN201610865440.2A 2016-09-29 2016-09-29 视频处理、解码方法和装置、vr终端、视频播放系统 Pending CN106231317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610865440.2A CN106231317A (zh) 2016-09-29 2016-09-29 视频处理、解码方法和装置、vr终端、视频播放系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610865440.2A CN106231317A (zh) 2016-09-29 2016-09-29 视频处理、解码方法和装置、vr终端、视频播放系统

Publications (1)

Publication Number Publication Date
CN106231317A true CN106231317A (zh) 2016-12-14

Family

ID=58076181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610865440.2A Pending CN106231317A (zh) 2016-09-29 2016-09-29 视频处理、解码方法和装置、vr终端、视频播放系统

Country Status (1)

Country Link
CN (1) CN106231317A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803958A (zh) * 2017-01-12 2017-06-06 同济大学 一种基于叠加调制编码的数模混合视频传输方法
CN107205122A (zh) * 2017-08-03 2017-09-26 哈尔滨市舍科技有限公司 多分辨率全景视频直播拍照系统与方法
CN108419142A (zh) * 2017-01-03 2018-08-17 黑帆科技有限公司 Vr视频播放方法及装置
WO2018161789A1 (zh) * 2017-03-07 2018-09-13 华为技术有限公司 一种投影类型推荐方法、服务器及客户端
WO2018196790A1 (zh) * 2017-04-28 2018-11-01 华为技术有限公司 视频播放方法、设备及系统
CN108965847A (zh) * 2017-05-27 2018-12-07 华为技术有限公司 一种全景视频数据的处理方法及装置
CN109302636A (zh) * 2017-07-24 2019-02-01 阿里巴巴集团控股有限公司 提供数据对象全景图信息的方法及装置
CN109600597A (zh) * 2016-10-04 2019-04-09 联发科技股份有限公司 用于处理360°vr帧序列的方法及装置
CN109672897A (zh) * 2018-12-26 2019-04-23 北京数码视讯软件技术发展有限公司 全景视频编码方法及装置
CN109819272A (zh) * 2018-12-26 2019-05-28 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备
CN110290409A (zh) * 2019-07-26 2019-09-27 浙江开奇科技有限公司 数据处理方法、vr设备以及系统
CN110347163A (zh) * 2019-08-07 2019-10-18 京东方科技集团股份有限公司 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统
CN111133763A (zh) * 2017-09-26 2020-05-08 Lg 电子株式会社 360视频系统中的叠加处理方法及其设备
CN112383816A (zh) * 2020-11-03 2021-02-19 广州长嘉电子有限公司 基于安卓系统介入的atsc制式信号解析方法及系统
CN112639870A (zh) * 2018-08-24 2021-04-09 索尼公司 图像处理装置、图像处理方法和图像处理程序
CN113035226A (zh) * 2019-12-24 2021-06-25 中兴通讯股份有限公司 语音通话方法、通信终端和计算机可读介质
CN113228683A (zh) * 2018-12-21 2021-08-06 交互数字Vc控股公司 对球体的点的图像进行编码和解码的方法和装置
CN114466202A (zh) * 2020-11-06 2022-05-10 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951506A (zh) * 2010-09-17 2011-01-19 中兴通讯股份有限公司 实现可伸缩视频编码业务同步发送、接收的系统和方法
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN103108160A (zh) * 2013-01-24 2013-05-15 中国联合网络通信集团有限公司 监控视频数据获取方法、服务器和终端
US20140050264A1 (en) * 2012-08-16 2014-02-20 Vid Scale, Inc. Slice base skip mode signaling for multiple layer video coding
CN103716278A (zh) * 2012-09-28 2014-04-09 上海贝尔股份有限公司 中继通信系统中的分层传输
CN104054346A (zh) * 2012-01-19 2014-09-17 索尼公司 图像处理装置和方法
CN105847850A (zh) * 2016-03-28 2016-08-10 乐视控股（北京）有限公司 全景视频的实时播放方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951506A (zh) * 2010-09-17 2011-01-19 中兴通讯股份有限公司 实现可伸缩视频编码业务同步发送、接收的系统和方法
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN104054346A (zh) * 2012-01-19 2014-09-17 索尼公司 图像处理装置和方法
US20140050264A1 (en) * 2012-08-16 2014-02-20 Vid Scale, Inc. Slice base skip mode signaling for multiple layer video coding
CN103716278A (zh) * 2012-09-28 2014-04-09 上海贝尔股份有限公司 中继通信系统中的分层传输
CN103108160A (zh) * 2013-01-24 2013-05-15 中国联合网络通信集团有限公司 监控视频数据获取方法、服务器和终端
CN105847850A (zh) * 2016-03-28 2016-08-10 乐视控股（北京）有限公司 全景视频的实时播放方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡小强: "《虚拟现实技术应用基础》", 30 April 2007, 中央广播电视大学出版社 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600597A (zh) * 2016-10-04 2019-04-09 联发科技股份有限公司 用于处理360°vr帧序列的方法及装置
CN108419142A (zh) * 2017-01-03 2018-08-17 黑帆科技有限公司 Vr视频播放方法及装置
CN106803958A (zh) * 2017-01-12 2017-06-06 同济大学 一种基于叠加调制编码的数模混合视频传输方法
CN106803958B (zh) * 2017-01-12 2019-12-27 同济大学 一种基于叠加调制编码的数模混合视频传输方法
CN108574881B (zh) * 2017-03-07 2020-08-25 华为技术有限公司 一种投影类型推荐方法、服务器及客户端
CN108574881A (zh) * 2017-03-07 2018-09-25 华为技术有限公司 一种投影类型推荐方法、服务器及客户端
WO2018161789A1 (zh) * 2017-03-07 2018-09-13 华为技术有限公司 一种投影类型推荐方法、服务器及客户端
US11159848B2 (en) 2017-04-28 2021-10-26 Huawei Technologies Co., Ltd. Video playing method, device, and system
WO2018196790A1 (zh) * 2017-04-28 2018-11-01 华为技术有限公司 视频播放方法、设备及系统
CN108965847A (zh) * 2017-05-27 2018-12-07 华为技术有限公司 一种全景视频数据的处理方法及装置
CN108965847B (zh) * 2017-05-27 2020-04-14 华为技术有限公司 一种全景视频数据的处理方法及装置
CN109302636A (zh) * 2017-07-24 2019-02-01 阿里巴巴集团控股有限公司 提供数据对象全景图信息的方法及装置
CN109302636B (zh) * 2017-07-24 2022-05-27 阿里巴巴集团控股有限公司 提供数据对象全景图信息的方法及装置
CN107205122A (zh) * 2017-08-03 2017-09-26 哈尔滨市舍科技有限公司 多分辨率全景视频直播拍照系统与方法
CN111133763A (zh) * 2017-09-26 2020-05-08 Lg 电子株式会社 360视频系统中的叠加处理方法及其设备
US11575869B2 (en) 2017-09-26 2023-02-07 Lg Electronics Inc. Overlay processing method in 360 video system, and device thereof
CN112639870B (zh) * 2018-08-24 2024-04-12 索尼公司 图像处理装置、图像处理方法和图像处理程序
CN112639870A (zh) * 2018-08-24 2021-04-09 索尼公司 图像处理装置、图像处理方法和图像处理程序
US12062110B2 (en) 2018-08-24 2024-08-13 Sony Corporation Image processing apparatus and image processing method
CN113228683B (zh) * 2018-12-21 2024-08-02 交互数字Vc控股公司 对球体的点的图像进行编码和解码的方法和装置
CN113228683A (zh) * 2018-12-21 2021-08-06 交互数字Vc控股公司 对球体的点的图像进行编码和解码的方法和装置
CN109672897B (zh) * 2018-12-26 2021-03-16 北京数码视讯软件技术发展有限公司 全景视频编码方法及装置
CN109819272A (zh) * 2018-12-26 2019-05-28 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备
CN109672897A (zh) * 2018-12-26 2019-04-23 北京数码视讯软件技术发展有限公司 全景视频编码方法及装置
CN109819272B (zh) * 2018-12-26 2022-09-16 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备
CN110290409A (zh) * 2019-07-26 2019-09-27 浙江开奇科技有限公司 数据处理方法、vr设备以及系统
CN110347163A (zh) * 2019-08-07 2019-10-18 京东方科技集团股份有限公司 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统
CN110347163B (zh) * 2019-08-07 2022-11-18 京东方科技集团股份有限公司 一种无人驾驶设备的控制方法、设备及无人驾驶控制系统
CN113035226B (zh) * 2019-12-24 2024-04-23 中兴通讯股份有限公司 语音通话方法、通信终端和计算机可读介质
CN113035226A (zh) * 2019-12-24 2021-06-25 中兴通讯股份有限公司 语音通话方法、通信终端和计算机可读介质
CN112383816A (zh) * 2020-11-03 2021-02-19 广州长嘉电子有限公司 基于安卓系统介入的atsc制式信号解析方法及系统
CN114466202B (zh) * 2020-11-06 2023-12-12 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质
CN114466202A (zh) * 2020-11-06 2022-05-10 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质

Similar Documents

Publication Publication Date Title
CN106231317A (zh) 视频处理、解码方法和装置、vr终端、视频播放系统
KR102241082B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
Fan et al. A survey on 360 video streaming: Acquisition, transmission, and display
CN106416239B (zh) 用于交付内容和/或回放内容的方法和装置
US10523980B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
JP6501904B2 (ja) 球面ビデオのストリーミング
KR102262727B1 (ko) 360 비디오 처리 방법 및 그 장치
CN106131591B (zh) 直播方法、装置及终端
US20020147991A1 (en) Transmission of panoramic video via existing video infrastructure
JP6151355B2 (ja) パノラマピクチャの処理
KR102214085B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
CN106993177A (zh) 一种双目720度全景采集系统
CN106210525A (zh) 用于实现视频直播的相机及方法
CN105635675A (zh) 一种全景播放方法和装置
CN110637463B (zh) 360度视频处理方法
CN110199519A (zh) 用于多相机设备的方法
Hu et al. Mobile edge assisted live streaming system for omnidirectional video
US20240119660A1 (en) Methods for transmitting and rendering a 3d scene, method for generating patches, and corresponding devices and computer programs
CN111726598B (zh) 图像处理方法和装置
CN206117889U (zh) 一种双目720度全景采集系统
Niamut et al. Live event experiences-interactive UHDTV on mobile devices
US12081720B2 (en) Devices and methods for generating and rendering immersive video
CN112203101B (zh) 一种远程视频直播方法、装置及电子设备
Priyadharshini et al. 360 user-generated videos: Current research and future trends

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161214

RJ01 Rejection of invention patent application after publication