Nothing Special   »   [go: up one dir, main page]

CN107888987B - 一种全景视频播放方法及装置 - Google Patents

一种全景视频播放方法及装置 Download PDF

Info

Publication number
CN107888987B
CN107888987B CN201610872107.4A CN201610872107A CN107888987B CN 107888987 B CN107888987 B CN 107888987B CN 201610872107 A CN201610872107 A CN 201610872107A CN 107888987 B CN107888987 B CN 107888987B
Authority
CN
China
Prior art keywords
point
interest
user
panoramic video
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610872107.4A
Other languages
English (en)
Other versions
CN107888987A (zh
Inventor
周皓隽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610872107.4A priority Critical patent/CN107888987B/zh
Priority to PCT/CN2017/090907 priority patent/WO2018059034A1/zh
Publication of CN107888987A publication Critical patent/CN107888987A/zh
Priority to US16/366,807 priority patent/US11055814B2/en
Application granted granted Critical
Publication of CN107888987B publication Critical patent/CN107888987B/zh
Priority to US17/345,875 priority patent/US11803937B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种全景视频播放方法，用以解决现有的客户端为用户播放全景视频的技术方案中存在无法定位兴趣点发生的区域的问题。方法包括：客户端确定用户选择跳转播放全景视频中跳转时间点对应的视频；所述客户端匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围；当匹配到所述时间点落在一个兴趣点的时间范围内时，所述客户端确定能够观看到匹配到的兴趣点在所述全景视频的全景区域中发生的区域的用户视角；所述客户端获取所述全景视频中采用所述用户视角时所述时间点对应的视频，并跳转为播放采用所述用户视角时所述时间点对应的视频。

Description

一种全景视频播放方法及装置
技术领域
本发明涉及多媒体技术领域，尤其涉及一种全景视频播放方法及装置。
背景技术
全景视频又被称为360度视频，全景视频是通过采用多个摄像头对环境进行拍摄得到多个视频流，再通过同步、拼接、投影等技术，将多个视频流合成而成，全景视频包括环境上下左右前后的信息。
受限于人眼的视角范围(120度左右)和视频显示设备的视角范围(例如头戴设备的视角范围通常是96～110度)，用户观看全景视频时，用户只能观看到全景视频中全景区域的部分区域，用户可通过改变观看角度以观看全景视频中全景区域的不同位置区域，通常将用户当前可视区域称为当前用户视角(Field of view，FOV)。
用于播放全景视频的客户端可为用户提供全景视频的兴趣点信息，兴趣点是指全景视频中用户可能感兴趣的视频图像，兴趣点信息可包括全景视频中各个兴趣点发生的时间范围和关于兴趣点的文字描述。现有技术中，当用户选择跳转播放全景视频中某个兴趣点对应的视频时，客户端采用当前用户视角从当前播放的视频跳转到兴趣点对应的视频。但由于兴趣点可能只发生在全景视频中全景区域的部分区域，兴趣点发生的区域与当前用户视角可能并不一致，因此导致客户端跳转到兴趣点对应的视频时无法定位兴趣点发生的区域，进而不能为用户播放全景区域中兴趣点发生的区域，用户观看全景视频的体验较差。此外，目前客户端在为用户播放全景视频过程中，需要为用户显示全景视频中某些帧的缩略图时无法定位兴趣点发生的区域，导致无法为用户显示包含兴趣点发生的区域的缩略图，用户观看全景视频的体验较差。
综上所述，现有的客户端为用户播放全景视频的技术方案中存在无法定位兴趣点发生的区域的问题，用户观看全景视频的体验较差。
发明内容
本发明实施例提供了一种全景视频播放方法及装置，用以解决现有的客户端为用户播放全景视频的技术方案中存在无法定位兴趣点发生的区域的问题，提高用户观看全景视频的体验。
第一方面，本发明实施例提供的一种全景视频播放方法，包括：
客户端确定用户选择跳转播放全景视频中跳转时间点对应的视频；
所述客户端匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围；
当匹配到所述时间点落在一个兴趣点的时间范围内时，所述客户端确定能够观看到匹配到的兴趣点在所述全景视频的全景区域中发生的区域的用户视角；
所述客户端获取所述全景视频中采用所述用户视角时所述时间点对应的视频，并跳转为播放采用所述用户视角时所述时间点对应的视频。
其中，全景视频可包括至少一个兴趣点，兴趣点是指全景视频中用户可能感兴趣的视频图像。兴趣点发生的时间范围是指该兴趣点发生的起始时间至结束时间之间的时间段。
上述方法中，由于客户端在确定用户选择跳转播放全景视频中跳转时间点对应的视频之后，为用户跳转播放视频时采用的用户视角是能够观看到与跳转时间点匹配到的兴趣点在全景视频的全景区域中发生的区域的用户视角，因此解决了现有的客户端为用户播放全景视频的技术方案中，客户端跳转到兴趣点对应的视频时不能为用户播放全景区域中兴趣点发生的区域的问题。
在一个可能的设计中，所述客户端匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围之前，所述客户端从服务器获取所述全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，所述兴趣点的描述信息包括所述兴趣点的时间范围和所述兴趣点发生的区域。
客户端获取的兴趣点的描述信息可用于匹配用户选择的跳转时间点是否落在兴趣点发生的时间范围内，以及当匹配到用户选择的跳转时间点落在兴趣点发生的时间范围内之后，根据匹配到的兴趣点发生的区域确定用户视角。
在一个可能的设计中，通过如下方法实现所述客户端确定能够观看到匹配到的兴趣点在所述全景视频的全景区域中发生的区域的用户视角：
所述客户端确定匹配到的兴趣点发生的区域；
所述客户端根据所述匹配到的兴趣点发生的区域计算用户视角，并将所述客户端的视角参数设置为计算的所述用户视角，所述客户端的视角参数用于表示用户通过所述客户端观看全景视频时所述客户端所采用的用户视角的参数。
进一步的，可通过如下方法实现所述客户端根据所述匹配到的兴趣点发生的区域计算所述用户视角：
所述客户端在所述匹配到的兴趣点发生的区域中选择一个坐标点，并以所述坐标点作为基准坐标点采用坐标对齐的方式，在所述全景视频的全景区域中截取符合视角大小的区域作为所述用户视角。
需要说明的是，如果匹配到的兴趣点发生的区域的大小符合视角大小，则客户端可以将兴趣点发生的区域直接确定为用户视角。这样可避免利用坐标对齐方式计算用户视角，进而降低方法复杂度。
在一个可能的设计中，所述客户端根据所述匹配到的兴趣点发生的区域计算用户视角之前，所述客户端判定所述客户端在所述用户选择跳转播放全景视频时的当前用户视角与所述匹配到的兴趣点发生的区域不相符，并基于所述判定执行所述根据所述匹配到的兴趣点发生的区域计算用户视角的操作。
其中，所述当前用户视角与所述匹配到的兴趣点发生的区域不相符包括但不限于如下内容：
所述当前用户视角与所述匹配到的兴趣点发生的区域的重叠区域大小小于或等于第一阈值；或者，
所述当前用户视角的向量与所述匹配到的兴趣点发生的区域的向量之间的夹角大于或等于第二阈值；或者，
所述当前用户视角的旋转角与所述匹配到的兴趣点发生的区域的旋转角之间的夹角大于或等于第三阈值。
客户端在执行根据所述匹配到的兴趣点发生的区域计算用户视角之前，可判断所述匹配到的兴趣点发生的区域是否适合计算用户视角，这样可提高用户视角的计算精准度。
在一个可能的设计中，可通过如下两种方式实现所述客户端获取所述全景视频中采用所述用户视角时所述时间点对应的视频：
方式一：所述客户端从服务器获取所述全景视频中所述时间点对应的视频，并根据所述用户视角和所述时间点对应的视频，生成采用所述用户视角时所述时间点对应的视频。这种方式主要适用于客户端与服务器之间采用全幅传输方式传输全景视频的场景。
方式二：所述客户端从服务器获取所述全景视频中采用所述用户视角时所述时间点对应的视频。这种方式主要适用于客户端与服务器之间采用分块传输方式或者视角传输方式传输全景视频的场景。
第二方面，本发明实施例提供的一种全景视频播放方法，包括：
视频播放系统确定用户选择显示全景视频中特定时间点对应的缩略图；
所述视频播放系统匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围；
当匹配到所述时间点落在一个兴趣点的时间范围内时，所述视频播放系统将匹配到的兴趣点在所述全景视频的全景区域中发生的区域确定为用户视角；
所述视频播放系统获取所述全景视频的设定帧中位于所述用户视角范围内的图像，并将所述图像生成缩略图，所述设定帧包括所述时间点前后的至少一个关键帧。
视频播放系统包括客户端、服务器。可以由客户端通过上述方法生成缩略图，也可以由服务器通过上述方法生成缩略图，再由客户端为用户展示缩略图。
上述方法中，由于视频播放系统确定用户选择显示全景视频中特定时间点对应的缩略图之后，生成的缩略图采用的用户视角是与用户选择的特定时间点匹配到的兴趣点在全景视频的全景区域中发生的区域，因此实现了客户端为用户显示全景视频中兴趣点附近相关帧的缩略图，提高用户观看全景视频的观看体验。
在一个可能的设计中，当没有匹配到所述时间点落在任意一个兴趣点的时间范围内时，所述视频播放系统将所述全景视频的全景区域中当前用户视角确定为用户视角。
在一个可能的设计中，所述视频播放系统匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围之前，所述视频播放系统获取所述全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，所述兴趣点的描述信息包括所述兴趣点的时间范围和所述兴趣点发生的区域。
视频播放系统获取的兴趣点的描述信息可用于匹配用户选择的特定时间点是否落在兴趣点发生的时间范围内，以及当匹配到用户选择的特定时间点落在兴趣点发生的时间范围内之后，根据匹配到的兴趣点发生的区域确定用户视角。
在一个可能的设计中，通过如下方法实现所述视频播放系统获取所述全景视频的设定帧中位于所述用户视角范围内的图像：
所述视频播放系统获取所述全景视频中设定帧对应的全景图像；
为所述全景图像建立3D图像模型；
获取所述用户视角对应的区域在所述3D图像模型上的投影图像。
第三方面，本发明实施例提供的一种全景视频播放装置，包括：
跳转确定单元，用于确定用户选择跳转播放全景视频中跳转时间点对应的视频；
兴趣点匹配单元，用于匹配所述跳转确定单元确定的所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围；
视角确定单元，用于当所述兴趣点匹配单元匹配到所述时间点落在一个兴趣点的时间范围内时，确定能够观看到匹配到的兴趣点在所述全景视频的全景区域中发生的区域的用户视角；
跳转播放单元，用于获取所述全景视频中采用所述视角确定单元确定的所述用户视角时所述跳转确定单元确定的所述时间点对应的视频，并跳转为播放采用所述用户视角时所述时间点对应的视频。
在一个可能的设计中，上述装置还包括：
信息获取单元，用于在所述兴趣点匹配单元匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围之前，从服务器获取所述全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，所述兴趣点的描述信息包括所述兴趣点的时间范围和所述兴趣点发生的区域。
在一个可能的设计中，所述视角确定单元具体用于：
确定匹配到的兴趣点发生的区域；
根据所述匹配到的兴趣点发生的区域计算用户视角，并将客户端的视角参数设置为计算的所述用户视角，所述客户端的视角参数用于表示用户通过所述客户端观看全景视频时所述客户端所采用的用户视角的参数。
在一个可能的设计中，所述视角确定单元还用于：
在根据所述匹配到的兴趣点发生的区域计算用户视角之前，判定所述客户端在所述用户选择跳转播放全景视频时的当前用户视角与所述匹配到的兴趣点发生的区域不相符，并基于所述判定执行所述根据所述匹配到的兴趣点发生的区域计算用户视角的操作。
在一个可能的设计中，所述当前用户视角与所述匹配到的兴趣点发生的区域不相符包括：
所述当前用户视角与所述匹配到的兴趣点发生的区域的重叠区域大小小于或等于第一阈值；或者，
所述当前用户视角的向量与所述匹配到的兴趣点发生的区域的向量之间的夹角大于或等于第二阈值；或者，
所述当前用户视角的旋转角与所述匹配到的兴趣点发生的区域的旋转角之间的夹角大于或等于第三阈值。
在一个可能的设计中，所述视角确定单元在根据所述匹配到的兴趣点发生的区域计算所述用户视角时，具体用于：
在所述匹配到的兴趣点发生的区域中选择一个坐标点，并以所述坐标点作为基准坐标点采用坐标对齐的方式，在所述全景视频的全景区域中截取符合视角大小的区域作为所述用户视角。
在一个可能的设计中，所述跳转播放单元在获取所述全景视频中采用所述用户视角时所述时间点对应的视频时，具体用于：
从服务器获取所述全景视频中所述时间点对应的视频，并根据所述用户视角和所述时间点对应的视频，生成采用所述用户视角时所述时间点对应的视频；或者，
所述客户端从服务器获取所述全景视频中采用所述用户视角时所述时间点对应的视频。
第四方面，本发明实施例提供的一种全景视频播放装置，包括：
时间确定单元，用于确定用户选择显示全景视频中特定时间点对应的缩略图；
兴趣点匹配单元，用于匹配所述时间确定单元确定的所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围；
视角确定单元，用于当所述兴趣点匹配单元匹配到所述时间点落在一个兴趣点的时间范围内时，将匹配到的兴趣点在所述全景视频的全景区域中发生的区域确定为用户视角；
缩略图生成单元，用于获取所述全景视频的设定帧中位于所述用户视角范围内的图像，并将所述图像生成缩略图，所述设定帧包括所述时间点前后的至少一个关键帧。
在一个可能的设计中，所述视角确定单元还用于：
当所述兴趣点匹配单元没有匹配到所述时间点落在任意一个兴趣点的时间范围内时，将所述全景视频的全景区域中当前用户视角确定为用户视角。
在一个可能的设计中，上述装置还包括：
信息获取单元，用于在所述兴趣点匹配单元匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围之前，获取所述全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，所述兴趣点的描述信息包括所述兴趣点的时间范围和所述兴趣点发生的区域。
在一个可能的设计中，所述缩略图生成单元获取所述全景视频的设定帧中位于所述用户视角范围内的图像时，具体用于：
所述视频播放系统获取所述全景视频中设定帧对应的全景图像；
为所述全景图像建立3D图像模型；
获取所述用户视角对应的区域在所述3D图像模型上的投影图像。
附图说明
图1A为服务器采用全幅传输方式将全景视频传输给客户端的示意图；
图1B为服务器采用分块传输方式将全景视频传输给客户端的示意图；
图1C为服务器采用视角传输方式将全景视频传输给客户端的示意图；
图2为本发明实施例提供的一种全景视频播放方法流程示意图；
图3A为本发明实施例提供的一种全景视频的全景区域的示意图；
图3B为本发明实施例提供的另一种全景视频的全景区域的示意图；
图4A为本发明实施例提供的一种采用坐标对齐方式确定用户视角的示意图；
图4B为本发明实施例提供的另一种采用坐标对齐方式确定用户视角的示意图；
图5为本发明实施例提供的一种球面到矩形的投影原理示意图；
图6为本发明实施例提供的一种全景视频的播放方法中客户端与服务器的交互过程示意图；
图7A为本发明实施例提供的第二种全景视频播放方法流程示意图；
图7B为本发明实施例提供的第三种全景视频播放方法流程示意图；
图8为本发明实施例提供的一种客户端显示全景视频中采用用户视角时设定帧对应的缩略图的效果图；
图9为本发明实施例提供的一种全景视频的播放方法中客户端与服务器的交互过程；
图10为本发明实施例提供的另一种全景视频的播放方法中客户端与服务器的交互过程；
图11为本发明实施例提供的第一种全景视频播放方法装置结构示意图；
图12为本发明实施例提供的第二种全景视频播放方法装置结构示意图；
图13为本发明实施例提供的第三种全景视频播放方法装置结构示意图；
图14为本发明实施例提供的第四种全景视频播放方法装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种全景视频播放方法、客户端及服务器。其中，方法和客户端、服务器是基于同一发明构思的，由于方法及客户端、服务器解决问题的原理相似，因此客户端、服务器与方法的实施可以相互参见，重复之处不再赘述。
本发明实施例提供的技术方案中涉及客户端和服务器。客户端与服务器相对应，为用户提供本地服务的程序，本发明实施例涉及的客户端具有为用户播放全景视频功能，客户端上运行全景视频播放器，该播放器可以是安装在客户端上的一个应用，也可以是浏览器上的一个页面。客户端可以是无线终端设备，也可以是有线终端设备。无线终端设备可以是具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端设备可以经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信，无线终端设备可以是移动终端设备，如移动电话(或称为“蜂窝”电话)和具有移动终端设备的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。有线终端设备可以是有线电视机、有线计算机等。服务器是指提供计算服务的设备，服务器可响应客户端的服务请求，服务器具有承担服务并且保障服务的功能，本发明实施例涉及的服务器具有为客户端提供全景视频的功能。服务器的构成和通用的计算机架构类似，通常包括吹起、硬盘、内存、系统总线等，在处理能力、可靠性、稳定性、安全性、可扩展性、可管理性等方面要求较高，例如，服务器可以为个人电脑(Personal Computer，PC)服务器。客户端与服务器之间的通信支持通用流媒体协议，例如实时传输协议(Real-Time Protocol，RTP)、实时流协议(Real-Time Streaming Protocol，RTSP)、超文本传送协议(HyperText Transfer Protocol，HTTP)、动态自适应流媒体协议(Dynamic Adaptive Streaming over HTTP，DASH)、HTTP流媒体直播协议(HTTP LiveStreaming，HLS)等。
本发明实施例涉及全景视频播放场景。全景视频又被称为360度视频，全景视频是通过采用多个摄像头对环境进行拍摄得到多个视频流，再通过同步、拼接、投影等技术，将多个视频流合成而成，全景视频包括环境上下左右前后的信息。受限于人眼的视角范围(120度左右)和视频显示设备的视角范围(例如头戴设备的视角范围通常是96～110度)，用户观看全景视频时，用户只能观看到全景视频中全景区域的部分区域，用户可通过改变观看角度以观看全景视频中全景区域的不同位置区域，通常将用户的可视区域称为用户视角。
服务器为客户端提供全景视频，使得客户端为用户播放全景视频，服务器将全景视频传输给客户端通常有以下三种传输方式：
全幅传输方式：服务器采用H.264、H.265等视频编码形式对整幅全景图像进行编码并传输给客户端，客户端收到的是完整的全景视频。如图1A所示为全幅传输方式，图中阴影部分表示传输的视频数据。
分块传输方式：服务器将全景视频按预定义规则切分成多块(Tile)，对每块的图像进行独立的编码，产生多个视频数据；服务器只将当前用户视角对应块的视频数据传输给客户端，客户端收到的是一个或多个块的视频数据。如图1B所示为分块传输方式，图中阴影部分表示传输的视频数据。
进一步的，分块传输方式中服务器传输当前用户视角对应块的视频数据时可采用高清码流，服务器传输其他块的视频数据时可采用低清码流，从而保障当前用户视角发生变化时，服务器可以快速呈现低清的图像，减少等待时延。
视角传输方式：服务端实时地生成全景视频中当前用户视角对应的视频数据，并传输给客户端，客户端收到的是当前用户视角对应的视频数据。如图1C所示为视角传输方式，图中阴影部分表示传输的视频数据。
现有的客户端为用户播放全景视频的技术方案中不支持对兴趣点发生的区域的定位，因此，用户体验较差。
一方面，当用户选择跳转播放全景视频中某个兴趣点对应的视频时，客户端采用当前用户视角从当前播放的视频跳转到兴趣点对应的视频，由于全景区域中兴趣点发生的区域与当前用户视角可能并不一致，因此导致客户端跳转到兴趣点对应的视频时不能为用户播放全景区域中兴趣点发生的区域，导致用户体验较差。
另一方面，客户端为用户播放全景视频的技术方案中还未涉及客户端为用户显示全景视频中某些帧的缩略图的技术方案，更没有涉及客户端为用户显示全景视频中兴趣点附近相关帧的缩略图的技术方案，导致用户体验较差。
因此，本发明实施例提供一种全景视频播放方法、客户端及服务器，以分别解决现有技术中存在的上述问题。
下面通过具体实施例详细说明本发明实施例提供的技术方案，需要说明的是，实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
实施例一
针对现有技术中客户端跳转播放全景视频的兴趣点对应的视频时不能为用户播放兴趣点发生的区域而导致用户观看全景视频的体验较差的问题，本发明实施例提供了一种全景视频播放方法，如图2所示，该方法包括：
S201、客户端确定用户选择跳转播放全景视频中跳转时间点对应的视频。
客户端可通过与用户的交互确定用户选择跳转播放全景视频中跳转时间点对应的视频。例如，客户端检测到用户拖动或点击全景视频的进度条到某一时间点，或者客户端确定用户通过快进按钮快进到某一时间点，则客户端确定用户选择跳转播放全景视频中跳转时间点对应的视频，该某一时间点即为跳转时间点。
S202、客户端匹配用户选择的跳转时间点与全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围。
全景视频可包括至少一个兴趣点，兴趣点是指全景视频中用户可能感兴趣的视频图像。兴趣点是通过CP或SP实现对视频内容进行分析，判断视频中哪些时间点是用户有可能感兴趣观看的时间点，并对时间点及时间点对应的视频内容的描述进行记录存储，该过程通常被叫做打点，打点通常是由人工或结合计算机分析辅助完成的。兴趣点发生的时间范围是指该兴趣点发生的起始时间至结束时间之间的时间段。
可选的，在S202之前，客户端可从服务器获取全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，兴趣点的描述信息至少包括兴趣点发生的时间范围和兴趣点发生的区域。进一步的，兴趣点的描述信息还可以包括关于该兴趣点的内容描述信息，用于向用户介绍兴趣点包含的内容。例如，客户端在浏览器中通过JS脚本下载包含兴趣点的描述信息的文件。客户端可将获取的各个兴趣点的描述信息在显示区域的设定位置进行显示，供用户检索浏览。例如，客户端在全景视频的进度条上标记兴趣点发生的起始时间，或者在显示区域的某个位置显示包括各个兴趣点的描述信息的列表。
S203、当匹配到用户选择的跳转时间点落在一个兴趣点的时间范围内时，客户端确定能够观看到匹配到的兴趣点在全景视频的全景区域中发生的区域的用户视角。
可选的，通过如下步骤实现客户端确定能够观看到匹配到的兴趣点在全景视频的全景区域中发生的区域的用户视角：
步骤一：客户端确定匹配到的兴趣点发生的区域。
客户端可以从匹配到的兴趣点的描述信息中提取该兴趣点发生的区域，兴趣点的描述信息可以是客户端在S202之前从服务器获取的，兴趣点的描述信息至少包括兴趣点发生的时间范围和兴趣点发生的区域，兴趣点的描述信息的相关描述请参见S202、以及下文中表一至表四，此处不再赘述。
步骤二：客户端判断客户端在用户选择跳转播放全景视频时的当前用户视角与匹配到的兴趣点发生的区域是否相符。
其中，客户端判断客户端在用户选择跳转播放全景视频时的当前用户视角与匹配到的兴趣点发生的区域是否相符，具体包括以下任一或者任意组合：
一、客户端判断当前用户视角与匹配到的兴趣点发生的区域的重叠区域大小是否小于或等于第一阈值；如果是，则判定不相符；否则判定相符。
举例说明：假设当前用户视角和兴趣点发生区域采用坐标的表现形式，客户端获取的全景视频的兴趣点的描述信息如下表一所示：
表一
表一中兴趣点1发生的时间范围通过起始时间、结束时间表示，也可通过起始时间、持续时间表示。全景视频中兴趣点1发生的区域如图3A所示。
如图3B所示的阴影部分为当前用户视角与兴趣点1发生的区域的重叠区域，客户端在确定用户选择的跳转时间点落在表一中兴趣点1发生的时间范围内之后，比较图3B所示的重叠区域与第一阈值，例如第一阈值为当前用户视角的80％。客户端可在判定该重叠区域小于或等于第一阈值时，判定当前用户视角与匹配到的兴趣点1发生的区域不相符。
表一中，一个兴趣点只包含一个区域，考虑到某些场景下，一个兴趣点发生的时间范围内其发生的区域可能会发生变化，如足球比赛中，一个精彩进球可能包含从中圈带球传递到球门小禁区射门一系列过程，因此本实施例中可以将一个兴趣点进一步划分成多个子兴趣点，此时全景视频的兴趣点的描述信息如下表二所示：
表二
客户端匹配到用户选择的跳转时间点落在兴趣点1发生的时间范围内之后，进一步匹配跳转时间点落在兴趣点1的哪个子兴趣点发生的时间范围内。例如跳转时间点落在兴趣点1的子兴趣点1发生的时间范围内，客户端需要判断当前用户视角与子兴趣点1发生的区域的重叠区域大小是否小于或等于第一阈值。
二、客户端判断当前用户视角的向量与匹配到的兴趣点发生的区域的向量之间的夹角是否大于或等于第二阈值；如果是，则判定不相符；否则判定相符。
三、客户端判断当前用户视角的旋转角与匹配到的兴趣点发生的区域的旋转角之间的夹角是否大于或等于第三阈值；如果是，则判定不相符；否则判定相符。
举例说明：假设当前用户视角和兴趣点发生区域采用旋转角的表现形式，客户端获取的全景视频的兴趣点的描述信息如下表三所示：
表三
参数 描述
Number 全景视频包括的兴趣点的数量
Start，end 兴趣点1发生的起始时间、结束时间
pitch 兴趣点1的俯视角
roll 兴趣点1的偏航角
yaw 兴趣点1的翻滚角
Start，end 兴趣点2发生的起始时间、结束时间
…… ……
客户端确定用户选择的跳转时间点落在表一中兴趣点1发生的时间范围内之后，客户端判断前用户视角的旋转角与兴趣点1发生的区域的旋转角之间的夹角是否小于或等于第三阈值，例如第三阈值为20度。客户端可在判定该夹角小于或等于第三阈值时，判定当前用户视角与匹配到的兴趣点1发生的区域不相符。
表三中，兴趣点的观察点是固定的一点，考虑到某些场景下，观察点也可以是不固定的多个点，例如在自由视角视频(Free Viewpoint)中，用户可以任意更改观察点。因此本实施例中兴趣点的描述信息还可以包括观察点，此时全景视频的兴趣点的描述信息如下表四所示：
表四
参数 描述
Number 全景视频包括的兴趣点的数量
Start，end 兴趣点1发生的起始时间、结束时间
x、y、z 兴趣点1的观察点的空间坐标
pitch 兴趣点1的俯视角
roll 兴趣点1的偏航角
yaw 兴趣点1的翻滚角
Start，end 兴趣点2发生的起始时间、结束时间
…… ……
若兴趣点的描述信息还包括观察点，则客户端在判定前用户视角的旋转角与兴趣点1发生的区域的旋转角之间的夹角小于或等于第三阈值的条件下，还需判断当前用户视角的观察点与兴趣点1的观察点的关系。若当前用户视角的观察点与兴趣点1的观察点为同一个观察点，或者当前用户视角的观察点与兴趣点1的观察点之间的距离小于或等于第四阈值，例如该第四阈值为1米，则客户端采用上述方法，即客户端根据兴趣点1发生的区域计算用户视角。若当前用户视角的观察点与兴趣点1的观察点之间的距离大于第四阈值，则客户端将兴趣点1的观察点作为用户视角的观察点，再根据兴趣点1发生的区域计算用户视角。
需要说明的是，本实施例中当前用户视角和兴趣点发生的区域可采用多种表现形式，例如坐标、旋转角、空间向量等，因此如果当前用户视角和兴趣点发生的区域采用不同的表现形式，需要先将两者转换成同一种表现形式，才对两者进行比较。以将当前用户视角的旋转角转换成坐标为例，其转换过程包括：根据当前用户视角的旋转角，计算当前用户视角在3D曲面上的显示区域，例如将当前用户视角向球面投影，将观察点设在球心，根据旋转角和设备本身的显示区域大小，计算出当前用户视角在球面的投影；然后根据3D曲面到2D全景图像的坐标转换，计算出当前用户视角在3D曲面的显示区域在2D全景图像上的坐标；由于曲面到平面的转换结果可能不是一个矩形，因此可以进一步的计算一个包含当前用户视角的最小的矩形区域。
通过步骤二客户端判断客户端在用户选择跳转播放全景视频时的当前用户视角与匹配到的兴趣点发生的区域是否相符，如果判定不相符，则客户端基于该判定执行步骤三客户端根据匹配到的兴趣点发生的区域计算用户视角的操作。如果判定相符，则客户端不需要重新计算用户视角。
步骤三：客户端根据匹配到的兴趣点发生的区域计算用户视角。
可通过如下方法实现步骤三：客户端在匹配到的兴趣点发生的区域中选择一个坐标点，并以选择的坐标点作为基准坐标点采用坐标对齐的方式，在全景视频的全景区域中截取符合视角大小的区域作为用户视角。
例如，如图4A所示为以兴趣点发生的区域中左上角顶点的坐标作为基准坐标点，然后采用坐标对齐的方式在全景视频的全景区域中截符合视角大小的区域作为用户视角；如图4B所示为以兴趣点发生的区域中中心点坐标作为基准坐标点，然后采用坐标对齐的方式在全景视频的全景区域中截取符合视角大小的区域作为用户视角。
其中，符合视角大小是指客户端为用户播放全景视频时符合客户端的相关参数规定所使用的视角大小，例如不大于客户端的设备类型所允许达到的最大视角大小。基准坐标点可以选择为兴趣点发生的区域的中心坐标点或顶点的坐标点。
需要说明的是，如果匹配到的兴趣点发生的区域的大小符合视角大小，则客户端可以将匹配到的兴趣点发生的区域直接确定为用户视角。
步骤四：客户端将客户端的视角参数设置为计算的用户视角。
其中，客户端的视角参数用于表示用户通过客户端观看全景视频时客户端所采用的用户视角的参数。执行步骤三的目的在于，后续客户端能够按照设置后的视角参数为用户跳转播放视频。
S204、客户端获取全景视频中采用计算的用户视角时跳转时间点对应的视频，并跳转为播放采用计算的用户视角时跳转时间点对应的视频。
客户端计算用户视角之后，可通过以下两种方式实现获取全景视频中采用计算的用户视角时跳转时间点对应的视频。
方式一：客户端从服务器获取全景视频中跳转时间点对应的全景视频，并根据跳转时间点对应的视频和计算的用户视角，生成采用计算的用户视角时跳转时间点对应的视频。
上述方式一主要适用于客户端与服务器之间采用全幅传输方式传输全景视频的场景。
方式二：客户端从服务器获取全景视频中采用用户视角时跳转时间点对应的视频。具体包括：
步骤一：客户端向服务器发送用于请求获取全景视频中采用用户视角时跳转时间点对应的视频的请求消息，该请求消息中携带计算的用户视角和用户选择的跳转时间点。
步骤二：服务器收到请求消息后，根据计算的用户视角和用户选择的跳转时间点，生成全景视频中采用计算的用户视角时跳转时间点对应的视频。
步骤三：服务器将生成的全景视频中采用计算的用户视角时跳转时间点对应的视频发送给客户端。
上述方式二主要适用于客户端与服务器之间采用分块传输方式或者视角传输方式传输全景视频的场景。
上述方式一中客户端生成全景视频中采用计算的用户视角时跳转时间点对应的视频的方法与上述方式二中服务器生成全景视频中采用计算的用户视角时跳转时间点对应的视频的方法相同，包括：
获取全景视频中跳转时间点对应全景视频，然后为全景视频建立3D图像模型，获取计算的用户视角对应的区域在3D图像模型上的投影图像，获取的投影图像构成全景视频中采用计算的用户视角时跳转时间点对应的视频。
为全景视频建立3D图像模型是指根据全景视频的全景图像的投影格式，将矩形的全景视频的全景图像映射到建立的3D曲面上；例如，当采用球面投影时，可构造球形模型，并调用纹理映射接口将图像映射到该球面。生成投影图像是指根据观察点，将3D曲面的一部分重投影到矩形坐标中，获取投影对应的矩形图像。例如利用视点变换接口将虚拟视点设置在球形，并采用投影变换接口计算出投影图像。如图5所示，图5中从左到右依次表示球面到矩形的投影原理示意图、全景视频的图像示例、3D重建示例以及投影图像示例。
客户端或服务器生成全景视频中采用计算的用户视角时跳转时间点对应的视频的过程可采用现有技术，此处不再赘述。
S204中客户端跳转为播放采用计算的用户视角时跳转时间点对应的视频时，客户端采用计算的用户视角播放该视频，即通过S203的步骤三客户端将客户端的视角参数设置为计算的用户视角，客户端按照设置后的视角参数为用户跳转播放采用计算的用户视角时跳转时间点对应的视频。
示例性的，对应图2所示的一种全景视频的播放方法，如图6所示为一种全景视频的播放方法中客户端与服务器的交互过程，具体内容可参见图2对应的方法，此处不再赘述。
本实施例提供的一种全景视频的播放方法中，当用户选择跳转播放全景视频中跳转时间点对应的视频时，若客户端匹配到跳转时间点落到全景视频的一个兴趣点发生的时间范围内，则客户端确定能够观看到匹配到的兴趣点在所述全景视频的全景区域中发生的区域的用户视角，并获取全景视频中采用用户视角时跳转时间点对应的视频，进而实现跳转为播放采用用户视角时跳转时间点对应的视频。因此通过本实施例提供的技术方案，当用户选择跳转播放全景视频中兴趣点对应的视频时，能够实现客户端从当前用户视角切换至能够观看到用户选择的兴趣点发生的区域的视角，并为用户跳转播放全景区域中采用切换后的视角时用户选择的兴趣点对应的视频，提高用户观看全景视频的观看体验。
实施例二
针对现有技术中客户端为用户播放全景视频的技术方案中还没有涉及客户端为用户显示全景视频中兴趣点附近相关帧的缩略图的方法，而导致用户观看全景视频的体验较差的问题，本发明实施例提供了一种全景视频播放方法，以实现客户端为用户显示全景视频中兴趣点附近相关帧的缩略图。
本实施例中，视频播放系统包括客户端和服务器。本实施例中可以是由客户端通过本实施例提供的方法生成缩略图，也可以是由服务器通过本实施例提供的方法生成缩略图，再由客户端为用户展示缩略图。
如图7A所示，本发明实施例提供了一种全景视频播放方法，该方法中是由客户端生成缩略图，具体包括：
S701、客户端确定用户选择显示全景视频中特定时间点对应的缩略图。
客户端可通过与用户的交互确定用户选择显示全景视频中特定时间点对应的缩略图，该特定时间点可以是一个时间点或者多个时间点。例如，用户将鼠标悬停在客户端显示区域中全景视频的进度条的某个位置，客户端可以计算出鼠标悬停位置对应是时间点，该时间点即为特定时间点，则客户端确定用户选择显示全景视频中特定时间点对应的缩略图。
S702、客户端匹配用户选择的特定时间点与全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围。
全景视频可包括至少一个兴趣点，兴趣点是指全景视频中用户可能感兴趣的视频图像。兴趣点发生的时间范围是指该兴趣点发生的起始时间至结束时间之间的时间段。
可选的，在S702之前，客户端获取全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，通常全景视频的兴趣点的描述信息存储在服务器上，客户端可从服务器获取兴趣点的描述信息。兴趣点的描述信息包括兴趣点发生的时间范围和兴趣点发生的区域。进一步的，兴趣点的描述信息还可以包括关于该兴趣点的内容描述信息、兴趣点的观察点等等。兴趣点的描述信息可参见实施例一中的表一至表四，此处不再赘述。
S703、当匹配到用户选择的特定时间点落在一个兴趣点的时间范围内时，客户端将匹配到的兴趣点在全景视频的全景区域中发生的区域确定为用户视角。
可选的，在S702之后，当没有匹配到特定时间点落在任意一个兴趣点的时间范围内时，客户端可将全景视频的全景区域中当前用户视角确定为用户视角。
其中，兴趣点发生的区域的表现形式可以多种，例如坐标、向量、旋转角等，具体举例可参见实施例一的内容，此处不再赘述。
S704、客户端获取全景视频的设定帧中位于用户视角范围内的图像，并将该图像生成缩略图。
其中，设定帧包括特定时间点前后的至少一个关键帧。关键帧在特定时间点的前后位置、以及关键帧的数量可以设置，以实现为用户显示较佳数量的缩略图。
可选的，通过如下方法实现S704中客户端获取全景视频的设定帧中位于用户视角范围内的图像：
客户端获取全景视频中设定帧对应的全景图像；
为全景图像建立3D图像模型；
获取用户视角对应的区域在3D图像模型上的投影图像，该投影图像即为全景视频的设定帧中位于用户视角范围内的图像。
需要说明的是，设定帧包括至少一个帧，每一帧有一幅全景图像，客户端需要获取每一幅全景图像对应的投影图像。
上述方法中3D图像模型、投影图像等技术与实施例一的S204中的相关描述相同，为现有技术，此处不再赘述。
客户端获取全景视频的设定帧中位于用户视角范围内的图像之后，可按照预设比例对该图像进行放缩，以生成缩略图。
客户端生成缩略图后，可通过显示界面的设定位置显示采用用户视角时设定帧对应的缩略图。例如显示界面的设定位置可以是显示界面中全景视频的进度条上方的位置，如图8所示为客户端显示全景视频中采用用户视角时设定帧对应的缩略图的效果图，图8中椭圆标识的是缩略图。
示例性的，对应图7A所示的一种全景视频的播放方法，如图9所示为由客户端生成缩略图时一种全景视频的播放方法中客户端与服务器的交互过程，具体内容可参见图7A对应的方法，此处不再赘述
如图7B所示，本发明实施例提供了一种全景视频播放方法，该方法中是由服务器生成缩略图，具体包括：
S711、服务器确定用户选择显示全景视频中特定时间点对应的缩略图。
客户端可通过与用户的交互确定用户选择显示全景视频中特定时间点对应的缩略图，服务器从客户端获知用户选择显示全景视频中特定时间点对应的缩略图。
S712、服务器匹配用户选择的特定时间点与全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围。
通常全景视频的兴趣点的描述信息存储在服务器上，因此服务器从本地获取全景视频的兴趣点的描述信息。
S713、当匹配到用户选择的特定时间点落在一个兴趣点的时间范围内时，服务器将匹配到的兴趣点在全景视频的全景区域中发生的区域确定为用户视角。
可选的，在S712之后，当没有匹配到特定时间点落在任意一个兴趣点的时间范围内时，服务器可将全景视频的全景区域中当前用户视角确定为用户视角。
S714、服务器获取全景视频的设定帧中位于用户视角范围内的图像，并将该图像生成缩略图。
服务器生成缩略图后，将生成的缩略图发送给客户端，使得客户端通过显示界面的设定位置显示采用用户视角时设定帧对应的缩略图。
由于图7B所示的具体方法流程与图7A所示的具体方法流程相似，在此不再赘述。
示例性的，对应图7B所示的一种全景视频的播放方法，如图10所示为由服务器生成缩略图时一种全景视频的播放方法中客户端与服务器的交互过程，具体内容可参见图7B对应的方法，此处不再赘述。
需要说明的是，实施例二提供的方法可以独立实施，也可以与实施例一提供的方法结合实施。示例性的，客户端可以先为用户显示全景视频中某个片段的缩略图，用户预览缩略图后再决定是否选择跳转播放全景视频中该片段的视频。
本实施例提供的一种全景视频的播放方法中，当视频播放系统确定用户选择显示全景视频中特定时间点对应的缩略图时，若匹配到用户选择的特定时间点落到全景视频的一个兴趣点发生的时间范围内，则视频播放系统将匹配到的兴趣点在全景视频的全景区域中发生的区域确定为用户视角，然后获取全景视频的设定帧中位于用户视角范围内的图像，并将图像生成缩略图，由客户端为用户显示全景视频中用户选择的特定时间点对应的缩略图，进而实现客户端为用户显示全景视频中兴趣点附近相关帧的缩略图，提高用户观看全景视频的观看体验。
实施例三
基于以上实施例一，本发明实施例还提供了一种全景视频播放装置，该装置可以采用图2对应的实施例一提供的方法，该装置应用于客户端。参阅图11所示，一种全景视频播放装置1100包括：跳转确定单元1101、兴趣点匹配单元1102、视角确定单元1103以及跳转播放单元1104，可选的，装置1100还包括信息获取单元1105。其中，
跳转确定单元1101，用于确定用户选择跳转播放全景视频中跳转时间点对应的视频。
兴趣点匹配单元1102，用于匹配跳转确定单元1101确定的跳转时间点与全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围。
视角确定单元1103，用于当兴趣点匹配单元1102匹配到时间点落在一个兴趣点的时间范围内时，确定能够观看到匹配到的兴趣点在全景视频的全景区域中发生的区域的用户视角。
跳转播放单元1104，用于获取全景视频中采用视角确定单元1103确定的用户视角时跳转确定单元1101确定的时间点对应的视频，并跳转为播放采用用户视角时时间点对应的视频。
可选的，信息获取单元1105，用于在兴趣点匹配单元1102匹配时间点与全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围之前，从服务器获取全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，兴趣点的描述信息包括兴趣点的时间范围和兴趣点发生的区域。
可选的，视角确定单元1103具体用于：
确定匹配到的兴趣点发生的区域；
根据匹配到的兴趣点发生的区域计算用户视角，并将客户端的视角参数设置为计算的用户视角，客户端的视角参数用于表示用户通过客户端观看全景视频时客户端所采用的用户视角的参数。
可选的，视角确定单元1103还用于：
在根据匹配到的兴趣点发生的区域计算用户视角之前，判定客户端在用户选择跳转播放全景视频时的当前用户视角与匹配到的兴趣点发生的区域不相符，并基于该判定执行根据匹配到的兴趣点发生的区域计算用户视角的操作。
其中，前用户视角与匹配到的兴趣点发生的区域不相符包括：
当前用户视角与匹配到的兴趣点发生的区域的重叠区域大小小于或等于第一阈值；或者，
当前用户视角的向量与匹配到的兴趣点发生的区域的向量之间的夹角大于或等于第二阈值；或者，
当前用户视角的旋转角与匹配到的兴趣点发生的区域的旋转角之间的夹角大于或等于第三阈值。
可选的，视角确定单元1103在根据匹配到的兴趣点发生的区域计算用户视角时，具体用于：
在匹配到的兴趣点发生的区域中选择一个坐标点，并以坐标点作为基准坐标点采用坐标对齐的方式，在全景视频的全景区域中截取符合视角大小的区域作为用户视角。
可选的，跳转播放单元1104在获取全景视频中采用用户视角时时间点对应的视频时，具体用于：
从服务器获取全景视频中时间点对应的视频，并根据用户视角和时间点对应的视频，生成采用用户视角时时间点对应的视频；或者，
客户端从服务器获取全景视频中采用用户视角时时间点对应的视频。
上述装置1100中跳转确定单元1101的具体功能可参见实施例一中的S201，兴趣点匹配单元1102的具体功能可参见实施例一中的S202，视角确定单元1103的具体功能可参见实施例一中的S203，跳转播放单元1104的具体功能可参见实施例一中的S204，此处不再赘述。
需要说明的是，本发明实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本发明实施例还提供了一种全景视频播放装置，该装置可以采用图2对应的实施例一提供的方法，该装置可以是与图11所示的装置相同的设备，该装置应用于客户端。参阅图12所示，一种全景视频播放装置所在的主机1200包括：至少一个处理器1201、存储器1202和通信接口1203；所述至少一个处理器1201、所述存储器1202和所述通信接口1203均通过总线1204连接；
所述存储器1202，用于存储计算机执行指令。
所述至少一个处理器1201，用于执行所述存储器1202存储的计算机执行指令，使得所述主机1200通过所述通信接口1203与服务器所在的主机进行数据交互来执行上述实施例提供的全景视频播放方法。
至少一个处理器1201，可以包括不同类型的处理器1201，或者包括相同类型的处理器1201；处理器1201可以是以下的任一种：中央处理器(Central Processing Unit，简称CPU)、ARM处理器、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、专用处理器等具有计算处理能力的器件。一种可选实施方式，所述至少一个处理器1201还可以集成为众核处理器。
存储器1202可以是以下的任一种或任一种组合：随机存取存储器(Random AccessMemory，简称RAM)、只读存储器(read only memory，简称ROM)、非易失性存储器(non-volatile memory，简称NVM)、固态硬盘(Solid State Drives，简称SSD)、机械硬盘、磁盘、磁盘整列等存储介质。
通信接口1203用于主机1200与其他设备(例如服务器所在的主机)进行数据交互。通信接口1203可以是以下的任一种或任一种组合：网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
该总线1204可以包括地址总线、数据总线、控制总线等，为便于表示，图4用一条粗线表示该总线。总线1204可以是以下的任一种或任一种组合：工业标准体系结构(IndustryStandard Architecture，简称ISA)总线、外设组件互连标准(Peripheral ComponentInterconnect，简称PCI)总线、扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等有线数据传输的器件。
实施例四
基于以上实施例二，本发明实施例还提供了一种全景视频播放装置，该装置可以采用图7对应的实施例二提供的方法，该装置应用于视频播放系统。视频播放系统可以包括客户端或者服务器。当视频播放系统包括客户端时，该装置应用于客户端，用于生成缩略图；当视频播放系统包括服务器时，该装置应用于服务器，用于生成缩略图，再由客户端为用户展示缩略图。
参阅图13所示，一种全景视频播放装置1300包括：时间确定单元1301、兴趣点匹配单元1302、视角确定单元1303以及缩略图生成单元1304，可选的，装置1300还包括信息获取单元1305。其中，
时间确定单元1301，用于确定用户选择显示全景视频中特定时间点对应的缩略图。
兴趣点匹配单元1302，用于匹配时间确定单元1301确定的时间点与全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围。
视角确定单元1303，用于当兴趣点匹配单元1302匹配到时间点落在一个兴趣点的时间范围内时，将匹配到的兴趣点在全景视频的全景区域中发生的区域确定为用户视角。
缩略图生成单元1304，用于获取全景视频的设定帧中位于视角确定单元1303确定的用户视角范围内的图像，并将该图像生成缩略图，设定帧包括时间点前后的至少一个关键帧。
可选的，视角确定单元1303还用于：
当兴趣点匹配单元1302没有匹配到时间点落在任意一个兴趣点的时间范围内时，将全景视频的全景区域中当前用户视角确定为用户视角。
可选的，信息获取单元1305，用于在兴趣点匹配单元1302匹配时间点与全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围之前，获取全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，兴趣点的描述信息包括兴趣点的时间范围和兴趣点发生的区域。
可选的，缩略图生成单元1304获取全景视频的设定帧中位于用户视角范围内的图像时，具体用于：
获取全景视频中设定帧对应的全景图像；
为全景图像建立3D图像模型；
获取用户视角对应的区域在所述3D图像模型上的投影图像。
上述装置1300中时间确定单元1301的具体功能可参见实施例二中的S701或S711，兴趣点匹配单元1302的具体功能可参见实施例二中的S702或S712，视角确定单元1303的具体功能可参见实施例二中的S703或S713，缩略图生成单元1304的具体功能可参见实施例二中的S704或S714，此处不再赘述。
需要说明的是，本发明实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本发明实施例还提供了一种全景视频播放装置，该装置可以采用图7对应的实施例二提供的方法，该装置可以是与图13所示的装置相同的设备，该装置应用于视频播放系统。参阅图14所示，一种全景视频播放装置所在的主机1400包括：至少一个处理器1401、存储器1402和通信接口1403；所述至少一个处理器1401、所述存储器1402和所述通信接口1403均通过总线1404连接；
所述存储器1402，用于存储计算机执行指令。
所述至少一个处理器1401，用于执行所述存储器1402存储的计算机执行指令，使得所述主机1400通过所述通信接口1403与视频播放系统中的其他主机进行数据交互来执行上述实施例提供的全景视频播放中缩略图生成方法。
至少一个处理器1401，可以包括不同类型的处理器1401，或者包括相同类型的处理器1401；处理器1401可以是以下的任一种：CPU、ARM处理器、FPGA、专用处理器等具有计算处理能力的器件。一种可选实施方式，所述至少一个处理器1401还可以集成为众核处理器。
存储器1402可以是以下的任一种或任一种组合：RAM、ROM、NVM、SSD、机械硬盘、磁盘、磁盘整列等存储介质。
通信接口1403用于主机1400与视频播放系统中的其他主机进行数据交互。通信接口1403可以是以下的任一种或任一种组合：网络接口(例如以太网接口)、无线网卡等具有网络接入功能的器件。
该总线1404可以包括地址总线、数据总线、控制总线等，为便于表示，图4用一条粗线表示该总线。总线1404可以是以下的任一种或任一种组合：ISA总线、PCI总线、EISA总线等有线数据传输的器件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种全景视频播放方法，其特征在于，包括：
客户端确定用户选择跳转播放全景视频中跳转时间点对应的视频；
所述客户端匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围；
当匹配到所述时间点落在一个兴趣点的时间范围内时，所述客户端确定能够观看到匹配到的兴趣点在所述全景视频的全景区域中发生的区域的用户视角；
所述客户端获取所述全景视频中采用所述用户视角时所述时间点对应的视频，并跳转播放采用所述用户视角时所述时间点对应的视频；
所述客户端确定能够观看到匹配到的兴趣点在所述全景视频的全景区域中发生的区域的用户视角，包括：
所述客户端确定匹配到的兴趣点发生的区域；
所述客户端根据所述匹配到的兴趣点发生的区域计算用户视角，并将参数设置为计算的所述用户视角，所述参数用于表示用户通过所述客户端观看全景视频时所述客户端所采用的视角参数。
2.如权利要求1所述的方法，其特征在于，所述客户端匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围之前，还包括：
所述客户端从服务器获取所述全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，所述兴趣点的描述信息包括所述兴趣点的时间范围和所述兴趣点发生的区域。
3.如权利要求1所述的方法，其特征在于，所述客户端根据所述匹配到的兴趣点发生的区域计算用户视角之前，还包括：
所述客户端判定所述客户端在所述用户选择跳转播放全景视频时的当前用户视角与所述匹配到的兴趣点发生的区域不相符，并基于所述判定执行所述根据所述匹配到的兴趣点发生的区域计算用户视角的操作。
4.如权利要求3所述的方法，其特征在于，所述当前用户视角与所述匹配到的兴趣点发生的区域不相符包括：
所述当前用户视角与所述匹配到的兴趣点发生的区域的重叠区域大小小于或等于第一阈值；或者，
所述当前用户视角的向量与所述匹配到的兴趣点发生的区域的向量之间的夹角大于或等于第二阈值；或者，
所述当前用户视角的旋转角与所述匹配到的兴趣点发生的区域的旋转角之间的夹角大于或等于第三阈值。
5.如权利要求1所述的方法，其特征在于，所述客户端根据所述匹配到的兴趣点发生的区域计算所述用户视角，包括：
所述客户端在所述匹配到的兴趣点发生的区域中选择一个坐标点，并以所述坐标点作为基准坐标点采用坐标对齐的方式，在所述全景视频的全景区域中截取符合视角大小的区域作为所述用户视角。
6.如权利要求1至5任一所述的方法，其特征在于，所述客户端获取所述全景视频中采用所述用户视角时所述时间点对应的视频，包括：
所述客户端从服务器获取所述全景视频中所述时间点对应的视频，并根据所述用户视角和所述时间点对应的视频，生成采用所述用户视角时所述时间点对应的视频；或者，
所述客户端从服务器获取所述全景视频中采用所述用户视角时所述时间点对应的视频。
7.一种全景视频播放方法，其特征在于，包括：
视频播放系统确定用户选择显示全景视频中特定时间点对应的缩略图；
所述视频播放系统匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围；
当匹配到所述时间点落在一个兴趣点的时间范围内时，所述视频播放系统将匹配到的兴趣点在所述全景视频的全景区域中发生的区域确定为用户视角；
所述视频播放系统获取所述全景视频的设定帧中位于所述用户视角范围内的图像，并将所述图像生成缩略图，所述设定帧包括所述时间点前后的至少一个关键帧。
8.如权利要求7所述的方法，其特征在于，还包括：
当没有匹配到所述时间点落在任意一个兴趣点的时间范围内时，所述视频播放系统将所述全景视频的全景区域中当前用户视角确定为用户视角。
9.如权利要求7所述的方法，其特征在于，所述视频播放系统匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围之前，还包括：
所述视频播放系统获取所述全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，所述兴趣点的描述信息包括所述兴趣点的时间范围和所述兴趣点发生的区域。
10.如权利要求7至9任一所述的方法，其特征在于，所述视频播放系统获取所述全景视频的设定帧中位于所述用户视角范围内的图像，包括：
所述视频播放系统获取所述全景视频中设定帧对应的全景图像；
为所述全景图像建立3D图像模型；
获取所述用户视角对应的区域在所述3D图像模型上的投影图像。
11.一种全景视频播放装置，其特征在于，包括：
跳转确定单元，用于确定用户选择跳转播放全景视频中跳转时间点对应的视频；
兴趣点匹配单元，用于匹配所述跳转确定单元确定的所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围；
视角确定单元，用于当所述兴趣点匹配单元匹配到所述时间点落在一个兴趣点的时间范围内时，确定能够观看到匹配到的兴趣点在所述全景视频的全景区域中发生的区域的用户视角；
跳转播放单元，用于获取所述全景视频中采用所述视角确定单元确定的所述用户视角时所述跳转确定单元确定的所述时间点对应的视频，并跳转为播放采用所述用户视角时所述时间点对应的视频；
所述视角确定单元具体用于：
确定匹配到的兴趣点发生的区域；
根据所述匹配到的兴趣点发生的区域计算用户视角，并将客户端的视角参数设置为计算的所述用户视角，所述客户端的视角参数用于表示用户通过所述客户端观看全景视频时所述客户端所采用的用户视角的参数。
12.如权利要求11所述的装置，其特征在于，还包括：
信息获取单元，用于在所述兴趣点匹配单元匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围之前，从服务器获取所述全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，所述兴趣点的描述信息包括所述兴趣点的时间范围和所述兴趣点发生的区域。
13.如权利要求11所述的装置，其特征在于，所述视角确定单元还用于：
在根据所述匹配到的兴趣点发生的区域计算用户视角之前，判定所述客户端在所述用户选择跳转播放全景视频时的当前用户视角与所述匹配到的兴趣点发生的区域不相符，并基于所述判定执行所述根据所述匹配到的兴趣点发生的区域计算用户视角的操作。
14.如权利要求13所述的装置，其特征在于，所述当前用户视角与所述匹配到的兴趣点发生的区域不相符包括：
所述当前用户视角与所述匹配到的兴趣点发生的区域的重叠区域大小小于或等于第一阈值；或者，
所述当前用户视角的向量与所述匹配到的兴趣点发生的区域的向量之间的夹角大于或等于第二阈值；或者，
所述当前用户视角的旋转角与所述匹配到的兴趣点发生的区域的旋转角之间的夹角大于或等于第三阈值。
15.如权利要求11所述的装置，其特征在于，所述视角确定单元在根据所述匹配到的兴趣点发生的区域计算所述用户视角时，具体用于：
在所述匹配到的兴趣点发生的区域中选择一个坐标点，并以所述坐标点作为基准坐标点采用坐标对齐的方式，在所述全景视频的全景区域中截取符合视角大小的区域作为所述用户视角。
16.如权利要求11至15任一所述的装置，其特征在于，所述跳转播放单元在获取所述全景视频中采用所述用户视角时所述时间点对应的视频时，具体用于：
从服务器获取所述全景视频中所述时间点对应的视频，并根据所述用户视角和所述时间点对应的视频，生成采用所述用户视角时所述时间点对应的视频；或者，
所述客户端从服务器获取所述全景视频中采用所述用户视角时所述时间点对应的视频。
17.一种全景视频播放装置，其特征在于，包括：
时间确定单元，用于确定用户选择显示全景视频中特定时间点对应的缩略图；
兴趣点匹配单元，用于匹配所述时间确定单元确定的所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围；
视角确定单元，用于当所述兴趣点匹配单元匹配到所述时间点落在一个兴趣点的时间范围内时，将匹配到的兴趣点在所述全景视频的全景区域中发生的区域确定为用户视角；
缩略图生成单元，用于获取所述全景视频的设定帧中位于所述用户视角范围内的图像，并将所述图像生成缩略图，所述设定帧包括所述时间点前后的至少一个关键帧。
18.如权利要求17所述的装置，其特征在于，所述视角确定单元还用于：
当所述兴趣点匹配单元没有匹配到所述时间点落在任意一个兴趣点的时间范围内时，将所述全景视频的全景区域中当前用户视角确定为用户视角。
19.如权利要求17所述的装置，其特征在于，还包括：
信息获取单元，用于在所述兴趣点匹配单元匹配所述时间点与所述全景视频包括的至少一个兴趣点中各个兴趣点发生的时间范围之前，获取所述全景视频包括的至少一个兴趣点中各个兴趣点的描述信息，所述兴趣点的描述信息包括所述兴趣点的时间范围和所述兴趣点发生的区域。
20.如权利要求17至19任一所述的装置，其特征在于，所述缩略图生成单元获取所述全景视频的设定帧中位于所述用户视角范围内的图像时，具体用于：
获取所述全景视频中设定帧对应的全景图像；
为所述全景图像建立3D图像模型；
获取所述用户视角对应的区域在所述3D图像模型上的投影图像。
CN201610872107.4A 2016-09-29 2016-09-29 一种全景视频播放方法及装置 Active CN107888987B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610872107.4A CN107888987B (zh) 2016-09-29 2016-09-29 一种全景视频播放方法及装置
PCT/CN2017/090907 WO2018059034A1 (zh) 2016-09-29 2017-06-29 一种全景视频播放方法及装置
US16/366,807 US11055814B2 (en) 2016-09-29 2019-03-27 Panoramic video with interest points playback and thumbnail generation method and apparatus
US17/345,875 US11803937B2 (en) 2016-09-29 2021-06-11 Method, apparatus and computer program product for playback of a video at a new time point

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610872107.4A CN107888987B (zh) 2016-09-29 2016-09-29 一种全景视频播放方法及装置

Publications (2)

Publication Number Publication Date
CN107888987A CN107888987A (zh) 2018-04-06
CN107888987B true CN107888987B (zh) 2019-12-06

Family

ID=61762426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610872107.4A Active CN107888987B (zh) 2016-09-29 2016-09-29 一种全景视频播放方法及装置

Country Status (3)

Country Link
US (2) US11055814B2 (zh)
CN (1) CN107888987B (zh)
WO (1) WO2018059034A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
CN108765524B (zh) * 2018-06-06 2022-04-05 微幻科技(北京)有限公司 基于全景照片的动画生成方法及装置
CN109040846B (zh) * 2018-07-13 2021-06-18 北京幻鲸数字科技有限公司 全景视频播放方法及装置
CN110929056B (zh) * 2018-09-19 2023-04-07 宏碁股份有限公司 多媒体文件的产生方法与播放方法、产生装置与播放装置
CN111200754B (zh) * 2018-11-16 2021-08-10 北京字节跳动网络技术有限公司 一种全景视频的播放方法、装置、终端及存储介质
CN111954003A (zh) * 2019-05-17 2020-11-17 阿里巴巴集团控股有限公司 全景视频播放方法以及装置
CN110225401B (zh) * 2019-07-12 2022-04-29 青岛一舍科技有限公司 一种可调整视角的视频播放方法及装置
CN110225405B (zh) * 2019-07-12 2021-06-25 青岛一舍科技有限公司 一种全景视频播放方法及装置
IL289942B1 (en) * 2019-07-22 2025-01-01 Interdigital Vc Holdings Inc Method and device for transmitting volumetric video content
CN110516105B (zh) * 2019-08-01 2021-12-24 浙江开奇科技有限公司 用于全景视频影像的语音播放方法及终端设备
CN110769174B (zh) * 2019-10-31 2022-05-06 维沃移动通信有限公司 视频查看方法及电子设备
CN111182218A (zh) * 2020-01-07 2020-05-19 影石创新科技股份有限公司 全景视频处理方法、装置、设备及存储介质
CN114581631A (zh) 2020-12-02 2022-06-03 腾讯科技（深圳）有限公司 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
CN112559884B (zh) * 2020-12-25 2023-09-26 北京百度网讯科技有限公司 全景图与兴趣点挂接的方法、装置、电子设备及存储介质
CN113630648B (zh) * 2021-07-01 2024-01-12 中图云创智能科技(北京)有限公司 多剧情全景视频的播放方法、装置及计算机可读存储介质
CN113873313B (zh) * 2021-09-22 2024-03-29 乐相科技有限公司 一种虚拟现实画面分享方法及装置
CN114567742A (zh) * 2021-12-27 2022-05-31 影石创新科技股份有限公司 全景视频的传输方法、装置及存储介质
CN115103114B (zh) * 2022-06-16 2024-06-14 京东方科技集团股份有限公司 全景视频的视角跟踪方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301769A (zh) * 2014-09-24 2015-01-21 华为技术有限公司 呈现图像的方法、终端设备和服务器
CN105357585A (zh) * 2015-08-29 2016-02-24 华为技术有限公司 对视频内容任意位置和时间播放的方法及装置
CN105516755A (zh) * 2015-12-14 2016-04-20 成都易瞳科技有限公司 一种视频预览方法与装置
CN105898139A (zh) * 2015-12-23 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频制作方法及装置、全景视频播放方法及装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6374260B1 (en) * 1996-05-24 2002-04-16 Magnifi, Inc. Method and apparatus for uploading, indexing, analyzing, and searching media content
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US7594177B2 (en) * 2004-12-08 2009-09-22 Microsoft Corporation System and method for video browsing using a cluster index
US9361943B2 (en) * 2006-11-07 2016-06-07 The Board Of Trustees Of The Leland Stanford Jr. University System and method for tagging objects in a panoramic video and associating functions and indexing panoramic images with same
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9288511B2 (en) * 2011-02-18 2016-03-15 Futurewei Technologies, Inc. Methods and apparatus for media navigation
US9838687B1 (en) * 2011-12-02 2017-12-05 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting with reduced bandwidth streaming
JP5992210B2 (ja) * 2012-06-01 2016-09-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP6006536B2 (ja) * 2012-06-01 2016-10-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
US8863208B2 (en) * 2012-06-18 2014-10-14 Micropower Technologies, Inc. Synchronizing the storing of streaming video
JP6548203B2 (ja) 2013-03-18 2019-07-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法
WO2015050562A1 (en) * 2013-10-04 2015-04-09 Intel Corporation Technology for dynamically adjusting video playback speed
US10296281B2 (en) * 2013-11-05 2019-05-21 LiveStage, Inc. Handheld multi vantage point player
US20150139601A1 (en) * 2013-11-15 2015-05-21 Nokia Corporation Method, apparatus, and computer program product for automatic remix and summary creation using crowd-sourced intelligence
US20150207988A1 (en) * 2014-01-23 2015-07-23 Nvidia Corporation Interactive panoramic photography based on combined visual and inertial orientation tracking
US9760768B2 (en) * 2014-03-04 2017-09-12 Gopro, Inc. Generation of video from spherical content using edit maps
KR102257621B1 (ko) * 2014-05-19 2021-05-28 엘지전자 주식회사 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
US9569498B2 (en) * 2014-06-27 2017-02-14 Google Inc. Using image features to extract viewports from images
US10074013B2 (en) * 2014-07-23 2018-09-11 Gopro, Inc. Scene and activity identification in video summary generation
US10452713B2 (en) * 2014-09-30 2019-10-22 Apple Inc. Video analysis techniques for improved editing, navigation, and summarization
US9778740B2 (en) * 2015-04-10 2017-10-03 Finwe Oy Method and system for tracking an interest of a user within a panoramic visual content
US10586469B2 (en) * 2015-06-08 2020-03-10 STRIVR Labs, Inc. Training using virtual reality
EP3112985A1 (en) * 2015-06-30 2017-01-04 Nokia Technologies Oy An apparatus for video output and associated methods
KR102399049B1 (ko) * 2015-07-15 2022-05-18 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 처리 방법
CN105100961B (zh) 2015-07-23 2018-03-13 华为技术有限公司 视频缩略图生成方法及生成装置
US20170038942A1 (en) * 2015-08-07 2017-02-09 Vrideo Playback initialization tool for panoramic videos
US10230866B1 (en) * 2015-09-30 2019-03-12 Amazon Technologies, Inc. Video ingestion and clip creation
US10339629B2 (en) * 2015-10-09 2019-07-02 Samsung Electronics Co., Ltd. Method for providing indication in multi-dimensional media in electronic device
US10558353B2 (en) * 2015-11-18 2020-02-11 Samsung Electronics Co., Ltd. System and method for 360-degree video navigation
KR102157655B1 (ko) * 2016-02-17 2020-09-18 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US20170244959A1 (en) * 2016-02-19 2017-08-24 Adobe Systems Incorporated Selecting a View of a Multi-View Video
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
EP3236336B1 (en) * 2016-04-21 2019-03-27 Nokia Technologies Oy Virtual reality causal summary content
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
US10841557B2 (en) * 2016-05-12 2020-11-17 Samsung Electronics Co., Ltd. Content navigation
EP3264222B1 (en) * 2016-06-27 2019-04-10 Nokia Technologies Oy An apparatus and associated methods
WO2020227463A1 (en) * 2019-05-07 2020-11-12 Tufts Medical Center, Inc. Objective assessment of joint damage
DE112020002727T5 (de) * 2019-06-07 2022-03-10 Sony Group Corporation Videoverteilsystem, videoverteilverfahren und display-terminal
US11442609B1 (en) * 2020-04-08 2022-09-13 Gopro, Inc. Interface for setting speed and direction of video playback

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301769A (zh) * 2014-09-24 2015-01-21 华为技术有限公司 呈现图像的方法、终端设备和服务器
CN105357585A (zh) * 2015-08-29 2016-02-24 华为技术有限公司 对视频内容任意位置和时间播放的方法及装置
CN105516755A (zh) * 2015-12-14 2016-04-20 成都易瞳科技有限公司 一种视频预览方法与装置
CN105898139A (zh) * 2015-12-23 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频制作方法及装置、全景视频播放方法及装置

Also Published As

Publication number Publication date
US20190220953A1 (en) 2019-07-18
US11803937B2 (en) 2023-10-31
US11055814B2 (en) 2021-07-06
WO2018059034A1 (zh) 2018-04-05
US20210304353A1 (en) 2021-09-30
CN107888987A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
CN107888987B (zh) 一种全景视频播放方法及装置
US11303881B2 (en) Method and client for playing back panoramic video
US11037365B2 (en) Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
US10659685B2 (en) Control of viewing angles for 360-degree video playback
RU2711591C1 (ru) Способ, устройство и компьютерная программа для адаптивной потоковой передачи мультимедийного контента виртуальной реальности
CN107911737B (zh) 媒体内容的展示方法、装置、计算设备及存储介质
US11184646B2 (en) 360-degree panoramic video playing method, apparatus, and system
US20170150212A1 (en) Method and electronic device for adjusting video
JP7200935B2 (ja) 画像処理装置および方法、ファイル生成装置および方法、並びにプログラム
KR102261544B1 (ko) 스트리밍 서버 및 이를 이용한 다시점 동영상에서의 객체 처리 방법
CN108810567B (zh) 一种音频与视频视角匹配的方法、客户端和服务器
CN108933954A (zh) 视频图像处理方法、机顶盒以及计算机可读存储介质
US20240056549A1 (en) Method, computer device, and computer program for providing high-quality image of region of interest by using single stream
US20180364800A1 (en) System for Picking an Object Base on View-Direction and Method Thereof
CN116668662A (zh) 图像的处理方法、装置和系统
CN111448544A (zh) 沉浸式虚拟环境中的动画化视角的选择
CN111885417A (zh) Vr视频播放方法、装置、设备以及存储介质
US10192362B2 (en) Generating virtual reality and augmented reality content for a live event
JP6623905B2 (ja) サーバ装置、情報処理方法およびプログラム
CN118898667A (zh) 图像渲染方法和装置
CN115955536A (zh) 一种全景视频录制的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant