CN102307309A - 一种基于自由视点的体感交互导播系统及方法 - Google Patents
一种基于自由视点的体感交互导播系统及方法 Download PDFInfo
- Publication number
- CN102307309A CN102307309A CN201110214935A CN201110214935A CN102307309A CN 102307309 A CN102307309 A CN 102307309A CN 201110214935 A CN201110214935 A CN 201110214935A CN 201110214935 A CN201110214935 A CN 201110214935A CN 102307309 A CN102307309 A CN 102307309A
- Authority
- CN
- China
- Prior art keywords
- video
- streaming media
- client
- panoramic
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种基于自由视点的体感交互导播系统及方法。本发明包括服务器端、视频传输网络和客户端；服务器端包括多像机系统、视频处理服务器、流媒体服务器，完成多路视频采集、全景视频合成、H.264编码和RTSP流媒体服务；视频传输网络是基于TCP/IP协议的局域网或广域网；客户端包括自由视点播放终端和体感传感器，完成视频流媒体接收和解码、基于体感控制器的手势识别、自由视点生成等功能模块。本发明通过将多路视频合成全景视频，不仅可直接利用当前已成熟的视频编码和流媒体传输技术，节省软硬件投资和技术成本，而且可实现真正360°全场景的无缝漫游和视点自由切换。
Description
技术领域
本发明属于计算机视觉领域，特别是一种基于自由视点视频的体感交互导播系统及实现方法,更具体的是一种观众通过体感交互设备进行人机交互，实现网络自由视点视频的体感交互导播系统及实现方法。
背景技术
视频/影视系统已成为当前信息化社会中最具影响力的大众传播媒体。传统视频/影视系统中，观众只能被动地接受拍摄者或导播员的视角选择或镜头切换，且在视角或镜头切换时存在视点位置和视频画面的跳跃，导致观众缺乏观看时的临场感和现场感。
随着近年来数字多媒体技术的快速发展，人们对于视频观看过程中的自主性及感官体验提出了更高的要求。在这种背景下，自由视点视频应运而生。自由视点视频通过多像机视频合成和虚拟视点插值等技术，可以提供场景任意角度和尺度的视频信息，使得观看过程中具有更好的自由度和三维沉浸感。现有的自由视点视频技术根据基本原理可分为两类。第一种是基于三维模型的方法，为得到场景中任意视点的图像，需将场景进行三维建模，然后根据选择的视点位置，通过三维重投影技术生成虚拟视点图像。该方法主要缺点在于难以实时获取精确的三维动态场景模型。第二种是基于二维图像插值方法，该方法是根据选择的视点位置，从已得到的离散视点图像中选取相邻视点图像，通过插值技术合成生成一幅虚拟视点图像。该方法特点在于无需考虑实际场景中的几何信息。
随着我国“三网合一”的产业发展趋势和网络视频技术的突破性发展，交互式视频已逐渐成为全球新一代多媒体数字影视和数字娱乐技术的主流。鼠标、键盘、触摸屏等设备已成为目前网络视频直播/点播系统中必不可少的人机交互设备，然而这些传统交互设备存在距离受限、交互过程不直观、不灵活等局限性。近期提出体感控制技术（如微软Kinect设备）为人机交互方式提供了创新性变革，非接触式且无需任何操作的交互方式已成为发展趋势。
发明内容
本发明针对传统视频/影视系统的不足和局限性，通过融合自由视点生成技术、网络流媒体传输技术和体感交互技术，实现一种体感交互导播系统及实现方法，使得观众可完全自主地选择观看的视点，具有更强的现场感和临场感的观看体验。
为实现上述目的，本发明采取以下技术方案：一种基于自由视点的体感交互导播方法，包括以下步骤：
步骤（1）多路视频采集；
所述的多路视频采集方法具体为：
采用一个由5个CCD像机构成的多像机系统拍摄场景视频数据。5个像机从各自固定的视点方向同时拍摄，并将其视频数据分别上传至视频处理服务器；
步骤（2）全景视频合成；
所述的全景视频合成方法具体为：
在视频处理服务器上，对5个像机在同一时刻采集到的视频帧，根据已事先离线标定的像机内外参数，使用图像拼接方法将其实时地合成全景视频帧，从而获得全景视频。所述的图像拼接方法为成熟技术；
步骤（3）采用H.264图像编码标准将步骤（2）中合成的全景视频进行实时编码，并将编码完成后的H.264码流通过局域网传输至RTSP流媒体服务器；
步骤（4）RTSP流媒体服务器对步骤（3）中传来的H.264码流进行打包封装；同时以统一资源定位地址（URL）的形式发布视频链接，供客户端进行选择和点播；
步骤（5）客户端根据RTSP流媒体服务器发布的视频链接，向RTSP流媒体服务器请求视频服务，并建立一个新的视频服务流；
步骤（6）客户端从RTSP流媒体服务器上接收留流媒体数据，并进行RTSP解包和H.264解码，还原出全景视频；
步骤（7）通过步骤（9）、步骤（10）所述的交互方式进行虚拟视点定位，确定虚拟视点合成所需要的视频区域范围；
步骤（8）虚拟视点生成和显示；
所述的虚拟视点生成和显示方法具体为：
根据步骤（7）中得到的视频区域范围，将全景视频帧中相应区域通过坐标系映射至虚拟视点位置，并进行视点畸变校正和显示；所述的坐标系映射方法和视点畸变校正方法为成熟方法；
步骤（9）客户端通过体感传感器获取用户人体区域的深度和彩色图像序列；
步骤（10）根据步骤（9）中深度和彩色图像序列提取人体骨架及其关键节点位置；所述的人体骨架和关键点提取方法为成熟方法；
所述的步骤9和步骤10构成交互方式；
步骤（11）根据步骤（10）中所得到的人体骨架及其关键节点位置，分析识别用户手部关键节点的运动轨迹及动作；
步骤（12）根据步骤（11）中得到的用户手部动作与步骤（13）所述的预定义动作进行匹配，并进行相对应的导播操作，包括视频画面拉近/拉远，视点向左、向右的平滑移动等一系列交互式导播动作。
步骤（13）系统预定义了一系列对应于不同导播操作的手部动作，其手部动作判断是根据手部关键节点坐标运动来确定。例如左手向左挥动表示视点向左平滑移动、左手向上挥动表示视频画面拉近、左手向下挥动表示视频画面拉远、右手向右挥动表示视点向右平滑移动。
一种基于自由视点的体感交互导播系统，包括服务器端、视频传输网络和客户端三个部分；
所述服务器端根据视频数据处理顺序包括多像机系统、视频处理服务器、流媒体服务器。其中多像机系统与视频处理服务器通过高速的视频数据线连接，视频处理服务器和流媒体服务器之间通过基于TCP/IP协议的局域网相连；
所述视频传输网络是基于TCP/IP协议的局域网或广域网；
所述客户端包括自由视点播放终端和体感传感器。自由视点播放终端的操作系统需支持OpenGL，通过视频传输网络与流媒体服务器相连，其图形用户界面就是用户观看窗口。体感传感器用于获取用户手部姿态信息。体感传感器和自由视点播放终端间通过USB接口连接。
所述服务器端包括视频处理服务器和流媒体服务器两个部分的软件。视频处理服务器软件包括多路视频数据采集模块、视频处理服务器端GUI用户界面、全景视频合成模块和H.264标准视频编码模块以及总控模块。多路视频数据采集模块同步接收5个像机采集的视频数据，视频处理服务器端GUI用户界面为像机视频采集和全景视频合成的参数设置提供可视交互界面。全景视频合成模块将5个像机采集的视频数据，通过图像拼接算法实时地合成为全景视频。 H.264标准视频编码模块将全景视频进行H.264标准的编码。总控模块包括实时监视各像机所采集的视频数据、实时监视全景视频合成结果、预览和模拟客户端虚拟视点生成结果、像机参数控制、视频录制控制等多项功能。流媒体服务器软件，主要是H.264视频码流的RTSP封装打包、响应客户端视频请求服务、建立视频流等流媒体服务，以及网络视频资源文件的管理功能。包括对发布资源的增加、删除、修改的操作。
所述客户端包括自由视点播放终端软件。自由视点播放终端软件包括视频接收解码模块、体感控制模块、自由视点生成模块和客户端GUI用户界面。视频接收解码模块完成视频流数据接收、RTSP解包和H.264解码，并将解码后得到的全景视频传给自由视点生成模块。体感控制模块实现人体手部姿态识别，其处理过程如下：通过分析从体感传感器中获取的深度和彩色图像序列，提取并分析人体骨架的关键节点坐标（如头、肩、手、膝盖等），然后分析并识别用户手部关键节点坐标运动。自由视点生成模块根据体感控制模块中识别的用户手部运动，与预定义动作进行匹配，执行相应的导播操作，并计算待显示的虚拟视点位置，确定虚拟视点合成所需要的视频区域范围，然后将该视频区域通过坐标系映射至虚拟视点位置,并采用视点畸变校正生成无畸变的自由视点视频。客户端GUI用户界面为用户提供控制客户端软件的界面，也是自由视点视频最后显示的载体。
本发明由于采用以上技术方案，具有以下优点：1、本发明通过全景合成方法将同一时刻多个像机采集的一帧数据合成为一帧全景图像，可直接利用当前单视点二维视频的编码标准和传输技术，可节省软硬件投资和技术成本，并可应用于直播型实时编码和传输系统。2、本发明基于全景视频合成，通过体感交互导播可实现真正360°全场景的无缝漫游和自由切换。3、使用体感传感器实现交互式智能导播，用户对观看视点的选择具有完全自主性和独立性，自由视点技术保证了自主导播过程中视点切换的平滑性，增强了观看时的沉浸感和临场感。4、无需对场景进行三维建模，对服务器和客户端处理能力和性能的要求低。
附图说明
图1是本发明中的系统结构图。
图2是本发明摄像机镜头分布模式图。
图3是本发明中的方法实现流程图。
具体实施方式
以下结合附图对本发明作进一步说明。中的方法实现流程图
如图1所示，本发明一种基于自由视点的体感交互导播系统及方法由服务器端10、视频传输网络20、客户端30三个部分组成。其中服务器端包括多摄像机系统11、视频处理服务器12、流媒体服务器13三个组成部分。客户端包括自由视点播放终端31、体感传感器32。视频传输网络是基于TCP/IP协议的局域网或广域网21。
如图2所示，多摄像机系统11由5个位置固定的CCD像机组合而成。5个像机视角为水平方向分布，两个像机间的夹角72°，像机通过火线和视频处理服务器相连，实现多路视频的实时上传。
如图3所示，本发明一种基于自由视点的体感交互导播系统及方法，其操作步骤如下：
步骤（1）多路视频采集；
所述的多路视频采集方法具体为：
采用一个由5个CCD像机构成的多像机系统拍摄场景视频数据。5个像机从各自固定的视点方向同时拍摄，并将其视频数据分别上传至视频处理服务器；
步骤（2）全景视频合成；
所述的全景视频合成方法具体为：
在视频处理服务器上，对5个像机在同一时刻采集到的视频帧，根据已事先离线标定的像机内外参数，使用图像拼接方法将其实时地合成全景视频帧，从而获得全景视频。所述的图像拼接方法为成熟技术；
步骤（3）采用H.264图像编码标准将步骤（2）中合成的全景视频进行实时编码，并将编码完成后的H.264码流通过局域网传输至RTSP流媒体服务器；
步骤（4）RTSP流媒体服务器对步骤（3）中传来的H.264码流进行打包封装；同时以统一资源定位地址（URL）的形式发布视频链接，供客户端进行选择和点播；
步骤（5）客户端根据RTSP流媒体服务器发布的视频链接，向RTSP流媒体服务器请求视频服务，并建立一个新的视频服务流；
步骤（6）客户端从RTSP流媒体服务器上接收留流媒体数据，并进行RTSP解包和H.264解码，还原出全景视频；
步骤（7）通过步骤（9）、步骤（10）所述的交互方式进行虚拟视点定位，确定虚拟视点合成所需要的视频区域范围；
（8）虚拟视点生成和显示；
所述的虚拟视点生成和显示方法具体为：
根据步骤（7）中得到的视频区域范围，将全景视频帧中相应区域通过坐标系映射至虚拟视点位置，并进行视点畸变校正和显示；所述的坐标系映射方法和视点畸变校正方法为成熟方法；
步骤（9）客户端通过体感传感器获取用户人体区域的深度和彩色图像序列；
步骤（10）根据步骤（9）中深度和彩色图像序列提取人体骨架及其关键节点位置；所述的人体骨架和关键点提取方法为成熟方法；
步骤（11）根据步骤（10）中所得到的人体骨架及其关键节点位置，分析识别用户手部关键节点的运动轨迹及动作；
步骤（12）根据步骤（11）中得到的用户手部动作与步骤（13）所述的预定义动作进行匹配，并进行相对应的导播操作，包括视频画面拉近/拉远，视点向左、向右的平滑移动等一系列交互式导播动作。
步骤（13）系统预定义了一系列对应于不同导播操作的手部动作，其手部动作判断是根据手部关键节点坐标运动来确定。例如左手向左挥动表示视点向左平滑移动、左手向上挥动表示视频画面拉近、左手向下挥动表示视频画面拉远、右手向右挥动表示视点向右平滑移动。
Claims (2)
1.一种基于自由视点的体感交互导播方法，其特征在于该方法包括如下步骤：
步骤（1）多路视频采集；
所述的多路视频采集方法具体为：
采用一个由5个CCD像机构成的多像机系统拍摄场景视频数据；5个像机从各自固定的视点方向同时拍摄，并将其视频数据分别上传至视频处理服务器；
步骤（2）全景视频合成；
所述的全景视频合成方法具体为：
在视频处理服务器上，对5个像机在同一时刻采集到的视频帧，根据已事先离线标定的像机内外参数，使用图像拼接方法将其实时地合成全景视频帧，从而获得全景视频；
步骤（3）采用H.264图像编码标准将步骤（2）中合成的全景视频进行实时编码，并将编码完成后的H.264码流通过局域网传输至RTSP流媒体服务器；
步骤（4）RTSP流媒体服务器对步骤（3）中传来的H.264码流进行打包封装；同时以统一资源定位地址（URL）的形式发布视频链接，供客户端进行选择和点播；
步骤（5）客户端根据RTSP流媒体服务器发布的视频链接，向RTSP流媒体服务器请求视频服务，并建立一个新的视频服务流；
步骤（6）客户端从RTSP流媒体服务器上接收留流媒体数据，并进行RTSP解包和H.264解码，还原出全景视频；
步骤（7）通过步骤（9）、步骤（10）所述的交互方式进行虚拟视点定位，确定虚拟视点合成所需要的视频区域范围；
步骤（8）虚拟视点生成和显示；
所述的虚拟视点生成和显示方法具体为：
根据步骤（7）中得到的视频区域范围，将全景视频帧中相应区域通过坐标系映射至虚拟视点位置，并进行视点畸变校正和显示； 步骤（9）客户端通过体感传感器获取用户人体区域的深度和彩色图像序列；
步骤（10）根据步骤（9）中深度和彩色图像序列提取人体骨架及其关键节点位置；
所述的步骤9和步骤10构成交互方式；
步骤（11）根据步骤（10）中所得到的人体骨架及其关键节点位置，分析识别用户手部关键节点的运动轨迹及动作；
步骤（12）根据步骤（11）中得到的用户手部动作与步骤（13）所述的预定义动作进行匹配，并进行相对应的导播操作，包括视频画面拉近/拉远，视点向左、向右的平滑移动；
步骤（13）系统预定义了一系列对应于不同导播操作的手部动作，其手部动作判断是根据手部关键节点坐标运动来确定。
2.一种基于自由视点的体感交互导播系统，其特征在于：
包括服务器端、视频传输网络和客户端三个部分；
所述服务器端根据视频数据处理顺序包括多像机系统、视频处理服务器、流媒体服务器；其中多像机系统与视频处理服务器通过高速的视频数据线连接，视频处理服务器和流媒体服务器之间通过基于TCP/IP协议的局域网相连；
所述视频传输网络是基于TCP/IP协议的局域网或广域网；
所述客户端包括自由视点播放终端和体感传感器；自由视点播放终端的操作系统需支持OpenGL，通过视频传输网络与流媒体服务器相连，其图形用户界面就是用户观看窗口；体感传感器用于获取用户手部姿态信息；体感传感器和自由视点播放终端间通过USB接口连接；
所述服务器端包括视频处理服务器和流媒体服务器两个部分的软件；
所述视频处理服务器软件包括多路视频数据采集模块、视频处理服务器端GUI用户界面、全景视频合成模块和H.264标准视频编码模块以及总控模块；
所述多路视频数据采集模块同步接收5个像机采集的视频数据；
所述视频处理服务器端GUI用户界面为像机视频采集和全景视频合成的参数设置提供可视交互界面；
所述全景视频合成模块将5个像机采集的视频数据，通过图像拼接算法实时地合成为全景视频；
所述H.264标准视频编码模块将全景视频进行H.264标准的编码；
所述总控模块包括实时监视各像机所采集的视频数据、实时监视全景视频合成结果、预览和模拟客户端虚拟视点生成结果、像机参数控制、视频录制控制多项功能；
所述流媒体服务器软件主要包括H.264视频码流的RTSP封装打包、响应客户端视频请求服务、建立视频流等流媒体服务，以及网络视频资源文件的管理功能；包括对发布资源的增加、删除、修改的操作；
所述客户端包括自由视点播放终端软件；所述自由视点播放终端软件包括视频接收解码模块、体感控制模块、自由视点生成模块和客户端GUI用户界面；
所述视频接收解码模块完成视频流数据接收、RTSP解包和H.264解码，并将解码后得到的全景视频传给自由视点生成模块；
所述体感控制模块实现人体手部姿态识别，其处理过程如下：通过分析从体感传感器中获取的深度和彩色图像序列，提取并分析人体骨架的关键节点坐标，然后分析并识别用户手部关键节点坐标运动；
所述自由视点生成模块根据体感控制模块中识别的用户手部运动，与预定义动作进行匹配，执行相应的导播操作，并计算待显示的虚拟视点位置，确定虚拟视点合成所需要的视频区域范围，然后将该视频区域通过坐标系映射至虚拟视点位置,并采用视点畸变校正生成无畸变的自由视点视频；
所述客户端GUI用户界面为用户提供控制客户端软件的界面，也是自由视点视频最后显示的载体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110214935A CN102307309A (zh) | 2011-07-29 | 2011-07-29 | 一种基于自由视点的体感交互导播系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110214935A CN102307309A (zh) | 2011-07-29 | 2011-07-29 | 一种基于自由视点的体感交互导播系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102307309A true CN102307309A (zh) | 2012-01-04 |
Family
ID=45381105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110214935A Pending CN102307309A (zh) | 2011-07-29 | 2011-07-29 | 一种基于自由视点的体感交互导播系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102307309A (zh) |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102708769A (zh) * | 2012-05-18 | 2012-10-03 | 澜景图（北京）数字科技有限公司 | 一种互动演示汇报系统 |
| CN103051978A (zh) * | 2012-12-16 | 2013-04-17 | 华南理工大学 | 一种基于h264的实时移动视频服务控制方法 |
| CN103092349A (zh) * | 2013-01-23 | 2013-05-08 | 宁凯 | 基于Kinect体感设备的全景体验方法 |
| CN103220543A (zh) * | 2013-04-25 | 2013-07-24 | 同济大学 | 基于Kinect的实时3D视频通信系统及其实现方法 |
| CN103279191A (zh) * | 2013-06-18 | 2013-09-04 | 北京科技大学 | 一种基于手势识别技术的3d虚拟交互方法及系统 |
| CN103646425A (zh) * | 2013-11-20 | 2014-03-19 | 深圳先进技术研究院 | 一种体感交互的方法及系统 |
| CN103686270A (zh) * | 2012-09-10 | 2014-03-26 | 联发科技股份有限公司 | 基于用户交互输入的影像显示方法及相关的影像显示系统 |
| CN103777748A (zh) * | 2012-10-26 | 2014-05-07 | 华为技术有限公司 | 一种体感输入方法及装置 |
| CN104144349A (zh) * | 2014-07-09 | 2014-11-12 | 中电科华云信息技术有限公司 | 基于h264的spice视频编解码扩展方法及系统 |
| WO2014180291A1 (zh) * | 2013-05-07 | 2014-11-13 | Li Dongge | 一种用于基于运动特征信息生成运动特征码的方法和设备 |
| CN104243961A (zh) * | 2013-06-18 | 2014-12-24 | 财团法人资讯工业策进会 | 多视角影像的显示系统及方法 |
| CN104349197A (zh) * | 2013-08-09 | 2015-02-11 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
| CN104363439A (zh) * | 2014-10-24 | 2015-02-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN104602129A (zh) * | 2015-01-27 | 2015-05-06 | 三星电子（中国）研发中心 | 互动式多视角视频的播放方法及系统 |
| WO2015106501A1 (zh) * | 2014-01-16 | 2015-07-23 | 苏州阔地网络科技有限公司 | 一种在线同步课堂中智能导播方法及系统 |
| CN104010225B (zh) * | 2014-06-20 | 2016-02-10 | 合一网络技术(北京)有限公司 | 显示全景视频的方法和系统 |
| CN105704501A (zh) * | 2016-02-06 | 2016-06-22 | 普宙飞行器科技（深圳）有限公司 | 一种基于无人机全景视频的虚拟现实直播系统 |
| CN106060518A (zh) * | 2016-06-06 | 2016-10-26 | 武汉斗鱼网络科技有限公司 | 具备视角切换功能的720度全景播放器的实现方法及系统 |
| CN106210754A (zh) * | 2016-07-07 | 2016-12-07 | 腾讯科技（深圳）有限公司 | 一种控制视频直播的方法、相关设备及系统 |
| CN106231317A (zh) * | 2016-09-29 | 2016-12-14 | 三星电子（中国）研发中心 | 视频处理、解码方法和装置、vr终端、视频播放系统 |
| CN106375347A (zh) * | 2016-11-18 | 2017-02-01 | 上海悦野健康科技有限公司 | 虚拟现实的旅游直播平台 |
| CN106851244A (zh) * | 2017-01-10 | 2017-06-13 | 北京阿吉比科技有限公司 | 基于网络视频直播平台观看3d全景视频的方法及系统 |
| CN106954093A (zh) * | 2017-03-15 | 2017-07-14 | 北京小米移动软件有限公司 | 全景视频处理方法、装置及系统 |
| CN107087145A (zh) * | 2017-06-02 | 2017-08-22 | 深圳市本道科技有限公司 | 多路视频进行360度全景视频显示的方法及装置 |
| CN107396133A (zh) * | 2017-07-20 | 2017-11-24 | 深圳市佳创视讯技术股份有限公司 | 自由视点视频导播方法及系统 |
| CN107404602A (zh) * | 2016-05-18 | 2017-11-28 | 广州市索广电子技术有限公司 | 一种基于视频通信信道数据编织的远程提示方法 |
| CN108024071A (zh) * | 2017-11-24 | 2018-05-11 | 腾讯数码（天津）有限公司 | 视频内容生成方法、视频内容生成装置及存储介质 |
| CN108701294A (zh) * | 2016-02-29 | 2018-10-23 | 微软技术许可有限责任公司 | 用于交互式远程呈现的协作相机视点控制 |
| CN108874141A (zh) * | 2018-06-25 | 2018-11-23 | 北京京东金融科技控股有限公司 | 一种体感浏览方法和装置 |
| CN109089147A (zh) * | 2018-08-30 | 2018-12-25 | 宁波视睿迪光电有限公司 | 裸眼3d视频推送方法及装置 |
| CN109151497A (zh) * | 2018-08-06 | 2019-01-04 | 广州虎牙信息科技有限公司 | 一种连麦直播方法、装置、电子设备及存储介质 |
| CN109361913A (zh) * | 2015-05-18 | 2019-02-19 | 韩国电子通信研究院 | 用于对于头戴式显示器提供三维图像的方法和装置 |
| US10390373B2 (en) | 2013-05-07 | 2019-08-20 | Hangzhou Zhileng Technology Co. Ltd. | Method, apparatus and system for establishing connection between devices |
| US10509946B2 (en) | 2013-05-07 | 2019-12-17 | Hangzhou Zhileng Technology Co. Ltd. | Method and device for matching signatures on the basis of motion signature information |
| US10591999B2 (en) | 2014-02-25 | 2020-03-17 | Zte Corporation | Hand gesture recognition method, device, system, and computer storage medium |
| CN111314739A (zh) * | 2020-02-17 | 2020-06-19 | 聚好看科技股份有限公司 | 一种图像处理方法、服务器及显示设备 |
| CN111355967A (zh) * | 2020-03-11 | 2020-06-30 | 叠境数字科技（上海）有限公司 | 基于自由视点的视频直播处理方法、系统、装置及介质 |
| CN111640187A (zh) * | 2020-04-20 | 2020-09-08 | 中国科学院计算技术研究所 | 一种基于插值过渡的视频拼接方法及系统 |
| CN112565693A (zh) * | 2020-11-30 | 2021-03-26 | 广东荣文科技集团有限公司 | 监控视频点播方法、系统及设备 |
| CN114629880A (zh) * | 2020-12-10 | 2022-06-14 | 西安诺瓦星云科技股份有限公司 | 流媒体视频源管理方法、装置和插卡式视频拼接处理设备 |
| CN114760483A (zh) * | 2022-04-20 | 2022-07-15 | 东方明珠新媒体股份有限公司 | 一种多视角视频播放和切换的方法、系统及介质 |
| CN115361571A (zh) * | 2022-08-04 | 2022-11-18 | 武汉依迅北斗时空技术股份有限公司 | 云存储视频数据的播放方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101014123A (zh) * | 2007-02-05 | 2007-08-08 | 北京大学 | 一种多视点视频流的自由视点视频重建方法及系统 |
| CN101035261A (zh) * | 2007-04-11 | 2007-09-12 | 宁波大学 | 一种交互式多视点视频系统的图像信号处理方法 |
| US20100197390A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Pose tracking pipeline |
| CN101977320A (zh) * | 2010-10-29 | 2011-02-16 | 清华大学 | 一种符合多视点视频标准的视频编码方法 |
-
2011
- 2011-07-29 CN CN201110214935A patent/CN102307309A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101014123A (zh) * | 2007-02-05 | 2007-08-08 | 北京大学 | 一种多视点视频流的自由视点视频重建方法及系统 |
| CN101035261A (zh) * | 2007-04-11 | 2007-09-12 | 宁波大学 | 一种交互式多视点视频系统的图像信号处理方法 |
| US20100197390A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Pose tracking pipeline |
| CN101977320A (zh) * | 2010-10-29 | 2011-02-16 | 清华大学 | 一种符合多视点视频标准的视频编码方法 |
Cited By (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102708769A (zh) * | 2012-05-18 | 2012-10-03 | 澜景图（北京）数字科技有限公司 | 一种互动演示汇报系统 |
| CN103686270A (zh) * | 2012-09-10 | 2014-03-26 | 联发科技股份有限公司 | 基于用户交互输入的影像显示方法及相关的影像显示系统 |
| US9690458B2 (en) | 2012-09-10 | 2017-06-27 | Mediatek Inc. | Image viewing method for displaying portion of selected image based on user interaction input and related image viewing system and machine readable medium |
| CN103777748A (zh) * | 2012-10-26 | 2014-05-07 | 华为技术有限公司 | 一种体感输入方法及装置 |
| CN103051978A (zh) * | 2012-12-16 | 2013-04-17 | 华南理工大学 | 一种基于h264的实时移动视频服务控制方法 |
| CN103092349A (zh) * | 2013-01-23 | 2013-05-08 | 宁凯 | 基于Kinect体感设备的全景体验方法 |
| CN103220543B (zh) * | 2013-04-25 | 2015-03-04 | 同济大学 | 基于kinect的实时3d视频通信系统及其实现方法 |
| CN103220543A (zh) * | 2013-04-25 | 2013-07-24 | 同济大学 | 基于Kinect的实时3D视频通信系统及其实现方法 |
| US10779337B2 (en) | 2013-05-07 | 2020-09-15 | Hangzhou Zhileng Technology Co. Ltd. | Method, apparatus and system for establishing connection between devices |
| US10509946B2 (en) | 2013-05-07 | 2019-12-17 | Hangzhou Zhileng Technology Co. Ltd. | Method and device for matching signatures on the basis of motion signature information |
| WO2014180291A1 (zh) * | 2013-05-07 | 2014-11-13 | Li Dongge | 一种用于基于运动特征信息生成运动特征码的方法和设备 |
| US10390373B2 (en) | 2013-05-07 | 2019-08-20 | Hangzhou Zhileng Technology Co. Ltd. | Method, apparatus and system for establishing connection between devices |
| CN103279191A (zh) * | 2013-06-18 | 2013-09-04 | 北京科技大学 | 一种基于手势识别技术的3d虚拟交互方法及系统 |
| CN103279191B (zh) * | 2013-06-18 | 2016-01-06 | 北京科技大学 | 一种基于手势识别技术的3d虚拟交互方法及系统 |
| CN104243961A (zh) * | 2013-06-18 | 2014-12-24 | 财团法人资讯工业策进会 | 多视角影像的显示系统及方法 |
| CN104349197B (zh) * | 2013-08-09 | 2019-07-26 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
| CN104349197A (zh) * | 2013-08-09 | 2015-02-11 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
| CN103646425A (zh) * | 2013-11-20 | 2014-03-19 | 深圳先进技术研究院 | 一种体感交互的方法及系统 |
| WO2015106501A1 (zh) * | 2014-01-16 | 2015-07-23 | 苏州阔地网络科技有限公司 | 一种在线同步课堂中智能导播方法及系统 |
| US10591999B2 (en) | 2014-02-25 | 2020-03-17 | Zte Corporation | Hand gesture recognition method, device, system, and computer storage medium |
| CN104010225B (zh) * | 2014-06-20 | 2016-02-10 | 合一网络技术(北京)有限公司 | 显示全景视频的方法和系统 |
| CN104144349B (zh) * | 2014-07-09 | 2017-08-29 | 中电科华云信息技术有限公司 | 基于h264的spice视频编解码扩展方法及系统 |
| CN104144349A (zh) * | 2014-07-09 | 2014-11-12 | 中电科华云信息技术有限公司 | 基于h264的spice视频编解码扩展方法及系统 |
| CN104363439A (zh) * | 2014-10-24 | 2015-02-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN104602129B (zh) * | 2015-01-27 | 2018-03-06 | 三星电子（中国）研发中心 | 互动式多视角视频的播放方法及系统 |
| CN104602129A (zh) * | 2015-01-27 | 2015-05-06 | 三星电子（中国）研发中心 | 互动式多视角视频的播放方法及系统 |
| CN109361913A (zh) * | 2015-05-18 | 2019-02-19 | 韩国电子通信研究院 | 用于对于头戴式显示器提供三维图像的方法和装置 |
| CN105704501A (zh) * | 2016-02-06 | 2016-06-22 | 普宙飞行器科技（深圳）有限公司 | 一种基于无人机全景视频的虚拟现实直播系统 |
| CN108701294B (zh) * | 2016-02-29 | 2021-05-25 | 微软技术许可有限责任公司 | 用于交互式远程呈现的协作相机视点控制 |
| CN108701294A (zh) * | 2016-02-29 | 2018-10-23 | 微软技术许可有限责任公司 | 用于交互式远程呈现的协作相机视点控制 |
| CN107404602A (zh) * | 2016-05-18 | 2017-11-28 | 广州市索广电子技术有限公司 | 一种基于视频通信信道数据编织的远程提示方法 |
| CN107404602B (zh) * | 2016-05-18 | 2020-01-24 | 广州市索广电子技术有限公司 | 一种基于视频通信信道数据编织的远程提示方法 |
| CN106060518B (zh) * | 2016-06-06 | 2017-12-08 | 武汉斗鱼网络科技有限公司 | 具备视角切换功能的720度全景播放器的实现方法及系统 |
| CN106060518A (zh) * | 2016-06-06 | 2016-10-26 | 武汉斗鱼网络科技有限公司 | 具备视角切换功能的720度全景播放器的实现方法及系统 |
| CN106210754A (zh) * | 2016-07-07 | 2016-12-07 | 腾讯科技（深圳）有限公司 | 一种控制视频直播的方法、相关设备及系统 |
| CN106231317A (zh) * | 2016-09-29 | 2016-12-14 | 三星电子（中国）研发中心 | 视频处理、解码方法和装置、vr终端、视频播放系统 |
| CN106375347A (zh) * | 2016-11-18 | 2017-02-01 | 上海悦野健康科技有限公司 | 虚拟现实的旅游直播平台 |
| CN106851244A (zh) * | 2017-01-10 | 2017-06-13 | 北京阿吉比科技有限公司 | 基于网络视频直播平台观看3d全景视频的方法及系统 |
| CN106954093B (zh) * | 2017-03-15 | 2020-12-04 | 北京小米移动软件有限公司 | 全景视频处理方法、装置及系统 |
| CN106954093A (zh) * | 2017-03-15 | 2017-07-14 | 北京小米移动软件有限公司 | 全景视频处理方法、装置及系统 |
| CN107087145A (zh) * | 2017-06-02 | 2017-08-22 | 深圳市本道科技有限公司 | 多路视频进行360度全景视频显示的方法及装置 |
| CN107396133B (zh) * | 2017-07-20 | 2020-05-22 | 深圳市佳创视讯技术股份有限公司 | 自由视点视频导播方法及系统 |
| CN107396133A (zh) * | 2017-07-20 | 2017-11-24 | 深圳市佳创视讯技术股份有限公司 | 自由视点视频导播方法及系统 |
| CN108024071B (zh) * | 2017-11-24 | 2022-03-08 | 腾讯数码（天津）有限公司 | 视频内容生成方法、视频内容生成装置及存储介质 |
| CN108024071A (zh) * | 2017-11-24 | 2018-05-11 | 腾讯数码（天津）有限公司 | 视频内容生成方法、视频内容生成装置及存储介质 |
| CN108874141B (zh) * | 2018-06-25 | 2021-03-30 | 京东数字科技控股有限公司 | 一种体感浏览方法和装置 |
| CN108874141A (zh) * | 2018-06-25 | 2018-11-23 | 北京京东金融科技控股有限公司 | 一种体感浏览方法和装置 |
| CN109151497A (zh) * | 2018-08-06 | 2019-01-04 | 广州虎牙信息科技有限公司 | 一种连麦直播方法、装置、电子设备及存储介质 |
| CN109089147A (zh) * | 2018-08-30 | 2018-12-25 | 宁波视睿迪光电有限公司 | 裸眼3d视频推送方法及装置 |
| CN111314739A (zh) * | 2020-02-17 | 2020-06-19 | 聚好看科技股份有限公司 | 一种图像处理方法、服务器及显示设备 |
| CN111355967A (zh) * | 2020-03-11 | 2020-06-30 | 叠境数字科技（上海）有限公司 | 基于自由视点的视频直播处理方法、系统、装置及介质 |
| CN111640187A (zh) * | 2020-04-20 | 2020-09-08 | 中国科学院计算技术研究所 | 一种基于插值过渡的视频拼接方法及系统 |
| CN111640187B (zh) * | 2020-04-20 | 2023-05-02 | 中国科学院计算技术研究所 | 一种基于插值过渡的视频拼接方法及系统 |
| CN112565693A (zh) * | 2020-11-30 | 2021-03-26 | 广东荣文科技集团有限公司 | 监控视频点播方法、系统及设备 |
| CN114629880A (zh) * | 2020-12-10 | 2022-06-14 | 西安诺瓦星云科技股份有限公司 | 流媒体视频源管理方法、装置和插卡式视频拼接处理设备 |
| CN114629880B (zh) * | 2020-12-10 | 2024-05-10 | 西安诺瓦星云科技股份有限公司 | 流媒体视频源管理方法、装置和插卡式视频拼接处理设备 |
| CN114760483A (zh) * | 2022-04-20 | 2022-07-15 | 东方明珠新媒体股份有限公司 | 一种多视角视频播放和切换的方法、系统及介质 |
| CN114760483B (zh) * | 2022-04-20 | 2023-12-19 | 东方明珠新媒体股份有限公司 | 一种多视角视频播放和切换的方法、系统及介质 |
| CN115361571A (zh) * | 2022-08-04 | 2022-11-18 | 武汉依迅北斗时空技术股份有限公司 | 云存储视频数据的播放方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102307309A (zh) | 一种基于自由视点的体感交互导播系统及方法 | |
| US11924394B2 (en) | Methods and apparatus for receiving and/or using reduced resolution images | |
| US10341632B2 (en) | Spatial random access enabled video system with a three-dimensional viewing volume | |
| CN112738010B (zh) | 数据交互方法及系统、交互终端、可读存储介质 | |
| CN100588250C (zh) | 一种多视点视频流的自由视点视频重建方法及系统 | |
| US10650590B1 (en) | Method and system for fully immersive virtual reality | |
| EP2490179B1 (en) | Method and apparatus for transmitting and receiving a panoramic video stream | |
| CN112738534B (zh) | 数据处理方法及系统、服务器和存储介质 | |
| CN104219584A (zh) | 基于增强现实的全景视频交互方法和系统 | |
| CN102450011A (zh) | 用于自由视点视频的高效流传输的方法和设备 | |
| CN112738495B (zh) | 虚拟视点图像生成方法、系统、电子设备及存储介质 | |
| KR102069930B1 (ko) | 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법 | |
| CN111669518A (zh) | 多角度自由视角交互方法及装置、介质、终端、设备 | |
| CN113963094A (zh) | 深度图及视频处理、重建方法、装置、设备及存储介质 | |
| CN111669561A (zh) | 多角度自由视角图像数据处理方法及装置、介质、设备 | |
| WO2021083175A1 (zh) | 数据处理方法、设备、系统、可读存储介质及服务器 | |
| CN111669570B (zh) | 多角度自由视角视频数据处理方法及装置、介质、设备 | |
| CN111669569A (zh) | 一种视频生成方法及装置、介质、终端 | |
| CN111669604A (zh) | 一种采集设备设置方法及装置、终端、采集系统、设备 | |
| CN112738009B (zh) | 数据同步方法、设备、同步系统、介质和服务器 | |
| EP3742404A1 (en) | Content coding system and method | |
| Seo et al. | Immersive panorama TV service system | |
| CN117596373B (zh) | 基于动态数字人形象进行信息展示的方法及电子设备 | |
| CN112734821B (zh) | 深度图生成方法、计算节点及计算节点集群、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120104 |
|
| WD01 | Invention patent application deemed withdrawn after publication |