Nothing Special   »   [go: up one dir, main page]

CN102450011A - 用于自由视点视频的高效流传输的方法和设备 - Google Patents

用于自由视点视频的高效流传输的方法和设备 Download PDF

Info

Publication number
CN102450011A
CN102450011A CN2010800232263A CN201080023226A CN102450011A CN 102450011 A CN102450011 A CN 102450011A CN 2010800232263 A CN2010800232263 A CN 2010800232263A CN 201080023226 A CN201080023226 A CN 201080023226A CN 102450011 A CN102450011 A CN 102450011A
Authority
CN
China
Prior art keywords
view
video
synthetic view
camera
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800232263A
Other languages
English (en)
Inventor
M·B·A·特里梅彻
I·鲍阿齐齐
M·M·安尼克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102450011A publication Critical patent/CN102450011A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

依据本发明的示例实施例，一种设备包括：处理单元，其配置成接收与三维场景的可用摄像机视图有关的信息；请求合成视图，该合成视图不同于任何可用摄像机视图并且由该处理单元确定，以及接收媒体数据，该媒体数据包括与该合成视图关联的视频数据。

Description

用于自由视点视频的高效流传输的方法和设备
技术领域
本申请大体上涉及用于自由视点视频的高效流传输的方法和设备。
背景技术
多媒体内容创建工具和显示技术的持续发展铺平了朝向不断演化的多媒体体验的道路。多视图视频是先进内容创建和消费的一种突出示例。多视图视频内容提供场景的多个视觉视图。对于三维(3-D)场景，多个摄像机的使用允许从不同视点捕获3-D场景的不同视觉透视图。装备有能够多视图渲染的装置的用户可以在3D中享受更丰富的视觉体验。
广播技术正在以实现更加丰富和更加有趣的服务为目标而稳步演化。高清晰度(HD)内容的广播正在经历着显著的进步。可扩展视频编码(SVC)正被考虑为迎合不同接收器需求的示例技术，从而使得能够高效利用广播资源。基本层(BL)可载有标准清晰度(SD)的视频，并且增强层(EL)可以对BL进行补充以提供HD分辨率。视频技术中的另一个发展是针对多视图编码(MVC)的新标准，它被设计成H.264/AVC的扩展，并且包括用于提高的编码效率、减小的解码复杂度和多视图视频内容的新功能的许多新技术。
发明内容
本发明的各个方面在权利要求书中陈述。
依据本发明的示例实施例，一种设备包括处理单元，该处理单元配置成：接收与三维场景的可用摄像机视图有关的信息；请求合成视图，该合成视图不同于任何可用摄像机视图且由该处理单元确定；以及接收媒体数据，该媒体数据包括与合成视图关联的视频数据。
依据本发明的示例实施例，一种方法包括：接收与三维场景的可用摄像机视图有关的信息；请求合成视图，该合成视图不同于任何可用摄像机视图且由该处理单元确定；以及接收媒体数据，该媒体数据包括与合成视图关联的视频数据。
依据本发明的示例实施例，一种计算机程序产品，包括其中含有的计算机程序代码的计算机可读取介质以便与计算机一起使用，该计算机程序代码被配置成：接收与三维场景的可用摄像机视图有关的信息；请求合成视图，该合成视图不同于任何可用摄像机视图且由该处理单元确定；以及接收媒体数据，该媒体数据包括与合成视图关联的视频数据。
依据本发明的示例实施例，一种设备包括处理单元，该处理单元配置成：发送与三维场景的可用摄像机视图有关的信息；从用户设备接收针对合成视图的请求，该合成视图不同于任何可用摄像机视图；以及传送媒体数据，该媒体数据包括与所述合成视图关联的视频数据。
依据本发明的示例实施例，一种方法包括：发送与三维场景的可用摄像机视图有关的信息；从用户设备接收针对合成视图的请求，该合成视图不同于任何可用摄像机视图；以及传送媒体数据，该媒体数据包括与所述合成视图关联的视频数据。
依据本发明的示例实施例，一种计算机程序产品，包括其中含有的计算机程序代码的计算机可读取介质以便与计算机一起使用，该计算机程序代码被配置成：发送与三维场景的可用摄像机视图有关的信息；从用户设备接收针对合成视图的请求，该合成视图不同于任何可用摄像机视图；以及传送媒体数据，该媒体数据包括与所述合成视图关联的视频数据。
附图说明
为了更彻底理解本发明的示例实施例、其目的和潜在优点，现在将参考结合附图所进行的下述描述，在附图中：
图1为依据本发明的示例实施例的示例多视图视频捕获系统的图示；
图2为依据本发明的示例实施例工作的示例视频分配系统的图示；
图3a说明在示例多视图视频捕获系统中跨越多个摄像机视图的合成视图的示例；
图3b说明在示例多视图视频捕获系统中跨越单个摄像机视图的合成视图的示例；
图4a说明视频处理服务器的框图；
图4b为示例流传输服务器的框图；
图4c为示例用户设备的框图；
图5a示出的框图说明了根据示例实施例的由用户设备执行的方法；
图5b示出的框图说明了由根据示例实施例的流传输服务器执行的方法；
图6a示出的框图说明了根据另一示例实施例由用户设备执行的方法；
图6b示出的框图说明了根据另一示例实施例由流传输服务器执行的方法；
图7说明从一个活动视图到新请求的视图的场景导航的示例实施例；以及
图8说明从流传输服务器到用户设备的可扩展视频数据流传输的示例实施例。
具体实施方式
通过参考附图的图1-图8来最佳地理解本发明的示例实施例及其潜在优点，相同附图标记用于各个附图的相同和相应部分。
图1为依据本发明的示例实施例的示例多视图视频捕获系统10的图示。多视图视频捕获系统10包括多个摄像机15。在图1的示例中，每个摄像机15定位在所关注的三维(3-D)场景5周围的不同视点。视点至少部分基于相应摄像机相对于3-D场景5的位置和取向来限定。每个摄像机15提供3-D场景5的单独视图或者透视图。多视图视频捕获系统10同时捕获同一3-D场景5的多个不同视图。
先进渲染技术可以支持自由视图选择和场景导航。例如，接收多视图视频内容的用户可以选择3-D场景的视图以便在她/他的渲染装置上观看。用户也可以决定从正在播放的一个视图改变到不同的视图。可以在与捕获系统10的摄像机对应的视点(例如摄像机视图)之间应用视图选择和视图导航。根据本发明的至少一示例实施例，视图选择和/或视图导航包括合成视图的选择和/或导航。例如，用户可以使用他的遥控装置或者操纵杆来导航3D场景，并且可以通过按压特定键而改变视图，该特定键用作增量步以察看全景、改变透视图、旋转、放大或缩小场景。应理解，本发明的示例实施例不限于具体用户接口或交互方法，并且暗示着用以导航3D场景的用户输入可以解释成不依赖于用户接口或交互方法的几何参数。
对自由视图电视(TV)应用的支持，例如视图选择和导航，包括多视图视频数据的流传输以及有关信息的信号传输。自由视图TV视频应用的不同用户可以请求不同视图。为了形成用于视图选择和/或视图导航的直观系统，终端用户装置利用场景几何的可用描述。终端用户装置可以进一步使用任何与可用摄像机视图关联的其它信息，特别是将不同摄像机视图彼此相关的几何信息。将不同摄像机视图彼此相关的信息优选地被总结为容易传送到视频服务器的几种几何参数。摄像机视图信息也可以使用光流矩阵将摄像机视图彼此相关，该光流矩阵限定了各视图之间在每个像素位置的相对位移。
允许终端用户选择和回放合成视图，这为用户提供更丰富和更加个性化的自由视图TV体验。与合成视图的选择有关的一个挑战是如何限定合成视图。另一个挑战是如何识别足以构造或生成合成视图的摄像机视图。对足够的视频数据的最小集合的进行高效流传输从而在接收装置构造所选择的合成视图，这是又一个挑战。
在本申请中描述的示例实施例公开了用于分配多视图视频内容以及实现自由视图TV和/或视频应用的系统和方法。例如，与可用摄像机视图对应的多个视频数据流的流传输会显著地消耗可用网络资源。根据本申请的至少一个示例实施例，终端用户可以选择合成视图，即，未与视频捕获系统10的可用摄像机视图其中之一对应的视图。合成视图可以通过处理一个或多个摄像机视图而构造或生成。
图2为依据本发明的示例实施例工作的示例视频分配系统100的图示。在示例实施例中，视频分配系统包括通过通信网络101连接到至少一个用户设备130的视频源系统102。通信网络101包括流传输服务器120，其配置成将多视图视频数据流传输到至少一个用户设备130。用户设备经由有线或无线链路接入通信网络101。在示例实施例中，一个或多个用户设备进一步耦合到视频渲染装置，诸如HD电视机、显示屏幕和/或类似装置。视频源系统102通过通信网络101将视频内容传送到驻留于一个或多个用户设备中的一个或多个客户端。用户设备130可以在其显示器上或者在利用有线或无线耦合到接收用户设备130的渲染装置上回放所接收的内容。用户设备的示例包括膝上型计算机、桌上型计算机、移动电话、电视机和/或类似装置。
在示例实施例中，视频源系统102包括：包括多个摄像机15的多视图视频捕获系统10、视频处理服务器110和存储单元116。每个摄像机15捕获3D场景5的单独视图。由摄像机捕获的多个视图可以基于下述而不相同：摄像机的位置、摄像机的聚焦方向/取向、和/或它们的调节，例如变焦。多个视图被编码成单个压缩视频流或者多个压缩视频流。例如，由处理服务器110或者在捕获摄像机内执行视频压缩。根据示例实施例，每个压缩视频流对应于3D场景的单独的捕获视图。根据可替换示例实施例，压缩视频流可以对应于超过一个摄像机视图。例如，多视图视频编码(MVC)标准被用于将超过一个摄像机视图压缩为单个视频流。
在示例实施例中，存储单元116可以用于存储压缩和/或非压缩视频数据。在示例实施例中，视频处理服务器110和存储单元116为通过至少一个通信接口耦合的不同物理实体。在另一示例实施例中，存储单元116为视频处理服务器110的组件。
在示例实施例中，视频处理服务器110计算至少一个场景深度图或图像。场景深度图或图像提供关于捕获摄像机15与所捕获的场景5中一个或多个点之间的距离的信息。在可替换实施例中，场景深度图由摄像机计算。例如，每个摄像机15计算与由该同一摄像机15捕获的场景或视图关联的场景深度图。在示例实施例中，摄像机15至少部分基于传感器数据而计算场景深度图。
例如，可以通过估计两个或更多个摄像机视图之间的立体对应来计算深度图。利用立体对应而获得的视差图可以与外部和内部摄像机校准数据一起使用，从而对于每个视频帧重构场景的深度图的近似。在实施例中，视频处理服务器110生成相关视图几何。相关视图几何例如描述摄像机的相对位置、取向和/或设置。相关视图几何提供关于每个摄像机的相关定位的信息和/或与每个摄像机15关联的关于不同投影平面或视场的信息。
在示例实施例中，贯穿3D场景5的捕获过程始终，处理服务器110维持和更新描述摄像机的位置、聚焦取向、调节/设置、和/或类似信息的信息。在示例实施例中，使用精确摄像机校准过程推导相关视图几何。校准过程包括确定一组内部、外部摄像机参数。内部参数将传感器相对于透镜的内部安置进行关联并将其关联到原点中心，而外部参数将相关摄像机定位关联到所成像的场景的外部坐标系统。在示例实施例中，摄像机的校准参数被存储并传送。另外，可以至少部分基于下述信息而生成相关视图几何：与不同摄像机15关联的传感器的信息，对不同视图的场景分析，来自管理捕获系统10和/或提供关于摄像机的位置、取向和/或设置的信息的任何其它系统的人的人为输入。包括场景深度图、相关视图信息和/或摄像机参数的信息可以存储在存储单元116和/或视频处理服务器110中。
流传输服务器120将压缩视频流传送到位于一个或多个用户设备130中的一个或多个客户端。在图2的示例中，流传输服务器120位于通信网络101中。压缩视频内容到用户设备的流传输是根据单播、组播、广播和/或其它流传输方法来执行的。
本申请中的各种示例实施例描述用于流传输多视图视频内容的系统和方法。在示例实施例中，场景深度图和/或可用摄像机视图之间的相关几何被用于为终端用户提供请求和体验用户限定的合成视图的可能性。合成视图不一定与例如与捕获摄像机1对应的可用摄像机视图吻合。深度信息也可以用在一些渲染技术中，例如基于深度图像的渲染(DIBR)，从而构造从期望视点的合成视图。与每个可用摄像机视图关联的深度图提供逐个像素信息，该信息被用于执行3-D图像翘曲。指定已有摄像机的位置和取向的外部参数，连同深度信息和合成视图的期望位置，可以提供合成视图中的任何像素点和已有摄像机视图的像素点之间的精确几何对应。针对合成视图上的每个网格点，确定指派给该网格点的像素颜色值。确定像素颜色值例如可以利用各种用于图像重采样的各种技术同时解决场景中的可见性和遮挡来实施。为了解决可见性和遮挡，采用诸如遮挡纹理、遮挡深度图和来自可用摄像机视图的透明层的其它补充信息，来提高所合成的视图的质量以及最小化其中的伪像。应理解，本发明的示例实施例并不约束于用于基于图像的渲染的特定技术或者用于视图合成的任何其它技术。
图3a说明了在示例多视图视频捕获系统10中跨越多个摄像机视图90的合成视图95的示例。多视图视频捕获系统10包括索引为C1、C2、C3和C4的四个摄像机，其具有索引为V1、V2、V3和V4的四个相应的3-D场景5的摄像机视图90。合成视图95例如可以看作具有合成或虚拟视点的视图，其中没有相应摄像机置于该视点处。合成视图95包括索引为V2的摄像机视图、索引为V1的摄像机视图的一部分和索引为V3的摄像机视图的一部分。需要重申的是，合成视图95可以利用与索引为V1、V2和V3的摄像机视图关联的视频数据来构造。合成视图95的示例构造方法包括裁剪索引为V1和V3的摄像机视图中的有关部分以及将所裁剪的部分与索引为V2的摄像机视图合并为单个视图。在构造合成视图95时可以应用其它处理技术。
图3b说明了在示例多视图视频捕获系统10中跨越单个摄像机视图的合成视图95的示例。根据示例实施例，多视图视频捕获系统10包括索引为C1、C2、C3和C4的四个摄像机，其具有索引为V1、V2、V3和V4的四个相应的3-D场景5的摄像机视图90。图3b中描述的合成视图95仅仅跨过索引为V2的摄像机视图的一部分。给定与索引为V2的摄像机视图关联的视频数据，例如可以使用图像裁剪方法和/或图像重定向技术构造图3b中的合成视图95。例如在压缩域或者在空间域中可以使用其它处理方法。
根据示例实施例，确定用以重构所请求的合成视图的已有视图的最小子组以最小化网络使用率。例如，可以使用由摄像机视图V1、V2和V3组成的第一子组或者使用由视图V2和V3组成的第二子组，来构造图3a中的合成视图95。选择第二子组是因为它要求更少的带宽来传送视频以及更少的存储器来生成合成视图。根据示例实施例，确定用以重构与合成视图对应的一组分立位置的这种最小子组的预计算表，从而避免每次请求合成视图时执行该计算。
在自由视图交互TV应用的情景中，可以考虑若干情形。例如，可以使用多视图视频编码(MVC)编码器或者编解码器来对与不同摄像机视图90对应的多视图视频数据进行联合编码。根据示例实施例，与不同摄像机视图90对应的视频数据被独立地编码或压缩为多个视频流。根据本申请的示例实施例，例如基于用户的请求，多个不同视频流的可用性允许将不同视频内容递送到不同用户设备130。在又一可能情形中，利用MVC编解码器联合压缩可用摄像机视图90数据的不同子组。例如，压缩视频流可包括与两个或更多交叠摄像机视图90关联的数据。
根据示例实施例，由具有交叠视场的稀疏摄像机视图90所捕获的3-D场景5。至少部分基于可用摄像机视图90和/或例如位置、取向和设置的摄像机的信息，计算3-D场景深度图(多个)和相关几何。与场景深度和/或相关几何有关的信息被提供到流传输服务器120。用户设备130可以通过反馈通道而连接到流传输服务器120从而请求合成视图95。
图4a说明视频处理服务器110的框图。根据示例实施例，视频处理服务器110包括处理单元115、存储器单元112和至少一个通信接口119。视频处理服务器110还包括多视图几何合成器114和至少一个视频编码器或编解码器118。多视图几何合成器114、视频编解码器(多个)118和/或至少一个通信接口119可以实施为软件、硬件、固件和/或软件、硬件和固件其中超过一种的组合。根据图4a的示例实施例，与几何合成器114和视频编解码器(多个)118关联的功能由处理单元115执行。处理单元115包括一个或多个处理器和/或处理电路系统。多视图几何合成器114生成、更新和/或维持与不同摄像机视图90的相关几何有关的信息。根据示例实施例，多视图几何合成器114计算相关几何方案。相关几何方案描述例如与每个摄像机视图关联的光场的边界。在可替换示例实施例中，相关几何方案可以描述每个摄像机15的位置、取向和设置。相关几何方案可以进一步描述3-D场景5相对于摄像机的位置。多视图几何合成器114至少部分基于所计算的场景深度图和/或与摄像机的位置、取向和设置有关的其它信息，来计算相关几何方案。根据示例实施例，场景深度图由摄像机利用例如一些传感器信息来生成，并且随后被发送到视频处理服务器110。在可替换示例实施例中，由多视图几何合成器114计算场景深度图。形成内部、外部校准数据的摄像机的位置、取向和其它设置也可以例如由每个摄像机15自动地提供给视频处理服务器110，或者由管理视频源系统的人或系统作为输入来提供。相关几何方案和场景深度图为终端用户提供足够信息以对摄像机和合成视图进行认知选择和/或导航遍历。
根据示例实施例，视频处理服务器110从摄像机接收压缩视频流。在另一示例实施例中，视频处理服务器110从摄像机或存储单元接收未压缩视频数据，并且利用视频编解码器(多个)118将其编码为一个或多个视频流。视频编解码器(多个)118在压缩视频流时使用例如与相关几何和/或场景深度图关联的信息。例如，如果将与超过一个摄像机视图关联的视频内容压缩在单个流内，则关于不同视图中的交叠区域的知识有助于实现高效压缩。未压缩视频流从摄像机被发送到视频处理服务器110或发送到存储单元116。压缩视频流存储于存储单元116中。压缩视频流经由视频处理服务器110的通信接口119被传送到流传输服务器120。视频编解码器118的示例包括先进视频编码(AVC)编解码器、多视图视频编码(MVC)编解码器、可扩展视频编码(SVC)编解码器和/或类似编解码器。
图4b为示例流传输服务器120的框图。流传输服务器120包括处理单元125、存储器单元126和通信接口129。视频流传输服务器120还可以包括一个或多个视频编解码器128和/或多视图分析模块123。视频编解码器128的示例包括先进视频编码(AVC)编解码器、多视图视频编码(MVC)编解码器、可扩展视频编码(SVC)编解码器和/或类似编解码器。视频编解码器(多个)128例如对从视频处理服务器110接收的压缩视频流进行解码，以及将它们编码为不同格式。例如，视频编解码器(多个)充当代码转换器(多个)，从而例如基于视频源系统102的能力和/或接收用户设备的能力，允许流传输服务器110接收一种或多种压缩视频格式的视频流以及传送另一种压缩视频格式的所接收的视频数据。多视图分析模块123识别足以构造合成视图95的至少一个摄像机视图。在一示例中，该识别是至少部分基于从视频处理服务器110接收的场景深度图和/或相关几何。在可替换示例中，摄像机视图的识别是至少部分基于描述例如不同摄像机和/或合成视图之间的交叠区域的至少一个变换。取决于流传输服务器110是否识别出与合成视图95关联的摄像机视图90，流传输服务器可以包括或者可以不包括多视图分析模块123。在示例实施例中，多视图分析模块123、视频编解码器(多个)128和/或通信接口129可以实施为软件、硬件、固件和/或软件、硬件和固件其中超过一种的组合。根据图4b的示例实施例，与视频编解码器(多个)128和多视图分析模块123关联的功能由处理单元125执行。处理单元125包括一个或多个处理器和/或处理电路。处理单元可通信地耦合到存储器单元126、通信接口129和/或流传输服务器120的其它硬件组件。
流传输服务器120经由通信接口129接收压缩视频数据、场景深度图和/或相关几何方案。压缩视频数据、场景深度图和相关几何方案可以存储于存储器单元126中。流传输服务器120经由通信接口129将场景深度图和/或相关几何方案转发到一个或多个用户设备130。流传输服务器还传送压缩多视图视频数据到一个或多个用户设备130。
图4c为用户设备130的示例框图。用户设备130包括通信接口139、存储器单元136和处理单元135。用户设备130还包括用于解码接收的视频流的至少一个视频解码器138。视频解码器138的示例包括先进视频编码(AVC)解码器、多视图视频编码(MVC)解码器、可扩展视频编码(SVC)解码器和/或类似解码器。用户设备130包括用于向用户显示信息和/或视频内容的显示/渲染单元132。处理单元135包括至少一个处理器和/或处理电路。处理单元135可通信地耦合到存储器单元136、通信接口139和/或用户设备130的其它硬件组件。用户设备130还包括多视图选择器。用户设备130还可包括多视图分析模块133。
根据示例实施例，用户设备130经由通信接口139从流传输服务器120接收场景深度图和/或相关几何方案。多视图选择器137允许用户选择优选的合成视图95。多视图选择器137包括用户接口以向用户呈现与可用摄像机视图90和/或摄像机有关的信息。所呈现的信息允许用户对优选的合成视图95作出认知选择。例如，所呈现的信息包括与相关几何方案、场景深度图和/或可用摄像机视图的快照有关的信息。多视图选择器137可以还配置成存储用户选择。
在示例实施例中，处理单元135将用户选择作为描述优选合成视图95的参数或方案发送到流传输服务器120。多视图分析模块133识别与所选择的合成视图95关联的一组摄像机视图90。该识别可以至少部分基于从流传输服务器120接收的信息。处理单元135随后发送针对流传输服务器120的请求，其请求与所识别的摄像机视图90关联的视频数据。
处理单元135从流传输服务器120接收视频数据。随后使用视频解码器(多个)138来解码该视频数据。处理单元135将所解码的视频数据显示在显示/渲染单元132上和/或将其发送到耦合到用户设备130的另一渲染装置。视频解码器(多个)138、多视图选择器模块137和/或多视图分析模块133可以实施为软件、硬件、固件和/或软件、硬件和固件的组合。在图4c的示例实施例中，与视频解码器(多个)138、多视图选择器模块137和/或多视图分析模块133关联的过程由处理单元135执行。
根据各种实施例，可以利用包括单播、组播、广播和/或类似方式的流传输方法来执行多视图视频数据的流传输。所使用的流传输方法的选择至少部分取决于包括下述各项的因素之一：多视图视频数据通过其被提供的服务的特性、网络能力、用户设备130的能力、用户设备130的位置、请求/接收多视图视频数据的用户设备130的数目和/或类似因素。
图5a示出的框图说明了根据示例实施例的由用户设备130执行的方法。在515，由用户设备130接收与3D场景的场景几何和/或摄像机视图有关的信息。所接收的信息例如包括一个或多个场景深度图和相关几何方案。所接收的信息提供对下述各项的描述：可用摄像机视图，摄像机的相对位置、取向和设置，和/或类似信息。在525，至少部分基于所接收的信息，由用户设备130选择所关注的合成视图95。相关几何和/或摄像机视图信息被显示给用户。通过指定虚拟摄像机的位置、取向和设置，用户可以例如指示所选择的合成视图。在另一实例中，用户至少部分基于可用摄像机视图90的所显示的快照和用户接口，指示所关注的合成视图的边界。
用户接口允许用户例如经由触摸屏而选择跨过一个或多个摄像机视图90的区域。附加地，用户可以使用触摸屏接口例如从而通过简单地在所期望的方向上拖动他的手指而在场景中查看全景或掠过，以及通过使用所探测的手指运动和加速度以预测方式合成新的视图。使用多点触摸装置可以实施与视频场景的另一交互方法，其中用户可以使用两个或更多手指来指示旋转或缩放等的组合效果。然而在另一实例中，用户可以使用遥控装置或操纵杆导航3D场景，并且可以通过按压特定键而改变视图，该特定键用作增量步以察看全景、改变透视图、旋转、放大或缩小从而生成具有平滑过渡效果的合成视图。通过这些不同示例暗示了本发明不限于具体用户接口或交互方法，只要用户输入被总结为特定几何参数，该几何参数可以用于合成新视图和/或可用于在各视图之间生成平滑过渡效果的中间视图。根据示例实施例，与合成视图对应的几何参数(例如合成视图相对于摄像机视图的坐标)的计算可以进一步由多视图选择器137执行。
用户设备130包括多视图分析模块133，并且在535，由多视图分析模块133确定与所确定的合成视图95关联的一个或多个摄像机视图90。所识别的一个或多个摄像机视图90用于构造所确定的合成视图95。根据优选实施例，所识别的摄像机视图90构成摄像机视图的最小集合，例如其具有足以构造所确定的合成视图95的最小可能数目的摄像机视图。例如，当使用单播和/或组播流传输方法时，最小化所识别的摄像机视图的数目的一个优点为高效利用网络资源。例如，在图3a中，足以构造合成视图95的摄像机视图的最小集合包括视图V1、V2和V3。在图3b中，所识别的摄像机视图的最小集合包括摄像机视图V2。在另一示例实施例中，多视图分析模块133可以基于不同标准而识别一组摄像机视图。例如，多视图分析模块133可以考虑到每个摄像机视图90的图像质量和/或亮度。在图3b中，多视图分析模块可以识别视图V2和V3而不是仅仅V2。例如，V3和V2的使用可以提高所确定的合成视图95的视频质量。
在545，由用户设备130接收与至少一个所确定的合成视图95和/或一个或多个所识别的摄像机视图关联的媒体数据。在示例广播情形中，用户设备130接收与所有可用摄像机视图90关联的压缩视频流。用户设备130随后仅仅解码与所识别的摄像机视图关联的视频流。在其中在单播流传输会话接收媒体数据的示例情形中，用户设备130将关于所识别的摄像机视图的信息发送到流传输服务器120。用户设备130响应于所发送的信息接收与所识别的摄像机视图90关联的一个或多个压缩视频流。用户设备130也可以将关于所确定的合成视图95的信息发送到流传输服务器120。流传输服务器120至少部分基于所接收的信息来构造所确定的合成视图，并且传送与在用户设备130处确定的合成视图95关联的压缩视频流。用户设备130接收压缩视频流并且在视频解码器138处解码该压缩视频流。
在将媒体数据组播流传输到接收装置的情形，流传输服务器120在单个组播会话中传送例如与摄像机视图90关联的每个媒体流。用户设备130订阅与由多视图分析模块133识别的摄像机视图关联的组播会话，从而接收与所识别的摄像机视图对应的视频流。在另一组播情形中，用户设备可以将关于它们的所确定的合成视图95和/或所识别的摄像机视图的信息发送给流传输服务器120。流传输服务器120在单个组播会话中传送与通常由大多数或所有接收用户设备共同识别的摄像机视图关联的多个视频流。与由单个或几个用户设备识别的摄像机视图关联的视频流可以在单播会话中传送到相应用户设备；这会要求附加的信令方案来同步动态流传输配置，但是也可以节约大量带宽，因为可以预期大多数用户将遵循陈规模式的视点变化。在另一实例中，流传输服务器120至少部分基于所接收的信息，决定在一个或多个组播会话中将传送的几个合成视图95。每个用户设备130随后订阅与由相同用户设备130确定的合成视图最接近的合成视图95关联的组播会话。用户设备130在视频解码器138解码所接收的视频数据。
在555，由用户设备130显示合成视图95。用户设备130可以在其显示器132上或者在耦合到用户设备130的视觉显示装置(例如HD TV、数字投影仪、3-D显示设备和/或类似设备)上显示视频数据。在其中用户设备130接收与所识别的摄像机视图关联的视频流的情形中，由用户设备130的处理单元135执行进一步处理从而根据所接收的视频数据构造所确定的合成视图。
图5b示出的框图说明了根据示例实施例由流传输服务器120执行的方法。在510，由流传输服务器120将与3-D场景5的场景几何和/或可用摄像机视图90有关的信息传送到一个或多个用户设备。所传送的信息例如包括一个或多个场景深度图和相关几何方案。所传送的信息提供了对可用摄像机视图，摄像机的相对位置、取向和设置，和/或3-D场景几何的描述。在520，由流传输服务器120传送媒体数据，该媒体数据包括与合成视图有关和/或与合成视图95关联的摄像机视图有关的视频数据。在广播情形中，例如，流传输服务器120广播与可用摄像机视图90有关的视频数据。接收用户设备随后选择与它们的所确定的合成视图95有关的视频流。由用户设备130的处理单元135执行进一步处理，从而利用先前识别的相关视频流构造所确定的合成视图。
在组播情形中，流传输服务器120在单个组播会话中传送与摄像机视图90关联的每个视频流。用户设备130随后可以订阅具有与相同用户设备130所识别的摄像机视图对应的视频流的组播会话。在另一示例组播情形中，流传输服务器120还从用户设备接收关于所识别的摄像机视图和/或相应的由用户设备确定的合成视图的信息。流传输服务器120至少部分基于所接收的信息，执行优化计算并且确定所有或大多数接收用户设备共同的一组摄像机视图，并仅仅组播那些视图。在又一示例中，流传输服务器120可以在组播会话中对多个视频流分组。流传输服务器120也可以基于所接收的信息而生成一个或多个合成视图，以及在组播会话中传送针对每个所生成的合成视图的视频流。在流传输服务器120处生成的合成视图可以例如按照下述方式生成：由用户设备容纳所确定的合成视图95同时减小由流传输服务器120组播的视频数据的数量。所生成的合成视图可以例如相同于或者略微不同于由用户设备所确定的合成视图中一个或多个。
在单播情形中，流传输服务器120还从用户设备接收关于所识别的摄像机视图和/或相应的用户设备所确定的合成视图的信息。在520，由流传输服务器120将相应请求的摄像机视图传送到一个或多个用户设备。流传输服务器120也可以生成由用户设备确定的每个合成视图95的视频流。在520，所生成的流随后被传送到相应用户设备。这种情况下，所接收的视频流并不要求任何进一步几何处理并且可以直接地显示给用户。
图6a示出的框图说明了根据另一示例实施例由用户设备130执行的方法。在615，由用户设备130接收与场景的场景几何和/或摄像机视图有关的信息。所接收的信息例如包括一个或多个场景深度图和相关几何方案。所接收的信息提供对可用摄像机视图，摄像机的相对位置、取向和设置，和/或类似信息的描述。在625，例如由用户设备130的用户至少部分基于所接收的信息而选择关注的合成视图95。相关几何和/或摄像机视图信息被显示给用户。用户可以通过指定虚拟摄像机的位置、取向和设置，例如指示所选择的合成视图。在另一实例中，用户至少部分基于可用摄像机视图90的所显示的快照和用户接口，指示所关注的合成视图的边界。用户接口允许用户例如经由触摸屏而选择跨过一个或多个摄像机视图90的区域。附加地，用户可以使用触摸屏接口例如来通过简单地在所期望的方向上拖动他的手指而在场景中查看全景或掠过，以及通过使用所探测的手指运动和加速度以预测方式合成新的视图。例如使用多点触摸装置来实施与视频场景的另一交互方法，其中用户可以使用两个或更多手指来指示旋转或缩放等的组合效果。然而在另一实例中，用户使用遥控装置或操纵杆来导航3D场景并且通过按压特定键而改变视图，该特定键用作增量步长以察看全景、改变透视图、旋转、放大或缩小，以生成具有平滑过渡效果的合成视图。通过这些不同示例暗示了本发明不限于具体用户接口或交互方法。用户输入被总结为特定几何参数，这些几何参数被用于合成新视图和/或可用于在各视图之间生成平滑过渡效果的中间视图。根据示例实施例，与合成视图对应的几何参数(例如合成视图相对于摄像机视图的坐标)的计算可以进一步由多视图选择器137执行。在635，由用户设备130将指示所确定的合成视图95的信息发送到流传输服务器120。所发送的信息包括所确定合成视图例如相对于可用摄像机视图90的坐标的坐标，和/或将捕获所确定的合成视图95的假想摄像机的参数。参数包括假想摄像机的位置、取向和/或设置。
在645，由用户设备130接收包括与所确定的合成视图关联的视频数据的媒体数据。在示例单播情形中，用户设备130接收与所确定的合成视图95关联的视频流。用户设备130解码所接收的视频流以得到所确定的合成视图的无压缩视频内容。在另一实例中，用户设备接收足以重构所确定的合成视图95的与一个或多个摄像机视图关联的一束视频流。该一个或多个摄像机视图在流传输服务器120处被识别。用户设备130解码所接收的视频流并且重构所确定的合视图95。
在示例组播情形中，用户设备130订阅一个或多个组播会话从而接收一个或多个视频流。该一个或多个视频流可以与所确定的合成视图95和/或与由流传输服务器120识别的摄像机视图关联。用户设备130可以进一步接收指示哪个(哪些)组播会话与用户设备130有关的信息。
在655，由用户设备130在其自己显示器132上或者在耦合到用户设备130的视觉显示装置(例如HD TV、数字投影仪和/或类似装置上)显示解码的数据视频。在其中用户设备130接收与所识别的摄像机视图关联的视频流的情形中，由处理单元135执行进一步处理，从而根据所接收的视频数据构造所确定的合成视图。
图6b示出的框图说明了根据另一示例实施例的由流传输服务器120执行的方法。在610，由流传输服务器120将与场景的场景几何和/或可用摄像机视图90有关的信息传送到一个或多个用户设备130。所传送的信息例如包括一个或多个场景深度图和/或相关几何方案。所传送的信息提供对可用摄像机视图，摄像机的相对位置、取向和设置，和/或3D场景几何的描述。在620，由流传输服务器120从一个或多个用户设备接收指示一个或多个合成视图的信息。在一个或多个用户设备处确定合成视图。所接收的信息例如包括合成视图例如相对于可用摄像机视图的坐标的坐标。在另一实例中，所接收的信息可以包括一个或多个虚拟摄像机的位置、取向和设置的参数。在630，流传输服务器120识别与至少一个合成视图95关联的一个或多个摄像机视图。例如，对于每个合成视图95，流传输服务器120识别一组摄像机视图从而重构相同合成视图95。由多视图分析模块123执行对摄像机视图的识别。
在640，由流传输服务器120传送包括与一个或多个合成视图有关的视频数据的媒体数据。根据示例实施例，流传输服务器向对合成视图感兴趣的用户设备130传送与相同合成视图的所识别的摄像机视图对应的视频流。在另一示例实施例中，流传输服务器120构造由用户设备130指示的合成视图，并且生成相应压缩视频流。所生成的压缩视频流随后传送到用户设备130。流传输服务器120可以例如构造所有指示的合成视图并且生成相应视频流，并将它们传送到相应用户设备。流传输服务器120也可以构造可以由或者不由用户设备指示的一个或多个合成视图。例如，流传输服务器120可以选择生成并且传送一定数目的合成视图，该数目小于由用户设备指示的合成视图的数目。一个或多个用户设备130可以接收与由相同一个或多个用户设备指示的合成视图不同的合成视图的视频数据。
在示例实施例中，流传输服务器120使用单播流传输以将视频流递送到用户设备。在单播情形中，流传输服务器120向用户设备130传送与由相同用户设备指示的合成视图95有关的视频数据。在可替换示例实施例中，流传输服务器120广播或组播与可用摄像机视图90关联的视频流。在组播或广播情形中，流传输服务器120进一步发送通知到一个或多个用户设备，该通知指示哪些视频流和/或流传输会话与该一个或多个用户设备130的每一个有关。在广播服务中接收视频数据的用户设备130基于所接收的通知而仅仅解码相关视频流。用户设备130使用所接收的通知来决定订阅哪些组播会话。
图7说明从一个活动视图到新请求的视图的场景导航的示例实施例。在图7的示例中存在索引为V1、V2、V3和V4的四个可用摄像机视图。根据图7，由用户消耗的当前活动视图为合成视图95A。用户随后决定切换到新请求的合成视图，例如合成视图95B。根据优选实施例，通过最小化对从流传输服务器120流传输到用户设备130的视频数据的改变，从而对从一个视图到另一个视图的切换进行优化。例如，可以使用分别与摄像机C2和C3对应的摄像机视图V2和V3构造图7的当前活动视图95A。例如，可以使用分别对应于摄像机C3和C4的摄像机视图V3和V4来构造所请求的新合成视图95B。用户设备130例如接收与摄像机视图V2和V3对应的视频流同时消耗活动视图95A。
根据示例实施例，当从活动视图95A切换到所请求的新合成视图95B时，用户设备130保持接收和/或解码与摄像机视图V3对应的视频流。用户设备130还开始接收和/或解码与摄像机视图V4对应的视频流，而不是与摄像机视图V2对应的视频流。在组播情形中，用户设备130订阅与摄像机视图V2和V3关联的组播会话同时消耗活动视图95A。当切换到摄像机视图95B时，用户设备130例如离开与摄像机视图V2对应的会话并且订阅与摄像机视图V4对应的组播会话。用户设备130保持消耗与摄像机视图V3对应的会话。在广播情形中，用户设备130停止解码与摄像机视图V2对应的视频流并且开始解码与摄像机视图V4对应的视频流。用户设备130还保持解码与摄像机视图V3对应的视频流。
考虑这样的通常情形，其中使用具有交叠视场的稀疏阵列摄像机Ci，i＝{1…N}来覆盖3D场景。数目N指示可用摄像机的总数。变换Hi→j将与摄像机Ci对应的每个摄像机视图Vi映射到与摄像机Ci对应的另一视图Vj。根据示例实施例，Hi→j对与摄像机的相对安置和3D场景深度对应的所有几何变换的结果进行抽象。例如Hi→j可以看作是至少一对视图的快照之间的4维(4-D)光流矩阵。4-D光流矩阵将Vi中例如像素m＝(x，y)T的每个网格位置映射到Vj中的其相应配对上，如果视图Vi和Vj在该网格位置存在交叠的话。如果没有交叠，则例如指派空指针。4-D光流矩阵还可以指示例如至少一对视图Vi和Vj之间的亮度、颜色设置和/或类似物的变化。在另一实例中，映射Hi→j产生二维图或图片，其指示视图Vi和Vj之间的交叠区域或像素。
根据示例实施例，变换Hi→j例如可以由流传输服务器120和/或一个或多个用户设备130在识别与合成视图95关联的摄像机视图时使用。可以例如离线预先计算任何两个已有摄像机视图90之间的变换。变换的计算在计算上要求高，并且因而离线预先计算变换Hi→j允许多视图视频数据的高效且快速的流传输更加快速，且更适合于离线执行。如果一个或多个摄像机15的取向和/或设置发生改变，变换还可以例如在流传输仍在进行时被调适。根据示例实施例，可用摄像机视图90之间的变换例如由多视图分析模块123使用以识别将用于重构合成视图的摄像机视图。例如，在3-D场景导航情形中，将用户设备130当前正在观看的视图(例如活动客户端视图)标记为Va。活动客户端视图Va可以对应于已有摄像机视图90或者对应于任何其它合成视图95。在图7的示例中，Va为合成视图95A。Va和可用摄像机视图90之间的对应例如Ha→i被预计算。流传输服务器120还可以存储例如变换矩阵Ha→i，其中I＝{1…N}，或者只是存储用于重构Va的摄像机视图的指示。在图7的示例中，流传输服务器可以简单地存储摄像机视图V2和V3指示。用户通过限定新请求的合成视图Vs，例如图7中的合成视图95B，来改变视点。流传输服务器120被告知用户设备130改变视图。例如在单播情形中，流传输服务器120确定由于相同用户设备130改变视图而传送到用户设备130的摄像机视图的改变。
根据示例实施例，确定传送到用户设备130的摄像机视图的改变可以按下述实施：
在改变视点的更新的用户交互时，
用户设备130限定新合成视图Vs的几何参数。
这例如可以通过计算由于全景、缩放、透视变化和/或类似物引起的增量导致的边界区域来完成。
用户设备130将所限定的新合成视图Vs的几何参数传送到流传输服务器。
流传输服务器计算在Vs和当前活动视图Va中使用的摄像机视图Vi之间的变换Hs→i。在此步骤中，流传输服务器识别也可以用于新合成视图的当前使用的摄像机视图。在图7的示例中，流传输服务器计算Hs→2和Hs→3，假设仅仅V2和V3被用于重构当前活动视图95A。在图7的相同示例中，摄像机视图V2和V3都与Vs交叠。
在与Vs交叠的任何摄像机视图均可以被消除的情况下，流传输服务器120随后比较已经计算的矩阵Hs→i。在图7的示例中，流传输服务器比较Hs→2和Hs→3。该比较指示Hs→2中指示的交叠区域为Hs→3中包括的交叠区域的子区域。因而，流传输服务器决定从传送到用户设备130的视频流的列表中丢掉与摄像机视图V2对应的视频流。流传输服务器120在传送到用户设备130的视频流的列表中保持与摄像机视图V3对应的视频流。
如果在传送到用户设备130的视频流的列表中的其余视频流不足以构造合成视图Vs，流传输服务器120利用其余摄像机视图继续该过程。在图7的示例中，由于V3不足以重构Vs，流传输服务器120还计算Hs→1和Hs→4。图7中的摄像机视图V1不与Vs交叠，而V4与Vs交叠。流传输服务器120随后忽略V1并且将与V4对应的视频流添加到传送的视频流的列表。
如果需要，流传输服务器如在步骤4中那样执行另外比较，从而确定列表中的任何视频流是否可以被消除。在图7的示例中，由于V3和V4足以重构Vs，以及V3和V4单独都不足以重构Vs，流传输服务器最后开始最终列表中的视频流(例如对应于V3和V4)的流传输。
图8说明从流传输服务器120流传输到用户设备130的可扩展视频数据的示例实施例。流传输服务器将与摄像机视图V2、V3和V4关联的视频数据传送到用户设备130。根据图8中的示例实施例，与摄像机视图V2对应的所传送的可扩展视频数据包括基本层、第一增强层和第二增强层。与摄像机视图V4对应的所传送的可扩展视频数据包括基本层和第一增强层，而与摄像机视图V2对应的所传送的视频数据仅仅包括基本层。与摄像机视图V2、V3和V4关联的场景深度信息还作为辅助数据流被传送到用户设备130。例如，与一个或多个摄像机视图关联的视频层的子组(不是所有层)的传送允许高效利用网络资源。
在不以任何方式限制下面出现的权利要求书的范围、解读或应用的情况下，有可能的是，此处公开的一个或多个示例实施例的技术效果可以是多视图视频数据的高效流传输。此处公开的一个或多个示例实施例的另一技术效果可以是个性化的自由视图TV应用。此处公开的一个或多个示例实施例的另一技术效果可以是增强的用户体验。
本发明的实施例可以以软件、硬件、应用逻辑或者软件、硬件和应用逻辑的组合来实施。软件、应用逻辑和/或硬件可以驻留于与服务提供商关联的计算机服务器、网络服务器或者用户设备上。如果需要，部分的软件、应用逻辑和/或硬件可以驻留于与服务提供商关联的计算机服务器上，部分的软件、应用逻辑和/或硬件可以驻留于网络服务器上，并且部分的软件、应用逻辑和/或硬件可以驻留于用户设备。在示例实施例中，应用逻辑、软件或者指令集优选地保持在任何一种的各种常规计算机可读取介质上。在此文件的上下文中，“计算机可读取介质”可以是这样的任何介质或装置，其可以包含、存储、通信、传播或者传输由指令执行系统、设备或装置使用或者与之结合使用的指令。计算机可读取介质可包括计算机可读取存储介质，该计算机可读取存储介质可以是这样的任何介质或装置，其可以包含或存储由指令执行系统、设备或装置使用或者与之结合使用的指令。
如果需要，此处讨论的不同功能可以按照任何顺序和/或彼此同时执行。另外，如果需要，一个或多个上文描述的功能可以是可选的或者可以被组合。
尽管在独立权利要求中列出了本发明的各个方面，但是本发明的其它方面包括来自所描述的实施例和/或从属权利要求的特征与独立权利要求的特征的任何组合，并且不仅仅是权利要求中明确列出的组合。
此处还指出，尽管上文描述了本发明的示例实施例，这些描述不应解读为限制含义。相反，在不背离如所附权利要求中限定的本发明范围的情况下，存在可以进行的若干变型和调整。

Claims (40)

1.一种设备，包括：
处理单元，其配置成致使该设备：
接收与三维场景的可用摄像机视图有关的信息；
请求合成视图，所述合成视图不同于任何可用摄像机视图并且所述合成视图由该处理单元确定；以及
接收媒体数据，该媒体数据包括与该合成视图关联的视频数据。
2.根据权利要求1所述的设备，其中该处理单元还配置成从所述可用摄像机视图识别与所确定的合成视图关联的一个或多个摄像机视图。
3.根据权利要求2所述的设备，其中识别与所请求的合成视图关联的一个或多个摄像机视图包括最小化所识别的摄像机视图的数目。
4.根据权利要求2-3中任意一项所述的设备，其中所接收的媒体数据包括与多个可用摄像机视图关联的多个视频流，该处理单元还配置成仅仅解码与所识别的摄像机视图关联的视频流。
5.根据权利要求2-3中任意一项所述的设备，其中该处理单元还配置成致使该设备订阅一个或多个组播会话用于接收该媒体数据，所述一个或多个组播会话和与一个或多个所识别的摄像机视图关联的一个或多个视频流有关。
6.根据权利要求2-3中任意一项所述的设备，其中该处理单元还配置成致使该设备：
发送与一个或多个所识别的摄像机视图有关的信息到网络服务器；以及
在单播会话中，接收与所述一个或多个所识别的摄像机视图对应的一个或多个视频流作为媒体数据。
7.根据权利要求2-6中任意一项所述的设备，其中该处理单元还配置成致使该设备：
重构所请求的合成视图；以及
显示所请求的合成视图。
8.根据权利要求2-3中任意一项所述的设备，其中该处理单元还配置成致使该设备：
将指示一个或多个所识别的摄像机视图的信息以及与所请求的合成视图有关的信息发送到网络服务器；以及
在单播会话中，接收与所请求的合成视图对应的视频流作为媒体数据，所述视频流至少部分基于该一个或多个所识别的摄像机视图以及与所请求的合成视图有关的信息来构造。
9.根据权利要求1所述的设备，其中该处理单元还配置成致使该设备：
发送与所请求的合成视图有关的信息到网络服务器；以及
在单播会话中接收一个或多个视频流作为媒体数据，所述一个或多个视频流由所述网络服务器识别。
10.根据权利要求1所述的设备，其中该处理单元还配置成致使该设备：
发送与所请求的合成视图有关的信息到网络服务器；以及
在单播会话中接收一个视频流作为媒体数据，所述一个流由所述网络服务器至少部分基于所述发送的信息以及与一个或多个摄像机视图关联的视频数据而生成。
11.根据权利要求1所述的设备，其中该处理单元还配置成致使该设备：
发送与所请求的合成视图有关的信息到网络服务器；
接收与一个或多个视频流有关的一个或多个组播会话的指示，所述一个或多个视频流与由所述网络服务器识别的一个或多个摄像机视图关联；以及
订阅该一个或多个所指示的组播会话以接收与所识别的一个或多个摄像机视图关联的一个或多个视频流。
12.根据权利要求1所述的设备，其中该处理单元还配置成致使该设备：
发送与所请求的合成视图有关的信息到网络服务器；
接收一个或多个视频流的指示，所述一个或多个视频流与由所述网络服务器识别的一个或多个摄像机视图关联；
在广播会话中接收多个视频流，所述多个视频流包括所指示的一个或多个视频流；以及
解码所指示的一个或多个视频流。
13.根据权利要求8-12中任意一项所述的设备，其中该处理单元还配置成致使该设备：
重构所请求的合成视图；以及
显示所请求的合成视图。
14.一种方法，包括：
由用户设备接收与三维场景的可用摄像机视图有关的信息；
在该用户设备处确定合成视图，所述合成视图不同于任何可用摄像机视图；
由该用户设备从通信网络请求与所确定的合成视图关联的视频数据；以及
由该用户设备接收媒体数据，该媒体数据包括与所确定的合成视图关联的视频数据。
15.根据权利要求14所述的方法，还包括从所述可用摄像机视图识别与所确定的合成视图关联的一个或多个摄像机视图。
16.根据权利要求15所述的方法，其中识别与所请求的合成视图关联的该一个或多个摄像机视图包括最小化所识别的摄像机视图的数目。
17.根据权利要求15-16中任意一项所述的方法，其中所接收的媒体数据包括与多个可用摄像机视图关联的多个视频流，所述方法包括仅仅解码与所识别的摄像机视图关联的视频流。
18.根据权利要求15-16中任意一项所述的方法，还包括订阅一个或多个组播会话用于接收该媒体数据，所述一个或多个组播会话和与一个或多个所识别的摄像机视图关联的一个或多个视频流有关。
19.根据权利要求15-16中任意一项所述的方法，还包括：
发送与一个或多个所识别的摄像机视图有关的信息到网络服务器；以及
在单播会话中，接收与该一个或多个所识别的摄像机视图对应的一个或多个视频流作为媒体数据。
20.根据权利要求15-19中任意一项所述的方法，还包括：
重构所请求的合成视图；以及
显示所请求的合成视图。
21.根据权利要求15-16中任意一项所述的方法，还包括：
将指示一个或多个所识别的摄像机视图的信息以及与所请求的合成视图有关的信息发送到网络服务器；以及
在单播会话中，接收与所请求的合成视图对应的视频流作为媒体数据，所述视频流至少部分基于该一个或多个所识别的摄像机视图以及与所请求的合成视图有关的信息来构造。
22.根据权利要求14所述的方法，还包括：
发送与所请求的合成视图有关的信息到网络服务器；以及
在单播会话中接收一个或多个视频流作为媒体数据，所述一个或多个视频流由所述网络服务器识别。
23.根据权利要求14所述的方法，还包括：
发送与所请求的合成视图有关的信息到网络服务器；以及
在单播会话中接收一个视频流作为媒体数据，所述一个流由所述网络服务器至少部分基于所述发送的信息以及与一个或多个摄像机视图关联的视频数据而生成。
24.根据权利要求14所述的方法，还包括：
发送与所请求的合成视图有关的信息到网络服务器；
接收与一个或多个视频流有关的一个或多个组播会话的指示，所述一个或多个视频流与由所述网络服务器识别的一个或多个摄像机视图关联；以及
订阅该一个或多个所指示的组播会话以接收与所识别的一个或多个摄像机视图关联的一个或多个视频流。
25.根据权利要求14所述的方法，还包括：
发送与所请求的合成视图有关的信息到网络服务器；
接收一个或多个视频流的指示，所述一个或多个视频流与由所述网络服务器识别的一个或多个摄像机视图关联；
在广播会话中接收多个视频流，所述多个视频流包括所指示的一个或多个视频流；以及
解码所指示的一个或多个视频流。
26.根据权利要求21-25中任意一项所述的方法，还包括：
重构所请求的合成视图；以及
显示所请求的合成视图。
27.一种设备，包括：
处理单元，其配置成致使该设备：
发送与三维场景的可用摄像机视图有关的信息；
从用户设备接收针对合成视图的请求，所述合成视图不同于任何可用摄像机视图；以及
传送媒体数据，该媒体数据包括与所述合成视图关联的视频数据。
28.根据权利要求27所述的设备，其中媒体数据的传送包括在多个组播会话中传送与可用摄像机视图关联的视频流。
29.根据权利要求27所述的设备，其中该处理单元还配置成致使该设备：
从所述用户设备接收指示与所述合成视图关联的一个或多个摄像机视图的信息；以及
在单播会话中传送与所指示的一个或多个摄像机视图对应的一个或多个视频流。
30.根据权利要求27所述的设备，其中该处理单元还配置成致使该设备：
从所述用户设备接收指示与所述合成视图关联的一个或多个摄像机视图的信息；
至少部分基于与所指示的一个或多个摄像机视图对应的视频流，生成与所述合成视图对应的视频流；以及
在单播会话中传送与所述合成视图对应的所述生成的视频流。
31.根据权利要求27所述的设备，其中该处理单元还配置成致使该设备：
识别与所述合成视图关联的一个或多个摄像机视图；以及
在单播会话中传送与所指示的一个或多个摄像机视图对应的一个或多个视频流。
32.根据权利要求27所述的设备，其中该处理单元还配置成致使该设备：
识别与所述合成视图关联的一个或多个摄像机视图；
至少部分基于与所识别的一个或多个摄像机视图对应的视频流，生成与所述合成视图对应的视频流；以及
在单播会话中传送与所述合成视图对应的所述生成的视频流。
33.一种方法，包括：
发送与三维场景的可用摄像机视图有关的信息；
从用户设备接收针对合成视图的请求，所述合成视图不同于任何可用摄像机视图；以及
传送媒体数据，该媒体数据包括与所述合成视图关联的视频数据。
34.根据权利要求33所述的方法，其中媒体数据的传送包括在多个组播会话中传送与可用摄像机视图关联的视频流。
35.根据权利要求33所述的方法，还包括：
从所述用户设备接收指示与所述合成视图关联的一个或多个摄像机视图的信息；以及
在单播会话中传送与所指示的一个或多个摄像机视图对应的一个或多个视频流。
36.根据权利要求33所述的方法，还包括：
从所述用户设备接收指示与所述合成视图关联的一个或多个摄像机视图的信息；
至少部分基于与所指示的一个或多个摄像机视图对应的视频流，生成与所述合成视图对应的视频流；以及
在单播会话中传送与所述合成视图对应的所述生成的视频流。
37.根据权利要求33所述的方法，还包括：
识别与所述合成视图关联的一个或多个摄像机视图；以及
在单播会话中传送与所指示的一个或多个摄像机视图对应的一个或多个视频流。
38.根据权利要求27所述的方法，还包括：
识别与所述合成视图关联的一个或多个摄像机视图；
至少部分基于与所识别的一个或多个摄像机视图对应的视频流，生成与所述合成视图对应的视频流；以及
在单播会话中传送与所述合成视图对应的所述生成的视频流。
39.一种计算机程序产品，其包括其中含有计算机程序代码的计算机可读取介质以便与计算机一起使用，该计算机程序代码配置成执行权利要求14-26中任意一项所述的过程。
40.一种计算机程序产品，其包括其中含有计算机程序代码的计算机可读取介质以便与计算机一起使用，该计算机程序代码配置成执行权利要求33-38中任意一项所述的过程。
CN2010800232263A 2009-04-10 2010-04-08 用于自由视点视频的高效流传输的方法和设备 Pending CN102450011A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/422,182 US20100259595A1 (en) 2009-04-10 2009-04-10 Methods and Apparatuses for Efficient Streaming of Free View Point Video
US12/422,182 2009-04-10
PCT/IB2010/000777 WO2010116243A1 (en) 2009-04-10 2010-04-08 Methods and apparatus for efficient streaming of free view point video

Publications (1)

Publication Number Publication Date
CN102450011A true CN102450011A (zh) 2012-05-09

Family

ID=42934041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800232263A Pending CN102450011A (zh) 2009-04-10 2010-04-08 用于自由视点视频的高效流传输的方法和设备

Country Status (4)

Country Link
US (1) US20100259595A1 (zh)
EP (1) EP2417770A4 (zh)
CN (1) CN102450011A (zh)
WO (1) WO2010116243A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107318008A (zh) * 2016-04-27 2017-11-03 深圳看到科技有限公司 全景视频播放方法及播放装置
CN108141578A (zh) * 2015-09-30 2018-06-08 卡雷风险投资有限责任公司 呈现相机
CN109391779A (zh) * 2017-08-10 2019-02-26 纳格拉维森公司 扩展的场景视图
CN109391827A (zh) * 2016-08-08 2019-02-26 联发科技股份有限公司 全方位视频的解码方法、编码方法及电子设备
CN109997358A (zh) * 2016-11-28 2019-07-09 索尼公司 用于自由视点视频流式传输的以解码器为中心的uv编解码器
CN111353382A (zh) * 2020-01-10 2020-06-30 广西大学 一种基于相对位移约束的智能裁剪视频重定向方法
CN112602042A (zh) * 2018-06-25 2021-04-02 皇家飞利浦有限公司 用于生成场景的图像的装置的方法
US11019362B2 (en) 2016-12-28 2021-05-25 Sony Corporation Information processing device and method

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948247B2 (en) * 2009-04-14 2015-02-03 Futurewei Technologies, Inc. System and method for processing video files
US8341672B2 (en) * 2009-04-24 2012-12-25 Delta Vidyo, Inc Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems
TW201041392A (en) * 2009-05-05 2010-11-16 Unique Instr Co Ltd Multi-view 3D video conference device
US9226045B2 (en) 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
EP2530642A1 (en) * 2011-05-31 2012-12-05 Thomson Licensing Method of cropping a 3D content
EP2536142A1 (en) * 2011-06-15 2012-12-19 NEC CASIO Mobile Communications, Ltd. Method and a system for encoding multi-view video content
US9451232B2 (en) 2011-09-29 2016-09-20 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
WO2013109742A1 (en) * 2012-01-18 2013-07-25 Logos Technologies, Inc. Method, device, and system for computing a spherical projection image based on two-dimensional images
US20130202191A1 (en) * 2012-02-02 2013-08-08 Himax Technologies Limited Multi-view image generating method and apparatus using the same
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9886794B2 (en) * 2012-06-05 2018-02-06 Apple Inc. Problem reporting in maps
US10156455B2 (en) 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
WO2014041234A1 (en) * 2012-09-14 2014-03-20 Nokia Corporation Apparatus, method and computer program product for content provision
US8976224B2 (en) 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
MX2014002305A (es) * 2012-11-29 2015-03-04 Open Joint Stock Company Long Distance And Internat Telecomm Rostelecom Ojsc Rostelecom Sistema de transmision de video para monitorear eventos simultaneos geograficamente distribuidos.
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
WO2014145925A1 (en) * 2013-03-15 2014-09-18 Moontunes, Inc. Systems and methods for controlling cameras at live events
US9467750B2 (en) * 2013-05-31 2016-10-11 Adobe Systems Incorporated Placing unobtrusive overlays in video content
WO2015035566A1 (en) * 2013-09-11 2015-03-19 Intel Corporation Integrated presentation of secondary content
EP2860699A1 (en) * 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US10296281B2 (en) 2013-11-05 2019-05-21 LiveStage, Inc. Handheld multi vantage point player
US10664225B2 (en) 2013-11-05 2020-05-26 Livestage Inc. Multi vantage point audio player
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
GB2534136A (en) 2015-01-12 2016-07-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
JP6236573B2 (ja) * 2015-05-01 2017-11-22 株式会社電通 自由視点映像データ配信システム
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) * 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10701318B2 (en) 2015-08-14 2020-06-30 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US10129579B2 (en) 2015-10-15 2018-11-13 At&T Mobility Ii Llc Dynamic video image synthesis using multiple cameras and remote control
US20170180652A1 (en) * 2015-12-21 2017-06-22 Jim S. Baca Enhanced imaging
CN105791803B (zh) * 2016-03-16 2018-05-18 深圳创维－Rgb电子有限公司 一种将二维图像转化为多视点图像的显示方法及系统
WO2017172528A1 (en) 2016-04-01 2017-10-05 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
US10834305B2 (en) 2016-04-11 2020-11-10 Spiideo Ab System and method for providing virtual pan-tilt-zoom, PTZ, video functionality to a plurality of users over a data network
US9681096B1 (en) 2016-07-18 2017-06-13 Apple Inc. Light field capture
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10652284B2 (en) * 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
GB2555585A (en) * 2016-10-31 2018-05-09 Nokia Technologies Oy Multiple view colour reconstruction
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10776992B2 (en) * 2017-07-05 2020-09-15 Qualcomm Incorporated Asynchronous time warp with depth data
JP6433559B1 (ja) * 2017-09-19 2018-12-05 キヤノン株式会社 提供装置および提供方法、プログラム
US10701342B2 (en) * 2018-02-17 2020-06-30 Varjo Technologies Oy Imaging system and method for producing images using cameras and processor
MX2020010475A (es) * 2018-04-05 2020-12-09 Vid Scale Inc Metadatos de puntos de vista para video omnidireccional.
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
FR3086831A1 (fr) 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle
CN111757378B (zh) * 2020-06-03 2024-04-02 中科时代(深圳)计算机系统有限公司 一种无线网络中设备识别方法及装置
JPWO2021256326A1 (zh) * 2020-06-19 2021-12-23

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717064A (zh) * 2004-06-28 2006-01-04 微软公司 交互式的观察点视频系统和过程
US20070121722A1 (en) * 2005-11-30 2007-05-31 Emin Martinian Method and system for randomly accessing multiview videos with known prediction dependency
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN101015219A (zh) * 2004-07-13 2007-08-08 诺基亚公司 用于传送视频信息的系统和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020080279A1 (en) * 2000-08-29 2002-06-27 Sidney Wang Enhancing live sports broadcasting with synthetic camera views
US6573912B1 (en) * 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
US7839926B1 (en) * 2000-11-17 2010-11-23 Metzger Raymond R Bandwidth management and control
JP4148671B2 (ja) * 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US8164617B2 (en) * 2009-03-25 2012-04-24 Cisco Technology, Inc. Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
US9412164B2 (en) * 2010-05-25 2016-08-09 Hewlett-Packard Development Company, L.P. Apparatus and methods for imaging system calibration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717064A (zh) * 2004-06-28 2006-01-04 微软公司 交互式的观察点视频系统和过程
CN101015219A (zh) * 2004-07-13 2007-08-08 诺基亚公司 用于传送视频信息的系统和方法
US20070121722A1 (en) * 2005-11-30 2007-05-31 Emin Martinian Method and system for randomly accessing multiview videos with known prediction dependency
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141578A (zh) * 2015-09-30 2018-06-08 卡雷风险投资有限责任公司 呈现相机
CN107318008A (zh) * 2016-04-27 2017-11-03 深圳看到科技有限公司 全景视频播放方法及播放装置
CN109391827A (zh) * 2016-08-08 2019-02-26 联发科技股份有限公司 全方位视频的解码方法、编码方法及电子设备
CN109997358A (zh) * 2016-11-28 2019-07-09 索尼公司 用于自由视点视频流式传输的以解码器为中心的uv编解码器
US11019362B2 (en) 2016-12-28 2021-05-25 Sony Corporation Information processing device and method
CN109391779A (zh) * 2017-08-10 2019-02-26 纳格拉维森公司 扩展的场景视图
CN112602042A (zh) * 2018-06-25 2021-04-02 皇家飞利浦有限公司 用于生成场景的图像的装置的方法
CN112602042B (zh) * 2018-06-25 2024-04-05 皇家飞利浦有限公司 用于生成场景的图像的装置和方法
CN111353382A (zh) * 2020-01-10 2020-06-30 广西大学 一种基于相对位移约束的智能裁剪视频重定向方法
CN111353382B (zh) * 2020-01-10 2022-11-08 广西大学 一种基于相对位移约束的智能裁剪视频重定向方法

Also Published As

Publication number Publication date
EP2417770A4 (en) 2013-03-06
EP2417770A1 (en) 2012-02-15
US20100259595A1 (en) 2010-10-14
WO2010116243A1 (en) 2010-10-14

Similar Documents

Publication Publication Date Title
CN102450011A (zh) 用于自由视点视频的高效流传输的方法和设备
EP2490179B1 (en) Method and apparatus for transmitting and receiving a panoramic video stream
Yaqoob et al. A survey on adaptive 360 video streaming: Solutions, challenges and opportunities
Zink et al. Scalable 360 video stream delivery: Challenges, solutions, and opportunities
Fan et al. A survey on 360 video streaming: Acquisition, transmission, and display
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
US11075974B2 (en) Video data processing method and apparatus
EP2408196B1 (en) A method, server and terminal for generating a composite view from multiple content items
KR102261559B1 (ko) 정보 처리 방법 및 장치
US10897646B2 (en) Video stream transmission method and related device and system
KR102420290B1 (ko) 공간적으로 불균등한 스트리밍
de la Fuente et al. Delay impact on MPEG OMAF’s tile-based viewport-dependent 360 video streaming
Gotchev et al. Three-dimensional media for mobile devices
CN107896333A (zh) 一种基于智能终端的遥控全景视频播放的方法及装置
CN101002471A (zh) 对图像编码的方法和设备及对图像数据解码的方法和设备
WO2019054360A1 (ja) 画像表示方法、画像配信方法、画像表示装置及び画像配信装置
CN112219403B (zh) 沉浸式媒体的渲染视角度量
CN112703737A (zh) 多向视频流的可扩展性
US10743003B1 (en) Scalable video coding techniques
EP4009644A1 (en) Method for providing and method for acquiring immersive media, apparatus, device, and storage medium
US10743004B1 (en) Scalable video coding techniques
WO2019048733A1 (en) TRANSMISSION OF VIDEO CONTENT BASED ON FEEDBACK
US20230410443A1 (en) Method and device for rendering content in mobile communication system
CN115174942A (zh) 一种自由视角切换方法及交互式自由视角播放系统
US20240119660A1 (en) Methods for transmitting and rendering a 3d scene, method for generating patches, and corresponding devices and computer programs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120509