CN113228683B - 对球体的点的图像进行编码和解码的方法和装置 - Google Patents
对球体的点的图像进行编码和解码的方法和装置 Download PDFInfo
- Publication number
- CN113228683B CN113228683B CN201980084913.7A CN201980084913A CN113228683B CN 113228683 B CN113228683 B CN 113228683B CN 201980084913 A CN201980084913 A CN 201980084913A CN 113228683 B CN113228683 B CN 113228683B
- Authority
- CN
- China
- Prior art keywords
- image
- sphere
- pixels
- angular
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013507 mapping Methods 0.000 claims abstract description 61
- 238000004891 communication Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 101001032334 Homo sapiens Immunity-related GTPase family M protein Proteins 0.000 description 1
- 102100038249 Immunity-related GTPase family M protein Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
提供了方法和设备以通过根据各向同性区域引导的映射算子对球体的点进行投影来将其编码到图像上，和/或通过根据相同的参数化的映射算子对图像的像素进行反投影来将其解码到球体上。在球体上确定感兴趣区域，并且根据图像的像素到对应于感兴趣区域的中心的参考像素的距离来调制图像的像素的角度分辨率。所选择的角度分辨率和感兴趣区域的大小与图像相关联，并被编码在流中。
Description
技术领域
本原理总体上涉及将三维场景编码到图像上，涉及包括该图像和相关元数据的流格式，以及涉及解码该图像以重建三维场景。具体地，但不排他地，本原理的技术领域涉及编码、传输和解码体积(volumetric)视频，该体积视频允许用户例如通过使用头戴式显示器(HMD)设备来体验视差。
背景技术
本部分旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的本原理的各个方面相关。这种讨论被认为有助于向读者提供背景信息，以便于更好地理解本原理的各个方面。因此，应当理解，这些陈述应该从这个角度来理解，而不是作为对现有技术的承认。
沉浸式视频(也称为360°视频)允许用户通过围绕固定视点的旋转来观看他自己周围的一切。传达这种视频的方式随所选择的映射算子而异。映射算子将观看球体的三维(3D)点映射到二维(2D)平面上，这允许在视频帧中传达3D角度信息。已经提出了几种映射算子，如等矩形投影(Equi-Rectangular Projection，ERP)或其他广泛用于地理学的球体投影、立方体贴图投影(Cube Map Projection，CMP)或不同的锥体投影。
体积视频是沉浸式视频的延伸：除了头部的旋转外，用户可以在视点周围的有限空间内平移(translate)其头部位置并体验视差。这种视频增加了沉浸感和对场景深度的感知，并通过在头部平移期间提供一致的视觉反馈来防止眩晕。传达体积视频的可能格式利用块(patch)的颜色和深度图谱，每个块也被获得作为周围3D空间中的一部分的映射。
映射算子的选择基于其生成编解码器友好的图像的能力、基于打包或计算结果映射的容易程度、甚至基于这种映射生成的视觉失真量(这与其适应视频编解码器属性的能力相关)。很少映射算子本质上解决了生成具有自适应和适用的像素角密度的图像以用于更好地控制图像质量的问题。此外，如在任何视频中一样，通常仅有帧中的一区域。在360°或体积视频中更是如此，其中场景内的注视方向集中了视频的主题，即故事主题的感兴趣部分。编码的帧内的这种感兴趣区域值得高质量的编码，以便在解码后更好地渲染。
发明内容
以下呈现了本原理的简化概述，以提供对本原理的一些方面的基本理解。本概述不是对本原理的广泛综述。其并不旨在标识本原理的关键或重要元素。以下概述仅仅以简化的形式呈现了本原理的一些方面，作为下面提供的更详细描述的序言。
本原理涉及一种方法，该方法包括将球体的区域中的点投影到图像的像素上。该区域的表面是像素和图像的参考像素之间在图像平面的两个维度上的距离的函数。该表面根据距离以各向同性的方式变化。
根据实施例，该表面是与所述球体上的参考点对应的所述参考像素的坐标、围绕参考点的角窗、在所述参考像素处的角度分辨率以及在与所述角窗的边界对应的像素处的角度分辨率的函数。
本原理还涉及一种用于生成流的方法，该流包括通过先前方法所获得的图像和表示用于将球体的点投影到图像上的映射算子的参数。本原理还涉及一种包括实现这种方法的处理器的设备。
本原理还涉及一种方法和设备，以解码根据先前方法生成的图像，并通过使用根据与要解码的图像相关联的参数确定的逆映射算子，将这种图像的像素反投影到球体上。
附图说明
在阅读以下描述时，将更好地理解本公开，并且其他具体特征和优点将显现出来，该描述参考了附图，其中：
-图1a示出了等矩形投影映射的像素密度；
-图1b示出了立方体映射的像素密度；
-图2a示出了表示地球的球体的等矩形投影图；
-图2b示出了根据根据本原理的非限制性实施例确定的映射算子的表示地球的球体的地图；
-图2c示出了通过利用根据本原理的非限制性实施例确定的映射算子将球体的点投影到图像上而获得的图像的角度分辨率；
-图3a示出了通过根据等矩形投影映射将球体的色点投影到图像的像素上而获得的图像；
-图3b示出了根据本原理的非限制性实施例的通过根据各向同性区域引导的映射将球体的色点投影到图像的像素上而获得的图像；
-图4示出了根据本原理的实施例的用于将球体的区域中的点投影到图像的像素上的方法；
-图5示出了根据本原理的实施例的用于将图像的像素反投影到球体的区域上的方法50；
-图6示出了示出示例性系统的示意性框图，其中根据本原理的非限制性实施例实现了各个方面和实施例。
具体实施方式
下文将参考附图更全面地描述本原理，在附图中示出了本原理的示例。然而，本原理可以以多种替代形式来体现，并且不应被解释为限于本文阐述的示例。因此，尽管本原理易于进行各种修改和替代形式，但是其具体示例在附图中以示例的方式示出，并将在本文中详细描述。然而，应当理解，并不旨在将本原理限制于所公开的特定形式，而是相反，本公开将覆盖落入由权利要求限定的本原理的精神和范围内的所有修改、等同物和替代物。
本文使用的术语仅仅是出于描述特定示例的目的，而不是旨在限制本原理。如本文所使用的，单数形式“一(a)”、“一(an)”和“该(the)”也旨在包括复数形式，除非上下文清楚地指示其他形式。将会进一步理解，当在本说明书中使用时，术语“包括(comprise)”、“包括(comprising)”、“包括(include)”和/或“包括(including)”指定所陈述的特征、整数、步骤、操作、元素和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组合的存在或添加。此外，当元素被称为“响应”或“连接”另一元素时，其可以直接响应或连接另一元素，或者可以存在中间元素。相反，当元素被称为“直接响应”或“直接连接”其他元素时，不存在中间元素。如本文所使用的，术语“和/或”包括相关联的所列项目中的一个或多个的任何和所有组合，并且可以缩写为“/”。
应当理解，尽管术语第一、第二等可以在本文被用于描述各种元素，但是这些元素不应被这些术语所限制。这些术语仅用于将一种元素与另一元素进行区分。例如，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素，而不脱离本原理的教导。
虽然示图中的一些包括通信路径上用于示出通信的主要方向的箭头，但是将会理解，通信可以在与所示箭头相反的方向上发生。
关于框图和操作流程图描述了一些示例，其中每个框表示电路元件、模块、或代码部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。还应当注意，在其他实现方式中，在框中标注的功能可以不按所标注的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以基本上并发地执行，或者这些框有时可以以相反的顺序执行。
本文提到的“根据示例”或“在示例中”表示结合该示例描述的特定特征、结构或特性可以被包括在本原理的至少一个实现方式中。说明书中不同地方出现的短语“根据示例”或“在示例中”不一定全都指同一示例，也不一定是与其他示例相互排斥的单独或替代示例。
权利要求中出现的附图标记仅仅是为了说明，并且对权利要求的范围没有限制性影响。虽然没有明确描述，但是本示例和变型可以以任何组合或子组合来使用。
为了将3D场景编码为(与元数据相关联的)图像，映射算子的选择至关重要。不同的映射算子对所生成的图像的压缩能力以及传达用于解码的数据准确性和质量的能力具有不同的技术效果。例如，球面映射算子(例如，ERP)将不同数量的像素分配给3D空间的不同区域(例如，更多的像素被分配给用户很少看到的极区(polar area)，而更少的像素被分配给通常包括感兴趣区域的赤道部分)。换句话说，图像的最相关部分与较低的质量相关联。可以对其中在面边缘处获得最高质量的立方体投影进行相同的观察。图1a示出了ERP映射的像素密度，其中越亮则越密集。从该图中可以清楚地看出，在极点(即，图像的上部和下部)处的密度相对于中间的赤道区集中了非常密集的信息。像素的密度与投影到该像素上的3D空间的立体角的大小对应。通过ERP映射，在极点处的像素接收关于3D场景中被包括在3D空间的立体角中的点的信息，该像素小于赤道处的像素。换句话说，在极点处的像素接收到的信息比在赤道处的像素接收到的信息更详细。然而，3D场景中最相关的部分很少位于极点。图1b示出了立方体映射的像素密度，越亮则越密集。通过这种映射算子，在立方体表面的边界处的像素比在立方体面的中心处的像素被提供有更高的像素密度。然而，3D场景的相关部分优选地位于立方体面的中心处，因为当从图像重建3D场景时，一些拼接伪像可能出现在边界处。
用于生成表示3D场景的图像的方法的实施例包括将父投影(例如，ERP)拆分为多个部分，将每个部分重新映射成最终图像的具有不同大小的不同部分。这种实施例模仿自适应分辨率，以克服一些方法的缺点(例如，将ERP的极区重新映射到更小且更适应的矩形)，或者以增强某些部分(例如，通过将感兴趣的中心部分重新映射到更大的区域)。然而，这种方法在每个子矩形的边界处遭受很强的不连续性，这可能在重建的视口中造成视觉伪像。
另一实施例包括根据3D空间中的参考方向对投影的算子应用加权偏移。参考方向(其根据所选择的映射算子与图像的像素相关联)可以指向3D场景中相关估计的3D场景的一部分(例如，用户注视的方向或场景中主要对象的方向)。所获得的经调整的投影重塑映射分布以适应新的方向，并且相关联的权重依据像素密度来控制增益。然而，如果这种映射算子倾向于增加在感兴趣区域(即，参考方向周围)处的像素密度，则感兴趣区域仅由参考方向和权重来定义。不存在感兴趣的角窗的概念。此外，基本算子在角度分布方面的缺点未被克服(例如，ERP的极区或CMP的边缘比图像的中心区域更密集)。
根据本原理，下文提供了用于生成表示3D场景的图像的方法的有利实施例。描述了连续的球面映射算子。该映射算子允许将感兴趣区域(ROI)定义为可以控制像素密度的角窗。从ROI的中心到其直径相反区域的分辨率的降低关于到感兴趣区域的距离是各向同性的。ROI自身分辨率的降低由唯一的归一化参数引导。在编码侧，获得ROI和分辨率象(profile)。然后生成五个浮动参数的集合，该集合完全表征投影算子。生成数据流，该数据流包括这五个浮动参数，例如作为元数据，以及通过使用该参数化的映射算子获得的表示3D场景的图像。在解码侧，解码器使用五个参数来实现解码方法，以参数化用于从数据流中包括的图像重建3D场景的逆映射算子。
通过有利地对球体进行采样，这种新的算子还释放了所生成的图像帧的映射矩形中的一些空间。该空间可以有利地用于接收一些附加信息，例如3DoF+图谱的块。
球面映射算子是应用M:[0,W]×[0,H]→S3，其被定义为从W×H图像的2D平面到单位3-球体(即球体的更高维模拟。它可以作为与固定中心点等距的点集嵌入到4维欧氏空间中)的双射映射。这种映射可以通过下式来形式化：
其中θ∶[0,W]×[0,H]→[-π,π]并且φ：
因此，球面映射算子的设计归结为根据所考虑问题的约束和/或目标来定义函数对(θ,φ)。
与(u,v)空间中的映射M相关联的基本表面(其表示由球面上的映射M变形的基本正方形的面积)被定义为：
Eq2：
并且可以利用球面参数化重写为：
Eq3：
以每球面度像素表示的与(u,v)空间中的映射M相关联的局部角度分辨率由下式定义：
Eq4a:
或者，以每度像素表示：
Eq4b:
在等式Eq3中，由于附加项cos(φ(u,v))，基本表面不是球面参数化的雅可比行列式的线性函数。该系数与沿纬度和经度的圆的球面参数化中的像素分布的各向异性有关。
图2a示出了表示地球的球体的ERP图。图2b示出了根据根据本原理确定的映射算子的表示地球的球体的地图。
图2c示出了通过利用根据本原理的特定实施例定义的映射算子M将球体的点投影到图像上而获得的图像的角度分辨率。映射算子M允许考虑角度分辨率被控制的感兴趣区域(ROI)。在ROI的中心处的角度分辨率被确定为想要的角度分辨率Ξ。ROI由其的中心和围绕中心的球体上的角窗[-Θ,Θ]×[-Φ,Φ]所定义。通过使用映射算子M，角度分辨率以各向同性的方式从ROI的中心到边界减小。在实施例中，角度分辨率保持以各向同性的方式变化到ROI的边界之外。在另一实施例中，角度分辨率在ROI外部是恒定的，例如，等于确定围绕其中心的ROI的角窗的边界处的角度分辨率。
ROI的中心对应于3D空间中的方向，即球体中的点。该方向或点根据映射算子M对应于图像的给定像素(称为中心像素)。不失一般性，我们假设ROI位于图像的中心，即位于坐标x＝W/2，y＝H/2处，其中W是图像的宽度，并且H是图像的高度。轴的旋转足以使场景在感兴趣的方向上居中。在下文中，[-Θ,Θ]×[-Φ,Φ]是感兴趣的角窗(其中，Θ∈[0,π]并且Φ∈[0,π/2])。Ξ是在ROI的中心处的期望分辨率(以每度像素为单位)，并且ν是在ROI的“边界”处的期望相对分辨率损失量(以中心分辨率的百分比表示)。如果角窗覆盖整个球体，即角窗等于则ROI对应整个场景。如果ν等于1，即如果在ROI的边界处的角度分辨率与在ROI的中心处的角度分辨率相同，则结果映射是各向同性的，即生成的图像的每个像素都具有相同的角度分辨率Ξ。因此，是在ROI的中心处的基本表面。根据本原理的实施例的映射算子M由等式Eq5a和Eq5b定义。
Eq5a：
Eq5b：
其中，K、a、b、α、β是表示角窗、中心像素处的角度分辨率和角窗的边界处的角度分辨率的参数。不失一般性，Eq5a和Eq5b被用位于图像的中心处的中心像素来设置。这五个参数定义了本原理的球面映射算子M，并且满足以下约束：
·
·
·
·
·
根据Eq5a和Eq5b，基本表面从ROI的中心到ROI的角窗的边界以各向同性的方式变化。实际上，基本表面(其是角度分辨率的倒数)是从ROI的中心到边界的距离的函数。如果在中心像素处所选的角度分辨率高于在ROI的角窗的边界处所选的角度分辨率，则基本表面增加(并因此角度分辨率降低)，反之亦然。
在优选实施例中，中心像素(在本说明书中也称为参考像素)位于图像的中心，并且没有必要将中心像素的坐标与图像相关联，通过默认使用图像的中心作为中心像素的坐标来对图像的像素进行反投影来检索球体。在另一实施例中，ROI的中心位于不同的方向，并且图像中根据映射算子的相关联的中心像素的坐标与图像相关联。
已知5个参数K、a、b、α和β，可以利用用于通过根据逆映射算子对图像的像素进行反投影来检索球体的几次牛顿迭代来反演映射算子。
图3a示出了通过根据等矩形投影映射将球体的色点投影到图像的像素上而获得的图像。
图3b示出了通过根据本原理的各向同性区域引导的映射将球体的色点投影到图像的像素上而获得的图像。这种后者映射的各向同性性质并不完全填满2D图像平面。因此，释放的空间可以用作额外的存储。在3DoF+视频格式的情况下这是特别有利的。如图3a所示，例如，当映射算子是ERP或CMP时，需要分配额外的空间用于编码额外的数据，如深度或颜色块。如图3b所示，利用各向同性区域引导的映射，释放的空间可以巧妙地用于存储如块的额外数据。除新的额外可用空间之外，IRGM投影的使用还允许提高感兴趣区域中的存储内容的质量，而对于其他映射则不是这种情况。例如，黑色的男性角色在图3b的图像中比在图3a的图像中具有更好的分辨率，因为他在感兴趣区域中。各向同性区域引导的映射算子的优点在于，根据像素到感兴趣区域的距离来调制图像的像素的角度分辨率。在另一实施例中，对于特定用途，像素的角度分辨率可以随到感兴趣区域的中心的距离而增加。
图4示出了根据本原理的实施例的用于将球体的区域中的点投影到图像的像素上的方法40。该区域的表面是该区域被投影到的像素与图像的参考像素之间在图像平面的两个维度上的距离的函数。参考像素与球体的感兴趣区域的中心对应。根据本原理，被投影到像素上的区域的表面根据所确定的距离以各向同性的方式变化。图像平面上的此距离对应于球体表面上的距离和/或球体参考系中的角距离。在以上等式中，被投影到图像的像素上的球体表面被称为基本表面。
在步骤41，根据本原理针对图像中编码球体的点的分量的像素确定基本表面。例如，如图2b和3b所示，球体的点以及图像的像素可以包括颜色分量。在变型中，球体的点具有深度分量，该深度分量编码球体的中心与3D场景中已被投影到球体上的点之间的距离。在另一变型中，球体的点可以包括不同性质的几个分量，如法线或反射向量。被包括在基本表面的区域中的点被投影到所考虑的像素上。如果这些点的分量具有不同的值，则投影的值可以是这些值的平均或者最大或最小值，或者是对所确定区域的点的分量的任何其他合适的编码。
在步骤42，生成嵌入图像(即表示图像的数据，例如作为像素网格)和与该图像相关联并表示用于将球体的点投影到图像的像素上的映射算子的参数的流。在具体实施例中，这些参数包括表示角窗[-Θ,Θ]×[-Φ,Φ]的数据、表示在参考像素处的角度分辨率Ξ的数据、以及表示在与角窗边界对应的像素处的角度分辨率(＝νΞ)的数据。在该实施例中，参考像素的坐标被假设为标准的，因此在流中对其编码是没有用的。例如，默认情况下，参考像素被设置在图像的中心处。在另一实施例中，参数还包括参考像素的坐标。这些坐标可以被表示为图像平面中的欧几里德坐标或球体参考系中的角坐标。
在步骤43，数据流被例如通过网络被传输给实现与图5相关的方法的解码器。
图5示出了根据本原理的实施例的用于将图像的像素反投影到球体的区域上的方法50。像素被反投影到其上的区域的表面是该像素与图像的参考像素之间在图像平面的两个维度上的距离的函数。此外，该表面根据这两个维度上的距离以各向同性的方式变化。该距离可以是图像平面中的欧几里德距离或球体参考系中的角距离。
在步骤51，在例如经由网络接收的或从存储器读取的流中访问图像。还访问与此图像相关联的参数。例如，参数被编码为包括图像的数据流中的元数据。这些参数表示用于将球体的点投影到图像上的映射算子。其在方法50中被用于参数化逆映射算子，以便将图像的像素反投影到球体上。这些参数包括关于图4的方法40的步骤42的不同实施例描述的数据。对于图像的像素，根据参数化的映射算子在球体上确定区域，并且像素的分量被归属于该区域中的点。
在步骤52，在渲染模块中使用产生的球体。
图6示出了示出其中实现了各个方面和实施例的示例性系统的示意性框图。图6的设备可以被配置为实现关于图4和/或5描述的方法。该设备可以被配置为编码器或解码器。
系统6000可以被实施为包括以下描述的各种组件的设备，并且被配置为执行本文档中描述的方面中的一个或多个。这种设备的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连接的家用电器、头戴式显示设备(HMD、透视眼镜)、投影仪(投影机)、“孔洞(cave)”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、网络服务器、机顶盒、以及用于处理点云、视频或图像的任何其他设备或其他通信设备。系统6000的元素可以单独地或组合地在单个集成电路、多个IC和/或分立组件中实现。例如，在至少一个实施例中，系统6000的处理和编码器/解码器元素分布在多个IC和/或分立组件上。在各种实施例中，系统6000经由例如通信总线或通过专用输入和/或输出端口通信地耦接到其他类似系统或其他电子设备。在各种实施例中，系统6000被配置为实现本文档中描述的方面中的一个或多个。
系统6000包括至少一个处理器6010，其被配置为执行加载在其中的指令，用于实现例如本文档中描述的各个方面。处理器6010可以包括嵌入式存储器、输入输出接口、和本领域已知的各种其他电路。系统6000包括至少一个存储器6020(例如，易失性存储器设备和/或非易失性存储器设备)。系统6000包括储存设备6040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于，EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器、和/或光盘驱动器。作为非限制性示例，储存设备6040可以包括内部储存设备、附加储存设备、和/或网络可访问储存设备。
系统6000包括编码器/解码器模块6030，其被配置为例如处理数据以提供经编码的数据或经解码的数据，并且编码器/解码器模块6030可以包括其自己的处理器和存储器。编码器/解码器模块6030表示可被包括在设备中以执行编码和/或解码功能的模块。如已知的，设备可以包括编码和解码模块中的一个或两者。此外，编码器/解码器模块6030可以被实现为系统6000的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合被合并在处理器6010内。
要加载到处理器6010或编码器/解码器6030上以执行本文档中描述的各个方面的程序代码可以被存储在储存设备6040中，并随后加载到存储器6020上以供处理器6010运行。根据各种实施例，处理器6010、存储器6020、储存设备6040、和编码器/解码器模块6030中的一个或多个可以在执行本文档中描述的处理期间存储各种项目中的一个或多个。这种存储的项目可以包括但不限于点云帧、编码/解码的几何/纹理视频/图像或该编码/解码的几何/纹理视频/图像中的部分、比特流、矩阵、变量、以及来自对等式、公式、操作和操作逻辑的处理的中间或最终结果。
在几个实施例中，处理器6010和/或编码器/解码器模块6030内部的存储器用于存储指令，并为编码或解码期间所需的处理提供工作存储器。
然而，在其他实施例中，处理设备外部的存储器(例如，处理设备可以是处理器6010或编码器/解码器模块6030)被用于这些功能中的一个或多个。外部存储器可以是存储器6020和/或储存设备6040，例如动态易失性存储器和/或非易失性闪速存储器。在几个实施例中，外部非易失性闪速存储器被用于存储电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频编码和解码操作的工作存储器，诸如用于MPEG-2、HEVC(高效视频编码)或VVC(通用视频编码)。
如框6030所示，可以通过各种输入设备来提供对系统6000的元件的输入。这种输入设备包括但不限于：(i)接收例如由广播器通过空中传输的RF信号的RF部分，(ii)复合输入终端，(iii)USB输入终端，和/或(iv)HDMI输入终端。
在各种实施例中，框6030的输入设备具有相关联的各自的如本领域中已知的输入处理元件。例如，RF部分可以与以下所需的元件相关联：(i)选择期望的频率(也称为选择信号，或者将信号带限(band-limit)至频带)，(ii)下变频所选择的信号，(iii)再次带限至更窄的频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调经下变频和带限的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器，这些功能包括例如将所接收的信号下变频至较低频率(例如，中频或近基带频率)或基带。
在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。
各种实施例对上述(和其他)元件的顺序进行重新排列，移除这些元件中的一些，和/或添加执行相似或不同功能的其他元件。
添加元件可以包括在现有元件之间插入元件，诸如，例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。
此外，USB和/或HDMI终端可以包括各自的接口处理器，以用于通过USB和/或HDMI连接将系统6000连接到其他电子设备。应当理解，输入处理(例如，里德-所罗门纠错)的各个方面可以根据需要在例如单独的输入处理IC内或处理器6010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或处理器6010内实现。经解调、纠错和解复用的流被提供至各种处理元件，包括例如处理器6010、以及与存储器和储存元件结合操作以处理在输出设备上呈现所需的数据流的编码器/解码器6030。
系统6000的各种元件可以被设置在集成外壳内。在集成外壳内，各种元件可以使用合适的连接布置互连并在它们之间传输数据，例如本领域已知的内部总线，包括I2C总线、布线和印刷电路板。
系统6000包括实现经由通信信道6060与其他设备的通信的通信接口6050。通信接口6050可以包括但不限于被配置为通过通信信道3060发送和接收数据的收发器。通信接口6050可以包括但不限于调制解调器或网卡，并且通信信道6060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用Wi-Fi网络(诸如IEEE 802.11)将数据流式传输给系统6000。这些实施例的Wi-Fi信号是通过适于Wi-Fi通信的通信信道6060和通信接口6050接收的。这些实施例的通信信道6060通常被连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式传输应用和其他超顶(over-the-top)通信。
其他实施例使用机顶盒向系统6000提供流式传输的数据，机顶盒通过输入框6030的HDMI连接传递数据。
还有其他实施例使用输入框6030的RF连接向系统6000提供流式传输的数据。
应当理解，信令可以以多种方式来完成。例如，在各种实施例中，一个或多个语法元素、标志等被用于向对应的解码器用信号通知信息。
系统6000可以向各种输出设备提供输出信号，这些输出设备包括显示器6100、扬声器6110和其他外围设备6120。在实施例的各种示例中，其他外围设备6120包括独立DVR、盘播放器、立体声系统、照明系统、和基于系统3000的输出提供功能的其他设备中的一个或多个。
在各种实施例中，使用诸如AV.Link、CEC或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议的信令在系统3000和显示器6100、扬声器6110或其他外围设备6120之间传达控制信号。
输出设备可以通过各自的接口6070、6080和6090经由专用连接通信地耦接到系统6000。
可替代地，输出设备可以经由通信接口6050使用通信信道6060连接到系统3000。显示器6100和扬声器6110可以在电子设备(例如，电视机)中与系统6000的其他组件集成在单个单元中。
在各种实施例中，显示接口6070包括显示驱动器，诸如，例如时序控制器(T Con)芯片。
显示器6100和扬声器6110可以可替代地与其他组件中的一个或多个相分离，例如，如果输入6130的RF部分是单独的机顶盒的一部分。在显示器6100和扬声器6110为外部组件的各种实施例中，可以经由专用输出连接来提供输出信号，该专用输出连接包括例如HDMI端口、USB端口或COMP输出。
Claims (17)
1.一种方法，包括：将球体的区域中的点投影到图像的像素上，所述区域的表面是所述像素与所述图像的参考像素之间在图像平面的两个维度上的距离的函数，其中所述表面根据连续的球面映射算子而变化，所述连续的球面映射算子是以下项的函数：
-与由所述连续的球面映射算子定义的感兴趣区域的中心对应的所述参考像素的坐标，
-围绕所述球体上的参考点的角窗，其中所述参考点与所述参考像素对应，
-在所述参考像素处的角度分辨率，
-在与所述角窗的边界对应的像素处的角度分辨率。
2.根据权利要求1所述的方法，其中，所述球体的所述点与颜色分量和/或深度分量相关联，所述分量被编码在所述图像的像素中。
3.根据权利要求1至2中的一项所述的方法，包括：生成流，所述流包括所述图像和与所述图像相关联的参数，所述参数包括：
-表示所述角窗的数据，
-表示在所述参考像素处的角度分辨率的数据，以及
-表示在与所述角窗的边界对应的像素处的角度分辨率的数据。
4.根据权利要求3所述的方法，其中，所述参数还包括中心像素的坐标。
5.一种包括处理器的设备，所述处理器被配置为将球体的区域中的点投影到图像的像素上，所述区域的表面是所述像素与所述图像的参考像素之间在图像平面的两个维度上的距离的函数，其中所述表面根据连续的球面映射算子而变化，所述连续的球面映射算子是以下项的函数：
-与由所述连续的球面映射算子定义的感兴趣区域的中心对应的所述参考像素的坐标，
-围绕所述球体上的参考点的角窗，其中所述参考点与所述参考像素对应，
-在所述参考像素处的角度分辨率，
-在与所述角窗的边界对应的像素处的角度分辨率。
6.根据权利要求5所述的设备，其中，所述球体的所述点与颜色分量和/或深度分量相关联，所述分量被编码在所述图像的像素中。
7.根据权利要求5至6中的一项所述的设备，其中，所述处理器被配置用于生成流，所述流包括所述图像和与所述图像相关联的参数，所述参数包括：
-表示所述角窗的数据，
-表示在所述参考像素处的角度分辨率的数据，以及
-表示在与所述角窗的边界对应的像素处的角度分辨率的数据。
8.根据权利要求7所述的设备，其中，所述参数还包括中心像素的坐标。
9.一种方法，包括：将图像的像素反投影到球体的区域上，所述区域的表面是所述像素与所述图像的参考像素之间在图像平面的两个维度上的距离的函数，其中所述表面根据连续的球面映射算子而变化，所述连续的球面映射算子是以下项的函数：
-与由所述连续的球面映射算子定义的感兴趣区域的中心对应的所述参考像素的坐标，
-围绕所述球体上的参考点的角窗，其中所述参考点与所述参考像素对应，
-在所述参考像素处的角度分辨率，
-在与所述角窗的边界对应的像素处的角度分辨率。
10.根据权利要求9所述的方法，其中，所述图像的所述像素编码颜色分量和/或深度分量，所述分量被反投影到所述球体的所述区域上。
11.根据权利要求9至10中的一项所述的方法，包括：从流中访问所述图像和参数，所述流包括所述图像和与所述图像相关联的参数，所述参数包括：
-表示所述角窗的数据，
-表示在中心像素处的角度分辨率的数据，以及
-表示在所述角窗的边界处的角度分辨率的数据。
12.根据权利要求11所述的方法，其中，所述参数还包括所述中心像素的坐标。
13.一种包括处理器的设备，所述处理器被配置用于将图像的像素反投影到球体的区域上，所述区域的表面是所述像素与所述图像的参考像素之间在图像平面的两个维度上的距离的函数，其中所述表面根据连续的球面映射算子而变化，所述连续的球面映射算子是以下项的函数：
-与由所述连续的球面映射算子定义的感兴趣区域的中心对应的所述参考像素的坐标，
-围绕所述球体上的参考点的角窗，其中所述参考点与所述参考像素对应，
-在所述参考像素处的角度分辨率，
-在与所述角窗的边界对应的像素处的角度分辨率。
14.根据权利要求13所述的设备，其中，所述图像的所述像素编码颜色分量和/或深度分量，所述分量被反投影到所述球体的所述区域上。
15.根据权利要求13至14中的一项所述的设备，其中，所述处理器被配置用于从流中访问所述图像和参数，所述流包括所述图像和与所述图像相关联的参数，所述参数包括：
-表示所述角窗的数据，
-表示在中心像素处的角度分辨率的数据，以及
-表示在所述角窗的边界处的角度分辨率的数据。
16.根据权利要求15所述的设备，其中，所述参数还包括所述中心像素的坐标。
17.一种用于由编码侧设备发送数据流的方法，所述数据流包括由根据权利要求1至4之一的方法生成的图像和与所述图像相关联的参数。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18306804.8 | 2018-12-21 | ||
| EP18306804.8A EP3672250A1 (en) | 2018-12-21 | 2018-12-21 | Method and apparatus to encode and decode images of points of a sphere |
| PCT/US2019/067030 WO2020131984A1 (en) | 2018-12-21 | 2019-12-18 | Method and apparatus to encode and decode images of points of a sphere |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113228683A CN113228683A (zh) | 2021-08-06 |
| CN113228683B true CN113228683B (zh) | 2024-08-02 |
Family
ID=65228309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980084913.7A Active CN113228683B (zh) | 2018-12-21 | 2019-12-18 | 对球体的点的图像进行编码和解码的方法和装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220084162A1 (zh) |
| EP (2) | EP3672250A1 (zh) |
| KR (1) | KR20210105940A (zh) |
| CN (1) | CN113228683B (zh) |
| WO (1) | WO2020131984A1 (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931190A (zh) * | 2016-06-14 | 2016-09-07 | 西北工业大学 | 高角度分辨率光场获取装置与图像生成方法 |
| CN106231317A (zh) * | 2016-09-29 | 2016-12-14 | 三星电子（中国）研发中心 | 视频处理、解码方法和装置、vr终端、视频播放系统 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4367946A (en) * | 1981-01-29 | 1983-01-11 | Eastman Kodak Company | Light valve imaging apparatus having improved optical configuration |
| GB0202139D0 (en) * | 2002-01-30 | 2002-03-20 | Xyz Imaging Inc | Methods concerning the preparation of digital data required in holographic printing machines |
| US7773799B2 (en) * | 2004-04-02 | 2010-08-10 | The Boeing Company | Method for automatic stereo measurement of a point of interest in a scene |
| KR20150079905A (ko) * | 2012-12-27 | 2015-07-08 | 니폰 덴신 덴와 가부시끼가이샤 | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록 매체 |
| JP6687015B2 (ja) * | 2015-03-05 | 2020-04-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| CN105631809B (zh) * | 2015-12-31 | 2018-11-06 | 北京理工大学 | 一种非均匀分辨率球面全景图生成方法 |
| CN109155858B (zh) * | 2016-05-16 | 2022-09-13 | 三星电子株式会社 | 视频编码方法和设备、视频解码方法和设备 |
| EP3301920A1 (en) * | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for coding/decoding omnidirectional video |
| US20180109810A1 (en) * | 2016-10-17 | 2018-04-19 | Mediatek Inc. | Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression |
| CN106875331B (zh) * | 2017-01-19 | 2019-04-12 | 北京大学深圳研究生院 | 一种全景图像的非对称映射方法 |
| US10958942B2 (en) * | 2017-02-27 | 2021-03-23 | Koninklijke Kpn N.V. | Processing spherical video data |
| US10346998B1 (en) * | 2019-02-25 | 2019-07-09 | Nurulize, Inc. | Method of merging point clouds that identifies and retains preferred points |
| US11978177B2 (en) * | 2020-09-25 | 2024-05-07 | Intel Corporation | Method and system of image processing of omnidirectional images with a viewpoint shift |
| WO2023081404A1 (en) * | 2021-11-05 | 2023-05-11 | The Regents Of The University Of California | High fidelity 3d printing through computed axial lithography |
| US12050589B2 (en) * | 2021-12-29 | 2024-07-30 | Lyft, Inc. | Systems and methods for updating maps and evaluating map accuracy based on collected image data |
-
2018
- 2018-12-21 EP EP18306804.8A patent/EP3672250A1/en not_active Withdrawn
-
2019
- 2019-12-18 EP EP19836775.7A patent/EP3900358B1/en active Active
- 2019-12-18 KR KR1020217022517A patent/KR20210105940A/ko unknown
- 2019-12-18 WO PCT/US2019/067030 patent/WO2020131984A1/en unknown
- 2019-12-18 CN CN201980084913.7A patent/CN113228683B/zh active Active
- 2019-12-18 US US17/415,931 patent/US20220084162A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931190A (zh) * | 2016-06-14 | 2016-09-07 | 西北工业大学 | 高角度分辨率光场获取装置与图像生成方法 |
| CN106231317A (zh) * | 2016-09-29 | 2016-12-14 | 三星电子（中国）研发中心 | 视频处理、解码方法和装置、vr终端、视频播放系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020131984A1 (en) | 2020-06-25 |
| EP3672250A1 (en) | 2020-06-24 |
| CN113228683A (zh) | 2021-08-06 |
| KR20210105940A (ko) | 2021-08-27 |
| EP3900358A1 (en) | 2021-10-27 |
| EP3900358B1 (en) | 2024-08-28 |
| US20220084162A1 (en) | 2022-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240169597A1 (en) | Method and device for encoding/reconstructing attributes of points of a point cloud | |
| JP7476104B2 (ja) | 点群処理 | |
| RU2742344C2 (ru) | Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга | |
| KR102670822B1 (ko) | 볼류메트릭 비디오 전송을 위한 방법들 및 장치 | |
| AU2019300768B2 (en) | A method and device for encoding/decoding the geometry of a point cloud. | |
| CN112673399B (zh) | 对点云的点的纹理进行编码/解码的方法 | |
| CN113228683B (zh) | 对球体的点的图像进行编码和解码的方法和装置 | |
| CN115398904A (zh) | 具有α层的3D场景传输 | |
| CN114731424A (zh) | 用于对体积视频进行编码、传输和解码的方法和装置 | |
| CN112956204A (zh) | 一种用于编码/重建3d点的方法和设备 | |
| CN114556432A (zh) | 处理点云 | |
| CN113545034A (zh) | 深度图处理 | |
| US11190801B2 (en) | Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method | |
| US12101506B2 (en) | Processing volumetric data | |
| WO2024153634A1 (en) | A coding method or apparatus signaling an indication of camera parameters | |
| CN118985133A (zh) | 编码/解码在长方体体积中包含的点云的点的位置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |