CN102609974A - 一种基于深度图分割渲染的虚拟视点图像的生成方法 - Google Patents
一种基于深度图分割渲染的虚拟视点图像的生成方法 Download PDFInfo
- Publication number
- CN102609974A CN102609974A CN2012100668273A CN201210066827A CN102609974A CN 102609974 A CN102609974 A CN 102609974A CN 2012100668273 A CN2012100668273 A CN 2012100668273A CN 201210066827 A CN201210066827 A CN 201210066827A CN 102609974 A CN102609974 A CN 102609974A
- Authority
- CN
- China
- Prior art keywords
- depth
- pixel
- image
- depth map
- virtual viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000009877 rendering Methods 0.000 title claims abstract description 25
- 230000008569 process Effects 0.000 title claims abstract description 14
- 230000011218 segmentation Effects 0.000 title claims abstract description 13
- 238000005070 sampling Methods 0.000 claims description 35
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 3
- 241000143437 Aciculosporium take Species 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 31
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
Abstract
本发明公开了一种基于深度图分割渲染的虚拟视点图像的生成方法，包括：(1)获取二维图像及其深度图；(2)对深度图进行分割；(3)对二维图像进行修复；(4)对修复得到的图像进行渲染。本发明方法基于深度图的分割及渲染能够实现利用原始二维图像及其对应深度图合成虚拟视点图像，且能彻底消除合成得到虚拟视点图像中的空洞；同时，本发明能够在普通PC机或工作站等硬件系统上实现，具有很高的运算效率，得到的虚拟视点图像立体效果明显。
Description
技术领域
本发明属于视频图像处理技术领域，具体涉及一种基于深度图分割渲染的虚拟视点图像的生成方法。
背景技术
虚拟视点图像的生成是二维图像转换为三维图像过程中最关键的步骤之一。虚拟视点图像可以用于自由视点图像中不同视角间的漫游，从而提高交互式的图像观看体验；也可用于多视点图像编码，通过生成的虚拟视点图像对实际视点图像进行视差补偿预测，起到提高多视点图像编码效率的目的。目前虚拟视点图像生成主要分两类方法：基于三维模型的绘制MBR(3D Model BasedRendering)和基于图像的绘制IBR(Image Based Rendering)。其中基于图像的绘制是通过对参考图像的插值或像素投影来产生新的虚拟视点图像，避免了基于三维模型的绘制方法中三维模型的重建过程，在真实感和绘制速度上具有很强的优势。
基于深度图像的虚拟视点的绘制(DIBR，Depth Image Based Rendering)方法是对IBR的一种改进，主要根据原始图像和其对应的深度图，利用3D变换技术对原始图像进行重采样，获得虚拟的左视点和右视点图像。但是由于深度图像灰度值变化急剧的不连续性，视点上有些小的差别会在产生转换后的视点上暴露一些区域，进而会在合成的视点图像中产生空洞，而且这些空洞的宽度和深度图不连续的程度有一定的关系，这些空洞的存在严重的降低了合成虚拟视点图像的视觉质量。
申请号为201010228696.5的中国专利公开了一种基于深度图分层的虚拟多视点图像的生成方法，包括如下步骤：(1)对待处理的深度图像进行预处理；(2)对预处理后的深度图进行分层，得到分层深度图像；(3)选定相机阵列聚焦的深度层，确定前景层和背景层；(4)对待处理的二维图像进行分层，得到分层二维图像；(5)计算各个深度层对应二维图像层对应的视差值；(6)对分层二维图像进行扩展，得到扩展后的分层二维图像；(7)通过加权水平平移算法得到各个虚拟视点位置的虚拟二维图像。该方法生成的虚拟视点图像仍然存在空洞现象，故如何有效的去除空洞是目前DIBR技术中需要解决的关键问题。
发明内容
针对现有技术所存在的上述技术缺陷，本发明提供了一种基于深度图分割渲染的虚拟视点图像的生成方法，能够消除虚拟视点图像中的空洞。
一种基于深度图分割渲染的虚拟视点图像的生成方法，包括如下步骤：
(1)获取二维图像及其深度图；
(2)将所述的深度图分割成n个深度区域，评价各深度区域的深度层次；n为大于0的自然数；
(3)根据深度层次对所述的二维图像进行修复，得到与各深度区域对应的n张区域图像；
(4)根据深度层次对n张区域图像进行渲染，得到虚拟视点图像。
优选地，对步骤(1)中获取到的深度图进行缩放和深度值量化，使深度图的分辨率与二维图像的分辨率相同，使深度图每个采样点的深度值都在0～255之间；能够保证深度图与二维图像的分辨率相同，使每一个二维图像的像素都有一个唯一对应的深度值，该值所在深度图的坐标位置与二维图像对应像素的坐标位置完全相同，更利于对深度图的分割。
深度图每个采样点与二维图像每个像素点一一对应。
优选地，所述的步骤(2)中，对深度图进行分割的过程为：首先，计算深度图中每个采样点与其八个相邻采样点的深度色彩加权距离；然后，根据所述的深度色彩加权距离对各采样点进行融合，从而融合得到深度图的各深度区域。
该分割方法既考虑到分割区域中各点深度值的相似性，也考虑到分割区域中各点色彩的相似性。
所述的深度色彩加权距离的计算公式为：
Dis＝|D-d|+λ×(|R-r|+|G-g|+|B-b|)
其中：Dis为当前采样点与其一相邻采样点的深度色彩加权距离，D和d分别为当前采样点和其相邻采样点的深度值，R、G和B分别为当前采样点对应像素点的红、绿、蓝的像素值，r、g和b分别为相邻采样点对应像素点的红、绿、蓝的像素值，λ为色彩权重值。
对色彩进行加权处理能够保证深度信息在深度图分割中的比重，使分割结果更能体现出分割区域的深度层次。
对各采样点进行融合的方法为：根据以下两个条件按从左到右从上到下的顺序对深度图的每个采样点逐一进行检测融合；
a.取当前采样点的八个深度色彩加权距离中的最小值，使该最小值对应的相邻采样点与当前采样点融合；
b.使当前采样点的八个深度色彩加权距离均与距离阈值进行比较，使小于距离阈值的深度色彩加权距离对应的相邻采样点与当前采样点融合。
该融合条件可以在很低的计算复杂度情况下，保证具有相似深度值或色彩值的像素点处于同一分割区域中。
优选地，所述的步骤(2)中，评价各深度区域的深度层次的过程为：首先，计算每个深度区域的平均深度值；然后，根据平均深度值对各深度区域的深度层次进行评价，所述的深度层次的高低与平均深度值的大小成正比。
对深度区域进行排序评价可以更好的区分二维图像中各个物体与观察者的距离，为后续的修复过程提供前提条件。
所述的步骤(3)中，对二维图像进行修复的过程为：
1)保留二维图像中与深度层次最低的深度区域对应的像素区域各像素点的像素值，并设该像素区域外的所有像素点的像素值为未知，从而得到深度层次最低的深度区域对应的区域图像；
2)根据步骤1)，按照深度层次从低到高的顺序，遍历二维图像的所有像素区域，得到n张区域图像。
优选地，所述的步骤(4)中，对n张区域图像进行渲染的过程为：
1)令深度层次最低的深度区域对应的区域图像为待渲染图像；
2)对其他所有区域图像中像素值已知的像素区域进行移位；
3)使深度层次第二低的深度区域对应的区域图像中移位后的像素区域各像素点的像素值赋值给待渲染图像中对应的各像素点；
4)根据步骤3)，按照深度层次从低到高的顺序，遍历所有区域图像，则被赋值完成后的待渲染图像即为虚拟视点图像。
该渲染顺序，可以保证处于高深度层次的区域中的像素进行移位后所留下的空洞完全被低深度层次渲染图像所填充，得到更符合实际情况的填充效果。
根据以下公式对像素区域进行移位；
R(x，y)＝R(x+Δx，y)
G(x，y)＝G(x+Δx，y)
B(x，y)＝B(x+Δx，y)
其中：R(x，y)、G(x，y)和B(x，y)分别为区域图像中坐标位置为(x，y)的像素点的红、绿、蓝的像素值，该像素点属于像素值已知的像素区域，(x+Δx，y)为该像素点移位后的坐标位置；R(x+Δx，y)、G(x+Δx，y)和B(x+Δx，y)分别为区域图像中坐标位置为(x+Δx，y)的像素点的红、绿、蓝的像素值；Δx＝α×D(x，y)，D(x，y)为坐标位置为(x，y)的像素点对应采样点的深度值，α为渲染系数。
本发明方法基于深度图的分割及渲染能够实现利用原始二维图像及其对应深度图合成虚拟视点图像，且能彻底消除合成得到虚拟视点图像中的空洞；同时，本发明能够在普通PC机或工作站等硬件系统上实现，具有很高的运算效率，得到的虚拟视点图像立体效果明显。
附图说明
图1为本发明方法的步骤流程图。
图2(a)为一二维图像。
图2(b)为图2(a)对应的深度图。
图3(a)为采用传统DIBR方法合成得到的虚拟视点图像。
图3(b)为采用本发明方法合成得到的虚拟视点图像。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的虚拟视点图像生成方法进行详细说明。
如图1所示，一种基于深度图分割渲染的虚拟视点图像的生成方法，包括如下步骤：
(1)获取二维图像及其深度图。
与原始二维图像对应的深度图一般情况下是一个与二维图像分辨率相同，并且每个采样点都为8比特量化的灰度图像。如果深度图与二维图像分辨率不同，那么首先要对该深度图进行缩放处理，使其分辨率与二维图像的分辨率相同，每个采样点与二维图像每个像素点一一对应；如果深度图的每个采样点的深度值不是8比特量化的，需要对该深度图的每个采样点进行重量化，使每个采样点的深度值都在0～255之间(包括0和255)，该值越大，表示观察者越近；该值越小，表示观察者越远。图2(a)和图2(b)分别所示了某一张原始二维图像及其深度图。
(2)对深度图进行分割。
将深度图分割成n个深度区域：首先，计算深度图中每个采样点与其八个相邻采样点的深度色彩加权距离；
记深度图中坐标位置为(x，y)的采样点的深度值为D(x，y)，该采样点在二维图像中对应的像素点的RGB像素值分别为R(x，y)，G(x，y)和B(x，y)；
则该采样点与其八个相邻采样点的深度色彩加权距离分别为：
与左上位置采样点的深度色彩加权距离：
Dis0(x，y)＝|D(x，y)-D(x-1，y-1)|+λ×(|R(x，y)-R(x-1，y-1)|
+|G(x，y)-G(x-1，y-1)|+|B(x，y)-B(x-1，y-1)|)；
与上面位置采样点的深度色彩加权距离：
Dis1(x，y)＝|D(x，y)-D(x，y-1)|+λ×(|R(x，y)-R(x，y-1)|
+|G(x，y)-G(x，y-1)|+|B(x，y)-B(x，y-1)|)；
与右上位置采样点的深度色彩加权距离：
Dis2(x，y)＝|D(x，y)-D(x+1，y-1)|+λ×(|R(x，y)-R(x+1，y-1)|
+|G(x，y)-G(x+1，y-1)|+|B(x，y)-B(x+1，y-1)|)；
与左面位置采样点的深度色彩加权距离：
Dis3(x，y)＝|D(x，y)-D(x-1，y)|+λ×(|R(x，y)-R(x-1，y)|
+|G(x，y)-G(x-1，y)|+|B(x，y)-B(x-1，y)|)；
与右面位置采样点的深度色彩加权距离：
Dis4(x，y)＝|D(x，y)-D(x+1，y)|+λ×(|R(x，y)-R(x+1，y)|
+|G(x，y)-G(x+1，y)|+|B(x，y)-B(x+1，y)|)
与左下位置采样点的深度色彩加权距离：
Dis5(x，y)＝|D(x，y)-D(x-1，y+1)|+λ×(|R(x，y)-R(x-1，y+1)|
+|G(x，y)-G(x-1，y+1)|+|B(x，y)-B(x-1，y+1)|)；
与下面位置采样点的深度色彩加权距离：
Dis6(x，y)＝|D(x，y)-D(x，y+1)|+λ×(|R(x，y)-R(x，y+1)|
+|G(x，y)-G(x，y+1)|+|B(x，y)-B(x，y+1)|)；
与右下位置采样点的深度色彩加权距离：
Dis7(x，y)＝|D(x，y)-D(x+1，y+1)|+λ×(|R(x，y)-R(x+1，y+1)|
+|G(x，y)-G(x+1，y+1)|+|B(x，y)-B(x+1，y+1)|)；
其中：λ为色彩权重值，本实施方式中，λ＝0.3；若坐标位置为(x，y)的采样点位于深度图的边缘位置，则设那些不存在的相邻采样点的深度色彩加权距离为1024。
然后，根据深度色彩加权距离以及以下两个条件按从左到右从上到下的顺序对深度图的每个采样点逐一进行检测融合，从而融合得到深度图的各深度区域。
a.取当前采样点的八个深度色彩加权距离中的最小值，使该最小值对应的相邻采样点与当前采样点融合；
b.使当前采样点的八个深度色彩加权距离均与距离阈值进行比较，使小于距离阈值的深度色彩加权距离对应的相邻采样点与当前采样点融合；本实施方式中，距离阈值为八个深度色彩加权距离之和的1/3。
对分割得到的n个深度区域进行关于深度层次的评价：首先，计算每个深度区域的平均深度值；然后，根据平均深度值对各深度区域的深度层次进行评价，深度层次的高低与平均深度值的大小成正比；平均深度值最小的深度区域为最低深度层次，表示离观察者最远；平均深度值最大的区域为最高深度层次，表示离观察者最近。
(3)对二维图像进行修复。
首先，保留二维图像中与深度层次最低的深度区域对应的像素区域各像素点的像素值，并设该像素区域外的所有像素点的像素值为未知，从而得到深度层次最低的深度区域对应的区域图像；
然后，根据上述操作，按照深度层次从低到高的顺序，遍历二维图像的所有像素区域，得到n张区域图像。
(4)对修复得到的图像进行渲染。
a.令深度层次最低的深度区域对应的区域图像为待渲染图像；
b.根据以下公式对其他所有区域图像中像素值已知的像素区域进行移位；
R(x，y)＝R(x+Δx，y)
G(x，y)＝G(x+Δx，y)
B(x，y)＝B(x+Δx，y)
其中：R(x，y)、G(x，y)和B(x，y)分别为区域图像中坐标位置为(x，y)的像素点的红、绿、蓝的像素值，该像素点属于像素值已知的像素区域，(x+Δx，y)为该像素点移位后的坐标位置；R(x+Δx，y)、G(x+Δx，y)和B(x+Δx，y)分别为区域图像中坐标位置为(x+Δx，y)的像素点的红、绿、蓝的像素值；Δx＝α×D(x，y)，D(x，y)为坐标位置为(x，y)的像素点对应采样点的深度值，α为渲染系数，该系数与图像大小以及观察者与图像距离相关，本实施方式中，α＝0.04。
c.使深度层次第二低的深度区域对应的区域图像中移位后的像素区域各像素点的像素值赋值给待渲染图像中对应的各像素点；
d.根据步骤c，按照深度层次从低到高的顺序，遍历所有区域图像，则被赋值完成后的待渲染图像即为虚拟视点图像。
图3(a)和图3(b)分别所示了采用传统DIBR合成方法以及采用本实施方式合成得到的虚拟视点图像；从图中可见，采用DIBR方法合成的视点图像中存在空洞，这些空洞的存在严重的降低了合成虚拟视点图像的视觉质量，而采用本实施方式合成得到的虚拟视点图像中完全没有任何空洞存在。
Claims (9)
1.一种基于深度图分割渲染的虚拟视点图像的生成方法，包括如下步骤：
(1)获取二维图像及其深度图；
(2)将所述的深度图分割成n个深度区域，评价各深度区域的深度层次；n为大于0的自然数；
(3)根据深度层次对所述的二维图像进行修复，得到与各深度区域对应的n张区域图像；
(4)根据深度层次对n张区域图像进行渲染，得到虚拟视点图像。
2.根据权利要求1所述的基于深度图分割渲染的虚拟视点图像的生成方法，其特征在于：对步骤(1)中获取到的深度图进行缩放和深度值量化，使深度图的分辨率与二维图像的分辨率相同，使深度图每个采样点的深度值都在0～255之间。
3.根据权利要求1所述的基于深度图分割渲染的虚拟视点图像的生成方法，其特征在于：所述的步骤(2)中，对深度图进行分割的过程为：首先，计算深度图中每个采样点与其八个相邻采样点的深度色彩加权距离；然后，根据所述的深度色彩加权距离对各采样点进行融合，从而融合得到深度图的各深度区域。
4.根据权利要求3所述的基于深度图分割渲染的虚拟视点图像的生成方法，其特征在于：所述的深度色彩加权距离的计算公式为：
Dis＝|D-d|+λ×(|R-r|+|G-g|+|B-b|)
其中：Dis为当前采样点与其一相邻采样点的深度色彩加权距离，D和d分别为当前采样点和其相邻采样点的深度值，R、G和B分别为当前采样点对应像素点的红、绿、蓝的像素值，r、g和b分别为相邻采样点对应像素点的红、绿、蓝的像素值，λ为色彩权重值。
5.根据权利要求3所述的基于深度图分割渲染的虚拟视点图像的生成方法，其特征在于：对各采样点进行融合的方法为：根据以下两个条件按从左到右从上到下的顺序对深度图的每个采样点逐一进行检测融合；
a.取当前采样点的八个深度色彩加权距离中的最小值，使该最小值对应的相邻采样点与当前采样点融合；
b.使当前采样点的八个深度色彩加权距离均与距离阈值进行比较，使小于距离阈值的深度色彩加权距离对应的相邻采样点与当前采样点融合。
6.根据权利要求1所述的基于深度图分割渲染的虚拟视点图像的生成方法，其特征在于：所述的步骤(2)中，评价各深度区域的深度层次的过程为：首先，计算每个深度区域的平均深度值；然后，根据平均深度值对各深度区域的深度层次进行评价，所述的深度层次的高低与平均深度值的大小成正比。
7.根据权利要求1所述的基于深度图分割渲染的虚拟视点图像的生成方法，其特征在于：所述的步骤(3)中，对二维图像进行修复的过程为：
1)保留二维图像中与深度层次最低的深度区域对应的像素区域各像素点的像素值，并设该像素区域外的所有像素点的像素值为未知，从而得到深度层次最低的深度区域对应的区域图像；
2)根据步骤1)，按照深度层次从低到高的顺序，遍历二维图像的所有像素区域，得到n张区域图像。
8.根据权利要求1所述的基于深度图分割渲染的虚拟视点图像的生成方法，其特征在于：所述的步骤(4)中，对n张区域图像进行渲染的过程为：
1)令深度层次最低的深度区域对应的区域图像为待渲染图像；
2)对其他所有区域图像中像素值已知的像素区域进行移位；
3)使深度层次第二低的深度区域对应的区域图像中移位后的像素区域各像素点的像素值赋值给待渲染图像中对应的各像素点；
4)根据步骤3)，按照深度层次从低到高的顺序，遍历所有区域图像，则被赋值完成后的待渲染图像即为虚拟视点图像。
9.根据权利要求8所述的基于深度图分割渲染的虚拟视点图像的生成方法，其特征在于：根据以下公式对像素区域进行移位；
R(x，y)＝R(x+Δx，y)
G(x，y)＝G(x+Δx，y)
B(x，y)＝B(x+Δx，y)
其中：R(x，y)、G(x，y)和B(x，y)分别为区域图像中坐标位置为(x，y)的像素点的红、绿、蓝的像素值，该像素点属于像素值已知的像素区域，(x+Δx，y)为该像素点移位后的坐标位置；R(x+Δx，y)、G(x+Δx，y)和B(x+Δx，y)分别为区域图像中坐标位置为(x+Δx，y)的像素点的红、绿、蓝的像素值；Δx＝α×D(x，y)，D(x，y)为坐标位置为(x，y)的像素点对应采样点的深度值，α为渲染系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210066827.3A CN102609974B (zh) | 2012-03-14 | 2012-03-14 | 一种基于深度图分割渲染的虚拟视点图像的生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210066827.3A CN102609974B (zh) | 2012-03-14 | 2012-03-14 | 一种基于深度图分割渲染的虚拟视点图像的生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102609974A true CN102609974A (zh) | 2012-07-25 |
| CN102609974B CN102609974B (zh) | 2014-04-09 |
Family
ID=46527316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210066827.3A Expired - Fee Related CN102609974B (zh) | 2012-03-14 | 2012-03-14 | 一种基于深度图分割渲染的虚拟视点图像的生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102609974B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102892021A (zh) * | 2012-10-15 | 2013-01-23 | 浙江大学 | 一种合成虚拟视点图像的新方法 |
| CN104484418A (zh) * | 2014-12-17 | 2015-04-01 | 中国科学技术大学 | 一种基于双分辨率的特征量化方法及系统 |
| CN106060522A (zh) * | 2016-06-29 | 2016-10-26 | 努比亚技术有限公司 | 一种视频图像的处理装置及方法 |
| CN107608526A (zh) * | 2017-10-30 | 2018-01-19 | 安徽华陶信息科技有限公司 | 一种虚拟现实互动教学方法 |
| WO2018113082A1 (zh) * | 2016-12-21 | 2018-06-28 | 深圳市掌网科技股份有限公司 | 一种 3d 全景拍摄系统以及方法 |
| CN108718392A (zh) * | 2017-03-31 | 2018-10-30 | 钰立微电子股份有限公司 | 用以融合多深度图的深度图产生装置 |
| CN109767466A (zh) * | 2019-01-10 | 2019-05-17 | 深圳看到科技有限公司 | 画面渲染方法、装置、终端及对应的存储介质 |
| CN111462278A (zh) * | 2020-03-17 | 2020-07-28 | 稿定（厦门）科技有限公司 | 基于深度的素材排序渲染方法、介质、设备及装置 |
| CN111480342A (zh) * | 2017-12-01 | 2020-07-31 | 索尼公司 | 编码装置、编码方法、解码装置和解码方法 |
| CN111491151A (zh) * | 2020-03-09 | 2020-08-04 | 浙江未来技术研究院(嘉兴) | 一种显微手术立体视频渲染方法 |
| CN112154477A (zh) * | 2019-08-30 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置和可移动平台 |
| CN112925109A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 多视点裸眼3d显示屏、裸眼3d显示终端 |
| CN113920023A (zh) * | 2021-09-29 | 2022-01-11 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
| WO2022141222A1 (zh) * | 2020-12-30 | 2022-07-07 | Oppo广东移动通信有限公司 | 虚拟视点生成、渲染、解码方法及装置、设备、存储介质 |
| CN115100360A (zh) * | 2022-07-28 | 2022-09-23 | 中国电信股份有限公司 | 图像生成方法及装置、存储介质和电子设备 |
| CN116095294A (zh) * | 2023-04-10 | 2023-05-09 | 深圳臻像科技有限公司 | 根据深度值渲染分辨率的三维光场图像编码方法及系统 |
| CN117061720A (zh) * | 2023-10-11 | 2023-11-14 | 广州市大湾区虚拟现实研究院 | 基于单目图像及深度图像渲染的立体图像对生成方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101720047A (zh) * | 2009-11-03 | 2010-06-02 | 上海大学 | 基于颜色分割的多目摄像立体匹配获取深度图像的方法 |
| CN101902657A (zh) * | 2010-07-16 | 2010-12-01 | 浙江大学 | 一种基于深度图分层的虚拟多视点图像的生成方法 |
| CN101937578A (zh) * | 2010-09-08 | 2011-01-05 | 宁波大学 | 一种虚拟视点彩色图像绘制方法 |
| CN102098526A (zh) * | 2011-01-28 | 2011-06-15 | 清华大学 | 一种深度图求取方法及装置 |
-
2012
- 2012-03-14 CN CN201210066827.3A patent/CN102609974B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101720047A (zh) * | 2009-11-03 | 2010-06-02 | 上海大学 | 基于颜色分割的多目摄像立体匹配获取深度图像的方法 |
| CN101902657A (zh) * | 2010-07-16 | 2010-12-01 | 浙江大学 | 一种基于深度图分层的虚拟多视点图像的生成方法 |
| CN101937578A (zh) * | 2010-09-08 | 2011-01-05 | 宁波大学 | 一种虚拟视点彩色图像绘制方法 |
| CN102098526A (zh) * | 2011-01-28 | 2011-06-15 | 清华大学 | 一种深度图求取方法及装置 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102892021A (zh) * | 2012-10-15 | 2013-01-23 | 浙江大学 | 一种合成虚拟视点图像的新方法 |
| CN102892021B (zh) * | 2012-10-15 | 2014-11-19 | 浙江大学 | 一种合成虚拟视点图像的新方法 |
| CN104484418A (zh) * | 2014-12-17 | 2015-04-01 | 中国科学技术大学 | 一种基于双分辨率的特征量化方法及系统 |
| CN104484418B (zh) * | 2014-12-17 | 2017-10-31 | 中国科学技术大学 | 一种基于双分辨率的特征量化方法及系统 |
| CN106060522A (zh) * | 2016-06-29 | 2016-10-26 | 努比亚技术有限公司 | 一种视频图像的处理装置及方法 |
| WO2018113082A1 (zh) * | 2016-12-21 | 2018-06-28 | 深圳市掌网科技股份有限公司 | 一种 3d 全景拍摄系统以及方法 |
| CN108718392B (zh) * | 2017-03-31 | 2021-07-16 | 钰立微电子股份有限公司 | 用以融合多深度图的深度图产生装置 |
| CN108718392A (zh) * | 2017-03-31 | 2018-10-30 | 钰立微电子股份有限公司 | 用以融合多深度图的深度图产生装置 |
| US10699432B2 (en) | 2017-03-31 | 2020-06-30 | Eys3D Microelectronics, Co. | Depth map generation device for merging multiple depth maps |
| CN107608526A (zh) * | 2017-10-30 | 2018-01-19 | 安徽华陶信息科技有限公司 | 一种虚拟现实互动教学方法 |
| CN111480342B (zh) * | 2017-12-01 | 2024-04-23 | 索尼公司 | 编码装置、编码方法、解码装置、解码方法和存储介质 |
| CN111480342A (zh) * | 2017-12-01 | 2020-07-31 | 索尼公司 | 编码装置、编码方法、解码装置和解码方法 |
| CN109767466A (zh) * | 2019-01-10 | 2019-05-17 | 深圳看到科技有限公司 | 画面渲染方法、装置、终端及对应的存储介质 |
| CN112154477A (zh) * | 2019-08-30 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置和可移动平台 |
| CN112925109A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 多视点裸眼3d显示屏、裸眼3d显示终端 |
| CN111491151A (zh) * | 2020-03-09 | 2020-08-04 | 浙江未来技术研究院(嘉兴) | 一种显微手术立体视频渲染方法 |
| CN111491151B (zh) * | 2020-03-09 | 2021-07-30 | 浙江未来技术研究院(嘉兴) | 一种显微手术立体视频渲染方法 |
| CN111462278B (zh) * | 2020-03-17 | 2022-10-25 | 稿定（厦门）科技有限公司 | 基于深度的素材排序渲染方法、介质、设备及装置 |
| CN111462278A (zh) * | 2020-03-17 | 2020-07-28 | 稿定（厦门）科技有限公司 | 基于深度的素材排序渲染方法、介质、设备及装置 |
| WO2022141222A1 (zh) * | 2020-12-30 | 2022-07-07 | Oppo广东移动通信有限公司 | 虚拟视点生成、渲染、解码方法及装置、设备、存储介质 |
| CN113920023A (zh) * | 2021-09-29 | 2022-01-11 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
| CN113920023B (zh) * | 2021-09-29 | 2024-10-15 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
| CN115100360A (zh) * | 2022-07-28 | 2022-09-23 | 中国电信股份有限公司 | 图像生成方法及装置、存储介质和电子设备 |
| CN115100360B (zh) * | 2022-07-28 | 2023-12-01 | 中国电信股份有限公司 | 图像生成方法及装置、存储介质和电子设备 |
| CN116095294A (zh) * | 2023-04-10 | 2023-05-09 | 深圳臻像科技有限公司 | 根据深度值渲染分辨率的三维光场图像编码方法及系统 |
| CN117061720A (zh) * | 2023-10-11 | 2023-11-14 | 广州市大湾区虚拟现实研究院 | 基于单目图像及深度图像渲染的立体图像对生成方法 |
| CN117061720B (zh) * | 2023-10-11 | 2024-03-01 | 广州市大湾区虚拟现实研究院 | 基于单目图像及深度图像渲染的立体图像对生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102609974B (zh) | 2014-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102609974A (zh) | 一种基于深度图分割渲染的虚拟视点图像的生成方法 | |
| CN100576934C (zh) | 基于深度和遮挡信息的虚拟视点合成方法 | |
| CN102263979B (zh) | 一种平面视频立体化的深度图生成方法及装置 | |
| US9082224B2 (en) | Systems and methods 2-D to 3-D conversion using depth access segiments to define an object | |
| CN110660131B (zh) | 一种基于深度背景建模的虚拟视点空洞填补方法 | |
| KR100793076B1 (ko) | 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법 | |
| KR101415147B1 (ko) | 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법 | |
| CN104756489B (zh) | 一种虚拟视点合成方法及系统 | |
| US20130162634A1 (en) | Image processing method and apparatus using multi-layer representation | |
| JP2019502295A (ja) | アーチファクトを意識したビュー合成のための補助データ | |
| WO2008112802A2 (en) | System and method for 2-d to 3-d image conversion using mask to model, or model to mask, conversion | |
| CN106664397A (zh) | 用于生成三维图像的方法和装置 | |
| KR101855980B1 (ko) | 홀 채우기 방법 및 장치 | |
| CN110140151A (zh) | 用于生成光强度图像的装置和方法 | |
| CN106028020B (zh) | 一种基于多方向预测的虚拟视角图像空洞填补方法 | |
| CN104270624A (zh) | 一种分区域的3d视频映射方法 | |
| CN112508821A (zh) | 一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法 | |
| Lee et al. | Boundary filtering on synthesized views of 3D video | |
| CN106791876A (zh) | 一种基于3d‑hevc的深度图快速帧内预测方法 | |
| Yang et al. | Depth map generation from a single image using local depth hypothesis | |
| CN104378617B (zh) | 一种虚拟视点中像素点的获取方法 | |
| US20120206442A1 (en) | Method for Generating Virtual Images of Scenes Using Trellis Structures | |
| TW201428680A (zh) | 影像處理裝置及立體影像前景分離方法 | |
| KR102469228B1 (ko) | 가상 시점 영상 생성 장치 및 방법 | |
| Lai et al. | An efficient depth image-based rendering with depth reliability maps for view synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190828 Address after: 610000 Floor 1, No. 223 Ronghua South Road, Chengdu High-tech Zone, Sichuan Province Patentee after: Sichuan Heding Shengtai Information Technology Co., Ltd. Address before: Hangzhou City, Zhejiang province 310018 Xiasha Higher Education Park No. 2 Street No. 5 Patentee before: Zhejiang Sci-Tech University |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140409 Termination date: 20210314 |