CN103913845A - 一种利用遮罩和时间复用方式的三维全景图像显示方法 - Google Patents

Abstract

本发明涉及一种利用遮罩和时分多路复用方式的三维全景图像显示方法，更加具体地涉及从物体中获取的图像经过遮罩后，穿透小透镜，从而实现元素图像，上述遮罩包括物体的图像不能穿透的遮罩区域和物体的图像可穿透的非遮罩区域，从而可获取三维图像。如上所述，本发明利用元素图像的分时显示及遮罩图像，从而可在深度优先全景图像方式中回放分辨率提高的三维图像。此外，深度优先全景图像方式提供了广泛的深度感，因此具有将更加带有真实感的三维图像进行回放等的显著效果。

Description

一种利用遮罩和时间复用方式的三维全景图像显示方法

技术领域

本发明涉及一种利用遮罩(Mask)和分时方式的三维全景(Integral)图像显示方法，更加具体地涉及一种利用遮罩和时间复用方式的三维全景图像显示方法，其中，从三维物体所获取的元素图像通过小透镜，经过遮罩后，将三维图像在空间中进行显示，上述遮罩由元素图像通不过的遮断区域以及元素图像通过的穿透区域构成，从而显示三维图像。

背景技术

近来，涉及三维图像和图像回放技术的研究十分活跃，并在全世界范围内得到广泛的关注。

图像技术正实现尖端化，以及高度的技术集聚。

由此，三维图像相比二位图像更具真实感且更加适合人类，使得三维图像的需求也正在增加。

所谓的三维图像回放技术是用立体进行显示的技术，以便观测者能感受到不同于平面图像的具有立体感和真实感的三维立体图像。

现有研发的用于三维立体图像回放方法包括：体视学（stereoscopy）、全息术（holography）、全景图像（integral imaging）技法等各种技术。

在上述技术中，全景图像方式是由李普曼（Lippmann）于1908年首次提出的。此后，全景图像方式被作为新一代三维图像回放技术而进行研究。

作为上述三维全景图像显示方法的现有文献，在登记专利第0891160号中记载有利用区域分割技法的元素图像压缩方法，其中，元素图像压缩装置运用区域分割技法，从而将元素图像压缩，其包括如下步骤：（a）通过透镜阵列，从三维客体中获取具有互不相同的视觉偏差的元素图像；（b）将上述获取的元素图像按照类似相关度，划分为具有多个类似图像的类似区域；（c）将上述各个类似区域所包括的图像重新排列为一维元素图像阵列；以及（d）将上述重新排列后生成的一维元素图像阵列进行压缩。

作为另一个现有文献的实施例，在登记专利第0942271号中记载有全景图像复原方法，其中，利用通过透镜阵列获取的元素图像，从而将全景图像复原，其包括如下步骤：将上述元素图像扩大为预定的大小，并且将位于上述被扩大的各个元素图像的相同坐标的像素（pixel）合并，从而生成复原图像；将上述各个复原图像的模糊度量（blur metric）值进行测定；将相应于根据焦点距离的上述模糊度量值的拐点的复原图像选定为焦点（focus）图像；通过侵蚀运算，从而生成侵蚀图像，上述侵蚀运算是从上述焦点图像的各个像素值中减去相应的侵蚀遮罩（mask）的各个像素值；以及，在上述复原图像上将上述侵蚀图像进行匹配（mapping）。

图1是表示全景图像方式的基本原理的概要图。

基本上，将三维物体110生成为三维图像210的原理包括：图像获取阶段100，使得三维物体110穿透小透镜120，从而获取元素图像130；图像回放阶段200，将根据图像获取阶段100所收集的元素图像100重新通过小透镜220，从而在空间上回放为三维图像210。

换句话说，如图1中所示，全景图像技术大致可分为图像获取阶段100和图像回放阶段200。

图像获取阶段100包括类似于图像传感器的二次元感知器以及小透镜120，并且此时三维物体110位于小透镜120的前方。

由此，三维物体100的各种图像信息在通过小透镜120后存储于二维感知器中。

此时，所存储的图像为元素图像130，用于三维图像210的回放。

此后，全景图像技术的图像回放阶段200为图像获取阶段100的逆过程，其中包括类似于液晶显示装置的图像回放装置和小透镜220。

此处，从图像获取阶段200中所获得的元素图像230显示于图像回放装置，并且元素图像230的图像信息通过小透镜220，从而在空间上回放为三维图像210。

实质上，图像获取阶段100的元素图像130和图像回放阶段200的元素图像230相同，但图像回放阶段200的元素图像230的用途在于，将从图像获取阶段100中所获取的元素图像120存储于二维感知器，从而回放三维图像，为了便于区分图像获取阶段100和图像回放阶段200，从而以不同的图面标号进行示出。

全景图像方式的优点在于，提供类似于全息术（holography）方式的全视差（fullparallax）和连续观测点。

全景图像方式的主要特征在于，观测立体图像不需要眼镜或其他工具，并且可在一定视野角度范围内提供连续的垂直、水平视觉偏差，而不是在视点上。

并且，全景图像方式可实现完全天然色实时图像回放，与现有的平面图像装置的兼容性卓越。

图2是表示深度优先全景图像方式的概要图，图3是表示分辨率优先全景图像方式的概要图。

上述全景图像方式根据小透镜220与元素图像显示装置之间的距离g可分为两类。

换句话说，可分为距离g与小透镜220的基础透镜的焦点距离f相同的情况，以及不同的情况。

g=f的情况下，如图2所示，元素图像230的一个像素通过透镜形成为平行光束（beam），从而可制成全景光束。

上述情况被称为深度优先全景图像方式，其缺点在于，虽然可将显示三维图像的深度区域制成最大，但是三维图像210的分辨率低。

与上述情况相反，g与f不同的情况被称为分辨率优先全景图像方式，元素图像230的一个像素通过小透镜形成为会聚光束，从而形成全景光束，并且，在此情况下，虽然可增加三维图像210的分辨率，但是深度区域会急剧缩减。

发明内容

本发明是为解决上述问题而提出的，本发明的目的在于，提供一种三维全景图像方法，其利用分时显示及遮罩图像，从而可在深度优先全景图像方式中显示分辨率提高的三维图像。

用于解决上述目的的本发明的解决方法为如下：从三维物体所获取的元素图像通过小透镜，经过遮罩后，将三维图像在空间中进行显示，并且上述遮罩由元素图像通不过的遮断区域以及元素图像通过的穿透区域构成，从而可显示三维图像。

如上所述，本发明利用分时显示及遮罩图像，从而可在深度优先全景图像方式中回放分辨率提高的三维图像。

并且，深度优先全景图像方式提供了广泛的深度感，因此具有将更加带有真实感的三维图像进行回放等的显著效果。

附图说明

图1是表示全景图像方式的基本原理的概要图。

图2是表示深度优先全景图像方式的概要图。

图3是表示分辨率优先全景图像方式的概要图。

图4是表示利用本发明的分时显示及遮罩图像的三维全景图像方式的概念图。

图5是将图3的概要进行试验性体现的示意图。

图6是表示将元素图像按照现有的方式进行生成的方法的概要图。

图7是表示将元素图像根据本发明生成的方法的概要图。

图8是根据本发明生成的元素图像的示意图。

图9、10、11、12是将各个时间段的遮罩图像和所属元素图像在显示面板上进行显示后，通过光学实验从而获得的光学实验成果图像。

图13是将图9至图12中所获取的图像运用分时方式并通过高速显示而获取的光学实验成果图像。

图14是根据现有方法生成的光学实验成果图像。

图15是根据本发明生成的光学实验成果图像。

图16是在对于根据本发明生成的三维图像的各种观测角度中所获取的光学实验成果图像。

图17是在图像回放阶段中构成有投影仪和扩散板的示意图。

图18是在图像回放阶段中构成有投影仪和扩散板，以及黑白LC面板的示意图。

具体实施方式

本发明的一种利用遮罩和时间复用方式的三维全景图像显示方法中，从三维物体110中所获取的元素图像130、230通过小透镜220，经过遮罩240后，将三维图像210在空间中进行显示，上述遮罩240由元素图像230通不过的遮断区域242，以及元素图像230通过的穿透区域241构成，从而可显示三维图像210。

上述遮罩240中，穿透区域241和遮断区域242随着时间按次序进行位置交换，从而可显示三维图像210。

以下，参照附图，对本发明的三维全景图像显示方法进行详细说明。

在进行说明之前，小透镜（lenslet）是微透镜（micro-lens）排列而成的。

图4是表示利用本发明的分时显示及遮罩图像的三维全景图像方式的概念图，图5是将图4的概要进行试验性体现的示意图。

本发明的一种利用遮罩和时间复用方式的三维全景图像显示方法中，从三维物体110中所获取的元素图像130、230通过小透镜220，经过遮罩240后，将三维图像210在空间中进行显示，上述遮罩240由元素图像230通不过的遮断区域242以及元素图像230通过的穿透区域241构成，从而可显示三维图像210。

尤其是遮罩240中，穿透区域241和遮断区域242随着时间按次序进行位置交换，从而可显示三维图像210。

优选地，将上述遮断区域242和穿透区域241进行均等划分。

上述遮断区域242和穿透区域241的交换是以非常快的速度进行的，因此人的肉眼无法识别。

如图4所示，根据本发明的一个实施例的三维全景图像系统可包括：元素图像生成装置、元素图像显示装置、遮罩图像显示装置、分时显示控制装置。

图5展示了将图4的概要进行试验性体现的例子。

在本实施例中，将元素图像显示装置和小透镜220之间的距离固定为f，以便实现深度优先全景图像方法。

元素图像显示装置是指显示元素图像230的显示面板。

并且，用作遮罩图像显示装置的显示面板与小透镜220进行紧密结合。

并且，使用分时显示控制计算机，其将元素图像230和与其对应的遮罩图像同时执行分时显示。

在深度优先全景图像方法中，本发明是用于提高三维图像的分辨率的方法。

如图5所示，在本发明中，以观测者P的位置为基准，将电子遮罩240放置于小透镜220的前方，从而执行分时图像显示，进而提高三维图像210的分辨率。

图5的P表示观测者。

在图5中表示改善分辨率的原理。

在图5中表示2X2形式的分时显示的例子。

为此，将遮罩图像的一个例子如图5进行表示。

此时，从元素图像230中所射出的光束通过小透镜220和遮罩240，从而在空间形成三维图像210。

上述形成的三维图像210的形成大小与现有方法相比在x轴和y轴上缩短为约1/2倍，并且上述意义在于共增加四倍的分辨率。

相同的原理，如果使用NxN个的分时图像显示，可获取N倍的分辨率。

元素图像生成装置通过计算机从三维物体110获取元素图像130。

图6是表示将元素图像按照现有的方式进行生成的方法的概要图，图7是表示采用遮罩方式来生成元素图像的方法的概要图。

图6是作为通过现有方式生成图像的方法，小透镜120中，一个透镜上所生成的元素图像130，考虑到透镜的位置和元素图像的像素位置并利用几何光学的线，可被易于生成。

此时，光束从透镜的中心经过。

与此不同，图7是对采用遮罩方式来生成元素图像的方法进行说明。

在此情况下，与现有的使用透镜中心的方法不同，使用遮罩图像的中心。

因此，遮罩图像不同，则生成的图像的位置也有所不同。

结论，与现有的方法相比，本发明使用分时遮罩图像，从而对三维物体110可获取并获取更多的信息。

图8是根据本发明生成的元素图像的示意图。

如图8所示，在此情况下，使用2x2的共4种的分时显示及遮罩图像。

如图6所示，当时间为t1、t2、t3、t4时，遮罩图像的基础图像会不同地形成，并且表示使用遮罩图像来获取的元素图像的集合的例子。

如图4所示，三维图像系统包括元素图像显示装置、遮罩图像显示装置、分时显示控制装置。

元素图像显示装置作为将上述元素图像生成装置中所形成的元素图像集合进行显示的装置，从而可使用显示面板或投影仪和屏幕等。

遮罩图像显示装置作为将遮罩图像进行显示的装置，从而可使用透明显示面板。

此时，遮罩图像的大小与基础透镜的直径相关，并且NxN时间复用的情况下，可缩小为相当于基础透镜直径1/N的大小。

并且，时间复用显示控制装置使用计算机，将元素图像显示装置和遮罩图像显示装置进行同步并控制，并且可按照时间复用的时间段迅速地将元素图像及遮罩图像进行显示。

图9至图12是将各个时间段的遮罩图像和所属元素图像进行显示的光学实验成果图像。

换句话说，图9至图12是在三维图像系统中按照各个时间段将遮罩图像和所属元素图像在显示面板上进行显示后，通过光学实验获取的光学实验成果图像。

在t1的时刻内，对应于一个透镜的面板的四个区域中，穿透第一个区域，剩下的会遮断。

通过上述构成的遮罩图像，从而元素图像显示为三维图像。

遮罩图像由四个区域构成，因此在进行分时的情况下，显示为四个时间（t1、t2、t3、t4），从而可获取各不相同的观测图像。

图13是将图9至图12中所获取的图像运用分时方式并进行高速显示后获取的光学实验成果图像。

换句话说，图13是对将图9至图12中所获取的观测图像运用分时技法并进行高速显示的情况下所获取的结果进行说明。

将图像进行高速显示时，图像的各个区域可简单地重合，并且观测者可看到如图13右侧图像所示的完成后的三维图像。

图14是根据现有方法生成的光学实验成果图像，并且图15是根据本发明生成的光学实验成果图像。

如图14所示，从现有的方法可知，获取相当于一个透镜大小的块状图像。

反之，在本方法中，如图9b所示，将一个透镜的大小划分为四个部分，因此可得到提高四倍的三维图像。

图16是表示在对于根据本发明生成的三维图像的各种观测角度中所获取的结果。

如图16所示，展示了对本发明所获取的三维图像在多种观测角度所获取的结果。

根据不同的观测角度可确认三维立体感。

图17是由投影仪和扩散板构成的全景图像系统的另一个示意图，并且图18是构成有黑白LC面板的全景图像系统的示意图。

如图17所示，在图像回放阶段200中包括投影仪300，在小透镜220和投影仪300之间构成扩散板400，从而可回放三维图像。

上述投影仪300将图像扩大，从而使用照射于屏幕上的惯用的机器，并且扩散板400是将光源发射出的光沿着面进行扩散，从而使画面整体的颜色亮度看上去均匀的半透明部件，在放入多个荧光灯而制成的广告牌中起到亚克力板（acrylic board）发挥扩散板的作用。

可使用光扩散板或者胶片形态，或高纯度亚克力树脂材质的扩散板等，并且可使用最近开发的高强度棱镜扩散板等。

高密度棱镜扩散板运用两面条纹投射方式，而不是运用只向一面投射条纹的现有的方式，并且运用高强度扩散板工艺，其向两面分别投射金字塔和半球形状的条纹。

但是，现有的LCD面板是LCD的情况下，背光颜色必须为白色，并且是玻璃材料的RGB构造，因此有时产生波纹（moire）效应。

波纹效应是在视觉上产生拍频现象（Beat phenomenon），在具有一定间距的物体之间产生的干涉条纹，换句话说，两个以上的条纹重合时则会产生预料之外的新条纹。

拍频现象是指频率相似的两个波动互相影响，从而根据两个频率的差异，频率幅度按照一定的周期进行变化。

波纹效应可举例为，在摄影中，构造物的空隙间产生彩虹颜色条纹的现象，或者阳光照射的日子文章或者帘子等重合时，产生水纹图案的现象等。

因此，为了解决彩色滤光片产生波纹效应的问题，取代现有的LCD面板，构成黑白LC面板500，并且如图18所示，在小透镜220和扩散板400之间构成黑白LC面板500。

因此，将整体画面分别由红色、绿色、蓝色构成的三个图像按照次序（t=t1，t2，t3，…）通过扩散板400，快速地投影至黑白LC面板800，从而可生成彩色元素图像阵列。

为了将红色、绿色、蓝色顺次投影，使用惯用的RGB喷射器600，并且在图18中，为了表示将红色、绿色、蓝色按次序投影，分别表示了示出有红色、绿色、蓝色的面板，但实际上是在一个面板上按照时间顺序喷射红色、绿色、蓝色的图像。

换句话说，RGB喷射器600所生成的t1=红色、t2=绿色、t3=蓝色，并且t4=红色、t3=绿色、t4=蓝色的图像再次通过扩散板400，从而按照顺序投影至黑白LC面板500。

上述构成的图像显示装置一般被称为背光单元（backlight unit），但是选择性地使用平板式的离子显示板（PDP）、液晶显示器（LCD）、发光二极管（LED）、有机发光二极管（OLED）等商业性显示装置，从而可在有限的空间内自由使用。

如上述说明，本发明可利用元素图像的分时显示及遮罩图像，从而在深度优先全景图像方式中可实现分辨率提高的三维图像的回放。

并且，深度优先全景图像方式提供了广泛的深度感，因此具有将更加带有真实感的三维图像进行回放等的显著效果。

标号说明

100.图像获取阶段     110.三维物体     120.小透镜

130.元素图像         140.遮罩         141.穿透区域

142.遮断区域

200.图像回放阶段     210.三维图像     220.小透镜

230.元素图像         240.遮罩         241.穿透区域

242.遮断区域

300.投影仪           400.扩散板       500.黑白LCD面板

600.RGB喷射器

Claims (2)

1.一种利用遮罩和时间复用方式的三维全景图像显示方法，在利用遮罩和分时方式的三维全景图像显示方法中，其特征在于：

从三维物体110中所获取的元素图像130、230通过小透镜220，经过遮罩240后，将三维图像210在空间中进行显示，并且上述遮罩240包括元素图像230通不过的遮断区域242以及元素图像230通过的穿透区域241，从而可显示三维图像。

2.根据权利要求1所述的一种利用遮罩和时分多路复用方式的三维全景图像显示方法，其特征在于：

上述遮罩240中，遮断区域242和穿透区域241随着时间按次序进行位置交换，从而可显示三维图像。