CN114924336B - 一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示系统、增强现实系统及方法 - Google Patents
一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示系统、增强现实系统及方法 Download PDFInfo
- Publication number
- CN114924336B CN114924336B CN202210403195.9A CN202210403195A CN114924336B CN 114924336 B CN114924336 B CN 114924336B CN 202210403195 A CN202210403195 A CN 202210403195A CN 114924336 B CN114924336 B CN 114924336B
- Authority
- CN
- China
- Prior art keywords
- zoom lens
- information
- hologram
- holographic
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011229 interlayer Substances 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 22
- 230000001360 synchronised effect Effects 0.000 claims abstract description 7
- 239000011521 glass Substances 0.000 claims description 76
- 239000010410 layer Substances 0.000 claims description 74
- 239000007788 liquid Substances 0.000 claims description 69
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000012546 transfer Methods 0.000 claims description 23
- 238000005516 engineering process Methods 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 11
- 229910052751 metal Inorganic materials 0.000 claims description 10
- 239000002184 metal Substances 0.000 claims description 10
- 230000004438 eyesight Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 239000004973 liquid crystal related substance Substances 0.000 claims description 5
- 239000004065 semiconductor Substances 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 210000001525 retina Anatomy 0.000 claims description 3
- 239000000969 carrier Substances 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000005086 pumping Methods 0.000 claims 1
- 230000004075 alteration Effects 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000002068 genetic effect Effects 0.000 description 14
- 239000000463 material Substances 0.000 description 9
- 238000005457 optimization Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 229920001903 high density polyethylene Polymers 0.000 description 4
- 239000004700 high-density polyethylene Substances 0.000 description 4
- 239000004033 plastic Substances 0.000 description 4
- 229920003023 plastic Polymers 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000006378 damage Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- IQQRAVYLUAZUGX-UHFFFAOYSA-N 1-butyl-3-methylimidazolium Chemical compound CCCCN1C=C[N+](C)=C1 IQQRAVYLUAZUGX-UHFFFAOYSA-N 0.000 description 2
- 241001465382 Physalis alkekengi Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 210000000349 chromosome Anatomy 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000004134 energy conservation Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 239000002608 ionic liquid Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 208000001491 myopia Diseases 0.000 description 2
- 230000004379 myopia Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- TWNQGVIAIRXVLR-UHFFFAOYSA-N oxo(oxoalumanyloxy)alumane Chemical compound O=[Al]O[Al]=O TWNQGVIAIRXVLR-UHFFFAOYSA-N 0.000 description 2
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 2
- 229920000052 poly(p-xylylene) Polymers 0.000 description 2
- 239000004926 polymethyl methacrylate Substances 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 239000011888 foil Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000006552 photochemical reaction Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/12—Fluid-filled or evacuated lenses
- G02B3/14—Fluid-filled or evacuated lenses of variable focal length
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Holo Graphy (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示系统、增强现实系统及方法,包括:计算机全息图模块,利用激光光源对文物进行全息的波前记录生成数字全息图,并在计算机中将对应的虚拟视频每帧生成相应的计算全息图,将处理后的数字全息图与计算全息图叠加,得到融合的计算全息图。信息传递模块,将提前生成的各个文物的最终计算全息图与视频的音频信息等实时地传输到全息三维显示模块中,由全息三维显示模块接收且动态输出,实现声画同步结合。全息三维显示系统,通过多夹层柔性变焦透镜将空间光调制器输出的全息二维图像呈现在不同焦深的各平面,在空间中形成三维立体图像,最后被人眼捕捉,达到增强现实的展示效果。
Description
技术领域
本发明涉及光学成像技术领域、增强现实和全息三维显示领域交叉领域,尤其涉及一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示系统、增强现实系统及方法。
背景技术
随着投影技术的发展,为了让参观者有更好地游览体验,许多博物馆将显示技术应用于文物的展览。起初,博物馆大多采用二维显示技术通过视频和文字的形式对文物进行相关介绍。但随着三维显示技术的发展,3D成像也逐渐地被引入到馆藏展览中。在三维显示技术中,提供的深度线索越丰富,显示画面的立体感越强。全息三维显示是一种利用波前信息实现三维场景重建的显示方式。通过波前记录的方式,全息图完整保留了待重建物体的振幅和相位信息,因此可以准确复现三维目标的强度和深度。理论上,全息显示可以提供所有种类的深度线索,被认为是三维显示的终极实现方式。但是,目前应用于博物馆的全息投影系统体积大、成本高并且彩色动态全息的成像质量不高。
比起全息投影,AR眼镜则更加轻便、自由,它既能让参观者欣赏到实物细节的震撼,又能以生动、形象地方式介绍文物背后尘封的历史故事。并且考虑到文物的脆弱性,利用AR眼镜也能展现文物更多的细节,例如内部构造等。由于AR眼镜的特性,每个人所看到的内容都是不同的,这也促进了展览的私人化与个性化。
现代计算和显示技术促进了用于所谓的“增强现实”或“混合现实”体验的系统的开发,其中,数字再现的图像或其部分以它们看起来是真实的或感觉为真实的方式被呈现给用户。增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的实际世界的可视化的增强。混合现实或“MR”场景是“AR”类型的场景,并且通常涉及被整合到自然世界中且响应于自然世界的虚拟对象。
目前,大多数的AR眼镜主要基于双目视差原理,即利用某种光学方式将两张有细微差别的平面图像分配给人的左右眼,让左右眼分别只看到其对应的图像,即左眼只能看到左眼视差图像而右眼只能看到右眼视差图像,通过大脑的融合处理后产生立体感。但由于其技术都是基于单深度的,利用两张单深度的图像源经过大脑融合后,其依然是单深度的立体图像,该种技术视觉辐辏问题明显,即观看者的人眼聚焦和双目视轴汇聚不一致,导致的视觉疲劳、眩晕等问题,尤其是观看距离较近的虚拟场景时,不适感更加强烈。长期佩戴此种类型的近眼显示装置,对视力发育尚未成熟的青少年的视力情况有着潜在的危害。另一方面,相关技术也会出现视场角小、亮度低、失真、串扰严重、分辨率低、成本高、制作困难等现象。
解决视觉辐辏问题的方法之一,就是将三维图像切片为多个二维图像,并在不同位置显示,以使三维图像在空间中有一定的深度。该技术多采用液晶切换或者可变焦透镜实现多平面显示。但使用液晶切换通常需要较高的驱动电压,对计算刷新速率要求高,设备体积大。而目前存在的液体透镜普遍存在蒸发泄漏现象严重,重力及温度的变化影响系统稳定性,调焦速率不高、精度低的问题。
发明内容
鉴于文物展览领域的一些特殊要求以及解决现有技术的某些方面的缺陷,本发明提供了一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示系统、增强现实系统及方法,具体技术方案如下:
所述适用于博物馆文物展览的增强现实系统,包括:计算机全息图模块;信息传递模块;全息三维显示系统。其中信息传递模块的接收端和全息三维显示模块可以集成到一起,组成AR眼镜的形式,供使用者佩戴。
计算机全息图模块,利用激光光源对文物进行全息的波前记录生成数字全息图,并在计算机中将对应的虚拟视频每帧生成相应的计算全息图,将处理后的数字全息图与计算全息图叠加,得到融合的计算全息图。
信息传递模块,将提前生成的各个文物的最终计算全息图与视频的音频信息等实时地传输到全息三维显示模块中,由全息三维显示模块接收且动态输出,实现声画同步结合。
全息三维显示系统,通过可变焦透镜将空间光调制器输出的全息二维图像呈现在不同焦深的各个平面位置处,在空间中形成具有一定深度的三维立体图像,最后被人眼捕捉,达到增强现实的展示效果。
所述的计算机全息图模块包括:CCD耦合器件、计算机。
CCD耦合器件,选用半导体增强的近红外CCD,且对光照敏感度高。
计算机,用于存储CCD采集的文物信息,并使用建模软件记录的文物图像进行修改;虚拟视频的生成;计算全息图预处理;对图像的颜色分量深度复用;将生成的最终计算全息图通过信息传递模块传输到全息三维显示模块的空间光调制器中。
所述的信息传递模块包括:LED灯具、LiFi芯片、可见光无线通信技术模组、光敏传感器、蓝牙模组。
优选的,不同的文物展区使用不同照度不同波长的LED光源作为信息来源,进一步,照度既要满足人眼的视觉效果良好,还要满足对文物的保护。
进一步地,LED灯具装有特制的LiFi芯片。
可见光无线通信技术模组,置于AR眼镜内部,处理和转换LED发出快速的光脉冲无线传输信息。
光敏传感器,置于AR眼镜内部,以接收来自LiFi的信号。
蓝牙模组,与佩戴者手机连接,传输视觉信息以及空间信息。
本发明还提供了另一个信息传递模块的方案:WiFi模组、视觉传感器、蓝牙模组。
WiFi模组,与博物馆内的局域网络相连接。
眼镜的视觉传感器,采集使用者所看到的画面。
蓝牙模组,与佩戴者手机连接,传输视觉信息以及空间信息。
所述的全息三维显示系统采用R、G、B三色激光光源作为重现光源,包括:合色棱镜、空间滤波扩束器、空间光调制器、分光镜、双变焦透镜结构、第三多夹层柔性变焦透镜、准直透镜、半反半透镜。
进一步地,三种不同颜色的激光器分别位于合色棱镜的三个侧面,同时入射光源。由合色棱镜将其混合,形成入射光。
空间滤波扩束器,用于对入射激光进行滤波扩束,位于合色棱镜右侧。
空间光调制器,对接收的扩束光进行调制,实时输出各个文物的提前特制的不同RGB图像分量的动态全息图像,可选用DMD、LCOS等,位于空间滤波扩束器右侧。
分光镜,将入射光束分成第一激光束和第二激光束,位于空间光调制器右侧。
双变焦透镜结构,由第一多夹层柔性变焦透镜和第二多夹层柔性变焦透镜组成,且两透镜并列排布。
第一多夹层柔性变焦透镜,接收由分光镜产生的第一激光束,位于分光镜右侧。
第二多夹层柔性变焦透镜,接收由分光镜产生的第二激光束,位于分光镜右侧
准直透镜,混合光束且将光束准直输出,位于双变焦透镜结构右侧。
进一步地,在第一多夹层柔性变焦透镜和第二多夹层柔性变焦透镜后面的光路上都设置了一个光学透镜,目的是使第一多夹层柔性变焦透镜和第二多夹层柔性变焦透镜出射的光束汇聚到准直透镜处。
第三多夹层柔性变焦透镜,放置于人眼前侧,用于矫正由于人眼的个体差异性(眼距差异、晶状体厚度差异、近视等)引起的屈光度差异,使所成的彩色三维图像正确地显示到人眼的视网膜位置。
进一步地,在第三多夹层柔性变焦透镜的塑料基材中加入了防蓝光因子,激光器发出的过强蓝光进行吸收,实现蓝光阻隔的防护目的。
半反半透镜,用于混合光束,使像成于人眼前方,位于第三多夹层柔性变焦透镜前侧。
其中,所述的三个多夹层柔性变焦透镜包括:外支撑环、若干刚性透镜、液体夹层、金属电极、储流区、增透膜。
优选的,所述的外支撑环结构起到保护内部透镜结构,遮挡光线的作用。考虑到成本等因素,选用HDPE(高密度聚乙烯)材料。前后的孔圈起到入、出瞳的作用。后侧的孔圈较小,阻挡了边缘光线,从而降低像差,扩大了景深。
优选的,所述透镜内部仍以刚性透镜为主,分布着若干等厚度、等焦距的刚性透镜层。考虑到AR眼镜使用次数频繁,容易由于佩戴者的不当操作受到损耗,透镜的第一层与最后一层皆为PMMA塑料刚性透镜层,有利于保护内部固液结构,便宜且不易损坏。
优选的,所述的液体夹层材料为离子液体[BMIm][PF6]。具体地,该材料黏度η=312cp,表面张力σ=38mN/m,折射率n=1.4098。
所述透镜内部有N个由液体夹层和刚性透镜交替组成的固液结构,且液体作为夹层分布。
进一步地,N越大,则该透镜每个液体夹层的厚度的梯度分布越密集,差值越小,故而透镜的变焦过程精度越高,响应时间越短。但增加固液结构的个数,也意味着成本的增加与加工难度的提升。因此,可以根据应用需求,合理设置N的大小。考虑到本实例将该变焦透镜应用于AR眼镜,因此对变焦精度要求不高,故在此示例中设置N=5。
优选的,所述夹层分布为不对称结构,正负焦距结合。
第一层液体夹层具有负屈光度,两侧面皆为凹面。
优选的,所述液体夹层的厚度从第一层到第N层以ΔD=0.1216为差值,成梯度分布。夹层厚度分布函数为:DN=D0+(n-1)·ΔD。
第N层液体夹层具有正屈光度,两侧面皆为凸面。
所述的金属电极作为导电层,用于对液体夹层施加电压,各夹层对电压的响应同步进行。施加的电压由程序控制,程序采用遗传算法,通过遗传算法计算出液体变焦透镜每一个表面所需的参数要求,根据压力致动原理,转化为每个表面控制端的电压数据,以此来控制变焦透镜的焦距,快速完成焦平面的改变,以此来完成逐层成像显示的作用。
优选的,所述金属电极为一圈金属薄片,表面涂有一层7μm厚的Parylene-N作为绝缘层。
所述的储流层位于透镜的上侧,用于储存从夹层中流出的液体,同时也可为其提供液体,便于液体夹层的弹性变化,实现控制变焦透镜的焦距。该储流层与各液体夹层由一个极细的通道连接,以增加流体阻尼,提高变化的精度。
优选的,所述增透膜为一层位于第一层刚性透镜外层的三氧化二铝膜。
所述的适用于博物馆文物展览的增强现实系统的控制方法包括:1.文物信息的获取2.光电信号转化3.屈光度矫正4.信息传递5.信息接收6.全息三维显示成像7.音频信息的同步播放。具体如下:
文物信息的获取步骤包括:数字全息图的采集、建模修改处理、全息图预处理、虚拟视频的生成、计算全息图的生成、全息图的叠加、深度复用、全息图输出。
获取到的信息包括三类:计算机全息图集合、文物尺寸信息、视频的音频信息。为了达到动态显示的效果,使用CCD 360°全方位的拍摄文物,采集文物的数字全息图,每张全息图的拍摄角度差为固定值,类似视频的一帧。同时,获取并保存文物的尺寸信息。采集的数字全息图将为两个集合,分别对应左右眼视角的不同全息图。
进一步地,对拍摄的文物图像进行建模修改处理,即使用建模软件如3D MAX等对记录的文物图像进行修改,例如,对文物进行模拟拆分,将文物内部的结构展示给参观者。需要说明的是,该步骤非必须。采集的数字全息图需要预处理,包括两个部分:高通滤波、采样率变化。高通滤波是利用高通滤波传递函数,滤除全息图在低频段的零级项,提高其衍射效率。处理后的全息图的空间域函数为:H'(x,y)=F{F(fx,fy)·H(fx-fx',fy-fy')}-1,其中H(fx,fy)为高通滤波器传递函数,F(fx,fy)为全息图频谱信息。采样率变化是改变数字全息图的采样率,使其匹配空间光调制器的采样频率,得到空间域函数H”(fx,fy)。
同时,利用计算机视频软件生成一段虚拟动画,并保存生成的相应的音频信息,用以介绍文物的历史背景,动画的制作形式多样。虚拟动画制作完成后,将生成的视频每帧生成对应的计算全息图。
进一步地,将预处理后的数字全息图与计算全息图叠加并归一化处理,得到融合的全息图:HG=G{(H”(x,y)+Hcomputer(x,y))},G为归一化函数。为了实现彩色显示,对融合的全息图采用深度复用处理,即获得图像的红、绿、蓝的三种图像分量,在特定的距离进行同轴菲涅尔衍射传播,然后在全息面叠加生成一张位相全息图。经过深度复用,每种颜色分量将在不同位置多平面成像,三种颜色叠加处将显示彩色图像。最后将提前生成好的全息图集合由计算机连续地输出,实现彩色动态的三维显示。
计算机全息图集合、文物尺寸信息、音频等信息由计算机处理后,输出为电信号,因此需要进行光电信号转化才能被传输,使电信号转化为光信号。若采用LiFi进行信息传递的方案,则需要将信息存储为光信号,把信息存储到光束中。若采用WiFi组件进行信息传递,则无需进行光电信号转化,直接将信息从计算机利用无线网络传输到AR眼镜的接收器。
在增强现实系统成像之前,首先要进行屈光度矫正,该功能由全息三维显示模块位于人眼前侧的第三多夹层柔性变焦透镜实现。在矫正过程中,全息三维显示模块中的空间光调制器将接收一个示例图像,且双变焦透镜结构不运行,即不改变焦距,故示例图像成一个二维平面图像。第三多夹层柔性变焦透镜焦距在[-20,20]区间内从初始值0cm进行快速增大或减小变化。当佩戴者可以看见图像大致轮廓时,按下AR眼镜两侧的按钮,再进行缓慢的增大或减小变化。当佩戴者可以看见清晰的图像时,再次按下AR眼镜两侧的按钮,固定第三多夹层柔性变焦透镜的焦距,完成屈光度的矫正。
计算机全息图集合、文物尺寸信息、音频等信息经过光电信号转化后,由计算机编码调制,形成一系列数字信号,使其可以搭载光束进行传递。以LiFi作为信息传递的方式时,LiFi的信号传递是以LED为载体。将数字信号集合载频到LED灯具上,利用LED发出快速的光脉冲无线传输信息。
由于博物馆照明设备的照度限制,在考虑到节能环保和信息传输的准确快速的前提下,AR眼镜上搭载高灵敏度光敏传感器,当AR眼镜进入光照范围,即接收光信号。AR眼镜中可见光无线通信技术模组将所需要的信息通过调制器进行调制后,经过一系列的处理,转化为AR眼镜在该区域内需要接收到的信息。进一步地,配合AR眼镜上的蓝牙模组,传输视觉信息,以及空间信息。
信息传递的一种方案为:AR眼镜通过内置的WiFi模组与博物馆内的局域网络相连接,进行信号的传递。当AR眼镜进入接受区,通过连接网络的方式,可以将计算机处理过的全息图以数据的形式发送到AR眼镜。眼镜只需要将数据解析,输出到全息显示模块的空间光调制器中,即可完成成像工作。眼镜中的视觉传感器,识别使用者所看到的画面,利用WiFi信号将采集到的画面以数据的形式传递给计算机,通过计算机的算法优化后,调节液体透镜的焦距以及调整发送到AR眼镜的全息图信号。在佩戴浏览时视觉传感器通过捕捉佩戴者的手势,可以进行一些简单的调整,调节眼镜的音量以及画面亮度。以此来得到最佳的观看体验。AR眼镜带有蓝牙模块,可以通过蓝牙与佩戴者的手机相连,通过蓝牙来调整可以通过蓝牙来调节眼镜的音量,亮度等参数。
由信息传递模块传输的信息集合被AR眼镜中左右两侧的接收器接收。传输的计算机全息图信息将以30Hz的频率刷新输入到空间光调制器,以实现动态的显示效果。传输文物尺寸信息作为遗传算法的变量初始值,接着通过遗传算法的优化来控制夹层分配的电压,使全息三维显示模块中的双变焦透镜结构实现连续变焦。
全息三维显示系统成像的光路如下:
选用波长为532nm的微型Nd:YAG激光器(绿色)、633nm的微型氦氖(He-Ne)激光器(红色)和491nm的微型二极管抽运固态激光器(蓝色)作为光源,分别位于合色棱镜的上、左、右侧面。入射光源同时出射,三种颜色的激光束进入合色棱镜,由合色棱镜将其混合,形成出射光。光束进入空间滤波扩束器,对其进行滤波扩束,进入到空间光调制器。
空间光调制器为LCOS液晶空间光调制器,也可根据具体情况选用DMD等。此时,空间光调制器实时接收连续输出的彩色计算全息图。考虑到人眼的识别极限是24帧每秒,当空间光调制器以30HZ的频率刷新时,便可形成动态视频的显示效果。空间管调制器将信息加载到光束上以后,光束进入分光镜。分光镜将入射光束分成第一激光束和第二激光束。
进一步地,第一激光束进入第一多夹层柔性变焦透镜,经其折射后进入透镜。第二激光束进入第二多夹层柔性变焦透镜,经其折射后进入透镜。两束光经透镜和准直后汇聚于准直透镜。准直透镜将两束激光混合且准直后出射到半反半透镜。半反半透镜将光束汇聚到像面,使像成于人眼前侧某一焦距处。像平面集合的光线再从半反半透镜透射,通过第三多夹层柔性变焦透镜矫正,使像清晰地成于人眼中。
为保证成像更有真实性,焦深d由文物的实际大小决定。若文物的厚度为di,则d=di。假设显像设备的刷新频率为Ri,若有n个图像平面,AR显示系统以R HZ的频率运行,则对于单个变焦透镜:Ri=R×n。不同于使用单个变焦透镜,双变焦透镜结构的频率设置为:Ri=2×R×n。显像设备的刷新频率设置为60HZ,故第一多夹层柔性变焦透镜与第二多夹层柔性变焦透镜的刷新频率为设第一多夹层柔性变焦透镜208与第二多夹层柔性变焦透镜焦距变化范围的间隔为Δf,则
第一、二多夹层柔性变焦透镜所成的像面在以由佩戴者确认的最适焦距fb为中心,在其前后一定距离范围内交替成像,成像结果可以近似于在该段距离d连续成像,呈现三维立体效果。
虚拟视频对应的音频信息将传输到AR眼镜的连接的音频播放设备,并实现声画同步播放。
本发明的有益效果为:
(1)本发明设计的多夹层柔性变焦透镜,采用多层固液组合的结构,且液体作为夹层分布,有效降低了液体在结构中的占比,每个单独的液体夹层受重力的影响大大减小。此外,液体夹层厚度成梯度分布,各夹层对电压的响应同步进行,进一步缩短了透镜改变焦距的响应时间,提高了变焦的灵敏度,大幅度降低了所需的电压大小。利用电润湿原理,以电压控制夹层厚度变化,使用遗传算法实时优化,通过控制各个液体夹层厚度的排列组合,透镜可以实现小像差和微小的焦距差值变化,增加了变焦过程的精度,提高了成像质量。该设计解决了以往液体透镜易受温度、重力等因素影响系统稳定性的问题,具有高灵敏度、低像差的优点,不仅可以用于增强现实系统的多平面显示,还可以根据佩戴者的差异性调节合适的焦距,矫正屈光度。
(2)本发明提供的全息三维显示的增强现实系统,采用双变焦透镜结构,频率设置为:Ri=2×R×n。由公式可以看出,每个变焦透镜仅需达到二分之一的频率即可形成三维立体图像,解决了变焦透镜刷新速率无法满足要求的问题,使像面集合达到了更高的密度,实现了在一段焦深处近似连续成像的效果,有效解决了视觉辐辏问题。
同时,VR眼镜左右输出不同的全息图像,获得了移动视差,增强了三维显示的立体感。此外,本发明将深度复用与多平面显示结合起来,提高了图像颜色分量的利用率,实现了连续的彩色平面成像。
(3)本发明提供的方案之一将LiFi运用到信息传递模块,使博物馆的灯光不仅起到了照明的作用,还可用于传递信息,能耗低且环保,降低了博物馆的运营成本。LiFi无法远距离传输的缺点合理运用为优点。LiFi的传播空间有限恰好满足博物馆不同展区之间不同的信号传递,各个信号区域之间互不干扰,同时室内博物馆的光照条件相对稳定,信号不易被环境光干扰。LiFi技术加速了信号的传播,同时减轻了无线网络的负担。LiFi技术大大节约了能源,相较于架设博物馆AR专用无线网络系统,采用LiFi提高了AR眼镜全息成像所需要的数据传输速率。
(4)本发明设计的增强现实系统,将虚拟视频与文物实物结合进行全息显示,比起将无法近距离触碰、观赏的放置于展示柜内的文物,实现了普通观赏无法达到的展示效果,为参观者提供了一个生动、有趣的视角,让参观者观看时更有身临其境的感受。
(5)本发明在进行信息采集与传输时,秉承着保护文物的理念。所采用的CCD为近红外、高灵敏耦合器件,拍摄过程中对照度进行了限制。同时,在LiFi信号利用文物照明设备传输信息时,波长的选择要尽量不与文物产生光化学反应,以使对文物的损害最小化。
附图说明
图1为根据本申请一个实施例的增强现实系统与设备具体功能实现流程图;
图2为根据本申请一个实施例的基于多平面的全息三维显示模块结构与光路示意图;
图3为根据本申请一个实施例的多夹层柔性变焦透镜的结构示意图;
图4为根据本申请一个实施例的文物的动态视频的计算机全息图合成系统流程图;
图5为根据本申请一个实施例的左右眼全息图的区别对比图和移动视差效果示意图;
图6为根据本申请一个实施例的对文物建模修改并与虚拟视频结合的效果示意图;
图7为根据本申请一个实施例的优化的深度复用实现连续彩色成像的原理示意图;
图8为根据本申请一个实施例的信息传递模块中的LiFi组件和WiFi组件的实际应用效果示意图;
图9为根据本申请一个实施例的当N=5的参数设定下透镜的MTF曲线图;
图10为根据本申请一个实施例的透镜的像点图;
图11为根据本申请一个实施例的透镜的像差图。
具体实施方式
下面结合附图对本发明作进一步说明。
为进一步说明实施例,本发明配备有一些附图。这些附图可方便地展示本发明内容的一部分,其作用为说明实施例,并可通过配合说明书的具体描述来解释实施例的工作原理。通过配合着参考这些内容,本领域的一般技术人员可以理解其他的可能实施方式和本发明的特点。图中的相关组件未按确定比例绘制,其中的组件符号通常用来表示类似的组件。
附图中的流程图和框图,图示了按照本公开各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现预定的逻辑功能的可执行指令。应当注意,在有些作为备选的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也应当注意,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本公开的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本公开和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本公开的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本公开的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
下面结合附图和实施例对本发明作进一步详细描述,需要指出的是,以下所述实施例旨在便于对本发明的理解,而对其不起任何限定作用。
所述适用于博物馆文物展览的增强现实系统,包括:计算机全息图模块;信息传递模块;全息三维显示模块。
计算机全息图模块,利用激光光源对文物进行全息的波前记录生成数字全息图,并在计算机中将对应的虚拟视频每帧生成相应的计算全息图,将处理后的数字全息图与计算全息图叠加,得到融合的计算全息图。信息传递模块,将提前生成的各个文物的最终计算全息图与视频的音频信息等实时地传输到全息三维显示模块中,由全息三维显示模块接收且动态输出,实现声画同步结合。全息三维显示模块,通过可变焦透镜将空间光调制器输出的全息二维图像呈现在不同焦深的各个平面位置处,在空间中形成具有一定深度的三维立体图像,最后被人眼捕捉,达到增强现实的展示效果。
所述的计算机全息图模块包括:CCD耦合器件、计算机。
CCD耦合器件,选用半导体增强的近红外CCD,且对光照敏感度高。
计算机,用于存储CCD采集的文物信息,并使用建模软件记录的文物图像进行修改;虚拟视频的生成;计算全息图预处理;对图像的颜色分量深度复用;将生成的最终计算全息图通过信息传递模块传输到全息三维显示模块的空间光调制器中。
所述的信息传递模块包括:LED灯具、LiFi芯片、可见光无线通信技术模组、光敏传感器、蓝牙模组。
优选的,不同的文物展区使用不同照度不同波长的LED光源作为信息来源,进一步,照度既要满足人眼的视觉效果良好,还要满足对文物的保护。
进一步地,LED灯具装有特制的LiFi芯片。
可见光无线通信技术模组,置于AR眼镜内部,处理和转换LED发出快速的光脉冲无线传输信息。
光敏传感器,置于AR眼镜内部,以接收来自LiFi的信号。
蓝牙模组,与佩戴者手机连接,传输视觉信息以及空间信息。
本发明还提供了另一个信息传递模块的方案:WiFi模组、视觉传感器、蓝牙模组。
WiFi模组,与博物馆内的局域网络相连接。
眼镜的视觉传感器,将收到目前使用者所看到的画面进行采集。
蓝牙模组,与佩戴者手机连接,传输视觉信息以及空间信息。
如图2所示,所述的全息三维显示模块包括:光源、合色棱镜204、空间滤波扩束器205、空间光调制器206、分光镜207、双变焦透镜结构208、209、第三多夹层柔性变焦透镜216、准直透镜212、透镜210、211、半反半透镜213。
光源,选用R、G、B三色激光光源201、202、203作为重现光源。
进一步地,三种不同颜色的激光器201、202、203分别位于合色棱镜204的三个侧面,同时入射光源。由合色棱镜204将其混合,形成入射光。
空间滤波扩束器205,用于对入射激光进行滤波扩束,位于合色棱镜204右侧。
空间光调制器206,对接收光进行调制,实时输出各个文物的提前特制的不同RGB图像分量的动态全息图像,可选用DMD、LCOS等,位于空间滤波扩束器205右侧。
分光镜207,将入射光束分成第一激光束和第二激光束,位于空间光调制器206右侧。
双变焦透镜结构,由第一多夹层柔性变焦透镜408和第二多夹层柔性变焦透镜组成209,且两透镜并列排布。
第一多夹层柔性变焦透镜208,接收由分光镜207产生的第一激光束,位于分光镜207右侧。
第二多夹层柔性变焦透镜209,接收由分光镜207产生的第二激光束,位于分光镜207右侧
准直透镜212,混合光束且将光束准直输出,位于双变焦透镜结构右侧。
进一步地,在第一多夹层柔性变焦透镜208和第二多夹层柔性变焦透镜209后面的光路上都设置了一个光学透镜210、211,目的是使第一多夹层柔性变焦透镜208和第二多夹层柔性变焦透镜209出射的光束汇聚到准直透镜412处。
第三多夹层柔性变焦透镜216,放置于人眼217前侧,用于矫正由于人眼217的个体差异性(眼距差异、晶状体厚度差异、近视等)引起的屈光度差异,使所成的彩色三维图像正确地显示到人眼217的视网膜位置。
进一步地,在第三多夹层柔性变焦透镜216的塑料基材中加入了防蓝光因子,激光器发出的过强蓝光进行吸收,实现蓝光阻隔的防护目的。
半反半透镜213,用于混合光束,使像成于人眼217前方,位于第三多夹层柔性变焦透镜216前侧。
图3示出了多夹层柔性变焦透镜209、208、216的示例。外支撑环结构11起到保护内部透镜结构,遮挡光线的作用。考虑到成本等因素,选用HDPE(高密度聚乙烯)材料。前后的孔圈起到入、出瞳的作用。后侧的孔圈较小,阻挡了边缘光线,从而降低像差,扩大了景深,提高了透镜的光学成像质量。
继续参考图3,透镜内部仍以刚性透镜为主,分布着若干等厚度、等焦距的刚性透镜层12。考虑到AR眼镜使用次数频繁,容易由于佩戴者的不当操作受到损耗,透镜的第一层与最后一层皆为PMMA塑料刚性透镜层,有利于保护内部固液结构,便宜且不易损坏。
液体夹层13材料选用离子液体[BMIm][PF6]。具体地,该材料黏度η=312cp,表面张力σ=38mN/m,折射率n=1.4098。液体夹层13的材料也可根据实际应用要求进行更改。
参考图3中的细节放大部分301,透镜内部有N个由液体夹层和刚性透镜组成的固液结构。夹层分布为不对称结构,正负焦距结合,有利于减小像差,透镜初始焦距为32.7mm。针对固液结构需要说明的是,N越大,则该透镜每个液体夹层的厚度的梯度分布越密集,差值越小,故而透镜的变焦过程精度越高,响应时间越短。但增加固液结构的个数,也意味着成本的增加与加工难度的提升。因此,可以根据应用需求,合理设置N的大小。考虑到本实例将该变焦透镜应用于AR眼镜,因此对变焦精度要求不高,故在此示例中设置N=5。
如图3的细节放大部分302所示,第一层液体夹层具有负屈光度,两侧面皆为凹面。第5层液体夹层具有正屈光度,两侧面皆为凸面。液体夹层的厚度从第一层到第N层以ΔD=0.1216为差值,成梯度分布。夹层厚度分布函数为:DN=D0+(n-1)·ΔD。第一层液体夹层厚度D0=0.3733mm。
继续参考图3的302,在具体实例中,金属电极14为一圈金属薄片,表面涂有一层7μm厚的Parylene-N作为绝缘层。
进一步地,金属电极14作为导电层,用于对液体夹层13施加电压。施加的电压由程序控制,程序利用了遗传优化算法,快速计算出各液体夹层所需施加的电压。。
遗传算法的目的在于通过改变液体夹层两端的电压大小,使得每一层液体的曲率半径发生改变,从而获得每层表面的焦距,以此得到最佳的液体表面曲率和液体厚度,从而得到尽可能小的像差评价值,从而反馈给处理器,以此得到应该施加在接触各层液体的电极之间的电压大小。
进一步地,遗传算法在本透镜优化过程中,具体的参数设定如下:种群大小n=50,最大代数t=1000,交叉率pc=1,变异率pm=0.1。
进一步地,采用十进制编码的策略,用随机数列w1w2…wn作为染色体,代表液体变焦透镜的每一个表面的焦距转化为遗传算法中的一个单元,在进行优化算法时,其中0≤wi≤1(i=2,3,…,n),w1=0,wn=1;每一个随机序列都和种群中的一个个体相对应,编码的位置与数字相对应。先利用经典的近似算法,对于透镜的目标焦面位置进行一个基础的估算,将所得到的焦距数值作为初始种群。直到产生n个可行解,并把这n个可行解转换成染色体编码。作为变焦透镜的每一个数值代入透镜像差评价函数计算结果。
具体地,透镜像差评价函数作为该遗传算法的适应度函数,
A1为透镜的球差,A2为透镜的彗差,A3为透镜的像散,A4为透镜的场曲,A5为透镜的畸变,A6为透镜的色差。
a、b、c、d、e、f分别为各项像差的权重系数。为各层液体透镜的像差权重系数,可以通过熵权法来评价各个像差对应的权重,得到a=0,b=0.05,c=0.1,d=0.4,e=0.2,f=0.3。
像差评价函数的数值越小,则表明该透镜的成像质量越好。当透镜可以准确清晰的成像在预定焦平面时,即可判定这时候的像差评价函数数值为终止数值。交叉操作采用单点交叉。
进一步地,液体透镜所对应的焦平面位置,就是在逐层显示时AR眼镜光源投影出的那一层像的位置。通过AR眼镜上的视觉传感器,得到实际物体的空间位置,通过AR眼镜以数据的形式发送到计算机。计算机通过遗传算法快速计算出,投影到该空间位置,液体变焦透镜需要变化的范围。计算机内存储预设值,预设值是在某个范围内液体透镜成像最清晰对应的每一表面的数据。当视觉传感器判断出所处的位置,计算机调整遗传算法的初始参数,以此来达到更快的计算出所对应焦平面的每一表面的参数设置。使AR眼镜当佩戴者观测位置发生变化时,能以最快的速度进行调整。所成像的位置与实际物体的空间位置保持一致。
进一步地,液体夹层厚度的改变是基于电润湿技术(EWOD)。由该原理可得,液滴夹角与施加电压的关系为θ为液滴夹角,θ0为液滴初始夹角,ε0是真空介电常数,ε是介质层的介电常数,U实时施加的电压,U0是施加的初始电压,d为介质层的厚度,σlv代表液体的界面张力。在计算机得到优化以后的液体变焦透镜表面数据以后,根据函数关系式对透镜数据进行处理,将透镜焦距数据转化为AR眼镜所需要的电压参数。经过处理后的电压信息通过通信模组直接发送到AR眼镜,AR眼镜只需要分配各个液体夹层所需要的电压,变焦透镜便可以进行快速变焦。
为了验证方案的可行性,利用CODEV对设计的多夹层变焦透镜进行了仿真与像差计算。图9为当N=5的参数设定下透镜的MTF曲线图,图10为透镜的像点图,图11为透镜的像差图。由仿真结果可以看出,该透镜的像差较小,具有较为良好的成像性能。
继续参考图3,储流层15位于透镜的上侧,用于储存从夹层中流出的液体,同时也可为其提供液体,便于液体夹层13的弹性变化。该储流层与各夹层由一个极细的通道17连接,以增加流体阻尼,提高变化的精度。增透膜16为一层位于第一层刚性透镜外层的三氧化二铝膜。
如图1所示,所述的适用于博物馆文物展览的增强现实系统的实现方法的流程包括:文物信息的获取S101;光电信号转化S102;屈光度矫正S103;信息传递S104;信息接收S105;全息三维显示系统的成像S109;音频信息的播放S111。
如图4所示,文物信息的获取S101过程包括:数字全息图的采集S401、建模修改处理S402、全息图预处理S403、虚拟视频的生成S406、计算全息图的生成S407、全息图的叠加S408、深度复用S409、全息图输出S410。
文物信息的获取S101获取到的信息包括三类:计算机全息图集合、文物尺寸信息、视频的音频信息。
考虑到光波对文物的物质结构有一定影响,这里选用半导体增强的近红外CCD,且选用的CCD对光照敏感度高,以实现低光照文物信息采集。此外,不同类型的文物对光的敏感程度不同,因此本实例对文物进行了分配,并规定了各种类别的CCD光源光照强度,结果如下表:
表1不同文物的CCD照度标准
步骤S401数字全息图的采集,使用采样间隔ΔCCD=3μm,采样点数为3000×3000的CCD光电器件体距离物体500mm,360°全方位地拍摄文物,记录文物各个角度的数字全息图。每张全息图的拍摄角度差为固定值,类似视频的一帧。角度差越小,则动态显示时画面的流畅度越高,但考虑到计算量不可过大,此处的Δθ=2°。
步骤S401采集的数字全息图将为两个集合,分别对应左右眼视角的不同全息图.如图5所示的示例中,左眼视场角度下观察到的画面为左像501,右眼视场角度下观察到的画面为右像502。左像501和右像502的角度是由人的正常双目立视分离角2θd决定的。由几何关系可以推导出:其中,S为观看者的双眼瞳距。若S=60mm,fb=250mm,2θd约为14.2°。
继续参考图5,在计算机中将左像501和右像502分别生成对应的左全息图503和右全息图504,由图1所示的S104中信息传递模块分别输入到AR眼镜的左侧506和右侧505的全息显示模块的空间光调制器206中。左全息图503和右全息图504所成的像面汇聚在同一位置得到左右像重合的像507。由此获得了移动视差,增强了成像的立体感、真实感。
继续参考图4,经步骤S401数字全息图的采集以后,为了更深入地展示文物的细节,对部分文物可以进行步骤S402建模修改处理,即使用建模软件如3D MAX等对记录的文物图像进行修改,例如,对文物进行模拟拆分,将文物内部的结构展示给参观者;将复杂的文物结构拆分成简单的组件,便于参观者了解其原理与细节等。
继续参考图4,步骤S403图像预处理包括两个部分:高通滤波和采样率匹配。先经过步骤S404高通滤波,利用高通滤波传递函数,滤除全息图在低频段的零级项,提高其衍射效率。处理后的全息图的空间域函数为频域函数的傅里叶变换,可表示为:
H'(x,y)=F{F(fx,fy)·H(fx-fx',fy-fy')}-1,其中,x、y为空间坐标,fx、fy为频域坐标,其中H(fx,fy)为高通滤波器传递函数,F(fx,fy)为全息图频谱信息。滤波处理后的全息图再进行步骤S405采样率匹配,改变数字全息图的采样率,使其匹配空间光调制器的采样频率,得到空间频域函数H”(fx,fy)。
继续参考图4,为了更详细地介绍文物的意义与历史,步骤S406虚拟视频制作,利用计算机视频软件生成一段虚拟动画,用以介绍文物的历史背景,动画的制作形式多样。例如,以文物所属者自述的形式介绍文物,或重现发生在文物上的历史故事等。如图6所示,以地震仪为例,地震仪采集到的图像601,被分解成外观图像603和内部构造图602,分布于画面左半平面的上下侧,右侧604为由计算机生成地震仪发明者张衡的虚拟影像,以发明者的口吻自述地震仪的原理与结构。最后,将生成的虚拟视频导出为计算全息图集合605。进一步地,通过步骤S406计算全息图的生成,将生成的视频每帧生成对应的计算全息图605。
进一步地,通过步骤S408全息图的叠加,将步骤S403预处理后的数字全息图与步骤S407生成的计算全息图叠加并归一化处理,得到融合的全息图:HG=G{(H”(x,y)+Hcomputer(x,y))},其中,H”(x,y)为数字全息图的空间域函数,Hcomputer(x,y)为计算全息图的空间域函数,G为归一化函数。。
S409深度复用是实现彩色三维全息显示的关键步骤,也可根据实际条件选用其他彩色全息的实现方式,如时分复用、空间复用等。考虑到AR眼镜有轻便、小体积化的要求,采用深度复用的原理,仅需一个空间光调制器即可实现彩色全息显示,使得图2所示的全息显示模块更加紧凑化。
步骤S409首先获得图像的红、绿、蓝的三种图像分量,在特定的距离进行同轴菲涅尔衍射传播,然后在全息面叠加生成一张位相全息图。如图7所示,RGB光源701、702、703即图2所示的示例中201、202、203;空间光调制器704,即图2中的206;变焦透镜605,即图2中的208;变焦透镜606,即图2中的209;常规的深度复用虽然降低了系统的复杂度和成本,但同时也失去了视差效应和三维深度。
在仅使用单个变焦透镜的情况下,如若仅存在变焦透镜705的情况下,则成像情况为图中P1部分。经过步骤S409深度复用,RGB三种颜色光源701、702、703,通过空间光调制器704,每种颜色分量将在不同位置多平面成像。三种颜色分量的相平面间距ΔS相等,ΔS=1.3mm。此时,只有三种颜色平面重叠位置S1才能形成彩色图像。而本发明中,图3所示示例中的第一多夹层变焦208、209所组成双变焦透镜结构,利用使208与209的焦距差Δf12等于ΔS,充分利用了各个颜色分量的多个平面。通过两个透镜的颜色分量的叠加,在S1、S2、S3……处实现了连续显示707、708、709……彩色二维平面集合。
继续参考图4,最后通过步骤S410全息图输出,将提前生成好的全息图集合由计算机连续地输送给图2示例中所示的空间光调制器206,实现彩色动态的三维显示。
继续参考图1,所述信息传递模块S104包括:AR眼镜进入光照范围S104a1、LiFi传递信息S104a2。
图8(a)示出了步骤S104a2的具体过程,将图4步骤S409生成最终的计算全息图由计算机804a编码调制,形成一系列数字信号805a,使其可以搭载光束进行传递。以LiFi作为信息传递的方式,LiFi的信号传递是以LED为载体,在不影响博物馆正常照明且满足文物保护的前提下,需要给博物馆不同展区的LED装上特制的LiFi芯片,该芯片可以达到每秒数百万次的闪烁,由于频率过快,人眼无法察觉到,因此不会影响人的正常观看体验。
进一步地,将数字信号集合805a载频到LED灯具803a上,利用LED发出快速的光脉冲无线传输信息。AR眼镜搭载可见光无线通信技术模组806a,LED灯具发出快速的光脉冲将形成与数字信号805a一致的数字信号802a。
由于博物馆照明设备的照度限制,在考虑到节能环保和信息传输的准确快速的前提下,AR眼镜上搭载高灵敏度光敏传感器,接收光信号。AR眼镜中可见光无线通信技术模组806a将所需要的信息通过调制器进行调制后,经过一些列的处理,转化为AR眼镜在该区域内需要接收到的信息。进一步地,配合AR眼镜上的蓝牙模组801a,传输视觉信息,以及空间信息。
图1所述信息传递模块S104实现的一种方案包括:AR眼镜进入接收区S104b1,WiFi传递信息S104b2。
图8(b)示出了步骤S104b2的具体过程,AR眼镜通过802b中内置的WiFi模组与博物馆内的局域网络相连接,进行信号的传递,通过连接网络的方式,可以将计算机803b处理过的全息图以数据的形式发送到AR眼镜,眼镜只需要将数据解析,输出到图2的全息显示模块的空间光调制器206,即可完成成像工作。与此同时,眼镜的802b中的视觉传感器,识别使用者所看到的画面801b,利用WiFi信号将采集到的画面以数据的形式传递给计算机,通过计算机的算法优化后,调节液体透镜的焦距以及调整发送到AR眼镜的全息图信号。在佩戴浏览时视觉传感器通过捕捉佩戴者的手势,可以进行一些简单的调整,调节眼镜的音量以及画面亮度。AR眼镜的802b还带有蓝牙模块,可以通过蓝牙与佩戴者的手机相连,通过蓝牙来调整可以通过蓝牙来调节眼镜的音量,亮度等参数。
由图1所示的信息传递模块S104传输的信息集合被AR眼镜中左右两侧的接收器接收S105。由信息传递模块S104传输的计算机全息图信息将以30HZ的频率刷新输入到图2所示的全息三维显示模块的空间光调制器206中,以实现动态的显示效果。通过多夹层柔性变焦透镜的电压分配S106,由信息传递模块传输的文物尺寸信息作为遗传算法的变量初始值,接着通过遗传算法的优化S107来控制夹层分配的电压S108,使图2所示的全息三维显示模块中的双变焦透镜结构208、209实现连续变焦。
如图2所示,全息三维显示系统成像的光路如下:
在具体实例中,选用波长为532nm的微型Nd:YAG激光器201(绿色)、633nm的微型氦氖(He-Ne)激光器202(红色)和491nm的微型二极管抽运固态激光器203(蓝色)作为光源,分别位于合色棱镜204的上、左、右侧面。入射光源同时出射,三种颜色的激光束进入合色棱镜204,由合色棱镜204将其混合,形成出射光。进一步地,光束进入空间滤波扩束器205,对其进行滤波扩束,进入到空间光调制器206。
在具体实例中,空间光调制器206为LCOS液晶空间光调制器,也可根据具体情况选用DMD等。此时,空间光调制器206实时接收由图3中步骤S310连续输出的彩色计算全息图。考虑到人眼的识别极限是24帧每秒,当空间光调制器206以30HZ的频率刷新时,便可形成动态视频的显示效果。
进一步地,空间管调制器206将信息加载到光束上以后,光束进入分光镜207。分光镜207将入射光束分成第一激光束和第二激光束。双变焦透镜结构由第一多夹层柔性变焦透镜208和第二多夹层柔性变焦透镜209组成,且两透镜并列排布。第一激光束进入第一多夹层柔性变焦透镜208,经其折射后进入透镜211。第二激光束进入第二多夹层柔性变焦透镜209,经其折射后进入透镜210。两束光经透镜210和211准直后汇聚于准直透镜212。准直透镜212将两束激光混合且准直后出射到半反半透镜213。半反半透镜将光束汇聚到像面,使像成于人眼217前侧某一焦距处。像平面集合的光线再从半反半透镜213透射,通过第三多夹层柔性变焦透镜216,使像清晰地成于人眼中。第三多夹层柔性变焦透镜216用于矫正屈光不正。
为保证成像更有真实性,焦深d由文物的实际大小决定。若文物的厚度为di,则d=di。假设显像设备的刷新频率为Ri,若有n个图像平面,AR显示系统以R HZ的频率运行,则对于单个变焦透镜:Ri=R×n。不同于使用单个变焦透镜,双变焦透镜结构的频率设置为:Ri=2×R×n。显像设备的刷新频率设置为60HZ,故第一多夹层柔性变焦透镜208与第二多夹层柔性变焦透镜209的刷新频率为设第一多夹层柔性变焦透镜208与第二多夹层柔性变焦透镜209焦距变化范围的间隔为Δf,则
继续参考图2,第一多夹层柔性变焦透镜208所成的像面位于二维全息图212,第二多夹层柔性变焦透镜209所成的像面所成的像面位于二维全息图213。与二维全息图212、二维全息图213类似的多个二维图像在以由图1所示实施例中步骤S103中佩戴者确认的最适焦距fb为中心,在其前后一定距离范围内交替成像,成像结果可以近似于在该段距离d连续成像,呈现三维立体效果。
音频信息的播放S11,虚拟视频对应的音频信息将传输到AR眼镜的连接的耳机设备S110,并实现声画同步播放。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。
Claims (2)
1.一种应用于文物展览的增强现实系统,其特征在于,包括:计算机全息图模块;信息传递模块;全息三维显示模块;
所述计算机全息图模块,利用激光光源对文物进行全息的波前记录生成数字全息图,并在计算机中将对应的虚拟视频每帧生成相应的计算全息图,将处理后的数字全息图与计算全息图叠加,得到融合的最终计算全息图;
所述的计算机全息图模块包括:CCD耦合器件、计算机;
CCD耦合器件,选用半导体增强的近红外CCD,且对光照敏感度高;
计算机,用于存储CCD采集的文物信息,并使用建模软件记录的文物图像进行修改,生成虚拟视频,计算全息图预处理,对图像的颜色分量深度复用,将生成的最终计算全息图通过信息传递模块传输到全息三维显示模块的空间光调制器中;
所述信息传递模块,将提前生成的各个文物的最终计算全息图与视频的音频信息等实时地传输到全息三维显示模块中,由全息三维显示模块接收且动态输出,实现声画同步结合;
所述信息传递模块包括:LED灯具、LiFi芯片、可见光无线通信技术模组、光敏传感器、蓝牙模组或者WiFi模组、视觉传感器;所述LED灯具装有特制的LiFi芯片,可见光无线通信技术模组置于AR眼镜内部,处理和转换LED发出快速的光脉冲信息;所述光敏传感器置于AR眼镜内部,接收LiFi信号,所述LiFi信号携带计算机全息图信息;
所述WiFi模组与博物馆内的局域网络相连接,以传输计算机全息图信息;
所述视觉传感器,采集使用者所看到的画面;
所述蓝牙模组与佩戴者手机连接,传输视觉信息以及空间信息;
所述全息三维显示模块,通过可变焦透镜将空间光调制器输出的全息二维图像呈现在不同焦深的各个平面位置处,在空间中形成具有一定深度的三维立体图像,最后被人眼捕捉,达到增强现实的展示效果;
所述全息三维显示模块包括:合色棱镜、空间滤波扩束器、空间光调制器、分光镜、双变焦透镜结构、准直透镜、第三多夹层柔性变焦透镜、半反半透镜;
所述合色棱镜:将位于合色棱镜三个侧面的同时入射的三种不同颜色的光混合为一束,形成入射光;
所述空间滤波扩束器:用于对入射光进行滤波扩束;
所述空间光调制器:对接收的扩束光进行调制,实时输出各个文物的不同RGB图像分量的动态全息图像;
所述分光镜:将来自空间光调制器的入射光束分成第一激光束和第二激光束;
所述双变焦透镜结构:包括第一多夹层柔性变焦透镜和第二多夹层柔性变焦透镜,且两透镜并列排布;第一多夹层柔性变焦透镜接收由分光镜产生的第一激光束,第二多夹层柔性变焦透镜接收由分光镜产生的第二激光束;
所述准直透镜:混合第一多夹层柔性变焦透镜和第二多夹层柔性变焦透镜的光束且将光束准直输出;
所述第三多夹层柔性变焦透镜:位于人眼侧,用于矫正由人眼的个体差异性引起的屈光度差异,使所成的彩色三维图像正确地显示到人眼的视网膜位置;
所述半反半透镜:用于混合光束,使像成于人眼前方;
所述第一多夹层柔性变焦透镜、第二多夹层柔性变焦透镜、第三多夹层柔性变焦透镜均包括:外支撑环、若干刚性透镜、液体夹层、金属电极、储流层、增透膜;所述刚性透镜和液体夹层交替设置组成固液结构,位于外支撑环的内部,且与外支撑环的相对位置固定,所述金属电极位于固液结构的两端,用于给固液结构施加电压,所述储流层位于刚性透镜的一侧,用于储存或提供液体,使得液体夹层的弹性变化,所述增透膜位于刚性透镜的入射层;
在第一多夹层柔性变焦透镜和第二多夹层柔性变焦透镜后面的光路中均设置一个光学透镜,该光学透镜能够使第一多夹层柔性变焦透镜和第二多夹层柔性变焦透镜出射的光束汇聚到准直透镜处;
第一多夹层柔性变焦透镜、第二多夹层柔性变焦透镜所成的像面以佩戴者确认的最适焦距fb为中心,在其前后一定距离范围内交替成像,成像结果可以近似于在焦距中心前后一段距离d连续成像,呈现三维立体效果。
2.一种如权利要求1所述的应用于文物展览的增强现实系统的控制方法,其特征在于,包括:
1.获取文物信息:
获取文物信息包括:数字全息图的采集、数字全息图预处理、虚拟视频的生成、计算全息图的生成、全息图的叠加、深度复用、全息图输出;
获取到的信息包括三类:计算机全息图集合、文物尺寸信息、视频的音频信息,为了达到动态显示的效果,使用CCD 360°全方位的拍摄文物,采集文物的数字全息图,每张全息图的拍摄角度差为固定值,类似视频的一帧,同时,获取并保存文物的尺寸信息;采集的数字全息图将为两个集合,分别对应左、右眼视角的不同全息图;
数字全息图预处理,包括两个部分:高通滤波、改变采样率;高通滤波是利用高通滤波传递函数,滤除全息图在低频段的零级项,提高其衍射效率,处理后的全息图的空间域函数为:H'(x,y)=F{F(fx,fy)·H(fx-fx',fy-fy')}-1,其中H(·)为高通滤波器传递函数,F(fx,fy)为全息图频谱信息,改变采样率是改变数字全息图的采样率,使其匹配空间光调制器的采样频率;
同时,利用计算机生成一段虚拟动画,并保存相应的音频信息,用以介绍文物的历史背景,虚拟动画制作完成后,将生成的视频每帧生成对应的计算全息图;
将预处理后的数字全息图与计算全息图叠加并归一化处理,得到融合的全息图:HG=G{(H”(x,y)+Hcomputer(x,y))},G为归一化函数;
为了实现彩色显示,对融合的全息图采用深度复用处理,即获得图像的红、绿、蓝的三种图像分量,在特定的距离进行同轴菲涅尔衍射传播,然后在全息面叠加生成一张位相全息图,经过深度复用,每种颜色分量将在不同位置多平面成像,三种颜色叠加处将显示彩色图像,最后将生成好的彩色全息图集合由计算机连续地输出;
2.光电信号转化:
计算机全息图集合、文物尺寸信息、音频信息由计算机处理后,为电信号,若采用LiFi进行信息传递,则需要将电信号转换为光信号,把信息存储到光束中;若采用WiFi进行信息传递,则无需进行光电信号转化,直接利用无线网络传输到AR眼镜的接收器;
3.屈光度矫正:
在增强现实系统成像之前,首先要进行屈光度矫正,由全息三维显示模块位于人眼前侧的第三多夹层柔性变焦透镜实现,在矫正过程中,全息三维显示模块中的空间光调制器将接收一个示例图像,且双变焦透镜结构不运行,即不改变焦距,故示例图像成一个二维平面图像,第三多夹层柔性变焦透镜焦距在[-20,20]区间内从初始值0cm进行快速增大或减小变化,当佩戴者可以看见图像大致轮廓时,再进行缓慢的增大或减小变化,当佩戴者可以看见清晰的图像时,固定第三多夹层柔性变焦透镜的焦距,完成屈光度的矫正;
4.信息传递:
以LiFi作为信息传递的方式时,计算机全息图集合、文物尺寸信息、音频信息经过光电信号转化后,由计算机编码调制,形成一系列数字信号,使其可以搭载光束进行传递,LiFi的信号传递是以LED为载体,将数字信号集合载频到LED灯具上,利用LED发出快速的光脉冲无线传输信息;
AR眼镜上搭载高灵敏度光敏传感器,当AR眼镜进入光照范围,即可接收光信号,AR眼镜中可见光无线通信技术模组将所需要的信息通过调制器进行调制后,经过一系列的处理,转化为AR眼镜需要接收到的信息;
以WiFi传递信息时,AR眼镜通过内置的WiFi模组与博物馆内的局域网络相连接,进行信息的传递,将计算机处理过的全息图发送到AR眼镜;
5.信息接收:
传输的信息被AR眼镜中左右两侧的接收器接收,传输的计算机全息图信息将以30Hz的频率刷新输入到空间光调制器,以实现动态的显示效果,在此过程总,实时控制液体夹层分配的电压,使全息三维显示模块中的双变焦透镜结构实现连续变焦;
6.全息三维显示成像:
选用波长为532nm的微型Nd:YAG激光器(绿色)、633nm的微型氦氖(He-Ne)激光器(红色)和491nm的微型二极管抽运固态激光器(蓝色)作为光源,分别位于合色棱镜的上、左、右侧面,入射光源同时出射,三种颜色的激光束进入合色棱镜,由合色棱镜将其混合,形成出射光,光束进入空间滤波扩束器,对其进行滤波扩束,进入到空间光调制器;
与此同时,空间光调制器实时接收连续输出的彩色计算全息图,空间光调制器以30HZ的频率刷新,将信息加载到光束上,光束进入分光镜,分光镜将入射光束分成第一激光束和第二激光束;
第一激光束进入第一多夹层柔性变焦透镜,经其折射后进入透镜;第二激光束进入第二多夹层柔性变焦透镜,经其折射后进入透镜;两束光经透镜后汇聚于准直透镜,准直透镜将两束激光混合且准直后出射到半反半透镜,半反半透镜将光束汇聚到像面,使像成于人眼前侧某一焦距处,像平面集合的光线再从半反半透镜透射,通过第三多夹层柔性变焦透镜矫正,实现人眼中的清晰成像;
第一多夹层柔性变焦透镜、第二多夹层柔性变焦透镜所成的像面以佩戴者确认的最适焦距fb为中心,在其前后一定距离范围内交替成像,成像结果可以近似于在焦距中心前后一段距离d连续成像,呈现三维立体效果;
7.同步播放音频信息:
虚拟视频对应的音频信息传输到AR眼镜连接的音频播放设备,实现声画同步播放。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210403195.9A CN114924336B (zh) | 2022-04-18 | 2022-04-18 | 一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示系统、增强现实系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210403195.9A CN114924336B (zh) | 2022-04-18 | 2022-04-18 | 一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示系统、增强现实系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114924336A CN114924336A (zh) | 2022-08-19 |
CN114924336B true CN114924336B (zh) | 2024-07-12 |
Family
ID=82807158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210403195.9A Active CN114924336B (zh) | 2022-04-18 | 2022-04-18 | 一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示系统、增强现实系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114924336B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106773585A (zh) * | 2017-02-10 | 2017-05-31 | 深圳大学 | 基于电控变焦透镜的透射式数字全息显微成像装置 |
CN106990459A (zh) * | 2017-05-09 | 2017-07-28 | 宁波大学 | 一种具有多层结构的柔性可调透镜及变倍光学系统 |
CN107015655A (zh) * | 2017-04-11 | 2017-08-04 | 苏州和云观博数字科技有限公司 | 博物馆虚拟场景ar体验眼镜装置及其实现方法 |
CN110806610A (zh) * | 2019-11-19 | 2020-02-18 | 宁波大学 | 一种像差校正变焦透镜 |
CN112596242A (zh) * | 2020-12-22 | 2021-04-02 | 上海趣立信息科技有限公司 | 基于空间光调制器时分复用的彩色全息近眼显示方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11106038B2 (en) * | 2017-04-06 | 2021-08-31 | Konstantin Roggatz | Augmented reality (AR) glasses and method for mixing virtual images into an image visible to a wearer of the glasses through at least one glasses lens |
CN107248335A (zh) * | 2017-07-26 | 2017-10-13 | 苏州和云观博数字科技有限公司 | 博物馆ar文创装置及其实现方法 |
CN112882228A (zh) * | 2019-11-29 | 2021-06-01 | 北京航空航天大学 | 基于白光照明的彩色全息近眼ar显示系统和彩色全息图计算方法 |
CN111025627A (zh) * | 2020-01-10 | 2020-04-17 | 太原理工大学 | 一种基于pdms薄膜的全固态可变焦静电驱动式微透镜 |
CN113885209B (zh) * | 2021-11-04 | 2023-08-29 | 深圳珑璟光电科技有限公司 | 一种全息ar三维显示方法及模组、近眼显示系统 |
-
2022
- 2022-04-18 CN CN202210403195.9A patent/CN114924336B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106773585A (zh) * | 2017-02-10 | 2017-05-31 | 深圳大学 | 基于电控变焦透镜的透射式数字全息显微成像装置 |
CN107015655A (zh) * | 2017-04-11 | 2017-08-04 | 苏州和云观博数字科技有限公司 | 博物馆虚拟场景ar体验眼镜装置及其实现方法 |
CN106990459A (zh) * | 2017-05-09 | 2017-07-28 | 宁波大学 | 一种具有多层结构的柔性可调透镜及变倍光学系统 |
CN110806610A (zh) * | 2019-11-19 | 2020-02-18 | 宁波大学 | 一种像差校正变焦透镜 |
CN112596242A (zh) * | 2020-12-22 | 2021-04-02 | 上海趣立信息科技有限公司 | 基于空间光调制器时分复用的彩色全息近眼显示方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114924336A (zh) | 2022-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11700364B2 (en) | Light field display | |
US11350079B2 (en) | Wearable 3D augmented reality display | |
CN111869204B (zh) | 为基于积分成像的光场显示来渲染光场图像的方法 | |
CN105492957B (zh) | 采用成对眼镜形式的图像显示设备 | |
US11977229B2 (en) | Multi-focal plane display system and device | |
US10429648B2 (en) | Augmented reality head worn device | |
CN104704821A (zh) | 扫描双向光场相机和显示器 | |
CN108107579A (zh) | 一种基于空间光调制器的全息光场大视域大出瞳的近眼显示系统 | |
CN107894666A (zh) | 一种头戴式多深度立体图像显示系统及显示方法 | |
JPH11513129A (ja) | 3次元画像形成システム | |
CN110678799A (zh) | 具有集成成像和中继光学器件的头戴式光场显示器 | |
US20230045982A1 (en) | Shuttered Light Field Display | |
CN114924336B (zh) | 一种应用于文物展览的多夹层柔性变焦透镜、全息三维显示系统、增强现实系统及方法 | |
Zhang et al. | Design and implementation of an optical see-through near-eye display combining Maxwellian-view and light-field methods | |
CN208547775U (zh) | 用于实现三维图像近眼显示的装置 | |
CN108227226B (zh) | 3d显示装置及3d显示方法 | |
Akşit | Next Generation 3D Display Applications using Laser Scanning Pico Projectors | |
CN110531524A (zh) | 用于实现三维图像近眼显示的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |