CN114511687A - 一种虚拟空间与现实空间的融合方法、系统、电子设备和可读存储介质 - Google Patents
一种虚拟空间与现实空间的融合方法、系统、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN114511687A CN114511687A CN202210140507.1A CN202210140507A CN114511687A CN 114511687 A CN114511687 A CN 114511687A CN 202210140507 A CN202210140507 A CN 202210140507A CN 114511687 A CN114511687 A CN 114511687A
- Authority
- CN
- China
- Prior art keywords
- information
- real
- time
- service area
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000007500 overflow downdraw method Methods 0.000 title claims description 28
- 238000009826 distribution Methods 0.000 claims abstract description 12
- 239000000463 material Substances 0.000 claims description 150
- 230000004927 fusion Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 abstract description 23
- 230000000694 effects Effects 0.000 abstract description 11
- 238000013461 design Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000009432 framing Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004873 anchoring Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 241000533950 Leucojum Species 0.000 description 1
- 241000510091 Quadrula quadrula Species 0.000 description 1
- 239000005441 aurora Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种虚拟空间与现实空间的融合方法、系统、电子设备和可读存储介质,该方法包括以下步骤:读取服务区信息,其中,服务区信息包括服务区的位置分布信息和区域范围信息;获取实时定位信息,并基于实时定位信息和服务区信息判断当前所处的服务区;获取当前所处的服务区对应的虚拟空间的平行空间目录信息,并基于虚拟空间平行空间目录信息输出相应的选择提示信息;获取用户选择信息,并基于用户选择信息读取相应的子空间内容信息;获取实时现场图像信息,并基于子空间内容信息将虚拟空间图像叠加在实时现场图像上;输出叠加图像信息并生成实时显示画面本申请具有能够让不同虚拟空间的内容与现实空间相结合的效果。
Description
技术领域
本申请涉及显示领域,尤其是涉及一种虚拟空间与现实空间的融合方法、系统、电子设备和可读存储介质。
背景技术
增强现实(Augmented Reality,简称AR),是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等,主要是视觉),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。
目前,传统AR/VR大多属于碎片化体验,通常采用对现场实时图像直接叠加素材图像的方式来实现。一方面,不同的用户群体,在同一场景中会产生有不同的体验需求,比如,对于同一场景的游客与居民,AR灯光秀是用于对游客进行投放,而本地商业广告是用于对居民进行投放;另一方面,同一用户群体在不同的场景中也会产生相同的体验需求,比如,在圣诞节等节日时,不同地区的用户均具有相同的节日相关体验需求。现有技术难以同时满足这两方面的需求。
相关技术一中,增强现实技术与图像识别技术相结合,这种方法通常需要终端设备对获取到的图像先进行建模,再将3D模型与之结合。由于该种技术基于终端对实时图像进行处理,产生的运算量数据量大,即具有一定的延迟性,也难以与其它设备进行数据实时共享。
相关技术二中,增强现实技术与视觉系统关联使用,通过设备获取图像并将编辑好的2D模型作为贴图显示在AR显示设备上,以与现实场景相结合。但是这种叠加是基于用户自主选择,具有随意性,无法得到素材与场景的相对位置信息,因此无法实现共享,因此同一用户群体在同一场景也无法得到相同的消费体验。
发明内容
为了能够让不同虚拟空间的内容与现实空间相结合,本申请提供一种虚拟空间与现实空间的融合方法。
第一方面,本申请提供的一种虚拟空间与现实空间的融合方法,采用如下的技术方案:
一种虚拟空间与现实空间的融合方法,包括以下步骤:
读取服务区信息,其中,服务区信息包括服务区的位置分布信息和区域范围信息;
获取实时定位信息,并基于实时定位信息和服务区信息判断当前所处的服务区;
获取当前所处的服务区对应的虚拟空间的平行空间目录信息,并基于平行空间目录信息输出相应的选择提示信息;其中,虚拟空间内包含有多重平行空间,平行空间内包含多个一一对应于服务区的子空间;
获取用户选择信息,并基于用户选择信息读取相应的子空间内容信息;
获取实时现场图像信息,并基于子空间内容信息将虚拟空间图像叠加在实时现场图像上;
输出叠加图像信息并生成实时显示画面。
通过采用上述技术方案,服务区为在现实空间中预先设定好的区域,相当于现实空间进入到虚拟空间中的传送门。由于服务区有一个或多个,且不同服务区的范围能够有所不同,因此终端设备对服务区信息获取和解析,以得到各个服务区的位置分布信息和区域范围信息。终端通过进行实时定位,确定所处的服务区。由于虚拟空间中具有一个或多个互不干涉的平行空间,服务区需要确定需要连接到现实空间的平行空间。因此,终端基于所处的服务区获取到对应的平行空间目录信息,该目录信息下包含有该服务区对应的平行空间目录。终端基于平行空间目录信息,将不同的平行空间分别示意以供用户选择,以决定需要展示的子空间和需要调用的子空间内容信息。用户选择信息对应于用户所选择的平行空间,终端在接收到用户选择信息后,则从数据库中读取相应的子空间内容信息,并叠加在实时现场图像信息,从而实现虚拟空间与现实空间相融合。最后将融合产生的叠加图像输出并显示在终端上,以形成实时显示画面,用户可以基于该显示画面进行拍照或摄像。
可选的,所述的读取服务区信息的步骤,包括:
解析资源包,其中,资源包为预下载所得,包含有服务区信息、平行空间目录信息和子空间内容信息。
可选的,在解析资源包的步骤前还包括以下步骤:
实时或定时向服务器发送更新请求,检查对应于所处区域的资源包是否已下载,若否则向服务器发送下载请求;若是则检查资源包是否为最新版本。
可选的,所述的读取服务区信息的步骤,包括:
实时向服务器请求并下载服务区信息、平行空间目录信息和子空间内容信息。
可选的,所述的实时向服务器请求并下载的服务区信息、平行空间目录信息和子空间内容信息为最新信息。
可选的,所述的获取服务区信息的步骤,和所述的获取实时定位信息,并基于实时定位信息和服务区信息判断当前所处的服务区的步骤之间,还包括以下步骤:
生成服务区指示地图并实时更新实时位置标识点。
可选的,所述的生成服务区指示地图并实时更新实时位置标识点的步骤,包括:
加载地图原始信息,并基于服务区信息在地图原始信息上生成服务区标识信息;
输出地图叠加信息并生成地图画面,其中,服务区的位置和范围基于服务区标识显示于地图画面;
获取实时定位信息,并基于实时定位信息在地图画面上生成实时位置标识点。
通过采用上述技术方案,用户在服务区外时,终端加载地图原始信息,并将服务区标识在地图上的对应位置,再将地图和标记作为底图叠加信息,在终端上生成地图画面。实时位置标识点用于标识终端在地图画面上的实时位置,以用于指引用户前往服务区。
可选的,所述的获取实时定位信息,并基于实时定位信息和服务区信息判断当前所处的服务区的步骤,包括:
获取实时的卫星定位坐标信息,并基于卫星定位坐标点与各服务区中心坐标点的距离差与预设半径的相关关系判断所处服务区;其中,服务区中心坐标为服务区的圆心坐标,预设半径为服务区的半径长度。
可选的,所述的基于平行空间目录信息输出相应的选择提示信息的步骤,包括:
生成操作按钮于显示界面,其中,各个操作按钮与各个平行空间一一对应;
生成示意标识于操作按钮上,以向外输出选择提示信息。
可选的,所述的基于子空间内容信息将虚拟空间图像叠加在实时现场图像上的步骤,包括:
确定素材的初始预设的位置信息;
基于定位信息调整素材各点在子空间中的位置信息,并加载素材至子空间的相应位置;
将素材图像叠加在实时现场图像信息上,其中,虚拟空间成像各点位置与实时现场成像的各点位置具有一一对应关系。
可选的,所述的确定素材的初始预设的位置信息的步骤,包括:
基于子空间内容信息确定底图基准面,其中,各个子空间中均设置有底图基准面,底图基准面上的点位对应有用于放置素材的编辑操作区,工作基准面为该服务区所对应的底图基准面。
可选的,所述的基于定位信息调整素材各点在子空间中的位置信息,并加载素材至子空间的步骤,包括:
基于定位信息确定工作基准面的展示朝向以确定展示面;
获取实时现场图像信息,并将工作基准面与实时现场图像信息相匹配;
加载素材于编辑操作区,并基于预设要求调整素材。
可选的,所述的将素材图像叠加在实时现场图像信息上的步骤,包括:
将可视操作区的展示面内容作为输出图像信息叠加在实时现场图像信息上,其中,可视操作区为实时现场图像所对应的工作基准面部分的编辑操作区。
可选的,所述的基于定位信息确定工作基准面的展示朝向的步骤包括:
基于基准朝向信息和实时朝向信息的相对关系调整工作基准面的展示朝向;其中,基准朝向信息为服务区中心坐标点对于虚拟坐标点的朝向信息,实时朝向信息为终端位置坐标点对于虚拟坐标点的朝向信息,虚拟坐标点为建立底图基准面的参考点。
通过采用上述技术方案,由于服务区具有一定的面积,在同一服务区中的不同位置观看到的远景素材播放画面会有一定的区别,该区别在越靠近底图基准面的中部却别越小,越远离底图基准面的中部则越大。为了补偿该视觉区别,可以基于基准朝向信息和实时朝向信息的相对关系对展示朝向进行一定的适应性调整。
可选的,所述的基于基准朝向信息和实时朝向信息的相对关系调整工作基准面的展示朝向的步骤,包括:
获取所处服务区内的模拟定位点信息,其中,各服务区内均分布有多个所述模拟定位点;
获取与卫星定位坐标点最近的模拟定位点,并作为终端位置坐标点;
读取对应于终端位置坐标点的预设朝向信息以确定工作基准面的展示朝向,其中,预设朝向信息为底图基准面对于虚拟坐标点的朝向的预设定信息。
通过采用上述技术方案,卫星定位的灵敏度高,在遇到干扰时容易在小范围发生移动,当用户位置发生漂移,实际上还是模拟定位点附近移动,因此模拟定位点相当于起到锚定的作用,模拟定位点附近的小范围区域均采用模拟定位点对应的预设朝向。由于预设朝向对应的展示朝向预先被设定好,无须后台再次计算和对工作基准面进行调整,因此具有节约算力和反应速度快的优点。
可选的,所述的基于基准朝向信息和实时朝向信息的相对关系调整工作基准面的展示朝向的步骤,包括:
获取实时陀螺仪信息,并基于实时陀螺仪信息判断设备进入或退出举起状态;
获取设备进入举起状态瞬间对应的卫星定位坐标点并锁定为终端位置坐标点;
计算实时朝向与基准朝向的夹角,并基于该夹角调整工作基准面的展示朝向。
可选的,所述的基于基准朝向信息和实时朝向信息的相对关系调整工作基准面的展示朝向的步骤,还包括:
在设备退出举起状态时解除对终端位置坐标点的锁定。
为了保证拍照或观看效果,用户在举起手机拍摄时的用户行为通常为停止不动或小幅度移动调整,因此,通过采用上述技术方案,在检测到设备举起时,对卫星定位坐标点进行锁定,避免小幅度移动时工作基准面的展示朝向发生适应性调整所产生的素材位置跳动。当用户准备调整位置时,对应的用户行为通常为放下设备,因此,当设备退出举起状态时,对终端位置坐标点的锁定,以便于获取下一次举起动作对应的实时卫星定位坐标。
可选的,所述的基于基准朝向信息和实时朝向信息的相对关系调整工作基准面的展示朝向的步骤,还包括:
计算实时的卫星定位坐标和终端位置坐标点的距离差值作为实时漂移距离;
基于实时漂移距离与预设漂移误差距离的相对大小更新终端位置坐标点,其中,终端位置坐标点的更新值为实时漂移距离超过预设漂移误差时对应的卫星定位坐标。
通过采用上述技术方案,卫星定位的灵敏度高,在遇到干扰时容易在小范围发生移动,通过漂移范围的设定,使得误差范围内终端位置坐标点能够持续锁定在同一点处,大大减小定位漂移对展示朝向选取的影响。另一方面,事实上,设备的微小位移所产生的远景视觉效果变化也很细微,因此该方案能够大幅提高用户使用体验。
可选的,所述的加载素材于编辑操作区,并基于预设要求调整素材的步骤包括:
获取工作基准面上编辑操作区对应的素材参数信息,并基于素材参数信息在编辑操作区加载素材文件信息,其中,素材参数信息用于实现预设要求,包括素材摆放位置、素材摆放朝向和/或素材比例信息;
基于素材参数信息调整素材在编辑操作区中的摆放角度、颜色和/或大小。
可选的,所述的加载素材于编辑操作区,并基于预设要求调整素材的步骤包括:
获取工作基准面上编辑操作区内素材对应的播放时序信息;
基于时序文件设定素材的播放时序。
通过采用上述技术方案,将加载素材到对应的编辑操作区上时,并将基于素材参数信息对素材进行拉伸、缩放、旋转和/或平移等编辑操作。
可选的,所述的获取实时现场图像信息,并将工作基准面与实时现场图像信息相匹配的步骤,包括:
获取实时现场图像信息和实时陀螺仪信息,其中,实时现场图像信息和实时陀螺仪信息相对应;
获取工作基准面对应的预设陀螺仪信息,基于预设陀螺仪信息和实时陀螺仪信息的相对关系实时转动工作基准面;
基于摄像模块参数控制工作基准面上编辑操作区内素材的缩放。
通过采用上述技术方案,底图基准面在设定之初是基于底图设定的,并记录有预设陀螺仪信息与之相对应,即底图基准面的姿态应于陀螺仪信息。而在拍摄时,设备俯仰角、左右朝向均有所区别,因此需要基于实时陀螺仪信息确定实时图像拍摄时的设备姿态,利用预设陀螺仪信息和实时陀螺仪信息的相对关系,即可以将工作基准面调整到与实时画面相适配的姿态。另外,由于不同设备的摄像模块参数不同,如广角等,基于摄像模块参数对素材进行缩放以使得不同摄像模块所获得的图像内容能够与素材位置相对应,确保不同设备上的素材播放画面与实时图像内容能够相对位。
第二方面,本申请提供的一种元宇宙虚拟空间与现实空间的融合系统,采用如下的技术方案:
一种元宇宙虚拟空间与现实空间的融合系统,包括:
一个或多个服务区,所述服务区设定于现实空间;
一个或多个平行空间,所述平行空间设置于虚拟空间中,各个平行空间内包括有设置于各个服务区附近的子空间,所述子空间的空间坐标与现实空间坐标一一对应,所述子空间内能够布置有素材;
融合装置,用于将服务区内现实空间和所择定的子空间在各空间坐标点处的场景同时映射为同一图像。
可选的,还包括定位装置,用于获取实时位置信息并基于实时位置信息定位所处服务区。
可选的,还包括触发装置,所述触发装置用于基于服务区定位信息提供平行空间目录信息,并获取相应的用户选择信息以择定相应虚拟空间对应的子空间。
可选的,同一虚拟空间内的各子空间的相同素材调用于同一素材信息文件。
第三方面,本申请提供的一种电子设备,采用如下的技术方案:
一种电子设备,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述的虚拟空间与现实空间的融合方法。
第四方面,本申请提供的一种计算机可读存储介质,采用如下的技术方案:
一种计算机可读存储介质,存储有能够被处理器加载并执行如上的上述方法的计算机程序。
所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的虚拟空间与现实空间的融合方法。
综上所述,本申请包括以下至少一种有益技术效果:
1、虚拟空间与现实空间通过特定的融合方法打破次元壁,使得用户能够以更低的成本获得更加的消费体验。同时,通过不同平行空间的划分,用户能够在不同的现实空间看到不同的虚拟效果,以满足不同人群的消费体验;
2、现实空间-服务区-虚拟空间连接形成空间互联网,随着服务区、平行空间和子空间在使用过程中数量不断地增加,内容不断地丰富和拓展,服务器体验感将会越好,提供给用户选择的应用体验方案也将越来越多;另外,该系统能够便捷地对展示内容进行修改,对场景和素材的要求小,具有很好的广泛的适应性和可拓展性;
3、由于虚拟空间通过服务区链接在现实场景中,在进行打卡拍摄时用户必须到现场服务区中,而无法通过在室内上网实现,因此该种设置有助于现场聚集人气,促进实体经济的发展,同时促进用户之间的互动关系,从而吸引流量;
4、本方案着重于虚拟空间内容制作,投入小,产出大,与实景建设的大投入形成鲜明的反差,具有良好的经济价值,对现有文旅项目很好的补充作用;
5、无需额外的实体设备进行支持,只需要借助现有的终端设备,如手机、AR眼镜等即可快捷进行实用,使更多的人能使用。同时,操作界面简单易用,用户指引完善,方便各种人群上手使用。
附图说明
图1用于示出本申请某一实施例中一种虚拟空间与现实空间的融合系统中各部分的关系图。
图2用于示出本申请某一实施例中一种虚拟空间与现实空间的融合方法的步骤。
图3用于示出本申请中S111在某一实施例中进行资源包更新的步骤。
图4用于示出本申请中S2在某一实施例中的子步骤。
图5用于示出本申请中S6在某一实施例中的子步骤。
图6用于示出本申请中S62在某一实施例中的子步骤。
图7用于示出本申请中S621在某一实施例中的子步骤。
图8用于示出本申请中S621在另一实施例中的子步骤。
图9用于示出本申请中S6215中用于判断漂移干扰和实际运动的区别的步骤。
图10用于示出本申请中S622在某一实施例中的子步骤。
图11用于示出本申请中S623在某一实施例中的子步骤。
附图标记说明:
1、平行空间;2、虚拟空间;3、服务区;4、子空间。
具体实施方式
以下结合附图,对本申请作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图2为某一个实施例中虚拟空间与现实空间的融合方法的流程示意图。应该理解的是,虽然图2-11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行;除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行;并且图2-11中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
另外,本实施例中各步骤的标号仅为方便说明,不代表对各步骤执行顺序的限定,在实际应用时,可以根据需要各步骤执行顺序进行调整,或同时进行,这些调整或者替换均属于本发明的保护范围。
在以下描述中,为了解释的目的,阐述了很多具体细节,以便提供对发明构思的彻底理解。作为本说明书的一部分,本公开的附图中的一些附图以框图形式表示结构和设备,以避免使所公开的原理复杂难懂。为了清晰起见,实际具体实施的并非所有特征都有必要进行描述。此外,本公开中所使用的语言已主要被选择用于可读性和指导性目的,并且可能没有被选择为划定或限定本发明的主题,从而诉诸于所必需的权利要求以确定此类发明主题。在本公开中对“一个具体实施”或“具体实施”的提及意指结合该具体实施所述的特定特征、结构或特性被包括在至少一个具体实施中,并且对“一个具体实施”或“具体实施”的多个提及不应被理解为必然地全部是指同一具体实施。
本申请实施例公开一种虚拟空间与现实空间的融合系统,参照图1,包括虚拟空间1和设置于现实空间中的服务区3。现实空间为客观物质运动的空间,是人类真实的生存环境。虚拟空间1则是计算机以数码的形式进行模拟和再现,所形成的用于容纳数字的文本、图形、图像和景观等的空间。而服务区3则是设置于现实空间中的一个区域,该区域作为一个用于融合现实空间和虚拟空间1内景象的通道,终端可以通过某种融合方法,来使得现实空间和虚拟空间1内的图像相互叠加,并在终端设备上形成相应的图像,以供使用者观看使用,比如进行拍照或进行视频录制。
服务区3的数量可以为一个或多个,终端设备在不同的服务区3中获取虚拟空间1和现实空间的融合图像将会有所不同,其相当于在不同的区域获得到了不同的景象。进一步的说,虚拟空间1包含有一个或多个平行空间2,不同的平行空间2之间的关系可以类比为不同的平行世界之间的关系,在数据层面上则相当于对应于不同的数据库,因此在本申请中,不同的平行空间2之间互不干扰,相对独立。进一步的,不同平行空间2可以分别对应于不同的主体内容,比如为内置广告主题素材的平行空间2,或为内置文旅主题素材的平行空间2。
每个平行空间2包含有一个或多个子空间4,不同的子空间4可以理解为平行空间2内的不同区域。一个平行空间2在各个服务区3处均有一个子空间4与之相对应,且该子空间4如现实空间一般,均以世界坐标系作为参考系,也就是说,子空间4内的空间坐标与现实空间坐标一一对应。每个子空间4内均对应设置有素材,且同一平行空间2内的各子空间4的相同素材均指向于同一调用地址,该调用地址对应于某一素材信息文件。也就是说,当该素材信息文件发生删除或替换时,该平行空间2内各个子空间4的对应素材也将会发生删除或替换。通过该种设置,能够同一平行空间2内不同子空间4的素材进行统一修改,有效降低运维成本。
具体的,素材的种类多样,即可以为激光秀、光影秀、投影秀、无人机表演、烟花秀等,以城市夜景灯光秀进行表现;也可以为星空图案、极光图案、雪花图案、流星图案、樱花图案、枫叶图案;也可以是商业发布、互动广告、个人创意展览、纪念、缅怀云扫墓,在城市空间营造出平时看不见的场景;又或者是对图案或元素的有机组合,以进行有意义地表达。
相邻的服务区3之间设置有空白缓冲区,设备终端在空白缓冲区处无法进入虚拟空间1,即无法访问子空间内容信息。具体的,在一些实施例中,设定服务区和空白缓冲区方法,包括以下步骤:
a.录入服务区中心坐标点,其中,服务区中心坐标点位于现实空间内。
b.设定与服务区中心坐标点相距预设半径以内的区域作为服务区。
c.设定服务区外的部分为空白缓冲区。
需要注意的是,本方案中服务区3的形状并不局限于圆形,但凡能够方便判断是否离开或进入服务区的服务区设计形状均可。
该融合系统还包括终端设备,用于执行虚拟空间和现实空间的融合方法以显示。在一些实施例中,终端设备包括有定位装置、触发装置和融合装置。定位装置用于获取实时位置信息并基于实时位置信息定位所处服务区;触发装置用于基于服务区定位信息提供平行空间目录信息,并获取相应的用户选择信息以择定相应平行空间对应的子空间;融合装置,用于将服务区内现实空间和所择定的子空间在各空间坐标点处的场景同时映射为同一图像。
通过定位装置,终端设备用于判断得出所处的服务区,并基于该服务区信息获取各个平行空间在该服务区对应的子空间信息,即平行空间目录信息。用户基于平行空间目录信息择定相应的平行空间时,即为向终端设备输入用户选择信息的过程。触发装置在得到用户选择信息后,即向融合装置发送信息以传达需要进行融合的子空间。融合装置在接收到该信息后,则将服务区内现实空间和所择定的子空间在各空间坐标点处的场景同时映射为同一图像。
本申请还公开上述的虚拟空间与现实空间的融合方法,参照图2,具体包括以下步骤:
S1.读取服务区信息,其中,服务区信息包括服务区的位置分布信息和区域范围信息。
服务区的位置分布信息为服务区在现实空间中的坐标信息,在大部分实施例中,通常标记为一个点坐标,在特定的实施例中,服务区位置分布信息可以为一条线段或若干个点或为其它形式,只要能够严格确定服务区在现实空间的位置即可。区域范围信息用于指征服务区在现实空间中的范围,比如当位置分布信息标记为一个点时,区域范围信息即为指征该点外延的半径。
具体的,服务区信息的来源可以有所不同。在不同的实施例中,终端设备所获得的关于虚拟空间和服务区的信息可以为实时从服务器获取,也可以通过预下载资源更新包以供需要时进行解析和调取数据。若在网络带宽大和网络延迟低的场景下,两种方案均可采用;若在网络带宽低的场景下,则优先采用后一种方案。
具体的,在一些实施例中,S1包括以下步骤:
S101.实时向服务器请求并下载服务区信息、平行空间目录信息和子空间内容信息。特别的,在某一实施例中,实时向服务器请求并下载的服务区信息、平行空间目录信息和子空间内容信息为最新信息。
在不同的实施例中,服务区信息可以是指定某个服务区的位置分布信息和区域范围信息,也可以是一个区域内所有服务区的位置分布信息和区域范围信息,也可以是全球全部的服务区的位置分布信息和区域范围信息。在具体使用时服务区信息的下载范围,可以根据用户自行设定,也可以由服务器事先设定。当网络带宽足够大和网络延迟足够低时,服务区信息、平行空间目录信息和子空间内容信息的存储和读取可以由终端和云端的实时交互实现,即由云端存储和运算,由终端实时读取结果。
在另一些实施例中,S1也可以包括以下步骤:
S111.实时或定时向服务器发送更新请求,检查对应于所处区域的资源包是否已下载,若否则向服务器发送下载请求;若是则检查资源包是否为最新版本。其中,所述区域为预先划定好的区域,该区域的范围可大可小,在不同的实施例中,可以为上海市的外滩区域,可以为上海市的浦东新区,也可以为整个上海市。
S112.解析资源包,其中,资源包为预下载所得,包含有服务区信息、平行空间目录信息和子空间内容信息。平行空间目录信息为各个平行空间在各个服务区对应的子空间目录,子空间内容信息包括素材文件信息和素材参数信息,素材文件信息为素材文件本身的信息,比如二维图像或三维图像信息;素材参数信息包括指示素材的摆放位置、调整参数和播放时序。
具体的,在S111中,为了保证用户的终端设备中使用的资源更新包版本一致,在一些实施例中,系统可以在用户打开时进行更新包版本检测,或者要求强制更新,或者到达预设定的地点后进行更新。作为示例的,参照图3,某一实施例基于以下步骤i-iii来进行资源包更新:
i.检测用户设置,基于用户设置等待获取请求更新输入指令,或基于用户设置生成定时触发指令,其中,请求更新输入指令基于用户的输入行为生成。
ii.基于定时触发指令或请求更新输入指令向服务器发送更新检测指令。
用户在系统中可以设置自动更新模式,也可以设置手动更新模式。自动更新模式可以是由系统定时生成定时触发指令,比如每天生成一条更新检测指令,发送到服务器进行版本检测,以进行版本更新;手动更新模式则可以是由系统接收用户输入的触发指令,比如手动碰触手机APP上的指定交互式按钮,再基于触发指令发送更新检测指令到服务器。在一些实施例中,还可以基于定位信息获取终端设备所处位置,并在进入指定区域后触发请求更新输入指令,以发送到服务器进行版本检测。
iii.基于服务器返回的更新答复指令向服务器请求下载资源包。
初始资源包或者资源更新包中包含有子空间内容信息,对应为素材文件、摆放参数文件、时序文件等。素材文件即素材图像文件,根据具体的类型可以为二维图像文件或三维图像文件。摆放参数文件内则包含有素材的摆放朝向、放缩比例等参数信息。时序文件则包含了素材的播放时间顺序,该时序严格对应于国际标准时间,因此终端在使用前需要进行校时。当然,在某些实施例里,该时序也可以严格对应于其它时钟,但凡对应于相同时钟均可。在服务器发布新的资源更新包后,在不同的实施例中,终端设备中旧的资源更新包可以被删除、替换相应文件,以节约存储空间,或进行保留以用于后续回顾。
S2. 生成服务区指示地图并实时更新实时位置标识点。
终端设备在空白缓冲区处时,将会在显示装置上显示出服务区指示地图,以指引用户寻找和前往服务区。在不同的实施例中,生成服务区指示地图并实时更新实时位置标识点的实现方法可以有多种,但凡能够利用地图引导用户前往服务区的方法均可,作为示例的,参照图4,在某一实施例中,S2包括以下步骤:
S21.加载地图原始信息,并基于服务区信息在地图原始信息上生成服务区标识信息;
S22.输出地图叠加信息并生成地图画面,其中,服务区的位置和范围基于服务区标识显示于地图画面;
S23.获取实时定位信息,并基于实时定位信息在地图画面上生成实时位置标识点。
用户在服务区外时,终端加载地图原始信息,并将服务区标识在地图上的对应位置,再将地图和标记作为底图叠加信息,在终端上生成地图画面。实时位置标识点用于标识终端在地图画面上的实时位置,以用于指引用户前往服务区。
S3.获取实时定位信息,并基于实时定位信息和服务区信息判断当前所处的服务区。
终端设备上需要带有蓝牙模块、蜂窝通信模块或卫星定位模块,但凡具有能够对终端设备的位置进行精准定位的功能均可。通过定位信息来判断得到终端设备是否处于服务区内,处于哪个服务区,以及在服务区内的所处位置。当终端设备检测到进入服务区时,则关闭服务区指示地图并进入下一步。
具体的,在某一实施例中,该步骤可以通过以下来实现:
获取实时的卫星定位坐标信息,并基于卫星定位坐标点与各服务区中心坐标点的距离差与预设半径的相关关系判断所处服务区。其中,服务区中心坐标由解析位置分布信息获得,在该实施例中为服务区的圆心坐标;预设半径由解析区域范围信息获得,在该实施例中为服务区的半径长度。服务区外的部分为空白缓冲区。
S4.获取当前所处的服务区对应的平行空间目录信息,并基于平行空间目录信息输出相应的选择提示信息。
由于服务区不同,平行空间在不同的服务区处的子空间有对外开放的,也有不对外开放的,在不同的实施例中,终端设备可以选择不隐藏不对外开放的子空间,也可以选择隐藏不对外开放的子空间,因此在不同服务区所对应的平行空间目录信息也不尽相同。
在不同实施例中,终端设备能够有所不同,可以为AR眼镜、手机或其它设备,但凡能够实时成像、实时定位、读写数据和进行运算的设备均可。比如在AR眼镜中,平行空间目录信息可以显示在眼镜屏幕上,并通过语音或图像给出选择提示信息。比如在手机中,平行空间目录信息可以显示在手机屏幕上,通过图像给出选择提示信息。作为示例的,在某一实施例中,S4可以由以下步骤实现:
S41.生成操作按钮于显示界面,其中,各个操作按钮与各个平行空间一一对应;
S42.生成示意标识于操作按钮上,以向外输出选择提示信息。
不同的操作按钮用于获取不同的用户选择信息,用户可以通过移动终端设备显示界面上的光标到操作按钮上,或者对操作按钮进行触摸,从而起到对所需展示的平行空间的择定。
S5.获取用户选择信息,并基于用户选择信息读取相应的子空间内容信息。
用户选择信息对应于用户所选择的平行空间,终端在接收到用户选择信息后,则从数据库中读取相应的子空间内容信息,以供后续步骤使用。
S6.获取实时现场图像信息,并基于子空间内容信息将平行空间图像叠加在实时现场图像上。
终端在接收到用户选择信息后,则从资源更新包中读取相应的子空间内容信息,并叠加在实时现场图像信息,从而实现虚拟空间与现实空间相融合。具体的,参照图5,S6包括步骤S61-S63:
S61.确定素材的初始预设的位置信息。
基于子空间内容信息确定底图基准面,并基于子空间内容信息确定素材在编辑操作区上的对应位置。其中,各个子空间中均设置有底图基准面,底图基准面上的点位对应有用于放置素材的编辑操作区,工作基准面为该服务区所对应的底图基准面。
底图参考面用于作为现实空间和子空间所连接的中间参考,需要叠加在实时成像信息上的素材均锚定在底图参考面上。由于不同的服务区对应的观测效果不同,比如相同素材在不同服务区中的观测位置应当不同,因此各个服务区分别对应有底图参考面,底图参考面的朝向(即法向)设定为展示朝向。
底图基准面与服务区中心坐标点均是建立在地图三维空间上,基于此空间的任意一点均可用相应的坐标进行表示。由于素材在不同的观看画面中,位置、大小和朝向均可能有所不同,如果均固化在底图基准面则会面临维护困难的问题,因此,底图基准面可以基于面上的点位设置用于放置素材的编辑操作区。当底图基准面发生移动或者转动时,编辑操作区也将会与底图基准面同步运动。
这里还需要注意的是,底图基准面的设计,降低了整个系统的维护成本。可以容易想到,在空间上定义若干定点,并在定点上设计编辑操作区以放置素材。这会带来一个问题,在后期维护时,各个编辑操作区中二维素材和三维素材的摆放朝向难以确定,且难以对编辑操作区内的素材进行统一的调整,比如平移或旋转。另外,在空间上直接进行依赖定点设计编辑操作区,定点的选取实际上很不直观,需要实际维护人员进行反复地调试,以保证其内的素材具有良好的视觉效果,这不仅费时费力,每次设计新定点都需要重新到现场进行实景调试,产生的效果也差强人意,协调感较差。
S62.基于定位信息调整素材各点在子空间中的位置信息,并加载素材至子空间的相应位置。
具体的,参照图6,S62包括以下子步骤:
S621.基于定位信息确定工作基准面的展示朝向以确定展示面;
由于底图基准面形成于三维空间中,编辑操作区中的素材摆放实际上并不被限制在底图基准面的二维空间上,也就是说,整个底图基准面和编辑操作区整个相当于一个三维模型,具有720°全景视角。编辑操作区也可以朝向其它方向延伸,比如延伸到地面下,延伸到服务区内,并在延伸区域内摆放素材。通过本申请提供的方案均能实现这些效果,实际上,从非服务区处也能够获取到素材图像画面,但是由于编辑操作区在底图基准面上排布的一个意义在于,能够使得素材能够在一个面向上合理排布以达到最佳观赏效果,因此,在进行设计时,均会基于服务区的位置来确定一个展示面,这个展示面通过工作基准面上编辑操作区的素材位置来形成,也就是与工作基准面的展示朝向相对应。
可选的,在不同的实施例中,该展示面对应于服务区中心坐标点水平面80°视角内所能看到的素材图像,或者120°视角内所能看到的素材图像,可以根据需要预先设定并将相关的参数文件包含在更新包中。
上述提到,单个服务区内观看目标和虚拟影像的叠加画面的视觉效果都接近,但是在同一服务区中的不同位置观看到的远景素材播放画面仍会有一定的区别,该区别在越靠近底图基准面的中部却别越小,越远离底图基准面的中部则越大。这里可以用电影院的银幕进行类比,由于底图基准面的范围很大,相对于人来说所占据的视角很大,因此人在朝向底图基准面时,相当于坐在电影院的前排座位观看巨屏一样,对于前排座位中间的观众而言,其观看银幕中部画面的效果最好,观看两边的银幕画面会产生一定的视觉扭曲,这是用人眼观看二维画面来模拟三维视觉的机制所决定的。而对于前排座位左边的观众而言,其在观看银幕右侧的画面时扭曲大大增强,失真感严重;前排座位右边的观众看银幕右侧的画面亦然。因此,为了补偿该视觉区别,本方案可以基于基准朝向信息和实时朝向信息的相对关系对展示朝向进行一定的适应性调整,以使得用户能够在不同的位置均能够正视底图基准面的中部。
基于此,为了实现该目的,S621在一些实施例中可以进一步限定为:基于基准朝向信息和实时朝向信息的相对关系调整工作基准面的展示朝向;其中,基准朝向信息为服务区中心坐标点对于虚拟坐标点的朝向信息,实时朝向信息为终端位置坐标点对于虚拟坐标点的朝向信息,虚拟坐标点为建立底图基准面的参考点。
相对于服务区中心坐标点而言,工作基准面的展示朝向与基准朝向相反,需要注意的是,基准朝向是固定的朝向,而展示朝向是可调整的参量。
由于为了改善视觉扭曲的问题引入了卫星定位,但是这无疑会产生一个问题,卫星的定位在足够灵敏时,由于环境干扰等因素,会发生一定的漂移,从而导致画面不匹配,将会对使用体验造成显著的影响。
因此,为了解决这个问题,可选的,参照图7,S621在一些实施例中可以通过步骤S6211-S6213来实现。
S6211.获取所处服务区内的模拟定位点信息,其中,各服务区内均分布有多个所述模拟定位点。
服务区具有一定的面积,模拟定位点可以在服务区内均匀设置,也可以在服务区内非均匀设置。模拟定位点的卫星定位坐标既可以通过实地采样获得,也可以基于服务区中心坐标加减距离获得。
S6212.获取与卫星定位坐标点最近的模拟定位点,并作为终端位置坐标点。
S6213.读取对应于终端位置坐标点的预设朝向信息以确定工作基准面的展示朝向,其中,预设朝向信息为底图基准面对于虚拟坐标点的朝向的预设定信息。
由于卫星定位的灵敏度高,在遇到干扰时容易在小范围发生移动,当用户位置发生漂移,实际上还是在模拟定位点附近移动,因此模拟定位点相当于起到锚定的作用,模拟定位点附近的小范围区域均采用模拟定位点对应的预设朝向。同时,由于终端位置坐标点被定位在同一个坐标点上,因此即使终端设备的定位信息刷新频率较低,所呈现出来的素材图像也是固定的,不会发生跳动的。
另外,服务区可分为单一服务区或通用服务区,通用服务区的范围较大,内部可以容纳有多个模拟定位点,用于配套于距离较远的底图基准面。单一服务区的范围较小,内部只容纳有一个模拟定位点,用于配套于距离较近的底图基准面,或者用作距离较远的底图基准面的最佳图像采集机位。
在另一些实施例中,参照图8,S621可以通过步骤S6214-S6217来实现。
S6214.获取实时陀螺仪信息,并基于实时陀螺仪信息判断设备进入或退出举起状态。
S6215.获取设备进入举起状态瞬间对应的卫星定位坐标点并锁定为终端位置坐标点。
S6216.计算实时朝向与基准朝向的夹角,并基于该夹角调整工作基准面的展示朝向。
S6217. 在设备退出举起状态时解除对终端位置坐标点的锁定。
为了保证拍照或观看效果,用户在举起手机拍摄时的用户行为通常为停止不动或小幅度移动调整,因此,在检测到设备举起时,对卫星定位坐标点进行锁定,避免小幅度移动时工作基准面的展示朝向发生适应性调整所产生的素材位置跳动。当用户准备调整位置时,对应的用户行为通常为放下设备,因此,当设备退出举起状态时,对终端位置坐标点的锁定,以便于获取下一次举起动作对应的实时卫星定位坐标。
由于卫星定位的灵敏度高,在遇到干扰时容易在小范围发生移动,因此在S6215中,可以通过以下步骤来判断漂移干扰和实际运动的区别。
S62151.计算实时的卫星定位坐标和终端位置坐标点的距离差值作为实时漂移距离。
S62152.基于实时漂移距离与预设漂移误差距离的相对大小更新终端位置坐标点,其中,终端位置坐标点的更新值为实时漂移距离超过预设漂移误差时对应的卫星定位坐标。
通过漂移范围的设定,使得误差范围内终端位置坐标点能够持续锁定在同一点处,大大减小定位漂移对展示朝向选取的影响。另一方面,事实上设备的微小位移所产生的远景视觉效果的影响也很小,因此该方案能够大幅提高用户使用体验。另外,可选的,在S621122中也可以引入预设时间阈值的限定,具体的,S62152可以通过以下步骤实现:
S621521.获取实时漂移距离;
S621522.判断实时漂移距离与预设漂移误差距离的相对大小,若实时漂移距离小于预设漂移误差距离,则返回上一步;若实时漂移误差距离大于等于预设漂移误差距离,则进入下一步;
S621523.判断实时漂移误差距离大于等于预设漂移误差距离的时长是否大于预设时间阈值,若否则返回S621521,若是则更新终端位置坐标点,终端位置坐标点的更新值为当前卫星定位坐标值。
举个例子,比如实时漂移误差距离大于等于预设漂移误差距离的状态超过一秒后,即可更新终端位置坐标点。在这里预设时间阈值可以为0.1s,0.2s,0.5s或其它的时长,可以基于实际情况进行适应性调整。
S622.获取实时现场图像信息,并将工作基准面与实时现场图像信息相匹配。
通过实时图像与工作基准面的叠加,素材播放画面将会与实际图像相结合,从而使真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。但是,由于终端设备的拍摄姿态与获取底图时设备的拍摄姿态大概率是不相同的,需要对工作基准面和实时现场图像进行配位。因此,参照图10,步骤S622可以通过以下步骤进行实现:
S6221.获取实时现场图像信息和实时陀螺仪信息,其中,实时现场图像信息和实时陀螺仪信息相对应。
S6222.获取工作基准面对应的预设陀螺仪信息,基于预设陀螺仪信息和实时陀螺仪信息的相对关系实时转动工作基准面。
S6223.基于摄像模块参数控制工作基准面上编辑操作区内素材的缩放。
底图基准面在设定之初是基于底图设定的,并记录有预设陀螺仪信息与之相对应,即底图基准面的姿态应于陀螺仪信息。而在拍摄时,设备俯仰角、左右朝向均有所区别,因此需要基于实时陀螺仪信息确定实时图像拍摄时的设备姿态,利用预设陀螺仪信息和实时陀螺仪信息的相对关系,即可以将工作基准面调整到与实时画面相适配的姿态。另外,由于不同设备的摄像模块参数不同,如广角等,基于摄像模块参数对素材进行缩放以使得不同摄像模块所获得的图像内容能够与素材位置相对应,确保不同设备上的素材播放画面与实时图像内容能够相对位。
在该方案中,由预设陀螺仪信息和实时陀螺仪信息的相对关系能够获得变换矩阵,初始的底图基准面通过变换矩阵进行坐标变换,以便换为对应于终端位置坐标点的工作基准面。需要注意的是,S622与后续步骤实际上是同步进行的,没有严格的先后之分。
S623.加载素材于编辑操作区,并基于预设要求调整素材。
在工作基准面后,即可基于当期的更新资源包获得子空间所对应的素材文件信息、素材参数信息和对应预设好的播放时序。
需要注意的是,通过底图基准面和编辑操作区两个层次的设置,将线下的人工工作和线上的人工工作区分开来。由于底图基准面的设置需要人工到现场进行取景获得底图,基于拍摄朝向和拍摄位置坐标确定底图基准面,并基于底图的进行划区以确定底图基准面上需设置编辑操作区的位置。这些工作较为费时但只需要一次即可完成底图基准面和编辑操作区的参数的采集,基于采集到的参数进行设计即可重复使用。而素材的摆放则是需要在每一期的更新中发生变化,每一期都需要人工对其进行摆放和修改,是一件长期的工作,但是只需要在线上执行即可。
因此,通过底图基准面和编辑操作区的双层设计,将可分离的重复性工作在一次完成,无须人工多次到现场进行参数采集以重复设置底图参考面,大大提高了工作效率,以利用有限的资源对多个服务区对应的子空间内容信息进行管理。
另外,由于同一平行空间内的各子空间的相同素材均指向于同一调用地址,该调用地址对应于某一素材信息文件。也就是说,当该素材信息文件发生删除或替换时,该平行空间内各个子空间的对应素材也将会发生删除或替换。通过该种设置,能够同一平行空间内不同子空间的素材进行统一修改,有效降低运维成本。
具体的,参照图11,在某一实施例中,步骤S623包括以下子步骤:
S6231.获取工作基准面上编辑操作区对应的素材摆放信息,并基于素材摆放信息在编辑操作区加载素材,其中,素材参数信息用于实现预设要求,包括素材摆放位置、素材摆放朝向和/或素材比例信息;
S6232.基于素材参数信息调整素材在编辑操作区中的摆放角度、颜色和/或大小。
由于在不同底图基准面上可能共用相同的素材,而这些素材在摆放角度、大小等方面各有不同,为了减少数据传输量和空间占用量,将加载素材到对应的编辑操作区上时,可以基于预设的素材摆放信息对素材进行拉伸、缩放、旋转和/或平移等编辑操作,以使之适应相应底图基准面的摆放要求。
进一步的,步骤S623还可以包括以下子步骤:
S6233.获取工作基准面上编辑操作区内素材对应的播放时序信息;
S6234.基于时序文件设定素材的播放时序。
时序文件包含了对应于各编辑操作区上素材的播放时间顺序,该时序严格对应于国际标准时间,因此需要终端在使用时进行校时。不同的使用者在应用不同终端时,即使身处服务区不同,在所看到的素材也具有时序一致性。举个例子,在一些实施例中,素材为动图,比如无人机动画,具有一定的播放时长,通常设定为在特定时间播放和结束,或者循环播放。在各个终端设备上所更新的预设播放时序文件均相同,因此不同终端设备所观看到素材播放效果具有一致性。
S63.将素材图像叠加在实时现场图像信息上,其中,子空间成像各点位置与实时现场成像的各点位置具有一一对应关系。
具体的,S63可通过以下步骤执行:将可视操作区的展示面内容作为输出图像信息叠加在实时现场图像信息上,其中,可视操作区为实时现场图像所对应的工作基准面部分的编辑操作区。
由于编辑操作区可能为二维平面或三维空间,在一些实施例中,可以先基于终端位置坐标点中心投影到工作基准面上,形成中间过渡的二维平面素材,再将工作基准面中心投影到实时图像上,从而实现两者的叠加和输出。在另一些实施例中,可以将编辑操作区内的素材直接中心投影或水平投影到工作基准面上,从而实现两者的叠加和输出。另外,需要注意的是,由于镜头的取景范围难以涵盖住全部的底图基准面,因此对应于镜头取景范围的编辑操作区为可视操作区,只需要将可视操作区内的素材播放效果映射在实时图像上即可。
S7.输出叠加图像信息并生成实时显示画面。
通过将叠加图像显示于终端设备的屏幕上,最终在观景区内实现了基于相机功能来对叠加的子空间与现实空间进行融合取景。在不同的实施例中,终端设备能够有所不同,对应的叠加图像显示方法也有所差异。比如对于手机终端,本方案可以通过原生的应用程序来实现,并通过原生程序直接从硬件级别调用屏幕和摄像头,从而将摄像头所获得的实时现场图像与输出图像信息相融合,并显示在屏幕上。在另外的实施例中,本方案也可以对系统相机程序进行调用,对相机程序输出到屏幕的实时现场图像进行画面叠加,从而将融合取景显示在屏幕上。或者在终端设备为AR眼镜的实施例中,系统通过调用摄像模块获得实时现场图像,再调用AR眼镜上的显示模块对叠加图像进行显示。但凡能够将叠加图像显示于终端设备的屏幕上的方法均在本方案的保护范围内。
本申请实施例还公开一种电子设备,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如上述虚拟空间与现实空间的融合方法的计算机程序。本实施例方法的执行主体可以是一种控制装置,该控制装置设置在电子设备上,当前设备可以是具有WIFI功能的手机,平板电脑,笔记本电脑等电子设备,本实施例方法的执行主体也可以直接是电子设备的CPU(central processing unit,中央处理器)。
本申请实施例还公开一种计算机可读存储介质,存储有能够被处理器加载并执行如上的虚拟空间与现实空间的融合方法的计算机程序。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
以上均为本申请的较佳实施例,并非依此限制本申请的保护范围,故:凡依本申请的结构、形状、原理所做的等效变化,均应涵盖于本申请的保护范围之内。
Claims (19)
1.一种虚拟空间与现实空间的融合方法,其特征在于,包括以下步骤:
读取服务区信息,其中,服务区信息包括服务区的位置分布信息和区域范围信息;
获取实时定位信息,并基于实时定位信息和服务区信息判断当前所处的服务区;
获取当前所处的服务区对应的虚拟空间的平行空间目录信息,并基于平行空间目录信息输出相应的选择提示信息;其中,虚拟空间内包含有多重平行空间,平行空间内包含多个一一对应于服务区的子空间;
获取用户选择信息,并基于用户选择信息读取相应的子空间内容信息;
获取实时现场图像信息,并基于子空间内容信息将虚拟空间图像叠加在实时现场图像上;
输出叠加图像信息并生成实时显示画面。
2.根据权利要求1所述的虚拟空间与现实空间的融合方法,其特征在于,所述的读取服务区信息的步骤,包括:
解析资源包,其中,资源包为预下载所得,包含有服务区信息、平行空间目录信息和子空间内容信息;
或,实时向服务器请求并下载服务区信息、平行空间目录信息和子空间内容信息。
3.根据权利要求2所述的虚拟空间与现实空间的融合方法,其特征在于,在解析资源包的步骤前还包括以下步骤:
实时或定时向服务器发送更新请求,检查对应于所处区域的资源包是否已下载,若否则向服务器发送下载请求。
4.根据权利要求1所述的虚拟空间与现实空间的融合方法,其特征在于,所述的获取服务区信息的步骤,和所述的获取实时定位信息,并基于实时定位信息和服务区信息判断当前所处的服务区的步骤之间,还包括以下步骤:
生成服务区指示地图并实时更新实时位置标识点。
5.根据权利要求4所述的虚拟空间与现实空间的融合方法,其特征在于,所述的生成服务区指示地图并实时更新实时位置标识点的步骤,包括:
加载地图原始信息,并基于服务区信息在地图原始信息上生成服务区标识信息;
输出地图叠加信息并生成地图画面,其中,服务区的位置和范围基于服务区标识显示于地图画面;
获取实时定位信息,并基于实时定位信息在地图画面上生成实时位置标识点。
6.根据权利要求1所述的虚拟空间与现实空间的融合方法,其特征在于,所述的基于平行空间目录信息输出相应的选择提示信息的步骤,包括:
生成操作按钮于显示界面,其中,各个操作按钮与各个平行空间一一对应;
生成示意标识于操作按钮上,以向外输出选择提示信息。
7.根据权利要求1所述的虚拟空间与现实空间的融合方法,其特征在于,所述的基于子空间内容信息将虚拟空间图像叠加在实时现场图像上的步骤,包括:
确定素材的初始预设的位置信息;
基于定位信息调整素材各点在子空间中的位置信息,并加载素材至子空间的相应位置;
将素材图像叠加在实时现场图像信息上,其中,子空间成像各点位置与实时现场成像的各点位置具有一一对应关系。
8.根据权利要求7所述的虚拟空间与现实空间的融合方法,其特征在于,所述的确定素材的初始预设的位置信息的步骤,包括:
基于子空间内容信息确定底图基准面,其中,各个子空间中均设置有底图基准面,底图基准面上的点位对应有用于放置素材的编辑操作区,工作基准面为该服务区所对应的底图基准面;
和/或,所述的基于定位信息调整素材各点在子空间中的位置信息,并加载素材至子空间的步骤,包括:
基于定位信息确定工作基准面的展示朝向以确定展示面;
获取实时现场图像信息并将工作基准面与实时现场图像信息相匹配;
加载素材于编辑操作区,并基于预设要求调整素材;
和/或,所述的将素材图像叠加在实时现场图像信息上的步骤,包括:
将可视操作区的展示面内容作为输出图像信息叠加在实时现场图像信息上,其中,可视操作区为实时现场图像所对应的工作基准面部分的编辑操作区。
9.根据权利要求8所述的虚拟空间与现实空间的融合方法,其特征在于,所述的基于定位信息确定工作基准面的展示朝向的步骤包括:
基于基准朝向信息和实时朝向信息的相对关系调整工作基准面的展示朝向;其中,基准朝向信息为服务区中心坐标点对于虚拟坐标点的朝向信息,实时朝向信息为终端位置坐标点对于虚拟坐标点的朝向信息,虚拟坐标点为建立底图基准面的参考点。
10.根据权利要求9所述的虚拟空间与现实空间的融合方法,其特征在于,所述的基于基准朝向信息和实时朝向信息的相对关系调整工作基准面的展示朝向的步骤,包括:
获取所处服务区内的模拟定位点信息,其中,各服务区内均分布有多个所述模拟定位点;
获取与卫星定位坐标点最近的模拟定位点,并作为终端位置坐标点;
读取对应于终端位置坐标点的预设朝向信息以确定工作基准面的展示朝向,其中,预设朝向信息为底图基准面对于虚拟坐标点的朝向的预设定信息。
11.根据权利要求9所述的虚拟空间与现实空间的融合方法,其特征在于,所述的基于基准朝向信息和实时朝向信息的相对关系调整工作基准面的展示朝向的步骤,包括:
获取实时陀螺仪信息,并基于实时陀螺仪信息判断设备进入或退出举起状态;
获取设备进入举起状态瞬间对应的卫星定位坐标点并锁定为终端位置坐标点;
计算实时朝向与基准朝向的夹角,并基于该夹角调整工作基准面的展示朝向。
12.根据权利要求11所述的虚拟空间与现实空间的融合方法,其特征在于,所述的基于基准朝向信息和实时朝向信息的相对关系调整工作基准面的展示朝向的步骤,还包括:
计算实时的卫星定位坐标和终端位置坐标点的距离差值作为实时漂移距离;
基于实时漂移距离与预设漂移误差距离的相对大小更新终端位置坐标点,其中,终端位置坐标点的更新值为实时漂移距离超过预设漂移误差时对应的卫星定位坐标。
13.根据权利要求9所述的虚拟空间与现实空间的融合方法,其特征在于,所述的加载素材于编辑操作区,并基于预设要求调整素材的步骤包括:
获取工作基准面上编辑操作区对应的素材参数信息,并基于素材参数信息在编辑操作区加载素材文件信息,其中,素材参数信息用于实现预设要求,包括素材摆放位置、素材摆放朝向和/或素材比例信息;
基于素材参数信息调整素材在编辑操作区中的摆放角度、颜色和/或大小。
14.根据权利要求8所述的虚拟空间与现实空间的融合方法,其特征在于,所述的加载素材于编辑操作区,并基于预设要求调整素材的步骤包括:
获取工作基准面上编辑操作区内素材对应的播放时序信息;
基于时序文件设定素材的播放时序。
15.根据权利要求5所述的虚拟空间与现实空间的融合方法,其特征在于,所述的获取实时现场图像信息,并将工作基准面与实时现场图像信息相匹配的步骤,包括:
获取实时现场图像信息和实时陀螺仪信息,其中,实时现场图像信息和实时陀螺仪信息相对应;
获取工作基准面对应的预设陀螺仪信息,基于预设陀螺仪信息和实时陀螺仪信息的相对关系实时转动工作基准面;
基于摄像模块参数控制工作基准面上编辑操作区内素材的缩放。
16.一种虚拟空间与现实空间的融合系统,其特征在于,包括:
一个或多个服务区,所述服务区设定于现实空间;
一个或多个平行空间,所述平行空间设置于虚拟空间中,各个平行空间内包括有设置于各个服务区附近的子空间,所述子空间的空间坐标与现实空间坐标一一对应,所述子空间内能够布置有素材;
融合装置,用于将服务区内现实空间和所择定的子空间在各空间坐标点处的场景同时映射为同一图像。
17.根据权利要求16所述的虚拟空间与现实空间的融合系统,其特征在于,还包括定位装置,用于获取实时位置信息并基于实时位置信息定位所处服务区;
和/或,还包括触发装置,所述触发装置用于基于服务区定位信息提供平行空间目录信息,并获取相应的用户选择信息以择定相应子空间对应的子空间;
和/或,同一平行空间内的各子空间的相同素材调用于同一素材信息文件。
18.一种电子设备,其特征在于,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:
执行根据权利要求1至15任一项所述的虚拟空间与现实空间的融合方法。
19.一种计算机可读存储介质,其特征在于,所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现:
如权利要求1至15任一项所述的虚拟空间与现实空间的融合方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210140507.1A CN114511687A (zh) | 2022-02-16 | 2022-02-16 | 一种虚拟空间与现实空间的融合方法、系统、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210140507.1A CN114511687A (zh) | 2022-02-16 | 2022-02-16 | 一种虚拟空间与现实空间的融合方法、系统、电子设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114511687A true CN114511687A (zh) | 2022-05-17 |
Family
ID=81552162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210140507.1A Pending CN114511687A (zh) | 2022-02-16 | 2022-02-16 | 一种虚拟空间与现实空间的融合方法、系统、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114511687A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101505376A (zh) * | 2008-02-05 | 2009-08-12 | 奥林巴斯映像株式会社 | 虚拟图像生成装置、虚拟图像生成方法 |
CN103826201A (zh) * | 2014-02-13 | 2014-05-28 | 夷希数码科技(上海)有限公司 | 一种基于地理位置的虚拟交互方法及其系统 |
CN109426333A (zh) * | 2017-08-23 | 2019-03-05 | 腾讯科技(深圳)有限公司 | 一种基于虚拟空间场景的信息交互方法及装置 |
CN109840947A (zh) * | 2017-11-28 | 2019-06-04 | 广州腾讯科技有限公司 | 增强现实场景的实现方法、装置、设备及存储介质 |
CN111815783A (zh) * | 2020-06-30 | 2020-10-23 | 北京市商汤科技开发有限公司 | 虚拟场景的呈现方法及装置、电子设备及存储介质 |
CN113398577A (zh) * | 2021-05-13 | 2021-09-17 | 杭州易现先进科技有限公司 | 一种线下空间的多人ar互动方法和系统 |
-
2022
- 2022-02-16 CN CN202210140507.1A patent/CN114511687A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101505376A (zh) * | 2008-02-05 | 2009-08-12 | 奥林巴斯映像株式会社 | 虚拟图像生成装置、虚拟图像生成方法 |
CN103826201A (zh) * | 2014-02-13 | 2014-05-28 | 夷希数码科技(上海)有限公司 | 一种基于地理位置的虚拟交互方法及其系统 |
CN109426333A (zh) * | 2017-08-23 | 2019-03-05 | 腾讯科技(深圳)有限公司 | 一种基于虚拟空间场景的信息交互方法及装置 |
CN109840947A (zh) * | 2017-11-28 | 2019-06-04 | 广州腾讯科技有限公司 | 增强现实场景的实现方法、装置、设备及存储介质 |
CN111815783A (zh) * | 2020-06-30 | 2020-10-23 | 北京市商汤科技开发有限公司 | 虚拟场景的呈现方法及装置、电子设备及存储介质 |
CN113398577A (zh) * | 2021-05-13 | 2021-09-17 | 杭州易现先进科技有限公司 | 一种线下空间的多人ar互动方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7559033B2 (ja) | 拡張された仮想現実 | |
RU2754991C2 (ru) | Система устройства просмотра смешанной реальности и способ для него | |
KR102417645B1 (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
US12211160B2 (en) | Techniques for capturing and displaying partial motion in virtual or augmented reality scenes | |
CN105339987B (zh) | 针对陆地、空中和/或众包可视化的流形的图像提取和基于图像的渲染 | |
US10559121B1 (en) | Infrared reflectivity determinations for augmented reality rendering | |
US10777010B1 (en) | Dynamic environment mapping for augmented reality | |
US20240078703A1 (en) | Personalized scene image processing method, apparatus and storage medium | |
WO2020020102A1 (zh) | 生成虚拟内容的方法、终端设备及存储介质 | |
US20140181630A1 (en) | Method and apparatus for adding annotations to an image | |
JP2014525089A (ja) | 3次元特徴シミュレーション | |
CN106683197A (zh) | 一种融合vr和ar技术的楼盘展示系统及其方法 | |
ES2688643T3 (es) | Aparato y método de realidad aumentada | |
JP2014525089A5 (zh) | ||
KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
CN111815780A (zh) | 展示方法、显示装置、设备及计算机可读存储介质 | |
JP7150894B2 (ja) | Arシーン画像処理方法及び装置、電子機器並びに記憶媒体 | |
EP2936442A1 (en) | Method and apparatus for adding annotations to a plenoptic light field | |
CN112891940A (zh) | 图像数据处理方法及装置、存储介质、计算机设备 | |
JP2022507502A (ja) | 拡張現実(ar)のインプリント方法とシステム | |
CN114332422A (zh) | 一种基于ar技术的虚拟空间互动方法、编辑更新方法、系统、电子设备和可读存储介质 | |
CN110764247A (zh) | 一种ar望远镜 | |
JP2016200884A (ja) | 観光誘客システム、観光誘客方法、観光誘客用データベース、情報処理装置、通信端末装置およびそれらの制御方法と制御プログラム | |
Tao | A VR/AR-based display system for arts and crafts museum | |
CN114511687A (zh) | 一种虚拟空间与现实空间的融合方法、系统、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |