CN107948631A - 一种基于集群和渲染的裸眼3d系统 - Google Patents
一种基于集群和渲染的裸眼3d系统 Download PDFInfo
- Publication number
- CN107948631A CN107948631A CN201711425380.3A CN201711425380A CN107948631A CN 107948631 A CN107948631 A CN 107948631A CN 201711425380 A CN201711425380 A CN 201711425380A CN 107948631 A CN107948631 A CN 107948631A
- Authority
- CN
- China
- Prior art keywords
- module
- bore hole
- cluster
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 claims abstract description 37
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 abstract description 7
- 238000003786 synthesis reaction Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于集群和渲染的裸眼3D系统，包括光学采集模块、人机交互模块和裸眼3D显示模块，还包括集群服务器和三维渲染模块，所述人机交互模块连接至所述三维渲染模块；所述光学采集模块和三维渲染模块共同连接至集群服务器；所述裸眼3D合成模块连接至裸眼3D显示模块。人机交互模块与三位渲染模块协同工作，为渲染提供出发指令和响应指令，三维渲染模块中存储了三维虚拟物体和场景渲染图像，渲染图像为带透明通道的渲染纹理，即纹理中没有虚拟物体或场景则为透明通道，这便于后续与相机图像的叠加，集群服务器中存储有光学采集模块所采集的相机图像，在渲染模块将渲染图像传送至集群服务器后，集群服务器开始对图像进行处理并合成。
Description
技术领域
本发明属于裸眼3D领域，具体涉及一种基于集群和渲染的裸眼3D系统。
背景技术
人类生活在一个立体的世界中，利用立体视觉机制来感知这个立体世界。为了表达这个世界，人们已提出并发展了很多方式，其中图像是最直观的表达方式。然而，目前大多数显示设备只能实现2D(二维)显示，可表达出场景的内容却忽略了深度信息，因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。在信息化、数字化的时代，随着社会的发展，2D显示逐渐不能满足人类的需求，3D(三维)显示已成为显示研究人员的新研究目标，成为显示领域的新发展趋势。随着人们对3D显示的研究不断深入，已提出各种技术实现了多种3D显示方式。其中，多视点光栅式3D显示器可让多名观看者在较大观看视角内同时裸眼观看到立体图像，感受震撼的视觉体验，从而备受关注。相比于助视3D显示器，它摆脱了助视设备的限制；相比于其他裸视3D显示器，它具有结构简单、亮度高、数据量相对较小以及与现有的平板显示器兼容等优点。光栅3D显示根据所采用的光栅材料的不同分为狭缝光栅3D显示和柱透镜光栅3D显示，前者是基于狭缝光栅不透光部分对光线的遮挡作用来使得左右眼分别看到对应的左右视差图像，后者则是利用柱透镜的折射作用使得左右眼分别看到左右视差图像。
随着计算机技术的发展，增强现实技术(AugmentedReality，简称为AR)能够将计算机生成的物体叠加到现实景物上，以便使它们一起出现在使用者的视场中。AR技术在军事、机械、游戏娱乐、医疗，教育和文化遗产复原等领域均具有更广阔的发展前景。
但是，目前的裸眼3D技术对计算机的要求较高，负载会比较大，若计算机的性能不够好会导致卡顿甚至3D画面模糊不清晰的情况出现而让用户体验变得极差，再提升计算机等硬件设备的性能会导致成本大量增加。
发明内容
本发明的目的在于：针对上述的裸眼3D技术中硬件成本高并且对计算机要求较高而容易出现卡顿和模糊导致用户体验差的问题，提出一种基于集群和渲染的裸眼3D系统。
本发明采用的技术方案如下：
一种基于集群和渲染的裸眼3D系统，包括光学采集模块、人机交互模块和裸眼3D显示模块，还包括集群服务器和三维渲染模块，所述人机交互模块连接至所述三维渲染模块；所述光学采集模块和三维渲染模块共同连接至集群服务器；所述裸眼3D合成模块连接至裸眼3D显示模块。
人机交互模块与三位渲染模块协同工作，为渲染提供出发指令和响应指令，三维渲染模块中存储了三维虚拟物体和场景渲染图像，渲染图像为带透明通道的渲染纹理，即纹理中没有虚拟物体或场景则为透明通道，这便于后续与相机图像的叠加，集群服务器中存储有光学采集模块所采集的相机图像，在渲染模块将渲染图像传送至集群服务器后，集群服务器开始对图像进行处理并合成，当渲染为透明通道时候则显示相机图像，当渲染为非透明通道时显示渲染图像，处理结束后将最终图像发送至裸眼3D显示模块进行显示。
优选地，所述光学采集模块包括多目相机，所述多目相机与所述集群服务器相连，多目相机从不同的角度拍摄裸眼3D显示模块正前方的实际场景，从而获取不同视角的相机图像，这样在合成时图像更清晰，更立体。
优选地，所述多目相机的硬件参数与软件参数均保持一致；所述硬件参数包括芯片、相机电路和镜头的参数；所述软件参数包括分辨率、曝光时间，参数保持一致只要是为了让各个角度的图像的像素、色彩等各种影响图像的因素都一致，避免各个角度的图像色彩或是像素不一致而导致各个角度的图像之间出现明显的对比度，以致最终合成的图像会有明显的色差而影响用户体验。
优选地，所述多目相机各个镜头的光心位于同一水平面，并且相邻的相机的间距相等，等间距采集图像便于区分各个角度的采集图像之间的重叠部分，若不等距各个重叠部分的大小也会不一样，会导致图像在合成的过程中非常容易出现混乱的情况。
优选地，所述裸眼3D显示模块包括2D显示屏和光栅，裸眼3D显示模块将不同视差图像的光线在空间中进行分开，并使其在最佳观看距离处进行会聚，来实现不同视差图像的空间分离，当观看者的左右眼分别看到不同视差图像时，根据大脑的融合作用，便会在大脑中形成立体视觉。
优选地，所述人机交互模块包括红外投影仪、红外摄像头和分析处理器；所述红外投影仪和红外摄像头分别连接至分析处理器，通过与三维渲染模块连接协同工作，给三维渲染模块提供触发和响应指令；分析处理器对红外投影仪的光源进行控制编码；红外投影仪主动投射近红外光谱，照射到观看者和实际场景中，光谱发生扭曲，形成随机的反射斑点；红外摄像头采集红外影像；分析处理器分析红外摄像头采集的红外影像，然后逐帧生成准确的场景深度影像，并计算出人物的骨骼节点信息；分析处理器通过信号传输线连接至三维渲染模块，根据观看者所处位置、姿势或动作，对三维渲染模块发布触发指令或操控指令发送至三维渲染模块响应。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，在光学采集模块采用多目相机，拍摄得到实际场景的多角度的相机图像，人机交互模块根据观看者所处位置、姿势或动作，对三维渲染模块发布触发和操控指令，三维渲染模块存储三维虚拟物体和场景的渲染图像，并与相机图像一起传输至集群服务器，进行图像叠加，得到相机图像与渲染图像的混合图像作为视差图像，输出至裸眼3D显示模块中进行三维显示。
2、本发明中，观看者就能从裸眼3D显示模块上看到自己及所处的实际场景的三维立体显示效果，不仅如此，还混合着三维虚拟物体与实际场景的叠加，大大增加了裸眼3D显示模块的趣味性，更容易吸引人们的注意力。
3、本发明中，实现无需佩戴助视设备，便能看到三维的虚拟与现实的融合，并可以借助互动模块，使观看者能与裸眼3D显示模块中的展示的三维虚拟物体进行交互，极大增加了显示设备的趣味性和吸引性。
4、本发明中，采用集群服务器来处理3D信息的合成，集群服务器将多个基础的计算机连接到一起共同完成同样的任务，这样降低了3D技术对计算机的要求，并且反应变得更快，而且画面更清晰立体，用户体验更高的同时节约了成本。
附图说明
图1是本发明的结构组成框图；
图2为本发明的多目相机的排列结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1和2所示，一种基于集群和渲染的裸眼3D系统，包括光学采集模块、人机交互模块和裸眼3D显示模块，还包括集群服务器和三维渲染模块，所述人机交互模块连接至所述三维渲染模块；所述光学采集模块和三维渲染模块共同连接至集群服务器；所述裸眼3D合成模块连接至裸眼3D显示模块。
人机交互模块包括红外投影仪、红外摄像头和分析处理器，采集观察者的信息比如位置、动作等信息然后将这些数据发送到三维渲染模块，这时三维渲染模块会根据人机交互模块传过来的信息对光学采集模块所采集到的各个角度的图像进行渲染，然后将渲染结果和光学采集模块所采集的数据共同发送至集群服务器，进群服务器将这些数据进行处理并合成，然后输出到裸眼3D显示模块进行显示，其包括2D显示屏和光栅，将不同视差图像的光线在空间中进行分开，并使其在最佳观看距离处进行会聚，来实现不同视差图像的空间分离，当观看者的左右眼分别看到不同视差图像时，根据大脑的融合作用，便会在大脑中形成立体视觉。
人机交互模块与三位渲染模块协同工作，为渲染提供出发指令和响应指令，三维渲染模块中存储了三维虚拟物体和场景渲染图像，渲染图像为带透明通道的渲染纹理，即纹理中没有虚拟物体或场景则为透明通道，这便于后续与相机图像的叠加，集群服务器中存储有光学采集模块所采集的相机图像，在渲染模块将渲染图像传送至集群服务器后，集群服务器开始对图像进行处理并合成，当渲染为透明通道时候则显示相机图像，当渲染为非透明通道时显示渲染图像，处理结束后将最终图像发送至裸眼3D显示模块进行显示。所述光学采集模块包括多目相机，所述多目相机与所述集群服务器相连，多目相机从不同的角度拍摄裸眼3D显示模块正前方的实际场景，从而获取不同视角的相机图像，这样在合成时图像更清晰，更立体。所述多目相机的硬件参数与软件参数均保持一致；所述硬件参数包括芯片、相机电路和镜头的参数；所述软件参数包括分辨率、曝光时间，参数保持一致只要是为了让各个角度的图像的像素、色彩等各种影响图像的因素都一致，避免各个角度的图像色彩或是像素不一致而导致各个角度的图像之间出现明显的对比度，以致最终合成的图像会有明显的色差而影响用户体验。所述多目相机各个镜头的光心位于同一水平面，并且相邻的相机的间距相等，等间距采集图像便于区分各个角度的采集图像之间的重叠部分，若不等距各个重叠部分的大小也会不一样，会导致图像在合成的过程中非常容易出现混乱的情况。所述裸眼3D显示模块包括2D显示屏和光栅，裸眼3D显示模块将不同视差图像的光线在空间中进行分开，并使其在最佳观看距离处进行会聚，来实现不同视差图像的空间分离，当观看者的左右眼分别看到不同视差图像时，根据大脑的融合作用，便会在大脑中形成立体视觉。所述人机交互模块包括红外投影仪、红外摄像头和分析处理器；所述红外投影仪和红外摄像头分别连接至分析处理器，分析处理器对红外投影仪的光源进行控制编码；红外投影仪主动投射近红外光谱，照射到观看者和实际场景中，光谱发生扭曲，形成随机的反射斑点；红外摄像头采集红外影像；分析处理器分析红外摄像头采集的红外影像，然后逐帧生成准确的场景深度影像，并计算出人物的骨骼节点信息；分析处理器通过信号传输线连接至三维渲染模块，根据观看者所处位置、姿势或动作，对三维渲染模块发布触发指令或操控指令发送至三维渲染模块响应。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于集群和渲染的裸眼3D系统，包括光学采集模块、人机交互模块和裸眼3D显示模块，其特征在于：还包括集群服务器和三维渲染模块，所述人机交互模块连接至所述三维渲染模块；所述光学采集模块和三维渲染模块共同连接至集群服务器；所述集群服务器连接至裸眼3D显示模块。
2.根据权利要求1所述基于集群和渲染的裸眼3D系统，其特征在于：所述光学采集模块包括多目相机，所述多目相机与所述集群服务器相连。
3.根据权利要求2所述基于集群和渲染的裸眼3D系统，其特征在于：所述多目相机的硬件参数与软件参数均保持一致；所述硬件参数包括芯片、相机电路和镜头的参数；所述软件参数包括分辨率、曝光时间。
4.根据权利要求2所述基于集群和渲染的裸眼3D系统，其特征在于：所述多目相机各个镜头的光心位于同一水平面，并且相邻的相机的间距相等。
5.根据权利要求1所述基于集群和渲染的裸眼3D系统，其特征在于：所述裸眼3D显示模块包括2D显示屏和光栅。
6.根据权利要求1所述基于集群和渲染的裸眼3D系统，其特征在于：所述人机交互模块包括红外投影仪、红外摄像头和分析处理器；所述红外投影仪和红外摄像头分别连接至分析处理器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711425380.3A CN107948631A (zh) | 2017-12-25 | 2017-12-25 | 一种基于集群和渲染的裸眼3d系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711425380.3A CN107948631A (zh) | 2017-12-25 | 2017-12-25 | 一种基于集群和渲染的裸眼3d系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107948631A true CN107948631A (zh) | 2018-04-20 |
Family
ID=61940101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711425380.3A Pending CN107948631A (zh) | 2017-12-25 | 2017-12-25 | 一种基于集群和渲染的裸眼3d系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107948631A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109144452A (zh) * | 2018-09-03 | 2019-01-04 | 杭州行开科技有限公司 | 一种基于3d显微镜图像的裸眼3d显示系统及其方法 |
| CN110572634A (zh) * | 2018-06-06 | 2019-12-13 | 广西百业晟科技发展有限责任公司 | 一种裸眼3d投影显示系统 |
| CN113992843A (zh) * | 2021-10-13 | 2022-01-28 | 武汉五爪文化传媒有限公司 | 一种3d图像采集、处理、视频图像合成方法 |
| CN114422819A (zh) * | 2022-01-25 | 2022-04-29 | 纵深视觉科技(南京)有限责任公司 | 一种视频显示方法、装置、设备、系统及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105472308A (zh) * | 2015-12-14 | 2016-04-06 | 湖北工业大学 | 多视角裸眼3d视频会议系统 |
| CN106131530A (zh) * | 2016-08-26 | 2016-11-16 | 万象三维视觉科技（北京）有限公司 | 一种裸眼3d虚拟现实展示系统及其展示方法 |
| CN106131536A (zh) * | 2016-08-15 | 2016-11-16 | 万象三维视觉科技（北京）有限公司 | 一种裸眼3d增强现实互动展示系统及其展示方法 |
| CN205901977U (zh) * | 2016-08-15 | 2017-01-18 | 万象三维视觉科技（北京）有限公司 | 一种裸眼3d增强现实互动展示系统 |
| CN207603821U (zh) * | 2017-12-25 | 2018-07-10 | 河南新汉普影视技术有限公司 | 一种基于集群和渲染的裸眼3d系统 |
-
2017
- 2017-12-25 CN CN201711425380.3A patent/CN107948631A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105472308A (zh) * | 2015-12-14 | 2016-04-06 | 湖北工业大学 | 多视角裸眼3d视频会议系统 |
| CN106131536A (zh) * | 2016-08-15 | 2016-11-16 | 万象三维视觉科技（北京）有限公司 | 一种裸眼3d增强现实互动展示系统及其展示方法 |
| CN205901977U (zh) * | 2016-08-15 | 2017-01-18 | 万象三维视觉科技（北京）有限公司 | 一种裸眼3d增强现实互动展示系统 |
| CN106131530A (zh) * | 2016-08-26 | 2016-11-16 | 万象三维视觉科技（北京）有限公司 | 一种裸眼3d虚拟现实展示系统及其展示方法 |
| CN207603821U (zh) * | 2017-12-25 | 2018-07-10 | 河南新汉普影视技术有限公司 | 一种基于集群和渲染的裸眼3d系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110572634A (zh) * | 2018-06-06 | 2019-12-13 | 广西百业晟科技发展有限责任公司 | 一种裸眼3d投影显示系统 |
| CN109144452A (zh) * | 2018-09-03 | 2019-01-04 | 杭州行开科技有限公司 | 一种基于3d显微镜图像的裸眼3d显示系统及其方法 |
| CN113992843A (zh) * | 2021-10-13 | 2022-01-28 | 武汉五爪文化传媒有限公司 | 一种3d图像采集、处理、视频图像合成方法 |
| CN114422819A (zh) * | 2022-01-25 | 2022-04-29 | 纵深视觉科技(南京)有限责任公司 | 一种视频显示方法、装置、设备、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9083963B2 (en) | Method and device for the creation of pseudo-holographic images | |
| US7787009B2 (en) | Three dimensional interaction with autostereoscopic displays | |
| CN106131536A (zh) | 一种裸眼3d增强现实互动展示系统及其展示方法 | |
| CN103329165B (zh) | 放缩三维场景中的用户控制的虚拟对象的像素深度值 | |
| CN108513123B (zh) | 一种集成成像光场显示的图像阵列生成方法 | |
| KR101675961B1 (ko) | 적응적 부화소 렌더링 장치 및 방법 | |
| CN205901977U (zh) | 一种裸眼3d增强现实互动展示系统 | |
| US20060171028A1 (en) | Device and method for display capable of stereoscopic vision | |
| WO2011029209A2 (en) | Method and apparatus for generating and processing depth-enhanced images | |
| CN107948631A (zh) | 一种基于集群和渲染的裸眼3d系统 | |
| AU2018249563B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
| CN103913845A (zh) | 一种利用遮罩和时间复用方式的三维全景图像显示方法 | |
| CN109870820A (zh) | 针孔反射镜阵列集成成像增强现实装置及方法 | |
| WO2007085194A1 (fr) | Dispositif d'affichage d'image stéréo faisant appel à un obturateur à cristaux liquides et procédé d'affichage de ce dernier | |
| CN113382224B (zh) | 一种基于全息沙盘的交互手柄展示方法及装置 | |
| CN102188256A (zh) | 医疗图像生成设备、医疗图像显示设备、医疗图像生成方法和程序 | |
| CN207603821U (zh) | 一种基于集群和渲染的裸眼3d系统 | |
| US20080316299A1 (en) | Virtual stereoscopic camera | |
| JP2004102526A (ja) | 立体画像表示装置、表示処理方法及び処理プログラム | |
| CN102970498A (zh) | 菜单立体显示的显示方法及显示装置 | |
| CN111782040A (zh) | 一种裸眼虚拟现实屏幕 | |
| CN113382225B (zh) | 一种基于全息沙盘的双目全息展示方法及装置 | |
| CN113376858B (zh) | 一种基于全息沙盘的全息展示方法及装置 | |
| CN113467612B (zh) | 一种应用于基于ue4全息沙盘的交互方法及装置 | |
| KR100939080B1 (ko) | 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180420 |