Nothing Special   »   [go: up one dir, main page]

CN102612837A - 由2d视图产生部分视图和/或立体原图以便立体重现的方法和装置 - Google Patents

由2d视图产生部分视图和/或立体原图以便立体重现的方法和装置 Download PDF

Info

Publication number
CN102612837A
CN102612837A CN2010800410947A CN201080041094A CN102612837A CN 102612837 A CN102612837 A CN 102612837A CN 2010800410947 A CN2010800410947 A CN 2010800410947A CN 201080041094 A CN201080041094 A CN 201080041094A CN 102612837 A CN102612837 A CN 102612837A
Authority
CN
China
Prior art keywords
pixel
view
value
controlling value
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800410947A
Other languages
English (en)
Other versions
CN102612837B (zh
Inventor
M·施特格利希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATURAL VIEW SYSTEMS GmbH
Original Assignee
NATURAL VIEW SYSTEMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATURAL VIEW SYSTEMS GmbH filed Critical NATURAL VIEW SYSTEMS GmbH
Publication of CN102612837A publication Critical patent/CN102612837A/zh
Application granted granted Critical
Publication of CN102612837B publication Critical patent/CN102612837B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及用于产生用于通过自动立体重现装置的立体重现的图像数据、尤其是立体原图的方法(1)和装置(31,51)。用于产生用于使人类观察者产生三维视觉印象的重现的图像数据的方法包括以下步骤:接收和/或读取原始视图(2)的优选彩色的2D图像数据,导出多个其他的部分视图(7-1至7-4),这些其他的部分视图从不同的观察角度表示在原始视图(2)中示出的信息;其中对于原始视图(2)的2D图像数据的每一个像素,求得一个颜色系统的至少两个基本颜色的颜色值,根据所确定的至少两个颜色值给像素(21-k)中的每一个自动地分配一个控制值(8,23-k),其中控制值中的每一个表示一个视差信息,在导出表示由原始视图(2)的2D图像数据代表的原始场景的不同观察方向的多个部分视图(7-1至7-4)时,按像素地根据对于相应的视图预给定的移位矢量和分配给各个像素的控制值(8,23-k)彼此相对移位原始视图(2)的各个像素(21-k),以及根据移位的像素(25-l)导出相应的视图的像素。根据本发明的装置(31,51)优选借助于专用集成电路实施根据本发明的方法(1),从而例如对于图像序列的视图以图像序列的图像重现的时钟速率(即重现视频实时地)分别计算多个部分视图(7-1至7-4)并且可以按照需求将所述多个部分视图拼接成用于自动立体重现装置(9)的立体原图。

Description

由2D视图产生部分视图和/或立体原图以便立体重现的方法和装置
技术领域
本发明涉及用于产生部分视图以及在必要时产生立体原图的方法和装置,用于通过自动立体重现装置的立体重现。为此,由二维影像导出多个其他的视图,其中,所述二维影像是原始视图并且从一个观察角度成像原始场景,所述多个其他的视图称作部分视图,所述部分视图从不同的观察角度表示原始场景。通常在必要时在考虑同样表示部分视图的原始视图的情况下由这些其他的视图建立立体原图,所述立体原图在通过自动立体重现装置的重现时使人类观察者产生原始场景的三维视觉印象。
背景技术
真实三维世界的影像如同通过计算机或人工地生成的三维场景和物体那样一直以来成像到二维平面上并且以投影的影视示出。在此失去了深度信息,但人类在童年时已经学会根据其经验和客观认知来重建所述信息的一部分。
为了获得深度信息,在现有技术中公开了用于检测并且用于随后显示的不同方法。例如,可以立体地检测真实三维世界。为此,借助于至少两个测量装置从不同的观察方向或者观察角度检测同一场景。在场景中的物体运动时,必须同时进行所述检测。例如可以通过胶片摄影地或者也可以借助于摄像机、CCD、电子摄像设备等等数字地进行检测。也可以通过计算机或人工地产生不同的视图,其中,从至少两个方向检测场景和物体并且随后通过合适的方式分别使人的左眼和右眼看到最终的影像。通过人脑的视觉感知系统中的影像重建,可以使观察者产生正确的三维图像印象。
为了重现立体检测或计算的影像,存在不同的技术解决方案。在此典型的是分别用于一个观察者的立体幻灯图像观察器。还已知了用于借助于染色以及随后通过使用不同颜色的镜片来分离份额的方法来界定左侧的和右侧的影像。一种很早已知的方法利用光的极性特性,其中,将不同的影像同时、但以不同的极化方向提供给观察者的眼睛,并且通过左眼和右眼前面的相应的偏振滤镜(眼镜)来分离所述不同的影像。对于立体显示也使用电子控制的快门眼镜,其中,借助于技术设备交替地并且以足够快的速度将左侧的影像和右侧的影像提供给观察者,其中,分别以相同频率使左侧的眼镜玻璃或右侧的眼镜玻璃转换成黑色。在速度足够快的情况下人类的视觉器官不再能够分开地感知单个图像,从而结果又产生三维总体图像的印象,尽管在不同时刻向两个眼睛提供不同的图像信息(视图)。基于所述不同的眼镜的功能方法具有以下优点:很多配备有眼镜的观察者也能够以合适的方式方法同时看到所呈现的图像信息,其中,往往在主观上认为使用眼镜是不利的。
出于所述原因,开发了现在属于现有技术的不同的自动立体可视化系统。在这些显示设备或重现设备中,同时叠加地显示来自不同拍摄位置的多个影像,并且在设置在成像平面前面的装置中在光学上如此彼此分离所述多个影像,使得观察者的眼睛可以分别看到两个不同的影像。这在光电显示器中通过如下方式实现:对于各个像素限制或修正辐射方向,因此可以在受限制的观察空间中从不同的方向看到不同的部分图像。如果在确定的距离上两个相邻图像的辐射角度等于眼睛的间距,则因此也可以在没有眼镜的情况下为观察者生成立体图像。作为用于分离辐射方向的合适装置已知的有栅栏、双凸膜以及微透镜阵列。
由Shuji Moro等人的申请US 2007/0046899公开了一种新颖的显示技术,其中,在使用反射模块的情况下进行单个图像的低损耗辐射。
由于需要同时显示多个重叠图像,自动立体显示通常伴随着像素分辨率的损失并且在许多情况下(例如在使用栅栏的情况下)也伴随着图像亮度的损失。此外,一些自动立体方案还具有以下缺点:总是仅仅一个单个观察者可以感知立体效果,其中,也使用开销较高的跟踪系统,借助所述跟踪系统识别以及随后补偿成像平面前面的空间中观察者的自身运动或眼睛运动。
以上所述的用于使人产生三维图像印象的方法的前提条件是:分别存在所显示的场景或者物体的至少两个从不同的方向检测或计算的不同视图。为了检测所述类型的图像资料,需要多摄像机系统和相应的图像存储器和图像传输装置。对于虚拟产生的场景,所述任务一般可以相对简单地解决,其方式是,以不同的虚拟摄像机位置渲染出场景的两个视图。
但已经存在大量的单目拍摄的、具有不同的数字和模拟格式的图像资料和影片资料,其属于人类文化资源。目前,用于图像信息的几乎所有摄影和拍摄技术以及传输信道和可视化技术是针对单目拍摄的图像信息设计的。如过渡到立体图像信息所需的带宽倍增有时在技术上是不可能的并且在经济上几乎无法实现。
如上所述,通过多次渲染来提供虚拟生成的场景的不同视图一般没有问题:因为立体对的所需分辨率较低,在此情况下也不产生明显更高的计算开销。但这仅仅适用于确定的重现装置上的重现和自动立体显示器的预给定的最佳观察距离。然而,如果在任意的自动立体重现装置上进行重现,则在传输时所需的增大的带宽方面存在问题,因为需传输具有全分辨率的部分图像。
拍摄真实世界(电影、电视)时的情况或者尤其是包括过去产生的动画影片在内的电影和视频资料的现有资源方面的情况不同。对于已经老旧的虚拟生成的资料(计算机游戏、演示等等),立体形式的重新计算也不是没有问题的。
除拍摄和传输技术方面的上述困难和问题以外,立体方法的广泛使用还具有其他障碍。现代的影视作品无法再舍弃光学地和通过计算机产生的效果,如叠化、淡入、特技技术以及真实与虚拟真实的混合。这些效果在相当一部分上基于2D图像材料和3D图像资料的混合。大部分方法和工具在立体重现的情形中不再可以使用或者仅仅可以受限制地使用。
此外,在尝试性地使用立体观测时已经表明,立体检测并且自动立体重现的图像信息的观察可能引起观察者视觉感受方面的问题。所述问题的原因在于,在立体拍摄时拍摄者通过所使用的拍摄光学器件的聚焦来决定观察或者应观察哪些图像平面,但观察者因为其经验而习惯于将其眼睛自动地并且根据自己的评估聚焦到各个物体上或者观察距离上。因为这种困境,观察者的最终视觉印象虽然是在立体上正确的视图但不是自然的感知。当较长时间观察这样的图像序列时,已知会出现生理问题、心理问题和/或医学问题,例如在眼睛的视力调节方面。
因为所述技术问题、经济问题和其他问题,最近致力于通过计算机来如此处理传统地单目拍摄的图像信息,使得可以借助一般性产生的附加深度信息通过立体显示技术来可视化所述图像信息。因为缺少真实的深度信息,所述方法尤其基于用于图像分析和图像分割的前置操作,或者可以由操作人员交互地执行所述操作,或者可以借助于组合的图像处理方法执行所述操作。
DE 103 48 618 A1描述一种方法,在所述方法中借助于当前影像的前置解释和分割通过分析结构分辨率或者在确定的区域中主要存在的颜色份额分割为各个连通的区域,随后人工地或者通过操作人员交互地给这些区域分配或多或少随意不同的深度值。在此,分割的基础是经验规则。在例外情况中,可以由分割自动地导出内容并且给这些内容分配深度值。但为此需要内容相关的规定。
在所述方法中给所求得的片段分配各个深度平面,不能产生输出图像的普遍连续的深度图。此外,各个图像片段的前景中的强调或者背景中的削弱明确地与图像内容的解释相关联,即与在相应场景中存在的识别到的物体相关联。在DE 103 48 618 A1中明确强调取决于内容的分割方式。图像内容的自动化识别仅仅在特殊情况中是可能的(如果存在的话)。
通过根据现有技术的方法无法实现自动化地产生二维检测的原始场景的多个视图和/或由此导出的立体原图。
发明内容
因此,本发明的任务是,实现一种方法和一种装置,它们自动地由原始场景的二维(2D)视图生成原始场景的其他视图,这些其他视图从不同的观察角度或观察方向表示场景,并且根据需要由其拼接立体原图,从而在通过立体重现装置或自动立体重现装置的重现时使观察者产生尽可能真实的三维视觉印象。所述方法和所述装置优选被构造成能够实时地自动地处理一个序列的各个二维视图,即在处理期间无需人为干预。
本发明基于以下认识:不同颜色刺激的感受器在人类视网膜上不是均匀分布的。因此,不同的色调对于人类的立体视觉的影响程度不同。提出一种用于产生用于重现的图像数据的方法,所述重现使人类观察者产生三维视觉印象,所述方法包括以下步骤:接收和/或读取原始视图的2D图像数据,导出许多其他的视图,这些其他的视图从不同的观察角度表示在原始视图中示出的信息,所述信息称作原始场景。从不同的观察方向或观察角度表示原始场景的视图在这里以下也称为部分视图。根据本发明,对于原始视图的2D图像数据的每一个像素,求得一个颜色系统的至少两个基本颜色的颜色值,根据所确定的至少两个颜色值给像素中的每一个自动地分配一个控制值,其中,控制值中的每一个表示一个视差信息,以及在导出表示由原始视图的2D图像数据代表的原始场景的不同观察方向的多个视图时,按像素地根据对于相应的部分视图预给定的移位矢量和分配给各个像素的控制值彼此相对地移位原始视图的各个像素,以及根据原始视图的移位的像素来导出相应的导出的部分视图的像素。决定性的是:自动地仅仅根据分配给原始视图的各个像素的各个颜色值导出控制值,所述控制值连同移位矢量一起表示在不同视图中的各个像素的视差,所述移位矢量确定各个视图之间的观察角度变化。因此,可以在没有人为干预的情况下完全自动地确定在原始视图中示出的原始场景的多个部分视图。视差或视差信息在这里理解为说明从不同观察角度表示同一原始场景的不同部分视图中的同一成像物体的成像位置的偏移有多大的度量。因此,提出一种用于产生用于通过立体重现装置或自动立体重现装置的重现的图像数据的装置,通过重现装置的重现使人类观察者产生三维视觉印象,其中,所述装置包括:用于接收原始视图的数字的2D图像数据的接口;用于导出多个导出的部分视图的视图求取单元,这些部分视图分别从不同的观察角度表示在原始视图中代表的原始场景。根据本发明,所述视图求取单元包括:颜色值求取单元,其对于原始视图的像素中的每一个确定一个颜色系统的至少两个基本颜色的颜色值;分配单元,其根据所求得的至少两个颜色值给像素中的每一个分配一个控制值;移位单元,其对于其他的视图中的每一个根据所分配的控制值和对于相应的视图预给定的移位矢量来移位原始视图的每一个单个像素并且根据移位的像素导出相应的部分视图的像素。这意味着:根据所分配的控制值和移位矢量对于每一个点在考虑相邻像素的情况下确定相应的部分视图中的可见度和(可能的)可见度位置和颜色值。本发明的优点是,可以通过简单的方式建立多个导出的部分视图,为此无需人的干预或者在原始视图中表示的原始场景的内容。根据观察方向或观察角度或者观察位置的选择(对其导出各个部分视图),原始视图也是一个部分视图,其分配了移位矢量0。在给部分视图中的一个分配原始观察方向(或者原始观察角度或者原始观察位置)时情况如此。即使部分视图中的一个与原始视图相同,所述部分视图也理解为导出的部分视图。这意味着,导出的部分视图可以包含原始视图,但不一定在任何情况下都包括原始视图。在很多情形中,所导出的全部部分视图都不同于原始视图。
通常通过自动立体重现装置来进行所获得的图像数据的显示。通常向所述自动立体重现装置提供所谓的立体原图。可以通过多个导出的部分视图(可能包括原始视图)的拼接来建立这样的立体原图。因此,一个优选的改进方案提出:将导出的部分视图拼接成一个立体原图。因此,相应的装置包括用于建立立体原图的拼接单元。将多个导出的部分视图(可能包括原始视图)拼接成一个立体原图的方式取决于要使用的重现装置。为此所需的说明通常由重现装置的生产商提供。
在一个实施方式中,在一个中央位置——例如发射站处求得并且分配原始视图的2D图像数据的控制值。因此,在发射站中执行一种方法,所述方法包括以下步骤:接收和/或读取原始视图的2D图像数据,导出控制值以及将所述控制值分配给原始视图的每一个像素;其中,对于原始视图的2D图像数据的每一个像素求得一个颜色系统的至少两个基本颜色的颜色值并且根据所确定的至少两个颜色值自动地给像素中的每一个分配一个控制值,其中,控制值中的每一个表示一个视差信息。
随后,将2D图像数据连同控制值一起传输至一个或多个接收站,这借助于箭头来表示。应理解,可以根据传输路程编码地或者未编码地进行传输。在编码的情况下,也可以选择能够识别传输错误和在必要时甚至修正传输错误的编码。
在接收站中执行以下步骤:接收和/或读取原始视图的2D图像数据和分配给2D图像数据的像素的控制值,其中,控制值中的每一个表示一个视差信息,并且对于原始视图的2D图像数据的所分配的像素由一个颜色系统的至少两个基本颜色的颜色值求得或者可由所述颜色值自动地求得所述控制值中的每一个,导出多个其他的部分视图,这些其他的部分视图从不同观察角度表示在原始视图中示出的信息;其中,在导出表示由原始视图的2D图像数据代表的原始场景的不同观察方向的多个部分视图时,按像素地根据对于相应的视图预给定的移位矢量和分配给各个像素的控制值彼此相对地移位原始视图的各个像素,并且根据移位的像素导出各个部分视图的像素。
一种用于图像数据处理的装置,用于产生用于通过重现装置的重现的图像数据,其中,在通过重现装置的重现时使人类观察者产生三维视觉印象,所述装置在这样的接收站中包括:用于接收原始视图的数字的2D图像数据以及控制值的接口,其中,给每一个像素分配恰好一个控制值,并且控制值中的每一个表示一个视差信息,并且对于原始视图的2D图像数据的所分配的像素由所分配的像素的一个颜色系统的至少两个基本颜色的颜色值求得或者可由所述颜色值自动地求得所述控制值中的每一个;用于导出多个部分视图的视图求取单元,所述多个部分视图从不同的观察角度表示在原始视图中代表的原始场景;用于由所述多个部分视图建立立体原图的拼接单元,其中,所述视图求取单元包括移位单元,所述移位单元对于部分视图中的每一个根据所分配的控制值和对于相应的部分视图预给定的移位矢量移位原始视图的各个像素中的每一个,并且根据移位的像素导出相应的部分视图的像素。
发射站包括用于图像数据处理的装置,用于准备用于通过重现装置的重现的图像数据,通过所述重现装置的重现使人类观察者产生三维视觉印象,其中,所述装置包括:用于接收原始视图的数字的2D图像数据的接口;颜色值求取单元,其对于原始视图的像素中的每一个确定一个颜色系统的至少两个基本颜色的颜色值;分配单元,其根据所求得的至少两个颜色值给像素中的每一个分配一个控制值。优选地,可以通过用于接收2D图像数据的接口或其他接口——例如发射接口输出或提供2D图像数据和所分配的控制值。
在一个优选的实施方式中,计算分配给各个像素的控制值。在根据本发明装置的改进方案中,为此设有计算单元。在此使用取决于作为变量的所确定的至少两个颜色值的函数。
在一个优选的实施方式中,用于根据所求得的颜色值计算控制值的函数是具有极值并且连续的或分段连续的但不一定连续可微的函数。
除根据所确定的至少两个颜色值以外,所述函数还可以取决于通过用于重现所产生的图像数据的重现装置来确定的参数值。此外,在一些实施方式中,预给定的最优观察距离对控制值的计算具有影响。
能够通过各个基本颜色的颜色值来表征颜色的系统称为颜色系统。用于颜色表征的已知颜色系统例如是RGB系统(红绿蓝系统),其中,各个颜色可通过基本颜色红绿蓝的红颜色份额、绿颜色份额和蓝颜色份额的颜色叠加来产生。在确定颜色的颜色值时,分别求得各个基本颜色的参与颜色叠加的份额。在此,在RGB颜色系统中,对于每一个基本颜色例如确定0和100之间的颜色值。颜色值说明相应的基本颜色加入颜色叠加的强度百分比。如果在RGB颜色系统中例如所有颜色红绿蓝以100%强度加入颜色叠加,则对于人类观察者而言得到白颜色。如果红和绿以100%强度而蓝以0%强度加入颜色叠加,则例如得到黄色调。
尤其是当为了三维准备而处理一个图像序列的多个原始视图时(其随后在同一重现装置上输出并且在同一距离上观察),有利的是,仅仅取决于至少两个颜色值的控制值对于所有可能的颜色值组合仅仅计算一次并且存放在控制值存储器中。在将控制值分配给各个像素时,可以根据所求得的至少两个颜色值从控制值存储器中读取控制值。
在另一个实施方式中,分别单独地、当前地对于每一个像素根据控制值函数计算控制值。这适于以下情形:处理仅仅一个原始视图的图像数据,或者处理不同的原始视图的彼此相继的图像数据,但其在不同的重现装置上或者在一个或多个重现装置的不同距离上进行观察。
为了可以使用不仅从一个观察位置产生空间效果的重现装置,需要从原始视图导出多于两个的视图。在一个优选的实施方式中,导出n个部分视图,其中n≥2,并且部分视图m的分配给所述部分视图的移位矢量Vm通过Vm=a*(-1+2*(m-1)/(n-1))给出,其中m=1,...n,a是常数且优选a=1。在所述实施方式中,所产生的表示相对于拍摄原始视图的原始观察位置向左移位的观察位置的部分视图的数量与所产生的表示相对于对于原始视图选择的观察位置向右移位的观察位置的视图的数量相同。如果n是奇数,则原始视图表示部分视图中的一个,即部分视图m=(n+1)/2,其优选一起用于立体原图的计算。有利的是,观察位置相互间分别移位相同的距离。这在所述优选实施方式中通过移位矢量的选择来确保。
优选通过以下方式进行原始视图的像素的移位:根据视差矢量移位相应的像素,其中,对于每一个像素作为分配给像素的控制值和相应的视图的移位矢量的乘积计算视差矢量。因此,对于每一个像素,视差矢量是相应视图的以相应的控制值加权的移位矢量。按行地单个地在相应的移位矢量指向的方向上依次处理原始视图的像素,所述移位矢量分配给所导出的部分视图。不考虑原始视图的被移位到(关于处理方向)位于所述行的一个像素之前已经被移位到的位置后面的位置上的像素。其原因在于,具有比关于移位方向设置在“其前面的”与其相邻的像素更小的控制值的像素在所产生的、所导出的、表示相对于原始视图改变的观察角度的部分视图中是不可见的。因此,通过控制值表达的视差确定与相邻像素(不一定是紧邻的像素)的视差(控制值)相比相应像素的可见度。在部分视图中的一个中不可见的像素对于所述部分视图相应地不需要移位。这与不考虑原始视图的相应像素是同样的。随后,由移位的像素导出所述导出的视图——部分视图的像素。
如果控制值是整数并且移位矢量V的数值也是整数值,则当考虑各个矩阵位置之间的距离相应地选择像素距离的整数倍和控制值范围和移位矢量长度的值范围时,在移位过程中将分配具有垂直的列和水平的行的矩阵的像素自动地移位到一个新的矩阵位置上。因为原始视图的各个像素的最终偏移仅仅是由与像素相关的控制值和与部分视图相关的移位矢量确定的,所以当在原始视图中相邻的像素的视差矢量彼此不同时在分配给移位的像素的像素结构或像素矩阵中可能出现空位。其部分对应于原始视图的未移位或不考虑的像素,如上所述。但当在处理方向上像素的控制值变大时也出现空位。因此,在后的像素比在前的像素移位更大的数值,从而在它们之间可能出现一个或多个空位。可以与其出现原因无关地或者通过移位的像素的颜色值来填充空位,所述移位的像素关于移位方向设置在像素结构或矩阵的相应空位的前面,即与如此移位使得具有较小控制值的一个或多个其他像素不可见并且因此不考虑或者不移位并且因此导致一个或多个空位的像素相比更少地移位或者甚至不移位。
在另一个实施方式中,在一行中出现的空位设有通过在导出视图时要考虑的移位的像素的颜色值的插值求得的颜色值,所述像素在移位后包围或者限界所述空位。如果由移位矢量和控制值构成的视差矢量的数值不是整数,则对于分配给部分视图的矩阵的所有像素或大多数像素需要或者根据在相应的行中与矩阵位置最相邻的像素的颜色值来确定各个矩阵位置的颜色值,或者通过要考虑的移位的像素的颜色值的插值来计算所述颜色值。可以线性地执行或者按照另一预给定的函数执行插值。此外,也可以考虑再下一个或再再下一个等等相邻的移位的像素的颜色值。注意,部分视图的像素当然分别分配了完整的颜色信息,其包括关于颜色系统的所有基本颜色的颜色值。
但在任何情况下,用于产生一个序列的原始视图的各个待导出的部分视图的计算开销可以保持得如此低,使得可以“视频/电视实时”地实现多个部分视图的计算,即在必要时需要的起动阶段之后可以按照图像序列的图像速率的时钟来计算多个部分视图。在此应注意,既可以并行地导出各个部分视图,也可以按行地、分别并行地、彼此无关地处理各个行。通过所述并行化,即使在待处理的原始视图速率较高的情况下也能够在重现图像序列时以图像序列的时钟速率计算所需的导出的部分视图,用于确定立体原图。
因为通常在导出部分视图和控制值时多次动用所接收的2D图像数据,所以所接收的2D图像数据在一些实施方式中存放在第一存储区中。同样在一些实施方式中,所求得的部分视图或其至少一部分存放在第二存储区中。
用于产生所需的图像数据的装置的各个单元优选通过软件控制的计算单元来实现。但同样也可行的是,各个单元集成在一个或多个FPGA单元中。另一个实施方式又提出,ASIC电路实现各个单元,其中,可以通过数据线路读取原始视图的图像数据以及(可能的)取决于设备或者观察距离的参数值,并且可以通过数据线路输出所产生的图像数据。在此可实现一些实施方式,在这些实施方式中第一存储区和第二存储区可以集成在ASIC电路中或者也可以位于与ASIC电路耦合的存储器中。优选以ASIC电路实现的控制值存储器的情况也是如此。
附图说明
以下根据优选实施例参照附图来详细阐述本发明。附图示出:
图1:处理2D图像的图像数据以作为3D图像来处理和显示的示意性过程;
图2:用于阐述按像素地移位像素以产生导出的部分视图的示意图;
图3:用于处理2D图像数据用于三维显示的装置的示意图;
图4:用于处理2D图像数据用于三维显示的装置的示意图的另一实施方式;
图5:用于说明优化地处理2D图像数据用于三维显示的示意图;
图6a-6c:部分视图拼接成立体原始视图的示例性分配矩阵;和
图7:一种方法的示意图,其中,在发射站中给2D图像数据分配控制值而在接收站中由所接收的原始视图的2D图像数据连同所接收的控制数据导出部分视图并且将所述部分视图拼接成立体原始视图。
具体实施方式
在图1中示意性地示出处理原始视图2的2D图像数据的方法1。首先接收、检测或读取例如图像文件形式的2D图像数据。2D图像数据的图像文件在此包括原始视图2的数字化像素,所述原始视图代表原始场景。所接收的2D图像数据优选是彩色的2D图像数据。对于原始视图2的每一个像素在此提供一个颜色信息。例如一共24位可供用于颜色编码,其中,分别8位用于RGB颜色系统中的一个颜色值的编码。但所接收的2D图像数据可以具有灰度级编码,其中,每一个像素对应于一个灰度级。
所接收的2D图像数据可以是例如来自数据载体3的单个图像的图像数据或者可以是例如由接收/重现设备5提供的图像序列4的视图。接收/重现设备5例如可以是电视接收机、录像机、DVD播放机或其他播放设备。
在也可以称作视图求取单元6的处理级中处理2D图像数据,以便由此导出多个部分视图7-1、7-2、7-3和7-4。所述多个导出的部分视图7-1至7-4分别具有与由2D图像数据代表的原始视图相同数量的像素。如果在所追求的3D重现中期望相对于原始视图2的格式变化、分辨率变化等,则在处理前相应调整原始视图,从而这些条件适用于经调整的原始视图和由此导出的部分视图。
导出的部分视图7-1至7-4中的每一个从另一观察位置或者另一观察角度或者另一观察方向来表示由原始视图2代表的原始场景。对于原始视图2的每一个像素,首先通过视图求取单元6确定一个颜色系统的基本颜色的至少两个颜色值。在这里示出的实施例中(其中,原始视图的2D图像数据以RGB编码的图像文件的形式提供),可以简单地从2D图像文件中读取相应的颜色值,例如对于每一个像素的基本颜色红、蓝。如果在另一颜色系统中或者以灰度级值来编码地提供2D图像文件,则在必要时必须计算颜色值。优选地,将颜色值换算到RGB颜色系统中。为了从灰度级编码到RGB编码的换算或者从一个颜色系统到另一个颜色系统的换算,存在一些现有技术中已知的计算规则。
根据所求得的颜色值,分别给原始视图2的像素分配控制值8。控制值8分别表示视差信息,所述视差信息在随后的处理过程中确定各个导出的部分视图7-1至7-4中的相应像素关于原始视图2的视差或者各个导出的部分视图7-1至7-4之间的视差有多大。如果从两个相对略微移位的观察位置拍摄一个真实场景,则确定:表示同一物体并且具有两次拍摄之间的较大视差的像素往往“遮蔽”仅仅具有较小视差的物体像素。因此,控制值8也调节原始视图2的各个像素在导出的部分视图7-1至7-4中的可见度,如以下阐述的那样。
2D图像文件的各个像素可以对应于一个像素矩阵,所述像素矩阵具有垂直的列和水平的行。为了产生各个导出的部分视图7-1至7-4,按行地多次处理原始视图2的2D图像数据,以便分别产生多个导出的视图7-1至7-4的像素行。在此,分别如同产生导出的部分视图那样频繁地处理每一行。(如果导出的部分视图中的一个由于关于指派给所述部分视图的观察方向的规定而与原始视图相同,则当然可以节省图像行的处理)。因此,在所示出的实施例中(其中产生或导出四个导出的部分视图7-1至7-4),原始视图2的每一行被处理四次。在此,分别从原始视图2的图像行开始。给待导出的部分视图7-1至7-4中的每一个分配一个移位矢量Vm,其中,m表示相应视图的索引,即m=1,...,n,并且n表示导出的视图的数量。导出的部分视图7-1至7-4分别表示从不同观察位置观察的、由原始视图2表示的原始场景。分别以相同数量在左侧和在右侧相对于拍摄原始视图的观察位置等距对称地计算这些观察位置。观察位置相对于原始视图的观察位置的移位分别通过移位矢量Vm来表示,所述移位矢量分配给相应的部分视图m。在导出的部分视图的观察位置等间隔对称分布时,得出移位矢量的计算规则,Vm=a*(-1+2*(m-1)/(n-1)),其中,a是常数并且优选地选择等于1。借助分配给各个像素的控制值来加权或缩放分配给相应的部分视图的移位矢量Vm,以便在按行处理时确定原始视图2的每一个单个像素的视差矢量。因此,对于原始视图2的每一个像素,确定与导出的部分视图的数量相同的视差矢量。控制值分别具有相同的正负号,但既出现正的移位矢量也出现负的移位矢量。移位矢量的正负号在此与移位方向相关联。在一个像素行内,正符号与从左向右的方向相关联,而负符号相应地与从右向左的方向相关联。根据通过相应的部分视图的移位矢量的方向预给定的那个方向来处理一行的各个像素。如果移位矢量是正的,则从左向右处理并且从左向右根据相应的视差矢量来移位一行的像素。在此应注意,视差矢量的长度小于之前处理的像素的长度的像素由于视差而在计算的相应部分视图中是不可见的,因此不进行移位或者不考虑用于相应的部分视图的像素的导出。这也意味着,其视差矢量给其指派的新位置已经由之前移位的具有较大视差矢量的像素占据的像素是不可见的,因此不进行移位或考虑。因为这不仅仅在紧邻在先处理的像素方面出现,所以一般性地适用:不移动或者在导出相应的部分视图的像素时不考虑以下像素:要以视差矢量将所述像素移位到关于处理方向位于所述行的一个像素之前已经移位到的一个位置后面的位置上。
在一个实施方式中,视差矢量的数值圆整成整数,从而移位的像素可以与待导出的部分视图的矩阵状网格的像素相关联。因此,移位的像素直接表示所述部分视图的导出的像素。
因为原始视图的最初相邻(不一定紧邻)的像素的视差矢量可能彼此偏差很大,如上所述,所以与相应的部分视图相关联的矩阵状网格中在导出部分视图的像素时考虑的移位的像素之间出现空缺或空位。在一个实施方式中,以相应于关于所述行的处理方向之前移位的并且应考虑的像素的颜色值来填充空位。在另一个实施方式中,通过应考虑的相邻颜色值的插值来计算空位的颜色值。
替代视差矢量的长度圆整成整数,也可以由应考虑的移位的像素(其位置与部分视图的矩阵状网格的像素位置不准确重合)通过亚像素精度的插值来计算各个像素的颜色值。可以分别与相邻行中的像素无关地求出一行的像素。同样可以同时地、彼此无关地由表示原始视图2的图像数据的像素导出不同的、待产生的导出的部分视图7-1至7-4。因此,由此也可以实现在时间上并行地计算各个导出的部分视图7-1至7-4。因此可以实现即使在具有高图像频率的高分辨率图像格式的情况下也实时地计算多个导出的部分视图7-1至7-4,即具有图像频率。
在这里描述的实施方式中,导出的部分视图7-1至7-4的所求得的各行像素分别存储在相应的图像存储器中。为了确保通过立体重现装置9的重现,在所谓的重组级11中将多个导出的视图7-1至7-4拼接成一个立体原图10,所述立体原图输出给立体重现装置9。
在此再次注意,如果重现装置的分辨率不同于原始视图的分辨率,则在处理之前(即在导出多个视图之前)将原始视图重新缩放到重现格式上。这在图1中未示出,但可以是可选设置的。
在一个优选的实施方式中,根据取决于像素的蓝颜色值份额和红颜色值份额的函数来计算控制值8。所述函数具有极值,所述极值在红颜色值Rlim和蓝颜色值Blim时出现。出现控制值函数的最大值的红颜色值和蓝颜色值Rlim、Blim称作红颜色极限值和蓝颜色极限值。首先,求得各颜色值和相应的颜色极限值的差的绝对数值。所述控制值通过这些绝对数值中的较大绝对数值除以标准化常数来确定。如果原始视图2的像素的红颜色份额的减小了红颜色极限值数值的颜色值的绝对值大于蓝颜色份额的减小了蓝颜色极限值数值的颜色值的绝对值,则控制值由红颜色值和红颜色极限值的差的绝对数值确定,相反,如果蓝颜色份额的减小了蓝颜色极限值数值的颜色值的绝对值大于红颜色份额的减小了红颜色极限值数值的颜色值的绝对值,则控制值由蓝颜色值和蓝颜色极限值的差的绝对数值确定。相应的差的绝对数值分别通过一个共同的因数来标准化。
一般性地适用:
假定f1和f2是关于两个基本颜色的像素颜色值,则根据以下公式计算控制值S(f1,f2):
当|f1-f1 lim|>=|f2-f2 lim|时,S(f1,f2)=(|f1-f1 lim|/konst.)
否则,S(f1,f2)=(|f2-f2 lim|/konst.),
其中,konst.代表标准化常数,f1 lim和f2 lim是基本颜色的颜色极限值,控制值函数S(f1,f2)在所述颜色极限值时具有极值。所述函数在颜色值f1和f2的面上是连续的。在适当选择颜色系统的情况下,控制值取决于恰好两个颜色值。
因为表示一个图像序列的不同原始视图的多个图像数据组的控制值保持不变,所以这些控制值可以存放在控制值存储器中并且从所述控制值存储器中读取并且对于相应的图像序列仅需计算一次。如果所使用的重现装置和所期望的最优观察距离对于不同的图像序列而言保持不变,则仅需计算一次控制值。
借助图2来阐述如何移位一行22的原始视图的各个像素21-k(k=1,2,...)以便产生部分视图m的一行24的像素23-l(l=1,2,...)。已经在处理步骤S1至S8中将前八个像素21-1至21-8移位至移位的像素23-1至23-8。对于处理步骤S9至S18,分别示出了如何在各个步骤中移位或者不移位且不考虑各个像素。各个像素21-k以小框的形式示出,其中,它们的颜色通过阴影线示意性地表示,所述颜色由各个颜色值确定。原始视图的图像行22的各个像素21-k分配了各个控制值23。在方法步骤S9中,移位分配了具有数值6的控制值的像素21-9。分别分配了控制值0的像素21-1至21-8已经移位。待移位的像素21-9在待产生的视图的图像行24中向右移位六个像素位并且因此表示部分视图像素25-15。在所产生的部分视图的在方法步骤S9中确定的像素25-15和待产生的部分视图的最后在移位原始像素21-8时确定的像素25-8之间出现多个空位25-9至25-14。这些空位以相应于以下像素的颜色值填充:所述像素是最后在实际移位的像素25-15之前确定的,即像素25-8。这在方法步骤S9′中在有括号的图像行24′中示意性示出。在随后的处理步骤S10和S11中,分别将原始视图的像素21-10和21-11移位成像素25-16或者25-17,所述像素21-10和21-11同样分别分配了具有值6的控制值。在随后的处理步骤S12中,像素21-12分配了具有值2的控制值。如果要使像素21-12移位两个像素位,则会覆盖已经确定的像素,即像素25-14。因为与之前处理的具有值6的控制值的像素相比所述像素具有较小的控制值并且因此在移位的视图中具有较小视差,所以所述像素21-12在相应的部分视图中由于视差而在一定程度上被遮蔽。因此,不移位或者在确定用于待产生的部分视图的像素的颜色值时不考虑像素21-12。在以下处理步骤S13-S17中出现相同的情况,其中,分别分配了控制值0的像素21-13至21-17要移位到待产生的部分视图的之前已经确定的像素上。但在方法步骤S18中,分配了具有值0的控制值的像素21-18被使用并且被移位了0个像素位并且因此确定相应的部分视图的待产生的行24的像素25-18。
替代如在方法步骤9或者9′中示意性地示出的那样以相应于在先最后移位的像素的颜色值填充空位,也可以通过颜色值的插值来实现空位,在此例如是像素25-8和25-15的颜色值的插值。在所示的示例中考虑所述控制值或者确切地说视差矢量的数值(其通过控制值与相应的移位矢量的相乘产生)圆整成整数值。在另一个实施方式中可以进行颜色值的插值,因为原始视图的像素不是移位准确的图像位或像素间距。
注意,像素关于矩阵状网格的移位仅仅在以下情形中直接得出导出的部分视图的像素:在移位时所使用的视差矢量在其长度方面圆整成整数(如果其本来不具有整数长度)并且所述整数对应于完整的矩阵位的移位。在其他情况下,移位的像素形成一个像素结构,所述像素结构在忽略可能存在的“空位”或者在移位时不考虑的像素时不一定具有规则的矩阵结构。则所述像素结构在一定程度上是“中间矩阵”,借助其求得部分视图的真正的像素矩阵。这意味着,根据像素结构(中间矩阵)的颜色值求得部分视图的像素矩阵的像素。
在图3中示意性地示出装置31,其用于图像数据处理以产生用于3D重现的图像数据。所述装置被构造用于利用2D彩色图像数据来产生多个部分视图以及根据需要将这些部分视图拼接成立体原图。通过接口32接收和检测原始视图的图像数据以及在必要时关于重现装置和/或相对于重现装置的最优观察距离的参数。接口32与中央处理单元33耦合,所述中央处理单元又与存储器34连接。存储器34包括程序存储区35,在所述程序存储区中存放有程序代码,通过所述程序代码来控制中央处理单元33的作用方式和工作方式。程序存储区35不仅可以包含操作系统而且可以包含控制真正的图像数据处理的应用软件。存储器34还包括第一存储区36,在所述第一存储区中存放有通过接口32接收的图像数据。如果读取例如24位RGB信号形式的图像数据,则对于每一个像素预留24位存储器。这意味着对于三个基本颜色红绿蓝中的每一个分别预留8位。此外有利的是,在第一存储区中对于每一个像素预留附加数量的位,例如8位,在这些位中随后可以存放所分配的控制值。
在中央处理单元33上执行的程序代码如此构造,使得可以根据两个颜色值,例如根据基本颜色红和蓝的颜色值,根据控制值函数来计算控制值。在一个优选的实施方式中,对于所有可能的颜色值组合计算控制值并且将其存放在存储器34的控制值存储区37中。控制值函数还可以附加地取决于以下参数:所述参数取决于相应的重现装置,对于所述重现装置产生原始视图的多个部分视图或者立体原图。附加地,作为参数,重现装置的最优观察距离可以作为参数进入控制值函数中。然而,因为这些参数对于(例如视频或电视信号的)一个图像序列的所有视图而言是恒定的,所以有利的是,当如上所述那样将控制值分配给各个像素时,对于所有可能的组合计算一次控制值并且将其存放在存储器34的控制值存储区37中,而不分别单独地当前地计算所述控制值。
此外,程序代码被如此构造,使得对于原始视图的存放在第一存储区36中的各个像素分别求得至少两个颜色值,优选基本颜色红和基本颜色蓝的颜色值。在所述实施方式中(其中,移交RGB编码的像素),仅须分别读取分配给两个基本颜色的8位存储区。根据其中存储的表示两个基本颜色的颜色值的值,现在可以从控制值存储区37中读取相应的所属的控制值并且将其分配相应的像素。所述值随后例如可以存放在第一存储区36的为其预留的位中。替代地,当然也可以存放指向控制值存储区37的指针,而不是值。在其他替代实施方式中,可以如此构造控制值存储区37,使用以RGB编码形式已经存在的并且进入控制值计算的颜色值本身作为指针值用在控制值存储区37的矩阵状存储器组织中。在下一个工作步骤中产生用于多个待产生的部分视图(即待导出的视图)的预给定的移位矢量,所述部分视图从不同观察方向表示在原始视图中示出的原始场景。
现在,对于每个部分视图按行地处理一次原始视图的图像行。根据移位矢量的正负号,或者从左向右或者从右向左处理像素的行(在此考虑像素以水平的行和垂直的列组织)。处理方向总是由所属的移位矢量的方向来确定。
如以上所述,由移位矢量和相应地分配给相应像素的控制值分别形成一个视差矢量,并且在所产生的部分视图中根据所述视差矢量使像素相对于原始视图移位。在此,在一些实施方式中可以提出,视差矢量的数值分别圆整成整数值,从而实现在矩阵状像素网格中移位完整的网格位。总是使像素移位完整的列单位。在其他实施方式中,允许并且实施移位到列内的非整数位置上,随后为了求得图像行的各个网格位置上的颜色值而实施颜色值的插值。
如以上所述,仅仅移位和考虑待产生的部分视图中在处理方向上移位到作为之前移位的像素的位置后面(即更远)的那个像素。否则,在所述部分视图中不考虑相应的像素。或者以之前相应不太远地移位的像素或者可能移位了值0的像素具有的颜色值来填充或者根据在所述行内与空位相邻(但不一定紧邻)设置的像素的颜色值的插值来确定所出现的空位(所述空位在移位时没有分配像素)。可以线性地或者按照其他预给定的函数来执行插值。附加地,也可以考虑再下一个或再再下一个等等移位的相邻像素的颜色值。因为可以彼此无关地计算一个部分视图的各个行以及不同部分视图的相同行,所以可以部分地或完全地并行图像处理。由此,可以实现图像数据处理的加速。
原始场景的所产生的各个部分视图存放在存储器34的第二存储区38中。如果计算奇数个部分视图,则通常这些部分视图中的一个与原始视图相同。在一些实施方式中,相应地将原始视图复制一次到第二存储区38中。在一些实施方式中,通过接口32或另一个接口39输出存储在第二存储区38中的部分视图,以继续处理和/或存储。但在一个优选实施方式中,将在第二存储区38中存放的部分视图拼接成立体原图,其中间存储在立体原图存储器40中。可以借助于中央处理器装置程序控制地执行取决于应使用的重现装置的所述拼接。但以下实施方式是优选的:图像处理器41根据在第二存储区38中存放的部分视图来计算立体原图并且通过其他接口39来进行立体原图的输出。
以下根据示例简短地阐述如何由部分视图建立立体原图。通常,在用于重现立体原图的显示装置的生产商方面提供所需的信息,以便可以执行拼接。在所示的示例中考虑重现装置24可以输出分别不同的观察方向上的不同图像信息。在这里描述的情形中,对于三维重现仅仅使用四个不同的部分图像作为原图。因为要在所有观察方向上输出信息,所以在空间方向中的多个上输出相同的图像信息。
重现装置的生产商对于所述示例性情形说明了三个分配矩阵,所述三个分配矩阵分别对于RGB颜色系统的三个基本颜色(红绿蓝)中的一个说明如何由部分视图的像素的颜色值得出各个像素的相应基本颜色的相应颜色值。相应地在图6a至6c中示出了用于基本颜色(红绿蓝)的三个分配矩阵。所述分配矩阵分别是8×12矩阵。各个矩阵项分别说明分配给四个部分视图中的一个m的索引。因此,部分视图m=1在矩阵中例如分配了索引值1,等等。
为了进一步阐述,假定分别通过索引对(x,y)来指示部分视图中的像素和待产生的立体原图中的像素,其中,x表示行内的位置而y表示行本身。立体原图的一个像素由以下表达来表示:
BildpunktRBV[x,y]
像素的基本颜色“grundfarbe”的颜色值由以下表达表示:
BildpunktRBV[x,y].grundfarbe
其中,在RGB颜色系统中,“grundfarbe”可以取“红”、“绿”或“蓝”。通过索引对(i,j)来指示分配矩阵的值,其中,i表示行内的位置,j表示分配矩阵的行本身。立体原图的通过索引对(x,y)指示的像素的三个颜色值以伪计算机代码书写方式根据以下指令得出,
BildpunktRBV[x,y].rot:=BildpunktTA(m)[x,y].rot
其中,m=ZuordnungsmatrixRot[i,j],
其中,i=x modulo 8并且j=y modulo 12,
或者缩写为:
BildpunktRBV[x,y].rot:=BildpunktTA(ZuordnungsmatrixROT[x modulo 8,y modulo 12])[x,y].rot,
其中,BildpunktTA(m)[x,y].grundfarbe表示部分视图m的通过索引对(x,y)指示的像素的基本颜色“grundfarbe”的颜色值。对于其他基本颜色以缩写方式相应地适用:
Figure BPA00001547230200201
BildpunktRBV[x,y].blau:=BildpunktTA(ZuordnungsmatrixBLAU[x modulo 8,y modulo 12])[x,y].blau
书写方式“a modulo b”(通常也写为“a mod b”)在此通过以下计算规则来定义:
Figure BPA00001547230200202
其中,a是实数,b是大于0的自然数,
Figure BPA00001547230200203
代表高斯括号,其对于实数c表示小于等于数c的最大整数,即,
Figure BPA00001547230200204
k∈Z,k≤c
因为以上说明的公式中x和y的用于索引的值分别是大于或等于0的整数,所以可以同样良好地使用以下计算规则:
a modulo b:=a-b·(a div b)
其中,(a div b)表示向零圆整的商a/b。
使用以上说明的公式意味着,例如如下确定左上方的像素(x=0和y=0)的颜色值:
从ZuordnungsmatrixROT读取值ZuordnungsmatrixROT[0,0]=1。这意味着,通过部分视图m=1的像素(所述像素分配了索引对(x,y)=(0,0))BildpunktTA1[0,0]的红颜色值BildpunktTA1[0,0].rot给出立体原图的像素BildpunktRBV[0,0]的红颜色值BildpunktRBV[0,0].rot。绿颜色值通过同样来自部分视图m=1的同一像素的绿颜色值确定(注意,m[x,y]=ZuordnungsmatrixGRUNDFARBE[i,j],其中,i=x modulo 8,j=y modulo12)。对于基本颜色蓝的颜色值,通过部分视图m=2的索引对(0,0)的像素的蓝颜色值确定(m=ZuordnungsmatrixBLAU[0,0]=2)。
因为分配矩阵小于部分图像或立体原图,所以周期性使用矩阵项。因此,可以通过相应的分配矩阵的依次排列和重叠排列来实现具有一个部分图像或所述立体原图的大小的分配矩阵。在数学上这可以通过所给出的模函数来描述。对于索引x>7和/或y>11,通过相应的规则i=x modulo 8和j=y modulo 12实现了:可以由所给出的分配矩阵直接读取所述被虚拟地扩大的矩阵的相应的部分图像索引。
图4示意性地示出用于图像数据处理的装置51的另一个实施方式。在所述实施方式中,各个功能单元部分地或完全地通过硬件——例如借助于FPGA或与应用相关的处理器芯片(ASIC)构造。原始视图的图像数据和可能的其他参数再次通过接口52接收并且存放在第一存储区53中。随后借助于视图求取单元54产生部分视图。借助计算单元55计算控制值并且将其存放在控制值存储区56中。颜色值求取单元57对于像素中的每一个求得一个颜色系统的两个基本颜色的两个颜色值。为此,可能需要将像素的颜色信息从一个颜色系统换算到另一个颜色系统中。根据所求得的颜色值,由分配单元58给相应的像素分配控制值存储区56的控制值。所分配的控制值例如同样可以存放在第一存储区53中。部分视图求取单元59随后如上所述根据在第一存储区中存放的图像数据和所分配的控制值求得多个部分视图,这些部分视图存储在第二存储区61中。在此,在移位单元60中执行原始视图的像素的移位,如示例性地结合图2阐述的那样。拼接单元62在必要时将多个部分视图拼接成立体原图,所述立体原图可能存放在立体原图存储器63中并且随后通过另一个接口64输出。在其他实施方式中,可以不进行立体原图的中间存储和可能的立体原图的建立。在后一情况下,直接通过其他接口输出和提供所述部分视图。
根据硬件如何构造,可能有利的是,在处理视图序列时将立体原图的计算分布到所述序列的多个周期上。这示例性地在图5中示出。在第一图像时钟中,由检测模块81检测图像数据并且将所述图像数据写到移动存储缓冲器82中。其相应于第一存储区。在随后的图像时钟中,从移动存储缓冲器82中读取图像数据以及借助处理单元如上说明的那样处理所述图像数据,其方式是,给像素分配控制值存储器84中的控制值,随后由此与移位矢量一起确定和执行像素的相应移位,并且如此产生部分视图,所述部分视图存放在其他的移动存储缓冲器85中。在下一个图像时钟中,读取存放在其他的移动存储缓冲器85中的部分视图作为图像处理单元88的所谓的纹理缓冲器87。给各个纹理缓冲器87分配冲切掩模89。通过相应的冲切掩模89和纹理缓冲器87之间的“与”运算,选出用于建立立体原图的像素的颜色值并且通过“或”组合在所谓的混合单元90中将其拼接成立体原图,所述立体原图在随后的图像时钟中由自动立体重现装置91输出。
尤其是在通过硬件实现的实施方式中,使用不同的存储器或存储区可能是受限制的。例如可以在没有中间存储的情况下输出所计算的部分视图或其像素。即使要计算立体原图,也无需中间存储所有的部分视图。仅仅中间存储部分视图的一部分、例如同一行的一部分足以求得立体原图的各个像素。在经优化的电路中可以显著地减少存储需求。
在图7中示意性地示出一个实施方式,其中,在空间上分离地进行给像素分配控制值和“真正地”求得部分视图。向发射站101提供2D图像数据流102。2D图像数据流102例如包括影片序列或影片的前后相继的原始视图。发射站101包括用于图像数据处理的装置103,其给2D图像数据的各个像素分别分配控制值形式的视差信息,如上所述。所述装置为此包括分配单元104。分配单元例如可以包括颜色值求取单元、计算单元和可能的控制值存储器,它们没有单独示出。通过例如被构造为发射天线105的接口,2D图像数据连同分配给像素的控制值一起传输至一个或多个接收站106,在此仅仅示出其中一个接收站。
接收站106包括例如被构造为接收天线107的接口。2D图像数据连同分配给像素的控制值一起传送给用于图像处理的装置108以产生用于重现的图像数据,在所述重现中使观察者产生三维印象。装置108被构造用于产生部分视图7-1至7-4和可能的立体原图10,如上详细描述的那样。控制值的求取当然不再是必需的,因为它们已经与2D图像数据一起传输。装置108因此包括视图求取单元109,其求得部分视图7-1至7-4。优选地在拼接单元110中由部分视图7-1至7-4建立立体原图10,所述立体原图通过输出接口111输出给自动立体重现装置112并且由其重现。
本领域技术人员应理解,在此仅仅描述了示例性的实施方式。尤其是在此仅仅示例性地描述了各个部分视图拼接成立体原图的过程。所述过程在其具体构型中取决于用于重现的相应立体重现装置。
附图标记
Figure BPA00001547230200231
Figure BPA00001547230200251

Claims (41)

1.用于产生用于重现的图像数据的方法(1),所述重现使人类观察者产生三维视觉印象,所述方法包括以下步骤:
接收和/或读取原始视图(2)的2D图像数据,
导出多个其他的部分视图(7-1至7-4),这些其他的部分视图从不同的观察角度表示在所述原始视图(2)中示出的信息,
其特征在于,
对于所述原始视图(2)的2D图像数据的每一个像素,求得一个颜色系统的至少两个基本颜色的颜色值,
根据所确定的至少两个颜色值给所述像素(21-k)中的每一个自动地分配一个控制值,其中,所述控制值中的每一个表示一个视差信息,
在导出表示由所述原始视图(2)的2D图像数据代表的原始场景的不同观察方向的多个部分视图(7-1至7-4)时,按像素地根据对于相应的视图预给定的移位矢量和分配给各个像素的控制值(8,23-k)彼此相对移位所述原始视图(2)的各个像素(21-k),以及根据移位的像素(25-l)导出相应的部分视图(7-1至7-4)的像素。
2.根据权利要求1所述的方法(1),其特征在于,根据控制值函数计算所述控制值(8,23-k),所述控制值函数取决于作为变量的所确定的至少两个颜色值。
3.根据以上权利要求中任一项所述的方法(1),其特征在于,将所述原始视图(2)的像素(21-k)分配给具有垂直的列和水平的行的矩阵,所述移位矢量与所述行共线,从而在彼此相对移位时在其行内移位所述各个像素(21-k)。
4.根据以上权利要求中任一项所述的方法(1),其特征在于,所述控制值函数附加地取决于通过立体重现装置(9)的构造和/或所述立体重现装置(9)的最优观察距离确定的参数。
5.根据以上权利要求中任一项所述的方法(1),其特征在于,对于所述至少两个颜色值的所有可能的颜色值组合计算所述控制值(8,23-k)并且将所述控制值存放在存储器(34)中,并且在将所述控制值(8,23-k)分配给所述像素(21-k)时,分别根据所求得的至少两个颜色值从所述存储器(34)中读取所述控制值。
6.根据权利要求1至4中任一项所述的方法(1),其特征在于,对于所述像素(21-k)中的每一个分别单独地、当前地根据所述控制值函数计算所述控制值(8,23-k)。
7.根据以上权利要求中任一项所述的方法(1),其特征在于,所求得的多个部分视图(7-1至7-4)是n个视图,其中n是自然数并且n≥2,视图m的移位矢量Vm通过Vm=a*(-1+2*(m-1)/(n-1))给出,其中m=1,...,n,a是常数并且优选a=1。
8.根据以上权利要求中任一项所述的方法(1),其特征在于,对于具有两个基本颜色的颜色值f1、f2的像素(21-k),根据以下公式来计算所述控制值(8,23-k):
当|f1-f1 lim|>=|f2-f2 lim|时,S(f1,f2)=(|f1-f1 lim|/konst.),
否则,S(f1,f2)=(|f2-f2 lim|/konst.),
其中,konst.代表标准化常数,f1 lim和f2 lim是所述基本颜色的颜色极限值,所述控制值函数S(f1,f2)在所述颜色极限值时具有极值。
9.根据以上权利要求中任一项所述的方法(1),其特征在于,分别根据视差矢量移位所述像素(21-k),所述视差矢量由分配给相应的部分视图(7-1至7-4)的移位矢量和分配给所述像素(21-k)的控制值(23-k)的乘积构成,其中,将所述视差矢量的长度向上和/或向下圆整成整数值。
10.根据以上权利要求中任一项所述的方法(1),其特征在于,在产生所述多个部分视图中的一个(7-m)时分别根据对于相应的像素(21-k)确定的视差矢量移位所述原始视图(2)的各个像素(21-k),其中,由分配给所述像素(21-k)的控制值(23-k)和相应的部分视图(7-m)的移位矢量Vm的乘积来计算每一个像素(21-k)的视差矢量,其中,如果所述原始视图(2)的两个像素(21-k,21-j)被移位到同一位置或者同一移位的像素(25-l)上,则根据分配了较高的控制值的像素(21-k)的颜色值来确定所述部分视图(7-m)的像素。
11.根据以上权利要求中任一项所述的方法(1),其特征在于,根据移位的像素(25-l)来填充所述部分视图(7-m)的矩阵状的像素阵列,其中,在必要时通过一个移位的像素(25-l)的颜色值来确定阵列位置的颜色值,所述移位的像素的位置在所述行中沿所述移位矢量的方向位于相应的部分视图的待确定的像素的位置前面,或/和,通过与待确定的像素的位置相邻的移位的像素(25-l)的颜色值的插值来计算所述颜色值。
12.根据以上权利要求中任一项的方法(1),其特征在于,在给所述像素(21-k)分配控制值(8,23-k)之前,将所述原始视图(2)的像素分辨率换算成待产生的多个部分视图(7-1至7-4)的像素分辨率。
13.用于图像数据处理的装置(31,51),其用于产生用于通过重现装置(9)来重现的图像数据,在其通过所述重现装置(9)重现时使人类观察者产生三维视觉印象,其中,所述装置(31,51)包括:
用于接收原始视图(2)的数字的2D图像数据的接口(32,52);
用于导出多个其他的导出的部分视图(7-1至7-4)的视图求取单元(54),这些其他的导出的部分视图从不同的观察角度表示在所述原始视图(2)中代表的原始场景;
其特征在于,
所述视图求取单元(54)包括颜色值求取单元(57)、分配单元(58)和移位单元(60),其中,所述颜色值求取单元对于所述原始视图(2)的像素(21-k)中的每一个确定一个颜色系统的至少两个基本颜色的颜色值,所述分配单元根据所求得的至少两个颜色值给所述像素(21-k)中的每一个分配一个控制值,所述移位单元对于所述其他的部分视图(7-1至7-4)中的每一个根据所分配的控制值(8,23-k)和对于相应的部分视图(7-m)预给定的移位矢量(Vm)移位所述原始视图(2)的各个像素(21-k)中的每一个并且根据移位的像素(25-l)导出相应的部分视图(7-m)的像素。
14.根据权利要求13所述的装置(31,51),其特征在于,所述装置包括计算单元(55),所述计算单元用于根据控制值函数计算所述控制值(8,23-k),所述控制值函数取决于作为变量的所确定的至少两个颜色值。
15.根据权利要求13或14所述的装置(31,51),其特征在于,所述计算单元与控制值存储器连接并且对于所有的颜色值组合计算所述控制值(8,23-k)并且将所述控制值存放在控制值存储器中,从而所述分配单元可以从所述控制值存储器中读取所述控制值(8,23-k)。
16.根据权利要求13或14所述的装置(31,51),其特征在于,所述分配单元(58)被如此构造,使得对于所述像素(21-k)中的每一个分别单独地、当前地根据控制值函数计算所述控制值(8,23-k)。
17.根据权利要求13至16中任一项所述的装置(31,51),其特征在于,所述控制值函数附加地取决于通过立体重现装置的构造和/或所述立体重现装置的最优观察距离确定的参数。
18.根据权利要求13至17中任一项所述的装置(31,51),其特征在于,多个所求得的部分视图(7-1至7-4)是n个视图,其中n是自然数并且n≥2,视图m(7-m)的移位矢量Vm通过Vm=a*(-1+2*(m-1)/(n-1))给出,其中m=1,...,n,a是常数且优选a=1。
19.根据权利要求13至18中任一项所述的装置(31,51),其特征在于,对于具有颜色值f1和f2的像素(21-k),根据以下公式来计算所述控制值(8,23-k):
当|f1-f1 lim|>=|f2-f2 lim|时,S(f1,f2)=(|f1-f1 lim|/konst.),
否则,S(f1,f2)=(|f2-f2 lim|/konst.),
其中,konst.代表标准化常数,其中,f1 lim和f2 lim是所述基本颜色的颜色极限值,所述控制值函数S(f1,f2)在所述颜色极限值时具有极值。
20.根据权利要求13至19中任一项所述的装置(31,51),其特征在于,所述移位单元(60)被构造用于根据视差矢量来移位各个像素(21-k),所述视差矢量分别由分配给相应的部分视图(7-1至7-4)的移位矢量和分配给所述像素(21-k)的控制值(23-k)的乘积构成,其中,所述移位单元(60)被构造用于将所述视差矢量的长度向上和/或向下圆整成整数值。
21.根据权利要求13至20中任一项所述的装置(31,51),其特征在于,在产生所述多个部分视图中的一个(7-m)时分别根据对于相应的像素(21-k)确定的视差矢量来移位所述原始视图(2)的各个像素(21-k),其中,对于每一个像素(21-k)由分配给所述像素(21-k)的控制值(23-k)和相应的部分视图(7-m)的移位矢量(Vm)来计算所述视差矢量,其中,按行地单个地在分配给所产生的部分视图(7-m)的相应的移位矢量指向的方向上依次处理所述原始视图(2)的像素(21-k),并且不考虑被移位到位于所述行(22)的一个像素(21-k)之前已经被移位到的位置后面的或者与所述行(22)的一个像素(21-k)之前已经被移位到的位置相同的位置上的像素(21-k)。
22.根据权利要求13至21中任一项所述的装置(31,51),其特征在于,在导出所述其他的部分视图(7-1至7-4)的像素时,分别考虑对于相应的部分视图移位的像素(25-l)。
23.根据权利要求13至22中任一项所述的装置(31,51),其特征在于,如果所述原始视图(2)的两个像素(21-k,21-l)被移位到同一位置上或者同一移位的像素(25-j)上,则根据分配了较高的控制值的像素(21-k)的颜色值来确定所述部分视图m(7-m)的像素。
24.根据权利要求13至23中任一项所述的装置(31,51),其特征在于,根据移位的像素(25-l)填充所述部分视图m(7-m)的矩阵状的像素阵列,其中,在必要时通过相邻的、移位的像素(25-l)的颜色值来确定阵列位置的颜色值,或/和,通过所述阵列位置的相邻的、移位的像素(25-l)的颜色值的插值来计算所述颜色值。
25.根据权利要求13至24中任一项所述的装置(31,51),其特征在于,在给所述像素(21-k)分配控制值之前,将所述原始视图(2)的像素分辨率换算成待产生的多个部分视图(7-1至7-4)的像素分辨率。
26.根据权利要求13至25中任一项所述的装置(31,51),其特征在于,设有第二存储区,在所述第二存储区中存储有或存储所述部分视图,并且拼接单元(61)与所述第二存储区(38,61)耦合并且被构造用于由所述多个部分视图(7-1至7-4)建立立体原图。
27.用于产生用重现的图像数据的方法,所述重现使人类观察人者产生三维视觉印象,所述方法包括以下步骤:
接收和/或读取原始视图(2)的2D图像数据以及分配给所述2D图像数据的像素(21-k)的控制值(23-k),
其中,所述控制值(23-k)中的每一个表示一个视差信息并且对于所述原始视图(2)的2D图像数据的所分配的像素(21-k)由一个颜色系统的至少两个基本颜色的颜色值求得或者可由所述颜色值自动地求得所述控制值中的每一个,
导出多个其他的部分视图(7-1至7-4),这些其他的部分视图从不同的观察角度表示在所述原始视图中示出的信息;
其中,在导出表示由所述原始视图(2)的2D图像数据代表的原始场景的不同观察方向的多个部分视图(7-1至7-4)时,按像素地根据对于相应的视图(7-1至7-4)预给定的移位矢量和分配给各个像素的控制值来彼此相对地移位所述原始视图(2)的各个像素(21-k)以及根据移位的像素(25-l)导出相应的部分视图(7-1至7-4)的像素。
28.根据权利要求27所述的方法,其特征在于,将所述原始视图(2)的像素(21-k)分配给具有垂直的列和水平的行的矩阵,所述移位矢量与所述行共线,从而在彼此相对移位时在其行内移位所述各个像素(21-k)。
29.根据权利要求27或28所述的方法,其特征在于,所求得的多个部分视图(7-1至7-4)是n个视图,其中n是自然数并且n≥2,视图m的移位矢量Vm通过Vm=a*(-1+2*(m-1)/(n-1))给出,其中m=1,...,n,a是常数并且优选a=1。
30.根据权利要求27至29中任一项所述的方法,其特征在于,分别根据视差矢量来移位所述像素(21-k),所述视差矢量由分配给相应的部分视图(7-1至7-4)的移位矢量和分配给所述像素(21-k)的控制值(23-k)的乘积构成,其中,将所述视差矢量的长度向上和/或向下圆整成整数值。
31.根据权利要求27至30中任一项所述的方法,其特征在于,在产生所述多个部分视图中的一个(7-m)时分别根据对于相应的像素(21-k)确定的视差矢量移位所述原始视图(2)的各个像素(21-k),其中,由分配给所述像素(21-k)的控制值(23-k)和相应的部分视图(7-m)的移位矢量Vm的乘积来计算每一个像素(21-k)的视差矢量,其中,如果所述原始视图(2)的两个像素(21-k,21-j)被移位到同一位置或者同一移位的像素(25-l)上,则根据分配了较高的控制值的像素(21-k)的颜色值来确定所述部分视图(7-m)的像素。
32.根据权利要求27至31中任一项所述的方法,其特征在于,根据移位的像素(25-l)来填充所述部分视图(7-m)的矩阵状的像素阵列,其中,在必要时通过一个移位的像素(25-l)的颜色值来确定阵列位置的颜色值,所述移位的像素的位置在所述行中沿所述移位矢量的方向位于相应的部分视图的待确定的像素的位置前面,或/和,通过与待确定的像素的位置相邻的移位的像素(25-l)的颜色值的插值来计算所述颜色值。
33.用于图像数据处理的装置(108),其用于产生用于通过重现装置(112)的重现的图像数据,在其通过所述重现装置重现时使人类观察者产生三维视觉印象,所述装置包括:
用于接收原始视图的数字的2D图像数据以及控制值的接口,其中,给每一个像素分配恰好一个控制值,并且所述控制值中的每一个表示一个视差信息,并且对于所述原始视图的2D图像数据的所分配的像素由所分配的像素的一个颜色系统的至少两个基本颜色的颜色值求得或者可由所述颜色值自动地求得所述控制值中的每一个;
用于导出多个部分视图的视图求取单元,这些部分视图从不同的观察角度表示在所述原始视图中代表的原始场景;
用于由所述多个部分视图建立立体原图的拼接单元(110),其中,所述视图求取单元(109)包括移位单元,所述移位单元对于所述部分视图中的每一个根据所分配的控制值和对于相应的部分视图(7-m)预给定的移位矢量来移位所述原始视图的各个像素中的每一个,并且根据移位的像素导出相应的部分视图的像素。
34.根据权利要求33的装置(108),其特征在于,所求得的多个部分视图(7-m)是n个视图,其中n是自然数并且n≥2,视图m(7-m)的移位矢量Vm通过Vm=a*(-1+2*(m-1)/(n-1))给出,其中m=1,...,n,a是常数并且优选a=1。
35.根据权利要求33或34的装置(108),其特征在于,所述移位单元(60)被构造用于根据视差矢量来移位各个像素(21-k),所述视差矢量分别由分配给相应的部分视图(7-m)的移位矢量和分配给所述像素(21-k)的控制值(23-k)的乘积构成,其中,所述移位单元(60)被构造用于将所述视差矢量的长度向上和/或向下圆整成整数值。
36.根据权利要求33至35中任一项所述的装置(108),其特征在于,在产生所述多个部分视图中的一个(7-m)时分别根据对于相应的像素(21-k)确定的视差矢量来移位所述原始视图(2)的各个像素(21-k),其中,对于每一个像素(21-k)由分配给所述像素(21-k)的控制值(23-k)和相应的部分视图(7-m)的移位矢量(Vm)来计算所述视差矢量,其中,按行地单个地在分配给所产生的部分视图(7-m)的相应的移位矢量指向的方向上依次处理所述原始视图(2)的像素(21-k),并且不考虑被移位到位于所述行(22)的一个像素(21-k)之前已经被移位到的位置后面的或者与所述行(22)的一个像素(21-k)之前已经被移位到的位置相同的位置上的像素(21-k)。
37.根据权利要求33至36中任一项所述的装置(108),其特征在于,在导出所述其他的部分视图(7-1至7-4)的像素时,分别考虑对于相应的部分视图移位的像素(25-l)。
38.根据权利要求33至37中任一项所述的装置(108),其特征在于,如果所述原始视图(2)的两个像素(21-k,21-l)被移位到同一位置上或者同一移位的像素(25-j)上,则根据分配了较高的控制值的像素(21-k)的颜色值来确定所述部分视图m(7-m)的像素。
39.根据权利要求33至38中任一项所述的装置(108),其特征在于,根据移位的像素(25-l)填充所述部分视图m(7-m)的矩阵状的像素阵列,其中,在必要时通过相邻的、移位的像素(25-l)的颜色值来确定阵列位置的颜色值,或/和,通过所述阵列位置的相邻的、移位的像素(25-l)的颜色值的插值来计算所述颜色值。
40.根据权利要求33至39中任一项所述的装置(108),其特征在于,在产生所述部分视图(7-m)之前,将所述原始视图(2)的像素分辨率换算成待产生的多个部分视图(7-m)的像素分辨率。
41.根据权利要求33至40中任一项所述的装置(108),其特征在于,设有第二存储区,在所述第二存储区中存储有或存储所述部分视图(7-m),并且拼接单元(110)与所述第二存储区耦合并且被构造用于由所述多个部分视图(7-m至7-m)建立立体原图(10)。
CN201080041094.7A 2009-09-15 2010-08-27 由2d视图产生部分视图和/或立体原图以便立体重现的方法和装置 Expired - Fee Related CN102612837B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009041328.6 2009-09-15
DE102009041328A DE102009041328A1 (de) 2009-09-15 2009-09-15 Verfahren und Vorrichtung zum Erzeugen von Teilansichten und/oder einer Raumbildvorlage aus einer 2D-Ansicht für eine stereoskopische Wiedergabe
PCT/EP2010/005335 WO2011032642A1 (de) 2009-09-15 2010-08-27 Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe

Publications (2)

Publication Number Publication Date
CN102612837A true CN102612837A (zh) 2012-07-25
CN102612837B CN102612837B (zh) 2015-06-03

Family

ID=43128251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080041094.7A Expired - Fee Related CN102612837B (zh) 2009-09-15 2010-08-27 由2d视图产生部分视图和/或立体原图以便立体重现的方法和装置

Country Status (7)

Country Link
US (1) US8693767B2 (zh)
EP (1) EP2478705A1 (zh)
CN (1) CN102612837B (zh)
AU (1) AU2010294914B2 (zh)
DE (1) DE102009041328A1 (zh)
RU (1) RU2541928C2 (zh)
WO (1) WO2011032642A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110100444A (zh) * 2016-12-22 2019-08-06 株式会社Kt 视频信号处理方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140306963A1 (en) * 2011-09-12 2014-10-16 Wei Sun Use motion parallax to create 3d perception from 2d images
KR101430985B1 (ko) * 2013-02-20 2014-09-18 주식회사 카몬 2d-3d 복합 차원 콘텐츠 파일을 사용하는 복합 차원 콘텐츠 서비스 제공 시스템, 그 서비스 제공 방법
CN105308970B (zh) * 2013-04-05 2018-11-23 三星电子株式会社 针对整数像素的位置对视频进行编码和解码的方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582457A (zh) * 2001-11-24 2005-02-16 Tdv技术公司 从2d图像序列生成立体图像序列
EP1521483A1 (en) * 2003-09-30 2005-04-06 Kabushiki Kaisha Toshiba Stereoscopic image producing method and stereoscopic image display device
US20070159476A1 (en) * 2003-09-15 2007-07-12 Armin Grasnick Method for creating a stereoscopic image master for imaging methods with three-dimensional depth rendition and device for displaying a steroscopic image master

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3197801B2 (ja) * 1995-09-08 2001-08-13 三洋電機株式会社 二次元表示画像生成方法
DE19825950C1 (de) * 1998-06-12 2000-02-17 Armin Grasnick Anordnung zur dreidimensionalen Darstellung
US6476805B1 (en) * 1999-12-23 2002-11-05 Microsoft Corporation Techniques for spatial displacement estimation and multi-resolution operations on light fields
RU2287858C2 (ru) * 2001-11-24 2006-11-20 Тдв Текнолоджиз Корп. Создание последовательности стереоскопических изображений из последовательности двумерных изображений
DE10348618B4 (de) 2003-09-15 2006-07-27 Armin Grasnick Verfahren zum Erstellen und Anzeigen einer Raumbildvorlage für Abbildungsverfahren mit räumlichen Tiefenwirkungen und Vorrichtung zum Anzeigen einer derartigen Raumbildvorlage
JP2007024975A (ja) 2005-07-12 2007-02-01 Sony Corp 立体画像表示装置
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582457A (zh) * 2001-11-24 2005-02-16 Tdv技术公司 从2d图像序列生成立体图像序列
US20070159476A1 (en) * 2003-09-15 2007-07-12 Armin Grasnick Method for creating a stereoscopic image master for imaging methods with three-dimensional depth rendition and device for displaying a steroscopic image master
EP1521483A1 (en) * 2003-09-30 2005-04-06 Kabushiki Kaisha Toshiba Stereoscopic image producing method and stereoscopic image display device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110100444A (zh) * 2016-12-22 2019-08-06 株式会社Kt 视频信号处理方法和装置

Also Published As

Publication number Publication date
AU2010294914B2 (en) 2014-05-01
US8693767B2 (en) 2014-04-08
EP2478705A1 (de) 2012-07-25
WO2011032642A1 (de) 2011-03-24
DE102009041328A1 (de) 2011-03-24
CN102612837B (zh) 2015-06-03
US20120170837A1 (en) 2012-07-05
RU2541928C2 (ru) 2015-02-20
RU2012114692A (ru) 2013-10-27
AU2010294914A1 (en) 2012-03-08

Similar Documents

Publication Publication Date Title
US9083963B2 (en) Method and device for the creation of pseudo-holographic images
US9848178B2 (en) Critical alignment of parallax images for autostereoscopic display
JP4188968B2 (ja) 立体視用映像提供方法及び立体映像表示装置
CN100511124C (zh) 自由多视点多投影三维显示系统和方法
JP4295711B2 (ja) イメージ変換及び符号化技術
CN108513123B (zh) 一种集成成像光场显示的图像阵列生成方法
CN101276061A (zh) 三维图像显示装置及用于显示三维图像的方法
JP2014056466A (ja) 画像処理装置及び方法
CN107105216B (zh) 一种基于针孔阵列的连续视差、广视角的三维光场显示装置
CN108616742A (zh) 一种3d全景拍摄系统以及方法
CN104079913A (zh) 光栅式立体显示器兼容2d-3d显示的子像素排列方法、装置
CN102612837B (zh) 由2d视图产生部分视图和/或立体原图以便立体重现的方法和装置
CN112929636A (zh) 3d显示设备、3d图像显示方法
US9258546B2 (en) Three-dimensional imaging system and image reproducing method thereof
TWI462569B (zh) 三維影像攝相機及其相關控制方法
CN114339191B (zh) 一种基于多视点重建的裸眼三维显示方法
CN102404583A (zh) 三维影像的深度加强系统及方法
CN102780900A (zh) 一种多人多视角立体显示器影像显示方法
JP2908799B2 (ja) 立体視用画像作成方法および装置
EP1561184A2 (en) Three-dimensional display
JP2842740B2 (ja) 複数視点3次元画像入力装置
Grasnick Universal 4D multiplexing of layered disparity image sequences for pixel and voxel based display devices
CN117176936A (zh) 一种可自由拓展的立体数字沙盘系统和光场渲染方法
CN116385647A (zh) 一种建立led沉浸式五面屏3d模型的方法及装置
EP1492358A2 (en) Process for the formation of images suitable for three-dimensional viewing, and image obtained using that process

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150603

Termination date: 20160827

CF01 Termination of patent right due to non-payment of annual fee