CN104380066B - 用于高光谱成像的系统，记录和显示高光谱图像的方法 - Google Patents

Abstract

成像系统包括用于记录高光谱光场（CLF）的光场相机（3）。系统还包括用于投影可见光中的光场（PLF）的光投影仪（4）。相机和投影仪共享公共光轴。投影仪基于光场相机所捕获的高光谱光场（CLF）来投影光场（PLF）。

Description

用于高光谱成像的系统，记录和显示高光谱图像的方法

技术领域

本发明涉及一种用于高光谱成像的系统和一种用于记录高光谱图像和在可见光中显示高光谱图像的方法，该系统包括用于记录对象的高光谱图像的相机和用于在可见光中显示记录器高光谱图像的显示设备。

背景技术

众所周知，高光谱成像用来揭示人眼不可能或难以看到的细节，诸如人体内组织差异。在高光谱成像中，在其中至少一个波段对于人眼至少部分地不可见或至少很难看到的一个或多个波段中拍摄对象的图像。然后，该图像被转换成可见图像，在可见光中向观察者提供该图像。高光谱成像可以基于图像捕获之前的光谱选择性照明（即使用某个波段中的光照明对象）和光谱选择性过滤（即使用仅传输某个波段中的光的过滤器）二者。在这两种情况下，要求图像处理以生成揭示感兴趣的结构对比度的结果图像。

在这种系统中，按照惯例，拍摄高光谱图像（例如延伸超出可见光谱的图像）并且在显示屏幕上示出结果。对观察对象的不可见或很难看见的细节感兴趣的坐在显示屏幕后面的观察者可以如图像将出现在例如UV光或IR光中那样在可见光中研究屏幕上的图像。

尽管使用屏幕是非常有用的技术，但可能性受到限制。已经提出将高光谱图像投影在所研究的对象上，例如R.K.Miyake，H.D.Zeman，F.H.Duarte，R.Kikuchi，E.Ramacciotti，G.Lovhoiden，C.Vrancken的“Vein imaging: A new method of nearinfrared imaging where a processed image is projected onto the skin for theenhancement of vein treatment”，Dermatologic, Surgery，第32卷，第1031-1038页，2006年。使用激光投影仪执行投影。

使用已知技术难以（如果不是几乎不可能的话）提供良好的清晰投影，其中投影符合相对高的对准度，除非对象（在已知的现有技术中为皮肤）是静止的，并且符合高平坦度。

本发明的目的是提供一种系统和方法，其允许直接并且以正确的对准看到所观察的对象的高光谱细节。

发明内容

为此，本发明的系统的特征在于，系统的相机为光场捕获相机并且显示设备为光场投影仪，其中相机和投影仪共享同轴光路，并且其中相机被布置成捕获高光谱光场并且包括用于向光场投影仪的输入发送所捕获的高光谱光场上的数据的输出，并且光场投影仪被布置成基于从相机接收的数据而在对象之上投影可见光中的光场。

为此，本发明的方法的特征在于，对象的高光谱辐射范围中的光场由光场相机捕获，对相机所捕获的光场上的数据进行处理以向光场投影仪提供投影图像数据，光场投影仪基于投影图像数据而在对象之上投影光场，其中相机和投影仪共享同轴光路，并且可见光中的光场通过光场投影仪投影在对象上。

光场捕获相机捕获高光谱范围中（即对于人眼至少部分不可见的光谱辐射范围中）的光场，并且光场投影仪投影可见光中的光场。光场投影仪形成用于在可见光中显示记录器高光谱图像的显示设备。所投影的光场导致覆盖对象的所投影的3D图像的显示，所述3D图像在整个大深度范围内是清晰的。共享的同轴光路提供所捕获和投影的光场的相对容易对准。这允许通过投影仪在相机已经捕获其高光谱光场的观察对象上实现高光谱图像在可见光中的准确且实时投影，这同样适用于观察对象不平坦但具有3D外形的情况。

与常规2D或者甚至3D相机相比，光场捕获相机具有的优点是获得完整的光场，其中可能获得整个深度范围中的清晰图像。普通2D相机不提供大景深，并且尽管3D相机可以提供一些深度信息，但是其不能在整个深度范围中提供清晰图像。光场相机也被称为全光相机。光场相机是使用全光成像捕获有关场景的光场信息的相机。全光成像捕获入射光场，从而保留入射光的强度和方向二者。可以基于各种技术实现全光成像系统：如M.Levoy等人在“Light field microscopy”（ACM Trans. on Graphics，第25卷，第3期，第924-934页，2006年7月）中所述的微透镜阵列；如A.Veeraraghavan等人在“Dappled photography:Mask enhanced cameras for heterodyned light fields and coded aperturerefocusing”（ACM Trans. on Graphics（Proc. SIGGRAPH 2007），第26卷，第3期，2007年7月）中所述的具有连续分级衰减掩模的斑纹摄影术；如A.Levin等人在“Image and depthform a conventional camera with a coded aperture”（ACM Trans. on Graphics （Proc. SIGGRAPH 2007），第26卷，第3期，2007年7月）中所述的孔径编码掩模；如E.R.Dowski等人在 “Extended depth of field through wave-front coding”，Applied Optics，第34卷，第11期，第1859-1866页，1995年4月）中所述的波前编码器；如H.Nagahara等人在“Flexible Depth of Field Photography”（Proc. ECCV 2008，2008年10月）中所述的扫描聚焦成像。全光成像存储入射光场的空间信息。由于每个光线通过传感器上的2D位置以及水平和竖直入射角进行表征，从而添加2个更多的维度，所以所捕获的光场实际上是4维的。所投影的光场在对象上创建在整个大光学深度范围中清晰的图像。

在以上所描述的技术中，优选使用微透镜阵列。在连续分级衰减掩模和孔径编码掩模中，经过掩模的一些光被衰减，从而导致强度损失。在微透镜阵列中，使用更高百分比的可用光。

微透镜阵列位于全光相机的透镜和图像传感器之间。微透镜阵列将透镜所捕获的光重新聚焦到图像传感器上，从而创建从略微不同的视点拍摄的许多小图像。3D信息被存储在小图像中，每一个小图像由单个微透镜产生。每一个小图像都具有相对低的空间分辨率。

不使用微透镜阵列的另一种类型光场捕获相机是使用所谓的扫描聚焦或扫描透镜技术的系统。在这种相机中，在捕获图像期间改变聚焦透镜和/或传感器位置。该技术相当于在扫描聚焦时积分（intergrate）图像（即在特定场深度范围中）。所得图像包括用于聚焦扫描的所有图像信息并且还捕获所有可用光。所拍摄的图像可以被去卷积以提供各种深度处的清晰图像并且重建全光投影光场。优选使用微透镜阵列，因为光场能够被瞬间地获得。通过使用微透镜，相对容易地使相机所捕获的捕获光场与投影仪所投影的投影光场对准。

优选地，相机和投影仪沿着共享的同轴光轴共享光学成像元件的公共链。这使得所捕获的光场与所投影的光场能够更好地对准。

优选地，系统包括被定位于共享的同轴光路中的提供全光函数的元件。

通过提供共享的同轴路径中的提供全光函数的元件增加了对准所捕获和投影的光场的方便性。

这种元件可以是微透镜阵列、编码孔径、波前编码器。

在这些元件中，优选微透镜阵列。

在实施例中，系统包括用于拆分从公共光轴到光场相机和相应地从光场投影仪到公共光轴的光路的分束器，分束器具有二向色的光谱选择性属性。二向色分束器将高光谱范围中的光传递或反射到相机，同时反射或传递来自投影仪的可见范围中的光。

在另一个实施例中，使用光谱选择性照明。

在优选实施例中，系统是移动式系统，优选是便携式系统，例如手持式系统。例如，这允许医生立即并且在现场查看静脉。当必须在静脉中插入针时，这种现场检查是很大的优势。

在另一优选实施例中，该系统是外科手术照明体的一部分。

在另一实施例中，系统是较大系统的一部分。较大系统还包括用于提供观察对象的内部图像上的二次（secondary）图像数据的二次成像系统，其中系统包括基于所捕获的高光谱光场的数据来提供深度信息的处理器以及基于深度信息来将二次数据格式化为投影在对象上的图像的装置。二次成像系统可以例如是X射线系统、MRI、CT、PET-CT或超声系统。

附图说明

通过将使用下面附图进行描述的示例性实施例，这些和其它目的和优势方面将变得显而易见。

图1示出了根据本发明的系统的实施例；

图2示出了根据本发明的系统的另一实施例；

图3示出了根据本发明的系统的另一实施例；

图4示出了包括根据本发明的系统的手持式设备；

图5示出了使用如图4中所示的手持式系统的静脉图像增强；

图6示出了包括根据本发明的系统的外科手术或牙科医生灯；

图7和8示出了包括根据本发明的系统的X射线系统；

图9示出了使用微透镜来捕获光场和投影光场的原理；

图10示出了用于微调所捕获和投影的光场之间的对应关系的方法。

附图不按比例绘制。通常，同样的部件在附图中使用相同的标号表示。

具体实施方式

本发明的目的是提供一种作为所观察的组织上的投影的结果图像，然而以这种方式使得投影总是正确聚焦在组织上，而不管组织的表面曲率或其相对于捕获/投影设备的取向如何。

高光谱成像提供对比度，例如肉眼不可见的组织对比度。例如，改进的对比度可以用来在外科手术或者将针引入静脉中期间揭示血管和神经。它也可以用来标识恶性组织。

高光谱图像捕获可以基于单色的非光谱选择性图像传感器和使用图像传感器之前的光谱选择性过滤，其类似于常规RGB相机但是具有更多颜色通道并且具有不同过滤特点。否则，高光谱图像捕获也可以基于光谱选择性（控制的）照明与未过滤的图像传感器的组合。“过滤的照明”和“过滤的获取”的组合也是可能的。

通过用于相同空间位置的不同光谱输入值的线性加权组合的方式，通常将不同材料之间的光谱响应差异转换为可见对比度（b/w或伪彩色）。各种不同的预定权重组合导致不同的组织对比度。因此，来自高光谱图像捕获的结果通常为具有感兴趣的材料（液体或组织）的增强的对比度的图像。这样，例如，可能基于它们相比于例如皮肤的细微但是不同的光谱响应来揭示静脉和动脉的位置。对应的结果图像描绘直接处于所观察的皮肤区域之下的血管结构。本发明的一个目的是实时地并且与所观察的组织恒定正确对准地将结果图像实时投影在所观察的组织上。

目前的高光谱成像系统的缺点一般在于，结果数据在显示屏幕上单独地出现，使得与真实组织的几何关系容易丢失。如今，使用扩增的真实眼镜是保持在形成显示屏幕的眼镜中生成的结果数据与外科医生所观察的组织恒定对准的流行方法。主要缺点在于，这要求针对工作区域的位置对其位置和取向进行跟踪的头戴式设备，从而增加这种解决方案的复杂性。此外，它迫使专家佩戴特殊的眼镜。另外，手术室中存在许多人；如果只有专家携带特殊的眼镜，则助理不能看到专家正在观看的是什么，除非他们也佩戴眼镜并且所述眼镜的位置和取向也被跟踪，从而极大地增加系统的复杂性。

本发明的一个目的是提供一种系统和方法，其允许直接并且以正确的对准看到所观察的对象的高光谱细节而不需要3D对象跟踪或佩戴特殊的眼镜。

图1示出了根据本发明的系统和方法的实施例。

在对象1（在该示例中为人体组织）上，从高光谱源2照射高光谱光。该光源可以是系统的一部分，并且在优选实施例中，它是，或者可以单独地提供。高光谱源例如在IR中或在UV中使该组织形成高光谱图像。可替换地，对象本身可以独立于高光谱光源的存在而提供高光谱图像，也就是人眼看不到或难以看到的波长中的图像。例如，该对象可以提供有物质，该物质在过去已经被照射之后在特定波长中发出磷光。

可替换地或另外地，组织1可以甚至在没有照射于其上的光源的情况下提供IR图像，该IR图像在IR波长中示出可见波长中不可见的细节。可替换地或另外地，可以利用供应可见光以及例如UV和/或IR光的源来照射对象，在到相机的光路中或在相机中提供波长选择性元件使得相机记录高光谱图像。

可替换地或另外地，相机可以提供有以电子方式在可见光中记录图像的传感器像素以及在高光谱辐射范围中记录图像的传感器像素，并且来自高光谱敏感像素的数据被用于高光谱光场。

还可能的是，使用包括对可见光和高光谱（例如光谱的IR和/或UV部分）辐射都敏感的像素的光场相机，并且将波长选择性过滤器按时间顺序放置在提供可见光以及高光谱辐射的源的前面，其中过滤器传递可见光或光谱的高光谱部分并且使从光场相机的数据获取与时序照明同步以便提供高光谱范围中和也可能是光谱的可见部分中的光场数据。

在实施例中，在电磁波谱的UV或IR范围中拍摄高光谱图像。这些实施例是优选的。

然而，可以在其它电磁波谱范围中例如借助于X射线成像或太赫兹成像来拍摄高光谱图像。

对于这种实施例，光场相机为在电磁波谱的X射线或太赫兹部分中提供光场数据的X射线或太赫兹成像设备。

由光场相机3通过透镜系统5捕获组织所提供的4D光场。透镜系统5包括分束器6和微透镜阵列7。在图1中由CLF表示所捕获的光场。光场相机包括在其上捕获光场的传感器。经由图像处理器8向光场投影仪4提供所捕获的光场上的数据。因此，相机的输出提供用于投影仪的输入的数据。然而，“提供数据”不应该被解释为意味着相机数据被直接供应到投影仪，而是相机数据形成用于投影仪的数据的基础。在光场相机3的输出和光场投影仪4的输入之间可以提供数据的处理。光场投影仪经由分束器6和微透镜阵列7将光场PLF投影在组织1上。优选地，光源形成系统的一部分。这使得能够控制照射在对象1上的光的强度。图1的实施例示出了一种系统，其中在UV或IR中拍摄高光谱图像。如上所述，可以以各种方式拍摄这样的图像。为简化起见，在图中未示出波长选择性元件。这种波长选择性元件可以例如放置在源的前面或相机的前面，或者如果相机包含用于可见光而非UV或IR的不同像素，则数据可以以电子方式过滤，即借助于数据过滤器对光场相机所获取的数据进行过滤。

由于一般地微透镜阵列中的微透镜的短焦距的缘故，所以微透镜阵列趋于创建也非常紧密地聚焦在透镜阵列后面的微图像阵列。在微透镜阵列7和分束器6之间并且还在分束器后面的光学透镜系统转播（relay）该（微）图像平面，使得微图像平面与相机的传感器平面并且与投影仪中的图像生成元件的平面重合。图像生成元件可以例如为发光元件阵列、和切换反射镜（通常为DLP元件）阵列，或LCD光快门阵列。

投影仪4和相机3共享公共同轴光轴。通过光线是平行的事实在图1中示出公共光轴。使用用于图像捕获和投影的公共光路的优点在于，所投影的覆盖与相关联的组织良好对准。除用于感测和投影元件尺寸中的差异的缩放之外，不要求复杂的3D处理。

每个微透镜可以认为是超像素，该超像素不仅存储角度信息，此外还存储该“超像素”的位置处的入射光的强度。同样地，生成与微透镜阵列相关联的相同微图像的投影仪将导致其焦平面与原始表面平面重合的投影，而不管其弯曲的形状如何。使用公共光路和传感器与投影仪像素的对准将导致总是聚焦在使用相机来捕获的表面上的投影。因为微透镜阵列不会衰减光场，所以优选使用微透镜阵列。

该系统可以被称为提供范围不变的捕获和投影的全光高光谱扩增的现实系统。

取决于应用，分束器6也可以提供光谱选择性。特别地当图像捕获主要是在不可见光域（诸如IR）中时，分束器可以具有二向色属性。在这种情况下，入射IR光遵循朝向相机的直线路径，并且来自投影仪的可见光被分束器折射。

图2也示出了根据本发明的系统的实施例。反射镜被用来折叠所投影的光场。在某些情况下这允许系统的更紧凑设计。

图3示出了另一实施例。在该实施例中，相机和投影仪包括不同的微透镜阵列。图1和2的系统是优选的，但是例如如果高光谱成像的光谱波长要求不太适合于可见光波长的微透镜的特定材料，则可以使用单独的微透镜阵列。在图1-3中，相机和投影仪沿着公共光轴共享公共成像元件。

图4和5示出了系统的优选实施例。在该实施例中，系统是移动式系统，优选是便携式系统。在该实施例中，系统是手持式系统。系统包括手持式设备内的高光谱源、相机和投影仪，其中便携式设备用来捕获组织区并且例如在静脉位置上提供以其它方式不可见的数据的投影，如图5所示。在其中快速找到静脉重要或甚至必不可少的情形中，使用便携式设备实现例如静脉的适当图像捕获和适当投影的清晰图像提供极大的优点。当例如在紧急情形（诸如事故）中将针插入静脉中时，快速且准确地工作并且仅需要能够容易地操作并被带到紧急情形的相对简单的设备可能是至关重要或甚至关乎生死的。现有系统不提供准确且实时地并且在事故现场提供静脉的位置的图像或其它高光谱细节的可能性。图4和5的便携式系统不提供这种可能性。在这种情况示例下，系统为手持式的。该系统可以佩戴在头盔上或袖子上使得双手自由地插针或执行其它医疗过程。

图6示出了根据本发明的系统在外科手术灯或牙科医生灯中的使用。可选地，灯可以提供光谱选择性照明以作为高光谱图像捕获的部分。

在又一实施例中，本发明可以合并在包括二次成像系统（例如X射线成像系统）的系统中，或更一般地合并在产生观察对象的内部图像的系统（例如在专利申请WO2010067281中所述的系统）中。

图7中示出了用于这种实施例的系统的示意图。

系统包括附设有对UV、可见或红外波长敏感的两个相机的X射线C形臂。所示C形臂X射线系统包括底座框架72，该底座框架72在轮子71上可移动并且C形臂73位于底座框架72处使得C形臂73可绕着轴线74旋转（回转），从而它也可以在双箭头76的方向上绕着轴线75转向（轨道旋转）。尽管这里描述了移动式系统，但是X射线系统也可以如在导管室中那样固定在墙上。以180度彼此相对的X射线源77和检测器81（优选地矩形平坦探测器）在C形臂73的端部区中紧固到C形臂73。

X射线C形臂能够获取患者的三维内部图像。相机系统82附设在检测器81旁边并且能够捕获患者操作场的图像。在特定实施例中，相机系统能够对患者进行三维成像。此外，根据本发明的高光谱成像系统83也附设到检测器81并且能够以图像聚焦在患者的弯曲表面上的这种方式在可见光中将信息投影回到患者上。例如，结构（诸如肿瘤边界）在高光谱图像中更好地描绘并且可以根据本发明在可见光中投影回到患者上。这使得肿瘤边界对于外科医生更可见。除该高光谱成像返回投影之外，通过系统83对X射线系统所拍摄的并被转换成可见图像的图像的返回投影是可能的。例如，在X射线成像的情况下可见的深入到人体内部的肿瘤位置被投影回到患者身体上。这样，外科医生具有肿瘤所在位置的更好指示。同样，可以指示重要结构，诸如恰好位于表面下方并且人眼不可见的大血管。这样，当在该位置处切口时，外科医生提前仔细了解。取代X射线系统，类似途径也可以应用于MRI、CT、PET-CT或超声系统。也可以使用太赫兹成像系统。所有这些系统提供观察对象的内部图像，并且在所有情况下，数据源产生2D图像流，该2D图像流形成除基于相机获取的数据之外的二次数据集合。

在图7的系统中，高光谱成像系统和二次成像系统（图7中的X射线系统）的相对位置是已知和固定的。这使得高光谱和内部成像能够相对简单地匹配。

在其中高光谱成像系统和二次内部成像系统的相对位置在或多或少更大程度上可变的系统中，优选地提供装置以确定高光谱成像和二次成像系统的相对位置。这可以自动完成，例如通过提供电子装置以测量两个成像系统的X、Y和Z坐标，并且优选地还测量成像系统的取向或轴线（如果该信息相关的话）。当然，这也可以通过手动输入这种数据来完成。可替换地或另外地，自然出现的或特别放置在相应图像范围内的存在于高光谱图像和二次图像中的图像特征可以用来对准高光谱图像和二次图像。例如，将在高光谱以及可见以及X射线图像中示出的患者身上各种点处的小金属对象可以用于该目的。

图8进一步示出了图7的系统。来自例如X射线数据的这种二次图像数据的使用要求深度图d(x,y)的显式计算，该深度图d(x,y)描述针对投影仪的每个像素(x,y)的全光相机/投影仪与组织表面之间的距离d。这与仅要求空间插值以将全光相机的输入像素网格匹配到投影仪的输出像素网格的全光相机数据本身形成对比。

所捕获的光场包括深度信息。为了从所捕获的光场数据恢复距离轮廓，例如通过Bishop等人的T. Bishop, P. Favaro “Plenoptic depth estimation from multiplealiased views”（2009年IEEE 12th International Conference on Computer VisionWorkshops（ICCV Workhshops），IEEE，第1622-1629页，Los Alamitos，2009）和Wanner等人的S. Wanner, J. Fehr, B. Jaehne “Generation EPI representations of 4D lightfields with a single lens focused plenoptics camera”（Proc. ISVC 2011, G.Bebis等人，第90-101页，2011）已经提出各种解决方案。然后，这变成由图8中的处理框8执行的额外任务。然后，所恢复的深度图d(x,y)在部分9中被用来将来自二次数据源的图像重新格式化为微图像阵列。然后，在与微透镜阵列适当对准的情况下，二次数据还将以适当聚焦在组织表面上进行投影，而不管其形状和取向如何。虽然未示出，但是部分9也可以具有用于输入高光谱和X射线成像系统的相对位置和/或取向上的数据的输入。

图9示出了使用微透镜来捕获光场和投影光场的原理。图9的顶部部分示出了光场的捕获。全光成像存储入射光场的空间信息。在使用微透镜阵列的情况下，3D信息被存储在小微图像中，每一个小微图像由微透镜阵列中的单个微透镜产生。由于每个光线通过传感器上的2D位置以及水平和竖直入射角进行表征，从而添加2个更多的维度，所以所捕获的光场实际上是4维的。

每个微透镜可以认为是超像素，该超像素不仅存储角度信息而且存储该“超像素”的位置处的入射光的强度。

图9的底部部分示出了从投影仪4的像素投影光场。光线是反向的。生成与微透镜阵列相关联的相同微图像的投影仪将导致其焦平面与原始表面平面重合的投影，而不管其弯曲的形状如何。使用公共光路和传感器与投影仪像素的对准将导致总是聚焦在利用相机捕获的表面上的投影。如果所有元件都准确地相同，尺寸相同，位置相同等，那么在相机的像素和投影仪的像素之间具有简单的一对一关系。在现实中，这两个在尺寸或确切位置方面可以不同。然而，关系保持平移（T）和缩放（S）的简单任务。这在处理器8中执行。

也可以通过为投影仪或相机提供用于在x和y方向上平移传感器或投影表面的装置来机械地完成平移任务。

在图9中，通过具有公共光学元件，并且特别是提供全光函数的公共元件，微透镜阵列7增加了图像记录和投影的光路之间的对应关系，从而简化了处理。

图10示出了用于找到所要求的平移和缩放因子的方法。

在图10中，提供了测试图像T，该测试图像T由向处理器8发送所记录的图像上的数据的相机3来记录；处理器8将例如通过先前计算机生成的光线跟踪相机和投影仪的假定已知特征而找到的初始T和S变换应用到数据并且将数据发送到投影仪4。所投影的图像与测试图像进行比较，这可以例如使用能够记录高光谱图像和所投影的图像二者的单独相机来完成。如果测试图像和所投影的图像重合，则使用用于T和S的预设值，否则，T和S的值变化直到测试图像和所投影的图像重合为止。这是一种找到T和S值的方式。在图10中，示出了用于通过调整平移和缩放因子T和S以使测试图像T与所投影的光场图像对准来使根据本发明的系统的光场相机与光场投影仪对准的方法。在根据本发明的优选方法中，在获取光场图像和投影光场图像之前，进行该测试和对准过程。

总之，本发明可以简短地描述如下：

成像系统包括用于记录高光谱光场（CLF）的光场相机3。该系统还包括用于在可见光中投影光场（PLF）的光投影仪4。相机和投影仪共享公共光轴。投影仪基于光场相机所捕获的高光谱光场（CLF）来投影光场（PLF）。

本发明并不局限于图中示出的或上文描述的示例性实施例。对于本领域技术人员将清楚的是，许多变型都是可能的。

词语“包括”不排除除权利要求中所列出的那些之外的其它元件或步骤的存在。元件前的冠词“一”或“一个”的使用并不排除多个这种元件的存在。

词语“装置”包括任何装置，而不管其形式为用于执行指定功能的软件、硬件或其任何组合。

例如当从光场相机向部分8发送要处理的光场数据以向投影仪4提供投影光场数据时，系统的不同元件可以并且优选地处于单个设备中，但各种元件可以位于各种物理位置处。该部分8可以与相机和投影仪处于相同的设备中，并且优选地也可以处于CPU中或互联网上的站点上或由各种系统共享。数据可以由用于传输数据的任何装置通过有线和无线从相机3传输到部分8。这同样适用于从部分8到投影仪4的数据。

对于其中借助于软件来完成本发明的那些实施例而言，本发明还总体地或部分地涉及一种包括存储在计算机可读介质上的用于执行根据本发明的方法的程序代码装置的计算机程序产品，并且涉及一种由计算机布置加载的计算机程序产品，其包括用于根据本发明的方法的指令。

Claims (13)

1.一种包括高光谱成像系统的系统，所述高光谱成像系统包括：

用于记录对象的高光谱图像的相机，和

用于在可见光中显示所述高光谱图像的显示设备，

其中所述相机是光场捕获相机并且所述显示设备是光场投影仪，其中所述相机和投影仪共享同轴光路，并且其中所述相机被布置成在对于人眼至少部分不可见的光谱辐射范围中捕获高光谱光场，由此获得所述对象的高光谱图像，并且其中所述光场捕获相机包括用于向所述光场投影仪的输入发送所捕获的高光谱光场上的数据的输出，并且所述光场投影仪被布置成基于从所述光场捕获相机接收的数据来在所述对象之上投影可见光中的光场；

所述系统还包括：

用于提供观察对象的三维内部图像上的二次图像数据的二次成像系统；以及

基于所捕获的高光谱光场的数据来提供深度信息并且基于所述深度信息来将所述二次图像数据格式化为用于使用所述光场投影仪投影在所述对象上的图像的处理器。

2.如权利要求1所述的系统，其中所述光场相机和光场投影仪沿着共享的同轴光轴共享光学成像元件的公共链。

3.如权利要求1或2所述的系统，其中所述高光谱成像系统包括被定位在共享的同轴光路中的提供全光函数的元件。

4.如权利要求1或2所述的系统，其中所述高光谱成像系统包括提供全光函数的微透镜阵列。

5.如权利要求4所述的系统，其中所述微透镜阵列为所述光场相机和光场投影仪所共用的元件。

6.如权利要求1或2所述的系统，其中所述高光谱成像系统包括用于拆分从公共光轴到所述光场相机和相应地从所述光场投影仪到公共光轴的光路的分束器，所述分束器具有二向色的光谱选择性属性。

7.如权利要求1或2所述的系统，其中所述高光谱成像系统是移动式系统。

8.如权利要求1或2所述的系统，其中相机是用于在电磁波谱的IR或UV部分中记录高光谱光场的相机。

9.如权利要求1或2所述的系统，其中所述二次成像系统是X射线成像系统、MRI、CT、PET-CT或超声成像系统。

10.一种用于记录高光谱图像和在可见光中显示所述高光谱图像的方法，其中对象的对于人眼至少部分不可见的光谱辐射范围中的光场被光场相机捕获，由此获得所述对象的高光谱图像，对所述相机所捕获的光场上的数据进行处理以向光场投影仪提供投影图像数据，所述光场投影仪基于所述投影图像数据来在对象之上投影光场，其中所述相机和投影仪共享同轴光路，并且可见光中的光场被所述光场投影仪投影在所述对象上，对所述光场相机所捕获的光场上的数据进行处理以提供深度信息，并且其中在所述对象的三维内部图像上提供二次图像数据，并且其中使用所述深度信息重新格式化所述二次图像数据，并且向所述光场投影仪提供所述重新格式化的数据。

11.如权利要求10所述的方法，其中在电磁波谱的IR或UV部分中捕获所述光场。

12.如权利要求10所述的方法，其中所述二次图像数据由X射线成像系统、MRI、CT、PET-CT或超声系统来提供。

13.一种装置，包括存储器和处理器，所述存储器用于存储机器可执行指令，所述机器可执行指令用于在由处理器执行时执行权利要求10至12中任一项所述的方法。