CN116547983A

CN116547983A - 用于眼科显微镜设备的图像曝光技术

Info

Publication number: CN116547983A
Application number: CN202180080596.9A
Authority: CN
Inventors: A·韦伯; P·格洛尔
Original assignee: Haike Slater Co ltd
Current assignee: Haike Slater Co ltd
Priority date: 2021-01-22
Filing date: 2021-01-22
Publication date: 2023-08-04
Also published as: WO2022156904A1; EP4236760A1; JP2024505182A; US20230379589A1; EP4236760B1

Abstract

眼科显微镜设备中的图像曝光通过首先使用第一曝光参数用显微镜的相机(22)记录相机图像(M)来控制。然后使用例如基于使用离散微分算子的卷积的边缘检测来识别图像具有高和低边缘密度的区域。相机图像(M)的亮度参数是通过比其它区域中更强地加权边缘密度增加的区域中的像素亮度来计算的。然后使用亮度参数来控制显微镜的曝光参数。

Description

用于眼科显微镜设备的图像曝光技术

技术领域

本发明涉及一种用于控制眼科显微镜设备中的图像曝光的方法以及一种具有适于执行这种方法的控制单元的眼科显微镜设备。

背景技术

眼科显微镜设备，诸如裂隙灯显微镜或眼底相机，具有用于照亮被检体的眼睛的照明源，诸如裂隙灯，以及用于查看它的显微镜。显微镜常常包括相机。

当用相机记录图像时，可以自动调整曝光时间、孔径宽度、增益和/或照明时间以实现曝光校正。例如，可以计算所记录图像的平均亮度值，然后可以改变曝光参数以将这个平均亮度值调整为期望的值。

发明内容

本发明要解决的问题是提供一种提供改进的图像质量的上面提到的类型的方法和显微镜。

这个问题通过独立权利要求的方法和显微镜解决。

因而，用于在具有相机和照明源的眼科显微镜设备中控制图像曝光的方法至少包括以下步骤：

-用相机使用第一曝光参数记录相机图像：“相机图像”可以是由相机本身记录的原始图像或从中导出的图像，例如，通过改变分辨率和/或压缩和/或通过应用第一图像处理步骤。

-使用边缘检测来识别相机图像(M)的至少一个第一子区域和至少一个第二子区域，其中第一子区域具有比第二子区域更高的边缘密度。子区域可以例如与相机图像的(可能按比例缩小的)像素的某些子集对应。

-通过比第二子区域中的像素亮度更强地加权第一子区域中的像素亮度来计算相机图像的亮度参数。换句话说，如果相机图像的像素A是第一子区域中的像素并且相机图像中的像素B是第二子区域中的像素，那么像素A的亮度将比像素B的亮度更强地影响亮度参数。例如，可以完全忽略像素B的亮度或者按比例缩小从而对亮度参数具有较弱的影响。

-取决于亮度参数，调整第一曝光参数以获得第二曝光参数：例如，如果亮度参数太低，那么可以增加曝光时间、照明强度、孔径直径和/或相机增益。可以调整参数中的至少一个或其中的几个。

-使用第二曝光参数，用相机记录经调整的图像。

这种方法基于这样的理解，即，在眼科显微镜中，景深小并且通常只会覆盖感兴趣区域或其一部分。场景的很大一部分通常是失焦的(out-of-focus)并且在对应的图像区域中无法表现出清晰的像素强度改变。

因此，通过对相机图像的边缘丰富的子区域进行比更均匀的子区域更强的加权以计算亮度参数，可以为感兴趣的(一个或多个)子区域实现更好的曝光。这会导致图像的更多“同质”部分曝光不足或曝光过度，但这些部分通常并不是感兴趣的。

该方法的步骤有利地例如由显微镜的控制单元自动执行。

确定第一和第二子区域的步骤可以包括计算边缘强度图像的步骤，该边缘强度图像具有指示在相应像素处存在边缘的像素值。

这种边缘强度图像可以例如使用诸如Sobel或Laplace滤波器之类的离散卷积算子来计算。该操作可以例如在相机图像上或从其导出的图像上执行，诸如在相机图像的灰度版本和/或相机图像的按比例缩小版本上。然后可以通过例如空间平滑或按比例缩小来对边缘强度图像进行空间平均以获得反映边缘的强度和密度两者的图像。

在确定第一和第二子区域的步骤中，可以为图像的不同预定部分指派不同的权重。例如，图像中更靠近中心的部分比更远离中心的部分更强地被加权。然后，在识别第一子区域和第二子区域之前，用不同的权重对边缘密度进行加权。换句话说，不同的部分将获得不同的重要性。例如，通过对图像的中心更强地加权，计算出的亮度参数对图像的中心的边缘结构变得更加敏感。

本方法允许将曝光控制集中在图像的焦点对准的部分上，即，集中在具有高边缘密度的部分上。在计算亮度参数时，可能大得多但或多或少均匀的其它区域的权重较低或根本没有加权。这与常规的曝光控制方法形成对比，在常规的曝光控制方法中，大而均匀的区域会主导(dominate)曝光参数。

本发明还涉及一种眼科显微镜设备，特别是裂隙灯，其具有照明源、相机和控制单元。控制单元连接到照明源和相机，并且适于(例如，通过编程和/或硬件)执行本发明的方法。

附图说明

当考虑下面的详细描述时，本发明将被更好地理解并且除上述那些之外的目的将变得明显。这种描述参考附图，其中：

图1是裂隙灯显微镜的视图，

图2是显微镜的功能块电路图，

图3是显微镜的光学器件的部分的示意图，

图4是由相机记录的图像的灰度版本，以及

图5表示通过该方法计算的权重图像。

注意：图4和5由于打印而是抖动的。实际图像例如是真实标量图像。

具体实施方式

定义

“相乘”两个基于像素的图像被理解为将第一图像的每个像素值与第二图像的对应像素值相乘以计算结果所得图像的相应像素值。可选地，可以在这种操作之前重新缩放图像，使得第一图像的每个像素被指派给第二图像的定义的像素，反之亦然。

如果图像之一具有多分量像素值(例如，RGB值)而第二个图像具有标量像素值，那么相乘可以例如包括将第一个图像的每个多分量像素值与第二个图像的像素值相乘，导致再次具有多分量像素值的图像。在另一个变体中，相乘可以首先将第一图像的像素的多分量像素值组合成单个值，例如，使用求平均运算，然后将该单个值与第二个图像的像素值相乘，在这种情况下，结果所得的图像具有标量像素值。

术语“边缘密度”是与图像的给定子区域中的像素强度的不连续性的数量和量值相关的任何测量。例如，它可以是如下所述的离散Laplace变换的值、给定频率以上的2D傅立叶频谱的功率等。

硬件

图1示出了裂隙灯显微镜作为眼科显微镜设备的示例。该设备包括显微镜2和照明源4，诸如裂隙灯。这两个元件都可以例如绕共用枢轴6枢转并且被用于查看被检体(subject)的眼睛。

可以提供头枕8，以供被检体将他/她的头靠在该头枕8上。

该设备还可以具有外部显示器10，其有利地是触摸屏。

显微镜设备的用户可以在显示器10上或直接通过使用显微镜2的目镜12来查看被检体的眼睛的图像。

图2示出了显微镜设备的功能块电路图。该设备包括控制单元20，其例如是配备有合适的存储器并且被编程为提供该设备的功能的微处理器。控制单元20可以内置于设备本身或者是设备的外部部分。

控制单元20连接到照明源4、连接到显微镜2的电子相机22并连接到设备的其它部分24，诸如连接到显微镜2的成像光学器件中的可调孔径。

控制单元20还可以连接到外部显示器10和/或内部显示器26(见下文)。

图3示出了显微镜2的光学器件的示意图。它包括用于拍摄被检体的眼睛32的图像的物镜光学器件30。物镜光学器件30可以具有由控制单元20控制的可调孔径和/或可变放大率。

来自物镜光学器件30的光通过分束器34被发送，其中光的一部分被传输到目镜12以被用户36直接查看。

分束器34将来自物镜光学器件30的光的一部分反射到相机22，该相机例如可以是CCD相机。

此外，显微镜设备2可以包括上面提到的内部显示器26。来自内部显示器26的光被发送到分束器34，其中光的一部分被反射到目镜12中，这允许用户查看显示在内部显示器26上的信息。

曝光控制

控制单元20被适配和编程为当用相机22记录图像时自动选择合适的曝光参数。这些参数可以是以下一项或多项：

-照明源2的亮度：例如，可以通过调整通过照明源2的电流来调整这个亮度。

-照明源2的脉冲长度：照明源2可以在记录图像时以脉动模式操作，即，它可以在借助于相机22记录单个帧时发射一个或多个光脉冲。在那种情况下，可以调整记录帧时(一个或多个)光脉冲的总持续时间以获得合适的曝光。

-显微镜的孔径直径：如果显微镜2包括如上面所提到的可调孔径，那么孔径的直径可以由控制单元20改变以减少或增加曝光。

-相机的增益。

-相机的采样时间，即，拍摄单个图像时的积分时间。

为了找到(一个或多个)合适的曝光参数，控制单元20首先用相机22拍摄“相机图像”。从这个相机图像，它计算亮度参数B，如下所述。如果亮度参数B指示图像不够亮，那么控制单元20增加上面提到的曝光参数中的一个或多个，然后借助于相机22拍摄“经调整的图像”。

特别地，控制单元20可以实现控制循环，其中它尝试通过改变一个或多个曝光参数来将由相机22拍摄的几个连续图像的亮度参数B调整到期望的值。

计算亮度参数

本方法基于从由相机记录的图像测量至少一个亮度参数B。下面，更详细地描述计算这个参数的步骤。

步骤1：记录相机图像

在第一步中，相机图像M借助于相机22记录。相机图像是由相机记录的图像的基于像素的表示。例如，这可以是彩色图像、灰度级图像或伪彩色图像。如上面所提到的，它可以是由相机22拍摄的未加工图像或通过第一图像处理步骤从这个未加工图像导出。

步骤2：计算灰度级图像

在下一步中，可以从相机图像M计算灰度级图像G，即，每个像素G_ij(具有i＝1...N和j＝1...M)是指示给定像素区域的“亮度”的标量值。如果相机图像M是彩色图像，那么灰度级图像G可以例如根据相机图像M的RGB值的加权平均来计算。

步骤3：计算边缘强度图像

在下一步中，例如从灰度图像G(如果已经计算出灰度级图像)或直接从相机图像M计算边缘强度图像E。边缘强度图像E的像素值E_ij指示G_ij与其相邻像素之间存在不连续性。

例如，可以在卷积运算中使用2D离散Laplace算子D从灰度级图像G计算边缘强度图像E，并取结果的绝对值，即

E_ij＝|(D*G)_ij|. (1)

离散Laplace算子D是例如使用具有合适核的卷积计算的，其中该核计算像素的值与其相邻像素之间的加权差，例如，参见https://en.wikipedia.org/wiki/Discrete_Laplace_operator。Laplace算子是图像的二阶空间导数的2D各向同性测量。它突出了强度快速改变的区域。

代替使用绝对离散Laplace算子D，可能代替地使用其它边缘敏感滤波器，诸如Prewitt、Roberts、Sobel、Scharr等。目前优选地是Scharr。而且边缘强度图像也可以被空间求平均，例如，通过按比例缩小以获得反映边缘的强度和密度两者的经过滤的图像。

注意的是，边缘强度图像也可以直接从相机图像M计算，例如，这允许检测在灰度级空间中可能不明显的色调或饱和度的边缘。

代替计算完整的边缘强度图像，一般可以使用边缘检测来识别相机图像的具有高边缘密度的至少一个区域和具有低边缘密度的另一个区域，例如，通过将相机图像划分成几个子区域、计算每个子区域的傅立叶变换，并识别具有最强高频频谱分量的子区域。

步骤4：偏移边缘强度图像

在可选的步骤4中，边缘强度图像偏移某个固定值

E'＝E+off. (2)

这使得边缘的密度/强度低的区域对最终曝光的影响仍然最小。

步骤5：添加渐晕

在可选的步骤5中，边缘强度图像E(或E')逐像素地与滤波器图像F相乘，该滤波器图像在图像的中心有比在图像的边缘具有更高的值。这一步的结果是权重图像W：

W_ij＝E'_ij·F_ij (4)

滤波器图像F例如可以是以图像为中心的值的高斯分布，例如，

形状变量k>0。

可替代地，滤波器图像F可以是偏袒(favor)图像的某些预定义部分，同时降低其它部分的重要性的任何其它像素分布。有利地，它在图像的中心具有最高像素值F_ij并且像素值随着离图像中心的距离增加而单调减小。

步骤6：归一化

前面步骤的结果，权重图像W可以被归一化(除非在该方法的另一个步骤中执行归一化)，即，它的像素值被缩放使得它们的和等于给定的预定义的值(即，独立于相机图像的值)，特别是1。例如，归一化的权重图像W'可以被计算为

步骤7：计算亮度参数

使用归一化的权重图像W'，亮度参数B可以被计算为灰度级图像G的所有像素的加权和，权重由权重图像给出：

B＝∑_i，jW_ij·G_ij (7)

亮度参数B是灰度级图像G的像素的亮度的加权和，对于边缘结构处的像素以及(如果使用渐晕)对于更接近例如图像的中心的像素，权重更高。

代替从灰度级图像G计算亮度参数B，还可以通过例如直接与相机图像M相乘来计算亮度参数B，再次通过用权重图像W的像素值对其像素值进行加权。

图像分辨率

在上面用于计算亮度值的示例中，假设所有图像都具有相同的分辨率。

但必须注意的是，各种图像的分辨率可以有所不同。可以在各个步骤之间和/或在数学上组合各个图像时使用映射操作。

例如，相机图像M的分辨率不一定与相机的分辨率相同。例如，由相机记录的图像的一部分可能被截掉(例如，当仅使用矩形、非方形相机的正方形区域时)，和/或相机的图像的分辨率可能已被按比例缩小以导出相机图像M以进行更快的处理。

类似地，边缘强度图像E可以在偏移、渐晕、归一化和/或计算亮度参数之前被缩小。这可以被看作是一种将边缘强度转换成组合的边缘强度/密度信息的空间平均的方式。这种按比例缩小的优点有两个。一方面，处理变得更快。另一方面，相机图像M中靠近边缘结构的像素即使不在边缘结构处也会被赋予较大的权重。

示例

图4示出了裂隙灯显微镜拍摄的(抖动的)灰度级图像G。该图像示出了边缘丰富区域，该区域与由狭缝照明突出显示的角膜部分对应。

图5示出了使用上述步骤从图4的灰度级图像计算出的权重图像W。可以看出，它在图4的边缘丰富结构的中心具有高(亮)值。

笔记

在上述步骤3至5中，边缘检测被用于识别相机图像中具有高边缘密度的至少一个“第一子区域”。这个第一子区域例如可以与具有高值的边缘强度图像E或E'的像素对应，或者，如果使用基于2D傅立叶变换的边缘检测，那么与具有最强高频谱分量的(一个或多个)子区域对应。类似地，识别具有低边缘密度的至少一个“第二子区域”。这个第二子区域例如可以与具有低值的边缘强度图像E或E'的像素对应，或者，如果使用基于2D傅立叶变换的边缘检测，那么与具有最低高频频谱分量的(一个或多个)子区域对应。

第一和第二子区域的识别过程可以如在步骤5中那样使用指派给图像的预定部分并与来自步骤4的权重相乘的权重的第二个集合。在这个上下文中，“预定部分”是其位置独立于相机图像M的内容的部分。

在上面的示例中，滤波器图像F的像素指示这些预定部分，因为它们在要被更强地加权的部分中具有高值。当计算方程式(4)时，由边缘密度图像E或E'体现(embody)的边缘密度用图像预定部分的不同权重进行加权，权重由滤波图像F体现。在具体示例中，靠近图像中心的部分比远离中心的部分权重更大。

具体而言，对于第一和第二子区域的识别过程可以偏袒靠近图像中心的子区域，作为第一子区域。换句话说，靠近图像中心的部分比远离中心的部分权重更大。

通过对第一子区域中的像素亮度进行比第二子区域中的像素亮度更强的加权来计算相机图像的亮度参数B。在示例中，它计算灰度级图像像素的加权和的平均值。

在更一般的实施例中，等式(7)可由下式代替

B＝f₁(∑_i，jf₂(W_ij·G_ij))，， (7)

其中f₁和f₂是单调函数。换句话说，亮度参数可以非线性地依赖于乘积W_ij·G_ij。

虽然示出和描述了本发明的当前优选实施例，但应清楚地理解本发明不限于此，而是可以在所附权利要求的范围内以其它方式实施和实践。

Claims

1.一种用于控制眼科显微镜设备中的图像曝光的方法，其中眼科显微镜设备具有相机(22)和照明源(4)，并且其中该方法包括以下步骤：

使用第一曝光参数用相机(22)记录相机图像(M)，

使用边缘检测来识别相机图像(M)的至少一个第一子区域和至少一个第二子区域，其中第一子区域具有比第二子区域更高的边缘密度，

通过比第二子区域中的像素亮度更强地加权第一子区域中的像素亮度来计算相机图像(M)的亮度参数(B)，

取决于亮度参数(B)，调整第一曝光参数以获得第二曝光参数，以及

使用第二曝光参数用相机(22)记录经调整的图像。

2.如权利要求1所述的方法，其中确定第一子区域和第二子区域的步骤包括计算边缘强度图像(E，E')的步骤，该边缘强度图像(E，E')具有指示在相应像素处存在不连续性的像素值。

3.如权利要求2所述的方法，其中边缘强度图像(E，E')是通过对相机图像(M)或从相机图像(M)导出的图像应用离散卷积算子来计算的。

4.如前述权利要求中的任一项所述的方法，其中，在识别第一子区域和第二子区域的步骤中，为图像的不同预定部分指派不同的权重，其中在识别第一子区域和第二子区域之前，用不同的权重对边缘密度进行加权，并且特别是其中更靠近图像的中心的部分比远离中心的部分更强地被加权。

5.如权利要求4以及权利要求2或3中的任一项所述的方法，包括通过将边缘强度图像(E，E')与滤波器图像(F)相乘来计算权重图像(W，W')的步骤，其中滤波器图像(F)具有指示图像的预定部分的像素值。

6.如权利要求5所述的方法，包括将权重图像(W，W')与相机图像(M)或与从相机图像(W)导出的图像，特别是与相机图像(M)的灰度级图像(G)，相乘的步骤。

7.如权利要求6所述的方法，其中，

在将权重图像(W，W')与相机图像(M)相乘之前，通过按比例缩放权重图像对其进行归一化，使其像素值之和等于给定的预定义值，

然后从下式计算亮度参数B

B＝f₁(∑_i，jf₂(W_ij·G_ij))

其中f₁和f₂是单调函数。

8.如前述权利要求中的任一项所述的方法，包括计算相机图像(M)的灰度级图像(G)的步骤，其中使用灰度级图像(G)识别第一子区域和第二子区域。

9.如前述权利要求中的任一项所述的方法，包括取决于亮度参数(B)调整以下参数中的至少一个的步骤：

照明源(4)的亮度，

照明源(4)的脉冲长度，

显微镜的孔径直径，

相机(22)的增益，以及

相机(22)的采样时间。

10.一种眼科显微镜设备，包括

照明源(4)，

相机(22)，以及

控制单元(20)，连接到照明源(4)和相机(22)，其中所述控制单元(20)适于执行前述权利要求中的任一项的方法。