CN101720479A - 运动补偿的图像平均 - Google Patents

Abstract

提供一种用于对图像帧的序列进行平均的方法。对所述图像帧应用减噪过滤，从而产生过滤的帧。对所述过滤的帧应用去卷积过滤，从而产生对应的去卷积的帧。通过仿射变换来变换所述过滤的帧，以对准所述过滤的帧，由此产生对准的帧。通过基于强度排序匹配的非线性变换来运动修正所述对准的帧，由此产生运动修正的帧的序列。对所述运动修正的帧进行平均，从而产生最终的帧。

Description

运动补偿的图像平均

相关申请的交叉引用

本申请要求2007年5月2日提交的美国临时申请60/924,162的优先权，在此引入其内容作为参考。

技术领域

本发明涉及图像平均，特别地，涉及对需要噪声过滤和运动修正的图像帧序列进行的平均。

背景技术

通常，有必要或希望对从同一物体取得的多个图像进行平均，以获得具有改善的质量(例如具有降低的噪声)的平均图像。在某些情况下，例如，当信噪比(SNR)非常低且在取得不同图像帧的同时成像物体运动时，用于平均图像帧的常规技术不能提供良好的或令人满意的结果。例如，可以基于与神经胶质纤维酸性蛋白质(GFAP)助催化剂一起使用绿色荧光蛋白质(GFP)转基因鼠模型的技术(称为GFAP-GFP成像技术)获得鼠视网膜的活体荧光图像。然而，鼠视网膜的GFAP-GFP图像的SNR通常非常低，并且使用常规技术难以分析这些图像。

由此，当SNR低且在不同帧之间存在运动移位时，希望提供一种改进的用于平均图像帧的方法。

发明内容

根据本发明的第一方面，提供一种对利用荧光成像技术从活的物体取得的图像帧的序列进行平均的方法，该方法包括：对所述图像帧应用减噪过滤，从而产生过滤的帧的序列；对所述过滤的帧的序列应用去卷积过滤，从而产生对应的去卷积的帧的序列；对所述去卷积的帧的序列进行运动修正变换，从而产生修正的去卷积的帧的序列，其中第i个修正的去卷积的帧用J_i ^ref(x，y)表示，J_i ^ref是在所述第i个修正的去卷积的帧中的像点(x，y)处的强度；通过仿射变换来变换所述过滤的帧，以对准所述过滤的帧，由此产生对准的帧的序列，其中第i个对准的帧用I_i ^a(x，y)表示，I_i ^a是在所述第i个对准的帧中的像点(x，y)处的强度；对每个对准的帧中的像点重新定位，从而产生运动修正的帧，其中第i个运动修正的帧用I_i ⁿ(x，y)表示，I_i ⁿ是在所述第i个运动修正的帧中的像点(x，y)处的强度， $I_i^n(x,y)=I_i^a(x_p,y_p),$ 并且其中如此选择位置(x_p，y_p)，以便(i)该位置位于以(x，y)为中心的邻域内，并且(ii)所述邻域中的I_i ^a(x_p，y_p)的强度排序和所述邻域中的J_i-1 ^ref(x，y)的强度排序相同，由此产生运动修正的帧的序列；以及对所述运动修正的帧进行平均，从而产生最终的帧。假设运动修正的帧的总数目为N，该平均可包括产生参考帧的序列，其中所述参考帧的第i个帧用I_i ^ref表示，并且计算为 $I_i^{\mathrm{ref}}=\frac{(i-1)\×I_{i-1}^{\mathrm{ref}}+I_i^n}{i};$ 并且根据 $I_A=I_N^{\mathrm{ref}}$ 而产生所述最终的帧，I_A表示所述最终的帧。对所述去卷积的帧的所述运动修正变换可包括通过仿射变换而变换所述去卷积的帧，从而对准所述去卷积的帧，由此产生对准的去卷积的帧的序列，其中第i个对准的去卷积的帧用J_i ^a(x，y)表示，J_i ^a是在所述第i个对准的去卷积的帧中的像点(x，y)处的强度；对每个对准的去卷积的帧中的像点重新定位，从而产生运动修正的去卷积的帧，其中第i个运动修正的去卷积的帧用J_i ⁿ(x，y)表示，J_i ⁿ是在所述第i个运动修正的去卷积的帧中的像点(x，y)处的强度， $J_i^n(x,y)=J_i^a(x_0,y_0),$ 并且其中如此选择位置(x₀，y₀)，以便(i)该位置(x₀，y₀)位于以(x，y)为中心的邻域内，并且(ii)所述邻域中的J_i ^a(x₀，y₀)的强度排序和所述邻域中的J_i-1 ^ref(x，y)的强度排序相同。可以根据 $J_i^{\mathrm{ref}}=\frac{(i-1)\×J_{i-1}^{\mathrm{ref}}+J_i^n}{i}$ 而产生所述第i个修正的去卷积的帧。该方法还可包括在所述去卷积的帧的每个相邻对中在对应的界标(landmark)点之间建立点对点的相关性；并且，根据在所述去卷积的帧中的对应的界标点之间的点对点的相关性，在所述过滤的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；其中通过所述仿射变换对所述过滤的帧的变换包括在所述对准的帧的每个相邻对中对准对应的界标点。对所述去卷积的帧的每个相邻对中的对应的界标点之间的点对点的相关性的建立包括对所述对应的界标点的每个对计算归一化交叉相关(NCC)度；当NCC度满足预先选定的条件时，确定界标点的所述对相关。

根据本发明的第二方面，提供一种对利用荧光成像技术从活的物体取得的图像帧的序列进行平均的方法，该方法包括：对所述图像帧应用减噪过滤，从而产生过滤的帧的序列；对所述过滤的帧的序列应用去卷积过滤，从而产生对应的去卷积的帧的序列；通过在每个去卷积的帧中识别具有峰值强度的像点，确定所述去卷积的帧中的界标点；在所述去卷积的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；根据在所述去卷积的帧中的对应的界标点之间的点对点的相关性，在所述过滤的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；通过仿射变换而变换所述过滤的帧，从而顺序地对准所述过滤的帧，由此产生对准的帧的序列；通过非线性变换而变换所述对准的帧以进行运动修正，由此产生运动修正的帧的序列；以及对所述运动修正的帧进行平均，从而产生最终的帧。可通过如下步骤建立所述去卷积的帧的每个相邻对中的对应的界标点之间的点对点的相关性：对所述对应的界标点的每个对计算归一化交叉相关(NCC)度；当所述NCC度满足预先选定的条件时，确定界标点的所述对相关。

在根据本发明的第三方面中，提供一种对利用荧光成像技术从活的物体取得的图像帧的序列进行平均的方法，该方法包括：对所述图像帧应用多级高斯过滤以进行减噪，由此产生过滤的帧的序列；对所述过滤的帧应用去卷积过滤，由此产生去卷积的帧的序列；从所述去卷积的帧提取强度最大点作为界标点；使用归一化交叉相关性在所述去卷积的帧中追踪界标点；以所述被追踪的界标点为基准而通过仿射变换对准所述过滤的帧，由此产生对准的帧；通过非线性变换而变换所述对准的帧以进行运动修正，由此产生运动修正的帧；以及对所述运动修正的帧进行平均，从而产生最终的帧。所述追踪所述去卷积的帧中的界标可包括在所述去卷积的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；该方法还包括根据在所述去卷积的帧中的对应的界标点之间的点对点的相关性，在所述过滤的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；其中所述对准所述过滤的帧包括在所述对准的帧的每个相邻对中对准对应的界标点。

在根据本发明的第二或第三方面的上述方法中，所述运动修正的帧中的第i个帧可用I_i ⁿ表示，其中i＝1至N，N为运动修正的帧的总数目，并且其中所述平均可包括产生参考帧的序列，所述参考帧的第i个帧用I_i ^ref表示，并且计算为 $I_i^{\mathrm{ref}}=\frac{(i-1)\×I_{i-1}^{\mathrm{ref}}+I_i^n}{i};$ 并且根据 $I_A=I_N^{\mathrm{ref}}$ 而产生所述最终的帧，I_A表示所述最终的帧。

在根据本发明的一方面的上述每种方法中，可以通过以下步骤产生过滤的帧的序列：对每一个所述图像帧应用多个高斯过滤以产生与所述每个图像帧相关联的多个高斯映射，每一个所述高斯过滤的特征在于独特的过滤宽度和依赖于所述过滤宽度的标准偏差；产生与所述每个图像帧对应的过滤的帧，通过为所述过滤的帧中的每个像点分配这样的强度，该强度等于在与所述每个图像帧相关联的所述多个高斯映射中的所述每个像点处的最大强度，由此产生所述过滤的帧的所述第一序列。在图像帧的所述序列中与第i个图像帧相关联的第j个高斯映射中的像点(x，y)处的强度M_i，j(x，y)可以通过下式进行计算： $M_{i,j}(x,y)=\underset{x_j}{\mathrm{\Σ}}\underset{y_j}{\mathrm{\Σ}}{h}_j(x-x_j)h_j^{\′}(y-y_j)I_i(x_j,y_j),$ 其中求和对满足(x-w_j)≤x_j≤(x+w_j)和(y-w_j)≤y_j≤(y+w_j)的可能的x_j和y_j进行，并且其中I_i(x，y)是在第i个图像帧中的像点(x，y)处的强度，h_j(u)＝exp(-u²/2σ_j ²)是用于第j个高斯过滤的高斯变换函数，u表示一维变量，h′_j(u)是h_j(u)的转置，σ_j是标准偏差，并且w_j是第j个高斯过滤的过滤宽度。例如，w_j＝j。σ_j可被选择为具有满足exp(-w_j ²/2σ_j ²)≤10^-3的最大值。用于每个帧的高斯过滤可由3至10个高斯过滤构成。所述活的物体可以为鼠视网膜。所述荧光成像技术可以为神经胶质纤维酸性蛋白质-绿色荧光蛋白质(GFAP-GFP)成像技术。

根据本发明的又一方面，提供一种计算机，其包括处理器和计算机可读介质，在所述计算机可读介质上存储计算机可执行指令，当通过所述处理器执行时，所述计算机可执行指令使所述计算机适于实施根据本发明的以上方面中任何一方面的方法。

根据本发明的另一方面，提供一种计算机可读介质，在其上存储计算机可执行指令，当通过处理器执行时，所述计算机可执行指令使所述处理器适于实施根据本发明的以上方面中任何一方面的方法。

对于本领域普通技术人员而言，在结合附图阅览了对本发明的具体实施例的以下描述之后，本发明的其他方面和特征将变得明显。

附图说明

在通过实例示例本发明的实施例的附图中：

图1A、1B和1C是作为本发明的实施例的示例的帧平均处理的流程图；

图2是作为本发明的实施例的示例的用于实施图1A的处理的计算机的框图；

图3A是图像的代表性输入帧；

图3B是通过图1A和图1B的处理由图3A的输入帧产生的去卷积的帧的样品；

图3C和3D是由图3A的输入帧产生的对照帧；

图4A、4B、4C和4D是在输入帧的序列中的代表性的邻帧；

图5A、5B、5C、5D、6A、6B、6C和6D是通过图1A的处理产生的代表性的最终的帧。

图7A是示出根据所使用的过滤的类型的误差的条形图；以及

图7B是示出根据过滤宽度的误差的线形图。

具体实施方式

本发明的一个示例性实施例涉及一种自动的图像帧平均方法，即使在输入图像帧中的信噪比(SNR)非常低(例如，SNR＜1)时，该方法也可提供改善的结果。该方法包括旨在降低噪声且运动修正/补偿运动失真的运动修正/补偿技术。

图1A中示出了示例用于对图像帧10的序列进行平均的示例性方法S100的流程图。

对于下面的描述，假设将要对N个输入帧10进行平均。假设按时序使用荧光成像技术从活的物体取得这些输入帧。输入帧10可以是从活的物体取得的原图像，或者可以是或可以包括预处理的图像帧。

例如，输入的图像帧可以是使用GFAP-GFP(神经胶质纤维酸性蛋白质-绿色荧光蛋白质)成像技术取得的转基因鼠视网膜的原图像。在L.Zhuo等人的″Live astrocytes visualized by green fluorescent protein intransgenic mice，″Developmental Biology，1997，vol.187，pp.36-42，1997以及J.Morgan等人的″Imaging techniques in retinal research，″Experimental Eye Research，2005，vol.80，pp.297-306中描述了GFAP-GFP成像技术，其整体内容在此引入作为参考。简言之，可通过扫描激光检眼镜(SLO)捕获鼠的视神经盘中的荧光标示细胞的图像，其中用来自点光源的激光束扫描鼠视网膜，然后通过光电倍增管收集所发射的荧光。未平均的原荧光图像典型地具有差的信噪比(SNR)，且难以用于诊断目的等等。此外，由于呼吸运动，原图像帧的视场可能偏离在序列中不同时间处取得的原图像的视场。

为了示例的目的，还假设对输入帧10栅格化，例如，以(x，y)笛卡尔坐标表示的二维(2D)图像。为每个输入帧10分配一整数指数“i”，其中i＝1，2，...，N，表示该帧在序列中的次序。第i个输入帧的像点(像素)的强度(“I”)可以用I_i(x，y)表示，其中x和y是第i个输入帧中的像点的坐标。还可以将第i个输入帧表示为I_i。

简言之，在S102，对每个输入帧10应用多级高斯过滤，以在保持空间分辨率的同时抑制噪声，由此产生的N个过滤的帧12的对应序列。然后通过S104、S106和S108，使过滤的帧彼此对准，从而产生对准的过滤帧18，如将在下面进一步描述的。然后对每个对准的过滤帧18进行非线性变换以修正运动失真，由此在S110产生运动修正的过滤帧22的序列。可以对运动修正的过滤帧22进行平均，从而在S112产生最终的帧24。

在图1B中更详细地示例出在S102处的示例性的多级高斯过滤。

在频畴中用于一维低通高斯过滤的转换函数具有以下通式：

h(u)＝exp(-u²/2σ²)    (1)

其中u表示一维变量(例如像点的x或y坐标或者距离)，σ是高斯曲线的标准偏差。每个转换函数的特征在于参数σ。

此外，为了将每个像点从输入图像转换到过滤的图像，可以对以特定像点为中心的邻域应用转换函数。邻域的形状和尺寸对转换结果有影响。为了简化和便于运算，典型地使用方形邻域，该方形邻域的特征在于其宽度。为了示例的目的，在此将方形邻域用于高斯过滤。在此将高斯过滤的过滤邻域的宽度(w)称为用于对应的高斯转换函数或高斯过滤的过滤宽度，其也是表征具体的高斯过滤的参数。下面假设在(x_c，y_c)处的像点的邻域是由(x_c-w)≤x≤(x_c+w)和(y_c-w)≤y≤(y_c+w)限定的方形区域，其具有(2w+1)×(2w+1)的尺寸。应理解，可将不同形状的邻域用于高斯过滤。

过滤输出将取决于σ和w的参数值。

在该实施例中，对每个输入帧10应用具有式(1)的形式但具有不同表征参数的多个高斯转换函数，以获得与具体输入帧相关联的不同高斯映射26。这些转换函数表示为h_j，其中j＝1，2，...，T。T是将要产生的映射26的总数目(T)，其可以在不同应用中变化，这取决于包括将要处理的输入图像的性质、处理速度、所需的质量等等的要素。

第j个高斯转换函数h_j具有以下形式：

h_j(u)＝exp(-u²/2σ_j ²)    (2)

对于不同的转换函数，对于过滤邻域的对应的过滤宽度不同。下面假设对于转换函数h_j，对应的宽度为w_j＝j。由此，过滤宽度w_j从1到T变化。在不同实施例中，可以不同地选择宽度值。例如，可以根据w_j＝2j来选择宽度。

转换函数h_j的标准偏差σ_j被选择为具有满足以下不等式的最大值：

$\exp (-w_j^2/2{\mathrm{\σ}}_j^2)\≤{10}^{-3}---\left(3\right)$

在不同实施例中，可以根据应用不同地选择σ_j的值。例如，不等式(3)的右侧的值可以为10^-3、10^-4、10^-5、或10^-6。通常，该值应被选择为与等式(2)中的h_j(u)的峰值相比可忽略。

在S120，初始地选择T的合适值。T可以是任何合适的整数。可以通过选择满足2^T≤D的最大值来确定T的值，其中D是在输入图像中的给定维度(例如图像的高度或宽度)的像点或像素的数目。例如，T可具有2至10的值。为了示例的目的，下面假设T＝10。由此，构建十个高斯转换函数，并且过滤宽度分别为1，2，3，...，10。

还为每个转换函数h_j选择合适的σ_j，其满足等式(3)中的条件。

在S122，对每个输入帧10应用十个高斯转换函数中的每一个，从而为该输入帧产生十个表示为M的高斯映射26。由h_j产生的用于输入帧“i”的高斯映射M_i，j(x，y)由下式给出：

$M_{i,j}(x,y)=\underset{x_j}{\mathrm{\Σ}}\underset{y_j}{\mathrm{\Σ}}{h}_j(x-x_j)h_j^{\′}(y-y_j)I_i(x_j,y_j)---\left(4\right)$

其中对(x，y)的宽度为w_j的邻域内的所有可能的像点(x_j，y_j)进行求和。即，(x-w_j)≤x_j≤(x+w_j)和(y-w_j)≤y_j≤(y+w_j)。h′_j(y-y_j)是h_j(y-y_j)的转置。

对于给定的像点坐标，例如，(x，y)，其在第j个映射中的强度由M_i，j(x，y)给出，在另一高斯映射中的强度值可不同于该强度。对于给定的输入帧“i”，在所有的十个高斯映射26中，像点(x，y)处的最大强度表示为M_i，max(x，y)。由此，对于j＝1到T，M_i，max(x，y)＝arg max M_i，j(x，y)。

产生对应于输入帧10，I_i的过滤的帧12，I^f _i，以便

I^f _i(x，y)＝M_i，max(x，y)    (5)

由此，过滤的帧12中的每个像点处的强度为从该具体的帧的所有(十个)高斯映射26中选出的该像点的最大强度。这预期具有提高实际的输入帧Ii的效果，增强了输入帧中的来自鼠视网膜的荧光信号，并由此提高信噪比(SNR)。

虽然也可以使用对邻域内的强度分布的另一种统计测量(例如平均强度)作为过滤的强度，但已经发现，最大强度提供较好的结果。

在S126，对是否存在要处理的下一个帧进行判断。如果存在，则在S128使指数“i”增加1，并且通过重复S122和S124来处理下一个帧，即第(i+1)个帧。可将相同的T和σ_i的值用于所有的输入帧。

对所有的输入帧10重复该过程，从而对每个输入帧10产生过滤的帧12。

接下来，在图1A的S104，进一步由过滤的帧12的序列产生去卷积的帧14的序列。在去卷积的帧14的序列中，由第i个过滤的帧产生的第i个去卷积的帧表示为J_i(x，y)。

在本实施例中，对每个过滤的帧12，I^f _i进行二维去卷积过滤，以提高对比度且去除背景噪声。可以根据合适的已知的去卷积技术进行去卷积。在D.L.Snyder，T.J.Schulz和J.A.O′Sullivan，″Deblurring subject tononnegativity constraints，″IEEE Trans.Signal Processing，W92，vol.40，pp.1143-1150中公开了一种示例性的合适的技术，其整体内容在此引入作为参考。可以使用基于经典最大似然估算法的算法来应用去卷积过滤。

当输入帧10是GFAP-GFP图像的原帧时，去卷积的帧14预期更清楚地示出基底(underlying)荧光分布，其中的背景噪声大大减少。

在S106，例如根据在图1C中示出的过程，识别出过滤的帧12中的界标点。

在S160，使用灰度级形貌运算，例如在P.Soille，Morphological imageanalysis：principles and applications，1999，pp.170-171，Springer-Verlag中公开的技术(其整体内容在此引入作为参考)，分析去卷积的帧。该灰度级形貌运算可识别出在每个去卷积的帧14(J_i)中的强度最大的位置。认为在这些位置处的像点是界标点。GFAP-GFP图像中的强度最大值典型地反映出来自荧光标记的荧光信号，其典型地被很好地空间局域化，由此对任何方向上的运动移位都很敏感。该最大强度也有可能受到较轻的噪声失真。由此，这些强度最大值预期可提供对运动移位的精确指示。

基于如上所述的强度最大值，可以自动地获得界标点28的坐标。

可以假设在对应的过滤帧I_i中的对应像点也是界标点。由此，在对应的过滤帧中的相同坐标28处的像点也被识别为界标点。

对每个去卷积的帧14和对应的过滤帧12重复该处理。

在S162，使每对相邻的去卷积的帧14中的界标点相互关联。这可使用归一化交叉相关(NCC)技术而执行，如在J.P.Lewis，″Fast normalizedcross-correlation，″in Vision Interface：Canadian Image Processing andPattern Recognition Society，1995，pp.120-123中所述，其整体内容在此引入作为参考。

简言之，对去卷积的帧J_i的界标点(u，v)以及其相邻去卷积的帧J_i-1的界标点(u’，v’)的NCC量度(NCC)定义为：

${\mathrm{NCC}}_{j_{i,u,v},j_{i-1,u^{\′},v^{\′}}}=\frac{\⟨j_{i,u,v}-{\stackrel{\‾}{j}}_{i,u,v},j_{i-1,u^{\′},v^{\′}}-{\stackrel{\‾}{j}}_{i-1,u^{\′},v^{\′}}\⟩}{|j_{i,u,v}-{\stackrel{\‾}{j}}_{i,u,v}||j_{i-1,u^{\′},v^{\′}}-{\stackrel{\‾}{j}}_{i-1,u^{\′},v^{\′}}|}---\left(6\right)$

其中j_i，u，v是以帧J_i中的界标点(u，v)为中心的(2Wc+1)×(2Wc+1)邻域，而J_i，u，v是该邻域的平均强度；j_{i-1，u′，v′}是以帧J_i-1中的界标点(u’，v’)为中心的(2Wc+1)×(2Wc+1)邻域，而j_{i-1，u′，v′}是该邻域的平均强度。符号“<·>”表示点算符，而“|·|”表示量值算符。

可以根据经验选择Wc的值。例如，Wc可以为32。可以如此选择Wc的值，以便对于序列中的所有图像帧，视场中的不同帧之间的任何对应的像点的观测到的最大移位保留在该宽度的框[(2Wc+1)×(2Wc+1)]内。

如果满足下列条件，则在(u，v)与(u’，v’)之间建立点对点的对应性或相关性：

A.(u，v)位于(u’，v’)的(2Wc+1)×(2Wc+1)邻域内；

B.在该(2Wc+1)×(2Wc+1)邻域内，等式(6)中给出的NCC量度最大；以及

C.该NCC量度高于预选的阈值NCC_th。

可以根据经验选择阈值NCC_th。例如，在一个实施例中，NCC_th＝0.9。NCC_th应足够大，以避免假界标点，但同时其还应足够低，以不将过多的有效界标点排除在外。在一些应用中，NCC_th典型地在0.7-0.9的范围内。

将满足以上条件的相邻去卷积的帧14中的界标点视为相关联的像点。

还将相同的界标点视为在对应的过滤的帧12中相关联。换言之，通过在去卷积的帧14中的界标点之间的点对点相关性来指导在过滤的帧12的每个相邻对中的对应的界标点之间的点对点相关性的建立。

这里描述的用于识别和关联界标点的过程便利地提供特定的优点。例如，其不需要大量的计算，这是因为单个NCC运算足以确定相邻帧中的任何两个界标点之间的对应性。由于界标点具有各向同性的分布，可以避免NCC对这些界标点的局域化的邻域中的旋转的敏感性。

虽然可以由过滤的帧12直接识别界标点且使它们相关联，但在过滤的帧12仍包含高水平的背景噪声由此使得难以精确地识别和关联界标点的情况下，使用如在此所述的去卷积的帧14将更便利。

使用来自基底荧光分布的强度最大值(去卷积的帧)来识别界标点也是有利的，这是因为这些最大值点被很好地空间局域化，因此对任何给定方向上的位置改变都很敏感。还可以自动选择强度最大值，由此提供获得非常大量的界标点的自动方法。

可以理解，每个过滤的帧12可具有多个界标点，这些界标点在相邻的过滤的帧12中具有对应的点。在每一对相邻的帧12中的界标点之间建立了相关性之后，可以相继地对准(也称为共配准(co-register))相邻的帧，从而在对准之后，对应的界标点具有相同的坐标。

相继对准是指这样的对准变换的序列，其中通过确定未对准的相邻帧之间的变换来使序列中的所有帧与初始参考帧(例如，第一帧)对准。由此，与在典型的常规共配准(其中每一个帧直接与初始参考帧对准)不同地，在这里所称的相继对准中，从与初始参考帧相邻的帧到最远离初始参考帧的帧渐进地进行帧的对准，并且每一个后面帧被变换为与其相邻的已完成对准的帧对准。结果，每一个帧也(虽然间接地)与初始帧对准。

在图1A中的S108处执行帧的对准。该对准还可以通过相对于参考帧对每个帧I^f _i(1＜i≤N)的仿射变换来实现该对准，例如使用仿射变换算符Ta_i，如此选择该算符Ta_i，以便在变换后的帧(在此称为对准的过滤帧18)中，I^a _i＝Ta_iTa_i-1...Ta₂I^f _i，对应的界标点对准。变换算符Ta_i描述第i个未对准的帧与第(i-1)个未对准的帧的对准。

例如，假设I^f _i中的界标点(u’，v’)与相邻的参考帧(当i＝2时其为I^f ₁，或者当i＞2是其为I^a _i-1)中的界标点(u，v)相关联，并且由于平移运动而使(u，v)与(u’，v’)彼此移位，则可以如此选择仿射变换算符Ta_i，以使：

I^f _i-1(u，v)＝I^f _i(u’，v’)    (7)

不需要使等式(7)对于相关联的界标点的所有或任何对而言都成立。可以如此选择该仿射变换算符，以便在仿射变换之后，在参考帧与对准的帧之间的界标点的所有相关联的对之间的总移位的量度最小。

重复该处理，以通过仿射变换在相邻的过滤的帧之间使相关联的界标点对准，来对准每对相邻的过滤的帧。

可以从i＝2(其中I^f ₁作为初始参考帧)开始相继地进行该对准。由此，基于Ta₂使I^f ₂与I^f ₁对准，基于Ta₂和Ta₃使I^f ₃与I^f ₁对准，并且基于Ta₂、Ta₃和Ta₄使I^f ₄与I^a ₃对准，依此类推，直到序列中的最后的过滤帧与参考帧对准为止。

应理解，可以利用序列中的任何帧作为初始参考帧来开始对准。例如，第一个帧或最后一个帧都可作为初始参考帧。可选地，可以使用未对准的帧I^f ₃作为初始参考帧。在这种情况下，I^f ₂和I^f ₄二者都可与I^f ₃对准，并且I^f ₁可与I^a ₂对准，I^f ₅可与I^a ₄对准，依此类推。

可以理解，不必将初始参考帧变换为与另一帧对准。然而，在某些实施例中，有可能为了各种目的，例如为了使用更简单的坐标系，或者为了与其他组图像相比较，而在新坐标系中配准初始参考帧。

对准的过滤帧18形成与输入、过滤和去卷积的帧10、12、14的其他序列对应的序列。

为了用于稍后的在S110处的非线性变换，还在S108处使用与用于将对应的过滤帧18I^f _i变换为I^a _i的相同变换函数Ta_i，将每个去卷积的帧J_i(其中i＞1)变换成对准的去卷积的帧16，J^a _i。这预期可以修正去卷积的帧中的全局运动移位。

与对任何给定的图像帧与同一个固定的参考帧的对准变换的确定相比，预期对相邻图像的对准变换的相继确定更精确。其原因在于，与分开远离的帧相比，相邻的图像帧之间的移位趋向于更小。

可以理解，上述仿射变换主要修正帧之间的平移、旋转、按比例缩放以及剪切运动。然而，某些成像物体(例如活体、组织或有机体)会经历其他类型的移动或改变。例如，视网膜是一种生物组织，且由此可以经历复杂的呼吸运动。仅仅仿射变换技术不能以足够的精确度修正这样的复杂的呼吸运动。

具体而言，仿射变换用于修正全局运动移位是高效的，但对于修正局部运动失真却是低效的。全局运动移位是相邻帧中的对应像点的移位，其中同一图像中的不同像点根据同一线性函数而移位。从而，这样的移位通过对像点进行统一线性的或仿射变换而得到修正。在局部运动失真中，同一图像的不同区域中的像点根据不同的关系或根据非线性函数而移位。从而，这样的失真不能通过对整个图像的仿射变换而得到精确的修正。

为了进一步修正其他类型的复杂或局部运动失真，在S110处，对对准的过滤帧18进行用于运动修正的非线性变换。

这可以通过如下步骤实现：首先，从对应的去卷积的帧产生运动修正的去卷积的帧，然后通过以修正的去卷积的帧为基准的排序匹配变换，对过滤帧进行非线性变换，如接下来将进一步示例的。

为了便于示例，下面假设将去卷积的帧14的序列中的第一帧J₁选择作为参考帧，并且不对其进行任何变换。

将每个对准的去卷积的帧18，J^a _i(其中i＞1)变换为运动修正的去卷积的帧20，Jⁿ _i。

可以认为，并且在此也如此假设，参考帧的变换后的帧与原始帧相同，即，Jⁿ _i＝J^a _i＝J₁。

对于所有对准的去卷积的帧J^a _i，其中i＞1，如此将对准的去卷积的帧变换为Jⁿ _i，以使：

Jⁿ _i(x，y)＝J^a _i(x₀，y₀)    (8)

其中x-W_r≤x₀≤x+W_r且y-W_r≤y₀≤y+W_r，并且(x₀，y₀)是在J^a _i的(由W_r限定的)给定邻域中的像点，其强度值的排序与在对应的相邻修正的(参考)帧J^ref _(i-1)(x，y)中的像点(x，y)的强度值的排序等同，其中如下对J^ref _i进行更新：

$J_i^{\mathrm{ref}}=\frac{(i-1)\&times;J_{i-1}^{\mathrm{ref}}+J_i^n}{i}---\left(9\right)$

实验结果表明，在至少某些情况下，如果邻域尺寸(2W_r+1)不小于该图像中的最大局部结构的直径与相邻图像帧之间的最大移位(以像素为单位)的和，则可以实现精确的对准。如果邻域尺寸太小，则在这些情况下对准的精确度会降低。在给定应用中，可以根据经验确定W_r的合适值。例如，在活体鼠视网膜图像的情况下，可以将W_r选择为17。

如在此使用的，如下确定像素(像点)的排序。对于给定的邻域，以升序(或降序)基于强度值对该邻域内的像点(像素)进行排序。像点(像素)的排序就是其在有序序列中的位置。例如，在一个实施例中，在邻域中具有最低强度的像点的排序为1，次低强度的像点的排序为2，最亮像点的排序最高。

对于等式(8)，邻域为以(x，y)为中心的(2Wr+1)×(2Wr+1)邻域。J^a _i中的像点(x₀，y₀)的排序是指在以(x，y)为中心的J^a _i的对应邻域中的所有像点的强度序列中像点(x₀，y₀)的顺序。J^ref _(i-1)中的像点(x，y)的排序是指在以(x，y)为中心的J^ref _(i-1)的对应邻域中的所有像点的强度序列中像点(x，y)的顺序。

假设不存在噪声且没有像点移动跨过邻域的边界，像点在邻域内的移动不应改变其强度排序。由此，通过匹配像点的排序，可以精确地跟踪像点的移动。因此，等式(8)中的变换提供了精确的非线性变换，其中即使当在其各自的邻域的平均强度水平存在差异时，也可以使J^a _i和J^ref _(i-1)中的对应像点对准。

可以理解，为了使得邻域内的强度排序不因移动而改变，在J^ref _(i-1)中必须没有噪声，这是因为噪声会显著改变像点的排序。由此，在用作运动修正的基础的帧中应使噪声最小化。为此，发现在去卷积的帧J_i(1≤i≤N)中充分去除了噪声，其中噪声通过去卷积而被进一步消除。去卷积的图像J_i用作对不具有噪声而具有高分辨率的理想图像的先验评估。因此，这些去卷积的图像J_i可用于指导对等式(10)的排序匹配运算。

现在可以理解，与常规的标准运动补偿运算(例如仿射变换)相比，在此描述的排序匹配方法可以提供对对准精度的显著改善。在此描述的排序匹配非线性变换的结果预期不会受到以下三种因素的影响：(i)输入图像帧中的荧光信号的平均强度水平的变化；(2)输入图像帧中的噪声；以及(3)不同图像帧之间的由复杂生物组织的固有动力学引起的局部运动移位。

可以理解，帧J^ref _i形成参考去卷积的帧的序列。

预期帧Jⁿ _i-1(x，y)的运动失真已被修正。

然后，在用于运动修正的非线性变换下，将对应的第i个对准的帧I^a _i变换成非线性运动修正的帧22，Iⁿ _i。非线性变换可包括以对应的参考去卷积的帧为基准的像素排序匹配(也称为排序顺序选择)变换，以使：

Iⁿ _i(x，y)＝I^a _i(x_p，y_p)    (10)

其中像点(x_p，y_p)被选择为使其位于以(x，y)为中心的(2Wr+1)×(2Wr+1)邻域内，并且使I^a _i(x_p，y_p)的排序与在对应的相邻参考去卷积的帧J^ref _i-1(x，y)中的像点(x，y)的排序等同。

在此将上面描述的对Iⁿ _i应用的非线性变换称为基于排序匹配的非线性变换。

如上所述，在适当的情况下，与标准运动补偿技术(例如仿射变换)相比，基于排序匹配的非线性变换可以提供在对准精确度方面的显著改善。同时，其还可以实现可与常规帧平均和运动补偿帧平均方法相比的SNR水平。

可以理解，由于从初始参考帧相继地执行非线性变换，因此可获得更精确的运动修正。由于初始帧不需要移动修正，因此不需要对初始参考帧进行非线性变换。

如上所述，相继对准过程降低了从彼此显著移位的两个图像对准的可能。

发现上述变换(包括仿射变换和非线性变换二者)可提供精确的自动运动修正。可以理解，在这些变换中，通过使过滤帧12中的像点与去卷积的帧(包括帧14、18和20)中的对应像点相关联，可获得在过滤帧12中的像点的相对运动，其中，由于提高了荧光信号，可以使去卷积的帧更方便地且更好地关联。由此，将去卷积的帧方便地用作用于对过滤帧12的运动修正的参考帧。

在S112，相继地且渐进地对所有非线性运动修正的帧22Iⁿ _i进行平均，从而产生最终的表示为I_A的图像帧24。

在示例性实施例中，可如下进行平均。假设I₁ ^ref＝I₁，根据下面的等式(11)产生用于每个运动修正的过滤帧Iⁿ _i(i＞1)的参考帧I_i ^ref：

$I_i^{\mathrm{ref}}=\frac{(i-1)\&times;I_{i-1}^{\mathrm{ref}}+I_i^n}{i}---\left(11\right)$

然后将最后一个参考帧I_N ^ref选择作为最终的帧，即：

I_A＝I_N ^ref    (12)

在该方法中，每次迭代(i)时都更新I_i ^ref，因此，I_A对在序列中的任何给定帧中的图像偏离值(outlier)的敏感度降低。

根据本发明的示例性实施例，通过计算装置或计算机200来自动执行方法S100，如图2中所示。

计算机200具有处理器202，该处理器202与主存储器204和辅助存储器206、输入208以及输出210通信。计算机200可选地与网络(未示出)通信。

处理器202包括用于处理计算机可执行代码和数据的一个或多个处理器。

存储器204和206中的每一个是电子存储器，其包括用于存储电子数据(包括计算机可执行代码)的计算机可读介质。主存储器204在运行时可容易地被处理器202访问，并且其典型地包括随机存取存储器(RAM)。主存储器204仅仅需要在运行时存储数据。辅助存储器206可包括用于典型地以电子文件的形式永久存储数据的持久性存储器。辅助存储器206还可用于本领域技术人员公知的其他目的。计算机可读介质可以为可被计算机访问的任何可用介质，其为可移除的或不可移除的，是易失性的或非易失性的，包括任何磁性存储器、光学存储器或固态存储器装置，或者任何其他可使所需数据(包括计算机可执行指令)具体化且可被计算机或计算装置局域或远程访问的介质。以上要素的任何组合也包括在计算机可读介质的范围内。

输入208可包括一个或多个合适的输入装置，且典型地包括键盘和鼠标。其还可包括麦克风、扫描仪、照相机、成像装置等等。其还可包括计算机可读介质(例如可移除的存储器212)和对应的用于访问该介质的装置。输入208可用于接收来自用户的输入。输入装置可局域地或远程地连接(以物理连接或通信连接的方式)到处理器202。

输出210可包括一个或多个输出装置，所述输出装置可包括显示器装置，例如监视器。合适的输出转置还可包括其他装置，例如打印机、扬声器、通信装置等等，以及计算机可写介质和用于向介质写入的装置。与输入装置相同地，输出装置可以是局域的或远程的。

计算机200可与网络(未示出)上的其他计算机系统(未示出)通信。

本领域普通技术人员将理解，计算机200还可包括其他必要的或可选择的未示于图中的部件。

存储器204、206或212存储计算机可执行代码，当通过处理器202执行时，计算机可执行代码使计算机200实施在此描述的方法、处理、过程或算法中的任何一者或其部分。

例如，计算机可执行代码可包括用于进行上面描述的且示于图1A、1B和1C中的图像处理的代码。

可以理解，还可以使用硬件装置来实施在此描述的方法和处理或者其任何部分，其中该硬件装置具有用于实施所述计算或函数中的一者或多者的电路。例如，可通过计算电路来实施上述程序代码中的一者或多者的函数。

在本发明的示例性实施例中，可以如下处理利用荧光成像技术从同一活体取得的图像帧的序列。对图像帧应用减噪过滤(例如多级高斯过滤)，从而产生噪声降低的过滤帧的第一序列。对该过滤帧的第一序列应用提高信号的过滤(例如扩散过滤)，从而产生荧光信号提高的过滤帧的第二序列。将过滤帧的第一序列变换为运动修正的帧，其中变换包括使过滤帧的第一序列中的像点与过滤帧的第二序列中的像点相关联，以估定过滤波的第一序列中的像点的相对运动。渐进地平均运动修正的帧，从而产生最终的帧。

图像中的图像信号是指图像中的强度分布，该强度分布反映出被成像物体中的基底物理或生物结构或信号源。当被处理(被增强)的图像比原始图像更适合与该信号相关的特定应用时，图像或图像帧中的信号被增强。例如，如果一信号更清楚，或更容易辨认，或具有限定地更好的边界，或以上情况的组合，则该信号被增强。使用诸如去噪、分割、相减、找边、修平、锐化、扩散、傅里叶变换、灰度水平变换、高斯变换等等的技术，来增强图像信号。在Rafael C.Gonzalez和Richard E.Woods的DigitalImage Processing，第二版，2002，Prentice Hall，New Jersey中描述了通常用于图像处理的这些技术中的一些技术，其整体内容在此引入作为参考。

荧光信号是指图像中的强度分布，该强度分布反映出由被成像物体所产生的基底荧光。已经发现，对荧光图像应用扩散过滤可以有利地增强图像中的基底荧光信号，当该图像具有低SNR时尤其如此。

过滤帧向运动修正的帧的变换可包括用于修正全局运动移位的仿射变换和用于修正局部运动失真的非线性变换，如在上面的处理S100中所示例的。仿射变换和非线性变换二者都可包括修正过滤的帧的两个序列之间的像点。非线性变换可以是在此描述和在上面的S100中所示例的排序匹配变换。

上述排序匹配非线性变换可适于改善对其他类型的按顺序的图像帧的运动失真的对准或修正。在本发明的示例性实施例中，如下实施对在一时间段内取得的输入图像帧序列进行平均的方法。从输入帧产生对应的去卷积的帧的序列。可以使用各向异性扩散过滤来产生去卷积的帧。可选择地，可以使用中值过滤来进一步过滤去卷积的帧，并可通过盲去卷积操作来使其变清晰。通过同一仿射变换分别对准输入帧和去卷积的帧二者，以修正运动移位。对对准的去卷积的帧进一步进行非线性变换以修正运动失真，由此产生修正的去卷积的帧。然后以修正的去卷积的帧为基准，对对准的输入帧进行排序匹配非线性变换。如上所述实施排序匹配非线性变换。输入帧可以是过滤帧的序列，但也可以是其他类型的帧。然后可对运动修正的输入帧进行进一步的分析，或将其用于任何所需的应用。

在另一实施例中，可将多级高斯过滤技术用于过滤其他类型的图像。在该实施例中，可以如下处理图像帧的序列。将多个高斯过滤应用于每一个图像帧，从而产生于每一个图像帧相关联的多个高斯映射。每一个高斯过滤的特征在于独特的过滤宽度和取决于该过滤宽度的标准偏差。通过为过滤帧中的每个像点分配一强度来产生与每个图像帧对应的过滤帧，该强度等于与该图像帧相关联的高斯映射中的像点处的最大强度。例如，通过渐进式平均，对过滤帧的序列进行平均，从而产生最终的帧。当在特定应用中需要时，可以在平均之前，对过滤帧进行进一步的处理，例如运动修正。

实例

使用计算机200，根据处理S100来处理示例性图像帧。

用于处理这些图像帧的处理包括利用以下伪代码示例的算法：

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

％％Begin Pseudocode

Loop from i＝1 to N

{  execute subprocess S102 to generate filtered frame I^f _i from raw frame I_i

   execute subprocess S104 to generate deconvolved frame J_i from filtered

frame I_i

        execute subprocess S160 to identify landmark points in J_i

        If i＞1

        {execute S162 to correlate landmark points in J_i and J_i-1

        execute S108 to align I^f _i with I^a _i-1，generating aligned frame I^a _i

            execute S110 to correct alignment of I^a _i to I^ref _i-1，generating

                 corrected frame Iⁿ _i and reference frame I_i ^ref

     I_A＝[(i-1)＊I_A+Iⁿ _i]/i

     ELSE

     I_A＝I^f _i

     }end if i＞1

}end loop from i＝1 to N

％％End Pseudocode

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

实例I

图3A中示出了在该实例中活体取得的且被处理的鼠视网膜的GFAP-GFP图像的样品原帧。

图3B示出了在应用了多级高斯过滤和去卷积过滤之后从过滤帧产生的去卷积的帧，该过滤帧本身是从图3A的原帧产生的。可以看出，在图3B中，图像中的基底特征增强而没有显著的失真。该结果表明，在这种情况下，对过滤帧进行去卷积便于精确估定在过滤帧中的基底荧光信号。

图3C示出仅仅通过应用9×9中值过滤从图3B的过滤帧产生的对照帧。与图3B相比，基底信号增强得较少。图3C中可看到图像伪影，但在图3B中没有这种图像伪影。

图3D示出通过简单平均而产生的对照帧。

图4A、4B、4C和4D示出四个过滤帧12A、12B、12C和12D的代表性序列以及其中的不同界标点28A、28B、28C、28D、28E之间的相关性。用相同的词缀字母A至E分别追踪对应的界标点。图4A示出该序列中的第一过滤帧12A，图4B示出该序列中的第二过滤帧12B，图4C示出该序列中的第三过滤帧12C，图4D示出该序列中的第四过滤帧12D。可以看出，某些对应的界标点的对(例如28E和28F)没有出现在所有的帧中。

实例II

使用Heidelberg Retina Angiograph(HRA2)系统，从具有FVB/N损伤的两只不同的鼠的视网膜获得原图像帧。使用蓝色激光(488nm)来激发转基因GFAP-GFP表示，并且将遮光滤光器设置在500nm处。最初将视场设定为30°，但这里显示的图像是围绕视神经头的更局域的区域，因为该区域是所关注的区域。所有的视网膜图像具有10μm的横向分辨率。在特定的时刻(不同天)在两周内采集原始视网膜图像。在实验的开始，即紧接在视网膜成像之后的第0天，受控鼠被注射盐水，并且对经处理的鼠进行腹膜内红藻氨酸注射。每天取得原图像的序列，并且如以上实例中详述的，根据处理S100对原图像的序列进行平均，从而获得那天的最终图像。用于该平均处理的参数为：Wr＝17，T＝5，NCC_th＝0.9，W_c＝11，以及N＝55。

以第0天、第3天、第7天和第14天的顺序，图5A、5B、5C和5D示出受控鼠的最终图像，而图6A、6B、6C和6D示出经处理的鼠的最终图像。

从这些最终图像观察到，在施用盐水或红藻氨酸之前的第0天，两只鼠具有不同的基准线荧光。还观察到两只鼠之间的发荧光区域的方向和尺寸随着时间的变化。还观察到，随着时间流逝，在第0天图像中最初限定的关注区域(ROI)变形或歪曲。

使用以上最终图像，可归一化且分析视网膜图像中的荧光，并且获得良好的结果。

试验结果表明，与通过直接帧平均(参见图3D)或在仅仅仿射变换之后的简单平均而获得的帧相比，示于图5A、5B、5C、5D、6A、6B、6C和6D中的最终帧具有显著更好的分辨率。

实例III

如上所述，利用3个高斯映射(T＝3)，使用多级高斯过滤(MSGF)，获得平均结果，并且使直接算术平均与其他平均技术相比较，所述平均技术包括直接帧平均(DFA)和固定比例高斯过滤(FSGF)。使用十个Lena原图像进行比较，其中通过具有10db的SNR的高斯噪声的例子来破坏每个原图像。

发现：与根据DFA或FSGF产生的最终图像相比，根据MSGF产生的最终图像具有较低的归一化绝对误差和(NSAE)，如图7A和7B所示。在图7B中，过滤宽度值指示出对于MSGF的最大过滤宽度(＝T)以及对于FSGF的固定过滤宽度。图7B还表明，对于T＞1，MSGF的NSAE保持相对恒定，而FSGF的NSAE随着其固定过滤宽度而增加。对于任何T＞1，当固定过滤宽度为2时，FSGF的NSAE最低，但仍大于MSGF的NSAE。

实例IV

计算表明，在仿射变换和用于修正运动失真的非线性变换二者之后，对准误差显著降低。还发现，相比于使所有帧与固定参考帧或未修正的相邻帧的对准相比，  (与修正的相邻帧的)相继对准产生最低的对准误差。虽然仿射变换改善了图像帧的对准，但用于运动修正的非线性变换进一步显著改善了对准。还发现，当邻域宽度(W_n)增大时，获得非线性变换的更好性能。当W_n＝22时，获得最佳的效果。

可以理解，在此描述的示例性处理可有利地用于处理这样的图像序列，该图像序列具有低SNR，可能具有运动失真，特别是局部或复杂的运动失真。例如，在鼠视网膜中的转基因GFAP-GFP表示的活体荧光图像具有非常低的SNR，且涉及复杂运动。可以使用本发明的实施例来方便地处理这些图像。

与常规平均方法相比，在此描述的实施例实施例可产生改善的噪声抑制和改善的分辨率。它们可用于提供对从活的鼠获取的视网膜图像上的分子信号的定性和定量分析，所述对从活的鼠获取的视网膜图像可用于模拟人类疾病，例如，帕金森病、阿尔茨海默氏病、糖尿病、肝脏不足、肾衰竭等等。利用这些技术，可以使对GFP标示的视网膜神经胶质以及相关的血管网络的处理和识别模式化。由此，通过使用可计量的分子成像方法，转基因鼠视网膜可用作诊断视网膜病、筛查化合物神经毒性和功效、以及监测在癌症治疗研发中的血管新生的场所。

本发明的实施例可用于量化GFP信号和检测从鼠中获得的视网膜图像上的血管网络的模式改变。鼠可用于模拟由神经毒物或转基因引起的帕金森病或阿尔茨海默氏病。鼠可以是用神经毒物、或杀虫剂、或食品添加剂、或环境污染物处理后的转基因鼠。鼠可以是具有视网膜病的鼠，所述视网膜病源于眼部、CNS或其他系统疾病(例如糖尿病、肝脏病、肾脏病、高血压、血管病、先天性心脏病、风湿性关节炎、多发性硬化、神经纤维瘤病、莱姆神经疏螺旋体病、唐氏综合症、孤独症、镰状细胞贫血、具有HIV的巨细胞病毒感染、甲状腺障碍症。可以用用于评估神经胶质过多症和神经毒性或功效的候选药物处理鼠。

本发明的实施例还可用于量化荧光和生物性发光信号，并且用于检测从鼠获得的视网膜图像上的血管网络的图形改变，这些鼠被施用了外源成像剂、或表示注射有外源成像剂的其他荧光或生物性发光报告分子。

在此描述的处理还可用于处理各种类型的图像，例如共焦图像、MRI图像或宠物图像。

本领域技术人员可由该说明书和附图理解在此描述的实施例的没有在上面明确提到的其他特征、益处和优点。

当然，上述实施例仅仅旨在示例性的而绝不是限制性的。可容易地对所述实施例在形式、部分的设置、细节以及操作顺序进行多种修改。而本发明旨在包容由权利要求书所限定的本发明范围内的所有这种修改。

Claims (20)

1.一种对利用荧光成像技术从活的物体取得的图像帧的序列进行平均的方法，该方法包括：

对所述图像帧应用减噪过滤，从而产生过滤的帧的序列；

对所述过滤的帧的序列应用去卷积过滤，从而产生对应的去卷积的帧的序列；

对所述去卷积的帧进行运动修正变换，从而产生修正的去卷积的帧的序列，其中第i个修正的去卷积的帧用J_i ^ref(x，y)表示，J_i ^ref是在所述第i个修正的去卷积的帧中的像点(x，y)处的强度；

通过仿射变换来变换所述过滤的帧，以对准所述过滤的帧，由此产生对准的帧的序列，其中第i个对准的帧用I_i ^a(x，y)表示，I_i ^a是在所述第i个对准的帧中的像点(x，y)处的强度；

对每个对准的帧中的像点重新定位，从而产生运动修正的帧，其中第i个运动修正的帧用I_i ⁿ(x，y)表示，I_i ⁿ是在所述第i个运动修正的帧中的像点(x，y)处的强度， $I_i^n(x,y)=I_i^a(x_p,y_p),$ 并且其中如此选择位置(x_p，y_p)，以便

(i)该位置位于以(x，y)为中心的邻域内，并且

(ii)所述邻域中的I_i ^a(x_p，y_p)的强度排序和所述邻域中的J_i-1 ^ref(x，y)的强度排序相同，

由此产生运动修正的帧的序列；以及

对所述运动修正的帧进行平均，从而产生最终的帧。

2.根据权利要求1的方法，其中运动修正的帧的总数目为N，并且其中所述平均包括：

产生参考帧的序列，其中所述参考帧的第i个帧用I_i ^ref表示，并且计算为

$I_i^{\mathrm{ref}}=\frac{(i-1)\&times;I_{i-1}^{\mathrm{ref}}+I_i^n}{i};$ 以及

根据 $I_A=I_N^{\mathrm{ref}}$ 而产生所述最终的帧，I_A表示所述最终的帧。

3.根据权利要求1或2的方法，其中对所述去卷积的帧的所述运动修正变换包括：

通过仿射变换而变换所述去卷积的帧，从而对准所述去卷积的帧，由此产生对准的去卷积的帧的序列，其中第i个对准的去卷积的帧用J_i ^a(x，y)表示，J_i ^a是在所述第i个对准的去卷积的帧中的像点(x，y)处的强度；

对每个对准的去卷积的帧中的像点重新定位，从而产生运动修正的去卷积的帧，其中第i个运动修正的去卷积的帧用J_i ⁿ(x，y)表示，J_i ⁿ是在所述第i个运动修正的去卷积的帧中的像点(x，y)处的强度， $J_i^n(x,y)=J_i^n(x_0,y_0),$ 并且其中如此选择位置(x₀，y₀)，以便

(i)所述位置(x₀，y₀)位于以(x，y)为中心的邻域内，并且

(ii)所述邻域中的J_i ^a(x₀，y₀)的强度排序和所述邻域中的J_i-1 ^ref(x，y)的强度排序相同。

4.根据权利要求3的方法，其中根据 $J_i^{\mathrm{ref}}=\frac{(i-1)\&times;J_{i-1}^{\mathrm{ref}}+J_i^n}{i}$ 而产生所述第i个修正的去卷积的帧。

5.根据权利要求1至4中任何一项的方法，包括：

在所述去卷积的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；

根据在所述去卷积的帧中的所述对应的界标点之间的点对点的相关性，在所述过滤的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；以及

其中通过所述仿射变换对所述过滤的帧的变换包括在所述对准的帧的每个相邻对中对准对应的界标点。

6.根据权利要求5的方法，其中对所述去卷积的帧的每个相邻对中的所述对应的界标点之间的点对点的相关性的建立包括：

对所述对应的界标点的每个对计算归一化交叉相关(NCC)度；

当NCC度满足预先选定的条件时，确定界标点的所述对相关。

7.一种对利用荧光成像技术从活的物体取得的图像帧的序列进行平均的方法，所述方法包括：

对所述图像帧应用减噪过滤，从而产生过滤的帧的序列；

对所述过滤的帧的序列应用去卷积过滤，从而产生对应的去卷积的帧的序列；

通过在每个去卷积的帧中识别具有峰值强度的像点，确定所述去卷积的帧中的界标点；

在所述去卷积的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；

根据在所述去卷积的帧中的对应的界标点之间的所述点对点的相关性，在所述过滤的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；

通过仿射变换而变换所述过滤的帧，从而顺序地对准所述过滤的帧，由此产生对准的帧的序列；

通过非线性变换而变换所述对准的帧以进行运动修正，由此产生运动修正的帧的序列；以及

对所述运动修正的帧进行平均，从而产生最终的帧。

8.根据权利要求7的方法，其中所述建立所述去卷积的帧的每个相邻对中的对应的界标点之间的点对点的相关性包括：

对所述对应的界标点的每个对计算归一化交叉相关(NCC)度；

当所述NCC度满足预先选定的条件时，确定界标点的所述对相关。

9.一种对利用荧光成像技术从活的物体取得的图像帧的序列进行平均的方法，该方法包括：

对所述图像帧应用多级高斯过滤以进行减噪，由此产生过滤的帧的序列；

对所述过滤的帧应用去卷积过滤，由此产生去卷积的帧的序列；

从所述去卷积的帧提取强度最大点作为界标点；

使用归一化交叉相关性在所述去卷积的帧中追踪界标点；

以所述被追踪的界标点为基准通过仿射变换对准所述过滤的帧，由此产生对准的帧；

通过非线性变换而变换所述对准的帧以进行运动修正，由此产生运动修正的帧；以及

对所述运动修正的帧进行平均，从而产生最终的帧。

10.根据权利要求9的方法，其中所述追踪所述去卷积的帧中的界标包括在所述去卷积的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；所述方法还包括：

根据在所述去卷积的帧中的所述对应的界标点之间的点对点的相关性，在所述过滤的帧的每个相邻对中在对应的界标点之间建立点对点的相关性；

其中所述对准所述过滤的帧包括在所述对准的帧的每个相邻对中对准对应的界标点。

11.根据权利要求7至10中任何一项的方法，其中所述运动修正的帧中的第i个帧可用I_i ⁿ表示，其中i＝1至N，N为运动修正的帧的总数目，并且其中所述平均包括：

产生参考帧的序列，所述参考帧的第i个帧用I_i ^ref表示，并且计算为

$I_i^{\mathrm{ref}}=\frac{(i-1)\&times;I_{i-1}^{\mathrm{ref}}+I_i^n}{i};$ 以及

根据 $I_A=I_N^{\mathrm{ref}}$ 而产生所述最终的帧，I_A表示所述最终的帧。

12.根据权利要求1至11中任何一项的方法，其中通过以下步骤产生所述过滤的帧的序列：

对每一个所述图像帧应用多个高斯过滤以产生与所述每个图像帧相关联的多个高斯映射，每一个所述高斯过滤的特征在于独特的过滤宽度和根据所述过滤宽度的标准偏差；

产生与所述每个图像帧对应的过滤的帧，通过为所述过滤的帧中的每个像点分配这样的强度，该强度等于在与所述每个图像帧相关联的所述多个高斯映射中的所述每个像点处的最大强度，由此产生所述过滤的帧的所述第一序列。

13.根据权利要求12的方法，其中在图像帧的所述序列中与第i个图像帧相关联的第j个高斯映射中的像点(x，y)处的强度M_i，j(x，y)可以通过下式进行计算：

$M_{i,j}(x,y)=\underset{x_j}{\mathrm{\&Sigma;}}\underset{y_j}{\mathrm{\&Sigma;}}{h}_j(x-x_j)h_j^{\&prime;}(y-y_j)I_i(x_j,y_j)$

其中求和对满足(x-w_j)≤x_j≤(x+w_j)和(y-w_j)≤y_i≤(y+w_j)的可能的x_j和y_j进行，并且

其中I_i(x，y)是在第i个图像帧中的像点(x，y)处的强度，

$h_j\left(u\right)=\exp (-u^2/2{\mathrm{\&sigma;}}_j^2)$ 是用于第j个高斯过滤的高斯变换函数，u表示一维变量，

h′_j(u)是h_j(u)的转置，

σ_j是标准偏差，并且

w_j是第j个高斯过滤的过滤宽度。

14.根据权利要求13的方法，其中w_j＝j。

15.根据权利要求13或14的方法，其中σ_j可被选择为具有满足 $\exp (-w_j^2/{2\mathrm{\&sigma;}}_j^2)\&le;{10}^{-3}$ 的最大值。

16.根据权利要求13至16中任何一项的方法，其中所述多个高斯过滤可由3至10个高斯过滤构成。

17.根据权利要求1至16中任何一项的方法，其中所述活的物体为鼠视网膜。

18.根据权利要求1至17中任何一项的方法，其中所述荧光成像技术为神经胶质纤维酸性蛋白质-绿色荧光蛋白质(GFAP-GFP)成像技术。

19.一种计算机，包括处理器和计算机可读介质，在所述计算机可读介质上存储计算机可执行指令，当通过所述处理器执行时，所述计算机可执行指令使所述计算机适于实施权利要求1至18中任何一项的方法。

20.一种计算机可读介质，在其上存储计算机可执行指令，当通过处理器执行时，所述计算机可执行指令使所述处理器适于实施权利要求1至18中任何一项的方法。

Images