CN111724379B - 基于组合视图的显微图像细胞计数与姿态识别方法及系统 - Google Patents

Abstract

本发明属于智能医疗辅助和计算机视觉技术领域，公开了一种基于组合视图的显微图像细胞计数与姿态识别方法及系统，获取目标在不同焦段下拍摄的多张图像，通过人工观察，标注每张图像中包含的细胞个数，将标注了细胞个数的图像作为训练样本，训练一个深度神经网络细胞个数预测模型；对获取的图像进行去噪、对比度增强预处理，并在每张图像上利用深度卷积神经网络得到的特征检测边缘；在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合；在多张图像的组合上对候选椭圆进行验证和筛选。本发明可以有效克服显微图像的质量退化问题，克服了单视图固有的缺陷，改善椭圆拟合的质量，进而提升细胞计数和姿态识别的准确性。

Description

基于组合视图的显微图像细胞计数与姿态识别方法及系统

技术领域

本发明属于智能医疗辅助和计算机视觉技术领域，尤其涉及一种基于组合视图的显微图像细胞计数与姿态识别方法及系统。

背景技术

目前，体外受精(IVF)是针对不孕不育症的有效治疗方法之一。为了保证体外受精质量，需要对多组胚胎样本进行质量评估优选。专业机构的医生可以通过显微镜对受精卵细胞的形态进行持续观察，并给出评估结果。这种方式简单直接，但需要相当专业的背景知识和大量的人工参与，门槛较高且效率低下。因此，许多研究者尝试用图像智能解译的方式来代替人工参与。

霍夫曼调制相衬(HMC)显微成像技术是最常用的透明目标无创图像采集方法。然而，由于培养皿中的细胞处于半透明和重叠状态、细胞代谢物和碎片等杂质干扰、成像光照条件和噪声带来的质量问题等因素，自动从图像中提取细胞的数量、姿态等信息仍然面临极大的挑战。现有的方案主要通过对图像中目标几何形状的拟合来实现细胞计数或定位功能，其重要假设是细胞的形态可以用近似圆或椭圆表示。现有技术1研究了基于粒子群算法的霍夫变换参数优化模型，实现对单胚胎的圆形拟合，但并未考虑分裂后有多个细胞的情况；现有技术2提出了一种基于最小二乘法的多细胞计数方法，通过拟合圆形来检测培养过程中细胞的数量。然而，这类方法仅考虑圆形作为几何要素，对非圆形态的细胞并不适用。因此，一些研究者使用椭圆来获得更广泛的形状适应性。现有技术3提出基于Hough变换的椭圆检测方法来实现4细胞时期的检测任务；现有技术4通过等周图分割得到细胞边缘，再通过最小二乘法进行椭圆拟合。与圆形相比，椭圆的适用场景更加广泛，但是仅仅利用单幅图像提供的信息难以克服杂质、噪声、轮廓弱化、重叠等因素带来的挑战。为了解决这一问题，现有技术5提出了一种使用Z-stack(即单细胞时期在不同聚焦水平下的一组图像)的细胞分割方法，提出了利用多焦段多视图融合增强的思想，但其应用仅限于单细胞时期。

通过上述分析，现有技术存在的问题及缺陷为：(1)现有技术对几何形状的拟合依赖的轮廓边缘信息，对噪声、遮挡和成像质量比较敏感，导致几何形状拟合的质量不佳。

(2)现有技术无法适用于图像中的细胞数量未知的情况。

(3)多焦段多视图的融合应用目前仅限于单细胞时期，尚未扩展到多细胞时期。

解决以上问题及缺陷的难度为：(1)通用的轮廓边缘提取算法难以克服应用场景下噪声、遮挡和成像质量的影响，需要引入语义级的信息来提高轮廓的感知能力。

(2)当图像中包含细胞的数量未知时，需要求解一个数量估计和姿态估计的联合问题，相较于数量已知的情况，该问题的未知量更多、复杂性更高、难度也更大。

(3)多焦段多视图数据按照何种方式进行融合才能增强细胞计数和定位的效果，同时适应细胞数量未知的场景，尚无现有工作可以借鉴。

解决以上问题及缺陷的意义为：融合高层语义信息可以提升轮廓感知的能力，降低传统方法边缘质量带来的不稳定性；通过解决细胞数量未知时的计数和定位问题，建立细胞数量和姿态联合估计的统一框架，方法的适用场景得到扩展；建立多视图融合增强的有效机制，克服单视图固有的缺陷，提升结果准确性。

发明内容

针对现有技术存在的问题，本发明提供了一种基于组合视图的显微图像细胞计数与姿态识别方法及系统。

本发明是这样实现的，一种基于组合视图的显微图像细胞计数与姿态识别方法，所述基于组合视图的显微图像细胞计数与姿态识别方法包括：

获取目标在不同焦段下拍摄的多张图像，通过人工观察，标注每张图像中包含的细胞个数，将标注了细胞个数的图像作为训练样本，训练一个深度神经网络细胞个数预测模型；对获取的图像进行去噪、对比度增强预处理，并在每张图像上利用深度卷积神经网络得到的特征检测边缘；在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合；在多张图像的组合上对候选椭圆进行验证和筛选。

进一步，基于组合视图的显微图像细胞计数与姿态识别方法包括以下步骤：

步骤一，利用霍夫曼调制相衬系统显微镜间隔一段时间拍摄一组目标在不同焦段下的图像，并对获取的图像进行去噪和对比度增强处理；

步骤二，通过检测每幅图像中镜筒边缘的圆环进行感兴趣区域提取，经过裁剪得到仅包含细胞区域的感兴趣图像；选取一部分图像，并通过人工观察标注选取的图像中包含的细胞个数，作为训练数据；

步骤三，构建一个深度神经网络细胞个数预测模型，并利用构建的模型提取图像的高维特征，同时基于机器学习的方法利用步骤三得到的训练数据对所述细胞个数预测模型进行训练，利用训练后的细胞个数预测模型对图像中包含的细胞个数进行预测；

步骤四，采用基于深度学习的方法为每个像素学习一个高维的边缘属性特征，提取完整清晰的边缘信息；

步骤五，基于图像组合策略进行初始椭圆的拟合，并得到初始椭圆集；对获得的初始椭圆集进行筛选。

进一步，步骤一中，所述利用霍夫曼调制相衬系统显微镜间隔一段时间拍摄一组目标在不同焦段下的图像包括：

利用霍夫曼调制相衬系统显微镜拍摄图像，间隔15分钟拍摄一组；每组为不同的焦距段拍摄出的7张图像，分别记为I₁，I₂，I₃，I₄，I₅，I₆，I₇，对应的是-15,-30,-45,0,15,30,45焦距。

进一步，步骤四中，所述深度学习的方法为基于深度卷积特征的RCF边缘预测方法或基于U-Net的眼底图像血管分割算法。

进一步，步骤五中，所述基于图像组合策略进行初始椭圆的拟合包括：

(1)确定图片组合策略：确定某一时刻多张图像上的边缘图像为e₁，e₂，e₃，e₄，e₅，e₆，e₇，分别对应-15,-30,-45,0,15,30,45焦距值；确定组合策略为将不同焦距段的边缘图像进行组合；

(2)对于得到的待叠加边缘图像数据e_s找到由连通的边缘点构成的弧段，利用最小二乘法估计出由这些弧段可能构成的所有的初始椭圆集E_initial；

(3)以得到的e_m边缘图像作为评价参照对得到的初始椭圆集E_initial中每个椭圆进行评分。

进一步，步骤(1)中，所述对不同焦距段的边缘图像进行组合包括：

(1.1)将原始边缘图像e₁，e₂，e₃，e₄，e₅，e₆，e₇进行叠加，得到像素信息更加多的边缘图；

所述叠加方法包括：对N张边缘图像I₁,I₂,…,I_N,保存为白底黑边的图像，位于边缘的像素值为0，非边缘的像素值为1；在标记为边缘的像素的坐标位置(x_p，y_p)取所有需要叠加图像中该位置像素的最小值，得到一张提取所有被叠加图像的边缘信息的图像；

(1.2)将焦距值为-30和0时检测出的边缘图像e₂和e₄进行求平均；

所述求平均方法包括：对N张边缘图像I₁,I₂,…,I_N,进行求平均得到的图像即1/N*I₁+1/N*I₂…+1/N*I_N。

进一步，步骤(3)中，所述评分方法包括：

(3.1)利用canny算子对e_m图像上的所有边缘像素进行标记，记为p；

(3.2)遍历椭圆集E_initial中每个椭圆，记第i个椭圆在e_m图像中覆盖的像素值的个数为pi(pi∈p)；则第i个椭圆的内点覆盖率记为

ρⁱ＝#{pi：pi∈SI(e)}/β；

其中，SI(e)代表第i个椭圆的内点，β代表的是椭圆的周长；

(3.3)将第i个椭圆的角度覆盖率记为Sⁱ，计算公式为：

其中n为该椭圆中所包含的弧线段的个数，θ_j为弧线段的对应的角度；

则第i个椭圆评分的公式如下：

对初始椭圆中每个椭圆进行评分，并且根据分值进行从大到小的排序，得到排序后的椭圆集E_inorder。

进一步，步骤五中，所述对获得的初始椭圆集进行筛选包括：

1)形态筛选：通过形态筛选删除形态不满足条件的椭圆，得到符合形态特征的椭圆集合E_R；

2)质量筛选：根据计算得到ρⁱ与Sⁱ，删除在I图像中不满足内点覆盖率与角度覆盖率的椭圆，验证得到候选椭圆集E_candidate；

3)删除重叠椭圆：当出现两个椭圆重叠度高于一定程度时，删除这两个椭圆中内点覆盖较低的那个椭圆。

进一步，步骤1)中，所述形态筛选包括：

1.1)细胞大小筛选

利用下式计算一个表示单个细胞占整个感兴趣区域的百分比的系数R；

H表示细胞大小，A表示图像感兴趣区域大小；

确定单个细胞的大小与胚胎大小的关系为：

其中num为细胞的个数；

1.2)细胞形态筛选

细胞的曲率满足如下条件：

其中a为椭圆的短半轴，c为椭圆的长半轴。

进一步，步骤3)中，所述删除重叠椭圆具体包括：

3.1)遍历候选椭圆集E_candidate，记所有椭圆为E₁、E₂、…、E_n两两组合，得到n*(n-1)/2种组合(E₁，E₂)(E₁，E₃)…(E_n-1,E_n)，通过下式计算出两个椭圆的重叠度S：

3.2)利用下式计算可以排除椭圆相互包含的情况：

cont＝H₁∪H₂；

当cont等于H₁或者H₂的时候，表示两个椭圆互相包含；

3.3)当两个椭圆重叠度S高于55％或椭圆相互包含的时，删除组合中内点覆盖率较低的那个椭圆；

3.4)删除后的椭圆标记为假，下次不再做判断；直至所有的组合都被验证，得到椭圆集合E_end；

3.5)在椭圆集合E_end中直接选择最前面的k个椭圆即得分最高的k个椭圆；被选作真实的椭圆即经过筛选得到的椭圆；其中，k是分类器预测的细胞的个数。

本发明的另一目的在于提供一种实施所述基于组合视图的显微图像细胞计数与姿态识别方法的显微图像细胞计数与姿态识别终端。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取目标在不同焦段下拍摄的多张图像，通过人工观察，标注每张图像中包含的细胞个数，将标注了细胞个数的图像作为训练样本，训练一个深度神经网络细胞个数预测模型；

对获取的图像进行去噪、对比度增强预处理，并在每张图像上利用深度卷积神经网络得到的特征检测边缘；

在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合；

在多张图像的组合上对候选椭圆进行验证和筛选。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明可以有效克服显微图像的质量退化问题，改善椭圆拟合的质量，进而提升细胞计数和姿态识别的准确性。

本发明通过训练一个深度神经网络，用机器学习的方式对图像中包含的细胞个数进行自动预测，从而无需知道细胞处于什么阶段，扩展了该方法的适用场景。

本发明采用基于深度特征的边缘检测方法，挖掘了像素更高级的语义特征，因此比传统的边缘检测算子在表达目标边界上具备更好的性能，进而间接改善了椭圆拟合的质量。

本发明采用在多个焦段下拍摄的多张图像，并设计了相应的组合策略，与传统的使用单一图像的方法相比，能更充分地利用信息，改善边缘的清晰度和完整性，进而提高椭圆拟合的准确度。

本发明提出的方法可以通过学习的方式自适应地确定图像中包含的细胞数量，无需在已知的特定阶段拍摄图像，具有较广泛的适用范围；采用融合深度语义信息的轮廓提取方法，间接提升了椭圆拟合的质量；利用多焦段多视图的综合信息进行椭圆的拟合和验证，克服了单视图固有的缺陷，得到的椭圆参数更加准确。

图3给出了应用不同边缘提取算法进行椭圆拟合的对比效果；图4给出了没有利用组合信息以及利用了组合信息进行椭圆检测的对比效果；图5给出了本发明最终效果与传统方法的对比结果。图6给出了本方案在一次实验中的完整流程图。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于组合视图的显微图像细胞计数与姿态识别方法流程图。

图2是本发明实施例提供的采集7张样例图。

图3是本发明实施例提供的不同边缘提取方法对应的椭圆检测结果对比图。

图4是本发明实施例提供的椭圆检测对比示意图。

图5是本发明实施例提供的不同方法最终得到的椭圆结果对比示意图。

图6是本发明实施例提供的完整实验流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于组合视图的显微图像细胞计数与姿态识别方法，下面结合附图对本发明作详细的描述。

本发明实施例提供的基于组合视图的显微图像细胞计数与姿态识别方法包括：

获取目标在不同焦段下拍摄的多张图像，通过人工观察，标注每张图像中包含的细胞个数，将标注了细胞个数的图像作为训练样本，训练一个深度神经网络细胞个数预测模型；对获取的图像进行去噪、对比度增强预处理，并在每张图像上利用深度卷积神经网络得到的特征检测边缘；在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合；在多张图像的组合上对候选椭圆进行验证和筛选。

如图1所示，本发明实施例提供的基于组合视图的显微图像细胞计数与姿态识别方法包括以下步骤：

S101，利用霍夫曼调制相衬系统显微镜间隔一段时间拍摄一组目标在不同焦段下的图像，并对获取的图像进行去噪和对比度增强处理；

S102，通过检测每幅图像中镜筒边缘的圆环进行感兴趣区域提取，经过裁剪得到仅包含细胞区域的感兴趣图像；选取一部分图像，并通过人工观察标注选取的图像中包含的细胞个数，作为训练数据；

S103，构建一个深度神经网络细胞个数预测模型，并利用构建的模型提取图像的高维特征，同时基于机器学习的方法利用步骤S103得到的训练数据对所述细胞个数预测模型进行训练，利用训练后的细胞个数预测模型对图像中包含的细胞个数进行预测；

S104，采用基于深度学习的方法为每个像素学习一个高维的边缘属性特征，提取完整清晰的边缘信息；

S105，基于图像组合策略进行初始椭圆的拟合，并得到初始椭圆集；对获得的初始椭圆集进行筛选。

步骤S101中，本发明实施例提供的利用霍夫曼调制相衬系统显微镜间隔一段时间拍摄一组目标在不同焦段下的图像包括：

利用霍夫曼调制相衬系统显微镜拍摄图像，间隔15分钟拍摄一组；每组为不同的焦距段拍摄出的7张图像，分别记为I₁，I₂，I₃，I₄，I₅，I₆，I₇，对应的是-15,-30,-45,0,15,30,45焦距。

步骤S104中，本发明实施例提供的深度学习的方法为基于深度卷积特征的RCF边缘预测方法或基于U-Net的眼底图像血管分割算法。

步骤S105中，本发明实施例提供的基于图像组合策略进行初始椭圆的拟合包括：

(1)确定图片组合策略：确定某一时刻多张图像上的边缘图像为e₁，e₂，e₃，e₄，e₅，e₆，e₇，分别对应-15,-30,-45,0,15,30,45焦距值；确定组合策略为将不同焦距段的边缘图像进行组合；

(2)对于得到的待叠加边缘图像数据e_s找到由连通的边缘点构成的弧段，利用最小二乘法估计出由这些弧段可能构成的所有的初始椭圆集E_initial；

(3)以得到的e_m边缘图像作为评价参照对得到的初始椭圆集E_initial中每个椭圆进行评分。

步骤(1)中，本发明实施例提供的对不同焦距段的边缘图像进行组合包括：

(1.1)将原始边缘图像e₁，e₂，e₃，e₄，e₅，e₆，e₇进行叠加，得到像素信息更加多的边缘图；

所述叠加方法包括：对N张边缘图像I₁,I₂,…,I_N,保存为白底黑边的图像，位于边缘的像素值为0，非边缘的像素值为1；在标记为边缘的像素的坐标位置(x_p，y_p)取所有需要叠加图像中该位置像素的最小值，得到一张提取所有被叠加图像的边缘信息的图像；

(1.2)将焦距值为-30和0时检测出的边缘图像e₂和e₄进行求平均；

所述求平均方法包括：对N张边缘图像I₁,I₂,…,I_N,进行求平均得到的图像即1/N*I₁+1/N*I₂…+1/N*I_N。

步骤(3)中，本发明实施例提供的评分方法包括：

(3.1)利用canny算子对e_m图像上的所有边缘像素进行标记，记为p；

(3.2)遍历椭圆集E_initial中每个椭圆，记第i个椭圆在e_m图像中覆盖的像素值的个数为pi(pi∈p)；则第i个椭圆的内点覆盖率记为

ρⁱ＝#{pi：pi∈SI(e)}/β；

其中，SI(e)代表第i个椭圆的内点，β代表的是椭圆的周长；

(3.3)将第i个椭圆的角度覆盖率记为Sⁱ，计算公式为：

其中n为该椭圆中所包含的弧线段的个数，θ_j为弧线段的对应的角度；

则第i个椭圆评分的公式如下：

对初始椭圆中每个椭圆进行评分，并且根据分值进行从大到小的排序，得到排序后的椭圆集E_inorder。

步骤S105中，本发明实施例提供的对获得的初始椭圆集进行筛选包括：

1)形态筛选：通过形态筛选删除形态不满足条件的椭圆，得到符合形态特征的椭圆集合E_R；

2)质量筛选：根据计算得到ρⁱ与Sⁱ，删除在I图像中不满足内点覆盖率与角度覆盖率的椭圆，验证得到候选椭圆集E_candidate；

3)删除重叠椭圆：当出现两个椭圆重叠度高于一定程度时，删除这两个椭圆中内点覆盖较低的那个椭圆。

步骤1)中，本发明实施例提供的形态筛选包括：

1.1)细胞大小筛选

利用下式计算一个表示单个细胞占整个感兴趣区域的百分比的系数R；

H表示细胞大小，A表示图像感兴趣区域大小；

确定单个细胞的大小与胚胎大小的关系为：

其中num为细胞的个数；

1.2)细胞形态筛选

细胞的曲率满足如下条件：

其中a为椭圆的短半轴，c为椭圆的长半轴。

步骤3)中，本发明实施例提供的删除重叠椭圆具体包括：

3.1)遍历候选椭圆集E_candidate，记所有椭圆为E₁、E₂、…、E_n两两组合，得到n*(n-1)/2种组合(E₁，E₂)(E₁，E₃)…(E_n-1,E_n)，通过下式计算出两个椭圆的重叠度S：

3.2)利用下式计算可以排除椭圆相互包含的情况：

cont＝H₁∪H₂；

当cont等于H₁或者H₂的时候，表示两个椭圆互相包含；

3.3)当两个椭圆重叠度S高于55％或椭圆相互包含的时，删除组合中内点覆盖率较低的那个椭圆；

3.4)删除后的椭圆标记为假，下次不再做判断；直至所有的组合都被验证，得到椭圆集合E_end；

3.5)在椭圆集合E_end中直接选择最前面的k个椭圆即得分最高的k个椭圆；被选作真实的椭圆即经过筛选得到的椭圆；其中，k是分类器预测的细胞的个数。

下面结合具体实施例对本发明技术方案作进一步说明。

实施例1：

首先，进行数据的预处理和准备。采用目标在不同焦段下拍摄的多张图像，而非仅仅利用特定焦段的一张图像。

然后，训练一个细胞个数预测模型。通过人工观察，标注每张图像中包含的细胞个数，将其作为训练样本，训练一个深度神经网络。该网络的输入是一张图像，输出是该图像中细胞的个数。

接下来，对多张图像进行去噪、对比度增强等预处理，在每张图像上利用深度卷积神经网络得到的特征检测边缘。

再者，在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合。

最后，在多张图像的组合上对候选椭圆进行验证和筛选。该方案可以有效克服显微图像的质量退化问题，改善椭圆拟合的质量，进而提升细胞计数和姿态识别的准确性。

进一步，本发明提供的基于组合视图的显微图像细胞计数与姿态识别方法具体包括：

(1)数据采集与预处理。

优选地，步骤(1)具体包括如下子步骤：

(1.1)数据采集。利用霍夫曼调制相衬系统显微镜拍摄图像，间隔15分钟拍摄一组。每组为不同的焦距段拍摄出的7张图像，分别记为I1，I2，I3，I4，I5，I6，I7，对应的是-15，-30，-45,0,15,30,45焦距。采集图像的样例如图2所示；

(1.2)数据预处理。首先分别对每幅图像进行去噪和对比度增强处理，通过检测每幅图像中镜筒边缘的圆环进行感兴趣区域提取，经过裁剪得到仅包含细胞区域的感兴趣图像。

(1.3)数据标注。通过人工观察，标注出一部分图像中包含的细胞的个数，以便在后面的过程中可以利用该信息训练一个可预测图像中包含细胞个数的模型。

(2)细胞个数预测。由于细胞所处的培养阶段未知，其包含的细胞的个数也是无法预先知道的。为此，本发明利用机器学习的方法训练一个预测模型，对图像中包含的细胞个数进行预测。所采用的深度神经网络的结构可以有多种，在本发明中，优选以一个类似LeNet的网络为例进行说明。通过上述网络提取图像的高维特征，并利用已标注数据训练一个分类器对图像所包含的细胞数量进行分类，从而达到预测的目的。

(3)细胞边缘检测。由于实验数据图像梯度并不明显，且在多细胞相互重叠的区域会出现遮挡细胞边缘的情况，会使普通梯度信息的边缘检测方法检测出的胚胎边缘不清晰且出现边缘不连续的情况，给后续椭圆拟合带来困扰。为此，本发明采用基于深度学习的方法给每个像素学习一个高维的边缘属性特征，将边缘检测问题转化为一个基于上述特征的分类问题，以便提取更好的边缘信息，保证边缘的完整度和清晰度。具体的方法可使用基于深度卷积特征的RCF边缘预测方法，也可以选择基于U-Net的眼底图像血管分割算法。优选地，本发明以后者为例进行说明。

(4)初始椭圆拟合。在该步骤中，根据本发明设计的图像组合策略进行初始椭圆的拟合，具体包括以下步骤：

(4.1)图片组合策略

记某一时刻多张图像上的边缘图像为e₁，e₂，e₃，e₄，e₅，e₆，e₇，分别对应-15，-30，-45,0,15,30,45焦距值。通过组合不同焦距段的边缘图像，可以使不同焦距边缘相互补充，从而获取更加完整的边缘，进而改善椭圆检测的效果。

具体的组合方案如下：

(4.1.1)将原始边缘图像e₁，e₂，e₃，e₄，e₅，e₆，e₇进行叠加操作，得到像素信息更加多的边缘图记为e_s；

上述叠加操作具体步骤为：

对N张边缘图像I1,I2,…,I_N,保存为白底黑边的图像，则位于边缘的像素值为0，非边缘的像素值为1；在标记为边缘的像素的坐标位置(x_p，y_p)取所有需要叠加图像中该位置像素的最小值，从而得到一张提取了所有被叠加图像的边缘信息的图像。

(4.1.2)将焦距值为-30和0时检测出的边缘图像e₂和e₄进行求平均，记为e_m；

上述求平均操作具体步骤为：

对N张边缘图像I1,I2,…,I_N,进行求平均操作得到的图像就是1/N*I₁+1/N*I₂…+1/N*I_N；

(4.2)初始椭圆集生成

对于得到的待实验叠加边缘图像数据e_s，本发明找到由连通的边缘点构成的弧段，利用最小二乘法估计出由这些弧段可能构成的所有的初始椭圆集E_initial；

(4.3)椭圆评分

本发明需要对得到的初始椭圆集E_initial中每个椭圆进行评分，为椭圆筛选作准备。作为评分的参照需要清晰的边缘，因此应用前述内容中组合得到的e_m边缘图像作为评价参照。进行椭圆评分的步骤如下：

(4.3.1)利用canny算子对e_m图像上的所有边缘像素进行标记，记为p；

(4.3.2)遍历椭圆集E_initial中每个椭圆，记第i个椭圆在e_m图像中覆盖的像素值的个数为pi(pi∈p)；则第i个椭圆的内点覆盖率记为

ρⁱ＝#{pi：pi∈SI(e)}/β (1)

其中，SI(e)代表第i个椭圆的内点，β代表的是椭圆的周长，由以下公式近似计算；

(4.3.3)将第i个椭圆的角度覆盖率记为Sⁱ，可以由以下表达式计算：

其中n为该椭圆中所包含的弧线段的个数，θ_j为弧线段的对应的角度。第i个椭圆评分的公式如下：

至此，本发明对初始椭圆中每个椭圆进行了评分，并且根据分值进行从大到小的排序，得到排序后的椭圆集E_inorder。

(5)初始椭圆筛选。

(5.1)形态筛选

针对初始椭圆集E_inorder包含图中可能出现的所有椭圆，许多椭圆无法表述胚胎细胞实际的大小，所以本发明需要进一步进行形态筛选。

(5.1.1)细胞大小筛选

计算一个系数R，表示单个细胞占整个感兴趣区域的百分比。R的计算方法如下所示：

H表示细胞大小，A表示图像感兴趣区域大小。根据大量的实验数据的分析，本发明设置单个细胞的大小与胚胎大小的关系为：

其中num为细胞的个数。在这里，R的取值范围是根据大量实验的平均表现得到的经验值。

(5.1.2)细胞形态筛选

在现实情况下，细胞图像中不应该出现曲率太大的椭圆，本发明设定细胞的曲率应该满足如下条件：

其中a为椭圆的短半轴，c为椭圆的长半轴。

至此，本发明可以删除形态不满足条件的椭圆，得到符合形态特征的椭圆集合E_R。

(5.2)质量筛选。根据公式(1)、(3)计算出的ρⁱ与Sⁱ，删除在I图像中不满足内点覆盖率与角度覆盖率的椭圆。实验数据表明，内点覆盖率参数设置为0.1，角度覆盖率参数在单细胞中设定为1/3，多细胞中设定为1/6时效果较好。在这里，内点覆盖率、角度覆盖率的阈值参数是根据大量实验的平均表现得到的经验值。通过以上质量验证本发明得到候选椭圆集E_candidate；

(5.3)删除重叠椭圆。在实际情况中，很少出现细胞两两重叠度很高或相互包含的情况；由此当出现两个椭圆重叠度高于一定程度时，本发明删除这两个椭圆中内点覆盖较低的那个椭圆，具体步骤如下：

(5.3.1)遍历候选椭圆集E_candidate，记所有椭圆为E₁、E₂、…、E_n两两组合，则会出现n*(n-1)/2种组合(E₁，E₂)(E₁，E₃)…(E_n-1,E_n)，通过以下公式计算出两个椭圆的重叠度S：

(5.3.2)由以下公式计算可以排除椭圆相互包含的情况：

cont＝H1∪H2 (8)

当cont等于H1或者H2的时候，就说明两个椭圆互相包含。

(5.3.3)当两个椭圆重叠度S高于55％或椭圆相互包含的时候，删除组合中内点覆盖率较低的那个椭圆；在这里，重叠度阈值参数是根据大量实验的平均表现得到的经验值。

(5.3.4)删除后的椭圆标记为假，下次不再做判断；直至所有的组合都被验证，得到椭圆集合E_end；

(5.3.5)在椭圆集合E_end中直接选择最前面的k个椭圆，也就是得分最高的k个椭圆。其中，k是分类器预测的细胞的个数。被选作真实的椭圆就是最后的结果。

图3为不同边缘提取方法对应的椭圆检测结果。

图中，从左至右：原始图像、otsu方法、canny算子和本发明所采用的方法。

图4，从左至右依次为传统方法在单张图像上初始椭圆检测的结果以及本发明在多张叠加图像上初始椭圆检测的结果。

图5，不同方法最终得到的椭圆结果。

图中，从左至右：原始图像、利用单张图像和传统边缘检测得到的结果和本发明所采用的方法得到的结果。

图6给出了本发明的一个完整实验流程。首先，以多个焦段拍摄的7张图像作为输入，分别在每张图像上利用深度神经网络得到的特征进行边缘检测。然后，对边缘图像进行叠加，在这一张叠加的边缘图像上进行椭圆的检测。接下来，在多张边缘图像的一种组合策略上进行椭圆的评分，并根据事先预测的细胞个数进行椭圆筛选。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于组合视图的显微图像细胞计数与姿态识别方法，其特征在于，所述基于组合视图的显微图像细胞计数与姿态识别方法包括：

获取目标在不同焦段下拍摄的多张图像，通过人工观察，标注每张图像中包含的细胞个数，将标注细胞个数的图像作为训练样本，训练一个深度神经网络细胞个数预测模型；

对获取的图像进行去噪、对比度增强预处理，并在每张图像上利用深度卷积神经网络得到的特征检测边缘；

在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合；

在多张图像的组合上对候选椭圆进行验证和筛选；

基于组合视图的显微图像细胞计数与姿态识别方法包括以下步骤：

步骤一，利用霍夫曼调制相衬系统显微镜间隔一段时间拍摄一组目标在不同焦段下的图像，并对获取的图像进行去噪和对比度增强处理；

步骤二，通过检测每幅图像中镜筒边缘的圆环进行感兴趣区域提取，经过裁剪得到仅包含细胞区域的感兴趣图像；选取一部分图像，并通过人工观察标注选取的图像中包含的细胞个数，作为训练数据；

步骤三，构建一个深度神经网络细胞个数预测模型，并利用构建的模型提取图像的高维特征，同时基于机器学习的方法利用步骤二得到的训练数据对所述细胞个数预测模型进行训练，利用训练后的细胞个数预测模型对图像中包含的细胞个数进行预测；

步骤四，采用基于深度学习的方法为每个像素学习一个高维的边缘属性特征，提取完整清晰的边缘信息；

步骤五，基于图像组合策略进行初始椭圆的拟合，并得到初始椭圆集；对获得的初始椭圆集进行筛选；

步骤五中，所述基于图像组合策略进行初始椭圆的拟合包括：

(1)确定图片组合策略：确定某一时刻多张图像上的边缘图像为e₁，e₂，e₃，e₄，e₅，e₆，e₇，分别对应-15,-30,-45,0,15,30,45焦距值；确定组合策略为将不同焦距段的边缘图像进行组合；

步骤(1)中，所述对不同焦距段的边缘图像进行组合包括：

(1.1)将原始边缘图像e₁，e₂，e₃，e₄，e₅，e₆，e₇进行叠加，得到像素信息更加多的边缘图e_s；

(1.2)将焦距值为-30和0时检测出的边缘图像e₂和e₄进行求平均，记为e_m；

(2)对于得到的e_s找到由连通的边缘点构成的弧段，利用最小二乘法估计出由这些弧段可能构成的所有的初始椭圆集E_initial；

(3)以得到的e_m边缘图像作为评价参照对得到的初始椭圆集E_initial中每个椭圆进行评分；

步骤(3)中，所述评分方法包括：

(3.1)利用canny算子对e_m图像上的所有边缘像素进行标记，记为p；

(3.2)遍历椭圆集E_initial中每个椭圆，记第i个椭圆在e_m图像中覆盖的像素值的个数为pi，pi∈p；则第i个椭圆的内点覆盖率记为

ρⁱ＝#{pi：pi∈SI(e)}/β；

其中，SI(e)代表第i个椭圆的内点，β代表的是椭圆的周长；

(3.3)将第i个椭圆的角度覆盖率记为Sⁱ，计算公式为：

其中n为该椭圆中所包含的弧线段的个数，θ_j为弧线段的对应的角度；

则第i个椭圆评分的公式如下：

对初始椭圆中每个椭圆进行评分，并且根据分值进行从大到小的排序，得到排序后的椭圆集E_inorder。

2.如权利要求1所述基于组合视图的显微图像细胞计数与姿态识别方法，其特征在于，步骤一中，所述利用霍夫曼调制相衬系统显微镜间隔一段时间拍摄一组目标在不同焦段下的图像包括：

利用霍夫曼调制相衬系统显微镜拍摄图像，间隔15分钟拍摄一组；每组为不同的焦距段拍摄出的7张图像，分别记为I₁，I₂，I₃，I₄，I₅，I₆，I₇，对应的是-15,-30,-45,0,15,30,45焦距。

3.如权利要求1所述基于组合视图的显微图像细胞计数与姿态识别方法，其特征在于，步骤四中，所述深度学习的方法为基于深度卷积特征的RCF边缘预测方法或基于U-Net的眼底图像血管分割算法。

4.如权利要求1所述基于组合视图的显微图像细胞计数与姿态识别方法，其特征在于，所述叠加方法包括：对N张边缘图像I₁,I₂,…,I_N,保存为白底黑边的图像，位于边缘的像素值为0，非边缘的像素值为1；在标记为边缘的像素的坐标位置(x_p，y_p)取所有需要叠加图像中该位置像素的最小值，得到一张提取所有被叠加图像的边缘信息的图像；

所述求平均方法包括：对N张边缘图像I₁,I₂,…,I_N,进行求平均得到的图像即1/N*I₁+1/N*I₂…+1/N*I_N。

5.如权利要求1所述基于组合视图的显微图像细胞计数与姿态识别方法，其特征在于，步骤五中，所述对获得的初始椭圆集进行筛选包括：

1)形态筛选：通过形态筛选删除形态不满足条件的椭圆，得到符合形态特征的椭圆集合E_R；

2)质量筛选：根据计算得到ρⁱ与Sⁱ，删除在I图像中不满足内点覆盖率与角度覆盖率的椭圆，验证得到候选椭圆集E_candidate；

3)删除重叠椭圆：当出现两个椭圆重叠度高于一定程度时，删除这两个椭圆中内点覆盖较低的那个椭圆；

步骤1)中，所述形态筛选包括：

1.1)细胞大小筛选

利用下式计算一个表示单个细胞占整个感兴趣区域的百分比的系数R；

H表示细胞大小，A表示图像感兴趣区域大小；

确定单个细胞的大小与胚胎大小的关系为：

其中num为细胞的个数；

1.2)细胞形态筛选

细胞的曲率满足如下条件：

其中a为椭圆的短半轴，c为椭圆的长半轴；

步骤3)中，所述删除重叠椭圆具体包括：

3.1)遍历候选椭圆集E_candidate，记所有椭圆为E₁、E₂、…、E_n两两组合，得到n*(n-1)/2种组合(E₁，E₂)(E₁，E₃)…(E_n-1,E_n)，通过下式计算出两个椭圆的重叠度S：

3.2)利用下式计算可以排除椭圆相互包含的情况：

cont＝H₁∪H₂；

当cont等于H₁或者H₂的时候，表示两个椭圆互相包含；

3.3)当两个椭圆重叠度S高于55％或椭圆相互包含的时，删除组合中内点覆盖率较低的那个椭圆；

3.4)删除后的椭圆标记为假，下次不再做判断；直至所有的组合都被验证，得到椭圆集合E_end；

3.5)在椭圆集合E_end中直接选择最前面的k个椭圆即得分最高的k个椭圆；被选作真实的椭圆即经过筛选得到的椭圆；其中，k是分类器预测的细胞的个数。

6.一种实施权利要求1～5任意一项所述基于组合视图的显微图像细胞计数与姿态识别方法的显微图像细胞计数与姿态识别终端。