CN117876401A - 基于sam分割模型的宫颈液基薄层细胞图像分割方法 - Google Patents

Abstract

本发明公开了基于SAM分割模型的宫颈液基薄层细胞图像分割方法，包括如下步骤，对宫颈液基薄层细胞图像中细胞分割所需的提示信息，在确定细胞区域后，以抽样方式构建细胞区域颜色亮度直方图，获得细胞核的种子点，同时在细胞核的种子点周边获取细胞质的辅助点，以细胞核种子点及其对应的辅助点为提示点，利用SAM分割模型对宫颈液基薄层细胞图像进行处理，得到细胞区域对应的掩码区域，并进一步根据掩码区域的轮廓优化更新掩码区域，去除孔洞、噪点，使得所分割出的细胞区域完整；本发明通过独有的抽样方式有效地覆盖细胞核潜在区域，提高了细胞核识别的准确性，优化了细胞分割流程的效率和效果。

Description

基于SAM分割模型的宫颈液基薄层细胞图像分割方法

技术领域

本发明涉及图像分割技术领域，具体为基于SAM分割模型的宫颈液基薄层细胞图像分割方法。

背景技术

随着数字化和人工智能水平的提升，通过显微镜式病理扫描仪可将宫颈液基薄层细胞玻片转化为数字图像。宫颈液基薄层细胞图像中鳞状上皮细胞是一类主要细胞，其准确分割是后续细胞智能诊断的重要基础。

现有细胞分割的方法主要是传统图像特征的分割方法、传统机器学习的分割方法和深度学习的分割方法。传统图像特征的分割方法主要利用颜色和纹理特征进行分割，该类分割方法对颜色和纹理特征的阈值敏感，难以适应细胞图像中颜色的变化，对于部分颜色淡的细胞质区域容易漏分。传统机器学习的分割方法，多采用无监督或有监督的学习方法，如K-means、期望最大化（Exceptation Maximization，EM）算法、决策树方法、支持向量机（Support Vector Machine，SVM）算法等，未充分利用分割对象空间上下文和纹理信息，对粘连细胞分割精度通常较低。深度学习的分割方法，主要利用多重卷积提取图像特征和构建多层神经网络学习样本图像特征，如CNN网络、FCN网络、LANet网络、SegNet网络等，这些网络在适应同类对象的颜色、纹理变化上有更好的能力，其分割效果优于传统机器学习的分割方法，但在分割粘连细胞时仍存在不足。SAM（Segment Anything）方法属于深度学习的分割方法，引入注意力机制等，对于某些图像中边界不明晰的对象具有更好的分割效果，但其较大程度上依赖于分割的提示信息，提示信息越准确分割效果越好。

宫颈液基薄层细胞图像中一个鳞状上皮细胞包括细胞核和细胞质，细胞核和细胞质在颜色和纹理上存在差异，导致图像分割中容易将细胞核和细胞质分割为两个独立的区域，而实际中一个细胞的细胞核和细胞质是一个整体，需将细胞核和细胞质分割为一个整体。此外，宫颈液基薄层细胞图像中细胞与细胞粘连现象普遍，导致粘连的细胞被分割为一个区域，而实际为多个细胞。本发明针对SAM分割宫颈液基薄层细胞图像中细胞分割所需的提示信息提出基于SAM分割模型的宫颈液基薄层细胞图像分割方法。

发明内容

针对现有技术的不足，本发明提供了基于SAM分割模型的宫颈液基薄层细胞图像分割方法，在SAM分割模型的基础上，本方法能够自适应地提供细胞的细胞核中心点提示信息，以实现掩码预测的自动化，从而高效准确地分割出单个细胞整体。

为实现上述目的，本发明提供如下技术方案：基于SAM分割模型的宫颈液基薄层细胞图像分割方法，包括如下步骤：

步骤S1：获取细胞玻片图像中细胞区域，并计算细胞区域的半径；

步骤S2：采用抽样方式构建细胞玻片图像中细胞区域的亮度直方图，将细胞区域的亮度直方图中颜色深的区域视为细胞核的潜在区域，对细胞核的潜在区域采用腐蚀膨胀去除噪点，并采用密度聚类算法计算全图所有的细胞核种子点；

步骤S3：分别以每一个细胞核种子点为中心，在细胞核种子点周边以非背景色寻找一个与细胞核种子点对应的辅助点；

步骤S4：构建SAM分割模型，将每一个细胞核种子点及对应的细胞核种子的辅助点作为SAM分割模型用以掩码分割的提示点，获得对应的细胞核种子点对应的细胞区域，并以掩码区域的方式表示；

所述SAM分割模型由图像编码器、提示编码器和轻量级掩码解码器组成；

步骤S5：优化细胞核种子点对应的掩码区域，通过求取最大轮廓方式去除掩码区域内的孔洞以及噪点，优化后的掩码区域对应细胞区域。

进一步的，获取细胞玻片图像中细胞区域，并计算细胞区域的半径的具体过程为：

计算细胞玻片图像中每个像素点值与背景色值的差异值，将差异值小于阈 值的像素点视为背景色，将差异值小于阈值的像素点的值设为非零值；将差异值大于阈 值的像素点视为细胞区域，将差异值大于阈值的像素点的值设为零值；其中，背景色为 白色或近白色；

根据细胞玻片图像中零值像素点轴最大坐标、最小坐标以及轴最大 坐标、最小坐标，计算得到细胞玻片图像中细胞区域圆形的近似半值：

（1）；

设细胞玻片图像大小的高度为，宽度为，则细胞玻片图像中细胞区域的左上、 右上、左下和右下的坐标分别为、、和。

进一步的，所述采用抽样方式构建细胞玻片图像中细胞区域的亮度直方图的具体过程为：

细胞玻片图像中间圆形区域为细胞区域，周边为空白区域，选取细胞区域正中心 的正方形区域，所选取的正方形区域面积为细胞区域的1/4，此时正方形区域的边长 为：

（2）；

选取抽样区域的总面积为正方形区域面积的，以细胞核的宽度为高，正方 形区域的边长为宽，选取个条带，以间隔在正方形区域中均匀抽样：

（3）；

（4）；

通过在正方形区域中抽样得到的区域作为构建亮度直方图的像素点集；

将像素点集的值转换为值，根据细胞核颜色偏深的特点，选择亮度值来构建亮度直方图：

（5）；

（6）；

式中，分别代表值为0/255、1/255、……255/255的像素点数量；表示三个通道中最大通道值。

进一步的，所述将细胞区域的亮度直方图中颜色深的区域视为细胞核的潜在区域 的具体过程为：对亮度直方图均衡化，得到亮度通道图像，再对亮度通道图像使用最大化类 间方差方法计算出亮度分割阈值，其中，表示为：

（7）；

式中，表示前景的像素点数占整张亮度通道图像的比例；表示前景像素点的 平均灰度；表示背景的像素点数占整张亮度通道图像的比例；表示背景像素点的平均 灰度；表示类间方差；亮度通道图像中的亮度值小于分割阈值的像素点为细胞核的潜 在区域，置为白色，而其它像素点置为黑色。

进一步的，所述对细胞核的潜在区域采用腐蚀膨胀去除噪点，并采用密度聚类算法计算全图所有的细胞核种子点的具体过程为：先对亮度通道图像二值化，公式如下：

（8）；

（9）；

式中，表示亮度通道图像中像素点的亮度值；表示分割阈值；表示 二值化图像；表示分割后得到的二值化图像；

对二值化图像分割后的白色区域内的种子点进行筛选，筛选的具体过程为：使用 腐蚀膨胀算法消除白色区域内的噪点，首先进行腐蚀操作，消除图像掩码中的噪点，接着， 对经过腐蚀操作后的二值化图像进行膨胀操作，保留原有的二值化图像掩码，所得到经过 膨胀操作后的二值化图像中白色区域为细胞核所在区域；

腐蚀操作表示为：

（10）；

膨胀操作表示为：

（11）；

式中，为输入分割后的二值化图像；为经过腐蚀操作后的二值化图像，卷积核为；为输入分割后的二值化图像中像素点的像素值；为经过腐蚀操作后二 值化图像中像素点的像素值；为经过膨胀操作后的二值化图像；为经过膨胀 操作后的二值化图像中像素点的像素值；为输入分割后的二值化图像在 偏移位置的像素值；表示在像素点上的偏移量；

求取二值化图像中白色区域的中心点作为细胞核的种子点，其具体过程为：

逐个判断二值化图像中的像素是否为白色，得到每个白色像素的坐标，即得到白 色像素坐标集；

使用密度聚类算法对白色像素坐标进行聚类，设定像素邻域距离阈值，将像素坐 标的距离小于或等于距离阈值的邻域记为z-邻域，设定z-邻域中白色像素个数的阈值，具体过程如下：

第一步：初始化核心对象集合，初始化聚类簇数，初始化所有白色像 素作为未访问样本集，簇划分；

第二步：通过距离度量方式，找到每个白色像素的z-邻域内的白色像素集合，中的白色像素数量满足，则将加入到核心对象样本集合 中；

第三步：核心对象样本集合，算法结束，否则继续下一步；

第四步：随机选择核心对象样本集合中的一个核心对象，初始化当前簇核心对 象队列，初始化聚类簇数，初始化当前簇样本集合，更新 未访问样本集；

第五步：当前簇核心对象队列，则当前簇样本集合生成完毕，更新簇 划分，更新核心对象样本集合，转入第三步，否则更新核 心对象集合；

第六步：在当前簇核心对象队列中取出一个核心对象，找出的z-邻域内所 有白色像素，令，更新当前簇样本集合，更新未访问样本 集合，更新，转入第五步；

通过密度聚类算法找到聚类的种子点，定位到细胞核的中心点坐标。

进一步的，分别以每一个细胞核种子点为中心，在细胞核种子点周边以非背景色寻找一个与细胞核种子点对应的辅助点的具体过程为：分别针对每一个细胞核种子点，以细胞核种子点为圆心，在半径为r的圆上获取合适的点，作为辅助点，从细胞核种子点正上方开始，按顺时针间隔30°，依次判断圆上的点是否合理，获得第一个合理的点后停止该细胞核种子点的辅助点的选取过程，将第一个合理的点视为该细胞核种子点的辅助点。

进一步的，步骤S4还包括对整张细胞玻片图像进行切块处理，将整张细胞玻片图像按顺序划分为规定大小的图像块，并使各个图像块在空间上存在重叠；切块完成后，对图像块进行筛选，当图像块存在细胞核种子点，进行SAM分割模型掩码分割，图像块不存在细胞核种子点，该图像块不处理。

进一步的，SAM分割模型掩码分割流程为：利用图像编码器对图像块进行切片，生成图片嵌入；利用提示编码器对输入的提示点进行编码，生成点嵌入；利用轻量级掩码解码器对图片嵌入和点嵌入进行解码，生成预测掩码和预测掩码质量。

进一步的，图像编码器由多个模块和颈部结构组成，生成图片嵌 入的具体处理过程为：首先将图像块进行切片嵌入，并使用SAM分割模型权重绝对位置 嵌入，得到嵌入特征，然后，使用多个模块处理嵌入特征，得到嵌入表示，最后， 通过颈部结构对嵌入表示进一步处理，生成图片嵌入；处理过程表示为：

（12）；

（13）；

（14）；

（15）；

（16）；

式中，表示图像块切片；为输入图像块；表示切片嵌入操作；为输入 图像块大小；为切片大小；为绝对位置嵌入的信息；表示中间变量，用于保存处理 结果；表示使用模块对嵌入特征进行处理；为颈部结构对嵌入表 示进行处理；为图片嵌入的结果，即图像编码器的输出；

提示编码器由随机位置编码组成，生成点嵌入的具体处理过程为：首先对输入的 提示点和辅助点的坐标平移0.5像素，调整到像素中心；通过随机位置编码对平移后的提示 点进行编码归一化，将提示点的坐标具体位置转变为01之间的比例位置，再将归一化后提 示点的坐标通过线性变换和正弦余弦函数变换来实现位置编码；在归一化后的提示点上相 加SAM分割模型权重中不同标签的位置编码权重，最后生成点嵌入，即提示编码器的输出， 处理过程表示为：

（17）；

（18）；

（19）；

式中，为输入的提示点；表示平移操作；为输入的标签；表示随机位置 编码；为预处理后的提示点；为SAM分割模型权重中输入标签的位置编码权重； 为点嵌入；

轻量级掩码解码器由模块和多层感知机组成，多层感知机包 括IOU多层感知机和掩码多层感知机；生成预测掩码和预测掩码质量的具体处理过程为：首 先，输入图像嵌入、点嵌入以及点嵌入的位置编码，在处理的过程中，拼接SAM分割模型权重 中IOU令牌的嵌入层权重和一组掩码令牌的嵌入层权重，将拼接后的IOU令牌的嵌入层权重 和掩码令牌的嵌入层权重再与点嵌入进行拼接，形成一个新的张量，然后，将图像嵌入、点 嵌入的位置编码和拼接后的张量输入到模块中，得到模块处理后 的隐藏状态和特征表示；从隐藏状态中提取第二个维度上第一个位置的特征，作为IOU令牌 输出，从隐藏状态中提取第二个维度上的第二个位置到第五个位置的特征作为一组掩码令 牌输出；将提取到的每个掩码令牌输出经过掩码多层感知机得到的输出结果堆叠后与上采 样后的特征表示进行矩阵相乘得到预测掩码；将提取到的IOU令牌输出经过IOU多层感知机 得到预测掩码质量；处理过程表示为：

（20）；

（21）；

（22）；

（23）；

（24）；

（25）；

式中，和分别为SAM分割模型权重中IOU令牌和一组掩码令牌的嵌入层权重；表示拼接操作；为拼接后的权重；表示点嵌入；为拼接嵌入层权重后的点嵌入；为 图像编码器的输出；为位置编码；表示模块；和分别为模 块处理后得到的隐藏状态和特征表示；表示提取操作；为一组掩码令牌输出；为 IOU令牌输出；表示多层感知机；表示上采样操作；表示矩阵相乘操作；为预测 掩码；为预测掩码质量。

进一步的，步骤S5的具体过程为：针对每一个掩码区域，通过分析掩码区域中相邻像素之间的连通性，在掩码区域检测出所有轮廓；通过计算各个轮廓的面积，将面积最大的轮廓视为细胞的主体，并忽略除面积最大的轮廓外的轮廓所对应的区域；当面积最大的轮廓所对应的区域面积小于正常细胞的一半，将该轮廓视为噪点，忽略该轮廓对应的掩码，并对掩码区域进行更新；当面积最大的轮廓所对应的区域面积大于或等于正常细胞的一半，该轮廓对应的掩码为分割出来的细胞区域，并将掩码区域更新为轮廓对应的区域，轮廓内部的孔洞自动填充；

轮廓面积计算方法计算的是轮廓所围成的区域的面积，根据格林公式，该轮廓面积表示为：

（26）；

式中，表示轮廓上的点的数量；表示轮廓上第i个点的坐标；∑表示对 第到个顶点中累加各顶点之间的面积；表示轮廓所围面积；，表示第个点的横坐标与纵坐标；

通过对更新后的掩码外接矩形，获取到矩形的左上角坐标以及长宽，从图像块中裁剪出外接矩形大小的目标区域图像，创建一个与裁剪的目标区域大小相同的白色背景图像，将裁剪出来的目标区域图像中掩码部分应用到白色背景图像上，得到单个细胞图。

与现有的技术相比，本发明具备以下有益效果：

（1）本发明的抽样方式有效地覆盖细胞核潜在区域，提高了细胞核识别的准确性，优化了细胞分割流程的效率和效果。

（2）本发明通过对细胞区域亮度直方图的均衡化处理和方法的应用，本发 明能够更精确地识别出细胞核潜在区域，提高了细胞核定位的准确性，为细胞分割的独立 性提供了基础。

（3）本发明通过SAM分割模型，结合细胞核种子点及其辅助点作为提示点，能够更准确地分割出包含细胞核和细胞质的细胞区域整体，能克服细胞质亮度低导致的细胞分割不完整问题。

（4）本发明通过自动化的流程和精准的算法处理，显著提高了宫颈液基薄层细胞图像分割的准确度、效率和自动化水平。

附图说明

图1 为本发明方法的流程图。

图2 为本发明的抽样方式示意图。

图3 为本发明的SAM分割模型结构图。

图4 为本发明SAM分割模型的图像编码器结构图。

图5为本发明图像编码器的颈部结构Neck结构图。

图6为本发明SAM分割模型的提示编码器结构图。

图7为本发明SAM分割模型的掩码解码器结构图。

具体实施方式

如图1所示，本发明提供技术方案：基于SAM分割模型的宫颈液基薄层细胞图像分割方法，包括如下步骤：

步骤S1：获取细胞玻片图像中细胞区域，并计算细胞区域的半径；

步骤S1.1零值化与非零值化细胞玻片图像；

计算细胞玻片图像中每个像素点值与背景色（白色或近白色）值的差异值， 将差异值小于阈值的像素点视为背景色，将差异值小于阈值的像素点的值设为非零值； 将差异值大于阈值的像素点视为细胞区域，将差异值大于阈值的像素点的值设为零值； 其中，阈值的建议值为均值245。

步骤S1.2细胞区域直径求解；

根据细胞玻片图像中零值像素点轴最大坐标、最小坐标以及轴最大 坐标、最小坐标，计算得到细胞玻片图像中细胞区域圆形的近似半值：

（1）；

假设细胞玻片图像大小的高度为，宽度为，则细胞玻片图像中细胞区域的左 上、右上、左下和右下的坐标分别为、、 和。

步骤S2：采用抽样方式构建细胞玻片图像中细胞区域的亮度直方图，将细胞区域的亮度直方图中颜色深的区域视为细胞核的潜在区域，对细胞核的潜在区域采用腐蚀膨胀去除噪点，并采用密度聚类算法计算全图所有的细胞核种子点，如图2所示。

步骤S2.1亮度直方图构建区域选取；

细胞玻片图像中间圆形区域为细胞区域，周边为空白区域，选取细胞区域正中心 的正方形区域，所选取的正方形区域面积为细胞区域的1/4，此时正方形区域的边长 为：

（2）；

步骤S2.2选取抽样区域；

选取抽样区域的总面积为正方形区域面积的，为了使选取抽样区域能够覆 盖细胞区域内的细胞核，以细胞核的宽度为高，正方形区域的边长d为宽，选取个条 带，以间隔在正方形区域中均匀抽样：

（3）；

（4）；

通过在正方形区域中抽样得到的区域作为构建亮度直方图的像素点集。

步骤S2.3亮度直方图分割阈值求取；

将像素点集的值转换为值，根据细胞核颜色偏深的特点，选择亮度值来构建亮度直方图：

（5）；

（6）；

式中，分别代表值为0/255、1/255、……255/255的像素点数量；表示三个通道中最大通道值；

对亮度直方图均衡化，得到亮度通道图像，再对亮度通道图像使用最大化类间方 差方法计算出亮度分割阈值，其中，可表示为：

（7）；

式中，表示前景的像素点数占整张亮度通道图像的比例；表示前景像素点的 平均灰度；表示背景的像素点数占整张亮度通道图像的比例；表示背景像素点的平均 灰度；表示类间方差；方法通过遍历所有可能的阈值，计算每个阈值对应的类间方 差，然后选择使得最大的阈值，作为分割阈值，这样，通过，方法能够找到一个最 优的分割阈值；亮度通道图像中的亮度值小于分割阈值的像素点被认为是细胞核的 潜在区域，置为白色，而其它像素点置为黑色。

步骤S2.4亮度通道图像二值化；

二值化公式如下：

（8）；

（9）；

式中，表示亮度通道图像中像素点的亮度值；表示分割阈值；表示 二值化图像；表示分割后得到的二值化图像。

步骤S2.5腐蚀膨胀算法消除噪点；

二值化图像分割后的白色区域，不仅包含细胞核的潜在区域，还可能包含一些杂 质和由于染色过深而形成的噪点，需要对这些候选区域中的种子点进行筛选，筛选的具体 过程为：使用腐蚀膨胀算法消除因制片、染色过程中产生的噪点，避免影响种子点的筛选； 首先进行腐蚀操作，以消除图像掩码中的噪点；接着，对经过腐蚀处理的图像进行膨胀操 作，以保留原有的二值化图像掩码，这一过程有助于优化二值化图像的掩码效果，去除不必 要的细小部分，同时保持原有掩码的结构完整；所得到经过膨胀操作后的二值化图像中 白色区域为细胞核所在区域；

腐蚀操作可以表示为：

（10）；

膨胀操作可以表示为：

（11）；

式中，为输入分割后的二值化图像；为经过腐蚀操作后的二值化图像，卷积核为；为输入分割后的二值化图像中像素点的像素值；为经过腐蚀操作后二 值化图像中像素点的像素值；为经过膨胀操作后的二值化图像；为经过膨胀 操作后的二值化图像中像素点的像素值；为输入分割后的二值化图像在 偏移位置的像素值；表示在像素点上的偏移量。

步骤S2.6密度聚类算法获取种子点；

求取二值化图像中白色区域的中心点作为细胞核的种子点，其具体过程为：

逐个判断二值化图像中的像素是否为白色，从而得到每个白色像素的坐标，即得 到白色像素坐标集；

使用密度聚类算法对白色像素坐标进行聚类，设定像素邻域距离阈值，将像素坐 标的距离小于或等于距离阈值的邻域记为z-邻域，设定z-邻域中白色像素个数的阈值，具体过程如下：

第一步：初始化核心对象集合，初始化聚类簇数，初始化所有白色像 素作为未访问样本集，簇划分；

第二步：通过距离度量方式，找到每个白色像素的z-邻域内的白色像素集合，中的白色像素数量满足，则将加入到核心对象样本集合 中；

第三步：核心对象样本集合，算法结束，否则继续下一步；

第四步：随机选择核心对象样本集合中的一个核心对象，初始化当前簇核心对 象队列，初始化聚类簇数，初始化当前簇样本集合，更新 未访问样本集；

第五步：当前簇核心对象队列，则当前簇样本集合生成完毕，更新簇 划分，更新核心对象样本集合，转入第三步，否则更新核 心对象集合；

第六步：在当前簇核心对象队列中取出一个核心对象，找出的z-邻域内所 有白色像素，令，更新当前簇样本集合，更新未访问样本 集合，更新，转入第五步。

通过密度聚类算法找到聚类的种子点，定位到细胞核的中心点坐标。

步骤S3：分别以每一个细胞核种子点为中心，在细胞核种子点周边以非背景色寻找一个与细胞核种子点对应的辅助点；

步骤S3的具体过程为：分别针对每一个细胞核种子点，以细胞核种子点为圆心，在 半径为r的圆上获取合适的点，作为辅助点，从细胞核种子点正上方开始，按顺时针间隔 30°，依次判断圆上的点是否合理，获得第一个合理的点后即停止该细胞核种子点的辅助点 的选取过程，将第一个合理的点视为该细胞核种子点的辅助点；其中，判断圆上的点是否合 理，主要依据是点不为细胞玻片图像的背景点，即该点在细胞玻片图像中的颜色不为白 色或不近似为白色，如果直至回到种子点正上方，没有选取到符合条件的辅助点，判断细胞 过小且不存在粘连的情况，或者判断为细胞只有细胞核等，仅使用种子点进行提示分割。

步骤S4：构建SAM分割模型，将每一个细胞核种子点及对应的细胞核种子的辅助点作为SAM分割模型用以掩码分割的提示点，获得该细胞核种子点对应的细胞区域，该细胞区域包含细胞核和细胞质，并以掩码区域的方式表示；所述SAM分割模型由图像编码器、提示编码器和轻量级掩码解码器组成，如图3所示；

步骤S4.1细胞玻片图像切块及筛选；

由于宫颈基液薄层细胞玻片图像I_cell很大，不适合对整张细胞玻片图像进行SAM分割模型掩码分割，所以需要对整张细胞玻片图像进行切块处理，其具体过程为：

将整张细胞玻片图像按顺序划分为1024×1024大小的图像块，并使各个图像块在空间上有重叠，重叠的距离建议为最大细胞的直径1-2倍，以确保细胞的完整性；

切块完成后，对图像块进行筛选，只有当图像块存在细胞核种子点时，才进行SAM分割模型掩码分割，否则，该图像块不处理。

步骤S4.2SAM分割模型掩码分割；

将一个细胞核种子点及其对应的辅助点作为SAM分割模型的一次提示点，逐一对所有提示点进行处理；

SAM分割模型对提示点进行处理的具体过程为：利用图像编码器对图像块进行切片，生成图片嵌入；利用提示编码器对输入的提示点进行编码，生成点嵌入；利用轻量级掩码解码器对图片嵌入和点嵌入进行解码，生成预测掩码和预测掩码质量。

如图4所示，图像编码器由多个模块和颈部结构组成；每个模块由自注意力和多层感知机组成；如图5所示，颈部结构为四层结构，第 一层和第三层为卷积层，第二层和第四层为层归一化；生成图片嵌入的具体处理过程为：首 先将图像块进行切片嵌入，并使用SAM分割模型权重绝对位置嵌入，得到嵌入特征，然 后，使用多个模块处理嵌入特征，得到嵌入表示，最后，通过颈部结构对嵌 入表示进一步处理，生成图片嵌入，处理过程表示为：

（12）；

（13）；

（14）；

（15）；

（16）；

式中，表示图像块切片；为输入图像块；表示切片嵌入操作；为输入 图像块大小；为切片大小；为绝对位置嵌入的信息；表示中间变量，用于保存处理 结果；表示使用块对嵌入特征进行处理；为颈部结构对嵌入表示 进行处理；为图片嵌入的结果，即图像编码器的输出。

如图6所示，提示编码器由随机位置编码组成，生成点嵌入的具体处理过程为：首 先对输入的提示点和辅助点的坐标平移0.5像素，调整到像素中心；通过随机位置编码对平 移后的提示点进行编码归一化，将提示点的坐标具体位置转变为01之间的比例位置，再将 归一化后提示点的坐标通过线性变换和正弦余弦函数变换来实现位置编码；在归一化后的 提示点上相加SAM分割模型权重中不同标签的位置编码权重，最后生成点嵌入，即提示编码 器的输出，处理过程表示为：

（17）；

（18）；

（19）；

式中，为输入的提示点；表示平移操作；为输入的标签；表示随机位置 编码；为预处理后的提示点；为SAM分割模型权重中输入标签的位置编码权重； 为点嵌入。

如图7所示，轻量级掩码解码器由模块和多层感知机MLP组成，多层感 知机MLP包括IOU多层感知机和掩码多层感知机；生成预测掩码和预测掩码质量的具体处理 过程为：首先，输入图像嵌入、点嵌入以及点嵌入的位置编码，在处理的过程中，拼接SAM分 割模型权重中IOU令牌的嵌入层权重和一组掩码令牌的嵌入层权重，将拼接后的IOU令牌的 嵌入层权重和掩码令牌的嵌入层权重再与点嵌入进行拼接，形成一个新的张量，然后，将图 像嵌入、点嵌入的位置编码和拼接后的张量输入到模块中，得到模 块处理后的隐藏状态和特征表示；其中，隐藏状态包含输入序列的信息，特征表示包含输入 序列的语义信息；从隐藏状态中提取第二个维度上第一个位置的特征，作为IOU令牌输出， 从隐藏状态中提取第二个维度上的第二个位置到第五个位置的特征作为一组掩码令牌输 出；将提取到的每个掩码令牌输出经过掩码多层感知机得到的输出结果堆叠后与上采样后 的特征表示进行矩阵相乘得到预测掩码；将提取到的IOU令牌输出经过IOU多层感知机得到 预测掩码质量；处理过程表示为：

（20）；

（21）；

（22）；

（23）；

（24）；

（25）；

式中，和分别为SAM分割模型权重中IOU令牌和一组掩码令牌的嵌入层权重；表示拼接操作；为拼接后的权重；表示点嵌入；为拼接嵌入层权重后的点嵌入；为 图像编码器的输出；为位置编码；表示模块；和分别为模 块处理后得到的隐藏状态和特征表示；表示提取操作；为一组掩码令牌输出；为 IOU令牌输出；表示多层感知机；表示上采样操作；表示矩阵相乘操作；为预测 掩码；为预测掩码质量。

在细胞核种子点及其对应的辅助点作为提示点下，SAM分割模型能将细胞整体分割出来，每个细胞区域对应着一个掩码区域；SAM分割模型能将细胞整体分割出来的同时，分割出细胞的整体可能出现孔洞等问题，以及部分噪点，噪点的面积明显小于细胞的面积，掩码区域优化会去掉细胞分割区域的孔洞，去掉噪点。

步骤S5：优化细胞核种子点对应的掩码区域，通过求取最大轮廓方式去除掩码区域内的孔洞以及小面积的噪点，优化后的掩码区域对应细胞区域。

步骤S5.1掩码区域最大轮廓求取；

如果某个掩码区域存在空洞，则存在不同面积的轮廓；针对每一个掩码区域，通过分析掩码区域中相邻像素之间的连通性，在掩码区域检测出所有轮廓；通过计算各个轮廓的面积，将面积最大的轮廓视为细胞的主体，并忽略其他轮廓对应的区域；如果面积最大的轮廓所对应的区域面积小于正常细胞的一半，将其视为噪点，忽略该轮廓对应的掩码，并对掩码区域进行更新；如果面积最大的轮廓所对应的区域面积大于等于正常细胞的一半，该轮廓对应的掩码为分割出来的细胞区域，并将掩码区域更新为轮廓对应的区域，此时轮廓内部的孔洞被自动填充掉。

其中，轮廓面积计算方法计算的是轮廓所围成的区域的面积(不考虑方向)，根据格林公式，该轮廓面积可表示为：

（26）；

式中，表示轮廓上的点的数量；表示轮廓上第i个点的坐标；∑表示对 第到个顶点中累加各顶点之间的面积；表示轮廓所围面积；，表示第个点的横坐标与纵坐标。

步骤S5.2更新后的掩码所对应细胞的可视化；

通过对更新后的掩码外接矩形，获取到矩形的左上角坐标以及长宽，从原图中裁剪出外接矩形大小的目标区域图像，创建一个与裁剪的目标区域图像大小相同的白色背景图像，将裁剪出来的目标区域图像中掩码部分应用到白色背景图像上，从而得到单个细胞图。

通过对多张数字化宫颈液基薄层细胞玻片图像进行实验测试，在本发明的提示点下SAM分割模型掩码分割在宫颈液基细胞图片上的细胞分割效果较好，能分割出细胞整体，达到了宫颈液基细胞的零样本准确分割的目的。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.基于SAM分割模型的宫颈液基薄层细胞图像分割方法，其特征在于，包括如下步骤：

步骤S1：获取细胞玻片图像中细胞区域，并计算细胞区域的半径；

步骤S2：采用抽样方式构建细胞玻片图像中细胞区域的亮度直方图，将细胞区域的亮度直方图中颜色深的区域视为细胞核的潜在区域，对细胞核的潜在区域采用腐蚀膨胀去除噪点，并采用密度聚类算法计算全图所有的细胞核种子点；

所述采用抽样方式构建细胞玻片图像中细胞区域的亮度直方图的具体过程为：

细胞玻片图像中间圆形区域为细胞区域，周边为空白区域，选取细胞区域正中心的正方形区域，所选取的正方形区域面积为细胞区域的1/4；

选取抽样区域的总面积为正方形区域面积的/>，以细胞核的宽度/>为高，正方形区域/>的边长/>为宽，选取/>个条带，以间隔/>在正方形区域/>中均匀抽样：

；

；

通过在正方形区域中抽样得到的区域作为构建亮度直方图的像素点集/>；

将像素点集的/>值转换为/>值，根据细胞核颜色偏深的特点，选择亮度值/>来构建亮度直方图/>；

步骤S3：分别以每一个细胞核种子点为中心，在细胞核种子点周边以非背景色寻找一个与细胞核种子点对应的辅助点；

步骤S4：构建SAM分割模型，将每一个细胞核种子点及对应的细胞核种子的辅助点作为SAM分割模型用以掩码分割的提示点，获得对应的细胞核种子点对应的细胞区域，并以掩码区域的方式表示；

所述SAM分割模型由图像编码器、提示编码器和轻量级掩码解码器组成；

步骤S5：优化细胞核种子点对应的掩码区域，通过求取最大轮廓方式去除掩码区域内的孔洞以及噪点，优化后的掩码区域对应细胞区域。

2.根据权利要求1所述的基于SAM分割模型的宫颈液基薄层细胞图像分割方法，其特征在于：获取细胞玻片图像中细胞区域，并计算细胞区域的半径的具体过程为：

计算细胞玻片图像中每个像素点值与背景色/>值的差异值，将差异值小于阈值/>的像素点视为背景色，将差异值小于阈值/>的像素点的值设为非零值；将差异值大于阈值/>的像素点视为细胞区域，将差异值大于阈值/>的像素点的值设为零值；其中，背景色为白色或近白色；

根据细胞玻片图像中零值像素点轴最大坐标/>、最小坐标/>以及/>轴最大坐标、最小坐标/>，计算得到细胞玻片图像中细胞区域圆形的近似半值/>：

；

设细胞玻片图像大小的高度为，宽度为/>，则细胞玻片图像中细胞区域的左上、右上、左下和右下的坐标分别为/>、/>、/>和。

3.根据权利要求2所述的基于SAM分割模型的宫颈液基薄层细胞图像分割方法，其特征在于：所述亮度直方图采用下式表示：

；

；

式中，分别代表/>值为0/255、1/255、……255/255的像素点数量；表示/>三个通道中最大通道值。

4.根据权利要求3所述的基于SAM分割模型的宫颈液基薄层细胞图像分割方法，其特征在于：所述将细胞区域的亮度直方图中颜色深的区域视为细胞核的潜在区域的具体过程为：对亮度直方图均衡化，得到亮度通道图像，再对亮度通道图像使用最大化类间方差方法计算出亮度分割阈值/>，其中，/>表示为：

；

式中，表示前景的像素点数占整张亮度通道图像的比例；/>表示前景像素点的平均灰度；/>表示背景的像素点数占整张亮度通道图像的比例；/>表示背景像素点的平均灰度；/>表示类间方差；亮度通道图像中的亮度值/>小于分割阈值/>的像素点为细胞核的潜在区域，置为白色，而其它像素点置为黑色。

5.根据权利要求4所述的基于SAM分割模型的宫颈液基薄层细胞图像分割方法，其特征在于：所述对细胞核的潜在区域采用腐蚀膨胀去除噪点，并采用密度聚类算法计算全图所有的细胞核种子点的具体过程为：先对亮度通道图像二值化，公式如下：

；

；

式中，表示亮度通道图像中像素点/>的亮度值/>；/>表示分割阈值；/>表示二值化图像；/>表示分割后得到的二值化图像；

对二值化图像分割后的白色区域内的种子点进行筛选，筛选的具体过程为：使用腐蚀膨胀算法消除白色区域内的噪点，首先进行腐蚀操作，消除图像掩码中的噪点，接着，对经过腐蚀操作后的二值化图像进行膨胀操作，保留原有的二值化图像掩码，所得到经过膨胀操作后的二值化图像中白色区域为细胞核所在区域；

腐蚀操作表示为：

；

膨胀操作表示为：

；

式中，为输入分割后的二值化图像；/>为经过腐蚀操作后的二值化图像，卷积核为/>；为输入分割后的二值化图像中像素点/>的像素值；/>为经过腐蚀操作后二值化图像中像素点/>的像素值；/>为经过膨胀操作后的二值化图像；/>为经过膨胀操作后的二值化图像中像素点/>的像素值；/>为输入分割后的二值化图像在偏移位置的像素值；/>表示在像素点/>上的偏移量；

求取二值化图像中白色区域的中心点作为细胞核的种子点，其具体过程为：

逐个判断二值化图像中的像素是否为白色，得到每个白色像素的坐标，即得到白色像素坐标集/>；

使用密度聚类算法对白色像素坐标进行聚类，设定像素邻域距离阈值，将像素坐标的距离小于或等于距离阈值的邻域记为z-邻域，设定z-邻域中白色像素个数的阈值，具体过程如下：

第一步：初始化核心对象集合，初始化聚类簇数/>，初始化所有白色像素作为未访问样本集/>，簇划分/>；

第二步：通过距离度量方式，找到每个白色像素的z-邻域内的白色像素集合/>，中的白色像素数量满足/>，则将/>加入到核心对象样本集合/>中；

第三步：核心对象样本集合，算法结束，否则继续下一步；

第四步：随机选择核心对象样本集合中的一个核心对象/>，初始化当前簇核心对象队列/>，初始化聚类簇数/>，初始化当前簇样本集合/>，更新未访问样本集/>；

第五步：当前簇核心对象队列，则当前簇样本集合/>生成完毕，更新簇划分，更新核心对象样本集合/>，转入第三步，否则更新核心对象集合/>；

第六步：在当前簇核心对象队列中取出一个核心对象/>，找出/>的z-邻域内所有白色像素/>，令/>，更新当前簇样本集合/>，更新未访问样本集合，更新/>，转入第五步；

通过密度聚类算法找到聚类的种子点，定位到细胞核的中心点坐标。

6.根据权利要求5所述的基于SAM分割模型的宫颈液基薄层细胞图像分割方法，其特征在于：分别以每一个细胞核种子点为中心，在细胞核种子点周边以非背景色寻找一个与细胞核种子点对应的辅助点的具体过程为：分别针对每一个细胞核种子点，以细胞核种子点为圆心，在半径为r的圆上获取合适的点，作为辅助点，从细胞核种子点正上方开始，按顺时针间隔30°，依次判断圆上的点是否合理，获得第一个合理的点后停止该细胞核种子点的辅助点的选取过程，将第一个合理的点视为该细胞核种子点的辅助点。

7.根据权利要求6所述的基于SAM分割模型的宫颈液基薄层细胞图像分割方法，其特征在于：步骤S4还包括对整张细胞玻片图像进行切块处理，将整张细胞玻片图像按顺序划分为规定大小的图像块，并使各个图像块在空间上存在重叠；切块完成后，对图像块进行筛选，当图像块存在细胞核种子点，进行SAM分割模型掩码分割，图像块不存在细胞核种子点，该图像块不处理。

8.根据权利要求7所述的基于SAM分割模型的宫颈液基薄层细胞图像分割方法，其特征在于：SAM分割模型掩码分割流程为：利用图像编码器对图像块进行切片，生成图片嵌入；利用提示编码器对输入的提示点进行编码，生成点嵌入；利用轻量级掩码解码器对图片嵌入和点嵌入进行解码，生成预测掩码和预测掩码质量。

9.根据权利要求8所述的基于SAM分割模型的宫颈液基薄层细胞图像分割方法，其特征在于：图像编码器由多个模块和颈部结构/>组成，生成图片嵌入的具体处理过程为：首先将图像块/>进行切片嵌入，并使用SAM分割模型权重绝对位置嵌入，得到嵌入特征，然后，使用多个/>模块处理嵌入特征，得到嵌入表示，最后，通过颈部结构对嵌入表示进一步处理，生成图片嵌入；处理过程表示为：

；

；

；

；

；

式中，表示图像块切片；/>为输入图像块；/>表示切片嵌入操作；/>为输入图像块大小；/>为切片大小；/>为绝对位置嵌入的信息；/>表示中间变量；/>表示使用模块对嵌入特征进行处理；/>为颈部结构对嵌入表示进行处理；/>为图片嵌入的结果，即图像编码器的输出；

提示编码器由随机位置编码组成，生成点嵌入的具体处理过程为：首先对输入的提示点和辅助点的坐标平移调整到像素中心；通过随机位置编码对平移后的提示点进行编码归一化，将提示点的坐标具体位置转变为01之间的比例位置，再将归一化后提示点的坐标通过线性变换和正弦余弦函数变换来实现位置编码；在归一化后的提示点上相加SAM分割模型权重中不同标签的位置编码权重，最后生成点嵌入，即提示编码器的输出，处理过程表示为：

；

；

；

式中，为输入的提示点；/>表示平移操作；/>为输入的标签；/>表示随机位置编码；/>为预处理后的提示点；/>为SAM分割模型权重中输入标签的位置编码权重；/>为点嵌入；

轻量级掩码解码器由模块和多层感知机/>组成，多层感知机/>包括IOU多层感知机和掩码多层感知机；生成预测掩码和预测掩码质量的具体处理过程为：首先，输入图像嵌入、点嵌入以及点嵌入的位置编码，在处理的过程中，拼接SAM分割模型权重中IOU令牌的嵌入层权重和一组掩码令牌的嵌入层权重，将拼接后的IOU令牌的嵌入层权重和掩码令牌的嵌入层权重再与点嵌入进行拼接，形成一个新的张量，然后，将图像嵌入、点嵌入的位置编码和拼接后的张量输入到/>模块中，得到/>模块处理后的隐藏状态和特征表示；从隐藏状态中提取第二个维度上第一个位置的特征，作为IOU令牌输出，从隐藏状态中提取第二个维度上的第二个位置到第五个位置的特征作为一组掩码令牌输出；将提取到的每个掩码令牌输出经过掩码多层感知机得到的输出结果堆叠后与上采样后的特征表示进行矩阵相乘得到预测掩码；将提取到的IOU令牌输出经过IOU多层感知机得到预测掩码质量；处理过程表示为：

；

；

；

；

；

；

式中，和/>分别为SAM分割模型权重中IOU令牌和一组掩码令牌的嵌入层权重；/>表示拼接操作；/>为拼接后的权重；/>表示点嵌入；/>为拼接嵌入层权重后的点嵌入；/>为图像编码器的输出；/>为位置编码；/>表示/>模块；/>和/>分别为/>模块处理后得到的隐藏状态和特征表示；/>表示提取操作；/>为一组掩码令牌输出；/>为IOU令牌输出；/>表示多层感知机；/>表示上采样操作；/>表示矩阵相乘操作；/>为预测掩码；为预测掩码质量。

10.根据权利要求9所述的基于SAM分割模型的宫颈液基薄层细胞图像分割方法，其特征在于：步骤S5的具体过程为：针对每一个掩码区域，通过分析掩码区域中相邻像素之间的连通性，在掩码区域检测出所有轮廓；通过计算各个轮廓的面积，将面积最大的轮廓视为细胞的主体，并忽略除面积最大的轮廓外的轮廓所对应的区域；当面积最大的轮廓所对应的区域面积小于正常细胞的一半，将该轮廓视为噪点，忽略该轮廓对应的掩码，并对掩码区域进行更新；当面积最大的轮廓所对应的区域面积大于或等于正常细胞的一半，该轮廓对应的掩码为分割出来的细胞区域，并将掩码区域更新为轮廓对应的区域，轮廓内部的孔洞自动填充；

轮廓面积计算方法计算的是轮廓所围成的区域的面积，根据格林公式，该轮廓面积表示为：

；

式中，表示轮廓上的点的数量；/>表示轮廓上第i个点的坐标；∑表示对第/>到个顶点中累加各顶点之间的面积；/>表示轮廓所围面积；/>，/>表示第/>个点的横坐标与纵坐标；

通过对更新后的掩码外接矩形，获取到矩形的左上角坐标以及长宽，从图像块中裁剪出外接矩形大小的目标区域图像，创建一个与裁剪的目标区域大小相同的白色背景图像，将裁剪出来的目标区域图像中掩码部分应用到白色背景图像上，得到单个细胞图。