CN110120047B - 图像分割模型训练方法、图像分割方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及智能决策技术领域，基于深度学习训练图像分割模型，并公开了一种图像分割模型训练方法、图像分割方法、装置、设备及介质。该方法通过对获取的眼底图像进行下采样以获得不同尺度的特征映射，并将其输入至区域生成网络，以获得所述不同尺度的感兴趣区域以及分类；将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割；然后根据损失函数的值调整所述下采样、区域生成网络以及上采样的参数，直到所述损失函数的值在预设误差范围内，以获得图像分割模型。该方法先进行多尺度的特征提取，然后提取感兴趣区域，然后再进行多尺度融合的精细分割，提高了分割精度。

Description

图像分割模型训练方法、图像分割方法、装置、设备及介质

技术领域

本申请涉及图像技术领域，尤其涉及一种图像分割模型训练方法、图像分割方法、装置、设备及介质。

背景技术

眼底是位于内眼后部组织结构的统称，主要包括视网膜、视乳头、黄斑和视网膜中心血管等结构。黄斑位于眼球后极部，视盘外侧，是视网膜的中心区域，是视力轴的投影点。黄斑区由于富含叶黄素，故呈暗红或红褐色，是眼底后部色调最暗区域，一般呈椭圆或近似圆形。黄斑的中央也存在一小凹陷，称为中央凹，为视觉最敏锐处。

相干光断层扫描(optical coherence tomography，OCT)作为一种新型的非接触式、非侵入式对视网膜进行横截面扫描的影像学检查方法,能直观显示视网膜内部结构,在活体上获得类似眼组织病理学的影像,可以客观定量地对视网膜结构进行测量和分析,对眼睛疾病激光治疗后的病程发展能提供临床指导。目前，人工手动分割光学相干断层扫描眼底图像的视网膜层在眼科临床实践中仍占主导地位，该过程费时费力，而且主观性强、重复性差，严重影响临床诊断的效率和准确性。

应用图像分割技术对OCT图像中眼底黄斑区典型病灶进行自动分割，能为临床治疗提供定量化影像学指标。相对于传统图像分割方法(如水平集等)，深度学习为主的图像分割技术具有很多优势，目前常用的深度学习分割网络为U-Net。但由于U-Net网络是在整张图像上逐个像素分别进行计算，在一些并不存在病灶的区域，很容易分割得到假阳性病灶区域。

发明内容

本申请提供了一种图像分割模型训练方法、图像分割方法、装置、设备及介质，能先检测定位然后再精细分割，提高了分割的精度。

第一方面，本申请提供了一种图像分割模型训练方法，所述图像分割模型训练方法包括：

获取眼底图像；

对所述眼底图像进行下采样以获得不同尺度的特征映射；

将所述不同尺度的特征映射输入至区域生成网络，以获得所述不同尺度的感兴趣区域以及所述感兴趣区域的分类；

对所述不同尺度的感兴趣区域进行上采样；

将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割；

根据所述区域生成网络获得所述不同尺度的感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数；

根据所述损失函数的值调整所述下采样、区域生成网络以及上采样的参数，直到所述损失函数的值在预设误差范围内，以获得所述眼底图像分割模型。

第二方面，本申请还提供了一种图像分割方法，所述图像分割方法包括：

获取待分割的眼底图像；

对所述待分割的眼底图像进行预处理；

将预处理后的待分割的眼底图像输入眼底图像分割模型，以对预处理后的待分割的眼底图像进行分割；所述眼底图像分割模型为采用第一方面所述的眼底图像分割模型训练方法训练得到的眼底图像分割模型。

第三方面，本申请还提供了一种图像分割模型训练装置，所述图像分割模型训练装置包括：

获取模块，用于获取眼底图像；

下采样模块，用于对所述眼底图像进行下采样以获得不同尺度的特征映射；

输入模块，将所述不同尺度的特征映射输入至区域生成网络，以获得所述不同尺度的感兴趣区域以及所述感兴趣区域的分类；

上采样模块，对所述不同尺度的感兴趣区域进行上采样；

分割模块，用于将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割；

计算模块，用于根据所述区域生成网络获得所述不同尺度的感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数；

调整模块，用于根据所述损失函数的值调整所述下采样、区域生成网络以及上采样的参数，直到所述损失函数的值在预设误差范围内，以获得所述眼底图像分割模型。

第四方面，本申请还提供了一种图像分割装置，所述图像分割装置包括：

获取单元，用于获取待分割的眼底图像；

预处理单元，用于对所述待分割的眼底图像进行预处理；

图像分割单元，用于将预处理后的待分割的眼底图像输入眼底图像分割模型，以对预处理后的待分割的眼底图像进行分割；所述眼底图像分割模型为第一方面所述的眼底图像分割模型训练方法训练得到的眼底图像分割模型。

第五方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现第一方面所述的图像分割模型训练方法，或者第二方面的所述图像分割方法。

第六方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现第一方面所述的图像分割模型训练方法，或者第二方面的所述图像分割方法。

本申请公开了一种图像分割模型训练方法、图像分割方法、装置、设备及介质。该方法通过对获取的眼底图像进行下采样以获得不同尺度的特征映射；将所述不同尺度的特征映射输入至区域生成网络，以获得所述不同尺度的感兴趣区域以及所述感兴趣区域的分类；对所述不同尺度的感兴趣区域进行上采样；将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割；根据所述区域生成网络获得所述不同尺度的感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数；根据所述损失函数的值调整所述下采样、区域生成网络以及上采样的参数，直到所述损失函数的值在预设误差范围内，以获得所述眼底图像分割模型。该方法先进行多尺度的特征提取，然后提取感兴趣区域，然后再进行多尺度融合的精细分割，提高了分割精度。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像分割模型训练方法步骤示意流程图；

图2为本申请实施例提供的一种图像分割模型训练方法的训练示意性结构框图；

图3为本申请实施例提供的一种图像分割方法步骤示意流程图；

图4为本申请实施例提供的图像分割模型训练装置结构示意性框图；

图5为本申请实施例提供的图像分割装置结构示意性框图；

图6为本申请实施例提供的一种计算机设备结构示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本申请实施例提供了一种图像分割模型训练方法、图像分割方法、装置、设备及介质。该图像分割模型训练方法、图像分割方法、装置、设备及介质可用于医院、社康、体检机构、研究部门等其他机构对眼底图像进行分割。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1为本申请实施例提供的一种图像分割模型训练方法的示意流程图，图2为本申请实施例提供的一种图像分割模型训练方法的训练示意性结构框图，请参考图1及图2，所述图像分割模型训练方法包括以下步骤：

步骤S101、获取眼底图像。

具体的，眼底图像为眼底OCT图像样本中的眼底OCT图像，本申请实施例中，从样本数据库中获取眼底OCT图像样本，眼底OCT图像样本包括正样本和负样本。同时可以包含不同年龄阶段眼底OCT图像。

可选的，如样本数据库中获取的眼底OCT图像样本未进行预处理，为了提高后续处理的精度，可以对获取的眼底OCT图像样本进行降噪以及图像增强等预处理操作。

步骤S102、对所述眼底图像进行下采样以获得不同尺度的特征映射。

本申请实施例中，所述对所述眼底图像进行下采样以获得不同尺度的特征映射，包括：将所述眼底图像输入至残差跳连网络，所述残差跳连网络包括多个卷积层、多个池化层以及多个跳连结构，所述眼底图像每经过一层卷积层以及池化层就得到一个尺度的特征映射，从而得到多个不同尺度的特征映射。具体的，可以参加图2中下采样部分的结构框图，将获取眼底OCT图像进行下采样，输入至多个卷积层和池化层，通过卷积核与眼底OCT图像进行卷积然后再进行池化，每经过一个卷积层和池化层就得到对应尺度的特征映射，这样可以得到多个尺度的特征映射(feature map)。每经过一个池化层就一个尺度，卷积层与池化层的数量根据实际需求进行设置，比如，卷积层与池化层数量为4，这样包括原图尺度一共有5个尺度。本实施例中，卷积层采用3*3的特征核进行卷积，每次卷积之后，都进行了ReLU的操作。ReLU为修正线性单元(Rectified Linear Units)，是一种非线性操作。ReLU是一个针对元素的操作(应用于每个像素)，并将特征映射中的所有负像素值替换为零。ReLU的目的是在卷积神经网络中引入非线性因素，因为卷积是一个线性运算(按元素进行矩阵乘法和加法)，而在实际中想要用神经网络学习的数据大多数都是非线性的，通过引入ReLU这样的非线性函数来解决非线性问题。卷积以及非线性处理后采用2x2的窗口进行最大池化。每次池化下采样一次后加倍通道数。同时为进一步提高特征提取的精度，可选的，在卷积层、池化层基础上加入残差跳连结构，及形成残差跳连网络。

步骤S103、将所述不同尺度的特征映射输入至区域生成网络，以获得所述不同尺度的感兴趣区域以及所述感兴趣区域的分类。

具体的，将步骤S102得到的每次下采样后也即每次卷积池化后的特征映射输入区域生成网络(Region Propsal Network，RPN)，例如卷积层与池化层数量为4，将这4次每次得到的特征映射都输入至RPN网络。RPN是一个卷积层(256维)和左右两个层的(分类层clclayer和分割层reg layer)的小网络。应用在滑动窗口区域上的，所有的滑动窗口共享这个RPN。这个卷积层对比普通的卷积层，它是一个将n*n*channels的输入通过256个n*n大小的卷积核生成1*1*256的特征映射，即最后是256维的特征(假设前面得到的特征映射是w*h*channels，那么n*n*channels的输入是在这个w*h*channels的特征映射上的用滑动窗口框出的区域)；该卷积层的输入就是滑动窗口n*n对应的特征映射区域，经过它卷积后特征映射变成1*1了。本申请中，可以对特征映射中每一位置进行不同尺寸的区域选取，通过调整候选窗口anchor区域的宽度和高度的比例，并且进行不同尺寸大小的变化，从而获取同一位置的多个不同大小的候选区域。anchor机制就是在前述n*n的滑动窗口上，进一步生成k种不同大小的可能区域。滑动窗口加anchor机制基本把目标可能出现的区域都涵盖了。最后将获取的特征映射feature map的anchor与原图的分割信息进行比较，通过非极大抑制等相关方法剔除掉严重超出边界的anchor，得到步骤S102每次进行下采样后的特征映射的最后的感兴趣区域即RoI区域(Region of Interests)。

同时由于RPN卷积层输出的是1*1*256，所有分类层cls layer是用1x1的卷积核进行进一步的特征提取。通过1*1卷积核卷积时，对各个通道都有不同的参数，因为输入又是1*1的图片，所以相当于全连接的功能，相当于把1*1*256展平成256，然后进行全连接，即在分类层cls layer，通过1*1卷积核卷积后输入至全连接层，输出分类。全连接层采用激活函数比如softmax激活函数对图像进行分类。这样可以将眼底黄斑区的病灶进行分类，比如是视网膜内积液、还是视网膜下积液或者色素上皮脱离等等。

步骤S104、对所述不同尺度的感兴趣区域进行上采样。

本步骤中，将步骤S103标记了感兴趣区域的多个特征映射，也即RPN网络分割层reg layer确定出来的方框区域的图像进行上采样，具体可以通过反卷积实现。本实施例中上采样通过2*2反卷积，每反卷积上采样一次后再通过3*3的卷积和ReLU非线性单元。反卷积的步长与步骤S102中池化的步长保持一致。每上采样一次都增加通道数。同时上采样的次数与步骤S102中下采样次数保持一次，比如步骤S102中下采样4次，那么该步骤中上采样的次数也为4次，在最后一层用1*1卷积层。

步骤S105、将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割。

本实施例中，所述将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割，包括：将所述感兴趣区域与上采样后的对应相同尺度的感兴趣区域进行拼接，同时将拼接后的感兴趣区域作为下一级上采样的输入。

具体的，参见图2中上采样部分，上采样中，每上采样一次，也就是每反卷积一次就将其结果与下采样部分对应的感兴趣区域进行拼接，也即与步骤S103中的相同尺度的感兴趣区域进行融合分割，对拼接之后的结果再进行3*3的卷积以及非线性处理，并且处理后的结果会作为下一级上采样的输入。这样，每一层反卷积的输入都合并了网络中对应位置的下采样的输出，该操作称为跳跃连接。通过跳跃连接，前期编码阶段提取的底层特征就可以在与解码阶段提取的高层特征相融合，形成了对特征更丰富的描述。且由于对应的感兴趣区域是通过残差卷积网络在不同尺度上进行了特征提取，因此上采样与下采样的对应的感兴趣区域直接连接即可，不需要额外计算。同时由于进行多个尺度融合分割，提高了分割精度。这样就很精细的将眼底黄斑区的多种病灶分割出来。

步骤S106、根据所述区域生成网络获得所述不同尺度的感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数。

具体地，所述根据所述区域生成网络获得感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数，包括：

所述根据所述区域生成网络获得感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差关联的计算公式计算损失函数；

所述计算公式为：

L＝λ₁L₁+λ₂L₂+λ₃L₃

其中，λ₁、λ₂、λ₃为权衡参数，可以根据实际情况进行调整和优化。L表示损失函数，L₁表示分类误差，L₂表示边界框回归误差，L₃表示分割误差，N_c表示类别数，i表示所述感兴趣区域的下标，p_i表示第i个感兴趣区域预测为正样本的概率，当感兴趣区域为正样本时，p_i ^*为1；当感兴趣区域为负样本时，p_i ^*为0；t_i表示正样本感兴趣区域到预测区域的四个平移缩放参数，t_i ^*表示正样本感兴趣区域到真实标签的四个平移缩放参数，R()是smooth函数，即y_i表示期望输出值、a_i表示实际输出值，N表示感兴趣区域个数，α为权衡因子。

步骤S107、根据所述损失函数的值调整所述下采样、区域生成网络以及上采样的参数，直到所述损失函数的值在预设误差范围内，以获得所述眼底图像分割模型。

根据计算得到的损失函数的值调整和优化网络模型参数，包括调整卷积核特征值和权值等，直到训练误差在预设范围内，模型收敛，整个深度学习模型就完成。

本实施例的图像分割模型训练方法，通过对获取的眼底图像进行下采样以获得不同尺度的特征映射；将所述不同尺度的特征映射输入至区域生成网络，以获得所述不同尺度的感兴趣区域以及所述感兴趣区域的分类；这样可以先检测出感兴趣的目标区域，然后针对目标区域对所述不同尺度的感兴趣区域进行上采样；将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割，提高了分割精度。同时根据所述区域生成网络获得所述不同尺度的感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数；根据所述损失函数的值调整和优化所述下采样、区域生成网络以及上采样的参数，直到所述损失函数的值在预设误差范围内，以获得眼底图像分割模型。

本申请还提供了一种图像分割方法，图3为本申请一实施例提供的一种眼底图像分割方法的示意流程图，请参见图3，所述眼底图像分割方法包括以下步骤：

步骤S201、获取待分割的眼底图像。

具体的，本申请实施例中，图像处理设备可以直接接收OCT检查设备发送过的第分割的眼底OCT图像。或者也可以直接发送获取命令给OCT图像数据库服务器，所述获取命令包括病人信息、检查时间等，OCT图像数据库服务器接收到获取命令之后，根据病人信息以及检查时间等检索得到对应的带分割的OCT图像，并将检索到的待分割的OCT图像发送给图像处理设备。

步骤S202、对所述待分割的眼底图像进行预处理。

具体的，将获取的眼底OCT图像进行预处理包括图像去噪以及图像增强等。

眼底图像结构复杂多变，且由于光照不均、对比度弱及噪音干扰问题，眼底图像清晰度往往不高，视盘以及黄斑区的可见性被削弱同时边缘不明显。加上OCT是对人体眼球活体实时成像，存在组织的散射性、光电检测的非线性和光源不稳等因素，导致图像采集时存在噪声，使得后续的识别分割较为困难。因此首先需要对眼底图像进行预处理以消除噪音、增强目标和背景对比度等，提高图像辨识度，改善图像处理与分析的结果。

本申请中，可以使用均值滤波等线性滤波器和适合于脉冲噪声的中值滤波等非线性滤波器进行去噪处理，或者采用局部自适应滤波方法进行去噪。考虑到眼底图像清晰度往往不高，视盘以及黄斑区的可见性被削弱，可以对获取的眼底OCT图像进行增强。

步骤S203、将预处理后的待分割的眼底图像输入眼底图像分割模型，以对预处理后的待分割的眼底图像进行分割。

本实施例中，所述眼底图像分割模型为采用前述实施例提供的眼底图像分割模型训练方法训练得到的眼底图像分割模型。

本实施例中，通过将预处理后的待分割的眼底图像输入至分割精细的眼底图像分割模型，提高了眼底图像分割的精度。

本申请还提供了一种眼底图像分割模型训练装置，图4为本申请实施例提供的一种图像分割模型训练装置的示意结构框图，请参阅图4，所述图像分割模型训练装置包括：

第一图像获取模块41，用于获取眼底图像；

下采样模块42，用于对所述眼底图像进行下采样以获得不同尺度的特征映射；

输入模块43，将所述不同尺度的特征映射输入至区域生成网络，以获得所述不同尺度的感兴趣区域以及所述感兴趣区域的分类；

上采样模块44，对所述不同尺度的感兴趣区域进行上采样；

分割模块45，用于将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割；

计算模块46，用于根据所述区域生成网络获得所述不同尺度的感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数；

调整模块47，用于根据所述损失函数的值调整所述下采样、区域生成网络以及上采样的参数，直到所述损失函数的值在预设误差范围内，以获得所述眼底图像分割模型。

可选的，所述计算模块46还具体用于：

所述根据所述区域生成网络获得感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差关联的计算公式计算损失函数；

所述计算公式为：

L＝λ₁L₁+λ₂L₂+λ₃L₃

其中，λ₁、λ₂、λ₃为权衡参数，L表示损失函数，L₁表示分类误差，L₂表示边界框回归误差，L₃表示分割误差，N_c表示类别数，i表示所述感兴趣区域的下标，p_i表示第i个感兴趣区域预测为正样本的概率，当感兴趣区域为正样本时，p_i ^*为1；当感兴趣区域为负样本时，p_i ^*为0；t_i表示正样本感兴趣区域到预测区域的四个平移缩放参数，t_i ^*表示正样本感兴趣区域到真实标签的四个平移缩放参数，R()是smooth函数，即y_i表示期望输出值、a_i表示实际输出值，N表示感兴趣区域个数，α为权衡因子。

可选的，所述下采样模块42还具体用于：

将所述眼底图像输入至残差跳连网络，所述残差跳连网络包括多个卷积层、多个池化层以及多个跳连结构，所述眼底图像每经过一层卷积层以及池化层就得到一个尺度的特征映射，从而得到多个不同尺度的特征映射。

可选的，所述上采样模块44，还具体用于：

将所述不同尺度的感兴趣区域进行反卷积从而实现上采样。

所述分割模块45，还具体用于：

将所述感兴趣区域与上采样后的对应相同尺度的感兴趣区域进行拼接，同时将拼接后的感兴趣区域作为下一级上采样的输入。

本申请还提供了一种图像分割装置，图5为本申请实施例提供的一种图像分割装置的示意结构框图，所述图像分割装置包括：

第二图像获取模块51，用于获取待分割的眼底图像。

预处理模块52，用于对所述待分割的眼底图像进行预处理。

图像分割模块53，用于将预处理后的待分割的眼底图像输入眼底图像分割模型，以对预处理后的待分割的眼底图像进行分割；所述眼底图像分割模型为采用前述实施例提供的眼底图像分割模型训练方法训练得到的眼底图像分割模型。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。

请参阅图6，图6是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。

其中，服务器可以为独立的服务器，也可以为服务器集群。该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。

参阅图6，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种眼底图像分割模型训练方法或眼底图像分割方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种图像分割模型训练方法或图像分割方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取眼底图像；

对所述眼底图像进行下采样以获得不同尺度的特征映射；

将所述不同尺度的特征映射输入至区域生成网络，以获得所述不同尺度的感兴趣区域以及所述感兴趣区域的分类；

对所述不同尺度的感兴趣区域进行上采样；

将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割；

根据所述区域生成网络获得所述不同尺度的感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数；

根据所述损失函数的值调整所述下采样、区域生成网络以及上采样的参数，直到所述损失函数的值在预设误差范围内，以获得所述眼底图像分割模型。

在一实施例中，所述处理器在执行所述根据所述区域生成网络获得感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数时，用于实现：

所述根据所述区域生成网络获得感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差关联的计算公式计算损失函数；

所述计算公式为：

L＝λ₁L₁+λ₂L₂+λ₃L₃

其中，λ₁、λ₂、λ₃为权衡参数，L表示损失函数，L₁表示分类误差，L₂表示边界框回归误差，L₃表示分割误差，N_c表示类别数，i表示所述感兴趣区域的下标，p_i表示第i个感兴趣区域预测为正样本的概率，当感兴趣区域为正样本时，p_i ^*为1；当感兴趣区域为负样本时，p_i ^*为0；t_i表示正样本感兴趣区域到预测区域的四个平移缩放参数，t_i ^*表示正样本感兴趣区域到真实标签的四个平移缩放参数，R()是smooth函数，即y_i表示期望输出值、a_i表示实际输出值，N表示感兴趣区域个数，α为权衡因子。

在一实施例中，所述处理器在执行所述对所述眼底图像进行下采样以获得不同尺度的特征映射时，用于实现：

将所述眼底图像输入至残差跳连网络，所述残差跳连网络包括多个卷积层、多个池化层以及多个跳连结构，所述眼底图像每经过一层卷积层以及池化层就得到一个尺度的特征映射，从而得到多个不同尺度的特征映射。

在一实施例中，所述处理器在执行所述对所述不同尺度的感兴趣区域进行上采样时，用于实现：

将所述不同尺度的感兴趣区域进行反卷积从而实现上采样。

在一实施例中，所述处理器在执行所述将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割时，用于实现：

将所述感兴趣区域与上采样后的对应相同尺度的感兴趣区域进行拼接，同时将拼接后的感兴趣区域作为下一级上采样的输入。

其中，在另一实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

获取待分割的眼底图像；

对所述待分割的眼底图像进行预处理；

将预处理后的待分割的眼底图像输入眼底图像分割模型，以对预处理后的待分割的眼底图像进行分割；所述眼底图像分割模型为采用前述实施例所述的眼底图像分割模型训练方法训练得到的眼底图像分割模型。

本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项图像分割模型训练方法或图像分割方法。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种图像分割模型训练方法，其特征在于，所述图像分割模型训练方法包括：

获取眼底图像；

对所述眼底图像进行下采样以获得不同尺度的特征映射；

将所述不同尺度的特征映射输入至区域生成网络，以获得所述不同尺度的感兴趣区域以及所述感兴趣区域的分类；

对所述不同尺度的感兴趣区域进行上采样；

将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割；

根据所述区域生成网络获得所述不同尺度的感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数；

根据所述损失函数的值调整所述下采样、区域生成网络以及上采样的参数，直到所述损失函数的值在预设误差范围内，以获得所述眼底图像分割模型；

所述根据所述区域生成网络获得感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数，包括：

根据所述区域生成网络获得感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差关联的计算公式计算损失函数；

所述计算公式为：

L＝λ₁L₁+λ₂L₂+λ₃L₃

其中，λ₁、λ₂、λ₃为权衡参数，L表示损失函数，L₁表示分类误差，L₂表示边界框回归误差，L₃表示分割误差，N_c表示类别数，i表示第i个感兴趣区域，N_reg表示感兴趣区域个数，p_i表示第i个感兴趣区域预测为正样本的概率，当感兴趣区域为正样本时，p_i ^*为1；当感兴趣区域为负样本时，p_i ^*为0；t_i表示正样本感兴趣区域到预测区域的四个平移缩放参数，t_i ^*表示正样本感兴趣区域到真实标签的四个平移缩放参数，R()是smooth函数，即x表示/>y_i表示期望输出值、a_i表示实际输出值，N表示感兴趣区域个数，α为权衡因子。

2.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述对所述眼底图像进行下采样以获得不同尺度的特征映射，包括：

将所述眼底图像输入至残差跳连网络，所述残差跳连网络包括多个卷积层、多个池化层以及多个跳连结构，所述眼底图像每经过一层卷积层以及池化层就得到一个尺度的特征映射，从而得到多个不同尺度的特征映射。

3.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述对所述不同尺度的感兴趣区域进行上采样，包括：

将所述不同尺度的感兴趣区域进行反卷积从而实现上采样。

4.根据权利要求1所述的图像分割模型训练方法，其特征在于，所述将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割，包括：

将所述感兴趣区域与上采样后的对应相同尺度的感兴趣区域进行拼接，同时将拼接后的感兴趣区域作为下一级上采样的输入。

5.一种图像分割方法，其特征在于，所述图像分割方法包括：

获取待分割的眼底图像；

对所述待分割的眼底图像进行预处理；

将预处理后的待分割的眼底图像输入眼底图像分割模型，以对预处理后的待分割的眼底图像进行分割；所述眼底图像分割模型为采用权利要求1-4任一项所述的图像分割模型训练方法训练得到的眼底图像分割模型。

6.一种图像分割模型训练装置，其特征在于，所述图像分割模型训练装置包括：

第一图像获取模块，用于获取眼底图像；

下采样模块，用于对所述眼底图像进行下采样以获得不同尺度的特征映射；

输入模块，将所述不同尺度的特征映射输入至区域生成网络，以获得所述不同尺度的感兴趣区域以及所述感兴趣区域的分类；

上采样模块，对所述不同尺度的感兴趣区域进行上采样；

分割模块，用于将所述感兴趣区域与上采样后的感兴趣区域进行多尺度融合分割；

计算模块，用于根据所述区域生成网络获得所述不同尺度的感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数；

调整模块，用于根据所述损失函数的值调整所述下采样、区域生成网络以及上采样的参数，直到所述损失函数的值在预设误差范围内，以获得所述眼底图像分割模型；

所述根据所述区域生成网络获得感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差计算损失函数，包括：

根据所述区域生成网络获得感兴趣区域的边界框回归误差、所述分类的分类误差以及所述多尺度融合分割的分割误差关联的计算公式计算损失函数；

所述计算公式为：

L＝λ₁L₁+λ₂L₂+λ₃L₃

其中，λ₁、λ₂、λ₃为权衡参数，L表示损失函数，L₁表示分类误差，L₂表示边界框回归误差，L₃表示分割误差，N_c表示类别数，i表示第i个感兴趣区域，N_reg表示感兴趣区域个数，p_i表示第i个感兴趣区域预测为正样本的概率，当感兴趣区域为正样本时，p_i ^*为1；当感兴趣区域为负样本时，p_i ^*为0；t_i表示正样本感兴趣区域到预测区域的四个平移缩放参数，t_i ^*表示正样本感兴趣区域到真实标签的四个平移缩放参数，R()是smooth函数，即x表示/>y_i表示期望输出值、a_i表示实际输出值，N表示感兴趣区域个数，α为权衡因子。

7.一种图像分割装置，其特征在于，所述图像分割装置包括：

第二图像获取模块，用于获取待分割的眼底图像；

预处理模块，用于对所述待分割的眼底图像进行预处理；

图像分割模块，用于将预处理后的待分割的眼底图像输入图像分割模型，以对预处理后的待分割的眼底图像进行分割；所述图像分割模型为采用权利要求1-4任一项所述的图像分割模型训练方法训练得到的图像分割模型。

8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至4中任一项所述的图像分割模型训练方法，或者如权利要求5所述的图像分割方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至4中任一项所述的图像分割模型训练方法，或者如权利要求5所述的图像分割方法。