CN117576405A - 舌象语义分割方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及一种舌象语义分割方法、装置、设备及介质。该方法获取目标舌象图片并进行特征提取处理，得到浅层特征图；将浅层特征图进行多尺度特征提取处理，得到多尺度特征图，对多尺度特征图进行通道降维，得到整合特征图；对浅层特征图进行通道降维，得到第一特征图，对整合特征图进行上采样，得到第二特征图，将第一和第二特征图进行特征融合，得到深层特征图；将浅层和深层特征图输入图像分割模型，得到分割预测结果。该方法可以更好地识别和分类对象，降低了模型的复杂性，提高了运行的速度和准确性，能够更好地理解和识别图像内容，提高了对舌象图片的语义分割，提供更精确客观的诊断依据，便于中医诊断和健康检测。

Description

舌象语义分割方法、装置、设备及介质

技术领域

本发明适用于图像处理技术领域，尤其涉及一种舌象语义分割方法、装置、设备及介质。

背景技术

语义分割是一种计算机视觉领域的技术，它的主要目的是将一张图像分割成不同的区域，并将这些区域标记为不同的语义类别。与传统的图像分割技术相比，语义分割可以更准确地理解图像中的不同区域，并将它们与相应的语义类别相匹配。因此，语义分割技术在许多视觉场景下都具有广泛的应用前景。

近年来，舌象分割是中医现代化领域的研究热点。很多学者对舌象分割进行相关研究，尝试了很多种分割方法，舌象分割也取得了一些研究成果。现有DeepLabV3+模型进行语义分割，但该模型参数量大，边缘分割精度不高，不能达到较好的分割效果。

因此，如何改进现有模型并提供提高舌象语义分割效果成为亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种舌象语义分割方法、装置、设备及介质，以解决如何改进现有模型并提供提高舌象语义分割效果的问题。

第一方面，提供一种舌象语义分割方法，所述舌象语义分割方法包括：

获取目标舌象图片，对目标舌象图片进行特征提取预处理，得到目标舌象图片的浅层特征图；

将浅层特征图进行多尺度特征提取处理，得到目标舌象图片的多尺度特征图，对多尺度特征图进行通道降维处理，得到目标舌象图片的整合特征图；

对浅层特征图进行通道降维处理，得到目标舌象图片的第一特征图，对整合特征图进行上采样，得到目标舌象图片的第二特征图，将第一特征图与第二特征图进行特征融合，得到目标舌象图片的深层特征图；

将浅层特征图与深层特征图输入至预设的用于语义分割任务的图像分割模型，得到目标舌象图片的分割预测结果。

第二方面，提供一种舌象语义分割装置，所述舌象语义分割装置包括：

浅层特征图获取模块，用于获取目标舌象图片，对目标舌象图片进行特征提取预处理，得到目标舌象图片的浅层特征图；

整合特征图获取模块，用于将浅层特征图进行多尺度特征提取处理，得到目标舌象图片的多尺度特征图，对多尺度特征图进行通道降维处理，得到目标舌象图片的整合特征图；

深层特征图获取模块，用于对浅层特征图进行通道降维处理，得到目标舌象图片的第一特征图，对整合特征图进行上采样，得到目标舌象图片的第二特征图，将第一特征图与第二特征图进行特征融合，得到目标舌象图片的深层特征图；

预测结果生成模块，用于将浅层特征图与深层特征图输入至预设的用于语义分割任务的图像分割模型，得到目标舌象图片的分割预测结果。

第三方面，本发明实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的舌象语义分割方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的舌象语义分割方法。

第五方面，本发明实施例提供一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行上述第一方面所述的舌象语义分割方法。

本发明与现有技术相比存在的有益效果是：本发明通过上述步骤，能够充分分析出图像在不同尺度上的特征，更好地识别和分类对象，降低了模型的复杂性，提高了运行的速度和准确性，能够更好地理解和识别图像内容，有效提高了对舌象图片的语义分割，准确分割出舌头的各个部分，提供更精确和客观的诊断依据，便于中医诊断和健康检测，减少了人为因素对诊断结果的影响。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种舌象语义分割方法的一应用环境示意图；

图2是本发明实施例二提供的一种舌象语义分割方法的流程示意图；

图3是本发明实施例三提供的一种舌象语义分割方法的流程示意图；

图4是本发明实施例四提供的一种舌象语义分割方法的流程示意图；

图5是本发明实施例五提供的一种舌象语义分割方法的流程示意图；

图6是本发明实施例六提供的一种舌象语义分割方法的流程示意图；

图7是本发明实施例七提供的一种舌象语义分割方法的流程示意图；

图8是本发明实施例八提供的一种舌象语义分割方法的流程示意图；

图9是本发明实施例九提供的一种舌象语义分割方法的模型架构示意图；

图10是本发明实施例十提供的一种舌象语义分割装置的结构示意图；

图11是本发明实施例十一提供的一种计算机设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

为了说明本发明的技术方案，下面通过具体实施例来进行说明。

本发明实施例一提供的一种舌象语义分割方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、云端计算机设备、个人数字助理（personal digital assistant，PDA）等计算机设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

参见图2，是本发明实施例二提供的一种舌象语义分割方法的流程示意图，上述舌象语义分割方法可以应用于图1中的客户端，用户使用该客户端对一舌体图像进行分析，在该客户端中执行上述舌象语义分割方法，以输出舌象语义分割的结果。如图2所示，该舌象语义分割方法可以包括以下步骤：

步骤S201，获取目标舌象图片，对目标舌象图片进行特征提取预处理，得到目标舌象图片的浅层特征图。

其中，目标舌象图片可以通过公开的数据库或研究中获取，或通过医疗设备对病患的舌部进行图像采集以直接获取，也可以通过用户手动拍照后上传来获得。

浅层特征图是对目标舌象图片进行初步处理的特征图，该浅层特征图能够具体展现原舌象图片的细节特征，该“浅层”为定义一个名称，而非对特征图有本质上的限定，该浅层特征图就是通过对摄像图进行特征提取预处理得到的图像。

对获取到的目标舌象图片进行特征提取预处理，可以包括调整大小、颜色归一化、去噪等步骤，以便进行特征提取，提取的特征通常包括：颜色、纹理、形状等信息。特征提取预处理后即可得到以一些特征表现为主要的图像，具体地可以是通过矩阵的形式表达出的图像。

步骤S202，将浅层特征图进行多尺度特征提取处理，得到目标舌象图片的多尺度特征图，对多尺度特征图进行通道降维处理，得到目标舌象图片的整合特征图。

其中，多尺度特征提取是指对浅层特征图进行多次处理，每次处理使用不同的尺度或参数，最终对不同的处理结果进行可并融合，得到目标舌象图片的多尺度特征图。在对浅层特征图进行多尺度特征提取处理时，可以对浅层特征图进行不同程度的缩小或放大，从而得到不同尺度下的图像特征信息，还可以通过调节网络的结构参数，以调整网络的深度、卷积核大小、步长等特征表示。

在进行多尺度特征提取过程中可能会产生大量的特征通道，会增加后续处理的复杂性和计算负担，因此，需要进行通道降维处理，减少特征通道的数量，同时保留关键信息。整合特征图包含舌象在不同尺度和通道上的重要信息，可以为后续的分析提供全面的特征表示。

其中，通道维度处理时指对数据的通道进行降维的过程，通道通常指的是输入数据中的特征图的数量。通道降维的目的是为了减少模型的复杂度和参数量，从而提高模型的训练和推理效率。同时可以有效防止过拟合。

步骤S203，对浅层特征图进行通道降维处理，得到目标舌象图片的第一特征图，对整合特征图进行上采样，得到目标舌象图片的第二特征图，将第一特征图与第二特征图进行特征融合，得到目标舌象图片的深层特征图。

第一特征图是指对浅层特征图进行通道降维处理后得到的图像或者图表达，例如，浅层特征图为3通道的特征图，对其进行通道降维处理可以将其将至2通道或者1通道，得到对应的第一特征图。

第二特征图是指对整合特征图进行上采样后得到的图像或者图表达，整合特征图是对多尺度特征图进行通道降维处理后的图像或图表达，应理解，整合特征图的尺寸小于第一特征图，因此需要对其进行上采样，通过插值或置换卷积得到与第一特征图尺寸大小一致的第二特征图。

两个尺寸相同的特征图的融合可以进行将第一特征图和第二特征图的信息结合起来，得到更为丰富和多维度的深层特征图，其中，融合可以采用加法融合、拼接融合、加权融合等方式进行，这些融合方式可以根据。

该深层特征图不仅包含了原始目标舌象图片的纹理和颜色信息，还可能包含经过多层次处理和融合后的语义信息。

步骤S204，将浅层特征图与深层特征图输入至预设的用于语义分割任务的图像分割模型，得到目标舌象图片的分割预测结果。

图像分割模型可以是一预先训练好的模型，该模型包括机器学习模型、神经网络模型等，在训练时选用采集的舌象图片作为训练集，以使得训练好的模型能够用于舌象的分割。在本实施例中具体体现为将舌象图片的不同区域进行精确的分割，例如，舌象图片中的舌体和背景进行分割，舌质的提取等。

将深层特征图输入该图像分割模型，可以得到初步的分割预测结果，由于在对深层特征进行图像分割过程中可能无法考虑全局的特征，导致特征缺失，因此，为了避免特征缺失，则采用浅层特征图修整生成的分割预测结果，以完善分割结果，提高舌象图片的完整性。

本实施例的舌象语义分割方法，通过多尺度提取处理，充分理解图像在不同尺度上的特征，更好地识别和分类对象，降维处理的运用，降低了模型的复杂性，提高了运行的速度和准确性，结合浅层和深层信息，更好地理解和识别图像内容，有效提高了对舌象图片的语义分割，准确分割出舌头的各个部分，提供更精确和客观的诊断依据，便于中医诊断和健康检测，通过机器学习和深度学习自动化分析处理目标舌象图片，减少了人为因素对诊断结果的影响。

参见图3，为本发明实施例三提供的一种舌象语义分割方法的流程示意图，如图3所示，在步骤S202中的将浅层特征图进行多尺度特征提取处理，得到目标舌象图片的多尺度特征图，包括：

步骤S301，将浅层特征图分别经过一个池化层和至少一个卷积层。

其中，浅层特征图需要经过一个池化层以及一个卷积层或多个卷积层。池化层通常用于下采样，减少特征图的维度的同时保留重要信息，减少计算量和过拟合的风险，提高更高级别的特征；通过卷积层可以捕捉到图像中的细节信息，可以连接多个卷积层以进一步提取特征，有助于更好地学习和理解舌象图片中的复杂特征。

步骤S302，当卷积层的数量大于两层时，各个卷积层用于对浅层特征图进行不同膨胀率的膨胀卷积处理，得到目标舌象图片的各卷积特征图。

其中，膨胀卷积是一种特殊的卷积操作，通过在卷积过程中引入膨胀率，可控制卷积核在输入特征图上扩展的步长，当有多层卷积层时，可以根据需求设置不同的膨胀率，使每一层卷积层都可以以不同的方式扩展感受野，从而从不同的角度和尺度上提取特征。每一种膨胀率的膨胀卷积处理均能生成一个卷积特征图。

步骤S303，池化层用于对浅层特征图进行平均池化处理，得到目标舌象图片的池化特征图。

对浅层特征图进行全局平均池化处理，有助于进一步降低特征图的维度，保留重要信息，为后续的图像分割和分类任务提供更简洁、高效的特征表示。

步骤S304，对各卷积特征图和池化特征图进行特征融合，得到多尺度特征图。

特征融合是将来自不同层级的特征图进行组合，以获得多尺度的特征表示，将各个经过处理的特征图进行特征融合，将体现的各个特征融合在一起，形成具有多个尺度的特征图。具体的融合方法可以是将不同层的特征图在通道维度上串联起来，也可以是通过上采样和下采样使特征图的尺寸相一致。

举例说明，设置四个卷积层和一个池化层，四个卷积层分别为1×1的卷积层，以及膨胀率分别为3、6、9的3×3的膨胀卷积层，每一个卷积层或池化层生成一个经过处理的特征图。

本实施例的舌象语义分割方法，通过使用池化和不同膨胀率的卷积来捕捉多尺度的特征，使能更好地理解和分析舌象图片，降低了特征图的维度，减少了计算资源和时间，提高处理效率，在卷积层地选择方面具有一定的灵活性。

参见图4，为本发明实施例四提供的一种舌象语义分割方法的流程示意图，如图4所示，在步骤S302对浅层特征图进行不同膨胀率的膨胀卷积处理，得到目标舌象图片的各卷积特征图之后，还包括：

步骤S401，针对每一卷积层，根据预设的通道注意力模块，计算卷积特征图的通道维度注意力权重，根据预设的空间注意力模块，计算卷积特征图的空间维度注意力权重。

每一个卷积层都能输出一个卷积特征图，将输出的卷积特征图输入注意力融合模块，分别计算该卷积特征图的通道维度上的注意力权重，以及空间维度上的注意力权重。计算通道维度注意力权重的方法有全局平均池化、自注意力机制等，计算空间维度注意力权重的方法有位置嵌入、空间金字塔池化等。

步骤S402，利用通道维度注意力权重和空间维度注意力权重，对卷积特征图进行处理，得到卷积特征图的加权特征图。

利用计算出来的注意力权重与卷积特征图相乘，使用这些权重调整卷积层的输出，得到卷积特征图的加权特征图。具体的，可以将权重与通道特征相乘，得到加权的通道特征，同样，对于特征图中的每个位置，可以使用空间维度的注意力权重对该位置的特征进行加权。

本实施例的舌象语义分割方法，利用注意力权重对卷积特征图进行加权计算，能够更好地捕捉输入数据的结果和语义信息，有助于模型更好地理解和处理输入数据，提高了模型的性能和准确性。

参见图5，为本发明实施例五提供的一种舌象语义分割方法的流程示意图，如图5所示，在步骤S402中，即利用通道维度注意力权重对卷积特征图进行处理，包括：

步骤S501，对卷积特征图进行平均池化操作，得到第一池化结果。

对卷积特征图进行平均池化操作，对特征图中的每个局部区域进行平均操作，以得到该区域内的平均值作为输出，可以将特征图中的每个像素点替换为一个平均值，从而降低特征图的维度。

步骤S502，对卷积特征图进行最大池化操作，得到第二池化结果。

最大池化是在池化核覆盖的区域内选择最大值作为输出，与平均池化相比，最大池化将每个像素点替换为该区域内的最大值，更注重提取特征图中的突变信息。

步骤S503，将第一池化结果和第二池化结果输入第一多层感知器，分别得到第一输出特征图和第二输出特征图。

第一多层感知器（Multi-Layer Perceptron, MLP）分别对第一输出特征图和第二输出特征图进行进一步的处理和分析，具体的操作过程为：对输入的特征图进行逐层卷积和池化操作，提取更深层次的特征；在每一层中使用激活函数对卷积结果进行非线性变换，增加模型的表达能力；在最后一层，将特征图展平为一维向量，并进行全连接操作，得到输出结果。

步骤S504，将第一输出特征图和第二输出特征图进行加和操作，得到通道维度注意力权重。

合并第一输出特征图和第二输出特征图，以得到一个更丰富的特征融合结果，对每个通道进行加权求和，确定通道维度的注意力权重，从而强调重要的通道并一直不重要的通道。通过计算得到的通道维度注意力权重可以进一步用于指导模型对特征图的注意力分配，提高模型的性能和泛化能力。

步骤S505，将通道维度注意力权重与卷积特征图相乘，得到通道注意力机制融合特征图。

通道注意力机制是一种让模型关注重要通道信息的方法，通过为每个通道分配不同的权重，使得模型能够更加关注重要的特征，从而提升模型的性能。将得到的通道维度注意力权重与卷积特征图进行相乘操作，使模型更好地关注到特征图中重要的通道，并抑制不相关或冗余的通道，从而提高模型的性能和泛化能力。

本实施例的舌象语义分割方法，在通道维度上进行注意力融合，有效提高了模型的表示能力和分类准确率，平均池化与最大池化相结合，降低特征图维度的同时，保留了图像中的重要信息，使更好地分割舌象图片。

参见图6，为本发明实施例六提供的一种舌象语义分割方法的流程示意图，如图6所示，在步骤S505得到通道注意力机制融合特征图之后，还包括：

步骤S601，对通道注意力机制融合特征图进行基于通道的最大池化和平均池化操作，分别得到最大池化结果和平均池化结果。

基于通道的最大池化和平均池化操作时常见的池化方法，最大池化是选择池化窗口内的最大值作为输出，而平均池化则是计算池化窗口内的平均值作为输出，减小特征图的尺寸，并保留重要特征信息。具体操作为，将特征图沿着通道方向进行划分，使每个通道对应一个特征图，然后对每个通道的特征图分别进行最大池化和平均池化，得到新的特征向量，即最大池化结果和平均池化结果。

步骤S602，将最大池化结果和平均池化结果进行合并，得到空间注意力合并特征图。

具体的，将最大池化结果和平均池化结果分别展平为一维向量，将两个一维向量拼接在一起，形成一个信息特征向量，这个特征向量包含了通道注意力机制融合特征图在每个通道上的最大值和平均值信息，将这个新的特征向量进行调整，形成一个新的空间注意力合并特征图。

步骤S603，对空间注意力合并特征图进行卷积激活，得到空间维度注意力权重。

对空间注意力合并特征图进行卷积操作，可以使用一个卷积核进行一次卷积，或者使用多个卷积核进行多次卷积，卷积操作可以提取特征图中的局部特征，并生成新的特征图，在卷积操作后，使用激活函数对特征图进行非线性变换，常用sigmoid激活函数进行处理。在激活函数的作用下，特征图中的每个像素点会被赋予一个数值，这个数值表示该像素点在空间维度上的注意力权重。

步骤S604，将空间维度注意力权重与通道注意力机制融合特征图相乘，得到加权特征图。

计算得到的空间维度注意力权重应与通道注意力机制融合特征图有相同的尺寸，进行逐元素相乘，即对每个通道的特征图进行加权，使模型能够更加关注重要的空间特征，通过逐元素相乘得到加权特征图，其中每个像素点的值是对应的通道注意力权重与空间维度注意力权重的乘积。

本实施例的舌象语义分割方法，提高了特征图的表征能力，最大池化与平均池化相结合，减少了后续卷积操作的计算量，提高了模型的运行效率，可以更好地处理各种不同的图像数据，提高了模型的泛化能力。

参见图7，为本发明实施例七提供的一种舌象语义分割方法的流程示意图，如图7所示，在步骤S204中，即将浅层特征图与深层特征图输入至预设的用于语义分割任务的图像分割模型，得到目标舌象图片的分割预测结果，包括：

步骤S701，对深层特征图进行卷积特征提取，得到深层特征图的特征表示结果。

对深层特征图进行进一步的处理操作，卷积特征提取后的深层特征图可以获得更有效的特征表示，对每个特征图的局部区域进行卷积，提取出更具有鉴别性的特征。

步骤S702，对特征表示结果的像素点周围进行点采样，获得若干个预设采样点。

其中，预设采样点使特征表示结果中相对模糊，不能清晰确定语义信息的点，可以在像素点周围均匀选取，具体的采样过程可以根据实际需求进行设计，控制采样点的密度和分布，确保能够充分覆盖特征表示结果中的重要信息。需要注意的是，采样点的数量和分布需要根据具体任务和数据集的特点进行选择和调整，以确保最佳的效果。

步骤S703，根据特征表示结果，获取每个预设采样点的特征向量。

应理解，每个预设采样点的特征向量可以在特征表示结果中提取出来，可以根据实际选择合适的特征向量提取方法和参数设置，以提高分类任务的性能和准确性。

在一实施方式中，如图8所示，获取每个预设采样点的特征向量，包括：

步骤S801，根据特征表示结果，获取每个预设采样点的点坐标；

步骤S802，根据点坐标，对浅层特征图进行采样，得到预设采样点的低层特征向量；

步骤S803，根据点坐标，对特征表示结果进行采样，得到预设采样点的高层特征向量；

步骤S804，对低层特征向量和高层特征向量进行合并，得到预设采样点的特征向量。

其中，从特征表示结果中确定预设采样点的位置（即预设采样点的点坐标），由于浅层特征图的尺寸与特征表示结果的尺寸一致，因此，根据点坐标，可以获取浅层特征图中相应位置的特征向量，即为预设采样点的低层特征向量，根据点坐标可以获取特征表示结果中相应位置的特征向量，即为高层特征向量，将同一预设采样点的低层特征向量和高层特征向量进行合并得到预设采样点的特征向量。

通过高层特征向量与低层特征向量相融合，可以得到不同层次的特征信息，更好地理解图像或数据的本质特征，有效提高了特征的表示能力，能够更灵活的处理不同的任务和数据集，提高特征表示的全面性和准确性，增强模型的泛化能力。

步骤S704，通过第二多层感知器对特征向量进行计算，得到分割预测结果。

多层感知器由多个神经元组成，每个神经元接收输入信号并输出一个值，通过训练，多层感知器可以学习到从输入的特征向量到输出分割结果的映射关系。具体的训练过程可以使用反向传播算法等优化算法进行，通过不断调整第二多层感知器的权重参数，可以使得预测结果与实际分割结果之间的误差最小化。需要注意的是，第二多层感知器的结构和参数设置需要根据具体任务和数据集的特点进行选择和调整。经过计算，最终得到与原图尺寸相同的分割预测结果。

在一实施方式中，得到的分割预测结果还可以进行迭代修复处理，不断优化分割结果，以达到更准确的效果。通过不断更新分割结果，逐渐逼近最优解，可以根据当前分割预测结果与实际分割结果的差异，调整第二多层感知器的权重参数，以得到更准确的分割结果，然后，将更准确的分割结果作为新的输入特征向量，再次进行第二多层感知器的计算，以得到进一步优化的分割预测结果。这样，逐渐减小分割预测结果与实际分割结果之间的误差，提高分割的准确性和稳定性。另外，迭代修复处理的次数和参数设置需要根据具体任务和数据集的特点进行选择和调整，以达到最佳的分割效果。

如图9所示，为舌象语义分割方法的模型架构示意图，在图9中，输入一个轻量级网络MobileNet V2得到浅层特征图，将浅层特征图分别输入一个1×1的卷积层（Conv）、一个3倍膨胀率的3×3的卷积层、一个6倍膨胀率的3×3的卷积层、一个9倍膨胀率的3×3的卷积层，以及一个平均池化层，分别进行处理并输出特征图，将这些特征图融合起来，得到多尺度特征图。在浅层特征图经过卷积层后，可以利用CBAM（Convolutional Block AttentionModule，卷积注意力机制模块）对输出的特征图进行处理，使融入通道注意力和空间注意力。浅层特征图经过池化层的特征图不需要进行CBAM处理。对多尺度特征图进行通道降维处理，得到整合特征图，对整合特征图上采样后（即第二特征图）与通道降维处理后的浅层特征图（即第一特征图）进行合并（Concat），得到深层特征图。经过卷积层的深层特征图与浅层特征图输入点渲染（Pointrend）模块，整理输出得到目标舌象图片的分割预测结果。

本实施例的舌象语义分割方法，选取了一些预设采样点进行特征向量计算，得到的分割预测结果更加精确，提高了分割的准确性和稳定性，为中医舌象分析提供便利。

参见图10，为本申请实施例十提供的一种舌象语义分割装置的结构示意图，基于上述的舌象语义分割方法，本实施例十中该舌象语义分割装置包括：浅层特征图获取模块101，用于获取目标舌象图片，对目标舌象图片进行特征提取处理，得到目标舌象图片的浅层特征图；

整合特征图获取模块102，用于将浅层特征图进行多尺度特征提取处理，得到目标舌象图片的多尺度特征图，对多尺度特征图进行通道降维处理，得到目标舌象图片的整合特征图；

深层特征图获取模块103，用于对浅层特征图进行通道降维处理，得到目标舌象图片的第一特征图，对整合特征图进行上采样，得到目标舌象图片的第二特征图，将第一特征图与第二特征图进行特征融合，得到目标舌象图片的深层特征图；

预测结果生成模块104，用于将浅层特征图与深层特征图输入至预设的用于语义分割任务的图像分割模型，得到目标舌象图片的分割预测结果。

可选的是，上述整合特征图获取模块102包括：

特征图处理子模块，用于将浅层特征图分别经过一个池化层和至少一个卷积层；

当卷积层的数量大于两层时，各个卷积层用于对浅层特征图进行不同膨胀率的膨胀卷积处理，得到目标舌象图片的各卷积特征图；

池化层用于对浅层特征图进行平均池化处理，得到目标舌象图片的池化特征图；

特征融合子模块，用于对各卷积特征图和池化特征图进行特征融合，得到多尺度特征图。

可选的是，上述特征图处理子模块包括：

权重计算单元，用于针对每一卷积层，根据预设的通道注意力模块，计算卷积特征图的通道维度注意力权重，根据预设的空间注意力模块，计算卷积特征图的空间维度注意力权重；

加权特征图获取单元，用于利用通道维度注意力权重和空间维度注意力权重，对卷积特征图进行处理，得到卷积特征图的加权特征图。

可选的是，上述加权特征图获取单元包括：

平均池化子单元，用于对卷积特征图进行平均池化操作，得到第一池化结果；

最大池化子单元，用于对卷积特征图进行最大池化操作，得到第二池化结果；

特征图输出子单元，用于将第一池化结果和第二池化结果输入第一多层感知器，分别得到第一输出特征图和第二输出特征图；

通道注意力权重计算子单元，用于将第一输出特征图和第二输出特征图进行加和操作，得到通道维度注意力权重；

通道注意力融合子单元，用于将通道维度注意力权重与卷积特征图相乘，得到通道注意力机制融合特征图。

可选的是，上述通道注意力融合子单元之后还包括：

通道池化子单元，用于对通道注意力机制融合特征图进行基于通道的最大池化和平均池化操作，分别得到最大池化结果和平均池化结果；

池化合并子单元，用于将最大池化结果和平均池化结果进行合并，得到空间注意力合并特征图；

空间注意力权重获取子单元，用于对空间注意力合并特征图进行卷积激活，得到空间维度注意力权重；

加权特征图获取子单元，用于将空间维度注意力权重与通道注意力机制融合特征图相乘，得到加权特征图。

可选的是，上述预测结果生成模块104包括：

特征提取子模块，用于对深层特征图进行卷积特征提取，得到深层特征图的特征表示结果；

点采样子模块，用于对特征表示结果的像素点周围进行点采样，获得若干个预设采样点；

特征向量获取子模块，用于根据特征表示结果，获取每个预设采样点的特征向量；

预测结果获取子模块，用于通过第二多层感知器对特征向量进行计算，得到分割预测结果。

可选的是，上述特征向量获取子模块包括：

点坐标获取单元，用于根据特征表示结果，获取每个预设采样点的点坐标；

低层特征向量获取单元，用于根据点坐标，对浅层特征图进行采样，得到预设采样点的低层特征向量；

高层特征向量获取单元，用于根据点坐标，对特征表示结果进行采样，得到预设采样点的高层特征向量；

特征向量获取单元，用于对低层特征向量和高层特征向量进行合并，得到预设采样点的特征向量。

需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图11为本发明实施例十一提供的一种计算机设备的结构示意图。如图10所示，该实施例的计算机设备包括：至少一个处理器（图10中仅示出一个）、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个舌象语义分割方法实施例中的步骤。

该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图10仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。

所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific IntegratedCircuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡、闪存卡（Flash Card）等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序（BootLoader）、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

本发明实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种舌象语义分割方法，其特征在于，所述舌象语义分割方法包括：

获取目标舌象图片，对所述目标舌象图片进行特征提取预处理，得到所述目标舌象图片的浅层特征图；

将所述浅层特征图进行多尺度特征提取处理，得到所述目标舌象图片的多尺度特征图，对所述多尺度特征图进行通道降维处理，得到所述目标舌象图片的整合特征图；

对所述浅层特征图进行通道降维处理，得到所述目标舌象图片的第一特征图，对所述整合特征图进行上采样，得到所述目标舌象图片的第二特征图，将所述第一特征图与所述第二特征图进行特征融合，得到所述目标舌象图片的深层特征图；

将所述浅层特征图与所述深层特征图输入至预设的用于语义分割任务的图像分割模型，得到所述目标舌象图片的分割预测结果。

2.根据权利要求1所述的舌象语义分割方法，其特征在于，所述将所述浅层特征图进行多尺度特征提取处理，得到所述目标舌象图片的多尺度特征图，包括：

将所述浅层特征图分别经过一个池化层和至少一个卷积层；

当所述卷积层的数量大于两层时，各个所述卷积层用于对所述浅层特征图进行不同膨胀率的膨胀卷积处理，得到所述目标舌象图片的各卷积特征图；

所述池化层用于对所述浅层特征图进行平均池化处理，得到所述目标舌象图片的池化特征图；

对所述各卷积特征图和所述池化特征图进行特征融合，得到所述多尺度特征图。

3.根据权利要求2所述的舌象语义分割方法，其特征在于，所述对所述浅层特征图进行不同膨胀率的膨胀卷积处理，得到所述目标舌象图片的各卷积特征图之后，还包括：

针对每一所述卷积层，根据预设的通道注意力模块，计算所述卷积特征图的通道维度注意力权重，根据预设的空间注意力模块，计算所述卷积特征图的空间维度注意力权重；

利用所述通道维度注意力权重和空间维度注意力权重，对所述卷积特征图进行处理，得到所述卷积特征图的加权特征图。

4.根据权利要求3所述的舌象语义分割方法，其特征在于，利用所述通道维度注意力权重对所述卷积特征图进行处理，包括：

对所述卷积特征图进行平均池化操作，得到第一池化结果；

对所述卷积特征图进行最大池化操作，得到第二池化结果；

将所述第一池化结果和所述第二池化结果输入第一多层感知器，分别得到第一输出特征图和第二输出特征图；

将所述第一输出特征图和所述第二输出特征图进行加和操作，得到所述通道维度注意力权重；

将所述通道维度注意力权重与所述卷积特征图相乘，得到通道注意力机制融合特征图。

5.根据权利要求4所述的舌象语义分割方法，其特征在于，在所述得到通道注意力机制融合特征图之后，还包括：

对所述通道注意力机制融合特征图进行基于通道的最大池化和平均池化操作，分别得到最大池化结果和平均池化结果；

将所述最大池化结果和所述平均池化结果进行合并，得到空间注意力合并特征图；

对所述空间注意力合并特征图进行卷积激活，得到所述空间维度注意力权重；

将所述空间维度注意力权重与所述通道注意力机制融合特征图相乘，得到所述加权特征图。

6.根据权利要求1所述的舌象语义分割方法，其特征在于，所述将所述浅层特征图与所述深层特征图输入至预设的用于语义分割任务的图像分割模型，得到所述目标舌象图片的分割预测结果，包括：

对所述深层特征图进行卷积特征提取，得到所述深层特征图的特征表示结果；

对所述特征表示结果的像素点周围进行点采样，获得若干个预设采样点；

根据所述特征表示结果，获取每个所述预设采样点的特征向量；

通过第二多层感知器对所述特征向量进行计算，得到所述分割预测结果。

7.根据权利要求6所述的舌象语义分割方法，其特征在于，所述获取每个所述预设采样点的特征向量，包括：

根据所述特征表示结果，获取每个所述预设采样点的点坐标；

根据所述点坐标，对所述浅层特征图进行采样，得到所述预设采样点的低层特征向量；

根据所述点坐标，对所述特征表示结果进行采样，得到所述预设采样点的高层特征向量；

对所述低层特征向量和所述高层特征向量进行合并，得到所述预设采样点的特征向量。

8.一种舌象语义分割装置，其特征在于，所述舌象语义分割装置包括：

浅层特征图获取模块，用于获取目标舌象图片，对所述目标舌象图片进行特征提取预处理，得到所述目标舌象图片的浅层特征图；

整合特征图获取模块，用于将所述浅层特征图进行多尺度特征提取处理，得到所述目标舌象图片的多尺度特征图，对所述多尺度特征图进行通道降维处理，得到所述目标舌象图片的整合特征图；

深层特征图获取模块，用于对所述浅层特征图进行通道降维处理，得到所述目标舌象图片的第一特征图，对所述整合特征图进行上采样，得到所述目标舌象图片的第二特征图，将所述第一特征图与所述第二特征图进行特征融合，得到所述目标舌象图片的深层特征图；

预测结果生成模块，用于将所述浅层特征图与所述深层特征图输入至预设的用于语义分割任务的图像分割模型，得到所述目标舌象图片的分割预测结果。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的舌象语义分割方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的舌象语义分割方法。