CN114529760A - 一种针对甲状腺结节的自适应分类方法及装置 - Google Patents
一种针对甲状腺结节的自适应分类方法及装置 Download PDFInfo
- Publication number
- CN114529760A CN114529760A CN202210088319.9A CN202210088319A CN114529760A CN 114529760 A CN114529760 A CN 114529760A CN 202210088319 A CN202210088319 A CN 202210088319A CN 114529760 A CN114529760 A CN 114529760A
- Authority
- CN
- China
- Prior art keywords
- classification
- training
- nodule
- loss function
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 123
- 208000024891 symptom Diseases 0.000 claims abstract description 43
- 238000013145 classification model Methods 0.000 claims abstract description 26
- 208000024770 Thyroid neoplasm Diseases 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 66
- 238000002604 ultrasonography Methods 0.000 description 21
- 239000000523 sample Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 210000001685 thyroid gland Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 201000002510 thyroid cancer Diseases 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种针对甲状腺结节的自适应分类方法及装置。本发明一实施方式包括：将甲状腺结节对应的目标视频数据作为训练样本；目标视频数据均标注有征象特征标签；目标视频数据包括不同分类标准给出的TIRADS等级的数据组；并对训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数；之后，基于训练样本和征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数；最后，基于第一损失函数和第二损失函数，对模型进行优化，生成结节分类模型。由此，对训练样本中征象特征分类，以及不同数据对应的TIRADS等级进行有监督的分类训练，提升了模型预测结果的准确率以及模型的泛化能力。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种针对甲状腺结节的自适应分类方法及装置。
背景技术
甲状腺癌的发病率在美国以惊人的速度增加，2019年诊断出52070例，其中2170例死亡。2019年加拿大癌症统计局统计有8200名加拿大人被诊断出患有甲状腺癌，其中230人死亡。甲状腺癌的发病率从1970年开始稳步上升，其中以中年女性的增幅最为显着。
超声是一种快速、安全且廉价的成像技术，可以实现甲状腺结节的可视化观测。超声通常是使用7-15MHz范围内的超声探头在横向和矢状方向进行成像。甲状腺结节在超声图像上有几个可区分的特征，例如形状、大小、回声性(亮度)和回声纹理等。当甲状腺结节出现微钙化或纵横比大于1等特征时，可以预测甲状腺结节为恶性肿瘤；而甲状腺结节为海绵状外观时，可以预测甲状腺结节为良性病例。对于图像辅助甲状腺结节诊断以及甲状腺结节报告，最关键的挑战是从超声图像中提取最佳特征集，以区分甲状腺结节是恶性或者良性。
为了规范甲状腺结节报告，美国放射学会推出了甲状腺影像报告和数据系统(Thyroid Imaging Reporting And Data System，缩写TIRADS)。随后韩国学者、法国学者等多国学者也相继建立了各自的TIRADS；目前使用较为广泛的是美国的ACR-TIRADS和韩国的KWAK-TIRADS。然而，由于目前TIRADS版本不统一，而且其中的分类系统与中国医疗现状存在不匹配的情况，因此导致国内超声界对于TIRADS的应用极其混乱；从而给相关学科医生解读甲状腺超声报告带来极大困扰。针对这一情况，2017年中华医学会的超声医学分会浅表器官和血管学组提出了建立适用于中国国情和医疗现状的C-TIRADS指南。C-TIRADS指南给出了甲状腺结节的9个征象特征，并结合征象的得分，给出了最终的等级。
传统的机器学习方法对于甲状腺结节的自动分类通常分为两步。首先对甲状腺超声图像进行手动特征提取，然后使用分类器模型进行分类。随着深度学习的发展，卷积神经网络在图像识别领域展现出优异的效果，但是深度学习模型往往是黑盒子模型，对于特征的提取无法给出可解释性。目前结合AI技术辅助诊断甲状腺结节的算法，大多是依赖图像的二维数据，数据比较单一，且没有具体的对于超声征象的分析，因此模型的准确率有待进一步提升。
发明内容
为了解决上述现有技术存在的问题，本发明实施例提供一种针对甲状腺结节的自适应分类方法及装置，能够适用于不同标准TIRADS等级的分类，提高了分类方法的普适性。
为实现上述目的，根据本发明实施例第一方面，提供一种针对甲状腺结节的自适应分类方法，所述方法包括：将甲状腺结节对应的目标视频数据作为训练样本；其中，所述目标视频数据均标注有征象特征标签；所述目标视频数据包括不同分类标准给出的TIRADS等级的数据组；对所述训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数；基于所述训练样本和所述征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数；基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节分类模型。
可选的，所述对所述训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数，包括：对所述训练样本进行图像特征提取，得到结节图像特征；对所述结节图像特征中征象特征分类进行监督训练，生成征象分类模块，从而得到第一损失函数；利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
可选的，所述基于所述训练样本和所述征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数，包括：对所述训练样本进行图像特征提取，得到结节图像特征；将所述结节图像特征和所述征象分类结果进行融合处理，得到结节融合特征；基于结节融合特征，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数。
可选的，所述将所述结节图像特征和所述征象分类结果进行融合处理，得到结节融合特征，包括：将所述结节图像特征拉伸后降维处理，得到降维后的结节图像特征；将降维处理后的结节图像特征与所述征象分类结果进行拼接处理，得到结节融合特征。
可选的，所述基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节分类模型，包括：对所述第一损失函数和所述第二损失函数进行加权处理，得到总损失函数；经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节分类模型。
可选的，所述的方法还包括：获取甲状腺结节的待测视频数据；利用所述结节分类模型对所述待测视频数据进行预测，生成结节分类结果。
可选的，所述方法还包括：获取甲状腺结节的原始超声视频数据；基于征象分类表，对所述原始超声视频数据中每个原始超声视频标记征象特征标签；对具有标签的原始超声视频数据进行预处理，得到目标视频数据。
为实现上述目的，根据本发明实施例第二方面提供一种针对甲状腺结节的自适应分类装置，所述装置包括：样本模块，用于将甲状腺结节对应的目标视频数据作为训练样本；其中，所述目标视频数据均标注有征象特征标签；所述目标视频数据包括不同分类标准给出的TIRADS等级的数据组；征象分类训练模块，用于对所述训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数；TIRADS等级训练模块，用于基于所述训练样本和所述征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数；模型优化模块，用于基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节分类模型。
可选的，所述征象分类训练模块包括：图像特征提取单元，用于对所述训练样本进行图像特征提取，得到结节图像特征；分类训练单元，用于对所述结节图像特征中征象特征分类进行监督训练，生成征象分类模块，从而得到第一损失函数；分类处理单元，用于利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
为实现上述目的，根据本发明实施例第三方面，还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的方法。
与现有技术相比，本发明实施例提供一种针对甲状腺结节的自适应分类方法，该方法包括：首先将甲状腺结节对应的目标视频数据作为训练样本；其中，所述目标视频数据均标注有征象特征标签；所述目标视频数据包括不同分类标准给出的TIRADS等级的数据组；其次，对所述训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数；之后，基于所述训练样本和所述征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数；最后，基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节分类模型。由此，结节分类模型既有对征象特征分类的训练，又有对不同数据对应TIRADS等级的分类的训练。使用征象特征分类的训练不仅能提升模型预测TIRADS的准确率，而且使得模型预测结果更加符合临床诊断步骤，具有一定的可解释性。使用不同TIRADS标准的数据训练同一个模型，能够使得模型具有同时预测多种TIRADS标准分类的能力，提升了模型的泛化能力。
理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到的有益效果。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中在附图中，相同或对应的标号表示相同或对应的部分。
图1为本发明一实施例针对甲状腺结节的自适应分类方法的示意性流程图；
图2为本发明另一实施例针对甲状腺结节的自适应分类方法的示意性流程图；
图3为本发明又一实施例针对甲状腺结节的自适应分类方法的示意性流程图；
图4为本发明一实施例中征象分类表的示意图；
图5为本发明另一实施例中结节分类模型的结构示意图；
图6本发明一实施例针对甲状腺结节的自适应分类装置的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，本发明一实施例针对甲状腺结节的自适应分类方法的示意性流程图。如图4所示，本发明一实施例中征象分类表的示意图。一种针对甲状腺结节的自适应分类方法，至少包括如下操作流程：
S101，将甲状腺结节对应的目标视频数据作为训练样本；其中，目标视频数据均标注有征象特征标签；目标视频数据包括不同分类标准给出的TIRADS等级的数据组；
S102，对训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数；
S103，基于训练样本和征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数；
S104，基于第一损失函数和第二损失函数，对模型进行优化，生成结节分类模型。
在S101中，目标视频数据除了具有征象特征标签，还具有TIRADS等级标签；也正是因为给出TIRADS等级的分类标准不同，因此将目标视频数据分成不同的数据组，从而使目标视频数据具有了视频类型标签。也就是说，目标视频数据实际上有3种标签，分别是征象特征标签、数据类型标签、以及数据对应的TIRADS等级标签；其中，数据类型标签和数据对应的TIRADS等级标签均是依据不同分类标准而确定的。例如：甲状腺结节对应的目标视频数据按照不同分类标准分为3组，即分别依据ACR-TIRADS等级标准、KWAK-TIRADS等级标准以及C-TIRADS等级标准给出TIRADS等级的数据组。
在这里，ACR-TIRADS等级标准、KWAK-TIRADS等级标准以及C-TIRADS等级标准，是临床上针对甲状腺结节TIRADS分级给出的3种标准，这三种标准均合理且临床上都有在用。
甲状腺结节的征象特征有9个，征象特征例如：位置、形态、边缘、声晕、结构、回声、回声质地、局灶性强回声或者后方回声的特征。
甲状腺结节对应的目标视频数据可以是甲状腺结节的原始超声视频数据，也可以是对甲状腺结节的原始超声视频数据进行预处理后得的目标视频数据。其中，原始超声视频数据包括不同分类标准给出的TIRADS等级的数据组。
具体地，获取甲状腺结节的原始超声视频数据；基于征象分类表，对原始超声视频数据中每个原始超声视频标记征象特征标签；对具有标签的原始超声视频数据进行预处理，得到目标视频数据。更具体地，预处理过程如下：按照预设步长帧从具有标签的原始超声视频数据中随机抽取特定数量帧图像，得到子超声视频数据；多次重复上述随机抽取操作，得到多个子超声视频数据。在这里，随机抽取是指可以将具有标签的原始超声视频中任一位置作为随机抽取的起始点。多次重复的随机抽取，每次随机抽取的起始点均不同。由此，采用随机抽取的方式从具有标签的原始超声视频数据中选取子超声视频数据，使得子超声视频数据不至于太长增加模型计算量，也不至于太短丢失信息。另外，需要根据合适的预设步长帧进行选取，一方面可以避免原始超声视频数据时间维信息的冗余，另一方面还能保证时间维信息的完整性和连续性。
一个具有标签的原始超声视频数据对应多个子超声视频数据。若干具有标签的原始超声视频数据对应若干子超声视频数据。从若干子超声视频数据中选取特定数量的子超声视频数据作为每次模块输入的目标视频数据；在这里，目标视频数据中特定数量的子超声视频数据可以是来自同一原始超声视频数据，也可以是来自不同原始超声视频数据。
例如：按照每2帧间隔选取1帧的方式，从具有标签的原始超声视频数据中随机抽取连续的10帧图像，得到子超声视频数据；重复10次上述的随机抽取操作，得到10个子超声视频数据。10个具有标签的原始超声视频数据对应100个子超声视频数据；从100个子超声视频数据中选取8个子超声视频数据作用目标视频数据。
在S102至S104中，将训练样本作为征象分类模块的输入，一个全连接对训练样本中一个征象特征进行监督训练，利用9个全连接层分别对训练样本中标注的9个征象特征对应地进行有监督的分类训练，最后得到征象分类结果和9个损失函数；将9个损失函数加和得到第一损失函数。
将训练样本和征象分类结果作为TIRADS分类模块的输入，基于一个或者多个神经网络算法对不同来源数据对应的TIRADS等级进行有监督的分类训练，得到第二损失函数。
将第一损失函数和第二损失函数加和得到总损失函数，经过不断迭代训练，对模型参数进行调节，当总损失函数趋于最小时，得到结节分类模型。
本实施例甲状腺结节的超声视频数据按照来源分为3组，即分别依据ACR-TIRADS标准、KWAK-TIRADS标准以及C-TIRADS标准给出TIRADS等级的数据组；并对数据组标注征象特征标签以及不同分类标准给出的TIRADS等级标签，之后对训练样本中征象特征分类，以及不同数据对应的TIRADS等级的分类进行有监督的分类训练；由此，基于征象特征分类的训练不仅能提升模型预测TIRADS的准确率，而且使得模型预测结果更加符合临床诊断步骤，具有一定的可解释性；基于不同数据对应的TIRADS等级的分类训练，能够使得模型具有同时预测多种TIRADS分级方式的能力，提升了模型的泛化能力。
如图2所示，本发明另一实施例针对甲状腺结节的自适应分类方法的示意性流程图。本实施例的方法是在前述实施例的基础上进一步优化得到的。一种针对甲状腺结节的自适应分类方法，至少包括如下操作流程：
S201，将甲状腺结节对应的目标视频数据作为训练样本；其中，目标视频数据均标注有征象特征标签；目标视频数据包括不同分类标准给出的TIRADS等级的数据组；
S202，对训练样本进行图像特征提取，得到结节图像特征；
S203，对结节图像特征中征象特征分类进行监督训练，生成征象分类模块，从而得到第一损失函数；
S204，利用征象分类模块对结节图像特征进行分类处理，得到征象分类结果；
S205，将结节图像特征和征象分类结果进行融合处理，得到结节融合特征；
S206，基于结节融合特征，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数；
S207，基于第一损失函数和第二损失函数，对模型进行优化，生成结节分类模型。
其中，S201与S101的实现过程相似，在这里不做重复赘述。
在S202中，采用神经网络结构对训练样本进行高级图像特征提取，得到结节图像特征。神经网络结构例如：resnet50结构。
采用resent50结构，并将resnet50结构中的所有2D卷积替换成3D卷积用于提取结节时间维度的信息。3D卷积在结构上较2D卷积多了一个维度，2D卷积的尺寸可以表示k×kw，而3D卷积的尺寸可以表示为k×kw×kd，kd是卷积核的时间维。3D卷积的具体的计算方式与2D卷积类似，即每次滑动时与c个通道、尺寸大小为(dept,eig t,widt)的图像做乘加运算，其中dept是视频数据的时间维度，从而得到输出结节图像特征的一个值。
在S203和S204中，resnet50结构最后输出的结节图像特征分别经过9个全连接层对标注的9个征象进行有监督的分类学习，生成征象分类模块，计算分类的交叉熵损失Losscls1；其中，第一损失函数Losscls1用来评估当前训练得到的概率分布与真实分布的差异情况；基于每个全连接层的输出结果与9个征象之一对应的真实标签，计算交叉熵损失，将9个交叉熵损失相加得到第一损失函数Losscls1。
最后，利用征象分类模块对结节图像特征进行分类处理，输出9个征象分类结果。
在S205至S206中，将结节图像特征拉伸后降维处理，得到降维后的结节图像特征；将降维处理后的结节图像特征与征象分类结果进行拼接处理，得到结节融合特征。之后将结节融合特征输入TIRADS分类模块。该分类模块包含3个全连接层，前两层共用，在最后一层根据数据类型分为ACR-TIRADS、KWAK-TIRADS和C-TIRADS三个分支。实际训练中用三个参数αa、αk和αc根据数据类型来控制相应分支的开关，根据输入数据类型激活不同的参数进入不同的分支从而自适应的针对三种TIRADS计算分类损失Losscls2。假设某一个训练样本中包含分别来自ACR-TIRADS、KWAK-TIRADS和C-TIRADS类型的数据为3个(xa1、xa2、xa3)、4个(xk1、xk2、xk3、xk4)和1个(xc1)，且三种数据类型对应的TIRADS分别为(ta1、ta2、ta3、tk1、tk2、tk3、tk4、tc1)。当前向传播到达TIRADS等级训练模块的分支时，计算公式如式(1)所示。
Ya1＝softmax[1*(Wa×Xa1+Ba)+0*(Wk×Xa1+Bk)+0*(Wc×Xa1+Bc)]
Ya2＝softmax[1*(Wa×Xa2+Ba)+0*(Wk×Xa2+Bk)+0*(Wc×Xa2+Bc)]
Ya3＝softmax[1*(Wa×Xa3+Ba)+0*(Wk×Xa3+Bk)+0*(Wc×Xa3+Bc)]
Yk1＝softmax[0*(Wa×Xk1+Ba)+1*(Wk×Xk1+Bk)+0*(Wc×Xk1+Bc)]
Yk2＝softmax[0*(Wa×Xk2+Ba)+1*(Wk×Xk2+Bk)+0*(Wc×Xk2+Bc)]
Yk3＝softmax[0*(Wa×Xk3+Ba)+1*(Wk×Xk3+Bk)+0*(Wc×Xk3+Bc)]
Yk4＝softmax[0*(Wa×Xk4+Ba)+1*(Wk×Xk4+Bk)+0*(Wc×Xk4+Bc)]
Yc1＝softmax[0*(Wa×Xc1+Ba)+0*(Wk×Xc1+Bk)+1*(Wc×Xc1+Bc)]
Losscls2＝L(Ya1,ta1)+L(Ya2,ta2)
+L(Ya3,ta3)+L(Yk1,tk1)+L(Yk2,tk2)+L(Yk3,tk3)+L(Yk4,tk4)
+L(Yc1,tc1)
式(1)；
其中，Y为每个分支的输出，X是上一层的输出(即分支层的输入)，W、B是分支层的参数。计算出的Losscls2反向传播更新参数。
为此，设置3个分类分支的目的是因为目标视频数据来源于三种不同的TIRADS分级标准，每个分支单独处理一种源数据。分类分支前两层共用是前两层还没有涉及到损失的计算，所以本着不增加模型参数量的原则，使3个源数据共用前两层。
在S207中，对第一损失函数和第二损失函数进行加权处理，得到总损失函数；经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节分类模型。例如：将Losscls1和Losscls2对应按照0.7与0.3的比重相加作为最终的损失函数，并利用梯度优化算法训练模型。两种损失函数相加后通过反向传播来同时优化与分类和回归相关的参数。0.7与0.3的权重是根据经验选择的最优参数。
本发明实施例基于甲状腺结节的超声视频数据，并采用resnet50结构提取超声视频数据的图像特征，从而能够更好的提取了时间维度的信息；而且整个模型训练过程中不仅只依赖resnet50结构提取的图像特征，还将征象分类与不同类型TIRADS的分类相融合进行有监督的训练，从而融合了更丰富的信息，提高了模型训练的准确性，使模型可以自适应根据需求对甲状腺结节病灶输出ACR TIRADS、KWAK TIRADS或Chinese TIRADS中的一种分级结果。
本实施例从三甲医院搜集到甲状腺超声数据共3000例，包含3000个超声视频数据及按照各自类型得出的TIRADS。其中依据ACR-TIRADS、KWAK-TIRADS和C-TIRADS三种标准给出的TIRADS视频类型各1000例。之后按照上述要求对9个征象进行标注，将每种类型数据按照8:2的比例把数据集随机划分成了训练集和验证集，对训练数据集里的数据类型随机打乱，组成不同的训练样本进行训练。
如图3所示，本发明又一实施例针对甲状腺结节的自适应分类方法的示意性流程图。本实施例的方法是在前述实施例的基础上进一步优化得到的。一种针对甲状腺结节的自适应分类方法，至少包括如下操作流程：
S301，获取甲状腺结节的待测视频数据；
S302，利用结节分类模型对待测视频数据进行预测，生成结节分类结果。
甲状腺结节的待测视频数据可以是甲状腺结节的原始超声视频数据，还可以是对原始超声视频数据进行预处理后得到的视频数据。在这里，待测视频数据可以包含一种类型视频数据，也可以包含多种类型视频数据。
在预测阶段，结节分类模型会根据要输出TIRADS版本自适应的输出结节分类结果。
如图5所示，本发明另一实施例中结节分类模型的结构示意图。
甲状腺结节的目标视频数据输入3D resent50结构，输出高级的结节图像特征。将结节图像特征经过征象分类模块进行有监督的分类学习，生成第一损失函数和9个征象特征；之后将结节图像特征经过全连接层处理后与9个征象特征经过融合模块进行拼接生成结节融合特征，最后将结节融合特征经过TIRADS分类模块进行有监督的分类学习，得到第二损失函数。基于第一损失函数和第二损失函数，对模型进行优化，生成结节分类模型。
TIRADS分类模块由三个子分支组成，在训练时，网络将根据该例数据TIRADS标注中的类型，自动化地启用对应的分支进行TIRADS分级预测及损失的计算。由此，使用不同TIRADS标准的数据训练同一个模型，使得模型具有同时预测多种TIRADS分级方式的能力；同时，多任务学习能够提升模型的泛化能力。
如图6所示，为本发明一实施例甲状腺结节的分类装置的结构示意图。一种甲状腺结节的分类装置，该装置600包括：样本模块601，用于将甲状腺结节对应的目标视频数据作为训练样本；其中，所述目标视频数据均标注有征象特征标签；所述目标视频数据包括不同分类标准给出的TIRADS等级的数据组；征象分类训练模块602，用于对所述训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数；TIRADS等级训练模块603，用于基于所述训练样本和所述征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数；模型优化模块604，用于基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节分类模型。
在可选的实施例中，所述征象分类训练模块包括：图像特征提取单元，用于对所述训练样本进行图像特征提取，得到结节图像特征；分类训练单元，用于对所述结节图像特征中征象特征分类进行监督训练，生成征象分类训练模块，从而得到第一损失函数；分类处理单元，用于利用所述征象分类训练模块对所述结节图像特征进行分类处理，得到征象分类结果。
在可选的实施例中，TIRADS等级训练模块包括：特征提取单元，用于对所述训练样本进行图像特征提取，得到结节图像特征；融合处理单元，用于将所述结节图像特征和所述征象分类结果进行融合处理，得到结节融合特征；基于结节融合特征，TIRADS等级训练单元，用于对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数。
在可选的实施例中，融合处理单元包括：降维处理子单元，用于将所述结节图像特征拉伸后降维处理，得到降维后的结节图像特征；拼接子单元，用于将降维处理后的结节图像特征与所述征象分类结果进行拼接处理，得到结节融合特征。
在可选的实施例中，模型优化模块包括：加权处理单元，用于对所述第一损失函数和所述第二损失函数进行加权处理，得到总损失函数；优化单元，用于经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节分类模型。
在可选的实施例中，所述装置还包括：获取模块，用于获取甲状腺结节的待测视频数据；预测模块，用于利用所述结节分类模型对所述待测视频数据进行预测，生成结节分类结果。
在可选的实施例中，所述装置还包括：获取模块进一步用于，获取甲状腺结节的原始超声视频数据；标记模块，用于基于征象分类表，对所述原始超声视频数据中每个原始超声视频标记征象特征标签；预处理模块，用于对具有标签的原始超声视频数据进行预处理，得到目标视频数据。
上述装置可执行本发明一实施例所提供的针对甲状腺结节的自适应分类方法，具备执行针对甲状腺结节的自适应分类方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的针对甲状腺结节的自适应分类方法。
根据本发明再一实施例，还提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现本发明上述实施例提供的针对甲状腺结节的自适应分类方法。
本发明实施例另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，使得所述处理器至少执行如下所述的操作步骤：S101，将甲状腺结节对应的目标视频数据作为训练样本；其中，所述目标视频数据均标注有征象特征标签；所述目标视频数据包括不同分类标准给出的TIRADS等级的数据组；S102，对所述训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数；S103，基于所述训练样本和所述征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数；S104，基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节分类模型。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种针对甲状腺结节的自适应分类方法，其特征在于，包括:
将甲状腺结节对应的目标视频数据作为训练样本；其中，所述目标视频数据均标注有征象特征标签；所述目标视频数据包括不同分类标准给出的TIRADS等级的数据组；
对所述训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数；
基于所述训练样本和所述征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数；
基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节分类模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数，包括：
对所述训练样本进行图像特征提取，得到结节图像特征；
对所述结节图像特征中征象特征分类进行监督训练，生成征象分类模块，从而得到第一损失函数；
利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
3.根据权利要求1所述方法，其特征在于，所述基于所述训练样本和所述征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数，包括：
对所述训练样本进行图像特征提取，得到结节图像特征；
将所述结节图像特征和所述征象分类结果进行融合处理，得到结节融合特征；
基于结节融合特征，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数。
4.根据权利要求3所述的方法，其特征在于，所述将所述结节图像特征和所述征象分类结果进行融合处理，得到结节融合特征，包括：
将所述结节图像特征拉伸后降维处理，得到降维后的结节图像特征；
将降维处理后的结节图像特征与所述征象分类结果进行拼接处理，得到结节融合特征。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节分类模型，包括：
对所述第一损失函数和所述第二损失函数进行加权处理，得到总损失函数；
经过不断迭代训练，对模型参数进行调节，当所述总损失函数趋于最小时，得到结节分类模型。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取甲状腺结节的待测视频数据；
利用所述结节分类模型对所述待测视频数据进行预测，生成结节分类结果。
7.根据权利要求1所述的方法，其特征在于，还包括：获取甲状腺结节的原始超声视频数据；基于征象分类表，对所述原始超声视频数据中每个原始超声视频标记征象特征标签；对具有标签的原始超声视频数据进行预处理，得到目标视频数据。
8.一种针对甲状腺结节的自适应分类装置，其特征在于，包括：
样本模块，用于将甲状腺结节对应的目标视频数据作为训练样本；其中，所述目标视频数据均标注有征象特征标签；所述目标视频数据包括不同分类标准给出的TIRADS等级的数据组；
征象分类训练模块，用于对所述训练样本的征象特征分类进行监督训练，得到征象分类结果和第一损失函数；
TIRADS等级训练模块，用于基于所述训练样本和所述征象分类结果，对不同数据对应的TIRADS等级的分类进行监督训练，得到第二损失函数；
模型优化模块，用于基于所述第一损失函数和所述第二损失函数，对模型进行优化，生成结节分类模型。
9.根据权利要求8所述的装置，其特征在于，所述征象分类训练模块包括：
图像特征提取单元，用于对所述训练样本进行图像特征提取，得到结节图像特征；
分类训练单元，用于对所述结节图像特征中征象特征分类进行监督训练，生成征象分类模块，从而得到第一损失函数；
分类处理单元，用于利用所述征象分类模块对所述结节图像特征进行分类处理，得到征象分类结果。
10.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210088319.9A CN114529760B (zh) | 2022-01-25 | 2022-01-25 | 一种针对甲状腺结节的自适应分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210088319.9A CN114529760B (zh) | 2022-01-25 | 2022-01-25 | 一种针对甲状腺结节的自适应分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114529760A true CN114529760A (zh) | 2022-05-24 |
| CN114529760B CN114529760B (zh) | 2022-09-02 |
Family
ID=81622131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210088319.9A Active CN114529760B (zh) | 2022-01-25 | 2022-01-25 | 一种针对甲状腺结节的自适应分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114529760B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247971A (zh) * | 2017-06-28 | 2017-10-13 | 中国人民解放军总医院 | 一种超声甲状腺结节风险指标的智能分析方法及系统 |
| US20180350069A1 (en) * | 2017-06-01 | 2018-12-06 | International Business Machines Corporation | Neural network classification |
| CN111767952A (zh) * | 2020-06-30 | 2020-10-13 | 重庆大学 | 一种可解释的肺结节良恶性分类方法 |
| CN112365436A (zh) * | 2020-01-09 | 2021-02-12 | 西安邮电大学 | 一种针对ct影像的肺结节恶性度分级方法 |
| CN112767355A (zh) * | 2021-01-20 | 2021-05-07 | 北京小白世纪网络科技有限公司 | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 |
| CN113487621A (zh) * | 2021-05-25 | 2021-10-08 | 平安科技（深圳）有限公司 | 医学图像分级方法、装置、电子设备及可读存储介质 |
| CN113762265A (zh) * | 2021-08-27 | 2021-12-07 | 慧影医疗科技（北京）有限公司 | 肺炎的分类分割方法及系统 |
| WO2021259393A2 (zh) * | 2021-01-08 | 2021-12-30 | 北京安德医智科技有限公司 | 图像处理方法及装置、电子设备 |
-
2022
- 2022-01-25 CN CN202210088319.9A patent/CN114529760B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180350069A1 (en) * | 2017-06-01 | 2018-12-06 | International Business Machines Corporation | Neural network classification |
| CN107247971A (zh) * | 2017-06-28 | 2017-10-13 | 中国人民解放军总医院 | 一种超声甲状腺结节风险指标的智能分析方法及系统 |
| CN112365436A (zh) * | 2020-01-09 | 2021-02-12 | 西安邮电大学 | 一种针对ct影像的肺结节恶性度分级方法 |
| CN111767952A (zh) * | 2020-06-30 | 2020-10-13 | 重庆大学 | 一种可解释的肺结节良恶性分类方法 |
| WO2021259393A2 (zh) * | 2021-01-08 | 2021-12-30 | 北京安德医智科技有限公司 | 图像处理方法及装置、电子设备 |
| CN112767355A (zh) * | 2021-01-20 | 2021-05-07 | 北京小白世纪网络科技有限公司 | 一种甲状腺结节Tirads分级自动识别模型构建方法及装置 |
| CN113487621A (zh) * | 2021-05-25 | 2021-10-08 | 平安科技（深圳）有限公司 | 医学图像分级方法、装置、电子设备及可读存储介质 |
| CN113762265A (zh) * | 2021-08-27 | 2021-12-07 | 慧影医疗科技（北京）有限公司 | 肺炎的分类分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114529760B (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599476B (zh) | 基于机器学习的疾病分级方法、装置、设备及介质 | |
| Guo et al. | Msanet: multiscale aggregation network integrating spatial and channel information for lung nodule detection | |
| Li et al. | Semi-supervised auto-encoder graph network for diabetic retinopathy grading | |
| Zhang et al. | Attention-guided feature extraction and multiscale feature fusion 3D ResNet for automated pulmonary nodule detection | |
| Yao et al. | GeminiNet: combine fully convolution network with structure of receptive fields for object detection | |
| Yang et al. | CTG-Net: Cross-task guided network for breast ultrasound diagnosis | |
| CN114529759B (zh) | 一种甲状腺结节的分类方法、装置及计算机可读介质 | |
| Nagarajan et al. | Automatic Classification of Ovarian Cancer Types from CT Images Using Deep Semi-Supervised Generative Learning and Convolutional Neural Network. | |
| CN114529760B (zh) | 一种针对甲状腺结节的自适应分类方法及装置 | |
| CN118675731A (zh) | 一种基于多模态融合的头颈部鳞状细胞癌复发率预测方法、系统、设备及介质 | |
| Chen et al. | ERetinaNet: An efficient neural network based on RetinaNet for mammographic breast mass detection | |
| CN117765338A (zh) | 一种基于粒度感知和结构建模的宫腔病变图像分类方法 | |
| CN113449777B (zh) | 一种甲状腺结节自动分级方法和系统 | |
| Qiu et al. | Prospective assessment of breast lesions AI classification model based on ultrasound dynamic videos and ACR BI-RADS characteristics | |
| CN116416221A (zh) | 一种超声图像分析方法 | |
| Zhang et al. | 3D multi-branch encoder-decoder networks with attentional feature fusion for pulmonary nodule detection in CT scans | |
| Liu et al. | Nuclei detection in breast histopathology images with iterative correction | |
| Shetty et al. | Adaptive data augmentation training based attention regularized densenet for diagnosis of thoracic diseases | |
| Yang et al. | Tumor detection from breast ultrasound images using mammary gland attentive u-net | |
| Blessie et al. | Novel Contiguous Cross Propagation Neural Network Built CAD for Lung Cancer. | |
| CN116912212B (zh) | 基于yolo-csc模型的肺结节ct图像分析方法 | |
| Zhang et al. | Expressive feature representation pyramid network for pulmonary nodule detection | |
| Liu et al. | Fine‐grained classification of intracranial haemorrhage subtypes in head CT scans | |
| Kothala et al. | GEL-TTA Net: a Global ensemble learning network for the localization of small-scale and mixed intracranial hemorrhages through test time augmentations | |
| CN117351003B (zh) | 一种基于视频动作的多模型集成多相位mri肿瘤分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000 Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd. Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083 Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address |