Nothing Special   »   [go: up one dir, main page]

CN113384261A - 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统 - Google Patents

一种基于深度学习的椎体压缩性骨折多模态智能诊断系统 Download PDF

Info

Publication number
CN113384261A
CN113384261A CN202110588575.XA CN202110588575A CN113384261A CN 113384261 A CN113384261 A CN 113384261A CN 202110588575 A CN202110588575 A CN 202110588575A CN 113384261 A CN113384261 A CN 113384261A
Authority
CN
China
Prior art keywords
sequence
module
feature
medical images
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110588575.XA
Other languages
English (en)
Other versions
CN113384261B (zh
Inventor
吴梦林
俞祝良
张广滔
廉宪坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110588575.XA priority Critical patent/CN113384261B/zh
Publication of CN113384261A publication Critical patent/CN113384261A/zh
Application granted granted Critical
Publication of CN113384261B publication Critical patent/CN113384261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4566—Evaluating the spine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)

Abstract

本发明公开了一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，包括：数据导入模块，用于加载多模态图像，并对图像进行预处理；诊断模块，利用特征提取模块提取不同模态的医学图像特征，利用特征融合模块将不同模态的医学图像特征融合，并利用特征解码模块将融合的特征解码出来；预测模块，利用诊断模块依据多模态医学图像进行疾病智能诊断，并提供诊断结果置信度和可视化图。本发明将深度学习技术与多模态医学图像结合，提供医学疾病的诊断结果及其置信度并对结果进行可视化，提升疾病诊断能力，解决压缩骨折主要依靠影像科医生主观判断的缺点，可快速、准确的自动识别椎体压缩性骨折(OVCF)。

Description

一种基于深度学习的椎体压缩性骨折多模态智能诊断系统
技术领域
本发明涉及深度学习和医学影像的技术领域，尤其是指基一种基于深度学习的椎体压缩性骨折多模态智能诊断系统。
背景技术
椎体压缩性骨折(OVCF)作为骨质疏松症最常见的骨质疏松性骨折类型,可导致患者慢性疼痛、身高减退、日常生活活动受限、压疮、肺炎和心理困扰等一系列风险增加。据统计目前我国患有骨质疏松性椎体压缩骨折患者人数已达4449万,每年新增椎体骨折181万人。目前椎体压缩性骨折(OVCF)主要依靠影像科医生人工看片的方式进行诊断，不仅耗时，同时准确率也跟影像科医生的经验有关，因此如何基于脊椎影像图像自动判断椎体压缩性骨折(OVCF)是亟待解决的一个课题。
目前椎体压缩性骨折的诊断主要有两种途径：1)影像科医生手动度量椎体的三条线，并计算任意两条线之前的比值，如果比值大于15％，则为压缩性骨折。2)基于图像处理的方法，主要分为基于区域的方法和边缘分割方法。基于区域的方法依赖于图像的空间局部特征,如灰度、纹理及其它象素统计特性的均匀性等。基于边缘分割方法通常利用梯度信息确定目标的边界。这两种方法都需要实现对椎体进行定位，在定位的基础上才能实现分割。同时由于不同设备和不同的个体，对椎体分割的准确度不高，另外椎体分割完成后还要计算椎体任意两条线之间的比值，通过此比值去判断骨折椎体。这种首先依赖椎体的分割准确性，会存在累计误差。同时，急性骨折由于其形状和正常骨折一致，无法通过此方法进行识别。总体而言，目前对于椎体压缩性骨折的诊断首先是正确率不高，其次对于人的依赖程度很高，另外无法同时识别压缩骨折和急性骨折这两种类型的骨折。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，解决压缩骨折主要依靠影像科医生主观判断的缺点，快速、准确的自动识别椎体压缩性骨折(OVCF)。
为实现上述目的，本发明所提供的技术方案为：一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，包括：
数据导入模块，用于加载多模态图像，并对图像进行预处理；
诊断模块，利用特征提取模块提取不同模态的医学图像特征，利用特征融合模块将不同模态的医学图像特征融合，并利用特征解码模块将融合的特征解码出来；
预测模块，利用诊断模块依据多模态医学图像进行疾病智能诊断，并提供诊断结果置信度和可视化图。
进一步，所述数据导入模块包括数据加载模块和数据预处理模块；
所述数据加载模块从本地读取不同模态的医学图像，包括png、jpeg、npy格式，其中，不同模态的医学图像包括T1序列医学图像和T2序列医学图像；
所述数据预处理模块用于对T1序列医学图像和T2序列医学图像进行裁剪，将其裁剪到统一大小，并对T1序列医学图像和T2序列医学图像进行限制对比度自适应直方图均衡化(CLAHE)处理，最后对T1序列医学图像和T2序列医学图像进行归一化。
进一步，所述诊断模块包括特征提取模块、特征融合模块和特征解码模块；
所述特征提取模块用于对样本进行特征提取，利用空洞卷积神经网络构成的特征提取块(DIB)自动提取不同视野的特征，具体执行以下操作：
对T1、T2序列医学图像均分别使用四个特征提取块(DIB)进行特征提取，及使用三个最大池化层进行下采样；其中，所述特征提取块(DIB)的处理过程为：为输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1、2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；所述最大池化层由步长为2、核尺寸为2×2的卷积核构成；
所述特征融合模块用于将T1序列医学图像特征和T2序列医学图像特征进行融合，将T1序列医学图像特征和T2序列医学图像特征对应维度进行拼接，拼接以后利用空洞卷积神经网络构成的特征提取块(DIB)自动提取不同视野的特征，包括四个特征提取块(DIB)和三个上采样模块；其中，所述特征提取块(DIB)的处理过程为：为输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1、2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；第一个特征提取块(DIB)输出特征图大小与T1序列和T2序列医学图像的大小相同；第二个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的二分之一；第三个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的四分之一；第四个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的八分之一；第二个特征提取块(DIB)的输出接一个上采样模块，采样率为2，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第三个特征提取块(DIB)的输出接一个上采样模块，采样率为4，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第四个特征提取块(DIB)的输出接一个上采样模块，采样率为8，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；
所述特征解码模块用于对不同视野下获取的特征进行拼接并解码操作，得到与T1序列和T2序列医学图像输入图像同样大小的掩码图，作为分割的结果图，其处理过程包括特征拼接、softmax和卷积操作；其中，所述特征拼接是将特征融合模块得到的四个特征图在通道维度上进行拼接操作；所述softmax操作是对拼接后的特征进行softmax；所述卷积操作是对经softmax后的特征进行1×1卷积操作。
进一步，所述预测模块具体执行以下操作：
1)使用数据导入模块中的数据加载模块加载T1序列医学图像和T2序列医学图像，使用数据预处理模块处理分别处理T1序列医学图像和T2序列医学图像；
2)经过步骤1)处理后的T1序列医学图像和T2序列医学图像输入诊断模块中进行疾病诊断；
3)提取上述步骤2)中诊断模块得到的语义分割结果，从而给出诊断结果置信度和可视化图。
本发明与现有技术相比，具有如下优点与有益效果：
1、通过深度学习方法自动分割椎体并识别出椎体压缩性骨折(OVCF)，相比传统影像科医生看片更快速。
2、解决传统影像科医生诊断的主观性。
3、不需要人工定位椎体，模型自动可以识别。
4、骨折椎体的识别不完全依赖于分割。
5、可以适应各种类型的设备和不同的影像图片。
6、可以同时识别出压缩性骨折和急性骨折。
7、通过深度学习方法，可以给出椎体压缩性骨折(OVCF)的置信度，有利于帮助医生更好的给出治疗方案。
8、分割结果的可视化，可以指导医生对患者进行针刺、打水泥等治疗。
附图说明
图1为本发明系统各个模块的关系示意图。
图2为本发明系统训练和预测的流程图。
图3为本发明系统所使用特征提取模块的结构示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
本实施例所提供的基于深度学习的椎体压缩性骨折多模态智能诊断系统，是使用Python语言开发的可在Windows设备上运行的系统。系统各模块间关系如图1所示，系统训练和预测的流程图如图2所示。它包括有：
数据导入模块，用于加载多模态MRI椎体图像，并对图像进行预处理；
诊断模块，利用特征提取模块提取不同模态的MRI图像特征，利用特征融合模块将不同模态的MRI图像特征融合，并利用特征解码模块将融合的特征解码出来，最终得到诊断模型；
预测模块，利用诊断模型块依据多模态MRI椎体图像进行疾病智能诊断，并提供诊断结果的可视化。
所述数据导入模块包括数据加载模块、数据预处理模块，其中：
所述数据加载模块从本地读取不同模态的MRI腰椎椎体图像，包括png、jpeg、npy格式，其中，不同模态的MRI腰椎椎体图像包括T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像；
所述数据预处理模块用于对T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像进行裁剪，将其裁剪到统一大小，并对T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像进行限制对比度自适应直方图均衡化(CLAHE)处理，最后对T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像进行归一化。
所述诊断模块包括特征提取模块、特征融合模块和特征解码模块，其中：
所述特征提取模块，用于对T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像进行特征提取，如图3所示，利用空洞卷积神经网络构成的特征提取块(DIB)自动提取不同视野的特征，具体执行以下操作：
对T1序列MRI腰椎椎体图像使用四个特征提取块(DIB)进行特征提取，三个最大池化层进行下采样：
特征提取块(DIB)的处理过程为：输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1，2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；最大池化层由步长为2，核尺寸为2×2的卷积核构成。
对T2序列MRI腰椎椎体图像使用四个特征提取块(DIB)进行特征提取，三个最大池化层进行下采样：
特征提取块(DIB)的处理过程为：输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1，2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；最大池化层由步长为2，核尺寸为2×2的卷积核构成。
所述特征融合模块用于将T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像特征进行融合，将T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像特征对应维度进行拼接，拼接以后利用空洞卷积神经网络构成的特征提取块(DIB)自动提取不同视野的特征，包括四个特征提取块(DIB)和三个上采样模块：
特征提取块(DIB)的处理过程为：输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1，2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；第一个特征提取块(DIB)输出特征图大小与T1序列和T2序列医学图像的大小相同；第二个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的二分之一；第三个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的四分之一；第四个特征提取块(DIB)输出特征图大小是T1序列和T2序列医学图像的八分之一；第二个特征提取块(DIB)的输出接一个上采样模块，采样率为2，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第三个特征提取块(DIB)的输出接一个上采样模块，采样率为4，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第四个特征提取块(DIB)的输出接一个上采样模块，采样率为8，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同。
所述特征解码模块用于对不同视野下获取的特征进行拼接并解码操作，得到与T1序列和T2序列医学图像输入图像同样大小的掩码图，作为分割的结果图，其处理过程包括特征拼接、softmax和卷积操作；其中，所述特征拼接是将特征融合模块得到的四个特征图在通道维度上进行拼接操作；所述softmax操作是对拼接后的特征进行softmax；所述卷积操作是对经softmax后的特征进行1×1卷积操作。
所述预测模块具体执行以下操作：
1)使用数据导入模块中的数据加载模块加载T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像，使用数据预处理模块处理分别处理T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像；
2)经过步骤1)处理后的T1序列MRI腰椎椎体图像和T2序列MRI腰椎椎体图像输入诊断模块得到的预测模块中进行疾病诊断；
3)提取上述步骤2)中诊断模块得到的语义分割结果，从而对椎体压缩性骨折(OVCF)进行识别，并给出结果的置信度和可视化图。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，其特征在于，包括：
数据导入模块，用于加载多模态图像，并对图像进行预处理；
诊断模块，利用特征提取模块提取不同模态的医学图像特征，利用特征融合模块将不同模态的医学图像特征融合，并利用特征解码模块将融合的特征解码出来；
预测模块，利用诊断模块依据多模态医学图像进行疾病智能诊断，并提供诊断结果置信度和可视化图。
2.根据权利要求1所述的一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，其特征在于：所述数据导入模块包括数据加载模块和数据预处理模块；
所述数据加载模块从本地读取不同模态的医学图像，包括png、jpeg、npy格式，其中，不同模态的医学图像包括T1序列医学图像和T2序列医学图像；
所述数据预处理模块用于对T1序列医学图像和T2序列医学图像进行裁剪，将其裁剪到统一大小，并对T1序列医学图像和T2序列医学图像进行限制对比度自适应直方图均衡化处理，最后对T1序列医学图像和T2序列医学图像进行归一化。
3.根据权利要求1所述的一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，其特征在于：所述诊断模块包括特征提取模块、特征融合模块和特征解码模块；
所述特征提取模块用于对样本进行特征提取，利用空洞卷积神经网络构成的特征提取块自动提取不同视野的特征，具体执行以下操作：
对T1、T2序列医学图像均分别使用四个特征提取块进行特征提取，及使用三个最大池化层进行下采样；其中，所述特征提取块的处理过程为：为输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1、2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；所述最大池化层由步长为2、核尺寸为2×2的卷积核构成；
所述特征融合模块用于将T1序列医学图像特征和T2序列医学图像特征进行融合，将T1序列医学图像特征和T2序列医学图像特征对应维度进行拼接，拼接以后利用空洞卷积神经网络构成的特征提取块自动提取不同视野的特征，包括四个特征提取块和三个上采样模块；其中，所述特征提取块的处理过程为：为输入特征数据经过1个3×3卷积提取特征后，经过3个并行的空洞率分别为1、2和4的3×3卷积提取特征，然后拼接到一起，再经过一个1×1卷积提取特征，激活函数均为ReLU；第一个特征提取块输出特征图大小与T1序列和T2序列医学图像的大小相同；第二个特征提取块输出特征图大小是T1序列和T2序列医学图像的二分之一；第三个特征提取块输出特征图大小是T1序列和T2序列医学图像的四分之一；第四个特征提取块输出特征图大小是T1序列和T2序列医学图像的八分之一；第二个特征提取块的输出接一个上采样模块，采样率为2，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第三个特征提取块的输出接一个上采样模块，采样率为4，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；第四个特征提取块的输出接一个上采样模块，采样率为8，经过上采样后，特征图大小与T1序列和T2序列医学图像的大小相同；
所述特征解码模块用于对不同视野下获取的特征进行拼接并解码操作，得到与T1序列和T2序列医学图像输入图像同样大小的掩码图，作为分割的结果图，其处理过程包括特征拼接、softmax和卷积操作；其中，所述特征拼接是将特征融合模块得到的四个特征图在通道维度上进行拼接操作；所述softmax操作是对拼接后的特征进行softmax；所述卷积操作是对经softmax后的特征进行1×1卷积操作。
4.根据权利要求1所述的一种基于深度学习的椎体压缩性骨折多模态智能诊断系统，其特征在于，所述预测模块具体执行以下操作：
1)使用数据导入模块中的数据加载模块加载T1序列医学图像和T2序列医学图像，使用数据预处理模块处理分别处理T1序列医学图像和T2序列医学图像；
2)经过步骤1)处理后的T1序列医学图像和T2序列医学图像输入诊断模块中进行疾病诊断；
3)提取上述步骤2)中诊断模块得到的语义分割结果，从而给出诊断结果置信度和可视化图。
CN202110588575.XA 2021-05-28 2021-05-28 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统 Active CN113384261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110588575.XA CN113384261B (zh) 2021-05-28 2021-05-28 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110588575.XA CN113384261B (zh) 2021-05-28 2021-05-28 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统

Publications (2)

Publication Number Publication Date
CN113384261A true CN113384261A (zh) 2021-09-14
CN113384261B CN113384261B (zh) 2022-12-16

Family

ID=77619352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110588575.XA Active CN113384261B (zh) 2021-05-28 2021-05-28 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统

Country Status (1)

Country Link
CN (1) CN113384261B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937502A (zh) * 2022-07-07 2022-08-23 西安交通大学 基于深度学习的骨质疏松性椎体压缩性骨折评估方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN108670297A (zh) * 2018-04-19 2018-10-19 上海大学 基于多模态经颅超声的帕金森病辅助诊断系统及方法
CN108806776A (zh) * 2018-06-14 2018-11-13 暨南大学附属第医院（广州华侨医院） 一种基于深度学习的多模态医学影像的方法
CN108961215A (zh) * 2018-06-05 2018-12-07 上海大学 基于多模态医学影像的帕金森病辅助诊断系统和方法
CN109584246A (zh) * 2018-11-16 2019-04-05 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN110580704A (zh) * 2019-07-24 2019-12-17 中国科学院计算技术研究所 基于卷积神经网络的et细胞图像自动分割方法及系统
CN111340814A (zh) * 2020-03-03 2020-06-26 北京工业大学 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN111916207A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种基于多模态融合的疾病识别方法及装置
CN112330761A (zh) * 2020-08-31 2021-02-05 北京航空航天大学 基于混合精度训练的深度ect图像增强方法
CN112446891A (zh) * 2020-10-23 2021-03-05 浙江工业大学 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112733919A (zh) * 2020-12-31 2021-04-30 山东师范大学 基于空洞卷积和多尺度多分支的图像语义分割方法及系统
CN113313718A (zh) * 2021-05-28 2021-08-27 华南理工大学 一种基于深度学习的急性腰椎骨折mri图像分割系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN108670297A (zh) * 2018-04-19 2018-10-19 上海大学 基于多模态经颅超声的帕金森病辅助诊断系统及方法
CN108961215A (zh) * 2018-06-05 2018-12-07 上海大学 基于多模态医学影像的帕金森病辅助诊断系统和方法
CN108806776A (zh) * 2018-06-14 2018-11-13 暨南大学附属第医院（广州华侨医院） 一种基于深度学习的多模态医学影像的方法
CN109584246A (zh) * 2018-11-16 2019-04-05 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN110580704A (zh) * 2019-07-24 2019-12-17 中国科学院计算技术研究所 基于卷积神经网络的et细胞图像自动分割方法及系统
CN111340814A (zh) * 2020-03-03 2020-06-26 北京工业大学 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN111916207A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种基于多模态融合的疾病识别方法及装置
CN112330761A (zh) * 2020-08-31 2021-02-05 北京航空航天大学 基于混合精度训练的深度ect图像增强方法
CN112446891A (zh) * 2020-10-23 2021-03-05 浙江工业大学 基于U-Net网络脑胶质瘤的医学图像分割方法
CN112733919A (zh) * 2020-12-31 2021-04-30 山东师范大学 基于空洞卷积和多尺度多分支的图像语义分割方法及系统
CN113313718A (zh) * 2021-05-28 2021-08-27 华南理工大学 一种基于深度学习的急性腰椎骨折mri图像分割系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937502A (zh) * 2022-07-07 2022-08-23 西安交通大学 基于深度学习的骨质疏松性椎体压缩性骨折评估方法及系统

Also Published As

Publication number Publication date
CN113384261B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN110309849B (zh) 血管图像处理方法、装置、设备及存储介质
CN110298383B (zh) 基于多模态深度学习的病理分类方法及系统
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN110309853B (zh) 基于变分自编码器的医学图像聚类方法
CN111815766B (zh) 基于2d-dsa图像重建血管三维模型处理方法及系统
WO2021042690A1 (zh) 基于深度卷积神经网络的乳腺癌辅助诊断方法及装置
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN113610859B (zh) 一种基于超声图像的甲状腺结节自动分割方法
CN117132774B (zh) 一种基于pvt的多尺度息肉分割方法及系统
CN112950644B (zh) 基于深度学习的新生儿大脑图像分割方法及模型构建方法
CN115471470A (zh) 一种食管癌ct图像分割方法
CN113384261B (zh) 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统
CN114092446A (zh) 基于自监督学习与M-Net的颅内出血参数获取方法及装置
CN112348839A (zh) 一种基于深度学习的图像分割方法及系统
CN116258685A (zh) 全局和局部特征同时提取与融合的多器官分割方法及装置
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
Yueyuan et al. Swin transformer combined with convolutional encoder for cephalometric landmarks detection
CN114565601A (zh) 基于DeepLabV3+改进的肝脏CT图像分割算法
CN117809030A (zh) 一种基于人工神经网络的乳腺癌ct图像识别及分割方法
CN112950612A (zh) 一种基于卷积神经网络的脑肿瘤图像分割方法
CN113077894A (zh) 基于图卷积神经网络的皮肤诊断系统、方法、设备及介质
CN117523350A (zh) 基于多模态特征的口腔影像识别方法、系统及电子设备
CN116205936A (zh) 一种引入空间信息和注意力机制的图像分割方法
CN115239688B (zh) 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant