CN115359045B - 基于多模态磁共振成像的图卷积神经网络疾病预测系统 - Google Patents
基于多模态磁共振成像的图卷积神经网络疾病预测系统 Download PDFInfo
- Publication number
- CN115359045B CN115359045B CN202211276172.2A CN202211276172A CN115359045B CN 115359045 B CN115359045 B CN 115359045B CN 202211276172 A CN202211276172 A CN 202211276172A CN 115359045 B CN115359045 B CN 115359045B
- Authority
- CN
- China
- Prior art keywords
- brain
- magnetic resonance
- diffusion
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 23
- 201000010099 disease Diseases 0.000 title claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 15
- 238000002595 magnetic resonance imaging Methods 0.000 title claims abstract description 13
- 210000004556 brain Anatomy 0.000 claims abstract description 160
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 230000000284 resting effect Effects 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000001054 cortical effect Effects 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000000547 structure data Methods 0.000 claims abstract description 11
- 238000009792 diffusion process Methods 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 28
- 238000003062 neural network model Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 16
- 239000000835 fiber Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000003834 intracellular effect Effects 0.000 claims description 9
- 239000006185 dispersion Substances 0.000 claims description 8
- 230000004886 head movement Effects 0.000 claims description 7
- 230000003925 brain function Effects 0.000 claims description 6
- 210000005013 brain tissue Anatomy 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 210000002241 neurite Anatomy 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000002598 diffusion tensor imaging Methods 0.000 claims description 4
- 238000005316 response function Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 208000014644 Brain disease Diseases 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000000537 electroencephalography Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 3
- 230000010354 integration Effects 0.000 abstract description 2
- 210000004885 white matter Anatomy 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000002610 neuroimaging Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 4
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 210000004884 grey matter Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 208000018737 Parkinson disease Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 208000028173 post-traumatic stress disease Diseases 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 101100514733 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) mri-1 gene Proteins 0.000 description 1
- 230000001093 anti-cancer Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- High Energy & Nuclear Physics (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于多模态磁共振成像的图卷积神经网络疾病预测系统,从多模态的磁共振数据中提取多个脑区跨模态下的影像组学信息作为节点的特征，提取脑区间的连接组学信息构成邻接矩阵。T1加权结构像通过皮层重建来进行皮层信息提取，静息态磁共振数据用于计算低频振幅，局部一致性以及功能连接。通过多模态数据预处理、影像指标提取和结构化数据整合，将多模态的非结构化磁共振影像数据整合成统一的图结构数据，用图卷积神经网络的方法对疾病进行预测。以本发明计算得到的多模态特征进行疾病预测，可以更好地融合多个脑区跨模态的生理学指标以及脑区之间的相关性并提高模型的预测能力和模型在不同疾病下的泛化能力。
Description
技术领域
本发明涉及神经影像数据分析领域，尤其涉及一种基于多模态磁共振成像的图卷积神经网络疾病预测系统。
背景技术
多模态磁共振成像(Magnetic resonance imaging，MRI)具有多个模态的影像学信息，为研究各类疾病提供了多种生理学指标。T1加权结构像能够进行灰质和白质的分割，并可通过皮层重建来进行皮层信息提取(皮层体积、厚度和表面积等)。静息态功能磁共振成像反映了大脑在静息状态下的神经活动情况，是近年来研究脑功能和脑网络连接的一种重要方法。静息态磁共振数据可以用于计算低频振幅(Amplitude of low frequencyfluctuations, ALFF)，局部一致性(Regional homogeneity, ReHo)以及功能连接(Functional connectivity, FC)。其中，ALFF用于衡量不同脑区神经元的活动强弱，ReHo描述的是某个体素与周围相邻体素时间序列的同步性，FC可用于评估脑区之间的功能关联程度。扩散磁共振成像通过测量水分子扩散差异来检测脑白质的微结构特性以及纤维束走向。扩散磁共振数据可用于扩散张量成像(Diffusion tensor imaging, DTI)，计算各向异性分数(Fractional anisotropy, FA)、平均扩散率(Mean diffusivity, MD)等指标，也可用于神经突方向分散度和密度成像(Neurite orientation dispersion and densityimaging, NODDI)，计算神经突内容积比(Intra-neurite volume fraction, ICVF)以及方向分散度(Orientation dispersion index, ODI)等。并且可以通过全脑层面的纤维追踪结果，得到脑区间的纤维连接矩阵，用于评估脑区之间的结构连接。其中，FA反映了扩散的各项异性部分与扩散张量总值的比值，MD反映了水分子单位时间内扩散运动的范围，ICVF可以反映神经密度，ODI可以量化神经突方向的离散度。
图卷积神经网络(Graph convolutional neural network, GCN)是一种可以从图数据中提取特征的方法，从而使用这些特征去对图数据进行节点分类和图分类。通过对多模态磁共振数据的处理，可以得到上述具有生理学意义的指标。
目前基于磁共振数据进行疾病预测的方法，一般只是分别进行单一模态的数据处理，比如基于支持向量机支持向量机（Support vector machines, SVM）的方法用大脑表面积和皮层厚度对精神分裂症患者做自动分类（Yuan X ,Yan Z ,Zhao Y , et al. Supportvector machine-based classification of first episode drug-naïve schizophreniapatients and healthy controls using structural MRI[J]. SchizophreniaResearch, 2017, 214），或是基于稀疏组套索 (Sparse group lasso, SGL)的方法用FA值来进行渐冻症患者的分类（Richie-Halford A, Yeatman J D, Simon N, et al.Multidimensional analysis and detection of informative features in humanbrain white matter[J]. PLoS Computational Biology, 2021, 17(6): e1009136），或是基于SVM用ALFF值对创伤后应激障碍的病人进行分类（Yuan M ,Qiu C ,Meng Y , etal. Pre-treatment Resting-State Functional MR Imaging Predicts the Long-TermClinical Outcome After Short-Term Paroxtine Treatment in Post-traumaticStress Disorder[J]. Frontiers in Psychiatry, 2018, 9），对于多模态数据的融合还比较欠缺。多模态脑影像指标在以往研究中被证实与帕金森病（Andica C ,Kamagata K ,Hatano T , et al. Neurite orientation dispersion and density imaging of thenigrostriatal pathway in Parkinson's disease: Retrograde degenerationobserved by tract-profile analysis[J]. Parkinsonism & Related Disorders,2018:55-60），阿尔兹海默症（Liu X ,Guo Z ,Ding Y , et al. Abnormal baselinebrain activity in Alzheimer's disease patients with depression: a resting-state functional magnetic resonance imaging study[J]. Neuroradiology, 2017,59(7):709-714），抑郁症（Vythilingam M ,Vermetten E ,Anderson G M , et al.Hippocampal volume, memory, and cortisol status in major depressive disorder:effects of treatment.[J]. Biological Psychiatry, 2004, 56(2):101-112）等各类疾病密切相关。并且大规模脑影像数据是一类非结构化数据，难以进行自动化、智能化程度高的数据挖掘和分析。医学图像数据与电子病历中的文本数据都是医疗数据类型中常见的非结构化数据。尽管目前得到长足发展的卷积神经网络在图像处理领域取得广泛的应用，然而面对结构复杂的医学图像，由于其成像模态、分辨率、成像角度的多样性，仍然存在大量的局限性。通过合理的方法将非结构化的图像数据转化为结构化数据有利于后续的数据挖掘和分析。
发明内容
本发明的目的在于针对现有技术的不足，提出一种基于多模态磁共振成像的图卷积神经网络疾病预测系统，该系统可以融合多模态数据的信息并提高模型的预测能力和模型在不同疾病下的泛化能力。
本发明是通过以下技术方案来实现的：一种基于多模态磁共振成像的图卷积神经网络疾病预测系统，该系统包括如下模块：
多模态磁共振数据获取模块，用于根据脑图谱提取多模态磁共振数据中的信息，包括结构像、静息态磁共振数据和扩散磁共振数据；
数据预处理模块，用于对结构像、静息态磁共振数据和扩散磁共振数据进行预处理；
脑影像组学信息提取模块，用于根据数据预处理模块处理后的结构像计算不同脑区的皮层体积、厚度和表面积信息；根据数据预处理模块处理后的静息态磁共振数据计算不同脑区的低频振幅和局部一致性信息；根据数据预处理模块处理后的扩散磁共振数据计算不同脑区的各向异性分数、平均弥散系数、细胞内体积分数和方向扩散分数信息；
脑连接组学信息提取模块，用于根据数据预处理模块处理后的静息态磁共振数据计算得到每个被试的功能连接矩阵；根据数据预处理模块处理后的扩散磁共振数据计算得到每个被试的结构连接矩阵；
脑图结构构建模块，用于将脑连接组学信息提取模块得到的功能连接矩阵和结构连接矩阵相乘得到邻接矩阵，作为脑图结构的边集，将脑图谱的各个脑区作为节点集，其中包含对应脑区的脑影像组学信息，由边集和节点集构建得到脑图结构；
图卷积神经网络模型构建模块，用于构建图卷积神经网络模型，以脑图结构数据作为模型输入，以被试所在的组别为标签作为模型输出，对图卷积神经网络模型进行训练，通过训练后的图卷积神经网络模型预测脑疾病。
进一步地，所述数据预处理模块预处理过程具体为对结构像去脑壳，只保留脑组织结构；对静息态磁共振数据进行头动矫正与时间矫正；对扩散磁共振数据进行去噪、头动矫正和涡流矫正。
进一步地，所述脑影像组学信息提取模块对脑组织结构的结构像进行灰白质分割；对灰白质分割后的结构像进行空间标准化，将其映射到统一的脑表面模板fsaverage上，并根据给定的脑图谱分为不同脑区；最后通过freesurfer软件进行皮层重构得到不同脑区的皮层体积、厚度和表面积信息。
进一步地，所述脑影像组学信息提取模块对矫正后的静息态磁共振数据进行空间标准化，将其线性配准到结构像以及非线性配准到统一的脑体积模板MNI152NLinin2009cAsym上；对配准后的静息态磁共振数据进行去噪、带通滤波、回归协变量和空间平滑操作，并计算得到不同脑区的低频振幅ALFF和局部一致性ReHo值信息；其中，低频振幅ALFF的频率0.01Hz-0.1Hz之间，局部一致性ReHo值要在空间平滑前计算。
进一步地，所述脑影像组学信息提取模块对去噪和校正后的扩散磁共振数据进行反向的空间标准化，将标准脑模板MNI152NLinin2009cAsym非线性配准到每个被试的结构像上，进而线性配准到每个被试的扩散像个体空间，并将脑图谱也根据相同的映射配准到每个被试的扩散像空间；对进行反向的空间标准化后的扩散磁共振数据进行弥散张量成像DTI模型拟合，计算各个脑区的各向异性分数FA和平均弥散系数MD值；最后对扩散磁共振数据进行神经突定向弥散和密度成像模型NODDI拟合，计算各个脑区的细胞内体积分数ICVF和方向扩散分数ODI值。
进一步地，所述脑连接组学信息提取模块用于从预处理后的静息态磁共振数据中提取基于标准脑图谱的每个脑区的平均时间序列；计算脑区间时间序列的皮尔逊相关系数，得到各个脑区之间的皮尔逊相关系数矩阵；对皮尔逊相关系数矩阵进行费希尔Z变换，得到每个被试的功能连接矩阵。
进一步地，所述脑连接组学信息提取模块用于对预处理后的扩散磁共振数据进行响应函数的估计以及通过球面约束反卷积重建纤维方向分布模型，并基于重建的模型进行全脑纤维追踪；基于配准到扩散像空间的脑图谱对纤维追踪的结果做筛选和归一化，得到每个被试的结构连接矩阵。
进一步地，所述脑图结构构建模块用于以脑图谱的各个脑区作为节点，对得到各个脑区的多模态信息构建特征向量，包括结构像上提取的不同脑区的皮层体积、厚度和表面积的大脑结构指标，静息态磁共振数据上计算得到不同脑区的低频振幅ALFF和局部一致性ReHo值的大脑功能指标，扩散磁共振数据计算得到各个脑区的各向异性分数FA、平均弥散系数MD、细胞内体积分数ICVF和方向扩散分数ODI值的大脑扩散指标；将归一化后的功能连接矩阵和结构连接矩阵相乘，作为邻接矩阵；基于邻接矩阵构建脑图结构数据G(V, E)，其中节点集V由脑图谱中提取的脑区构成，边集E由相乘得到的邻接矩阵构成。
进一步地，所述图卷积神经网络模型构建模块用于构建图卷积神经网络模型；图卷积神经网络模型包括两层图卷积神经网络GCN层，其中滤波器使用切比雪夫Chebyshev卷积核，阶数使用3阶，损失函数采用交叉熵函数；以构建的脑图结构数据的多模态磁共振数据作为图卷积神经网络模型的输入，以被试所在的组别为标签，作为图卷积神经网络模型的输出，利用反向传播技术进行图卷积神经网络模型训练。
本发明的有益效果：本发明通过多模态数据预处理、影像指标提取和结构化数据整合，使用深度学习的方法，可以更好的融合多个脑区跨模态的生理学指标以及脑区之间的相关性，实现了多模态信息的融合，以及脑区节点与脑区连接的融合，提高了模型的预测能力和模型在不同疾病下的泛化能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明提出的基于多模态磁共振成像的图卷积神经网络疾病预测系统结构示意图。
图2是本发明提出的脑图结构数据构建示意图。
图3是本发明提出的图卷积神经网络模型结构示意图。
具体实施方式
下面将结合附图对本发明作进一步的说明。为了使本领域的人员更好地理解本申请中的技术方案，下面将结合附图对本发明作进一步的说明。但这仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请所述的具体实施例，本领域的其他人员在没有做出创造性劳动的前提下所获得的其他实施例，都应当落在本发明的构思范围之内。
总体而言，本发明提出一种基于多模态磁共振成像的图卷积神经网络疾病预测系统，将多模态的磁共振影像数据整合成图结构的数据，用图卷积神经网络的方法对疾病进行预测。以该系统计算得到的多模态特征进行疾病预测，可以融合多模态数据的信息并提高模型的预测能力和模型在不同疾病下的泛化能力。整体系统结构如图1所示，包括多模态磁共振数据获取模块、数据预处理模块、脑影像组学信息提取模块、脑连接组学信息提取模块、脑图结构构建模块和图卷积神经网络模型构建模块；所述多模态磁共振数据获取模块用于获取多模态磁共振的脑影像数据，包括结构像、静息态磁共振数据和扩散磁共振数据；所述数据预处理模块用于对多模态的脑影像数据的各个模态进行预处理和配准。结构像数据预处理包括去除颅骨和非脑组织、空间标准化、对图像进行灰质、白质、脑脊液的分割、通过FreeSurfer软件包进行皮层重建，量化人脑的功能、连接以及结构属性，对结构像进行三维重建，生成展平或胀平图像，并得到皮质厚度、面积、灰质容积等解剖参数。静息态功能磁共振数据预处理包括：时间层校正，头动校正，结构像和功能像对齐，空间标准化，ICA-AROMA去噪等步骤。完成上述步骤后，使用ICA-AROMA去噪后的标准空间静息态功能磁共振数据进行进一步的回归去噪，包括：头动参数，全局信号，白质信号，脑脊液信号等。随后对数据进行带通滤波及空间平滑。扩散磁共振影像数据的预处理包括：图像去噪、畸变矫正、提取b0图像做信号归一化、头动和涡流矫正。完成上述步骤后，基于数据b向量分布情况对图像进行弥散模型重建，计算响应函数和纤维方向分布函数，进行全脑的纤维追踪；所述脑影像组学信息提取模块基于标准的脑图谱，将不同模态不同分辨率的数据通过前面的预处理方法与标准脑图谱配准，在各个脑区内计算各模态的脑影像组学信息，包括结构像上提取的不同脑区的皮层体积、厚度和表面积等大脑结构指标，静息态上计算得到不同脑区的ALFF和ReHo值等大脑功能指标，扩散磁共振计算得到各个脑区的各向异性分数FA，平均弥散系数MD，细胞内体积分数ICVF和方向扩散分数ODI值等。所述脑连接组学信息提取模块用于在各个脑区间计算各模态的连接组学信息，包括静息态磁共振数据计算得到的功能连接矩阵，扩散磁共振计算得到的结构连接矩阵，将归一化后的大脑功能连接矩阵和结构连接矩阵相乘，作为图模型的邻接矩阵；所述脑图结构构建模块用于将脑区内的影像组学信息作为节点特征，整合脑连接组学信息作为边的权重构建图结构的数据；所述图卷积神经网络模型构建模块用于构建图卷积神经网络模型，将脑图结构数据输入到图卷积神经网络模型进行疾病预测。
本发明系统的具体实施过程如下：
预处理过程包括：结构像预处理，静息态磁共振数据预处理以及扩散磁共振数据预处理。其中，结构像预处理调用ANTs软件的Skull-stripping方法对结构像去脑壳，只保留脑组织结构；静息态功能磁共振数据预处理首先使用FSL软件的MCFLIRT方法对静息态数据进行头动矫正，用AFNI软件的3dTshift方法进行时间矫正。其次，对静息态数据进行空间标准化，用ANTs软件将其配准到结构像以及标准模板上。然后，对静息态数据用ICA-AROMA的方法进行去噪，并进行0.01Hz-0.1Hz的频域滤波，回归掉白质和脑脊液的信号。最后，用半峰全宽为6mm的高斯核进行空间平滑。扩散磁共振数据预处理首先用MRtrix3软件的DWIdenoise方法对扩散磁共振数据进行去噪。然后，用FSL软件的head motion correction的方法进行头动矫正。最后，用FSL的Eddy方法进行涡流矫正。
脑影像组学信息提取过程包括：结构像影像节点信息提取，静息态磁共振数据节点信息提取，扩散磁共振数据节点信息提取。其中，结构像影像节点信息提取调用FSL软件的FAST方法对结构像进行灰白质分割。其次，使用ANTs软件的非线性配准方法对结构像进行空间标准化，将其映射到统一的脑体积模板MNI152NLin2009cAsym上，并根据给定的脑图谱分为不同脑区。然后，通过FreeSurfer软件的皮层重构方法得到皮层信息，将结构像映射到统一的脑表面模板fsaverage上并将其配准到各个脑区。最后，得到不同脑区的皮层体积、厚度和表面积等信息；静息态磁共振数据节点信息提取调用AFNI的3dRSFC和3dReHo函数计算得到不同脑区的ALFF和ReHo值等信息。特别地，ReHo值要在空间平滑前计算；扩散磁共振数据节点信息提取包括对扩散磁共振数据进行反向的空间标准化，将标准脑模板MNI152NLinin2009cAsym非线性配准到每个被试的结构像上，进而线性配准到每个被试的扩散像个体空间，并将脑图谱也根据相同的映射配准到每个被试的扩散像空间。然后，对扩散磁共振数据进行DTI模型拟合，计算各个脑区的各向异性分数FA和平均弥散系数MD值。最后，用NODDI Matlab toolbox对扩散磁共振数据进行神经突定向弥散和密度成像模型NODDI拟合，计算各个脑区的细胞内体积分数ICVF和方向扩散分数ODI值。
所述脑连接组学信息提取模块用于静息态磁共振数据连接信息提取的过程具体为：从预处理后的静息态磁共振数据中提取基于标准脑图谱的每个脑区的平均时间序列；其次，计算脑区间平均时间序列的皮尔逊相关系数，得到各个脑区之间的皮尔逊相关系数矩阵；最后，对皮尔逊相关系数矩阵进行费希尔Z变换，得到每个被试的功能连接矩阵。其中，费希尔Z变换公式为：
其中，r是时间序列的皮尔逊相关系数，范围为[-1，1]，f是经过Fisher’s Z变换的结果。
所述脑连接组学信息提取模块用于扩散磁共振数据连接信息提取的过程具体为：使用MRtrix3软件对预处理后的扩散磁共振数据进行响应函数的估计以及通过球面约束反卷积重建纤维方向分布模型；其次，基于重建的模型进行全脑纤维追踪，追踪数目为1000万条；最后，基于SIFT方法对纤维追踪的结果做筛选，保留有生理学意义的纤维束，并对纤维束数量做归一化，统计每两个脑区之间的纤维连接数目，得到每个被试的结构连接矩阵。
所述脑图结构构建模块用于对结构化脑影像图模型数据整合，如图2所示，以选定脑图谱的各个脑区作为节点，上述计算得到各个脑区的多模态信息构建特征向量，包括结构像上提取的不同脑区的皮层体积、厚度和表面积等大脑结构指标，静息态上计算得到不同脑区的ALFF和ReHo值等大脑功能指标，扩散磁共振计算得到各个脑区的各向异性分数FA，平均弥散系数MD，细胞内体积分数ICVF和方向扩散分数ODI值等大脑扩散指标；其次，将归一化后的大脑功能连接矩阵和结构连接矩阵相乘，作为图模型的邻接矩阵；再次，构建图结构数据G(V, E)，其中节点集V由脑图谱中提取的脑区构成，边集E由相乘得到的邻接矩阵构成。
所述图卷积神经网络模型构建模块用于构建图卷积神经网络模型，如图3所示，模型包括两层GCN层，读出层以及全连接层。读出层将每个图的节点表示折叠为图表示，全连接层用于对前面设计的特征做加权和。其中滤波器使用Chebyshev卷积核，阶数使用3阶，其中Chebyshev卷积核是：
其中，K表示Chebyshev卷积核阶数，x表示输入特征，
为卷积核，
是滤波器的
参数，
为k阶的Chebyshev多项式，
是正则化后的Laplacian矩阵，由邻接矩阵计算得到。
损失函数采用交叉熵函数：
其中y ik 表示第i个样本所对应的第k个认知功能状态标签，p ik 为图卷积神经网络模型预测的属于第k个认知功能状态的概率。训练过程将数据集以被试为单位按7:1:2的比例随机分成训练集、验证集和测试集，以构建的图结构的多模态磁共振数据作为图卷积神经网络模型的输入，以被试所在的组别为标签，作为图卷积神经网络模型的输出，利用反向传播技术进行图卷积神经网络模型训练。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (8)
1.一种基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，该系统包括如下模块：
多模态磁共振数据获取模块，用于根据脑图谱提取多模态磁共振数据中的信息，包括结构像、静息态磁共振数据和扩散磁共振数据；
数据预处理模块，用于对结构像、静息态磁共振数据和扩散磁共振数据进行预处理；
脑影像组学信息提取模块，用于根据数据预处理模块处理后的结构像计算不同脑区的皮层体积、厚度和表面积信息；根据数据预处理模块处理后的静息态磁共振数据计算不同脑区的低频振幅和局部一致性信息；根据数据预处理模块处理后的扩散磁共振数据计算不同脑区的各向异性分数、平均弥散系数、细胞内体积分数和方向扩散分数信息；
脑连接组学信息提取模块，用于根据数据预处理模块处理后的静息态磁共振数据计算得到每个被试的功能连接矩阵；根据数据预处理模块处理后的扩散磁共振数据计算得到每个被试的结构连接矩阵；
脑图结构构建模块，用于以脑图谱的各个脑区作为节点，对得到各个脑区的多模态信息构建特征向量，包括结构像上提取的不同脑区的皮层体积、厚度和表面积的大脑结构指标，静息态磁共振数据上计算得到不同脑区的低频振幅ALFF和局部一致性ReHo值的大脑功能指标，扩散磁共振数据计算得到各个脑区的各向异性分数FA、平均弥散系数MD、细胞内体积分数ICVF和方向扩散分数ODI值的大脑扩散指标；将归一化后的功能连接矩阵和结构连接矩阵相乘，作为邻接矩阵；基于邻接矩阵构建脑图结构数据G(V, E)，其中节点集V由脑图谱中提取的脑区构成，边集E由相乘得到的邻接矩阵构成；
图卷积神经网络模型构建模块，用于构建图卷积神经网络模型，以脑图结构数据作为模型输入，以被试所在的组别为标签作为模型输出，对图卷积神经网络模型进行训练，通过训练后的图卷积神经网络模型预测脑疾病。
2.根据权利要求1所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，所述数据预处理模块预处理过程具体为对结构像去脑壳，只保留脑组织结构；对静息态磁共振数据进行头动矫正与时间矫正；对扩散磁共振数据进行去噪、头动矫正和涡流矫正。
3.根据权利要求2所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，所述脑影像组学信息提取模块对脑组织结构的结构像进行灰白质分割；对灰白质分割后的结构像进行空间标准化，将其映射到统一的脑表面模板fsaverage上，并根据给定的脑图谱分为不同脑区；最后通过freesurfer软件进行皮层重构得到不同脑区的皮层体积、厚度和表面积信息。
4.根据权利要求2所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，所述脑影像组学信息提取模块对矫正后的静息态磁共振数据进行空间标准化，将其线性配准到结构像以及非线性配准到统一的脑体积模板MNI152NLinin2009cAsym上；对配准后的静息态磁共振数据进行去噪、带通滤波、回归协变量和空间平滑操作，并计算得到不同脑区的低频振幅ALFF和局部一致性ReHo值信息；其中，低频振幅ALFF的频率0.01Hz-0.1Hz之间，局部一致性ReHo值要在空间平滑前计算。
5.根据权利要求2所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，所述脑影像组学信息提取模块对去噪和校正后的扩散磁共振数据进行反向的空间标准化，将标准脑模板MNI152NLinin2009cAsym非线性配准到每个被试的结构像上，进而线性配准到每个被试的扩散像个体空间，并将脑图谱也根据相同的映射配准到每个被试的扩散像空间；对进行反向的空间标准化后的扩散磁共振数据进行弥散张量成像DTI模型拟合，计算各个脑区的各向异性分数FA和平均弥散系数MD值；最后对扩散磁共振数据进行神经突定向弥散和密度成像模型NODDI拟合，计算各个脑区的细胞内体积分数ICVF和方向扩散分数ODI值。
6.根据权利要求1所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，所述脑连接组学信息提取模块用于从预处理后的静息态磁共振数据中提取基于标准脑图谱的每个脑区的平均时间序列；计算脑区间时间序列的皮尔逊相关系数，得到各个脑区之间的皮尔逊相关系数矩阵；对皮尔逊相关系数矩阵进行费希尔Z变换，得到每个被试的功能连接矩阵。
7.根据权利要求5所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，所述脑连接组学信息提取模块用于对预处理后的扩散磁共振数据进行响应函数的估计以及通过球面约束反卷积重建纤维方向分布模型，并基于重建的模型进行全脑纤维追踪；基于配准到扩散像空间的脑图谱对纤维追踪的结果做筛选和归一化，得到每个被试的结构连接矩阵。
8.根据权利要求1所述的基于多模态磁共振成像的图卷积神经网络疾病预测系统，其特征在于，所述图卷积神经网络模型构建模块用于构建图卷积神经网络模型；图卷积神经网络模型包括两层图卷积神经网络GCN层，其中滤波器使用切比雪夫Chebyshev卷积核，阶数使用3阶，损失函数采用交叉熵函数；以构建的脑图结构数据的多模态磁共振数据作为图卷积神经网络模型的输入，以被试所在的组别为标签，作为图卷积神经网络模型的输出，利用反向传播技术进行图卷积神经网络模型训练。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211276172.2A CN115359045B (zh) | 2022-10-19 | 2022-10-19 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
| PCT/CN2023/124639 WO2024083057A1 (zh) | 2022-10-19 | 2023-10-16 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211276172.2A CN115359045B (zh) | 2022-10-19 | 2022-10-19 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115359045A CN115359045A (zh) | 2022-11-18 |
| CN115359045B true CN115359045B (zh) | 2023-03-17 |
Family
ID=84007779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211276172.2A Active CN115359045B (zh) | 2022-10-19 | 2022-10-19 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115359045B (zh) |
| WO (1) | WO2024083057A1 (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359045B (zh) * | 2022-10-19 | 2023-03-17 | 之江实验室 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
| WO2024119338A1 (zh) * | 2022-12-05 | 2024-06-13 | 中国科学院深圳先进技术研究院 | 知识和数据驱动的脑网络计算方法、装置、电子设备及存储介质 |
| CN116309336B (zh) * | 2023-01-20 | 2024-06-11 | 首都医科大学宣武医院 | 一种血管认知障碍的关键影像标记物的提取方法 |
| CN116503680B (zh) * | 2023-06-30 | 2023-08-29 | 之江实验室 | 基于脑图谱的脑影像结构化分析和脑疾病分类系统 |
| CN116664605B (zh) * | 2023-08-01 | 2023-10-10 | 昆明理工大学 | 基于扩散模型和多模态融合的医学图像肿瘤分割方法 |
| CN116740221B (zh) * | 2023-08-16 | 2023-10-20 | 之江实验室 | 实时脑功能激活图生成方法、装置、计算机设备和介质 |
| CN116883396B (zh) * | 2023-09-06 | 2023-11-28 | 天津医科大学 | 一种基于人工智能的静息态磁共振图像分析方法与系统 |
| CN117058514B (zh) * | 2023-10-12 | 2024-04-02 | 之江实验室 | 基于图神经网络的多模态脑影像数据融合解码方法和装置 |
| CN117079093B (zh) * | 2023-10-18 | 2023-12-12 | 澄影科技(北京)有限公司 | 一种基于多模态影像数据的异动症预测方法、装置及设备 |
| CN117095823B (zh) * | 2023-10-19 | 2024-04-16 | 之江实验室 | 基于孪生脑仿真模型的药物成瘾关联脑区确定系统 |
| CN117095824B (zh) * | 2023-10-19 | 2024-04-16 | 之江实验室 | 基于孪生脑仿真模型的多巴胺动态耦合方法、装置和设备 |
| CN117789988B (zh) * | 2024-02-27 | 2024-06-11 | 首都医科大学附属北京友谊医院 | 训练预测帕金森步态障碍的预测模型的方法及相关产品 |
| CN117942080B (zh) * | 2024-03-27 | 2024-07-19 | 北京大学第三医院（北京大学第三临床医学院） | 基于多模态影像组学的肌萎缩侧索硬化抑郁风险评估系统 |
| CN118429454A (zh) * | 2024-04-10 | 2024-08-02 | 广州中医药大学(广州中医药研究院) | 基于深度学习的动态增强图像合成hbp图像的方法及系统 |
| CN118096776B (zh) * | 2024-04-29 | 2024-08-20 | 北京邮电大学 | 一种基于异质图同构网络的孤独症脑影像识别方法和装置 |
| CN118486434A (zh) * | 2024-05-10 | 2024-08-13 | 电子科技大学 | 一种基于白质功能网络的人脑组织分割图谱构建方法 |
| CN118279158B (zh) * | 2024-06-03 | 2024-10-11 | 之江实验室 | 一种磁共振脑影像的质量提升方法、装置及计算机设备 |
| CN118332391B (zh) * | 2024-06-13 | 2024-09-03 | 之江实验室 | 神经电生理数据的处理方法、装置、电子装置和存储介质 |
| CN118376591B (zh) * | 2024-06-25 | 2024-09-20 | 武汉宏韧生物医药股份有限公司 | 基于多维光谱的药物分析方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3965117A1 (en) * | 2020-09-03 | 2022-03-09 | GE Precision Healthcare LLC | Multi-modal computer-aided diagnosis systems and methods for prostate cancer |
| CN114334140A (zh) * | 2022-03-08 | 2022-04-12 | 之江实验室 | 基于多关系功能连接矩阵的疾病预测系统及装置 |
| CN115116607A (zh) * | 2022-08-30 | 2022-09-27 | 之江实验室 | 一种基于静息态磁共振迁移学习的脑疾病预测系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107658018B (zh) * | 2017-10-12 | 2019-07-05 | 太原理工大学 | 一种基于结构连接和功能连接的融合脑网络构建方法 |
| CN112735570B (zh) * | 2021-01-09 | 2022-02-22 | 深圳先进技术研究院 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
| CN113539435B (zh) * | 2021-09-17 | 2021-12-14 | 之江实验室 | 一种基于图模型的脑功能配准方法 |
| CN115359045B (zh) * | 2022-10-19 | 2023-03-17 | 之江实验室 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
-
2022
- 2022-10-19 CN CN202211276172.2A patent/CN115359045B/zh active Active
-
2023
- 2023-10-16 WO PCT/CN2023/124639 patent/WO2024083057A1/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3965117A1 (en) * | 2020-09-03 | 2022-03-09 | GE Precision Healthcare LLC | Multi-modal computer-aided diagnosis systems and methods for prostate cancer |
| CN114334140A (zh) * | 2022-03-08 | 2022-04-12 | 之江实验室 | 基于多关系功能连接矩阵的疾病预测系统及装置 |
| CN115116607A (zh) * | 2022-08-30 | 2022-09-27 | 之江实验室 | 一种基于静息态磁共振迁移学习的脑疾病预测系统 |
Non-Patent Citations (2)
| Title |
|---|
| Analysis of factors influencing the access to concomitant chemo-radiotherapy in elderly patients with high grade gliomas;Andrea Di Cristofori等;《Journal of Neuro-Oncology》;20171213;全文 * |
| 基于磁共振影像的脑部疾病分类方法研究;崔晓萌;《中国优秀硕士学位论文全文数据库》;20210215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115359045A (zh) | 2022-11-18 |
| WO2024083057A1 (zh) | 2024-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115359045B (zh) | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 | |
| CN110522448B (zh) | 一种基于图卷积神经网络的脑网络分类方法 | |
| CN107658018B (zh) | 一种基于结构连接和功能连接的融合脑网络构建方法 | |
| Yeo et al. | The organization of the human cerebral cortex estimated by intrinsic functional connectivity | |
| JP7524279B2 (ja) | 磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステム | |
| Liu et al. | An enhanced multi-modal brain graph network for classifying neuropsychiatric disorders | |
| CN109730678A (zh) | 一种多层大脑功能网络模块划分方法 | |
| CN109920550A (zh) | 一种基于dMRI研究青少年肌阵挛性癫痫的方法 | |
| CN117172294B (zh) | 一种稀疏脑网络的构建方法、系统、设备和存储介质 | |
| Zhu et al. | Discovering dense and consistent landmarks in the brain | |
| CN116051545B (zh) | 一种双模态影像的脑龄预测方法 | |
| CN117612735A (zh) | 一种受结构约束的脑白质功能网络构建方法及系统 | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及系统 | |
| CN115170540A (zh) | 一种基于多模态影像特征融合的轻度创伤性脑损伤分类方法 | |
| CN115457334A (zh) | 静息态功能磁共振影像数据分类方法、系统及相关产品 | |
| CN116823613A (zh) | 基于梯度增强注意力的多模态mr影像超分辨率方法 | |
| Wang et al. | Deep transfer learning-based multi-modal digital twins for enhancement and diagnostic analysis of brain mri image | |
| Xu et al. | Deep learning-based automated detection of arterial vessel wall and plaque on magnetic resonance vessel wall images | |
| Gong et al. | Dual temporal and spatial sparse representation for inferring group-wise brain networks from resting-state fMRI dataset | |
| CN117224083A (zh) | 一种基于高维马氏距离的脑熵评估方法、系统及电子设备 | |
| Zhu et al. | Whole‐brain functional MRI registration based on a semi‐supervised deep learning model | |
| CN105488757A (zh) | 一种脑纤维稀疏重建的方法 | |
| CN111369637B (zh) | 一种融合白质功能信号的dwi纤维优化重建方法及系统 | |
| CN114596306A (zh) | 基于机器学习诊断帕金森疾病的系统 | |
| Mir et al. | Smart Approaches for Diagnosis of Brain Disorders Using Artificial Intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |