CN115691770A - 基于条件分数的跨模态医学影像补全方法、装置及设备 - Google Patents
基于条件分数的跨模态医学影像补全方法、装置及设备 Download PDFInfo
- Publication number
- CN115691770A CN115691770A CN202211091270.9A CN202211091270A CN115691770A CN 115691770 A CN115691770 A CN 115691770A CN 202211091270 A CN202211091270 A CN 202211091270A CN 115691770 A CN115691770 A CN 115691770A
- Authority
- CN
- China
- Prior art keywords
- image data
- modal
- conditional
- condition
- modality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000009792 diffusion process Methods 0.000 claims abstract description 67
- 238000009826 distribution Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 26
- 230000006378 damage Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000005653 Brownian motion process Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 abstract description 18
- 230000002441 reversible effect Effects 0.000 abstract description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 19
- 206010028980 Neoplasm Diseases 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical group CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 9
- 230000003902 lesion Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000001308 synthesis method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010030113 Oedema Diseases 0.000 description 2
- 201000004810 Vascular dementia Diseases 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000004884 grey matter Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 210000004885 white matter Anatomy 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000007983 brain glioma Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000012885 constant function Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000005017 glioblastoma Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供一种基于条件分数的跨模态医学影像补全方法、装置及设备,包括:获取多模态下的MRI图像数据,任选其中一或多种模态的图像数据作为原始目标模态图像数据,剩余部分作为条件模态图像数据;将原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据;且条件模态图像数据保持不变;利用条件模态图像数据作为跨模态条件分布的条件,将完全扩散图像数据通过多模态条件逆向随机微分方程以得到补全目标模态图像数据。本申请基于跨模态的条件分数生成模型,克服了传统的基于跨模态映射方法于实际多模态数据之间信息的互补性之间的不兼容性;且合成的MRI图像可呈现更多的细节和更清晰的纹理特征。
Description
技术领域
本申请涉及医学图像处理领域,特别是涉及一种基于条件分数的跨模态医学影像补全方法、装置及设备。
背景技术
医学影像在肿瘤诊断中起着重要作用。具体来说,磁共振成像(MRI)广泛用于脑胶质瘤诊断,因其可以在软组织中捕获不同的对比度信息。例如,T1和T2序列在胶质母细胞瘤的情况下提供了肿瘤水肿区域的清晰描绘;T1c提供了增强肿瘤周围区域的清晰分界,用作评估生长/收缩的指标;以及Flair序列检测白质高信号以诊断血管性痴呆(VD)。反过来,从同一受试者获取的多模态数据提供互补信息以增强下游任务(例如,基于多模态MRI的脑肿瘤分割)的有效性。
然而,获取多模态数据会面临数据缺失问题:获取受试者的完整多模态数据是不切实际的,因为收集完整的多模态数据所面临的多种限制,包括较长的采集时间、高昂的检查成本,或者更糟糕的是,如果患者运动产生伪影,图像会损坏。这些因素会导致受试者多模态下游分析中的信息丢失。
对于这个问题,现有的基于自动编码器、U-Net,以及基于GAN的方法通常以确定性的方式(例如双射)合成缺失的模态数据,他们隐式地承认跨模态数据存在映射关系,这陷入了一个悖论:如果存在跨模态确定性映射,则多模态数据之间不会提供相互补充的信息。
一、跨模态图像合成方法
现有的跨模态合成方法通常尝试从现存的模态合成出缺失的模态。传统方法通常依赖于具有明确的人工定义规则的模型,用于将图像从指定的一种模态转换为指定的另一种模态,并且需要逐个调整参数以获得最佳性能。这些模型以所涉及的成像模式的固有特征作为先验知识,所以当考虑的两种成像方式提供的信息具有相对较小的相关性时,这样的映射关系将很难建立。
随着机器学习和计算机视觉领域的快速发展,基于深度学习的图像合成方法占据了主流。深度学习框架利用包含大量神经元的多层神经网络从图像中提取有用的特征,并且使用数据驱动的方法进行跨模态图像强度映射。它的工作流程通常包括一个训练阶段,即训练网络学习源模态与其目标模态之间的映射,以及一个预测阶段,用于从可用的源模态中合成缺失的目标模态。
风格迁移通常用于将数据从一种模态生成到另一种模态,因为它假设不同模态之间的数据共享相同的高级内容信息(或结构信息),而仅在样式(通常是特征图上的均值、方差)是特定于具体的模态。例如:Gatys等人分别指定了卷积神经网络特征图中的样式表示和内容表示,Karras等人提出StyleGAN将潜在代码分解为内容代码和风格代码,固定内容代码的同时操纵不同的风格代码以生成具有相同内容而又风格各异的数据。但对于多模态医学影像而言,跨模态的关系无法仅仅被解构为所谓相同的结构内容和不同纹理风格,比如说,不同模态的影像可能侧重于不同的解剖结构。以多模态MRI为例,T1序列主要显示解剖结构,T2序列侧重病灶信息,Flair序列强调病灶周围情况,T1c序列用于显示肿瘤内部情况和识别肿瘤或非肿瘤。
此外,现有的基于深度学习的主流多模态医学影像合成方法一般可分为两类:跨模态映射法和公共空间方法。跨模态映射方法通常学习从一个或多个模态到相应(一个或多个)缺失模态的跨模态映射关系,例如:CocaGAN、Hi-Net和MM-GAN。公共空间方法,如MM-SYN、UcDGAN,旨在通过强制将同一对象的不同模态数据编码出一个相同的所谓共同特征,分别通过特定模态的编码器,然后获得这个共同特征(模态无关特征)作为跨模态翻译的枢纽。
1、跨模态映射方法
为了合成出缺失的模态,人们试图在跨模态影像之间建立一座桥梁,黄等人提出CocaGAN来合成基于T1模态MRI的其他模态的MRI,因为T1相对更容易获取。为了增强图像内容结构的纹理细节,余等人提出了边缘感知生成对抗网络EaGAN,用于整合边缘信息来加强跨模态MR图像的合成,边缘感知模块反映了图像内容的纹理结构并描绘了图像中不同对象的边界。利用更多的信息理论上可以更有效地合成缺失模态,周等人提出Hi-Net融合来自多个源模态数据的信息来预测目标模态,但这些方法严格固定几种特定的模态作为输入,在一定程度上降低了模型的适用性。为了摆脱作为输入的模态的种类限制,Sharma等人提出了MM-GAN,它结合了所有可用脉冲序列的信息,并在单个前向传递中合成缺失的模态。这些方法都试图将跨模态关系解构成简单的跨模态的映射。
2、公共空间方法
此外,另外一些工作构建了一个公共空间作为多模态影像转换的枢纽。刘等人提出的UNIT和MUNIT,他们强迫受试者的不同模态数据共享相同的高层内容信息(如语义特征等)而具有相互独立的风格特征。刘等人提出的UcDGAN直接强迫同一个对象的不同模态数据编码出相同高级特征以实现跨模态数据的双向转换,Chartsias等人使用多分支编码器和解码器网络MM-SYN进行具有共享潜在空间和融合潜在表示的多模态数据合成。刘等人使用一种新颖的双周期约束双射VAE-GAN方法,使用特定模态的编码器和解码器执行源模态影像到目标模态影像的合成,这些编码器和解码器的纽带仍然是一个所谓多模态共享的公共空间。这些方法将同一受试者的不同模态数据通过不同的编码器映射到公共空间的一个共享的模态无关特征,并由各自的解码器重构每个模态的数据。但总的来说,公共空间方法本质上依然用跨模态映射来建模跨模态关系,尽管相比直接的跨模态映射方法利用了更多先验知识作为约束。其中,先验知识是指不同模态的影像之间的相似性,比如骨架结构等。
二、基于分数的生成建模
基于分数的生成模型学习数据分布P(x)的对数导数(分数),例如然后将其用于生成建模。最近的基于分数的SOTA生成建模涉及一个扩散过程,该过程逐渐将数据分布P(x)扩散为一个简单的预定义分布Pi(x)(P(x)→Pt(x)→Pi(x)),然后学习其时间反转(主要涉及时间相关的分数函数,即)形成生成模型(Pi(x)→P(x))。这个过程通常由一个正向随机微分方程(SDE)表示:
dxt=f(t)xtdt+g(t)dwt,t∈[0,1];
以及其相应的逆时间随机微分方程:
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种基于条件分数的跨模态医学影像补全方法、装置及设备,用于解决现有的多模态影像补全技术所采样的跨模态确定性的映射方法不足的技术问题。
为实现上述目的及其他相关目的,本申请提供一种基于条件分数的跨模态医学影像补全方法,所述方法包括:获取多模态下的MRI图像数据,任选其中一或多种模态的图像数据作为原始目标模态图像数据,剩余部分作为条件模态图像数据;将所述原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据;且所述条件模态图像数据保持不变;利用所述条件模态图像数据作为跨模态条件分布的条件,将所述完全扩散图像数据通过多模态条件逆向随机微分方程以得到补全目标模态图像数据。
于本申请一实施例中,所述将所述原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据,包括:利用基于马尔可夫扩散过程的多模态条件正向随机微分方程对所述原始目标模态图像数据进行加噪破坏处理,以生成一系列不同破坏程度的中间扩散图像数据,并输出得到完全扩散图像数据;其中,所述完全扩散图像数据满足预设的分布。
于本申请一实施例中,所述多模态条件正向随机微分方程的表达式为:d(x{A|B,t})=(dat,0)=(f(t)atdt+g(t)dwt,0),t∈[0,1];其中,A表示目标模态;B表示条件模态;at表示t时刻对应的中间扩散图像数据;t表示时间;f表示线性漂移系数,通常小于1大于0;g表示标量扩散系数;w表示标准的维纳过程。
于本申请一实施例中,所述利用所述条件模态图像数据作为跨模态条件分布的条件,将所述完全扩散图像数据通过多模态条件逆向随机微分方程以得到补全目标模态图像数据,具体步骤包括:利用所述条件模态图像数据作为跨模态条件分布的条件,并结合所述完全扩散图像数据分别输入至多模态条件分数网络,以得到跨模态条件分数;将所述完全扩散图像数据通过基于所述跨模态条件分数的多模态条件逆向随机微分方程进行随机迭代去噪,以合成所述补全目标模态图像数据;其中,所述补全目标模态图像数据和所述条件模态图像数据相匹配。
于本申请一实施例中,所述多模态条件分数网络的结构包括:多分支的编码输入结构,对输入的所述完全扩散图像数据和所述条件模态图像数据通过多层卷积的特征提取运算输出高级特征张量;多模态编码器,对多个模态对应的所述高级特征张量进行特征融合,并编码输出一个多模态高级特征;多模态解码器,对输入的所述多模态高级特征结合对应的时间信息和条件掩码信息进行解码以输出各个模态对应的高级特征张量;多分支的解码输出结构,对各个模态对应的高级特征张量进行解码,以得到各个模态对应的条件分数信息;其中,所述多模态编码器和所述多模态解码器之间采用跳跃连接;多分支的所述编码输入结构和多分支的所述解码输出结构采用对称的网络结构。
于本申请一实施例中,所述多模态条件逆向随机微分方程的表达式为: 其中,b表示所述条件模态图像数据;表示跨模态条件分数,以所述条件模态图像数据作为所述中间扩散图像数据的条件分布的条件并求解对应的对数及梯度。
于本申请一实施例中,所述多模态条件分数网络采用去噪分数匹配方法进行损失约束,具体的函数表达式为:其中,A表示目标模态;B表示条件模态;a表示原始目标模态图像数据;b表示所述条件模态图像数据;t表示时间;at表示t时刻对应的中间扩散图像数据;PB(b)表示b的无条件分布;P0t(at|a)表示at以a为条件的条件分布;PA|B(a|b)表示以模态B作为条件模态,模态A中的数据a在数据b条件下的跨模态条件分布概率;NNθ表示多模态条件分数网络;‖·‖2为二阶范数。
为实现上述目的及其他相关目的,本申请提供一种基于条件分数的跨模态医学影像补全装置,包括:获取模块,用于获取多模态下的MRI图像数据,任选其中一或多种模态的图像数据作为原始目标模态图像数据,剩余部分作为条件模态图像数据;扩散模块,用于将所述原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据;且所述条件模态图像数据保持不变;补全模块,用于利用所述条件模态图像数据作为跨模态条件分布的条件,将所述完全扩散图像数据通过多模态条件逆向随机微分方程以得到补全目标模态图像数据。
为实现上述目的及其他相关目的,本申请提供一种计算机设备,包括:存储器、处理器;所述存储器用于存储计算机程序;所述处理器用于执行所述存储器存储的计算机程序,以使所述设备执行如上所述的方法。
为实现上述目的及其他相关目的,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的基于条件分数的跨模态医学影像补全方法。
综上所述,本申请提供的一种跨模态医学图像补全方法、装置及系统,具有以下有益效果:本申请从根本上克服了传统的基于跨模态映射方法于实际多模态数据之间信息的互补性之间的不兼容性;且合成的MRI图像可以呈现更多的细节和更清晰的纹理特征。
附图说明
图1显示为本申请于一实施例中的一种基于条件分数的跨模态医学影像补全方法的流程示意图。
图2显示为本申请于一实施例中的基于统一多模态条件分数生成模型的实际流程图。
图3显示为本申请于一实施例中的多模态条件分数网络的结构示意图。
图4显示为本申请于一实施例中的通过不同方法合成多模态MRI图像的定性比较的结果示意图。
图5显示为本申请于一实施例中的一种基于条件分数的跨模态医学影像补全装置的模块示意图。
图6显示为本申请于一实施例中的计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在通篇说明书中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
为了使本发明的目的、技术方案及优点更加清楚明白,通过下述实施例并结合附图,对本发明实施例中的技术方案的进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定发明。
如图1所示,展示为本申请于一实施例中的一种基于条件分数的跨模态医学影像补全方法的流程示意图,所述方法包括以下步骤:
步骤S1:获取多模态下的MRI图像数据,任选其中一或多种模态的图像数据作为原始目标模态图像数据,剩余部分作为条件模态图像数据。
于本申请一实施例中,所述MRI图像的多模态包括:Flair模态、T1模态、T1c模态、T2模态中任意一种或多种组合。
需说明的是,T1模态可以观察解剖结构;T2模态可以观察病变,清楚地看到病灶所处位置、大小;Flair模态可以观察肿瘤周遭情况,清晰的表现出浮肿区域;T1c模态可以观察肿瘤内部情况,鉴别肿瘤与非肿瘤性病变。
另外,所述目标模态图像和所述条件模态图像均可以是一种或多种。
例如,可以选择T1模态、T1c模态共同作为目标模态,将Flair模态、T2模态作为条件模态,基于多模态多条件分数进行MRI图像的信息补全。也可以选择T2模态作为目标模态,将T1模态作为条件模态,基于跨模态条件分数进行MRI图像的信息补全。
步骤S2:将所述原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据;且所述条件模态图像数据保持不变。
需说明的是,马尔可夫扩散过程是指在已知它目前的状态(现在)的条件下,它未来的演变(将来)不依赖于它以往的演变(过去)。这种已知“现在”的条件下,“将来”与“过去”独立的特性称为马尔可夫性,具有这种性质的随机过程叫做马尔可夫过程。
于本申请一实施例中,所述将所述原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据,包括:
利用基于马尔可夫扩散过程的多模态条件正向随机微分方程对所述原始目标模态图像数据进行加噪破坏处理,以生成一系列不同破坏程度的中间扩散图像数据,并输出得到完全扩散图像数据;
其中,所述完全扩散图像数据满足预设的分布。
优选的,加噪破坏处理选择添加高斯噪声。为了更好地模拟未知的真实噪声:在真实环境中,噪声往往不是由单一源头造成的,而是很多不同来源的噪音复合体。假设把真实噪音看成非常多不同概率分布的随机变量的加合,并且每一个随机变量都是独立的,那么根据中心极限定理(Central Limit Theorem),它们的归一化和(normalized sum)就随着噪声源数量的上升,趋近于一个高斯分布。基于这种假设来看,采用合成的高斯噪声,是在处理这种复杂,且不知道噪声分布为何的情况下,一个既简单又不差的近似仿真。
需说明的是,通过多模态条件正向随机微分方程对所述原始目标模态图像数据进行加噪破坏处理,使得所述原始目标模态图像数据最终变成纯噪声图像数据;同时,所述纯噪声图像数据满足预设的分布,优选高斯分布,因为高斯分布具有普适性和简单性。
于本申请一实施例中,所述多模态条件正向随机微分方程的表达式为:
d(x{A|B,t})=(dat,0)=(f(t)atdt+g(t)dwt,0),t∈[0,1]; (1)
其中,A表示目标模态;B表示条件模态;at表示t时刻对应的中间扩散图像数据;t表示时间;f表示线性漂移系数,通常小于1大于0;g表示标量扩散系数;w表示标准的维纳过程。
需说明的是,时间t设置为[0,1],其中,“0时刻”表示所述原始目标图像数据未进行加噪破坏处理时,即正向扩散过程开始时刻;“1时刻”表示所述原始目标图像数据进行加噪破坏处理变为纯噪声的最终时刻。系数f可以把图像调暗,一般设置为常数函数;系数g表示添加的噪声的权重;w表示维那过程,是一个独立增量过程,又称布朗运动过程,具有马尔可夫性质,即在任意一点之后的走势仅仅和这一点的取值相关,而与之前的取值无关;dw表示高斯噪声。
结合图2所示,“modal A”表示目标模态;“modal B”表示条件模态;a0表示0时刻(即最开始未进行加噪破坏处理时)下原始目标模态图像数据,此时的数据是干净的,服从目标模态数据自身的分布;a1表示1时刻(即对原始目标模态图像数据进行加噪破坏处理为纯噪声图像数据)所对应的纯噪声数据。所述结合多模态条件正向随机微分方程对所述目标模态图像及其对应的数据信息进行加噪破坏处理以使其生成一系列不同破坏程度的中间扩散图像数据,具体是指:使用多模态条件正向随机微分方程(Multi-modalconditional forward SDE)来逐渐给模态A的原始数据a0添加噪声,使原始目标模态图像数据逐渐被破坏以生成中间扩散图像数据at,扩散过程中的at服从介于干净数据分布和高斯分布之间的含噪的数据分布;最终,将原始目标模态图像数据扩散处理为纯噪声图像数据,数据信息从a0变为a1,且a1满足高斯分布。
步骤S3:利用所述条件模态图像数据作为跨模态条件分布的条件,将所述完全扩散图像数据通过多模态条件逆向随机微分方程以得到补全目标模态图像数据。
于本申请一实施例中,步骤S3具体包括:
1)利用所述条件模态图像数据作为跨模态条件分布的条件,并结合所述完全扩散图像数据分别输入至多模态条件分数网络,以得到跨模态条件分数。
需说明的是,利用所述条件模态图像数据和一系列不同破坏程度的中间扩散图像数据以及完全扩散图像数据共同组成一系列跨模态条件分布,其中,所述条件模态图像数据作为跨模态条件分布的条件;并将所述一系列跨模态条件分布通过所述多模态条件分数网络以得到一系列对应的跨模态条件分数。
具体的,条件模态图像数据和扩散模态图像数据,共同组成跨模态条件分布;其中条件模态数据构成跨模态条件分布的条件;例如,跨模态条件分布P(A|B),A是扩散模态或目标模态,B是条件模态;模态B和模态A共同构成P(A|B),其中B是条件分布P(A|B)的条件。
2)将所述完全扩散图像数据通过基于所述跨模态条件分数的多模态条件逆向随机微分方程进行随机迭代去噪,以合成所述补全目标模态图像数据。
其中,所述补全目标模态图像数据和所述条件模态图像数据相匹配。
于本申请一实施例中,所述多模态条件逆向随机微分方程的表达式为:
结合图2所示,“PA|B(a|b)”表示以模态B作为条件模态,模态A中的数据a在数据b条件下的跨模态条件分布概率;“πA|B(a)”表示以模态B作为条件模态,模态A中的数据a的平稳分布;表示跨模态条件分数,通过多模态条件分数网络(MM-CSN,Multi-modal Conditional Score Network)或多输入多输出条件分数网络(MM-CSN,Multi-in Multi-out Conditional Score Network)得出。
如图3所示,展示为本申请于一实施例中的多模态条件分数网络的结构示意图。其中,“Multi-modal encoder”表示多模态编码器,“Multi-modal decoder”表示多模态解码器,两者之间采用跳跃连接“Skip connection”,通过跳跃连接将多模态编码器和多模态解码器的对应特征图相结合,可以最大限度保留降采样过程中的特征信息,从而提高特征表达的效率。“tensor”表示张量,即多维数组的特征信息。
于本申请一实施例中,所述多模态条件分数网络(MM-CSN)的结构包括:多分支的编码输入结构、多模态编码器、多模态解码器、多分支的解码输出结构;其中,所述多模态编码器和所述多模态解码器之间采用跳跃连接;多分支的所述编码输入结构和多分支的所述解码输出结构采用对称的网络结构。具体包括:
1)多分支的编码输入结构,对输入的所述完全扩散图像数据和所述条件模态图像数据通过多层卷积的特征提取运算输出高级特征张量;
需说明的是,每个分支的编码输入结构均包括两个卷积块,隐藏于数据流“Datastream”中,对“tensor”进行卷积处理。
需说明的是,各个分支的编码输入结构均会对输入的所述扩散图像或所述条件模态图像进行卷积处理,将图像编码成高级特征张量。例如,结合图3可知,多分支的编码输入结构中的第一个卷积块将1*240*240的张量卷积处理成16*120*120的张量;第二个卷积块把16*120*120的张量卷积处理成32*60*60的张量。通过卷积处理将特征张量的空间尺度降低,并提高通道数目,以提取更加全局的、高级的特征信息。
2)多模态编码器,对多个模态对应的所述高级特征张量进行特征融合,并编码输出一个多模态高级特征;
例如,当每个分支的编码输入结构都将对应的模态数据编码成32*60*60的高级特征张量时,通过多模态编码器将所有模态(n个,总模态的数量)的高级特征张量融合,并进一步编码成一个32*60*60的多模态高级特征(CLF,Complete Latent Feature)张量。
3)多模态解码器,对输入的所述多模态高级特征结合对应的时间信息和条件掩码信息进行解码以输出各个模态对应的高级特征张量;
需说明的是,所述时间信息t是一个1*60*60的张量;所述条件掩码A|B是一个n*60*60的张量。
4)多分支的解码输出结构,对各个模态对应的高级特征张量进行解码,以得到各个模态对应的条件分数信息;
需说明的是,多模态条件分数网络(MM-CSN)输出的结果表达式为:
于本申请一实施例中,所述多模态条件分数网络采用去噪分数匹配方法进行损失约束,具体的函数表达式为:
其中,A表示目标模态;B表示条件模态;a表示原始目标模态图像数据;b表示所述条件模态图像数据;t表示时间;at表示t时刻对应的中间扩散图像数据,即b对应的a在破坏过程中t时刻的数据信息;PB(b)表示b的无条件分布;P0t(at|a)表示at以a为条件的条件分布,优选高斯分布;PA|B(a|b)表示以模态B作为条件模态,模态A中的数据a在数据b条件下的跨模态条件分布概率;NNθ表示多模态条件分数网络(MM-CSN);‖·‖2为二阶范数。
具体的,如图2所示,本申请构建的统一的多模态条件分数的生成模型(UMM-CSGM,Unified multi-modal conditional score-based generative model)包括:
A、正向扩散过程,基于马尔可夫扩散过程,结合多模态条件正向随机微分方程(Multi-modal conditional forward SDE)对所述原始目标模态图像数据a0进行加噪破坏处理以使其生成一系列不同破坏程度的中间扩散图像数据at,并最终扩散处理为满足高斯分布的完全扩散图像数据a1;
B、逆向合成过程,利用所述条件模态图像数据b作为跨模态条件分布的条件,结合所述完全扩散图像数据a1分别通过多模态条件分数网络(MM-CSN)进行随机迭代去噪以得到跨模态条件分数,并基于多模态条件逆向随机微分方程(Respective reverse-timeSDE)对所述完全扩散图像数据进行计算以得到补全目标模态图像数据。
值得注意的是,针对现有的基于跨模态映射的合成方法对于多模态医学影像补全的不足,本申请提出了一种统一的多模态条件分数的生成模型(UMM-CSGM),通过在一个单一的生成网络中,以有效地捕捉跨模态条件分布并在任意两部分模态之间进行缺失模态推断。与现有的前向映射方式不同,本申请中的缺失模态生成是一种概率方式,类似于随机迭代细化过程,在条件模态的指导下逐渐将纯噪声细化为缺失模态。大量实验表明,与SOTA方法相比,本申请的UMM-CSGM通过基于学习分布的概率方式推断缺失的模态可以更好地捕捉跨模态关系。
1、定量比较
使用BraTS19数据集进行跨模态大脑MRI图像合成实验,将数据集随机分为训练集、验证集和测试集,比例为20:1:8。使用三个广泛采用的指标来评估完成图像的质量:尖峰信噪比(PSNR[dB]),PSNR测量20log(MAX_I)/sqrt(MSE),其中MAX_I是图像中可能的最高强度值,MSE是两个图像之间的均方误差;结构相似度(SSIM[%]),SSIM计算两幅图像之间的结构相似性;平均绝对误差(MAE),MAE计算两个图像之间的平均绝对误差。较高的PSNR、SSIM和较低的MAE表明生成的图像相对的质量更高,更加接近目标输出图像。
通过定量分析对比不同方法合成Flair/T1/T1c/T2图像的客观指标:峰值信噪比(PSNR)、结构相似性指数(SSIM)、平均绝对误差(MAE),如表1所示,在客观指标上,本申请所提出的方法在四个合成任务(合成Flair,合成T1,合成T2,合成T1c)下的指标优于现有的方法,同时在客观指标上保持较低的方差水平。这表明本申请不仅显示出更好的合成精度,而且也更具有更好的鲁棒性,能够适应非常困难的样例。值得注意的是,所有方法的输入模态都是相同的,即本申请在没有利用更多信息作为输入的情况下优于目前方法,这表明本申请可以更好地表示跨模态数据之间的依赖关系。
表1不同方法生成多模态图像的定量比较结果
需说明的是,表中数值表示平均值±标准差,表中的粗体表示最佳结果。
2、定性比较
如图4所示,展示为本申请于一实施例中的通过不同方法合成多模态MRI图像的定性比较的结果示意图。从左到右的列代表不同的Flair、T1、T1c和T2模态数据。从下到上的行表示不同方法的合成结果,即CocaGAN、MM-SYN、Hi-Net、UcDGAN、MM-GAN、Ours(本申请)和ground truth(采集的真实图像)。
通过与获取的真实不同模态下的MRI图像进行对比,基于视觉效果,首先,本申请可以在合成的缺失图像上呈现更多的细节和更清晰的纹理特征,比如,本申请对灰白质进行了更清晰的描述,即灰质和白质更加鲜明。更重要的是,本申请在病变区域表现更好,尽管本申请没有显示地训练所提供的统一多模态条件分数生成模型,比如,利用病变区域分割标签,去驱使模型更加关注病变区域。具体来说,在Flair模态数据中,肿瘤信息有时呈现更亮的对比度,有时呈现更暗的对比度。现有方法很难克服这种多样性,而本申请可以做得更好。因此,虽然本申请没有明确训练所述模型使用分割标签来更多地关注病变区域,或者复杂的纹理特征,但本申请本身更好的跨模态关系建模能力可以自动地克服这些问题。
如图5所示,展示为本申请于一实施例中的一种基于条件分数的跨模态医学影像补全装置的模块示意图。所述基于条件分数的跨模态医学影像补全装置500包括:
获取模块510,用于获取多模态下的MRI图像数据,任选其中一或多种模态的图像数据作为原始目标模态图像数据,剩余部分作为条件模态图像数据;
扩散模块520,用于将所述原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据;且所述条件模态图像数据保持不变;
补全模块530,用于利用所述条件模态图像数据作为跨模态条件分布的条件,将所述完全扩散图像数据通过多模态条件逆向随机微分方程以得到补全目标模态图像数据。
应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,补全模块530可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上补全模块530的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
如图6所示,展示为本申请于一实施例中的计算机设备600的结构示意图。所述计算机设备600包括:存储器610、处理器620;所述存储器610用于存储计算机指令;所述处理器620运行计算机指令实现如图1所述的方法。
在一些实施例中,所述计算机设备600中的所述存储器610和所述处理器620的数量均可以是一或多个,而图6中均以一个为例。
于本申请一实施例中,所述计算机设备600中的处理器620会按照如图1所述的步骤,将一个或多个以应用程序的进程对应的指令加载到存储器610中,并由处理器620来运行存储在存储器610中的应用程序,从而实现如图1所述的方法。
所述存储器610可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。所述存储器610存储有操作系统和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。操作系统可包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
所述处理器620可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(ApplicationSpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field Programmable GateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中,所述计算机设备600的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见,在图6中将各种总线都成为总线系统。
于本申请一实施例中,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如图1所述的方法。
在任何可能的技术细节结合层面,本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本申请的各个方面。
综上所述,本申请提供了一种基于条件分数的跨模态医学影像补全方法、装置及设备,包括:获取多模态下的MRI图像数据,任选其中一或多种模态的图像数据作为原始目标模态图像数据,剩余部分作为条件模态图像数据;将原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据;且条件模态图像数据保持不变;利用条件模态图像数据作为跨模态条件分布的条件,将完全扩散图像数据通过多模态条件逆向随机微分方程以得到补全目标模态图像数据。
本申请提出一种基于条件分数的跨模态医学影像补全方法、装置及设备,基于跨模态的条件分数生成模型,从根本上克服了传统的基于跨模态映射方法于实际多模态数据之间信息的互补性之间的不兼容性;且合成的MRI图像可以呈现更多的细节和更清晰的纹理特征。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于条件分数的跨模态医学影像补全方法,其特征在于,所述方法包括:
获取多模态下的MRI图像数据,任选其中一或多种模态的图像数据作为原始目标模态图像数据,剩余部分作为条件模态图像数据;
将所述原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据;且所述条件模态图像数据保持不变;
利用所述条件模态图像数据作为跨模态条件分布的条件,将所述完全扩散图像数据通过多模态条件逆向随机微分方程以得到补全目标模态图像数据。
2.根据权利要求1所述的基于条件分数的跨模态医学影像补全方法,其特征在于,所述将所述原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据,包括:
利用基于马尔可夫扩散过程的多模态条件正向随机微分方程对所述原始目标模态图像数据进行加噪破坏处理,以生成一系列不同破坏程度的中间扩散图像数据,并输出得到完全扩散图像数据;
其中,所述完全扩散图像数据满足预设的分布。
3.根据权利要求2所述的基于条件分数的跨模态医学影像补全方法,其特征在于,所述多模态条件正向随机微分方程的表达式为:
d(x{A|B,t})=(dat,0)=(f(t)atdt+g(t)dwt,0),t∈[0,1];
其中,A表示目标模态;B表示条件模态;at表示t时刻对应的中间扩散图像数据;t表示时间;f表示线性漂移系数,通常小于1大于0;g表示标量扩散系数;w表示标准的维纳过程。
4.根据权利要求3所述的基于条件分数的跨模态医学影像补全方法,其特征在于,所述利用所述条件模态图像数据作为跨模态条件分布的条件,将所述完全扩散图像数据通过多模态条件逆向随机微分方程以得到补全目标模态图像数据,具体步骤包括:
利用所述条件模态图像数据作为跨模态条件分布的条件,并结合所述完全扩散图像数据分别输入至多模态条件分数网络,以得到跨模态条件分数;
将所述完全扩散图像数据通过基于所述跨模态条件分数的多模态条件逆向随机微分方程进行随机迭代去噪,以合成所述补全目标模态图像数据;
其中,所述补全目标模态图像数据和所述条件模态图像数据相匹配。
5.根据权利要求4所述的基于条件分数的跨模态医学影像补全方法,其特征在于,所述多模态条件分数网络的结构包括:
多分支的编码输入结构,对输入的所述完全扩散图像数据和所述条件模态图像数据通过多层卷积的特征提取运算输出高级特征张量;
多模态编码器,对多个模态对应的所述高级特征张量进行特征融合,并编码输出一个多模态高级特征;
多模态解码器,对输入的所述多模态高级特征结合对应的时间信息和条件掩码信息进行解码以输出各个模态对应的高级特征张量;
多分支的解码输出结构,对各个模态对应的高级特征张量进行解码,以得到各个模态对应的条件分数信息;
其中,所述多模态编码器和所述多模态解码器之间采用跳跃连接;多分支的所述编码输入结构和多分支的所述解码输出结构采用对称的网络结构。
8.一种基于条件分数的跨模态医学影像补全装置,其特征在于,包括:
获取模块,用于获取多模态下的MRI图像数据,任选其中一或多种模态的图像数据作为原始目标模态图像数据,剩余部分作为条件模态图像数据;
扩散模块,用于将所述原始目标模态图像数据输入至基于马尔可夫扩散过程的多模态条件正向随机微分方程,以得到完全扩散图像数据;且所述条件模态图像数据保持不变;
补全模块,用于利用所述条件模态图像数据作为跨模态条件分布的条件,将所述完全扩散图像数据通过多模态条件逆向随机微分方程以得到补全目标模态图像数据。
9.一种计算机设备,其特征在于,所述设备包括:存储器、处理器;
所述存储器用于存储计算机程序;所述处理器用于执行所述存储器存储的计算机程序,以使所述设备执行如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至7中任一项所述的基于条件分数的跨模态医学影像补全方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211091270.9A CN115691770A (zh) | 2022-09-07 | 2022-09-07 | 基于条件分数的跨模态医学影像补全方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211091270.9A CN115691770A (zh) | 2022-09-07 | 2022-09-07 | 基于条件分数的跨模态医学影像补全方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115691770A true CN115691770A (zh) | 2023-02-03 |
Family
ID=85062545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211091270.9A Pending CN115691770A (zh) | 2022-09-07 | 2022-09-07 | 基于条件分数的跨模态医学影像补全方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115691770A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118352085A (zh) * | 2024-06-14 | 2024-07-16 | 之江实验室 | 基于多时间点多模态脑影像数据的脑疾病病程预测系统 |
-
2022
- 2022-09-07 CN CN202211091270.9A patent/CN115691770A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118352085A (zh) * | 2024-06-14 | 2024-07-16 | 之江实验室 | 基于多时间点多模态脑影像数据的脑疾病病程预测系统 |
CN118352085B (zh) * | 2024-06-14 | 2024-09-17 | 之江实验室 | 基于多时间点多模态脑影像数据的脑疾病病程预测系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gros et al. | SoftSeg: Advantages of soft versus binary training for image segmentation | |
US9922272B2 (en) | Deep similarity learning for multimodal medical images | |
CN112669248B (zh) | 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法 | |
CN110570426A (zh) | 使用深度学习的图像联合配准和分割 | |
Sang et al. | PCANet: Pyramid convolutional attention network for semantic segmentation | |
CN116596846A (zh) | 图像分割方法、图像分割模型构建方法、装置及介质 | |
Zhou et al. | A superior image inpainting scheme using Transformer-based self-supervised attention GAN model | |
Li et al. | MCRformer: Morphological constraint reticular transformer for 3D medical image segmentation | |
Wang et al. | IGNFusion: an unsupervised information gate network for multimodal medical image fusion | |
Hong et al. | Dual encoder network with transformer-CNN for multi-organ segmentation | |
Huang et al. | Underwater image enhancement via LBP‐based attention residual network | |
Li et al. | CorrDiff: Corrective Diffusion Model for Accurate MRI Brain Tumor Segmentation | |
CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
WO2021184195A1 (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
CN115691770A (zh) | 基于条件分数的跨模态医学影像补全方法、装置及设备 | |
Liu et al. | Progressive residual learning with memory upgrade for ultrasound image blind super-resolution | |
Song et al. | NeXtResUNet: A neural network for industrial CT image denoising | |
CN118037615A (zh) | 一种肿瘤分割引导的磁共振图像翻译方法、系统、设备及介质 | |
CN117710754A (zh) | 基于生成对抗网络的多模态磁共振图像生成方法、系统、设备及介质 | |
CN113409324B (zh) | 一种融合微分几何信息的脑分割方法 | |
CN117115180A (zh) | 基于域自适应的半监督医学图像分割方法 | |
Zhang et al. | DU-Net: A new double U-shaped network for single image dehazing | |
KR20220162153A (ko) | 부호부여된 거리 맵의 예측에 의한 형상-인지 기관 세그먼트화 | |
CN112529949A (zh) | 一种基于t2图像生成dwi图像的方法及系统 | |
Ahsan et al. | A comprehensive survey on diffusion models and their applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |