CN113012816B - 脑分区风险预测方法及装置、电子设备和存储介质 - Google Patents
脑分区风险预测方法及装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113012816B CN113012816B CN202110389133.2A CN202110389133A CN113012816B CN 113012816 B CN113012816 B CN 113012816B CN 202110389133 A CN202110389133 A CN 202110389133A CN 113012816 B CN113012816 B CN 113012816B
- Authority
- CN
- China
- Prior art keywords
- brain
- partition
- blood vessel
- evaluation result
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 339
- 238000005192 partition Methods 0.000 title claims abstract description 270
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003860 storage Methods 0.000 title claims abstract description 28
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 177
- 238000011156 evaluation Methods 0.000 claims abstract description 137
- 230000004927 fusion Effects 0.000 claims description 70
- 238000012545 processing Methods 0.000 claims description 52
- 238000000605 extraction Methods 0.000 claims description 46
- 230000002792 vascular Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000002441 reversible effect Effects 0.000 claims description 11
- 210000000133 brain stem Anatomy 0.000 claims description 10
- 210000001638 cerebellum Anatomy 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 10
- 210000001367 artery Anatomy 0.000 claims description 7
- 210000003462 vein Anatomy 0.000 claims description 7
- 210000001652 frontal lobe Anatomy 0.000 claims description 4
- 210000000869 occipital lobe Anatomy 0.000 claims description 4
- 210000001152 parietal lobe Anatomy 0.000 claims description 4
- 210000003478 temporal lobe Anatomy 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 abstract description 9
- 230000002490 cerebral effect Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 19
- 238000012549 training Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000012502 risk assessment Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003925 brain function Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开涉及一种脑分区风险预测方法及装置、电子设备和存储介质,所述方法包括:获取脑医学影像;基于所述脑医学影像确定脑分区位置以及血管形态信息;基于所述血管形态信息,确定目标脑分区的评估结果,所述评估结果包括血管对称评估结果、与标准参数的对比评估结果,以及所述目标脑分区和其余脑分区的相对评估结果;基于所述评估结果确定所述目标脑分区的风险等级。本公开实施例可以基于脑血管的形态确定对应脑分区存在异常的风等级。
Description
技术领域
本公开涉及生物医学技术领域,尤其涉及一种脑分区风险预测方法及装置、电子设备和存储介质。
背景技术
脑是目前为止已知的最复杂的生物组织结构,脑部的微小变化可能对人体的行为、功能状态造成极大的影响,因此,对脑状态的监测是当前和未来的研究热点之一。
脑部包括多个分区,每个分区对应不同的功能。而脑功能的正常运行需要脑血管提供养分和氧气,脑血管发生变异直接影响所在脑区的状态,因此,可以将脑血管状态作为评价脑区状态的重要参考,通过分析脑血管可以确定脑区存在风险的程度。
发明内容
本公开提出了一种脑分区风险预测方法及装置、电子设备和存储介质。本公开基于脑血管的形态确定对应脑分区存在异常的风等级。
根据本公开的一方面,提供了一种脑分区风险预测方法,包括:
获取脑医学影像;
基于所述脑医学影像确定脑分区位置以及血管形态信息;
基于所述血管形态信息,确定目标脑分区的评估结果,所述评估结果包括血管对称评估结果、与标准参数的对比评估结果,以及所述目标脑分区和其余脑分区的相对评估结果;
基于所述评估结果确定所述目标脑分区的风险等级。
在一些可能的实施方式中,基于所述血管形态信息,确定目标脑分区的血管对称评估结果,包括:
在所述脑分区中确定所述目标脑分区的对称脑分区;
基于所述血管形态信息,确定所述目标脑分区和对称脑分区之间的差异率;
基于所述差异率确定所述对称评估结果。
在一些可能的实施方式中,基于所述血管形态信息,确定目标脑分区与标准参数的对比评估结果,包括:
获取标准参数;
基于所述血管形态信息和所述目标脑分区的标准参数之间的差异,确定所述对比评估结果。
在一些可能的实施方式中,基于所述血管形态信息,确定目标脑分区与其余脑分区的相对评估结果,包括:
确定目标脑分区与标准参数之间的第一差异;
确定目标脑分区以外的脑分区与标准参数之间的第二差异;
基于所述第一差异和第二差异,确定所述相对评估结果。
在一些可能的实施方式中,所述基于所述评估结果确定所述目标脑分区的风险等级,包括:
基于所述血管对称评估结果、对比评估结果,以及所述相对评估结果中的至少两项评估结果的加权和,得到综合评估结果;
基于所述综合评估结果确定所述目标脑分区的风险等级。
根据本公开的第二方面,提供了一种脑分区风险预测装置,包括:
获取模块,用于获取脑医学影像;
分割模块,用于基于所述脑医学影像确定脑分区位置以及血管形态信息;
确定模块,用于基于所述血管形态信息,确定目标脑分区的评估结果,所述评估结果包括血管对称评估结果、与标准参数的对比评估结果,以及所述目标脑分区和其余脑分区的相对评估结果;
评估模块,用于基于所述评估结果确定所述目标脑分区的风险等级。
在一些可能的实施方式中,所述确定模块还用于在所述脑分区中确定所述目标脑分区的对称脑分区;基于所述血管形态信息,确定所述目标脑分区和对称脑分区之间的对称率;基于所述对称率确定所述对称评估结果。
在一些可能的实施方式中,所述确定模块还用于获取标准参数;基于所述血管形态信息和所述目标脑分区的标准参数之间的差异,确定所述对比评估结果。
根据本公开的第三方面,提供了种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行第一方面中任意一项所述的方法。
根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现第一方面中任意一项所述的方法。
在本公开实施例中,可以利用脑医学影像确定脑分区的位置以及相应的血管形态信息,基于脑分区内的血管形态的对称性、与标准参数的对比,以及与其余脑分区的相对评估,确定脑分区存在异常的风险程度。本公开通过多角度分析脑血管的状态的情况,进而确定对应脑分区可能存在异常的风险程度,评估方式多元化,具有较高的评估准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的脑分区风险预测方法的流程图;
图2示出根据本公开实施例的步骤S20的流程图;
图3示出根据本公开实施例的深度学习网络模型结构示意图;
图4示出根据本公开实施例的步骤S30的流程图;
图5示出根据本公开实施例的脑分区风险预测装置的流程图;
图6示出根据本公开实施例的一种电子设备800的框图;
图7示出根据本公开实施例的另一种电子设备1900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外,为了更好地说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
脑分区风险预测方法的执行主体可以是图像处理装置,例如,图像处理方法可以由终端设备或服务器或其它处理设备执行,其中,终端设备可以为用户设备(UserEquipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图1示出根据本公开实施例的脑分区风险预测方法的流程图,如图1所示,所述脑分区风险预测方法包括:
S10:获取脑医学影像;
在一些可能的实施方式中,可以获取不同的脑影像,如可以为CT(计算机断层成像)、MRI(核磁共振成像)、MRA(核磁共振血管造影)等,本公开对此不作具体限定。在此需要说明的是,本公开实施例中,采用的医学影像可以为非灌注方式获得的影像,通过对组织器官等不造成损伤的影像进行处理,实现血管状态的评估,具有更高的应用价值。
另外,本公开实施例中,可以采用多模态的脑影像执行脑分区的风险评估,通过融合多模态的影像特征,可以提高后续血管提取和脑分区分割的精度。在通过多模态影像进行风险评估时,可以首先对该多模态影像进行配准处理,从而将减少影像间引起的误差。
S20:基于所述脑医学影像确定脑分区位置以及血管形态信息;
在一些可能的实施方式中,可以基于脑影像确定脑分区和血管形态信息,其中脑分区可以包括左脑分区、右脑分区、额叶区、顶叶区、颞叶区、枕叶区、脑灰质区、脑白质区、脑干区、小脑区等,血管形态信息为能够表示血管形态的信息,如可以包括:血管的位置、血管分支点、血管级数以及血管中心线中的至少一种,还可以区分血管的动脉和静脉对应的血管形态信息。上述仅为示例性说明,本作为本公开的具体限定。
另外,本公开实施例中,可以利用传统算法提取脑分区和血管形态信息,也可以利用深度学习网络模型执行。其中,其中提取脑分区的方法可以为通过与脑分区模板配准实现,如可以通过MNI152模板,或者其他atlas模板,本公开对此不做具体限定。血管提取的算法可以包括阈值法,将像素值高于设定阈值的像素点确定为血管,从而得到医学影像中的血管位置,进一步根据血管位置确定中心线位置,血管级数、以及分支点位置。其中,针对不同的医学影像,设定的阈值可以不同,本领域技术人员可以根据需求设定,例如针对MRA影像,该阈值可以被设定为大于270的数值。本公开实施例也可以通过其他算法实现血管提取,例如通过海森矩阵进行血管增强处理,得到血管位置,或者利用隐马尔可夫模型执行血管提取,得到血管位置,进而检测出中心线位置,血管级数、以及分支点位置。其中,血管中心线位置可以通过血管位置的中间位置确定,血管级数可以为血管末端的级数。上述仅为示例性说明,本公开对此不作具体限定。
另外,在通过深度学习网络模型执行确定脑分区和血管提取处理时,深度学习网络模型可以包括特征提取模块、特征融合模块以及分类模块,实现血管形态信息和脑分区的分类识别。
S30:基于所述血管形态信息,确定目标脑分区的评估结果,所述评估结果包括血管对称评估结果、与标准参数的对比评估结果,以及所述目标脑分区和其余脑分区的相对评估结果;
在一些可能的实施例中,可以将脑分区中的至少一个确定为目标脑分区。其中,可以根据接收到的选择信息确定目标脑分区,也可以按照顺序依次将各分区作为目标脑分区,进而得到每个脑分区的状态评估结果。其中,每个脑分区可以预先配置有不同的分区标识,选择信息中可以包括确定为目标脑分区的分区标识,从而可以方便的确定所选择的目标脑分区,选择信息可以通过输入接口组件,输入组件可以包括键盘、触控板、语音接口等,本公开对此不作具体限定。
在确定目标脑分区的情况下,可以基于每个分区的脑血管形态信息,分别从与对称脑分区的对称性、与标准参数的对比,以及与其余脑分区的相对差异的角度评估目标脑分区,得到评估结果。本公开实施例是通过血管形态来确定脑分区的状态,但是其采用了多种评估方式,可以有效的确定血管是否发生改变,并通过脑血管的改变映射脑分区的异常。
S40:基于所述评估结果确定所述目标脑分区的风险等级。
在一些可能的实施方式中,通过步骤S30得到的各评估结果,可以综合评价目标脑分区的是否出现异常,确定风险程度或者风险等级。
基于上述配置,本公开通过多角度分析脑血管的状态的情况,进而确定对应脑分区可能存在异常的风险程度,评估方式多元化,具有较高的评估准确性。
下面结合附图对本公开实施例进行详细说明。
首先,本公开实施例可以获取脑医学影像。其中,医学影像可以为单模态影像,也可以为多模态影像。单模态影像优选CT或者MRA,提高血管提取精度,多模态影像可以是任意类型影像的组合。本公开实施例可以通过与服务器或者采集医学影像的设备通信连接,获得待执行各脑医学影像。
在得到脑医学影像的情况下,可以对各影像执行预处理,该预处理可包括去噪、归一化、标准化处理、去骨处理等,其中去噪可以采用高斯去噪算法,归一化包括将医学影像的像素值归一化为[0,255]之间,标准化可以将医学影像处理为相同尺度的影像,如512*512*600,去骨处理可以通过FSL插件实现,本公开对此次不作具体限定。
另外,如果医脑学影像为单模态影像,可以对预处理后的医学影像执行脑分区和血管提取,如果医学影像为多模态影像,可以对多模态影像进行配准,得到各影像之间的转换关系。其中配准的方法可以包括基于特征点的配准,如Fast、susan、sift、harris算法,本公开对此不作具体限定。
进一步地,可以对脑医学影像执行脑分区分割和血管提取处理,获取脑分区位置和血管形态信息。如上所述,本公开实施例可以采用传统算法对脑影像进行配准分区,得到各脑分区位置。或者利用传统算法对血管进行分割,进而利用得到的血管位置进一步获得血管中心线位置、血管分支点位置、血管级数等信息。另外,本公开实施例还可以通过深度学习网络模型执行血管提取。图2示出根据本公开实施例的步骤S20的流程图,图3示出根据本公开实施例的深度学习网络模型结构示意图。
如图2和图3所示,深度学习网络模型包括特征提取模块、特征融合模块以及分类模块。所述基于所述脑医学影像确定脑分区位置以及血管形态信息,包括:
S21:利用特征提取模块,提取所述脑医学影像的多尺度影像特征;
S22:对所述多尺度影像特征执行特征融合处理,得到融合特征;
S23:基于所述融合特征执行脑分区分割和血管提取,得到所述脑分区位置以及所述血管形态信息。
在一些可能的实施方式中,可以利用特征提取模块提取多尺度特征。具体的,特征提取模块可以包括正向特征提取单元和反向特征提取单元,其中正向特征提取单元通过执行卷积处理减小特征尺度,反向特征提取处理通过卷积处理增加特征尺度,正向特征提取和反向特征提取采用的卷积核可以不同。
在一个示例中,如图3所示,通过正向提取过程提取多尺度特征F1、F2、F3、F4、F5,其中F1为输入到模型的影像的初始特征,对该初始特征执行卷积处理,减小特征尺度,例如可以依次通过1*1的卷积核执行卷积处理,得到特征F2-f 5,其中,F2的尺度为F1的二分之一,F3的尺度是F1的四分之一,F4尺度是F1的八分之一,F5尺度是F1的十六分之一。上述特征仅为示例性说明,在其他实施例中,对得到的特征数量不足限定,可以根据需求设定。
另外,在反向特征提取过程中,可以对正向特征提取处理得到的特征间隔性融合,得到反向过程的多尺度特征。例如,可以从尺度最小的特征F5开始,对F5执行卷积处理,增加尺度,使得处理后的尺度与F3相同。而后将F5卷积后的特征和F3相加,得到特征F6。同理,对特征F4执行卷积处理,得到的特征与F2尺度相同,将F2卷积后的特征与F2相加,得到特征F7。也就是说,在反向特征提取过程中,可以按照尺度从小到大的顺序,对各特征执行卷积处理,如3*3卷积,得到与原尺度相隔一个尺度的特征,进而将相同尺度的两个特征相加,得到反向特征。
本公开实施例将反向特征提取后的多尺度特征与原影像的初始特征作为特征提取后的得到的多尺度影像特征,如F1、F6和F7。
基于上述配置,本公开实施例在执行特征提取处理时,采用正向特征提取和反向特征提取两个过程,充分的提取了医学影像在不同尺度下的特征信息,为后续分类过程提供基础。另外,本公开实施例中,反向处理过程采用间隔的方式进行特征融合,充分保留了不同尺度下的特征的同时,减少了输出的特征的数量,相对于相邻特征提取的方式增加了处理速度以及减少了运算时间,也为后续特征融合减少数据处理量。
在一些可能的实施方式中,得到多尺度影像特征的情况下,可以利用特征融合模块,进行特征融合处理。本公开实施例的特征融合过程可以作为特征更新过程,具体可以利用相邻尺度的特征依次执行特征融合。
在一个示例中,可以按照尺度从小到大的顺序,对第i个影像特征执行卷积处理,以及对第i+1个影像特征执行特征更新处理,其中i为大于零且小于或者等于N的整数,N表示多尺度影像特征的数量;基于最后一个影像特征的特征更新处理,得到所述融合特征;其中,所述对第i个影像特征执行卷积处理,以及对第i+1个影像特征执行特征更新处理,包括:对第i个影像特征执行卷积处理,得到与第i+1个影像特征的尺度相同的第一卷积特征;利用所述第一卷积特征和第i+1个影像特征的加权和,得到更新后的所述第i+1个影像特征。
如图3所示,按照多尺度影像特征F7、F6和F1为尺度从小到大的顺序,在执行特征融合时,可以首先对F7执行卷积处理,得到与F7相邻的F6尺度相同的特征,将该特征与F6相加,实现F6特征的更新得到F8。而后对F8进行卷积处理,使得其尺度与特征F1相同,而后将F1与F8卷积后的结果相加,实现F1的更新,得到F9,在图3的示例中,F9可以作为最后得到的融合特征。
上述实施例可以实现单模态影像的特征融合,针对多模态影像,可以通过两种方式实现特征融合。
在一个示例中,在所述脑医学影像为多模态影像的情况下,对所述多尺度影像特征执行特征融合处理,得到融合特征,包括:针对所述多模态影像中任一模态的医学影像,按照所述任一模态影像的多尺度影像特征的尺度从小到大的顺序,对第i个影像特征执行卷积处理,以及对第i+1个影像特征执行特征更新处理,其中i为大于零且小于或者等于N的整数,N表示任一模态的医学影像的多尺度影像特征的数量;基于所述任一模态影像的最后一个影像特征的特征更新处理,得到所述任一模态影像的融合特征;对所述多模态影像中至少两个模态影像的融合特征执行连接处理,并对连接后的特征执行卷积处理,得到所述多模态影像的融合特征;其中,所述对第i个影像特征执行卷积处理,以及对第i+1个影像特征执行特征更新处理,包括:对第i个影像特征执行卷积处理,得到与第i+1个影像特征的尺度相同的第一卷积特征;利用所述第一卷积特征和第i+1个影像特征的加权和,得到更新后的所述第i+1个影像特征。
也就是说,针对多模态医学影像,可以分别对多模态医学影像中的任意一种模态的影像执行特征融合处理,得到针对每个模态的医学影像的融合特征,而后可以将每个模态的医学影像的融合特征进行连接,再执行卷积处理得到多模影像最后的融合特征。
或者,在另一个示例中,可以在执行特征提取处理之前,将多模医学影像连接,将连接后的影像作为特征提取模块的输入,而后得到多模影像的多尺度特征,以及经过特征融合处理,得到融合特征。
基于上述配置,本公开实施例可以实现提取的多尺度信息中充分融合,提高特征精度。
在得到融合特征的情况下,可以进一步执行脑分区分割以及血管形态信息的提取,即利用分类模块执行脑区和血管形态信息的分类。在本公开实施例中,可以直接将融合特征输入到分类器中,利用该分类器得到全部血管形态信息和脑区的分类。本公开实施例中,脑分区可以包括:左脑分区、右脑分区、额叶区、顶叶区、颞叶区、枕叶区、脑灰质区、脑白质区、脑干区、小脑区等,血管形态信息可以包括血管位置、血管中心线位置、血管分支点位置。
另外,本公开实施例中,也可以通过多个分类器分别实现脑分区和血管形态信息的分类,其中,每个分类器用于分类识别不同的血管形态信息和脑分区。
本公开实施例中,所述基于所述融合特征执行脑分区分割和血管提取,得到所述脑分区位置以及所述血管形态信息,包括:
将所述融合特征输入至分别输入至第一分类组和第二分类组,利用第一分类组的第一主分类器得到血管位置,利用第二分类组的第二主分类器得到全部脑分区的位置,其中第一分类组用于对血管形态信息进行分类,第二分类组用于对脑分区进行分类;利用所述血管位置和所述融合特征得到血管特征,以及利用所述全部脑分区的得到脑分区特征;将所述血管特征输入到所述第一分类组的各第一从分类器中,用于得到血管位置以外的血管形态信息,以及将所述脑分区特征输入到所述第二分类组的各第二从分类器中,分别用于得到各脑分区的位置。
也就是说,可以利用第一分类组和第二分类组分别对血管形态信息以及脑功能分区进行分类。每个分类组中可以包括多个分类器,用于实现不同信息的分类。
针对第一分类组,在一个示例中,可以首先通过第一主分类器对输入的融合特征进行分类处理,识别出融合特征对应的血管位置,第一主分类器输出融合特征中每个像素点对应为血管的概率,在该概率大于概率阈值的情况下,确定该像素点为血管。通过上述方式可以得到融合特征中表示为血管的像素点位置。对应的可以在原始的脑医学影像中确定血管位置。其中融合特征的维度与医学影像相同,对应的血管位置也相同。
在通过第一主分类器得到血管位置的情况下,可以利用表示血管位置的掩码图和融合特征的乘积,得到血管特征,其中掩码图内表示血管位置的像素值为1,其余位置为零,通过乘积得到血管位置对应的血管特征。进而可以将血管特征输入到多个第一从分类器中,每个第一从分类器用于分类不同的血管形态信息。例如第一从分类器A1可以用于分类血管中心线,第一从分类器B1可以用于分类血管分支点,第一从分类器C1可以用于分类动脉和静脉,本公开对此不作具体限定。
在本公开的另一实施例中,各第一从分类器还可以基于融合特征和血管特征进一步对血管形态信息进行分类。具体的,第一从分类器A1可以分别基于融合特征以及血管特征执行血管中心线的分类识别,得到第一中心线和第二中心线。本公开实施例可以对第一中心线和第二中心线进行最小二乘法拟合,得到最终的血管中心线位置,提高分类精度。另外,第一从分类器B1可以分别基于融合特征、血管特征血管中心线位置执行血管分支点的分类识别,得到第一分支点位置、第二分支点位置和第三分支点位置。而后可以根据第一分支点位置、第二分支点为位置和第三分支点位置的均值,得到优化的分支点位置。另外,第一从分类器C1可以分别基于融合特征及血管特征执行动脉和静脉的分类,分别得到动脉的第一动脉位置和第二动脉位置,以及静脉的第一静脉位置和第二静脉位置,进而可以对第一动脉位置和第二动脉位置进行线性拟合(最小二乘法),得到优化的动脉位置,以及对第一静脉位置和第二静脉位置进行线性拟合,得到优化的静脉位置。
针对第二分类组,在一个示例中,可以首先通过第二主分类器对输入的融合特征进行分类处理,识别出融合特征对应的全部脑分区的位置,第二主分类器输出融合特征中每个像素点对应为脑功能区的概率,在该概率大于概率阈值的情况下,确定该像素点为脑区。通过上述方式可以得到融合特征中表示为脑区的像素点位置。对应的可以在原始的脑医学影像中确定脑区位置。其中融合特征的维度与医学影像相同,对应的脑区位置也相同。
在通过第二主分类器得到脑区总体位置的情况下,可以利用表示脑区总体位置的掩码图和融合特征的乘积,得到脑分区的特征,其中掩码图内表示脑分区位置的像素值为1,其余位置为零,通过乘积得到脑分区位置对应的脑分区特征。进而可以将脑分区特征输入到多个第二从分类器中,每个第二从分类器用于分类不同的脑分区。例如第二从分类器A2可以用于分类左脑和右脑,第二从分类器B2可以用于分类小脑和脑干,第二从分类器C2可以用于分类额叶、顶叶、颞叶、枕叶,第二分类器D2用于分类脑灰区、脑白区,上述仅为示例性说明,每个第二从分类器仅用于分类至少一个脑分区,本公开对此不作具体限定。
在本公开的另一实施例中,各第二从分类器还可以基于融合特征和脑分区特征分别对脑分区进行分类,并对两个特征分别得到的分类结果进行融合,得到优化后各脑分区。具体的,第二从分类器A2可以分别基于融合特征和脑分区特征执行左脑和右脑的分类识别,对应的得到第一左脑区、第二左脑区,以及第一右脑区和第二右脑区。本公开实施例可以对第一左脑区和第二左脑区进行最小二乘法拟合,得到最终的左脑区位置,以及对第一右脑区和第二右脑区执行最小二乘法拟合,得到最终的右脑区位置,通过上述通过不同特征进行分类再进行融合的方式,可以提高分类精度。另外,第一从分类器B可以分别基于融合特征和脑分区特征执行小脑和脑干的分类识别,得到第一小脑区和第二小脑区,以及第一脑干区和第二脑干区。进一步可以对第一小脑区和第二小脑区进行最小二乘法拟合,得到最终的小脑区位置,以及对第一脑干区和第二脑干区执行最小二乘法拟合,得到最终的脑干区位置。针对其他分区的优化分类,也可以采用上述方式进行至少两个特征的分别分类,再进行拟合优化,具体过程在此不做重复说明。通过上述配置可以提高分类精度。
本公开实施例的分类器可以由卷积层构成,具体可以根据需求设置。
基于上述配置,本公开实施例可以实现对医学影像中的多种血管形态信息以及多个脑分区进行识别,另外还可以融合多分类器分类结果,提升分类精度。
下面,本公开实施例对深度学习网络的训练过程进行说明,其中如图3所示,该模型可以包括征提取模块、特征融合模块以及多个分类模块。训练所述深度学习网络模型的方法包括:获取多模影像的训练样本;利用所述特征提取模块对所述多模影像执行特征提取,得到多尺度影像特征;利用所述特征融合模块对所述多尺度影像特征执行特征融合,得到融合特征;利用第一主分类器预测所述融合特征的血管位置,得到第一预测结果;利用至少一个第一从分类器基于所述第一预测结果和所述融合特征,预测血管位置以外的血管形态信息,得到各第一从分类器对应的第二预测结果;基于所述第一预测结果和所述第二预测结果的损失,调整第一分类组内各分类器的损失权重,直至满足训练要求;以及利用第二主分类器预测所述融合特征的脑分区总体位置,得到第三预测结果;利用至少一个第二从分类器基于所述第一预测结果和所述融合特征,预测各脑分区的位置信息,得到各第二从分类器对应的第四预测结果;基于所述第三预测结果和所述第四预测结果的损失,调整第二分类组内各分类器的损失权重,直至满足训练要求
本公开实施例中,可以通过多模影像作为训练样本执行网络的训练,从而可以满足网络模型对多模影像的脑分区和血管分割精度。另外,在训练网络模型时,引入了分类损失权重的调整策略,提升分类精度。具体的,第一主分类器可以用于预测训练样本中的血管位置,利用训练样本对应的血管标签位置,可以确定第一主分类器的第一分类损失。第一从分类器A1可以预测血管中心线位置,基于中心线的标签可以确定中心线的第二分类损失,对应的可以得到第一从分类器B1、C1对应的第二分类损失。在得到各分类损失的情况下,基于分类损失越大权重就越大的原则,调整各分类器的损失权重,从而提升样本的学习精度。具体的权重可以为1与分类损失之间的差值。
另外,第二主分类器可以用于预测训练样本中的全部脑分区的总位置,利用训练样本对应的脑分区的总体标签位置,可以确定第二主分类器的第三分类损失。第二从分类器A2可以左右脑的位置,基于左右脑位置的标签可以确定A2的第四分类损失,对应的,同理可以得到第二从分类器B2、C2对应的第四分类损失。在得到各分类损失的情况下,基于分类损失越大权重就越大的原则,调整各分类器的损失权重,从而提升样本的学习精度。具体的权重可以为1与分类损失之间的差值。
本公开实施例的网络的总体损失可以为权重与相应的分类损失乘积之和的均值。基于网络的总体损失可以对网络参数进行调整,如卷积核、网络权重等信息,本公开对此不作具体限定。在得到的总体损失小于损失阈值的情况下,结束训练,损失阈值可以为大于0.8的数值。
通过上述实施例可以实现多模影像血管分割模型的训练,并得到满足精度要求模型。进而可以利用该模型执行脑分区和血管形态信息的精准提取。
在得到脑分区位置和血管形态信息的情况下,可以进一步基于血管形态信息执行目标脑分区的状态评估。即可以基于所述血管形态信息,确定目标脑分区的评估结果,所述评估结果包括血管对称评估结果、与标准参数的对比评估结果,以及所述目标脑分区和其余脑分区的相对评估结果。
图4示出根据本公开实施例中步骤S30的流程图,其中,所述基于所述血管形态信息,确定目标脑分区的评估结果,包括:
S31:确定目标脑分区;
S32:基于所述血管形态信息确定血管参数;
S33:基于所述目标脑分区和所述血管参数确定所述目标脑分区的评估结果。
本公开实施例中,可以首先确定待执行风险评估的目标脑分区。其中,目标脑分区可以为众多脑分区中的一个或多个。本公开实施例可以为每个脑分区设置不同的标识,如Q1、Q2…Qn,n表示脑分区的总数量。本公开实施例可以接收输入的选择信息,该选择信息可以包括上述标识,通过选择信息中的标识可以确定被选择作为目标脑分区的脑分区。
另外,本公开实施例还可以基于血管形态信息得到血管参数,其中血管参数可以包括血管长度、血管级数、血管平均管径、血管中心线位置、血管分支点位置、动脉长度、静脉长度等信息。其中可以通过统计方法得到,在此不做具体限定。另外,本公开实施例还可以确定每个脑分区内的血管参数,具体可以基于血管位置和脑分区位置确定每个脑分区内的血管位置,进一步可以得到位于脑分区内的血管参数。
进一步地,可以执行目标脑分区的状态评估,得到评估结果。具体的,基于所述血管参数,确定对称评估结果、对比评估结果、相对评估结果,其中基于对称分区的血管参数之间的差异,得到对称评估结果;基于目标脑分区的血管参数与标准参数的比较结果,确定对比评估结果;基于目标脑分区的血管参数与其余分区的血管参数之间的相对影响,确定相对评估结果;
在一个示例中,基于所述血管形态信息,确定目标脑分区的血管对称评估结果,包括:在所述脑分区中确定所述目标脑分区的对称脑分区;基于所述血管形态信息,确定所述目标脑分区和对称脑分区之间的差异率;基于所述对称率确定所述对称评估结果。
在执行对称评估之前,可以首先确定目标脑分区是否存在对称脑分区,例如左右脑分区互为对称脑分区,在存在对称脑分区的情况下,执行该对称评估。正常的健康器官的对称分区的血管分布及血管形态应是对称的,本公开实施例可以根据对称分区的血管形态之间的对称性,执行对称评估。
其中,可以分别获得对称脑分区的血管参数之间的差异,如对应血管长度之差、相同特征层的血管面积之差、血管体积之差、血管级数之差、血管平均管径之差、血管中心线之间的距离均值、分支点位置距离均值等,得到每项血管参数之间的差异,进而得到差异率。其中血管长度的差异率等于血管长度的之差与血管长度之和的比值,血管面积的差异率为各层血管面积之差的加和值与各层血管面积的总加和之间的比值,血管体积的差异率为血管体积之差与血管体积之和之间的比值,血管级数的差异率等于血管级数之差与血管级数之和的比值,血管平均管径的差异率等于血管平均管径之差与血管平均管径之和的比值,血管中心线之间的差异率等于血管中心线之间的距离差的均值与血管中心线各点之间的距离差之和的比值,分支点的差异率等于对应分支点的距离差的均值与距离差之和的比值。基于此,还可以进一步得到动脉长度的差异率、静脉长度的差异率、动、静脉平均管径、面积、体积的差异率等,本公开对此不作具体限定。
在得到对称脑分区中每个分区内血管参数之间的差异率的情况下,可以得到平均差异率,即各差异率之和除以差异率的类型数。将该平均差异率确定为对称评估结果。或者也可为每个参数设置特定的权重,基于设定的权重和差异率的乘积确定为更新的该参数的差异率,将更新后的差异率加和除以差异率的参数类型数,得到对称评估结果。
另外,还可以利用标准参数得到对比评估结果。基于所述血管形态信息,确定目标脑分区与标准参数的对比评估结果,包括:获取标准参数;基于所述血管形态信息和所述目标脑分区的标准参数之间的差异,确定所述对比评估结果。
本公开实施例可以基于血管参数和标准参数之间的差异,确定对比评估结果。其中,标准参数可以表示目标脑分区内血管标准分布情况。该标准参数可以为通过大量的健康人群的组织器官内血管分布统计出的参数值,例如可以根据千名健康志愿者组织器官内以及各分区内的血管的分布情况确定标准参数值,如标准血管长度、标准血管体积、标准级数、标准血管位置、标准中心线位置等,对应的,各分区的血管参数也具有相应的标准值,在此不再一一举例说明。
在得到确定的目标脑分区内的血管参数以及标准参数的情况下,可以将对应的参数之间的差异率的均值确定为对比评估结果。具体的,可以分别得到每个分区的血管参数与标准参数之间的差异,进而得到差异率(此处确定差异率的方式与上述对称评估过程相同,在此不做重复说明)。通过上述可以得到每个分区相对标准参数的平均差异率。本公开实施例可以为每个分区设定不同的权重,将对应的权重与平均差异率进行乘积,而后再将各乘积加和得到加和值,将该加和值与分区数量的比值确定为对比评估结果。
进一步地,本公开实施例还可以基于目标脑分区的血管参数相对其他分区的血管参数的差异,确定相对评估结果。具体的,正常健康的脑血管中,各分区与标准参数之间的差异不大,但如果某个分区的血管分布出现异常,则该分区相对标准参数的差异会高于其他分区的差异。本公开实施例根据该现象,确定各分区的相对差异,确定相对评估结果。
基于所述血管形态信息,确定目标脑分区与其余脑分区的相对评估结果,包括:确定目标脑分区与标准参数之间的第一差异;确定目标脑分区以外的至少一个脑分区与标准参数之间的第二差异;基于所述第一差异和第二差异,确定所述相对评估结果。
具体的,假设组织器官包括n个分区,确定目标脑分区与该分区对应的标准参数之间的平均差异率为第一差异,同时确定其余M-1个分区与该M-1个分区的标准参数之间的平均差异率,确定为第二差异。将两个平均差异率之间的差值与两个平均差异率之和的币值确定为所选择出的目标脑分区的相对差异率,该相对差异率为相对评估结果。
在得到各评估结果的情况下,可以利用评估结果确定风险等级。所述基于所述评估结果确定所述目标脑分区的风险等级,包括:基于所述血管对称评估结果、对比评估结果,以及所述相对评估结果中的至少两项评估结果的加权和,得到综合评估结果;基于所述综合评估结果确定所述目标脑分区的风险等级。
在得到对称评估结果、对比评估结果以及相对评估结果的情况下,可以利用各评估结果中至少两个评估结果的加权和,作为目标脑分区的综合评估结果。
在本公开实施例中,得到的综合评估结果对应的数值越大,说明目标脑分区血管存在异常的概率越高,数值越小说明血管存在异常的概率越低。本公开实施例可以配置有综合评估结果与风险等级的对应关系,通过该对应关系可以方便的查找综合评估结果对应的风险等级。其中,风险等级可以包括高、中、低三个等级,对应的,低风险等级对应的评估结果为0-35%,对应的中风险等级为36%-65%,高风险等级的评估结果为66%-100%。上述为示例性说明,不作为本公开具体限定。通过评估结果,可以提示目标脑分区的血管的形态是否存在异常,从而提示该脑分区存在血管类疾病的风险程度,为临床提供辅助。
另外,在本公开实施例中,考虑到不同年龄段的对象的血管状态会存在差异,根据年龄区间对标准参数进行区分,可以提高评估结果的准确度。也就是说,本公开实施例可以为不同年龄区间的对象设定不同的标准参数,该标准参数的确定与上述相似,只是对应的对象的年龄区间不同。在进行血管状态的评估时,可以选择相应年龄区间的标准参数进行评估,提高评估精度。
在此需要说明的是,本公开实施例设定的各过程的权重值可以根据需求设定,在此不做具体限定,其可以为[0,1]之间任意的数值。
综上所述,本公开实施例可以利用脑医学影像确定脑分区的位置以及相应的血管形态信息,基于脑分区内的血管形态的对称性、与标准参数的对比,以及与其余脑分区的相对评估,确定脑分区存在异常的风险程度。本公开通过多角度分析脑血管的状态的情况,进而确定对应脑分区可能存在异常的风险程度,评估方式多元化,具有较高的评估准确性。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
可以理解,本公开提及的上述各个方法实施例,在不违背原理逻辑的情况下,均可以彼此相互结合形成结合后的实施例,限于篇幅,本公开不再赘述。
此外,本公开还提供了脑分区风险预测装置、电子设备、计算机可读存储介质、程序,上述均可用来实现本公开提供的任一种脑分区风险预测方法,相应技术方案和描述和参见方法部分的相应记载,不再赘述。
图5示出根据本公开实施例的脑分区风险预测装置的框图,如图5所示,所述风险预测装置包括:
获取模块100,用于获取脑医学影像;
分割模块200,用于基于所述脑医学影像确定脑分区位置以及血管形态信息;
确定模块300,用于基于所述血管形态信息,确定目标脑分区的评估结果,所述评估结果包括血管对称评估结果、与标准参数的对比评估结果,以及所述目标脑分区和其余脑分区的相对评估结果;
评估模块400,用于基于所述评估结果确定所述目标脑分区的风险等级。
在一个示例中,所述确定模块还用于在所述脑分区中确定所述目标脑分区的对称脑分区;基于所述血管形态信息,确定所述目标脑分区和对称脑分区之间的差异率;基于所述对称率确定所述对称评估结果。
在一个示例中,所述确定模块还用于获取标准参数;基于所述血管形态信息和所述目标脑分区的标准参数之间的差异,确定所述对比评估结果。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
本公开实施例还提出一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图6示出根据本公开实施例的一种电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等终端。
参照图6,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器804,上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图7示出根据本公开实施例的另一种电子设备1900的框图。例如,电子设备1900可以被提供为一服务器。参照图7,电子设备1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理,一个有线或无线网络接口1950被配置为将电子设备1900连接到网络,和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种非易失性计算机可读存储介质,例如包括计算机程序指令的存储器1932,上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种脑分区风险预测方法,其特征在于,包括:
获取脑医学影像;
基于所述脑医学影像确定脑分区位置以及血管形态信息;
基于所述血管形态信息,确定目标脑分区的评估结果,所述评估结果包括血管对称评估结果、与标准参数的对比评估结果,以及所述目标脑分区和其余脑分区的相对评估结果;
基于所述评估结果确定所述目标脑分区的风险等级;
所述基于所述脑医学影像确定脑分区位置以及血管形态信息,包括:利用特征提取模块,提取所述脑医学影像的多尺度影像特征;对所述多尺度影像特征执行特征融合处理,得到融合特征;基于所述融合特征执行脑分区分割和血管提取,得到所述脑分区位置以及所述血管形态信息;
基于所述血管形态信息,确定目标脑分区的血管对称评估结果,包括:在所述脑分区中确定所述目标脑分区的对称脑分区;基于所述血管形态信息,确定所述目标脑分区和对称脑分区之间的差异率;基于所述差异率确定所述对称评估结果;
基于所述血管形态信息,确定目标脑分区与标准参数的对比评估结果,包括:获取标准参数;基于所述血管形态信息和所述目标脑分区的标准参数之间的差异,确定所述对比评估结果;
基于所述血管形态信息,确定目标脑分区与其余脑分区的相对评估结果,包括:确定目标脑分区与标准参数之间的第一差异;确定目标脑分区以外的脑分区与标准参数之间的第二差异;基于所述第一差异和第二差异,确定所述相对评估结果;
所述基于所述评估结果确定所述目标脑分区的风险等级,包括:基于所述血管对称评估结果、对比评估结果,以及所述相对评估结果中的至少两项评估结果的加权和,得到综合评估结果;基于所述综合评估结果确定所述目标脑分区的风险等级。
2.根据权利要求1所述的方法,其特征在于,所述基于所述融合特征执行脑分区分割和血管提取,得到所述脑分区位置以及所述血管形态信息,包括:
将所述融合特征分别输入至第一分类组和第二分类组,利用所述第一分类组的第一主分类器得到血管位置,利用所述第二分类组的第二主分类器得到全部脑分区的位置,其中第一分类组用于对血管形态信息进行分类,第二分类组用于对脑分区进行分类;
利用所述血管位置和所述融合特征得到血管特征,以及利用所述全部脑分区得到脑分区特征;
将所述血管特征输入到所述第一分类组的第一从分类器中,用于得到血管位置以外的血管形态信息,以及将所述脑分区特征输入到所述第二分类组的第二从分类器中,用于得到各脑分区的位置。
3.根据权利要求2所述的方法,其特征在于,所述利用所述血管位置和所述融合特征得到血管特征,包括:通过所述第一主分类器对输入的融合特征进行分类处理,识别出融合特征对应的血管位置;其中,所述第一主分类器输出融合特征中每个像素点对应为血管的概率,在该概率大于概率阈值的情况下,确定该像素点为血管;
以及/或
所述将所述血管特征输入到所述第一分类组的第一从分类器中,用于得到血管位置以外的血管形态信息,包括:
将所述血管特征输入到多个第一从分类器中,每个第一从分类器用于分类不同的血管形态信息;其中,所述血管形态信息包括血管中心线、血管分支点、动脉和静脉中的至少一种。
4.根据权利要求2所述的方法,其特征在于,所述利用所述全部脑分区得到脑分区特征,包括:通过所述第二主分类器得到脑区总体位置,利用表示脑区总体位置的掩码图和所述融合特征的乘积,得到脑分区特征;其中掩码图内表示脑分区位置的像素值为1,其余位置为零;
以及/或
所述将所述脑分区特征输入到所述第二分类组的各第二从分类器中,分别用于得到各脑分区的位置,包括:将所述脑分区的特征输入到多个第二从分类器中,每个第二从分类器用于分类不同的脑分区;其中所述脑分区包括左脑、右脑、小脑、脑干、额叶、顶叶、颞叶、枕叶、脑灰质区、脑白质区中的至少一种。
5.根据权利要求1-4中任意一项所述的方法,其特征在于,所述脑医学影像为多模态医学影像;
所述方法还包括:对所述多模态医学影像中的任意一种模态的医学影像执行所述特征融合处理,得到针对每个模态的医学影像的融合特征;将每个模态的医学影像的融合特征进行连接,再执行卷积处理得到多模态医学影像的融合特征;
以及/或
所述方法还包括:在执行特征提取处理之前,将所述多模态医学影像连接,并将连接后的影像作为特征提取模块的输入,得到所述多模态医学影像的多尺度影像特征,并经过所述特征融合处理,得到所述融合特征。
6.根据权利要求1-4中任意一项所述的方法,其特征在于,所述利用特征提取模块包括正向特征提取单元和反向特征提取单元,所述正向特征提取单元通过执行卷积处理减小特征尺度,所述反向特征提取单元通过卷积处理增加特征尺度。
7.根据权利要求1-4中任意一项所述的方法,其特征在于,基于所述综合评估结果确定所述目标脑分区的风险等级,包括:
根据所述综合评估结果与风险等级的对应关系,确定所述风险等级;
其中,所述风险等级可以包括高、中、低三个等级。
8.一种脑分区风险预测装置,其特征在于,包括:
获取模块,用于获取脑医学影像;
分割模块,用于基于所述脑医学影像确定脑分区位置以及血管形态信息;
确定模块,用于基于所述血管形态信息,确定目标脑分区的评估结果,所述评估结果包括血管对称评估结果、与标准参数的对比评估结果,以及所述目标脑分区和其余脑分区的相对评估结果;
评估模块,用于基于所述评估结果确定所述目标脑分区的风险等级;
分割模块,还用于利用特征提取模块,提取所述脑医学影像的多尺度影像特征;对所述多尺度影像特征执行特征融合处理,得到融合特征;基于所述融合特征执行脑分区分割和血管提取,得到所述脑分区位置以及所述血管形态信息;
确定模块,还用于在所述脑分区中确定所述目标脑分区的对称脑分区;基于所述血管形态信息,确定所述目标脑分区和对称脑分区之间的差异率;基于所述差异率确定所述对称评估结果;
确定模块,还用于获取标准参数;基于所述血管形态信息和所述目标脑分区的标准参数之间的差异,确定所述对比评估结果;
确定模块,还用于确定目标脑分区与标准参数之间的第一差异;确定目标脑分区以外的脑分区与标准参数之间的第二差异;基于所述第一差异和第二差异,确定所述相对评估结果;
评估模块,还用于基于所述血管对称评估结果、对比评估结果,以及所述相对评估结果中的至少两项评估结果的加权和,得到综合评估结果;基于所述综合评估结果确定所述目标脑分区的风险等级。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110389133.2A CN113012816B (zh) | 2021-04-12 | 2021-04-12 | 脑分区风险预测方法及装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110389133.2A CN113012816B (zh) | 2021-04-12 | 2021-04-12 | 脑分区风险预测方法及装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012816A CN113012816A (zh) | 2021-06-22 |
CN113012816B true CN113012816B (zh) | 2023-09-01 |
Family
ID=76388236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110389133.2A Active CN113012816B (zh) | 2021-04-12 | 2021-04-12 | 脑分区风险预测方法及装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012816B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113805695B (zh) * | 2021-08-26 | 2024-04-05 | 深圳静美大健康科技有限公司 | 阅读理解水平的预测方法及装置、电子设备和存储介质 |
CN113920137B (zh) * | 2021-10-14 | 2024-06-18 | 平安科技(深圳)有限公司 | 淋巴结转移预测方法、装置、设备及存储介质 |
CN114334130B (zh) * | 2021-12-25 | 2023-08-22 | 浙江大学 | 一种基于脑对称性的pet分子影像计算机辅助诊断系统 |
CN116035576A (zh) * | 2022-12-08 | 2023-05-02 | 重庆邮电大学 | 一种基于注意力机制的抑郁症脑电信号识别方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2312618C1 (ru) * | 2006-12-12 | 2007-12-20 | Александр Игоревич Свадовский | Способ лечения ишемии головного мозга |
CN109475310A (zh) * | 2016-06-15 | 2019-03-15 | Cvr 环球股份有限公司 | 用于检测流体流动管道中堵塞的方法 |
WO2020080243A1 (ja) * | 2018-10-19 | 2020-04-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN111403032A (zh) * | 2020-03-05 | 2020-07-10 | 上海市精神卫生中心(上海市心理咨询培训中心) | 一种儿童脑发育水平评估方法,系统及存储设备 |
CN111968130A (zh) * | 2020-07-23 | 2020-11-20 | 沈阳东软智能医疗科技研究院有限公司 | 脑部造影图像处理方法、装置、介质及电子设备 |
-
2021
- 2021-04-12 CN CN202110389133.2A patent/CN113012816B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2312618C1 (ru) * | 2006-12-12 | 2007-12-20 | Александр Игоревич Свадовский | Способ лечения ишемии головного мозга |
CN109475310A (zh) * | 2016-06-15 | 2019-03-15 | Cvr 环球股份有限公司 | 用于检测流体流动管道中堵塞的方法 |
WO2020080243A1 (ja) * | 2018-10-19 | 2020-04-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN111403032A (zh) * | 2020-03-05 | 2020-07-10 | 上海市精神卫生中心(上海市心理咨询培训中心) | 一种儿童脑发育水平评估方法,系统及存储设备 |
CN111968130A (zh) * | 2020-07-23 | 2020-11-20 | 沈阳东软智能医疗科技研究院有限公司 | 脑部造影图像处理方法、装置、介质及电子设备 |
Non-Patent Citations (1)
Title |
---|
基于滤波反投影的脑磁感应迭代重建算法研究;柯丽等;《仪器仪表学报》;第37卷(第11期);第2445-2451页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113012816A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113012816B (zh) | 脑分区风险预测方法及装置、电子设备和存储介质 | |
JP6926339B2 (ja) | 画像のクラスタリング方法及び装置、電子機器並びに記憶媒体 | |
CN111310764B (zh) | 网络训练、图像处理方法及装置、电子设备和存储介质 | |
CN110210535B (zh) | 神经网络训练方法及装置以及图像处理方法及装置 | |
CN109829433B (zh) | 人脸图像识别方法、装置、电子设备及存储介质 | |
CN108256555B (zh) | 图像内容识别方法、装置及终端 | |
US11455491B2 (en) | Method and device for training image recognition model, and storage medium | |
WO2021051650A1 (zh) | 人脸和人手关联检测方法及装置、电子设备和存储介质 | |
US20210117726A1 (en) | Method for training image classifying model, server and storage medium | |
RU2577188C1 (ru) | Способ, аппарат и устройство для сегментации изображения | |
CN111310616A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN110598504B (zh) | 图像识别方法及装置、电子设备和存储介质 | |
CN113012146B (zh) | 血管信息获取方法及装置、电子设备和存储介质 | |
CN107784279B (zh) | 目标跟踪方法及装置 | |
CN110532956B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN105335684B (zh) | 人脸检测方法及装置 | |
CN111582383B (zh) | 属性识别方法及装置、电子设备和存储介质 | |
CN111652107B (zh) | 对象计数方法及装置、电子设备和存储介质 | |
CN110659690A (zh) | 神经网络的构建方法及装置、电子设备和存储介质 | |
CN110930984A (zh) | 一种语音处理方法、装置和电子设备 | |
CN109255784B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN104077597A (zh) | 图像分类方法及装置 | |
CN111046927A (zh) | 标注数据的处理方法、装置、电子设备及存储介质 | |
CN112884040B (zh) | 训练样本数据的优化方法、系统、存储介质及电子设备 | |
US20200293884A1 (en) | Image processing method and device and terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |