Nothing Special   »   [go: up one dir, main page]

CN115601303A - 类风湿关节炎的活动度评价方法、装置、电子设备及介质 - Google Patents

类风湿关节炎的活动度评价方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN115601303A
CN115601303A CN202211104121.1A CN202211104121A CN115601303A CN 115601303 A CN115601303 A CN 115601303A CN 202211104121 A CN202211104121 A CN 202211104121A CN 115601303 A CN115601303 A CN 115601303A
Authority
CN
China
Prior art keywords
scoring
blood flow
thickening
joint
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211104121.1A
Other languages
English (en)
Inventor
徐枫
周展平
乔晖
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202211104121.1A priority Critical patent/CN115601303A/zh
Publication of CN115601303A publication Critical patent/CN115601303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0875—Clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请涉及一种类风湿关节炎的活动度评价方法、装置、电子设备及介质，包括：获取当前灰阶超声图像和当前多普勒超声图像；将当前灰阶超声图像和当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到用户关节的多个滑膜增厚评分，并将当前多普勒超声图像输入至多个预先训练的血流评分模块，得到用户关节的多个血流评分；将多个滑膜增厚评分和多个血流评分输入至预设的多任务模型集成模块，得到用户关节的活动度评价结果。由此，解决了相关技术中对于多任务的设定，仅简单地在每一个任务上分别进行模型集成，未考虑任务间关联的问题，综合了灰阶超声和多普勒超声的优势，准确率提高，采用纠错输出编码以及多任务模型集成，方法更加鲁棒。

Description

类风湿关节炎的活动度评价方法、装置、电子设备及介质
技术领域
本申请涉及医学图像处理技术领域，特别涉及一种类风湿关节炎的活动度评价方法、装置、电子设备及介质。
背景技术
超声被用于量化评价类风湿关节炎的活动度，包括0-3的4级滑膜评分、血流评分以及联合评分。近年来，深度学习技术飞速发展，并在各领域得到了广泛使用。其中，卷积神经网络在图像识别领域显示出强大的特征学习能力，在CT(Computer Tomography，电子计算机断层摄影)、MRI(Magnetic Resonance Imaging，磁共振成像)、X光片、超声图像等多种医学图像上取得了优秀的识别准确率。模型集成的思想是将多个训练好的模型的预测以某种方式融合起来从而获得更好的预测性能，现有的模型集成方法适用于同一任务的多个模型。
然而，对于多任务的设定，相关技术中的方法简单地在每一个任务上分别进行模型集成，并未考虑任务间的关联，亟待解决。
发明内容
本申请提供一种类风湿关节炎的活动度评价方法、装置、电子设备及介质，解决了相关技术中对于多任务的设定，仅简单地在每一个任务上分别进行模型集成，未考虑任务间关联的问题，综合了灰阶超声和多普勒超声的优势，准确率提高，采用纠错输出编码以及多任务模型集成，方法更加鲁棒。
本申请第一方面实施例提供一种类风湿关节炎的活动度评价方法，包括以下步骤：获取用户关节的当前灰阶超声图像和当前多普勒超声图像；将所述当前灰阶超声图像和所述当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到所述用户关节的多个滑膜增厚评分，并将所述当前多普勒超声图像输入至多个预先训练的血流评分模块，得到所述用户关节的多个血流评分；其中，每个滑膜增厚评分模块均由多个膜增厚评分二分类网络训练得到，每个血流评分模块均由多个血流评分二分类网络训练得到；将所述多个滑膜增厚评分和所述多个血流评分输入至预设的多任务模型集成模块，得到所述用户关节的活动度评价结果。
可选地，在将所述当前灰阶超声图像和所述当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到所述用户关节的多个滑膜增厚评分，并将所述当前多普勒超声图像输入至多个预先训练的血流评分模块，得到所述用户关节的多个血流评分之前，还包括：获取多个目标用户关节的灰阶超声图像和多普勒超声图像，并在每张图像标出感兴趣区域，并基于预设的评定策略，得到每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分；基于所述多个目标用户关节的灰阶超声图像和多普勒超声图像、所述每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分，结合预设的特征提取网络训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络，得到所述多个预先训练的滑膜增厚评分模块和所述多个预先训练的血流评分模块。
可选地，在结合所述预设的特征提取网络训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络之前，还包括：将所述多个目标用户关节的灰阶超声图像的感兴趣区域按照预设缩放比例，并在缩放后按照预设网格进行化划分和裁剪，得到多个图像块；将所述多个图像块分别输入至预设的卷积神经网络，得到每个图像块的对应特征，并将所述多个图像块对应的特征按照预设排列方式拼接得到目标向量；将所述目标向量输入至预设的多层感知机中预测排列的序号，并迭代训练所述预设的卷积神经网络，直至达到停止条件，得到所述预设的特征提取网络。
可选地，在训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络时，还包括：基于预设的纠错输出编码，得到所述多个膜增厚评分二分类网络的评分结果和所述多个血流评分二分类网络的评分结果。
可选地，在得到所述用户关节的活动度评价结果之后，包括：从所述评价结果中读取最终滑膜增厚评分预测、最终血流评分预测和滑膜增厚评分与血流评分的联合评分预测；根据所述最终滑膜增厚评分预测、所述最终血流评分预测和所述联合评分预测生成休养建议。
本申请第二方面实施例提供一种类风湿关节炎的活动度评价装置，包括：获取模块，用于获取用户关节的当前灰阶超声图像和当前多普勒超声图像；评分模块，用于将所述当前灰阶超声图像和所述当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到所述用户关节的多个滑膜增厚评分，并将所述当前多普勒超声图像输入至多个预先训练的血流评分模块，得到所述用户关节的多个血流评分；其中，每个滑膜增厚评分模块均由多个膜增厚评分二分类网络训练得到，每个血流评分模块均由多个血流评分二分类网络训练得到；输出模块，用于将所述多个滑膜增厚评分和所述多个血流评分输入至预设的多任务模型集成模块，得到所述用户关节的活动度评价结果。
可选地，在将所述当前灰阶超声图像和所述当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到所述用户关节的多个滑膜增厚评分，并将所述当前多普勒超声图像输入至多个预先训练的血流评分模块，得到所述用户关节的多个血流评分之前，所述评分模块，具体用于：获取多个目标用户关节的灰阶超声图像和多普勒超声图像，并在每张图像标出感兴趣区域，并基于预设的评定策略，得到每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分；基于所述多个目标用户关节的灰阶超声图像和多普勒超声图像、所述每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分，结合预设的特征提取网络训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络，得到所述多个预先训练的滑膜增厚评分模块和所述多个预先训练的血流评分模块。
可选地，在结合所述预设的特征提取网络训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络之前，所述评分模块，还用于：将所述多个目标用户关节的灰阶超声图像的感兴趣区域按照预设缩放比例，并在缩放后按照预设网格进行化划分和裁剪，得到多个图像块；将所述多个图像块分别输入至预设的卷积神经网络，得到每个图像块的对应特征，并将所述多个图像块对应的特征按照预设排列方式拼接得到目标向量；将所述目标向量输入至预设的多层感知机中预测排列的序号，并迭代训练所述预设的卷积神经网络，直至达到停止条件，得到所述预设的特征提取网络。
可选地，在训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络时，所述评分模块，还用于：基于预设的纠错输出编码，得到所述多个膜增厚评分二分类网络的评分结果和所述多个血流评分二分类网络的评分结果。
可选地，在得到所述用户关节的活动度评价结果之后，所述输出模块，具体用于：从所述评价结果中读取最终滑膜增厚评分预测、最终血流评分预测和滑膜增厚评分与血流评分的联合评分预测；根据所述最终滑膜增厚评分预测、所述最终血流评分预测和所述联合评分预测生成休养建议。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的类风湿关节炎的活动度评价方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的类风湿关节炎的活动度评价方法。
本申请通过获取用户关节的当前灰阶超声图像和当前多普勒超声图像，将当前灰阶超声图像和当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到用户关节的多个滑膜增厚评分，并将当前多普勒超声图像输入至多个预先训练的血流评分模块，得到用户关节的多个血流评分，最后将多个滑膜增厚评分和所述多个血流评分输入至预设的多任务模型集成模块，得到用户关节的活动度评价结果。由此，解决了相关技术中对于多任务的设定，仅简单地在每一个任务上分别进行模型集成，未考虑任务间关联的问题，综合了灰阶超声和多普勒超声的优势，准确率提高，采用纠错输出编码以及多任务模型集成，方法更加鲁棒。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种类风湿关节炎的活动度评价方法的流程图；
图2为根据本申请实施例的类风湿关节炎的活动度评价装置的方框示意图；
图3为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的类风湿关节炎的活动度评价方法、装置、电子设备及存储介质。针对上述背景技术中心提到的相关技术中对于多任务的设定，仅简单地在每一个任务上分别进行模型集成，未考虑任务间关联的问题，本申请提供了一种类风湿关节炎的活动度评价方法，在该方法中，获取用户关节的当前灰阶超声图像和当前多普勒超声图像，将当前灰阶超声图像和当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到用户关节的多个滑膜增厚评分，并将当前多普勒超声图像输入至多个预先训练的血流评分模块，得到用户关节的多个血流评分，其中，每个滑膜增厚评分模块均由多个膜增厚评分二分类网络训练得到，每个血流评分模块均由多个血流评分二分类网络训练得到，最后将多个滑膜增厚评分和所述多个血流评分输入至预设的多任务模型集成模块，得到用户关节的活动度评价结果。由此，解决了相关技术中对于多任务的设定，仅简单地在每一个任务上分别进行模型集成，未考虑任务间关联的问题，综合了灰阶超声和多普勒超声的优势，准确率提高，采用纠错输出编码以及多任务模型集成，方法更加鲁棒。
具体而言，图1为本申请实施例所提供的一种类风湿关节炎的活动度评价方法的流程图。
如图1所示，该类风湿关节炎的活动度评价方法包括以下步骤：
在步骤S101中，获取用户关节的当前灰阶超声图像和当前多普勒超声图像。
本领域的相关技术人员可以通过灰阶超声诊断仪获取用户关节的当前灰阶超声图像，以及使用多普勒诊断仪获取当前多普勒超声图像。
在步骤S102中，将当前灰阶超声图像和当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到用户关节的多个滑膜增厚评分，并将当前多普勒超声图像输入至多个预先训练的血流评分模块，得到用户关节的多个血流评分；其中，每个滑膜增厚评分模块均由多个膜增厚评分二分类网络训练得到，每个血流评分模块均由多个血流评分二分类网络训练得到。
可选地，在一些实施例中，在将当前灰阶超声图像和当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到用户关节的多个滑膜增厚评分，并将当前多普勒超声图像输入至多个预先训练的血流评分模块，得到用户关节的多个血流评分之前，还包括：获取多个目标用户关节的灰阶超声图像和多普勒超声图像，并在每张图像标出感兴趣区域，并基于预设的评定策略，得到每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分；基于多个目标用户关节的灰阶超声图像和多普勒超声图像、每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分，结合预设的特征提取网络训练多个膜增厚评分二分类网络和多个血流评分二分类网络，得到多个预先训练的滑膜增厚评分模块和多个预先训练的血流评分模块。
本领域技术人员应该理解到的是，将收集到的若干关节的灰阶超声和多普勒超声配对图像，用矩形框在每张图像中标注出ROI(region of interest，感兴趣区域)，并根据EOSS标准评定每个关节的目标滑膜增厚评分、目标血流评分、目标联合评分。
为了使模型能同时泛化到彩色多普勒超声和能量多普勒超声，多普勒超声中的多普勒信号被统一改变为红色。
本申请实施例包含5个预先训练的滑膜增厚评分模块和5个预先训练的血流评分模块，每个评分模块预测0-3评分。根据EOSS评分标准，滑膜增厚评分为0而血流评分大于0的情况不应出现。对于其他13种可能的(滑膜增厚评分，血流评分)配对，定义每种配对的得分为滑膜增厚评分模块中预测为该滑膜增厚评分的模块数与血流评分模块中预测为该血流评分的模块数的乘积，将训练集平均划分为5份，每次在4份上训练一个预先训练的滑膜增厚分类模块和一个预先训练的血流分类模块，以剩下的1份作为验证集。
其中，每个评分模块包含6个二分类网络，每两个网络预测评分是否大于0分、1分、2分。6个网络的输出通过纠错输出编码的方法得到0-3评分预测。滑膜增厚评分二分类网络通过灰阶超声特征提取网络和多普勒超声特征提取网络分别得到两种超声模态的特征，将两者拼接之后通过一个多层感知机进行分类，血流评分二分类网络根据多普勒超声图像进行分类预测。
可选地，在一些实施例中，在结合预设的特征提取网络训练多个膜增厚评分二分类网络和多个血流评分二分类网络之前，还包括：将多个目标用户关节的灰阶超声图像的感兴趣区域按照预设缩放比例，并在缩放后按照预设网格进行化划分和裁剪，得到多个图像块；将多个图像块分别输入至预设的卷积神经网络，得到每个图像块的对应特征，并将多个图像块对应的特征按照预设排列方式拼接得到目标向量；将目标向量输入至预设的多层感知机中预测排列的序号，并迭代训练预设的卷积神经网络，直至达到停止条件，得到预设的特征提取网络。
具体地，预先定义好1000种不同的1-9全排列方式。将灰阶超声图像的感兴趣区域缩放为225*225大小，然后划分为边长为75的3*3网格，每个网格中的随机位置裁剪出边长为64的图像块，9个图像块分别输入预设的卷积神经网络中，得到9个对应的特征。随机选取1000种全排列方式中的一种，将9个图像块对应的特征按照该排列方式拼接成一个目标向量，然后输入一个预设的多层感知机中预测排列的序号，以预训练模型作为初始权重，分别训练基于灰阶超声图像和多普勒超声图像的滑膜增厚评分二分类网络，得到预设的特征提取网络。
进一步地，对多个评分二分类网络进行训练。对于滑膜增厚评分二分类网络，固定特征提取网络的参数不变，训练预设的多层感知机。对于血流评分二分类网络，端到端地训练预设的卷积神经网络和预设的多层感知机。
可选地，在一些实施例中，在训练多个膜增厚评分二分类网络和多个血流评分二分类网络时，还包括：基于预设的纠错输出编码，得到多个膜增厚评分二分类网络的评分结果和多个血流评分二分类网络的评分结果。
进一步地，将灰阶超声图像和多普勒超声输入每个滑膜增厚评分二分类网络中，多普勒超声图像输入每个血流评分二分类网络中，每个滑膜增厚评分模块和血流评分模块通过预设的纠错输出编码的方法，得到多个膜增厚评分二分类网络的评分结果和多个血流评分二分类网络的评分结果。
在步骤S103中，将多个滑膜增厚评分和多个血流评分输入至预设的多任务模型集成模块，得到用户关节的活动度评价结果。
可以理解的是，将多个滑膜增厚评分和多个血流评分输入至预设的多任务模型集成模块，可以得到用户关节的活动度评价结果。其中，若评分较低，则得到的关节的活动度评价结果为活动度较弱，若评分较高，则得到的关节的活动度评价结果为活动度良好。
可选地，在一些实施例中，在得到用户关节的活动度评价结果之后，包括：从评价结果中读取最终滑膜增厚评分预测、最终血流评分预测和滑膜增厚评分与血流评分的联合评分预测；根据最终滑膜增厚评分预测、最终血流评分预测和联合评分预测生成休养建议。
可以理解的是，将得到用户关节的活动度评价结果，根据最终滑膜增厚评分预测、最终血流评分预测和滑膜增厚评分与血流评分的联合评分，给用户生成休养建议。例如，若联合评分较低，则生成的休养建议可以为通过运动疗法和药物治疗加以改善，若联合评分较高，则生成的休养建议可以为用户维持当前运动状态即可。
根据本申请实施例提出的类风湿关节炎的活动度评价方法，通过获取用户关节的当前灰阶超声图像和当前多普勒超声图像，将当前灰阶超声图像和当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到用户关节的多个滑膜增厚评分，并将当前多普勒超声图像输入至多个预先训练的血流评分模块，得到用户关节的多个血流评分，最后将多个滑膜增厚评分和多个血流评分输入至预设的多任务模型集成模块，得到用户关节的活动度评价结果。由此，解决了相关技术中对于多任务的设定，仅简单地在每一个任务上分别进行模型集成，未考虑任务间关联的问题，综合了灰阶超声和多普勒超声的优势，准确率提高，采用纠错输出编码以及多任务模型集成，方法更加鲁棒。
其次参照附图描述根据本申请实施例提出的类风湿关节炎的活动度评价装置。
图2是本申请实施例的类风湿关节炎的活动度评价装置的方框示意图。
如图2所示，该类风湿关节炎的活动度评价装置10包括：获取模块100、评分模块200和输出模块300。
其中，获取模块100，用于获取用户关节的当前灰阶超声图像和当前多普勒超声图像；评分模块200，用于将当前灰阶超声图像和当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到用户关节的多个滑膜增厚评分，并将当前多普勒超声图像输入至多个预先训练的血流评分模块，得到用户关节的多个血流评分；其中，每个滑膜增厚评分模块均由多个膜增厚评分二分类网络训练得到，每个血流评分模块均由多个血流评分二分类网络训练得到；输出模块300，用于将多个滑膜增厚评分和多个血流评分输入至预设的多任务模型集成模块，得到用户关节的活动度评价结果。
可选地，在将当前灰阶超声图像和当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到用户关节的多个滑膜增厚评分，并将当前多普勒超声图像输入至多个预先训练的血流评分模块，得到用户关节的多个血流评分之前，评分模块200，具体用于：获取多个目标用户关节的灰阶超声图像和多普勒超声图像，并在每张图像标出感兴趣区域，并基于预设的评定策略，得到每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分；基于多个目标用户关节的灰阶超声图像和多普勒超声图像、每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分，结合预设的特征提取网络训练多个膜增厚评分二分类网络和多个血流评分二分类网络，得到多个预先训练的滑膜增厚评分模块和多个预先训练的血流评分模块。
可选地，在结合预设的特征提取网络训练多个膜增厚评分二分类网络和多个血流评分二分类网络之前，评分模块200，还用于：将多个目标用户关节的灰阶超声图像的感兴趣区域按照预设缩放比例，并在缩放后按照预设网格进行化划分和裁剪，得到多个图像块；将多个图像块分别输入至预设的卷积神经网络，得到每个图像块的对应特征，并将多个图像块对应的特征按照预设排列方式拼接得到目标向量；将目标向量输入至预设的多层感知机中预测排列的序号，并迭代训练预设的卷积神经网络，直至达到停止条件，得到预设的特征提取网络。
可选地，在训练多个膜增厚评分二分类网络和多个血流评分二分类网络时，评分模块200，还用于：基于预设的纠错输出编码，得到多个膜增厚评分二分类网络的评分结果和多个血流评分二分类网络的评分结果。
可选地，在得到用户关节的活动度评价结果之后，输出模块300，具体用于：从评价结果中读取最终滑膜增厚评分预测、最终血流评分预测和滑膜增厚评分与血流评分的联合评分预测；根据最终滑膜增厚评分预测、最终血流评分预测和联合评分预测生成休养建议。
需要说明的是，前述对类风湿关节炎的活动度评价方法实施例的解释说明也适用于该实施例的类风湿关节炎的活动度评价装置，此处不再赘述。
根据本申请实施例提出的类风湿关节炎的活动度评价装置，通过获取用户关节的当前灰阶超声图像和当前多普勒超声图像，将当前灰阶超声图像和当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到用户关节的多个滑膜增厚评分，并将当前多普勒超声图像输入至多个预先训练的血流评分模块，得到用户关节的多个血流评分，最后将多个滑膜增厚评分和多个血流评分输入至预设的多任务模型集成模块，得到用户关节的活动度评价结果。由此，解决了相关技术中对于多任务的设定，仅简单地在每一个任务上分别进行模型集成，未考虑任务间关联的问题，综合了灰阶超声和多普勒超声的优势，准确率提高，采用纠错输出编码以及多任务模型集成，方法更加鲁棒。
图3为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序。
处理器302执行程序时实现上述实施例中提供的类风湿关节炎的活动度评价方法。
进一步地，电子设备还包括：
通信接口303，用于存储器301和处理器302之间的通信。
存储器301，用于存放可在处理器302上运行的计算机程序。
存储器301可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器301、处理器302和通信接口303独立实现，则通信接口303、存储器301和处理器302可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器301、处理器302及通信接口303，集成在一块芯片上实现，则存储器301、处理器302及通信接口303可以通过内部接口完成相互间的通信。
处理器302可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的类风湿关节炎的活动度评价方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种类风湿关节炎的活动度评价方法，其特征在于，包括以下步骤：
获取用户关节的当前灰阶超声图像和当前多普勒超声图像；
将所述当前灰阶超声图像和所述当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到所述用户关节的多个滑膜增厚评分，并将所述当前多普勒超声图像输入至多个预先训练的血流评分模块，得到所述用户关节的多个血流评分；其中，每个滑膜增厚评分模块均由多个膜增厚评分二分类网络训练得到，每个血流评分模块均由多个血流评分二分类网络训练得到；以及
将所述多个滑膜增厚评分和所述多个血流评分输入至预设的多任务模型集成模块，得到所述用户关节的活动度评价结果。
2.根据权利要求1所述的方法，其特征在于，在将所述当前灰阶超声图像和所述当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到所述用户关节的多个滑膜增厚评分，并将所述当前多普勒超声图像输入至多个预先训练的血流评分模块，得到所述用户关节的多个血流评分之前，还包括：
获取多个目标用户关节的灰阶超声图像和多普勒超声图像，并在每张图像标出感兴趣区域，并基于预设的评定策略，得到每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分；
基于所述多个目标用户关节的灰阶超声图像和多普勒超声图像、所述每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分，结合预设的特征提取网络训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络，得到所述多个预先训练的滑膜增厚评分模块和所述多个预先训练的血流评分模块。
3.根据权利要求2所述的方法，其特征在于，在结合所述预设的特征提取网络训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络之前，还包括：
将所述多个目标用户关节的灰阶超声图像的感兴趣区域按照预设缩放比例，并在缩放后按照预设网格进行化划分和裁剪，得到多个图像块；
将所述多个图像块分别输入至预设的卷积神经网络，得到每个图像块的对应特征，并将所述多个图像块对应的特征按照预设排列方式拼接得到目标向量；
将所述目标向量输入至预设的多层感知机中预测排列的序号，并迭代训练所述预设的卷积神经网络，直至达到停止条件，得到所述预设的特征提取网络。
4.根据权利要求2所述的方法，其特征在于，在训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络时，还包括：
基于预设的纠错输出编码，得到所述多个膜增厚评分二分类网络的评分结果和所述多个血流评分二分类网络的评分结果。
5.根据权利要求1所述的方法，其特征在于，在得到所述用户关节的活动度评价结果之后，包括：
从所述评价结果中读取最终滑膜增厚评分预测、最终血流评分预测和滑膜增厚评分与血流评分的联合评分预测；
根据所述最终滑膜增厚评分预测、所述最终血流评分预测和所述联合评分预测生成休养建议。
6.一种类风湿关节炎的活动度评价装置，其特征在于，包括：
获取模块，用于获取用户关节的当前灰阶超声图像和当前多普勒超声图像；
评分模块，用于将所述当前灰阶超声图像和所述当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到所述用户关节的多个滑膜增厚评分，并将所述当前多普勒超声图像输入至多个预先训练的血流评分模块，得到所述用户关节的多个血流评分；其中，每个滑膜增厚评分模块均由多个膜增厚评分二分类网络训练得到，每个血流评分模块均由多个血流评分二分类网络训练得到；以及
输出模块，用于将所述多个滑膜增厚评分和所述多个血流评分输入至预设的多任务模型集成模块，得到所述用户关节的活动度评价结果。
7.根据权利要求6所述的装置，其特征在于，在将所述当前灰阶超声图像和所述当前多普勒超声图像输入至多个预先训练的滑膜增厚评分模块，得到所述用户关节的多个滑膜增厚评分，并将所述当前多普勒超声图像输入至多个预先训练的血流评分模块，得到所述用户关节的多个血流评分之前，所述评分模块，具体用于：
获取多个目标用户关节的灰阶超声图像和多普勒超声图像，并在每张图像标出感兴趣区域，并基于预设的评定策略，得到每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分；
基于所述多个目标用户关节的灰阶超声图像和多普勒超声图像、所述每个关节的目标滑膜增厚评分、目标血流评分和目标联合评分，结合预设的特征提取网络训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络，得到所述多个预先训练的滑膜增厚评分模块和所述多个预先训练的血流评分模块。
8.根据权利要求7所述的装置，其特征在于，在结合所述预设的特征提取网络训练所述多个膜增厚评分二分类网络和所述多个血流评分二分类网络之前，所述评分模块，还用于：
将所述多个目标用户关节的灰阶超声图像的感兴趣区域按照预设缩放比例，并在缩放后按照预设网格进行化划分和裁剪，得到多个图像块；
将所述多个图像块分别输入至预设的卷积神经网络，得到每个图像块的对应特征，并将所述多个图像块对应的特征按照预设排列方式拼接得到目标向量；
将所述目标向量输入至预设的多层感知机中预测排列的序号，并迭代训练所述预设的卷积神经网络，直至达到停止条件，得到所述预设的特征提取网络。
9.一种电子设备，其特征在于，包括存储器、处理器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-5中任一所述的类风湿关节炎的活动度评价方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的类风湿关节炎的活动度评价方法。
CN202211104121.1A 2022-09-09 2022-09-09 类风湿关节炎的活动度评价方法、装置、电子设备及介质 Pending CN115601303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211104121.1A CN115601303A (zh) 2022-09-09 2022-09-09 类风湿关节炎的活动度评价方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211104121.1A CN115601303A (zh) 2022-09-09 2022-09-09 类风湿关节炎的活动度评价方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN115601303A true CN115601303A (zh) 2023-01-13

Family

ID=84842261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211104121.1A Pending CN115601303A (zh) 2022-09-09 2022-09-09 类风湿关节炎的活动度评价方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115601303A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522874A (zh) * 2024-01-05 2024-02-06 北京壹点灵动科技有限公司 髋关节活动度的评估方法、装置、存储介质及电子设备
CN118351202A (zh) * 2024-04-16 2024-07-16 深圳大学 跨视图的血流成像预测方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102858991A (zh) * 2009-10-15 2013-01-02 克雷桑多生物科技公司 生物标志物及炎性疾病活动性的测量和监测方法
CN102973293A (zh) * 2011-09-06 2013-03-20 通用电气公司 基于超声的病理自动化检测、量化和追踪的方法和系统
CN110613430A (zh) * 2019-10-18 2019-12-27 中国医学科学院北京协和医院 多模态光声/超声成像的类风湿性关节炎评分系统及应用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102858991A (zh) * 2009-10-15 2013-01-02 克雷桑多生物科技公司 生物标志物及炎性疾病活动性的测量和监测方法
CN102973293A (zh) * 2011-09-06 2013-03-20 通用电气公司 基于超声的病理自动化检测、量化和追踪的方法和系统
CN110613430A (zh) * 2019-10-18 2019-12-27 中国医学科学院北京协和医院 多模态光声/超声成像的类风湿性关节炎评分系统及应用
CN111134619A (zh) * 2019-10-18 2020-05-12 中国医学科学院北京协和医院 多模态光声/超声成像的类风湿性关节炎评分系统及应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANPING ZHOU 等: ""RATING: Medical-knowledge-guided rheumatoid arthritis assessment from multimodal ultrasound images via deep learning"", 《MEDRXIV》, 16 April 2022 (2022-04-16), pages 1 - 44 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522874A (zh) * 2024-01-05 2024-02-06 北京壹点灵动科技有限公司 髋关节活动度的评估方法、装置、存储介质及电子设备
CN117522874B (zh) * 2024-01-05 2024-04-30 北京壹点灵动科技有限公司 髋关节活动度的评估方法、装置、存储介质及电子设备
CN118351202A (zh) * 2024-04-16 2024-07-16 深圳大学 跨视图的血流成像预测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US20220414464A1 (en) Method and server for federated machine learning
CN115601303A (zh) 类风湿关节炎的活动度评价方法、装置、电子设备及介质
CN108509411A (zh) 语义分析方法和装置
CN113888470B (zh) 基于卷积神经网络和多模态医学影像的诊断方法和装置
US11471096B2 (en) Automatic computerized joint segmentation and inflammation quantification in MRI
KR102261473B1 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
KR102119057B1 (ko) 골절 진단모델의 학습 방법 및 장치
EP3680821A1 (en) Learning program, learning device and learning method
CN110111885A (zh) 属性预测方法、装置、计算机设备及计算机可读存储介质
CN112949654A (zh) 图像检测方法及相关装置、设备
US20220121902A1 (en) Method and apparatus for quality prediction
KR20220007030A (ko) 관심영역별 골 성숙 분포를 이용한 성장 분석 예측 장치 및 방법
US20220384035A1 (en) Automatic condition diagnosis using an attention-guided framework
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115410717A (zh) 模型训练方法、数据检索方法、影像数据检索方法和装置
CN116269507B (zh) 高尿酸血症和痛风性肾病分类方法、装置和电子设备
CN109902729B (zh) 基于序列状态演进的行为预测方法及装置
US20220245430A1 (en) Method and system for confidence estimation of a trained deep learning model
CN115089112B (zh) 卒中后认知障碍风险评估模型建立方法、装置及电子设备
CN116883725A (zh) 三维医学影像疾病类别分类方法及装置
CN110147830B (zh) 训练影像数据生成网络的方法、影像数据分类方法及装置
WO2023089589A1 (en) A contrast enhancing agent for diagnostic imaging methods and systems
CN114974560A (zh) 肿瘤良恶性智能诊断装置、设备及存储介质
CN112053319B (zh) 图像处理的方法和装置
US12039728B2 (en) Uncertainty-aware deep reinforcement learning for anatomical landmark detection in medical images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination