Nothing Special   »   [go: up one dir, main page]

CN113838027A - 基于图像处理获取目标图像元素的方法及系统 - Google Patents

基于图像处理获取目标图像元素的方法及系统 Download PDF

Info

Publication number
CN113838027A
CN113838027A CN202111114031.6A CN202111114031A CN113838027A CN 113838027 A CN113838027 A CN 113838027A CN 202111114031 A CN202111114031 A CN 202111114031A CN 113838027 A CN113838027 A CN 113838027A
Authority
CN
China
Prior art keywords
image
convolution
sample
image group
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111114031.6A
Other languages
English (en)
Inventor
刘金勇
黄志俊
钱坤
张胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lancet Robotics Co Ltd
Original Assignee
Lancet Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lancet Robotics Co Ltd filed Critical Lancet Robotics Co Ltd
Priority to CN202111114031.6A priority Critical patent/CN113838027A/zh
Publication of CN113838027A publication Critical patent/CN113838027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图像处理获取目标图像元素的方法及系统，其中方法包括：获取与目标对象相关联的待处理的图像组，对所述待处理的图像组进行数据预处理以获得经过预处理的图像组；对经过预处理的图像组进行图像识别以确定多个图像文件，利用神经网络对多个图像文件进行图像处理，以获得多个目标图像区域；基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模图像；以及基于每个掩模图像对相关联的目标图像区域进行掩码操作，从而获得与目标对象相关联的多个目标图像元素。

Description

基于图像处理获取目标图像元素的方法及系统
技术领域
本发明涉及图像数据处理技术领域，并且更具体地说，涉及一种基于图像处理获取目标图像元素的方法及系统、以及存储介质和电子设备。此外本发明还涉及基于3D深度学习的辅助诊断用图像数据处理系统及方法。
背景技术
随着计算机数据处理能力的加快和人工智能技术的成熟，医生越来越多地使用数字图像来进行辅助诊断治疗。X光检查是一种有效筛查疾病的传统方法，但是因为医学成像技术的限制和成像物体的特殊性，以及医学图像固有的特点，如灰度不均匀、影像相互重叠、噪声大且边界模糊等，使医学图像的分割充满挑战。
目前，X线片骨组织的分割主要靠医生手工标记，不仅耗时耗力而且分割结果难以复现，准确率不稳定。并且，医院的患者产生了大量的医学影像图片需要医生对其进行细致的分析，设备对人体进行扫描之后得到相应的影像数据，再将其打印到胶片或输出到显示屏幕，通常的处理方法是医生用肉眼进行观察。一方面，这种重复性的工作对于影像科室的医务人员来说是一个繁琐且艰巨的任务，国内巨大的患者需求已经很难得到满足；另一方面，这种主要靠医生肉眼去判断的诊断结果受到一定主观因素和能力的影响，特别是在一些医疗水平很有限的地区或基层医院，医学成像设备在临床上的应用受到一定程度的限制。
计算机技术一方面使得临床医生能够更加方便快捷地查看病变组织和结构以帮助医生对病情进行分析和判断，另一方面为医生提供更加准确的诊断报告并降低误诊率成为可能。
随着计算机硬件不断发展，处理器在运算速度方面得到很大的提升，人工智能技术在计算机研究领域不断地取得突破，特别是深度学习广泛地应用于计算机视觉、计算音频分析、自然语言处理等多个领域，也为计算机辅助诊断治疗的发展提供了很好的机会。医学图像处理作为国内外研究热点，其发展能够很大程度地解决临床上医生解读数字图像任务艰巨的问题，从而减轻医生阅片负担，也能够提高医生的诊断准确率并降低误诊率，具有非常重要的研究意义。
首先需要解决的重要问题是医学图像分割，医生对病人病情的分析和诊断等都取决于分割的准确性，它不但是医学图像处理中的一个关键环节，也是医学图像处理问题的基础和瓶颈。
人体的结构非常复杂，每个人之间也有很大的差异，分割组织既是一项富有挑战性的工作，也具有十分重要的现实意义。X线片中骨组织的分割是骨折诊断治疗、评价骨骼成熟度、骨密度测量和手术前的治疗计划等的主要步骤，虽然已经有一些算法来解决X线片上的骨组织分割问题，但因为医学成像技术的限制和成像物体的特殊性，还有医学图像固有的特点，如灰度不均匀、影像相互重叠、噪声大且边界模糊等，使医学图像的分割充满挑战。
由此可知，现有技术中存在对于基于图像处理获取目标图像元素的技术方案的需求。
发明内容
为了解决现有技术中的问题，本发明提供了一种医疗图像识别深度学习计算机系统及方法，该系统先从宏观上对图像区域自动分割总体框架的设计，然后分步骤具体设计与实现，包括数据预处理、神经网络训练与测试和图像后处理三个主要的步骤组成，并结合了PyCharm软件、MITK软件、MatLab软件、Mimics软件)。
根据一个方面，本发明提供了一种基于图像处理获取目标图像元素的方法，其特征在于，所述方法包括：
获取与目标对象相关联的待处理的图像组，对所述待处理的图像组进行数据预处理以获得经过预处理的图像组；
对经过预处理的图像组进行图像识别以确定多个图像文件，利用神经网络对多个图像文件进行图像处理，以获得多个目标图像区域；
基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模图像；以及
基于每个掩模图像对相关联的目标图像区域进行掩码操作，从而获得与目标对象相关联的多个目标图像元素。
优选地，所述待处理的图像组包括多个图像文件，其中每个图像文件具有图像区域并且图像区域中包含目标对象。
优选地，其中对所述待处理的图像组进行数据预处理以获得经过预处理的图像组包括：
对所述待处理的图像组进行数据清洗，以获得经过数据清洗的图像组；
对经过数据清洗的图像组进行归一化处理，以获得经过归一化处理的图像组；以及
对经过归一化处理的图像组进行数据增强，从而获得经过预处理的图像组。
优选地，其中对所述待处理的图像组进行数据清洗包括：
将待处理的图像组的文件格式转换为预先设定的文件格式，以获得预先设定的文件格式的图像组；
对预先设定的文件格式的图像组进行图像识别，以确定预先设定的文件格式的图像组中是否存在不符合预设要求的图像文件；
如果存在，则将不符合预设要求的图像文件删除，以获得经过数据清洗的图像组。
优选地，其中对经过数据清洗的图像组进行归一化处理包括：
确定经过数据清洗的图像组内多个图像文件中的每个图像文件的分辨率；
获取预先设置的标准分辨率，利用预设内容对分辨率低于标准分辨率的图像文件进行边缘填充，以使得经过数据清洗的图像组中多个图像文件的每个图像文件的分辨率均为标准分辨率；
将每个图像文件的分辨率从标准分辨率调整为压缩分辨率。
优选地，在获得经过归一化处理的图像组之后还包括，对经过归一化处理的图像组中的每个图像文件进行二值化处理。
优选地，所述对经过归一化处理的图像组进行数据增强包括：
对经过归一化处理的图像组中的每个图像文件进行对比度调节、亮度调节和/或色度调节，以获得经过数据增强的多个图像文件；
将经过数据增强的多个图像文件构成经过预处理的图像组。
优选地，其中每个图像文件对应于一个目标图像区域。
优选地，其中基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模图像包括：
基于目标对象的结构特征确定目标对象在每个目标图像区域中的区域轮廓；
基于目标对象在每个目标图像区域中的区域轮廓对连通区域进行填充，以获得目标对象与每个目标图像区域相关联的掩模图像。
优选地，在利用神经网络对多个图像文件进行图像处理之前还包括，对神经网络进行训练。
优选地，其中对神经网络进行训练包括：
步骤1、对神经网络的多个网络参数进行初始化；
步骤2、获取用于对神经网络进行训练的训练样本集，基于所设置的批尺寸将训练样本集中的训练样本划分为多个训练样本子集，将每个训练样本子集输入到神经网络；
步骤3、对训练样本子集进行前向传播，直到神经网络的最后一层输出为止进行迭代训练，计算神经网络的输出损失；
步骤4、确定迭代次数是否等于次数阈值，如果否，则进行步骤5，通过损失函数进行反向传播，逐层更新每个网络参数的权重和偏差值，进行步骤2；
如果是，则进行步骤6，获得经过训练的神经网络。
优选地，在对神经网络进行训练之前还包括，
获取与目标对象相关联的多个样本图像组，对每个样本图像组进行数据预处理以获得经过预处理的多个样本图像组；
对经过预处理的每个样本图像组进行图像识别以确定多个样本图像文件，用标签对每个样本图像文件进行标注以获得具有标签的多个样本图像文件，其中标签包括训练标识和测试标识；
基于标签将多个样本图像文件划分为训练样本集和测试样本集。
优选地，对每个样本图像组进行数据预处理以获得经过预处理的多个样本图像组包括：
对所述每个样本图像组进行数据清洗，以获得经过数据清洗的样本图像组；
对每个经过数据清洗的样本图像组进行归一化处理，以获得经过归一化处理的样本图像组；以及
对每个经过归一化处理的样本图像组进行数据增强，从而获得经过预处理的多个样本图像组。
优选地，其中对所述每个样本图像组进行数据清洗包括：
将每个样本图像组的文件格式转换为预先设定的文件格式，以获得预先设定的文件格式的样本图像组；
对预先设定的文件格式的样本图像组进行图像识别，以确定预先设定的文件格式的样本图像组中是否存在不符合预设要求的样本图像文件；
如果存在，则将不符合预设要求的样本图像文件删除，以获得经过数据清洗的样本图像组。
优选地，其中对每个经过数据清洗的样本图像组进行归一化处理包括：
确定每个经过数据清洗的样本图像组内多个样本图像文件中的每个样本图像文件的分辨率；
获取预先设置的标准分辨率，利用预设内容对分辨率低于标准分辨率的样本图像文件进行边缘填充，以使得经过数据清洗的样本图像组中多个样本图像文件的每个样本图像文件的分辨率均为标准分辨率；
将每个样本图像文件的分辨率从标准分辨率调整为压缩分辨率。
优选地，在获得经过归一化处理的样本图像组之后还包括，对经过归一化处理的样本图像组中的每个样本图像文件进行二值化处理。
优选地，所述对每个经过归一化处理的样本图像组进行数据增强包括：
对经过归一化处理的样本图像组中的每个样本图像文件进行对比度调节、亮度调节和/或色度调节，以获得经过数据增强的多个样本图像文件；
将经过数据增强的多个样本图像文件构成经过预处理的样本图像组。
优选地，还包括，利用测试样本集对经过训练的神经网络进行测试，以获得经过测试的神经网络。
优选地，所述神经网络用于获取输入的图像文件，构建用于输出的预定尺寸的卷积图像文件，其中输出的预定尺寸的卷积图像文件是能够进行缩放处理的图像文件并且是具有相同长度和宽度的图像文件，其中神经网络的输入层的批尺寸的参数为2的整数次幂；
将卷积图像文件作为输入以构建输入卷积层，进行有填充的卷积和批标准化BN，然后使用带泄露修正线性单元函数LeakyReLU进行激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第一卷积结果；其中二维卷积为3×3二维卷积；
将第一卷积结果作为输入构建第一次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第二卷积结果；
将第二卷积结果作为输入构建第二次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第三卷积结果；
将第三卷积结果作为输入构建第三次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第四卷积结果；
将第四卷积结果作为输入构建第四次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第五卷积结果；
将第五卷积结果进行上采样然后和第四卷积结果进行特征融合以输出为第一上采样，然后将第一上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第一上采样进行堆叠，输出第六卷积结果；
将第六卷积结果进行上采样然后和第三卷积结果进行特征融合以输出第二上采样，然后将第二上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第二上采样进行堆叠，输出第七卷积结果；
将第七卷积结果进行上采样然后和第二卷积结果进行特征融合以输出第三上采样，然后将第三上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第三上采样进行堆叠，输出第八卷积结果；
将第八卷积结果进行上采样然后和第一卷积结果进行特征融合以输出第四上采样，然后将第四上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和第四上采样进行堆叠，输出第九卷积结果；
将第九卷积结果作为输入以构建输出层，进行一次1x1卷积，使用sigmoid激活，输出图像文件。
根据另一方面，本发明提供一种基于图像处理获取目标图像元素的系统，其特征在于，所述系统包括：
预处理装置，用于获取与目标对象相关联的待处理的图像组，对所述待处理的图像组进行数据预处理以获得经过预处理的图像组；
识别装置，用于对经过预处理的图像组进行图像识别以确定多个图像文件，利用神经网络对多个图像文件进行图像处理，以获得多个目标图像区域；
填充装置，用于基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模图像；以及
处理装置，用于基于每个掩模图像对相关联的目标图像区域进行掩码操作，从而获得与目标对象相关联的多个目标图像元素。
根据再一方面，本发明提供一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。
根据再一方面，本发明提供一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一所述的方法。
针对目前X线片骨组织分割主要靠医生手工标记耗时且准确率不稳定的问题，本发明使用结合深度残差网络和U-Net架构优势的R·U·Net神经网络，并将其应用于股骨区域自动分割，提出并实现了股骨区域自动分割框架，实现了端到端批量X线片股骨区域的完全自动化分割，提升了分割精度与效率。
附图说明
图1示出根据本发明实施例的基于图像处理获取目标图像元素的方法的流程图；
图2示出根据本发明实施例的对图像进行自动分割的方法的流程图；
图3示出根据本发明实施例的图像筛选的示意图；
图4示出根据本发明实施例的经过处理的图像的示意图；
图5示出根据本发明实施例的网络基础结构的示意图；
图6示出根据本发明实施例的神经网络的示意图；
图7示出根据本发明实施例的训练过程的示意图；
图8示出根据本发明实施例的原始图像、掩模图以及完整的股骨区域图像的示意图；
图9示出根据本发明实施例的基于图像处理获取目标图像元素的系统的结构示意图。
具体实施方式
下面结合附图详细描述本发明的示例性实施例。下文描述的和附图示出的示例性实施例旨在教导本发明的原理，使本领域技术人员能够在若干不同环境中和对于若干不同应用实施和使用本发明。因此，本发明的保护范围由所附的权利要求来限定，示例性实施例并不意在、并且不应该被认为是对本发明保护的范围的限制性描述。
卷积网络已经存在了很长时间，但是训练集数据规模和网络的深度也对其造成了很大的限制。在医学当中，样本数量往往很难达到数据的要求，技术人员使用U_Net网络这种基于小样本训练数据的网络，通过获取上下文信息可以很好的对图像的边缘特征产生更加精准的分割。但是在每一次卷积都导致边缘像素不完整。随着网络的迭代训练会存在网络退化的问题，更深层次的神经网络更不易于训练，而残差学习可以简化网络的训练使其更容易优化，使得网络可以达到比之前更深的层次，同时可以加深网络层次去获得更好的准确性。
图1示出根据本发明实施例的基于图像处理获取目标图像元素的方法100的流程图。方法100从步骤101处开始。
在步骤101，获取与目标对象相关联的待处理的图像组，对所述待处理的图像组进行数据预处理以获得经过预处理的图像组。其中待处理的图像组包括多个图像文件，其中每个图像文件具有图像区域并且图像区域中包含目标对象。
根据一个实施例，对所述待处理的图像组进行数据预处理以获得经过预处理的图像组包括：对所述待处理的图像组进行数据清洗，以获得经过数据清洗的图像组；对经过数据清洗的图像组进行归一化处理，以获得经过归一化处理的图像组；以及对经过归一化处理的图像组进行数据增强，从而获得经过预处理的图像组。
根据一个实施例，对所述待处理的图像组进行数据清洗包括：将待处理的图像组的文件格式转换为预先设定的文件格式，以获得预先设定的文件格式的图像组；对预先设定的文件格式的图像组进行图像识别，以确定预先设定的文件格式的图像组中是否存在不符合预设要求的图像文件；如果存在，则将不符合预设要求的图像文件删除，以获得经过数据清洗的图像组。
根据一个实施例，其中对经过数据清洗的图像组进行归一化处理包括：确定经过数据清洗的图像组内多个图像文件中的每个图像文件的分辨率；获取预先设置的标准分辨率，利用预设内容对分辨率低于标准分辨率的图像文件进行边缘填充，以使得经过数据清洗的图像组中多个图像文件的每个图像文件的分辨率均为标准分辨率；将每个图像文件的分辨率从标准分辨率调整为压缩分辨率。
根据一个实施例，在获得经过归一化处理的图像组之后还包括，对经过归一化处理的图像组中的每个图像文件进行二值化处理。其中对经过归一化处理的图像组进行数据增强包括：对经过归一化处理的图像组中的每个图像文件进行对比度调节、亮度调节和/或色度调节，以获得经过数据增强的多个图像文件；将经过数据增强的多个图像文件构成经过预处理的图像组。
在步骤102，对经过预处理的图像组进行图像识别以确定多个图像文件，利用神经网络对多个图像文件进行图像处理，以获得多个目标图像区域。根据一个实施例，每个图像文件对应于一个目标图像区域。在利用神经网络对多个图像文件进行图像处理之前还包括，对神经网络进行训练。
根据一个实施例，对神经网络进行训练包括：
步骤1、对神经网络的多个网络参数进行初始化；
步骤2、获取用于对神经网络进行训练的训练样本集，基于所设置的批尺寸将训练样本集中的训练样本划分为多个训练样本子集，将每个训练样本子集输入到神经网络；
步骤3、对训练样本子集进行前向传播，直到神经网络的最后一层输出为止进行迭代训练，计算神经网络的输出损失；
步骤4、确定迭代次数是否等于次数阈值，如果否，则进行步骤5，通过损失函数进行反向传播，逐层更新每个网络参数的权重和偏差值，进行步骤2；
如果是，则进行步骤6，获得经过训练的神经网络。
根据一个实施例，在对神经网络进行训练之前还包括，获取与目标对象相关联的多个样本图像组，对每个样本图像组进行数据预处理以获得经过预处理的多个样本图像组；对经过预处理的每个样本图像组进行图像识别以确定多个样本图像文件，用标签对每个样本图像文件进行标注以获得具有标签的多个样本图像文件，其中标签包括训练标识和测试标识；基于标签将多个样本图像文件划分为训练样本集和测试样本集。
根据一个实施例，对每个样本图像组进行数据预处理以获得经过预处理的多个样本图像组包括：对所述每个样本图像组进行数据清洗，以获得经过数据清洗的样本图像组；对每个经过数据清洗的样本图像组进行归一化处理，以获得经过归一化处理的样本图像组；以及对每个经过归一化处理的样本图像组进行数据增强，从而获得经过预处理的多个样本图像组。
根据一个实施例，对所述每个样本图像组进行数据清洗包括：将每个样本图像组的文件格式转换为预先设定的文件格式，以获得预先设定的文件格式的样本图像组；对预先设定的文件格式的样本图像组进行图像识别，以确定预先设定的文件格式的样本图像组中是否存在不符合预设要求的样本图像文件；如果存在，则将不符合预设要求的样本图像文件删除，以获得经过数据清洗的样本图像组。
根据一个实施例，对每个经过数据清洗的样本图像组进行归一化处理包括：确定每个经过数据清洗的样本图像组内多个样本图像文件中的每个样本图像文件的分辨率；获取预先设置的标准分辨率，利用预设内容对分辨率低于标准分辨率的样本图像文件进行边缘填充，以使得经过数据清洗的样本图像组中多个样本图像文件的每个样本图像文件的分辨率均为标准分辨率；将每个样本图像文件的分辨率从标准分辨率调整为压缩分辨率。
根据一个实施例，在获得经过归一化处理的样本图像组之后还包括，对经过归一化处理的样本图像组中的每个样本图像文件进行二值化处理。根据一个实施例，所述对每个经过归一化处理的样本图像组进行数据增强包括：对经过归一化处理的样本图像组中的每个样本图像文件进行对比度调节、亮度调节和/或色度调节，以获得经过数据增强的多个样本图像文件；将经过数据增强的多个样本图像文件构成经过预处理的样本图像组。根据一个实施例，还包括，利用测试样本集对经过训练的神经网络进行测试，以获得经过测试的神经网络。
在步骤103，基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模(mask,掩膜)图像。根据一个实施例，其中基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模图像包括：基于目标对象的结构特征确定目标对象在每个目标图像区域中的区域轮廓；基于目标对象在每个目标图像区域中的区域轮廓对连通区域进行填充，以获得目标对象与每个目标图像区域相关联的掩模图像。
在步骤104，基于每个掩模图像对相关联的目标图像区域进行掩码操作，从而获得与目标对象相关联的多个目标图像元素。
根据一个实施例，所述神经网络用于获取输入的图像文件，构建用于输出的预定尺寸的卷积图像文件，其中输出的预定尺寸的卷积图像文件是能够进行缩放处理的图像文件并且是具有相同长度和宽度的图像文件，其中神经网络的输入层的批尺寸的参数为2的整数次幂；
将卷积图像文件作为输入以构建输入卷积层，进行有填充的卷积和批标准化BN，然后使用带泄露修正线性单元函数LeakyReLU进行激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第一卷积结果；其中二维卷积为3×3二维卷积；
将第一卷积结果作为输入构建第一次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第二卷积结果；
将第二卷积结果作为输入构建第二次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第三卷积结果；
将第三卷积结果作为输入构建第三次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第四卷积结果；
将第四卷积结果作为输入构建第四次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第五卷积结果；
将第五卷积结果进行上采样然后和第四卷积结果进行特征融合以输出为第一上采样，然后将第一上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第一上采样进行堆叠，输出第六卷积结果；
将第六卷积结果进行上采样然后和第三卷积结果进行特征融合以输出第二上采样，然后将第二上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第二上采样进行堆叠，输出第七卷积结果；
将第七卷积结果进行上采样然后和第二卷积结果进行特征融合以输出第三上采样，然后将第三上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第三上采样进行堆叠，输出第八卷积结果；
将第八卷积结果进行上采样然后和第一卷积结果进行特征融合以输出第四上采样，然后将第四上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和第四上采样进行堆叠，输出第九卷积结果；
将第九卷积结果作为输入以构建输出层，进行一次1x1卷积，使用sigmoid激活，输出图像文件。
在本申请中，通过U_Net和残差快的结合构建的R_U_Net神经网络简化了深度网络训练。残差单元的使用有利于信息传播而不会退化，在图像分割上表现出更好的性能。其中U_Net采用的是一个包含下采样和上采样的网络结构。
使用R_U_Net神经网络不仅可以简化训练，使网络参数仅占U_Net的四分之一，而且能够最大程度地提升网络性能。
图2示出根据本发明实施例的对图像进行自动分割的方法的流程图。本发明实现了如图2所示的股骨区域自动分割框架，将提出的R_U_Net神经网络应用于股骨区域自动分割。横向可分为神经网络训练阶段和批量自动分割阶段两个主要阶段。纵向可分为数据预处理、神经网络训练与测试和图像后处理三个主要部分。首先，对原图像预处理后标注目标区域制作标签图，并对训练集进行数据增强。接着将其输入到R_U_Net神经网络充分训练调参，保存优化后的网络模型。最后将待分割的测试图像输入到保存的网络模型中得到股骨区域的轮廓，填充连通区域后进行自定义掩码操作得到股骨区域的分割结果，实现了端到端X线片股骨的完全自动化分割。
如图2所示，自动分割总体框架：首先对原始数据做归一化处理，二值化，然后进行数据增强，输入到神经网络当中进行优化训练，保存训练好的模型；在自动分割的时候输入原始图像，先进行数据处理，然后输入之前保存好的网络模型，在进行训练之后对目标区域轮廓进行开操作得到掩模图和原始图片就进行掩码操作，最后分割输出。
随后的数据预处理包括：获取成组分类的原始医学图像组，其中，原始医学图像组为X线片；首先对X线片原图像进行数据清洗，再将整个数据集归一化到同一大小，然后对其进行二值化处理，其次标注一部分样本的股骨区域制作标签图形成训练集，标注剩余样本的标签图作为测试集，最后实现训练集的数据增强增加训练样本。
具体地，数据预处理包括：
2.1数据清洗
X线片的数据是DICOM格式的数据文件，首先将其读取保存为jpg格式。然后去除一些不符合要求的图片，例如打钉子的图片等。然后将符合的图片筛选出来。如图3所示，第一行是正常图片，第二行是带钉子图片。图3示出根据本发明实施例的图像筛选的示意图。
2.2归一化
原图像的分辨率大致为(2048*2560)左右，为了不改变原图像的纵横比例，我们首先批量将图像用背景色即黑色进行边缘填充，统一到(2560*2560)大小分辨率。对和标准不一致的图像，边缘补零后填充成分辨率为(2560*2560)的图像。然后，为了减小神经网络输入的维度，从而减轻网络训练的难度并节省硬件资源，批量将所有标准化到(2560*2560)分辨率的图像等比例伸缩到(512*512)分辨率。
在归一化之后对图片进行二值处理，因为计算机处理性能的限制，我们要简化图像，凸显感兴趣区域的图像特征，要对图像进行二值处理。如图4所示，第一行是归一化后的图像，第二行是对应的是二值化后的图像。图4示出根据本发明实施例的经过处理的图像的示意图
2.3数据增强
为了扩大数据集，使用随机裁剪，翻转或者镜像，旋转，调节对比度或者亮度，色度等方法进行数据增强。
随后，进行神经网络训练预测：将训练集输入到R_U_Net神经网络，充分学习神经网络输入到输出的映射关系，通过不断迭代优化各个网络层参数，将优化后的网络模型保存下来备用。
然后将测试集中任意多张预分割图像进行和训练数据一样的预处理，输入到保存的R_U_Net神经网络模型中，得到股骨区域的轮廓。图5示出根据本发明实施例的网络基础结构的示意图。图5的网络使用残差块和U_Net网络结合，图7用到前向传播和反向传播算法。
图7示出根据本发明实施例的训练过程的示意图。如图7所示在训练中，输入图片，初始化所有的网络参数，选择batch大小的样本输入到网络当中进行训练，首先进行前向传播，直到最后一层输出，判断迭代次数是否达到要求，如果小于预设的值，那么通过loss损失进行反向传播，逐层更新参数权重与偏差，继续迭代训练，直到满足迭代次数之后，那么网络训练结束，保存训练好的网络。然后在测试当中根据已经训练好的网络的参数前向传播计算网络的输出，然后和标签进行对比以统计结果。
图6示出根据本发明实施例的神经网络的示意图。图6网络当中包括：获取输入的图像，构建输出卷积图像，输出图像大小为512x512，可对卷积图像进行缩放处理，输出相同长宽的图像，输入层批尺寸参数为2的整数次幂，比如16，32，64等。
将卷积图像作为输入构建输入卷积层，进行有填充的卷积，BN(BatchNormalization)，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出卷积结果一。本实施例中的二维卷积如无特殊说明均为3×3二维卷积(Conv2D)。
将卷积结果一作为输入构建第一次卷积层，进行有填充的卷积，BN(BatchNormalization)，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出卷积结果二；
将卷积结果二作为输入构建第二次卷积层，进行有填充的卷积，BN(BatchNormalization)，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出卷积结果三；
将卷积结果三作为输入构建第三次卷积层，进行有填充的卷积，BN(BatchNormalization)，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出卷积结果四；
将卷积结果四作为输入构建第四次卷积层，进行有填充的卷积，BN(BatchNormalization)，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出卷积结果五；
将卷积结果五进行上采样，然后和卷积结果四进行特征融合，输出结果为上采样一，然后将上采样一进行有填充的卷积，BN(Batch Normalization)，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和上采样一进行堆叠，输出卷积结果六；
将卷积结果六进行上采样，然后和卷积结果三进行特征融合，输出结果为上采样二，然后将上采样二进行有填充的卷积，BN(Batch Normalization)，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和上采样二进行堆叠，输出卷积结果七；
将卷积结果七进行上采样，然后和卷积结果二进行特征融合，输出结果为上采样三，然后将上采样三进行有填充的卷积，BN(Batch Normalization)，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和上采样三进行堆叠，输出卷积结果八；
将卷积结果八进行上采样，然后和卷积结果一进行特征融合，输出结果为上采样四，然后将上采样四进行有填充的卷积，BN(Batch Normalization)，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和上采样四进行堆叠，输出卷积结果九；
将卷积结果九作为输入构建输出层，进行一次1x1卷积，使用sigmoid激活，输出图像。
最后，进行图像后处理：测试数据集通过神经网络测试后，对得到的股骨区域轮廓进行开操作使其连续性更好，再填充连通区域内部得到掩模图，最后进行掩码操作，得到最终的股骨区域分割图像.
如图8所示：第一行是归一化后的原始图像，第二行是上一步骤所得到的掩模图，将这两者进行自定义掩码操作，便能得到第三行所示完整的股骨区域图像。
图9示出根据本发明实施例的基于图像处理获取目标图像元素的系统的结构示意图。系统900包括：预处理装置901、识别装置902、填充装置903以及处理装置904。
预处理装置901用于获取与目标对象相关联的待处理的图像组，对所述待处理的图像组进行数据预处理以获得经过预处理的图像组。其中待处理的图像组包括多个图像文件，其中每个图像文件具有图像区域并且图像区域中包含目标对象。
根据一个实施例，预处理装置901对所述待处理的图像组进行数据预处理以获得经过预处理的图像组包括：对所述待处理的图像组进行数据清洗，以获得经过数据清洗的图像组；对经过数据清洗的图像组进行归一化处理，以获得经过归一化处理的图像组；以及对经过归一化处理的图像组进行数据增强，从而获得经过预处理的图像组。
根据一个实施例，预处理装置901对所述待处理的图像组进行数据清洗包括：将待处理的图像组的文件格式转换为预先设定的文件格式，以获得预先设定的文件格式的图像组；对预先设定的文件格式的图像组进行图像识别，以确定预先设定的文件格式的图像组中是否存在不符合预设要求的图像文件；如果存在，则将不符合预设要求的图像文件删除，以获得经过数据清洗的图像组。
根据一个实施例，预处理装置901对经过数据清洗的图像组进行归一化处理包括：确定经过数据清洗的图像组内多个图像文件中的每个图像文件的分辨率；获取预先设置的标准分辨率，利用预设内容对分辨率低于标准分辨率的图像文件进行边缘填充，以使得经过数据清洗的图像组中多个图像文件的每个图像文件的分辨率均为标准分辨率；将每个图像文件的分辨率从标准分辨率调整为压缩分辨率。
根据一个实施例，预处理装置901在获得经过归一化处理的图像组之后还包括，对经过归一化处理的图像组中的每个图像文件进行二值化处理。其中对经过归一化处理的图像组进行数据增强包括：对经过归一化处理的图像组中的每个图像文件进行对比度调节、亮度调节和/或色度调节，以获得经过数据增强的多个图像文件；将经过数据增强的多个图像文件构成经过预处理的图像组。
识别装置902，用于对经过预处理的图像组进行图像识别以确定多个图像文件，利用神经网络对多个图像文件进行图像处理，以获得多个目标图像区域。根据一个实施例，每个图像文件对应于一个目标图像区域。在利用神经网络对多个图像文件进行图像处理之前还包括，对神经网络进行训练。
根据一个实施例，识别装置902对神经网络进行训练包括：
步骤1、对神经网络的多个网络参数进行初始化；
步骤2、获取用于对神经网络进行训练的训练样本集，基于所设置的批尺寸将训练样本集中的训练样本划分为多个训练样本子集，将每个训练样本子集输入到神经网络；
步骤3、对训练样本子集进行前向传播，直到神经网络的最后一层输出为止进行迭代训练，计算神经网络的输出损失；
步骤4、确定迭代次数是否等于次数阈值，如果否，则进行步骤5，通过损失函数进行反向传播，逐层更新每个网络参数的权重和偏差值，进行步骤2；
如果是，则进行步骤6，获得经过训练的神经网络。
根据一个实施例，在对神经网络进行训练之前还包括，识别装置902获取与目标对象相关联的多个样本图像组，对每个样本图像组进行数据预处理以获得经过预处理的多个样本图像组；对经过预处理的每个样本图像组进行图像识别以确定多个样本图像文件，用标签对每个样本图像文件进行标注以获得具有标签的多个样本图像文件，其中标签包括训练标识和测试标识；基于标签将多个样本图像文件划分为训练样本集和测试样本集。
根据一个实施例，识别装置902对每个样本图像组进行数据预处理以获得经过预处理的多个样本图像组包括：对所述每个样本图像组进行数据清洗，以获得经过数据清洗的样本图像组；对每个经过数据清洗的样本图像组进行归一化处理，以获得经过归一化处理的样本图像组；以及对每个经过归一化处理的样本图像组进行数据增强，从而获得经过预处理的多个样本图像组。
根据一个实施例，识别装置902对所述每个样本图像组进行数据清洗包括：将每个样本图像组的文件格式转换为预先设定的文件格式，以获得预先设定的文件格式的样本图像组；对预先设定的文件格式的样本图像组进行图像识别，以确定预先设定的文件格式的样本图像组中是否存在不符合预设要求的样本图像文件；如果存在，则将不符合预设要求的样本图像文件删除，以获得经过数据清洗的样本图像组。
根据一个实施例，识别装置902对每个经过数据清洗的样本图像组进行归一化处理包括：确定每个经过数据清洗的样本图像组内多个样本图像文件中的每个样本图像文件的分辨率；获取预先设置的标准分辨率，利用预设内容对分辨率低于标准分辨率的样本图像文件进行边缘填充，以使得经过数据清洗的样本图像组中多个样本图像文件的每个样本图像文件的分辨率均为标准分辨率；将每个样本图像文件的分辨率从标准分辨率调整为压缩分辨率。
根据一个实施例，在获得经过归一化处理的样本图像组之后还包括，识别装置902对经过归一化处理的样本图像组中的每个样本图像文件进行二值化处理。根据一个实施例，所述对每个经过归一化处理的样本图像组进行数据增强包括：对经过归一化处理的样本图像组中的每个样本图像文件进行对比度调节、亮度调节和/或色度调节，以获得经过数据增强的多个样本图像文件；将经过数据增强的多个样本图像文件构成经过预处理的样本图像组。根据一个实施例，还包括，利用测试样本集对经过训练的神经网络进行测试，以获得经过测试的神经网络。
填充装置903，用于基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模图像。根据一个实施例，其中基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模图像包括：基于目标对象的结构特征确定目标对象在每个目标图像区域中的区域轮廓；基于目标对象在每个目标图像区域中的区域轮廓对连通区域进行填充，以获得目标对象与每个目标图像区域相关联的掩模图像。
处理装置904，用于基于每个掩模图像对相关联的目标图像区域进行掩码操作，从而获得与目标对象相关联的多个目标图像元素。
根据一个实施例，所述神经网络用于获取输入的图像文件，构建用于输出的预定尺寸的卷积图像文件，其中输出的预定尺寸的卷积图像文件是能够进行缩放处理的图像文件并且是具有相同长度和宽度的图像文件，其中神经网络的输入层的批尺寸的参数为2的整数次幂；
将卷积图像文件作为输入以构建输入卷积层，进行有填充的卷积和批标准化BN，然后使用带泄露修正线性单元函数LeakyReLU进行激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第一卷积结果；其中二维卷积为3×3二维卷积；
将第一卷积结果作为输入构建第一次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第二卷积结果；
将第二卷积结果作为输入构建第二次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第三卷积结果；
将第三卷积结果作为输入构建第三次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第四卷积结果；
将第四卷积结果作为输入构建第四次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第五卷积结果；
将第五卷积结果进行上采样然后和第四卷积结果进行特征融合以输出为第一上采样，然后将第一上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第一上采样进行堆叠，输出第六卷积结果；
将第六卷积结果进行上采样然后和第三卷积结果进行特征融合以输出第二上采样，然后将第二上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第二上采样进行堆叠，输出第七卷积结果；
将第七卷积结果进行上采样然后和第二卷积结果进行特征融合以输出第三上采样，然后将第三上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第三上采样进行堆叠，输出第八卷积结果；
将第八卷积结果进行上采样然后和第一卷积结果进行特征融合以输出第四上采样，然后将第四上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和第四上采样进行堆叠，输出第九卷积结果；
将第九卷积结果作为输入以构建输出层，进行一次1x1卷积，使用sigmoid激活，输出图像文件。
尽管已经参考各种具体实施例描述了本发明，但是应当理解，可以在所描述的发明构思的精神和范围内做出变形。因此，意图是本发明不限于所描述的实施例，而是将具有由所附权利要求的语言所定义的全部范围。

Claims (22)

1.一种基于图像处理获取目标图像元素的方法，其特征在于，所述方法包括：
获取与目标对象相关联的待处理的图像组，对所述待处理的图像组进行数据预处理以获得经过预处理的图像组；
对经过预处理的图像组进行图像识别以确定多个图像文件，利用神经网络对多个图像文件进行图像处理，以获得多个目标图像区域；
基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模图像；以及
基于每个掩模图像对相关联的目标图像区域进行掩码操作，从而获得与目标对象相关联的多个目标图像元素。
2.根据权利要求1所述的方法，所述待处理的图像组包括多个图像文件，其中每个图像文件具有图像区域并且图像区域中包含目标对象。
3.根据权利要求1所述的方法，其中对所述待处理的图像组进行数据预处理以获得经过预处理的图像组包括：
对所述待处理的图像组进行数据清洗，以获得经过数据清洗的图像组；
对经过数据清洗的图像组进行归一化处理，以获得经过归一化处理的图像组；以及
对经过归一化处理的图像组进行数据增强，从而获得经过预处理的图像组。
4.根据权利要求3所述的方法，其中对所述待处理的图像组进行数据清洗包括：
将待处理的图像组的文件格式转换为预先设定的文件格式，以获得预先设定的文件格式的图像组；
对预先设定的文件格式的图像组进行图像识别，以确定预先设定的文件格式的图像组中是否存在不符合预设要求的图像文件；
如果存在，则将不符合预设要求的图像文件删除，以获得经过数据清洗的图像组。
5.根据权利要求3所述的方法，其中对经过数据清洗的图像组进行归一化处理包括：
确定经过数据清洗的图像组内多个图像文件中的每个图像文件的分辨率；
获取预先设置的标准分辨率，利用预设内容对分辨率低于标准分辨率的图像文件进行边缘填充，以使得经过数据清洗的图像组中多个图像文件的每个图像文件的分辨率均为标准分辨率；
将每个图像文件的分辨率从标准分辨率调整为压缩分辨率。
6.根据权利要求5所述的方法，在获得经过归一化处理的图像组之后还包括，对经过归一化处理的图像组中的每个图像文件进行二值化处理。
7.根据权利要求3所述的方法，所述对经过归一化处理的图像组进行数据增强包括：
对经过归一化处理的图像组中的每个图像文件进行对比度调节、亮度调节和/或色度调节，以获得经过数据增强的多个图像文件；
将经过数据增强的多个图像文件构成经过预处理的图像组。
8.根据权利要求1所述的方法，其中每个图像文件对应于一个目标图像区域。
9.根据权利要求1所述的方法，其中基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模图像包括：
基于目标对象的结构特征确定目标对象在每个目标图像区域中的区域轮廓；
基于目标对象在每个目标图像区域中的区域轮廓对连通区域进行填充，以获得目标对象与每个目标图像区域相关联的掩模图像。
10.根据权利要求1所述的方法，在利用神经网络对多个图像文件进行图像处理之前还包括，对神经网络进行训练。
11.根据权利要求10所述的方法，其中对神经网络进行训练包括：
步骤1、对神经网络的多个网络参数进行初始化；
步骤2、获取用于对神经网络进行训练的训练样本集，基于所设置的批尺寸将训练样本集中的训练样本划分为多个训练样本子集，将每个训练样本子集输入到神经网络；
步骤3、对训练样本子集进行前向传播，直到神经网络的最后一层输出为止进行迭代训练，计算神经网络的输出损失；
步骤4、确定迭代次数是否等于次数阈值，如果否，则进行步骤5，通过损失函数进行反向传播，逐层更新每个网络参数的权重和偏差值，进行步骤2；
如果是，则进行步骤6，获得经过训练的神经网络。
12.根据权利要求10所述的方法，在对神经网络进行训练之前还包括，
获取与目标对象相关联的多个样本图像组，对每个样本图像组进行数据预处理以获得经过预处理的多个样本图像组；
对经过预处理的每个样本图像组进行图像识别以确定多个样本图像文件，用标签对每个样本图像文件进行标注以获得具有标签的多个样本图像文件，其中标签包括训练标识和测试标识；
基于标签将多个样本图像文件划分为训练样本集和测试样本集。
13.根据权利要求12所述的方法，对每个样本图像组进行数据预处理以获得经过预处理的多个样本图像组包括：
对所述每个样本图像组进行数据清洗，以获得经过数据清洗的样本图像组；
对每个经过数据清洗的样本图像组进行归一化处理，以获得经过归一化处理的样本图像组；以及
对每个经过归一化处理的样本图像组进行数据增强，从而获得经过预处理的多个样本图像组。
14.根据权利要求13所述的方法，其中对所述每个样本图像组进行数据清洗包括：
将每个样本图像组的文件格式转换为预先设定的文件格式，以获得预先设定的文件格式的样本图像组；
对预先设定的文件格式的样本图像组进行图像识别，以确定预先设定的文件格式的样本图像组中是否存在不符合预设要求的样本图像文件；
如果存在，则将不符合预设要求的样本图像文件删除，以获得经过数据清洗的样本图像组。
15.根据权利要求13所述的方法，其中对每个经过数据清洗的样本图像组进行归一化处理包括：
确定每个经过数据清洗的样本图像组内多个样本图像文件中的每个样本图像文件的分辨率；
获取预先设置的标准分辨率，利用预设内容对分辨率低于标准分辨率的样本图像文件进行边缘填充，以使得经过数据清洗的样本图像组中多个样本图像文件的每个样本图像文件的分辨率均为标准分辨率；
将每个样本图像文件的分辨率从标准分辨率调整为压缩分辨率。
16.根据权利要求15所述的方法，在获得经过归一化处理的样本图像组之后还包括，对经过归一化处理的样本图像组中的每个样本图像文件进行二值化处理。
17.根据权利要求13所述的方法，所述对每个经过归一化处理的样本图像组进行数据增强包括：
对经过归一化处理的样本图像组中的每个样本图像文件进行对比度调节、亮度调节和/或色度调节，以获得经过数据增强的多个样本图像文件；
将经过数据增强的多个样本图像文件构成经过预处理的样本图像组。
18.根据权利要求12所述的方法，还包括，利用测试样本集对经过训练的神经网络进行测试，以获得经过测试的神经网络。
19.根据权利要求1或12所述的方法，所述神经网络用于获取输入的图像文件，构建用于输出的预定尺寸的卷积图像文件，其中输出的预定尺寸的卷积图像文件是能够进行缩放处理的图像文件并且是具有相同长度和宽度的图像文件，其中神经网络的输入层的批尺寸的参数为2的整数次幂；
将卷积图像文件作为输入以构建输入卷积层，进行有填充的卷积和批标准化BN，然后使用带泄露修正线性单元函数LeakyReLU进行激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第一卷积结果；其中二维卷积为3×3二维卷积；
将第一卷积结果作为输入构建第一次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第二卷积结果；
将第二卷积结果作为输入构建第二次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第三卷积结果；
将第三卷积结果作为输入构建第三次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第四卷积结果；
将第四卷积结果作为输入构建第四次卷积层，进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和之前的输入进行堆叠，之后向下最大池化，步长为2，输出第五卷积结果；
将第五卷积结果进行上采样然后和第四卷积结果进行特征融合以输出为第一上采样，然后将第一上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第一上采样进行堆叠，输出第六卷积结果；
将第六卷积结果进行上采样然后和第三卷积结果进行特征融合以输出第二上采样，然后将第二上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第二上采样进行堆叠，输出第七卷积结果；
将第七卷积结果进行上采样然后和第二卷积结果进行特征融合以输出第三上采样，然后将第三上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次；然后再进行一次卷积，和第三上采样进行堆叠，输出第八卷积结果；
将第八卷积结果进行上采样然后和第一卷积结果进行特征融合以输出第四上采样，然后将第四上采样进行有填充的卷积和批标准化BN，然后使用LeakyReLU激活，重复进行两次。然后再进行一次卷积，和第四上采样进行堆叠，输出第九卷积结果；
将第九卷积结果作为输入以构建输出层，进行一次1x1卷积，使用sigmoid激活，输出图像文件。
20.一种基于图像处理获取目标图像元素的系统，其特征在于，所述系统包括：
预处理装置，用于获取与目标对象相关联的待处理的图像组，对所述待处理的图像组进行数据预处理以获得经过预处理的图像组；
识别装置，用于对经过预处理的图像组进行图像识别以确定多个图像文件，利用神经网络对多个图像文件进行图像处理，以获得多个目标图像区域；
填充装置，用于基于目标对象的结构特征对每个目标图像区域进行图像填充，获得与每个目标图像区域相关联的掩模图像；以及
处理装置，用于基于每个掩模图像对相关联的目标图像区域进行掩码操作，从而获得与目标对象相关联的多个目标图像元素。
21.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-19任一所述的方法。
22.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-19任一所述的方法。
CN202111114031.6A 2021-09-23 2021-09-23 基于图像处理获取目标图像元素的方法及系统 Pending CN113838027A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111114031.6A CN113838027A (zh) 2021-09-23 2021-09-23 基于图像处理获取目标图像元素的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111114031.6A CN113838027A (zh) 2021-09-23 2021-09-23 基于图像处理获取目标图像元素的方法及系统

Publications (1)

Publication Number Publication Date
CN113838027A true CN113838027A (zh) 2021-12-24

Family

ID=78969236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111114031.6A Pending CN113838027A (zh) 2021-09-23 2021-09-23 基于图像处理获取目标图像元素的方法及系统

Country Status (1)

Country Link
CN (1) CN113838027A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077016A (zh) * 2013-03-29 2014-10-01 中兴通讯股份有限公司 一种多窗口显示和切换方法及装置
CN104396267A (zh) * 2012-07-05 2015-03-04 索尼公司 接收设备、接收方法、发射设备和发射方法
US20150089443A1 (en) * 2013-09-23 2015-03-26 Pantech Co., Ltd. Terminal and method for controlling display of multi window
WO2018140596A2 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN110211137A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于残差网络和U-Net分割网络的卫星图像分割方法
CN110472581A (zh) * 2019-08-16 2019-11-19 电子科技大学 一种基于深度学习的细胞图像分析方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN111091527A (zh) * 2018-10-24 2020-05-01 华中科技大学 一种病理组织切片图像中病变区域自动检测方法及系统
CN113362332A (zh) * 2021-06-08 2021-09-07 南京信息工程大学 Oct影像下冠状动脉管腔轮廓的深度网络分割方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104396267A (zh) * 2012-07-05 2015-03-04 索尼公司 接收设备、接收方法、发射设备和发射方法
CN104077016A (zh) * 2013-03-29 2014-10-01 中兴通讯股份有限公司 一种多窗口显示和切换方法及装置
US20150089443A1 (en) * 2013-09-23 2015-03-26 Pantech Co., Ltd. Terminal and method for controlling display of multi window
WO2018140596A2 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN111091527A (zh) * 2018-10-24 2020-05-01 华中科技大学 一种病理组织切片图像中病变区域自动检测方法及系统
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN110211137A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于残差网络和U-Net分割网络的卫星图像分割方法
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110472581A (zh) * 2019-08-16 2019-11-19 电子科技大学 一种基于深度学习的细胞图像分析方法
CN113362332A (zh) * 2021-06-08 2021-09-07 南京信息工程大学 Oct影像下冠状动脉管腔轮廓的深度网络分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王亚刚 等: "一种自动分割股骨区域的 R-U-Net 神经网络", 《小型微型计算机系统》, vol. 40, no. 4, pages 841 - 843 *
王亚刚等: "一种自动分割股骨区域的R-U-Net神经网络", 《小型微型计算机系统》, vol. 40, no. 4, pages 839 - 843 *

Similar Documents

Publication Publication Date Title
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
CN110517238B (zh) Ct医学影像ai三维重建与人机交互可视化网络系统
US20190065897A1 (en) Medical image analysis method, medical image analysis system and storage medium
CN109978037A (zh) 图像处理方法、模型训练方法、装置、和存储介质
JP2004033749A (ja) Ｐｅｔ腫瘍画像に関する半自動セグメント分割アルゴリズム
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN111260667B (zh) 一种结合空间引导的神经纤维瘤分割方法
CN111242956A (zh) 基于U-Net超声胎心和胎肺深度学习联合分割方法
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN115471470A (zh) 一种食管癌ct图像分割方法
CN116703901A (zh) 肺部医学ct影像分割及分类装置及设备
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN114119474A (zh) 深度学习自动分割超声图像中人体组织的方法
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
CN117523204A (zh) 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法
WO2020106393A2 (en) Skeletal maturity determination using radiographs of portions of a hand
CN113838027A (zh) 基于图像处理获取目标图像元素的方法及系统
CN115147605A (zh) 一种基于信息损失区域检测机制的舌图像分割方法
CN114359308A (zh) 一种基于边缘响应与非线性损失的主动脉夹层分割方法
CN113822904A (zh) 一种图像标注装置、方法及可读存储介质
CN114913135B (zh) 基于级联VNet-S网络和三维条件随机场的肝脏分割系统
Martadiansyah et al. 3D Fusion Hierarchical Net Reconstruction from 2D Transcerebellar Images with Deep Learning.
Guangyan et al. Research on Cyst of Jaw Detection Algorithm Based on Alex Net Deep Learning Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211224

RJ01 Rejection of invention patent application after publication