Nothing Special   »   [go: up one dir, main page]

CN111192320A - 一种位置信息确定方法、装置、设备和存储介质 - Google Patents

一种位置信息确定方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111192320A
CN111192320A CN201911390823.9A CN201911390823A CN111192320A CN 111192320 A CN111192320 A CN 111192320A CN 201911390823 A CN201911390823 A CN 201911390823A CN 111192320 A CN111192320 A CN 111192320A
Authority
CN
China
Prior art keywords
dimensional image
position information
neural network
determining
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911390823.9A
Other languages
English (en)
Other versions
CN111192320B (zh
Inventor
袁绍锋
邹伟建
毛玉妃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201911390823.9A priority Critical patent/CN111192320B/zh
Publication of CN111192320A publication Critical patent/CN111192320A/zh
Application granted granted Critical
Publication of CN111192320B publication Critical patent/CN111192320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明实施例公开了一种位置信息确定方法、装置、设备和存储介质，其中，位置信息确定方法包括：将第一三维图像输入候选位置确定神经网络中，得到与第一三维图像中的第一部位相对应的初始候选位置信息；基于初始候选位置信息，从第一三维图像中提取出第二三维图像；将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，第一部位包括第二部位。本发明实施例的技术方案能够快速、准确地实现目标部位的位置信息确定。

Description

一种位置信息确定方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种位置信息确定方法、装置、设备和存储介质。
背景技术
在现有的图像处理中，尤其是医学图像处理中，关键点或关键区域的精确位置确定对于后续的操作至关重要。
以医学图像中主动脉瓣解剖关键点的位置确定为例进行说明，经导管主动脉瓣植入术是一种微创瓣膜置换手术，其中，冠状动脉开口到主动脉瓣环的距离、瓣环的直径是选择合适的植入设备和瓣膜大小的重要临床测量参数。为了计算上述重要临床测量参数，需要准确定位重要的主动脉瓣解剖关键点，一个右冠脉开口点、一个左冠脉开口点、三个窦管连接部(交界点)和三个主动脉窦底最低点。
现有的定位主动脉瓣解剖关键点的方法主要有投影空间学习算法、部分策略强化学习算法、基于多任务全卷积网络检测方法以及Normalized Cut图像分析经典算法等，其中，投影空间学习算法和Normalized Cut图像分析经典算法的定位结果准确性较差，部分策略强化学习算法和基于多任务全卷积网络检测方法均独立地检测主动脉瓣各解剖关键点的位置，上述独立地检测主动脉瓣解剖关键点位置的方法忽略了各个解剖关键点之间的相对位置，其检测结果可能产生几何漂移或检测不准确。
发明内容
本发明提供一种位置信息确定方法、装置、设备和存储介质，能够快速、准确地实现目标部位的位置信息确定。
第一方面，本发明实施例提供了一种位置信息确定方法，所述位置信息确定方法包括：
将第一三维图像输入候选位置确定神经网络中，得到与所述第一三维图像中的第一部位相对应的初始候选位置信息；
基于所述初始候选位置信息，从所述第一三维图像中提取出第二三维图像；
将所述第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，所述第一部位包括所述第二部位。
第二方面，本发明实施例还提供了一种位置信息确定装置，所述位置信息确定装置包括：
初始候选位置信息确定模块，用于将第一三维图像输入候选位置确定神经网络中，得到与所述第一三维图像中的第一部位相对应的初始候选位置信息；
第二三维图像提取模块，用于基于所述初始候选位置信息，从所述第一三维图像中提取出第二三维图像；
精确位置信息确定模块，用于将所述第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，所述第一部位包括所述第二部位。
第三方面，本发明实施例还提供了一种计算机设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的位置信息确定方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明任一实施例所述的位置信息确定方法。
本发明实施例通过将第一三维图像输入候选位置确定神经网络中，得到与第一三维图像中的第一部位相对应的初始候选位置信息；基于初始候选位置信息，从第一三维图像中提取出第二三维图像；将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，第一部位包括第二部位，能够快速、准确地实现目标部位的位置信息确定。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例一中的一种位置信息确定方法的流程图；
图1b是本发明实施例一中的一种候选位置确定神经网络的网络结构示意图；
图1c是本发明实施例一中的一种精确位置确定神经网络的网络结构示意图；
图1d是本发明实施例一中的一种精确位置确定神经网络的U-Net网络结构示意图；
图1e是本发明实施例一中的一种第一级候选位置确定神经网络的网络结构示意图；
图1f是本发明实施例一中的一种第二级候选位置确定神经网络的网络结构示意图；
图1g是本发明实施例一中的一种基于位置信息确定方法确定的主动脉瓣解剖关键点位置的示意图；
图1h是本发明实施例一中的另一种基于位置信息确定方法确定的主动脉瓣解剖关键点位置的示意图；
图1i是本发明实施例一中的另一种基于位置信息确定方法确定的主动脉瓣解剖关键点位置的示意图；
图1j是本发明实施例一中的一种基于位置信息确定方法对肝静脉汇入处周围血管分割的示意图；
图1k是本发明实施例一中的另一种基于位置信息确定方法对肝静脉汇入处周围血管分割的示意图；
图2是本发明实施例二中的一种位置信息确定方法的流程图；
图3是本发明实施例三中的一种位置信息确定装置的结构示意图；
图4是本发明实施例四中的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一提供的一种位置信息确定方法的流程图，本实施例可适用于需要确定目标部位具体位置信息的情况，该方法可以由位置信息确定装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于计算机设备中。如图1a所示，本实施例的方法具体可以包括：
S110、将第一三维图像输入候选位置确定神经网络中，得到与第一三维图像中的第一部位相对应的初始候选位置信息。
示例性的，第一三维图像优选可以是医学三维图像，也可以是非医学三维图像(例如可以是医学二维图像、自然图像、遥感图像和多光谱图像中的任一种等)，优选的，医学三维图像可以是重建后的三维图像。以第一三维图像为医学三维图像为例，其可以包括片层较少的CTA(CT血管造影，CT全称Computed Tomography，即电子计算机断层扫描)图像，也可以包括片层较多的CT图像，例如可以是包含胸部和腹部的CT图像。
优选的，候选位置确定神经网络可以包括至少一级编码器型深度神经网络，其中，编码器型深度神经网络优选可以是能够将高维图像数据编码成低维特征向量的神经网络。例如候选位置确定神经网络可以包括一级深度(全)卷积神经网络，也可以是包括两级及以上深度(全)卷积神经网络。
本实施例中，初始候选位置信息可以粗略地反应出第一部位在第一三维图像中的大致位置。优选的，初始候选位置信息可以包括：第一部位对应的初始候选框位置偏移信息(该初始候选框位置偏移信息可以是一个，也可以是多个)、第一部位对应的二分类信息以及第一部位中的目标部位的位置偏移信息。优选的，可以基于初始候选框位置偏移信息，确定初始候选框在第一三维图像中的位置信息；可以根据第一部位对应的二分类信息，确定相应的部位是否是第一部位；可以利用目标部位的位置偏移信息，为后续第二部位的精确位置信息确定提供粗略位置参考。
此外，初始候选位置信息还可以包括第一部位对应的初始候选坐标位置信息(该坐标位置信息可以是第一部位关键边界点的坐标位置信息，也可以是第一部位特征点的坐标位置信息)，可以基于初始候选坐标位置信息，确定第一部位在第一三维图像中的位置信息。可以理解的是，经过候选位置确定神经网络处理后输出的初始候选坐标位置信息，可能无法与第一三维图像中的相应坐标匹配，此时，可以基于候选位置确定神经网络对应的图像大小转换比例以及第一三维图像的大小，确定初始候选坐标位置信息与第一三维图像中的相应坐标的转换关系，进而可以确定第一部位在第一三维图像中的位置信息。
在将第一三维图像输入候选位置确定神经网络中，得到与第一三维图像中的第一部位相对应的初始候选位置信息之前，优选的，可以预先利用第一部位对应的训练集数据对候选位置确定神经网络进行训练。训练过程以及建立的待训练候选位置确定神经网络结构可以根据实际任务进行设计。以医学图像解剖关键点检测为例，其检测数据集的数据量并不大，因此可以采用多任务学习的方法，提升解剖关键点所在部位的检测准确率。优选的，候选位置确定神经网络的参数优化可以采用随机梯度下降法的变体算法Adam，其计算梯度移动平均值和该平均值的平方值的系数可以分别设置为0.9和0.999。在多任务学习中，第一部位对应的二分类任务可以使用交叉熵损失函数，第一部位对应的初始候选框位置偏移信息预测任务和目标部位的位置偏移信息的预测任务都可以是使用欧式距离损失函数。
在候选位置确定神经网络训练完成后，优选还可以利用测试集数据对候选位置确定神经网络进行测试。在测试阶段中，第一级深度卷积网络只输出第一部位对应的二分类信息(示例性的，该二分类信息以概率的形式表示)、第一部位对应的初始候选框位置偏移信息以及第一部位中的目标部位的位置偏移信息。如果训练了多级候选位置确定神经网络，则在测试阶段中，接下来的多级候选位置确定神经网络可以接收若干包括第一部位的第二三维图像和若干不包括第一部位的第二三维图像，进一步排除不包括第一部位的第二三维图像，并且可以优化第二三维图像对应的边界位置，直到仅剩余一个第一部位的第二三维图像。
S120、基于初始候选位置信息，从第一三维图像中提取出第二三维图像。
基于初始候选位置信息，可以确定第一部位在第一三维图像中的各可能位置，优选的，可以将筛选出来的各可能位置从第一三维图像中提取出来，以便后续能够有目的的对各可能位置进行验证。其中，第二三维图像优选可以是一个，也可以是多个。
S130、将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，第一部位包括第二部位。
优选的，精确位置确定神经网络包括编码器-解码器型对称型深度神经网络和编码器-解码器型非对称型深度神经网络；其中，所述编码器-解码器型对称型深度神经网络包括U-Net深度卷积神经网络、V-Net深度卷积神经网络和HourglassNet深度卷积神经网络中的任一种。其中，编码器-解码器型网络可以是先利用编码器将高维图像数据编码为低维特征向量，然后使用解码器将低维特征向量解码为与原始输入图像大小相同的高维输出图像的网络。
在将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息之前，优选的，可以预先利用第二部位对应的训练集数据对精确位置确定神经网络进行训练。训练过程以及建立的待训练精确位置确定神经网络结构可以根据实际任务进行设计。以医学图像解剖关键点检测为例，其参数的优化可以采用随机梯度下降法的变体算法Adam，其计算梯度移动平均值和该平均值的平方值的系数可以分别设置为0.9和0.999。第二部位的精确位置信息预测任务优选可以使用欧式距离损失函数。
在测试阶段，精确位置确定神经网络接收上一级候选位置确定神经网络的输出结果，输出与输入的第二三维图像大小相同的多通道输出图像，每个通道输出第二部位的精确位置信息。如果候选位置确定神经网络包括多级，则精确位置确定神经网络只接收上一级候选位置确定神经网络的唯一输出结果，输出与输入的第二三维图像大小相同的多通道输出图像，每个通道输出第二部位的精确位置信息。
优选的，第二部位的精确位置信息可以是精确坐标位置信息，也可以是能够确定位置信息的图像，例如可以是高斯热核图像。
优选的，本实施例可应用于主动脉瓣解剖关键点检测、主动脉根部定位及分割、主动脉瓣叶钙化点检测、肝静脉汇入处周围血管定位及分割、肝门静脉左右支分叉处周围血管定位及分割、肝右下静脉与下腔静脉交汇处的定位及分割、脾门周围血管定位及分割、肾门周围血管定位及分割和髂总动脉左右分叉处周围血管定位及分割中的任一场景。示例性的，应用场景为主动脉瓣解剖关键点检测，则第一部位为主动脉瓣根部，第二部位为8个主动脉解剖关键点，分别是一个右冠脉开口点、一个左冠脉开口点、三个窦管连接部(交界点)和三个主动脉窦底最低点。
示例性的，以应用场景为主动脉瓣解剖关键点检测为例对上述过程进行具体说明：
当候选位置确定神经网络只包括一级时，该网络的网络结构可以设置为包含8个卷积层、5个批量标准化层(Batch Normalization，BN)、5个参数化的ReLU函数(ParametricRectified Linear Units，PReLU)激活层和2个最大值池化(Max Pooling，MP)层。候选位置确定神经网络是全卷积网络，其特点在于训练时以分块图像作为训练样本，测试时以整个三维图像作为测试数据，提高了目标检测速度和效率。候选位置确定神经网络的输入为24×24×24×1，其中，24×24×24表示三维医学数据图像分块，1表示输入图像的色彩通道数为1，即该图像分块为灰度图像。
图1b是本发明实施例一提供的一种候选位置确定神经网络的网络结构示意图，如图1b所示，候选位置确定神经网络的网络结构从左至右依次为：
第一层1101，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为1，输出通道大小f为16，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第二层1102，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为16，输出通道大小f为16，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第三层1103，最大值池化层MP，其池化区间k为3×3×3，移动步长s为2。
第四层1104，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为16，输出通道大小f为32，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第五层1105，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为32，输出通道大小f为32，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第六层1106，最大值池化层MP，其池化区间k为3×3×3，移动步长s为2。
第七层1107，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为32，输出通道大小f为64，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第八层1108，3个卷积层Conv1-Conv3，各个子层都与第七层串联，其卷积核大小k均为1×1×1，输入通道大小为64，输出通道大小f从上到下分别为1、6、24，第1个卷积层Conv1后接Sigmoid函数激活层。使用的监督信息分别为主动脉根部和非主动脉根部的二分类信息、主动脉根部候选框的位置偏移信息和主动脉瓣解剖关键点的位置信息，其中，主动脉解剖关键点包括一个右冠脉开口点、一个左冠脉开口点、三个窦管连接部(交界点)和三个主动脉窦底最低点。
将第一主动脉瓣三维图像输入第一级候选位置确定神经网络，可以得到主动脉根部和非主动脉根部的二分类信息、主动脉根部候选框的位置偏移信息和主动脉瓣解剖关键点的位置偏移信息，根据上述信息可以确定若干个第二主动脉瓣根部三维图像，将上述若干个第二主动脉瓣根部三维图像分别输入第二级精确位置确定神经网络中。
优选的，该精确位置确定神经网络的网络结构可以设置为包含42个卷积层(残差模块ResBlock占了13×3＝39层卷积层)、40个批量标准化(Batch Normalization，BN)层、42个ReLU函数(Rectified Linear Units，ReLU)激活层、4个最大值池化(Max Pooling，MP)层、4个最近邻上采样层和4个带残差模块变换的跳跃层。精确位置确定神经网络的输入为64×64×64×1，其中，64×64×64表示三维医学数据图像分块，1表示输入图像的色彩通道数为1，即该图像分块为灰度图像。
图1c是本发明实施例一提供的一种精确位置确定神经网络的网络结构示意图，如图1c所示，精确位置确定神经网络的网络结构从左至右依次为：
第一层1201，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为1，输出通道大小f为32，移动步长s为1，填充尺寸p为1，后接ReLU函数激活层。
第二层1202，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为32，输出通道大小f为64，移动步长s为1，填充尺寸p为1，后接ReLU函数激活层。
第三层1203，残差模块ResBlock，包含3层卷积层Conv，第一层子层卷积核大小k为1×1×1，第二层子层卷积核大小k为3×3×3，第三层子层卷积核大小k为1×1×1，全部子层前面接批量标准化层和ReLU函数激活层。另外，第一层子层输入通道大小为64，输出通道大小为32，第二层子层输入通道大小为32，输出通道大小为32，第三层子层输入通道大小为32，输出通道大小为64。后面所述残差模块ResBlock与上述描述相同。
第四层1204、第六层1206、第八层1208和第十层1210，最大值池化层MP，其池化区间k为2×2×2，移动步长s为2。
第五层1205、第七层1207、第九层1209、第十一层1211、第十三层1213、第十五层1215、第十七层1217和第十九层1219，残差模块ResBlock。
第十二层1212、第十四层1214、第十六层1216和第十八层1218，最近邻上采样层，可以将特征图大小放大2倍。
第二十层1220，卷积层Conv，其卷积核大小k为1×1×1，输入通道大小为64，输出通道大小为所检测解剖关键点的数目，主动脉瓣解剖关键点需要定位8个。示例性的，使用的监督信息为主动脉瓣解剖关键点以高斯核热图的形式表示的位置信息。
本实施例中的精确位置确定神经网络除了上述示例中的编码器-解码器型深度网络之外，还可以是U-Net网络。该精确位置确定神经网络的U-Net网络结构可以设置为包含15个卷积层、14个批量标准化(Batch Normalization，BN)层、14个ReLU函数(RectifiedLinear Units，ReLU)激活层、3个最大值池化层、3个转置卷积层和3个不带任何变换的跳跃层。该精确位置确定神经网络的U-Net网络的输入为64×64×64×1，其中，64×64×64表示三维医学数据图像分块，1表示输入图像的色彩通道数为1，即该图像分块为灰度图像。
图1d是本发明实施例一提供的一种精确位置确定神经网络的U-Net网络结构示意图，如图1d所示，精确位置确定神经网络的U-Net网络结构从左至右依次为：
第一层1301，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为1，输出通道大小f为8，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第二层1302，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为8，输出通道大小f为16，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第三层1303，最大值池化层MP，其池化区间k为2×2×2，移动步长s为2。
第四层1304，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为16，输出通道大小f为16，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第五层1305，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为16，输出通道大小f为32，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第六层1306，最大值池化层MP，其池化区间k为2×2×2，移动步长s为2。
第七层1307，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为32，输出通道大小f为32，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第八层1308，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为32，输出通道大小f为64，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第九层1309，最大值池化层MP，其池化区间k为2×2×2，移动步长s为2。
第十层1310，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为64，输出通道大小f为64，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第十一层1311，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为64，输出通道大小f为128，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第十二层1312，转置卷积层TConv，其卷积核大小k为2×2×2，移动步长s为2。
第十三层1313和第十四层1314，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为64，输出通道大小f为64，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第十五层1315，转置卷积层TConv，其卷积核大小k为2×2×2，移动步长s为2。
第十六层1316和第十七层1317，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为32，输出通道大小f为32，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第十八层1318，转置卷积层TConv，其卷积核大小k为2×2×2，移动步长s为2。
第十九层1319和第二十层1320，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为16，输出通道大小f为16，移动步长s为1，填充尺寸p为1，后接批量标准化层和ReLU函数激活层。
第二十一层1321，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为16，输出通道大小f为所分割解剖结构的种类，如肝静脉汇入处周围血管需要分割的类别为3，分别是背景、肝静脉和下腔静脉。使用的监督信息为手动标注的血管掩码图像。
如果候选位置确定神经网络包括两级时，该第一级候选位置确定神经网络的网络结构可以设置为包含6个卷积层、3个批量标准化层、3个参数化的ReLU函数(ParametricRectified Linear Units，PReLU)激活层和2个最大值池化层。第一级候选位置确定神经网络的输入为24×24×24×1，其中，24×24×24表示三维医学数据图像分块，1表示输入图像的色彩通道数为1，即该图像分块为灰度图像。
图1e是本发明实施例一提供的一种第一级候选位置确定神经网络的网络结构示意图，如图1e所示，第一级候选位置确定神经网络的网络结构从左至右依次为：
第一层1401，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为1，输出通道大小f为16，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第二层1402，最大值池化层MP，其池化区间k为3×3×3，移动步长s为2。
第三层1403，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为16，输出通道大小f为32，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第四层1404，最大值池化层MP，其池化区间k为3×3×3，移动步长s为2。
第五层1405，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为32，输出通道大小f为64，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第六层1406，3个卷积层Conv1-Conv3，各个子层都与第五层串联，其卷积核大小k均为1×1×1，输入通道大小为64，输出通道大小f从上到下分别为1、6、24，第1个卷积层Conv1后接Sigmoid函数激活层，使用的监督信息分别为主动脉根部和非主动脉根部的二分类信息、主动脉根部候选框的位置偏移信息和主动脉瓣解剖关键点的位置偏移信息。
第二级候选位置确定神经网络可以设置为包含4个卷积层、4个批量标准化层、5个参数化的ReLU函数(Parametric Rectified Linear Units，PReLU)激活层和3个最大值池化层和4个全连接(Fully Connected，FC)层。第二级候选位置确定神经网络的输入为48×48×48×1，其中，48×48×48表示三维医学数据图像分块，1表示输入图像的色彩通道数为1，即该图像分块为灰度图像。
图1f是本发明实施例一提供的一种第二级候选位置确定神经网络的网络结构示意图，如图1f所示，第二级候选位置确定神经网络的网络结构从左至右依次为：
第一层1501，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为1，输出通道大小f为32，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第二层1502，最大值池化层MP，其池化区间k为3×3×3，移动步长s为2。
第三层1503，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为32，输出通道大小f为64，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第四层1504，最大值池化层MP，其池化区间k为3×3×3，移动步长s为2。
第五层1505，卷积层Conv，其卷积核大小k为3×3×3，输入通道大小为64，输出通道大小f为64，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第六层1506，最大值池化层MP，其池化区间k为2×2×2，移动步长s为2。
第七层1507，卷积层Conv，其卷积核大小k为2×2×2，输入通道大小为64，输出通道大小f为128，移动步长s为1，后接批量标准化层和PReLU函数激活层。
第八层1508，全连接层FC，其输入神经元数目为128×2×2×2，输出神经元数目f为256，后接PReLU函数激活层。
第九层1509，3个全连接层FC1-FC3，各个子层都与第八层串联，输入神经元数目都是256，输出神经元数目从上到下分别为1、6、24，第1个全连接层FC1后接Sigmoid函数激活层，使用的监督信息分别为主动脉根部和非主动脉根部的二分类信息、主动脉根部候选框的位置偏移信息和主动脉瓣解剖关键点的位置偏移信息。
图1g、1h和1i分别是本发明实施例一提供的一种基于位置信息确定方法确定的主动脉瓣解剖关键点位置的示意图。如图1g所示，图1g-1为一个与主动脉瓣相关的第一三维图像的截面图，图1g-2到图1g-7为将该第一三维图像输入候选位置确定神经网络之后得到的主动脉根部候选框的框选区域以及框选区域内的主动脉瓣解剖关键点的位置偏移信息，图1g-8为精确位置确定神经网络输出的主动脉瓣八个解剖关键点的具体位置。如图1h所示，图1h-1为另一个与主动脉瓣相关的第一三维图像的截面图，图1h-2到图1h-7为将该第一三维图像输入候选位置确定神经网络之后得到的主动脉根部候选框的框选区域以及框选区域内的主动脉瓣解剖关键点的位置偏移信息，图1h-8为精确位置确定神经网络输出的主动脉瓣八个解剖关键点的具体位置。如图1i所示，图1i-1到1i-3分别为另一个与主动脉瓣相关的第一三维图像的截面图，图1i-4到图1i-9为将该第一三维图像输入候选位置确定神经网络之后得到的主动脉根部候选框的框选区域以及框选区域内的主动脉瓣解剖关键点的位置偏移信息，图1i-10为精确位置确定神经网络输出的主动脉瓣八个解剖关键点的具体位置。
表1为本实施例中的位置信息确定方法与现有方法之间，关于确定主动脉瓣解剖关键点位置准确性的比较结果。如表1所示：
表1
Figure BDA0002344902010000181
本实施例的方法除了可以用于确定主动脉瓣解剖关键点检测，还可以用于进行肝静脉汇入处周围血管分割。图1j和1k分别是本发明实施例一提供的一种基于位置信息确定方法对肝静脉汇入处周围血管分割的示意图。如图1j所示，图1j-1到1j-3分别为一个与肝静脉相关的第一三维图像的截面图，图1j-4到图1j-9为将该第一三维图像输入候选位置确定神经网络之后得到的肝静脉汇入处周围血管候选框的框选区域以及框选区域内的肝静脉汇入处周围血管的位置偏移信息，图1j-10为精确位置确定神经网络输出的肝静脉汇入处周围血管的具体位置。如图1k所示，图1k-1到1k-3分别为一个与肝静脉相关的第一三维图像的截面图，图1k-4到图1k-9为将该第一三维图像输入候选位置确定神经网络之后得到的肝静脉汇入处周围血管候选框的框选区域以及框选区域内的肝静脉汇入处周围血管的位置偏移信息，图1k-10为精确位置确定神经网络输出的肝静脉汇入处周围血管的具体位置。本实施例提供的一种位置信息确定方法，将第一三维图像输入候选位置确定神经网络中，得到与第一三维图像中的第一部位相对应的初始候选位置信息；基于初始候选位置信息，从第一三维图像中提取出第二三维图像；将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，第一部位包括第二部位，通过确定初始候选位置信息来缩小图像的定位区域，并在初始候选位置信息的基础上确定目标部位的精确位置信息，能够快速、准确地实现目标部位的位置信息确定。
在上述各实施例的基础上，进一步的，在将第一三维图像输入候选位置确定神经网络中之前，还包括：
将第一三维图像各向同性化为具有第一体素的第一三维图像，第一体素的体积为第一体积；
在根据候选位置信息，从第一三维图像中提取出第二三维图像之后，还包括：
将第二三维图像各向同性化为具有第二体素的第二三维图像，第二体素的体积为第二体积，其中，第一体积大于第二体积。
实际上，在第一三维图像中，其每个原始体素在X、Y和Z三个方向上的长度不等，为了保证各体素在第一三维图像中均匀分布，优选的，可以将第一三维图像中的原始体素各向同性化为具有第一体素的第一三维图像，其中，第一体素在X、Y和Z三个方向上的长度相等。
示例性的，原始体素在X、Y和Z三个方向上的长度分别是1mm×1.5mm×2mm，则可以将原始体素各向同性化为2.3mm×2.3mm×2.3mm的第一体素，在保证各体素在第一三维图像中均匀分布的同时，还能够减少总体素数的数目，以减少第一级网络的计算量。
相应的，由于第二三维图像是在第一三维图像中提取出来的图像，其体积相对较小，为了能够显示其更多的细节信息，优选的，还可以将第二三维图像中的第一体素各向同性化为第二体素，其中，第二体素的体积小于第一体素的体积。示例性的，第一体素为2.3mm×2.3mm×2.3mm，第二体素为1.0mm×1.0mm×1.0mm。
在上述各实施例的基础上，进一步的，将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，包括：
将第二三维图像输入精确位置确定神经网络中，得到与第二部位相对应的高斯热核图；
根据高斯热核图确定第二部位的精确位置信息。
其中，高斯热核图的大小与第二三维图像的大小相同。一个精确位置对应一个高斯热核图，以8个主动脉解剖关键点为例，每个主动脉解剖关键点对应一个高斯热核图。
每个高斯热核图中均包括一个预测高斯核，每个预测高斯核为第二部位的大致位置。优选的，可以将每个高斯热核图中值最大的位置作为第二部位的精确位置信息。
实施例二
图2为本发明实施例二提供的一种位置信息确定方法的流程图。本实施例在上述各实施例的基础上，可选所述初始候选位置信息包括所述第一部位对应的初始候选框位置信息，基于所述初始候选位置信息，从所述第一三维图像中提取出第二三维图像，包括：利用所述第一三维图像的图像大小和所述候选位置确定神经网络对所述图像大小的转换比例，将初始候选框位置信息转换成最终候选框位置信息；根据所述最终候选框位置信息，从所述第一三维图像中提取出第二三维图像。以及，根据所述最终候选框位置信息，从所述第一三维图像中提取出第二三维图像，包括：基于所述最终候选框位置信息，扩大候选框在所述第一三维图像中的框选范围；根据扩大后的所述框选范围，从所述第一三维图像中提取出第二三维图像。如图2所示，本实施例的方法具体可以包括：
S210、将第一三维图像输入候选位置确定神经网络中，得到与第一三维图像中的第一部位相对应的初始候选框位置信息。
S220、利用第一三维图像的图像大小和候选位置确定神经网络对图像大小的转换比例，将初始候选框位置信息转换成最终候选框位置信息。
优选的，可以输出1-3个初始候选框位置信息。该初始候选框位置信息优选可以是初始候选框位置偏移信息。在此需要说明的是，第一三维图像经过候选位置确定神经网络，输出的初始候选框所具有的坐标无法与第一三维图像中相应的坐标匹配，此时，需要对初始候选框位置偏移信息进行处理，以获取到初始候选框在第一三维图像中的坐标。
优选的，可以基于初始候选框位置偏移信息，结合第一三维图像的图像大小以及候选位置确定神经网络对图像大小的转换比例，将初始候选框位置信息转换成最终候选框位置信息，以确定初始候选框在第一三维图像中的位置信息。
S230、基于最终候选框位置信息，扩大候选框在第一三维图像中的框选范围；
S240、根据扩大后的框选范围，从第一三维图像中提取出第二三维图像。
在实际应用中，最终候选框位置信息对应的候选框可能只包括部分第一部位，为了保证第一部位能够最大化的落在候选框内，优选的，可以扩大候选框在第一三维图像中的框选范围，得到一个扩大后的框选范围，并基于该扩大后的框选范围，从第一三维图像中提取出第二三维图像。
示例性的，可以在最终候选框位置信息的基础上，将候选框中每四个点对应的各个面分别向远离其中心的方向，垂直移动8.0mm，并将各个面延伸至垂直相切，得到一个封闭的长方体或正方体，该长方体或正方体即为扩大后的框选范围。
S250、将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，第一部位包括第二部位。
本实施例提供的一种位置信息确定方法，将第一三维图像输入候选位置确定神经网络中，得到与第一三维图像中的第一部位相对应的初始候选位置信息；基于初始候选位置信息，从第一三维图像中提取出第二三维图像；将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，第一部位包括第二部位，通过确定初始候选位置信息来缩小图像的定位区域，并在初始候选位置信息的基础上确定目标部位的精确位置信息，能够快速、准确地实现目标部位的位置信息确定。
实施例三
图3是本发明实施例三中的一种位置信息确定装置的结构示意图。如图3所示，本实施例的装置包括：
初始候选位置信息确定模块310，用于将第一三维图像输入候选位置确定神经网络中，得到与第一三维图像中的第一部位相对应的初始候选位置信息；
第二三维图像提取模块320，用于基于初始候选位置信息，从第一三维图像中提取出第二三维图像；
精确位置信息确定模块330，用于将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，第一部位包括第二部位。
本实施例提供的一种位置信息确定装置，利用初始候选位置信息确定模块将第一三维图像输入候选位置确定神经网络中，得到与第一三维图像中的第一部位相对应的初始候选位置信息；利用第二三维图像提取模块基于初始候选位置信息，从第一三维图像中提取出第二三维图像；利用精确位置信息确定模块将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，第一部位包括第二部位，通过确定初始候选位置信息来缩小图像的定位区域，并在初始候选位置信息的基础上确定目标部位的精确位置信息，能够快速、准确地实现目标部位的位置信息确定。
在上述各技术方案的基础上，可选的，初始候选位置信息包括第一部位对应的初始候选框位置信息，第二三维图像提取模块320具体可以包括：
最终候选框位置信息确定单元，用于利用第一三维图像的图像大小和候选位置确定神经网络对图像大小的转换比例，将初始候选框位置信息转换成最终候选框位置信息；
第二三维图像提取单元，用于根据最终候选框位置信息，从第一三维图像中提取出第二三维图像。
在上述各技术方案的基础上，可选的，第二三维图像提取单元具体可以包括：
框选范围扩大子单元，用于基于最终候选框位置信息，扩大候选框在第一三维图像中的框选范围；
第二三维图像提取子单元，用于根据扩大后的框选范围，从第一三维图像中提取出第二三维图像。
在上述各技术方案的基础上，可选的，位置信息确定装置还可以包括第一各向同性化模块，用于在将第一三维图像输入候选位置确定神经网络中之前，将第一三维图像各向同性化为具有第一体素的第一三维图像，第一体素的体积为第一体积；
位置信息确定装置还可以包括第二各向同性化模块，用于在根据候选位置信息，从第一三维图像中提取出第二三维图像之后，将第二三维图像各向同性化为具有第二体素的第二三维图像，第二体素的体积为第二体积，其中，第一体积大于第二体积。
在上述各技术方案的基础上，可选的，精确位置信息确定模块330具体可以包括：
高斯热核图确定单元，用于将第二三维图像输入精确位置确定神经网络中，得到与第二部位相对应的高斯热核图；
精确位置信息确定单元，用于根据高斯热核图确定第二部位的精确位置信息。
在上述各技术方案的基础上，可选的，候选位置确定神经网络包括至少一级编码器型深度神经网络，精确位置确定神经网络包括编码器-解码器型对称型深度神经网络和编码器-解码器型非对称型深度神经网络；其中，所述编码器-解码器型对称型深度神经网络包括U-Net深度卷积神经网络、V-Net深度卷积神经网络和HourglassNet深度卷积神经网络中的任一种。
在上述各技术方案的基础上，可选的，位置信息确定装置具体可以应用于主动脉瓣解剖关键点检测、主动脉根部定位及分割、主动脉瓣叶钙化点检测、肝静脉汇入处周围血管定位及分割、肝门静脉左右支分叉处周围血管定位及分割、肝右下静脉与下腔静脉交汇处的定位及分割、脾门周围血管定位及分割、肾门周围血管定位及分割和髂总动脉左右分叉处周围血管定位及分割中的任一场景。
本发明实施例所提供的位置信息确定装置可执行本发明任意实施例所提供的位置信息确定方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备412的框图。图4显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器416，存储器428，连接不同系统组件(包括存储器428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等，其中，显示器424可根据实际需要决定是否配置)通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储装置等。
处理器416通过运行存储在存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的位置信息确定方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的位置信息确定方法，包括：
将第一三维图像输入候选位置确定神经网络中，得到与第一三维图像中的第一部位相对应的初始候选位置信息；
基于初始候选位置信息，从第一三维图像中提取出第二三维图像；
将第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，第一部位包括第二部位。
当然，本发明实施例所提供的计算机可读存储介质，其上存储的计算机程序不限于执行如上所述的方法操作，还可以执行本发明任意实施例所提供的基于计算机设备的位置信息确定方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种位置信息确定方法，其特征在于，包括：
将第一三维图像输入候选位置确定神经网络中，得到与所述第一三维图像中的第一部位相对应的初始候选位置信息；
基于所述初始候选位置信息，从所述第一三维图像中提取出第二三维图像；
将所述第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，所述第一部位包括所述第二部位。
2.根据权利要求1所述的方法，其特征在于，所述初始候选位置信息包括所述第一部位对应的初始候选框位置信息，基于所述初始候选位置信息，从所述第一三维图像中提取出第二三维图像，包括：
利用所述第一三维图像的图像大小和所述候选位置确定神经网络对所述图像大小的转换比例，将初始候选框位置信息转换成最终候选框位置信息；
根据所述最终候选框位置信息，从所述第一三维图像中提取出第二三维图像。
3.根据权利要求2所述的方法，其特征在于，根据所述最终候选框位置信息，从所述第一三维图像中提取出第二三维图像，包括：
基于所述最终候选框位置信息，扩大候选框在所述第一三维图像中的框选范围；
根据扩大后的所述框选范围，从所述第一三维图像中提取出第二三维图像。
4.根据权利要求1所述的方法，其特征在于，在将第一三维图像输入候选位置确定神经网络中之前，还包括：
将所述第一三维图像各向同性化为具有第一体素的第一三维图像，所述第一体素的体积为第一体积；
在根据所述候选位置信息，从所述第一三维图像中提取出第二三维图像之后，还包括：
将所述第二三维图像各向同性化为具有第二体素的第二三维图像，所述第二体素的体积为第二体积，其中，所述第一体积大于所述第二体积。
5.根据权利要求1-4任一项所述的方法，其特征在于，将所述第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，包括：
将所述第二三维图像输入精确位置确定神经网络中，得到与第二部位相对应的高斯热核图；
根据所述高斯热核图确定所述第二部位的精确位置信息。
6.根据权利要求1-4任一所述的方法，其特征在于，所述候选位置确定神经网络包括至少一级编码器型深度神经网络，所述精确位置确定神经网络包括编码器-解码器型对称型深度神经网络和编码器-解码器型非对称型深度神经网络；其中，所述编码器-解码器型对称型深度神经网络包括U-Net深度卷积神经网络、V-Net深度卷积神经网络和HourglassNet深度卷积神经网络中的任一种。
7.根据权利要求1-4任一所述的方法，其特征在于，所述方法应用于主动脉瓣解剖关键点检测、主动脉根部定位及分割、主动脉瓣叶钙化点检测、肝静脉汇入处周围血管定位及分割、肝门静脉左右支分叉处周围血管定位及分割、肝右下静脉与下腔静脉交汇处的定位及分割、脾门周围血管定位及分割、肾门周围血管定位及分割和髂总动脉左右分叉处周围血管定位及分割中的任一场景。
8.一种位置信息确定装置，其特征在于，包括：
初始候选位置信息确定模块，用于将第一三维图像输入候选位置确定神经网络中，得到与所述第一三维图像中的第一部位相对应的初始候选位置信息；
第二三维图像提取模块，用于基于所述初始候选位置信息，从所述第一三维图像中提取出第二三维图像；
精确位置信息确定模块，用于将所述第二三维图像输入精确位置确定神经网络中，得到第二部位的精确位置信息，所述第一部位包括所述第二部位。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的位置信息确定方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的位置信息确定方法。
CN201911390823.9A 2019-12-30 2019-12-30 一种位置信息确定方法、装置、设备和存储介质 Active CN111192320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911390823.9A CN111192320B (zh) 2019-12-30 2019-12-30 一种位置信息确定方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911390823.9A CN111192320B (zh) 2019-12-30 2019-12-30 一种位置信息确定方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111192320A true CN111192320A (zh) 2020-05-22
CN111192320B CN111192320B (zh) 2023-07-25

Family

ID=70707893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911390823.9A Active CN111192320B (zh) 2019-12-30 2019-12-30 一种位置信息确定方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111192320B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696089A (zh) * 2020-06-05 2020-09-22 上海联影医疗科技有限公司 一种动静脉确定方法、装置、设备和存储介质
CN113469258A (zh) * 2021-07-08 2021-10-01 中国科学院自动化研究所 基于两阶段cnn的x射线血管造影图像匹配方法和系统
CN113963241A (zh) * 2021-12-22 2022-01-21 苏州浪潮智能科技有限公司 Fpga硬件架构及其数据处理方法、存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050232482A1 (en) * 2004-01-14 2005-10-20 Konica Minolta Photo Imaging, Inc. Image processing method, image processing apparatus and image processing program
WO2018039368A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
US20180157938A1 (en) * 2016-12-07 2018-06-07 Samsung Electronics Co., Ltd. Target detection method and apparatus
CN108717693A (zh) * 2018-04-24 2018-10-30 浙江工业大学 一种基于rpn的视盘定位方法
CN108875833A (zh) * 2018-06-22 2018-11-23 北京智能管家科技有限公司 神经网络的训练方法、人脸识别方法及装置
US20190030371A1 (en) * 2017-07-28 2019-01-31 Elekta, Inc. Automated image segmentation using dcnn such as for radiation therapy
WO2019030410A1 (en) * 2017-08-10 2019-02-14 Aidence B.V COMPUTER-AIDED DIAGNOSIS USING DEEP NEURAL NETWORKS
US20190080456A1 (en) * 2017-09-12 2019-03-14 Shenzhen Keya Medical Technology Corporation Method and system for performing segmentation of image having a sparsely distributed object
CN109493317A (zh) * 2018-09-25 2019-03-19 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
CN109598728A (zh) * 2018-11-30 2019-04-09 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
CN109636846A (zh) * 2018-12-06 2019-04-16 重庆邮电大学 基于循环注意力卷积神经网络的目标定位方法
CN109785306A (zh) * 2019-01-09 2019-05-21 上海联影医疗科技有限公司 器官勾画方法、装置、计算机设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050232482A1 (en) * 2004-01-14 2005-10-20 Konica Minolta Photo Imaging, Inc. Image processing method, image processing apparatus and image processing program
WO2018039368A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
US20180157938A1 (en) * 2016-12-07 2018-06-07 Samsung Electronics Co., Ltd. Target detection method and apparatus
US20190030371A1 (en) * 2017-07-28 2019-01-31 Elekta, Inc. Automated image segmentation using dcnn such as for radiation therapy
WO2019030410A1 (en) * 2017-08-10 2019-02-14 Aidence B.V COMPUTER-AIDED DIAGNOSIS USING DEEP NEURAL NETWORKS
US20190080456A1 (en) * 2017-09-12 2019-03-14 Shenzhen Keya Medical Technology Corporation Method and system for performing segmentation of image having a sparsely distributed object
CN108717693A (zh) * 2018-04-24 2018-10-30 浙江工业大学 一种基于rpn的视盘定位方法
CN108875833A (zh) * 2018-06-22 2018-11-23 北京智能管家科技有限公司 神经网络的训练方法、人脸识别方法及装置
CN109493317A (zh) * 2018-09-25 2019-03-19 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
CN109598728A (zh) * 2018-11-30 2019-04-09 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
CN109636846A (zh) * 2018-12-06 2019-04-16 重庆邮电大学 基于循环注意力卷积神经网络的目标定位方法
CN109785306A (zh) * 2019-01-09 2019-05-21 上海联影医疗科技有限公司 器官勾画方法、装置、计算机设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696089A (zh) * 2020-06-05 2020-09-22 上海联影医疗科技有限公司 一种动静脉确定方法、装置、设备和存储介质
CN113469258A (zh) * 2021-07-08 2021-10-01 中国科学院自动化研究所 基于两阶段cnn的x射线血管造影图像匹配方法和系统
CN113469258B (zh) * 2021-07-08 2022-03-11 中国科学院自动化研究所 基于两阶段cnn的x射线血管造影图像匹配方法和系统
CN113963241A (zh) * 2021-12-22 2022-01-21 苏州浪潮智能科技有限公司 Fpga硬件架构及其数据处理方法、存储介质
CN113963241B (zh) * 2021-12-22 2022-03-08 苏州浪潮智能科技有限公司 Fpga硬件架构及其数据处理方法、存储介质

Also Published As

Publication number Publication date
CN111192320B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
Nie et al. Automatic detection of melanoma with yolo deep convolutional neural networks
US20180260951A1 (en) Deep Image-to-Image Recurrent Network with Shape Basis for Automatic Vertebra Labeling in Large-Scale 3D CT Volumes
US20230104173A1 (en) Method and system for determining blood vessel information in an image
JP7540127B2 (ja) 人工知能に基づく画像処理方法、画像処理装置、コンピュータプログラム及びコンピュータ機器
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
CN113159056B (zh) 图像分割方法、装置、设备及存储介质
CN118334070A (zh) 用于在图像分析中进行解剖结构分割的系统和方法
CN112085714B (zh) 一种肺结节检测方法、模型训练方法、装置、设备及介质
CN111192320B (zh) 一种位置信息确定方法、装置、设备和存储介质
CN112614144A (zh) 一种图像分割方法、装置、设备及存储介质
CN113326851B (zh) 图像特征提取方法、装置、电子设备及存储介质
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
CN112396605A (zh) 网络训练方法及装置、图像识别方法和电子设备
CN111798424A (zh) 一种基于医学图像的结节检测方法、装置及电子设备
CN110874591A (zh) 一种图像定位方法、装置、设备及存储介质
CN115100185A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
EP4327333A1 (en) Methods and systems for automated follow-up reading of medical image data
CN115082389A (zh) 医学影像的肋骨检测方法、设备及介质
CN112488178B (zh) 网络模型的训练方法及装置、图像处理方法及装置、设备
CN111882532B (zh) 下肢x光影像中关键点提取方法
CN114066905A (zh) 一种基于深度学习的医学图像分割方法、系统、装置
CN114972361B (zh) 一种血流分割方法、装置、设备及存储介质
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN113222989B (zh) 一种图像分级方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co.,Ltd.

Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant