CN114638852A - 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质 - Google Patents
基于cbct图像颌骨、软组织识别与重建的方法、装置及介质 Download PDFInfo
- Publication number
- CN114638852A CN114638852A CN202210177560.9A CN202210177560A CN114638852A CN 114638852 A CN114638852 A CN 114638852A CN 202210177560 A CN202210177560 A CN 202210177560A CN 114638852 A CN114638852 A CN 114638852A
- Authority
- CN
- China
- Prior art keywords
- jaw bone
- soft tissue
- segmentation
- cbct
- jaw
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004872 soft tissue Anatomy 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000007408 cone-beam computed tomography Methods 0.000 title claims abstract 21
- 230000011218 segmentation Effects 0.000 claims abstract description 84
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000009499 grossing Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 11
- 210000000988 bone and bone Anatomy 0.000 abstract description 7
- 238000003062 neural network model Methods 0.000 abstract description 4
- 210000001847 jaw Anatomy 0.000 description 75
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000025157 Oral disease Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 208000031748 disorder of facial skeleton Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000030194 mouth disease Diseases 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 210000002050 maxilla Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明为本发明属于图像处理技术领域，具体为基于CBCT图像颌骨、软组织识别与重建的方法、装置及介质，通过口腔专家手动标注出CT图像中颌骨的部分，然后基于开源的深度学习平台TensorFlow和全卷积神经网络模型，设计并训练得到CBCT颌骨分割网络模型；通过训练得到的模型输出得到每个体素的概率值，并保留得到设定阈值上的两块联通连通区域的体素，重建出上与下牙槽骨，最后通过软组织的阈值分割出颌面软组织部分，重建出脸部三维模型。本发明能利用深度学习方法，批量快速自动重建出颌骨与面部三维模型，解决CBCT颌骨分割存在的过分割与欠分割问题，在提高重建效率的同时提高了分割精度。
Description
技术领域
本发明属于图像处理技术领域，具体为基于CBCT图像颌骨、软组织识别与重建的方法、装置及存储介质。
背景技术
根据卫生部数据，2019我国口腔患者人数已经达到了7亿人，口腔健康问题已经成为影响居民日常生活质量的一个重要因素。随着居民消费升级以及口腔健康意识的增加，我国口腔诊疗人数增长明显。特别地，医学影像在口腔颌面疾病的诊断、治疗以及预后评估等过程中具有至关重要的参考作用。相比于传统二维放射影像技术，锥形束CT(Cone beamComputer Tomography，CBCT)具有低辐射、高精度、三维立体成像等优点，因此被广泛用于颌骨内的感染、肿瘤及囊性疾病、颌面骨折等口腔与颌面疾病的检查与诊断。此外，医生还可以通过CBCT图像观察患者的颌面软组织形态。然而，口腔医生只能利用CBCT从横截面观察患者颌骨的二维形状特点，由于缺乏颌骨的三维结构信息，容易导致诊断误差，因此口腔医生迫切需要一个高效准确的CBCT颌骨自动分割与重建算法。
针对这一临床需求，一些研究者基于传统图像分割模型和深度学习提出了一些有效的CBCT颌骨自动分割算法，如下所示：
1)基于传统图像分割模型的CBCT颌骨分割算法：此类算法将阈值法、聚类法、活动轮廓法和图割方法等传统分割算法用于逐层分割CBCT截面的颌骨区域，然后将各层颌骨的二值分割结果堆叠为三维分割结果，最后借助三维曲面网格提取算法将三维分割结果转化点云数据。然而，此类算法主要基于图像的像素和纹理特征，而CBCT图像具有较强的噪声干扰且颌骨的形状以及像素强度变化复杂，因此基于传统图像分割模型的CBCT颌骨分割算法的鲁棒性和准确性较低。此外，传统分割算法通常需要使用者预先给模型提供先验信息，因此操作步骤较为复杂，影响算法的计算效率，不合适于大批量处理CBCT图像。
2)基于深度学习的CBCT颌骨分割算法：此类算法利用深度网络模型从CBCT图像中提取层次性特征，包含图像的浅层特征(像素、纹理、形状等特征)和深层特征(抽象特征、语义特征等)，然后基于像素级分类器和图像金字塔特征将图像体素分类为颌骨和非颌骨两类，从而得到颌骨的三维分割结果，最后基于三维曲面网格提取算法将三维分割结果转化点云数据。由于深度学习特征的辨识能力和鲁棒性远好于人工设计的图像特征，且深度学习模型具有端对端的结构优势，可大幅度提高CBCT图像自动分割算法的性能与效率，因为成为此领域的主流算法。由于像素分类器存在类别不均衡问题，导致此类算法容易将一些颌骨区域误分类为非颌骨区域，导致欠分割问题。此外，部分基于深度学习的分割模型对图像空间信息的利用率较低，导致分割结果的边界较为粗糙，存在严重的过分割问题，降低了颌骨的重建精度。
因此，如何提高基于深度学习模型的CBCT颌骨自动分割与重建算法的准确性成为急需解决的问题。
发明内容
本申请的目的：在于解决和克服现有技术和应用的不足，基于CBCT图像颌骨、软组织识别与重建的方法、装置及介质,解决了CBCT颌骨分割存在的过分割与欠分割问题。
本申请的目的是通过如下技术方案来完成的，一种基于CBCT图像颌骨、软组织识别与重建的方法，其特征在于，包括以下步骤：
A.对CBCT数据进行自定义逐层标注；
B.将标注后的数据集划分为训练集、验证集和测试集，并进行数据处理；
C.构建颌骨分割网络模型，并利用训练集数据对模型进行训练；
D.对上下颌骨进行识别并三维重建；将训练好的颌骨分割网络模型用于处理测试集的CBCT数据，得到颌骨3D分割结果，利用领域搜索方法标记3D分割结果中的3D连通区域，并根据颌骨的空间信息识别为上下颌骨两个连通区，使用高斯滤波器平滑颌骨分割结果的表面，利用Marching Cubes算法提取上下颌骨分割结果曲面的网格信息；
E.对软组织进行分割并三维重建；对训练集数据所有的CBCT图像非颌面软组织区域的像素强度进行统计，得到非颌面软组织的像素平均值μ和标准差σ，利用阈值法得到颌面软组织的分割结果，利用高斯滤波器平滑颌面软组织的3D分割结果。
优选地，所述步骤B具体是：
B-1)通过交叉验证法将数据集划分为3个部分：训练集、验证集和测试集；
B-2)利用去平均值、最大最小归一化方法和数据扩增法对训练集的CBCT数据进行处理。
优选地，所述颌骨分割网络模型包括依次连接的VGG-19骨干网络、FPN颈部网络和一个Softmax像素分类器。
优选地，所述VGG-19骨干网络结构由16个卷积层、4个最大池化层、5个批归一化层和3个丢弃层组成，用于从CBCT图像提取层次性特征，每层特征的分辨率不同，且随着分辨率的下降特征的抽象性和平移不变性增强；
所述FPN颈部网络结构由5个上采样层、5个连接层、12个卷积层、4个丢弃层和3个通道与空间注意力模块构成，负责将VGG-19网络提取的多尺度特征融合为一个具有局部和全局特征的图像特征金字塔，且融合后特征的分辨率与原图像一致；
所述Softmax像素分类器由一个卷积核尺寸为1x1的卷积层和一个Softmax函数构成，将深度卷积神经网络的输出值转化为像素的类别概率值。
优选地，所述步骤D具体是：
D-1)将训练好的颌骨分割网络用于处理测试集的CBCT数据，输出CBCT数据中每个体素属于颌骨的概率值Pa(x)，假设预定的阈值为ta，则每个受试者的颌骨3D分割结果为：Sa(x)＝Pa(x)>ta；
D-2)利用领域搜索方法标记3D分割结果中的3D连通区域，并根据连通区域中的体素个数对连通区域进行由大到小的排序，算法仅保留最大的两个连通区域，并根据颌骨的空间信息识别为上下颌骨两个连通区；
D-3)使用高斯滤波器平滑颌骨分割结果的表面，可以通过设置平滑因子δ的值来改变平滑的程度；
D-4)利用Marching Cubes算法提取上下颌骨分割结果曲面的网格信息，并保存为“.stl”格式。
优选地，所述步骤E特征是：
E-1)对训练数据集的所有CBCT图像非颌面软组织区域的像素强度进行统计，得到非颌面软组织的像素平均值μ和标准差σ，则可以设定分割阈值为tb＝μ+2σ；
E-2)然后利用阈值法得到颌面软组织的分割结果：St(x)＝I(x)>tb，根据上下颌骨的3D分割结果，可以计算CBCT图像中颌骨的上边界和下边界空间信息，将低于颌骨下边界和高于颌骨上边界的软组织分割结果移除；
E-3)利用高斯滤波器平滑颌面软组织的3D分割结果，并使用Marching Cubes算法计算曲面的网格信息，保存为“.stl”格式。
本发明还提供一种基于CBCT图像的颌骨与软组织识别与重建的装置，包括扫描设备，所述扫描设备执行时实现上述任意一项所述基于CBCT图像的颌骨与软组织识别与重建方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，以实现上述任意一项所述的基于CBCT图像的颌骨与软组织识别与重建方法。
本申请与现有技术相比，至少具有以下明显优点和效果：
在本发明中，提供的一种CBCT颌骨和软组织分割与重建方法，解决CBCT颌骨分割存在的过分割与欠分割问题，在提高重建效率的同时提高了分割精度。
附图说明
以下结合附图，对本发明的具体实施方式做进一步的详细描述。
图1为本发明流程示意图。
图2为本发明分割网络结构示意图。
图3为本发明通道与空间注意力模块(CSA)结构示意图。
图4为本发明颌骨重建结果效果图。
图5为本发明颌面软组织重建结果效果图。
具体实施方式
结合附图和以下说明描述了本申请的特定实施例以教导本领域技术人员如何制造和使用本申请的最佳模式。为了教导申请原理，已简化或省略了一下常规方面。本领域技术人员应该理解源自这些实施例的变形落在本申请的范围内。本领域技术人员应该理解下述特征能够以各种方式结合以形成本申请的多个变型。本申请中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。由此，本申请并不局限于下述特定实施例，而仅由权利要求和它们的等同物限定。
本发明公开了一种基于CBCT图像的颌骨和软组织分割与三维重建方法、装置及存储介质，根据本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式进行详细的阐述。
如图1所示为本发明流程示意图，包括获取数据与标注：收集志愿者CBCT数据，并聘请专业的口腔科专家对CBCT数据的颌骨区域进行逐层标注，其中上颌骨和下颌骨的数字标签分别为“1”和“2”，其余背景区域被标注为“0”；构建模型与训练：通过交叉验证法将数据集划分为3个部分：训练集、验证集和测试集，并且利用去平均值、最大最小归一化方法和数据扩增法(随机剪切、图像旋转、图像对比度变化等)对训练集的CBCT数据进行处理，得到网络模型训练所需的数据库；上下颌骨分割与重建：基于开源的深度学习平台TensorFlow和全卷积神经网络模型，设计并训练得到CBCT颌骨分割网络模型。通过训练得到的模型输出得到每个体素的概率值，并保留得到设定阈值上的两块联通连通区域的体素，重建出上与下牙槽骨。颌骨软组织分割与重建：最后通过软组织的阈值分割出颌面软组织部分，重建出脸部三维模型。本发明能利用深度学习方法，批量快速自动重建出颌骨与面部三维模型，解决CBCT颌骨分割存在的过分割与欠分割问题，在提高重建效率的同时提高了分割精度。
在本实施例中图2为分割网络结构示意图，其中，Conv表示为卷积层、BatchNorm表示为批归一化层、Concat表示为连接层、MaxPool表示为最大池化层、Upsampl表示为上采样层、Softmax表示为分类器、Dropout表示为丢弃层、CSA表示为通道与空间注意力模块；基于开源的深度学习平台TensorFlow和全卷积神经网络模型，设计CBCT颌骨分割网络模型；该模型包括依次连接的VGG-19骨干网络、FPN(Feature Pyramid Network)颈部网络和一个Softmax像素分类器组成。其中VGG-19网络结构由16个卷积层、4个最大池化层、5个批归一化层和3个丢弃层组成，用于从CBCT图像提取层次性特征，每层特征的分辨率不同，且随着分辨率的下降特征的抽象性和平移不变性增强；FPN网络结构由5个上采样层、5个连接层、12个卷积层、4个丢弃层和3个通道与空间注意力(Channel and Spatial Attention)模块构成，负责将VGG-19网络提取的多尺度特征融合为一个具有局部和全局特征的图像特征金字塔，且融合后特征的分辨率与原图像一致；Softmax像素分类器由一个卷积核尺寸为1x1的卷积层和一个Softmax函数构成，可以将深度卷积神经网络的输出值转化为像素的类别概率值。
在本实施例中图3为通道与空间注意力模块(CSA)结构示意图。该模块由两个上下对称的信息传输管道组成，该模块的计算步骤如下：1)空间加权管道依次由最大池化层、卷积层、反卷积层和Sigmoid函数组成，维度为H×W×1的输入特征经过最大池化层和卷积层的计算得到维度为
的压缩空间权重张量，其空间分别率被压缩为原来的
且通道数压缩为1，然后经过反卷积层的计算恢复其空间分辨率，并且由Sigmoid函数计算得到特征的空间权重值，随后将空间权重值与原始的输入特征进行点乘，得到空间加权的特征映射；2)通道加权管道依次由全局池化层、2个全连接层和一个Sigmoid函数组成，维度为H×W×1的输入特征经过全局池化层和全连接层的计算，转化为维度为
的压缩通道权重张量，然后再经过全连接层和Sigmoid函数处理得到维度为1×1×C扩张通道权重张量，随后将其与原始的输入特征进行点乘，得到通道加权的特征映射；3)通道与空间加权特征融合：最后利用逐像素加法将通道加权和空间加权的特征映射进行融合，输出优化后的图像特征。该模块的优点在于，能够使分割模型自动分析特征映射中各通道和空间位置与分割任务的相关性，增强相关性较强的通道和空间位置信息的重要性，降低特征的冗余度，从而提高像素分类的准确率和目标分割的精度。
构造完网络结构后，输入CBCT图像与对应的牙槽骨标记，利用TensorFlow内置的Adam优化算法使损失函数极小化，得到最优的模型参数，该网络的损失函数如下所示：
其中，S(I(x)；W)是网络模型预测的像素x归属于颌骨的概率，G(x)是像素x的真实标签(数值为0或1)，ε是避免分母为0的偏置项，I为训练数据CBCT图像中的每一层切片，W是网络模型的参数，Ω为图像的空间域，学习率设置为0.0001，迭代次数1000次；
将训练好的颌骨分割网络用于处理测试集的CBCT数据，输出CBCT数据中每个体素属于颌骨的概率值Pa(x)，假设预定的阈值为ta，则每个受试者的颌骨3D分割结果为：Sa(x)＝Pa(x)>ta；然后利用领域搜索方法标记3D分割结果中的3D连通区域，并根据连通区域中的体素个数对连通区域进行由大到小的排序，算法仅保留最大的两个连通区域，并根据颌骨的空间信息识别为上下颌骨两个连通区；随后使用高斯滤波器平滑颌骨分割结果的表面，可以通过设置平滑因子δ的值来改变平滑的程度；最后利用Marching Cubes算法提取上下颌骨分割结果曲面的网格信息，并保存为“.stl”格式，如图4所示为本实施例颌骨重建结果效果图。
最后预先对训练数据集的所有CBCT图像非颌面软组织区域的像素强度进行统计，得到非颌面软组织的像素平均值μ和标准差σ，则可以设定分割阈值为tb＝μ+2σ；然后利用阈值法得到颌面软组织的分割结果：St(x)＝I(x)>tb，根据上下颌骨的3D分割结果，可以计算CBCT图像中颌骨的上边界和下边界空间信息，将低于颌骨下边界和高于颌骨上边界的软组织分割结果移除；最后，利用高斯滤波器平滑颌面软组织的3D分割结果，并使用MarchingCubes算法计算曲面的网格信息，保存为“.stl”格式，如图5所示为本实施例颌面软组织重建结果效果图。
需要说明的是，本发明还提供一种基于CBCT图像的颌骨与软组织识别与重建的装置，包括扫描设备，其中，扫描设备执行时实现上述实施例基于CBCT图像的颌骨与软组织识别与重建方法，所述扫描设备在本实施列中优选为口腔CBCT扫描设备。
需要进一步说明的是，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可以被计算机处理器执行，实现上述实施例基于CBCT图像的颌骨与软组织识别与重建方法。所述计算机程序可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明原理为：先通过口腔专家手动标注出CT图像中颌骨的部分，然后基于开源的深度学习平台TensorFlow和全卷积神经网络模型，设计并训练得到CBCT颌骨分割网络模型；通过训练得到的模型输出得到每个体素的概率值，并保留得到设定阈值上的两块联通连通区域的体素，重建出上与下牙槽骨，最后通过软组织的阈值分割出颌面软组织部分，重建出脸部三维模型。本发明能利用深度学习方法，批量快速自动重建出颌骨与面部三维模型，解决CBCT颌骨分割存在的过分割与欠分割问题，在提高重建效率的同时提高了分割精度。
由于本领域技术人员能够很容易想到，利用申请的构思和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种基于CBCT图像颌骨、软组织识别与重建的方法，其特征在于，包括以下步骤：
A.对CBCT数据进行自定义逐层标注；
B.将标注后的数据集划分为训练集、验证集和测试集，并进行数据处理；
C.构建颌骨分割网络模型，并利用训练集数据对模型进行训练；
D.对上下颌骨进行识别并三维重建；将训练好的颌骨分割网络模型用于处理测试集的CBCT数据，得到颌骨3D分割结果，利用领域搜索方法标记3D分割结果中的3D连通区域，并根据颌骨的空间信息识别为上下颌骨两个连通区，使用高斯滤波器平滑颌骨分割结果的表面，利用Marching Cubes算法提取上下颌骨分割结果曲面的网格信息；
E.对软组织进行分割并三维重建；对训练集数据所有的CBCT图像非颌面软组织区域的像素强度进行统计，得到非颌面软组织的像素平均值μ和标准差σ，利用阈值法得到颌面软组织的分割结果，利用高斯滤波器平滑颌面软组织的3D分割结果。
2.根据权利要求1所述的一种基于CBCT图像颌骨、软组织识别与重建的方法，其特征在于，所述步骤B具体是：
B-1)通过交叉验证法将数据集划分为训练集、验证集和测试集；
B-2)利用去平均值、最大最小归一化方法和数据扩增法对训练集的CBCT数据进行处理。
3.根据权利要求1所述的一种基于CBCT图像颌骨、软组织识别与重建的方法，其特征在于，所述颌骨分割网络模型包括依次连接的VGG-19骨干网络、FPN颈部网络和一个Softmax像素分类器。
4.根据权利要求3所述的一种基于CBCT图像颌骨、软组织识别与重建的方法，其特征在于，
所述VGG-19骨干网络结构由16个卷积层、4个最大池化层、5个批归一化层和3个丢弃层组成，用于从CBCT图像提取层次性特征，每层特征的分辨率不同，且随着分辨率的下降特征的抽象性和平移不变性增强；
所述FPN颈部网络结构由5个上采样层、5个连接层、12个卷积层、4个丢弃层和3个通道与空间注意力模块构成，负责将VGG-19网络提取的多尺度特征融合为一个具有局部和全局特征的图像特征金字塔，且融合后特征的分辨率与原图像一致；
所述Softmax像素分类器由一个卷积核尺寸为1x1的卷积层和一个Softmax函数构成，将深度卷积神经网络的输出值转化为像素的类别概率值。
5.根据权利要求1所述的一种基于CBCT图像颌骨、软组织识别与重建的方法，其特征在于，所述步骤D具体是：
D-1)将训练好的颌骨分割网络用于处理测试集的CBCT数据，输出CBCT数据中每个体素属于颌骨的概率值Pa(x)，假设预定的阈值为ta，则每个受试者的颌骨3D分割结果为：Sa(x)＝Pa(x)>ta；
D-2)利用领域搜索方法标记3D分割结果中的3D连通区域，并根据连通区域中的体素个数对连通区域进行由大到小的排序，算法仅保留最大的两个连通区域，并根据颌骨的空间信息识别为上下颌骨两个连通区；
D-3)使用高斯滤波器平滑颌骨分割结果的表面，通过设置平滑因子δ的值来改变平滑的程度；
D-4)利用Marching Cubes算法提取上下颌骨分割结果曲面的网格信息，并保存为“.stl”格式。
6.根据权利要求1所述的一种基于CBCT图像颌骨、软组织识别与重建的方法，其特征在于：所述步骤E具体是：
E-1)对训练数据集的所有CBCT图像非颌面软组织区域的像素强度进行统计，得到非颌面软组织的像素平均值μ和标准差σ，设定分割阈值为tb＝μ+2σ；
E-2)利用阈值法得到颌面软组织的分割结果：St(x)＝I(x)>tb，根据上下颌骨的3D分割结果，计算CBCT图像中颌骨的上边界和下边界空间信息，将低于颌骨下边界和高于颌骨上边界的软组织分割结果移除；
E-3)利用高斯滤波器平滑颌面软组织的3D分割结果，并使用Marching Cubes算法计算曲面的网格信息，保存为“.stl”格式。
7.一种基于CBCT图像的颌骨与软组织识别与重建的装置，其特征在于，包括扫描设备，所述扫描设备执行时实现权利要求1至6中任意一项所述基于CBCT图像的颌骨与软组织识别与重建方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序可以被计算机处理器执行实现如权利要求1至6中的任意一项所述方法的计算机可读指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210177560.9A CN114638852A (zh) | 2022-02-25 | 2022-02-25 | 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210177560.9A CN114638852A (zh) | 2022-02-25 | 2022-02-25 | 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114638852A true CN114638852A (zh) | 2022-06-17 |
Family
ID=81947443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210177560.9A Pending CN114638852A (zh) | 2022-02-25 | 2022-02-25 | 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114638852A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205469A (zh) * | 2022-09-06 | 2022-10-18 | 汉斯夫(杭州)医学科技有限公司 | 基于cbct的牙齿与牙槽骨重建方法、设备及介质 |
| CN115486939A (zh) * | 2022-08-31 | 2022-12-20 | 北京长木谷医疗科技有限公司 | 骨科机手术器人智能感知解剖结构的方法、装置及系统 |
| CN116883428A (zh) * | 2023-07-07 | 2023-10-13 | 东北大学 | 一种下颌骨螺旋ct影像分区分割方法 |
| CN117456289A (zh) * | 2023-12-25 | 2024-01-26 | 四川大学 | 一种基于深度学习的颌骨病变分割分类系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200175678A1 (en) * | 2018-11-28 | 2020-06-04 | Orca Dental AI Ltd. | Dental image segmentation and registration with machine learning |
| CN112150472A (zh) * | 2020-09-24 | 2020-12-29 | 北京羽医甘蓝信息技术有限公司 | 基于cbct的三维颌骨图像分割方法、装置及终端设备 |
| US20210150702A1 (en) * | 2017-06-30 | 2021-05-20 | Promaton Holding B.V. | Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods |
| US20220012888A1 (en) * | 2018-11-14 | 2022-01-13 | Carestream Dental Llc | Methods and system for autonomous volumetric dental image segmentation |
-
2022
- 2022-02-25 CN CN202210177560.9A patent/CN114638852A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210150702A1 (en) * | 2017-06-30 | 2021-05-20 | Promaton Holding B.V. | Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods |
| US20220012888A1 (en) * | 2018-11-14 | 2022-01-13 | Carestream Dental Llc | Methods and system for autonomous volumetric dental image segmentation |
| US20200175678A1 (en) * | 2018-11-28 | 2020-06-04 | Orca Dental AI Ltd. | Dental image segmentation and registration with machine learning |
| CN112150472A (zh) * | 2020-09-24 | 2020-12-29 | 北京羽医甘蓝信息技术有限公司 | 基于cbct的三维颌骨图像分割方法、装置及终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| 高勃, 卿侯, 白建军, 郝徐童, 黄卫东, 王耀程: "应用激光快速成型方法复制下颌骨――(1)下颌骨CT断层像的三维重建", 实用口腔医学杂志, no. 02, 30 March 2000 (2000-03-30) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115486939A (zh) * | 2022-08-31 | 2022-12-20 | 北京长木谷医疗科技有限公司 | 骨科机手术器人智能感知解剖结构的方法、装置及系统 |
| CN115205469A (zh) * | 2022-09-06 | 2022-10-18 | 汉斯夫(杭州)医学科技有限公司 | 基于cbct的牙齿与牙槽骨重建方法、设备及介质 |
| CN116883428A (zh) * | 2023-07-07 | 2023-10-13 | 东北大学 | 一种下颌骨螺旋ct影像分区分割方法 |
| CN116883428B (zh) * | 2023-07-07 | 2024-05-31 | 东北大学 | 一种下颌骨螺旋ct影像分区分割方法 |
| CN117456289A (zh) * | 2023-12-25 | 2024-01-26 | 四川大学 | 一种基于深度学习的颌骨病变分割分类系统 |
| CN117456289B (zh) * | 2023-12-25 | 2024-03-08 | 四川大学 | 一种基于深度学习的颌骨病变分割分类系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11568533B2 (en) | Automated classification and taxonomy of 3D teeth data using deep learning methods | |
| Kromp et al. | Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation | |
| CN114638852A (zh) | 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质 | |
| CN110998602A (zh) | 使用深度学习方法对3d牙颌面结构的分类和3d建模 | |
| CN112639880A (zh) | 使用深度学习自动确定3d对象的正则姿态和自动叠加3d对象 | |
| CN110992377B (zh) | 图像分割方法、装置、计算机可读存储介质和设备 | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| Kong et al. | Automated maxillofacial segmentation in panoramic dental x-ray images using an efficient encoder-decoder network | |
| CN115205469A (zh) | 基于cbct的牙齿与牙槽骨重建方法、设备及介质 | |
| CN114757960B (zh) | 一种基于cbct图像的牙齿分割与重建方法及存储介质 | |
| CN111402216B (zh) | 基于深度学习的三维碎骨分割方法和装置 | |
| Benyó | Identification of dental root canals and their medial line from micro-CT and cone-beam CT records | |
| Mahdi et al. | Automatic teeth recognition in dental X-ray images using transfer learning based faster R-CNN | |
| CN111784639A (zh) | 基于深度学习的口腔全景片龋齿深度识别方法 | |
| CN112638262A (zh) | 相似度确定装置、方法及程序 | |
| Hou et al. | Semantic segmentation of vertebrate microfossils from computed tomography data using a deep learning approach | |
| Liu et al. | Tracking-based deep learning method for temporomandibular joint segmentation | |
| CN113269799A (zh) | 一种基于深度学习的宫颈细胞分割方法 | |
| CN110570430B (zh) | 基于体配准的眼眶骨组织分割方法 | |
| Imak et al. | Dental material detection based on faster regional convolutional neural networks and shape features | |
| CN115761226A (zh) | 一种口腔影像分割识别方法、装置、电子设备和存储介质 | |
| CN117011318A (zh) | 一种牙齿ct图像三维分割方法、系统、设备及介质 | |
| CN116797731A (zh) | 一种基于人工智能的口腔cbct影像截面生成方法 | |
| Dhar et al. | Automatic tracing of mandibular canal pathways using deep learning | |
| Xie et al. | Automatic Individual Tooth Segmentation in Cone-Beam Computed Tomography Based on Multi-Task CNN and Watershed Transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |