CN111784639A - 基于深度学习的口腔全景片龋齿深度识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的口腔全景片龋齿深度识别方法，包括数据预处理；图像分割；构建模型；特征提取；分类识别五个部分。本发明采用卷积神经网络识别龋齿，实现了口腔全景片中龋齿的自动识别，可实现自动识别龋齿深度的结果导出。解决了医护人员长期查看影像数据容易导致视觉疲劳，辅助提高诊疗能力和工作效率，降低医疗资源需求，提高医疗效率。

Description

基于深度学习的口腔全景片龋齿深度识别方法

技术领域

本发明属于人工智能医学图像处理领域，更具体地说是涉及基于深度学习的口腔全景片龋齿深度识别方法。

背景技术

龋齿是一种由口腔中多种因素复合作用所导致的牙齿硬组织进行性病损，是口腔主要的常见病，也是人类最普遍的疾病之一。对龋齿的影像学识别主要为口腔全景片，由于目前大众对口腔健康的需求日益增长，越来越多人到医院或诊所进行口腔方面的咨询或治疗。而由于病患多，诊疗时间有限，有时医生不得已只能优先关注有症状的牙齿，而忽略了其他潜在的龋齿，且口腔检查时，医护人员也难以判断牙齿患龋程度。

临床上可见龋齿有色、形、质的变化，而以质变为主，色、形变化是质变的结果，随着病程的发展，病变由釉进入牙本质，组织不断被破坏、崩解而逐渐形成龋洞，临床上常根据龋坏程度分为浅、中、深龋三个阶段(如图2所示)，各自表现如下：

1.浅龋

亦称釉质龋，龋坏局限于釉质。初期于平滑面表现为脱矿所致的白垩色斑块，以后因着色而呈黄褐色，窝沟处则呈浸墨状弥散，一般无明显龋洞，仅探诊时有粗糙感，后期可出现局限于釉质的浅洞，无自觉症状，探诊也无反应。如图3中A框部分为浅龋。

2.中龋

龋坏已达牙本质浅层，临床检查有明显龋洞，可有探痛，对外界刺激(如冷、热、甜、酸和食物嵌入等)可出现疼痛反应，当刺激源去除后疼痛立即消失，无自发性痛。如图4中B框为中龋。

3.深龋

龋坏已达牙本质深层，一般表现为大而深的龋洞，或入口小而深层有较为广泛的破坏，对外界刺激反应较中龋重，但刺激源去除后，仍可立即止痛，无自发性痛。如图4中C框为深龋。

深度学习是一种建立和模拟人脑进行分析学习的神经网络，通过模拟人脑信息传输机制来解释数据，通过组合低层特征形成更加抽象的高层特征表示，以发现数据的分布特点。深度学习在医学领域中已取得一定成绩，如肺部肿瘤和乳腺癌的诊断，其发展为辅助疾病诊断提供一种新途径，能够降低医疗资源需求，提高医疗效率。

龋齿的识别多依赖于临床医生的主观性经验水平，不同医护人员识别病灶的敏感度具有一定差异，尤其是对于不同龋齿深度的界定。医护人员长期查看影像数据容易导致视觉疲劳，这在一定程度上降低了诊断结果的准确度。目前已有多种系统开发，如辅助影像读片机器人、肿瘤诊断机器人等，但是由于龋齿是比较特殊的一类疾病，其诊断的理念和方式与一般普通疾病存在一些差异，口腔全景片中牙齿数目繁多，龋齿表现范围小，使用目前常用的机器学习方法尚不能满足龋齿深度的识别要求，目前还未发现有专门针对龋齿的深度学习识别方法。

因此，开发一种基于深度学习的龋齿深度自动化识别方法是本领域亟需解决的问题。

发明内容

基于以上问题，本发明提出了基于深度学习的口腔全景片龋齿深度识别方法，实现对临床数据的管理与应用，方便信息的检索与推送，大幅提升了识别效果。

为实现上述目的，本发明提供以下技术步骤：

一种基于深度学习的口腔全景片龋齿深度识别方法，包括以下步骤：

步骤一：数据预处理：将资料库中的图像按照一定顺序编号，进行标准化数据预处理；

步骤二：图像分割：采用阈值分割法分割口腔全景片图像中的牙齿，分离口腔背景区域和目标区域，提取ROI图像块；

步骤三：构建模型：采用迁移学习技术构建卷积神经网络；

步骤四：特征提取：将训练数据集输入到卷积神经网络中，提取ROI区域的目标图像特征，寻找龋齿的位置，并进行浅龋、中龋和深龋的自动识别；

步骤五：分类识别：将测试数据输入训练好的卷积神经网络中，得到龋齿深度识别结果。

本发明中，所述步骤一具体包括：从医院的放射检查资料库中收集图像清晰的口腔DICOM格式全景片，利用小波变换去除图像噪声，增大信噪比，并对去噪后的图像统一编号，人工标注龋齿的患龋部位及患龋深度；

本发明中，所述步骤二具体包括：采用OTSU方法自动分割全景片中的牙齿，提取龋齿的ROI区域图像，归一化为相同大小，按7:3的比例划分训练集和测试集，归一化公式为：

其中x_min和x_max分别表示最小值和最大值；

本发明中，所述步骤三具体包括：预先采用500例口腔全景片数据训练卷积神经网络，降低损失函数值并更新网络权重，经过不断迭代学习，获得龋齿的二分类模型，将该模型中的网络参数迁移到一个新卷积神经网络中，初步形成龋齿深度识别模型；

本发明中，所述步骤四具体包括：将标注好的训练集输入到新卷积神经网络中，分割出龋坏牙齿，深层次提取ROI图像特征，通过softmax分类器，识别出龋齿深度；

本发明中，所述步骤五具体包括：将划分的测试数据集输入网络模型中，利用步骤四训练好的卷积神经网络，自动化识别龋齿深度，并给出具体识别精度。

优选的，在上述基于深度学习的口腔全景片龋齿自动识别方法中，所述步骤一中图像预处理用MicroDicom将DICOM影响统一转换为BMP格式。

优选的，在上述基于深度学习的口腔全景片龋齿识别方法中，所述步骤二中分割口腔牙齿的具体方法是OTSU。

优选的，在上述基于深度学习的口腔全景片龋齿识别方法中，所述步骤三中迁移学习技术初始化网络权值，使网络适用于医学领域。

优选的，在上述基于深度学习的口腔全景片龋齿识别方法中，所述步骤四中特征提取采用卷积核进行卷积和下采样运算，公式为：

H_i＝f(H_i-1*W_i+b_i)

X表示原始数据，H_i表示卷积结果，W_i为第i层卷积权值，f(x)是激励函数。

down(·)表示下采样运算，β和b均为网络偏置。卷积和下采样结合提取ROI目标区域特征向量，形成高维特征表示。

优选的，在上述基于深度学习的口腔全景片龋齿识别方法中，所述步骤五中模型分类器采用Softmax，将测试数据输入训练好的模型，得到龋齿的位置，并自动识别龋齿深度(浅龋、中龋和深龋)。

与现有技术相比，本发明的有益效果是：

(1)本发明采用卷积神经网络识别龋齿，可实现自动识别龋齿深度的结果导出。

(2)本发明能够辅助临床医护人员提高诊疗能力和工作效率，解决了医护人员长期查看影像数据容易导致视觉疲劳，降低漏诊和误诊率，尤其能够降低医疗资源需求，提高医疗效率。

附图说明

图1是本发明提出的基于深度学习的口腔全景片龋齿深度识别方法流程图。

图2是龋齿临床分类图。

图3是口腔内龋齿ROI区域(浅龋)，其中A框部分为浅龋。

图4是口腔内龋齿ROI区域(中龋和深龋)，其中B框为中龋，C框为深龋。

具体实施方式

下面结合附图，通过实施例进一步介绍本发明。首先需要说明的是，在本发明的实现过程中，会涉及到多个功能模块的应用。申请人认为，在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，再结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本发明。本发明所述存储器、处理器、计算机可读存储介质均为计算机行业的硬件设备，本发明对其没有特别要求。

本发明系统功能模块包括但不限于：数据采集模块、数据预处理模块、ROI目标区域分割模块、卷积神经网络构建和训练模块、图像特征提取模块、龋齿深度识别模块等，凡本发明申请文件提及的均属此范畴，申请人不再一一列举。

实施例1

参见图1，本发明提出的基于深度学习的口腔全景片龋齿深度识别方法，通过以下步骤实现：

1.首先收集影像数据，进行数据预处理，统一按照一定顺序进行编号，采用MicroDicom调节图像亮度和对比度，转换为BMP格式，并统一进行归一化，按照7:3的比例划分为训练集和测试集；

2.其次对预处理后的图像进行分割，提取ROI(Region Of Interest,ROI)感兴趣区域，如图3和图4所示，图3框中的部分为浅龋(A)，图4中B框为中龋、C框为深龋。图像分割采用最大类间方差法(即OTSU算法)，根据图像的灰度特征，将图像分为背景和目标两个部分，背景与目标之间的像素方差越大，说明背景与目标之间的差别也明显，OTSU算法是通过寻找背景与目标两类像素之间的阈值，达到一个较好的图像分割效果；

然后利用迁移学习和梯度下降法构建卷积神经网络，迁移学习初始化神经网络中前两层网络权值，将训练数据输入网络中，利用梯度下降法微调网络权重，使结果尽可能接近预设标签；

最后将测试数据输入上一步训练的卷积神经网络中，提取ROI龋齿的图像高维特征，自动识别龋齿的位置，并进行龋齿深度识别。

实施例2

(1)数据采集模块

数据源自医院放射检查资料库中导出DICOM格式的口腔全景片。为保证模型训练的准确性，初步筛除过于模糊、饱和度低的影像数据。

(2)数据预处理模块

调节采集图像的亮度和对比度，通过MicroDicom统一将DICOM格式影像转换为BMP格式，归一化为相同大小，并按照顺序逐个编号，归一化公式为：

其中x_min和x_max分别表示最小值和最大值。采用Lableme专业图像标注工具对转换后的图像进行统一标注患龋区域及其深度，标注原则为依据龋齿深度的临床表现(图1)，将数据按照7：3的比例划分为训练集和测试集。

(3)ROI目标区域分割模块

为了准确识别龋齿深度，对预处理后的图像采取OTSU算法进行分割，分离背景区域和牙齿区域。OTSU是一种基于阈值的分割方法，其原理是统计灰度级中的每个像素在图像中的个数，计算每个像素在图像中的概率分布，对灰度级进行遍历搜索，计算当前背景和目标的类间概率，通过目标函数计算出类间反差下对应的阈值T，根据该T值分割背景区域和牙齿区域。

(4)卷积神经网络构建和训练模块

为节省模型训练时间，本发明采用迁移学习技术，初始化卷积神经网络中前两层提取浅层特征的网络权值。将数据训练集输入网络模型中，训练模型中的其余权重，此外还采用随机梯度下降法，通过不断迭代，更新网络权值和偏置。随机梯度下降法的迭代运算如下：

1)将ΔW^(l)和Δb^(l)设置为零矩阵；

2)用GD算法计算得到ΔW^(l)和Δb^(l)；

3)根据以下公式更新网络参数；

4)继续迭代运算，不断使用GD算法，减少损失函数J(W,b)。

(5)图像高维特征提取模块

针对(3)中提取的ROI图像区块进行高维特征提取，特征提取的数量与卷积神经网络的层数相关，随着网络深度的增加，特征图尺寸越小，数量越多，特征提取公式为：

a²＝σ(z²)＝σ(a¹*W²+b²)

其中上标表示层数，*表示卷积运算，b表示偏置，σ表示激活函数，本发明中的激活函数为ReLu。

(6)龋齿深度识别模块

将测试数据集输入到(4)模型中，通过卷积神经网络的前向传播方式，得到龋齿的位置及其患龋深度。

利用本发明的方法，可由输入的口腔全景片图像获得标注有龋齿位置的新全景片图像，通过卷积神经网络模型识别出患龋深度，有利于解放龋齿发现识别过程对专业医疗机构和临床医生的依赖，从而使龋齿的发现和识别时间大幅缩短，减轻医护人员工作量。

需要注意的是，以上所述是本发明的优选实施方式，不能以此限定本发明的权利范围，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种基于深度学习的口腔全景片龋齿深度识别方法，其特征在于，通过以下步骤实现：

(1)数据预处理：利用资料库中的口腔全景片进行数据标注及标准化预处理，准备训练集；

(2)图像分割：采用阈值分割方法提取ROI，分离口腔全景片中的背景区域和目标区域；

(3)构建模型：采用迁移学习和梯度下降法构建并训练卷积神经网络；

(4)特征提取：利用训练好的卷积神经网络提取ROI图像高维特征，进行龋齿深度自动识别；

(5)分类识别：输入测试数据，评估龋齿深度识别结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：

(1)从放射检查资料库中收集图像清晰的口腔全景片，统一调节亮度与对比度；

(2)人工标注出口腔全景片中患龋牙齿的患龋部位。

3.根据权利要求1所述的方法，其特征在于，所述步骤(2)具体包括：对收集到的口腔全景片进行图像数字化采样，然后通过阈值分割方法实现背景和目标区域的分割提取。

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)具体包括：

(1)从预处理后的全景片数据中随机选取70％作为训练集；

(2)构建深度卷积神经网络，用于学习训练；该卷积神经网络由多个卷积层、特征提取块和池化层交替实现；

(3)将训练集输入卷积神经网络，对卷积神经网络中的参数进行训练；通过Adam优化算法降低损失函数值并更新网络权重参数，经过若干次训练后，得到学习后的网络权重参数。

5.根据权利要求1所述的方法，其特征在于，所述步骤(4)具体包括：

(1)采用迁移学习构建新的卷积神经网络；

(2)将数据输入新卷积神经网络，通过卷积神经网络的不断迭代，提取ROI区域特征，优化模型效果。

Images