Nothing Special   »   [go: up one dir, main page]

CN117710323A - 内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统 - Google Patents

内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统 Download PDF

Info

Publication number
CN117710323A
CN117710323A CN202311729412.4A CN202311729412A CN117710323A CN 117710323 A CN117710323 A CN 117710323A CN 202311729412 A CN202311729412 A CN 202311729412A CN 117710323 A CN117710323 A CN 117710323A
Authority
CN
China
Prior art keywords
image
model
endoscopic
parathyroid
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311729412.4A
Other languages
English (en)
Inventor
陈俊周
文萱
黄晓明
林沛亮
范剑明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen Memorial Hospital Sun Yat Sen University
Sun Yat Sen University
Original Assignee
Sun Yat Sen Memorial Hospital Sun Yat Sen University
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen Memorial Hospital Sun Yat Sen University, Sun Yat Sen University filed Critical Sun Yat Sen Memorial Hospital Sun Yat Sen University
Priority to CN202311729412.4A priority Critical patent/CN117710323A/zh
Publication of CN117710323A publication Critical patent/CN117710323A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及内镜甲状腺手术中甲状旁腺识别及血运判断方法，基于先进的深度学习目标检测框架，在获取到白光模式下的内镜甲状腺术中图像后，考虑到进行血运判断时造影图像可能会存在部分不清晰进而导致血管轮廓出现断线的情况，所以对所述内镜甲状腺术中图像进行边缘细化并对细化后的图像进行断线修复即将距离最近的端点连线，这样一来在进行识别模型训练时，就能够使模型对甲状旁腺的血运情况关注度更高，一方面加速模型的训练收敛过程，另一方面提高模型的识别准确度。本发明能自动识别并实时追踪甲状旁腺的位置并识别血运情况，为降低甲状旁腺损伤的发生率做出辅助贡献。另外，本发明所提出的系统采用了本发明所提出的方法，也具备上述优势。

Description

内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统
技术领域
本发明涉及人工智能与医疗相关技术领域，尤其涉及内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统。
背景技术
甲状腺肿瘤是头颈部最常见的恶性肿瘤，其中手术治疗是最主要的治疗手段。甲状腺癌手术的主要并发症包括甲状旁腺损伤和喉返神经损伤，目前，国内外相关文献报道，甲状腺术后暂时性和永久性甲状旁腺功能减退的发生率分别为14％～60％和4％～11％。在临床上，甲状腺癌术后的甲状旁腺功能减退的患者，需要补充钙剂及维生素D，改善低钙血症及其引发的症状。钙剂和/或维生素D长期过量服用或补充不足，可导致肾结石、肾钙质沉积症、肢体麻木、抽搐、骨代谢异常，甚至抑郁、焦虑、痴呆等并发症，严重影响患者的生存质量。术中准确识别并原位保留甲状旁腺，可有效降低术后甲状旁腺功能低下的发生率。
目前，甲状旁腺识别包括肉眼识别法、正负显影法、自体荧光技术等方法，以上方法存在准确性不高、显影剂渗漏影响术区操作、药物过敏、需要特殊设备等缺点。目前判断甲状旁腺血运主要采用吲哚菁绿荧光显影，该方法需要静脉注射吲哚菁绿造影剂及使用荧光内镜设备，临床应用存在一定局限性。
另外在进行甲状腺手术时，需要考虑是否同期进行甲状旁腺自提移植，这项操作需要结合患者的术中甲状旁腺血运情况进行分析决定，以降低术后甲状旁腺功能低下的发生率。目前临床医学中大多还是凭借医生的主观分析，非常依赖医生的专业水平，如何结合人工智能给予医生更多更合理的分析依据，是当今市场的研究致力方向。
发明内容
本发明的目的是为了至少解决现有技术的不足之一，提供内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统。
为了实现上述目的，本发明采用以下的技术方案：
具体的，提出内镜甲状腺手术中甲状旁腺识别及血运判断方法，包括以下：
获取于白光模式下的内镜甲状腺术中图像；
对所述内镜甲状腺术中图像进行边缘细化操作得到第一图像；
找寻所述第一图像中的所有端点得到端点集；
计算端点集中各个端点之间的距离，并针对端点集中任意端点，将距离其最近的一个端点与其相连得到处理后的第一图像；
基于第一图像对对应的内镜甲状腺术中图像中的轮廓以及线条进行标注得到以轮廓区域以及线条区域为ROI区域的影像增强的内镜甲状腺术中图像；
基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
获取手术过程中实时内镜视频；
通过训练后的识别模型对所述实时内镜视频进行甲状旁腺识别与血运判断。
进一步，具体的，对所述内镜甲状腺术中图像进行边缘细化操作得到第一图像，包括，
对所述内镜甲状腺术中图像进行二值化处理得到二值图像；
对所述二值图像进行边缘检测算法处理检测所述二值图像中的边缘得到边缘图像；
利用边缘细化算法结合预设的迭代终止条件对所述边缘图像进行边缘细化得到细化边缘图像即第一图像。
进一步，具体的，采用的边缘检测算法为基于Sobel算子的边缘检测算法，采用的边缘细化算法为Guo-Hall细化算法。
进一步，具体的，找寻所述第一图像中的所有端点得到端点集，包括，
对所述第一图像进行端点检测，端点检测的过程包括，获取第一图像中每个细化像素点的邻域中细化像素点的个数P，找寻出个数P不高于2的细化像素点；
将个数P不高于2的细化像素点作为端点进行标记，并得到端点集。
进一步，具体的，基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型，包括，
对白光模式下的内镜甲状腺术中图像进行数据预处理得到标注后的第一训练数据，对影像增强的内镜甲状腺术中图像进行所述数据预处理得到标注后的第二训练数据；
通过所述第一训练数据以及第二训练数据对预构建的神经网络模型进行训练得到训练后的识别模型；
于训练后的识别模型中嵌入视频流处理模块得到最终的识别模型，所述视频流处理模块用于捕捉视频序列，将视频序列中的每一帧输入到训练后的识别模型中，得到目标检测结果，根据目标检测结果，在当前帧甲状旁腺进行跟踪以及血运判断，根据当前帧中甲状旁腺的位置信息以及血运判断结果，更新甲状旁腺的状态以及血运判断结果，在视频序列中实时处理每一帧的图像，不断更新甲状旁腺的位置信息以及血运判断结果，实现甲状旁腺的动态追踪以及动态的血运判断。
进一步，所述方法还包括，在划分得到第一训练数据以及第二训练数据时，使用分层抽样及交叉验证方法，确保同一个病例的多张图片不会同时在训练集和测试集出现。
进一步，所述方法还包括，在将所述第一训练数据以及第二训练数据输入模型训练前，将所述第一训练数据以及第二训练数据存储在适应模型的文件格式中，并将对应的标注信息文件转换成模型所需格式，且将所述第一训练数据以及第二训练数据中的图像进行标准化归一化处理。
进一步，具体的，预构建的神经网络模型包括以下步骤：首先，选择适用于甲状旁腺识别的神经网络模型作为初始神经网络模型；然后，在初始神经网络模型中分别构建针对白光模式下的内镜甲状腺术中图像的第一目标检测模型以及影像增强后的图像的第二目标检测模型；接着将第一目标检测模型以及第二目标检测模型的特征层进行融合；随后去除神经网络模型中最后的全连接层，并将其替换为输出个数为5类型种数的全连接层，其中，0对应阴性图片，1-4分别对应阳性图片的四个等级的荧光强度，最后，随机初始化该输出个数为类型种数的全连接层的权重，从而得到预构建的神经网络模型。
进一步，具体的，通过准确率评估训练得到的神经网络模型在K折交叉验证中的性能，准确率最高的神经网络模型即为最优神经网络模型；
再对最优神经网络模型进行测试，根据模型识别甲状旁腺的情况绘制最优神经网络模型的ROC曲线图，并将参与验证的医生的真阳性率、假阳性率绘制于ROC曲线图中的对应位置，若最优神经网络模型的ROC曲线未完全包围医生的结果点，则对模型进行调整直到最优神经网络模型的ROC曲线完全包围医生的结果点，得到训练后的识别模型。
本发明还提出内镜甲状腺手术中甲状旁腺识别及血运判断系统，其特征在于，包括以下：
数据获取模块，用于获取于白光模式下的内镜甲状腺术中图像；
边缘细化模块，用于对所述内镜甲状腺术中图像进行边缘细化操作得到第一图像；
端点集找寻模块，用于找寻所述第一图像中的所有端点得到端点集；
图像处理模块模块，用于计算端点集中各个端点之间的距离，并针对端点集中任意端点，将距离其最近的一个端点与其相连得到处理后的第一图像；
影像增强模块，用于基于第一图像对对应的内镜甲状腺术中图像中的轮廓以及线条进行标注得到以轮廓区域以及线条区域为ROI区域的影像增强的内镜甲状腺术中图像；
识别模型构建模块，用于基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
实时视频获取模块，用于获取手术过程中实时内镜视频；
结果识别模块，用于通过训练后的识别模型对所述实时内镜视频进行甲状旁腺识别与血运判断。
本发明的有益效果为：
本发明提供的内镜甲状腺手术中甲状旁腺识别及血运判断方法，基于先进的深度学习目标检测框架，在获取到白光模式下的内镜甲状腺术中图像后，考虑到进行血运判断时造影图像可能会存在部分不清晰进而导致血管轮廓出现断线的情况，所以对所述内镜甲状腺术中图像进行边缘细化并对细化后的图像进行断线修复即将距离最近的端点连线，这样一来在进行识别模型训练时，就能够使模型对甲状旁腺的血运情况关注度更高，一方面加速模型的训练收敛过程，另一方面提高模型的识别准确度。通过这一技术方案，系统能自动识别并实时追踪甲状旁腺的位置并识别血运情况，具备以下优势：
本发明可适应不同类型的内镜系统和手术操作，提高甲状旁腺识别和血运判定的准确性和稳定性，避免了术中甲状旁腺的误切除和血运损伤，协助术者术中决定是否同期行甲状旁腺自体移植，降低术后甲状旁腺功能低下的发生率。本系统适用于内镜甲状腺手术中的甲状旁腺功能的保护，具有广泛的应用前景和推广价值，可提高内镜甲状腺手术的安全性和准确性，改善患者术后生活治疗。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的输出电压，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为本发明内镜甲状腺手术中甲状旁腺识别及血运判断方法的流程图；
图2所示为本发明内镜甲状腺手术中甲状旁腺识别及血运判断方法中所涉及到的未加入视频流处理模块的神经网络模型的结构原理图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
参照图1，实施例1，本发明提出内镜甲状腺手术中甲状旁腺识别及血运判断方法，包括以下：
步骤110、获取于白光模式下的内镜甲状腺术中图像；
步骤120、对所述内镜甲状腺术中图像进行边缘细化操作得到第一图像；
步骤130、找寻所述第一图像中的所有端点得到端点集；
步骤140、计算端点集中各个端点之间的距离，并针对端点集中任意端点，将距离其最近的一个端点与其相连得到处理后的第一图像；
步骤150、基于第一图像对对应的内镜甲状腺术中图像中的轮廓以及线条进行标注得到以轮廓区域以及线条区域为ROI区域的影像增强的内镜甲状腺术中图像；
步骤160、基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
步骤170、获取手术过程中实时内镜视频；
步骤180、通过训练后的识别模型对所述实时内镜视频进行甲状旁腺识别与血运判断。
在本实施例1中，提供的内镜甲状腺手术中甲状旁腺识别及血运判断方法，基于先进的深度学习目标检测框架，在获取到白光模式下的内镜甲状腺术中图像后，考虑到进行血运判断时造影图像可能会存在部分不清晰进而导致血管轮廓出现断线的情况，所以对所述内镜甲状腺术中图像进行边缘细化并对细化后的图像进行断线修复即将距离最近的端点连线，这样一来在进行识别模型训练时，就能够使模型对甲状旁腺的血运情况关注度更高，一方面加速模型的训练收敛过程，另一方面提高模型的识别准确度。通过这一技术方案，系统能自动识别并实时追踪甲状旁腺的位置并识别血运情况，具备以下优势：
本发明可适应不同类型的内镜系统和手术操作，提高甲状旁腺识别和血运判定的准确性和稳定性，避免了术中甲状旁腺的误切除和血运损伤，协助术者术中决定是否同期行甲状旁腺自体移植，降低术后甲状旁腺功能低下的发生率。本系统适用于内镜甲状腺手术中的甲状旁腺功能的保护，具有广泛的应用前景和推广价值，可提高内镜甲状腺手术的安全性和准确性，改善患者术后生活治疗。
具体的，在进行实施时，本发明包括如下三大过程，
1.数据采集
采集内镜甲状腺手术中的白光模式和影像增强模式的图片，以及相应的甲状旁腺位置信息及吲哚菁绿静脉造影血运判定结果，用于模型的训练和测试。
收集甲状腺内镜手术图片：根据任务目标，分别收集白光模式和影像增强模式的甲状腺手术图片，其中白光模式提供了自然真实的图像信息，有助于模型学习真实世界中的视觉特征；而影像增强模式通过图像增强处理可以提供强调目标特定特征的图像信息，有助于模型更好地捕捉目标的关键特征；
数据标注：将收集的甲状腺内镜手术图片按是否包含甲状旁腺分为阳性图片、阴性图片，对阳性图片中的甲状旁腺进行标注，并按吲哚菁绿静脉造影荧光强度分为1-4分四个等级；
筛除模糊的内镜图片：对所有的图片进行质量筛选，去除模糊、噪点严重等质量较差的图片，以保证数据集的准确性和可靠性；
数据划分：将标注后的白光模式和影像增强模式的图片按照不同比例进行划分，使用交叉验证方法，划分出多个测试集以及训练集。在内镜图像具体划分过程中，要确保同一个病例的多张病例图像不会同时在训练集和测试集出现，即该病例包含的所有图片，要么全部分配给训练集，要么全部分配给测试集，以避免数据泄露和评估结果的偏差；
数据格式转化：将标注后的数据集存储在适当的文件格式中，并将对应的标注信息文件转换成模型所需格式。
2.模型训练
采用深度学习目标检测框架，使用白光模式和影像增强模式的图片进行训练，使模型具有较强的甲状旁腺识别及血运判定能力。具体过程如下：
加载预训练模型：加载预训练的神经网络模型Yolo V7；
模型构建：结合图2，选取适用于甲状旁腺识别的神经网络模型作为初始神经网络模型，于所述初始神经网络模型中分别构建针对白光模式下的内镜甲状腺术中图像的第一目标检测模型以及影像增强后的图像的第二目标检测模型，将所述第一目标检测模型以及第二目标检测模型的特征层进行融合，去除神经网络模型中最后的全连接层，更换为输出个数为5类型种数的全连接层(0-阴性图片，1-4对应阳性图片四个等级的荧光强度)，并随机初始化该输出个数为类型种数的全连接层的权重，获得用于甲状腺内镜图像分类的新的神经网络模型；
模型训练：分别对划分的训练集进行训练，训练过程中采用随机梯度下降法对模型进行优化。首先，我们将之前收集到的经过标注的阳性和阴性图片作为训练集，在这个训练集上进行多轮的训练。每一轮训练，模型通过输入图像，经过前向传播计算得到预测结果，然后计算预测结果与真实标签之间的误差，再通过反向传播更新模型参数，从而不断优化模型的性能，其中训练数据中所包含的影像增强模式与白光模式图片为1：1配对图片，用于增加模型对甲状旁腺血运的判定能力；
模型验证：使用准确率评估训练得到的神经网络模型在K折交叉验证的性能，准确率最高的神经网络模型即为最优神经网络模型；
模型评估：根据模型识别甲状旁腺及判定血运的情况做出最优神经网络模型甲状旁腺识别和血运判定的混淆矩阵并绘出ROC曲线图(阴性Vs阳性图像，及血运1-2级Vs3-4级)，并将参与验证的医生的真阳性率、假阳性率绘于ROC曲线图中的对应位置，若最优神经网络模型的ROC曲线包围医生的结果点，则说明该最优神经网络模型能够达到或超过人类专家的表现，能够用于实际内镜手术中甲状旁腺的识别和/或血运判定。
动态追踪算法：在模型中嵌入视频流处理模块，将视频序列中的每一帧输入到深度学习网络中，提取出高层抽象的特征表示，对图像进行前向传播计算，得到目标检测结果，包括是否存在甲状旁腺的阳性或阴性判断，及甲状旁腺血运情况。根据目标检测的结果，在当前帧中对目标对象进行跟踪，根据当前帧中目标对象的位置及血运信息，更新目标对象的状态，从而提高下一帧的检测准确性。在视频序列中实时处理每一帧的图像，不断更新目标对象的位置及血运信息；
模型应用：将获得模型和动态追踪算法，一起嵌入内镜手术系统。
3.系统实现
模型部署：在内镜系统中嵌入训练好的深度学习模型，可以实现甲状旁腺的自动识别和血运判定功能。
数据获取：当甲状旁腺进入内镜视野时，首先模型中的视频流处理模块对实时视频进行处理，将视频序列中的每一帧输入到深度学习网络中进行检测；
目标检测：输入待检测的图像或视频流到模型中，模型将输出检测到的目标位置和类别信息，同时根据实际需求对模型输出的目标检测结果进行后处理，如去除重复检测、筛选置信度较低的目标等；
目标追踪：系统能够自动识别甲状旁腺位置，并在屏幕上标出甲状旁腺的位置及血运判定结果，以便术者及时调整手术器械，保护甲状旁腺，减少甲状旁腺误切除及血运损伤的发生率。
作为本发明的优选实施方式，具体的，对所述内镜甲状腺术中图像进行边缘细化操作得到第一图像，包括，
对所述内镜甲状腺术中图像进行二值化处理得到二值图像；
对所述二值图像进行边缘检测算法处理检测所述二值图像中的边缘得到边缘图像；
利用边缘细化算法结合预设的迭代终止条件对所述边缘图像进行边缘细化得到细化边缘图像即第一图像。
在本优选实施方式中，通过上述方式进行内镜甲状腺术中图像的边缘细化，能够确保得到合理有效的内镜甲状腺术中图像的细化边缘图像。
作为本发明的优选实施方式，具体的，采用的边缘检测算法为基于Sobel算子的边缘检测算法，采用的边缘细化算法为Guo-Hall细化算法。
在本优选实施方式中，考虑到实际应用的可行性，采用成熟的基于Sobel算子的边缘检测算法以及Guo-Hall细化算法，当然其他能够满足本发明应用场景的算法也可以。
作为本发明的优选实施方式，具体的，找寻所述第一图像中的所有端点得到端点集，包括，
对所述第一图像进行端点检测，端点检测的过程包括，获取第一图像中每个细化像素点的邻域中细化像素点的个数P，找寻出个数P不高于2的细化像素点；
将个数P不高于2的细化像素点作为端点进行标记，并得到端点集。
在本优选实施方式中，通过以上逻辑，能够准确地找寻出端点集，其中邻域指的是像素点的8邻域。
本发明还提出内镜甲状腺手术中甲状旁腺识别及血运判断系统，其特征在于，包括以下：
数据获取模块，用于获取于白光模式下的内镜甲状腺术中图像；
边缘细化模块，用于对所述内镜甲状腺术中图像进行边缘细化操作得到第一图像；
端点集找寻模块，用于找寻所述第一图像中的所有端点得到端点集；
图像处理模块模块，用于计算端点集中各个端点之间的距离，并针对端点集中任意端点，将距离其最近的一个端点与其相连得到处理后的第一图像；
影像增强模块，用于基于第一图像对对应的内镜甲状腺术中图像中的轮廓以及线条进行标注得到以轮廓区域以及线条区域为ROI区域的影像增强的内镜甲状腺术中图像；
识别模型构建模块，用于基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
实时视频获取模块，用于获取手术过程中实时内镜视频；
结果识别模块，用于通过训练后的识别模型对所述实时内镜视频进行甲状旁腺识别与血运判断。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例中的方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.内镜甲状腺手术中甲状旁腺识别及血运判断方法，其特征在于，包括以下：
获取于白光模式下的内镜甲状腺术中图像；
对所述内镜甲状腺术中图像进行边缘细化操作得到第一图像；
找寻所述第一图像中的所有端点得到端点集；
计算端点集中各个端点之间的距离，并针对端点集中任意端点，将距离其最近的一个端点与其相连得到处理后的第一图像；
基于第一图像对对应的内镜甲状腺术中图像中的轮廓以及线条进行标注得到以轮廓区域以及线条区域为ROI区域的影像增强的内镜甲状腺术中图像；
基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
获取手术过程中实时内镜视频；
利用训练后的识别模型对所述实时内镜视频进行甲状旁腺识别与血运判断。
2.根据权利要求1所述的内镜甲状腺手术中甲状旁腺识别及血运判断方法，其特征在于，具体的，对所述内镜甲状腺术中图像进行边缘细化操作得到第一图像，包括，
对所述内镜甲状腺术中图像进行二值化处理得到二值图像；
对所述二值图像进行边缘检测算法处理检测所述二值图像中的边缘得到边缘图像；
利用边缘细化算法结合预设的迭代终止条件对所述边缘图像进行边缘细化得到细化边缘图像即第一图像。
3.根据权利要求2所述的内镜甲状腺手术中甲状旁腺识别及血运判断方法，其特征在于，具体的，采用的边缘检测算法为基于Sobel算子的边缘检测算法，采用的边缘细化算法为Guo-Hall细化算法。
4.根据权利要求1所述的内镜甲状腺手术中甲状旁腺识别及血运判断方法，其特征在于，具体的，找寻所述第一图像中的所有端点得到端点集，包括，
对所述第一图像进行端点检测，端点检测的过程包括，获取第一图像中每个细化像素点的邻域中细化像素点的个数P，找寻出个数P不高于2的细化像素点；
将个数P不高于2的细化像素点作为端点进行标记，并得到端点集。
5.根据权利要求1所述的内镜甲状腺手术中甲状旁腺识别及血运判断方法，其特征在于，具体的，基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型，包括，
对白光模式下的内镜甲状腺术中图像进行数据预处理得到标注后的第一训练数据，对影像增强的内镜甲状腺术中图像进行所述数据预处理得到标注后的第二训练数据；
通过所述第一训练数据以及第二训练数据对预构建的神经网络模型进行训练得到训练后的识别模型；
于训练后的识别模型中嵌入视频流处理模块得到最终的识别模型，所述视频流处理模块用于捕捉视频序列，将视频序列中的每一帧输入到训练后的识别模型中，得到目标检测结果，根据目标检测结果，在当前帧甲状旁腺进行跟踪以及血运判断，根据当前帧中甲状旁腺的位置信息以及血运判断结果，更新甲状旁腺的状态以及血运判断结果，在视频序列中实时处理每一帧的图像，不断更新甲状旁腺的位置信息以及血运判断结果，实现甲状旁腺的动态追踪以及动态的血运判断。
6.根据权利要求5所述的内镜甲状腺手术中甲状旁腺识别及血运判断方法，其特征在于，所述方法还包括，在划分得到第一训练数据以及第二训练数据时，使用分层抽样及交叉验证方法，确保同一个病例的多张图片不会同时在训练集和测试集出现。
7.根据权利要求5所述的内镜甲状腺手术中甲状旁腺识别及血运判断方法，其特征在于，所述方法还包括，在将所述第一训练数据以及第二训练数据输入模型训练前，将所述第一训练数据以及第二训练数据存储在适应模型的文件格式中，并将对应的标注信息文件转换成模型所需格式，且将所述第一训练数据以及第二训练数据中的图像进行标准化归一化处理。
8.根据权利要求1所述的内镜甲状腺手术中甲状旁腺识别及血运判断方法，其特征在于，具体的，预构建的神经网络模型包括以下步骤：首先，选择适用于甲状旁腺识别的神经网络模型作为初始神经网络模型；然后，在初始神经网络模型中分别构建针对白光模式下的内镜甲状腺术中图像的第一目标检测模型以及影像增强后的图像的第二目标检测模型；接着将第一目标检测模型以及第二目标检测模型的特征层进行融合；随后去除神经网络模型中最后的全连接层，并将其替换为输出个数为5类型种数的全连接层，其中，0对应阴性图片，1-4分别对应阳性图片的四个等级的荧光强度，最后，随机初始化该输出个数为类型种数的全连接层的权重，从而得到预构建的神经网络模型。
9.根据权利要求8所述的内镜甲状腺手术中甲状旁腺识别及血运判断方法，其特征在于，具体的，通过准确率评估训练得到的神经网络模型在K折交叉验证中的性能，准确率最高的神经网络模型即为最优神经网络模型；
再对最优神经网络模型进行测试，根据模型识别甲状旁腺的情况绘制最优神经网络模型的ROC曲线图，并将参与验证的医生的真阳性率、假阳性率绘制于ROC曲线图中的对应位置，若最优神经网络模型的ROC曲线未完全包围医生的结果点，则对模型进行调整直到最优神经网络模型的ROC曲线完全包围医生的结果点，得到训练后的识别模型。
10.内镜甲状腺手术中甲状旁腺识别及血运判断系统，其特征在于，包括以下：
数据获取模块，用于获取于白光模式下的内镜甲状腺术中图像；
边缘细化模块，用于对所述内镜甲状腺术中图像进行边缘细化操作得到第一图像；
端点集找寻模块，用于找寻所述第一图像中的所有端点得到端点集；
图像处理模块模块，用于计算端点集中各个端点之间的距离，并针对端点集中任意端点，将距离其最近的一个端点与其相连得到处理后的第一图像；
影像增强模块，用于基于第一图像对对应的内镜甲状腺术中图像中的轮廓以及线条进行标注得到以轮廓区域以及线条区域为ROI区域的影像增强的内镜甲状腺术中图像；
识别模型构建模块，用于基于白光模式下的内镜甲状腺术中图像与影像增强的内镜甲状腺术中图像对预构建的识别模型进行训练得到训练后的识别模型；
实时视频获取模块，用于获取手术过程中实时内镜视频；
结果识别模块，用于利用训练后的识别模型对所述实时内镜视频进行甲状旁腺识别与血运判断。
CN202311729412.4A 2023-12-15 2023-12-15 内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统 Pending CN117710323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311729412.4A CN117710323A (zh) 2023-12-15 2023-12-15 内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311729412.4A CN117710323A (zh) 2023-12-15 2023-12-15 内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统

Publications (1)

Publication Number Publication Date
CN117710323A true CN117710323A (zh) 2024-03-15

Family

ID=90152907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311729412.4A Pending CN117710323A (zh) 2023-12-15 2023-12-15 内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统

Country Status (1)

Country Link
CN (1) CN117710323A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118587209A (zh) * 2024-08-02 2024-09-03 华科盈医疗科技(广州)有限公司 基于光声成像的甲状旁腺血运状态分析系统及方法
CN118587209B (zh) * 2024-08-02 2024-11-15 华科盈医疗科技(广州)有限公司 基于光声成像的甲状旁腺血运状态分析系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118587209A (zh) * 2024-08-02 2024-09-03 华科盈医疗科技(广州)有限公司 基于光声成像的甲状旁腺血运状态分析系统及方法
CN118587209B (zh) * 2024-08-02 2024-11-15 华科盈医疗科技(广州)有限公司 基于光声成像的甲状旁腺血运状态分析系统及方法

Similar Documents

Publication Publication Date Title
CN110033456B (zh) 一种医疗影像的处理方法、装置、设备和系统
JP7076698B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
Pogorelov et al. Deep learning and hand-crafted feature based approaches for polyp detection in medical videos
CN111507932B (zh) 高特异性的糖尿病性视网膜病变特征检测方法及存储设备
US20130182936A1 (en) Information processing device, information processing system, information processing method, program, and recording medium
CN110929728B (zh) 一种图像感兴趣区域划分方法、图像分割方法及装置
AU2003207787A2 (en) Image processing using measures of similarity
CN110930446B (zh) 一种眼底图像定量分析的前置处理方法及存储设备
EP3477586A1 (en) Image processing device, image processing method, and image processing program
US11935213B2 (en) Laparoscopic image smoke removal method based on generative adversarial network
WO2019184851A1 (zh) 图像处理方法和装置及神经网络模型的训练方法
KR102163108B1 (ko) 영상에서 관심 대상 실시간 검출 방법 및 시스템
CN117689985B (zh) 基于系综投票机制的子宫平滑肌肿瘤识别系统及方法
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
CN117710323A (zh) 内镜甲状腺手术中甲状旁腺识别及血运判断方法及系统
CN111242168A (zh) 一种基于多尺度注意力特征的人体皮肤图像病变分类方法
CN114648509B (zh) 一种基于多分类任务的甲状腺癌检出系统
Xia et al. A novel methodology for extracting colon’s lumen from colonoscopic images
Susan et al. Comparison of various deep learning inpainting methods in smart colposcopy images
Tulasigeri et al. An advanced thresholding algorithm for diagnosis of glaucoma in fundus images
CN114693912A (zh) 具有眼球追功能的内镜检查系统、存储介质及设备
CN117710325A (zh) 内镜甲状腺手术中甲状旁腺自动识别及追踪方法及系统
CN113095376A (zh) 一种基于深度学习的口腔上皮异常增生判别与分级设备及系统
JP2022112407A (ja) 病理診断装置及び画像処理方法
Yamada et al. Automatic detection of microaneurysms in fundus images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination