Nothing Special   »   [go: up one dir, main page]

CN113129356B - 胶囊内窥镜系统及其图像染色面积识别方法及存储介质 - Google Patents

胶囊内窥镜系统及其图像染色面积识别方法及存储介质 Download PDF

Info

Publication number
CN113129356B
CN113129356B CN202010047174.9A CN202010047174A CN113129356B CN 113129356 B CN113129356 B CN 113129356B CN 202010047174 A CN202010047174 A CN 202010047174A CN 113129356 B CN113129356 B CN 113129356B
Authority
CN
China
Prior art keywords
range
image
area
value
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010047174.9A
Other languages
English (en)
Other versions
CN113129356A (zh
Inventor
刘慧�
袁文金
张行
黄志威
张皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ankon Technologies Co Ltd
Original Assignee
Ankon Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ankon Technologies Co Ltd filed Critical Ankon Technologies Co Ltd
Priority to CN202010047174.9A priority Critical patent/CN113129356B/zh
Priority to US17/150,969 priority patent/US11812934B2/en
Publication of CN113129356A publication Critical patent/CN113129356A/zh
Application granted granted Critical
Publication of CN113129356B publication Critical patent/CN113129356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种胶囊内窥镜系统及其图像染色面积识别方法及计算机可读存储介质，包括：获得摄像装置所拍摄的基础图像；在基础图像中去除异常像素点并记为处理图像；在HSV格式的处理图像中获取处理图像中每个像素点的色调、饱和度和明度；设置第一条件为像素点的色调在D1范围内、且饱和度在D2范围内、且明度在D3范围内；在Lab格式的处理图像中获取每个像素点的b分量；设置第二条件为像素点的b分量在D4范围内；对满足第一条件和/或第二条件的的像素点进行集合并处理形成集合C；计算集合C的初步范围面积S1。

Description

胶囊内窥镜系统及其图像染色面积识别方法及存储介质
技术领域
本发明涉及一种胶囊内窥镜技术，特别是一种胶囊内窥镜系统及其图像染色面积识别方法及计算机可读存储介质。
背景技术
在消化道疾病的治疗中，粘膜保护剂这类药物使用较多。该类药物具有保护和增强胃肠粘膜防御功能的作用。药物进入胃肠后，覆盖在粘膜表面，可以防止粘膜再受到各种有害物质的侵袭，从而可以增强粘膜的防御、修复作用，提高粘膜的愈合能力。
为了评价粘膜保护剂的效果，会使用一些对人体无害的染色剂对胃肠粘膜进行染色，使得病变部位与周围粘膜的对比增强，粘膜结构和轮廓更加清晰，从而可以提高对粘膜保护剂的评估判断。
胶囊内窥镜作为一种可吞服设备，已经被广泛用于消化道检查中，它利用内部电池供电，依靠摄像模块完成消化道图片的拍摄，并通过无线传出体外。但是，目前还未有对胶囊内窥镜所拍摄的图像进行染色识别面积识别的方法，因而无法与胶囊内窥镜相配合，直观的对粘膜的愈合情况、粘膜保护剂的效果进行判断。
因此，必须设计一种新的胶囊内窥镜系统及其图像染色面积识别方法及计算机可读存储介质。
发明内容
为解决上述问题之一，本发明提供了一种图像染色面积识别方法，包括：
获得摄像装置所拍摄的基础图像；
在基础图像中去除异常像素点并记为处理图像；
在HSV格式的处理图像中获取处理图像中每个像素点的色调、饱和度和明度；
设置第一条件为像素点的色调在D1范围内、且饱和度在D2范围内、且明度在D3范围内；
在Lab格式的处理图像中获取每个像素点的b分量；
设置第二条件为像素点的b分量在D4范围内；
对满足第一条件和/或第二条件的像素点进行集合并处理形成集合C；
计算集合C的初步范围面积S1。
作为本发明的进一步改进，步骤“在基础图像中去除异常像素点并记为处理图像”包括：
将基础图像转化为灰度格式；
在基础图像中获取灰度值在G范围内的像素点的集合并记为处理图像。
作为本发明的进一步改进，G范围为[10,240]。
作为本发明的进一步改进，步骤“设置第一条件为像素点的色调在D1范围内、且饱和度在D2范围内、且明度在D3范围内”中，D1范围为[0.43,0.7]、D2 范围为[0.16,1]、D3范围为[0.16,1]，且色调、饱和度、明度均经过归一化处理。
作为本发明的进一步改进，D4范围为
Figure GDA0003722344610000021
且b分量经过归一化处理；其中Bmin是该基础图像在Lab颜色模型中b分量的最小值。
作为本发明的进一步改进，步骤“计算集合C的初步范围面积S1”之后包括：
判断该基础图像的染色情况；
若染色区域染色情况为已完全染色，则计算集合C的初步范围面积S1和基础图像总面积之间的占比并获得染色面积占比；
若染色区域染色情况差，则计算深度染色面积S2，并计算深度染色面积S2 和基础图像总面积之间的占比并获得染色面积占比。
作为本发明的进一步改进，步骤“判断该基础图像的染色情况”包括：
将处理图像内色调在范围H1内的像素点取值为0，将处理图像内色调在范围H2内的像素点取值为1，且范围H2内的最小值大于范围H1内的最大值；
统计取值为1的像素点的面积Sh；
获取阈值T1；
若Sh＞T1，则判断该基础图像的染色区域染色情况差；
若Sh＜T1，则判断该基础图像的染色区域染色情况为已完全染色。
作为本发明的进一步改进，范围H1为[0,T2]，范围H2为(T2,1]，T2的取值范围为[0.01,0.2]；T1的取值范围为[0.6,0.98]，其中色调进行归一化处理。
作为本发明的进一步改进，步骤“计算深度染色面积S2”包括：
计算处理图像内的每个像素点的RGB值，x1(i,j)＝(r,g,b)；
计算处理图像内的每个像素点的HSV值，x2(i,j)＝(h,s,v)；
计算每个像素点的蓝色变化值fb(i,j)，
Figure GDA0003722344610000031
获得蓝色变化值阈值T3；
获取所有fb(i,j)＞T3的像素点的集合并计算深度染色面积S2。
作为本发明的进一步改进，α、β、γ的取值范围为[0,3]。
作为本发明的进一步改进，步骤“获得蓝色变化值阈值T3”包括：
计算每一个像素点的蓝色变化值阈值T3(i.j)，
T3(i,j)＝α*th1+β*th2+γ*th3；
th1为
Figure GDA0003722344610000032
的阈值，th2为
Figure GDA0003722344610000033
的阈值，th3为
Figure GDA0003722344610000034
的阈值；
步骤“获取所有fb(i,j)＞T3的像素点的集合并计算深度染色面积S2”包括：
分别计算每个像素点的fb(i,j)和T3(i,j)的大小；
获取所有fb(i,j)＞T3(i,j)的像素点的集合并计算深度染色面积S2。
作为本发明的进一步改进，获取th1和该像素点的r的关系，
th1＝ε1*r+ε2；
ε1的取值范围为[-1,1]，ε2的取值范围为[-2,5]。
作为本发明的进一步改进，th2的取值范围为[0.7,2.2]，th3的取值范围为[1,2]。
本发明还提供了一种胶囊内窥镜系统，所述胶囊内窥镜系统包括胶囊内窥镜及体外设备，所述体外设备包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的图像染色面积识别方法中的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述如上述所述图像染色面积识别方法中的步骤。
与现有技术相比，本发明中，由于采用染色剂对消化道内进行染色后，胃肠道粘膜上病变部位和正常部位的颜色差距较大，因而可以通过选择性的判断基础图像中每个像素点的色调、饱和度和明度和每个像素点的b分量来判断染色部位，从而进一步可以分析病患肠胃粘膜的恢复情况及粘膜保护剂的药效。并且，本发明中在基础图像中去除异常像素点，可以进一步提高对像素判断的精确程度。
附图说明
图1是本发明图像染色面积识别方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，本发明提出了一种图像染色面积识别方法，包括：
获得摄像装置所拍摄的基础图像；
在基础图像中去除异常像素点并记为处理图像；
在HSV格式的处理图像中获取处理图像中每个像素点的色调、饱和度和明度；
设置第一条件为像素点的色调在D1范围内、且饱和度在D2范围内、且明度在D3范围内；
在Lab格式的处理图像中获取每个像素点的b分量；
设置第二条件为像素点的b分量在D4范围内；
对满足第一条件和/或第二条件的像素点进行集合并处理形成集合C；
计算集合C的初步范围面积S1。
由于，采用染色剂对消化道内进行染色后，胃肠道粘膜上病变部位和正常部位的颜色差距较大，因而可以通过选择性的判断基础图像中每个像素点的色调、饱和度和明度和每个像素点的b分量来判断染色部位，从而进一步可以分析病患肠胃粘膜的恢复情况及粘膜保护剂的药效。并且，本发明中在基础图像中去除异常像素点，可以进一步提高对像素判断的精确程度。
另外，该摄像装置即为胶囊内窥镜。
在本发明中，通常的，染色剂为蓝色，则染色剂对肠胃染色后，胶囊内窥镜所拍摄出的照片上也呈现出蓝色。而未被染色的区域则呈红色，因而对比度较为明显。
步骤“在基础图像中去除异常像素点并记为处理图像”包括：
将基础图像转化为灰度格式；
在基础图像中获取灰度值在G范围内的像素点的集合并记为处理图像。
由于胶囊内窥镜曝光不均匀的特点，采集到的基础图像很容易出现过度曝光或过暗现象，而这些过曝及过暗的像素点为异常像素点，如果不去除则会影响后续计算的精确性。
因此，本发明中，将基础图像转化为灰度格式，则过暗的像素点的灰度值较小，过曝的像素点的灰度值较大。并且，本具体实施方式中，可以通过制作灰度值在G范围内的掩膜MASK1覆盖至基础图像中，来去除过曝或过暗的像素点。
灰度值的范围为[0,255]，在本具体实施方式中，取G范围为[10,240]。则，灰度值范围不在G范围内的像素点则为异常像素点，也不会再参与后续的分析。该G范围可根据具体的基础图像的曝光情况进行调整，优选的，可设置G范围为[35,240]。
进一步的，步骤“设置第一条件为像素点的色调在D1范围内、且饱和度在 D2范围内、且明度在D3范围内”中，D1范围为[0.43,0.7]、D2范围为[0.16,1]、 D3范围为[0.16,1]，且色调、饱和度、明度均经过归一化处理。需要说明的是，由于本发明中所采用的染色剂为蓝色，因而色调、饱和度、明度及后文的b分量的取值在一定的范围内，若采用其他颜色的染色剂，则色调、饱和度、明度及b分量的取值在其他范围内，这同样也能达到本发明的目的。
在获取处理图像中每个像素点的色调、饱和度、明度之前，必须将基础图像先转成HSV格式。HSV是一种颜色模型，包括色调、饱和度、明度，通常的，色调用角度衡量，取值范围为0°到360°，且红色为0°、绿色为120°、蓝色为240°。饱和度的取值范围和明度的取值范围通常为0到255。在本具体实施例中，为了方便计算，对色调、饱和度、明度均经过归一化处理。则为了方便理解，实际上，0.43*360≈154，0.7*360＝252，D1范围为[154,252]，涵盖了基础图像中偏绿色、蓝色的范围，因而可达到本发明的目的。而饱和度、明度的计算方法相同，且通过饱和度和明度进一步划分范围，可以使得结果更加精确，在此不再赘述。
当然，和上述去除异常像素点类似，该步骤中也可通过制作满足第一条件的掩膜MASK2并和上述掩膜MASK1一同覆盖在基础图像上。
如上所述，染色剂的颜色为蓝色，因而通过D1、D2、D3范围对蓝色的区域进行划分。
由于D1、D2、D3范围也可根据具体的图像情况进行调整，优选的，可设置D1范围为[0.51,0.68]、D2范围为[0.188,1]、D3范围为[0.188,1]。
并且，由于不同的组织着色情况不同，蓝色染色剂在染色过程中不一定可以将粘膜染成标准的蓝色，而是以蓝、深蓝、浅蓝、深绿等多样化颜色呈现进行完全染色，基础图像中可能呈现出绿色。因而，本发明中，既可以在不同条件下使用单一的采用HSV格式的第一条件或采用Lab格式的第二条件对集合C 进行判断，也可以同时使用第一条件和第二条件对集合C进行判断。
Lab颜色模型是以数字化的方式来描述人的视觉感觉，主要反应了人对颜色变化的感觉。其中L代表亮度，a分量代表绿色到红色的变化，b分量代表蓝色到黄色的变化，且蓝色到黄色的变化中也涵盖了绿色。并且L的取值范围为[0,100]， a和b的取值范围均为[0,255]。
在本具体实施方式中，通过进一步分析Lab颜色模型来形成集合C，从而可以使得该初步范围面积S1更加精确。当然，可根据不同的基础图像来选择是否需要加入Lab颜色模型的图像处理步骤，若需要，则也可以制作满足该第二条件的掩膜MASK3与MASK1一同覆盖至基础图像上，或者也可以与上述掩膜 MASK1、MASK2一同覆盖至基础图像上。
因此，在本发明的具体实施方式中，可以单独仅制作掩膜MASK2或MASK3 并与MASK1配合，也可以同时制作MASK2和MASK3并与MASK1配合。
进一步的，由于本发明中的染色剂为蓝色，从而在分析Lab颜色模型时，可仅对其中的b分量进行分析。具体的，D4范围为
Figure GDA0003722344610000071
且b分量经过归一化处理；其中Bmin是该基础图像在Lab颜色模型中b分量的最小值。由于，如上所述，b分量是蓝色到黄色的变化，但是图像中可以体现出蓝色的范围不仅只到Bmin，因此，可以取范围的起始点为
Figure GDA0003722344610000072
由于b分量也经过归一化处理， 0.16*255≈40因此该范围实际为
Figure GDA0003722344610000073
从而，通过该Lab颜色模型中的b分量进行分析并形成掩膜MASK3，可以使得初步范围面积S1更加精确。优选的，该D4范围可为
Figure GDA0003722344610000074
进一步的，在获得该初步范围面积S1后，该初步范围面积S1只能代表该图像中染成蓝色或其他衍生颜色的范围大小。但是若出现染色颜色不一致的情况，则获得该初步范围面积S1还不够精确，还需要进一步分割染色区域。
因此，步骤“计算集合C的初步范围面积S1”之后包括：
判断该基础图像的染色情况；
若染色区域染色情况为已完全染色，则计算集合C的初步范围面积S1和基础图像总面积之间的占比并获得染色面积占比；
若染色区域染色情况差，则计算深度染色面积S2，并计算深度染色面积S2 和基础图像总面积之间的占比并获得染色面积占比。
若染色区域染色情况为已完全染色，则可以用初步范围面积S1计算染色面积占比进行评估粘膜的愈合情况及粘膜保护剂的效力，若染色区域染色情况差，则还需要进一步计算深度染色面积S2和染色面积占比。
其中，步骤“判断该基础图像的染色情况”包括：
将处理图像内色调在范围H1内的像素点取值为0，将处理图像内色调在范围H2内的像素点取值为1，且范围H2内的最小值大于范围H1内的最大值；
统计取值为1的像素点的面积Sh；
获取阈值T1；
若Sh＞T1，则判断该基础图像的染色区域染色情况差；
若Sh＜T1，则判断该基础图像的染色区域染色情况为已完全染色。
因而，在本步骤中，也将基础图像转化为HSV格式，在HSV颜色模型中，将色调的值进行二值化处理，当然H2和H1不重合。通过比较色调，将色调再做二值化处理，可以获得染色区域不明显及未完全染色区域的范围，若该范围较大且大于T1，则说明染色区域不明显及未完全染色区域的范围较大，染色情况较差。而当Sh＜T1，进一步的Sh≤T1时，说明染色区域不明显及未完全染色区域的范围较小，则可判断为已完全染色。
进一步的，范围H1为[0,T2]，范围H2为(T2,1]，T2的取值范围为[0.01,0.2]； T1的取值范围为[0.6,0.98]，其中色调进行归一化处理。
在本实施例中，二值化所用的阈值T2的值为0.08，T1的值0.95。
若出现未完全染色、染色区域不明显的情况，则该基础图像的整个画面均会呈现雾蒙蒙的整体泛绿或泛蓝的情况，则此时若仅采用色调、饱和度等单一的进行染色图像划分，则非常容易出错，会容易将整张图像均识别为染色区域。因此，本发明中对基础图像进一步分析。
具体的，步骤“计算深度染色面积S2”包括：
计算处理图像内的每个像素点的RGB值，x1(i,j)＝(r,g,b)；
计算处理图像内的每个像素点的HSV值，x2(i,j)＝(h,s,v)；
计算每个像素点的蓝色变化值fb(i,j)，
Figure GDA0003722344610000091
获得蓝色变化值阈值T3；
获取所有fb(i,j)＞T3的像素点的集合并计算深度染色面积S2。
RGB值需要先将处理图像换成RGB格式，RGB格式为另一种颜色模型。其中，r为红色，g为绿色，b为蓝色，三种颜色进行混合且组分不同即可产生其他复合色。
该具体步骤中，通过计算每个像素点的蓝色变化值可判断出该基础图像中染色的区域，即使在未完全染色或染色区域不明显使得整个画面呈现雾蒙蒙时，也依然可以对染色区域的范围进行判断形成深度染色面积S2。
具体的，
Figure GDA0003722344610000092
代表该像素点对应于RGB颜色模型的蓝色值与红色值的比值；
Figure GDA0003722344610000093
代表该像素点对应于RGB颜色模型的蓝色值与绿色值的比值；
Figure GDA0003722344610000094
代表该像素点对应于RGB颜色模型的蓝色值与对应于HSV颜色模型中色调的比值。
从而，可从多个角度对RGB颜色模型中的蓝色进行分析。
并且，其中，α、β、γ作为系数，可以调整上述
Figure GDA0003722344610000095
在蓝色变化值fb(i,j) 中的权重，因而，α、β、γ的取值范围为[0,3]。优选的，α＝1,β＝0,γ＝0，当然，也可根据实际情况对α、β、γ的取值范围进行进一步修改。
在本实施方式中，每个像素点的蓝色变化值阈值T3也不相同，会随着不同像素点进行改变。当然，若有一个适用全部像素点的蓝色变化值阈值T3来与蓝色变化值fb(i,j)进行比较，也可达到本发明的目的。
步骤“获得蓝色变化值阈值T3”包括：
计算每一个像素点的蓝色变化值阈值T3(i.j)，
T3(i,j)＝α*th1+β*th2+γ*th3；
th1为
Figure GDA0003722344610000101
的阈值，th2为
Figure GDA0003722344610000102
的阈值，th3为
Figure GDA0003722344610000103
的阈值；
步骤“获取所有fb(i,j)＞T3的像素点的集合并计算深度染色面积S2”包括：
分别计算每个像素点的fb(i,j)和T3(i,j)的大小；
获取所有fb(i,j)＞T3(i,j)的像素点的集合并计算深度染色面积S2。
从而，对每一个像素点的蓝色变化值阈值T3(i.j)进行计算，且其中α、β、γ作为系数和蓝色变化值fb(i,j)中的计算保持一致。其中，th2的取值范围为[0.7,2.2]， th3的取值范围为[1,2]。优选的，th2＝1.3，th3＝1.6。
另外，之所以要计算每个像素点的蓝色变化阈值T3(i.j)，是由于对误识别区域的颜色进行发现，其中不同位置的
Figure GDA0003722344610000104
和r之间存在函数关系，并且，通过对多组数据进行拟合，得到未完全染色区域像素点的
Figure GDA0003722344610000105
和r满足如下公式：
Figure GDA0003722344610000106
因而，可获得
Figure GDA0003722344610000107
的阈值th1，th1＝ε1*r+ε2。并且，ε1的取值范围为[-1,1]，ε2的取值范围为[-2,5]，优选的，ε1＝-0.0028，ε2＝1.908。
因此，通过计算每个像素点的蓝色变化值fb(i,j)，并计算每个像素点的蓝色变化值阈值T3，仅有当fb(i,j)＞T3(i,j)的像素点的集合才和蓝色较为相关，并进一步计算深度染色面积S2。而该深度染色面积S2相比初步范围面积S1更加精确，更加能够反映整个基础图像中蓝色的区域范围，使得结果更加精确。
本发明还提供了一种胶囊内窥镜系统，所述胶囊内窥镜系统包括胶囊内窥镜及体外设备，所述体外设备包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的图像染色面积识别方法中的步骤，也就是说，实现如上述所述图像染色面积识别方法中任意一个技术方案中的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述如上述所述图像染色面积识别方法中的步骤，也就是说，实现如上述所述图像染色面积识别方法中任意一个技术方案中的步骤。
综上所述，本发明中由于采用染色剂对消化道内进行染色后，胃肠道粘膜上病变部位和正常部位的颜色差距较大，因而可以通过选择性的判断基础图像中每个像素点的色调、饱和度和明度和每个像素点的b分量来判断染色部位，从而进一步可以分析病患肠胃粘膜的恢复情况及粘膜保护剂的药效。并且，本发明中在基础图像中去除异常像素点，可以进一步提高对像素判断的精确程度。
另外，还可以对基础图像的染色情况进行判断，若判断已完全染色，则上述初步范围面积S1可用于染色面积占比的计算；若判断染色情况差，及未完全染色或染色情况不明显，则该初步范围面积S1不可用以染色面积占比的计算，还需要再进行深度染色面积S2的计算。该深度染色面积S2主要通过蓝色值对应于其他颜色的比值，从而在基础图像中蓝色不明确时也依然可以作为判断依据。
最后，获得该初步范围面积S1或深度染色面积S2后，即可对染色面积占比进行计算，判断最终该基础图像中所拍摄区域的粘膜愈合情况及粘膜保护剂的效力情况，更加科学、高效。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (15)

1.一种图像染色面积识别方法，其特征在于，包括：
获得摄像装置所拍摄的基础图像；
在基础图像中去除异常像素点并记为处理图像；
在HSV格式的处理图像中获取处理图像中每个像素点的色调、饱和度和明度；
设置第一条件为像素点的色调在D1范围内、且饱和度在D2范围内、且明度在D3范围内；
在Lab格式的处理图像中获取每个像素点的b分量；
设置第二条件为像素点的b分量在D4范围内；
对满足第一条件和第二条件的像素点进行集合并处理形成集合C；
计算集合C的初步范围面积S1。
2.根据权利要求1所述的图像染色面积识别方法，其特征在于，步骤“在基础图像中去除异常像素点并记为处理图像”包括：
将基础图像转化为灰度格式；
在基础图像中获取灰度值在G范围内的像素点的集合并记为处理图像。
3.根据权利要求2所述的图像染色面积识别方法，其特征在于，G范围为[10,240]。
4.根据权利要求1所述的图像染色面积识别方法，其特征在于，
步骤“设置第一条件为像素点的色调在D1范围内、且饱和度在D2范围内、且明度在D3范围内”中，D1范围为[0.43,0.7]、D2范围为[0.16,1]、D3范围为[0.16,1]，且色调、饱和度、明度均经过归一化处理。
5.根据权利要求1所述的图像染色面积识别方法，其特征在于，D4范围为
Figure FDA0003722344600000011
且b分量经过归一化处理；其中Bmin是该基础图像在Lab颜色模型中b分量的最小值。
6.根据权利要求1所述的图像染色面积识别方法，其特征在于，步骤“计算集合C的初步范围面积S1”之后包括：
判断该基础图像的染色情况；
若染色区域染色情况为已完全染色，则计算集合C的初步范围面积S1和基础图像总面积之间的占比并获得染色面积占比；
若染色区域染色情况差，则计算深度染色面积S2，并计算深度染色面积S2和基础图像总面积之间的占比并获得染色面积占比。
7.根据权利要求6所述的图像染色面积识别方法，其特征在于，步骤“判断该基础图像的染色情况”包括：
将处理图像内色调在范围H1内的像素点取值为0，将处理图像内色调在范围H2内的像素点取值为1，且范围H2内的最小值大于范围H1内的最大值；
统计取值为1的像素点的面积Sh；
获取阈值T1；
若Sh＞T1，则判断该基础图像的染色区域染色情况差；
若Sh＜T1，则判断该基础图像的染色区域染色情况为已完全染色。
8.根据权利要求7所述的图像染色面积识别方法，其特征在于，范围H1为[0,T2]，范围H2为(T2,1]，T2的取值范围为[0.01,0.2]；T1的取值范围为[0.6,0.98]，其中色调进行归一化处理。
9.根据权利要求6所述的图像染色面积识别方法，其特征在于，
步骤“计算深度染色面积S2”包括：
计算处理图像内的每个像素点的RGB值，x1(i,j)＝(r,g,b)；
计算处理图像内的每个像素点的HSV值，x2(i,j)＝(h,s,v)；
计算每个像素点的蓝色变化值fb(i,j)，
Figure FDA0003722344600000021
其中，α、β、γ作为系数，可以调整上述
Figure FDA0003722344600000022
Figure FDA0003722344600000023
在蓝色变化值fb(i,j)中的权重；
获得蓝色变化值阈值T3；
获取所有fb(i,j)＞T3的像素点的集合并计算深度染色面积S2。
10.根据权利要求9所述的图像染色面积识别方法，其特征在于，α、β、γ的取值范围为[0,3]。
11.根据权利要求9所述的图像染色面积识别方法，其特征在于，步骤“获得蓝色变化值阈值T3”包括：
计算每一个像素点的蓝色变化值阈值T3(i.j)，
T3(i,j)＝α*th1+β*th2+γ*th3；
th1为
Figure FDA0003722344600000031
的阈值，th2为
Figure FDA0003722344600000032
的阈值，th3为
Figure FDA0003722344600000033
的阈值；
步骤“获取所有fb(i,j)＞T3的像素点的集合并计算深度染色面积S2”包括：
分别计算每个像素点的fb(i,j)和T3(i,j)的大小；
获取所有fb(i,j)＞T3(i,j)的像素点的集合并计算深度染色面积S2。
12.根据权利要求11所述的图像染色面积识别方法，其特征在于，获取th1和该像素点的r的关系，
th1＝ε1*r+ε2；
ε1的取值范围为[-1,1]，ε2的取值范围为[-2,5]。
13.根据权利要求12所述的图像染色面积识别方法，其特征在于，th2的取值范围为[0.7,2.2]，th3的取值范围为[1,2]。
14.一种胶囊内窥镜系统，其特征在于，所述胶囊内窥镜系统包括胶囊内窥镜及体外设备，所述体外设备包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至13中任意一项所述的图像染色面积识别方法中的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至13中任意一项所述图像染色面积识别方法中的步骤。
CN202010047174.9A 2020-01-16 2020-01-16 胶囊内窥镜系统及其图像染色面积识别方法及存储介质 Active CN113129356B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010047174.9A CN113129356B (zh) 2020-01-16 2020-01-16 胶囊内窥镜系统及其图像染色面积识别方法及存储介质
US17/150,969 US11812934B2 (en) 2020-01-16 2021-01-15 Capsule endoscope system, method of identifying stained area in endoscopic images and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010047174.9A CN113129356B (zh) 2020-01-16 2020-01-16 胶囊内窥镜系统及其图像染色面积识别方法及存储介质

Publications (2)

Publication Number Publication Date
CN113129356A CN113129356A (zh) 2021-07-16
CN113129356B true CN113129356B (zh) 2022-08-23

Family

ID=76771684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010047174.9A Active CN113129356B (zh) 2020-01-16 2020-01-16 胶囊内窥镜系统及其图像染色面积识别方法及存储介质

Country Status (2)

Country Link
US (1) US11812934B2 (zh)
CN (1) CN113129356B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570597A (zh) * 2021-09-01 2021-10-29 南通中煌工具有限公司 基于人工智能的泥头车车厢脏污程度的判定方法及系统
CN117689762B (zh) * 2024-02-04 2024-06-04 江苏无右微创医疗科技有限公司 一种内窥镜图像染色方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919924A (zh) * 2019-02-28 2019-06-21 江南大学 一种适用于大批量he染色图片细胞数字化处理的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100565582C (zh) * 2006-12-31 2009-12-02 四川大学华西医院 一种筛选食管微小病变的图像处理方法
US9082165B2 (en) * 2010-05-31 2015-07-14 Dvp Technologies Ltd. Inspection of region of interest
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
CN108140104B (zh) * 2015-09-16 2022-11-01 徕卡生物系统公司 病理学明场像中的自动化染色查找
CN105869155B (zh) * 2016-03-24 2018-11-16 天津大学 面部皮肤发红区域的提取方法
EP3437542B1 (en) * 2016-03-29 2020-11-04 FUJIFILM Corporation Image processing device, operation method for image processing device, and image processing program
CN107463913B (zh) * 2017-08-11 2020-07-14 苏炯龙 基于Lab的图像胶原纤维识别计算系统及方法
SE544735C2 (en) * 2018-11-09 2022-11-01 Mm18 Medical Ab Method for identification of different categories of biopsy sample images
CN109712142B (zh) * 2019-01-11 2023-03-28 山东省计算中心（国家超级计算济南中心） 基于染色分离的乳腺癌Ki67/ER/PR核染色细胞计数方法
CN110223303A (zh) * 2019-05-13 2019-09-10 清华大学 He染色器官病理图像分割方法、装置
CN110505459B (zh) * 2019-08-16 2020-12-11 域鑫科技（惠州）有限公司 适用于内窥镜的图像颜色校正方法、装置和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919924A (zh) * 2019-02-28 2019-06-21 江南大学 一种适用于大批量he染色图片细胞数字化处理的方法

Also Published As

Publication number Publication date
US11812934B2 (en) 2023-11-14
US20210219829A1 (en) 2021-07-22
CN113129356A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN104116485B (zh) 损伤评估信息生成器
JP6346576B2 (ja) 画像処理装置
KR100506085B1 (ko) 혀영상 처리장치 및 혀영상을 이용한 건강 모니터링장치
CN109310301B (zh) 电子内窥镜用处理器以及电子内窥镜系统
US8155413B2 (en) Method and system for analyzing skin conditions using digital images
EP3263006B1 (en) Image processing device
CN104470416B (zh) 图像处理装置和内窥镜装置
JP5250342B2 (ja) 画像処理装置およびプログラム
CN103561632B (zh) 内窥镜装置
WO2008115547A1 (en) A method of automated image color calibration
JP5599687B2 (ja) 内視鏡ナビゲーションシステムの作動方法、及び、内視鏡ナビゲーションシステム
CN107277356A (zh) 逆光场景的人脸区域处理方法和装置
CN107451963B (zh) 多光谱鼻腔内窥镜实时图像增强方法及内窥镜成像系统
CN112351724A (zh) 电子内窥镜系统
CN113129356B (zh) 胶囊内窥镜系统及其图像染色面积识别方法及存储介质
CN106714651B (zh) 评价值计算装置以及电子内窥镜系统
JP7267545B2 (ja) 皮膚疾患の診断のための爪甲色素線条または皮膚の色相の解析方法、診断装置およびコンピュータプログラム
US12052526B2 (en) Imaging system having structural data enhancement for non-visible spectra
Nisar et al. A color space study for skin lesion segmentation
JP2018126632A (ja) 画像処理装置
US20190343369A1 (en) Processor for electronic endoscope, and electronic endoscope system
US20160210746A1 (en) Organ imaging device
WO2007035829A2 (en) Systems and methods for analyzing skin conditions of people using digital images
CN114298956A (zh) 双荧光内窥镜图像融合方法、电子设备及装置
Abdullah et al. Computer-aided diseases diagnosis system based on tongue color analysis: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant