CN112603240A - 能够实现智能图像处理的医用内窥镜系统 - Google Patents
能够实现智能图像处理的医用内窥镜系统 Download PDFInfo
- Publication number
- CN112603240A CN112603240A CN202011484238.8A CN202011484238A CN112603240A CN 112603240 A CN112603240 A CN 112603240A CN 202011484238 A CN202011484238 A CN 202011484238A CN 112603240 A CN112603240 A CN 112603240A
- Authority
- CN
- China
- Prior art keywords
- image
- light source
- mode
- processing
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 128
- 238000005286 illumination Methods 0.000 claims abstract description 45
- 230000000694 effects Effects 0.000 claims abstract description 13
- 230000003595 spectral effect Effects 0.000 claims abstract description 10
- 238000004587 chromatography analysis Methods 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 26
- 238000013473 artificial intelligence Methods 0.000 claims description 21
- 238000001228 spectrum Methods 0.000 claims description 18
- 230000003902 lesion Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 239000013307 optical fiber Substances 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 238000011161 development Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000000762 glandular Effects 0.000 claims description 5
- 210000004400 mucous membrane Anatomy 0.000 claims description 5
- 210000004088 microvessel Anatomy 0.000 claims description 4
- 235000005811 Viola adunca Nutrition 0.000 claims description 3
- 240000009038 Viola odorata Species 0.000 claims description 3
- 235000013487 Viola odorata Nutrition 0.000 claims description 3
- 235000002254 Viola papilionacea Nutrition 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 206010065042 Immune reconstitution inflammatory syndrome Diseases 0.000 claims 2
- 238000003745 diagnosis Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000001839 endoscopy Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000001079 digestive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000426 electronic spectroscopy Methods 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 201000000498 stomach carcinoma Diseases 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种能够实现智能图像处理的医用内窥镜系统，包括内窥镜、图像处理机、冷光源系统；内窥镜在冷光源系统输出的照明光下进行图像采集，并将所采集的图像传递给图像处理机进行图像处理。本发明的图像处理机与多光谱冷光源实现联动控制，当选择冷光源不同光谱特性组合的照明效果时，图像处理机采用相应的色谱处理效果，从而能够使图像上更清晰地显示出病灶与正常组织的区别或边缘。
Description
技术领域
本发明涉及一种医用内窥镜系统，具体涉及一种能够实现智能图像处理的医用内窥镜系统。
背景技术
目前，内窥镜技术已取得了长足的进步，图像清晰度、对比度都得到了很大的提升。随着对比度增强、轮廓增强等技术的应用，对于病灶形态和颜色明显改变的病灶(如凸起的肿块和凹陷的溃疡)较以往的内窥镜显示清晰度得到了更大提升。但是，对于微小的、扁平的早期癌变和异性增生等，不易诊断甚至造成漏诊。
为此，近些年国内外内镜公司大量引用了诸如色素内镜、电子分光、窄带成像等技术，利用窄带照明与色谱增强、噪声抑制等新型数字图像处理技术，大大提高了早期癌变的显示清晰度，显著提高了操作者的诊断水平。但是，这些产品需要依靠医生的经验选择增强模式，比如，不同的病变特征需要不同的光谱组合照明或图像色谱学处理，但往往缺少经验的医生无从选择或需要经过长期的训练才能更好地鉴别诊断。
据报道，目前在消化内镜诊断方面尤其是胃部的内镜早癌检查诊断，日本的诊断率为70％，韩国的诊断率为55％，中国的诊断率仅为20％左右。其中，中国早期胃癌的诊断率不高的原因与医生诊断水平高低比例相差过大以及检查时的漏诊正相关。为此，如何利用技术手段提高内镜医生的诊断水平成为业界人员努力的方向。
发明内容
本发明所要解决的技术问题是提供一种能够实现智能图像处理的医用内窥镜系统，它可以使得内窥镜所采集的图像上显示更多具有诊断价值的信息。
为解决上述技术问题，本发明能够实现智能图像处理的医用内窥镜系统的技术解决方案为：
包括内窥镜、图像处理机、冷光源系统；内窥镜在冷光源系统输出的照明光下进行图像采集，并将所采集的图像传递给图像处理机进行图像处理；所述图像处理机包括图像处理控制器，图像处理控制器将图像信息传递给图像增强处理模块，图像增强处理模块对所述图像信息进行增强处理，并向图像处理控制器输出经过增强处理的图像；图像增强处理模块连接图像色谱学处理输出模块，图像色谱学处理输出模块具有至少三个图像色谱学处理输出模式，从而向图像处理控制器发送具有不同频谱特性的图像；所述冷光源系统包括蓝激光光源、绿激光光源、白光LED光源，蓝激光光源、绿激光光源和白光LED光源分别连接光源驱动器，各光源驱动器与光源控制器连接；光源控制器通过对三个光源驱动器的控制，使三个光源输出不同的照明光谱组合，形成至少三个光谱照明模式；光源控制器通过通讯模块与图像处理机的所述图像处理控制器相连接，通讯模块能够实现图像处理机与冷光源系统之间指令信号的传送。
在另一实施例中，所述三个图像色谱学处理输出模式为TP模式、TV模式和TT模式；所述TP模式用于显示腺管和黏膜细微结构；在TP模式下，图像色谱学处理输出模块将图像分解为R、G、B三个通道，并配合放大功能；所述TV模式用于显示微血管；在TV模式下，图像色谱学处理输出模块将图像分解为R、G、B三个通道，去除R通道成分；所述TT模式用于与冷光源系统实现联动控制，使得图像色谱学处理输出受冷光源系统的所述光谱照明模式控制。
在另一实施例中，所述TT模式下，图像色谱学处理输出模块通过通讯模块向所述光源控制器发送指令，使光源控制器在三个光谱照明模式中选择；同时，图像色谱学处理输出模块根据光源控制器所选择的不同光谱照明模式，自动调整图像输出色彩组合。
在另一实施例中，所述三个光谱照明模式为TE模式、TG模式和TC模式；在所述TE模式下，光源控制器控制三个光源驱动器，使照明输出为蓝激光与白光的组合；所述图像色谱学处理输出模块动态减少图像中的红色显像；在所述TG模式下，光源控制器控制三个光源驱动器，使照明输出为蓝激光、绿激光与白光的组合；所述图像色谱学处理输出模块在保持TE模式下的动态红色减少的同时，动态增加蓝光和绿光的颜色显像；在所述TC模式下，光源控制器控制三个光源驱动器，使照明输出为高亮度蓝激光与白光的组合；所述图像色谱学处理输出模块在保持TE模式下的动态红色减少的同时，使蓝紫色照明输出为高亮度状态。
在另一实施例中，所述图像处理机还包括人工智能模块，所述图像处理控制器将所述图像信息传递给人工智能模块进行智能分析，再将经过智能分析的图像信息传递给图像处理控制器。
在另一实施例中，所述人工智能模块包括多模型融合单元和病灶跟踪单元；人工智能模块通过AI智能分析，检测并跟踪所述图像信息中的可疑病灶并在病灶部位进行标记，然后将智能分析结果发送给所述图像处理控制器，图像处理控制器将智能分析结果通过通讯模块发送给冷光源系统的光源控制器，光源控制器根据智能分析结果对三个光源驱动器进行控制，使三个光源根据智能分析结果输出不同的光源；同时，所述图像处理控制器将具有智能分析结果的图像发送给图像增强处理模块，图像增强处理模块对具有智能分析结果的图像进行图像增强处理。
在另一实施例中，所述图像处理机还包括自动调光模块，自动调光模块根据图像显示效果输出自动调光指令给冷光源系统的光源控制器，光源控制器根据自动调光指令调节三个光源的照明亮度。
在另一实施例中，所述蓝激光光源、绿激光光源和白光LED光源分别通过耦合器连接光纤合束器；光纤合束器连接去散斑器，去散斑器通过光纤连接光路扩大器和准直器，光路扩大器和准直器固定设置于IRIS光阑组件的前部；去散斑器和IRIS光阑组件连接所述光源控制器。
在另一实施例中，所述蓝激光的波长为415nm；所述绿激光的波长为532nm；所述白光LED的波长为400～800nm。
在另一实施例中，来自于所述内窥镜的所述图像信息经过信号及电源隔离器输入所述图像处理控制器。
本发明可以达到的技术效果是：
本发明的图像处理机与多光谱冷光源实现联动控制，当选择冷光源不同光谱特性组合的照明效果时，图像处理机采用相应的色谱处理效果，从而能够使图像上更清晰地显示出病灶与正常组织的区别或边缘。
本发明在图像处理机嵌入人工智能模块，当图像处理机捕捉到经人工智能判断的病灶性质或检查区域时，图像处理机的图像处理控制器输出相应的命令给冷光源，冷光源按照此命令输出相应的照明光谱组合，使得显示的内窥镜图像病灶更容易被识别。
本发明的图像处理机所嵌入的人工智能模块具有病灶跟踪单元，能够在内窥镜检查过程中自动跟踪标记被人工智能系统判断的病灶，以提示医生重点观察。
本发明的图像处理机所嵌入的人工智能模块具有多模型融合单元，能够实时显示被人工智能判断病灶区域框图。
本发明将光源的控制及图像增强处理与人工智能AI结合在一起，能够使得内窥镜所采集的图像上显示更多具有诊断价值的信息。
本发明采用激光光源与白光光源组成形成的多频谱照明光，将激光光源所产生的窄带光谱与白光光源所产生的宽带光谱相结合，能够使得内窥镜在该照明光下所采集的图像呈现出更多具备诊断意义的信息。
附图说明
本领域的技术人员应理解，以下说明仅是示意性地说明本发明的原理，所述原理可按多种方式应用，以实现许多不同的可替代实施方式。这些说明仅用于示出本发明的教导内容的一般原理，不意味着限制在此所公开的发明构思。
结合在本说明书中并构成本说明书的一部分的附图示出了本发明的实施方式，并且与上文的总体说明和下列附图的详细说明一起用于解释本发明的原理。
下面结合附图和具体实施方式对本发明作进一步详细的说明：
图1是本发明能够实现智能图像处理的医用内窥镜系统的示意图；
图2是本发明的人工智能模块的多模型融合单元所采用的基于深度学习多模型融合技术的胃早癌辅助诊断方法的流程示意图；
图3是本发明的人工智能模块的病灶跟踪单元所采用的一种基于时序特征学习的消化内镜下病灶跟踪方法流程示意图；
图4是TE模式下的图像显示效果图；
图5是TG模式下的图像显示效果图；
图6是TC模式下的图像显示效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如图1所示，本发明能够实现智能图像处理的医用内窥镜系统，包括内窥镜、图像处理机、冷光源系统；内窥镜在冷光源系统输出的照明光下进行图像采集，并将所采集的图像传递给图像处理机进行图像处理；
图像处理机包括图像处理控制器，内窥镜所采集的图像信息经过信号及电源隔离器输入图像处理控制器；信号及电源隔离器是为安全采取的电路措施，从而在内窥镜与图像处理机之间形成电信号光电隔离电路；
图像处理控制器将图像信息传递给图像增强处理模块，由图像增强处理模块进行图像的边缘增强、构造增强、对比度增强以及去噪声处理，并向图像处理控制器输出经过增强处理的图像；图像增强处理模块连接图像色谱学处理输出模块，图像色谱学处理输出模块具有三个图像色谱学处理输出模式，即TP模式、TV模式和TT模式，从而向图像处理控制器发送具有不同频谱特性的图像；
图像处理控制器连接视频信号处理模块，图像处理控制器将所接收的具有频谱特性的图像通过视频信号处理模块在彩色显示器上实现视频输出；视频信号处理模块能够输出数字视频信号和模拟视频信号；
图像处理机还包括人工智能模块(AI模块)，图像处理控制器将图像信息传递给人工智能模块进行智能分析，再将经过智能分析的图像信息传递给图像处理控制器；
图像处理机还包括自动调光模块(IRIS)，自动调光模块能够根据图像显示效果输出自动调光指令给冷光源系统的光源控制器，光源控制器根据自动调光指令调节三个光源的照明亮度，从而使得当内窥镜接近病灶，照明亮度过高时自动减少照明亮度；当内窥镜远离病灶观察大范围时，增大照明亮度。
冷光源系统包括415nmLD光源、532nmLD光源、白光LED(波长为400～800nm)光源，从而具有多频谱照明特性；415nmLD光源、532nmLD光源和白光LED光源分别连接光源驱动器，各光源驱动器分别与光源控制器连接；光源控制器通过对三个光源驱动器的控制，使三个光源输出不同的照明光谱组合，形成三个光谱照明模式，即TE模式、TG模式和TC模式；光源控制器通过通讯模块与图像处理机的图像处理控制器相连接，通讯模块能够实现图像处理机与冷光源系统之间指令信号的传送；
415nmLD光源、532nmLD光源和白光LED光源分别通过耦合器连接光纤合束器；光纤合束器连接去散斑器，去散斑器通过光纤连接光路扩大器(即扩束器)和准直器，光路扩大器和准直器固定设置于IRIS光阑组件的前部；
去散斑器和IRIS光阑组件连接光源控制器；光源控制器连接控制面板，以实现对光源控制器的操控；
415nmLD光源、532nmLD光源和白光LED光源在各自驱动器的驱动下，以光纤耦合输出的方式输出光纤，并通过光纤合束器混合成一路光输出至去散斑器；当415nmLD光源和532nmLD光源工作时，光源控制器控制去散斑器工作，以解决激光照明时的散斑影响；光路经过光路扩大器和准直器后形成一个直径6mm的照明光斑；
光源控制器具有手动调光和自动调光两种模式；选择手动调光时，可以在控制面板上手动调整照明亮度的大小；选择自动调光时，输出照明的亮度受自动调光模块的输出指令控制。
图像色谱学处理输出模块的TP模式用于显示腺管和黏膜细微结构，即TP模式下病灶需增强性质或部位为腺管和黏膜细微结构；在TP模式下，图像色谱学处理输出模块将图像分解为R、G、B三个通道，以增加整体的R通道水平，通过颜色改变使病变显示更明显，同时配合放大功能，从而能够观察腺管及黏膜的细微变化；检查过程中可全程开启TP模式；
图像色谱学处理输出模块的TV模式用于显示微血管，即TV模式下病灶需增强性质或部位为微血管；在TV模式下，图像色谱学处理输出模块将图像分解为R、G、B三个通道，人为去除R通道成分，因成像时血液吸收了短波长光线(G、B)，从而能够显示微血管的变化，根据微血管的变化可以判断病变的良恶性；
图像色谱学处理输出模块的TT模式能够与冷光源系统实现联动控制；在TT模式下，图像增强处理模块的图像色谱学处理输出模块通过通讯模块向光源控制器发送指令，使光源控制器在TE模式、TG模式和TC模式中选择；同时，图像色谱学处理输出模块根据光源控制器所选择的不同模式，自动调整图像输出色彩组合，输出不同的RGB三色组合，以适应三种特殊频谱组合照明下的内窥镜图像；则TT模式下所输出频谱特性图像受冷光源系统的光源控制器和图像增强处理模块的图像色谱学处理输出模块控制；
TE模式用于显示食道，即TE模式下病灶需增强性质或部位为食道；在TE模式下，光源控制器控制三个光源驱动器，使照明输出为415nm紫蓝光与白光的组合；图像色谱学处理输出模块动态减少图像中的红色显像，经处理后的图像显示效果为整体偏蓝色，使得内镜图像中的毛细血管得到加强，如图4所示；
TG模式用于显示胃，即TG模式下病灶需增强性质或部位为胃；在TG模式下，光源控制器控制三个光源驱动器，使照明输出为415nm蓝激光、532nm绿激光与白光的组合；图像色谱学处理输出模块在保持TE模式下的动态红色减少的同时，动态增加蓝光和绿光的颜色显像，使得内镜图像中的扁平病灶得到加强显示，如图5所示；
TC模式用于显示大肠，即TC模式下病灶需增强性质或部位为大肠；在TC模式下，光源控制器控制三个光源驱动器，使照明输出为高亮度415nm蓝激光与白光的组合；图像色谱学处理输出模块在保持TE模式下的动态红色减少的同时，使蓝紫色照明输出为高亮度状态，应用在肠道检查时对病灶和正常组织的对比效果明显，如图6所示。
人工智能模块(AI模块)包括多模型融合单元和病灶跟踪单元；人工智能模块通过AI智能分析，检测并跟踪图像中的可疑病灶并在病灶部位进行标记，然后将智能分析结果发送给图像处理控制器，图像处理控制器将智能分析结果通过通讯模块发送给冷光源系统的光源控制器，光源控制器根据智能分析结果对三个光源驱动器进行控制，使三个光源根据智能分析结果输出不同的光源；同时，图像处理控制器将具有智能分析结果的图像发送给图像增强处理模块，图像增强处理模块对具有智能分析结果的图像进行图像增强处理；
多模型融合单元采用中国发明专利文献CN111899229A公开的一种基于深度学习多模型融合技术的胃早癌辅助诊断方法(申请日：2020年7月14日，申请号：2020106754760)，利用深度学习多模型融合技术对图像中的病变进行识别，检测出图像中的可疑病灶并在病灶部位用方框标记，并且对高风险病灶进行标记；例如，在病灶部位分别用红色框标识代表高风险部位，用绿色框标识代表低风险部位，具体方法如图2所示；
病灶跟踪单元采用中国发明专利文献CN111915573A公开的一种基于时序特征学习的消化内镜下病灶跟踪方法(申请日：2020年7月14日，申请号：2020106745831)，在内镜检查过程中实时跟踪病灶的区域及位置，具体方法如图3所示。
显然，本领域的技术人员可以对本发明进行各种改动和变形，而不脱离本发明的精神和范围。这样，倘若本发明的这些修改属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变形在内。
Claims (10)
1.一种能够实现智能图像处理的医用内窥镜系统，其特征在于，包括内窥镜、图像处理机、冷光源系统；内窥镜在冷光源系统输出的照明光下进行图像采集，并将所采集的图像传递给图像处理机进行图像处理；
所述图像处理机包括图像处理控制器，图像处理控制器将图像信息传递给图像增强处理模块，图像增强处理模块对所述图像信息进行增强处理，并向图像处理控制器输出经过增强处理的图像；图像增强处理模块连接图像色谱学处理输出模块，图像色谱学处理输出模块具有至少三个图像色谱学处理输出模式，从而向图像处理控制器发送具有不同频谱特性的图像；
所述冷光源系统包括蓝激光光源、绿激光光源、白光LED光源，蓝激光光源、绿激光光源和白光LED光源分别连接光源驱动器，各光源驱动器与光源控制器连接；光源控制器通过对三个光源驱动器的控制，使三个光源输出不同的照明光谱组合，形成至少三个光谱照明模式；光源控制器通过通讯模块与图像处理机的所述图像处理控制器相连接，通讯模块能够实现图像处理机与冷光源系统之间指令信号的传送。
2.根据权利要求1所述的能够实现智能图像处理的医用内窥镜系统，其特征在于，所述三个图像色谱学处理输出模式为TP模式、TV模式和TT模式；
所述TP模式用于显示腺管和黏膜细微结构；在TP模式下，图像色谱学处理输出模块将图像分解为R、G、B三个通道，并配合放大功能；
所述TV模式用于显示微血管；在TV模式下，图像色谱学处理输出模块将图像分解为R、G、B三个通道，去除R通道成分；
所述TT模式用于与冷光源系统实现联动控制，使得图像色谱学处理输出受冷光源系统的所述光谱照明模式控制。
3.根据权利要求2所述的能够实现智能图像处理的医用内窥镜系统，其特征在于，所述TT模式下，图像色谱学处理输出模块通过通讯模块向所述光源控制器发送指令，使光源控制器在三个光谱照明模式中选择；同时，图像色谱学处理输出模块根据光源控制器所选择的不同光谱照明模式，自动调整图像输出色彩组合。
4.根据权利要求1或3所述的能够实现智能图像处理的医用内窥镜系统，其特征在于，所述三个光谱照明模式为TE模式、TG模式和TC模式；
在所述TE模式下，光源控制器控制三个光源驱动器，使照明输出为蓝激光与白光的组合；所述图像色谱学处理输出模块动态减少图像中的红色显像；
在所述TG模式下，光源控制器控制三个光源驱动器，使照明输出为蓝激光、绿激光与白光的组合；所述图像色谱学处理输出模块在保持TE模式下的动态红色减少的同时，动态增加蓝光和绿光的颜色显像；
在所述TC模式下，光源控制器控制三个光源驱动器，使照明输出为高亮度蓝激光与白光的组合；所述图像色谱学处理输出模块在保持TE模式下的动态红色减少的同时，使蓝紫色照明输出为高亮度状态。
5.根据权利要求1所述的能够实现智能图像处理的医用内窥镜系统，其特征在于，所述图像处理机还包括人工智能模块，所述图像处理控制器将所述图像信息传递给人工智能模块进行智能分析，再将经过智能分析的图像信息传递给图像处理控制器。
6.根据权利要求5所述的能够实现智能图像处理的医用内窥镜系统，其特征在于，所述人工智能模块包括多模型融合单元和病灶跟踪单元；人工智能模块通过AI智能分析，检测并跟踪所述图像信息中的可疑病灶并在病灶部位进行标记，然后将智能分析结果发送给所述图像处理控制器，图像处理控制器将智能分析结果通过通讯模块发送给冷光源系统的光源控制器，光源控制器根据智能分析结果对三个光源驱动器进行控制，使三个光源根据智能分析结果输出不同的光源；同时，所述图像处理控制器将具有智能分析结果的图像发送给图像增强处理模块，图像增强处理模块对具有智能分析结果的图像进行图像增强处理。
7.根据权利要求1所述的能够实现智能图像处理的医用内窥镜系统，其特征在于，所述图像处理机还包括自动调光模块，自动调光模块根据图像显示效果输出自动调光指令给冷光源系统的光源控制器，光源控制器根据自动调光指令调节三个光源的照明亮度。
8.根据权利要求1所述的能够实现智能图像处理的医用内窥镜系统，其特征在于，所述蓝激光光源、绿激光光源和白光LED光源分别通过耦合器连接光纤合束器；光纤合束器连接去散斑器，去散斑器通过光纤连接光路扩大器和准直器，光路扩大器和准直器固定设置于IRIS光阑组件的前部；去散斑器和IRIS光阑组件连接所述光源控制器。
9.根据权利要求1所述的能够实现智能图像处理的医用内窥镜系统，其特征在于，所述蓝激光的波长为415nm；所述绿激光的波长为532nm；所述白光LED的波长为400～800nm。
10.根据权利要求1所述的能够实现智能图像处理的医用内窥镜系统，其特征在于，来自于所述内窥镜的所述图像信息经过信号及电源隔离器输入所述图像处理控制器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011484238.8A CN112603240A (zh) | 2020-12-16 | 2020-12-16 | 能够实现智能图像处理的医用内窥镜系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011484238.8A CN112603240A (zh) | 2020-12-16 | 2020-12-16 | 能够实现智能图像处理的医用内窥镜系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112603240A true CN112603240A (zh) | 2021-04-06 |
Family
ID=75240950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011484238.8A Withdrawn CN112603240A (zh) | 2020-12-16 | 2020-12-16 | 能够实现智能图像处理的医用内窥镜系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112603240A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113576382A (zh) * | 2021-07-05 | 2021-11-02 | 合肥德铭电子有限公司 | 一种具有智能吻合功能的4k荧光一体化腔镜系统 |
| CN116437221A (zh) * | 2023-04-21 | 2023-07-14 | 极限人工智能有限公司 | 一种内窥镜视频图像的截取方法及系统 |
| CN116862846A (zh) * | 2023-06-20 | 2023-10-10 | 河南大学淮河医院 | 多模光纤消化内镜成像及优化方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201948983U (zh) * | 2010-12-10 | 2011-08-31 | 孔令华 | 实时多光谱内窥镜 |
| CN202960439U (zh) * | 2012-08-01 | 2013-06-05 | 深圳市雷迈科技有限公司 | 多用途医用内窥镜光源 |
| CN103169446A (zh) * | 2013-04-15 | 2013-06-26 | 叶衍铭 | 适用于内窥镜的早期癌症可疑病灶检查装置 |
| US20160022126A1 (en) * | 2013-03-15 | 2016-01-28 | Ajay RAMESH | Endoscopic light source and imaging system |
| CN109222865A (zh) * | 2018-10-17 | 2019-01-18 | 卓外（上海）医疗电子科技有限公司 | 一种多模态成像内窥镜系统 |
-
2020
- 2020-12-16 CN CN202011484238.8A patent/CN112603240A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201948983U (zh) * | 2010-12-10 | 2011-08-31 | 孔令华 | 实时多光谱内窥镜 |
| CN202960439U (zh) * | 2012-08-01 | 2013-06-05 | 深圳市雷迈科技有限公司 | 多用途医用内窥镜光源 |
| US20160022126A1 (en) * | 2013-03-15 | 2016-01-28 | Ajay RAMESH | Endoscopic light source and imaging system |
| CN103169446A (zh) * | 2013-04-15 | 2013-06-26 | 叶衍铭 | 适用于内窥镜的早期癌症可疑病灶检查装置 |
| CN109222865A (zh) * | 2018-10-17 | 2019-01-18 | 卓外（上海）医疗电子科技有限公司 | 一种多模态成像内窥镜系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113576382A (zh) * | 2021-07-05 | 2021-11-02 | 合肥德铭电子有限公司 | 一种具有智能吻合功能的4k荧光一体化腔镜系统 |
| CN116437221A (zh) * | 2023-04-21 | 2023-07-14 | 极限人工智能有限公司 | 一种内窥镜视频图像的截取方法及系统 |
| CN116437221B (zh) * | 2023-04-21 | 2024-04-05 | 极限人工智能有限公司 | 一种内窥镜视频图像的截取方法及系统 |
| CN116862846A (zh) * | 2023-06-20 | 2023-10-10 | 河南大学淮河医院 | 多模光纤消化内镜成像及优化方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4009626B2 (ja) | 内視鏡用映像信号処理装置 | |
| US10779714B2 (en) | Image processing apparatus, method for operating image processing apparatus, and image processing program | |
| JP4732548B2 (ja) | 内視鏡システムおよび内視鏡画像処理装置 | |
| KR101184841B1 (ko) | 내시경 장치 및 그 신호 처리 방법 | |
| CN112603240A (zh) | 能够实现智能图像处理的医用内窥镜系统 | |
| JP5808031B2 (ja) | 内視鏡システム | |
| CN108109134B (zh) | 图像处理装置及其工作方法 | |
| WO2007116663A1 (ja) | 内視鏡装置 | |
| US20190069769A1 (en) | Living body observation system | |
| JP2013000176A (ja) | 内視鏡システム、内視鏡システムの光源装置、及び光量制御方法 | |
| JP6259747B2 (ja) | プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム | |
| CN112367898A (zh) | 内窥镜装置和内窥镜装置的工作方法 | |
| JP7196330B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
| CN106963328A (zh) | 用于医用内镜光谱染色照明的激光光源及照明方法 | |
| US20070269087A1 (en) | Endoscope processor, computer program product, endoscope system, and endoscope image playback apparatus | |
| CN217365794U (zh) | 内窥镜照明装置 | |
| JP6285373B2 (ja) | 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 | |
| US20230190083A1 (en) | Visualization system with real-time imaging function | |
| JP7217351B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
| JPH06269409A (ja) | 内視鏡装置 | |
| US20240013392A1 (en) | Processor device, medical image processing device, medical image processing system, and endoscope system | |
| JPH06339459A (ja) | 内視鏡装置 | |
| JP2013005981A (ja) | 光源装置、及び撮像システム | |
| JP3892699B2 (ja) | 電子内視鏡システム | |
| JP5885652B2 (ja) | 撮像装置、内視鏡装置、及び生体パターン強調処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210406 |
|
| WW01 | Invention patent application withdrawn after publication |