CN111093459A - 内窥镜装置、图像处理方法以及程序 - Google Patents
内窥镜装置、图像处理方法以及程序 Download PDFInfo
- Publication number
- CN111093459A CN111093459A CN201780094903.2A CN201780094903A CN111093459A CN 111093459 A CN111093459 A CN 111093459A CN 201780094903 A CN201780094903 A CN 201780094903A CN 111093459 A CN111093459 A CN 111093459A
- Authority
- CN
- China
- Prior art keywords
- light source
- unit
- image
- light
- simultaneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000000295 complement effect Effects 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 41
- 230000003287 optical effect Effects 0.000 claims description 23
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000001678 irradiating effect Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 6
- 238000005286 illumination Methods 0.000 description 97
- 238000010586 diagram Methods 0.000 description 42
- 230000005540 biological transmission Effects 0.000 description 10
- 238000001727 in vivo Methods 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 238000000926 separation method Methods 0.000 description 6
- 238000002834 transmittance Methods 0.000 description 6
- 230000003902 lesion Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000740 bleeding effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
- A61B1/051—Details of CCD assembly
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/05—Surgical care
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本发明提供一种内窥镜装置、图像处理方法以及程序,即使在使用原色像素及补色像素混合存在的摄像元件时,也能够在生成同时式和面顺序式中画质均优异的图像。内窥镜装置包括:图像处理部,其针对由在受光面配置有滤色镜的摄像元件生成的摄像信号,至少进行与同时式或面顺序式对应的插值处理,从而生成并输出输出图像;光源驱动切换部,其针对光源部,在同时式与面顺序式中进行切换;以及图像处理控制部,其基于光源驱动切换部所切换的结果来使图像处理部切换插值处理的方法,而生成输出图像。
Description
技术领域
本发明涉及一种被导入到被检体中,从而取得该被检体内的图像的内窥镜装置、图像处理方法以及程序。
背景技术
以往,在医疗领域及工业领域,广泛应用内窥镜装置来进行各种检查。其中,医疗用的内窥镜装置向患者等被检体的体腔内插入在前端设置有摄像元件且呈细长形状的挠性的插入部,该摄像元件具有多个像素,由此即使不切开被检体,也能够取得体腔内的体内图像,因此对被检体的负担较小,普及得以推进。
作为内窥镜装置的摄像方式,使用面顺序式和同时式,其中,面顺序式通过按照每帧照射不同波段的照明来取得颜色信息,同时式通过设置在摄像元件上的滤色镜来取得颜色信息。面顺序式在颜色分离性能和分辨率方面优异,但是在动态场景中会发生颜色偏差。与此相对,同时式虽然不产生颜色偏差,但在颜色分离性能和分辨率方面,相对面顺序式而言较差。
此外,作为现有的内窥镜装置的观察方式,使用了白色的照明光(白色光)的白色光观察方式(WLI:White Light Imaging)和使用了由在蓝色及绿色波段中分别包含的两个窄带光构成的照明光(窄带光)的窄带光观察方式(NBI:Narrow Band Imaging)广为人知。在白色光观察方式中,将绿色波段的信号作为亮度信号来生成彩色图像,在窄带光观察方式中,将蓝色波段的信号作为亮度信号来生成模拟彩色图像。其中,窄带光观察方式能够获得对存在于生物体的粘膜表层的毛细血管及粘膜细微图案等进行增强显示的图像。根据窄带光观察方式,能够更准确地发现生物体的粘膜表层中的病变部。关于这样的内窥镜装置的观察方式,也已知在白色光观察方式与窄带光观察方式中切换来进行观察。
因为以上述观察方式生成并显示彩色图像,所以为了通过单板的摄像元件取得摄像图像,在摄像元件的受光面上,通常设置有被称为拜耳排列的滤色镜。在这种情况下,各像素接收透射过滤镜后的波段的光,而生成与该波段的光对应的颜色成分的电信号。因此,在生成彩色图像的处理中进行插值处理,该插值处理对在各像素中未从滤镜透射而缺失的颜色成分的信号值进行插值。这样的插值处理被称作去马赛克处理。此外,在摄像元件的受光面上通常设置有被称为拜耳排列的滤色镜。拜耳阵列是将透射红色(R)、绿色(G)及蓝色(B)波段的光的滤镜(以下称为“R滤镜”、“G滤镜”及“B滤镜”)作为1个滤镜单位(单元)按照每个像素进行排列的。
近年来,在生物体内,为了在白色光观察方式及窄带光观察方式中都得到高分辨感,不仅原色滤色镜,使青色(Cy)或品红色(Mg)这样的补色滤色镜(以下称“Cy滤镜”和“Mg滤镜”)混合存在的滤镜配置的技术被熟知(专利文献1)。根据该技术,通过使补色像素混合存在,与仅有原色像素的情况相比,能够取得更多的蓝色波段的信息,因此在窄带光观察方式的情况下,能够提高毛细血管等的分辨率。
现有技术文献
专利文献
专利文献1:日本特开2015-83365号公报
发明内容
发明要解决的课题
但是,在上述专利文献1中具有以下问题,即因为参照补色像素的信息进行去马赛克处理,因此在被摄体的运动较少的状况或难以产生颜色偏差的状况下,与面顺序式相比,颜色分离性能和分辨率会劣化,且与面顺序式相比,画质之差会变得显著。
本发明是鉴于上述问题而完成的,其目的在于提供一种即使在使用原色像素及补色像素混合存在的摄像元件时,也能够生成在同时式和面顺序式中画质均优异的图像的内窥镜装置、图像处理方法以及程序。
用于解决课题的手段
为了解决上述课题并达成目的,本发明的内窥镜装置的特征在于,包括:光源部,其进行同时式及面顺序式中的任一方,其中,所述同时式至少同时照射波段互不相同的多个光,所述面顺序式至少单独照射波段互不相同的多个光中的每一个;摄像元件,其通过呈二维格子状配置而成的多个像素分别受光并进行光电转换来生成摄像信号;滤色镜,其以由多个滤镜构成的滤镜单元对应于所述多个像素的方式配置而成,其中,多个滤镜具有:至少一种原色滤镜,其分别透射红色、绿色及蓝色中的任意一个波段的光;以及补色滤镜,其透射绿色波段的光,且透射红色及蓝色中的一方的波段的光;图像处理部,其对所述摄像信号至少进行与所述同时式或所述面顺序式对应的插值处理而生成输出图像;光源驱动切换部,其针对所述光源部,切换为所述同时式及所述面顺序式中的任一方;以及图像处理控制部,其基于所述光源驱动切换部所切换的结果,使所述图像处理部切换所述插值处理的方法而生成所述输出图像。
并且,本发明的图像处理方法由内窥镜装置执行,该内窥镜装置包括:光源部,其进行同时式和面顺序式中的任一方,其中,所述同时式至少同时照射波段互不相同的多个光,所述面顺序式至少单独照射波段互不相同的多个光中的每一个;摄像元件,其通过呈二维格子状配置而成的多个像素分别受光并进行光电转换来生成摄像信号;以及滤色镜,其以由多个滤镜构成的滤镜单元对应于所述多个像素的方式配置而成,其中,多个滤镜具有:至少一种原色滤镜,其分别透射红色、绿色及蓝色中的任意一个波段的光;以及补色滤镜,其透射绿色波段的光,且透射红色及蓝色中的一方的波段的光,该图像处理方法的特征在于,包含:图像处理步骤,对所述摄像信号至少进行与所述同时式或所述面顺序式对应的插值处理,而生成并输出输出图像;光源驱动切换步骤,针对所述光源部,在所述同时式与所述面顺序式中进行切换;以及图像处理控制步骤,基于在所述光源驱动切换步骤中切换的结果,切换所述图像处理步骤的所述插值处理的方法而生成所述输出图像。
并且,本发明的程序的特征在于,使内窥镜装置执行图像处理步骤、光源驱动切换步骤、以及图像处理控制步骤,该内窥镜装置包括:光源部,其进行同时式和面顺序式中的任一方,其中,所述同时式至少同时照射波段互不相同的多个光,所述面顺序式至少单独照射波段互不相同的多个光中的每一个;摄像元件,其通过呈二维格子状配置而成的多个像素分别受光并进行光电转换来生成摄像信号;以及滤色镜,其以由多个滤镜构成的滤镜单元对应于所述多个像素的方式配置而成,其中,多个滤镜具有:至少一种原色滤镜,其分别透射红色、绿色及蓝色中的任意一个波段的光;以及补色滤镜,其透射绿色波段的光,且透射红色及蓝色中的一方的波段的光,在所述图像处理步骤中,对所述摄像信号至少进行与所述同时式或所述面顺序式对应的插值处理而生成并输出输出图像,在所述光源驱动切换步骤中,针对所述光源部,在所述同时式与所述面顺序式中进行切换,在所述图像处理控制步骤中,基于在所述光源驱动切换步骤中切换的结果,切换所述图像处理步骤的所述插值处理的方法而生成所述输出图像。
发明效果
根据本发明,起到如下这样的效果:即使在使用原色像素和补色像素混合存在的摄像元件时,也能够生成在同时式及面顺序式中画质均优异的图像。
附图说明
图1是表示本发明的实施方式1的内窥镜装置的概要结构的图。
图2是示意性地表示本发明的实施方式1的内窥镜装置的功能结构的框图。
图3是表示本发明的实施方式1的摄像元件的像素的结构的示意图。
图4是表示本发明的实施方式1的滤色镜的结构的一例的示意图。
图5是表示本构成发明的实施方式1的滤色镜的各滤镜的透射特性的一例的图。
图6是表示本发明的实施方式2的内窥镜装置的概要结构的示意图。
图7是表示本发明的实施方式2的光源部射出的各光的分光特性的一例的图。
图8是表示本发明的实施方式2的光源部射出的窄带光的分光特性的一例的图。
图9是示意性地表示本发明的实施方式2的照明控制部在同时式的白色光观察时进行的照明部的点亮控制的图。
图10是示意性地表示本发明的实施方式2的照明控制部在同时式的窄带光观察时进行的照明部的点亮控制的图。
图11是示意性地表示本发明的实施方式2的照明控制部在面顺序式的白色光观察时进行的照明部的点亮控制的图。
图12是示意性地表示本发明的实施方式2的照明控制部在面顺序式的窄带光观察时进行的照明部的点亮控制的图。
图13是表示本发明的实施方式2的内窥镜装置所执行的处理的概要的流程图。
图14是表示本发明的实施方式2的内窥镜装置的白色光观察时由同时式图像生成部进行的同时式图像生成处理的概要的示意图。
图15是表示本发明的实施方式2的内窥镜装置的窄带光观察时由同时式图像生成部进行的同时式图像生成处理的概要的示意图。
图16是表示本发明的实施方式2的内窥镜装置的白色光观察时由LED_B照射照明光时的面顺序式图像生成部所进行的面顺序式图像生成处理的概要的示意图。
图17是表示本发明的实施方式2的内窥镜装置的白色光观察时由LED_G和LED_R照射照明光时的面顺序式图像生成部所进行的面顺序式图像生成处理的概要的示意图。
图18是表示本发明的实施方式2的内窥镜装置的窄带光观察时由LED_B照射照明光时的面顺序式图像生成部所进行的面顺序式图像生成处理的概要的示意图。
图19是表示本发明的实施方式2的内窥镜装置的窄带光观察时由LED_G和LED_R照射照明光时的面顺序式图像生成部所进行的面顺序式图像生成处理的概要的示意图。
图20是表示本发明的实施方式3的内窥镜装置的概要结构的示意图。
图21是表示本发明的实施方式3的内窥镜装置执行的处理的概要的流程图。
图22是表示本发明的实施方式1~3的变形例的滤色镜的结构的一例的示意图。
图23是表示构成本实施方式1~3的变形例的滤色镜的各滤镜的透射特性的一例的图。
图24是表示本实施方式1~3的变形例的光源部的各光源的分光特性的一例的图。
具体实施方式
以下,对用于实施本发明的方式(以下称“实施方式”)进行说明。在本实施方式中,说明对患者等被检体的体腔内的图像进行拍摄并显示的医疗用的内窥镜装置。此外,本发明并不限于该实施方式。进而,在附图的记载中,对相同的部分标注相同的附图标记来进行说明。
(实施方式1)
[内窥镜装置的结构]
图1是示出本发明的实施方式1的内窥镜装置的概要结构的图。图2是示意性地示出本发明的实施方式1的内窥镜装置的功能结构的框图。图1及图2所示的内窥镜装置1插入到患者等被检体中而对被检体的体内进行摄像,并将该体内图像输出到外部的显示装置。医生等使用者通过观察由显示装置显示的体内图像来检查作为检测对象部位的出血部位、肿瘤部位以及异常部位各自的有无。
内窥镜装置1包括:内窥镜2,其插入到被检体内,由此拍摄观察部位的体内图像以生成摄像信号;光源部3,其产生从内窥镜2的前端射出的照明光;处理器部4,其对内窥镜2所生成的摄像信号实施预定的图像处理,并且对内窥镜装置1整体的动作进行统一控制;以及显示部5,其显示由处理器部4实施了图像处理后的体内图像。
内窥镜2至少包括生成摄像信号的摄像部20。摄像部20具有:摄像元件201,其是将接收光的像素(光电二极管)被配置为二维矩阵状而成的,通过对各像素所接收到的光进行光电转换来生成摄像信号;以及滤色镜202,其被配置在摄像元件201的受光面上而成,并具有多个滤镜,每个滤镜透射被单独设定的波段的光。摄像元件201使用CMOS(ComplementaryMetal Oxide Semiconductor:互补金属氧化物半导体)和CCD(Charge Coupled Device:电荷耦合元件)等图像传感器来实现。另外,针对摄像元件201及滤色镜202的详细结构,将在后面进行叙述。
光源部3在处理器部4控制下,以同时式及面顺序式照射照明光,其中,同时式至少同时照射波段互不相同的多个光,面顺序式至少单独(时分)照射波段互不相同的多个光中的每一个。具体而言,光源部3以同时式照射照明光,或者以面顺序式照射照明光,其中,同时式至少同时照射波段互不相同的两种光,面顺序式至少交替照射波段互不相同的两种光。光源部3使用多个光源,例如产生红色波段的光的红色LED(Light Emitting Diode:发光二极管)灯、产生绿色波段的光的绿色LED灯及产生蓝色波段的光的蓝色LED灯构成。
处理器部4包括:图像处理部41,其对从摄像部20输入的摄像信号进行图像处理,从而生成输出图像并将其向显示部5输出;输入部42,其接受指示各种动作的指示信号的输入;存储部43,其存储内窥镜装置1所执行的各种程序及处理中的数据等;以及控制部44,其对构成内窥镜装置1的各部进行统一控制。
图像处理部41使用GPU(Graphics Processing Unit:图形处理单元)等构成。图像处理部41具有:同时式图像生成部411,其在光源部3以同时式照射照明光的情况下,对摄像部20所生成的摄像信号进行插值处理而生成输出图像;以及面顺序式图像生成部412,其在光源部3以面顺序式照射照明光的情况下,对摄像部20所生成的摄像信号进行插值处理而生成输出图像。
输入部42使用开关、按钮以及触摸面板等构成,接受指示内窥镜装置1的动作的指示信号的输入,并且将该接受到的指示信号向控制部44输出。具体而言,输入部42接受对光源部3照射照明光的方式进行切换的指示信号的输入。例如,输入部42在光源部3正在以同时式照射照明光的情况下,接受使光源部3以面顺序式照射照明光的指示信号的输入。
存储部43使用易失性存储器或非易失性存储器构成,存储与内窥镜装置1相关的各种信息及内窥镜装置1所执行的程序。
控制部44使用CPU(Central Processing Unit:中央处理单元)等构成。控制部44具有:光源驱动切换部441,其基于从输入部42输入的、切换光源部3照射照明光的方式的指示信号来切换光源部3照射照明光的方式;以及图像处理控制部442,其基于光源驱动切换部441所切换的光源部3的方式来切换图像处理部41的插值处理的方法。
显示部5经由影像线缆来接收处理器部4所生成的输出图像信号,并显示与该显示图像信号对应的体内图像。显示部5使用液晶或有机EL(Electro Luminescence:电致发光)等构成。
[摄像元件的结构]
接下来,对摄像元件201的详细结构进行说明。图3是表示摄像元件201的像素的结构的示意图。
如图3所示,摄像元件201是二维格子状(二维矩阵状)配置接收光的多个像素P而成的。各像素P通过接收从摄像光学系统200入射的光并进行光电转换来生成摄像信号。该摄像信号中包含各像素P的亮度值(像素值)和像素的位置信息等。在图3中,将配置在第i行j列的像素记作像素Pij来表示。另外,i及j表示1以上的整数。
〔滤色镜的结构〕
接下来,对滤色镜202的详细结构进行说明。图4是表示滤色镜202的结构的一例的示意图。
如图4所示,滤色镜202根据像素Pij的配置而排列配置有滤镜单元U1,该滤镜单元U1由以4×4的方式排列成二维格子状的16个滤镜构成。设置有滤镜的像素Pij接收透射过滤镜的波段的光。具体而言,设置有使红色波段的光透射的滤镜R的像素Pij接收红色波段的光。以下,称接收红色波段的光的像素Pij为R像素。同样地,称接收绿色波段的光的像素Pij为G像素,称接收蓝色波段的光的像素Pij为B像素,称接收绿色波段的光和蓝色波段的光的像素Pij称为Cy像素。另外,在下文中将R像素、G像素以及B像素作为原色像素,将Cy像素作为补色像素进行说明。
如图4所示,滤镜单元U1使蓝色(B)波段HB、绿色(G)波段HG和红色(R)波段HR的光透射。在此,蓝色、绿色及红色波段HB、HG及HR中,波段HB为390nm~500nm,波段HG为500nm~600nm,波段HR为600nm~700nm。此外,滤镜单元U1具有:R滤镜,其透射红色波段HR的光;G滤镜,其透射绿色波段HG的光;B滤镜,其透射蓝色波段HB的光;以及Cy滤镜,其透射蓝色波段的光和绿色波段的光。具体而言,在滤镜单元U1中,Cy滤镜以整体的1/2的比例(8个)呈交替格子状配置,G滤镜以整体的1/4的比例(4个)配置,B滤镜和R滤镜分别以1/8(2个)的比例配置。
[各滤镜的透射特性]
接下来,对构成滤色镜202的各滤镜的透射特性进行说明。图5是表示构成滤色镜202的各滤镜的透射特性的一例的图。在图5中,模拟地对透射率曲线进行了归一化,以使各滤镜的透射率的最大值相等。在图5中,曲线LB表示B滤镜的透射率曲线,曲线LG表示G滤镜的透射率曲线,曲线LR表示R滤镜的透射率曲线,曲线LCy表示Cy滤镜的透射率曲线。此外,在图5中,横轴表示波长,纵轴表示透射率。
如图5所示,B滤镜透射波段HB的光。Cy滤镜透射波段HB和波段HG各自的光,并吸收(遮挡)波段HR的光。即Cy滤镜透射作为补色的青色波段的光。G滤镜透射波段HG的光。R滤镜透射波段HR的光。另外,在本说明书中,补色是指由包含波段HB、HG、HR中的至少2个波段的光构成的颜色。
在这样构成的内窥镜装置1中,用内窥镜2对由光源部3经由内窥镜2照射了照明光的被摄体进行拍摄,在处理器部4中对在内窥镜2中生成的摄像信号实施各种信号处理,而生成彩色图像并将其显示在显示部5上。在这种情况下,光源驱动切换部441在从输入部42输入了指示同时式的指示信号时,使光源部3以同时式照射照明光,而在从输入部42输入了指示面顺序式的指示信号时,使光源部3以面顺序式照射照明光。此时,图像处理控制部442基于光源驱动切换部441所切换的光源部3的方式,切换图像处理部41的插值处理的方法。具体而言,图像处理控制部442在光源部3的方式为同时式的情况下,使同时式图像生成部411对摄像部20所生成的摄像信号进行插值处理,从而生成输出图像并将其输出到显示部5,而在光源部3的方式为面顺序式的情况下,使面顺序式图像生成部412对摄像部20所生成的摄像信号执行插值处理,从而生成输出图像并将其输出到显示部5。
根据以上说明的本发明的实施方式1,在光源部3的方式为同时式的情况下,图像处理控制部442使同时式图像生成部411对由摄像部20生成的摄像信号进行插值处理,从而生成输出图像并将其输出到显示部5,而在光源部3的方式为面顺序式的情况下,图像处理控制部442使面顺序式图像生成部412对由摄像部20生成的摄像信号执行插值处理,从而生成输出图像并将其输出到显示部5,因此即使在使用配置有原色像素及补色像素混合存在的滤色镜202的摄像元件201进行拍摄的情况下,也能够生成以同时式拍摄的没有颜色偏差的输出图像及以面顺序式拍摄的颜色分离及分辨率优异的输出图像。
(实施方式2)
接下来,对本发明的第2实施方式进行说明。本实施方式2与上述实施方式1的结构及处理不同。以下,在说明了本实施方式2的内窥镜装置的结构之后,对内窥镜装置所执行的处理进行说明。另外,对与上述实施方式1的内窥镜装置1相同的结构标注相同的附图标记并省略详细说明。
[内窥镜装置的结构]
图6是示出本发明的实施方式2的内窥镜装置的概要结构的示意图。图6所示的内窥镜装置1A包括:内窥镜2A,其通过插入到被检体中来拍摄观察部位的体内图像,而生成摄像信号;光源部3A,其产生从内窥镜2A的前端射出的照明光;处理器部4;以及显示部5。医生等使用者通过进行由显示部5显示的体内图像的观察,来检查作为检测对象部位的出血部位、肿瘤部位(病变部S)以及异常部位各自的有无。
[内窥镜的结构]
首先,对内窥镜2A的结构进行说明。
内窥镜2A包括摄像光学系统200、摄像元件201、滤色镜202、光导203、照明用透镜204、A/D转换部205、摄像信息存储部206、以及操作部207。
摄像光学系统200至少对来自观察部位的光进行聚光。摄像光学系统200使用一个或多个镜头构成。另外,也可以在摄像光学系统200中设置改变视场角的光学变焦机构和改变焦点的对焦机构。
光导203使用玻璃纤维等构成,形成光源部3A射出的光的导光路。
照明用透镜204被设置在光导203的前端,通过光导203使被引导的光扩散并从内窥镜2A的前端向外部射出。照明用透镜204使用一个或多个镜头构成。
A/D转换部205对摄像元件201所生成的模拟摄像信号进行A/D转换,并将该转换后的数字的摄像信号向处理器部4输出。
摄像信息存储部206存储如下数据,该数据包含:用于使内窥镜2A进行动作的各种程序;内窥镜2A的动作所需的各种参数;以及内窥镜2A的识别信息。并且,摄像信息存储部206具有记录识别信息的识别信息存储部261。识别信息中包含:内窥镜2A的固有信息(ID)、年份、规格信息、传送方式、以及滤色镜202中的滤镜的排列信息等。摄像信息存储部206使用闪存等来实现。
操作部207接受切换内窥镜2A的动作的指示信号和用于使光源部3A进行照明光的切换动作的指示信号等的输入,并将该接受的指示信号输出到处理器部4。操作部207使用开关、微动拨盘、按钮以及触摸面板等构成。
[光源部的结构]
接下来,对光源部3A的结构进行说明。光源部3A包括照明部31、以及照明控制部32。
照明部31在照明控制部32的控制下,向光导203射出波段彼此不同的照明光。照明部31具有光源31a、光源驱动器31b、切换滤镜31c、驱动部31d、以及驱动用驱动器31e。
光源31a在照明控制部32的控制下射出照明光。光源31a射出的照明光经由切换滤镜31c、聚光透镜31f以及光导203而从内窥镜2A的前端向外部射出。关于光源31a,使用照射彼此不同的波段的光的多个LED灯或多个激光光源来实现。具体而言,光源31a使用LED31a_B、LED31a_G及LED31a_R这三个LED灯构成。
图7是表示光源31a所射出的各光的分光特性的一例的图。在图7中,横轴表示波长,纵轴表示强度。在图7中,曲线LLEDB表示由LED31a_B照射的蓝色照明光的分光特性,曲线LLEDG表示由LED31a_G照射的绿色的照明光的分光特性,曲线LLEDR表示由LED31a_R照射的红色照明光的分光特性。
如图7曲线LLEDB所示,LED31a_B在蓝色波段HB(例如380nm~480nm)具有峰值强度。此外,如图7的曲线LLEDG所示,LED31a_G在绿色波段HG(例如480nm~580nm)具有峰值强度。并且,如图7的曲线LLEDR所示,LED31a_R在红色波段HR(例如580nm~680nm)具有峰值强度。
返回图6,继续对内窥镜装置1A的结构进行说明。
光源驱动器31b在照明控制部32的控制下,对光源31a供给电流,由此使光源31a射出照明光。
切换滤镜31c被插拔自如地配置在光源31a所射出的照明光的光路上,使光源31a所射出的照明光中的预定波段的光透射。具体而言,切换滤镜31c透射蓝色的窄带光和绿色的窄带光。即,切换滤镜31c在被配置在照明光的光路上时,使两个窄带光透射。更具体而言,切换滤镜31c透射波段HB中包含的窄带TB(例如390nm~445nm)的光、以及波段HG中包含的窄带TG(例如530nm~550nm)的光。
图8是表示光源部3A射出的窄带光的分光特性的一例的图。在图8中,横轴表示波长,纵轴表示强度。此外,在图8中,曲线LNB表示透射过切换滤镜31c的窄带TB中的窄带光的分光特性,曲线LNG表示透射过切换滤镜31c的窄带TG中的窄带光的分光特性。
如图8的曲线LNB及曲线LNG所示,切换滤镜31c透射蓝色的窄带TB的光及绿色的窄带TG的光。透射过切换滤镜31c的光会成为由窄带TB及窄带TG构成的窄带照明光。该窄带TB、TG是容易被血液中的血红蛋白吸收的蓝色光及绿色光的波段。将利用该窄带照明光进行的图像观察称为窄带光观察方式(NBI方式)。
返回图6,继续对内窥镜装置1A的结构进行说明。
驱动部31d使用步进电机或DC电机等构成,在照明控制部32的控制下,使切换滤镜31c插入到光源31a射出照明光的光路上或者从光路上退避。具体而言,驱动部31d在照明控制部32控制下,在内窥镜装置1A进行白色光观察方式(WLI方式)的情况下,使切换滤镜31c从光源31a所射出的照明光的光路上退避,而在内窥镜装置1进行窄带光观察方式(NBI方式)的情况下,将切换滤镜31c插入到(配置在)光源31a所射出的照明光的光路上。
驱动用驱动器31e在照明控制部32的控制下,对驱动部31d供给预定的电流。
聚光透镜31f将光源31a所发出的照明光聚光并将其向光导203射出。此外,聚光透镜31f将透射过切换滤镜31c的照明光聚光并将其向光导203射出。聚光透镜31f使用一个或多个透镜构成。
照明控制部32使用CPU等构成。照明控制部32基于从处理器部4输入的指示信号,控制光源驱动器31b而使光源31a进行开启关闭动作。此外,照明控制部32基于从处理器部4输入的指示信号,控制驱动用驱动器31e而将切换滤镜31c插入到光源31a所射出的照明光的光路上或使其退避,由此来控制照明部31所射出的照明光的种类(频带)。具体而言,照明控制部32进行如下控制:在面顺序式的情况下,使光源31a的至少两个LED灯单独地点亮,而在同时式的情况下,使光源31a的至少两个LED灯同时点亮,由此,将从照明部31射出的照明光切换为面顺序式及同时式中的任意一者。
[照明控制部对照明部的点亮控制]
接下来,对照明控制部32对照明部31的点亮控制进行说明。
图9是示意性地表示照明控制部32在同时式的白色光观察时进行的照明部31的点亮控制的图。图10是示意性地表示照明控制部32在同时式窄带光观察时进行的照明部31的点亮控制的图。图11是示意性地表示照明控制部32在面顺序式的白色光观察时进行的照明部31的点亮控制的图。图12是示意性地表示照明控制部32在面顺序式的窄带光观察时进行的照明部31的点亮控制的图。在图9~图12中,横轴表示时间,纵轴表示各LED的点亮定时。
如图9所示,照明控制部32在内窥镜装置1A进行同时式的白色光观察的情况下,使LED31a_B、LED31a_G及LED31a_R同时以预定的间隔点亮。此外,如图10所示,照明控制部32在内窥镜装置1A进行同时式的窄带光观察的情况下,使LED31a_B及LED31a_G以预定的间隔同时点亮。
如图11所示,照明控制部32在内窥镜装置1A进行面顺序式的白色光观察的情况下交替反复仅使LED31a_B点亮的第1期间和使LED31a_G及LED31a_R点亮的第2期间,并使LED31a_B、LED31a_G及LED31a_R分别以单独的定时点亮。此外,如图12所示,照明控制部32在内窥镜装置1A进行面顺序式的窄带光观察的情况下交替反复仅使LED31a_B点亮的第1期间、以及仅使LED31a_G点亮的第2期间,并使LED31a_B及LED31a_G分别以单独的定时点亮。
[内窥镜装置的处理]
接下来,对内窥镜装置1A所执行的处理进行说明。
图13是表示内窥镜装置1所执行的处理的概要的流程图。
如图13所示,首先,当内窥镜2A、光源部3A及处理器部4分别连接,并且准备好开始摄像时,控制部44进行光源部3A的驱动方式、观察方式及与摄像元件201的摄像相关的摄像设定的读入(步骤S101)。
接着,光源驱动切换部441判断观察方式是否为白色光观察(步骤S102),在观察方式为白色光观察的情况下(步骤S102:是),光源驱动切换部441通过照明控制部32对驱动部31d进行驱动,从而使切换滤镜31c从由光源31a照射的照明光的光路上退避(步骤S103)。与此相对,在观察方式不是白色光观察的情况下(步骤S102:否),光源驱动切换部441通过照明控制部32对驱动部31d进行驱动,从而将切换滤镜31c插入到由光源31a照射的照明光的光路上(步骤S104)。
在步骤S103或步骤S104之后,光源驱动切换部441使光源部3A以在上述步骤S101中设定的方式射出照明光(步骤S105)。
接着,内窥镜2A进行由光源部3A照射了照明光的被检体的摄像(步骤S106)。
之后,图像处理控制部442判断光源部3A的方式是否为同时式(步骤S107),在光源部3A的方式为同时式的情况下(步骤S107:是),图像处理控制部442使同时式图像生成部411执行用内窥镜2A所生成的摄像信号来生成输出图像的同时式图像生成处理(步骤S108)。在步骤S108之后,内窥镜装置1A转移到后述的步骤S110。另外,同时式图像生成处理的详细情况将在后文叙述。
在步骤S107中,在光源部3A的方式不是同时式的情况下(步骤S107:否),图像处理控制部442使面顺序式图像生成部412执行用内窥镜2A所生成的摄像信号来生成输出图像的面顺序式图像生成处理(步骤S109)。在步骤S109之后,内窥镜装置1A转移到后述的步骤S110。另外,面顺序式图像生成处理的详细情况将在后文叙述。
接着,将同时式图像生成部411或面顺序式图像生成部412所生成的输出图像输出到显示部5(步骤S110)。在步骤S110之后,内窥镜装置1A结束本处理。
[同时式图像生成处理的详细情况]
接下来,对在上述步骤S108中说明的同时式图像生成处理的详细情况进行说明。
首先,对内窥镜装置1A的白色光观察时同时式图像生成部411所进行的同时式图像生成处理进行说明。图14是表示内窥镜装置1A的白色光观察时同时式图像生成部411所进行的同时式图像生成处理的概要的示意图。
如图14所示,同时式图像生成部411使用像素数最多的Cy像素的图像F Cy1,对与内窥镜2A所生成的原色像素及补色像素混合存在的摄像信号对应的图像F1进行插值处理,由此生成Cy像素的Cy插值图像FCy2。然后,如图14所示,同时式图像生成部411将Cy插值图像FCy2(引导图像)的信息作为引导,通过分别对图像FG1、图像FB1及图像FR1进行插值处理来分别生成B插值图像FG2、G插值图像FB2及R插值图像FR2。在此,作为使用了引导图像的插值处理,为已知的联合双边插值处理及导向滤波插值处理等。
接下来,对内窥镜装置1A的窄带光观察时由同时式图像生成部411所进行的同时式图像生成处理进行说明。图15是表示内窥镜装置1A的窄带光观察时由同时式图像生成部411所进行的同时式图像生成处理的概要的示意图。
如图15所示,同时式图像生成部411使用像素数最多的Cy像素的图像FCy1,对与内窥镜2A所生成的原色像素及补色像素混合存在的摄像信号对应的图像F10进行插值处理,由此生成Cy像素的Cy插值图像FCy2。然后,如图15所示,同时式图像生成部411将Cy插值图像FCy2(引导图像)的信息作为引导,通过分别对图像FG1和图像FB1进行插值处理,来分别生成B插值图像FG2及G插值图像FB2。在窄带光观察中,因为如图15所示,没有红色波段HR的照明光,所以R像素无法取得信号值,在此基础上,将B插值图像FG2及G插值图像FB2分别作为伪彩色图像输出。因此,同时式图像生成部411不进行R插值图像FR2的生成。
这样,同时式图像生成部411根据与1帧对应的摄像信号来生成G插值图像及B插值图像。其结果是,能够防止同时式图像生成部411所输出的输出图像在原理上发生颜色偏差。
[面顺序式图像生成处理的详细情况]
接下来,对在上述步骤S109中说明的面顺序式图像生成处理的详细情况进行说明。另外,由于面顺序式图像生成部412所进行的面顺序式图像生成处理在每1帧中都不同,所以按照每1帧对面顺序式图像处理进行说明。
首先,对内窥镜装置1A的白色光观察时由面顺序式图像生成部412所进行的面顺序式图像生成处理进行说明。图16是表示内窥镜装置1A的白色光观察时由LED31a_B照射照明光时的面顺序式图像生成部412所进行的面顺序式图像生成处理的概要的示意图。图17是表示内窥镜装置1A的白色光观察时由LED31a_G及LED31a_R照射照明光时的面顺序式图像生成部412所进行的面顺序式图像生成处理的概要的示意图。
如图16所示,在与用光源部3A仅照射LED31a_B的帧的摄像信号对应的图像F20中,可获得图像信息(信号值)的像素仅为Cy像素及B像素。因为Cy像素中,仅蓝色波段HB具有感光度,所以可以将Cy像素视为B像素。面顺序图像生成部412无法获取G像素及R像素各自的图像信息。因此,面顺序式图像生成部412用图像FB21及图像FB1进行已知的双线性插值处理、三次插值处理及方向判别插值处理等插值处理,由此生成在全部图像像素位置具有B信息的图像信息的B插值图像FB22。
此外,如图17所示,在与用光源部3A仅照射LED31a_G及LED31a_R的帧的摄像信号对应的图像F30中,可获得图像信息(信号值)的像素仅为Cy像素、G像素及R像素。Cy像素具有绿色波段HG的感光度,因此可以将Cy像素视为G像素。面顺序式图像生成部412使用图像FG32进行与上述用光源部3A仅照射LED31a_B的帧同样的插值处理,由此生成在全部图像像素位置具有G信息的图像信息的G插值图像FG33。进而,面顺序式图像生成部412使用图像FR1进行与上述用光源部3A仅照射LED31a_B的帧同样的插值处理,由此生成在全部图像像素位置具有R信息的图像信息的R插值图像FR33。
然后,面顺序式图像生成部412使用用光源部3A仅照射LED31a_B的帧的B插值图像FB22、用光源部3A仅照射LED31a_G及LED31a_R的帧的G插值图像FG33及R插值图像FR33生成输出图像并将其向显示部5输出。
接下来,对内窥镜装置1A的窄带光观察时由面顺序式图像生成部412所进行的面顺序式图像生成处理进行说明。图18是表示内窥镜装置1A的窄带光观察时由LED31a_B照射照明光时的面顺序式图像生成部412所进行的面顺序式图像生成处理的概要的示意图。图19是表示内窥镜装置1A的窄带光观察时由LED31a_G和LED31a_R照射照明光时的面顺序式图像生成部412所进行的面顺序式图像生成处理的概要的示意图。
如图18所示,在与用光源部3A仅照射LED31a_B的帧的摄像信号对应的图像F30中,可获得图像信息(信号值)的像素仅为Cy像素及B像素。因为Cy像素中,仅蓝色波段HB具有感光度,所以可以将Cy像素视为B像素。面顺序图像生成部412无法获取G像素及R像素各自的图像信息。因此,面顺序式图像生成部412使用图像FB21及图像FB1进行已知的双线性插值处理、三次插值处理及方向判别插值处理等插值处理,由此生成在全部图像像素位置具有B信息的图像信息的B插值图像FB22。
此外,如图19所示,在与用光源部3A仅照射LED31a_G及LED31a_R的帧的摄像信号对应的图像F40中,获得图像信息(信号值)的像素仅为Cy像素及G像素。因为Cy像素中,仅绿色波段HG具有感光度,所以可以将Cy像素视为G像素。面顺序式图像生成部412使用图像FG32进行与上述用光源部3A仅照射LED31a_B的帧同样的插值处理,由此生成在全部图像像素位置具有G信息的图像信息的G插值图像FG33。
然后,面顺序式图像生成部412使用用光源部3A仅照射LED31a_B的帧的B插值图像FB23及用光源部3A仅照射LED31a_G的帧的G插值图像FG33来生成伪彩色的输出图像并将其向显示部5输出。
这样,在面顺序式图像生成部412中,用光源部3A在其他帧中分别照射LED31a_B、LED31a_G及LED31a_R,因此能够生成与同时式图像生成部411生成的输出图像相比颜色分离性能较为优异的输出图像。
进而,面顺序式图像生成部412中,因将Cy像素视为B像素或G像素来进行插值处理,故而与同时式图像生成部411的处理相比,需要通过校正处理计算的像素数较少,因此,也能够高精度地进行插值处理。即,面顺序式图像生成部412能够生成分辨率比同时式图像生成部411所生成的输出图像更为优异的输出图像。由面顺序式图像生成部412生成的输出图像的分辨率优异的理由为:在摄像元件201上配置有多个补色滤镜。因此,在一般的拜耳排列中,无法提高分辨率。
根据以上说明的本发明的实施方式2,在进行白色光观察方式及窄带光观察方式的情况下,即使在使用原色像素及补色像素混合存在的摄像元件时,也能够生成以同时式拍摄的没有颜色偏差的输出图像、以及以面顺序式拍摄的颜色分离及分辨率优异的输出图像。
(实施方式3)
接下来,对本发明的实施方式3进行说明。本实施方式3与上述实施方式2的内窥镜装置1A的结构不同。具体而言,本实施方式3基于摄像信号来检测内窥镜的状况,并根据该检测结果将其切换为面顺序式及同时式中的任一方。以下,在对本实施方式3的内窥镜装置的结构进行说明后,对本实施方式3的内窥镜装置所执行的处理进行说明。另外,对与上述实施方式2相同的结构标注相同的附图标记,并省略说明。
[内窥镜装置的结构]
图20是表示本发明的实施方式3的内窥镜装置的概要结构的示意图。图20所示的内窥镜装置1B不包括上述实施方式2的处理器部4,而是包括处理器部4B。处理器部4B不包括上述实施方式2的控制部44,而是包括控制部44B。
控制部44B除了实施方式2的控制部44的结构以外,还包括场景信息检测部443。
场景信息检测部443基于内窥镜2A生成的摄像信号来检测运动量。例如,场景信息检测部443基于内窥镜2A生成的时间上位于前后的摄像信号,对内窥镜2所拍摄的场景的运动量进行检测。
[内窥镜装置的处理]
接下来,对内窥镜装置1B所执行的处理进行说明。
图21是表示内窥镜装置1B所执行的处理的概要的流程图。在图21中,步骤S201~步骤S206与上述图13的步骤S101~步骤S106分别对应。
在步骤S207中,场景信息检测部443计算前一帧摄像信息与当前帧的摄像信息的帧间的差分,并将计算出的运动量与预先设定的阈值进行比较(步骤S207),在由场景信息检测部443判断为运动量为预先设定的阈值以上的情况下(步骤S207:是),光源驱动切换部441选择同时式作为下一帧的光源驱动方式(步骤S208)。在步骤S208之后,内窥镜装置2B转移到后述步骤S210。与此相对,在由场景信息检测部443判断为运动量不为预先设定的阈值以上的情况下(步骤S207:否),光源驱动切换部441选择面顺序式作为下一帧的光源驱动方式(步骤S209)。在步骤S209之后,内窥镜装置2B转移到后述步骤S210。
在步骤S210中,光源驱动切换部441将下一帧的光源驱动方式保存在存储部43中。在步骤S210之后,内窥镜装置2B转移到步骤S211。
在步骤S211中,在当前帧的光源驱动方式为同时式的情况下(步骤S211:是),内窥镜装置1B转移到步骤S212,在当前帧的光源驱动方式不为同时式的情况下(步骤S211:否),内窥镜装置1B转移到步骤S213。
步骤S212~步骤S214分别与上述图13的步骤S108~步骤S110对应。在步骤S214之后,内窥镜装置2B结束本处理。
根据以上说明的本发明的实施方式3,在进行白色光观察方式及窄带光观察方式的情况下,即使在使用原色像素和补色像素混合存在的摄像元件时,同时式和面顺序式也都能够生成画质优异的图像。
并且,根据本发明的实施方式3,光源驱动切换部441根据由场景信息检测部443检测出的运动量来切换光源部3A的方式,因此能够省略用户的切换操作。
另外,在本发明的实施方式3中,场景信息检测部443检测运动量,但不限于此。例如,场景信息检测部443也可以通过对内窥镜2A所生成的摄像信号进行边缘提取处理来检测边缘量。在该情况下,光源驱动切换部441在场景信息检测部443检测出的边缘量为预先设定的阈值以上的情况下,即,在内窥镜2A所拍摄的场景中运动较少的情况下,正在进行异常部位例如病变等的观察的可能性较高,所以使光源部3A执行面顺序式,而在场景信息检测部443检测出的边缘量不为预先设定的阈值以上的情况下,使光源部3A执行同时式。
此外,在本发明的实施方式3中,场景信息检测部443也可以自动检测与由内窥镜2A生成的摄像信号对应的图像中包含的异常区域。例如,在场景信息检测部443中,也可以针对与由内窥镜2A生成的摄像信号对应的图像,使用预先学习而得的异常区域的模型或模式匹配,针对与由内窥镜2A连续生成的摄像信号对应的图像,检测是否存在异常区域。在此,异常区域是指病变区域、出血区域及具有预定阈值以上的亮度或彩度的区域。光源驱动切换部441在场景信息检测部443检测到异常区域的情况下,即,在内窥镜2A拍摄的场景中移动较少的情况下,正在进行异常部位例如病变等的观察的可能性较高,所以使光源部3A执行面顺序式,而在场景信息检测部443未检测出异常区域的情况下,使光源部3A执行同时式。
此外,在本发明的实施方式3中,基于由内窥镜2A生成的摄像信号来检测内窥镜装置1A的场景,但并不限于此,也可以是,在内窥镜2A的前端部(未图示)设置加速度传感器或陀螺仪传感器等检测传感器(未图示),场景信息检测部443基于由检测传感器检测出的检测结果来检测内窥镜2A的运动量。在该情况下,光源驱动切换部441在场景信息检测部443检测出的运动量为预先设定的阈值以上的情况下,使光源部3A执行同时式,而在场景信息检测部443检测出的运动量不为预先设定的阈值以上的情况下,使光源部3A执行面顺序式。
此外,在本发明的实施方式3中,场景信息检测部443也可以检测摄像光学系统200的焦距。在摄像光学系统200能够进行2倍的放大观察的情况下,当场景信息检测部443所检测出的焦距为预先设定的阈值以上时(例如摄像光学系统200的焦距为2倍,内窥镜2A正在进行放大观察时),光源驱动切换部441使光源部3A执行同时式,而当场景信息检测部443检测出的焦距不为预先设定的阈值以上时((例如摄像光学系统200的焦距为1倍,内窥镜2正在进行通常观察时),摄像光学系统200正在进行通常放大观察的2倍),使光源部3A执行面顺序式。
并且,在本发明的实施方式3中,场景信息检测部443也可以检测处置器具的使用状况。在该情况下,在光源驱动切换部441中,当场景信息检测部443检测到处置器具的使用时,使光源部3A执行同时式,而在场景信息检测部443未检测到处理器具的使用时(摄像光学系统200正在进行通常放大观察的2倍),使光源部3A执行面顺序式。
(其它实施方式)
在上述实施方式1~3中,能够适当变更滤色镜的结构。图22是表示本发明的实施方式1~3的变形例的滤色镜的结构的一例的示意图。如图22所示,滤色镜202C根据像素Pij的配置排列配置有滤镜单元U2,该滤镜单元U2由以4×4的方式排列成二维格子状的16个滤镜构成。具体而言,滤色镜202C未配置上述滤色镜202的R滤色镜,而是配置有Mg滤色镜。如图23的曲线LMg所示,Mg像素接收蓝色波段HB的光和红色波段HG的光。
此外,在上述实施方式1~3中,也可以使光源部所照射的照明光的种类为4种以上。例如,也可以是,如图24的曲线LLEDV和曲线LLEDY所示,在光源部中进一步追加5个以上的LED,例如能够照射紫色波段的光源及能够照射黄色波段的光源。
以上,基于附图,详细说明了本申请的几个实施方式,但它们仅为例示,以发明的公开栏中记载的方案为代表,能够以基于本领域技术人员的知识而实施了各种变形、改良后的其他方式来实施本发明。
并且,在本申请的实施方式中,以软性的内窥镜装置为例进行了说明,但不限于此,即使为硬性的内窥镜装置也能够适用。当然,即使为胶囊型内窥镜装置或显微镜装置,也能够适用。
此外,上述“部(部分、模块、单元)”可以替换为“部件”或“电路”等。例如,控制部能够替换为控制部件或控制电路。
标号说明
1、1A、1B:内窥镜装置;2、2A:内窥镜;3、3A:光源部;4、4B:处理器部;5:显示部;20:摄像部;31:照明部;31a:光源;31b:光源驱动器;31c:切换滤镜;31d:驱动部;31e:驱动用驱动器;31f:聚光透镜;32:照明控制部;41:图像处理部;42:输入部;43:存储部;44、44B:控制部;200:摄像光学系统;201:摄像元件;202、202c:滤色镜;203:光导;204:照明用透镜;205:A/D转换部;206:摄像信息存储部;207:操作部;261:识别信息存储部;411:同时式图像生成部;412:面顺序式图像生成部;441:光源驱动切换部;442:图像处理控制部;443:场景信息检测部。
Claims (12)
1.一种内窥镜装置,其特征在于,包括:
光源部,其进行同时式及面顺序式中的任一方,其中,所述同时式至少同时照射波段互不相同的多个光,所述面顺序式至少单独照射波段互不相同的多个光中的每一个;
摄像元件,其通过呈二维格子状配置而成的多个像素分别受光并进行光电转换来生成摄像信号;
滤色镜,其以由多个滤镜构成的滤镜单元对应于所述多个像素的方式配置而成,其中,多个滤镜具有:至少一种原色滤镜,其分别透射红色、绿色及蓝色中的任意一个波段的光;以及补色滤镜,其透射绿色波段的光,且透射红色及蓝色中的一方的波段的光;
图像处理部,其对所述摄像信号至少进行与所述同时式或所述面顺序式对应的插值处理而生成输出图像;
光源驱动切换部,其针对所述光源部,切换为所述同时式及所述面顺序式中的任一方;以及
图像处理控制部,其基于所述光源驱动切换部所切换的结果,使所述图像处理部切换所述插值处理的方法而生成所述输出图像。
2.根据权利要求1所述的内窥镜装置,其特征在于,
所述光源部能够分别照射在蓝色波段中具有峰值强度的蓝色光及在绿色波段中具有峰值强度的绿色光,
所述光源驱动切换部在使所述光源部执行所述面顺序式的情况下,使所述光源部交替地照射所述蓝色光及所述绿色光。
3.根据权利要求1或2所述的内窥镜装置,其特征在于,
所述图像处理部具有:
同时式图像生成部,其以配置有所述补色滤镜的所述像素的所述摄像信号为引导而进行所述插值处理;以及
面顺序式图像生成部,其将配置有所述补色滤镜的所述像素的所述摄像信号视为配置有所述原色滤镜的所述像素的所述摄像信号而进行所述插值处理,
所述图像处理控制部在所述光源部正在进行所述同时式的情况下,使所述同时式图像生成部生成所述输出图像,而在所述光源部正在进行所述面顺序式的情况下,使所述面顺序式图像生成部生成所述输出图像。
4.根据权利要求1~3的任一项所述的内窥镜装置,其特征在于,
还包括输入部,该输入部接受指示所述同时式和所述面顺序式中的任一方的指示信号的输入,
所述光源驱动切换部根据所述指示信号来切换所述光源部的方式。
5.根据权利要求1~3的任一项所述的内窥镜装置,其特征在于,
还包括检测该内窥镜装置的场景的场景信息检测部,
所述光源驱动切换部基于所述场景信息检测部的结果来切换所述光源部的方式。
6.根据权利要求5所述的内窥镜装置,其特征在于,
所述场景信息检测部基于所述摄像信号来检测运动量,
所述光源驱动切换部在所述运动量为预先设定的阈值以上的情况下,使所述光源部执行所述同时式,而在所述运动量不为预先设定的阈值以上的情况下,使所述光源部执行所述面顺序式。
7.根据权利要求5所述的内窥镜装置,其特征在于,
所述场景信息检测部基于所述摄像信号来检测边缘量,
所述光源驱动切换部在所述边缘量为预先设定的阈值以上的情况下,使所述光源部执行所述面顺序式,而在所述边缘量不为预先设定的阈值以上的情况下,使所述光源部执行所述同时式。
8.根据权利要求5所述的内窥镜装置,其特征在于,
所述场景信息检测部检测与所述摄像信号对应的图像中包含的异常区域,
所述光源驱动切换部在所述场景信息检测部检测出所述异常区域的情况下,使所述光源部执行所述面顺序式,而在所述场景信息检测部未检测出所述异常区域的情况下,使所述光源部执行所述同时式。
9.根据权利要求5所述的内窥镜装置,其特征在于,还包括:
内窥镜,在该内窥镜的前端部具有所述摄像元件;以及
检测部,其被设置于所述前端部,检测所述前端部的运动,
所述场景信息检测部基于所述检测部检测出的检测结果,检测所述内窥镜的运动量,
所述光源驱动切换部在所述运动量为预先设定的阈值以上的情况下,使所述光源部执行所述同时式,而在所述运动量不为预先设定的阈值以上的情况下,使所述光源部执行所述面顺序式。
10.根据权利要求5所述的内窥镜装置,其特征在于,
还包括摄像光学系统,该摄像光学系统能够变更焦距,并使被摄体像成像于所述摄像元件的受光面,
所述场景信息检测部检测所述摄像光学系统的所述焦距,
所述光源驱动切换部在所述焦距为预先设定的阈值以上的情况下,使所述光源部执行所述同时式,而在所述焦距不为预先设定的阈值以上的情况下,使所述光源部执行所述面顺序式。
11.一种图像处理方法,执行该图像处理方法的内窥镜装置包括:
光源部,其进行同时式和面顺序式中的任一方,其中,所述同时式至少同时照射波段互不相同的多个光,所述面顺序式至少单独照射波段互不相同的多个光中的每一个;
摄像元件,其通过呈二维格子状配置而成的多个像素分别受光并进行光电转换来生成摄像信号;以及
滤色镜,其以由多个滤镜构成的滤镜单元对应于所述多个像素的方式配置而成,其中,多个滤镜具有:至少一种原色滤镜,其分别透射红色、绿色及蓝色中的任意一个波段的光;以及补色滤镜,其透射绿色波段的光,且透射红色及蓝色中的一方的波段的光,
该图像处理方法的特征在于,包含:
图像处理步骤,对所述摄像信号至少进行与所述同时式或所述面顺序式对应的插值处理,而生成并输出输出图像;
光源驱动切换步骤,针对所述光源部,在所述同时式与所述面顺序式中进行切换;以及
图像处理控制步骤,基于在所述光源驱动切换步骤中切换的结果,切换所述图像处理步骤的所述插值处理的方法而生成所述输出图像。
12.一种程序,其特征在于,使内窥镜装置执行图像处理步骤、光源驱动切换步骤、以及图像处理控制步骤,
该内窥镜装置包括:
光源部,其进行同时式和面顺序式中的任一方,其中,所述同时式至少同时照射波段互不相同的多个光,所述面顺序式至少单独照射波段互不相同的多个光中的每一个;
摄像元件,其通过呈二维格子状配置而成的多个像素分别受光并进行光电转换来生成摄像信号;以及
滤色镜,其以由多个滤镜构成的滤镜单元对应于所述多个像素的方式配置而成,其中,多个滤镜具有:至少一种原色滤镜,其分别透射红色、绿色及蓝色中的任意一个波段的光;以及补色滤镜,其透射绿色波段的光,且透射红色及蓝色中的一方的波段的光,
在所述图像处理步骤中,对所述摄像信号至少进行与所述同时式或所述面顺序式对应的插值处理而生成并输出输出图像,
在所述光源驱动切换步骤中,针对所述光源部,在所述同时式与所述面顺序式中进行切换,
在所述图像处理控制步骤中,基于在所述光源驱动切换步骤中切换的结果,切换所述图像处理步骤的所述插值处理的方法而生成所述输出图像。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/036189 WO2019069414A1 (ja) | 2017-10-04 | 2017-10-04 | 内視鏡装置、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111093459A true CN111093459A (zh) | 2020-05-01 |
Family
ID=65994471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780094903.2A Pending CN111093459A (zh) | 2017-10-04 | 2017-10-04 | 内窥镜装置、图像处理方法以及程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10980409B2 (zh) |
JP (1) | JPWO2019069414A1 (zh) |
CN (1) | CN111093459A (zh) |
WO (1) | WO2019069414A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021152704A1 (ja) * | 2020-01-28 | 2021-08-05 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム |
KR102386673B1 (ko) * | 2020-05-07 | 2022-04-18 | 고려대학교 산학협력단 | 오브젝트 검출 방법 및 장치 |
KR102378497B1 (ko) * | 2020-05-08 | 2022-03-30 | 고려대학교 산학협력단 | 오브젝트 크기 측정 방법 및 장치 |
CN111626962A (zh) * | 2020-05-27 | 2020-09-04 | 重庆邮电大学 | 一种cmos内窥镜图像增强方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101437438A (zh) * | 2006-05-08 | 2009-05-20 | 奥林巴斯医疗株式会社 | 内窥镜用图像处理装置和内窥镜装置 |
JP2009284959A (ja) * | 2008-05-27 | 2009-12-10 | Hoya Corp | 内視鏡装置 |
JP2012040169A (ja) * | 2010-08-19 | 2012-03-01 | Hoya Corp | 内視鏡システム |
CN102572272A (zh) * | 2010-12-20 | 2012-07-11 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
US20150094530A1 (en) * | 2013-09-27 | 2015-04-02 | Fujifilm Corporation | Light source apparatus, endoscope system and operating method |
US20160270642A1 (en) * | 2013-12-20 | 2016-09-22 | Olympus Corporation | Endoscope apparatus |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5925169B2 (ja) | 1983-01-20 | 1984-06-15 | 三井造船株式会社 | 鋼管水圧テスタのシ−ル方法 |
JPH0617394Y2 (ja) * | 1984-02-24 | 1994-05-02 | オリンパス光学工業株式会社 | 撮像素子を用いた内視鏡 |
JP2537172B2 (ja) * | 1984-12-27 | 1996-09-25 | 株式会社東芝 | カラ−画像入力装置 |
US20060241496A1 (en) * | 2002-01-15 | 2006-10-26 | Xillix Technologies Corp. | Filter for use with imaging endoscopes |
KR100592106B1 (ko) * | 2005-04-12 | 2006-06-21 | 엠텍비젼 주식회사 | 개별 메모리 접근 허용 방법 및 장치 |
JP5452242B2 (ja) * | 2010-01-15 | 2014-03-26 | オリンパス株式会社 | 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法 |
US8698885B2 (en) * | 2011-02-14 | 2014-04-15 | Intuitive Surgical Operations, Inc. | Methods and apparatus for demosaicing images with highly correlated color channels |
JP5687676B2 (ja) * | 2012-10-23 | 2015-03-18 | オリンパス株式会社 | 撮像装置及び画像生成方法 |
JP5738904B2 (ja) * | 2013-01-28 | 2015-06-24 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
US10210599B2 (en) * | 2013-08-09 | 2019-02-19 | Intuitive Surgical Operations, Inc. | Efficient image demosaicing and local contrast enhancement |
JP5932748B2 (ja) * | 2013-09-27 | 2016-06-08 | 富士フイルム株式会社 | 内視鏡システム |
JP6008812B2 (ja) * | 2013-09-27 | 2016-10-19 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP6196900B2 (ja) | 2013-12-18 | 2017-09-13 | オリンパス株式会社 | 内視鏡装置 |
JP5771677B2 (ja) * | 2013-12-24 | 2015-09-02 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
US10594996B2 (en) * | 2014-09-24 | 2020-03-17 | Sony Semiconductor Solutions Corporation | Image processing apparatus, image pickup device, image pickup apparatus, and image processing method |
JPWO2016084257A1 (ja) * | 2014-11-28 | 2017-10-05 | オリンパス株式会社 | 内視鏡装置 |
WO2016088269A1 (ja) | 2014-12-05 | 2016-06-09 | オリンパス株式会社 | 撮像装置、内視鏡およびカプセル型内視鏡 |
WO2016098171A1 (ja) * | 2014-12-15 | 2016-06-23 | オリンパス株式会社 | 撮像装置およびカプセル型内視鏡 |
WO2016098170A1 (ja) | 2014-12-15 | 2016-06-23 | オリンパス株式会社 | 撮像装置およびカプセル型内視鏡 |
JP6588043B2 (ja) | 2015-02-10 | 2019-10-09 | オリンパス株式会社 | 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム |
WO2016143134A1 (ja) * | 2015-03-12 | 2016-09-15 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6435278B2 (ja) * | 2015-04-08 | 2018-12-05 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
WO2017064760A1 (ja) | 2015-10-13 | 2017-04-20 | オリンパス株式会社 | 積層型撮像素子、画像処理装置、画像処理方法およびプログラム |
EP3367679A4 (en) * | 2015-10-22 | 2019-06-05 | Olympus Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM |
CN108476309A (zh) * | 2016-01-08 | 2018-08-31 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及程序 |
WO2017158692A1 (ja) | 2016-03-14 | 2017-09-21 | オリンパス株式会社 | 内視鏡装置、画像処理装置、画像処理方法およびプログラム |
WO2017183339A1 (ja) * | 2016-04-21 | 2017-10-26 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
WO2017221335A1 (ja) * | 2016-06-21 | 2017-12-28 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6743167B2 (ja) | 2016-10-21 | 2020-08-19 | オリンパス株式会社 | 内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタ |
JP6989619B2 (ja) * | 2017-12-28 | 2022-01-05 | 富士フイルム株式会社 | 内視鏡画像取得システム及び内視鏡画像取得システムの作動方法 |
-
2017
- 2017-10-04 JP JP2019546475A patent/JPWO2019069414A1/ja active Pending
- 2017-10-04 CN CN201780094903.2A patent/CN111093459A/zh active Pending
- 2017-10-04 WO PCT/JP2017/036189 patent/WO2019069414A1/ja active Application Filing
-
2020
- 2020-03-24 US US16/827,777 patent/US10980409B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101437438A (zh) * | 2006-05-08 | 2009-05-20 | 奥林巴斯医疗株式会社 | 内窥镜用图像处理装置和内窥镜装置 |
JP2009284959A (ja) * | 2008-05-27 | 2009-12-10 | Hoya Corp | 内視鏡装置 |
JP2012040169A (ja) * | 2010-08-19 | 2012-03-01 | Hoya Corp | 内視鏡システム |
CN102572272A (zh) * | 2010-12-20 | 2012-07-11 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
US20150094530A1 (en) * | 2013-09-27 | 2015-04-02 | Fujifilm Corporation | Light source apparatus, endoscope system and operating method |
US20160270642A1 (en) * | 2013-12-20 | 2016-09-22 | Olympus Corporation | Endoscope apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2019069414A1 (ja) | 2019-04-11 |
US20200221942A1 (en) | 2020-07-16 |
JPWO2019069414A1 (ja) | 2020-11-05 |
US10980409B2 (en) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5698878B2 (ja) | 内視鏡装置 | |
JP5968944B2 (ja) | 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法 | |
JP5259882B2 (ja) | 撮像装置 | |
WO2015093295A1 (ja) | 内視鏡装置 | |
JP6196900B2 (ja) | 内視鏡装置 | |
CN108778091B (zh) | 内窥镜装置、图像处理装置、图像处理方法和记录介质 | |
WO2016079831A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置 | |
CN107113405B (zh) | 图像处理装置、图像处理装置的工作方法、记录介质和内窥镜装置 | |
US10980409B2 (en) | Endoscope device, image processing method, and computer readable recording medium | |
US20170251915A1 (en) | Endoscope apparatus | |
US11571111B2 (en) | Endoscope scope, endoscope processor, and endoscope adaptor | |
WO2018142658A1 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム | |
JP6137892B2 (ja) | 撮像システム | |
CN111712177B (zh) | 图像处理装置、内窥镜系统、图像处理方法及记录介质 | |
JP6937902B2 (ja) | 内視鏡システム | |
JP2017123997A (ja) | 撮像システムおよび処理装置 | |
US20230066301A1 (en) | Medical observation system, control device, and control method | |
US20220277432A1 (en) | Medical image processing device and medical observation system | |
CN115209778A (zh) | 内窥镜系统及内窥镜系统的工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20220909 |
|
AD01 | Patent right deemed abandoned |