CN110868908A - 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法 - Google Patents
医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法 Download PDFInfo
- Publication number
- CN110868908A CN110868908A CN201880039884.8A CN201880039884A CN110868908A CN 110868908 A CN110868908 A CN 110868908A CN 201880039884 A CN201880039884 A CN 201880039884A CN 110868908 A CN110868908 A CN 110868908A
- Authority
- CN
- China
- Prior art keywords
- chroma
- range
- hue
- saturation
- emphasis process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种抑制高彩度的范围内包含的观察对象的彩度强调且扩大高彩度的范围,由此提高观察对象的可见性的医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法。作为彩度强调处理,进行第1彩度强调处理或与所述第1彩度强调处理不同的第2彩度强调处理。将第2彩度强调处理之后的高彩度范围Ry(rc)Ry(r2)设为比第1彩度强调处理之后的高彩度范围Rx(rc)Rx(r2)大。第2彩度强调处理之后的高彩度范围Ry(rc)Ry(r2)内包含的值Ry(r)比第1彩度强调处理之后的高彩度范围Rx(rc)Rx(r2)内包含的值Rx(r)小。
Description
技术领域
本发明涉及一种对拍摄被检体内的观察对象而获得的医用图像进行处理的医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法。
背景技术
近几年的医疗领域中,广泛使用具备光源装置、内窥镜、处理器装置的内窥镜系统。内窥镜系统中,从内窥镜向观察对象照射照明光,根据在该照明光下利用内窥镜的成像元件拍摄照明中的观察对象而获得的RGB图像信号,将观察对象的图像显示在显示器上。
并且,在内窥镜观察中,还根据诊断目的适当变更与观察对象的距离和照明光的发光条件等摄影条件。然而,如此变更摄影条件的操作会给用户造成负担,因此如专利文献1和专利文献2所示,还自动切换观察模式和照明光的发光条件。
此外,近年来使用内窥镜,检测萎缩性胃炎的状态至胃癌等胃的病变部。为了轻松地诊断这种萎缩性胃炎,专利文献3中进行强调正常部与萎缩性胃炎等异常部的色差的处理,从而容易掌握因萎缩性胃炎萎缩的粘膜的状态。
以往技术文献
专利文献
专利文献1:日本专利5631764号公报
专利文献2:日本专利5568489号公报
专利文献3:日本专利5647752号公报
发明内容
发明要解决的技术课题
如上所述,除了通过内窥镜检测萎缩性胃炎等胃的病变部之外,还检测大肠的病变部。作为大肠的病变部而检测到溃疡性大肠炎时,除了粘膜的炎症程度之外,位于炎症粘膜深层的深层血管的透视程度也成为重要的指标。例如,有时根据深层血管的断裂等判断有无溃疡性大肠炎。
相对于此,为了提高深层血管的可见性,如专利文献3中所示,考虑进行强调正常部与异常部的色差的处理。然而,对通过观察大肠而获得的图像直接实施专利文献3的处理时,深层血管的部分被强调为高彩度,深层血管的红色调增强。此时,深层血管的可见性变差,例如难以检测深层血管的断裂。并且,对患有溃疡性大肠炎的患者进行定期观察时,直接实施专利文献3的处理时,可能因持续查看彩度高的图像而导致眼疲劳,因此有时不适合长时间的检查。
本发明的目的在于提供一种在进行强调正常部与异常部的彩度差的处理时,抑制高彩度的范围内包含的观察对象的彩度强调并且高彩度的范围扩大,由此能够提高观察对象的可见性的医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法。
用于解决技术课题的手段
本发明的医用图像处理装置具有图像信号输入部、颜色信息获取部及彩度强调处理部。图像信号输入部输入彩色图像信号。颜色信息获取部从彩色图像信号获取多个颜色信息。彩度强调处理部在由所述多个颜色信息形成的特征空间内,至少对相对于特定的彩度边界线位于高彩度侧的高彩度范围进行彩度强调处理,从而增大作为观察对象而分布的多个观察对象范围之间的彩度差。作为彩度强调处理,彩度强调处理部进行第1彩度强调处理或与第1彩度强调处理不同的第2彩度强调处理。第2彩度强调处理之后的高彩度范围比第1彩度强调处理之后的高彩度范围大,第2彩度强调处理之后的高彩度范围内包含的值比第1彩度强调处理之后的高彩度范围内包含的值小。
优选如下:具有色相强调处理部,其在特征空间内,至少对相对于特定的色相边界线位于特定的色相方向侧的特定的色相范围进行色相强调处理,从而增大作为观察对象而分布的多个观察对象范围之间的色相差,作为色相强调处理,色相强调处理部进行第1色相强调处理或相比第1色相强调处理增大色相差的第2色相强调处理。
优选具有模式控制部,其进行从实施了第1彩度强调处理的彩色图像信号获得第1彩度强调图像的第1模式与从实施了第2彩度强调处理的彩色图像信号获得第2彩度强调图像的第2模式之间的切换。
优选模式控制部根据将观察对象的状态进行数值化后的观察对象信息,自动进行第1模式与第2模式的切换。优选观察对象信息与根据多个观察对象范围中的任一个观察对象范围的颜色信息获得的值相对应。优选观察对象信息与根据相对于特定的色相边界线的多个观察对象范围中的任一个观察对象范围的坐标的角度而获得的值相对应。
优选观察对象信息与根据多个观察对象范围中的2个观察对象范围之间的距离获得的值相对应。优选观察对象信息为表示彩色图像信号的像素中多个观察对象范围中的任一个观察对象范围的像素所占的比率的面积比。优选观察对象信息为将观察对象的炎症状态进行数值化后的炎症程度。优选彩色图像信号通过对用包括紫色光的照明光照明的观察对象进行拍摄而获得。
本发明的内窥镜系统具有上述所记载的本发明的医用图像处理装置及显示部。显示部显示从实施了第1彩度强调处理的彩色图像信号获得的第1彩度强调图像、从实施了第2彩度强调处理的彩色图像信号获得的第2彩度强调图像、或从未实施第1彩度强调处理及第2彩度强调处理中的任一种的彩色图像信号获得的正常图像中的至少任一种图像。
本发明的医用图像处理装置的工作方法具有图像信号输入步骤、颜色信息获取步骤及彩度强调处理步骤。图像信号输入步骤中,对图像信号输入部输入彩色图像信号。颜色信息获取步骤中,颜色信息获取部从彩色图像信号获取多个颜色信息。彩度强调处理步骤中,彩度强调处理部在由多个颜色信息形成的特征空间内,至少对相对于特定的彩度边界线位于高彩度侧的高彩度范围进行彩度强调处理,从而增大作为观察对象而分布的多个观察对象范围之间的彩度差。彩度强调处理步骤中,作为彩度强调处理进行第1彩度强调处理或与第1彩度强调处理不同的第2彩度强调处理。将第2彩度强调处理之后的高彩度范围设为比第1彩度强调处理之后的高彩度范围大,第2彩度强调处理之后的高彩度范围内包含的值比第1彩度强调处理之后的高彩度范围内包含的值小。
发明效果
根据本发明,在进行强调正常部与异常部的彩度差的处理时,抑制高彩度的范围内包含的观察对象的彩度强调并且高彩度的范围扩大,由此能够提高观察对象的可见性。
附图说明
图1为第1实施方式的内窥镜系统的外观图。
图2为表示第1实施方式的内窥镜系统的功能的框图。
图3为表示紫色光V、蓝色光B、绿色光G及红色光R的发光光谱的曲线图。
图4为表示特征空间为信号比空间时使用的特殊图像处理部的功能的框图。
图5为表示信号比空间内分布的正常粘膜、萎缩粘膜、深层血管、BA及发红的范围的说明图。
图6为表示距离Ln、距离Lnp、矢量Vnr及区域Ax的说明图。
图7为表示矢径变更范围Rm的说明图。
图8为表示矢径r与第1彩度强调处理之后的矢径Rx(r)的关系的曲线图。
图9为表示矢径r与第2彩度强调处理之后的矢径Ry(r)的关系的曲线图。
图10为表示角度变更范围Rn的说明图。
图11为表示角度θ与第1色相强调处理之后的角度Fx(θ)的关系的曲线图。
图12为表示角度θ与第2色调处理之后的角度Fy(θ)的关系的曲线图。
图13为表示信号比空间内的第1彩度强调处理及第1色相强调处理前后的正常粘膜、萎缩粘膜、深层血管、BA及发红的分布的说明图。
图14为表示信号比空间内的第1、第2彩度强调处理及第1、第2色相强调处理前后的正常粘膜、萎缩粘膜、深层血管、BA及发红的分布的说明图。
图15为表示ab空间内的彩度强调处理及色相强调处理前后的正常粘膜、萎缩粘膜、深层血管、BA及发红的分布的说明图。
图16为表示特殊观察模式的流程的流程图。
图17为表示设定菜单画面的说明图。
图18为表示炎症评价图像及面积比的显示器的图像图。
图19为表示显示于2个画面的UC筛选图像和正常图像及面积比的显示器的图像图。
图20为表示特征空间为CrCb空间时使用的特殊图像处理部的功能的框图。
图21为表示CrCb空间内分布的正常粘膜、萎缩粘膜、深层血管、BA及发红的范围的说明图。
图22为表示CrCb空间内的第1彩度强调处理及第1色相强调处理前后的正常粘膜、萎缩粘膜、深层血管、BA及发红的分布的说明图。
图23为表示CrCb空间内的第1、第2彩度强调处理及第1、第2色相强调处理前后的正常粘膜、萎缩粘膜、深层血管、BA及发红的分布的说明图。
图24为表示特征空间为HS空间时使用的特殊图像处理部的功能的框图。
图25为表示HS空间内分布的正常粘膜、萎缩粘膜、深层血管、BA及发红的范围的说明图。
图26为表示HS空间内的第1彩度强调处理及第1色相强调处理前后的正常粘膜、萎缩粘膜、深层血管、BA及发红的分布的说明图。
图27为表示HS空间内的第1、第2彩度强调处理及第1、第2色相强调处理前后的正常粘膜、萎缩粘膜、深层血管、BA及发红的分布的说明图。
图28为表示第2实施方式的内窥镜系统的功能的框图。
图29为表示白色光的发光光谱的曲线图。
图30为表示特殊光的发光光谱的曲线图。
图31为表示第3实施方式的内窥镜系统的功能的框图。
图32为表示旋转滤光器的俯视图。
图33为表示第4实施方式的胶囊内窥镜系统的功能的图。
图34为表示与图3不同的紫色光V、蓝色光B、绿色光G及红色光R的发光光谱的曲线图。
图35为表示使用二维LUT时的特殊图像处理部的功能的框图。
具体实施方式
[第1实施方式]
如图1所示第1实施方式的内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18及控制台(键盘)19。内窥镜12与光源装置14光学连接,并且与处理器装置16电连接。内窥镜12具有插入于被检体内的插入部12a、设置于插入部12a的基端部分的操作部12b、设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过操作部12b对弯角钮12e的操作,弯曲部12c进行弯曲动作。随着该弯曲动作,前端部12d朝向所期望的方向。
并且,操作部12b上除了弯角钮12e之外还设置有模式切换SW13a。模式切换SW13a用于通常观察模式与特殊观察模式的切换操作。特殊观察模式为将特殊图像显示于显示器18上的模式。另外,作为用于切换模式的模式切换部,除了模式切换SW13a之外,可以使用脚踏开关。
作为特殊图像,包括经彩度强调的图像即适于大肠的炎症评价的炎症评价图像、相比炎症评价图像抑制了彩度强调的图像即适于溃疡性大肠炎(UC(Ulcerative Colitis)的筛选的UC筛选图像、未进行如炎症评价图像和UC筛选图像那样的特别的彩度强调的正常图像这三种。设定为特殊观察模式时,通过模式控制部85在将炎症评价图像显示于显示器18的炎症评价模式与将UC筛选图像显示于显示器18的UC筛选模式之间进行自动切换。另外,在设定为特殊观察模式时,正常图像通过操作模式切换SW13a而切换为正常模式而显示于显示器18。
处理器装置16与显示器18及控制台19电连接。显示器18输出显示图像信息等。控制台19发挥接受功能设定等输入操作的UI(User Interface:用户接口)的功能。另外,在处理器装置16上也可以连接记录图像信息等的外置记录部(省略图示)。
如图2所示,光源装置14具备:光源控制部21,控制V-LED(Violet Light EmittingDiode:紫色发光二极管)20a、B-LED(Blue Light Emitting Diode:蓝色发光二极管)20b、G-LED(Green Light Emitting Diode:绿色发光二极管)20c、R-LED(Red Light EmittingDiode:红色发光二极管)20d这4种颜色的LED20a~20d的驱动;及光路耦合部23,耦合从4种颜色的LED20a~20d发出的4种颜色的光的光路。通过光路耦合部23耦合的光经由插通于插入部12a内的光导41及照明透镜45照射到被检体内。另外,也可以代替LED使用LD(LaserDiode:激光二极管)。
如图3所示,V-LED20a发出中心波长405±10nm、波长范围380~420nm的紫色光V。B-LED20b发出中心波长460±10nm、波长范围420~500nm的蓝色光B。G-LED20c发出波长范围遍及480~600nm的绿色光G。R-LED20d发出中心波长620~630nm且波长范围遍及600~650nm的红色光R。
光源控制部21在通常观察模式及特殊观察模式中的任一种观察模式下点亮V-LED20a、B-LED20b、G-LED20c及R-LED20d。因此,紫色光V、蓝色光B、绿色光G及红色光R这4种颜色的光的颜色混在一起的光照射到观察对象。并且,为通常观察模式时,光源控制部21以紫色光V、蓝色光B、绿色光G及红色光R之间的光量比成为Vc∶Bc∶Gc∶Rc的方式控制各LED20a~20d。另一方面,为特殊观察模式时,光源控制部21以紫色光V、蓝色光B、绿色光G及红色光R之间的光量比成为Vs∶Bs∶Gs∶Rs的方式控制各LED20a~20d.
如图2所示,光导41内置于内窥镜12及通用塞绳(连接内窥镜12与光源装置14及处理器装置16的塞绳)内,且将通过光路耦合部23耦合的光传播至内窥镜12的前端部12d。另外,作为光导41能够使用多模光纤。作为一例能够使用纤芯直径105μm、包层直径125μm、包括成为外皮的保护层在内的直径为φ0.3~0.5mm的细径的光缆。
在内窥镜12的前端部12d设置有照明光学系统30a和摄像光学系统30b。照明光学系统30a具有照明透镜45,来自光导41的光经由该照明透镜45照射到观察对象。摄像光学系统30b具有物镜46及摄像传感器48。来自观察对象的反射光经由物镜46入射到摄像传感器48。由此,观察对象的反射像成像于摄像传感器48。
摄像传感器48为彩色的摄像传感器,拍摄被检体的反射像并输出图像信号。该摄像传感器48优选为CCD(Charge Coupled Device:电荷耦合器件)摄像传感器或CMOS(Complementary Metal-Oxide Semiconductor:互补金属氧化物半导体)摄像传感器等。在本发明中使用的摄像传感器48为用于获得R(红)、G(绿)及B(蓝)这3种颜色的RGB图像信号的彩色的摄像传感器,即为具备设置有R滤色器的R像素、设置有G滤色器的G像素、设置有B滤色器的B像素的所谓RGB摄像传感器。
另外,作为摄像传感器48可以是具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤色器的所谓补色摄像传感器来代替RGB的彩色的摄像传感器。使用补色摄像传感器时,输出CMYG这4种颜色的图像信号,因此需要通过补色-原色颜色转换来将CMYG这4种颜色的图像信号转换成RGB这3种颜色的图像信号。并且,摄像传感器48可以是未设置滤色器的单色摄像传感器。此时,光源控制部21需要分时段点亮蓝色光B、绿色光G及红色光R,并在摄像信号的处理中施加同步处理。
从摄像传感器48输出的图像信号发送至CDS/AGC电路50。CDS/AGC电路50对模拟信号即图像信号进行相关双采样(CDS(Correlated Double Sampling))和自动增益控制(AGC(Auto Gain Control))。经过CDS/AGC电路50的图像信号通过A/D转换器(A/D(Analog/Digital:模拟/数字)Converter)52被转换成数字图像信号。经A/D转换的数字图像信号被输入到处理器装置16。
处理器装置16与利用内窥镜12对所获得的图像等医用图像进行处理的医用图像处理装置相对应。该处理器装置16具备图像信号输入部53、DSP(Digital SignalProcessor:数字信号处理器)56、噪声去除部58、信号切换部60、通常图像处理部62、特殊图像处理部64及视频信号生成部66。在图像信号输入部53中输入来自内窥镜12的数字彩色图像信号。彩色图像信号为由从摄像传感器48的R像素输出的R图像信号、从摄像传感器48的G像素输出的G图像信号及从摄像传感器48的B像素输出的B图像信号构成的RGB图像信号。
DSP56对接收到的图像信号实施缺陷校正处理、偏移处理、增益校正处理、线性矩阵处理、伽马转换处理或去马赛克处理等各种信号处理。在缺陷校正处理中,摄像传感器48的缺陷像素的信号得到校正。在偏移处理中,从已实施缺陷校正处理的RGB图像信号中去除暗电流成分,并设定准确的零电位。在增益校正处理中,在偏移处理后的RGB图像信号上乘以特定的增益,从而调整信号电平。在增益校正处理后的RGB图像信号上实施用于提高颜色再现性的线性矩阵处理。之后,通过伽马转换处理调整亮度和彩度。在线性矩阵处理后的RGB图像信号上实施去马赛克处理(也称为各向同性处理、同步处理),从而在各像素中不足的颜色的信号通过插值而生成。通过该去马赛克处理,使得所有像素都具有RGB各种颜色的信号。
噪声去除部58对已被DSP56实施伽马校正等的RGB图像信号实施噪声去除处理(例如移动平均法、中值滤波法等),由此从RGB图像信号中去除噪声。去除噪声的RGB图像信号被发送至信号切换部60。
信号切换部60在通过模式切换SW13a被设定为通常观察模式时,将RGB图像信号发送至通常图像处理部62,被设定为特殊观察模式时,将RGB图像信号发送至特殊图像处理部64。
通常图像处理部62对RGB图像信号实施通常图像用的图像处理。通常图像用的图像处理中包括通常图像用的结构强调处理等。实施通常图像用的图像处理的RGB图像信号作为通常图像从通常图像处理部62输入到视频信号生成部66。
特殊图像处理部64根据RGB的图像信号,作为特殊图像生成经彩度强调的图像即适于大肠的炎症评价的炎症评价图像、相比炎症评价图像抑制了彩度强调的图像即适于溃疡性大肠炎的筛选的UC筛选图像、未进行如炎症评价图像和UC筛选图像的特别的彩度强调的正常图像。关于特殊图像处理部64,详细进行后述。在该特殊图像处理部64生成的特殊图像被输入到视频信号生成部66。
视频信号生成部66将从通常图像处理部62或特殊图像处理部64输入的通常图像或特殊图像转换为用于作为能够在显示器18显示的图像而显示的视频信号。根据该视频信号,显示器18显示通常图像、特殊图像。
如图4所示,特殊图像处理部64具备逆伽马转换部70、Log转换部71、信号比计算部72、数值化处理部73、图像处理切换部74、极坐标转换部75、彩度强调处理部76、色相强调处理部77、正交坐标转换部78、RGB转换部79、亮度调整部81、结构强调部82、逆Log转换部83及伽马转换部84。并且,在特殊图像处理部64设置有控制图像处理切换部74并且控制彩度强调处理部76及色相强调处理部77的模式控制部85。
另外,特殊图像处理部64中,设定为炎症评价模式(第1模式)时,通过彩度强调处理部76进行第1彩度强调处理,并且通过色相强调处理部77进行第1色相强调处理,从而生成炎症评价图像(第1彩度强调图像)。并且,设定为UC筛选模式(第2模式)时,通过彩度强调处理部76进行第2彩度强调处理,并且通过色相强调处理部77进行第2色相强调处理,从而生成UC筛选图像(第2彩度强调图像)。另一方面,设定为正常模式(第3模式)时,不通过彩度强调处理部76进行彩度强调处理,并且不通过色相强调处理部77进行色相强调处理而生成正常图像。
逆伽马转换部70对所输入的RGB3通道的数字图像信号实施逆伽马转换。经过该逆伽马转换后的RGB图像信号为相对于从被检体反射的反射率为线性的反射率线性RGB信号,因此RGB图像信号中与被检体的各种生物信息相关的信号所占的比例较多。另外,将反射率线性R图像信号设为第1R图像信号,将反射率线性G图像信号设为第1G图像信号,将反射率线性B图像信号设为第1B图像信号。这些第1R图像信号、第1G图像信号及第1B图像信号统称为第1RGB图像信号。
Log转换部71将反射率线性RGB图像信号分别进行Log转换。由此,可获得Log转换完毕的R图像信号(logR)、Log转换完毕的G图像信号(logG)及Log转换完毕的B图像信号(logB)。信号比计算部72(与本发明的“颜色信息获取部”相对应)根据Log转换完毕的G图像信号和B图像信号进行差分处理(logG-logB=logG/B=-log(B/G)),从而计算B/G比(将-log(B/G)中省略了“-log”的值标记为“B/G比”)。并且,根据Log转换完毕的R图像信号和G图像信号进行差分处理(logR-logG=logR/G=-log(G/R)),从而计算G/R比。关于G/R比,与B/G比相同,表示省略了-log(G/R)中的“-log”的值。
另外,每个像素的B/G比及G/R比根据B图像信号、G图像信号及R图像信号中位于相同的位置的像素的像素值来求出。并且,求出每个像素的B/G比及G/R比。并且,B/G比与血管深度(从粘膜表面到特定的血管所在的位置为止的距离)具有相关性,因此若血管深度不同,则B/G比也随之变动。并且,G/R比与血液量(血红蛋白指数)具有相关性,因此若血液量具有变动,则G/R比也随之变动。
数值化处理部73根据通过信号比计算部72求出的B/G比及G/R比,进行将大肠等观察对象的炎症状态数值化的数值化处理。通过该数值化处理获得的值发送至模式控制部85。模式控制部85根据通过数值化处理获得的值,进行图像处理切换部74、彩度强调处理部76及色相强调处理部77的控制。另外,关于数值化处理部73及模式控制部85,详细进行后述。
极坐标转换部75将由信号比计算部72求出的B/G比及G/R比转换成矢径r和角度θ。在该极坐标转换部75中,对所有像素进行向矢径r和角度θ的转换。彩度强调处理部76进行通过对矢径r进行扩展或压缩来增大观察对象内包含的多个观察对象范围之间的彩度差的彩度强调处理。通过彩度强调处理部76进行的彩度强调处理中包括设定为炎症评价模式时进行的第1彩度强调处理及设定为UC筛选模式时进行的第2彩度强调处理。第2彩度强调处理相比第1彩度强调处理,彩度的强调度更低。另外,关于彩度强调处理部76,详细进行后述。
色相强调处理部77进行通过扩展或压缩角度θ来增大多个观察对象范围之间的色相差的色相强调处理。通过色相强调处理部77进行的色相强调处理中包括设定为炎症评价模式时进行的第1色相强调处理及设定为UC筛选模式时进行的第2色相强调处理。第2色相强调处理相比第1色相强调处理,色相的强调度更高。另外,关于色相强调处理部77,详细进行后述。
通过正交坐标转换部78将彩度强调处理及色相强调处理完毕的矢径r及角度θ转换为正交坐标。由此,转换成角度扩展/压缩完毕的B/G比及G/R比。通过RGB转换部79,利用第1RGB图像信号中的任1个图像信号将彩度强调处理及色相强调处理完毕的B/G比及G/R比转换为第2RGB图像信号。例如,RGB转换部79根据第1RGB图像信号中的第1G图像信号和B/G比进行运算,从而将B/G比转换成第2B图像信号。并且,RGB转换部79根据第1RGB图像信号中的第1G图像信号和G/R比进行运算,从而将G/R比转换成第2R图像信号。并且,RGB转换部79对第1G图像信号不实施特别的转换而作为第2G图像信号输出。这些第2R图像信号、第2G图像信号及第2B图像信号统称为第2RGB图像信号。
亮度调整部81利用第1RGB图像信号和第2RGB图像信号调整第2RGB图像信号的像素值。亮度调整部81中调整第2RGB图像信号的像素值的理由如下。通过利用彩度强调处理部76及色相强调处理部77对颜色区域进行扩展/压缩的处理而获得的第2RGB图像信号的亮度有可能与第1RGB图像信号的亮度相比大幅发生变化。因此,通过亮度调整部81调整第2RQB图像信号的像素值,从而使亮度调整后的第2RGB图像信号与第1RGB图像信号的亮度相同。
亮度调整部81具备:第1亮度信息计算部81a,根据第1RGB图像信号求出第1亮度信息Yin;及第2亮度信息计算部81b,根据第2RGB图像信号求出第2亮度信息Your。第1亮度信息计算部81a按照“kr×第1R图像信号的像素值+kg×第1G图像信号的像素值+kb×第1B图像信号的像素值”的运算式,计算第1亮度信息Yin。第2亮度信息计算部81b中,也与第1亮度信息计算部81a同样按照与上述相同的运算式计算第2亮度信息Yout。若求出第1亮度信息Yin和第2亮度信息Yout,则亮度调整部81通过根据下式(E1)~(E3)进行的运算,调整第2RGB图像信号的像素值。
(E1):R*=第2R图像信号的像素值×Yin/Yout
(E2):G*=第2G图像信号的像素值×Yin/Yout
(E3):B*=第2B图像信号的像素值×Yin/Yout
另外,“R*”表示亮度调整后的第2R图像信号,“G*”表示亮度调整后的第2G图像信号,“B*”表示亮度调整后的第2B图像信号。并且,“kr”、“kg”及“kb”为“0”~“1”范围内的任意常数。
通过结构强调部82对经过RGB转换部79的第2RGB图像信号实施结构强调处理。作为结构强调处理,利用频率滤波等。逆Log转换部83对经过结构强调部82的第2RGB图像信号实施逆Log转换。由此,可获得具有真数的像素值的第2RGB图像信号。伽马转换部84对经过逆Log转换部83的RGB图像信号实施伽马转换。由此,可获得具有适于显示器18等输出设备的灰度的第2RGB图像信号。经过伽马转换部84的第2RGB图像信号发送至视频信号生成部66。
如图5所示,通过彩度强调处理部76及色相强调处理部77,增大作为观察对象所包含的多个观察对象范围而包含正常粘膜的第1范围、包含萎缩粘膜的第2范围、包含萎缩粘膜下的深层血管(以下,简称为深层血管)的第3范围、包含BA(Brownish Area)的第4范围、包含发红的第5范围之间的彩度差或色相差。在由B/G比、G/R比形成的信号比空间(特征空间)的第一象限,正常粘膜的第1范围大致分布于中央。萎缩粘膜的第2范围相对于通过正常粘膜的第1范围的基准线SL略微位于顺时针方向侧(后述负方向侧),并且相比正常粘膜的第1范围分布于更靠近原点的位置。深层血管的第3范围相对于基准线SL分布于顺时针方向侧(后述负方向侧)。BA的第4范围相对于基准线SL略分布于逆时针方向侧(后述正方向侧)。发红的第5范围相对于基准线SL分布于顺时针方向侧(后述负方向侧)。BA的第4范围及发红的第5范围相比正常粘膜的第1范围位于离原点更远的位置。另外,优选正常粘膜包含在观察对象的正常部内,萎缩粘膜、深层血管、BA及发红包含在观察对象的异常部内。并且,基准线SL与后述色相基准线SLh相对应。
数值化处理部73根据通过信号比计算部72求出的B/G比及G/R比,计算将观察对象的状态数值化的观察对象信息。具体而言,作为观察对象信息计算将观察对象的炎症状态数值化的炎症程度。所计算的炎症程度发送至模式控制部85。模式控制部85在炎症程度满足低于阈值等与炎症程度相关的特定的条件时,自动切换为炎症评价模式。切换为炎症模式评价模式时,模式控制部85控制图像处理切换部74以将B/G比及G/R比发送至彩度强调处理部76及色相强调处理部77侧。
另一方面,模式控制部85在炎症程度满足超过阈值等与炎症程度相关的特定的条件时,自动切换为UC筛选模式。之后,在切换为UC筛选模式时,模式控制部85也控制图像处理切换部74以将B/G比及G/R比发送至彩度强调处理部76及色相强调处理部77侧。另外,设定为正常模式时,模式控制部85控制图像处理切换部74以将B/G比及G/R比不经由彩度强调处理部76及色相强调处理部77而发送至RGB转换部79。
作为通过数值化处理部73计算的炎症程度,优选计算1个画面的整体像素中炎症区域内包含的像素所占的面积比。优选炎症区域内包含发红的第5范围。面积比的计算中优选对炎症区域内包含的像素进行计数并将合计这些的炎症区域的总像素除以1个画面整体的像素而获得。另外,1个画面内的像素是指1帧的RGB图像信号所具有的像素整体。
另外,作为炎症程度,除了面积比之外,还可以使用将从1个画面内获得的数值信息平均化的值。例如,作为从1个画面内获得的数值信息,有与在信号比空间分布的像素相对应的纵轴B/G比或横轴G/R比的值,可以将这些纵轴B/G比或横轴G/R比的值的平均值作为炎症程度。此时,纵轴B/G比或横轴G/R比的值的平均值越接近表示预先确定的炎症区域的代表值,炎症程度越高。另外,如后述,若为ab空间时,则作为炎症程度可以设为横轴a*或纵轴b*的值的平均值。并且,若为CrCb空间时,则作为炎症程度可以设为横轴Cr或纵轴Cb的值的平均值。并且,若为HS空间时,则作为炎症程度可以设为横轴H或纵轴S的值的平均值。
并且,若特征空间为信号比空间、ab空间及CrCb空间时,则作为从1个画面内获得的数值信息,有与在特征空间分布的像素相对应的角度θ,优选将该角度θ的平均值设为炎症程度。此时,角度θ的平均值越接近表示预先确定的炎症区域的代表值,炎症程度越高。并且,优选在特征空间内作为从1个画面内获得的数值信息,有与正常粘膜的第1范围的距离或与发红的第5范围的距离,并将这些距离的平均值设为炎症程度。与正常粘膜的第1范围的距离越大,炎症程度越大。并且,与发红的第5范围的距离越小,炎症程度越小。另外,关于与正常粘膜的第1范围的距离,如图6所示,以特定的像素Pt与正常粘膜的第1范围内包含的规定像素的距离Ln表示。
并且,关于与正常粘膜的第1范围的距离,优选设为在特征空间内投影到连结正常粘膜的第1范围与发红的第5范围的矢量Vnr时的距离。例如,将特定的像素Pt投影到矢量Vnr时,与正常粘膜的第1范围的距离成为Lnp。
另外,作为炎症程度,除了使用将从1个画面内获得的数值信息平均化的值之外,还可以设为基于从1个画面内获得的数值信息的直方图的中央值。并且,作为炎症程度,可以使用将1个画面中画面中央的100像素×100像素的特定像素区域内包含的数值信息平均化的值。并且,测定特定位置的炎症程度时,优选使用日本特开2009-226095的图6等中所示的位置指定机构。该日本特开2009-226095中,将多个矩形区域(例如9个)重叠显示于画面上,并使欲测定炎症程度的测定对象部分进入这些矩形区域中的中心的矩形区域。之后,测定对象部分进入中心的矩形区域时,操作控制台19等,从而对测定对象部分的炎症程度进行测定。并且,作为炎症程度,使用将从1个画面内获得的数值信息平均化的值时,可以将区域Ax(参考图6)内包含的像素的数值信息除外而进行平均化处理。通过进行这种平均化处理,例如能够去除残渣和深层血管等炎症程度的计算中不必要的部位,因此能够准确地计算粘膜的炎症程度。
如图7所示,通过彩度强调处理部76变更信号比空间内位于矢径变更范围Rm内的坐标所表示的矢径r,另一方面,对于矢径变更范围Rx外的坐标不进行矢径r的变更。关于矢径变更范围Rm,矢径r在“r1”至“r2”的范围内(r1<r2)。并且,矢径变更范围Rm内,在位于矢径r1与矢径r2之间的矢径rc上设定有彩度基准线SLs。在此,矢径r越大彩度越高,因此矢径r比彩度基准线SLs所表示的矢径rc小的范围rcr1(r1<r<rc)成为低彩度范围。另一方面,矢径r比彩度基准线SLs所表示的矢径rc大的范围rcr2(rc<r<r2)成为高彩度范围。
设定为炎症评价模式时,通过彩度强调处理部76进行第1彩度强调处理。如图8所示,第1彩度强调处理相对于矢径变更范围Rm内包含的坐标的矢径r的输入而输出矢径Rx(r)。通过该第1彩度强调处理进行的输入/输出的关系用实线表示。第1彩度强调处理中,在低彩度范围rcr1内将输出Rx(r)设为比输入r小,另一方面在高彩度范围rcr2内将输出Rx(r)设为比输入r大。并且,Rx(rc)中的斜率Kx设定为“1”以上。由此,能够进一步降低低彩度范围内包含的观察对象的彩度,另一方面,能够进一步提高高彩度范围内包含的观察对象的彩度。通过这种彩度强调,能够增大多个观察对象范围之间的彩度差。
设定为UC筛选模式时,通过彩度强调处理部76进行第2彩度强调处理。如图9所示,第2彩度强调处理相对于矢径变更范围Rm内包含的坐标的矢径r的输入而输出矢径Ry(r)。通过该第2彩度强调处理进行的输入/输出的关系用实线表示。第2彩度强调处理在低彩度范围rcr1内将输出Ry(r)设为比输入r小。相对于此,在高彩度范围rcr2内,在接近矢径rc的低彩度侧将输出Ry(r)设为比输入r小,另一方面在远离矢径rc的高彩度侧将输出Rx(r)设为比输入r大。并且,Ry(rc)中的斜率Ky设定为“1”以上。
由此,能够进一步降低低彩度范围rcr1与高彩度范围rcr2内的低彩度侧内包含的观察对象的彩度,另一方面,能够进一步提高高彩度范围rcr2的高彩度侧内包含的观察对象的彩度。通过这种彩度强调,能够增大位于低彩度范围rcr1和高彩度范围rcr2的低彩度侧的观察对象与高彩度范围rcr2的高彩度侧的观察对象之间的彩度差。
但是,第2彩度强调处理中,为了提高深层血管的可见性,相比第1彩度强调处理抑制了高彩度范围rcr2内的彩度强调。因此,将第2彩度强调处理之后的高彩度范围Ry(rc)Ry(r2)设为比第1彩度强调处理之后的高彩度范围Rx(rc)Rx(r2)大。在此,通过第1彩度强调处理进行的输入/输出的关系用虚线表示。而且,将第2彩度强调处理之后的高彩度范围Ry(rc)Ry(r2)内包含的值Ry(r)设为比第1彩度强调处理之后的高彩度范围Rx(rc)Rx(r2)内包含的值Rx(r)小。由此,高彩度范围rcr2内的彩度强调被抑制,且提高深层血管的可见性,因此能够提高溃疡性大肠炎等大肠的诊断精确度。
如图10所示,通过色相强调处理部77变更在信号比空间内位于角度变更范围Rn内的坐标所表示的角度θ,另一方面,对于角度变更范围Rn外的坐标不进行角度θ的变更。角度变更范围Rn由从色相基准线SLh逆时针方向(正方向)的角度θ1的范围和从色相基准线SLh顺时针方向(负方向)的角度θ2的范围构成。角度变更范围Rn内包含的坐标的角度θ被重新定义为与色相基准线SLh所呈的角度θ。若角度θ发生变化,则色相也发生变化,因此角度变更范围Rn中将角度θ1的范围作为正侧的色相范围θ1,将角度θ2的范围作为负侧的色相范围θ2。
设定为炎症评价模式时,通过色相强调处理部77进行第1色相强调处理。如图11所示,第1色相强调处理相对于角度变更范围Rn内包含的坐标的角度θ的输入而输出角度Fx(θ)。通过该第1色相强调处理进行的输入/输出的关系用实线表示。第1色相强调处理中,在负侧的色相范围θ2内将输出Fx(θ)设为比输入θ小,另一方面,在正侧的色相范围θ1内将输出Fx(θ)设为比输入θ大。由此,能够增大负侧的色相范围内包含的观察对象与正侧的色相范围内包含的观察对象的色相差异。通过这种色相强调,能够增大多个观察对象范围之间的色相差。
设定为UC筛选模式时,通过色相强调处理部77进行第2色相强调处理。如图12所示,第2色相强调处理相对于角度变更范围Rn内包含的坐标的角度θ的输入而输出角度Fy(θ)。通过该第2色相强调处理进行的输入/输出的关系用实线表示。第2色相强调处理中,在负侧的色相范围θ2内将输出Fx(θ)设为比输入θ小,另一方面,在正侧的色相范围θ1内将输出Fx(θ)设为比输入θ大。由此,能够增大负侧的色相范围内包含的观察对象与正侧的色相范围内包含的观察对象的色相差异。通过这种色相强调,能够增大多个观察对象范围之间的色相差。
但是,第2色相强调处理中,为了提高深层血管的可见性,将包含深层血管的第3范围的负侧(特定的色相方向侧)的色相范围θ2(特定的色相范围)的色相强调设为比第1色相强调处理强烈。因此,将第2色相强调处理之后的负侧的色相范围Fy(θ)内包含的角度θ设为比第1色相强调处理之后的负侧的色相范围Fx(θ)内包含的角度θ小。在此,通过第1色相强调处理进行的输入/输出的关系用虚线表示。如此,通过负侧的色相范围θ内色相强调被加强,能够扩大深层血管的第3范围与其他观察对象范围的色相差。由此,提高深层血管的可见性,因此能够提高溃疡性大肠炎等大肠的诊断精确度。
如上所述,进行第1彩度强调处理及第1色相强调处理,从而如图13所示,第1彩度强调处理及第1色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜1)相比第1彩度强调处理及第1色相强调处理之前的萎缩粘膜的第2范围(虚线),与正常粘膜的第1范围的差变大。同样,第1彩度强调处理及第1色相强调处理之后的深层血管(深层血管1)、BA的第4范围(BA1)及发红的第5范围(发红1)相比第1彩度强调处理及第1色相强调处理之前的深层血管(虚线)、BA的第4范围(虚线)及发红的第5范围(虚线),与正常粘膜的第1范围的差变大。
并且,进行了第2彩度强调处理及第2色相强调处理时,如图14所示,正常粘膜的第1范围(正常粘膜2)与深层血管的第3范围(深层血管2)、BA的第4范围(BA2)及发红的第5范围(发红2)的差变大。但是,第2彩度强调处理及第2色相强调处理之后的正常粘膜的第1范围(正常粘膜2)相比第2彩度强调处理及第2色相强调处理之前的正常粘膜的第1范围(正常粘膜),彩度变低。并且,萎缩粘膜的第2范围(萎缩粘膜2)的彩度也相应地变低。
此外,第2彩度强调处理及第2色相强调处理之后的深层血管的第3范围(深层血管2)相比第1彩度强调处理及第1色相强调处理之后的深层血管的第3范围(深层血管1),彩度变低。同样,第2彩度强调处理及第2色相强调处理之后的BA的第4范围(BA2)及发红的第5范围(发红2)相比第1彩度强调处理及第1色相强调处理之后的BA的第4范围(BA1)及发红的第5范围(发红1),彩度变低。
并且,第2彩度强调处理及第2色相强调处理之后的深层血管的第3范围(深层血管2)及发红的第5范围(发红2)相比第1彩度强调处理及第1色相强调处理之后的深层血管的第3范围(深层血管1)及发红的第5范围(发红1),与正常粘膜的第1范围(正常粘膜2)的色相差变大。另外,第2彩度强调处理及第2色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜2)相比第1彩度强调处理及第1色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜1),彩度稍微变低。图14中,关于与正常粘膜的第1范围(正常粘膜2)的色相差,越是沿半径方向远离通过正常粘膜的第1范围(正常粘膜2)的基准线SL,则与正常粘膜的第1范围(正常粘膜2)的色相差越大。
另外,为由通过Lab转换部将第1RGB图像信号进行Lab转换而获得的a*、b*(表示颜色信息即CIE Lab空间的色调的要素a*、b*。下同)形成的特征空间(ab空间)时,如图15所示,关于正常粘膜的第1范围、萎缩粘膜的第2范围、深层血管的第3范围、BA的第4范围及发红的第5范围,也与信号比空间相同地分布。之后,以与上述相同的方法进行扩展或压缩矢径r的彩度强调处理,并且进行扩展或压缩角度θ的色相强调处理。作为彩度强调处理,进行第1彩度强调处理或第2彩度强调处理,作为色相强调处理进行第1色相强调处理或第2色相强调处理。
通过进行第1色相强调处理和第1彩度强调处理,能够增大正常粘膜的第1范围与萎缩粘膜的第2范围(萎缩粘膜1)、深层血管的第3范围(深层血管1)、BA的第4范围(BA1)及发红的第5范围(发红1)的差。
并且,进行第2色相强调处理和第2彩度强调处理时,正常粘膜的第1范围(正常粘膜2)与深层血管的第3范围(深层血管2)、BA的第4范围(BA2)及发红的第5范围(发红2)的差变大。但是,第2彩度强调处理及第2色相强调处理之后的正常粘膜的第1范围(正常粘膜2)相比第2彩度强调处理及第2色相强调处理之前的正常粘膜的第1范围(正常粘膜),彩度变低。并且,萎缩粘膜的第2范围(萎缩粘膜2)的彩度也相应地变低。
此外,针对第2彩度强调处理及第2色相强调处理之后的深层血管的第3范围(深层血管2)、第4范围(BA2)及第5范围(发红2),相比第1彩度强调处理及第1色相强调处理之后的深层血管的第3范围(深层血管1)、第4范围(BA1)及第5范围(发红1),能够降低彩度。
并且,针对第2彩度强调处理及第2色相强调处理之后的深层血管的第3范围(深层血管2)及发红的第5范围(发红2),相比第1彩度强调处理及第1色相强调处理之后的深层血管的第3范围(深层血管1)及发红的第5范围(发红1),能够增大与正常粘膜的第1范围(正常粘膜2)的色相差。另外,第2彩度强调处理及第2色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜2)相比第1彩度强调处理及第1色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜1),与正常粘膜的第1范围(正常粘膜2)的色相差稍微变大。图15中,关于与正常粘膜的第1范围的色相差,越是沿半径方向远离通过正常粘膜的第1范围的基准线SL,则与正常粘膜的第1范围的色相差越大。
接着,根据图16的流程图对特殊观察模式进行说明。对模式切换SW13a进行操作以切换为特殊观察模式。若切换为特殊观察模式,则根据第1彩度强调处理及第1色相强调处理之前的图像信号,进行炎症程度的计算。炎症程度不超过阈值时,切换为炎症评价模式。由此,生成炎症评价图像并显示于显示器18。显示器18中也一并显示炎症程度。
另一方面,炎症程度超过阈值时,切换为UC筛选模式。UC筛选模式下,进行UC筛选图像的生成。炎症程度及UC筛选图像显示于显示器18。UC筛选图像成为相比炎症评价图像抑制了彩度并且强调了深层血管的第3范围的色相的图像。在炎症程度超过阈值的状态下,持续显示UC筛选图像,炎症程度成为阈值以下时,切换为炎症评价模式,并切换为炎症评价图像的显示。进行以上处理直至特殊观察模式下的诊断结束为止(直至切换为其他观察模式为止)。
另外,炎症程度超过阈值时,切换为UC筛选模式,但多个炎症程度超过阈值的帧接连出现多个时,例如在炎症程度超过阈值的帧接连出现10帧时,优选切换为UC筛选模式。通过如此进行模式的切换,不会频繁发生模式的切换,因此彩度不同的图像不会被频繁切换。由此,使诊断变得容易。并且,炎症程度成为阈值以下时,切换为炎症评价模式,但多个炎症程度成为阈值以下的帧接连出现多个时,优选切换为炎症评价模式。
另外,上述实施方式中,根据炎症程度自动切换炎症评价模式与UC筛选模式,但也可以手动切换炎症评价模式与UC筛选模式。此时,优选如图17所示在显示器18上显示设定菜单画面,并在该设定菜单画面上设定模式。设定菜单画面中能够选择炎症评价模式、UC筛选模式、正常模式这3种模式。并且,设定菜单画面中还能够选择炎症评价图像、UC筛选图像、正常图像中的2个图像的2个画面显示。设定菜单画面的操作通过控制台19等进行。另外,设定菜单画面的启动可以通过长按模式切换SW13a来进行,也可以通过长按设置于处理器装置16的前面板的特定的按钮来进行。
例如,设定菜单画面中,设定为炎症评价模式时,在设定菜单画面上炎症评价模式的框从白色转变成黑色。随此,如图18所示在显示器18上显示炎症评价图像,并且作为与该炎症评价图像相对应的炎症程度显示面积比。并且,设定菜单画面中,若选择UC筛选模式和正常模式这2种模式,则UC筛选模式的框和正常模式的框从白色转变成黑色。并且,若选择2个画面,则2个画面的框从白色转变成黑色。此时,如图19所示进行UC筛选图像和正常图像的2个画面显示。并且作为炎症程度显示面积比。
另外,上述实施方式中,通过信号比计算部72根据第1RGB图像信号求出B/G比及G/R比,并在由这些B/G比及G/R比形成的信号比空间内进行彩度强调处理及色相强调处理,但也可以求出与B/G比及G/R比不同的颜色信息,并在由该颜色信息形成的特征空间内进行彩度强调处理及色相强调处理。
例如,可以作为颜色信息求出色差信号Cr及Cb,并在由色差信号Cr及Cb形成的特征空间内进行彩度强调处理及色相强调处理。此时,利用图20所示的特殊图像处理部92。特殊图像处理部92与特殊图像处理部64不同,不具备Log转换部71、信号比计算部72、逆Log转换部83。取而代之,特殊图像处理部92具备亮度色差信号转换部86。关于除此以外的结构,特殊图像处理部92与特殊图像处理部64相同。
亮度色差信号转换部86(与本发明的“颜色信息获取部”相对应)将1RGB图像信号转换为亮度信号Y和色差信号Cr及Cb。向色差信号Cr及Cb的转换中使用公知的转换式。关于色差信号Cr及Cb,发送至极坐标转换部75。关于亮度信号Y,发送至RGB转换部79和亮度调整部81。通过RGB转换部79,将经过正交坐标转换部78的色差信号Cr及Cb和亮度信号Y转换成第2RGB图像信号。通过亮度调整部81,作为第1亮度信息Yin使用亮度信号Y并且作为第2亮度信息Your使用通过第2亮度信息计算部81b求出的第2亮度信息来进行第2RGB图像信号的像素值的调整。另外,关于第2亮度信息Yout的计算方法及第2RGB图像信号的像素值的调整方法,与上述特殊图像处理部64的情况相同。
在由色差信号Cr及Cb形成的CrCb空间内,如图21所示,在第二象限,包含正常粘膜的第1范围分布于大致中央。包含萎缩粘膜的第2范围相对于通过正常粘膜的第1范围的基准线SL稍微位于顺时针方向侧,并且分布于相比正常粘膜的第1范围更靠近原点的位置。包含深层血管的第3范围相对于基准线SL分布于顺时针方向侧。包含BA的第4范围相对于基准线SL稍微分布于逆时针方向侧。包含发红的第5范围相对于基准线SL分布于顺时针方向侧。另外,基准线SL与前述色相基准线SLh相对应。CrCb空间内,相对于基准线SL逆时针方向与上述正方向相对应,相对于基准线SL顺时针方向与上述的负方向相对应。
在如上分布有第1~第5范围的CrCb空间内,与信号比空间的情况相同地进行扩展或压缩矢径r的第1彩度强调处理及扩展或压缩角度θ的第1色相强调处理。由此,如图22所示,第1彩度强调处理及第1色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜1)相比第1彩度强调处理及第1色相强调处理之前的萎缩粘膜的第2范围(虚线),与正常粘膜的第1范围的差变大。同样,第1彩度强调处理及第1色相强调处理之后的深层血管(深层血管1)、BA的第4范围(BA1)及发红的第5范围(发红1)相比第1彩度强调处理及第1色相强调处理之前的深层血管(虚线)、BA的第4范围(虚线)及发红的第5范围(虚线),与正常粘膜的第1范围的差变大。
并且,在分布有第1~第5范围的CrCb空间内,与信号比空间的情况相同地进行扩展或压缩矢径r的第2彩度强调处理及扩展或压缩角度θ的第2色相强调处理。如此进行了第2彩度强调处理及第2色相强调处理时,如图23所示,正常粘膜的第1范围(正常粘膜2)与深层血管的第3范围(深层血管2)、BA的第4范围(BA2)及发红的第5范围(发红2)的差变大。但是,第2彩度强调处理及第2色相强调处理之后的正常粘膜的第1范围(正常粘膜2)相比第2彩度强调处理及第2色相强调处理之前的正常粘膜的第1范围(正常粘膜),彩度变低。并且,萎缩粘膜的第2范围(萎缩粘膜2)的彩度也相应地变低。
此外,第2彩度强调处理及第2色相强调处理之后的深层血管的第3范围(深层血管2)相比第1彩度强调处理及第1色相强调处理之后的深层血管的第3范围(深层血管1),彩度变低。同样,第2彩度强调处理及第2色相强调处理之后的BA的第4范围(BA2)及发红的第5范围(发红2)相比第1彩度强调处理及第1色相强调处理之后的BA的第4范围(BA1)及发红的第5范围(发红1),彩度变低。并且,第2彩度强调处理及第2色相强调处理之后的深层血管的第3范围(深层血管2)及发红的第5范围(发红2)相比第1彩度强调处理及第1色相强调处理之后的深层血管的第3范围(深层血管1)及发红的第5范围(发红1),与正常粘膜的第1范围(正常粘膜2)的色相差变大。
另外,第2彩度强调处理及第2色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜2)相比第1彩度强调处理及第1色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜1),与正常粘膜的第1范围(正常粘膜2)的色相差稍微变大。图23中,关于与正常粘膜的第1范围的色相差,越是沿半径方向远离通过正常粘膜的第1范围的基准线SL,则与正常粘膜的第1范围的色相差越大。
并且,作为颜色信息可以求出色相H(Hue)、彩度S(Saturation),并在由色相H、彩度S形成的HS空间内进行彩度强调处理及色相强调处理。使用色相H、彩度S时,使用图24所示的特殊图像处理部96。特殊图像处理部96与特殊图像处理部64不同,不具备Log转换部71、信号比计算部72、极坐标转换部75、正交坐标转换部78及逆Log转换部83。取而代之,特殊图像处理部96具备HSV转换部87。关于除此以外的结构,特殊图像处理部96与特殊图像处理部64相同。
HSV转换部87(与本发明的“颜色信息获取部”相对应)将第1RGB图像信号转换为色相H、彩度S及明度V(Value)。向色相H、彩度S、明度V的转换中使用公知的转换式。关于色相H和彩度S,发送至平行移动部90。关于明度V,发送至RGB转换部79。通过RGB转换部79,将经过平行移动部90的色相H、彩度S及明度V转换为第2RGB图像信号。通过亮度调整部81,使用通过第1亮度信息计算部求出的第1亮度信息Yin及通过第2亮度信息计算部81b求出的第2亮度信息Yout进行第2RGB图像信号的像素值的调整。另外,关于第1亮度信息Yin、第2亮度信息Your的计算方法及第2RGB图像信号的像素值的调整方法,与上述特殊图像处理部64的情况相同。
在由色相H、彩度S形成的HS空间内,如图25所示,包含正常粘膜的第1范围分布于表示特定的色相的值的基准线SL上。包含萎缩粘膜的第2范围分布于相比基准线SL为低彩度的位置。包含BA的第4范围分布于相比正常粘膜的第1范围为高彩度的位置,即相对于基准线SL为第1色相方向(右侧)的位置。包含发红的第5范围分布于相比正常粘膜的第1范围为高彩度的位置,即相对于基准线SL为第2色相方向(左侧)的位置。包含深层血管的第3范围分布于相比正常粘膜的第1范围为高彩度的位置,即相比BA的第4范围或发红的第5范围为低彩度的位置。并且,深层血管的第3范围相对于基准线SL分布于与第1色相方向不同的第2色相方向(左侧)的位置。发红的第5范围与基准线SL的沿色相方向的距离比深层血管的第3范围与基准线SL的距离小。
如上分布有所述第1~第5范围的HS空间内的第1彩度强调处理及第1色相强调处理中,不像信号比空间及CrCb空间那样扩展或压缩矢径r和角度θ,而是进行将第2~第5范围平行移动的处理。彩度强调处理部76作为第1彩度强调处理,对萎缩粘膜的第2范围以成为低彩度的方式进行沿彩度方向平行移动的处理。另一方面,彩度强调处理部76作为第1彩度强调处理,优选对深层血管的第3范围、BA的第4范围及发红的第5范围以成为高彩度的方式进行沿彩度方向平行移动的处理。
另外,对这些第3~第5范围也可以以成为低彩度的方式进行平行移动。并且,色相强调处理部77作为第1色相强调处理,对深层血管的第3范围、BA的第4范围、发红的第5范围以远离正常粘膜的第1范围的方式进行沿色相方向平行移动的处理。另外,色相强调处理部77作为第1色相强调处理,可以进行使萎缩粘膜的第2范围沿色相方向移动的处理。
通过进行以上第1彩度强调处理及第1色相强调处理,如图26所示第1彩度强调处理及第1色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜1)相比第1彩度强调处理及第1色相强调处理之前的萎缩粘膜的第2范围(虚线),与正常粘膜的第1范围的差变大。同样,第1彩度强调处理及第1色相强调处理之后的深层血管(深层血管1)、BA的第4范围(BA1)及发红的第5范围(发红1)相比第1彩度强调处理及第1色相强调处理之前的深层血管(虚线)、BA的第4范围(虚线)及发红的第5范围(虚线),与正常粘膜的第1范围的差变大。
并且,关于HS空间内的第2彩度强调处理及第2色相强调处理,也进行将第2~第5范围平行移动的处理。但是,进行第2彩度强调处理时,优选与第1彩度强调处理的情况相比减少向高彩度范围内包含的观察对象范围的彩度方向的移动量。具体而言,关于高彩度范围内包含的深层血管的第3范围、RA的第4范围及发红的第5范围,相比第1彩度强调处理的情况,减少向彩度方向的移动量。并且,进行第2色相强调处理时,优选与第1色相强调处理的情况相比减少向深层血管的第3范围的色相方向的移动量。
如此进行了第2彩度强调处理及第2色相强调处理时,如图27所示,正常粘膜的第1范围(正常粘膜2)与深层血管的第3范围(深层血管2)、BA的第4范围(BA2)及发红的第5范围(发红2)的差变大。但是,第2彩度强调处理及第2色相强调处理之后的正常粘膜的第1范围(正常粘膜2)相比第2彩度强调处理及第2色相强调处理之前的正常粘膜的第1范围(正常粘膜),彩度变低。并且,萎缩粘膜的第2范围(萎缩粘膜2)的彩度也相应地变低。
此外,第2彩度强调处理及第2色相强调处理之后的深层血管的第3范围(深层血管2)相比第1彩度强调处理及第1色相强调处理之后的深层血管的第3范围(深层血管1),彩度变低。同样,第2彩度强调处理及第2色相强调处理之后的BA的第4范围(BA2)及发红的第5范围(发红2)相比第1彩度强调处理及第1色相强调处理之后的BA的第4范围(BA1)及发红的第5范围(发红1),彩度变低。
并且,第2彩度强调处理及第2色相强调处理之后的深层血管的第3范围(深层血管2)及发红的第5范围(发红2)相比第1彩度强调处理及第1色相强调处理之后的深层血管的第3范围(深层血管1)及发红的第5范围(发红1),与正常粘膜的第1范围(正常粘膜2)的色相差变大。另外,第2彩度强调处理及第2色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜2)相比第1彩度强调处理及第1色相强调处理之后的萎缩粘膜的第2范围(萎缩粘膜1),与正常粘膜的第1范围(正常粘膜2)的色相差稍微变大。图27中,与正常粘膜的第1范围的色相差以相对于色相方向的正常粘膜的第1范围的距离表示。具体而言,与基准线SL的距离变得越大,即在色相方向上离基准线SL越远,则与正常粘膜的第1范围的色相差越大。
[第2实施方式]
第2实施方式中,代替第1实施方式中所示的4种颜色的LED20a~20d,利用激光光源和荧光体来进行对观察对象的照明。除此之外,与第1实施方式相同。
如图28所示,第2实施方式的内窥镜系统100中,在光源装置14中,代替4种颜色的LED20a~20d而设置有发出中心波长445±10nm的蓝色激光的蓝色激光光源(图36中标记为“445LD”)104和发出中心波长405±10nm的蓝紫色激光的蓝紫色激光光源(图36中标记为“405LD”)106。从这些各光源104及106的半导体发光元件发出的光通过光源控制部108而受到个别控制,蓝色激光光源104的出射光和蓝紫色激光光源106的出射光的光量比变更自如。
通常观察模式下,光源控制部108驱动蓝色激光光源104。相对于此,特殊观察模式下,驱动蓝色激光光源104和蓝紫色激光光源106这两个光源,并且控制蓝色激光的发光比率大于蓝紫色激光的发光比率。从以上各光源104及106出射的激光经由聚光透镜、光纤或合波器等光学部件(均未图示)入射到光导41。
另外,优选蓝色激光或蓝紫色激光的半宽度设为±10nm左右。并且,蓝色激光光源104及蓝紫色激光光源106能够利用大面积型InGaN系激光二极管,并且,也能够利用InGaNAs系激光二极管或GaNAs系激光二极管。并且,作为上述光源,可以采用使用发光二极管等发光体的结构。
照明光学系统30a中除了照明透镜45之外还设置有来自光导41的蓝色激光或蓝紫色激光入射的荧光体110。通过向荧光体110照射蓝色激光,从荧光体110发出荧光。并且,一部分蓝色激光直接透射荧光体110。蓝紫色激光在不激发荧光体110的情况下进行透射。从荧光体110出射的光经由照明透镜45照射到被检体内。
在此,在通常观察模式下,主要是蓝色激光入射到荧光体110,因此如图29所示,将蓝色激光及通过蓝色激光从荧光体110激发发光的荧光进行合波的白色光被照射到观察对象。另一方面,在特殊观察模式下,蓝紫色激光和蓝色激光这两种激光入射到荧光体110,因此如图30所示的将蓝紫色激光、蓝色激光及通过蓝色激光从荧光体110激发发光的荧光进行合波的特殊光被照射到被检体内。
另外,优选荧光体110使用包含吸收一部分蓝色激光而激发发出绿色~黄色的光的多种荧光体(例如YAG系荧光体、或BAM(BaMgAl10O17)等荧光体)而构成的结构。如本结构例,若将半导体发光元件用作荧光体110的激发光源,则可获得高发光效率且高强度的白色光,不仅能够轻松地调整白色光的强度,还能够将白色光的色温及色度的变化抑制得较小。
[第3实施方式]
第3实施方式中,代替第1实施方式中所示的4种颜色的LED20a~20d,使用疝气灯等宽频带光源和旋转滤光器来进行对观察对象的照明。并且,代替彩色的摄像传感器48用单色摄像传感器来进行对观察对象的拍摄。除此之外,与第1实施方式相同。
如图31所示,第3实施方式的内窥镜系统200中,在光源装置14中,代替4种颜色的LED20a~20d设置有宽频带光源202、旋转滤光器204及滤光器切换部205。并且,在摄像光学系统30b上代替彩色摄像传感器48设置有未设置滤色器的单色摄像传感器206。
宽频带光源202为疝气灯、白色LED等,发出波长区域从蓝色遍及红色的白色光。旋转滤光器204具备设置于内侧的通常观察模式用滤光器208和设置于外侧的特殊观察模式用滤光器209(参考图32)。滤光器切换部205使旋转滤光器204向径向移动,当通过模式切换SW13a被设定为通常观察模式时,将旋转滤光器204的通常观察模式用滤光器208插入于白色光的光路上,当设定为特殊观察模式时,将旋转滤光器204的特殊观察模式用滤光器209插入于白色光的光路上。
如图32所示,在通常观察模式用滤光器208上沿周向设置有使白色光中的蓝色光透射的B滤光器208a、使白色光中的绿色光透射的G滤光器208b及使白色光中的红色光透射的R滤光器208c。因此,在通常观察模式时,通过旋转滤光器204的旋转,蓝色光、绿色光及红色光交替照射到观察对象。
在特殊观察模式用滤光器209上沿周向设置有使白色光中特定波长的蓝色窄频带光透射的Bn滤光器209a、使白色光中的绿色光透射的G滤光器209b、使白色光中的红色光透射的R滤光器209c。因此,在特殊观察模式时,通过旋转滤光器204的旋转,使蓝色窄频带光、绿色光、红色光交替照射到观察对象。
在内窥镜系统200中,在通常观察模式时,每当有蓝色光、绿色光及红色光照射到观察对象时,利用单色摄像传感器206拍摄被检体内部。由此,可获得RGB这3种颜色的图像信号。之后,根据这些RGB图像信号,利用与上述第1实施方式相同的方法生成通常图像。
另一方面,在特殊观察模式下,每当蓝色窄频带光、绿色光及红色光照射到观察对象,则利用单色摄像传感器206拍摄被检体内部。由此,可获得Bn图像信号、G图像信号及R图像信号。根据这些Bn图像信号、G图像信号及R图像信号生成特殊图像。生成特殊图像时,使用Bn图像信号来代替B图像信号。除此之外,以与第1实施方式相同的方法生成特殊图像。
[第4实施方式]
第4实施方式中,代替插入型的内窥镜12及光源装置14,使用吞服式的胶囊内窥镜来获取生成通常图像、特殊图像所需的RGB图像信号。
如图33所示,第4实施方式的胶囊内窥镜系统300具备胶囊内窥镜302、收发天线304、胶囊用接收装置306、处理器装置16及显示器18。胶囊内窥镜302具备LED302a、摄像传感器302b、图像处理部302c及发送天线302d。另外,处理器装置16与第1实施方式相同,但在第4实施方式中,新设有用于切换为通常观察模式、特殊观察模式的模式切换SW308。
LED302a发出白色光,且在胶囊内窥镜302内设置有多个。在此,作为LED302a,优选使用具备蓝色光源和将来自该蓝色光源的光进行波长转换而发出荧光的荧光体的白色LED等。也可以代替LED使用LD(Laser Diode)。从LED302a发出的白色光对观察对象进行照明。
摄像传感器302b为彩色的摄像传感器,拍摄用白色光进行照明的观察对象,以输出RGB图像信号。在此,作为摄像传感器302b,优选使用CCD(Charge Coupled Device)摄像传感器或CMOS(Complementary Metal-Oxide Semiconductor)摄像传感器。从摄像传感器302b输出的RGB图像信号通过图像处理部302c被实施用于设定能够通过发送天线302d发送的信号的处理。经过图像处理部302c的RGB图像信号从发送天线302d以无线方式发送到收发天线304。
收发天线304贴在被检者的身体上,并接收来自发送天线302d的RGB图像信号。收发天线304将接收到的RGB图像信号以无线方式发送到胶囊用接收装置306。胶囊用接收装置306与处理器装置16的图像信号输入部53连接,且将来自收发天线304的RGB图像信号发送到图像信号输入部53。
另外,上述实施方式中,使用具有如图3所示的发光光谱的4种颜色的光,但发光光谱并不限于此。例如如图34所示,也可以是绿色光G及红色光R具有与图3相同的光谱,而另一方面紫色光Vs在中心波长410~420nm且在比图3的紫色光V稍微长的波长侧具有波长范围的光。并且,也可以是蓝色光Bs在中心波长445~460nm且在比图3的蓝色光B稍微短的波长侧具有波长范围的光。
另外,上述第1实施方式中,将B/G比及G/R比通过极坐标转换来转换成矢径r、角度θ,并根据转换后的矢径r、偏角θ进行扩展或压缩角度的彩色强调处理及色相强调处理,之后,再次复原成B/G比及G/R比,但也可以如图35所示利用二维LUT(Look Up Table:查找表)400,不根据B/G比及G/R比进行极坐标转换等而直接转换成第1或第2处理完毕的B/G比及G/R比。
另外,B/G比及G/R比与根据该B/G比及G/R比进行彩色强调处理及色相强调处理而获得的彩色强调处理及色相强调处理完毕的B/G比及G/R比通过建立关联之后被存储在二维LUT400中。在此,设定为炎症评价模式时,利用B/G比及G/R比与第1彩度强调处理及第1色相强调处理完毕的B/G比及G/R比的对应关系。设定为UC筛选模式时,利用B/G比及G/R比与第2彩度强调处理及第2色相强调处理完毕的B/G比及G/R比的对应关系。并且,从逆伽马转换部70输出的第1RGB图像信号输入至二维LUT400及RGB转换部76。
上述实施方式中,图像信号输入部、颜色信息获取部、彩度强调处理部、色相强调处理部、模式控制部等、处理器装置14内包含的处理部(processing unit)的硬件结构为如以下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)来发挥各种处理部功能的通用处理器即CPU(Central Processing Unit:中央处理器)、FPGA(FieldProgrammable Gate Array:现场可编程门阵列)等在制造之后能够变更电路结构的处理器即可编程序逻辑器件(Programmable Logic Device:PLD)、具有用于执行各种处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成,也可以由同种或异种的2个以上的处理器的组合(例如,多个FPGA的组合或CPU与FPGA的组合)构成。并且,可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子,第1种为如客户或服务器等计算机为代表的,组合1个以上的CPU和软件来构成1个处理器,且该处理器发挥多个处理部的功能的形态。第2种为如片上系统(System On Chip:SoC)等为代表的使用以1个IC(Integrated Circuit:集成电路)芯片来实现包括多个处理部的系统整体的功能的处理器的形态。如此,各种处理部作为硬件结构使用1个以上上述各种处理器而构成。
而且,这些各种处理器的硬件结构更具体而言为组合半导体元件等电路元件而成的形态的电路(circuitry)。
另外,本发明除了能够组装于如第1~第3实施方式的内窥镜系统或如第4实施方式的胶囊内窥镜系统的处理器装置之外,还能够应用于各种医用图像处理装置。
符号说明
10-内窥镜系统,12-内窥镜,12a-插入部,12b-操作部,12c-弯曲部,12d-前端部,12e-弯角钮,13a-模式切换SW,14-光源装置,16-处理器装置,18-显示器,19-控制台(键盘),19-控制台,20a-V-LED,20b-B-LED,20c-G-LED,20d-R-LED,21-光源控制部,23-光路耦合部,30a-照明光学系统,30b-摄像光学系统,41-光导,45-照明镜头,46-物镜,48-摄像传感器,50-CDS/AGC电路,53-图像信号输入部,56-DSP,58-噪声去除部,60-信号切换部,62-通常图像处理部,64-特殊图像处理部,66-视频信号生成部,70-逆伽马转换部,71-Log转换部,72-信号比计算部,73-数值化处理部,74-图像处理切换部,75-极坐标转换部,76-彩度强调处理部,76-转换部,77-色相强调处理部,78-正交坐标转换部,79-RGB转换部,81-亮度调整部,81a-第1亮度信息计算部,81b-第2亮度信息计算部,82-结构强调部,83-逆Log转换部,84-伽马转换部,85-模式控制部,86-亮度/色差信号转换部,86-亮度色差信号转换部,87-HSV转换部,92-特殊图像处理部,96-特殊图像处理部,100-内窥镜系统,104-蓝色激光光源,106-蓝紫色激光光源,108-光源控制部,110-蛍光体,200-内窥镜系统,202-宽频带光源,204-旋转滤光器,205-滤光器切换部,206-摄像传感器,208-通常观察模式用滤光器,208a-B滤光器,208b-G滤光器,208c-R滤光器,209-特殊观察模式用滤光器,209a-Bn滤光器,209b-G滤光器,209c-R滤光器,300-胶囊内窥镜系统,302-胶囊内窥镜,302b-摄像传感器,302c-图像处理部,302d-发送天线,304-收发天线,306-胶囊用接收装置,400-二维LUT。
Claims (12)
1.一种医用图像处理装置,其特征在于,具有:
图像信号输入部,输入彩色图像信号;
颜色信息获取部,从所述彩色图像信号获取多个颜色信息;及
彩度强调处理部,在由所述多个颜色信息形成的特征空间内,至少对相对于特定的彩度边界线位于高彩度侧的高彩度范围进行彩度强调处理,从而增大作为观察对象而分布的多个观察对象范围之间的彩度差,
作为所述彩度强调处理,所述彩度强调处理部进行第1彩度强调处理或与所述第1彩度强调处理不同的第2彩度强调处理,
所述第2彩度强调处理之后的所述高彩度范围比所述第1彩度强调处理之后的所述高彩度范围大,所述第2彩度强调处理之后的所述高彩度范围内包含的值比所述第1彩度强调处理之后的所述高彩度范围内包含的值小。
2.根据权利要求1所述的医用图像处理装置,其中,具有:
色相强调处理部,在所述特征空间内,至少对相对于特定的色相边界线位于特定的色相方向侧的特定的色相范围进行色相强调处理,从而增大作为观察对象而分布的多个观察对象范围之间的色相差,
作为所述色相强调处理,所述色相强调处理部进行第1色相强调处理或与所述第1色相强调处理相比增大所述色相差的第2色相强调处理。
3.根据权利要求2所述的医用图像处理装置,其中,具有:
模式控制部,进行从实施了所述第1彩度强调处理的彩色图像信号获得第1彩度强调图像的第1模式与从实施了所述第2彩度强调处理的彩色图像信号获得第2彩度强调图像的第2模式之间的切换。
4.根据权利要求3所述的医用图像处理装置,其中,
所述模式控制部根据将所述观察对象的状态进行数值化后的观察对象信息,自动进行所述第1模式与所述第2模式的切换。
5.根据权利要求4所述的医用图像处理装置,其中,
所述观察对象信息与根据所述多个观察对象范围中的任一个观察对象范围的颜色信息获得的值相对应。
6.根据权利要求4所述的医用图像处理装置,其中,
所述观察对象信息与根据相对于特定的色相边界线的所述多个观察对象范围中的任一个观察对象范围的坐标的角度而获得的值相对应。
7.根据权利要求4所述的医用图像处理装置,其中,
所述观察对象信息与根据所述多个观察对象范围中的2个观察对象范围之间的距离而获得的值相对应。
8.根据权利要求4所述的医用图像处理装置,其中,
所述观察对象信息为表示所述彩色图像信号的像素中所述多个观察对象范围中的任一个观察对象范围的像素所占的比率的面积比。
9.根据权利要求4至8中任一项所述的医用图像处理装置,其中,
所述观察对象信息为将所述观察对象的炎症状态进行数值化后的炎症程度。
10.根据权利要求1至9中任一项所述的医用图像处理装置,其中,
所述彩色图像信号通过对用包括紫色光的照明光照明的观察对象进行拍摄而获得。
11.一种内窥镜系统,其特征在于,具有权利要求1至10中任一项所述的医用图像处理装置,该内窥镜系统还具有:
显示部,显示从实施了所述第1彩度强调处理的彩色图像信号获得的第1彩度强调图像、从实施了所述第2彩度强调处理的彩色图像信号获得的第2彩度强调图像、或从未实施所述第1彩度强调处理及所述第2彩度强调处理中的任一种的彩色图像信号获得的正常图像中的至少任一种图像。
12.一种医用图像处理装置的工作方法,其特征在于,具有:
图像信号输入步骤,对图像信号输入部输入彩色图像信号;
颜色信息获取步骤,颜色信息获取部从所述彩色图像信号获取多个颜色信息;及
彩度强调处理步骤,彩度强调处理部在由所述多个颜色信息形成的特征空间内,至少对相对于特定的彩度边界线位于高彩度侧的高彩度范围进行彩度强调处理,从而增大作为观察对象而分布的多个观察对象范围之间的彩度差,
所述彩度强调处理步骤中,
作为所述彩度强调处理进行第1彩度强调处理或与所述第1彩度强调处理不同的第2彩度强调处理,
将所述第2彩度强调处理之后的所述高彩度范围设为比所述第1彩度强调处理之后的所述高彩度范围大,所述第2彩度强调处理之后的所述高彩度范围内包含的值比所述第1彩度强调处理之后的所述高彩度范围内包含的值小。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117437 | 2017-06-15 | ||
JP2017-117437 | 2017-06-15 | ||
PCT/JP2018/021573 WO2018230396A1 (ja) | 2017-06-15 | 2018-06-05 | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110868908A true CN110868908A (zh) | 2020-03-06 |
CN110868908B CN110868908B (zh) | 2022-04-08 |
Family
ID=64660884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880039884.8A Active CN110868908B (zh) | 2017-06-15 | 2018-06-05 | 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11328415B2 (zh) |
JP (1) | JP7051845B2 (zh) |
CN (1) | CN110868908B (zh) |
WO (1) | WO2018230396A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259648A (zh) * | 2021-05-18 | 2021-08-13 | 深圳欧克曼技术有限公司 | 一种内窥镜摄像机图像处理设备和方法 |
WO2022016385A1 (en) * | 2020-07-21 | 2022-01-27 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of generating corrected pixel data, electrical device and non-transitory computer readable medium |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020183528A1 (ja) * | 2019-03-08 | 2020-09-17 | オリンパス株式会社 | 内視鏡装置、内視鏡画像処理装置、内視鏡装置の作動方法及びプログラム |
CN113677250B (zh) * | 2019-04-11 | 2025-01-24 | 奥林巴斯株式会社 | 内窥镜装置、控制装置、信息存储介质 |
JP7096788B2 (ja) * | 2019-06-28 | 2022-07-06 | 富士フイルム株式会社 | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 |
CN112598607B (zh) * | 2021-01-06 | 2022-11-18 | 安徽大学 | 基于改进加权clahe的内窥镜图像血管增强算法 |
US20230143451A1 (en) * | 2021-11-05 | 2023-05-11 | CapsoVision, Inc. | Method and Apparatus of Image Adjustment for Gastrointestinal Tract Images |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1305103A (zh) * | 1999-11-05 | 2001-07-25 | 东芝株式会社 | 彩色放射线成象方法和彩色放射线成象设备,以及相对应的彩色发光片 |
US6351558B1 (en) * | 1996-11-13 | 2002-02-26 | Seiko Epson Corporation | Image processing system, image processing method, and medium having an image processing control program recorded thereon |
JP2002281327A (ja) * | 2001-03-15 | 2002-09-27 | Minolta Co Ltd | 画像処理のための装置、方法及びプログラム |
JP2005286995A (ja) * | 2004-03-01 | 2005-10-13 | Matsushita Electric Ind Co Ltd | 送信装置及び無線通信装置 |
CN101349961A (zh) * | 2008-08-11 | 2009-01-21 | 深圳华为通信技术有限公司 | 一种自动切换便携式终端显示模式的方法及装置 |
CN101822550A (zh) * | 2009-03-06 | 2010-09-08 | 复旦大学 | 超声彩色血流成像中基于动态区域划分的杂波抑制方法 |
CN102197985A (zh) * | 2010-03-24 | 2011-09-28 | 富士胶片株式会社 | 电子内窥镜系统 |
JP2012080226A (ja) * | 2010-09-30 | 2012-04-19 | Fujifilm Corp | 色値取得方法、画像処理方法、色値取得装置、画像処理装置及びプログラム |
CN103142325A (zh) * | 2006-10-13 | 2013-06-12 | 卡尔斯特里姆保健公司 | 适用于龋齿检测的装置 |
CN103426373A (zh) * | 2012-05-14 | 2013-12-04 | 果尚志 | 发光二极管显示器与其制造方法 |
JP2014023591A (ja) * | 2012-07-24 | 2014-02-06 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡画像の表示制御方法 |
CN103892859A (zh) * | 2012-12-28 | 2014-07-02 | Ge医疗系统环球技术有限公司 | 基于多模式Scout扫描的CT成像方法和CT系统 |
JP2014213094A (ja) * | 2013-04-26 | 2014-11-17 | Hoya株式会社 | 病変評価情報生成装置 |
CN104272134A (zh) * | 2012-02-29 | 2015-01-07 | 克里斯塔韦尔医学影像有限公司 | 超声成像系统中的杂波抑制 |
US20150193929A1 (en) * | 2012-07-17 | 2015-07-09 | Hoya Corporation | Image processing device and endoscope device |
JP2015146924A (ja) * | 2014-02-06 | 2015-08-20 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法 |
CN105212885A (zh) * | 2014-06-27 | 2016-01-06 | 富士胶片株式会社 | 医用图像处理装置及其工作方法、以及内窥镜系统 |
CN105266750A (zh) * | 2014-06-27 | 2016-01-27 | 富士胶片株式会社 | 医用图像处理装置及其工作方法、以及内窥镜系统 |
CN105310633A (zh) * | 2014-08-04 | 2016-02-10 | 富士胶片株式会社 | 医用图像处理装置及其工作方法、以及内窥镜系统 |
CN105379264A (zh) * | 2013-07-02 | 2016-03-02 | 盖伊·马丁 | 用于成像设备建模与校准的系统和方法 |
CN105407835A (zh) * | 2013-03-14 | 2016-03-16 | 火山公司 | 具有增强的回声特性的腔内过滤器 |
CN105455773A (zh) * | 2014-09-30 | 2016-04-06 | 富士胶片株式会社 | 医用图像处理装置及其工作方法 |
CN105705075A (zh) * | 2013-10-28 | 2016-06-22 | 富士胶片株式会社 | 图像处理装置及其工作方法 |
CN105796044A (zh) * | 2016-05-25 | 2016-07-27 | 珠海康弘发展有限公司 | 内窥镜及其成像方法 |
CN106558031A (zh) * | 2016-12-02 | 2017-04-05 | 北京理工大学 | 一种基于成像模型的彩色眼底图的图像增强方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3646798B2 (ja) * | 1996-11-18 | 2005-05-11 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 |
US7613335B2 (en) * | 2003-02-12 | 2009-11-03 | The University Of Iowa Research Foundation | Methods and devices useful for analyzing color medical images |
JP5039621B2 (ja) | 2008-03-25 | 2012-10-03 | 富士フイルム株式会社 | 電子内視鏡装置 |
JP5631764B2 (ja) | 2011-01-25 | 2014-11-26 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP5568489B2 (ja) | 2011-01-25 | 2014-08-06 | 富士フイルム株式会社 | 内視鏡システム及びその光源制御方法 |
JP2013058920A (ja) * | 2011-09-08 | 2013-03-28 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
WO2014156938A1 (ja) | 2013-03-27 | 2014-10-02 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システムの作動方法 |
-
2018
- 2018-06-05 CN CN201880039884.8A patent/CN110868908B/zh active Active
- 2018-06-05 WO PCT/JP2018/021573 patent/WO2018230396A1/ja active Application Filing
- 2018-06-05 JP JP2019525339A patent/JP7051845B2/ja active Active
-
2019
- 2019-12-13 US US16/714,377 patent/US11328415B2/en active Active
Patent Citations (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6351558B1 (en) * | 1996-11-13 | 2002-02-26 | Seiko Epson Corporation | Image processing system, image processing method, and medium having an image processing control program recorded thereon |
CN1305103A (zh) * | 1999-11-05 | 2001-07-25 | 东芝株式会社 | 彩色放射线成象方法和彩色放射线成象设备,以及相对应的彩色发光片 |
JP2002281327A (ja) * | 2001-03-15 | 2002-09-27 | Minolta Co Ltd | 画像処理のための装置、方法及びプログラム |
JP2005286995A (ja) * | 2004-03-01 | 2005-10-13 | Matsushita Electric Ind Co Ltd | 送信装置及び無線通信装置 |
CN103142325A (zh) * | 2006-10-13 | 2013-06-12 | 卡尔斯特里姆保健公司 | 适用于龋齿检测的装置 |
CN101349961A (zh) * | 2008-08-11 | 2009-01-21 | 深圳华为通信技术有限公司 | 一种自动切换便携式终端显示模式的方法及装置 |
CN101822550A (zh) * | 2009-03-06 | 2010-09-08 | 复旦大学 | 超声彩色血流成像中基于动态区域划分的杂波抑制方法 |
CN102197985A (zh) * | 2010-03-24 | 2011-09-28 | 富士胶片株式会社 | 电子内窥镜系统 |
EP2368487A1 (en) * | 2010-03-24 | 2011-09-28 | Fujifilm Corporation | Electronic endoscope system |
JP2012080226A (ja) * | 2010-09-30 | 2012-04-19 | Fujifilm Corp | 色値取得方法、画像処理方法、色値取得装置、画像処理装置及びプログラム |
CN104272134A (zh) * | 2012-02-29 | 2015-01-07 | 克里斯塔韦尔医学影像有限公司 | 超声成像系统中的杂波抑制 |
CN103426373A (zh) * | 2012-05-14 | 2013-12-04 | 果尚志 | 发光二极管显示器与其制造方法 |
US20150193929A1 (en) * | 2012-07-17 | 2015-07-09 | Hoya Corporation | Image processing device and endoscope device |
JP2014023591A (ja) * | 2012-07-24 | 2014-02-06 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡画像の表示制御方法 |
CN103892859A (zh) * | 2012-12-28 | 2014-07-02 | Ge医疗系统环球技术有限公司 | 基于多模式Scout扫描的CT成像方法和CT系统 |
CN105407835A (zh) * | 2013-03-14 | 2016-03-16 | 火山公司 | 具有增强的回声特性的腔内过滤器 |
JP2014213094A (ja) * | 2013-04-26 | 2014-11-17 | Hoya株式会社 | 病変評価情報生成装置 |
CN105379264A (zh) * | 2013-07-02 | 2016-03-02 | 盖伊·马丁 | 用于成像设备建模与校准的系统和方法 |
CN105705075A (zh) * | 2013-10-28 | 2016-06-22 | 富士胶片株式会社 | 图像处理装置及其工作方法 |
JP2015146924A (ja) * | 2014-02-06 | 2015-08-20 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法 |
CN105212885A (zh) * | 2014-06-27 | 2016-01-06 | 富士胶片株式会社 | 医用图像处理装置及其工作方法、以及内窥镜系统 |
CN105266750A (zh) * | 2014-06-27 | 2016-01-27 | 富士胶片株式会社 | 医用图像处理装置及其工作方法、以及内窥镜系统 |
CN105310633A (zh) * | 2014-08-04 | 2016-02-10 | 富士胶片株式会社 | 医用图像处理装置及其工作方法、以及内窥镜系统 |
CN105455773A (zh) * | 2014-09-30 | 2016-04-06 | 富士胶片株式会社 | 医用图像处理装置及其工作方法 |
JP2016067709A (ja) * | 2014-09-30 | 2016-05-09 | 富士フイルム株式会社 | 医用画像処理装置及びその作動方法 |
CN105796044A (zh) * | 2016-05-25 | 2016-07-27 | 珠海康弘发展有限公司 | 内窥镜及其成像方法 |
CN106558031A (zh) * | 2016-12-02 | 2017-04-05 | 北京理工大学 | 一种基于成像模型的彩色眼底图的图像增强方法 |
Non-Patent Citations (2)
Title |
---|
RAUTIAN,SG等: "《Probe-field spectroscopy under conditions of self-saturation》", 《OPTICS AND SPECTROSCOPY》 * |
刘真等: "《HDR图像压缩算法比较研究》", 《影像科学与光化学》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022016385A1 (en) * | 2020-07-21 | 2022-01-27 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of generating corrected pixel data, electrical device and non-transitory computer readable medium |
CN113259648A (zh) * | 2021-05-18 | 2021-08-13 | 深圳欧克曼技术有限公司 | 一种内窥镜摄像机图像处理设备和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110868908B (zh) | 2022-04-08 |
US20200118268A1 (en) | 2020-04-16 |
JP7051845B2 (ja) | 2022-04-11 |
US11328415B2 (en) | 2022-05-10 |
JPWO2018230396A1 (ja) | 2020-04-09 |
WO2018230396A1 (ja) | 2018-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110868908B (zh) | 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法 | |
CN106388756B (zh) | 图像处理装置及其工作方法以及内窥镜系统 | |
US9675238B2 (en) | Endoscopic device | |
US10022074B2 (en) | Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device | |
US20170251932A1 (en) | Processor device for endoscope, operation method thereof, and non-transitory computer readable medium | |
CN108830825B (zh) | 内窥镜系统及其工作方法 | |
JP7203477B2 (ja) | 内視鏡システム及びその作動方法 | |
EP2924971B1 (en) | Medical image processing device and method for operating the same | |
JP6259747B2 (ja) | プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム | |
US20170231469A1 (en) | Processor device for endoscope,operation method thereof, and non-transitory computer readable medium | |
CN112137564B (zh) | 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法 | |
CN113784654B (zh) | 图像处理装置及其工作方法 | |
JP7214886B2 (ja) | 画像処理装置及びその作動方法 | |
JP6383829B2 (ja) | 医用画像処理装置及びその作動方法並びに内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |