WO2017110469A1 - 内視鏡システム及び内視鏡システムの作動方法 - Google Patents
内視鏡システム及び内視鏡システムの作動方法 Download PDFInfo
- Publication number
- WO2017110469A1 WO2017110469A1 PCT/JP2016/086341 JP2016086341W WO2017110469A1 WO 2017110469 A1 WO2017110469 A1 WO 2017110469A1 JP 2016086341 W JP2016086341 W JP 2016086341W WO 2017110469 A1 WO2017110469 A1 WO 2017110469A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- calibration
- light
- unit
- mode
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/1459—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00195—Optical arrangements with eyepieces
- A61B1/00197—Optical arrangements with eyepieces characterised by multiple eyepieces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
- A61B5/14552—Details of sensors specially adapted therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
Definitions
- the present invention relates to an endoscope system for calculating biological information of an observation target and an operation method of the endoscope system.
- diagnosis is generally performed using an endoscope system including a light source device, an endoscope, and a processor device.
- endoscope systems that not only image an observation target but also obtain an observation image in which a specific tissue or structure such as a blood vessel or a gland duct structure is emphasized have become widespread.
- Such an endoscope system for example, devise the wavelength of illumination light applied to an observation target, or perform spectral estimation processing on an image obtained by imaging the observation target. As a result, an observation image in which a specific tissue or structure is emphasized is obtained.
- an endoscope system that obtains biological information based on an image obtained by imaging an observation target. For example, a lesion is being diagnosed using oxygen saturation (biological information) of blood hemoglobin.
- oxygen saturation biological information
- a method for calculating oxygen saturation for example, as described in Patent Document 1, an image obtained by irradiating an observation target with light in a wavelength band in which the absorption coefficients of oxyhemoglobin and reduced hemoglobin are different from each other is obtained.
- There is a method of calculating a predetermined calculation value using at least a plurality of images including this image (hereinafter referred to as an actual captured image), and calculating the oxygen saturation using a correlation that associates the calculation value with the oxygen saturation. is there.
- Patent Document 1 Before actually observing the inside of the body using oxygen saturation, the normal part of the patient and the region is imaged (hereinafter referred to as pre-imaging), and a plurality of images (hereinafter referred to as pre-imaging). , A pre-photographed image) is obtained, and the oxygen saturation of the normal part is calculated.
- the difference between the oxygen saturation of the actual normal part of the patient and the part and the reference value (for example, 70%) of the oxygen saturation of the general normal part determined by the correlation is calculated, and based on the calculated difference To correct the correlation.
- an oxygen saturation is calculated so that the oxygen saturation can be accurately calculated regardless of a part or individual difference of patients, etc., and an observation mode for generating and displaying an image indicating the value is shown. (Hereinafter referred to as oxygen saturation observation mode) is calibrated.
- JP 2013-022341 A Patent No. 5426620 JP 2011-104011 A
- the captured images are basically acquired continuously in as short a time as possible so that all the captured images can be regarded as being obtained almost simultaneously.
- Patent Document 1 by calibrating the oxygen saturation observation mode, the oxygen saturation can be calculated more accurately than an endoscope system that does not calibrate the oxygen saturation observation mode before that. It does not mention calibration accuracy. Further, Patent Document 2 alternately obtains a white light image and a special light image. However, since there is no oxygen saturation observation mode, there is no mention of calibration of the oxygen saturation observation mode.
- Patent Document 1 oxygen saturation, which is one of biological information, is observed, but other biological information observation modes for calculating biological information other than oxygen saturation by using a plurality of captured images. The same applies to the case of providing. That is, in the same manner as described above, it is necessary to acquire a plurality of pre-captured images before the observation target moves and calibrate the biological information observation mode accurately.
- the present invention relates to an endoscope system and endoscope that can calibrate the biological information observation mode more reliably and more accurately than in the conventional endoscope system having a biological information observation mode and a calibration mode for calibrating the biological information observation mode.
- An object is to provide a method of operating a mirror system.
- An endoscope system of the present invention is used for calibration in a calibration mode in an endoscope system having a biological information observation mode for observing biological information of an observation target and a calibration mode for calibrating the biological information observation mode.
- a correction amount calculation unit that calculates the correction amount of data, a calibration unit that calibrates the biological information observation mode by correcting the data using the correction amount, and the observation object is photographed using white light in the calibration mode.
- a display control unit that displays a white light image obtained on the display unit.
- the biological information is preferably the oxygen saturation level to be observed.
- the image processing apparatus includes a region setting unit that sets a part of the calibration image as a region used for calibration in the biological information observation mode, and the display control unit displays the region set by the region setting unit in a superimposed manner on the white light image. .
- the calibration mode it is preferable to acquire a plurality of calibration images and to acquire a plurality of white light images.
- a light amount ratio calculating unit that calculates a light amount ratio of the plurality of white light images, and a light amount ratio correcting unit that corrects the light amount ratio of the plurality of calibration images using the light amount ratio calculated by the light amount ratio calculating unit. Is preferred.
- the correction amount calculation unit calculates a plurality of correction amounts by using a part of the calibration images among the plurality of calibration images and changing the combination of the calibration images to be used. It is preferable to correct the data used in the biological information observation mode using one of the correction amounts or one of the plurality of correction amounts.
- a movement amount calculation unit that calculates the movement amount of the observation target is provided, and the calibration unit corrects data used in the biological information observation mode by using a weighted average of a plurality of correction amounts using the movement amount.
- a movement amount calculation unit that calculates the movement amount of the observation target is provided, and the calibration unit uses data that is used in the biological information observation mode by using one correction amount selected from a plurality of correction amounts using the movement amount. It is preferable to correct.
- the light source unit shortens the light emission interval of the two calibration illumination lights having the largest contribution to the calculation accuracy of the correction amount among the plurality of calibration illumination lights, compared to the light emission intervals of the other calibration illumination lights. It is preferable.
- the operation method of the endoscope system includes a biological information observation mode for observing biological information of an observation target and a calibration mode for calibrating the biological information observation mode.
- the step of emitting calibration illumination light used for calibration and emitting white light at least once, and the correction amount calculation unit captures the observation object using the calibration illumination light.
- the display control unit includes a step of displaying a white light image obtained by photographing an observation target using white light on the display unit in the calibration mode.
- the endoscope system and the operation method of the endoscope system of the present invention in the calibration mode, not only a calibration image but also a white light image is acquired and displayed. For this reason, a situation in which calibration cannot be performed accurately, such as when there is a movement in the observation target while capturing multiple calibration images, or a part that is inappropriate for calibration has been shot. Can be easily detected, an image for calibration can be acquired, and calibration can be performed again. For this reason, the endoscope system and the operation method of the endoscope system of the present invention can calibrate the biological information observation mode more reliably and more accurately than in the past.
- the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18 that is a display unit, and a console 19.
- the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
- the endoscope 12 includes an insertion portion 12a to be inserted into a subject, an operation portion 12b provided at a proximal end portion of the insertion portion 12a, a bending portion 12c provided at a distal end side of the insertion portion 12a, a distal end Part 12d.
- the bending portion 12c is bent by operating the angle knob 12e of the operation portion 12b.
- the distal end portion 12d is directed in a desired direction.
- the distal end portion 12d is provided with an ejection port (not shown) that ejects air, water, or the like toward the observation target.
- the operation unit 12b is provided with a mode switch 13a and a zoom operation unit 13b.
- the mode change switch 13a is used for an observation mode change operation.
- the endoscope system 10 has a normal observation mode and a special observation mode.
- the normal observation mode is an observation mode in which an image having a natural hue (hereinafter referred to as a normal image) obtained by photographing an observation target using white light as illumination light is displayed on the monitor 18.
- the biological information observation mode is an observation mode for observing biological information of an observation target (observing the observation target at least in a state where the biological information can be observed).
- Biological information refers to, for example, numerical information such as oxygen saturation and blood vessel density, and some tissues from observable tissues such as “images of blood vessels at a specific depth”. This is image information as a result of extraction.
- the biological information observation mode is an oxygen saturation observation mode for calculating the oxygen saturation of the observation target
- the oxygen saturation observation mode includes a plurality of actual captured images obtained by imaging the observation target.
- the oxygen saturation of the object to be observed is calculated, and an image (hereinafter referred to as an oxygen saturation image) showing the calculated oxygen saturation value using a pseudo color is generated and displayed on the monitor 18.
- the oxygen saturation image is an example of a biological information image.
- calculation a biological information image related to the calculated biological information is generated. And display.
- the calibration mode is a mode for calibrating the biological information observation mode.
- the calibration mode is automatically performed before calculating biological information at least in the biological information observation mode.
- a normal part having no apparent lesion or the like is pre-photographed, and a correction amount of data used for calculating biometric information or the like is calculated using a pre-photographed image obtained in the pre-photographing.
- the biological information observation mode is calibrated by correcting data used for calculating biological information using the calculated correction amount.
- the calibration mode calibrates the oxygen saturation observation mode. That is, in the calibration mode, the correction amount ⁇ D of data used for calculating the oxygen saturation in the oxygen saturation observation mode is calculated using the pre-captured image. Then, the data used for calculating the oxygen saturation is corrected using the calculated correction amount ⁇ D.
- the data used for calculating the oxygen saturation is, for example, a correlation that correlates the calculated value calculated using a plurality of actual captured images with the oxygen saturation.
- the calibration mode can be executed at an arbitrary timing during the biological information observation mode by an operation input from the console 19 or the like. That is, during execution of the biological information observation mode, the calibration mode can be arbitrarily interrupted and executed as necessary.
- the processor device 16 is electrically connected to the monitor 18 and the console 19.
- the monitor 18 outputs and displays images in each observation mode and image information attached to the images.
- the console 19 functions as a user interface that receives input operations such as function settings.
- the processor device 16 may be connected to an external recording unit (not shown) for recording images, image information, and the like.
- the light source device 14 includes a light source unit 20 that emits illumination light and a light source control unit 22 that controls driving of the light source unit 20.
- the light source unit 20 includes four light sources: a BS light source 20a, a BL light source 20b, a G light source 20c, and an R light source 20d.
- the BS light source 20a, the BL light source 20b, the G light source 20c, and the R light source 20d are all LEDs (Light-Emitting-Diode).
- the light source unit 20 can use a combination of a laser diode (LD), a phosphor, and a band limiting filter, or a combination of a lamp such as a xenon lamp and a band limiting filter.
- LD laser diode
- a phosphor a phosphor
- a band limiting filter or a combination of a lamp such as a xenon lamp and a band limiting filter.
- the BS light source 20a is a blue light source that emits the first blue light BS having a center wavelength of about 450 ⁇ 10 nm and a wavelength band of about 420 nm to 500 nm.
- the BL light source 20b is a blue light source that emits blue so-called narrow band light (hereinafter referred to as second blue light BL) having a center wavelength and a wavelength band of about 470 nm ⁇ 10 nm.
- the G light source 20c is a green light source that emits green light G having a center wavelength of about 540 ⁇ 20 nm and a wavelength band of about 480 nm to 600 nm.
- the R light source 20d is a red light source that emits red light R having a center wavelength of about 640 ⁇ 20 nm and a wavelength band of about 600 nm to 650 nm.
- the light source control unit 22 independently controls the lighting and extinguishing timings of each of the light sources 20a to 20d constituting the light source unit 20, the light emission amount at the time of lighting, and the like.
- the light source unit 20 is used in normal observation illumination light used in the normal observation mode, biological information observation illumination light used in the biological information observation mode in the special observation mode, and calibration mode. And illuminating light for calibration. That is, since the biological information observation mode is the oxygen saturation observation mode, the biological information observation illumination light is the oxygen saturation observation illumination light.
- the light source controller 22 turns on the BS light source 20a, the G light source 20c, and the R light source 20d at the same time.
- the normal observation illumination light is white light including the first blue light BS, the green light G, and the red light R.
- the light source unit 20 in the normal observation mode, the light source unit 20 always emits the white light.
- the light source 20 may emit white light in accordance with the photographing timing of the observation target (hereinafter referred to as a photographing frame).
- the light source control unit 22 alternately turns on and off the light sources 20a to 20d in the first pattern and the second pattern.
- the first pattern is a light emission pattern for lighting the BL light source 20b alone.
- the second blue light BL becomes illumination light.
- the second pattern is a pattern in which the BS light source 20a, the G light source 20c, and the R light source 20d are turned on simultaneously.
- white light including the first blue light BS, the green light G, and the red light R becomes illumination light. Therefore, in the oxygen saturation observation mode, as shown in FIG. 3, the second blue light BL and the white light repeatedly and alternately emit light according to the photographing frame.
- the actual captured image obtained by imaging the observation target using the second blue light BL that is the first pattern illumination light directly carries the most oxygen saturation information when the observation target is irradiated. It will be.
- the actual captured image obtained by imaging the observation target using the white light that is the illumination light of the second pattern is used for more accurately calculating the information on the oxygen saturation carried by the second blue light BL. Therefore, the oxygen saturation illumination light is the second blue light BL.
- the light source control unit 22 basically turns on the BS light source 20a, the BL light source 20b, the G light source 20c, and the R light source 20d individually and sequentially. Further, the light source control unit 22 simultaneously lights the BS light source 20a, the G light source 20c, and the R light source 20d at least once during or before and after turning on each of the light sources 20a to 20d. Accordingly, in the calibration mode, the light source unit 20 sequentially emits the first blue light BS, the second blue light BL, the green light G, and the red light R, and at least once before or after each color light. Emits white light.
- the first blue light BS, the second blue light BL, the green light G, and the red light R are calibration illumination lights used for calibration in the oxygen saturation observation mode (biological information observation mode). is there.
- the white light emitted during or before and after the calibration illumination light is emitted obtains a white light image 202 (see FIG. 15) to be displayed on the monitor 18 when the calibration image is obtained using each calibration illumination light. Illumination light.
- the calibration illumination light is sequentially turned on in the order of the first blue light BS, the second blue light BL, the green light G, and the red light R.
- the light source unit 20 inserts light emission of white light a plurality of times. Therefore, in the calibration mode of the present embodiment, as illustrated in FIG. 4, the light source unit 20 includes the first blue light BS, white light, second blue light BL, white light, green light G, white light, and red.
- Light R is emitted in accordance with the photographing frame in this order. This light emission pattern is repeated when the calibration mode is repeated.
- the illumination light emitted from the light source unit 20 enters the light guide 41.
- the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 14, and the processor device 16), and the illumination light is transmitted to the distal end portion 12d of the endoscope 12.
- a multimode fiber can be used as the light guide 41.
- a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of 0.3 to 0.5 mm including a protective layer serving as an outer skin can be used.
- the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and a photographing optical system 30b.
- the illumination optical system 30 a has an illumination lens 45, and illumination light is irradiated to the observation target through the illumination lens 45.
- the photographing optical system 30b includes an objective lens 46, a zoom lens 47, and an image sensor 48.
- the image sensor 48 reflects reflected light of the illumination light returning from the observation target via the objective lens 46 and the zoom lens 47 (scattered light, fluorescence emitted from the observation target, or fluorescence caused by a drug administered to the observation target, etc.
- the observation object is photographed using
- the zoom lens 47 moves by operating the zoom operation unit 13b, and enlarges or reduces the observation target to be photographed using the image sensor 48.
- the image sensor 48 is a primary color sensor, a B pixel (blue pixel) having a blue color filter, a G pixel (green pixel) having a green color filter, and an R pixel (red pixel) having a red color filter. These three types of pixels are provided.
- the blue color filter mainly transmits light in the blue band, specifically, light in the wavelength band of 380 to 560 nm.
- the transmittance of the blue color filter has a peak near the wavelength of 460 to 470 nm.
- the green color filter mainly transmits light in the green band, specifically, light in the wavelength band of 460 to 470 nm.
- the red color filter mainly transmits light in the red band, specifically, light in the wavelength band of 580 to 760 nm.
- the normal observation illumination light to be used is white light, so that a Bc image, a Gc image, and an Rc image are obtained as shown in Table 1.
- the Bc image is an image obtained by photographing the observation object mainly using the reflected light of the first blue light BS included in the normal observation illumination light
- the Gc image is the green light G mainly included in the normal observation illumination light. It is the image which image
- the Rc image is an image obtained by photographing the observation object mainly using the reflected light of the red light R included in the normal observation illumination light.
- the oxygen saturation observation mode which is the biological information observation mode, and the calibration mode differ in the type of illumination light and the light emission pattern.
- the illumination light is alternately switched between the second blue light BL (oxygen saturation illumination light) and white light in accordance with the photographing frame.
- the B1 image, the G1 image, and the R1 image are acquired using the second blue light BL, and the B2, G2, and R2 images are obtained using the white light.
- the B1 image is an image obtained by photographing the observation target in the B pixel using the reflected light of the second blue light BL.
- the G1 image is an image obtained by photographing the observation target in the G pixel using the reflected light of the second blue light BL
- the R1 image is the R pixel using the reflected light of the second blue light BL. It is an image obtained by photographing an observation object in FIG.
- the reflected light of the second blue light BL does not pass through the green color filter of the G pixel and the red color filter of the R pixel
- the second blue light BL is used as illumination light when no fluorescence or the like is generated from the observation target. In the shooting frame to be used, only the B1 image is obtained substantially.
- an image similar to that in the normal observation mode can be obtained from the imaging frame that uses white light as illumination light, but for discrimination, each image obtained in an imaging frame that uses white light as illumination light in the oxygen saturation observation mode.
- B2 image, G2 image, and R2 image are referred to as B1 image, G1 image, R1 image, B2 image, G2 image, and R2 image.
- the B1 image, G1 image, R1 image, B2 image, G2 image, and R2 image acquired in the oxygen saturation observation mode are actual captured images.
- the illumination light is switched in the order of the first blue light BS, the second blue light BL, the green light G, and the red light R in accordance with the photographing frame, and white light is used as the illumination light between them. Insert the captured frame.
- a Bp image, a Gp image, and an Rp image are obtained in an imaging frame that uses the first blue light BS as illumination light.
- the Bp image is an image obtained by photographing an observation target in the B image using reflected light of the first blue light BS or the like.
- the Gp image is an image obtained by photographing an observation target in the G image using the reflected light of the first blue light BS
- the Rp image is R using the reflected light of the first blue light BS.
- a Bq image, a Gq image, and an Rq image are obtained in an imaging frame that uses the second blue light BL as illumination light.
- the Bq image is an image obtained by photographing an observation target in the B image using reflected light of the second blue light BL or the like.
- the Gq image is an image obtained by photographing the observation target in the G image using the reflected light of the second blue light BL
- the Rq image is R using the reflected light of the second blue light BL. It is an image obtained by photographing an observation object in an image.
- the second blue light BL is used as illumination light when no fluorescence or the like is generated from the observation target. In the photographing frame to be used, only the Bq image is obtained substantially.
- a Br image, a Gr image, and an Rr image are obtained in an imaging frame that uses green light G as illumination light.
- a Gr image is an image obtained by photographing an observation target in a G pixel using reflected light of green light G or the like.
- the Br image is an image obtained by photographing the observation target in the B pixel using the reflected light of the green light G or the like
- the Rr image is the observation target in the R pixel using the reflected light of the green light G or the like. It is an image obtained by photographing.
- the green light G does not transmit much through the blue color filter of the B pixel and the red color filter of the R pixel, when no fluorescence or the like is generated from the observation target, in the photographing frame using the green light G as illumination light, The image obtained substantially is only the Gr image.
- a Bs image, a Gs image, and an Rs image are obtained in a photographing frame that uses the red light R as illumination light.
- the Rs image is an image obtained by photographing an observation target in the R pixel using reflected light of red light R or the like.
- the Bs image is an image obtained by photographing the observation target in the B pixel using the reflected light of the red light R or the like
- the Gs image is the observation target in the G pixel using the reflected light of the red light R or the like. It is an image obtained by photographing.
- the red light R does not transmit much through the blue color filter of the B pixel and the green color filter of the G pixel, when no fluorescence or the like is generated from the observation target, in the photographing frame using the red light R as illumination light, The image obtained substantially is only the Rs image.
- Bt images, Gt images, and Rt images are obtained in an imaging frame that uses white light as illumination light in the calibration mode.
- the Bt image is an image obtained by photographing an observation target in the B pixel using the reflected light of the first blue light BS mainly included in white light.
- the Gt image is an image obtained by photographing the observation target in the G pixel using the reflected light of the green light G mainly included in the white light
- the Rt image is the red light R mainly including the white light. This is an image obtained by photographing the observation target in the R pixel using the reflected light or the like.
- these images are the same as the Bc image, the Gc image, and the Rc image obtained in the normal observation mode, but are referred to as a Bt image, a Gt image, and an Rt image, respectively, for distinction.
- the Bp image, Gp image, Rp image, Bq image, Gq image, Rq image, Bs image, Gs image, Rs image, Bt image, Gt image, and Rt image acquired in the calibration mode are pre-photographed images.
- the Bp image, the Bq image, the Gr image, and the Rs image are calibration images that are actually used for calibration in the oxygen saturation observation mode.
- a CCD (Charge-Coupled Device) sensor or a CMOS (Complementary Metal-Oxide Semiconductor) sensor can be used as the image sensor 48 .
- the image sensor 48 of the present embodiment is a primary color sensor, but a complementary color sensor can also be used.
- Complementary color sensors include, for example, a cyan pixel with a cyan color filter, a magenta pixel with a magenta color filter, a yellow pixel with a yellow color filter, and a green pixel with a green color filter.
- a complementary color sensor is used, an image obtained from each color pixel can be converted into a B image, a G image, and an R image by performing complementary color-primary color conversion.
- a monochrome sensor not provided with a color filter can be used as the image sensor 48 instead of the color sensor. In this case, the image of each color can be obtained by sequentially photographing the observation target using illumination light of each color such as BGR.
- the processor device 16 includes a control unit 52, an image acquisition unit 54, an image processing unit 61, and a display control unit 66.
- the control unit 52 receives the mode switching signal from the mode switching switch 13a and inputs the control signal to the light source control unit 22 and the image sensor 48 to switch the observation mode. In the special observation mode, the oxygen saturation observation mode and the calibration mode are switched. In addition, the control unit 52 also performs synchronous control of the illumination light irradiation timing and the photographing timing.
- the image acquisition unit 54 acquires an image to be observed from the image sensor 48.
- the image acquisition unit 54 acquires a Bc image, a Gc image, and an Rc image for each shooting frame.
- the image acquisition unit 54 uses a B1 image, G1 in a shooting frame that uses the second blue light BL as illumination light.
- the B2 image, the G2 image, and the R2 image are acquired in the photographing frame that acquires the image and the R1 image and uses white light as the illumination light.
- the image acquisition unit 54 acquires a Bp image, a Gp image, and an Rp image in a shooting frame that uses the first blue light BS as illumination light, and uses the second blue light BL as illumination light.
- a Bq image, a Gq image, and an Rq image are acquired in an imaging frame to be acquired
- a Br image, a Gr image, and an Rr image are acquired in an imaging frame that uses green light G as illumination light
- a red light R is emitted as illumination light.
- a Bs image, a Gs image, and an Rs image are acquired in the shooting frame used for the above.
- a Bt image, a Gt image, and an Rt image are acquired in an imaging frame inserted between them using white light as illumination light.
- the image acquisition unit 54 includes a DSP (Digital Signal Processor) 56, a noise reduction unit 58, and a conversion unit 59, and performs various processes on the acquired image using these.
- DSP Digital Signal Processor
- the DSP 56 performs various processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, demosaic processing, and YC conversion processing on the acquired image as necessary.
- the defect correction process is a process for correcting the pixel value of the pixel corresponding to the defective pixel of the image sensor 48.
- the offset process is a process for reducing the dark current component from the image subjected to the defect correction process and setting an accurate zero level.
- the gain correction process is a process for adjusting the signal level of each image by multiplying the image subjected to the offset process by a gain.
- the linear matrix process is a process for improving the color reproducibility of the image subjected to the offset process, and the gamma conversion process is a process for adjusting the brightness and saturation of the image after the linear matrix process.
- the demosaic process (also referred to as an isotropic process or a synchronization process) is a process of interpolating the pixel values of the missing pixels, and is applied to the image after the gamma conversion process.
- the missing pixel is a pixel having no pixel value because pixels of other colors are arranged in the image sensor 48 due to the arrangement of the color filters.
- the B image is an image obtained by photographing the observation target in the B pixel, the pixel at the position corresponding to the G pixel or the R pixel of the image sensor 48 has no pixel value.
- the B image is interpolated to generate pixel values of the pixels at the positions of the G pixel and the R pixel of the image sensor 48.
- the YC conversion process is a process for converting the demosaiced image into a luminance channel Y, a color difference channel Cb, and a color difference channel Cr.
- the noise reduction unit 58 performs noise reduction processing on the luminance channel Y, the color difference channel Cb, and the color difference channel Cr using, for example, a moving average method or a median filter method.
- the conversion unit 59 reconverts the luminance channel Y, the color difference channel Cb, and the color difference channel Cr after the noise reduction processing into an image of each color of BGR again.
- the image processing unit 61 includes a normal processing unit 62 and a special processing unit 63.
- the normal processing unit 62 operates in the normal observation mode, and performs color conversion processing, color enhancement processing, and structure enhancement processing on the Bc image, Gc image, and Rc image for one shooting frame subjected to the above-described various processing. To generate a normal image.
- a 3 ⁇ 3 matrix process, a gradation conversion process, a three-dimensional LUT (look-up table) process, and the like are performed on an image of each color of BGR.
- the color enhancement process is a process for enhancing the color of an image
- the structure enhancement process is a process for enhancing a tissue or structure to be observed such as a blood vessel or a pit pattern.
- the display control unit 66 sequentially acquires normal images from the normal processing unit 62, converts the acquired normal images into a format suitable for display, and sequentially outputs and displays them on the monitor 18. Thereby, in the normal observation mode, the doctor or the like can observe the observation target using the moving image of the normal image.
- the special processing unit 63 includes a calculation value calculation unit 70, a data storage unit 71, a biological information calculation unit 72, an image generation unit 73, a calibration information calculation unit 75, a correction amount calculation unit 76, and a calibration unit. 77.
- the calculation value calculation unit 70, the biological information calculation unit 72, and the image generation unit 73 function in the oxygen saturation observation mode.
- the calculated value calculation unit 70 acquires the actual captured image obtained in the biological information observation mode from the image acquisition unit 54, and calculates the calculated value used by the biological information calculation unit 72 for calculating the biological information using the actual captured image. That is, since the biological information observation mode is the oxygen saturation observation mode and the oxygen saturation is calculated as biological information, the calculation value calculation unit 70 acquires the actual captured image obtained in the oxygen saturation observation mode from the image acquisition unit 54. Then, using the actual captured image, the biological information calculation unit 72 calculates a calculation value used for calculating the oxygen saturation. More specifically, the calculation value calculation unit 70 acquires the B1 image, the B2 image, the G2 image, and the R2 image from the image acquisition unit 54 in the oxygen saturation observation mode.
- the ratio B1 / G2 of the B1 image to the G2 image and the ratio R2 / G2 of the R2 image to the G2 image are calculated for each pixel.
- the ratio B1 / G2 and the ratio R2 / G2 are calculation values used for calculating the oxygen saturation.
- the data storage unit 71 stores data used when the biological information calculation unit 72 calculates the biological information using the calculated value calculated by the calculated value calculation unit 70. That is, since the oxygen saturation is calculated as the biological information, the data storage unit 71 stores the correlation between the calculation value calculated by the calculation value calculation unit 70 and the oxygen saturation in a format such as LUT. . As shown in FIG. 7, when this correlation is expressed in the first feature space formed by using the vertical axis Log (B1 / G2) and the horizontal axis Log (R2 / G2), the point where the oxygen saturation is the same value. An isoline connecting the lines is formed substantially along the horizontal direction. Further, the isoline is positioned downward in the vertical axis direction as the oxygen saturation is increased. For example, the isoline 83 with 100% oxygen saturation is located below the isoline 84 with 0% oxygen saturation.
- the above correlation is closely related to the light absorption characteristics of oxygenated hemoglobin (graph 86) and reduced hemoglobin (graph 87) shown in FIG.
- the wavelength of the second blue light BL (about 470 ⁇ 10 nm) has a large difference in extinction coefficient between oxyhemoglobin and deoxyhemoglobin, so that the amount of light absorption changes due to the oxygen saturation of hemoglobin.
- the second blue light BL is easy to handle oxygen saturation information. Therefore, the oxygen saturation can be calculated by using the ratio B1 / G2 obtained by standardizing the B1 image by using the G2 image for correction of illuminance unevenness and the like.
- the ratio B1 / G2 depends not only on the oxygen saturation but also on the blood volume.
- the ratio R2 / G2 which changes mainly depending on the blood volume, is used, so that the oxygen saturation can be calculated without being influenced by the blood volume.
- the wavelength of the green light G (about 540 ⁇ 20 nm) included in the G2 image is a wavelength at which the extinction coefficient is likely to change due to the blood volume because the extinction coefficient of hemoglobin is relatively high.
- the data storage unit 71 stores a correlation between the ratio B1 / G2 and the ratio R2 / G2 and the oxygen saturation, but the data storage unit 71 may store other correlations. it can.
- the oxygen saturation using a calculated value (hereinafter referred to as another calculated value) obtained as a result of performing another calculation (for example, difference processing) different from the above based on the B1 image, the B2 image, the G2 image, and the R2 image.
- another calculated value obtained as a result of performing another calculation (for example, difference processing) different from the above based on the B1 image, the B2 image, the G2 image, and the R2 image.
- the data storage unit 71 can store a correlation that associates the other calculated values with the oxygen saturation.
- the biometric information calculation unit 72 refers to the data stored in the data storage unit 71 and calculates biometric information using the calculation value calculated by the calculation value calculation unit 70.
- the biological information calculation unit 72 functions as an oxygen saturation calculation unit.
- the biological information calculation unit 72 refers to the correlation stored in the data storage unit 71 and calculates the oxygen saturation corresponding to the ratio B1 / G2 and the ratio R2 / G2 for each pixel.
- the oxygen saturation corresponding to the ratio B1 * / G2 * and the ratio R2 * / G2 * of a specific pixel is “40%” with reference to the correlation stored in the data storage unit 71. Accordingly, the biological information calculation unit 72 calculates the oxygen saturation of the specific pixel as “40%”.
- the ratio B1 / G2 and the ratio R2 / G2 are hardly increased or extremely decreased. That is, the combinations of the values of the ratio B1 / G2 and the ratio R2 / G2 are distributed below the upper limit isoline 83 (see FIG. 7) of the oxygen saturation 100%, or conversely, the oxygen saturation 0 There is almost no distribution above the isoline 84 (see FIG. 7) at the lower limit of%. If the combination of each value of the ratio B1 / G2 and the ratio R2 / G2 is distributed below the upper limit isoline 83, the biological information calculation unit 72 calculates the oxygen saturation of the pixel as 100%. To do.
- the biological information calculation unit 72 sets the oxygen saturation of the pixel to 0%. And calculate. Further, when the points corresponding to the ratios B1 / G2 and R2 / G2 are not distributed between the upper limit isoline 83 and the lower limit isoline 84, the reliability of oxygen saturation in the pixel is low. May be displayed, or oxygen saturation may not be calculated.
- the image generation unit 73 In the biological information observation mode, the image generation unit 73 generates a biological information image representing the biological information calculated by the biological information calculation unit 72. That is, the image generation unit 73 generates an oxygen saturation image obtained by imaging the oxygen saturation using the oxygen saturation calculated by the biological information calculation unit 72. Specifically, the image generation unit 73 acquires a B2 image, a G2 image, and an R2 image, and applies a gain corresponding to the oxygen saturation to these images for each pixel. For example, the image generation unit 73 multiplies the B2 image, the G2 image, and the R2 image by the same gain “1” for pixels having oxygen saturation of 60% or more.
- a pixel having an oxygen saturation of less than 60% is multiplied by a gain less than “1” for the B2 image, and a gain of “1” or more is multiplied for the G2 image and the R2 image.
- the image generation unit 73 generates an oxygen saturation image that generates a color oxygen saturation image using the B2, G2, and R2 images that have been gained as described above.
- the oxygen saturation image generated by the image generation unit 73 is acquired by the display control unit 66 and sequentially displayed on the monitor 18.
- a region of high oxygen in this embodiment, a region where the oxygen saturation is 60% or more and 100% or less
- a low oxygen region in which the oxygen saturation is lower than a specific value in this embodiment, the oxygen saturation is 0% or more and less than 60%
- the image generation unit 73 multiplies the gain for pseudo-coloring only the low oxygen region, but the oxygen saturation is also increased in the high oxygen region.
- a corresponding gain may be applied to pseudo-color the entire oxygen saturation image.
- the low oxygen region and the high oxygen region are separated with an oxygen saturation of 60% as a boundary, but this boundary is also arbitrary.
- the calibration mode among the units of the special processing unit 63, the calibration information calculation unit 75, the correction amount calculation unit 76, the calibration unit 77, and the image generation unit 73 function.
- the calibration information calculation unit 75 acquires a pre-captured image from the image acquisition unit 54, and calculates biometric information (hereinafter referred to as calibration information) used for calibration in the biometric information observation mode using the pre-captured image.
- the calibration information is, for example, biological information unique to the observation target that represents the part or state of the observation target. Specifically, the calibration information calculation unit 75 first acquires at least a Bp image, a Bq image, a Gr image, and an Rs image from the image acquisition unit 54. And biological information related to yellow pigment (such as bilirubin and stercobilin) attached to the observation object and low dependency on oxygen saturation, and other biological information used for calibration of the oxygen saturation observation mode, Is calculated.
- the term “related to yellow pigment” means that there is a correlation in the amount or concentration of yellow pigment deposited. Further, the low dependency on the oxygen saturation means that the value of the yellow pigment information does not substantially change due to the value of the oxygen saturation.
- the calibration information calculation unit 75 firstly calculates the ratio Bp / Gr of the Bp image to the Gr image, the ratio Bq / Gr of the Bq image to the Gr image, and the ratio Rs / Gr of the Rs image to the Gr image. Are calculated for each pixel.
- the Bp image is an image corresponding to the first blue light BS, and the wavelength band of the first blue light BS (center wavelength about 450 ⁇ 10 nm) has a relatively high extinction coefficient of hemoglobin, and oxygenated hemoglobin and reduced hemoglobin. It is an isosbestic wavelength having substantially the same extinction coefficient (see FIG. 8). For this reason, the Bp image is an image whose value hardly changes due to oxygen saturation. Further, as shown in FIG. 9, the first blue light BS has a wavelength band in which the absorption coefficient of the yellow dye is substantially the highest, and therefore the amount of absorption changes according to the amount or concentration of the yellow dye. Cheap.
- the value of the ratio Bp / Gr obtained by standardizing the Bp image using the Gr image for correction of illuminance unevenness and the like hardly changes due to the oxygen saturation, but the amount of yellow dye attached Or it changes due to concentration.
- the wavelength band of the green light G corresponding to the Gr image is a wavelength band in which the amount of light absorption easily changes due to the blood volume, and thus the ratio Bp / Gr changes due to the blood volume.
- the Bq image is an image corresponding to the second blue light BL, and the wavelength band (about 470 ⁇ 10 nm) of the second blue light BL has a relatively high hemoglobin extinction coefficient, and the oxygenated hemoglobin and the reduced hemoglobin. Wavelength bands with different extinction coefficients (see FIG. 8). For this reason, the Bq image is an image that easily changes due to the oxygen saturation. Moreover, although the wavelength band of the second blue light BL is slightly deviated from the absorption peak of the yellow pigment, it has a large extinction coefficient compared to other wavelength bands (see FIG. 9). From these facts, the value of the ratio Bq / Gr obtained by standardizing the Bq image using the Gr image for correction of illuminance unevenness, etc. is attributed to the oxygen saturation and the adhesion amount or concentration of the yellow pigment. The value changes. Further, since the Gr image is dependent on the blood volume, the value of the ratio Bq / Gr changes due to the blood volume.
- the Rs image is an image corresponding to the red light R, and the wavelength band of the red light R (center wavelength of about 640 ⁇ 20 nm) is compared to the wavelength bands of the first blue light BS and the second blue light BL.
- the extinction coefficient of hemoglobin is very small (see FIG. 8). For this reason, although there is a difference in the extinction coefficient between oxyhemoglobin and deoxyhemoglobin, the Rs image is substantially independent of oxygen saturation because the amount of light absorption is too small.
- the yellow dye since the extinction coefficient of the yellow dye in the wavelength band of the red light R is very small compared to the wavelength bands of the first blue light BS and the second blue light BL, the Rs image is the yellow dye.
- the value of the ratio Rs / Gr obtained by standardizing the Rs image using the Gr image for correction of illuminance unevenness and the like hardly depends on the oxygen saturation, the yellow pigment adhesion amount, or the concentration.
- the ratio Rs / Gr changes due to the blood volume, reflecting the blood volume dependency of the Gr image.
- the calibration information calculation unit 75 is more accurately related to the yellow pigment attached to the observation target and is less dependent on oxygen saturation (hereinafter referred to as yellow pigment information).
- Vy is calculated based on the following formula A.
- the phase ⁇ is a known amount that is adjusted in advance so that the yellow pigment information Vy obtained by the calculation based on the equation A becomes constant even when the oxygen saturation changes.
- the calibration information calculation unit 75 inputs the yellow pigment information Vy after the adjustment of the phase ⁇ and the ratio Rs / Gr to the correction amount calculation unit 76 as calibration information.
- Vy (Bp / Gr) ⁇ cos ⁇ + (Bq / Gr) ⁇ sin ⁇
- the correction amount calculation unit 76 calculates a correction amount of data used for calculation of biological information from predetermined reference information and the calibration information calculated by the calibration information calculation unit 75. That is, the correction amount calculation unit 76 uses the yellow pigment information Vy to calculate the correlation correction amount ⁇ D used for calculating the oxygen saturation. Further, by using the calibration information calculated by the calibration information calculation unit 75, the correction amount calculation unit 76 substantially uses the calibration image for calculating the correction amount.
- the reference information is a correlation between the yellow pigment information Vy and the ratio Rs / Gr acquired in a state where there is almost no yellow pigment.
- the yellow pigment information Vy constituting the reference information is obtained by using the Bp image, the Bq image, and the Gr image acquired in a state where there is almost no yellow pigment, so that there is no change due to the oxygen saturation. Is the yellow pigment information Vy calculated according to the formula A. In this process, the phase ⁇ of equation A is also determined.
- the reference information can be determined in advance by, for example, photographing or simulating a phantom imitating a living body.
- the data used for calculating the biological information in the biological information observation mode is a correlation stored in the data storage unit 71 in the present embodiment.
- the correction amount calculation unit 76 calculates the correction amount ⁇ D using the second feature space in which the vertical axis represents yellow pigment information Vy and the horizontal axis represents Log (Rs / Gr). Since the ratio Rs / Gr used on the horizontal axis represents the blood volume, the second feature space represents the distribution of yellow pigment information Vy relative to the blood volume, and the line connecting the points where the yellow pigment information Vy is equal in the second feature space is yellow. It is an isoline (hereinafter referred to as an isoconcentration line) having the same pigment concentration (or adhesion amount).
- the reference information forms a reference isoconcentration line 94 in the second feature space. For this reason, if there is actually no yellow pigment, the point where the yellow pigment information Vy and the ratio Rs / Gr obtained by actually pre-photographing the observation object are set in the second feature space is on the reference isodensity line 94. However, if there is a yellow pigment, it will fall on another isoconcentration line 96 at a position deviated from the reference isoconcentration line 94 due to the amount or density of the yellow pigment.
- the coefficient ⁇ is a value for scaling the difference ⁇ Z to a value suitable for correcting the correlation stored in the data storage unit 71. Since the value of the yellow pigment information Vy increases as the adhesion amount or density of the yellow pigment decreases, the isodensity line of the second feature space is formed below the reference isodensity line 94.
- the calibrating unit 77 calibrates the biological information observation mode by correcting the data used for the calculation of the biological information using the correction amount ⁇ D calculated by the correction amount calculating unit 76.
- the calibration unit 77 calibrates the oxygen saturation observation mode by correcting the correlation stored in the data storage unit 71 using the correction amount ⁇ D.
- the calibration unit 77 adds the correction amount ⁇ D to the value of Log (B1 / G2) on the vertical axis to all isolines in the first feature space (see FIG. 7). That is, the calibration unit 77 shifts all isolines in the first feature space upward in the vertical axis by the correction amount ⁇ D.
- the biological information calculation unit 72 can calculate an accurate oxygen saturation that does not depend on an error factor specific to the observation target.
- the biological information observation mode (oxygen saturation observation mode) is calibrated using the calibration information calculation unit 75, the correction amount calculation unit 76, and the calibration unit 77, while the image generation unit 73 is in the calibration mode.
- the Bt image, the Gt image, and the Rt image (that is, an image obtained using white light during the calibration mode) are sequentially acquired from the image acquisition unit 54.
- the image generation unit 73 performs a color conversion process, a color enhancement process, and a structure enhancement process on the Bt image, the Gt image, and the Rt image for one shooting frame to generate a white light image 202.
- the white light image 202 is the same as the normal image in the normal observation mode except that it is generated during the calibration mode. Therefore, by using the white light image 202, it is possible to observe an observation object with a natural hue.
- the display control unit 66 sequentially acquires the white light images 202 generated by the image generation unit 73 and displays them on the monitor 18 in the calibration mode. For this reason, even when the pre-photographed image is being captured in the calibration mode, the observation of the observation target can be continued without interruption using the white light image 202 or the moving image composed of the white light image 202.
- the control unit 52 inputs control signals to the light source control unit 22 and the image sensor 48.
- the calibration mode is executed (S11).
- the oxygen saturation observation mode biological information observation mode
- the observation object is photographed using white light while the pre-photographed image is obtained, and the white light image 202 is displayed on the monitor 18.
- the doctor or the like looks at the white light image 202 (or the moving image composed of the white light image 202) and determines whether or not the oxygen saturation observation mode has been correctly calibrated (S12). Specifically, since oxygen saturation cannot be accurately calibrated if pre-photographing is performed under inappropriate conditions, the pre-photographing is appropriate by looking at the white light image 202 displayed on the monitor 18 during the calibration mode. Confirm that it was done. For example, conditions related to the shooting position, such as whether there is an obvious lesion in the observation target, whether the brightness is appropriate, and whether the observation target is blurred due to the movement of the observation target. Judgment is made from the white light image 202 obtained almost simultaneously with the pre-photographed image.
- the calibration mode is executed again.
- the process proceeds to the oxygen saturation observation mode, which is the biological information observation mode of the present embodiment (S13).
- the endoscope system 10 calculates the oxygen saturation using the actual captured image obtained by performing the actual imaging, and shows the value of the oxygen saturation using a pseudo color.
- the light source unit 20 emits the first blue light BS (S21), and the image sensor 48 uses the first blue light BS.
- the observation object is automatically pre-photographed, and the image acquisition unit 54 acquires a Bp image used for calibration in the oxygen saturation observation mode (S22).
- the light source unit 20 emits white light (S23).
- the image sensor 48 automatically images the observation target using white light, and the image acquisition unit 54 acquires the Bt image, the Gt image, and the Rt image. (S24).
- the image generation unit 73 generates the white light image 202 using the Bt image, Gt image, and Rt image obtained here, and the display control unit 66 displays the white light image 202 on the monitor 18. Displayed (S25).
- the light source unit 20 emits the second blue light BL (S26). Then, the image sensor 48 automatically captures an observation target using the second blue light BL, and the image acquisition unit 54 acquires a Bq image necessary for calibration in the oxygen saturation observation mode (S27). In the next photographing frame from which the Bq image is obtained, the light source unit 20 emits white light again instead of emitting the illumination light for obtaining the next pre-photographed image (S28). Therefore, the image sensor 48 automatically captures the observation target using white light, and the image acquisition unit 54 acquires the Bt image, the Gt image, and the Rt image again (S29). The image generation unit 73 generates a white light image 202 from these Bt image, Gt image, and Rt image, and the display control unit 66 displays the generated white light image 202 on the monitor 18 (S30).
- the light source unit 20 emits green light G (S31). Then, the image sensor 48 automatically captures an observation target using the green light G, and the image acquisition unit 54 acquires a Gr image necessary for calibration in the oxygen saturation observation mode (S32). Next, the light source unit 20 emits white light again (S33), the image sensor 48 automatically captures the observation target using the white light, and the image acquisition unit 54 performs Bt image, Gt image, and Rt image. Is acquired (S34). For this reason, the image generation unit 73 generates a white light image 202 using these, and the display control unit 66 displays the white light image 202 on the monitor 18 (S35).
- the light source unit 20 emits red light R (S36)
- the image sensor 48 automatically photographs the observation target using the red light R
- the image acquisition unit 54 is saturated with oxygen.
- An Rs image which is the last image necessary for calibration in the degree observation mode, is acquired (S37).
- a plurality of pre-photographed images that is, Bp images, Bq images, Gr images, and Rs images
- the calibration information calculation unit 75 uses the pre-photographed images to calculate biometric information unique to the observation target representing the region and state of the observation target as calibration information (S38).
- the correction amount calculation unit 76 corrects the correlation used for the calculation of the oxygen saturation using the calibration information calculated by the calibration information calculation unit 75, whereby oxygen saturation.
- the degree observation mode is calibrated (S40).
- the light source unit 20 first emits the second blue light BL (S51). Then, the image sensor 48 automatically captures an observation target using the second blue light BL, and the image acquisition unit 54 acquires a B1 image essential for calculating the oxygen saturation (S52). Thereafter, in the next imaging frame, the light source unit 20 emits white light (S53), and the image sensor 48 automatically captures an observation target using the white light, so that the image acquisition unit 54 B2 image, G2 image, and R2 image necessary for calculation of saturation and generation of oxygen saturation image are acquired (S54).
- the calculated value calculation unit 70 calculates a calculated value necessary for calculating the oxygen saturation (S55). Specifically, the calculated value calculation unit 70 calculates the ratio B1 / G2 and the ratio R2 / G2 for each pixel.
- the biological information calculation unit 72 refers to the correlation in the data storage unit 71 and calculates the oxygen saturation of the observation target for each pixel from the ratio B1 / G2 and the ratio R2 / G2 calculated by the calculation value calculation unit 70. (S56).
- the biological information calculation unit 72 uses the correlation corrected by the calibration unit 77 in the calibration mode, not the default correlation stored in advance in the data storage unit 71. For this reason, the oxygen saturation calculated by the biological information calculation unit 72 is accurate because it is not affected by an error factor specific to the observation target.
- the image generation unit 73 applies a gain corresponding to the oxygen saturation to the B2 image, the G2 image, and the R2 image, and converts the value of the oxygen saturation into a pseudo color.
- the oxygen saturation image expressed using is generated, and the display control unit 66 displays the oxygen saturation image on the monitor 18 (S57).
- the endoscope system 10 has a biological information observation mode and a calibration mode for calibrating the biological information observation mode.
- the endoscope system 10 simply obtains a pre-captured image,
- the white light image 202 is generated and displayed during (or before and after) obtaining the pre-photographed image. For this reason, doctors and the like can continuously observe the observation target even in the calibration mode.
- the white light image 202 displayed on the monitor 18 during the calibration mode is acquired almost simultaneously with the pre-photographed image, it represents the state of the observation target before or after obtaining the pre-photographed image. For this reason, doctors or the like determine whether or not pre-imaging has been properly performed by displaying the white light image 202 in the calibration mode, that is, whether or not the oxygen saturation observation mode, which is the biological information observation mode, has been accurately calibrated. Opportunity to make a decision.
- the oxygen saturation observation mode biological information observation mode
- the calibration mode is executed again, so that the oxygen saturation observation mode can be calibrated reliably and accurately. Therefore, in the endoscope system 10, when there is no change in the observation target (for example, secretion of mucus etc.) that requires calibration again, the oxygen saturation can be ensured at the time of transition to the oxygen saturation observation mode. And it can be calculated accurately.
- the correction amount calculation unit 76 calculates the correction amount ⁇ D using the second feature space.
- the correction amount ⁇ D is calculated based on the Bp image, the Bq image, the Gr image, and the Rs. It is also possible to calculate by performing a conversion process combining matrix processing and 1D-LUT (1 (Dimensional Look Up Table) on the image.
- the oxygen saturation observation mode is calibrated with respect to the adhesion amount or concentration of the yellow pigment, but the oxygen saturation observation mode can be calibrated with respect to a state unique to another observation target.
- the calibration information calculation unit 75 may calculate, as calibration information, biological information related to a state unique to the observation target to be calibrated instead of biological information related to the adhesion amount or concentration of the yellow pigment.
- the operations of the correction amount calculation unit 76 and the calibration unit 77 are the same as those in the first embodiment.
- the white light image 202 is obtained (see FIG. 4), but any one of the timings of emitting the white light can be omitted. Further, the white light may be emitted before emitting the first blue light BS to obtain the white light image 202, or the white light may be emitted after the red light R is emitted to obtain the white light image 202. good. That is, it is only necessary that the white light image 202 can be generated and displayed by emitting white light at least once during the calibration mode.
- the pre-captured image is acquired in the order of the Bp image, the Bq image, the Gr image, and the Rs image (see FIG. 12).
- the acquisition order of is arbitrary.
- pre-photographed images can be acquired in the order of Rs image, Bq image, Bp image, and Gr image.
- the calibration accuracy in the oxygen saturation observation mode is particularly likely to be lowered. For this reason, it is preferable to acquire a Bp image and a Bq image continuously as much as possible.
- the emission intervals of the two calibration illumination lights of the combination that has the largest contribution to the calculation accuracy of the correction amount ⁇ D used for the calibration in the oxygen saturation observation mode are set as the other calibration illumination lights. It is preferable to make it shorter than the light emission interval.
- the Bp image and the Bq image are continuously acquired with respect to the acquisition order of the pre-photographed images, and a photographing frame for generating and displaying the white light image 202 is inserted between the Bq image and the Bq image. I do not care.
- the entire pre-captured image is used to calibrate the biological information observation mode (oxygen saturation observation mode).
- the biological information observation mode oxygen saturation observation mode
- the special processing unit 63 is provided with the region setting unit 201 that operates in the calibration mode, as shown in FIG.
- the region setting unit 201 acquires a pre-captured image (that is, a Bp image, a Bq image, a Gr image, and an Rs image) used for calibration of the oxygen saturation observation mode that is the biological information observation mode from the image acquisition unit 54, A part of these pre-photographed images is set in an area (hereinafter referred to as “use area”) 203 (see FIG. 15) used for calibration in the oxygen saturation observation mode.
- use area an area
- the calibration information calculation unit 75 calculates the calibration information only for the use region 203 set by the region setting unit 201.
- the correction amount calculation unit 76 also calculates the correction amount ⁇ D for the use region.
- the correction of the correlation performed by the calibration unit 77 (that is, calibration of the oxygen saturation observation mode) is performed on the entire pre-captured image. Instead, only the use area 203 that is part of the pre-captured image is used. In this way, if the use area 203 is set in a part of the pre-photographed image and the oxygen saturation observation mode is calibrated using only the use area 203 instead of the entire pre-photographed image, the error factor of the calibration can be reduced. Therefore, the oxygen saturation observation mode can be calibrated more accurately.
- the area setting unit 201 has a portion that is too bright (a portion causing halation), a portion that is too dark (portion that has been crushed black due to insufficient light amount), residue, or residual liquid from a pre-photographed image. A portion that causes a calibration error such as a portion being detected is detected, and a region excluding these is set as a use region 203.
- the area setting unit 201 can detect a normal part that can be said to have no lesion or the like based on the shape or the like of the observation target, and can set the detected normal part as the use area 203.
- the area setting unit 201 can set an area excluding a peripheral area of an image in which illuminance unevenness is likely to occur and a certain range of a part at the back of the observation target as the use area 203.
- the use area 203 can be manually set by an operation input from the console 19 or the like.
- the image generation unit 73 Information on the position and range of the use area 203 set by the area setting unit 201 (hereinafter referred to as position information) is acquired from the setting unit 201.
- position information information on the position and range of the use area 203 set by the area setting unit 201
- the display control unit 66 displays the white light image 202 on the monitor 18, the display area 66 sets the use region 203 set by the region setting unit 201 to the white light image 202 based on the position information.
- superimposed display is illustrated in FIG. 15
- the doctor or the like uses the white light image 202 to check whether the state of use can be an error factor such as the movement of the observation target, and also checks whether the use area 203 is not appropriate. If the set use area 203 is inappropriate, the oxygen saturation can be calibrated again.
- the area setting unit 201 detects and sets the use area 203 using the pre-captured image. Instead, the area setting unit 201 uses the white light image 202. An area 203 can be set.
- the use area 203 is superimposed on the white light image 202, but the numerical value of the correction amount ⁇ D and the indicator indicating the numerical value of the correction amount ⁇ D are also superimposed on the white light image 202. Also good. This is because a specific numerical value or the like of the correction amount ⁇ D also serves as a material for determining whether or not the oxygen saturation observation mode is correctly calibrated. For example, when the correction amount ⁇ D is extremely large, there is a possibility that the state of the observation target is far from the normal state, for example, the lesion is spread over the entire captured part. Such abnormalities can be detected by looking at specific numerical values of the correction amount ⁇ D.
- the superimposed display of the numerical value of the correction amount ⁇ D is also effective in the case of the first embodiment.
- the light source unit 20 inserts white light emission a plurality of times while sequentially emitting calibration illumination light for obtaining a pre-photographed image in the calibration mode.
- the monitor 18 generates and displays the white light image 202 from the image obtained in each photographing frame that emits white light.
- the special processing unit 63 further includes a motion amount calculation unit 301 and a position deviation correction unit 302 that operate in the calibration mode.
- the motion amount calculation unit 301 sequentially acquires the white light images 202 generated by the image generation unit 73, and calculates the motion amount of the observation target from the plurality of acquired white light images 202. Specifically, the motion amount calculation unit 301 detects a plurality of vectors (hereinafter referred to as motion vectors) representing the motion of the observation target between the white light images 202 by matching the two white light images 202 acquired sequentially. To do. Then, from these motion vectors, the direction and magnitude of movement, rotation, deformation, etc. of the observation object are calculated. The direction and magnitude of the movement, rotation, deformation, etc. of the observation object calculated in this way is the amount of movement.
- motion vectors a plurality of vectors representing the motion of the observation target between the white light images 202 by matching the two white light images 202 acquired sequentially. To do. Then, from these motion vectors, the direction and magnitude of movement, rotation, deformation, etc. of the observation object are calculated. The direction and magnitude of the movement, rotation, deformation, etc
- the positional deviation correction unit 302 corrects the positional deviation of the observation target of the calibration image using the motion amount calculated by the motion amount calculation unit 301. That is, the positional deviation correction unit 302 corrects the positional deviation of the observation target of the Bp image, the Bq image, the Gr image, and the Rs image that are calibration images.
- the white light image 202 obtained first in the calibration mode white light image 202 obtained in step S25 in FIG. 12
- the white light image 202 obtained next white light image 202 obtained in step S30 in FIG. 12
- the amount of motion is approximately equal to the amount of motion of the observation target between the Bp image, the Bq image, and the Gr image acquired before and after the first white light image 202 obtained and the second white light image 202 obtained next.
- the second white light image 202 obtained in the calibration mode (white light image 202 obtained in step S30 of FIG. 12) and the third white light image 202 obtained (white light image 202 obtained in step S35 of FIG. 12).
- the amount of motion is approximately equal to the amount of motion of the observation target between the Bq image, the Gr image, and the Rs image acquired before and after these. Therefore, if these movement amounts are used, even if there is some movement in the observation target of the Bp image, Bq image, Gr image, and Rs image, the positional deviation of the observation target between these images can be corrected.
- the calibration information calculation unit 75 calculates calibration information using the Bp image, the Bq image, the Gr image, and the Rs image obtained by correcting the positional deviation of the observation target using the positional deviation correction unit 302 as described above. For this reason, the calibration information can be calculated more accurately than in the case where the positional deviation of the observation target is not corrected. Therefore, in the present embodiment, errors due to the movement of the observation target can be reduced, so that the oxygen saturation observation mode is more accurately calibrated.
- the motion amount calculation unit 301 calculates the motion amount using the white light image 202 generated by the image generation unit 73, but the motion amount calculation unit 301 Instead, the amount of motion can be calculated using an image for generating the white light image 202. Specifically, since the image generation unit 73 generates the white light image 202 using the Bt image, the Gt image, and the Rt image, the motion amount calculation unit 301 can select any of the Bt image, the Gt image, and the Rt image. Or all of them can be used to calculate the amount of motion.
- the amount of motion is calculated from the plurality of white light images 202 to correct the positional deviation of the observation target of the calibration image. Instead, the plurality of white light images are corrected.
- the light amount ratio of 202 may be calculated, and the light amount ratio of the calibration image may be corrected using the calculated light amount ratio.
- the special processing unit 63 is provided with a light amount ratio calculation unit 401 and a light amount ratio correction unit 402 that function in the calibration mode.
- the light amount ratio calculation unit 401 sequentially acquires the white light images 202 from the image generation unit 73 and calculates their light amount ratio.
- the light amount of the image is, for example, an average value of luminance of all or some of the pixels (hereinafter referred to as average luminance), and the light amount ratio of the image is a ratio of the average luminance of the contrasted images. Therefore, the light quantity ratio of the plurality of white light images 202 is the ratio of the average luminance of each white light image 202.
- the light amount ratio correcting unit 402 corrects the light amount ratio of the calibration image using the light amount ratio calculated by the light amount ratio calculating unit 401.
- the light quantity ratio calculation unit 401 first obtains the white light image 202 (white light image 202 obtained in step S25 in FIG. 12) and the white light image 202 obtained next (white color obtained in step S30 in FIG. 12) in the calibration mode.
- this light quantity ratio generally represents a change in the light quantity of the Bp image, the Bq image, and the Gr image acquired before and after the white light image 202.
- the light quantity ratio calculation unit 401 obtains the second white light image 202 (white light image 202 obtained in step S30 in FIG.
- the light quantity ratio correction unit 402 can correct the light quantity ratios of the Bp image, the Bq image, the Gr image, and the Rs image.
- the calibration information calculation unit 75 calculates calibration information using the Bp image, Bq image, Gr image, and Rs image in which the light amount ratio is corrected using the light amount ratio correction unit 402 as described above. For this reason, the illumination light is emitted from the first blue light BS, the second blue light BL, the green light G, and the red light R due to a variation in the light emission amount, etc. Even in the case where there is a change in the light amount of the Rs image, in this embodiment, the light amount ratio of each of these calibration images is corrected, so that the calibration information can be accurately calculated. Therefore, in the present embodiment, the error due to the change in the light amount of the calibration image can be reduced, so that the calibration in the oxygen saturation observation mode becomes more accurate.
- the light amount ratio calculating unit 401 calculates the light amount ratio using the white light image 202 generated by the image generating unit 73.
- the light amount ratio calculating unit 401 is a white light image.
- the light amount ratio can be calculated using an image for generating the white light image 202.
- the image generation unit 73 since the image generation unit 73 generates the white light image 202 using the Bt image, the Gt image, and the Rt image, the light amount ratio calculation unit 401 can select any of the Bt image, the Gt image, or the Rt image. Or all of them can be used to calculate the light quantity ratio.
- the fourth embodiment can be combined with the third embodiment. That is, both the amount of movement and the light amount ratio are calculated from the plurality of white light images 202 obtained in the calibration mode, and the positional deviation of the observation target of the calibration image is corrected using these, and the light amount of the calibration image is corrected.
- the ratio can be corrected.
- the special amount processing unit 63 may include the motion amount calculation unit 301 and the positional deviation correction unit 302 of the third embodiment and the light amount ratio calculation unit 401 and the light amount ratio correction unit 402 of the fourth embodiment.
- a set of calibration images (a set of Bp images, Bq images, Gr images, and Rs images) is acquired to calibrate the oxygen saturation observation mode.
- a plurality of sets of calibration images may be obtained. For example, as shown in FIG. 18, the first blue light BS, white light, second blue light BL, green light G, and red light R are emitted as one set as in the first embodiment. 1 set to 5th set can be executed together.
- the image obtained when each light is emitted is the same as that of the first embodiment, in the above case, if it is limited to the calibration image, the Bp image, the Bq image, the Gr image, and the Rs image are set as one set, and 5 sets worth are obtained. A calibration image is obtained.
- correction amount calculation unit 76 uses at least the calibration information calculated by using the first set of calibration images, so that the first set of calibration images is used.
- a first set of correction amounts resulting from the image hereinafter referred to as correction amount ⁇ D1 for distinction; the same applies to other sets).
- correction amount ⁇ D1 A first set of correction amounts resulting from the image
- the second set correction amount ⁇ D2 the third set correction amount ⁇ D3, the fourth set correction amount ⁇ D4, and the fifth set correction amount ⁇ D5 can be calculated.
- the oxygen saturation observation mode can be calibrated more accurately by obtaining a plurality of sets of calibration images in the calibration mode.
- the correction amounts ⁇ D1 to ⁇ D5 are calculated for each set, but the correction amount can also be calculated by using a combination of calibration images obtained in different sets.
- the correction amount ⁇ D can be calculated using the Bq image, the Gr image, and the Rs image obtained in the first set and the Bp image obtained in the second set.
- the correction amount can be calculated using the Gr image and Rs image obtained in the first set and the Bp image and Bq image obtained in the second set.
- twelve correction amounts ⁇ D can be calculated in total by changing the calibration image to be used for every two shooting frames.
- the correction amount ⁇ D calculated by combining the calibration images obtained in different sets is added and the five or more correction amounts ⁇ D are averaged, the correction amount ⁇ D is a more accurate value than the fifth embodiment. become. Therefore, as a result, the oxygen saturation observation mode can be calibrated more accurately.
- the fifth embodiment and the modification after calculating a plurality of correction amounts ⁇ D in the calibration mode, these are averaged. Instead of averaging, the median value of the plurality of correction amounts ⁇ D is calibrated. The correction amount ⁇ D used by the unit 77 may be used.
- the motion amount calculation unit 511 when acquiring a plurality of sets of calibration images and calculating a plurality of correction amounts ⁇ in the calibration mode, as shown in FIG. It is preferable to provide a motion amount calculation unit 511. Similar to the motion amount calculation unit 301 of the third embodiment, the motion amount calculation unit 511 sequentially acquires the white light images 202 from the image generation unit 73, and the motion of the observation target between the acquired white light images 202. Calculate the amount. However, the motion amount calculation unit 511 inputs the calculated motion amount to the correction amount calculation unit 76.
- correction amount calculation unit 76 as described in the fifth embodiment, a plurality of correction amounts ⁇ D are calculated, and a value obtained by weighting and averaging the calculated plurality of correction amounts ⁇ D using a motion amount is calibrated.
- the correction amount ⁇ D used in the section 77 is assumed. For example, if five correction amounts ⁇ D1 to ⁇ D5 are calculated for each set, and each movement amount from the first set to the fifth set (or the average value of the movement amount of each set) is ⁇ 1 to ⁇ 5, correction is performed.
- the amount calculation unit 76 multiplies these movement amounts ⁇ 1 to ⁇ 5 by the correction amounts ⁇ D1 to ⁇ D5 of each set and averages them, and calculates a correction amount ⁇ D used in the calibration unit 77.
- the calibration unit 77 corrects the correlation using the weighted average value using the amount of motion, the oxygen saturation observation mode can be calibrated more accurately than in the fifth embodiment.
- the correction amount calculation unit 76 uses the amount of motion as described above, and instead of averaging the plurality of correction amounts ⁇ D, the amount of correction is used to calculate oxygen saturation from the plurality of correction amounts ⁇ D. It is also possible to select a correction amount ⁇ D that is optimal for the calibration of the degree observation mode.
- the correction amount calculation unit 76 changes the third set of correction amounts ⁇ D3 to the correction amount ⁇ D used by the calibration unit 77. select.
- the correction amount ⁇ D of the set with the smallest amount of motion or the correction amount ⁇ D calculated using the calibration image of the combination with the smallest amount of motion is selected and used to correct the oxygen saturation observation mode. By doing so, it is possible to calibrate the oxygen saturation observation mode more easily than the weighted average and more accurately than the fifth embodiment.
- a light amount ratio calculation unit 521 that calculates the light amount ratio of the plurality of white light images 202 may be provided as in the fourth embodiment.
- the light quantity ratio calculation unit 521 calculates a plurality of light quantity ratios, for example, for each set.
- the light amount ratio calculated by the light amount ratio calculation unit 521 can be used instead of the motion amount calculated by the motion amount calculation unit 511. That is, using the light amount ratio calculated by the light amount ratio calculation unit 521, the correction amount ⁇ D used in the calibration unit 77 can be calculated by weighting and averaging the plurality of correction amounts ⁇ D.
- a correction amount ⁇ D that is optimal for calibration in the oxygen saturation observation mode (for example, correction of a set that minimizes the light amount ratio).
- the quantity ⁇ D) can be selected.
- the number of sets of calibration images to be acquired during the calibration mode is determined.
- the time for executing the calibration mode may be determined.
- the calibration mode duration may be set to 5 seconds or the like, and as many calibration images as possible may be acquired within this time including the time to acquire the white light image 202.
- the calibration mode when the observation mode is switched to the special observation mode, the calibration mode is automatically executed. However, the calibration mode is not automatically executed and the special observation mode is switched. At this time, the oxygen saturation observation mode may be automatically executed, and the calibration mode may be arbitrarily executed during the oxygen saturation observation mode.
- the processor device 16 sequentially acquires the oxygen saturation image and calculates the motion amount, and the calibration mode using the motion amount calculated by the motion amount calculation unit 611. It is good to provide the determination part 612 which determines whether to perform.
- the determination unit 612 determines, for example, that the calibration mode is to be executed when the amount of movement is equal to or less than the threshold and the movement of the observation target is small, and inputs a control signal to that effect to the control unit 52, whereby the oxygen saturation level is determined. Automatically insert calibration mode during observation mode. In this way, by determining the optimal situation for the calibration of the oxygen saturation observation mode using the amount of movement, and executing the calibration mode when the optimal situation for the calibration of the calibration mode is reached, the oxygen saturation observation mode Proofreading is easy to succeed.
- the motion amount calculation unit 611 calculates the motion amount from the oxygen saturation image, but instead of the oxygen saturation image, images for generating the oxygen saturation image (B1, B2, G2, and The amount of motion can be calculated using (R2 image). If the determination unit 612 determines to execute the calibration mode, the calibration mode is automatically inserted into the oxygen saturation observation mode by inputting a control signal to the control unit 52. The situation suitable for the mode may be notified using a display (message or the like) on the monitor 18 or the like to prompt manual switching to the calibration mode. Further, the motion amount calculation unit 611 and the determination unit 612 may be provided in the special processing unit 63.
- the special processing unit 63 is provided with a mucosa determination unit 621 for determining the state of the mucous membrane
- the calibration mode is inserted in the oxygen saturation observation mode according to the determination result of the mucosa determination unit 621.
- the mucous membrane determination unit 621 acquires, for example, a B1 image, a B2 image, a G2 image, or an R2 image from the image acquisition unit 54, and detects the state of the mucosa to be observed using any or all of these.
- the calibration mode can be automatically inserted during the oxygen saturation observation mode.
- the mucosa determination unit 621 may determine the color of the mucous membrane. For example, when there is no discoloration (eg, redness) suspected of being a lesion, or when it is determined that the color of the mucosa has changed due to the endoscope 12 entering the stomach from the esophagus and the observation target has become a different organ.
- the mucous membrane determination unit 621 can input a control signal that prompts execution of the calibration mode to the control unit 52, and can automatically insert the calibration mode during the oxygen saturation observation mode.
- the mucous membrane determination unit 621 instead of automatically inserting the calibration mode, the situation suitable for the calibration mode is notified using a display (message or the like) on the monitor 18 or the like, and the calibration mode is entered. The manual switching may be prompted.
- the first blue light BS, the second blue light BL, the green light G, and the red light R are individually emitted to obtain a calibration image.
- a part of the light can be emitted at the same time, and a part of the calibration image can be acquired simultaneously.
- green light G and red light R can be emitted simultaneously, and a Gr image and an Rs image can be acquired simultaneously.
- the first blue light BS, the green light G, and the red light R are simultaneously emitted, the Bp image, the Gr image, and the Rs image are simultaneously obtained, and the second blue light BL is emitted alone.
- the Bq image can be acquired separately.
- the first blue light BS is emitted alone to acquire a Bp image
- the second blue light BL, green light G, and red light R are simultaneously emitted to simultaneously acquire a Bq image, a Gr image, and an Rs image.
- Can do That is, if the first blue light BS and the second blue light BL received by the B pixel are emitted in different shooting frames, and the Bp image and the Bq image are obtained separately, the other calibration images can be obtained simultaneously. it can.
- the oxygen saturation observation mode is basically calibrated in one calibration mode.
- the calibration mode is performed a plurality of times manually or automatically, the calibration performed previously is performed. Calibration can be performed over the calibration result in the mode. That is, when the calibration mode is executed a plurality of times, the default correlation stored in advance in the data storage unit 71 is not always corrected, but the correlation corrected in the previous calibration mode can be corrected. In this way, even if the calibration accuracy in one calibration mode is somewhat low, the calibration accuracy can be improved step by step.
- the biological information observation mode is the oxygen saturation observation mode.
- the present invention is also applicable to a biological information observation mode that calculates biological information other than oxygen saturation. .
- a plurality of calibration illumination lights having different colors (wavelengths) are used in the calibration mode, but the observation target is photographed a plurality of times using the same color calibration illumination lights.
- the biological information observation mode can be calibrated using a plurality of pre-photographed images obtained in this manner.
- the light source unit 20 includes a plurality of light sources 20a to 20d, and the light emitted from these light sources is superimposed to form illumination light. Can form illumination light by extracting and using some components from the light emitted from the broadband light source.
- the light source unit 20 includes a broadband light source 676, a rotary filter 677, and a filter switching unit. 678.
- the image sensor 48 is a monochrome sensor not provided with a color filter. Except this, it is the same as the endoscope system of the first embodiment.
- the broadband light source 676 is a xenon lamp, a white LED or the like, and emits white light whose wavelength band ranges from blue to red.
- the rotary filter 677 is rotatably arranged in the optical path of the broadband light source 676, limits the band of white light emitted by the broadband light source 676, and makes some components enter the light guide 41 as illumination light.
- the rotary filter 677 is circular, and has band-limiting filters on the inner periphery and outer periphery thereof.
- the band limiting filter (hereinafter referred to as the inner filter) 688 on the inner circumference is divided into four sections along the circumferential direction, and a BS filter 688a that transmits the first blue light BS and a green light G are transmitted to each section.
- a G filter 688b for transmitting red light R and an R filter 688c for transmitting red light R are provided.
- An outer peripheral band limiting filter (hereinafter referred to as an outer filter) 689 is divided into five sections along the circumferential direction.
- a BS filter 689a that transmits the first blue light BS and a second blue light BL are provided.
- a BL filter 689b that transmits green light, a G filter 689c that transmits green light G, an R filter 689d that transmits red light R, and a W filter 689e that transmits white light are provided.
- the filter switching unit 678 switches the position of the rotary filter 677 with respect to the optical path of the broadband light source 676 according to the observation mode according to the control signal input by the control unit 52.
- the filter switching unit 678 also adjusts the rotational speed of the rotary filter 677 according to the observation mode.
- the filter switching unit 678 arranges the inner filter 688 in the optical path of the broadband light source 676 and rotates the rotary filter 677 according to the imaging frame. In an imaging frame through which the BS filter 688a passes through the optical path of the broadband light source 676, a Bc image can be obtained.
- a Gc image can be obtained in an imaging frame in which the G filter 688b passes through the optical path of the broadband light source 676
- an Rc image can be obtained in an imaging frame in which the R filter 688c passes through the optical path of the broadband light source 676.
- the filter switching unit 678 arranges the outer filter 689 in the optical path of the broadband light source 676 and rotates the rotary filter 677 according to the photographing frame.
- the Bp image, the Bq image, the Gr image, the Rs image, and the white light image 202 are obtained in each photographing frame in which the filters 689a to 689e of the outer filter 689 pass through the optical path of the broadband light source 676. be able to.
- the above configuration of the rotary filter 677 is an example.
- the division of the W filter 689e of the outer filter 689 is increased, and the W filter is also provided between the BS filter 689a and the BL filter 689b, between the BL filter 689b and the G filter 689c, and between the G filter 689c and the R filter 689d, respectively.
- the white light image 202 can be obtained between the respective calibration images or in the preceding and following photographing frames, as in the first embodiment.
- the image generation unit 73 generates the white light image 202 from the Bq image, the Gr image, and the Rs image
- the W filter 689e can be omitted.
- the outer filter 689 may be further divided at the inner and outer periphery to provide a portion for the calibration mode and a portion for the oxygen saturation observation mode.
- the present invention is implemented in an endoscope system that performs observation by inserting the endoscope 12 provided with the image sensor 48 into a subject.
- the present invention is also suitable for a mirror system.
- a capsule endoscope system includes at least a capsule endoscope 700 and a processor device (not shown).
- the capsule endoscope 700 includes a light source unit 702, a control unit 703, an image sensor 704, an image processing unit 706, and a transmission / reception antenna 708.
- the light source unit 702 corresponds to the light source unit 20.
- the control unit 703 functions in the same manner as the light source control unit 22 and the control unit 52.
- the control unit 703 can communicate with the processor device of the capsule endoscope system using the transmission / reception antenna 708 wirelessly.
- the processor device of the capsule endoscope system is substantially the same as the processor device 16 of the first to fifth embodiments, but the image processing unit 706 corresponding to the image acquisition unit 54 and the image processing unit 61 is a capsule endoscope.
- the generated oxygen saturation image or the like provided in 700 is transmitted to the processor device via the transmission / reception antenna 708.
- the image sensor 704 is configured similarly to the image sensor 48.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
生体情報観察モードと、生体情報観察モードを校正する校正モードと、を有する内視鏡システムにおいて、従来よりも確実かつ正確に生体情報観察モードを校正できる内視鏡システム及び内視鏡システムの作動方法を提供する。内視鏡システム(10)は、生体情報観察モードを校正する校正モード時に、校正に使用する校正用照明光を発光し、かつ、少なくとも1回は白色光を発光する光源部(20)と、校正用照明光を用いて得る校正用画像を用いて生体情報観察モードにおいて使用するデータの補正量を算出する補正量算出部(76)と、補正量を用いてデータを補正することにより、生体情報観察モードを校正する校正部(77)と、校正モード時に、白色光を用いて観察対象を撮影して得る白色光画像を表示部に表示する表示制御部(66)と、を備える。
Description
本発明は、観察対象の生体情報を算出する内視鏡システム及び内視鏡システムの作動方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。特に観察対象を撮像するだけでなく、血管や腺管構造等の特定の組織や構造を強調した観察画像を得る内視鏡システムが普及している。こうした内視鏡システムは、例えば、観察対象に照射する照明光の波長を工夫したり、観察対象を撮像して得た画像に分光推定処理を施したりする。その結果、特定の組織や構造を強調した観察画像を得る。
また、近年においては、観察対象を撮像して得る画像に基づいて生体情報を得る内視鏡システムもある。例えば、血中ヘモグロビンの酸素飽和度(生体情報)を用いた病変部の診断が行われつつある。酸素飽和度を算出する方法としては、例えば、特許文献1に記載されているように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる波長帯域の光を観察対象に照射して得る画像を取得し、少なくともこの画像を含む複数の画像(以下、本撮影画像という)を用いて所定の演算値を算出し、この演算値と酸素飽和度とを対応付ける相関関係を用いて酸素飽和度を算出する方法がある。
上記のような演算値と酸素飽和度との相関関係は、食道、胃、または大腸などの各種部位の違い、または、男女の別もしくは大人と子供などの患者の違いなどに起因して異なる場合がある。これに対して、特許文献1においては、実際に酸素飽和度を用いて体内の観察を行う前に、その患者及び部位の正常部を撮影(以下、プレ撮影という)し、複数の画像(以下、プレ撮影画像という)を得て、正常部の酸素飽和度を算出する。そして、その患者及び部位の実際の正常部の酸素飽和度と、相関関係が定める一般的な正常部の酸素飽和度の基準値(例えば70%)との差分を算出し、算出した差分に基づいて相関関係を補正する。これにより、特許文献1においては、部位や患者の個体差等によらず、正確に酸素飽和度を算出できるように、酸素飽和度を算出し、その値を示す画像を生成及び表示する観察モード(以下、酸素飽和度観察モードという)を校正している。
この他、白色光を用いて得る白色光画像と、いわゆる狭帯域光や蛍光等の特殊光を用いて得る特殊光画像と、を交互に取得し、特殊光画像を処理して得られる注目領域を白色光画像上において強調表示する内視鏡システムが知られている(特許文献2)。
酸素飽和度観察モード時に酸素飽和度の算出に使用する複数の本撮影画像を得るためには、照明光の波長等を変えて観察対象を複数回撮影する必要がある。これらの撮影の間に観察対象に動きがあると、各本撮影画像の観察対象の位置ずれに起因して酸素飽和度の算出精度が低下する。このため、本撮影画像は、基本的には、全てほぼ同時に得られたとみなせるように、できるかぎり短期間のうちに連続して取得することが好ましい。
酸素飽和度観察モードを校正する際も複数のプレ撮影画像が必要になるので、これら複数のプレ撮影画像を撮影する間に観察対象に動きがあれば、校正の精度が低下する。このため、本撮影画像と同様に、基本的には、観察対象の動きがないうちに複数のプレ撮影画像を得ることが好ましい。特に、校正が不正確であると、その後に算出する酸素飽和度が全て不正確になってしまうので、酸素飽和度観察モードを正確に校正することは、酸素飽和度の算出精度が低下しないようにするよりもさらに重要である。
特許文献1の場合、酸素飽和度観察モードを校正することで、それ以前の酸素飽和度観察モードの校正をしない内視鏡システムよりも正確に酸素飽和度を算出できるようになっているが、校正精度にまでは言及していない。また、特許文献2は、白色光画像と特殊光画像を交互に得ているが、酸素飽和度観察モードはないので、当然ながら、酸素飽和度観察モードの校正についても言及がない。
また、特許文献1においては、生体情報の1つである酸素飽和度を観察しているが、本撮影画像を複数使用して、酸素飽和度以外の生体情報を算出する他の生体情報観察モードを設ける場合も同様である。すなわち、上記と同様に、複数のプレ撮影画像を観察対象の動きがないうちに取得して、正確に生体情報観察モードを校正する必要がある。
本発明は、生体情報観察モードと、生体情報観察モードを校正する校正モードと、を有する内視鏡システムにおいて、従来よりも確実かつ正確に生体情報観察モードを校正できる内視鏡システム及び内視鏡システムの作動方法を提供することを目的とする。
本発明の内視鏡システムは、観察対象の生体情報を観察する生体情報観察モードと、生体情報観察モードを校正する校正モードと、を有する内視鏡システムにおいて、校正モード時に、校正に使用する校正用照明光を発光し、かつ、少なくとも1回は白色光を発光する光源部と、校正用照明光を用いて観察対象を撮像して得る校正用画像を用いて生体情報観察モードにおいて使用するデータの補正量を算出する補正量算出部と、補正量を用いてデータを補正することにより、生体情報観察モードを校正する校正部と、校正モード時に、白色光を用いて観察対象を撮影して得る白色光画像を表示部に表示する表示制御部と、を備える。
生体情報は、観察対象の酸素飽和度であることが好ましい。
校正用画像の一部を、生体情報観察モードの校正に使用する領域に設定する領域設定部を備え、表示制御部は、領域設定部が設定した領域を白色光画像に重畳表示することが好ましい。
校正モード時に、複数の校正用画像を取得し、かつ、複数の白色光画像を取得することが好ましい。
複数の白色光画像の光量比を算出する光量比算出部と、光量比算出部が算出した光量比を用いて、複数の校正用画像の光量比を補正する光量比補正部と、を備えることが好ましい。
観察対象の動き量を算出する動き量算出部と、動き量を用いて、複数の校正用画像の位置ずれを補正する位置ずれ補正部と、を備えることが好ましい。
補正量算出部は、複数の校正用画像のうち一部の校正用画像を用い、かつ、使用する校正用画像の組み合わせを変更することにより、複数の補正量を算出し、校正部は、複数の補正量、または、複数の補正量のうち1つを用いて生体情報観察モードにおいて使用するデータを補正することが好ましい。
観察対象の動き量を算出する動き量算出部を備え、校正部は、動き量を用いて複数の補正量を重み付け平均した値を用いて生体情報観察モードにおいて使用するデータを補正することが好ましい。
観察対象の動き量を算出する動き量算出部を備え、動き量を用いて複数の補正量のなかから選択した1つの補正量を用いて、校正部は、生体情報観察モードにおいて使用するデータを補正することが好ましい。
光源部は、複数の校正用照明光のうち、補正量の算出精度への寄与が最も大きい組み合わせの2つの校正用照明光の発光間隔を、他の校正用照明光の発光間隔よりも短くすることが好ましい。
本発明の内視鏡システムの作動方法は、観察対象の生体情報を観察する生体情報観察モードと、生体情報観察モードを校正する校正モードと、を有する内視鏡システムの作動方法において、光源部が、校正モード時に、校正に使用する校正用照明光を発光し、かつ、少なくとも1回は白色光を発光するステップと、補正量算出部が、校正用照明光を用いて観察対象を撮像して得る校正用画像を用いて生体情報観察モードにおいて使用するデータの補正量を算出するステップと、校正部が、補正量を用いてデータを補正することにより、生体情報観察モードを校正するステップと、表示制御部が、校正モード時に、白色光を用いて観察対象を撮影して得る白色光画像を表示部に表示するステップと、を備える。
本発明の内視鏡システム及び内視鏡システムの作動方法においては、校正モードの際に、単に校正用画像を取得するだけでなく、白色光画像を取得して表示する。このため、複数の校正用画像を取得している間に、観察対象に動きがあった場合や、校正には不適当な部分を撮影してしまっている場合等、校正が正確に行えない状況を容易に察知して、校正用画像を取得し、校正をやり直すことができる。このため、本発明の内視鏡システム及び内視鏡システムの作動方法は、従来よりも確実かつ正確に、生体情報観察モードを校正できる。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、表示部であるモニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16に電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。この湾曲部12cが湾曲した結果、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、表示部であるモニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16に電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。この湾曲部12cが湾曲した結果、先端部12dが所望の方向に向く。なお、先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
また、操作部12bには、アングルノブ12eの他、モード切り替えスイッチ13a、ズーム操作部13bが設けられている。モード切り替えスイッチ13aは、観察モードの切り替え操作に用いる。内視鏡システム10は、通常観察モードと特殊観察モードを有する。通常観察モードは、照明光に白色光を用いて観察対象を撮影して得る自然な色合いの画像(以下、通常画像という)をモニタ18に表示する観察モードである。
特殊観察モードは、生体情報観察モードと校正モードとを含む。生体情報観察モードは、観察対象の生体情報を観察する(少なくとも生体情報を観察し得る状態で観察対象を観察する)観察モードである。生体情報とは、例えば、酸素飽和度や、血管の密度等の数値情報や、“特定の深さにある血管の像”のように、観察可能な組織等のなかから一部の組織等を抽出した結果の像情報等である。本実施形態においては、生体情報観察モードは、観察対象の酸素飽和度を算出する酸素飽和度観察モードであるから、酸素飽和度観察モードは、観察対象を撮像して得る複数の本撮影画像を用いて観察対象の酸素飽和度を算出し、算出した酸素飽和度の値を、疑似カラーを用いて示す画像(以下、酸素飽和度画像という)を生成して、モニタ18に表示する。酸素飽和度画像は生体情報画像の一例であり、生体情報観察モードにおいて他の生体情報を算出や抽出等(以下、算出等という)する場合には、算出等する生体情報に関する生体情報画像を生成及び表示する。
校正モードは、生体情報観察モードを校正するモードである。校正モードは、少なくとも生体情報観察モードにおいて生体情報を算出等する前に自動的に行う。また、校正モードにおいては、明らかな病変等がない正常部をプレ撮影し、プレ撮影において得たプレ撮影画像を用いて生体情報の算出等に用いるデータの補正量を算出する。そして、算出した補正量を用いて生体情報の算出等に用いるデータを補正することにより、生体情報観察モードを校正する。
すなわち、生体情報観察モードは酸素飽和度観察モードであるため、校正モードは酸素飽和度観察モードを校正する。すなわち、校正モードにおいては、プレ撮影画像を用いて、酸素飽和度観察モードにおいて酸素飽和度の算出に用いるデータの補正量ΔDを算出する。そして、算出した補正量ΔDを用いて酸素飽和度の算出に用いるデータを補正する。酸素飽和度の算出に用いるデータは、例えば、複数の本撮影画像を用いて算出する演算値と、酸素飽和度とを対応付ける相関関係である。なお、校正モードは、コンソール19等からの操作入力により、生体情報観察モード中に任意のタイミングで実行できる。すなわち生体情報観察モードの実行中に、必要に応じて任意に校正モードを割り込ませて実行できる。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の駆動を制御する光源制御部22と、を備えている。
光源部20は、BS光源20a、BL光源20b、G光源20c、及び、R光源20dの4個の光源を備える。本実施形態においては、BS光源20a、BL光源20b、G光源20c、及び、R光源20dはいずれもLED(Light Emitting Diode)である。光源部20には、これらのLEDの代わりに、LD(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。
BS光源20aは、中心波長が約450±10nm、波長帯域が約420nm~500nmの第1青色光BSを発光する青色光源である。BL光源20bは、中心波長及び波長帯域が約470nm±10nmであり、青色のいわゆる狭帯域光(以下、第2青色光BLという)を発光する青色光源である。G光源20cは、中心波長が約540±20nm、波長帯域が約480nm~600nmに及ぶ緑色光Gを発光する緑色光源である。R光源20dは、中心波長が約640±20nm、波長帯域が約600nm~650nmに及ぶ赤色光Rを発光する赤色光源である。
光源制御部22は、光源部20を構成する各光源20a~20dの点灯や消灯のタイミング、及び点灯時の発光量等をそれぞれ独立に制御する。この光源制御部22の制御により、光源部20は、通常観察モードにおいて使用する通常観察用照明光と、特殊観察モードの生体情報観察モードにおいて使用する生体情報観察用照明光と、校正モードにおいて使用する校正用照明光と、を発光する。すなわち、生体情報観察モードは酸素飽和度観察モードであるため、生体情報観察用照明光は、酸素飽和度観察用照明光である。
通常観察モードの場合、光源制御部22は、BS光源20a、G光源20c、及びR光源20dを同時に点灯する。このため、通常観察用照明光は、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光である。本実施形態においては、通常観察モードの場合、光源部20は上記白色光を常時発光するが、観察対象の撮影タイミング(以下、撮影フレームという)に合わせて、白色光を発光しても良い。
酸素飽和度観察モードの場合、光源制御部22は、第1パターンと第2パターンで各光源20a~20dの点灯または消灯を交互に繰り返す。第1パターンは、BL光源20bを単独で点灯する発光パターンである。このため、第1パターンの際には、第2青色光BLが照明光になる。一方、第2パターンは、BS光源20aと、G光源20cと、R光源20dを同時に点灯するパターンである。このため、第2パターンの際には、第1青色光BSと、緑色光Gと、赤色光Rとを含む白色光が照明光になる。したがって、酸素飽和度観察モードでは、図3に示すように、第2青色光BLと白色光が撮影フレームに合わせて交互に繰り返し発光する。
第1パターンの照明光である第2青色光BLを用いて観察対象を撮像して得る本撮影画像は、観察対象に照射した際に、直接的に最も多くの酸素飽和度の情報を担持することになる。一方、第2パターンの照明光である白色光を用いて観察対象を撮像して得る本撮影画像は、第2青色光BLが担持する酸素飽和度の情報をより正確に算出するために用いる。したがって、酸素飽和度用照明光とは、第2青色光BLのことである。
校正モードの場合、光源制御部22は、基本的に、BS光源20a、BL光源20b、G光源20c、及びR光源20dをそれぞれ単独で順次点灯する。また、光源制御部22は、これらの各光源20a~20dをそれぞれ単独で点灯する間または前後に少なくとも1回は、BS光源20a、G光源20c、及びR光源20dを同時点灯する。したがって、校正モードにおいては、光源部20は、第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rを順次発光し、かつ、これら各色光の間または前後に少なくとも1回は白色光を発光する。これらの照明光のうち、第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rが、酸素飽和度観察モード(生体情報観察モード)の校正に使用する校正用照明光である。そして、校正用照明光を発光する間または前後に発光する白色光は、各校正用照明光を用いて校正用画像を得る際にモニタ18に表示する白色光画像202(図15参照)を得るための照明光である。
本実施形態の校正モードにおいては、校正用照明光は、第1青色光BS、第2青色光BL、緑色光G、赤色光Rの順に順次点灯する。また、これら各色の校正用照明光を点灯する間に白色光を必ず1回発光することにより、光源部20は白色光の発光を複数回挿入する。したがって、本実施形態の校正モードにおいては、図4に示すように、光源部20は、第1青色光BS、白色光、第2青色光BL、白色光、緑色光G、白色光、及び赤色光Rをこの順に撮影フレームに合わせて発光する。校正モードを繰り返す場合にはこの発光パターンを繰り返す。
光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用できる。
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に照射される。撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。なお、ズームレンズ47は、ズーム操作部13bの操作をすることで移動し、イメージセンサ48を用いて撮影する観察対象を拡大または縮小する。
イメージセンサ48は、原色系のカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。図5に示すように、青色カラーフィルタは、主として青色帯域の光、具体的には波長帯域が380~560nmの波長帯域の光を透過する。青色カラーフィルタの透過率は、波長460~470nm付近においてピークになる。緑色カラーフィルタは、主として緑色帯域の光、具体的には、460~470nmの波長帯域の光を透過する。赤色カラーフィルタは、主として赤色帯域の光、具体的には、580~760nmの波長帯域の光を透過する。
イメージセンサ48を用いて観察対象を撮影すると、1回の撮影において最大で、B画素において撮影して得るB画像(青色画像)、G画素において撮像して得るG画像(緑色画像)、及び、R画素において撮影して得るR画像(赤色画像)の3種類の画像を得ることができる。通常観察モードの場合、使用する通常観察用照明光は白色光なので、表1に示すように、Bc画像、Gc画像、及びRc画像が得られる。Bc画像は、主に通常観察用照明光が含む第1青色光BSの反射光等を用いて観察対象を撮影した画像であり、Gc画像は、主に通常観察用照明光が含む緑色光Gの反射光等を用いて観察対象を撮影した画像である。同様に、Rc画像は、主に通常観察用照明光が含む赤色光Rの反射光等を用いて観察対象を撮影した画像である。
一方、本実施形態の特殊観察モードにおいては、生体情報観察モードである酸素飽和度観察モードと、校正モードとでは、照明光の種類や発光パターンが異なるので各モードで画像が異なる。酸素飽和度観察モードの場合、照明光は、撮影フレームに合わせて交互に第2青色光BL(酸素飽和度用照明光)と白色光とで切り替わる。このため、表2に示すように、第2青色光BLを用いて、B1画像、G1画像、及びR1画像を取得し、白色光を用いてB2画像、G2画像、及びR2画像を得る。B1画像は、第2青色光BLの反射光等を用いてB画素において観察対象を撮影して得る画像である。同様に、G1画像は、第2青色光BLの反射光等を用いてG画素において観察対象を撮影して得る画像であり、R1画像は第2青色光BLの反射光等を用いてR画素において観察対象を撮影して得る画像である。但し、第2青色光BLの反射光は、G画素の緑色カラーフィルタやR画素の赤色カラーフィルタをあまり透過しないので、観察対象から蛍光等が発生しない場合、第2青色光BLを照明光に使用する撮影フレームにおいては、実質的に得られる画像はB1画像だけである。また、白色光を照明光に使用する撮影フレームは、通常観察モードと同様の画像が得られるが、区別のため、酸素飽和度観察モードにおいて白色光を照明光に使用する撮影フレームにおいて得る各画像をB2画像、G2画像、及びR2画像という。なお、酸素飽和度観察モードにおいて取得するB1画像、G1画像、R1画像、B2画像、G2画像、及びR2画像は、本撮影画像である。
校正モードの場合、撮影フレームに合わせて、照明光は、第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rの順に切り替わり、これらの間に白色光を照明光に使用した撮影フレームを挿入する。表3に示すように、第1青色光BSを照明光に使用する撮影フレームにおいては、Bp画像、Gp画像、及びRp画像を得る。Bp画像は、第1青色光BSの反射光等を用いてB画像において観察対象を撮影して得る画像である。同様に、Gp画像は、第1青色光BSの反射光等を用いてG画像において観察対象を撮影して得る画像であり、Rp画像は、第1青色光BSの反射光等を用いてR画像において観察対象を撮影して得る画像である。但し、第1青色光BSの反射光は、G画素の緑色カラーフィルタやR画素の赤色カラーフィルタをあまり透過しないので、観察対象から蛍光等が発生しない場合、第1青色光BSを照明光に使用する撮影フレームにおいては、実質的に得られる画像はBp画像だけである。
また、第2青色光BLを照明光に使用する撮影フレームにおいては、Bq画像、Gq画像、及びRq画像を得る。Bq画像は、第2青色光BLの反射光等を用いてB画像において観察対象を撮影して得る画像である。同様に、Gq画像は、第2青色光BLの反射光等を用いてG画像において観察対象を撮影して得る画像であり、Rq画像は、第2青色光BLの反射光等を用いてR画像において観察対象を撮影して得る画像である。但し、第2青色光BLの反射光は、G画素の緑色カラーフィルタやR画素の赤色カラーフィルタをあまり透過しないので、観察対象から蛍光等が発生しない場合、第2青色光BLを照明光に使用する撮影フレームにおいては、実質的に得られる画像はBq画像だけである。
表4に示すように、校正モードにおいて、緑色光Gを照明光に使用する撮影フレームでは、Br画像、Gr画像、及びRr画像を得る。Gr画像は、緑色光Gの反射光等を用いてG画素において観察対象を撮影して得る画像である。同様に、Br画像は、緑色光Gの反射光等を用いてB画素において観察対象を撮影して得る画像であり、Rr画像は、緑色光Gの反射光等を用いてR画素において観察対象を撮影して得る画像である。但し、緑色光Gは、B画素の青色カラーフィルタ及びR画素の赤色カラーフィルタをあまり透過しないので、観察対象から蛍光等が発生しない場合、緑色光Gを照明光に使用する撮影フレームにおいては、実質的に得られる画像はGr画像だけである。
また、校正モードにおいて、赤色光Rを照明光に使用する撮影フレームにおいては、Bs画像、Gs像、及びRs画像が得られる。Rs画像は、赤色光Rの反射光等を用いてR画素において観察対象を撮影して得る画像である。同様に、Bs画像は、赤色光Rの反射光等を用いてB画素において観察対象を撮影して得る画像であり、Gs画像は、赤色光Rの反射光等を用いてG画素において観察対象を撮影して得る画像である。但し、赤色光Rは、B画素の青色カラーフィルタ及びG画素の緑色カラーフィルタをあまり透過しないので、観察対象から蛍光等が発生しない場合、赤色光Rを照明光に使用する撮影フレームにおいては、実質的に得られる画像はRs画像だけである。
また、表5に示すように、校正モードにおいて白色光を照明光に使用する撮影フレームにおいては、Bt画像、Gt画像、及びRt画像を得る。Bt画像は、主に白色光が含む第1青色光BSの反射光等を用いてB画素において観察対象を撮影して得る画像である。同様に、Gt画像は、主に白色光が含む緑色光Gの反射光等を用いてG画素において観察対象を撮影して得る画像であり、Rt画像は、主に白色光が含む赤色光Rの反射光等を用いてR画素において観察対象を撮影して得る画像である。したがって、これらの画像は、通常観察モードにおいて得るBc画像、Gc画像、Rc画像と同じものであるが、区別のためにそれぞれBt画像、Gt画像、及びRt画像という。なお、校正モードにおいて取得するBp画像、Gp画像、Rp画像、Bq画像、Gq画像、Rq画像、Bs画像、Gs画像、Rs画像、Bt画像、Gt画像、及びRt画像は、プレ撮影画像である。また、これらの画像のうち、Bp画像、Bq画像、Gr画像、及びRs画像は、酸素飽和度観察モードの校正に実際に使用する校正用画像である。
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、表示制御部66と、を有する。
制御部52は、モード切り替えスイッチ13aからモード切り替え信号の入力を受けて、光源制御部22及びイメージセンサ48に制御信号を入力することにより、観察モードを切り替える。また、特殊観察モードのなかでは、酸素飽和度観察モードと校正モードとを切り替える。この他、制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等もする。
画像取得部54は、イメージセンサ48から観察対象の画像を取得する。通常観察モードの場合、画像取得部54は、撮影フレーム毎にBc画像、Gc画像、及びRc画像を取得する。本実施形態の特殊観察モードの場合、酸素飽和度観察モード(生体情報観察モード)においては、画像取得部54は、照明光に第2青色光BLを使用する撮影フレームにおいては、B1画像、G1画像、及びR1画像を取得し、照明光に白色光を使用する撮影フレームにおいては、B2画像、G2画像、及びR2画像を取得する。一方、校正モードにおいては、画像取得部54は、第1青色光BSを照明光に使用する撮影フレームにBp画像、Gp画像、及びRp画像を取得し、第2青色光BLを照明光に使用する撮影フレームにBq画像、Gq画像、及びRq画像を取得し、緑色光Gを照明光に使用する撮影フレームにBr画像、Gr画像、及びRr画像を取得し、かつ、赤色光Rを照明光に使用する撮影フレームにBs画像、Gs画像、及びRs画像を取得する。さらに、これらの間に挿入される、白色光を照明光に使用した撮影フレームにおいては、Bt画像、Gt画像、及びRt画像を取得する。
また、画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に各種処理を施す。
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ48において他の色の画素を配置しているために、画素値がない画素である。例えば、B画像はB画素において観察対象を撮影して得る画像なので、イメージセンサ48のG画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
画像処理部61は、通常処理部62と、特殊処理部63とを有する。通常処理部62は、通常観察モード時に作動し、上記各種処理を施した1撮影フレーム分のBc画像、Gc画像、及びRc画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常画像を生成する。色変換処理は、BGR各色の画像に対して3×3のマトリクス処理、階調変換処理、3次元LUT(ルックアップテーブル)処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。表示制御部66は、通常処理部62から通常画像を順次取得し、取得した通常画像を表示に適した形式に変換してモニタ18に順次出力表示する。これにより、通常観察モードの場合、医師等は、通常画像の動画を用いて観察対象を観察できる。
特殊処理部63は、図6に示すように、演算値算出部70、データ記憶部71、生体情報算出部72、画像生成部73、校正情報算出部75、補正量算出部76、及び校正部77を備える。これらのうち、演算値算出部70、生体情報算出部72、及び画像生成部73は酸素飽和度観察モードの際に機能する。
演算値算出部70は、画像取得部54から生体情報観察モードにおいて得る本撮影画像を取得し、本撮影画像を用いて生体情報算出部72が生体情報の算出に用いる演算値を算出する。すなわち、生体情報観察モードは酸素飽和度観察モードであり、酸素飽和度を生体情報として算出するので、演算値算出部70は、画像取得部54から酸素飽和度観察モードにおいて得る本撮影画像を取得し、本撮影画像を用いて生体情報算出部72が酸素飽和度の算出に用いる演算値を算出する。より具体的には、演算値算出部70は、酸素飽和度観察モード時に画像取得部54から、B1画像、B2画像、G2画像、及びR2画像を取得する。そして、G2画像に対するB1画像の比B1/G2と、G2画像に対するR2画像の比R2/G2と、をそれぞれ画素ごとに算出する。これらの比B1/G2、及び、比R2/G2が、酸素飽和度の算出に用いる演算値である。
データ記憶部71は、演算値算出部70が算出する上記演算値を用いて、生体情報算出部72が生体情報を算出する際に使用するデータを記憶する。すなわち、酸素飽和度を生体情報として算出するので、データ記憶部71は、演算値算出部70が算出する上記演算値と、酸素飽和度との相関関係を、LUT等の形式で記憶している。図7に示すように、この相関関係を、縦軸Log(B1/G2)及び横軸Log(R2/G2)を用いて形成する第1特徴空間において表すと、酸素飽和度が同じ値の点を結ぶ等値線が、ほぼ横方向に沿って形成される。また、等値線は、酸素飽和度が大きくなるほど縦軸方向の下方に位置する。例えば、酸素飽和度が100%の等値線83は、酸素飽和度が0%の等値線84よりも下方に位置する。
上記相関関係は、図8に示す酸化ヘモグロビン(グラフ86)及び還元ヘモグロビン(グラフ87)の吸光特性と密接に関連している。具体的には、第2青色光BLの波長(約470±10nm)は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きいので、ヘモグロビンの酸素飽和度に起因して吸光量が変化する。このため、第2青色光BLは、酸素飽和度の情報を取り扱いやすい。したがって、照度ムラ等の補正のためにG2画像を用いてB1画像を規格化した比B1/G2を用いれば、酸素飽和度を算出できる。しかし、比B1/G2は酸素飽和度だけでなく、血液量にも依存する。そこで、比B1/G2に加えて、主として血液量に依存して変化する比R2/G2を用いることで、血液量に影響されることなく、酸素飽和度を算出できるようにしている。なお、G2画像に含まれる緑色光Gの波長(約540±20nm)は、ヘモグロビンの吸光係数が比較的高いので、血液量に起因して吸光係数が変化しやすい波長である。
なお、上記第1特徴空間における等値線の位置及び形状は、光散乱の物理的なシミュレーションをした結果として予め得られる。また、データ記憶部71は、比B1/G2及び比R2/G2と、酸素飽和度との相関関係を記憶しているが、データ記憶部71はこの他の相関関係を記憶しておくことができる。例えば、B1画像、B2画像、G2画像、及びR2画像に基づく上記とは異なる他の演算(例えば差分処理)をした結果として得る演算値(以下、他の演算値という)を用いて酸素飽和度を算出する場合、データ記憶部71は、この他の演算値を酸素飽和度に対応付ける相関関係を記憶しておくことができる。
生体情報算出部72は、データ記憶部71が記憶するデータを参照し、演算値算出部70が算出した演算値を用いて生体情報を算出等する。本実施形態では、生体情報算出部72は酸素飽和度算出部として機能する。具体的には、生体情報算出部72は、データ記憶部71が記憶する相関関係を参照し、比B1/G2及び比R2/G2に対応する酸素飽和度を画素ごとに算出する。例えば、特定画素の比B1*/G2*及び比R2*/G2*に対応する酸素飽和度は、データ記憶部71が記憶する相関関係を参照すると「40%」である。したがって、生体情報算出部72は、この特定画素の酸素飽和度を「40%」と算出する。
なお、比B1/G2及び比R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、比B1/G2及び比R2/G2の各値の組み合わせが、酸素飽和度100%の上限の等値線83(図7参照)よりも下方に分布したり、反対に、酸素飽和度0%の下限の等値線84(図7参照)よりも上方に分布したりすることはほとんどない。万が一、比B1/G2及び比R2/G2の各値の組み合わせが、上限の等値線83より下方に分布する場合には、生体情報算出部72はその画素の酸素飽和度を100%と算出する。同様に、比B1/G2及び比R2/G2の各値の組み合わせが、下限の等値線84より上方に分布する場合には、生体情報算出部72は、その画素の酸素飽和度を0%と算出する。また、比B1/G2及びR2/G2に対応する点が上限の等値線83と下限の等値線84との間に分布しない場合には、その画素における酸素飽和度の信頼度が低いことを表示しても良いし、酸素飽和度を算出しないようにしても良い。
画像生成部73は、生体情報観察モードの場合、生体情報算出部72が算出した生体情報を表す生体情報画像を生成する。すなわち、画像生成部73は、生体情報算出部72において算出した酸素飽和度を用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。具体的には、画像生成部73は、B2画像、G2画像、及びR2画像を取得し、これらの画像に対して酸素飽和度に応じたゲインを画素ごとに施す。例えば、画像生成部73は、酸素飽和度が60%以上の画素にはB2画像、G2画像、及びR2画像のいずれにも同じゲイン「1」を乗じる。これに対して、酸素飽和度が60%未満の画素には、B2画像に対して「1」未満のゲインを乗じ、G2画像及びR2画像に対しては「1」以上のゲインを乗じる。その後、画像生成部73は、上記のようにゲインを施したB2画像、G2画像、及びR2画像を用いてカラーの酸素飽和度画像を生成する酸素飽和度画像する。画像生成部73が生成した酸素飽和度画像は、表示制御部66が取得し、モニタ18に順次表示する。
画像生成部73が生成した酸素飽和度画像においては、高酸素の領域(本実施形態においては、酸素飽和度が60%以上100%以下の領域)は、通常画像と同様、自然な色になる。一方、酸素飽和度が特定値を下回る低酸素の領域(本実施形態においては酸素飽和度が0%以上60%未満)は、通常画像とは異なる色(いわゆる疑似カラー)になる。なお、本実施形態においては、酸素飽和度観察モードの場合に、画像生成部73は、低酸素の領域だけを疑似カラー化するゲインを乗じているが、高酸素の領域においても酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素の領域と高酸素の領域を、酸素飽和度60%を境界にして分けているが、この境界も任意である。
一方、校正モードにおいては、特殊処理部63の各部のうち、校正情報算出部75、補正量算出部76、校正部77、及び画像生成部73が機能する。
校正情報算出部75は、画像取得部54からプレ撮影画像を取得し、プレ撮影画像を用いて、生体情報観察モードの校正に使用する生体情報(以下、校正情報という)を算出する。校正情報とは、例えば、観察対象の部位や状態等を表す観察対象に固有の生体情報である。具体的には、校正情報算出部75は、まず、画像取得部54から少なくともBp画像、Bq画像、Gr画像、及びRs画像を取得する。そして、観察対象に付着した黄色色素(ビリルビンやステルコビリン等)に関連し、かつ、酸素飽和度への依存性が低い生体情報と、酸素飽和度観察モードの校正に使用するその他の生体情報と、を算出する。黄色色素に関連するとは、黄色色素の付着量または濃度に相関があることをいう。また、酸素飽和度への依存性が低いとは、酸素飽和度の値に起因して、黄色色素情報の値が概ね変化しないことをいう。
より具体的には、校正情報算出部75は、まず、Gr画像に対するBp画像の比Bp/Grと、Gr画像に対するBq画像の比Bq/Grと、Gr画像に対するRs画像の比Rs/Grと、を画素ごとに算出する。
Bp画像は第1青色光BSに対応する画像であり、第1青色光BSの波長帯域(中心波長約450±10nm)は、ヘモグロビンの吸光係数が比較的高く、かつ、酸化ヘモグロビンと還元ヘモグロビンの吸光係数がほぼ等しい等吸収波長である(図8参照)。このため、Bp画像は、酸素飽和度に起因しては値が変化しにくい画像である。また、第1青色光BSは、図9に示すように、黄色色素の吸光係数が概ね最も高くなる波長帯域を有しているので、黄色色素の付着量または濃度に応じて吸光量が変化しやすい。これらのことから、照度ムラ等の補正のためにGr画像を用いてBp画像を規格化した比Bp/Grの値は、酸素飽和度に起因してはほとんど変化しないものの、黄色色素の付着量または濃度に起因して変化する。なお、Gr画像に対応する緑色光Gの波長帯域は、血液量に起因して吸光量が変化しやすい波長帯域なので、比Bp/Grは血液量に起因して変化する。
また、Bq画像は第2青色光BLに対応する画像であり、第2青色光BLの波長帯域(約470±10nm)は、ヘモグロビンの吸光係数が比較的高く、かつ、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる波長帯域である(図8参照)。このため、Bq画像は、酸素飽和度に起因して変化しやすい画像である。また、第2青色光BLの波長帯域は、黄色色素の吸収ピークからはややずれているものの、他の波長帯域と比べれば、大きな吸光係数を有している(図9参照)。これらのことから、照度ムラ等の補正のためにGr画像を用いてBq画像を規格化した比Bq/Grの値は、酸素飽和度と、黄色色素の付着量または濃度と、に起因して値が変化する。また、Gr画像は血液量に依存性があるので、比Bq/Grの値は血液量に起因して変化する。
一方、Rs画像は、赤色光Rに対応する画像であり、赤色光Rの波長帯域(中心波長約640±20nm)は、第1青色光BSや第2青色光BLの波長帯域に比べれば、ヘモグロビンの吸光係数はごく小さい(図8参照)。このため、Rs画像は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差があるものの、吸光量が少なすぎるので、実質的には酸素飽和度には依存性がない。また、黄色色素に関しても、赤色光Rの波長帯域における黄色色素の吸光係数は、第1青色光BSや第2青色光BLの波長帯域に比べるとごく小さい値なので、Rs画像は、黄色色素の付着量または濃度に起因してはほとんど変化しない。したがって、照度ムラ等の補正のためにGr画像を用いてRs画像を規格化した比Rs/Grの値は、酸素飽和度にも黄色色素の付着量や濃度にもほとんど依存しない。但し、比Rs/Grは、Gr画像の血液量依存性を反映して、血液量に起因して変化する。
上記のことから、少なくとも比Bp/Grは、観察対象に付着した黄色色素に関連し、かつ、酸素飽和度への依存性が低い生体情報に該当する。しかし、本実施形態においては、校正情報算出部75は、より正確に観察対象に付着した黄色色素に関連し、かつ、酸素飽和度への依存性がより低い生体情報(以下、黄色色素情報という)Vyを、下記式Aに基づいて算出する。位相φは、式Aに基づく演算により得られる黄色色素情報Vyが、酸素飽和度が変化しても一定になるように予め調整した既知量である。校正情報算出部75は、この位相φの調整後の黄色色素情報Vyと、比Rs/Grを、校正情報として補正量算出部76に入力する。
[式A] Vy=(Bp/Gr)×cosφ+(Bq/Gr)×sinφ
[式A] Vy=(Bp/Gr)×cosφ+(Bq/Gr)×sinφ
補正量算出部76は、予め定められた基準情報と、校正情報算出部75が算出した校正情報とから、生体情報の算出に用いるデータの補正量を算出する。すなわち、補正量算出部76は、黄色色素情報Vyを用いて、酸素飽和度の算出に用いる相関関係の補正量ΔDを算出する。また、校正情報算出部75が算出した校正情報を使用することで、補正量算出部76は、補正量の算出に、実質的に校正用画像を用いている。基準情報とは、本実施形態の場合、ほぼ黄色色素がないといえる状態において取得した黄色色素情報Vyと比Rs/Grの相関関係である。基準情報を構成する黄色色素情報Vyは、ほぼ黄色色素がないといえる状態において取得したこれらのBp画像、Bq画像、及びGr画像を用いて、酸素飽和度に起因した変化がないように位相φを調整することにより、式Aにしたがって算出する黄色色素情報Vyである。この過程において、式Aの位相φも定まる。基準情報は、例えば生体を模したファントム等を撮影や、シミュレーション等により予め定めることができる。なお、上記の通り、生体情報観察モードにおいて生体情報の算出に用いるデータとは、本実施形態においては、データ記憶部71が記憶する相関関係である。
図10に示すように、補正量算出部76は、縦軸を黄色色素情報Vyとし、横軸をLog(Rs/Gr)とした第2特徴空間を用いて補正量ΔDを算出する。横軸に用いる比Rs/Grは血液量を表すので、第2特徴空間は血液量に対する黄色色素情報Vyの分布を表し、第2特徴空間において黄色色素情報Vyが等しい点を結ぶ線は、黄色色素の濃度(または付着量)が等しい等値線(以下、等濃度線という)である。
基準情報は、第2特徴空間に基準等濃度線94を形成する。このため、実際に黄色色素がなければ、観察対象を実際にプレ撮影して得る黄色色素情報Vy及び比Rs/Grが第2特徴空間内に定める点は、基準等濃度線94にのる。しかし、黄色色素があれば、その付着量または濃度に起因して、基準等濃度線94からずれた位置にある別の等濃度線96上にのる。したがって、第2特徴空間において、観察対象を実際にプレ撮影して得る黄色色素情報Vy及び比Rs/Grが表す点がのる等濃度線96と、基準等濃度線94と、縦軸方向に沿った差分ΔZが、黄色色素の付着量または濃度を表す。したがって、補正量算出部76は、基準等濃度線94と等濃度線96の差分ΔZを算出し、所定の係数αをかけることにより、補正量ΔD(=ΔZ×α)を算出する。なお、係数αは、差分ΔZを、データ記憶部71が記憶する相関関係の補正に適した値にスケール変換するための値である。黄色色素の付着量または濃度が小さいほど黄色色素情報Vyの値が大きくなるので、第2特徴空間の等濃度線は、基準等濃度線94の下方に形成される。
校正部77は、補正量算出部76が算出した補正量ΔDを用いて、生体情報の算出等で使用するデータを補正することにより、生体情報観察モードを校正する。本実施形態においては、校正部77は、補正量ΔDを用いて、データ記憶部71が記憶する相関関係を補正することにより、酸素飽和度観察モードを校正する。具体的には、校正部77は、第1特徴空間(図7参照)において、全ての等値線に縦軸のLog(B1/G2)の値に補正量ΔDを加算する。すなわち、校正部77は、第1特徴空間の全ての等値線を補正量ΔDだけ縦軸上方にシフトする。こうして校正部77が補正した第1特徴空間には、部位や実際の状態等の実際の観察対象に固有の誤差要因(本実施形態においては黄色色素の付着量または濃度)が反映される。したがって、酸素飽和度観察モードにおいて、校正部77が補正した第1特徴空間を用いることにより、生体情報算出部72は、観察対象に固有の誤差要因に依らない正確な酸素飽和度を算出できる。
上記のように、校正情報算出部75、補正量算出部76、及び校正部77を用いて生体情報観察モード(酸素飽和度観察モード)を校正する一方、校正モードにおいては、画像生成部73は、画像取得部54からBt画像、Gt画像、及びRt画像(すなわち校正モード中に白色光を用いて得られる画像)を順次取得する。そして、画像生成部73は、1撮影フレーム分のBt画像、Gt画像、及びRt画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、白色光画像202を生成する。この白色光画像202は、校正モード中に生成することを除けば、通常観察モードの通常画像と同じである。したがって、白色光画像202を用いれば、自然な色合いの観察対象を観察できる。
表示制御部66は、校正モード時には、画像生成部73が生成する上記白色光画像202を順次取得して、モニタ18に表示する。このため、校正モードにおいてプレ撮影画像を撮影している最中であっても、白色光画像202、あるいは白色光画像202からなる動画を用いて、途切れることなく、観察対象の観察を継続できる。
次に、特殊観察モードの一連の動作の流れを、図11~図13に示すフローチャートに沿って説明する。まず、図11に示すように、モード切り替えスイッチ13aを操作して、特殊観察モードに切り替えると(S10)、制御部52は、光源制御部22及びイメージセンサ48に制御信号を入力することにより、校正モードを実行する(S11)。校正モードにおいては、プレ撮影して得るプレ撮影画像を用いて、酸素飽和度の算出に使用する相関関係を補正することにより、酸素飽和度観察モード(生体情報観察モード)を校正する。さらに、校正モードにおいては、プレ撮影画像を得る合間に、白色光を用いて観察対象を撮影し、白色光画像202をモニタ18に表示する。このため、医師等は、白色光画像202(または白色光画像202からなる動画)を見て、酸素飽和度観察モードの校正が正確に行えたか否かを判断する(S12)。具体的には、プレ撮影が不適切な条件において行われると酸素飽和度の校正が正確に行えないので、校正モード中にモニタ18に表示される白色光画像202を見て、プレ撮影が適切に行われたことを確認する。例えば、観察対象に明らかな病変がないか等の撮影位置に関する条件や、明るさが適切か、観察対象の動きに起因して観察対象が不鮮明になっていないか等、撮影の状況に関する条件を、プレ撮影画像とほぼ同時に得られた白色光画像202から判断する。
白色光画像202からして、プレ撮影が適切に行えておらず、生体情報観察モードが正確に校正されていない可能性があると判断した場合(S12:NO)、コンソール19等からの操作入力により、再び校正モードを実行する。一方、白色光画像202からして、プレ撮影が適切に行えており、生体情報観察モードが観察対象に合わせて正確に校正できたと判断した場合(S12:YES)、コンソール19等からの操作入力により、本実施形態の生体情報観察モードである酸素飽和度観察モードに移行する(S13)。酸素飽和度観察モードにおいては、内視鏡システム10は本撮影を行って得る本撮影画像を用いて酸素飽和度を算出し、酸素飽和度の値を、疑似カラーを用いて示す酸素飽和度画像をモニタ18に表示する。このため、医師等は、酸素飽和度画像を見て診断する。酸素飽和度画像を用いて診断する際に、酸素飽和度の値が全体的に高い、あるいは全体的に低い等、示された酸素飽和度の値に疑義があり、校正し直す必要があれば(S14)、コンソール19等からの操作入力により、再び校正モード(S13)に移行し、酸素飽和度観察モードを再校正する。また、内視鏡システム10は、モード切り替えスイッチ13aの操作により、酸素飽和度観察モードを終了するまで(S15)、酸素飽和度観察モードを繰り返し実行し、継続的に酸素飽和度画像をモニタ18に表示する。
図12に示すように、校正モード(図11のステップS11)においては、まず、光源部20が第1青色光BSを発光し(S21)、イメージセンサ48はこの第1青色光BSを用いて、自動的に観察対象をプレ撮影し、画像取得部54は酸素飽和度観察モードの校正に使用するBp画像を取得する(S22)。次いで、光源部20は白色光を発光する(S23)。このため、Bp画像を得た次の撮影フレームにおいては、イメージセンサ48は白色光を用いて自動的に観察対象を撮影し、画像取得部54はBt画像、Gt画像、及びRt画像を取得する(S24)。プレ撮影の途中であるが、画像生成部73は、ここにおいて得るBt画像、Gt画像、及びRt画像を用いて白色光画像202を生成し、表示制御部66は白色光画像202をモニタ18に表示する(S25)。
白色光画像202を得た撮影フレームの次の撮影フレームにおいては、光源部20は第2青色光BLを発光する(S26)。そして、イメージセンサ48は第2青色光BLを用いて自動的に観察対象を撮影し、画像取得部54は、酸素飽和度観察モードの校正に必要なBq画像を取得する(S27)。Bq画像を得た次の撮影フレームにおいては、光源部20は、次のプレ撮影画像を得るための照明光を発光するのではなく、再び白色光を発光する(S28)。このため、イメージセンサ48は白色光を用いて観察対象を自動的に撮影し、画像取得部54は再びBt画像、Gt画像、及びRt画像を取得する(S29)。画像生成部73は、これらのBt画像、Gt画像、及びRt画像から白色光画像202を生成し、表示制御部66は生成した白色光画像202をモニタ18に表示する(S30)。
次の撮影フレームにおいては、光源部20は緑色光Gを発光する(S31)。そして、イメージセンサ48はこの緑色光Gを用いて自動的に観察対象を撮影し、画像取得部54は、酸素飽和度観察モードの校正に必要なGr画像を取得する(S32)。次いで、光源部20は、白色光を再び発光し(S33)、イメージセンサ48が白色光を用いて自動的に観察対象を撮影して、画像取得部54がBt画像、Gt画像、及びRt画像を取得する(S34)。このため、画像生成部73はこれらを用いて白色光画像202を生成し、表示制御部66が白色光画像202をモニタ18に表示する(S35)。
そして、次の撮影フレームにおいて、光源部20は赤色光Rを発光し(S36)、イメージセンサ48がこの赤色光Rを用いて自動的に観察対象を撮影して、画像取得部54が酸素飽和度観察モードの校正に必要な最後の画像であるRs画像を取得する(S37)。
上記のように、白色光画像202の生成及び表示を挿入しつつ、酸素飽和度観察モードの校正に必要な複数のプレ撮影画像(すなわちBp画像、Bq画像、Gr画像、及びRs画像)を取得すると、校正情報算出部75はこれらのプレ撮影画像を用いて、観察対象の部位や状態等を表す観察対象に固有の生体情報を校正情報として算出する(S38)。校正情報算出部75が校正情報を算出すると、補正量算出部76は、校正情報算出部75が算出した校正情報を用いて酸素飽和度の算出に使用する相関関係を補正することにより、酸素飽和度観察モードを校正する(S40)。
図13に示すように、酸素飽和度観察モード(図11のステップS13)においては、光源部20は、まず、第2青色光BLを発光する(S51)。そして、イメージセンサ48は第2青色光BLを用いて自動的に観察対象を撮影し、画像取得部54は、酸素飽和度の算出に必須のB1画像を取得する(S52)。その後、次の撮影フレームにおいては、光源部20は白色光を発光し(S53)、イメージセンサ48がこの白色光を用いて自動的に観察対象を撮影することにより、画像取得部54は、酸素飽和度の算出及び酸素飽和度画像の生成に必要なB2画像、G2画像、及びR2画像を取得する(S54)。
こうしてB1画像、B2画像、G2画像、及びR2画像が得られたら、演算値算出部70が酸素飽和度の算出に必要な演算値を算出する(S55)。具体的には、演算値算出部70は、比B1/G2と比R2/G2をそれぞれ画素ごとに算出する。
そして、生体情報算出部72は、データ記憶部71の相関関係を参照し、演算値算出部70が算出した比B1/G2及び比R2/G2から、観察対象の酸素飽和度を画素ごとに算出する(S56)。当然ながら、生体情報算出部72は、データ記憶部71が予め記憶するデフォルトの相関関係でなはなく、校正モードにおいて校正部77が補正した相関関係を使用する。このため、観察対象に固有の誤差要因の影響を受けないので、生体情報算出部72が算出した酸素飽和度は正確である。
生体情報算出部72が酸素飽和度を算出すると、画像生成部73は、B2画像、G2画像、及びR2画像に対して酸素飽和度に応じたゲインを施し、酸素飽和度の値を、疑似カラーを用いて表す酸素飽和度画像を生成し、表示制御部66が酸素飽和度画像をモニタ18に表示する(S57)。
上記のように、内視鏡システム10は、生体情報観察モードと、この生体情報観察モードを校正する校正モードと、を有しており、校正モード時には、単にプレ撮影画像を得て、生体情報観察モードを校正するだけでなく、プレ撮影画像を得る合間(または前後)に、白色光画像202を生成及び表示する。このため、医師等は、校正モード中においても、観察対象を継続して観察できる。
さらに、校正モード中にモニタ18に表示する白色光画像202は、プレ撮影画像とほぼ同時に取得するので、プレ撮影画像を得る合間または前後の観察対象の状態を表している。このため、医師等は、校正モード中の白色光画像202の表示により、プレ撮影が適切に行えたかどうか、すなわち、生体情報観察モードである酸素飽和度観察モードが正確に校正されたか否かを判断する機会が得られる。
特殊観察モードへの切り替え時に自動的に行う校正モードにおいてプレ撮影に失敗し、校正が正確でなかった場合にそのまま酸素飽和度観察モード(生体情報観察モード)を実行すれば、当然、酸素飽和度は不正確なので酸素飽和度画像を診断に利用できない。これに対して、内視鏡システム10においては、校正モード中に白色光画像202を表示することで、校正が適切にできたかどうかを判断する機会があるので、必要であれば、酸素飽和度観察モードに移行する前に、再度校正モードを実行して、酸素飽和度観察モードを確実かつ正確に校正できる。したがって、内視鏡システム10においては、校正が再度必要になるような観察対象の変化(例えば、粘液の分泌等)がなければ、酸素飽和度観察モードに移行した時点において、酸素飽和度を確実かつ正確に算出できるようになっている。
なお、上記第1実施形態においては、補正量算出部76は、第2特徴空間を用いて補正量ΔDを算出しているが、補正量ΔDは、Bp画像、Bq画像、Gr画像、及びRs画像に対してマトリックス処理と1D-LUT(1 Dimensional Look Up Table)とを組み合わせた変換処理をして算出することもできる。
上記第1実施形態においては、黄色色素の付着量または濃度に関して酸素飽和度観察モードを校正しているが、他の観察対象に固有の状態等について酸素飽和度観察モードを校正できる。この場合、校正情報算出部75は、黄色色素の付着量または濃度に関する生体情報の代わりに、校正の対象とする観察対象に固有の状態等に関する生体情報を校正情報として算出すれば良い。補正量算出部76や校正部77の動作は上記第1実施形態と同様である。
上記第1実施形態の校正モードにおいては、プレ撮影画像を得るために、第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rを発光する間に、全て白色光を発光して白色光画像202を得ているが(図4参照)、これらの白色光を発光するタイミングのうちいずれかを省略できる。また、第1青色光BSの発光前に、白色光を発光して白色光画像202を得ても良いし、赤色光Rの発行後にも白色光を跛行して白色光画像202を得ても良い。すなわち、校正モード中に、少なくとも1回白色光を発光して、白色光画像202を生成及び表示できれば良い。
上記第1実施形態の校正モードにおいては、白色光画像202を除けば、プレ撮影画像を、Bp画像、Bq画像、Gr画像、及びRs画像の順に取得するが(図12参照)、プレ撮影画像の取得順序は任意である。例えば、Rs画像、Bq画像、Bp画像、及びGr画像の順にプレ撮影画像を取得できる。但し、これらのプレ撮影画像の中でも、Bp画像とBq画像とで観察対象のずれ(動き)があると、酸素飽和度観察モードの校正精度が特に低下しやすい。このため、できる限りBp画像とBq画像は連続して取得することが好ましい。すなわち、複数の校正用照明光のうち、酸素飽和度観察モードの校正に使用する補正量ΔDの算出精度への寄与が最も大きい組み合わせの2つの校正用照明光の発光間隔を、他の校正用照明光の発光間隔よりも短くすることが好ましい。もちろん、あくまでもプレ撮影画像の取得順に関してBp画像とBq画像を連続して取得するのであって、白色光画像202を生成及び表示するための撮影フレームをBq画像とBq画像の間に挿入して構わない。
[第2実施形態]
第1実施形態においては、プレ撮影画像の全体を使用して生体情報観察モード(酸素飽和度観察モード)を校正しているが、プレ撮影画像の全体ではなく、プレ撮影画像の一部だけを使用して生体情報観察モードを校正できる。このように、プレ撮影画像の一部を使用して生体情報観察モードを校正する場合、図14に示すように、特殊処理部63に、校正モードの際に作動する領域設定部201を設ける。
第1実施形態においては、プレ撮影画像の全体を使用して生体情報観察モード(酸素飽和度観察モード)を校正しているが、プレ撮影画像の全体ではなく、プレ撮影画像の一部だけを使用して生体情報観察モードを校正できる。このように、プレ撮影画像の一部を使用して生体情報観察モードを校正する場合、図14に示すように、特殊処理部63に、校正モードの際に作動する領域設定部201を設ける。
領域設定部201は、画像取得部54から、生体情報観察モードである酸素飽和度観察モードの校正に使用するプレ撮影画像(すなわちBp画像、Bq画像、Gr画像、及びRs画像)を取得し、これらのプレ撮影画像の一部を、酸素飽和度観察モードの校正に使用する領域(以下、使用領域という)203(図15参照)に設定する。領域設定部201がプレ撮影画像に対して使用領域203を設定した場合、校正情報算出部75は、領域設定部201が設定した使用領域203についてだけ校正情報を算出する。これにより、補正量算出部76も使用領域について補正量ΔDの算出することになるので、校正部77が行う相関関係の補正(すなわち酸素飽和度観察モードの校正)には、プレ撮影画像の全体ではなく、プレ撮影画像の一部である使用領域203だけが使用される。このように、プレ撮影画像の一部に使用領域203を設定し、プレ撮影画像の全体ではなく、使用領域203だけを使用して酸素飽和度観察モードを校正すると、校正の誤差要因を低減できるので、酸素飽和度観察モードをより正確に校正できる。
領域設定部201は、例えば、プレ撮影画像から、明るすぎる部分(ハレーションを起こしている部分)や、暗すぎる部分(光量不足により黒く潰れてしまっている部分)、残渣や残液が付着している部分等の校正の誤差要因になる部分を検出し、これらを除いた領域を使用領域203に設定する。領域設定部201は、観察対象の形状等から判断して病変等がないといえる正常部を検出し、検出した正常部を使用領域203に設定することもできる。また、領域設定部201は、照度ムラが起きやすい画像の周縁部や、観察対象の奥の方の部分の一定範囲を除いた領域を使用領域203に設定できる。この他、コンソール19等からの操作入力により、手動で使用領域203を設定することもできる。
上記のように、領域設定部201がプレ撮影画像の一部を使用領域203に設定し、使用領域203だけを酸素飽和度観察モードの校正に使用する場合には、画像生成部73は、領域設定部201から、領域設定部201が設定した使用領域203の位置及び範囲の情報(以下、位置情報という)を取得する。例えば、図15に示すように、表示制御部66は、白色光画像202をモニタ18に表示する際に、位置情報に基づいて、領域設定部201が設定した使用領域203を白色光画像202に重畳表示する。
こうして使用領域203を白色光画像202に重畳表示すると、どの領域を酸素飽和度観察モードの校正に使用したかを視認できる。したがって、医師等は、白色光画像202を用いて、観察対象の動き等の誤差要因になり得る状態かどうかを確認する他、使用領域203が不適切でないかを確認し、領域設定部201が設定した使用領域203が不適切な場合には、酸素飽和度の校正をやり直すことができる。
上記第2実施形態においては、領域設定部201は、プレ撮影画像を用いて使用領域203を検出及び設定しているが、この代わりに、領域設定部201は、白色光画像202を用いて使用領域203を設定することができる。
上記第2実施形態においては、使用領域203を白色光画像202に重畳表示しているが、さらに、補正量ΔDの数値や補正量ΔDの数値を示すインジケータを白色光画像202に重畳表示してもよい。具体的な補正量ΔDの数値等も酸素飽和度観察モードの校正が正確に行われたか否かの判断材料になるからである。例えば、補正量ΔDが極端に大きい場合には、撮影した箇所全体に病変が広がっている等、観察対象の状態が正常な状態から程遠い可能性がある。補正量ΔDの具体的な数値等を見れば、こうした異常性を察知することができる。補正量ΔDの数値等の重畳表示は、第1実施形態の場合にも有効である。
[第3実施形態]
第1実施形態においては、光源部20は、校正モード時に、プレ撮影画像を得るための校正用照明光を順次発光する間に、白色光の発光を複数回挿入する。これにより、モニタ18には、白色光を発光した各撮影フレームにおいて得る画像から、それぞれ白色光画像202を生成及び表示している。
第1実施形態においては、光源部20は、校正モード時に、プレ撮影画像を得るための校正用照明光を順次発光する間に、白色光の発光を複数回挿入する。これにより、モニタ18には、白色光を発光した各撮影フレームにおいて得る画像から、それぞれ白色光画像202を生成及び表示している。
このように、校正モードにおいて、光源部20が、プレ撮影画像を得るための校正用照明光を順次発光する間に白色光の発光を複数回挿入し、白色光画像202を複数得る場合には、図16に示すように、特殊処理部63には、さらに、校正モード時に作動する動き量算出部301と位置ずれ補正部302を設けることが好ましい。
動き量算出部301は、画像生成部73が生成する白色光画像202を順次取得し、取得した複数の白色光画像202から観察対象の動き量を算出する。具体的には、動き量算出部301は、順次取得する2つの白色光画像202のマッチングにより、これらの白色光画像202間の観察対象の動きを表す複数のベクトル(以下、動きベクトル)を検出する。そして、これらの動きベクトルから、観察対象の移動や回転、変形等の方向及び大きさを算出する。こうして算出する観察対象の移動や回転、変形等の方向及び大きさが動き量である。
位置ずれ補正部302は、動き量算出部301が算出した動き量を用いて、校正用画像の観察対象の位置ずれを補正する。すなわち、位置ずれ補正部302は、校正用画像であるBp画像、Bq画像、Gr画像、及びRs画像の観察対象の位置ずれを補正する。
例えば、校正モードにおいて最初に得る白色光画像202(図12のステップS25において得る白色光画像202)と、次に得る白色光画像202(図12のステップS30において得る白色光画像202)とから動き量を算出すると、この動き量は、最初に得る白色光画像202と次に得る白色光画像202の前後に取得したBp画像、Bq画像、及びGr画像間の観察対象の動き量に概ね等しい。同様に、校正モードにおいて2番目に得る白色光画像202(図12のステップS30において得る白色光画像202)と、3番目に得る白色光画像202(図12のステップS35において得る白色光画像202)とから動き量を算出すると、この動き量は、これらの前後に取得したBq画像、Gr画像、及びRs画像間の観察対象の動き量に概ね等しい。したがって、これらの動き量を用いれば、Bp画像、Bq画像、Gr画像、及びRs画像の観察対象に多少の動きがあっても、これらの各画像間の観察対象の位置ずれを補正できる。
校正情報算出部75は、上記のように位置ずれ補正部302を用いて観察対象の位置ずれを補正したBp画像、Bq画像、Gr画像、及びRs画像を用いて校正情報を算出する。このため、観察対象の位置ずれを補正しない場合よりも、正確に校正情報を算出できる。したがって、本実施形態においては、観察対象の動きに起因する誤差を低減できるので、酸素飽和度観察モードの校正がより正確になる。
なお、上記第3実施形態においては、動き量算出部301は、画像生成部73が生成した白色光画像202を用いて動き量を算出するが、動き量算出部301は、白色光画像202の代わりに、白色光画像202を生成するための画像を用いて動き量を算出できる。具体的には、画像生成部73は、Bt画像、Gt画像、及びRt画像を用いて白色光画像202を生成するので、動き量算出部301は、Bt画像、Gt画像、またはRt画像のいずれか、または全てを用いて、動き量を算出できる。
[第4実施形態]
上記第3実施形態においては、校正モードにおいて、複数の白色光画像202から動き量を算出して校正用画像の観察対象の位置ずれを補正しているが、この代わりに、複数の白色光画像202の光量比を算出し、算出した光量比を用いて、校正用画像の光量比を補正しても良い。
上記第3実施形態においては、校正モードにおいて、複数の白色光画像202から動き量を算出して校正用画像の観察対象の位置ずれを補正しているが、この代わりに、複数の白色光画像202の光量比を算出し、算出した光量比を用いて、校正用画像の光量比を補正しても良い。
この場合、図17に示すように、特殊処理部63に、校正モード時に機能する光量比算出部401及び光量比補正部402を設ける。光量比算出部401は、画像生成部73から白色光画像202を順次取得し、それらの光量比を算出する。画像の光量とは、例えば、全画素または一部の画素の輝度の平均値(以下、平均輝度という)であり、画像の光量比とは、対比する画像の平均輝度の比である。したがって、複数の白色光画像202の光量比とは、各白色光画像202の平均輝度の比である。
光量比補正部402は、光量比算出部401が算出した光量比を用いて、校正用画像の光量比を補正する。例えば、光量比算出部401が、校正モードにおいて最初に得る白色光画像202(図12のステップS25において得る白色光画像202)と、次に得る白色光画像202(図12のステップS30において得る白色光画像202)との光量比を算出すると、この光量比は、概ね、これらの白色光画像202の前後に取得するBp画像、Bq画像、及びGr画像の光量の変化を表す。また、光量比算出部401が、校正モードにおいて2番目に得る白色光画像202(図12のステップS30において得る白色光画像202)と、3番目に得る白色光画像202(図12のステップS35において得る白色光画像202)との光量比を算出すると、この光量比は、概ね、これらの白色光画像202の前後に取得するBq画像、Gr画像、及びRs画像の光量の変化を表す。したがって、これらの光量比を用いることで、光量比補正部402は、Bp画像、Bq画像、Gr画像、及びRs画像の光量比を補正できる。
そして、校正情報算出部75は、上記のように光量比補正部402を用いて光量比を補正したBp画像、Bq画像、Gr画像、及びRs画像を用いて校正情報を算出する。このため、照明光を第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rの間において発光量にばらつきがあった等の理由で、Bp画像、Bq画像、Gr画像、及びRs画像の光量に変化があるとしても、本実施形態においては、これら各校正用画像の光量比を補正するので、正確に校正情報を算出できる。したがって、本実施形態においては、校正用画像の光量変化に起因する誤差を低減できるので、酸素飽和度観察モードの校正がより正確になる。
なお、上記第4実施形態においては、光量比算出部401は、画像生成部73が生成した白色光画像202を用いて光量比を算出しているが、光量比算出部401は、白色光画像202の代わりに、白色光画像202を生成するための画像を用いて光量比を算出できる。具体的には、画像生成部73は、Bt画像、Gt画像、及びRt画像を用いて白色光画像202を生成するので、光量比算出部401は、Bt画像、Gt画像、またはRt画像のいずれか、または全てを用いて、光量比を算出できる。
なお、上記第4実施形態は、第3実施形態とも組み合わせることができる。すなわち、校正モードにおいて得る複数の白色光画像202から、動き量と光量比を両方とも算出し、これらを用いて、校正用画像の観察対象の位置ずれを補正し、かつ、校正用画像の光量比を補正できる。この場合、第3実施形態の動き量算出部301及び位置ずれ補正部302と、第4実施形態の光量比算出部401及び光量比補正部402と、を特殊処理部63に設ければ良い。
[第5実施形態]
上記第1~第4実施形態の校正モードにおいては、1セットの校正用画像(1組のBp画像、Bq画像、Gr画像、及びRs画像)を取得して酸素飽和度観察モードを校正するが、校正モードにおいては複数セットの校正用画像を得るようにしても良い。例えば、図18に示すように、第1実施形態と同様に第1青色光BS、白色光、第2青色光BL、緑色光G、及び、赤色光Rの発光を1セットとして、例えば、第1セットから第5セットまでをまとめて実行できる。各光の発光時に得る画像は第1実施形態と同様なので、上記の場合、校正用画像に限って言えば、Bp画像、Bq画像、Gr画像、及びRs画像を1セットとして、5セット分の校正用画像が得られる。
上記第1~第4実施形態の校正モードにおいては、1セットの校正用画像(1組のBp画像、Bq画像、Gr画像、及びRs画像)を取得して酸素飽和度観察モードを校正するが、校正モードにおいては複数セットの校正用画像を得るようにしても良い。例えば、図18に示すように、第1実施形態と同様に第1青色光BS、白色光、第2青色光BL、緑色光G、及び、赤色光Rの発光を1セットとして、例えば、第1セットから第5セットまでをまとめて実行できる。各光の発光時に得る画像は第1実施形態と同様なので、上記の場合、校正用画像に限って言えば、Bp画像、Bq画像、Gr画像、及びRs画像を1セットとして、5セット分の校正用画像が得られる。
このように、校正モード時に、複数セット分の校正用画像を得ると、これらのうち一部の校正用画像を用い、かつ、使用する校正用画像の組み合わせを変更することにより、複数の補正量ΔDを算出できる。上記の5セット分の校正用画像を得る場合には、補正量算出部76は、少なくとも、第1セットの校正用画像を使用して算出した校正情報を用いることで、第1セットの校正用画像に起因した第1セットの補正量(以下、区別のため、補正量ΔD1という。他のセットについても同様である。)を算出できる。同様に、第2セットの補正量ΔD2と、第3セットの補正量ΔD3と、第4セットの補正量ΔD4と、第5セットの補正量ΔD5を算出できる。
そして、例えば、上記補正量ΔD1~ΔD5の平均値を上記第1実施形態の補正量ΔDにすれば、データのばらつき等に起因する誤差を低減し、上記第1実施形態よりもさらに正確な補正量ΔDを算出できる。したがって、本実施形態のように、校正モード時に複数セット分の校正用画像を得るようにすることで、より正確に酸素飽和度観察モードを校正できる。
なお、上記第5実施形態においては、セットごとに補正量ΔD1~ΔD5を算出しているが、異なるセットにおいて得た校正用画像を組み合わせて用いることで補正量を算出することもできる。例えば、第1セットにおいて得るBq画像、Gr画像、及びRs画像と、第2セットにおいて得るBp画像と、を用いて補正量ΔDを算出できる。また、第1セットにおいて得るGr画像及びRs画像と、第2セットにおいて得るBp画像及びBq画像と、を用いて補正量を算出できる。同様に、2撮影フレーム分ずつ、使用する校正用画像を変更することで、全部で12個の補正量ΔDを算出できる。このように、異なるセットにおいて得た校正用画像を組み合わせて算出する補正量ΔDも加えて、5以上の補正量ΔDを平均すれば、補正量ΔDは上記第5実施形態よりもさらに正確な値になる。したがって、結果として、酸素飽和度観察モードをさらに正確に校正できる。
また、上記第5実施形態及び変形例においては、校正モードにおいて複数の補正量ΔDを算出した後、これらを平均しているが、平均する代わりに、複数の補正量ΔDの中央値等を校正部77が用いる補正量ΔDにしてもよい。
上記第5実施形態のように、校正モードにおいて複数セット分の校正用画像を取得して複数の補正量Δを算出する場合には、図19に示すように、特殊処理部63には、さらに動き量算出部511を設けることが好ましい。この動き量算出部511は、第3実施形態の動き量算出部301と同様に、画像生成部73から白色光画像202を順次取得し、取得した複数の白色光画像202間の観察対象の動き量を算出する。但し、動き量算出部511は、算出した動き量を補正量算出部76に入力する。
そして、補正量算出部76においては、上記第5実施形態の通り、複数の補正量ΔDを算出し、かつ、算出した複数の補正量ΔDを、動き量を用いて重み付け平均した値を、校正部77において使用する補正量ΔDとする。例えば、セットごとに5個の補正量ΔD1~ΔD5を算出し、第1セットから第5セットの各動き量(または各セットの動き量の平均値等)がそれぞれα1~α5である場合、補正量算出部76は、これらの動き量α1~α5を各セットの補正量ΔD1~ΔD5にそれぞれ乗じて平均し、校正部77において使用する補正量ΔDを算出する。このように、動き量を用いて重み付け平均した値を用いて校正部77が相関関係を補正すれば、上記第5実施形態よりもさらに正確に酸素飽和度観察モードを校正できる。
また、補正量算出部76は、上記のように動き量を用いて重み付けをして複数の補正量ΔDを平均する代わりに、動き量を用いて、複数の補正量ΔDのなかから、酸素飽和度観察モードの校正に最適な補正量ΔDを選択することもできる。例えば、セットごとに5個の補正量ΔD1~ΔD5を算出し、第1セットから第5セットの各動き量(または各セットの動き量の平均値等)がそれぞれα1~α5であり、かつ、これらの動き量α1~α5のなかで第3セットの動き量α3が最小であるとすると、補正量算出部76は、第3セットの補正量ΔD3を、校正部77が使用する補正量ΔDに選択する。このように、動き量が最も小さいセットの補正量ΔD、あるいは、動き量が最も小さい組み合わせの校正用画像を使用して算出した補正量ΔDを選択して、酸素飽和度観察モードの補正に使用すれば、重み付け平均をする場合よりも簡易に、かつ、第5実施形態よりも正確に、酸素飽和度観察モードを校正できる。
図20に示すように、動き量算出部511の代わりに、第4実施形態と同様に複数の白色光画像202の光量比を算出する光量比算出部521を設けても良い。但し、光量比算出部521は、例えばセットごとに、複数の光量比を算出する。この場合、光量比算出部521が算出する光量比を、動き量算出部511が算出する動き量の代わりに使用できる。すなわち、光量比算出部521が算出する光量比を用いて、複数の補正量ΔDに重み付けして平均し、校正部77において使用する補正量ΔDを算出することができる。また、光量比算出部521が算出する光量比を用いて、複数の補正量ΔDのなかから、酸素飽和度観察モードの校正に最適な補正量ΔD(例えば、光量比が最小になるセットの補正量ΔD)を選択することができる。
なお、上記第5実施形態においては、校正モード中に何セットの校正用画像を得るかを定めているが、この代わりに、校正モードを実行する時間を定めても良い。例えば、校正モードの継続時間を5秒等と設定し、この時間内に、白色光画像202を取得する時間も含め、できる限り校正用画像を多く取得するようにしても良い。
上記第1~第5実施形態においては、観察モードを特殊観察モードに切り替えた際に、自動的に校正モードを実行しているが、校正モードは自動実行せずに、特殊観察モードに切り替えた際には自動的に酸素飽和度観察モードを実行し、校正モードは酸素飽和度観察モード中に任意に実行するようにしてもよい。
例えば、図21に示すように、プロセッサ装置16に、酸素飽和度画像を順次取得して動き量を算出する動き量算出部611と、動き量算出部611が算出した動き量を用いて校正モードを実行するか否かを判定する判定部612を設けるとよい。判定部612は、例えば、動き量が閾値以下になって観察対象の動きが小さいときに、校正モードを実行すると判定し、その旨の制御信号を制御部52に入力することにより、酸素飽和度観察モード中に校正モードを自動的に挿入する。このように、動き量を用いて酸素飽和度観察モードの校正に最適な状況を判定し、校正モードの校正に最適な状況になったときに校正モードを実行すれば、酸素飽和度観察モードの校正が成功しやすい。
動き量算出部611は、酸素飽和度画像から動き量を算出しているが、酸素飽和度画像の代わりに、酸素飽和度画像を生成するための画像(B1画像、B2画像、G2画像、及びR2画像)を用いて動き量を算出することができる。また、判定部612は、校正モードを実行すると判定した場合、制御部52に制御信号を入力することで、酸素飽和度観察モード中に自動的に校正モードを挿入するが、この代わりに、校正モードに適した状況であることをモニタ18等の表示(メッセージ等)を用いて報知し、校正モードへの手動切替を促しても良い。また、動き量算出部611及び判定部612は特殊処理部63に設けても良い。
図22に示すように、特殊処理部63に、粘膜の状態を判定する粘膜判定部621を設ければ、粘膜判定部621の判定結果にしたがって、酸素飽和度観察モード中に校正モードを挿入することができる。粘膜判定部621は、例えば、画像取得部54からB1画像、B2画像、G2画像、またはR2画像を取得し、これらのいずれか、または全てを用いて、観察対象の粘膜の状態を検出する。そして、病変の疑いがある隆起等の変異形状や変異構造がない場合に、観察対象の粘膜が校正モードに適した状態にあると判定し、校正モードの実行を促す制御信号を制御部52に入力する。これにより、酸素飽和度観察モード中に自動的に校正モードを挿入することができる。
粘膜判定部621は、粘膜の色を判定しても良い。例えば、病変の疑いがある変色(例えば発赤)等がない場合や、内視鏡12が食道から胃に入った等により、粘膜の色が変化し、観察対象が異なる器官になったと判定した場合に、粘膜判定部621は校正モードの実行を促す制御信号を制御部52に入力して、酸素飽和度観察モード中に自動的に校正モードを挿入することができる。なお、粘膜判定部621を設ける場合も、自動的に校正モードを挿入する代わりに、校正モードに適した状況であることをモニタ18等の表示(メッセージ等)を用いて報知し、校正モードへの手動切替を促すようにしてもよい。
上記第1~第5実施形態においては、校正モード時に、第1青色光BS、第2青色光BL、緑色光G、及び赤色光Rをそれぞれ単独発光して校正用画像を得ているが、一部の光を同時に発光し、一部の校正用画像を同時に取得することができる。例えば、図23に示すように、緑色光Gと赤色光Rを同時に発光して、Gr画像とRs画像を同時に取得することができる。また、図24に示すように、第1青色光BSと緑色光Gと赤色光Rを同時発光して、Bp画像とGr画像とRs画像を同時に取得し、第2青色光BLを単独発光して、Bq画像だけ別に取得することができる。同様に、第1青色光BSを単独発光してBp画像を取得し、第2青色光BLと緑色光Gと赤色光Rを同時発光してBq画像とGr画像とRs画像を同時に取得することができる。すなわち、B画素において受光する第1青色光BSと第2青色光BLをそれぞれ異なる撮影フレームにおいて発光して、Bp画像とBq画像が別々に得られれば、その他の校正用画像は同時に得ることができる。
上記第1~第5実施形態においては、基本的に1回の校正モードにおいて酸素飽和度観察モードを校正するが、校正モードを手動または自動で複数回実行する場合には、以前に実行した校正モードにおける校正結果に重ねて校正することができる。すなわち、校正モードを複数回実行する場合には、常にデータ記憶部71が予め記憶するデフォルトの相関関係を補正するのではなく、以前の校正モードにおいて補正した相関関係を補正することができる。こうすれば、1回の校正モードにおける校正精度が多少低くても、段階的に校正精度を向上することができる。
上記第1~第5実施形態においては、生体情報観察モードは酸素飽和度観察モードであるが、本発明は、酸素飽和度以外の生体情報を算出等する生体情報観察モードにも適用可能である。
上記第1~第5実施形態においては、校正モードにおいて色(波長)が異なる複数の校正用照明光を使用しているが、同じ色の校正用照明光を用いて観察対象を複数回撮影して得る複数のプレ撮影画像を用いて生体情報観察モードの校正をすることができる。
上記第1~第5実施形態においては、光源部20が複数の光源20a~20dを有し、これらが発光する光を重ね合わせて照明光を形成しているが、この他に、光源部20は、広帯域光源が発する光から一部の成分を抽出して使用することにより照明光を形成することができる。例えば、図25に示す内視鏡システム670は、第1実施形態の各光源20a~20d及び光源制御部22の代わりに、光源部20に、広帯域光源676と、回転フィルタ677と、フィルタ切り替え部678と、を備える。また、内視鏡システム670においては、イメージセンサ48は、カラーフィルタが設けられていないモノクロのセンサである。これ以外は、第1実施形態の内視鏡システムと同様である。
広帯域光源676はキセノンランプや白色LED等であり、波長帯域が青色から赤色に及ぶ白色光を発光する。回転フィルタ677は、広帯域光源676の光路中に回転自在に配置されており、広帯域光源676が発光した白色光の帯域を制限し、一部の成分を照明光としてライトガイド41に入射する。
図26に示すように、回転フィルタ677は円形であり、その内周と外周にそれぞれ帯域制限フィルタを有している。内周の帯域制限フィルタ(以下、内側フィルタという)688は周方向に沿って4区画に区切ってあり、各区画には、第1青色光BSを透過するBSフィルタ688aと、緑色光Gを透過するGフィルタ688bと、赤色光Rを透過するRフィルタ688cがそれぞれ設けられている。外周の帯域制限フィルタ(以下、外側フィルタという)689は周方向に沿って5区画に区切ってあり、各区画には、第1青色光BSを透過するBSフィルタ689aと、第2青色光BLを透過するBLフィルタ689bと、緑色光Gを透過するGフィルタ689cと、赤色光Rを透過するRフィルタ689dと、白色光を透過するWフィルタ689eと、がそれぞれ設けられている。
フィルタ切り替え部678は、制御部52が入力する制御信号にしたがって、観察モードに応じて、広帯域光源676の光路に対して回転フィルタ677の位置を切り替える。また、フィルタ切り替え部678は、観察モードに応じて回転フィルタ677の回転速度の調整もする。通常観察モードの場合、フィルタ切り替え部678は、内側フィルタ688を広帯域光源676の光路中に配置し、撮影フレームに合わせて回転フィルタ677を回転する。BSフィルタ688aが広帯域光源676の光路の通過する撮影フレームにおいては、Bc画像を得ることができる。同様に、Gフィルタ688bが広帯域光源676の光路の通過する撮影フレームにおいては、Gc画像を得ることができ、Rフィルタ688cが広帯域光源676の光路を通過する撮影フレームにおいては、Rc画像を得ることができる。
一方、特殊観察モードの場合、フィルタ切り替え部678は、外側フィルタ689を広帯域光源676の光路中に配置し、撮影フレームに合わせて回転フィルタ677を回転する。これにより、校正モードにおいては、外側フィルタ689の各フィルタ689a~689eが広帯域光源676の光路を通過する各撮影フレームにおいて、Bp画像、Bq画像、Gr画像、Rs画像、及び白色光画像202を得ることができる。また、酸素飽和度観察モードにおいては、外側フィルタ689のBSフィルタ689a、BLフィルタ689b、Rフィルタ689c、及びRフィルタ689dが広帯域光源676の光路を通過する各撮影フレームにおいて、B1画像、B2画像、G2画像、及びR2画像をそれぞれ得ることができる。
回転フィルタ677の上記構成は一例である。例えば、外側フィルタ689のWフィルタ689eの区画を増やし、BSフィルタ689aとBLフィルタ689bの間、BLフィルタ689bとGフィルタ689cの間、及び、Gフィルタ689cとRフィルタ689dの間にもそれぞれWフィルタ689eを配置すれば、校正モードにおいて、第1実施形態と同様に、各校正用画像の間または前後の撮影フレームにおいて白色光画像202を得ることができる。この他、画像生成部73がBq画像、Gr画像、及びRs画像から白色光画像202を生成するようにすれば、Wフィルタ689eを省略することもできる。また、外側フィルタ689をさらに内外周で分割して、校正用モード用の部分と、酸素飽和度観察モード用の部分とを設けても良い。
上記第1~第5実施形態においては、イメージセンサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システムにおいて本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図27に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡700と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡700は、光源部702と制御部703と、イメージセンサ704と、画像処理部706と、送受信アンテナ708と、を備えている。光源部702は、光源部20に対応する。制御部703は、光源制御部22及び制御部52と同様に機能する。また、制御部703は、送受信アンテナ708を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第1~第5実施形態のプロセッサ装置16とほぼ同様であるが、画像取得部54及び画像処理部61に対応する画像処理部706はカプセル内視鏡700に設けられ、生成した酸素飽和度画像等は、送受信アンテナ708を介してプロセッサ装置に送信される。イメージセンサ704はイメージセンサ48と同様に構成される。
10,670 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a スイッチ
13b ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20,702 光源部
20a BS光源
20b BL光源
20c G光源
20d R光源
22 光源制御部
30a 照明光学系
30b 撮影光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48,704 イメージセンサ
52,703 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61,706 画像処理部
62 通常処理部
63 特殊処理部
66 表示制御部
70 演算値算出部
71 データ記憶部
72 生体情報算出部
73 画像生成部
75 校正情報算出部
76 補正量算出部
77 校正部
83 等値線
84 等値線
86,87 グラフ
94 基準等濃度線
96 等濃度線
201 領域設定部
202 白色光画像
203 使用領域
301,511,611 動き量算出部
302 位置ずれ補正部
401,521 光量比算出部
402 光量比補正部
612 判定部
621 粘膜判定部
676 広帯域光源
677 回転フィルタ
678 フィルタ切り替え部
688,689 帯域制限フィルタ
688a,689a BSフィルタ
688b,689c Gフィルタ
688c,689d Rフィルタ
689b BLフィルタ
689e Wフィルタ
700 カプセル内視鏡
708 送受信アンテナ
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a スイッチ
13b ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20,702 光源部
20a BS光源
20b BL光源
20c G光源
20d R光源
22 光源制御部
30a 照明光学系
30b 撮影光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48,704 イメージセンサ
52,703 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61,706 画像処理部
62 通常処理部
63 特殊処理部
66 表示制御部
70 演算値算出部
71 データ記憶部
72 生体情報算出部
73 画像生成部
75 校正情報算出部
76 補正量算出部
77 校正部
83 等値線
84 等値線
86,87 グラフ
94 基準等濃度線
96 等濃度線
201 領域設定部
202 白色光画像
203 使用領域
301,511,611 動き量算出部
302 位置ずれ補正部
401,521 光量比算出部
402 光量比補正部
612 判定部
621 粘膜判定部
676 広帯域光源
677 回転フィルタ
678 フィルタ切り替え部
688,689 帯域制限フィルタ
688a,689a BSフィルタ
688b,689c Gフィルタ
688c,689d Rフィルタ
689b BLフィルタ
689e Wフィルタ
700 カプセル内視鏡
708 送受信アンテナ
Claims (11)
- 観察対象の生体情報を観察する生体情報観察モードと、前記生体情報観察モードを校正する校正モードと、を有する内視鏡システムにおいて、
前記校正モード時に、前記校正に使用する校正用照明光を発光し、かつ、少なくとも1回は白色光を発光する光源部と、
前記校正用照明光を用いて前記観察対象を撮像して得る複数の校正用画像を用いて前記生体情報観察モードにおいて使用するデータの補正量を算出する補正量算出部と、
前記補正量を用いて前記データを補正することにより、前記生体情報観察モードを校正する校正部と、
前記校正モード時に、前記白色光を用いて前記観察対象を撮影して得る白色光画像を表示部に表示する表示制御部と、
を備える内視鏡システム。 - 前記生体情報は、前記観察対象の酸素飽和度である請求項1に記載の内視鏡システム。
- 前記校正用画像の一部を、前記生体情報観察モードの校正に使用する領域に設定する領域設定部を備え、
前記表示制御部は、前記領域設定部が設定した前記領域を前記白色光画像に重畳表示する請求項1または2に記載の内視鏡システム。 - 前記校正モード時に、複数の前記校正用画像を取得し、かつ、複数の前記白色光画像を取得する請求項1~3のいずれか1項に記載の内視鏡システム。
- 複数の前記白色光画像の光量比を算出する光量比算出部と、
前記光量比算出部が算出した前記光量比を用いて、複数の前記校正用画像の光量比を補正する光量比補正部と、
を備える請求項4に記載の内視鏡システム。 - 前記観察対象の動き量を算出する動き量算出部と、
前記動き量を用いて、複数の前記校正用画像の位置ずれを補正する位置ずれ補正部と、
を備える請求項4に記載の内視鏡システム。 - 前記補正量算出部は、複数の前記校正用画像のうち一部の前記校正用画像を用い、かつ、使用する前記校正用画像の組み合わせを変更することにより、複数の前記補正量を算出し、
前記校正部は、複数の前記補正量、または、複数の前記補正量のうち1つを用いて前記生体情報観察モードにおいて使用する前記データを補正する請求項4に記載の内視鏡システム。 - 前記観察対象の動き量を算出する動き量算出部を備え、
前記校正部は、前記動き量を用いて複数の前記補正量を重み付け平均した値を用いて前記生体情報観察モードにおいて使用する前記データを補正する請求項7に記載の内視鏡システム。 - 前記観察対象の動き量を算出する動き量算出部を備え、
前記動き量を用いて複数の前記補正量のなかから選択した1つの前記補正量を用いて、前記校正部は、前記生体情報観察モードにおいて使用する前記データを補正する請求項7に記載の内視鏡システム。 - 前記光源部は、複数の前記校正用照明光のうち、前記補正量の算出精度への寄与が最も大きい組み合わせの2つの前記校正用照明光の発光間隔を、他の前記校正用照明光の発光間隔よりも短くする請求項4~9のいずれか1項に記載の内視鏡システム。
- 観察対象の生体情報を算出する生体情報観察モードと、前記生体情報観察モードを校正する校正モードと、を有する内視鏡システムの作動方法において、
光源部が、前記校正モード時に、前記校正に使用する校正用照明光を発光し、かつ、少なくとも1回は白色光を発光するステップと、
補正量算出部が、前記校正用照明光を用いて前記観察対象を撮像して得る校正用画像を用いて前記生体情報観察モードにおいて使用するデータの補正量を算出するステップと、
校正部が、前記補正量を用いて前記データを補正することにより、前記生体情報観察モードを校正するステップと、
表示制御部が、前記校正モード時に、前記白色光を用いて前記観察対象を撮影して得る白色光画像を表示部に表示するステップと、
を備える内視鏡システムの作動方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16878362.9A EP3395227A4 (en) | 2015-12-22 | 2016-12-07 | ENDOSCOPY SYSTEM AND OPERATING PROCEDURES FOR THE ENDOSCOPE SYSTEM |
US15/993,599 US11399751B2 (en) | 2015-12-22 | 2018-05-31 | Endoscope system and method of operating endoscope system |
US17/847,180 US20220322974A1 (en) | 2015-12-22 | 2022-06-23 | Endoscope system and method of operating endoscope system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-250538 | 2015-12-22 | ||
JP2015250538A JP6408457B2 (ja) | 2015-12-22 | 2015-12-22 | 内視鏡システム及び内視鏡システムの作動方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/993,599 Continuation US11399751B2 (en) | 2015-12-22 | 2018-05-31 | Endoscope system and method of operating endoscope system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017110469A1 true WO2017110469A1 (ja) | 2017-06-29 |
Family
ID=59090024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/086341 WO2017110469A1 (ja) | 2015-12-22 | 2016-12-07 | 内視鏡システム及び内視鏡システムの作動方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11399751B2 (ja) |
EP (1) | EP3395227A4 (ja) |
JP (1) | JP6408457B2 (ja) |
WO (1) | WO2017110469A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6561000B2 (ja) * | 2016-03-09 | 2019-08-14 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2018159083A1 (ja) * | 2017-03-03 | 2018-09-07 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
JP6866531B2 (ja) * | 2018-03-06 | 2021-04-28 | 富士フイルム株式会社 | 医療画像処理システム及び内視鏡システム |
CN109068121B (zh) * | 2018-09-04 | 2019-07-23 | 珠海康弘医疗科技有限公司 | 三维成像系统、三维成像系统校准方法及装置 |
JP7252970B2 (ja) * | 2018-10-12 | 2023-04-05 | 富士フイルム株式会社 | 医用画像処理装置、内視鏡システム、及び医用画像処理装置の作動方法 |
TWI811643B (zh) * | 2021-03-08 | 2023-08-11 | 偉詮電子股份有限公司 | 影像色彩亮度補償方法及影像色彩亮度補償系統 |
WO2023067922A1 (ja) * | 2021-10-20 | 2023-04-27 | 富士フイルム株式会社 | 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム |
WO2023119856A1 (ja) * | 2021-12-22 | 2023-06-29 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JPWO2023119795A1 (ja) * | 2021-12-22 | 2023-06-29 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006341025A (ja) * | 2005-06-10 | 2006-12-21 | Olympus Corp | 歯科用撮像装置 |
JP2013022341A (ja) * | 2011-07-25 | 2013-02-04 | Fujifilm Corp | 内視鏡システムおよび内視鏡システムの駆動方法 |
WO2015064436A1 (ja) * | 2013-10-28 | 2015-05-07 | 富士フイルム株式会社 | キャリブレーション方法及び内視鏡システム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8467583B2 (en) * | 2005-04-04 | 2013-06-18 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Medical imaging method and system |
US8668636B2 (en) * | 2009-09-30 | 2014-03-11 | Fujifilm Corporation | Electronic endoscope system, processor for electronic endoscope, and method of displaying vascular information |
JP5802364B2 (ja) | 2009-11-13 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
JP5616303B2 (ja) * | 2010-08-24 | 2014-10-29 | 富士フイルム株式会社 | 電子内視鏡システム及び電子内視鏡システムの作動方法 |
JP5829568B2 (ja) * | 2012-04-11 | 2015-12-09 | 富士フイルム株式会社 | 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
JP6089436B2 (ja) * | 2012-04-18 | 2017-03-08 | ソニー株式会社 | 画像処理装置と画像処理装置の作動方法および撮像装置 |
CN103997944B (zh) * | 2012-09-03 | 2016-04-13 | 奥林巴斯株式会社 | 扫描型内窥镜系统 |
JP6109695B2 (ja) * | 2013-09-27 | 2017-04-05 | 富士フイルム株式会社 | 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置 |
CN106999019B (zh) * | 2014-11-19 | 2018-10-19 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法、记录介质以及内窥镜装置 |
WO2016092958A1 (ja) * | 2014-12-09 | 2016-06-16 | ソニー株式会社 | 照明装置及び照明装置の制御方法並びに画像取得システム |
JP6412252B2 (ja) * | 2015-04-02 | 2018-10-24 | 富士フイルム株式会社 | プロセッサ装置及び内視鏡システム |
JP6448509B2 (ja) * | 2015-10-30 | 2019-01-09 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
WO2017085793A1 (ja) * | 2015-11-17 | 2017-05-26 | オリンパス株式会社 | 内視鏡システム、画像処理装置、画像処理方法およびプログラム |
-
2015
- 2015-12-22 JP JP2015250538A patent/JP6408457B2/ja active Active
-
2016
- 2016-12-07 EP EP16878362.9A patent/EP3395227A4/en not_active Withdrawn
- 2016-12-07 WO PCT/JP2016/086341 patent/WO2017110469A1/ja unknown
-
2018
- 2018-05-31 US US15/993,599 patent/US11399751B2/en active Active
-
2022
- 2022-06-23 US US17/847,180 patent/US20220322974A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006341025A (ja) * | 2005-06-10 | 2006-12-21 | Olympus Corp | 歯科用撮像装置 |
JP2013022341A (ja) * | 2011-07-25 | 2013-02-04 | Fujifilm Corp | 内視鏡システムおよび内視鏡システムの駆動方法 |
WO2015064436A1 (ja) * | 2013-10-28 | 2015-05-07 | 富士フイルム株式会社 | キャリブレーション方法及び内視鏡システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3395227A4 * |
Also Published As
Publication number | Publication date |
---|---|
EP3395227A1 (en) | 2018-10-31 |
US20180271412A1 (en) | 2018-09-27 |
US11399751B2 (en) | 2022-08-02 |
US20220322974A1 (en) | 2022-10-13 |
EP3395227A4 (en) | 2019-01-09 |
JP6408457B2 (ja) | 2018-10-17 |
JP2017113184A (ja) | 2017-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6408457B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP6461739B2 (ja) | 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法 | |
JP6412252B2 (ja) | プロセッサ装置及び内視鏡システム | |
JP6437943B2 (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
JP6629639B2 (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
JP6561000B2 (ja) | 内視鏡システム及びその作動方法 | |
US11510599B2 (en) | Endoscope system, processor device, and method of operating endoscope system for discriminating a region of an observation target | |
JP6840737B2 (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
JP2010005095A (ja) | 内視鏡装置における距離情報取得方法および内視鏡装置 | |
JP6744712B2 (ja) | 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 | |
JPWO2018159083A1 (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
JP6085649B2 (ja) | 内視鏡用光源装置及び内視鏡システム | |
JPWO2018066347A1 (ja) | 内視鏡システム及びその作動方法 | |
JP6731110B2 (ja) | 内視鏡システム及びその作動方法 | |
JP6254502B2 (ja) | 内視鏡用光源装置及び内視鏡システム | |
JP6744713B2 (ja) | 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 | |
JP2016120026A (ja) | 内視鏡システム及びその作動方法 | |
WO2023119856A1 (ja) | 内視鏡システム及びその作動方法 | |
JP2018171544A (ja) | 内視鏡システム及びその作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16878362 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |