Nothing Special   »   [go: up one dir, main page]

JP7556961B2 - ENDOSCOPYRIGHT: 2014-01-13 ... - Google Patents

ENDOSCOPYRIGHT: 2014-01-13 ... Download PDF

Info

Publication number
JP7556961B2
JP7556961B2 JP2022534904A JP2022534904A JP7556961B2 JP 7556961 B2 JP7556961 B2 JP 7556961B2 JP 2022534904 A JP2022534904 A JP 2022534904A JP 2022534904 A JP2022534904 A JP 2022534904A JP 7556961 B2 JP7556961 B2 JP 7556961B2
Authority
JP
Japan
Prior art keywords
image
display
support
light
illumination light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022534904A
Other languages
Japanese (ja)
Other versions
JPWO2022009478A1 (en
Inventor
康太郎 檜谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2022009478A1 publication Critical patent/JPWO2022009478A1/ja
Application granted granted Critical
Publication of JP7556961B2 publication Critical patent/JP7556961B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Description

本発明は、画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラムに関する。 The present invention relates to an image processing device, an endoscopic system, an operation method of an image processing device, and a program for an image processing device.

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、画像強調内視鏡又は画像強調観察(IEE、image enhanced endoscopy)と称される方法により、観察対象を内視鏡で撮影して得た画像(以下、内視鏡画像という)を用いて、観察対象の表面構造、粘膜表層の生体情報、又は病変の可能性等、観察対象の診断のための複数の支援情報を得ることが行われている。In the medical field, diagnosis is widely performed using an endoscopic system that includes a light source device, an endoscope, and a processor device. In diagnosis using an endoscopic system, a method called image enhanced endoscopy (IEE) is used to obtain multiple pieces of support information for diagnosing the observation target, such as the surface structure of the observation target, biological information on the mucosal surface, or the possibility of a lesion, using an image (hereinafter referred to as an endoscopic image) obtained by photographing the observation target with an endoscope.

IEEには、観察対象を撮像して得た内視鏡画像をデジタル画像処理して用いる方法、又は、観察対象を特定の照明光により照明して撮像した内視鏡画像を用いる方法等、各種の方法が知られている。これらの方法により、例えば、観察対象において血管が密集する領域、又は酸素飽和度が低い領域等の生体情報を判定し、これらの領域を強調して表示すること等が可能である。これらの表示は、医師が観察対象を診断するための支援情報となる。 Various methods are known in the IEEE, such as a method of using endoscopic images obtained by capturing an image of an observation target through digital image processing, or a method of using endoscopic images captured by illuminating an observation target with a specific illumination light. With these methods, it is possible to determine biological information, such as areas of dense blood vessels or areas of low oxygen saturation in the observation target, and to highlight and display these areas. These displays provide support information for doctors to diagnose the observation target.

また、IEE等により、観察対象における病変の可能性がある領域の範囲、又は、炎症度等から、疾患のステージ等を判定し、得られた判定結果を医師の診断のための支援情報として提供するCAD(Computer-Aided Diagnosis)技術も開発されている。例えば、IEEによる内視鏡画像を用いて、潰瘍性大腸炎のステージ等の疾患の重症度又は進行度を高い精度で判定する内視鏡システムが知られている(特許文献1)。 In addition, the IEEE and others have developed CAD (Computer-Aided Diagnosis) technology that determines the stage of a disease from the range of possible lesions or the degree of inflammation in an observation subject, and provides the obtained determination results as support information for a doctor's diagnosis. For example, an endoscope system is known that uses endoscopic images generated by the IEEE to determine the severity or progression of a disease, such as the stage of ulcerative colitis, with high accuracy (Patent Document 1).

特開2020-65685号公報JP 2020-65685 A

各種の方法によるIEEでは、それぞれ良好に得られる支援情報が異なる場合がある。したがって、IEEの種類により得られる効果又は用途が異なる場合がある。例えば、観察対象の情報として、酸素飽和度を取得する目的と、ポリープの領域を取得する目的とでは、異なるIEEが用いられる場合がある。したがって、複数のIEEを用いることにより、観察対象に関する診断の支援情報を複数種類得ることができるため、スクリーニング、又は病変の診断等において有益である。 Different IEE methods may provide different support information. Thus, the type of IEE may provide different effects or uses. For example, different IEEs may be used to obtain oxygen saturation and to obtain the area of a polyp as information on the object of observation. Thus, by using multiple IEEs, multiple types of diagnostic support information on the object of observation can be obtained, which is useful for screening, diagnosing lesions, etc.

しかしながら、例えば、内視鏡のユーザである医師が、通常観察する白色の照明光にて観察対象を観察中に、複数のIEEにより複数の病変等が示された場合、なんらかの異常、又は閾値からの逸脱等が示されていることは認識できるが、これら複数の病変のそれぞれを手間や時間をかけずに識別するのは難しい場合があった。However, for example, when a doctor who is a user of an endoscope is observing an object using the normally used white illumination light and multiple lesions, etc. are indicated by multiple IEEs, the doctor can recognize that some kind of abnormality or deviation from a threshold is being indicated, but it can be difficult to identify each of these multiple lesions without spending a lot of time and effort.

本発明は、観察対象の詳細な情報を容易に認識できる画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラムを提供することを目的とする。 The present invention aims to provide an image processing device, an endoscopic system, an operating method of an image processing device, and a program for an image processing device that enable detailed information of an object of observation to be easily recognized.

本発明は、画像処理装置であって、プロセッサを備える。プロセッサは、内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得し、少なくとも1つの画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成し、複数の画像信号のそれぞれにおいて、観察対象が特定の状態である特定領域を判定し、特定領域を示す支援画像を生成し、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う。The present invention is an image processing device that includes a processor. The processor acquires a plurality of image signals obtained by imaging an object to be observed using an endoscope, generates a display image to be displayed on a display using an image signal for display obtained based on at least one of the image signals, determines a specific region in which the object to be observed is in a specific state in each of the plurality of image signals, generates a support image showing the specific region, and performs control so that, when the display image is displayed on the display, the plurality of support images are superimposed on the display image in a manner that allows them to be distinguished from one another.

複数の支援画像は、同一又は相似の図形により表示することが好ましい。 It is preferable that multiple support images are displayed using the same or similar figures.

支援画像は、特定領域の面積に対応した面積により表示することが好ましい。 It is preferable that the support image is displayed with an area corresponding to the area of the specific region.

プロセッサは、複数の支援画像のそれぞれを互いに異なる色により表示することが好ましい。 It is preferable that the processor displays each of the multiple support images in a different color from the others.

プロセッサは、複数の支援画像のそれぞれを互いに異なる形状の図形により表示することが好ましい。 It is preferable that the processor displays each of the multiple support images as a graphic of a different shape.

プロセッサは、支援画像を生成する毎に、支援画像を表示画像に重畳して表示する制御を行うことが好ましい。It is preferable that the processor controls the display of the support image by superimposing it on the display image each time the support image is generated.

プロセッサは、画像信号に対して強調処理を行い支援用画像信号とし、支援用画像信号に基づいて、特定領域を判定することが好ましい。It is preferable that the processor performs enhancement processing on the image signal to generate an assistance image signal, and determines the specific region based on the assistance image signal.

プロセッサは、支援画像と強調処理との関連付けを示す凡例表示をディスプレイに表示する制御を行うことが好ましい。It is preferable that the processor controls the display to display a legend indicating the association between the support image and the enhancement process.

また、本発明は、内視鏡システムであって、本発明の画像処理装置と、観察対象に照射する照明光を発する光源部とを備える。The present invention also relates to an endoscopic system comprising the image processing device of the present invention and a light source unit that emits illumination light to irradiate an object to be observed.

表示用画像信号は、光源部が発する白色の照明光により照明した観察対象を撮像することにより得られることが好ましい。It is preferable that the image signal for display is obtained by imaging the object to be observed illuminated with white illumination light emitted by the light source unit.

プロセッサは、光源部が発する互いに分光スペクトルが異なる複数の支援画像用照明光のそれぞれにより照明した観察対象を撮像することにより、支援画像を生成することが好ましい。It is preferable that the processor generates the support image by capturing an image of the object to be observed illuminated with each of a plurality of support image illumination lights having different spectral spectra emitted by the light source unit.

複数の支援画像用照明光は、それぞれ予め設定した波長帯域の狭帯域光を含むことが好ましい。It is preferable that each of the multiple illumination lights for support images includes narrowband light of a predetermined wavelength band.

光源部は、白色の照明光と、複数の支援画像用照明光のそれぞれとを、予め設定した順序により繰り返し発光することが好ましい。It is preferable that the light source unit repeatedly emits white illumination light and each of the multiple support image illumination lights in a predetermined sequence.

表示制御部は、支援画像と支援画像用照明光との関連付けを示す凡例表示をディスプレイに表示する制御を行うことが好ましい。It is preferable that the display control unit controls the display to display a legend indicating the association between the support image and the illumination light for the support image.

また、本発明は、画像処理装置の作動方法であって、内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得ステップと、少なくとも1つの画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像
を生成する表示画像生成ステップと、複数の画像信号のそれぞれに基づいて、観察対象が特定の状態である特定領域を示す支援画像を生成する支援画像生成ステップと、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う表示制御ステップとを備える。
The present invention also provides a method for operating an image processing device, comprising: an image acquisition step of acquiring a plurality of image signals obtained by imaging an object to be observed using an endoscope; a display image generation step of generating a display image to be displayed on a display using an image signal for display obtained based on at least one of the image signals; a support image generation step of generating a support image indicating a specific area in which the object to be observed is in a specific state, based on each of the plurality of image signals; and a display control step of controlling the display image to be displayed so that, when the display image is displayed on the display, the plurality of support images are superimposed on the display image in a manner that allows them to be distinguished from one another.

また、本発明は、画像処理装置用プログラムであって、内視鏡を用いて観察対象を撮像することにより得られる画像信号に画像処理を施す画像処理装置にインストールされる画像処理装置用プログラムにおいて、コンピュータに、内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得機能と、少なくとも1つの画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成する表示画像生成機能と、複数の画像信号のそれぞれに基づいて、観察対象が特定の状態である特定領域を示す支援画像を生成する支援画像生成機能と、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う表示制御機能とを実現させるための画像処理装置用プログラムである。The present invention also relates to a program for an image processing device, which is installed in an image processing device that performs image processing on an image signal obtained by imaging an object to be observed using an endoscope, and which causes a computer to realize an image acquisition function for acquiring a plurality of image signals obtained by imaging an object to be observed using an endoscope, a display image generation function for generating a display image to be displayed on a display using an image signal for display obtained based on at least one image signal, an support image generation function for generating a support image showing a specific area in which the object to be observed is in a specific state based on each of the plurality of image signals, and a display control function for controlling the display of the plurality of support images by superimposing them on the display image in a manner that allows them to be distinguished from one another when the display image is displayed on the display.

本発明によれば、観察対象の詳細な情報を容易に認識することができる。 According to the present invention, detailed information of the object of observation can be easily recognized.

内視鏡システムの外観図である。FIG. 1 is an external view of an endoscope system. 内視鏡の操作部の外観図である。FIG. 2 is an external view of an operation section of the endoscope. 内視鏡システムの機能を示すブロック図である。2 is a block diagram showing the functions of the endoscope system. FIG. 通常光のスペクトルを示すグラフである。1 is a graph showing the spectrum of normal light. 第1照明光のスペクトルを示すグラフである。13 is a graph showing a spectrum of a first illumination light. 第2照明光のスペクトルを示すグラフである。13 is a graph showing a spectrum of a second illumination light. 第3照明光のスペクトルを示すグラフである。13 is a graph showing a spectrum of a third illumination light. 照明光パターンを説明する説明図である。FIG. 4 is an explanatory diagram for explaining an illumination light pattern. 画像処理部の機能を示すブロック図である。FIG. 2 is a block diagram showing functions of an image processing unit. 表示画像の画像図である。FIG. 特定領域判定部の機能を示すブロック図である。4 is a block diagram showing functions of a specific region determination unit; FIG. 第1特定領域を示した支援画像を重畳した表示画像の画像図である。11 is an image diagram of a display image on which a support image showing a first specific region is superimposed. 第2特定領域を示した支援画像を重畳した表示画像の画像図である。11 is an image diagram of a display image on which a support image showing a second specific region is superimposed. 第3特定領域を示した支援画像を重畳した表示画像の画像図である。FIG. 11 is an image diagram of a display image on which a support image showing a third specific region is superimposed. 複数の支援画像を重畳した表示画像の画像図である。FIG. 13 is an image diagram of a display image on which multiple support images are superimposed. 異なる形状の図形で表示した複数の支援画像を重畳した表示画像の画像図である。13 is an image diagram of a display image in which a plurality of support images displayed in different shapes are superimposed. 支援画像の更新を説明する説明図である。FIG. 11 is an explanatory diagram for explaining updating of a support image. 特定領域の種類を示す凡例を表示した表示画像の画像図である。FIG. 11 is an image diagram of a display image on which a legend indicating the type of specific region is displayed. 複数の特定領域が一部重なる場合の表示画像の画像図である。11 is an image diagram of a display image in which a plurality of specific regions partially overlap each other. 複数の特定領域が全部重なる表示画像の画像図である。FIG. 13 is an image diagram of a display image in which a plurality of specific regions are completely overlapped. 支援画像が文字情報を有する表示画像の画像図である。FIG. 13 is an image diagram of a display image in which the support image has text information. 画像処理装置が行う処理の一連の流れを説明するためのフローチャートである。1 is a flowchart illustrating a flow of a series of processes performed by an image processing device. 診断支援装置を示す説明図である。FIG. 1 is an explanatory diagram showing a diagnosis support device. 医療業務支援装置を示す説明図である。FIG. 1 is an explanatory diagram showing a medical service support device.

図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、キーボード19とを備える。内視鏡12は、観察対象を撮影する。光源装置14は、観察対象に照射する照明光を発する。プロセッサ装置16は、内視鏡システム10のシステム制御を行う。ディスプレイ18は、内視鏡画像等を表示する表示部である。キーボード19は、プロセッサ装置16等への設定入力等を行う入力デバイスである。As shown in FIG. 1, the endoscopic system 10 comprises an endoscope 12, a light source device 14, a processor device 16, a display 18, and a keyboard 19. The endoscope 12 captures an image of an object to be observed. The light source device 14 emits illumination light to irradiate the object to be observed. The processor device 16 performs system control of the endoscopic system 10. The display 18 is a display unit that displays endoscopic images, etc. The keyboard 19 is an input device that inputs settings, etc. to the processor device 16, etc.

内視鏡システム10は、観察モードとして、通常モードと特殊モードと支援モードとの3つのモードを備える。通常モードは、通常光を観察対象に照射して撮像することによって、自然な色合いの通常画像を表示画像としてディスプレイ18に表示する。特殊モードでは、通常光と波長帯域又は分光スペクトルが異なる特殊光を観察対象に照明して撮像することによって、観察対象の特定の状態を強調した特殊画像を表示画像としてディスプレイ18に表示する。支援モードでは、通常光を観察対象に照射して撮像することによって得た通常画像を表示画像としてディスプレイ18に表示する際に、表示画像に支援画像を重畳して表示する。支援画像は、観察対象が特定の状態である特定領域を示す画像である。なお、通常モードにおける表示画像は、強調処理等を行った特殊画像であっても、視認性が良いものであれば、表示画像として用いてもよい。The endoscope system 10 has three observation modes: a normal mode, a special mode, and an assistance mode. In the normal mode, a normal image with natural coloring is displayed on the display 18 as a display image by irradiating the observation target with normal light and capturing the image. In the special mode, a special image that emphasizes a specific state of the observation target is displayed on the display 18 as a display image by irradiating the observation target with special light having a wavelength band or spectrum different from that of the normal light and capturing the image. In the assistance mode, when a normal image obtained by irradiating the observation target with normal light and capturing the image is displayed on the display 18 as a display image, an assistance image is superimposed on the display image. The assistance image is an image that shows a specific area where the observation target is in a specific state. Note that the display image in the normal mode may be a special image that has been subjected to an emphasis process or the like, as long as it has good visibility.

観察対象が特定の状態であるとは、観察対象を撮像した内視鏡画像の画像解析から得られる観察対象の生体情報等の各種の情報が、予め設定した条件を満たすことであり、これにより観察対象の状態が特定のものであるかを判定する。観察対象の生体情報とは、観察対象の全体的または部分的な特性を表す数値等であり、例えば、酸素飽和度、血液濃度、血管密度、または、病変もしくは病変の候補(生体組織検査の対象を含む)等の特定の形態を有する確からしさ、等である。具体的には、例えば、観察対象の血管、腺管、ひだ、ポリープ、もしくは、特定の粘膜等の有無、もしくは、大きさ等の測定による情報、又は発赤等の色、蛍光、がんなどの病変、もしくは、低酸素飽和度等を示す内視鏡画像から得られる情報が、予め設定した範囲にある場合、観察対象が特定の状態であるとする。内視鏡画像から得られる生体情報は、複数用いて観察対象の状態を判定してもよいし、内視鏡画像を用いた機械学習による画像認識技術により、観察対象の状態を判定してもよい。The observation target is in a specific state when various information such as biological information of the observation target obtained from image analysis of an endoscopic image of the observation target meets a preset condition, and whether the observation target is in a specific state is determined based on this. The biological information of the observation target is a numerical value that indicates the overall or partial characteristics of the observation target, such as oxygen saturation, blood concentration, vascular density, or the likelihood of having a specific form such as a lesion or a candidate for a lesion (including the subject of a biopsy). Specifically, for example, when the presence or absence of blood vessels, ducts, folds, polyps, or a specific mucous membrane of the observation target, or information obtained from an endoscopic image showing a color such as redness, fluorescence, a lesion such as cancer, or low oxygen saturation, falls within a preset range, the observation target is in a specific state. The biological information obtained from the endoscopic image may be used to determine the state of the observation target, or the state of the observation target may be determined by image recognition technology based on machine learning using the endoscopic image.

具体的には、例えば、内視鏡画像から得られる情報において、観察対象の表層血管の密集度が特定の値以上である場合、観察対象は表層血管の密集度が高い密の状態にあると判定する。この場合、観察対象における表層血管の密集度が高い密の状態にある領域が特定領域であるから、支援画像は、観察対象における表層血管の密集度が高い密の状態にある領域を示す画像である。支援画像は、観察対象を表示する表示画像に重畳してディスプレイに示すため、観察対象が特定の状態である特定領域を示すことができる。支援モードにおいて、観察対象を表示する表示画像は、通常光画像、又は特殊画像から任意に選択してもよい。本実施形態では、支援モードにおける表示画像は、通常画像である。 Specifically, for example, when the density of the superficial blood vessels of the observation target is equal to or greater than a specific value in the information obtained from the endoscopic image, the observation target is determined to have a high density of superficial blood vessels. In this case, since the area in the observation target where the density of the superficial blood vessels is high is the specific area, the support image is an image showing the area in the observation target where the density of the superficial blood vessels is high. The support image is superimposed on the display image showing the observation target and shown on the display, so that it is possible to show the specific area where the observation target is in a specific state. In the support mode, the display image showing the observation target may be arbitrarily selected from a normal light image or a special image. In this embodiment, the display image in the support mode is a normal image.

支援画像は、特定領域を示す。支援画像は、支援用画像信号に基づいて生成することが好ましい。支援用画像信号は複数の種類を有する。支援用画像信号は、観察対象に照射する照明光として各種の特殊光を用いて撮像することにより得る支援用画像信号と、画像信号に対し強調処理等の各種の画像処理を行うことにより得る支援用画像信号とを含む。画像処理を行うことにより得る支援用画像信号は、例えば、撮像して得た画像信号に対し、観察対象における複数の領域の色の差を拡張した色差拡張処理を施した色彩強調画像、及び、コントラストを強調したコントラスト強調画像等を含む。各種の特殊光については後述する。The support image indicates a specific region. It is preferable that the support image is generated based on a support image signal. There are multiple types of support image signals. The support image signals include support image signals obtained by capturing an image using various types of special light as illumination light for irradiating the object of observation, and support image signals obtained by performing various types of image processing such as enhancement processing on the image signals. Support image signals obtained by performing image processing include, for example, color-enhanced images obtained by performing color difference expansion processing on the image signals captured to expand the color difference between multiple regions of the object of observation, and contrast-enhanced images in which contrast is enhanced. The various types of special light will be described later.

内視鏡12は、観察対象を有する被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dとを有している。操作部12bのアングルノブ12e(図2参照)を操作することにより、湾曲部12cが湾曲する。その結果、先端部12dが所望の方向に向く。また、図2に示すように、操作部12bには、アングルノブ12eの他、処置具挿入口12f、スコープボタン12g、及び、ズーム操作部13が設けられている。処置具挿入口12fは、生検鉗子、スネア、または、電気メス等の処置具を挿入する入り口である。処置具挿入口12fに挿入した処置具は、先端部12dから突出する。スコープボタン12gには各種の操作を割り当てることができ、本実施形態では観察モードを切り替える操作に使用する。ズーム操作部13を操作することによって、観察対象を拡大または縮小して撮影できる。The endoscope 12 has an insertion section 12a to be inserted into a subject having an observation object, an operation section 12b provided at the base end of the insertion section 12a, a bending section 12c provided at the tip side of the insertion section 12a, and a tip section 12d. The bending section 12c is bent by operating the angle knob 12e (see FIG. 2) of the operation section 12b. As a result, the tip section 12d faces the desired direction. As shown in FIG. 2, the operation section 12b is provided with a treatment tool insertion port 12f, a scope button 12g, and a zoom operation section 13 in addition to the angle knob 12e. The treatment tool insertion port 12f is an entrance through which a treatment tool such as a biopsy forceps, a snare, or an electric scalpel is inserted. The treatment tool inserted into the treatment tool insertion port 12f protrudes from the tip section 12d. Various operations can be assigned to the scope button 12g, and in this embodiment, it is used to switch the observation mode. The observation object can be enlarged or reduced and photographed by operating the zoom operation section 13.

図3に示すように、光源装置14は、照明光を発する光源を備える光源部20と、光源部20の動作を制御する光源制御部22とを備える。光源部20は、観察対象を照明する照明光を発する。照明光には、照明光を発するために使用する励起光等の発光を含む。光源部20は、例えば、レーザーダイオード、LED(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発するために使用する励起光を発する。白色には、内視鏡12を用いた観察対象の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。 As shown in FIG. 3, the light source device 14 includes a light source unit 20 having a light source that emits illumination light, and a light source control unit 22 that controls the operation of the light source unit 20. The light source unit 20 emits illumination light that illuminates the observation object. The illumination light includes emitted light such as excitation light used to emit the illumination light. The light source unit 20 includes a light source such as a laser diode, an LED (Light Emitting Diode), a xenon lamp, or a halogen lamp, and emits at least white illumination light or excitation light used to emit white illumination light. The white color includes so-called pseudo-white color that is substantially equivalent to white color when photographing the observation object using the endoscope 12.

光源部20は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部20は、少なくとも狭帯域な光(以下、狭帯域光という)からなる照明光を発することができる。また、光源部20は、互いに分光スペクトルが異なる複数の照明光を発することができる。複数の照明光は、狭帯域光を含んでも良い。また、光源部20は、例えば、観察対象が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域又は分光スペクトルを有する光を発することができる。 The light source unit 20 includes, as necessary, a phosphor that emits light when irradiated with excitation light, or an optical filter that adjusts the wavelength band, spectral spectrum, or light amount of the illumination light or excitation light. In addition, the light source unit 20 can emit illumination light consisting of at least narrow-band light (hereinafter referred to as narrow-band light). The light source unit 20 can also emit multiple illumination lights having different spectral spectra. The multiple illumination lights may include narrow-band light. The light source unit 20 can also emit light having a specific wavelength band or spectral spectrum necessary for capturing an image used to calculate biological information such as the oxygen saturation of hemoglobin contained in the observation subject.

「狭帯域」とは、観察対象の特性及び/またはイメージセンサ45が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、波長帯域が例えば約±20nm以下(好ましくは約±10nm以下)である場合、この光は狭帯域である。 "Narrowband" refers to a substantially single wavelength band in relation to the characteristics of the object being observed and/or the spectral characteristics of the color filter of the image sensor 45. For example, if the wavelength band is, for example, about ±20 nm or less (preferably about ±10 nm or less), the light is narrowband.

本実施形態では、光源部20は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dの4色のLEDを有する。V-LED20aは、中心波長405nm、波長帯域380~420nmの紫色光VLを発光する。B-LED20bは、中心波長460nm、波長帯域420~500nmの青色光BLを発光する。G-LED20cは、波長帯域が480~600nmに及ぶ緑色光GLを発光する。R-LED20dは、中心波長620~630nmで、波長帯域が600~650nmに及ぶ赤色光RLを発光する。なお、V-LED20aとB-LED20bの中心波長は約±20nm、好ましくは約±5nmから約±10nm程度の幅を有する。なお、紫色光VLは、特殊光モード又は支援モードにて用いる表層血管の密集、粘膜内出血、及び粘膜外出血を検出するために用いられる短波長の光であり、中心波長又はピーク波長に410nmを含めることが好ましい。また、紫色光VLは、狭帯域光であることが好ましい。In this embodiment, the light source unit 20 has four color LEDs: V-LED 20a, B-LED 20b, G-LED 20c, and R-LED 20d. V-LED 20a emits purple light VL with a central wavelength of 405 nm and a wavelength band of 380 to 420 nm. B-LED 20b emits blue light BL with a central wavelength of 460 nm and a wavelength band of 420 to 500 nm. G-LED 20c emits green light GL with a wavelength band of 480 to 600 nm. R-LED 20d emits red light RL with a central wavelength of 620 to 630 nm and a wavelength band of 600 to 650 nm. The central wavelengths of V-LED 20a and B-LED 20b have a width of about ±20 nm, preferably about ±5 nm to about ±10 nm. The purple light VL is a short-wavelength light used in the special light mode or the assistance mode to detect the density of superficial blood vessels, intramucosal bleeding, and extramucosal bleeding, and preferably has a central wavelength or a peak wavelength of 410 nm. The purple light VL is preferably a narrow-band light.

光源制御部22は、光源部20を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部20は、分光スペクトルが異なる複数種類の照明光を、予め設定した期間及び発光量で発することができる。本実施形態においては、光源制御部22は、各LED20a~20dの点灯や消灯、点灯時の発光量、又は光学フィルタの挿抜等を、各々に独立した制御信号を入力することにより、照明光の分光スペクトルを調節する。これにより、光源部20は白色の照明光、分光スペクトルが異なる複数種類の照明光、又は、少なくとも狭帯域光からなる照明光等を発する。The light source control unit 22 controls the timing of turning on, off or blocking each light source constituting the light source unit 20, and the amount of light emitted. As a result, the light source unit 20 can emit multiple types of illumination light with different spectral spectra for a preset period and amount of light emitted. In this embodiment, the light source control unit 22 adjusts the spectral spectrum of the illumination light by inputting independent control signals to each of the LEDs 20a to 20d for turning on or off, the amount of light emitted when turned on, or inserting or removing an optical filter. As a result, the light source unit 20 emits white illumination light, multiple types of illumination light with different spectral spectra, or illumination light consisting of at least narrowband light.

本実施形態では、図4に示すように、光源部20は、光源制御部22の制御により、白色の照明光を発する。白色の照明光は、通常光である。通常モード又は支援モードに設定している場合、光源制御部22は、紫色光VL、青色光BL、緑色光GL、及び赤色光RL間の光強度比がVc:Bc:Gc:Rcとなる通常光を発するように、各LED20a~20dを制御する。光強度比Vc:Bc:Gc:Rcは、白色の照明光の光量条件に対応する。In this embodiment, as shown in FIG. 4, the light source unit 20 emits white illumination light under the control of the light source control unit 22. The white illumination light is normal light. When set to normal mode or assistance mode, the light source control unit 22 controls each of the LEDs 20a to 20d to emit normal light in which the light intensity ratio between the purple light VL, the blue light BL, the green light GL, and the red light RL is Vc:Bc:Gc:Rc. The light intensity ratio Vc:Bc:Gc:Rc corresponds to the light quantity condition of the white illumination light.

また、光源部20は、光源制御部22の制御により、互いに分光スペクトルが異なる複数の特殊光を発することが好ましい。複数の特殊光により撮像することにより、複数の支援用画像信号を得ることができ、複数の互いに異なる支援画像を得ることができるためである。複数の特殊光は、2種以上のn種類であってよい。なお、nは整数である。本実施形態では、複数の特殊光は、第1照明光と第2照明光と第3照明光との3種類である。 It is also preferable that the light source unit 20 emits multiple special lights having different optical spectra under the control of the light source control unit 22. This is because capturing images using multiple special lights can obtain multiple support image signals and multiple support images that are different from one another. The multiple special lights may be two or more types, n, where n is an integer. In this embodiment, the multiple special lights are three types: a first illumination light, a second illumination light, and a third illumination light.

特殊モード及び支援モードに設定している場合、光源制御部22は、第1照明光として、紫色光VL、青色光BL、緑色光GL、及び赤色光RL間の光強度比がVs1:Bs1:Gs1:Rs1となる特殊光を発するように、各LED20a~20dを制御する。光強度比Vs1:Bs1:Gs1:Rs1は、第1照明光の光量条件に対応する。第1照明光は、表層血管を強調することが好ましい。そのため、第1照明光は、図5に示すように、光強度比を1:0:0:0にして、短波長の狭帯域光としての紫色光VLのみを発する。When the special mode and assistance mode are set, the light source control unit 22 controls each of the LEDs 20a to 20d to emit special light as the first illumination light, in which the light intensity ratio between the purple light VL, the blue light BL, the green light GL, and the red light RL is Vs1:Bs1:Gs1:Rs1. The light intensity ratio Vs1:Bs1:Gs1:Rs1 corresponds to the light quantity condition of the first illumination light. It is preferable that the first illumination light emphasizes superficial blood vessels. Therefore, as shown in FIG. 5, the first illumination light has a light intensity ratio of 1:0:0:0, and emits only purple light VL as a short-wavelength narrowband light.

特殊モード及び支援モードに設定している場合、光源制御部22は、第2照明光として、紫色光VL、青色光BL、緑色光GL、及び赤色光RL間の光強度比がVs2:Bs2:Gs2:Rs2となる特殊光を発するように、各LED20a~20dを制御する。光強度比Vs2:Bs2:Gs2:Rs2は、第2照明光の光量条件に対応する。第2照明光は、表層血管及びポリープ等の構造を強調することが好ましい。そのため、第2照明光は、紫色光VLの光強度を青色光BLの光強度よりも大きくすることが好ましい。例えば、図6に示すように、紫色光VLの光強度Vs2と青色光BLの光強度Bs2との比率を「4:1」とする。When the special mode and the support mode are set, the light source control unit 22 controls each of the LEDs 20a to 20d to emit special light as the second illumination light, in which the light intensity ratio between the purple light VL, the blue light BL, the green light GL, and the red light RL is Vs2:Bs2:Gs2:Rs2. The light intensity ratio Vs2:Bs2:Gs2:Rs2 corresponds to the light quantity condition of the second illumination light. It is preferable that the second illumination light emphasizes structures such as superficial blood vessels and polyps. Therefore, it is preferable that the light intensity of the purple light VL is greater than the light intensity of the blue light BL in the second illumination light. For example, as shown in FIG. 6, the ratio of the light intensity Vs2 of the purple light VL to the light intensity Bs2 of the blue light BL is set to "4:1".

特殊モード及び支援モードに設定している場合、光源制御部22は、第3照明光として、紫色光VL、青色光BL、緑色光GL、及び赤色光RL間の光強度比がVs3:Bs3:Gs3:Rs3となる特殊光を発するように、各LED20a~20dを制御する。光強度比Vs3:Bs3:Gs3:Rs3は、第3照明光の光量条件に対応する。第3照明光は、深層血管を強調することが好ましい。そのため、第3照明光は、青色光BLの光強度を紫色光VLの光強度よりも大きくすることが好ましい。例えば、図7に示すように、紫色光VLの光強度Vs3と青色光BLの光強度Bs3との比率を「1:3」とする。When the special mode and the assistance mode are set, the light source control unit 22 controls each of the LEDs 20a to 20d to emit special light as the third illumination light, in which the light intensity ratio between the purple light VL, the blue light BL, the green light GL, and the red light RL is Vs3:Bs3:Gs3:Rs3. The light intensity ratio Vs3:Bs3:Gs3:Rs3 corresponds to the light quantity condition of the third illumination light. It is preferable that the third illumination light emphasizes deep blood vessels. Therefore, it is preferable that the light intensity of the blue light BL of the third illumination light is greater than the light intensity of the purple light VL. For example, as shown in FIG. 7, the ratio between the light intensity Vs3 of the purple light VL and the light intensity Bs3 of the blue light BL is set to "1:3".

本実施形態の第1照明光と第2照明光と第3照明光との3種類は、狭帯域光を含む照明光である。なお、本明細書において、光強度比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光VL、青色光BL、緑色光GL、及び赤色光RL間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有するものとする。In this embodiment, the three types of illumination light, the first illumination light, the second illumination light, and the third illumination light, are illumination lights that include narrowband light. In this specification, the light intensity ratio includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, it includes the case where one or more of the semiconductor light sources are not lit. For example, when the light intensity ratio between the purple light VL, the blue light BL, the green light GL, and the red light RL is 1:0:0:0, and only one of the semiconductor light sources is lit and the other three are not lit, it is considered to have a light intensity ratio.

複数の照明光は、予め設定した順序により繰り返し発光することが好ましい。本実施形態では、通常光と特殊光である第1照明光と第2照明光と第3照明光とは、予め設定した順序により繰り返し発光する。本実施形態では、光源制御部22は、例えば、図8に示すように、通常光CLを5フレーム(5FL)続けて発光し、次に、第1照明光1Sを1フレーム(1FL)発光し、再度通常光CLを5フレーム(5FL)続けて発光し、次に、第2照明光2Sを1フレーム(1FL)発光し、再度通常光CLを5フレーム(5FL)続けて発光し、次に、第3照明光3Sを1フレーム(1FL)発光する発光順序からなる照明パターンを1周期(1CY)として、この周期を繰り返す。It is preferable that the multiple illumination lights are repeatedly emitted in a preset sequence. In this embodiment, the first illumination light, the second illumination light, and the third illumination light, which are normal light and special light, are repeatedly emitted in a preset sequence. In this embodiment, the light source control unit 22, for example, as shown in FIG. 8, emits normal light CL for 5 frames (5FL), then emits first illumination light 1S for 1 frame (1FL), again emits normal light CL for 5 frames (5FL), then emits second illumination light 2S for 1 frame (1FL), again emits normal light CL for 5 frames (5FL), and then emits third illumination light 3S for 1 frame (1FL). This cycle is repeated.

通常光により照明した観察対象を撮像することにより通常画像となる通常画像信号が得られ、第1照明光により第1画像信号が得られ、第2照明光により第2画像信号が得られ、第3照明光により第3画像信号が得られる。第1照明光と第2照明光と第3照明光とは特殊光であるので、第1画像信号、第2画像信号、及び第3画像信号はそれぞれ特殊画像である。 By capturing an image of an object illuminated with normal light, a normal image signal that is a normal image is obtained, a first image signal is obtained by the first illumination light, a second image signal is obtained by the second illumination light, and a third image signal is obtained by the third illumination light. Since the first illumination light, the second illumination light, and the third illumination light are special lights, the first image signal, the second image signal, and the third image signal are each special images.

内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている(図3参照)。照明光学系30aは、照明レンズ42を有しており、この照明レンズ42を介して照明光が観察対象に向けて出射する。The tip 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b (see FIG. 3). The illumination optical system 30a has an illumination lens 42, through which illumination light is emitted toward the object of observation.

撮影光学系30bは、対物レンズ43、ズームレンズ44、及びイメージセンサ45を有する。イメージセンサ45は、対物レンズ43及びズームレンズ44を介して、観察対象から戻る照明光の反射光等(反射光の他、散乱光、観察対象が発光する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮影する。ズームレンズ44は、ズーム操作部13の操作をすることで移動し、観察対象像を拡大または縮小する。The imaging optical system 30b has an objective lens 43, a zoom lens 44, and an image sensor 45. The image sensor 45 images the observation target using reflected light of the illumination light returning from the observation target (including reflected light, scattered light, fluorescence emitted by the observation target, or fluorescence caused by a drug administered to the observation target, etc.) via the objective lens 43 and the zoom lens 44. The zoom lens 44 moves by operating the zoom operation unit 13, and enlarges or reduces the image of the observation target.

イメージセンサ45は、画素ごとに、複数色のカラーフィルタのうち1色のカラーフィルタを有する。本実施形態においては、イメージセンサ45は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ45は、赤色カラーフィルタ(Rフィルタ)を有するR画素と、緑色カラーフィルタ(Gフィルタ)を有するG画素と、青色カラーフィルタ(Bフィルタ)を有するB画素と、を有する。The image sensor 45 has one color filter among multiple color filters for each pixel. In this embodiment, the image sensor 45 is a color sensor having primary color filters. Specifically, the image sensor 45 has an R pixel having a red color filter (R filter), a G pixel having a green color filter (G filter), and a B pixel having a blue color filter (B filter).

なお、イメージセンサ45としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ45は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、W画素(ほぼ全波長帯域の光を受光するホワイト画素)等、上記以外の特性を有する画素を1または複数種類有する場合も同様である。また、本実施形態のイメージセンサ45はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。 As the image sensor 45, a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor can be used. Although the image sensor 45 of this embodiment is a primary color sensor, a complementary color sensor can also be used. A complementary color sensor has, for example, a cyan pixel with a cyan color filter, a magenta pixel with a magenta color filter, a yellow pixel with a yellow color filter, and a green pixel with a green color filter. When a complementary color sensor is used, the image obtained from the pixels of each color can be converted into an image similar to the image obtained by the primary color sensor by performing complementary color-primary color conversion. The same applies when a primary color or complementary color sensor has one or more types of pixels with characteristics other than those described above, such as a W pixel (a white pixel that receives light in almost the entire wavelength band). Although the image sensor 45 of this embodiment is a color sensor, a monochrome sensor without a color filter may be used.

プロセッサ装置16には、後述するような制御部51、画像取得部52、画像処理部56、及び表示制御部57等が行う処理等に関するプログラムがメモリ(図示せず)に組み込まれている。画像処理装置として機能するプロセッサ装置16が備えるプロセッサにより構成される制御部51によってそのプログラムが動作することで、制御部51、画像取得部52、画像処理部56、及び表示制御部57の機能が実現する。The processor device 16 has programs built into its memory (not shown) relating to the processing performed by the control unit 51, image acquisition unit 52, image processing unit 56, and display control unit 57, as described below. The functions of the control unit 51, image acquisition unit 52, image processing unit 56, and display control unit 57 are realized by the programs being operated by the control unit 51, which is composed of a processor provided in the processor device 16 that functions as an image processing device.

制御部51は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。キーボード19等を用いて、各種設定の入力等をした場合には、制御部51は、その設定を、光源制御部22、イメージセンサ45、又は画像処理部56等の内視鏡システム10の各部に入力する。The control unit 51 performs overall control of the endoscope system 10, such as controlling the synchronization of the timing of illumination light irradiation and the timing of image capture. When various settings are input using the keyboard 19 or the like, the control unit 51 inputs the settings to each part of the endoscope system 10, such as the light source control unit 22, the image sensor 45, or the image processing unit 56.

画像取得部52は、イメージセンサ45から、各色の画素を用いて観察対象を撮影した画像、すなわちRAW画像を取得する。また、RAW画像は、デモザイク処理を実施する前の画像(内視鏡画像)である。デモザイク処理を実施する前の画像であれば、イメージセンサ45から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もRAW画像に含む。The image acquisition unit 52 acquires an image of the observation target using pixels of each color from the image sensor 45, i.e., a RAW image. The RAW image is an image (endoscopic image) before demosaicing is performed. If the image is before demosaicing is performed, the RAW image also includes an image obtained by performing any processing, such as noise reduction processing, on the image acquired from the image sensor 45.

画像取得部52は、取得したRAW画像に必要に応じて各種処理を施すために、DSP(Digital Signal Processor)53と、ノイズ低減部54と、変換部55と、を備える。The image acquisition unit 52 includes a DSP (Digital Signal Processor) 53, a noise reduction unit 54, and a conversion unit 55 to perform various processing as necessary on the acquired RAW image.

DSP53は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、リニアマトリクス処理部、及び、YC変換処理部、等(いずれも図示しない)を備える。DSP53は、これらを用いてRAW画像またはRAW画像を用いて生成した画像に対して各種処理を施す。The DSP 53 includes, for example, an offset processing unit, a defect correction processing unit, a demosaic processing unit, a linear matrix processing unit, and a YC conversion processing unit (none of which are shown). The DSP 53 uses these units to perform various processes on the RAW image or an image generated using the RAW image.

オフセット処理部は、RAW画像に対してオフセット処理を施す。オフセット処理は、RAW画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、RAW画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ45が製造工程または経時変化に起因する欠陥を有する画素(欠陥画素)を含む場合に、イメージセンサ45の欠陥画素に対応するRAW画素の画素値を補正または生成する処理である。 The offset processing unit performs offset processing on the RAW image. The offset processing is a process that reduces dark current components from the RAW image and sets an accurate zero level. The offset processing is sometimes called clamp processing. The defect correction processing unit performs defect correction processing on the RAW image. The defect correction processing is a process that corrects or generates pixel values of RAW pixels corresponding to defective pixels of the image sensor 45 when the image sensor 45 includes pixels (defective pixels) that have defects due to the manufacturing process or changes over time.

デモザイク処理部は、各色のカラーフィルタに対応する各色のRAW画像に対してデモザイク処理を施す。デモザイク処理は、RAW画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、1または複数のRAW画像をRGB各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。YC変換処理部が行うYC変換処理は、1または複数のRAW画像をRGB各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrを有する内視鏡画像に変換する処理である。The demosaic processing unit performs demosaic processing on the RAW images of each color corresponding to the color filters of each color. The demosaic processing is a process that generates pixel values missing in the RAW image due to the arrangement of the color filters by interpolation. The linear matrix processing unit performs linear matrix processing on an endoscopic image generated by assigning one or more RAW images to each RGB color channel. The linear matrix processing is a process that improves the color reproducibility of the endoscopic image. The YC conversion processing unit performs YC conversion processing to convert an endoscopic image generated by assigning one or more RAW images to each RGB color channel into an endoscopic image having a luminance channel Y and chrominance channels Cb and chrominance channels Cr.

ノイズ低減部54は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部55は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色のチャンネルを有する内視鏡画像に再変換する。The noise reduction unit 54 performs noise reduction processing on the endoscopic image having the luminance channel Y, the color difference channel Cb, and the color difference channel Cr, for example, using a moving average method or a median filter method. The conversion unit 55 reconverts the luminance channel Y, the color difference channel Cb, and the color difference channel Cr after the noise reduction processing into an endoscopic image having channels of each color of BGR again.

画像処理部56は、画像取得部52が出力する内視鏡画像に、必要な画像処理、又は演算を行う。図9に示すように、画像処理部56は、表示画像生成部61、強調処理部62、支援用画像信号取得部63、特定領域判定部64、及び支援画像生成部65を備える。強調処理部62は、色彩強調部66、及びコントラスト強調部67を備える。The image processing unit 56 performs necessary image processing or calculations on the endoscopic image output by the image acquisition unit 52. As shown in Fig. 9, the image processing unit 56 includes a display image generation unit 61, an emphasis processing unit 62, an assistance image signal acquisition unit 63, a specific region determination unit 64, and an assistance image generation unit 65. The emphasis processing unit 62 includes a color emphasis unit 66, and a contrast emphasis unit 67.

表示画像生成部61は、画像取得部52が出力する内視鏡画像に、ディスプレイ18に表示するために必要な画像処理を施して、表示画像を生成する。強調処理部62は、画像取得部52が出力する内視鏡画像に強調処理を行う。支援用画像信号取得部63は、支援用画像信号を取得する。支援用画像信号は、強調処理を行った内視鏡画像と、特殊光を用いて撮像した内視鏡画像とを含む。特定領域判定部64は、支援用画像信号のそれぞれに対し特定領域を判定する処理を行う。支援画像生成部65は、特定領域を示す支援画像を生成する。The display image generating unit 61 applies image processing necessary for displaying the endoscopic image output by the image acquiring unit 52 on the display 18 to generate a display image. The enhancement processing unit 62 performs enhancement processing on the endoscopic image output by the image acquiring unit 52. The support image signal acquiring unit 63 acquires support image signals. The support image signals include an endoscopic image that has been subjected to enhancement processing and an endoscopic image captured using special light. The specific area determining unit 64 performs processing to determine a specific area for each of the support image signals. The support image generating unit 65 generates a support image showing the specific area.

表示画像生成部61は、少なくとも1つの画像信号に基づいて得られる表示用画像信号を用いてディスプレイに表示する表示画像を生成する。本実施形態では、図10に示すように、表示画像生成部61は、通常モード及び支援モードにおいて、通常光によって得られる画像信号を表示用画像信号として表示画像を生成し、自然な色合いの通常画像を表示画像68としてディスプレイ18に表示する。また、特殊モードに及び支援モードにおいて、特殊光によって得られる画像信号を表示用画像信号として表示画像を生成し、例えば、観察対象の特定の状態が強調された特殊画像をディスプレイ18に表示する。The display image generating unit 61 generates a display image to be displayed on the display using a display image signal obtained based on at least one image signal. In this embodiment, as shown in Fig. 10, in the normal mode and the assistance mode, the display image generating unit 61 generates a display image using an image signal obtained by normal light as a display image signal, and displays a normal image with natural coloring as a display image 68 on the display 18. In the special mode and the assistance mode, the display image is generated using an image signal obtained by special light as a display image signal, and displays, for example, a special image in which a specific state of the observation target is emphasized on the display 18.

上記したように、本実施形態では、光源制御部22により、フレームを単位として特定の照明パターンが繰り返される(図8参照)。フレームは、撮像の単位である。したがって、1フレームにおいて1回の撮像及び画像信号の取得を行う。本実施形態では、通常光によって得られる画像信号から表示画像を生成してディスプレイに表示するため、照明パターンのうち、通常光CL以外の照明光である第1照明光1S、第2照明光2S、及び第3照明光3Sの特殊光により得られる画像信号からは表示画像を生成せず、支援画像を生成するための画像信号として用いる。第1照明光1S、第2照明光2S、及び第3照明光3Sの特殊光を照射するフレームの期間は、直前の通常光によって得られる画像信号による表示画像を続けて表示する。したがって、表示画像はすべて通常光によって得られる画像信号による画像である。As described above, in this embodiment, the light source control unit 22 repeats a specific illumination pattern in units of frames (see FIG. 8). A frame is a unit of imaging. Therefore, one image is captured and an image signal is acquired in one frame. In this embodiment, a display image is generated from an image signal obtained by normal light and displayed on the display. Therefore, a display image is not generated from an image signal obtained by the special light of the first illumination light 1S, the second illumination light 2S, and the third illumination light 3S, which are illumination lights other than the normal light CL, among the illumination patterns, but is used as an image signal for generating a support image. During the frame period in which the special light of the first illumination light 1S, the second illumination light 2S, and the third illumination light 3S is irradiated, a display image based on an image signal obtained by the previous normal light is continuously displayed. Therefore, all display images are images based on image signals obtained by normal light.

強調処理部62は、画像取得部52が出力する内視鏡画像に強調処理を行う。強調とは、他の組織または構造等と区別して、特定の部分の情報を得られるようにすることをいう。例えば、特定の特徴を有する部分を、他の部分(例えば正常な粘膜等)に対して相対的に色彩もしくは明るさを変更する等の処理は強調処理である。強調処理部62が処理を行う内視鏡画像は、通常画像でも特殊画像でもよい。強調処理を行った内視鏡画像は、支援画像を生成するための支援用画像信号として用いる。支援用画像信号は、支援画像を生成するための画像信号である。強調処理部62は、色彩強調部66と、コントラスト強調部67とを備える。本実施形態では、第3照明光により得られる第3画像信号に対し、色彩強調部66による処理を行って、支援用画像信号とする。The enhancement processing unit 62 performs enhancement processing on the endoscopic image output by the image acquisition unit 52. Enhancement refers to distinguishing a specific part from other tissues or structures, etc., so that information on that specific part can be obtained. For example, enhancement processing involves changing the color or brightness of a part having a specific characteristic relative to other parts (e.g., normal mucosa, etc.). The endoscopic image processed by the enhancement processing unit 62 may be a normal image or a special image. The endoscopic image that has been subjected to enhancement processing is used as a support image signal for generating a support image. The support image signal is an image signal for generating a support image. The enhancement processing unit 62 includes a color enhancement unit 66 and a contrast enhancement unit 67. In this embodiment, the third image signal obtained by the third illumination light is processed by the color enhancement unit 66 to generate a support image signal.

色彩強調部66は、例えば、観察対象における正常な領域と異常な領域との境界が色及び彩度により明瞭に表される内視鏡画像となるように、取得した内視鏡画像に対して強調処理を行う。色彩強調部66は、取得した内視鏡画像において、色情報変換処理を行う。色情報変換処理は、取得した内視鏡画像について、色空間上に分布する複数の範囲のそれぞれを、変換前の範囲と対応付けられた変換先の範囲に移す処理である。色彩強調部66により処理された内視鏡画像は、正常な領域と異常な領域との境界が明瞭であるため、より容易に、また、精度良く、異常な領域を特定領域として判定することができる画像である。The color enhancement unit 66 performs enhancement processing on the acquired endoscopic image, for example, so that the boundary between normal and abnormal areas in the observation subject is clearly represented by color and saturation. The color enhancement unit 66 performs color information conversion processing on the acquired endoscopic image. The color information conversion processing is a process in which each of multiple ranges distributed in color space for the acquired endoscopic image is transferred to a destination range that corresponds to the pre-conversion range. The endoscopic image processed by the color enhancement unit 66 has a clear boundary between normal and abnormal areas, so that abnormal areas can be more easily and accurately determined as specific areas.

コントラスト強調部67は、例えば、観察対象における血管が強調されて表された内視鏡画像となるように、取得した内視鏡画像に対して強調処理を行う。コントラスト強調部67は、取得した内視鏡画像において、横軸に画素値(輝度値)を、縦軸に頻度を取ったグラフである濃度ヒストグラムを求め、画像処理部56のメモリ(図示せず)等に予め記憶しておいた階調補正テーブルにより、階調補正を行う。階調補正テーブルは、横軸が入力値を、縦軸が出力値を表し、入力値と出力値の対応関係を示す階調補正カーブを有しており、例えば、略S字形状の階調補正カーブに基づいて階調補正を行って、取得した内視鏡画像のダイナミックレンジを広げる。これにより、コントラスト強調の強調処理前の原画像において濃度が低い部分は、濃度がより低く、濃度が高い部分はより高くなるようになるため、例えば、血管領域と血管が存在しない領域の濃度差が広がって、血管のコントラストが向上する。したがって、コントラスト強調部67により処理された内視鏡画像は、血管のコントラストが向上されているため、より容易に、また、精度良く、例えば、血管の密集度が高い領域を特定領域として判定することができる画像である。The contrast enhancement unit 67 performs enhancement processing on the acquired endoscopic image so that, for example, the blood vessels in the observation target are enhanced in the endoscopic image. The contrast enhancement unit 67 obtains a density histogram, which is a graph with pixel values (brightness values) on the horizontal axis and frequency on the vertical axis in the acquired endoscopic image, and performs gradation correction using a gradation correction table previously stored in the memory (not shown) of the image processing unit 56. The gradation correction table has a gradation correction curve that shows the correspondence between the input value and the output value, with the horizontal axis representing the input value and the vertical axis representing the output value, and performs gradation correction based on, for example, a substantially S-shaped gradation correction curve to widen the dynamic range of the acquired endoscopic image. As a result, the low density parts in the original image before the contrast enhancement processing become lower in density and the high density parts become higher in density, so that, for example, the density difference between the blood vessel area and the area where no blood vessels exist is widened, improving the contrast of the blood vessels. Therefore, the endoscopic image processed by the contrast enhancement unit 67 has improved contrast of blood vessels, making it easier and more accurate to determine, for example, areas with high blood vessel density as specific areas.

支援用画像信号取得部63は、特定領域判定部64が特定領域を判定する支援用画像信号を取得する。支援用画像信号は、強調処理を行った内視鏡画像と、特殊光を用いて撮像した内視鏡画像とを含む。本実施形態では、支援用画像信号は、第1照明光を用いた第1画像信号と、第2照明光を用いた第2画像信号と、第3照明光を用いた第3画像信号に対して色彩強調部66が色彩強調処理を行った後の強調処理済の第3画像信号との3種類である。支援用画像信号取得部63は、画像取得部52又は強調処理部62から、これらの支援用画像信号を取得する。The support image signal acquisition unit 63 acquires support image signals for use in determining a specific region by the specific region determination unit 64. The support image signals include an endoscopic image that has been subjected to enhancement processing and an endoscopic image captured using special light. In this embodiment, there are three types of support image signals: a first image signal using the first illumination light, a second image signal using the second illumination light, and a third image signal that has been enhanced after the color enhancement unit 66 has performed color enhancement processing on a third image signal using the third illumination light. The support image signal acquisition unit 63 acquires these support image signals from the image acquisition unit 52 or the enhancement processing unit 62.

特定領域判定部64は、複数の支援用画像信号のそれぞれにおいて、観察対象が特定の状態である特定領域を判定する。したがって、一つの支援用画像信号において、特定領域を判定し、特定領域があるかどうか、ある場合はその領域を判定する。特定領域を判定するとは、特定領域が無いことを判定する場合を含む。The specific area determination unit 64 determines a specific area in each of the multiple support image signals where the observation subject is in a specific state. Therefore, in one support image signal, it determines whether a specific area exists and, if so, determines that area. Determining a specific area includes determining that there is no specific area.

図11に示すように、特定領域判定部64は、複数の支援用画像信号のそれぞれに応じた判定処理部を備え、第1判定処理部71、第2判定処理部72、第3判定処理部73等を含む各判定処理部を備える。各判定処理部は、複数の支援用画像信号のそれぞれの種類に応じて、観察対象のどのような特定の状態の特定領域を判定するかが異なる。したがって、特定領域判定部64は、第1判定処理部71から、第n判定処理部74までを備える。 As shown in Fig. 11, the specific area determination unit 64 includes a determination processing unit corresponding to each of the multiple support image signals, including a first determination processing unit 71, a second determination processing unit 72, a third determination processing unit 73, etc. Each determination processing unit determines a specific state of the specific area of the observation subject differently depending on the type of each of the multiple support image signals. Therefore, the specific area determination unit 64 includes the first determination processing unit 71 to the nth determination processing unit 74.

本実施形態では、支援用画像信号は、第1画像信号と、第2画像信号と、強調処理済の第3画像信号の3種類である。第1判定処理部71は、第1画像信号の判定処理を行う。第1画像信号は、第1照明光により表層血管が強調されている。本実施形態では、支援用画像信号が第1画像信号の場合、第1判定処理部71は、表層血管の不規則度が予め設定した閾値よりも高い領域を判定し、第1特定領域とする。第1照明光により強調された表層血管の不規則度が高い領域は、例えば、観察対象が大腸の場合の潰瘍性大腸炎の炎症度を判定する指標となる。したがって、第1画像信号における第1特定領域は、潰瘍性大腸炎の非寛解領域である。In this embodiment, the support image signal is of three types: a first image signal, a second image signal, and a third image signal that has been subjected to enhancement processing. The first determination processing unit 71 performs a determination process on the first image signal. In the first image signal, the superficial blood vessels are enhanced by the first illumination light. In this embodiment, when the support image signal is the first image signal, the first determination processing unit 71 determines an area where the irregularity of the superficial blood vessels is higher than a preset threshold value, and sets it as a first specific area. The area where the irregularity of the superficial blood vessels is high, which is enhanced by the first illumination light, is an index for determining the degree of inflammation of ulcerative colitis, for example, when the observation subject is the large intestine. Therefore, the first specific area in the first image signal is a non-remission area of ulcerative colitis.

第2判定処理部72は、第2画像信号の判定処理を行う。第2画像信号は、第2照明光により表層血管及びポリープ等の構造が強調されている。本実施形態では、支援用画像信号が第2画像信号の場合、第2判定処理部72は、ポリープ等の構造を示す輝度値が高い領域を判定し、第2特定領域とする。第2照明光により強調された輝度値が高い領域は、例えば、観察対象の表層が不規則であるポリープ等が存在することを示すため、がん等の病変を判定する指標となる。したがって、第2画像信号における第2特定領域は、ポリープ等を有するがん等の病変の可能性がある領域である。The second determination processing unit 72 performs a determination process on the second image signal. In the second image signal, structures such as superficial blood vessels and polyps are emphasized by the second illumination light. In this embodiment, when the support image signal is the second image signal, the second determination processing unit 72 determines an area with a high brightness value indicating a structure such as a polyp, and sets it as the second specific area. An area with a high brightness value emphasized by the second illumination light indicates, for example, the presence of a polyp or the like with an irregular surface layer of the observation object, and serves as an index for determining a lesion such as cancer. Therefore, the second specific area in the second image signal is an area that may be a lesion such as cancer that has a polyp or the like.

第3判定処理部73は、強調処理済の第3画像信号の判定処理を行う。強調処理済の第3画像信号は、第3照明光及び色彩強調部66による強調処理により、観察対象における正常な領域と異常な領域との境界が色及び彩度により明瞭に表されている。本実施形態では、支援用画像信号が強調処理済の第3画像信号の場合、第3判定処理部73は、粘膜が異常である領域を第3特定領域とする。第3照明光及び強調処理により、第3画像信号は、例えば、周囲と色が異なるがん等の病変を判定する指標となる。したがって、強調処理済の第3画像信号における第3特定領域は、発赤等を有するがん等の病変の可能性がある領域である。The third determination processing unit 73 performs a determination process on the third image signal after enhancement processing. In the third image signal after enhancement processing, the boundary between normal and abnormal areas in the observation subject is clearly represented by color and saturation due to enhancement processing by the third illumination light and the color enhancement unit 66. In this embodiment, when the support image signal is the third image signal after enhancement processing, the third determination processing unit 73 determines the area where the mucosa is abnormal as the third specific area. Due to the third illumination light and enhancement processing, the third image signal becomes an index for determining a lesion such as cancer that has a different color from the surrounding area. Therefore, the third specific area in the third image signal after enhancement processing is an area that may be a lesion such as cancer that has redness, etc.

支援画像生成部65は、特定領域判定部64により、複数の支援用画像信号のそれぞれにおいて判定された、観察画像における特定領域を示す支援画像を生成する。支援画像は、観察画像上の特定領域が認識できる態様の画像である。The support image generating unit 65 generates a support image showing a specific area in the observed image determined in each of the multiple support image signals by the specific area determining unit 64. The support image is an image in which the specific area in the observed image can be recognized.

複数の支援画像は、同一又は相似の図形により表示することが好ましい。また、支援画像は、特定の領域の面積に対応した面積により表示することが好ましい。したがって、支援画像は、特定領域の大きさに対応して、画像の大きさを変えることができる。支援画像は、具体的には、例えば、観察画像において特定領域を含む箇所を囲む図形の態様の画像である。図12に示すように、支援画像81により、第1特定領域は、支援画像81である正方形の図形で囲まれた領域内にあることが示される。It is preferable that the multiple support images are displayed using the same or similar figures. It is also preferable that the support images are displayed with an area corresponding to the area of the specific region. Therefore, the size of the support image can be changed in accordance with the size of the specific region. Specifically, the support image is, for example, an image in the form of a figure that surrounds a portion of the observed image that includes the specific region. As shown in FIG. 12, support image 81 indicates that the first specific region is within an area surrounded by the square figure that is support image 81.

図13に示すように、支援画像82により、第2特定領域は、支援画像82である正方形の図形で囲まれた領域内にあることが示される。支援画像82の斜線は特定の色を示す。同様に、図14に示すように、支援画像83により、第3特定領域は、支援画像83である正方形の図形で囲まれた領域内にあることが示される。 As shown in FIG. 13, support image 82 indicates that the second specific region is within an area surrounded by a square shape, which is support image 82. The diagonal lines in support image 82 indicate a specific color. Similarly, as shown in FIG. 14, support image 83 indicates that the third specific region is within an area surrounded by a square shape, which is support image 83.

表示制御部57は、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う。複数の支援画像は、それぞれの支援画像を区別して認識できる態様で表示画像に重畳する。したがって、支援画像のそれぞれを互いに異なる色により表示することができる。例えば、図15に示すように、表示制御部は、第1特定領域を示す支援画像81と、第2特定領域を示す支援画像82と、第3特定領域を示す支援画像83とを、異なる色により表示画像68に重畳する制御を行う。When the display image is displayed on the display, the display control unit 57 controls the display of multiple support images superimposed on the display image in a manner that allows them to be distinguished from one another. The multiple support images are superimposed on the display image in a manner that allows each support image to be recognized as distinct. Thus, each support image can be displayed in a different color. For example, as shown in FIG. 15, the display control unit controls the superimposition of a support image 81 indicating a first specific region, a support image 82 indicating a second specific region, and a support image 83 indicating a third specific region on the display image 68 in different colors.

以上のとおり、プロセッサ装置16又は内視鏡システム10により、通常光による自然な色による内視鏡画像をディスプレイに表示しながら、複数の異なる種類の判定結果をひと目で把握することができる。本実施形態では、第1特定領域を潰瘍性大腸炎の非寛解領域とし、第2特定領域をポリープ等が存在するがん等の病変の可能性がある領域とし、第3特定領域を発赤等が存在するがん等の病変の可能性がある領域としたが、それぞれの特定領域をどのようなIEEに対応させるかは、内視鏡検査の部位又は目的等に応じて予め設定することができる。したがって、例えば、スクリーニングでは、複数の特定領域を、色又は形状等の各種の異常箇所を判定するように設定することにより、一度のスクリーニングにおいて、各種の病変の見逃しを防ぐことができるため、病変の見逃しのみならず、内視鏡検査の時間短縮にもつながる。また、潰瘍性大腸炎の炎症度の判定では、複数の特定領域を、軽症、中等症、又は重症といった炎症度の違いをよりよく判定するように、それぞれ設定することにより、病変のより詳細な分布、又は病状等を一度の内視鏡検査により詳細に把握することができるため、回復、又は悪化の判定等をより精度良く行うことができる。したがって、プロセッサ装置16又は内視鏡システム10により、容易に観察対象の詳細な情報を認識することができる。As described above, the processor device 16 or the endoscope system 10 can display an endoscopic image in natural colors under normal light on the display, while allowing the user to grasp multiple different types of judgment results at a glance. In this embodiment, the first specific region is a non-remission region of ulcerative colitis, the second specific region is a region where polyps or the like are present and there is a possibility of a lesion such as cancer, and the third specific region is a region where redness or the like is present and there is a possibility of a lesion such as cancer, but the IEE to which each specific region corresponds can be set in advance according to the site or purpose of the endoscopic examination. Therefore, for example, in screening, by setting multiple specific regions to judge various abnormalities such as color or shape, it is possible to prevent various lesions from being overlooked in one screening, which not only prevents lesions from being overlooked, but also leads to a reduction in the time required for endoscopic examination. In addition, in determining the degree of inflammation of ulcerative colitis, by setting a plurality of specific regions so as to better determine the difference in the degree of inflammation, such as mild, moderate, or severe, it is possible to grasp the detailed distribution of the lesion or the condition in detail in a single endoscopic examination, and therefore it is possible to more accurately determine recovery or deterioration. Therefore, the processor device 16 or the endoscopic system 10 can easily recognize detailed information about the observation target.

なお、表示制御部57は、第1特定領域を示す支援画像81と、第2特定領域を示す支援画像82と、第3特定領域を示す支援画像83とを、異なる形状の図形により表示画像68に重畳する制御を行ってもよい。図16に示すように、第1特定領域を示す支援画像81は四角形により、第2特定領域を示す支援画像82は六角形により、第3特定領域を示す支援画像83は円形により、示すことができる。この場合、各支援画像の色は、同じとしてもよいし、異なるようにしてもよい。また、各特定領域を一つの図形で示す他に、より小さい図形をちりばめる等の異なる模様により各特定領域を示してもよい。 The display control unit 57 may control the superimposition of the support image 81 indicating the first specific region, the support image 82 indicating the second specific region, and the support image 83 indicating the third specific region on the display image 68 using figures of different shapes. As shown in FIG. 16, the support image 81 indicating the first specific region can be shown using a rectangle, the support image 82 indicating the second specific region can be shown using a hexagon, and the support image 83 indicating the third specific region can be shown using a circle. In this case, the colors of the support images may be the same or different. In addition to showing each specific region using a single figure, each specific region may be shown using a different pattern, such as by scattering smaller figures.

また、表示制御部57は、支援画像生成部65が支援画像を生成する毎に、支援画像を表示画像に重畳して表示する制御を行ってもよい。この場合、支援用画像信号取得部63が、支援用画像信号を取得する毎に、特定領域判定部64が特定領域を判定し、支援画像生成部65が、特定領域を示す支援画像を生成する。したがって、例えば、図17に示すように、本実施形態では、支援用画像信号である第1画像信号が、第1照明光1Sにより照明された観察対象を撮像して得た際に、支援画像生成部65が、第1特定領域を示す支援画像81を生成する。照明光の1周期(1CY)において、支援画像81は一度取得される(図8参照)。取得された支援画像81は、次の支援画像81が取得されるまでは継続して表示画像68に重畳して表示される。支援画像82又は支援画像83においても同様に、照明光の1周期(1CY)において、支援画像82又は支援画像83は一度取得され、次の支援画像82又は支援画像83が取得されるまでは継続して表示画像68に重畳して表示される。なお、表示画像は、通常画像が取得され次第、表示画像を更新して表示する。 The display control unit 57 may also control the display of the support image by superimposing it on the display image each time the support image generation unit 65 generates a support image. In this case, each time the support image signal acquisition unit 63 acquires a support image signal, the specific area determination unit 64 determines the specific area, and the support image generation unit 65 generates a support image showing the specific area. Therefore, for example, as shown in FIG. 17, in this embodiment, when the first image signal, which is the support image signal, is obtained by capturing an image of an observation target illuminated by the first illumination light 1S, the support image generation unit 65 generates a support image 81 showing the first specific area. In one cycle (1 CY) of the illumination light, the support image 81 is acquired once (see FIG. 8). The acquired support image 81 continues to be displayed superimposed on the display image 68 until the next support image 81 is acquired. Similarly, in one cycle (1 CY) of the illumination light, the support image 82 or the support image 83 is acquired once, and continues to be displayed superimposed on the display image 68 until the next support image 82 or the support image 83 is acquired. Note that the display image is updated and displayed as soon as a normal image is acquired.

支援画像生成部65が支援画像を生成する毎に、表示制御部57は支援画像を表示画像に重畳して表示する制御を行うため、支援画像はリアルタイムに表示される。なお、フレームの期間であるフレームレートは、人の視認能力に対して十分に小さい期間とすることにより、観察対象の多少の動きがあっても、支援画像は観察対象に追随して、ほぼリアルタイムに表示される。具体的には、例えば、3種類のIEEからなる3種の支援画像を重畳する場合、6フレーム毎に支援用画像信号を取得する際は、照明光の1周期(1CY)は18フレームであり、18フレーム毎に観察対象における特定の領域を示す支援画像の位置等が更新される。したがって、ほぼリアルタイムに支援画像が表示される。Each time the support image generating unit 65 generates a support image, the display control unit 57 controls the display of the support image by superimposing it on the display image, so that the support image is displayed in real time. Note that the frame rate, which is the frame period, is set to a period that is sufficiently small relative to the visual recognition ability of humans, so that even if the observed object moves slightly, the support image follows the observed object and is displayed in almost real time. Specifically, for example, when three types of support images made of three types of IEE are superimposed, when a support image signal is acquired every six frames, one cycle (1 CY) of the illumination light is 18 frames, and the position of the support image showing a specific area in the observed object is updated every 18 frames. Therefore, the support image is displayed in almost real time.

また、表示制御部57は、支援画像と強調処理又は支援画像用照明光との関連付けを示す凡例表示をディスプレイに表示する制御を行ってもよい。支援画像は、支援用画像信号に基づいて生成し、支援用画像信号は、観察対象に照射する照明光として各種の特殊光を用いて撮像することにより得る支援用画像信号と、画像信号に対し強調処理等の各種の画像処理を行うことにより得る支援用画像信号とを含む。したがって、支援画像が、特殊光を用いて撮像することによる支援用画像信号であるか、強調処理等を行った支援用画像信号であるかが、容易に把握することができることが好ましい。 The display control unit 57 may also control the display of a legend indicating the association between the support image and the emphasis processing or the illumination light for the support image on the display. The support image is generated based on the support image signal, and the support image signal includes a support image signal obtained by capturing an image using various types of special light as the illumination light to be irradiated on the observation subject, and a support image signal obtained by performing various image processing such as emphasis processing on the image signal. Therefore, it is preferable that it is easy to know whether the support image is a support image signal obtained by capturing an image using special light, or a support image signal that has been subjected to emphasis processing or the like.

例えば、図18に示すように、本実施形態では、第1特定領域を示す支援画像81は第1照明光により得られ、第2特定領域を示す支援画像82は第2照明光により得られ、第3特定領域を示す支援画像83は強調処理済の第3支援画像により得られる。したがって、支援画像81と同じ色により第1照明光によるIEEを示す「照明光1」と、支援画像82と同じ色により第2照明光によるIEEを示す「照明光2」と、支援画像83と同じ色により強調処理によるIEEを示す「色彩強調」とを、表示画像の右下に、支援画像の凡例表示91として表示することができる。18, in this embodiment, support image 81 showing the first specific region is obtained by the first illumination light, support image 82 showing the second specific region is obtained by the second illumination light, and support image 83 showing the third specific region is obtained by the third support image that has been subjected to enhancement processing. Therefore, "Illumination Light 1" showing IEE by the first illumination light in the same color as support image 81, "Illumination Light 2" showing IEE by the second illumination light in the same color as support image 82, and "Color Enhancement" showing IEE by enhancement processing in the same color as support image 83 can be displayed as a legend display 91 of the support images in the lower right of the displayed image.

支援画像がどのようなIEEにより得られたものかを凡例として表示することにより、支援画像が表示された際に、どのような病変等が検出されたかを容易に把握することができる。また、凡例表示91により、表示画像が通常画像であるから、観察対象に病変等が存在せず、支援画像が一つも表示されない場合でも、現在どのようなIEEが行われているのか、すなわち、例えば、照明光の1周期(1CY)において、どのような種類の特殊光による照明光が用いられているのかを把握することができる。したがって、凡例表示91は、内視鏡検査において、その時点でおこなわれているIEEが何であるかを示す表示としても有用である。By displaying the type of IEE by which the support image was obtained as a legend, it is possible to easily understand what kind of lesion or the like was detected when the support image is displayed. Furthermore, even if the displayed image is a normal image and there is no lesion or the like in the observation subject and no support image is displayed, the legend display 91 makes it possible to understand what kind of IEE is currently being performed, that is, for example, what kind of special light is being used for illumination light in one cycle (1 CY) of illumination light. Therefore, the legend display 91 is also useful as a display showing what IEE is being performed at that time during endoscopic examination.

また、図19に示すように、観察対象において、複数の特定領域が重なる領域があった場合は、支援画像82と支援画像83とを重複して表示してもよい。また、図20に示すように、観察対象において、複数の特定領域の面積が同じである場合は、支援画像82と支援画像83とを区別可能な態様で表示する。 Also, as shown in Fig. 19, if there is an area in the observation target where multiple specific areas overlap, support image 82 and support image 83 may be displayed overlapping each other. Also, as shown in Fig. 20, if the areas of multiple specific areas in the observation target are the same, support image 82 and support image 83 are displayed in a distinguishable manner.

観察対象において、複数の特定領域が重なる、又は、複数の特定領域の面積が同じである場合に、支援画像を区別可能な態様で表示することにより、観察対象におけるより詳細な情報を得ることができる。例えば、ポリープ等の構造が判定された特定領域と、表層血管の密集度が高い領域が判定された特定領域との、2つの特定領域が重なった箇所は、がんの病変である可能性が高いとの知見がある場合、これらの2つの特定領域が重なることが容易に認識でき、よりよい精度で判定をすることができる。したがって、複数の特定領域が重複した場合に観察対象が特定の状態の病変である等の知見がある場合は、目的に応じて、特定領域を判定する支援用画像信号の設定を行うことにより、観察対象において、所望の特定の状態である領域が支援画像により示されるため好ましい。 When multiple specific regions overlap or have the same area in the observation target, more detailed information on the observation target can be obtained by displaying the support image in a distinguishable manner. For example, if it is known that the overlapping area of two specific regions, a specific region in which a structure such as a polyp is determined and a specific region in which a region with a high density of superficial blood vessels is determined, is likely to be a cancer lesion, it is easy to recognize that these two specific regions overlap, and a determination can be made with greater accuracy. Therefore, if it is known that the observation target is a lesion in a specific state when multiple specific regions overlap, it is preferable to set the support image signal for determining the specific region according to the purpose, because the region in the observation target that is in the desired specific state is displayed by the support image.

なお、1つの種類の特定領域を判定するために、1つの画像信号を用いる場合に限らず、1つの種類の特定領域を判定するために、2つ以上の画像信号を用いてもよい。例えば、観察対象において、低酸素飽和度の領域を特定領域とする場合等、2つ以上の画像信号を用いて判定してもよい。1つの種類の特定領域を判定するために、2つ以上の画像信号を用いることにより、特定領域が示す観察対象の特定の状態の種類が多くなるため好ましい。In addition, it is not limited to using one image signal to determine one type of specific region, but two or more image signals may be used to determine one type of specific region. For example, two or more image signals may be used to determine a specific region of an observation subject, such as when a region of low oxygen saturation is determined as a specific region. Using two or more image signals to determine one type of specific region is preferable because it increases the number of types of specific states of the observation subject indicated by the specific region.

なお、特定領域を示す支援画像は、文字情報を有するものであってもよい。文字情報は、特定領域の判定結果等を文字で表示した情報である。例えば、図21に示すように、支援画像81は「UC重症度:軽症」との文字情報92を有する。文字情報92は、支援画像81が示す観察対象の特定の状態が、潰瘍性大腸炎(ulcerative colitis)の軽症と判定されたことを文字で示した情報である。なお、UC重症度は、炎症の強さの状態を重症、中等症、及び軽症の3つに分けて示したものである。また、支援画像82は、「ポリープ:Φ2mm」との文字情報93を有する。支援画像82が示す観察対象の特定の状態が、ポリープであり、その直径が2mmであると判定されたことを文字で示した情報である。また、支援画像83は「がん疑い率:30%」との文字情報94を有する。文字情報94は、支援画像83が示す観察対象の特定の状態が、がんの疑いがあり、その確率であるがんの疑い率が30%であると判定されたことを文字で示した情報である。支援画像が文字情報を有することにより、より詳しい支援情報を表示することができる。The support image showing the specific region may have text information. The text information is information that displays the judgment result of the specific region in text. For example, as shown in FIG. 21, the support image 81 has text information 92 of "UC severity: mild". The text information 92 is information that indicates in text that the specific condition of the observation target shown in the support image 81 has been judged to be mild ulcerative colitis. The UC severity indicates the state of inflammation divided into three, severe, moderate, and mild. The support image 82 also has text information 93 of "Polyp: Φ2mm". The text information is information that indicates in text that the specific condition of the observation target shown in the support image 82 has been judged to be a polyp with a diameter of 2mm. The support image 83 also has text information 94 of "Cancer suspicion rate: 30%". The text information 94 is information indicating in text that the specific state of the observation subject shown in the support image 83 is suspected of being cancer, and that the probability of the cancer suspicion rate is determined to be 30%. By including text information in the support image, more detailed support information can be displayed.

次に、画像処理装置であるプロセッサ装置16又は内視鏡システム10が行う処理の一連の流れについて、図22に示すフローチャートに沿って説明を行う。観察を開始すると、所定の照明光パターン(図8参照)に従って、予め設定した順序により照明光が発せられる。まず、照明光が通常光であり、通常画像が取得される(ステップST110)。通常光による通常画像は、表示画像としてディスプレイに表示する(ステップST120)。次に、照明光が第1照明光となり、第1画像信号が取得される(ステップST130)。第1画像信号に基づき、第1特定領域が判定され、第1特定領域を示す支援画像が表示画像に重畳され、支援画像が付された表示画像が表示される(ステップST140)。次に照明光が通常光となり、通常画像が取得される(ステップST150)。通常光による通常画像は、表示画像としてディスプレイに表示する(ステップST160)。次に、照明光が第2照明光となり、第2画像信号が取得される(ステップST170)。第2画像信号に基づき、第2特定領域が判定され、第2特定領域を示す支援画像が表示画像に重畳され、支援画像が付された表示画像が表示される(ステップST180)。次に照明光が通常光となり、通常画像が取得される(ステップST190)。通常光による通常画像は、表示画像としてディスプレイに表示する(ステップST200)。Next, a series of processes performed by the processor device 16, which is an image processing device, or the endoscope system 10 will be described with reference to the flowchart shown in FIG. 22. When observation is started, illumination light is emitted in a preset order according to a predetermined illumination light pattern (see FIG. 8). First, the illumination light is normal light, and a normal image is acquired (step ST110). The normal image by normal light is displayed on the display as a display image (step ST120). Next, the illumination light becomes the first illumination light, and a first image signal is acquired (step ST130). Based on the first image signal, a first specific area is determined, a support image showing the first specific area is superimposed on the display image, and the display image with the support image is displayed (step ST140). Next, the illumination light becomes normal light, and a normal image is acquired (step ST150). The normal image by normal light is displayed on the display as a display image (step ST160). Next, the illumination light becomes the second illumination light, and a second image signal is acquired (step ST170). Based on the second image signal, the second specific region is determined, a support image showing the second specific region is superimposed on the display image, and the display image with the support image is displayed (step ST180). Next, the illumination light is changed to normal light, and a normal image is acquired (step ST190). The normal image under normal light is displayed on the display as a display image (step ST200).

次に、照明光が第3照明光となり、第3画像信号が取得される(ステップST210)。第3画像信号に対し、強調処理が行われる(ステップST220)。強調処理済の第3画像信号に基づき、第3特定領域が判定され、第3特定領域を示す支援画像が表示画像に重畳され、支援画像が付された表示画像が表示される(ステップST230)。Next, the illumination light becomes the third illumination light, and a third image signal is acquired (step ST210). Enhancement processing is performed on the third image signal (step ST220). A third specific region is determined based on the enhanced third image signal, and a support image showing the third specific region is superimposed on the display image, and the display image with the support image is displayed (step ST230).

上記実施形態及び変形例等においては、プロセッサ装置16が画像処理装置として機能するが、プロセッサ装置16とは別に、画像処理部56を含む画像処理装置を設けてもよい。この他、図23に示すように、画像処理部56は、例えば内視鏡システム10から直接的に、または、PACS(Picture Archiving and Communication Systems)910か
ら間接的に、内視鏡12で撮影したRAW画像を取得する診断支援装置911に設けることができる。また、図24に示すように、内視鏡システム10を含む、第1検査装置921、第2検査装置922、…、第K検査装置923等の各種検査装置と、ネットワーク926を介して接続する医療業務支援装置930に、画像処理部56を設けることができる。
In the above embodiment and modified examples, the processor device 16 functions as an image processing device, but an image processing device including an image processing unit 56 may be provided separately from the processor device 16. In addition, as shown in Fig. 23, the image processing unit 56 may be provided in a diagnosis support device 911 that acquires RAW images captured by an endoscope 12 directly from the endoscope system 10 or indirectly from a PACS (Picture Archiving and Communication Systems) 910. Also, as shown in Fig. 24, the image processing unit 56 may be provided in a medical work support device 930 that is connected to various examination devices, such as a first examination device 921, a second examination device 922, ..., a Kth examination device 923, including the endoscope system 10, via a network 926.

上記各実施形態及び変形例は、その一部または全部を任意に組み合わせて実施することができる。また、上記各実施形態及び変形例においては、内視鏡12は可撓性の挿入部12aを有するいわゆる軟性内視鏡を用いているが、観察対象が嚥下して使用するカプセル型の内視鏡、外科手術等に使用する硬性内視鏡(腹腔鏡)を用いる場合も本発明は好適である。The above-described embodiments and modifications may be combined in whole or in part in any manner. In the above-described embodiments and modifications, the endoscope 12 is a so-called flexible endoscope having a flexible insertion portion 12a, but the present invention is also suitable for use with a capsule-type endoscope that is swallowed by the subject of observation, or a rigid endoscope (lapaoscope) used in surgery, etc.

上記実施形態及び変形例等は、プロセッサを備える画像処理装置の作動方法であって、内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得ステップと、少なくとも1つの前記画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成する表示画像生成ステップと、複数の画像信号のそれぞれに基づいて、観察対象が特定の状態である特定領域を画定して示す支援画像を生成する支援画像生成ステップと、表示画像を前記ディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う表示制御ステップとを備える画像処理装置の作動方法を含む。The above-mentioned embodiments and variations include a method of operating an image processing device having a processor, the method comprising: an image acquisition step of acquiring a plurality of image signals obtained by imaging an object to be observed using an endoscope; a display image generation step of generating a display image to be displayed on a display using a display image signal obtained based on at least one of the image signals; an support image generation step of generating a support image that defines and shows a specific region in which the object to be observed is in a specific state based on each of the plurality of image signals; and a display control step of controlling the display image to be displayed by superimposing the plurality of support images on the display image in a manner that allows them to be distinguished from one another when the display image is displayed on the display.

また、上記実施形態及び変形例等は、内視鏡を用いて観察対象を撮像することにより得られる画像信号に画像処理を施す画像処理装置にインストールされる画像処理装置用プログラムにおいて、コンピュータに、内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得機能と、少なくとも1つの画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成する表示画像生成機能と、複数の画像信号のそれぞれに基づいて、観察対象が特定の状態である特定領域を画定して示す支援画像を生成する支援画像生成機能と、表示画像をディスプレイに表示する際に、複数の支援画像を互いに区別可能な態様により表示画像に重畳して表示する制御を行う表示制御機能とを実現させるための画像処理装置用プログラムを含む。 The above-mentioned embodiments and modified examples include a program for an image processing device installed in an image processing device that performs image processing on an image signal obtained by imaging an object to be observed using an endoscope, the program for the image processing device causing a computer to realize an image acquisition function that acquires a plurality of image signals obtained by imaging an object to be observed using an endoscope, a display image generation function that generates a display image to be displayed on a display using an image signal for display obtained based on at least one image signal, an support image generation function that generates a support image that defines and shows a specific area in which the object to be observed is in a specific state based on each of the plurality of image signals, and a display control function that controls the display of the display image by superimposing the plurality of support images on the display image in a manner that allows them to be distinguished from one another when the display image is displayed on the display.

上記実施形態において、プロセッサ装置16に含まれる制御部51、画像取得部52、DSP53、ノイズ低減部54、変換部55、画像処理部56、及び表示制御部57といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。In the above embodiment, the hardware structure of the processing units that execute various processes, such as the control unit 51, image acquisition unit 52, DSP 53, noise reduction unit 54, conversion unit 55, image processing unit 56, and display control unit 57 included in the processor device 16, is various processors as shown below. The various processors include a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) and functions as various processing units, a programmable logic device (PLD), which is a processor whose circuit configuration can be changed after manufacture such as an FPGA (Field Programmable Gate Array), and a dedicated electrical circuit, which is a processor having a circuit configuration designed specifically to execute various processes.

1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。 A processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same or different types (for example, multiple FPGAs, or a combination of a CPU and an FPGA). In addition, multiple processing units may be composed of one processor. As an example of configuring multiple processing units with one processor, first, as represented by computers such as clients and servers, one processor is configured with a combination of one or more CPUs and software, and this processor functions as multiple processing units. Secondly, as represented by system on chip (SoC), there is a form using a processor that realizes the functions of the entire system including multiple processing units with one IC (Integrated Circuit) chip. In this way, the various processing units are configured using one or more of the above various processors as a hardware structure.

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。 More specifically, the hardware structure of these various processors is an electrical circuit that combines circuit elements such as semiconductor elements.

なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像(動画を含む)を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、X線画像撮影装置(CT(Computed Tomography)検査装置及びマンモグラフィ装置等を含む)、MRI(magnetic resonance imaging)装置、等に適用できる。 The present invention can be used in endoscopic systems, processor devices, and other related devices that acquire endoscopic images, as well as systems or devices that acquire medical images (including videos) other than endoscopic images. For example, the present invention can be applied to ultrasound examination devices, X-ray imaging devices (including CT (Computed Tomography) examination devices and mammography devices), MRI (magnetic resonance imaging) devices, etc.

10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f 処置具挿入口
12g スコープボタン
13 ズーム操作部
14 光源装置
16 プロセッサ装置
18 ディスプレイ
19 キーボード
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 光源制御部
30a 照明光学系
30b 撮影光学系
41 ライトガイド
42 照明レンズ
43 対物レンズ
44 ズームレンズ
45 イメージセンサ
51 制御部
52 画像取得部
53 DSP
54 ノイズ低減部
55 変換部
56 画像処理部
57 表示制御部
61 表示画像生成部
62 強調処理部
63 支援用画像信号取得部
64 特定領域判定部
65 支援画像生成部
66 色彩強調部
67 コントラスト強調部
68 表示画像
71 第1判定処理部
72 第2判定処理部
73 第3判定処理部
74 第n判定処理部
81、82、83 支援画像
91 凡例表示
92、93、94 文字表示
910 PACS
911 診断支援装置
921 第1検査装置
922 第2検査装置
923 第K検査装置
926 ネットワーク
930 医療業務支援装置
ST110~ST230 ステップ

REFERENCE SIGNS LIST 10 Endoscope system 12 Endoscope 12a Insertion section 12b Operation section 12c Bending section 12d Tip section 12e Angle knob 12f Treatment tool insertion port 12g Scope button 13 Zoom operation section 14 Light source device 16 Processor device 18 Display 19 Keyboard 20 Light source section 20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 Light source control unit 30a Illumination optical system 30b Photography optical system 41 Light guide 42 Illumination lens 43 Objective lens 44 Zoom lens 45 Image sensor 51 Control unit 52 Image acquisition unit 53 DSP
54 Noise reduction unit 55 Conversion unit 56 Image processing unit 57 Display control unit 61 Display image generation unit 62 Enhancement processing unit 63 Support image signal acquisition unit 64 Specific region determination unit 65 Support image generation unit 66 Color enhancement unit 67 Contrast enhancement unit 68 Display image 71 First determination processing unit 72 Second determination processing unit 73 Third determination processing unit 74 nth determination processing unit 81, 82, 83 Support image 91 Legend display 92, 93, 94 Character display 910 PACS
911 Diagnosis support device 921 First test device 922 Second test device 923 Kth test device 926 Network 930 Medical work support device ST110 to ST230 Steps

Claims (12)

観察対象に照射する照明光を発する光源部と、プロセッサを備える画像処理装置を備える内視鏡システムであって、
前記光源部は、白色の照明光と、互いに分光スペクトルが異なる複数の支援画像用照明光のそれぞれとを、予め設定した順序により繰り返し発光し、
前記プロセッサは、
内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得し、
前記白色の照明光により照明した前記観察対象を撮像することにより得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成し、
複数の前記支援画像用照明光のそれぞれにより照明した前記観察対象を撮像することにより得られる複数の支援用画像信号のそれぞれにおいて、前記観察対象が特定の状態である特定領域を判定し、
前記特定領域を示す支援画像を生成し、
前記表示画像を前記ディスプレイに表示する際に、複数の前記支援画像を互いに区別可能な態様により前記表示画像に重畳して表示する制御を行う内視鏡システム
An endoscope system including a light source unit that emits illumination light to irradiate an observation target, and an image processing device including a processor,
the light source unit repeatedly emits white illumination light and a plurality of illumination lights for support images having different spectral spectra in a preset sequence;
The processor,
Acquiring a plurality of image signals obtained by imaging an object to be observed using an endoscope;
generating a display image to be displayed on a display using an image signal for display obtained by capturing an image of the observation target illuminated with the white illumination light ;
determining a specific region in which the object is in a specific state in each of a plurality of support image signals obtained by capturing an image of the object illuminated with each of the plurality of support image illumination lights ;
generating an aid image showing the particular region;
An endoscope system that performs control such that, when the display image is displayed on the display, a plurality of support images are superimposed on the display image in a manner that allows them to be distinguished from one another.
複数の前記支援画像は、同一又は相似の図形により表示する請求項1に記載の内視鏡システム The endoscope system according to claim 1 , wherein the plurality of support images are displayed using the same or similar figures. 前記支援画像は、前記特定領域の面積に対応した面積により表示する請求項1または2に記載の内視鏡システム The endoscope system according to claim 1 , wherein the support image is displayed with an area corresponding to an area of the specific region. 前記プロセッサは、複数の前記支援画像のそれぞれを互いに異なる色により表示する請求項1ないし3のいずれか1項に記載の内視鏡システム The endoscope system according to claim 1 , wherein the processor displays the plurality of support images in different colors. 前記プロセッサは、複数の前記支援画像のそれぞれを互いに異なる形状の図形により表示する請求項1に記載の内視鏡システム The endoscope system according to claim 1 , wherein the processor displays each of the plurality of support images using graphics having different shapes. 前記プロセッサは、前記支援画像を生成する毎に、前記支援画像を前記表示画像に重畳して表示する制御を行う請求項1ないし5のいずれか1項に記載の内視鏡システム The endoscope system according to claim 1 , wherein the processor performs control to display the support image by superimposing the support image on the display image every time the support image is generated. 前記画像信号に対して強調処理を行い支援用画像信号とし、
前記支援用画像信号に基づいて、前記特定領域を判定する請求項1ないし6のいずれか1項に記載の内視鏡システム
performing enhancement processing on the image signal to obtain an assisting image signal;
The endoscope system according to claim 1 , wherein the specific region is determined based on the support image signal.
前記プロセッサは、前記支援画像と前記強調処理との関連付けを示す凡例表示を前記ディスプレイに表示する制御を行う請求項7に記載の内視鏡システム The endoscope system according to claim 7 , wherein the processor performs control to display, on the display, a legend indicating an association between the support image and the enhancement processing. 複数の前記支援画像用照明光は、それぞれ予め設定した波長帯域の狭帯域光を含む請求項に記載の内視鏡システム。 The endoscope system according to claim 1 , wherein each of the plurality of illumination lights for assistance images includes narrowband light in a preset wavelength band. 前記プロセッサは、前記支援画像と前記支援画像用照明光との関連付けを示す凡例表示を前記ディスプレイに表示する制御を行う請求項ないしのいずれか1項に記載の内視鏡システム。 The endoscope system according to claim 1 , wherein the processor controls the display to display a legend indicating an association between the support image and the support image illumination light on the display. 観察対象に照射する照明光を発する光源部と、プロセッサを備える画像処理装置を備える内視鏡システムの作動方法であって、
前記光源部は、白色の照明光と、互いに分光スペクトルが異なる複数の支援画像用照明光のそれぞれとを、予め設定した順序により繰り返し発光するステップと、
前記プロセッサは、
内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得ステップと、
前記白色の照明光により照明した前記観察対象を撮像することにより得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成する表示画像生成ステップと、
複数の前記支援画像用照明光のそれぞれにより照明した前記観察対象を撮像することにより得られる複数の支援用画像信号に基づいて、前記観察対象が特定の状態である特定領域を画定して示す支援画像を生成する支援画像生成ステップと、
前記表示画像を前記ディスプレイに表示する際に、複数の前記支援画像を互いに区別可能な態様により前記表示画像に重畳して表示する制御を行う表示制御ステップとを備える内視鏡システムの作動方法。
A method for operating an endoscope system including a light source unit that emits illumination light to irradiate an observation target, and an image processing device including a processor, comprising:
the light source unit repeatedly emits white illumination light and a plurality of illumination lights for support images having different spectral spectra in a preset sequence;
The processor,
an image acquiring step of acquiring a plurality of image signals obtained by imaging an observation target using an endoscope;
a display image generating step of generating a display image to be displayed on a display using a display image signal obtained by capturing an image of the observation target illuminated with the white illumination light ;
a support image generating step of generating a support image that defines and indicates a specific region in which the object of observation is in a specific state, based on a plurality of support image signals obtained by capturing an image of the object of observation illuminated with each of the plurality of support image illumination lights;
A method for operating an endoscopic system comprising: a display control step of controlling, when the display image is displayed on the display, the display image to be superimposed on the display image in a manner that allows the support images to be distinguished from one another.
観察対象に照射する照明光を発する光源部と、プロセッサを備える画像処理装置を備える内視鏡システムにインストールされる内視鏡システム用プログラムにおいて、
コンピュータに、
前記光源部に、白色の照明光と、互いに分光スペクトルが異なる複数の支援画像用照明光のそれぞれとを、予め設定した順序により繰り返し発光させる機能と、
内視鏡を用いて観察対象を撮像することにより得られる複数の画像信号を取得する画像取得機能と、
少なくとも1つの前記画像信号に基づいて得られる表示用画像信号を用いて、ディスプレイに表示する表示画像を生成する表示画像生成機能と、
複数の前記支援画像用照明光のそれぞれにより照明した前記観察対象を撮像することにより得られる複数の支援用画像信号に基づいて、前記観察対象が特定の状態である特定領域を画定して示す支援画像を生成する支援画像生成機能と、
前記表示画像を前記ディスプレイに表示する際に、複数の前記支援画像を互いに区別可能な態様により前記表示画像に重畳して表示する制御を行う表示制御機能とを実現させるための内視鏡システム用プログラム。
A program for an endoscope system, which is installed in an endoscope system including a light source unit that emits illumination light to irradiate an observation target and an image processing device having a processor,
On the computer,
a function of repeatedly emitting white illumination light and each of a plurality of illumination lights for support images having different spectral spectra from each other in a preset sequence from the light source unit;
an image acquisition function for acquiring a plurality of image signals obtained by imaging an object to be observed using an endoscope;
a display image generating function for generating a display image to be displayed on a display by using a display image signal obtained based on at least one of the image signals;
a support image generating function for generating a support image that defines and shows a specific region in which the observation target is in a specific state, based on a plurality of support image signals obtained by capturing an image of the observation target illuminated with each of the plurality of support image illumination lights;
A program for an endoscopic system for realizing a display control function that controls the display of multiple support images by superimposing them on the display image in a manner that allows them to be distinguished from one another when the display image is displayed on the display.
JP2022534904A 2020-07-07 2021-03-17 ENDOSCOPYRIGHT: 2014-01-13 ... Active JP7556961B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020117098 2020-07-07
JP2020117098 2020-07-07
PCT/JP2021/010863 WO2022009478A1 (en) 2020-07-07 2021-03-17 Image processing device, endoscope system, operation method for image processing device, and program for image processing device

Publications (2)

Publication Number Publication Date
JPWO2022009478A1 JPWO2022009478A1 (en) 2022-01-13
JP7556961B2 true JP7556961B2 (en) 2024-09-26

Family

ID=79553244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022534904A Active JP7556961B2 (en) 2020-07-07 2021-03-17 ENDOSCOPYRIGHT: 2014-01-13 ...

Country Status (2)

Country Link
JP (1) JP7556961B2 (en)
WO (1) WO2022009478A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012872A1 (en) 2018-07-09 2020-01-16 富士フイルム株式会社 Medical image processing device, medical image processing system, medical image processing method, and program
WO2020075578A1 (en) 2018-10-12 2020-04-16 富士フイルム株式会社 Medical image processing device, endoscope system, and medical image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012872A1 (en) 2018-07-09 2020-01-16 富士フイルム株式会社 Medical image processing device, medical image processing system, medical image processing method, and program
WO2020075578A1 (en) 2018-10-12 2020-04-16 富士フイルム株式会社 Medical image processing device, endoscope system, and medical image processing method

Also Published As

Publication number Publication date
WO2022009478A1 (en) 2022-01-13
JPWO2022009478A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
CN110325100B (en) Endoscope system and method of operating the same
JP6785948B2 (en) How to operate medical image processing equipment, endoscopic system, and medical image processing equipment
JP7531013B2 (en) Endoscope system and medical image processing system
JP7190597B2 (en) endoscope system
JP7335399B2 (en) MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, AND METHOD OF OPERATION OF MEDICAL IMAGE PROCESSING APPARATUS
JP7508559B2 (en) IMAGE ANALYSIS PROCESSING DEVICE, ENDOSCOPYRIGHT SYSTEM, METHOD FOR OPERATING IMAGE ANALYSIS PROCESSING DEVICE, AND PROGRAM FOR IMAGE ANALYSIS PROCESSING DEVICE
US20240320877A1 (en) Image processing apparatus
JP2020065685A (en) Endoscope system
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
WO2020066941A1 (en) Medical image processing device, endoscope system, and operation method for medical image processing device
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
JP7556961B2 (en) ENDOSCOPYRIGHT: 2014-01-13 ...
US20220237795A1 (en) Image processing device and method of operating the same
JP7217351B2 (en) Image processing device, endoscope system, and method of operating image processing device
US11998165B2 (en) Image processing device and method of operating same
WO2022059233A1 (en) Image processing device, endoscope system, operation method for image processing device, and program for image processing device
JP7629076B2 (en) Image processing device and method of operation thereof
WO2022210508A1 (en) Processor device, medical image processing device, medical image processing system, and endoscopic system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240912

R150 Certificate of patent or registration of utility model

Ref document number: 7556961

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150