Nothing Special   »   [go: up one dir, main page]

WO2016136700A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2016136700A1
WO2016136700A1 PCT/JP2016/055150 JP2016055150W WO2016136700A1 WO 2016136700 A1 WO2016136700 A1 WO 2016136700A1 JP 2016055150 W JP2016055150 W JP 2016055150W WO 2016136700 A1 WO2016136700 A1 WO 2016136700A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
luminance
processing apparatus
image processing
Prior art date
Application number
PCT/JP2016/055150
Other languages
English (en)
French (fr)
Inventor
洋祐 池本
水口　直志
敦 小師
俊雄 橘
太田　紀子
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to CN201680000509.3A priority Critical patent/CN106102556B/zh
Priority to US15/106,968 priority patent/US20180153384A1/en
Priority to EP16728211.0A priority patent/EP3263011A1/en
Publication of WO2016136700A1 publication Critical patent/WO2016136700A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image processing apparatus for processing an image of a living tissue.
  • the lesioned part of living tissue exhibits a color different from that of a normal part.
  • color endoscope devices With the improvement in the performance of color endoscope devices, it has become possible to identify lesions slightly different in color from normal tissues.
  • an operator in order for an operator to accurately identify a lesion from a normal tissue due to a slight color difference on an endoscopic image, it is necessary to receive a long-term training under the guidance of an expert.
  • even a skilled operator cannot easily identify a lesion from a slight color difference, and requires careful work.
  • Patent Document 1 Japanese Patent Laid-Open No. 2014-18332
  • Patent Document 2 Japanese Patent Laid-Open No. 2014-18332
  • an electronic endoscope apparatus that performs color mapping processing for determining whether or not a subject is a lesioned part based on color information and changing the color of a pixel at a part determined to be a lesioned part.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to prevent misalignment between a mark indicating a lesioned part attached to an endoscopic image and the endoscopic image. .
  • an image data acquisition unit that acquires color moving image data including a plurality of image data obtained by imaging a biological tissue, and a scene determination unit that determines a shooting scene based on the color moving image data.
  • a score calculating means for calculating, for each pixel, a score indicating the severity of a lesion of a living tissue imaged in an image represented by the image data based on the image data, and a marking means for attaching a mark indicating the distribution of the score on the image
  • the marking means is capable of executing a detailed marking process for marking a score distribution in detail and a simple marking process for marking a score distribution more simply than the detailed marking process.
  • An image processing apparatus is provided that executes either the detailed marking process or the simple marking process according to the determination result of the shooting scene.
  • the scene determination unit may determine the type of image inspection captured in the color moving image data.
  • the scene determination unit determines whether the imaging scene is a screening inspection or a detailed inspection
  • the marking unit determines that the imaging scene is a screening inspection
  • simple marking processing is performed. It is good also as a structure which performs and performs a detailed marking process when it determines with the imaging
  • the scene determination unit may include a moving image analysis unit that analyzes the motion of the image.
  • the moving image analysis means includes a velocity field calculation means for calculating a velocity field based on a plurality of continuous image data, and determines the type of image inspection based on the calculation result of the velocity field. It is good also as composition to do.
  • the moving image analysis unit may include an image speed calculation unit that calculates a representative value of the magnitude of the velocity vector of each pixel constituting the velocity field and obtains it as an image velocity.
  • the moving image analysis means may include an image speed change rate calculating means for calculating an image speed change rate that is a change amount per unit time of the image speed.
  • the moving image analysis means may include a resolution reduction means for reducing the resolution of the image data.
  • the scene determination unit may include a luminance image data generation unit that generates luminance image data in which the luminance of the image data is a pixel value.
  • the scene determination unit may include an image simplification unit that simplifies the luminance image represented by the luminance image data.
  • the image simplification means is subjected to the blurring process, the resolution reducing means for reducing the resolution of the luminance image, the blurring means for performing the blurring process on the luminance image reduced in resolution, and the blurring process.
  • High resolution means for returning the luminance image to the original resolution may be provided.
  • the image simplification means may include a gradation reduction means for reducing the gradation of the luminance image data.
  • the scene determination unit may include a contour image data generation unit that generates contour line image data representing a contour line of luminance based on the luminance image.
  • the contour line image data generation means may include a vector differential calculation means for calculating the gradient of the luminance image.
  • the scene determination unit may include a contour line density calculation unit that calculates the density of contour lines, and may determine a shooting scene based on the density of the contour lines.
  • the scene determination unit may include a luminance gradient calculation unit that calculates a luminance gradient in the image, and a shooting scene may be determined based on the luminance gradient.
  • the scene determination unit may include a circularity calculation unit that calculates the circularity of the low-luminance region of the image, and the shooting scene may be determined based on the circularity.
  • the scene determination unit may include a centroid calculation unit that calculates the centroid of the low-luminance region of the image, and may determine a shooting scene based on the centroid.
  • a positional deviation between a mark indicating a lesioned part attached to an endoscopic image and the endoscopic image is prevented.
  • FIG. 1 is a block diagram showing a schematic configuration of an electronic endoscope apparatus according to an embodiment of the present invention. It is the block diagram which showed schematic structure of the circuit regarding the image processing of the electronic endoscope apparatus which concerns on embodiment of this invention. It is a figure which shows schematic structure of the storage area of an image memory. It is a flowchart which shows the procedure of the process which an image processing circuit performs. It is an example of the gain curve used for TE processing. It is a flowchart which shows the procedure of an effective pixel determination process. It is a flowchart which shows the procedure of a lesion determination process. It is the scatter diagram which plotted the pixel value of the biological tissue image in HS coordinate space. It is a flowchart which shows the procedure of a score calculation process.
  • FIG. 1 is a block diagram showing a configuration of an electronic endoscope apparatus 1 according to the present invention.
  • the electronic endoscope apparatus 1 includes an electronic scope 100, a processor 200, and a monitor 900.
  • the processor 200 includes a system controller 202 and a timing controller 204.
  • the system controller 202 executes various programs stored in the memory 212 and controls the entire electronic endoscope apparatus 1 in an integrated manner.
  • the system controller 202 is connected to the operation panel 214.
  • the system controller 202 changes each operation of the electronic endoscope apparatus 1 and parameters for each operation in accordance with an instruction from the operator input from the operation panel 214.
  • the timing controller 204 outputs a synchronization signal for adjusting the operation timing of each unit to each circuit in the electronic endoscope apparatus 1.
  • the lamp 208 emits the irradiation light L after being started by the lamp power source 206.
  • the lamp 208 is, for example, a high-intensity lamp such as a xenon lamp, a halogen lamp, a mercury lamp, or a metal halide lamp, or an LED (Light-Emitting-Diode).
  • the irradiation light L is light having a spectrum that spreads mainly from the visible light region to the invisible infrared light region (or white light including at least the visible light region).
  • the irradiation light L emitted from the lamp 208 is condensed on the incident end face of the LCB (Light Carrying Bundle) 102 by the condenser lens 210 and is incident on the LCB 102.
  • LCB Light Carrying Bundle
  • the irradiation light L incident on the LCB 102 propagates through the LCB 102, is emitted from the exit end face of the LCB 102 disposed at the tip of the electronic scope 100, and is irradiated onto the subject via the light distribution lens 104.
  • the return light from the subject irradiated with the irradiation light L forms an optical image on the light receiving surface of the solid-state image sensor 108 via the objective lens 106.
  • the solid-state image sensor 108 is a single color CCD (Charge Coupled Device) image sensor of a complementary color checkered color difference line sequential method.
  • the solid-state image sensor 108 images an optical image of a subject formed on the light receiving surface and outputs an analog image signal. Specifically, the solid-state image sensor 108 accumulates an optical image formed by each pixel on the light receiving surface as a charge corresponding to the amount of light, and generates yellow Ye, cyan Cy, green G, and magenta Mg color signals. Then, the generated scanning lines are sequentially output by adding and mixing the color signals of two adjacent pixels in the vertical direction.
  • CCD Charge Coupled Device
  • the solid-state imaging element 108 is not limited to a CCD image sensor, and may be replaced with a CMOS (Complementary Metal Oxide Semiconductor) image sensor or other types of imaging devices.
  • the solid-state image sensor 108 may also be one equipped with a primary color filter (Bayer array filter).
  • a driver signal processing circuit 110 receives an analog imaging signal composed of the above-described scanning lines from the solid-state imaging device 108 in a field cycle.
  • field may be replaced with “frame”.
  • the field period and the frame period are 1/60 seconds and 1/30 seconds, respectively.
  • the driver signal processing circuit 110 performs predetermined processing on the analog imaging signal input from the solid-state imaging device 108 and outputs the processed signal to the image processing circuit 220 of the processor 200.
  • the driver signal processing circuit 110 also accesses the memory 120 and reads the unique information of the electronic scope 100.
  • the unique information of the electronic scope 100 recorded in the memory 120 includes, for example, the number and sensitivity of the solid-state image sensor 108, the operable field rate, the model number, and the like.
  • the driver signal processing circuit 110 outputs the unique information read from the memory 120 to the system controller 202.
  • the system controller 202 performs various calculations based on the unique information of the electronic scope 100 and generates a control signal.
  • the system controller 202 controls the operation and timing of various circuits in the processor 200 using the generated control signal so that processing suitable for the electronic scope connected to the processor 200 is performed.
  • the timing controller 204 generates a synchronization signal according to the timing control by the system controller 202.
  • the driver signal processing circuit 110 drives and controls the solid-state imaging device 108 at a timing synchronized with the field rate of the video signal generated by the processor 200 in accordance with the synchronization signal supplied from the timing controller 204.
  • the image processing circuit 220 generates image data based on the imaging signal output from the electronic scope 100 under the control of the system controller 202.
  • the image processing circuit 220 generates screen data for monitor display using the generated image data, converts the screen data into a video signal of a predetermined video format, and outputs the video signal.
  • the video signal is input to the monitor 900, and a color image of the subject is displayed on the display screen of the monitor 900.
  • FIG. 2 is a block diagram showing a schematic configuration of a circuit related to image processing of the electronic endoscope apparatus 1.
  • the driver signal processing circuit 110 includes a drive circuit 112 and an AFE (Analog Front End) 114.
  • the drive circuit 112 generates a drive signal for the solid-state image sensor 108 based on the synchronization signal.
  • the AFE 114 performs noise removal, signal amplification / gain correction, and A / D conversion on the analog imaging signal output from the solid-state imaging device 108, and outputs a digital imaging signal. Note that the solid-state imaging device 108 or the image processing circuit 220 may perform all or part of the processing performed by the AFE 114 in the present embodiment.
  • the image processing circuit 220 includes a basic processing unit 220a, an output circuit 220b, a TE (Tone enhancement) processing unit 221, an effective pixel determination unit 222, a color space conversion unit 223, a lesion determination unit 224, a score calculation unit 225, a marking A processing unit 226, an image memory 227, a display screen generation unit 228, a memory 229, and a scene determination unit 230 are provided. Processing performed by each unit of the image processing circuit 220 will be described later.
  • FIG. 3 is a diagram illustrating a schematic configuration of a storage area included in the image memory 227.
  • the storage area P n is an area for storing normal observation image data N (image data representing the normal observation image NP) generated by the basic processing unit 220a. Note that two or more normal observation image data N generated in succession can be stored in the storage area P n .
  • writing / reading of data to / from the storage area Pn is performed by a first-in first-out method (FIFO).
  • FIFO first-in first-out method
  • the storage area Pe is an area for storing tone-enhanced image data E (image data representing the tone-enhanced image EP) generated by the TE processing unit 221.
  • the storage area Pc is an area for storing color map image data CM (image data representing the color map image CMP) generated by the marking processing unit 226.
  • the storage area P m is an area in which marking image data M (image data representing the marking image MP) generated by the marking processing unit 226 is stored.
  • the memory 229 stores a flag table FT, a score table ST, a hue correlation value table HCT, a saturation correlation value table SCT, and a display color table DCT.
  • the flag table FT and the score table ST are numerical tables composed of a flag F (x, y) and a score Sc (x, y) indicating the analysis result for each pixel (x, y) of the normal observation image data N, respectively. is there.
  • the flag F (x, y) is a parameter indicating the presence or absence of a lesion in the tissue imaged on the corresponding pixel (x, y)
  • the score Sc (x, y) indicates the severity of the lesion. Is the parameter shown.
  • the display color table DCT is a numerical value table that defines the correspondence between the score Sc (x, y) and the display color (color code) of the color map image CMP.
  • the hue correlation value table HCT and the saturation correlation value table SCT will be described later.
  • FIG. 4 is a flowchart showing a procedure of processing performed by the image processing circuit 220.
  • the digital signal output from the AFE 114 is first subjected to general signal processing (basic processing S1) by the basic processing unit 220a, and normal observation image data N is generated.
  • the digital image pickup signal output from the AFE 114 is converted into the luminance signal Y and the color difference signals Cb and Cr, and the primary colors for separating the primary color signals R, G and B from the luminance signal Y and the color difference signals Cb and Cr.
  • Separation processing Separation processing, clamping processing for removing offset components, defect correction processing for correcting pixel values of defective pixels using pixel values of surrounding pixels, and imaging data (RAW data) consisting of single-color pixel values from full-color pixel values
  • RAW data imaging data
  • Compensates for demosaic processing (interpolation processing) that converts to image data, linear matrix processing that corrects the spectral characteristics of the image sensor using a color matrix, white balance processing that corrects the spectral characteristics of illumination light, and degradation of spatial frequency characteristics Contour correction etc. are included.
  • driver signal processing circuit 110 or the solid-state image sensor 108 performs all or one part of the process which the basic process part 220a performs in this embodiment.
  • the normal observation image data N generated by the basic processing unit 220a is input to the TE processing unit 221 and the scene determination unit 230 and is stored in the storage area P n of the image memory 227.
  • the electronic endoscope apparatus 1 of the present embodiment is configured to operate in two operation modes: an image analysis mode and a normal observation mode.
  • the operation mode is switched by a user operation on the operation unit 130 of the electronic scope 100 or the operation panel 214 of the processor 200. If the normal observation mode is set (S2: No), the process proceeds to S12.
  • TE (tone enhancement) processing S3 When the image analysis mode is selected (S2: Yes), the TE processing S221 by the TE processing unit 221 is performed next.
  • the TE process S3 performs gain adjustment that gives a non-linear gain (gain) to each primary color signal R, G, B of the normal observation image data N in order to increase the lesion determination accuracy, and is specific to the lesion to be determined.
  • gain gain
  • the primary color signals R ′, G ′, B ′ (tone-enhanced image data E) are given to each primary color signal R, G, B by applying a non-linear gain as shown in FIG. ) Is acquired.
  • a non-linear gain as shown in FIG. 5
  • the gain curve in FIG. 5 from the boundary region R A characteristic gamut ulcers, inflammation over the boundary area R B of the characteristic color gamut, the slope is steeper.
  • the TE treatment S3 changes the color of the inflamed part to red, the ulcer part to white, and the normal part to green. Therefore, when the tone-enhanced image data E generated by the TE process S3 is displayed on the monitor 900, the lesioned part (inflamed part or ulcer part) is easier than when the normal observation image data N before the TE process S3 is displayed. It can be visually recognized.
  • the TE process S3 is an example of a color enhancement process applicable to the present invention. Instead of the TE process S3, the color quality, specifically, hue or saturation (or chromaticity) contrast is set. Other types of enhanced color enhancement processing may be used.
  • Effective pixel determination processing S4 When the TE process S3 is completed, an effective pixel determination process S4 by the effective pixel determination unit 222 is then performed on the tone enhanced image data E. Note that the TE process S3 may be omitted, and the effective pixel determination process S4 may be performed on the normal observation image data N.
  • FIG. 6 is a flowchart showing the procedure of the effective pixel determination process S4.
  • the effective pixel determination process S4 is a process for determining whether or not the pixel value is suitable for image analysis, and is sequentially performed for all the pixels (x, y) constituting the image data.
  • the effective pixel determination process S4 first, for each pixel (x, y), from the primary color signals R ′ (x, y), G ′ (x, y), B ′ (x, y) of the tone-enhanced image data E, The corrected luminance int (x, y) is calculated by the following formula 1 (S41).
  • the corrected luminance int (x, y) is not a simple average of the primary color signals R ′ (x, y), G ′ (x, y), B ′ (x, y), It is obtained as a weighted average based on the specific visual sensitivity characteristics of a human (operator).
  • an appropriate exposure determination process S42 for determining whether the exposure level is suitable for image analysis is performed. In the appropriate exposure determination process S42, it is determined that the exposure is appropriate (S42: Yes) when at least one (or both) of the following two conditions (Equation 2 and Equation 3) is satisfied.
  • the upper limit value of the corrected luminance int (x, y) (total light amount) is defined by Equation 2, and each primary color signal R ′ (x, y), G ′ (x, y), B ′ ( A lower limit value of x, y) is defined.
  • the effective pixel determination unit 222 is stored in the memory 229.
  • the value of the flag F (x, y) corresponding to the pixel (x, y) in the flag table FT is rewritten to “1” (S43).
  • flag F (x, y) takes one of the flag values 0 to 2.
  • the definition of each flag value is as follows. 0: Invalid pixel data 1: Normal or not determined (Pixel data valid) 2: Lesions (inflammation)
  • the effective pixel determination unit 222 is determined. Rewrites the value of the flag F (x, y) to “0” (S44).
  • process S45 it is determined whether or not the process has been completed for all the pixels (x, y). The above processes S41 to S45 are repeated until the processing of all the pixels (x, y) is completed.
  • the color space conversion process S5 is an HSI (Heu-Saturation-Intensity) defined by the three elements of hue (Hew), saturation (Saturation), and luminance (Intensity). This is a process of converting into a pixel value in space. Specifically, in the color space conversion process S5, primary color signals R ′ (x, y), G ′ (x, y), B ′ (x, y) of each pixel (x, y) of the tone-enhanced image data E. ) Is converted into hue H (x, y), saturation S (x, y), and luminance I (x, y).
  • HSI Heu-Saturation-Intensity
  • the data of underexposed or overexposed pixels is inaccurate and reduces the reliability of the analysis results. Therefore, in the color space conversion process S5, the pixel (x, y) in which the value of the flag F (x, y) is set to “1” (that is, determined to be proper exposure in the above-described effective pixel determination process S4). Only done about.
  • Determination image data J ⁇ H comprising the hue H (x, y), saturation S (x, y) and luminance I (x, y) of each pixel (x, y) generated by the color space conversion unit 223 (X, y), S (x, y), I (x, y) ⁇ are input to the lesion determination unit 224.
  • a lesion determination process S6 using the determination image data J is then performed by the lesion determination unit 224.
  • the determination image data J is placed in any one of regions ⁇ and ⁇ (FIG. 8) described later on the HS space (hue-saturation space).
  • This is a process of determining the state of the biological tissue (whether or not it is an inflamed part) copied to the pixel depending on whether it is plotted.
  • the HS space is a space representing color quality (color elements excluding brightness and luminance) in the same manner as the chromaticity space.
  • the lesion determination unit 224 is performed on the chromaticity space (for example, a * b * space).
  • FIG. 7 is a flowchart showing the procedure of the lesion determination process S6.
  • the lesion determination process S6 is sequentially performed for all the pixels (x, y) constituting the image data.
  • the lesion determination processing S6 first, it is determined whether or not the data of each pixel (x, y) is valid with reference to the flag table FT (S61). If the value of the flag F (x, y) is “1” (pixel data valid), the inflammation determination process S62 is performed next. If the value of the flag F (x, y) is “0” (pixel data invalid), the process proceeds to the process S64 without performing the inflammation determination process S62.
  • FIG. 8 is a scatter diagram in which determination image data J acquired from endoscopic image data of a plurality of inflammatory bowel disease patients is plotted on the HS space.
  • the inflammation determination process S62 whether or not the determination image data J ⁇ (H (x, y), S (x, y) ⁇ ) of each pixel (x, y) is plotted in the region ⁇ in FIG. Specifically, the image data for determination J ⁇ (H (x, y), S (x, y) ⁇ ) is included in the region ⁇ when both of the following expressions 4 and 5 are satisfied.
  • the image data for determination J ⁇ (H (x, y), S (x, y) ⁇ ) satisfies at least one of Expression 4 and Expression 5.
  • ⁇ S1 , ⁇ H1 and ⁇ H2 are correction values that can be set by the operator, and these corrections The severity of judgment (sensitivity) and the like can be appropriately adjusted by setting the value.
  • process S64 it is determined whether or not the process has been completed for all the pixels (x, y). The above processes S61 to S64 are repeated until the processing of all the pixels (x, y) is completed.
  • the score calculation process S7 is a process for calculating a score Sc (x, y), which is an evaluation value of the severity of a lesion, based on the pixel value of the determination image data J.
  • the score calculation process S7 is sequentially performed for all the pixels (x, y). Note that the score calculation algorithm described below is an example, and the present invention can be applied to the screen display of scores calculated by various algorithms.
  • FIG. 9 is a flowchart showing the procedure of the score calculation process S7.
  • the flag table FT is read, and it is determined whether or not the value of the flag F (x, y) corresponding to the pixel (x, y) is “2” (inflammation) ( S71).
  • I corr. (X, y): luminance after correction of judgment image data J S corr. (X, y): saturation after correction of judgment image data J I ref : blood sample data as a reference value Luminance S ref : Saturation of blood sample data as reference value ⁇ : Angle giving correlation coefficient (cos ⁇ ) between luminance value and saturation value of blood sample data Note that correlation coefficient between saturation and luminance of blood sample (Measured value) is ⁇ 0.86, and ⁇ 149.32 (deg) is applied.
  • the hue distance D HUE is a relative value of the hue of the determination image data J (x, y) with reference to the hue H ref of the blood sample data.
  • the hue correlation value HCV (x, y) is determined from the hue distance D HUE (x, y) (S74).
  • the hue correlation value HCV (x, y) is a parameter having a strong correlation with the severity of the inflamed area.
  • FIG. 10A is a graph illustrating the relationship between the hue distance D HUE and the hue correlation value HCV.
  • the hue distance D HUE has a strong correlation with the severity of the inflamed area in a range within ⁇ 30 ° (hereinafter referred to as “hue approximate range R 11 ”), and other ranges (hereinafter referred to as “hue approximate outside range R”). 12 ”)) has little correlation.
  • the hue correlation value HCV (x, y) of the present embodiment is set to 0.0, which is the minimum value in the hue approximation outside range R 12 , and the hue distance D HUE (x, y) in the hue approximation range R 11 . ) Is set to increase linearly as it approaches 0 °.
  • the hue correlation value HCV (x, y) is standardized so that the minimum value is 0.0 and the maximum value is 1.0.
  • the relationship between the hue distance D HUE and the hue correlation value HCV shown in FIG. 10A is stored in the memory 229 as the hue correlation value table HCT.
  • the hue correlation value table HCT By referring to the hue correlation value table HCT, the hue correlation value HCV (x, y) corresponding to the hue distance D HUE (x, y) is acquired.
  • the saturation distance D SAT (x, y) is a relative value of the saturation of the determination image data J (x, y) with reference to the saturation S ref of the blood sample data.
  • FIG. 10B is a graph illustrating the relationship between the saturation distance DSAT and the saturation correlation value SCV.
  • the saturation distance D SAT has a strong correlation with the severity of the inflamed area in a negative range (hereinafter referred to as “saturation approximate range R 22 ”) that is equal to or greater than a predetermined value, and a range that is less than or equal to a negative predetermined value ( (Hereinafter referred to as “saturation approximation outside range R 23 ”) has little correlation. Further, in a range where the saturation distance D SAT is zero or more, that is, a range where the saturation of the lesion pixel is not less than the saturation S ref of the blood sample data (hereinafter referred to as “saturation matching range R 21 ”), it is severe. The degree is considered extremely high.
  • the saturation correlation value SCV of the present embodiment (x, y) is set to 1.0 of the maximum value in the saturation range match R 21, to 0.0 of the minimum value in the saturation approximation out of range R 23 is set, it is set to increase linearly in saturation approximation range R 22.
  • the saturation correlation value SCV (x, y) is also a value that is standardized so that the minimum value is 0.0 and the maximum value is 1.0.
  • the relationship between the saturation distance DSAT and the saturation correlation value SCV shown in FIG. 10B is stored in the memory 229 as the saturation correlation value table SCT.
  • the saturation correlation value table SCT By referring to the saturation correlation value table SCT, the saturation correlation value SCV (x, y) corresponding to the saturation distance D SAT (x, y) is acquired.
  • a correlation value CV (x, y) between the color of the lesion pixel (x, y) and the blood color is obtained by multiplying the hue correlation value HCV (x, y) and the saturation correlation value SCV (x, y).
  • the correlation value CV (x, y) is also a standardized value so that the minimum value is 0.0 and the maximum value is 1.0. Further, the correlation value CV (x, y) is divided into 11 stages in increments of 0.1 points.
  • process S80 it is determined whether or not the process has been completed for all pixels (x, y). The above processes S71 to S80 are repeated until the processing of all the pixels (x, y) is completed.
  • the first stage is a “screening test” in which a portion suspected of having a lesion is searched by observing through the entire inspection target (for example, in the case of upper gastrointestinal endoscopy, the inner wall of the esophagus, stomach, and duodenum).
  • the second stage is a detailed observation of the suspected lesion found in the screening test to determine the lesion tissue / normal tissue and, if it is a lesion tissue, the type and severity of the lesion. “Scrutinize”. Usually, a screening test is performed first, followed by a scrutiny.
  • FIG. 11 is a diagram for explaining a light / dark distribution of a typical endoscopic image.
  • FIG. 11A is an example of a light / dark distribution typical of an endoscopic image at the time of screening examination
  • FIGS. 11B and 11C are light / dark distributions typical of an endoscopic image at the time of examination. It is an example.
  • Table 1 contrasts the features of the endoscopic image (see FIG. 11 (a)) taken during the screening examination and the endoscopic image (see FIG. 11 (b)) taken during the examination. It is.
  • the distal end 101a (FIG. 1) of the insertion part 101 of the electronic scope 100 is once inserted to the innermost part of the examination range in the digestive tract, and the insertion part 101 is gradually withdrawn from the digestive tract. Observations are made over the entire length. Observation in the screening test is performed while scanning the visual field in the circumferential direction of the digestive tract with the distal end 101a of the insertion portion 101 slightly directed toward the inner wall of the digestive tract.
  • the screening test is not limited to a specific part and covers a wide range, so it is necessary to perform the test efficiently. Therefore, the distance between the distal end 101a of the electronic scope 100 and the subject (gastrointestinal tract inner wall) is maintained at a medium to far distance. Specifically, the screening test is performed in a state where the insertion portion 101 of the electronic scope 100 is substantially parallel to the digestive tract (or a state where the distal end 101a is slightly directed toward the inner wall of the digestive tract).
  • the endoscopic image taken during the screening examination shows a dark digestive tract inner wall away from the distal end 101a of the electronic scope 100 in the center of the image, and electronic images in the periphery of the image.
  • the inner wall of the digestive tract illuminated brightly near the distal end 101a of the scope 100 is reflected.
  • a dark (low luminance) portion in the endoscopic image has a substantially circular shape.
  • the image of the screening examination is taken from the vicinity of the brightly illuminated tip 101a to the far distance where almost no illumination light reaches, the change in brightness (luminance) in the image becomes large.
  • the endoscopic image taken at the time of the screening test is fast moving.
  • the close examination is performed by bringing the tip 101a of the electronic scope 100 close to a specific location on the inner wall of the digestive tract (a location where a lesion is suspected by the screening test). Therefore, the inner wall of the endoscopic image photographed at the time of scrutiny (or substantially the entire surface) shows a brightly illuminated inner wall of the digestive tract near the distal end 101a of the electronic scope 100, and the peripheral portion is separated from the distal end 101a. The dark inner wall of the digestive tract is visible. Therefore, the dark part in the endoscopic image has a non-circular shape.
  • the scrutiny is performed by moving the tip 101a of the electronic scope 100 as much as possible in order to observe the fine shape and texture of the subject. Therefore, an endoscopic image photographed at the time of scrutiny has little movement and is gentle.
  • the scene determination process S8 is a process for determining the state of inspection (that is, whether a screening inspection is being performed or a scrutiny is being performed) based on the characteristics (particularly image movement) described in Table 1. It is.
  • FIG. 12 is a flowchart showing the procedure of the scene determination process S8.
  • a moving image analysis process S81 for analyzing the motion of the endoscopic image
  • a luminance gradient calculation process S82 for analyzing the light / dark distribution in the endoscopic image
  • a moving picture analysis process S81 for analyzing the light / dark distribution in the endoscopic image
  • a moving picture analysis process S81 for analyzing the light / dark distribution in the endoscopic image
  • a moving picture analysis process S81 for analyzing the light / dark distribution in the endoscopic image
  • a moving picture analysis process S81 for analyzing the light / dark distribution in the endoscopic image
  • a moving picture analysis process S81 for analyzing the light / dark distribution in the endoscopic image
  • a moving picture analysis process S81 for analyzing the light / dark distribution in the endoscopic image
  • a moving picture analysis process S81 for analyzing the light / dark distribution in the endoscopic image
  • a moving picture analysis process S81 for analyzing the light / dark distribution in the
  • FIG. 13 is a flowchart showing the procedure of the moving image analysis process S81.
  • a representative value of the pixel value N (x, y) (for example, an average value, an intermediate value, or a mode value of the pixel values N (x, y) in the block) is calculated for each block, and this representative value There the pixel value of the low-resolution normal observation image NP r.
  • This velocity field is an optical flow calculated by, for example, the gradient method or the Lucas-Kanade method.
  • the image speed PV which is the root mean square of the speed field (V x , V y ), is obtained by Expression 9.
  • the image speed PV is a parameter representing the average speed magnitude of the entire image.
  • N V velocity field number of elements (number of pixels of the low resolution normal observation image NP r)
  • an image speed change rate PV ′ (a change amount of the image speed PV per unit time) obtained by time-differentiating the image speed PV is calculated.
  • the image speed change rate PV ′ is subjected to a smoothing process. Specifically, a representative value (for example, an average value, an intermediate value, or a mode value) of the image speed change rate PV ′ for a plurality of low-resolution normal observation images NP r taken within the latest predetermined time (for example, 1 second). ) And this representative value is used as the image speed change rate PV ′.
  • the value obtained by simply differentiating the image speed PV with time includes many high-frequency component noises (image movements caused by vibrations of the electronic scope 100 that are not intended by the operator). For this reason, if the scene determination process S83 is performed without performing the smoothing process and using the temporal differentiation of the image speed PV as it is, the determination result becomes unstable and the display mode is frequently changed.
  • FIG. 14 is a flowchart for explaining the procedure of the luminance gradient calculation process S82.
  • FIG. 15 is a diagram for explaining the luminance gradient calculation process S82.
  • FIG. 15A is an example of a luminance image LP 4 [luminance index Lu 4 (x, y)] described later
  • FIG. 15B is a graph of the absolute value of the gradient of the luminance index Lu 4 (x, y).
  • FIG. 15C is an example of a contour image CP to be described later.
  • Luminance index calculation S820
  • the luminance index Lu 0 (x, y) of each pixel (x, y) of the normal observation image NP is calculated by Equation 10, and the luminance index Lu 0 (x, y) is used as an element.
  • Luminance image data Lu 0 image data representing the luminance image LP 0 ) as (pixel value) is generated (S820).
  • the luminance index Lu 0 (x is obtained by a simple average of the values of the primary color signals R (x, y), G (x, y), B (x, y) of each pixel of the normal observation image data N.
  • the luminance index Lu 0 (x, y) is calculated by a weighted average according to the spectral sensitivity characteristic of the solid-state image sensor 108 or by a weighted average according to the human specific visual acuity characteristic as in Equation 1. y) may be calculated. Also, the luminance index Lu 0 (x, y) may be calculated as a mere summation instead of the average of the primary color signals.
  • the blurring process S822 is performed.
  • the blurring process S822 is a representative value (for example, an average value or an intermediate value) of the luminance index Lu 1 (x, y) of pixels included in a predetermined area (for example, 3 pixels ⁇ 3 pixels) centered on the pixel.
  • the mode value is calculated, and luminance image data Lu 2 (image data representing the luminance image LP 2 ) having the representative value (luminance index Lu 2 (x, y)) as an element (pixel value) is generated.
  • Blurring S822 further simplifies the luminance image LP 1.
  • the luminance image data Lu 3 (luminance image LP 3 ) is increased by increasing the resolution (number of pixels) of the luminance image data Lu 2 to n 2 times (n is an integer) and returning to the same resolution as the original luminance image data Lu 0.
  • the resolution enhancement processing S823 for generating (image data representing the image) is performed.
  • the high resolution processing S823 is performed by dividing each pixel into n pixels ⁇ n pixels. Although the resolution (number of pixels) increases as the resolution increases, the image itself does not change.
  • the luminance image data Lu 3 the gradation lowering processing S824 is performed to decrease the tone of the pixel value, (image data representing the luminance image LP 4) luminance image data Lu 4 is generated.
  • the gradation reduction processing S824 for example, the gradation is reduced from 256 gradations to 8 gradations or 16 gradations.
  • the luminance image LP 0 can be similarly simplified by performing Fourier transform on the luminance image data Lu 0 to remove high frequency components and then performing inverse Fourier transform. The same effect can be obtained by performing the blurring process S822 a plurality of times.
  • the luminance image LP 4 is composed of several regions having different luminances (in FIG. 15, five regions R 1 , R 2 , R 3 , R 4 , R 5 ). In addition, it has a very simple step-like structure.
  • the gradient of the luminance image LP 4 luminance index Lu 4 (x, y)
  • a value having a magnitude only at the boundary of the region is obtained as shown in FIG.
  • the gradient other than the boundary of is zero).
  • the vector differential operation processing S825 the boundary line of each gradation in the area of the luminance image LP 4, that is, the contour image data CD representing the contour lines CL (contour image CP) of brightness is obtained.
  • N RL The number of pixels in a lowest gray level region R L (area)
  • L RL Contour length of a minimum gradation region R L (perimeter)
  • the density LD of the contour line CL is calculated (S828).
  • the density LD of the contour lines CL is defined as the number of contour lines CL per unit length in the radial direction from the center of gravity GP.
  • regions R 1 lower gradation region R L
  • R 2 , R 3 , R 4 Five regions of R 5 are shown.
  • the contour lines CL 1 , CL 2 , CL 3 of the low-luminance regions R 1 , R 2 , R 3 are copied in the contour image CP.
  • the intersection points Q 0 , Q ⁇ / 4 , Q ⁇ / of the radiation (broken line) extending in eight directions from the center of gravity GP and the outermost contour line CL 3 used for the calculation. 2 , Q 3 ⁇ / 4 , Q ⁇ , Q 5 ⁇ / 4 , Q 3 ⁇ / 2 , Q 7 ⁇ / 4 are detected.
  • FIG. 16 is a flowchart showing the procedure of the examination type determination process S83.
  • an image speed change rate determination S831 is performed to determine whether or not the image speed change rate PV ′ is equal to or less than a predetermined threshold Th PV ′.
  • Th PV ′ a predetermined threshold
  • the marking process (S10, S11) described later is performed accurately. I can't.
  • the movement of the image is fast, it is difficult for the operator to accurately recognize the marking information.
  • the display type generation processing S12 (without the marking processing (S10, S11) is performed without immediately exiting from the inspection type determination processing S83. Go to FIG. Thereby, the normal observation image NP is displayed on the monitor 900 as it is.
  • the process proceeds to the next center of gravity determination S832.
  • Center of gravity determination S832 In the center-of-gravity determination S832, it is determined whether or not the center of gravity GP of the lowest gradation region RL is located within a predetermined region at the center of the contour image CP. If the center of gravity GP is within the predetermined area (S832: Yes), the process proceeds to the next circularity determination S833. If the center of gravity GP is not within the predetermined region (S832: No), the circularity determination S833 is not performed, and the process proceeds to the congestion determination S834.
  • circularity determination S833 In circularity determination S833, whether circularity V round english (us) is greater than a predetermined threshold (e.g., 0.6) is determined. If circularity V round english (us) is greater than the threshold value 0.6 (S833: Yes), the examination type is determined to screening test (S837). Further, if the circularity of V round english (us) is the threshold value 0.6 or less (S833: No), followed by density determination S834 is performed.
  • a predetermined threshold e.g., 0.6
  • Density determination S834 In the density determination S834, it is determined whether or not the density LD is larger than a predetermined threshold Th LD . If the density LD is smaller than the threshold Th LD (S834: No), it is determined that the inspection is close (S836). If the density LD is greater than or equal to the threshold Th LD (S834: Yes), an image speed determination S835 is subsequently performed.
  • Image speed determination S835 In the image speed determination S835, it is determined whether or not the image speed PV is larger than a predetermined threshold Th PV . If the image speed PV is larger than the threshold value Th PV (S835: Yes), it is determined as a screening test (S837). On the other hand, if the image speed PV is equal to or less than the threshold Th PV (S835: No), it is determined as a close examination (S836).
  • the image speed PV and the image speed change rate PV ′ are parameters relating to the movement of the distal end portion of the electronic scope 100 at the time of inspection. Further, the brightness gradient, the circularity V round of the lowest gradation region RL , and the position of the center of gravity GP are parameters determined by the posture of the distal end portion of the electronic scope 100 with respect to the inner wall of the digestive tract as a subject. That is, the examination type determination S83 of this embodiment is for determining the type of endoscopic examination based on the movement and posture of the distal end portion of the electronic scope 100 estimated from the endoscopic image.
  • the type of marking processing performed by the marking processing unit 226 is determined based on the inspection type determination result in the scene determination processing S8 (S9).
  • the fine marking process S10 is performed.
  • the simple marking process S11 is performed.
  • a color map image CMP in which the distribution of severity in the normal observation image NP is displayed by color is generated as marking image data to be superimposed on the normal observation image NP.
  • the color map image CMP generated in the fine marking process S10 uses the display color Col (x, y) determined according to the score Sc (x, y) of the corresponding pixel (x, y) of the normal observation image NP. It has as a pixel value.
  • the display color table DCT stored in the memory 229 is referred to, and the display color Col (x, y) applied to each pixel is determined based on the score Sc (x, y). .
  • color map image data CM having the display color Col (x, y) as a pixel value is generated and stored in the storage area P c of the image memory 227.
  • An example of the color map image CMP generated by the fine marking process S10 is shown in FIG.
  • image composition is performed in which the color map image CMP is superimposed on the normal observation image NP (or tone emphasis image EP), and marking image data M is generated.
  • the display color table DCT is a numerical table that defines the correspondence between the score Sc and the display color (color code) of the color map image CMP.
  • An example of the display color table DCT is shown in Table 2.
  • a different display color is set for each of the 11-level scores Sc. It should be noted that an empty value (null value) indicating colorless and transparent is given to a pixel (x, y) whose score Sc (x, y) is zero (normal tissue). It is not colored by the fine marking process S10.
  • the designation of the color to be assigned to each pixel (x, y) is not limited to designation by RGB, but may be designated by other color expressions (for example, hue and / or saturation).
  • a colored region may be surrounded by a contour line of another display color (for example, red).
  • the simple marking process S11 is the same process as the fine marking process S10, but a simplified display color table DCT (Table 3) is used. Specifically, in the simple marking process S11, an empty value (null value) display color Col (x, x) for a low-severity pixel whose score Sc is less than a predetermined value (for example, 0.6). y) is given, and a display color Col (x, y) of a single color (for example, yellow) is given to a pixel having a score Sc of a predetermined value or higher and a high severity.
  • a predetermined value for example, 0.6
  • y a display color Col (x, y) of a single color (for example, yellow) is given to a pixel having a score Sc of a predetermined value or higher and a high severity.
  • An example of the marking image MP when the simple marking process S11 is performed is shown in FIG.
  • the simple marking process S11 By adopting the simple marking process S11, the amount of calculation required for the process is greatly reduced, so even with fast-moving images, the image processing can follow the frame rate, and the lesion can be marked accurately. become.
  • a mark with a simple structure single color
  • the visibility of the marks is good, and the surgeon accurately grasps the high-severity points even in fast-moving images. can do.
  • FIG. 17C shows a modified example of the marking image MP generated in the simple marking process S11.
  • a color map image CMP (and a marking image MP) in which a preset mark MX (for example, a ⁇ mark) is added at the position of the pixel having the maximum score Sc in the normal observation image NP is generated.
  • a preset mark MX for example, a ⁇ mark
  • the display screen generation process S12 is a process of generating display screen data to be displayed on the monitor 900 using various image data stored in the image memory 227.
  • the display screen generation process S12 is performed by the display screen generation unit 228 of the image processing circuit 220. Done.
  • the display screen generation unit 228 can generate a plurality of types of display screen data under the control of the system controller 202.
  • the generated display screen data is subjected to processing such as gamma correction by the output circuit 220b, converted to a video signal of a predetermined video format, and output to the monitor 900 (output processing S13).
  • FIG. 18 is an example of a display screen generated by the display screen generation processing S12, and is an analysis mode observation screen 320 displayed during endoscopic observation in the image analysis mode.
  • the analysis mode observation screen 320 includes a date and time display area 321 in which the photographing date and time are displayed, a basic information display area 322 that displays basic information related to the examination (for example, medical chart number, patient name, and operator name), A normal image display area 324 for displaying the normal observation image NP (or tone emphasis image EP) and an analysis image display area 325 for displaying the marking image MP are provided.
  • the normal observation image NP (or tone emphasis image EP) is displayed in the area 324.
  • Information provided from the system controller 202 is displayed in the date / time display area 321 and the basic information display area 322.
  • the surgeon observes the endoscope while looking at the analysis mode observation screen 320. Specifically, endoscopic observation is performed while viewing the normal observation image NP (or tone-enhanced image EP) displayed in the normal image display area 324 while referring to the marking image MP displayed in the analysis image display area 325. Do. By observing the marked part in the marking image MP with particular care, an accurate diagnosis can be performed without overlooking the lesion.
  • NP normal observation image
  • EP tone-enhanced image EP
  • the present invention can be applied to a video reproduction device that reproduces an endoscopic observation video imaged by an electronic endoscope device.
  • the present invention can also be applied to analysis of observation images other than endoscopic images (for example, observation images of the body surface taken by a normal video camera or observation images of the body during surgery).
  • a configuration is employed in which the type of endoscopic examination is determined based on the movement and posture of the distal end portion of the electronic scope 100 estimated from the endoscopic image.
  • an electronic scope is provided with an insertion shape detection function (an example is disclosed in Japanese Patent Application Laid-Open No. 2013-85744) that detects the shape and position of an endoscope insertion portion under examination. It is good also as a structure which determines the classification
  • Embodiments of the present invention are not limited to those described above, and various modifications are possible within the scope of the technical idea of the present invention.
  • the embodiment of the present invention also includes contents appropriately combined with embodiments or the like clearly shown in the specification or obvious embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

　画像処理装置は、生体組織を撮影した複数の画像データからなるカラー動画像データを取得する画像データ取得手段と、カラー動画像データに基づいて撮影シーンを判定するシーン判定手段と、画像データに基づいて、画像データが表す画像に写された生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、スコアの分布を示す印を画像上に付すマーキング手段と、を備え、マーキング手段が、スコアの分布を詳細に示す印を付す詳細マーキング処理と、スコアの分布を詳細マーキング処理よりも簡易的に示す印を付す簡易マーキング処理と、を実行可能であり、撮影シーンの判定結果に応じて、詳細マーキング処理と簡易マーキング処理のいずれかを実行する。

Description

画像処理装置
　本発明は、生体組織の画像を処理する画像処理装置に関する。
　一般に、生体組織の病変部は正常な部位とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織とわずかに色の異なる病変部の識別も可能になってきている。しかしながら、術者が内視鏡画像上のわずかな色の相違により正常組織から病変部を正確に識別できるようになるには、熟練者の指導下で長期間のトレーニングを受ける必要があった。また、熟練した術者であっても、わずかな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求された。
　そこで、例えば、特開２０１４－１８３３２号公報（以下、「特許文献１」と記す。）に、病変部の識別を容易にするために、白色光の照明下で撮影した内視鏡画像データに対して、色情報に基づいて被写体が病変部か否かを判定し、病変部と判定された箇所の画素の色を変更するカラーマッピング処理を行う電子内視鏡装置が提案されている。
　特許文献１の電子内視鏡装置では、全ての画素に対してカラーマッピング処理が行われるため、カラーマッピング処理に必要な計算量が非常に多い。そのため、スクリーニング検査時等の画像の動きが速いときには、カラーマッピング処理が遅くなり、内視鏡画像が撮影されるフレームレートに追従できなくなる。その結果、カラーマッピングが、その基となった内視鏡画像の後に撮影された別の内視鏡画像に対して施されることになるため、内視鏡画像とカラーマッピングとの間に位置ずれが生じるという問題があった。
　本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、内視鏡画像に付される病変部を示す印と内視鏡画像との位置ずれを防止することである。
　本発明の一実施形態によれば、生体組織を撮影した複数の画像データからなるカラー動画像データを取得する画像データ取得手段と、カラー動画像データに基づいて撮影シーンを判定するシーン判定手段と、画像データに基づいて、画像データが表す画像に写された生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、スコアの分布を示す印を画像上に付すマーキング手段と、を備え、マーキング手段が、スコアの分布を詳細に示す印を付す詳細マーキング処理と、スコアの分布を詳細マーキング処理よりも簡易的に示す印を付す簡易マーキング処理と、を実行可能であり、撮影シーンの判定結果に応じて、詳細マーキング処理と簡易マーキング処理のいずれかを実行する、画像処理装置が提供される。
　また、上記の画像処理装置において、シーン判定手段が、カラー動画像データに撮影された画像検査の種類を判定する構成としてもよい。
　また、上記の画像処理装置において、シーン判定手段が、スクリーニング検査と精査のいずれの撮影シーンであるかを判定し、マーキング手段が、スクリーニング検査の撮影シーンと判定されたときに、簡易マーキング処理を行い、精査の撮影シーンと判定されたときに、詳細マーキング処理を行う構成としてもよい。
　また、上記の画像処理装置において、シーン判定手段が、画像の動きの解析を行う動画解析手段を備えた構成としてもよい。
　また、上記の画像処理装置において、動画解析手段が、連続する複数の画像データに基づいて速度場を計算する速度場計算手段を備え、速度場の計算結果に基づいて、画像検査の種類を判定する構成としてもよい。
　また、上記の画像処理装置において、動画解析手段が、速度場を構成する各画素の速度ベクトルの大きさの代表値を計算して画像速度として取得する画像速度計算手段を備えた構成としてもよい。
　また、上記の画像処理装置において、動画解析手段が、画像速度の単位時間当たりの変化量である画像速度変化率を計算する画像速度変化率計算手段を備えた構成としてもよい。
　また、上記の画像処理装置において、動画解析手段が、画像データの解像度を低減する低解像度化手段を備えた構成としてもよい。
　また、上記の画像処理装置において、シーン判定手段が、画像データの輝度を画素値とする輝度画像データを生成する輝度画像データ生成手段を備えた構成としてもよい。
　また、上記の画像処理装置において、シーン判定手段が、輝度画像データにより表される輝度画像を単純化する画像単純化手段を備えた構成としてもよい。
　また、上記の画像処理装置において、画像単純化手段が、輝度画像を低解像度化する低解像度化手段と、低解像度化された輝度画像に対してぼかし処理を施すぼかし手段と、ぼかし処理された輝度画像を元の解像度に戻す高解像度化手段と、を備えた構成としてもよい。
　また、上記の画像処理装置において、画像単純化手段が、輝度画像データの階調を低減させる低階調化手段を備えた構成としてもよい。
　また、上記の画像処理装置において、シーン判定手段が、輝度画像に基づいて輝度の等高線を表す等高線画像データを生成する等高線画像データ生成手段を備えた構成としてもよい。
　また、上記の画像処理装置において、等高線画像データ生成手段が、輝度画像の勾配を計算するベクトル微分演算手段を備えた構成としてもよい。
　また、上記の画像処理装置において、シーン判定手段が、等高線の密集度を計算する等高線密集度計算手段を備え、等高線の密集度に基づいて撮影シーンを判定する構成としてもよい。
　また、上記の画像処理装置において、シーン判定手段が、画像内の輝度勾配を計算する輝度勾配計算手段を備え、輝度勾配に基づいて撮影シーンを判定する構成としてもよい。
　また、上記の画像処理装置において、シーン判定手段が、画像の低輝度領域の円形度を計算する円形度計算手段を備え、円形度に基づいて撮影シーンを判定する構成としてもよい。
　また、上記の画像処理装置において、シーン判定手段が、画像の低輝度領域の重心を計算する重心計算手段を備え、重心に基づいて撮影シーンを判定する構成としてもよい。
　本発明の一実施形態によれば、内視鏡画像に付される病変部を示す印と内視鏡画像との位置ずれが防止される。
本発明の実施形態に係る電子内視鏡装置の概略構成を示すブロック図である。 本発明の実施形態に係る電子内視鏡装置の画像処理に関する回路の概略構成を示したブロック図である。 画像メモリの記憶領域の概略構成を示す図である。 画像処理回路が行う処理の手順を示すフローチャートである。 ＴＥ処理に使用されるゲイン曲線の一例である。 有効画素判定処理の手順を示すフローチャートである。 病変判定処理の手順を示すフローチャートである。 生体組織像の画素値をＨＳ座標空間にプロットした散布図である。 スコア計算処理の手順を示すフローチャートである。 色相距離、彩度距離と相関値との関係を示すグラフである。 典型的な内視鏡画像の明暗分布を説明する図である。 シーン判定処理の手順を示すフローチャートである。 動画解析処理の手順を示すフローチャートである。 輝度勾配計算処理の手順を説明するフローチャートである。 輝度勾配計算処理を説明する図である。（ａ）は輝度画像の一例であり、（ｂ）は輝度指数の勾配の絶対値のグラフの一例であり、（ｃ）は等高線画像の一例である。 検査種別判定処理の手順を示すフローチャートである。 マーキング画像の例を示す図である。 表示画面生成処理によって生成される表示画面の一例である。
　以下、本発明の画像処理装置の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
［電子内視鏡装置１全体の構成］
　図１は、本発明の電子内視鏡装置１の構成を示すブロック図である。図１に示されるように、電子内視鏡装置１は、電子スコープ１００、プロセッサ２００及びモニタ９００を備えている。
　プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡装置１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡装置１の各動作及び各動作のためのパラメーターを変更する。タイミングコントローラ２０４は、各部の動作のタイミングを調整する同期信号を電子内視鏡装置１内の各回路に出力する。
　ランプ２０８は、ランプ電源２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む白色光）である。
　ランプ２０８より射出された照射光Ｌは、集光レンズ２１０によりＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。
　ＬＣＢ１０２内に入射された照射光Ｌは、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体に照射される。照射光Ｌにより照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。
　固体撮像素子１０８は、補色市松色差線順次方式の単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上で結像した被写体の光学像を撮像して、アナログ撮像信号を出力する。具体的には、固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、イエローＹｅ、シアンＣｙ、グリーンＧ、マゼンタＭｇの色信号を生成し、生成された垂直方向に隣接する２つの画素の色信号を加算し混合して得た走査線を順次出力する。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、原色系フィルタ（ベイヤ配列フィルタ）を搭載したものであってもよい。
　電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。ドライバ信号処理回路１１０には、上述の走査線からなるアナログ撮像信号がフィールド周期で固体撮像素子１０８より入力される。なお、以降の説明において「フィールド」は「フレーム」に置き替えてもよい。本実施形態において、フィールド周期、フレーム周期はそれぞれ、１／６０秒、１／３０秒である。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力されるアナログ撮像信号に対して所定の処理を施してプロセッサ２００の画像処理回路２２０に出力する。
　ドライバ信号処理回路１１０はまた、メモリ１２０にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１２０に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフィールドレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１２０より読み出された固有情報をシステムコントローラ２０２に出力する。
　システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。
　タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、同期信号を生成する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給される同期信号に従って、プロセッサ２００が生成するビデオ信号のフィールドレートに同期したタイミングで固体撮像素子１０８を駆動制御する。
　画像処理回路２２０は、システムコントローラ２０２による制御の下、電子スコープ１００から出力される撮像信号に基づいて画像データを生成する。また、画像処理回路２２０は、生成された画像データを使用してモニタ表示用の画面データを生成し、この画面データを所定のビデオ・フォーマットのビデオ信号に変換して出力する。ビデオ信号はモニタ９００に入力され、被写体のカラー画像がモニタ９００の表示画面に表示される。
　図２は、電子内視鏡装置１の画像処理に関する回路の概略構成を示したブロック図である。
　ドライバ信号処理回路１１０は、駆動回路１１２とＡＦＥ（Analog Front End）１１４を備えている。駆動回路１１２は、同期信号に基づいて固体撮像素子１０８の駆動信号を生成する。ＡＦＥ１１４は、固体撮像素子１０８から出力されるアナログ撮像信号に対して、ノイズ除去、信号増幅・ゲイン補正及びＡ／Ｄ変換を行い、デジタル撮像信号を出力する。なお、本実施形態においてＡＦＥ１１４が行う処理の全部又は一部を固体撮像素子１０８又は画像処理回路２２０が行う構成としてもよい。
　画像処理回路２２０は、基本処理部２２０ａ、出力回路２２０ｂ、ＴＥ（Tone Enhancement：トーン強調）処理部２２１、有効画素判定部２２２、色空間変換部２２３、病変判定部２２４、スコア計算部２２５、マーキング処理部２２６、画像メモリ２２７、表示画面生成部２２８、メモリ２２９及びシーン判定部２３０を備えている。画像処理回路２２０の各部が行う処理については後述する。
　図３は、画像メモリ２２７が備える記憶領域の概略構成を示す図である。本実施形態の画像メモリ２２７には、４つの記憶領域Ｐｎ、Ｐｅ、Ｐｃ、Ｐｍが設けられている。記憶領域Ｐｎは、基本処理部２２０ａが生成する通常観察画像データＮ（通常観察画像ＮＰを表す画像データ）を記憶する領域である。なお、記憶領域Ｐｎには連続して生成された二以上の通常観察画像データＮを記憶させることができる。また、記憶領域Ｐｎへのデータの書き込み／読み出しは、先入れ先出し方式（FIFO）により行われる。記憶領域Ｐｅは、ＴＥ処理部２２１が生成するトーン強調画像データＥ（トーン強調画像ＥＰを表す画像データ）を記憶する領域である。記憶領域Ｐｃは、マーキング処理部２２６が生成するカラーマップ画像データＣＭ（カラーマップ画像ＣＭＰを表す画像データ）を記憶する領域である。記憶領域Ｐｍは、マーキング処理部２２６が生成するマーキング画像データＭ（マーキング画像ＭＰを表す画像データ）を記憶する領域である。
　また、図２に示されるように、メモリ２２９には、フラグテーブルＦＴ、スコアテーブルＳＴ、色相相関値テーブルＨＣＴ及び彩度相関値テーブルＳＣＴ及び表示色テーブルＤＣＴが格納される。フラグテーブルＦＴ及びスコアテーブルＳＴは、それぞれ通常観察画像データＮの各画素（ｘ，ｙ）に関する解析結果を示すフラグＦ（ｘ，ｙ）、スコアＳｃ（ｘ，ｙ）から構成された数値テーブルである。具体的には、フラグＦ（ｘ，ｙ）は対応する画素（ｘ，ｙ）に写された組織の病変の有無を示すパラメーターであり、スコアＳｃ（ｘ，ｙ）はその病変の重症度を示すパラメーターである。表示色テーブルＤＣＴは、スコアＳｃ（ｘ，ｙ）とカラーマップ画像ＣＭＰの表示色（カラーコード）との対応関係を規定する数値テーブルである。色相相関値テーブルＨＣＴ及び彩度相関値テーブルＳＣＴについては後述する。
［基本処理Ｓ１］
　次に、画像処理回路２２０が行う処理について説明する。
　図４は、画像処理回路２２０が行う処理の手順を示すフローチャートである。ＡＦＥ１１４から出力されたデジタル信号は、先ず基本処理部２２０ａによって一般的な信号処理（基本処理Ｓ１）が行われて、通常観察画像データＮが生成される。
　基本処理Ｓ１には、ＡＦＥ１１４から出力されたデジタル撮像信号を輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒに変換する処理、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒから原色信号Ｒ、Ｇ、Ｂを分離する原色分離処理、オフセット成分を除去するクランプ処理、欠陥画素の画素値を周囲の画素の画素値を用いて補正する欠陥補正処理、単色の画素値からなる撮像データ（ＲＡＷデータ）をフルカラーの画素値からなる画像データに変換するデモザイク処理（補間処理）、カラーマトリクスを用いて撮像素子の分光特性を補正するリニアマトリクス処理、照明光のスペクトル特性を補正するホワイトバランス処理、空間周波数特性の劣化を補償する輪郭補正等が含まれる。
　なお、本実施形態において基本処理部２２０ａが行う処理の全部又は一部をドライバ信号処理回路１１０又は固体撮像素子１０８が行う構成としてもよい。
　基本処理部２２０ａによって生成された通常観察画像データＮは、ＴＥ処理部２２１及びシーン判定部２３０に入力されると共に、画像メモリ２２７の記憶領域Ｐｎに記憶される。
［動作モード判定処理Ｓ２］
　次に、画像解析モードに設定されているか否かが判断される（Ｓ２）。本発明の実施形態に係る画像解析モードは、画像データの各画素について色情報を解析し、色情報の解析結果から所定の判定基準に基づいて病変部が写された画素（以下「病変画素」という。）であるか否かを判定して、病変画素を識別表示する動作モードである。判定する病変の種類は、検査内容に応じて選択することができる。以下に説明する例は、炎症性腸疾患（IBD）の病変である炎症（浮腫や易出血性を含む赤変病変）の観察像に特有な色域の画素を抽出して、識別表示するものである。
　なお、本実施形態の電子内視鏡装置１は、画像解析モードと通常観察モードの２つの動作モードで動作するように構成されている。動作モードは、電子スコープ１００の操作部１３０やプロセッサ２００の操作パネル２１４に対するユーザ操作によって切り換えられる。通常観察モードに設定されている場合は（Ｓ２：Ｎｏ）、処理はＳ１２へ進む。
［ＴＥ（トーン強調）処理Ｓ３］
　画像解析モードが選択されている場合は（Ｓ２：Ｙｅｓ）、次にＴＥ処理部２２１によるＴＥ処理Ｓ３が行われる。ＴＥ処理Ｓ３は、病変の判定精度を上げるために、通常観察画像データＮの各原色信号Ｒ，Ｇ，Ｂに対して非線形なゲイン（利得）を与えるゲイン調整を行い、判定対象の病変に特有の色域（特にその境界部）付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。具体的には、ＴＥ処理Ｓ３では、各原色信号Ｒ，Ｇ，Ｂに対して、図５に示すような非線形のゲインを与えて原色信号Ｒ´，Ｇ´，Ｂ´（トーン強調画像データＥ）を取得する処理が行われる。例えば、図５のゲイン曲線は、潰瘍に特徴的な色域の境界領域ＲＡから、炎症に特徴的な色域の境界領域ＲＢにかけて、傾きが急峻になっている。このようなゲイン曲線に従ってゲインを与えることにより、境界領域ＲＡから境界領域ＲＢにかけて原色信号Ｒ´（原色信号Ｒに対してＴＥ処理Ｓ３を施した信号）の実質的なダイナミックレンジを広げることができ、より精密な閾値判定が可能になる。
　なお、ＴＥ処理Ｓ３により、炎症部は赤く、潰瘍部は白く、正常部は緑色に色味が変化する。そのため、ＴＥ処理Ｓ３によって生成されたトーン強調画像データＥをモニタ９００に表示した場合、ＴＥ処理Ｓ３前の通常観察画像データＮを表示した場合よりも病変部（炎症部や潰瘍部）を容易に視認することができる。なお、上記のＴＥ処理Ｓ３は、本発明に適用可能な色彩強調処理の一例であり、ＴＥ処理Ｓ３に替えて、色の質、具体的には色相又は彩度（あるいは色度）のコントラストを高める他の種類の色彩強調処理を使用してもよい。
［有効画素判定処理Ｓ４］
　ＴＥ処理Ｓ３が完了すると、次にトーン強調画像データＥに対して有効画素判定部２２２による有効画素判定処理Ｓ４が行われる。なお、ＴＥ処理Ｓ３を省略して、通常観察画像データＮに対して有効画素判定処理Ｓ４を行うこともできる。
　図６は、有効画素判定処理Ｓ４の手順を示すフローチャートである。有効画素判定処理Ｓ４は、画素値が画像解析に適したものであるか否かを判定する処理であり、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。有効画素判定処理Ｓ４では、まず各画素（ｘ，ｙ）について、トーン強調画像データＥの原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）から、下記の数式１により補正輝度ｉｎｔ（ｘ，ｙ）が計算される（Ｓ４１）。
Figure JPOXMLDOC01-appb-M000001
　なお、計算した補正輝度ｉｎｔ（ｘ，ｙ）の値は、次の適正露出判定処理Ｓ４２に使用される。また、数式１から分かるように、補正輝度ｉｎｔ（ｘ，ｙ）は、原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の単純平均ではなく、ヒト（術者）の比視感度特性に基づいた加重平均として求められる。
　次に、各画素について、処理Ｓ４１において計算したトーン強調画像データＥの補正輝度ｉｎｔ（ｘ，ｙ）及び原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）に基づいて、画像解析に適した露出レベルであるか否かを判定する適正露出判定処理Ｓ４２が行われる。適正露出判定処理Ｓ４２では、次の２つの条件（数式２、数式３）の少なくとも一方（或いは、両方）を満たす場合に、適正露出（Ｓ４２：Ｙｅｓ）と判定する。なお、数式２により補正輝度ｉｎｔ（ｘ，ｙ）（全体の光量）の上限値が規定され、数式３により各原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）の下限値が規定されている。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　画素（ｘ，ｙ）について、数式２又は数式３（或いは、数式２及び数式３）を満たし、適正露出と判定されると（Ｓ４２：Ｙｅｓ）、有効画素判定部２２２は、メモリ２２９に格納されているフラグテーブルＦＴの画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値を「１」に書き換える（Ｓ４３）。
　なお、フラグＦ（ｘ，ｙ）は、０～２のいずれかのフラグ値をとる。各フラグ値の定義は以下の通りである。
　０：画素データ無効
　１：正常又は未判定（画素データ有効）
　２：病変（炎症）
　また、適正露出判定処理Ｓ４２において、数式２、数式３のいずれの条件も（或いは、いずれかの条件を）満たさず、露出不適正と判定されると（Ｓ４２：Ｎｏ）、有効画素判定部２２２は、フラグＦ（ｘ，ｙ）の値を「０」に書き換える（Ｓ４４）。
　次に、処理Ｓ４５では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ４１～Ｓ４５が繰り返される。
［色空間変換処理Ｓ５］
　有効画素判定処理Ｓ４が完了すると、次にトーン強調画像データＥに対して色空間変換部２２３により色空間変換処理Ｓ５が行われる。色空間変換処理Ｓ５は、ＲＧＢ３原色で定義されるＲＧＢ空間の画素値を、色相（Hew）・彩度（Saturation）・輝度（Intensity）の３要素で定義されるＨＳＩ（Heu-Saturation-Intensity）空間の画素値に変換する処理である。具体的には、色空間変換処理Ｓ５において、トーン強調画像データＥの各画素（ｘ，ｙ）の原色信号Ｒ´（ｘ，ｙ），Ｇ´（ｘ，ｙ），Ｂ´（ｘ，ｙ）が、色相Ｈ（ｘ，ｙ），彩度Ｓ（ｘ，ｙ），輝度Ｉ（ｘ，ｙ）に変換される。
　また、露出が不足又は過剰な画素のデータは精度が低く、解析結果の信頼度を下げてしまう。そのため、色空間変換処理Ｓ５は、フラグＦ（ｘ，ｙ）の値が「１」に設定された（すなわち、上述の有効画素判定処理Ｓ４において適正露出と判定された）画素（ｘ，ｙ）についてのみ行われる。
　色空間変換部２２３によって生成された各画素（ｘ，ｙ）の色相Ｈ（ｘ，ｙ）、彩度Ｓ（ｘ，ｙ）及び輝度Ｉ（ｘ，ｙ）からなる判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｉ（ｘ，ｙ）｝は、病変判定部２２４に入力される。
［病変判定処理Ｓ６］
　色空間変換処理Ｓ５が完了すると、次に病変判定部２２４により判定用画像データＪを用いた病変判定処理Ｓ６が行われる。病変判定処理Ｓ６は、内視鏡画像の各画素（ｘ，ｙ）について、判定用画像データＪがＨＳ空間（色相－彩度空間）上の後述する領域α、β（図８）のいずれにプロットされるかによって、その画素に写された生体組織の状態（炎症部であるか否か）を判定する処理である。なお、ＨＳ空間は、色度空間と同様に、色の質（明るさ・輝度を除いた色の要素）を表す空間である。例えば、CIE 1976 L*a*b*色空間等の他の色空間上で画像解析を行う場合には、病変判定部２２４は色度空間（例えばa*b*空間）上で行われる。
　図７は、病変判定処理Ｓ６の手順を示すフローチャートである。病変判定処理Ｓ６は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。病変判定処理Ｓ６では、まず、フラグテーブルＦＴを参照して、各画素（ｘ，ｙ）のデータが有効であるか否かを判断する（Ｓ６１）。フラグＦ（ｘ，ｙ）の値が「１」（画素データ有効）であれば、次に炎症判定処理Ｓ６２を行う。また、フラグＦ（ｘ，ｙ）の値が「０」（画素データ無効）であれば、炎症判定処理Ｓ６２を行わずに、処理Ｓ６４へ進む。
　ここで、炎症判定処理Ｓ６２について説明する。図８は、複数の炎症性腸疾患患者の内視鏡画像データから取得した判定用画像データＪをＨＳ空間上にプロットした散布図である。
　図８の散布図は、右側下方の破線で囲まれた領域βと、それ以外の領域αとに区分される。本発明者の研究により、炎症性腸疾患の内視鏡診断に熟練した医師によって炎症部と判断された部位の画素の大半が領域βにプロットされ、非炎症部と判断された部位の画素の大半が領域αにプロットされることが判明した。このことは、生体組織を撮像した内視鏡観察画像の色相（色合い）と彩度（鮮やかさ）の２つの情報により、生体組織の状態（炎症の有無）を十分な確度で判別できることを意味している。
　炎症判定処理Ｓ６２においては、各画素（ｘ，ｙ）の判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が、図８の領域βにプロットされるか否かが判定される。具体的には、判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝は、以下の数式４及び数式５の両方を満たす場合に、領域βにプロットされる（すなわち炎症部の画素と判定される）。また、判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝は、数式４及び数式５の少なくとも一方を満たさない場合に、領域αにプロットされる（すなわち炎症部の画素ではないと判定される）。なお、δＳ１、δＨ１及びδＨ２は、術者によって設定可能な補正値であり、これらの補正値の設定によって判定の厳しさ（感度）等を適宜調整することができる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　画素（ｘ，ｙ）の判定用画像データＪ｛（Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が領域βにプロットされる場合は（Ｓ６２：Ｙｅｓ）、画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値が「２」（炎症）に書き換えられ（Ｓ６３）、処理Ｓ６４に進む。また、判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝が領域βにプロットされない場合は（Ｓ６２：Ｎｏ）、フラグＦ（ｘ，ｙ）は書き換えられずに、処理Ｓ６４に進む。
　処理Ｓ６４では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ６１～Ｓ６４が繰り返される。
［スコア計算：Ｓ７］
　病変判定処理Ｓ６が完了すると、次にスコア計算処理Ｓ７が行われる。スコア計算処理Ｓ７は、判定用画像データＪの画素値に基づいて、病変部の重症度の評価値であるスコアＳｃ（ｘ，ｙ）を計算する処理である。スコア計算処理Ｓ７は、全ての画素（ｘ，ｙ）について順次行われる。なお、以下に説明するスコア計算のアルゴリズムは一例であり、本発明は様々なアルゴリズムにより算出したスコアの画面表示に適用することができる。
（スコア計算の原理）
　ここで、本実施形態のスコア計算の原理について簡単に説明する。炎症部は、血管の拡張及び血漿成分の血管外への漏出等を伴い、症状が進行するほど、表面の正常粘膜が脱落するため、血液の色に近付くことが知られている。そのため、炎症部の色と血液の色との相関の程度（後述する相関値ＣＶ）が、炎症部の重症度を示す良い指標となる。本実施形態では、各画素（ｘ，ｙ）の判定用画像データＪ｛Ｈ（ｘ，ｙ），Ｓ（ｘ，ｙ）｝と血液の色（色相、彩度）との相関値ＣＶ（ｘ，ｙ）を計算して、これを炎症部の重症度を示すスコアＳｃ（ｘ，ｙ）として使用する。
（病変部の判定：Ｓ７１）
　図９は、スコア計算処理Ｓ７の手順を示すフローチャートである。スコア計算処理Ｓ７では、まずフラグテーブルＦＴが読み出され、画素（ｘ，ｙ）に対応するフラグＦ（ｘ，ｙ）の値が「２」（炎症）であるか否かが判断される（Ｓ７１）。
　フラグＦ（ｘ，ｙ）の値が「２」（炎症）である場合、すなわち画素（ｘ，ｙ）が病変画素である場合は（Ｓ７１：Ｙｅｓ）、処理はＳ７２へ進む。また、画素（ｘ，ｙ）が病変画素でない場合は（Ｓ７１：Ｎｏ）、処理はＳ７９へ進む。
（彩度の補正：Ｓ７２）
　血液や血液を含有する生体組織の画像の彩度は、輝度に依存することが知られている。具体的には、輝度と彩度は負の相関を有し、明るいほど彩度が低下する。Ｓ７２では、本発明者が開発した以下の補正式（数式６）を使用して、判定用画像データＪ（ｘ，ｙ）の輝度Ｉ（ｘ，ｙ）による彩度Ｓ（ｘ，ｙ）の変動が補正される。この補正により、スコア計算の精度を高めることができる。
Figure JPOXMLDOC01-appb-M000006
 　但し、
　　Icorr.(x,y)：判定用画像データJの補正後の輝度
　　Scorr.(x,y)：判定用画像データJの補正後の彩度
　　Iref：基準値となる血液サンプルデータの輝度
　　Sref：基準値となる血液サンプルデータの彩度
　　θ：血液サンプルデータの輝度値と彩度値との相関係数（cosθ）を与える角度
　なお、血液サンプルの彩度と輝度の相関係数（実測値）は－０．８６であり、θ＝１４９．３２（ｄｅｇ）が適用される。
（色相距離ＤＨＵＥの計算：Ｓ７３）
　次に、数式７により、色相距離ＤＨＵＥ（ｘ，ｙ）が計算される（Ｓ７３）。色相距離ＤＨＵＥは、血液サンプルデータの色相Ｈrefを基準とした、判定用画像データＪ（ｘ，ｙ）の色相の相対値である。
Figure JPOXMLDOC01-appb-M000007
（色相相関値ＨＣＶの決定：Ｓ７４）
　次に、色相距離ＤＨＵＥ（ｘ，ｙ）から色相相関値ＨＣＶ（ｘ，ｙ）が決定される（Ｓ７４）。色相相関値ＨＣＶ（ｘ，ｙ）は、炎症部の重症度と強い相関を有するパラメーターである。図１０（ａ）は、色相距離ＤＨＵＥと色相相関値ＨＣＶとの関係を図示したグラフである。色相距離ＤＨＵＥは、±３０°以内の範囲（以下「色相近似範囲Ｒ１１」という。）において、炎症部の重症度と強い相関を有し、それ以外の範囲（以下「色相近似外範囲Ｒ１２」という。）においては殆ど相関を有しない。そのため、本実施形態の色相相関値ＨＣＶ（ｘ，ｙ）は、色相近似外範囲Ｒ１２においては最小値の０．０に設定され、色相近似範囲Ｒ１１においては色相距離ＤＨＵＥ（ｘ，ｙ）が０°に近づくほど線形的に増加するように設定されている。また、色相相関値ＨＣＶ（ｘ，ｙ）は、最小値が０．０、最大値が１．０となるように規格化されている。
　図１０（ａ）に示す色相距離ＤＨＵＥと色相相関値ＨＣＶとの関係は、色相相関値テーブルＨＣＴとしてメモリ２２９に格納されている。色相相関値テーブルＨＣＴを参照することにより、色相距離ＤＨＵＥ（ｘ，ｙ）に対応する色相相関値ＨＣＶ（ｘ，ｙ）が取得される。
（彩度距離ＤＳＡＴの計算：Ｓ７５）
　次に、数式８により、彩度距離ＤＳＡＴ（ｘ，ｙ）が計算される（Ｓ７５）。彩度距離ＤＳＡＴ（ｘ，ｙ）は、血液サンプルデータの彩度Ｓrefを基準とする、判定用画像データＪ（ｘ，ｙ）の彩度の相対値である。
Figure JPOXMLDOC01-appb-M000008
（彩度相関値ＳＣＶの決定：Ｓ７６）
　次に、彩度距離ＤＳＡＴ（ｘ，ｙ）から彩度相関値ＳＣＶ（ｘ，ｙ）が決定される（Ｓ７６）。彩度相関値ＳＣＶ（ｘ，ｙ）も、炎症部の重症度と強い相関を有するパラメーターである。図１０（ｂ）は、彩度距離ＤＳＡＴと彩度相関値ＳＣＶとの関係を図示したグラフである。彩度距離ＤＳＡＴは、所定値以上の負の範囲（以下、「彩度近似範囲Ｒ２２」という。）において、炎症部の重症度と強い相関を有し、負の所定値以下の範囲（以下「彩度近似外範囲Ｒ２３」という。）においては殆ど相関を有しない。また、彩度距離ＤＳＡＴがゼロ以上の範囲、すなわち、病変画素の彩度が血液サンプルデータの彩度Ｓref以上となる範囲（以下「彩度一致範囲Ｒ２１」という。）においては、重症度が極めて高いと考えられる。そのため、本実施形態の彩度相関値ＳＣＶ（ｘ，ｙ）は、彩度一致範囲Ｒ２１において最大値の１．０に設定され、彩度近似外範囲Ｒ２３において最小値の０．０に設定され、彩度近似範囲Ｒ２２において線形的に増加するように設定されている。また、彩度相関値ＳＣＶ（ｘ，ｙ）も、最小値が０．０、最大値が１．０となるように規格化された値である。
　図１０（ｂ）に示す彩度距離ＤＳＡＴと彩度相関値ＳＣＶとの関係は、彩度相関値テーブルＳＣＴとしてメモリ２２９に格納されている。彩度相関値テーブルＳＣＴを参照することにより、彩度距離ＤＳＡＴ（ｘ，ｙ）に対応する彩度相関値ＳＣＶ（ｘ，ｙ）が取得される。
（相関値ＣＶの計算：Ｓ７７）
　次に、色相相関値ＨＣＶ（ｘ，ｙ）と彩度相関値ＳＣＶ（ｘ，ｙ）との乗算により、病変画素（ｘ，ｙ）の色と血液の色との相関値ＣＶ（ｘ，ｙ）を得る。なお、相関値ＣＶ（ｘ，ｙ）も、最小値が０．０、最大値が１．０となるように規格化された値となる。また、相関値ＣＶ（ｘ，ｙ）は、０．１ポイント刻みで１１段階に区分される。
（スコアＳｃ更新：Ｓ７８）
　また、相関値ＣＶ（ｘ，ｙ）は炎症の重症度の良い指標となるため、スコアテーブルＳＴのスコアＳｃ（ｘ，ｙ）の値が相関値ＣＶ（ｘ，ｙ）によって書き換えられる（Ｓ７８）。
（スコアＳｃ更新：Ｓ７９）
　また、画素（ｘ，ｙ）が病変画素でない場合は（Ｓ７１：Ｎｏ）、上述した相関値ＣＶ（ｘ，ｙ）の計算を行わずに、スコアテーブルＳＴのスコアＳｃ（ｘ，ｙ）の値が「０」に書き換えられる（Ｓ７９）。これにより、少ない計算量で全ての画素（ｘ，ｙ）に対してスコアＳｃ（ｘ，ｙ）を与えることができる。
　処理Ｓ８０では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ７１～Ｓ８０が繰り返される。
［シーン判定：Ｓ８］
　スコア計算処理Ｓ７の完了後（又は、ＴＥ処理Ｓ３からスコア計算処理Ｓ７までの一連の処理と平行して）、シーン判定部２３０によってシーン判定処理Ｓ８が行われる。
　ここで、本発明の実施形態に係るシーン判定処理Ｓ８の概要を説明する。通常、内視鏡検査は、大きく２段階（２種類の検査）に分けて行われる。第１段階は、検査対象（例えば上部消化管内視鏡検査の場合は、食道、胃及び十二指腸の内壁）の全体を通して観察して、病変の疑いのある箇所を探索する「スクリーニング検査」である。第２段階は、スクリーニング検査において発見された病変の疑いのある箇所を詳細に観察して、病変組織／正常組織の判定や、病変組織である場合には、その種類や重症度の判定を行う「精査」である。通常は、最初にスクリーニング検査が行われ、続けて精査が行われる。
　図１１は、典型的な内視鏡画像の明暗分布を説明する図である。図１１（ａ）は、スクリーニング検査時の内視鏡画像に典型的な明暗分布の例であり、図１１（ｂ）、（ｃ）は、精査時の内視鏡画像に典型的な明暗分布の例である。
Figure JPOXMLDOC01-appb-T000009
　また、表１は、スクリーニング検査時に撮影される内視鏡画像（図１１（ａ）参照）と、精査時に撮影される内視鏡画像（図１１（ｂ）参照）との特徴を対比したものである。
　一般的なスクリーニング検査では、電子スコープ１００の挿入部１０１の先端１０１ａ（図１）を一旦消化管内の検査範囲の最奥部まで差し込み、挿入部１０１を消化管から徐々に引き抜きながら、検査範囲の全長に亘って観察が行われる。また、スクリーニング検査における観察は、挿入部１０１の先端１０１ａを僅かに消化管内壁側に向けて、消化管の周方向に視野を走査しながら行われる。スクリーニング検査は、検査対象が特定の部位に限定されず広範囲に及ぶため、効率的に検査を行う必要がある。そのため、電子スコープ１００の先端１０１ａと被写体（消化管内壁）との距離を中～遠距離に維持して行われる。具体的には、スクリーニング検査は、電子スコープ１００の挿入部１０１を消化管と略平行にした状態（或いは、先端１０１ａをわずかに消化管内壁に向けた状態）で行われる。
　したがって、スクリーニング検査時に撮影される内視鏡画像は、図１１（ａ）に示されるように、画像中央部に電子スコープ１００の先端１０１ａから離れた暗い消化管内壁が写り、画像周辺部に電子スコープ１００の先端１０１ａに近い明るく照明された消化管内壁が写ったものとなる。また、内視鏡画像中の暗い（低輝度の）箇所は、略円形状となる。
　また、スクリーニング検査の画像は、明るく照らされた先端１０１ａの近傍から、ほとんど照明光が届かずに暗い遠方までが写るため、画像内での明暗（輝度）の変化が大きくなる。
　また、スクリーニング検査は、上述のように、電子スコープ１００の先端１０１ａを動かしながら行われるため、スクリーニング検査時に撮影される内視鏡画像は、動きが速いものとなる。
　一方、精査は、電子スコープ１００の先端１０１ａを消化管内壁の特定の箇所（スクリーニング検査により病変が疑われた箇所）に向けて近接させて行われる。そのため、精査時に撮影される内視鏡画像の中央部（又は略全面）には、電子スコープ１００の先端１０１ａに近い明るく照明された消化管内壁が写り、周辺部には、先端１０１ａから離れた暗い消化管内壁が写る。従って、内視鏡画像中の暗い箇所は、非円形状となる。
　また、精査は、被写体の微細な形状やテクスチャを観察するために、なるべく電子スコープ１００の先端１０１ａを動かさないようにして行われる。そのため、精査時に撮影される内視鏡画像は、動きが少なく、緩やかなものとなる。
　また、精査の画像には、電子スコープ１００の先端１０１ａから離れた暗い箇所はほとんど写らないため、画像内での明暗の変化は緩やかなものとなる。
　本実施形態のシーン判定処理Ｓ８は、表１に記載された特徴（特に画像の動き）に基づいて、検査の状況（すなわち、スクリーニング検査中であるか、精査中であるか）を判定する処理である。
　図１２は、シーン判定処理Ｓ８の手順を示すフローチャートである。シーン判定処理Ｓ８では、内視鏡画像の動きの解析を行う動画解析処理Ｓ８１と、内視鏡画像内の明暗の分布を解析する輝度勾配計算処理Ｓ８２と、動画解析処理Ｓ８１及び輝度勾配計算処理Ｓ８２の解析結果に基づいて検査の種別（スクリーニング検査／精査）を判定する検査種別判定処理Ｓ８３とを含む。
（動画解析：Ｓ８１）
　図１３は、動画解析処理Ｓ８１の手順を示すフローチャートである。
（低解像度化：Ｓ８１１）
　動画解析処理Ｓ８１では、まず、通常観察画像ＮＰの解像度（画素数）を１／ｎ２（ｎは整数）に低減させて低解像度通常観察画像ＮＰｒに変換する低解像度化処理Ｓ８１１が行われる。この処理は、後段の各処理に必要な計算量を減らすためのものであり、本実施形態では、通常観察画像ＮＰの解像度が１／１６に低減される。具体的には、通常観察画像ＮＰがｎ画素×ｎ画素（４画素×４画素）のブロックに分割され、各ブロック内のｎ２画素（１６画素）が新たな１画素に統合される。その際に、ブロック毎に画素値Ｎ（ｘ，ｙ）の代表値（例えば、ブロック内の画素値Ｎ（ｘ，ｙ）の平均値、中間値又は最頻値）が計算され、この代表値が低解像度通常観察画像ＮＰｒの画素値となる。
（速度場計算：Ｓ８１２）
　次に、最新のフレームと一つ前のフレームの低解像度通常観察画像ＮＰｒから、速度ベクトル場｛Ｖｘ（ｘ，ｙ），Ｖｙ（ｘ，ｙ）｝（以下、「速度場（Ｖｘ，Ｖｙ）」と略記する。）が計算される（Ｓ８１２）。この速度場は、例えば勾配法やLucas-Kanade法等により計算されるオプティカルフロー（Optical Flow）である。
（平均速度計算：Ｓ８１３）
　次に、数式９により、速度場（Ｖｘ，Ｖｙ）の二乗平均平方根である画像速度ＰＶを求める。画像速度ＰＶは、画像全体の平均的な速度の大きさを表すパラメーターである。
Figure JPOXMLDOC01-appb-M000010
 　但し、
　　NＶ：速度場の要素数（低解像度通常観察画像ＮＰｒの画素数）
（画像速度変化率計算：Ｓ８１４）
　次に、画像速度ＰＶを時間微分した画像速度変化率ＰＶ´（単位時間当たりの画像速度ＰＶの変化量）を計算する。また、画像速度変化率ＰＶ´は平滑化処理が施される。具体的には、直近の所定時間内（例えば１秒間）に撮影された複数の低解像度通常観察画像ＮＰｒについて画像速度変化率ＰＶ´の代表値（例えば、平均値、中間値又は最頻値）が計算され、この代表値が画像速度変化率ＰＶ´として使用される。なお、画像速度ＰＶを単に時間微分した値は高周波成分のノイズ（術者が意図していない電子スコープ１００の振動等に起因する画像の動き）を多く含む。そのため、平滑化処理を行わず、画像速度ＰＶの時間微分をそのまま使用してシーン判定処理Ｓ８３を行うと、判定結果が不安定になり、表示モードの頻繁な変更を招いてしまう。
（輝度勾配計算：Ｓ８２）
　動画解析処理Ｓ８１の次に、通常観察画像ＮＰ内の輝度の勾配（後述する密集度ＬＤφの最大値ＬＤｍａｘ）を計算する輝度勾配計算処理Ｓ８２が行われる。
　図１４は、輝度勾配計算処理Ｓ８２の手順を説明するフローチャートである。
　図１５は、輝度勾配計算処理Ｓ８２を説明する図である。図１５（ａ）は後述する輝度画像ＬＰ４［輝度指数Ｌｕ４（ｘ，ｙ）］の一例であり、図１５（ｂ）は輝度指数Ｌｕ４（ｘ，ｙ）の勾配の絶対値のグラフの一例であり、図１５（ｃ）は後述する等高線画像ＣＰの一例である。
（輝度指数計算：Ｓ８２０）
　輝度勾配計算処理Ｓ８２では、まず、数式１０により、通常観察画像ＮＰの各画素（ｘ，ｙ）の輝度指数Ｌｕ０（ｘ，ｙ）が計算され、輝度指数Ｌｕ０（ｘ，ｙ）を要素（画素値）とする輝度画像データＬｕ０（輝度画像ＬＰ０を表す画像データ）が生成される（Ｓ８２０）。なお、本実施形態では、通常観察画像データＮの各画素の原色信号Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）の値の単純平均により輝度指数Ｌｕ０（ｘ，ｙ）が計算されるが、固体撮像素子１０８の分光感度特性に応じた加重平均により、或いは、数式１のように人間の比視感度特性に応じた加重平均により輝度指数Ｌｕ０（ｘ，ｙ）を計算してもよい。また、原色信号の平均ではなく、単なる総和として、輝度指数Ｌｕ０（ｘ，ｙ）を計算してもよい。
Figure JPOXMLDOC01-appb-M000011
（低解像度化：Ｓ８２１）
　次に、輝度画像データＬｕ０の解像度（画素数）を１／ｎ２（ｎは整数）に低減させて、輝度指数Ｌｕ１（ｘ，ｙ）を要素（画素値）とする輝度画像データＬｕ１（輝度画像ＬＰ１を表す画像データ）に変換する低解像度化処理Ｓ８２１が行われる。この処理は、上述の低解像度化処理Ｓ８１１と同様のものである。低解像度化処理Ｓ８２１は、後段の各処理に必要な計算量を減らすと共に、輝度画像Ｌｕ０を単純化する。
（ぼかし：Ｓ８２２）
　次に、ぼかし処理Ｓ８２２が行われる。ぼかし処理Ｓ８２２は、各画素について、その画素を中心とする所定領域（例えば３画素×３画素）に含まれる画素の輝度指数Ｌｕ１（ｘ，ｙ）の代表値（例えば、平均値、中間値又は最頻値）を計算して、この代表値（輝度指数Ｌｕ２（ｘ，ｙ））を要素（画素値）とする輝度画像データＬｕ２（輝度画像ＬＰ２を表す画像データ）を生成する。ぼかし処理Ｓ８２２は、輝度画像ＬＰ１を更に単純化する。
（高解像度化：Ｓ８２３）
　次に、輝度画像データＬｕ２の解像度（画素数）をｎ２倍（ｎは整数）に増大させ、元の輝度画像データＬｕ０と同じ解像度に戻した輝度画像データＬｕ３（輝度画像ＬＰ３を表す画像データ）を生成する高解像度化処理Ｓ８２３が行われる。高解像度化処理Ｓ８２３は、各画素をｎ画素×ｎ画素に分割することによって行われる。高解像度化によって解像度（画素数）は増加するが、画像自体が変化することはない。
（低階調化：Ｓ８２４）
　次に、輝度画像データＬｕ３に対して、画素値の階調を低減させる低階調化処理Ｓ８２４が行われ、輝度画像データＬｕ４（輝度画像ＬＰ４を表す画像データ）が生成される。低階調化処理Ｓ８２４では、例えば２５６階調から８階調又は１６階調に階調が低減される。
　以上に説明した低解像度化処理Ｓ８２１、ぼかし処理Ｓ８２２、高解像度化処理Ｓ８２３及び低階調化処理Ｓ８２４により、輝度画像ＬＰ０の単純化が効果的に行われる。また、これらの処理に代えて、輝度画像データＬｕ０をフーリエ変換し、高周波成分を除去した後に、フーリエ逆変換を行うことでも、同様に輝度画像ＬＰ０を単純化することができる。また、ぼかし処理Ｓ８２２を複数回行うだけでも同様の効果が得られる。
（ベクトル微分演算：Ｓ８２５）
　次に、輝度画像データＬｕ４に対して、ベクトル微分演算処理Ｓ８２５が行われる。具体的には、輝度指数Ｌｕ４（ｘ，ｙ）の勾配（gradient）が計算される。
　図１５（ａ）に示されるように、輝度画像ＬＰ４は、幾つかの輝度の異なる領域（図１５においては５つの領域Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５）から構成された、階段状の極めて単純な構造を有している。このような輝度画像ＬＰ４（輝度指数Ｌｕ４（ｘ，ｙ））の勾配を計算すると、図１５（ｂ）に示されるように、領域の境界のみに大きさを有する値が得られる（領域の境界以外の勾配はゼロとなる）。従って、ベクトル微分演算処理Ｓ８２５によって、輝度画像ＬＰ４の各階調の領域の境界線、すなわち輝度の等高線ＣＬ（等高線画像ＣＰ）を表す等高線画像データＣＤが得られる。
（円形度計算：Ｓ８２６）
　次に、等高線画像データＣＤを使用して、輝度画像ＬＰ４における最も暗い画像領域（最低階調領域ＲＬ）の円形度Ｖｒｏｕｎｄが数式１１により計算される（Ｓ８２６）。
Figure JPOXMLDOC01-appb-M000012
 　但し、
　　NRL.：最低階調領域ＲＬ内の画素数（面積）
　　LRL.：最低階調領域ＲＬの等高線長（周囲長）
（重心計算：Ｓ８２７）
　次に、等高線画像データＣＤを使用して、最低階調領域ＲＬの重心ＧＰが数式１２により計算される（Ｓ８２７）。
Figure JPOXMLDOC01-appb-M000013
 　但し、
　　XRLmin：最低階調領域ＲＬにおけるＸ座標最小値
　　XRLmax：最低階調領域ＲＬにおけるＸ座標最大値
　　YRLmin：最低階調領域ＲＬにおけるＹ座標最小値
　　YRLmax：最低階調領域ＲＬにおけるＹ座標最大値
（密集度計算：Ｓ８２８）
　次に、等高線画像データＣＤを使用して、重心ＧＰを起点とする８方位（０、π／４、π／２、３π／４、π、５π／４、３π／２、７π／４）における等高線ＣＬの密集度ＬＤを計算する（Ｓ８２８）。等高線ＣＬの密集度ＬＤは、重心ＧＰからの放射方向における単位長さ当たりの等高線ＣＬの数として定義される。
　図１５（ａ）の輝度画像ＬＰ４及び図１５（ｃ）の等高線画像ＣＰには、輝度の低い方から順に領域Ｒ１（最低階調領域ＲＬ）、Ｒ２、Ｒ３、Ｒ４、Ｒ５の５つの領域が写されている。このうち、輝度の低い領域Ｒ１、Ｒ２、Ｒ３の等高線ＣＬ１、ＣＬ２、ＣＬ３は、全周が等高線画像ＣＰに写されている。本実施形態では、全周（或いは、少なくとも密集度ＬＤを計算する８方位における各点）が等高線画像ＣＰに写された等高線ＣＬ１、ＣＬ２、ＣＬ３のみを使用して等高線ＣＬの密集度ＬＤが計算される。
　等高線ＣＬの密集度ＬＤの計算では、まず、重心ＧＰから８方位に延びる放射線（破線）と、計算に使用される最外周の等高線ＣＬ３との交点Ｑ０、Ｑπ／４、Ｑπ／２、Ｑ３π／４、Ｑπ、Ｑ５π／４、Ｑ３π／２、Ｑ７π／４を検出する。そして、重心ＧＰと各交点Ｑ０、Ｑπ／４、Ｑπ／２、Ｑ３π／４、Ｑπ、Ｑ５π／４、Ｑ３π／２、Ｑ７π／４との距離ｄ０、ｄπ／４、ｄπ／２、ｄ３π／４、ｄπ、ｄ５π／４、ｄ３π／２、ｄ７π／４（不図示）を使用して、数式１３により計算される。
Figure JPOXMLDOC01-appb-M000014
 　但し、
　　φ：密集度を計算する方位
　　LDφ：方位φにおける等高線ＣＬの密集度
　　dφ：重心GPから交点Qφまでの距離
　　nφ：重心GPから方位φに延びる放射線と交差する等高線ＣＬの数（nφ=3）
（密集度最大値計算：Ｓ８２９）
　次に、密集度計算Ｓ８２８において計算された密集度ＬＤφの最大値ＬＤｍａｘを求める。この値が輝度画像ＬＰ４の輝度勾配となる。
（検査種別判定：Ｓ８３）
　図１６は、検査種別判定処理Ｓ８３の手順を示すフローチャートである。
（画像速度変化率判定：Ｓ８３１）
　検査種別判定処理Ｓ８３では、まず、画像速度変化率ＰＶ´が所定の閾値ＴｈＰＶ´以下であるか否かを判定する画像速度変化率判定Ｓ８３１が行われる。画像速度変化率ＰＶ´が閾値ＴｈＰＶ´超えるような激しい画像の動きが生じている場合には、通常観察画像ＮＰに手ぶれが生じるため、後述するマーキング処理（Ｓ１０、Ｓ１１）を正確に行うことができない。また、画像の動きが速いため、マーキングの情報を術者が正確に認識することも困難である。そのため、画像速度変化率ＰＶ´が閾値ＴｈＰＶ´超える場合には（Ｓ８３１：Ｎｏ）、直ぐに検査種別判定処理Ｓ８３から抜けて、マーキング処理（Ｓ１０、Ｓ１１）を行わずに表示画面生成処理Ｓ１２（図４）に進む。これにより、通常観察画像ＮＰがそのままモニタ９００に表示される。また、画像速度変化率ＰＶ´が閾値ＴｈＰＶ´未満の場合は（Ｓ８３１：Ｙｅｓ）、次の重心判定Ｓ８３２に進む。
（重心判定：Ｓ８３２）
　重心判定Ｓ８３２では、最低階調領域ＲＬの重心ＧＰが、等高線画像ＣＰの中央部の所定領域内に位置しているか否かが判定される。重心ＧＰが所定領域内にある場合は（Ｓ８３２：Ｙｅｓ）、処理は次の円形度判定Ｓ８３３に進む。また、重心ＧＰが所定領域内にない場合は（Ｓ８３２：Ｎｏ）、円形度判定Ｓ８３３を行わず、処理は密集度判定Ｓ８３４に進む。
（円形度判定：Ｓ８３３）
　円形度判定Ｓ８３３では、円形度Ｖｒｏｕｎｄが所定の閾値（例えば０．６）よりも大きいか否かが判定される。円形度Ｖｒｏｕｎｄが閾値０．６よりも大きければ（Ｓ８３３：Ｙｅｓ）、検査種別がスクリーニング検査と判定される（Ｓ８３７）。また、円形度Ｖｒｏｕｎｄが閾値０．６以下であれば（Ｓ８３３：Ｎｏ）、続いて密集度判定Ｓ８３４が行われる。
（密集度判定：Ｓ８３４）
　密集度判定Ｓ８３４では、密集度ＬＤが所定の閾値ＴｈＬＤよりも大きいか否かが判定される。密集度ＬＤが閾値ＴｈＬＤよりも小さければ（Ｓ８３４：Ｎｏ）、精査と判定される（Ｓ８３６）。また、密集度ＬＤが閾値ＴｈＬＤ以上であれば（Ｓ８３４：Ｙｅｓ）、続いて画像速度判定Ｓ８３５が行われる。
（画像速度判定：Ｓ８３５）
　画像速度判定Ｓ８３５では、画像速度ＰＶが所定の閾値ＴｈＰＶよりも大きいか否かが判定される。画像速度ＰＶが閾値ＴｈＰＶよりも大きければ（Ｓ８３５：Ｙｅｓ）、スクリーニング検査と判定される（Ｓ８３７）。また、画像速度ＰＶが閾値ＴｈＰＶ以下であれば（Ｓ８３５：Ｎｏ）、精査と判定される（Ｓ８３６）。
　なお、画像速度ＰＶ及び画像速度変化率ＰＶ´は、検査時の電子スコープ１００の先端部の動きに関するパラメーターである。また、輝度勾配と、最低階調領域ＲＬの円形度Ｖｒｏｕｎｄ及び重心ＧＰの位置は、被写体である消化管内壁に対する電子スコープ１００の先端部の姿勢によって決まるパラメーターである。すなわち、本実施形態の検査種別判定Ｓ８３は、内視鏡画像から推定される電子スコープ１００の先端部の動きと姿勢に基づいて、内視鏡検査の種別を判定するものである。
［マーキング処理の種類の決定：Ｓ９］
　次に、シーン判定処理Ｓ８における検査種別の判定結果に基づいて、マーキング処理部２２６が行うマーキング処理の種類が決定される（Ｓ９）。精査と判定された場合には（Ｓ９：Ｙｅｓ）、精細マーキング処理Ｓ１０が行われる。また、スクリーニング検査と判定された場合には（Ｓ９：Ｎｏ）、簡易マーキング処理Ｓ１１が行われる。
（精細マーキング：Ｓ１０）
　精細マーキング処理Ｓ１０では、通常観察画像ＮＰにおける重症度の分布を色別表示したカラーマップ画像ＣＭＰが、通常観察画像ＮＰに重ねるマーキング用画像データとして生成される。精細マーキング処理Ｓ１０で生成されるカラーマップ画像ＣＭＰは、通常観察画像ＮＰの対応する画素（ｘ，ｙ）のスコアＳｃ（ｘ，ｙ）に応じて定められた表示色Ｃｏｌ（ｘ，ｙ）を画素値としてもつ。
　精細マーキング処理Ｓ１０では、先ず、メモリ２２９に格納された表示色テーブルＤＣＴが参照され、スコアＳｃ（ｘ，ｙ）に基づいて各画素に適用される表示色Ｃｏｌ（ｘ，ｙ）が決定される。次いで、表示色Ｃｏｌ（ｘ，ｙ）を画素値とするカラーマップ画像データＣＭが生成され、画像メモリ２２７の記憶領域Ｐｃに記憶される。精細マーキング処理Ｓ１０によって生成されるカラーマップ画像ＣＭＰの例を図１７（ａ）に示す。そして、通常観察画像ＮＰ（又はトーン強調画像ＥＰ）の上にカラーマップ画像ＣＭＰを重畳させる画像合成（オーバーレイ表示）が行われ、マーキング画像データＭが生成される。
　なお、表示色テーブルＤＣＴは、スコアＳｃとカラーマップ画像ＣＭＰの表示色（カラーコード）との対応関係を規定する数値テーブルである。表示色テーブルＤＣＴの一例を表２に示す。また、表示色は、１１段階のスコアＳｃ毎に異なる色が設定される。なお、スコアＳｃ（ｘ，ｙ）の値がゼロ（正常組織）の画素（ｘ，ｙ）に対しては、無色透明を示す空の値（null値）が与えられるため、正常組織の画素は精細マーキング処理Ｓ１０によって着色されない。また、各画素（ｘ，ｙ）に付すべき色の指定は、ＲＧＢによる指定に限らず、他の色表現（例えば、色相及び／又は彩度）によって指定することもできる。また、図１７（ａ）に示されるように、着色される領域を別の表示色（例えば赤色）の輪郭線で囲んでもよい。
Figure JPOXMLDOC01-appb-T000015
（簡易マーキング：Ｓ１１）
　簡易マーキング処理Ｓ１１も、精細マーキング処理Ｓ１０と同様の処理であるが、簡略化された表示色テーブルＤＣＴ（表３）が使用される。具体的には、簡易マーキング処理Ｓ１１では、スコアＳｃが所定値（例えば０．６）未満の重症度が低い画素に対して無色透明を示す空の値（null値）の表示色Ｃｏｌ（ｘ，ｙ）が与えられ、スコアＳｃが所定値以上で重症度の高い画素には単一色（例えば黄色）の表示色Ｃｏｌ（ｘ，ｙ）が与えられる。簡易マーキング処理Ｓ１１を行った場合のマーキング画像ＭＰの一例を図１７（ｂ）に示す。
Figure JPOXMLDOC01-appb-T000016
　簡易マーキング処理Ｓ１１を採用することにより、処理に必要な計算量が大幅に削減されるため、動きの速い画像でも、画像処理がフレームレートに追従でき、病変部に正確に印を付すことが可能になる。また、重症度の高い箇所に限定して簡単な構成（単一色）の印が付されるため、印の視認性が良く、動きの速い画像でも術者は重症度の高い箇所を正確に把握することができる。
（簡易マーキング処理Ｓ１１の変形例）
　図１７（ｃ）に、簡易マーキング処理Ｓ１１において生成されるマーキング画像ＭＰの変形例を示す。この変形例では、通常観察画像ＮＰにおいてスコアＳｃが最大となる画素の位置に、予め設定された印ＭＸ（例えば▲マーク）が付されたカラーマップ画像ＣＭＰ（及びマーキング画像ＭＰ）が生成される。この変形例では、画素毎に表示色の判定を行う必要がないため、より少ない処理量でマーキングを行うことができる。
［表示画面生成～出力：Ｓ１２～Ｓ１３］
　精細マーキング処理Ｓ１０又は簡易マーキング処理Ｓ１１が完了すると、次に表示画面生成処理Ｓ１２が行われる。表示画面生成処理Ｓ１２は、画像メモリ２２７に記憶された各種画像データを使用して、モニタ９００に表示するための表示画面データを生成する処理であり、画像処理回路２２０の表示画面生成部２２８によって行われる。表示画面生成部２２８は、システムコントローラ２０２の制御に応じて、複数種類の表示画面データを生成することができる。生成された表示画面データは、出力回路２２０ｂにより、ガンマ補正等の処理が行われた後、所定のビデオ・フォーマットのビデオ信号に変換され、モニタ９００に出力される（出力処理Ｓ１３）。
　図１８は、表示画面生成処理Ｓ１２によって生成される表示画面の一例であり、画像解析モードでの内視鏡観察中に表示される解析モード観察画面３２０である。解析モード観察画面３２０は、撮影日時が表示される日時表示領域３２１と、検査に関連する基本的な情報（例えば、カルテ番号、患者名、術者名）を表示する基本情報表示領域３２２と、通常観察画像ＮＰ（又はトーン強調画像ＥＰ）を表示する通常画像表示領域３２４と、マーキング画像ＭＰを表示する解析画像表示領域３２５を備えている。
　表示画面生成処理Ｓ１２において、表示画面生成部２２８は、画像メモリ２２７の記憶領域群Ｐｎから通常観察画像データＮ（又は、記憶領域群Ｐｅからトーン強調画像データＥ）を読み出し、通常画像表示領域３２４に通常観察画像ＮＰ（又は、トーン強調画像ＥＰ）を表示する。また、画像メモリ２２７の記憶領域群Ｐｍからマーキング画像データＭを読み出し、解析画像表示領域３２５にマーキング画像ＭＰを表示する。また、日時表示領域３２１及び基本情報表示領域３２２には、システムコントローラ２０２から提供された情報が表示される。
　術者は、解析モード観察画面３２０を見ながら内視鏡観察を行う。具体的には、解析画像表示領域３２５に表示されるマーキング画像ＭＰを参照しつつ、通常画像表示領域３２４に表示される通常観察画像ＮＰ（又はトーン強調画像ＥＰ）を見ながら内視鏡観察を行う。マーキング画像ＭＰにおいてマーキングされた部位について特に慎重に観察を行うことで、病変部を見落とすことなく、正確な診察を行うことができる。
　表示画面生成処理Ｓ１２及び出力処理Ｓ１３が完了すると、次に、内視鏡観察を継続するか否かが判断される（Ｓ１４）。プロセッサ２００の操作パネル２１４に対して、内視鏡観察終了又は電子内視鏡装置１の運転停止を指示するユーザ操作が行われる（Ｓ１４：Ｎｏ）まで、上記の処理Ｓ１～Ｓ１３が繰り返される。
　なお、上記の実施形態は、本発明を電子内視鏡装置に適用した例であるが、本発明はこの構成に限定されない。例えば、電子内視鏡装置によって撮影された内視鏡観察映像を再生する映像再生装置に本発明を適用することができる。また、内視鏡画像以外の観察画像（例えば、通常のビデオカメラにより撮影した体表の観察画像や、手術中の体内の観察画像）の解析にも本発明を適用することができる。
　また、本実施形態では、内視鏡画像から推定される電子スコープ１００の先端部の動きと姿勢に基づいて内視鏡検査の種別を判定する構成が採用されているが、本発明はこの構成に限定されない。例えば、検査中の内視鏡挿入部の形状や位置を検出する挿入形状検出機能（特開２０１３－８５７４４号公報に一例が開示されている。）を電子スコープに設け、挿入形状検出機能による電子スコープの先端部の動きと姿勢の検出結果に基づいて内視鏡検査の種別を判定する構成としてもよい。
　以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。

Claims (18)

  1. 　生体組織を撮影した複数の画像データからなるカラー動画像データを取得する画像データ取得手段と、
    　前記カラー動画像データに基づいて撮影シーンを判定するシーン判定手段と、
    　前記画像データに基づいて、該画像データが表す画像に写された前記生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、
    　前記スコアの分布を示す印を前記画像上に付すマーキング手段と、
    を備え、
    　前記マーキング手段が、
    　　前記スコアの分布を詳細に示す前記印を付す詳細マーキング処理と、
    　　前記スコアの分布を前記詳細マーキング処理よりも簡易的に示す印を付す簡易マーキング処理と、を実行可能であり、
    　　前記撮影シーンの判定結果に応じて、前記詳細マーキング処理と前記簡易マーキング処理のいずれかを実行する、
    画像処理装置。
  2. 　前記シーン判定手段が、
    　　前記カラー動画像データに撮影された画像検査の種類を判定する、
    請求項１に記載の画像処理装置。
  3. 　前記シーン判定手段が、
    　　スクリーニング検査と精査のいずれの撮影シーンであるかを判定し、
    　前記マーキング手段が、
    　　スクリーニング検査の撮影シーンと判定されたときに、前記簡易マーキング処理を行い、
    　　精査の撮影シーンと判定されたときに、前記詳細マーキング処理を行う、
    請求項２に記載の画像処理装置。
  4. 　前記シーン判定手段が、
    　　前記画像の動きの解析を行う動画解析手段を備えた、
    請求項３に記載の画像処理装置。
  5. 　前記動画解析手段が、
    　　連続する複数の前記画像データに基づいて速度場を計算する速度場計算手段を備え、
    　　前記速度場の計算結果に基づいて、前記画像検査の種類を判定する、
    請求項４に記載の画像処理装置。
  6. 　前記動画解析手段が、
    　　前記速度場を構成する各画素の速度ベクトルの大きさの代表値を計算して画像速度として取得する画像速度計算手段を備えた、
    請求項４又は請求項５に記載の画像処理装置。
  7. 　前記動画解析手段が、
    　　前記画像速度の単位時間当たりの変化量である画像速度変化率を計算する画像速度変化率計算手段を備えた、
    請求項６に記載の画像処理装置。
  8. 　前記動画解析手段が、
    　　前記画像データの解像度を低減する低解像度化手段を備えた、
    請求項４から請求項７のいずれか一項に記載の画像処理装置。
  9. 　前記シーン判定手段が、
    　　前記画像データの輝度を画素値とする輝度画像データを生成する輝度画像データ生成手段を備えた、
    請求項８に記載の画像処理装置。
  10. 　前記シーン判定手段が、
    　　前記輝度画像データにより表される輝度画像を単純化する画像単純化手段を備えた、
    請求項９に記載の画像処理装置。
  11. 　前記画像単純化手段が、
    　　前記輝度画像を低解像度化する低解像度化手段と、
    　　低解像度化された前記輝度画像に対してぼかし処理を施すぼかし手段と、
    　　ぼかし処理された前記輝度画像を元の解像度に戻す高解像度化手段と、を備えた、
    請求項１０に記載の画像処理装置。
  12. 　前記画像単純化手段が、
    　　前記輝度画像データの階調を低減させる低階調化手段を備えた、
    請求項１０又は請求項１１に記載の画像処理装置。
  13. 　前記シーン判定手段が、
    　　前記輝度画像に基づいて輝度の等高線を表す等高線画像データを生成する等高線画像データ生成手段を備えた、
    請求項９に記載の画像処理装置。
  14. 　前記等高線画像データ生成手段が、
    　　前記輝度画像の勾配を計算するベクトル微分演算手段を備えた、
    請求項１３に記載の画像処理装置。
  15. 　前記シーン判定手段が、
    　　前記等高線の密集度を計算する等高線密集度計算手段を備え、
    　　前記等高線の密集度に基づいて前記撮影シーンを判定する、
    請求項１３又は請求項１４に記載の画像処理装置。
  16. 　前記シーン判定手段が、
    　　前記画像内の輝度勾配を計算する輝度勾配計算手段を備え、
    　　前記輝度勾配に基づいて前記撮影シーンを判定する、
    請求項１から請求項１５のいずれか一項に記載の画像処理装置。
  17. 　前記シーン判定手段が、
    　　前記画像の低輝度領域の円形度を計算する円形度計算手段を備え、
    　　前記円形度に基づいて前記撮影シーンを判定する、
    請求項１から請求項１６のいずれか一項に記載の画像処理装置。
  18. 　前記シーン判定手段が、
    　　前記画像の低輝度領域の重心を計算する重心計算手段を備え、
    　　前記重心に基づいて前記撮影シーンを判定する、
    請求項１から請求項１７のいずれか一項に記載の画像処理装置。
PCT/JP2016/055150 2015-02-27 2016-02-23 画像処理装置 WO2016136700A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680000509.3A CN106102556B (zh) 2015-02-27 2016-02-23 图像处理装置
US15/106,968 US20180153384A1 (en) 2015-02-27 2016-02-23 Image processing apparatus
EP16728211.0A EP3263011A1 (en) 2015-02-27 2016-02-23 Image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-037540 2015-02-27
JP2015037540A JP2016158682A (ja) 2015-02-27 2015-02-27 画像処理装置

Publications (1)

Publication Number Publication Date
WO2016136700A1 true WO2016136700A1 (ja) 2016-09-01

Family

ID=56788789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055150 WO2016136700A1 (ja) 2015-02-27 2016-02-23 画像処理装置

Country Status (5)

Country Link
US (1) US20180153384A1 (ja)
EP (1) EP3263011A1 (ja)
JP (1) JP2016158682A (ja)
CN (1) CN106102556B (ja)
WO (1) WO2016136700A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018094235A (ja) * 2016-12-15 2018-06-21 オリンパス株式会社 内視鏡
WO2020040059A1 (ja) * 2018-08-23 2020-02-27 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US11145053B2 (en) 2016-12-07 2021-10-12 Olympus Corporation Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112015006491T5 (de) * 2015-05-25 2018-01-18 Olympus Corporation Bildverarbeitungsgerät, medizinisches Beobachtungssystem und Bildverarbeitungsprogramm
JP6581923B2 (ja) * 2016-03-03 2019-09-25 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
US10806334B2 (en) 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
KR101943011B1 (ko) 2018-01-22 2019-01-28 주식회사 뷰노 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치
WO2019159435A1 (ja) * 2018-02-13 2019-08-22 Hoya株式会社 内視鏡システム
JP6595649B2 (ja) * 2018-03-22 2019-10-23 上銀科技股▲分▼有限公司 画像処理方法
CN108846871B (zh) * 2018-06-25 2021-06-22 Tcl华星光电技术有限公司 一种图像处理方法及装置
WO2020054543A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2021033216A1 (ja) 2019-08-16 2021-02-25 Hoya株式会社 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
WO2021033215A1 (ja) 2019-08-16 2021-02-25 Hoya株式会社 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
US11948303B2 (en) * 2021-02-26 2024-04-02 Capsovision Inc. Method and apparatus for objective assessment of gastrointestinal conditions based on images captured in the GI tract

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012130429A (ja) * 2010-12-20 2012-07-12 Fujifilm Corp 内視鏡装置
JP2013085744A (ja) 2011-10-19 2013-05-13 Hoya Corp 挿入形状検出機能を備えた軟性内視鏡
JP2014018332A (ja) 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4823725B2 (ja) * 2006-03-15 2011-11-24 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012130429A (ja) * 2010-12-20 2012-07-12 Fujifilm Corp 内視鏡装置
JP2013085744A (ja) 2011-10-19 2013-05-13 Hoya Corp 挿入形状検出機能を備えた軟性内視鏡
JP2014018332A (ja) 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11145053B2 (en) 2016-12-07 2021-10-12 Olympus Corporation Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope
JP2018094235A (ja) * 2016-12-15 2018-06-21 オリンパス株式会社 内視鏡
WO2020040059A1 (ja) * 2018-08-23 2020-02-27 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JPWO2020040059A1 (ja) * 2018-08-23 2021-08-12 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2022136171A (ja) * 2018-08-23 2022-09-15 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7146925B2 (ja) 2018-08-23 2022-10-04 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7335399B2 (ja) 2018-08-23 2023-08-29 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法

Also Published As

Publication number Publication date
US20180153384A1 (en) 2018-06-07
EP3263011A1 (en) 2018-01-03
CN106102556A (zh) 2016-11-09
JP2016158682A (ja) 2016-09-05
CN106102556B (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
WO2016136700A1 (ja) 画像処理装置
CN106102557B (zh) 图像处理装置
JP6584090B2 (ja) 画像処理装置
US11701032B2 (en) Electronic endoscope processor and electronic endoscopic system
CN110325100B (zh) 内窥镜系统及其操作方法
JP6067264B2 (ja) 画像処理装置及び内視鏡装置
JP6150554B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP6270967B2 (ja) 画像処理装置及び内視鏡装置
JP6531202B2 (ja) 画像処理装置
US10646102B2 (en) Processor for electronic endoscope, and electronic endoscope system
WO2016208748A1 (ja) 内視鏡システム及び評価値計算装置
US10659658B2 (en) Processor for electronic endoscope, and electronic endoscope system
CN111065315B (zh) 电子内窥镜用处理器以及电子内窥镜系统
US20240087090A1 (en) Processor for electronic endoscope and electronic endoscopic system
JP6168878B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法

Legal Events

Date Code Title Description
REEP Request for entry into the european phase

Ref document number: 2016728211

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15106968

Country of ref document: US

Ref document number: 2016728211

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16728211

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE