Nothing Special   »   [go: up one dir, main page]

WO2016170656A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2016170656A1
WO2016170656A1 PCT/JP2015/062428 JP2015062428W WO2016170656A1 WO 2016170656 A1 WO2016170656 A1 WO 2016170656A1 JP 2015062428 W JP2015062428 W JP 2015062428W WO 2016170656 A1 WO2016170656 A1 WO 2016170656A1
Authority
WO
WIPO (PCT)
Prior art keywords
tube
unit
specific area
image processing
image
Prior art date
Application number
PCT/JP2015/062428
Other languages
English (en)
French (fr)
Inventor
大和 神田
隆志 河野
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2015/062428 priority Critical patent/WO2016170656A1/ja
Priority to DE112015006378.1T priority patent/DE112015006378T5/de
Priority to CN201580079117.6A priority patent/CN107529963B/zh
Priority to JP2017513916A priority patent/JP6598850B2/ja
Publication of WO2016170656A1 publication Critical patent/WO2016170656A1/ja
Priority to US15/787,759 priority patent/US10540765B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program for performing image processing on an in-tube image.
  • a technique for detecting an abnormal region in a living body based on pixel value gradient information of an endoscopic image that is, a pixel value surface shape feature amount, or an abnormal region based on edge information that is an outline feature amount of an endoscopic image.
  • a technique for detection is disclosed (see, for example, Patent Document 1). This technique evaluates the isotropic pixel value gradient, that is, whether or not an equivalent gradient is generated in any of the surrounding directions, and whether or not the edge shape is an arc shape having a predetermined size. An abnormal region is detected by evaluating the above.
  • Endoscopic images can be taken from the front of the inner wall of the tube, from the side, from a wide distance, close to the subject, out of focus, blurring, and motion blur. Images taken under are included. Since how to capture a predetermined specific area such as an abnormal area changes according to the shooting situation, there is a problem that even if the same detection technique is applied without taking the change into account, the detection performance is not improved.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program capable of accurately detecting a specific area in a tube.
  • the image processing apparatus provides an in-tube imaging situation determined based on a relationship between a subject and a side on which the subject is imaged in an in-tube image taken inside the tube.
  • An image processing method includes an in-tube imaging situation analysis step for analyzing an in-tube imaging situation determined based on a relationship between a subject and a side on which the subject is imaged in an in-tube image obtained by imaging the inside of the tube; A specific area detection step of calculating a specific area identification index and detecting the specific area by integrated determination of the specific area identification index according to the in-pipe photographing condition.
  • An image processing program includes an in-tube imaging situation analyzing step for analyzing an in-tube imaging situation determined based on a relationship between a subject and a side on which the subject is imaged in an in-tube image obtained by imaging the inside of the tube; And a specific area detecting step of detecting the specific area by integrated determination of the specific area identification index according to the in-pipe photographing condition.
  • the specific area in the pipe can be detected with high accuracy.
  • FIG. 1 is a diagram (part 1) for explaining an overview of an embodiment of the present invention.
  • FIG. 2 is a diagram (part 2) for explaining the outline of the embodiment of the present invention.
  • FIG. 3 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a flowchart showing an outline of processing performed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a flowchart showing an outline of processing performed by the tube depth region detection unit of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 6 is a block diagram showing a functional configuration of the image processing apparatus according to Modification 1-1 of Embodiment 1 of the present invention.
  • FIG. 1 is a diagram (part 1) for explaining an overview of an embodiment of the present invention.
  • FIG. 2 is a diagram (part 2) for explaining the outline of the embodiment of the present invention.
  • FIG. 3 is a block diagram showing a functional configuration of
  • FIG. 7 is a flowchart showing an outline of processing performed by the image processing apparatus according to Modification 1-1 of Embodiment 1 of the present invention.
  • FIG. 8 is a flowchart showing an outline of processing performed by the inner wall gradient calculation unit of the image processing apparatus according to Modification 1-1 of Embodiment 1 of the present invention.
  • FIG. 9 is a block diagram showing a functional configuration of an image processing apparatus according to Modification 1-2 of Embodiment 1 of the present invention.
  • FIG. 10 is a diagram schematically illustrating a setting example of a feature amount calculation region set by the shape direction identification unit of the image processing apparatus according to the modified example 1-2 of the first embodiment of the present invention.
  • FIG. 11 is a flowchart showing an outline of processing performed by the image processing apparatus according to Modification 1-2 of Embodiment 1 of the present invention.
  • FIG. 12 is a block diagram showing a functional configuration of an image processing apparatus according to Modification 1-3 of Embodiment 1 of the present invention.
  • FIG. 13 is a flowchart showing an outline of processing performed by the image processing apparatus according to Modification 1-3 of Embodiment 1 of the present invention.
  • FIG. 14 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 15 is a flowchart showing an outline of processing performed by the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 12 is a block diagram showing a functional configuration of an image processing apparatus according to Modification 1-3 of Embodiment 1 of the present invention.
  • FIG. 13 is a flowchart showing an outline of processing performed by the image processing apparatus according to Modification 1-3 of Embodiment 1 of the present invention
  • FIG. 16 is a flowchart illustrating an outline of processing performed by the shooting distance estimation unit of the image processing apparatus according to the second embodiment of the present invention.
  • FIG. 17 is a block diagram showing a functional configuration of an image processing apparatus according to Modification 2-1 of Embodiment 2 of the present invention.
  • FIG. 18 is a flowchart showing an outline of processing performed by the image processing apparatus according to Modification 2-1 of Embodiment 2 of the present invention.
  • FIG. 19 is a flowchart showing an outline of processing performed by the defocus analysis unit of the image processing apparatus according to Modification 2-1 of Embodiment 2 of the present invention.
  • FIG. 20 is a block diagram showing a functional configuration of an image processing apparatus according to Modification 2-2 of Embodiment 2 of the present invention.
  • FIG. 21 is a flowchart showing an outline of processing performed by the image processing apparatus according to Modification 2-2 of Embodiment 2 of the present invention.
  • FIG. 22 is a flowchart showing an outline of processing performed by the motion blur analysis unit of the image processing apparatus according to Modification 2-2 of Embodiment 2 of the present invention.
  • FIG. 23 is a block diagram showing a functional configuration of an image processing apparatus according to Modification 2-3 of Embodiment 2 of the present invention.
  • FIG. 24 is a flowchart showing an outline of processing performed by the image processing apparatus according to Modification 2-3 of Embodiment 2 of the present invention.
  • FIG. 25 is a block diagram showing a functional configuration of an image processing apparatus according to Modification 2-4 of Embodiment 2 of the present invention.
  • FIG. 26 is a flowchart showing an outline of processing performed by the image processing apparatus according to Modification 2-4 of Embodiment 2 of the present invention.
  • FIG. 27 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 28 is a flowchart showing an outline of processing performed by the image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 29 is a block diagram showing a functional configuration of an image processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 30 is a flowchart showing an outline of processing performed by the image processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 1 and 2 are diagrams for explaining the outline of the embodiment of the present invention. Specifically, FIG. 1 and FIG. 2 are diagrams schematically showing an image of a living body (intraductal image) taken by an endoscope that is introduced into the living body and observes the living body.
  • Endoscopes are often photographed obliquely with respect to the mucosal surface of the inner wall of a living body.
  • the endoscopic image captured by the endoscope shows a lesion from the mucosal surface near the imaging distance to the mucosal surface in the deep part of the tube that is far from the imaging distance.
  • the endoscope may photograph from the front with respect to the mucosal surface of the inner wall of the living body.
  • the deep part of the tube is not captured, and the way the abnormal region is imaged is different from the case of photographing from an oblique direction.
  • the shooting distance to the inner wall mucosa surface of the living body tube varies depending on the image, and there may be a case where the image is out of focus or motion blur.
  • the image processing apparatus is characterized in that it performs adaptive detection of a specific area including an abnormal area by analyzing the difference in the above-described shooting situation.
  • the specific region is a region where the property or state of the subject in the in-pipe image satisfies a predetermined condition.
  • the region is such that the tissue properties or in-vivo state of the living body satisfies a predetermined condition.
  • the specific area may be a partial area of the image or an entire area of the image.
  • the image captured by the endoscope is assumed to be a color image having pixel values for each wavelength component of R (red), G (green), and B (blue) at each pixel position, but is not limited thereto. I don't mean.
  • FIG. 3 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • An image processing apparatus 1 shown in FIG. 1 includes a calculation unit 2 and a storage unit 3.
  • the calculation unit 2 includes an in-pipe shooting state analysis unit 4 that analyzes the in-pipe shooting state determined based on the relationship between the subject and the shooting side in the in-pipe image, and a specific region detection unit that detects a specific region according to the in-pipe shooting state. And 5.
  • the in-pipe photographing state analysis unit 4 includes a deep tube region detection unit 41 that detects a deep tube region in the tube image.
  • the tube deep region detection unit 41 includes a low absorption wavelength component selection unit 411 that selects a low absorption wavelength component having the lowest degree of absorption / scattering in a living body, and pixels in an edge peripheral region in the low absorption wavelength component in the tube image.
  • An edge peripheral region exclusion unit 412 that excludes pixels in the edge peripheral region, and a low pixel value region detection unit 413 that detects a region below a predetermined threshold in the image of the low absorption wavelength component after the pixels in the edge peripheral region are excluded.
  • the tube deep region detection unit 41 performs a known labeling process (reference: CG-ARTS Association: Digital Image Processing: 181P, labeling) on the pixels detected by the low pixel value region detection unit 413, and connects the connected pixels. After being combined as one region, the largest one of the regions whose area is equal to or greater than a predetermined threshold is detected as the tube deep region. The tube depth region detection unit 41 determines that there is no tube depth region if there is no region equal to or greater than the predetermined threshold.
  • the low absorption wavelength component selection unit 411 is a component that is separated from the blood absorption band and has a long wavelength, and is affected by absorption and scattering in the living body.
  • R component which is a component which is hard to receive is selected.
  • the edge peripheral region excluding unit 412 identifies the edge region by applying, for example, a known edge extraction process (reference: CG-ARTS Association: digital image processing: 114P, edge extraction: 209P, contour detection)
  • a peripheral region is specified and excluded by performing known expansion processing (reference: CG-ARTS Association: digital image processing: 179P, contraction / expansion processing) on the region.
  • CG-ARTS Association digital image processing: 179P, contraction / expansion processing
  • the low pixel value area detection unit 413 detects a pixel whose pixel value is equal to or smaller than a predetermined threshold in the low absorption wavelength component image after excluding the edge peripheral area.
  • the low pixel value region detection unit 413 calculates a pixel value equal to or less than a threshold value set based on the pixel value range taken by the pixels of the in-tube image in the in-tube image of the low absorption wavelength component after excluding the edge peripheral region. You may make it detect the pixel which has.
  • the specific area detection unit 5 is an integrated determination of a specific area identification index 51 that calculates a plurality of specific area identification indexes based on feature amounts calculated from a plurality of areas with different ranges, and a specific area identification index according to the in-tube photographing situation. And an integrated determination unit 52 for detecting a specific area.
  • the feature range identification unit 51 first sets a plurality of feature amount calculation regions from a small range to a large range at arbitrary positions in the image. At this time, a plurality of feature amount calculation regions having the same center position and different ranges are also set. Then, the feature range identification unit 51 calculates a feature amount from each region. Various features such as already known colors, contours (edges), pixel value surface shapes (pixel value gradients), textures, and the like can be considered. A plurality of feature amounts calculated from one feature amount calculation area are collected as a feature vector. Feature vectors are generated in the number corresponding to the set feature amount calculation areas.
  • the feature range identification unit 51 calculates a specific region identification index based on the feature vector.
  • a specific region identification index P (x) indicating whether or not the feature vector x satisfies a specific condition is calculated based on a probability model shown in the following formula (1). it can.
  • k is the number of dimensions of the feature vector
  • x is the feature vector (k ⁇ 1 matrix) of the inspection region to be identified
  • is the average vector (k of feature vectors in the sample (plurality) of the specific region.
  • Z is a variance-covariance matrix (k ⁇ k matrix) of feature vectors in a plurality of samples in a specific region,
  • the specific area identification index calculation method using the probability model is illustrated here, any method may be used as long as the specific area identification index can be calculated.
  • the specific region identification index may be calculated using a method based on a feature space distance with a representative feature vector, a method based on a distance from an identification boundary in the feature space, or the like.
  • the integrated determination unit 52 makes a determination with emphasis on a specific region identification index based on a large feature amount of the feature amount calculation region. More specifically, the integrated determination unit 52 calculates a final determination index by multiplying each of the plurality of specific area identification indexes by a weight according to the degree of emphasis and adding the weight. When the value is greater than or equal to the threshold, it is detected as a specific area. Thus, emphasizing the specific area identification index means that the calculation is performed with the weight of the specific area identification index being larger than the weight of the other specific area identification index.
  • the integrated determination unit 52 performs the integrated determination with emphasis on the specific region identification index based on the feature amount (local information) having a small feature amount calculation range, and detects the specific region.
  • the calculation unit 2 is realized by using a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • the various operations stored in the storage unit 3 are read to give instructions to each unit constituting the image processing apparatus 1 and data transfer to control the entire operation of the image processing apparatus 1. And control.
  • the processor may execute various processes independently, or the processor and the storage unit 3 may be combined or combined by using various data stored in the storage unit 3. Various processes may be executed.
  • the arithmetic units described in the embodiments and modifications described later are also realized in the same manner as the arithmetic unit 2.
  • the storage unit 3 is constituted by various IC memories such as ROM (Read Only Memory) or RAM (Random Access Memory), a hard disk connected with a built-in or data communication terminal, or an information recording device such as a CD-ROM and its reading device. Realized.
  • the storage unit 3 operates the image processing apparatus 1 in addition to the image data of the in-pipe image acquired by the image processing apparatus 1 and also causes the image processing apparatus 1 to execute various functions, and the program is being executed.
  • the data used for the is stored.
  • the storage unit 3 stores the image processing program according to the first embodiment and various parameters such as threshold values used in the image processing. It goes without saying that the storage unit described in the embodiment described later is also realized in the same manner as the storage unit 3.
  • Various programs such as an image processing program stored in the storage unit 3 can be recorded on a computer-readable recording medium.
  • the recording of various programs in the storage unit 3 or the recording medium may be performed when the computer or the recording medium is shipped as a product, or may be performed by downloading via a communication network.
  • the communication network here is realized by, for example, an existing public line network, LAN (Local Area Network), WAN (Wide Area Network), etc., and may be wired or wireless.
  • the image processing apparatus 1 having the above configuration may be realized using a single computer or a plurality of computers. In the latter case, it is also possible to perform processing in cooperation with each other while transmitting and receiving data via a communication network.
  • the computer here can be comprised by a general purpose personal computer, a server, etc., for example. The same applies to the image processing apparatus described in the embodiments and modifications described later.
  • the function of the image processing apparatus 1 described above is part of an endoscope system that is introduced into a subject and observes the subject, and is provided in a processor that controls the entire endoscope system. It is also possible. The same applies to the image processing apparatus described in the embodiments and modifications described later.
  • FIG. 4 is a flowchart showing an outline of processing executed by the image processing apparatus 1.
  • the calculating part 2 acquires the in-pipe image which is a process target (step S1).
  • FIG. 5 is a flowchart showing an outline of the processing performed by the pipe depth region detection unit 41.
  • the low absorption wavelength component selection unit 411 selects a low absorption wavelength component with the lowest degree of absorption / scattering in the living body (step S11). For example, in the case of an image composed of R, G, and B components, the low absorption wavelength component selection unit 411 selects the R component as described above.
  • the edge peripheral area exclusion unit 412 excludes pixels in the edge peripheral area in the in-pipe image of the low absorption wavelength component (step S12). Thereby, it is possible to prevent the edge peripheral region from being erroneously detected as the tube deep region.
  • the low pixel value region detection unit 413 detects a region having a low pixel value, that is, a pixel region having a pixel value equal to or less than a predetermined threshold in the low absorption wavelength component image after excluding the edge peripheral region ( Step S13). As described above, since the imaging distance is long in the tube deep portion, the pixel value of the image of the low absorption wavelength component is low.
  • the tube deep region detection unit 41 detects a tube deep region by performing a known labeling process or the like based on the region detected by the low pixel value region detection unit 413 (step S14). Thereby, the tube depth region detection process (step S2) by the tube depth region detection unit 41 ends.
  • the method of detecting the tube deep region based on the pixel value correlated with the photographing distance is shown.
  • this is only an example, for example, the method disclosed in Japanese Patent Application Laid-Open No. 2003-93328, etc.
  • the tube deep region may be detected based on the above.
  • processing such as correction of pixel value unevenness caused by the optical system or illumination system, or exclusion of non-mucosal regions such as specular reflection, residue, and bubbles may be performed. Thereby, the fall of the precision of each subsequent process can be suppressed.
  • step S3 the feature range identifying unit 51 calculates a plurality of specific region identification indexes based on feature amounts calculated from a plurality of regions having different ranges (step S3).
  • the feature range identification unit 51 calculates the specific region identification index P (x) based on, for example, the probability model shown in the above-described equation (1).
  • the integration determination unit 52 performs integration determination by changing the specific region identification index to be emphasized according to the presence or absence of the deep tube region, and detects the specific region (step S4).
  • the calculation unit 2 outputs the detection result of the specific area (step S5).
  • the image processing apparatus 1 ends the series of processes. Note that the order of the tube deep region detection processing in step S2 and the specific region identification index calculation processing in step S3 may be reversed or may be performed in parallel.
  • the shooting direction (oblique, front) with respect to the tube inner wall.
  • the specific area identification index based on the more effective feature amount can be emphasized, and the specific area can be detected with high accuracy.
  • FIG. 6 is a block diagram illustrating a functional configuration of the image processing apparatus according to the modified example 1-1 of the first embodiment.
  • the image processing apparatus 1A shown in the figure components having the same functions as those of the image processing apparatus 1 shown in FIG.
  • the image processing apparatus 1A includes a calculation unit 2A and a storage unit 3.
  • the calculation unit 2A includes an in-pipe photographing state analysis unit 4A and a specific area detection unit 5.
  • the in-pipe photographing state analysis unit 4A includes an inner wall gradient calculation unit 42 that calculates a gradient of the inner wall of the tube (inner wall gradient) in the image in the tube.
  • the inner wall gradient calculating unit 42 selects a low absorption wavelength component that has the lowest degree of absorption / scattering in the living body, and a pixel value gradient calculation that calculates a pixel value gradient of the low absorption wavelength component. Part 421.
  • the pixel value gradient calculation unit 421 calculates the magnitude and direction of the pixel value gradient based on the X-direction primary differential filter output ⁇ X of the predetermined size and the Y-direction primary differential filter output ⁇ Y of the same size (reference). : CG-ARTS Association: Digital image processing: 115P, differential filter). The pixel value gradient calculation unit 421 may calculate the gradient of the inner wall of the tube at each pixel position or may be calculated at a predetermined sampling interval.
  • the integration determination unit 52 of the specific region detection unit 5 performs the integrated determination by changing the specific region identification index to be emphasized according to the magnitude of the inner wall gradient, and detects the specific region. If the average value of the gradient of the inner wall calculated at multiple locations is greater than or equal to a predetermined threshold, it is considered that the inner wall of the tube is photographed obliquely, and is based on global information using the entire tube structure It is considered that the detection accuracy of the specific area is high. In this case, the integrated determination unit 52 makes a determination with emphasis on a specific area identification index based on a feature amount having a large feature amount calculation range.
  • the integrated determination unit 52 makes a determination with emphasis on a specific area identification index based on a feature amount having a small feature amount calculation range.
  • FIG. 7 is a flowchart showing an outline of processing performed by the image processing apparatus 1A.
  • the same step numbers are assigned to the same processes as those in the flowchart shown in FIG. Hereinafter, the process following step S1 will be described.
  • step S2A the inner wall gradient calculating unit 42 calculates the gradient of the tube inner wall in the tube image (step S2A).
  • FIG. 8 is a flowchart showing an outline of processing performed by the inner wall gradient calculation unit 42.
  • the processing of the inner wall gradient calculation unit 42 will be described with reference to FIG.
  • the low absorption wavelength component selection unit 411 selects the low absorption wavelength component having the lowest degree of absorption / scattering in the living body (step S21).
  • the pixel value gradient calculation unit 421 calculates a pixel value gradient of the selected low absorption wavelength component (step S22). Thereby, the gradient calculation process (step S2A) of the tube inner wall in the tube image by the inner wall gradient calculation unit 42 is completed.
  • step S3 subsequent to step S2A, the feature range identifying unit 51 calculates a plurality of specific region identification indexes based on feature amounts calculated from a plurality of regions having different ranges (step S3).
  • the integration determination unit 52 performs integration determination by changing the specific area identification index to be emphasized according to the magnitude of the inner wall gradient, and detects the specific area (step S4A).
  • the calculation unit 2A outputs the detection result of the specific area (step S5).
  • the image processing apparatus 1A ends a series of processes. Note that the order of the inner wall gradient calculation process in step S2A and the specific area identification index calculation process in step S3 may be reversed or may be performed in parallel.
  • the specific area identification index based on the more effective feature amount can be emphasized, and the specific area can be detected with high accuracy.
  • the in-pipe photographing state analysis unit 4A may further include the tube depth region detection unit 41 described in the first embodiment.
  • the integration determination unit 52 performs integration determination according to the presence / absence of the deep tube region and the inner wall gradient.
  • FIG. 9 is a block diagram illustrating a functional configuration of the image processing apparatus according to the modified example 1-2 of the first embodiment.
  • the image processing apparatus 1B shown in the figure components similar to those in the image processing apparatus 1 shown in FIG.
  • the image processing apparatus 1B includes a calculation unit 2B and a storage unit 3.
  • the calculation unit 2B includes an in-tube photographing situation analysis unit 4 and a specific area detection unit 5B.
  • the specific region detection unit 5B includes a shape direction identification unit 53 that calculates a plurality of specific region identification indexes based on feature amounts calculated from a plurality of regions having different shapes and / or directions, and an integrated determination unit 52.
  • FIG. 10 is a diagram schematically illustrating a setting example of the feature amount calculation region set by the shape direction identification unit 53.
  • the shape-direction identifying unit 53 is composed of a circular region and a plurality of elliptical regions (four elliptical regions in FIG. 10) having mutually different major axis directions around an arbitrary position C of the in-tube image 201.
  • a feature amount calculation region group 202 is set.
  • the shape direction discriminating unit 53 may set a plurality of feature amount calculation region groups 202 while scanning the center position of the feature amount calculation region group 202 on the in-pipe image 201 according to a predetermined rule, or different centers.
  • a plurality of feature amount calculation region groups 202 having positions may be set in parallel.
  • the shape of the region of the feature amount calculation region group is not limited to that described in FIG.
  • the shape-direction identifying unit 53 may set a plurality of feature amount calculation areas by setting a circular area and then scanning the in-tube image 201 while rotating the circular area.
  • the integration determination unit 52 performs integration determination by changing the specific region identification index to be emphasized according to the direction of the deep region, and detects the specific region.
  • the inner wall of the tube is photographed from an oblique direction.
  • the abnormal region is short with respect to the direction of the deep region (depth direction). It is easy to take a long image in a direction perpendicular to the direction. For this reason, it is considered that the detection accuracy of the specific region based on the feature amount calculated from the region having a shape close thereto is high.
  • the integrated determination unit 52 makes a determination with emphasis on the specific region identification index based on the feature amount calculated from the longer region in the direction orthogonal to the direction of the deep region.
  • the integrated determination unit 52 makes a determination with emphasis on the specific region identification index based on the feature amount calculated from the circular region independent of the direction.
  • the integrated determination unit 52 may make the determination with emphasis on the specific region identification index based on the feature amount calculated from the region in the direction aligned with the direction of the deep tube region.
  • FIG. 11 is a flowchart showing an outline of processing performed by the image processing apparatus 1B.
  • the same step numbers are assigned to the same processes as those in the flowchart shown in FIG. Hereinafter, the process following step S2 will be described.
  • step S3B the shape-direction identifying unit 53 calculates a plurality of specific region identification indexes based on feature amounts calculated from a plurality of regions having different shapes and / or directions (step S3B).
  • the shape direction-specific identification unit 53 calculates feature amounts from a plurality of feature amount calculation regions using, for example, a feature amount calculation region group 202 shown in FIG.
  • the integration determination unit 52 performs integration determination by changing the specific region identification index to be emphasized according to the direction of the deep tube region, and detects the specific region (step S4B).
  • the calculation unit 2B outputs the detection result of the specific area (step S5).
  • the image processing apparatus 1B ends a series of processes. Note that the order of the tube deep region detection processing in step S2 and the specific region identification index calculation processing in step S3B may be reversed or performed in parallel.
  • the imaging direction with respect to the tube inner wall In the change of the image resulting from the difference, the specific area identification index based on the more effective feature amount can be emphasized, and the specific area can be detected with high accuracy.
  • the image processing apparatus 1B may include the in-pipe photographing state analyzing unit 4A described in the modified example 1-1 instead of the in-pipe photographing state analyzing unit 4. .
  • the integrated determination unit 52 performs integrated determination according to the magnitude of the inner wall gradient.
  • the integrated determination unit 52 makes a determination with emphasis on a specific region identification index based on a feature amount calculated from a long region in a direction orthogonal to the direction of the inner wall gradient.
  • the integrated determination unit 52 makes a determination with emphasis on the specific region identification index based on the feature amount calculated from the circular region independent of the direction.
  • the integrated determination unit 52 may make the determination with emphasis on the specific region identification index based on the feature amount calculated from the region in the direction aligned with the direction of the inner wall gradient.
  • the in-pipe photographing state analyzing unit 4 may further include the inner wall gradient calculating unit 42 described in the modified example 1-1.
  • the integration determination unit 52 performs integration determination according to the direction of the deep tube region and the direction of the inner wall gradient.
  • FIG. 12 is a block diagram illustrating a functional configuration of an image processing apparatus according to Modification 1-3 of Embodiment 1.
  • the image processing apparatus 1 ⁇ / b> C shown in FIG. 1 constituent parts having the same functions as those of the image processing apparatus 1 shown in FIG. 1 are denoted by the same reference numerals as in FIG. 1.
  • the image processing apparatus 1 ⁇ / b> C includes a calculation unit 2 ⁇ / b> C and a storage unit 3.
  • the calculation unit 2C includes an in-pipe photographing state analysis unit 4 and a specific area detection unit 5C.
  • the specific region detection unit 5C includes a feature type identification unit 54 that calculates a plurality of specific region identification indexes based on different types of feature amounts, and an integrated determination unit 52.
  • the feature type identification unit 54 sets a feature amount calculation region at an arbitrary position in the image, and calculates a plurality of specific region identification indexes for each feature amount such as color, contour, pixel value plane shape, texture, and the like.
  • the integration determination unit 52 performs integrated determination by changing the particular region identification index to be emphasized according to the presence or absence of the deep tube region.
  • the inner wall of the tube is photographed obliquely, so that the contour line on the surface of the specific region becomes clear (see FIG. 1). For this reason, it is considered that the detection accuracy of the specific region based on the contour feature amount is high.
  • the integrated determination unit 52 makes a determination with emphasis on the specific region identification index based on the contour feature amount.
  • the integration determination unit 52 performs the integration determination with emphasis on the specific area identification index based on the pixel value surface shape feature amount or the texture feature amount.
  • FIG. 13 is a flowchart showing an outline of processing performed by the image processing apparatus 1C.
  • the same step numbers are assigned to the same processes as those in the flowchart shown in FIG. Hereinafter, the process following step S2 will be described.
  • step S3C the feature type identification unit 54 calculates a plurality of specific region identification indexes based on different types of feature amounts (step S3C).
  • the integration determination unit 52 performs integration determination by changing the specific region identification index to be emphasized according to the presence or absence of the deep tube region, and detects the specific region (step S4C).
  • the calculation unit 2C outputs the detection result of the specific area (step S5).
  • the image processing apparatus 1 ⁇ / b> C ends the series of processes. It should be noted that the order of the tube deep region detection processing in step S2 and the specific region identification index calculation processing in step S3C may be reversed or performed in parallel.
  • the imaging direction (diagonal, front, etc.) with respect to the tube inner wall
  • the specific area identification index based on the more effective feature amount can be emphasized, and the specific area can be detected with high accuracy.
  • the image processing apparatus 1C may include the in-pipe shooting situation analysis unit 4A described in Modification 1-1 instead of the in-pipe shooting situation analysis unit 4. .
  • the integration determination unit 52 performs integration determination by changing the particular area identification index to be emphasized according to the magnitude of the inner wall gradient.
  • the integrated determination unit 52 makes a determination with emphasis on the specific region identification index based on the contour feature amount.
  • the integrated determination unit 52 makes the determination with emphasis on the specific area identification index based on the pixel value surface shape feature amount or the texture feature amount.
  • the in-pipe photographing state analysis unit 4 may further include the inner wall gradient calculation unit 42 described in Modification 1-1.
  • the integration determination unit 52 performs integration determination according to the presence / absence of the deep tube region and the inner wall gradient.
  • FIG. 14 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • constituent parts having the same functions as those of the image processing apparatus 1 shown in FIG.
  • the image processing device 6 includes a calculation unit 7 and a storage unit 3.
  • the calculation unit 7 includes an in-pipe photographing state analysis unit 8 and a specific area detection unit 5.
  • the in-pipe shooting state analysis unit 8 has a shooting distance estimation unit 81 that estimates the shooting distance to the inner wall of the tube.
  • Various methods for estimating the shooting distance are known.
  • a method for estimating a shooting distance assuming that a shooting target is a uniform diffusion surface will be described.
  • the imaging distance estimation unit 81 includes a low absorption wavelength component selection unit 811 that selects a low absorption wavelength component having the lowest degree of absorption / scattering in a living body. This is to obtain pixel value information that is most correlated with the imaging distance from the mucosal surface while suppressing a decrease in pixel value due to blood vessels or the like that appear on the mucosal surface. For example, in the case of an image composed of R, G, and B components, the R component is selected as described in the first embodiment.
  • the shooting distance estimation unit 81 estimates a shooting distance assuming a uniform diffusion surface based on the pixel value of the selected low absorption wavelength component. Specifically, the shooting distance estimation unit 81 estimates the shooting distance r at a plurality of locations in the in-pipe image according to the following equation (2).
  • I on the right side of Equation (2) is the radiation intensity of the light source measured in advance
  • K is the diffuse reflection coefficient of the mucosal surface
  • is the angle formed by the normal vector of the mucosal surface and the vector from the surface to the light source
  • L is an R component value of a pixel in which the surface of the mucosa to be imaged distance estimation is shown.
  • the diffuse reflection coefficient K is obtained by measuring an average value in advance.
  • the angle ⁇ is set in advance as an average value as a value determined by the positional relationship between the endoscope tip and the mucosal surface.
  • the shooting distance estimation unit 81 may perform subsequent adaptive processing using a pixel value having a correlation with the shooting distance r instead of estimating the shooting distance r defined by Expression (2). Good.
  • the integrated determination unit 52 performs the integrated determination with an emphasis on the specific region identification index based on the feature amount having a large feature amount calculation range.
  • the integrated determination unit 52 makes a determination with emphasis on a specific area identification index based on a feature amount having a small feature amount calculation range.
  • FIG. 15 is a flowchart showing an outline of processing executed by the image processing apparatus 6.
  • the calculation unit 7 acquires an in-pipe image that is a processing target (step S31).
  • FIG. 16 is a flowchart illustrating an outline of processing performed by the shooting distance estimation unit 81.
  • the processing of the shooting distance estimation unit 81 will be described with reference to FIG.
  • the low absorption wavelength component selection unit 811 selects the low absorption wavelength component having the lowest degree of absorption / scattering in the living body (step S41).
  • the shooting distance estimation unit 81 estimates a shooting distance assuming a uniform diffusion surface based on the pixel value of the selected low absorption wavelength component (step S42). Specifically, the shooting distance estimation unit 81 estimates the shooting distance according to the above-described equation (2). Thereby, the shooting distance estimating process (step S32) by the shooting distance estimating unit 81 is completed.
  • the calculation unit 7 corrects pixel value unevenness caused by the optical system and the illumination system and excludes non-mucosal regions such as specular reflection, residue, and bubbles. Etc. may be performed. Thereby, the fall of the precision of each subsequent process can be suppressed.
  • a detection unit such as a distance measuring sensor may be provided in the endoscope, and the shooting distance estimation unit 81 may estimate the shooting distance based on the detection result.
  • the feature range identifying unit 51 calculates a plurality of specific region identification indexes based on the feature amounts calculated from a plurality of regions having different ranges (step S33). This process is the same as the process of step S3 described in the first embodiment.
  • the integration determination unit 52 performs integration determination by changing the specific area identification index to be emphasized according to the distance of the shooting distance, and detects the specific area (step S34).
  • the calculation unit 7 outputs the detection result of the specific area (step S35). Thereby, the image processing device 6 ends the series of processing. Note that the order of the shooting distance estimation process in step S32 and the specific area identification index calculation process in step S33 may be reversed or may be performed in parallel.
  • the specific area identification index based on a more effective feature amount can be emphasized, and the specific area can be detected with high accuracy.
  • FIG. 17 is a block diagram illustrating a functional configuration of the image processing apparatus according to the modified example 2-1 of the second embodiment.
  • constituent parts having the same functions as those of the image processing apparatus 6 shown in FIG.
  • the image processing apparatus 6A includes a calculation unit 7A and a storage unit 3.
  • the calculation unit 7A includes an in-tube photographing situation analysis unit 8A and a specific area detection unit 5.
  • the in-pipe photographing state analysis unit 8A includes a defocus analysis unit 82 that analyzes defocus in the in-pipe image.
  • the defocus analysis unit 82 includes a specular reflection exclusion unit 821 and a spatial frequency analysis unit 822.
  • the specular reflection exclusion unit 821 discriminates and excludes specular reflection in the in-pipe image based on, for example, a method disclosed in Japanese Patent Application Laid-Open No. 2012-11137.
  • the spatial frequency analysis unit 822 performs a known two-dimensional Fourier transform (reference: CG-ARTS Association: digital image processing: 128P, two-dimensional Fourier transform) on a predetermined component (eg, G component) of the in-tube image.
  • a predetermined component eg, G component
  • the radial distribution is obtained by calculating the sum of the spectra in the annular region where the distance from the center indicating the low frequency component is within a predetermined range while changing the distance.
  • a portion with a small distance indicates a low-frequency component of the in-tube image
  • a portion with a large distance indicates a high-frequency component of the in-tube image.
  • an image with few high-frequency components has a large defocus.
  • FIG. 18 is a flowchart showing an outline of processing performed by the image processing apparatus 6A.
  • the same steps as those in the flowchart shown in FIG. Hereinafter, the process following step S31 will be described.
  • step S32A the defocus analysis unit 82 analyzes the defocus state of the in-tube image (step S32A).
  • FIG. 19 is a flowchart illustrating an outline of processing performed by the defocus analysis unit 82.
  • the specular reflection exclusion unit 821 determines and excludes specular reflection in the in-pipe image (step S51).
  • the spatial frequency analysis unit 822 performs a two-dimensional Fourier transform on a predetermined component of the in-pipe image, and then calculates a radial distribution of the two-dimensional Fourier spectrum obtained by the two-dimensional Fourier transform (step S52). ).
  • the defocus analysis unit 82 analyzes the defocus state based on the radial distribution of the two-dimensional Fourier spectrum (step S53). Specifically, the defocus analysis unit 82 determines that the degree of defocus is larger as the high-frequency component (portion where the distance is larger in the radial distribution) in the in-tube image is smaller.
  • the feature range identifying unit 51 calculates a plurality of specific region identification indexes based on the feature amounts calculated from a plurality of regions having different ranges (step S33).
  • the integration determination unit 52 performs integration determination by changing the specific area identification index to be emphasized according to the degree of defocus, and detects the specific area (step S34A).
  • the degree of defocus is large, the subject image is a wider range than when the degree of defocus is small.
  • the integrated determination unit 52 performs the integrated determination with an emphasis on the specific region identification index based on the feature amount having a large feature amount calculation range as the degree of defocusing increases.
  • the calculation unit 7A outputs the detection result of the specific area (step S35).
  • the image processing apparatus 6A ends a series of processes.
  • the order of the out-of-focus state analysis process in step S32A and the specific area identification index calculation process in step S33 may be reversed or performed in parallel.
  • the in-pipe photographing state analysis unit 8A may further include the photographing distance estimation unit 81 described in the second embodiment.
  • the integrated determination unit 52 performs integrated determination according to the distance of the shooting distance and the degree of defocus.
  • FIG. 20 is a block diagram illustrating a functional configuration of an image processing apparatus according to Modification 2-2 of Embodiment 2.
  • FIG. 20 shows that components similar to those in the image processing apparatus 6A shown in FIG. 17 are denoted by the same reference numerals as those in FIG.
  • the image processing device 6B includes a calculation unit 7B and a storage unit 3.
  • the calculation unit 7B includes an in-pipe photographing state analysis unit 8B and a specific area detection unit 5.
  • the in-pipe shooting state analysis unit 8B has a motion blur analysis unit 83 that analyzes motion blur in the in-pipe image.
  • the motion blur analysis unit 83 includes a specular reflection exclusion unit 821 and a spatial frequency analysis unit 831.
  • the spatial frequency analysis unit 831 calculates the angular distribution and radial distribution of the two-dimensional Fourier spectrum. Specifically, the spatial frequency analysis unit 831 performs a two-dimensional Fourier transform on a predetermined component (for example, a G component) of the in-tube image to obtain a two-dimensional Fourier spectrum, and then displays a center indicating a low-frequency component.
  • the angle distribution is obtained by calculating the sum of the spectra in the fan-shaped region where the angle with respect to the horizontal line passing through is in a predetermined range while changing the angle.
  • the spatial frequency analysis unit 831 uses the same method as described in the modified example 2-1 in the fan-shaped region whose angle is in the predetermined range, thereby calculating the radial distribution in the fan-shaped region in which the angle is in the predetermined range.
  • FIG. 21 is a flowchart showing an outline of processing performed by the image processing apparatus 6B.
  • the same step numbers are assigned to the same processes as those in the flowchart shown in FIG. Hereinafter, the process following step S31 will be described.
  • step S32B the motion blur analysis unit 83 analyzes the motion blur state of the in-pipe image (step S32B).
  • FIG. 22 is a flowchart illustrating an outline of processing performed by the motion blur analysis unit 83.
  • the specular reflection exclusion unit 821 excludes specular reflection in the in-pipe image (step S61).
  • the spatial frequency analysis unit 831 calculates the angular distribution and radial distribution of the two-dimensional Fourier spectrum (step S62).
  • the motion blur analysis unit 83 analyzes the motion blur state based on the angular distribution and the radial distribution (step S63). Specifically, the motion blur analysis unit 83 analyzes the direction of motion blur based on the angular distribution, and analyzes the motion blur state based on the radial distribution of the region where the angle is narrowed according to the analysis result. For example, when motion blur occurs in a substantially constant direction, the angular distribution corresponding to that direction has a relatively high spectral distribution. In this case, the motion blur analysis unit 83 analyzes the motion blur state based on the radial distribution near the region where the spectrum distribution is relatively high.
  • the motion blur analysis unit 83 analyzes motion blur for each of the R, G, and B wavelength components and analyzes motion blur between the wavelength components. For analysis of motion blur between wavelength components, a sum image of wavelength component images is taken to generate a composite image, and the above-described spatial frequency analysis or the like may be performed on this composite image.
  • the feature range identification unit 51 calculates a plurality of specific region identification indexes based on the feature amounts calculated from a plurality of regions having different ranges (step S33).
  • the integration determination unit 52 performs integration determination by changing the specific area identification index to be emphasized according to the degree of motion blur, and detects the specific area (step S34B).
  • the degree of motion blur is large, the subject image is a wider range than when the degree of motion blur is small.
  • the integrated determination unit 52 performs the integrated determination with an emphasis on a specific region identification index based on a feature amount having a large feature amount calculation range as the degree of motion blur is larger.
  • the calculation unit 7B outputs the detection result of the specific area (step S35).
  • the image processing device 6B ends the series of processes. Note that the order of the motion blur state analysis process in step S32B and the specific area identification index calculation process in step S33 may be reversed or may be performed in parallel.
  • the specific area identification index based on the more effective feature amount can be emphasized, and the specific area can be detected with high accuracy.
  • the process of excluding the specular reflection is not necessarily performed.
  • the in-pipe photographing condition analysis unit 8B further includes the photographing distance estimation unit 81 described in the second embodiment and / or the defocus analysis unit 82 described in the modification 2-1. It is good.
  • the integrated determination unit 52 performs integrated determination according to the distance of the shooting distance and / or the degree of out-of-focus and the degree of motion blur.
  • FIG. 23 is a block diagram illustrating a functional configuration of an image processing apparatus according to Modification 2-3 of Embodiment 2.
  • the image processing device 6C shown in the figure components similar to those in the image processing device 1C shown in FIG. 12 and the image processing device 6 shown in FIG. It is attached.
  • the image processing apparatus 6C includes a calculation unit 7C and a storage unit 3.
  • the calculation unit 7C includes an in-pipe photographing state analysis unit 8 and a specific area detection unit 5C.
  • the specific area detection unit 5 ⁇ / b> C includes a feature type identification unit 54 and an integrated determination unit 52.
  • the integration determination unit 52 performs integration determination by changing the specific area identification index to be emphasized according to the distance of the shooting distance, and detects the specific area.
  • a predetermined threshold value that is, when the shooting distance is close
  • the integrated determination unit 52 performs the integrated determination with an emphasis on the specific region identification index based on the texture feature amount or the contour feature amount.
  • the integrated determination unit 52 makes a determination with emphasis on the specific region identification index based on the color feature amount or the pixel value surface shape feature amount.
  • the integrated determination unit 52 may determine the specific region identification index based on the color feature amount without giving importance.
  • FIG. 24 is a flowchart showing an outline of processing performed by the image processing apparatus 6C.
  • the same step numbers are assigned to the same processes as those in the flowchart shown in FIG. Hereinafter, the process following step S32 will be described.
  • step S33C the feature type identification unit 54 calculates a plurality of specific area identification indexes based on different types of feature amounts (step S33C).
  • the integration determination unit 52 performs integration determination by changing the specific area identification index to be emphasized according to the distance of the shooting distance, and detects the specific area (step S34).
  • the calculation unit 7C outputs the detection result of the specific area (step S35).
  • the image processing apparatus 6C ends the series of processes. Note that the order of the shooting distance estimation process in step S32 and the specific area identification index calculation process in step S33C may be reversed or may be performed in parallel.
  • an in-pipe shooting state analysis unit 8A having a defocus analysis unit 82 or an in-pipe shooting state analysis unit 8B having a motion blur analysis unit 83 is provided. May be.
  • the integration determination unit 52 performs integration determination by changing the particular area identification index to be emphasized according to the degree of defocus.
  • the integrated determination unit 52 performs the integrated determination with an emphasis on the specific region identification index based on the texture feature amount or the contour feature amount.
  • the integrated determination unit 52 performs the integrated determination with an emphasis on the specific area identification index based on the color feature value or the pixel value surface shape feature value.
  • the integration determination unit 52 performs integration determination by changing the particular area identification index to be emphasized according to the degree of motion blur. For example, when the degree of motion blur is small, the texture and contour of the surface of the specific area are clearly shown, so the integrated determination unit 52 emphasizes the specific area identification index based on the texture feature amount or the contour feature amount and performs the integrated determination. I do.
  • the integrated determination unit 52 makes a determination with emphasis on the specific area identification index based on the color feature amount or the pixel value surface shape feature amount.
  • the integrated determination unit 52 may determine without emphasizing the specific area identification index based on the color feature amount.
  • the in-pipe shooting state analysis unit 8 may include any two or all of the shooting distance estimation unit 81, the focal blur analysis unit 82, and the motion blur analysis unit 83.
  • FIG. 25 is a block diagram illustrating a functional configuration of an image processing apparatus according to Modification 2-4 of Embodiment 2.
  • the image processing device 6D shown in the figure components similar to those in the image processing device 1B shown in FIG. 9 and the image processing device 6B shown in FIG. It is attached.
  • the image processing device 6D includes a calculation unit 7D and a storage unit 3.
  • the calculation unit 7D includes an in-pipe photographing state analysis unit 8B and a specific area detection unit 5B.
  • FIG. 26 is a flowchart showing an outline of processing performed by the image processing apparatus 6D.
  • the same step numbers are assigned to the same processes as those in the flowchart shown in FIG. Hereinafter, the process following step S32B will be described.
  • step S33D the shape-direction identifying unit 53 calculates a plurality of specific region identification indexes based on feature amounts calculated from a plurality of regions having different shapes and / or directions (step S33D).
  • the shape direction identification unit 53 calculates feature amounts from a plurality of regions using, for example, a feature amount calculation region group 202 shown in FIG.
  • the integration determination unit 52 performs integration determination by changing the specific area identification index to be emphasized according to the direction and degree of motion blur, and detects the specific area (step S34D).
  • the integration determination unit 52 performs the integrated determination with an emphasis on the specific region identification index based on the feature amount calculated from the feature amount calculation region of the shape expanded by the degree of motion blur in the direction of motion blur.
  • the calculation unit 7D outputs the detection result of the specific area (step S35).
  • the image processing apparatus 6D ends a series of processes. Note that the order of the motion blur state analysis process in step S32B and the specific area identification index calculation process in step S33D may be reversed or performed in parallel.
  • FIG. 27 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 3 of the present invention.
  • An image processing apparatus 9 shown in FIG. 1 includes a calculation unit 10 and a storage unit 11.
  • the calculation unit 10 includes an in-pipe photographing state analysis unit 12 and a specific area detection unit 13.
  • the storage unit 11 includes a parameter storage unit 111.
  • the in-pipe shooting state analysis unit 12 may be any one of a plurality of in-pipe shooting state analysis units described in the first and second embodiments, or may be configured by appropriately combining them.
  • the specific area detection unit 13 identifies a discriminator-specific identification unit 131 that calculates a plurality of specific area identification indexes based on different classifiers, and identification parameters created based on teacher data in an in-tube imaging situation equivalent to the in-tube imaging situation And an integrated determination unit 132 that performs integrated determination with emphasis on the specific area identification index based on the vessel and detects the specific area.
  • the discriminator discriminating unit 131 first sets a feature amount calculation region at an arbitrary position in the image. Subsequently, the discriminator-specific discriminating unit 131 calculates a feature amount from each feature amount calculation region, and calculates a plurality of specific region identification indexes based on discriminators having different discrimination parameters based on the feature amount.
  • the identification parameters are an identification boundary in the feature space, a distribution model according to the in-pipe photographing condition, an identification function, a representative pattern (template), and the like.
  • Equivalent here means that the analysis results (existence and direction of the deep part, the magnitude and direction of the inner wall gradient, the distance of the imaging distance, the presence or absence of defocusing, the presence or absence of motion blur, etc.) in the in-pipe imaging situation analysis unit 12 are predetermined. It is shown that the errors are almost the same while allowing the error. Actually, multiple images obtained in advance are analyzed in the same way as in-tube shooting situation analysis (this analysis may be mechanical processing or manual work), and each analysis result image is identified. After that, parameters corresponding to each analysis result are created based on the teacher data based on each analysis result image, and a plurality of specific area identification indices are calculated using these parameters.
  • an identification parameter created based on teacher data of the specific region appearing in an image obtained by photographing the inner wall of the tube from an oblique direction is suitable.
  • an identification parameter created based on the teacher data of the specific region appearing in the image obtained by photographing the inner wall of the tube from the front is suitable.
  • identification parameters created based on teacher data in equivalent in-tube shooting situations are suitable. Yes.
  • the discriminator-specific discriminating unit 131 creates a plurality of discriminating parameters according to the difference in the in-tube photographing situation in advance, and applies the feature amount (feature vector) obtained from the feature amount calculation area. Thus, a specific area identification index based on the plurality of identification parameters is calculated.
  • the parameter storage unit 111 included in the storage unit 11 stores identification parameters created based on a plurality of teacher data respectively corresponding to a plurality of in-tube shooting situations in association with the in-tube shooting situations.
  • the identification parameter may be stored in the external device, and the integrated determination unit 132 may acquire the parameter from the external device and acquire the identification parameter.
  • FIG. 28 is a flowchart showing an outline of processing executed by the image processing apparatus 9.
  • the calculating part 10 acquires the in-pipe image which is a process target (step S71).
  • the in-pipe photographing state analysis unit 12 analyzes the photographing state of the in-pipe image (step S72).
  • the discriminator discriminating unit 131 calculates a plurality of specific area discrimination indexes based on discriminators having different discriminating parameters (step S73).
  • the integrated determination unit 132 extracts, from the parameter storage unit 111, the identification parameter created based on the teacher data in the in-pipe shooting situation equivalent to the in-pipe shooting state, and sets the specific region identification index based on the discriminator of the identification parameter. Integration determination is performed with emphasis and a specific area is detected (step S74).
  • step S75 the calculation unit 10 outputs a specific area detection result.
  • the image processing apparatus 9 ends the series of processes. Note that the order of the in-pipe photographing state analysis process in step S72 and the specific area identification index calculation process in step S73 may be reversed or may be performed in parallel.
  • the third embodiment of the present invention since a plurality of specific area identification indexes based on discriminators with different identification parameters are integratedly determined according to the in-tube imaging situation, the image generated due to the difference in the in-tube imaging situation.
  • the specific area identification index based on a more effective classifier can be emphasized, and the specific area can be detected with high accuracy.
  • the integration determination unit 132 may further perform the integration determination described in the first and second embodiments.
  • FIG. 29 is a block diagram showing a functional configuration of an image processing apparatus according to Embodiment 4 of the present invention.
  • the image processing apparatus 14 shown in the figure components having the same functions as those of the image processing apparatus 1 shown in FIG.
  • the image processing apparatus 14 includes a calculation unit 15 and a storage unit 3.
  • the computing unit 15 includes an area dividing unit 16, an in-tube photographing state analyzing unit 17, and a specific region detecting unit 18.
  • the area dividing unit 16 divides the in-pipe image into areas.
  • Examples of the region division method include rectangular division of a predetermined size and region division based on edges (see Japanese Patent Application Laid-Open No. 2012-238041). In addition, when performing rectangular division, you may divide
  • the in-pipe shooting state analysis unit 17 may be any one of a plurality of in-pipe shooting state analysis units described in the first and second embodiments, or may be a combination of them.
  • the specific area detection unit 18 may be any one of a plurality of specific area detection units described in the first to third embodiments, or may be a combination of them.
  • FIG. 30 is a flowchart showing an outline of processing executed by the image processing apparatus 14.
  • the calculating part 15 acquires the in-pipe image which is a process target (step S81).
  • the region dividing unit 16 divides the in-pipe image into regions (step S82).
  • the in-pipe shooting state analysis unit 17 analyzes the in-pipe shooting state in each divided region (step S83).
  • the specific area detection unit 18 calculates a plurality of specific area identification indexes in each divided area (step S84).
  • the specific area detection unit 18 performs the integrated determination of the specific area identification index according to the in-tube photographing situation in each divided area, and detects the specific area (step S85).
  • step S86 the calculation unit 15 outputs the specific area detection result.
  • the image processing apparatus 14 ends the series of processes. Note that the order of the in-pipe photographing state analysis process in step S83 and the specific area identification index calculation process in step S84 may be reversed or may be performed in parallel.
  • the specific area is detected for each divided area in accordance with the in-pipe shooting state, so that the specific area can be detected with high accuracy.
  • the present invention can be applied to an intraluminal image of a virtual endoscope generated by CT colonography or an intraluminal image photographed by an industrial endoscope in addition to an endoscopic image for a living body. is there.
  • the present invention can include various embodiments not described herein.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

管内の特定領域を精度よく検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。画像処理装置は、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部と、管内画像に対する複数の特定領域識別指標を算出し、管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出部と、を備える。

Description

画像処理装置、画像処理方法および画像処理プログラム
 本発明は、管内画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関する。
 従来、内視鏡画像の画素値勾配情報すなわち画素値面形状特徴量に基づいて生体内の異常領域を検出する技術や、内視鏡画像の輪郭特徴量であるエッジ情報に基づいて異常領域を検出する技術が開示されている(例えば、特許文献1を参照)。この技術では、画素値勾配の等方性、すなわち周囲の何れの方向に対しても同等な勾配が生じているか否かを評価したり、エッジ形状が所定の大きさの円弧形状であるか否かを評価したりすることにより、異常領域を検出している。
特開2007-244519号公報
 内視鏡画像には、管内壁に対して正面から撮影したり、側面から撮影したり、撮影距離が遠かったり、近かったり、焦点ボケが生じたり、動きブレが生じたり等、様々な撮影状況の下で撮影された画像が含まれる。異常領域等の所定の特定領域の写り方は撮影状況に応じて変化するため、その変化を考慮せずに同一の検出技術を適用しても、検出性能が向上しないという問題がある。
 本発明は、上記に鑑みてなされたものであって、管内の特定領域を精度よく検出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部と、前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出部と、を備えることを特徴とする。
 本発明に係る画像処理方法は、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出ステップと、を含むことを特徴とする。
 本発明に係る画像処理プログラムは、管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出ステップと、をコンピュータに実行させることを特徴とする。
 本発明によれば、管内の撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出するため、管内の特定領域を精度よく検出することができる。
図1は、本発明の実施の形態の概要を説明するための図(その1)である。 図2は、本発明の実施の形態の概要を説明するための図(その2)である。 図3は、本発明の実施の形態1に係る画像処理装置の機能構成を示すブロック図である。 図4は、本発明の実施の形態1に係る画像処理装置が行う処理の概要を示すフローチャートである。 図5は、本発明の実施の形態1に係る画像処理装置の管深部領域検出部が行う処理の概要を示すフローチャートである。 図6は、本発明の実施の形態1の変形例1-1に係る画像処理装置の機能構成を示すブロック図である。 図7は、本発明の実施の形態1の変形例1-1に係る画像処理装置が行う処理の概要を示すフローチャートである。 図8は、本発明の実施の形態1の変形例1-1に係る画像処理装置の内壁勾配算出部が行う処理の概要を示すフローチャートである。 図9は、本発明の実施の形態1の変形例1-2に係る画像処理装置の機能構成を示すブロック図である。 図10は、本発明の実施の形態1の変形例1-2に係る画像処理装置の形状方向別識別部が設定する特徴量算出領域の設定例を模式的に示す図である。 図11は、本発明の実施の形態1の変形例1-2に係る画像処理装置が行う処理の概要を示すフローチャートである。 図12は、本発明の実施の形態1の変形例1-3に係る画像処理装置の機能構成を示すブロック図である。 図13は、本発明の実施の形態1の変形例1-3に係る画像処理装置が行う処理の概要を示すフローチャートである。 図14は、本発明の実施の形態2に係る画像処理装置の機能構成を示すブロック図である。 図15は、本発明の実施の形態2に係る画像処理装置が行う処理の概要を示すフローチャートである。 図16は、本発明の実施の形態2に係る画像処理装置の撮影距離推定部が行う処理の概要を示すフローチャートである。 図17は、本発明の実施の形態2の変形例2-1に係る画像処理装置の機能構成を示すブロック図である。 図18は、本発明の実施の形態2の変形例2-1に係る画像処理装置が行う処理の概要を示すフローチャートである。 図19は、本発明の実施の形態2の変形例2-1に係る画像処理装置の焦点ボケ解析部が行う処理の概要を示すフローチャートである。 図20は、本発明の実施の形態2の変形例2-2に係る画像処理装置の機能構成を示すブロック図である。 図21は、本発明の実施の形態2の変形例2-2に係る画像処理装置が行う処理の概要を示すフローチャートである。 図22は、本発明の実施の形態2の変形例2-2に係る画像処理装置の動きブレ解析部が行う処理の概要を示すフローチャートである。 図23は、本発明の実施の形態2の変形例2-3に係る画像処理装置の機能構成を示すブロック図である。 図24は、本発明の実施の形態2の変形例2-3に係る画像処理装置が行う処理の概要を示すフローチャートである。 図25は、本発明の実施の形態2の変形例2-4に係る画像処理装置の機能構成を示すブロック図である。 図26は、本発明の実施の形態2の変形例2-4に係る画像処理装置が行う処理の概要を示すフローチャートである。 図27は、本発明の実施の形態3に係る画像処理装置の機能構成を示すブロック図である。 図28は、本発明の実施の形態3に係る画像処理装置が行う処理の概要を示すフローチャートである。 図29は、本発明の実施の形態4に係る画像処理装置の機能構成を示すブロック図である。 図30は、本発明の実施の形態4に係る画像処理装置が行う処理の概要を示すフローチャートである。
 以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
 図1および図2は、本発明の実施の形態の概要を説明するための図である。具体的には、図1および図2は、生体内に導入されて生体を観察する内視鏡によって撮影された生体の画像(管内画像)を模式的に示す図である。
 内視鏡は、生体の管内壁の粘膜面に対して斜めから撮影することが多い。この場合、内視鏡が撮影する管内画像には、図1に示すように、撮影距離が近い管手前の粘膜面から撮影距離が遠い管深部の粘膜面までが写り、病変を生じている可能性がある異常領域が写ることもある。
 これに対して、内視鏡は、図2に示すように、生体管内壁の粘膜面に対して正面から撮影する場合もある。粘膜面に対して正面から撮影する場合には、管深部が写らず、異常領域の写り方も斜めから撮影した場合とは異なる。
 他にも、内視鏡が撮影する画像において、生体管内壁粘膜面までの撮影距離は画像によって異なる上、画像の中に焦点ボケや動きブレが生じる場合もある。
 本実施の形態に係る画像処理装置は、上述した撮影状況の違いを解析して異常領域を含む特定領域の適応的な検出を行うことを特徴とする。ここで、特定領域とは、管内画像における被写体の性状または状態が所定の条件を満たす領域である。例えば、管内画像が生体の管内画像(生体内管腔画像)である場合には、生体の組織性状または生体内の状態が所定の条件を満たすような領域である。より具体的には、例えばアフタ、潰瘍、びらん、ポリープ、腫瘍、発赤、絨毛異常等の生体の組織性状が変化している領域、および出血等の生体内における状態変化が発生している領域等の異常領域を挙げることができる。特定領域は、画像の一部の領域でもよいし、画像全体の領域でもよい。なお、内視鏡が撮影する画像は、各画素位置においてR(赤)、G(緑)、B(青)の各波長成分に対する画素値を持つカラー画像が想定されるが、これに限定されるわけではない。
(実施の形態1)
 図3は、本発明の実施の形態1に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置1は、演算部2と、記憶部3とを有する。
 演算部2は、管内画像において、被写体と撮影側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部4と、管内撮影状況に応じた特定領域の検出を行う特定領域検出部5とを有する。
 管内撮影状況解析部4は、管内画像中の管深部領域を検出する管深部領域検出部41を有する。管深部領域検出部41は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部411と、低吸収波長成分の管内画像中のエッジ周辺領域の画素を除外するエッジ周辺領域除外部412と、エッジ周辺領域の画素を除外した後の低吸収波長成分の画像において所定の閾値以下の領域を検出する低画素値領域検出部413とを有する。
 一般に、低画素値領域検出部413によって検出された画素がまとまって存在する領域が管深部領域と考えられる。管深部領域検出部41は、低画素値領域検出部413が検出した画素に対して、公知のラベリング処理(参考:CG-ARTS協会:ディジタル画像処理:181P、ラベリング)を行い、連結する画素を1つの領域としてまとめた後、面積が所定の閾値以上の領域のうち最大のものを管深部領域として検出する。管深部領域検出部41は、所定の閾値以上の領域がなければ、管深部領域なし、とする。
 低吸収波長成分選択部411は、例えばR、G、B成分からなる画像の場合、血液の吸収帯域から離れており、かつ長波長である成分であって、生体内での吸収・散乱の影響を受け難い成分であるR成分を選択する。低吸収波長成分選択部411がこのような選択を行うことにより、粘膜表面に写る血管等による画素値低下を抑え、最も粘膜表面との撮影距離に相関する画素値情報を得ることができる。
 エッジ周辺領域除外部412は、例えば公知のエッジ抽出処理(参考:CG-ARTS協会:ディジタル画像処理:114P、エッジ抽出:209P、輪郭線検出)を適用してエッジ領域を特定した後、そのエッジ領域に対して公知の膨張処理(参考:CG-ARTS協会:ディジタル画像処理:179P、収縮・膨張処理)を行うことによって周辺領域を特定して除外する。エッジ周辺領域除外部412がエッジ周辺領域を除外することにより、粘膜襞による輪郭エッジ周辺に生じる陰影部分のように、管深部の粘膜(照明光が届き難く低吸収波長成分の画素値が低下する粘膜)として誤検出されてしまうおそれのある領域を除外することができる。
 低画素値領域検出部413は、エッジ周辺領域を除外した後の低吸収波長成分の画像において、画素値が所定の閾値以下である画素を検出する。なお、低画素値領域検出部413が、エッジ周辺領域を除外した後の低吸収波長成分の管内画像において、該管内画像の画素がとる画素値範囲を基に設定された閾値以下の画素値を有する画素を検出するようにしてもよい。
 特定領域検出部5は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する特徴範囲別識別部51と、管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する統合判定部52とを有する。
 特徴範囲別識別部51は、まず範囲が小さなものから大きなものまでの複数の特徴量算出領域を、画像内の任意の位置に設定する。この時、中心位置が同じで範囲の異なる複数の特徴量算出領域も設定される。そして、特徴範囲別識別部51は、各領域内より特徴量を算出する。特徴量としては、既に公知の色、輪郭(エッジ)、画素値面形状(画素値勾配)、テクスチャ等、様々なものが考えられる。一つの特徴量算出領域から算出した複数の特徴量は、特徴ベクトルとしてまとめられる。特徴ベクトルは、設定された特徴量算出領域の数だけ生じる。
 この後、特徴範囲別識別部51は、特徴ベクトルを基に、特定領域識別指標を算出する。特徴ベクトルを基に特定領域識別指標を算出する方法は公知の様々なものがある。例えば、一般的な統計識別の方法として、下記式(1)に示す確率モデルに基づいて、特徴ベクトルxが特定の条件を満たすか否かの特定領域識別指標P(x)を算出することができる。
Figure JPOXMLDOC01-appb-M000001
式(1)の右辺において、kは特徴ベクトルの次元数、xは識別対象の検査領域の特徴ベクトル(k×1行列)、μは特定領域のサンプル(複数)における特徴ベクトルの平均ベクトル(k×1行列)、Zは特定領域のサンプル(複数)における特徴ベクトルの分散共分散行列(k×k行列)、|Z|はZの行列式、Z-1はZの逆行列である。
 なお、ここでは確率モデルを用いた特定領域識別指標算出方法を例示したが特定領域識別指標を算出できればいかなる方法でもよい。例えば、代表的な特徴ベクトルとの特徴空間距離に基づく方法や、特徴空間内での識別境界との距離に基づく方法等を用いて特定領域識別指標を算出してもよい。
 統合判定部52の処理を説明する。管深部領域が画像内にある場合は、管内壁を斜めから撮影している状態であるため、全体管構造を用いた大域的な情報に基づく特定領域の検出精度が高いと考えられる。この場合、統合判定部52は、特徴量算出領域の大きな特徴量に基づく特定領域識別指標を重視して判定する。より具体的には、統合判定部52は、複数の特定領域識別指標の各々に対して、重視する度合いに応じた重みを乗算して加算することにより、最終的な判定指標を算出し、この値が閾値以上となる場合に、特定領域として検出する。このように、特定領域識別指標を重視するとは、その特定領域識別指標の重みを他の特定領域識別指標の重みよりも大きくして演算を行うことを意味する。
 一方、深部領域が画像内に無い場合は、管内壁を正面から撮影している状態であるため、全体管構造を用いた大域的な情報に基づく特定領域の検出は十分に行えない。むしろ、特徴量算出に用いる領域の範囲が大きい場合、精度低下に繋がる領域(鏡面反射、残渣、泡、正常襞、等)の混入により、検出精度が低い可能性がある。この場合、統合判定部52は、特徴量算出範囲の小さな特徴量(局所的な情報)に基づく特定領域識別指標を重視して統合判定を行い、特定領域を検出する。
 演算部2は、CPU(Central Processing Unit)等の汎用プロセッサやASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。演算部2が汎用プロセッサである場合、記憶部3が記憶する各種プログラムを読み込むことによって画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括して制御する。また、演算部2が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部3が記憶する各種データ等を用いることで、プロセッサと記憶部3が共同または結合して種々の処理を実行してもよい。後述する実施の形態および変形例において説明する演算部も、演算部2と同様に実現されることはいうまでもない。
 記憶部3は、ROM(Read Only Memory)もしくはRAM(Random Access Memory)等の各種ICメモリ、内蔵もしくはデータ通信端子で接続されたハードディスク、またはCD-ROM等の情報記録装置およびその読取装置等によって実現される。記憶部3は、画像処理装置1が取得した管内画像の画像データの他、画像処理装置1を動作させると共に、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部3は、本実施の形態1に係る画像処理プログラムや、該画像処理において用いられる閾値等の各種パラメータを記憶する。後述する実施の形態において説明する記憶部も、記憶部3と同様に実現されることはいうまでもない。
 記憶部3が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部3または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)などによって実現されるものであり、有線、無線を問わない。
 以上の構成を有する画像処理装置1は、1つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、例えば汎用のパーソナルコンピュータやサーバ等によって構成することができる。この点については、後述する実施の形態および変形例において説明する画像処理装置に対しても同様のことがいえる。
 なお、以上説明した画像処理装置1の機能を、被検体内に導入されて該被検体内を観察する内視鏡システムの一部をなし、該内視鏡システム全体を制御するプロセッサに具備させることも可能である。この点については、後述する実施の形態および変形例において説明する画像処理装置に対しても同様のことがいえる。
 図4は、画像処理装置1が実行する処理の概要を示すフローチャートである。まず、演算部2は処理対象である管内画像を取得する(ステップS1)。
 続いて、管深部領域検出部41は、管内画像中の管深部領域を検出する(ステップS2)。図5は、管深部領域検出部41が行う処理の概要を示すフローチャートである。以下、図5を参照して管深部領域検出部41の処理を説明する。まず、低吸収波長成分選択部411が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する(ステップS11)。例えば、R、G、B成分からなる画像の場合、低吸収波長成分選択部411は、上述したようにR成分を選択する。
 その後、エッジ周辺領域除外部412は、低吸収波長成分の管内画像中のエッジ周辺領域の画素を除外する(ステップS12)。これにより、エッジ周辺領域が管深部領域として誤検出されるのを防止することができる。
 続いて、低画素値領域検出部413が、エッジ周辺領域を除外した後の低吸収波長成分の画像において、画素値が低い領域すなわち所定の閾値以下の画素値を有する画素の領域を検出する(ステップS13)。上述した通り、管深部は撮影距離が遠いため、低吸収波長成分の画像の画素値が低くなる。
 最後に、管深部領域検出部41が、低画素値領域検出部413によって検出された領域を基に、公知のラベリング処理等を行うことによって管深部領域を検出する(ステップS14)。これにより、管深部領域検出部41による管深部領域検出処理(ステップS2)が終了する。
 なお、本実施の形態1では、撮影距離と相関する画素値に基づいて管深部領域を検出する方法を示したが、これは一例にすぎず、例えば特開2003-93328号公報に示す方法等に基づいて管深部領域を検出してもよい。
 また、管深部領域検出処理を行う前に、光学系や照明系に起因する画素値ムラの補正や、鏡面反射、残渣および泡等の非粘膜領域の除外等の処理を行ってもよい。これにより、後続する各処理の精度の低下を抑制することができる。
 ステップS2に続くステップS3において、特徴範囲別識別部51は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する(ステップS3)。特徴範囲別識別部51は、例えば上述した式(1)に示す確率モデルに基づいて特定領域識別指標P(x)を算出する。
 この後、統合判定部52は、管深部領域の存否に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する(ステップS4)。
 最後に、演算部2は、特定領域の検出結果を出力する(ステップS5)。これにより、画像処理装置1は、一連の処理を終了する。なお、ステップS2の管深部領域検出処理とステップS3の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した本発明の実施の形態1によれば、管深部領域の存否に応じて特徴量算出範囲の異なる複数の特定領域識別指標を統合判定するため、管内壁に対する撮影方向(斜め、正面)の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。
(変形例1-1)
 図6は、実施の形態1の変形例1-1に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置1Aにおいて、図1に示す画像処理装置1と同様の機能を有する構成部位に対しては、図1と同様の符号を付してある。
 画像処理装置1Aは、演算部2Aと、記憶部3とを有する。演算部2Aは、管内撮影状況解析部4Aと、特定領域検出部5とを有する。
 管内撮影状況解析部4Aは、管内画像中の管内壁の勾配(内壁勾配)を算出する内壁勾配算出部42を有する。内壁勾配算出部42は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部411と、低吸収波長成分の画素値勾配を算出する画素値勾配算出部421とを有する。
 画素値勾配算出部421は、所定サイズのX方向の1次微分フィルタ出力ΔXと、同サイズのY方向の1次微分フィルタ出力ΔYを基に画素値勾配の大きさおよび方向を算出する(参考:CG-ARTS協会:ディジタル画像処理:115P、微分フィルタ)。画素値勾配算出部421は、管内壁の勾配を各画素位置で算出してもよいし、所定のサンプリング間隔で算出してもよい。
 特定領域検出部5の統合判定部52は、内壁勾配の大小に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する。複数箇所で算出した内壁勾配の大きさの平均値が、所定の閾値以上となる場合は、管内壁を斜めから撮影している状態と考えられ、全体管構造を用いた大域的な情報に基づく特定領域の検出精度が高いと考えられる。この場合、統合判定部52は、特徴量算出範囲の大きな特徴量に基づく特定領域識別指標を重視して判定する。
 一方、内壁勾配の大きさの平均値が、所定の閾値未満となる場合は、管内壁を正面から撮影している状態と考えられ、特徴量算出に用いる領域の範囲が大きい場合、検出精度が低い可能性がある。この場合、統合判定部52は、特徴量算出範囲の小さな特徴量に基づく特定領域識別指標を重視して判定する。
 図7は、画像処理装置1Aが行う処理の概要を示すフローチャートである。図7において、図4に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS1に続く処理を説明する。
 ステップS2Aにおいて、内壁勾配算出部42は、管内画像中の管内壁の勾配を算出する(ステップS2A)。図8は、内壁勾配算出部42が行う処理の概要を示すフローチャートである。以下、図8を参照して内壁勾配算出部42の処理を説明する。まず、低吸収波長成分選択部411が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する(ステップS21)。
 続いて、画素値勾配算出部421は、選択された低吸収波長成分の画素値勾配を算出する(ステップS22)。これにより、内壁勾配算出部42による管内画像中の管内壁の勾配算出処理(ステップS2A)が終了する。
 ステップS2Aに続くステップS3において、特徴範囲別識別部51は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する(ステップS3)。
 この後、統合判定部52は、内壁勾配の大小に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する(ステップS4A)。
 最後に、演算部2Aは、特定領域の検出結果を出力する(ステップS5)。これにより、画像処理装置1Aは、一連の処理を終了する。なお、ステップS2Aの内壁勾配算出処理とステップS3の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した実施の形態1の変形例1-1によれば、内壁勾配の大小に応じて、特徴量算出範囲の異なる複数の特定領域識別指標を統合判定するため、管内壁に対する撮影方向(斜め、正面)の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。
 なお、本変形例1-1において、管内撮影状況解析部4Aが、実施の形態1で説明した管深部領域検出部41をさらに有する構成としてもよい。この場合、統合判定部52は、管深部領域の存否および内壁勾配の大小に応じて統合判定を行う。
(変形例1-2)
 図9は、実施の形態1の変形例1-2に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置1Bにおいて、図1に示す画像処理装置1と同様の機能を有する構成部位に対しては、図1と同様の符号を付してある。
 画像処理装置1Bは、演算部2Bと、記憶部3とを有する。演算部2Bは、管内撮影状況解析部4と、特定領域検出部5Bとを有する。
 特定領域検出部5Bは、形状および/または方向の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する形状方向別識別部53と、統合判定部52とを有する。
 図10は、形状方向別識別部53が設定する特徴量算出領域の設定例を模式的に示す図である。図10に示すように、形状方向別識別部53は、管内画像201の任意の位置Cを中心として、円形領域および長径方向が互いに異なる複数の楕円領域(図10では4つの楕円領域)からなる特徴量算出領域群202を設定する。形状方向別識別部53は、特徴量算出領域群202の中心位置を管内画像201上で所定の規則にしたがって走査しながら複数の特徴量算出領域群202を設定してもよいし、互いに異なる中心位置を有する複数の特徴量算出領域群202を同時並行的に設定してもよい。また、特徴量算出領域群の領域の形状は、図10に記載したものに限られるわけではない。例えば、形状方向別識別部53は、円形領域を設定した後、この円形領域を回転させながら管内画像201上を走査させることによって複数の特徴量算出領域を設定してもよい。
 統合判定部52は、深部領域の方向に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する。管深部領域が画像内にある場合は、管内壁を斜めから撮影している状態であり、図1に示すように、異常領域は深部領域の方向(奥行き方向)に対して短く、深部領域の方向と直交する方向に長い像となって写りやすい。このため、それに近い形状の領域から算出した特徴量に基づく特定領域の検出精度が高いと考えられる。この場合、統合判定部52は、深部領域の方向に直交する方向に長めの領域から算出した特徴量に基づく特定領域識別指標を重視して判定する。
 一方、管深部領域が画像内に無い場合は、管内壁を正面から撮影している状態と考えられ、前記のような像の長さの変化が生じない(図2参照)。この場合、統合判定部52は、方向に依存しない円形領域から算出した特徴量に基づく特定領域識別指標を重視して判定する。
 なお、斜めから撮影している状況では、撮影側における上下に応じて回転方向にも像が変化する。この場合、統合判定部52は、管深部領域の方向に揃う方向の領域から算出した特徴量に基づく特定領域識別指標を重視して判定するようにしてもよい。
 図11は、画像処理装置1Bが行う処理の概要を示すフローチャートである。図11において、図4に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS2に続く処理を説明する。
 ステップS3Bにおいて、形状方向別識別部53は、形状および/または方向が異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する(ステップS3B)。形状方向別識別部53は、例えば図10に示す特徴量算出領域群202を用いて複数の特徴量算出領域から特徴量を算出する。
 続いて、統合判定部52は、管深部領域の方向に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する(ステップS4B)。
 最後に、演算部2Bは、特定領域の検出結果を出力する(ステップS5)。これにより、画像処理装置1Bは、一連の処理を終了する。なお、ステップS2の管深部領域検出処理とステップS3Bの特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した変形例1-2によれば、管深部領域の方向に応じて、特徴量算出領域の形状および/または方向の異なる複数の特定領域識別指標を統合判定するため、管内壁に対する撮影方向の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。
 なお、本変形例1-2において、画像処理装置1Bが管内撮影状況解析部4を有する代わりに、変形例1-1で説明した管内撮影状況解析部4Aを有する構成とすることも可能である。この場合、統合判定部52は、内壁勾配の大小に応じて統合判定を行う。
 内壁勾配の大きさの平均値が、所定の閾値以上となる場合は、管内壁を斜めから撮影している状態と考えられ、図1に示すように、異常領域は内壁勾配の方向(奥行き方向)に対して短く、内壁勾配の方向と直交する方向に長い像となって写りやすい。このため、それに近い形状の領域から算出した特徴量に基づく異常領域の検出精度が高いと考えられる。この場合、統合判定部52は、内壁勾配の方向に直交する方向に長めの領域から算出した特徴量に基づく特定領域識別指標を重視して判定する。
 一方、内壁勾配の大きさの平均値が、所定の閾値未満となる場合は、管内壁を正面から撮影している状態と考えられ、前記のような像の長さの変化が生じない(図2参照)。この場合、統合判定部52は、方向に依存しない円形領域から算出した特徴量に基づく特定領域識別指標を重視して判定する。
 上記は斜め撮影時の形状について説明を行ったが、斜めから撮影している状態では、撮影機の上下方向に応じて回転方向にも像が変化する。そこで、統合判定部52は、内壁勾配の方向に揃う方向の領域から算出した特徴量に基づく特定領域識別指標を重視して判定してもよい。
 また、本変形例1-2において、管内撮影状況解析部4が、変形例1-1で説明した内壁勾配算出部42をさらに有する構成としてもよい。この場合、統合判定部52は、管深部領域の方向および内壁勾配の方向に応じて統合判定を行う。
(変形例1-3)
 図12は、実施の形態1の変形例1-3に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置1Cにおいて、図1に示す画像処理装置1と同様の機能を有する構成部位に対しては、図1と同様の符号を付してある。
 画像処理装置1Cは、演算部2Cと、記憶部3とを有する。演算部2Cは、管内撮影状況解析部4と、特定領域検出部5Cとを有する。
 特定領域検出部5Cは、種類の異なる特徴量に基づく複数の特定領域識別指標を算出する特徴種類別識別部54と、統合判定部52とを有する。特徴種類別識別部54は、画像内の任意の位置に特徴量算出領域を設定し、色、輪郭、画素値面形状、テクスチャ等の特徴量毎に複数の特定領域識別指標を算出する。
 統合判定部52は、管深部領域の有無に応じて、重視する特定領域識別指標を変更して統合判定する。管深部領域が画像内にある場合は、管内壁を斜めから撮影している状態であるため、特定領域表面の輪郭線が明瞭になる(図1参照)。このため、輪郭特徴量に基づく特定領域の検出精度が高いと考えられる。この場合、統合判定部52は、輪郭特徴量に基づく特定領域識別指標を重視して判定する。
 一方、管深部領域が画像内にない場合は、管内壁を正面から撮影している状態と考えられ、特定領域表面の輪郭線は、斜めから撮影している状態に比べ不明瞭になりやすい(図2参照)。ただし、画素値面形状(画素値勾配)やテクスチャは、捕らえやすくなる。このため、画素値面形状特徴量またはテクスチャ特徴量に基づく特定領域の検出精度が高いと考えられる。この場合、統合判定部52は、画素値面形状特徴量またはテクスチャ特徴量に基づく特定領域識別指標を重視して統合判定を行う。
 図13は、画像処理装置1Cが行う処理の概要を示すフローチャートである。図13において、図4に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS2に続く処理を説明する。
 ステップS3Cにおいて、特徴種類別識別部54は、種類の異なる特徴量に基づく複数の特定領域識別指標を算出する(ステップS3C)。
 この後、統合判定部52は、管深部領域の存否に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する(ステップS4C)。
 最後に、演算部2Cは、特定領域の検出結果を出力する(ステップS5)。これにより、画像処理装置1Cは、一連の処理を終了する。なお、ステップS2の管深部領域検出処理とステップS3Cの特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した変形例1-3によれば、管深部領域の存否に応じて、特徴量の種類の異なる複数の特定領域識別指標を統合判定するため、管内壁に対する撮影方向(斜め、正面等)の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。
 なお、本変形例1-3において、画像処理装置1Cが管内撮影状況解析部4を有する代わりに、変形例1-1で説明した管内撮影状況解析部4Aを有する構成とすることも可能である。この場合、統合判定部52は、内壁勾配の大小に応じて、重視する特定領域識別指標を変更して統合判定する。
 内壁勾配の大きさの平均値が、所定の閾値以上となる場合は、管内壁を斜めから撮影している状態であるため、異常領域表面の輪郭線が明瞭になる(図1参照)。この場合、統合判定部52は、輪郭特徴量に基づく特定領域識別指標を重視して判定する。
 一方、内壁勾配の大きさの平均値が、所定の閾値未満となる場合は、管内壁を正面から撮影している状態と考えられ、異常領域表面の輪郭線は、斜めから撮影している状態に比べ不明瞭になり易い(図2参照)。ただし、画素値面形状(画素値勾配)や、テクスチャは捕らえやすくなる。この場合、統合判定部52は、画素値面形状特徴量またはテクスチャ特徴量に基づく特定領域識別指標を重視して判定する。
 本変形例1-3において、管内撮影状況解析部4が、変形例1-1で説明した内壁勾配算出部42をさらに有する構成としてもよい。この場合、統合判定部52は、管深部領域の存否および内壁勾配の大小に応じて統合判定を行う。
(実施の形態2)
 図14は、本発明の実施の形態2に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6において、図3に示す画像処理装置1と同様の機能を有する構成部位に対しては、図3と同様の符号を付してある。
 画像処理装置6は、演算部7と、記憶部3とを有する。演算部7は、管内撮影状況解析部8と、特定領域検出部5とを有する。
 管内撮影状況解析部8は、管内壁までの撮影距離を推定する撮影距離推定部81を有する。撮影距離推定を行う方法は、様々な方法が公知である。本実施の形態2では、一例として、撮影対象を均等拡散面と仮定した撮影距離推定の方法を説明する。
 撮影距離推定部81は、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部811を有する。これは、粘膜表面に写る血管等による画素値低下を抑え、最も粘膜表面との撮影距離に相関する画素値情報を得るためである。例えば、R、G、B成分からなる画像の場合には、実施の形態1で説明したように、R成分を選択する。
 撮影距離推定部81は、選択された低吸収波長成分の画素値をもとに均等拡散面を仮定した撮影距離を推定する。具体的には、撮影距離推定部81は、下記式(2)にしたがって管内画像中の複数箇所で撮影距離rを推定する。
Figure JPOXMLDOC01-appb-M000002
ここで、式(2)の右辺のIは事前に測定した光源の放射強度、Kは粘膜表面の拡散反射係数、θは粘膜表面の法線ベクトルと該表面から光源までのベクトルのなす角度、Lは撮影距離推定対象の粘膜表面が写る画素のR成分値である。このうち、拡散反射係数Kは、平均的な値を事前に測定することによって得る。また、角度θは、内視鏡先端と粘膜表面の位置関係により決まる値として、平均的な値を事前に設定する。
 なお、撮影距離推定部81は、式(2)で定義される撮影距離rを推定する代わりに、撮影距離rと相関を有する画素値を用いて後段の適応的な処理を行うようにしてもよい。
 撮影距離推定部81が複数箇所で算出した撮影距離の平均値が所定の閾値未満である場合は、撮影距離が比較的近い状況に対応する。撮影距離が近い場合、撮影距離が遠い場合よりも被写体が大きく写る。この場合、統合判定部52は、特徴量算出範囲の大きな特徴量に基づく特定領域識別指標を重視して統合判定を行う。
 一方、撮影距離の平均値が所定の閾値以上となる場合は、撮影距離が比較的遠い状態と考えられ、対象は比較的小さく写る。また、特徴量算出に用いる領域の範囲が大きい場合、精度低下に繋がる領域(鏡面反射、残渣、泡、正常襞、等)の混入により、検出精度が低い可能性がある。この場合、統合判定部52は、特徴量算出範囲の小さな特徴量に基づく特定領域識別指標を重視して判定する。
 図15は、画像処理装置6が実行する処理の概要を示すフローチャートである。まず、演算部7が処理対象である管内画像を取得する(ステップS31)。
 続いて、撮影距離推定部81は、管内壁までの撮影距離を推定する(ステップS32)。図16は、撮影距離推定部81が行う処理の概要を示すフローチャートである。以下、図16を参照して撮影距離推定部81の処理を説明する。まず、低吸収波長成分選択部811が、生体内での吸収・散乱の度合いが最も低い低吸収波長成分を選択する(ステップS41)。
 この後、撮影距離推定部81は、選択された低吸収波長成分の画素値を基に均等拡散面を仮定した撮影距離を推定する(ステップS42)。具体的には、撮影距離推定部81は、上述した式(2)にしたがって撮影距離を推定する。これにより、撮影距離推定部81による撮影距離推定処理(ステップS32)が終了する。
 なお、撮影距離推定部81が撮影距離推定処理を行う前に、演算部7は、光学系や照明系に起因する画素値ムラの補正や、鏡面反射、残渣および泡等の非粘膜領域の除外等の処理を行ってもよい。これにより、後続する各処理の精度の低下を抑制することができる。
 また、内視鏡に測距センサ等の検出手段を設けておき、その検出結果に基づいて撮影距離推定部81が撮影距離を推定するようにしてもよい。
 ステップS32の後、特徴範囲別識別部51は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する(ステップS33)。この処理は、実施の形態1で説明したステップS3の処理と同じである。
 この後、統合判定部52は、撮影距離の遠近に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する(ステップS34)。
 最後に、演算部7は、特定領域の検出結果を出力する(ステップS35)。これにより、画像処理装置6は、一連の処理を終了する。なお、ステップS32の撮影距離推定処理とステップS33の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した本発明の実施の形態2によれば、撮影距離の遠近に応じて、特徴量算出範囲の異なる複数の特定領域識別指標を統合判定するため、管内壁に対する撮影距離の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。
(変形例2-1)
 図17は、実施の形態2の変形例2-1に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6Aにおいて、図14に示す画像処理装置6と同様の機能を有する構成部位に対しては、図14と同様の符号を付してある。
 画像処理装置6Aは、演算部7Aと、記憶部3とを有する。演算部7Aは、管内撮影状況解析部8Aと、特定領域検出部5とを有する。
 管内撮影状況解析部8Aは、管内画像における焦点ボケを解析する焦点ボケ解析部82を有する。焦点ボケ解析部82は、鏡面反射除外部821と、空間周波数解析部822とを有する。
 鏡面反射除外部821は、例えば特開2012-11137号公報に開示されている方法に基づいて、管内画像における鏡面反射を判別して除外する。
 空間周波数解析部822は、管内画像の所定の成分(例えばG成分等)に対して、公知の2次元フーリエ変換(参考:CG-ARTS協会:ディジタル画像処理:128P、2次元フーリエ変換)を行ってフーリエスペクトルを求めた後、低周波成分を示す中心からの距離が所定範囲となる環状領域内のスペクトルの和を、該距離を変化させながら算出することによって動径分布を求める。この動径分布において、距離が小さい部分は管内画像の低周波成分を示し、距離が大きい部分は管内画像の高周波成分を示す。一般に、高周波成分が少ない画像は、焦点ボケが大きい。
 図18は、画像処理装置6Aが行う処理の概要を示すフローチャートである。図18において、図15に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS31に続く処理を説明する。
 ステップS32Aにおいて、焦点ボケ解析部82は、管内画像の焦点ボケ状態を解析する(ステップS32A)。図19は、焦点ボケ解析部82が行う処理の概要を示すフローチャートである。以下、図19を参照して焦点ボケ解析部82の処理を説明する。まず、鏡面反射除外部821が、管内画像における鏡面反射を判別して除外する(ステップS51)。
 続いて、空間周波数解析部822が、管内画像の所定の成分に対して2次元フーリエ変換を行った後、2次元フーリエ変換によって得られた2次元フーリエスペクトルの動径分布を算出する(ステップS52)。
 最後に、焦点ボケ解析部82は、2次元フーリエスペクトルの動径分布を基に焦点ボケ状態を解析する(ステップS53)。具体的には、焦点ボケ解析部82は、管内画像中の高周波成分(動径分布で距離が大きい部分)が少ないほど、焦点ボケの度合いが大きいと判定する。
 ステップS32Aの後、特徴範囲別識別部51は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する(ステップS33)。
 続いて、統合判定部52は、焦点ボケの度合いに応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する(ステップS34A)。焦点ボケの度合いが大きい場合、被写体像は焦点ボケの度合いが小さい場合よりも広範囲の像となる。統合判定部52は、焦点ボケの度合いが大きいほど、特徴量算出範囲の大きな特徴量に基づく特定領域識別指標を重視して統合判定を行う。
 最後に、演算部7Aは、特定領域の検出結果を出力する(ステップS35)。これにより、画像処理装置6Aは、一連の処理を終了する。なお、ステップS32Aの焦点ボケ状態解析処理とステップS33の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した変形例2-1によれば、焦点ボケの度合いに応じて特徴量算出範囲の異なる複数の特定領域識別指標を統合判定するため、焦点ボケにより生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。
 なお、本変形例2-1において、管内撮影状況解析部8Aが、実施の形態2で説明した撮影距離推定部81をさらに有する構成としてもよい。この場合、統合判定部52は、撮影距離の遠近および焦点ボケの度合いに応じて統合判定を行う。
(変形例2-2)
 図20は、実施の形態2の変形例2-2に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6Bにおいて、図17に示す画像処理装置6Aと同様の機能を有する構成部位に対しては、図17と同様の符号を付してある。
 画像処理装置6Bは、演算部7Bと、記憶部3とを有する。演算部7Bは、管内撮影状況解析部8Bと、特定領域検出部5とを有する。
 管内撮影状況解析部8Bは、管内画像における動きブレを解析する動きブレ解析部83を有する。動きブレ解析部83は、鏡面反射除外部821と、空間周波数解析部831とを有する。
 空間周波数解析部831は、2次元フーリエスペクトルの角度分布および動径分布を算出する。具体的には、空間周波数解析部831は、管内画像の所定の成分(例えばG成分等)に対して、2次元フーリエ変換を行って2次元フーリエスペクトルを求めた後、低周波成分を示す中心を通る水平線に対する角度が所定範囲である扇状領域内のスペクトルの和を、該角度を変化させながら算出することで角度分布を求める。また、空間周波数解析部831は、変形例2-1で説明したのと同様の方法を角度が所定範囲である扇状領域内に用いることによって角度が所定範囲である扇状領域内の動径分布を求める。
 図21は、画像処理装置6Bが行う処理の概要を示すフローチャートである。図21において、図15に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS31に続く処理を説明する。
 ステップS32Bにおいて、動きブレ解析部83は、管内画像の動きブレ状態を解析する(ステップS32B)。図22は、動きブレ解析部83が行う処理の概要を示すフローチャートである。以下、図22を参照して動きブレ解析部83の処理を説明する。まず、鏡面反射除外部821が、管内画像における鏡面反射を除外する(ステップS61)。
 続いて、空間周波数解析部831が、2次元フーリエスペクトルの角度分布および動径分布を算出する(ステップS62)。
 動きブレ解析部83は、角度分布および動径分布を基に動きブレ状態を解析する(ステップS63)。具体的には、動きブレ解析部83は、角度分布を基に動きブレの方向を解析し、その解析結果にしたがって角度を絞った領域の動径分布を基に、動きブレ状態を解析する。例えば、動きブレが略一定の方向に生じた場合、その方向に対応する角度方向はスペクトルの分布が相対的に高く生じる。この場合、動きブレ解析部83は、スペクトルの分布が相対的に高い領域付近の動径分布を基に、動きブレの状態を解析する。
 内視鏡では、面順次方式と呼ばれる撮影方式がある。この場合、R、G、Bの照明光を時系列に沿って順次照射しながら、1つのイメージセンサーで撮影を行う。そのため、動きブレを生じる波長成分がどれか一つに限られる場合もあれば、波長成分間で生じる場合もある。したがって、面順次方式の場合、動きブレ解析部83は、R、G、Bの各波長成分で動きブレの解析を行うとともに、波長成分間で動きブレの解析を行う。波長成分間の動きブレの解析は、波長成分の画像の和をとって合成画像を生成し、この合成画像に対して上述した空間周波数解析等を行えばよい。
 ステップS32Bの後、特徴範囲別識別部51は、範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する(ステップS33)。
 続いて、統合判定部52は、動きブレの度合いに応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する(ステップS34B)。動きブレの度合いが大きい場合、被写体像は動きブレの度合いが小さい場合よりも広範囲の像となる。統合判定部52は、動きブレの度合いが大きいほど、特徴量算出範囲の大きな特徴量に基づく特定領域識別指標を重視して統合判定を行う。
 最後に、演算部7Bは、特定領域の検出結果を出力する(ステップS35)。これにより、画像処理装置6Bは、一連の処理を終了する。なお、ステップS32Bの動きブレ状態解析処理とステップS33の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した変形例2-2によれば、動きブレの状態(方向および度合い)に応じて、特徴量算出範囲の異なる複数の特定領域識別指標を統合判定するため、動きブレにより生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。
 なお、本変形例2-2では、必ずしも鏡面反射を除外する処理を行わなくてもよい。
 また、本変形例2-2において、管内撮影状況解析部8Bが、実施の形態2で説明した撮影距離推定部81および/または変形例2-1で説明した焦点ボケ解析部82をさらに有する構成としてもよい。この場合、統合判定部52は、撮影距離の遠近および/または焦点ボケの度合いならびに動きブレの度合いに応じて、統合判定を行う。
(変形例2-3)
 図23は、実施の形態2の変形例2-3に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6Cにおいて、図12に示す画像処理装置1Cおよび図14に示す画像処理装置6と同様の機能を有する構成部位に対しては、図12および図14と同様の符号を付してある。
 画像処理装置6Cは、演算部7Cと、記憶部3とを有する。演算部7Cは、管内撮影状況解析部8と、特定領域検出部5Cとを有する。
 特定領域検出部5Cは、特徴種類別識別部54と、統合判定部52とを有する。
 統合判定部52は、撮影距離の遠近に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する。複数箇所で算出した撮影距離の平均値が、所定の閾値未満となる場合、つまり、撮影距離が近い場合は、特定領域表面のテクスチャや輪郭線は明瞭に写る。この場合、統合判定部52は、テクスチャ特徴量または輪郭特徴量に基づく特定領域識別指標を重視して統合判定を行う。
 一方、撮影距離の平均値が、所定の閾値以上となる場合、つまり、撮影距離が遠い場合は、解像度の低下からテクスチャは不明瞭になるし、暗部ノイズ等の影響により輪郭線も不明瞭になり易い。ただし、色や画素値面形状は比較的、安定した状態を維持できる。そこで、統合判定部52は、色特徴量または画素値面形状特徴量に基づく特定領域識別指標を重視して判定する。
 なお撮影距離が近い場合、色成分の中で飽和する成分が生じ(特に生体ではR成分が飽和しやすい)、色バランスが崩れる可能性もある。このため、統合判定部52は、色特徴量に基づく特定領域識別指標を重視しないで判定するようにしてもよい。
 図24は、画像処理装置6Cが行う処理の概要を示すフローチャートである。図24において、図15に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS32に続く処理を説明する。
 ステップS33Cにおいて、特徴種類別識別部54は、種類の異なる特徴量に基づく複数の特定領域識別指標を算出する(ステップS33C)。
 この後、統合判定部52は、撮影距離の遠近に応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する(ステップS34)。
 最後に、演算部7Cは、特定領域の検出結果を出力する(ステップS35)。これにより、画像処理装置6Cは、一連の処理を終了する。なお、ステップS32の撮影距離推定処理とステップS33Cの特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した変形例2-3によれば、撮影距離の遠近に応じて、特徴量の種類の異なる複数の特定領域識別指標を統合判定するため、撮影距離の違いから生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。
 なお、本変形例2-3において、管内撮影状況解析部8の代わりに、焦点ボケ解析部82を有する管内撮影状況解析部8Aまたは動きブレ解析部83を有する管内撮影状況解析部8Bを具備させてもよい。
 管内撮影状況解析部8Aを具備させた場合、統合判定部52は、焦点ボケの度合いに応じて、重視する特定領域識別指標を変更して統合判定を行う。焦点ボケが小さい場合は、特定領域表面のテクスチャや輪郭線は明瞭に写る。この場合、統合判定部52は、テクスチャ特徴量または輪郭特徴量に基づく特定領域識別指標を重視して統合判定を行う。
 一方、焦点ボケが大きい場合、テクスチャや輪郭線は不明瞭になる。ただし、色や画素値面形状は比較的、安定した状態を維持できる。この場合、統合判定部52は、色特徴量または画素値面形状特徴量に基づく特定領域識別指標を重視して統合判定を行う。
 管内撮影状況解析部8Bを具備させた場合、統合判定部52は、動きブレの度合いに応じて、重視する特定領域識別指標を変更して統合判定を行う。例えば、動きブレの度合いが小さい場合は、特定領域表面のテクスチャや輪郭線は明瞭に写るので、統合判定部52は、テクスチャ特徴量または輪郭特徴量に基づく特定領域識別指標を重視して統合判定を行う。
 一方、動きブレが大きい場合は、テクスチャや輪郭線は不明瞭になる。ただし、色や画素値面形状は比較的、安定した状態を維持できる。この場合、統合判定部52は、色特徴量または画素値面形状特徴量に基づく特定領域識別指標を重視して判定する。
 なお、面順次方式の内視鏡で、動きブレが生じた場合には、色ズレが発生し、色特徴量も不安定となる。よって、この場合には、統合判定部52は、色特徴量に基づく特定領域識別指標を重視しないで判定してもよい。
 本変形例2-3において、管内撮影状況解析部8が、撮影距離推定部81、焦点ボケ解析部82、および動きブレ解析部83のうち任意の2つまたは全部を有する構成としてもよい。
(変形例2-4)
 図25は、実施の形態2の変形例2-4に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置6Dにおいて、図9に示す画像処理装置1Bおよび図20に示す画像処理装置6Bと同様の機能を有する構成部位に対しては、図9および図20と同様の符号を付してある。
 画像処理装置6Dは、演算部7Dと、記憶部3とを有する。演算部7Dは、管内撮影状況解析部8Bと、特定領域検出部5Bとを有する。
 図26は、画像処理装置6Dが行う処理の概要を示すフローチャートである。図26において、図21に示すフローチャートと同様の処理には同じステップ番号を付してある。以下、ステップS32Bに続く処理を説明する。
 ステップS33Dにおいて、形状方向別識別部53は、形状および/または方向が異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する(ステップS33D)。形状方向別識別部53は、例えば図10に示す特徴量算出領域群202を用いて複数の領域から特徴量を算出する。
 この後、統合判定部52は、動きブレの方向、度合いに応じて、重視する特定領域識別指標を変更して統合判定を行い、特定領域を検出する(ステップS34D)。動きブレが生じている場合、撮影対象は動きブレの方向に、動きブレの度合い(大きさ)だけ伸長した形で写る。この場合、統合判定部52は、動きブレの方向に、動きブレの度合いだけ伸長した形状の特徴量算出領域から算出した特徴量に基づく特定領域識別指標を重視して統合判定を行う。
 最後に、演算部7Dは、特定領域の検出結果を出力する(ステップS35)。これにより、画像処理装置6Dは、一連の処理を終了する。なお、ステップS32Bの動きブレ状態解析処理とステップS33Dの特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した変形例2-4によれば、動きブレの状態に応じて、特徴量算出領域の形状および/または方向の異なる複数の特定領域識別指標を統合判定するため、動きブレにより生じる画像の変化において、より有効な特徴量に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。
(実施の形態3)
 図27は、本発明の実施の形態3に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置9は、演算部10と、記憶部11とを有する。演算部10は、管内撮影状況解析部12と、特定領域検出部13とを有する。記憶部11は、パラメータ記憶部111を有する。
 管内撮影状況解析部12は、実施の形態1および2でそれぞれ説明した複数の管内撮影状況解析部のいずれか1つでもよいし、それらを適宜組み合わせたもので構成してもよい。
 特定領域検出部13は、異なる識別器に基づく複数の特定領域識別指標を算出する識別器別識別部131と、管内撮影状況と同等の管内撮影状況における教師データを基に作成した識別パラメータの識別器に基づく特定領域識別指標を重視して統合判定を行い、特定領域を検出する統合判定部132とを有する。
 識別器別識別部131は、まず画像内の任意の位置に特徴量算出領域を設定する。続いて、識別器別識別部131は、各特徴量算出領域内より特徴量を算出し、この特徴量を基に、異なる識別パラメータの識別器に基づく複数の特定領域識別指標を算出する。ここで識別パラメータとは、特徴空間における識別境界、管内撮影状況に応じた分布モデル、識別関数、代表パターン(テンプレート)等である。ここでいう同等とは、管内撮影状況解析部12での解析結果(深部の有無や方向、内壁勾配の大小や方向、撮影距離の遠近、焦点ボケの有無、動きブレの有無、等)が所定の誤差を許容しながらも、ほぼ同じになることを示す。実際には、予め得た複数の画像に対して管内撮影状況解析と同様の解析(この解析は、機械的な処理でも良いし、人手による作業でも良い)を行い、各解析結果の画像を特定した後、各々の解析結果の画像による教師データを基に、各々の解析結果に対応したパラメータを作成し、これらを使用して、複数の特定領域識別指標を算出する。
 例えば、管内壁を斜めから撮影した画像中で特定領域を検出するためには、管内壁を斜めから撮影した画像中に写る特定領域の教師データを基に作成した識別パラメータが適している。これに対し、管内壁を正面から撮影した画像中で特定領域を検出するためには、管内壁を正面から撮影した画像中に写る特定領域の教師データを基に作成した識別パラメータが適している。管深部領域や内壁勾配方向の違い、撮影距離の遠近、焦点ボケの度合い、動きブレの度合い等の管内撮影状況に関しても、同等の管内撮影状況における教師データを基に作成した識別パラメータが適している。また、複数の管内撮影状況が複合的に生じた場合には、その複合的な管内撮影状況に合った教師データを基に作成した識別パラメータが最も適している。本実施の形態3において、識別器別識別部131は、管内撮影状況の違いに応じた複数の識別パラメータを事前に作成しておき、特徴量算出領域から求めた特徴量(特徴ベクトル)に対して、これら複数の識別パラメータによる特定領域識別指標を算出する。
 記憶部11が有するパラメータ記憶部111は、複数の管内撮影状況にそれぞれ対応する複数の教師データを基に作成した識別パラメータを管内撮影状況と対応づけて記憶する。なお、識別パラメータを外部装置に記憶させておき、統合判定部132が外部装置からパラメータを取得して識別パラメータを取得するようにしてもよい。
 図28は、画像処理装置9が実行する処理の概要を示すフローチャートである。まず、演算部10が、処理対象である管内画像を取得する(ステップS71)。
 続いて、管内撮影状況解析部12は、管内画像の撮影状況を解析する(ステップS72)。
 この後、識別器別識別部131は、異なる識別パラメータの識別器に基づく複数の特定領域識別指標を算出する(ステップS73)。
 続いて、統合判定部132は、管内撮影状況と同等の管内撮影状況における教師データを基に作成した識別パラメータをパラメータ記憶部111から抽出し、該識別パラメータの識別器に基づく特定領域識別指標を重視して統合判定を行い、特定領域を検出する(ステップS74)。
 最後に、演算部10は、特定領域検出結果を出力する(ステップS75)。これにより、画像処理装置9は、一連の処理を終了する。なお、ステップS72の管内撮影状況解析処理とステップS73の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した本発明の実施の形態3によれば、管内撮影状況に応じて、異なる識別パラメータの識別器に基づく複数の特定領域識別指標を統合判定するため、管内撮影状況の違いから生じる画像の変化において、より有効な識別器に基づく特定領域識別指標を重視することができ、特定領域を精度よく検出することができる。
 なお、統合判定部132は、実施の形態1および2で説明した統合判定をさらに行ってもよい。
(実施の形態4)
 図29は、本発明の実施の形態4に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置14において、図3に示す画像処理装置1と同様の機能を有する構成部位に対しては、図3と同様の符号を付してある。
 画像処理装置14は、演算部15と、記憶部3とを有する。演算部15は、領域分割部16と、管内撮影状況解析部17と、特定領域検出部18とを有する。
 領域分割部16は、管内画像を領域分割する。領域分割の方法としては、所定サイズの矩形分割や、エッジに基づく領域分割(特開2012-238041号公報を参照)等の方法を挙げることができる。なお、矩形分割を行う場合には、矩形の一部を重ねて分割してもよい。
 管内撮影状況解析部17は、実施の形態1および2でそれぞれ説明した複数の管内撮影状況解析部のいずれか1つでもよいし、それらを適宜組み合わせたものでもよい。
 特定領域検出部18は、実施の形態1~3でそれぞれ説明した複数の特定領域検出部のいずれか1つでもよいし、それらを適宜組み合わせたものでもよい。
 図30は、画像処理装置14が実行する処理の概要を示すフローチャートである。まず、演算部15が、処理対象である管内画像を取得する(ステップS81)。
 続いて、領域分割部16は、管内画像を領域分割する(ステップS82)。
 この後、管内撮影状況解析部17は、各分割領域における管内撮影状況を解析する(ステップS83)。
 続いて、特定領域検出部18は、各分割領域において、複数の特定領域識別指標を算出する(ステップS84)。
 その後、特定領域検出部18は、各分割領域において、管内撮影状況に応じた特定領域識別指標の統合判定を行い、特定領域を検出する(ステップS85)。
 最後に、演算部15は、特定領域検出結果を出力する(ステップS86)。これにより、画像処理装置14は、一連の処理を終了する。なお、ステップS83の管内撮影状況解析処理とステップS84の特定領域識別指標算出処理の順序は逆でもよく、並行して行ってもよい。
 以上説明した本発明の実施の形態4によれば、分割領域毎に管内撮影状況に応じた特定領域の検出を行うため、特定領域を精度よく検出することができる。
(その他の実施の形態)
 ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1~4によってのみ限定されるべきものではない。例えば、生体用の内視鏡画像以外にも、CTコロノグラフィにおいて生成されるバーチャル内視鏡の管腔内画像や、工業用内視鏡によって撮影された管内画像に対して適用することも可能である。
 このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。
 1、1A、1B、1C、6、6A、6B、6C、6D、9、14 画像処理装置
 2、2A、2B、2C、7、7A、7B、7C、7D、10、15 演算部
 3、11 記憶部
 4、4A、8、8A、8B、12、17 管内撮影状況解析部
 5、5B、5C、13、18 特定領域検出部
 16 領域分割部
 41 管深部領域検出部
 42 内壁勾配算出部
 51 特徴範囲別識別部
 52、132 統合判定部
 53 形状方向別識別部
 54 特徴種類別識別部
 81 撮影距離推定部
 82 焦点ボケ解析部
 83 動きブレ解析部
 111 パラメータ記憶部
 131 識別器別識別部
 201 管内画像
 202 特徴量算出領域群
 411、811 低吸収波長成分選択部
 412 エッジ周辺領域除外部
 413 低画素値領域検出部
 421 画素値勾配算出部
 821 鏡面反射除外部
 822、831 空間周波数解析部

Claims (23)

  1.  管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析部と、
     前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出部と、
     を備えることを特徴とする画像処理装置。
  2.  前記特定領域検出部は、
     範囲の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する特徴範囲別識別部と、
     複数の特定領域識別指標のうち重視する特定領域識別指標を前記管内撮影状況に応じて変更して統合判定する統合判定部と、
     を有することを特徴とする請求項1に記載の画像処理装置。
  3.  前記管内撮影状況解析部は、
     前記管内画像中の管深部領域を検出する管深部領域検出部および前記管内画像内の管内壁の勾配を算出する内壁勾配算出部の少なくとも一方を有し、
     前記統合判定部は、
     前記管深部領域の存否および前記管内壁の勾配の少なくとも一方に応じて、重視する特定領域識別指標を変更して統合判定することを特徴とする請求項2に記載の画像処理装置。
  4.  前記統合判定部は、
     前記管深部領域が存在する場合、前記管深部領域が存在しない場合よりも算出範囲の大きな特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項3に記載の画像処理装置。
  5.  前記統合判定部は、
     前記管内壁の勾配が閾値以上である場合、前記管内壁の勾配が前記閾値未満である場合よりも算出範囲の大きな特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項3に記載の画像処理装置。
  6.  前記管内撮影状況解析部は、
     前記管内画像中の管内壁までの撮影距離を推定する撮影距離推定部、前記管内画像の焦点ボケの状態を解析する焦点ボケ解析部、および前記管内画像の動きブレの状態を解析する動きブレ解析部の少なくともいずれか一つを有し、
     前記統合判定部は、
     前記撮影距離、前記焦点ボケの状態、および前記動きブレの状態の少なくともいずれか一つに応じて、重視する前記特定領域識別指標を変更して統合判定する請求項2に記載の画像処理装置。
  7.  前記統合判定部は、
     前記撮影距離が大きいほど、前記焦点ボケの度合いが大きいほど、または前記動きブレの度合いが大きいほど、算出範囲の大きな特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項6に記載の画像処理装置。
  8.  前記特定領域検出部は、
     形状および/または方向の異なる複数の領域から算出した特徴量に基づく複数の特定領域識別指標を算出する形状方向別識別部と、
     前記複数の特定領域識別指標のうち重視する特定領域識別指標を、前記管内撮影状況に応じて変更して統合判定する統合判定部と、
     を有することを特徴とする請求項1に記載の画像処理装置。
  9.  前記管内撮影状況解析部は、
     前記管内画像中から管深部領域を検出する管深部領域検出部および前記管内画像中の管内壁の勾配を算出する内壁勾配算出部の少なくとも一方を有し、
     前記統合判定部は、
     前記管深部領域の方向および前記管内壁の勾配の方向の少なくとも一方に応じて、重視する前記特定領域識別指標を変更して統合判定することを特徴とする請求項8に記載の画像処理装置。
  10.  前記統合判定部は、
     前記管深部領域の方向または前記管内壁の勾配の方向と直交する方向に長めの算出領域形状の特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項9に記載の画像処理装置。
  11.  前記管内撮影状況解析部は、
     前記管内画像の動きブレの状態を解析する動きブレ解析部を有し、
     前記統合判定部は、
     前記動きブレの状態に応じて、重視する前記特定領域識別指標を変更して統合判定することを特徴とする請求項8に記載の画像処理装置。
  12.  前記特定領域検出部は、
     色、輪郭、画素値面形状、テクスチャの何れかに類別される種類の異なる特徴量に基づく複数の特定領域識別指標を算出する特徴種類別識別部と、
     前記複数の特定領域識別指標のうち重視する特定領域識別指標を、前記管内撮影状況に応じて変更して統合判定する統合判定部と、
     を有することを特徴とする請求項1に記載の画像処理装置。
  13.  前記管内撮影状況解析部は、
     前記管内画像中の管深部領域を検出する管深部領域検出部および前記管内画像中の管内壁の勾配を算出する内壁勾配算出部の少なくとも一方を有し、
     前記統合判定部は、
     前記管深部領域の存否および前記管内壁の勾配のいずれか一方に応じて、重視する前記特定領域識別指標を変更して統合判定することを特徴とする請求項12に記載の画像処理装置。
  14.  前記統合判定部は、
     前記管深部領域が存在する場合、または前記管内壁の勾配が所定値以上である場合、輪郭特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項13に記載の画像処理装置。
  15.  前記統合判定部は、
     前記管深部領域が存在しない場合、または前記管内壁の勾配が所定値未満である場合、画素値面形状特徴量またはテクスチャ特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項13に記載の画像処理装置。
  16.  前記管内撮影状況解析部は、
     前記管内画像中の前記管内壁までの撮影距離を推定する撮影距離推定部、前記管内画像の焦点ボケの状態を解析する焦点ボケ解析部、および前記管内画像の動きブレの状態を解析する動きブレ解析部の少なくともいずれか一つを有し、
     前記統合判定部は、
     前記撮影距離、前記焦点ボケの状態、および前記動きブレの状態の少なくともいずれか一つに応じて、重視する前記特定領域識別指標を変更して統合判定することを特徴とする請求項12に記載の画像処理装置。
  17.  前記統合判定部は、
     前記撮影距離が大きい場合、前記焦点ボケの度合いが所定の度合い以上である場合、または前記動きブレの度合いが所定の度合い以上である場合、色特徴量または画素値面形状特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項16に記載の画像処理装置。
  18.  前記統合判定部は、
     前記撮影距離が小さい場合、前記焦点ボケの度合いが所定の度合いより小さい場合、または動きブレの度合いが所定の度合いより小さい場合、テクスチャ特徴量に基づく前記特定領域識別指標を重視することを特徴とする請求項16に記載の画像処理装置。
  19.  前記特定領域検出部は、
     異なる複数の識別器に基づく複数の特定領域識別指標を算出する識別器別識別部と、
     前記複数の特定領域識別指標のうち重視する特定領域識別指標を、前記管内撮影状況に応じて変更して統合判定する統合判定部と、
     を有することを特徴とする請求項1に記載の画像処理装置。
  20.  前記統合判定部は、
     解析した管内撮影状況と同等の管内撮影状況における教師データを基に作成した識別パラメータの識別器に基づく前記特定領域識別指標を重視することを特徴とする請求項19に記載の画像処理装置。
  21.  前記管内画像を領域分割する領域分割部をさらに備え、
     前記統合判定部は、
     前記領域分割部が分割した領域毎に、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出することを特徴とする請求項1に記載の画像処理装置。
  22.  管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、
     前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出ステップと、
     を含むことを特徴とする画像処理方法。
  23.  管内を撮影した管内画像において、被写体と該被写体を撮影する側との関係に基づいて定まる管内撮影状況を解析する管内撮影状況解析ステップと、
     前記管内画像に対する複数の特定領域識別指標を算出し、前記管内撮影状況に応じた特定領域識別指標の統合判定により特定領域を検出する特定領域検出ステップと、
     をコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2015/062428 2015-04-23 2015-04-23 画像処理装置、画像処理方法および画像処理プログラム WO2016170656A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2015/062428 WO2016170656A1 (ja) 2015-04-23 2015-04-23 画像処理装置、画像処理方法および画像処理プログラム
DE112015006378.1T DE112015006378T5 (de) 2015-04-23 2015-04-23 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
CN201580079117.6A CN107529963B (zh) 2015-04-23 2015-04-23 图像处理装置、图像处理方法和存储介质
JP2017513916A JP6598850B2 (ja) 2015-04-23 2015-04-23 画像処理装置、画像処理方法および画像処理プログラム
US15/787,759 US10540765B2 (en) 2015-04-23 2017-10-19 Image processing device, image processing method, and computer program product thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/062428 WO2016170656A1 (ja) 2015-04-23 2015-04-23 画像処理装置、画像処理方法および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/787,759 Continuation US10540765B2 (en) 2015-04-23 2017-10-19 Image processing device, image processing method, and computer program product thereon

Publications (1)

Publication Number Publication Date
WO2016170656A1 true WO2016170656A1 (ja) 2016-10-27

Family

ID=57142983

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/062428 WO2016170656A1 (ja) 2015-04-23 2015-04-23 画像処理装置、画像処理方法および画像処理プログラム

Country Status (5)

Country Link
US (1) US10540765B2 (ja)
JP (1) JP6598850B2 (ja)
CN (1) CN107529963B (ja)
DE (1) DE112015006378T5 (ja)
WO (1) WO2016170656A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180206A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
EP3590412A4 (en) * 2017-03-03 2020-06-03 Fujifilm Corporation ENDOSCOPE SYSTEM, PROCESSOR DEVICE AND ENDOSCOPE SYSTEM OPERATING METHOD
WO2021039441A1 (ja) * 2019-08-23 2021-03-04 ライトタッチテクノロジー株式会社 生体組織の識別方法、生体組織識別装置、および生体組織識別プログラム
WO2021054419A1 (ja) * 2019-09-20 2021-03-25 株式会社Micotoテクノロジー 内視鏡画像処理システム及び内視鏡画像処理方法
WO2023144936A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 画像判定装置、画像判定方法、及び、記録媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064934A (zh) * 2019-12-30 2020-04-24 元力(天津)科技有限公司 一种医用影像处理系统及方法
CN111709912A (zh) * 2020-05-18 2020-09-25 北京配天技术有限公司 一种圆弧边缘检测方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073953A (ja) * 2010-09-29 2012-04-12 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2013039344A (ja) * 2011-08-15 2013-02-28 Toshiba Corp 医用画像処理装置、医用画像処理方法および異常検出プログラム
WO2013180147A1 (ja) * 2012-05-31 2013-12-05 オリンパス株式会社 内視鏡装置
JP2014104293A (ja) * 2012-11-29 2014-06-09 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
WO2014103237A1 (ja) * 2012-12-25 2014-07-03 富士フイルム株式会社 画像処理装置および画像処理方法、並びに画像処理プログラム
JP2014188223A (ja) * 2013-03-27 2014-10-06 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2015008782A (ja) * 2013-06-27 2015-01-19 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4885388B2 (ja) 2001-09-25 2012-02-29 オリンパス株式会社 内視鏡挿入方向検出方法
JP4891637B2 (ja) 2006-03-14 2012-03-07 オリンパスメディカルシステムズ株式会社 画像解析装置
JP5658931B2 (ja) 2010-07-05 2015-01-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US9412054B1 (en) * 2010-09-20 2016-08-09 Given Imaging Ltd. Device and method for determining a size of in-vivo objects
JP5771442B2 (ja) 2011-05-09 2015-08-26 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN103747718B (zh) * 2012-03-21 2016-03-30 奥林巴斯株式会社 图像处理装置
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6265588B2 (ja) * 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012073953A (ja) * 2010-09-29 2012-04-12 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2013039344A (ja) * 2011-08-15 2013-02-28 Toshiba Corp 医用画像処理装置、医用画像処理方法および異常検出プログラム
WO2013180147A1 (ja) * 2012-05-31 2013-12-05 オリンパス株式会社 内視鏡装置
JP2014104293A (ja) * 2012-11-29 2014-06-09 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
WO2014103237A1 (ja) * 2012-12-25 2014-07-03 富士フイルム株式会社 画像処理装置および画像処理方法、並びに画像処理プログラム
JP2014188223A (ja) * 2013-03-27 2014-10-06 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2015008782A (ja) * 2013-06-27 2015-01-19 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3590412A4 (en) * 2017-03-03 2020-06-03 Fujifilm Corporation ENDOSCOPE SYSTEM, PROCESSOR DEVICE AND ENDOSCOPE SYSTEM OPERATING METHOD
US11259692B2 (en) 2017-03-03 2022-03-01 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
WO2018180206A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
JPWO2018180206A1 (ja) * 2017-03-30 2019-12-26 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2021039441A1 (ja) * 2019-08-23 2021-03-04 ライトタッチテクノロジー株式会社 生体組織の識別方法、生体組織識別装置、および生体組織識別プログラム
WO2021054419A1 (ja) * 2019-09-20 2021-03-25 株式会社Micotoテクノロジー 内視鏡画像処理システム及び内視鏡画像処理方法
WO2023144936A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 画像判定装置、画像判定方法、及び、記録媒体

Also Published As

Publication number Publication date
CN107529963A (zh) 2018-01-02
US10540765B2 (en) 2020-01-21
CN107529963B (zh) 2020-06-12
DE112015006378T5 (de) 2017-12-14
US20180040127A1 (en) 2018-02-08
JPWO2016170656A1 (ja) 2018-02-15
JP6598850B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
JP6598850B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11514270B2 (en) Speckle contrast analysis using machine learning for visualizing flow
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP7188514B2 (ja) 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
US9324153B2 (en) Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program
US10004448B2 (en) Osteoporosis diagnostic support apparatus
WO2014115371A1 (ja) 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP6422198B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
TW201131512A (en) Distance evaluation methods and apparatuses, and machine readable medium thereof
JP6704933B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2016194177A1 (ja) 画像処理装置、内視鏡装置及び画像処理方法
JP6603709B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6664486B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP7228341B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN112712499B (zh) 一种物体检测方法、装置以及计算机可读存储介质
JP2015084894A (ja) 心胸郭比算出装置
CN118229555B (zh) 一种图像融合方法、装置、设备及计算机可读存储介质
JP2009129221A (ja) 画像のぼけ量測定装置、ぼけ量測定方法、および、ぼけ量測定プログラム
TWI590807B (zh) Image processing device and image processing program
JP2013092884A (ja) 画像処理装置、方法、及びプログラム
JP2003067741A (ja) 画像処理装置及び画像処理方法
Leroy et al. An efficient method for monocular depth from defocus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15889895

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017513916

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112015006378

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15889895

Country of ref document: EP

Kind code of ref document: A1