Nothing Special   »   [go: up one dir, main page]

WO2024018713A1 - 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム - Google Patents

画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム Download PDF

Info

Publication number
WO2024018713A1
WO2024018713A1 PCT/JP2023/016141 JP2023016141W WO2024018713A1 WO 2024018713 A1 WO2024018713 A1 WO 2024018713A1 JP 2023016141 W JP2023016141 W JP 2023016141W WO 2024018713 A1 WO2024018713 A1 WO 2024018713A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lumen
region
divided
image processing
Prior art date
Application number
PCT/JP2023/016141
Other languages
English (en)
French (fr)
Inventor
正明 大酒
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024018713A1 publication Critical patent/WO2024018713A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the technology of the present disclosure relates to an image processing device, a display device, an endoscope device, an image processing method, an image processing program, a learned model, a learned model generation method, and a learned model generation program.
  • Patent No. 4077716 discloses an endoscope insertion direction detection device.
  • the endoscope insertion direction detection device includes an image input means for inputting an endoscopic image from an endoscope inserted into a body cavity, and a pixel of a predetermined density value from the endoscopic image input by the image input means.
  • a pixel extraction means for extracting a pixel for which the gradient of the rate of change in density value with respect to neighboring pixels has a predetermined value among the pixels forming an endoscopic image, and a pixel extracted by the pixel extraction means.
  • a region shape estimating means for determining the shape of the specific region in which the endoscope is inserted; and an insertion direction determining means for determining the direction in which the endoscope is inserted into the body cavity from the shape of the specific region determined by the region shape estimating means.
  • Japanese Patent No. 5687583 discloses a method for detecting the insertion direction of an endoscope.
  • the endoscope insertion direction detection method includes a first step of inputting an endoscopic image, and based on the endoscopic image, a brightness gradient in the endoscopic image, a shape of halation in the endoscopic image, a first detection step that performs processing to detect the direction of insertion of the endoscope based on any one of the following: movement of the field of view of the endoscope image; and detection of the direction of insertion of the endoscope by the first detection step.
  • a determination step of determining whether or not the direction of insertion of the endoscope has been detected a determination step of determining whether or not the direction of insertion of the endoscope has been detected; , a first detection step for detecting the insertion direction of the endoscope based on any one of the shape of halation in the endoscopic image and the movement of the visual field of the endoscopic image, which is different from the first detection step. and a second detection step that performs processing different from the detection step.
  • One embodiment of the technology of the present disclosure includes an image processing device, a display device, an endoscope device, an image processing method, an image processing program, a learned model, and a learned model that realize the output of accurate luminal direction information.
  • a generation method and a trained model generation program are provided.
  • a first aspect of the technology of the present disclosure includes a processor, and the processor is configured to divide an image into a plurality of divided regions into which a tubular organ is imaged by a camera provided on an endoscope.
  • the lumen direction which is the direction for inserting the endoscope, is acquired from the image according to a trained model obtained by machine learning based on the positional relationship with the lumen corresponding area included in the image, and the lumen direction is determined.
  • This is an image processing device that outputs lumen direction information, which is information indicating the direction of the lumen.
  • a second aspect of the technology of the present disclosure is the image processing device according to the first aspect, in which the lumen-corresponding area is a predetermined area including the lumen area within the image.
  • a third aspect according to the technology of the present disclosure is according to the first aspect, wherein the lumen corresponding region is an end of the observation range by the camera in the direction in which the position of the lumen region is estimated from the fold region in the image. It is an image processing device.
  • a fourth aspect according to the technology of the present disclosure is any one of the first to third aspects, in which, among the plurality of divided regions, the direction of the divided region that overlaps with the lumen corresponding region is the lumen direction.
  • 1 is an image processing device according to one embodiment.
  • the learned model is a data structure configured to cause a processor to estimate the position of the lumen region based on the shape and/or orientation of the fold region in the image.
  • a sixth aspect of the technology of the present disclosure is that the lumen direction is the direction in which the divided region having the largest area that overlaps with the lumen corresponding region in the image exists among the plurality of divided regions.
  • a seventh aspect of the technology of the present disclosure is that, in the luminal direction, there is a first divided region that is a divided region having the largest area that overlaps with the lumen corresponding region in the image among the plurality of divided regions. and the direction in which the second divided region, which is a divided region with a large area that overlaps with the lumen corresponding region after the first divided region, exists.
  • 1 is an image processing device according to an embodiment.
  • An eighth aspect according to the technology of the present disclosure is the first to seventh aspects, wherein the divided area has a central area of the image and a plurality of radial areas that exist radially from the central area toward the outer edge of the image.
  • An image processing device according to any one of the embodiments.
  • a ninth aspect according to the technology of the present disclosure is the image processing device according to the eighth aspect, in which eight radial regions exist radially.
  • a tenth aspect according to the technology of the present disclosure is any one of the first to seventh aspects, in which the divided area has a central area of the image and a plurality of peripheral areas that are closer to the outer edge of the image than the central area.
  • 1 is an image processing device according to one aspect.
  • An eleventh aspect according to the technology of the present disclosure is the first to seventh aspects, in which the divided area is obtained by dividing the image into areas in three or more directions starting from the center of the image and moving toward the outer edge of the image.
  • An image processing device according to any one of the embodiments.
  • the divided region has a central region of the image and a plurality of peripheral regions that are closer to the outer edge of the image than the central region, and the peripheral region is located closer to the outer edge of the image than the central region.
  • information according to the luminal direction information output by the processor of the image processing device according to any one of the first to twelfth aspects is displayed. It is a display device.
  • a fourteenth aspect according to the technology of the present disclosure is an endoscope apparatus including the image processing apparatus according to any one of the first to twelfth aspects and an endoscope.
  • a fifteenth aspect of the technology of the present disclosure provides a plurality of divided regions into which an image obtained by imaging a tubular organ with a camera provided in an endoscope scope corresponds to a lumen included in the image.
  • Obtaining the lumen direction which is the direction for inserting the endoscope, from the image according to a trained model obtained by machine learning based on the positional relationship with the region, and information indicating the lumen direction.
  • This is an image processing method including outputting lumen direction information.
  • a 16th aspect of the technology of the present disclosure is to perform image processing in the first computer by dividing a plurality of images obtained by imaging a tubular organ with a camera installed in an endoscope.
  • the lumen direction which is the direction for inserting the endoscope, from the image according to a trained model obtained by machine learning based on the positional relationship between the divided regions and the lumen corresponding region included in the image.
  • This is an image processing program for executing image processing including outputting lumen direction information, which is information indicating the lumen direction.
  • a seventeenth aspect of the technology of the present disclosure provides a plurality of divided regions into which an image obtained by imaging a tubular organ with a camera installed in an endoscope scope corresponds to a lumen included in the image. This is a trained model obtained by machine learning based on the positional relationship with the area.
  • An eighteenth aspect of the technology of the present disclosure is to obtain an image obtained by imaging a tubular organ with a camera provided in an endoscope, and to divide the image into a model.
  • This is a learned model generation method that includes performing machine learning based on the positional relationship between a plurality of divided regions and a lumen corresponding region included in the image.
  • a nineteenth aspect of the technology of the present disclosure is a learned model generation process in which the second computer acquires an image obtained by imaging a tubular organ with a camera installed in an endoscope. and performing machine learning on the model based on the positional relationship between the multiple divided regions into which the image is divided and the lumen corresponding region included in the image. It is a complete model generation program.
  • FIG. 1 is a conceptual diagram showing an example of a mode in which an endoscope system is used.
  • FIG. 1 is a conceptual diagram showing an example of the overall configuration of an endoscope system.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of an endoscope device.
  • FIG. 1 is a block diagram showing an example of the configuration of an endoscope device.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of an information processing device.
  • FIG. 2 is a conceptual diagram illustrating an example of processing contents of a calculation unit of the information processing device.
  • FIG. 2 is a conceptual diagram illustrating an example of processing contents of a calculation unit of the information processing device.
  • FIG. 1 is a conceptual diagram showing an example of the overall configuration of an endoscope system.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of an endoscope device.
  • FIG. 1 is a block diagram showing an example of the configuration of an endoscope device.
  • FIG. 2 is a
  • FIG. 2 is a conceptual diagram illustrating an example of processing contents of a teacher data generation unit and a learning execution unit of the information processing device. It is a conceptual diagram which shows an example of the processing content of the lumen direction estimation part of a control device. It is a conceptual diagram which shows an example of the processing content of a lumen direction estimation part, an information generation part, and a display control part of a control device. It is a conceptual diagram which shows an example of the processing content of a lumen direction estimation part, an information generation part, and a display control part of a control device. It is a flowchart which shows an example of the flow of machine learning processing. It is a flowchart which shows an example of the flow of endoscopic image processing.
  • CPU is an abbreviation for "Central Processing Unit”.
  • GPU is an abbreviation for “Graphics Processing Unit.”
  • RAM is an abbreviation for “Random Access Memory.”
  • NVM is an abbreviation for “Non-volatile memory.”
  • EEPROM is an abbreviation for “Electrically Erasable Programmable Read-Only Memory.”
  • ASIC is an abbreviation for “Application Specific Integrated Circuit.”
  • PLD is an abbreviation for “Programmable Logic Device”.
  • FPGA is an abbreviation for "Field-Programmable Gate Array.”
  • SoC is an abbreviation for “System-on-a-chip.”
  • SSD is an abbreviation for “Solid State Drive.”
  • USB is an abbreviation for “Universal Serial Bus.”
  • HDD is an abbreviation for “Hard Disk Drive.”
  • EL is an abbreviation for "Electro-Luminescence”.
  • CMOS is an abbreviation for “Complementary Metal Oxide Semiconductor.”
  • CCD is an abbreviation for “Charge Coupled Device”.
  • BLI is an abbreviation for “Blue Light Imaging.”
  • LCI is an abbreviation for "Linked Color Imaging.”
  • CNN is an abbreviation for "Convolutional neural network.”
  • AI is an abbreviation for “Artificial Intelligence.”
  • an endoscope system 10 includes an endoscope device 12. As shown in FIG. 1 as an example, an endoscope system 10 includes an endoscope device 12. As shown in FIG. The endoscopic device 12 is used by a doctor 14 in endoscopy. Furthermore, at least one auxiliary staff member 16 (for example, a nurse, etc.) assists the doctor 14 in performing the endoscopic examination. In the following, if there is no need to distinguish between the doctor 14 and the auxiliary staff 16, they will also be referred to as "users" without any reference numerals.
  • the endoscopic device 12 is equipped with an endoscopic scope 18 and is a device for performing medical treatment on the inside of the body of a subject 20 (for example, a patient) via the endoscopic scope 18.
  • the endoscope device 12 is an example of an “endoscope device” according to the technology of the present disclosure.
  • the endoscope 18 captures an image showing the inside of the body of the subject 20 using a camera 38 (see FIG. 2), which will be described later. Then, the endoscope 38 outputs an image showing the inside of the body.
  • FIG. 1 shows a mode in which the endoscope 18 is inserted into the body cavity of the subject 20 through the anus. In the example shown in FIG. 1, the endoscope 18 is inserted into the body cavity from the anus of the subject 20, but this is just an example, and the endoscope 18 is inserted into the body cavity from the mouth of the subject 20.
  • the endoscope 18 may be inserted into the body cavity through a nostril, a perforation, or the like, and the location where the endoscope 18 is inserted is determined by the type of the endoscope 18 and the surgical procedure in which the endoscope 18 is used.
  • the display device 22 displays various information including images.
  • An example of the display device 22 is a liquid crystal display, an EL display, or the like.
  • a plurality of screens are displayed side by side on the display device 22.
  • screens 24 and 26 are shown as examples of a plurality of screens.
  • the display device 22 is an example of a “display device” according to the technology of the present disclosure.
  • An endoscopic image 28 is displayed on the screen 24.
  • the endoscopic image 28 is an image obtained by capturing an image of an observation target region within the body cavity of the subject 20 by a camera 38 (see FIG. 2) provided on the endoscope 18.
  • the area to be observed includes the inner wall of the large intestine.
  • the inner wall of the large intestine is just one example, and may be the inner wall or outer wall of other parts such as the small intestine, duodenum, or stomach.
  • the endoscopic image 28 displayed on the screen 24 is one frame included in a moving image that includes multiple frames. That is, a plurality of frames of the endoscopic image 28 are displayed on the screen 24 at a predetermined frame rate (for example, 30 frames/second or 60 frames/second).
  • a predetermined frame rate for example, 30 frames/second or 60 frames/second.
  • subject identification information 29 is displayed on the screen 26.
  • the subject identification information 29 is information regarding the subject 20.
  • the subject identification information 29 includes, for example, the name of the subject 20, the age of the subject 20, and an identification number by which the subject 20 can be identified.
  • the endoscope 18 includes an operating section 32 and an insertion section 34.
  • the operation unit 32 includes a rotation operation knob 32A, an air/water supply button 32B, and a suction button 32C.
  • the insertion portion 34 is formed into a tubular shape. The outer contour of the insertion portion 34 in a cross-sectional view is circular. The insertion portion 34 partially curves or rotates around the axis of the insertion portion 34 when the rotation operation knob 32A of the operation portion 32 is operated. As a result, the insertion section 34 curves depending on the shape inside the body (for example, the shape of a tubular organ) or rotates around the axis of the insertion section 34 depending on the location inside the body. sent. Further, when the air/water supply button 32B is operated, water or air is sent into the body from the distal end 36, and when the suction button 32C is operated, water or air inside the body is sucked.
  • the distal end portion 36 is provided with a camera 38, an illumination device 40, and a treatment instrument opening 42.
  • the camera 38 images the inside of the tubular organ using an optical method.
  • An example of the camera 38 is a CMOS camera. However, this is just an example, and other types of cameras such as a CCD camera may be used.
  • the camera 38 is an example of a "camera" according to the technology of the present disclosure.
  • the lighting device 40 has a lighting window 40A and a lighting window 40B.
  • the illumination device 40 emits light through the illumination window 40A and the illumination window 40B.
  • Examples of the types of light emitted from the lighting device 40 include visible light (eg, white light, etc.), non-visible light (eg, near-infrared light, etc.), and/or special light.
  • Examples of the special light include BLI light and/or LCI light.
  • the treatment tool opening 42 is an opening for allowing the treatment tool to protrude from the distal end portion 36. Furthermore, the treatment instrument opening 42 also functions as a suction port for sucking blood, body waste, and the like.
  • the treatment instrument is inserted into the insertion section 34 from the treatment instrument insertion port 45. The treatment instrument passes through the insertion section 34 and projects to the outside from the treatment instrument opening 42. Examples of treatment instruments include puncture needles, wires, scalpels, grasping forceps, guide sheaths, and ultrasound probes.
  • the endoscope device 12 includes a control device 46 and a light source device 48.
  • the endoscope 18 is connected to a control device 46 and a light source device 48 via a cable 50.
  • the control device 46 is a device that controls the entire endoscope device 12.
  • the light source device 48 is a device that emits light under the control of the control device 46 and supplies light to the lighting device 40.
  • the control device 46 is provided with a plurality of hard keys 52.
  • the plurality of hard keys 52 accept instructions from the user.
  • a touch panel 54 is provided on the screen of the display device 22 .
  • the touch panel 54 is electrically connected to the control device 46 and receives instructions from the user.
  • the display device 22 is also electrically connected to the control device 46 .
  • the control device 46 includes a computer 56.
  • the computer 56 is an example of an "image processing device” and a "first computer” according to the technology of the present disclosure.
  • Computer 56 includes a processor 58, RAM 60, and NVM 62, and processor 58, RAM 60, and NVM 62 are electrically connected.
  • the processor 58 is an example of a "processor" according to the technology of the present disclosure.
  • the control device 46 includes a hard key 52 and an external I/F 64.
  • Hard keys 52, processor 58, RAM 60, NVM 62, and external I/F 64 are connected to bus 65.
  • the processor 58 includes a CPU and a GPU, and controls the entire control device 46.
  • the GPU operates under the control of the CPU and is responsible for executing various graphics-related processes.
  • the processor 58 may be one or more CPUs with integrated GPU functionality, or may be one or more CPUs without integrated GPU functionality.
  • the RAM 60 is a memory in which information is temporarily stored, and is used by the processor 58 as a work memory.
  • the NVM 62 is a nonvolatile storage device that stores various programs, various parameters, and the like.
  • An example of NVM 62 includes flash memory (eg, EEPROM and/or SSD). Note that the flash memory is just an example, and may be other non-volatile storage devices such as an HDD, or a combination of two or more types of non-volatile storage devices.
  • the hard keys 52 accept instructions from the user and output signals indicating the accepted instructions to the processor 58. As a result, the instruction accepted by the hard key 52 is recognized by the processor 58.
  • the external I/F 64 is in charge of exchanging various information between a device existing outside the control device 46 (hereinafter also referred to as an "external device") and the processor 58.
  • An example of the external I/F 64 is a USB interface.
  • the endoscope scope 18 is connected to the external I/F 64 as one of the external devices, and the external I/F 64 controls exchange of various information between the endoscope scope 18 and the processor 58.
  • the processor 58 controls the endoscope 18 via the external I/F 64. Further, the processor 58 acquires an endoscopic image 28 (see FIG. 1) obtained by imaging the inside of the tubular organ by the camera 38 via the external I/F 64.
  • a light source device 48 is connected to the external I/F 64 as one of the external devices, and the external I/F 64 controls the exchange of various information between the light source device 48 and the processor 58.
  • Light source device 48 supplies light to lighting device 40 under the control of processor 58 .
  • the illumination device 40 emits light supplied from the light source device 48.
  • a display device 22 is connected to the external I/F 64 as one of the external devices, and the processor 58 displays various information to the display device 22 by controlling the display device 22 via the external I/F 76. Display.
  • a touch panel 54 is connected to the external I/F 64 as one of the external devices, and the processor 58 acquires instructions accepted by the touch panel 54 via the external I/F 64.
  • An information processing device 66 is connected to the external I/F 64 as one of the external devices.
  • An example of the information processing device 66 is a server. Note that the server is merely an example, and the information processing device 66 may be a personal computer.
  • the external I/F 64 is in charge of exchanging various information between the information processing device 66 and the processor 58.
  • the processor 58 requests the information processing device 66 to provide a service via the external I/F 64, or acquires the learned model 116 (see FIG. 4) from the information processing device 66 via the external I/F 64. or
  • the endoscope 18 when the inside of a tubular organ (for example, the large intestine) in the body is observed using the camera 38 provided on the endoscope 18, the endoscope 18 is inserted along the lumen. In this case, it may be difficult for the user to understand the lumen direction, which is the direction in which the endoscope 18 is inserted. Furthermore, if the endoscope 18 is inserted in a direction different from the lumen direction, the endoscope 18 will hit the inner wall of the tubular organ, imposing an unnecessary burden on the subject 20 (for example, the patient). It also happens.
  • a tubular organ for example, the large intestine
  • the processor 58 of the control device 46 performs endoscopic image processing.
  • the NVM 62 stores an endoscopic image processing program 62A.
  • the processor 58 reads the endoscopic image processing program 62A from the NVM 62 and executes the read endoscopic image processing program 62A on the RAM 60.
  • Endoscopic image processing is realized by the processor 58 operating as a lumen direction estimation section 58A, an information generation section 58B, and a display control section 58C according to an endoscope image processing program 62A executed on the RAM 60.
  • machine learning processing is performed by the processor 78 (see FIG. 5) of the information processing device 66.
  • the information processing device 66 is a device used for machine learning.
  • the information processing device 66 is used by an annotator 76 (see FIG. 6).
  • the annotator 76 refers to a worker who adds annotations for machine learning to given data (that is, a worker who performs labeling).
  • the information processing device 66 includes a computer 70, a reception device 72, a display 74, and an external I/F 76.
  • the computer 70 is an example of a "second computer" according to the technology of the present disclosure.
  • the computer 70 includes a processor 78, an NVM 80, and a RAM 82.
  • Processor 78, NVM 80, and RAM 82 are connected to bus 84.
  • the reception device 72 , the display 74 , and the external I/F 76 are also connected to the bus 84 .
  • the processor 78 controls the entire information processing device 66.
  • the processor 78, NVM 80, and RAM 82 are hardware resources similar to the processor 58, NVM 62, and RAM 60 described above.
  • the reception device 72 receives instructions from the annotator 76.
  • Processor 78 operates according to instructions received by receiving device 72 .
  • the external I/F 76 is a hardware resource similar to the external I/F 64 described above.
  • the external I/F 76 is connected to the external I/F 64 of the endoscope apparatus 12 and controls the exchange of various information between the endoscope apparatus 12 and the processor 78.
  • a machine learning processing program 80A is stored in the NVM 80.
  • the processor 78 reads the machine learning processing program 80A from the NVM 80 and executes the read machine learning processing program 80A on the RAM 82.
  • the processor 78 performs machine learning processing according to a machine learning processing program 80A executed on the RAM 82.
  • the machine learning process is realized by the processor 78 operating as the calculation unit 86, the teacher data generation unit 88, and the learning execution unit 90 according to the machine learning processing program 80A.
  • the machine learning processing program 80A is an example of a "learned model generation program" according to the technology of the present disclosure.
  • the calculation unit 86 displays the endoscopic image 28 on the display 74.
  • the endoscopic image 28 is, for example, an image acquired in a past medical examination and/or treatment, and is an image stored in advance in the NVM 80, but this is just an example.
  • the endoscopic image 28 may be an image stored in an image server (not shown) as an external device, and may be an image acquired via the external I/F 76 (see FIG. 5).
  • the annotator 76 asks the computer 70 via the reception device 72 (for example, the keyboard 72A and/or the mouse 72B) to determine the lumen in the endoscopic image 28.
  • the corresponding area 94 is designated.
  • the annotator 76 specifies the lumen region 28A in the endoscopic image 28 displayed on the display 74 using a pointer (not shown).
  • the lumen region 28A refers to an image region showing a lumen in the endoscopic image 28.
  • the calculation unit 86 recognizes the lumen corresponding region 94 specified by the annotator 76 via the receiving device 72.
  • the lumen corresponding region 94 is a predetermined range (for example, a range of 64 pixels radius from the center of the lumen region 28A) including the lumen region 28A in the endoscopic image 28.
  • the lumen corresponding area 94 is an example of a "lumen corresponding area” according to the technology of the present disclosure.
  • a plurality of divided regions 96 are obtained by virtually dividing the endoscopic image 28 by the calculation unit 86.
  • the divided area 96 is an example of a "divided area" according to the technology of the present disclosure.
  • the lumen corresponding region 94 is a region that includes the lumen region 28A in the endoscopic image 28 and is large enough to be inscribed in a divided region 96, which will be described later.
  • the endoscopic image 28 is divided into a central region 96A and eight radial regions 96B.
  • the central region 96A is, for example, a circular region centered on the center C in the endoscopic image 28.
  • the radial region 96B is a region that exists radially from the central region 96A toward the outer edge of the endoscopic image 28.
  • eight radial regions 96B are shown here, this is just an example.
  • the number of radial regions 96B may be 7 or less, or may be 9 or more.
  • the central region 96A is an example of a "central region" according to the technology of the present disclosure
  • the radial region 96B is an example of a "radial region" according to the technology of the present disclosure.
  • the direction of the divided region 96 that overlaps with the lumen corresponding region 94 among the plurality of divided regions 96 is determined as the lumen direction. Specifically, the calculation unit 86 derives the divided region 96 that has the largest area overlapping with the lumen corresponding region 94 among the plurality of divided regions 96 . For example, the calculation unit 86 identifies a region where each of the plurality of divided regions 96 and the lumen corresponding region 94 overlap. The calculation unit 86 calculates the area of the region where the divided region 96 and the lumen corresponding region 94 overlap. Then, the calculation unit 86 identifies the divided region 96 having the largest area where the divided region 96 and the lumen corresponding region 94 overlap.
  • the calculation unit 86 sets the direction of the divided region 96 that overlaps with the lumen corresponding region 94 and has the largest area as the lumen direction, and generates it as correct data 92.
  • a second region 96B1 of the radial region 96B is shown as an example of the correct answer data 92.
  • the second region 96B1 is a region indicating the lumen direction (that is, the direction for inserting the camera 38).
  • the endoscopic image 28 may not include the lumen region 28A.
  • the annotator 76 estimates the lumen region 28A by referring to the position and/or shape of the fold region 28B in the endoscopic image 28 displayed on the display 74.
  • the fold region 28B refers to an image region showing folds in the tubular organ in the endoscopic image 28.
  • the end of the observation range in the endoscopic image 28 is designated as the lumen corresponding region 94 using a pointer (not shown).
  • the calculation unit 86 derives the divided region 96 that has the largest area overlapping with the lumen corresponding region 94. Then, the calculation unit 86 generates the divided region 96 having the largest area overlapping the lumen corresponding region 94 as the correct data 92 .
  • a seventh region 96B3 of the radial region 96B is shown as an example of the correct answer data 92.
  • the seventh region 96B3 is a region indicating the lumen direction.
  • the teacher data generation unit 88 acquires an endoscopic image 28 as an inference image from the calculation unit 86, and associates correct answer data 92 with the acquired endoscopic image 28. In this way, teacher data 95 is generated.
  • the learning execution section 90 acquires the teacher data 95 generated by the teacher data generation section 88. The learning execution unit 90 then executes machine learning using the teacher data 95.
  • the learning execution unit 90 includes a CNN 110.
  • the learning execution unit 90 inputs the endoscopic image 28 included in the teacher data 95 to the CNN 110.
  • a plurality of frames (for example, 2 to 3 frames) of endoscopic images 28 may be input to the CNN 110 at one time.
  • the CNN 110 performs inference and calculates the inference result (for example, an image area predicted as an image area indicating the direction in which the lumen exists out of all the image areas constituting the endoscopic image 28).
  • a CNN signal 110A indicating the image area is output.
  • the learning execution unit 90 calculates the error 112 between the CNN signal 110A and the correct data 92 included in the teacher data 95.
  • the learning execution unit 90 optimizes the CNN 110 by adjusting a plurality of optimization variables within the CNN 110 so that the error 112 is minimized.
  • the plurality of optimization variables refer to, for example, a plurality of connection loads and a plurality of offset values included in the CNN 110.
  • the learning execution unit 90 repeatedly performs the learning process of inputting the endoscopic image 28 to the CNN 110, calculating the error 112, and adjusting the plurality of optimization variables in the CNN 110 using the plurality of teacher data 95. That is, the learning execution unit 90 adjusts the plurality of optimization variables in the CNN 110 so that the error 112 is minimized for each of the plurality of endoscopic images 28 included in the plurality of teacher data 95.
  • the trained model 116 is generated by optimizing the CNN 110 in this way.
  • the learned model 116 is stored in the storage device by the learning execution unit 90.
  • An example of the storage device is the NVM 62 of the endoscope device 12, but this is just one example.
  • the storage device may be the NVM 80 of the information processing device 66.
  • the trained model 116 stored in a predetermined storage device is used, for example, in the lumen direction estimation process in the endoscope device 12.
  • the trained model 116 is an example of a "trained model" according to the technology of the present disclosure.
  • a lumen direction estimation process is performed using the learned model 116 generated in the information processing device 66.
  • an endoscopic image 28 is obtained by capturing images of the interior of the tubular organ in chronological order by the camera 38.
  • the endoscopic image 28 is temporarily stored in the RAM 60.
  • the lumen direction estimation unit 58A performs lumen direction estimation processing based on the endoscopic image 28.
  • the lumen direction estimation unit 58A acquires the learned model 116 from the NVM 62.
  • the lumen direction estimation unit 58A then inputs the endoscopic image 28 to the learned model 116.
  • the trained model 116 outputs an estimation result 118 of the luminal direction within the endoscopic image 28.
  • the estimation result 118 is, for example, the probability that a lumen direction exists for each divided region 96.
  • the learned model 116 outputs a probability distribution p indicating nine probabilities corresponding to the nine divided regions 96 as an estimation result 118.
  • the lumen direction estimation section 58A outputs the estimation result 118 to the information generation section 58B.
  • the information generation unit 58B generates lumen direction information 120 based on the estimation result 118.
  • the lumen direction information 120 is information indicating the lumen direction.
  • the lumen direction information 120 is an example of "lumen direction information" according to the technology of the present disclosure.
  • the information generation unit 58B generates the luminal direction information 120 by setting the direction of the divided region 96 having the highest probability value in the probability distribution p indicated by the estimation result 118 as the luminal direction.
  • the information generation section 58B outputs lumen direction information 120 to the display control section 58C.
  • the display control unit 58C acquires the endoscopic image 28 temporarily stored in the RAM 60. Further, the display control unit 58C generates an image 122 in which the lumen direction indicated by the lumen direction information 120 is displayed superimposed on the endoscopic image 28. The display control unit 58C causes the display device 22 to display the image 122. In the example shown in FIG. 10, in the image 122, a circular arc 122A is shown on the outer periphery of the observation range of the endoscopic image 28 as a display indicating the lumen direction.
  • the image 122 displayed on the display device 22 is updated every time an endoscopic image 28 is acquired.
  • the lumen direction estimation unit 58A performs lumen direction estimation processing (see FIG. 10) every time the endoscopic image 28 is acquired from the camera 38.
  • the lumen direction estimating section 58A then outputs the estimation result 118 obtained by the lumen direction estimation process to the information generating section 58B.
  • the information generation unit 58B generates lumen direction information 120 based on the estimation result 118.
  • the display control unit 58C causes the display device 22 to update the image 122 based on the lumen direction information 120 and the endoscopic image 28 acquired from the camera 38.
  • the display indicating the lumen direction in the image 122 changes depending on the lumen direction in the endoscopic image 28.
  • the lumen direction moves in the order of left, center, and right in the endoscopic image 28 when viewed from the front side of the page.
  • an example is shown in which the image 122 is updated in the order of a circular arc 122A, an X-shaped display 122B, and a circular arc 122C as displays indicating the lumen direction.
  • the circular arcs 122A and 122C and the X-shaped display 122B are used as displays indicating the lumen direction
  • the technology of the present disclosure is not limited thereto.
  • a symbol such as an arrow or a character such as "upper right” may be used to indicate the lumen direction.
  • an audio notification of the lumen direction may be made.
  • FIG. 12 shows an example of the flow of machine learning processing performed by the processor 78.
  • the flow of machine learning processing shown in FIG. 12 is an example of a "trained model generation method" according to the technology of the present disclosure.
  • step ST110 the calculation unit 86 causes the display 74 to display the endoscopic image 28. After the process of step ST110 is executed, the machine learning process moves to step ST112.
  • step ST112 the calculation unit 86 receives the designation of the lumen corresponding region 94 input by the annotator 76 via the reception device 72 with respect to the endoscopic image 28 displayed on the display 74 in step ST110. After the process of step ST112 is executed, the machine learning process moves to step ST114.
  • step ST114 the calculation unit 86 generates correct data 92 based on the positional relationship between the lumen corresponding region 94 accepted in step ST112 and the divided region 96. After the process of step ST114 is executed, the machine learning process moves to step ST116.
  • step ST116 the teacher data generation unit 88 generates teacher data 95 by associating the correct answer data 92 generated in step ST114 with the endoscopic image 28. After the process of step ST116 is executed, the machine learning process moves to step ST118.
  • step ST118 the learning execution unit 90 acquires the endoscopic image 28 included in the teacher data 95 generated in step ST116. After the process of step ST118 is executed, the machine learning process moves to step ST120.
  • step ST120 the learning execution unit 90 inputs the endoscopic image 28 acquired in step ST118 to the CNN 110. After the process of step ST120 is executed, the machine learning process moves to step ST122.
  • step ST122 the learning execution unit 90 compares the CNN signal 110A obtained by inputting the endoscopic image 28 to the CNN 110 in step ST120 and the correct answer data 92 linked to the endoscopic image 28. Thus, the error 112 is calculated.
  • step ST122 the machine learning process moves to step ST124.
  • step ST124 the learning execution unit 90 adjusts the optimization variables of the CNN 110 so that the error 112 calculated in step ST122 is minimized. After step ST124 is executed, the machine learning process moves to step ST126.
  • step ST126 the learning execution unit 90 determines whether conditions for terminating machine learning (hereinafter referred to as "termination conditions") are satisfied.
  • An example of the termination condition is that the error 112 calculated in step ST124 has become less than or equal to a threshold value.
  • step ST126 if the termination condition is not satisfied, the determination is negative and the machine learning process moves to step ST118.
  • step ST126 if the termination condition is satisfied, the determination is affirmative and the machine learning process moves to step ST128.
  • step ST1208 the learning execution unit 90 outputs the learned model 116, which is the CNN 110, for which machine learning has been completed, to the outside (for example, the NVM 62 of the endoscope apparatus 12). After step ST128 is executed, the machine learning process ends.
  • FIG. 13 shows an example of the flow of endoscopic image processing performed by the processor 58.
  • the flow of endoscopic image processing shown in FIG. 13 is an example of an "image processing method" according to the technology of the present disclosure.
  • step ST10 the luminal direction estimation unit 58A determines whether the luminal direction estimation start trigger is ON.
  • the luminal direction estimation start trigger includes whether or not a user's instruction to start luminal direction estimation (for example, operation of a button (not shown) provided on the endoscope 18) is accepted.
  • step ST10 if the luminal direction estimation start trigger is not turned on, the determination is negative and the endoscopic image processing moves to step ST10 again.
  • step ST10 if the luminal direction estimation start trigger is turned on, the determination is affirmative and the endoscopic image processing moves to step ST12.
  • step ST10 determines whether or not the lumen direction estimation start trigger is ON
  • the technology of the present disclosure is not limited to this.
  • the technique of the present disclosure also holds true even in a mode in which the determination in step ST10 is omitted and the lumen direction estimation process is always performed.
  • step ST12 the lumen direction estimation unit 58A acquires the endoscopic image 28 from the RAM 60. After the processing in step ST12 is executed, the endoscopic image processing moves to step ST14.
  • step ST14 the luminal direction estimation unit 58A starts estimating the luminal direction within the endoscopic image 28 using the learned model 116. After the process of step ST14 is executed, the endoscopic image processing moves to step ST16.
  • step ST16 the lumen direction estimation unit 58A determines whether the estimation of the lumen direction has been completed. In step ST16, if the estimation of the lumen direction is not completed, the determination is negative and the endoscopic image processing moves to step ST16 again. In step ST16, when the estimation of the lumen direction is completed, the determination is affirmative, and the endoscopic image processing moves to step ST18.
  • step ST18 the information generation unit 58B generates lumen direction information 120 based on the estimation result 118 obtained in step ST16. After the process of step ST18 is executed, the endoscopic image processing moves to step ST20.
  • step ST20 the display control unit 58C outputs the luminal direction information 120 generated in step ST18 to the display 74. After the process of step ST20 is executed, the endoscopic image processing moves to step ST22.
  • step ST22 the display control unit 58C determines whether conditions for ending endoscopic image processing (hereinafter referred to as "termination conditions") are satisfied.
  • termination conditions An example of the termination condition is that an instruction to terminate endoscopic image processing has been accepted by the touch panel 54.
  • the termination condition is not satisfied, the determination is negative and the endoscopic image processing moves to step ST12.
  • the termination condition is satisfied, the determination is affirmative and the endoscopic image processing is terminated.
  • the lumen direction estimation start trigger is determined based on whether or not a user's instruction to start lumen direction estimation (for example, operation of a button (not shown) provided on the endoscope 18) is accepted.
  • a user's instruction to start lumen direction estimation for example, operation of a button (not shown) provided on the endoscope 18
  • the luminal direction estimation start trigger may be whether or not it is detected that the endoscope 18 is inserted into a tubular organ.
  • the lumen direction estimation start trigger is turned ON.
  • the processor 58 detects whether the endoscope 18 has been inserted into the tubular organ by, for example, performing image recognition processing using AI on the endoscopic image 28.
  • another luminal direction estimation start trigger may be whether or not a specific site within the tubular organ is recognized.
  • the luminal direction estimation start trigger is turned ON.
  • the processor 58 detects whether a specific region has been detected, for example, by performing image recognition processing using AI on the endoscopic image 28.
  • the termination condition may be that the processor 58 has detected that the endoscope 18 has been removed from the body.
  • the processor 58 detects that the endoscopic scope 18 has been removed from the body, for example, by performing image recognition processing using AI on the endoscopic image 28.
  • Another termination condition may be that the processor 58 detects that the endoscope 18 has reached a specific site within the tubular organ (for example, the ileocecal region in the large intestine). .
  • the processor 58 detects that the endoscope 18 has reached a specific part of the tubular organ, for example, by performing image recognition processing using AI on the endoscopic image 28.
  • the endoscopic image 28 captured by the camera 38 is input to the trained model 116, thereby acquiring the lumen direction.
  • the trained model 116 is a machine based on the positional relationship between a plurality of divided regions 96 obtained by dividing an image showing a tubular organ (for example, a large intestine) and a lumen corresponding region 94 included in an endoscopic image 28. Obtained through learning processing.
  • the processor 58 outputs luminal direction information 120, which is information indicating the luminal direction. Therefore, according to this configuration, accurate output of luminal direction information 120 is realized.
  • the lumen direction information 120 is used, for example, to display the lumen direction to the user.
  • a predetermined range including the lumen region 28A in the endoscopic image 28 is defined as the lumen corresponding region 94.
  • the lumen direction is estimated according to the trained model 116 obtained by machine learning based on the positional relationship with the lumen corresponding region 94.
  • the lumen direction is estimated in machine learning.
  • the existence of the cavity region 28A is more easily recognized, and the accuracy of machine learning is improved. Therefore, the accuracy of estimating the luminal direction using the trained model 116 is also improved.
  • the processor 58 Luminal direction information 120 is output. Therefore, according to this configuration, accurate output of luminal direction information 120 is realized.
  • the lumen corresponding region 94 becomes small like a point in the image, and the lumen corresponding region 94 is not accurately recognized in machine learning. accuracy is reduced.
  • the processor 58 outputs highly accurate luminal direction information 120. Therefore, according to this configuration, accurate output of luminal direction information 120 is realized.
  • the end of the observation range by the camera 38 in the direction in which the position of the lumen is estimated from the fold region 28B in the endoscopic image 28 is the lumen corresponding region 94. It is said that Then, the lumen direction is estimated according to the learned model 116 obtained by machine learning based on the positional relationship between the divided region 96 and the lumen corresponding region 94. Since the end of the observation range by the camera 38 in the direction in which the position of the lumen is estimated from the fold region 28B is defined as the lumen corresponding region 94, machine learning can be performed even if the lumen region 28A is not included in the image. can be done.
  • the direction of the divided region 96 overlapping with the lumen corresponding region 94 is It is in the direction of the cavity.
  • the direction of the divided region 96 is determined in advance by dividing the endoscopic image 28. Therefore, according to this configuration, the load in estimating the lumen direction is reduced compared to the case where the lumen direction is calculated each time according to the position of the lumen corresponding region 94.
  • the trained model 116 is configured to cause the processor 58 to estimate the position of the lumen based on the shape and/or orientation of the fold region 28B. It is a data structure. This allows the position of the lumen to be accurately estimated. Therefore, according to this configuration, accurate output of luminal direction information 120 is realized.
  • the lumen direction is the direction in which the divided region 96 with the largest area overlapping with the lumen corresponding region 94 exists.
  • a large overlapping area of the lumen corresponding region 94 and the divided region 96 means that a lumen exists in the direction in which the divided region 96 exists.
  • the lumen direction can be uniquely determined in machine learning. Therefore, according to this configuration, accurate output of luminal direction information 120 is realized.
  • the divided regions 96 include a central region 96A of the endoscopic image 28 and a plurality of radial regions radially extending from the central region 96A toward the outer edge of the endoscopic image 28. It has a region 96B.
  • the lumen region 28A appears relatively frequently in the central region 96A. Therefore, even when a lumen exists in the central region 96A, it is required to indicate the lumen direction. Further, by dividing the endoscopic image 28 radially, it becomes easier to indicate in which direction the lumen exists. By dividing the endoscopic image 28 into the central region 96A and the radial regions 96B in this manner, it becomes easier to understand which direction is the lumen direction. Therefore, according to this configuration, it is possible to show the lumen direction in an easy-to-understand manner to the user.
  • eight radial regions 96B exist radially.
  • the presence of eight radial regions 96B makes it easier to indicate in which direction the lumen exists.
  • the lumen direction is shown to the user in not too small sections. Therefore, according to this configuration, it is possible to show the lumen direction in an easy-to-understand manner to the user.
  • the endoscope apparatus 12 Furthermore, in the endoscope apparatus 12 according to the present embodiment, information corresponding to the lumen direction information 120 outputted by the processor 58 is displayed on the display device 22. Therefore, according to this configuration, it becomes easy for the user to recognize the lumen direction.
  • the trained model 116 also has a positional relationship between the plurality of divided regions 96 obtained by dividing the endoscopic image 28 and the lumen corresponding region 94 included in the endoscopic image 28. Obtained by machine learning processing based on The trained model 116 is used by the processor 58 to output luminal direction information 120. Therefore, according to this configuration, accurate output of luminal direction information 120 is realized.
  • the lumen direction information 120 is used, for example, to display the lumen direction to a doctor.
  • this configuration compared to prediction of the luminal direction by endoscopic image processing that applies empirical prediction of the luminal direction during examination by a doctor (for example, predicting the luminal direction from the arc shape of halation), this configuration According to a rule of thumb, it is possible to predict the luminal direction even when using an image in which the accuracy of prediction decreases (for example, an image in which no halation occurs). Therefore, according to this configuration, accurate output of luminal direction information 120 is realized.
  • the calculation unit 86 causes the display 74 to display the endoscopic image 28.
  • the annotator 76 asks the computer 70 via the reception device 72 (for example, the keyboard 72A and/or the mouse 72B) to determine the lumen in the endoscopic image 28.
  • the corresponding area 94 is designated.
  • the calculation unit 86 receives a designation of the lumen corresponding region 94 in the endoscopic image 28 from the annotator 76 via the reception device 72.
  • a plurality of divided regions 96 are obtained by virtually dividing the endoscopic image 28 by the calculation unit 86 .
  • the endoscopic image 28 is divided into a central region 96A and eight radial regions 96B.
  • the calculation unit 86 calculates, among the plurality of divided regions 96, the divided region 96 with the largest area overlapping with the lumen corresponding region 94 and the divided region 96 with the second largest area overlapping with the lumen corresponding region 94. is derived. For example, the calculation unit 86 identifies a region where each of the plurality of divided regions 96 and the lumen corresponding region 94 overlap. Furthermore, the calculation unit 86 calculates the area of the region where the divided region 96 and the lumen corresponding region 94 overlap. Then, the calculation unit 86 specifies the divided region 96 having the largest area and the divided region 96 having the second largest area in which the divided region 96 and the lumen corresponding region 94 overlap.
  • the divided region 96 with the largest area in which the divided region 96 and the lumen corresponding region 94 overlap is an example of the "first divided region” according to the technology of the present disclosure
  • the area 96 is an example of a "second divided area” according to the technology of the present disclosure.
  • the correct data 92 is an example in which the direction in which the second region 96B1 and the first region 96B2 of the radial region 96B exist is the lumen direction (that is, the direction for inserting the camera 38). It is shown.
  • the lumen region 28A is reflected in the endoscopic image 28, but the technology of the present disclosure is not limited to this.
  • the lumen region 28A may not be reflected in the endoscopic image 28, as in FIG. 7.
  • the teacher data generation unit 88 acquires the endoscopic image 28 from the calculation unit 86 (see FIG. 8), and associates the correct answer data 92 with the acquired endoscopic image 28.
  • Data 95 (see FIG. 8) is generated.
  • the learning execution section 90 acquires the teacher data 95 generated by the teacher data generation section 88. Then, the learning execution unit 90 (see FIG. 8) executes machine learning using the teacher data 95.
  • the learned model 116A generated as a result of machine learning is stored in the NVM 62 of the endoscope apparatus 12 as a storage device by the learning execution unit 90.
  • a lumen direction estimation process is performed using the learned model 116A generated in the information processing device 66.
  • the lumen direction estimation unit 58A performs lumen direction estimation processing based on the endoscopic image 28.
  • the lumen direction estimation unit 58A acquires the learned model 116A from the NVM 62.
  • the lumen direction estimation unit 58A then inputs the endoscopic image 28 to the trained model 116A.
  • the trained model 116A outputs an estimation result 118A of the luminal direction within the endoscopic image 28.
  • the estimation result 118A is, for example, a probability distribution p of whether or not a lumen direction exists for each divided region 96.
  • the lumen direction estimation section 58A outputs the estimation result 118 to the information generation section 58B.
  • the information generation unit 58B generates lumen direction information 120 based on the estimation result 118A. For example, in the probability distribution p indicated by the estimation result 118A, the information generation unit 58B determines the direction of the divided region 96 showing the highest probability distribution value and the direction of the divided region 96 showing the second highest probability distribution value in the lumen. Luminal direction information 120 is generated as the direction.
  • the information generation section 58B outputs lumen direction information 120 to the display control section 58C.
  • the display control unit 58C generates an image 122 in which the lumen direction indicated by the lumen direction information 120 is displayed superimposed on the endoscopic image 28.
  • the display control unit 58C causes the display device 22 to display the image 122.
  • a circular arc 122D and a circular arc 122E are shown on the outer periphery of the observation range of the endoscopic image 28 as indications indicating the lumen direction.
  • the lumen direction is the direction in which the divided region 96 with the largest area overlapping with the lumen corresponding region 94 exists, and This is the direction in which the divided region 96 with the second largest area overlapping with the region 94 exists.
  • a large area where the lumen corresponding region 94 and the divided region 96 overlap means that there is a high possibility that a lumen exists in the direction in which the divided region 96 exists.
  • the lumen direction estimation unit 58A performs lumen direction estimation processing based on the endoscopic image 28.
  • the lumen direction estimation unit 58A inputs the endoscopic image 28 to the learned model 116A.
  • the trained model 116A outputs an estimation result 118A of the luminal direction within the endoscopic image 28.
  • the lumen direction estimation unit 58A performs an estimation result correction process on the estimation result 118A.
  • the lumen direction estimation unit 58A extracts only the probability that the lumen direction exists from the probability distribution p of each divided region 96 of the estimation result 118A.
  • the lumen direction estimating unit 58A performs weighting starting from the largest probability in the probability distribution p.
  • the lumen direction estimation unit 58A obtains the weighting coefficient 126 from the NVM 62, and multiplies the extracted probability by the weighting coefficient 126.
  • the weighting coefficient 126 is set such that the coefficient corresponding to the highest probability is 1, and the coefficient corresponding to the probability adjacent to the highest probability is set to 0.8.
  • the weighting coefficient 126 is appropriately set, for example, based on the past estimation result 118A.
  • the weighting coefficient 126 may be set according to the probability distribution p. For example, if the probability of the central region 96A of the divided regions 96 is the highest, the coefficient corresponding to the highest probability among the weighting coefficients 126 is set to 1, and the coefficients other than the coefficient corresponding to the highest probability are set to 0. Good too.
  • the lumen direction estimating unit 58A obtains the threshold value 128 from the NVM 62, and sets the probability of the threshold value 128 or more as the modified result 124.
  • the threshold value 128 is, for example, 0.5, but this is just an example.
  • the threshold value 128 may be, for example, 0.4 or 0.6.
  • the threshold value 128 is appropriately set, for example, based on the past estimation result 118A.
  • the lumen direction estimation unit 58A outputs the correction result 124 to the information generation unit 58B.
  • the information generation unit 58B generates lumen direction information 120 based on the correction result 124.
  • the information generation section 58B outputs lumen direction information 120 to the display control section 58C.
  • the estimation result 118A is corrected by the estimation result correction process.
  • the estimation result modification process the estimation result 118A is modified using a weighting coefficient 126 and a threshold value 128. This makes the lumen direction indicated by the estimation result 118A more accurate. Therefore, according to this configuration, accurate output of luminal direction information 120 is realized.
  • the technology of the present disclosure is not limited to this.
  • An operation corresponding to the estimation result correction process may be incorporated into the learned model 116A.
  • the divided region 96 includes a central region 96A and a plurality of peripheral regions 96C that exist closer to the outer edge of the endoscopic image 28 than the central region 96A.
  • the calculation unit 86 receives a designation of a lumen corresponding region 94 in the endoscopic image 28 from the annotator 76 via the reception device 72.
  • a plurality of divided regions 96 are obtained by virtually dividing the endoscopic image 28 by the calculation unit 86 .
  • the divided region 96 has a central region 96A and a peripheral region 96C.
  • the central region 96A is, for example, a circular region centered on the center C in the endoscopic image 28.
  • a plurality of peripheral regions 96C exist on the outer edge side of the endoscopic image 28 than the central region 96A. In the example shown in FIG. 18, three peripheral regions 96C exist on the outer edge side of the endoscopic image 28. Although three peripheral areas 96C are shown here, this is just an example. The number of peripheral regions 96C may be two or four or more.
  • the peripheral area 96C is an example of a "peripheral area" according to the technology of the present disclosure.
  • the calculation unit 86 derives the divided region 96 that has the largest area overlapping with the lumen corresponding region 94. For example, the calculation unit 86 identifies a region where each of the plurality of divided regions 96 and the lumen corresponding region 94 overlap. The calculation unit 86 calculates the area of the region where the divided region 96 and the lumen corresponding region 94 overlap. Then, the calculation unit 86 identifies the divided region 96 having the largest area where the divided region 96 and the lumen corresponding region 94 overlap.
  • the calculation unit 86 generates the direction of the divided region 96 that has the largest area overlapping with the lumen corresponding region 94 as correct data 92 .
  • the correct data 92 shows an example in which the direction in which the third region 96C1 of the peripheral region 96C exists is the lumen direction.
  • the divided regions 96 include a central region 96A of the endoscopic image 28 and a plurality of peripheral regions 96C that exist on the outer edge side of the endoscopic image 28 from the central region 96A. has.
  • the lumen region 28A appears relatively frequently in the central region 96A. Therefore, even when a lumen exists in the central region 96A, it is required to indicate the lumen direction.
  • the peripheral region 96C into a plurality of parts, it becomes easier to indicate in which direction the lumen exists.
  • By dividing the endoscopic image 28 into the central region 96A and the plurality of peripheral regions 96C in this manner it becomes easier to understand which direction is the lumen direction. Therefore, according to this configuration, it is possible to show the lumen direction in an easy-to-understand manner to the user.
  • the divided region 96 has a peripheral region 96C that is closer to the outer edge of the endoscopic image 28 than the central region 96A in three or more directions from the central region 96A toward the outer edge of the endoscopic image 28. It is obtained by dividing into.
  • the lumen region 28A appears relatively frequently in the central region 96A. Therefore, even when a lumen exists in the central region 96A, it is required to indicate the lumen direction.
  • By dividing the endoscopic image 28 into three or more directions toward the outer edge it becomes easier to indicate in which direction the lumen exists.
  • By dividing the central region 96A and the peripheral region 96C in three or more directions in this way it becomes easier to understand which direction is the lumen direction. Therefore, according to this configuration, it is possible to show the lumen direction in an easy-to-understand manner to the user.
  • the divided region 96 has been described using an example in which the divided region 96 has the central region 96A and the radial regions 96B, but the technology of the present disclosure is not limited thereto.
  • the divided region 96 is obtained by dividing the endoscopic image 28 from the center C as a starting point toward the outer edge of the endoscopic image 28 into regions in three or more directions.
  • the calculation unit 86 receives a designation of a lumen corresponding region 94 in the endoscopic image 28 from the annotator 76 via the reception device 72.
  • a plurality of divided regions 96 are obtained by virtually dividing the endoscopic image 28 by the calculation unit 86 .
  • the divided area 96 is an area obtained by dividing the endoscopic image 28 into three directions toward the outer edge of the endoscopic image 28, centering on the center C. In the example shown in FIG. 19, three divided regions 96 exist on the outer edge side of the endoscopic image 28. Although three divided regions 96 are shown here, this is just an example. The number of divided regions 96 may be two or four or more.
  • the calculation unit 86 derives the divided region 96 that has the largest area overlapping with the lumen corresponding region 94. For example, the calculation unit 86 identifies a region where each of the plurality of divided regions 96 and the lumen corresponding region 94 overlap. The calculation unit 86 calculates the area of the region where the divided region 96 and the lumen corresponding region 94 overlap. Then, the calculation unit 86 identifies the divided region 96 having the largest area where the divided region 96 and the lumen corresponding region 94 overlap.
  • the calculation unit 86 generates the direction of the divided region 96 that has the largest area overlapping with the lumen corresponding region 94 as correct data 92 .
  • the correct data 92 shows an example in which the direction in which the third region 96C1 of the peripheral region 96C exists is the lumen direction.
  • the divided region 96 is obtained by dividing the endoscopic image 28 into three or more directions starting from the center C of the endoscopic image 28 and moving toward the outer edge.
  • a device that performs endoscopic image processing may be provided outside the endoscope apparatus 12.
  • An example of a device provided outside the endoscope apparatus 12 is a server.
  • the server is realized by cloud computing.
  • cloud computing is illustrated here, this is just one example.
  • the server may be realized by a mainframe, or may be implemented using fog computing, edge computing, grid computing, etc. It may be realized by network computing.
  • a server is mentioned as an example of a device provided outside the endoscope apparatus 12, but this is just an example, and instead of the server, at least one personal computer etc. Good too.
  • endoscopic image processing may be performed in a distributed manner by a plurality of devices including the endoscope apparatus 12 and a device provided outside the endoscope apparatus 12.
  • the endoscopic image processing program 62A may be stored in a portable storage medium such as an SSD or a USB memory.
  • a storage medium is a non-transitory computer-readable storage medium.
  • the endoscopic image processing program 62A stored in the storage medium is installed in the computer 56 of the control device 46.
  • the processor 58 executes endoscopic image processing according to the endoscopic image processing program 62A.
  • machine learning processing is performed by the processor 78 of the information processing device 66
  • the technology of the present disclosure is not limited to this.
  • the machine learning process may be performed in the endoscope device 12.
  • the machine learning process may be performed in a distributed manner by a plurality of devices including the endoscope device 12 and the information processing device 66.
  • the lumen direction is displayed based on the estimation result 118 obtained by inputting the endoscopic image 28 to the learned model 116.
  • the present disclosure The technology is not limited to this.
  • the estimation result 118 for one endoscopic image 28 (for example, an estimate result 118 for one endoscopic image 28) may be used.
  • the estimation result 118 for the endoscopic image 28) may also be used to display the lumen direction.
  • the computer 56 is illustrated in each of the above embodiments, the technology of the present disclosure is not limited thereto, and instead of the computer 56, a device including an ASIC, an FPGA, and/or a PLD may be applied. Further, instead of the computer 56, a combination of hardware configuration and software configuration may be used.
  • processors can be used as hardware resources for executing the various processes described in each of the above embodiments.
  • the processor include a CPU, which is a general-purpose processor that functions as a hardware resource for performing endoscopic image processing by executing software, that is, a program.
  • the processor include a dedicated electronic circuit such as an FPGA, a PLD, or an ASIC, which is a processor having a circuit configuration specifically designed to execute a specific process.
  • Each processor has a built-in memory or is connected to it, and each processor uses the memory to perform endoscopic image processing.
  • the hardware resources that execute endoscopic image processing may be configured with one of these various types of processors, or may be configured with a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs). , or a combination of a processor and an FPGA). Furthermore, the hardware resource that executes endoscopic image processing may be one processor.
  • one processor is configured by a combination of one or more processors and software, and this processor functions as a hardware resource for executing endoscopic image processing.
  • this processor functions as a hardware resource for executing endoscopic image processing.
  • Second there is a form of using a processor, typified by an SoC, which implements the functions of an entire system including a plurality of hardware resources for performing endoscopic image processing with a single IC chip. In this way, endoscopic image processing is realized using one or more of the various processors described above as hardware resources.
  • a and/or B has the same meaning as “at least one of A and B.” That is, “A and/or B” means that it may be only A, only B, or a combination of A and B. Furthermore, in this specification, even when three or more items are expressed by connecting them with “and/or”, the same concept as “A and/or B" is applied.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

プロセッサを備え、プロセッサは、内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像が分割された複数の分割領域と画像に含まれる管腔対応領域との位置関係に基づく機械学習により得られた学習済みモデルに従って画像から、内視鏡スコープを挿入するための方向である管腔方向を取得し、管腔方向を示す情報である管腔方向情報を出力する画像処理装置。

Description

画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム
　本開示の技術は、画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラムに関する。
　特許第４０７７７１６号には、内視鏡挿入方向検出装置が開示されている。内視鏡挿入方向検出装置は、体腔内に挿入された内視鏡より内視鏡画像を入力する画像入力手段と、画像入力手段により入力された内視鏡画像より、所定の濃度値の画素を抽出するまたは内視鏡画像を形成する画素のうち近隣の画素との濃度値の変化率の勾配が所定値である画素を抽出する画素抽出手段と、画素抽出手段により抽出された画素により構成される特定の領域の形状を求める領域形状推定手段と、領域形状推定手段により求められた特定の領域の形状から内視鏡の体腔内への挿入方向を決定する挿入方向決定手段と、を備える。
　特許第５６８７５８３号には、内視鏡挿入方向検出方法が開示されている。内視鏡挿入方向検出方法は、内視鏡画像を入力する第１のステップと、内視鏡画像に基づき、内視鏡画像における明るさの勾配と、内視鏡画像におけるハレーションの形状と、内視鏡画像の視野移動と、のうちいずれか１つに基づき内視鏡の挿入方向を検出するための処理を行う第１の検出ステップと、第１の検出ステップにより内視鏡の挿入方向を検出できたか否かを判定する判定ステップと、判定ステップにより、内視鏡の挿入方向を検出できないと判定された場合において、内視鏡画像に基づき、内視鏡画像における明るさの勾配と、内視鏡画像におけるハレーションの形状と、内視鏡画像の視野移動と、のうち第１の検出ステップとは異なるいずれか１つに基づき内視鏡の挿入方向を検出するための、第１の検出ステップとは異なる処理を行う第２の検出ステップと、を備える。
　本開示の技術に係る一つの実施形態は、正確な管腔方向情報の出力を実現する画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラムを提供する。
　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサは、内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像が分割された複数の分割領域と画像に含まれる管腔対応領域との位置関係に基づく機械学習により得られた学習済みモデルに従って画像から、内視鏡スコープを挿入するための方向である管腔方向を取得し、管腔方向を示す情報である管腔方向情報を出力する画像処理装置である。
　本開示の技術に係る第２の態様は、管腔対応領域は、画像内の管腔領域を含む予め定められた範囲の領域である第１の態様に係る画像処理装置である。
　本開示の技術に係る第３の態様は、管腔対応領域は、画像内の襞領域から管腔領域の位置が推定される方向におけるカメラによる観察範囲の端部である第１の態様に係る画像処理装置である。
　本開示の技術に係る第４の態様は、複数の分割領域のうち、管腔対応領域と重畳している分割領域の方向が管腔方向である第１の態様から第３の態様の何れか一つの態様に係る画像処理装置である。
　本開示の技術に係る第５の態様は、学習済みモデルは、画像内の襞領域の形状及び／又は向きに基づいて、管腔領域の位置をプロセッサに対して推定させるよう構成されたデータ構造である第１の態様から第４の態様の何れか一つの態様に係る画像処理装置である。
　本開示の技術に係る第６の態様は、管腔方向は、複数の分割領域のうち、画像において管腔対応領域と重畳している面積の最も大きい分割領域の存在する方向である第１の態様から第５の態様の何れか一つの態様に係る画像処理装置である。
　本開示の技術に係る第７の態様は、管腔方向は、複数の分割領域のうち、画像において管腔対応領域と重畳している面積の最も大きい分割領域である第１分割領域の存在する方向、及び第１分割領域の次に管腔対応領域と重畳している面積の大きい分割領域である第２分割領域の存在する方向である第１の態様から第５の態様の何れか一つの態様に係る画像処理装置である。
　本開示の技術に係る第８の態様は、分割領域は、画像の中央領域と、中央領域から画像の外縁に向かって放射状に複数存在する放射状領域とを有する第１の態様から第７の態様の何れか一つの態様に係る画像処理装置である。
　本開示の技術に係る第９の態様は、放射状領域は、放射状に８つ存在する第８の態様に係る画像処理装置である。
　本開示の技術に係る第１０の態様は、分割領域は、画像の中央領域と、中央領域よりも画像の外縁側に複数存在する周縁領域とを有する第１の態様から第７の態様の何れか一つの態様に係る画像処理装置である。
　本開示の技術に係る第１１の態様は、分割領域は、画像の中央を起点として画像の外縁に向かって３方向以上の領域に分割されることで得られる第１の態様から第７の態様の何れか一つの態様に係る画像処理装置である。
　本開示の技術に係る第１２の態様は、分割領域は、画像の中央領域と、中央領域よりも画像の外縁側に複数存在する周縁領域とを有し、周縁領域は、中央領域よりも画像の外縁側が中央領域から画像の外縁に向かって３方向以上に分割されることにより得られる第１の態様から第７の態様の何れか一つの態様に係る画像処理装置である。
　本開示の技術に係る第１３の態様は、第１の態様から第１２の態様の何れか一つの態様に係る画像処理装置のプロセッサにより出力された管腔方向情報に応じた情報が表示される表示装置である。
　本開示の技術に係る第１４の態様は、第１の態様から第１２の態様の何れか一つの態様に係る画像処理装置と、内視鏡スコープと、を備える内視鏡装置である。
　本開示の技術に係る第１５の態様は、内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像が分割された複数の分割領域と画像に含まれる管腔対応領域との位置関係に基づく機械学習により得られた学習済みモデルに従って画像から、内視鏡スコープを挿入するための方向である管腔方向を取得すること、及び、管腔方向を示す情報である管腔方向情報を出力することを含む画像処理方法である。
　本開示の技術に係る第１６の態様は、第１コンピュータに、画像処理であって、内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像が分割された複数の分割領域と画像に含まれる管腔対応領域との位置関係に基づく機械学習により得られた学習済みモデルに従って画像から、内視鏡スコープを挿入するための方向である管腔方向を取得すること、及び、管腔方向を示す情報である管腔方向情報を出力することを含む画像処理を実行させるための画像処理プログラムである。
　本開示の技術に係る第１７の態様は、内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像が分割された複数の分割領域と画像に含まれる管腔対応領域との位置関係に基づく機械学習により得られる学習済みモデルである。
　本開示の技術に係る第１８の態様は、内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像を取得すること、及び、モデルに対して、画像が分割された複数の分割領域と画像に含まれる管腔対応領域との位置関係に基づく機械学習を実行すること、を含む学習済みモデル生成方法である。
　本開示の技術に係る第１９の態様は、第２コンピュータに、学習済みモデル生成処理であって、内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像を取得すること、及び、モデルに対して、画像が分割された複数の分割領域と画像に含まれる管腔対応領域との位置関係に基づく機械学習を実行すること、を含む処理を実行させるための学習済みモデル生成プログラムである。
内視鏡システムが用いられている態様の一例を示す概念図である。 内視鏡システムの全体構成の一例を示す概念図である。 内視鏡装置のハードウェア構成の一例を示すブロック図である。 内視鏡装置の構成の一例を示すブロック図である。 情報処理装置のハードウェア構成及の一例を示すブロック図である。 情報処理装置の演算部の処理内容の一例を示す概念図である。 情報処理装置の演算部の処理内容の一例を示す概念図である。 情報処理装置の教師データ生成部及び学習実行部の処理内容の一例を示す概念図である。 制御装置の管腔方向推定部の処理内容の一例を示す概念図である。 制御装置の管腔方向推定部、情報生成部、及び表示制御部の処理内容の一例を示す概念図である。 制御装置の管腔方向推定部、情報生成部、及び表示制御部の処理内容の一例を示す概念図である。 機械学習処理の流れの一例を示すフローチャートである。 内視鏡画像処理の流れの一例を示すフローチャートである。 第１変形例に係る演算部の処理内容の一例を示す概念図である。 第１変形例に係る管腔方向推定部の処理内容の一例を示す概念図である。 第１変形例に係る管腔方向推定部、情報生成部、及び表示制御部の処理内容の一例を示す概念図である。 第１変形例に係る管腔方向推定部の処理内容の一例を示す概念図である。 第２変形例に係る演算部の処理内容の一例を示す概念図である。 第３変形例に係る演算部の処理内容の一例を示す概念図である。
　以下、添付図面に従って本開示の技術に係る画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラムの実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。ＣＮＮとは、“Convolutional neural network”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。
　＜第１実施形態＞
　一例として図１に示すように、内視鏡システム１０は、内視鏡装置１２を備えている。内視鏡装置１２は、内視鏡検査において医師１４によって用いられる。また、少なくとも１人の補助スタッフ１６（例えば、看護師等）が医師１４による内視鏡検査を補助する。以下では、医師１４及び補助スタッフ１６を区別して説明する必要がない場合、符号を付さずに「ユーザ」とも称する。
　内視鏡装置１２は、内視鏡スコープ１８を備えており、内視鏡スコープ１８を介して被検体２０（例えば、患者）の体内に対する診療を行うための装置である。内視鏡装置１２は、本開示の技術に係る「内視鏡装置」の一例である。
　内視鏡スコープ１８は、後述するカメラ３８（図２参照）を用いて被検体２０の体内を撮像することで体内の態様を示す画像を取得する。そして、内視鏡スコープ３８は、体内の態様を示す画像を出力する。図１に示す例では、内視鏡スコープ１８が被検体２０の肛門から体腔内に挿入される態様が示されている。なお、図１に示す例では、内視鏡スコープ１８が被検体２０の肛門から体腔内に挿入されるが、これは、あくまでも一例に過ぎず、内視鏡スコープ１８が被検体２０の口、鼻孔、又は穿孔等から体腔内に挿入されてもよく、内視鏡スコープ１８が挿入される箇所は、内視鏡スコープ１８の種類及び内視鏡スコープ１８が用いられる術式等によって決められる。
　表示装置２２は、画像を含めた各種情報を表示する。表示装置２２の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。表示装置２２には、複数の画面が並べて表示される。図１に示す例では、複数の画面の一例として、画面２４及び２６が示されている。表示装置２２は、本開示の技術に係る「表示装置」の一例である。
　画面２４には、内視鏡画像２８が表示される。内視鏡画像２８は、被検体２０の体腔内で内視鏡スコープ１８に設けられたカメラ３８（図２参照）によって観察対象領域が撮像されることによって取得された画像である。観察対象領域としては、大腸の内壁が挙げられる。大腸の内壁は、あくまでも一例に過ぎず、小腸、十二指腸、又は胃等の他の部位の内壁又は外壁等であってもよい。
　画面２４に表示される内視鏡画像２８は、複数のフレームを含んで構成される動画像に含まれる１つのフレームである。つまり、画面２４には、複数のフレームの内視鏡画像２８が既定のフレームレート（例えば、３０フレーム／秒又は６０フレーム／秒等）で表示される。
　画面２６には、例えば、被検体特定情報２９が表示される。被検体特定情報２９は、被検体２０に関する情報である。被検体特定情報２９には、例えば、被検体２０の氏名、被検体２０の年齢、及び被検体２０を識別可能な識別番号等が含まれている。
　一例として図２に示すように、内視鏡スコープ１８は、操作部３２及び挿入部３４を備えている。操作部３２は、回転操作ノブ３２Ａ、送気・送水ボタン３２Ｂ、及び吸引ボタン３２Ｃを備えている。挿入部３４は、管状に形成されている。挿入部３４の横断面視の外輪郭は円形状である。挿入部３４は、操作部３２の回転操作ノブ３２Ａが操作されることにより部分的に湾曲したり、挿入部３４の軸心周りに回転したりする。この結果、挿入部３４は、体内の形状（例えば、管状臓器の形状）に応じて湾曲したり、体内の部位に応じて挿入部３４の軸心周りに回転したりしながら体内の奥側に送り込まれる。また、送気・送水ボタン３２Ｂが操作されることにより、先端部３６から水、又は空気が体内に送り込まれ、吸引ボタン３２Ｃが操作されることにより、体内の水、又は空気が吸引される。
　先端部３６には、カメラ３８、照明装置４０、及び処置具用開口４２が設けられている。カメラ３８は、管状臓器内を光学的手法で撮像する。カメラ３８の一例としては、ＣＭＯＳカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。カメラ３８は、本開示の技術に係る「カメラ」の一例である。
　照明装置４０は、照明窓４０Ａ及び照明窓４０Ｂを有する。照明装置４０は、照明窓４０Ａ及び照明窓４０Ｂを介して光を照射する。照明装置４０から照射される光の種類としては、例えば、可視光（例えば、白色光等）、非可視光（例えば、近赤外光等）、及び／又は特殊光が挙げられる。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。
　処置具用開口４２は、処置具を先端部３６から突出させるための開口である。また、処置具用開口４２は、血液及び体内汚物等を吸引する吸引口としても機能する。処置具は、処置具挿入口４５から挿入部３４内に挿入される。処置具は、挿入部３４内を通過して処置具用開口４２から外部に突出する。処置具の例としては、穿刺針、ワイヤ、メス、把持鉗子、ガイドシース、及び超音波プローブ等が挙げられる。
　内視鏡装置１２は、制御装置４６及び光源装置４８を備えている。内視鏡スコープ１８は、ケーブル５０を介して制御装置４６及び光源装置４８と接続されている。制御装置４６は、内視鏡装置１２の全体を制御する装置である。光源装置４８は、制御装置４６の制御下で発光し、光を照明装置４０に供給する装置である。
　制御装置４６には、複数のハードキー５２が設けられている。複数のハードキー５２は、ユーザからの指示を受け付ける。表示装置２２の画面には、タッチパネル５４が設けられている。タッチパネル５４は、制御装置４６と電気的に接続されており、ユーザからの指示を受け付ける。表示装置２２も、制御装置４６と電気的に接続されている。
　一例として図３に示すように、制御装置４６は、コンピュータ５６を備えている。コンピュータ５６は、本開示の技術に係る「画像処理装置」及び「第１コンピュータ」の一例である。コンピュータ５６は、プロセッサ５８、ＲＡＭ６０、及びＮＶＭ６２を備えており、プロセッサ５８、ＲＡＭ６０、及びＮＶＭ６２は電気的に接続されている。プロセッサ５８は、本開示の技術に係る「プロセッサ」の一例である。
　制御装置４６は、ハードキー５２、及び外部Ｉ／Ｆ６４を備えている。ハードキー５２、プロセッサ５８、ＲＡＭ６０、ＮＶＭ６２、及び外部Ｉ／Ｆ６４は、バス６５に接続されている。
　例えば、プロセッサ５８は、ＣＰＵ及びＧＰＵを有しており、制御装置４６の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、グラフィック系の各種処理の実行を担う。なお、プロセッサ５８は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。
　ＲＡＭ６０は、一時的に情報が格納されるメモリであり、プロセッサ５８によってワークメモリとして用いられる。ＮＶＭ６２は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ６２の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。
　ハードキー５２は、ユーザからの指示を受け付け、受け付けた指示を示す信号をプロセッサ５８に出力する。これにより、ハードキー５２によって受け付けられた指示がプロセッサ５８によって認識される。
　外部Ｉ／Ｆ６４は、制御装置４６の外部に存在する装置（以下、「外部装置」とも称する）とプロセッサ５８との間の各種情報の授受を司る。外部Ｉ／Ｆ６４の一例としては、ＵＳＢインタフェースが挙げられる。
　外部Ｉ／Ｆ６４には、外部装置の１つとして内視鏡スコープ１８が接続されており、外部Ｉ／Ｆ６４は、内視鏡スコープ１８とプロセッサ５８との間の各種情報の授受を司る。プロセッサ５８は、外部Ｉ／Ｆ６４を介して内視鏡スコープ１８を制御する。また、プロセッサ５８は、カメラ３８によって管状臓器内が撮像されることで得られた内視鏡画像２８（図１参照）を外部Ｉ／Ｆ６４を介して取得する。
　外部Ｉ／Ｆ６４には、外部装置の１つとして光源装置４８が接続されており、外部Ｉ／Ｆ６４は、光源装置４８とプロセッサ５８との間の各種情報の授受を司る。光源装置４８は、プロセッサ５８の制御下で、照明装置４０に光を供給する。照明装置４０は、光源装置４８から供給された光を照射する。
　外部Ｉ／Ｆ６４には、外部装置の１つとして表示装置２２が接続されており、プロセッサ５８は、外部Ｉ／Ｆ７６を介して表示装置２２を制御することで、表示装置２２に対して各種情報を表示させる。
　外部Ｉ／Ｆ６４には、外部装置の１つとしてタッチパネル５４が接続されており、プロセッサ５８は、タッチパネル５４によって受け付けられた指示を、外部Ｉ／Ｆ６４を介して取得する。
　外部Ｉ／Ｆ６４には、外部装置の１つとして情報処理装置６６が接続されている。情報処理装置６６の一例としては、サーバが挙げられる。なお、サーバは、あくまでも一例に過ぎず、情報処理装置６６は、パーソナル・コンピュータであってもよい。
　外部Ｉ／Ｆ６４は、情報処理装置６６とプロセッサ５８との間の各種情報の授受を司る。プロセッサ５８は、外部Ｉ／Ｆ６４を介して情報処理装置６６に対してサービスの提供を要求したり、情報処理装置６６から外部Ｉ／Ｆ６４を介して学習済みモデル１１６（図４参照）を取得したりする。
　ところで、内視鏡スコープ１８に設けられたカメラ３８を用いて体内の管状臓器（例えば、大腸）内が観察される場合、管腔に沿って内視鏡スコープ１８が挿入される。この場合において、内視鏡スコープ１８が挿入される方向である管腔方向がユーザにとって分かりにくい場合がある。また、管腔方向と異なる方向に内視鏡スコープ１８が挿入されると、管状臓器の内壁に内視鏡スコープ１８が当たるため、被検体２０（例えば、患者）に対して不要な負担を強いることにもなる。
　そこで、このような事情に鑑み、本実施形態では、制御装置４６のプロセッサ５８によって内視鏡画像処理が行われる。一例として図４に示すように、ＮＶＭ６２には、内視鏡画像処理プログラム６２Ａが記憶されている。プロセッサ５８は、ＮＶＭ６２から内視鏡画像処理プログラム６２Ａを読み出し、読み出した内視鏡画像処理プログラム６２ＡをＲＡＭ６０上で実行する。内視鏡画像処理は、プロセッサ５８がＲＡＭ６０上で実行する内視鏡画像処理プログラム６２Ａに従って管腔方向推定部５８Ａ、情報生成部５８Ｂ、及び表示制御部５８Ｃとして動作することによって実現される。
　一例として図５に示すように、情報処理装置６６のプロセッサ７８（図５参照）によって機械学習処理が行われる。情報処理装置６６は、機械学習に用いられる装置である。情報処理装置６６は、アノテータ７６（図６参照）によって使用される。アノテータ７６とは、与えられたデータに対して機械学習用のアノテーションを付与する作業者（すなわち、ラベリングを行う作業者）を指す。
　情報処理装置６６は、コンピュータ７０、受付装置７２、ディスプレイ７４、及び外部Ｉ／Ｆ７６備えている。コンピュータ７０は、本開示の技術に係る「第２コンピュータ」の一例である。
　コンピュータ７０は、プロセッサ７８、ＮＶＭ８０、及びＲＡＭ８２を備えている。プロセッサ７８、ＮＶＭ８０、及びＲＡＭ８２は、バス８４に接続されている。また、受付装置７２、ディスプレイ７４、及び外部Ｉ／Ｆ７６も、バス８４に接続されている。
　プロセッサ７８は、情報処理装置６６の全体を制御する。プロセッサ７８、ＮＶＭ８０、及びＲＡＭ８２は、上述したプロセッサ５８、ＮＶＭ６２、及びＲＡＭ６０と同様のハードウェア資源である。
　受付装置７２は、アノテータ７６からの指示を受け付ける。プロセッサ７８は、受付装置７２によって受け付けられた指示に従って動作する。
　外部Ｉ／Ｆ７６は、上述した外部Ｉ／Ｆ６４と同様のハードウェア資源である。外部Ｉ／Ｆ７６は、内視鏡装置１２の外部Ｉ／Ｆ６４に接続されており、内視鏡装置１２とプロセッサ７８との間の各種情報の授受を司る。
　ＮＶＭ８０には、機械学習処理プログラム８０Ａが記憶されている。プロセッサ７８は、ＮＶＭ８０から機械学習処理プログラム８０Ａを読み出し、読み出した機械学習処理プログラム８０ＡをＲＡＭ８２上で実行する。プロセッサ７８は、ＲＡＭ８２上で実行する機械学習処理プログラム８０Ａに従って機械学習処理を行う。機械学習処理は、プロセッサ７８が機械学習処理プログラム８０Ａに従って演算部８６、教師データ生成部８８、及び学習実行部９０として動作することで実現される。機械学習処理プログラム８０Ａは、本開示の技術に係る「学習済みモデル生成プログラム」の一例である。
　一例として図６に示すように、先ず、演算部８６は、ディスプレイ７４に対して、内視鏡画像２８を表示させる。ここで、内視鏡画像２８は、例えば、過去の診察及び／又は治療において取得された画像であって、ＮＶＭ８０に予め記憶された画像であるが、これはあくまでも一例に過ぎない。内視鏡画像２８は、外部装置としての画像サーバ（図示省略）に記憶された画像であって、外部Ｉ／Ｆ７６（図５参照）を介して取得された画像であってもよい。内視鏡画像２８がディスプレイ７４に表示された状態で、アノテータ７６は、受付装置７２（例えば、キーボード７２Ａ及び／又はマウス７２Ｂ）を介してコンピュータ７０に対して、内視鏡画像２８における管腔対応領域９４を指定する。例えば、アノテータ７６は、ディスプレイ７４に表示された内視鏡画像２８内における管腔領域２８Ａをポインタ（図示省略）によって指定する。ここで、管腔領域２８Ａとは、内視鏡画像２８において管腔を示す画像領域を指す。
　演算部８６は、受付装置７２を介してアノテータ７６によって指定された管腔対応領域９４を認識する。ここで、管腔対応領域９４とは、内視鏡画像２８内における管腔領域２８Ａを含む予め定められた範囲（例えば、管腔領域２８Ａの中心から半径６４ピクセルの範囲）の領域である。管腔対応領域９４は、本開示の技術に係る「管腔対応領域」の一例である。また、演算部８６によって、内視鏡画像２８が仮想的に分割されることにより複数の分割領域９６が得られる。分割領域９６は、本開示の技術に係る「分割領域」の一例である。例えば、管腔対応領域９４は、内視鏡画像２８内における管腔領域２８Ａを含み、かつ後述する分割領域９６に内接可能な大きさの領域である。
　図６に示す例では、内視鏡画像２８が、中央領域９６Ａと、８つの放射状領域９６Ｂに分割されている。中央領域９６Ａは、例えば、内視鏡画像２８における中央Ｃを中心とした円形の領域である。また、放射状領域９６Ｂは、中央領域９６Ａから内視鏡画像２８の外縁に向かって放射状に存在する領域である。ここでは、８つの放射状領域９６Ｂが示されているが、これはあくまでも一例に過ぎない。例えば、放射状領域９６Ｂの数は、７個以下であってもよいし、９個以上であってもよい。中央領域９６Ａは、本開示の技術に係る「中央領域」の一例であり、放射状領域９６Ｂは、本開示の技術に係る「放射状領域」の一例である。
　演算部８６において、複数の分割領域９６の内、管腔対応領域９４と重畳している分割領域９６の方向が管腔方向とされる。具体的には、演算部８６によって、複数の分割領域９６の内、管腔対応領域９４と重畳している面積が最も大きい分割領域９６が導出される。例えば、演算部８６は、複数の分割領域９６の各々と管腔対応領域９４とが重畳している領域を特定する。演算部８６は、分割領域９６と管腔対応領域９４とが重畳している領域の面積を算出する。そして、演算部８６は、分割領域９６と管腔対応領域９４とが重畳している領域の面積が最も大きい分割領域９６を特定する。
　演算部８６は、管腔対応領域９４と重畳している面積が最も大きい分割領域９６の方向を管腔方向とし、正解データ９２として生成する。図６に示す例では、正解データ９２の一例として、放射状領域９６Ｂのうちの第２領域９６Ｂ１が示されている。第２領域９６Ｂ１は、管腔方向（すなわち、カメラ３８を挿入するための方向）を示す領域である。
　ここでは、内視鏡画像２８において、管腔領域２８Ａが写り込んでいる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、内視鏡画像２８内において、管腔領域２８Ａが写り込んでいない場合であってもよい。この場合、一例として図７に示すように、アノテータ７６は、ディスプレイ７４に表示された内視鏡画像２８内における襞領域２８Ｂの位置及び／又は形状を参照して、管腔領域２８Ａを推測する。ここで、襞領域２８Ｂとは、内視鏡画像２８において管状臓器内の襞を示す画像領域を指す。そして、内視鏡画像２８における観察範囲の端部を、管腔対応領域９４としてポインタ（図示省略）によって指定する。
　演算部８６によって、複数の分割領域９６の内、管腔対応領域９４と重畳している面積が最も大きい分割領域９６が導出される。そして、演算部８６は、管腔対応領域９４と重畳している面積が最も大きい分割領域９６を正解データ９２として生成する。図７に示す例では、正解データ９２の一例として、放射状領域９６Ｂのうちの第７領域９６Ｂ３が示されている。第７領域９６Ｂ３は、管腔方向を示す領域である。
　一例として図８に示すように、教師データ生成部８８は、演算部８６から推論用画像として内視鏡画像２８を取得し、取得した内視鏡画像２８に対して、正解データ９２を紐付けることで教師データ９５を生成する。学習実行部９０は、教師データ生成部８８によって生成された教師データ９５を取得する。そして、学習実行部９０は、教師データ９５を用いて機械学習を実行する。
　図８に示す例において、学習実行部９０は、ＣＮＮ１１０を有する。学習実行部９０は、教師データ９５に含まれる内視鏡画像２８をＣＮＮ１１０に入力する。なお、ここでは、内視鏡画像２８が一枚ずつＣＮＮ１１０に入力される形態例を挙げて説明したが、本開示の技術は、これに限定されない。複数フレーム（例えば、２～３フレーム）の内視鏡画像２８が、一度にＣＮＮ１１０に入力されるようにしてもよい。ＣＮＮ１１０は、内視鏡画像２８が入力されると、推論を行い、推論結果（例えば、内視鏡画像２８を構成する全画像領域のうちの管腔が存在する方向を示す画像領域として予測された画像領域）を示すＣＮＮ信号１１０Ａを出力する。学習実行部９０は、ＣＮＮ信号１１０Ａと、教師データ９５に含まれる正解データ９２との誤差１１２を算出する。
　学習実行部９０は、誤差１１２が最小となるようにＣＮＮ１１０内の複数の最適化変数を調整することでＣＮＮ１１０を最適化する。ここで、複数の最適化変数とは、例えば、ＣＮＮ１１０に含まれる複数の結合荷重及び複数のオフセット値等を指す。
　学習実行部９０は、内視鏡画像２８のＣＮＮ１１０への入力、誤差１１２の算出、及びＣＮＮ１１０内の複数の最適化変数の調整、という学習処理を複数の教師データ９５を用いて繰り返し行う。すなわち、学習実行部９０は、複数の教師データ９５に含まれる複数の内視鏡画像２８の各々について、誤差１１２が最小になるようにＣＮＮ１１０内の複数の最適化変数を調整することで、ＣＮＮ１１０を最適化する。このようにＣＮＮ１１０が最適されることによって学習済みモデル１１６が生成される。学習済みモデル１１６は、学習実行部９０によって記憶装置に記憶される。記憶装置としては、例えば、内視鏡装置１２のＮＶＭ６２が挙げられるが、これはあくまでも一例に過ぎない。記憶装置としては、情報処理装置６６のＮＶＭ８０であってもよい。既定の記憶装置に記憶された学習済みモデル１１６は、例えば、内視鏡装置１２における管腔方向推定処理に用いられる。学習済みモデル１１６は、本開示の技術に係る「学習済みモデル」の一例である。
　一例として図９に示すように、内視鏡装置１２では、情報処理装置６６において生成された学習済みモデル１１６を用いて、管腔方向推定処理が行われる。先ず、カメラ３８によって時系列に管状臓器内が撮像されることで、内視鏡画像２８が得られる。内視鏡画像２８は、一時的にＲＡＭ６０に保存される。管腔方向推定部５８Ａは、内視鏡画像２８に基づいて管腔方向推定処理を行う。この場合、管腔方向推定部５８Ａは、ＮＶＭ６２から学習済みモデル１１６を取得する。そして、管腔方向推定部５８Ａは、学習済みモデル１１６に内視鏡画像２８を入力する。学習済みモデル１１６は、内視鏡画像２８が入力されると、内視鏡画像２８内における管腔方向の推定結果１１８を出力する。推定結果１１８は、例えば、分割領域９６毎の管腔方向が存在する確率である。学習済みモデル１１６からは、推定結果１１８として、９つの分割領域９６に対応する９つの確率を示す確率分布ｐが出力される。
　一例として図１０に示すように、管腔方向推定部５８Ａは、情報生成部５８Ｂに対して推定結果１１８を出力する。情報生成部５８Ｂは、推定結果１１８に基づいて管腔方向情報１２０を生成する。管腔方向情報１２０は、管腔方向を示す情報である。また、管腔方向情報１２０は、本開示の技術に係る「管腔方向情報」の一例である。情報生成部５８Ｂは、例えば、推定結果１１８により示される確率分布ｐにおいて、最も高い確率の値を示す分割領域９６の方向を管腔方向として管腔方向情報１２０を生成する。情報生成部５８Ｂは、管腔方向情報１２０を表示制御部５８Ｃに出力する。
　表示制御部５８Ｃは、ＲＡＭ６０に一時的に保存された内視鏡画像２８を取得する。さらに、表示制御部５８Ｃは、管腔方向情報１２０により示される管腔方向を内視鏡画像２８に重畳表示した画像１２２を生成する。表示制御部５８Ｃは、表示装置２２に対して画像１２２を表示させる。図１０に示す例では、画像１２２内において、管腔方向を示す表示として円弧１２２Ａが内視鏡画像２８の観察範囲の外周に示されている。
　一例として図１１に示すように、表示装置２２に表示される画像１２２は、内視鏡画像２８が取得される度に更新される。具体的には、管腔方向推定部５８Ａは、カメラ３８から内視鏡画像２８を取得する度に管腔方向推定処理（図１０参照）を行う。そして、管腔方向推定部５８Ａは、管腔方向推定処理により得られた推定結果１１８を情報生成部５８Ｂに出力する。情報生成部５８Ｂは、推定結果１１８に基づいて管腔方向情報１２０を生成する。表示制御部５８Ｃは、管腔方向情報１２０及びカメラ３８から取得した内視鏡画像２８に基づいて、表示装置２２に対して画像１２２を更新させる。この結果、画像１２２において、管腔方向を示す表示が、内視鏡画像２８内における管腔方向に応じて変化する。図１１に示す例では、管腔方向が内視鏡画像２８内において、紙面表側から見て左側、中央、及び右側の順に移動している。そして、図１１に示す例では、画像１２２内において、管腔方向を示す表示として円弧１２２Ａ、Ｘ字状の表示１２２Ｂ、及び円弧１２２Ｃの順に画像１２２が更新される例が示されている。なお、ここでは、管腔方向を示す表示として円弧１２２Ａ及び１２２Ｃ、並びにＸ字状の表示１２２Ｂが用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、管腔方向を示す表示としては、矢印等の記号又は「右上」等の文字が用いられてもよい。表示装置２２による管腔方向の表示に代えて、又は表示と共に音声による管腔方向の報知がなされてもよい。
　次に、情報処理装置６６の作用について、図１２を参照しながら説明する。図１２には、プロセッサ７８によって行われる機械学習処理の流れの一例が示されている。図１２に示す機械学習処理の流れは、本開示の技術に係る「学習済みモデル生成方法」の一例である。
　図１２に示す機械学習処理では、先ず、ステップＳＴ１１０で、演算部８６は、ディスプレイ７４に内視鏡画像２８を表示させる。ステップＳＴ１１０の処理が実行された後、機械学習処理は、ステップＳＴ１１２へ移行する。
　ステップＳＴ１１２で、演算部８６は、ステップＳＴ１１０においてディスプレイ７４に表示された内視鏡画像２８に対して、アノテータ７６により受付装置７２を介して入力された管腔対応領域９４の指定を受け付ける。ステップＳＴ１１２の処理が実行された後、機械学習処理は、ステップＳＴ１１４へ移行する。
　ステップＳＴ１１４で、演算部８６は、ステップＳＴ１１２で受け付けられた管腔対応領域９４と、分割領域９６との位置関係に基づいて正解データ９２を生成する。ステップＳＴ１１４の処理が実行された後、機械学習処理は、ステップＳＴ１１６へ移行する。
　ステップＳＴ１１６で、教師データ生成部８８は、ステップＳＴ１１４で生成された正解データ９２と、内視鏡画像２８とを紐づけることにより、教師データ９５を生成する。ステップＳＴ１１６の処理が実行された後、機械学習処理は、ステップＳＴ１１８へ移行する。
　ステップＳＴ１１８で、学習実行部９０は、ステップＳＴ１１６で生成された教師データ９５に含まれる内視鏡画像２８を取得する。ステップＳＴ１１８の処理が実行された後、機械学習処理は、ステップＳＴ１２０へ移行する。
　ステップＳＴ１２０で、学習実行部９０は、ステップＳＴ１１８で取得された内視鏡画像２８をＣＮＮ１１０へ入力する。ステップＳＴ１２０の処理が実行された後、機械学習処理は、ステップＳＴ１２２へ移行する。
　ステップＳＴ１２２で、学習実行部９０は、ステップＳＴ１２０で内視鏡画像２８がＣＮＮ１１０へ入力されることにより得られるＣＮＮ信号１１０Ａと、内視鏡画像２８に紐づけられた正解データ９２とを比較することで、誤差１１２を算出する。ステップＳＴ１２２が実行された後、機械学習処理は、ステップＳＴ１２４へ移行する。
　ステップＳＴ１２４で、学習実行部９０は、ステップＳＴ１２２で算出された誤差１１２が最も小さくなるようにＣＮＮ１１０の最適化変数を調整する。ステップＳＴ１２４が実行された後、機械学習処理は、ステップＳＴ１２６へ移行する。
　ステップＳＴ１２６で、学習実行部９０は、機械学習が終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件の一例としては、ステップＳＴ１２４で算出された誤差１１２が閾値以下となった、との条件が挙げられる。ステップＳＴ１２６において、終了条件を満足していない場合は、判定が否定されて、機械学習処理はステップＳＴ１１８へ移行する。ステップＳＴ１２６において、終了条件を満足した場合は、判定が肯定されて、機械学習処理は、ステップＳＴ１２８へ移行する。
　ステップＳＴ１２８で、学習実行部９０は、機械学習が終了したＣＮＮ１１０である学習済みモデル１１６を外部（例えば、内視鏡装置１２のＮＶＭ６２）へ出力する。ステップＳＴ１２８が実行された後、機械学習処理は、終了する。
　次に、内視鏡装置１２の作用について図１３を参照しながら説明する。図１３には、プロセッサ５８によって行われる内視鏡画像処理の流れの一例が示されている。図１３に示す内視鏡画像処理の流れは、本開示の技術に係る「画像処理方法」の一例である。
　図１３に示す内視鏡画像処理では、先ず、ステップＳＴ１０で、管腔方向推定部５８Ａは、管腔方向推定開始トリガがＯＮとなっているか否かを判定する。管腔方向推定開始トリガとしては、ユーザによる管腔方向推定開始指示（例えば、内視鏡スコープ１８に設けられたボタン（図示省略）の操作）が受け付けられたか否かが挙げられる。ステップＳＴ１０において、管腔方向推定開始トリガがＯＮとなっていない場合は、判定が否定されて、内視鏡画像処理は、再度ステップＳＴ１０に移行する。ステップＳＴ１０において、管腔方向推定開始トリガがＯＮとなった場合は、判定が肯定されて、内視鏡画像処理は、ステップＳＴ１２へ移行する。なお、ステップＳＴ１０において、管腔方向推定開始トリガがＯＮとなっているか否かが判定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。ステップＳＴ１０の判定が省略されて、常に管腔方向推定処理が行われる態様であっても本開示の技術は成立する。
　ステップＳＴ１２で、管腔方向推定部５８Ａは、ＲＡＭ６０から内視鏡画像２８を取得する。ステップＳＴ１２の処理が実行された後、内視鏡画像処理は、ステップＳＴ１４へ移行する。
　ステップＳＴ１４で、管腔方向推定部５８Ａは、学習済みモデル１１６を用いて内視鏡画像２８内における管腔方向の推定を開始する。ステップＳＴ１４の処理が実行された後、内視鏡画像処理は、ステップＳＴ１６へ移行する。
　ステップＳＴ１６で、管腔方向推定部５８Ａは、管腔方向の推定が終了したか否かを判定する。ステップＳＴ１６において、管腔方向の推定が終了していない場合、判定が否定され、内視鏡画像処理は、再度ステップＳＴ１６へ移行する。ステップＳＴ１６において、管腔方向の推定が終了した場合、判定が肯定され、内視鏡画像処理は、ステップＳＴ１８へ移行する。
　ステップＳＴ１８で、情報生成部５８Ｂは、ステップＳＴ１６において得られた推定結果１１８に基づいて管腔方向情報１２０を生成する。ステップＳＴ１８の処理が実行された後、内視鏡画像処理は、ステップＳＴ２０へ移行する。
　ステップＳＴ２０で、表示制御部５８Ｃは、ステップＳＴ１８において生成された管腔方向情報１２０をディスプレイ７４に出力する。ステップＳＴ２０の処理が実行された後、内視鏡画像処理は、ステップＳＴ２２へ移行する。
　ステップＳＴ２２で、表示制御部５８Ｃは、内視鏡画像処理が終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件の一例としては、内視鏡画像処理を終了させる指示がタッチパネル５４によって受け付けられた、との条件が挙げられる。ステップＳＴ２２において、終了条件を満足していない場合は、判定が否定されて、内視鏡画像処理はステップＳＴ１２へ移行する。ステップＳＴ２２において、終了条件を満足した場合は、判定が肯定されて、内視鏡画像処理が終了する。
　なお、ステップＳＴ１０において、管腔方向推定開始トリガとしては、ユーザによる管腔方向推定開始指示（例えば、内視鏡スコープ１８に設けられたボタン（図示省略）の操作）が受け付けられたか否かという形態例を挙げて説明したが、本開示の技術はこれに限定されない。管腔方向推定開始トリガとしては、内視鏡スコープ１８が管状臓器内に挿入されたことが検出されたか否かであってもよい。内視鏡スコープ１８が挿入されたことが検出された場合、管腔方向推定開始トリガがＯＮとなる。この場合において、プロセッサ５８は、例えば、内視鏡画像２８に対してＡＩを用いた画像認識処理を行うことで、内視鏡スコープ１８が管状臓器内に挿入されたか否かを検出する。さらに、その他の管腔方向推定開始トリガとしては、管状臓器内の特定部位が認識されたか否かであってもよい。特定部位が検出された場合に管腔方向推定開始トリガがＯＮとなる。この場合においても、プロセッサ５８は、例えば、内視鏡画像２８に対してＡＩを用いた画像認識処理を行うことで、特定部位が検出されたか否かを検出する。
　また、ステップＳＴ２２で、終了条件が、内視鏡画像処理を終了させる指示がタッチパネル５４によって受け付けられたとの条件である形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、終了条件は、プロセッサ５８によって、内視鏡スコープ１８が体内から抜き去られたことが検出された、との条件であってもよい。この場合において、プロセッサ５８は、例えば、内視鏡画像２８に対してＡＩを用いた画像認識処理を行うことで、内視鏡スコープ１８が体内から抜き去られたことを検出する。また、その他の終了条件として、プロセッサ５８によって、内視鏡スコープ１８が管状臓器内の特定部位（例えば、大腸における回盲部）に到達したことが検出された、との条件であってもよい。この場合において、プロセッサ５８は、例えば、内視鏡画像２８に対してＡＩを用いた画像認識処理を行うことで、内視鏡スコープ１８が、管状臓器の特定部位に到達したことを検出する。
　以上説明したように、本実施形態に係る内視鏡装置１２では、カメラ３８により撮像された内視鏡画像２８が学習済みモデル１１６に入力されることで管腔方向が取得される。学習済みモデル１１６は、管状臓器（例えば、大腸）を示す画像を分割することで得られた複数の分割領域９６と内視鏡画像２８に含まれる管腔対応領域９４との位置関係に基づく機械学習処理により得られる。さらに、プロセッサ５８により、管腔方向を示す情報である管腔方向情報１２０が出力される。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。管腔方向情報１２０は、例えば、ユーザに対する管腔方向の表示に利用される。
　例えば、医師による診察時の管腔方向の経験的な予測（例えば、ハレーションの円弧形状から管腔方向を予測）を応用した画像処理による管腔方向の予測と比較して、本構成によれば、経験則からは予測の精度が低下する状態の画像（例えば、画像内にハレーションが生じていない画像）を用いる場合でも、管腔方向の予測が可能である。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。
　また、本実施形態に係る内視鏡装置１２では、内視鏡画像２８内の管腔領域２８Ａ（を含む予め定められた範囲が管腔対応領域９４とされる。そして、分割領域９６と管腔対応領域９４との位置関係に基づく機械学習により得られた学習済みモデル１１６に従って管腔方向が推定される。予め定められた範囲が管腔対応領域９４とされることで、機械学習において管腔領域２８Ａの存在が認識されやすくなり、機械学習の精度が向上する。このため、学習済みモデル１１６を用いた管腔方向の推定の精度も向上する。この結果、プロセッサ５８により、精度の高い管腔方向情報１２０が出力される。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。
　例えば、管腔領域２８Ａのみを管腔対応領域９４とする場合、管腔対応領域９４が画像内で点のように小さくなり、機械学習において管腔対応領域９４が正確に認識されず、機械学習の精度が低下する。一方、本構成では、管腔対応領域９４が予め定められた範囲とされているので、機械学習の精度が向上する。この結果、プロセッサ５８により、精度の高い管腔方向情報１２０が出力される。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。
　また、本実施形態に係る内視鏡装置１２では、内視鏡画像２８内の襞領域２８Ｂから管腔の位置が推定される方向におけるカメラ３８による観察範囲の端部が、管腔対応領域９４とされる。そして、分割領域９６と管腔対応領域９４との位置関係に基づく機械学習により得られた学習済みモデル１１６に従って管腔方向が推定される。襞領域２８Ｂから管腔の位置が推定される方向におけるカメラ３８による観察範囲の端部が、管腔対応領域９４とされるので、管腔領域２８Ａが画像内に含まれない場合でも、機械学習が行える。これにより、学習対象となる内視鏡画像２８の枚数が増えるので、機械学習の精度が向上する。このため、学習済みモデル１１６を用いた管腔方向の推定の精度も向上する。この結果、プロセッサ５８により、精度の高い管腔方向情報１２０が出力される。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。
　また、本実施形態に係る内視鏡装置１２では、機械学習における管腔対応領域９４と分割領域９６との位置関係において、管腔対応領域９４と重畳している分割領域９６の方向が、管腔方向である。分割領域９６の方向は、内視鏡画像２８の分割によって予め定まっている。従って、本構成によれば、管腔対応領域９４の位置に応じて管腔方向が都度算出される場合と比較して、管腔方向の推定における負荷が低減される。
　また、本実施形態に係る内視鏡装置１２では、学習済みモデル１１６は、襞領域２８Ｂの形状、及び／又は向きに基づいて、管腔の位置をプロセッサ５８に対して推定させるよう構成されたデータ構造である。これにより、管腔の位置が正確に推定される。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。
　例えば、医師による診察時の管腔方向の経験的な予測（例えば、ハレーションの円弧形状から管腔方向を予測）を応用した画像処理による管腔方向の予測と比較して、本構成によれば、経験則からは予測の精度が低下する状態の画像（例えば、画像内にハレーションが生じていない画像）を用いる場合でも、管腔方向の予測が可能である。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。
　また、本実施形態に係る内視鏡装置１２では、管腔方向は、管腔対応領域９４と重畳している面積の最も大きい分割領域９６の存在する方向とされる。管腔対応領域９４と分割領域９６とが重畳している面積が大きいことは、分割領域９６の存在する方向に管腔が存在することを意味する。これにより、機械学習において、管腔方向を一意に定めることができる。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。
　また、本実施形態に係る内視鏡装置１２では、分割領域９６は、内視鏡画像２８の中央領域９６Ａと、中央領域９６Ａから内視鏡画像２８の外縁に向かって放射状に複数存在する放射状領域９６Ｂとを有する。中央領域９６Ａには、内視鏡画像２８内において管腔領域２８Ａが比較的頻度高く写り込む。このため、中央領域９６Ａに管腔が存在する場合にも管腔方向を示すことが求められる。また、内視鏡画像２８を放射状に分割することで、管腔の方向がどの方向に存在するかを示しやすくなる。このように内視鏡画像２８を中央領域９６Ａと放射状領域９６Ｂとに分割することで、どの方向が管腔方向であるかが把握されやすくなる。従って、本構成によれば、ユーザに対して分かりやすく管腔方向を示すことが実現される。
　また、本実施形態に係る内視鏡装置１２では、放射状領域９６Ｂは、放射状に８つ存在する。放射状領域９６Ｂが８つ存在することで、管腔の方向がどの方向に存在するかを示しやすくなる。また、ユーザに対しても細かすぎない区分で管腔方向が示される。従って、本構成によれば、ユーザに対して分かりやすく管腔方向を示すことが実現される。
　また、本実施形態に係る内視鏡装置１２では、表示装置２２において、プロセッサ５８により出力された管腔方向情報１２０に応じた情報が表示される。従って、本構成によれば、ユーザが管腔方向を認識することが容易になる。
　また、本実施形態に係る学習済みモデル１１６は、内視鏡画像２８を分割することで得られた複数の分割領域９６と内視鏡画像２８に含まれる管腔対応領域９４との位置関係に基づく機械学習処理により得られる。学習済みモデル１１６は、プロセッサ５８による管腔方向情報１２０の出力に利用される。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。管腔方向情報１２０は、例えば、医師に対する管腔方向の表示に利用される。
　例えば、医師による診察時の管腔方向の経験的な予測（例えば、ハレーションの円弧形状から管腔方向を予測）を応用した内視鏡画像処理による管腔方向の予測と比較して、本構成によれば、経験則からは予測の精度が低下する状態の画像（例えば、画像内にハレーションが生じていない画像）を用いる場合でも、管腔方向の予測が可能である。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。
　＜第２実施形態＞
　上記第１実施形態では、演算部８６において、管腔対応領域９４と重畳している面積が最も大きい分割領域９６の方向が正解データ９２として生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第２実施形態では、演算部８６において、管腔対応領域９４と重畳している面積が最も大きい分割領域９６の方向、及び管腔対応領域と重畳している面積が二番目に大きい分割領域９６の方向が、正解データ９２として生成される。
　一例として図１４に示すように、先ず、演算部８６は、ディスプレイ７４に対して、内視鏡画像２８を表示させる。内視鏡画像２８がディスプレイ７４に表示された状態で、アノテータ７６は、受付装置７２（例えば、キーボード７２Ａ及び／又はマウス７２Ｂ）を介してコンピュータ７０に対して、内視鏡画像２８における管腔対応領域９４を指定する。
　演算部８６は、アノテータ７６から受付装置７２を介して内視鏡画像２８内における管腔対応領域９４の指定を受け付ける。演算部８６によって、内視鏡画像２８が仮想的に分割されることにより複数の分割領域９６が得られる。図１４に示す例では、内視鏡画像２８が、中央領域９６Ａと、８つの放射状領域９６Ｂに分割されている。
　演算部８６によって、複数の分割領域９６の内、管腔対応領域９４と重畳している面積が最も大きい分割領域９６及び管腔対応領域９４と重畳している面積が二番目に大きい分割領域９６が導出される。例えば、演算部８６は、複数の分割領域９６の各々と管腔対応領域９４とが重畳している領域を特定する。また、演算部８６は、分割領域９６と管腔対応領域９４とが重畳している領域の面積を算出する。そして、演算部８６は、分割領域９６と管腔対応領域９４とが重畳している領域の面積が最も大きい分割領域９６及び二番目に面積が大きい分割領域９６を特定する。分割領域９６と管腔対応領域９４とが重畳している領域の面積が最も大きい分割領域９６は、本開示の技術に係る「第１分割領域」の一例であり、二番目に面積が大きい分割領域９６は、本開示の技術に係る「第２分割領域」の一例である。
　図１４に示す例では、正解データ９２として、放射状領域９６Ｂのうちの第２領域９６Ｂ１及び第１領域９６Ｂ２の存在する方向が管腔方向（すなわち、カメラ３８を挿入するための方向）である例が示されている。
　ここでは、内視鏡画像２８において、管腔領域２８Ａが写り込んでいる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図７と同様に内視鏡画像２８内において、管腔領域２８Ａが写り込んでいない場合であってもよい。
　教師データ生成部８８（図８参照）は、演算部８６（図８参照）から内視鏡画像２８を取得し、取得した内視鏡画像２８に対して、正解データ９２を紐付けることで教師データ９５（図８参照）を生成する。学習実行部９０は、教師データ生成部８８によって生成された教師データ９５を取得する。そして、学習実行部９０（図８参照）は、教師データ９５を用いて機械学習を実行する。機械学習の結果生成された学習済みモデル１１６Ａは、学習実行部９０によって記憶装置としての内視鏡装置１２のＮＶＭ６２に記憶される。
　一例として図１５に示すように、内視鏡装置１２では、情報処理装置６６において生成された学習済みモデル１１６Ａを用いて、管腔方向推定処理が行われる。管腔方向推定部５８Ａは、内視鏡画像２８に基づいて管腔方向推定処理を行う。管腔方向推定部５８Ａは、ＮＶＭ６２から学習済みモデル１１６Ａを取得する。そして、管腔方向推定部５８Ａは、学習済みモデル１１６Ａに内視鏡画像２８を入力する。学習済みモデル１１６Ａは、内視鏡画像２８が入力されると、内視鏡画像２８内における管腔方向の推定結果１１８Ａを出力する。推定結果１１８Ａは、例えば、分割領域９６毎の管腔方向が存在するか否かの確率分布ｐである。
　一例として図１６に示すように、管腔方向推定部５８Ａは、情報生成部５８Ｂに対して推定結果１１８を出力する。情報生成部５８Ｂは、推定結果１１８Ａに基づいて管腔方向情報１２０を生成する。情報生成部５８Ｂは、例えば、推定結果１１８Ａにより示される確率分布ｐにおいて、最も高い確率分布の値を示す分割領域９６の方向及び二番目に高い確率分布の値示す分割領域９６の方向を管腔方向として管腔方向情報１２０を生成する。情報生成部５８Ｂは、管腔方向情報１２０を表示制御部５８Ｃに出力する。
　表示制御部５８Ｃは、管腔方向情報１２０により示される管腔方向を内視鏡画像２８に重畳表示した画像１２２を生成する。表示制御部５８Ｃは、表示装置２２に対して画像１２２を表示させる。図１６に示す例では、画像１２２内において、管腔方向を示す表示として円弧１２２Ｄ及び円弧１２２Ｅが内視鏡画像２８の観察範囲の外周に示されている。
　以上説明したように、本実施形態に係る内視鏡装置１２では、管腔方向は、管腔対応領域９４と重畳している面積の最も大きい分割領域９６の存在する方向、及び、管腔対応領域９４と重畳している面積の二番目に大きい分割領域９６の存在する方向とされる。管腔対応領域９４と分割領域９６とが重畳している面積が大きいことは、分割領域９６の存在する方向に管腔が存在する可能性が高いことを意味する。これにより、機械学習において、管腔方向の存在する可能性の高い方向を定めることができる。従って、本構成によれば、管腔方向の存在する可能性の高い管腔方向情報１２０の出力が実現される。
（第１変形例）
　なお、上記第２実施形態において、学習済みモデル１１６Ａから出力される推定結果１１８Ａがそのまま管腔方向情報１２０の生成に用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。推定結果１１８Ａが修正された結果である修正結果１２４が管腔方向情報１２０の生成に用いられてもよい。
　一例として図１７に示すように、管腔方向推定部５８Ａは、内視鏡画像２８に基づいて管腔方向推定処理を行う。管腔方向推定部５８Ａは、学習済みモデル１１６Ａに内視鏡画像２８を入力する。学習済みモデル１１６Ａは、内視鏡画像２８が入力されると、内視鏡画像２８内における管腔方向の推定結果１１８Ａを出力する。
　管腔方向推定部５８Ａは、推定結果１１８Ａに対して、推定結果修正処理を行う。管腔方向推定部５８Ａは、推定結果１１８Ａの各分割領域９６の確率分布ｐから管腔方向の存在する確率のみを抽出する。さらに、管腔方向推定部５８Ａは、確率分布ｐのうちの最も大きい確率を起点に重みづけを行う。具体的には、管腔方向推定部５８Ａは、ＮＶＭ６２から重みづけ係数１２６を取得し、抽出した確率と重みづけ係数１２６とを乗算する。例えば、重みづけ係数１２６は、最も大きい確率に対応した係数を１とし、最も大きい確率に隣接した確率に対応した係数を０．８として設定されている。重みづけ係数１２６は、例えば、過去の推定結果１１８Ａに基づいて適宜設定される。
　重みづけ係数１２６は、確率分布ｐに応じて設定されてもよい。例えば、分割領域９６の内の中央領域９６Ａの確率が最も大きい場合は、重みづけ係数１２６のうちの最も大きい確率に対応した係数を１とし、最も大きい確率に対応した係数以外の係数を０としてもよい。
　そして、管腔方向推定部５８Ａは、閾値１２８をＮＶＭ６２から取得し、閾値１２８以上の確率を修正結果１２４とする。閾値１２８は、例えば、０．５であるが、これはあくまでも一例に過ぎない。例えば、閾値１２８は、例えば、０．４であってもよいし、０．６であってもよい。閾値１２８は、例えば、過去の推定結果１１８Ａに基づいて適宜設定される。
　管腔方向推定部５８Ａは、修正結果１２４を情報生成部５８Ｂに出力する。情報生成部５８Ｂは、修正結果１２４に基づいて管腔方向情報１２０を生成する。情報生成部５８Ｂは、管腔方向情報１２０を表示制御部５８Ｃに出力する。
　以上説明したように、本第１変形例に係る内視鏡装置１２では、推定結果１１８Ａが推定結果修正処理によって修正される。推定結果修正処理では、推定結果１１８Ａに対して重みづけ係数１２６及び閾値１２８を用いた修正が行われる。これにより、推定結果１１８Ａにより示される管腔方向がより正確になる。従って、本構成によれば、正確な管腔方向情報１２０の出力が実現される。
　なお、本第１変形例では、推定結果１１８Ａに対して推定結果修正処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。推定結果修正処理に相当する演算が学習済みモデル１１６Ａに組み込まれていてもよい。
　（第２変形例）
　上記第１及び第２実施形態では、分割領域９６が、中央領域９６Ａ及び放射状領域９６Ｂを有する形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第２変形例では、分割領域９６は、中央領域９６Ａと、中央領域９６Ａよりも内視鏡画像２８の外縁側に複数存在する周縁領域９６Ｃとを有する。
　一例として図１８に示すように、演算部８６は、アノテータ７６から受付装置７２を介して内視鏡画像２８内における管腔対応領域９４の指定を受け付ける。演算部８６によって、内視鏡画像２８が仮想的に分割されることにより複数の分割領域９６が得られる。
　分割領域９６は、中央領域９６Ａと周縁領域９６Ｃとを有している。中央領域９６Ａは、例えば、内視鏡画像２８における中央Ｃを中心とした円形の領域である。周縁領域９６Ｃは、中央領域９６Ａよりも内視鏡画像２８の外縁側に複数存在する領域である。図１８に示す例では、周縁領域９６Ｃが、内視鏡画像２８の外縁側に３つ存在している。ここでは、３つの周縁領域９６Ｃが示されているが、これはあくまでも一例に過ぎない。周縁領域９６Ｃの数は、２個であってもよいし、４個以上であってもよい。周縁領域９６Ｃは、本開示の技術に係る「周縁領域」の一例である。
　演算部８６によって、複数の分割領域９６の内、管腔対応領域９４と重畳している面積が最も大きい分割領域９６が導出される。例えば、演算部８６は、複数の分割領域９６の各々と管腔対応領域９４とが重畳している領域を特定する。演算部８６は、分割領域９６と管腔対応領域９４とが重畳している領域の面積を算出する。そして、演算部８６は、分割領域９６と管腔対応領域９４とが重畳している領域の面積が最も大きい分割領域９６を特定する。
　演算部８６は、管腔対応領域９４と重畳している面積が最も大きい分割領域９６の方向を正解データ９２として生成する。図１８に示す例では、正解データ９２として、周縁領域９６Ｃのうちの第３領域９６Ｃ１の存在する方向が管腔方向である例が示されている。
　以上説明したように、本第２変形例では、分割領域９６は、内視鏡画像２８の中央領域９６Ａと、中央領域９６Ａよりも内視鏡画像２８の外縁側に複数存在する周縁領域９６Ｃとを有する。中央領域９６Ａには、内視鏡画像２８内において管腔領域２８Ａが比較的頻度高く写り込む。このため、中央領域９６Ａに管腔が存在する場合にも管腔方向を示すことが求められる。また、周縁領域９６Ｃを複数に分割することで、管腔の方向がどの方向に存在するかを示しやすくなる。このように内視鏡画像２８を中央領域９６Ａと複数の周縁領域９６Ｃに分割することで、どの方向が管腔方向であるかが把握されやすくなる。従って、本構成によれば、ユーザに対して分かりやすく管腔方向を示すことが実現される。
　また、本第２変形例では、分割領域９６は、周縁領域９６Ｃは、中央領域９６Ａよりも内視鏡画像２８の外縁側が中央領域９６Ａから内視鏡画像２８の外縁に向かって３方向以上に分割されることにより得られる。中央領域９６Ａには、内視鏡画像２８内において管腔領域２８Ａが比較的頻度高く写り込む。このため、中央領域９６Ａに管腔が存在する場合にも管腔方向を示すことが求められる。内視鏡画像２８の外縁に向かって３方向以上に分割することで、管腔の方向がどの方向に存在するかを示しやすくなる。このように中央領域９６Ａと３方向以上の周縁領域９６Ｃに分割することで、どの方向が管腔方向であるかが把握されやすくなる。従って、本構成によれば、ユーザに対して分かりやすく管腔方向を示すことが実現される。
　（第３変形例）
　上記第１及び第２実施形態では、分割領域９６は、中央領域９６Ａと放射状領域９６Ｂとを有している形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第３変形例では、分割領域９６は、内視鏡画像２８の中央Ｃを起点として内視鏡画像２８の外縁に向かって３方向以上の領域に分割されることで得られる。
　一例として図１９に示すように、演算部８６は、アノテータ７６から受付装置７２を介して内視鏡画像２８内における管腔対応領域９４の指定を受け付ける。演算部８６によって、内視鏡画像２８が仮想的に分割されることにより複数の分割領域９６が得られる。
　分割領域９６は、内視鏡画像２８における中央Ｃを中心として、内視鏡画像２８の外縁に向かって３方向に分割されることにより得られる領域である。図１９に示す例では、分割領域９６が、内視鏡画像２８の外縁側に３つ存在している。ここでは、３つの分割領域９６が示されているが、これはあくまでも一例に過ぎない。分割領域９６の数は、２個であってもよいし、４個以上であってもよい。
　演算部８６によって、複数の分割領域９６の内、管腔対応領域９４と重畳している面積が最も大きい分割領域９６が導出される。例えば、演算部８６は、複数の分割領域９６の各々と管腔対応領域９４とが重畳している領域を特定する。演算部８６は、分割領域９６と管腔対応領域９４とが重畳している領域の面積を算出する。そして、演算部８６は、分割領域９６と管腔対応領域９４とが重畳している領域の面積が最も大きい分割領域９６を特定する。
　演算部８６は、管腔対応領域９４と重畳している面積が最も大きい分割領域９６の方向を正解データ９２として生成する。図１９に示す例では、正解データ９２として、周縁領域９６Ｃのうちの第３領域９６Ｃ１の存在する方向が管腔方向である例が示されている。
　以上説明したように、本第３変形例では、分割領域９６は、内視鏡画像２８の中央Ｃを起点として外縁に向かって内視鏡画像２８を３方向以上に分割することにより得られる。
内視鏡画像２８の中央Ｃを起点として外縁に向かって３方向以上に分割することで、管腔方向がどの方向に存在するかを示しやすくなる。このように３方向以上の領域に分割することで、どの方向が管腔方向であるかが把握されやすくなる。従って、本構成によれば、ユーザに対して分かりやすく管腔方向を示すことが実現される。
　上記各実施形態では、内視鏡装置１２のプロセッサ５８によって内視鏡画像処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、内視鏡画像処理を行うデバイスは、内視鏡装置１２の外部に設けられていてもよい。内視鏡装置１２の外部に設けられるデバイスの一例としては、サーバが挙げられる。例えば、サーバは、クラウドコンピューティングによって実現される。ここでは、クラウドコンピューティングを例示しているが、これは、あくまでも一例に過ぎず、例えば、サーバは、メインフレームによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。ここでは、内視鏡装置１２の外部に設けられるデバイスの一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のパーソナル・コンピュータ等であってもよい。また、内視鏡画像処理は、内視鏡装置１２と内視鏡装置１２の外部に設けられるデバイスとを含む複数のデバイスによって分散して行われるようにしてもよい。
　また、上記各実施形態では、ＮＶＭ６２に内視鏡画像処理プログラム６２Ａが記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、内視鏡画像処理プログラム６２ＡがＳＳＤ又はＵＳＢメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的なコンピュータ読取可能な記憶媒体である。記憶媒体に記憶されている内視鏡画像処理プログラム６２Ａは、制御装置４６のコンピュータ５６にインストールされる。プロセッサ５８は、内視鏡画像処理プログラム６２Ａに従って内視鏡画像処理を実行する。
　また、上記各実施形態では、情報処理装置６６のプロセッサ７８によって機械学習処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、機械学習処理は、内視鏡装置１２において行われてもよい。また、機械学習処理は、内視鏡装置１２と情報処理装置６６とを含む複数のデバイスによって分散して行われるようにしてもよい。
　また、上記各実施形態では、内視鏡画像２８が学習済みモデル１１６に入力されることで得られる推定結果１１８に基づいて管腔方向が表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、一の内視鏡画像２８に対する推定結果１１８に加えて、他の内視鏡画像２８（例えば、一の内視鏡画像２８が得られる数フレーム（例えば、１～２フレーム）前の内視鏡画像２８）に対する推定結果１１８が合わせて用いられることにより、管腔方向が表示されてもよい。
　上記各実施形態では、コンピュータ５６が例示されているが、本開示の技術はこれに限定されず、コンピュータ５６に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５６に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
　上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、内視鏡画像処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで内視鏡画像処理を実行する。
　内視鏡画像処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はプロセッサとＦＰＧＡとの組み合わせ）で構成されてもよい。また、内視鏡画像処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のプロセッサとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、内視鏡画像処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、内視鏡画像処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、内視鏡画像処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の内視鏡画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
　２０２３年７月１９日に出願された日本国特許出願２０２２－１１５１１０号の開示は、その全体が参照により本明細書に取り込まれる。

Claims (19)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像が分割された複数の分割領域と前記画像に含まれる管腔対応領域との位置関係に基づく機械学習により得られた学習済みモデルに従って前記画像から、前記内視鏡スコープを挿入するための方向である管腔方向を取得し、
    　前記管腔方向を示す情報である管腔方向情報を出力する
    　画像処理装置。
  2. 　前記管腔対応領域は、前記画像内の管腔領域を含む予め定められた範囲の領域である
    　請求項１に記載の画像処理装置。
  3. 　前記管腔対応領域は、前記画像内の襞領域から管腔領域の位置が推定される方向における前記カメラによる観察範囲の端部である
    　請求項１に記載の画像処理装置。
  4. 　前記複数の分割領域のうち、前記管腔対応領域と重畳している分割領域の方向が前記管腔方向である
    　請求項１に記載の画像処理装置。
  5. 　前記学習済みモデルは、前記画像内の襞領域の形状及び／又は向きに基づいて、管腔領域の位置を前記プロセッサに対して推定させるよう構成されたデータ構造である
    　請求項１に記載の画像処理装置。
  6. 　前記管腔方向は、前記複数の分割領域のうち、前記画像において前記管腔対応領域と重畳している面積の最も大きい分割領域の存在する方向である
    　請求項１に記載の画像処理装置。
  7. 　前記管腔方向は、前記複数の分割領域のうち、前記画像において前記管腔対応領域と重畳している面積の最も大きい分割領域である第１分割領域の存在する方向、及び前記第１分割領域の次に前記管腔対応領域と重畳している面積の大きい分割領域である第２分割領域の存在する方向である
    　請求項１に記載の画像処理装置。
  8. 　前記分割領域は、前記画像の中央領域と、前記中央領域から前記画像の外縁に向かって放射状に複数存在する放射状領域とを有する
    　請求項１に記載の画像処理装置。
  9. 　前記放射状領域は、放射状に８つ存在する
    　請求項８に記載の画像処理装置。
  10. 　前記分割領域は、前記画像の中央領域と、前記中央領域よりも前記画像の外縁側に複数存在する周縁領域とを有する
    　請求項１に記載の画像処理装置。
  11. 　前記分割領域は、前記画像の中央を起点として前記画像の外縁に向かって３方向以上の領域に分割されることで得られる
    　請求項１に記載の画像処理装置。
  12. 　前記分割領域は、前記画像の中央領域と、前記中央領域よりも前記画像の外縁側に複数存在する周縁領域とを有し、
    　前記周縁領域は、前記中央領域よりも前記画像の外縁側が前記中央領域から前記画像の外縁に向かって３方向以上に分割されることにより得られる
    　請求項１に記載の画像処理装置。
  13. 　請求項１から請求項１２の何れか一項に記載の画像処理装置の前記プロセッサにより出力された前記管腔方向情報に応じた情報が表示される
    　表示装置。
  14. 　請求項１から請求項１２の何れか一項に記載の画像処理装置と、
    　前記内視鏡スコープと、を備える
    　内視鏡装置。
  15. 　内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像が分割された複数の分割領域と前記画像に含まれる管腔対応領域との位置関係に基づく機械学習により得られた学習済みモデルに従って前記画像から、前記内視鏡スコープを挿入するための方向である管腔方向を取得すること、及び、
    　前記管腔方向を示す情報である管腔方向情報を出力すること
    　を含む画像処理方法。
  16. 　第１コンピュータに、
    　画像処理であって、
    　内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像が分割された複数の分割領域と前記画像に含まれる管腔対応領域との位置関係に基づく機械学習により得られた学習済みモデルに従って前記画像から、前記内視鏡スコープを挿入するための方向である管腔方向を取得すること、及び、
    　前記管腔方向を示す情報である管腔方向情報を出力すること
    　を含む画像処理を実行させるための画像処理プログラム。
  17. 　内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像が分割された複数の分割領域と前記画像に含まれる管腔対応領域との位置関係に基づく機械学習により得られる
    　学習済みモデル。
  18. 　内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像を取得すること、及び、
    　モデルに対して、前記画像が分割された複数の分割領域と前記画像に含まれる管腔対応領域との位置関係に基づく機械学習を実行すること、
    　を含む学習済みモデル生成方法。
  19. 　第２コンピュータに、
    　学習済みモデル生成処理であって、
    　内視鏡スコープに設けられたカメラにより管状臓器が撮像されることで得られた画像を取得すること、及び、
    　モデルに対して、前記画像が分割された複数の分割領域と前記画像に含まれる管腔対応領域との位置関係に基づく機械学習を実行すること、
    　を含む処理を実行させるための学習済みモデル生成プログラム。
PCT/JP2023/016141 2022-07-19 2023-04-24 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム WO2024018713A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-115110 2022-07-19
JP2022115110 2022-07-19

Publications (1)

Publication Number Publication Date
WO2024018713A1 true WO2024018713A1 (ja) 2024-01-25

Family

ID=89617612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/016141 WO2024018713A1 (ja) 2022-07-19 2023-04-24 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム

Country Status (1)

Country Link
WO (1) WO2024018713A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019207740A1 (ja) * 2018-04-26 2019-10-31 オリンパス株式会社 移動支援システム及び移動支援方法
WO2020194472A1 (ja) * 2019-03-25 2020-10-01 オリンパス株式会社 移動支援システム、移動支援方法、および移動支援プログラム
JP2021049314A (ja) * 2019-12-04 2021-04-01 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019207740A1 (ja) * 2018-04-26 2019-10-31 オリンパス株式会社 移動支援システム及び移動支援方法
WO2020194472A1 (ja) * 2019-03-25 2020-10-01 オリンパス株式会社 移動支援システム、移動支援方法、および移動支援プログラム
JP2021049314A (ja) * 2019-12-04 2021-04-01 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム

Similar Documents

Publication Publication Date Title
JP4418400B2 (ja) 画像表示装置
JP7270658B2 (ja) 画像記録装置、画像記録装置の作動方法および画像記録プログラム
CN114022548A (zh) 一种内窥镜碰撞检测方法、装置、设备及存储介质
CN115944388B (zh) 手术内窥镜位置引导方法、装置、计算机设备及存储介质
WO2021171465A1 (ja) 内視鏡システム及び内視鏡システムによる管腔走査方法
JP6840263B2 (ja) 内視鏡システム及びプログラム
WO2024018713A1 (ja) 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム
US12133635B2 (en) Endoscope processor, training device, information processing method, training method and program
US20230306592A1 (en) Image processing device, medical diagnosis device, endoscope device, and image processing method
WO2024190272A1 (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
CN113317874A (zh) 一种医学图像处理装置及介质
US20240188798A1 (en) Endoscope system, medical information processing apparatus, medical information processing method, medical information processing program, and recording medium
WO2024171780A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
US20230380910A1 (en) Information processing apparatus, ultrasound endoscope, information processing method, and program
US20240366324A1 (en) Medical assistance device, endoscope apparatus, medical assistance method, and program
US20240079100A1 (en) Medical support device, medical support method, and program
WO2024095674A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
US20240065527A1 (en) Medical support device, endoscope, medical support method, and program
WO2024202789A1 (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
WO2024185357A1 (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
WO2024185468A1 (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
US20240335093A1 (en) Medical support device, endoscope system, medical support method, and program
WO2024166731A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
WO2024176780A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2024095676A1 (ja) 医療支援装置、内視鏡、及び医療支援方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23842647

Country of ref document: EP

Kind code of ref document: A1