Nothing Special   »   [go: up one dir, main page]

WO2019207740A1 - 移動支援システム及び移動支援方法 - Google Patents

移動支援システム及び移動支援方法 Download PDF

Info

Publication number
WO2019207740A1
WO2019207740A1 PCT/JP2018/017097 JP2018017097W WO2019207740A1 WO 2019207740 A1 WO2019207740 A1 WO 2019207740A1 JP 2018017097 W JP2018017097 W JP 2018017097W WO 2019207740 A1 WO2019207740 A1 WO 2019207740A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
image
captured image
unit
imaging
Prior art date
Application number
PCT/JP2018/017097
Other languages
English (en)
French (fr)
Inventor
良 東條
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/017097 priority Critical patent/WO2019207740A1/ja
Priority to JP2020515412A priority patent/JP7093833B2/ja
Publication of WO2019207740A1 publication Critical patent/WO2019207740A1/ja
Priority to US17/079,610 priority patent/US11812925B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a movement support system and a movement support method that facilitate insertion of an endoscope insertion portion and the like.
  • endoscopes in which elongated endoscopes are inserted into body cavities and the like to observe a test site and perform various treatments have been widely used. Also in the industrial field, industrial endoscopes that can observe and inspect internal scratches and corrosion of boilers, turbines, engines, chemical plants, and the like are widely used.
  • the endoscopic image obtained by the endoscope image sensor is transmitted to a processor that performs signal processing.
  • the processor processes the image from the endoscope and supplies it to the monitor for display or to the recording device for recording.
  • the insertion part of the endoscope is inserted into the lumen or the like.
  • the insertion portion is smoothly inserted into the lumen or the like. Therefore, in International Publication No. 2008-155828, there is a technique for detecting the position of the dark part as a target of the insertion direction and indicating the operation direction based on the past dark part position detection history when the dark part is lost. It is disclosed.
  • the movement support system is provided with a captured image acquired by an imaging unit fixed to a moving body, detects an image of an imaging target included in the captured image, and detects the detected imaging target.
  • a target image detection unit that detects a position of the image in the captured image
  • a position storage unit that stores a position in the captured image of the image of the imaging target detected by the target image detection unit, and the captured image
  • a target position change estimation unit that estimates a change in the position of the imaging target with reference to the captured image by detecting a change in the captured image, and the imaging from above the captured image by the target image detection unit.
  • the position information stored in the position storage unit and the position of the imaging target obtained by the target position change estimation unit Based on the estimation result of the change, including a, and the target position estimating section for outputting a position estimation result to estimate the position of the imaging target relative to the said captured image.
  • a captured image acquired by an imaging unit fixed to a moving body is given, and an image of the imaging target included in the captured image is detected.
  • the position stored in the position storage unit is stored.
  • the position of the imaging target is estimated based on the captured image and the position estimation result is output.
  • the block diagram which shows the movement assistance system which concerns on the 1st Embodiment of this invention.
  • Explanatory drawing for demonstrating the target position estimation method by an optical flow Explanatory drawing for demonstrating the target position estimation method by an optical flow.
  • Explanatory drawing for demonstrating the target position estimation method by an optical flow Explanatory drawing which shows the example from which the movement of a tracking point becomes irregular.
  • movement of 1st Embodiment Explanatory drawing for demonstrating operation
  • region set in a captured image Explanatory drawing which shows the example of a display when an imaging target image lose
  • FIG. 1 is a block diagram showing a movement support system according to the first embodiment of the present invention.
  • the first embodiment is applied to insertion support when an insertion portion of an endoscope is inserted into a subject.
  • the present embodiment effectively supports movement of a moving body by providing or controlling a direction in which the moving body should be moved in an operation or control for moving the moving body provided with an imaging unit.
  • a moving body for example, not only the insertion part of medical and industrial endoscopes but also a capsule endoscope, a catheter provided with an imaging part, and the like can be adopted as the moving body.
  • you may employ adopt the well-known various apparatuses which can move autonomously as a moving body.
  • a robot cleaner that can move indoors, an automatic traveling vehicle that moves on the ground, an unmanned aircraft such as a drone, or an autonomous ship that moves on the water may be used.
  • the movement support system 1 includes an endoscope 2, a movement support system main body 10, and a display device 21.
  • the endoscope 2 has an elongated insertion portion 3, and an operation portion 4 that is operated by an operator is connected to a proximal end portion of the insertion portion 3.
  • a distal end rigid portion 5 is provided at the distal end of the insertion portion 3, and a bending portion 6 composed of a plurality of bending pieces is provided at the rear end.
  • the bending portion 6 can be bent by operating a bending operation knob (not shown) disposed in the operation portion 4.
  • An imaging unit 7 having an imaging device composed of a CCD, a CMOS sensor, or the like is disposed at the distal end rigid portion 5 of the insertion unit 3.
  • the insertion section 3 is provided with a light guide (not shown) that guides illumination light. Illumination light from a light source (not shown) is guided by the light guide and irradiated from the rigid end 5 of the insertion section 3 to the subject. It has come to be.
  • the imaging unit 7 obtains an imaging signal based on the subject optical image by photoelectric conversion.
  • the imaging unit 7 transmits an imaging signal to the movement support system main body 10 via the insertion unit 3 and the signal line 8 in the operation unit 4.
  • a direction in which the distal rigid portion 5 should move (hereinafter referred to as a movement target direction) is formed by a tubular organ such as the intestinal tract at the time of examination or the like. Is the luminal direction.
  • the imaging direction of the imaging unit 7 is set, for example, to be the same direction as the axial direction of the distal rigid portion 5. Therefore, if the captured image obtained by the imaging unit 7 includes an image (hereinafter referred to as an imaging target image) of a target (hereinafter referred to as an imaging target image) existing in the movement target direction, that is, an image of a lumen. It may be considered that the distal end rigid portion 5 is directed toward the movement target direction.
  • the insertion portion 3 when the insertion portion 3 is inserted, if the surgeon performs an insertion operation so that the image portion of the lumen is included in the captured image, the insertion portion 3 is surely advanced in the depth direction of the lumen. Become. However, when the image of the lumen once disappears from the captured image, the insertion unit 3 may rotate around the axis, and it is not easy to recognize the lumen direction from the captured image. Thus, in the present embodiment, by providing the captured image to the movement support system body 10, it is possible to present the movement target direction in the movement support system body 10.
  • the movement support system main body 10 is provided with a control unit 11.
  • the control unit 11 may be configured by a processor using a CPU or the like, and may operate in accordance with a program stored in a memory (not shown) to control each unit, or may be a part of a function by a hardware electronic circuit. Or you may implement
  • the control unit 11 controls each unit of the movement support system main body 10.
  • the image processing unit 12 of the movement support system main body 10 performs predetermined signal processing on the imaging signal transmitted via the signal line 8 to obtain a captured image based on the imaging signal.
  • the image processing unit 12 outputs the captured image obtained by the imaging unit 7 to the target image detection unit 13 and the target position change estimation unit 14.
  • the target image detection unit 13 detects a captured target image in the captured image.
  • the target image detection unit 13 uses a deep learning for a captured target image, for example, an R-CNN (Regions with CNN features) using CNN (Convolution Neural Network), FCN (Fully Convolutional Networks), or the like. You may detect the inside imaging target image.
  • the target image detection unit 13 may detect the imaging target image by a dark part in the captured image when the imaging target is a lumen. For example, if there is a continuous region having a predetermined size with a luminance value equal to or less than a predetermined value, the target image detection unit 13 may determine the region as a lumen image. The target image detection unit 13 may detect and track the imaging target image based on the feature amount of the imaging target image when the shape of the imaging target image is a known shape. .
  • the target image detection unit 13 detects a captured target image in the captured image and obtains a position of the detected captured target image on the captured image.
  • the target image detection unit 13 is used when the imaging target deviates from the imaging range and is positioned outside the imaging range, that is, when the detected imaging target image no longer exists (disappears) in the captured image.
  • the information on the position on the image of the target image that was present in the last captured image, that is, the position at the start of disappearance is output to the end position storage unit 15. Further, the target image detection unit 13 outputs erasure start information to the target position change estimation unit 14 at the start of erasure of the captured target image.
  • the end position storage unit 15 is configured by a predetermined storage medium, and stores information from the target image detection unit 13.
  • the target image detection unit 13 may output position information on the image to the end position storage unit 15 for each detection when a captured target image is detected in the captured image. Also in this case, the end position storage unit 15 stores information on the position on the image last detected immediately before the disappearance of the imaging target image.
  • the target position change estimation unit 14 is provided with a captured image from the image processing unit 12, and based on the change in the captured image, the relative position (from the disappearance start point of the captured target image to the distal rigid portion 5 of the imaging target ( Hereinafter, a change in the target position) is detected. Since the imaging unit 7 is fixed to the distal rigid portion 5, the relative position of the imaging target with respect to the distal rigid portion 5 is based on the imaging range of the imaging unit 7, that is, based on the captured image. It may be said that it is the target position of the imaging target.
  • the distal rigid portion 5 is operated by the operator inserting or removing the insertion portion 3 into, for example, a lumen of the subject's intestinal tract, twisting around the axis of the insertion portion 3, or bending the bending portion 6. Moves in a direction orthogonal to the axial direction, a direction that advances and retreats in the axial direction, and a direction that rotates about the axis.
  • the imaging unit 7 is fixedly arranged with respect to the distal end rigid portion 5, and the imaging direction (imaging range) of the imaging unit 7 changes as the distal end rigid portion 5 moves. Therefore, by observing a change in the imaging range, that is, a change in the captured image, it is possible to obtain the movement amount and movement direction of the distal end rigid portion 5, that is, the change in the target position.
  • the shape of an organ that is an observation site may change.
  • the position of the lumen at the position of the distal rigid portion 5 and the position of the distal rigid portion 5 may change relatively due to the displacement of the observation site.
  • the target position change estimation unit 14 is provided with an image change detection unit 14a, and the image change detection unit 14a detects a change in the image of the captured image that is sequentially input.
  • the target position change estimation unit 14 estimates the relative position of the imaging target with reference to the distal end rigid portion 5, that is, the change in the target position, based on the change in the captured image detected by the image change detection unit 14a.
  • the target position change estimation unit 14 can employ, for example, optical flow estimation or deep learning by known image processing as a method for obtaining a change in the target position by a change in the captured image.
  • FIGS. 2 to 4 are explanatory diagrams for explaining a method for estimating a change in target position by optical flow estimation.
  • FIGS. 2 to 4 show image portions of objects (hereinafter also referred to as tracking points) included in the captured image by circles, and arrows between the circles indicate that the objects move. That is, the length of the arrow corresponds to the movement amount, and the direction of the arrow corresponds to the movement direction.
  • the image of the object may be one pixel or a predetermined area composed of a plurality of pixels. 2 to 4, the same pattern circles indicate the same object.
  • FIGS. 2 to 4 show examples in which the movement of the object at times tn ⁇ 2, tn ⁇ 1, and tn is obtained by optical flow estimation.
  • FIG. 2 shows an example in which a predetermined object moves linearly in the captured image
  • FIG. 3 shows an example in which the predetermined object moves while rotating around a predetermined position in the captured image.
  • FIG. 4 shows an example in which a plurality of objects move on a straight line extending radially from a predetermined point in the captured image.
  • the predetermined object in FIG. 2 moves linearly in the captured image
  • FIG. 2 shows, for example, a change in the position of the object obtained when the operator curves the bending portion 6 in one direction. Is shown.
  • the predetermined object in FIG. 3 moves in an arc shape in the captured image.
  • FIG. 3 shows the position of the object obtained when, for example, the operator twists and rotates the insertion portion 3 in one direction. Shows changes.
  • Each object shown in FIG. 4 is linearly moved radially from one point in the captured image.
  • FIG. 4 shows, for example, an object obtained when the operator inserts the distal rigid portion 5 into the lumen. The change of the position of is shown.
  • the target position change estimation unit 14 may determine the optical flow by setting one or more tracking points in the image in order to detect the change in the target position shown in FIG. Further, the target position change estimation unit 14 may obtain an optical flow by setting two or more tracking points in an image in order to detect a change in the target position shown in FIG. Further, the target position change estimation unit 14 may obtain an optical flow by setting three or more tracking points in an image in order to detect a change in the target position shown in FIG. As the tracking point, for example, a characteristic part such as an edge part in the captured image may be adopted, or the movement may be obtained using all the pixels in the image as the tracking point.
  • the target position change estimation unit 14 estimates the change of the target position based on the obtained change in the position of the tracking point from the start of disappearance by optical flow estimation, and outputs the estimation result to the target position estimation unit 16. For example, as shown in FIG. 2, if the tracking point is moved by a movement amount corresponding to (vxn, vyn) from time tn-1 to time tn on the screen, the target position change estimation unit 14 From time tn ⁇ 1 to time tn, it is estimated that the target position has moved by (vxn, vyn) in the same direction as the movement direction of the tracking point in FIG.
  • the target position change estimation unit 14 starts from time tn ⁇ 1. During the time tn, it is estimated that the target position is rotated by ⁇ in the same direction as the moving direction of the tracking point in FIG. Similarly, for example, as shown in FIG. 4, assuming that the tracking point has moved by (vxn, vyn) from time tn ⁇ 1 to time tn on the screen, the target position change estimation unit 14 From ⁇ 1 to time tn, the target position is estimated to have moved in the insertion direction of FIG. 4 by a movement amount corresponding to (vxn, vyn).
  • the amount of movement of the tracking point and the amount of movement of the target position are considered to be approximately proportional, but even if they are not proportional, if the approximate position or direction of the imaging target is known, the tip rigid portion will be at the target position. 5 can be moved, the object of the present embodiment can be achieved.
  • FIG. 5 is an explanatory diagram showing an example in which the movement of the tracking point is irregular.
  • FIG. 5 is described by the same method as in FIGS. 2 to 4.
  • the same pattern circles indicate the same object (tracking point).
  • the target position change estimation unit 14 may employ the following method. For example, the target position change estimation unit 14 uses the movement of the tracking point having the largest number of tracking points determined as the same movement for estimating the change of the target position. Further, for example, the target position change estimation unit 14 uses the average of movement of each tracking point for estimation of the change in the target position.
  • the target position change estimation unit 14 uses a weighted average with a weight according to the number of movements determined to be the same movement in the case where the average of movement of each tracking point is used for estimation of the change of the target position.
  • the change of the target position is estimated.
  • FIG. 6 is an explanatory diagram for explaining a method of estimating a change in target position by machine learning or deep learning.
  • the target position change estimation unit 14 may constitute an artificial intelligence 14b that realizes machine learning, deep learning, and the like.
  • the AI 14b receives a captured image before and after the relative position change of the distal rigid portion 5 with respect to the imaging target as teacher data, and generates a model for estimating a change in the target position corresponding to the change in the captured image.
  • the AI 14b estimates a change in the target position (movement vector (a, b)) when the captured image Pn of the frame n is changed to the captured image Pn + 1 in the frame n + 1, using the generated model.
  • the target position change estimation unit 14 outputs information on the change of the target position estimated in the AI 14 b to the target position estimation unit 16.
  • the target position estimation unit 16 reads position information at the start of disappearance of the captured target image from the end position storage unit 15.
  • the target position estimation unit 16 determines the current position of the imaging target based on the captured image (target) based on the position at the start of disappearance of the captured target image and the change in the target position estimated by the target position change estimation unit 14. Position).
  • the change in the target position is a change amount based on the start of disappearance of the captured target image.
  • the target position estimator 16 gives the target position estimation result to the integrated value storage unit 17 for storage and reading, and uses the target position change information from the target position change estimator 14 to obtain the target position estimation result. Update sequentially.
  • the estimated position of the imaging target is x, y
  • the position at the start of erasure of the imaging target image is x 0 , y 0
  • the estimated position x, y is obtained by the following equation (2).
  • the integrated value storage unit 17 is composed of a predetermined recording medium, and stores information from the target position estimation unit 16.
  • the target position estimation unit 16 also outputs the target position estimation result to the display control unit 18.
  • the display control unit 18 is also given a captured image of the endoscope 2 from the image processing unit 12.
  • the display control unit 18 generates display data for displaying a captured image and a display indicating the movement target direction with reference to the captured image, and outputs the display data to the display device 21.
  • the display control unit 18 may display a display indicating the current target position of the imaging target with reference to the captured image, simultaneously with the display indicating the movement target direction or instead of the display indicating the movement target direction. Good.
  • FIG. 7 is a flowchart for explaining the operation of the first embodiment.
  • 8 to 12 are explanatory diagrams for explaining the operation of the first embodiment.
  • the movement support system according to the present embodiment is used for insertion support when the insertion unit 3 of the endoscope 2 is inserted into the intestinal tract of a human body.
  • the surgeon shall insert the insertion portion 3 into the large intestine from the anus of the subject lying on the examination bed.
  • a state in the intestinal tract at the time of insertion is imaged by the imaging unit 7 provided at the distal end rigid portion 5 of the insertion unit 3.
  • An imaging signal from the imaging unit 7 is supplied to the image processing unit 12 of the movement support system main body 10 via the signal line 8.
  • the image processing unit 12 performs predetermined signal processing on the imaging signal to obtain a captured image.
  • the captured image is supplied to the display control unit 18, converted into a format that can be displayed on the display device 21, and then supplied to the display device 21.
  • the endoscope image (observation image) at the time of insertion is displayed on the display screen 21a of the eyelid display device 21.
  • FIG. 8 shows an example of a captured image (endoscopic image) displayed on the display screen 21a of the display device 21 in this case.
  • the captured image 25 in FIG. 8 indicates that the image portion of the lumen having a relatively low luminance is captured and displayed at the center of the image 25.
  • the axial direction of the distal end rigid portion 5 is substantially directed to the deep portion direction of the lumen.
  • the captured image 26 in FIG. 8 indicates that the image portion of the lumen having a relatively low luminance is captured and displayed above the image 26.
  • the captured image 27 in FIG. 8 indicates that the image portion of the lumen having a relatively low luminance is captured and displayed at the center of the image 27.
  • the image 27 shows that the lumen has a deep direction from the axial direction of the distal rigid portion 5 toward the left side with reference to the captured image displayed on the display screen 21a.
  • FIG. 9 shows the change in the position of the image portion of the lumen in the captured image, that is, the position of the captured target image on the image as the distal rigid portion 5 moves.
  • the image portion of the lumen is simplified by a circle.
  • FIG. 9 shows that the position of the image portion (imaging target image) of the lumen in the captured images P1, P2,... P6 obtained by sequentially capturing with the passage of time indicated by the arrows.
  • the imaging target image displayed on the lower side of the center of the captured image P1 moves to the lower end of the image in the captured image P2 (with the lumen, immediately before losing), In the captured image P3 (no lumen), the image departs from the image range and disappears.
  • the imaging target image moves to the lower left of the image with respect to the imaging image P4 at the imaging time of the imaging image P4 (no lumen), and the imaging image P5 At the time of imaging (without lumen), the image moves to the left of the image with reference to the captured image P5. Then, it is displayed at the left end of the captured image P6 when the captured image P6 (with a lumen) is captured.
  • the target image detection unit 13 is provided with a captured image from the image processing unit 12, and a lumen that is the captured target image is detected in step S1.
  • the target image detection unit 13 determines whether or not a captured target image exists in the captured image.
  • the target image detection unit 13 repeats steps S1 and S2 until it detects the captured target image.
  • the process proceeds to step S ⁇ b> 3, and the position (lumen coordinates) on the image of the detected imaging target image is stored in the end position storage unit 15. For example, the position of the lumen on the image P ⁇ b> 1 in FIG. 9 is stored in the end position storage unit 15.
  • the target image detection unit 13 continues detection of the imaging target image in step S4, and determines whether or not the imaging target image exists in the image in step S5.
  • the process proceeds to step S ⁇ b> 6, and the position (lumen coordinates) of the detected imaging target image on the image is stored in the end position storage unit 15.
  • the position of the lumen on the image P ⁇ b> 2 in FIG. 9 is stored in the end position storage unit 15.
  • the control unit 11 determines whether or not the stop of the lumen guide function is instructed in the next step S7. If the stop of the lumen guide function is not instructed, the control unit 11 returns the process to step S4, causes the target image detection unit 13 to continue detecting the lumen, and if the stop is instructed. The process is terminated.
  • the target image detection unit 13 shifts the process from step S5 to step S8, and outputs to the target position change estimation unit 14 disappearance start information indicating that the captured target image has disappeared.
  • the end position storage unit 15 stores the position coordinates of the center of the lower end of the image P2.
  • the target position change estimation unit 14 is provided with the captured image from the image processing unit 12, and the target position change estimation unit 14 is based on the change in the image of the captured image sequentially input in step S8. A change in the position of the image relative to the distal rigid portion 5 is detected, and information on a change in the relative target position is output to the target position estimation unit 16.
  • the target position estimation unit 16 acquires information on the position of the captured target image at the start of disappearance from the end position storage unit 15, and based on information on relative target position changes input from the target position change estimation unit 14. Thus, the current position of the imaging target image is obtained and stored in the integrated value storage unit 17 (step S9).
  • the target position estimator 16 presents the current captured target image that changes momentarily according to the position information stored in the integrated value storage 17 and the relative target position change sequentially input from the target position change estimator 14. And the current position of the imaging target image stored in the integrated value storage unit 17 is updated.
  • the estimated value of each lumen position at the time of imaging of the captured images P3, P4, and P5 of FIG. 9 is held in the integrated value storage unit 17 while being updated.
  • the target position estimation unit 16 also outputs the estimated position of the captured target image to the display control unit 18.
  • the display control unit 18 is provided with information on the estimated position coordinates of the lumen from the target position estimation unit 16 and displays the direction of the estimated position of the lumen with respect to the endoscopic image from the image processing unit 12. Generate display data.
  • the display control unit 18 outputs a composite image of the endoscopic image and the direction display to the display device 21.
  • an endoscopic image is displayed on the display screen 21a of the display device 21, and when there is no lumen image in the endoscopic image, a direction display indicating the current lumen direction is displayed. It is displayed (step S10).
  • FIG. 10 shows a display example in this case.
  • FIG. 10 shows a display example at the time of imaging of the captured image P4 of FIG. 9, and the lumen that is the imaging target at the time of insertion of the insertion unit 3 indicates the captured image P4 by the arrow display H1 toward the lower left of the captured image P4. It is located in the lower left of.
  • the display control unit 18 can display not only the direction in which the imaging target exists, but also a display indicating the relative position of the imaging target with respect to the captured image. 11 and 12 show display examples in this case.
  • a display area R1 of the captured image P11 is provided at the center on the display screen 21a, and a display area R2 for displaying the relative position of the imaging target is provided around the display area R1.
  • the display H11 indicating the relative position of the imaging target is displayed in the region R2.
  • a direction display H22 indicating the direction of the imaging target with respect to the captured image is also displayed. Show.
  • the target position change estimation unit 14 detects a relative change in the target position from the start point of disappearance of the captured target image, but detects a relative change in the target position before the disappearance start time. May start. For example, in the case where there is no problem even if the estimation error is accumulated, the detection of the relative change in the target position may be started when the captured target image enters a predetermined range at the end of the captured image. Good.
  • the change in the position of the imaging target image is estimated based on the change in the captured image.
  • a relative position is estimated, and a display indicating the position or direction can be displayed together with the captured image.
  • FIG. 13 is a flowchart showing a modification.
  • a change in relative target position is detected from the disappearance start time of the captured target image, and the relative position of the captured target is estimated.
  • the time from the disappearance start time is relatively long, or the cumulative value of the change in the target position, that is, the distance or road to the target position of the estimated result and the target position at the disappearance start time relative to the captured image is compared.
  • the estimation error of the estimated position of the imaging target may be large. (The following describes the case of determining by distance, but the same applies to the case of determining by distance.) Therefore, in these cases, an error message indicating that the estimated direction and position of the imaging target are not valid is displayed. It may be displayed or the estimation result may be hidden.
  • the control unit 11 detects these cases and causes the display control unit 18 to display an error message or the like.
  • the display control unit 18 may display an error message such as “The lumen position cannot be estimated” and the reliability of the position display and the direction display is low by blinking the direction display and the position display. May be indicated.
  • FIG. 13 is different from the flow of FIG. 7 in that steps S11, S12, and S13 are added.
  • step S11 the control unit 11 determines whether or not the integrated value stored in the integrated value storage unit 17 has exceeded a predetermined threshold value. When the integrated value exceeds a predetermined threshold value, the control unit 11 moves the process to step S13 and causes the display control unit 18 to display an error message or the like.
  • step S11 determines whether or not the integrated value does not exceed the predetermined threshold value. If it is determined in step S11 that the integrated value does not exceed the predetermined threshold value, the control unit 11 determines in step S12 whether or not the elapsed time from the disappearance start time exceeds the predetermined threshold value. . When the elapsed time from the disappearance start time exceeds a predetermined threshold, the control unit 11 shifts the processing to step S13 and causes the display control unit 18 to display an error message or the like.
  • control unit 11 determines in step S12 that the elapsed time from the disappearance start time does not exceed the predetermined threshold, the control unit 11 causes the display control unit 18 to display a normal display in the next step S10.
  • the reliability of the estimated position is relatively low when the estimated time of the relative position of the imaging target is larger than the threshold or when the distance to the estimated position is larger than the threshold. An error message is displayed. Thereby, it is possible to prevent an erroneous operation from being performed due to a display with low reliability.
  • FIG. 14 is a block diagram showing a second embodiment of the present invention.
  • the same components as those of FIG. 14 are identical to those of FIG. 14;
  • the target position is estimated from the time when the captured target image no longer exists from the captured image, that is, the disappearance start time when the disappearance is detected.
  • the target image detection unit 13 cannot detect the imaging target image. This embodiment corresponds to this case.
  • This embodiment is different from FIG. 1 in that a movement support system main body 31 using a target position estimation unit 19 in place of the target position estimation unit 16 is adopted.
  • the target image detection unit 13 detects a captured target image in the captured image and supplies information on the position in the image to the end position storage unit 15.
  • the end position storage unit 15 stores the position of the imaging target image. Further, the end position storage unit 15 stores information on an area (hereinafter referred to as a target disappearance position determination area) for determining whether the position information at the time of disappearance is valid or invalid, and the estimated target position. Information on an area for determining whether or not to output (hereinafter referred to as an output determination area) is also stored.
  • FIG. 15 is an explanatory diagram for explaining these areas.
  • the target disappearance position determination area is set to a predetermined area substantially in the center of the area (range) of the captured image.
  • the output determination area is set to the same area as the captured image area, or is set wider than the target disappearance position determination area in the captured image area.
  • FIG. 15 shows an example in which the output determination area is set wider than the target disappearance position determination area in the captured image area.
  • the target position estimation unit 19 estimates the position of the imaging target, determines whether the position at the start of estimation, that is, the position at the time of disappearance is an area outside the target disappearance position determination area, and estimates the position. It is determined whether or not the position is an area outside the output determination area.
  • the target position estimation unit 19 does not output the position estimation result to the display control unit 18 when the position at the time of disappearance is a position within the target disappearance position determination region. That is, when estimation starts from the vicinity of the center of the image, the estimated distance becomes longer. Therefore, the target position estimation unit 19 determines that the position estimation reliability of the imaging target is extremely low and is invalid, and responds to the position estimation result. The display is not displayed.
  • the target position estimation unit 19 outputs the position estimation result to the display control unit 18 only when it is outside the output determination area even when the position estimation of the imaging target is valid. If so, since the operator can recognize the location of the imaging target, the target position estimation unit 19 does not display a display according to the position estimation result. Thereby, unnecessary display can be reduced and the visibility of the operator is improved. Furthermore, when the estimated target position is in the vicinity of the center in the captured image, the direction of the estimated target position with respect to the center of the captured image is shown in FIG. Because there is, it becomes less reliable. For this reason as well, it is desirable to hide the estimated target position when it is within the output determination area. In this case, when the estimated target position is outside the output determination area, a display indicating the estimated position and direction of the imaging target is displayed on the display screen 21 a of the display device 21.
  • the output determination area may be set to the same area as the area of the captured image, but the estimated position is inside the area of the captured image due to the error of the estimated position.
  • the actual target position may be outside the area of the captured image.
  • the output determination area is set inside the area of the captured image in accordance with the accuracy of the estimated position.
  • the target position estimation unit 19 may not output the position estimation result to the display control unit 18 even when it is determined that the position at the time of disappearance is within the region of the captured image. That is, also in this case, the target position estimation unit 19 determines that the reliability of the position estimation of the imaging target is low, and does not display the display according to the position estimation result.
  • the method for hiding the estimation result as described above is desirably set according to acceptable reliability.
  • the display control unit 18 When the display control unit 18 does not display a display indicating the estimated position and direction of the imaging target at the time of disappearance, the display control unit 18 displays a display indicating that the imaging target image cannot be detected in the captured image on the display screen 21a. May be displayed.
  • the display of the estimated position of the imaging target is hidden or displayed when it is located outside the range of the captured image. It is possible to prevent the surgeon from operating erroneously with a display with relatively low reliability.
  • the imaging target is a lumen such as the intestinal tract.
  • the imaging target may not be a lumen, but may be an affected part such as a polyp.
  • the present invention may be applied not only to medical endoscopes but also to industrial endoscopes.
  • the imaging target is not limited to the lumen, and may be various inspection targets such as inspection parts or a route to reach the inspection target.
  • FIG. 16 and 17 are explanatory diagrams showing display examples when the imaging target image disappears when the imaging target is an inspection target.
  • FIG. 16 shows an example of a picked-up image obtained by picking up the inside of a pipe with an industrial endoscope (not shown). In the picked-up image 61 in the pipe, an image 63 of a lumen and an image 61a to be examined are shown. included.
  • the imaging target image is the image 61a to be inspected.
  • a captured image 62 in FIG. 16 illustrates an example in which the image 61a, which is the target image for imaging, has disappeared from the captured image.
  • the display 62a indicating that the estimated position of the inspection target that is the imaging target is in the lower left direction with respect to the captured image 62 is displayed.
  • the operator can easily grasp in which direction the insertion portion should be directed in order to confirm the inspection object.
  • FIG. 17 shows an example of a captured image obtained by capturing an image of a turbine blade using an industrial endoscope (not shown).
  • the captured image 71 includes a blade image 71a and a crack image 71b which is a defective portion. It is.
  • the imaging target image is a crack image 71b.
  • the blade image 72 a is included, but the image 71 b that is the captured target image is an example of disappearance from the captured image.
  • the display 72b indicating that the estimated position of the crack that is the imaging target is in the left direction with respect to the captured image 72 is displayed. From this display 72b, the operator can easily grasp in which direction the insertion portion should be directed in order to confirm the crack.
  • FIG. 18 is a block diagram showing a movement support system according to the third embodiment of the present invention.
  • display is performed based on the estimated position of the imaging target.
  • the movement of the moving body including the imaging unit is controlled based on the estimated position of the imaging target.
  • the third embodiment is applied to insertion control when an insertion portion of an endoscope is inserted into a subject.
  • a moving body that controls movement for example, a capsule endoscope, a catheter provided with an imaging unit, and the like can be employed as well as an insertion part of a medical or industrial endoscope. is there. Furthermore, you may employ
  • the insertion robot 51 includes arms 52L and 52R.
  • the operation unit 4 is supported by the arm 52L
  • the insertion unit 3 is supported by the arm 52R.
  • the arm 52R of the insertion robot 51 is provided with a feed / withdrawal mechanism (not shown) with respect to the insertion section 3 and a rotation mechanism
  • the arm 52L is provided with a drive mechanism for a bending operation knob (not shown) provided in the operation section 4.
  • the insertion robot 51 includes a drive control unit 53 that drives the arms 52L and 52R.
  • the drive control unit 53 of the insertion robot 51 drives the arms 52L and 52R according to the drive control signal from the movement support system main body 40.
  • the insertion robot 51 has an operation panel 54.
  • the user performs an operation of switching between start and end of automatic operation on the operation panel 54.
  • the operation that is automatically performed is not limited to all the operations.
  • the bending operation knob may be automatically operated, and the insertion / removal operation may be performed by the user with the operation panel 54 to automatically perform some operations. Absent.
  • An imaging signal obtained by an imaging unit 7 (not shown) provided at the distal end rigid portion 5 of the insertion unit 3 of the endoscope 2 is supplied to the image processing unit 12 of the movement support system main body 40 via the signal line 8.
  • the robot drive unit 41 differs from the movement support system body 10 of FIG. 1 in that a robot drive unit 41 is employed instead of the display control unit 18.
  • the robot drive unit 41 is provided with information on the position of the captured target image on the captured image from the target image detection unit 13 and information on the estimated position of the imaging target from the target position estimation unit 16.
  • the robot drive unit 41 generates a drive control signal for driving the arms 52L and 52R of the insertion robot 51 and outputs the drive control signal to the drive control unit 53 so that the imaging target image is included in the imaging range.
  • the robot drive unit 41 performs drive control of the arms 52L and 52R so that the captured target image is captured, and when the captured target image disappears from the captured image, the imaging target from the target position estimation unit 16 Based on the position estimation result, the arms 52L and 52R are driven to perform drive control so that the target image is captured.
  • the insertion portion 3 is smoothly inserted into the intestinal tract or the like.
  • the insertion unit is controlled in accordance with the target image in the captured image, but also when the target image disappears from the captured image, the captured image is used as a reference.
  • the position of the imaging target is estimated, and the insertion of the insertion portion is controlled based on the estimation result, and effective insertion support that reliably guides the insertion portion in the deep direction of the lumen or the like is possible.
  • control unit 11, image processing unit 12, target image detection unit 13, target position change estimation unit 14, target position estimation units 16 and 19, display control unit 18, and the like in the above embodiment include a dedicated circuit or a plurality of circuits.
  • These general-purpose circuits may be combined and, if necessary, may be configured by combining a microprocessor that operates in accordance with pre-programmed software and a processor such as a CPU, or a sequencer.
  • a design in which an external device takes over part or all of the control is possible, and in this case, a wired or wireless communication circuit is interposed.
  • An embodiment in which an external device such as a server or a personal computer performs the characteristic processing and supplementary processing of each embodiment is also assumed.
  • the present application covers a case where a plurality of devices cooperate to establish the characteristics of the present invention.
  • Bluetooth registered trademark
  • Wi-Fi registered trademark
  • a telephone line or the like is used.
  • the communication at this time may be performed by USB or the like.
  • a dedicated circuit, a general-purpose circuit, or a control unit may be integrated into an ASIC.
  • the controls and functions mainly described in the flowcharts can be set by a program, and the above-described controls and functions can be realized by a computer reading and executing the program. it can.
  • the program may be recorded or stored in whole or in part on a portable medium such as a non-volatile memory such as a flexible disk or a CD-ROM, or a storage medium such as a hard disk or a volatile memory. It can be distributed or provided at the time of product shipment or via a portable medium or communication line.
  • the user can easily realize the movement support system of the present embodiment by downloading the program via a communication network and installing it on a computer, or installing it from a recording medium to a computer. .
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, you may delete some components of all the components shown by embodiment.
  • constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

移動支援システムは、移動体に固定された撮像部が取得した撮像画像が与えられ、前記撮像画像中に含まれる撮像目標の画像を検出するとともに、検出した前記撮像目標の画像の前記撮像画像中の位置を検出する目標画像検出部と、前記目標画像検出部が検出した前記撮像目標の画像の前記撮像画像中の位置を記憶する位置記憶部と、前記撮像画像が与えられ、前記撮像画像の変化を検出することで、前記撮像画像を基準とした前記撮像目標の位置の変化を推定する目標位置変化推定部と、前記目標画像検出部により前記撮像画像上から前記撮像目標の画像が検出されない消失状態になったことが示された場合には、前記位置記憶部に記憶された位置の情報と前記目標位置変化推定部によって得られた前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定して位置推定結果を出力する目標位置推定部と、を具備する。

Description

移動支援システム及び移動支援方法
　本発明は、内視鏡挿入部等の挿入を容易にする移動支援システム及び移動支援方法に関する。
　従来より、体腔内等へ細長の内視鏡を挿入して被検部位の観察や各種処置を行うようにした内視鏡が広く用いられている。また、工業分野においても、ボイラ，タービン，エンジン，化学プラントなどの内部の傷や腐蝕などを観察したり検査したりすることのできる工業用内視鏡が広く利用されている。
　内視鏡の撮像素子によって得られる内視鏡画像は、信号処理を行うプロセッサに伝送される。プロセッサは、内視鏡からの画像を信号処理し、表示用としてモニタに供給したり、記録用として記録装置に供給したりする。
　検査部位を検査、診断するために、内視鏡の挿入部は管腔内等に挿入される。検査、診断に際しては、管腔内等への挿入部の挿入は円滑に行われることが望まれる。そこで、国際公開第２００８－１５５８２８号公報においては、挿入方向の目標として暗部の位置を検出すると共に、暗部を見失った場合には過去の暗部の位置検出履歴に基づいて、操作方向を示す技術が開示されている。
　しかしながら、国際公開第２００８－１５５８２８号公報においては、暗部の位置検出のために位置検出装置や捻り検出装置が必要であり、装置規模が大きいという問題があった。
　本発明は、撮像画像に基づいて挿入部等の目標の向きを推定可能とすることにより、装置規模を低減することができる移動支援システム及び移動支援方法を提供することを目的とする。
　本発明の一態様の移動支援システムは、移動体に固定された撮像部が取得した撮像画像が与えられ、前記撮像画像中に含まれる撮像目標の画像を検出するとともに、検出した前記撮像目標の画像の前記撮像画像中の位置を検出する目標画像検出部と、前記目標画像検出部が検出した前記撮像目標の画像の前記撮像画像中の位置を記憶する位置記憶部と、前記撮像画像が与えられ、前記撮像画像の変化を検出することで、前記撮像画像を基準とした前記撮像目標の位置の変化を推定する目標位置変化推定部と、前記目標画像検出部により前記撮像画像上から前記撮像目標の画像が検出されない消失状態になったことが示された場合には、前記位置記憶部に記憶された位置の情報と前記目標位置変化推定部によって得られた前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定して位置推定結果を出力する目標位置推定部と、を具備する。
　本発明の一態様の移動支援方法は、移動体に固定された撮像部が取得した撮像画像が与えられ、前記撮像画像中に含まれる撮像目標の画像を検出するとともに、検出した前記撮像目標の画像の前記撮像画像中の位置を検出し、検出された前記撮像目標の画像の前記撮像画像中の位置を位置記憶部に記憶させ、前記撮像画像の変化を検出することで、前記撮像画像を基準とした前記撮像目標の位置の変化を推定し、前記撮像画像上から前記撮像目標の画像が検出されない消失状態になったことが示された場合には、前記位置記憶部に記憶された前記位置の情報と前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定して位置推定結果を出力する。
本発明の第１の実施の形態に係る移動支援システムを示すブロック図。 オプティカルフローによる目標位置の推定方法を説明するための説明図。 オプティカルフローによる目標位置の推定方法を説明するための説明図。 オプティカルフローによる目標位置の推定方法を説明するための説明図。 追跡点の動きが不規則となる例を示す説明図。 機械学習やディープラーニングによる目標位置の推定方法を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 変形例を示すフローチャート。 本発明の第２の実施の形態を示すブロック図。 撮像画像中に設定する領域を説明するための説明図。 撮像目標が検査対象である場合において、撮像目標画像が消失した場合における表示例を示す説明図。 撮像目標が検査対象である場合において、撮像目標画像が消失した場合における表示例を示す説明図。 本発明の第３の実施の形態に係る移動支援システムを示すブロック図。
　以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
　図１は本発明の第１の実施の形態に係る移動支援システムを示すブロック図である。第１の実施の形態は内視鏡の挿入部を被検体に挿入する場合の挿入支援に適用したものである。
　本実施の形態は撮像部を備え移動する移動体の移動のための操作や制御に際して、移動体を移動させるべき方向を提示又は制御可能とすることで、移動体の移動を効果的に支援するものである。例えば、医療用、工業用の内視鏡の挿入部だけでなく、カプセル内視鏡、撮像部を備えたカテーテル等も移動体として採用可能である。更に、移動体としては、自律式で移動可能な公知の各種機器を採用してもよい。例えば、室内を移動可能なロボット掃除機や、地上を移動する自動走行車両や、ドローン等の無人航空機を採用してもよく、水上を移動する自律式の船舶等を採用してもよい。
　図１において、移動支援システム１は、内視鏡２、移動支援システム本体１０及び表示装置２１によって構成されている。内視鏡２は、細長の挿入部３を有し、挿入部３の基端部には操作者に操作される操作部４が連設されている。挿入部３の先端には、先端硬性部５が設けられ、その後端には、複数の湾曲駒にて構成した湾曲部６が設けられている。操作部４に配設された図示しない湾曲操作ノブを操作することによって、湾曲部６を湾曲させることができるようになっている。
　挿入部３の先端硬性部５にはＣＣＤやＣＭＯＳセンサ等によって構成される撮像素子を有する撮像部７が配設される。挿入部３には、照明光を導光する図示しないライトガイドが配設されており、図示しない光源からの照明光がライトガイドにより導光されて挿入部３の先端硬性部５から被写体に照射されるようになっている。
　被写体からの戻り光は、挿入部３の先端硬性部５から入射して撮像部７の撮像面に結像するようになっている。撮像部７は光電変換によって被写体光学像に基づく撮像信号を得る。撮像部７は撮像信号を挿入部３及び操作部４内の信号線８を介して移動支援システム本体１０に伝送するようになっている。
　例えば、内視鏡２の観察対象が人体の腸管等である場合には、検査時等において、先端硬性部５が移動すべき方向（以下、移動目標方向という）は腸管等の管状臓器により形成される管腔方向である。撮像部７の撮像方向は、例えば、先端硬性部５の軸方向と同一方向となるように設定されている。従って、撮像部７によって得られる撮像画像中に移動目標方向に存在する対象（以下、撮像目標という）の画像（以下、撮像目標画像という）、即ち、管腔の画像が含まれていれば、先端硬性部５は移動目標方向に向かっていると考えてよい。
　つまり、挿入部３の挿入時には、術者が撮像画像中に管腔の画像部分が含まれるように挿入操作を行えば、挿入部３は確実に管腔の深部方向に進行していることになる。しかし、撮像画像から管腔の画像が一旦消失してしまった場合には、挿入部３は軸を中心に回転することもあり、撮像画像から管腔方向を認識することは容易ではない。そこで、本実施の形態においては、撮像画像を移動支援システム本体１０に与えることで、移動支援システム本体１０において移動目標方向を提示することを可能にする。
　移動支援システム本体１０には、制御部１１が設けられている。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部１１は移動支援システム本体１０の各部を制御する。
　移動支援システム本体１０の画像処理部１２は、信号線８を介して伝送された撮像信号に対して所定の信号処理を施して撮像信号に基づく撮像画像を得る。画像処理部１２は、撮像部７によって得られた撮像画像を目標画像検出部１３及び目標位置変化推定部１４に出力するようになっている。
　目標画像検出部１３は、撮像画像中の撮像目標画像を検出する。例えば、目標画像検出部１３は、撮像目標画像に対するディープラーニング、例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ－ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）等を用いて、撮像画像中の撮像目標画像を検出してもよい。
　また、目標画像検出部１３は、撮像目標が管腔である場合には、撮像画像中の暗部によって撮像目標画像を検出してもよい。例えば、目標画像検出部１３は、輝度値が所定値以下の連続した所定サイズの領域が存在する場合には、当該領域を管腔の画像と判定してもよい。また、目標画像検出部１３は、撮像目標画像の形状が既知の形状である場合等においては、当該撮像目標画像の特徴量によって当該撮像目標画像を検出して追尾するようになっていてもよい。
　本実施の形態においては、目標画像検出部１３は、撮像画像中における撮像目標画像を検出すると共に、検出した撮像目標画像の撮像画像上における位置を求める。目標画像検出部１３は、撮像目標が撮像範囲から逸脱して撮像範囲外に位置するようになった場合、即ち、検出した撮像目標画像が撮像画像中に存在しなくなった（消失した）場合には、最後に撮像画像中に存在していた撮像目標画像の画像上の位置、即ち、消失開始時の位置の情報を端部位置記憶部１５に出力するようになっている。また、目標画像検出部１３は、撮像目標画像の消失開始時において、消失開始情報を目標位置変化推定部１４に出力するようになっている。端部位置記憶部１５は、所定の記憶媒体により構成されており、目標画像検出部１３からの情報を記憶する。
　なお、目標画像検出部１３は、撮像画像中に撮像目標画像を検出した場合には、検出毎に画像上の位置の情報を端部位置記憶部１５に出力するようになっていてもよい。この場合にも、端部位置記憶部１５には、撮像目標画像の消失直前に最後に検出された画像上の位置の情報が保存されることになる。
　目標位置変化推定部１４は、画像処理部１２から撮像画像が与えられて、撮像画像の変化に基づいて、撮像目標画像の消失開始時点からの撮像目標の先端硬性部５に対する相対的な位置（以下、目標位置という）の変化を検出するようになっている。なお、撮像部７は、先端硬性部５に固定されているので、先端硬性部５に対する撮像目標の相対的な位置は、撮像部７の撮像範囲を基準とした、即ち、撮像画像を基準とした撮像目標の目標位置と言ってもよい。
　術者が挿入部３を例えば被検体の腸管等の管腔内に挿入したり抜去したり、挿入部３の軸周りに捻ったり、湾曲部６を湾曲させたりする操作によって、先端硬性部５は軸方向に直交する方向、軸方向に進退する方向及び軸を中心に回転する方向に移動する。撮像部７は先端硬性部５に対して固定配置されており、撮像部７の撮像方向（撮像範囲）は先端硬性部５の移動に伴って変化する。従って、撮像範囲の変化、即ち、撮像画像の変化を観測することで、先端硬性部５の移動量及び移動方向、即ち目標位置の変化を求めることができる。
　また、内視鏡２の観察対象が人体の腸管等である場合には、観察部位である臓器の形状が変化することがある。この場合には、先端硬性部５が停止していても、観察部位の変位によって、先端硬性部５の位置における管腔の位置と先端硬性部５の位置とは相対的に変化することがある。
　先端硬性部５が移動する場合及び観察部位が変位する場合のいずれの場合でも、先端硬性部５の位置と管腔等の撮像目標の位置の相対的な変化は、撮像画像の変化によって検出することが可能である。目標位置変化推定部１４には画像変化検出部１４ａが設けられており、画像変化検出部１４ａは、逐次入力される撮像画像の画像の変化を検出するようになっている。目標位置変化推定部１４は、画像変化検出部１４ａによって検出された撮像画像の変化によって、先端硬性部５を基準とした撮像目標の相対的な位置、即ち、目標位置の変化を推定する。目標位置変化推定部１４は、撮像画像の変化によって目標位置の変化を求める手法として、例えば、公知の画像処理によるオプティカルフロー推定やディープラーニングを採用することができる。
　図２から図４はオプティカルフロー推定による目標位置の変化の推定方法を説明するための説明図である。図２から図４は丸印によって撮像画像中に含まれる対象物（以下、追跡点ともいう）の画像部分を示し、丸印間の矢印は対象物が移動することを示している。即ち、矢印の長さは移動量に対応し矢印の向きは移動方向に対応する。なお、対象物の画像は、１画素であってもよく複数の画素からなる所定の領域であってもよい。なお、図２から図４では、同一模様の丸印は同一の対象物を示している。
　図２から図４は、オプティカルフロー推定によって、時間ｔｎ－２，ｔｎ－１，ｔｎにおける対象物の移動を求めた例を示している。図２は所定の対象物が撮像画像中において直線的に移動する例を示しており、図３は所定の対象物が撮像画像中において所定の位置を中心に回転しながら移動する例を示している。また、図４は複数の対象物が撮像画像中の所定の点から放射状に伸びた直線上を移動する例を示している。
　図２の所定の対象物は、撮像画像中において直線的に移動しており、図２は、例えば、術者が湾曲部６を一方向に湾曲させた場合に得られる対象物の位置の変化を示している。図３の所定の対象物は、撮像画像中において円弧状に移動しており、図３は、例えば、術者が挿入部３を一方向に捻って回転させた場合に得られる対象物の位置の変化を示している。図４の各対象物は、撮像画像中の一点から放射状に直線的に移動しており、図４は、例えば、術者が先端硬性部５を管腔内に挿入した場合に得られる対象物の位置の変化を示している。
　目標位置変化推定部１４は、図２に示す目標位置の変化を検出するためには、画像中に１つ以上の追跡点を設定してオプティカルフローを求めればよい。また、目標位置変化推定部１４は、図３に示す目標位置の変化を検出するためには、画像中に２つ以上の追跡点を設定してオプティカルフローを求めればよい。また、目標位置変化推定部１４は、図４に示す目標位置の変化を検出するためには、画像中に３つ以上の追跡点を設定してオプティカルフローを求めればよい。なお、追跡点としては、例えば、撮像画像中のエッジ部分等の特徴ある部分を採用してもよいし、画像中の全ての画素を追跡点として動きを求めてもよい。
　目標位置変化推定部１４は、オプティカルフロー推定によって、求めた消失開始時からの追跡点の位置の変化に基づいて、目標位置の変化を推定し、推定結果を目標位置推定部１６に出力する。例えば、図２に示すように、追跡点が画面上において時間ｔｎ－１から時間ｔｎの間に（ｖｘｎ，ｖｙｎ）に対応した移動量だけ移動したものとすると、目標位置変化推定部１４は、時間ｔｎ－１から時間ｔｎの間に、目標位置は図２の追跡点の移動方向とは同じ方向に（ｖｘｎ，ｖｙｎ）だけ位置が移動したものと推定する。
　また、例えば、図３に示すように、追跡点が画面上において時間ｔｎ－１から時間ｔｎの間に回転量θだけ移動したものとすると、目標位置変化推定部１４は、時間ｔｎ－１から時間ｔｎの間に、目標位置は図３の追跡点の移動方向とは同じ方向にθだけ位置が回転したものと推定する。同様に、例えば、図４に示すように、追跡点が画面上において時間ｔｎ－１から時間ｔｎの間に（ｖｘｎ，ｖｙｎ）だけ移動したものとすると、目標位置変化推定部１４は、時間ｔｎ－１から時間ｔｎの間に、目標位置は図４の挿入方向に（ｖｘｎ，ｖｙｎ）に対応した移動量だけ位置が移動したものと推定する。なお、追跡点の移動量と、目標位置の移動量とは、概ね比例すると考えられるが、例え比例していなくても、撮像目標のおおまかな位置又は方向がわかれば、目標位置に先端硬性部５を移動させられるので、本実施の形態の目的は達成可能である。
　なお、観察対象が人体の腸管等である場合には、観察部位である臓器の形状の変化によって、撮像画像中の複数の追跡点が上記図２から図４の移動とは異なる不規則な動きになることがある。また、目標位置変化推定部１４におけるオプティカルフローの誤検出によっても、複数の追跡点の動きが不規則となる場合がある。
　図５は追跡点の動きが不規則となる例を示す説明図である。図５は図２から図４と同一の手法によって記載したものであり、図５では同一模様の丸印は同一の対象物（追跡点）を示している。このように複数の追跡点が不規則な動きをする場合には、目標位置変化推定部１４は、以下の手法を採用してもよい。例えば、目標位置変化推定部１４は、同一の動きと判定された追跡点の数が最も多い追跡点についての動きを目標位置の変化の推定に用いる。また、例えば、目標位置変化推定部１４は、各追跡点の移動の平均を目標位置の変化の推定に用いる。また、例えば、目標位置変化推定部１４は、各追跡点の移動の平均を目標位置の変化の推定に用いる場合において、同一の動きと判定された動きの数に応じた重みを付けた加重平均により、目標位置の変化の推定を行う。
　図６は機械学習やディープラーニングによる目標位置の変化の推定方法を説明するための説明図である。目標位置変化推定部１４は、機械学習、深層学習等を実現する人工知能（artificial intelligence）１４ｂを構成するものであってもよい。ＡＩ１４ｂは、撮像目標に対する先端硬性部５の相対的な位置変化の前後の撮像画像が教師データとして与えられ、撮像画像の変化に対応した目標位置の変化を推定するためのモデルを生成する。ＡＩ１４ｂは、生成したモデルを用いて、フレームｎの撮像画像Ｐｎがフレームｎ＋１において撮像画像Ｐｎ＋１に変化した場合における目標位置の変化（移動ベクトル（ａ，ｂ））を推定する。目標位置変化推定部１４は、ＡＩ１４ｂにおいて推定された目標位置の変化の情報を目標位置推定部１６に出力する。
　目標位置推定部１６は、端部位置記憶部１５から撮像目標画像の消失開始時の位置情報を読み込む。目標位置推定部１６は、撮像目標画像の消失開始時の位置と目標位置変化推定部１４によって推定された目標位置の変化とに基づいて、撮像画像を基準とした撮像目標の現在の位置（目標位置）を推定する。ここで、目標位置の変化は、撮像目標画像の消失開始時を基準とした変化量である。撮像目標画像の消失開始時を時刻ｔ０とした場合に、ｔｎまでの変化量をΔｘ、Δｙとすると、変化量Δｘ、Δｙは下記（１）式により求まる。目標位置推定部１６は目標位置の推定結果を積算値記憶部１７に与えて記憶させると共に読出して、目標位置変化推定部１４からの目標位置の変化の情報を用いて、目標位置の推定結果を順次更新する。ここで、撮像目標の推定位置をｘ、ｙ、撮像目標画像の消失開始時の位置をｘ０、ｙ０とすると、推定位置ｘ、ｙは下記（２）式により求まる。積算値記憶部１７は、所定の記録媒体により構成されており、目標位置推定部１６からの情報を記憶する。
Figure JPOXMLDOC01-appb-I000001
Figure JPOXMLDOC01-appb-I000002
　目標位置推定部１６は、目標位置の推定結果を表示制御部１８にも出力する。表示制御部１８には、画像処理部１２から内視鏡２の撮像画像も与えられている。表示制御部１８は、撮像画像と、撮像画像を基準とした移動目標方向を示す表示とを表示させるための表示データを生成して表示装置２１に出力する。なお、表示制御部１８は、移動目標方向を示す表示と同時に又は移動目標方向を示す表示に代えて、撮像画像を基準とした撮像目標の現在の目標位置を示す表示を表示させるようにしてもよい。
　次に、このように構成された実施の形態の動作について図７から図１２を参照して説明する。図７は第１の実施の形態の動作を説明するためのフローチャートである。図８から図１２は第１の実施の形態の動作を説明するための説明図である。
　いま、本実施の形態における移動支援システムを、内視鏡２の挿入部３を人体の腸管内に挿入する場合の挿入支援に用いる場合の例について説明する。
　術者は、検査用のベッドに横たわる被検体の肛門から大腸内に挿入部３を挿入するものとする。挿入部３の先端硬性部５に設けられた撮像部７によって、挿入時の腸管内の様子が撮像される。撮像部７からの撮像信号は信号線８を介して移動支援システム本体１０の画像処理部１２に供給される。画像処理部１２は、撮像信号に対して所定の信号処理を施して撮像画像を得る。この撮像画像は表示制御部１８に供給され、表示装置２１に表示可能な形式に変換された後表示装置２１に供給される。こうして、 表示装置２１の表示画面２１ａ上に、挿入時の内視鏡画像（観察画像）が表示される。
　図８はこの場合に表示装置２１の表示画面２１ａに表示される撮像画像（内視鏡画像）の例を示している。図８の撮像画像２５は、画像２５の中央に比較的輝度が低い管腔の画像部分が撮像されて表示されていることを示している。先端硬性部５の軸方向は、略管腔の深部方向に向いている。また、図８の撮像画像２６は、画像２６の上方に比較的輝度が低い管腔の画像部分が撮像されて表示されていることを示している。また、図８の撮像画像２７は、画像２７の中央に比較的輝度が低い管腔の画像部分が撮像されて表示されていることを示している。画像２７では、管腔が表示画面２１ａ上に表示された撮像画像を基準にして、先端硬性部５の軸方向から左側に向かって管腔の深部方向が存在することを示している。
　画像２６，２７等に示す状態では、挿入部３を先端硬性部５の現在の軸方向に単純に挿入すると、撮像範囲から管腔部分が脱して、管腔の画像部分が表示されなくなる消失状態となることがことが考えられる。本実施の形態ではこのような消失状態時に先端硬性部５を移動させるべき方向を支援する管腔ガイド機能を実現する。
　図９は先端硬性部５の移動に伴うこのような撮像画像中の管腔の画像部分、即ち、撮像目標画像の画像上の位置の変化を示している。図９では管腔の画像部分を丸印によって単純化して示している。図９では、矢印によって示す時間の経過と共に順次撮影されて得られる撮像画像Ｐ１，Ｐ２，…Ｐ６中の管腔の画像部分（撮像目標画像）の位置が変化することを示している。
　即ち、図９の例では、撮像画像Ｐ１（管腔有り）の中央の下側に表示されていた撮像目標画像は、撮像画像Ｐ２（管腔有り、見失う直前）では画像の下端に移動し、撮像画像Ｐ３（管腔無し）では画像範囲から逸脱して消失している。更に、先端硬性部５の移動や腸管の変位に伴って、撮像目標画像は、撮像画像Ｐ４（管腔無し）の撮像時点では撮像画像Ｐ４を基準に画像の左下方に移動し、撮像画像Ｐ５（管腔無し）の撮像時点では撮像画像Ｐ５を基準に画像の左方に移動する。そして、撮像画像Ｐ６（管腔有り）の撮像時点において撮像画像Ｐ６の左端に表示される。
　このような撮像目標画像の消失は、目標画像検出部１３によって検出される。目標画像検出部１３には画像処理部１２から撮像画像が与えられており、ステップＳ１において、撮像目標画像である管腔が検出される。次のステップＳ２において、目標画像検出部１３は、撮像画像中に撮像目標画像が存在するか否かを判定する。目標画像検出部１３は、撮像目標画像を検出するまで、ステップＳ１，Ｓ２を繰り返す。目標画像検出部１３は、撮像目標画像を検出すると、処理をステップＳ３に移行して、検出した撮像目標画像の画像上の位置（管腔座標）を端部位置記憶部１５に記憶させる。例えば、図９の画像Ｐ１上の管腔の位置が端部位置記憶部１５に記憶される。
　目標画像検出部１３は、ステップＳ４において、撮像目標画像の検出を続け、ステップＳ５において撮像目標画像が画像中に存在しているか否かを判定する。目標画像検出部１３は、撮像目標画像を検出すると、処理をステップＳ６に移行して、検出した撮像目標画像の画像上の位置（管腔座標）を端部位置記憶部１５に記憶させる。例えば、図９の画像Ｐ２上の管腔の位置が端部位置記憶部１５に記憶される。
　制御部１１は、次のステップＳ７において、管腔ガイド機能の停止が指示されているか否かを判定する。制御部１１は、管腔ガイド機能の停止が指示されていない場合には処理をステップＳ４に戻して、目標画像検出部１３に管腔の検出を継続させ、停止が指示されている場合には、処理を終了する。
　図９の画像Ｐ２の次に画像Ｐ３が目標画像検出部１３に入力されるものとする。目標画像検出部１３は、ステップＳ５からステップＳ８に処理を移行して、撮像目標画像が消失したことを示す消失開始情報を目標位置変化推定部１４に出力する。なお、端部位置記憶部１５には画像Ｐ２の下端の中央の位置座標が記憶されている。目標位置変化推定部１４には画像処理部１２からの撮像画像が与えられており、目標位置変化推定部１４は、ステップＳ８において、逐次入力される撮像画像の画像の変化に基づいて、撮像目標画像の先端硬性部５に対する位置の変化を検出して、相対的な目標位置の変化の情報を目標位置推定部１６に出力する。
　目標位置推定部１６は、端部位置記憶部１５から消失開始時の撮像目標画像の位置の情報を取得し、目標位置変化推定部１４から入力される相対的な目標位置の変化の情報に基づいて、撮像目標画像の現在の位置を求めて積算値記憶部１７に記憶させる（ステップＳ９）。目標位置推定部１６は、積算値記憶部１７に記憶させた位置情報と、目標位置変化推定部１４から逐次入力される相対的な目標位置の変化とによって、時々刻々変化する撮像目標画像の現在の位置を求めて、積算値記憶部１７に記憶された撮像目標画像の現在位置を更新する。
　これにより、積算値記憶部１７には、図９の撮像画像Ｐ３，Ｐ４，Ｐ５の撮像時点における各管腔位置の推定結果が更新されながら保持されることになる。
　目標位置推定部１６は撮像目標画像の推定位置を表示制御部１８にも出力する。表示制御部１８は、目標位置推定部１６からの管腔の推定位置座標の情報が与えられ、画像処理部１２からの内視鏡画像に対して、管腔の推定位置の方向を示す方向表示の表示データを生成する。表示制御部１８は、内視鏡画像と方向表示との合成画像を表示装置２１に出力する。こうして、表示装置２１の表示画面２１ａ上に、内視鏡画像が表示されると共に、内視鏡画像中に管腔の画像が存在しない場合には、現在の管腔の方向を示す方向表示が表示される（ステップＳ１０）。
　図１０はこの場合の表示例を示している。図１０は図９の撮像画像Ｐ４の撮像時点における表示例を示しており、撮像画像Ｐ４の左下方に向かう矢印表示Ｈ１によって、挿入部３の挿入時の撮像目標である管腔が撮像画像Ｐ４の左下方に位置することを示している。
　また、上述したように、表示制御部１８は、撮像目標が存在する方向だけでなく、撮像目標の撮像画像に対する相対的な位置を示す表示を表示させることもできる。図１１及び図１２はこの場合の表示例を示している。
　図１１の例は、表示画面２１ａ上の中央に撮像画像Ｐ１１の表示領域Ｒ１が設けられ、この表示領域Ｒ１の周囲に撮像目標の相対的な位置を表示するための表示領域Ｒ２が設けられて、領域Ｒ２中に撮像目標の相対的な位置を示す表示Ｈ１１が表示されていることを示している。また、図１２の例は、表示領域Ｒ２中には、撮像目標の相対的な位置を示す表示Ｈ２１の他に、撮像画像に対して撮像目標の方向を示す方向表示Ｈ２２も表示された例を示している。
　なお、上記説明では、目標位置変化推定部１４は、撮像目標画像の消失開始時点から相対的な目標位置の変化を検出しているが、消失開始時前から相対的な目標位置の変化の検出を開始してもよい。例えば、推定誤差が累積しても比較的問題ない場合等においては、撮像目標画像が撮像画像中の端部の所定範囲に入った場合に相対的な目標位置の変化の検出を開始してもよい。
　このように本実施の形態においては、対象物を移動させるべき方向を規定する撮像目標画像の消失を検出すると、撮像画像の変化によって撮像目標画像の位置の変化を推定することにより、撮像目標の相対的な位置を推定し、当該位置又は方向を示す表示を撮像画像と共に表示することを可能にしている。これにより、術者は、撮像目標画像が撮像画像中から消失した場合でも、撮像目標が撮像画像に対してどのように位置に位置するかを容易に把握することができ、対象物を目的の方向に移動させることができる。このように本実施の形態では、移動体の移動を効果的に支援することができる。
（変形例）
　図１３は変形例を示すフローチャートである。上記説明では、撮像目標画像の消失開始時点から相対的な目標位置の変化を検出し、撮像目標の相対的な位置を推定している。しかし、消失開始時点からの時間が比較的長い場合、又は目標位置の変化の累積値、即ち、撮像画像を基準にした消失開始時点の目標位置と推定結果の目標位置までの距離又は道のりが比較的大きい場合等においては、撮像目標の推定位置の推定誤差が大きいことが考えられる。（以下は距離で判定する場合について記載するが、道のりで判定する場合も同様である。）そこで、これらの場合には、撮像目標の推定した方向及び位置が有効でないことを示すエラーメッセージ等を表示させるようにしたり、推定結果を非表示にしてもよい。
　制御部１１は、これらの場合を検出し、表示制御部１８にエラーメッセージ等を表示させる。例えば、表示制御部１８は、「管腔位置を推定できません」等のエラーメッセージを表示させてよく、また、方向表示や位置表示を点滅させることで、位置表示や方向表示の信頼性が低いことを示してもよい。
　図１３はステップＳ１１，Ｓ１２，Ｓ１３を付加した点が図７のフローと異なる。制御部１１は、ステップＳ１１において、積算値記憶部１７に記憶されている積算値が所定の閾値を超えたか否かを判定する。制御部１１は、積算値が所定の閾値を超えた場合には、処理をステップＳ１３に移行して表示制御部１８にエラーメッセージ等を表示させる。
　制御部１１は、ステップＳ１１において積算値が所定の閾値を超えていないと判定した場合には、次のステップＳ１２において、消失開始時からの経過時間が所定の閾値を超えたか否かを判定する。制御部１１は、消失開始時からの経過時間が所定の閾値を超えた場合には、処理をステップＳ１３に移行して表示制御部１８にエラーメッセージ等を表示させる。
　制御部１１は、ステップＳ１２において消失開始時からの経過時間が所定の閾値を超えていないと判定した場合には、次のステップＳ１０において、表示制御部１８に通常通りの表示を表示させる。
　このようにこの変形例によれば、撮像目標の相対的な位置の推定時間が閾値よりも大きい場合や推定位置までの距離が閾値よりも大きい場合には、推定位置の信頼性が比較的低いとものとしてエラーメッセージを表示させるようになっている。これにより、信頼性の低い表示によって、誤った操作が行われることを防止することができる。
　なお、累積距離と経過時間の両方に閾値を設けてエラーメッセージを表示する例を示したが、どちらか片方でもかまわない。
（第２の実施の形態）
　図１４は本発明の第２の実施の形態を示すブロック図である。図１４において図１と同一の構成要素には同一符号を付して説明を省略する。
　第１の実施の形態においては、撮像目標画像が撮像画像から存在しなくなった時点、即ち、消失が検出された消失開始時点から目標位置を推定した。しかし、管腔等の撮像目標が撮像部７の撮像範囲にある場合でも目標画像検出部１３において撮像目標画像を検出することができない場合が考えられる。本実施の形態はこの場合に対応したものである。
　本実施の形態は、目標位置推定部１６に代えて目標位置推定部１９を用いた移動支援システム本体３１を採用した点が図１と異なる。目標画像検出部１３は、撮像画像中の撮像目標画像を検出すると共に、その画像中の位置の情報を端部位置記憶部１５に供給する。端部位置記憶部１５は、撮像目標画像の位置を記憶する。更に、端部位置記憶部１５には、消失時の位置の情報が有効であるか無効であるかを判定するための領域（以下、目標消失位置判定領域という）の情報と、推定した目標位置を出力するか否かを判定するための領域（以下、出力判定領域という）の情報も記憶されている。
　図１５はこれらの領域を説明するための説明図である。図１５に示すように、目標消失位置判定領域は撮像画像の領域（範囲）の略中央の所定領域に設定される。また、出力判定領域は、例えば撮像画像の領域と同じ領域に設定したり、撮像画像の領域内で、目標消失位置判定領域より広く設定される。図１５は出力判定領域を撮像画像の領域内で、目標消失位置判定領域より広く設定した例を示している。
　目標位置推定部１９は目標位置の推定に際して、端部位置記憶部１５から消失時の位置情報を読み出すと共に、目標消失位置判定領域と、出力判定領域の情報も読み出す。目標位置推定部１９は、撮像目標の位置を推定すると共に、推定開始時の位置、即ち、消失時の位置が目標消失位置判定領域の外側の領域であるか否かを判定すると共に、推定した位置が出力判定領域の外側の領域であるか否かを判定する。
　目標位置推定部１９は、消失時の位置が目標消失位置判定領域内の位置である場合には、位置の推定結果を表示制御部１８に出力しない。即ち、画像の中央近傍から推定を開始すると、推定する距離が長くなるため、目標位置推定部１９は、撮像目標の位置推定の信頼性が著しく低く、無効と判定して、位置推定結果に応じた表示を表示させない。
　また、目標位置推定部１９は、撮像目標の位置推定が有効である場合でも、出力判定領域の外側にある場合のみ位置の推定結果を表示制御部１８に出力する
　すなわち、撮像目標が出力判定領域内にある場合、術者は撮像目標の場所を認識できているので、目標位置推定部１９は、位置推定結果に応じた表示を表示させない。これにより不要な表示を減らせ、術者の視認性が向上する。さらに、推定した目標位置が撮像画像内の中央近傍にある場合、撮像画像の中央に対する推定した目標位置の方向を図１０のように示すと、推定結果の誤差により、方向が大きく変化する場合があるので、信頼性が低くなる。このような理由からも、推定した目標位置が出力判定領域内にある場合は非表示にすることが望ましい。この場合には、推定した目標位置が出力判定領域外にある場合に、撮像目標の推定位置や方向を示す表示が表示装置２１の表示画面２１ａ上に表示される。
　また、術者が撮像目標の場所を認識できている範囲としては、出力判定領域を撮像画像の領域と同じ領域に設定すればよいが、推定位置の誤差により推定位置が撮像画像の領域の内側でも、実際の目標位置は撮像画像の領域の外側にあることも考えられる。このような場合は、推定位置の精度に応じて出力判定領域を撮像画像の領域より内側に設定する。これにより目標が消失しても、推定結果の誤差により、推定結果が表示されない可能性を低減できる。
　また、目標消失位置判定領域による判定と、出力判定領域による判定を両方行う例を示したが、どちらか片方のみ行ってもよい。
　また、目標位置推定部１９は、消失時の位置が、撮像画像の領域内であると判定した場合にも、位置の推定結果を表示制御部１８に出力しないようになっていてもよい。即ち、この場合にも、目標位置推定部１９は、撮像目標の位置推定の信頼性が低いと判定して、位置推定結果に応じた表示を表示させない。
　上記のような推定結果を非表示にする方法は、許容できる信頼性に応じて設定することが望ましい。
　また、表示制御部１８は、消失時において、撮像目標の推定位置や方向を示す表示を表示しない場合には、撮像目標画像が撮像画像中において検出できなくなったことを示す表示を表示画面２１ａ上に表示させるようになっていてもよい。
　このように本実施の形態においては、撮像目標画像が撮像画像中において検出できなくなった場合には、撮像目標の推定位置の表示を非表示にしたり、撮像画像の範囲外に位置する場合に表示させたりするようになっており、信頼性が比較的低い表示によって、術者が誤操作してしまうことを抑制することができる。
　なお、上記各実施の形態においては、撮像目標が腸管等の管腔の例を説明したが、撮像目標は管腔でなくてもよく例えばポリープ等の患部であってもよい。また、医療用の内視鏡だけでなく、工業用の内視鏡にも適用してもよい。この場合においても、撮像目標は管腔に限らず、検査部品等の各種検査対象や、当該検査対象に到達するまでの経路であってもよい。
　図１６及び図１７は撮像目標が検査対象である場合において、撮像目標画像が消失した場合における表示例を示す説明図である。図１６は工業用の図示しない内視鏡によりパイプ内を撮像して得た撮像画像の例を示しており、パイプ内の撮像画像６１中には管腔の画像６３及び検査対象の画像６１ａが含まれる。図１６の例では撮像目標画像は検査対象の画像６１ａである。図１６の撮像画像６２は、撮像目標画像である画像６１ａが撮像画像中から消失した例を示している。しかし、この場合でも、撮像目標である検査対象の推定位置が撮像画像６２を基準として左下方向であることを示す表示６２ａが表示される。この表示６２ａによって、作業者は、検査対象を確認するために、挿入部をいずれの方向に向ければよいかを簡単に把握することができる。
　図１７は工業用の図示しない内視鏡によりタービンブレードを撮像して得た撮像画像の例を示しており、撮像画像７１中にはブレードの画像７１ａ及び欠陥部分であるクラックの画像７１ｂが含まれる。図１７の例では撮像目標画像はクラックの画像７１ｂである。図１７の撮像画像７２中には、ブレードの画像７２ａが含まれているが、撮像目標画像である画像７１ｂは撮像画像中から消失した例を示している。しかし、この場合でも、撮像目標であるクラックの推定位置が撮像画像７２を基準として左方向であることを示す表示７２ｂが表示される。この表示７２ｂによって、作業者は、クラックを確認するために、挿入部をいずれの方向に向ければよいかを簡単に把握することができる。
（第３の実施の形態）
　図１８は本発明の第３の実施の形態に係る移動支援システムを示すブロック図である。上記各実施の形態は、撮像目標の推定位置に基づく表示を行うものであったが、本実施の形態は、撮像目標の推定位置に基づいて撮像部を備え移動する移動体の移動を制御するものである。第３の実施の形態は内視鏡の挿入部を被検体に挿入する場合の挿入制御に適用したものである。
　本実施の形態においても、移動を制御する移動体としては、例えば、医療用、工業用の内視鏡の挿入部だけでなく、カプセル内視鏡、撮像部を備えたカテーテル等を採用可能である。更に、移動体としては、自律式で移動可能な公知の各種機器を採用してもよい。
　図１８において、内視鏡２の挿入部３は、挿入ロボット５１によって被検体に挿入されるようになっている。挿入ロボット５１は、アーム５２Ｌ，５２Ｒを備えており、例えばアーム５２Ｌによって操作部４を支持し、アーム５２Ｒによって挿入部３を支持する。挿入ロボット５１のアーム５２Ｒは挿入部３に対する図示しない送り出し及び引き入れ機構と回転機構とを備えており、アーム５２Ｌは操作部４に設けた図示しない湾曲操作ノブの駆動機構を備えている。
　挿入ロボット５１は、アーム５２Ｌ，５２Ｒを駆動する駆動制御部５３を備えている。挿入ロボット５１の駆動制御部５３は、移動支援システム本体４０からの駆動制御信号に従って、アーム５２Ｌ，５２Ｒを駆動する。なお、挿入ロボット５１は操作パネル５４を有しており、例えば、ユーザは操作パネル５４で自動操作の開始と終了を切り替える操作を行う。なお、自動で行う操作は全ての操作に限らず、例えば湾曲操作ノブの操作を自動で行い、挿抜操作はユーザが操作パネル５４で操作するような、一部の操作を自動にする構成でもかまわない。
　内視鏡２の挿入部３の先端硬性部５に設けた撮像部７（図示省略）によって得られた撮像信号は、信号線８を介して移動支援システム本体４０の画像処理部１２に供給される。
　図１８の移動支援システム本体４０は、表示制御部１８に代えてロボット駆動部４１を採用した点が図１の移動支援システム本体１０と異なる。ロボット駆動部４１は、目標画像検出部１３から撮像目標画像の撮像画像上の位置の情報が与えられると共に、目標位置推定部１６から撮像目標の推定位置の情報が与えられる。ロボット駆動部４１は、撮像目標画像が撮像範囲に含まれるように、挿入ロボット５１のアーム５２Ｌ，５２Ｒを駆動させるための駆動制御信号を発生して駆動制御部５３に出力する。即ち、ロボット駆動部４１は、撮像目標画像が撮像されるようにアーム５２Ｌ，５２Ｒの駆動制御を行うと共に、撮像目標画像が撮像画像から消失した場合には、目標位置推定部１６からの撮像目標の位置推定結果に基づいて、アーム５２Ｌ，５２Ｒを駆動することで、撮像目標画像が撮像されるように駆動制御を行う。この駆動制御により、挿入部３は、腸管等に円滑に挿入される。
　このように本実施の形態においては、撮像画像中の撮像目標画像に応じて挿入部の挿入を制御するだけでなく、撮像目標画像が撮像画像から消失した場合には、撮像画像を基準とした撮像目標の位置を推定し、推定結果に基づいて挿入部の挿入を制御しており、挿入部を管腔の深部方向等に確実に導く効果的な挿入支援が可能である。
　なお、上記実施の形態の制御部１１、画像処理部１２、目標画像検出部１３、目標位置変化推定部１４、目標位置推定部１６，１９、表示制御部１８等は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。各実施の形態の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ－Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。
　また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の移動支援システムを実現することができる。
　本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (16)

  1. 　移動体に固定された撮像部が取得した撮像画像が与えられ、前記撮像画像中に含まれる撮像目標の画像を検出するとともに、検出した前記撮像目標の画像の前記撮像画像中の位置を検出する目標画像検出部と、
    　前記目標画像検出部が検出した前記撮像目標の画像の前記撮像画像中の位置を記憶する位置記憶部と、
    　前記撮像画像が与えられ、前記撮像画像の変化を検出することで、前記撮像画像を基準とした前記撮像目標の位置の変化を推定する目標位置変化推定部と、
    　前記目標画像検出部により前記撮像画像上から前記撮像目標の画像が検出されない消失状態になったことが示された場合には、前記位置記憶部に記憶された位置の情報と前記目標位置変化推定部によって得られた前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定して位置推定結果を出力する目標位置推定部と、
    を具備したことを特徴とする移動支援システム。
  2. 　前記目標位置変化推定部は、前記目標画像検出部により前記消失状態になったことが示された場合に、前記撮像画像を基準とした前記撮像目標の位置の変化の推定を開始し、
    　前記目標位置推定部は、前記消失状態の開始直前に前記位置記憶部に記憶された位置の情報と前記目標位置変化推定部による前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定する
    ことを特徴とする請求項１に記載の移動支援システム。
  3. 　前記目標位置推定部は、前記目標画像検出部により前記撮像目標の画像が検出されない場合において、消失時における前記撮像目標の前記位置推定結果が前記撮像画像の範囲内を示している場合には、前記位置推定結果を出力しない
    ことを特徴とする請求項１に記載の移動支援システム。
  4. 　前記目標位置推定部は、前記目標画像検出部により前記撮像目標の画像が検出されない場合において、消失時における前記撮像目標の前記位置推定結果が前記撮像画像中の所定の領域である目標消失位置判定領域の内側を示している場合には、前記位置推定結果を出力しない
    ことを特徴とする請求項１に記載の移動支援システム。
  5. 　前記目標位置推定部は、前記目標画像検出部により前記撮像目標の画像が検出されない場合において、前記撮像目標の前記位置推定結果が前記撮像画像の範囲又は前記位置推定結果を出力するか否かを判定するための領域である出力判定領域の内側を示している場合には、前記位置推定結果を出力しない
    ことを特徴とする請求項１に記載の移動支援システム。
  6. 　前記移動体は、内視鏡挿入部により構成され、
    　前記撮像部は、前記内視鏡挿入部の先端部に設けられる
    ことを特徴とする請求項１に記載の移動支援システム。
  7. 　前記目標位置変化推定部は、前記撮像画像を用いたオプティカルフロー推定によって前記撮像目標の位置の変化を推定する
    ことを特徴とする請求項１に記載の移動支援システム。
  8. 　前記目標位置変化推定部は、前記撮像画像中の所定の追跡点について順次与えられる前記撮像画像上における移動量及び移動方向を検出し、検出結果を前記撮像目標の位置の変化の推定結果として出力する
    ことを特徴とする請求項７に記載の移動支援システム。
  9. 　前記目標位置変化推定部は、前記撮像画像中に設定した複数の追跡点について、順次与えられる前記撮像画像上のそれぞれの移動の軌跡が共通の回転中心を有する円弧形状を有する場合には、前記撮像目標は前記回転中心を中心に回転する方向に位置が変化したものと判定して前記推定結果を得る
    ことを特徴とする請求項７に記載の移動支援システム。
  10. 　前記目標位置変化推定部は、前記撮像画像中に設定した複数の追跡点について、順次与えられる前記撮像画像上のそれぞれ移動の軌跡が共通点から放射状に延びた線形状を有する場合には、前記撮像目標は前記撮像部の光軸方向に位置が変化したものと判定して前記推定結果を得る
    ことを特徴とする請求項７に記載の移動支援システム。
  11. 　前記目標位置変化推定部は、前記撮像画像を用いた機械学習によって前記撮像目標の位置の変化を推定する
    ことを特徴とする請求項１に記載の移動支援システム。
  12. 　前記撮像画像と前記目標位置推定部からの位置推定結果とが与えられて、表示画面上に前記撮像画像と前記撮像画像を基準とした前記撮像目標の方向を表示させる表示制御部
    を更に具備したことを特徴とする請求項１に記載の移動支援システム。
  13. 　前記撮像画像と前記目標位置推定部からの位置推定結果とが与えられて、表示画面上に前記撮像画像と前記撮像画像を基準とした前記撮像目標の位置を表示させる表示制御部
    を更に具備したことを特徴とする請求項１に記載の移動支援システム。
  14. 　前記撮像画像上から前記撮像目標の画像が検出されない消失状態が所定の経過時間よりも長い時間経過した場合、又は前記目標位置推定部により推定された前記撮像目標までの前記撮像画像からの距離が所定の距離または道のりよりも大きい場合には、前記目標位置推定部からの位置推定結果を非表示にする、及び／又は位置推定結果の信頼性が低下していることを示す表示を表示画面上に表示させる表示制御部
    を更に具備したことを特徴とする請求項１に記載の移動支援システム。
  15. 　前記撮像部の光軸方向、前記光軸方向に直行する方向及び前記光軸を中心に回転する方向に前記移動体を変位させるための駆動制御部と、
    　前記目標位置推定部からの位置推定結果が与えられて、前記駆動制御部を制御するための制御信号を発生する駆動部と、
    を更に具備したことを特徴とする請求項１に記載の移動支援システム。
  16. 　移動体に固定された撮像部が取得した撮像画像が与えられ、前記撮像画像中に含まれる撮像目標の画像を検出するとともに、検出した前記撮像目標の画像の前記撮像画像中の位置を検出し、
    　検出された前記撮像目標の画像の前記撮像画像中の位置を位置記憶部に記憶させ、
    　前記撮像画像の変化を検出することで、前記撮像画像を基準とした前記撮像目標の位置の変化を推定し、
    　前記撮像画像上から前記撮像目標の画像が検出されない消失状態になったことが示された場合には、前記位置記憶部に記憶された前記位置の情報と前記撮像目標の位置の変化の推定結果とに基づいて、前記撮像画像を基準とした前記撮像目標の位置を推定して位置推定結果を出力する
    移動支援方法。
PCT/JP2018/017097 2018-04-26 2018-04-26 移動支援システム及び移動支援方法 WO2019207740A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/017097 WO2019207740A1 (ja) 2018-04-26 2018-04-26 移動支援システム及び移動支援方法
JP2020515412A JP7093833B2 (ja) 2018-04-26 2018-04-26 移動支援システム及び移動支援方法
US17/079,610 US11812925B2 (en) 2018-04-26 2020-10-26 Movement assistance system and movement assistance method for controlling output of position estimation result

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017097 WO2019207740A1 (ja) 2018-04-26 2018-04-26 移動支援システム及び移動支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/079,610 Continuation US11812925B2 (en) 2018-04-26 2020-10-26 Movement assistance system and movement assistance method for controlling output of position estimation result

Publications (1)

Publication Number Publication Date
WO2019207740A1 true WO2019207740A1 (ja) 2019-10-31

Family

ID=68293978

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017097 WO2019207740A1 (ja) 2018-04-26 2018-04-26 移動支援システム及び移動支援方法

Country Status (3)

Country Link
US (1) US11812925B2 (ja)
JP (1) JP7093833B2 (ja)
WO (1) WO2019207740A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024018713A1 (ja) * 2022-07-19 2024-01-25 富士フイルム株式会社 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム
WO2024028934A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
JP2012170641A (ja) * 2011-02-22 2012-09-10 Olympus Corp 蛍光観察装置
WO2017006449A1 (ja) * 2015-07-08 2017-01-12 オリンパス株式会社 内視鏡装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5063023B2 (ja) * 2006-03-31 2012-10-31 キヤノン株式会社 位置姿勢補正装置、位置姿勢補正方法
JP5094036B2 (ja) * 2006-04-17 2012-12-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入方向検出装置
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
JP4961475B2 (ja) 2007-06-20 2012-06-27 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
JP6257371B2 (ja) * 2014-02-21 2018-01-10 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法
US10932657B2 (en) * 2014-04-02 2021-03-02 Transenterix Europe S.A.R.L. Endoscope with wide angle lens and adjustable view
DE102017103198A1 (de) * 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
EP3603482B1 (en) * 2017-03-30 2023-03-22 FUJIFILM Corporation Endoscope system, processor device for operating endoscope system
JP6716853B2 (ja) * 2017-05-25 2020-07-01 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US10346978B2 (en) * 2017-08-04 2019-07-09 Capsovision Inc. Method and apparatus for area or volume of object of interest from gastrointestinal images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) * 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
JP2012170641A (ja) * 2011-02-22 2012-09-10 Olympus Corp 蛍光観察装置
WO2017006449A1 (ja) * 2015-07-08 2017-01-12 オリンパス株式会社 内視鏡装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024018713A1 (ja) * 2022-07-19 2024-01-25 富士フイルム株式会社 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム
WO2024028934A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024029502A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Also Published As

Publication number Publication date
JP7093833B2 (ja) 2022-06-30
US11812925B2 (en) 2023-11-14
JPWO2019207740A1 (ja) 2021-02-12
US20210052136A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
US7641609B2 (en) Endoscope device and navigation method for endoscope device
US10932875B2 (en) Manipulator, medical system, and medical system control method
JP4961475B2 (ja) 内視鏡システム
US8454497B2 (en) Endoscope apparatus and bending drive control method
JP4733243B2 (ja) 生検支援システム
EP1543765A1 (en) Medical treatment system, endoscope system, endoscope insert operation program, and endoscope device
JP6600690B2 (ja) 挿入体支援システム
JP2009136618A (ja) 内視鏡システム
WO2012068194A2 (en) Endoscope guidance based on image matching
US20230148847A1 (en) Information processing system, medical system and cannulation method
JP4436638B2 (ja) 内視鏡装置及び内視鏡挿入動作プログラム
US20220398771A1 (en) Luminal structure calculation apparatus, creation method for luminal structure information, and non-transitory recording medium recording luminal structure information creation program
US20220400931A1 (en) Endoscope system, method of scanning lumen using endoscope system, and endoscope
US11812925B2 (en) Movement assistance system and movement assistance method for controlling output of position estimation result
JP6203456B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2019239545A1 (ja) 内視鏡システムおよび挿入部の推進方法
KR20220072761A (ko) 내시경 영상 병변 진단 시스템
JP4323515B2 (ja) 内視鏡システム
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
JP4262741B2 (ja) 内視鏡形状検出装置
WO2024028934A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20240112407A1 (en) System, methods, and storage mediums for reliable ureteroscopes and/or for imaging
JP7544945B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
US20230363777A1 (en) Medical system, operation method for medical system, and information storage medium
US20240321434A1 (en) Information processing system, medical system, and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18916776

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020515412

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18916776

Country of ref document: EP

Kind code of ref document: A1