Nothing Special   »   [go: up one dir, main page]

WO2016181781A1 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
WO2016181781A1
WO2016181781A1 PCT/JP2016/062567 JP2016062567W WO2016181781A1 WO 2016181781 A1 WO2016181781 A1 WO 2016181781A1 JP 2016062567 W JP2016062567 W JP 2016062567W WO 2016181781 A1 WO2016181781 A1 WO 2016181781A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
optical system
processing unit
images
Prior art date
Application number
PCT/JP2016/062567
Other languages
English (en)
French (fr)
Inventor
悟 菊池
萬壽　和夫
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017517851A priority Critical patent/JP6169312B2/ja
Priority to EP16792506.4A priority patent/EP3295858A4/en
Priority to CN201680010548.1A priority patent/CN107249425B/zh
Publication of WO2016181781A1 publication Critical patent/WO2016181781A1/ja
Priority to US15/681,911 priority patent/US10582840B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00183—Optical arrangements characterised by the viewing angles for variable viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/053—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion being detachable
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Definitions

  • the present invention relates to an endoscope apparatus.
  • the peripheral tissue is located very close to the distal end of the insertion portion, so In some cases, it may be difficult to fuse the image and feel uncomfortable.
  • the inner wall of the space is close to one side of the binocular lens, so-called “vignetting” may occur in which surrounding tissue or the like that is close to only one image is reflected. In this case, since an image sickness due to a visual field struggle is caused and a procedure with an unpleasant image is forced, there is a disadvantage that the efficiency of the procedure is lowered.
  • the present invention has been made in view of the above-described circumstances, and it is possible to prevent a decrease in the efficiency of an observer's procedure even when a neighboring peripheral tissue or the like is reflected in only one image.
  • An object of the present invention is to provide an endoscope apparatus.
  • One aspect of the present invention includes an elongated insertion unit that is inserted into the body, an imaging optical system that is disposed at the distal end of the insertion unit, and that acquires two images having parallax with respect to the same subject; An extraction unit that extracts an image of an object close to the imaging optical system that is captured only in one of the two images acquired by the imaging unit, and the object extracted by the extraction unit; An endoscopic apparatus comprising: a proximity image removal processing unit that performs processing so that an image is removed from the image.
  • the distal end of the insertion unit is inserted into a narrow space in the body, and two images having parallax are obtained for the same subject by the imaging unit via the photographing optical system disposed at the distal end of the insertion unit. Then, when an image of an object close to the photographing optical system is captured in only one of the two acquired images, the object image is extracted by the extraction unit, and the proximity image removal processing unit Processed to be removed from the image. As a result, it is possible to prevent so-called vignetting in which an object close to only one image is reflected. Therefore, it is possible to reduce the occurrence of image sickness due to a visual field struggle, to prevent a procedure with an unpleasant image, and to improve the efficiency of the procedure.
  • the insertion portion includes a bending portion that is bent so as to change the angle of the optical axis of the imaging optical system
  • the proximity image removal processing unit is configured such that the object is out of the field of view of the imaging optical system. You may control the said curved part so that it may be arrange
  • the proximity image removal processing unit controls the bending unit.
  • the angle of the optical axis of the photographing optical system is changed, and the object is arranged outside the field of view of the photographing optical system.
  • the image of the object close to the photographing optical system can be easily removed from the image. Since an object image often appears in the peripheral portion of the image, the object image can be removed from the image only by slightly moving the angle of the optical axis of the photographing optical system.
  • the proximity image removal processing unit may notify that the image of the object has been extracted by the extraction unit.
  • the two images are three-dimensionally fused in the brain.
  • Operators who are concentrating on performing procedures while observing the state of the body using this stereoscopic image grasp the state of the body from the fused image, so that vignetting occurs in the image.
  • it is difficult to notice the occurrence if the procedure is prolonged, image sickness is likely to occur due to visual field struggle.
  • by notifying the occurrence of vignetting in the image the occurrence can be noticed and an operation for removing the object image from the image can be promoted.
  • the close-up image removal processing unit may instruct a direction in which the photographing optical system is moved so that the object is disposed outside the field of view of the photographing optical system.
  • the near-image removal processing unit instructs an appropriate moving direction of the photographing optical system when vignetting occurs in the image, so that an operator who notices vignetting quickly captures the image of the object. It can be removed from the inside, and vignetting can be eliminated at an early stage.
  • the proximity image removal processing unit may process the image so as to remove the image of the object in the image. By doing so, vignetting can be eliminated at an early stage by image processing, and a procedure with an unpleasant video can be prevented, thereby improving the efficiency of the procedure.
  • FIG. 1 is an overall configuration diagram showing an endoscope apparatus according to an embodiment of the present invention. It is a perspective view which shows the front-end
  • an endoscope apparatus 1 has an insertion portion 3 that is inserted into a body cavity through an inner hole of a trocar 2 that is fixed to penetrate a patient's skin P.
  • An endoscope main body 4 that acquires an image in a body cavity, an operation unit 5 that operates the endoscope main body 4, and an image processing unit (extraction unit) that processes an image acquired in the endoscope main body 4 ) 6, a control unit (proximity image removal processing unit) 7 that controls the endoscope body 4 based on a command signal input by the operation unit 5 and information acquired by the image processing unit 6, a display unit 8, It has.
  • the endoscope body 4 includes two objective lenses 9 a and 9 b disposed on the distal end surface of the elongated insertion portion 3 at positions separated in the radial direction of the insertion portion 3, and An imaging unit 11 including an imaging element (imaging optical system) 10 that captures light from a subject condensed by the objective lenses 9a and 9b is provided.
  • the optical axes of the two objective lenses 9 a and 9 b are arranged so as to intersect in front of the distal end surface of the insertion portion 3.
  • the image sensor 10 can acquire two images L and R having parallax for the same subject.
  • the imaging unit 11 includes a signal processing unit 12 that processes a signal acquired by the imaging element 10 to generate an image signal. From the signal processing unit 12, an image signal in a displayable format is output to the display unit 8, and an image signal in a format including only shape information from which color information is removed is output to the image processing unit 6. It has become.
  • the endoscope body 4 swings the distal end portion 3 a of the insertion portion 3 provided with the imaging portion 11 around an axis perpendicular to the longitudinal axis of the insertion portion 3.
  • a bending portion 13 that can be moved, and a drive portion 14 that electrically operates the bending portion 13.
  • the driving portion 14 When the bending portion 13 is actuated by the driving portion 14, the distal end portion 3 a is swung around an axis perpendicular to the longitudinal axis of the insertion portion 3.
  • the optical axis direction of objective lens 9a, 9b can be changed, and a visual field can be changed.
  • the image processing unit 6 uses the image signal output from the signal processing unit 12 to perform feature point extraction from the two image signals using a known method such as block matching, and an image that exists only in one image An area is extracted.
  • a known method such as block matching
  • an image that exists only in one image An area is extracted.
  • the space inner wall S is one of the objective lenses 9a and 9b. May be close to the side of In the case of the figure, the space inner wall (object) S is close to the right side of the right objective lens 9a. In this case, two images L and R as shown in FIG. 5 are acquired.
  • the image processing unit 6 compares the two image signals to extract the near object image M in the right image R, and to that effect and information on the extraction position of the near object image M on the right image R.
  • the data is sent to the control unit 7.
  • the operation unit 5 may be an arbitrary input unit such as a handle, a push button, or a slide switch.
  • a command signal for swinging the bending portion 13 in which direction and at what angle can be input according to the rotation angle and rotation direction of the handle.
  • the drive unit 14 swings in a direction (vertical direction) orthogonal to a motor (not shown) that swings the distal end portion 3a of the insertion unit 3 in the arrangement direction (left / right direction) of the left and right objective lenses 9a, 9b. Motors (not shown) to be driven, and either or both of these motors are driven in response to a command signal.
  • the control unit 7 controls the drive unit 14 based on a command signal input by operating the operation unit 5. Further, the control unit 7 controls the drive unit 14 based on information sent from the image processing unit 6. Specifically, when information indicating that the proximity object image M has been extracted from the image processing unit 6, the position is based on the information on the extraction position of the proximity object image M received from the image processing unit 6 at the same time.
  • the drive unit 14 is controlled so as to swing the tip 3a on the opposite side.
  • the control unit 7 controls the drive unit 14 to be as shown in FIG.
  • the tip 3a is swung by a predetermined angle to the left, that is, in the direction opposite to the position on the image R from which the near object image M is extracted.
  • the swinging angle of the tip 3a by the drive unit 14 may be set to an angle sufficient to move the field of view so that the near object image M disappears from the right image R.
  • the insertion portion 3 of the endoscope main body 4 is inserted into the body from the distal end portion 3a side through the trocar 2, and the imaging unit The image signal in the body is acquired by the operation of 11.
  • the operator operates the operation unit 5 and inputs a command signal for operating the bending unit 13.
  • the control unit 7 controls the drive unit 14 to bend the bending unit 13 at an angle and a direction according to the command signal input from the operation unit 5, so that the field of view by the imaging unit 11 is displayed. Is moved according to the operator's command. Since the images L and R acquired by the imaging unit 11 are sent to and displayed on the display unit 8, the operator can search for an observation site in the body using the images L and R displayed on the display unit 8. .
  • the image signals of the two images L and R acquired by the imaging unit 11 are sent to the image processing unit 6 and compared so that the adjacent object that exists only in one of the images An image M is extracted.
  • the position of the proximity object image M on the images L and R is sent to the control unit 7 together with that fact.
  • control unit 7 When the control unit 7 receives that the near object image M has been extracted, the control unit 7 controls the drive unit 14 to move the field of view in the direction opposite to the position on the images L and R of the close object image M.
  • the bending portion 13 is bent by a predetermined angle. As a result, as shown in FIG. 6, the field of view moves in the opposite direction to the near object image M, and the near object image M can be removed from the field of view.
  • the operator who is viewing and observing the images L and R having parallax acquired by the imaging unit 11 on the display unit 8 fuses a stereoscopic image in the brain based on the two images L and R. Since the image is concentrated on the observation of the state of the body by a three-dimensional image, it is often not noticed that the close object image M is reflected in each of the images L and R. Then, when observation is performed over a long period of time without realizing that the so-called vignetting occurs in which only the one object has the near object image M, an image sickness due to a visual field struggle occurs and an unpleasant video The procedure will reduce the efficiency of the procedure.
  • the proximity object image M is extracted by the image processing unit 6, and the control unit 7 drives the drive unit so that the proximity object does not enter the field of view. 14, even when the operator does not notice that vignetting has occurred, the occurrence of image sickness due to visual field struggle is reduced, and the procedure with an unpleasant image is prevented and the efficiency of the procedure is improved. There is an advantage that can be.
  • the entire two images L and R may be compared in order to extract the near object image M that causes vignetting.
  • the vignetting of the images occurs in the peripheral areas of the images L and R, as shown in FIG. 7, only the two images L and R in the peripheral areas (area A to area D) of the images L and R are displayed.
  • R may be compared to determine the presence / absence of the close object image M and the position on the images L and R. In this way, it is possible to quickly detect the presence and position of vignetting and deal with it with a small amount of calculation.
  • a notification unit 15 that simply notifies the generation may be provided.
  • the decrease in the efficiency of the procedure due to vignetting occurs when observation is continued without noticing the occurrence of vignetting. Accordingly, by notifying the operator of the occurrence of vignetting and notifying the operator, the bending portion 13 can be operated so that the proximity object does not enter the field of view manually by operating the operation portion 5.
  • a notification method by the notification unit 15 As a notification method by the notification unit 15, a notification method by a display that makes the operator viewing the images L and R notice the occurrence, such as changing the color of the proximity object image M extracted on the images L and R, Alternatively, a notification method using voice, vibration, or the like can be employed. Further, when notifying the occurrence of vignetting, a display such as an arrow indicating the bending direction of the bending portion 13 for eliminating the vignetting or a voice instruction may be performed. This can prompt the operator to eliminate vignetting.
  • the image processing unit (proximity image removal processing unit) 6 may perform image processing so that the proximity object image M extracted by the image processing unit 6 is removed.
  • the image processing unit 6 may perform image processing so that the proximity object image M extracted by the image processing unit 6 is removed.
  • the brightness of the area including the extracted close object image M is reduced to be in a blackout state, or the brightness is increased to be in a whiteout state. It is possible to do.
  • two images L and R having parallax for the same subject are acquired by the imaging unit 11 including the two objective lenses 9a and 9b that are arranged at right and left intervals.
  • two optical images L and R having a parallax with respect to the same subject are obtained by using a single objective lens 9 and a single image sensor 10 by using an optical path changing means such as a variable aperture or a liquid crystal shutter. You may decide to acquire. Thereby, the front-end
  • an auxiliary imaging unit including an auxiliary objective lens 16 for detecting a proximity object around the main objective lens 9 for acquiring images L and R having parallax is provided. You may have. With the auxiliary imaging unit specialized in the detection of the proximity object, the extraction accuracy of the proximity object can be improved.
  • the operator may be able to switch between a mode in which vignetting is eliminated and a mode in which vignetting is not eliminated even if vignetting occurs.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

一方の画像のみに、近接した周辺組織等が写り込む場合にも、観察者の手技の効率の低下を防止する。体内に挿入される細長い挿入部（３）と、該挿入部（３）の先端に配置された撮影光学系を有し、同一被写体について視差を有する２枚の画像を取得する撮像部と、該撮像部により取得された２枚の画像のうち、いずれか一方にのみ写っている撮影光学系に近接する物体の像を抽出する抽出部（６）と、該抽出部（６）により抽出された物体（Ｓ）の像が画像内から除去されるように処理する近接像除去処理部（７）とを備える内視鏡装置（１）を提供する。

Description

内視鏡装置
　本発明は、内視鏡装置に関するものである。
　従来、双眼レンズを有し、視差を有する２つの画像を取得して被写体を立体的に観察可能な内視鏡装置が知られている（例えば、特許文献１参照。）。
特開２００７－１５１８６２号公報
　しかしながら、内視鏡装置の挿入部の先端を骨盤腔のように比較的狭い空間内に挿入して手技を行う場合には、挿入部の先端の極めて近い位置に周辺組織が存在するため立体的に融像することが困難となって違和感を感じる場合がある。特に、双眼レンズの一方の側方に空間内壁が近接する場合、一方の画像のみに近接した周辺組織等が映り込む、いわゆる「ケラレ」が発生することがある。この場合には、視野闘争による画像酔いを引き起こすなど、不快な映像での手技を余儀なくされるため、手技の効率が低下するという不都合がある。
　本発明は、上述した事情に鑑みてなされたものであって、一方の画像のみに、近接した周辺組織等が写り込む場合にも、観察者の手技の効率の低下を防止することができる内視鏡装置を提供することを目的としている。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の一態様は、体内に挿入される細長い挿入部と、該挿入部の先端に配置された撮影光学系を有し、同一被写体について視差を有する２枚の画像を取得する撮像部と、該撮像部により取得された２枚の前記画像のうち、いずれか一方にのみ写っている前記撮影光学系に近接する物体の像を抽出する抽出部と、該抽出部により抽出された前記物体の像が前記画像内から除去されるように処理する近接像除去処理部とを備える内視鏡装置である。
　本態様によれば、挿入部の先端を体内の狭い空間内に挿入し、挿入部の先端に配置された撮影光学系を介して、撮像部により同一被写体について視差を有する２枚の画像を取得すると、取得された２枚の画像のうち、いずれか一方にのみ撮影光学系に近接する物体の像が写っている場合には、抽出部によりその物体像が抽出され、近接像除去処理部により画像内から除去されるように処理される。その結果、一方の画像のみに近接した物体が映り込む、いわゆるケラレが発生しないようにすることができる。したがって、視野闘争による画像酔いの発生が低減され、不快な映像での手技を防止して、手技の効率を向上することができる。
　上記態様においては、前記挿入部が、前記撮影光学系の光軸の角度を変更するように湾曲させられる湾曲部を備え、前記近接像除去処理部は、前記物体が前記撮影光学系の視野外に配置されるように前記湾曲部を制御してもよい。
　このようにすることで、抽出部により、いずれか一方の画像のみに写っている、撮影光学系に近接する物体の像が抽出された場合には、近接像除去処理部が湾曲部を制御することにより、撮影光学系の光軸の角度が変更され、物体が撮影光学系の視野外に配置されるようになる。これにより、撮影光学系に近接する物体の像を画像内から容易に除去することができる。物体の像は画像の周辺部分に写ることが多いので、撮影光学系の光軸の角度を若干移動させるだけで物体の像を画像内から除去することができる。
　また、上記態様においては、前記近接像除去処理部は、前記抽出部により前記物体の像が抽出されたことを報知してもよい。
　撮像部により取得された視差を有する２枚の画像を左右両眼によって別々に見ることにより、脳内において２つの画像が立体的に融像される。この立体的な画像により体内の状態を観察しながら手技を行うことに集中している操作者は、融像された像によって体内の状態を把握しているため、画像にケラレが発生して違和感を感じながらも、その発生に気づき難いため、手技が長期化すると視野闘争による画像酔いが発生し易い。本態様によれば、画像にケラレが発生したときにこれを報知することで、発生を気づかせ、物体の像を画像内から除去するための動作を促すことができる。
　また、上記態様においては、前記近接像除去処理部は、前記物体が前記撮影光学系の視野外に配置されるために前記撮影光学系を移動させる方向を指示してもよい。
　このようにすることで、画像にケラレが発生したときに近接像除去処理部が、撮影光学系の適正な移動方向を指示するので、ケラレに気づいた操作者が、迅速に物体の像を画像内から除去することができ、ケラレを早期に解消することができる。
　また、上記態様においては、前記近接像除去処理部が、前記画像内に写っている前記物体の像を除去するように前記画像を処理してもよい。
　このようにすることで、画像の処理によりケラレを早期に解消することができ、不快な映像での手技を防止して、手技の効率を向上することができる。
　本発明によれば、一方の画像のみに、近接した周辺組織等が写り込む場合にも、観察者の手技の効率の低下を防止することができるという効果を奏する。
本発明の一実施形態に係る内視鏡装置を示す全体構成図である。 図１の内視鏡装置の挿入部の先端部分を示す斜視図である。 図１の内視鏡装置を示すブロック図である。 図１の内視鏡装置において、右側の対物レンズの右側に周辺組織が近接している状態を示す図である。 図４の状態において取得されるケラレが発生している画像例を示す図である。 図１の状態から湾曲部を作動させてケラレを解消した状態を示す図である。 図１の内視鏡装置における近接物体像の抽出に使用する領域の変形例を示す図である。 図３の内視鏡装置の変形例を示すブロック図である。 図１の内視鏡装置の他の変形例の挿入部の先端部分を示す斜視図である。
　本発明の一実施形態に係る内視鏡装置１について図面を参照して以下に説明する。
　本実施形態に係る内視鏡装置１は、図１に示されるように、患者の皮膚Ｐを貫通した状態に固定されるトラカール２の内孔を貫通して体腔内に挿入される挿入部３を備え、体腔内の画像を取得する内視鏡本体４と、該内視鏡本体４を操作する操作部５と、内視鏡本体４において取得された画像を処理する画像処理部（抽出部）６と、操作部５により入力された指令信号および画像処理部６により取得された情報に基づいて内視鏡本体４を制御する制御部（近接像除去処理部）７と、表示部８とを備えている。
　内視鏡本体４は、図２および図３に示されるように、細長い挿入部３の先端面に、挿入部３の径方向に離れた位置に配置された２つの対物レンズ９ａ，９ｂと、各該対物レンズ９ａ，９ｂにより集光された被写体からの光を撮影する撮像素子（撮影光学系）１０とを備える撮像部１１を備えている。２つの対物レンズ９ａ，９ｂの光軸は、挿入部３の先端面よりも前方において交差するように配置されている。これにより、撮像素子１０は、図５に示されるように、同一の被写体について視差を有する２枚の画像Ｌ，Ｒを取得することができるようになっている。
　また、撮像部１１は、図３に示されるように、撮像素子１０により取得された信号を処理して画像信号を生成する信号処理部１２を備えている。信号処理部１２からは、表示可能な形式の画像信号が表示部８に出力されるとともに、色情報が除去された形状情報のみを含む形式の画像信号が、画像処理部６に出力されるようになっている。
　また、内視鏡本体４は、図２および図３に示されるように、撮像部１１が備えられた挿入部３の先端部３ａを、挿入部３の長手軸に直交する軸線回りに揺動させることができる湾曲部１３と、該湾曲部１３を電動により動作させる駆動部１４とを備えている。駆動部１４により湾曲部１３を作動させると、先端部３ａが挿入部３の長手軸に直交する軸線回りに揺動させられるようになっている。これにより、対物レンズ９ａ，９ｂの光軸方向を変化させ、視野を変更することができるようになっている。
　画像処理部６は、信号処理部１２から出力されてきた画像信号を用いて、２つの画像信号からブロックマッチング等の公知の手法を用いて特徴点抽出を行い、一方の画像のみに存在する画像領域を抽出するようになっている。
　例えば、骨盤腔のように比較的狭い空間内に挿入部３の先端を挿入して観察を行う場合には、図４に示されるように、空間内壁Ｓがいずれか一方の対物レンズ９ａ，９ｂの側方に近接する場合がある。図の場合には、右側の対物レンズ９ａの右側に空間内壁（物体）Ｓが近接している。そして、この場合には、図５に示されるような２つの画像Ｌ，Ｒが取得される。
　図５によれば、右側の対物レンズ９ａを介して取得された右側の画像Ｒには、左側の対物レンズ９ｂを介して取得された左側の画像Ｌに存在しない、空間内壁Ｓの像（近接物体像）Ｍが画像Ｒの右側部分に存在している（図５にハッチングで示す部分。）。画像処理部６は、２つの画像信号を比較してこの右側の画像Ｒ内の近接物体像Ｍを抽出し、その旨と、右側の画像Ｒ上における近接物体像Ｍの抽出位置の情報とを制御部７に送るようになっている。
　操作部５は、ハンドル、押しボタン、スライドスイッチ等、任意の入力部でよい。例えば、ハンドルの場合、ハンドルの回転角度、回転方向によって、湾曲部１３をいずれの方向にどれだけの角度で揺動させるかの指令信号を入力することができるようになっている。
　駆動部１４は、挿入部３の先端部３ａを左右の対物レンズ９ａ，９ｂの配列方向（左右方向）に揺動させるモータ（図示略）と、これに直交する方向（上下方向）に揺動させるモータ（図示略）とを備え、指令信号に応じて、これらのモータのいずれかまたは両方を駆動させるようになっている。
　制御部７は、操作部５の操作により入力された指令信号に基づいて駆動部１４を制御する。また、制御部７は、画像処理部６から送られてきた情報に基づいて、駆動部１４を制御するようになっている。具体的には、画像処理部６から近接物体像Ｍが抽出された旨の情報を受けると、同時に画像処理部６から受け取った近接物体像Ｍの抽出位置の情報に基づいて、その位置とは反対側に先端部３ａを揺動させるように、駆動部１４を制御するようになっている。
　さらに具体的には、上述したように、右側の画像Ｒの右側の領域に近接物体像Mが抽出された場合には、制御部７は駆動部１４を制御して、図６に示されるように、先端部３ａを左側に、すなわち、近接物体像Ｍが抽出された画像Ｒ上の位置とは逆方向に、所定角度だけ揺動させるようになっている。駆動部１４による先端部３ａの揺動角度としては、近接物体像Ｍが右側の画像Ｒから消滅する程度に視野を移動させるのに十分な角度を設定しておけばよい。
　このように構成された本実施形態に係る内視鏡装置１の作用について、以下に説明する。
　本実施形態に係る内視鏡装置１を用いて患者の体内の観察を行うには、トラカール２を介して内視鏡本体４の挿入部３を先端部３ａ側から体内に挿入し、撮像部１１の作動により体内の画像信号を取得する。
　操作者は、操作部５を操作して、湾曲部１３を動作させるための指令信号を入力する。指令信号が入力されると、制御部７は駆動部１４を制御して、操作部５により入力された指令信号に応じた角度および方向に湾曲部１３を湾曲させることにより、撮像部１１による視界を操作者の指令通りに移動させる。撮像部１１により取得された画像Ｌ，Ｒは、表示部８に送られて表示されるので、操作者は表示部８に表示された画像Ｌ，Ｒにより体内の観察部位を探索することができる。
　この場合において、撮像部１１により取得された２枚の画像Ｌ，Ｒの画像信号は画像処理部６に送られて、比較されることにより、いずれか一方の画像のみに存在している近接物体像Ｍが抽出される。そして、近接物体像Ｍが抽出された場合には、その旨とともに画像Ｌ，Ｒ上の近接物体像Ｍの位置が制御部７に送られる。
　制御部７は近接物体像Ｍが抽出された旨を受信した場合には、近接物体像Ｍの画像Ｌ，Ｒ上の位置とは逆方向に視界を移動させるように駆動部１４を制御して、湾曲部１３を所定角度だけ湾曲させる。これにより、図６に示されるように、近接物体像Ｍとは逆方向に視界が移動して視界から近接物体像Ｍを除去することができる。
　すなわち、撮像部１１により取得された視差を有する画像Ｌ，Ｒを表示部８に表示して観察している操作者は、２つの画像Ｌ，Ｒに基づいて脳内で立体的な画像を融像し、立体的な画像による体内の状態の観察に集中しているので、個々の画像Ｌ，Ｒに近接物体像Ｍが写り込んでいることについては気づかないことが多い。そして、一方の画像のみに近接物体像Ｍが写り込む、いわゆるケラレが発生していることに気づかずに長時間にわたって観察が行われる場合には、視野闘争による画像酔いが発生し、不快な映像での手技により、手技の効率が低下してしまうことになる。
　本実施形態によれば、画像Ｌ，Ｒにケラレが発生した場合には、画像処理部６により近接物体像Ｍが抽出されて、制御部７が、近接物体が視野に入らないように駆動部１４を制御するので、操作者がケラレが発生したことに気づかない場合にも、視野闘争による画像酔いの発生が低減され、不快な映像での手技を防止して、手技の効率を向上することができるという利点がある。
　なお、本実施形態に係る内視鏡装置１においては、ケラレを発生させる近接物体像Ｍを抽出するために、２つの画像Ｌ，Ｒ全体を比較してもよい。これに代えて、画像のケラレは画像Ｌ，Ｒの周辺領域において発生するので、図７に示されるように、画像Ｌ，Ｒの周辺領域（領域Ａから領域Ｄ）のみについて２つの画像Ｌ，Ｒを比較して近接物体像Ｍの有無と、画像Ｌ，Ｒ上における位置とを求めることにしてもよい。このようにすることで、少ない計算量で迅速にケラレの有無とその位置を検出して対処することができる。
　また、画像Ｌ，Ｒにケラレが発生した場合にはこれを抽出して湾曲部１３を作動させることにより視野をずらしてケラレを解消することとしたが、これに代えて、図８に示されるように、ケラレが発生した場合に、単にその発生を報知する報知部（近接像除去処理部）１５を備えていてもよい。
　すなわち、ケラレによる手技の効率の低下は、ケラレの発生に気づかずに観察を継続することにより発生する。したがって、ケラレの発生を報知して、操作者に気づかせることにより、操作部５を操作して手動で近接物体が視界に入らないように湾曲部１３を作動させることができる。
　報知部１５による報知の方法としては、画像Ｌ，Ｒ上において抽出された近接物体像Ｍの色を変えるなど、画像Ｌ，Ｒを見ている操作者にその発生を気づかせる表示による報知方法、あるいは、音声、振動等による報知方法を採用することができる。
　また、ケラレの発生を報知する場合に、ケラレを解消するための湾曲部１３の湾曲方向を示す矢印等の表示あるいは音声指示を行ってもよい。これにより、ケラレを解消するように操作者に促すことができる。
　また、画像Ｌ，Ｒにケラレが発生した場合に、画像処理部６により抽出された近接物体像Ｍを除去するように、画像処理部（近接像除去処理部）６において画像処理してもよい。例えば、画像Ｌ，Ｒ上の近接物体像Ｍの除去方法としては、抽出された近接物体像Ｍを含む領域の輝度を低下させて黒つぶれ状態にしたり、輝度を増大させて白飛び状態にしたりすることが考えられる。
　また、本実施形態においては、左右に間隔をあけて配置された２つの対物レンズ９ａ，９ｂを備える撮像部１１により、同一被写体について視差を有する２つの画像Ｌ，Ｒを取得することとしたが、これに代えて、可変絞りや液晶シャッタ等、光学的な光路変更手段を使用し、単一の対物レンズ９および単一の撮像素子１０により同一被写体について視差を有する２つの画像Ｌ，Ｒを取得することにしてもよい。これにより、挿入部３の先端部３ａを小型化することができる。
　この場合に、図９に示されるように、視差を有する画像Ｌ，Ｒを取得するための主たる対物レンズ９の周囲に近接物体を検出するための補助的な対物レンズ１６を含む補助撮像部を備えていてもよい。近接物体の検出に特化した補助撮像部により、近接物体の抽出精度を向上することができる。
　また、画像Ｌ，Ｒにケラレが発生した場合に、ケラレを解消するように動作させるモードと、ケラレが発生してもケラレを解消させないモードとを操作者が切替可能としてもよい。
　１　内視鏡装置
　３　挿入部
　６　画像処理部（抽出部、近接像除去処理部）
　７　制御部（近接像除去処理部）
　１０　撮像素子（撮影光学系）
　１１　撮像部
　１３　湾曲部
　１５　報知部（近接像除去処理部）
　Ｌ，Ｒ　画像

Claims (5)

  1. 　体内に挿入される細長い挿入部と、
    　該挿入部の先端に配置された撮影光学系を有し、同一被写体について視差を有する２枚の画像を取得する撮像部と、
    　該撮像部により取得された２枚の前記画像のうち、いずれか一方にのみ写っている前記撮影光学系に近接する物体の像を抽出する抽出部と、
    　該抽出部により抽出された前記物体の像が前記画像内から除去されるように処理する近接像除去処理部とを備える内視鏡装置。
  2. 　前記挿入部が、前記撮影光学系の光軸の角度を変更するように湾曲させられる湾曲部を備え、
    　前記近接像除去処理部は、前記物体が前記撮影光学系の視野外に配置されるように前記湾曲部を制御する請求項１に記載の内視鏡装置。
  3. 　前記近接像除去処理部は、前記抽出部により前記物体の像が抽出されたことを報知する請求項１に記載の内視鏡装置。
  4. 　前記近接像除去処理部は、前記物体が前記撮影光学系の視野外に配置されるために前記撮影光学系を移動させる方向を指示する請求項１に記載の内視鏡装置。
  5. 　前記近接像除去処理部が、前記画像内に写っている前記物体の像を除去するように前記画像を処理する請求項１に記載の内視鏡装置。
PCT/JP2016/062567 2015-05-14 2016-04-20 内視鏡装置 WO2016181781A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017517851A JP6169312B2 (ja) 2015-05-14 2016-04-20 内視鏡装置
EP16792506.4A EP3295858A4 (en) 2015-05-14 2016-04-20 ENDOSCOPE DEVICE
CN201680010548.1A CN107249425B (zh) 2015-05-14 2016-04-20 内窥镜装置
US15/681,911 US10582840B2 (en) 2015-05-14 2017-08-21 Endoscope apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-098872 2015-05-14
JP2015098872 2015-05-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/681,911 Continuation US10582840B2 (en) 2015-05-14 2017-08-21 Endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2016181781A1 true WO2016181781A1 (ja) 2016-11-17

Family

ID=57249176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062567 WO2016181781A1 (ja) 2015-05-14 2016-04-20 内視鏡装置

Country Status (5)

Country Link
US (1) US10582840B2 (ja)
EP (1) EP3295858A4 (ja)
JP (1) JP6169312B2 (ja)
CN (1) CN107249425B (ja)
WO (1) WO2016181781A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018154661A1 (ja) * 2017-02-22 2018-08-30 オリンパス株式会社 内視鏡のための画像処理装置及び内視鏡システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3130276B8 (en) * 2015-08-12 2020-02-26 TransEnterix Europe Sàrl Endoscope with wide angle lens and adjustable view
EP3714764A4 (en) * 2017-12-28 2021-06-30 Allis Inc. ORAL PHOTOGRAPHY DEVICE, MEDICAL DEVICE AND PROGRAM

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316541A (ja) * 1992-05-07 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 両眼立体視装置
JPH10309258A (ja) * 1997-05-13 1998-11-24 Olympus Optical Co Ltd 体腔内観察装置
JP2007151862A (ja) * 2005-12-06 2007-06-21 Olympus Corp 内視鏡装置
JP2012220888A (ja) * 2011-04-13 2012-11-12 Nikon Corp 撮像装置
JP2014146970A (ja) * 2013-01-29 2014-08-14 Canon Inc 画像処理装置、その制御方法、および制御プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3285924B2 (ja) 1992-04-10 2002-05-27 オリンパス光学工業株式会社 湾屈曲装置
US9415510B2 (en) 1999-09-17 2016-08-16 Intuitive Surgical Operations, Inc. System and methods for positioning a manipulator arm by clutching within a null-perpendicular space concurrent with null-space movement
JP2004081277A (ja) 2002-08-23 2004-03-18 Yamaguchi Technology Licensing Organization Ltd 自動干渉回避型内視鏡
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
JP2007029232A (ja) 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
US9204939B2 (en) 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
JP6265630B2 (ja) 2013-06-13 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316541A (ja) * 1992-05-07 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 両眼立体視装置
JPH10309258A (ja) * 1997-05-13 1998-11-24 Olympus Optical Co Ltd 体腔内観察装置
JP2007151862A (ja) * 2005-12-06 2007-06-21 Olympus Corp 内視鏡装置
JP2012220888A (ja) * 2011-04-13 2012-11-12 Nikon Corp 撮像装置
JP2014146970A (ja) * 2013-01-29 2014-08-14 Canon Inc 画像処理装置、その制御方法、および制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3295858A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018154661A1 (ja) * 2017-02-22 2018-08-30 オリンパス株式会社 内視鏡のための画像処理装置及び内視鏡システム
US20190374087A1 (en) * 2017-02-22 2019-12-12 Olympus Corporation Image processing apparatus for endoscope and endoscope system
US11045071B2 (en) 2017-02-22 2021-06-29 Olympus Corporation Image processing apparatus for endoscope and endoscope system

Also Published As

Publication number Publication date
EP3295858A4 (en) 2019-01-23
US20170367566A1 (en) 2017-12-28
EP3295858A1 (en) 2018-03-21
US10582840B2 (en) 2020-03-10
CN107249425B (zh) 2019-09-27
JPWO2016181781A1 (ja) 2017-09-14
CN107249425A (zh) 2017-10-13
JP6169312B2 (ja) 2017-07-26

Similar Documents

Publication Publication Date Title
US20180098690A1 (en) Endoscope apparatus and method for operating endoscope apparatus
US10966592B2 (en) 3D endoscope apparatus and 3D video processing apparatus
JP5284731B2 (ja) 立体画像撮影表示システム
CN104185441B (zh) 立体视觉内窥镜系统
JP6654006B2 (ja) 医療用観察装置
JP6553130B2 (ja) ステレオビデオ内視鏡の光学系と、ステレオビデオ内視鏡とステレオビデオ内視鏡の光学系を操作するための方法
WO2011070845A1 (ja) 頭部装着型表示装置および頭部装着型表示システム
JP6169312B2 (ja) 内視鏡装置
JP5905130B2 (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP2001133696A (ja) 手術用顕微鏡装置
WO2020008672A1 (ja) 内視鏡システム
JP6153675B2 (ja) 立体内視鏡装置
JP5802869B1 (ja) 外科用デバイス
JP2014064657A (ja) 立体内視鏡装置
KR20120073887A (ko) 이미지 처리 장치 및 그 이미지 처리 방법
JP2003334160A (ja) 立体視内視鏡システム
JP2013183313A (ja) レンズ汚れを検知する方法と、この方法を用いた手術用カメラ
JP6502785B2 (ja) 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム
JP2005261557A (ja) 視野方向可変型内視鏡および内視鏡システム
JP6694964B2 (ja) 内視鏡装置
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
JP5945614B2 (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP7375022B2 (ja) 画像処理装置の作動方法、制御装置、および内視鏡システム
WO2021176717A1 (ja) 内視鏡装置、内視鏡画像用プロセッサ、内視鏡画像の生成方法
JP2004233480A (ja) 立体内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16792506

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017517851

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016792506

Country of ref document: EP