Nothing Special   »   [go: up one dir, main page]

JPWO2017145270A1 - 画像処理装置、画像処理方法および内視鏡 - Google Patents

画像処理装置、画像処理方法および内視鏡 Download PDF

Info

Publication number
JPWO2017145270A1
JPWO2017145270A1 JP2018501454A JP2018501454A JPWO2017145270A1 JP WO2017145270 A1 JPWO2017145270 A1 JP WO2017145270A1 JP 2018501454 A JP2018501454 A JP 2018501454A JP 2018501454 A JP2018501454 A JP 2018501454A JP WO2017145270 A1 JPWO2017145270 A1 JP WO2017145270A1
Authority
JP
Japan
Prior art keywords
image
optical system
central axis
images
longitudinal direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018501454A
Other languages
English (en)
Other versions
JP6646133B2 (ja
Inventor
福島　郁俊
郁俊 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2017145270A1 publication Critical patent/JPWO2017145270A1/ja
Application granted granted Critical
Publication of JP6646133B2 publication Critical patent/JP6646133B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00179—Optical arrangements characterised by the viewing angles for off-axis viewing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/001—Axicons, waxicons, reflaxicons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112—Connection or coupling means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

細長い管状部材の内面に配置された被写体の高さ情報を簡易に求めることを目的として、本発明に係る画像処理装置（８）は、管状の被観察部材の内部に長手方向に沿って、中心軸に対して少なくとも９０°方向の視野を有する光学系を挿入して、長手方向に沿う異なる位置で被観察部材の内周面を撮影することにより取得された２枚の画像が入力され、入力された各画像に光学系の中心軸を設定して、設定された中心軸を用いて画像をそれぞれ極座標変換する画像変換部（１１）と、極座標変換された２枚の変換後画像の対応点を検出する対応点検出部（１２）と、２枚の画像の撮影位置の長手方向に沿う距離と、対応点検出部（１２）により検出された２枚の変換後画像の対応点とに基づいて、被観察部材の内周面の光学系の中心軸からの距離を算出する距離算出部（１３）とを備える。

Description

本発明は、画像処理装置、画像処理方法および内視鏡に関するものである。
内視鏡を用いた観察において、ステレオ光学系によって視差画像を取得し、取得された視差画像から被写体の高さ情報を取得する方法が知られている（例えば、特許文献１参照。）。
特許第５０７３５６４号公報
特許文献１の内視鏡は、挿入部の先端面に配置した２つのレンズによって２つの視差画像を同時に取得するものであるが、被写体が、消化管等の細長い管状臓器の内面に配置されている場合に、挿入部の先端面を被写体に向けることが困難である。
本発明は、上述した事情に鑑みてなされたものであって、細長い管状部材の内面に配置された被写体の高さ情報を簡易に求めることができる画像処理装置、画像処理方法および内視鏡を提供することを目的としている。
本発明の一態様は、管状の被観察部材の内部に長手方向に沿って、中心軸に対して少なくとも９０°方向の視野を有する光学系を挿入して、前記長手方向に沿う異なる位置で前記被観察部材の内周面を撮影することにより取得された２枚の画像が入力され、入力された各前記画像に前記光学系の前記中心軸を設定して、設定された前記中心軸を用いて前記画像をそれぞれ極座標変換する画像変換部と、該画像変換部により極座標変換された２枚の変換後画像の対応点を検出する対応点検出部と、２枚の前記画像の撮影位置の前記長手方向に沿う距離と、前記対応点検出部により検出された２枚の前記変換後画像の対応点とに基づいて、前記被観察部材の前記内周面の前記光学系の中心軸からの距離を算出する距離算出部とを備える画像処理装置である。
本態様によれば、管状の被観察部材の内部に光学系を挿入して、長手方向の異なる２箇所で撮影を行うことにより取得された被観察部材の内周面の２枚の画像と、２枚の画像の撮影位置間の距離とが入力され、画像変換部において、入力された各画像に光学系の中心軸が設定されて、該中心軸を用いた極座標変換が行われる。そして、対応点検出部において２枚の変換後画像の対応点が検出され、距離算出部において、検出された対応点と入力された撮影位置間の距離とに基づいて被観察部材の内周面の光学系の中心軸からの距離が算出される。
中心軸に対して少なくとも９０°方向の視野を有する光学系により、いわゆる側視によって取得された管状の被観察部材の周方向に沿う画像を用いて光学系の中心軸からの内周面までの距離が算出されるので、細長い管状の被観察部材の内面に配置された被写体の高さ情報を簡易に求めることができる。
上記態様においては、前記画像変換部が、取得された各前記画像を処理して前記光学系の前記中心軸を設定してもよい。
このようにすることで、２枚の画像が画像変換部に入力されるだけで、各画像が処理されて光学系の中心軸が設定され、設定された中心軸を用いて極座標変換が行われる。
また、上記態様においては、前記画像変換部が、取得された各前記画像を複数の領域に分割し、分割された各領域について前記光学系の前記中心軸を設定して極座標変換を行ってもよい。
このようにすることで、管状の被観察部材の長手方向に対して光学系の中心軸が傾いている場合においても、画像の各部についての光学系の中心軸が異なるため、分割された各領域毎に中心軸を設定することによって、画像全体に設定される光学系の中心軸を管状部材の長手方向に擬似的に一致させることができる。これにより、２つの画像間の対応点検出を精度よく実施して中心軸からの距離を精度よく算出することができる。
また、本発明の他の態様は、管状の被観察部材の内部に長手方向に沿って、中心軸に対して少なくとも９０°方向の視野を有する光学系を挿入して、前記長手方向に沿う異なる位置で前記被観察部材の内周面を撮影することにより取得された２枚の画像が入力され、入力された前記画像に前記光学系の前記中心軸を設定して、設定された前記中心軸を用いて前記画像をそれぞれ極座標変換する画像変換ステップと、該画像変換ステップにより極座標変換された２枚の変換後画像の対応点を検出する対応点検出ステップと、２枚の前記画像の撮影位置の前記長手方向に沿う距離と、前記対応点検出ステップにより検出された２枚の前記変換後画像の対応点とに基づいて、前記被観察部材の前記内周面の前記光学系の中心軸からの距離を算出する距離算出ステップとを含む画像処理方法である。
上記態様においては、前記画像変換ステップが、取得された各前記画像を処理して前記光学系の前記中心軸を設定する中心軸設定ステップを含んでいてもよい。
また、上記態様においては、前記中心軸設定ステップが、取得された各前記画像を複数の領域に分割し、分割された各領域について前記光学系の中心軸を設定してもよい。
また、本発明の他の態様は、管状の被観察部材の内部に長手方向に沿って挿入され、中心軸に対して少なくとも９０°方向の視野を有する光学系を有する撮像部と、該撮像部の前記光学系が前記長手方向に沿って移動した距離を設定する距離設定部と、前記光学系を前記長手方向に沿う異なる位置に移動して前記撮像部により前記被観察部材の内周面を撮影することにより取得された２枚の画像を処理する上記いずれかの態様の画像処理装置とを備える内視鏡である。
上記態様においては、前記撮像部の前記光学系が、前記中心軸に対して、片側に９０°より大きい視野を有していてもよい。
また、上記態様においては、前記光学系の移動量を検出するセンサを備えていてもよい。
本発明によれば、細長い管状部材の内面に配置された被写体の高さ情報を簡易に求めることができるという効果を奏する。
本発明の一実施形態に係る内視鏡を示すブロック図である。 図１の内視鏡に備えられる本発明の一実施形態に係る画像処理装置を示すブロック図である。 図１の内視鏡の挿入部の先端に設けられた観察光学系と管状の被観察部材との関係を示す縦断面図である。 図３Ａの挿入部を被観察部材の長手軸方向に前進させた状態を示す縦断面図である。 図３Ａの内視鏡により取得された被観察部材の画像例を示す図である。 図３Ｂの内視鏡により取得された被観察部材の画像例を示す図である。 図３Ｂにより取得された画像図４Ｂを複数の領域に分割し、検出された重心位置を領域毎に示す図である。 図５において検出された重心位置を領域毎に整理したデータを示す図である。 図４Ａの画像を極座標変換した画像例を示す図である。 図４Ｂの画像を極座標変換した画像例を示す図である。 図７Ａ，７Ｂの画像から算出された高さ情報を示す図である。 図２の画像処理装置による画像処理方法を説明するフローチャートである。 図１の内視鏡の変形例であって、円錐ミラーを有する観察光学系と管状の被観察部材との関係を示す縦断面図である。 図１０Ａの挿入部を被観察部材の長手軸方向に前進させた状態を示す縦断面図である。 図１０Ａの内視鏡により取得された被観察部材の画像例を示す図である。 図１０Ｂの内視鏡により取得された被観察部材の画像例を示す図である。 図１１Ａの画像を極座標変換した画像例を示す図である。 図１１Ｂの画像を極座標変換した画像例を示す図である。 図１２Ａ，１２Ｂの画像から算出された高さ情報を示す図である。
本発明の一実施形態に係る内視鏡１および画像処理装置８について、図面を参照して以下に説明する。
本実施形態に係る内視鏡１は、図１に示されるように、消化管等の臓器のような管状の被観察部材Ａ内に挿入される細長い挿入部（撮像部）２と、該挿入部２の基端に接続された装置本体３とを備えている。
挿入部２の先端には挿入部２の長手方向の中心軸に一致する中心軸Ｏを有する観察光学系（光学系）４と、該観察光学系４により集光された光を撮影する、例えば、ＣＭＯＳセンサのような撮像素子５とが配置されている。観察光学系４は、例えば、図３Ａに示されるように、片側に９０°より大きい画角、例えば、約１０５°の画角を全周にわたって有する魚眼タイプのレンズ６を備えている。
また、挿入部２の基端側には、図１に示されるように、該挿入部２の長手軸方の移動量（距離）を検出する挿入検出部（距離設定部）７が備えられている。挿入検出部７は、例えば、挿入部２の外面に表示された目盛を撮影するカメラを備え、取得された目盛の画像を画像処理することによって、挿入部２の挿入方向位置を検出する方式のものである。これに代えて、距離設定部７としては、操作者が目盛を読み取って入力する入力装置であってもよい。
装置本体３は、撮像素子５および挿入検出部７からの信号を処理する本実施形態に係る画像処理装置８と、該画像処理装置８により処理された後の画像を表示する表示部９とを備えている。
本実施形態に係る画像処理装置８は、図２に示されるように、撮像素子５により取得された画像を画像処理して、該画像内における観察光学系４の中心軸Ｏの位置を検出する中心検出部１０と、該中心検出部１０により検出された観察光学系４の中心軸Ｏに基づいて画像を極座標変換する画像変換部１１と、画像変換部１１により極座標変換された２枚の画像の対応点を検出する対応点検出部１２と、該対応点検出部１２により検出された対応点および挿入検出部７により検出された２枚の画像の撮影時点での挿入部２の長手方向位置の距離とに基づいて、対応点の中心軸からの距離を算出する高さ情報算出部（距離算出部）１３とを備えている。
中心検出部１０は、撮像素子５により取得された図４Bに示されるような画像全体において、輝度値の分布に基づいて、図４Bに示される画像を、図５に示されるように、複数の領域Ａ１からＡ４に分割し、分割された領域毎に、記号「＋」で示されるように、輝度値の重心の位置を算出し、図６に示されるように、データベースとして記憶するようになっている。
中心検出部１０により算出された重心位置は、領域毎に、観察光学系４の中心軸Ｏが配置されている位置を示している。
したがって、算出された重心位置は、図５Ｂに示されるように、ほぼ一直線上に配列されるものである。このため、中心検出部１０は、当該直線から閾値以上離れている重心位置についてはエラーとして除外するようになっている。
画像変換部１１は、中心検出部１０により算出された領域毎の重心位置（ｘｃｉ、ｙｃｉ）を用いて、下式に従い極座標変換を行うようになっている。
Ｒ＝√（（ｘ−ｘｃｉ）２＋（ｙ−ｙｃｉ）２）
θ＝ｔａｎ−１（（ｘ−ｘｃｉ）／（ｙ−ｙｃｉ））
ここで、Ｒは観察光学系４の中心軸Ｏからの径方向の距離、θは、観察光学系４の中心軸Ｏ回りの角度である。
これにより、図７Ａ，７Ｂに示されるように極座標変換された画像が生成されるようになっている。
中心検出部１０による重心位置の検出および画像変換部１１による極座標変換は、図３Ａ，３Ｂに示されるように、挿入部２の長手方向の位置を異ならせた２箇所において撮像素子５により取得された、図４Ａ，４Ｂに示される２枚の画像についてそれぞれ実施されるようになっている。
そして、画像変換部１１から極座標変換された変換後の２枚の画像が対応点検出部１２に送られることにより、対応点検出部１２において、ＳＳＤ法等の一般的なテンプレートマッチング処理により、２枚の画像間における対応点が検出されるようになっている。
また、対応点検出部１２において検出された対応点間の画素数差と、挿入検出部７により検出された２枚の画像の撮影位置間の挿入部２の移動量とが高さ情報算出部１３に入力され、対応点間の画素数差と挿入部２の移動量とに基づいて、中心検出部１０において検出された観察光学系４の中心軸Ｏからの距離が三角測量法によって算出されるようになっている。
そして、高さ情報算出部１３により算出された中心軸Ｏからの距離（高さ情報）を、例えば、図８に示されるように、最後に取得された画像の対応点位置に表示した画像を生成し、表示部９に出力するようになっている。高さ情報の画像表示については、例えば、距離の大きさに応じて色を異ならせることが挙げられる。
このように構成された本実施形態に係る画像処理装置８を用いた画像処理方法について以下に説明する。
本実施形態に係る画像処理装置８を用いて、画像中に存在する各部位の高さ情報を検出するには、管状の被観察部材Ａ内に挿入部２を挿入し、高さ情報を検出したい位置近傍において、挿入部２の長手方向位置を異ならせて２枚の画像を取得する。
取得された２枚の画像と挿入部２の移動量とが画像処理装置８に入力されると、１枚目の画像について、輝度値分布によって領域分割が行われ（ステップＳ１）、分割された各領域について中心検出部１０により観察光学系４の中心軸Ｏの検出が行われた後（中心軸設定ステップＳ２）、検出された中心軸Ｏを用いて極座標変換が領域毎に行われ（ステップＳ３）、変換後の領域毎の画像が合成されて、変換後画像が生成される（画像変換ステップＳ４）。次いで、２枚目の画像の処理が終了したか否かが判断され（ステップＳ５）、終了していない場合には、２枚目の画像についてステップＳ１からの工程が繰り返される。
そして、２枚分の画像の変換後画像が生成された後には、生成された変換後画像どうしの対応点の検出が行われ（対応点検出ステップＳ６）、検出された対応点間の画素数差が算出される（ステップＳ７）。算出された画素数差および挿入検出部７から入力された移動量に基づいて公知の三角測量法により、検出された各対応点における観察光学系４の中心軸Ｏからの距離が算出される（距離算出ステップＳ８）。
この場合において、本実施形態に係る内視鏡１によれば、挿入部２の先端面を管状の被観察部材Ａの内面に向けることなく、挿入部２を被観察部材Ａの長手軸方向に配置したままの状態で、被観察部材Ａ内面の各部位Ｂの高さ情報を簡易に取得することができるという利点がある。
また、本実施形態に係る画像処理装置８および画像処理方法によれば、中心軸から片側９０°より大きな画角を有する観察光学系４により取得された画像に基づいて、管状の被観察部材Ａ内面の各部位Ｂの高さ情報を簡易に取得することができるという利点がある。
また、本実施形態に係る内視鏡１、画像処理装置８および画像処理方法によれば、取得された画像を領域に分割して各領域について観察光学系４の中心軸Ｏの位置を検出し、検出された中心軸Ｏを用いて領域毎に極座標変換している。これにより、図３Ａ，３Ｂに示されるように、観察光学系４の中心軸Ｏが管状の被観察部材Ａの長手軸に対して傾斜している場合においても、擬似的に傾斜角度をゼロに設定して、極座標変換の精度を向上することができるという利点がある。
なお、本実施形態においては、輝度値によって中心軸を取り囲む複数の環状の領域に分割することとしたが、これに代えて、他の任意の方法によって分割することにしてもよい。
また、本実施形態においては、観察光学系４が中心軸Ｏから片側１０５°の画角を有することとしたが、これに代えて、９０°より大きい任意の角度の画角を有していてもよい。
また、本実施形態においては、観察光学系４が、中心軸Ｏから片側１０５°の画角を有する魚眼タイプのレンズ６を有する場合について説明したが、これに代えて、図１０Ａ，１０Ｂに示されるように、円錐状のミラー１４を備えるものを採用してもよい。このようにすることで、中心軸Ｏに対して７０°から１１０°の範囲に配置される被観察部材Ａの内面を全周にわたって観察し、図１１Ａ，図１１Ｂに示されるような画像を取得することができる。
この場合においても、取得された２枚の画像について、それぞれ観察光学系４の中心軸Ｏの検出および極座標変換を行い、図１２Ａ，１２Ｂに示されるような変換後画像について対応点を検出した後に、検出された対応点について高さ情報を算出することにより、図１３に示されるように、管状の被観察部材Ａ内面の各部位Ｂの高さ情報を簡易に取得することができる。
また、これに代えて、特許第５０２５３５４号公報に示されるように、側方からの光を内部で２回反射して撮像素子の方向に指向させる方式の対物レンズを有する観察光学系を採用してもよい。
また、挿入部２の移動量をカメラによって取得した画像を処理して検出することとしたが、これに代えて、ＧＰＳセンサのような位置センサによって検出してもよい。
１ 内視鏡
２ 挿入部（撮像部）
４ 観察光学系（光学系）
７ 挿入検出部（距離設定部）
８ 画像処理装置
１１ 画像変換部
１２ 対応点検出部
１３ 高さ情報算出部（距離算出部）
Ｓ２ 中心軸設定ステップ
Ｓ４ 画像変換ステップ
Ｓ６ 対応点検出ステップ
Ｓ８ 距離算出ステップ
Ａ 被観察部材
Ｏ 中心軸

Claims (9)

  1. 管状の被観察部材の内部に長手方向に沿って、中心軸に対して少なくとも９０°方向の視野を有する光学系を挿入して、前記長手方向に沿う異なる位置で前記被観察部材の内周面を撮影することにより取得された２枚の画像が入力され、入力された各前記画像に前記光学系の前記中心軸を設定して、設定された前記中心軸を用いて前記画像をそれぞれ極座標変換する画像変換部と、
    該画像変換部により極座標変換された２枚の変換後画像の対応点を検出する対応点検出部と、
    ２枚の前記画像の撮影位置の前記長手方向に沿う距離と、前記対応点検出部により検出された２枚の前記変換後画像の対応点とに基づいて、前記被観察部材の前記内周面の前記光学系の中心軸からの距離を算出する距離算出部とを備える画像処理装置。
  2. 前記画像変換部が、取得された各前記画像を処理して前記光学系の前記中心軸を設定する請求項１に記載の画像処理装置。
  3. 前記画像変換部が、取得された各前記画像を複数の領域に分割し、分割された各領域について前記光学系の前記中心軸を設定して極座標変換を行う請求項１に記載の画像処理装置。
  4. 管状の被観察部材の内部に長手方向に沿って、中心軸に対して少なくとも９０°方向の視野を有する光学系を挿入して、前記長手方向に沿う異なる位置で前記被観察部材の内周面を撮影することにより取得された２枚の画像が入力され、入力された前記画像に前記光学系の前記中心軸を設定して、設定された前記中心軸を用いて前記画像をそれぞれ極座標変換する画像変換ステップと、
    該画像変換ステップにより極座標変換された２枚の変換後画像の対応点を検出する対応点検出ステップと、
    ２枚の前記画像の撮影位置の前記長手方向に沿う距離と、前記対応点検出ステップにより検出された２枚の前記変換後画像の対応点とに基づいて、前記被観察部材の前記内周面の前記光学系の中心軸からの距離を算出する距離算出ステップとを含む画像処理方法。
  5. 前記画像変換ステップが、取得された各前記画像を処理して前記光学系の前記中心軸を設定する中心軸設定ステップを含む請求項４に記載の画像処理方法。
  6. 前記中心軸設定ステップが、取得された各前記画像を複数の領域に分割し、分割された各領域について前記光学系の中心軸を設定する請求項５に記載の画像処理方法。
  7. 管状の被観察部材の内部に長手方向に沿って挿入され、中心軸に対して少なくとも９０°方向の視野を有する光学系を有する撮像部と、
    該撮像部の前記光学系が前記長手方向に沿って移動した距離を設定する距離設定部と、
    前記光学系を前記長手方向に沿う異なる位置に移動して前記撮像部により前記被観察部材の内周面を撮影することにより取得された２枚の画像を処理する請求項１から請求項３のいずれかに記載の画像処理装置とを備える内視鏡。
  8. 前記撮像部の前記光学系が、前記中心軸に対して、片側に９０°より大きい視野を有する請求項７に記載の内視鏡。
  9. 前記光学系の移動量を検出するセンサを備える請求項７または請求項８に記載の内視鏡。
JP2018501454A 2016-02-23 2016-02-23 画像処理装置および内視鏡 Expired - Fee Related JP6646133B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/055303 WO2017145270A1 (ja) 2016-02-23 2016-02-23 画像処理装置、画像処理方法および内視鏡

Publications (2)

Publication Number Publication Date
JPWO2017145270A1 true JPWO2017145270A1 (ja) 2018-12-20
JP6646133B2 JP6646133B2 (ja) 2020-02-14

Family

ID=59686009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018501454A Expired - Fee Related JP6646133B2 (ja) 2016-02-23 2016-02-23 画像処理装置および内視鏡

Country Status (3)

Country Link
US (1) US10912444B2 (ja)
JP (1) JP6646133B2 (ja)
WO (1) WO2017145270A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9568431B2 (en) 2012-04-16 2017-02-14 Access Medical Systems, Ltd. Luminescent immunoassays for quantitating analytes having a wide concentration range
EP4144284A4 (en) * 2020-04-28 2024-05-15 Hoya Corporation ENDOSCOPE SYSTEM

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0380824A (ja) * 1989-08-22 1991-04-05 Olympus Optical Co Ltd 測定内視鏡装置
JPH05340721A (ja) * 1992-04-06 1993-12-21 Olympus Optical Co Ltd ３次元計測方法及び３次元計測装置
WO2012132638A1 (ja) * 2011-03-30 2012-10-04 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP5073564B2 (ja) * 2008-04-15 2012-11-14 オリンパス株式会社 計測用内視鏡装置およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149674A1 (ja) * 2007-06-05 2008-12-11 Olympus Corporation 画像処理装置、画像処理プログラムおよび画像処理方法
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5393554B2 (ja) * 2010-03-23 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP6010895B2 (ja) * 2011-11-14 2016-10-19 ソニー株式会社 撮像装置
JP6348130B2 (ja) * 2013-03-11 2018-06-27 アンスティテュ・オスピタロ−ユニベルシテール・ドゥ・シルルジー・ミニ−アンバシブ・ギデ・パル・リマージュ デュアルデータ同期を用いた解剖学的部位の位置の再特定
JP6461739B2 (ja) * 2015-07-28 2019-01-30 富士フイルム株式会社 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0380824A (ja) * 1989-08-22 1991-04-05 Olympus Optical Co Ltd 測定内視鏡装置
JPH05340721A (ja) * 1992-04-06 1993-12-21 Olympus Optical Co Ltd ３次元計測方法及び３次元計測装置
JP5073564B2 (ja) * 2008-04-15 2012-11-14 オリンパス株式会社 計測用内視鏡装置およびプログラム
WO2012132638A1 (ja) * 2011-03-30 2012-10-04 オリンパスメディカルシステムズ株式会社 内視鏡システム

Also Published As

Publication number Publication date
WO2017145270A1 (ja) 2017-08-31
JP6646133B2 (ja) 2020-02-14
US20180353053A1 (en) 2018-12-13
US10912444B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
JP5911934B2 (ja) 輪郭線計測装置およびロボットシステム
US10776937B2 (en) Image processing apparatus and image processing method for setting measuring point to calculate three-dimensional coordinates of subject image with high reliability
JP6460700B2 (ja) トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム
JP5863374B2 (ja) 画像処理方法
JP6664436B2 (ja) ３次元画像処理装置及び方法
JP2011069965A (ja) 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
JP2017208606A5 (ja)
US8764635B2 (en) Endoscope apparatus
JP6577031B2 (ja) 内視鏡装置
JP5278878B2 (ja) 管内面形状測定装置
JP6614954B2 (ja) ひび割れ幅計測装置
US12089803B2 (en) Image processing device, control method and storage medium
JP6646133B2 (ja) 画像処理装置および内視鏡
JP2019045249A (ja) 計測装置および計測装置の作動方法
JP2019150574A (ja) ３次元形状データ作成方法、及び３次元形状データ作成システム
JP2008130264A (ja) ロンチグラム中心の決定方法
JP2008241609A (ja) 距離計測システム及び距離計測方法
WO2016157349A1 (ja) 形状計測方法およびその装置
JP2014154981A5 (ja) 画像処理装置、画像処理方法、撮像装置及びその制御方法
JPWO2017158896A1 (ja) 画像処理装置、画像処理システム、画像処理装置の作動方法
US20230070281A1 (en) Methods and systems of generating camera models for camera calibration
JP2011033428A (ja) パンタグラフ高さ測定装置
JP2009199089A (ja) 内視鏡装置
KR20170001448A (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
JP2004254960A (ja) 視線方向検出装置および視線方向検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200109

R151 Written notification of patent or utility model registration

Ref document number: 6646133

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

LAPS Cancellation because of no payment of annual fees
R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350