Nothing Special   »   [go: up one dir, main page]

JP6017198B2 - 内視鏡装置およびプログラム - Google Patents

内視鏡装置およびプログラム Download PDF

Info

Publication number
JP6017198B2
JP6017198B2 JP2012145583A JP2012145583A JP6017198B2 JP 6017198 B2 JP6017198 B2 JP 6017198B2 JP 2012145583 A JP2012145583 A JP 2012145583A JP 2012145583 A JP2012145583 A JP 2012145583A JP 6017198 B2 JP6017198 B2 JP 6017198B2
Authority
JP
Japan
Prior art keywords
image
measurement
subject
images
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012145583A
Other languages
English (en)
Other versions
JP2014010235A (ja
Inventor
横田 政義
政義 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012145583A priority Critical patent/JP6017198B2/ja
Priority to CN201210428863.XA priority patent/CN103512492B/zh
Priority to US13/747,821 priority patent/US9392230B2/en
Publication of JP2014010235A publication Critical patent/JP2014010235A/ja
Application granted granted Critical
Publication of JP6017198B2 publication Critical patent/JP6017198B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、計測機能を有する内視鏡装置に関する。また、本発明は、内視鏡装置における計測機能をコンピュータ上で実現するためのプログラムにも関する。
ボイラー、タービン、エンジン、化学プラントなどの検査において、内部の傷や腐食を観察するのに工業用内視鏡が広く用いられている。工業用内視鏡では、多様な観察物を観察および検査することを可能にするため、複数種類の光学アダプタが用意されており、内視鏡の先端部分は交換可能となっている。
上記の光学アダプタの1つとして、異なる視点に対応する左右の2つの被写体像を形成するための2つの光学系を有するステレオ計測用光学アダプタがある。特許文献1には、ステレオ計測用光学アダプタを使用し、三角測量の原理を利用したステレオ計測により3次元計測を実現した内視鏡装置が記載されている。
特許文献1の内視鏡装置では、2つの光学系によって形成された、視差を有する左右の被写体像を含む画像が表示されている。このため、ユーザが左右の被写体像の間で視線を頻繁に移動させることにより、視認性が低下し、ユーザが煩わしさを感じていた。
特許文献2,3には、計測で用いる複数の被写体像を含む画像を表示することによる視認性の低下を防ぐため、複数の被写体像のうちの一部のみを含む画像を表示する内視鏡装置が記載されている。より具体的には、特許文献2では、2つの光学系によって形成された2つの被写体像を同時に撮像した画像から、一方の被写体像のみを含む画像が抽出され、その画像が拡大されて表示され、その状態で計測が行われる。特許文献3では、2つの光学系によって形成された2つの被写体像が時系列的に撮像され、一方の被写体像のみを含む画像が表示され、その状態で計測が行われる。
上記のように複数の被写体像のうちの一部のみを含む画像を表示する場合、視認性は低下しない。しかし、計測で用いる画像の一部のみが表示されるので、計測で用いる残りの画像がユーザによって確認されないまま計測が行われる。計測では、例えば計測対象の部位が捉えられていない画像や明るさが適切でない画像を用いると計測精度が低下するため、計測で用いるそれぞれの被写体像を含む画像をユーザが計測前に確認することが重要である。ところが、特許文献2,3では、計測で用いる画像の一部がユーザによって確認されないまま計測が行われるので、計測結果の妥当性(信頼性)が低下する。
特許文献4には、ユーザによる計測結果の妥当性の確認を可能とする内視鏡装置が記載されている。特許文献4では、計測機能が起動されると、2つの光学系によって形成された2つの被写体像のうちの一方のみを含む画像が表示される(特許文献4の図7)。この画像が表示されている状態で、画像上の計測位置を示す計測点がユーザによって入力されると、計測(特許文献4の図10のST115における画像のマッチング度の算出)が行われる。計測結果の妥当性が低い場合、表示される画像が切り替わり、2つの被写体像を含む画像が表示される(特許文献4の図12)。このように、計測結果の妥当性が低い場合に、2つの被写体像を含む画像が自動的に表示されるので、ユーザは2つの被写体像を比較しながら計測結果の妥当性を確認することができる。
また、特許文献4では、上記のように計測が行われて計測結果(特許文献4における画像のマッチング度)が表示された後、表示される画像の切替の指示をユーザが入力することにより、2つの光学系によって形成された2つの被写体像のうちの一方のみを含む画像と両方を含む画像とを切り替えることも可能である(特許文献4の段落0081,0082)。このように、表示される画像をユーザが自分の意思で切り替えることが可能なので、ユーザは、計測結果に不安を抱いたときに、表示される画像を切り替えて画像を確認しながら計測結果の妥当性を確認することができる。
特開2005−348870号公報 特開2009−198787号公報 特開2010−128354号公報 特許第4409625号公報
上記のように特許文献4では、計測結果の妥当性が低い場合、表示される画像が自動的に切り替わり、2つの被写体像を含む画像が表示される。このため、ユーザは2つの被写体像を比較しながら計測結果の妥当性を確認することができる。しかし、ユーザが画像を確認したいと思ったタイミングで画像が切り替わるとは限らないので、ユーザは計測結果の妥当性に対して不安を感じることがあった。
これに対して、上記のように特許文献4では、ユーザが自分の意思で画像を切り替えることが可能であるため、ユーザは、計測結果に不安を抱いたときに、表示される画像を切り替えて画像を確認しながら計測結果の妥当性を確認することもできる。しかし、ユーザのスキルによって、画像の確認が行われたり行われなかったりすることが考えられる。また、画像の確認が行われるタイミングは、一旦計測点が指定されて計測が行われた後である。上記により、計測に用いる全ての画像が計測に適しているか否かをユーザが確認しなかったり、画像が計測に適していないとユーザが判断するタイミングが遅くなってしまったりする恐れがある。したがって、計測結果の妥当性や検査効率が低下していた。
本発明は、上述した課題に鑑みてなされたものであって、検査効率を向上させることができる内視鏡装置およびプログラムを提供することを目的とする。
本発明は、上記の課題を解決するためになされたもので、1つ以上の被写体像を含む画像を生成する画像生成部と、前記画像を表示する表示部と、前記画像に基づく被写体の大きさの計測を制御する制御部と、を備え、前記制御部は、1つの被写体像を含む動画像を前記表示部に表示させる第1の処理と、前記第1の処理の後、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てを静止画像として前記表示部に表示させる第2の処理と、前記第2の処理の後、ユーザの第1の指示に基づいて、前記第1の処理に戻す第3の処理と、前記第の処理の後、ユーザの第2の指示が入力された場合、ユーザの計測点指示に基づいて計測点を指定し、前記複数の被写体像の全てに基づく画像、または前記1つの被写体像に基づく複数の画像の全てに基づいて、指定された計測点における被写体の大きさを計測する第の処理と、を実行することを特徴とする内視鏡装置である。
また、本発明の内視鏡装置において、前記制御部は、前記第2の処理において、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てをそれぞれ時系列的に静止画像として前記表示部に表示させることを特徴とする。
また、本発明の内視鏡装置において、前記制御部は、前記第2の処理において、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てを同時に静止画像として前記表示部に表示させることを特徴とする。
また、本発明の内視鏡装置において、前記制御部は、前記第2の処理において、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てをそれぞれ時系列的に静止画像として前記表示部に表示させ、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てを同時に静止画像として前記表示部に表示させることを特徴とする。
また、本発明の内視鏡装置において、前記制御部は、前記第2の処理において、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てに対して画像処理を施した画像を静止画像として前記表示部に表示させることを特徴とする。
また、本発明の内視鏡装置は、前記画像処理を行うか否かを切り替えることが可能である。
また、本発明は、コンピュータに、内視鏡装置で撮影された1つの被写体像を含む動画像を表示部に表示させる第1のステップと、前記第1のステップの後、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てを静止画像として前記表示部に表示させる第2のステップと、前記第2のステップの後、ユーザの第1の指示に基づいて、前記第1のステップに戻す第3のステップと、前記第のステップの後、ユーザの第2の指示が入力された場合、ユーザの計測点指示に基づいて計測点を指定し、前記複数の被写体像の全てに基づく画像、または前記1つの被写体像に基づく複数の画像の全てに基づいて、指定された計測点における被写体の大きさを計測する第のステップと、を実行させるためのプログラムである。
本発明によれば、検査効率を向上させることができる。
本発明の第1の実施形態による内視鏡装置の斜視図である。 本発明の第1の実施形態による内視鏡装置の構成を示すブロック図である。 本発明の第1の実施形態による内視鏡装置の機能構成を示すブロック図である。 本発明の第1の実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態における画像を示す参考図である。 本発明の第1の実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態における画像を示す参考図である。 本発明の第2の実施形態による内視鏡装置の内視鏡挿入部の先端に装着される光学アダプタの構成を示すブロック図である。 本発明の第2の実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の第2の実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の第2の実施形態における画像を示す参考図である。 本発明の第2の実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の第2の実施形態における画像を示す参考図である。 本発明の第3の実施形態による内視鏡装置の動作の手順を示すフローチャートである。 本発明の第3の実施形態における画像確認時の画面を示す参考図である。
以下、図面を参照し、本発明の実施形態を説明する。
(第1の実施形態)
まず、本発明の第1の実施形態を説明する。図1は、本実施形態による内視鏡装置の外観を示している。図2は、本実施形態による内視鏡装置の機能構成を示している。図3は、本実施形態による内視鏡装置が備えるコントロールユニットの機能構成を示している。
本実施形態の内視鏡装置1は、検査対象となる被写体である被検体を撮像し、その画像を用いて計測を行うため、内視鏡挿入部の先端の光学アダプタを交換したり、内蔵された計測用プログラムを適宜選択したり、計測用プログラムを適宜追加することにより、種々の観察や計測を行うことが可能である。以下では、計測の一例としてステレオ計測を行う場合について説明する。
図1および図2に示すように、内視鏡装置1は、ステレオ計測用光学アダプタ2、内視鏡挿入部3、内視鏡ユニット7、CCU9(カメラコントロールユニット)、液晶モニタ6(表示部)、リモートコントローラ5、およびコントロールユニット4からなる。ステレオ計測用光学アダプタ2は、視差を有する画像を取得するために所定距離だけ離間して配置された対物レンズ2A,2Bが略円筒状のアダプタ本体2a内に配置された構造を有し、例えば、雌ねじなどが形成されたマウント部2bにより、内視鏡挿入部3の先端に着脱可能に装着される。
対物レンズ2A,2Bの位置は、ステレオ計測用光学アダプタ2の軸方向に視野を有する直視タイプと、ステレオ計測用光学アダプタ2の側面方向に視野を有する側視タイプとで異なるが、本実施形態では直視タイプとして図示している。このため、対物レンズ2A,2Bは、光軸をステレオ計測用光学アダプタ2の軸方向に向けた状態で、先端面に設けられた開口部の近傍に配置されている。また、ステレオ計測用光学アダプタ2の先端面には、アダプタ本体2a内に導かれた照明光を被検体に向けて出射する照明窓2cが設けられている。
内視鏡挿入部3は、被検体の内部に挿入された状態で計測対象の部位を撮像し、撮像信号をコントロールユニット4に出力する。湾曲可能な内視鏡挿入部3の先端部には、ステレオ計測用光学アダプタ2などの複数の光学アダプタに共通のマウント部が設けられ、各光学アダプタが交換可能に装着されるようになっている。特に図示しないが、先端部の内部には、光学アダプタの複数の対物レンズによって結像される像を撮像する、例えばCCDなどの撮像素子が配置されるとともに、照明光を被検体に照射するライトガイドが設けられている。
内視鏡挿入部3は、先端部から基端部にわたって湾曲可能な細長い管状に形成されている。内視鏡挿入部3の内部には、撮像素子の信号線、ライトガイド本体、および先端部の湾曲を操作するためのワイヤ機構などが配置されている(いずれも不図示)。内視鏡挿入部3にステレオ計測用光学アダプタ2が装着される場合には、撮像素子によって、視差を有する一対の画像(以下、視差画像と称する)が同時に取得され、内視鏡挿入部3内部の信号線により撮像信号がCCU9に伝送されるようになっている。
内視鏡ユニット7は、内視鏡挿入部3のライトガイドに導く照明光を発生する照明用光源、ワイヤ機構の電動湾曲駆動ユニット、および電動湾曲駆動ユニットを駆動する制御パラメータを記憶するためのEEPROM8などを備える装置であり、内視鏡挿入部3の基端部に接続された状態でコントロールユニット4に内蔵されている。
CCU9は、内視鏡挿入部3に設けられた撮像素子の撮像動作を制御すると共に、撮像素子で取得された撮像信号を、例えばNTSC信号などの画像信号に変換し、入力画像信号100(図3参照)としてコントロールユニット4に出力する。
液晶モニタ6は、コントロールユニット4から出力される表示用画像信号101a(図3参照)に基づいて、被検体の画像およびその他の情報を表示する。これらの画像、情報はそれぞれ必要に応じて単独に、または合成されて表示される。本実施形態のようにステレオ計測を行う場合には、表示用画像信号101aは視差画像の一方または両方を含む画像に対応する。
液晶モニタ6に表示されるその他の情報としては、例えば、後述するリモートコントローラ5などの操作部から入力される情報や、操作メニュー、操作用のグラフィカルユーザインタフェース(GUI)が挙げられる。また、計測時に用いるカーソルの画像や、計測結果などを含む計測用情報102(図3参照)が挙げられる。以下、操作に関連する情報を含む画像を操作画像と称する。
リモートコントローラ5は、ユーザが内視鏡装置1に各種の操作入力を行うための操作部であり、コントロールユニット4に接続されている。ユーザがリモートコントローラ5を介して行う操作入力としては、例えば、電源のオン/オフに関する操作、撮像動作に関する操作、照明に関する操作、内視鏡挿入部3の湾曲駆動の操作、計測に関する操作、液晶モニタ6に表示する画像に対する画像処理の選択操作、外部記憶媒体への画像の記録操作、外部記憶媒体に記録された画像の読み出し操作などがある。これらの操作は、適宜、ユーザインタフェースを介して行うことができるようになっている。
例えば、特に図示しないが、ジョイスティック、レバースイッチ、フリーズスイッチ、ストアースイッチ、および計測実行スイッチなどがリモートコントローラ5に設けられている。ユーザは、これらを介して、操作メニューの選択および入力を行ったり、直接的に指示を入力したり、液晶モニタ6に表示されたGUIを操作したりすることで、種々の操作入力が行えるようになっている。
コントロールユニット4は、撮像された画像の画像処理および計測処理を含む、内視鏡装置1の全体の制御を行う。本実施形態では、コントロールユニット4は、図2に示すように、CPU10、ROM11、RAM12、各種の入出力インタフェース、および画像処理回路16から構成される。
CPU10は、ROM11または外部記憶媒体44(図3参照)に記憶された制御用プログラムをRAM12にロードして実行し、後述する各機能の動作を行う。入出力インタフェースとしては、例えば、RS−232Cインタフェース15、PCカードインタフェース13、USBインタフェース14がある。
RS−232Cインタフェース15は、リモートコントローラ5、内視鏡ユニット7、CCU9との間で動作制御のための通信を行う。PCカードインタフェース13は、PCMCIAに準拠したPCカードを接続するために使用される。本実施形態では、主としてリムーバルな外部記憶媒体がPCカードインタフェース13に接続され、計測結果などに関する情報および画像情報等の保存がPCカードインタフェース13を介して行われる。このため、PCカードインタフェース13には、外部記憶媒体としてフラッシュメモリを用いた各種メモリカード、例えば、PCMCIAメモリカード18やフラッシュメモリカード19が装着される。
USBインタフェース14は、USB機器を接続するために使用される。本実施形態では、パーソナルコンピュータ17を着脱可能に接続するためにUSBインタフェース14が設けられている。パーソナルコンピュータ17がUSBインタフェース14に接続された場合、コントロールユニット4とパーソナルコンピュータ17内の記憶装置との間でPCカードインタフェース13を介して各種情報が送受信される。
パーソナルコンピュータ17を接続する場合、コントロールユニット4に接続されている液晶モニタ6、リモートコントローラ5、および外部記憶媒体の機能を、パーソナルコンピュータ17が兼用することができるようになっている。そのため、例えば、計測に関する制御や、画像処理、画像表示などを、必要に応じてパーソナルコンピュータ17のリソースを利用して行うことができる。
画像処理回路16は、CCU9から供給された入力画像信号100(図3参照)に対して、リモートコントローラ5を介して指定された画像処理を施して出力画像信号101A,101B(図3参照)を生成する。また、画像処理回路16は、必要に応じて、出力画像信号101A,101Bと、CPU10によって生成される操作画像や計測用情報102(図3参照)とを合成し、さらに、液晶モニタ6に画像を表示するために、例えばNTSC信号などに変換し、表示用画像信号101aとして、液晶モニタ6に出力する。
次に、図3を参照して、内視鏡装置1の主な機能構成を説明する。内視鏡装置1は、画像生成部30、操作部31、および表示部33を有し、さらにコントロールユニット4内に画像処理部34、信号変換部38、画像記憶部42、および制御部43を有する。
画像生成部30は、内視鏡挿入部3内の撮像素子、内視鏡ユニット7、およびCCU9に対応しており、ステレオ計測用光学アダプタ2の2つの光学系(対物レンズ2A,2B)によって同時に結像される2つの被写体像を視差画像として含む画像を生成する。操作部31は、ユーザが計測等の操作入力を行うために設けられており、リモートコントローラ5に対応する。表示部33は、液晶モニタ6に対応しており、表示用画像信号101aに基づいて画像を表示する。パーソナルコンピュータ17が操作部31や表示部33の機能を備えていてもよい。
画像生成部30からは、CCU9によって輝度レベル調整やノイズ除去処理などの前処理が施された、一対の視差画像を含む1フレーム分の画像情報が、入力画像信号100として画像処理部34に入力される。前処理は、画像処理部34が画像処理として行ってもよい。
画像処理部34および信号変換部38は画像信号処理回路16に対応する。画像処理部34は、入力された入力画像信号100に画像処理を施し、出力画像信号101Aを生成して信号変換部38に出力すると共に、出力画像信号101Bを生成して画像記憶部42に出力できるようになっている。また、画像処理部34は、適宜、ステレオ計測用光学アダプタ2の2つの光学系によって同時に結像される2つの被写体像を含む画像から、一方の被写体像からなる視差画像を抽出するように入力画像信号100を処理し、出力画像信号101Aとして信号変換部38に出力する。なお、出力画像信号101A,101Bは、異なる信号であるとは限らず、同一の画像処理が施された同一の信号であってもよい。
信号変換部38は、画像処理部34から出力された出力画像信号101Aを表示用画像信号101aとして表示部33に出力する。その際、表示用画像信号101aに対して、必要に応じて、操作画像などの他の画像データを合成することができるようになっている。また、制御部43から計測用情報102が出力された場合には、計測用情報102も合成した状態で表示用画像信号101aを生成できるようになっている。
画像記憶部42は、RAM12に対応しており、画像処理部34から出力される出力画像信号101Aを静止画像データとして記憶する。また、操作部31を介して記録処理の操作入力が行われた場合には、制御部43による制御に従って、静止画像データが画像記憶部42から読み出されて外部記憶媒体44へ出力され、外部記憶媒体44に記憶される。外部記憶媒体44は、パーソナルコンピュータ17、PCMCIAメモリカード18、およびフラッシュメモリカード19に対応する。
制御部43は、CPU10に対応しており、ROM11または外部記憶媒体44に格納されている制御用プログラムを読み出してRAM12にロードし、制御用プログラムに記述されている命令を実行することにより、内視鏡装置1内の各部を制御する。制御部43は、操作部31を介して計測処理の操作入力が行われた場合には、画像記憶部42に記憶された静止画像データを用いて、ステレオ計測による計測処理を行うと共に、計測の操作入力に必要な計測用GUI画像を生成する。例えば、操作部31を介して、液晶モニタ6の表示画像上で計測点が入力されると、制御部43は、計測点に対応する各視差画像の対応点の位置情報を、それぞれの輝度情報に基づいてマッチング処理して取得し、三角測量の原理により3次元位置座標に換算する処理を行う。
表示部33に表示されるカーソルや、計測点の情報、計測結果等は計測用GUI画像と共に、計測用情報102として、制御部43から信号変換部38に出力され、信号変換部38によって出力画像信号101Aに合成される。
内視鏡装置1の制御用プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された制御用プログラムを内視鏡装置1以外のコンピュータに読み込ませ、実行させてもよい。例えば、パーソナルコンピュータ17が制御用プログラムを読み込んで実行し、制御用プログラムに従って、内視鏡装置1を制御するための制御情報を内視鏡装置1に送信し、内視鏡装置1を画像表示モードや画像確認モード等で動作させてもよい。
ここで、「コンピュータ」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM、DVD−ROM、フラッシュメモリ等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
次に、内視鏡装置1の動作を説明する。図4および図5は内視鏡装置1の動作の手順を示している。内視鏡装置1は、電源が投入されると、ステレオ計測用光学アダプタ2を通して取得した画像を液晶モニタ6に表示する画像表示モードで動作する。また、内視鏡装置1は、操作部31を介して操作入力が行われると、計測に使用する全ての画像をユーザに確認させる画像確認モードで動作する。画像確認モードでの動作中に、計測に使用する全ての画像の確認が終了し、操作部31を介して操作入力が行われると、内視鏡装置1は、操作入力に応じた各種処理モードで動作する。以下では、各種処理モードとして、計測処理、画像情報の記録処理を行うモードの場合の例で説明する。
画像表示モードでは、ユーザは、ステレオ計測用光学アダプタ2を装着した内視鏡挿入部3を被検体に挿入する。ステレオ計測用光学アダプタ2を通して撮像素子に結像した2つの被写体像を含む画像情報は、CCU9を通して入力画像信号100としてコントロールユニット4に出力される。
図4に示すように、ST101では、コントロールユニット4が画像生成部30から1フレーム分の画像情報を取得する。すなわち、制御部43による制御に従い、画像生成部30から入力画像信号100がコントロールユニット4の画像処理部34に出力され、画像処理部34によって1フレーム分の入力画像信号100が画像情報として取得される。
続いて、ST102では、制御部43による制御に従い、画像処理部34は1フレーム分の入力画像信号100を分割する。すなわち、画像処理部34は、画像生成部30から取得した画像情報を、左右2つの被写体像のそれぞれを含む視野領域毎に分割する処理を行う。このとき、画像の中央で画像を2つに分割してもよいし、予め測定によって得られている2つの視野領域の位置に関する情報を用いて視野領域のみの画像を抽出してもよい。分割された2つの画像情報は出力画像信号101Bとして画像記憶部42に出力され、画像記憶部42に記憶される。
続いて、ST103では、制御部43による制御に従い、画像処理部34は、分割された2つの画像情報のうち一方の画像情報(一例として、本実施形態では左の視野領域に対応する視差画像とする)に対応した1フレーム分の画像信号を出力画像信号101Aとして信号変換部38に出力する。
続いて、ST104では、制御部43による制御に従い、信号変換部38は、入力された出力画像信号101Aに対して、表示部33が表示できるサイズに画像サイズを変更する等の処理を施し、処理後の出力画像信号101Aを表示用画像信号101aとして表示部33に出力する。表示部33は、表示用画像信号101aに基づいて画像を表示する。これにより、左の視野領域に対応する視差画像を含む画像が表示部33に表示される。
図6は、本実施形態の内視鏡装置1で生成および表示される画像を示している。図6(a)は、画像生成部30で生成されて、画像処理部34で視野領域毎に分割される前の画像を示している。画像60は、画像の上下および中央にI字状に設けられた画像領域と、その領域以外の2つの略矩形の画像領域とからなる。左側の画像領域は、ステレオ計測用光学アダプタ2の2つの光学系によって同時に結像される2つの被写体像のうちの左側の被写体像に対応した視差画像61Lからなる。右側の画像領域は、ステレオ計測用光学アダプタ2の2つの光学系によって同時に結像される2つの被写体像のうちの右側の被写体像に対応した視差画像61Rからなる。
図6(b)は、ST104で表示部33に表示される画像を示している。画像50aには、ステレオ計測用光学アダプタ2の2つの光学系によって同時に結像される2つの被写体像のうちの左側の被写体像に対応した視差画像51Lが含まれる。視差画像51Lを拡大して表示してもよく、その場合、画像処理部34は、分割された2つの画像情報のうち一方の画像情報に対応した1フレーム分の画像信号に対して拡大処理を行い、処理後の画像信号を出力画像信号101Aとして信号変換部38に出力する。
ST104の処理が終了すると、ST105の処理が行われる。ST105では、制御部43は、操作部31を介して操作入力が行われたか否かを判定する。操作入力が行われた場合には、ST106の処理が行われる。また、操作入力が行われていない場合にはST101の処理が行われ、次の1フレーム分の画像情報に関して、上述した処理が再度行われる。つまり、操作入力が発生しない場合には、画像処理が施された1フレームの画像を時系列的に表示部33にリアルタイムで動画像として表示する画像表示モードが実現される。ユーザは、表示された画像を見ながら、被検体の所望の計測部位が画像に収まるように、リモートコントローラ5により内視鏡挿入部3の先端部の湾曲を調整する。
次に、ST106で行われる処理(画像確認処理)の詳細を説明する。図5は、ST106で行われる処理の手順を示している。図5に示すように、ST201では、制御部43による制御に従い、画像処理部34は、画像記憶部42に記憶されている、2つの画像情報のうち一方の画像情報(一例として、本実施形態では左の視野領域に対応する視差画像とする)に対応した1フレーム分の画像信号を出力画像信号101Aとして信号変換部38に出力する。制御部43による制御に従い、信号変換部38は、入力された出力画像信号101Aに対して、表示部33が表示できるサイズに画像サイズを変更する等の処理を施し、処理後の出力画像信号101Aを表示用画像信号101aとして表示部33に出力する。表示部33は、表示用画像信号101aに基づいて画像を表示する。これにより、左の視野領域に対応する視差画像を含む画像が表示部33に表示される。ST201で表示される左の視野領域に対応する視差画像は、直前にST104で表示された左の視野領域に対応する視差画像と同じである。
図6(c)は、ST201で表示部33に表示される画像を示している。画像50bには、ステレオ計測用光学アダプタ2の2つの光学系によって同時に結像される2つの被写体像のうちの左側の被写体像に対応した視差画像51Lと、操作入力用のボタン70と、ユーザがボタン70を操作するためのカーソル71とが含まれる。上述したように、画像50bにおける視差画像51Lは、直前にST104で表示された画像50aにおける視差画像51Lと同じである。左右のどちらの視野領域に対応する視差画像が表示されているのかを示す文字等の情報を視差画像と共に表示してもよい。
続いて、ST202では、制御部43は、操作部31を介して操作入力が行われたか否かを判定する。操作入力が行われるまで、ST201で表示された画像(静止画像)は変化しない。ST202において、次へ進むことを意味するボタン70が操作された場合、ST203の処理が行われる。
ST203では、制御部43による制御に従い、画像処理部34は、画像記憶部42に記憶されている、2つの画像情報のうちもう一方の画像情報(一例として、本実施形態では右の視野領域に対応する視差画像とする)に対応した1フレーム分の画像信号を出力画像信号101Aとして信号変換部38に出力する。以降は、前述した処理により表示部33に画像が表示される。これにより、右の視野領域に対応する視差画像を含む画像が表示部33に表示される。左右のどちらの視野領域に対応する視差画像が表示されているのかを示す文字等の情報を視差画像と共に表示してもよい。
図6(d)は、ST203で表示部33に表示される画像を示している。画像50cには、ステレオ計測用光学アダプタ2の2つの光学系によって同時に結像される2つの被写体像のうちの右側の被写体像に対応した視差画像51Rと、操作入力用のボタン70と、ユーザがボタン70を操作するためのカーソル71とが含まれる。
続いて、ST204では、制御部43は、操作部31を介して操作入力が行われたか否かを判定する。操作入力が行われるまで、ST203で表示された画像(静止画像)は変化しない。ST204において、次へ進むことを意味するボタン70が操作された場合、ST205の処理が行われる。
ST205では、ST201と同様に、左の視野領域に対応する視差画像を含む画像が表示部33に表示される。ST205では、右の視野領域に対応する視差画像を含む画像を表示してもよい。ST205の処理が終了すると、ST106の処理(画像確認処理)が終了し、ST107の処理が行われる。また、ST204において、前に戻ることを意味する操作入力が行われた場合、ST201の処理が行われ、左の視野領域に対応する視差画像を含む画像が表示部33に再度表示される。また、ST202,ST204において、画像の確認を中止することを意味する操作入力が行われた場合、ST101の処理が行われ、内視鏡装置1は画像表示モードで動作する。
ST107では、制御部43は、操作部31を介して操作入力が行われたか否かを判定し、操作入力が行われた場合には、動作入力に応じたそれぞれの処理を行う。計測の指示を意味する操作入力が行われた場合、ST108の処理(計測処理)が行われる。ST108では、制御部43による制御に従い、画像処理部34は、画像記憶部42に記憶されている、2つの画像情報のうち一方の画像情報(一例として、本実施形態では左の視野領域に対応する視差画像とする)に対応した1フレーム分の画像信号を出力画像信号101Aとして信号変換部38に出力する。以降は、前述した処理により表示部33に画像が表示される。これにより、左の視野領域に対応する視差画像を含む画像が表示部33に表示される。
図6(e)は、ST108で表示部33に表示される画像を示している。画像50dには、ステレオ計測用光学アダプタ2の2つの光学系によって同時に結像される2つの被写体像のうちの左側の被写体像に対応した視差画像51Lと、ユーザが計測点の入力後に計測の演算処理の実行を指示するための操作入力用のボタン72と、ユーザが計測処理の終了を指示するための操作入力用のボタン73と、ユーザが計測点を指定したりボタン72,73を操作したりするためのカーソル71とが含まれる。図6(e)では左の視野領域に対応する視差画像が表示されているが、右の視野領域に対応する視差画像を表示してもよい。また、図6(e)における操作入力用のボタンは一例であり、計測の演算処理の種類(二点間距離、深さ、面積等)を指定するためのボタン等があってもよい。
また、ST108では、制御部43は、画像記憶部42から、2つの画像情報に対応した1フレーム分の画像信号を読み出し、操作部31を介して入力される計測点の指示に基づいて、2つの画像情報のうちの一方の画像情報における計測点を指定する。さらに、制御部43は、もう一方の画像情報における、計測点に対応する点(対応点)の位置を求め、計測点と対応点の位置から被写体上の3次元座標を算出し、計測点における被写体の大きさ(二点間距離、深さ、面積等)を計測する。
ST107において、画像情報の記録を指示する操作入力が行われた場合、ST109の処理(画像情報の記録処理)が行われる。ST109では、制御部43による制御に従い、画像記憶部42から、2つの画像情報に対応した1フレーム分の画像信号が読み出されて外部記憶媒体44へ出力され、外部記憶媒体44に記憶される。画像情報の記録では、図6(a)のように左右の視野領域に対応する2つの視差画像を含む画像を記録してもよいし、左右の視野領域に対応する視差画像を別々の画像として、これらの画像が関連付けられた状態で記録してもよい。
また、ST107において、計測も画像情報の記録も行わないことを意味する操作入力が行われた場合、ST101の処理が行われ、内視鏡装置1は画像表示モードで動作する。
上記のように、画像の確認時(ST106)以外は、左右の視野領域のうち一方の視野領域のみに対応する視差画像が表示される。このため、左右の視野領域に対応する2つの視差画像が同時に表示されている場合にユーザが2つの視差画像の間で視線を頻繁に移動させることによる視認性の低下はない。
また、ユーザが計測点の入力を行う前に、簡単な操作入力により、内視鏡装置の動作モードを画像確認モードに移行させることができる。画像確認モードでは、ST201,ST203の処理により、計測で使用する全ての視差画像の確認が行われ、ST201,ST203の両方の処理が完了した場合に、計測処理への移行が可能となる。画像の確認時には、画像が静止した状態で、ユーザは、自分のペースで全ての視差画像を確認することができるので、計測時に2つの視差画像の一方のみを含む画像が表示された状態で計測を行う場合でも、計測の実施前に計測結果の妥当性を容易に確認することができる。また、画像の確認中にユーザが、表示されている画像は計測に適していないと判断した場合に、簡単な操作入力により、内視鏡装置の動作モードを画像表示モードに移行させて画像を撮影し直すことができるので、検査効率が向上する。
内視鏡装置で被検体の検査を行う場合、内視鏡挿入部の先端を被検体に近づけて被検体を観察することが多く、左右の視差が大きくなる。左右の視差が大きくなると計測結果の妥当性が低くなりやすいため、特許文献4のように、計測結果の妥当性が低い場合に2つの視差画像を含む画像が自動的に表示される内視鏡装置では、2つの視差画像を含む画像が表示されることが多くなり、計測中の視認性が低下する。これに対して、本実施形態の内視鏡装置では、計測中には2つの視差画像を含む画像を表示する必要がないため、計測中の視認性は低下しない。
内視鏡装置で被検体を観察した後、常に現場で計測を行うわけではなく、現場では画像の撮影だけを行い、後で、画像を再生しながら計測を行うという方法により検査を行うこともある。従来の内視鏡装置を使用してこの方法で検査を行う場合、撮影した画像が計測に適していないと、再び現場に戻って画像の撮影をやり直す手間が発生していた。これに対して、本実施形態の内視鏡装置を使用して検査を行う場合、ST201,ST203の処理により、計測で使用する全ての視差画像の確認が行われてから、ST109で画像情報が記録される。このため、計測に適していない画像を記録するミスを減らすことができ、再び現場に戻って画像の撮影をやり直す手間が発生することを未然に防ぐことができる。
次に、本実施形態の変形例を説明する。図7は、ST106で行われる処理の手順の他の例を示している。ST210では、制御部43による制御に従い、画像処理部34は、画像記憶部42に記憶されている、2つの画像情報に対応した1フレーム分の画像信号を出力画像信号101Aとして信号変換部38に出力する。以降は、前述した処理により表示部33に画像が表示される。これにより、左右の視野領域に対応する2つの視差画像を含む画像が表示部33に表示される。
図8は、ST210で表示部33に表示される画像を示しており、図6(a)に示した画像と同じである。ST210では、図8に示すように、左右の視野領域に対応した2つの視差画像を含む画像が表示される。ST210では、2つの視差画像を、それぞれの視差画像が液晶モニタ6上で隠れてしまわない程度に拡大してから並べて表示してもよい。
続いて、ST202では、制御部43は、操作部31を介して操作入力が行われたか否かを判定する。操作入力が行われるまで、ST210で表示された画像(静止画像)は変化しない。ST202において、次へ進むことを意味するボタン70が操作された場合、ST205の処理が行われる。
ST205では、前述したように、左の視野領域に対応する視差画像を含む画像が表示部33に表示される。ST205の処理が終了すると、ST106の処理(画像確認処理)が終了し、ST107の処理が行われる。また、ST202において、画像の確認を中止することを意味する操作入力が行われた場合、ST101の処理が行われ、内視鏡装置1は画像表示モードで動作する。
上記のように画像の確認時に2つの視差画像を同時に表示することで、ユーザがそれらを比較しやすくなり、計測結果の妥当性を容易に確認することができる。
画像の確認時に、2つの視差画像を順番に表示したり(図6)、2つの視差画像を同時に表示したり(図8)するだけでなく、2つの視差画像を順番に表示することと2つの視差画像を同時に表示することの両方を行ってもよい。例えば、画像の確認時に図6(c)の画像50b、図6(d)の画像50c、図8の画像60を表示部33に順番に表示させてもよい。
2つの視差画像を同時に表示すると、表示される視差画像が小さくなり、視差画像を確認しにくいことがあるが、上記の方法により、ユーザは、2つの視差画像の一方のみが表示されている場合にはその視差画像を詳しく確認することができ、2つの視差画像の両方が表示されている場合にはその両方を比較することができる。2つの視差画像を同時に表示するか、別々に表示するかに関わらず、各視差画像の少なくとも一部を拡大できるようにしてもよい。
画像の確認時に、表示される画像に対して、確認を補助するための画像処理を行ってから画像を表示してもよい。例えば、制御部43による制御に従い、画像処理部34は、画像記憶部42に記憶されている、2つの画像情報のうち一方または両方の画像情報に対応した1フレーム分の画像信号に対して、エッジ強調を行ったり、画像中のハレーション部を判別してその領域を所定の色(赤色等)で目立たせる処理を行ったりして、処理後の画像信号を出力画像信号101Aとして信号変換部38に出力する。以降は、前述した処理により表示部33に画像が表示される。確認を補助するための画像処理を行うか否かを、ユーザが簡単な操作で切り替えられるようにしてもよい。このような画像処理を施すことにより、ユーザが計測結果の妥当性をより容易に確認することができる。
画像の確認時に2つの視差画像を、ユーザの操作入力によらず自動的に順番に表示してもよい。例えば、スライドショーのように、表示される視差画像を一定時間間隔で切り替えてもよい。視差画像を切り替える時間間隔は、ユーザが画像を確認できる時間の範囲内で任意に設定できるようにしてもよい。
本実施形態では、2つの光学系によって同時に結像される2つの被写体像を含む画像を撮影する例を説明したが、互いに異なる視点に対応する3つ以上の被写体像を含む画像を撮影する場合にも本実施形態と同様の手順でユーザに画像の確認を行わせることができる。
上述したように、本実施形態によれば、画像表示モードでは、左右の視差画像のうちの一方のみを含む動画像が表示されるので、被写体の観察時の視認性を保つことができる。また、画像確認モードでは、計測で使用される左右の視差画像の全てが静止画像として表示されるので、計測の実施前にユーザに計測結果の妥当性の確認を容易に行わせることができる。
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。第1の実施形態による内視鏡装置は2つの光学系によって同時に結像される2つの被写体像を含む画像を撮影するが、第2の実施形態による内視鏡装置は2つの光学系によって時系列的に結像される2つの被写体像を別々に含む画像を撮影する。
本実施形態では、第1の実施形態におけるステレオ計測用光学アダプタ2の代わりに、撮像素子に入射する光の光路を切り替えることが可能な光学アダプタが内視鏡挿入部3の先端に装着される。図9は、本実施形態における光学アダプタの構成を示している。内視鏡挿入部3の先端に光学アダプタ21が装着されている。光学アダプタ21は、凹レンズ23a,23b、凸レンズ24a,24b、切替部25、結像光学系26を有する。内視鏡挿入部3の先端内には撮像素子3aが配置されている。
凹レンズ23a、凸レンズ24a、結像光学系26は、被写体からの光が形成する第1の被写体像を撮像素子3aの領域S1に結像する第1の光学系を構成する。凹レンズ23b、凸レンズ24b、結像光学系26は、被写体からの光が形成する第2の被写体像を撮像素子3aの領域S1に結像する第2光学系を構成する。第1の光学系に入射した被写体からの光は光路L1を通り、撮像素子3aの領域S1に第1の被写体像として結像される。第2の光学系に入射した被写体からの光は光路L2を通り、撮像素子3aの領域S1に第2の被写体像として結像される。第1の被写体像と第2の被写体像は、撮像素子3aの共通の領域S1に結像される。
切替部25は、第1の被写体像および第2の被写体像のうちのいずれか一方の被写体像のみが領域S1に結像されるように、光路L1と光路L2の間で光路を切り替える。切替部25による光路の切替動作は、コントロールユニット4内のCPU10によって制御される。撮像素子3aは、切替部25によって光路L1が設定されている場合に、領域S1に結像された第1の被写体像を含む第1の画像を生成し、切替部25によって光路L2が設定されている場合に、領域S1に結像された第2の被写体像を含む第2の画像を生成する。
第1の画像は第2の画像に対して、あるいは、第2の画像は第1の画像に対して視差を有する。第1の画像は、第1の実施形態における左の視野領域の視差画像に対応し、第2の画像は、第2の実施形態における右の視野領域の視差画像に対応する。撮像素子3aによって生成された第1の画像および第2の画像はコントロールユニット4へ出力される。
2つの光路を通った光が形成する2つの被写体像は撮像素子3aの共通の領域S1に結像される。このため、撮像面積を大きくすることができ、撮像画質と計測精度を向上させることができる。
次に、内視鏡装置1の動作を説明する。図10および図11は内視鏡装置1の動作の手順を示している。図10に示すように、ST110では、制御部43による制御に従い、切替部25は光路を光路L1に設定する。続いて、ST111では、コントロールユニット4は画像生成部30から1フレーム分の画像情報を取得する。すなわち、制御部43による制御に従い、画像生成部30から入力画像信号100がコントロールユニット4の画像処理部34に出力され、画像処理部34によって1フレーム分の入力画像信号100が画像情報として取得される。画像処理部34は、取得した入力画像信号100に対して所定の画像処理を行い、処理後の入力画像信号100を出力画像信号101Aとして信号変換部38に出力すると共に、出力画像信号101Bとして画像記憶部42に出力する。画像記憶部42に出力された出力画像信号101Bは第1の画像情報として画像記憶部42に記憶される。
続いて、ST112では、制御部43による制御に従い、信号変換部38は、入力された出力画像信号101Aに対して、表示部33が表示できるサイズに画像サイズを変更する等の処理を施し、処理後の出力画像信号101Aを表示用画像信号101aとして表示部33に出力する。表示部33は、表示用画像信号101aに基づいて画像を表示する。これにより、第1の画像が表示部33に表示される。
図12は、本実施形態の内視鏡装置1で表示される画像を示している。図12(a)は、ST112で表示部33に表示される画像を示しており、光路L1を通った光に基づく第1の画像52Lが表示される。
ST112の処理が終了するとST105の処理が行われる。ST105〜ST109の処理は、ST106の処理を除いて第1の実施形態で説明した処理と同様であるので、これらの処理の説明を省略する。
次に、ST106で行われる処理(画像確認処理)の詳細を説明する。図11は、ST106で行われる処理の手順を示している。図11に示すように、ST220では、制御部43による制御に従い、画像処理部34は、画像記憶部42に記憶されている、第1の画像情報に対応した1フレーム分の画像信号を出力画像信号101Aとして信号変換部38に出力する。制御部43による制御に従い、信号変換部38は、入力された出力画像信号101Aに対して、表示部33が表示できるサイズに画像サイズを変更する等の処理を施し、処理後の出力画像信号101Aを表示用画像信号101aとして表示部33に出力する。表示部33は、表示用画像信号101aに基づいて画像を表示する。これにより、第1の画像が表示部33に表示される。ST220で表示される第1の画像は、直前にST112で表示された第1の画像と同じである。
図12(b)は、ST220で表示部33に表示される画像を示しており、光路L1を通った光に基づく第1の画像52Lと、操作入力用のボタン70と、ユーザがボタン70を操作するためのカーソル71とが表示される。第1の画像と第2の画像のどちらが表示されているのかを示す文字等の情報を画像と共に表示してもよい。
ST220の処理と並行してST221,ST222の処理が行われる。ST2221では、制御部43による制御に従い、切替部25は光路を光路L2に設定する。続いて、ST222では、コントロールユニット4は画像生成部30から1フレーム分の画像情報を取得する。すなわち、制御部43による制御に従い、画像生成部30から入力画像信号100がコントロールユニット4の画像処理部34に出力され、画像処理部34によって1フレーム分の入力画像信号100が画像情報として取得される。画像処理部34は、取得した入力画像信号100に対して所定の画像処理を行い、処理後の入力画像信号100を出力画像信号101Bとして画像記憶部42に出力する。画像記憶部42に出力された出力画像信号101Bは第2の画像情報として画像記憶部42に記憶される。
続いて、ST223では、制御部43は、操作部31を介して操作入力が行われたか否かを判定する。操作入力が行われるまで、ST220で表示された画像(静止画像)は変化しない。ST223において、次へ進むことを意味する操作入力が行われた場合、ST224の処理が行われる。
ST224では、制御部43による制御に従い、画像処理部34は、画像記憶部42に記憶されている第2の画像情報に対応した1フレーム分の画像信号を出力画像信号101Aとして信号変換部38に出力する。以降は、前述した処理により表示部33に画像が表示される。これにより、第2の画像が表示部33に表示される。第1の画像と第2の画像のどちらが表示されているのかを示す文字等の情報を画像と共に表示してもよい。
図12(c)は、ST224で表示部33に表示される画像を示しており、光路L2を通った光に基づく第2の画像52Rと、操作入力用のボタン70と、ユーザがボタン70を操作するためのカーソル71とが表示される。第1の画像と第2の画像のどちらが表示されているのかを示す文字等の情報を画像と共に表示してもよい。
続いて、ST225では、制御部43は、操作部31を介して操作入力が行われたか否かを判定する。操作入力が行われるまで、ST224で表示された画像(静止画像)は変化しない。ST225において、次へ進むことを意味する操作入力が行われた場合、ST226の処理が行われる。
ST226では、ST220と同様に、第1の画像が表示部33に表示される。ST226では、第2の画像を表示してもよい。ST226の処理が終了すると、ST106の処理(画像確認処理)が終了し、ST107の処理が行われる。また、ST225において、前に戻ることを意味する操作入力が行われた場合、ST220の処理が行われ、左の視野領域に対応する視差画像を含む画像が表示部33に再度表示される。このとき、ST221,ST222の処理は行われない。また、ST223,ST225において、画像の確認を中止することを意味する操作入力が行われた場合、ST110の処理が行われ、内視鏡装置1は画像表示モードで動作する。
ST108(計測処理)では、第1の画像と第2の画像を用いて計測が行われる。図12(d)は、ST108で表示部33に表示される画像を示しており、光路L1を通った光に基づく第1の画像52Lと、ユーザが計測点の入力後に計測の演算処理の実行を指示するための操作入力用のボタン72と、ユーザが計測処理の終了を指示するための操作入力用のボタン73と、ユーザが計測点を指定したりボタン72,73を操作したりするためのカーソル71とが含まれる。図12(d)では第1の画像が表示されているが、第2の画像を表示してもよい。
上記のように、画像の確認時(ST106)以外は、2つの光路のうち一方の光路のみを通った光に基づく画像が表示される。このため、2つの光路のそれぞれを通った光に基づく2つの画像が同時に表示されている場合にユーザが2つの視差画像の間で視線を頻繁に移動させることによる視認性の低下はない。また、画像確認モードでは、ST220,ST224の処理により、計測で使用する全ての画像の確認が行われるので、ユーザは計測の実施前に計測結果の妥当性を容易に確認することができる。
次に、本実施形態の変形例を説明する。図13は、ST106で行われる処理の手順の他の例を示している。図13では、図11に示したST224で行われる処理が、以下で説明するST227で行われる処理に変更されている。
ST227では、制御部43による制御に従い、画像処理部34は、画像記憶部42に記憶されている、第1の画像情報に対応した1フレーム分の画像信号と、第2の画像情報に対応した1フレーム分の画像信号とを、2枚の画像が並んで表示されるように合成し、合成後の画像信号を出力画像信号101Aとして信号変換部38に出力する。以降は、前述した処理により表示部33に画像が表示される。これにより、第1の画像と第2の画像が表示部33に表示される。
図14は、ST227で表示部33に表示される画像を示している。画像53には、光路L1を通った光に基づく第1の画像を縮小した第1の画像54Lと、光路L2を通った光に基づく第2の画像を縮小した第2の画像54Rとが含まれる。
図13において、ST227の処理以外の処理については既に説明したので説明を省略する。
画像の確認時に、2つの画像を順番に表示したり(図12)、2つの画像を同時に表示したり(図14)するだけでなく、2つの画像を順番に表示することと2つの画像を同時に表示することの両方を行ってもよい。例えば、画像の確認時に図12(b)の画像52L、図12(c)の画像52R、図14の画像53を表示部33に順番に表示させてもよい。
また、第1の実施形態で説明したように、画像の確認時に、表示される画像に対して、確認を補助するための画像処理を行ってから画像を表示してもよいし、画像の確認時に2つの画像を、ユーザの操作入力によらず自動的に順番に表示してもよい。
本実施形態では、2つの光学系によって時系列的に結像される2つの被写体像を別々に含む画像を撮影する例を説明したが、互いに異なる視点に対応する3つ以上の被写体像を含む画像を撮影する場合にも本実施形態と同様の手順でユーザに画像の確認を行わせることができる。
また、被検体に対して、複数のパターンを順次投影し、各パターンを撮影した複数の画像を用いて計測を行う装置に対して、本実施形態を適用することも可能である。例えば、計測の機能が起動される前は、観察のために被検体を撮影した動画像(1つの被写体像に基づく動画像)が表示される。計測のための撮影が指示されると、被検体に複数のパターンが順次投影されて撮影が行われ、計測に使用される複数の画像(1つの被写体像に基づく静止画像)が生成される。その後、計測に使用される複数の画像の全てが静止画像として順次または同時に表示され、ユーザによる確認が行われる。全ての画像に対する確認が終了した後、計測点が入力され、計測が行われる。
上述したように、本実施形態によれば、2つの光学系によって時系列的に結像される2つの被写体像を別々に含む画像を撮影する内視鏡装置においても、画像表示モードでは、被写体の観察時の視認性を保つことができ、画像確認モードでは、計測の実施前にユーザに計測結果の妥当性の確認を容易に行わせることができる。
(第3の実施形態)
次に、本発明の第3の実施形態を説明する。本実施形態では、記録された画像を再生して計測を行う場合について説明する。以下では、パーソナルコンピュータ17上で計測を行う場合を例として、計測に用いる画像の確認をユーザに行わせる方法を説明する。
例えば、ST109の処理(画像情報の記録処理)により、計測に使用される全ての画像情報を含むファイルがパーソナルコンピュータ17に記録される。この際、記録された全ての画像情報の代表となる画像情報(以下、代表画像情報と称す)を示す情報もファイルに記録される。ST109の処理では内視鏡装置1に接続されているカード媒体等の外部記憶媒体にファイルを記録し、その外部記憶媒体をパーソナルコンピュータ17に接続し、ファイルをパーソナルコンピュータ17に読み込ませてもよい。
パーソナルコンピュータ17にファイルが記録された後、ユーザがパーソナルコンピュータ17上でファイルを開いたとき、図15に示す手順で画像の確認および計測が行われる。図15は、パーソナルコンピュータ17の制御部の動作の手順を示している。
図15に示すように、ST301では、制御部はパーソナルコンピュータ17の表示部に、代表画像情報に基づく画像(以下、代表画像と称す)を表示させると共に、ファイルに記録されている全ての画像情報のサムネールを表示させる。図16は、ユーザが画像の確認を行うときのパーソナルコンピュータ17の表示部の画面を示している。表示部の画面80には、確認用の静止画像81と、ファイルに記録されている画像情報の縮小画像であるサムネール82,83,84とが表示されている。図16では、互いに異なる視点に対応する3つの被写体像を含む画像を同時あるいは時系列的に撮影し、それぞれの被写体像に対応する3つの画像を生成した場合の例が示されているが、生成される画像は2つ以上であればよい。
ST301では静止画像81として代表画像が表示される。また、静止画像81に対応するサムネール82が目立って表示されている。図16ではサムネール82が代表画像のサムネールである。図16に示す例ではサムネール82,83,84が表示されているが、画像の確認時にサムネール82,83,84を表示しなくてもよい。
続いて、ST302では、制御部は、パーソナルコンピュータ17に操作入力が行われたか否かを判定する。操作入力が行われるまで、ST301で表示された画像(静止画像)は変化しない。ST302において、次へ進むことを意味する操作入力が行われた場合、ST303の処理が行われる。
ST303では、制御部は、表示されている静止画像とは異なる他の静止画像を表示部に表示させる。例えば、ST301で図16のサムネール82に対応する画像が静止画像81として表示された場合には、ST303でサムネール83に対応する画像が静止画像81として表示され、ST301でサムネール83に対応する画像が静止画像81として表示された場合には、ST303でサムネール84に対応する画像が静止画像81として表示される。次の操作入力が行われるまで、ST303で表示された画像(静止画像)は変化しない。
続いて、ST304では、制御部は、同一ファイル内の全ての画像が静止画像として表示されたか否かを判定する。表示されていない画像がある場合、ST302の処理が再度行われる。また、全ての画像が静止画像として表示された場合、ST305の処理が行われる。
ST305では、制御部は、パーソナルコンピュータ17に操作入力が行われたか否かを判定する。ST305において、次へ進むことを意味する操作入力が行われた場合、ST306の処理が行われる。ST306では、制御部は計測処理を行う。計測処理では、代表画像や計測用のメニュー等を含む計測用の画像が表示部に表示され、計測点の入力が行われる。また、計測処理では、代表画像情報と、ST303で表示された静止画像に対応する全ての画像情報とを使用して、指定された計測点における被写体の大きさ(二点間距離、深さ、面積等)が計測される。計測処理が終了すると、画像の確認および計測の処理が終了する。
また、ST305において、前に戻ることを意味する操作入力が行われた場合、ST307の処理が行われる。ST307では、制御部は、表示部に表示されている静止画像を代表画像に戻し、ST302の処理を再度行う。また、ST302,ST305において、画像の確認を中止することを意味する操作入力が行われた場合、画像の確認および計測の処理が終了する。
本実施形態では、内視鏡装置1以外の装置を使用して、記録された画像を再生して計測を行う方法を説明したが、内視鏡装置1上で、上記と同様の方法で画像を再生して計測を行ってもよい。
上述したように、本実施形態によれば、記録された画像を再生して計測を行う場合でも、計測で使用される全ての画像が静止画像として表示されるので、計測の実施前にユーザに計測結果の妥当性の確認を容易に行わせることができる。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
1・・・内視鏡装置、2・・・ステレオ計測用光学アダプタ、3・・・内視鏡挿入部、3a・・・撮像素子、4・・・コントロールユニット、5・・・リモートコントローラ、6・・・液晶モニタ、9・・・CCU、21・・・光学アダプタ、23a,23b・・・凹レンズ、24a,24b・・・凸レンズ、25・・・切替部、26・・・結像光学系、30・・・画像生成部、31・・・操作部、33・・・表示部、34・・・画像処理部、38・・・信号変換部、42・・・画像記憶部、43・・・制御部、44・・・外部記憶媒体

Claims (7)

  1. 1つ以上の被写体像を含む画像を生成する画像生成部と、
    前記画像を表示する表示部と、
    前記画像に基づく被写体の大きさの計測を制御する制御部と、
    を備え、
    前記制御部は、
    1つの被写体像を含む動画像を前記表示部に表示させる第1の処理と、
    前記第1の処理の後、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てを静止画像として前記表示部に表示させる第2の処理と、
    前記第2の処理の後、ユーザの第1の指示に基づいて、前記第1の処理に戻す第3の処理と、
    前記第の処理の後、ユーザの第2の指示が入力された場合、ユーザの計測点指示に基づいて計測点を指定し、前記複数の被写体像の全てに基づく画像、または前記1つの被写体像に基づく複数の画像の全てに基づいて、指定された計測点における被写体の大きさを計測する第の処理と、
    を実行することを特徴とする内視鏡装置。
  2. 前記制御部は、前記第2の処理において、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てをそれぞれ時系列的に静止画像として前記表示部に表示させることを特徴とする請求項1に記載の内視鏡装置。
  3. 前記制御部は、前記第2の処理において、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てを同時に静止画像として前記表示部に表示させることを特徴とする請求項1に記載の内視鏡装置。
  4. 前記制御部は、前記第2の処理において、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てをそれぞれ時系列的に静止画像として前記表示部に表示させ、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てを同時に静止画像として前記表示部に表示させることを特徴とする請求項1に記載の内視鏡装置。
  5. 前記制御部は、前記第2の処理において、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てに対して画像処理を施した画像を静止画像として前記表示部に表示させることを特徴とする請求項1に記載の内視鏡装置。
  6. 前記画像処理を行うか否かを切り替えることが可能な請求項5に記載の内視鏡装置。
  7. コンピュータに、
    内視鏡装置で撮影された1つの被写体像を含む動画像を表示部に表示させる第1のステップと、
    前記第1のステップの後、計測で使用される複数の被写体像の全て、または計測で使用される1つの被写体像に基づく複数の画像の全てを静止画像として前記表示部に表示させる第2のステップと、
    前記第2のステップの後、ユーザの第1の指示に基づいて、前記第1のステップに戻す第3のステップと、
    前記第のステップの後、ユーザの第2の指示が入力された場合、ユーザの計測点指示に基づいて計測点を指定し、前記複数の被写体像の全てに基づく画像、または前記1つの被写体像に基づく複数の画像の全てに基づいて、指定された計測点における被写体の大きさを計測する第のステップと、
    を実行させるためのプログラム。
JP2012145583A 2012-06-28 2012-06-28 内視鏡装置およびプログラム Expired - Fee Related JP6017198B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012145583A JP6017198B2 (ja) 2012-06-28 2012-06-28 内視鏡装置およびプログラム
CN201210428863.XA CN103512492B (zh) 2012-06-28 2012-10-31 内窥镜装置以及测量方法
US13/747,821 US9392230B2 (en) 2012-06-28 2013-01-23 Endoscopic apparatus and measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012145583A JP6017198B2 (ja) 2012-06-28 2012-06-28 内視鏡装置およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016185834A Division JP6373322B2 (ja) 2016-09-23 2016-09-23 内視鏡装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2014010235A JP2014010235A (ja) 2014-01-20
JP6017198B2 true JP6017198B2 (ja) 2016-10-26

Family

ID=49777739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012145583A Expired - Fee Related JP6017198B2 (ja) 2012-06-28 2012-06-28 内視鏡装置およびプログラム

Country Status (3)

Country Link
US (1) US9392230B2 (ja)
JP (1) JP6017198B2 (ja)
CN (1) CN103512492B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769366B2 (en) * 2012-07-13 2017-09-19 SeeScan, Inc. Self-grounding transmitting portable camera controller for use with pipe inspection system
JP2016095458A (ja) * 2014-11-17 2016-05-26 オリンパス株式会社 内視鏡装置
CN105243672A (zh) * 2015-11-03 2016-01-13 苏交科集团股份有限公司 防腐涂层损伤辨别系统及其评估方法
WO2018012278A1 (ja) * 2016-07-12 2018-01-18 オリンパス株式会社 内視鏡装置
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US11944272B2 (en) 2017-12-07 2024-04-02 Medtronic Xomed, Inc. System and method for assisting visualization during a procedure

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3337682B2 (ja) * 1991-03-11 2002-10-21 オリンパス光学工業株式会社 画像処理装置
JPH08123899A (ja) * 1994-10-21 1996-05-17 Oki Electric Ind Co Ltd 画像取得/処理装置
JP5079973B2 (ja) 2004-06-09 2012-11-21 オリンパス株式会社 計測用内視鏡装置及び計測用内視鏡装置用プログラム
US20060176321A1 (en) * 2005-02-07 2006-08-10 Olympus Corporation Endoscope apparatus
JP4780980B2 (ja) * 2005-03-11 2011-09-28 富士フイルム株式会社 内視鏡装置
JP2007075163A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP2007215646A (ja) * 2006-02-15 2007-08-30 Pentax Corp 内視鏡プロセッサ、静止画像選択プログラム、及び内視鏡システム
JP5226195B2 (ja) * 2006-07-28 2013-07-03 オリンパスメディカルシステムズ株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2008036220A (ja) * 2006-08-08 2008-02-21 Matsushita Electric Ind Co Ltd 撮像装置及びそれを用いた内視鏡装置
JP5043595B2 (ja) * 2007-10-23 2012-10-10 富士フイルム株式会社 撮影装置および内視鏡システム
WO2009057409A1 (ja) 2007-10-30 2009-05-07 Olympus Corporation 内視鏡装置
JP5153381B2 (ja) 2008-02-21 2013-02-27 オリンパス株式会社 内視鏡装置
JP4750175B2 (ja) 2008-11-28 2011-08-17 オリンパスメディカルシステムズ株式会社 ステレオ光学系、並びにそれを用いたステレオ計測用光学装置、ステレオ計測装置及びステレオ観察装置
JP5133386B2 (ja) * 2010-10-12 2013-01-30 富士フイルム株式会社 内視鏡装置

Also Published As

Publication number Publication date
CN103512492B (zh) 2018-07-17
CN103512492A (zh) 2014-01-15
US20140002630A1 (en) 2014-01-02
US9392230B2 (en) 2016-07-12
JP2014010235A (ja) 2014-01-20

Similar Documents

Publication Publication Date Title
JP6017198B2 (ja) 内視鏡装置およびプログラム
US8004560B2 (en) Endoscope apparatus
JP5199594B2 (ja) 画像計測装置および方法
JP6137921B2 (ja) 画像処理装置、画像処理方法及びプログラム
US6890296B2 (en) Measuring endoscope apparatus
JP5974188B2 (ja) 内視鏡システム
JP4885479B2 (ja) 計測用内視鏡装置及び内視鏡用プログラム
WO2019087790A1 (ja) 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
JP2009225933A (ja) カプセル内視鏡システム及びカプセル内視鏡の動作制御方法
JP2004033487A (ja) 内視鏡装置
JP5977900B2 (ja) 画像処理装置
JP5113990B2 (ja) 計測用内視鏡装置
US11426052B2 (en) Endoscopic system
JPWO2012157338A1 (ja) 医療機器、医療用プロセッサの作動方法及び医療用プロセッサ
US10729309B2 (en) Endoscope system
JP2017038285A (ja) 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム
JP7441897B2 (ja) 制御装置、内視鏡システムおよび制御装置の作動方法
JP7026447B2 (ja) 内視鏡装置、内視鏡システム及び内視鏡画像の表示制御方法
JP2016095458A (ja) 内視鏡装置
JP5153381B2 (ja) 内視鏡装置
JP6373322B2 (ja) 内視鏡装置およびプログラム
JP5602449B2 (ja) 内視鏡装置
JP6765787B2 (ja) 内視鏡システム及び内視鏡システムにおける内視鏡画像とカメラ画像との切替制御方法
JP2020171599A (ja) 画像生成装置、コンピュータプログラム及び画像生成方法
JP5042550B2 (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160928

R151 Written notification of patent or utility model registration

Ref document number: 6017198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees