Nothing Special   »   [go: up one dir, main page]

JP5484977B2 - 蛍光観察装置 - Google Patents

蛍光観察装置 Download PDF

Info

Publication number
JP5484977B2
JP5484977B2 JP2010067020A JP2010067020A JP5484977B2 JP 5484977 B2 JP5484977 B2 JP 5484977B2 JP 2010067020 A JP2010067020 A JP 2010067020A JP 2010067020 A JP2010067020 A JP 2010067020A JP 5484977 B2 JP5484977 B2 JP 5484977B2
Authority
JP
Japan
Prior art keywords
error
image
unit
fluorescence
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010067020A
Other languages
English (en)
Other versions
JP2011194165A (ja
Inventor
俊明 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010067020A priority Critical patent/JP5484977B2/ja
Priority to CN201180014103.8A priority patent/CN102802493B/zh
Priority to PCT/JP2011/052316 priority patent/WO2011118263A1/ja
Publication of JP2011194165A publication Critical patent/JP2011194165A/ja
Priority to US13/603,957 priority patent/US9332897B2/en
Application granted granted Critical
Publication of JP5484977B2 publication Critical patent/JP5484977B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Description

本発明は、蛍光観察装置に関するものである。
従来、蛍光薬剤を用いて病変領域を診断する蛍光観察装置において、観察距離によって照射光の強度が変化するため、蛍光画像の各画素の輝度値を参照光画像の各画素の輝度値で除算して、蛍光画像を補正する方法が知られている(例えば、特許文献1参照)。
特開昭62−247232号公報
しかしながら、上記の蛍光観察装置において観察距離が近い場合には、参照光の反射光および蛍光が表面散乱か内部散乱かの違いによって、前述の除算結果に誤差が生じるため、蛍光画像に不適切な補正を行ってしまい、病変領域の観察精度を低下させてしまうという不都合がある。
本発明は、上述した事情に鑑みてなされたものであって、観察距離が近い場合にも、蛍光画像に不適切な補正を行うことを防止して、病変領域の観察精度を向上することができる蛍光観察装置を提供することを目的とする。
上記目的を達成するために、本発明は以下の手段を採用する。
本発明は、被検体に照射する照明光および励起光を発生する光源部と、該光源部からの励起光の照射によって前記被検体において発生した蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、前記光源部からの照明光の照射によって前記被検体から戻る戻り光を撮影して戻り光画像を生成する戻り光画像生成部と、前記蛍光画像生成部により生成された蛍光画像における各画素の輝度値を、前記戻り光画像生成部により生成された戻り光画像における各画素の輝度値で除算して、各画素の輝度値が規格化された補正蛍光画像を生成する蛍光画像補正部と、前記戻り光画像生成部により生成された戻り光画像を、該戻り光画像の撮像条件によって規格化し、規格化された戻り光画像の階調値に基づいて、前記補正蛍光画像の輝度値が予め設定された許容誤差範囲を超える領域であるエラー領域を判別するエラー画像判別部と、該エラー画像判別部により判別された前記エラー領域を表示する画像表示部とを備える蛍光観察装置を採用する。
本発明によれば、光源部からの照明光および励起光が被検体に照射され、戻り光画像生成部により照明光の戻り光から戻り光画像が生成されるとともに、蛍光画像生成部により励起光が被検体に照射されて発生した蛍光から蛍光画像が生成される。そして、画像補正部により、蛍光画像における各画素の輝度値が戻り光画像における各画素の輝度値で除算されて各画素の輝度値が規格化された補正蛍光画像が生成される。また、エラー画像判別部により、戻り光画像撮像条件(露光時間やゲイン、光源から出射される照明強度等)によって規格化され、規格化された戻り光画像の階調値に基づいて、補正蛍光画像の輝度値が予め設定された許容誤差範囲を超える領域であるエラー領域が判別され、該エラー領域が画像表示部に表示される。
上記のように、蛍光画像の各画素の輝度値を戻り光画像の各画素の輝度値で除算して、各画素の輝度値が規格化された補正蛍光画像を生成することで、観察距離や観察角度による蛍光強度への影響を排除することができ、病変領域の観察精度を向上することができる。
また、観察距離が近い場合には、照明光の戻り光および蛍光が表面散乱か内部散乱かの違いによって、戻り光画像による除算結果、すなわち補正蛍光画像の輝度値に大きな誤差が生じる。この場合に、エラー画像判別部により、戻り光画像撮像条件によって規格化して、エラー領域を判別することで、観察距離が近い場合にも、補正蛍光画像の輝度値が予め設定された許容誤差範囲を超える領域、すなわち不適切な補正が行われてしまう領域をエラー領域として表示させることができ、病変領域の見逃し等を防止することができる。
上記発明において、前記エラー画像判別部が、規格化された戻り光画像における階調値の大きい領域の面積を用いて前記エラー領域を判別することとしてもよい。
規格化された戻り光画像において階調値の大きい領域には、照明光が正反射することによって戻り光の強度が高い正反射領域も含まれる。そこで、この領域の面積を用いてエラー領域を判別することで、正反射領域を除いてエラー領域を判別することができ、エラー領域の判別精度を向上することができる。
上記発明において、前記画像表示部が、前記エラー画像判別部により判別された前記エラー領域を、前記戻り光画像生成部により生成された戻り光画像に重畳して表示することとしてもよい。
エラー領域を戻り光画像に重畳して表示することで、被検体の戻り光画像におけるエラー領域の位置を操作者が認識することができ、エラー領域における再観察を促して病変領域の見逃し等を防止することができる。
上記発明において、前記画像表示部が、前記エラー画像判別部により判別された前記エラー領域を、該エラー領域の周辺とは異なる色で着色して表示することとしてもよい。
エラー領域を異なる色で着色して表示することで、被検体の戻り光画像におけるエラー領域の位置を操作者にわかりやすく表示することができ、エラー領域における再観察を促して病変領域の見逃し等を防止することができる。
上記発明において、前記画像表示部が、前記エラー画像判別部により前記エラー領域が判別された場合には、画面上にエラー表示を行うこととしてもよい。
画面上にエラー表示を行うことで、エラー領域があることを操作者に認識させることができ、エラー領域における再観察を促して病変領域の見逃し等を防止することができる。
上記発明において、前記エラー画像判別部が、規格化された戻り光画像の周辺領域における階調値に基づいて前記エラー領域を判別することとしてもよい。
画像の周辺領域は体腔内壁からの反射光等により明るくなりやすいので、この周辺領域における階調値に基づいてエラー領域を判別することで、エラー領域を判別する際の演算量を減らし、高速な処理を行うことができる。
上記発明において、前記エラー画像判別部が、規格化された戻り光画像の周辺領域および中央領域における階調値に基づいて前記エラー領域を判別することとしてもよい。
画像の周辺領域は体腔内壁からの反射光等により明るくなりやすく、画像の中央領域は照明光の照射部からの距離が近いため明るくなりやすい。したがって、画像の周辺領域および中央領域における階調値に基づいてエラー領域を判別することで、エラー領域を判別する際の演算量を減らし、高速な処理を行うことができる。
上記発明において、前記エラー画像判別部が、規格化された戻り光画像における前記照明光の出射端近傍に対応する領域の階調値に基づいて前記エラー領域を判別することとしてもよい。
照明光の出射端近傍は明るくなりやすいため、戻り光画像における照明光の出射端近傍に対応する領域の階調値に基づいてエラー領域を判別することで、エラー領域を判別する際の演算量を減らし、高速な処理を行うことができる。
上記発明において、細長いスコープ(内視鏡スコープ)と、該スコープ内に設けられ、前記エラー領域の基準となるエラー判別条件を記憶する記憶部とを備え、前記エラー画像判別部が、前記記憶部から前記エラー判別条件を読み出して前記エラー領域を判別することとしてもよい。
エラー領域の基準となるエラー判別条件はスコープ毎に異なる。そこで、スコープにエラー判別条件を記憶する記憶部を設け、この記憶部からエラー画像判別部がエラー条件を読み出すことで、スコープ毎に適切なエラー判別条件を設定することができる。これにより、エラー領域の判別精度を向上することができる。
上記発明において、細長いスコープ(内視鏡スコープ)と、該スコープ内に設けられ、該スコープの情報を記憶するスコープ情報記憶部と、前記エラー領域の基準となるエラー判別条件を複数記憶するエラー判別条件記憶部とを備え、前記エラー画像判別部が、前記スコープ情報記憶部に記憶されたスコープの情報に基づいて、前記エラー判別条件記憶部に記憶された前記エラー判別条件を読み出して、前記エラー領域を判別することとしてもよい。
スコープ情報記憶部に記憶されたスコープの情報に基づいて、エラー判別条件記憶部に記憶されたエラー判別条件を読み出してエラー領域を判別することで、スコープ毎に適切なエラー判別条件を設定することができ、エラー領域の判別精度を向上することができる。
本発明によれば、観察距離が近い場合にも、蛍光画像に不適切な補正を行うことを防止して、病変領域の観察精度を向上することができるという効果を奏する。
本発明の第1の実施形態に係る蛍光観察装置の機能ブロック図である。 図1の励起光透過フィルタの透過率特性を示すグラフである。 図1の励起光カットフィルタの透過率特性を示すグラフである。 図1のモニタに表示される画面例である。 エラー領域を表示する際の処理を説明するフローチャートである。 エラー検出領域を説明する図であり、(a)は円形の画像例、(b)は八角形の画像例である。 エラー検出領域を説明する図であり、(a)は円形の画像例、(b)は八角形の画像例である。 エラー検出領域を説明する図であり、(a)は内視鏡の先端部の平面図、(b)の内視鏡に対応するエラー検出領域を説明する図である。 本発明の第2の実施形態に係る蛍光観察装置の機能ブロック図である。 図9の蛍光観察装置によるモニタに表示される画面例である。 本発明の第3の実施形態に係る蛍光観察装置の機能ブロック図である。 図11の変形例に係る蛍光観察装置の機能ブロック図である。 本発明の第4の実施形態に係る蛍光観察装置の機能ブロック図である。 図13の蛍光観察装置による処理を説明するフローチャートである。 補正蛍光画像の輝度値と観察距離との関係を示すグラフである。 規格化された白色光画像の信号値と観察距離との関係を示すグラフである。
[第1の実施形態]
本発明の第1の実施形態に係る蛍光観察装置1について、図面を参照して以下に説明する。ここでは、本実施形態に係る蛍光観察装置1を内視鏡装置に適用した例について説明する。
図1に示すように、蛍光観察装置1は、内視鏡10と、光源装置(光源部)17と、画像演算部20と、モニタ(画像表示部)43とを備えている。
内視鏡10は、体腔内に挿入される細長い挿入部を有しており、その内部にはライトガイドファイバ13が設けられている。ライトガイドファイバ13は、一端が内視鏡10の先端まで延び、他端が光源装置17に接続されている。これにより、光源装置17から射出された光が、内視鏡10の先端まで導かれて、体腔内の被検体Aに照射されるようになっている。
内視鏡10と画像演算部20とは、画像伝送ケーブル16によって接続されている。また、画像演算部20とモニタ43とは、モニタケーブル45によって接続されている。これにより、内視鏡10で取得した画像データは、画像伝送ケーブル16を伝わって画像演算部20に送られる。送られてきた画像データは、画像演算部20内で画像処理が施された後、モニタケーブル45によってモニタ43に伝送され、モニタ画面上に表示される。
次に、本実施形態の蛍光観察装置1の詳細な構成およびモニタ画面の表示を説明する。
図1に示すように、光源装置17の内部には、キセノンランプ(Xeランプ)21と、波長選択フィルタ22とが設置されている。Xeランプ21は、白色光および励起光を発生する。Xeランプ21から発せられた光は、波長選択フィルタ22を通過することで、設定された波長域のみの白色光と励起光が通過する。具体的には、図2に示すように、波長選択フィルタ22は、400nm〜750nmの波長域の光を透過させ、その他の波長域の光を反射するようになっている。
また、図1に示すように、内視鏡10の内部には、ライトガイドファイバ13と、白色光用カラーCCD23と、スプリッタ24と、照明光学系25と、撮像光学系26と、励起光カットフィルタ27と、蛍光用モノクロCCD28とが設けられている。
光源装置17から射出された白色光および励起光は、内視鏡10内のライトガイドファイバ13により導かれ、内視鏡10の先端に配置された照明光学系25によって被検体Aへ照射される。白色光が被検体Aに照射されることによって、被検体Aからの反射光が内視鏡10先端に配置された撮像光学系26に入射する。また、励起光が被検体Aに照射されることによって、被検体A上において蛍光が発生し、該蛍光が撮像光学系26に入射する。
スプリッタ24は、被検体Aからの反射光を透過させる一方、被検体Aにおいて発生した蛍光を反射するようになっている。このような特性を有することで、スプリッタ24は、撮像光学系26に入射した反射光と蛍光とを分離する。このとき蛍光の波長は、励起光の波長よりも長波長側にシフトしているため、励起光の波長よりも長波長側の光を反射するスプリッタを使用する。
励起光カットフィルタ27は、蛍光から励起光(反射光)を取り除くためのフィルタである。具体的には、図3に示すように、スプリッタ24は、765nm〜850nmの波長域の光を透過させ、その他の波長域の光を反射するようになっている。
励起光カットフィルタ27を通過させることで、蛍光は励起光(反射光)と完全に分離され、分離された蛍光は蛍光用モノクロCCD28により検出される。分離された蛍光は微弱であるため、蛍光用モノクロCCD28は白色光用カラーCCD23よりも高感度のものを用いる。この蛍光用モノクロCCD28によって検出された蛍光画像データは、画像伝送ケーブル16bを介して画像演算部20内の蛍光画像生成部30に送られる。
一方、スプリッタ24を透過した被検体Aからの反射光は、白色光用カラーCCD23により検出される。白色光用カラーCCD23によって検出された白色光画像データは、画像伝送ケーブル16aを介して画像演算部20内の白色光画像生成部29に送られる。
図1に示すように、画像演算部20は、白色光画像生成部(戻り光画像生成部)29と、蛍光画像生成部30と、蛍光画像補正部31と、エラー画像判別部32と、自動露光時間調整部33と、AGC(Automatic Gain Control)34と、後段処理部35と、エラー表示部36とを機能として備えている。
白色光画像生成部29は、白色光用カラーCCD23によって検出された白色光画像データから白色光画像を生成するようになっている。白色光画像生成部29は、生成した白色光画像を蛍光画像補正部31、エラー画像判別部32、および自動露光時間調整部33に送信するようになっている。
蛍光画像生成部30は、蛍光用モノクロCCD28によって検出された蛍光画像データから蛍光画像を生成するようになっている。蛍光画像生成部30は、生成した蛍光画像を蛍光画像補正部31およびAGC34に送信するようになっている。
蛍光画像補正部31は、蛍光画像生成部30により生成された蛍光画像における各画素の輝度値を、白色光画像生成部29により生成された白色光画像において蛍光画像の各画素に対応する各画素の輝度値で除算することで、各画素の輝度値が規格化された補正蛍光画像を生成するようになっている。蛍光画像補正部31は、生成した補正蛍光画像を後段処理部35に送信するようになっている。
自動露光時間調整部33は、白色光画像生成部29により生成された白色光画像の輝度値に基づいて白色光用カラーCCD23の露光時間を調整するようになっている。
AGC34は、蛍光画像生成部30により生成された蛍光画像の輝度値に基づいて蛍光用モノクロCCD28のゲインを調整するようになっている。
エラー画像判別部32は、白色光画像生成部29により生成された白色光画像を、白色光画像の撮像条件によって規格化し、規格化された白色光画像の階調値に基づいてエラー領域を判別するようになっている。ここで、白色光画像の撮像条件とは、例えば白色光用カラーCCD23の露光時間やゲイン、光源から出射される照明光強度である。
具体的には、エラー画像判別部32は、白色光画像生成部29により生成された白色光画像の各画素の輝度値を、自動露光時間調整部33により調整された白色光用カラーCCD23の露光時間で除算することで、白色光画像を、白色光画像の撮像条件によって規格化する。そして、規格化された白色光画像の階調値を観察距離に換算し、この観察距離が予め設定された閾値よりも小さな領域をエラー領域として判別するようになっている。なお、ここで、エラー領域とは、補正蛍光画像の輝度値が予め設定された許容誤差範囲を超える領域である。
また、エラー画像判別部32は、規格化された白色光画像における階調値の大きい領域の面積が、予め設定された面積(例えば1000ピクセル)よりも大きな場合に、この領域をエラー領域として判別するようになっている。
ここで、規格化された白色光画像において階調値の大きい領域には、照明光が正反射することによって白色光の強度が高い正反射領域も含まれる。そこで、上記のように、階調値の大きい領域の面積を用いてエラー領域を判別することで、正反射領域を除いてエラー領域を判別することができ、エラー領域の判別精度を向上することができる。
後段処理部35は、白色光画像生成部29により生成された白色光画像と、蛍光画像補正部31により生成された補正蛍光画像と、エラー画像判別部32により判別されたエラー領域とを合成し、合成画像を生成するようになっている。具体的には、後段処理部35は、画蛍光画像補正部31により生成された補正蛍光画像の階調値ごとに病変レベルを分ける。そして、後段処理部35は、所定のレベル以上の領域について、白色光画像のデータにスーパーインポーズを行い、病変部位の表示を行うようになっている。
エラー表示部36は、エラー画像判別部32によりエラー領域があることが判別された場合には、図4に示すように、モニタ43の画面上にエラー表示を行うようになっている。なお、エラー表示としては、図4に示すように、「Error(エラー)」の文字を表示させるだけでなく、この文字を点滅させたり、着色して表示させることとしてもよい。
画面上にエラー表示を行うことで、エラー領域がある、すなわち観察距離が近すぎることを操作者に認識させることができ、エラー領域における再観察を促して病変領域の見逃し等を防止することができる。
モニタ43は、後段処理部35により生成された画像およびエラー表示部36により生成されたエラー表示画像を画面上に表示させるようになっている。
また、モニタ43は、図示しない観察モード切替部により、複数の観察モードのうち、いずれの観察モードによる画像をモニタ43に表示させるかをユーザに設定させるようにしてもよい。ここで、複数の観察モードとは、例えば、白色光画像生成部29により生成された白色光画像A1をそのままモニタ43に表示させる観察モード(白色光画像観察モード)、後段処理部35により生成された合成画像A2をモニタ43に表示させる観察モード(合成画像観察モード)、および白色光画像A1および合成画像A2を同時に表示させる観察モード(2画像観察モード)である。
上記構成を有する蛍光観察装置1の作用について以下に説明する。
まず、本実施形態の蛍光観察装置1を使用して被検体Aの観察を始めると、光源装置17からの光がライトガイドファイバ13を介して被検体Aに照射される。これにより、白色光画像生成部29により被検体Aの反射光から生成した白色光画像が取得されるとともに、蛍光画像生成部30により被検体Aから発せられた蛍光から生成した蛍光画像が取得される。
次に、補正蛍光画像補正部31により、各画素について蛍光画像の輝度値を白色光画像の輝度値で除算することで補正蛍光画像が生成される。
この際、自動露光時間調整部33により白色光用カラーCCD23の露光時間が調整されるとともに、AGC34により蛍光用モノクロCCD28のゲインが調整される。
また、エラー画像判別部32によりエラー領域の判別が行われる。当該処理の詳細については後述する。
次に、後段処理部35により、補正蛍光画像と白色光画像とが合成される。また、エラー画像表示部36により、エラー画像判別部32によりエラー領域が判別された場合に、エラー表示画像が生成される。
このように生成された合成画像およびエラー表示画像は、設定された観察モードに応じてモニタ43に表示される。
以下に、エラー画像判別部32によるエラー領域の判別方法について、図5に示すフローチャートを用いて説明する。
前提として、エラー判別が行われる観察距離、すなわち白色光画像の階調値を白色光用カラーCCD23の露光時間で除算した規格化された白色画像の階調値が予め設定されている。
まず、白色光用カラーCCD23の露光時間から、エラー判別が行われる規格化された白色光画像の階調値(閾値階調値)が算出される(ステップS1)。
次に、規格化された白色光画像において、前述の閾値階調値を超える階調値を有する領域が抽出される(ステップS2)。
次に、このように抽出された領域の面積が、予め設定された面積(例えば1000ピクセル)よりも大きいか否かが判別される(ステップS3)。
ステップS3において、抽出された領域の面積が予め設定された面積よりも大きいと判別された場合には、エラー距離、すなわち観察距離が近過ぎると判断され、エラー表示部36にエラー表示を行う旨の信号が送信される(ステップS4)。
一方、ステップS3において、抽出された領域の面積が予め設定された面積よりも小さいと判別された場合には、抽出された領域が正反射領域であると判断され、モニタ43に合成画像がそのまま表示される(ステップS5)。
以上のように、本実施形態に係る蛍光観察装置1によれば、蛍光画像の各画素の輝度値を白色光画像の各画素の輝度値で除算して、各画素の輝度値が規格化された補正蛍光画像を生成し、この補正蛍光画像に基づいて被検体Aの状態を表示することで、観察距離や観察角度による蛍光強度への影響を排除して被検体Aの状態を判定することができ、病変領域の観察精度を向上することができる。
また、観察距離が近い場合には、照明光の白色光および蛍光が表面散乱か内部散乱かの違いによって、白色光画像による除算結果、すなわち補正蛍光画像の輝度値に大きな誤差が生じる。この場合に、エラー画像判別部32により、白色光画像を、白色光画像の撮像条件によって規格化して、エラー領域を判別することで、観察距離が近い場合にも、補正蛍光画像の輝度値が予め設定された許容誤差範囲を超える領域、すなわち不適切な補正が行われてしまう領域をエラー領域として表示させることができ、病変領域の見逃し等を防止することができる。
また、モニタ43が、エラー画像判別部32により判別されたエラー領域を、白色光画像生成部29により生成された白色光画像に重畳して表示することで、被検体Aの白色光画像におけるエラー領域の位置を操作者が認識することができ、エラー領域における再観察を促して病変領域の見逃し等を防止することができる。
なお、本実施形態に係る蛍光観察装置1において、図6(a)および図6(b)に示すように、エラー画像判別部32が、規格化された白色光画像の周辺領域A5における階調値に基づいてエラー領域を判別することとしてもよい。
画像の周辺領域A5は体腔内壁からの反射光等により明るくなりやすいので、この周辺領域A5における階調値に基づいてエラー領域を判別することで、エラー領域を判別する際の演算量を減らし、高速な処理を行うことができる。
また、図7(a)および図7(b)に示すように、エラー画像判別部32が、規格化された白色光画像の周辺領域A5および中央領域A6における階調値に基づいてエラー領域を判別することとしてもよい。
画像の周辺領域A5は体腔内壁からの反射光等により明るくなりやすく、画像の中央領域A6は照明光の照射部からの距離が近いため明るくなりやすい。したがって、画像の周辺領域A5および中央領域A6における階調値に基づいてエラー領域を判別することで、エラー領域を判別する際の演算量を減らし、高速な処理を行うことができる。
また、図8(a)および図8(b)に示すように、エラー画像判別部32が、規格化された白色光画像における照明光の出射端近傍(ライトガイドファイバ13の先端)に対応する領域A7の階調値に基づいてエラー領域を判別することとしてもよい。ここで、図8(a)は内視鏡10の先端面の平面図、図8(b)は被検体Aの画像を示している。
照明光の出射端近傍は明るくなりやすいため、白色光画像における照明光の出射端近傍に対応する領域A7の階調値に基づいてエラー領域を判別することで、エラー領域を判別する際の演算量を減らし、高速な処理を行うことができる。
[第2の実施形態]
次に、本発明の第2の実施形態に係る蛍光観察装置2について図面を参照して説明する。本実施形態の説明において、第1の実施形態に係る蛍光観察装置1と共通する点については説明を省略し、異なる点について主に説明する。
本実施形態に係る蛍光観察装置2が第1の実施形態に係る蛍光観察装置1と異なる点は、エラー領域を着色して表示する点である。
図9に示すように、本実施形態に係る蛍光観察装置2において、画像演算部20は、白色光画像生成部(戻り光画像生成部)29と、蛍光画像生成部30と、蛍光画像補正部31と、エラー画像判別部32と、自動露光時間調整部33と、AGC(Automatic Gain Control)34と、後段処理部(状態判定部)35とを機能として備えている。
後段処理部35は、白色光画像生成部29により生成された白色光画像と、蛍光画像補正部31により生成された補正蛍光画像と、エラー画像判別部32により判別されたエラー領域とを合成し、合成画像を生成するようになっている。具体的には、後段処理部35は、画蛍光画像補正部31により生成された補正蛍光画像の階調値ごとに病変レベルを分け、病変レベル毎に疑似カラー化を行う。また、エラー画像判別部32により判別されたエラー領域については、エラー領域以外の領域とは異なる色(例えばグレーや黄色)で着色する。
このように疑似カラー化および着色された画像を合成することで、図10に示すように、モニタ43上に、被検体Aを正常領域B1と病変領域B2とエラー領域B3とに色分けして表示することができる。
上記のように、エラー領域B3を異なる色で着色して表示することで、被検体Aの白色光画像におけるエラー領域B3の位置を操作者にわかりやすく表示することができ、エラー領域B3における再観察を促して病変領域B2の見逃し等を防止することができる。
[第3の実施形態]
次に、本発明の第3の実施形態に係る蛍光観察装置3について図面を参照して説明する。本実施形態の説明において、第1の実施形態に係る蛍光観察装置1と共通する点については説明を省略し、異なる点について主に説明する。
本実施形態に係る蛍光観察装置3が第1の実施形態に係る蛍光観察装置1と異なる点は、取り付けられるスコープ(内視鏡スコープ)毎にエラー判別条件を設定する点である。
図11に示すように、本実施形態に係る蛍光観察装置3において、画像演算部20は、白色光画像生成部(戻り光画像生成部)29と、蛍光画像生成部30と、蛍光画像補正部31と、エラー画像判別部32と、自動露光時間調整部33と、AGC(Automatic Gain Control)34と、後段処理部(状態判定部)35と、エラー表示部36と、スコープ情報読出部51とを機能として備えている。
また、内視鏡10は、図1に示す構成要素の他、スコープ情報保持部(記憶部)11を備えている。
スコープ情報保持部11は、例えばICチップであり、スコープ毎に特有のエラー領域を判別するためのエラー判別条件が保存されている。ここで、エラー判別条件は、例えば規格化された白色光画像の階調値である。
スコープ情報読出部51は、スコープ情報保持部11から保存されているスコープ毎のエラー判別条件を読み出し、スコープ毎のエラー判別条件をエラー画像判別部32に送信するようになっている。
エラー画像判別部32は、スコープ情報読出部51から送信されたスコープ毎のエラー判別条件に基づいてエラー領域を判別するようになっている。具体的には、エラー画像判別部32は、白色光画像生成部29により生成された白色光画像の各画素の輝度値を、自動露光時間調整部33により調整された白色光用カラーCCD23の露光時間で除算することで、白色光画像を、白色光画像の撮像条件によって規格化する。そして、規格化された白色光画像の階調値が、スコープ情報読出部51から送信された階調値よりも大きな領域をエラー領域として判別するようになっている。
エラー領域の基準となるエラー判別条件はスコープ毎に異なる。そこで、本実施形態に係る蛍光観察装置3のように、スコープ情報保持部11からスコープ情報読出部51を介してエラー画像判別部32がエラー判別条件を読み出すことで、スコープ毎に適切なエラー判別条件を設定することができる。これにより、エラー領域の判別精度を向上することができる。
[変形例]
以下に、本実施形態に係る蛍光観察装置3の変形例について説明する。
図12に示すように、本変形例に係る蛍光観察装置3’において、画像演算部20は、白色光画像生成部(戻り光画像生成部)29と、蛍光画像生成部30と、蛍光画像補正部31と、エラー画像判別部32と、自動露光時間調整部33と、AGC(Automatic Gain Control)34と、後段処理部(状態判定部)35と、エラー表示部36と、スコープ情報読出部51と、エラー条件保存部(エラー判別条件記憶部)52とを機能として備えている。
また、内視鏡10は、図1に示す構成要素の他、スコープ情報保持部(スコープ情報記憶部)11を備えている。
スコープ情報保持部11は、例えばICチップであり、スコープ毎に特有の識別番号が保存されている。
スコープ情報読出部51は、スコープ情報保持部11から保存されているスコープ毎の特有の識別番号を読み出し、スコープの情報をエラー条件保存部52に送信するようになっている。
エラー条件保存部52は、スコープ情報読出部51から送信されたスコープの情報に基づいて、エラー領域を判別するためのエラー判別条件を設定するようになっている。具体的には、エラー条件保存部52は、スコープの情報と、規格化された白色光画像においてエラー領域として判別する階調値とが対応付けられたテーブルを有しており、スコープ情報読出部51から送信されたスコープの情報に対応する階調値を、エラー領域として判別するエラー判別条件として設定するようになっている。エラー条件保存部52は、このように設定したエラー判別条件をエラー画像判別部32に送信するようになっている。
本変形例に係る蛍光観察装置3’によれば、スコープ情報保持部11に記憶されたスコープの情報に基づいて、エラー条件保存部52に記憶されたエラー判別条件を読み出してエラー領域を判別することで、スコープ毎に適切なエラー判別条件を設定することができ、エラー領域の判別精度を向上することができる。
[第4の実施形態]
次に、本発明の第4の実施形態に係る蛍光観察装置4について図面を参照して説明する。本実施形態の説明において、第1の実施形態に係る蛍光観察装置1と共通する点については説明を省略し、異なる点について主に説明する。
本実施形態に係る蛍光観察装置4が第1の実施形態に係る蛍光観察装置1と異なる点は、エラー領域を判別するためのエラー判別条件を自動的に設定する点である。
図13に示すように、本実施形態に係る蛍光観察装置4は、図1に示す構成要素の他、標準試料Fを載置するステージ55と、ステージ55を内視鏡10の光軸に沿う方向に移動させる距離移動部56と、距離移動部56によるステージ55の移動距離を検出する距離情報入力部57とを備えている。
また、本実施形態に係る蛍光観察装置4において、画像演算部20は、白色光画像生成部(戻り光画像生成部)29と、蛍光画像生成部30と、蛍光画像補正部31と、エラー画像判別部32と、自動露光時間調整部33と、AGC(Automatic Gain Control)34と、後段処理部(状態判定部)35と、エラー表示部36と、エラー範囲決定部58とを機能として備えている。
上記構成を有する蛍光観察装置4の作用について図14に示すフローチャートを用いて以下に説明する。
まず、自然数n=0と設定する(ステップS11)。
次に、n=n+1と設定し(ステップS12)、観察距離Dを設定する(ステップS13)。この際、蛍光観察装置4と標準試料Fとの距離を一定の距離に離す。また、2回目以降は、これまで観察した距離ではない距離に設定する。
次に、白色光画像生成部29により標準試料Fの反射光から生成した白色光画像が取得されるとともに、蛍光画像生成部30により標準試料Fから発せられた蛍光から生成した蛍光画像が取得される(ステップS14)。なお、白色光画像と蛍光画像を生成する順番はどちらからでもよく、また同時に行うこととしてもよい。
次に、補正蛍光画像補正部31により、各画素について蛍光画像の輝度値を白色光画像の輝度値で除算することで補正蛍光画像が生成される(ステップS15)。
次に、エラー画像判別部32により、白色光画像生成部29により生成された白色光画像の各画素の輝度値が、自動露光時間調整部33により調整された白色光用カラーCCD23の露光時間で除算されることで、白色光画像撮像条件によって規格化される(ステップS16)。
次に、規格化された白色光画像の関心領域における平均輝度値と、補正蛍光画像の関心領域における平均輝度値とが算出され(ステップS17)、図15および図16に示すように、これらの算出結果がグラフ上のプロットされる(ステップS18)。ここで、図15は補正蛍光画像の輝度値と観察距離Dとの関係を示すグラフであり、図16は規格化された白色光画像の信号値と観察距離Dとの関係を示すグラフである。
このステップS12からステップS18までの処理が予め設定されたa回繰り返される(ステップS19)。ここで、aは予め設定された2以上の整数である。
次に、補正蛍光画像と白色光画像のそれぞれについて、図15および図16に示すように、累乗近似により各プロット点の近似曲線を求める(ステップS20)。
次に、補正蛍光画像の平均輝度値を算出する(ステップS21)。
次に、図15に示すように、その輝度値が、補正後蛍光画像の平均輝度値から許容誤差範囲を超えた値になる観察距離D10を設定する(ステップS22)。
次に、図16に示すように、規格化した白色光画像において観察距離D10となる信号値をエラーの閾値として設定する(ステップS23)。
そして、このように設定したエラーの閾値をエラー画像判別部32に送信する(ステップS24)。
以上のように、本実施形態に係る蛍光観察装置4によれば、標準試料Fを載置するステージ55を距離移動部56により移動させ、その際の観察距離Dと補正蛍光画像および白色光画像における輝度値との関係からエラー領域を判別するための閾値を設定することができる。これにより、適切なエラー判別条件を設定することができ、エラー領域の判別精度を向上することができる。
以上、本発明の各実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、各実施形態において、本発明に係る蛍光観察装置を内視鏡装置に適用した例を説明したが、顕微鏡装置等に適用することとしてもよい。
また、各実施形態において、照明光として白色光を用いた例を説明したが、白色光に限定されるものではなく、励起光の反射光などでもよい。
また、白色光画像生成部29は、被検体Aからの反射光から白色光画像を生成することとして説明したが、被検体Aの自家蛍光等の戻り光から戻り光画像を生成することとしてもよい。
また、各実施形態において、白色光画像生成部29で生成される白色光画像の各画素の輝度値を調整するために、自動露光時間調整部33を設けた例を説明したが、これに代えて光源装置17から出射される光量を調整する調光部を光源装置17内に設けてもよい。この場合、エラー画像判別部32では、光源装置17から出射される照明光強度で規格化した白色光画像の階調値でエラー領域を判別することとしてもよい。
1,2,3,3’,4 蛍光観察装置
10 内視鏡
11 スコープ情報保持部(スコープ情報記憶部、記憶部)
17 光源装置(光源部)
20 画像演算部
29 白色光画像生成部(戻り光画像生成部)
30 蛍光画像生成部
31 蛍光画像補正部
32 エラー画像判別部
33 自動露光時間調整部
34 AGC(Automatic Gain Control)
35 後段処理部(状態判定部)
36 エラー表示部
43 モニタ(画像表示部)
51 スコープ情報読出部
52 エラー条件保存部(エラー判別条件記憶部)
A 被検体

Claims (10)

  1. 被検体に照射する照明光および励起光を発生する光源部と、
    該光源部からの励起光の照射によって前記被検体において発生した蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、
    前記光源部からの照明光の照射によって前記被検体から戻る戻り光を撮影して戻り光画像を生成する戻り光画像生成部と、
    前記蛍光画像生成部により生成された蛍光画像における各画素の輝度値を、前記戻り光画像生成部により生成された戻り光画像における各画素の輝度値で除算して、各画素の輝度値が規格化された補正蛍光画像を生成する蛍光画像補正部と、
    前記戻り光画像生成部により生成された戻り光画像を、該戻り光画像の撮像条件によって規格化し、規格化された戻り光画像の階調値に基づいて、前記補正蛍光画像の輝度値が予め設定された許容誤差範囲を超える領域であるエラー領域を判別するエラー画像判別部と、
    該エラー画像判別部により判別された前記エラー領域を表示する画像表示部とを備える蛍光観察装置。
  2. 前記エラー画像判別部が、規格化された戻り光画像における階調値の大きい領域の面積を用いて前記エラー領域を判別する請求項1に記載の蛍光観察装置。
  3. 前記画像表示部が、前記エラー画像判別部により判別された前記エラー領域を、前記戻り光画像生成部により生成された戻り光画像に重畳して表示する請求項1または請求項2に記載の蛍光観察装置。
  4. 前記画像表示部が、前記エラー画像判別部により判別された前記エラー領域を、該エラー領域の周辺とは異なる色で着色して表示する請求項3に記載の蛍光観察装置。
  5. 前記画像表示部が、前記エラー画像判別部により前記エラー領域が判別された場合には、画面上にエラー表示を行う請求項1から請求項4のいずれかに記載の蛍光観察装置。
  6. 前記エラー画像判別部が、規格化された戻り光画像の周辺領域における階調値に基づいて前記エラー領域を判別する請求項1から請求項5のいずれかに記載の蛍光観察装置。
  7. 前記エラー画像判別部が、規格化された戻り光画像の周辺領域および中央領域における階調値に基づいて前記エラー領域を判別する請求項1から請求項5のいずれかに記載の蛍光観察装置。
  8. 前記エラー画像判別部が、規格化された戻り光画像における前記照明光の出射端近傍に対応する領域の階調値に基づいて前記エラー領域を判別する請求項1から請求項5のいずれかに記載の蛍光観察装置。
  9. 細長いスコープと、
    該スコープ内に設けられ、前記エラー領域の基準となるエラー判別条件を記憶する記憶部とを備え、
    前記エラー画像判別部が、前記記憶部から前記エラー判別条件を読み出して前記エラー領域を判別する請求項1から請求項8のいずれかに記載の蛍光観察装置。
  10. 細長いスコープと、
    該スコープ内に設けられ、該スコープの情報を記憶するスコープ情報記憶部と、
    前記エラー領域の基準となるエラー判別条件を複数記憶するエラー判別条件記憶部とを備え、
    前記エラー画像判別部が、前記スコープ情報記憶部に記憶されたスコープの情報に基づいて、前記エラー判別条件記憶部に記憶された前記エラー判別条件を読み出して、前記エラー領域を判別する請求項1から請求項8のいずれかに記載の蛍光観察装置。
JP2010067020A 2010-03-23 2010-03-23 蛍光観察装置 Expired - Fee Related JP5484977B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010067020A JP5484977B2 (ja) 2010-03-23 2010-03-23 蛍光観察装置
CN201180014103.8A CN102802493B (zh) 2010-03-23 2011-02-04 荧光观察装置
PCT/JP2011/052316 WO2011118263A1 (ja) 2010-03-23 2011-02-04 蛍光観察装置
US13/603,957 US9332897B2 (en) 2010-03-23 2012-09-05 Fluorescence-imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010067020A JP5484977B2 (ja) 2010-03-23 2010-03-23 蛍光観察装置

Publications (2)

Publication Number Publication Date
JP2011194165A JP2011194165A (ja) 2011-10-06
JP5484977B2 true JP5484977B2 (ja) 2014-05-07

Family

ID=44672837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010067020A Expired - Fee Related JP5484977B2 (ja) 2010-03-23 2010-03-23 蛍光観察装置

Country Status (4)

Country Link
US (1) US9332897B2 (ja)
JP (1) JP5484977B2 (ja)
CN (1) CN102802493B (ja)
WO (1) WO2011118263A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242650B2 (en) 2011-12-06 2019-03-26 Dolby Laboratories Licensing Corporation Perceptual luminance nonlinearity-based image data exchange across different display capabilities
KR101865543B1 (ko) * 2011-12-06 2018-06-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 상이한 디스플레이 능력들을 통한 지각적 휘도 비선형성―기반 이미지 데이터 교환을 향상시키는 디바이스
WO2014091964A1 (ja) * 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
AU2016211981A1 (en) * 2015-01-31 2017-07-27 F. Hoffmann-La Roche Ag Quality control of automated whole-slide analysis
CN112040830B (zh) * 2018-06-19 2024-08-23 奥林巴斯株式会社 内窥镜图像处理装置、内窥镜图像处理方法和记录介质
JP7281308B2 (ja) * 2019-03-07 2023-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP7558057B2 (ja) 2020-03-18 2024-09-30 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察システム、医療用画像処理装置の作動方法およびプログラム
CN111803013A (zh) * 2020-07-21 2020-10-23 深圳市博盛医疗科技有限公司 一种内窥镜成像方法和内窥镜成像系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62247232A (ja) 1986-04-21 1987-10-28 Agency Of Ind Science & Technol 蛍光測定装置
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
JP4298151B2 (ja) * 2000-01-13 2009-07-15 富士フイルム株式会社 蛍光画像表示方法および装置
US7123756B2 (en) * 2001-04-27 2006-10-17 Fuji Photo Film Co., Ltd. Method and apparatus for standardized fluorescence image generation
JP2002336187A (ja) * 2001-05-18 2002-11-26 Fuji Photo Film Co Ltd 規格化蛍光画像生成方法および装置
JP3862582B2 (ja) * 2001-06-29 2006-12-27 富士フイルムホールディングス株式会社 蛍光画像取得方法および装置並びにプログラム
JP2003159210A (ja) * 2001-11-29 2003-06-03 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
JP4142326B2 (ja) * 2002-04-05 2008-09-03 Hoya株式会社 自家蛍光を利用した診断システム
US20040208385A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for visually enhancing images
JP2006175052A (ja) * 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
CA2595213C (en) * 2005-01-21 2014-10-28 Perceptronix Medical Inc. Method and apparatus for measuring cancerous changes from reflectance spectral measurements obtained during endoscopic imaging
JP5074044B2 (ja) * 2007-01-18 2012-11-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP5396004B2 (ja) * 2007-01-31 2014-01-22 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法

Also Published As

Publication number Publication date
WO2011118263A1 (ja) 2011-09-29
US9332897B2 (en) 2016-05-10
CN102802493A (zh) 2012-11-28
US20120330165A1 (en) 2012-12-27
CN102802493B (zh) 2015-03-18
JP2011194165A (ja) 2011-10-06

Similar Documents

Publication Publication Date Title
JP5484977B2 (ja) 蛍光観察装置
US9906739B2 (en) Image pickup device and image pickup method
CN110325100B (zh) 内窥镜系统及其操作方法
US9872610B2 (en) Image processing device, imaging device, computer-readable storage medium, and image processing method
EP2108300B1 (en) Fluorescence observation device
US7123756B2 (en) Method and apparatus for standardized fluorescence image generation
US8295917B2 (en) Fluorescence endoscope and fluorometry method
EP2384686B1 (en) Fluorescence image device and operation method
JP4895750B2 (ja) 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
US20070073104A1 (en) Electronic endoscope system
EP2628437A1 (en) Endoscope system, processor device thereof, and image producing method
US8639011B2 (en) Fluoroscopy apparatus
US20040148141A1 (en) Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
US9211057B2 (en) Image pickup system and endoscope system
JP2006192009A (ja) 画像処理装置
JP2006034415A (ja) 電子内視鏡システム
EP3081144A1 (en) Light source unit for endoscope and endoscopy system
JP4864325B2 (ja) 画像処理装置
JP2007215927A (ja) 内視鏡プロセッサ、擬似カラー画像生成プログラム、及び蛍光内視鏡システム
WO2012002320A1 (ja) 画像処理装置および画像処理方法
JP2006192058A (ja) 画像処理装置
JP2002074330A (ja) 蛍光診断画像表示装置
JP2020185202A (ja) 撮像装置
JPWO2014024530A1 (ja) 走査型内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140219

R151 Written notification of patent or utility model registration

Ref document number: 5484977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees