Nothing Special   »   [go: up one dir, main page]

JP4468642B2 - Confocal laser scanning microscope apparatus and sample information recording method - Google Patents

Confocal laser scanning microscope apparatus and sample information recording method Download PDF

Info

Publication number
JP4468642B2
JP4468642B2 JP2003063040A JP2003063040A JP4468642B2 JP 4468642 B2 JP4468642 B2 JP 4468642B2 JP 2003063040 A JP2003063040 A JP 2003063040A JP 2003063040 A JP2003063040 A JP 2003063040A JP 4468642 B2 JP4468642 B2 JP 4468642B2
Authority
JP
Japan
Prior art keywords
laser light
light source
laser
fluorescence
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003063040A
Other languages
Japanese (ja)
Other versions
JP2004271946A (en
Inventor
朗 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003063040A priority Critical patent/JP4468642B2/en
Publication of JP2004271946A publication Critical patent/JP2004271946A/en
Application granted granted Critical
Publication of JP4468642B2 publication Critical patent/JP4468642B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、共焦点レーザ走査型顕微鏡装置に関する技術分野に属する。
【0002】
【従来の技術】
従来、走査型顕微鏡装置として、光源からのレーザ光を対物レンズにより微小なスポット光に絞り、このスポット光により観察試料上を走査し、その観察試料からの光、例えば透過光、反射光、又は蛍光等を、フォトマルチプライヤ等の光電変換器により電気信号に変換し、画像モニター上に観察画像を表示するレーザ走査型顕微鏡装置が知られている。
【0003】
一方、最近では、神経科学や細胞生物学分野における研究手法として、イオン感受性指示薬を用いて細胞内遊離イオン濃度を定量する方法が急速に広がっている。例えば、細胞内のカルシウムイオン濃度の測定では、サンプルである細胞にカルシウムイオン感受性指示薬である蛍光試薬 fura-2 を用いた蛍光計測が行われる。この蛍光計測では、細胞の特定領域を異なる2つの波長(340nm、380nm)で励起し、刺激物質( Bradykinin )を投与後、それぞれの蛍光強度の比を求めることにより定量し、その強度変化の分光蛍光光度計による測定や顕微鏡による観察等といったことが行われる。
【0004】
また、特許文献1には、前述の蛍光試薬 fura-2 を用いたカルシウムイオン濃度の測定を行う蛍光顕微鏡装置が開示されている。この蛍光顕微鏡装置は、透過波長の異なる複数の干渉フィルタを任意に切り換えることにより、光源からの光のうち、その切り換えられたフィルタにより透過された波長の光のみをサンプルに照射させ、そのサンプルからの光を撮像し画像処理する等して試料像を取得するようにし、蛍光試薬 fura-2 を用いた2波長励起1波長蛍光測定等のような、波長の異なる複数の光を励起光として用いる測定を行えるようにしたものである。
【0005】
【特許文献1】
特開平2−28542号公報
【0006】
【発明が解決しようとする課題】
しかしながら、特許文献1には、共焦点レーザ走査型顕微鏡装置を用いてその測定を行う場合の構成については何も開示されておらず、単に光学的に二次元像を取得する通常の光学顕微鏡装置を用いた場合の構成が開示されているだけである。
【0007】
また、従来において、共焦点レーザ走査型顕微鏡装置を用いて、前述の2波長励起1波長蛍光測定等のような波長の異なる複数の光を励起光として用いる測定を行う場合の構成は何も開示されていなかった。
本発明の課題は、上記実情に鑑み、波長等が異なる複数の光を励起光として用いる測定に適用可能な共焦点レーザ走査型顕微鏡装置及び試料情報記録方法を提供することである。
【0008】
【課題を解決するための手段】
本発明の第一の態様は、第1及び第2のレーザ光源と、該第1及び第2のレーザ光源のいずれか一方を選択するレーザ光源選択手段と、該レーザ光源選択手段により選択された前記一方のレーザ光源からのレーザ光をスポット光として試料上に走査する走査手段と、前記試料からの光をアナログ電気信号に変換する第1の光電変換手段と、前記アナログ電気信号をデジタル電気信号に変換するA/D変換手段と、前記デジタル電気信号が記録される記録手段と、を備え、前記走査手段による1画素走査毎に、各画素の走査中に前記第1のレーザ光源が選択された第1の状態と前記第2のレーザ光源が選択された第2の状態とを切り替え、前記第1の状態で生じる第1の蛍光が変換された前記デジタル電気信号は、前記1画素走査毎に、前記記録手段において、前記第1のレーザ光源に対して予め定められている第1のアドレス群の中の対応するアドレスに記録され、前記第2の状態で生じる第2の蛍光が変換された前記デジタル電気信号は、前記1画素走査毎に、前記記録手段において、前記第2のレーザ光源に対して予め定められている前記第1のアドレス群とは異なる第2のアドレス群の中の対応するアドレスに記録される、共焦点レーザ走査型顕微鏡装置である。
【0009】
上記の構成によれば、選択対象となるレーザ光源が変更されることにより、試料に照射される光が切り換えられ、また記録手段において試料からの光に応じたデジタル電気信号が予めレーザ光源毎に定められているアドレスの中の対応するアドレスに記録されるようになる。これにより、複数のレーザ光源を用いて試料に照射する光を高速に切り換えながら試料からの光に応じたデジタル電気信号を正しく記録することができると共に、試料からの光に応じた画像情報を容易に構築することができる。よって、波長等が異なる複数の光を励起光として用いる測定に共焦点レーザ走査型顕微鏡装置を適用することが可能になる。
【0010】
本発明の第二の態様は、上記第一の態様において、前記レーザ光源選択手段によるレーザ光源の選択に同期して当該レーザ光源の強度を変更する、構成である。
この構成によれば、レーザ光源の選択に同期してレーザ光源の強度を適切な強度(例えば、より強い強度)に変更することによって、1つのレーザ光源からの光を連続的に試料に照射した場合に比べて1レーザ光源当たりの試料への光の照射光量が減少するのを防止することができる。
【0011】
本発明の第三の態様は、上記第一の態様において、前記記録手段には、前記デジタル電気信号と当該デジタル電気信号の基となる光を出射したレーザ光源の強度が関連付けされて記録される、構成である。
この構成によれば、試料からの光に応じたデジタル電気信号とそれに関連付けされたレーザ光源の強度に基づいて、そのレーザ光源から出射された光の輝度変動を補正したデジタル電気信号を取得することができる。
【0012】
本発明の第四の態様は、走査手段による1画素走査毎に、各画素の走査中に第1のレーザ光源が選択された第1の状態と第2のレーザ光源が選択された第2の状態とを切り替え、該選択されたレーザ光源からのレーザ光をスポット光として試料上に走査し、前記試料からの光をアナログ電気信号に変換し、前記アナログ電気信号をデジタル電気信号に変換し、前記第1の状態で生じる第1の蛍光が変換された前記デジタル電気信号を、前記1画素走査毎に、メモリ上の、前記第1のレーザ光源に対して予め定められている第1のアドレス群の中の対応するアドレスに記録し、前記第2の状態で生じる第2の蛍光が変換された前記デジタル電気信号を、前記1画素走査毎に、前記メモリ上の、前記第2のレーザ光源に対して予め定められている前記第1のアドレス群とは異なる第2のアドレス群の中の対応するアドレスに記録する、共焦点レーザ走査型顕微鏡装置の試料情報記録方法である。
【0013】
上記の方法によれば、上記第一の態様と同様の作用・効果を得る。
本発明の第五の態様は、前記第1の蛍光と前記第2の蛍光は、いずれも同一の前記第1の光電変換手段に入射する、共焦点レーザ走査型顕微鏡装置である。
本発明の第六の態様は、さらに、前記レーザ光の輝度を取得するための第2の光電変換手段を含み、前記記録手段には、前記第1の光電変換手段の出力から得られる前記蛍光が変換された前記デジタル電気信号と、前記第2の光電変換手段の出力から得られる前記レーザ光が変換された輝度信号と、が関連付けて記録される、共焦点レーザ走査型顕微鏡装置である。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
図1は、本発明の一実施の形態に係る共焦点レーザ走査型顕微鏡装置の構成例を示した図である。
【0015】
同図において、共焦点レーザ走査型顕微鏡装置は、顕微鏡本体1、コンピュータ2、操作パネル3、レーザ光源装置4、及び画像モニター5等を含んで構成され、顕微鏡本体1、操作パネル3、レーザ光源装置4、及び画像モニター5は、それぞれコンピュータ2に接続されている。
【0016】
レーザ光源装置4は、半導体レーザのようなレーザ強度を変更可能な複数のレーザ光源とAOTF(音響光学素子)或いはAOM/EOM等の光学素子及びシャッター等を含むレーザ光源切換装置401等を備えており、コンピュータ2の制御の基に、出射させるレーザ光の切り換えや、そのレーザ光を出射するレーザ光源の強度を変更する。尚、観察等に使用されるレーザ光は、観察者が操作パネル3を介して指示することによって設定される。また、前述のレーザ光の切り換えは、レーザ光源装置4が、観察者により設定されたレーザ光を出射するレーザ光源の中から所定のレーザ光源を選択することによって行われる。すなわち、レーザ光源装置4がレーザ光源の選択対象を変更することによってレーザ光の切り換えが行われる。
【0017】
顕微鏡本体1は、励起用ダイクロイックミラー101、走査ユニット102、レボルバ103、対物レンズ104、ステージ105、ダイクロイックミラー107、レンズ108、コンフォーカルアパーチャ109、及び光電変換器110等を含んで構成されている。顕微鏡本体1において、レーザ光源装置4から出射されたレーザ光は、励起用ダイクロイックミラー101により反射され、走査ユニット102に入射される。走査ユニット102は、X軸方向走査用のガルバノメータミラーとY軸方向走査用のガルバノメータミラー等を有し、励起用ダイクロイックミラー101により反射されたレーザ光を、コンピュータ2から出力される走査制御信号に従ってXY走査すると共に、X軸方向走査による1ラインの走査毎に走査制御終了信号をコンピュータ2へ出力する。走査ユニット102によりXY走査されたレーザ光は、レボルバ103に取り付けられた対物レンズ104を介して、ステージ105上に載置された観察試料106上にスポット光として照射される。このスポット光による観察試料106からの光(反射光、透過光、又は蛍光等)は、入射光路に戻され、ダイクロイックミラー107により反射されて、レンズ108により集光される。レンズ108による集光位置には、コンフォーカルアパーチャ109が配置され、共焦点光学系を形成している。コンフォーカルアパーチャ109を通過した光は、フォトマルチプライヤ等の光電変換器110に入力され、アナログ電気信号に変換されて、コンピュータ2へ入力される。
【0018】
コンピュータ2は、計算・処理部2a、A/D変換部2b、メモリ2c、及び制御プログラム2dが記録されている記録媒体(不図示)等を備えている。
A/D変換部2bは、光電変換器110から出力された、観察試料106に応じたアナログ電気信号をデジタル電気信号に変換する。
【0019】
メモリ2cは、位置情報のメモリ領域と画像メモリ領域とを有し、位置情報のメモリ領域には、走査最終ライン位置等が記録され、画像メモリ領域には、A/D変換部2bによりA/D変換されたデジタル電気信号、すなわち観察試料106に応じた画像情報が記録される。例えば、画像メモリ領域には、1024画素×768画素×12ビット(4096階調)の画素に対応する画像情報が記録される。
【0020】
計算・処理部2aは、いわゆるCPU(中央演算処理部)であり、不図示の記録媒体に記録されている制御プログラム2dを読み込み実行することによって、この共焦点レーザ走査型顕微鏡装置全体の動作を制御する。例えば、操作パネル3を介して通知された観察者からの走査開始指示に応じて、走査制御信号を走査ユニット102へ出力し、光電変換器110から出力された観察試料106に応じたアナログ電気信号を、A/D変換部2bによりデジタル電気信号(画像情報)に変換させてメモリ2cに転送し、そのメモリ2cに転送された画像情報を画像モニター5へ出力し、その画像情報に応じた画像(観察試料像)を画像モニター5に表示させる等の処理を行う。また、その他、操作パネル3を介して通知された観察者からの指示に応じて、走査メニュー等を画像モニター5に表示させる処理や、A/D変換部2bのゲイン,オフセット等の設定処理や、光電変換器110の印加電圧,ゲイン,オフセット等の設定処理や、走査ユニット102の各種設定処理や、観察等に使用されるレーザ光の設定等といったレーザ光源装置4の設定処理等も行う。
【0021】
操作パネル3は、キーボードの他、トラックボール、ジョイスティツク、若しくはマウス等のポインティングデバイス等を備え、観察者からの各種指示を受け付け、それをコンピュータ2へ通知する。例えば、観察者から、レーザ光の走査開始指示、画像入力指示、光電変換器110の感度調整指示、観察等に使用されるレーザ光の設定指示等を受け付け、それをコンピュータへ通知する。
【0022】
続いて、上述のように構成された共焦点レーザ走査型顕微鏡装置の動作について説明する。
本動作では、共焦点レーザ走査型顕微鏡装置が、複数の蛍光色素が染色された試料に対し、蛍光色素毎に適当な波長(励起波長)を有するレーザ光を出射するレーザ光源を備えて、蛍光色素を効率良く発光させることが行われる。
【0023】
例えば、2種類の蛍光色素A,Bが染色された試料に対しては、蛍光色素Aに対して適当な励起波長Aのレーザ光Aを出射するレーザ光源Aと蛍光色素Bに対して適当な励起波長Bのレーザ光Bを出射するレーザ光源Bによりレーザ光A,Bが照射され、レーザ光Aによる試料からの蛍光A´とレーザ光Bによる試料からの蛍光B´とが発生する。この蛍光A´,B´は、励起用ダイクロイックミラー101を透過しダイクロイックミラー107を反射する等して光電変換器110に入射して電気信号に変換される。
【0024】
しかしながら、このようにレーザ光源A,Bを同時に点灯(選択)して試料にレーザ光A,Bを同時に照射すると次のような問題が生じる。
図2は、励起波長A,Bと蛍光A´,B´の蛍光波長A´,B´と励起用ダイクロイックミラー101の波長特性を示した図である。
【0025】
同図に示したように、レーザ光A,Bを同時に照射した場合、励起用ダイクロイックミラー101の波長特性により、蛍光波長A´の蛍光A´と蛍光波長B´の蛍光B´の両方が励起用ダイクロイックミラー101を透過し、蛍光A´,B´の両方が光電変換器110に入射してしまい、蛍光A´の輝度信号(画像情報)と蛍光B´の輝度信号(画像情報)を独立して記録(取得)することができない問題が生じる。
【0026】
そこで、本動作では、蛍光A´の輝度信号を記録する間はレーザ光源Bを消灯し、蛍光B´の輝度信号を記録する間はレーザ光源Aを消灯するようにレーザ光源の制御を行い、蛍光A´,B´の輝度信号を独立して記録できるようにしている。すなわち、レーザ光源Aが選択されているときはレーザ光源Bが選択されないように、またレーザ光源Bが選択されているときはレーザ光源Aが選択されないように、レーザ光源の選択制御が行われる。
【0027】
図3は、そのレーザ光源の制御に係るタイミングチャートである。
同図に示したように、1画素走査毎にレーザ光源AのON/OFF(選択/未選択)とレーザ光源BのOFF/ON(未選択/選択)を行い、それによって発生した蛍光A´,B´を光電変換し、A/D変換クロックに従ってA/D変換して蛍光A´,B´に応じた輝度信号を取得するように制御が行われる。尚、同図において、D1,D2は第1画素目における蛍光A´,B´に応じた輝度信号であり、D3,D4は第2画素目における蛍光A´,B´に応じた輝度信号である。
【0028】
このように、1画素走査毎のレーザ光源AのON/OFF及びレーザ光源BのOFF/ONを、1画面走査(1フレーム走査)を終了するまで繰り返すことによって、蛍光A´,B´に応じた画像情報がメモリ2cに記録される。
但し、画像情報である、D1,D2,D3,D4,‥といった連続する輝度信号は、予めレーザ光源の各々に対して定められているメモリ2c上の異なるアドレスに記録される。例えば、D1,D3,‥といったレーザ光源Aによる輝度信号は、予めレーザ光源Aに対して定められている奇数番地のアドレスに記録され、D2,D4,‥といったレーザ光源Bによる輝度信号は、予めレーザ光源Bに対して定められている偶数番地のアドレスに記録される。或いは、D1,D3,‥といったレーザ光源Aによる輝度信号は、予めレーザ光源Aに対して定められているaaaaから始まる連続したアドレスに記録され、D2,D4,‥といったレーザ光源Bによる輝度信号は、予めレーザ光源Bに対して定められているbbbbから始まる連続したアドレスに記録される。これにより、それぞれのアドレスに記録された輝度信号に基づいて、それぞれの蛍光に応じた1画面分の画像情報を容易に構築することができる。
【0029】
以上、本実施形態によれば、試料からの光に応じた輝度信号が、予めレーザ光源毎に定められているメモリ上の対応するアドレスに記録されるようになるので、複数のレーザ光を高速に切り換えながら試料からの光に応じた輝度信号を正しく記録することができ、また試料からのそれぞれの光に応じた1画面分の画像情報を容易に構築することができる。よって、異なる複数の光を励起光として用いる測定に共焦点レーザ走査型顕微鏡装置を適用することが可能になる。
【0030】
尚、本実施形態では、2種類の蛍光を観察する場合を例に説明したが、3種類以上の蛍光を観察する場合においても、各画素の各蛍光に応じた輝度信号を、予め観察等に使用するレーザ光を出射するレーザ光源毎に定められているメモリ上の対応するアドレスに記録させることで、各蛍光に応じた画像情報を正しく取得することができる。
【0031】
また、本実施形態において、図3のタイミングチャートに示したように、2種類のレーザ光源を1画素走査内でON/OFFさせて2種類のレーザ光を1画素走査内で切り換えるようにすると、切り換えを行わない場合に比べて試料に照射されるレーザ光の光量が半分になる。そこで、A/D変換クロックに同期して行われる毎回のA/D変換の際に、レーザ光源の強度を適切な強度に変更して試料に照射させるレーザ光の光量を最適化するようにしても良い。例えば、前述の2種類のレーザ光を切り換えて使用する場合には、レーザ光源の強度を、切り換えを行わないで1種類のレーザ光を使用する場合の2倍の強度に変更するようにすれば良い。このようにすることで、光量の減少を補正することができる。尚、A/D変換クロックは、レーザ光源のON/OFF(選択/未選択)と同期しているので、レーザ光源の強度変更は、レーザ光源のON/OFFに同期して行われるものでもある。また、このようなレーザ光源の強度変更は、3種類以上のレーザ光を切り換えて使用する場合にも同様にして行われることは述べるまでもない。
【0032】
また、本実施形態において、レーザ光源装置4から出射されるレーザ光の輝度を取得するための光電変換部を新たに設け、試料からの光に応じた輝度信号をメモリ2cに記録する際に、その光電変換部の出力であるレーザ光に応じた輝度信号も関連付けて記録するようにしても良い。すなわち、試料からの光に応じた輝度信号と、その基となるレーザ光を出射したレーザ光源の強度を関連付けて記録するようにしても良い。このようにすることで、レーザ光源装置4から出射されたレーザ光の輝度変動によって得られた試料からの光に応じた輝度信号を補正することができ、またレーザ光源装置4から出射されるレーザ光の雑音を除去するよりも正確に試料からの情報を得ることができる。例えば、任意の画素の輝度信号Daと関連付けされて記録されたレーザ光に応じた輝度信号からレーザ光の出力が10%低下していたと判断された場合には、その任意の画素の輝度信号としてDaを1.1倍した値を新たに記録するようにすることで、輝度信号を補正することができる。また、必要に応じてそれを画像モニター5に表示させるようにしても良い。
【0033】
以上、本発明の共焦点レーザ走査型顕微鏡装置及び試料情報記録方法について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。
【0034】
【発明の効果】
以上、詳細に説明したように、本発明によれば、複数のレーザ光を高速に切り換えながら試料からの光に応じた輝度情報を正しく記録することができると共に、試料からのそれぞれの光に応じた画像情報を容易に構築することができるので、異なる複数の光を励起光として用いる測定に共焦点レーザ走査型顕微鏡装置を適用することが可能になる。
【図面の簡単な説明】
【図1】本発明の一実施の形態に係る共焦点レーザ走査型顕微鏡装置の構成例を示した図である。
【図2】励起波長A,Bと蛍光A´,B´の蛍光波長A´,B´と励起用ダイクロイックミラーの波長特性を示した図である。
【図3】レーザ光源の制御に係るタイミングチャートである。
【符号の説明】
1 顕微鏡本体
2 コンピュータ
2a 計算・処理部
2b A/D変換部
2c メモリ
2d プログラム
3 操作パネル
4 レーザ光源装置
5 画像モニター
101 励起用ダイクロイックミラー
102 走査ユニット
103 レボルバ
104 対物レンズ
105 ステージ
106 観察試料
107 ダイクロイックミラー
108 レンズ
109 コンフォーカルアパーチャ
110 光電変換器
[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to a technical field related to a confocal laser scanning microscope apparatus.
[0002]
[Prior art]
Conventionally, as a scanning microscope apparatus, a laser beam from a light source is narrowed down to a minute spot light by an objective lens, and an observation sample is scanned with the spot light, and light from the observation sample, for example, transmitted light, reflected light, or There is known a laser scanning microscope apparatus that converts fluorescence and the like into an electrical signal by a photoelectric converter such as a photomultiplier and displays an observation image on an image monitor.
[0003]
On the other hand, recently, as a research technique in the fields of neuroscience and cell biology, a method of quantifying intracellular free ion concentration using an ion-sensitive indicator is rapidly spreading. For example, in the measurement of intracellular calcium ion concentration, fluorescence measurement using a fluorescent reagent fura-2 which is a calcium ion sensitive indicator is performed on a cell which is a sample. In this fluorescence measurement, a specific region of a cell is excited with two different wavelengths (340 nm, 380 nm), a stimulating substance (Bradykinin) is administered, and then quantified by determining the ratio of the respective fluorescence intensities. Measurements with a fluorometer, observation with a microscope, and the like are performed.
[0004]
Patent Document 1 discloses a fluorescence microscope apparatus that measures the calcium ion concentration using the aforementioned fluorescent reagent fura-2. In this fluorescence microscope apparatus, by arbitrarily switching a plurality of interference filters having different transmission wavelengths, the sample is irradiated with only light having a wavelength transmitted by the switched filter out of the light source. A sample image is acquired by imaging and processing the light of the light, and using a plurality of lights having different wavelengths as excitation light, such as two-wavelength excitation and one-wavelength fluorescence measurement using the fluorescence reagent fura-2 It can be measured.
[0005]
[Patent Document 1]
JP-A-2-28542 [0006]
[Problems to be solved by the invention]
However, Patent Document 1 does not disclose anything about the configuration in the case of performing the measurement using a confocal laser scanning microscope apparatus, and a normal optical microscope apparatus that simply acquires a two-dimensional image optically. Only the configuration when using is disclosed.
[0007]
Conventionally, any configuration is disclosed in which a confocal laser scanning microscope apparatus is used to perform measurement using a plurality of lights having different wavelengths as excitation light, such as the aforementioned two-wavelength excitation single-wavelength fluorescence measurement. Was not.
In view of the above circumstances, an object of the present invention is to provide a confocal laser scanning microscope apparatus and a sample information recording method applicable to measurement using a plurality of lights having different wavelengths as excitation light.
[0008]
[Means for Solving the Problems]
A first aspect of the present invention comprises first and second laser light source, a laser light source selection means for selecting one of said first and second laser light sources, selected by the laser light source selection means a scanning means for scanning on the sample with a laser beam from the one laser light source as a spot light, a first photoelectric conversion means for converting the fluorescent light from the specimen into an analog electrical signal, a digital electrical said analog electrical signal A / D conversion means for converting into signals and recording means for recording the digital electric signal, and the first laser light source is selected during scanning of each pixel for each pixel scan by the scanning means switch and a second state in which the first state and the second laser light source is selected that is, first the digital electrical signal fluorescence was converted occurring in the first state, the pixel scanning every, said In recording means, wherein recorded in a first corresponding address in the first address group which has been predetermined for the laser light source, the digital second fluorescence generated in the second state is converted The electrical signal corresponds to a corresponding address in a second address group different from the first address group predetermined for the second laser light source in the recording means for each one pixel scan. is the confocal laser scanning microscope apparatus recorded.
[0009]
According to the above configuration, by changing the laser light source to be selected, the light applied to the sample is switched, and the digital electric signal corresponding to the light from the sample is recorded in advance for each laser light source in the recording means. It is recorded at the corresponding address among the predetermined addresses. This makes it possible to correctly record a digital electrical signal corresponding to the light from the sample while switching the light irradiated to the sample at a high speed using a plurality of laser light sources, and to easily obtain image information corresponding to the light from the sample. Can be built. Therefore, the confocal laser scanning microscope apparatus can be applied to measurement using a plurality of lights having different wavelengths as excitation light.
[0010]
According to a second aspect of the present invention, in the first aspect, the intensity of the laser light source is changed in synchronization with the selection of the laser light source by the laser light source selection unit.
According to this configuration, the sample is continuously irradiated with light from one laser light source by changing the intensity of the laser light source to an appropriate intensity (for example, stronger intensity) in synchronization with the selection of the laser light source. Compared to the case, it is possible to prevent the light irradiation amount of the sample per laser light source from decreasing.
[0011]
According to a third aspect of the present invention, in the first aspect, the recording means records the digital electric signal and the intensity of a laser light source that emits light that is a basis of the digital electric signal in association with each other. The configuration.
According to this configuration, based on the digital electric signal corresponding to the light from the sample and the intensity of the laser light source associated therewith, the digital electric signal obtained by correcting the luminance variation of the light emitted from the laser light source is acquired. Can do.
[0012]
According to the fourth aspect of the present invention, the first state in which the first laser light source is selected during the scanning of each pixel and the second state in which the second laser light source is selected for each pixel scan by the scanning unit. switching between states, the laser beam from said selected laser light source as a spot light scans on specimen, the fluorescence from the sample is converted into an analog electrical signal, the analog electrical signal to digital electrical signal The digital electric signal converted and converted from the first fluorescence generated in the first state is predetermined for the first laser light source on the memory for each pixel scan . The digital electric signal recorded at a corresponding address in one address group and converted from the second fluorescence generated in the second state is stored in the second memory on the memory for each one pixel scan. Predetermined for the laser light source Recorded in different second corresponding addresses in the address group from the first address group, which is a sample information recording method of the confocal laser scanning microscope apparatus.
[0013]
According to said method, the effect | action and effect similar to said 1st aspect are acquired.
The fifth aspect of the present invention is a confocal laser scanning microscope apparatus in which the first fluorescence and the second fluorescence are both incident on the same first photoelectric conversion means.
The sixth aspect of the present invention further includes a second photoelectric conversion means for obtaining the brightness of the laser beam, and the recording means includes the fluorescence obtained from the output of the first photoelectric conversion means. This is a confocal laser scanning microscope apparatus in which the digital electric signal converted from is recorded in association with the luminance signal converted from the laser light obtained from the output of the second photoelectric conversion means.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing a configuration example of a confocal laser scanning microscope apparatus according to an embodiment of the present invention.
[0015]
In FIG. 1, the confocal laser scanning microscope apparatus includes a microscope main body 1, a computer 2, an operation panel 3, a laser light source device 4, an image monitor 5, and the like. The device 4 and the image monitor 5 are each connected to the computer 2.
[0016]
The laser light source device 4 includes a plurality of laser light sources that can change the laser intensity, such as a semiconductor laser, a laser light source switching device 401 including an optical element such as an AOTF (acousto-optic element) or AOM / EOM, a shutter, and the like. Under the control of the computer 2, the laser light to be emitted is switched and the intensity of the laser light source that emits the laser light is changed. The laser beam used for observation or the like is set by an observer giving an instruction via the operation panel 3. Further, the switching of the laser light described above is performed by the laser light source device 4 selecting a predetermined laser light source from laser light sources that emit laser light set by an observer. That is, the laser light source device 4 switches the laser light by changing the selection target of the laser light source.
[0017]
The microscope body 1 includes an excitation dichroic mirror 101, a scanning unit 102, a revolver 103, an objective lens 104, a stage 105, a dichroic mirror 107, a lens 108, a confocal aperture 109, a photoelectric converter 110, and the like. . In the microscope main body 1, the laser light emitted from the laser light source device 4 is reflected by the excitation dichroic mirror 101 and enters the scanning unit 102. The scanning unit 102 includes a galvanometer mirror for scanning in the X-axis direction and a galvanometer mirror for scanning in the Y-axis direction, and the laser light reflected by the excitation dichroic mirror 101 is output according to a scanning control signal output from the computer 2. In addition to performing XY scanning, a scanning control end signal is output to the computer 2 for each scanning of one line by scanning in the X-axis direction. The laser light that has been XY-scanned by the scanning unit 102 is irradiated as spot light onto the observation sample 106 placed on the stage 105 via the objective lens 104 attached to the revolver 103. Light (reflected light, transmitted light, fluorescence, or the like) from the observation sample 106 by the spot light is returned to the incident optical path, reflected by the dichroic mirror 107, and collected by the lens 108. A confocal aperture 109 is disposed at a condensing position by the lens 108 to form a confocal optical system. Light that has passed through the confocal aperture 109 is input to a photoelectric converter 110 such as a photomultiplier, converted into an analog electrical signal, and input to the computer 2.
[0018]
The computer 2 includes a calculation / processing unit 2a, an A / D conversion unit 2b, a memory 2c, a recording medium (not shown) on which a control program 2d is recorded, and the like.
The A / D converter 2b converts the analog electrical signal output from the photoelectric converter 110 and corresponding to the observation sample 106 into a digital electrical signal.
[0019]
The memory 2c has a memory area for position information and an image memory area. In the memory area for position information, the scan final line position and the like are recorded. In the image memory area, an A / D converter 2b performs A / D conversion. The D-converted digital electric signal, that is, image information corresponding to the observation sample 106 is recorded. For example, image information corresponding to 1024 pixels × 768 pixels × 12 bits (4096 gradations) is recorded in the image memory area.
[0020]
The calculation / processing unit 2a is a so-called CPU (central processing unit), and reads and executes a control program 2d recorded on a recording medium (not shown) to perform the operation of the entire confocal laser scanning microscope apparatus. Control. For example, a scanning control signal is output to the scanning unit 102 in response to a scanning start instruction from the observer notified via the operation panel 3, and an analog electrical signal corresponding to the observation sample 106 output from the photoelectric converter 110. Is converted into a digital electric signal (image information) by the A / D converter 2b and transferred to the memory 2c, and the image information transferred to the memory 2c is output to the image monitor 5, and an image corresponding to the image information is output. Processing such as displaying (observation sample image) on the image monitor 5 is performed. In addition, in accordance with an instruction from the observer notified through the operation panel 3, a process for displaying a scanning menu or the like on the image monitor 5, a process for setting the gain and offset of the A / D converter 2b, Also, setting processing of the laser light source device 4 such as setting processing of the applied voltage, gain, offset, etc. of the photoelectric converter 110, various setting processing of the scanning unit 102, setting of laser light used for observation, etc. is performed.
[0021]
The operation panel 3 includes a keyboard, a pointing device such as a trackball, a joystick, or a mouse. The operation panel 3 receives various instructions from an observer and notifies the computer 2 of them. For example, a laser beam scanning start instruction, an image input instruction, a sensitivity adjustment instruction for the photoelectric converter 110, a setting instruction for a laser beam used for observation, and the like are received from the observer and notified to the computer.
[0022]
Next, the operation of the confocal laser scanning microscope apparatus configured as described above will be described.
In this operation, the confocal laser scanning microscope apparatus includes a laser light source that emits laser light having an appropriate wavelength (excitation wavelength) for each fluorescent dye on a sample stained with a plurality of fluorescent dyes. Efficient emission of the dye is performed.
[0023]
For example, for a sample stained with two types of fluorescent dyes A and B, it is appropriate for a laser light source A and a fluorescent dye B that emit laser light A having an appropriate excitation wavelength A for the fluorescent dye A. Laser beams A and B are irradiated by a laser light source B that emits a laser beam B having an excitation wavelength B, and fluorescence A ′ from the sample by the laser beam A and fluorescence B ′ from the sample by the laser beam B are generated. The fluorescent light A ′ and B ′ are incident on the photoelectric converter 110 and converted into an electric signal by being transmitted through the excitation dichroic mirror 101 and reflected by the dichroic mirror 107.
[0024]
However, when the laser light sources A and B are turned on (selected) at the same time and the sample is irradiated with the laser beams A and B at the same time, the following problems occur.
FIG. 2 is a diagram showing the wavelength characteristics of the excitation wavelengths A and B and the fluorescence wavelengths A ′ and B ′ of the fluorescence A ′ and B ′ and the dichroic mirror 101 for excitation.
[0025]
As shown in the figure, when the laser beams A and B are simultaneously irradiated, both the fluorescence A ′ having the fluorescence wavelength A ′ and the fluorescence B ′ having the fluorescence wavelength B ′ are excited by the wavelength characteristics of the dichroic mirror 101 for excitation. Fluorescent light A ′ and B ′ are incident on the photoelectric converter 110 through the dichroic mirror 101, and the luminance signal (image information) of the fluorescent light A ′ and the luminance signal (image information) of the fluorescent light B ′ are independent. Thus, there is a problem that recording (acquisition) cannot be performed.
[0026]
Therefore, in this operation, the laser light source B is controlled so that the laser light source B is turned off while the luminance signal of the fluorescent light A ′ is recorded, and the laser light source A is turned off while the luminance signal of the fluorescent light B ′ is recorded, The luminance signals of the fluorescence A ′ and B ′ can be recorded independently. That is, the laser light source selection control is performed so that the laser light source B is not selected when the laser light source A is selected, and the laser light source A is not selected when the laser light source B is selected.
[0027]
FIG. 3 is a timing chart relating to the control of the laser light source.
As shown in the figure, the laser light source A is turned ON / OFF (selected / not selected) and the laser light source B is turned OFF / ON (not selected / selected) for each pixel scan, and the fluorescence A ′ generated thereby. , B ′ are photoelectrically converted and A / D converted according to an A / D conversion clock to obtain a luminance signal corresponding to the fluorescence A ′, B ′. In the figure, D1 and D2 are luminance signals corresponding to the fluorescence A ′ and B ′ in the first pixel, and D3 and D4 are luminance signals corresponding to the fluorescence A ′ and B ′ in the second pixel. is there.
[0028]
In this way, by repeating ON / OFF of the laser light source A and OFF / ON of the laser light source B for each pixel scan until one screen scan (one frame scan) is completed, it responds to the fluorescence A ′ and B ′. The recorded image information is recorded in the memory 2c.
However, continuous luminance signals such as D1, D2, D3, D4,..., Which are image information, are recorded at different addresses on the memory 2c determined in advance for each laser light source. For example, the luminance signal from the laser light source A such as D1, D3,... Is recorded in the address of the odd address previously determined for the laser light source A, and the luminance signal from the laser light source B such as D2, D4,. The address is recorded at an even address determined for the laser light source B. Alternatively, the luminance signal from the laser light source A such as D1, D3,... Is recorded at consecutive addresses starting from aaa predetermined for the laser light source A, and the luminance signal from the laser light source B such as D2, D4,. , Recording is performed at consecutive addresses starting from bbbb predetermined for the laser light source B. As a result, image information for one screen corresponding to each fluorescence can be easily constructed based on the luminance signal recorded at each address.
[0029]
As described above, according to the present embodiment, the luminance signal corresponding to the light from the sample is recorded at the corresponding address on the memory that is determined in advance for each laser light source. The luminance signal corresponding to the light from the sample can be correctly recorded while switching to, and image information for one screen corresponding to each light from the sample can be easily constructed. Therefore, the confocal laser scanning microscope apparatus can be applied to measurement using a plurality of different lights as excitation light.
[0030]
In this embodiment, the case where two types of fluorescence are observed has been described as an example. However, even when three or more types of fluorescence are observed, the luminance signal corresponding to each fluorescence of each pixel is previously observed. Image information corresponding to each fluorescence can be correctly acquired by recording at a corresponding address on a memory determined for each laser light source that emits a laser beam to be used.
[0031]
Further, in the present embodiment, as shown in the timing chart of FIG. 3, when two types of laser light sources are turned on / off within one pixel scanning to switch between the two types of laser light within one pixel scanning, The amount of laser light applied to the sample is halved compared to when switching is not performed. Therefore, in each A / D conversion performed in synchronization with the A / D conversion clock, the intensity of the laser light source is changed to an appropriate intensity so as to optimize the light amount of the laser light irradiated on the sample. Also good. For example, when the above-mentioned two types of laser light are used by switching, the intensity of the laser light source is changed to twice the intensity when using one type of laser light without switching. good. By doing so, the decrease in the amount of light can be corrected. Since the A / D conversion clock is synchronized with ON / OFF (selected / not selected) of the laser light source, the intensity change of the laser light source is also performed in synchronization with the ON / OFF of the laser light source. . Further, it goes without saying that such intensity change of the laser light source is performed in the same manner when three or more types of laser light are switched and used.
[0032]
In the present embodiment, a photoelectric conversion unit for acquiring the luminance of the laser light emitted from the laser light source device 4 is newly provided, and when a luminance signal corresponding to the light from the sample is recorded in the memory 2c, A luminance signal corresponding to the laser beam that is the output of the photoelectric conversion unit may also be recorded in association with it. That is, the luminance signal corresponding to the light from the sample and the intensity of the laser light source that emitted the laser light that is the basis thereof may be recorded in association with each other. By doing in this way, the luminance signal according to the light from the sample obtained by the luminance fluctuation of the laser light emitted from the laser light source device 4 can be corrected, and the laser emitted from the laser light source device 4 Information from the sample can be obtained more accurately than removing light noise. For example, if it is determined that the output of the laser beam has decreased by 10% from the luminance signal corresponding to the recorded laser beam in association with the luminance signal Da of an arbitrary pixel, the luminance signal of the arbitrary pixel By newly recording a value obtained by multiplying Da by 1.1, the luminance signal can be corrected. Moreover, you may make it display it on the image monitor 5 as needed.
[0033]
The confocal laser scanning microscope apparatus and the sample information recording method of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the gist of the present invention. Of course, you may go.
[0034]
【The invention's effect】
As described above in detail, according to the present invention, it is possible to correctly record luminance information corresponding to light from the sample while switching a plurality of laser beams at high speed, and to respond to each light from the sample. Therefore, the confocal laser scanning microscope apparatus can be applied to measurement using a plurality of different light beams as excitation light.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of a confocal laser scanning microscope apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing the fluorescence wavelengths A ′ and B ′ of the excitation wavelengths A and B and the fluorescence A ′ and B ′ and the wavelength characteristics of the excitation dichroic mirror.
FIG. 3 is a timing chart relating to control of a laser light source.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Microscope main body 2 Computer 2a Calculation / processing part 2b A / D conversion part 2c Memory 2d Program 3 Operation panel 4 Laser light source apparatus 5 Image monitor 101 Excitation dichroic mirror 102 Scan unit 103 Revolver 104 Objective lens 105 Stage 106 Observation sample 107 Dichroic Mirror 108 Lens 109 Confocal aperture 110 Photoelectric converter

Claims (6)

第1及び第2のレーザ光源と、
第1及び第2のレーザ光源のいずれか一方を選択するレーザ光源選択手段と、
該レーザ光源選択手段により選択された前記一方のレーザ光源からのレーザ光をスポット光として試料上に走査する走査手段と、
前記試料からの光をアナログ電気信号に変換する第1の光電変換手段と、
前記アナログ電気信号をデジタル電気信号に変換するA/D変換手段と、
前記デジタル電気信号が記録される記録手段と、
を備え、
前記走査手段による1画素走査毎に、各画素の走査中に前記第1のレーザ光源が選択された第1の状態と前記第2のレーザ光源が選択された第2の状態とを切り替え、
前記第1の状態で生じる第1の蛍光が変換された前記デジタル電気信号は、前記1画素走査毎に、前記記録手段において、前記第1のレーザ光源に対して予め定められている第1のアドレス群の中の対応するアドレスに記録され
前記第2の状態で生じる第2の蛍光が変換された前記デジタル電気信号は、前記1画素走査毎に、前記記録手段において、前記第2のレーザ光源に対して予め定められている前記第1のアドレス群とは異なる第2のアドレス群の中の対応するアドレスに記録される、
ことを特徴とする共焦点レーザ走査型顕微鏡装置。
First and second laser light sources;
A laser light source selection means for selecting one of said first and second laser light sources,
A scanning means for scanning on the sample with a laser beam from the one laser light source selected by the laser light source selection means as a spot light,
A first photoelectric conversion means for converting the fluorescent light from the specimen into an analog electrical signal,
A / D conversion means for converting the analog electric signal into a digital electric signal;
Recording means for recording the digital electrical signal;
With
For each one pixel scan by the scanning means, switching between a first state in which the first laser light source is selected and a second state in which the second laser light source is selected during scanning of each pixel,
The digital electric signal obtained by converting the first fluorescence generated in the first state is a predetermined first value for the first laser light source in the recording means for each one pixel scan . Recorded at the corresponding address in the address group ,
The digital electric signal obtained by converting the second fluorescence generated in the second state is predetermined for the second laser light source in the recording unit for each pixel scan. Recorded in a corresponding address in a second address group different from the address group of
A confocal laser scanning microscope apparatus.
前記レーザ光源選択手段によるレーザ光源の選択に同期して当該レーザ光源の強度を変更する、
ことを特徴とする請求項1記載の共焦点レーザ走査型顕微鏡装置。
Changing the intensity of the laser light source in synchronization with the selection of the laser light source by the laser light source selection means,
The confocal laser scanning microscope apparatus according to claim 1.
前記記録手段には、前記デジタル電気信号と当該デジタル電気信号の基となる光を出射したレーザ光源の強度が関連付けされて記録される、
ことを特徴とする請求項1記載の共焦点レーザ走査型顕微鏡装置。
The recording means records the digital electric signal and the intensity of a laser light source that emits light that is the basis of the digital electric signal in association with each other.
The confocal laser scanning microscope apparatus according to claim 1.
走査手段による1画素走査毎に、各画素の走査中に第1のレーザ光源が選択された第1の状態と第2のレーザ光源が選択された第2の状態とを切り替え
選択されたレーザ光源からのレーザ光をスポット光として試料上に走査し、
前記試料からの光をアナログ電気信号に変換し、
前記アナログ電気信号をデジタル電気信号に変換し、
前記第1の状態で生じる第1の蛍光が変換された前記デジタル電気信号を、前記1画素走査毎に、メモリ上の、前記第1のレーザ光源に対して予め定められている第1のアドレス群の中の対応するアドレスに記録し、
前記第2の状態で生じる第2の蛍光が変換された前記デジタル電気信号を、前記1画素走査毎に、前記メモリ上の、前記第2のレーザ光源に対して予め定められている前記第1のアドレス群とは異なる第2のアドレス群の中の対応するアドレスに記録する、
ことを特徴とする共焦点レーザ走査型顕微鏡装置の試料情報記録方法。
For each one pixel scan by the scanning means, the first state in which the first laser light source is selected during the scanning of each pixel and the second state in which the second laser light source is selected are switched ,
The laser beam from said selected laser light source as a spot light scans on specimen,
The fluorescence from the sample is converted into an analog electrical signal,
Converting the analog electrical signal into a digital electrical signal;
The digital electric signal obtained by converting the first fluorescence generated in the first state is a predetermined first address for the first laser light source on the memory for each one pixel scan. Record at the corresponding address in the group ,
The digital electric signal obtained by converting the second fluorescence generated in the second state is predetermined for the second laser light source on the memory for each pixel scan. Recording at a corresponding address in a second address group different from the address group of
A sample information recording method for a confocal laser scanning microscope apparatus.
前記第1の蛍光と前記第2の蛍光は、いずれも同一の前記第1の光電変換手段に入射する、The first fluorescence and the second fluorescence are both incident on the same first photoelectric conversion means,
ことを特徴とする請求項1記載の共焦点レーザ走査型顕微鏡装置。The confocal laser scanning microscope apparatus according to claim 1.
さらに、前記レーザ光の輝度を取得するための第2の光電変換手段を含み、Furthermore, it includes a second photoelectric conversion means for obtaining the luminance of the laser beam,
前記記録手段には、前記第1の光電変換手段の出力から得られる前記蛍光が変換された前記デジタル電気信号と、前記第2の光電変換手段の出力から得られる前記レーザ光が変換された輝度信号と、が関連付けて記録される、In the recording means, the digital electric signal obtained by converting the fluorescence obtained from the output of the first photoelectric conversion means and the luminance obtained by converting the laser light obtained from the output of the second photoelectric conversion means Recorded in association with the signal,
ことを特徴とする請求項1記載の共焦点レーザ走査型顕微鏡装置。The confocal laser scanning microscope apparatus according to claim 1.
JP2003063040A 2003-03-10 2003-03-10 Confocal laser scanning microscope apparatus and sample information recording method Expired - Fee Related JP4468642B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003063040A JP4468642B2 (en) 2003-03-10 2003-03-10 Confocal laser scanning microscope apparatus and sample information recording method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003063040A JP4468642B2 (en) 2003-03-10 2003-03-10 Confocal laser scanning microscope apparatus and sample information recording method

Publications (2)

Publication Number Publication Date
JP2004271946A JP2004271946A (en) 2004-09-30
JP4468642B2 true JP4468642B2 (en) 2010-05-26

Family

ID=33124732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003063040A Expired - Fee Related JP4468642B2 (en) 2003-03-10 2003-03-10 Confocal laser scanning microscope apparatus and sample information recording method

Country Status (1)

Country Link
JP (1) JP4468642B2 (en)

Also Published As

Publication number Publication date
JP2004271946A (en) 2004-09-30

Similar Documents

Publication Publication Date Title
US11971355B2 (en) Fluorescence observation apparatus and fluorescence observation method
US7253420B2 (en) Scanning microscope system
JP5623278B2 (en) Microscope and operating method of microscope
JP5485289B2 (en) Resolution-enhanced microscopy
US8704196B2 (en) Combination microscopy
JP4826586B2 (en) Spectral image processing method, computer-executable spectral image processing program, and spectral imaging system
JP4932076B2 (en) Scanning laser microscope
JP2004199063A (en) Confocal microscope
JP2009204408A (en) Spectral detector and laser scanning microscopic system
JP2002098901A (en) Scanning laser microscope
JP4735758B2 (en) Confocal microscope
JP2003043369A (en) Laser scanning microscope
JP4156856B2 (en) Laser scanning microscope system, system control method, and control program for causing computer to execute system control
JP4468642B2 (en) Confocal laser scanning microscope apparatus and sample information recording method
US7830506B2 (en) Method for high spatial resolution examination of samples
US7158294B2 (en) Laser scanning confocal microscope apparatus, image recording method, and recording medium
JP3708277B2 (en) Scanning optical measuring device
JP4968337B2 (en) Confocal microscope
WO2013005765A1 (en) Microscope device
JP4536845B2 (en) Confocal microscope
JP2005215357A (en) Scanning type laser microscope
JP2012118363A (en) Confocal microscope
JP4694137B2 (en) Scanning laser microscope, control method, and control program
JP2003248174A (en) Laser scanning confocal microscope device, image recording method, and recording medium
JP5562582B2 (en) Fluorescence observation equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140305

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees