WO2008072597A1

WO2008072597A1 - 顕微鏡装置及び画像処理方法

Info

Publication number: WO2008072597A1
Application number: PCT/JP2007/073781
Authority: WO
Inventors: Hiroaki Nakayama; Hisao Osawa; Yumiko Ouchi
Original assignee: Nikon Corporation
Priority date: 2006-12-12
Filing date: 2007-12-10
Publication date: 2008-06-19
Also published as: JPWO2008072597A1; EP2093601B1; US7969652B2; JP5136422B2; EP2093601A1; EP2093601A4; US20090225407A1

Abstract

　回折格子９は、０次回折光と光軸に関して対称な方向に１次回折光を生じさせる。それぞれの光束は第２対物レンズ１０、第１対物レンズ１１によって標本面上に二光束干渉縞を形成し、標本１２は、空間変調された照明光で照明される。標本１２上では、構造化照明された光を励起光として蛍光が発生する。第１対物レンズ１１によって捉えられた蛍光は、第１対物レンズ１１及び第２対物レンズ１０からなる対物光学系ＬＳ２１により、標本共役面２２上に標本１２の変調像を形成する。その変調像は、その標本共役面２２に配置された回折格子９によって再変調される。再変調像からの蛍光は、レンズ８を介してダイクロイックミラー５を透過した後、観察光学系ＬＳ２の単独光路へ入り、蛍光フィルタ６を透過したのち、レンズ１３を介して再変調像の拡大像２４を形成する。

Description

明細書

顕微鏡装置及び画像処理方法

技術分野

[0001] 本発明は、顕微鏡装置及び画像処理方法に関するものである。

背景技術

[0002] 生物標本などの被観察物を超解像観察するための手法に、照明光を空間変調する手法があり、特開平 11 242189号公報 (特許文献 1)、米国再発行特許第 3830 7 公幸！ ¾ (特許文献 2)、 W.Lukosz, Optical systems with resolving powers exceeding the clasical limit. II" Journal of the Optical Society of America, Vol.37，PP.932， 1967 ( 非特許文献 1)、 W丄 ukosz and M.Marchand,Opt. Acta. 10,241, 1963 (非特許文献 2) 等に記載されている。

[0003] これらの手法では、空間変調された照明光で被観察物の構造の空間周波数を変調し、解像限界を超える高い空間周波数の情報を顕微鏡光学系の結像に寄与させる。但し、超解像画像を観察するためには変調された被観察物の像 (変調像)を復調する必要がある。復調の方法は大別して 2種類あり、光学的な復調（非特許文献 1、 2 参照）と、演算による復調（特許文献 1、 2参照）とがある。なお、光学的な復調は、回折格子などの空間変調素子を用いて変調像を再変調することによって実現する。特許文献 1 :特開平 11 242189号公報

特許文献 2 :米国再発行特許発明第 38307号明細書

^特許文 1： V.LUKOSZ, Optical systems with resolving powers exceeding the clasi cal limit. II", Journal of the Optical Society of America,Vol.37,PP.932, 1967

非特許文献 2 : W丄 ukosz and M.Marchand,Opt. Acta. 10,241, 1963

発明の開示

発明が解決しょうとする課題

[0004] しかし、演算による復調は複雑な演算処理を要するので時間がかかり、被観察物をリアルタイム観察することが難しい。一方、光学的な復調は回折格子などの空間変調素子を用いるので時間はかからないが、その復調精度は空間変調素子の形状精度や配置精度などに依存するので、良好な超解像画像を得ることが難しレ、。

[0005] 因みに、非特許文献 2に記載の復調方法（光学的な復調）では、変調に関する光路と復調に関する光路とを平行にし、変調と変調とに共通の回折格子の異なる部分を用いることで配置精度の問題改善を図っているが、変調に関わる光学系の瞳と復調に関わる光学系の瞳とを共役にすることができないため、観察視野が極端に狭いという欠点がある。

[0006] 本発明はこのような事情に鑑みてなされたもので、高速に超解像画像の情報を生成することのできる顕微鏡装置を提供すること、及びそれを使用して超解像画像を得ることができる画像処理方法を提供することを課題とする。

課題を解決するための手段

[0007] 前記課題を解決するための第 1の手段は、斜め入射する略平行光束の、 0次回折光である照射光を受光して、光軸に対して前記 0次回折光と対称に 1次回折光を形成する空間変調素子と、前記 0次回折光と前記 1次回折光とを試料面の同一位置で干渉させて干渉縞を形成し、前記干渉縞によって変調を受けた前記試料面からの光を前記空間変調素子面に結像させる対物光学系と、撮像手段と、前記空間変調素子面で再変調された光の像を前記撮像手段の撮像面に結像させるリレー光学系とを有することを特徴とする顕微鏡装置である。

[0008] 前記課題を解決するための第 2の手段は、前記第 1の手段であって、前記対物光学系と前記リレー光学系を合わせた光学系の光軸と、光源から前記試料面に至る照明光学系の光軸が、少なくとも前記空間変調素子よりも光源側のある場所から前記試料面まで同一とされており、前記光源からの照明光の中心軸を前記同一の光軸よりずらす光路移動光学系と、前記光路移動光学系を通過した前記照明光を、前記空間変調素子に対して斜め入射する略平行光束の照射光に変える照射光学系を有することを特徴とするものである。

[0009] 前記課題を解決するための第 3の手段は、前記第 2の手段であって、前記照射光学系が、前記リレー光学系の一部であることを特徴とするものである。

[0010] 前記課題を解決するための第 4の手段は、前記第 2の手段又は第 3の手段であつて、前記光源力発散する照明光を略平行光束に変換するコレクタレンズと、前記コレクタレンズを透過した前記照明光を集光して 2次光源を形成するコリメータレンズと、前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸上を前記試料面方向に進む光とし、前記光路移動光学系に入射させる光路偏向手段とを有し、前記照明光の主光線は、前記コレクタレンズの中心、前記コリメータレンズの中心、前記リレー光学系の光軸を通って、前記光路移動光学系に入射するようにされてレ、ることを特徴とするものである。

[0011] ここで、光路偏向部材には、所定の比率で光を透過、及び反射させるミラー又はプリズムや、ダイクロイツクミラー、ダイクロイツクプリズムが含まれる。又、主光線とは、光源の中心から射出する最も強度の強い光線を示す。

[0012] 前記課題を解決するための第 5の手段は、前記第 2の手段又は第 3の手段であつて、前記光源力発散する照明光を略平行光束に変換するコレクタレンズと、前記コレクタレンズを透過した前記照明光を集光して 2次光源を形成するコリメータレンズと、前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸と平行に前記試料面方向に進む光とし、前記照射光学系に入射させる光路偏向部材とを有し、前記光源からの照明光は、前記光路移動光学系を透過した後、前記コレクタレンズに入射し、前記光路偏向部材により反射された後、前記照射光学系に入射するようにされて!/、ることを特徴とするものである。

[0013] 前記課題を解決するための第 6の手段は、前記第 2の手段から第 5の手段のいずれかであって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光路移動光学系も光軸を中心として回転可能とされ、前記空間変調素子の回転量と前記光路移動光学系を回転させたときにそれに伴って回転する主光線の回転量とを同一にすることが可能とされていることを特徴とするものである。

[0014] 前記課題を解決するための第 7の手段は、前記第 2の手段から第 5の手段のいずれかであって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光路移動光学系に、光路を移動させる光学素子が複数設けられ、複数の当該光学素子は、それぞれ光軸に垂直な異なった方向に光路を移動させるものであり、前記空間変調素子の回転量に合わせて、切り替えて使用可能とされていることを特徴とするものである。 [0015] 前記課題を解決するための第 8の手段は、前記第 1の手段であって、前記対物光学系と前記リレー光学系を合わせた光学系の光軸と、光源から前記試料面に至る照明光学系の光軸が、少なくとも前記空間変調素子よりも光源側のある場所から前記試料面まで同一とされており、前記照明光学系の光軸から離れた位置に設けられた光源と、前記光源力発散する照明光を略平行光束に変換するコレクタレンズと、前記コレクタレンズを透過した前記照明光を集光して 2次光源を形成するコリメータレンズと、前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレ一光学系の光軸に平行に前記試料面方向に進む光とする光路偏向部材と、前記光路偏向部材で反射された照明光を、前記空間変調素子に対して斜め入射する略平行光束の照射光に変える照射光学系とを有することを特徴とするものである。

[0016] 前記課題を解決するための第 9の手段は、前記第 8の手段であって、前記照射光学系が、前記リレー光学系の 1部であることを特徴とするものである。

[0017] 前記課題を解決するための第 10の手段は、前記第 8の手段又は第 9の手段であつて、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光源も前記照明光学系の光軸を中心として回転可能とされ、両者の回転量を同一にすることが可能とされてレ、ることを特徴とするものである。

[0018] 前記課題を解決するための第 11の手段は、前記第 8の手段又は第 9の手段であつて、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光源が複数設けられ、複数の当該光源は、それぞれ光軸に垂直な異なった方向に光路を移動させるものであり、前記空間変調素子の回転量に合わせて、切り替えて使用可能とされていることを特徴とする。

[0019] 前記課題を解決するための第 12の手段は、前記第 1の手段から第 11の手段のいずれかであって、前記空間変調素子と前記対物光学系によって前記試料面上に形成される干渉縞の位相を変化させることが可能とされており、前記撮像手段の撮像時間は、前記位相が整数周期変化する時間とほぼ等しくされていることを特徴とするものである。

[0020] 前記課題を解決するための第 13の手段は、前記第 6の手段、第 7の手段、第 10の手段、第 11の手段のいずれかである顕微鏡装置を使用して、前記空間変調素子の回転量を変えて試料の撮像を複数回行い、得られた複数枚の画像データをフーリエ変換して、フーリエ変換データ画像を取得し、これらのフーリエ変換画像データに対して 2次元平面上で、 MTFを考慮したデコンボリューシヨン処理を行って合成した後、逆フーリエ変換により、画像データを得ることを特徴とする画像処理方法である。発明の効果

[0021] 本発明によれば、高速に超解像画像の情報を生成することのできる顕微鏡装置を提供すること、及びそれを使用して精度の良い映像を得ることができる画像処理方法を提供すること力できる。

図面の簡単な説明

[0022] [図 1]本発明の第 1の実施の形態である顕微鏡装置の光学系の概要を示す図である

[図 2]回折格子を光軸周りに回転させるときの様子を示す図である。

[図 3]本発明の第 2の実施の形態である顕微鏡装置の光学系の概要を示す図である

[図 4]本発明の第 3の実施の形態である顕微鏡装置の光学系の概要を示す図である

[図 5]本発明の第 4の実施の形態である顕微鏡装置の光学系の概要を示す図である

[図 6]本発明の第 5の実施の形態である顕微鏡装置の光学系のうち、光源力回折格子までの光学系を示す概念図である。

[図 7]本発明の第 6の実施の形態である顕微鏡装置の光学系のうち、光源力回折格子までの光学系を示す概念図である。

[図 8]制御 ·演算装置の制御に関する動作フローチャートである。

[図 9]制御 ·演算装置の演算に関する動作フローチャートである。

[図 10]復調像の画像データを示す図である。

[図 11]3方向の復調された画像データを合成する状態を示す図である。

符号の説明

[0023] 1 · · ·光原、 2· · ·コレクタレンズ、 3· · ·コリメータレンズ、 4· · ·励起フィノレタ、 5· · ·ダイクロイックミラー、 6…蛍光フィルタ、 7…平行平板ガラス、 8…レンズ、 9…回折格子、 10··· 第 2対物レンズ、 11···第 1対物レンズ、 12···標本（蛍光試料）、 13···レンズ、 14···ィメージローテータ、 22···標本共役面、 23···像、 24···拡大像、 25···撮像装置、 31··· 光源像（瞳共役面）、 32···第 1対物レンズの瞳面、 40···ァクチユエータ、 41···回転ステージ、 42···制御 ·演算装置、 43···画像表示装置、 51···回転ステージ、 52···電動ステージ、 53…回転ステージ、皿…光源、 102…ミラー、 103…ミラー、 104…ミラ一、 105…光ファイバ、 105a…射出端、 106…光ファイバ、 106a…射出端、 107··· 光ファイバ、 107a…射出端、 112···部分透過ミラー、 113···部分透過ミラー、 121··· 回転拡散板、 122…軸、 123…カップリングレンズ、 S1〜S3…シャツタ、 LSI…照明光学系、 LS2〜観察光学系、 LS21〜対物光学系、 LS22〜リレー光学系、 D0---0 次回折光、 Dl_ 1次回折光

発明を実施するための最良の形態

[0024] 以下、本発明の実施の形態の例を、図を用いて説明する。図 1は、本発明の第 1の実施の形態である顕微鏡装置の光学系の概要を示す図である。この顕微鏡装置は、光源 1、コレクタレンズ 2、コリメータレンズ 3、励起フィルタ 4、ダイクロイツクミラー 5、蛍光フィルタ 6、光路移動光学系である平行平板ガラス 7、照射光学系であるレンズ 8、空間変調素子である回折格子 9、第 2対物レンズ 10、第 1対物レンズ 11、レンズ 13、撮像装置（CCDカメラなど） 25、制御 ·演算装置（回路やコンピュータなど） 42、画像表示装置 43、ァクチユエータ 40、回転ステージ 41等から構成され、標本 (蛍光試料) 12から発生する蛍光による標本 12の像を撮像装置 25で撮像して処理する。

[0025] このうち、光源 1、コレクタレンズ 2、コリメータレンズ 3、励起フィルタ 4、ダイクロイツクミラー 5、平行平板ガラス 7、レンズ 8、回折格子 9、第 2対物レンズ 10、第 1対物レンズ 11は照明光学系 LSIを構成する。また、第 1対物レンズ 11、第 2対物レンズ 10、回折格子 9、レンズ 8、平行平板ガラス 7、蛍光フィルタ 6、ダイクロイツクミラー 5、レンズ 13は観察光学系 LS2を構成する。また、第 1対物レンズ 11と第 2対物レンズ 10とが対物光学系 LS21を構成し、レンズ 8とレンズ 13とがリレー光学系 LS22を構成している。照明光学系 LSIと観察光学系 LS2とは、第 1対物レンズ 11からダイクロイツクミラー 5までの光路を共有して!/、る。 [0026] 光源 1からの発散光はコレクタレンズ 2によって平行光線に変換され、コリメータレンズ 3によって瞳共役面に光源像 31を形成する。その光源像 31からの光は、励起フィルタ 4によって波長選択された後、ダイクロイツクミラー 5によって反射され、標本面の方向へと進む。標本の反射像を観察する場合には、ダイクロイツクミラーの代わりにハ一フミラーを使用してもよい。又、場合によっては、偏光ビームスプリッタを使用すること力 Sできる。

[0027] そして、この光が平行平板ガラス 7を通過する際、光源の中心から発せられ、コレクタレンズ 2、コリメータレンズ 3の中心を通る光軸上の光線（以下、この光線を便宜的に「主光線」と称する）は、平行平板ガラス 7の両面での屈折により、光軸から所定距離 dだけシフトする。その後、レンズ 8によって光軸に対して所定角度傾いた平行光線に変換され、標本共役面 22に配置された回折格子 9を照射する。

[0028] 回折格子 9は、そのまま直進する 0次回折光と光軸に関して対称な方向に 1次回折光を生じさせるように、予め格子常数を設定してある。それぞれの光束は第 2対物レンズ 10によって光軸に平行な平行光線に変換され、第 1対物レンズ 11によって標本面上で干渉し、二光束干渉縞を形成する。これによつて標本 12は、空間変調された照明光で照明（構造化照明）される。

[0029] ここで、回折格子 9は、例えば、 1次元の周期構造をもつ位相型又は振幅型の回折格子である。位相型の回折格子は、回折次数の強度比を設定する自由度が高いという利点がある。又、振幅型の回折格子は波長特性が良いため、光源 1に白色光源を使用できる利点がある。光源 1としては、白色光源の代わりに単一波長の光源を用いてもよいし、レーザ光源からの光を光ファイバで導き、その端面に形成される二次光源を光源 1として用いてもょレ、。

[0030] また、構造化照明の輝度分布（回折格子 9の像 23の輝度分布）を正弦波状にするために、回折格子 9で生じる 1次成分及び次数 2以上の余分な回折成分を除去することが望ましい。その際には、回折格子 9よりも後段の適当な箇所 (例えば第 1対物レンズ 11の瞳面 32)で除去するとよい。あるいは、回折格子 9の濃度分布を予め正弦波状にしておけば、 2次以上の回折成分の発生を抑え、光量の損失を抑えることができる。 [0031] 本実施の形態では、回折格子 9により生じる回折光のうち、 0次回折光 DOと 1次回折光 D1が対物光学系（第 2対物レンズ 10、第 1対物レンズ 11)の光軸に対して対称になるように、照明光を回折格子 9に対して所定の角度傾けて入射させている。それは、レンズ 8の前に配置した平行平板ガラス 7によって主光線を光軸からずらすことで実現させている。照明光を所定角度傾けるために必要なずれ量 dは、光源 1の波長、レンズ 8の焦点距離、回折格子 9のピッチから計算で求めることができる。

[0032] 光源 1の波長を λ、レンズ 8の焦点距離を f 、回折格子 9のピッチを Pとすると、必

8 8

要なずれ量 dは、

d= f X λ / (2 Χ Ρ ) …ひ）

8 8

となる。

[0033] 一方、平行平板ガラス 7の屈折率を η、厚さを t、傾け角を αとしたとき、平行平板ガラスによる光線ののずれ量 dは、

國

Λ/ η²—siir a となる。

[0034] ここで、平行平板ガラス 7の傾け角 αとは、回折格子 9の格子線の方向を回転軸として回転する角度を意味する。

[0035] したがって、（1)、（2)式を満たす光学系を組むことで、回折格子 9により生じる回折光のうち、 0次回折光 DOと 1次回折光 D1が対物レンズの光軸に対称になるようにすること力 S可倉となる。

[0036] さて、 0次回折光 DOと 1次回折光 D1は、第 1対物レンズ 11の瞳面 32にそれぞれ集光する。この集光点は、第 1対物レンズ 11の瞳径のなるベく端（光軸から離れた位置 )に設定すると、超解像の効果が高いので望ましい。その場合、回折格子 9による照明光の回折光のうち、 0次回折光と 1次回折光以外の光は、第 1対物レンズ 11の有効径内には入射できないのでその後の系に影響しない。第 1対物レンズ 11の瞳面 3 2にそれぞれ集光した 0次回折光 DOと 1次回折光 D1は、それぞれ平行光束となって対物レンズを出射し、標本 12上で干渉し、二光束干渉縞を形成する。

[0037] これにより、標本 12上では、構造化照明された光を励起光として蛍光が発生する。

このときに第 1対物レンズ 11側から見た標本 12の構造は、構造化照明により変調されている。変調された構造には、モアレ縞が生じている。このモアレ縞は、標本 12が有する微細構造と構造化照明のパターンとが成すモアレ縞であり、標本 12の微細構造が、構造化照明の空間周波数の分だけ低い空間周波数帯域に変換されている。よって、解像限界を超える高い空間周波数の構造の光までもが、第 1対物レンズ 11 によって捉えられることになる。

[0038] 第 1対物レンズ 11によって捉えられた蛍光は、第 1対物レンズ 11及び第 2対物レンズ 10からなる対物光学系 LS21により、標本共役面 22上に標本 12の変調像を形成する。その変調像は、その標本共役面 22に配置された回折格子 9によって再変調される。このようにして生じた再変調像では、空間周波数を変化させた標本 12の構造、元の空間周波数に戻される。この再変調像に、標本 12の復調像が含まれている

[0039] 但し、この再変調像には、復調像にとって不要な回折成分が含まれてレ、る。不要な回折成分とは、標本 12から射出された構造化照明による 0次回折光に対し回折格子 9で生じた ± 1次回折成分、標本 12から射出された構造化照明による 1次回折光に対する 0次回折成分、標本 12から射出された構造化照明による + 1次回折光に対する 0次回折成分である。これらの不要な回折成分を再変調像から除去するためには、回折格子 9を 1周期分若しくは N周期分 (Nは自然数)動力もて平均化すればよい。

[0040] 再変調像からの蛍光は、レンズ 8を介してダイクロイツクミラー 5を透過した後、観察光学系 LS2の単独光路へ入り、蛍光フィルタ 6を透過したのち、レンズ 13を介して再変調像の拡大像 24を形成する。つまり、回折格子 9で再変調された再変調像は、レンズ 8及びレンズ 13からなるリレー光学系 LS22によって、拡大像 24へとリレーされる。この拡大像 24は、撮像装置 25によって撮像され、再変調像の画像データが生成される。なお、撮像装置 25で撮像する場合、回折格子 9を 1周期若しくは N周期（Nは自然数)動かしている間、再変調像を蓄積することによって平均化すれば、復調像の画像データを得ること力できる。

[0041] この画像データは、標本 12を構造化照明によって超解像観察するための情報を含む。その画像データは、制御 ·演算装置 42によって取り込まれ、演算が施されてから、画像表示装置 43 と送出される。

[0042] 以上、本顕微鏡装置は、標本 12の共役面 (標本共役面） 22から標本 12までの光路を照明光学系 LSIと観察光学系 LS2とで完全に共通光路にすると共に、その標本共役面 22に回折格子 9を配置している。本顕微鏡装置ではこの回折格子 9により、標本 12の微細構造の変調を図る。そして、変調された標本 12の微細構造は、この位置に配置された回折格子 9により、自動的に再変調される。

[0043] なお、回折格子 9は、ァクチユエータ 40によって格子線に直交する方向 Dbへ移動可能である。この移動により、構造化照明の位相が変化する。制御 ·演算装置 42がァクチユエータ 40及び撮像装置 25を制御し、 1フレーム分の画像データを蓄積して!/ヽる間にその位相を 1周期分若しくは N周期分 (Nは自然数)だけ変化させることで、その画像データから、構造化照明のパターンと、再変調時に生じた不要な回折成分とを消去する。

[0044] あるいは、撮像装置 25の撮像素子として CCDなど電荷蓄積型の撮像素子を用い、構造化照明の位相が 1周期分若しくは N周期分 (Nは自然数)だけ変化するのに必要な時間を蓄積時間とすることで、構造化照明のパターンと、再変調時に生じた不要な回折成分を消去してもよい。

[0045] あるいは、撮像装置 25の撮像素子として NMOS、 CMOSなど電荷蓄積型ではない撮像素子を用い、更に各画素の出力にローパスフィルター、もしくは、積分回路を接続しておくことで、構造化照明のパターンと、再変調時に生じた不要な回折成分を消去してもよい。その際には、接続するローパスフィルター、もしくは、積分回路の時定数として構造化照明の位相力周期分若しくは N周期分 (Nは自然数)だけ変化するのに必要な時間以上とする。

[0046] また、回折格子 9は、回転ステージ 41によってァクチユエータ 40と共に光軸の周りを回転可能である。この回転により、構造化照明の方向が変化する。制御'演算装置 42が回転ステージ 41及び撮像装置 25を制御し、構造化照明の方向を複数方向に変化させる度に画像データを取得すれば、複数方向に亘り超解像観察するための情報を得ることができる。これにより、標本 12の二次元の超解像観察が可能となる。以上の動作に必要なプログラムは、例えば CD— ROMなどの記録媒体やインターネットを介して制御 ·演算装置 42に予めインストールされている。

[0047] ここで、構造化照明の方向を変化させるためには、回折格子 9の回転に伴って、照明光の斜入射の方向も回転させなければならない。回折格子 9を回転させる際、平行平板ガラス 7も光軸に対して回転させる必要がある。図 2に、回折格子 9を光軸周りに回転させるときの様子を示す。回折格子 9について、図 1の紙面右方向を X軸の正の方向、紙面に垂直に手前を y軸の正の方向、光軸を z軸とし対物レンズに向かう方向を正の方向とする。そして、回折格子 9を z軸周りに Θ回転させた状態が図 2に示されている。このとき、平行平板ガラス 7も同様に z軸周りに Θ回転させればよい。これは、平行平板ガラス 7と回折格子 9を同一の回転ステージ上に固定し、それを z軸周りに回転させることで実現される。以上、本実施形態では、平行平板ガラス 7と回折格子 9 を同一の回転ステージに固定して回転するので、斜光照明の向きを精度良く再現すること力 Sでさる。

[0048] 図 3は、本発明の第 2の実施の形態である顕微鏡装置の光学系の概要を示す図である。

[0049] 次に本発明の第 2実施形態について説明する。以下の図において、前出の図に示された構成要素と同じ構成要素には、同じ符号を付してその説明を省略することがある。この実施の形態と第 1の実施の形態の違いは、本実施の形態においては、図 1においてダイクロイツクミラー 5の後に配置されていた平行平板ガラス 7を、光源 1の直後に配置することである。このようにしても、回折格子 9により生じる回折光のうち、 0次回折光 DOと 1次回折光 D1が対物レンズの光軸に対称になるように、平行平板ガラス 7 によって軸上光線を光軸からずらすことが可能となる。必要なずれ量 dは、光源 1の波長、コレクタレンズ 2、コリメータレンズ 3、レンズ 8の合成焦点距離、回折格子 9のピッチから計算で求めることができ、それを達成するための平行平板のパラメータも計算で求めることができる。

[0050] 光源 1の波長を λ、コレクタレンズ 2、コリメータレンズ 3、レンズ 8の合成焦点距離を f 、回折格子 9のピッチを Pとすると、必要なずれ量 dは、前記（1)式と同じとなる。また

8 8

、平行平板ガラス 7の屈折率を n、厚さを t、傾け角を αとしたとき、平行平板ガラス 7 による軸上光線の光軸からのずれ量 dは、前記（2)式と同じとなる。したがって、（1)、 (2)式を満たす光学系を組むことで、回折格子 9により生じる回折光のうち、 0次回折光 DOと 1次回折光 D1が対物レンズの光軸に対称にすることが可能となる。

[0051] 回折格子 9を回転させて構造化照明の方向を変化させる際、光源像 31も同じ角度だけ回転させて、斜光照明の方向を回転させる必要がある。そのためには、平行平板ガラス 7を、光軸を回転軸として、回折格子 9の回転角と同じだけ回転させればよい。これは、平行平板ガラスを回転ステージ 51上に設置し、これを制御.演算装置 42によって、回折格子 9の回転ステージ 41の駆動と同期させて制御することで実現される。本実施の形態によれば、平行平板ガラス 7の回転機構を対物光学系と離して配置するので、平行平板ガラス 7の回転による振動力対物光学系に伝わりにくいという利点、かある。

[0052] 図 4は、本発明の第 3の実施の形態である顕微鏡装置の光学系の概要を示す図である。第 2の実施の形態においては、図 3において、回折格子 9を回転させる際、平行平板ガラス 7を回転ステージ 51によって光軸を回転軸として回転させる必要があつた。本実施の形態においては、予め回折格子の停止位置を決めておき、各停止角度について、格子線の方向を回転軸として傾け角 αだけ回転させた平行平板ガラス 71、 72、 73を用意し、回折格子 9の回転停止角度に合わせて切り替えることで、斜光照明の方向を切り替える。

[0053] 回折格子 9の回転は、現実には 3方向で十分であり、一次元回折格子のため、 180 ° 回転しても機能は同じである。光源像 31の光軸周りの角度力 S、（3)式を満たすような Θ 1、 Θ 2、 Θ 3となるように頃けた 3つの平 fi平板ガラス 71、 72、 73を電動ステージ 52上に設置する。

[0054] Θ 3— Θ 2 = Θ 2— Θ 1 = 60° … ）

そして、回折格子の角度が Θ 1、 Θ 2、 Θ 3のとき、平行平板ガラス 71、 72、 73がそれぞれ光路に入るように電動ステージ 52をスライドさせる。これによつて、回折格子の回転停止角度に合わせて切り替えることで、斜光照明の方向を切り替えることが可能となる。本実施の形態によれば、平行平板ガラス 71、 72、 73の角度を初めに精度良く調整しておけば、その後の繰り返し再現性がよいという利点がある。

[0055] 図 5は、本発明の第 4の実施の形態である顕微鏡装置の光学系の概要を示す図である。この実施の形態と第 2の実施の形態の違いは、図 3において平行平板ガラス 7 の代わりにイメージローテータ 14を配置すること、光源 1を光軸（コレクタレンズ、コリメータレンズ 3の中心軸）からずらすことである。これによつて、回折格子 9により生じる回折光のうち、 0次回折光 DOと 1次回折光 D1が対物レンズの光軸に対称になるように、軸上光線を光軸からずらすことが可能となる。このとき、必要な光源 1の偏芯量 d は、（1)式で表される。

[0056] そして、回折格子 9を回転させる際、光源像 31も同じ角度だけ回転させる必要がある。そのためには、イメージローテータ 14を光軸を回転軸に、回折格子 9の回転角の半分だけ回転させればよい。これは、イメージローテータ 14を回転ステージ 53上に設置し、これを制御.演算装置 42によって、回折格子 9の回転ステージ 41の駆動と同期させて制御することで実現される。本実施の形態によれば、イメージローテータ 1 4の回転角は回折格子 9の回転角の半分で済むので、回転ステージの回転量を抑えられるという利点がある。又、イメージローテータ 14を使用せず、光源 1を光軸の回りに、回折格子 9と同じ回転角だけ回転させてもよい。

[0057] 図 6は、本発明の第 5の実施の形態である顕微鏡装置の光学系のうち、光源 1から回折格子 9までの光学系を示す概念図である。各構成要素の実際の配置を無視して、互いの関係だけを示すものである。各構成要素の位置関係は、光源部を除いて、図 5に示すものと同じである。ただし、励起フィルタ 4およびダイクロイツクミラー 5を省略して描いてある。

[0058] 図 6 (a)に示すように、レーザなどの光源 101からの光はミラー 102、 103、 104のいずれかで折り曲げられ、光ファイバ 105、 106、 107に入射する。光ファイバ 105、 10 6、 107の射出端 105a、 106a, 107aのいずれかから射出された光は、この射出面を 2次光源として、コレクタレンズ 2、コリメータレンズ 3、レンズ 8によって、回折格子 9 を照明し、 0次光と 1次光を光軸に対称に生じさせる。

[0059] 光源 101がレーザの場合、ビームに拡がりがない、コヒーレンスノイズを除去する必要があるなどのために、回転拡散板 121を光路に揷入することができる。回転拡散板 121は円盤状の拡散板を軸 122を回転軸に高速で回転させるものである。そして、回転拡散板 121によって拡散され拡がりをもった光束を、光ファイバ 105、 106、 107 に効率よく導入するために、カップリングレンズ 123を使用して、適当な倍率で回転拡散板 121上の光束径を光ファイバ入射端面に結像することができる。こうすれば、光量損失を抑えた上で、ビームに拡がりを持たせ、コヒーレンスノイズを抑えることができる。

[0060] また、光源 101と回転拡散板 121の間に、 NDフィルタや公知のアツテネータを揷入することにより、光源の出力光量を光学系に必要な光量まで低減することが可能である。

[0061] さて、回折格子 9の回転は、現実には 3方向で十分である。（図 6 (d) )。したがって、図 6 (b)に示すように、光ファイバの射出端面 Aにおいて、 3本の光ファイバ端は、例えば式（3)を満たすような Θ 1、 Θ 2、 Θ 3の角度で、光軸から dだけ偏心した位置に固定しておく。

[0062] Θ 3— Θ 2 = Θ 2— Θ 1 = 60° … (3)

0次光と 1次光の左右を問わなければ図 3 (c)に示すように、射出端 106aを (b)の位置から反転させ Θ 2+ 180° の位置にし、バランスよく固定することも可能である。この場合、 Θ 1、 Θ 2、 θ 3のいずれを 180度反転させてもよい。

[0063] そして、ミラー 102と 103は光路から除外できるように切替え可能としておく。そして、回折格子 9の角度が θ 1であるとき、ミラー 102を揷入、回折格子 9の角度が Θ 2であるとき、ミラー 102を除外の上、ミラー 103を揷入、回折格子 9の角度が Θ 3であるとき、ミラー 102、 103とも除外すれば、対応した角度に光ファイバ端を配置することができ、回折格子の回転に伴って斜光照明の方向を回転することができる。

[0064] この実施の形態では、可動部が光ファイバを介して顕微鏡本体から離れるので、振動が伝わりにくいと!/、う利点がある。

[0065] 図 7は、本発明の第 6の実施の形態である顕微鏡装置の光学系のうち、光源 1から回折格子 9までの光学系を示す概念図である。各構成要素の実際の配置を無視して、互いの関係だけを示すものである。各構成要素の位置関係は、光源部を除いて、図 5に示すものと同じである。ただし、励起フィルタ 4およびダイクロイツクミラー 5を省略して描いてある。

[0066] 本実施の形態の、第 5の実施の形態との違いは、ミラー 102、 103、 104の代わりに、部分透過ミラー 112と 113を配置して、光源からの光を光ファイバ 105、 106、 107 に各々 1/3ずつ光量分割している点である。そして各光ファイバの手前にシャツタ S 1、 S2、 S3を配置し、回折格子 9の方向変換に伴って、該当する光路のシャツタのみ開く構成にする。すなわち、回折格子 9が角度 θ 1の時は、 S1のみ開けて、 S2、 S3 は閉じ、回折格子 9が角度 Θ 2の時は S2のみ開け、 Sl、 S3は閉じ、回折格子 9が角度 Θ 3の時は S3のみ開け、 Sl、 S2は閉じるといった具合である。この実施の形態では、可動部がシャツタのみのため切替が高速にできるとレ、う利点がある。

[0067] なお、図 6、図 7では、 3本の光ファイバ 105、 106、 107を別々に描いた力本発明はこれに限定されるものではなく 3本の光ファイバを一束にバンドルしたものでも良いし、予め一つのクラッドの中に 3本のコアを配置した光ファイバを利用することもできる

〇

[0068] なお、上述した各実施形態の顕微鏡装置は、リレーされた再変調像 (拡大像 24)を撮像装置 25で検出したが、拡大像 24を接眼レンズを介して肉眼で観察できるように変形されてもよい。

[0069] また、上述した各実施形態の顕微鏡装置は、空間変調素子として回折格子を使用したが、入射光束に対し同様の作用をする別の空間変調素子を使用してもよい。例えば、回折格子 9の代わりに透過型液晶表示素子などの空間変調素子を用いれば、構造化照明の位相変化及び方向変化を電気的に行うことができ、ァクチユエータゃ回転ステージを用いずに構成し、さらなる高速化を図ること力 Sできる。さらに、上述の各実施形態では蛍光顕微鏡への応用であった力特にこれに限定されるものではなぐ同様に反射顕微鏡を構成することもできる。

[0070] 以下、図 1〜図 5に示された、制御 ·演算装置 42の制御に関する動作を説明する。

図 8は、制御 ·演算装置 42の制御に関する動作フローチャートである。図 8に示すとおり、制御 ·演算装置 42は、再変調像の画像データを取得するに当たり、撮像装置 2 5の露光開始 (ステップ S11)から露光終了（ステップ S13)までの期間に、構造化照明の位相を 1周期分だけ変化させる（ステップ SI 2)。

[0071] このようにして取得された画像データは、構造化照明の位相変化中における再変調像の時間積分であり、構造化照明の輝度分布は正弦波状なので、この画像データからは、構造化照明のパターンは消去される。また、この画像データからは、再変調時に生じた不要な回折成分も消去される。よって、この画像データは、復調像を表す。なお、これらの消去には、これ以外にも、上述したとおり何通りかの方法が適用可能である。

[0072] さらに、制御 ·演算装置 42は、構造化照明の方向を変化させてから (ステップ S 15) 、再びステップ S11〜S13の処理を行い、構造化照明のパターンの消去された別の復調像の画像データを取得する。

[0073] そして、以上のステップ S 11〜S13における復調像の画像データの取得処理は、構造化照明の方向が予め決められた全方向に設定されるまで (ステップ S14が YES となるまで)繰り返され、構造化照明のパターンの消去された復調像の画像データが、設定された方向の数だけ取得される。

[0074] 例えば、制御.演算装置 42は、ステップ S 11〜S13の処理を、構造化照明の方向が 0° , 120° , 240° の 3方向に設定されるまで繰り返し、構造化照明のパターンの消去された 3つの復調像の画像データ I、 I、 Iを取得する。これらの復調像の画

1 2 3

像データ I、 I、 Iの間では、超解像の方向が 120° ずつ異なる。

1 2 3

[0075] 図 9は、制御.演算装置 42の演算に関する動作フローチャートである。ここでは、超解像の方向が 120° ずつ異なる 3つの復調像の画像データ I、 I、 Iを取得した場合

1 2 3

の演算を説明する。

[0076] 先ず、制御 ·演算装置 42は、 3つの復調像の画像データ I、 I、 Iの各々をフーリエ

1 2 3

変換し、波数空間で表現された 3つの復調像の画像データ I 、1 、 1 を得る（ステツ

kl k2 k3

プ S21)。これら復調像の画像データ I 、1 、1 を図 10 (A) , (B) , (C)に示した。

kl k2 k3

[0077] 図 10 (A) , (B) , (C)において符号 I 、1 は、変調された状態で（± 1次回折光

k+ 1 k 1

として）対物光学系 LS21によって伝達された成分（± 1次変調成分)を示し、符号 I k0 は、変調されなレ、状態で（0次回折光として）対物光学系 LS21によって伝達された成分（0次変調成分）を示す。各々の円内は、 MTF (Modulation Transfer Function)力 S 0でない領域を示す。また、符号 Dbは、超解像の方向（構造化照明の方向）を示し、符号 Kは、構造化照明の空間周波数を示す。

[0078] 続いて、制御 ·演算装置 42は、 3つの復調像の画像データ I 、 1 、 1 を、図 11に

kl k2 k3

示すとおり波数空間上で合成し、 1つの合成画像データ Iを得る (ステップ S22)。こ

k

の演算は、単純な加算でもよいが、 MTFを考慮してデコンボリューシヨンを施す処理であることが望ましい。デコンボリューシヨン処理としては、例えばウィナーフィルタを利用した手法がある力このとき、 Iは、周波数 fの関数として以下のように計算される

k

〇

[数 2] k_jW τ Γ) ノ

[0079] ただし、 jは回折格子 9の方向（0。、 120° 、 240。）、MTF (f)は、回折格子の各方向における復調後の実効 MTFであり、対物光学系の NTF (f)を用いて以下の（5 )式で表される。ただし、 G 、 Gはそれぞれ回折格子の 0次、 1次回折効率、 fは回鉄

0 1 j 格子による変調周波数である。また、 MTF* (f)の *は、この MTFが複素数であるこ j

とを示す。

[数 3]

MTFjif)

- j、 ■ ' '(5)

[0080] I (f)は空間周波数 fにおける j番目の画像の信号強度、 Cは、ノイズのパワースぺタト

kj

ルから決まる定数を示す。

[0081] この処理によって、合成画像データ Iの低周波数成分の寄与が大きくなりすぎるの k

を抑えることで、高周波数成分の相対的な寄与が小さくなるのを防ぐことができる。

[0082] 続いて、制御 ·演算装置 42は、合成画像データ Iを逆フーリエ変換し、実空間で表

k

現された画像データ Iを得る。この画像データ Iは、 120° ずつ異なる 3方向に亘る標本 12の超解像画像を表現する (ステップ S23)。制御.演算装置 42は、この画像データ Iを画像表示装置 43 送出し、超解像画像を表示する。

[0083] 以上、本実施の形態における顕微鏡装置では、標本 12からの光が回折格子 9で再変調され、さらに回折格子 9を動力、して平均化して不要な回折成分を除去することによって復調像を得ている。従って、復調演算をしない分だけ復調像の画像データは高速に得られる。

[0084] しかも、変調と再変調とに同一の回折格子 9の同一の領域が用いられるので、仮にその回折格子 9に形状誤差や配置誤差、あるいはその回転角に誤差があつたとしても、変調のパターンと再変調のパターンとを同一にすることができる。従って、回折格子 9の形状誤差や配置誤差、回転調整誤差は、復調像の画像データに対しノイズを殆ど与えない。このことは、構造化照明の位相を変化させたときや、構造化照明の方向を変化させたときにも同様に当てはまる。したがって、本顕微鏡装置では超解像画像が高精度に得られる。

[0085] また、本顕微鏡装置では、複数の画像データを合成する際に（図 9ステップ S22)、デコンボリューシヨンを行うので、高周波数成分の減衰の少ない良好な超解像画像を得ること力 Sでさる。

Claims

請求の範囲

[1] 斜め入射する略平行光束の、 0次回折光である照射光を受光して、光軸に対して前記 0次回折光と対称に 1次回折光を形成する空間変調素子と、

前記 0次回折光と前記 1次回折光とを試料面の同一位置で干渉させて干渉縞を形成し、前記干渉縞によって変調を受けた前記試料面からの光を前記空間変調素子面に結像させる対物光学系と、

撮像手段と、

前記空間変調素子面で再変調された光の像を前記撮像手段の撮像面に結像させるリレー光学系と、

を有することを特徴とする顕微鏡装置。

[2] 請求項 1に記載の顕微鏡装置であって、

前記対物光学系と前記リレー光学系を合わせた光学系の光軸と、光源力前記試料面に至る照明光学系の光軸が、少なくとも前記空間変調素子よりも光源側のある場所から前記試料面まで同一とされており、

前記光源からの照明光の中心軸を前記同一の光軸よりずらす光路移動光学系と、前記光路移動光学系を通過した前記照明光を、前記空間変調素子に対して斜め入射する略平行光束の照射光に変える照射光学系

を有することを特徴とする顕微鏡装置。

[3] 前記照射光学系が、前記リレー光学系の一部であることを特徴とする請求項 2に記載の顕微鏡装置。

[4] 請求項 2に記載の顕微鏡装置であって、

前記光源から発散する照明光を略平行光束に変換するコレクタレンズと、前記コレクタレンズを透過した前記照明光を集光して 2次光源を形成するコリメ一タレンズと、

前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸上を前記試料面方向に進む光とし、前記光路移動光学系に入射させる光路偏向部材

とを有し、前記照明光の主光線は、前記コレクタレンズの中心、前記コリメータレンズの中心、前記リレー光学系の光軸を通って、前記光路移動光学系に入射するようにされていることを特徴とする顕微鏡装置。

[5] 請求項 2に記載の顕微鏡装置であって、

前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸と平行に前記試料面方向に進む光とし、前記照射光学系に入射させる光路偏向部材

とを有し、

前記光源からの照明光は、前記光路移動光学系を透過した後、前記コレクタレンズに入射し、前記光路偏向部材により反射された後、前記照射光学系に入射するようにされて!/、ることを特徴とする顕微鏡装置。

[6] 請求項 2に記載の顕微鏡装置であって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光路移動光学系も光軸を中心として回転可能とされ、前記空間変調素子の回転量と前記光路移動光学系を回転させたときにそれに伴って回転する主光線の回転量とを同一にすることが可能とされていることを特徴とする顕微鏡装置。

[7] 請求項 2に記載の顕微鏡装置であって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光路移動光学系に、光路を移動させる光学素子が複数設けられ、複数の当該光学素子は、それぞれ光軸に垂直な異なった方向に光路を移動させるものであり、前記空間変調素子の回転量に合わせて、切り替えて使用可能とされて V、ることを特徴とする顕微鏡装置。

[8] 請求項 1に記載の顕微鏡装置であって、

前記対物光学系と前記リレー光学系を合わせた光学系の光軸と、光源力前記試料面に至る照明光学系の光軸が、少なくとも前記空間変調素子よりも光源側のある場所から前記試料面まで同一とされており、前記照明光学系の光軸から離れた位置に設けられた光源と、前記光源から発散する照明光を略平行光束に変換するコレクタレンズと、前記コレクタレンズを透過した前記照明光を集光して 2次光源を形成するコリメ一タレンズと、

前記コリメータレンズを透過した前記照明光を反射して、その主光線が前記リレー光学系の光軸に平行に前記試料面方向に進む光とする光路偏向部材と、

前記光路偏向部材で反射された照明光を、前記空間変調素子に対して斜め入射する略平行光束の照射光に変える照射光学系

とを有することを特徴とする顕微鏡装置。

前記照射光学系が、前記リレー光学系の一部であることを特徴とする請求項 8に記載の顕微鏡装置。

請求項 8に記載の顕微鏡装置であって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光源も前記照明光学系の光軸を中心として回転可能とされ、両者の回転量を同一にすることが可能とされていることを特徴とする顕微鏡装置

〇

請求項 8に記載の顕微鏡装置であって、前記空間変調素子が光軸を中心として回転可能とされると共に、前記光源が複数設けられ、複数の当該光源は、それぞれ光軸に垂直な異なった方向に光路を移動させるものであり、前記空間変調素子の回転量に合わせて、切り替えて使用可能とされていることを特徴とする顕微鏡装置。

請求項 1に記載の顕微鏡装置であって、前記空間変調素子と前記対物光学系によつて前記試料面上に形成される干渉縞の位相を変化させることが可能とされており、前記撮像手段の撮像時間は、前記位相が整数周期変化する時間とほぼ等しくされて!/、ることを特徴とする顕微鏡装置。

請求項 6に記載の顕微鏡装置を使用して、前記空間変調素子の回転量を変えて試料の撮像を複数回行レ、、得られた複数枚の画像データをフーリエ変換してフーリェ変換データ画像を取得し、これらのフーリエ変換画像データに対して 2次元平面上で、 MTFを考慮したデコンボリューシヨン処理を行って合成した後、逆フーリエ変換により、画像データを得ることを特徴とする画像処理方法。 [14] 請求項 7項に記載の顕微鏡装置を使用して、前記空間変調素子の回転量を変えて試料の撮像を複数回行レ、、得られた複数枚の画像データをフーリエ変換してフーリエ変換データ画像を取得し、これらのフーリエ変換画像データに対して 2次元平面上で、 MTFを考慮したデコンボリューシヨン処理を行って合成した後、逆フーリエ変換により、画像データを得ることを特徴とする画像処理方法。

[15] 請求項 10に記載の顕微鏡装置を使用して、前記空間変調素子の回転量を変えて試料の撮像を複数回行レ、、得られた複数枚の画像データをフーリエ変換してフーリェ変換データ画像を取得し、これらのフーリエ変換画像データに対して 2次元平面上で、 MTFを考慮したデコンボリューシヨン処理を行って合成した後、逆フーリエ変換により、画像データを得ることを特徴とする画像処理方法。

[16] 請求項 11に記載の顕微鏡装置を使用して、前記空間変調素子の回転量を変えて試料の撮像を複数回行レ、、得られた複数枚の画像データをフーリエ変換してフーリェ変換データ画像を取得し、これらのフーリエ変換画像データに対して 2次元平面上で、 MTFを考慮したデコンボリューシヨン処理を行って合成した後、逆フーリエ変換により、画像データを得ることを特徴とする画像処理方法。