JP2017523439A - 位相と強度を変調した2重構造化照明 - Google Patents
位相と強度を変調した2重構造化照明 Download PDFInfo
- Publication number
- JP2017523439A JP2017523439A JP2017520041A JP2017520041A JP2017523439A JP 2017523439 A JP2017523439 A JP 2017523439A JP 2017520041 A JP2017520041 A JP 2017520041A JP 2017520041 A JP2017520041 A JP 2017520041A JP 2017523439 A JP2017523439 A JP 2017523439A
- Authority
- JP
- Japan
- Prior art keywords
- phase
- grating
- electromagnetic wave
- image
- composite image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 230000008859 change Effects 0.000 claims abstract description 41
- 239000002131 composite material Substances 0.000 claims abstract description 33
- 230000000737 periodic effect Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012634 optical imaging Methods 0.000 claims description 34
- 238000001069 Raman spectroscopy Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000007850 fluorescent dye Substances 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000005428 wave function Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000004624 confocal microscopy Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 3
- 238000002866 fluorescence resonance energy transfer Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000010859 live-cell imaging Methods 0.000 description 3
- 231100000331 toxic Toxicity 0.000 description 3
- 230000002588 toxic effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 238000002135 phase contrast microscopy Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- MYMOFIZGZYHOMD-UHFFFAOYSA-N Dioxygen Chemical compound O=O MYMOFIZGZYHOMD-UHFFFAOYSA-N 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000001311 chemical methods and process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- TUJKJAMUKRIRHC-UHFFFAOYSA-N hydroxyl Chemical compound [OH] TUJKJAMUKRIRHC-UHFFFAOYSA-N 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/106—Scanning systems having diffraction gratings as scanning elements, e.g. holographic scanners
Landscapes
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Abstract
生細胞物体を撮像する方法および装置が提供され、該方法は、(a)2つの軸で位相変調した電磁波を生成するために、二次元の位相格子の周期パターンの電磁波の位相を変調する工程、(b)物体の位相変調した電磁波照明をもたらすために、物体に対して位相格子の実像を投影する工程、(c)周期パターンの位相を変えるために、2つの軸に沿って経時的に周期パターンの位置を変える工程、(d)検出器に対して物体の実像を投影する工程、(e)検出器を用いて物体の複数の画像を記録する工程であって、画像の各々は周期パターンとともに異なる位置に記録される、工程、および、(f)照明によって90度位相からずれた情報を抽出することによって、物体の合成画像を計算する工程を含む。【選択図】なし
Description
本出願は、2014年6月29日に出願された米国仮特許出願第62/081,613号の優先権とその利益を主張する。
本発明は3D撮像に関し、具体的には、物体内の屈折率の変動によって位相変化を引き起こすことができる位相を変化させる物体の三次元(3D)の撮像に関する。1つの実施形態では、本発明は生細胞の撮像に関する。従来、生細胞は、「位相差方法を実証し、とりわけ位相差顕微鏡の発明で」、1953年にノーベル物理学賞を受賞したフリッツ・ゼルニケ(参考文献1)によって発明された位相差顕微鏡法技術を駆使して二次元(2D)で撮像される。位相差顕微鏡は、位相を変化させる物体による光の回折を、像面での強度変化(差)に変換する方法で、光の光学経路に影響を及ぼすことによって、透明および無色の物体の差を強調し、それによって、センサー、カメラ、または人間の目で位相変化を撮像する/知覚することができる。位相差顕微鏡は、細胞または細菌内の成分を示すことができ、生細胞を死に至らしめる追加の化学染色料なしでは観察することが非常に難しい各成分のわずかに異なる屈折率を特徴としている。
ゼルニケがノーベル賞を受賞してから間もない1960年には、ゲオルゲ・ノマルスキーが、現在では単に微分干渉(DIC)顕微鏡として知られているものを発明し、位相を変化させる物体を検出可能な別の技術を世に送り出している(参考文献2)。
位相変化のより正確な測定は、US20140085715号(参考文献10。同様に、参考文献8−9および11を参照)などの定量的な位相イメージングとして知られているデジタルホログラフィーによって得ることができる。デジタルホログラフィーでは、一般に「物体波」として知られている平面波は、位相物体を通って(ゆえに物体波という)、「参照波」と呼ばれる別の平面波に干渉して、インターフェログラムとして知られている干渉パターンを形成する。物体の位相変化の結果として生じる物体波の位相の歪みは、インターフェログラムから分析および測定することができる。
現在の生細胞撮像は、蛍光標識を利用した共焦点顕微鏡を使用する。共焦点顕微鏡は1957年にマービン・ミンスキーによって発明され(参考文献3)、生細胞を含む生体対象の3D撮像で広く使用されている。共焦点顕微鏡法は、一般的にはレーザー源の点照明を使用する光学撮像技術であるが、標本中の焦点のずれた光を除去するためにHgアークランプや空間のピンホールを用いることもある。結果として、共焦点顕微鏡は、焦点深度内の薄層を2Dで撮像し、その後、多くの薄層から3D画像を再構成することを可能にする。
位相差とは異なり、共焦点顕微鏡は位相変化を撮像することができず、生細胞を撮像する能力は蛍光標識の使用に限定される。蛍光標識やバイオマーカーはそれ以外の方法では得ることができない重要な情報を提供することができるため、前述の限定は必ずしも欠点ではない。例えば、異なるフルオロフォアでタグ付け/標識化された2つの分子間の相互作用を示す技術である蛍光共鳴エネルギー転移(FRET)を実行すれば、生細胞の活性の一部として発生する化学反応の貴重な情報を得ることができる。しかしながら、光毒性(phototoxity)として知られている共焦点顕微鏡法の性能を低下させる、生細胞撮像に関連する蛍光性の欠点もある(参考文献4)。蛍光に使用される化学薬品はそれ自体では毒性はないが、電磁波で照射されると、電子が高エネルギー値まで励起され、化学的に活発になり、一重項酸素(1O2)、超酸化物(・O2 −)、または、ヒドロキシルラジカル(HO・)などの試薬を形成する。前述の試薬はすべて有毒であり、生細胞の活性に影響を与える−または、完全に破壊する−こともある。蛍光の代わりに用いることができる他の方法はラマン散乱と冷光であるが、このような技術を使用することはまれである。
構造化照明は、生体物質の薄片を撮像するためのパターン化した照明強度を用いる光学技術であり、共焦点顕微鏡法と同様の3Dを提供することができる(参考文献5)。構造化照明は、共焦点顕微鏡または標準的な非干渉性の顕微鏡の回折限界と比較して、位置分解能を2倍に改善する能力を与える超分解能として知られている、共焦点顕微鏡法を上回る分解能の利点を有している。超分解能は、静的なパターンの照明を用いて、1963年にLukoszとMarchandによって発明された(参考文献6を参照)。静的なパターンは、物体の複数の点がそのパターンに従って低光強度を受け取り、したがって、結果として得られた画像はこれらの点でノイズが多くなりやすい傾向があるということを意味する。
米国5,867,604号(参考文献7)によって1995年に同じ著者に紹介されたこの問題点に対する解決策は、経時的にパターンの位相を変化させることであって、したがって、物体の点はすべて同じ強度で異なる時間に照射される。本明細書ですべて説明されるよう参照によって組み込まれる米国5,867,604号は、顕微鏡のような光学撮像系を開示しており、ここで、物体は、1つまたは2つの軸xおよびyの照明強度の周期的なパターンで照射され、パターンの位相は経時的に変化する。米国5,867,604号の教示によれば、像面における検出器の出力信号Sを分析することで、照射によって位相を変化させるSの成分である信号S1と、照射によって位相から90度変化するSの成分である信号S2を生成することができる。米国5,867,604号はさらに、光学撮像系の回折限界の2倍に拡張することができる拡張分解能(超分解能)によって、同相信号S1が画像として物体に関連付けられることを証明する数学的な解析を紹介している。この分析はさらに、位相信号S2からの90度のずれがヒルベルト変換した画像として物体に関連付けられ、拡張分解能も提供することを証明している。
本発明は、生細胞内の位相変化を撮像することによって、蛍光なしで完全にまたは部分的に行うことができる3Dと薄片の撮像を提供するものである。さらに、両方の画像が同じまたは近接する薄片で測定された情報を伝えるように、このような位相変化撮像はFRETなどの蛍光撮像技術に接続することができる。
ヒルベルト変換画像は、反射、送信、または蛍光を撮像する際には重要な情報を提供せず、構造化照明顕微鏡法においてそのような画像を分析する動機づけを与えない。本発明によれば、ヒルベルト変換は、位相を変化させる物体を解像する理想的な方法として使用される。なぜなら、そのような物体は縁で屈折率を途切れさせる傾向があり、ヒルベルト変換は、物体内のそのような不連続線を強化するためのものである。しかしながら、共焦点顕微鏡法も構造化照明顕微鏡も位相変化を正確に撮像するのに十分なほど感度が良くないため、本発明は、米国5,867,604号のS2のようにヒルベルト変換画像を抽出することができる顕微鏡設計を記載しており、さらに位相を変化させる物体に対して高感度である。
本発明によれば、物体を撮像するための撮像装置が提供され、撮像装置は、(a)対物面と像面、(b)周期的なパターンで電磁波の強度を変調するのに適した強度格子である第1の格子であって、強度変調した電磁波を形成する、第1の格子、(c)対物面に対して、第1の格子で強度変調した電磁波の光の第1の実像を投影するのに適した第1の光学撮像系、(d)周期的なパターンで電磁波の位相を変調するのに適した二次元の位相である第2の格子であって、位相変調した電磁波を形成する、第2の格子、(e)第1の光学撮像系によって投影された光の方向とは反対の方向に、対物面に対して、第2の格子で位相変調した電磁波の光の第2の実像を投影するのに適した第2の光学撮像系、(f)像面に対して対物面で光を撮像するのに適した第3の光学撮像系であって、第1の光学撮像系によって照射されると対物面にある物体から後方に移動する光と、第2の光学撮像系によって照射されると物体を通る光とを撮像するのに適した、第3の光学撮像系、(g)第3の光学撮像系によって撮像された光を捕らえるのに適した、像面にあるセンサー、および、(h)第1の光学撮像系によって投影された電磁波と相互作用する物体の第1の合成画像を計算するように構成された、センサーに接続されたプロセッサであって、物体において第2の光学撮像系によって投影された電磁波と位相変化で相互作用する物体の第2の合成画像を計算するようにさらに構成された、プロセッサ、を含んでいる。
以下に記載される本発明の好ましい実施形態のさらなる特徴によれば、プロセッサは、物体による電磁位相変化と、位相変化以外の物体との電磁相互作用の画像を得るために、第1の合成画像と第2の合成画像を組み合わせるようにさらに構成される。
記載される好ましい実施形態のまたさらなる特徴によれば、プロセッサは、物体の蛍光標識と位相変化の画像を得るために、第1の合成画像と第2の合成画像を組み合わせるようにさらに構成される。
またさらなる特徴によれば、プロセッサは、物体の発光標識と位相変化の画像を得るために、第1の合成画像と第2の合成画像を組み合わせるように構成される。
またさらなる特徴によれば、プロセッサは、物体のラマン散乱と位相変化の画像を得るために、第1の合成画像と第2の合成画像を組み合わせるように構成される。
またさらなる特徴によれば、プロセッサは、強度変調した電磁波で90度位相ずれした信号を抽出することによって、第3の合成画像を計算するようにさらに構成される。
またさらなる特徴によれば、第1の格子の周期パターンは、パターン位相を変化させるために経時的に変えられ、第2の格子の周期パターンは、パターン位相を変化させるために経時的に置き換えられる。
またさらなる特徴によれば、第1の格子の周期パターンと第2の格子の周期パターンは、1つのアクチュエーターによって変えられる。
またさらなる特徴によれば、第1の合成画像の計算は、強度変調した電磁波で位相の信号を抽出することによって行われ、第2の合成画像の計算は、位相変調した電磁波で位相から90度ずれた信号を抽出することによって実行される。
別の実施形態によれば、生細胞物体を撮像する方法が提供され、該方法は、(a)2つの軸で位相変調した電磁波を生成するために、二次元の位相格子の周期パターンの電磁波の位相を変調する工程、(b)物体の位相変調した電磁波照明をもたらすために、物体に対して位相格子の実像を投影する工程、(c)周期パターンの位相を変えるために、2つの軸に沿って経時的に周期パターンの位置を変える工程、(d)検出器に対して物体の実像を投影する工程、(e)検出器を用いて物体の複数の画像を記録する工程であって、画像の各々は周期パターンとともに異なる位置に記録される、工程、および、(f)照明によって90度位相からずれた情報を抽出することによって、物体の合成画像を計算する工程を含む。
本発明は位相構造化照明によって先行技術の制限を克服するものであり、これは、電磁波の位相が2つの軸において周期パターンで構造化されている、振幅と位相を特徴とする電磁波を用いて、物体を照射する新規な撮像系である。本明細書では数学的解析が提供され、これは、位相構造化照明を適用すると、位相を変化させる物体のヒルベルト変換画像を抽出することができることを証明している。本発明は、物体の蛍光標識と位相変化の両方の画像を得るために、強度構造化照明を位相構造化照明と組み合わせるための方法と装置も開示している。
ほんの一例として、添付の図面を参照して、様々な実施形態が本明細書に記載されている。
図面と添付の記載を参照して本発明の原理と操作をよりよく理解してもよい。
ここで図面を参照すると、図1は、本発明の撮像装置の光学機構のハイレベルブロック図を示す。第1の電磁波(100)は、光強度の1つの周期パターンの強度格子(101)である第1の格子によって変調される。用語「強度格子」は、光の強度を変調することができる、振幅格子、液晶ディスプレイ(LCD)、またはデジタル光プロセッサ(DLP)などの任意の光学素子に−と交互に−使用される。強度変調した電磁波は、ビームスプリッター(103)のようなビーム分割部品またはダイクロイックミラーを介して、第1の光学撮像系(102/104)によって物体(110)に投影される。すなわち、第1の光学撮像系は、第1の格子で強度変調した電磁波の第1の実像を、物体(例えば、生細胞または細胞)が配される対物面に投影する。対物面の照明強度Lmnは、第1の電磁波を照射されるとき、以下のように書くことができる:
式中、強度関数Lmnは、δx、δyの周期で、xおよびyにおいて周期的である。整数m=1...Mと、n=1...Nは、双方向矢印(111)によって一般的に表される、例えば、強度格子を移動させるか、あるいは、LCDまたはDLPで作成されたパターンを電気的に移動させることにより経時的に変えることができるパターンの位相に関連する。HHは、強度を変調し得る、δx、δyの高調波を表す。方程式(1)は、例えば、M=1およびδx→∞であるとき、一次元の格子を記載することもできる。
第3の光学撮像系(104/105)はセンサー(113)で対物面の光を像平面に撮像する。センサー/検出器は、例えば、カメラ、CCDカメラ、または、画像を撮ることができる任意のタイプの検出器であり得る。第3の光学撮像系(104/105)は、物体(110)から(蛍光、散乱、冷光、または他の方法によって)、プロセッサ(114)に接続されたセンサー(113)へと、後方に反射した/(後方に)戻った/後方に移動した光を撮像する。第1の光学撮像系によって照射されると、光は物体(110)から後方に移動する。センサー(113)はMxNの画像Imn(x、y)撮り、その一方で、強度格子の位相は変化する。第1の光学撮像系によって投影された電磁波と相互作用する物体S1の第1の合成画像は、変換を用いて、照明により位相の信号を抽出することによって(すなわち、物体を照射する強度変調した電磁波)、米国5,867,604号の教示にしたがって、プロセッサ(114)によって計算することができる:
ヒルベルト変換した物体S2の第3の合成画像は、変換を用いて、照明によって90度位相からずれた信号を抽出することによって(すなわち、強度変調した電磁波)、米国5,867,604号の教示にしたがって、計算することができる:
変調Sも計算することができる:
本発明は、波面の位相の周期パターンの位相格子(106)である、第2の格子によって変調された第2の電磁波(115)をさらに開示している。「位相格子」との用語は、位相格子のような任意の光学素子、特定の構造の液晶(LCDではない)、または、電磁光波の位相を変調可能な他の光学素子を指す−または、交互に用いて−ために使用される。位相格子は、周期パターンの電磁波の位相を変調することができ、それによって、位相変調した電磁波を形成する、二次元の位相格子である。第2の格子の周期パターンは、パターン位相を変化させるために、経時的に変えることができる。第2の光学系(107、108、109)(例えば、結像レンズ(tube lens)、折り重なる鏡、および、対物レンズ)は、第2の格子/位相格子で位相変調した電磁波の光の第2の実像を、対物面に投影することができる。光の第2の実像が投影される方向は、光の第1の実像が投影された方向とは反対の方向である。
位相変調波の最初の5つの格子を対物面上で第2の光学系(107−109)によって投影することで、以下の波動関数Ψmnの物体(110)を照射する:
これを合計して以下の式にすることができる(数学的解析の詳細を参照)
ここで、i2=−1は、「複素虚数単位(complex imaginary unit」である。物体を照らす波動関数Ψmnは、距離Λx、Λyの周期で、xおよびyで周期的な位相変化を有している。σ(x,y)は波動関数であり、位相格子を照射するとともに、光学系(107/109)による投影後の、もともとの波(115)に関連付けられる。整数m=1...M’と、n=1...N’は、双方向矢印(112)によって一般に表わされる、圧電アクチュエーターのような機械式アクチュエーターによって位相格子を移動させる、あるいは、液晶上に作成されたパターンを電気的に移動させることによって、経時的に変化させることができる。本発明の1つの実施形態では、1つの機械式アクチュエーターは強度と位相格子の両方を移動させることができる。方程式5aは、振幅と位相によって特徴付けられる電磁波を用いて物体を照射する、新しい撮像システムを示しており、波の位相は2つの軸の周期パターンで構造化される。
物体(110)を通る光線は、プロセッサ(114)に接続されたセンサー(113)に対して、第3の光学撮像系(104/105)によって撮像される。センサー(113)はM’xN’の画像を撮り、その一方で、位相格子(106)のパターンの位相は、(例えば、機械式または電気式のアクチュエーターによって)変えられる。ここで、第2の光学撮像系によって投影された電磁波と位相変化で相互に作用する、物体によって引き起こされたヒルベルト変換した位相変化の第2の合成画像S’2は、方程式5aの照明波パターンによって、および、変換を用いて、90度位相からずれた信号を抽出することによって、以下に提示される新しい解析によって証明されるように、本発明の教示にしたがって計算することができる。
画像S1およびS’2を一緒に組み合わせて、S1の(蛍光、冷光、または他の方法による)標識化またはラマン散乱撮像を用いて、あるいは、S’2の(位相変化による)標識化撮像なしで、生細胞のあらゆる情報を得ることができる。標識化は生細胞にとって有毒なものとなり得るため、かつ、通常は、特定の分子と特定の化学的プロセスに非常に特有なものであるため、S’2から与えられる追加の情報は貴重である。
必要に応じて、物体S’1によって作成された位相変化の画像は、変換を使用して計算することができる:
式中、S’1(x、y)は、方程式5aの照明波パターンを含む位相の信号である。
以下の新しい解析は、本発明の教示に従って、位相を変化させる物体のヒルベルト変換撮像に対する数学的な証明を与えるものである。簡略化するために、理解しやすくするために、および、長い数学的な公式化を避けるために、モデルが1つの軸xで与えられる。2つの軸x,yの延長は、単純に、所定の解析の同じ線に従っている。
図2は、本発明の実施形態にかかる撮像装置のレイアウト図を描いている。電磁波が位相格子(11)(図1の位相格子(106)に似ているが、1つの軸にのみに減らされる)を通過し、一次格子が光学撮像系(13)によって物体(14)上に投影されると仮定する。位相格子のパターンは双方向矢印(12)によって一般に表わされる方向に移動させることができる。ここで、物体は電磁波の振幅と位相を表す電磁波関数Ψによって照射され、Λと等しい基本周期を備えた周期的な位相変化を含む。
ここで、g0,g1は実定数i2=−1であり、σは、和の両方の成分で現われる波動関数であり、これは、両方の成分が互いに干渉性であることを示している。位相Φkは時間Φk=Φ0+2π k/N、および、k=1、2、...Nとともに変化させることができる。方程式7は次のようにも書くことができる:
物体が透明であって、物体内の屈折率の変化と関連付けられる位相変化によって電磁波に影響すると仮定すると、位相変化は複素関数Θ(x)によってモデル化することができる:
式中、ξは空間周波数であり、M(ξ)Φ(ξ)は変調と位相である。物体によって作成された位相変化は小さく(わずかな障害条件)、近似値を使用することができると仮定される:
式中、J0,J1は0次および1次のベッセル関数である。Θ(x)は次のように書くことができる:
そして、わずかな障害条件は、以下を意味する:
物体の実像は、検出器(16)(例えば、カメラなどのセンサー)に投影される。検出器は物体の複数の画像を記録し、それぞれの画像は異なる位置/パターン相で、周期的なパターンの照射で記録される。プロセッサ(17)は、1つの軸に減らした、方程式6の変換を用いることによって物体の合成画像を計算し、物体の位相変調電磁波照射により、90度位相ずれした成分S’2を抽出する。
目標:
分析の目標は、検出器(16)によって像平面で検知された強度信号を、方程式6の変換を使用してプロセッサ(17)で分析して、照射パターンを含む90度位相ずれした成分のS’2を引き出すことができること、および、成分S’2が、空間周波数ξ=0−最大値の帯域内で、物体によって誘発された位相変化Θ(x)のヒルベルト変換として物体に関連付けられるということを証明することである。前述のものは以下の数式に言い換えることができる。
分析の目標は、検出器(16)によって像平面で検知された強度信号を、方程式6の変換を使用してプロセッサ(17)で分析して、照射パターンを含む90度位相ずれした成分のS’2を引き出すことができること、および、成分S’2が、空間周波数ξ=0−最大値の帯域内で、物体によって誘発された位相変化Θ(x)のヒルベルト変換として物体に関連付けられるということを証明することである。前述のものは以下の数式に言い換えることができる。
式中、T(ξ)は撮像系の伝達関数である。
証明:
物体(14)を通過した後、電磁波関数は、以下の式で表すことができる。
物体(14)を通過した後、電磁波関数は、以下の式で表すことができる。
そして、指数形式の方程式5を使用して、以下のものを受け取る。
図2の光学撮像系(15)は、レンズ系の開口数によって定義されたカットオフ周波数まで、単位伝達を含むコヒーレント伝達関数H(ξ)の古典的なモデルによって、分析目的のために表される。簡略化のために、基本的な周期Λがカットオフ周波数も定義するように、証明は設計されているとさらに仮定する。
光伝達関数H(ξ)を用いて、1/Λよりも高いすべての空間周波数を除去することによって、像平面Ψ1で波動関数を分析することができ、以下が得られる。
そして、検出器(16)によって測定された像平面の強度は、以下と等しい。
エネルギーへの貢献が非常に小さい成分は、式(12)で小さな障害の仮定を使用して、無視することができる。
1つの軸に減らす際の方程式6の変換によって、測定された強度から成分のS2を抽出することができる。
および、方程式19にしたがって強度を使用して、以下を得る。
したがって、方程式13が証明される。
方程式20の変換を行うために、較正の工程が必要であり、この工程において、初期の位相2πx/Λ+φ0が画像の各点で測定される。この較正は強度構造化照明について明らかである。なぜなら、格子が見られ、格子の位相が、例えば、物体が平面鏡である際にカメラの強度画像から分析されるからである。位相の線が強度画像には現われないため、位相格子の較正はより複雑である。しかしながら、強度画像Ikは、1/Λでの格子周波数よりも2倍高い空間周波数2/Λで、第2の高調波位相を用いて変調され、その結果、変換を用いて初期の位相を較正するための簡単な方法を提供し、
方程式20の変換を行うために、較正の工程が必要であり、この工程において、初期の位相2πx/Λ+φ0が画像の各点で測定される。この較正は強度構造化照明について明らかである。なぜなら、格子が見られ、格子の位相が、例えば、物体が平面鏡である際にカメラの強度画像から分析されるからである。位相の線が強度画像には現われないため、位相格子の較正はより複雑である。しかしながら、強度画像Ikは、1/Λでの格子周波数よりも2倍高い空間周波数2/Λで、第2の高調波位相を用いて変調され、その結果、変換を用いて初期の位相を較正するための簡単な方法を提供し、
方程式13の伝達関数T(ξ)は、方程式21の定数Cであり、2/Λと等しいカットオフ周波数に達する。これは、方程式16で表されるように、1/Λで光学撮像系(15)のカットオフ周波数よりも2倍高い。これが暗示していることは、以前に達成されたよりも2倍高い位置分解能の改善(位置超分解能)(lateral super resolution)である。
図3のa−dは様々な伝達関数を描いている。図3のdは、方程式16に記載されているような、図3のcの回折の限定された、収差のないコヒーレント伝達関数と比較して、方程式21に記載されているような位相構造化照明撮像装置の伝達関数を示している。図3のaは、回折の限定された非干渉性の光伝達関数を描いている。図3のbは、米国5,867,604に記載されているような強度(振幅)構造化照明撮像系の伝達関数を描いている。
本発明は限られた数の実施形態に関して記載されているが、本発明の多くの変更、改良、および他の適用がなされてもよいことが企図されよう。したがって、以降に続く請求項で詳述されるような発明は、本明細書に記載の実施形態に限定されるわけではない。
参考文献:
1. Zernike, F. (1955). “How I Discovered Phase Contrast”.Science 121 (3141):345−349.
2. Georges, Nomarski (1960), “Interferential polarizing device for study of phase objects”, United States Patent 2924142
3. Minsky, M (1961), “Microscopy apparatus”, United States Patent 3013467
4. Dailey M., Manders E., Soll D., Terasaki M., Confocal Microscopy of Living Cells, Chapter 19 Handbook of Biological Confocal Microscopy 3rd edition, Springer 2006
5. Heintzmann, R., Structured Illumination Methods, Chapter 13 Handbook of Biological Confocal Microscopy 3rd edition, Springer 2006
6. Lukosz W., Lukosz 1967, Optical systems with resolving powers exceeding the classical limit.II, J. Opt. Soc. Am. 57:932*941.
7. Ben−Levy, M., and Peleg, E., (1995), Imaging measurement system, WO 97/06509, US Patent 5,867,604.
8. Gabriel Popescu, “Diffraction phase microscopy for quantifying cell structure and dynamics”, March 15, 2006 / Vol. 31, No. 6 / OPTICS LETTERS
9. Takahiro Ikeda, “Hilbert phase microscopy for investigating fast dynamics in transparent systems”, May 15, 2005 / Vol. 30, No. 10 / OPTICS LETTERS
10. Gabriel Popescu , “Diffraction Phase Microscopy with White Light”, United States Patent Application US20140085715, filed 02/25/2013
11. Shwetadwip Chowdhuryand Joseph Izatt, “Structured illumination diffraction phase microscopy for broadband, subdiffraction resolution, quantitative phase imaging”, February 15, 2014 / Vol. 39, No. 4 / OPTICS LETTERS
1. Zernike, F. (1955). “How I Discovered Phase Contrast”.Science 121 (3141):345−349.
2. Georges, Nomarski (1960), “Interferential polarizing device for study of phase objects”, United States Patent 2924142
3. Minsky, M (1961), “Microscopy apparatus”, United States Patent 3013467
4. Dailey M., Manders E., Soll D., Terasaki M., Confocal Microscopy of Living Cells, Chapter 19 Handbook of Biological Confocal Microscopy 3rd edition, Springer 2006
5. Heintzmann, R., Structured Illumination Methods, Chapter 13 Handbook of Biological Confocal Microscopy 3rd edition, Springer 2006
6. Lukosz W., Lukosz 1967, Optical systems with resolving powers exceeding the classical limit.II, J. Opt. Soc. Am. 57:932*941.
7. Ben−Levy, M., and Peleg, E., (1995), Imaging measurement system, WO 97/06509, US Patent 5,867,604.
8. Gabriel Popescu, “Diffraction phase microscopy for quantifying cell structure and dynamics”, March 15, 2006 / Vol. 31, No. 6 / OPTICS LETTERS
9. Takahiro Ikeda, “Hilbert phase microscopy for investigating fast dynamics in transparent systems”, May 15, 2005 / Vol. 30, No. 10 / OPTICS LETTERS
10. Gabriel Popescu , “Diffraction Phase Microscopy with White Light”, United States Patent Application US20140085715, filed 02/25/2013
11. Shwetadwip Chowdhuryand Joseph Izatt, “Structured illumination diffraction phase microscopy for broadband, subdiffraction resolution, quantitative phase imaging”, February 15, 2014 / Vol. 39, No. 4 / OPTICS LETTERS
Claims (11)
- 物体を撮像するための撮像装置であって、
(a)対物面と像面、
(b)周期的なパターンで電磁波の強度を変調するのに適した強度格子である第1の格子であって、強度変調した電磁波を形成する、第1の格子、
(c)前記対物面に対して、前記第1の格子で前記強度変調した電磁波の光の第1の実像を投影するのに適した第1の光学撮像系、
(d)周期的なパターンで電磁波の位相を変調するのに適した二次元の位相格子である第2の格子であって、位相変調した電磁波を形成する、第2の格子、
(e)前記第1の光学撮像系によって投影された前記光の方向とは反対の方向に、前記対物面に対して、前記第2の格子で前記位相変調した電磁波の光の第2の実像を投影するのに適した第2の光学撮像系、
(f)前記像面に対して前記対物面で光を撮像するのに適した第3の光学撮像系であって、前記第1の光学撮像系によって照射されると前記対物面にある物体から後方に移動する光と、前記第2の光学撮像系によって照射されると前記物体を通る光とを撮像するのに適した、第3の光学撮像系、
(g)前記第3の光学撮像系によって撮像された前記光を捕らえるのに適した、前記像面にあるセンサー、および、
(h)前記第1の光学撮像系によって投影された前記電磁波と相互作用する物体の第1の合成画像を計算するように構成された、前記センサーに接続されたプロセッサであって、前記物体において前記第2の光学撮像系によって投影された前記電磁波と位相変化で相互作用する前記物体の第2の合成画像を計算するようにさらに構成された、プロセッサ、を含む撮像装置。 - 前記プロセッサは、前記物体による電磁位相変化と、前記物体との位相変化以外の電磁相互作用の画像を得るために、前記第1の合成画像と前記第2の合成画像を組み合わせるようにさらに構成される、請求項1に記載の撮像装置。
- 前記プロセッサは、前記物体の蛍光標識と位相変化の画像を得るために、前記第1の合成画像と前記第2の合成画像を組み合わせるようにさらに構成される、請求項1に記載の撮像装置。
- 前記プロセッサは、前記物体の発光標識と位相変化の画像を得るために、前記第1の合成画像と前記第2の合成画像を組み合わせるように構成される、請求項1に記載の撮像装置。
- 前記プロセッサは、前記物体のラマン散乱と位相変化の画像を得るために、前記第1の合成画像と前記第2の合成画像を組み合わせるように構成される、請求項1に記載の撮像装置。
- 前記プロセッサは、前記強度変調した電磁波で90度位相ずれした信号を抽出することによって、第3の合成画像を計算するようにさらに構成される、請求項1に記載の撮像装置。
- 前記第1の格子の前記周期パターンは、パターン位相を変化させるために経時的に置き換えられる、請求項1に記載の撮像装置。
- 前記第2の格子の前記周期パターンは、パターン位相を変化させるために経時的に置き換えられる、請求項1に記載の撮像装置。
- 前記第1の格子の前記周期パターンと前記第2の格子の前記周期パターンは、1つのアクチュエーターによって置き換えられる、請求項1に記載の撮像装置。
- 前記第1の合成画像の前記計算は、前記強度変調した電磁波で位相の信号を抽出することによって行われ、前記第2の合成画像の計算は、前記位相変調した電磁波で位相から90度ずれた信号を抽出することによって実行される、請求項1に記載の撮像装置。
- 生細胞物体を撮像する方法であって、
(a)2つの軸で位相変調した電磁波を生成するために、二次元の位相格子の周期パターンの電磁波の位相を変調する工程、
(b)物体の位相変調した電磁波照明をもたらすために、前記物体に対して前記位相格子の実像を投影する工程、
(c)前記周期パターンの位相を変えるために、前記2つの軸に沿って時間における前記周期パターンの位置を変える工程、
(d)検出器に対して前記物体の実像を投影する工程、
(e)前記検出器を用いて前記物体の複数の画像を記録する工程であって、前記画像の各々は前記周期パターンとともに異なる前記位置に記録される、工程、および、
(f)前記照明によって90度位相からずれた情報を抽出することによって、前記物体の合成画像を計算する工程を含む、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462018613P | 2014-06-29 | 2014-06-29 | |
US62/018,613 | 2014-06-29 | ||
PCT/IL2014/050697 WO2016001910A1 (en) | 2014-06-29 | 2014-07-31 | Dual structured illumination modulated in phase and intensity |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017523439A true JP2017523439A (ja) | 2017-08-17 |
Family
ID=54930185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017520041A Pending JP2017523439A (ja) | 2014-06-29 | 2014-07-31 | 位相と強度を変調した2重構造化照明 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150377777A1 (ja) |
JP (1) | JP2017523439A (ja) |
WO (1) | WO2016001910A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3420393B1 (en) * | 2016-02-22 | 2024-04-10 | Koninklijke Philips N.V. | System for generating a synthetic 2d image with an enhanced depth of field of a biological sample |
NL2018386B1 (en) * | 2017-02-16 | 2018-09-06 | Univ Amsterdam | Structured illumination scanning microscopy |
US10171174B1 (en) * | 2017-07-05 | 2019-01-01 | Suzhou Liuyaosi Information Technology Co., Ltd. | Method and system for optical vector analysis |
NL2020619B1 (en) | 2018-01-16 | 2019-07-25 | Illumina Inc | Dual optical grating slide structured illumination imaging |
TWI725875B (zh) * | 2018-01-16 | 2021-04-21 | 美商伊路米納有限公司 | 結構照明成像系統和使用結構化光來創建高解析度圖像的方法 |
NL2020622B1 (en) | 2018-01-24 | 2019-07-30 | Lllumina Cambridge Ltd | Reduced dimensionality structured illumination microscopy with patterned arrays of nanowells |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4164788A (en) * | 1976-10-13 | 1979-08-14 | Atul Jain | Super-resolution imaging system |
US5867604A (en) * | 1995-08-03 | 1999-02-02 | Ben-Levy; Meir | Imaging measurement system |
JP3816632B2 (ja) * | 1997-05-14 | 2006-08-30 | オリンパス株式会社 | 走査型顕微鏡 |
DE19908883A1 (de) * | 1999-03-02 | 2000-09-07 | Rainer Heintzmann | Verfahren zur Erhöhung der Auflösung optischer Abbildung |
US7274446B2 (en) * | 2001-04-07 | 2007-09-25 | Carl Zeiss Jena Gmbh | Method and arrangement for the deep resolved optical recording of a sample |
DE10241472B4 (de) * | 2002-09-04 | 2019-04-11 | Carl Zeiss Microscopy Gmbh | Verfahren und Anordnung zur einstellbaren Veränderung von Beleuchtungslicht und/oder Probenlicht bezüglich seiner spektralen Zusammensetzung und/oder Intensität |
US8465989B2 (en) * | 2006-10-27 | 2013-06-18 | Ramot At Tel-Aviv University Ltd. | Method and system for detecting a target within a population of molecules |
US8280131B2 (en) * | 2007-11-26 | 2012-10-02 | Carl Zeiss Micro Imaging Gmbh | Method and configuration for optically detecting an illuminated specimen |
NO330814B1 (no) * | 2009-10-09 | 2011-07-25 | Swix Sport As | Skistav |
-
2014
- 2014-07-31 US US14/447,639 patent/US20150377777A1/en not_active Abandoned
- 2014-07-31 WO PCT/IL2014/050697 patent/WO2016001910A1/en active Application Filing
- 2014-07-31 JP JP2017520041A patent/JP2017523439A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20150377777A1 (en) | 2015-12-31 |
WO2016001910A1 (en) | 2016-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Efficient quantitative phase microscopy using programmable annular LED illumination | |
Micó et al. | Resolution enhancement in quantitative phase microscopy | |
Jiang et al. | Resolution-enhanced parallel coded ptychography for high-throughput optical imaging | |
Siegel et al. | High-magnification super-resolution FINCH microscopy using birefringent crystal lens interferometers | |
Dan et al. | Structured illumination microscopy for super-resolution and optical sectioning | |
JP6622154B2 (ja) | 波面制御器を用いた3次元屈折率映像撮影および蛍光構造化照明顕微鏡システムと、これを利用した方法 | |
US8019136B2 (en) | Optical sectioning microscopy | |
Zhou et al. | Image recombination transform algorithm for superresolution structured illumination microscopy | |
JP2017523439A (ja) | 位相と強度を変調した2重構造化照明 | |
Schürmann et al. | Refractive index measurements of single, spherical cells using digital holographic microscopy | |
Wang et al. | Quantitative phase and intensity microscopy using snapshot white light wavefront sensing | |
WO2014169197A1 (en) | Systems and methods for structured illumination super-resolution phase microscopy | |
Ruh et al. | Superior contrast and resolution by image formation in rotating coherent scattering (ROCS) microscopy | |
Picazo-Bueno et al. | Spatially multiplexed interferometric microscopy with partially coherent illumination | |
CN114324245A (zh) | 基于部分相干结构光照明的定量相位显微装置和方法 | |
JP2015212744A (ja) | 標本像データ生成装置、及び、標本像データ生成方法 | |
Hoffman et al. | Single-image structured illumination using Hilbert transform demodulation | |
Chen et al. | Fast 3D super-resolution imaging using a digital micromirror device and binary holography | |
Wang et al. | Recent progress in the correlative structured illumination microscopy | |
Sardana et al. | Dielectric Metasurface Enabled Compact, Single-Shot Digital Holography for Quantitative Phase Imaging | |
Fiolka | Seeing more with structured illumination microscopy | |
Ayubi et al. | Common-path quantitative phase imaging by propagation through a sinusoidal intensity mask | |
Huang et al. | Non-interferometric accurate phase imaging via linear-convergence iterative optimization | |
Arai | Factors affecting the measurement resolution of super-resolution techniques based on speckle interferometry | |
Kume et al. | Theoretical analysis on coherent optical super-resolution method for inspection of functional micro-structured surfaces with complex-amplitude-response distribution |