JP5489541B2

JP5489541B2 - 画像解析方法および画像解析装置

Info

Publication number: JP5489541B2
Application number: JP2009136395A
Authority: JP
Inventors: 明美鈴木
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2009-06-05
Filing date: 2009-06-05
Publication date: 2014-05-14
Anticipated expiration: 2029-06-05
Also published as: JP2010281735A

Description

本発明は、画像解析方法および画像解析装置に関する。

従来、ラスターイメージ相関分光法（ＲＩＣＳ：Raster Image Correlation Spectroscopy）として非特許文献１，２に示すような方法が提案されている。この画像解析方法において、１フレーム以上のラスター走査画像からなる蛍光画像を取得する。つまり、画像解析したい試料において、興味を持っている領域を決め、その領域をラスター走査方式で繰り返し走査し、複数フレームの蛍光強度からなる画像を取得する。フレーム中の蛍光強度はピクセル単位でデータとして表わされている。

ここで、画像解析した試料の中には、大きい分子や小さい分子が混在している。このような場合、試料の中で、小さい分子について画像解析したいのであれば、大きい分子の影響を取り除く必要がある。

「Measuring Fast Dynamics in Solutions and Cells with a Laser Scanning Microscope」, Michelle A. Digman, Claire M. Brown, Parijat Sengupta, Paul W. Wiseman, Alan R. Horwitz, and Enrico Gratton, Biophysical Journal, Vol.89, P1317-1327, August 2005. 「Fluctuation Correlation Spectroscopy with a Laser-Scanning Microscope: Exploiting the Hidden Time Structure」, Michelle A. Digman, Parijat Sengupta, Paul W. Wiseman, Claire M. Brown, Alan R. Horwitz, and Enrico Gratton, Biophysical Journal: Biophysical Letters, L33-36, 2005.

非特許文献１，２に示されるように、大きい分子や不動分子などの影響を取り除く手法としてアベレージ法がある。アベレージ法では、取得したフレームデータの平均画像を計算し、これを元のフレームデータから減算する。平均画像は、フレームデータに大きい分子や不動分子の影響が含まれているかどうかに関係なく、取得したフレームの連続した一部または全部から計算される。したがって、大きい分子や不動分子の影響は、フレームデータの変化と関係なく、同一の平均画像の減算処理で取り除かれる。

ここで、取得した全ての画像に、共通する大きい分子や不動分子が存在する場合、全ての画像から、取得したフレームデータの平均画像を、それぞれ減算すれば良い。

しかしながら、取得した全ての画像の内、一部の画像に、他の画像に共通する大きい分子や不動分子が存在しない場合がある。この場合、そもそも、当該一部の画像には大きい分子や不動分子が存在しないのであるから、当該一部の画像から、取得したフレームデータの平均画像を減算するのは適切ではない。このため、非特許文献１，２に示された方法によれば、大きい分子や不動分子の影響について、適材適所な除去（平均画像の減算）処理が行なわれていない。

本発明の目的は、大きい分子や不動分子の影響を適材適所に除去するＲＩＣＳの画像解析方法を提供することである。

本発明は、大きさの異なる分子が混在する試料内の測定点からの光の検出及び検出する測定点の走査により得られる走査画像を解析する走査型光学顕微鏡の画像解析方法であり、各走査画像のピクセルのデータが時系列的に取得された複数のピクセルからなる複数フレームの走査画像を時系列的に取得する画像取得ステップと、前記走査画像に対して解析領域を設定する解析領域設定ステップと、前記解析領域の区分値を算出する区分値算出ステップと、前記複数の走査画像を前記区分値の変化の大きさに基づいて２以上のグループに分類する分類ステップと、前記グループごとに前記解析領域の平均画像を算出する平均画像算出ステップと、前記グループごとに前記解析領域の各走査画像から前記平均画像を減算して前記解析領域の新規画像を算出する新規画像算出ステップと、前記グループごとに前記新規画像に基づいてラスターイメージ相関分光法により相関値を演算する演算ステップとを有している。

本発明によれば、大きい分子や不動分子の影響を適材適所に除去するＲＩＣＳの画像解析方法が提供される。

本発明の実施形態による画像解析装置を概略的に示している。図１に示された制御部の機能ブロックを示している。本発明の実施形態による画像解析のフローチャートである。時系列的に取得された複数フレームの蛍光画像を示している。観察領域と解析領域を示している。複数グループに分類された複数フレームの蛍光画像を模式的に示している。小さい分子に対するＲＩＣＳによる空間相関値の算出結果を輝度で示した画像である。小さい分子に対するＲＩＣＳによる空間相関値のフィッティング結果を示している。大きい分子に対するＲＩＣＳによる空間相関値の算出結果を輝度で示した画像である。大きい分子に対するＲＩＣＳによる空間相関値のフィッティング結果を示している。

以下、図面を参照しながら本発明の実施形態について説明する。

図１は、本発明の実施形態による画像解析装置を概略的に示している。この画像解析装置は、試料の蛍光観察のための走査型共焦点光学顕微鏡をベースに構成されている。

図１に示すように、画像解析装置１００は、試料Ｓに励起光を照射する光照射部１１０と、試料Ｓ内の測定点から発せられる光を検出する光検出部１３０と、画像解析に必要な制御を行なう制御部１６０と、試料Ｓを支持する試料ステージ１９０とを有している。

試料Ｓはマイクロプレートやスライドガラスなどの試料容器に収容され、試料ステージ１９０に載置される。試料ステージ１９０は、例えば、試料Ｓを光照射部１１０および光検出部１３０に対して横方向（ｘｙ方向）および高さ方向（ｚ方向）に移動可能に支持する。例えば、試料ステージ１９０は、出力軸が互いに直交する三つのステッピング・モーターを含んでおり、これらのステッピング・モーターによって試料Ｓをｘｙｚ方向に移動し得る。

画像解析装置１００は、多重光照射・多重光検出型である。このため、光照射部１１０はｎチャンネルの光源系１１１を含み、これに対応して光検出部１３０はｎチャンネルの検出系１３１を含んでいる。ｎチャンネルの検出系１３１は、それぞれ、ｎチャンネルの光源系１１１から射出された励起光によって生成された蛍光を検出する。ここで、ｎチャンネルは、チャンネル１、チャンネル２、・・・チャンネルｎによって構成される。チャンネルは、励起光の種類によってそれぞれ異なる。

光照射部１１０のｎチャンネルの光源系１１１は、光源１１２ａ，…，１１２ｎとコリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとを含んでいる。光源１１２ａ，…，１１２ｎは、試料Ｓに含まれる蛍光色素を励起して試料Ｓから光（蛍光）を発せさせるための励起光を発する。光源１１２ａ，…，１１２ｎから発せられる励起光の波長は、試料Ｓに含まれる蛍光色素の種類に対応して、互いに相違している。光源１１２ａ，…，１１２ｎは、例えば、試料Ｓ中の蛍光色素に合った発振波長のレーザー光源で構成される。コリメートレンズ１１４ａ，…，１１４ｎは、それぞれ、光源１１２ａ，…，１１２ｎから発せられた励起光をコリメートする。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、コリメートレンズ１１４ａ，…，１１４ｎを通過した励起光を同じ方向に反射する。ダイクロイックミラー１１６ａ，…，１１６ｎは、それぞれ、図１の上方から入射する励起光を透過し、図１の右方から入射する励起光を反射する。その結果、光源１１２ａ，…，１１２ｎからそれぞれ射出された異なる波長の励起光は、ダイクロイックミラー１１６ａの通過後に一本のビームに合成される。ダイクロイックミラー１１６ｎは、励起光を透過する必要がないので、単なるミラーに変更されてもよい。

光照射部１１０はさらに、ダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６と対物レンズ駆動機構１２８を含んでいる。ダイクロイックミラー１２２は、光源系１１１からの励起光をガルバノミラー１２４に向けて反射し、試料Ｓから発せられる蛍光を透過する。ガルバノミラー１２４は、励起光を対物レンズ１２６に向けて反射するとともに、その反射方向を変更する。対物レンズ１２６は、励起光を収束して試料Ｓ内の測定点に照射するとともに、試料Ｓ内の測定点からの光を取り込む。対物レンズ１２６には、微小な共焦点領域（測定点）の形成のために、ＮＡ（開口数）の大きいものが使用される。これにより得られる共焦点領域の大きさは、直径０．６μｍ程度、長さ２μｍ程度の略円筒状となる。ガルバノミラー１２４は、測定点をｘｙ方向に走査するｘｙ走査手段を構成している。ｘｙ走査手段は、ガルバノミラーを使用して構成するほかに、音響光学変調素子（ＡＯＭ）やポリゴンミラー、ホログラムスキャナーなどを使用して構成してもよい。対物レンズ駆動機構１２８は、対物レンズ１２６を光軸に沿って移動させる。これにより、測定点がｚ方向に移動される。つまり、対物レンズ駆動機構１２８は、測定点をｚ方向に走査するｚ走査手段を構成している。

光検出部１３０は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２を光照射部１１０と共有している。光検出部１３０はさらに、収束レンズ１３２とピンホール１３４とコリメートレンズ１３６とを含んでいる。収束レンズ１３２は、ダイクロイックミラー１２２を透過した光を収束する。ピンホール１３４は、収束レンズ１３２の焦点に配置されている。つまり、ピンホール１３４は、試料Ｓ内の測定点に対して共役な位置にあり、測定点からの光だけを選択的に通す。コリメートレンズ１３６は、ピンホール１３４を通過した光を平行にする。コリメートレンズ１３６を通過した光は、ｎチャンネルの検出系１３１に入射する。

ｎチャンネルの検出系１３１は、ダイクロイックミラー１３８ａ，…，１３８ｎと蛍光フィルター１４０ａ，…，１４０ｎと光検出器１４２ａ，…，１４２ｎとを含んでいる。ダイクロイックミラー１３８ａ，…，１３８ｎは、それぞれ、光源１１２ａ，…，１１２ｎからの励起光によって試料Ｓから生成された蛍光の波長域付近の波長の光を選択的に反射する。ダイクロイックミラー１３８ｎは、光を透過する必要がないので、単なるミラーに変更されてもよい。蛍光フィルター１４０ａ，…，１４０ｎは、それぞれ、ダイクロイックミラー１３８ａ，…，１３８ｎによって反射された光から、不所望な波長成分の光を遮断し、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけを選択的に透過する。蛍光フィルター１４０ａ，…，１４０ｎを透過した蛍光はそれぞれ光検出器１４２ａ，…，１４２ｎに入射する。光検出器１４２ａ，…，１４２ｎは、入射した光の強度に対応した信号を出力する。すなわち、光検出器１４２ａ，…，１４２ｎは、試料Ｓ内の測定点からの蛍光強度信号を出力する。

制御部１６０は例えばパーソナルコンピューターで構成される。制御部１６０は、試料Ｓの観察領域の蛍光画像の取得と記憶と表示、取得する蛍光画像のフレーム数（枚数）や解析領域の設定の入力待ち、画像解析（相関値の算出）、拡散時間の推定などを行なう。また制御部１６０は、ｘｙ走査手段であるガルバノミラー１２４、ｚ走査手段である対物レンズ駆動機構１２８、試料ステージ１９０などの制御を行なう。

図１に示される制御部の機能ブロックを図２に示す。制御部１６０は、図２に示すように、走査制御部１６２と画像形成部１６４と記憶部１６６と表示部１６８と入力部１７０と解析領域設定部１７２とデータ抽出部１７６と解析部１７８とステージ制御部１８０とを含んでいる。走査制御部１６２と画像形成部１６４と記憶部１６６とステージ制御部１８０とガルバノミラー１２４と対物レンズ駆動機構１２８とステージ１９０と光検出器１４２により、画像取得部が構成される。

走査制御部１６２は、試料Ｓの蛍光画像を取得する際、励起光の照射位置を試料Ｓに対してラスター走査するようにガルバノミラー１２４を制御する。走査制御部１６２はまた、必要であれば、励起光の照射位置を試料Ｓに対してｚ走査するように対物レンズ駆動機構１２８を制御する。画像形成部１６４は、走査制御部１６２から入力される励起光の照射位置の情報と光検出器１４２ａ，…，１４２ｎの出力信号とから試料Ｓの蛍光画像を形成する。これにより、蛍光画像を取得することができる。記憶部１６６は、画像形成部１６４で形成された蛍光画像を順次記憶する。表示部１６８は、試料Ｓの蛍光画像や解析結果を表示する。入力部１７０は、例えばマウスやキーボードを含み、表示部１６８と共同してＧＵＩを構成する。このＧＵＩは、取得フレーム数や観察領域や解析領域の設定などに利用される。ステージ制御部１８０は、例えば観察領域を設定するために、入力部１７０からの入力情報に従って試料ステージ１９０を制御する。解析領域設定部１７２は、入力部１７０からの入力情報に従って解析領域を設定する。データ抽出部１７６は、解析領域設定部１７２からの入力情報に基づいて、記憶部１６６に記憶されている蛍光画像から必要なデータを抽出する。必要なデータは、例えば、記憶部１６６に記憶されているすべての蛍光画像のすべてのピクセルのデータまたは一部のピクセルのデータであってよく、あるいは、記憶部１６６に記憶されている一部の蛍光画像のすべてのピクセルのデータまたは一部のピクセルのデータであってもよい。解析部１７８は、データ抽出部１７６によって抽出されたデータに対して後述する相関値の演算を行なう。より具体的には、解析部１７８は、後述する解析領域の区分値を算出し、複数の蛍光画像を区分値に基づいて一以上のグループに分類する。そして、解析部１７８は、グループごとに、解析領域の平均画像を算出した上で、グループごとに解析領域の各画像から平均画像を減算して解析領域の新規画像を算出する。その後、解析部１７８は、グループごとに新規画像に基づいて相関値を演算する。

図１において、光源１１２ａ，…，１１２ｎから発せられた励起光は、コリメートレンズ１１４ａ，…，１１４ｎとダイクロイックミラー１１６ａ，…，１１６ｎとダイクロイックミラー１２２とガルバノミラー１２４と対物レンズ１２６を経て試料Ｓ内の測定点に照射される。励起光が照射される測定点は、ガルバノミラー１２４によってｘｙ方向にラスター走査される。さらに必要であれば、対物レンズ駆動機構１２８によってｚ走査される。励起光を受けた試料Ｓは測定点から蛍光を発する。試料Ｓからの光（蛍光のほかに不所望な反射光などを含む）は、対物レンズ１２６とガルバノミラー１２４とダイクロイックミラー１２２と収束レンズ１３２を経てピンホール１３４に至る。ピンホール１３４は測定点と共役な位置にあるため、試料Ｓ内の測定点からの光だけがピンホール１３４を通過する。ピンホール１３４を通過した光すなわち試料Ｓ内の測定点からの光はコリメートレンズ１３６を経てｎチャンネルの検出系１３１に入射する。ｎチャンネルの検出系１３１に入射した光は、ダイクロイックミラー１３８ａ，…，１３８ｎによって波長に従って分離される（つまり分光される）とともに、蛍光フィルター１４０ａ，…，１４０ｎによって不所望な成分が除去される。その結果、光源１１２ａ，…，１１２ｎからの励起光によって生成された蛍光だけが光検出器１４２ａ，…，１４２ｎにそれぞれ入射する。光検出器１４２ａ，…，１４２ｎは、それぞれ、入射光すなわち試料Ｓ内の測定点から発せられた蛍光の強度を示す蛍光強度信号を出力する。この蛍光強度信号は画像形成部１６４に入力される。画像形成部１６４は、１回のラスター走査（およびｚ走査）ごとに、入力される蛍光強度信号をｘｙ方向（およびｚ方向）の位置情報に同期させて処理して、試料Ｓ内の焦点面（測定点が移動した平面または曲面）の１フレームの蛍光画像を形成する。形成された蛍光画像は、記憶部１６６に保存される。ここに述べた一連の動作は、設定された取得するフレーム数だけ繰り返され、設定されたフレーム数の蛍光画像が取得される。各蛍光画像は、ピクセルのデータが時系列的に取得された複数のピクセルからなる。

記憶部１６６に保存された蛍光画像は、必要に応じて処理され、表示部１６８に表示される。例えば、測定点のｚ位置を変えて複数フレームの蛍光画像を取得し、それらを合成して三次元画像を形成し、これを表示部１６８に表示することも可能である。

以下、図３を参照しながら画像解析の手順について説明する。また、各ステップについて、適宜、図４〜図６を参照しながら説明する。

＜ステップＳ１＞：
試料Ｓの観察領域と取得する蛍光画像のフレーム数を設定する。設定した観察領域の蛍光画像を設定したフレーム数だけ取得する。蛍光画像の取得は、同一の観察領域に対して同一の走査方法によって行なう。取得する複数フレームの蛍光画像は、時系列的に取得された画像であり、各画像は、ピクセルのデータが時系列的に取得された複数のピクセルからなる。

時系列的に取得された複数フレームの蛍光画像を模式的に図４に示す。図４において、Ｆ_ｎは、一つのチャンネルにおけるｎフレーム目の蛍光画像を表している。つまり、図４は、８０フレームの蛍光画像を取得した例を示している。

＜ステップＳ２＞：
図５に示すように、取得した蛍光画像の領域（観察領域）Ｒ１に対して解析する領域（解析領域）Ｒ２を設定する。解析領域Ｒ２は、観察領域Ｒ１の一部に限定されるものではなく、観察領域Ｒ１に一致していてもよい。解析領域Ｒ２は、アプリケーション的にはデフォルトで観察領域Ｒ１すなわちステップＳ１における走査領域に設定されている。観察領域Ｒ１の全体を解析する場合には、このステップは不要である。

＜ステップＳ３＞：
解析領域Ｒ２の区分値を算出する。区分値は、例えば、解析領域Ｒ２のピクセルのデータの統計値であり、解析領域Ｒ２のピクセルのデータの最大値、最小値、平均値、相対差、相対比のいずれかである。ピクセルのデータは、例えば、２次元または３次元の観察領域から得られた蛍光強度である。相対差は、例えば、最大値と最小値との差である。

続く説明では、蛍光画像Ｆ_１，…，Ｆ_２０の解析領域の区分値はＤ_ａであり、蛍光画像Ｆ_２１，…，Ｆ_５０の解析領域の区分値は、Ｄ_ａとは大きく異なるＤ_ｂであり、蛍光画像Ｆ_５１，…，Ｆ_８０の解析領域の区分値はＤ_ａであるとする。

＜ステップＳ４＞：
複数の画像を区分値に基づいて一以上のグループに分類する。例えば、区分値が大きく変化する前後で画像をグループ分けする。グループの数は、区分値の変化の仕方に応じて決まる。

複数グループに分類された複数フレームの解析領域の蛍光画像を模式的に図６に示す。図６において、Ｆａ_ｎはｎフレーム目の蛍光画像の解析領域の画像を表している。図６は、図４に示した蛍光画像Ｆ_１，…，Ｆ_８０の解析領域の画像Ｆａ_１，…，Ｆａ_８０を二つのグループＧ_ａ，Ｇ_ｂに分類した例を示している。図６では、画像Ｆａ_１，…，Ｆａ_２０と画像Ｆａ_５１，…，Ｆａ_８０がグループＧ_ａに分類され、画像Ｆａ_２１，…，Ｆａ_５０がグループＧ_ｂに分類されている。

＜ステップＳ５＞：
グループごとに解析領域の平均画像を算出する。平均画像は、各グループに含まれる全ての画像の平均値であってもよく、または各グループに含まれる一部の画像の平均値であってもよい。例えば、平均画像の算出は、各グループに含まれる画像の数を算出し、算出した画像の数に基づいて各グループの平均画像を算出する。

より具体的には、各グループに含まれる全ての画像について、解析領域を構成するピクセルごとに、ピクセルのデータの平均値を算出する。そして、ピクセルごとに算出された各ピクセルのデータの平均値からなる画像を平均画像としてよい。

続く説明では、グループＧ_ａに含まれる画像Ｆａ_１，…，Ｆａ_２０と画像Ｆａ_５１，…，Ｆａ_８０の平均画像をＡ_ａとし、グループＧ_ｂに含まれる画像Ｆａ_２１，…，Ｆａ_５０の平均画像をＡ_ｂとする。

画像Ｆａ_１，…，Ｆａ_２０と画像Ｆａ_５１，…，Ｆａ_８０から一つの平均画像Ａ_ａを算出する代わりに、画像Ｆａ_１，…，Ｆａ_２０からは平均画像Ａ_ａ１を算出し、画像Ｆａ_５１，…，Ｆａ_８０からは別の平均画像Ａ_ａ２を算出してもよい。

＜ステップＳ６＞：
グループごとに解析領域の各画像から平均画像を減算して解析領域の新規画像を算出する。ここで、解析領域の各画像から平均画像を減算するには、例えば、解析領域を構成するピクセルごとに、各画像のピクセルのデータから平均画像のピクセルのデータを減算し、算出された値からなる画像を得ればよい。

ｎフレーム目の解析領域の新規画像をＦｂ_ｎとする。グループＧ_ａに含まれる画像Ｆａ_１，…，Ｆａ_２０，Ｆａ_５１，…，Ｆａ_８０に対しては、Ｆｂ_１＝Ｆａ_１−Ａ_ａ，…，Ｆｂ_２０＝Ｆａ_２０−Ａ_ａ，Ｆａ_５１＝Ｆａ_５１−Ａ_ａ，…，Ｆａ_５１＝Ｆａ_２０−Ａ_ａによって、新規画像Ｆｂ_１，…，Ｆｂ_２０，Ｆｂ_５１，…，Ｆｂ_８０を算出し、グループＧ_ｂに含まれる画像Ｆａ_２１，…，Ｆａ_５０に対しては、Ｆｂ_２１＝Ｆａ_２１−Ａ_ｂ，…，Ｆｂ_５０＝Ｆａ_５０−Ａ_ｂによって、新規画像Ｆｂ_２１，…，Ｆｂ_５０を算出する。

新規画像Ｆｂ_１，…，Ｆｂ_２０，Ｆｂ_５１，…，Ｆｂ_８０を算出するために、各画像Ｆａ_１，…，Ｆａ_２０，Ｆａ_５１，…，Ｆａ_８０から共通のＡ_ａ，を減算する代わりに、各画像Ｆａ_１，…，Ｆａ_２０からは前述した平均画像Ａ_ａ１を減算し、各画像Ｆａ_５１，…，Ｆａ_８０からは前述した平均画像Ａ_ａ２を減算してもよい。

＜ステップＳ７＞：
グループごとに新規画像に基づいて相関値を演算する。相関値の演算に使用する各ピクセルのデータは、そのピクセルのデータそのものであってもよいし、そのピクセルを含む複数のピクセルのデータの統計値であってもよい。複数のピクセルは、たとえば、注目のピクセルおよびこれに隣接するピクセルであってよい。統計値は、たとえば、ピクセルのデータの平均値、最大値、最小値、相対差、絶対差、相対比のいずれかであってよい。どのような統計値を使用するかは、ＲＩＣＳの解析によってどのような情報を得たいかによって決める。

相関値の演算は、例えば、グループごとにピクセルのデータの最小値を算出し、算出した最小値を新規画像の全てのピクセルのデータに加算し、最小値を加算した新規画像について相関値を演算する。この処理によって、新規画像のピクセルのデータが全て正になる。ここでは、新規画像のピクセルのデータを全て正にするために、最小値を加算する例をあげたが、加算する値は最小値に限らず、最小値よりも大きい任意の値を加算すればよい。

また相関値の演算は、ピクセルのデータに基づいて画像をそれぞれ構成し直し、構成し直した画像について相関値を演算してもよい。例えば、隣のピクセルのデータ同士を足して、ピクセルのデータの数を半分にする。または、一つのピクセルのデータを複数に分割する。本来ならば、一度画像を取得するとピクセルのデータの数は増えないが、取得したピクセルのデータの強度がそのピクセルのデータの周囲にガウシアン分布で広がっていると仮定して、本来取得できていないピクセルのデータを補う。本質的にピクセルのデータの数が増えている訳ではないが、見た目が良くなる。

相関値の演算は、例えば、次式（１）を用いて空間自己相関値を算出する。

ここで、Ｇ_ｓａはＲＩＣＳの空間自己相関値、Ｉはピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１1はデータ積和計算の回数、Ｍ_１はデータ総数である。

または、相関値の演算は、例えば、次式（２）を用いて空間相互相関値を算出する。

ここで、Ｇ_ｓｃはＲＩＣＳの空間相互相関値、Ｉ_１はチャンネル１のピクセルのデータ、Ｉ_２はチャンネル２のピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１２はデータ積和計算の回数、Ｍ_１はチャンネル１のデータ総数、Ｍ_２はチャンネル２のデータ総数である。式（２）は、チャンネル１とチャンネル２との間の空間相互相関値の算出式であるが、チャンネルは適宜変更されてよい。

さらに、各新規画像に基づいて算出された相関値を平均化する。

ｎフレーム目の解析領域の新規画像Ｆｂ_ｎに基づいて算出した相関値をＧ_ｓｎとする。そして、平均の相関値Ｇ_ｓを、Ｇ_ｓ＝（Ｇ_ｓ１＋Ｇ_ｓ２＋…＋Ｇ_ｓ７９＋Ｇ_ｓ８０）／８０によって算出する。

＜ステップＳ８＞：
上記ステップＳ７の空間相関値の算出結果を式（３）によってフィッティングする。

ここで、Ｇ_ｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、ξ，ψは測定点からの空間的座標の変化量、δｒはピクセルサイズ、Ｎは分子数、Ｗ_０は励起レーザビームの横方向の半径、Ｗ_Ｚは励起レーザビームの縦方向の半径、τ_ｐはピクセル時間、τ_ｌはライン時間、γは任意の定数である。

なお、γについては、システムに応じて適宜設定することができる。例えば、γ＝１としてフィッティングしてよい。

また、ピクセル時間とは、ピクセル間の取得時間のずれを意味する。また、ライン時間とは、任意のラインの最初のピクセルと、その次のラインの最初のピクセルと、の間の取得時間のずれを意味する。すなわち、ライン時間は、一ライン走査するのに要する時間を意味する。

このように式（３）を用いてフィッティングすることで、拡散時間の推定をする。具体的には、式（１）または式（２）を用いて、異なる遅延時間に対する相関値Ｇ_ｓａまたは相関値Ｇ_ｓｃをそれぞれ求める。ここで、遅延時間とは、一の画素の取得時間と、別の画素の取得時間と、の差を意味している。例えば、（ξ，ψ）＝（１，１）と、（ξ，ψ）＝（４，２）と、の遅延時間は、（４−１）τ_ｐ＋（２−１）τ_ｌで表される。

ここで、式（３）において、遅延時間がゼロのときは（ξ＝０、ψ＝０）、Ｓは１であり、Ｇ_ｓは１／Ｎで表せる。従って、分子数を求めることができる。これを新たに、式（３）に代入する。

そして、未知数である拡散定数Ｄを変動させながら、測定値として得られる相関値Ｇ_ｓａまたは相関値Ｇ_ｓｃと、理論値として得られるＧ_ｓと、の差が最小となるように、適切な拡散定数Ｄを求める。このように、式（３）によるフィッティングとは、拡散定数Ｄを変動させながら、２次元または３次元の観察領域における、最適な、分子数または拡散定数を推定することである。

そして、拡散定数からは、拡散時間を求めることができる。

すなわち、拡散定数と、拡散時間との関係は、次式（４）で表される。

ここで、Ｄは拡散定数、τは拡散時間、Ｗ_０は励起レーザビームの横方向の半径を意味する。

＜ステップＳ９＞：
解析結果を表示するとともに適宜保存する。具体的には、ステップＳ７で得た空間相関値の算出結果と、ステップＳ８で得た空間相関値のフィッティング結果を表示する。解析結果の一例を図７〜図１０に示す。図７は、小さい分子に対する空間相関値の算出結果を輝度で示した画像であり、図８は、そのフィッティング結果を示している。また図９は、大きい分子に対する空間相関値の算出結果を輝度で示した画像であり、図１０は、そのフィッティング結果を示している。

このように本実施形態では、ＲＩＣＳのような画像データを計算の元とする空間的相関解析において、複数フレームの画像をフレームデータの変化に応じていくつかのグループに分類し、グループごとに平均画像の減算処理を行なっている。つまり、異なる大きい分子や不動分子の影響が混在するフレームから一つの平均画像を算出して減算処理することを避け、大きい分子や不動分子の影響を事前に分類し、分類したグループごとに平均画像を算出して減算処理している。これにより、フレームデータの変化に応じたグループごとに、大きい分子や不動分子の影響が適材適所に除去される。

これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。

また実施形態では、ラスター走査によって取得された画像について説明したが、画像は、ラスター走査によって取得されたものに限定されるものではなく、ピクセルのデータが時系列的に取得された複数のピクセルからなる画像であればよく、他の走査方法によって取得されたものであってもよい。

１００…画像解析装置、１１０…光照射部、１１２ａ，…，１１２ｎ…光源、１１４ａ，…，１１４ｎ…コリメートレンズ、１１６ａ，…，１１６ｎ…ダイクロイックミラー、１２２…ダイクロイックミラー、１２４…ガルバノミラー、１２６…対物レンズ、１２８…対物レンズ駆動機構、１３０…光検出部、１３２…収束レンズ、１３４…ピンホール、１３６…コリメートレンズ、１３８ａ，…，１３８ｎ…ダイクロイックミラー、１４０ａ，…，１４０ｎ…蛍光フィルター、１４２ａ，…，１４２ｎ…光検出器、１６０…制御部、１６２…走査制御部、１６４…画像形成部、１６６…記憶部、１６８…表示部、１７０…入力部、１７２…解析領域設定部、１７６…データ抽出部、１７８…解析部、１８０…ステージ制御部、１９０…試料ステージ、Ｒ１…観察領域、Ｒ２…解析領域。

Claims

大きさの異なる分子が混在する試料内の測定点からの光の検出及び検出する測定点の走査により得られる走査画像を解析する走査型光学顕微鏡の画像解析方法であって、
各走査画像のピクセルのデータが時系列的に取得された複数のピクセルからなる複数フレームの走査画像を時系列的に取得する画像取得ステップと、
前記走査画像に対して解析領域を設定する解析領域設定ステップと、
前記解析領域の区分値を算出する区分値算出ステップと、
前記複数の走査画像を前記区分値の変化の大きさに基づいて２以上のグループに分類する分類ステップと、
前記グループごとに前記解析領域の平均画像を算出する平均画像算出ステップと、
前記グループごとに前記解析領域の各走査画像から前記平均画像を減算して前記解析領域の新規画像を算出する新規画像算出ステップと、
前記グループごとに前記新規画像に基づいてラスターイメージ相関分光法により相関値を演算する演算ステップとを有している画像解析方法。
前記区分値は、前記解析領域のピクセルのデータの最大値、最小値、平均値、相対差、相対比のいずれかである、請求項１に記載の画像解析方法。
前記ピクセルのデータは、２次元または３次元の観察領域から得られた蛍光強度である、請求項１または２に記載の画像解析方法。
前記演算ステップは、前記グループごとに前記ピクセルのデータの最小値を算出し、算出した最小値を前記新規画像の全てのピクセルのデータに加算し、前記最小値を加算した新規画像について相関値を演算する、請求項１ないし請求項３のいずれかひとつに記載の画像解析方法。
前記平均画像算出ステップは、各グループに含まれる画像の数を算出し、算出した画像の数に基づいて各グループの平均画像を算出する、請求項１ないし４のいずれかひとつに記載の画像解析方法。
前記演算ステップは、前記ピクセルのデータに基づいて、前記複数の画像をそれぞれ構成し直し、構成し直した画像について相関値を演算する、請求項１ないし５のいずれかひとつに記載の画像解析方法。
前記画像は、走査型顕微鏡によって得られたものである、請求項１ないし６のいずれかひとつに記載の画像解析方法。
前記演算ステップは、次式（１）または次式（２）を用いて、２次元または３次元の観察領域の相関演算を行う、

ここで、Ｇ_ｓａはＲＩＣＳの空間自己相関値、Ｉはピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１１はデータ積和計算の回数、Ｍ_１はデータ総数であり、

ここで、Ｇ_ｓｃはＲＩＣＳの空間相互相関値、Ｉ_１はチャンネル１のピクセルのデータ、Ｉ_２はチャンネル２のピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１２はデータ積和計算の回数、Ｍ_１はチャンネル１のデータ総数、Ｍ_２はチャンネル２のデータ総数である、請求項１ないし請求項７のいずれかひとつに記載の画像解析方法。
前記演算ステップは、次式（３）を用いて、前記空間相関値の算出結果をフィッティングする、

ここで、Ｇ_ｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、ξ，ψは測定点からの空間的座標の変化量、δｒはピクセルサイズ、Ｎは分子数、Ｗ_０は励起レーザビームの横方向の半径、Ｗ_Ｚは励起レーザビームの縦方向の半径、τ_ｐはピクセル時間、τ_ｌはライン時間、γは任意の定数である、請求項８に記載の画像解析方法。
大きさの異なる分子が混在する試料内の測定点からの光の検出及び検出する測定点の走査により得られる走査画像を解析する画像解析装置を有する走査型光学顕微鏡であって、
各走査画像のピクセルのデータが時系列的に取得された複数のピクセルからなる複数フレームの走査画像を時系列的に取得する画像取得手段と、
前記走査画像に対して解析領域を設定する解析領域設定手段と、
前記解析領域の区分値を算出する区分値算出手段と、
前記複数の走査画像を前記区分値の変化の大きさに基づいて２以上のグループに分類し、前記グループごとに前記解析領域の平均画像を算出し、前記グループごとに前記解析領域の走査画像から前記平均画像を減算して前記解析領域の新規画像を算出し、前記新規画像についてラスターイメージ相関分光法により相関値を演算する演算手段とを有している、画像解析装置を有する走査型光学顕微鏡。
前記区分値は、前記解析領域のピクセルのデータの最大値、最小値、平均値、相対差、相対比のいずれかである、請求項１０に記載の画像解析装置を有する走査型光学顕微鏡。
前記ピクセルのデータは、２次元または３次元の観察領域から得られた蛍光強度である、請求項１０または１１に記載の画像解析装置を有する走査型光学顕微鏡。
前記演算ステップは、前記グループごとに前記ピクセルのデータの最小値を算出し、算出した最小値を前記新規画像の全てのピクセルのデータに加算し、前記最小値を加算した新規画像について相関値を演算する、請求項１０ないし１２のいずれかひとつに記載の画像解析装置を有する走査型光学顕微鏡。
前記演算手段は、各グループに含まれる画像の数を算出し、前記画像の数に基づいて前記グループごとに前記平均画像を算出する、請求項１０ないし１３のいずれかひとつに記載の画像解析装置を有する走査型光学顕微鏡。
前記演算ステップは、前記ピクセルのデータに基づいて、前記複数の画像をそれぞれ構成し直し、構成し直した画像について相関値を演算する、請求項１０ないし１４のいずれかひとつに記載の画像解析装置を有する走査型光学顕微鏡。
前記画像は、走査型顕微鏡によって得られたものである、請求項１０ないし１５のいずれかひとつに記載の画像解析装置を有する走査型光学顕微鏡。
前記演算手段は、次式（１）と次式（２）に基づいて、２次元または３次元の観察領域の分子数または拡散定数を推定する、

ここで、Ｇ_ｓａはＲＩＣＳの空間自己相関値、Ｉはピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１１はデータ積和計算の回数、Ｍ_１はデータ総数であり、

ここで、Ｇ_ｓｃはＲＩＣＳの空間相互相関値、Ｉ_１はチャンネル１のピクセルのデータ、Ｉ_２はチャンネル２のピクセルのデータ、ｘ，ｙは測定点の空間的座標、ξ，ψは測定点からの空間的座標の変化量、Ｍ_１２はデータ積和計算の回数、Ｍ_１はチャンネル１のデータ総数、Ｍ_２はチャンネル２のデータ総数である、請求項１０ないし１６のいずれかひとつに記載の画像解析装置を有する走査型光学顕微鏡。
前記演算手段は、次式（３）を用いて、前記空間相関値の算出結果をフィッティングする、

ここで、Ｇ_ｓはＲＩＣＳの空間相関値、ＳはＲＩＣＳの解析におけるスキャンの影響、ＧはＲＩＣＳの解析における時間遅延の影響、Ｄは拡散定数、ξ，ψは測定点からの空間的座標の変化量、δｒはピクセルサイズ、Ｎは分子数、Ｗ_０は励起レーザビームの横方向の半径、Ｗ_Ｚは励起レーザビームの縦方向の半径、τ_ｐはピクセル時間、τ_ｌはライン時間、γは任意の定数である、請求項１７に記載の画像解析装置を有する走査型光学顕微鏡。