JP5151171B2 - 顕微鏡画像処理システムおよび顕微鏡画像処理方法 - Google Patents

Description

本発明は、顕微鏡画像処理システムおよび顕微鏡画像処理方法に関するものである。

生物学や医学の分野において、標本にレーザ光を照射し、標本から発せられる蛍光をスペクトルに分解して観察する、スペクトルレーザ顕微鏡が広く使用されている。標本から発せられる蛍光は、蛍光試薬の種類、励起する波長など様々な条件に依存して、特定のスペクトル成分を有する光として発せられる。したがって、標本から発せられる蛍光のスペクトル成分を観察することにより、標本内の物質の存在、状態、反応などを確認することができる。

スペクトル成分を観察した結果を、標本の２次元画像と組み合わせて表示することが行われている（たとえば、特許文献１）。

また、スペクトル成分を、後処理によって、所定の帯域に分類したバンドパスデータなどに加工し、たとえば、標本の２次元画像と組み合わせて表示することも行われている。このように、スペクトル成分を平均化するなど、後処理によって加工したデータを、本明細書において後処理加工データと呼称する。

特開昭58-200209号公報

後処理加工データを作成する際には、スペクトル成分を平均化するなど、後処理加工を行った結果のみが利用される。ここで、後処理加工データは、元のスペクトル成分のデータとはリンクされていなかった。したがって、顕微鏡の利用者（以下、ユーザと呼称する）は、後処理加工データ画面において、後処理加工データが特徴を持つ特定の領域のスペクトルデータを参照することはできなかった。

後処理加工データ画面において、後処理加工データが特徴を持つ特定の領域のスペクトルデータを作成することのできる顕微鏡画像処理システム、および顕微鏡画像処理方法に対するニーズがある。

本発明の第１の態様による顕微鏡画像処理システムは、光源からの走査光を観察試料に照射したときに試料の照射部位ごとに検出された観察試料のスペクトルデータと、前記スペクトルデータが検出された前記試料中の照射部位の位置情報を収集するスペクトルデータ収集手段と、前記スペクトルデータと前記位置情報を格納するスペクトルデータ格納手段と、前記スペクトルデータを処理し、後処理加工データを作成し、後処理加工データ画面を作成する後処理加工データ画面作成手段と、前記後処理加工データを格納する後処理加工データ格納手段と、前記後処理加工データ画面において特定された領域の対応するスペクトルデータを前記位置情報を基にスペクトルデータ格納手段から読み出すか、或いは作成する特定領域スペクトル読み出し・作成手段と、を備えることを特徴とする。
本発明の第２の態様による顕微鏡画像処理システムは、光源からの走査光を観察試料に照射したときに試料の照射部位に対応する顕微鏡画像面の画素位置ごとに検出された観察試料のスペクトルデータと、前記スペクトルデータが検出された前記試料中の照射部位に対応する顕微鏡画像面の画素位置の位置情報を収集するスペクトルデータ収集手段と、前記スペクトルデータと前記位置情報を格納するスペクトルデータ格納手段と、前記スペクトルデータを処理し、後処理加工データを作成し、後処理加工データ画面を作成する後処理加工データ画面作成手段と、前記後処理加工データを格納する後処理加工データ格納手段と、前記後処理加工データ画面において特定された領域の対応するスペクトルデータを前記位置情報を基にスペクトルデータ格納手段から読み出すか、或いは作成する特定領域スペクトル読み出し・作成手段と、を備えることを特徴とする。

本発明の第３の態様による顕微鏡画像処理方法は、光源からの走査光を観察試料に照射したときに試料の照射部位ごとに検出された観察試料のスペクトルデータと、前記スペクトルデータが検出された前記試料中の照射部位の位置情報を収集するステップと、前記スペクトルデータと前記位置情報を格納するステップと、前記スペクトルデータを処理し、後処理加工データを作成し、後処理加工データ画面を作成するステップと、前記後処理加工データ画面において特定された領域の対応するスペクトルデータを前記位置情報を基に読み出すか、或いは作成するステップと、を含むことを特徴とする。

本発明によれば、検出された観察試料のスペクトルデータと、前記スペクトルデータが検出された前記試料中の位置情報を格納しているので、後処理加工データ画面において特定された領域のスペクトルデータを、前記位置情報を基に作成することができる。したがって、ユーザは後処理加工データ画面に表示された情報と関連するスペクトルデータを参照することができ、有効な解析を行うことができる。

本発明によれば、後処理加工データ画面において、後処理加工データが特徴を持つ特定の領域のスペクトルデータを作成することのできる顕微鏡画像処理システム、および顕微鏡画像処理方法が得られる。

図１は、本発明の一実施形態によるスペクトルレーザ顕微鏡の構成図を示す図である。

図１において、本実施形態によるスペクトルレーザ顕微鏡は、レーザ顕微鏡本体３００、スペクトルディテクタ２００およびレーザ顕微鏡コントローラ１００から構成されている。

レーザ顕微鏡本体３００は、ステージ３０９に置かれた標本に照射する励起光を発するレーザ光源３０１と、レーザ光源３０１からのレーザ光を平行光とするコリメートレンズ３０３と、レーザ光を標本に向けて反射し、標本からの蛍光を透過するダイクロックミラー３０５と、ダイクロックミラー３０５とステージ３０９との間に配置された、ＸＹスキャナ３１１および対物レンズ３０７と、を含む。

スペクトルデータ検出手段であるスペクトルディテクタ２００は、分光素子２０１と、マルチチャネル光検出器２０３と、光信号サンプリング回路２０５と、を含む。レーザ顕微鏡本体３００の光学系とスペクトルディテクタ２００の光学系とは、図示しない光学系によって接続されている。

図２は、マルチチャンネル光検出器２０３の出力であるスペクトル成分（輝度値）を示す図である。マルチチャンネル光検出器２０３は、ｎ個のチャンネルを備える。したがって、レーザを照射する標本の各部に対応してｎ個の出力値が得られる。

顕微鏡コントローラ１００は、光信号サンプリング回路２０５から各チャネルのスペクトル成分を受け取り、画像データとして処理する顕微鏡画像処理システム１１０と、装置制御回路１２０と、装置制御回路１２０の指令によりＸＹスキャナ３１１を駆動する、ＸＹスキャナ駆動回路１４０と、装置制御回路１２０の指令によりマルチチャンネル光検出器２０３に電圧を供給する高圧電源１３０と、を含む。顕微鏡画像処理システム１１０は、顕微鏡画像を表示する表示装置１１５を備える。

図３は、本発明の一実施形態による顕微鏡画像処理システム１１０の構成を示す図である。顕微鏡画像処理システム１１０は、スペクトルデータ収集部１０１０と、スペクトルデータ格納部１０３０と、後処理加工データ画面作成部１０５０と、特定領域スペクトル作成部１０７０と、後処理加工データ格納部１０９０と、を備える。

図４は、本発明の一実施形態による顕微鏡画像処理システム１１０の処理を示す流れ図である。

図４のステップＳ４０１０において、顕微鏡画像処理システム１１０のスペクトルデータ収集部１０１０は、スペクトルデータを収集する。より詳細に、スペクトルデータ収集部１０１０は、光信号サンプリング回路２０５から各チャネルのスペクトル成分を受け取るとともに、装置制御回路１２０から、画素位置データを受け取る。画素位置は、ＸＹスキャナ３１１のスキャン位置に対応する。本明細書において、ＸＹスキャナ３１１のスキャン位置に対応する画素位置を、原画面の画素位置と呼称する。チャネル数はｎ個であるので、原画面の画素位置ごとにｎ個のスペクトルデータが得られる。画面の画素数は、一例として、
５１２×５１２
個である。

図４のステップＳ４０２０において、スペクトルデータ収集部１０１０は、スペクトルデータを、スペクトルデータ格納部１０３０に格納する。

図５は、スペクトルデータ格納部１０３０のデータ構造を示す図である。スペクトルデータ格納部１０３０は、原画面の画素位置ごとにｎ個のスペクトルデータを格納する。

図４のステップＳ４０３０において、後処理加工データ画面作成部１０５０は、スペクトルデータ収集部１０１０に格納されたスペクトルデータに基づいて、後処理加工データ画面を作成する。

以下に、後処理加工データの処理方法の具体例について説明する。

バンドパスデータ処理は、ｎチャンネルのスペクトル成分を、より小さい数のバンド（帯域）にまとめる処理である。一例として、３個の帯域にまとめて、標本の２次元画像と重ねて、３色で後処理加工データ画面に表示してもよい。

スペクトル成分の比による処理（Ratio処理）は、画素ごとに、２個の、特定の波長におけるスペクトル成分の比を求める処理である。一例として、比の大きさを色に対応させて、標本の２次元画像と重ねて、後処理加工データ画面にとして表示してもよい。

スペクトル成分の相関処理（Colocalization処理）は、２個の、特定の波長におけるスペクトル成分の相関を求める処理である。一例として、横軸によって一方の特定の波長におけるスペクトル成分を表し、縦軸に他方の特定の波長におけるスペクトル成分を表すように、後処理加工データ画面に表示してもよい。

スペクトル成分を要因に分解する処理（Unmixing処理）は、複数の要因によって生じたスペクトルパターンを個々の要因によるスペクトルパターンに分解する処理である。個々の要因とは、たとえば、複数の波長の励起光などである。図９の（ａ）は、複数の要因によって生じたスペクトルパターンＹを示す図であり、図９の（ｂ）は、個々の要因によるスペクトルパターンＹａ、ＹｂおよびＹｃを示す図である。演算によって以下の式を満たすａ、ｂおよびｃを求める。

一例として、ａ、ｂおよびｃのそれぞれを、標本の２次元画像と重ねて、後処理加工データ画面に表示してもよい。

後処理加工データ画面作成部１０５０は、たとえば、上記の処理方法によって作成した後処理加工データを後処理加工データ格納部１０９０に格納する。

図６は、後処理加工データ格納部１０９０のデータ構造を示す図である。後処理加工データ格納部１０９０は、後処理加工データ画面の画素位置ごとに、当該画素位置に対応する後処理加工データを格納する。後処理加工データ格納部１０９０は、さらに、後処理加工データ画面の画素位置ごとに、対応する原画面の画素位置を格納する。後処理加工データ画面の画素位置が原画面の画素位置と同じ場合には、後処理加工データ画面の画素位置を原画面の画素位置として使用してもよい。又、後処理加工データ格納時に対応する画素位置を格納しているが、必ずしも必須ではなく、例えば、スペクトルデータ格納時のみ画素位置をも格納しておき、後処理加工データを表示し、表示された画像上にユーザが例えば座標を指示し、スペクトルデータを読み出してもよい。

図４のステップＳ４０４０において、特定領域スペクトル作成部１０７０は、後処理加工データ画面上で指定された特定領域のスペクトルを作成する。より詳細に、特定領域スペクトル作成部１０７０は、後処理加工データ格納部１０９０の、後処理加工データ画面上で指定された特定領域に対応する後処理加工データ画面の画素位置のデータにアクセスし、対応する原画面の画素位置を求める。つぎに、特定領域スペクトル作成部１０７０は、当該原画面の画素位置に基づいて、スペクトルデータ格納部１０３０にアクセスし、特定領域のスペクトルデータを求める。特定領域のスペクトルデータは、対応する画素のスペクトルデータを平均して求めてもよい。

後処理加工データ画面上で特定領域を指定するには、四角形や円などの表示を画面上に設け、ユーザが、その表示をクリックやドラッグして所望の位置に所望の大きさで配置できるようにしてもよい。本実施の形態では、画素位置で位置情報を把握しているが、その他、座標を設け、座標により位置情報を把握してもよい。

図７は、横軸によって一方の特定の波長Ｓｉにおけるスペクトル成分を表し、縦軸に他方の特定の波長Ｓｊにおけるスペクトル成分を表すように後処理加工データ画面（相関処理画面）を示す図であり、Scatterグラムと称する。これは２次画像上、枠で囲んだ部分のデータの分布を見るものである。本発明によれば、後処理加工データ画面において、図７に円形で示したような特定の領域を指定してスペクトルデータを参照することができる。これにより、例えば、図９（ｂ）に示したUnmixing処理後のスペクトルデータとUnmixing処理前のスペクトルデータを比較する場合に有効である。

図８は、スペクトルデータを参照した結果を示す図である。

従来の画像処理システムにおいては、後処理加工データ画面を表示するためのデータは、スペクトルデータ格納部１０３０に格納された、画素ごとのスペクトルデータとリンクされていなかった。したがって、後処理加工データ画面からスペクトルデータを参照することはできなかった。

これに対して、本発明においては、後処理加工データ画面を表示するためのデータは、スペクトルデータ格納部１０３０に格納された、画素ごとのスペクトルデータとリンクされているので、後処理加工データ画面からスペクトルデータを参照することができる。

このように、本発明によれば、後処理加工データ画面において、後処理加工データが特徴を持つ特定の領域のスペクトルを作成することができるので、ユーザが解析を行う際に有効な手段を提供することができる。

本発明の一実施形態によるスペクトルレーザ顕微鏡の構成図を示す図である。 マルチチャンネル光検出器２０３の出力であるスペクトル成分（輝度値）を示す図である。 本発明の一実施形態による顕微鏡画像処理システム１１０の構成を示す図である。 本発明の一実施形態による顕微鏡画像処理システムの処理を示す流れ図である。 スペクトルデータ格納部のデータ構造を示す図である。 後処理加工データ格納部のデータ構造を示す図である。 横軸によって一方の特定の波長Ｓｉにおけるスペクトル成分を表し、縦軸に他方の特定の波長Ｓｊにおけるスペクトル成分を表すように後処理加工データ画面を示す図である。 スペクトルデータを参照した結果を示す図である。 複数の要因によって生じたスペクトルパターンＹ、および個々の要因によるスペクトルパターンＹａ、ＹｂおよびＹｃを示す図である。

符号の説明

１０１０…スペクトルデータ収集部、１０３０…スペクトルデータ格納部、１０５０…後処理加工データ画面作成部、１０７０…特定領域スペクトル作成部、１０９０…特定領域スペクトル作成部

Claims (8)

1. 光源からの走査光を観察試料に照射したときに試料の照射部位ごとに検出された観察試料のスペクトルデータと、前記スペクトルデータが検出された前記試料中の照射部位の位置情報を収集するスペクトルデータ収集手段と、
   前記スペクトルデータと前記位置情報を格納するスペクトルデータ格納手段と、
   前記スペクトルデータを処理し、後処理加工データを作成し、後処理加工データ画面を作成する後処理加工データ画面作成手段と、
   前記後処理加工データを格納する後処理加工データ格納手段と、
   前記後処理加工データ画面において特定された領域の対応するスペクトルデータを前記位置情報を基にスペクトルデータ格納手段から読み出すか、或いは作成する特定領域スペクトル読み出し・作成手段と、を備えることを特徴とする、顕微鏡画像処理システム。
2. 光源からの走査光を観察試料に照射したときに試料の照射部位に対応する顕微鏡画像面の画素位置ごとに検出された観察試料のスペクトルデータと、前記スペクトルデータが検出された前記試料中の照射部位に対応する顕微鏡画像面の画素位置の位置情報を収集するスペクトルデータ収集手段と、
   前記スペクトルデータと前記位置情報を格納するスペクトルデータ格納手段と、
   前記スペクトルデータを処理し、後処理加工データを作成し、後処理加工データ画面を作成する後処理加工データ画面作成手段と、
   前記後処理加工データを格納する後処理加工データ格納手段と、
   前記後処理加工データ画面において特定された領域の対応するスペクトルデータを前記位置情報を基にスペクトルデータ格納手段から読み出すか、或いは作成する特定領域スペクトル読み出し・作成手段と、を備えることを特徴とする、顕微鏡画像処理システム。
3. 前記後処理加工データ格納手段は、後処理加工データの位置情報を格納することを特徴とする請求項１または2に記載の顕微鏡画像処理システム。
4. 前記後処理加工データ格納手段が、後処理加工データ画面の画素位置ごとに、対応するスペクトルデータの位置情報を格納することによって、前記後処理加工データと前記スペクトルデータの情報が対応付けされていることを特徴とする請求項１または2に記載の顕微鏡画像処理システム。
5. 前記後処理加工データが、スペクトル成分のバンドパスデータであることを特徴とする、請求項１から４のいずれか１項に記載の顕微鏡画像処理システム。
6. 前記後処理加工データが、２個の、特定の波長におけるスペクトル成分の比又は相関であることを特徴とする、請求項１から４のいずれか１項に記載の顕微鏡画像処理システム。
7. 前記後処理加工データが、スペクトル成分を複数の要因に分解したものであることを特徴とする、請求項１から４のいずれか１項に記載の顕微鏡画像処理システム。
8. 光源からの走査光を観察試料に照射したときに試料の照射部位ごとに検出された観察試料のスペクトルデータと、前記スペクトルデータが検出された前記試料中の照射部位の位置情報を収集するステップと、
   前記スペクトルデータと前記位置情報を格納するステップと、
   前記スペクトルデータを処理し、後処理加工データを作成し、後処理加工データ画面を作成するステップと、
   前記後処理加工データ画面において特定された領域の対応するスペクトルデータを前記位置情報を基に読み出すか、或いは作成するステップと、を含むことを特徴とする、顕微鏡画像処理方法。

Images