JP6597316B2 - 画像処理装置及びプログラム - Google Patents
画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP6597316B2 JP6597316B2 JP2016000771A JP2016000771A JP6597316B2 JP 6597316 B2 JP6597316 B2 JP 6597316B2 JP 2016000771 A JP2016000771 A JP 2016000771A JP 2016000771 A JP2016000771 A JP 2016000771A JP 6597316 B2 JP6597316 B2 JP 6597316B2
- Authority
- JP
- Japan
- Prior art keywords
- fluorescent
- image
- cell
- spot
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Description
本発明は、画像処理装置及びプログラムに関する。
近年、抗体医薬を中心とした分子標的薬治療の広がりに伴い、分子標的薬をより効果的に設計するため、観察対象細胞上の生体物質の定量が求められている。生体物質の存在を確認する方法として、生体物質認識部位が結合された蛍光物質と、生体物質認識部位に対応した生体物質の結合に基づく、組織分析方法が知られている。
このような組織分析方法においては、例えば、細胞上の定量対象とする生体物質の発現を表す蛍光物質の定量や分布の解析を行うが、細胞外の蛍光輝点等のノイズの影響により、解析結果には誤差が生じる。そのため、定量対象とする生体物質の発現を表す蛍光輝点をノイズと判別して正しく抽出することが求められる。
さらに、病理組織標本を用いて病変の程度や種類を診断する場合には、複数種類の生体物質の発現状況を解析することが求められる。１つの組織標本から複数種類の生体物質の発現を解析するためには、発光特性が互いに異なる蛍光物質を用いて、複数種類の生体物質を染色（多重染色）し、蛍光輝点の数や位置を発光特性ごとに解析することが好ましい。
多重染色に基づく解析を行う場合には、複数種類の生体物質を正確に判別する必要がある。しかし、発光特性が互いに異なる蛍光物質の間のクロストークなどの要因により、複数種類の生体物質の発現を表す蛍光輝点を正確に判別することは難しく、解析結果に誤差が発生しやすいという問題がある。
多重染色に基づく解析を行う場合には、複数種類の生体物質を正確に判別する必要がある。しかし、発光特性が互いに異なる蛍光物質の間のクロストークなどの要因により、複数種類の生体物質の発現を表す蛍光輝点を正確に判別することは難しく、解析結果に誤差が発生しやすいという問題がある。
例えば、特許文献１に記載の組織分析方法では、特定の生体物質を蛍光染色した組織切片の顕微鏡画像から細胞核領域を抽出し、細胞核領域の重心を中心とした所定の半径の円領域を細胞領域として推定して、細胞領域における生体物質の発現を、蛍光輝点の位置や数に基づいて解析する。
しかし、特許文献１において用いられる細胞領域は、一定サイズの円領域であるため、実際の細胞領域との誤差が大きい。そのため、例えば、細胞から外れた位置にあるノイズに由来する蛍光輝点を、生体物質の発現を表す蛍光輝点と判別できず、解析結果に誤差が生じる。
一方、特許文献２に記載の生体物質の評価方法では、組織標本には、定量対象とする生体物質の蛍光染色及び細胞膜の蛍光染色が施されており、画像内の細胞膜の位置を同定して、細胞膜上の蛍光輝点数等に基づいて生体物質の発現レベルを評価する。従って、細胞から外れた位置にあるノイズに由来する蛍光輝点を、生体物質の発現を表す蛍光輝点と判別することができる。
しかし、特許文献２に記載の評価方法では、多重染色に基づく解析を行う場合に、複数種類の生体物質の発現を表す蛍光輝点の判別及び解析結果に誤差が発生しやすいという問題は解決できない。
また、特許文献２で具体的に用いられているような、発光輝度が高い蛍光体を用いて染色を行う場合、画像からの蛍光輝点の抽出や、細胞の自家蛍光と蛍光輝点の判別は容易となる。しかし、同時に、発光特性が異なる複数の蛍光物質の間のクロストークの影響が増大して、フィルタ設定等のみで区別することが難しくなると考えられる。具体的には、１種類の蛍光物質の発光に基づく蛍光輝点を抽出する際に、別の種類の生体物質の発光を示す蛍光輝点も共に抽出されやすく、定量結果に誤差が生じやすくなる。
また、特許文献２で具体的に用いられているような、発光輝度が高い蛍光体を用いて染色を行う場合、画像からの蛍光輝点の抽出や、細胞の自家蛍光と蛍光輝点の判別は容易となる。しかし、同時に、発光特性が異なる複数の蛍光物質の間のクロストークの影響が増大して、フィルタ設定等のみで区別することが難しくなると考えられる。具体的には、１種類の蛍光物質の発光に基づく蛍光輝点を抽出する際に、別の種類の生体物質の発光を示す蛍光輝点も共に抽出されやすく、定量結果に誤差が生じやすくなる。
これに対して、特許文献３に記載の方法によれば、複数の標識色素を用いて多重染色した標本を、複数の色フィルタを有する撮像素子により撮像して輝度データを取得し、標識色素と色フィルタの波長特性に基づいて作成されたスペクトルデータを用いて、輝度データを標識色素ごとに分離することができる。
しかし、特許文献３に記載の方法では、標識色素と色フィルタの波長特性に基づくスペクトルデータを予め準備しておく必要があり、また、画素毎及び色フィルタ毎に輝度データを解析する必要があるため、手間がかかる。
本発明の主な目的は、複数の生体物質の発現を表す蛍光輝点を、容易に判別可能な画像処理装置及びプログラムを提供することにある。
本発明に係る上記課題は、以下の手段により解決される。
本発明に係る上記課題は、以下の手段により解決される。
１． 発光特性が互いに異なる複数種類の蛍光物質を用いて複数種類の生体物質をそれぞれ染色した組織標本を撮像した、前記複数種類の生体物質の発現を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段と、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段と、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す生体物質の種類を判定する判定手段と、
を備え、
前記判定手段は、以下の（ａ）、（ｂ）、及び（ｃ）の少なくとも何れか１つに基づいて、前記蛍光輝点が表す生体物質の種類を判定する
ことを特徴とする画像処理装置。
（ａ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の距離。
（ｂ）前記蛍光輝点が前記細胞又は細胞内器官に内包されるかどうか。
（ｃ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の特徴量。
２． 発光特性が互いに異なる複数種類の蛍光物質を用いて複数種類の特定物質をそれぞれ染色した組織標本を撮像した、前記複数種類の特定物質の存在を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段と、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段と、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す特定物質の種類を判定する判定手段と、
を備えることを特徴とする画像処理装置。
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段と、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す生体物質の種類を判定する判定手段と、
を備え、
前記判定手段は、以下の（ａ）、（ｂ）、及び（ｃ）の少なくとも何れか１つに基づいて、前記蛍光輝点が表す生体物質の種類を判定する
ことを特徴とする画像処理装置。
（ａ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の距離。
（ｂ）前記蛍光輝点が前記細胞又は細胞内器官に内包されるかどうか。
（ｃ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の特徴量。
２． 発光特性が互いに異なる複数種類の蛍光物質を用いて複数種類の特定物質をそれぞれ染色した組織標本を撮像した、前記複数種類の特定物質の存在を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段と、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段と、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す特定物質の種類を判定する判定手段と、
を備えることを特徴とする画像処理装置。
３． 前記領域が、細胞膜、細胞質、細胞核、又は核小体の領域の何れか１つである
ことを特徴とする、第２項に記載の画像処理装置。
ことを特徴とする、第２項に記載の画像処理装置。
４． 前記判定手段は、以下の（ａ）、（ｂ）、及び（ｃ）の少なくとも何れか１つに基づいて、前記蛍光輝点が表す特定物質の種類を判定する
ことを特徴とする第２項又は第３項に記載の画像処理装置。
（ａ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の距離。
（ｂ）前記蛍光輝点が前記細胞又は細胞内器官に内包されるかどうか。
（ｃ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の特徴量。
ことを特徴とする第２項又は第３項に記載の画像処理装置。
（ａ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の距離。
（ｂ）前記蛍光輝点が前記細胞又は細胞内器官に内包されるかどうか。
（ｃ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の特徴量。
５． 前記特徴量は面積であることを特徴とする第１項又は第４項に記載の画像処理装置。
６． 前記判定手段は、前記蛍光輝点の色に基づいて、前記蛍光輝点が表す特定物質の種類を判定する
ことを特徴とする、第２項〜第５項の何れか一項に記載の画像処理装置。
ことを特徴とする、第２項〜第５項の何れか一項に記載の画像処理装置。
７． 前記判定手段は、前記蛍光輝点が表す特定物質の種類を、前記複数種類の特定物質のいずれか１つであると判定する
ことを特徴とする第２項〜第６項の何れか一項に記載の画像処理装置。
ことを特徴とする第２項〜第６項の何れか一項に記載の画像処理装置。
８． 前記判定手段は、
前記蛍光輝点が前記複数種類の特定物質のそれぞれを表す確率を算出して、
前記蛍光輝点が表す特定物質の種類を判定する
ことを特徴とする第２項〜第６項の何れか一項に記載の画像処理装置。
前記蛍光輝点が前記複数種類の特定物質のそれぞれを表す確率を算出して、
前記蛍光輝点が表す特定物質の種類を判定する
ことを特徴とする第２項〜第６項の何れか一項に記載の画像処理装置。
９． 前記判定手段により判定された結果に基づいて、前記蛍光輝点から、前記複数種類の特定物質のうち特定の特定物質を表す蛍光輝点を選択する選択手段を備える
ことを特徴とする第７項に記載の画像処理装置。
ことを特徴とする第７項に記載の画像処理装置。
１０． コンピュータを、
発光特性が互いに異なる複数種類の蛍光物質を用いて複数種類の特定物質をそれぞれ染色した組織標本を撮像した、前記複数種類の特定物質の存在を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す特定物質の種類を判定する判定手段、
として機能させるためのプログラム。
１１． 蛍光物質を用いて特定物質を染色した組織標本を撮像した、前記特定物質の存在を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段と、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段と、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す特定物質の種類を判定する判定手段と、
を備え、
前記判定手段は、以下の（ａ）、（ｂ）、及び（ｃ）の少なくとも何れか１つに基づいて、前記蛍光輝点が表す特定物質の種類を判定する事を特徴とする画像処理装置。
（ａ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の距離。
（ｂ）前記蛍光輝点が前記細胞又は細胞内器官に内包されるかどうか。
（ｃ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の特徴量。
発光特性が互いに異なる複数種類の蛍光物質を用いて複数種類の特定物質をそれぞれ染色した組織標本を撮像した、前記複数種類の特定物質の存在を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す特定物質の種類を判定する判定手段、
として機能させるためのプログラム。
１１． 蛍光物質を用いて特定物質を染色した組織標本を撮像した、前記特定物質の存在を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段と、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段と、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す特定物質の種類を判定する判定手段と、
を備え、
前記判定手段は、以下の（ａ）、（ｂ）、及び（ｃ）の少なくとも何れか１つに基づいて、前記蛍光輝点が表す特定物質の種類を判定する事を特徴とする画像処理装置。
（ａ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の距離。
（ｂ）前記蛍光輝点が前記細胞又は細胞内器官に内包されるかどうか。
（ｃ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の特徴量。
本発明の画像処理装置及びプログラムによれば、複数の生体物質の発現を表す蛍光輝点を、容易に判別することができる。
以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。
＜診断支援情報生成システム１００の構成＞
＜病理診断支援システム１００の構成＞
図１に、病理診断支援システム１００の全体構成例を示す。
病理診断支援システム１００は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
＜病理診断支援システム１００の構成＞
図１に、病理診断支援システム１００の全体構成例を示す。
病理診断支援システム１００は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
図１に示すように、病理診断支援システム１００は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａなどのインターフェースを介してデータ送受信可能に接続されて構成されている。
顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置１Ａは、公知のカメラ付き顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルタなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。
なお、公知の任意の顕微鏡（例えば、位相差顕微鏡、微分干渉顕微鏡、電子顕微鏡等）にカメラを設置したものを顕微鏡画像取得装置１Ａとして用いることができる。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆなどを備えて構成されている。照射手段は、光源、フィルタなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
顕微鏡画像取得装置１Ａでは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。
なお、公知の任意の顕微鏡（例えば、位相差顕微鏡、微分干渉顕微鏡、電子顕微鏡等）にカメラを設置したものを顕微鏡画像取得装置１Ａとして用いることができる。
なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、たとえば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（たとえば、特表２００２−５１４３１９号公報参照）などを用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現分布を算出する。
図２に、画像処理装置２Ａの機能構成例を示す。
図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。
図２に、画像処理装置２Ａの機能構成例を示す。
図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５などを備えて構成され、各部はバス２６を介して接続されている。
制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などを備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。
たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、領域抽出手段、輝点抽出手段、判定手段、及び選択手段としての機能を実現する。
たとえば、制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、領域抽出手段、輝点抽出手段、判定手段、及び選択手段としての機能を実現する。
操作部２２は、文字入力キー、数字入力キー、各種機能キーなどを備えたキーボードと、マウスなどのポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。
表示部２３は、たとえばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などのモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。
通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、蛍光画像及び形態画像の入力手段としての機能を実現する。
記憶部２５は、たとえばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリーなどで構成されている。記憶部２５には、前述のように各種プログラムや各種データなどが記憶されている。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーターなどを備え、ＬＡＮなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
＜画像について＞
本実施形態では、画像処理装置２Ａは、例えば、顕微鏡画像取得装置１Ａから送信された、細胞における特定の生体物質の発現を表す画像（例えば、細胞における特定の生体物質の発現を蛍光輝点で表す蛍光画像）、及び細胞核、細胞膜等、細胞の所定の構造の形態を表す形態画像（例えば、明視野画像）を用いて解析を行うことが好ましい。
本実施形態では、画像処理装置２Ａは、例えば、顕微鏡画像取得装置１Ａから送信された、細胞における特定の生体物質の発現を表す画像（例えば、細胞における特定の生体物質の発現を蛍光輝点で表す蛍光画像）、及び細胞核、細胞膜等、細胞の所定の構造の形態を表す形態画像（例えば、明視野画像）を用いて解析を行うことが好ましい。
「明視野画像」とは、例えば、ヘマトキシリン染色試薬（Ｈ染色試薬）、ヘマトキシリン−エオジン染色試薬（ＨＥ染色試薬）を用いて染色された組織切片を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞形態画像である。ヘマトキシリン（Ｈ）は青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織など）を染色する。エオジン（Ｅ）は赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織など）を染色する。
細胞の形態画像としては、明視野画像の他に、細胞の診断対象とする構造を特異的に染色可能な蛍光染色試薬を用いて組織切片を染色し、用いた蛍光染色試薬が発する蛍光を撮影した蛍光画像を用いても良い。形態画像の取得に用いることができる蛍光染色試薬としては、例えば、細胞核を染色可能なＤＡＰＩ染色、細胞質を染色可能なパパロニコロウ染色等が挙げられる。また、位相差画像、微分干渉画像、電子顕微鏡画像等を形態画像として用いても良い。
細胞の形態画像としては、明視野画像の他に、細胞の診断対象とする構造を特異的に染色可能な蛍光染色試薬を用いて組織切片を染色し、用いた蛍光染色試薬が発する蛍光を撮影した蛍光画像を用いても良い。形態画像の取得に用いることができる蛍光染色試薬としては、例えば、細胞核を染色可能なＤＡＰＩ染色、細胞質を染色可能なパパロニコロウ染色等が挙げられる。また、位相差画像、微分干渉画像、電子顕微鏡画像等を形態画像として用いても良い。
細胞における特定の生体物質の発現を蛍光輝点で表す蛍光画像は、特定の生体物質と特異的に結合及び／又は反応する蛍光物質又は蛍光物質内包ナノ粒子を含む蛍光染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置１Ａにおいて所定波長の励起光を照射して蛍光物質を蛍光発光させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。なお、「蛍光物質内包ナノ粒子」とは蛍光物質を内包したナノ粒子であり、詳しくは後述する。
＜蛍光染色試薬や染色方法など＞
以下、細胞に特異的に発現する特定の生体物質の発現を蛍光輝点で表す蛍光画像を取得するための蛍光染色試薬や当該蛍光染色試薬を用いた組織切片の染色方法について説明する。
以下、細胞に特異的に発現する特定の生体物質の発現を蛍光輝点で表す蛍光画像を取得するための蛍光染色試薬や当該蛍光染色試薬を用いた組織切片の染色方法について説明する。
（１）蛍光物質
蛍光染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット（半導体粒子）を挙げることができる。２００〜７００ｎｍの範囲内の波長の紫外〜近赤外光により励起されたときに、４００〜１１００ｎｍの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
蛍光染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット（半導体粒子）を挙げることができる。２００〜７００ｎｍの範囲内の波長の紫外〜近赤外光により励起されたときに、４００〜１１００ｎｍの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Ａｌｅｘａ Ｆｌｕｏｒ（インビトロジェン社製）系色素分子、ＢＯＤＩＰＹ（インビトロジェン社製）系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、ＮＢＤ系色素分子、ピレン系色素分子、Ｔｅｘａｓ Ｒｅｄ系色素分子、シアニン系色素分子などを挙げることができる。
具体的には、５−カルボキシ−フルオレセイン、６−カルボキシ−フルオレセイン、５，６−ジカルボキシ−フルオレセイン、６−カルボキシ−２’，４，４’，５’，７，７’−ヘキサクロロフルオレセイン、６−カルボキシ−２’，４，７，７’−テトラクロロフルオレセイン、６−カルボキシ−４’，５’−ジクロロ−２’，７’−ジメトキシフルオレセイン、ナフトフルオレセイン、５−カルボキシ−ローダミン、６−カルボキシ−ローダミン、５，６−ジカルボキシ−ローダミン、ローダミン ６Ｇ、テトラメチルローダミン、Ｘ−ローダミン、及びＡｌｅｘａ Ｆｌｕｏｒ ３５０、Ａｌｅｘａ Ｆｌｕｏｒ ４０５、Ａｌｅｘａ Ｆｌｕｏｒ ４３０、Ａｌｅｘａ Ｆｌｕｏｒ ４８８、Ａｌｅｘａ Ｆｌｕｏｒ ５００、Ａｌｅｘａ Ｆｌｕｏｒ ５１４、Ａｌｅｘａ Ｆｌｕｏｒ ５３２、Ａｌｅｘａ Ｆｌｕｏｒ ５４６、Ａｌｅｘａ Ｆｌｕｏｒ ５５５、Ａｌｅｘａ Ｆｌｕｏｒ ５６８、Ａｌｅｘａ Ｆｌｕｏｒ ５９４、Ａｌｅｘａ Ｆｌｕｏｒ ６１０、Ａｌｅｘａ Ｆｌｕｏｒ ６３３、Ａｌｅｘａ Ｆｌｕｏｒ ６３５、Ａｌｅｘａ Ｆｌｕｏｒ ６４７、Ａｌｅｘａ Ｆｌｕｏｒ ６６０、Ａｌｅｘａ Ｆｌｕｏｒ ６８０、Ａｌｅｘａ Ｆｌｕｏｒ ７００、Ａｌｅｘａ Ｆｌｕｏｒ ７５０、ＢＯＤＩＰＹ ＦＬ、ＢＯＤＩＰＹ ＴＭＲ、ＢＯＤＩＰＹ ４９３／５０３、ＢＯＤＩＰＹ ５３０／５５０、ＢＯＤＩＰＹ ５５８／５６８、ＢＯＤＩＰＹ ５６４／５７０、ＢＯＤＩＰＹ ５７６／５８９、ＢＯＤＩＰＹ ５８１／５９１、ＢＯＤＩＰＹ ６３０／６５０、ＢＯＤＩＰＹ ６５０／６６５（以上インビトロジェン社製）、メトキシクマリン、エオジン、ＮＢＤ、ピレン、Ｃｙ５、Ｃｙ５．５、Ｃｙ７などを挙げることができる。これら蛍光有機色素は単独で使用されてもよいし、複数種を混合して使用されてもよい。
具体的には、５−カルボキシ−フルオレセイン、６−カルボキシ−フルオレセイン、５，６−ジカルボキシ−フルオレセイン、６−カルボキシ−２’，４，４’，５’，７，７’−ヘキサクロロフルオレセイン、６−カルボキシ−２’，４，７，７’−テトラクロロフルオレセイン、６−カルボキシ−４’，５’−ジクロロ−２’，７’−ジメトキシフルオレセイン、ナフトフルオレセイン、５−カルボキシ−ローダミン、６−カルボキシ−ローダミン、５，６−ジカルボキシ−ローダミン、ローダミン ６Ｇ、テトラメチルローダミン、Ｘ−ローダミン、及びＡｌｅｘａ Ｆｌｕｏｒ ３５０、Ａｌｅｘａ Ｆｌｕｏｒ ４０５、Ａｌｅｘａ Ｆｌｕｏｒ ４３０、Ａｌｅｘａ Ｆｌｕｏｒ ４８８、Ａｌｅｘａ Ｆｌｕｏｒ ５００、Ａｌｅｘａ Ｆｌｕｏｒ ５１４、Ａｌｅｘａ Ｆｌｕｏｒ ５３２、Ａｌｅｘａ Ｆｌｕｏｒ ５４６、Ａｌｅｘａ Ｆｌｕｏｒ ５５５、Ａｌｅｘａ Ｆｌｕｏｒ ５６８、Ａｌｅｘａ Ｆｌｕｏｒ ５９４、Ａｌｅｘａ Ｆｌｕｏｒ ６１０、Ａｌｅｘａ Ｆｌｕｏｒ ６３３、Ａｌｅｘａ Ｆｌｕｏｒ ６３５、Ａｌｅｘａ Ｆｌｕｏｒ ６４７、Ａｌｅｘａ Ｆｌｕｏｒ ６６０、Ａｌｅｘａ Ｆｌｕｏｒ ６８０、Ａｌｅｘａ Ｆｌｕｏｒ ７００、Ａｌｅｘａ Ｆｌｕｏｒ ７５０、ＢＯＤＩＰＹ ＦＬ、ＢＯＤＩＰＹ ＴＭＲ、ＢＯＤＩＰＹ ４９３／５０３、ＢＯＤＩＰＹ ５３０／５５０、ＢＯＤＩＰＹ ５５８／５６８、ＢＯＤＩＰＹ ５６４／５７０、ＢＯＤＩＰＹ ５７６／５８９、ＢＯＤＩＰＹ ５８１／５９１、ＢＯＤＩＰＹ ６３０／６５０、ＢＯＤＩＰＹ ６５０／６６５（以上インビトロジェン社製）、メトキシクマリン、エオジン、ＮＢＤ、ピレン、Ｃｙ５、Ｃｙ５．５、Ｃｙ７などを挙げることができる。これら蛍光有機色素は単独で使用されてもよいし、複数種を混合して使用されてもよい。
量子ドットとしては、II−VI族化合物、III−V族化合物、又はIV族元素を成分として含有する量子ドット（それぞれ、「II−VI族量子ドット」、「III−V族量子ドット」、「IV族量子ドット」ともいう。）のいずれかを用いることができる。これら量子ドットも単独で使用されてもよいし、複数種を混合して使用されてもよい。
具体的には、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅが挙げられるが、これらに限定されない。
具体的には、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅが挙げられるが、これらに限定されない。
上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。下記では、シェルを有する量子ドットの表記法として、コアがＣｄＳｅ、シェルがＺｎＳの場合、ＣｄＳｅ／ＺｎＳと表記する。
たとえば、ＣｄＳｅ／ＺｎＳ、ＣｄＳ／ＺｎＳ、ＩｎＰ／ＺｎＳ、ＩｎＧａＰ／ＺｎＳ、Ｓｉ／ＳｉＯ2、Ｓｉ／ＺｎＳ、Ｇｅ／ＧｅＯ2、Ｇｅ／ＺｎＳなどを用いることができるが、これらに限定されない。
たとえば、ＣｄＳｅ／ＺｎＳ、ＣｄＳ／ＺｎＳ、ＩｎＰ／ＺｎＳ、ＩｎＧａＰ／ＺｎＳ、Ｓｉ／ＳｉＯ2、Ｓｉ／ＺｎＳ、Ｇｅ／ＧｅＯ2、Ｇｅ／ＺｎＳなどを用いることができるが、これらに限定されない。
量子ドットは必要に応じて、有機ポリマーなどにより表面処理が施されているものを用いてもよい。たとえば、表面カルボキシ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）、表面アミノ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）などが挙げられる。
（２）蛍光物質内包ナノ粒子
「蛍光物質内包ナノ粒子」とは、上記のとおり蛍光物質を内包したナノ粒子であって、詳しくは蛍光物質をナノ粒子の内部に分散させたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していてもよいし、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、シリカ、ポリスチレン、ポリ乳酸、メラミンなどを挙げることができる。
「蛍光物質内包ナノ粒子」とは、上記のとおり蛍光物質を内包したナノ粒子であって、詳しくは蛍光物質をナノ粒子の内部に分散させたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していてもよいし、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、シリカ、ポリスチレン、ポリ乳酸、メラミンなどを挙げることができる。
蛍光物質内包ナノ粒子は、公知の方法により作製することが可能である。
たとえば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア ８巻 ２９２１ページ（１９９２）に記載されているＦＩＴＣ内包シリカ粒子の合成を参考に合成することができる。ＦＩＴＣの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー ３３巻 ５６１ページ（２００９）に記載されているＣｄＴｅ内包シリカナノ粒子の合成を参考に合成することができる。
蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許４３２６００８（１９８２）に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許５３２６６９２（１９９２）に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー１９巻６３１ページ（２００１）に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
たとえば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア ８巻 ２９２１ページ（１９９２）に記載されているＦＩＴＣ内包シリカ粒子の合成を参考に合成することができる。ＦＩＴＣの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー ３３巻 ５６１ページ（２００９）に記載されているＣｄＴｅ内包シリカナノ粒子の合成を参考に合成することができる。
蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許４３２６００８（１９８２）に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許５３２６６９２（１９９２）に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー１９巻６３１ページ（２００１）に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、３０〜８００ｎｍ程度のものを用いることができる。また、粒径のばらつきを示す変動係数（＝（標準偏差／平均値）×１００％）は特に限定されないが、２０％以下のものを用いることが好ましい。
平均粒径は、走査型電子顕微鏡（ＳＥＭ）を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた値である。本実施形態では、１０００個の粒子の粒径の算術平均を平均粒径とする。変動係数も、１０００個の粒子の粒径分布から算出した値とする。
平均粒径は、走査型電子顕微鏡（ＳＥＭ）を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた値である。本実施形態では、１０００個の粒子の粒径の算術平均を平均粒径とする。変動係数も、１０００個の粒子の粒径分布から算出した値とする。
（３）生体物質認識部位と蛍光物質内包ナノ粒子との結合
本実施形態では、特定の生体物質と特異的に結合及び／又は反応する蛍光染色試薬として、蛍光物質内包ナノ粒子と生体物質認識部位を予め直接結合したものを用いる場合を例にとって説明する。「生体物質認識部位」とは、特定の生体物質と特異的に結合及び／又は反応する部位である。
特定の生体物質としては、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質（ペプチド）及び核酸（オリゴヌクレオチド、ポリヌクレオチド）などが挙げられる。
したがって、生体物質認識部位としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質など、及び前記核酸にハイブリタイズする塩基配列を有する核酸などが挙げられる。
具体的な生体物質認識部位としては、細胞表面に存在するタンパク質であるＨＥＲ２に特異的に結合する抗ＨＥＲ２抗体、細胞核に存在するエストロゲン受容体（ＥＲ）に特異的に結合する抗ＥＲ抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体などが挙げられる。
中でも、抗ＨＥＲ２抗体及び抗ＥＲ抗体を蛍光物質内包ナノ粒子に結合させたもの（蛍光染色試薬）は、乳癌の投薬選定に用いることができ、好ましい。
本実施形態では、特定の生体物質と特異的に結合及び／又は反応する蛍光染色試薬として、蛍光物質内包ナノ粒子と生体物質認識部位を予め直接結合したものを用いる場合を例にとって説明する。「生体物質認識部位」とは、特定の生体物質と特異的に結合及び／又は反応する部位である。
特定の生体物質としては、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質（ペプチド）及び核酸（オリゴヌクレオチド、ポリヌクレオチド）などが挙げられる。
したがって、生体物質認識部位としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質など、及び前記核酸にハイブリタイズする塩基配列を有する核酸などが挙げられる。
具体的な生体物質認識部位としては、細胞表面に存在するタンパク質であるＨＥＲ２に特異的に結合する抗ＨＥＲ２抗体、細胞核に存在するエストロゲン受容体（ＥＲ）に特異的に結合する抗ＥＲ抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体などが挙げられる。
中でも、抗ＨＥＲ２抗体及び抗ＥＲ抗体を蛍光物質内包ナノ粒子に結合させたもの（蛍光染色試薬）は、乳癌の投薬選定に用いることができ、好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着及び化学吸着などが挙げられる。結合の安定性から共有結合などの結合力の強い結合が好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子との間にはこれらを連結する有機分子があってもよい。たとえば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Ｔｈｅｒｍｏ Ｓｃｉｅｎｔｉｆｉｃ社製ＳＭ（ＰＥＧ）１２を用いることができる。
蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。
たとえば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基などの官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。
具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤（たとえば、Ｇｅｌｅｓｔ社製ＰＥＧ−ｓｉｌａｎｅ ｎｏ．ＳＩＭ６４９２．７）などが挙げられる。
シランカップリング剤を用いる場合、２種以上を併用してもよい。
たとえば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基などの官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。
具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤（たとえば、Ｇｅｌｅｓｔ社製ＰＥＧ−ｓｉｌａｎｅ ｎｏ．ＳＩＭ６４９２．７）などが挙げられる。
シランカップリング剤を用いる場合、２種以上を併用してもよい。
蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。
たとえば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で１２時間反応させる。反応終了後、遠心分離又はろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、ＥＤＣ（１−Ｅｔｈｙｌ−３−［３−Ｄｉｍｅｔｈｙｌａｍｉｎｏｐｒｏｐｙｌ］ｃａｒｂｏｄｉｉｍｉｄｅ Ｈｙｄｒｏｃｈｌｏｒｉｄｅ：Ｐｉｅｒｃｅ（登録商標）社製）のような縮合剤を用いることもできる。
たとえば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で１２時間反応させる。反応終了後、遠心分離又はろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、ＥＤＣ（１−Ｅｔｈｙｌ−３−［３−Ｄｉｍｅｔｈｙｌａｍｉｎｏｐｒｏｐｙｌ］ｃａｒｂｏｄｉｉｍｉｄｅ Ｈｙｄｒｏｃｈｌｏｒｉｄｅ：Ｐｉｅｒｃｅ（登録商標）社製）のような縮合剤を用いることもできる。
必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつｓｕｌｆｏ−ＳＭＣＣ（Ｓｕｌｆｏｓｕｃｃｉｎｉｍｉｄｙｌ ４［Ｎ−ｍａｌｅｉｍｉｄｏｍｅｔｈｙｌ］−ｃｙｃｌｏｈｅｘａｎｅ−１−ｃａｒｂｏｘｙｌａｔｅ：Ｐｉｅｒｃｅ社製）を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。
蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基などの官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降ＥＤＣ又はｓｕｌｆｏ−ＳＭＣＣを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。
生体物質認識部位の一例として、M.アクチン、M.S.アクチン、S.M.アクチン、ACTH、Alk-1、α1-アンチキモトリプシン、α1-アンチトリプシン、AFP、bcl-2、bcl-6、β-カテニン、BCA 225、CA19-9、CA125、カルシトニン、カルレチニン、CD1a、CD3、CD4、CD5、CD8、CD10、CD15、CD20、CD21、CD23、CD30、CD31、CD34、CD43、CD45、CD45R、CD56、CD57、CD61、CD68、CD79a、"CD99, MIC2"、CD138、クロモグラニン、c-KIT、c-MET、コラーゲン タイプIV、Cox-2、サイクリンD1、ケラチン、サイトケラチン（高分子量）、パンケラチン、パンケラチン、サイトケラチン 5/6、サイトケラチン 7、サイトケラチン 8、サイトケラチン 8/18、サイトケラチン 14、サイトケラチン 19、サイトケラチン 20、CMV、E-カドヘリン、EGFR、ER、EMA、EBV、第VIII因子関連抗原、ファッシン、FSH、ガレクチン-3、ガストリン、GFAP、グルカゴン、グリコフォリン A、グランザイムB、hCG、hGH、ヘリコバクターピロリ、HBc抗原、HBs抗原、ヘパトサイト特異抗原、HER2、HSV-I、HSV-II、HHV-8、IgA、IgG、IgM、IGF-1R、インヒビン、インスリン、カッパL鎖、Ki67、ラムダL鎖、LH、リゾチーム、マクロファージ、メランA、MLH-1、MSH-2、ミエロパーオキシダーゼ、ミオゲニン、ミオグロビン、ミオシン、ニューロフィラメント、NSE、p27(Kip1)、p53、P63、PAX 5、PLAP、ニューモシスティス カリニ、ポドプラニン（D2-40）、PGR、プロラクチン、PSA、前立腺酸性フォスファターゼ、Renal Cell Carcinoma、S100、ソマトスタチン、スペクトリン、シナプトフィジン、TAG-72、TdT、サイログロブリン、TSH、TTF-1、TRAcP、トリプターゼ、ビリン、ビメンチン、WT1、Zap-70などの特定抗原を認識する抗体が挙げられる。
なお、蛍光物質又は蛍光物質内包ナノ粒子は、上記のように生体物質認識部位と予め直接結合して用いる他、免疫染色における公知の間接法のように、染色工程において間接的に生体物質認識部位に結合されても良い。具体的には、例えば、組織標本に対して特定の生体物質を抗原とするビオチン化一次抗体を反応させた後、ストレプトアビジンにより修飾された蛍光物質又は蛍光物質内包ナノ粒子を結合させた染色試薬をさらに反応させて、ストレプトアビジンとビオチンが特異的に結合して複合体を形成することを利用して染色しても良い。また、例えば、組織標本に対して、特定タンパクを抗原とする一次抗体を反応させ、さらに当該一次抗体を抗原とするビオチン化二次抗体を反応させた後、ストレプトアビジンにより修飾された蛍光物質又は蛍光物質内包ナノ粒子を反応させて染色しても良い。
（４）染色方法
組織切片の作製方法は特に限定されず、公知の方法により作製されたものを用いることができる。下記染色方法は病理組織切片に限定せず、培養細胞にも適用可能である。
組織切片の作製方法は特に限定されず、公知の方法により作製されたものを用いることができる。下記染色方法は病理組織切片に限定せず、培養細胞にも適用可能である。
（４．１）脱パラフィン工程
キシレンを入れた容器に組織切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織切片を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中で水を交換してもよい。
キシレンを入れた容器に組織切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織切片を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中で水を交換してもよい。
（４．２）賦活化処理
公知の方法にならい、組織切片の生体物質の賦活化処理を行う。
賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍクエン酸緩衝液（ｐＨ６．０）、１ｍＭＥＤＴＡ溶液（ｐＨ８．０）、５％尿素、０．１Ｍトリス塩酸緩衝液などを用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０〜１３０℃、時間は５〜３０分で行うことができる。
次いで、ＰＢＳ（Phosphate Buffered Saline：リン酸緩衝生理食塩水）を入れた容器に、賦活化処理後の組織切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でＰＢＳを交換してもよい。
公知の方法にならい、組織切片の生体物質の賦活化処理を行う。
賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍクエン酸緩衝液（ｐＨ６．０）、１ｍＭＥＤＴＡ溶液（ｐＨ８．０）、５％尿素、０．１Ｍトリス塩酸緩衝液などを用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０〜１３０℃、時間は５〜３０分で行うことができる。
次いで、ＰＢＳ（Phosphate Buffered Saline：リン酸緩衝生理食塩水）を入れた容器に、賦活化処理後の組織切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でＰＢＳを交換してもよい。
（４．３）蛍光染色試薬を用いた染色
蛍光染色試薬のＰＢＳ分散液を組織切片に載せ、組織切片の生体物質と反応させる。
蛍光染色試薬の生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。蛍光染色試薬として、数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子ＰＢＳ分散液を予め混合しておいてもよいし、別々に順次組織切片に載せてもよい。温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
蛍光染色試薬による染色を行う前に、ＢＳＡ含有ＰＢＳなど、公知のブロッキング剤を滴下することが好ましい。
次いで、ＰＢＳを入れた容器に、染色後の組織切片を浸漬させ、未反応の蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でＰＢＳを交換してもよい。カバーガラスを組織切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
蛍光染色試薬のＰＢＳ分散液を組織切片に載せ、組織切片の生体物質と反応させる。
蛍光染色試薬の生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。蛍光染色試薬として、数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子ＰＢＳ分散液を予め混合しておいてもよいし、別々に順次組織切片に載せてもよい。温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
蛍光染色試薬による染色を行う前に、ＢＳＡ含有ＰＢＳなど、公知のブロッキング剤を滴下することが好ましい。
次いで、ＰＢＳを入れた容器に、染色後の組織切片を浸漬させ、未反応の蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。必要により浸漬途中でＰＢＳを交換してもよい。カバーガラスを組織切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、形態画像を得るためにＨＥ染色試薬を用いるＨＥ染色等を実施する場合は、カバーガラスによる封入前に行う。
（５）蛍光画像の取得
染色した組織切片に対し顕微鏡画像取得装置１Ａを用いて、顕微鏡画像（蛍光画像）を取得する。顕微鏡画像取得装置１Ａにおいて、蛍光染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源と蛍光検出用光学フィルタとを選択する。
なお、発光強度が微弱である蛍光色素を用いた組織染色を施した組織標本から、蛍光画像の取得や蛍光発光の解析を行う場合、微弱な発光を確実に検出するために、モノクロカメラの使用が好ましいことが知られている。しかし、上述した蛍光物質内包ナノ粒子を用いて組織染色を行った場合には、１粒子当たりの発光輝度が高いので、カラーカメラを用いても、個々の粒子が発する蛍光を蛍光輝点として撮像できる。
以下、本発明の実施形態では、波長特性が異なる複数のカラーフィルタを有するカラーカメラを用いて蛍光画像を取得した場合を例にとって説明するが、以下の実施形態では、特に断りがない限り、モノクロカメラを用いて蛍光画像を取得してもよい。
染色した組織切片に対し顕微鏡画像取得装置１Ａを用いて、顕微鏡画像（蛍光画像）を取得する。顕微鏡画像取得装置１Ａにおいて、蛍光染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源と蛍光検出用光学フィルタとを選択する。
なお、発光強度が微弱である蛍光色素を用いた組織染色を施した組織標本から、蛍光画像の取得や蛍光発光の解析を行う場合、微弱な発光を確実に検出するために、モノクロカメラの使用が好ましいことが知られている。しかし、上述した蛍光物質内包ナノ粒子を用いて組織染色を行った場合には、１粒子当たりの発光輝度が高いので、カラーカメラを用いても、個々の粒子が発する蛍光を蛍光輝点として撮像できる。
以下、本発明の実施形態では、波長特性が異なる複数のカラーフィルタを有するカラーカメラを用いて蛍光画像を取得した場合を例にとって説明するが、以下の実施形態では、特に断りがない限り、モノクロカメラを用いて蛍光画像を取得してもよい。
＜診断支援情報生成システム１００の動作（画像処理方法を含む。）＞
以下、診断支援情報生成システム１００において、細胞の形態を表す形態画像及び細胞における特定の生体物質の発現を表す蛍光画像を取得して、解析を行う動作について、具体的な実施形態を挙げて説明するが、本発明は、以下の実施形態に限定されるものではない。
本発明の画像解析処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって、以下の実施形態に記載の処理を実行する。
以下、診断支援情報生成システム１００において、細胞の形態を表す形態画像及び細胞における特定の生体物質の発現を表す蛍光画像を取得して、解析を行う動作について、具体的な実施形態を挙げて説明するが、本発明は、以下の実施形態に限定されるものではない。
本発明の画像解析処理は、制御部２１と記憶部２５に記憶されている画像処理プログラムとの協働により実行され、制御部２１はその画像処理プログラムにしたがって、以下の実施形態に記載の処理を実行する。
（第１実施形態）
本発明の第１実施形態では、形態画像から抽出された細胞又は細胞内器官の領域と、蛍光画像から抽出された蛍光輝点の距離に基づいて、蛍光輝点が表す生体物質の種類を判定する。
本発明において、細胞内器官とは、細胞内に含まれる細胞小器官などの任意の構造を示す。細胞又は細胞内器官の領域は、具体的には、例えば、細胞核、細胞膜、細胞質、又は核小体の何れか１つから選択される。
本発明の第１実施形態では、形態画像から抽出された細胞又は細胞内器官の領域と、蛍光画像から抽出された蛍光輝点の距離に基づいて、蛍光輝点が表す生体物質の種類を判定する。
本発明において、細胞内器官とは、細胞内に含まれる細胞小器官などの任意の構造を示す。細胞又は細胞内器官の領域は、具体的には、例えば、細胞核、細胞膜、細胞質、又は核小体の何れか１つから選択される。
以下、細胞核がＨ染色試薬によって染色され、さらに、細胞核に発現するＫｉ６７及び細胞質に発現するサイトケラチン７（以下、ＣＫ７）が、発光特性が互いに異なる２種類の蛍光染色試薬によってそれぞれ染色された組織切片を、組織標本として用いる場合を例にとって説明する。
第１実施形態における蛍光染色試薬は、例えば、抗Ｋｉ６７抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ａ）及び抗ＣＫ７抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｂ）である。
細胞核の形態を表す形態画像としては、明視野画像を取得する。
第１実施形態における蛍光染色試薬は、例えば、抗Ｋｉ６７抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ａ）及び抗ＣＫ７抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｂ）である。
細胞核の形態を表す形態画像としては、明視野画像を取得する。
まず、操作者は、組織切片のＨ染色を行い、次いで、Ｋｉ６７及びＣＫ７の蛍光染色を行う。
その後、顕微鏡画像取得装置１Ａを用いて、以下の（ａ１）〜（ａ６）の手順により、明視野画像及び蛍光画像を取得する。
（ａ１）操作者は、組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像（形態画像）の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野及び撮影倍率を変えずに撮像手段で撮影を行って、蛍光染色試薬Ａの発光を表す第１の蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。励起光及びフィルタは、蛍光染色試薬Ａの波長特性に適したものを用いる。
（ａ６）視野及び撮影倍率を変えずに、励起光及びフィルタを蛍光染色試薬Ｂの波長特性に適したものに変更して、撮像手段で撮影を行って、蛍光染色試薬Ｂの発光を表す第２の蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
その後、顕微鏡画像取得装置１Ａを用いて、以下の（ａ１）〜（ａ６）の手順により、明視野画像及び蛍光画像を取得する。
（ａ１）操作者は、組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像（形態画像）の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野及び撮影倍率を変えずに撮像手段で撮影を行って、蛍光染色試薬Ａの発光を表す第１の蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。励起光及びフィルタは、蛍光染色試薬Ａの波長特性に適したものを用いる。
（ａ６）視野及び撮影倍率を変えずに、励起光及びフィルタを蛍光染色試薬Ｂの波長特性に適したものに変更して、撮像手段で撮影を行って、蛍光染色試薬Ｂの発光を表す第２の蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
その後、画像処理装置２Ａにおいて、第１の蛍光画像及び第２の蛍光画像における生体物質の発現を解析する画像解析処理が実行される。図３に、画像解析処理のフローチャートを示す。
まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの形態画像が入力されると（ステップＳ１１：入力工程）、制御部２１は、形態画像から細胞核の領域を抽出する（ステップＳ１２：領域抽出工程）。
ステップＳ１２では、例えば図４に示されるとおり、形態画像をモノクロ画像に変換し（ステップＳ１２１）、予め定められた閾値でモノクロ画像に閾値処理を施して各画素の値を二値化し（ステップＳ１２２）、二値画像にノイズ処理を実行する（ステップＳ１２３）。
ステップＳ１２では、例えば図４に示されるとおり、形態画像をモノクロ画像に変換し（ステップＳ１２１）、予め定められた閾値でモノクロ画像に閾値処理を施して各画素の値を二値化し（ステップＳ１２２）、二値画像にノイズ処理を実行する（ステップＳ１２３）。
ノイズ処理は、具体的には、二値画像にクロージング処理を施すことにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。
ステップＳ１２１〜Ｓ１２３により、形態画像から細胞核領域が抽出された細胞核画像を生成することができる。
ステップＳ１２１〜Ｓ１２３により、形態画像から細胞核領域が抽出された細胞核画像を生成することができる。
次いで、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａで取得した第１の蛍光画像が入力されると（ステップＳ１３：入力工程）、制御部２１は、第１の蛍光画像から蛍光輝点を抽出する（ステップＳ１４：輝点抽出工程）。
具体的には、ステップＳ１４では、図５に示されるとおり、第１の蛍光画像から蛍光染色試薬Ａの発光スペクトルのピークに対応する色成分を抽出し（ステップＳ１４１）、色成分抽出後の第１の蛍光画像に閾値処理を施して蛍光輝点領域が抽出された二値画像を生成する（ステップＳ１４２）。さらに、二値画像において、各蛍光輝点領域の重心を算出し、これを輝点座標として抽出した蛍光輝点画像を生成する（ステップＳ１４３）
ステップＳ１４１では、染色試薬Ａの発光波長成分のピーク輝度が所定の閾値以上である蛍光輝点のみを抽出する。ステップＳ１４２の閾値処理の前に、細胞自家蛍光や他の不要信号成分などのノイズ除去処理が施されてもよい。
ステップＳ１４１では、染色試薬Ａの発光波長成分のピーク輝度が所定の閾値以上である蛍光輝点のみを抽出する。ステップＳ１４２の閾値処理の前に、細胞自家蛍光や他の不要信号成分などのノイズ除去処理が施されてもよい。
ステップＳ１４の工程の後、細胞核画像と蛍光輝点画像の加算処理を実行して、細胞核領域と蛍光輝点を重ね合わせる（ステップＳ１５）。
次いで、細胞核領域と蛍光輝点の位置関係に基づいて、第１の蛍光画像に示される蛍光輝点が表す生体物質の種類を判定する（ステップＳ１６：判定工程）。
具体的には、第１実施形態におけるステップＳ１６の判定工程の１例では、まず、蛍光輝点から最も近い細胞核領域の輪郭までの距離を算出する。そして、算出された距離に閾値処理を施して、その蛍光輝点が細胞核に発現しているＫｉ６７の発現を示すか、又は細胞質に発現しているＣＫ７の発現を示すかを判定する。
図６（ａ）は、細胞核領域１及び第１の蛍光画像から抽出された蛍光輝点をステップＳ１５で重ね合わせた画像の模式図である。図６（ｂ）は、横軸に最も近い細胞核までの距離、縦軸に蛍光輝点数をとったヒストグラムの一例である。最も近い細胞核までの距離が短い（例えば、所定の閾値Ａ以下）蛍光輝点は、細胞核に発現するＫｉ６７の発現を示す蛍光輝点であると判定される（図６（ｃ）参照）。最も近い細胞核までの距離が長い（例えば、所定の閾値Ａよりも大きい）蛍光輝点は、細胞質に発現しているＣＫ７の発現を示す蛍光輝点であると判定される（図６（ｃ）参照）。
所定の閾値Ａは、組織標本の種類等に基づいて予め設定されている値を用いる。
所定の閾値Ａは、組織標本の種類等に基づいて予め設定されている値を用いる。
次いで、ステップＳ１６においてＫｉ６７の発現を示すと判定された蛍光輝点が蛍光輝点画像から選択されて（ステップＳ１７：選択工程）、Ｋｉ６７の発現を示す画像が作成される。
第１実施形態において、第２の蛍光画像に示される蛍光輝点が表す生体物質の種類の判定を行う場合、まず、上述したステップＳ１１〜Ｓ１６において、第１の蛍光画像に代えて第２の蛍光画像を入力するほかは、同様の処理を行う。
次いで、第２の蛍光画像から作成された蛍光輝点画像から、ステップＳ１６においてＣＫ７の発現を示すと判定された蛍光輝点が選択されて（ステップＳ１７：選択工程）、ＣＫ７の発現を示す画像が作成される。
次いで、第２の蛍光画像から作成された蛍光輝点画像から、ステップＳ１６においてＣＫ７の発現を示すと判定された蛍光輝点が選択されて（ステップＳ１７：選択工程）、ＣＫ７の発現を示す画像が作成される。
なお、第１実施形態のステップＳ１６（判定工程）では、例えば、細胞核領域の内部又は輪郭上の蛍光輝点を、細胞核に発現しているＫｉ６７の発現を示す蛍光輝点であると判定してもよい。この場合、いずれの細胞核領域の内部又は輪郭上にも含まれない蛍光輝点は、細胞質に発現しているＣＫ７の発現を示す蛍光輝点であると判定される。
また、細胞核から所定の値よりも遠い蛍光輝点は、細胞外のノイズであると判定して、削除することとしてもよい。
また、ステップＳ１６（判定工程）では、蛍光輝点から最も近い細胞核領域の輪郭までの距離を算出することとしたが、例えば、蛍光輝点から細胞核領域の重心までの距離を算出することとしてもよい。
また、ステップＳ１７（選択工程）では、ステップＳ１６においてＣＫ７の発現を示すと判定された蛍光輝点が蛍光輝点画像から削除されて、Ｋｉ６７の発現を示す画像が作成されることとしてもよい。
また、細胞核から所定の値よりも遠い蛍光輝点は、細胞外のノイズであると判定して、削除することとしてもよい。
また、ステップＳ１６（判定工程）では、蛍光輝点から最も近い細胞核領域の輪郭までの距離を算出することとしたが、例えば、蛍光輝点から細胞核領域の重心までの距離を算出することとしてもよい。
また、ステップＳ１７（選択工程）では、ステップＳ１６においてＣＫ７の発現を示すと判定された蛍光輝点が蛍光輝点画像から削除されて、Ｋｉ６７の発現を示す画像が作成されることとしてもよい。
（第２実施形態）
本発明の第２実施形態では、形態画像（蛍光画像）から抽出された細胞又は細胞内器官の領域と、蛍光画像から抽出された蛍光輝点の距離に基づいて、蛍光輝点が表す生体物質の種類を判定する。
本発明の第２実施形態では、形態画像（蛍光画像）から抽出された細胞又は細胞内器官の領域と、蛍光画像から抽出された蛍光輝点の距離に基づいて、蛍光輝点が表す生体物質の種類を判定する。
以下、細胞膜が蛍光染色試薬によって染色され、さらに、細胞核に発現するＫｉ６７及び細胞膜に発現するＨＥＲ２が、発光特性が互いに異なる２種類の蛍光染色試薬によってそれぞれ染色された組織切片を、組織標本として用いる場合を例にとって説明する。
第２実施形態における蛍光染色試薬は、例えば、抗Ｋｉ６７抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ａ）及び抗ＨＥＲ２抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｂ）である。
細胞膜の蛍光染色は、公知の任意の方法で行うってよいが、例えば、組織標本に抗ＡＴＰａｓｅ（一次抗体）を反応させた後、蛍光色素を結合した二次抗体（以下、蛍光染色試薬Ｘとする）を反応させることによって、細胞膜を蛍光染色する。
細胞膜の形態表す形態画像としては、蛍光画像を取得する。
以下、第２実施形態が、上述した第１実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
細胞膜の蛍光染色は、公知の任意の方法で行うってよいが、例えば、組織標本に抗ＡＴＰａｓｅ（一次抗体）を反応させた後、蛍光色素を結合した二次抗体（以下、蛍光染色試薬Ｘとする）を反応させることによって、細胞膜を蛍光染色する。
細胞膜の形態表す形態画像としては、蛍光画像を取得する。
以下、第２実施形態が、上述した第１実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
まず、操作者は、組織切片の細胞膜の染色を行い、次いで、Ｋｉ６７及びＨＥＲ２の蛍光染色を行う。
その後、顕微鏡画像取得装置１Ａを用いて、以下の（ａ１）〜（ａ６）の手順により、蛍光画像を取得する。
（ａ１）操作者は、組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）ユニットを蛍光ユニットに変更する。
（ａ４）撮像手段で撮影を行って蛍光染色試薬Ｘの発光を表す蛍光画像（形態画像）の画像データを生成し、画像処理装置２Ａに画像データを送信する。励起光及びフィルタは、蛍光染色試薬Ｘの波長特性に適したものを用いる。
（ａ５）視野及び撮影倍率を変えずに、励起光及びフィルタを蛍光染色試薬Ａの波長特性に適したものに変更して、撮像手段で撮影を行って、蛍光染色試薬Ａの発光を表す第１の蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ６）視野及び撮影倍率を変えずに、励起光及びフィルタを蛍光染色試薬Ｂの波長特性に適したものに変更して、撮像手段で撮影を行って、蛍光染色試薬Ｂの発光を表す第２の蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
その後、顕微鏡画像取得装置１Ａを用いて、以下の（ａ１）〜（ａ６）の手順により、蛍光画像を取得する。
（ａ１）操作者は、組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）ユニットを明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
（ａ３）ユニットを蛍光ユニットに変更する。
（ａ４）撮像手段で撮影を行って蛍光染色試薬Ｘの発光を表す蛍光画像（形態画像）の画像データを生成し、画像処理装置２Ａに画像データを送信する。励起光及びフィルタは、蛍光染色試薬Ｘの波長特性に適したものを用いる。
（ａ５）視野及び撮影倍率を変えずに、励起光及びフィルタを蛍光染色試薬Ａの波長特性に適したものに変更して、撮像手段で撮影を行って、蛍光染色試薬Ａの発光を表す第１の蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ６）視野及び撮影倍率を変えずに、励起光及びフィルタを蛍光染色試薬Ｂの波長特性に適したものに変更して、撮像手段で撮影を行って、蛍光染色試薬Ｂの発光を表す第２の蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
その後、画像処理装置２Ａにおいて、第１の蛍光画像及び第２の蛍光画像における生体物質の発現を解析する画像解析処理が実行される。
第２実施形態における、第１の蛍光画像における生体物質の発現を解析する画像解析処理では、まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａで取得した形態画像が入力されると（ステップＳ１１：入力工程）、制御部２１は、形態画像から細胞膜が抽出された細胞膜画像を抽出する（ステップＳ１２：領域抽出工程）。
次いで、第１実施形態のステップＳ１３〜Ｓ１４と同様にして、第１の蛍光画像から蛍光輝点を抽出する。
その後、第１実施形態のステップＳ１５と同様にして、細胞膜画像と蛍光輝点画像の加算処理を実行して、細胞膜領域と蛍光輝点を重ね合わせる（ステップＳ１５）。
次いで、第１実施形態のステップＳ１３〜Ｓ１４と同様にして、第１の蛍光画像から蛍光輝点を抽出する。
その後、第１実施形態のステップＳ１５と同様にして、細胞膜画像と蛍光輝点画像の加算処理を実行して、細胞膜領域と蛍光輝点を重ね合わせる（ステップＳ１５）。
次いで、細胞核領域と蛍光輝点の位置関係に基づいて、第１の蛍光画像に示される蛍光輝点が表す生体物質の種類を判定する（ステップＳ１６：判定工程）。
第２実施形態におけるステップＳ１６の判定工程の１例では、まず、蛍光輝点から最も近い細胞核領域の輪郭までの距離を算出する。そして、算出された距離に閾値処理を施して、その蛍光輝点が細胞核に発現しているＫｉ６７の発現を示すか、又は細胞膜に発現しているＨＥＲ２の発現を示すかを判定する。
第２実施形態におけるステップＳ１６の判定工程の１例では、まず、蛍光輝点から最も近い細胞核領域の輪郭までの距離を算出する。そして、算出された距離に閾値処理を施して、その蛍光輝点が細胞核に発現しているＫｉ６７の発現を示すか、又は細胞膜に発現しているＨＥＲ２の発現を示すかを判定する。
図７（ａ）は、第２実施形態の細胞膜領域２及び第１の蛍光画像から抽出された蛍光輝点をステップＳ１５で重ね合わせた画像の模式図である。図７（ｂ）は、横軸に蛍光輝点から最も近い細胞膜までの距離、縦軸に蛍光輝点数をとったヒストグラムの一例である。最も近い細胞膜までの距離が短い（例えば、所定の閾値Ａ以下）である蛍光輝点は、細胞膜に発現しているＨＥＲ２の発現を示す蛍光輝点であると判定される（図７（ｃ）参照）。最も近い細胞核までの距離が、所定の閾値Ａよりも大きく、所定の閾値Ｂ以下である蛍光輝点は、細胞核に発現しているＫｉ６７の発現を示す蛍光輝点であると判定される（図７（ｃ）参照）。最も近い細胞核までの距離が長い（例えば、所定の閾値Ｂよりも大きい）蛍光輝点は、細胞外に存在するノイズであると判定される（図７（ｃ）、蛍光輝点２０）。
.
次いで、蛍光輝点画像から、ステップＳ１６においてＨＥＲ２の発現を示すと判定された蛍光輝点のみが選択されて（ステップＳ１７：選択工程）、ＨＥＲ２の発現を示す画像が作成される。
次いで、蛍光輝点画像から、ステップＳ１６においてＨＥＲ２の発現を示すと判定された蛍光輝点のみが選択されて（ステップＳ１７：選択工程）、ＨＥＲ２の発現を示す画像が作成される。
なお、ステップＳ１５における蛍光輝点から最も近い細胞膜までの距離は、例えば、蛍光輝点が細胞膜に囲まれた領域に内包される場合には負の値として表現しても良い。これにより、細胞膜からわずかに離れた細胞外のノイズに由来する蛍光輝点を、細胞核内のＫｉ６７の発現を表す蛍光輝点と区別することができる。従って、細胞外のノイズが多い場合の輝点の種類の判定精度を高めることができる。
（第３実施形態）
本発明の第３実施形態では、形態画像から抽出された蛍光輝点に最も近い細胞又は細胞内器官の領域の特徴量に基づいて、蛍光輝点が表す生体物質の種類を判定する。
特徴量とは、例えば、大きさ（面積、周囲長、短径、又は長径の長さ、等）、形状（円形度、短径と長径の比、等）、及び／又は染色の状態（染色ムラの有無、等）である。
本発明の第３実施形態では、形態画像から抽出された蛍光輝点に最も近い細胞又は細胞内器官の領域の特徴量に基づいて、蛍光輝点が表す生体物質の種類を判定する。
特徴量とは、例えば、大きさ（面積、周囲長、短径、又は長径の長さ、等）、形状（円形度、短径と長径の比、等）、及び／又は染色の状態（染色ムラの有無、等）である。
以下、細胞核がＨ染色によって染色され、さらに、ＮＳＥ（小細胞癌等のマーカー）及びＣＥＡ（腺癌等のマーカー）が、発光特性が互いに異なる２種類の蛍光染色試薬によってそれぞれ染色された組織切片を、組織標本として用いる場合を例にとって説明する。
第３実施形態における蛍光染色試薬は、例えば、抗ＮＳＥ抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ａ）及び抗ＣＥＡ抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｂ）である。
第３実施形態における蛍光染色試薬は、例えば、抗ＮＳＥ抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ａ）及び抗ＣＥＡ抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｂ）である。
細胞核の形態を表す形態画像としては、明視野画像を取得する。細胞又は細胞内器官の特徴量としては、細胞核中の核小体の形状、面積、及び数を用いる。
一般的に、腺癌の細胞の核小体は、１細胞当たり１〜２個の円形で大型のものが多い一方、小細胞癌の細胞の核小体は小さく目立たないことが知られている。この所見に基づいて、形態画像から抽出された細胞核が、いずれの種類の癌の細胞のものかを判定することができる。
以下、第３実施形態が、上述した第１〜第２実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
一般的に、腺癌の細胞の核小体は、１細胞当たり１〜２個の円形で大型のものが多い一方、小細胞癌の細胞の核小体は小さく目立たないことが知られている。この所見に基づいて、形態画像から抽出された細胞核が、いずれの種類の癌の細胞のものかを判定することができる。
以下、第３実施形態が、上述した第１〜第２実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
まず、操作者は、組織切片のＨ染色を行い、次いで、ＮＳＥ及びＣＥＡの蛍光染色を行う。
その後、顕微鏡画像取得装置１Ａを用いて、第１実施形態の（ａ１）〜（ａ６）と同様の手順及びにより、明視野画像及び蛍光画像を取得する。
その後、画像処理装置２Ａにおいて、第１の蛍光画像及び第２の蛍光画像における生体物質の発現を解析する画像解析処理が実行される。
その後、顕微鏡画像取得装置１Ａを用いて、第１実施形態の（ａ１）〜（ａ６）と同様の手順及びにより、明視野画像及び蛍光画像を取得する。
その後、画像処理装置２Ａにおいて、第１の蛍光画像及び第２の蛍光画像における生体物質の発現を解析する画像解析処理が実行される。
第３実施形態における、第１の蛍光画像における生体物質の発現を解析する画像解析処理では、まず、第１実施形態のステップＳ１１〜Ｓ１２と同様の処理を行った後、ステップＳ１２と同様の処理をもう一度繰り返すことにより、明視野画像から核小体領域が抽出された核小体画像を生成する。核小体領域は、細胞核領域の内部において、Ｈ染色によって特に濃い青色に染色されており、第１実施形態のステップＳ１２２で用いる閾値を変えることによって抽出できる。
次いで、第１実施形態のステップＳ１３〜Ｓ１５と同様の処理によって、細胞核領域、核小体領域、及び蛍光輝点を重ね合わせる。
次いで、第１実施形態のステップＳ１３〜Ｓ１５と同様の処理によって、細胞核領域、核小体領域、及び蛍光輝点を重ね合わせる。
次いで、第３実施形態のステップＳ１６（：判定工程）では、蛍光輝点から最も近い細胞核中の核小体の大きさに基づいて、第１の蛍光画像に示される蛍光輝点が表す生体物質の種類を判定する。
図８（ａ）は、細胞核領域３、核小体領域３１、及び第１の蛍光画像から抽出された蛍光輝点をステップＳ１５で重ね合わせた画像の模式図である。
第３実施形態のステップＳ１６では、例えば、蛍光輝点に最も近い細胞核領域を抽出して、その細胞核領域の内部に含まれる核小体領域の面積を計測する。核小体領域の面積の合計が所定の閾値以下である場合には、小細胞癌の細胞中に発現している生体物質であるＮＳＥの発現を表す蛍光輝点と判定し、所定の閾値よりも大きい場合には、腺癌の細胞に発現している生体物質であるＣＥＡの発現を表す蛍光輝点と判定する（図８（ｂ）参照）。なお、図示していないが、蛍光輝点から最も近い細胞核領域までの距離が長すぎる場合には、核小体領域の面積に関わらず、細胞外のノイズに由来する蛍光輝点と判定することとしてもよい。
第３実施形態のステップＳ１６では、例えば、蛍光輝点に最も近い細胞核領域を抽出して、その細胞核領域の内部に含まれる核小体領域の面積を計測する。核小体領域の面積の合計が所定の閾値以下である場合には、小細胞癌の細胞中に発現している生体物質であるＮＳＥの発現を表す蛍光輝点と判定し、所定の閾値よりも大きい場合には、腺癌の細胞に発現している生体物質であるＣＥＡの発現を表す蛍光輝点と判定する（図８（ｂ）参照）。なお、図示していないが、蛍光輝点から最も近い細胞核領域までの距離が長すぎる場合には、核小体領域の面積に関わらず、細胞外のノイズに由来する蛍光輝点と判定することとしてもよい。
.
次いで、ステップＳ１６においてＮＳＥの発現を示すと判定された蛍光輝点が蛍光輝点画像から選択されて（ステップＳ１７：選択工程）、ＮＳＥの発現を示す画像が作成される。
次いで、ステップＳ１６においてＮＳＥの発現を示すと判定された蛍光輝点が蛍光輝点画像から選択されて（ステップＳ１７：選択工程）、ＮＳＥの発現を示す画像が作成される。
（第４実施形態）
本発明の第４実施形態では、形態画像から抽出された細胞又は細胞内器官の領域と蛍光画像から抽出された蛍光輝点の距離に加えて、蛍光輝点の色情報に基づいて、蛍光輝点が表す生体物質の種類を判定する。
以下、細胞核がＨ染色によって染色され、さらに、細胞膜に発現するＨＥＲ２及びＥＧＦＲ（上皮成長因子受容体）、及び細胞核に発現するＫｉ６７が、発光特性が互いに異なる３種類の蛍光染色試薬によってそれぞれ染色された組織切片を、組織標本として用いる場合を例にとって説明する。
第４実施形態における蛍光染色試薬は、例えば、抗ＨＥＲ２抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ａ）、抗ＥＧＦＲ抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｂ）、及び抗Ｋｉ６７抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｃ）である。
細胞核の形態を表す形態画像としては、明視野画像を取得する。
以下、第４実施形態が、上述した第１〜第３実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
本発明の第４実施形態では、形態画像から抽出された細胞又は細胞内器官の領域と蛍光画像から抽出された蛍光輝点の距離に加えて、蛍光輝点の色情報に基づいて、蛍光輝点が表す生体物質の種類を判定する。
以下、細胞核がＨ染色によって染色され、さらに、細胞膜に発現するＨＥＲ２及びＥＧＦＲ（上皮成長因子受容体）、及び細胞核に発現するＫｉ６７が、発光特性が互いに異なる３種類の蛍光染色試薬によってそれぞれ染色された組織切片を、組織標本として用いる場合を例にとって説明する。
第４実施形態における蛍光染色試薬は、例えば、抗ＨＥＲ２抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ａ）、抗ＥＧＦＲ抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｂ）、及び抗Ｋｉ６７抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｃ）である。
細胞核の形態を表す形態画像としては、明視野画像を取得する。
以下、第４実施形態が、上述した第１〜第３実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
まず、操作者は、組織切片のＨ染色を行い、次いで、ＨＥＲ２、ＥＧＦＲ、及びＫｉ６７の蛍光染色を行う。
その後、顕微鏡画像取得装置１Ａを用いて、第１実施形態の（ａ１）〜（ａ４）と同様の手順、及び下記（ａ５）の手順により、明視野画像及び蛍光画像を取得する。なお、第４実施形態では蛍光画像の取得には、複数の色フィルタを備えたカメラを用いて、カラー画像を取得することが必要である。
（ａ５）視野及び撮影倍率を変えずに，励起光及びフィルタを蛍光染色試薬Ｃの波長特性に適したものに変更して、撮像手段で撮影を行って、蛍光染色試薬Ｃの発現を表す第３の蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
その後、顕微鏡画像取得装置１Ａを用いて、第１実施形態の（ａ１）〜（ａ４）と同様の手順、及び下記（ａ５）の手順により、明視野画像及び蛍光画像を取得する。なお、第４実施形態では蛍光画像の取得には、複数の色フィルタを備えたカメラを用いて、カラー画像を取得することが必要である。
（ａ５）視野及び撮影倍率を変えずに，励起光及びフィルタを蛍光染色試薬Ｃの波長特性に適したものに変更して、撮像手段で撮影を行って、蛍光染色試薬Ｃの発現を表す第３の蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
その後、画像処理装置２Ａにおいて、第１の蛍光画像、第２の蛍光画像、及び第３の蛍光画像における生体物質の発現を解析する画像解析処理が実行される。
以下、第２実施形態の画像処理装置２Ａにおける画像解析処理が、上述した第１〜第３実施形態の画像処理と異なる構成を中心に説明し、共通する構成については説明を省略する。
以下、第２実施形態の画像処理装置２Ａにおける画像解析処理が、上述した第１〜第３実施形態の画像処理と異なる構成を中心に説明し、共通する構成については説明を省略する。
第４実施形態における、第１の蛍光画像における生体物質の発現を解析する画像解析処理では、まず、制御部２１は、第１実施形態のステップＳ１１〜Ｓ１４１と同様の処理を行う。
第４実施形態のステップＳ１４２では、第１実施形態で説明したように蛍光輝点が抽出された二値画像を生成した後、二値画像をマスクとして、第１の蛍光画像の蛍光輝点の領域を抽出した画像を生成して、蛍光輝点領域画像とする。その後、第１実施形態のステップＳ１４３と同様の処理を行って蛍光輝点画像を生成する。
第４実施形態のステップＳ１４２では、第１実施形態で説明したように蛍光輝点が抽出された二値画像を生成した後、二値画像をマスクとして、第１の蛍光画像の蛍光輝点の領域を抽出した画像を生成して、蛍光輝点領域画像とする。その後、第１実施形態のステップＳ１４３と同様の処理を行って蛍光輝点画像を生成する。
ステップＳ１４の工程の後、細胞核画像、蛍光輝点領域画像、及び蛍光輝点画像の加算処理を実行して、細胞核領域、蛍光輝点領域、及び蛍光輝点を重ね合わせる（ステップＳ１５）。
次いで、細胞核領域と蛍光輝点の位置関係及び蛍光輝点領域の色情報に基づいて、第１の蛍光画像に示される蛍光輝点が表す生体物質の種類を判定する（ステップＳ１６：判定工程）。
具体的には、第４実施形態におけるステップＳ１６の判定工程の１例では、まず、蛍光輝点から最も近い細胞核領域の輪郭までの距離及び蛍光輝点の色相を算出する。そして、例えば以下のように、蛍光輝点が示す生体物質の種類を判定する。
図９（ａ）は、細胞核領域４及び第１の蛍光画像から抽出された蛍光輝点をステップＳ１５で重ね合わせた画像の模式図である。図９（ｂ）は、横軸に蛍光輝点領域の色相（１つの領域内の色相の平均値であり、０〜３６０度の範囲で表される）、縦軸に蛍光輝点から最も近い細胞核までの距離、をとった散布図の一例である。この散布図に示される蛍光輝点のうち、最も近い細胞核までの距離が短い（所定の閾値Ａ以下）である蛍光輝点は、細胞核に発現するＫｉ６７の発現を示す蛍光輝点であると判定される。
さらに、最も近い細胞核までの距離が長い（所定の閾値Ａよりも大きい）蛍光輝点のうち、例えば、色相が０〜ＨＢの範囲内である蛍光輝点は、細胞膜に発現しているＨＥＲ２の発現を示す蛍光輝点であると判定され、色相がＨＢ〜３６０の範囲内である蛍光輝点は、細胞膜に発現しているＥＧＦＲの発現を示す蛍光輝点であると判定される。ＨＢは、蛍光染色試薬Ａ〜Ｃの発光波長に基づいて、予め決められる値である。
さらに、最も近い細胞核までの距離が長い（所定の閾値Ａよりも大きい）蛍光輝点のうち、例えば、色相が０〜ＨＢの範囲内である蛍光輝点は、細胞膜に発現しているＨＥＲ２の発現を示す蛍光輝点であると判定され、色相がＨＢ〜３６０の範囲内である蛍光輝点は、細胞膜に発現しているＥＧＦＲの発現を示す蛍光輝点であると判定される。ＨＢは、蛍光染色試薬Ａ〜Ｃの発光波長に基づいて、予め決められる値である。
.
次いで、蛍光輝点画像から、ステップＳ１６においてＫｉ６７、ＥＧＦＲ、及びＨＥＲ２の発現を示すと判定された蛍光輝点がそれぞれ選択されて（ステップＳ１７：選択工程）、各生体物質の発現を示す画像が作成される。
次いで、蛍光輝点画像から、ステップＳ１６においてＫｉ６７、ＥＧＦＲ、及びＨＥＲ２の発現を示すと判定された蛍光輝点がそれぞれ選択されて（ステップＳ１７：選択工程）、各生体物質の発現を示す画像が作成される。
（第５実施形態）
本発明の第５実施形態では、第１実施形態と同様に、形態画像から抽出された細胞又は細胞内器官の領域の形態と、蛍光画像から抽出された蛍光輝点の距離に基づいて、蛍光輝点が表す生体物質の種類を判定する。
以下、細胞核がＨ染色によって染色され、さらに、細胞核に発現するＫｉ６７及び細胞膜に発現するＨＥＲ２が、それぞれ発光波長の異なる２種類の蛍光染色試薬によって染色された組織切片を、組織標本として用いる場合を例にとって説明する。
第５実施形態における蛍光染色試薬は、例えば、抗Ｋｉ６７抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ａ）及び抗ＨＥＲ２抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｂ）である。
細胞核の形態を表す形態画像としては、明視野画像を取得する。
以下、第５実施形態が、上述した第１〜第４実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
本発明の第５実施形態では、第１実施形態と同様に、形態画像から抽出された細胞又は細胞内器官の領域の形態と、蛍光画像から抽出された蛍光輝点の距離に基づいて、蛍光輝点が表す生体物質の種類を判定する。
以下、細胞核がＨ染色によって染色され、さらに、細胞核に発現するＫｉ６７及び細胞膜に発現するＨＥＲ２が、それぞれ発光波長の異なる２種類の蛍光染色試薬によって染色された組織切片を、組織標本として用いる場合を例にとって説明する。
第５実施形態における蛍光染色試薬は、例えば、抗Ｋｉ６７抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ａ）及び抗ＨＥＲ２抗体が結合した蛍光物質内包ナノ粒子（蛍光染色試薬Ｂ）である。
細胞核の形態を表す形態画像としては、明視野画像を取得する。
以下、第５実施形態が、上述した第１〜第４実施形態と異なる構成を中心に説明し、共通する構成については説明を省略する。
まず、操作者は、組織切片のＨ染色を行い、次いで、Ｋｉ６７及びＨＥＲ２の蛍光染色を行う。その後、顕微鏡画像取得装置１Ａを用いて、第１実施形態の（ａ１）〜（ａ６）と同様の手順により、明視野画像、第１の蛍光画像、及び第２の蛍光画像を取得する。
その後、画像処理装置２Ａにおいて、第１の蛍光画像及び第２の蛍光画像における生体物質の発現を解析する画像解析処理が実行される。
第５実施形態における、第１の蛍光画像における生体物質の発現を解析する画像解析処理では、まず、制御部２１は、第１実施形態のステップＳ１１〜Ｓ１５と同様の処理を行う。
その後、画像処理装置２Ａにおいて、第１の蛍光画像及び第２の蛍光画像における生体物質の発現を解析する画像解析処理が実行される。
第５実施形態における、第１の蛍光画像における生体物質の発現を解析する画像解析処理では、まず、制御部２１は、第１実施形態のステップＳ１１〜Ｓ１５と同様の処理を行う。
次いで、第５実施形態のステップＳ１６（判定工程）では、蛍光輝点から最も近い細胞核までの距離に基づいて、その蛍光輝点が蛍光染色された生体物質のそれぞれである確率を算出し、各蛍光輝点が示す生体物質の種類を判定する。
図１０（ａ）は、蛍光輝点から最も近い細胞核までの距離と、その蛍光輝点が細胞核に発現するＫｉ６７である確率（核付着輝点カウント）との相関を示すグラフの一例である。このグラフによれば、例えば、蛍光輝点から最も近い細胞核までの距離がＡｘであった場合の核付着輝点カウントは０．７であることから、当該蛍光輝点は、０．７個のＫｉ６７、及び０．３個のＨＥＲ２と判定される。
次いで、蛍光輝点画像から、ステップＳ１６においてＫｉ６７の発現を示す確率がゼロであると判定された蛍光輝点が削除され、Ｋｉ６７発現を示すと判定された蛍光輝点のみが選択されて（ステップＳ１７：選択工程）、Ｋｉ６７の発現を示す画像が作成される。
第１実施形態と第５実施形態のステップＳ１６では、いずれも、形態画像に表される細胞又は細胞内器官の形態と蛍光輝点の位置関係を用いて、蛍光輝点が示す生体物質の種類を判定するが、前述した第１実施形態のステップＳ１６では、各蛍光輝点を、染色された複数種類の生体物質のうちの何れか１つに特定するという点で、第５実施形態のステップＳ１６と異なっている。
図１０（ｂ）は、第１実施形態における蛍光輝点から最も近い細胞核までの距離と、核付着輝点カウントの相関を示すグラフの一例である。第１実施形態においては、蛍光輝点から最も近い細胞核までの距離が閾値Ａ以下であれば、例えばＡｘ又は０の何れであった場合でも、核付着輝点カウントは常に１であることから、当該蛍光輝点は、１個のＫｉ６７として計測される。
図１０（ｂ）は、第１実施形態における蛍光輝点から最も近い細胞核までの距離と、核付着輝点カウントの相関を示すグラフの一例である。第１実施形態においては、蛍光輝点から最も近い細胞核までの距離が閾値Ａ以下であれば、例えばＡｘ又は０の何れであった場合でも、核付着輝点カウントは常に１であることから、当該蛍光輝点は、１個のＫｉ６７として計測される。
（変形例）
第１〜第５実施形態では、明視野画像と暗視野画像の撮影のためのユニットの切り替えや、蛍光画像の撮影時の励起光及びフィルタの切り替えなど、様々な要因で、画像の撮像範囲の位置がずれる可能性がある。そのため、第１〜第５実施形態において、複数の画像を用いて画像処理を行う場合には、ステップＳ１５で画像を重ね合わせる際に、重ね合わせる複数の画像で共通して認識可能な構造に基づいて、画像の位置合わせを行うことが好ましい。
第１〜第５実施形態では、明視野画像と暗視野画像の撮影のためのユニットの切り替えや、蛍光画像の撮影時の励起光及びフィルタの切り替えなど、様々な要因で、画像の撮像範囲の位置がずれる可能性がある。そのため、第１〜第５実施形態において、複数の画像を用いて画像処理を行う場合には、ステップＳ１５で画像を重ね合わせる際に、重ね合わせる複数の画像で共通して認識可能な構造に基づいて、画像の位置合わせを行うことが好ましい。
なお、画像の位置合わせには、公知の任意の方法を用いることができる。
具体的には、例えば、組織標本にエオジン染色を行う。エオジン染色により、明視野画像及び蛍光画像での両方で、細胞質の形状が観察可能となる。従って、第１〜第５実施形態では、ステップＳ１２及びＳ１４のそれぞれにおいて、形態画像におけるエオジン染色領域及び蛍光画像におけるエオジン染色領域を抽出して、ステップＳ１５において、これらのエンジン染色領域が完全に重なり合うように、形態画像と蛍光画像の位置を調整する位置合わせを行った後、画像の重ね合わせを実行することとすれば、画像のずれを補正することが可能であり、各蛍光輝点が示す生体物質の種類を正確に判定することができる。
具体的には、例えば、組織標本にエオジン染色を行う。エオジン染色により、明視野画像及び蛍光画像での両方で、細胞質の形状が観察可能となる。従って、第１〜第５実施形態では、ステップＳ１２及びＳ１４のそれぞれにおいて、形態画像におけるエオジン染色領域及び蛍光画像におけるエオジン染色領域を抽出して、ステップＳ１５において、これらのエンジン染色領域が完全に重なり合うように、形態画像と蛍光画像の位置を調整する位置合わせを行った後、画像の重ね合わせを実行することとすれば、画像のずれを補正することが可能であり、各蛍光輝点が示す生体物質の種類を正確に判定することができる。
以上説明した第１〜第５実施形態及び変形例によれば、蛍光輝点が表す生体物質の種類を、形態画像に基づいて判別することができる。
これにより、発光波長が互いに異なる複数種類の蛍光物質を用いて、複数の生体物質をそれぞれ染色した場合であっても、蛍光輝点が表す生体物質の種類を容易に判別できるので、観察対象細胞における特定タンパクの発現の定量の誤差を容易に減らすことができ、診断精度が向上する。
これにより、発光波長が互いに異なる複数種類の蛍光物質を用いて、複数の生体物質をそれぞれ染色した場合であっても、蛍光輝点が表す生体物質の種類を容易に判別できるので、観察対象細胞における特定タンパクの発現の定量の誤差を容易に減らすことができ、診断精度が向上する。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、第１実施形態や第５実施形態において、形態画像から抽出された細胞又は細胞内器官の領域と、蛍光画像から抽出された蛍光輝点の距離の代わりに、例えば、蛍光輝点の色相や、核小体の面積に基づいて、蛍光輝点が表す生体物質の種類を判定してもよい。
また、以上説明した第１〜第５実施形態及び変形例の画像解析処理における判定工程は、組み合わせて実行してもよい。例えば、上述した第４実施形態において、まず、蛍光輝点から最も近い細胞核までの距離に基づいて、細胞核に発現するＫｉ６７の発現を示すと判定された蛍光輝点を抽出し、残りの蛍光輝点については、蛍光輝点領域の色相に基づいて、第５実施形態と同様に、その蛍光輝点がＥＧＦＲ及びＨＥＲ２である確率をそれぞれ算出し、各蛍光輝点が示す生体物質の種類を判定する。
また、本発明で定量対象とする生体物質の種類は、上記実施形態で用いた例に限定されず、診断対象となる病変（がん）種に応じて、蛍光画像を取得する際の生体物質認識部位を異なるものとすれば、病変種に応じた特定タンパクの発現量を定量的に示す特徴量を医師に提供することが可能となる。例えば、血管性腫瘍や血管肉腫の診断においては、ＣＤ３１やＣＤ３４の蛍光染色を行う。また、細胞質に発現するＣＫ７及びＣＫ２０の多重染色を行って定量することにより、原発不明腺癌を診断することができる。
また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてHDDや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
その他、診断支援情報生成システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
その他、診断支援情報生成システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
１Ａ 顕微鏡画像取得装置
２Ａ 画像処理装置
２１ 制御部
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ
２５ 記憶部
２６ バス
３Ａ ケーブル
１００ 診断支援情報生成システム
２Ａ 画像処理装置
２１ 制御部
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ
２５ 記憶部
２６ バス
３Ａ ケーブル
１００ 診断支援情報生成システム
Claims (11)
- 発光特性が互いに異なる複数種類の蛍光物質を用いて複数種類の生体物質をそれぞれ染色した組織標本を撮像した、前記複数種類の生体物質の発現を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段と、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段と、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す生体物質の種類を判定する判定手段と、
を備え、
前記判定手段は、以下の（ａ）、（ｂ）、及び（ｃ）の少なくとも何れか１つに基づいて、前記蛍光輝点が表す生体物質の種類を判定する
ことを特徴とする画像処理装置。
（ａ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の距離
（ｂ）前記蛍光輝点が前記細胞又は細胞内器官に内包されるかどうか
（ｃ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の特徴量 - 発光特性が互いに異なる複数種類の蛍光物質を用いて複数種類の特定物質をそれぞれ染色した組織標本を撮像した、前記複数種類の特定物質の存在を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段と、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段と、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す特定物質の種類を判定する判定手段と、
を備える事を特徴とする画像処理装置。 - 前記領域が、細胞膜、細胞質、細胞核、又は核小体の領域の何れか１つである
ことを特徴とする請求項２に記載の画像処理装置。 - 前記判定手段は、以下の（ａ）、（ｂ）、及び（ｃ）の少なくとも何れか１つに基づいて、前記蛍光輝点が表す特定物質の種類を判定する
ことを特徴とする請求項２又は３に記載の画像処理装置。
（ａ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の距離
（ｂ）前記蛍光輝点が前記細胞又は細胞内器官に内包されるかどうか
（ｃ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の特徴量 - 前記特徴量は面積であることを特徴とする請求項１又は４に記載の画像処理装置。
- 前記判定手段は、前記蛍光輝点の色に基づいて、前記蛍光輝点が表す特定物質の種類を判定する
ことを特徴とする、請求項２〜５の何れか一項に記載の画像処理装置。 - 前記判定手段は、前記蛍光輝点が表す特定物質の種類を、前記複数種類の特定物質のいずれか１つであると判定する
ことを特徴とする請求項２〜６の何れか一項に記載の画像処理装置。 - 前記判定手段は、
前記蛍光輝点が前記複数種類の特定物質のそれぞれを表す確率を算出して、
前記蛍光輝点が表す特定物質の種類を判定する
ことを特徴とする請求項２〜６の何れか一項に記載の画像処理装置。 - 前記判定手段により判定された結果に基づいて、前記蛍光輝点から、前記複数種類の特定物質のうち特定の特定物質を表す蛍光輝点を選択する選択手段を備える
ことを特徴とする請求項７に記載の画像処理装置。 - コンピュータを、
発光特性が互いに異なる複数種類の蛍光物質を用いて複数種類の特定物質をそれぞれ染色した組織標本を撮像した、前記複数種類の特定物質の存在を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す特定物質の種類を判定する判定手段、
として機能させるためのプログラム。 - 蛍光物質を用いて特定物質を染色した組織標本を撮像した、前記特定物質の存在を蛍光輝点で示す蛍光画像、及び前記組織標本を撮像した、細胞又は細胞内器官の形態を表す形態画像を入力する入力手段と、
前記形態画像から前記細胞又は細胞内器官の領域を抽出する領域抽出手段と、
前記蛍光画像から前記蛍光輝点を抽出する輝点抽出手段と、
前記領域及び前記蛍光輝点に基づいて、前記蛍光輝点が表す特定物質の種類を判定する判定手段と、
を備え、
前記判定手段は、以下の（ａ）、（ｂ）、及び（ｃ）の少なくとも何れか１つに基づいて、前記蛍光輝点が表す特定物質の種類を判定する事を特徴とする画像処理装置。
（ａ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の距離
（ｂ）前記蛍光輝点が前記細胞又は細胞内器官に内包されるかどうか
（ｃ）前記蛍光輝点と最も近い前記細胞又は細胞内器官の特徴量
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016000771A JP6597316B2 (ja) | 2016-01-06 | 2016-01-06 | 画像処理装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016000771A JP6597316B2 (ja) | 2016-01-06 | 2016-01-06 | 画像処理装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017122610A JP2017122610A (ja) | 2017-07-13 |
| JP6597316B2 true JP6597316B2 (ja) | 2019-10-30 |
Family
ID=59306607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016000771A Active JP6597316B2 (ja) | 2016-01-06 | 2016-01-06 | 画像処理装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6597316B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI659395B (zh) * | 2017-07-19 | 2019-05-11 | 銳準醫光股份有限公司 | 類ｈ＆ｅ影像之合成方法及採用該方法之光學系統 |
| KR102431217B1 (ko) | 2017-09-27 | 2022-08-09 | 후지필름 가부시키가이샤 | 화상 해석 장치, 방법 및 프로그램 |
| US10915729B2 (en) * | 2018-02-20 | 2021-02-09 | The Regents Of The University Of Michigan | Three-dimensional cell and tissue image analysis for cellular and sub-cellular morphological modeling and classification |
| WO2019188647A1 (ja) * | 2018-03-30 | 2019-10-03 | コニカミノルタ株式会社 | 画像処理方法、画像処理装置及びプログラム |
| JP7452544B2 (ja) * | 2019-07-09 | 2024-03-19 | ソニーグループ株式会社 | 情報処理装置およびプログラム |
| WO2022059300A1 (ja) * | 2020-09-15 | 2022-03-24 | コニカミノルタ株式会社 | 画像処理方法、画像処理装置、および画像処理プログラム |
| JPWO2022102748A1 (ja) * | 2020-11-12 | 2022-05-19 | ||
| WO2023199617A1 (ja) * | 2022-04-10 | 2023-10-19 | 株式会社ニコン | 検出装置、検出方法、および検出プログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5487534B2 (ja) * | 2007-04-20 | 2014-05-07 | 株式会社ニコン | 画像解析方法と、蛍光検出装置 |
| IN2012DN02337A (ja) * | 2009-10-12 | 2015-08-21 | Ventana Med Syst Inc | |
| JP6053327B2 (ja) * | 2012-05-23 | 2016-12-27 | オリンパス株式会社 | 顕微鏡システム、標本画像生成方法及びプログラム |
| JP2014003925A (ja) * | 2012-06-22 | 2014-01-16 | Japanese Foundation For Cancer Research | 予後不良の肺小細胞がんの検査方法及び治療手段 |
| JP5822054B1 (ja) * | 2013-12-18 | 2015-11-24 | コニカミノルタ株式会社 | 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 |
| JP5768948B1 (ja) * | 2014-03-27 | 2015-08-26 | コニカミノルタ株式会社 | 画像処理装置および画像処理プログラム |
| US9836655B2 (en) * | 2014-06-24 | 2017-12-05 | Nec Corporation | Information processing apparatus, information processing method, and computer-readable medium |
-
2016
- 2016-01-06 JP JP2016000771A patent/JP6597316B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017122610A (ja) | 2017-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6350527B2 (ja) | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 | |
| JP6597316B2 (ja) | 画像処理装置及びプログラム | |
| JP5892238B2 (ja) | 医用画像処理装置及びプログラム | |
| JP5822054B1 (ja) | 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 | |
| WO2016042963A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JPWO2016093090A1 (ja) | 画像処理装置及び画像処理プログラム | |
| JP6763407B2 (ja) | 画像処理装置及びプログラム | |
| JP5768948B1 (ja) | 画像処理装置および画像処理プログラム | |
| WO2016136441A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP7173034B2 (ja) | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム | |
| JP6493398B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
| JP5835536B1 (ja) | 組織評価方法、画像処理装置、病理診断支援システム及びプログラム | |
| WO2018143406A1 (ja) | 画像処理装置及びプログラム | |
| JP6375925B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
| JP6337629B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
| JP6702339B2 (ja) | 画像処理装置及びプログラム | |
| JP6405985B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
| JP2016136104A (ja) | 生体物質定量方法、画像処理装置、及びプログラム | |
| JP7235036B2 (ja) | 画像処理方法、画像処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180614 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190916 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6597316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |