JP5119111B2 - 顕微鏡装置 - Google Patents

Description

本発明は、顕微鏡の技術に関し、特に、取得方法の異なる様々な画像を同一位置の試料について取得する顕微鏡の技術に関する。

従来から、少なくとも２種類以上の取得方法により、同一位置の試料（本願においては、同一位置の試料を「同位置試料」と称することとする）における画像を取得可能な顕微鏡装置のひとつとして、例えば、共焦点顕微鏡がある。共焦点顕微鏡は、共焦点画像や非共焦点画像を得ることができる。共焦点画像は、試料である被検体を照明したときの被検体からの反射光のうち共焦点絞りを通過したものの強度を光検出器で検出して得られる、被検体の焦点深度の浅い画像である。また、非共焦点画像は、被検体を照明したときの被検体からの反射光のうち共焦点絞りを通過できなかったものの強度を光検出器で検出して得られる、被検体の焦点深度の深い画像である。また、共焦点顕微鏡は、この他にも、ＣＣＤ（電荷結合素子）ビデオカメラ等を用いることで明視野画像、暗視野画像、微分干渉画像等を得ることができ、更には共焦点画像の画像データを加工して三次元画像や全焦点画像等を取得することもできる。例えば特許文献１には、このような共焦点顕微鏡が開示されている。

また、このような顕微鏡装置の別のひとつとして、例えば蛍光顕微鏡がある。蛍光顕微鏡は、蛍光色素で染めた試料に励起光を照射したときに試料から発せられる蛍光の画像を取得するものである。蛍光顕微鏡も、同位置試料に対し、励起波長を変えた励起光を照射したときに試料から発せられる蛍光を取得することで、異なる蛍光画像を得ることができ、更には、共焦点顕微鏡と同様に、明視野画像や暗視野画像等を取得することができる。

このような顕微鏡装置には、同位置試料について取得した複数の画像を互いに関連付けて、それらの画像を表している画像データを例えば１つの画像データファイル（以下、「画像ファイル」と称することとする）として保存するものがある。また、このような画像の表示手法として、例えば、画像ファイルに画像データが含まれている画像についての、画像データ名のリストやいわゆるサムネイル画像等を表示装置で一覧表示する。そして、この一覧から所望の画像を選択する指示を取得すると、その所望の画像の表示を行うという手法がある。例えば特許文献２には、複数の画像それぞれのサムネイル画像を一覧表示する装置が開示されている。
特開２００５−１７３５８０号公報 特開２００２−２０２４６３号公報

前述のように、共焦点顕微鏡は、検鏡法の選択（共焦点観察、非共焦点観察、暗視野観察、明視野観察、微分干渉観察等）、取得画像の補正（ノイズ除去、γ補正等）や加工（三次元画像や二次元全焦点画像の生成等）等により、取得方法が異なる様々な画像を取得できる。そして、同位置試料について取得した画像の画像データが、１つの画像ファイルとして保存される。

ここで、所望の画像を探すには、画像データ名のリストが表示されている場合には、このリストからその画像を探し出す作業となる。しかし、単なる画像データ名のリストの表示では、各画像が如何なる検鏡法で取得したものであるのか、また、どのような補正・加工のされた画像であるのかが作業者には認識できない。ここで、各画像を実際に表示させてその取得方法を確認していては、所望の画像を探し出すまでに多大な作業量を要することとなる。

また、取得画像又はそれを補正若しくは加工した画像を、そのままのサイズで表示する場合、若しくは縮小してサムネイル画像を表示する場合には、多量の画像（若しくはサムネイル画像）を表示装置で表示することになる。そのためには広大な表示領域が画像表示のために必要になる上に、同位置試料についての似たような画像を多量に表示すれば、却って所望の画像を探し難くなる虞がある。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、画像の探索を容易に行える顕微鏡装置を提供することである。

本発明の態様のひとつである顕微鏡装置は、同位置試料についての取得方法の異なる複数の種類の画像を取得する画像取得手段と、該画像取得手段により取得された該同位置試料についての複数の画像のひとつから、該同位置試料についての画像を代表する代表画像を得る代表画像取得手段と、該同位置試料についての該代表画像と、該画像取得手段により取得された該同位置試料についての複数の画像とを画像データとして含み、該複数の画像の各々についての該種類を示す画像種類情報を更に含む画像ファイルを複数保存する画像ファイル保存手段と、該画像ファイル保存手段に保存されている各画像ファイルについての該代表画像の一覧表示を行うと共に、該各画像ファイルに含まれている該同位置試料についての複数の画像の各々についての該画像種類情報を、該一覧表示を行う各代表画像に対応付けて表示する画像ファイル一覧表示手段と、を有し、該代表画像取得手段は、該画像取得手段により取得された該同位置試料についての複数の画像のひとつから、該同位置試料についてのサムネイル画像を該代表画像として作成するというものであり、この構成によって前述した課題を解決する。

なお、上述した顕微鏡装置において、該画像ファイル一覧表示手段は、該各画像ファイルに含まれる該複数の画像の各々についての該画像種類情報を示す図形を、該一覧表示を行う該各画像ファイルについての該代表画像に重ねて表示するように構成してもよい。

また、前述した顕微鏡装置において、該画像ファイル一覧表示手段は、該各画像ファイルに含まれる該複数の画像の各々についての該画像種類情報を示す図形を、該一覧表示を行う該各画像ファイルについての該代表画像の周囲に隣接させて表示するように構成してもよい。

また、前述した顕微鏡装置において、該画像ファイル一覧表示手段は、該各画像ファイルに含まれる該複数の画像の各々についての該画像種類情報として、該画像の種類に予め対応付けられている色彩の図形を、各代表画像に対応付けて表示するように構成してもよい。

また、前述した顕微鏡装置において、該画像ファイル一覧表示手段は、該各画像ファイルに含まれる該複数の画像の各々についての該画像種類情報として、該画像の種類に予め対応付けられている文字を、各代表画像に対応付けて表示するように構成してもよい。

また、前述した顕微鏡装置において、該画像ファイル一覧表示手段は、該各画像ファイルに含まれる該複数の画像の各々についての該画像種類情報のうち、該代表画像の一覧表示から選択されている代表画像を含む画像ファイルに含まれている画像の各々についての画像種類情報のみを、該代表画像の一覧表示に並べて表示するように構成してもよい。

また、前述した顕微鏡装置において、該顕微鏡装置は共焦点顕微鏡であり、該画像取得手段は、該同位置試料についての共焦点画像と、非共焦点画像とを少なくとも取得するように構成してもよい。

また、前述した顕微鏡装置において、該顕微鏡装置は共焦点顕微鏡であり、該画像取得手段は、該同位置試料についての共焦点画像と、該同位置試料の像をビデオカメラで撮像して得られるビデオ画像とを少なくとも取得するように構成してもよい。

なお、このとき、該画像取得手段は、該同位置試料についての複数の共焦点画像に基づき、該同位置試料についての三次元画像及びエクステンド画像のうち少なくとも一方を取得可能であるように構成してもよい。

本発明によれば、以上のようにすることにより、画像の探索を容易に行えるようになるという効果を奏する。

以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明を実施する共焦点レーザ顕微鏡装置（ＬＳＭ）の構成を示している。この顕微鏡装置は、顕微鏡本体１０１、コントローラ１０２、入力装置１０３、表示装置１０４、及び試料台１０５を備えている。

顕微鏡本体１０１は、対物レンズ１１１、レボルバ１１２、Ｚ移動機構１４０、ビームスプリッタ１１３、１１８、及び１２８、照明レンズ１１４、コレクタレンズ１１５、白色光源１１６、結像レンズ１１７、１／４波長板１１９、瞳投影レンズ１２０、光スキャナ１２１、偏光ビームスプリッタ１２２、集光レンズ１２３及び１２７、レーザ光源１２４、ビデオカメラレンズ１２５、ビデオ画像取得用ＣＣＤカメラ１２６、ピンホール１２９、共焦点画像取得用検出器１３０、非共焦点画像取得用検出器１３１、並びにＺ移動機構１４０を備える。ここで、光スキャナ１２１としては、例えば、ガルバノミラーが用いられ、共焦点画像取得用検出器１３０及び非共焦点画像取得用検出器１３１としては、例えば、フォトマルチプライヤが用いられる。また、白色光源１１６としては、例えば、白色照明用ファイバ光源が用いられる。

共焦点画像及び非共焦点画像を取得する場合には、レーザ光源１２４から発せられるレーザ光（照明光）を、集光レンズ１２３、偏光ビームスプリッタ１２２、光スキャナ１２１、瞳投影レンズ１２０、１／４波長板１１９、ビームスプリッタ１１８、結像レンズ１１７、ビームスプリッタ１１３、及び対物レンズ１１１からなる光路を経由させて、試料台１０５上に載置されている試料１０６上に集光させ、スポット光として照射する。ここで、照明光を光スキャナ１２１により二次元走査させると、試料１０６上のスポット光は、対物レンズ１１１の光軸の方向（Ｚ方向）に垂直な平面上の直交する２方向であるＸＹ方向に走査する。このとき、試料１０６からの反射光は、上記光路における対物レンズ１１１から偏光ビームスプリッタ１２２まで逆向きに経由して、偏光ビームスプリッタ１２２により集光レンズ１２７の方へ導かれる。そして、集光レンズ１２７を通過した反射光が、ビームスプリッタ１２８により２つに分岐して、その一方がピンホール１２９を経由して共焦点画像取得用検出器１３０に入射し、もう一方は非共焦点画像取得用検出器１３１に入射する。

また、カラービデオ画像を取得する場合には、白色光源１１６から発せられる照明光を、コレクタレンズ１１５、照明レンズ１１４、ビームスプリッタ１１３、及び対物レンズ１１１からなる光路を経由させて、試料１０６を照明する。このとき、試料１０６からの反射光は、対物レンズ１１１、ビームスプリッタ１１３、結像レンズ１１７、ビームスプリッタ１１８、及びビデオカメラレンズ１２５を経由して、ビデオ画像取得用ＣＣＤカメラ１２６に入射する。

共焦点画像取得用検出器１３０及び非共焦点画像取得用検出器１３１を含む共焦点光学系では、ピンホール１２９が挿入された共焦点系とピンホール１２９のない非共焦点系とが、ビームスプリッタ１２８を通過後の反射光を同時に検出するように配置されている。そして、２チャンネル１組のＬＳＭ出力信号として、共焦点画像取得用検出器１３０及び非共焦点画像取得用検出器１３１の各々の出力信号がコントローラ１０２へ送られる。

一方、ビデオ画像取得用ＣＣＤカメラ１２６を含むビデオ光学系では、白色光源１１６からの照明光で照明されている試料１０６のビデオ画像が取得される。そして、ビデオ出力信号として、このビデオ画像を表している信号がビデオ画像取得用ＣＣＤカメラ１２６からコントローラ１０２へ送られる。

以上のように、顕微鏡本体１０１は、ビデオ出力信号と２種類のＬＳＭ出力信号とを同時に出力してコントローラ１０２へ伝送する。
コントローラ１０２は、受け取った１組のＬＳＭ出力信号から、試料１０６についての共焦点画像と非共焦点画像とを構築すると共に、受け取ったビデオ出力信号に基づいて試料１０６のビデオ画像を再生する。このとき取得される各画像は、以下のような特徴を有している。

共焦点画像は、コントラストが高く、焦点深度の浅い単色画像であり、計測及び観察の用途で主に用いられる。但し、共焦点画像では試料１０６へのピント合わせ及び試料１０６上における観察位置の特定（位置決め）が難しい。

非共焦点画像は、コントラストが比較的高く、焦点深度が通常の光学顕微鏡と同程度の単色画像であり、観察用途に用いられることに加え、ピント合わせや位置決めの作業にも利用される。

なお、共焦点画像と非共焦点画像とを組み合わせて利用すると、全体像（焦点深度の深い画像）と部分的な像（焦点深度の深い画像）との対比観察が可能となる。
ビデオ画像は、色情報を含んでいる通常の顕微鏡のカラー画像として得ることができる。従って、観察用途に用いられることに加え、ピント合わせや位置決めの作業にも利用することができる。暗視野観察や微分干渉観察等の検鏡法の利用が可能である。

なお、以下の説明では、共焦点画像と非共焦点画像とを総称して「ＬＳＭ画像」と称することとする。
コントローラ１０２は、演算部２０１、制御部２０２、及び記憶部２０３を備えて構成されており、例えば、パーソナルコンピュータ等の情報処理装置が用いられる。ここで、演算部２０１には、ＭＰＵ（演算処理装置）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含むメモリとを備えて構成されている。ここで、ＲＯＭには、所定の基本制御プログラムが予め記録されており、ＭＰＵが、この基本制御プログラムを演算部２０１の起動時に読み出して実行することにより、演算部２０１の各構成要素の動作制御が可能になる。また、ＲＡＭは、ＭＰＵが各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する。ＭＰＵは、この基本制御プログラムの実行完了後に、記憶部２０３の所定の記憶領域に予め格納されている、図１のＬＳＭ全体の制御プログラムを読み出して実行することにより、演算部２０１として機能する。

演算部２０１は、ビデオ画像取得用ＣＣＤカメラ１２６、共焦点画像取得用検出器１３０、非共焦点画像取得用検出器１３１、光スキャナ１２１、及びレーザ光源１２４等の、図１に示したＬＳＭの各構成要素の制御を、制御部２０２を介して行う。また、演算部２０１は、顕微鏡本体１０１により取得したＬＳＭ画像及びビデオ画像を記憶部２０３で保存させるための保存制御処理や、記憶部２０３で保存中のこれらの画像の表示を行うための表示制御処理などといった、後述する各種の制御処理を行う。

入力装置１０３は、例えば、キーボード装置、マウス装置等のポインティングデバイス、タッチパネル等である。入力装置１０３は、表示装置１０４のモニタ画面１４１に表示される操作画面との連携によりグラフィカル・ユーザ・インタフェース（ＧＵＩ）を構成し、図１のＬＳＭのユーザによる指示や情報の入力を、このＧＵＩを利用して取得してコントローラ１０２に渡す。

図１のＬＳＭを用いてＬＳＭ画像とビデオ画像とを同時に観察する場合には、演算部２０１は、制御部２０２に指示を与えて、ＬＳＭ画像を１フレーム撮像したときに、レーザ光源１２４を消灯（ＯＦＦ）させた上で、ビデオ画像を１フレーム撮像させるようにする。そして、その後に、レーザ光源１２４を点灯（ＯＮ）させて、ＬＳＭ画像の次の１フレームの撮像を行わせる。以降同様の制御を繰り返し制御部２０２に行わせる。なお、レーザ光源１２４の点灯・消灯は、レーザ光源１２４への電力の供給ラインの開閉を行えばよく、また、レーザ光源１２４で発生させたレーザ光をシャッタ等の開閉により通過・遮断させてもよい。また、制御部２０２に、レーザ光源１２４で発生させるレーザ光の強度を制御させてもよい。

演算部２０１は、顕微鏡本体１０１から送られてくるＬＳＭ出力信号からＬＳＭ画像を構築して表示装置１０４のモニタ画面１４１に表示させる処理を行う。また、演算部２０１は、顕微鏡本体１０１から送られてくるビデオ出力信号に基づいてＬＳＭ画像を再生して表示装置１０４のモニタ画面１４１に表示させる処理も行う。更に、演算部２０１は、記憶部２０３で保存されている画像を読み出して表示装置１０４のモニタ画面１４１に表示させて出力する処理も行う。

また、演算部２０１は、ＬＳＭ出力信号に基づき試料１０６の三次元画像を構築して表示装置１０４のモニタ画面１４１に表示させる処理も行う。このために、演算部２０１は、制御部２０２に指示を与えてＺ移動機構１４０を制御させて、レボルバ１１２を上下に移動させて、試料１０６と対物レンズ１１１との相対位置をＺ方向に移動させる。そして、このときに、共焦点画像取得用検出器１３０の出力信号の監視を行い、試料１０６からの反射光量が一番高い位置のＺ座標を、試料１０６の高さ位置として検出する。この検出を、ＸＹについて試料１０６の表面全体に亘って行い、得られた高さ位置を三次元座標上に配置することで、試料１０６の三次元画像が構築される。

また、演算部２０１は、試料１０６の表面全体にピントの合ったエクステンド画像（二次元全焦点画像）を構築して表示装置１０４のモニタ画面１４１に表示させる処理を行うこともできる。このために、演算部２０１は、まず、試料１０６と対物レンズ１１１との相対位置をＺ方向に移動させたときに共焦点画像取得用検出器１３０で得られた試料１０６からの反射光量の最大値を、ＸＹ座標毎に取得する。そして、その最大値を当該ＸＹ座標の画素の輝度値として割り当てて画像を構成することで、全ての画素についてピントの合ったエクステンド画像（二次元全焦点画像）が構築される。

以上のように、図１に示したＬＳＭでは、試料１０６の共焦点画像、非共焦点画像、及びビデオカラー画像を取得することができ、また、試料１０６の三次元画像及びエクステンド画像を生成することもできる。また、各画像からノイズを除去した画像や、共焦点画像とビデオ画像とを合成した画像を演算部２０１により構築することができる。更に、三次元画像を用い、試料１０６における所望の位置の高さの計測を演算部２０１により行うことができる。

次に図２について説明する。図２は、表示装置１０４のモニタ画面１４１での各種の画像の表示例を示している。この表示例は、以上のようにしてコントローラ１０２により取得・生成されたＬＳＭ画像、ビデオ画像、三次元画像、及びエクステンド画像のうち、所定のいずれか３つを、画像表示ウィンドウ３０１、３０２、及び３０３に表示した例である。

ユーザが入力装置１０３を操作して、上述した画像のうちの幾つかを選択する指示を行うと、入力装置１０３は、この指示を演算部２０１へ送付する。演算部２０１は、この指示を取得すると、当該指示に係る全ての画像（図２の例のように３つに限定されるものではない）を、モニタ画面１４１上に並べて表示させる処理を行う。このとき、演算部２０１は、図２にも示されているように、ＧＵＩ用の表示である保存ボタン３０４も併せて表示する。ユーザが入力装置１０３を操作して、保存ボタン３０４を押下する指示を行うと、入力装置１０３は、この指示を演算部２０１へ送付する。演算部２０１は、この指示を取得すると、そのときにモニタ画面１４１上に並べて表示されている画像を表現している画像データを１つの画像ファイルに纏めて記憶部２０３で記憶させて保存する画像保存処理を行う。

ここで図３について説明する。図３は、この画像保存処理の処理内容をフローチャートで示したものである。
図３において、まず、Ｓ１０１では、試料１０６のサムネイル画像を、予め指定されている種類の画像（例えばビデオ画像）から生成する処理が行われる。この処理では、試料１０６のビデオ画像の画像サイズを、予め定められている所定のサイズに縮小して、その縮小後の画像（サムネイル画像）を表している画像データが生成される。

なお、サムネイル画像を生成する元の画像の指定をビデオ画像とする代わりに、ＬＳＭ画像等の他の画像を指定してもよい。また、このサムネイル画像を生成する元の画像の指定を、ユーザが行うようにしてもよい。この場合には、ユーザが入力装置１０３を操作して、サムネイル画像を生成する元となる画像の種類を選択する指示を行うと、入力装置１０３は、この指示を演算部２０１へ送付する。演算部２０１は、この指示を取得すると、この指示により選択されている種類の画像からサムネイル画像を生成する処理を行うようにする。

なお、ここで、試料１０６との関係を表しているような図形の画像を、サムネイル画像の代わりに生成するようにしてもよい。
次に、Ｓ１０２では、生成する試料１０６の画像ファイルに格納して保存する画像の種類（画像の取得方法の種類）についての情報（格納画像種類情報）を生成して、画像ファイルのヘッダ情報に格納する処理が行われる。

ここで図４について説明する。図４は、演算部２０１が生成する画像ファイルのデータ構造を示している。
この画像ファイルには、ヘッダ情報と、サムネイル画像を含む保存対象の各画像についての画像データとが格納される。ここで、ヘッダ情報には、この画像ファイルの作成日及び作成時刻、並びにこの画像ファイルの作成指示者を特定する情報（ファイル作成者ＩＤ）と共に、この格納画像種類情報が示される。

格納画像種類情報により示される画像の種類としては、例えば、共焦点画像、非共焦点画像、三次元画像、エクステンド画像、及びカラー画像（ビデオ画像）などを定義しておく。この他に、例えば、ノイズの除去処理が施された画像や、ＬＳＭ画像とビデオ画像との合成画像、所望の箇所の高さの計測用の３次元画像などを定義しておいてもよい。更に、画像処理の種類や、計測の種類などを細分化して定義してもよい。

なお、演算部２０１は、保存ボタン３０４の押下指示を取得したときにモニタ画面１４１に表示されていた各画像を特定する情報を、格納画像種類情報とする。
次に、図３のＳ１０３では、図４に示すデータ構造の画像ファイルを生成して記憶部２０３に記憶させて保存する処理が行われる。ここで、演算部２０１は、Ｓ１０１の処理で生成したサムネイル画像（若しくは前述した図形）の画像データと、格納画像種類情報で示されている各画像の画像データと、Ｓ１０２の処理で格納画像種類情報を格納したヘッダ情報とを纏めて画像ファイルに格納する。

このＳ１０３の処理を完了すると、図３の画像保存処理が終了する。
次に図５について説明する。図５は、演算部２０１により行われる保存画像ファイル一覧表示処理の第一の例の処理内容をフローチャートで示したものである。この処理は、記憶部２０３で保存されている画像ファイルを読み出し、各画像ファイルに含まれているサムネイル画像（若しくは前述した図形）を表示装置１０４のモニタ画面１４１上に並べて表示させる処理である。

ユーザが入力装置１０３を操作して、記憶部２０３で保存されている画像ファイルの一覧表示の指示を行うと、入力装置１０３は、この指示を演算部２０１へ送付する。演算部２０１は、この指示を取得すると、図５の処理を開始する。

図５において、まず、Ｓ２０１では、記憶部２０３で保存されている全ての画像ファイルを読み出し、各画像ファイルのヘッダ情報から格納画像種類情報を取り出して、各画像ファイルに含まれている各画像の種類を判別する処理が行われる。

次に、Ｓ２０２では、画像ファイルに保存されている各画像の種類を示す情報の表示態様を決定する処理が行われる。この表示態様は、予め決定されていてもよく、また、ユーザが入力装置１０３を操作して行った表示態様の選択指示を演算部２０１予め取得しておき、その選択指示に従って表示態様を決定するようにしてもよい。

Ｓ２０３では、Ｓ２０１で読み出した各画像ファイルに含まれているサムネイル画像（若しくは前述した図形）と、各画像ファイルに含まれている画像の種類の情報とを、表示装置１０４のモニタ画面１４１上に一覧表示する処理が行われる。ここで、演算部２０１は、まず、各画像ファイルにおいてヘッダ情報の直後に配置されている、サムネイル画像（若しくは前述した図形）の画像データを読み出し、その画像データで表されている画像を一覧表示する処理を行う。次に、Ｓ２０１の処理で判別した画像ファイル毎の画像の種類を示す情報を、Ｓ２０２の処理で決定した表示態様で、一覧表示されている画像に対応付けて一覧表示する処理を行う。

このＳ２０３の処理を完了すると、図５の保存画像ファイル一覧表示処理画像が終了する。
以下、この保存画像ファイル一覧表示処理画像による、サムネイル画像（若しくは前述した図形）と、各画像ファイルに含まれている画像の種類の情報との一覧表示の表示例を幾つか説明する。

図６Ａ及び図６Ｂは保存画像ファイルの一覧表示の第一の例を示している。ここで、図６Ｂは、図６Ａに示した一覧表示に付した符号「α」の部分を拡大して示した図である。
図６Ａから分かるように、この第一の例では、記憶部２０３に記憶されていた、ファイル名がそれぞれ「００１．ｏｌｓ」、「００２．ｏｌｓ」…、「００９．ｏｌｓ」である計９個の画像ファイルが一覧表示されている。

図６Ｂに注目すると、サムネイル画像４０１及び４０２が表示されている。サムネイル画像４０１及び４０２は、画像ファイル「００１．ｏｌｓ」及び「００２．ｏｌｓ」それぞれに含まれていた画像データに基づいて表示されるものである。つまり、この第一の例では、各画像ファイルに含まれているサムネイル画像を、その画像ファイルに含まれている画像を代表する代表画像として一覧表示している。

また、図６Ｂから分かるように、サムネイル画像４０１の下部には、画像種類表示４０３、４０４、及び４０５がサムネイル画像４０１に重ねられて表示されている。更に、サムネイル画像４０２の下部には、画像種類表示４０６及び４０７がサムネイル画像４０２に重ねられて表示されている。ここで、画像種類表示４０３、４０４、及び４０５は、この画像ファイルに含まれている画像の種類が、それぞれ、三次元画像（「３」の表示）、エクステンド画像（「２」の表示）、及びカラー画像（「Ｔ」の表示）であることを示している図形である。また、画像種類表示４０６及び４０７は、この画像ファイルに含まれている画像の種類が、それぞれ、ＬＳＭ画像における共焦点画像（「Ｃ」の表示）及び非共焦点画像（「Ｆ」の表示）であることを示している図形である。

つまり、この第一の例では、画像ファイルに含まれている画像の種類の表示態様として、画像ファイルを代表するサムネイル画像４０１及び４０２にそれぞれ重ねて表示される画像種類表示４０３、４０４、４０５、４０６、及び４０７が画像の種類を表示する。

ここで、ユーザが入力装置１０３を操作して、この代表画像の一覧表示から所望の画像ファイルを選択する指示を行うと、入力装置１０３は、この指示を演算部２０１へ送付する。演算部２０１は、この指示を受け取ると、当該指示により選択されている画像ファイルに含まれている画像データで表されている、各種の画像を表示装置１０４のモニタ画面１４１上に一覧表示する処理を行う。例えば、図６Ｂのサムネイル画像４０１の選択指示を受け取った場合には、演算部２０１は、まず、サムネイル画像４０１の画像データが含まれていた画像ファイルから、三次元画像、エクステンド画像、及びカラー画像の画像データを取り出す処理を行う。そして、これらの画像データで各々表されている三次元画像、エクステンド画像、及びカラー画像を、例えば図２の表示例における画像表示ウィンドウ３０１、３０２、及び３０３の一覧表示のように、モニタ画面１４１上に一覧表示する処理を行う。

このような第一の例の表示を行うことで、記憶部２０３で保存されている画像から所望の種類の画像を探し出す際に、代表画像の一覧表示をユーザが見るだけで、その代表画像の画像ファイルには、どのような種類の画像が含まれているかを認識できる。つまり、各画像ファイルに含まれている画像の全てを表示することなく、所望の種類の画像を探し出すことができるので、画像の探索が容易になる。

なお、図６Ａ及び図６に示した保存画像ファイルの一覧表示例では、画像種類表示４０３、４０４、４０５、４０６、及び４０７の図形を、その中に示されている１文字の表示により区別するようにしていた。この代わりに、この図形の色彩を互いに異なるものとして区別するようにしてもよい。もちろん、文字による区別と色彩による区別とを併用してもよい。

更には、画像種類表示４０３、４０４、４０５、４０６、及び４０７の図形を、態様が互いに全く異なる別の図形にしてその区別が容易になるようにしてもよい。図７は、そのような図形の例である。

図７において、画像種類表示５０１は、画像ファイルに含まれている画像の種類が共焦点画像であることを示している図形であり、画像種類表示５０２は、画像ファイルに含まれている画像の種類がカラー画像（ビデオ画像）であることを示している図形である。

なお、これらの図形は、図１のＬＳＭにおいて、それぞれ、共焦点画像及びビデオ画像の撮像動作の指示の取得のために、表示装置１０４に表示するＧＵＩ用の操作ボタンの図形、アイコン、若しくは名称と同一としておくと便利である。これらの図形と画像の種類との対応関係を、ユーザが容易に学習できるからである。また、この他にも、例えば、ノイズの除去処理が施された画像の種類を表示する図形として、ノイズの除去処理を指示するＧＵＩ用の操作ボタン、アイコン、若しくは名称と同一するようにしてもよい。また、例えば、ＬＳＭ画像とビデオ画像との合成処理により得られた種類を表示する図形として、画像の合成処理を指示するＧＵＩ用の操作ボタン、アイコン、若しくは名称と同一するようにしてもよい。更には、例えば、所望の箇所の高さの計測用の３次元画像の種類を表示する図形として、画像の計測処理を指示するＧＵＩ用の操作ボタン、アイコン、若しくは名称と同一するようにしてもよい。

次に図８Ａについて説明する。図８Ａは、保存画像ファイルの一覧表示の第二の例を示しており、図６Ｂと同様に、一覧表示の一部分を拡大して示したものである。
この図８Ａに示した表示例では、画像ファイルに含まれている画像の種類の表示態様として、サムネイル画像６０１の下部に隣接して、画像種類表示６０３、６０４、及び６０５が表示されている。更に、サムネイル画像６０２の下部に隣接して、画像種類表示６０６、６０７、６０８、及び６０９が表示されている。これらの画像種類表示６０３、６０４、６０５、６０６、６０７、６０８、及び６０９は、互いに異なる色彩の図形である。ここで、画像種類表示６０３、６０４、及び６０５は、この画像ファイルに含まれている画像の種類が、それぞれ、三次元画像、エクステンド画像、及びカラー画像であることを示している。また、画像種類表示６０６及び６０７は、この画像ファイルに含まれている画像の種類が、それぞれ、ＬＳＭ画像における共焦点画像及び非共焦点画像であることを示している。更に、画像種類表示６０８及び６０９は、この画像ファイルが、それぞれ画像ノイズ除去等の画像処理が施されている画像、及び、高さ等の計測データを含む画像を含んであることを示している。

画像種類表示６０３、６０４、６０５、６０６、６０７、６０８、及び６０９における色彩が表現している画像の種類を図８Ｂに例示する。なお、図８Ａ及び図８Ｂにおいては、色彩の違いをスクリーントーンの違いにより表現している。

ここで、ユーザが入力装置１０３を操作して、この代表画像の一覧表示から所望の画像ファイルを選択する指示を行うと、入力装置１０３は、この指示を演算部２０１へ送付する。演算部２０１は、この指示を受け取ると、当該指示により選択されている画像ファイルに含まれている画像データで表されている、各種の画像を表示装置１０４のモニタ画面１４１上に一覧表示する処理を行う。例えば、図８Ａのサムネイル画像６０１の選択指示を受け取った場合には、演算部２０１は、まず、サムネイル画像６０１の画像データが含まれていた画像ファイルから、三次元画像、エクステンド画像、及びカラー画像の画像データを取り出す処理を行う。そして、これらの画像データで各々表されている三次元画像、エクステンド画像、及びカラー画像を、例えば図２の表示例における画像表示ウィンドウ３０１、３０２、及び３０３の一覧表示のように、モニタ画面１４１上に一覧表示する処理を行う。

このような第二の例の表示を行うことで、第一の例と同様、各画像ファイルに含まれている画像の全てを表示することなく、所望の種類の画像を探し出すことができるので、画像の探索が容易になる。また、画像ファイルに含まれている画像の種類を示す表示を、代表画像に重ねることなく、代表画像の周囲に隣接して表示するので、代表画像の表示を部分的に妨げることがなく、代表画像の視認性が向上する。更に、画像ファイルに含まれている画像の種類を、画像種類の表示の色彩の違いにより示すので、その色彩を識別するだけで、画像ファイルに含まれている画像の種類が分かるので、所望の画像の探索を素早く行える。また、画像ファイルに含まれている画像の種類を、画像種類の表示の色彩の違いにより示すので、画像種類の表示を小さくしても画像の種類の識別が可能である。従って、画像種類の表示を小さくすることで、一覧表示上で、より多くの代表画像を表示することができる。

なお、図８Ｂに示した色彩と画像の種類との関係を示す表示を、代表画像の一覧表示に並べて表示するようにしてもよい。
次に図９について説明する。図９は、保存画像ファイルの一覧表示の第三の例を示しており、図６Ｂと同様に、一覧表示の一部分を拡大して示したものである。

この図９に示した表示例では、モニタ画面１４１における代表画像の一覧表示の上部に、予め定められている画像の種類と文字との対応付けの説明を、説明表示７０２、７０３、及び７０４により表示している。そして、サムネイル画像７０１の下部には、このサムネイル画像７０１を含む画像ファイルに含まれている画像の種類を示すデジタルデータ名７０５が表示されている。ここで、このデジタルデータ名７０５である表示「３Ｄ＿Ｅ＿Ｃ」のうち、文字「３Ｄ」、「Ｅ」、及び「Ｃ」は、この画像ファイルに含まれている画像の種類が、それぞれ、三次元画像、エクステンド画像、及びカラー画像であることを示している。そして、この文字と画像の種類との対応付けが、説明表示７０２、７０３、及び７０４により提示されている。

ここで、ユーザが入力装置１０３を操作して、この代表画像の一覧表示から所望の画像ファイルを選択する指示を行うと、入力装置１０３は、この指示を演算部２０１へ送付する。演算部２０１は、この指示を受け取ると、当該指示により選択されている画像ファイルに含まれている画像データで表されている、各種の画像を表示装置１０４のモニタ画面１４１上に一覧表示する処理を行う。例えば、図９のサムネイル画像７０１の選択指示を受け取った場合には、演算部２０１は、まず、サムネイル画像７０１の画像データが含まれていた画像ファイルから、三次元画像、エクステンド画像、及びカラー画像の画像データを取り出す処理を行う。そして、これらの画像データで各々表されている三次元画像、エクステンド画像、及びカラー画像を、例えば図２の表示例における画像表示ウィンドウ３０１、３０２、及び３０３の一覧表示のように、モニタ画面１４１上に一覧表示する処理を行う。

このような第三の例の表示を行うことで、画像ファイルに含まれる各画像についての画像種類情報として、その画像の種類に予め対応付けられている文字が、各代表画像に対応付けられて表示される。従って、第一の例と同様、各画像ファイルに含まれている画像の全てを表示することなく、所望の種類の画像を探し出すことができるので、画像の探索が容易になる。また、この表示例では、画像ファイルに含まれている画像の種類の表示態様として、画像ファイルに含まれる画像の種類が文字で表示されるので、その文字を識別するだけで、画像ファイルに含まれている画像の種類が分かるので、所望の画像の探索を素早く行える。

次に図１０Ａ及び図１０Ｂについて説明する。図１０Ａ及び図１０Ｂは、どちらも、保存画像ファイルの一覧表示の第四の例を示しており、図６Ｂと同様に、一覧表示の一部分を拡大して示したものである。

図１０Ａは、ユーザが入力装置１０３を操作して、モニタ画面１４１上のカーソル枠８０４を移動させて、サムネイル画像８０１を選択する指示を行った状態を表している。このとき、演算部２０１は、サムネイル画像８０１を含む画像ファイルに含まれていた画像の種類を、サムネイル画像の一覧表示と並べてその上部に配置される画像種類表示欄８０３で表示する。なお、図１０Ａの画像種類表示欄８０３では、黒塗りの表示により、サムネイル画像８０１を含む画像ファイルには、三次元画像、エクステンド画像、及び２次元共焦点ＬＳＭ画像が含まれていることを表している。なお、白抜きの表示は、当該表示に対応付けられている画像が、サムネイル画像８０１を含む画像ファイルには含まれていないことを表している。

また、図１０Ｂは、ユーザが入力装置１０３を操作して、モニタ画面１４１上のカーソル枠８０４を移動させて、サムネイル画像８０２を選択する指示を行った状態を、図１０Ａと同様に表している。このとき、演算部２０１は、サムネイル画像８０２を含む画像ファイルに含まれていた画像の種類を、サムネイル画像の一覧表示と並べてその上部に配置される画像種類表示欄８０３で表示する。図１０Ｂの画像種類表示欄８０３では、黒塗りの表示により、サムネイル画像８０２を含む画像ファイルには、二次元非共焦点ＬＳＭ画像が含まれていることを表している。

ここで図１１について説明する。図１１は、演算部２０１により行われる保存画像ファイル一覧表示処理の第二の例の処理内容をフローチャートで示したものである。この処理では、まず、記憶部２０３で保存されている画像ファイルを読み出し、各画像ファイルに含まれているサムネイル画像（若しくは前述した図形）を表示装置１０４のモニタ画面１４１上に並べて表示させる処理を行う。そして、その後に、図１０Ａ及び図１０Ｂに例示したように、選択された画像ファイルに含まれる画像の種類を、画像種類表示欄８０３で表示する処理を行う。

ユーザが入力装置１０３を操作して、記憶部２０３で保存されている画像ファイルの一覧表示の指示を行うと、入力装置１０３は、この指示を演算部２０１へ送付する。演算部２０１は、この指示を取得すると、図１１の処理を開始する。

図１１において、まず、Ｓ３０１では、記憶部２０３で保存されている全ての画像ファイルを読み出し、各画像ファイルからサムネイル画像の画像データを取得してその画像データで表されている画像をモニタ画面１４１上に一覧表示する処理が行われる。

ここで、ユーザが入力装置１０３であるマウス装置を操作して、サムネイル画像を選択する指示を行う。Ｓ３０２では、このときのマウス装置の操作内容を取得し、サムネイル画像の一覧表示からユーザが選択指示したものを判別する処理が行われる。

Ｓ３０３では、Ｓ３０２の処理により判別されたサムネイル画像を含む画像ファイルのヘッダ情報から格納画像種類情報を取り出して、その画像ファイルに含まれている各画像の種類を判別する処理が行われる。

Ｓ３０４では、Ｓ３０３の判別結果に基づき、Ｓ３０２の処理により判別されたサムネイル画像を含む画像ファイルに含まれている画像の種類を、画像種類表示欄８０３で表示する処理が行われる。ここで、画像種類表示欄８０３での表示は、当該画像ファイルに含まれている画像の種類に対応する四角印を黒塗りとし、当該画像ファイルに含まれていないものに対応する四角印は白抜きのままとする。

このＳ３０４の処理を完了すると、図１１の保存画像ファイル一覧表示処理画像が終了する。
その後、ユーザが入力装置１０３を更に操作して、この代表画像の一覧表示から所望の画像ファイルを選択する指示を行うと、入力装置１０３は、この指示を演算部２０１へ送付する。演算部２０１は、この更なる指示を受け取ると、当該指示により選択されている画像ファイルに含まれている画像データで表されている、各種の画像を表示装置１０４のモニタ画面１４１上に一覧表示する処理を行う。例えば、図１０Ａのサムネイル画像８０１の更なる選択指示を受け取った場合には、演算部２０１は、まず、サムネイル画像８０１を含む画像ファイルから、三次元画像、エクステンド画像、及び二次元共焦点ＬＳＭ画像の画像データを取り出す処理を行う。そして、これらの画像データで各々表されている三次元画像、エクステンド画像、及び二次元共焦点ＬＳＭ画像を、例えば図２の表示例における画像表示ウィンドウ３０１、３０２、及び３０３の一覧表示のように、モニタ画面１４１上に一覧表示する処理を行う。

このような第四の例の表示を行うことで、記憶部２０３で保存されている画像から所望の種類の画像を探し出す際に、代表画像の一覧表示をユーザが見るだけで、その代表画像の画像ファイルには、どのような種類の画像が含まれているかを認識できる。つまり、前述した第一の例の表示と同様に、各画像ファイルに含まれている画像の全てを表示することなく、所望の種類の画像を探し出すことができるので、画像の探索が容易になる。

なお、画像ファイルに含まれている画像の種類を表示する画像種類表示欄８０３を、図１２に例示するような態様としてもよい。この態様では、画像の種類の幾つかを１つのグループに纏めて提示するものであり、図１２の例では、三次元画像と、エクステンド画像と、カラー画像とが、１つのグループとして纏められている。従って、例えば、このグループに対応する１つの四角印のみが黒塗り表示されている場合には、三次元画像、エクステンド画像、及びカラー画像の３種類の画像が画像ファイルに含まれていることを示していることになる。

このように、画像の種類の幾つかをグループに纏めて画像種類表示欄８０３に示すようにすると、画像種類表示欄８０３の表示範囲が縮小され、表示効率が向上するので、より多くの代表画像をモニタ画面１４１上に一覧表示することができるようになる。

以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、以上の説明は、共焦点レーザ顕微鏡装置で本発明を実施する形態についてのものであるが、他の種類の顕微鏡でも本発明を実施することができる。このような顕微鏡としては、例えば、観察体の実体観察、分析及び解析のために、励起波長を切り替えて励起光を試料に照射可能であり、蛍光観察、明視野観察、暗視野観察の切替えも可能である同位置試料の画像を複数の検鏡法で取得できる蛍光顕微鏡がある。

本発明を実施する共焦点レーザ顕微鏡装置の構成を示す図である。 表示装置のモニタ画面での各種の画像の表示例を示す図である。 画像保存処理の処理内容をフローチャートで示した図である。 画像ファイルのデータ構造を示す図である。 保存画像ファイル一覧表示処理の第一の例の処理内容をフローチャートで示した図である。 保存画像ファイルの一覧表示の第一の例を示す図（その１）である。 保存画像ファイルの一覧表示の第一の例を示す図（その２）である。 態様が異なる画像種類表示の図形の例を示す図である。 保存画像ファイルの一覧表示の第二の例を示す図である。 色彩と画像の種類との関係を示す図である。 保存画像ファイルの一覧表示の第三の例を示す図である。 保存画像ファイルの一覧表示の第四の例を示す図（その１）である。 保存画像ファイルの一覧表示の第四の例を示す図（その２）である。 保存画像ファイル一覧表示処理の第二の例の処理内容をフローチャートで示した図である。 画像種類表示欄の例を示す図である。

符号の説明

１０１ 顕微鏡本体
１０２ コントローラ
１０３ 入力装置
１０４ 表示装置
１０５ 試料台
１０６ 試料
１１１ 対物レンズ
１１２ レボルバ
１１３、１１８、１２８ ビームスプリッタ
１１４ 照明レンズ
１１５ コレクタレンズ
１１６ 白色光源
１１７ 結像レンズ
１１９ １／４波長板
１２０ 瞳投影レンズ
１２１ 光スキャナ
１２２ 偏光ビームスプリッタ
１２３、１２７ 集光レンズ
１２４ レーザ光源
１２５ ビデオカメラレンズ
１２６ ビデオ画像取得用ＣＣＤカメラ
１２９ ピンホール
１３０ 共焦点画像取得用検出器
１３１ 非共焦点画像取得用検出器
１４０ Ｚ移動機構
１４１ モニタ画面
２０１ 演算部
２０２ 制御部
２０３ 記憶部
３０１、３０２、３０３ 画像表示ウィンドウ
３０４ 保存ボタン
４０１、４０２、６０１、６０２、７０１、８０１、８０２ サムネイル画像
４０３、４０４、４０５、４０６、４０７、５０１、５０２、６０３、６０４、
６０５、６０６、６０７、６０８、６０９ 画像種類表示
７０２、７０３、７０４ 説明表示
７０５ デジタルデータ名
８０３ 画像種類表示欄
８０４ カーソル枠

Claims (9)

1. 同位置試料についての取得方法の異なる複数の種類の画像を取得する画像取得手段と、
   該画像取得手段により取得された該同位置試料についての複数の画像のひとつから、該同位置試料についての画像を代表する代表画像を得る代表画像取得手段と、
   該同位置試料についての該代表画像と、該画像取得手段により取得された該同位置試料についての複数の画像とを画像データとして含み、該複数の画像の各々についての該種類を示す画像種類情報を更に含む画像ファイルを複数保存する画像ファイル保存手段と、
   該画像ファイル保存手段に保存されている各画像ファイルについての該代表画像の一覧表示を行うと共に、該各画像ファイルに含まれている該同位置試料についての複数の画像の各々についての該画像種類情報を、該一覧表示を行う各代表画像に対応付けて表示する画像ファイル一覧表示手段と、を有し、
   該代表画像取得手段は、該画像取得手段により取得された該同位置試料についての複数の画像のひとつから、該同位置試料についてのサムネイル画像を該代表画像として作成する
   ことを特徴とする顕微鏡装置。
2. 該画像ファイル一覧表示手段は、該各画像ファイルに含まれる該複数の画像の各々についての該画像種類情報を示す図形を、該一覧表示を行う該各画像ファイルについての該代表画像に重ねて表示することを特徴とする請求項１に記載の顕微鏡装置。
3. 該画像ファイル一覧表示手段は、該各画像ファイルに含まれる該複数の画像の各々についての該画像種類情報を示す図形を、該一覧表示を行う該各画像ファイルについての該代表画像の周囲に隣接させて表示することを特徴とする請求項１に記載の顕微鏡装置。
4. 該画像ファイル一覧表示手段は、該各画像ファイルに含まれる該複数の画像の各々についての該画像種類情報として、該画像の種類に予め対応付けられている色彩の図形を、各代表画像に対応付けて表示することを特徴とする請求項１に記載の顕微鏡装置。
5. 該画像ファイル一覧表示手段は、該各画像ファイルに含まれる該複数の画像の各々についての該画像種類情報として、該画像の種類に予め対応付けられている文字を、各代表画像に対応付けて表示することを特徴とする請求項１に記載の顕微鏡装置。
6. 該画像ファイル一覧表示手段は、該各画像ファイルに含まれる該複数の画像の各々についての該画像種類情報のうち、該代表画像の一覧表示から選択されている代表画像を含む画像ファイルに含まれている画像の各々についての画像種類情報のみを、該代表画像の一覧表示に並べて表示することを特徴とする請求項１に記載の顕微鏡装置。
7. 該顕微鏡装置は共焦点顕微鏡であり、
   該画像取得手段は、該同位置試料についての共焦点画像と、非共焦点画像とを少なくとも取得する、
   ことを特徴とする請求項１から６のうちのいずれか一項に記載の顕微鏡装置。
8. 該顕微鏡装置は共焦点顕微鏡であり、
   該画像取得手段は、該同位置試料についての共焦点画像と、該同位置試料の像をビデオカメラで撮像して得られるビデオ画像とを少なくとも取得する、
   ことを特徴とする請求項１から６のうちのいずれか一項に記載の顕微鏡装置。
9. 該画像取得手段は、該同位置試料についての複数の共焦点画像に基づき、該同位置試料についての三次元画像及びエクステンド画像のうち少なくとも一方を取得可能であることを特徴とする請求項７または請求項８に記載の顕微鏡装置。