JP2016166941A - 合焦位置検出装置、合焦位置検出方法、撮像システム - Google Patents

Abstract

【課題】病理標本の合焦位置を安定、且つ、高速に検出するための技術を提供する。
【解決手段】標本に対する光軸方向の焦点位置を変えながら撮像された、前記標本内の複数のレイヤーの画像データを用いて、前記標本の合焦位置を検出する合焦位置検出装置であって、前記画像データは、複数のカラープレーンのデータから構成される、カラー画像データであり、前記合焦位置検出装置は、前記複数のカラープレーンのうち前記標本による吸収が最も大きい色に対応するカラープレーンを、合焦位置検出用のカラープレーンとして選択する選択手段と、前記複数のレイヤーそれぞれの前記合焦位置検出用のカラープレーンのデータの合焦度合いを評価することによって、前記標本の合焦位置を決定する合焦位置決定手段と、を有する。
【選択図】図１５

Description

本発明は、合焦位置検出装置、合焦位置検出方法、撮像システムに関する。

スライド内の染色された生体試料をデジタル顕微鏡で撮像することでバーチャル・スライド画像データを取得し、これをモニターに表示して観察することが可能なバーチャル・スライドシステムが注目されている（特許文献１）。
また、厚みのある生体試料を撮像する場合に、デジタル顕微鏡を用いて光軸方向の焦点位置を変えながら、試料内の異なる深さにピントを合わせた複数のレイヤー画像データを取得する技術が知られている（特許文献２）。複数のレイヤー画像データで構成される３次元画像データはＺスタック画像データと呼ばれる。
また、顕微鏡の合焦位置を安定して検出する技術が知られている（特許文献３）。
また、実質的に透明である無染色細胞等の位相物体の合焦位置を決定する技術が知られている（特許文献４）。

特開２０１１−１１８１０７号公報 特開２０１０−１９１０００号公報 特開平１０−２３２３４３号公報 特開２００８−２０４９８号公報

従来、顕微鏡やバーチャル・スライドシステムの合焦位置検出では、生体試料や病理標本の複数のＺスタック画像データそれぞれからコントラスト値を算出し、最大コントラスト値のＺ位置を合焦位置としていた。

しかし、無染色細胞ではなく、染色された生体試料や病理標本であっても、細胞核や細胞質、細胞膜などの構成要素ごとに屈折率が異なるために、合焦位置以外でコントラストが極大となる現象が発生する場合があることを、本発明者が鋭意検討して発見した。更に、当該現象のために染色された生体試料や病理標本では合焦位置の検出が不安定になる、という課題を本発明者が発見した。

特許文献３で示された合焦検出技術では、光透過率が変化する物体の合焦位置を安定して検出することができる。しかし、屈折率分布を有する生体試料や病理標本に対して安定して合焦位置を検出する技術は開示されていない。
特許文献４で示された合焦検出技術では、実質的に透明である無染色細胞等の位相物体の合焦位置を検出できる。これは２つのＺスタック画像データの差分画像データを利用する方法である。Ｚスタック画像データのデータメモリへの蓄積を前提とするため、高速化には不向きである。

そこで、本発明は、屈折率分布を有する病理標本（染色細胞や染色生体試料）に対して、安定、且つ、高速に合焦位置を検出する技術を提供することを目的とする。

本発明の第一態様は、標本に対する光軸方向の焦点位置を変えながら撮像された、前記
標本内の複数のレイヤーの画像データを用いて、前記標本の合焦位置を検出する合焦位置検出装置であって、前記画像データは、複数のカラープレーンのデータから構成される、カラー画像データであり、前記合焦位置検出装置は、前記複数のカラープレーンのうち前記標本による吸収が最も大きい色に対応するカラープレーンを、合焦位置検出用のカラープレーンとして選択する選択手段と、前記複数のレイヤーそれぞれの前記合焦位置検出用のカラープレーンのデータの合焦度合いを評価することによって、前記標本の合焦位置を決定する合焦位置決定手段と、を有することを特徴とする合焦位置検出装置を提供する。

本発明の第二態様は、前記標本を撮像する撮像ユニットと、前記撮像ユニットを制御する制御ユニットと、本発明に係る合焦位置検出装置と、を有する撮像装置であって、前記制御ユニットは、前記合焦位置検出装置によって決定された合焦位置の情報を取得し、前記撮像ユニットにより前記合焦位置での前記標本の画像データを取得する制御を行うことを特徴とする撮像装置を提供する。

本発明の第三態様は、標本に対する光軸方向の焦点位置を変えながら撮像された、前記標本内の複数のレイヤーの画像データを用いて、前記標本の合焦位置を検出する合焦位置検出方法であって、前記画像データは、複数のカラープレーンのデータから構成される、カラー画像データであり、前記合焦位置検出方法は、前記複数のカラープレーンのうち前記標本による吸収が最も大きい色に対応するカラープレーンを、合焦位置検出用のカラープレーンとして選択するステップと、前記複数のレイヤーそれぞれの前記合焦位置検出用のカラープレーンのデータの合焦度合いを評価することによって、前記標本の合焦位置を決定するステップと、を有することを特徴とする合焦位置検出方法を提供する。

本発明の第四態様は、本発明に係る撮像装置と、前記撮像装置で取得された画像を処理する画像処理装置と、を有することを特徴とする撮像システムを提供する。

本発明により、病理標本の合焦位置を安定、且つ、高速に検出する技術を提供することができる。

撮像システムの装置構成の全体図。 画像表示アプリケーションの表示例。 撮像システムにおける撮像装置の機能ブロック図。 画像処理装置のハードウェア構成図。 標本（生体試料）が載置されたスライドを示す模式図。 染色標本（生体試料）を説明する模式図。 Ｚ軸符号を説明する模式図。 レイヤーとカラープレーンデータを説明する模式図。 顕微鏡の基本構造を説明する模式図。 撮像ユニットの機能ブロック図。 照明ユニットの機能ブロック図。 屈折率分布を有する物体のコントラスト特性を説明する模式図。 屈折率分布を有する物体のコントラスト特性。 第１の合焦位置検出方法に関する機能ブロック図。 第１の合焦位置検出方法に関するフローチャート。 第２の合焦位置検出方法に関する機能ブロック図。 第２の合焦位置検出方法に関するフローチャート。 第２の合焦位置検出方法に関するテーブルを説明する模式図。 撮像システムにおける撮像装置の別の構成例。 撮像システムにおける撮像装置の別の構成例。 屈折率分布を有する物体の合焦指標値を説明する模式図。

以下、図面を参照しながら本発明の実施の形態を説明する。

＜実施例１＞
（撮像システムの装置構成）
本発明の実施形態に係る合焦位置検出装置は、撮像装置と表示装置を備えた撮像システムにおいて用いることができる。この撮像システムの構成を、図１を用いて説明する。撮像システムは、撮像装置（デジタル顕微鏡装置、またはバーチャル・スライド・スキャナ）１０１、画像処理装置１０２、表示装置１０３、データサーバ１０４から構成され、撮像対象となる標本の２次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０５で接続され、画像処理装置１０２と表示装置１０３の間は、汎用Ｉ／Ｆのケーブル１０６で接続される。データサーバ１０４と画像処理装置１０２との間は、ネットワーク１０７を介して、汎用Ｉ／ＦのＬＡＮケーブル１０８で接続される。

撮像装置１０１は、光軸方向（Ｚ軸方向）に焦点位置の異なる複数枚の２次元画像データ（レイヤー画像データ）を取得し、デジタル画像を出力する機能を持つバーチャル・スライド・スキャナである。２次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ
Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が用いられる。なお、バーチャル・スライド・スキャナの代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像データ（レイヤー画像データ）から、表示装置１０３に表示するデータを、ユーザからの要求に応じて生成する機能等を持つ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。後述する各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現される。操作部は、キーボードやマウスなどにより構成され、ユーザが各種の指示を入力するために利用される。

表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像データを表示するディスプレイであり、液晶ディスプレイ等により構成される。
データサーバ１０４は、画像処理装置１０２が演算処理した結果である観察用画像データが格納されているサーバである。

図１の例では、撮像装置１０１、画像処理装置１０２、表示装置１０３とデータサーバ１０４の４つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置、データサーバの機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現しても良い。

（表示画面）
図２は、予め撮影した染色標本（生体試料）の画像データを、画像表示アプリケーションを通じて、表示装置１０３に表示した場合の一例である。

図２は画像表示アプリケーションの画面レイアウトの基本構成である。表示画面の全体ウィンドウ２０１内に、表示や操作のステータスと各種画像の情報を示す情報エリア２０２、観察対象の標本の全体画像２０３、標本画像データの詳細観察用の表示領域２０５、表示領域２０５の倍率表示領域２０６、が配置されている。全体画像２０３上に描画された枠線２０４は、詳細観察用の表示領域２０５に拡大表示している領域の位置および大きさを示している。この全体画像２０３と枠線２０４によって、ユーザは標本画像データ全体中のどの部分を観察しているのかを容易に把握できる。

詳細観察用の表示領域２０５に表示される画像データは、入力操作デバイスによる移動指示や拡大・縮小指示に対応して更新される。例えば、移動は画面上でのマウスのドラッグ操作により、拡大縮小はマウスホイールの回転等によって実現できる（例えば、ホイールの前方回転を拡大、後方回転を縮小に割り当てる）。また、焦点位置の異なる画像データへの切り替えは、所定のキー（例えばＣｔｒｌキー）を押しながらのマウスホイールの回転等で実現できる（例えば、ホイールの前方回転を奥行きが深い画像への移動に、後方回転を奥行きが浅い画像への移動に割り当てる）。上記のようなユーザの表示画像データの変更操作に伴い、表示領域２０５、倍率表示領域２０６内の表示倍率、全体画像２０３内の枠線２０４が更新される。このようにして、ユーザは所望する面内位置、奥行き位置、倍率の画像データを観察できる。

（撮像装置の機能構成）
図３は、撮像装置１０１の機能構成を示すブロック図である。撮像装置１０１は、概略、照明ユニット３０１、ステージ３０２、ステージ制御ユニット３０５、結像光学系３０７、撮像ユニット３１０を有する。また、撮像装置１０１は、現像処理ユニット３１９、プレ計測ユニット３２０、メイン制御ユニット３２１、Ｉ／Ｆユニット３２３、合焦位置検出ユニット３２４を有する。

照明ユニット３０１は、ステージ３０２上に配置されたスライド３０６に対して均一に光を照射する手段である。照明ユニット３０１の構成要素、機能ブロックは、図９、及び、図１１で説明する。

ステージ３０２は、ステージ制御ユニット３０５によって駆動制御され、ＸＹＺの３軸方向への移動が可能である。
スライド３０６は、観察対象となる組織の切片をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。
ステージ制御ユニット３０５は、駆動制御系３０３とステージ駆動機構３０４を有する。駆動制御系３０３は、メイン制御ユニット３２１の指示を受け、ステージ３０２の駆動制御を行う。ステージ３０２の移動方向、移動量などは、プレ計測ユニット３２０によって計測した標本の位置情報および厚み情報（距離情報）と、必要に応じてユーザからの指示とに基づいて決定される。ステージ駆動機構３０４は、駆動制御系３０３の指示に従い、ステージ３０２を駆動する。

結像光学系３０７は、スライド３０６の標本の光学像を撮像センサ３０８へ結像するためのレンズ群である。結像光学系３０７の光学構成は図９で説明する。

撮像ユニット３１０は、撮像センサ３０８とアナログフロントエンド（ＡＦＥ）３０９を有する。撮像センサ３０８は、２次元の光学像を光電変換によって電気的な物理量へ変える１次元もしくは２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイス
が用いられる。１次元センサの場合、走査方向へ電気的にスキャンするとともに、副走査方向へステージ３０２を移動させることで２次元画像が得られる。撮像センサ３０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像データとしてカラー画像データが所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いたり、ＲＧＢの三板式のイメージセンサを用いたりすればよい。撮像ユニット３１０は、ステージ３０２をＸＹ軸方向に駆動させることにより、標本の分割画像データを取得する。ＡＦＥ３０９は、撮像センサ３０８の動作を制御する回路、及び、撮像センサ３０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ３０９は、Ｈ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ３０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する相関２重サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット３１９で現像処理される。タイミングジェネレータは、撮像センサ３０８のタイミングおよび後段の現像処理ユニット３１９のタイミングを調整する信号を生成する。撮像センサ３０８としてＣＣＤを用いる場合、上記ＡＦＥ３０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ３０９の機能をセンサに内包することになる。図３の撮像ユニット３１０では撮像した画像データの流れを説明するのに必要最小限の機能ブロックのみを示した。撮像ユニット３１０のその他の構成要素、機能ブロックは図９、及び、図１０で説明する。

現像処理ユニット３１９は、黒補正部３１１、デモザイキング処理部３１２、ホワイトバランス調整部３１３、画像合成処理部３１４、フィルタ処理部３１６、ガンマ補正部３１７を有する。黒補正部３１１は、ＲＡＷデータの各画素の値から、バックグラウンド（遮光時に得られた黒補正データ）を減算する処理を行う。デモザイキング処理部３１２は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部３１２は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。また、デモザイキング処理部３１２は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ３０８がカラーフィルタを有しておらず、単色の画像データが得られている場合、デモザイキング処理は不要となり、欠陥画素の補正処理を実行する。三板式の撮像センサ３０８を用いた場合もデモザイキング処理は不要である。ホワイトバランス調整部３１３は、照明ユニット３０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。画像合成処理部３１４は、撮像センサ３０８によって分割して撮像された複数の分割画像データをつなぎ合わせて所望の撮像範囲の大サイズ画像データを生成する処理を行う。一般に、既存のイメージセンサによって１回の撮像で取得できる撮像範囲より標本の存在範囲が広いため、１枚の２次元画像データを分割された画像データのつなぎ合わせによって生成する。１回の撮像で画像が取得される領域を「タイル」、タイルの分割画像データを「タイル画像」とも称す。例えば、０．２５μｍの分解能でスライド３０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその自乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ３０８を用いて１６億画素の画像データを取得するには、１６０個（＝１６億／１０００万）のタイルに分割して撮像を行う必要がある。なお、複数のタイル画像をつなぎ合わせる方法としては、ステージ３０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数のタイル画像の対応する点または線を対応させてつなぐ方法などがある。つなぎ合わせの際、０次補間
、線形補間、高次補間等の補間処理により滑らかにつなげることができる。フィルタ処理部３１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。ガンマ補正部３１７は、画像に一般的な表示デバイスの階調表現特性の逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施例では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。

プレ計測ユニット３２０は、スライド３０６上の標本の位置情報、所望の焦点位置までの距離情報、および標本厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット３２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。２次元平面の位置情報取得には、撮像センサ３０８より解像度の小さい２次元撮像センサが用いられる。プレ計測ユニット３２０は、取得した画像データから標本のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計などの計測器が用いられる。また、スライド３０６上のラベル（図５参照）に記録されている（又はラベルに紐付けされている）標本の情報を読み取るラベル読取装置を含む。標本の情報とは、患者ＩＤ、標本ＩＤ、標本の属性（部位、染色情報など）などの情報である。

メイン制御ユニット３２１は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御ユニット３２１および現像処理ユニット３１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御ユニット３２１および現像処理ユニット３１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、現像処理ユニット３１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えても良い。

Ｉ／Ｆユニット３２３は、現像処理ユニット３１９によって生成された画像データに圧縮処理を行い、圧縮処理された画像データを画像処理装置１０２に送信する。圧縮処理部３１８は、大容量の２次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理を実行する。静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式が広く一般に知られている。外部装置Ｉ／Ｆ３２２は、圧縮処理された画像データを画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

合焦位置検出ユニット３２４は、合焦位置の検出を行う機能を有する合焦位置検出装置である。合焦位置検出ユニットの処理内容は後述する（第１の合焦位置検出方法は図１４と図１５で説明し、第２の合焦位置検出方法は図１６と図１７、図１８で説明する。）。

（画像処理装置のハードウェア構成）
図４は、本発明の画像処理装置１０２のハードウェア構成を示すブロック図である。画像処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が用いられる。ＰＣは、ＣＰＵ４０１、メインメモリ４０２、演算処理ボード４０３、グラフィックスボード４０４、これらを互いに接続する内部バス４０５を備える。またＰＣは、ＬＡＮ Ｉ／Ｆ４０６、記憶装置Ｉ／Ｆ４０７、外部装置Ｉ／Ｆ４０９、操作Ｉ／Ｆ４１０、
入出力Ｉ／Ｆ４１３を備える。

ＣＰＵ４０１は、必要に応じてメインメモリ４０２に格納されているプログラムやデータを用いてＰＣの各ブロック全体を統括的に制御する。メインメモリ４０２はＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成される。メインメモリ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、表示用データの生成など処理の対象となる各種データを一時的に保持する。また、メインメモリ４０２は、画像データの格納領域としても用いられる。ＣＰＵ４０１のＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）機能により、メインメモリ４０２とグラフィックスボード４０４の間の画像データの高速転送を実現できる。グラフィックスボード４０４は、表示装置１０３に画像処理結果を出力する。表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いた表示デバイスである。当該表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。演算処理ボード４０３は、画像処理など特定の演算機能が強化されたプロセッサおよびバッファメモリ（不図示）を備えている。以降の説明では各種演算処理、データ処理にはＣＰＵ４０１を、メモリ領域としてメインメモリ４０２を用いるとして説明するが、演算処理ボード内のプロセッサやバッファメモリを用いることも可能であり、これも本発明の範疇とする。

入出力Ｉ／Ｆ４１３には、ＬＡＮ Ｉ／Ｆ４０６を介してデータサーバ１０４が、記憶装置Ｉ／Ｆ４０７を介して記憶装置４０８が、外部装置Ｉ／Ｆ４０９を介して撮像装置１０１が、操作Ｉ／Ｆ４１０を介してキーボード４１１やマウス４１２が接続される。記憶装置４０８は、ＣＰＵ４０１に実行させるＯＳ、プログラム、ファームウェアや、各種パラメータなどの情報を固定的に記憶している補助記憶装置である。また、記憶装置４０８は、撮像装置１０１から送られてきた画像データの格納領域としても用いられる。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気ディスクドライブや、ＳＳＤ（Ｓｏｌｉｄ
Ｓｔａｔｅ Ｄｒｉｖｅ）、Ｆｌａｓｈメモリ等の半導体デバイスが用いられる。操作Ｉ／Ｆ４１０との接続デバイスとしてキーボード４１１やマウス４１２等のポインティングデバイスを想定しているが、タッチパネル等、表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

（スライド）
図５は、標本（生体試料）５０１が載置されたスライド３０６を示す模式図である。病理標本のスライドでは、スライドグラス５０２上に載置した標本５０１が封入剤（不図示）とその上に載せるカバーグラス５０３によって封入されている。標本５０１の大きさや厚みは検体毎によって異なっている。更にスライドグラス５０２上には標本に関する情報が記録されたラベルエリア５０４が存在する。ラベルエリア５０４への情報の記録は、ペンによる記入でもよいし、バーコードや２次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア５０４に設けてもよい。以降の実施形態では、被写体として図５に示す病理標本のスライドを例に説明する。

（染色標本）
図６は、染色標本（生体試料）を説明する模式図である。病理標本では、標本（生体試料）５０１は厚さ４〜５μｍ程度で、２〜３ｉｎｃｈのスライドに収まる程度の大きさである。標本（生体試料）５０１を拡大すると組織に応じた細胞６０１の配列が観察できる。細胞６０１は核６０２と細胞質６０３とで構成される。組織に応じて細胞の配列や大きさ、細胞を構成する核の形・大きさなどは異なる。例えば、肝細胞であれば細胞直径は約２０μｍ、核の大きさは約５〜１５μｍである。生体試料は無色透明であり、そのまま観
察したのでは組織構造が分かりにくい。そのため、標本の組織構造を観察しやすくするために、病理標本では染色が行われる。病理組織診では、基本的にはＨＥ（ヘマトキシリン・エオシン）染色が行われるが、診断目的に応じて免疫染色、ＦＩＳＨ（蛍光 in situ
ハイブリダイゼーション）法なども行われる。本実施の形態では、病理組織診で一般的に行われるＨＥ染色を例に説明する。ＨＥ染色では核内のクロマチンを濃青色に、細胞質を淡赤色に染め分ける。

（焦点位置とＺ軸符号）
図７（ａ）〜図７（ｃ）は、焦点位置とＺ軸符号を説明する模式図である。本実施の形態では、Ｚ軸は光源側（照明ユニット３０１側）を負（−）方向、対物レンズ側（結像光学系３０７側）を正（＋）方向とする。また、焦点位置７０１とは、撮像センサ３０８の撮像面と光学的共役な関係にある面の位置とする。

図７（ａ）は、焦点位置７０１に対して標本（生体試料）５０１の厚み中心のＺ位置が＋側にある様子を示している。半透明な標本（生体試料）であれば、ネガティブ（ブライト）コントラストを有するネガティブ（ブライト）像が得られる。ネガティブ（ブライト）像とは、屈折率が高い領域が明るく、屈折率が低い領域が暗く結像された像である。図７（ｂ）は、焦点位置７０１に標本（生体試料）５０１の厚み中心のＺ位置がある様子を示している。屈折率変化が小さい標本（生体試料）であれば、像はほとんど得られない。図７（ｃ）は、焦点位置７０１に対して標本（生体試料）５０１の厚み中心のＺ位置が−側にある様子を示している。半透明な標本（生体試料）であれば、ポジティブ（ダーク）コントラストを有するポジティブ（ダーク）像が得られる。ポジティブ（ダーク）像とは、屈折率が高い領域が暗く、屈折率が低い領域が明るく結像された像である。

ここで、Ｚ軸方向の位置を示す用語をまとめる。焦点位置７０１とは、撮像センサ３０８の撮像面と光学的共役な関係にある面の位置である。合焦位置とは、観察すべき物体（核など）が標本の厚み中心のＺ位置に存在すると仮定し、標本の厚み中心が焦点位置に一致する位置である。デフォーカス量ｄ＝０の位置とは、標本の厚み中心が焦点位置に一致する位置であり、合焦位置のことである。デフォーカス量ｄ＞０は、標本の厚み中心と焦点位置の関係が図７（ａ）の状態であることを意味する。デフォーカス量ｄ＜０は、標本の厚み中心と焦点位置の関係が図７（ｃ）の状態であることを意味する。

（レイヤーとカラープレーンデータ）
図８は、レイヤーとカラープレーンデータを説明する模式図である。像側のレイヤーとカラープレーンデータの光軸方向（Ｚ軸方向）の位置関係を示す図である。標本内の光軸方向（Ｚ軸方向）の特定の層をレイヤーと呼ぶ。レイヤーに含まれ、且つ、光軸方向（Ｚ軸方向）の特定の位置で取得した２次元画像データがレイヤー画像データである。カラー画像データを取得する場合には、各カラーのレイヤー画像データ取得時の像側の光軸方向（Ｚ軸方向）の位置は同一位置に限る必要はない。例えば、ＲＧＢそれぞれのレイヤー画像データを取得する場合に、軸上色収差を補正するために各カラーで撮像面の光軸方向（Ｚ軸方向）の位置を異ならせることがある。本明細書では、カラーのレイヤー画像データを特に指し示す場合にはカラープレーンデータと呼称し、カラーに限定されない場合には単純にレイヤー画像データと呼称する。

（顕微鏡の光学系の基本構造）
図９は、顕微鏡の光学系の基本構造を説明する模式図である。顕微鏡の光学系の基本構造は、照明ユニット３０１、結像光学系３０７、撮像ユニット３１０を有する。照明ユニット３０１はケーラー照明系であり、光源面９０１上の面光源、フィルタホイールＡ９０９、照明レンズ９０３Ａ〜９０３Ｃ、視野絞り９０７、開口絞り９０８を有する。光源面９０１に、光源面９０１と光軸９０２の交点を中心とする面光源が設けられる。結像光学
系３０７は、対物レンズ９０４、瞳面９０５、結像レンズ９０６、フィルタホイールＢ９１０を有する。結像光学系３０７により、標本（生体試料）５０１の像が像面９１１に形成される。フィルタホイールＡ９０９、及び、フィルタホイールＢ９１０は、カラー画像データを取得する場合にカラーフィルタを挿入するための構成要素である。そのため、フィルタホイールＡ９０９、フィルタホイールＢ９１０のいずれかにカラーフィルタが挿入されていれば良い。

（撮像ユニット）
図１０は、撮像ユニットの機能ブロック図である。撮像ユニット３１０は、撮像センサ３０８とアナログフロントエンド（ＡＦＥ）３０９、フィルタホイールＢ９１０、撮像カラーフィルタ変更部１００１、撮像センサ制御部１００２を有する。撮像センサ３０８とアナログフロントエンド（ＡＦＥ）３０９での処理と撮像した画像データの流れについては図３で説明した通りである。モノクロの撮像センサ３０８でＲＧＢのカラープレーンデータを取得する場合には、フィルタホイールＢ９１０にＲＧＢのカラーフィルタを挿入する。撮像カラーフィルタ変更部１００１がフィルタホイールを制御してカラーフィルタを切り替え、ＲＧＢ３種類のカラープレーンデータを取得する。所謂、時分割カラー撮像方式である。撮像カラーフィルタ変更部１００１は、メイン制御ユニット３２１からの指示に基づきフィルタホイールを制御する。撮像センサ制御部１００２は、撮像センサ３０８の撮像タイミング、撮像時間を制御する。

（照明ユニット）
図１１は、照明ユニットの機能ブロック図である。照明ユニット３０１は、面光源１１０１、フィルタホイールＡ９０９、照明レンズＡ９０３Ａ、視野絞り９０７、照明レンズＢ９０３Ｂ、開口絞り９０８、照明レンズＣ９０３Ｃを有する。さらに照明ユニット３０１は、光源制御部１１０２、照明カラーフィルタ変更部１１０３、視野絞り変更部１１０４、開口絞り変更部１１０５を有する。モノクロの撮像センサ３０８でＲＧＢのカラープレーンデータを取得する場合には、フィルタホイールＡ９０９にＲＧＢのカラーフィルタを挿入する。照明カラーフィルタ変更部１１０３がフィルタホイールを制御してカラーフィルタを切り替え、ＲＧＢ３種類のカラープレーンデータを取得する。所謂、時分割カラー撮像方式である。照明カラーフィルタ変更部１１０３は、メイン制御ユニット３２１からの指示に基づきフィルタホイールを制御する。光源制御部１１０２は、面光源１１０１の発光タイミング、発光時間を制御する。視野絞り変更部１１０４は、標本の観察範囲に照明光が当たるように視野絞り９０７を制御する。開口絞り変更部１１０５は、観察像のコントラストと解像力がバランスするように開口絞り９０８を制御する。開口絞り９０８は、一般的に、対物レンズ９０４の瞳の直径の７割から８割程度に設定する。

（撮像ユニットと照明ユニットの関係性）
撮像ユニット３１０と照明ユニット３０１は同期して撮像動作を実行する必要がある。そのため、撮像タイミングと照明タイミングが同期するように、メイン制御ユニット３２１は撮像センサ制御部１００２と光源制御部１１０２に対して動作指示を行う。また、ＲＧＢのカラープレーンデータを取得するためのカラーフィルタは、撮像ユニット３１０、もしくは、照明ユニット３０１のいずれか一方に挿入すれば良い。そのため、フィルタホイールＢ９１０、フィルタホイールＡ９０９のいずれかが撮像装置１０１に組み込まれていれば良い。

（コントラスト特性）
図１２（ａ）〜図１２（ｃ）は、屈折率分布を有する物体のコントラスト特性を説明する模式図である。領域Ａ１２０１は、半透明物体で相対的に屈折率が高い領域を模擬的に示している。一方、領域Ｂ１２０２は、半透明物体で相対的に屈折率が低い領域を模擬的に示している。例えば、領域Ａ１２０１の屈折率が１．３９、領域Ｂの屈折率が１．３７
で、その他の領域の屈折率が１．３８と考えれば良い。図１２（ａ）は、焦点位置７０１に対して標本（半透明物体）の厚み中心のＺ位置が＋側にある場合の観察像である。図１２（ａ）の焦点位置７０１と標本（半透明物体）の位置関係は図７（ａ）に対応する。相対的に屈折率の高い領域Ａ１２０１が明るくなり、相対的に屈折率の低い領域Ｂ１２０２が暗くなる。図１２（ｂ）は合焦位置での観察像である。図１２（ｂ）の焦点位置７０１と標本（半透明物体）の位置関係は図７（ｂ）に対応する。合焦位置では、屈折率変化が小さい半透明物体であれば、像はほとんど得られない。図１２（ｃ）は、焦点位置７０１に対して標本（半透明物体）の厚み中心のＺ位置が−側にある場合の観察像である。図１２（ｃ）の焦点位置７０１と標本（半透明物体）の位置関係は図７（ｃ）に対応する。相対的に屈折率の高い領域Ａ１２０１が暗くなり、相対的に屈折率の低い領域Ｂ１２０２が明るくなる。

図１２（ａ）〜図１２（ｃ）では、屈折率分布を有する物体のコントラスト特性を分かりやすく説明するために、半透明物体を想定している。病理標本では染色されているが、特に染色の薄い領域では図１２（ａ）〜図１２（ｃ）で説明したコントラスト特性を示す。

図１３に屈折率分布を有する物体のコントラスト特性を示す。縦軸はコントラスト、横軸はデフォーカス量ｄである。１３０１は透過率分布の影響によるコントラスト特性である。デフォーカス量ｄ＝０でコントラストが最大となり、デフォーカス量の絶対値が大きくなるにつれてコントラストは低下する。病理標本で特に濃く染まる領域、例えばＨＥ（ヘマトキシリン・エオシン）のヘマトキシリンに染まる核内のクロマチン、が１３０１に近い特性を示す。１３０２は屈折率分布の影響によるコントラスト特性である。デフォーカス量ｄ＝｜ｄ’｜である２箇所でコントラストの絶対値が最大となる。病理標本で特に薄く染まる領域、例えばＨＥ（ヘマトキシリン・エオシン）のエオシンに染まる細胞質、が１３０２に近い特性を示す。

図１３に示すコントラスト特性は、コヒーレントファクタ（照明レンズ９０３ＣのＮＡと対物レンズ９０４のＮＡの比）にも影響される。コヒーレントファクタが０に近づくほど１３０２のコントラスト特性の影響が大きくなり、コヒーレントファクタが１に近づくほど１３０１のコントラスト特性の影響は小さくなる。なお、顕微鏡では、一般に、観察像のコントラストと解像力がバランスするようにコヒーレントファクタを０．７から０．８程度に設定する。

（屈折率分布の影響による課題）
ＨＥ（ヘマトキシリン・エオシン）染色の病理標本のコントラスト特性は、図１３に示す２つのコントラスト特性が混在した状態にある。濃く染まって透過率が低い領域は１３０１に近いコントラスト特性となる。代表例としてはヘマトキシリンに染まる核内のクロマチンである。薄く染まって透過率が高い領域は１３０２に近いコントラスト特性となる。代表例としてはエオシンに染まる細胞質である。

本実施形態では、観察者が核に着目すると想定し、合焦操作としてはヘマトキシリンに染まる核内のクロマチンに焦点を合わせる。すなわち、図１３の１３０１に示す透過率分布の影響によるコントラスト（以降、「振幅コントラスト」と呼ぶ）が最大となる位置を合焦位置とする。観察すべき物体（核）が標本の厚み中心のＺ位置に存在すると仮定すると、標本の厚み中心が焦点位置に一致する位置が合焦位置である。ただし、合焦位置の考え方はこれに限らない。観察すべき物体（核）の標本の厚み中心からずれたＺ位置に存在する場合もある。その場合は、観察すべき物体（核）のＺ位置が焦点位置に一致する位置を合焦位置とすれば良い。

本実施形態では、図１３の１３０２に示す屈折率分布の影響によるコントラスト（以降、「位相コントラスト」と呼ぶ）はアーチファクトとして扱う。すなわち、位相コントラスト１３０２の絶対値ピーク位置（デフォーカス量ｄ＝｜ｄ’｜となる２箇所）は合焦位置として検出する対象ではない。本実施形態は、位相コントラスト１３０２によるピーク位置が存在するために振幅コントラスト１３０１のピーク位置検出が不安定となる課題に対する解決策を提供する。

ここでは着目物体を核としたが、核に限られるものではない。胃の炎症を調べる際にギムザ染色した標本を用いることがあるが、この染色ではピロリ菌が青色に染まる。この場合にはピロリ菌が着目物体となる。病理の観察目的によって着目物体は異なる。

（第１の合焦位置検出方法における撮像フロー）
図１４、図１５（ａ）、図１５（ｂ）で説明する合焦位置検出は、大きく２つの段階からなる。１つはプレ計測での合焦位置検出に用いるカラープレーンの選択である。これを「合焦に関わるプレ計測処理」と呼称する。もう１つは、本撮像での合焦位置検出である。これを「合焦に関わる本撮像処理」と呼称する。ここで本撮像とは、所望の撮像範囲の大サイズ画像データを生成するために撮像センサ３０８によって複数の分割画像データを取得する処理のことである。

撮像フローとしては、「合焦に関わるプレ計測処理」が実行され、それぞれの分割画像データに対して「合焦に関わる本撮像処理」と「本撮像処理」が逐次実行される。これを、「逐次撮像フロー」と呼称する。また、別の撮像フローとしては、「合焦に関わるプレ計測処理」が実行され、次に「合焦に関わる本撮像処理」が実行され、最後に「本撮像処理」が一括実行される。これを、「一括撮像フロー」と呼称する。

図１４、図１５（ａ）、図１５（ｂ）では、「合焦に関わるプレ計測処理」と「合焦に関わる本撮像処理」について説明する。

（第１の合焦位置検出方法における合焦位置検出ユニット）
図１４は、第１の合焦位置検出方法における合焦位置検出ユニットの機能ブロック図である。合焦位置検出ユニット３２４は、吸収判定部１４０２、合焦カラープレーン選択部１４０３、合焦位置決定部１４０４を有する。吸収判定部１４０２と合焦カラープレーン選択部１４０３は、「合焦に関わるプレ計測処理」に関連する機能ブロックである。合焦位置決定部１４０４は、「合焦に関わる本撮像処理」に関連する機能ブロックである。

吸収判定部１４０２は、プレ計測ユニット３２０から全てのカラープレーンデータを取得し、カラープレーンの光透過率を比較する。カラープレーンデータの積算輝度値が大きいカラープレーンを光透過率が大きい（対象とするカラーの標本での吸収が小さい）と判定し、積算輝度値が小さいカラープレーンを光透過率が小さい（対象とするカラーの標本での吸収が大きい）と判定する。積算輝度値とは、カラープレーンデータの画素の値（画素値そのもの、又は画素値から換算した輝度値）の合計値又はそれに相当する値（例えば合計値を所定の値で規格化した値など）である。積算輝度値の計算には全てのレイヤーのデータを用いてもよいし、一部のレイヤー（例えば標本の厚み中心のレイヤー）のデータだけを用いてもよい。また、積算輝度値の計算には、カラープレーンデータの全ての画素の値を用いてもよいし、一部の画素（例えば、背景に該当する高輝度画素以外の画素）の値だけを用いてもよい。判定結果（各カラープレーンデータの積算輝度値、もしくは、吸収の大小関係）を合焦カラープレーン選択部１４０３に送信する。

合焦カラープレーン選択部１４０３は、吸収判定部１４０２の判定結果から、合焦位置検出に用いるカラープレーンを選択する。判定結果が各カラープレーンデータの積算輝度
値の場合には、積算輝度値が最も小さいカラープレーンを合焦位置検出用カラープレーンに選択する。判定結果が吸収の大小関係の場合には、吸収が最も大きいカラープレーンを合焦位置検出用カラープレーンに選択する。

合焦位置決定部１４０４は、撮像センサ３０８によって取得した標本内の複数レイヤーの画像データから合焦位置検出用のカラープレーンデータを抽出し、各カラープレーンデータの合焦度合いの評価を行う。具体的には、合焦位置決定部１４０４は、各カラープレーンデータの合焦指標値を算出し、合焦指標値の光軸方向（深さ方向）の分布（変化）を得る。そして、合焦指標値が極値をとるＺ位置を合焦位置と解釈し、合焦位置であるＺ位置を撮像装置１０１（メイン制御ユニット３２１）に送信する（逐次撮像フロー）。または、合焦位置決定部１４０４は、合焦位置であるＺ位置をメモリに格納する（一括撮像フロー）。なお、合焦位置決定部１４０４は、複数タイルの分割画像データのそれぞれについて、合焦位置検出処理を行う。

図１５（ａ）は、第１の合焦位置検出方法における合焦位置検出フローを示すフローチャートである。
ステップＳ１５０１では、プレ計測ユニット３２０からカラープレーンデータを取得する。プレ計測でベイヤー配列の２次元撮像センサが用いられる場合には、デモザイキング処理を行って、ＲＧＢのカラープレーンデータを取得する。

ステップＳ１５０２では、カラープレーンの光透過率比較を行う。カラープレーンデータの積算輝度値が大きいカラープレーンを光透過率が大きいと判定し、積算輝度値が小さいカラープレーンを光透過率が小さいと判定する。このステップＳ１５０２は図１４の吸収判定部１４０２で実行される処理である。

ステップＳ１５０３では、合焦位置検出に用いるカラープレーンの選択（合焦カラープレーン選択）を行う。ステップＳ１５０２で光透過率が最も小さいと判定されたカラープレーンを、合焦位置検出に用いるカラープレーンとする。光透過率が小さいカラープレーンからは、図１３に示した透過率分布の影響によるコントラスト１３０１（振幅コントラスト）が得られやすく、屈折率分布の影響によるコントラスト１３０２（位相コントラスト）の影響を受けにくいためである。このステップＳ１５０３は図１４の合焦カラープレーン選択部１４０３で実行される処理である。

ステップＳ１５０４、Ｓ１５０５では、特定のＺ位置のカラープレーンデータを取得し（Ｓ１５０４）て、合焦指標値の算出を行う（Ｓ１５０５）処理を繰り返す。ここで用いるカラープレーンデータのカラープレーンはステップＳ１５０３で選択した合焦位置検出用のカラープレーンである。また、カラープレーンデータは、撮像センサ３０８によって撮像される１つの分割画像データのカラープレーンデータである。

合焦指標値とは、画像の合焦度合いを数値化した指標である。合焦指標値の算出には、どのようなアルゴリズムを用いてよい。例えば、コントラストや正規化自乗強度和などのアルゴリズム、自己相関や正規化分散などの統計アルゴリズム、Ｂｒｅｎｎｅｒ微分、Ｖｏｌｌａｔｈ−５などの微分アルゴリズム、エントロピーなどのヒストグラムを利用するアルゴリズムを用いることができる。合焦指標値の光軸方向（深さ方向）の分布形状は図２２で説明する。

ループ回数は合焦指標値の分布形状（近似曲線）が描ける最低限の回数にすることが望ましい。処理速度と合焦位置（振幅コントラストのピーク）の検出精度がバランスするようにループ回数を設定する。ループ回数は数回から数十回程度になる。

ステップＳ１５０６では、合焦度合いの評価を行う。合焦度合いの評価の処理内容は、図１５（ｂ）で説明する。
ステップＳ１５０４、Ｓ１５０５、Ｓ１５０６は図１４の合焦位置決定部１４０４で実行される処理である。

図１５（ｂ）は、第１の合焦位置検出方法における合焦度合いの評価を説明するフローチャートである。
ステップＳ１５０７では、合焦指標値の分布から極値の検出を行う。極値検出には、１階微分の符号が反転する位置を極値とする、などの一般的な手法が適用できる。合焦指標値が不安定で滑らかな曲線ではない場合には複数の極値が検出されるが、極値の最大値を選択するなどの決めごとにより一意に極値を検出することができる。合焦位置決定部１４０４は、ステップＳ１５０７で検出した極値のＺ位置を合焦位置に決定する。

ステップＳ１５０８では、ステップＳ１５０７で検出した極値が閾値内にあるかどうかを判定する閾値判定処理を行う。撮像センサ３０８によって複数の分割画像データが取得されるが、それぞれの分割画像データから得られる合焦指標値の極値は、ある範囲内に存在すると仮定し、その範囲を閾値として設定する。例えば、隣り合う分割画像データから得られる合焦指標値の極値は２マイクロメートル以内にある、などと設定する。閾値判定処理により極値が閾値内にないと判定された場合（ステップＳ１５０８：ＮＯ）には、当該極値を除いてステップＳ１５０７にて再び極値検出を行う。閾値判定処理により極値が閾値内に収まると判定された場合（ステップＳ１５０８：ＹＥＳ）にはステップＳ１５０９に進む。

ステップＳ１５０９では、合焦位置検出ユニット３２４が、ステップＳ１５０７で検出した極値（合焦位置のＺ位置）を合焦位置情報としてメイン制御ユニット３２１に順次送信する。あるいは、１つの標本を複数のタイルに分けて撮像する場合は、合焦位置検出ユニット３２４が各タイルの分割撮像データから得られた合焦位置情報を一時的にメモリに格納し、複数のタイルの合焦位置情報をまとめて撮像装置１０１へ送信してもよい。タイルごとの合焦位置情報を順次送信する場合は、分割画像データの合焦位置判定と合焦位置での画像取得（本撮像）を連続して実行する処理となる（逐次撮像フロー）。複数タイルの合焦位置情報をメモリ格納する場合は、全てのタイルの合焦位置判定の後にまとめて合焦位置での画像取得を実行する処理となる（一括撮像フロー）。いずれの処理方法を用いても良い。後者の処理方法の場合には、全てのタイルの合焦位置情報（合焦指標値の極値）がメモリに格納された後に、外れ値の除去、平滑化処理などを実施して複数の合焦位置で構成される合焦面を滑らかな面とする後処理を実行しても良い。

図１５（ａ）、図１５（ｂ）で説明した合焦位置検出フローは、撮像センサ３０８によって撮像された１つの分割画像データに対する処理である。ステップＳ１５０４からＳ１５０９までの処理は、全てのタイルの分割画像データに対して実行される。また、図１５（ａ）、図１５（ｂ）で説明した合焦位置検出フローでは、１つの分割画像データのレイヤー画像データ（カラープレーンデータ）から１つの合焦指標値を算出した。しかしこれに限られるものではなく、分割画像データを更に複数のサブタイルに分割して、レイヤー画像データ（カラープレーンデータ）内のサブタイルごとに合焦指標値を算出しても良い。

（コヒーレントファクタの制御による合焦位置検出）
更に、「合焦に関わる本撮像処理」と「本撮像処理」とでコヒーレントファクタを異ならせることで、合焦位置検出の精度を高めることができる。図１３で説明したが、コヒーレントファクタが１に近づくほど、屈折率分布の影響によるコントラスト１３０２（位相コントラスト）は表出し難くなる。「本撮像処理」でのコヒーレントファクタは０．７か
ら０．８程度に設定するため、「合焦に関わる本撮像処理」でのコヒーレントファクタを「本撮像処理」でのそれよりも大きくする。これにより、アーチファクトである屈折率分布の影響によるコントラスト１３０２（位相コントラスト）の影響を抑制することができる。すなわち、より安定した合焦位置検出が可能となる。コヒーレントファクタの制御を可能とするために、本実施形態ではコヒーレントファクタを変更可能な照明ユニット（照明光学系）を用いる。具体的には、コヒーレントファクタの制御は、開口絞り変更部１１０５により開口絞り９０８を制御することで実現できる。

（第２の合焦位置検出方法における撮像フロー）
図１６、図１７で説明する合焦位置検出は、前述と同様に、大きく２つの段階からなる。１つはプレ計測での合焦位置検出に用いるカラープレーンの選択である（合焦に関わるプレ計測処理）。もう１つは、本撮像での合焦位置検出である（合焦に関わる本撮像処理）。

撮像フローとしては、前述と同様に、逐次撮像フローと一括撮像フローの２つがある。図１６、図１７では、「合焦に関わるプレ計測処理」と「合焦に関わる本撮像処理」について説明する。

図１４、図１５（ａ）では、カラープレーンの光透過率比較をプレ計測で取得した画像データを用いて実施したが、図１６、図１７では、カラープレーンの光透過率比較をプレ計測で取得したラベル情報（染色情報）を用いて実施する。第２の合焦位置検出方法における撮像フローでは、画像データを取得する必要がなく、より単純で簡便な撮像フローとなる。

（第２の合焦位置検出方法における合焦位置検出ユニット）
図１６は、第２の合焦位置検出方法における合焦位置検出ユニットの機能ブロック図である。合焦位置検出ユニット３２４は、染色取得部１４０１、吸収判定部１４０２、合焦カラープレーン選択部１４０３、合焦位置決定部１４０４を有する。染色取得部１４０１、吸収判定部１４０２と合焦カラープレーン選択部１４０３は、「合焦に関わるプレ計測処理」に関連する機能ブロックである。合焦位置決定部１４０４は、「合焦に関わる本撮像処理」に関連する機能ブロックである。

染色取得部１４０１は、メイン制御ユニット３２１から染色情報を取得する。染色情報は、標本に施された染色（例えば、ＨＥ（ヘマトキシリン・エオシン）染色など）を特定する情報である。

吸収判定部１４０２は、染色取得部１４０１から染色情報を取得し、カラープレーンの光透過率を比較する。吸収判定部１４０２は、染色方法とカラーフィルタの透過率を対応付けたテーブル（図１８参照）を予め保持しており、そのテーブルに従って、カラープレーンでの光透過率の大小関係を判定する。判定結果（カラープレーンでの光透過率の大小関係）を合焦カラープレーン選択部１４０３に送信する。ただし、第２の合焦位置検出方法においては、吸収判定部１４０２は必須の構成ではない。（図１８に示すテーブルではなく、）染色方法と選択すべきカラープレーンとを対応付けたテーブルを保持しておけば、染色取得部１４０１で取得した染色情報を基に、合焦カラープレーン選択部１４０３で合焦カラープレーンを選択することができる。

合焦カラープレーン選択部１４０３は、吸収判定部１４０２の判定結果から、合焦位置検出に用いるカラープレーンを選択する。光透過率が最も小さい（対象とするカラーの標本での吸収が大きい）と判定されたカラープレーンを、合焦位置検出用のカラープレーンとする。合焦位置決定部１４０４の機能は、第１の合焦位置検出方法のものと同じである
。

図１７は、第２の合焦位置検出方法における合焦位置検出フローを示すフローチャートである。
ステップＳ１７０１では、メイン制御ユニット３２１から染色情報を取得する。プレ計測において、プレ計測ユニット３２０がラベルエリア５０４から染色情報を読み取り、それをメイン制御ユニット３２１に送信する。その染色情報を、メイン制御ユニット３２１が合焦位置検出ユニット３２４に送信する。染色情報の実体データがラベルエリア５０４でなく外部サーバなどのデータベースに格納されている場合には、例えば、ラベルエリア５０４からＩＤ情報を読み取り、そのＩＤ情報を基にデータベースから染色情報を取得することもあり得る。または、ユーザが画像処理装置１０２を介して染色情報（例えば、ＨＥ染色）を入力し、その染色情報を取得することもあり得る。または、ユーザが画像処理装置１０２を介してＩＤ情報を入力し、そのＩＤ情報を基にデータベースから染色情報を取得することもあり得る。

ステップＳ１７０２では、カラープレーンの光透過率比較を行う。染色方法とカラーフィルタの透過率を対応付けたテーブル（図１８参照）にしたがって、カラープレーンでの光透過率の大小関係を判定する。このステップＳ１７０２は図１６の吸収判定部１４０２で実行される処理である。ただし、本ステップＳ１７０２は必須の構成ではない。（図１８に示すテーブルではなく、）染色方法と選択すべきカラープレーンの情報とを対応付けたテーブルを保持しておけばよい。このようなテーブルを用いれば、ステップＳ１７０１で取得した染色情報を基に、ステップＳ１７０３で合焦カラープレーンを選択することができる。

ステップＳ１７０３では、合焦位置検出に用いるカラープレーンの選択（合焦カラープレーン選択）を行う。ステップＳ１７０２で光透過率が最も小さいと判定されたカラープレーンを、合焦位置検出に用いるカラープレーンとする。光透過率が小さいカラープレーンからは、図１３に示した透過率分布の影響によるコントラスト１３０１（振幅コントラスト）が得られやすく、屈折率分布の影響によるコントラスト１３０２（位相コントラスト）の影響を受けにくいためである。このステップＳ１７０３は図１６の合焦カラープレーン選択部１４０３で実行される処理である。
ステップＳ１５０４、Ｓ１５０５、Ｓ１５０６は、図１５（ａ）、図１５（ｂ）で説明した内容と同一である。

なお、図１７の処理フローは、染色情報に基づいて合焦位置検出用のカラープレーンを選択する方法の一例である。例えば、染色方法と選択すべきカラープレーンとを対応付けたテーブル、染色方法と染色標本が通常有する色もしくは色相とを対応付けたテーブル、染色方法と選択すべきカラーフィルタを対応付けたテーブルなどを用いてもよい。合焦カラープレーン選択部１４０３の処理としては、染色情報によって標本の染色を特定し、その染色が施された標本が通常有する色に最も色相が近いカラープレーンを選択する処理であれば、どのようなものでもよい。

（吸収判定のテーブル）
図１８は、第２の合焦位置検出方法における吸収判定部で用いるテーブルを説明する模式図である。このテーブルは、染色方法（染色の種類）とカラーフィルタの透過率とを対応付けたテーブルである。カラーフィルタの透過率は、例えば、多数の染色標本の透過率をＲＧＢ毎に測定し、平均値を求めることにより定めることができる。ＨＥ染色標本の場合、Ｒ（中心波長０．７０００μｍ）、Ｇ（中心波長０．５４６１μｍ）、Ｂ（中心波長０．４３５８μｍ）に対する任意領域の透過率は、それぞれ、９６％程度、７３％程度、９７％程度である。染色方法にはＨＥ染色、マッソントリクローム染色、ギムザ染色など
がある。テーブルには、各染色方法について、Ｒ，Ｇ，Ｂそれぞれのカラーフィルタの透過率が記載されている。

（異なる染色を施されたスライドの処理）
第１、及び、第２の合焦位置検出方法はスライドごとに実施することができる。そのため、異なる染色を施された複数のスライドに対しては、当該染色の合焦位置検出に適したカラーのカラープレーンを選択することで合焦位置検出を行うことができる。

（コヒーレントファクタの制御による合焦位置検出）
ここまでは、合焦位置検出に適したカラーのカラープレーンを用いることを前提としたが、それを前提とせず、「合焦に関わる本撮像処理」と「本撮像処理」とでコヒーレントファクタを異ならせることで、合焦位置検出の精度を高めることができる。例えば、コヒーレントファクタの制御は、開口絞り変更部１１０５により開口絞り９０８を制御することで実現できる。

（撮像装置の別の構成例）
図１９、及び、図２０は、撮像システムにおける撮像装置の別の構成例である。第１、及び、第２の合焦位置検出方法では、合焦位置検出に用いる画像データは、「本撮像処理」と同様に撮像センサ３０８で取得する構成である。ここでは、別の構成例として、合焦位置検出に用いる画像データを、「本撮像処理」の撮像センサ３０８とは別の合焦撮像ユニットで取得する構成について説明する。

図１９は、図３の撮像装置に合焦撮像ユニット１９０１が追加された構成である。合焦撮像ユニット１９０１（第２の撮像ユニット）は、本撮像に用いる撮像ユニット３１０（第１の撮像ユニット）と現像処理ユニット３１９の機能を合わせ持つユニットである。合焦位置検出に用いる画像データを合焦撮像ユニット１９０１で取得する構成であり、センサ機能を合焦位置検出用に特化することができる。例えば、センサの解像度（画素数）を「本撮像処理」の撮像センサ３０８よりも小さくすることで高速化を行うことができる。また、「本撮像処理」と「合焦位置検出用の撮像処理」とで用いる光学系が異なる（照明ユニット３０１から撮像ユニット３１０までの光学系を第１の光学系、照明ユニット３０１から合焦撮像ユニット１９０１までの光学系を第２の光学系と称す。）。したがって、第１の光学系に比べて第２の光学系のコヒーレントファクタを大きくする構成が採れる。このように、「合焦位置検出用の撮像処理」と「本撮像処理」とでコヒーレントファクタをそれぞれ最適化することで、安定した合焦位置検出と、コントラストと解像力がバランスした観察像の取得ができる。

図２０は、図３の撮像装置に合焦撮像ユニット１９０１及び照明ユニット３０１Ａが追加された構成である。図１９はハーフミラーで光路分割する構成だが、図２０は合焦位置検出と「本撮像処理」の光学構成がそれぞれ独立する構成である。この場合、照明ユニット３０１から撮像ユニット３１０までの光学系が第１の光学系、照明ユニット３０１Ａから合焦撮像ユニット１９０１までの光学系が第２の光学系となる。本構成でも、図１９の構成と同様の利点がある。また、「合焦位置検出用の撮像処理」と「本撮像処理」とでコヒーレントファクタをそれぞれ最適化することで、安定した合焦位置検出と、コントラストと解像力がバランスした観察像の取得ができる。さらに、機械的に開口絞り９０８の変更が必要でないという利点がある。

（効果）
図２１（ａ）、図２１（ｂ）は、屈折率分布を有する物体の合焦指標値を説明する模式図である。図１３には屈折率分布を有する物体の理想的なコントラスト特性を示したが、画像データ取得時の機械誤差や電気的ノイズのために、画像データからこの理想的なコン
トラスト特性を取得することは困難である。そのため、特定のアルゴリズムにより、理想的なコントラスト特性の代用となる合焦指標値を取得する。本実施形態における合焦指標値とは、画像の合焦度合いを示す指標であり、一般的な意味での（広義の）コントラストと同義である。アルゴリズムの例は、コントラストや正規化自乗強度和などのアルゴリズム、自己相関や正規化分散などの統計アルゴリズム、Ｂｒｅｎｎｅｒ微分、Ｖｏｌｌａｔｈ−５などの微分アルゴリズム、エントロピーなどのヒストグラムを利用するアルゴリズムである。列挙したそれぞれのアルゴリズムから取得できるのは、狭義のコントラストである。図２１（ａ）は、屈折率分布の影響によるコントラスト１３０２（位相コントラスト）をあるアルゴリズムで取得した場合の合焦指標値である。図２１（ｂ）は、透過率分布の影響によるコントラスト１３０１（振幅コントラスト）をあるアルゴリズムで取得した場合の合焦指標値である。これまでに説明したように、合焦位置検出に用いる画像データのカラーフィルタを適切に選択することなどで、図１３の屈折率分布の影響によるコントラスト１３０２（位相コントラスト）を抑制することができる。すなわち、合焦指標値の形状は図２１（ａ）ではなく図２１（ｂ）に近い形状となる。

ここで注意すべきは、本発明では標本による吸収が最も大きい色に対応するカラープレーンデータを合焦位置検出に用いるが、そのカラープレーンデータの合焦指標値が他のカラープレーンデータの合焦指標値に比べて常に大きいわけではない、という点である。すなわち、標本での吸収が大きい色に対応するカラープレーンデータから求めた合焦指標値が、その他のカラープレーンデータから求めた合焦指標値より小さいこともあり得る。標本での吸収が大きい色を選択する理由は、標本の位相差の影響を受けにくい（図１３の１３０２のような双峰のコントラストになりにくい）という理由であり、合焦指標値（コントラスト）が大きい、という理由ではない。本発明は、合焦指標値（コントラスト）が大きいカラープレーンデータで合焦位置検出を行うことで合焦位置を安定して検出する、という従来の考えとは異なる。本発明は、標本の位相差の影響を抑制することで合焦位置を安定して検出する、という考えに基づく発明である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像装置
３２４：合焦位置検出ユニット
５０１：標本
１４０３：合焦カラープレーン選択部
１４０４：合焦位置決定部

Claims (16)

1. 標本に対する光軸方向の焦点位置を変えながら撮像された、前記標本内の複数のレイヤーの画像データを用いて、前記標本の合焦位置を検出する合焦位置検出装置であって、
   前記画像データは、複数のカラープレーンのデータから構成される、カラー画像データであり、
   前記合焦位置検出装置は、
   前記複数のカラープレーンのうち前記標本による吸収が最も大きい色に対応するカラープレーンを、合焦位置検出用のカラープレーンとして選択する選択手段と、
   前記複数のレイヤーそれぞれの前記合焦位置検出用のカラープレーンのデータの合焦度合いを評価することによって、前記標本の合焦位置を決定する合焦位置決定手段と、
   を有することを特徴とする合焦位置検出装置。
2. 前記合焦位置決定手段は、前記複数のレイヤーそれぞれの前記合焦位置検出用のカラープレーンのデータから合焦指標値を算出し、前記合焦指標値の分布において前記合焦指標値が極値をとる光軸方向の位置を、合焦位置として決定する
   ことを特徴とする請求項１に記載の合焦位置検出装置。
3. 前記合焦指標値は、前記合焦位置検出用のカラープレーンのデータのコントラストである
   ことを特徴とする請求項２に記載の合焦位置検出装置。
4. 前記複数のレイヤーの画像データの各カラープレーンの輝度値に基づいて、前記複数のカラープレーンのそれぞれに対応する複数の色のうち、前記標本による吸収が最も大きい色を判定する吸収判定手段をさらに有する
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の合焦位置検出装置。
5. 前記吸収判定手段は、前記複数のレイヤーの画像データの各カラープレーンの積算輝度値を算出し、積算輝度値が最も小さいカラープレーンに対応する色を前記標本による吸収が最も大きい色と判定する
   ことを特徴とする請求項４に記載の合焦位置検出装置。
6. 前記標本に施された染色を特定する染色情報を取得する染色取得手段をさらに有し、
   前記選択手段は、前記染色情報に基づいて、前記複数のカラープレーンのうちから前記合焦位置検出用のカラープレーンを選択する
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の合焦位置検出装置。
7. 前記選択手段は、前記染色情報で特定される染色が施された標本に最も色相が近いカラープレーンを、前記合焦位置検出用のカラープレーンとして選択する
   ことを特徴とする請求項６に記載の合焦位置検出装置。
8. 前記標本は、スライドグラス上に載置されており、
   前記染色情報は、前記スライドグラスに設けられているラベルに記録されているか、又は、前記ラベルに記録されている情報に基づきデータベースから取得される
   ことを特徴とする請求項６又は７に記載の合焦位置検出装置。
9. 前記標本を撮像する撮像ユニットと、
   前記撮像ユニットを制御する制御ユニットと、
   請求項１〜８のうちいずれか１項に記載の合焦位置検出装置と、を有する撮像装置であって、
   前記制御ユニットは、前記合焦位置検出装置によって決定された合焦位置の情報を取得し、前記撮像ユニットにより前記合焦位置での前記標本の画像データを取得する制御を行う
   ことを特徴とする撮像装置。
10. 前記合焦位置での前記標本の画像データを取得する制御が行われる前に、
    前記制御ユニットは、前記撮像ユニットにより前記標本内の複数のレイヤーの画像データを取得する制御を行い、
    前記合焦位置検出装置は、前記撮像ユニットにより取得された前記複数のレイヤーの画像データを用いて前記標本の合焦位置を決定する
    ことを特徴とする請求項９に記載の撮像装置。
11. コヒーレントファクタを変更可能な光学系を有し、
    前記制御ユニットは、前記合焦位置検出装置が用いる前記標本内の前記複数のレイヤーの画像データを取得する場合のコヒーレントファクタが、前記合焦位置での前記標本の画像データを取得する場合のコヒーレントファクタよりも大きくなるよう、前記光学系を制御する
    ことを特徴とする請求項９又は１０に記載の撮像装置。
12. 第１の光学系と、前記第１の光学系よりもコヒーレントファクタの大きい第２の光学系を有し、
    前記合焦位置検出装置が用いる前記標本内の前記複数のレイヤーの画像データを取得する場合は、前記第２の光学系が用いられ、
    前記合焦位置での前記標本の画像データを取得する場合は、前記第１の光学系が用いられる
    ことを特徴とする請求項９又は１０に記載の撮像装置。
13. 前記撮像ユニットは、第１の撮像ユニットと、前記第１の撮像ユニットよりも解像度が小さい第２の撮像ユニットを含み、
    前記合焦位置検出装置が用いる前記標本内の前記複数のレイヤーの画像データを取得する場合は、前記第２の撮像ユニットが用いられ、
    前記合焦位置での前記標本の画像データを取得する場合は、前記第１の撮像ユニットが用いられる
    ことを特徴とする請求項９〜１２のうちいずれか１項に記載の撮像装置。
14. 前記撮像装置は顕微鏡である
    ことを特徴とする請求項９〜１３のうちいずれか１項に記載の撮像装置。
15. 標本に対する光軸方向の焦点位置を変えながら撮像された、前記標本内の複数のレイヤーの画像データを用いて、前記標本の合焦位置を検出する合焦位置検出方法であって、
    前記画像データは、複数のカラープレーンのデータから構成される、カラー画像データであり、
    前記合焦位置検出方法は、
    前記複数のカラープレーンのうち前記標本による吸収が最も大きい色に対応するカラープレーンを、合焦位置検出用のカラープレーンとして選択するステップと、
    前記複数のレイヤーそれぞれの前記合焦位置検出用のカラープレーンのデータの合焦度合いを評価することによって、前記標本の合焦位置を決定するステップと、
    を有することを特徴とする合焦位置検出方法。
16. 請求項９〜１４のうちいずれか１項に記載の撮像装置と、
    前記撮像装置で取得された画像を処理する画像処理装置と、
    を有することを特徴とする撮像システム。

Images