JP2013152426A - 画像処理装置、画像処理システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 バーチャル・スライド画像の深度をいずれの方向に変更すれば良いのかが直感的にユーザが分かり易いようにバーチャル・スライド画像を処理する画像処理装置を提供すること。
【解決手段】 画像処理装置は、顕微鏡装置で取得した複数のレイヤー画像を含むＺスタック画像のデータを取得する画像データ取得手段と、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像を観察画像として表示装置に表示する表示制御手段と、ユーザに指定された前記観察画像の注目領域の情報を取得する領域情報取得手段と、前記複数のレイヤー画像のそれぞれの前記注目領域に対応する対応領域における合焦情報を検出する検出手段と、を備える。前記表示制御手段は、前記検出手段の検出結果に基づいて、前記注目領域と前記注目領域よりも合焦状態に近い前記対応領域との位置関係を示す画像を、前記注目領域と同時に前記表示装置に表示する。
【選択図】 図１０

Description

本発明は、バーチャル・スライド画像を処理する画像処理装置、画像処理システム、画像処理方法、およびプログラムに関する。

プレパラート上の試料をデジタル顕微鏡で撮像することでバーチャル・スライド画像を取得し、これをモニターに表示して観察することが可能なバーチャル・スライドシステムが注目されている（特許文献１）。

また、バーチャル・スライド画像として、複数のレイヤー画像を含むＺスタック画像（深度画像）を用いることも知られている（特許文献２）。

特開２０１１−１１８１０７号公報 特開２０１１−２０４２４３号公報

モニターに表示されている観察画像中の構造物が合焦していない場合、ユーザはバーチャル・スライド画像のＺ位置（深度）を変更することで合焦させることができる。

しかし、ユーザは、バーチャル・スライド画像の深度をいずれの方向に変更すれば良いのかが直感的に分からないという課題があった。

そこで、本発明は、バーチャル・スライド画像の深度をいずれの方向に変更すれば良いのかが直感的にユーザが分かり易いようにバーチャル・スライド画像を処理する画像処理装置を提供することを目的とする。

その目的を達成するために、本発明の一側面としての画像処理装置は、顕微鏡装置で取得した複数のレイヤー画像を含むＺスタック画像のデータを取得する画像データ取得手段と、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像を観察画像として表示装置に表示する表示制御手段と、ユーザに指定された前記観察画像の注目領域の情報を取得する領域情報取得手段と、前記複数のレイヤー画像のそれぞれの前記注目領域に対応する対応領域における合焦情報を検出する検出手段と、を備え、前記表示制御手段は、前記検出手段の検出結果に基づいて、前記注目領域と前記注目領域よりも合焦状態に近い前記対応領域との位置関係を示す画像を、前記注目領域と同時に前記表示装置に表示することを特徴とする。

本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

バーチャル・スライド画像の深度をいずれの方向に変更すれば良いのかが直感的にユーザが分かり易いようにバーチャル・スライド画像を処理する画像処理装置を提供することができる。

撮像システムの装置構成の全体図。 撮像装置の機能構成を示すブロック図。 焦点位置の異なる複数枚の画像を説明する模式図。 画像提示の流れを示すフローチャート。 合焦情報検出の流れを示すフローチャート。 複数の注目領域とその合焦情報を説明する模式図。 注目領域指定画面、補助領域提示画面の模式図。 別の形態の注目領域指定画面、補助領域提示画面の模式図。 推定構造に対する合焦情報検出の流れを示すフローチャート。 合焦情報検出を選択する提示画像の模式図。 注目領域の優先度を説明する模式図。 注目領域に付与する優先度を説明するフローチャート。 細胞集塊とその合焦情報を説明する模式図。 補助領域提示画面の模式図。 補助領域提示画面における注目領域（観察領域）の切り替えを説明する模式図。 構造Ｚスタック数と表示Ｚスタック数の関係を説明する模式図。 画像処理装置のハードウェア構成図。 画像処理装置の制御部の機能ブロック図。 画像処理装置の制御部における表示候補画像データ生成部の機能ブロック図。 別の実施例における画像処理装置の制御部における表示候補画像データ生成部の機能ブロック図。

以下に本発明の実施の形態について図面を参照して説明する。

［実施形態１］
図１は、撮像システムの装置構成の全体図である。本実施形態における撮像システムは、撮像装置１０１と、画像処理装置１０２および表示装置１０３を備える画像処理システムと、から構成され、撮像対象となる被写体（標本）の２次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２の間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続される。

撮像装置１０１は、光軸方向に焦点位置の異なる複数枚の２次元画像を撮像し、デジタル画像を出力する機能を持つ顕微鏡装置（バーチャル・スライド装置）である。２次元画像の取得にはＣＣＤやＣＭＯＳ等の固体撮像素子が用いられる。なお、バーチャル・スライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚のレイヤー画像から、所望の焦点位置と被写界深度をもつ複数枚の観察用画像を生成し、表示装置１０３に表示することで、ユーザによる顕微鏡観察を支援するための装置である。画像処理装置１０２は、主な機能として、Ｚスタック画像のデータを取得する画像データ取得機能、Ｚスタック画像のデータから観察用画像を生成する画像生成機能、および観察用画像を表示装置１０３に表示する表示制御機能を有している。なお、本実施形態の画像処理装置は、ユーザに指定された注目領域の情報を取得する領域情報取得機能、注目領域における合焦情報を検出する検出機能、画像のデータに優先度を付与する付与機能、および記憶装置に画像のデータを格納する格納機能も有している。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。表示装置１０３は、画像処理装置１０２が演算処理した結果である複数枚の２次元画像を表示するモニターであり、ＣＲＴや液晶ディスプレイ等により構成される。

図１の例では、撮像装置１０１と画像処理装置１０２と表示装置１０３の３つの装置により撮像システム（バーチャル・スライドシステム）が構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置が一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置の機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。

図２は、撮像装置１０１の機能構成を示すブロック図である。撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１６、プレ計測ユニット２１７、メイン制御系２１８、外部インターフェース２１９から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたスライド２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの３軸の移動が可能である。光軸方向はＺ方向とする。スライド２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２１８の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２１７によって計測した検体の位置情報および厚み情報（距離情報）と、ユーザからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

結像光学系２０７は、スライド２０６の検体の光学像を撮像センサ２０８へ結像するためのレンズ群である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、２次元の光学像を光電変換によって電気的な物理量へ変える１次元もしくは２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳが用いられる。１次元センサの場合、走査方向へスキャンすることで２次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）は、固定パターンのノイズを除去する相関２重サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。システム最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１６で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１６のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタスピード、フレームレートやＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）など動作タイミングの制御も合わせて行う。

現像処理ユニット２１６は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、フィルタ処理部２１４、γ補正部２１５から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合は、ホワイトバランス調整処理は不要となる。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠陥画素の補正処理（補完処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

フィルタ処理部２１４は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１５は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像に施される。

一般的な現像処理機能としては、ＲＧＢ信号をＹＣＣ等の輝度色差信号へ変換する色空間変換や大容量の画像データを圧縮する処理も含まれるが、本実施形態ではＲＧＢデータを直接使用し、かつデータ圧縮を行わないものとする。

また、不図示ではあるが、結像光学系２０７を構成するレンズ群の影響によって撮像エリア内の周辺部の光量が落ちることを補正する周辺減光補正の機能を搭載しても良い。あるいは、結像光学系２０７で生じる各種収差の内、結像の位置ずれを補正する歪曲収差補正、色毎の像の大きさの違いを補正する倍率色収差補正など、各種光学系の補正処理機能を搭載しても良い。

プレ計測ユニット２１７は、スライド２０６上の検体の位置情報、所望の焦点位置までの距離情報、および検体厚みに起因する光量調整用のパラメータを算出するためのプレ計測を行うユニットである。本計測の前にプレ計測ユニット２１７によって情報を取得することで、無駄のない撮像を実施することが可能となる。また、複数枚の画像を撮像する際の撮像開始位置と終了位置および撮像間隔の指定もプレ計測ユニット２１７が生成する情報に基づいて行われる。

メイン制御系２１８は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２１８および現像処理ユニット２１６の機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２１８および現像処理ユニット２１６の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。

外部インターフェース２１９は、現像処理ユニット２１６によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等のインターフェースが使用される。

本計測での撮像処理の流れを簡単に説明する。プレ計測により得られた情報に基づき、ステージ制御ユニット２０５がステージ２０２上の検体に対する撮像の位置決めを行う。照明ユニット２０１から照射された光は、検体を透過し、結像光学系２０７によって撮像センサ２０８の撮像面に結像する。撮像センサ２０８の出力信号はＡＦＥ２０９によりデジタル画像（ＲＡＷデータ）に変換され、そのＲＡＷデータは現像処理ユニット２１６によりＲＧＢの２次元画像に変換される。このようにして得られた２次元画像は画像処理装置１０２へ送られる。

以上の構成および処理によって、ある焦点位置における検体の２次元画像を取得することができる。ステージ制御ユニット２０５によって光軸方向（Ｚ方向）に焦点位置をシフトさせながら、上記の撮像処理を繰り返すことにより、焦点位置が異なる複数枚の２次元画像を取得することができる。本明細書では、本計測の撮像処理で得られる複数の２次元画像のそれぞれをレイヤー画像と称し、複数の２次元画像（レイヤー画像）をまとめてＺスタック画像と称す。

なお、本実施形態においては、単板方式のイメージセンサでカラー画像を取得する例を説明したが、ＲＧＢ別の３つのイメージセンサによりカラー画像を取得する三板方式を用いてもよい。あるいは、１つのイメージセンサと三色の光源を用い、光源色を切り替えながら３回の撮像を行うことによってカラー画像を取得する３回撮像方式を用いてもよい。

図１７は、画像処理装置のハードウェア構成を示すブロック図である。情報処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が用いられる。ＰＣは、制御部１７０１、メインメモリ１７０２、サブメモリ１７０３、グラフィックスボード１７０４、これらを互いに接続する内部バス１７０５を備える。更に、ＰＣは、ＬＡＮＩ／Ｆ１７０６、記憶装置Ｉ／Ｆ１７０７、外部装置Ｉ／Ｆ１７０９、操作Ｉ／Ｆ１７１０、これらに接続する入出力Ｉ／Ｆ１７１３を備える。

制御部１７０１は、必要に応じてメインメモリ１７０２、サブメモリ１７０３等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。メインメモリ１７０２及びサブメモリ１７０３はＲＡＭ（Ｒａｎｄａｍ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）として構成される。メインメモリ１７０２は、制御部１７０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、表示用データの生成など処理の対象となる各種データを一時的に保持する。また、メインメモリ１７０２及びサブメモリ１７０３は、画像データの格納領域としても用いられる。制御部１７０１のＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）機能により、メインメモリ１７０２とサブメモリ１７０３の間、サブメモリ１７０３とグラフィックスボード１７０４の間の画像データの高速転送を実現できる。グラフィックスボード１７０４は、表示装置１０３に画像処理結果を出力する。表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いた表示デバイスである。当該表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。

入出力Ｉ／Ｆ１７１３には、ＬＡＮ Ｉ／Ｆ１７０６を介してデータサーバ１７１４が、記憶装置Ｉ／Ｆを介して記憶装置１７０８が、外部装置Ｉ／Ｆ１７０９を介して撮像装置１０１が、操作Ｉ／Ｆ１７１０を介してキーボード１７１１やマウス１７１２が接続される。

記憶装置１７０８は、制御部１７０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアとして固定的に記憶している情報を記録し、読み出す補助記憶装置である。また、撮像装置１０１から送られてきた階層画像データの格納領域としても用いられる。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の磁気ディスクドライブもしくはＦｌａｓｈメモリを用いた半導体デバイスが用いられる。

操作Ｉ／Ｆ１７１０との接続デバイスとしてキーボード１７１１やマウス１７１２等のポインティングデバイスを想定しているが、タッチパネル等、表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

図１８は、画像処理装置の制御部の機能構成を示すブロック図である。制御部１７０１は、ユーザ入力情報取得部１８０１、画像データ取得制御部１８０２、階層画像データ取得部１８０３、表示データ生成制御部１８０４、表示候補画像データ取得部１８０５、表示候補画像データ生成部１８０６、表示画像データ転送部１８０７、合焦情報検出部１８０８、優先度付与部１８０９から構成される。

ユーザ入力情報取得部１８０１は、ユーザがキーボード１７１１やマウス１７１２に入力した画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの指示内容を操作Ｉ／Ｆ１７０９を介して取得する。ユーザ入力情報取得部１８０１は、本発明の構成要件であるスクロール検知部に相当する。

画像データ取得制御部１８０２は、ユーザ入力情報に基づいて記憶装置１７０７から読み出してメインメモリ１７０２に展開する画像データの領域を制御する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの各種ユーザ入力情報に対して、表示画像として必要になると予測される画像領域を決定する。メインメモリ１７０２がその画像領域を保持していなければ、階層画像データ取得部１８０３に対して、その画像領域の階層画像の記憶装置１７０７からの読み出しとメインメモリ１７０２への展開を指示する。記憶装置１７０７から読み出しは時間を要する処理のため、読み出す画像領域をできるだけ広範囲として、この処理にかかるオーバーヘッドを抑制することが望ましい。

階層画像データ取得部１８０３は、画像データ取得制御部１８０２の制御指示に従って、記憶装置１７０７からの画像領域の階層画像の読み出し、メインメモリ１７０２への格納を行う。

表示データ生成制御部１８０４は、ユーザ入力情報に基づいてメインメモリ１７０２から読み出す画像領域とその処理方法、グラフィックスボード１７０４に転送する表示画像領域を制御する。画像表示の開始、終了、表示画像のスクロール動作、拡大、縮小などの各種ユーザ入力情報に基づいて、表示画像として必要になると予測される表示候補の画像領域、実際に表示装置１０３に表示する表示画像領域と注目領域を検出する。サブメモリ１７０３が表示候補の画像領域を保持していなければ、表示候補画像データ取得部１８０５に対して、表示候補の画像領域のメインメモリ１７０２からの読み出しを指示する。同時に、表示候補画像データ生成部１８０６に対して、スクロール要求に対する処理方法を指示する。また、表示画像データ転送部１８０７に対して、表示画像領域のサブメモリ１７０３からの読み出しを指示する。記憶装置１７０７からの画像データの読み出しと比較すると、メインメモリ１７０２からの読み出しは高速に実行できるため、上述の表示候補の画像領域は、画像データ取得制御部１８０２での広範囲な画像領域と比較すると狭い範囲となる。

表示候補画像データ取得部１８０５は、表示データ生成制御部１８０４の制御指示に従って、メインメモリ１７０２からの表示候補である階層画像の画像領域の読み出しを実行し、表示候補画像データ生成部１８０６に転送する。

表示候補画像データ生成部１８０６は、圧縮画像データである表示候補画像データ（階層画像データ）の伸長処理と、表示装置１０３に表示する注目領域の合焦情報検出と優先度付与を実行し、サブメモリ１７０３への展開を行う。

表示画像データ転送部１８０７は、表示データ生成制御部１８０４の制御指示に従って、サブメモリ１７０３からの表示画像の読み出しを実行し、グラフィックスボード１７０８に転送する。ＤＭＡ機能により、サブメモリ１７０３とグラフィックスボード１７０８間の高速画像データ転送を実行する。

図１９は、画像処理装置の制御部における表示候補画像データ生成部の機能構成を示すブロック図である。画像データ伸長部１９０１は、圧縮画像データである表示候補画像データ（階層画像データ）の伸長処理を行う。

合焦情報検出部１９０２は、表示装置１０３に表示する階層画像の各注目領域に対して、合焦情報である画像コントラストを検出する。合焦情報の検出のフロー、及び、合焦情報は図５で説明する。

優先度付与部１９０３は、合焦情報検出部１９０２で検出した合焦情報に基づいて、各注目領域に優先度を付与し、合焦情報、優先度情報、階層画像のメインメモリ１７０２への格納を行う。注目領域の優先度、及び、優先度付与フローは、図１１、図１２で説明する。

図３は、焦点位置の異なる複数枚の画像を説明する模式図である。３０１〜３０７は７枚のレイヤー画像であり、３次元の異なる空間位置に複数の観察対象が含まれる被写体（標本）に対して、焦点位置を光軸方向（Ｚ方向）に順次変更しながら７回撮像を行うことで得られたものである。３０８〜３１０は取得されたレイヤー画像３０１中に含まれる観察対象を示す。観察対象３０８はレイヤー画像３０１の焦点位置ではピントが合うが、レイヤー画像３０３の焦点位置ではボケた像となる。そのため、レイヤー画像３０３では観察対象３０８の構造把握は困難である。観察対象３０９はレイヤー画像３０２の焦点位置でピントが合うが、レイヤー画像３０１の焦点位置では若干ボケた像となる。レイヤー画像３０１では観察対象３０９の構造把握は十分ではないものの、可能な状況にある。観察対象３１０はレイヤー画像３０３の焦点位置でピントが合うため、レイヤー画像３０３により構造把握が十分に行える。

図３において、黒で塗りつぶされた観察対象は合焦するもの、白抜きの観察対象は若干ボケるもの、破線で示した観察対象はボケるもの、をそれぞれ表している。すなわち、レイヤー画像３０１〜３０７において、観察対象３０８、３１１、３１２、３１３、３１４、３１５、３１６にそれぞれピントが合う。なお、図３に示す例では、観察対象３０８、３１１〜３１６は光軸方向（Ｚ方向）と垂直な平面で位置が異なっているものとして説明する。

次に、本実施形態における画像処理装置１０２の動作を、図４〜図７を用いて説明する。なお、以下に述べる処理は、特にことわりの無いかぎり、画像処理装置１０２のＣＰＵがプログラムを実行することにより実現されるものである。ただし、画像処理装置１０２は本実施形態のように汎用のコンピュータに後述する機能を実現させるプログラムをインストールすることにより構成することもできるし、専用のハードウェアとプログラムから構成することもできる。

図４は、画像提示の流れを示すフローチャートである。ステップＳ４０１では、注目領域の指定を行う。ここでは、深さ方向（Ｚ方向）を含めて詳細観察の対象となるＸＹ方向の範囲の指定が行われる。画像処理装置１０２が、注目領域指定画面を表示装置１０３に表示し、注目領域指定画面に対するユーザ操作により注目領域指定が行われ、画像処理装置１０２は注目領域の情報（位置情報など）を取得する。注目領域指定画面の具体例は図７（ａ）で説明する。

ステップＳ４０２では、焦点位置の異なる複数枚のレイヤー画像の注目領域の抽出を行う。注目領域抽出の具体例は図６（ａ）で説明する。

ステップＳ４０３では、合焦情報の検出を行う。Ｓ４０２で抽出した複数の注目領域それぞれに対して、合焦情報である画像コントラストを検出する。合焦情報の検出により、合焦領域（注目領域における合焦画像）の特定を行う。合焦情報の検出のフロー、及び、合焦情報は図５で説明する。

ステップＳ４０４では、焦点位置の異なる複数枚の注目領域を格納する。Ｓ４０２で抽出した複数の注目領域は、ユーザが深さ方向（Ｚ方向）の詳細観察をするために利用される画像のため、直ぐにでも表示する可能性が高い画像である。そのため、表示装置１０３へスムーズに描画するために、表示用メモリに対して複数の注目領域の一時的な格納を行う。

ステップＳ４０５では、補助領域の表示を行う。ユーザが注目領域を選択した画像（観察画像の注目領域；観察領域）と、その観察領域を挟んで焦点位置が前後するレイヤー画像の注目領域（補助領域）が表示される。その他に、Ｓ４０３での合焦情報の検出結果に基づいた情報の表示も行われる。補助領域を含む補助領域提示画面の具体例は図７（ｂ）で説明する。

以上の処理ステップにより、注目領域とそれらの補助領域の表示を行う。補助領域の表示により、ユーザは、深さ方向（Ｚ方向）の詳細観察、及び、合焦領域の選択を簡便に行うことができる。

図５は、合焦情報検出の流れを示すフローチャートである。
ステップＳ５０１では、Ｓ４０２で抽出した複数枚の注目領域から任意の注目領域を選択する。
ステップＳ５０２では、Ｓ５０１で選択された注目領域を取得する。
ステップＳ５０３では、Ｓ５０２で取得した注目領域の画像コントラストを検出する。画像コントラストとは、画像コントラストをＥ、画素の輝度成分をＬ（ｍ、ｎ）とした場合に、以下の式を用いて算出できる。ここで、ｍは画素のＹ方向位置、ｎは画素のＸ方向位置を表している。

右辺の第１項はＸ方向に隣り合う画素の輝度差を表しており、第２項はＹ方向に隣り合う画素の輝度差を表している。画像コントラストＥは、Ｘ方向とＹ方向に隣り合う画素の輝度差の自乗和を示す指標である。なお、図６では画像コントラストＥを０〜１で規格化した値を用いている（後述）。

ステップＳ５０４では、すべての注目領域に対して合焦情報（画像コントラスト）を検出したか否かを判断する。画像コントラスト検出が終了していない注目領域が残っている場合には、Ｓ５０５に進み、未処理の注目領域を次に処理する注目領域として選択する。Ｓ５０４において全ての注目領域に対して画像コントラスト検出が終了していると判断されると、処理を終了する。

ステップＳ５０５では、未処理の注目領域を次に処理する注目領域として選択し、Ｓ５０２に移行する。

上述の説明では、画像コントラストとして輝度差の自乗和を用いる例を示したが、画像コントラストはこれに限るものではない。画像コントラストの別の例としては、離散コサイン変換を行って周波数成分を求め、周波数成分の中で高周波成分の総和を求める方法もある。あるいは、エッジ検出フィルタを用いてエッジ検出を行い、得られたエッジ成分をコントラストの度合いとしても良い。あるいは、輝度値の最大値および最小値を検出し、最大値と最小値の差をコントラストの度合いとしても良い。他にも、コントラスト検出に対しては、既知の様々な方法を適用することが可能である。

以上の説明により、全ての注目領域に対する画像コントラストを検出することができる。

図６は、複数の注目領域とその合焦情報を説明する模式図である。図６（ａ）は、注目領域抽出の一例である。レイヤー画像３０４における注目領域は６０４である。レイヤー画像３０１〜３０３、３０５〜３０７においても、レイヤー画像３０４の注目領域６０４に対応する領域として、６０１〜６０３、６０５〜６０７を抽出する。図６（ｂ）は、注目領域とその合焦情報（画像コントラスト）のテーブルの一例である。注目領域６０６の合焦情報（画像コントラスト）が最も高い数値であり、これが合焦領域（注目領域における合焦画像）となる。

以上説明した複数の注目領域と、それぞれの合焦情報を利用することで、合焦領域の特定と補助領域の表示を行う。

図７は、注目領域指定画面、補助領域提示画面の模式図である。ここでは、Ｓ４０１とＳ４０５で説明した表示制御におけるユーザ操作画面を説明する。図７（ａ）は、注目領域指定画面の一例である。画像表示ウィンドウ７０１には、ある焦点位置で撮影されたレイヤー画像３０４の全体が表示される。ユーザは、マウスのドラッグ若しくはキーボードからの数値入力などにより、注目領域７０２のＸＹ方向の位置およびサイズを指定することができる。例えば、ユーザが、ウィンドウ７０１に表示された画像の中で、深さ方向（Ｚ方向）の詳細観察が必要と判断した部分を注目領域７０２に指定する、という使い方が想定される。画像全体について深さ方向の観察が必要な場合は、画像の全範囲を指定すれば良い。図７（ａ）の注目領域７０２は、図６（ａ）のレイヤー画像３０４の注目領域６０４に相当する。図７（ｂ）は、補助領域提示画面の一例である。７０３は、補助領域ウィンドウを示している。ここでは、図７（ａ）で示した画像表示ウィンドウ７０１とは別ウィンドウで表示されるものである。７０４は、ユーザが選択した観察画像の注目領域（観察領域）である。７０５と７０６は補助領域であり、観察領域とは焦点位置の異なるレイヤー画像の注目領域（対応領域）である。７０５と７０６は、観察領域の焦点位置に対して焦点位置が前後する位置関係にある。図３の深さ方向（Ｚ方向）を参照すると、観察領域の深さ位置「４」に対して、７０５の深さ位置は「３」、７０６の深さ位置は「６」である。７０７〜７０９は、観察領域、及び、補助領域の深さ位置（Ｚ位置）を示している。７１０は、深さ位置、及び、標本をグラフィカルに表示する領域である。７０７〜７０９で示された観察領域、及び、補助領域の深さ位置（Ｚ位置）が分かり易いように、それらを示す線７１２〜７１４は、太さ、長さ、色などを変えた強調表示が行われる。同様に、合焦領域の深さ位置は、７１１で示されているように四角で囲むなどの強調表示が行われる。７１５、７１６は、合焦方向を示す矢印である。矢印の先が合焦状態に近いことを示している。補助領域７０５と観察領域７０４では、観察領域７０４の方が合焦状態に近いため、矢印は右向きで示されている。同様に、補助領域７０６と観察領域７０４では、補助領域７０６が合焦領域であるため、矢印は右向きで示されている。

以上説明した注目領域指定画面と補助領域提示画面を利用することで、ユーザは、深さ方向（Ｚ方向）の詳細観察、及び、合焦領域の選択を簡便に行うことができる。

ここでは、観察領域の焦点位置に対して焦点位置が前後する位置関係にある２つのレイヤー画像から得られる２つの補助領域を同時に表示するとしたが、合焦領域を同時に表示するなど、いずれか一方の領域を同時に表示するでも良い。

図８は、別の形態の注目領域指定画面、補助領域提示画面の模式図である。図７は注目領域指定画面と補助領域提示画面を別ウィンドウで表示するとしたが、図８では同じウィンドウで表示している。また、図８は、図７とは補助領域の提示の仕方が異なる例である。図７と同じ内容となるものは同一符号で示している。

８０１は、ユーザが選択した観察画像の注目領域（観察領域）である。８０２と８０３は補助領域であり、観察領域とは焦点位置の異なるレイヤー画像の注目領域（対応領域）である。８０２と８０３は、観察領域の焦点位置に対して焦点位置が前後する位置関係にある。図３の深さ方向（Ｚ方向）を参照すると、観察領域の深さ位置「４」に対して、８０２の深さ位置は「３」、８０３の深さ位置は「６」である。８０４は、合焦方向を示す矢印である。矢印の先が合焦状態に近いことを示している。観察領域８０１からは、深さ方向（Ｚ方向）の深い位置のほうが合焦状態に近いため、矢印は下向きで示されている。図７の注目領域指定画面に相当する画面で注目領域８０１を指定すると、その近辺に補助領域８０２と８０３が表示される形態である。補助領域の深さ位置（Ｚ位置）が直感的に分かり易いように、観察領域８０１に対して一部重畳するように補助領域が表示され、その重畳の前後関係がそのまま深さ位置（Ｚ位置）を反映している。

なお、図７、図８は、それぞれ、注目領域指定画面、補助領域提示画面の一具体例を示すものにすぎず、少なくとも２つ以上の補助領域の表示と、観察領域と補助領域の深さ位置の表示ができさえすれば、どのような形式の設定画面を用いても良い。

図９は、推定構造に対する合焦情報検出の流れを示すフローチャートである。図５では合焦情報として画像コントラストを用いる例を説明したが、図９では構造推定を行い、その推定した構造に対してコントラストを検出する方法を説明する。

ステップＳ９０１では、Ｓ４０２で抽出した複数枚の注目領域から任意の注目領域を選択する。

ステップＳ９０２では、Ｓ９０１で選択された注目領域を取得する。

ステップＳ９０３では、Ｓ９０２で取得した注目領域の構造を推定する。構造とは、例えば、細胞核である。被写体（標本）がＨＥ染色標本であった場合に、細胞核はヘマトキシリンにより濃い青紫色に染まる。この色情報や、円形に近いという形状情報を基に、細胞核の構造推定を行う。ＳＶＭなどの機械学習を併用することで、効率良く構造推定することが可能である。

ステップＳ９０４では、すべての注目領域に対して構造を推定したか否かを判断する。構造推定が終了していない注目領域が残っている場合には、Ｓ９０５に進み、未処理の注目領域を次に処理する注目領域として選択する。Ｓ９０４において全ての注目領域に対して構造推定が終了していると判断されると、処理を終了する。

ステップＳ９０５では、未処理の注目領域を次に処理する注目領域として選択し、Ｓ９０２に移行する。

ステップＳ９０６では、検出対象の構造を設定する。図３で示したように各レイヤー画像は焦点位置がそれぞれ異なるため、Ｓ９０３で推定する構造は、各レイヤー画像により異なるものとなる。ここでは、Ｓ９０３で推定した構造が全て包含されるように検出対象の構造を設定する。図３との対応で説明すると、３０８、３１１〜３１６の全ての構造を検出対象の構造として設定する。検出対象の構造の位置データ（座標データ）を保持しておき、以下の構造コントラスト検出の処理ステップでそれを利用する。

ステップＳ９０７では、Ｓ５０２で取得した注目領域の構造コントラストを検出する。レイヤー画像において、Ｓ９０６で設定した構造に対して、図５で説明した画像コントラストを求める。図３との対応で説明すると、レイヤー画像３０７では３１４〜３１６の構造に対するコントラストが求められる。３０８、３１１〜３１３の構造が存在する位置におけるコントラストも検出対象なのだが、ボケているために、ほとんどコントラストは検出されない。

以上の説明により、全ての注目領域に対する構造コントラストを検出することができる。構造コントラストを用いることにより、注目領域の注目ポイントとなる構造のコントラストを検出でき、観察対象に対するより正確な合焦状態を把握することができる。

ＨＥ染色標本の観察では、観察者は画像全域を見落としなく観察するため、観察し易さの観点からは画像全域を合焦させるのが良い。そのため、合焦情報として画像コントラストを用いることが望ましい。一方、ＩＨＣ（免疫組織化学染色）標本では、癌化した核の計数など、注目領域が限定されて観察目的が明確である場合が多い。癌化した核の計数では、その核の合焦状態が重要となるため、観察のしやすさの観点からは注目領域の構造を合焦させるのが良い。そのため、合焦情報として構造コントラストを用いることが望ましい。

図１０は、合焦情報検出を選択する提示画像の模式図である。図７と同じ内容となるものは同一符号で示している。

図１０（ａ）は、注目領域指定画面の模式図である。１００１は合焦情報の検出方法を選択する合焦情報検出方法選択ウィンドウである。構造コントラストか、画像コントラストかのいずれかが選択可能である。ユーザは、マウスのドラッグ若しくはキーボードからの数値入力などにより、注目領域１００２のＸＹ方向の位置およびサイズを指定することができる。１００３は１個の細胞核を示している。細胞核がいくつか分布しており、合焦状態に近い細胞核から、黒塗りつぶし、網線、白抜き、破線、で表している。

図１０（ｂ）は、注目領域指定画面の模式図である。１００３は、ユーザが選択した観察画像の注目領域（観察領域）である。１００４と１００５は補助領域であり、観察領域とは焦点位置の異なるレイヤー画像の注目領域（対応領域）である。１００４と１００５は、観察領域の焦点位置に対して焦点位置が前後する位置関係にある。観察領域の深さ位置「４」に対して、１００４の深さ位置は「２」、１００５の深さ位置は「６」である。合焦情報として構造コントラストを用いているので、注目領域の注目ポイントとなる細胞核のコントラストをピンポイントで検出でき、観察対象（細胞核）に対するより正確な合焦状態を把握することができる。

以上の説明により、画像コントラストの拡張により、簡単に合焦情報検出方法の選択が可能となる。

図１１は、注目領域の優先度を説明する模式図である。図４のＳ４０４にて複数枚の注目領域を表示用メモリに対して一時的な格納を行うが、レイヤー画像の枚数が増えて、注目領域の枚数が増えてくると、注目領域のデータ容量が表示用メモリ容量を超えてしまう可能性がある。ここでは、その課題への対応策として、複数の注目領域に対して優先度を付与し、優先度の高い注目領域から優先的に表示用メモリに格納することを行う。優先度は、ユーザがその注目領域を観察する可能性が高い、という観点で付与される。

図１１（ａ）は、焦点位置が異なる複数枚の注目領域それぞれに対応する合焦情報（画像コントラスト）を示す図である。横軸は深さ方向（Ｚ方向）の位置、縦軸は合焦情報（画像コントラスト）である。１１０１は、複数枚の注目領域それぞれに対応する合焦情報（画像コントラスト）を示す曲線である。１１０２は観察領域の深さ方向（Ｚ方向）の位置を示すラインであり、１１０３は合焦状態の注目領域の深さ方向（Ｚ方向）の位置を示すラインである。合焦情報（画像コントラスト）が最も高い数値を示す注目領域の深さ位置は「２３」であり、観察領域の深さ位置は「２９」である。

図１１（ｂ）は、深さ方向（Ｚ方向）の位置、合焦情報（画像コントラスト）、優先度を示すテーブルである。深さ方向（Ｚ方向）の位置と合焦情報（画像コントラスト）の数値情報は、図１１（ａ）の図と対応している。観察領域１１０４の深さ位置は「２９」であり、その優先度は「３」で最も高く設定している。観察領域はユーザが既に観察している領域であり、観察時点の表示画像であるため、優先度は最も高い。合焦情報（画像コントラスト）が最も高い数値を示す注目領域である合焦領域１１０５の深さ位置は「２３」であり、その優先度は「２」と設定している。ユーザは注目領域の合焦領域を観察する可能性が高いため、観察時点の表示画像に次いで高い優先度を設定している。深さ方向（Ｚ方向）の位置が、観察領域１１０４と合焦領域１１０５の間に位置する注目領域に対しては、合焦領域に次ぐ優先度「１」を設定している。ユーザは観察領域から、合焦領域に向けて深さ方向（Ｚ方向）の位置をスイープさせながら観察する可能性が高いことを考慮しているためである。深さ方向（Ｚ方向）の位置が、観察領域１１０４と合焦領域１１０５の間に位置しない注目領域に対しては、最も低い優先度「０」を設定している。

図１１（ｃ）は、メモリ格納番号と優先度、格納する注目領域の深さ位置を示すテーブルである。ここでは、注目領域２０枚が表示用メモリに格納できると想定している。優先度の高い順から優先的に表示用メモリに格納する。

優先度「１」の注目領域は複数あるが、ここでは以下の手順でその格納順番を定めている。優先度「３」と優先度「２」の中間に位置する注目領域αを定め、その注目領域αを表示用メモリに格納する。次に、優先度「３」と注目領域αの中間に位置する注目領域βを定め、その注目領域βを表示用メモリに格納する。次に、優先度「２」と注目領域αの中間に位置する注目領域γを定め、その注目領域γを表示用メモリに格納する。以下、同様の手順を繰り返し、優先度「１」の注目領域の表示用メモリ格納順番を定める。中間に位置する注目領域が存在しないとき、すなわち、中間に位置する注目領域が２つ存在する場合は、深さ位置（Ｚ位置）が深い方向を選ぶ、などの決めごとを定めれば良い。これは、等分割を繰り返して、優先度を定める方法である。優先度「０」についても注目領域は複数あるが、優先度「３」に近い側の注目領域と優先度「２」に近い側の注目領域を交互表示用メモリに格納する方法を用いている。

以上の説明により、ユーザがその注目領域を観察する可能性が高い、という観点で注目領域に優先度を付与し、その優先度に従って表示用メモリに注目領域を格納することで、応答性・操作性良く注目領域を表示することができる。

図１２は、注目領域に付与する優先度を説明するフローチャートである。

ステップＳ１２０１では、観察領域に優先度を付与する。図１１を参照すると、観察領域１１０４の深さ位置は「２９」であり、その優先度を最も高い「３」に設定する。

ステップＳ１２０２では、合焦領域に優先度を付与する。図１１を参照すると、合焦領域１１０５の深さ位置は「２３」であり、その優先度を、観察領域に次いで高い「２」に設定する。

ステップＳ１２０３では、観察領域と合焦領域の間に位置する注目領域に優先度を付与する。図１１を参照すると、深さ方向（Ｚ方向）の位置が、観察領域１１０４と合焦領域１１０５の間に位置する注目領域に対しては、合焦領域に次ぐ優先度「１」を設定する。

ステップＳ１２０４では、観察領域と合焦領域の間に位置しない注目領域に優先度を付与する。図１１を参照すると、深さ方向（Ｚ方向）の位置が、観察領域１１０４と合焦領域１１０５の間に位置しない注目領域に対しては、最も低い優先度「０」を設定する。

以上のフローに従って注目領域に優先度を付与することで、ユーザが観察する可能性が高い注目領域から優先的に表示用メモリに格納でき、応答性・操作性良い注目領域の表示が可能になる。

以上述べた本実施形態によれば、デジタル画像を利用した被写体（標本）観察において、合焦状態にある被写体（標本）の奥行き位置を容易に把握することができる。それにより、被写体（標本）の奥行き方向の詳細な観察を容易に行うことができる。

更に、限られたメモリ容量においても、表示応答性、表示操作性が向上する。それにより、被写体（標本）の奥行き方向の詳細な観察をストレスなく行うことができる。

［実施形態２］
以上述べた実施形態は、主に、切断面での組織の構築を観察する組織診を想定している。組織診では標本の厚さが数μｍと薄く、Ｚスタック画像は、標本の表面凹凸や光学収差の影響による画像のピントぼけへの対応として用いられる。そのため、観察者は基本的には合焦領域に興味があり、合焦領域の周辺のＺスタック画像は補助的に用いる。一方で、細胞診では標本の厚さが数十μｍから数百μｍと厚く、細胞や細胞集塊の立体構築を観察する。細胞診でのＺスタック画像は、立体構造の把握という観点で用いられる。そのため、細胞診では、立体構造の把握が容易になる表示方法が重要である。以下では、細胞診を想定し、被写体（標本）の立体構造を容易に把握できる表示方法について述べる。

図２０は、本発明の画像処理装置の制御部における表示候補画像データ生成部の機能構成を示すブロック図である。画像データ伸長部１９０１、合焦情報検出部１９０２、優先度付与部１９０３の説明は、図１９での説明と同様である。

表示Ｚスタック数決定部２００１は、合焦情報検出部１９０２で検出した合焦情報に基づいて、表示するＺスタック数の決定を行う。表示Ｚスタック数とは、観察画像の注目領域（観察領域）と補助領域の数である。Ｚスタック数の決定方法については、図１６で説明する。

図１３は、細胞集塊とその合焦情報を説明する模式図である。

図１３（ａ）は、細胞集塊１３０１のＺスタック画像を取得した場合の深さ方向の位置（Ｚ方向の位置）を示す図である。細胞集塊１３０１の深さ方向は、深さ位置「４」付近から深さ位置「１３」付近まで存在している。観察者は、深さ位置「４」から深さ位置「１３」までのＺスタック画像１０枚を観察して、細胞集塊１３０１の立体構築を把握する。

図１３（ｂ）は、細胞集塊１３０１の合焦情報（構造コントラスト）を示す図である。横軸はＺスタック画像の深さ位置であり、縦軸は注目領域の合焦情報（構造コントラスト）である。細胞集塊１３０１が存在する深さ位置「４」から深さ位置「１３」までのＺスタック画像の構造コントラストは比較的高い値を示す。細胞集塊１３０１が存在しない深さ位置「１」、「２」、「３」、「１４」、「１５」のＺスタック画像の構造コントラストは低い値を示す。合焦情報（構造コントラスト）から細胞集塊１３０１の深さ範囲（Ｚ方向範囲）を推定することができる。なお、深さ範囲（Ｚ方向範囲）とは、深さ方向（Ｚ方向）における細胞集塊１３０１の存在範囲のことである。細胞集塊１３０１が存在する下限である深さ位置「４」が構造下限１３０４であり、細胞集塊１３０１が存在する上限である深さ位置「１３」が構造上限１３０５である。構造コントラストが最も高い深さ位置「６」の注目領域が合焦領域１３０３である。細胞集塊１３０１の合焦情報（構造コントラスト）から、細胞集塊１３０１が深さ位置「４」から深さ位置「１３」に存在すると判断し、その情報を利用して、立体構造の把握が容易になる表示を行う。

図１４は、補助領域提示画面の一例である。１４０１は、補助領域ウィンドウを示している。ここでは、ある焦点位置で撮影されたＺスタック画像の全体を表示する画像表示ウィンドウとは別ウィンドウで表示されるものとする。１４０２は、ユーザが選択した観察画像の注目領域（観察領域）である。１４０３、１４０４、１４０５、１４０６は補助領域であり、観察領域とは焦点位置の異なるＺスタック画像の注目領域（対応領域）である。１４０３、１４０４、１４０２、１４０５、１４０６は観察領域の焦点位置が順次変化する位置関係にある。図１３（ａ）の深さ方向（Ｚ方向）を参照すると、観察領域の深さ位置「８」に対して、１４０３の深さ位置は「４」、１４０４の深さ位置は「６」、１４０５の深さ位置は「１０」、１４０６の深さ位置は「１２」である。１４０７〜１４１１は、観察領域、及び、補助領域の深さ位置（Ｚ位置）を示している。１４１５は、深さ位置、及び、標本をグラフィカルに表示する領域である。１４０７〜１４１１で示された観察領域、及び、補助領域の深さ位置（Ｚ位置）が分かり易いように、それらを示す線１４１９〜１４２３は、太さ、長さ、色などを変えた強調表示が行われる。同様に、合焦領域の深さ位置は、１４１６で示されているように四角で囲むなどの強調表示が行われる。構造下限、構造上限の深さ位置は、それぞれ、１４１７、１４１８で示されているように四角の点線で囲むなどの強調表示が行われる。１４１２は、合焦方向を示す矢印である。矢印の先が合焦状態に近いことを示している。補助領域１４０４と観察領域１４０５では、観察領域１４０４の方が合焦状態に近いため、矢印は下向きで示されている。１４１３、１４１４は、それぞれ、構造下限、構造上限を示す矢印である。注目領域（観察領域）１４０２と補助領域１４０３、１４０４、１４０５、１４０６が、構造下限と構造上限の間に存在することを示している。

注目領域（観察領域）１画面と補助領域４画面とで合計５画面が表示されている。注目領域（観察領域）が最前面に表示されているが、補助領域も同時に表示される。また、注目領域（観察領域）と補助領域のＺスタック画像は、立体構造全体の把握を重視して、焦点位置が等間隔となるように表示される。注目領域（観察領域）の詳細観察が可能であり、複数の補助領域を併用利用することで、全体の立体構造が容易に把握しやすい表示方法となっている。

以上説明した補助領域提示画面を利用することで、ユーザは、深さ方向（Ｚ方向）の詳細観察を簡便に行うことができ、且つ、細胞集塊の立体構造の把握が容易になる。

図１５は、補助領域提示画面における注目領域（観察領域）の切り替えを説明する模式図である。図１５（ａ）、（ｂ）は、それぞれ補助領域ウィンドウ１４０１内の注目領域（観察領域）と補助領域を示している。図１５（ａ）は図１４と同様であり、１４０２は、ユーザが選択した観察画像の注目領域（観察領域）であり、１４０３、１４０４、１４０５、１４０６は補助領域であり、観察領域とは焦点位置の異なるＺスタック画像の注目領域（対応領域）である。１４０４が合焦領域であるため、合焦方向を示す矢印１４１２は下向きで示されている。図１５（ｂ）は、注目領域（観察領域）のＺ位置を切り替えたときの表示画面である。注目領域（観察領域）のＺ位置として合焦領域である１４０４を選択したため、１４０４が最前面に表示され、合焦方向を示す矢印１４１２は横向きで示されている。

以上説明したように、注目領域（観察領域）の切り替えに際しても、観察画像の注目領域と、観察領域とは焦点位置の異なるＺスタック画像の注目領域（対応領域）が常に表示されているため、細胞集塊の立体構造の把握が容易になる。

図１６は、構造Ｚスタック数と表示Ｚスタック数の関係の一例である。横軸は細胞集塊などの観察対象が存在する深さ範囲を示す構造Ｚスタック数であり、縦軸は観察画像の注目領域（観察領域）と補助領域の数を示す表示Ｚスタック数である。図１３、図１４で説明した細胞集塊１３０１を例にすると、横軸の構造Ｚスタック数は「１０」であり、縦軸の表示Ｚスタック数は「５」である。図１６に示すとおり、注目領域（観察領域）と補助領域の数は、細胞集塊などの観察対象の深さ方向の存在範囲に合わせて決定するのが良い。観察対象の深さ範囲が相対的に広い場合には、補助領域の数を増やすことで、立体構造の把握がより容易になる。

以上述べた本実施形態によれば、デジタル画像を利用した被写体（標本）観察において、被写体（標本）の立体構造を容易に把握することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時の請求項に記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

Claims (12)

1. 顕微鏡装置で取得した複数のレイヤー画像を含むＺスタック画像のデータを取得する画像データ取得手段と、
   前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像を観察画像として表示装置に表示する表示制御手段と、
   ユーザに指定された前記観察画像の注目領域の情報を取得する領域情報取得手段と、
   前記複数のレイヤー画像のそれぞれの前記注目領域に対応する対応領域における合焦情報を検出する検出手段と、を備え、
   前記表示制御手段は、前記検出手段の検出結果に基づいて、前記注目領域と該注目領域よりも合焦状態に近い前記対応領域との位置関係を示す画像を、前記注目領域と同時に前記表示装置に表示する
   ことを特徴とする画像処理装置。
2. 顕微鏡装置で取得した複数のレイヤー画像を含むＺスタック画像のデータを取得する画像データ取得手段と、
   前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像を観察画像として表示装置に表示する表示制御手段と、
   ユーザに指定された前記観察画像の注目領域の情報を取得する領域情報取得手段と、
   前記複数のレイヤー画像のそれぞれの前記注目領域に対応する対応領域における合焦情報を検出する検出手段と、
   前記検出手段の検出結果に基づいて複数の前記対応領域に優先度を付与する付与手段と、
   前記付与手段で付与された優先度が高い前記対応領域のデータを記憶装置に優先的に格納する格納手段と、を備える
   ことを特徴とする画像処理装置。
3. 前記検出手段は、前記複数の前記対応領域のそれぞれに含まれる構造を推定し、該推定した構造の合焦情報を検出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記表示制御手段は、前記対応領域を、前記注目領域と同時に前記表示装置に表示する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記合焦情報から観察対象のＺ方向範囲を決定し、前記観察対象のＺ方向範囲に応じて前記注目領域と同時に前記表示装置に表示する前記対応領域の枚数を決定する決定手段を更に備える
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記決定手段は、前記観察対象のＺ方向範囲が広い場合の前記枚数に比べ、前記観察対象のＺ方向範囲が相対的に狭い場合の前記枚数の方が少なくなるように、前記観察対象のＺ方向範囲に応じて前記枚数を決定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記注目領域及び複数の前記対応領域の焦点位置の間隔が等しくなるように、前記注目領域と同時に前記表示装置に表示する前記対応領域を決定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 顕微鏡装置で取得した複数のレイヤー画像を含むＺスタック画像のデータを処理する画像処理装置と、前記Ｚスタック画像を表示する表示装置と、を備える画像処理システムであって、
   前記Ｚスタック画像のデータを取得する画像データ取得手段と、
   前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像を観察画像として表示装置に表示する表示制御手段と、
   ユーザに指定された前記観察画像の注目領域の情報を取得する領域情報取得手段と、
   前記複数のレイヤー画像のそれぞれの前記注目領域に対応する対応領域における合焦情報を検出する検出手段と、を備え、
   前記表示制御手段は、前記検出手段の検出結果に基づいて、前記注目領域と該注目領域よりも合焦状態に近い前記対応領域との位置関係を示す画像を、前記注目領域と同時に前記表示装置に表示する
   ことを特徴とする画像処理システム。
9. 顕微鏡装置で取得した複数のレイヤー画像を含むＺスタック画像のデータを処理する画像処理装置と、前記Ｚスタック画像を表示する表示装置と、を備える画像処理システムであって、
   前記Ｚスタック画像のデータを取得する画像データ取得手段と、
   前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像を観察画像として表示装置に表示する表示制御手段と、
   ユーザに指定された前記観察画像の注目領域の情報を取得する領域情報取得手段と、
   前記複数のレイヤー画像のそれぞれの前記注目領域に対応する対応領域における合焦情報を検出する検出手段と、
   前記検出手段の検出結果に基づいて複数の前記対応領域に優先度を付与する付与手段と、
   前記付与手段で付与された優先度が高い前記対応領域のデータを記憶装置に優先的に格納する格納手段と、を備える
   ことを特徴とする画像処理システム。
10. コンピュータが、顕微鏡装置で取得した複数のレイヤー画像を含むＺスタック画像のデータを取得する画像データ取得工程と、
    コンピュータが、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像を観察画像として表示装置に表示する表示工程と、
    コンピュータが、ユーザに指定された前記観察画像の注目領域の情報を取得する領域情報取得工程と、
    コンピュータが、前記複数のレイヤー画像のそれぞれの前記注目領域に対応する対応領域における合焦情報を検出する検出工程と、を有し、
    前記表示工程では、前記検出工程の検出結果に基づいて、前記注目領域と該注目領域よりも合焦状態に近い前記対応領域との位置関係を示す画像を、前記注目領域と同時に前記表示装置に表示する
    ことを特徴とする画像処理方法。
11. コンピュータが、顕微鏡装置で取得した複数のレイヤー画像を含むＺスタック画像のデータを取得する画像データ取得工程と、
    コンピュータが、前記複数のレイヤー画像のうち少なくとも１つのレイヤー画像を観察画像として表示装置に表示する表示工程と、
    コンピュータが、ユーザに指定された前記観察画像の注目領域の情報を取得する領域情報取得工程と、
    コンピュータが、前記複数のレイヤー画像のそれぞれの前記注目領域に対応する対応領域における合焦情報を検出する検出工程と、
    コンピュータが、前記検出工程の検出結果に基づいて複数の前記対応領域に優先度を付与する付与工程と、
    コンピュータが、前記付与工程で付与された優先度が高い前記対応領域のデータを記憶装置に優先的に格納する格納工程と、を有する
    ことを特徴とする画像処理方法。
12. 請求項１０又は１１に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。